CN101908978A - 一种实现大数据传输的方法和系统 - Google Patents

Abstract

本发明公开了一种实现大数据传输的方法，当网元设备上有大量数据需要上传给网管系统时，该方法包括：网元设备对需要上传的数据进行压缩处理后，传输给网管系统的网管服务器；网管服务器对接收到的压缩数据进行解压缩处理，并将解压缩后的数据发送给网管系统的客户端。本发明还同时公开了一种实现大数据传输的系统。采用本发明能使网元设备上大量数据在较短的时间内到达网管服务器，进而快速到达客户端，避免让用户长时间等待，并有效减少网元设备发生断链的情况。

Description

一种实现大数据传输的方法和系统

技术领域

本发明涉及数据传输的技术领域，尤其涉及一种实现网元设备和网管系统之间的大数据传输的方法和系统。

背景技术

由于电信业务的不断发展，业务种类越来越繁多，网元设备的交换能力也越来越强，因此网元设备的容量也越来越大，这种大容量网元设备就需要将大量的数据(如告警和性能数据等)或查询设备的配置信息上报给网管系统，数据量很大，甚至达到上百兆。当网管系统使用嵌入式控制通道(ECC)对网元设备进行管理时，网管系统与网元设备之间的通讯速度受ECC通道的带宽限制(ECC通道的默认速率为DCCr＝192kbps)，导致数据阻塞ECC通道，网元设备发送的数据要很久才能上报给网管系统，网管系统收到数据后向用户发出提示。这样，由于ECC通道阻塞，导致数据传输的时间过长，传输效率大大降低，所以用户必须要长时间等待，这种情况还可能会引起网元设备断链或者用户设置的数据不能下发等一系列问题。

针对上述问题，现阶段的处理方法是通过对需要上传给网管系统的大数据包进行拆分，然后采用分包发送的方式，以避免阻塞ECC通道。但这种处理方法并没有解决时效性问题，也就是说，该方案仍然需要大量的时间去传输同样数据量的数据。

发明内容

有鉴于此，本发明的主要目的在于提供一种实现网元设备和网管系统之间的大数据传输的方法和系统，能够在较短的时间内传输大量的数据给网管系统。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种实现大数据传输的方法，该方法包括：

网元设备对需要上传的数据进行压缩处理后，传输给网管系统的网管服务器；

所述网管服务器对接收到的压缩数据进行解压缩处理，并将解压缩后的数据发送给所述网管系统的客户端。

上述方案中，所述对需要上传的数据进行压缩处理之前，进一步包括：确定需要上传的数据满足压缩条件。

上述方案中，所述确定需要上传的数据满足压缩条件，具体为：确定需要上传的数据的长度值大于或等于长度阈值。

上述方案中，所述对需要上传的数据进行压缩处理，还包括：将压缩后的数据的压缩标识位置为已压缩。

上述方案中，所述对需要上传的数据进行压缩处理之前，进一步包括：

所述网元设备向所述网管服务器发送建链通知；

所述网管服务器收到所述建链通知后，向所述网元设备下发允许压缩数据命令。

上述方案中，所述对接收到的压缩数据进行解压缩处理之前，进一步包括：确定接收到的数据为压缩数据。

上述方案中，所述确定接收到的数据为压缩数据，具体为：确定数据的压缩标识位置为已压缩。

本发明还提供了一种实现大数据传输的系统，该系统包括：

网元设备，用于有大量数据需要上传给网管系统时，对需要上传的数据进行压缩处理后传输给所述网管系统的网管服务器；

网管服务器，用于对接收到的压缩数据进行解压缩处理，并将解压缩后的数据发送给所述网管系统的客户端。

上述方案中，所述网元设备对需要上传的数据进行压缩处理之前，还用于：确定需要向所述网管服务器上传的数据满足压缩条件；和/或，

所述网元设备还用于：将压缩后的数据的压缩标识位置为已压缩；和/或，

所述网管服务器对接收到的压缩数据进行解压缩处理之前，还用于确定接收到的数据为压缩数据。

上述方案中，所述网元设备还用于向所述网管服务器发送建链通知；

所述网管服务器还用于收到所述建链通知后，向所述网元设备下发允许压缩数据命令。

上述方案中，所述网元设备包括：

第一检测模块，用于检测网元设备中需要向网管服务器上传的数据是否满足压缩条件，如果满足压缩条件，则将所述数据发送至压缩模块，如果不满足压缩条件，则将所述数据发送至数据发送缓冲区；

压缩模块，用于对收到的数据进行压缩处理，将压缩后的数据的压缩标识位置为已压缩，并将压缩后的数据发送至数据发送缓冲区；

数据发送缓冲区，用于存储待发送给网管服务器的数据；

通讯模块，用于对数据发送缓冲区中存储的数据进行处理，并将处理后的数据传送给网管服务器。

上述方案中，所述网管服务器包括：

第一数据缓冲区，用于存储网元设备发送的数据；

第二检测模块，用于检测所述第一数据缓冲区中的数据是否为压缩数据，如果为压缩数据，则将压缩数据发送至解压缩模块，如果为未压缩数据，则将未压缩数据发送至第二数据缓冲区；

解压缩模块，用于对收到的压缩数据进行解压缩处理后发送至第二数据缓冲区；

第二数据缓冲区，用于存储待发送给客户端的数据。

本发明提供的方法和系统，当网元设备上有大量的数据需要上传给网管系统时，网元设备对这些数据进行压缩处理，压缩后的数据所占空间非常小，这样在通过相同带宽的ECC通道传输时，可以有效减少传输所占用的时间，同时，降低了对ECC通道的带宽的占用，能够避免阻塞ECC通道。网管系统接收到该压缩数据后，对其进行解压缩，之后发送给客户端使用。采用本发明所述的方法和系统能保证大数据在较短的时间内到达网管服务器，进而快速到达客户端，避免让用户长时间等待，并有效减少网元设备发生断链的情况。

附图说明

图1为网管系统和网元设备的连接关系示意图；

图2为本发明中实现大数据传输的压缩方法流程示意图；

图3为本发明中实现大数据传输的解压缩方法流程示意图；

图4为本发明中实现大数据传输的系统连接示意图。

具体实施方式

本发明的基本思想是：当网元设备上有大量的数据需要上传给网管系统时，网元设备首先对这些数据进行压缩处理，然后通过网线(Qx)或ECC通道和Qx传输给网管服务器；网管服务器接收到该压缩数据后，对其进行解压缩，再将解压缩后的数据发送给客户端使用。所述网管系统包括网管服务器和客户端。

在描述本发明的具体实现之前，首先对网管系统和网元设备的连接关系予以说明。图1为网管系统和网元设备的连接关系示意图，如图1所示，各网元设备之间通过ECC通道连接，网管系统通过Qx与其中一个网元设备连接。这样，网管系统与通过Qx连接的网元设备之间的数据传输通过Qx进行，网管系统与除该网元设备之外的其他网元设备之间的数据传输通过ECC通道和Qx进行。

这里，需要说明的是，网元设备具体可以通过网元控制板(NCP)来处理和发送数据。网管系统具体可以通过一个服务器来实现网管功能，接收和处理数据，该服务器即为网管服务器。所以网元设备与网管系统之间的数据传输，实际上是NCP与网管服务器之间的数据传输。

下面结合附图对本发明的具体实施例进行详细描述。

如图2所示，为本发明中实现大数据传输的压缩方法流程示意图，该方法包括如下步骤：

步骤201：网元设备上有大量数据需要上传给网管系统；

本步骤中，当网元设备上有大量的数据要上传给网管系统时，网元设备会发送建链通知给网管服务器，网管服务器接收到该建链通知后，会下发允许压缩数据命令给网元设备，以触发网元设备对需要发送给网管服务器的数据进行压缩。在该命令中，包含允许压缩数据的长度阈值X，即当数据长度达到或超过X时，才能对数据进行压缩，否则，不压缩数据，其中X的取值可根据用户需求而设置。

步骤202：判断需要向网管服务器上传的数据是否满足压缩条件，如果是，执行步骤203，否则，执行步骤206；

本步骤中，网元设备收到所述允许压缩数据命令后，首先将数据的长度值与长度阈值X进行比较，如果数据长度值大于或等于长度阈值X，则满足压缩条件，执行步骤203；

如果数据长度值小于长度阈值X，则不满足压缩条件，执行步骤206。

步骤203～205：网元设备压缩数据；

本步骤中，如果基于zlib工具进行压缩，可以采用如下压缩函数：

函数1：int compress(Bytef *dest，uLongf *destLen，const Bytef *source，uLong sourceLen)；或者，

函数2：int compress(Bytef *dest，uLongf *destLen，c onst Bytef *source，uLong sourceLen，int level)；

其中：参数dest为目的缓冲区，destLen为目的缓冲区的长度，source为源缓冲区，sourceLen为源缓冲区的长度；

这两个函数的功能基本是一样的，都是把源缓冲区中的数据压缩为目的缓冲区中的数据。不同的是，在函数2中还指定了压缩质量和压缩速度之间的关系，即压缩系数，用“level”表示，其取值范围为1至9，随着压缩系数的增大，压缩率增大，压缩速度会相应减小。

采用所述任一函数对数据进行压缩，如果压缩成功，将压缩数据的压缩标识位置为已压缩、如1，执行步骤206；

如果压缩过程中产生错误，则数据未被压缩成功，网元设备会产生错误信息，执行步骤206。

步骤206：放入数据发送缓冲区内；

这里，网元设备将不满足压缩条件而未被压缩的数据放入数据发送缓冲区，或网元设备将压缩数据或压缩数据时产生的错误信息放入数据发送缓冲区；然后执行步骤207。

步骤207：发送到网管系统；

本步骤中，网元设备首先要对数据发送缓冲区内的数据进行处理，如：给未压缩数据或压缩数据加上数据头等信息，然后根据传输控制协议/互联网络协议(tcp/ip)将未压缩数据或压缩数据或错误信息通过Qx或ECC通道和Qx传送至网管服务器，其中，所述错误信息将由网管服务器直接发送到客户端，提示用户错误原因。

由以上步骤可知，网元设备上产生的大量数据通过本发明的压缩方法压缩之后，所占用空间减小，因此能通过Qx或ECC通道和Qx被快速发送到网管服务器。同时，网管服务器需要对压缩数据进行解压缩之后才能将其发送给客户端使用，如图3所示，为本发明中实现大数据传输的解压缩方法流程示意图，该方法包括如下步骤：

步骤301～302：网管服务器接收数据，判断该数据是否为压缩数据，如果是，执行步骤303，否则，执行步骤306；

本步骤中，网管服务器将网元设备发送的数据放入第一数据缓冲区，并通过检测该数据的压缩标识位判断该数据是否为压缩数据，例如：

如果压缩标识位为1，表示该数据是压缩数据，执行步骤303；

如果压缩标识位为非1，表示该数据不是压缩数据，执行步骤306。

步骤303～305：对压缩数据进行解压缩，如果解压缩成功，执行步骤306，如果产生错误信息，执行步骤307；

本步骤中，如果基于zlib工具进行解压缩，可以采用如下解压缩函数：

函数3：int uncompress(Bytef *dest，uLongf *destLen，const Bytef *source，uLong sourceLen)；

函数4：int uncompress(Bytef *dest，uLongf *destLen，const Bytef *source，uLong sourceLen，int level)；

其中：参数dest为目的缓冲区，destLen为目的缓冲区的长度，source为源缓冲区，sourceLen为源缓冲区的长度；

这两个函数的功能基本是一样的，都是把源缓冲区中的数据解压缩为目的缓冲区中的数据。不同的是，在函数4中还指定了压缩质量和压缩速度之间的关系，即压缩系数，用“level”表示，其取值范围为1至9，随着压缩系数的增大，压缩率增大，解压缩速度会相应减小。

采用所述任一函数对数据进行解压缩，如果解压缩成功，执行步骤306；

如果压缩过程中产生错误，则数据未被成功解压缩，网管服务器会产生错误信息，然后执行步骤306；

步骤306：放入第二数据缓冲区内；

这里，网管服务器将第一数据缓冲区内的未压缩数据或经过解压缩后的数据放入第二数据缓冲区内。

步骤307：发送至客户端；

这里，网管服务器将第二数据缓冲区内的数据发送至客户端。

如图4所示，本发明还提供了一种实现大数据传输的系统，该系统包括网元设备和网管服务器，其中，网元设备用于有大量的数据需要上传给网管系统时，对需要上传的数据进行压缩处理后传输给网管服务器；网管服务器用于对接收到的压缩数据进行解压缩处理，并将解压缩后的数据发送给客户端使用。所述网管系统包括网管服务器和客户端。

网元设备还用于向网管服务器发送建链通知；网管服务器还用于收到网元设备发送的建链通知后，向网元设备下发允许压缩数据命令，以触发网元设备对需要向网管服务器上传的数据进行压缩。

网元设备对需要上传的数据进行压缩处理之前，还用于确定需要向网管服务器上传的数据满足压缩条件，即：网元设备判断需要向网管服务器上传的数据是否满足压缩条件，如果满足压缩条件，则对需要上传的数据进行压缩处理，如果不满足压缩条件，则直接向网管服务器上传数据。

网元设备还用于将压缩后的数据的压缩标识位置为已压缩。

网管服务器对接收到的压缩数据进行解压缩处理之前，还用于确定接收到的数据为压缩数据，即：网管服务器判断接收到的数据是否为压缩数据，如果是压缩数据，则对接收到的压缩数据进行解压缩处理，如果不是压缩数据，则不对接收到的数据进行解压缩处理，而是直接将数据发送给客户端。

以上所述网元设备的作用具体可以由位于网元设备上的NCP来实现。

所述网元设备包括：第一检测模块、压缩模块、数据发送缓冲区和通讯模块。其中：

所述第一检测模块：用于检测网元设备中需要向网管服务器上传的数据是否满足压缩条件，如果满足压缩条件，则将所述数据发送至压缩模块，如果不满足压缩条件，则将所述数据发送至数据发送缓冲区；

所述压缩模块：用于对收到的数据进行压缩处理，将压缩后的数据的压缩标识位置为已压缩，并将压缩后的数据发送至数据发送缓冲区；

所述数据发送缓冲区：用于存储待发送给网管服务器的数据；

所述通讯模块：用于对数据发送缓冲区中存储的数据进行处理，如给未压缩数据或压缩数据加上数据头等信息，并根据tcp/ip将处理后的数据通过Qx或ECC通道和Qx上传送给网管服务器。

所述压缩模块还用于数据未被压缩成功时，生成错误信息并发送至数据发送缓冲区存储；所述通讯模块还用于向网管服务器发送所述错误信息。

位于网管系统的所述网管服务器包括：第一数据缓冲区、第二检测模块、解压缩模块和第二数据缓冲区。其中，

所述第一数据缓冲区：用于存储网元设备发送的数据；

所述第二检测模块：用于检测所述第一数据缓冲区中的数据是否为压缩数据，如果为压缩数据，则将压缩数据发送至解压缩模块，如果为未压缩数据，则将未压缩数据发送至第二数据缓冲区；

所述解压缩模块：用于对收到的压缩数据进行解压缩处理后发送至第二数据缓冲区；

所述第二数据缓冲区：用于存储待发送给客户端的数据。

所述解压缩模块还用于数据未被成功解压缩时，生成错误信息并发送至第二数据缓冲区存储。

下面通过一个具体实例来进一步说明本发明所能达到的优越效果。

由上表可知：

不对数据进行压缩处理时，采用ECC通道传输的时间为311s；

对数据进行压缩处理后，采用ECC通道传输的时间具体可以为：压缩级别为1时，传输时间为22s+200ms＝22.2s；压缩级别为9时，传输时间为14s+3700ms＝17.7s，远远快于不对数据进行压缩处理。

由以上实例可知，采用本发明所述的方案对数据进行处理后，可以有效减少相同数据量的信息通过具有相同带宽的ECC通道传输所用的时间，并降低了对ECC通道的带宽的占用，有效避免了数据阻塞ECC通道的问题。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种实现大数据传输的方法，其特征在于：该方法包括：

网元设备对需要上传的数据进行压缩处理后，传输给网管系统的网管服务器；

所述网管服务器对接收到的压缩数据进行解压缩处理，并将解压缩后的数据发送给所述网管系统的客户端。

2.根据权利要求1所述的方法，其特征在于：所述对需要上传的数据进行压缩处理之前，进一步包括：确定需要上传的数据满足压缩条件。

3.根据权利要求2所述的方法，其特征在于：所述确定需要上传的数据满足压缩条件，具体为：确定需要上传的数据的长度值大于或等于长度阈值。

4.根据权利要求1所述的方法，其特征在于：所述对需要上传的数据进行压缩处理，还包括：将压缩后的数据的压缩标识位置为已压缩。

5.根据权利要求1所述的方法，其特征在于：所述对需要上传的数据进行压缩处理之前，进一步包括：

所述网元设备向所述网管服务器发送建链通知；

所述网管服务器收到所述建链通知后，向所述网元设备下发允许压缩数据命令。

6.根据权利要求1至5任一所述的方法，其特征在于：所述对接收到的压缩数据进行解压缩处理之前，进一步包括：确定接收到的数据为压缩数据。

7.根据权利要求6所述的方法，其特征在于：所述确定接收到的数据为压缩数据，具体为：确定数据的压缩标识位置为已压缩。

8.一种实现大数据传输的系统，其特征在于：该系统包括：

网元设备，用于有大量数据需要上传给网管系统时，对需要上传的数据进行压缩处理后传输给所述网管系统的网管服务器；

网管服务器，用于对接收到的压缩数据进行解压缩处理，并将解压缩后的数据发送给所述网管系统的客户端。

9.根据权利要求8所述的系统，其特征在于：

所述网元设备对需要上传的数据进行压缩处理之前，还用于：确定需要向所述网管服务器上传的数据满足压缩条件；和/或，

所述网元设备还用于：将压缩后的数据的压缩标识位置为已压缩；和/或，

所述网管服务器对接收到的压缩数据进行解压缩处理之前，还用于确定接收到的数据为压缩数据。

10.根据权利要求8或9所述的系统，其特征在于：

所述网元设备还用于向所述网管服务器发送建链通知；

所述网管服务器还用于收到所述建链通知后，向所述网元设备下发允许压缩数据命令。

11.根据权利要求8或9所述的系统，其特征在于：所述网元设备包括：

第一检测模块，用于检测网元设备中需要向网管服务器上传的数据是否满足压缩条件，如果满足压缩条件，则将所述数据发送至压缩模块，如果不满足压缩条件，则将所述数据发送至数据发送缓冲区；

压缩模块，用于对收到的数据进行压缩处理，将压缩后的数据的压缩标识位置为已压缩，并将压缩后的数据发送至数据发送缓冲区；

数据发送缓冲区，用于存储待发送给网管服务器的数据；

通讯模块，用于对数据发送缓冲区中存储的数据进行处理，并将处理后的数据传送给网管服务器。

12.根据权利要求8或9所述的系统，其特征在于：所述网管服务器包括：

第一数据缓冲区，用于存储网元设备发送的数据；

第二检测模块，用于检测所述第一数据缓冲区中的数据是否为压缩数据，如果为压缩数据，则将压缩数据发送至解压缩模块，如果为未压缩数据，则将未压缩数据发送至第二数据缓冲区；

解压缩模块，用于对收到的压缩数据进行解压缩处理后发送至第二数据缓冲区；

第二数据缓冲区，用于存储待发送给客户端的数据。

Images