CN102571542B - 一种流量处理系统及方法 - Google Patents

Abstract

本发明适用于通信领域，提供了一种流量处理系统及方法，所述系统包括处理平台和数据分析服务器，所述处理平台缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文分发至数据分析服务器，同时接收数据分析服务器返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理；所述数据分析服务器对所述处理平台发送的数据报文进行分析处理，生成报文指令，并将所述报文指令返回至所述处理平台。本发明将数据流的处理和分析分开来进行，避免了数据分析服务器在分析的过程中由于死机导致流量传输线路堵塞的问题，并且降低了处理逻辑的复杂性、减少了处理成本。

Description

一种流量处理系统及方法

技术领域

本发明属于通信领域，尤其涉及一种流量处理系统及方法。

背景技术

随着通信技术的迅猛发展，通信过程中流量处理技术被应用的越来越广泛。通信线路中数据包的分析、处理以及数据流的监控等，都需要用到流量处理技术。

在使用流量处理技术时，用户一般希望流量处理能够达到以下要求：1、保证传输过程中无数据包的丢失以及数据流形态的一致性；2、可以单独分析与处理传输线路中的每一个数据报文；3、能实现相同数据报文的分流与重组。

现有技术在进行流量处理时，为达到上述要求，将数据流的处理与数据流的分析集中在一起实现，对系统的处理性能要求较高，处理成本较大而且处理逻辑较复杂。

发明内容

本发明实施例的目的在于提供一种在线流量处理方法，旨在解决现有技术在进行流量处理时，将数据流的处理与数据流的分析集中在一起实现，造成处理成本较大、处理逻辑较复杂的问题。

本发明实施例是这样实现的，一种在线流量处理系统，所述系统包括处理平台和数据分析服务器，

所述处理平台缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文分发至数据分析服务器，同时接收数据分析服务器返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理；

所述数据分析服务器对所述处理平台发送的数据报文进行分析处理，生成报文指令，并将所述报文指令返回至所述处理平台。

一种流量处理平台，其特征在于，所述平台包括：

在线可编辑逻辑阵列芯片，用于缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文发送至交换芯片，同时接收所述交换芯片返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理；

交换芯片，用于将所述数据报文分发至数据分析服务器，接收数据分析服务器对所述数据报文进行分析处理后产生的报文指令，并将所述报文指令发送给所述在线可编辑逻辑阵列芯片。

一种流量处理方法，其特征在于，所述方法包括以下步骤：

处理平台缓存原始线路数据，复制原始线路数据，得到线路数据副本，并将所述线路数据副本转换成数据报文分发至数据分析服务器；

数据分析服务器对处理平台发送的数据报文进行分析处理，生成报文指令，并将所述报文指令返回至处理平台；

处理平台接收数据分析服务器返回的报文指令，并依据所述报文指令缓存的对原始线路数据中所述报文指令指定的原始线路数据进行相应的处理。

一种流量处理方法，其特征在于，所述方法包括以下步骤：

在线可编辑逻辑阵列芯片缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文发送至交换芯片；

交换芯片将所述数据报文分发至数据分析服务器，接收数据分析服务器对所述数据报文进行分析处理后产生的报文指令，并将所述报文指令发送给所述在线可编辑逻辑阵列芯片；

在线可编辑逻辑阵列芯片接收所述交换芯片返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理。

在本发明实施例中，将数据流的分析和数据流的处理分开来进行，通过复制原始线路数据，得到线路数据副本，将原始线路数据缓存至外挂存储器中进行延迟转发，将线路数据副本转换成数据报文分发至数据分析服务器进行分析处理产生报文指令，再通过所述报文指令对外挂存储器的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理，有效降低了处理逻辑的复杂性和对系统处理性能的要求，减少了处理成本。另外，通过将数据流的分析和处理分开来进行，避免了数据分析服务器在分析的过程中由于死机导致流量传输线路堵塞的问题，极大的提高了流量处理的效率。

附图说明

图1是本发明实施例一提供的流量处理系统的架构图；

图2是本发明实施例二提供的流量处理系统中处理平台的结构图；

图3是本发明实施例三提供的流量处理系统中数据分析服务器的结构图；

图4是本发明实施例四提供的流量处理方法的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例将数据流的分析和数据流的处理分开来进行，通过复制原始线路数据，得到线路数据副本，将原始线路数据缓存至外挂存储器中进行延迟转发，将线路数据副本转换成数据报文分发至数据分析服务器进行分析处理产生报文指令，再通过所述报文指令对外挂存储器的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理，有效降低了处理逻辑的复杂性和对系统处理性能的要求，减少了处理成本。另外，通过将数据流的分析和处理分开来进行，避免了数据分析服务器在分析的过程中由于死机导致流量传输线路堵塞的问题，极大的提高了流量处理的效率。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例一提供的流量处理系统的架构图，为了便于说明，仅示出了与本发明实施例相关的部分。

该流量处理系统包括流量处理平台1以及至少一个数据分析服务器2，其中：

处理平台1，用于缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文分发至数据分析服务器，同时接收数据分析服务器返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理。

在本发明实施例中，通过外挂存储器缓存原始线路数据，在复制原始线路数据时，可根据需求进行选择性复制或者全复制。

数据分析服务器2，用于对所述处理平台发送的数据报文进行分析处理，生成报文指令，并将所述报文指令返回至所述处理平台。

作为本发明的另一实施例，所述流量处理系统还包括测试平台3及交换背板4，其中：

测试平台3与处理平台1和数据分析服务器2相连，用于对所述处理平台1和数据分析服务器2进行性能测试。

交换背板4，用于在所述处理平台1性能高于所述数据分析服务器2时，将所述处理平台1与多台数据数据分析服务器相连；在所述处理平台1性能低于所述数据分析服务器2时，将多个处理平台1与一个数据分析服务器2的多个网卡相连；在所述处理平台1性能与所述数据分析服务器2性能相当时，将所述处理平台1与数据分析服务器2直接相连。

实施例二：

图2示出了本发明实施例二提供的流量处理系统中处理平台的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该流量处理平台1包括在线可编辑逻辑阵列芯片11和交换芯片12。其中，各部分的具体功能如下：

在线可编辑逻辑阵列芯片11，用于缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文发送至交换芯片，同时接收所述交换芯片返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理。

在本实施例中，通过复制原始线路数据，得到线路数据副本，将线路数据副本转换成数据报文发送至交换芯片，通过交换芯片发送至数据分析服务器进行分析。将原始线路数据缓存至外挂存储器中进行数据的延迟转发，以等待数据分析服务器对所述数据报文进行分析处理后下发的报文指令，通过所述报文指令对所述原始线路数据进行处理。其中，所述原始线路数据存在一个复制标签，用于在对外挂存储器中的原始线路数据进行处理时，先进行复制标签的判断，对存在复制标签的原始线路数据根据对应的报文指令进行相应的处理，并将处理后的原始线路数据转换光/电信号，返回到线路中。对不存在复制标签的原始线路数据直接转换成光/电信号，返回到线路中。其中，复制原始线路数据可以为选择性复制或者全复制；处理的方式包括但不局限于删除、修改。

作为本发明的一个实施例，缓存在外挂存储器中的原始线路数据的数据延迟转发的时间可根据数据分析服务器对报文指令的下发速度动态调整，在报文指令下发的速度较慢时，适当延长原始线路数据存储在外挂存储器中的数据延迟转发时间，在报文指令下发的速度较快时，缩短原始线路数据存储在外挂存储器中的数据延迟转发时间。

在本实施例中，在将数据报文发送给交换芯片前，还包括对该数据报文进行分析，得到其基本的参数信息，例如：IP报文的源IP地址、目的IP地址、IP报文的协议、IP报文的净荷等。再根据分流的方式(如按源IP地址、目的IP地址或IP报文的协议进行哈希算法后)，将数据报文重组加入特定的信息(例如：处理平台对每一个数据报文进行一个序号标签的设置，根据数据报文进来的先后顺序，依次递增)成一待分析报文后发送给交换芯片。

交换芯片12，用于将所述数据报文分发至数据分析服务器2，接收数据分析服务器2对所述数据报文进行分析处理后产生的报文指令，并将所述报文指令发送给所述在线可编辑逻辑阵列芯片11。

在本实施例中，当交换芯片收到多个数据分析服务器发送的报文指令时，对所有的报文指令进行汇聚，将汇聚后的报文指令发送给在线可编辑逻辑阵列芯片。

作为本发明的另一实施例，该流量处理平台还包括外挂存储器13以及设备管理接口14，其中：

外挂存储器13，用于缓存原始线路数据进行数据的延迟转发，以等待数据分析服务器下发的对所述原始线路数据进行处理的报文指令。

设备管理接口14，用于对在线可编辑逻辑阵列芯片进行在线升级。在升级过程中，在线可编辑逻辑阵列芯片仍保持原有功能的正常使用，在升级完成后通过数据分析服务器下发重加载指令，新的功能即被启用。其中，重加载的时间为秒级。

实施例三：

图3示出了本发明实施例三提供的流量处理系统中数据分析服务器的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该数据分析服务器2包括数据报文分析单21和报文指令发送单元22。其中，各单元的具体功能如下：

数据报文分析单元21，用于对处理平台中交换芯片发送的数据报文进行分析，生成报文指令；

报文指令发送单元22，用于将所述报文指令发送至处理平台中的交换芯片。

在本实施例中，数据分析服务器通过其网卡接收到处理平台中交换芯片发送的数据报文后，交由其中央处理器进行数据报文分析，并将分析后的结果以报文指令的形式通过数据分析服务器的网卡返回给处理平台中交换芯片。其中，数据分析服务器可根据需求，配置多个网卡，在所述处理平台性能低于数据分析服务器时，将待分析的数据报文通过数据分析服务器的不同网卡发送给数据分析服务器进行分析。

作为本发明的一个实施例，所述数据分析服务器还包括在在线可编辑逻辑阵列芯片升级完成后下发重加载指令。

实施例四：

图4示出了本发明实施例四提供的流量处理方法的实现流程，该方法过程详述如下：

在步骤S401中，在线可编辑逻辑阵列芯片缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文发送至交换芯片。

在本实施例中，通过复制原始线路数据，得到线路数据副本，将线路数据副本转换成数据报文发送至交换芯片，通过交换芯片发送至数据分析服务器进行分析。将原始线路数据缓存至外挂存储器中进行数据的延迟转发，以等待数据分析服务器对所述数据报文进行分析处理后下发的报文指令，通过所述报文指令对所述原始线路数据进行处理。其中，缓存在外挂存储器中的原始线路数据的数据延迟转发的时间可根据数据分析服务器对报文指令的下发速度动态调整，在报文指令下发的速度较慢时，适当延长原始线路数据存储在外挂存储器中的数据延迟转发时间，在报文指令下发的速度较快时，缩短原始线路数据存储在外挂存储器中的数据延迟转发时间。

作为本发明的一个实施例，复制原始线路数据可以为选择性复制或者全复制。

在本实施例中，在将数据报文发送给交换芯片前，还包括对该数据报文进行分析，得到其基本的参数信息，例如：IP报文的源IP地址、目的IP地址、IP报文的协议、IP报文的净荷等。再根据分流的方式(如按源IP地址、目的IP地址或IP报文的协议进行哈希算法后)，将数据报文重组加入特定的信息(例如：处理平台对每一个数据报文进行一个序号标签的设置，根据数据报文进来的先后顺序，依次递增)成一待分析报文后发送给交换芯片。

在步骤S402中，交换芯片将所述数据报文发送给数据分析服务器。

在本实施例中，在将数据报文分发至数据分析服务器前，还包括通过一测试平台对所述处理平台和数据分析服务器进行性能测试。通过一交换背板在所述处理平台性能高于所述数据分析服务器时，将所述处理平台与多台数据数据分析服务器相连；在所述处理平台性能低于所述数据分析服务器时，将多个处理平台与一个数据分析服务器的多个网卡相连；在所述处理平台性能与所述数据分析服务器性能相当时，将所述处理平台与数据分析服务器直接相连。

在步骤S403中，数据分析服务器对所述数据报文进行分析处理，生成报文指令，并将所述报文指令返回至交换芯片。

在本实施例中，数据分析服务器通过其网卡接收到交换芯片发送的数据报文后，交由其中央处理器进行数据报文分析，并将分析后的结果以报文指令的形式通过数据分析服务器的网卡返回给交换芯片。其中，数据分析服务器可根据需求，配置多个网卡，在所述处理平台性能低于数据分析服务器时，将待分析的数据报文通过数据分析服务器的不同网卡发送给数据分析服务器进行分析。

作为本发明的一个实施例，所述数据分析服务器还包括在在线可编辑逻辑阵列芯片升级完成后下发重加载指令。

在步骤S404中，交换芯片接收所述报文指令，并将所述报文指令发送给在线可编辑逻辑阵列芯片。

在本实施例中，当交换芯片收到多个数据分析服务器发送的报文指令时，对所有的报文指令进行汇聚，将汇聚后的报文指令发送给在线可编辑逻辑阵列芯片。

在步骤S405中，在线可编辑逻辑阵列芯片接收交换芯片返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理。

在本实施例中，经过复制的原始线路数据存在一个复制标签，在所述报文指令对外挂存储器中的原始线路数据进行处理时，先进行复制标签的判断，对存在复制标签的原始线路数据根据对应的报文指令进行相应的处理，并将处理后的原始线路数据转换光/电信号，返回到线路中。对不存在复制标签的原始线路数据直接转换成光/电信号，返回到线路中。其中，处理的方式包括但不局限于删除、修改。

作为本发明的一个实施例，该方法还包括通过设备管理接口对在线可编辑逻辑阵列芯片进行在线升级。在升级过程中，在线可编辑逻辑阵列芯片仍保持原有功能的正常使用，在升级完成后通过数据分析服务器下发重加载指令，新的功能即被启用。其中，重加载的时间为秒级。

在本发明实施例中，将数据流的分析和数据流的处理分开来进行，通过复制原始线路数据，得到线路数据副本，将原始线路数据缓存至外挂存储器中进行延迟转发，将线路数据副本转换成数据报文分发至数据分析服务器进行分析处理产生报文指令，再通过所述报文指令对外挂存储器的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理，有效降低了处理逻辑的复杂性和对系统处理性能的要求，减少了处理成本。另外，通过将数据流的分析和处理分开来进行，避免了数据分析服务器在分析的过程中由于死机导致流量传输线路堵塞的问题，极大的提高了流量处理的效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种流量处理系统，其特征在于，所述系统包括处理平台和数据分析服务器，

所述处理平台通过外挂存储器缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文分发至数据分析服务器，同时接收数据分析服务器返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理；

所述数据分析服务器对所述处理平台发送的数据报文进行分析处理，生成报文指令，并将所述报文指令返回至所述处理平台；

所述处理平台根据数据分析服务器对报文指令的下发速度动态调整所述缓存在外挂存储器中的原始线路数据的数据延迟转发的时间；

所述系统还包括：

测试平台，用于对所述处理平台和所述数据分析服务器进行性能测试；

交换背板，用于在所述处理平台性能高于所述数据分析服务器时，将所述处理平台与多台数据数据分析服务器相连；在所述处理平台性能低于所述数据分析服务器时，将多个处理平台与一个数据分析服务器的多个网卡相连；在所述处理平台性能与所述数据分析服务器性能相当时，将所述处理平台与数据分析服务器直接相连。

2.如权利要求1所述的系统，其特征在于，所述处理平台包括：

在线可编辑逻辑阵列芯片，用于缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文发送至交换芯片，同时接收所述交换芯片返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理；

交换芯片，用于将所述数据报文分发至数据分析服务器，接收数据分析服务器对所述数据报文进行分析处理后产生的报文指令，并将所述报文指令发送给所述在线可编辑逻辑阵列芯片；

外挂存储器，用于缓存原始线路数据；

设备管理接口，用于对所述在线可编辑逻辑阵列芯片进行在线升级。

3.如权利要求1所述的系统，其特征在于，所述数据分析服务器包括：

数据报文分析单元，用于对处理平台中交换芯片发送的数据报文进行分析处理，生成报文指令；

报文指令发送单元，用于将所述报文指令发送至处理平台中的交换芯片。

4.如权利要求1或者2所述的系统，其特征在于，所述复制原始线路数据可以为选择性复制或者全复制。

5.一种流量处理平台，其特征在于，所述平台包括：

在线可编辑逻辑阵列芯片，用于通过外挂存储器缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文，并对每一个数据报文进行一个序号标签的设置后发送至交换芯片，同时接收所述交换芯片返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理，根据数据分析服务器对报文指令的下发速度动态调整所述缓存在外挂存储器中的原始线路数据的数据延迟转发的时间；

交换芯片，用于将所述数据报文分发至数据分析服务器，接收数据分析服务器对所述数据报文进行分析处理后产生的报文指令，并将所述报文指令发送给所述在线可编辑逻辑阵列芯片。

6.如权利要求5所述的平台，其特征在于，所述平台还包括：

外挂存储器，用于缓存原始线路数据；

设备管理接口，用于对所述在线可编辑逻辑阵列芯片进行在线升级。

7.如权利要求5所述的平台，其特征在于，所述复制原始线路数据可以为选择性复制或者全复制。

8.一种流量处理方法，其特征在于，所述方法包括以下步骤：

处理平台通过外挂存储器缓存原始线路数据，复制原始线路数据，得到线路数据副本，并将所述线路数据副本转换成数据报文分发至数据分析服务器；

数据分析服务器对处理平台发送的数据报文进行分析处理，生成报文指令，并将所述报文指令返回至处理平台；

处理平台接收数据分析服务器返回的报文指令，并依据所述报文指令缓存的对原始线路数据中所述报文指令指定的原始线路数据进行相应的处理；

处理平台根据数据分析服务器对报文指令的下发速度动态调整所述缓存在外挂存储器中的原始线路数据的数据延迟转发的时间；

测试平台对所述处理平台和所述数据分析服务器进行性能测试；

交换背板在所述处理平台性能高于所述数据分析服务器时，将所述处理平台与多台数据数据分析服务器相连；在所述处理平台性能低于所述数据分析服务器时，将多个处理平台与一个数据分析服务器的多个网卡相连；在所述处理平台性能与所述数据分析服务器性能相当时，将所述处理平台与数据分析服务器直接相连。

9.如权利要求8所述的方法，其特征在于，所述复制原始线路数据可以为选择性复制或者全复制。

10.如权利要求8所述的方法，其特征在于，通过外挂存储器缓存所述原始线路数据。

11.一种流量处理方法，其特征在于，所述方法包括以下步骤：

在线可编辑逻辑阵列芯片通过外挂存储器缓存原始线路数据，复制原始线路数据，得到线路数据副本，将所述线路数据副本转换成数据报文，并对每一个数据报文进行一个序号标签的设置后发送至交换芯片；

交换芯片将所述数据报文分发至数据分析服务器，接收数据分析服务器对所述数据报文进行分析处理后产生的报文指令，并将所述报文指令发送给所述在线可编辑逻辑阵列芯片；

在线可编辑逻辑阵列芯片接收所述交换芯片返回的报文指令，并依据所述报文指令对缓存的原始线路数据中所述报文指令指定的原始线路数据进行相应的处理，并根据数据分析服务器对报文指令的下发速度动态调整所述缓存在外挂存储器中的原始线路数据的数据延迟转发的时间。

12.如权利要求11所述的方法，其特征在于，所述复制原始线路数据可以为选择性复制或者全复制。

13.如权利要求11所述的方法，其特征在于，通过外挂存储器缓存所述原始线路数据。

14.如权利要求11所述的方法，其特征在于，所述方法还包括：

通过设备管理接口对所述在线可编辑逻辑阵列芯片进行在线升级。