CN110572441B - 基于边缘计算的超大规模dpi数据处理系统及处理方法 - Google Patents

Abstract

本发明揭示了一种基于边缘计算的超大规模DPI数据处理系统及相对应的数据处理方法，系统包括：DPI插件单元，部署在网关内，用于进行数据信息的采集、清洗与分析，生成上报信息并上传；数据传输单元，用于接收上报信息，对上报信息进行加密并转发；云端处理单元，用于接收上报信息，对上报信息进行解密、存储及处理，最终输出数据处理结果。本发明充分地将边缘计算的思想应用到了网络运营商对DPI数据处理的业务中，解决了传统业务处理过程中云计算模式所存在的各种问题，使得系统整体在服务的响应性能、稳定性等方面得到了显著地提升。

Description

基于边缘计算的超大规模DPI数据处理系统及处理方法

技术领域

本发明涉及一种数据处理系统及相对应的数据处理方法，具体而言，涉及一种基于边缘计算的超大规模DPI数据处理系统及处理方法，属于DPI技术领域。

背景技术

DPI（Deep Packet Inspection）是一种基于数据包的深度检测技术，针对不同的网络应用层载荷（例如HTTP、DNS等）进行深度检测，通过对报文的有效载荷检测决定其合法性。

DPI技术通过对网络中关键点处的流量和报文内容进行检测分析，根据事先定义的策略对检测流量进行过滤控制，从而实现所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤、对滥用P2P的控制等多种功能。

伴随着网络技术的不断发展，数据量的不断增长，DPI数据的规模也日益激增。目前，各传统网络运营商对于DPI数据的处理模式仍然选用的是云计算处理，由于DPI数据规模的扩大，这一处理模式的弊端逐渐显现。具体而言，基于云计算处理的DPI数据处理模式存在着以下几个方面的弊端：

1、很难实现对多源异构数据的处理。由于系统中感知层的数据属于海量级别，数据之间存在着频繁的冲突与合作，具有很强的冗余性、相关性、实时性和多源异构等特性，融合的多源异构数据和实时处理要求都给云计算带来了无法解决的巨大挑战。

2、带宽负载大且浪费资源。由于云服务是一种聚合度很高的集中式服务计算模式，用户将数据发送到云端存储和处理将消耗大量的网络带宽和计算资源，造成带宽负载过大、资源浪费等问题。同时，大量的用户访问也会进一步增加网络流量，进而引发服务中断、网络时延等问题。

3、资源受限现象严重。由于在现行的万物互联模式中，网络边缘设备通常是资源受限的（存储、计算能力和电池容量等），因此现行模式下数据在边缘设备和云计算中心之间的长距离传输能耗问题尤为突出。

4、安全性及隐私保护程度较低。在目前的云计算处理模式中，需要将网络边缘数据等涉及到个人隐私的数据信息上传至云计算中心内进行处理，用户的隐私数据很容易被第三方所截获，从而造成用户隐私数据的泄露。

近年来，边缘计算技术兴起。边缘计算（Edge Computing）起源于传媒领域，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用等核心能力为一体的开放平台，就近提供最近端服务的技术。由于该技术的应用程序在边缘侧发起，因此其能够更快地完成网络服务响应，满足使用者在实时业务、应用智能、安全与隐私保护等方面的基本需求。

正因现有技术中存在着上述不足，而边缘计算技术的出现恰好又为现有技术的改进提供了新的思路，因此，如何将边缘计算技术与现有的DPI数据处理方案相结合，以克服现有技术中所存在的诸多问题，也就成为了目前行业内技术人员亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于边缘计算的超大规模DPI数据处理系统及处理方法，具体如下。

一种基于边缘计算的超大规模DPI数据处理系统，包括：

DPI插件单元，部署在网关内，用于进行数据信息的采集、清洗与分析，生成上报信息并对所述上报信息进行上传；

数据传输单元，与所述DPI插件单元相连接，用于接收来自所述DPI插件单元的上报信息，对所述上报信息进行加密并转发；

云端处理单元，与所述数据传输单元相连接，用于接收来自所述数据传输单元的上报信息，对所述上报信息进行解密、存储及处理，最终输出数据处理结果。

优选地，所述DPI插件单元包括：

数据采集模块，与网关的数据接口相连接，用于采集网关下所有的原始数据信息并转发；

数据分析模块，与所述数据采集模块相连接，用于接收来自所述数据采集模块的原始数据信息，对原始数据信息进行特征识别及信息提取，生成上报信息并将所述上报信息进行上传。

优选地，所述原始数据信息包括有线数据信息及无线数据信息。

优选地，所述数据采集模块包括：

数据清洗子模块，用于按照系统配置指令对所采集的全部原始数据信息进行筛选清洗，对不满足所述系统配置指令要求的部分原始数据信息进行删除。

优选地，所述数据分析模块包括：

特征识别子模块，用于按照特定指纹信息对原始数据进行逐一识别和检测，生成特征识别结果并转发；

上报信息提取子模块，与所述特征识别子模块相连接，用于接收来自所述特征识别子模块的特征识别结果，按照所述特征识别结果对符合要求的原始数据进行筛选和提取，生成上报信息并将所述上报信息上传。

优选地，所述特定指纹信息包括特定的端口、特定的字符串以及特定的比特序列。

优选地，在所述数据传输单元中，对所述上报信息进行加密的方式为RSA非对称加密。

优选地，所述云端处理单元包括：

云端数据存储模块，用于采用HDFS分布式文件系统，对上传至所述云端处理单元中的上报数据进行解密及存储；

云端数据处理模块，用于采用批处理的方式，对经过解密后的所述上报数据进行处理，最终输出数据处理结果。

一种基于边缘计算的超大规模DPI数据处理方法，使用如上所述的基于边缘计算的超大规模DPI数据处理系统，包括如下步骤：

S1、搭建基于边缘计算的超大规模DPI数据处理系统，根据使用要求下发系统配置指令、对系统内的各单元、各模块进行配置；

S2、运行系统并接收报文输入，通过数据采集模块采集原始数据信息，通过数据清洗子模块对所采集的原始数据信息进行初步筛选清洗，对不满足所述系统配置指令要求的部分原始数据信息进行删除，将剩余部分的原始数据信息进行转发；

S3、通过特征识别子模块按照特定指纹信息对原始数据进行逐一识别和检测，生成特征识别结果，随后通过上报信息提取子模块按照所述特征识别结果对符合要求的原始数据进行筛选和提取，生成上报信息并上传；

S4、通过数据传输单元对所述上报信息进行加密并转发；

S5、通过云端处理单元接收所述上报信息，对所述上报信息进行解密、存储及数据处理，生成数据处理结果，最终完成业务输出。

与现有技术相比，本发明的优点主要体现在以下几个方面：

1、本发明所提供的一种基于边缘计算的超大规模DPI数据处理系统采用了分布式的数据处理方法，将主要计算节点及应用部署在靠近终端的数据中心内，提升了系统在服务时的响应性能，实现了低延时计算，显著地提升了数据处理的效率。

2、本发明在运行过程中会对来自终端设备的数据进行筛选，不会将原始数据逐条传送至云端，有效地缓解了大规模数据对网络流量的压力。同时，系统在对数据进行云端传输时还会对一部分简单数据进行处理，减少云端的数据处理任务量，从而缩短设备的响应时间，减少从设备到云端的数据流量。

3、本发明满足了智能化的使用需要，通过边缘计算的方式保障了大量的计算需要在离终端很近的区域内完成，有效地实现了苛刻的低延时服务响应。而且，本发明的系统充分利用了现有框架体系中的空闲资源，直接在边缘节点处进行数据的过滤与分析，进一步提升了节能省时的技术效果。

4、本发明所采用的边缘计算模式可以将用户的 DPI 数据全部存储在网关上，不必进行云端上传，而且用户还可以对云端访问的数据进行控制和限制，从而在最大限度保护了用户的数据隐私，满足了对个人隐私数据保护的需要。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明系统的架构示意图。

具体实施方式

本发明提出了一种基于边缘计算的超大规模DPI数据处理系统及处理方法，具体如下。

如图1所示，本发明的一种基于边缘计算的超大规模DPI数据处理系统，包括：

DPI插件单元，部署在网关内，用于进行数据信息的采集、清洗与分析，生成上报信息并对所述上报信息进行上传。此部分系统结构可以沿用现有的网络结构，不需要对现有网络结构做任何修改；

数据传输单元，与所述DPI插件单元相连接，用于接收来自所述DPI插件单元的上报信息，对所述上报信息进行加密并转发；

云端处理单元，与所述数据传输单元相连接，用于接收来自所述数据传输单元的上报信息，对所述上报信息进行解密、存储及处理，最终输出数据处理结果。

所述DPI插件单元包括：

数据采集模块，与网关的数据接口相连接，用于采集网关下所有的原始数据信息并转发；所述原始数据信息包括有线数据信息及无线数据信息。

数据分析模块，与所述数据采集模块相连接，用于接收来自所述数据采集模块的原始数据信息，对原始数据信息进行特征识别及信息提取，生成上报信息并将所述上报信息进行上传。

所述数据采集模块内至少包括：

数据清洗子模块，用于按照系统配置指令对所采集的全部原始数据信息进行筛选清洗，对不满足所述系统配置指令要求的部分采集的原始数据信息进行删除。

所述数据分析模块包括：

特征识别子模块，用于按照特定指纹信息对原始数据进行逐一识别和检测，生成特征识别结果并转发；所述特定指纹信息包括特定的端口、特定的字符串以及特定的比特序列。

此处需要说明的是，特征识别是整个DPI插件单元的核心。由于不同的应用通常依赖于不同的协议，而不同的协议都有其特殊的指纹。因此基于“特征字”的识别技术实际上就是通过对业务流中特定数据报文中的“指纹”信息的检测以确定业务流承载的应用。

上报信息提取子模块，与所述特征识别子模块相连接，用于接收来自所述特征识别子模块的特征识别结果，按照所述特征识别结果对符合要求的原始数据进行筛选和提取，生成上报信息并将所述上报信息上传。

通过所述上报信息提取子模块对原始数据进行的筛选和提取，使得原始数据不必逐条被传送至云端，减少了上报到云端的数据量和传输时间，降低网络流量的压力，并降低了云端的数据处理压力。

在所述数据传输单元中，对所述上报信息进行加密的方式为RSA非对称加密。同时，在实际的使用过程中，为了保证所述数据传输单元的使用效果，还应当在不影响用户网络体验的情况下，对DPI插件采集、分析模块进行更新，系统中的这两部分模块应尽可能精简。

所述云端处理单元包括：

云端数据存储模块，用于采用HDFS分布式文件系统，对上传至所述云端处理单元中的上报数据进行解密及存储；

HDFS（Hadoop Distributed File System）被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

云端数据处理模块，用于采用批处理的方式，对经过解密后的所述上报数据进行处理，所述云端数据处理模块主要需要处理一些边缘计算无法处理的信息，比如统计类数据。批处理的方式可以最大化利用硬件的并行能力，提高数据处理效率，从而最终输出数据处理结果。

本发明的一种基于边缘计算的超大规模DPI数据处理方法，需使用如上所述的基于边缘计算的超大规模DPI数据处理系统，方法包括如下步骤：

S1、搭建基于边缘计算的超大规模DPI数据处理系统，根据使用要求下发系统配置指令、对系统内的各单元、各模块进行配置；

S2、运行系统并接收报文输入，通过数据采集模块采集原始数据信息，通过数据清洗子模块对所采集的原始数据信息进行初步筛选清洗，对不满足所述系统配置指令要求的部分原始数据信息进行删除，将剩余部分的原始数据信息进行转发；

S3、通过特征识别子模块按照特定指纹信息对原始数据进行逐一识别和检测，生成特征识别结果，随后通过上报信息提取子模块按照所述特征识别结果对符合要求的原始数据进行筛选和提取，生成上报信息并上传；

S4、通过数据传输单元对所述上报信息进行加密并转发；

S5、通过云端处理单元接收所述上报信息，对所述上报信息进行解密、存储及数据处理，生成数据处理结果，最终完成业务输出。

总体而言，本发明所提供的一种基于边缘计算的超大规模DPI数据处理系统及相对应的数据处理方法，充分地将边缘计算的思想应用到了网络运营商对DPI数据处理的业务中，优化了传统业务处理过程中云计算模式所存在的各种问题。与云计算模式的中心化思维不同，边缘计算模式中主要计算节点以及应用分布式地部署在靠近终端的数据中心（可以是个人PC、网关或路由器等等）内，这样一来，也就使得系统整体在服务的响应性能、稳定性等方面均高于传统中心化的云计算模式。

具体而言，本发明的优势主要体现在以下几个方面：

1、本发明所提供的一种基于边缘计算的超大规模DPI数据处理系统采用了分布式的数据处理方法，将主要计算节点及应用部署在靠近终端的数据中心内，提升了系统在服务时的响应性能，实现了低延时计算，显著地提升了数据处理的效率。

2、本发明在运行过程中会对来自终端设备的数据进行筛选，不会将原始数据逐条传送至云端，有效地缓解了大规模数据对网络流量的压力。同时，系统在对数据进行云端传输时还会对一部分简单数据进行处理，减少云端的数据处理任务量，从而缩短设备的响应时间，减少从设备到云端的数据流量。

3、本发明满足了智能化的使用需要，无论是物联网、VR或AR场景，或是大数据及人工智能行业，实际上都有着极强的对近场计算的需求，本发明通过边缘计算的方式保障了大量的计算需要在离终端很近的区域内完成，有效地实现了苛刻的低延时服务响应。而且，本发明的系统充分利用了现有框架体系中的空闲资源，直接在边缘节点处进行数据的过滤与分析，进一步提升了节能省时的技术效果。

4、本发明所采用的边缘计算模式可以将用户的 DPI 数据全部存储在网关上，不必进行云端上传，而且用户还可以对云端访问的数据进行控制和限制，从而在最大限度保护了用户的数据隐私，满足了对个人隐私数据保护的需要。

此外，本发明也为同领域内的其他相关方案提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他与DPI数据处理相关的设计方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于边缘计算的超大规模DPI数据处理系统，其特征在于，包括：

DPI插件单元，部署在网关内，用于进行数据信息的采集、清洗与分析，生成上报信息并对所述上报信息进行上传；

数据传输单元，与所述DPI插件单元相连接，用于接收来自所述DPI插件单元的上报信息，对所述上报信息进行加密并转发；

云端处理单元，与所述数据传输单元相连接，用于接收来自所述数据传输单元的上报信息，对所述上报信息进行解密、存储及处理，最终输出数据处理结果；

所述DPI插件单元包括：

数据采集模块，与网关的数据接口相连接，用于采集网关下所有的原始数据信息并转发；

数据分析模块，与所述数据采集模块相连接，用于接收来自所述数据采集模块的原始数据信息，对原始数据信息进行特征识别及信息提取，生成上报信息并将所述上报信息进行上传。

所述数据采集模块包括：

数据清洗子模块，用于按照系统配置指令对所采集的全部原始数据信息进行筛选清洗，对不满足所述系统配置指令要求的部分原始数据信息进行删除；

所述数据分析模块包括：

特征识别子模块，用于按照特定指纹信息对原始数据进行逐一识别和检测，生成特征识别结果并转发；

上报信息提取子模块，与所述特征识别子模块相连接，用于接收来自所述特征识别子模块的特征识别结果，按照所述特征识别结果对符合要求的原始数据进行筛选和提取，生成上报信息并将所述上报信息上传；

所述云端处理单元包括：

云端数据存储模块，用于采用HDFS分布式文件系统，对上传至所述云端处理单元中的上报数据进行解密及存储；

云端数据处理模块，用于采用批处理的方式，对经过解密后的所述上报数据进行处理，最终输出数据处理结果。

2.根据权利要求1所述的基于边缘计算的超大规模DPI数据处理系统，其特征在于：所述原始数据信息包括有线数据信息及无线数据信息。

3.根据权利要求1所述的基于边缘计算的超大规模DPI数据处理系统，其特征在于：所述特定指纹信息包括特定的端口、特定的字符串以及特定的比特序列。

4.根据权利要求1所述的基于边缘计算的超大规模DPI数据处理系统，其特征在于：在所述数据传输单元中，对所述上报信息进行加密的方式为RSA非对称加密。

5.一种基于边缘计算的超大规模DPI数据处理方法，使用如权利要求1~4任一所述的基于边缘计算的超大规模DPI数据处理系统，其特征在于，包括如下步骤：

S1、搭建基于边缘计算的超大规模DPI数据处理系统，根据使用要求下发系统配置指令、对系统内的各单元、各模块进行配置；

S2、运行系统并接收报文输入，通过数据采集模块采集原始数据信息，通过数据清洗子模块对所采集的原始数据信息进行初步筛选清洗，对不满足所述系统配置指令要求的部分原始数据信息进行删除，将剩余部分的原始数据信息进行转发；

S3、通过特征识别子模块按照特定指纹信息对原始数据进行逐一识别和检测，生成特征识别结果，随后通过上报信息提取子模块按照所述特征识别结果对符合要求的原始数据进行筛选和提取，生成上报信息并上传；

S4、通过数据传输单元对所述上报信息进行加密并转发；

S5、通过云端处理单元接收所述上报信息，对所述上报信息进行解密、存储及数据处理，生成数据处理结果，最终完成业务输出。

Images