CN110855512A - 基于边缘计算的超大规模dpi数据的处理系统 - Google Patents

基于边缘计算的超大规模dpi数据的处理系统 Download PDF

Info

Publication number
CN110855512A
CN110855512A CN201810952746.0A CN201810952746A CN110855512A CN 110855512 A CN110855512 A CN 110855512A CN 201810952746 A CN201810952746 A CN 201810952746A CN 110855512 A CN110855512 A CN 110855512A
Authority
CN
China
Prior art keywords
data
dpi
cloud server
edge calculation
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810952746.0A
Other languages
English (en)
Inventor
王克非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Original Assignee
SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd filed Critical SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Priority to CN201810952746.0A priority Critical patent/CN110855512A/zh
Publication of CN110855512A publication Critical patent/CN110855512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/14—Arrangements for monitoring or testing data switching networks using software, i.e. software packages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于边缘计算的超大规模DPI数据的处理系统，包括：网关，具有DPI插件，进行DPI数据采集和边缘计算；云端服务器，对DPI数据进行存储并对边缘计算无法处理的信息进行处理；数据传输，连接网关和云端服务器，以对数据进行传输。本发明基于边缘计算的超大规模DPI数据的处理系统，网关进行数据采集、数据清洗、特别识别、上报信息提取等边缘计算，云端服务器对边缘计算无法处理的信息进行处理，充分发挥了网关边缘计算的算力，而且减少数据的上传量，减少了带宽的占用，提高了云端服务器的运算效率，从而提高了整体数据处理的效率，同时还减少了数据被窃取的风险，尤其是用户隐私数据，提高了安全性。

Description

基于边缘计算的超大规模DPI数据的处理系统
技术领域
本发明涉及DPI的数据处理方案，尤其涉及一种基于边缘计算的超大规模DPI数据的处理系统。
背景技术
DPI(Deep Packet Inspection)是一种基于数据包的深度检测技术，通过对网络的关键点处的流量和报文内容进行检测分析，能完成对所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务流量占比整形，以及对病毒、木马进行过滤和对滥用P2P的控制等功能。
随着越来越多网关设备的加入，对传统云计算中心的数据接收、清洗、计算的能力要求也越来越高。现有技术中传统运营商针对DPI数据的处理方式采用了基于MapReduce大数据处理技术，实际上是一种批处理方式。批处理模式首先要完成数据的累积和存储，然后通过Hadoop客户端将数据上传到HDFS上，最后才启动MapReduce进行数据处理，处理后再写入到HDFS。这种方式必须要所有数据都要准备好，然后统一进行集中计算和价值发现。这种方式具有如下缺点：
(1)多源异构数据处理。感知层数据属于海量级别，数据之间具有很强的冗余性、相关性、实时性和多源异构特性。融合的多源异构数据和实时处理要求给云计算带来了无法解决的巨大挑战。
(2)带宽负载和资源浪费。云计算是一种聚合度很高的集中式服务计算，用户将数据发送到云端存储和处理，将消耗大量的网络带宽和计算资源，进而引发服务中断、网络时延等问题。同时，对网络边缘设备的负载要求也相当高，数据在边缘设备和云计算中心之间的长距离传输能耗问题显得尤为突出。
(3)安全和隐私保护。网络边缘数据涉及个人隐私，传统的云计算模式需要将这些隐私数据上传至云计算中心，这将增加泄露用户隐私数据的风险。
发明内容
鉴于目前现有技术的不足，本发明的目的在于提供一种基于边缘计算的超大规模DPI数据的处理系统，可以快速、方便的完成数据处理，提高效率，降低成本。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于边缘计算的超大规模DPI数据的处理系统，包括：
网关，具有DPI插件，进行DPI数据采集和边缘计算；
云端服务器，对DPI数据进行存储并对边缘计算无法处理的信息进行处理；
数据传输，连接网关和云端服务器，以对数据进行传输。
进一步，其中所述DPI插件，包括：
DPI数据采集体系，采集任何有线数据和无线数据并进行清洗；
DPI数据分析体系，包括特征识别，基于特征字的识别技术通过对业务流中特定数据报文中的指纹信息的检测以确定业务流承载的应用。
进一步，其中所述指纹信息，包括特定的端口、特定的字符串或者特定的比特序列。
进一步，其中所述DPI数据分析体系，还包括上报信息提取，对原始数据进行筛选和提取关键字，并传送到云端服务器。
进一步，其中所述云端服务器，采用批处理方式进行数据处理。
进一步，其中所述边缘计算无法处理的信息，包括统计类数据。
进一步，其中所述云端服务器，对DPI数据进行存储采用HDFS分布式文件系统。
进一步，其中所述云端服务器，采用deflate算法。
进一步，其中所述DPI插件，嵌入Lua脚本语言库。
进一步，其中所述数据传输，采用RSA非对称加密。
本发明的优点：本发明基于边缘计算的超大规模DPI数据的处理系统，网关进行数据采集、数据清洗、特别识别、上报信息提取等边缘计算，云端服务器对边缘计算无法处理的信息进行处理，充分发挥了网关边缘计算的算力，而且减少数据的上传量，减少了带宽的占用，提高了云端服务器的运算效率，从而提高了整体数据处理的效率，同时还减少了数据被窃取的风险，尤其是用户隐私数据，提高了安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的一种基于边缘计算的超大规模DPI数据的处理系统的结构方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1所示，本发明一实施方式基于边缘计算的超大规模DPI数据的处理系统，包括：
网关，具有DPI插件，进行DPI数据采集和边缘计算；
云端服务器，对DPI数据进行存储并对边缘计算无法处理的信息进行处理；
数据传输，连接网关和云端服务器，以对数据进行传输。
网关连接有PC、笔记本电脑、平板电脑、手机、打印机、传真机等设备，当然，本发明并不仅限于连接这些设备，在实际使用于，可根据需要添加或减小设备。
其中所述DPI插件，包括：
DPI数据采集体系，采集任何有线数据和无线数据并进行清洗；
DPI数据分析体系，包括特征识别，基于特征字的识别技术通过对业务流中特定数据报文中的指纹信息的检测以确定业务流承载的应用。
其中所述特征识别是DPI插件的核心。因为不同的应用通常依赖于不同的协议，而不同的协议都有其特殊的指纹，这些指纹可能是特定的端口、特定的字符串或者特定的比特序列。所以基于特征字的识别技术通过对业务流中特定数据报文中的指纹信息的检测可以确定业务流承载的应用。其中所述指纹信息，包括特定的端口、特定的字符串或者特定的比特序列。
其中所述DPI数据分析体系，还包括上报信息提取，对原始数据进行筛选和提取关键字，并传送到云端服务器。这样，不必每条原始数据都传送到云端服务器，以减少上报到云端服务器的数据量和传输时间，降低网络流量的压力，并降低云端服务器数据处理的压力。
其中所述云端服务器，采用批处理方式进行数据处理。批处理可以最大化利用硬件的并行能力，提高数据处理效率。其中所述边缘计算无法处理的信息，比如统计类数据。
其中所述云端服务器，对DPI数据进行存储采用HDFS分布式文件系统。HDFS(Hadoop Distributed File System)被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
其中所述云端服务器，采用deflate算法，对数据进行压缩，对数据进行缓存、聚合处理，对带宽的占用降低了50％。
其中所述DPI插件，嵌入Lua脚本语言库，使DPI插件的特征识别具备了一定的动态修改能力。一方面可以减少插件整体升级带来的对用户网络的可能影响和风险，另一方面可以对市场上新增的网络协议和网络设备做出及时更新，提高特征识别的准确性。为了保证不影响用户网络体验的情况下，对DPI插件中DPI数据采集体系、DPI数据分析体系的更新，这两部分模块要做的尽可能小。在保证对网关本身资源占用没有明显升高的前提下，将部分数据清洗、特征提取等任务转移到网关，使上报的数据量减少90％。在网关处即将用户敏感信息过滤，并不上传到云端服务器，一方面减少了数据传输过程中被截取的风险，另一方面减少了存储在云端服务器中的数据被黑客窃取的风险。
其中所述数据传输，采用RSA非对称加密，保障了信息的完整性和保密性。
本发明基于边缘计算的超大规模DPI数据的处理系统，网关进行数据采集、数据清洗、特别识别、上报信息提取等边缘计算，云端服务器对边缘计算无法处理的信息进行处理，充分发挥了网关边缘计算的算力，而且减少数据的上传量，减少了带宽的占用，提高了云端服务器的运算效率，从而提高了整体数据处理的效率，同时还减少了数据被窃取的风险，尤其是用户隐私数据，提高了安全性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于边缘计算的超大规模DPI数据的处理系统，包括：
网关，具有DPI插件，进行DPI数据采集和边缘计算；
云端服务器，对DPI数据进行存储并对边缘计算无法处理的信息进行处理；
数据传输，连接网关和云端服务器，以对数据进行传输。
2.根据权利要求1所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述DPI插件，包括：
DPI数据采集体系，采集任何有线数据和无线数据并进行清洗；
DPI数据分析体系，包括特征识别，基于特征字的识别技术通过对业务流中特定数据报文中的指纹信息的检测以确定业务流承载的应用。
3.根据权利要求2所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述指纹信息，包括特定的端口、特定的字符串或者特定的比特序列。
4.根据权利要求2所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述DPI数据分析体系，还包括上报信息提取，对原始数据进行筛选和提取关键字，并传送到云端服务器。
5.根据权利要求5所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述云端服务器，采用批处理方式进行数据处理。
6.根据权利要求1所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述边缘计算无法处理的信息，包括统计类数据。
7.根据权利要求1所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述云端服务器，对DPI数据进行存储采用HDFS分布式文件系统。
8.根据权利要求1所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述云端服务器，采用deflate算法。
9.根据权利要求1所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述DPI插件，嵌入Lua脚本语言库。
10.根据权利要求1所述的基于边缘计算的超大规模DPI数据的处理系统，其特征在于，其中所述数据传输，采用RSA非对称加密。
CN201810952746.0A 2018-08-21 2018-08-21 基于边缘计算的超大规模dpi数据的处理系统 Pending CN110855512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810952746.0A CN110855512A (zh) 2018-08-21 2018-08-21 基于边缘计算的超大规模dpi数据的处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810952746.0A CN110855512A (zh) 2018-08-21 2018-08-21 基于边缘计算的超大规模dpi数据的处理系统

Publications (1)

Publication Number Publication Date
CN110855512A true CN110855512A (zh) 2020-02-28

Family

ID=69595192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810952746.0A Pending CN110855512A (zh) 2018-08-21 2018-08-21 基于边缘计算的超大规模dpi数据的处理系统

Country Status (1)

Country Link
CN (1) CN110855512A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753967A (zh) * 2020-07-05 2020-10-09 刀锋 基于深度学习反馈结合边缘计算的大数据处理系统
CN113259343A (zh) * 2021-05-11 2021-08-13 河南垂天科技有限公司 一种基于边缘计算技术的5g白盒网关器件
CN114401139A (zh) * 2022-01-14 2022-04-26 京东方科技集团股份有限公司 用于在边缘计算设备处处理数据采样的方法及装置
CN114979129A (zh) * 2021-02-23 2022-08-30 天翼数字生活科技有限公司 一种基于终端协作的边缘网关计算方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136952A (zh) * 2011-04-20 2011-07-27 北京星网锐捷网络技术有限公司 特征码失效检测方法及系统
CN102752218A (zh) * 2012-07-16 2012-10-24 北京国创富盛通信股份有限公司 网络优化系统和网络优化方法
CN103888305A (zh) * 2012-12-19 2014-06-25 中国电信股份有限公司 一种基于家庭网关的监测方法和系统
CN104579795A (zh) * 2015-01-28 2015-04-29 武汉虹信技术服务有限责任公司 一种用于网络数据流识别的协议特征库维护使用方法
CN106060925A (zh) * 2016-07-19 2016-10-26 中国联合网络通信集团有限公司 智能网关分布确定方法和智能网关
CN106131153A (zh) * 2016-06-29 2016-11-16 中国联合网络通信集团有限公司 基于智能网关的业务识别方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136952A (zh) * 2011-04-20 2011-07-27 北京星网锐捷网络技术有限公司 特征码失效检测方法及系统
CN102752218A (zh) * 2012-07-16 2012-10-24 北京国创富盛通信股份有限公司 网络优化系统和网络优化方法
CN103888305A (zh) * 2012-12-19 2014-06-25 中国电信股份有限公司 一种基于家庭网关的监测方法和系统
CN104579795A (zh) * 2015-01-28 2015-04-29 武汉虹信技术服务有限责任公司 一种用于网络数据流识别的协议特征库维护使用方法
CN106131153A (zh) * 2016-06-29 2016-11-16 中国联合网络通信集团有限公司 基于智能网关的业务识别方法和装置
CN106060925A (zh) * 2016-07-19 2016-10-26 中国联合网络通信集团有限公司 智能网关分布确定方法和智能网关

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753967A (zh) * 2020-07-05 2020-10-09 刀锋 基于深度学习反馈结合边缘计算的大数据处理系统
CN114979129A (zh) * 2021-02-23 2022-08-30 天翼数字生活科技有限公司 一种基于终端协作的边缘网关计算方法
CN113259343A (zh) * 2021-05-11 2021-08-13 河南垂天科技有限公司 一种基于边缘计算技术的5g白盒网关器件
CN114401139A (zh) * 2022-01-14 2022-04-26 京东方科技集团股份有限公司 用于在边缘计算设备处处理数据采样的方法及装置

Similar Documents

Publication Publication Date Title
Xu et al. Am I eclipsed? A smart detector of eclipse attacks for Ethereum
CN110855512A (zh) 基于边缘计算的超大规模dpi数据的处理系统
WO2022083417A1 (zh) 一种数据包处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品
CN110572441B (zh) 基于边缘计算的超大规模dpi数据处理系统及处理方法
CN112688822B (zh) 基于多点协同的边缘计算故障或安全威胁监测系统与方法
CN112804348B (zh) 云监测中心对边缘计算节点上报数据的重复性判定方法
JP2016508353A (ja) ネットワークメタデータを処理する改良されたストリーミング方法およびシステム
Holtz et al. Building scalable distributed intrusion detection systems based on the mapreduce framework
Yan et al. Identifying wechat red packets and fund transfers via analyzing encrypted network traffic
CN112291277B (zh) 一种恶意软件检测方法、装置、设备及存储介质
KR102129375B1 (ko) 딥러닝 모델 기반 토르 사이트 액티브 핑거프린팅 시스템 및 방법
Liu et al. Maldetect: A structure of encrypted malware traffic detection
CN113518042B (zh) 一种数据处理方法、装置、设备及存储介质
CN114218322B (zh) 基于密文传输的数据展示方法、装置、设备及介质
Bulle et al. A host-based intrusion detection model based on OS diversity for SCADA
Liang et al. FECC: DNS tunnel detection model based on CNN and clustering
Li et al. Ubinn: a communication efficient framework for distributed machine learning in edge computing
CN116629379A (zh) 联邦学习聚合方法及装置、存储介质及电子设备
CN112565269B (zh) 服务器后门流量检测方法、装置、电子设备及存储介质
KR20200056029A (ko) 수동 핑거프린팅을 이용한 익명 네트워크 분석 시스템 및 방법
Tang et al. Drmt: a decentralized iot device recognition and management technology in smart cities
CN112804239A (zh) 一种流量安全分析建模方法和系统
CN114760083A (zh) 一种攻击检测文件的发布方法、装置及存储介质
Melissaris et al. Locomotive: Optimizing mobile web traffic using selective compression
CN115442277B (zh) 一种提升5g溯源关联正确性的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination