CN112468509A - 一种基于深度学习技术的流量数据自动检测方法及装置 - Google Patents
一种基于深度学习技术的流量数据自动检测方法及装置 Download PDFInfo
- Publication number
- CN112468509A CN112468509A CN202011446352.1A CN202011446352A CN112468509A CN 112468509 A CN112468509 A CN 112468509A CN 202011446352 A CN202011446352 A CN 202011446352A CN 112468509 A CN112468509 A CN 112468509A
- Authority
- CN
- China
- Prior art keywords
- data
- flow
- traffic
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000005516 engineering process Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005206 flow analysis Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000006378 damage Effects 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于深度学习技术的流量数据自动检测方法及装置，所述检测方法如下：步骤一：系统对数据链路层的数据流进行监听和捕获，同时，采用web服务支持外部流量数据接入功能，系统对捕获的原始数据信息流进行数据清洗，除去冗余和非必须信息；步骤二：在分组捕获目标数据流量后，对原始数据流进行数据预处理，即是从原始流量至深度神经网络输入数据的处理过程。本发明鉴于安全威胁流量通过网络交互实现破坏任务的特点，采用流检测技术以数据流为基本研究对象，在捕获的数据链路层流量后，通过自动化选取与分析数据流传输的统计特征，能有效减轻系统的处理负担，为确定网络安全威胁提供有力支持。
Description
技术领域
本发明涉及流量检测技术领域，具体为一种基于深度学习技术的流量数据自动检测方法及装置。
背景技术
随着信息技术的不断发展，互联网数据逐渐成为人民生活的重要基础资源，随之而来的网络安全正面临着日益严峻的挑战。网络流量检测技术作为最重要的防护技术之一，通过建立网络访问行为基准来识别网络异常行为，通用性较强，在入侵检测、网络攻击、欺诈窃密检测等领域具有广泛的应用。然而，传统的流量数据自动检测方法大多集中于使用检测特定数据包载荷、匹配木马特征库或者网络协议划分等方法，这些技术依赖于木马检测专家经验的判断，缺乏泛化能力，难以应对日趋复杂的木马技术和网络环境，检测准确率低，缺乏实用性。基于深度学习技术的流量数据检测处理方法与装置，支持流量数据自动化处理和智能化威胁检测，分别对应安全威胁流量、不确定流量和安全流量，能够为流量威胁识别提供有力支持。
发明内容
本发明的目的在于提供一种基于深度学习技术的流量数据自动检测方法及装置，解决了背景技术中所提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习技术的流量数据自动检测方法，所述检测方法如下：
步骤一：系统对数据链路层的数据流进行监听和捕获，同时，采用web服务支持外部流量数据接入功能，系统对捕获的原始数据信息流进行数据清洗，除去冗余和非必须信息；
步骤二：在分组捕获目标数据流量后，对原始数据流进行数据预处理，即是从原始流量至深度神经网络输入数据的处理过程；
步骤三：包括对流量数据用深度学习方法进行训练和进行识别的两个过程；识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制；
步骤四：利用训练好的模型对网络流量检测,识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制。
作为本发明的一种优选实施方式，所述步骤一包括如下子步骤：
(1.1)、对于本网络系统的流经数据包，系统在网络出口处将网卡设置为混杂模式，这种模式能够接受所有流经本地的流量数据包，数据包采集业务系统工作流程如下：
第一：初始化数据包采集环境，设定采集的数据包大小、可用CPU数量、多线程池的大小；
第二：建立系统内存缓冲区，接受到的数据包将会被拷贝到套接字缓冲区，并供系统用户层通过调用系统函数mmap访问；
第三：使用多线程循环不断查询各端口并接收流量数据包，再采用自定义的包处理函数，过滤掉不属于本网络的冗余信息；
第四：最后输出pcap格式的标准流量数据包集合。
(1.2)、对于外部提供的数据包，向外部数据源提供API回调接口，通过web服务获取流量数据集合，并提取流量集合中某单一应用的数据流量，包含该应用的使用所有协议层次数据流。
(1.3)、将数据流量与系统中已有流量集合进行逐条比对，
若该数据包已经存在于系统中，则对同一应用产生的流量，进行合并处理，并选取最新时间戳版本覆盖该数据流的旧版本。
若该数据流的应用不存在于系统中，则将其作为新数据导入系统，并记录其关联的数据表版本号；
若没有在系统中检索到该数据表，则将其版本号设置为0，并作为新数据流量导入系统。
(1.4)通过重复步骤(1.2)(1.3)的操作，直到所有待处理数据流量集合都顺利导入系统。
作为本发明的一种优选实施方式，所述步骤二中包括如下子步骤：
(2.1)、对于输入的流量数据，选取所有具有相同<源IP、源端口、目的IP、目的端口、传输层协议>的所有数据包，并以此将原始流量数据进行分组。
(2.2)、对于分组后的流量数据，采用如下流量清洗方法：
第一：比对所有分组后流量的会话内容，将内容完全相同的重复流量去除；
第二：将没有应用层数据内容的空流量包，如ACK文件等数据流量包去除；
第三：采用随机抽样方法选取流量数据包，再随机生成一组新的MAC地址和IP地址，将其数据链路层对应的MAC地址和IP层的IP地址进行替换。
(2.3)、对于清洗后的流量数据，将流量数据包转化为神经网络的图像输入，假设图像大小为N*N，则每隔k个数据包长度提取一段长度为n个字节的数据流量片段,并在末尾插入的N-n个混淆字符串，以增强流量样本的随机性。
(2.4)、将统一长度后的文件按照二进制形式转换为流量数据图片，其中灰度图包含宽和高两个维度，彩色图包含宽、高和通道三个维度，最后，将图片转化为包含了该流量数据像素信息及统计信息IDX文件格式，作为神经网络的输入。
(2.5)、通过重复步骤(2.1)-(2.4)的操作，直到所有待处理数据流量集合都处理完毕。
作为本发明的一种优选实施方式，所述步骤三包括如下子步骤：
(3.1)、将IDX格式的流量数据图作为二维CNN网络模型的输入。
(3.2)、初始化深度网络模型参数，其中网络结构采用堆叠三层CNN神经网络,并在每层CNN神经后面添加Dropout层防止模型出现过拟合现象,随后添加一层Flatten将二维图像的流量数据降维度输出。
(3.3)、在深度神经网络卷积模块后添加注意力机制，注意力机制获取CNN神经网络中训练得到的权值，在空间或者通道上直接加权全局上的信息作为输入特征，即，注意力过滤器对窗口宽度为h的一组流量字节添加注意力权重并操作得到新特征。
(3.4)、在深度神经网络最后添加一层softmax层，将卷积层的输出分成若干个相同大小且互不重叠的维度更小的二维矩阵，然后根据均值池化或最大值池化得到次抽样层的输出。
(3.5)、在训练过程中，首先从基类流量数据集中随机选择N个类，并从这些类的数据样本中采样出基础支持集和基础查询集，训练的任务目标是以支持集为训练样本，训练深度神经网络模型，使得该模型对查询集中的流量样本识别损失最小化。
作为本发明的一种优选实施方式，所述步骤四包括如下子步骤：
(4.1)、将训练好的深度学习模型部署于目标服务器上。
(4.2)、开启系统流量采集模块，持续收集各个支路的网络流量情况，由于场景的流量数据巨大，将系统处理能力保持在转发阈值之内。
(4.3)、在系统流量分析模块中加载已训练的深度神经网络模型，将应用场景流量分为黑色安全威胁流量、灰色不确定流量和白色安全流量，通过筛选出白名单部分的流量数据，排除大部分正常流量，再通过检测技术直接判定黑色威胁流量部分携带的木马。对于灰色部分流量，尽可能推测出可能存在的威胁，供进一步综合比对。
本发明还涉及一种基于深度学习技术的流量检测装置，所述基于深度学习技术的流量检测装置包括web服务接口，所述web服务接口包括处理组件，以及由存储器所代表的存储器资源，用于存储可由处理组件的执行的指令，处理组件被配置为执行指令，以执行上述方法。
其中，所述处理组件包括有流量清洗组件、流量转化组件和流量检测组件。
其中，所述存储器中存储的应用程序包括一个或一个以上的每一个对应于一组指令的模块。
其中，所述web服务接口还可以包括一个电源组件、一个有线或无线网络监听接口、一个输出接口，所述电源组件被配置为执行web服务接口的电源管理，所述无线网络监听接口被配置为将装置连接到网络，所述web服务接口可以操作基于存储在存储器的操作系统。
与现有技术相比，本发明的有益效果如下：
1.本发明鉴于安全威胁流量通过网络交互实现破坏任务的特点，采用流检测技术以数据流为基本研究对象，在捕获的数据链路层流量后，通过自动化选取与分析数据流传输的统计特征，能有效减轻系统的处理负担，为确定网络安全威胁提供有力支持。
2.本发明的深度学习模型技术不依赖于某种木马特征库，无需进行训练样本与待测流量的统计特征提取，能够兼容加密协议和弱特征协议，该方法在保证高准确率的前提下，不依靠专家经验来获取数据特征，实现自动化的处理。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一种基于深度学习技术的流量检测装置示意图；
图2为本发明基于深度学习的流量检测架构图；
图3为本发明一种流量数据的处理过程图；
图4为本发明一种流量数据的检测流程图。
1900、web服务接口；1922、处理组件；1926、电源组件；1932、存储器；1950、有线或无线网络监听接口；1958、输出接口。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1-4，本发明提供一种技术方案：一种基于深度学习技术的流量数据自动检测方法，所述检测方法如下：
步骤一：系统对数据链路层的数据流进行监听和捕获，同时，采用web服务支持外部流量数据接入功能，系统对捕获的原始数据信息流进行数据清洗，除去冗余和非必须信息，系统对数据链路层的数据流进行捕获，同时，为了效减轻系统的处理负担，也支持跨系统的流量数据接入功能，通过向外部接入流量提供API回调接口，采用web服务获取不同来源的流量数据，系统对捕获的原始数据信息流进行数据清洗，除去冗余和非必须信息，保持流量数据的一致性；
步骤二：在分组捕获目标数据流量后，对原始数据流进行数据预处理，即是从原始流量至深度神经网络输入数据的处理过程，系统对数据流量进行深度分析，在分组捕获目标数据流量后，为了避免由于最大传输单元(MTU)大小不一或传输协议的分片功能导致的流量分组混乱，支持数据分片的重组排序，将数据流转化为图像的数据编码建模方法，作为神经网络输入；
步骤三：包括对流量数据用深度学习方法进行训练和进行识别的两个过程；识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制，系统对深度神经网络模型进行训练，模型训练可以自动化学习和积累大流量数据，通过抽取不同类型流量中的抽象特征部分，实现对于流量数据的快速学习能力；
步骤四：利用训练好的模型对网络流量检测,识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制，系统的流检测引擎识别功能，将系统部署在网关出口处，系统将根据训练后的深度学习模型，将网络流量自动地对应识别为黑色安全威胁流量、灰色不确定流量和白色安全流量，并采用多种检测技术直接判定木马或者筛选出白名单部分流量，并通过不断给训练模型进行结果反馈，强化系统的数据流检测能力。
进一步的，所述步骤一包括如下子步骤：
(1.1)、对于本网络系统的流经数据包，系统在网络出口处将网卡设置为混杂模式，这种模式能够接受所有流经本地的流量数据包，数据包采集业务系统工作流程如下：
第一：初始化数据包采集环境，设定采集的数据包大小、可用CPU数量、多线程池的大小；
第二：建立系统内存缓冲区，接受到的数据包将会被拷贝到套接字缓冲区，并供系统用户层通过调用系统函数mmap访问；
第三：使用多线程循环不断查询各端口并接收流量数据包，再采用自定义的包处理函数，过滤掉不属于本网络的冗余信息；
第四：最后输出pcap格式的标准流量数据包集合。
(1.2)、对于外部提供的数据包，向外部数据源提供API回调接口，通过web服务获取流量数据集合，并提取流量集合中某单一应用的数据流量，包含该应用的使用所有协议层次数据流。
(1.3)、将数据流量与系统中已有流量集合进行逐条比对，
若该数据包已经存在于系统中，则对同一应用产生的流量，进行合并处理，并选取最新时间戳版本覆盖该数据流的旧版本。
若该数据流的应用不存在于系统中，则将其作为新数据导入系统，并记录其关联的数据表版本号；
若没有在系统中检索到该数据表，则将其版本号设置为0，并作为新数据流量导入系统。
(1.4)通过重复步骤(1.2)(1.3)的操作，直到所有待处理数据流量集合都顺利导入系统。
进一步的，所述步骤二中包括如下子步骤：
(2.1)、对于输入的流量数据，选取所有具有相同<源IP、源端口、目的IP、目的端口、传输层协议>的所有数据包，并以此将原始流量数据进行分组。
(2.2)、对于分组后的流量数据，采用如下流量清洗方法：
第一：比对所有分组后流量的会话内容，将内容完全相同的重复流量去除；
第二：将没有应用层数据内容的空流量包，如ACK文件等数据流量包去除；
第三：采用随机抽样方法选取流量数据包，再随机生成一组新的MAC地址和IP地址，将其数据链路层对应的MAC地址和IP层的IP地址进行替换。
(2.3)、对于清洗后的流量数据，将流量数据包转化为神经网络的图像输入，假设图像大小为N*N，则每隔k个数据包长度提取一段长度为n个字节的数据流量片段,并在末尾插入的N-n个混淆字符串，以增强流量样本的随机性。
(2.4)、将统一长度后的文件按照二进制形式转换为流量数据图片，其中灰度图包含宽和高两个维度，彩色图包含宽、高和通道三个维度，最后，将图片转化为包含了该流量数据像素信息及统计信息IDX文件格式，作为神经网络的输入。
(2.5)、通过重复步骤(2.1)-(2.4)的操作，直到所有待处理数据流量集合都处理完毕。
进一步的，所述步骤三包括如下子步骤：
(3.1)、将IDX格式的流量数据图作为二维CNN网络模型的输入。
(3.2)、初始化深度网络模型参数，其中网络结构采用堆叠三层CNN神经网络,并在每层CNN神经后面添加Dropout层防止模型出现过拟合现象,随后添加一层Flatten将二维图像的流量数据降维度输出。
(3.3)、在深度神经网络卷积模块后添加注意力机制，注意力机制获取CNN神经网络中训练得到的权值，在空间或者通道上直接加权全局上的信息作为输入特征，即，注意力过滤器对窗口宽度为h的一组流量字节添加注意力权重并操作得到新特征。
(3.4)、在深度神经网络最后添加一层softmax层，将卷积层的输出分成若干个相同大小且互不重叠的维度更小的二维矩阵，然后根据均值池化或最大值池化得到次抽样层的输出。
(3.5)、在训练过程中，首先从基类流量数据集中随机选择N个类，并从这些类的数据样本中采样出基础支持集和基础查询集，训练的任务目标是以支持集为训练样本，训练深度神经网络模型，使得该模型对查询集中的流量样本识别损失最小化。
进一步的，所述步骤四包括如下子步骤：
(4.1)、将训练好的深度学习模型部署于目标服务器上。
(4.2)、开启系统流量采集模块，持续收集各个支路的网络流量情况，由于场景的流量数据巨大，将系统处理能力保持在转发阈值之内。
(4.3)、在系统流量分析模块中加载已训练的深度神经网络模型，将应用场景流量分为黑色安全威胁流量、灰色不确定流量和白色安全流量，通过筛选出白名单部分的流量数据，排除大部分正常流量，再通过检测技术直接判定黑色威胁流量部分携带的木马。对于灰色部分流量，尽可能推测出可能存在的威胁，供进一步综合比对。
本发明中参考图1，一种基于深度学习技术的流量检测装置，包括web服务接口1900，所述web服务接口1900包括处理组件1922，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，处理组件1922被配置为执行指令，以执行上述方法，所述处理组件1922包括有流量清洗组件、流量转化组件和流量检测组件，所述存储器1932中存储的应用程序包括一个或一个以上的每一个对应于一组指令的模块，所述web服务接口1900还可以包括一个电源组件1926、一个有线或无线网络监听接口1950、一个输出接口1958，所述电源组件1926被配置为执行web服务接口1900的电源管理，所述无线网络监听接口1950被配置为将装置1900连接到网络，所述web服务接口1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。
综上述，本发明鉴于安全威胁流量通过网络交互实现破坏任务的特点，采用流检测技术以数据流为基本研究对象，在捕获的数据链路层流量后，通过自动化选取与分析数据流传输的统计特征，能有效减轻系统的处理负担，为确定网络安全威胁提供有力支持，本发明的深度学习模型技术不依赖于某种木马特征库，无需进行训练样本与待测流量的统计特征提取，能够兼容加密协议和弱特征协议，该方法在保证高准确率的前提下，不依靠专家经验来获取数据特征，实现自动化的处理。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种基于深度学习技术的流量数据自动检测方法，其特征在于：所述检测方法如下：
步骤一：系统对数据链路层的数据流进行监听和捕获，同时，采用web服务支持外部流量数据接入功能，系统对捕获的原始数据信息流进行数据清洗，除去冗余和非必须信息；
步骤二：在分组捕获目标数据流量后，对原始数据流进行数据预处理，即是从原始流量至深度神经网络输入数据的处理过程；
步骤三：包括对流量数据用深度学习方法进行训练和进行识别的两个过程；识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制；
步骤四：利用训练好的模型对网络流量检测,识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制。
2.根据权利要求1所述的一种基于深度学习技术的流量数据自动检测方法，其特征在于：所述步骤一包括如下子步骤：
(1.1)、对于本网络系统的流经数据包，系统在网络出口处将网卡设置为混杂模式，这种模式能够接受所有流经本地的流量数据包，数据包采集业务系统工作流程如下：
第一：初始化数据包采集环境，设定采集的数据包大小、可用CPU数量、多线程池的大小；
第二：建立系统内存缓冲区，接受到的数据包将会被拷贝到套接字缓冲区，并供系统用户层通过调用系统函数mmap访问；
第三：使用多线程循环不断查询各端口并接收流量数据包，再采用自定义的包处理函数，过滤掉不属于本网络的冗余信息；
第四：最后输出pcap格式的标准流量数据包集合。
(1.2)、对于外部提供的数据包，向外部数据源提供API回调接口，通过web服务获取流量数据集合，并提取流量集合中某单一应用的数据流量，包含该应用的使用所有协议层次数据流。
(1.3)、将数据流量与系统中已有流量集合进行逐条比对，
若该数据包已经存在于系统中，则对同一应用产生的流量，进行合并处理，并选取最新时间戳版本覆盖该数据流的旧版本。
若该数据流的应用不存在于系统中，则将其作为新数据导入系统，并记录其关联的数据表版本号；
若没有在系统中检索到该数据表，则将其版本号设置为0，并作为新数据流量导入系统。
(1.4)通过重复步骤(1.2)(1.3)的操作，直到所有待处理数据流量集合都顺利导入系统。
3.根据权利要求1所述的一种基于深度学习技术的流量数据自动检测方法，其特征在于：所述步骤二中包括如下子步骤：
(2.1)、对于输入的流量数据，选取所有具有相同<源IP、源端口、目的IP、目的端口、传输层协议>的所有数据包，并以此将原始流量数据进行分组。
(2.2)、对于分组后的流量数据，采用如下流量清洗方法：
第一：比对所有分组后流量的会话内容，将内容完全相同的重复流量去除；
第二：将没有应用层数据内容的空流量包，如ACK文件等数据流量包去除；
第三：采用随机抽样方法选取流量数据包，再随机生成一组新的MAC地址和IP地址，将其数据链路层对应的MAC地址和IP层的IP地址进行替换。
(2.3)、对于清洗后的流量数据，将流量数据包转化为神经网络的图像输入，假设图像大小为N*N，则每隔k个数据包长度提取一段长度为n个字节的数据流量片段,并在末尾插入的N-n个混淆字符串，以增强流量样本的随机性。
(2.4)、将统一长度后的文件按照二进制形式转换为流量数据图片，其中灰度图包含宽和高两个维度，彩色图包含宽、高和通道三个维度，最后，将图片转化为包含了该流量数据像素信息及统计信息IDX文件格式，作为神经网络的输入。
(2.5)、通过重复步骤(2.1)-(2.4)的操作，直到所有待处理数据流量集合都处理完毕。
4.根据权利要求1所述的一种基于深度学习技术的流量数据自动检测方法，其特征在于：所述步骤三包括如下子步骤：
(3.1)、将IDX格式的流量数据图作为二维CNN网络模型的输入。
(3.2)、初始化深度网络模型参数，其中网络结构采用堆叠三层CNN神经网络,并在每层CNN神经后面添加Dropout层防止模型出现过拟合现象,随后添加一层Flatten将二维图像的流量数据降维度输出。
(3.3)、在深度神经网络卷积模块后添加注意力机制，注意力机制获取CNN神经网络中训练得到的权值，在空间或者通道上直接加权全局上的信息作为输入特征，即，注意力过滤器对窗口宽度为h的一组流量字节添加注意力权重并操作得到新特征。
(3.4)、在深度神经网络最后添加一层softmax层，将卷积层的输出分成若干个相同大小且互不重叠的维度更小的二维矩阵，然后根据均值池化或最大值池化得到次抽样层的输出。
(3.5)、在训练过程中，首先从基类流量数据集中随机选择N个类，并从这些类的数据样本中采样出基础支持集和基础查询集，训练的任务目标是以支持集为训练样本，训练深度神经网络模型，使得该模型对查询集中的流量样本识别损失最小化。
5.根据权利要求1所述的一种基于深度学习技术的流量数据自动检测方法，其特征在于：所述步骤四包括如下子步骤：
(4.1)、将训练好的深度学习模型部署于目标服务器上。
(4.2)、开启系统流量采集模块，持续收集各个支路的网络流量情况，由于场景的流量数据巨大，将系统处理能力保持在转发阈值之内。
(4.3)、在系统流量分析模块中加载已训练的深度神经网络模型，将应用场景流量分为黑色安全威胁流量、灰色不确定流量和白色安全流量，通过筛选出白名单部分的流量数据，排除大部分正常流量，再通过检测技术直接判定黑色威胁流量部分携带的木马。对于灰色部分流量，尽可能推测出可能存在的威胁，供进一步综合比对。
6.一种基于深度学习技术的流量数据自动检测装置，其特征在于：包括web服务接口1900，所述web服务接口1900包括处理组件1922，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，处理组件1922被配置为执行指令，以执行上述方法。
7.根据权利要求6所述的一种基于深度学习技术的流量检测装置，其特征在于：所述处理组件1922包括有流量清洗组件、流量转化组件和流量检测组件。
8.根据权利要求6所述的一种基于深度学习技术的流量检测装置，其特征在于：所述存储器1932中存储的应用程序包括一个或一个以上的每一个对应于一组指令的模块。
9.根据权利要求6所述的一种基于深度学习技术的流量检测装置，其特征在于：所述web服务接口1900还可以包括一个电源组件1926、一个有线或无线网络监听接口1950、一个输出接口1958，所述电源组件1926被配置为执行web服务接口1900的电源管理，所述无线网络监听接口1950被配置为将装置1900连接到网络，所述web服务接口1900可以操作基于存储在存储器1932的操作系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011446352.1A CN112468509A (zh) | 2020-12-09 | 2020-12-09 | 一种基于深度学习技术的流量数据自动检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011446352.1A CN112468509A (zh) | 2020-12-09 | 2020-12-09 | 一种基于深度学习技术的流量数据自动检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112468509A true CN112468509A (zh) | 2021-03-09 |
Family
ID=74801424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011446352.1A Pending CN112468509A (zh) | 2020-12-09 | 2020-12-09 | 一种基于深度学习技术的流量数据自动检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112468509A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115473850A (zh) * | 2022-09-14 | 2022-12-13 | 电信科学技术第十研究所有限公司 | 一种基于ai的实时数据过滤方法、系统及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1953453A (zh) * | 2006-10-25 | 2007-04-25 | 北京交通大学 | 一种IPv6数据高速捕获和快速存储系统及实现方法 |
| CN108200030A (zh) * | 2017-12-27 | 2018-06-22 | 深信服科技股份有限公司 | 恶意流量的检测方法、系统、装置及计算机可读存储介质 |
| CN110351244A (zh) * | 2019-06-11 | 2019-10-18 | 山东大学 | 一种基于多卷积神经网络融合的网络入侵检测方法及系统 |
| CN110751261A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式（北京）技术有限公司 | 神经网络模型的训练方法和系统以及预测方法和系统 |
| CN111064678A (zh) * | 2019-11-26 | 2020-04-24 | 西安电子科技大学 | 基于轻量级卷积神经网络的网络流量分类方法 |
| WO2020119481A1 (zh) * | 2018-12-11 | 2020-06-18 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| CN111404942A (zh) * | 2020-03-18 | 2020-07-10 | 广东技术师范大学 | 一种基于深度学习的垂直类恶意爬虫流量识别方法 |
| CN111860188A (zh) * | 2020-06-24 | 2020-10-30 | 南京师范大学 | 一种基于时间和通道双注意力的人体姿态识别方法 |
-
2020
- 2020-12-09 CN CN202011446352.1A patent/CN112468509A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1953453A (zh) * | 2006-10-25 | 2007-04-25 | 北京交通大学 | 一种IPv6数据高速捕获和快速存储系统及实现方法 |
| CN108200030A (zh) * | 2017-12-27 | 2018-06-22 | 深信服科技股份有限公司 | 恶意流量的检测方法、系统、装置及计算机可读存储介质 |
| CN110751261A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式（北京）技术有限公司 | 神经网络模型的训练方法和系统以及预测方法和系统 |
| WO2020119481A1 (zh) * | 2018-12-11 | 2020-06-18 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| CN110351244A (zh) * | 2019-06-11 | 2019-10-18 | 山东大学 | 一种基于多卷积神经网络融合的网络入侵检测方法及系统 |
| CN111064678A (zh) * | 2019-11-26 | 2020-04-24 | 西安电子科技大学 | 基于轻量级卷积神经网络的网络流量分类方法 |
| CN111404942A (zh) * | 2020-03-18 | 2020-07-10 | 广东技术师范大学 | 一种基于深度学习的垂直类恶意爬虫流量识别方法 |
| CN111860188A (zh) * | 2020-06-24 | 2020-10-30 | 南京师范大学 | 一种基于时间和通道双注意力的人体姿态识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Y. XIN ET AL.: "Machine Learning and Deep Learning Methods for Cybers", IEEE ACCESS, vol. 6 * |
| 罗扶华;张爱新;: "基于深度学习的僵尸网络检测技术研究", 通信技术, no. 01 * |
| 连鸿飞;张浩;郭文忠;: "一种数据增强与混合神经网络的异常流量检测", 小型微型计算机系统, no. 04 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115473850A (zh) * | 2022-09-14 | 2022-12-13 | 电信科学技术第十研究所有限公司 | 一种基于ai的实时数据过滤方法、系统及存储介质 |
| CN115473850B (zh) * | 2022-09-14 | 2024-01-05 | 电信科学技术第十研究所有限公司 | 一种基于ai的实时数据过滤方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109639481B (zh) | 一种基于深度学习的网络流量分类方法、系统及电子设备 | |
| CN111935170B (zh) | 一种网络异常流量检测方法、装置及设备 | |
| CN113364752B (zh) | 一种流量异常检测方法、检测设备及计算机可读存储介质 | |
| CN112163594A (zh) | 一种网络加密流量识别方法及装置 | |
| CN111917740B (zh) | 一种异常流量告警日志检测方法、装置、设备及介质 | |
| CN112333706B (zh) | 物联网设备异常检测方法、装置、计算设备及存储介质 | |
| CN102420723A (zh) | 一种面向多类入侵的异常检测方法 | |
| CN110808945A (zh) | 一种基于元学习的小样本场景下网络入侵检测方法 | |
| CN112953971B (zh) | 一种网络安全流量入侵检测方法和系统 | |
| CN112804253B (zh) | 一种网络流量分类检测方法、系统及存储介质 | |
| CN111147394B (zh) | 一种远程桌面协议流量行为的多级分类检测方法 | |
| CN113452676B (zh) | 一种检测器分配方法和物联网检测系统 | |
| CN111049786A (zh) | 一种网络攻击的检测方法、装置、设备及存储介质 | |
| CN111523527B (zh) | 特种运输车辆监控方法、装置、介质及电子设备 | |
| CN111049783A (zh) | 一种网络攻击的检测方法、装置、设备及存储介质 | |
| CN110708292A (zh) | Ip处理方法、装置、介质、电子设备 | |
| CN114448830A (zh) | 一种设备检测系统及方法 | |
| CN110365659B (zh) | 一种小样本场景下的网络入侵检测数据集的构造方法 | |
| CN110276300B (zh) | 用于识别垃圾品质的方法和装置 | |
| CN112468509A (zh) | 一种基于深度学习技术的流量数据自动检测方法及装置 | |
| CN114125806A (zh) | 基于无线网络流量的云存储模式的无线摄像头检测方法 | |
| CN111447169B (zh) | 一种在网关上的实时恶意网页识别方法及系统 | |
| CN108073854A (zh) | 一种现场巡检的检测方法及装置 | |
| CN113727348A (zh) | 用户设备ue用户数据的检测方法、设备及存储介质 | |
| CN111565311B (zh) | 网络流量特征生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |