CN113872939A - 一种流量检测方法、装置及存储介质 - Google Patents
一种流量检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113872939A CN113872939A CN202111003821.7A CN202111003821A CN113872939A CN 113872939 A CN113872939 A CN 113872939A CN 202111003821 A CN202111003821 A CN 202111003821A CN 113872939 A CN113872939 A CN 113872939A
- Authority
- CN
- China
- Prior art keywords
- flow
- detection
- encrypted
- network
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 128
- 230000002159 abnormal effect Effects 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 10
- 238000002790 cross-validation Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提出了一种流量检测方法、装置及存储介质，其中，所述方法包括：获取网络流量，通过预先训练的学习模型判断所述网络流量是否加密；响应于所述网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；响应于所述网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。本发明主要应用于加密流量的异常检测方面，通过本方法和装置对输入网络流量数据进行训练，机器学习算法可以快速分类判断流量是否加密。对加密流量进行特征提取、采用循环神经网络对其进行检测，对未加密流量采用DPI深度包检测，达到精准、快速检测异常流量的效果。
Description
技术领域
本发明涉及流量检测领域，尤其涉及一种流量检测方法、装置及存储介质。
背景技术
本发明主要应用于加密网络流量的异常检测情形，通过机器学习算法对所收集的网络流量特征值进行分析、训练得到模型，然后根据建立模型的分类检测网络流量，其中采用循环神经网络算法对加密流量进行识别，从而达到精准、快速检测网络流量异常数据的效果。
近年来随着HTTPS的全面普及，为了确保通信安全和隐私，越来越多的网络流量开始采用HTTPS加密，截止今日，超过80％的网络流量已使用HTTPS加密。HTTPS的推出主要是为了应对各种窃听和中间人攻击，以在不安全的网络上建立唯一安全的信道，并加入数据包加密和服务器证书验证。但是随着所有互联网中加密网络流量的增加，恶意软件也开始使用HTTPS来保护自己的通信。这种情况对安全分析人员构成了挑战，因为流量是加密的，而且大多数情况下看起来像正常的流量。因此针对加密恶意流量的检测一直是网络安全领域关注的焦点，目前主流的攻击检测手段有两种：解密后检测和不解密检测。一种常见的解决方案是安装HTTPS拦截代理。这些硬件服务器可以通过在其计算机中安装特殊证书来打开和检查HTTPS流量。HTTPS拦截器处于客户端和服务器之间，其中加密流量被解密，扫描恶意软件后，再次加密并发送到目标IP。此方法允许使用经典检测方法来检测未加密的恶意软件流量。使用此方法的问题在于它昂贵，计算要求高，同时造成网络性能下降，而且它不尊重HTTPS的原始想法，即拥有私密和安全的通信。
因此，现亟需一种能够同时对加密流量和未加密流量进行检测，且无需对加密流量进行解密的流量检测方法。
发明内容
为解决上述技术问题，本发明提出了通过对加密流量和未加密流量进行识别，并分别采取不同的流量检测模型进行检测，其中，对于加密流量，本发明提出了基于卷积神经网络模型进行检测，使得能够在无需对加密流量进行解密的情况下进行流量的异常检测；具体的，在本发明的一个方面，提出了一种流量检测方法，所述方法包括：获取网络流量，通过预先训练的学习模型判断所述网络流量是否加密；响应于所述网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；响应于所述网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
在一个或多个实施例中，所述学习模型的训练过程包括：设置训练数据集，所述训练数据集中包含有以多种加密方式加密的加密样本以及未加密样本；对所述加密样本以及未加密样本区分标记；通过学习模型对所述训练样本集中的训练样本数据进行特征提取，并基于提取到的一个或多个特征判断对应样本是否被加密；响应于判断结果与预设的标记不相符，将对应的样本数据返回至学习模型的输入端，并基于所述判断结果进行学习；循环训练所述学习模型，直至对所述训练样本集中的全部样本数据的判断结果与预设的标记相符，输出学习模型。
在一个或多个实施例中，所述多种加密方式包括：采用https加密协议加密、采用ssl加密协议加密、采用TLS加密协议加密以及采用自定义的加密协议加密。
在一个或多个实施例中，所述采用预设的卷积神经网络模型对加密的网络流量进行检测，包括：对网络流量进行特征提取，基于提取到的一个或多个特征采用预设的检测引擎对所述网络流行进行检测；对所述检测引擎的输出结果进行交叉验证。
在一个或多个实施例中，所述对所述检测引擎的输出结果进行交叉验证，包括：以增量验证方式，不断从新的异常结果获取新的异常特征并更新到预设的特征数据库。
在一个或多个实施例中，所述方法还包括：将所述卷积神经网络模型与所述DPI检测模型输出的异常检测结果进行汇总；通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
在一个或多个实施例中，所述方法还包括：响应于由所述学习模型提取对应网络流向的一个或多个特征包含在所述异常流量库中，跳过流量检测过程而直接输出异常检测。
在本发明的另一个方面，还提出了一种流量检测装置，包括：流量获取模块，配置用于获取网络流量；判断模块，配置用于通过预先训练的学习模型判断所述网络流量是否加密；分类检测模块，配置用于响应于所述网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；并响应于所述网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
在一个或多个实施例中，本发明的流量检测装置还包括：学习模型训练模块，配置用于设置训练数据集，所述训练数据集中包含有以多种加密方式加密的加密样本以及未加密样本；对所述加密样本以及未加密样本区分标记；通过学习模型对所述训练样本集中的训练样本数据进行特征提取，并基于提取到的一个或多个特征判断对应样本是否被加密；响应于判断结果与预设的标记不相符，将对应的样本数据返回至学习模型的输入端，并基于所述判断结果进行学习；循环训练所述学习模型，直至对所述训练样本集中的全部样本数据的判断结果与预设的标记相符，输出学习模型。
在一个或多个实施例中，所述多种加密方式包括：采用https加密协议加密、采用ssl加密协议加密、采用TLS加密协议加密以及采用自定义的加密协议加密。
在一个或多个实施例中，所述分类检测模块，还配置用于对网络流量进行特征提取，基于提取到的一个或多个特征采用预设的检测引擎对所述网络流行进行检测；对所述检测引擎的输出结果进行交叉验证。
在一个或多个实施例中，所述对所述检测引擎的输出结果进行交叉验证，包括：以增量验证方式，不断从新的异常结果获取新的异常特征并更新到预设的特征数据库。
在一个或多个实施例中，还包括：异常存储模块，配置用于将所述卷积神经网络模型与所述DPI检测模型输出的异常检测结果进行汇总；并通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
在本发明的另一个方面，提出了一种存储介质，该存储介质中包含可执行的计算机程序，该计算机程序被执行时用于实现如上述任意一实施例所提及的流量检测方法的步骤，步骤包括：
获取网络流量，通过预先训练的学习模型判断所述网络流量是否加密；响应于所述网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；响应于所述网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
在一个或多个实施例中，所述学习模型的训练过程包括：设置训练数据集，所述训练数据集中包含有以多种加密方式加密的加密样本以及未加密样本；对所述加密样本以及未加密样本区分标记；通过学习模型对所述训练样本集中的训练样本数据进行特征提取，并基于提取到的一个或多个特征判断对应样本是否被加密；响应于判断结果与预设的标记不相符，将对应的样本数据返回至学习模型的输入端，并基于所述判断结果进行学习；循环训练所述学习模型，直至对所述训练样本集中的全部样本数据的判断结果与预设的标记相符，输出学习模型。
在一个或多个实施例中，所述多种加密方式包括：采用https加密协议加密、采用ssl加密协议加密、采用TLS加密协议加密以及采用自定义的加密协议加密。
在一个或多个实施例中，所述采用预设的卷积神经网络模型对加密的网络流量进行检测，包括：对网络流量进行特征提取，基于提取到的一个或多个特征采用预设的检测引擎对所述网络流行进行检测；对所述检测引擎的输出结果进行交叉验证。
在一个或多个实施例中，所述对所述检测引擎的输出结果进行交叉验证，包括：以增量验证方式，不断从新的异常结果获取新的异常特征并更新到预设的特征数据库。
在一个或多个实施例中，所述方法还包括：将所述卷积神经网络模型与所述DPI检测模型输出的异常检测结果进行汇总；通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
在一个或多个实施例中，所述方法还包括：响应于由所述学习模型提取对应网络流向的一个或多个特征包含在所述异常流量库中，跳过流量检测过程而直接输出异常检测。
本发明的有益效果包括：本发明主要应用于加密流量的异常检测方面，通过本方法或装置对输入网络流量数据进行训练，机器学习算法可以快速分类判断流量是否加密。对加密流量进行特征提取、采用循环神经网络对其进行检测，对未加密流量采用DPI深度包检测，达到精准、快速检测异常流量的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的流量检测的工作流程图；
图2为本发明的一种流量检测装置的结构示意图；
图3为本发明的一种存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
图1为本发明的流量检测的工作流程图。如图1所示，本发明的流量检测的工作流程包括：步骤S1、获取网络流量，通过预先训练的学习模型判断所述网络流量是否加密；步骤S2、响应于网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；步骤S3、响应于网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
本发明主要应用于加密流量的异常检测方面，通过本方法和装置对输入网络流量数据进行训练，机器学习算法可以快速分类判断流量是否加密。对加密流量进行特征提取、采用循环神经网络对其进行检测，对未加密流量采用DPI深度包检测，达到精准、快速检测异常流量的效果。
本发明运用的机器学习算法包括但不限于：决策树(DT)、随机森林、神经网络(NN)、隐马尔可夫模型(HMM)、自组织映射(SOM)等，对网络数据流量进行训练，快速分类判断流量是否加密。加密流量包括但不限于HTTPS协议，也可以是自定义加密协议。对加密/不加密流量采用不同的检测方法，加密流量采用循环神经网络算法对其进行检测，未加密流量采用DPI深度包检测技术，达到精准、快速检测异常流量的效果。
在进一步的实施例中，学习模型的训练过程包括：设置训练数据集，训练数据集中包含有以多种加密方式加密的加密样本以及未加密样本；对加密样本以及未加密样本区分标记；通过学习模型对训练样本集中的训练样本数据进行特征提取，并基于提取到的一个或多个特征判断对应样本是否被加密；响应于判断结果与预设的标记不相符，将对应的样本数据返回至学习模型的输入端，并基于判断结果进行学习；循环训练学习模型，直至对训练样本集中的全部样本数据的判断结果与预设的标记相符，输出学习模型。其中，多种加密方式包括：采用https加密协议加密、采用ssl加密协议加密、采用TLS加密协议加密以及采用自定义的加密协议加密。
具体的讲，本发明的学习模型提取的数据特征包括但不限于流量元数据(进出的字节，进出的包，网络端口号，持续时间)、包长度与到达间隔时间顺序(Sequence ofPacket Lengths and Times)、字节分布(byte distribution)、数据包的头信息。通过基于流量特性将之分类到不同的恶意程序族中以进行恶意程序族归类，并为每个恶意程序族标记独特的标签，从而将流量的检测问题转化为不同类别的分类问题，从而实现了无需对加密的网络流量进行解密就能够实现对恶意流量的检测。
而对于为加密的网络流量本发明将基于DPI检测模型进行检测。深度数据包检测(Deep packet inspection，缩写为DPI)是一种特殊的网络技术，一般网络设备只会查看以太网头部、IP头部而不会分析TCP/UDP里面的内容这种被称为浅数据包检测；与之对应的DPI会检查TCP/UDP里面的内容，所以称为深度数据包检测。DPI一般是一个硬件或者软件，一般用“旁挂”的方式接入到网络。它会对网络中的每个数据包进行检查，识别出应用层协议，根据识别的协议采取一定的措施(比如记录HTTP访问行为)。对于TCP协议它可以识别完整的TCP交互过程(比如HTTP请求从请求到响应中间会有多次TCP数据包发送)。
在进一步的实施例中，步骤S2中的采用预设的卷积神经网络模型对加密的网络流量进行检测，包括：对网络流量进行特征提取，基于提取到的一个或多个特征采用预设的检测引擎对所述网络流行进行检测；对检测引擎的输出结果进行交叉验证。即本发明还提出了对循环神经网络引入交叉验证(增量式验证)，以弥补了环神经网络缺点，其中，增量式验证是指在不断从新的异常结果样本获取新的异常特征作为特征数据库。交叉验证的加入，能够进一步提升本发明对于加密的网络流量检测的准确度。
在进一步的实施例中，本发明的流量检测方法还包括：将卷积神经网络模型与DPI检测模型输出的异常检测结果进行汇总；通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
在进一步的实施例中，异常流量库可以同时支持卷积神经网络模型与DPI模型的访问，也可以作为进一步训练卷积神经网络模型和DPI模型训练的样本库，从而使得两种模型的检测结果更加准确。另一方面还可以加快异常流量的识别效率，例如，响应于学习模型提取对应网络流向的一个或多个特征包含在所述异常流量库中，跳过流量检测过程而直接输出异常检测。
本发明主要应用于加密流量的异常检测方面，通过本发明方法对输入网络流量数据进行训练，机器学习算法可以快速分类判断流量是否加密。对加密流量进行特征提取、采用循环神经网络对其进行检测，对未加密流量采用DPI深度包检测，达到精准、快速检测异常流量的效果。
在上述各实施例中的流量检测方法的基础上，本发明还提出了一种流量检测装置，据图如图2所示，图2为本发明的一种流量检测装置的结构示意图。本发明提出的一种流量检测装置，包括：流量获取模块10，配置用于获取网络流量；判断模块20，配置用于通过预先训练的学习模型判断网络流量是否加密；分类检测模块30，包括：卷积神经网络模型模块301以及DPI检测模块302，其中，卷积神经网络模型模块301配置用于响应于网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；DPI检测模块302配置用于，响应于网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
在进一步的是实施例中，本发明的流量检测装置还包括：学习模型训练模块40，配置用于设置训练数据集，训练数据集中包含有以多种加密方式加密的加密样本以及未加密样本；对加密样本以及未加密样本区分标记；通过学习模型对所述训练样本集中的训练样本数据进行特征提取，并基于提取到的一个或多个特征判断对应样本是否被加密；响应于判断结果与预设的标记不相符，将对应的样本数据返回至学习模型的输入端，并基于判断结果进行学习；循环训练学习模型，直至对训练样本集中的全部样本数据的判断结果与预设的标记相符，输出学习模型。
在进一步的的实施例中，多种加密方式包括：采用https加密协议加密、采用ssl加密协议加密、采用TLS加密协议加密以及采用自定义的加密协议加密。
在进一步的的实施例中，分类检测模块，还配置用于对网络流量进行特征提取，基于提取到的一个或多个特征采用预设的检测引擎对网络流行进行检测；对检测引擎的输出结果进行交叉验证。
在进一步的的实施例中，对所述检测引擎的输出结果进行交叉验证，包括：以增量验证方式，不断从新的异常结果获取新的异常特征并更新到预设的特征数据库。
在进一步的的实施例中，本发明的流量检测装置还包括：异常存储模块50，配置用于将卷积神经网络模型与DPI检测模型输出的异常检测结果进行汇总；并通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
本发明主要应用于加密流量的异常检测方面，通过本发明的装置对输入网络流量数据进行训练，机器学习算法可以快速分类判断流量是否加密。对加密流量进行特征提取、采用循环神经网络对其进行检测，对未加密流量采用DPI深度包检测，达到精准、快速检测异常流量的效果。
本发明还提出了一种存储介质，据图如图3所示，图3为本发明的一种存储介质的结构示意图。本发明的存储介质60中包含可执行的计算机程序601，该计算机程序601被执行时用于实现以下任意一实施例所提及的流量检测方法的步骤，包括：获取网络流量，通过预先训练的学习模型判断所述网络流量是否加密；响应于所述网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；响应于所述网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
在一个或多个实施例中，所述学习模型的训练过程包括：设置训练数据集，所述训练数据集中包含有以多种加密方式加密的加密样本以及未加密样本；对所述加密样本以及未加密样本区分标记；通过学习模型对所述训练样本集中的训练样本数据进行特征提取，并基于提取到的一个或多个特征判断对应样本是否被加密；响应于判断结果与预设的标记不相符，将对应的样本数据返回至学习模型的输入端，并基于所述判断结果进行学习；循环训练所述学习模型，直至对所述训练样本集中的全部样本数据的判断结果与预设的标记相符，输出学习模型。
在一个或多个实施例中，所述多种加密方式包括：采用https加密协议加密、采用ssl加密协议加密、采用TLS加密协议加密以及采用自定义的加密协议加密。
在一个或多个实施例中，所述采用预设的卷积神经网络模型对加密的网络流量进行检测，包括：对网络流量进行特征提取，基于提取到的一个或多个特征采用预设的检测引擎对所述网络流行进行检测；对所述检测引擎的输出结果进行交叉验证。
在一个或多个实施例中，所述对所述检测引擎的输出结果进行交叉验证，包括：以增量验证方式，不断从新的异常结果获取新的异常特征并更新到预设的特征数据库。
在一个或多个实施例中，所述方法还包括：将所述卷积神经网络模型与所述DPI检测模型输出的异常检测结果进行汇总；通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
在一个或多个实施例中，所述方法还包括：响应于由所述学习模型提取对应网络流向的一个或多个特征包含在所述异常流量库中，跳过流量检测过程而直接输出异常检测。
最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种流量检测方法，其特征在于，所述方法包括：
获取网络流量，通过预先训练的学习模型判断所述网络流量是否加密；
响应于所述网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；
响应于所述网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
2.如权利要求1所述的流量检测方法，其特征在于，所述学习模型的训练过程包括：
设置训练数据集，所述训练数据集中包含有以多种加密方式加密的加密样本以及未加密样本；
对所述加密样本以及未加密样本区分标记；
通过学习模型对所述训练样本集中的训练样本数据进行特征提取，并基于提取到的一个或多个特征判断对应样本是否被加密；
响应于判断结果与预设的标记不相符，将对应的样本数据返回至学习模型的输入端，并基于所述判断结果进行学习；
循环训练所述学习模型，直至对所述训练样本集中的全部样本数据的判断结果与预设的标记相符，输出学习模型。
3.如权利要求2所述的流量检测方法，其特征在于，所述多种加密方式包括：
采用https加密协议加密、采用ssl加密协议加密、采用TLS加密协议加密以及采用自定义的加密协议加密。
4.如权利要求1所述的流量检测方法，其特征在于，所述采用预设的卷积神经网络模型对加密的网络流量进行检测，包括：
对网络流量进行特征提取，基于提取到的一个或多个特征采用预设的检测引擎对所述网络流行进行检测；
对所述检测引擎的输出结果进行交叉验证。
5.如权利要求1所述的流量检测方法，其特征在于，所述对所述检测引擎的输出结果进行交叉验证，包括：
以增量验证方式，不断从新的异常结果获取新的异常特征并更新到预设的特征数据库。
6.如权利要求1所述的流量检测方法，其特征在于，所述方法还包括：
将所述卷积神经网络模型与所述DPI检测模型输出的异常检测结果进行汇总；
通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
7.如权利要求6所述的流量检测方法，其特征在于，所述方法还包括：
响应于由所述学习模型提取对应网络流向的一个或多个特征包含在所述异常流量库中，跳过流量检测过程而直接输出异常检测。
8.一种流量检测装置，其特征在于，包括：
流量获取模块，配置用于获取网络流量；
判断模块，配置用于通过预先训练的学习模型判断所述网络流量是否加密；
分类检测模块，配置用于响应于所述网络流量加密，采用预设的卷积神经网络模型对加密的网络流量进行检测，并输出异常检测结果；并
响应于所述网络流量未加密，采用预设的DPI检测模型对未加密的网络流量进行检测，并输出异常检测结果。
9.如权利要求8所述的流量检测装置，其特征在于，还包括：
异常存储模块，配置用于将所述卷积神经网络模型与所述DPI检测模型输出的异常检测结果进行汇总；并
通过预设的异常流量库保存汇总的异常流量及其对应的特征组合。
10.一种存储介质，其特征在于，所述存储介质中包含可执行的计算机程序，所述计算机程序被执行时用于实现如权利要求1-7任意一项所述的流量检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111003821.7A CN113872939A (zh) | 2021-08-30 | 2021-08-30 | 一种流量检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111003821.7A CN113872939A (zh) | 2021-08-30 | 2021-08-30 | 一种流量检测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113872939A true CN113872939A (zh) | 2021-12-31 |
Family
ID=78988806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111003821.7A Pending CN113872939A (zh) | 2021-08-30 | 2021-08-30 | 一种流量检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113872939A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422242A (zh) * | 2022-01-19 | 2022-04-29 | 闪捷信息科技有限公司 | 一种异常流量识别方法、客户端及服务器 |
| CN115051941A (zh) * | 2022-05-27 | 2022-09-13 | 江西良胜科技有限公司 | 一种企业大数据分析平台 |
| CN115426137A (zh) * | 2022-08-12 | 2022-12-02 | 中国人民解放军战略支援部队信息工程大学 | 恶意加密网络流量检测溯源方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109818976A (zh) * | 2019-03-15 | 2019-05-28 | 杭州迪普科技股份有限公司 | 一种异常流量检测方法及装置 |
| CN110830435A (zh) * | 2019-08-27 | 2020-02-21 | 国家电网有限公司信息通信分公司 | 一种网络流量时空特征提取和异常检测的方法及装置 |
| WO2020119481A1 (zh) * | 2018-12-11 | 2020-06-18 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| CN112003870A (zh) * | 2020-08-28 | 2020-11-27 | 国家计算机网络与信息安全管理中心 | 一种基于深度学习的网络加密流量识别方法及装置 |
| CN112949702A (zh) * | 2021-02-23 | 2021-06-11 | 广东工业大学 | 一种网络恶意加密流量识别方法和系统 |
| CN113194068A (zh) * | 2021-03-30 | 2021-07-30 | 北京六方云信息技术有限公司 | 基于卷积神经网络的恶意加密流量检测方法及装置 |
-
2021
- 2021-08-30 CN CN202111003821.7A patent/CN113872939A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020119481A1 (zh) * | 2018-12-11 | 2020-06-18 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| CN109818976A (zh) * | 2019-03-15 | 2019-05-28 | 杭州迪普科技股份有限公司 | 一种异常流量检测方法及装置 |
| CN110830435A (zh) * | 2019-08-27 | 2020-02-21 | 国家电网有限公司信息通信分公司 | 一种网络流量时空特征提取和异常检测的方法及装置 |
| CN112003870A (zh) * | 2020-08-28 | 2020-11-27 | 国家计算机网络与信息安全管理中心 | 一种基于深度学习的网络加密流量识别方法及装置 |
| CN112949702A (zh) * | 2021-02-23 | 2021-06-11 | 广东工业大学 | 一种网络恶意加密流量识别方法和系统 |
| CN113194068A (zh) * | 2021-03-30 | 2021-07-30 | 北京六方云信息技术有限公司 | 基于卷积神经网络的恶意加密流量检测方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422242A (zh) * | 2022-01-19 | 2022-04-29 | 闪捷信息科技有限公司 | 一种异常流量识别方法、客户端及服务器 |
| CN115051941A (zh) * | 2022-05-27 | 2022-09-13 | 江西良胜科技有限公司 | 一种企业大数据分析平台 |
| CN115426137A (zh) * | 2022-08-12 | 2022-12-02 | 中国人民解放军战略支援部队信息工程大学 | 恶意加密网络流量检测溯源方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Anderson et al. | Deciphering malware’s use of TLS (without decryption) | |
| CN113872939A (zh) | 一种流量检测方法、装置及存储介质 | |
| Wang et al. | Seeing through network-protocol obfuscation | |
| Husák et al. | Network-based HTTPS client identification using SSL/TLS fingerprinting | |
| US9288220B2 (en) | Methods and systems for malware detection | |
| US8726005B2 (en) | Website matching based on network traffic | |
| CN109450721B (zh) | 一种基于深度神经网络的网络异常行为识别方法 | |
| Bachupally et al. | Network security analysis using Big Data technology | |
| Bereziński et al. | Entropy-based internet traffic anomaly detection: A case study | |
| ALEKSIEVA et al. | An approach for host based botnet detection system | |
| Hynek et al. | Refined detection of SSH brute-force attackers using machine learning | |
| Rocha et al. | Detection of illicit network activities based on multivariate gaussian fitting of multi-scale traffic characteristics | |
| Almousa et al. | Identification of ransomware families by analyzing network traffic using machine learning techniques | |
| Matoušek et al. | On reliability of JA3 hashes for fingerprinting mobile applications | |
| CN111182002A (zh) | 基于http首个问答包聚类分析的僵尸网络检测装置 | |
| Sawaya et al. | Detection of attackers in services using anomalous host behavior based on traffic flow statistics | |
| Ponomarev et al. | Detection of ssh host spoofing in control systems through network telemetry analysis | |
| Haghighat et al. | Payload attribution via character dependent multi-bloom filters | |
| Singh | Classification of Malware in HTTPs Traffic Using Machine Learning Approach | |
| CN114338070B (zh) | 基于协议属性的Shadowsocks(R)识别方法 | |
| CN112640392B (zh) | 一种木马检测方法、装置和设备 | |
| Zihan et al. | Research on intrusion detection technology based on embedded Ethernet | |
| Gottwalt et al. | Natural laws as a baseline for network anomaly detection | |
| CN113923021A (zh) | 基于沙箱的加密流量处理方法、系统、设备及介质 | |
| RU183015U1 (ru) | Средство обнаружения вторжений |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |