CN114268484A - 恶意加密流量检测方法、装置、电子设备及存储介质 - Google Patents
恶意加密流量检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114268484A CN114268484A CN202111552132.1A CN202111552132A CN114268484A CN 114268484 A CN114268484 A CN 114268484A CN 202111552132 A CN202111552132 A CN 202111552132A CN 114268484 A CN114268484 A CN 114268484A
- Authority
- CN
- China
- Prior art keywords
- flow
- traffic
- encrypted
- malicious
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000005206 flow analysis Methods 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 239000000523 sample Substances 0.000 claims description 50
- 238000010801 machine learning Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000003066 decision tree Methods 0.000 claims description 29
- 238000007637 random forest analysis Methods 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006378 damage Effects 0.000 claims description 6
- 244000035744 Hura crepitans Species 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009193 crawling Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102100026278 Cysteine sulfinic acid decarboxylase Human genes 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 108010064775 protein C activator peptide Proteins 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种恶意加密流量检测方法、装置、电子设备及存储介质，涉及安全技术领域。该方法通过EDR系统中的流量分析引擎提取待检测加密流量的流量特征，由于该流量特征是由流量分析引擎中的神经网络模型以及特征工程算子所提取的，所以能够有效地提取待检测加密流量中深层和浅层流量特征，相比于传统检测方法只能基于浅层特征进行检测的方式，本申请中可以提取更多更有效的流量特征来进行检测，以提高恶意加密流量检测的准确性，进而提高网络系统的安全性。
Description
技术领域
本申请涉及安全技术领域，具体而言，涉及一种恶意加密流量检测方法、装置、电子设备及存储介质。
背景技术
近年来网民规模和网络普及率逐年递增，网络用户对于安全隐私等意识不断提升，为保护公众隐私，互联网上的很多流量被加密传输，鉴于目前加密技术和大数据在网络通信中的融合，加密的恶意数据流量在不解密的情况下很难被反病毒软件和防火墙直接检测到。
传统的恶意数据流量的检测方法一般是提取恶意数据流量中的一些浅显的特征进行检测，而随着攻击手段的提高，恶意数据流量隐藏得更深，使用传统的检测方法对恶意数据流量的检测准确率低，无法检测出网络中更多的恶意数据流量，从而导致网络安全性较低。
发明内容
本申请实施例的目的在于提供一种恶意加密流量检测方法、装置、电子设备及存储介质，用以改善现有的检测方法检测准确性低而导致网络安全性低的问题。
第一方面，本申请实施例提供了一种恶意加密流量检测方法，应用于包含端点检测与响应EDR系统的安全设备，所述方法包括：
通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，其中，所述流量分析引擎中部署有神经网络模型以及特征工程算子，所述流量特征包括所述神经网络模型以及所述特征工程算子所提取的特征；
通过所述EDR系统中的流量检测引擎基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并获得检测结果。
在上述实现过程中，通过EDR系统中的流量分析引擎提取待检测加密流量的流量特征，由于该流量特征是由流量分析引擎中的神经网络模型以及特征工程算子所提取的，所以能够有效地提取待检测加密流量中深层和浅层流量特征，相比于传统检测方法只能基于浅层特征进行检测的方式，本申请中可以提取更多更有效的流量特征来进行检测，以提高恶意加密流量检测的准确性，进而提高网络系统的安全性。并且，本申请中基于EDR系统来进行检测，由于EDR系统加强了威胁检测和响应取证的能力，能够快速检测、识别、监控和处理端点时间，从而可以快速捕获网络中存在可疑的加密流量，并且EDR系统本身也具有检测功能，所以，本申请中依托EDR系统来实现恶意加密流量的检测，可以进一步提高恶意加密流量的检测准确性。
可选地，所述流量检测引擎中部署有机器学习模型，所述机器学习模型用于基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并输出检测结果。由于机器学习模型能够实现自学习，并且计算简单，所以能够快速实现恶意加密流量的检测。
可选地，所述机器学习模型为随机森林算法模型，所述随机森林算法模型包括多个决策树，所述流量特征作为每个决策树的输入，所述检测结果为对每个决策树输出的结果进行投票确定的。由于随机森林算法模型不会出现决策树的过拟合的问题，所以相比于其他机器学习模型，采用随机森林算法模型来进行恶意加密流量的预测，准确性更高。
可选地，所述神经网络模型为卷积神经网络模型，所述通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，包括：
通过所述流量分析引擎中的卷积神经网络模型提取所述待检测加密流量的深层流量特征；
通过所述流量分析引擎中的特征工程算子提取所述待检测加密流量的流量统计特征；
其中，所述流量特征包括所述深层流量特征和所述流量统计特征。
在上述实现过程中，通过卷积神经网络模型和特征工程算子可以有效提取待检测加密流量的深层特征和浅层特征，从而可提取更多更有效的流量特征，以为后续恶意加密流量的检测提供有效的数据。
可选地，所述流量统计特征包括以下至少一种：入方向字节数、出方向字节数、入方向包数、出方向包数、源/目的端口、会话时长、协议头信息。
可选地，获得检测结果后，所述方法还包括：
若所述检测结果为所述待检测加密流量为恶意加密流量，则通过所述EDR系统中的回溯分析模块分析获得所述待检测加密流量的端点信息、被攻击对象、攻击步骤、攻击范围和破坏程度中的至少一种信息。这样可以通过回溯分析对恶意加密流量进行安全防护，以加强网络安全。
可选地，所述流量检测引擎中部署有机器学习模型，所述机器学习模型用于基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并输出检测结果，所述方法还包括：
通过所述EDR系统中的威胁情报引擎爬取恶意代码样本；
通过所述EDR系统中的分类算法对所述恶意代码样本进行家族分类，并将分类的恶意代码样本存入所述EDR系统中的恶意代码家族库中；
通过所述EDR系统中的沙箱运行恶意代码家族库中的恶意代码样本，生成恶意加密流量样本；
通过所述EDR系统中的流量探针从外部获取正常加密流量样本；
通过所述流量分析引擎提取所述恶意加密流量样本和所述正常加密流量样本的样本流量特征；
利用所述样本流量特征对所述机器学习模型进行训练，在训练完成后，获得训练好的机器学习模型。
在上述实现过程中，采用EDR系统所提供的功能能够快速捕获网络中的恶意加密流量，以获取更多的数据来训练机器学习模型，进而提高机器学习模型的检测精度。
第二方面，本申请实施例提供了一种恶意加密流量检测装置，运行于包含端点检测与响应EDR系统的安全设备，所述装置包括：
特征提取模块，用于通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，其中，所述流量分析引擎中部署有神经网络模型以及特征工程算子，所述流量特征包括所述神经网络模型以及所述特征工程算子所提取的特征；
流量检测模块，用于通过所述EDR系统中的流量检测引擎基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并获得检测结果。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种恶意加密流量检测方法的流程图；
图2为本申请实施例提供的一种依赖EDR系统进行恶意加密流量检测的过程示意图；
图3为本申请实施例提供的一种训练模型的过程示意图；
图4为本申请实施例提供的一种依赖EDR系统对模型重新训练的过程示意图；
图5为本申请实施例提供的一种恶意加密流量检测装置的结构框图；
图6为本申请实施例提供的一种用于执行恶意加密流量检测方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
本申请实施例提供一种恶意加密流量检测方法，通过EDR系统中的流量分析引擎提取待检测加密流量的流量特征，由于该流量特征是由流量分析引擎中的神经网络模型以及特征工程算子所提取的，所以能够有效地提取待检测加密流量中深层和浅层流量特征，相比于传统检测方法只能基于浅层特征进行检测的方式，本申请中可以提取更多更有效的流量特征来进行检测，以提高恶意加密流量检测的准确性，进而提高网络系统的安全性。并且，本申请中基于EDR系统来进行检测，由于EDR系统加强了威胁检测和响应取证的能力，能够快速检测、识别、监控和处理端点时间，从而可以快速捕获网络中存在可疑的加密流量，并且EDR系统本身也具有检测功能，所以，本申请中依托EDR系统来实现恶意加密流量的检测，可以进一步提高恶意加密流量的检测准确性。
请参照图1，图1为本申请实施例提供的一种恶意加密流量检测方法的流程图，该方法应用于包含端点检测与响应(Endpoint Detection&Response，EDR)系统的安全设备，安全设备可以是指处于网络环境中的设备，安全设备具有安全防护功能，如防火墙、漏洞扫描设备、安全隔离设备、流量监控设备等。该方法包括如下步骤：
步骤S110：通过EDR系统中的流量分析引擎提取待检测加密流量的流量特征。
EDR系统中部署有流量分析引擎和流量检测引擎，流量分析引擎中部署有神经网络模型以及特征工程算子，所以待检测加密流量输入流量分析引擎后，可通过神经网络模型以及特征工程算子来提取待检测加密流量的流量特征。
其中，待检测加密流量可以是通过EDR系统中的流量探针获取的企业内部的流量，流量探针可以自动捕获企业网络中的流量，然后将捕获的流量作为待检测加密流量输入流量分析引擎中，然后可通过流量分析引擎中的神经网络模型和特征工程算子来分别提取流量特征。
而EDR系统可以实时监控端点，并搜索渗透到公司防御系统中的威胁，可以更好地了解端点上发生的事情，提供关于攻击的上下文和详细信息。与传统端点安全防护采用预设安全策略的静态防御技术相比，EDR系统加强了威胁检测和响应取证的能力，能够快速检测、识别、监控和处理端点事件，从而在威胁尚未造成伤害前进行检测和阻止。所以，本申请中依赖EDR系统进行恶意加密流量检测，可以利用EDR的功能快速捕获系统中的可疑流量，不需要人为捕获，提高了流量检测的效率。并且EDR系统本身也具有检测功能，可以进一步提高恶意加密流量的检测准确性。
步骤S120：通过EDR系统中的流量检测引擎基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并获得检测结果。
在一些方式中，流量检测引擎中可以预先设置有相应的检测规则，如分析所述流量特征中是否满足恶意加密流量判断条件，比如流量特征包括包长度，而一般恶意加密流量的包长度可能较长，则可以判断包长度是否超过设定长度，如果超过，则认为该特征满足恶意加密流量判断条件。按照类似的规则也可以对其他的流量特征进行判断，在所有的流量特征判断完成后，如果有超过一定数量以上的流量特征都满足恶意加密流量判断条件，则可确定检测结果为待检测加密流量为恶意加密流量。
需要说明的是，为了确保信息安全，在网络中传输的流量可能是一些加密流量，对于加密流量，无法提取流量的具体内容，所以可以提取一些流量特征，如流持续时间、每秒流比特数、包大小、包方向等，对于这些特征可以从加密流量中获得。
在上述实现过程中，通过EDR系统中的流量分析引擎提取待检测加密流量的流量特征，由于该流量特征是由流量分析引擎中的神经网络模型以及特征工程算子所提取的，所以能够有效地提取待检测加密流量中深层和浅层流量特征，相比于传统检测方法只能基于浅层特征进行检测的方式，本申请中可以提取更多更有效的流量特征来进行检测，以提高恶意加密流量检测的准确性，进而提高网络系统的安全性。并且，本申请中基于EDR系统来进行检测，由于EDR系统加强了威胁检测和响应取证的能力，能够快速检测、识别、监控和处理端点时间，从而可以快速捕获网络中存在可疑的加密流量，并且EDR系统本身也具有检测功能，所以，本申请中依托EDR系统来实现恶意加密流量的检测，可以进一步提高恶意加密流量的检测准确性。
在上述实施例的基础上，为了进一步提高检测准确性，流量检测引擎中可以部署有机器学习模型，该机器学习模型用于基于流量特征检测待检测加密流量是否为恶意加密流量，并输出检测结果。
其中，机器学习模型可以有决策树、支持向量机、逻辑回归、随机森林等，流量检测引擎在接收到流量特征后，可以将流量特征输入机器学习模型中，机器学习模型通过简单的运算就可以快速获得对待检测加密流量的检测结果，具体通过流量分析引擎和流量检测引擎进行检测的过程示意图如图2所示。
本申请实施例中，机器学习模型可以选择随机森林算法模型，随机森林算法模型是一种统计学习理论，它是将决策树作为基本分类器，最终的分类结果的确定是由单个决策树的最终输出结果投票决定出来的，其具有以下优势：对噪声和异常值都具有很好的容忍度；不会出现决策树的过拟合的问题；对高维数据分类问题具有良好的可扩展性和并行性。另外，随机森林算法是数据驱动的非参数分类方法，只要通过培训给定样本的分类规则，并不需要分类的先验知识，所以，通过随机森林算法模型来基于流量特征对待检测加密流量进行检测，可以在提高检测准确性的基础上也能确保检测效率。
在通过随机森林算法模型进行检测时，随机森林算法模型包括多个决策树，将流量特征作为每个决策树的输入，最终的检测结果为对每个决策树输出的结果进行投票确定的。
例如，随机森林算法包括n个决策树，然后将流量特征分别输入n个决策树中，对于单个决策树，假设流量特征的个数为m，那么每次分裂时根据基尼指数选择最好的特征分裂。然后即可通过每个决策树来预测流量特征所属的类别，这里的类别可分为两类，一类是恶意加密流量，另一类是正常加密流量。这样每个决策树均可得到一个检测结果，最后每个决策树可给出自己的投票结果，若某个结果投票胜出，则将该结果作为待检测加密流量的最终检测结果。例如，如果结果为恶意加密流量胜出，则表示待检测加密流量为恶意加密流量。
可以理解地，除机器学习模型外，在流量检测引擎中也可部署神经网络模型，通过神经网络模型来对待检测加密流量进行检测，由于神经网络模型包含更多的深层网络，所以能够进一步利用流量特征中的有效信息来进行恶意加密流量检测，提高检测的准确性。
在上述实施例的基础上，流量分析引擎中的神经网络模型可以为卷积神经网络模型、循环卷积神经网络模型、生成式对抗网络模型等，可以利用这些模型来提取待检测加密流量的特征。
在一些实施方式中，流量分析引擎中的神经网络模型可以为卷积神经网络模型，卷积神经网络模型是一类包含卷积计算且具有深度结构的前馈神经网络，由卷积层、激活层和池化层三种结构组成，具有较强的学习能力，能够按阶层结构对输入信息进行平移不变分类。
在神经网络模型而卷积神经网络模型时，可以通过卷积神经网络模型来提取待检测加密流量的深层流量特征，并通过特征工程算子提取待检测加密流量的流量统计特征，流量特征即包括深层流量特征和流量统计特征。
其中，特征工程算子是特征仓库中的，特征仓库是数据处理系统提供的针对特征的管理功能，特征仓库可以基于不同场景对不同特征处理方法进行自动组合，并进行管理。特征仓库中包括大量的特征工程算子，特征工程算子可以包括但不限于以下至少一项：标准化、归一化、数据类型转换、数值编码、缺失值处理、特征二值化、独热编码、自动特征工程、特征聚合、特征筛选、特征删除、特征清洗等。
在实际应用中，用于提取待检测加密流量的流量统计特征的特征工程算子可以是上述所列举的特征工程算子中的一种或多种组合，例如在由多个特征工程算子组合形成最终的特征工程算子时，可以针对流量特征提取的过程来将各个特征工程算子进行连接组合，比如先对待检测加密流量中的信息进行标准化，然后进行缺失值处理，再特征聚合、特征筛选等。
下面举一个利用特征工程算子提取流量统计特征的具体示例。
假设待检测加密流量为一个会话流，提取会话流中的metadata信息，包括入方向字节数、出方向字节数、入方向包数、出方向包数、源/目的端口、会话的总时长，然后将这些特征进行标准化处理；然后计算会话前50个数据包的长度和到达间隔的转换概率矩阵，如数据包的总长度n＝n1+n2+...+n50，则其对应的转换概率矩阵为[n1/n,n2/n,...,n50/n]；提取字节分布向量，使用一个长度为256的数组，用来存储每个数据包中每个字节对应的值出现的概率，该概率值等于每个字节的值出现的次数除以该数据包中的总字节数；提取未加密部分的安全传输层协议(Transport Layer Security，TLS)的协议头信息，包括从客户端的TLS hello消息中获取的TLS版本号、密钥算法套件的序列等信息、从服务器端的TLShello消息中获取的TLS扩展信息、客户端公钥长度、RSA加密算法文本或迪菲-赫尔曼(Diffie-Hellman，DH)/椭圆曲线迪菲-赫尔曼秘钥交换(Elliptic Curve Diffie–Hellmankey Exchange，ECDH)公钥等信息。
所以，通过特征工程算子提取的流量统计特征可以包括以下至少一种：入方向字节数、出方向字节数、入方向包数、出方向包数、源/目的端口、会话时长、协议头信息。
而为了便于卷积神经网络模型来提取待检测加密流量的深层流量特征，还可以对待检测加密流量进行预处理，如流量探针将提取的PCAP格式的完整流量数据包或者应用层的载荷的网络流量数据(这些都可作为待检测加密流量)传输给流量分析引擎，流量分析引擎将待检测加密流量的各个字段拼接成一个二进制文件作为输出文件，并提取特征工程算子所需的字段，这些字段输入特征工程算子来提取流量统计特征。
然后为了满足卷积神经网络模型的输入，可将二进制文件设置为固定字节长度，即对超过固定字节长度的数据进行截断，对不足固定字节长度的数据在后面补充0x00。然后可将处理后的二进制文件输入卷积神经网络模型中。
为了更好地提取特征，本申请实施例中可以使用包含连续两个卷积层的网络模型，其中激活函数为ReLU，池化层为平均池化。设置输入为上述处理后的二进制文件向量X，长度为n的数据表示为X1:n＝X1X2...Xn(Xi∈Rn)，两次卷积后得到的特征向量C，C及池化后得到的特征向量P，通过具有1024个节点的全连接层，作为特征向量的输出，最后得到一个1024维的特征向量，相关计算公式如下：
其中，c1,c2为卷积核尺寸，step1为卷积步长，step2为池化步长，
为卷积核的权重矩阵，b1∈R,b2∈R为卷积偏置项，c3为池化过滤器的尺寸。
在通过特征工程算子和卷积神经网络模型提取到待检测加密流量的流量特征后，则可以将深层流量特征和流量统计特征进行合并，并进行向量化处理后输入上述的随机森林算法模型进行检测。
在上述实现过程中，通过卷积神经网络模型和特征工程算子可以有效提取待检测加密流量的深层特征和浅层特征，从而可提取更多更有效的流量特征，以为后续恶意加密流量的检测提供有效的数据。
在上述实施例的基础上，在获得对待检测加密流量的检测结果后，若检测结果而待检测加密流量为恶意加密流量，则可通过EDR系统中的回溯分析模块分析获得待检测加密流量的端点信息、被攻击对象、攻击步骤、攻击范围和破坏程度中的至少一种信息。
其中，EDR系统本身就具有回溯分析功能，所以可以直接对待检测加密流量进行回溯分析。端点信息可以包括物理位置、IP地址、进程/线程、文件信息等。
另外，EDR系统还提供有可视化功能，所以可以将系统分析得到的恶意加密流量和正常加密流量进行可视化展示，而且还可以针对回溯分析的恶意加密流量，对安全威胁进行自动化隔离、修复和补救，具体措施包括端点与网络隔离、恶意代码清理、补丁修复和软件升级等。
在上述实施例的基础上，若流量检测引擎中部署有机器学习模型，该机器学习模型用于基于流量特征检测待检测加密流量是否为恶意加密流量，并输出检测结果，所以，还可以预先对上述的卷积神经网络模型和机器学习模型进行训练。其中，对机器学习模型进行训练的过程如下：
通过EDR系统中的威胁情报引擎爬取恶意代码样本，并通过EDR系统中的分类算法对恶意代理样本进行家族分类，并将分类的恶意代码样本存入EDR系统中的恶意代码家族库中，然后通过EDR系统中的沙箱运行恶意代码家族库中的恶意代码样本，生成恶意加密流量样本，并且还通过EDR系统的流量探针从外部获取正常加密流量样本，再通过流量分析引擎提取恶意加密流量样本和正常加密流量样本的样本流量特征，利用样本流量特征对机器学习模型进行训练，在训练完成后，获得训练好的机器学习模型。
具体过程可如图3所示，其中，威胁情报引擎会周期性地爬取最新发布的恶意代码样本和该样本的相关情报(如攻击目标、攻击方式、造成的伤害、流量信息等)，然后可通过分类算法根据相关情报对恶意代码样本进行分类，形成恶意代码样本的家族分类，并将分类好的恶意代码样本存入对应的类别的恶意代码家族库中。
然后可将各个恶意代码家族库中的恶意代码样本放入沙箱中动态执行，让恶意代码样本被激活并与外部服务器产生连接，从而生成恶意加密流量样本，还可以将恶意加密流量样本按照恶意代码家族分类保存到对应的恶意代码家族流量库中。
恶意代码家族流量库中将恶意加密流量样本输入流量分析引擎中，并同时通过流量探针从企业内部捕获正常加密流量样本也输入流量分析引擎中，通过流量分析引擎进行特征提取。
在这里可以先对流量分析引擎中的卷积神经网络模型进行训练，训练过程，卷积神经网络模型的输入即为上述的恶意加密流量样本和正常加密流量样本，标签数据为流量特征，以此作为训练样本对卷积神经网络模型进行训练，先训练完卷积神经网络模型后再对机器学习模型(如随机森林算法模型)进行训练。
所以，可以利用训练好的卷积神经网络模型来提取恶意加密流量样本和正常加密流量样本的样本流量特征，当然还可以通过特征工程算子提取恶意加密流量样本和正常加密流量样本的样本流量特征，并将所提取的样本流量特征送入随机森林算法模型中，对随机森林算法模型进行训练。可以理解地，也可以同步对卷积神经网络模型和随机森林算法模型进行同步训练，这样卷积神经网络模型可以和随机森林算法模型形成级联关系，这样在训练过程中，随机森林算法模型的输出结果可以反馈到卷积神经网络模型中，以促使神经网络模型可以根据随机森林算法模型的输出结果来调整其网络参数，以学习到更有效的流量特征输入随机森林算法模型，如此可提高随机森林算法模型的检测精度。
对于随机森林算法模型的训练过程如下：
从原始训练集(即恶意加密流量样本和正常加密流量样本的样本流量特征)中Bootstrapping方法随机有放回采样取出m个样本，共进行n次采样，生成n个训练集，对n个训练集，分别训练n个决策树。
对于单个决策树，假设训练样本的个数为m，那么每次分裂时根据基尼指数选择最好的特征进行分裂，对于一般的决策树，假如总共有K类，样本属于第k类的概率为pk，其分裂方式为：
每个决策树都按照这样的方式分裂下去，直到该节点的所有训练样本都属于同一类，在决策树的分裂过程中不需要剪枝。然后可将多个决策树组成随机森林算法模型。
如此可基于EDR系统的卷积神经网络模型和特征工程算子来提取流量特征，并使用自学习的随机森林算法模型实现流量的检查，可以在有限的训练样本下有效降低误报率，以及有效提升流量检测的效率和准确度。
为了提高上述卷积神经网络模型和随机森林算法模型的精度，还可以在检测过程中检测到恶意加密流量后，将恶意加密流量存储到恶意代码家族流量库中，以不断增加恶意代码家族流量库中的样本数量，然后可定期利用恶意代码家族流量库中的样本对卷积神经网络模型和随机森林算法模型重新训练并更新，过程可如图4所示。
请参照图5，图5为本申请实施例提供的一种恶意加密流量检测装置200的结构框图，该装置200可以是电子设备上的模块、程序段或代码。应理解，该装置200与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置200具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
可选地，所述装置200包括：
特征提取模块210，用于通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，其中，所述流量分析引擎中部署有神经网络模型以及特征工程算子，所述流量特征包括所述神经网络模型以及所述特征工程算子所提取的特征；
流量检测模块220，用于通过所述EDR系统中的流量检测引擎基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并获得检测结果。
可选地，所述流量检测引擎中部署有机器学习模型，所述机器学习模型用于基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并输出检测结果。
可选地，所述机器学习模型为随机森林算法模型，所述随机森林算法模型包括多个决策树，所述流量特征作为每个决策树的输入，所述检测结果为对每个决策树输出的结果进行投票确定的。
可选地，所述神经网络模型为卷积神经网络模型，所述特征提取模块210，用于通过所述流量分析引擎中的卷积神经网络模型提取所述待检测加密流量的深层流量特征；通过所述流量分析引擎中的特征工程算子提取所述待检测加密流量的流量统计特征；
其中，所述流量特征包括所述深层流量特征和所述流量统计特征。
可选地，所述流量统计特征包括以下至少一种：入方向字节数、出方向字节数、入方向包数、出方向包数、源/目的端口、会话时长、协议头信息。
可选地，所述装置200还包括：
回溯分析模块，用于若所述检测结果为所述待检测加密流量为恶意加密流量，则通过所述EDR系统中的回溯分析模块分析获得所述待检测加密流量的端点信息、被攻击对象、攻击步骤、攻击范围和破坏程度中的至少一种信息。
可选地，所述流量检测引擎中部署有机器学习模型，所述机器学习模型用于基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并输出检测结果，所述装置200还包括：
训练模块，用于：
通过所述EDR系统中的威胁情报引擎爬取恶意代码样本；
通过所述EDR系统中的分类算法对所述恶意代码样本进行家族分类，并将分类的恶意代码样本存入所述EDR系统中的恶意代码家族库中；
通过所述EDR系统中的沙箱运行恶意代码家族库中的恶意代码样本，生成恶意加密流量样本；
通过所述EDR系统中的流量探针从外部获取正常加密流量样本；
通过所述流量分析引擎提取所述恶意加密流量样本和所述正常加密流量样本的样本流量特征；
利用所述样本流量特征对所述机器学习模型进行训练，在训练完成后，获得训练好的机器学习模型。
需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。
请参照图6，图6为本申请实施例提供的一种用于执行恶意加密流量检测方法的电子设备的结构示意图，所述电子设备为上述的安全设备，其可以包括：至少一个处理器310，例如CPU，至少一个通信接口320，至少一个存储器330和至少一个通信总线340。其中，通信总线340用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口320用于与其他节点设备进行信令或数据的通信。存储器330可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器330可选的还可以是至少一个位于远离前述处理器的存储装置。存储器330中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器310执行时，电子设备执行上述图1所示方法过程。
可以理解，图6所示的结构仅为示意，所述电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，执行如图1所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，其中，所述流量分析引擎中部署有神经网络模型以及特征工程算子，所述流量特征包括所述神经网络模型以及所述特征工程算子所提取的特征；通过所述EDR系统中的流量检测引擎基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并获得检测结果。
综上所述，本申请实施例提供一种恶意加密流量检测方法、装置、电子设备及存储介质，通过EDR系统中的流量分析引擎提取待检测加密流量的流量特征，由于该流量特征是由流量分析引擎中的神经网络模型以及特征工程算子所提取的，所以能够有效地提取待检测加密流量中深层和浅层流量特征，相比于传统检测方法只能基于浅层特征进行检测的方式，本申请中可以提取更多更有效的流量特征来进行检测，以提高恶意加密流量检测的准确性，进而提高网络系统的安全性。并且，本申请中基于EDR系统来进行检测，由于EDR系统加强了威胁检测和响应取证的能力，能够快速检测、识别、监控和处理端点时间，从而可以快速捕获网络中存在可疑的加密流量，并且EDR系统本身也具有检测功能，所以，本申请中依托EDR系统来实现恶意加密流量的检测，可以进一步提高恶意加密流量的检测准确性。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种恶意加密流量检测方法，其特征在于，应用于包含端点检测与响应EDR系统的安全设备，所述方法包括：
通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，其中，所述流量分析引擎中部署有神经网络模型以及特征工程算子，所述流量特征包括所述神经网络模型以及所述特征工程算子所提取的特征；
通过所述EDR系统中的流量检测引擎基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并获得检测结果。
2.根据权利要求1所述的方法，其特征在于，所述流量检测引擎中部署有机器学习模型，所述机器学习模型用于基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并输出检测结果。
3.根据权利要求2所述的方法，其特征在于，所述机器学习模型为随机森林算法模型，所述随机森林算法模型包括多个决策树，所述流量特征作为每个决策树的输入，所述检测结果为对每个决策树输出的结果进行投票确定的。
4.根据权利要求1所述的方法，其特征在于，所述神经网络模型为卷积神经网络模型，所述通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，包括：
通过所述流量分析引擎中的卷积神经网络模型提取所述待检测加密流量的深层流量特征；
通过所述流量分析引擎中的特征工程算子提取所述待检测加密流量的流量统计特征；
其中，所述流量特征包括所述深层流量特征和所述流量统计特征。
5.根据权利要求4所述的方法，其特征在于，所述流量统计特征包括以下至少一种：入方向字节数、出方向字节数、入方向包数、出方向包数、源/目的端口、会话时长、协议头信息。
6.根据权利要求1所述的方法，其特征在于，获得检测结果后，所述方法还包括：
若所述检测结果为所述待检测加密流量为恶意加密流量，则通过所述EDR系统中的回溯分析模块分析获得所述待检测加密流量的端点信息、被攻击对象、攻击步骤、攻击范围和破坏程度中的至少一种信息。
7.根据权利要求1-6任一所述的方法，其特征在于，所述流量检测引擎中部署有机器学习模型，所述机器学习模型用于基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并输出检测结果，所述方法还包括：
通过所述EDR系统中的威胁情报引擎爬取恶意代码样本；
通过所述EDR系统中的分类算法对所述恶意代码样本进行家族分类，并将分类的恶意代码样本存入所述EDR系统中的恶意代码家族库中；
通过所述EDR系统中的沙箱运行恶意代码家族库中的恶意代码样本，生成恶意加密流量样本；
通过所述EDR系统中的流量探针从外部获取正常加密流量样本；
通过所述流量分析引擎提取所述恶意加密流量样本和所述正常加密流量样本的样本流量特征；
利用所述样本流量特征对所述机器学习模型进行训练，在训练完成后，获得训练好的机器学习模型。
8.一种恶意加密流量检测装置，其特征在于，运行于包含端点检测与响应EDR系统的安全设备，所述装置包括：
特征提取模块，用于通过所述EDR系统中的流量分析引擎提取待检测加密流量的流量特征，其中，所述流量分析引擎中部署有神经网络模型以及特征工程算子，所述流量特征包括所述神经网络模型以及所述特征工程算子所提取的特征；
流量检测模块，用于通过所述EDR系统中的流量检测引擎基于所述流量特征检测所述待检测加密流量是否为恶意加密流量，并获得检测结果。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111552132.1A CN114268484A (zh) | 2021-12-17 | 2021-12-17 | 恶意加密流量检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111552132.1A CN114268484A (zh) | 2021-12-17 | 2021-12-17 | 恶意加密流量检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114268484A true CN114268484A (zh) | 2022-04-01 |
Family
ID=80827825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111552132.1A Pending CN114268484A (zh) | 2021-12-17 | 2021-12-17 | 恶意加密流量检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114268484A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115150181A (zh) * | 2022-07-20 | 2022-10-04 | 杭州电子科技大学 | 基于精细化统计特征分析的伪造恶意加密流量检测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106657141A (zh) * | 2017-01-19 | 2017-05-10 | 西安电子科技大学 | 基于网络流量分析的安卓恶意软件实时检测方法 |
| CN108833360A (zh) * | 2018-05-23 | 2018-11-16 | 四川大学 | 一种基于机器学习的恶意加密流量识别技术 |
| CN108985361A (zh) * | 2018-07-02 | 2018-12-11 | 北京金睛云华科技有限公司 | 一种基于深度学习的恶意流量检测实现方法和装置 |
| CN109379377A (zh) * | 2018-11-30 | 2019-02-22 | 极客信安(北京)科技有限公司 | 加密恶意流量检测方法、装置、电子设备及存储介质 |
| CN109768981A (zh) * | 2019-01-20 | 2019-05-17 | 北京工业大学 | 一种在sdn架构下基于机器学习的网络攻击防御方法和系统 |
| CN111447215A (zh) * | 2020-03-25 | 2020-07-24 | 深信服科技股份有限公司 | 数据检测方法、装置和存储介质 |
| CN112187752A (zh) * | 2020-09-18 | 2021-01-05 | 湖北大学 | 一种基于随机森林的入侵检测分类方法及装置 |
| CN112311814A (zh) * | 2020-12-23 | 2021-02-02 | 中国航空油料集团有限公司 | 基于深度学习的恶意加密流量识别方法、系统及电子设备 |
| CN112491883A (zh) * | 2020-11-27 | 2021-03-12 | 杭州安恒信息安全技术有限公司 | 一种检测web攻击的方法、装置、电子装置和存储介质 |
| CN113705619A (zh) * | 2021-08-03 | 2021-11-26 | 广州大学 | 一种恶意流量检测方法、系统、计算机及介质 |
-
2021
- 2021-12-17 CN CN202111552132.1A patent/CN114268484A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106657141A (zh) * | 2017-01-19 | 2017-05-10 | 西安电子科技大学 | 基于网络流量分析的安卓恶意软件实时检测方法 |
| CN108833360A (zh) * | 2018-05-23 | 2018-11-16 | 四川大学 | 一种基于机器学习的恶意加密流量识别技术 |
| CN108985361A (zh) * | 2018-07-02 | 2018-12-11 | 北京金睛云华科技有限公司 | 一种基于深度学习的恶意流量检测实现方法和装置 |
| CN109379377A (zh) * | 2018-11-30 | 2019-02-22 | 极客信安(北京)科技有限公司 | 加密恶意流量检测方法、装置、电子设备及存储介质 |
| CN109768981A (zh) * | 2019-01-20 | 2019-05-17 | 北京工业大学 | 一种在sdn架构下基于机器学习的网络攻击防御方法和系统 |
| CN111447215A (zh) * | 2020-03-25 | 2020-07-24 | 深信服科技股份有限公司 | 数据检测方法、装置和存储介质 |
| CN112187752A (zh) * | 2020-09-18 | 2021-01-05 | 湖北大学 | 一种基于随机森林的入侵检测分类方法及装置 |
| CN112491883A (zh) * | 2020-11-27 | 2021-03-12 | 杭州安恒信息安全技术有限公司 | 一种检测web攻击的方法、装置、电子装置和存储介质 |
| CN112311814A (zh) * | 2020-12-23 | 2021-02-02 | 中国航空油料集团有限公司 | 基于深度学习的恶意加密流量识别方法、系统及电子设备 |
| CN113705619A (zh) * | 2021-08-03 | 2021-11-26 | 广州大学 | 一种恶意流量检测方法、系统、计算机及介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115150181A (zh) * | 2022-07-20 | 2022-10-04 | 杭州电子科技大学 | 基于精细化统计特征分析的伪造恶意加密流量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107241352B (zh) | 一种网络安全事件分类与预测方法及系统 | |
| US20230012220A1 (en) | Method for determining likely malicious behavior based on abnormal behavior pattern comparison | |
| US9191398B2 (en) | Method and system for alert classification in a computer network | |
| Duan et al. | Application of a dynamic line graph neural network for intrusion detection with semisupervised learning | |
| CN114679338A (zh) | 一种基于网络安全态势感知的网络风险评估方法 | |
| Moustaf et al. | Creating novel features to anomaly network detection using DARPA-2009 data set | |
| CN110392013A (zh) | 一种基于网络流量分类的恶意软件识别方法、系统及电子设备 | |
| WO2022150653A1 (en) | Artificial intelligence based analyst as an evaluator | |
| CN117544420B (zh) | 一种基于数据分析的融合系统安全管理方法及系统 | |
| CN115001934A (zh) | 一种工控安全风险分析系统及方法 | |
| CN112925805A (zh) | 基于网络安全的大数据智能分析应用方法 | |
| Baich et al. | Machine Learning for IoT based networks intrusion detection: a comparative study | |
| Ageyev et al. | Traffic monitoring and abnormality detection methods analysis | |
| CN114268484A (zh) | 恶意加密流量检测方法、装置、电子设备及存储介质 | |
| CN117749499A (zh) | 一种网络信息系统场景下的恶意加密流量检测方法及系统 | |
| US9398040B2 (en) | Intrusion detection system false positive detection apparatus and method | |
| CN112104628A (zh) | 一种自适应特征规则匹配的实时恶意流量检测方法 | |
| WO2023163842A1 (en) | Thumbprinting security incidents via graph embeddings | |
| Amin et al. | Ensemble based Effective Intrusion Detection System for Cloud Environment over UNSW-NB15 Dataset | |
| CN115225301B (zh) | 基于d-s证据理论的混合入侵检测方法和系统 | |
| Sulaiman et al. | Big data analytic of intrusion detection system | |
| Rathod et al. | AI & ML Based Anamoly Detection and Response Using Ember Dataset | |
| Padhiar et al. | Performance evaluation of botnet detection using machine learning techniques | |
| Yu et al. | Mining anomaly communication patterns for industrial control systems | |
| CN118449781B (zh) | 基于非典型行为分析的跨境异常数据流动识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220401 |