CN114079579B - 一种恶意加密流量检测方法及装置 - Google Patents

一种恶意加密流量检测方法及装置 Download PDF

Info

Publication number
CN114079579B
CN114079579B CN202111237361.4A CN202111237361A CN114079579B CN 114079579 B CN114079579 B CN 114079579B CN 202111237361 A CN202111237361 A CN 202111237361A CN 114079579 B CN114079579 B CN 114079579B
Authority
CN
China
Prior art keywords
network
data
network model
error rate
traffic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111237361.4A
Other languages
English (en)
Other versions
CN114079579A (zh
Inventor
王晓敏
庞瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202111237361.4A priority Critical patent/CN114079579B/zh
Publication of CN114079579A publication Critical patent/CN114079579A/zh
Application granted granted Critical
Publication of CN114079579B publication Critical patent/CN114079579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提出了一种恶意加密流量检测方法及装置，其中恶意加密流量检测方法包括：获取网络流量数据；基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率；在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率；在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型。本公开的方法解决了网络模型在线上使用时对数据的适用性问题，有效保证了网络模型对新型恶意流量数据的检出效果。

Description

一种恶意加密流量检测方法及装置
技术领域
本发明涉及网络安全技术领域，尤其涉及一种恶意加密流量检测方法及装置。
背景技术
一般情况下，将机器学习模型部署到生产环境时，机器学习模型的预测性能往往会下降。因此，需要设置特定于机器学习模型的监视解决方案和工作流程来启用模型重新训练，从而为性能下降做好准备。虽然重新训练的频率因具体问题而异，但应该制定一个策略，随着新数据的检测，该策略定期对模型进行重新训练。现有的定期训练的方式在实际应用中在定期的周期内容易漏检了很多的恶意流量，模型的反应灵敏度达不到使用的需求。
发明内容
本发明实施例提供一种恶意加密流量检测方法及装置，用以提高模型对新的恶意流量的反应灵敏度，提高恶意流量检测的自适应性。
第一方面，本发明实施例提供一种恶意加密流量检测方法，包括：
获取网络流量数据；
基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率；
在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率；
在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型。
在一些实施例中，基于网络模型对网络流量数据进行识别包括：
将网络流量数据输入所述网络模型，以确定网络流量数据为恶意流量的概率；
在所述网络模型输出的概率大于第一阈值的情况下，对相应的网络流量数据进行告警；
确定所述网络模型对网络流量数据的识别错误率包括：
确定告警的网络流量数据中是否存在误报数据；
基于所述误报数据确定所述网络模型对网络流量数据的识别错误率。
在一些实施例中，对相应的网络流量数据进行告警还包括：
提取误报数据中的TLS协议的证书的校验码，基于所述校验码与误报库中的校验码进行匹配，在匹配不成功的情况下，对相应的网络流量数据进行告警。
在一些实施例中，在所述识别错误率超过第一阈值的情况下，记录在后获取的网络流量数据包括：按照时间顺序持续获取在后的网络流量数据。
在一些实施例中，所述第一预设条件包括如下中的一种：
所述识别错误率变化的置信度达到第一级别；
所述识别错误率超过第二阈值。
在一些实施例中，所述第二预设条件包括：
在预设时段内，所述预设网络模型对在后的网络流量数据的识别错误率持续高于所述第二阈值，且，识别错误率达到第二级别。
在一些实施例中，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型包括：
基于在后的网络流量数据训练网络模型；
将训练获得的网络模型用于检测新输入的网络流量数据，并计算网络模型分类错误的概率，将该分类错误的概率作为错误率；
基于后续输入的网络流量数据以及所述第一预设条件以及所述第二预设条件确定所述网络模型是否漂移。
在一些实施例中，基于在后的网络流量数据训练网络模型包括：
在原始的训练样本中加入误报库中的数据以及所述第一预设条件与所述第二预设条件之间的数据，以获得目标训练集；
保持训练过程中的特征、模型算法和参数不变，基于所述目标训练集，对所述网络模型进行训练。
第二方面，本发明实施例提供一种恶意加密流量检测装置，所述恶意加密流量检测装置包括：
流量获取单元，获取网络流量数据；
误报记录单元，基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率；
概念漂移监测单元，在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率；
模型再训练单元，被配置为在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本公开各实施例所述的恶意加密流量检测方法的步骤。
本发明实施例基于识别错误率满足第一预设条件之后，通过在后的网络流量数据来更新网络模型，从而能够及时地调整模型的识别方向，提高对恶意网络流量的识别效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本公开的恶意加密流量检测方法的基本流程图；
图2为本公开实施例的网络模型更新训练的流程示意图；
图3为本公开实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种恶意加密流量检测方法，如图1所示，包括如下步骤：
S101、获取网络流量数据。本示例中，获取网络流量数据可以通过TLS数据传输模块实现。TLS数据传输模块可以是软件模块也可以是硬件模块也可以是软件与硬件的结合。所获取的网络流量数据可以是携带数据信息的完整双向网络流量，本示例中所指的网络流量可以包括恶意加密流量和正常加密流量。TLS数据传输模块可以将TLS流量数据按一定大小或按时间间隔分批次传入检测系统。网络流量数据传输到检测系统之前还可以进行流量过滤，提取符合条件的网络流量数据。例如符合条件的流量数据可以为：网络流量数据应皆为TLS加密流量、流量是一个双向流量包含完整的TLS握手过程。
在获取到网络流量数据之后，可以在步骤S102中基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率。
基于网络模型对网络流量数据进行识别可以采用如下步骤：
通过数据处理模块，提取网络流量数据的特征，并执行数据处理步骤。提取网络流量数据的特征包括流特征、TLS握手特征和证书特征。所述流特征至少包括输入报文包数量、输出报文包数量、输入tcp报文负载总长度、输出tcp报文负载总长度、报文之间时间间隔。
TLS握手特征至少包括TLS版本号、客户端公钥长度、客户端的扩展、服务器端的扩展、客户端的密码套件和服务器端的密码套件。
证书特征至少包括证书链长度、证书有效期、是否为自签名证书。
提取特征后的数据可能会存在缺失项，例如客户端和服务器的扩展、证书相关特征等，需要对缺失项进行处理。上述缺失项的处理方法可以包括：把可能存在缺失值的特征项映射到高维空间，比如证书的自签名证书存在：自签名证书、不是自签名证书、无证书3种情况，则映射成是否为自签名证书、是否不是自签名证书、是否无证书3个变量，从而完整保留原始数据的信息。
然后基于提取到的网络流量数据的特征通过网络模型来进行检测，本示例中所指的网络模型可以是各种机器学习模型，如CNN、SVM等等，在此不做一一限定。通过网络模型可以检测出流量数据为恶意的概率。基于此将上述提取到的网络流量数据的特征输入到网络模型中，输出即为流量数据为恶意的概率，当恶意概率大于设定的预设阈值时，判定所述流量数据为恶意，预设阈值可以根据实际情况进行设定。当判定数据为恶意时，通过预设路径发送携带有恶意数据信息的告警。在告警的过程中本公开的方法进一步对抗实时数据与模型训练集的分布差异、实时数据随时间产生的分布变化等因素导致的模型过时。本公开的方法进一步对误报进行记录，例如可以设置误报记录单元，安全研究员可以对上述发出告警的网络流量数据进行分析，判断上述发出告警的网络流量数据中是否存在白流量(非恶意流量)。将上述分析结果为白流量的数据作为误报数据，由此可以检测一定时间段内流量数据的总体错误率是否显著增加，识别错误率是指被分类为错误类的数据在所有检测数据中的占比，即错误分类的概率。
对于错误率设置两个预设条件，在步骤S103中在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率。其中第一预设条件可以被配置为所述识别错误率变化的置信度达到第一级别，该第一级别也可以被设置为预警级别，也可以是所述识别错误率超过第二阈值。当新数据的错误率变化的置信度达到预警级别时，开始记录此后传入的新数据。如果在预警之后接连输入的数据没有让错误率降低，并且当某个新数据输入时错误率达到了漂移级别，则确定新数据的样本概率分布发生了变化，为了适应新的样本数据，触发模型进行再训练，并用新训练的模型代替旧模型；而如果接连输入的网络流量数据让错误率降低了，则说明是一个假预警，可以不进行模型更新。通过这样的设置能够在网络模型的识别错误率在符合需求的情况下，继续通过当前的网络模型进行检测，超过设定的阈值或者置信度阈值则可能需要进行模型更新。
在步骤S104中在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型。
通过设置第一预设条件和第二预设条件，能够有效判断出虚警、假警，并且能够通过更新网络模型来调整网络模型对网络流量数据的识别方向，从而彻底改变现有技术中定期进行模型更新所存在的灵敏度不足的问题。
在一些实施例中，基于网络模型对网络流量数据进行识别包括：将网络流量数据输入所述网络模型，以确定网络流量数据为恶意流量的概率；在所述网络模型输出的概率大于第一阈值的情况下，对相应的网络流量数据进行告警。作为一种具体的识别恶意流量的方式，可以按照前述步骤将处理好的网络流量数据输入到训练好的网络模型中，网络模型输出上述处理后的流量数据为恶意的概率，当恶意概率大于设定的阈值时，可以判定所述流量数据为恶意，阈值根据实际情况进行设定。当判定数据为恶意时，通过预设路径发送携带有恶意数据信息的告警。
由于模型并不能百分之百区分正确，在一些实施例中，确定所述网络模型对网络流量数据的识别错误率包括：确定告警的网络流量数据中是否存在误报数据；基于所述误报数据确定所述网络模型对网络流量数据的识别错误率。
在一些实施例中，对相应的网络流量数据进行告警还包括：提取误报数据中的TLS协议的证书的校验码，基于所述校验码与误报库中的校验码进行匹配，在匹配不成功的情况下，对相应的网络流量数据进行告警。例如具体的校验码可以是sha1值，具体实施过程中可以对上述发出告警的流量数据进行分析，判断上述发出告警的流量数据中是否存在白流量(即将正常流量识别为了恶意流量)。将上述分析结果为白流量的数据作为误报数据。提取上述误报数据中TLS协议的证书sha1值，将上述sha1值记录在误报库中。可选地，在做出告警动作之前，判断被检测的流量数据的证书sha1值是否能匹配到误报库中的sha1值，仅当上述sha1值匹配不成立时做出告警动作。
在一些实施例中，在所述识别错误率超过第一阈值的情况下，记录在后获取的网络流量数据包括：按照时间顺序持续获取在后的网络流量数据。具体的可以在通过网络模型对网络流量数据进行连续识别的过程中，在识别错误率超过第一阈值后，即可按照时间顺序持续获取在后的网络流量数据。对于没有超过第一阈值的流量数据，无需记录，从而降低磁盘的负载，减少数据处理的量。而按照时间顺序持续获取在后的网络流量数据，此部分可能为已经发生了流量数据的漂移，记录后可以用于后续的网络模型的训练和更新。
在一些实施例中，所述第二预设条件包括：在预设时段内，所述预设网络模型对在后的网络流量数据的识别错误率持续高于所述第二阈值，且，识别错误率达到第二级别。示例性的，第二级别可以是漂移级别，如果在预警级别(第一级别)之后接连输入的数据没有让错误率降低，并且当某个新数据输入时错误率达到了漂移级别(第二级别)，则确定新输入的网络流量数据的样本概率分布发生了变化，为了适应新的样本数据，可以触发模型进行再训练，并用新训练的模型代替旧模型。而如果在后输入的流量数据让错误率降低了，则说明是一个假预警，可以继续沿用当前的网络模型。
在一些实施例中，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型包括：
在步骤S201中基于在后的网络流量数据训练网络模型。例如可以基于前述记录的在后的网络流量数据训练网络模型，从而能够将记录的网络流量数据转换为学习模型。
在步骤S202中将训练获得的网络模型用于检测新输入的网络流量数据，并计算网络模型分类错误的概率，将该分类错误的概率作为错误率。也即可以利用上述训练的网络模型(分类器)检测新的流量数据，计算分类器得到错误的检测结果的概率，将其作为错误率。
在步骤S203中基于后续输入的网络流量数据以及所述第一预设条件以及所述第二预设条件确定所述网络模型是否漂移。也即可以基于预设条件判断流量数据是否漂移，该第一预设条件可以按照实际需要设置，可以与在先的比例不同，例如可以设置新数据的错误率变化的置信度低于95％置信区间为预警级别，低于99％置信区间为漂移级别。
在一些实施例中，基于在后的网络流量数据训练网络模型包括：
在原始的训练样本中加入误报库中的数据以及所述第一预设条件与所述第二预设条件之间的数据，以获得目标训练集；
保持训练过程中的特征、模型算法和参数不变，基于所述目标训练集，对所述网络模型进行训练。当上述数据达到漂移级别时触发模型再训练，模型再训练时特征、模型算法和超参数都保持不变，只更新训练数据。更新后的训练数据包括原始训练数据加入上述误报库中的数据以及上述预警级别和漂移级别之间的数据。再训练后的网络模型可以用于更新和替换线上的网络模型。
本公开的方法解决模型在线上使用时对数据的适用性问题，有效保证了网络模型对新型恶意数据的检出效果。本公开的方法提出的模型再训练数据集来源于更新较快的恶意流量数据和模型的误报数据，在提升模型检测新流量数据能力的同时保证模型的低误报率。
如图3所示本公开还提出一种恶意加密流量检测方法的实施案例，
TLS数据传输模块每采集5000条及以下五元组数据，即向检测系统传入。五元组包括源IP、目的IP、源端口、目的端口、协议。
数据处理模块，用于过滤传入的流量数据，过滤后的数据为TLS加密的、双向的且包含完整的TLS握手过程的流量数据。提取特征，包括流特征、TLS握手特征和证书特征。流特征包括输入报文包数量、输出报文包数量、输入tcp报文的负载总长度、输出tcp报文的负载总长度、报文之间时间间隔；TLS握手特征包括TLS版本号、客户端公钥长度、客户端和服务器端的扩展、客户端和服务器端的密码套件；证书特征包括自签名证书。进行特征编码，其中客户端的扩展、服务器的扩展以及自签名证书会存在缺失项，在编码时把这些特征映射到高维空间。自签名证书特征共3维：是否是自签名证书、是否不是自签名证书、是否有证书；客户端扩展和服务器扩展特征分别有17维：选取16个常用扩展字段进行独热编码，再加一维是否有扩展项。
模型再训练模块包括：误报记录单元、概念漂移监测单元和模型再训练单元，其中误报记录单元，提取流量数据的证书sha1值，进行误报库匹配。如果流量数据匹配到证书sha1误报库，则判定该流量数据为白流量。
恶意加密流量检测模块，如果没有匹配到误报库，则将流量数据输入到训练好的模型中。模型输出流量数据为恶意的概率，当恶意概率大于设定的阈值时，判定所述流量数据为恶意，通过预设路径发送所述流量数据的五元组信息进行告警。
定期对告警数据进行人工检测，检测其中是否存在误判的白流量，并提取误判白流量的证书sha1值记录到误报库中。
概念漂移监测单元，定期进行漂移检测，按时间顺序连续采集100个实时传入检测系统的流量数据，将100个流量数据作为训练数据训练贝叶斯分类器(网络模型)。
利用训练好的分类器，对后续传入系统的流量数据进行检测。同时分类器检测第i条数据ki时，计算此前所有分类结果中，错误分类结果的概率，即错误率pi，
pi＝nerror/N
其中，N为检测数据的数量，nerror为错误的检测结果的数量。
计算分类器检测第i条数据ki时的错误率标准差si，
si＝sqrt(pi(1-pi)/i)
计算pi+si，当pi+si<pmin+smin时，更新pmin和smin。
设置错误率p超出95％置信区间为预警级别(第一级别)，超出99％置信区间为漂移级别(第二级别)。当检测到当kw数据的pw＞预警级别的阈值时，数据达到预警级别，kd数据数据的pd＞漂移级别的阈值时，进行模型再训练。
预警级别的阈值＝pmin+2smin
漂移级别的阈值＝pmin+3smin
获得新的训练数据：在原有训练数据的基础上，加入kw到kd之间的数据，以及误报库中的数据。
模型再训练单元，基于新的训练数据，对模型进行再训练，在少量实时流量数据测试通过后，将再训练后的模型部署到线上。
由于恶意软件更新迭代速度快，发生概念漂移的数据大多为恶意数据。本公开的方法的网络模型再训练的训练数据中加入误报数据，能够在提升模型检测恶意流量能力的同时，降低模型的误报。本公开的方法有效提升了恶意加密流量检测的网络模型对新数据的适用性。
第二方面，本发明实施例提供一种恶意加密流量检测装置，所述恶意加密流量检测装置包括：
流量获取单元，获取网络流量数据；
误报记录单元，基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率；
概念漂移监测单元，在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率；
模型再训练单元，被配置为在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本公开各实施例所述的恶意加密流量检测方法的步骤。
本发明实施例基于识别错误率满足第一预设条件之后，通过在后的网络流量数据来更新网络模型，从而能够及时地调整模型的识别方向，提高对恶意网络流量的识别效果。
第二方面，本发明实施例提供一种恶意加密流量检测装置，所述恶意加密流量检测装置包括：
流量获取单元，获取网络流量数据；
误报记录单元，基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率；
概念漂移监测单元，在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率；
模型再训练单元，被配置为在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本公开各实施例所述的恶意加密流量检测方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (7)

1.一种恶意加密流量检测方法，其特征在于，包括：
获取网络流量数据；
基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率；
在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率；
在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型；
基于网络模型对网络流量数据进行识别包括：
将网络流量数据输入所述网络模型，以确定网络流量数据为恶意流量的概率；
在所述网络模型输出的概率大于第一阈值的情况下，对相应的网络流量数据进行告警；
确定所述网络模型对网络流量数据的识别错误率包括：
确定告警的网络流量数据中是否存在误报数据；
基于所述误报数据确定所述网络模型对网络流量数据的识别错误率；
所述第一预设条件包括如下中的一种：
所述识别错误率变化的置信度达到第一级别；
所述识别错误率超过第二阈值；
所述第二预设条件包括：
在预设时段内，所述预设网络模型对在后的网络流量数据的识别错误率持续高于所述第二阈值，且，识别错误率达到第二级别。
2.如权利要求1所述的恶意加密流量检测方法，其特征在于，对相应的网络流量数据进行告警还包括：
提取误报数据中的TLS协议的证书的校验码，基于所述校验码与误报库中的校验码进行匹配，在匹配不成功的情况下，对相应的网络流量数据进行告警。
3.如权利要求1所述的恶意加密流量检测方法，其特征在于，在所述识别错误率超过第一阈值的情况下，记录在后获取的网络流量数据包括：按照时间顺序持续获取在后的网络流量数据。
4.如权利要求1所述的恶意加密流量检测方法，其特征在于，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型包括：
基于在后的网络流量数据训练网络模型；
将训练获得的网络模型用于检测新输入的网络流量数据，并计算网络模型分类错误的概率，将该分类错误的概率作为错误率；
基于后续输入的网络流量数据以及所述第一预设条件以及所述第二预设条件确定所述网络模型是否漂移。
5.如权利要求4所述的恶意加密流量检测方法，其特征在于，基于在后的网络流量数据训练网络模型包括：
在原始的训练样本中加入误报库中的数据以及所述第一预设条件与所述第二预设条件之间的数据，以获得目标训练集；
保持训练过程中的特征、模型算法和参数不变，基于所述目标训练集，对所述网络模型进行训练。
6.一种恶意加密流量检测装置，其特征在于，所述恶意加密流量检测装置包括：
流量获取单元，获取网络流量数据；
误报记录单元，基于网络模型对网络流量数据进行识别，并确定所述网络模型对网络流量数据的识别错误率；
概念漂移监测单元，在所述识别错误率满足第一预设条件的情况下，记录在后获取的网络流量数据，并确定所述网络模型对在后的网络流量数据的识别错误率；
模型再训练单元，被配置为在所述预设网络模型对在后的网络流量数据的识别错误率在预设时段内满足第二预设条件的情况下，基于记录的在后的网络流量数据对所述网络模型进行训练，以更新所述网络模型；
基于网络模型对网络流量数据进行识别包括：
将网络流量数据输入所述网络模型，以确定网络流量数据为恶意流量的概率；
在所述网络模型输出的概率大于第一阈值的情况下，对相应的网络流量数据进行告警；
确定所述网络模型对网络流量数据的识别错误率包括：
确定告警的网络流量数据中是否存在误报数据；
基于所述误报数据确定所述网络模型对网络流量数据的识别错误率；
所述第一预设条件包括如下中的一种：
所述识别错误率变化的置信度达到第一级别；
所述识别错误率超过第二阈值；
所述第二预设条件包括：
在预设时段内，所述预设网络模型对在后的网络流量数据的识别错误率持续高于所述第二阈值，且，识别错误率达到第二级别。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的恶意加密流量检测方法的步骤。
CN202111237361.4A 2021-10-21 2021-10-21 一种恶意加密流量检测方法及装置 Active CN114079579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111237361.4A CN114079579B (zh) 2021-10-21 2021-10-21 一种恶意加密流量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111237361.4A CN114079579B (zh) 2021-10-21 2021-10-21 一种恶意加密流量检测方法及装置

Publications (2)

Publication Number Publication Date
CN114079579A CN114079579A (zh) 2022-02-22
CN114079579B true CN114079579B (zh) 2024-03-15

Family

ID=80283826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111237361.4A Active CN114079579B (zh) 2021-10-21 2021-10-21 一种恶意加密流量检测方法及装置

Country Status (1)

Country Link
CN (1) CN114079579B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513371B (zh) * 2022-04-19 2022-07-12 广州万协通信息技术有限公司 一种基于交互数据的攻击检测方法及系统
CN115834097B (zh) * 2022-06-24 2024-03-22 电子科技大学 基于多视角的https恶意软件流量检测系统及方法
CN115296937B (zh) * 2022-10-09 2023-04-18 中孚信息股份有限公司 一种用于实时加密恶意流量识别的方法及设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113349A (zh) * 2019-05-15 2019-08-09 北京工业大学 一种恶意加密流量特征分析方法
CN110839042A (zh) * 2019-11-22 2020-02-25 上海交通大学 一种基于流量的自反馈恶意软件监测系统和方法
CN110909884A (zh) * 2019-11-04 2020-03-24 深圳力维智联技术有限公司 一种用于更新参数模型的方法、装置、产品及介质
CN111277587A (zh) * 2020-01-19 2020-06-12 武汉思普崚技术有限公司 基于行为分析的恶意加密流量检测方法及系统
CN111447232A (zh) * 2020-03-30 2020-07-24 杭州迪普科技股份有限公司 一种网络流量检测方法及装置
CN111835541A (zh) * 2019-04-18 2020-10-27 华为技术有限公司 一种模型老化检测方法、装置、设备及系统
CN112131575A (zh) * 2020-09-21 2020-12-25 北京理工大学 一种基于分类错误率和一致性预测的概念漂移检测方法
CN112217763A (zh) * 2019-07-10 2021-01-12 四川大学 一种基于机器学习的隐蔽tls通信流检测方法
CN112235230A (zh) * 2019-07-15 2021-01-15 北京观成科技有限公司 一种恶意流量识别方法及系统
CN112398779A (zh) * 2019-08-12 2021-02-23 中国科学院国家空间科学中心 一种网络流量数据分析方法及系统
CN112765324A (zh) * 2021-01-25 2021-05-07 四川虹微技术有限公司 一种概念漂移检测方法及装置
KR20210073391A (ko) * 2019-12-10 2021-06-18 국방과학연구소 머신러닝을 이용한 악성 트래픽 탐지 방법, 장치, 이를 위한 컴퓨터 프로그램 및 컴퓨터 판독가능한 기록매체
CN113158971A (zh) * 2021-05-11 2021-07-23 北京易华录信息技术股份有限公司 一种事件检测模型训练方法及事件分类方法、系统
CN113378961A (zh) * 2021-06-23 2021-09-10 中移（杭州）信息技术有限公司 网络流量识别方法、装置、设备以及计算机程序产品
CN113422785A (zh) * 2021-08-20 2021-09-21 北京生泰尔科技股份有限公司 基于网络流量的恶意攻击检测方法、系统和可读存储介质
CN113469366A (zh) * 2020-03-31 2021-10-01 北京观成科技有限公司 一种加密流量的识别方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565369B2 (en) * 2004-05-28 2009-07-21 International Business Machines Corporation System and method for mining time-changing data streams
US8887285B2 (en) * 2013-03-14 2014-11-11 Resurgo, Llc Heterogeneous sensors for network defense

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835541A (zh) * 2019-04-18 2020-10-27 华为技术有限公司 一种模型老化检测方法、装置、设备及系统
CN110113349A (zh) * 2019-05-15 2019-08-09 北京工业大学 一种恶意加密流量特征分析方法
CN112217763A (zh) * 2019-07-10 2021-01-12 四川大学 一种基于机器学习的隐蔽tls通信流检测方法
CN112235230A (zh) * 2019-07-15 2021-01-15 北京观成科技有限公司 一种恶意流量识别方法及系统
CN112398779A (zh) * 2019-08-12 2021-02-23 中国科学院国家空间科学中心 一种网络流量数据分析方法及系统
CN110909884A (zh) * 2019-11-04 2020-03-24 深圳力维智联技术有限公司 一种用于更新参数模型的方法、装置、产品及介质
CN110839042A (zh) * 2019-11-22 2020-02-25 上海交通大学 一种基于流量的自反馈恶意软件监测系统和方法
KR20210073391A (ko) * 2019-12-10 2021-06-18 국방과학연구소 머신러닝을 이용한 악성 트래픽 탐지 방법, 장치, 이를 위한 컴퓨터 프로그램 및 컴퓨터 판독가능한 기록매체
CN111277587A (zh) * 2020-01-19 2020-06-12 武汉思普崚技术有限公司 基于行为分析的恶意加密流量检测方法及系统
CN111447232A (zh) * 2020-03-30 2020-07-24 杭州迪普科技股份有限公司 一种网络流量检测方法及装置
CN113469366A (zh) * 2020-03-31 2021-10-01 北京观成科技有限公司 一种加密流量的识别方法、装置及设备
CN112131575A (zh) * 2020-09-21 2020-12-25 北京理工大学 一种基于分类错误率和一致性预测的概念漂移检测方法
CN112765324A (zh) * 2021-01-25 2021-05-07 四川虹微技术有限公司 一种概念漂移检测方法及装置
CN113158971A (zh) * 2021-05-11 2021-07-23 北京易华录信息技术股份有限公司 一种事件检测模型训练方法及事件分类方法、系统
CN113378961A (zh) * 2021-06-23 2021-09-10 中移（杭州）信息技术有限公司 网络流量识别方法、装置、设备以及计算机程序产品
CN113422785A (zh) * 2021-08-20 2021-09-21 北京生泰尔科技股份有限公司 基于网络流量的恶意攻击检测方法、系统和可读存储介质

Also Published As

Publication number Publication date
CN114079579A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN114079579B (zh) 一种恶意加密流量检测方法及装置
Viegas et al. BigFlow: Real-time and reliable anomaly-based intrusion detection for high-speed networks
CN107154950B (zh) 一种日志流异常检测的方法及系统
CN106911668B (zh) 一种基于用户行为模型的身份认证方法及系统
CN108989150B (zh) 一种登录异常检测方法及装置
Yoon et al. Communication pattern monitoring: Improving the utility of anomaly detection for industrial control systems
CN111475804A (zh) 一种告警预测方法及系统
Estévez-Tapiador et al. Measuring normality in HTTP traffic for anomaly-based intrusion detection
CN113645065B (zh) 基于工业互联网的工控安全审计系统及其方法
CN103748853A (zh) 用于对数据通信网络中的协议消息进行分类的方法和系统
US20170132523A1 (en) Periodicity Analysis on Heterogeneous Logs
CN112671768A (zh) 一种异常流量检测方法、装置、电子设备及存储介质
CN110162958B (zh) 用于计算设备的综合信用分的方法、装置和记录介质
CN112953971A (zh) 一种网络安全流量入侵检测方法和系统
US11516240B2 (en) Detection of anomalies associated with fraudulent access to a service platform
WO2019228158A1 (zh) 通过文本信息检测危险信息的方法、装置、介质及设备
CN110602030A (zh) 网络入侵阻断方法、服务器及计算机可读介质
CN115396204A (zh) 一种基于序列预测的工控网络流量异常检测方法及装置
CN111464510B (zh) 基于快速梯度提升树分类模型的网络实时入侵检测方法
CN113704772B (zh) 基于用户行为大数据挖掘的安全防护处理方法及系统
JP2023031255A (ja) 異常検出
CN113343228B (zh) 事件可信度分析方法、装置、电子设备及可读存储介质
CN114598514A (zh) 工控威胁检测方法及装置
CN112600828B (zh) 基于数据报文的电力控制系统攻击检测防护方法及装置
CN113196265A (zh) 安全检测分析

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant