CN115622787A - 异常流量检测方法、装置、电子设备及存储介质 - Google Patents

异常流量检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115622787A
CN115622787A CN202211305165.0A CN202211305165A CN115622787A CN 115622787 A CN115622787 A CN 115622787A CN 202211305165 A CN202211305165 A CN 202211305165A CN 115622787 A CN115622787 A CN 115622787A
Authority
CN
China
Prior art keywords
flow
detected
abnormal
data information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211305165.0A
Other languages
English (en)
Inventor
陈方杰
白景鹏
王海燚
高唯瀚
沈军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202211305165.0A priority Critical patent/CN115622787A/zh
Publication of CN115622787A publication Critical patent/CN115622787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供了一种异常流量检测方法、装置、电子设备及存储介质，涉及网络安全技术领域。该方法包括，获取待检测流量的数据信息；判断待检测流量的数据信息是否满足预设的判断条件，其中，预设的判断条件根据异常流量占比信息确定；若待检测流量的数据信息满足预设的判断条件，将待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。本公开由于将二分类模型和多分类模型结合，综合不同模型的优势，在保证流量检测准确率的同时提升了速度，实现了快速检测异常流量。

Description

异常流量检测方法、装置、电子设备及存储介质
技术领域
本公开涉及网络安全技术领域，尤其涉及一种异常流量检测方法、装置、电子设备及存储介质。
背景技术
流量检测是识别网络攻击的重要方式，传统的流量检测方法是由特征库进行匹配，其优点在于速度快，随着互联网的发展，网络攻击方法层出不穷，网络流量变的更加复杂多变，需要一种有效的方法能够对异常流量进行检测。
现有技术中，以深度学习为主的异常流量检测能够对异常流量进行准确的检测，可应对未知异常流量。但是，以深度学习为主的异常流量检测需要较多的参数，导致运算时间过长，造成更多的时延，不能满足对安全性、实时性有较高要求的场景。因此如何基于深度学习技术，快速准确的识别网络异常流量，是当前亟需解决的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种异常流量检测方法、装置、电子设备及存储介质，至少在一定程度上克服相关技术中无法快速检测异常流量的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种异常流量检测方法，包括：获取待检测流量的数据信息；判断所述待检测流量的数据信息是否满足预设的判断条件，其中，所述预设的判断条件根据异常流量占比信息确定；若所述待检测流量的数据信息满足预设的判断条件，将所述待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将所述异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在本公开的一个实施例中，所述方法还包括：若所述待检测流量的数据信息不满足预设的判断条件，将所述待检测流量的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在本公开的一个实施例中，所述第一识别包括：二分类模型对所述待检测流量的特征信息进行模型计算，输出置信度；当置信度大于预设置信度阈值，则识别为正常流量；当置信度小于预设置信度阈值，则识别为异常流量。
在本公开的一个实施例中，所述第二识别包括：多分类模型对所述待检测流量的特征信息进行模型计算，输出多维度置信度向量，其中，多维度置信度向量中的每个元素均为0到1之间的数值；根据所述元素的排列序号，确定第二识别结果，其中，所述元素的排列序号为流量对应的类别，元素最大序号对应的类别为第二识别结果。
在本公开的一个实施例中，所述方法还包括：根据预设时间段，确定预设时间段内正常流量数量信息和异常流量数量信息；根据预设时间段内正常的流量数量信息和异常的流量数量信息，确定异常流量占比信息。
在本公开的一个实施例中，所述方法还包括：获取待检测流量；根据所述待检测流量，确定所述待检测流量的特征信息；根据所述待检测流量的特征信息，确定所述待检测流量的数据信息，其中，所述数据信息用于表征待检测流量与待检测流量的特征信息，且所述数据信息为机器学习模型可识别的数据形式。
在本公开的一个实施例中，根据第二识别结果做不同的处理包括：第二识别结果为异常流量，将所述异常流量截留并进行处理；第二识别结果为正常流量，将所述正常流量正常转发。
根据本公开的另一个方面，提供一种异常流量检测装置，包括：数据信息获取模块，获取待检测流量的数据信息；数据信息判断模块，用于判断所述待检测流量的数据信息是否满足预设的判断条件，其中，所述预设的判断条件根据异常流量占比信息确定；双模型识别模块，用于将所述待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将所述异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的异常流量检测方法。
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的异常流量检测方法。
根据本公开的另一个方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令存储在计算机可读存储介质中，所述计算机指令被处理器执行时实现上述任一项所述异常流量检测方法的操作指令。
本公开的实施例所提供的一种异常流量检测方法、装置、电子设备及存储介质，获取待检测流量的数据信息；判断待检测流量的数据信息是否满足预设的判断条件，其中，预设的判断条件根据异常流量占比信息确定；若待检测流量的数据信息满足预设的判断条件，将待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。本公开实施例中，由于将二分类模型和多分类模型结合，综合不同模型的优势，在保证流量检测准确率的同时提升了速度，实现了快速检测异常流量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种异常流量检测方法的示例性系统架构示意图；
图2示出本公开实施例中一种异常流量检测方法的示例性系统工作原理图；
图3示出本公开实施例中一种异常流量检测方法流程图；
图4示出本公开实施例中一种异常流量检测方法流程图；
图5示出本公开实施例中一种异常流量检测方法流程图；
图6示出本公开实施例中一种异常流量检测方法流程图；
图7示出本公开实施例中一种异常流量检测方法流程图；
图8示出本公开实施例中一种异常流量检测方法一具体实例的流程图；
图9示出本公开实施例中一种异常流量检测方法的流量示意图；
图10示出本公开实施例中一种异常流量检测装置示意图；
图11示出本公开实施例中一种电子设备的结构框图；
图12示出本公开实施例中一种计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用于本公开实施例的异常流量检测方法或异常流量检测装置的示例性系统架构示意图。
如图1所示，系统架构100可以包括终端设备101、102、103、104，二级中继设备105，一级中继设备106，网关服务器107，近域管理服务器108，网络109和互联网110。
其中，网络109用以在终端设备101、102、103、104，二级中继设备105，一级中继设备106，网关服务器107，近域管理服务器108之间提供通信链路的介质，可以是有线网络，也可以是无线网络。
可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
终端设备101、102、103、104可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、增强现实设备、虚拟现实设备等。
可选地，不同的终端设备101、102、103、104中安装的应用程序的客户端是相同的，或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端等。
在近域网络(P-RAN)中，由中继设备向其他设备提供网络上网，在此场景下，可由一级中继设备部署流量特征处理模块和小型模型(二分类模型)，网关服务器部署大型模型(多类模型)，近域管理服务器中部署检测控制模块。
在多模型识别模式下，一级中继设备将流量识别为正常和异常流量并标记，都发送给网关服务器，网关服务器使用大型模型仅对标记为异常的流量进行详细识别，将识别为正常和标记为正常的流量转发到互联网，对识别为异常的流量进行后续安全处理。
在单模型识别模式下，仅使用一级中继设备中的流量特征处理模块，处理之后将流量和特征全部发送给网关服务器，网关服务器使用大型模型对所有流量进行详细识别。
近域管理服务器会定时接收识别结果，其中的检测控制模块根据当前异常流量占比进行识别模式的切换。
本领域技术人员可以知晓，图1中的终端设备，二级中继设备，一级中继设备，网关服务器，近域管理服务器和网络的数量仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备，二级中继设备，一级中继设备，网关服务器，近域管理服务器和网络。本公开实施例对此不作限定。
图2示出了可以应用于本公开实施例的异常流量检测方法或异常流量检测装置的示例性系统工作原理图。
如图2所示，系统工作原理图中200可以包括特征提取处理模块201，数据预处理模块202，检测控制模块网络203，小型模型204和大型模型205。
数据特征提取处理模块用于流量特征提取和处理，流量进入设备后，模型无法直接识别流量，需先将流量的特征提取出来，并转化为模型可识别的形式，由数据特征提取处理模块进行。数据特征提取处理模块将流量的型号、端口号、协议号等内容提取出来，发送到数据预处理模块。
数据预处理模块用于将特征转化为模型可识别的形式，为0到1之间的数值，之后将流量特征(相当于上述0到1之间的数值)发送给控制模块。
流量识别模式为多模型识别和单模型识别两种，小型模型和大型模型将预设时间段内识别为正常、异常流量的数量发送给检测控制模块，进行判断是否满足检测控制模块中的设定条件，若满足设定条件则采用多模型识别，先由小型模型识别，将正常流量正常转发，剩余流量再由大型模型多分类识别，若不满足设定条件则采用单模型识别，所有流量全由大型模型识别分类，设定条件可根据大型模型、小型模型的正常流量召回率、异常流量召回率、流量识别时间等参数进行推导。
小型模型仅用于区分正常流量和异常流量，为二分类模型，负责正常转发大部分正常流量，能够减少大型模型识别的流量数量。小型模型收到流量特征数据后，对特征进行模型计算，输出置信度，置信度为0到1之间的数值，置信度若大于设置的置信度阈值，则判断为正常流量，若置信度小于置信度阈值，则判断为异常流量。小型模型对正常流量进行正常转发，将剩余流量、特征发送给大型模型。小模型具有速度快、二分类准确率高的特点。
大型模型负责流量进行详细的识别分类，需识别出正常流量和各种异常流量的类型，为多分类模型。大型模型的输入为预处理后的流量特征，输出为多维度置信度向量，置信度向量中的每个元素均为0到1之间的数值，元素排列的序号为流量对应的类别，向量中最大元素序号对应的类别则为识别结果，大型模型将识别为正常的流量进行正常转发，异常流量则截留进行后续处理。大模型具有多分类准确率高的特点。
本公开实施例中提供了一种异常流量检测方法，该方法可以由任意具备计算处理能力的电子设备执行。
图3示出本公开实施例中一种异常流量检测方法流程图，如图3所示，本公开实施例中提供的异常流量检测方法包括如下步骤：
S302，获取待检测流量的数据信息。
需要说明的是，上述数据信息可以是用于表征待检测流量与待检测流量的特征信息，且上述数据信息的存储格式为机器学习模型可识别的数据形式。
例如，将流量的型号、端口号、协议号等特征信息提取出来，将上述特征信息转化为模型可识别的形式，例如，将上述特征信息转化为0到1之间的数值。
S304，判断待检测流量的数据信息是否满足预设的判断条件，其中，预设的判断条件根据异常流量占比信息确定。
需要说明的是，上述异常流量占比信息可以是异常流量占总流量的比例。例如，预设的判断条件可根据二分类模型(相当于上述小型模型)、多分类模型(相当于上述大型模型)的正常流量召回率、异常流量召回率、流量识别时间等参数进行推导。
S306，若待检测流量的数据信息满足预设的判断条件，将待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
需要说明的是，上述正常转发可以是将流量按照流量本身的转发规则发送到相应的端口。上述二分类模型可以是经过预先训练的机器学习模型，能够对输入的流量进行识别，识别为正常流量或异常流量。上述多分类模型可以是经过预先训练的机器学习模型，能够对输入的流量进行识别，识别为正常流量或异常流量。负责流量进行详细的识别分类，需识别出正常流量和各种异常流量的类型。
在具体实施时，将二分类模型和多分类模型结合，综合不同模型的优势，在保证流量检测准确率的同时提升了速度，实现了异常流量的快速检测。
在本公开的一个实施例中，如图4所示，本公开实施例中提供的异常流量检测方法可以通过如下步骤来确定异常流量，无需二分类模型检测流量，能够提高检测速度：
S402，若待检测流量的数据信息不满足预设的判断条件，将待检测流量的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在本公开的一个实施例中，第一识别包括：二分类模型对待检测流量的特征信息进行模型计算，输出置信度；当置信度大于预设置信度阈值，则识别为正常流量；当置信度小于预设置信度阈值，则识别为异常流量。
在本公开的一个实施例中，第二识别包括：多分类模型对待检测流量的特征信息进行模型计算，输出多维度置信度向量，其中，多维度置信度向量中的每个元素均为0到1之间的数值；根据元素的排列序号，确定第二识别结果，其中，元素的排列序号为流量对应的类别，元素最大序号对应的类别为第二识别结果。
在本公开的一个实施例中，如图5所示，本公开实施例中提供的异常流量检测方法可以通过如下步骤来确定异常流量占比信息，能够动态更新预设的判断条件：
S502，根据预设时间段，确定预设时间段内正常流量数量信息和异常流量数量信息；
S504，根据预设时间段内正常的流量数量信息和异常的流量数量信息，确定异常流量占比信息。
在本公开的一个实施例中，如图6所示，本公开实施例中提供的异常流量检测方法可以通过如下步骤来确定待检测流量的数据信息，能够将流量转化为模型可识别的数据格式：
S602，获取待检测流量；
S604，根据待检测流量，确定待检测流量的特征信息；
S606，根据待检测流量的特征信息，确定待检测流量的数据信息，其中，数据信息用于表征待检测流量与待检测流量的特征信息，且数据信息为机器学习模型可识别的数据形式。
在本公开的一个实施例中，如图7所示，本公开实施例中提供的异常流量检测方法可以通过如下步骤来对第二识别结果做不同的处理，能够快速识别异常流量并进行处理：
S702，第二识别结果为异常流量，将异常流量截留并进行处理；
S704，第二识别结果为正常流量，将正常流量正常转发。
图8示出本公开实施例中一种异常流量检测方法一具体实例的流程图，如图8所示，本公开实施例中提供的异常流量检测方法包括如下步骤：
S801，流量由特征提取预处理模块进行特征提取和预处理，将流量特征转化为模型可识别的形式。
S802，初始化异常流量占比，k＝0。
S803，时间差Δt为单模型识别总时间减去多模型识别总时间，在Δt>0时使用多模型识别模式(进入S804)，否则使用单模型识别模式(进入S805)，因此可基于Δt>0推导出以异常流量占比k为变量的判断条件。
S804，小型模型将识别为正常的流量(置信度c≥阈值)进行正常转发，剩余流量发送给大型模型。
S805，大型模型将识别为正常的流量(Max{C}对应序号＝正常流量序号)进行正常转发，识别为异常的流量进行后续处理。
S806，预设置一个时间段，隔一定周期统计时间段内的识别为正常的流量数N1和识别为异常的流量数N2，根据N1和N2计算出当前异常流量占比k，
Figure BDA0003905573210000101
S807，将新的k值作为后续识别模式的判断基础，判断是否需切换识别模式。
上述S803步骤中，可基于Δt>0推导出以异常流量占比k为变量的判断条件中，流量示意图如图9所示(其中，已知小型模型的对正常流量的召回率ra，对异常流量的召回率rb，识别单个流量的时间t；大型模型识别单个流量的时间T)，推导出以异常流量占比k为变量的判断条件包括如下步骤：获取N条流量(相当于上述待检测流量的数据信息)，对于N条流量，其中异常流量的占比为k，k∈[0，1]，因此真实流量数量为N(1-k)，真实异常流量数量为Nk。在单模型识别模式下，仅用大型模型进行识别，所需要的时间为NT。在多模型识别模式下，所有流量均会被小型模型识别，其时间为Nt。真实正常流量的数量为N(1-k)，其中被识别为异常流量的数量为N(1-k)(1-ra)，真实异常流量中被识别为异常流量的数量为Nkrb，因此最后需要大型模型识别剩余流量总数为Nkrb+N(1-k)(1-ra)]，所需的时间为[krb+(1-k)(1-ra)]NT，从而得到多模型识别的总时间为：Nt+[krb+(1-k)(1-ra)]NT。将单模型识别总时间减去多模型识别时间，得到时间差Δt，Δt简化后得到下式，若Δt＞0，则多模型识别模式更快，若Δt＜0，则单模型识别模式更快。Δt＝N[k(1-ra-rb)+ra]T-Nt。基于Δt>0，以异常流量占比k为变量得到判断条件(相当于上述预设的判断条件)为：
当ra+rb<1时，
Figure BDA0003905573210000102
当ra+rb>1时，
Figure BDA0003905573210000103
当ra+rb＝1时，
Figure BDA0003905573210000104
本公开针对目前基于深度学习技术的流量检测耗时多的问题，提出一种基于多模型的异常流量检测方法，主要包括检测控制模块、二分类小模型和多分类大模型，检测控制模块基于异常流量占比实时选择不同识别方法。流量经特征提取、预处理之后，在特定条件下使用二分类小模型和多分类大模型共同检测，在其他条件下仅使用多分类大模型检测。该方法综合不同模型的优势，根据流量中的异常流量占比实时选择最快的流量检测方式，在保证流量检测准确率的同时提升了速度。
基于同一发明构思，本公开实施例中还提供了一种异常流量检测装置，如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图10示出本公开实施例中一种异常流量检测装置示意图，如图10所示，该装置包括：数据信息获取模块1001，数据信息判断模块1002，双模型识别模块1003，单模型识别模块1004，异常流量占比信息确定模块1005和待检测流量预处理模块1006。
其中，数据信息获取模块1001，获取待检测流量的数据信息；
数据信息判断模块1002，用于判断待检测流量的数据信息是否满足预设的判断条件，其中，预设的判断条件根据异常流量占比信息确定；
双模型识别模块1003，用于待检测流量的数据信息满足预设的判断条件时，将待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在本公开的一个实施例中，上述异常流量检测装置还包括单模型识别模块1004：用于待检测流量的数据信息不满足预设的判断条件时，将待检测流量的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在本公开的一个实施例中，上述双模型识别模块1003中的第一识别包括：二分类模型对待检测流量的特征信息进行模型计算，输出置信度；当置信度大于预设置信度阈值，则识别为正常流量；当置信度小于预设置信度阈值，则识别为异常流量。
在本公开的一个实施例中，上述双模型识别模块1003中的第二识别包括：多分类模型对待检测流量的特征信息进行模型计算，输出多维度置信度向量，其中，多维度置信度向量中的每个元素均为0到1之间的数值；根据元素的排列序号，确定第二识别结果，其中，元素的排列序号为流量对应的类别，元素最大序号对应的类别为第二识别结果。
在本公开的一个实施例中，上述异常流量检测装置还包括异常流量占比信息确定模块1005：用于根据预设时间段，确定预设时间段内正常流量数量信息和异常流量数量信息；根据预设时间段内正常的流量数量信息和异常的流量数量信息，确定异常流量占比信息。
在本公开的一个实施例中，上述异常流量检测装置还包括待检测流量预处理模块1006：获取待检测流量；根据待检测流量，确定待检测流量的特征信息；根据待检测流量的特征信息，确定待检测流量的数据信息，其中，数据信息用于表征待检测流量与待检测流量的特征信息，且数据信息为机器学习模型可识别的数据形式。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图11来描述根据本公开的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
例如，所述处理单元1110可以执行上述方法实施例的如下步骤：获取待检测流量的数据信息；判断待检测流量的数据信息是否满足预设的判断条件，其中，预设的判断条件根据异常流量占比信息确定；若待检测流量的数据信息满足预设的判断条件，将待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
例如，所述处理单元1110还可以执行上述方法实施例的如下步骤：若所述待检测流量的数据信息不满足预设的判断条件，将待检测流量的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在一个实例中，所述处理单元1110执行上述方法实施例的步骤中第一识别包括：二分类模型对待检测流量的特征信息进行模型计算，输出置信度；当置信度大于预设置信度阈值，则识别为正常流量；当置信度小于预设置信度阈值，则识别为异常流量。
在一个实例中，所述处理单元1110执行上述方法实施例的步骤中第二识别包括：多分类模型对待检测流量的特征信息进行模型计算，输出多维度置信度向量，其中，多维度置信度向量中的每个元素均为0到1之间的数值；根据元素的排列序号，确定第二识别结果，其中，元素的排列序号为流量对应的类别，元素最大序号对应的类别为第二识别结果。
例如，所述处理单元1110还可以执行上述方法实施例的如下步骤：根据预设时间段，确定预设时间段内正常流量数量信息和异常流量数量信息；根据预设时间段内正常的流量数量信息和异常的流量数量信息，确定异常流量占比信息。
例如，所述处理单元1110还可以执行上述方法实施例的如下步骤：获取待检测流量；根据待检测流量，确定待检测流量的特征信息；根据待检测流量的特征信息，确定待检测流量的数据信息，其中，数据信息用于表征待检测流量与待检测流量的特征信息，且数据信息为机器学习模型可识别的数据形式。
例如，所述处理单元1110还可以执行上述方法实施例的如下步骤：第二识别结果为异常流量，将异常流量截留并进行处理；第二识别结果为正常流量，将正常流量正常转发。
存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(ROM)11203。
存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备1140(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。图12示出本公开实施例中一种计算机可读存储介质的示意图，如图12所示，该计算机可读存储介质1200上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
例如，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：获取待检测流量的数据信息；判断待检测流量的数据信息是否满足预设的判断条件，其中，预设的判断条件根据异常流量占比信息确定；若待检测流量的数据信息满足预设的判断条件，将待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在一些实施例中，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：待检测流量的数据信息不满足预设的判断条件，将待检测流量的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
在一个实例中，本公开实施例中的程序产品被处理器执行时第一识别包括：二分类模型对待检测流量的特征信息进行模型计算，输出置信度；当置信度大于预设置信度阈值，则识别为正常流量；当置信度小于预设置信度阈值，则识别为异常流量。
在一个实例中，本公开实施例中的程序产品被处理器执行时第二识别包括：多分类模型对待检测流量的特征信息进行模型计算，输出多维度置信度向量，其中，多维度置信度向量中的每个元素均为0到1之间的数值；根据元素的排列序号，确定第二识别结果，其中，元素的排列序号为流量对应的类别，元素最大序号对应的类别为第二识别结果。
在一些实施例中，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：根据预设时间段，确定预设时间段内正常流量数量信息和异常流量数量信息；根据预设时间段内正常的流量数量信息和异常的流量数量信息，确定异常流量占比信息。
在一些实施例中，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：获取待检测流量；根据待检测流量，确定待检测流量的特征信息；根据待检测流量的特征信息，确定待检测流量的数据信息，其中，数据信息用于表征待检测流量与待检测流量的特征信息，且数据信息为机器学习模型可识别的数据形式。
在一些实施例中，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：第二识别结果为异常流量，将异常流量截留并进行处理；第二识别结果为正常流量，将正常流量正常转发。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种异常流量检测方法，其特征在于，包括：
获取待检测流量的数据信息；
判断所述待检测流量的数据信息是否满足预设的判断条件，其中，所述预设的判断条件根据异常流量占比信息确定；
若所述待检测流量的数据信息满足预设的判断条件，将所述待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将所述异常流量的数据信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
2.根据权利要求1所述的异常流量检测方法，其特征在于，所述方法还包括：
若所述待检测流量的数据信息不满足预设的判断条件，将所述待检测流量的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
3.根据权利要求1所述的异常流量检测方法，其特征在于，所述第一识别包括：
二分类模型对所述待检测流量的特征信息进行模型计算，输出置信度；
当置信度大于预设置信度阈值，则识别为正常流量；
当置信度小于预设置信度阈值，则识别为异常流量。
4.根据权利要求1所述的异常流量检测方法，其特征在于，所述第二识别包括：
多分类模型对所述待检测流量的特征信息进行模型计算，输出多维度置信度向量，其中，多维度置信度向量中的每个元素均为0到1之间的数值；
根据所述元素的排列序号，确定第二识别结果，其中，所述元素的排列序号为流量对应的类别，元素最大序号对应的类别为第二识别结果。
5.根据权利要求1所述的异常流量检测方法，其特征在于，所述方法还包括：
根据预设时间段，确定预设时间段内正常流量数量信息和异常流量数量信息；
根据预设时间段内正常的流量数量信息和异常的流量数量信息，确定异常流量占比信息。
6.根据权利要求1所述的异常流量检测方法，其特征在于，所述方法还包括：
获取待检测流量；
根据所述待检测流量，确定所述待检测流量的特征信息；
根据所述待检测流量的特征信息，确定所述待检测流量的数据信息，其中，所述数据信息用于表征待检测流量与待检测流量的特征信息，且所述数据信息为机器学习模型可识别的数据形式。
7.根据权利要求1所述的异常流量检测方法，其特征在于，根据第二识别结果做不同的处理包括：
第二识别结果为异常流量，将所述异常流量截留并进行处理；
第二识别结果为正常流量，将所述正常流量正常转发。
8.一种异常流量检测装置，其特征在于，包括：
数据信息获取模块，获取待检测流量的数据信息；
数据信息判断模块，用于判断所述待检测流量的数据信息是否满足预设的判断条件，其中，所述预设的判断条件根据异常流量占比信息确定；
双模型识别模块，用于将所述待检测流量的数据信息发送到二分类模型进行第一识别，第一识别为正常流量则正常转发、第一识别为异常流量则将所述异常流量与异常流量对应的特征信息发送到多分类模型进行第二识别，并根据第二识别结果做不同的处理。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述异常流量检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的异常流量检测方法。
CN202211305165.0A 2022-10-24 2022-10-24 异常流量检测方法、装置、电子设备及存储介质 Pending CN115622787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211305165.0A CN115622787A (zh) 2022-10-24 2022-10-24 异常流量检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211305165.0A CN115622787A (zh) 2022-10-24 2022-10-24 异常流量检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115622787A true CN115622787A (zh) 2023-01-17

Family

ID=84864835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211305165.0A Pending CN115622787A (zh) 2022-10-24 2022-10-24 异常流量检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115622787A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915506A (zh) * 2023-09-12 2023-10-20 北京安天网络安全技术有限公司 一种异常流量检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180095004A1 (en) * 2016-10-03 2018-04-05 International Business Machines Corporation Diagnostic fault detection using multivariate statistical pattern library
CN110210286A (zh) * 2019-04-17 2019-09-06 平安科技（深圳）有限公司 基于眼底图像的异常识别方法、装置、设备及存储介质
CN111416790A (zh) * 2019-01-04 2020-07-14 北京数安鑫云信息技术有限公司 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备
CN114553545A (zh) * 2022-02-24 2022-05-27 中国人民解放军海军航空大学航空基础学院 一种入侵流量检测识别方法及系统
CN115061838A (zh) * 2022-03-28 2022-09-16 京东科技信息技术有限公司 一种故障检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180095004A1 (en) * 2016-10-03 2018-04-05 International Business Machines Corporation Diagnostic fault detection using multivariate statistical pattern library
CN111416790A (zh) * 2019-01-04 2020-07-14 北京数安鑫云信息技术有限公司 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备
CN110210286A (zh) * 2019-04-17 2019-09-06 平安科技（深圳）有限公司 基于眼底图像的异常识别方法、装置、设备及存储介质
CN114553545A (zh) * 2022-02-24 2022-05-27 中国人民解放军海军航空大学航空基础学院 一种入侵流量检测识别方法及系统
CN115061838A (zh) * 2022-03-28 2022-09-16 京东科技信息技术有限公司 一种故障检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李海斌等: "一种无监督的数据库用户行为异常检测方法", 小型微型计算机系统, vol. 39, no. 11, pages 2464 - 2471 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915506A (zh) * 2023-09-12 2023-10-20 北京安天网络安全技术有限公司 一种异常流量检测方法、装置、电子设备及存储介质
CN116915506B (zh) * 2023-09-12 2023-12-01 北京安天网络安全技术有限公司 一种异常流量检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114218403A (zh) 基于知识图谱的故障根因定位方法、装置、设备及介质
CN111526136A (zh) 基于云waf的恶意攻击检测方法、系统、设备和介质
CN113591864B (zh) 文本识别模型框架的训练方法、装置及系统
CN115221516B (zh) 恶意应用程序识别方法及装置、存储介质、电子设备
CN115622787A (zh) 异常流量检测方法、装置、电子设备及存储介质
CN114553591A (zh) 随机森林模型的训练方法、异常流量检测方法及装置
CN115412370A (zh) 车辆通信数据检测方法、装置、电子设备和可读介质
CN116723058B (zh) 网络攻击检测和防护方法和装置
CN113420295A (zh) 恶意软件的检测方法及装置
KR20210059991A (ko) IoT 악성행위 분석 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN113688385B (zh) 轻量级分布式入侵检测方法
WO2021103589A1 (zh) 信令分析方法和相关装置
CN113905405A (zh) 一种电力无线接入专网异常流量检测方法
CN115730104A (zh) 直播间处理方法、装置、设备及介质
CN114708557B (zh) 一种基于空地通信的电力施工监控方法及系统
CN114710354B (zh) 异常事件检测方法及装置、存储介质及电子设备
CN116996271A (zh) 风险流量检测方法及装置、存储介质及电子设备
CN116881915B (zh) 文件检测方法、电子设备和存储介质
CN116910756B (zh) 一种恶意pe文件的检测方法
CN114765634B (zh) 网络协议识别方法、装置、电子设备及可读存储介质
CN112565271B (zh) Web攻击检测方法和装置
CN117240483A (zh) 流量检测方法、装置、设备及存储介质
CN114330332A (zh) 表单数据的处理方法、装置、电子设备及存储介质
CN116436622A (zh) 一种加密流量识别方法、装置及电子设备
CN117424837A (zh) 网络流量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination