CN116743473B - 一种基于并行度量学习的入侵检测方法、电子设备及存储介质 - Google Patents
一种基于并行度量学习的入侵检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116743473B CN116743473B CN202310783622.5A CN202310783622A CN116743473B CN 116743473 B CN116743473 B CN 116743473B CN 202310783622 A CN202310783622 A CN 202310783622A CN 116743473 B CN116743473 B CN 116743473B
- Authority
- CN
- China
- Prior art keywords
- network traffic
- similarity
- module
- intrusion detection
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提出一种基于并行度量学习的入侵检测方法，属于入侵检测技术领域。一种基于并行度量学习的入侵检测方法由嵌入模块、度量模块和分类器组成模型；嵌入模块用于接收五元组数据，度量模块用于获得预测相似度，分类器用于获取预测类别；具体实现过程：S1.训练模型；S2.将网络流量输入模型中，模型输出识别结果，若网络流量为非入侵流量，输出结果为0，否则，输出结果为1。解决现有技术中模型的识别效率低实时性差的技术问题；本发明只需利用嵌入模块对网络流量进行特征提取，再将所提取的特征输入分类器中，即可获得最终的识别结果，无需再和支持集中的样本一一比较，可大幅提升识别效率和识别准确率。
Description
技术领域
本申请涉及入侵检测方法，尤其涉及一种基于并行度量学习的入侵检测方法，属于入侵检测技术领域。
背景技术
入侵检测系统（Intrusion Detection System，简称IDS）是一种安全技术，用于监测和识别计算机网络或系统中的潜在入侵行为。它通过监控和分析网络流量、日志和其他相关数据，识别和响应可能的安全威胁，以保护计算机网络和系统的安全性。入侵检测系统的核心是入侵检测算法，目前主流的入侵检测算法是基于机器学习和深度学习的入侵检测算法，依赖大量带标记的恶意攻击流量样本进行模型的训练，但在真实的入侵检测系统应用场景下，往往很难捕获大量带标记的恶意攻击样本，一方面，恶意攻击在真实网络环境中占比较小，另一方面，对于一些新型恶意攻击（如零日攻击），很难第一时间捕获大量样本，这导致在面对新型恶意攻击时，不能及时有效地更新模型，造成大量的漏报和误报。
有研究人员提出利用孪生网络进行入侵检测，孪生网络是一种经典的度量学习模型，由嵌入模块和度量模块构成。嵌入模块由两个共享参数的卷积神经网络（CNN）组成，作用是将网络流量样本映射到新的特征空间，使得在此特征空间内，同类样本距离较近，而非同类样本距离较远。度量模块的作用是计算两个样本在特征空间内的相似度。在利用孪生网络进行入侵检测时，需要维护一个支持集，支持集中包含若干条正常流量样本和恶意流量样本，对某条待测网络流量进行检测时，需要将待测网络流量和支持集中的网络流量样本进行一一比较，利用孪生网络分别计算待测流量与正常流量和恶意流量的平均距离，通过比较平均距离判断待测流量的类别。支持集的大小直接决定了模型对网络流量的识别效率和识别准确率，若支持集国小，则识别准确率较低，若支持集过大，则会增加识别单条网络流量所需时间，降低模型的识别效率和入侵检测系统的实时性。在实际的入侵检测应用场景中，不仅需要由较高的识别准确率，还需要有较高的识别效率，使得入侵检测系统能在面对高速网络流量时减少漏报，表现出较好的实时性。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中模型的识别效率低实时性差的技术问题，本发明提供一种基于并行度量学习的入侵检测方法。本发明在传统的孪生网络结构中加入分类器，在训练时并行更新嵌入模块、度量模块、分类器的参数，提升模块之间的关联性，同时提升模型的训练效率，在入侵检测时，利用嵌入模块对待测网络流量进行特征提取，将所提取特征输入分类器即可获得最终的识别结果，无需再和支持集中的样本进行一一比较，在保证识别准确率的同时，大幅度提升了识别效率。
方案一、一种基于并行度量学习的入侵检测方法，由嵌入模块、度量模块和分类器组成模型；嵌入模块用于接收五元组数据，度量模块用于获得预测相似度，分类器用于获取预测类别；具体实现过程：
S1.训练模型，包括以下步骤：
S11.从训练数据集中随机抽取两个网络流量样本，组成的五元组数据，其中，/>为第一网络流量样本特征，/>为第二网络流量样本特征，/>为第一网络流量样本标签，/>为第二网络流量样本标签，/>表示第一网络流量样本和第二网络流量样本的相似度，若两个网络流量样本属于同一类，则相似度为1，否则，相似度为0；
S12.将五元组数据中的第一网络流量样本特征和第二网络流量样本特征/>分别输入不同的嵌入模块中，分别获得第一特征feature0和第二特征feature1；
S13.将第一特征feature0和第二特征feature1分别输入不同的分类器中，分别获得第一预测类别Pred-和第二预测类别Pred-/>；
S14.将第一特征feature0和第二特征feature1拼接，输入度量模块，获得预测相似度Pred-Similarity；
S15.基于第一网络流量样本的标签和第一预测类别Pred-/>计算第一损失Loss1，基于第二网络流量样本的标签/>和第二预测类别Pred-/>计算第二损失Loss2，基于第一网络流量样本和第二网络流量样本的相似度Similarity和预测相似度Pred-Similarity计算第三损失Loss3；
S16.基于第一损失Loss1和第二损失Loss2计算平均损失AvgLoss，基于平均损失AvgLoss更新嵌入模块和分类器参数；
S17.基于第三损失Loss3更新嵌入模块和度量模块参数；
S18.重复S11-S17，迭代优化模型；
S2.将网络流量输入模型中，模型输出识别结果，若网络流量为非入侵流量，输出结果为0，否则，输出结果为1。
方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种基于并行度量学习的入侵检测方法的步骤。
方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种基于并行度量学习的入侵检测方法。
本发明的有益效果如下：本发明在传统的孪生网络中加入分类器，使得模型由嵌入模块、度量模块、分类器三部分组成，在模型的训练过程中，构造（）五元组作为模型的输入，对模型进行迭代优化，在利用模型进行入侵检测时，只需利用嵌入模块对网络流量进行特征提取，再将所提取的特征输入分类器中，即可获得最终的识别结果，无需再和支持集中的样本一一比较，可大幅提升识别效率和识别准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一种基于并行度量学习的入侵检测方法流程示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1说明本实施方式，一种基于并行度量学习的入侵检测方法，由嵌入模块、度量模块和分类器组成模型；嵌入模块用于接收五元组数据，度量模块用于获得预测相似度，分类器用于获取预测类别；具体实现过程：
S1.训练模型，包括以下步骤：
S11.从训练数据集中随机抽取两个网络流量样本，组成的五元组数据，其中，/>为第一网络流量样本特征，/>为第二网络流量样本特征，/>为第一网络流量样本标签，/>为第二网络流量样本标签，/>表示第一网络流量样本和第二网络流量样本的相似度，若两个网络流量样本属于同一类，则相似度为1，否则，相似度为0；
S12.将五元组数据中的第一网络流量样本特征和第二网络流量样本特征/>分别输入不同的嵌入模块中，分别获得第一特征feature0和第二特征feature1；
S13.将第一特征feature0和第二特征feature1分别输入不同的分类器中，分别获得第一预测类别Pred-和第二预测类别Pred-/>；
S14.将第一特征feature0和第二特征feature1拼接，输入度量模块，获得预测相似度Pred-Similarity；
S15.基于第一网络流量样本的标签和第一预测类别Pred-/>计算第一损失Loss1，基于第二网络流量样本的标签/>和第二预测类别Pred-/>计算第二损失Loss2，基于第一网络流量样本和第二网络流量样本的相似度Similarity和预测相似度Pred-Similarity计算第三损失Loss3；
S16.基于第一损失Loss1和第二损失Loss2计算平均损失AvgLoss，基于平均损失AvgLoss更新嵌入模块和分类器参数；
S17.基于第三损失Loss3更新嵌入模块和度量模块参数；
S18.重复S11-S17，迭代优化模型；
S2.将网络流量输入模型中，模型输出识别结果，若网络流量为非入侵流量，输出结果为0，否则，输出结果为1。
具体的，将网络流量输入嵌入模块，嵌入模块对待测网络流量进行特征提取，获得特征feature；将feature输入分类器中，输出入侵检测结果Y，若网络流量为非入侵流量，则输出结果Y为0，否则，输出结果Y为1。
实施例2、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的一种基于并行度量学习的入侵检测方法的步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例3、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的一种基于并行度量学习的入侵检测方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (3)
1.一种基于并行度量学习的入侵检测方法，其特征在于，由嵌入模块、度量模块和分类器组成模型；嵌入模块用于接收五元组数据，度量模块用于获得预测相似度，分类器用于获取预测类别；具体实现过程：
S1.训练模型，包括以下步骤：
S11.从训练数据集中随机抽取两个网络流量样本，组成的五元组数据，其中，/>为第一网络流量样本特征，/>为第二网络流量样本特征，/>为第一网络流量样本标签，/>为第二网络流量样本标签，/>表示第一网络流量样本和第二网络流量样本的相似度，若两个网络流量样本属于同一类，则相似度为1，否则，相似度为0；
S12.将五元组数据中的第一网络流量样本特征和第二网络流量样本特征/>分别输入不同的嵌入模块中，分别获得第一特征feature0和第二特征feature1；
S13.将第一特征feature0和第二特征feature1分别输入不同的分类器中，分别获得第一预测类别Pred-和第二预测类别Pred-/>；
S14.将第一特征feature0和第二特征feature1拼接，输入度量模块，获得预测相似度Pred-Similarity；
S15.基于第一网络流量样本的标签和第一预测类别Pred-/>计算第一损失Loss1，基于第二网络流量样本的标签/>和第二预测类别Pred-/>计算第二损失Loss2，基于第一网络流量样本和第二网络流量样本的相似度Similarity和预测相似度Pred-Similarity计算第三损失Loss3；
S16.基于第一损失Loss1和第二损失Loss2计算平均损失AvgLoss，基于平均损失AvgLoss更新嵌入模块和分类器参数；
S17.基于第三损失Loss3更新嵌入模块和度量模块参数；
S18.重复S11-S17，迭代优化模型；
S2.将网络流量输入模型中，模型输出识别结果，若网络流量为非入侵流量，输出结果为0，否则，输出结果为1；具体为：将网络流量输入嵌入模块，嵌入模块对待测网络流量进行特征提取，获得特征feature；将feature输入分类器中，输出入侵检测结果Y，若网络流量为非入侵流量，则输出结果Y为0，否则，输出结果Y为1。
2.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1所述的一种基于并行度量学习的入侵检测方法的步骤。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的一种基于并行度量学习的入侵检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310783622.5A CN116743473B (zh) | 2023-06-29 | 2023-06-29 | 一种基于并行度量学习的入侵检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310783622.5A CN116743473B (zh) | 2023-06-29 | 2023-06-29 | 一种基于并行度量学习的入侵检测方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116743473A CN116743473A (zh) | 2023-09-12 |
| CN116743473B true CN116743473B (zh) | 2024-02-06 |
Family
ID=87909653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310783622.5A Active CN116743473B (zh) | 2023-06-29 | 2023-06-29 | 一种基于并行度量学习的入侵检测方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116743473B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9306962B1 (en) * | 2013-07-25 | 2016-04-05 | Niddel Corp | Systems and methods for classifying malicious network events |
| CN110796196A (zh) * | 2019-10-30 | 2020-02-14 | 中国科学院信息工程研究所 | 一种基于深度判别特征的网络流量分类系统及方法 |
| US11128664B1 (en) * | 2016-12-08 | 2021-09-21 | Trend Micro Incorporated | Intrusion prevention system with machine learning model for real-time inspection of network traffic |
| CN116015703A (zh) * | 2022-09-30 | 2023-04-25 | 深信服科技股份有限公司 | 模型训练方法、攻击检测方法及相关装置 |
| CN116318924A (zh) * | 2023-03-05 | 2023-06-23 | 中国人民武装警察部队工程大学 | 一种小样本入侵检测方法、系统、介质、设备及终端 |
-
2023
- 2023-06-29 CN CN202310783622.5A patent/CN116743473B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9306962B1 (en) * | 2013-07-25 | 2016-04-05 | Niddel Corp | Systems and methods for classifying malicious network events |
| US11128664B1 (en) * | 2016-12-08 | 2021-09-21 | Trend Micro Incorporated | Intrusion prevention system with machine learning model for real-time inspection of network traffic |
| CN110796196A (zh) * | 2019-10-30 | 2020-02-14 | 中国科学院信息工程研究所 | 一种基于深度判别特征的网络流量分类系统及方法 |
| CN116015703A (zh) * | 2022-09-30 | 2023-04-25 | 深信服科技股份有限公司 | 模型训练方法、攻击检测方法及相关装置 |
| CN116318924A (zh) * | 2023-03-05 | 2023-06-23 | 中国人民武装警察部队工程大学 | 一种小样本入侵检测方法、系统、介质、设备及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116743473A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112003870B (zh) | 一种基于深度学习的网络加密流量识别方法及装置 | |
| CN112953924B (zh) | 网络异常流量检测方法、系统、存储介质、终端及应用 | |
| CN113470695B (zh) | 声音异常检测方法、装置、计算机设备及存储介质 | |
| CN108829715A (zh) | 用于检测异常数据的方法、设备和计算机可读存储介质 | |
| CN111917740A (zh) | 一种异常流量告警日志检测方法、装置、设备及介质 | |
| CN109284613B (zh) | 标识检测及仿冒站点检测方法、装置、设备及存储介质 | |
| CN117216660A (zh) | 基于时序网络流量集成异常点和异常集群检测方法及装置 | |
| CN114866344B (zh) | 信息系统数据安全防护方法、系统及云平台 | |
| CN111464510B (zh) | 基于快速梯度提升树分类模型的网络实时入侵检测方法 | |
| CN116915450A (zh) | 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法 | |
| CN113114691B (zh) | 一种网络入侵检测方法、系统、设备和可读存储介质 | |
| CN114598514A (zh) | 工控威胁检测方法及装置 | |
| CN116743473B (zh) | 一种基于并行度量学习的入侵检测方法、电子设备及存储介质 | |
| CN113886821A (zh) | 基于孪生网络的恶意进程识别方法、装置、电子设备及存储介质 | |
| CN115174160B (zh) | 基于流级和主机级的恶意加密流量分类方法及装置 | |
| CN113312619B (zh) | 基于小样本学习的恶意进程检测方法、装置、电子设备及存储介质 | |
| CN115567224A (zh) | 一种用于检测区块链交易异常的方法及相关产品 | |
| CN114925365A (zh) | 一种文件处理方法、装置、电子设备及存储介质 | |
| CN114549884A (zh) | 一种异常图像检测方法、装置、设备及介质 | |
| CN116821907B (zh) | 一种基于Drop-MAML的小样本学习入侵检测方法 | |
| CN116436649B (zh) | 基于云服务器密码机的网络安全系统和方法 | |
| CN112989869A (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
| CN116208506B (zh) | 一种基于时空关联网站指纹的加密流量网站识别方法 | |
| CN111428251B (zh) | 数据处理方法和装置 | |
| CN116863957B (zh) | 工业设备运行状态的识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |