CN114826690B - 一种基于边缘云环境的入侵检测方法和装置 - Google Patents
一种基于边缘云环境的入侵检测方法和装置 Download PDFInfo
- Publication number
- CN114826690B CN114826690B CN202210342216.0A CN202210342216A CN114826690B CN 114826690 B CN114826690 B CN 114826690B CN 202210342216 A CN202210342216 A CN 202210342216A CN 114826690 B CN114826690 B CN 114826690B
- Authority
- CN
- China
- Prior art keywords
- classifiers
- intrusion detection
- parameter
- flow sequence
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000012216 screening Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000007596 consolidation process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘云环境的入侵检测方法和装置，该方法包括：获取实时的流量序列；基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；对m个所述基分类器进行集成学习，得到入侵检测模型；通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果。采用本发明实施例能够提高入侵检测模型的检测精度，以提高边缘云环境下入侵检测结果的准确性。
Description
技术领域
本发明涉及网络安全技术领域，尤其涉及一种基于边缘云环境的入侵检测方法和装置。
背景技术
入侵检测方式主要包括主机入侵检测和网络入侵检测，主机入侵检测是通过主机的软件行为和主机的日志进行判断，而网络入侵检测则是通过数据流的特征、与主机连接次数来识别外部攻击，这两种入侵检测方式都要求入侵检测模型必须具备较高的检测精度，以满足海量网络数据流的入侵检测场景。但是，现有的基于边缘云环境的入侵检测模型，大多以简单的集成方式对边缘节点的分类器进行集成，而地域相同的分类器通常具有相似性，导致冗余的分类器夸大了某部分特征的作用，造成入侵检测模型的检测精度不高，边缘云环境下入侵检测结果的准确性较低。
发明内容
本发明实施例提供一种基于边缘云环境的入侵检测方法和装置，能够提高入侵检测模型的检测精度，以提高边缘云环境下入侵检测结果的准确性。
本发明实施例提供了一种基于边缘云环境的入侵检测方法，包括：
获取实时的流量序列；
基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；
基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；
对m个所述基分类器进行集成学习，得到入侵检测模型；
通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果。
作为上述方案的改进，所述预先训练好的分类器更新后的参数和更新前的参数满足以下条件：
其中，xk为历史流量序列，gi(xk)为历史流量序列在更新前的参数下各个样本在训练过程中的梯度变化方向，xl'为实时的流量序列，gi(xl')为实时的流量序列在更新后的参数下各个样本在训练过程中的梯度变化方向，M为实时流量序列的样本总数，N为历史流量序列的样本总数，Δθi为第i个参数的参数变化大小，Δθj为第j个参数的参数变化大小，bi为第i个参数的权重，bj为第j个参数的权重。
作为上述方案的改进，所述基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器，包括：
通过密度聚类算法对n个所述更新后的分类器进行聚类，得到密度聚类簇；
计算所述密度聚类簇中每一分类器在预设半径内邻近的分类器数量；
根据所述密度聚类簇中每一分类器邻近的分类器数量，从所述密度聚类簇中筛选出邻近的分类器数量靠前的预设比例的分类器；
从筛选出来的所述分类器中随机选取m个分类器作为基分类器。
作为上述方案的改进，所述预设比例为10％。
作为上述方案的改进，所述对m个所述基分类器进行集成学习，得到入侵检测模型，具体为：
将m个所述基分类器的输出数据作为预先构建的元学习器的输入数据，对所述元学习器进行训练，得到入侵检测模型。
相应地，本发明另实施例提供一种基于边缘云环境的入侵检测装置，包括：
数据获取模块，用于获取实时的流量序列；
增量学习模块，用于基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；
模型筛选模块，用于基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；
集成学习模块，用于对m个所述基分类器进行集成学习，得到入侵检测模型；
入侵检测模块，用于通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果。
作为上述方案的改进，在所述增量学习模块中，所述预先训练好的分类器更新后的参数和更新前的参数满足以下条件：
其中，xk为历史流量序列，gi(xk)为历史流量序列在更新前的参数下各个样本在训练过程中的梯度变化方向，xl'为实时的流量序列，gi(xl')为实时的流量序列在更新后的参数下各个样本在训练过程中的梯度变化方向，M为实时流量序列的样本总数，N为历史流量序列的样本总数，Δθi为第i个参数的参数变化大小，Δθj为第j个参数的参数变化大小，bi为第i个参数的权重，bj为第j个参数的权重。
作为上述方案的改进，所述模型筛选模块，具体用于：
通过密度聚类算法对n个所述更新后的分类器进行聚类，得到密度聚类簇；
计算所述密度聚类簇中每一分类器在预设半径内邻近的分类器数量；
根据所述密度聚类簇中每一分类器邻近的分类器数量，从所述密度聚类簇中筛选出邻近的分类器数量靠前的预设比例的分类器；
从筛选出来的所述分类器中随机选取m个分类器作为基分类器。
作为上述方案的改进，所述集成学习模块，具体用于：
将m个所述基分类器的输出数据作为预先构建的元学习器的输入数据，对所述元学习器进行训练，得到入侵检测模型。
与现有技术相比，本发明实施例公开的基于边缘云环境的入侵检测方法和装置，一方面，通过增量学习方法和实时的流量序列更新每个边缘节点的分类器的参数，从而使每个边缘节点的分类器能够不断学习新的流量序列的知识，以应对新数据的变化，从而提高分类器进行入侵检测的检测精度；另一方面，通过密度聚类算法将无效和冗余的分类器去除，得到用于集成学习的基分类器，从而保证通过集成学习得到的入侵检测模型的准确性，以提高边缘云环境下入侵检测结果的准确性。
附图说明
图1是本发明实施例提供的一种基于边缘云环境的入侵检测方法的流程示意图；
图2是本发明实施例提供的一种基于增量学习更新分类器参数的流程示意图；
图3是本发明实施例提供的一种对流量序列进行深度学习的流程示意图；
图4是本发明实施例提供的一种基于分类器参数进行密度聚类算法的示意图；
图5是本发明实施例提供的一种基于元学习器进行集成学习的示意图；
图6是本发明实施例提供的一种基于边缘云环境的入侵检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种基于边缘云环境的入侵检测方法的流程示意图。
本发明实施例提供的基于边缘云环境的入侵检测方法，包括步骤：
S11、获取实时的流量序列；
S12、基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；
S13、基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；
S14、对m个所述基分类器进行集成学习，得到入侵检测模型；
S15、通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果。
参见图2，具体地，在步骤S12中，所述预先训练好的分类器是基于深度学习方法和历史流量序列对预先构建的分类器进行训练得到的。
可以理解，每个边缘节点采用深度学习的方法对历史流量序列进行学习，这个学习的过程对时间的要求不高，可采用离线的方式学习得到用于入侵检测的分类器。
优选地，所述预先构建的分类器的训练过程，包括：
通过卷积层对所述历史流量序列进行深度学习，提取所述历史流量序列的特征，得到多个浅层特征图和多个深层特征图；
对多个所述浅层特征图和多个所述深层特征图进行特征融合，得到融合的特征图；
通过所述融合的特征图对预先构建的分类器进行入侵检测训练。
需要说明的是，深度学习即对流量序列进行深浅层特征学习，采用多个不同尺寸的卷积核对图像或者数据进行卷积，得到多维的数据特征值。参见图3，每个时刻的流量序列的字段经过CNN卷积层进行深度学习之后，会形成融合的特征图，基于融合的特征图，在入侵检测中采用一个分类器就能实现入侵检测。
优选地，所述预先构建的分类器包括以下中的任意一种：支持向量机、决策树、神经网络。
可以理解，每个所述边缘节点的分类器可以看作是边缘节点的入侵检测模型，用于对流量序列进行入侵检测。此外，需要说明的是，所述预先构建的分类器不仅限于上述提到的支持向量机、决策树和神经网络，还可以采用朴素贝叶斯分类器和逻辑回归等。
具体地，通过可塑权重巩固方法(Elastic Weight Consolidation)和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器。
可以理解，所述可塑权重巩固方法为增量学习方法中的其中一种。
值得说明的是，以迁移学习为例，现有的参数更新方法往往容易遗忘学过的知识，通过对新数据学习之后，就对旧知识产生遗忘，进而造成旧数据的识别能力很低，这显然不满足当前入侵检测的应用需求。因此，本发明力求参数更新后分类器能够尽量利用旧的参数的同时，尽量减少机器的“遗忘”问题，既能够保留旧的知识，又能够让分类器学到新的知识，分类器在旧数据和新数据中都有不错的性能，从而保证入侵检测的稳定性和可靠性。
需要说明的是，通过深度学习获取的分类器参数，由于新流量序列的数据分布有可能和历史流量序列有一点的差异，因此，基于历史流量序列学习到的分类器参数有些是重要的，有些参数是需要改变的。本发明的目的是尽量保持基于历史流量序列学习到的分类器中的重要参数，让参数更新后的分类器在学习旧任务的时候保持较高的精度，避免分类器学习到新的流量序列特征后，就对旧知识产生遗忘。此外，还需要对一些参数进行更新，使分类器能够学习到新的流量序列的知识，保证在新任务中的精度。
具体地，分类器的损失函数具体为：
其中，L'(θ)表示优化后的总损失，L(θ)表示优化后新任务的损失，表示参数差异的损失，λ表示用于训练历史流量序列的重要程度，θi为分类器更新后的第i个参数，/>为分类器更新前的第i个参数，bi为第i个参数的权重。
需要说明，所述损失函数为更新后的分类器的损失函数，也是预先训练好的分类器的损失函数，更新后的分类器和预先训练好的分类器的损失函数一致。
具体地，λ的取值为0-1。λ可以通过人工设定，在此不做具体限定。
可以理解，通过可塑权重巩固方法实现分类器参数的更新，并采用损失函数最小化目标来保证函数的精度，以尽量避免分类器学习新的流量序列时对历史流量序列学习到的知识的遗忘。需要说明，优化后即参数更新后，新任务表示对新的流量序列的检测。分类器的损失函数可以理解为：一个优化后的损失不仅要考虑这种新的参数在新任务检测上的损失，还要考虑由于参数改变所造成的差异性损失。bi用于衡量分类器中哪些参数是重要的，哪些参数不是那么重要的。如果一个参数很重要，那么这个参数的权重bi的值相对较大，将历史流量序列学习到的参数变化一点点得到新的流量序列的参数θi的变动范围很小，因为一点点的变化很可能导致更新后的分类器在旧的数据上的检测精度下降的很快。相反，如果bi的值很小，那么将历史流量序列学习到的/>参数变化较大得到新知识的参数θi的变动范围很大，因为即使参数变化很大，由于权重很小，那么更新后的分类器在旧的数据上的检测精度也不会下降很多。具体地，为了计算第i个参数的权重bi，本发明采用梯度更新大小的方式进行衡量，得到如下公式：
其中，表示分类器更新前的第i个参数/>进行很小改变后入侵检测函数的数据值，xk为历史流量序列，/>为更新前的第i个参数/>的变化值，/>表示没有进行参数更新前的入侵检测函数的数据值，/>表示梯度；其中，梯度/>可采用偏导的方式进行表示：/>用于衡量历史流量序列xk的梯度。
值得说明的是，为了衡量参数的重要性，需要对历史流量序列中的每一个数据点(1,2,…,N)进行梯度衡量。
具体地，根据以下公式计算第i个参数的权重bi：
其中，N为历史流量序列的样本总数，gi(xk)为历史流量序列在更新前的参数下各个样本在训练过程中的梯度变化方向。
在计算出第i个参数的权重bi的基础上，本发明下一步利用实时的流量序列的样本训练并开始调整第i个参数θi的大小，受到上述提到的梯度的启发，在确定权重bi影响力的基础上，如何快速调整参数θi，使得这个参数θi不仅能够满足历史流量序列中样本的精度，还能够满足新的流量序列中样本的精度。因此，在获得损失函数和权重bi的基础上，对梯度进行约束来保证调整后参数所得到的分类器的学习性能。
对于任意一个θi，在确定其权重bi的影响下，选取实时的流量序列xl'训练后，那么其在实时的流量序列的每一个新数据(1,2,…,l,…,M)的梯度变化为：
其中，xl'为实时的流量序列，F(x′l；θ)表示实时的流量序列和参数θ下入侵检测函数的数据值。
值得说明的是，为了保证参数更新后的分类器对旧知识仍有较高的性能，本发明希望在后续的新数据训练过程中，分类器参数更新后新数据梯度的变化方向尽量与历史数据梯度的变化方向一致。
作为其中一个可选的实施例，所述预先训练好的分类器更新后的参数和更新前的参数满足以下条件：
其中，xk为历史流量序列，gi(xk)为历史流量序列在更新前的参数下各个样本在训练过程中的梯度变化方向，xl'为实时的流量序列，gi(xl')为实时的流量序列在更新后的参数下各个样本在训练过程中的梯度变化方向，Δθi为第i个参数的参数变化大小，Δθj为第j个参数的参数变化大小，bi为第i个参数的权重，bj为第j个参数的权重。
需要说明，s.t.表示受限制于，用于表征约束条件。
可以理解，在参数迭代更新的过程中，在每一个实时的流量序列训练的时候，历史流量序列在参数下各个样本在训练过程中梯度的变化方向和实时的流量序列在参数θi下各个样本在训练过程中梯度的变化方向尽可能小，这样才能保证分类器对于新旧两种数据的通用性，也就是求解权重的时候需要将参数的变化范围尽量能够量化，使得权重越大，参数的变化范围越小，反之亦然。基于此，需要基于权重的大小对参数的变化大小Δθ进行约束界定。
在一些更优的实施例中，所述基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器，包括：
通过密度聚类算法对n个所述更新后的分类器进行聚类，得到密度聚类簇；
计算所述密度聚类簇中每一分类器在预设半径内邻近的分类器数量；
根据所述密度聚类簇中每一分类器邻近的分类器数量，从所述密度聚类簇中筛选出邻近的分类器数量靠前的预设比例的分类器；
从筛选出来的所述分类器中随机选取m个分类器作为基分类器。
值得说明的是，预设半径的选取通常是人为设定的，如果基于预设半径所围成的圆能够涵盖2％的样本点(分类器)，则判定该预设半径的选取是合适的。此外，所述密度聚类簇中的每一样本点对应一个更新后的分类器，所述密度聚类簇中的分类器即更新后的分类器。
在一些更优的实施例中，所述预设比例为10％。
在本实施例中，所述从筛选出来的所述分类器中随机选取m个分类器作为基分类器，可以理解为从筛选出来的所述分类器中随机选取预设比例的分类器作为基分类器。
优选地，所述基分类器不包括所述密度聚类簇中的核心分类器。
进一步地，所述密度聚类算法为DBSCAN密度聚类算法。
值得说明的是，考虑到边缘节点的分类器都是通过深度学习完成的，因此在进行基于相似度的密度聚类时，将各个分类器的参数作为特征向量进行自适应的动态密度聚类，以此观测分类器之间的多样性。参见图3，融合的特征图每一个图可以看作是一个特征，那么每一个分类器，是可以有N+P个特征向量，也就是一个向量有N+P个特征。
参见图4，基于DBSCAN密度聚类算法对分类器进行聚类，通常情况下，仅能看到圈以内的点，为了找出黑色的核心样本点(核心分类器)，需要计算每一个样本点在规定的半径范围内的邻近样本点数量，并按照降序的方式选取前10％的关键分类器，摒弃一些圈以外的样本点，即摒弃无效的分类器。此外，为了避免其他部分的特征容易被舍弃，从而造成部分信息丢失，需要随机提取圈内的10％的分类器，黑色标注的核心分类器除外，从而通过寻找核心分类器和随机选取圈内的分类器的方式，实现分类器选取的多样性。
示例性地，DBSCAN密度聚类算法的具体实施过程如下：
1、设定密度聚类的半径，在设定半径后，计算每一个分类器在半径R的范围内所包含的相邻分类器数量，若包含的相邻分类器数量大于设定的阈值，则判定该分类器就是核心分类器；参见图4，黑色标注的分类器就是在某一个半径范围内所包含的分类器数量大于设定阈值的分类器，将其作为核心分类器。
2、密度直达：若某一个核心分类器的半径范围内有其他的核心分类器，则将每一个核心分类器的圆圈连起来，形成一圈又一圈往外延伸的密度直达。
3、密度相连：如果所有的圆圈都一轮一轮互相被包含，则认为这些圆圈是密度相连的；其中，最后在密度相连中所包含的分类器都具有很高的相似性。
在一个可选的实施方式中，在步骤S14中，所述对m个所述基分类器进行集成学习，得到入侵检测模型，具体为：
基于Stacking算法对m个所述基分类器进行集成学习，得到入侵检测模型。
需要说明的是，除了采用Stacking算法对m个所述基分类器进行集成学习，还可以采用Boosting算法、Bagging算法与随机森林算法对m个所述基分类器进行集成学习，在此不做具体限定。
在一个具体的实施方式中，在步骤S14中，所述对m个所述基分类器进行集成学习，得到入侵检测模型，具体为：
将m个所述基分类器的输出数据作为预先构建的元学习器的输入数据，对所述元学习器进行训练，得到入侵检测模型。
需要说明的是，所述元学习器为轻量级的神经网络。通过让神经网络利用被选择的分类器学习梯度的变化方向，能够增加神经网络的梯度学习速度。可以理解，元学习器的梯度预测，通过借鉴前面多个分类器的网络参数，并随机选取一个核心分类器的参数作为初始参数，然后结合上述DBSCAN密度聚类算法中的核心分类器的梯度变化方向进行梯度学习，则经过若干轮迭代后就能实现元学习器的梯度预测。换言之，基于元学习器的全局模型更新，主要是让神经网络利用边缘节点选择出来的分类器快速调整神经网络的梯度，该方法具有梯度下降快和准的优点，因此很适用于边云协同网络环境下的从边缘节点的分类器(局部模型)到最终的入侵检测模型(全局模型)的更新过程，具有计算复杂度低，全局模型迭代速度快的优点。
可以理解，在有效识别分类器的基础上，采用元学习器对多个分类器的输出结果进行泛化，实现全局的入侵检测模型的构建。元学习方式使得边缘节点增量学习的训练结果能够充分用于云端全局学习算法的归纳过程当中，云端全局学习算法能够发现并且纠正边缘节点增量学习中的预测误差，以提升入侵检测模型的精度。
参见图6，是本发明实施例提供的一种基于边缘云环境的入侵检测装置的结构示意图。
本发明实施例提供的基于边缘云环境的入侵检测装置，包括：
数据获取模块21，用于获取实时的流量序列；
增量学习模块22，用于基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；
模型筛选模块23，用于基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；
集成学习模块24，用于对m个所述基分类器进行集成学习，得到入侵检测模型；
入侵检测模块25，用于通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果。
作为上述方案的改进，在所述增量学习模块22中，所述预先训练好的分类器更新后的参数和更新前的参数满足以下条件：
其中，xk为历史流量序列，gi(xk)为历史流量序列在更新前的参数下各个样本在训练过程中的梯度变化方向，xl'为实时的流量序列，gi(xl')为实时的流量序列在更新后的参数下各个样本在训练过程中的梯度变化方向，Δθi为第i个参数的参数变化大小，Δθj为第j个参数的参数变化大小，bi为第i个参数的权重，bj为第j个参数的权重。
作为其中一个可选的实施方式，所述模型筛选模块23，具体用于：
通过密度聚类算法对n个所述更新后的分类器进行聚类，得到密度聚类簇；
计算所述密度聚类簇中每一分类器在预设半径内邻近的分类器数量；
根据所述密度聚类簇中每一分类器邻近的分类器数量，从所述密度聚类簇中筛选出邻近的分类器数量靠前的预设比例的分类器；
从筛选出来的所述分类器中随机选取m个分类器作为基分类器。
具体地，在所述模型筛选模块23中，所述预设比例为10％。
优选地，所述集成学习模块24，具体用于：
将m个所述基分类器的输出数据作为预先构建的元学习器的输入数据，对所述元学习器进行训练，得到入侵检测模型。
需要说明的是，本实施例的基于边缘云环境的入侵检测装置的各实施例的相关具体描述和有益效果可以参考上述的基于边缘云环境的入侵检测方法的各实施例的相关具体描述和有益效果，在此不再赘述。
综上，本发明实施例所提供的一种基于边缘云环境的入侵检测方法和装置，首先，获取实时的流量序列；其次，基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；然后，基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；最后，对m个所述基分类器进行集成学习，得到入侵检测模型；通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果。一方面，本发明通过增量学习方法和实时的流量序列更新每个边缘节点的分类器的参数，从而使每个边缘节点的分类器能够不断学习新的流量序列的知识，以应对新数据的变化，从而提高入侵检测模型的检测精度。另一方面，本发明通过密度聚类算法将无效和冗余的分类器去除，得到用于集成学习的基分类器，从而保证通过集成学习得到的入侵检测模型的准确性，以提高边缘云环境下入侵检测结果的准确性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种基于边缘云环境的入侵检测方法，其特征在于，包括：
获取实时的流量序列；
基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；
基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；
对m个所述基分类器进行集成学习，得到入侵检测模型；
通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果；
其中，所述预先训练好的分类器更新后的参数和更新前的参数满足以下条件：
xk为历史流量序列，gi(xk)为历史流量序列在更新前的参数下各个样本在训练过程中的梯度变化方向，xl'为实时的流量序列，gi(xl')为实时的流量序列在更新后的参数下各个样本在训练过程中的梯度变化方向，M为实时流量序列的样本总数，N为历史流量序列的样本总数，Δθi为第i个参数的参数变化大小，Δθj为第j个参数的参数变化大小，bi为第i个参数的权重，bj为第j个参数的权重。
2.如权利要求1所述的基于边缘云环境的入侵检测方法，其特征在于，所述预先训练好的分类器是基于深度学习方法和历史流量序列对预先构建的分类器进行训练得到的。
3.如权利要求1所述的基于边缘云环境的入侵检测方法，其特征在于，所述基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器，包括：
通过密度聚类算法对n个所述更新后的分类器进行聚类，得到密度聚类簇；
计算所述密度聚类簇中每一分类器在预设半径内邻近的分类器数量；
根据所述密度聚类簇中每一分类器邻近的分类器数量，从所述密度聚类簇中筛选出邻近的分类器数量靠前的预设比例的分类器；
从筛选出来的所述分类器中随机选取m个分类器作为基分类器。
4.如权利要求3所述的基于边缘云环境的入侵检测方法，其特征在于，所述预设比例为10％。
5.如权利要求1所述的基于边缘云环境的入侵检测方法，其特征在于，所述对m个所述基分类器进行集成学习，得到入侵检测模型，具体为：
将m个所述基分类器的输出数据作为预先构建的元学习器的输入数据，对所述元学习器进行训练，得到入侵检测模型。
6.一种基于边缘云环境的入侵检测装置，其特征在于，包括：
数据获取模块，用于获取实时的流量序列；
增量学习模块，用于基于增量学习方法和所述实时的流量序列，对n个边缘节点的预先训练好的分类器进行参数更新，得到n个更新后的分类器；其中，n为正整数；
模型筛选模块，用于基于密度聚类算法对n个所述更新后的分类器进行筛选，得到m个基分类器；其中，0<m<n；
集成学习模块，用于对m个所述基分类器进行集成学习，得到入侵检测模型；
入侵检测模块，用于通过所述入侵检测模型对所述实时的流量序列进行入侵检测，得到入侵检测结果；
其中，所述预先训练好的分类器更新后的参数和更新前的参数满足以下条件：
xk为历史流量序列，gi(xk)为历史流量序列在更新前的参数下各个样本在训练过程中的梯度变化方向，xl'为实时的流量序列，gi(xl')为实时的流量序列在更新后的参数下各个样本在训练过程中的梯度变化方向，M为实时流量序列的样本总数，N为历史流量序列的样本总数，Δθi为第i个参数的参数变化大小，Δθj为第j个参数的参数变化大小，bi为第i个参数的权重，bj为第j个参数的权重。
7.如权利要求6所述的基于边缘云环境的入侵检测装置，其特征在于，所述模型筛选模块，具体用于：
通过密度聚类算法对n个所述更新后的分类器进行聚类，得到密度聚类簇；
计算所述密度聚类簇中每一分类器在预设半径内邻近的分类器数量；
根据所述密度聚类簇中每一分类器邻近的分类器数量，从所述密度聚类簇中筛选出邻近的分类器数量靠前的预设比例的分类器；
从筛选出来的所述分类器中随机选取m个分类器作为基分类器。
8.如权利要求6所述的基于边缘云环境的入侵检测装置，其特征在于，所述集成学习模块，具体用于：
将m个所述基分类器的输出数据作为预先构建的元学习器的输入数据，对所述元学习器进行训练，得到入侵检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210342216.0A CN114826690B (zh) | 2022-04-02 | 2022-04-02 | 一种基于边缘云环境的入侵检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210342216.0A CN114826690B (zh) | 2022-04-02 | 2022-04-02 | 一种基于边缘云环境的入侵检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114826690A CN114826690A (zh) | 2022-07-29 |
| CN114826690B true CN114826690B (zh) | 2023-11-17 |
Family
ID=82532044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210342216.0A Active CN114826690B (zh) | 2022-04-02 | 2022-04-02 | 一种基于边缘云环境的入侵检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114826690B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819548A (zh) * | 2012-03-31 | 2012-12-12 | 常熟市支塘镇新盛技术咨询服务有限公司 | 基于聚类的循环集成动态选择方法 |
| CN108023876A (zh) * | 2017-11-20 | 2018-05-11 | 西安电子科技大学 | 基于可持续性集成学习的入侵检测方法及入侵检测系统 |
| CN108712404A (zh) * | 2018-05-04 | 2018-10-26 | 重庆邮电大学 | 一种基于机器学习的物联网入侵检测方法 |
| CN109347872A (zh) * | 2018-11-29 | 2019-02-15 | 电子科技大学 | 一种基于模糊度和集成学习的网络入侵检测方法 |
| CN110324178A (zh) * | 2019-06-05 | 2019-10-11 | 华东理工大学 | 一种基于多经验核学习的网络入侵检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11606389B2 (en) * | 2019-08-29 | 2023-03-14 | Nec Corporation | Anomaly detection with graph adversarial training in computer systems |
-
2022
- 2022-04-02 CN CN202210342216.0A patent/CN114826690B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819548A (zh) * | 2012-03-31 | 2012-12-12 | 常熟市支塘镇新盛技术咨询服务有限公司 | 基于聚类的循环集成动态选择方法 |
| CN108023876A (zh) * | 2017-11-20 | 2018-05-11 | 西安电子科技大学 | 基于可持续性集成学习的入侵检测方法及入侵检测系统 |
| CN108712404A (zh) * | 2018-05-04 | 2018-10-26 | 重庆邮电大学 | 一种基于机器学习的物联网入侵检测方法 |
| CN109347872A (zh) * | 2018-11-29 | 2019-02-15 | 电子科技大学 | 一种基于模糊度和集成学习的网络入侵检测方法 |
| CN110324178A (zh) * | 2019-06-05 | 2019-10-11 | 华东理工大学 | 一种基于多经验核学习的网络入侵检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于分类器选择的集成学习算法研究;陈伟宏;《中国优秀硕士学位论文全文数据库信息科技辑》;第二、四章 * |
| 基于集成增量学习的入侵检测方法;高攀;《https://d.wanfangdata.com.cn/thesis/ChJUaGVzaXNOZXdTMjAyMzAxMTISCUQwMjU2MjM5NRoIc2RsNGs1ZnA%3D》;第二章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114826690A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109033129B (zh) | 基于自适应权重的多源信息融合知识图谱表示学习方法 | |
| CN111310846A (zh) | 一种选取样本图像的方法、装置、存储介质和服务器 | |
| CN105718999B (zh) | 一种启发式代谢共表达网络的构建方法及系统 | |
| CN113469186B (zh) | 一种基于少量点标注的跨域迁移图像分割方法 | |
| CN111583031A (zh) | 一种基于集成学习的申请评分卡模型建立方法 | |
| CN112348079B (zh) | 数据降维处理方法、装置、计算机设备及存储介质 | |
| WO2023207013A1 (zh) | 一种基于图嵌入的关系图谱关键人员分析方法及系统 | |
| CN113361645A (zh) | 基于元学习及知识记忆的目标检测模型构建方法及系统 | |
| CN111582373A (zh) | 一种基于加权迁移极限学习机算法的辐射源识别方法 | |
| CN114547365A (zh) | 一种图像检索方法和设备 | |
| CN114386482A (zh) | 一种基于半监督增量学习的图片分类系统及分类方法 | |
| CN114826690B (zh) | 一种基于边缘云环境的入侵检测方法和装置 | |
| KR20220103247A (ko) | 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법 | |
| CN110109005B (zh) | 一种基于序贯测试的模拟电路故障测试方法 | |
| CN116029379B (zh) | 空中目标意图识别模型构建方法 | |
| CN115860068A (zh) | 基于模型量化的任务处理方法、装置、设备及存储介质 | |
| US20220414523A1 (en) | Information Matching Using Automatically Generated Matching Algorithms | |
| Serwa et al. | Semi-automatic general approach to achieve the practical number of clusters for classification of remote sensing MS satellite images | |
| CN116050502A (zh) | 面向开放环境模式识别的结构发育型神经网络优化方法 | |
| CN115174170A (zh) | 一种基于集成学习的vpn加密流量识别方法 | |
| CN112015937B (zh) | 一种图片地理定位方法及系统 | |
| CN114816808A (zh) | 异常检测方法、装置、电子设备及计算机可读存储介质 | |
| CN113392100A (zh) | 基于粒子群算法优化神经网络的系统智能校验方法、装置和系统 | |
| CN117216668B (zh) | 一种基于机器学习的数据分类分级处理方法和系统 | |
| CN114896479B (zh) | 一种在线学习方法、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No.95, Yingbin Avenue, Huadu District, Guangzhou, Guangdong 510000 Applicant after: CLP Science and Technology Co.,Ltd. Applicant after: GUANGZHOU JIESAI COMMUNICATION PLANNING AND DESIGN INSTITUTE Co.,Ltd. Address before: 510310 No. 381 middle Xingang Road, Guangzhou, Guangdong, Haizhuqu District Applicant before: GCI SCIENCE & TECHNOLOGY Co.,Ltd. Applicant before: GUANGZHOU JIESAI COMMUNICATION PLANNING AND DESIGN INSTITUTE Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230815 Address after: No.95, Yingbin Avenue, Huadu District, Guangzhou, Guangdong 510000 Applicant after: CLP Science and Technology Co.,Ltd. Applicant after: GUANGZHOU JIESAI COMMUNICATION PLANNING AND DESIGN INSTITUTE Co.,Ltd. Applicant after: Jiangxi military civilian integration Research Institute Address before: No.95, Yingbin Avenue, Huadu District, Guangzhou, Guangdong 510000 Applicant before: CLP Science and Technology Co.,Ltd. Applicant before: GUANGZHOU JIESAI COMMUNICATION PLANNING AND DESIGN INSTITUTE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |