CN115563570B - 一种资源的异常检测方法、装置及设备 - Google Patents
一种资源的异常检测方法、装置及设备 Download PDFInfo
- Publication number
- CN115563570B CN115563570B CN202211545565.9A CN202211545565A CN115563570B CN 115563570 B CN115563570 B CN 115563570B CN 202211545565 A CN202211545565 A CN 202211545565A CN 115563570 B CN115563570 B CN 115563570B
- Authority
- CN
- China
- Prior art keywords
- hash
- data
- histogram
- resource
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 113
- 238000013507 mapping Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000005856 abnormality Effects 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 74
- 239000013598 vector Substances 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 60
- 238000003491 array Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 101100286286 Dictyostelium discoideum ipi gene Proteins 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- DOETVZCFKJCYJV-UHFFFAOYSA-N 6-(4,5-dihydro-1h-imidazol-2-yl)-2-[4-(4,5-dihydro-1h-imidazol-2-yl)phenyl]-1h-indole Chemical compound N1CCN=C1C1=CC=C(C=2NC3=CC(=CC=C3C=2)C=2NCCN=2)C=C1 DOETVZCFKJCYJV-UHFFFAOYSA-N 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种资源的异常检测方法、装置及设备，所述方法包括：获取网络资源；将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源进行异常检测，得到异常检测结果。本发明的方案可以快速找出异常的网络资源的数据，便于及时处理，提高了网络资源的异常检测的精度，保障了使用网络资源的用户安全，有效提高了传输网络资源的利用率，提升了用户业务交付体验。
Description
技术领域
本发明涉及数据检测技术领域，特别是指一种资源的异常检测方法、装置及设备。
背景技术
随着网络安全领域的发展，研究者提出了大量的资源异常检测方法，由于网络资源本身的非线性和动态性，机器学习的方法被广泛应用于异常检测。基于机器学习的异常检测方法通常可以归结为一个分类问题，但是针对如何构建分类检测向量，如何选择合适的分类器并没有深入的研究工作，针对异常检测领域中分类器的训练问题相关研究工作也比较少。
发明内容
本发明要解决的技术问题是提供一种资源的异常检测方法、装置及设备，可以快速找出异常的网络资源的数据，便于及时处理，提高了网络资源的异常检测的精度，保障了使用网络资源的用户安全，有效提高了传输网络资源的利用率，提升了用户业务交付体验。
为解决上述技术问题，本发明的技术方案如下：
一种资源的异常检测方法，所述方法包括：
获取网络资源；
将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；
根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源进行异常检测，得到异常检测结果。
可选的，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；所述维度包括：源网际互连协议IP，目的网际互连协议IP，源端口和目的端口。
可选的，按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
获取网络资源的每个维度对应的一个哈希函数和一个数组；
通过所述哈希函数把所述网络资源的数据映射到所述数组中，得到至少一个映射后的哈希直方图；其中，所述数组中的每一位数对应一个计数器，所述计数器用于记录映射到对应的数所在位置上的网络资源的数据。
可选的，所述预设资源异常检测模型通过以下过程进行训练：
获取上一时间窗口的训练集数据和异常检测结果；
根据所述上一时间窗口的异常检测结果，对所述上一时间窗口的训练集数据进行数据增减处理，得到训练特征数据；
将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型。
可选的，将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型，包括：
将所述训练特征数据输入支持向量数据描述网络模型的输入层进行处理，得到第一输出；
将所述第一输出，输入所述向量数据描述网络模型的中间层进行处理，得到第二输出；
将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型。
可选的，将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型，包括：
通过公式对第二输出进行处理，得到预设资源异常检测模型；
其中，，xi为第i个向量数据，xj为第j个向量数据，ai为第i个拉格朗日乘子，aj为第j个拉格朗日乘子，，为映射函数，为核函数，，δ为核函数的参数，参数δ用于影响数据在高维特征空间H中分布的复杂程度。
可选的，当所述第i个向量数据xi满足条件时，第i个拉格朗日乘子0<ai<C；其中，为映射函数，a为第一分类参数，R为第二分类参数，ζi为松弛变量；
当所述第i个向量数据xi不满足条件时，第i个拉格朗日乘子ai=C，其中，C为惩罚参数。
本发明提供一种资源的异常检测装置，所述装置包括：
获取模块，用于获取网络资源数据；
处理模块，用于将所述网络资源数据映射到哈希直方图，得到映射后的哈希直方图；根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源数据进行异常检测，得到异常检测结果。
本发明还提供一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述方法的步骤。
本发明还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述的方法。
本发明的上述方案至少包括以下有益效果：
通过获取网络资源；将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源进行异常检测，得到异常检测结果；本发明的方案通过增减式的在线学习方法可以快速找出异常的网络资源的数据，便于及时处理，提高了网络资源的异常检测的精度，保障了使用网络资源的用户安全，有效提高了传输网络资源的利用率，提升了用户业务交付体验。
附图说明
图1是本发明实施例提供的资源的异常检测方法的流程图；
图2是本发明提供的具体的实施例中网络资源映射到哈希直方图的流程图；
图3是本发明实施例提供的资源的异常检测装置的模块图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提供一种资源的异常检测方法，所述方法包括：
步骤11，获取网络资源；
步骤12，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；
步骤13，根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源进行异常检测，得到异常检测结果。
该实施例中，获取网络资源，该网络资源优选以时间窗口划分，将其中一个时间窗口的网络资源映射到哈希直方图上，在映射后的哈希直方图上以训练好的预设资源异常检测模型进行异常检测，得到异常检测结果，其中，该预设资源异常检测模型优选为非监督式的SVDD（support vector data description，支持向量数据描述）模型；通过增减式的在线学习方法可以快速找出异常的网络资源的数据，便于及时处理，提高了网络资源的异常检测的精度，保障了使用网络资源的用户安全，有效提高了传输网络资源的利用率，提升了用户业务交付体验；
需要说明的是，当网络资源优选以时间窗口划分时，网络资源在网络模型内随着部署地点和时间不断变化特征，采用增减式在线学习的方法对训练好的预设资源异常检测模型进行不断训练，根据时间窗口不断地对预设资源异常检测模型进行迭代训练，可以提高异常检测系统的精度，减少训练成本。
本发明一可选的实施例中，步骤12包括：
步骤121，按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；所述维度包括：源网际互连协议IP，目的网际互连协议IP，源端口和目的端口。
本实施例中，哈希直方图用于对网络资源的数据在维度上的分布情况近似；
网络资源的数据包括数据流的数目，IP包的数目以及总比特数中的至少一种；
维度包括：源网际互连协议，目的网际互连协议，源端口和目的端口；该维度还可以包括：TCP（Transmission Control Protocol，传输控制协议）标识位，协议号，IP包的长度以及流持续时间。
本发明一可选的实施例中，步骤121包括：
步骤1211，获取网络资源的每个维度对应的一个哈希函数和一个数组；
步骤1212，通过所述哈希函数把所述网络资源的数据映射到所述数组中，得到至少一个映射后的哈希直方图；其中，所述数组中的每一位数对应一个计数器，所述计数器用于记录映射到对应的数所在位置上的网络资源的数据。
本实施例中，网络资源的每个维度对应一个哈希函数（如Hashl函数或Hashk函数等）和一个数组（如，数组0,…,…,ML等），确定每个维度对应的哈希函数和数组，通过哈希函数把网络资源的数据映射到数组中，数组包括至少一位数，数组中的每位数对应一个计数器，该计数器可以记作哈希桶，计数器用于记录映射到数组的数所在位置上的网络资源的数据；需要说明的是，为了保证维度的所有可能取值均匀地分布在哈希直方图的映射空间上，优选采用通用的哈希函数构建哈希直方图。
如图2所示，一个具体的实施例1中，当维度包括：源网际互连协议IP，目的网际互连协议IP，源端口和目的端口时，哈希直方图的度量分布特征的变化用于检测网络资源的异常，哈希直方图的度量分布特征比熵提供了更加细致的度量，在哈希函数的基础上构建哈希直方图，在哈希直方图的基础上进行异常检测，具体包括：
步骤20，当初始状态时，哈希直方图中每个哈希桶（计数器）的初始值为0，在每个时间周期内，用新的数据项更新哈希直方图的数据结构；
步骤21，当新的数据项为(<SIPi,DIPi,Sporti,Dporti>,ui)时，将该新的数据项映射到各个不同维度；其中，新的数据项中的SIPi为源IP地址，DIPi为目标IP地址，Sporti为源端口，Dporti为目标端口，
计算在各个维度上的哈希函数值，得到对应的哈希桶位置，即hashk(featurei,k)∈{1,…,Mk},k∈{1,…,hk}；其中，hashk(featurei,k)为哈希函数值，{1,…,Mk}为数组的集合，1,…,Mk为集合中的数组；
如图2所示，各个维度对应的哈希函数包括Hashl、Hashk以及Hashd；其中Hashl对应的数组为Ml，Hashk对应的数组为Mk，Hashd对应的数组为Md；
通过哈希函数把网络资源的数据映射到对应的数组中，数组Ml、Mk以及Md均包括至少一位数，Ml中包括数0、数1以及数2，Mk中包括数0、数1以及数2，Md数组中包括数0、数1以及数2；数组Ml、Mk以及Md中的每位数均对应一个计数器，该计数器即为哈希桶；
步骤22，对每个哈希函数值hashk(featurei,k)标识的桶（计数器）的统计值进行更新，即：T[k][hashk(featurei,k)]+=ui，其中，k∈{1,…,hk}；
步骤23，当每个时间窗口结束时，将每个维度的哈希直方图中的值构成一个检测向量c=[c1,c2,…,ck]。
本发明一可选的实施例中，所述预设资源异常检测模型通过以下过程进行训练：
步骤s1，获取上一时间窗口的训练集数据和异常检测结果；
步骤s2，根据所述上一时间窗口的异常检测结果，对所述上一时间窗口的训练集数据进行数据增减处理，得到训练特征数据；
步骤s3，将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型。
本实施例中，预设资源异常检测模型是基于上一时间窗口的异常检测结果以及上一时间窗口的训练集数据进行数据增减处理得到的，可实现在网络模型下随着部署地点和时间不断变化，对每一时间窗口的网络资源的数据针对性地提供异常检测精度更高的预设资源异常检测模型；
这里，步骤s2包括：
步骤s21，根据上一时间窗口的异常检测结果，确定异常观察值Yi；
步骤s22，当所述异常观察值为Yi>-1且Yi<0时，根据多个时间窗口的观察值，计算似然比；
步骤s23，根据所述似然比，确定对所述训练集数据的数据增减处理方案；
步骤s24，根据所述数据增减处理方案对所述训练集数据进行数据增减处理，得到训练特征数据。
本实施例中，步骤s22中的多个时间窗口优选为上一时间窗口之前的预设数量的历史时间窗口，如果在上一时间窗口内无法判断，则开始计算对应的多个时间窗口的似然比并记录计算的时间窗口的步数，进行多窗口关联检测流程；其中，预设数量可根据需求而设置，历史时间窗口的预设数量越大，则得到的似然比的可信度就越高；
当上一时间窗口对应的多个时间窗口的似然值Λi≤A时，则表示没有出现异常，不需要进行数据增减处理，但由于这些数据也有可能作为支撑向量，因此，此时，数据增减处理方案为：将该多个时间窗口的检测向量加入到训练数据集中；
当上一时间窗口对应的多个时间窗口的似然值Λi≥B时，则表示出现异常，为了提高预设资源异常检测模型的精度，应将该异常的数据进行剔除；此时，数据增减处理方案为：将多个时间窗口内的检测向量加入到训练数据集中，同时剔除最早的相同的数据点；
当上一时间窗口对应的多个时间窗口的似然值A≤Λi≤B时，则也表示无法判断是否正常，但优选的，可将其视作未出现异常的情况，此时，数据增减处理方案为：将该多个时间窗口的检测向量加入到训练数据集中；
进一步的，将步骤s2中得到的数据增减处理后的训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型；
通过在线实时地将训练数据集中的异常数据删除，能够有效地提高训练后的预设资源异常检测模型检测时的精度。
本发明一可选的实施例中，步骤s3，包括：
步骤s31，将所述训练特征数据输入支持向量数据描述网络模型的输入层进行处理，得到第一输出；
步骤s32，将所述第一输出，输入所述向量数据描述网络模型的中间层进行处理，得到第二输出；
步骤s33，将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型。
本实施例中，将训练特征数据依次通过支持向量数据描述网络模型的输入层、中间层以及求解层进行处理，计算出最优的分类超平面，该分类超平面不但能对训练特征数据无错误地分成两类，还能使两类的分类间隔最大，从而保证经验风险最小化的同时使得模型的泛化能力达到最优。
具体的，本发明一可选的实施例中，步骤s33，包括：
步骤s331，通过公式对第二输出进行处理，得到预设资源异常检测模型；
其中，，xi为第i个向量数据，xj为第j个向量数据，ai为第i个拉格朗日乘子，aj为第j个拉格朗日乘子，，为映射函数，为核函数，，δ为核函数的参数，参数δ用于影响数据在高维特征空间H中分布的复杂程度。
本实施例中，通过将预设资源异常检测模型优选为SVDD模型，该模型建立在统计学习理论基础之上，在有限训练数据下能够获得较好的模型，既有严格的理论基础又能较好的解决小样本、非线性、高维数和局部极小点等实际问题，该模型可实现在特征空间中建立体积尽量小且包含尽量多训练样本点的超球面。在求解层对预设资源异常检测模型求解二次规划问题，优选采用拉格朗日（Lagrange）乘子法进行求解引入拉格朗日乘子把二次规划问题转化为对偶问题，同时将高维空间优化中的内积运算采用满足mercer条件的核函数代替，再利用极值条件得到公式；其中，为核函数，δ为核函数的参数，常见的核函数还包括线性核函数、多项式核函数、RBF（径向基）核函数以及Sigmoid（S型生长曲线）核函数等，这里，我们优选为RBF核函数，，其适用范围广，有较宽的收敛域，是较为理想的分类依据函数；
需要说明的是，mercer条件即为mercer定理，是指任何半正定的函数都可以作为核函数。这里的半正定的函数f(xi,xj)是指拥有训练数据集合（x1,x2,...xn)，定义一个矩阵的元素aij=f(xi,xj)，这个矩阵式为n*n的，如果这个矩阵是半正定的，那么f(xi,xj)就称为半正定的函数；另外，mercer定理是核函数的充分条件，即只要函数满足mercer定理的条件，那么这个函数就是核函数。
本发明一可选的实施例中，当所述第i个向量数据xi满足条件时，第i个拉格朗日乘子0<ai<C；其中，为映射函数，a为第一分类参数，R为第二分类参数，ζi为松弛变量；
当所述第i个向量数据xi不满足条件时，第i个拉格朗日乘子ai=C，其中，C为惩罚参数。
本实施例中，当所述第i个向量数据xi满足条件时，第i个拉格朗日乘子0<ai<C；否则，第i个拉格朗日乘子ai=C，大多数的拉格朗日乘子ai等于零，对预设资源异常检测模型并不产生影响，对分类起作用的是非零值的拉格朗日乘子ai所对应的xi，该xi即为支持向量；支持向量的集合充分描述了整个训练数据集的数据特征，对支持向量集合的划分等价于对训练数据集的划分，通常支持向量是训练数据集中很少的一部分。
本发明的实施例通过获取网络资源；将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；根据所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源进行异常检测，得到异常检测结果；通过增减式的在线学习方法可以快速找出异常的网络资源的数据，便于及时处理，提高了网络资源的异常检测的精度，保障了使用网络资源的用户安全，有效提高了传输网络资源的利用率，提升了用户业务交付体验。
如图3所示，本发明的实施例还提供一种资源的异常检测装置30，所述装置包括：
获取模块31，用于获取网络资源数据；
处理模块32，用于将所述网络资源数据映射到哈希直方图，得到映射后的哈希直方图；根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源数据进行异常检测，得到异常检测结果。
可选的，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；所述维度包括：源网际互连协议，目的网际互连协议，源端口和目的端口。
可选的，按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
获取网络资源的每个维度对应的一个哈希函数和一个数组；
通过所述哈希函数把所述网络资源的数据映射到所述数组中，得到至少一个映射后的哈希直方图；其中，所述数组中的每一位数对应一个计数器，所述计数器用于记录映射到对应的数所在位置上的网络资源的数据。
可选的，所述预设资源异常检测模型通过以下过程进行训练：
获取上一时间窗口的训练集数据和异常检测结果；
根据所述上一时间窗口的异常检测结果，对所述上一时间窗口的训练集数据进行数据增减处理，得到训练特征数据；
将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型。
可选的，将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型，包括：
将所述训练特征数据输入支持向量数据描述网络模型的输入层进行处理，得到第一输出；
将所述第一输出，输入所述向量数据描述网络模型的中间层进行处理，得到第二输出；
将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型。
可选的，将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型，包括：
通过公式对第二输出进行处理，得到预设资源异常检测模型；
其中，，xi为第i个向量数据，xj为第j个向量数据，ai为第i个拉格朗日乘子，aj为第j个拉格朗日乘子，，为映射函数，为核函数，，δ为核函数的参数，参数δ用于影响数据在高维特征空间H中分布的复杂程度。
可选的，当所述第i个向量数据xi满足条件时，第i个拉格朗日乘子0<ai<C；其中，为映射函数，a为第一分类参数，R为第二分类参数，ζi为松弛变量；
当所述第i个向量数据xi不满足条件时，第i个拉格朗日乘子ai=C，其中，C为惩罚参数。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明还提供一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述方法的步骤。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种资源的异常检测方法，其特征在于，所述方法包括：
获取网络资源；
将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；
根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源进行异常检测，得到异常检测结果；
其中，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；所述维度包括：源网际互连协议IP，目的网际互连协议IP，源端口和目的端口；
其中，按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
获取网络资源的每个维度对应的一个哈希函数和一个数组；
通过所述哈希函数把所述网络资源的数据映射到所述数组中，得到至少一个映射后的哈希直方图；其中，所述数组中的每一位数对应一个计数器，所述计数器用于记录映射到对应的数所在位置上的网络资源的数据；
其中，当所述维度包括：源网际互连协议IP，目的网际互连协议IP，源端口和目的端口时，哈希直方图的度量分布特征的变化用于检测网络资源的异常，在哈希函数的基础上构建哈希直方图，在哈希直方图的基础上进行异常检测，包括：
当初始状态时，哈希直方图中每个哈希桶的初始值为0，在每个时间周期内，用新的数据项更新哈希直方图的数据结构；
当新的数据项为(<SIPi,DIPi,Sporti Dporti>,ui)时，将新的数据项映射到各个不同维度；其中，新的数据项中的SIPi为源IP地址，DIPi为目标IP地址，Sporti为源端口，Dporti为目标端口；
计算在各个维度上的哈希函数值，得到对应的哈希桶位置，即hashk(featurei,k)∈{1,…,Mk},k∈{1,…,hk}；其中，hashk(featurei,k)为哈希函数值，{1,…,Mk}为数组的集合，1,…,Mk为集合中的数组；
各个维度对应的哈希函数包括Hashl、Hashk以及Hashd；其中，Hashl对应的数组为Ml，Hashk对应的数组为Mk，Hashd对应的数组为Md；
通过哈希函数把网络资源的数据映射到对应的数组中，数组Ml、Mk以及Md均包括至少一位数，Ml中包括数0、数1以及数2，Mk中包括数0、数1以及数2，Md数组中包括数0、数1以及数2；数组Ml、Mk以及Md中的每位数均对应一个哈希桶；
对每个哈希函数值hashk(featurei,k)标识的哈希桶的统计值进行更新，即：T[k][hashk(featurei,k)]+＝ui，其中，k∈{1,…,hk}；
当每个时间窗口结束时，将每个维度的哈希直方图中的值构成一个检测向量c＝[c1,c2,…,ck]；
其中，所述预设资源异常检测模型通过以下过程进行训练：
获取上一时间窗口的训练集数据和异常检测结果；
根据所述上一时间窗口的异常检测结果，对所述上一时间窗口的训练集数据进行数据增减处理，得到训练特征数据；
将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型；
其中，将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型，包括：
将所述训练特征数据输入支持向量数据描述网络模型的输入层进行处理，得到第一输出；
将所述第一输出，输入所述向量数据描述网络模型的中间层进行处理，得到第二输出；
将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型；
其中，将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型，包括：
通过公式对第二输出进行处理，得到预设资源异常检测模型；
其中，xi为第i个向量数据，xj为第j个向量数据，ai为第i个拉格朗日乘子，aj为第j个拉格朗日乘子，φ(xi)为映射函数，K(xi，x)为核函数，δ为核函数的参数，参数δ用于影响数据在高维特征空间H中分布的复杂程度；
其中，当所述第i个向量数据xi满足条件||φ(xi)-a||2＜R2+ξi时，第i个拉格朗日乘子0＜ai＜C；其中，φ(xi)为映射函数，a为第一分类参数，R为第二分类参数，ξi为松弛变量；
当所述第i个向量数据xi不满足条件||φ(xi)-a||2＜R2+ξi时，第i个拉格朗日乘子ai＝C，其中，C为惩罚参数。
2.一种资源的异常检测装置，其特征在于，所述装置包括：
获取模块，用于获取网络资源数据；
处理模块，用于将所述网络资源数据映射到哈希直方图，得到映射后的哈希直方图；根据映射后的所述哈希直方图，采用训练好的预设资源异常检测模型对所述网络资源数据进行异常检测，得到异常检测结果；
其中，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图；所述维度包括：源网际互连协议IP，目的网际互连协议IP，源端口和目的端口；
其中，按照网络资源的维度，将所述网络资源映射到哈希直方图，得到映射后的哈希直方图，包括：
获取网络资源的每个维度对应的一个哈希函数和一个数组；
通过所述哈希函数把所述网络资源的数据映射到所述数组中，得到至少一个映射后的哈希直方图；其中，所述数组中的每一位数对应一个计数器，所述计数器用于记录映射到对应的数所在位置上的网络资源的数据；
其中，当所述维度包括：源网际互连协议IP，目的网际互连协议IP，源端口和目的端口时，哈希直方图的度量分布特征的变化用于检测网络资源的异常，在哈希函数的基础上构建哈希直方图，在哈希直方图的基础上进行异常检测，包括：
当初始状态时，哈希直方图中每个哈希桶的初始值为0，在每个时间周期内，用新的数据项更新哈希直方图的数据结构；
当新的数据项为(<SIPi,DIPi,Sporti Dporti>,ui)时，将新的数据项映射到各个不同维度；其中，新的数据项中的SIPi为源IP地址，DIPi为目标IP地址，Sporti为源端口，Dporti为目标端口；
计算在各个维度上的哈希函数值，得到对应的哈希桶位置，即hashk(featurei,k)∈{1,…,Mk},k∈{1,…,hk}；其中，hashk(featurei,k)为哈希函数值，{1,…,Mk}为数组的集合，1,…,Mk为集合中的数组；
各个维度对应的哈希函数包括Hashl、Hashk以及Hashd；其中，Hashl对应的数组为Ml，Hashk对应的数组为Mk，Hashd对应的数组为Md；
通过哈希函数把网络资源的数据映射到对应的数组中，数组Ml、Mk以及Md均包括至少一位数，Ml中包括数0、数1以及数2，Mk中包括数0、数1以及数2，Md数组中包括数0、数1以及数2；数组Ml、Mk以及Md中的每位数均对应一个哈希桶；
对每个哈希函数值hashk(featurei,k)标识的哈希桶的统计值进行更新，即：T[k][hashk(featurei,k)]+＝ui，其中，k∈{1,…,hk}；
当每个时间窗口结束时，将每个维度的哈希直方图中的值构成一个检测向量c＝[c1,c2,…,ck]；
其中，所述预设资源异常检测模型通过以下过程进行训练：
获取上一时间窗口的训练集数据和异常检测结果；
根据所述上一时间窗口的异常检测结果，对所述上一时间窗口的训练集数据进行数据增减处理，得到训练特征数据；
将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型；
其中，将所述训练特征数据输入支持向量数据描述网络模型进行训练，得到预设资源异常检测模型，包括：
将所述训练特征数据输入支持向量数据描述网络模型的输入层进行处理，得到第一输出；
将所述第一输出，输入所述向量数据描述网络模型的中间层进行处理，得到第二输出；
将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型；
其中，将所述第二输出，输入所述向量数据描述网络模型的求解层进行处理，得到预设资源异常检测模型，包括：
通过公式对第二输出进行处理，得到预设资源异常检测模型；
其中，xi为第i个向量数据，xj为第j个向量数据，ai为第i个拉格朗日乘子，aj为第j个拉格朗日乘子，φ(xi)为映射函数，K(xi，x)为核函数，δ为核函数的参数，参数δ用于影响数据在高维特征空间H中分布的复杂程度；
其中，当所述第i个向量数据xi满足条件||φ(xi)-a||2＜R2+ξi时，第i个拉格朗日乘子0＜ai＜C；其中，φ(xi)为映射函数，a为第一分类参数，R为第二分类参数，ξi为松弛变量；
当所述第i个向量数据xi不满足条件||φ(xi)-a||2＜R2+ξi时，第i个拉格朗日乘子ai＝C，其中，C为惩罚参数。
3.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1所述方法的步骤。
4.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211545565.9A CN115563570B (zh) | 2022-12-05 | 2022-12-05 | 一种资源的异常检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211545565.9A CN115563570B (zh) | 2022-12-05 | 2022-12-05 | 一种资源的异常检测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115563570A CN115563570A (zh) | 2023-01-03 |
| CN115563570B true CN115563570B (zh) | 2023-04-14 |
Family
ID=84769724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211545565.9A Active CN115563570B (zh) | 2022-12-05 | 2022-12-05 | 一种资源的异常检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115563570B (zh) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9094444B2 (en) * | 2008-12-31 | 2015-07-28 | Telecom Italia S.P.A. | Anomaly detection for packet-based networks |
| CN101668006A (zh) * | 2009-10-12 | 2010-03-10 | 哈尔滨工程大学 | 一种用于异常检测的自适应网络流量采样方法 |
| US9235446B2 (en) * | 2012-06-22 | 2016-01-12 | Microsoft Technology Licensing, Llc | Parallel computing execution plan optimization |
| CN107786388B (zh) * | 2017-09-26 | 2020-02-14 | 西安交通大学 | 一种基于大规模网络流数据的异常检测系统 |
| US20220311794A1 (en) * | 2017-11-27 | 2022-09-29 | Lacework, Inc. | Monitoring a software development pipeline |
| CN108427928A (zh) * | 2018-03-16 | 2018-08-21 | 华鼎世纪（北京）国际科技有限公司 | 监控视频中异常事件的检测方法及装置 |
| CN109639739B (zh) * | 2019-01-30 | 2020-05-19 | 大连理工大学 | 一种基于自动编码器网络的异常流量检测方法 |
| US11494850B1 (en) * | 2019-03-13 | 2022-11-08 | Alight Solutions Llc | Applied artificial intelligence technology for detecting anomalies in payroll data |
| CN110071934B (zh) * | 2019-04-30 | 2021-03-26 | 中国人民解放军国防科技大学 | 用于网络异常检测的局部敏感性计数摘要方法及系统 |
| CN110753064B (zh) * | 2019-10-28 | 2021-05-07 | 中国科学技术大学 | 机器学习和规则匹配融合的安全检测系统 |
| CN111694860A (zh) * | 2020-04-28 | 2020-09-22 | 国家计算机网络与信息安全管理中心 | 安全检测的时序数据实时异常发现方法及电子装置 |
| CN112910873B (zh) * | 2021-01-27 | 2022-08-23 | 广东工业大学 | 用于区块链事务异常检测的有用工作量证明方法及系统 |
| CN112988815B (zh) * | 2021-03-16 | 2023-09-05 | 重庆工商大学 | 一种大规模高维高速流数据在线异常检测的方法及系统 |
| CN114842371B (zh) * | 2022-03-30 | 2024-02-27 | 西北工业大学 | 一种无监督视频异常检测方法 |
-
2022
- 2022-12-05 CN CN202211545565.9A patent/CN115563570B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115563570A (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Elmachtoub et al. | Decision trees for decision-making under the predict-then-optimize framework | |
| Jakubovitz et al. | Generalization error in deep learning | |
| Lindsten et al. | Just relax and come clustering!: A convexification of k-means clustering | |
| Beck et al. | Insights from a simple expression for linear fisher information in a recurrently connected population of spiking neurons | |
| JP7044117B2 (ja) | モデル学習装置、モデル学習方法、及びプログラム | |
| Baig et al. | GMDH-based networks for intelligent intrusion detection | |
| US20080201278A1 (en) | Method and Apparatus for Automatic Online Detection and Classification of Anomalous Objects in a Data Stream | |
| Xiao et al. | Anomaly-tolerant network traffic estimation via noise-immune temporal matrix completion model | |
| US11030246B2 (en) | Fast and accurate graphlet estimation | |
| Plasse et al. | Handling delayed labels in temporally evolving data streams | |
| US11593651B2 (en) | Method and system for training a neural network for time series data classification | |
| Mansour et al. | A robust online subspace estimation and tracking algorithm | |
| US20230122207A1 (en) | Domain Generalization via Batch Normalization Statistics | |
| Kim et al. | A variational autoencoder for a semiconductor fault detection model robust to process drift due to incomplete maintenance | |
| Koskela et al. | Learning rate adaptation for federated and differentially private learning | |
| Breschi et al. | Identification of hybrid and linear parameter varying models via recursive piecewise affine regression and discrimination | |
| Wan et al. | On regression methods for virtual metrology in semiconductor manufacturing | |
| Gao et al. | Active sampler: Light-weight accelerator for complex data analytics at scale | |
| Dalle Pezze et al. | A multi-label continual learning framework to scale deep learning approaches for packaging equipment monitoring | |
| Safikhani et al. | Fast and scalable algorithm for detection of structural breaks in big var models | |
| Min et al. | An information-theoretic analysis of nonstationary bandit learning | |
| Perenda et al. | Evolutionary optimization of residual neural network architectures for modulation classification | |
| CN114139593A (zh) | 一种去偏差图神经网络的训练方法、装置和电子设备 | |
| Zhu et al. | Online data poisoning attack against edge AI paradigm for IoT-enabled smart city | |
| CN115563570B (zh) | 一种资源的异常检测方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |