CN113645098A - 一种无监督的基于增量学习的动态物联网异常检测方法 - Google Patents

一种无监督的基于增量学习的动态物联网异常检测方法 Download PDF

Info

Publication number
CN113645098A
CN113645098A CN202110918457.0A CN202110918457A CN113645098A CN 113645098 A CN113645098 A CN 113645098A CN 202110918457 A CN202110918457 A CN 202110918457A CN 113645098 A CN113645098 A CN 113645098A
Authority
CN
China
Prior art keywords
sample
confidence
cluster
data
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110918457.0A
Other languages
English (en)
Other versions
CN113645098B (zh
Inventor
许艳
葛江涛
仲红
崔杰
刘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110918457.0A priority Critical patent/CN113645098B/zh
Publication of CN113645098A publication Critical patent/CN113645098A/zh
Application granted granted Critical
Publication of CN113645098B publication Critical patent/CN113645098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种无监督的基于增量学习的动态物联网异常检测方法，包括：1获取历史数据，并筛选出高置信度正常样本来训练聚类模型，对异常进行初步识别；2将当前待检测数据训练孤立森林模型，对异常进行进一步识别；3根据训练好的聚类和孤立森林模型，分别构建相应的2个异常检测结果集；4根据数据分布的相似程度在当前和历史数据间建立连接，将2个异常检测结果集进行融合以准确识别异常；5检测完成后，从当前数据中筛选适量的高置信度正常样本来更新已有的聚类模型，以达到持续学习数据中最新出现的正常行为模式的目的。本发明能够有效的从动态变化的物联网数据中持续学习有价值信息，并提高异常检测的准确率。

Description

一种无监督的基于增量学习的动态物联网异常检测方法
技术领域
本发明涉及异常检测领域，具体地说是一种无监督的基于增量学习的动态物联网异常检测方法。
背景技术
近年来，数据传感设备随着物联网的快速发展广泛应用于智能家居、智慧交通、智慧农业等诸多领域。这些设备的出现改变了人们的日常生活方式，同时也产生了海量的数据资源。从数据中衍生出的有价值信息可以服务于各种应用，如设备开关控制、城市交通分析、环境质量检测等。但在数据收集的过程中，由于设备故障、恶意攻击、环境干扰等因素，不可避免地会出现数据异常的情况。这种异常数据会导致错误的决策和决定，从而降低了物联网应用的可靠性、可伸缩性和互操作性。特别是一些关键性安全应用，这个问题甚至会造成灾难性的后果。因此，需要有效的异常检测方法为物联网应用提供高质量数据的保障。
在物联网应用中，数据传感设备生成的数据通常以流的形式持续到达，需要及时区分那些与正常行为不同的异常。但实际物联网应用中存在环境和操作条件等因素经常性变化的问题。该问题将导致物联网数据底层分布会随着时间发生一些不确定性的变化。这意味着过去收集的正常行为模式会随着时间发生演变，即当前的正常行为概念在未来可能不再具有足够的代表性。一旦物联网异常检测模型不能跟随数据的分布的变化进行相应的调整，将会导致其无法精确地识别出异常。因此，物联网异常检测任务面临着数据的动态变化而导致的模型预测精度不佳的问题。
发明内容
本发明是为了避免上述现有技术所存在的问题，提出了一种无监督的基于增量学习的动态物联网异常检测方法，以期能够有效从物联网数据中持续学习有价值信息，并充分利用物联网时序数据间的关联来检测异常，从而适应物联网数据的动态变化，并提高异常检测的精度和准确率。
本发明为解决技术问题采用如下技术方案：
本发明一种无监督的基于增量学习的动态物联网异常检测方法的特点是按如下步骤进行：
步骤1、按照时间顺序获取物联网场景中的数据集记为
Figure BDA0003206551250000011
其中，
Figure BDA0003206551250000012
为初始数据块，
Figure BDA0003206551250000013
表示第t时间段的原始数据，t＝1,2,...,T；T表示总时间；
对所述数据集XO进行预处理，得到预处理后的数据集X＝{XS,X1,X2,…,Xt,…,XT}；XS为预处理后的初始数据块，且XS＝{xs1,xs2,...,xsm,...,xsM}，xsm表示预处理后的初始数据块XS中第m个样本；M表示样本总量；Xt表示预处理后的第t时间段的原始数据，且Xt＝{xt1,xt2,...,xtn,...,xtN}，xtn表示预处理后的第t时间段的原始数据Xt中第n个样本；N表示样本总量；
步骤2、构建高置信度正常样本集；
步骤2.1、对预处理后的初始数据块XS进行k-means聚类，从而划分为K个簇，记为C＝{C1,C2,…,Ck,...,CK}；Ck表示将预处理后的初始数据块XS聚类后的第k个簇，k＝1,2,…,K；
步骤2.2、根据式(1)计算从第k个簇Ck中筛选的高置信度正常样本数量Nk：
Nk＝|Ck|×θ (1)
式(1)中，参数θ是筛选的高置信度正常样本数量所占预处理后的初始数据块XS中样本总量M的百分比；|Ck|为第k个簇Ck中对应的样本数量；
步骤2.3、利用核密度估计方法计算第k个簇Ck中所包含样本的密度值，并根据样本的密度值大小进行降序排序，从而选择密度值最高的前Nk个样本并构成第k个高置信度正常样本集合，记为
Figure BDA0003206551250000021
Figure BDA0003206551250000022
表示第k个高置信度正常样本集合
Figure BDA0003206551250000023
中第nk个正常样本；
步骤2.4、按照步骤2.2和步骤2.3的过程依次选择K个簇的高置信度正常样本集合，并构建高置信度正常样本集
Figure BDA0003206551250000024
Figure BDA0003206551250000025
表示从第k个簇Ck中筛选出的高置信度样本集；
步骤2.5、根据高置信度正常样本集XH来训练k-means模型，从而划分为K′个簇，并得到聚类结果记为C′＝{C′1,C′2,…,C′k′,...,C′K′}，C′k′表示将高置信度正常样本集XH聚类后的第k′个簇；令聚类中心为U＝{u1,u2,...,uk′,...,uK′}；uk′表示为高置信度正常样本集XH中第k′个簇C′k′的聚类中心；
步骤3、利用式(2)计算预处理后的第t时间段的原始数据Xt中第n个样本xtn的异常程分数PS(xtn)：
Figure BDA0003206551250000031
步骤4、通过预处理后的第t时间段的原始数据Xt训练孤立森林模型，并通过训练好的孤立森林模型对预处理后的第t时间段的原始数据Xt中的异常样本进行进一步识别：
步骤4.1、训练孤立森林模型：
步骤4.1.1、从预处理后的第t时间段的原始数据Xt中随机抽取ψ个样本构成预处理后的第t时间段的原始数据Xt的子集
Figure BDA0003206551250000032
放入根节点；
Figure BDA0003206551250000033
表示子集X′t中的第
Figure BDA0003206551250000034
个样本；
步骤4.1.2、随机指定子集X′t中第
Figure BDA0003206551250000035
个样本
Figure BDA0003206551250000036
的一个维度，并用于在当前样本
Figure BDA0003206551250000037
中随机产生一个切割点p；
步骤4.1.3、将预处理后的第t时间段的原始数据Xt中其余样本的维度依次与p进行比较，若小于p，则将相应样本放入第
Figure BDA0003206551250000038
个样本
Figure BDA0003206551250000039
的左子节点，否则放入第
Figure BDA00032065512500000310
个样本
Figure BDA00032065512500000311
的右子节点；
步骤4.1.4、按照步骤4.1.2和步骤4.1.3的过程对左右子节点进行递归操作，直至所有的叶子节点都只有一个样本点或者孤立树已经达到指定的高度；从而得到一棵孤立树；
步骤4.1.5、按照步骤4.1.1至步骤4.1.4的过程进行循环操作，直至生成指定数目的孤立树并构成训练好的孤立森林模型；
步骤4.2、根据训练好的孤立森林模型，对预处理后的第t时间段的原始数据Xt中第n个样本xtn的异常程度进行计算：
步骤4.2.1、遍历训练好的每一棵孤立树，并计算第n个样本xtn在孤立森林模型中的平均高度h(xtn)；
步骤4.2.2、利用式(3)计算第n个样本xtn的异常分数CS(xtn)：
Figure BDA00032065512500000312
式(3)中，N是参与构建森林的样本总数，H(·)为调和级数；
步骤5、将两种异常模型检测结果进行融合，识别预处理后的第t时间段的原始数据Xt中的异常样本：
步骤5.1、根据式(4)计算高置信度正常样本集XH与预处理后的第t时间段的原始数据Xt的数据分布的相似度S(P,Q)：
Figure BDA0003206551250000041
式(4)中，P表示所筛选出的高置信度正常数据集XH的概率分布；Q表示预处理后的第t时间段的原始数据Xt的概率分布；且S(P,Q)∈[0,1]；
步骤5.2、利用式(5)得到调节参数ω：
ω＝min(max(S(P,Q),σ),ρ) (5)
式(5)中，σ和ρ均是预定义的参数，且σ和ρ分别是参数ω的下界和上界，ω∈[0,1]；
步骤5.3、利用式(6)得到第n个样本xtn的综合异常分数AS(xtn)并作为两种异常检测模型的融合结果：
AS(xtn)＝(1-ω)×PS(xtn)+ω×CS(xtn) (6)
步骤5.4、根据预先设定的异常阈值对预处理后的第t时间段的原始数据Xt中包含的所有样本进行异常检测，从而得到Xt的预测结果；
步骤6、从预处理后的第t时间段的原始数据Xt以及所述高置信度样本集XH中筛选出新的高置信度样本：
步骤6.1、根据式(7)计算从所述高置信度样本集XH中进行进一步筛选的数量Nk′：
Nk′＝|C′k′|×(1-S(P,Q)) (7)
式(7)中，|C′k′|为第k′个簇C′k′中对应的样本数量；
步骤6.2、根据Xt的预测结果，筛选出预测结果为正常的样本，并形成正常数据集
Figure BDA0003206551250000042
步骤6.3、对正常数据集
Figure BDA0003206551250000043
进行k-means聚类，从而划分为K″个簇，并记为C″＝{C″1,C″2,…,C″k″,...,C″K″}；C″k″表示将正常数据集
Figure BDA0003206551250000045
聚类后的第k″个簇；
步骤6.4、根据式(8)计算从第k″个簇C″k″中筛选的高置信度正常样本数目Nk″：
Nk″＝|C″k″|×θ (8)
式(8)中，|C″k″|为第k″个簇C″k″中对应的样本数量，参数θ是提取的高置信度正常样本数量所占正常数据集
Figure BDA0003206551250000044
中样本总数的百分比；
步骤6.5、利用核密度估计方法分别计算第k′个簇C′k′以及第k″个簇C″k″中所包含的样本密度值，并根据样本密度值大小分别进行降序排序，分别依次选择第k′个簇C′k′和第k″个簇C″k″簇中的密度值最高的前Nk′和前Nk″个样本作为相应的高置信度正常样本，从而构成第k′个高置信度正常样本集合
Figure BDA0003206551250000051
和第k″个高置信度正常样本集合
Figure BDA0003206551250000052
其中，
Figure BDA0003206551250000053
表示为第k′个高置信度正常样本集合
Figure BDA0003206551250000054
中的第nk′个样本，
Figure BDA0003206551250000055
表示为第k″个高置信度正常样本集合
Figure BDA0003206551250000056
中的第nk″个样本；
步骤6.6、重复步骤6.1和步骤6.5的过程依次选择K′个簇和K″个簇的高置信度样本集合，并相应构建高置信度正常样本集
Figure BDA0003206551250000057
和
Figure BDA0003206551250000058
从而构成第t时间段的高置信度正常样本集
Figure BDA0003206551250000059
步骤7、对第t时间段k-means模型的聚类结果进行更新，以检测第t+1时间段的原始数据Xt+1；
步骤7.1、对XH′和XH″分别进行k-means聚类，相应获得历史高置信度样本聚类
Figure BDA00032065512500000510
和当前高置信度样本聚类
Figure BDA00032065512500000511
Figure BDA00032065512500000512
表示历史高置信度样本聚类Ch′中的第k′个簇，
Figure BDA00032065512500000513
表示当前高置信度样本聚类Ch″中的第k″个簇；
步骤7.2、根据式(9)计算历史高置信度样本聚类Ch'中第k′个簇
Figure BDA00032065512500000514
中的第nk′个样本
Figure BDA00032065512500000515
到其聚类中心
Figure BDA00032065512500000516
的最大距离Tk′并作为合并阈值；
Figure BDA00032065512500000517
式(9)中，
Figure BDA00032065512500000518
表示历史高置信度样本聚类Ch'中第k′个簇
Figure BDA00032065512500000519
的聚类中心；
步骤7.3、初始化k″＝1；
步骤7.4、分别计算第k″个簇
Figure BDA00032065512500000520
到历史高置信度样本聚类Ch′中各个聚类中心之间的距离，并找出最小距离，若最小距离小于合并阈值Tk′，则将最小距离所对应的簇
Figure BDA00032065512500000521
以及第k″个簇
Figure BDA00032065512500000522
进行合并后，加入更新后的高置信度样本聚类
Figure BDA00032065512500000523
否则将最小距离所对应的簇
Figure BDA00032065512500000524
以及第k″个簇
Figure BDA00032065512500000525
分别加入更新后的高置信度样本聚类
Figure BDA00032065512500000526
步骤7.5、将k″+1赋值给k″，将
Figure BDA00032065512500000527
赋值给Ch′，并返回步骤7.4执行，直到k″＞K″为止；从而得到第t时间段的高置信度正常样本集
Figure BDA00032065512500000528
的更新后的高置信度样本聚类
Figure BDA0003206551250000061
以及更新后的高置信度样本聚类
Figure BDA0003206551250000062
的聚类中心
Figure BDA0003206551250000063
其中，
Figure BDA0003206551250000064
表示更新后的高置信度样本聚类
Figure BDA0003206551250000065
中的第q个簇，
Figure BDA0003206551250000066
表示第q个簇
Figure BDA0003206551250000067
的距离中心；
步骤7.4、将
Figure BDA0003206551250000068
赋值给C′，将t+1赋值给t后，返回步骤3执行，直到t＝T为止，从而完成物联网场景中数据的异常检测。
与已有技术相比，本发明有益效果体现在：
1、本发明通过分别使用历史数据和当前数据来训练模型，并将两个模型的预测结果进行巧妙地融合，以当前和过去两个角度来综合考虑数据的异常程度，充分考虑了物联网数据中的时间因素，实现了对物联网异常的高效识别。
2、本发明通过聚类和概率密度函数相结合的方法来筛选数据流中的高置信度样本，该处理方式使筛选的正常样本更具有代表性，为后续的模型的更新持续提供大量有价值数据。
3、本发明通过不断从数据流中筛选出的高置信度正常样本来更新聚类模型，该处理模式考虑到了物联网数据的行为模式的动态变化，实现了在不忘记过去所学知识的基础上学习了新的知识。
4、本发明通过数据分布的相似度在当前与历史数据间建立连接，该处理模式可以平衡当前和历史数据所训练模型的检测结果集的重要性进行融合，使模型能够跟随数据分布的变化进行动态调整，实现了对物联网异常更精确的检测。
附图说明
图1为本发明一种无监督的基于增量学习的动态物联网异常检测方法流程图；
图2为本发明异常检测方法示意图。
具体实施方式
本实施例中，参见图1，一种无监督的基于增量学习的动态物联网异常检测方法是按如下步骤进行：
步骤1、按照时间顺序获取物联网场景中的数据集记为
Figure BDA00032065512500000611
其中，
Figure BDA0003206551250000069
为初始数据块，
Figure BDA00032065512500000610
表示第t时间段的原始数据，t＝1,2,...,T；T表示总时间；
对所述数据集XO进行预处理，得到预处理后的数据集X＝{XS,X1,X2,…,Xt,…,XT}；XS为预处理后的初始数据块，且XS＝{xs1,xs2,...,xsm,...,xsM}，xsm表示预处理后的初始数据块XS中第m个样本；M表示样本总量；Xt表示预处理后的第t时间段的原始数据，且Xt＝{xt1,xt2,...,xtn,...,xtN}，xtn表示预处理后的第t时间段的原始数据Xt中第n个样本；N表示样本总量；该真实智能家居异常数据集为DS2OS，其中异常样本中包含7种攻击类型，其分别是网络扫描，间谍，恶意控制，恶意操作，拒绝服务，数据类型探测和错误设置；在本实例中按照数据收集的时间顺序，将前9％的数据作为初始化数据块XS；余下数据按照时间顺序等量分为十个批次，即T＝10；
步骤2、构建高置信度正常样本集；
步骤2.1、对预处理后的初始数据块XS进行k-means聚类，从而划分为K个簇，记为C＝{C1,C2,...,Ck,...,CK}；Ck表示将预处理后的初始数据块XS聚类后的第k个簇，k＝1,2,...,K；在本实施例中，K取值为5；
步骤2.2、根据式(1)计算从第k个簇Ck中筛选的高置信度正常样本数量Nk：
Nk＝|Ck|×θ (1)
式(1)中，参数θ是筛选的高置信度正常样本数量所占预处理后的初始数据块XS中样本总量M的百分比，本例中参数θ默认为0.2；|Ck|为第k个簇Ck中对应的样本数量；
步骤2.3、利用核密度估计方法计算第k个簇Ck中所包含样本的密度值，并根据样本的密度值大小进行降序排序，从而选择密度值最高的前Nk个样本并构成第k个高置信度正常样本集合，记为
Figure BDA0003206551250000071
Figure BDA0003206551250000072
表示第k个高置信度正常样本集合
Figure BDA0003206551250000073
中第nk个正常样本；
步骤2.4、按照步骤2.2和步骤2.3的过程依次选择K个簇的高置信度正常样本集合，并构建高置信度正常样本集
Figure BDA0003206551250000074
Figure BDA0003206551250000075
表示从第k个簇Ck中筛选出的高置信度样本集；
步骤2.5、根据高置信度正常样本集XH来训练k-means模型，从而划分为K′个簇，此时K′取值为5；并得到聚类结果记为C′＝{C′1,C′2,…,C′k′,...,C′K′}，C′k′表示将高置信度正常样本集XH聚类后的第k′个簇；令聚类中心为U＝{u1,u2,...,uk′,...,uK′}；uk′表示为高置信度正常样本集XH中第k′个簇C′k′的聚类中心；
步骤3、利用式(2)计算预处理后的第t时间段的原始数据Xt中第n个样本xtn的异常程分数PS(xtn)：
Figure BDA0003206551250000081
步骤4、通过预处理后的第t时间段的原始数据Xt训练孤立森林模型，并通过训练好的孤立森林模型对预处理后的第t时间段的原始数据Xt中的异常样本进行进一步识别：
步骤4.1、训练孤立森林模型：
步骤4.1.1、从预处理后的第t时间段的原始数据Xt中随机抽取ψ个样本构成预处理后的第t时间段的原始数据Xt的子集
Figure BDA0003206551250000082
放入根节点；
Figure BDA0003206551250000083
表示子集X′t中的第
Figure BDA0003206551250000084
个样本；
步骤4.1.2、随机指定子集X′t中第
Figure BDA0003206551250000085
个样本
Figure BDA0003206551250000086
的一个维度，并用于在当前样本
Figure BDA0003206551250000087
中随机产生一个切割点p；
步骤4.1.3、将预处理后的第t时间段的原始数据Xt中其余样本的维度依次与p进行比较，若小于p，则将相应样本放入第
Figure BDA0003206551250000088
个样本
Figure BDA0003206551250000089
的左子节点，否则放入第
Figure BDA00032065512500000810
个样本
Figure BDA00032065512500000811
的右子节点；
步骤4.1.4、按照步骤4.1.2和步骤4.1.3的过程对左右子节点进行递归操作，直至所有的叶子节点都只有一个样本点或者孤立树已经达到指定的高度；从而得到一棵孤立树；
步骤4.1.5、按照步骤4.1.1至步骤4.1.4的过程进行循环操作，直至生成指定数目的孤立树并构成训练好的孤立森林模型；
步骤4.2、根据训练好的孤立森林模型，对预处理后的第t时间段的原始数据Xt中第n个样本xtn的异常程度进行计算：
步骤4.2.1、遍历训练好的每一棵孤立树，并计算第n个样本xtn在孤立森林模型中的平均高度h(xtn)；
步骤4.2.2、利用式(3)计算第n个样本xtn的异常分数CS(xtn)：
Figure BDA00032065512500000812
式(3)中，N是参与构建森林的样本总数，H(·)为调和级数，在本实施例中，H(N)被估计为ln(N)+0.5772156649；
步骤5、如图2所示，将两种异常模型检测结果进行融合，识别预处理后的第t时间段的原始数据Xt中的异常样本：
步骤5.1、根据式(4)计算高置信度正常样本集XH与预处理后的第t时间段的原始数据Xt的数据分布的相似度S(P,Q)：
Figure BDA0003206551250000091
式(4)中，P表示所筛选出的高置信度正常数据集XH的概率分布；Q表示预处理后的第t时间段的原始数据Xt的概率分布；当高置信度正常样本集XH与预处理后的第t时间段的原始数据Xt的数据分布的相似度越高，则S(P,Q)值越小，且S(P,Q)∈[0,1]；
步骤5.2、利用式(5)得到调节参数ω：
ω＝min(max(S(P,Q),σ),ρ) (5)
式(5)中，σ和ρ均是预定义的参数，且σ和ρ分别是参数ω的下界和上界，ω∈[0,1]；在本实施例中，σ默认为0.6，ρ默认为0.9；
步骤5.3、利用式(6)得到第n个样本xtn的综合异常分数AS(xtn)并作为两种异常检测模型的融合结果：
AS(xtn)＝(1-ω)×PS(xtn)+ω×CS(xtn) (6)
步骤5.4、根据预先设定的异常阈值对预处理后的第t时间段的原始数据Xt中包含的所有样本进行异常检测，当从而得到Xt的预测结果；通过分布相似度来将两种异常模型的预测结果进行融合可以有效避免数据分布变化而导致的模型检测效果下降问题，使检测结果更加准确可靠；
步骤6、从预处理后的第t时间段的原始数据Xt以及所述高置信度样本集XH中筛选出新的高置信度样本：
步骤6.1、根据式(7)计算从所述高置信度样本集XH中进行进一步筛选的数量Nk′：
Nk′＝|C′k′|×(1-S(P,Q)) (7)
式(7)中，|C′k′|为第k′个簇C′k′中对应的样本数量；当高置信度正常样本集XH与预处理后的第t时间段的原始数据Xt的数据分布的相似度越高，即S(P,Q)值越小时，则从XH中选取更多数量的高置信度样本进行保留；
步骤6.2、根据Xt的预测结果，筛选出预测结果为正常的样本，并形成正常数据集
Figure BDA0003206551250000092
步骤6.3、对正常数据集
Figure BDA0003206551250000093
进行k-means聚类，从而划分为K″个簇，K″的值在本实施例中默认为5，并记为C″＝{C″1,C″2,...,C″k″,...,C″K″}；C″k″表示将正常数据集
Figure BDA0003206551250000101
聚类后的第k″个簇；
步骤6.4、根据式(8)计算从第k″个簇C″k″中筛选的高置信度正常样本数目Nk″：
Nk″＝|C″k″|×θ (8)
式(8)中，|C″k″|为第k″个簇C″k″中对应的样本数量，参数θ是提取的高置信度正常样本数量所占正常数据集
Figure BDA0003206551250000102
中样本总数的百分比；参数θ的值在本实施例中默认为0.2；
步骤6.5、利用核密度估计方法分别计算第k′个簇C′k′以及第k″个簇C″k″中所包含的样本密度值，并根据样本密度值大小分别进行降序排序，分别依次选择第k′个簇C′k′和第k″个簇C″k″簇中的密度值最高的前Nk′和前Nk″个样本作为相应的高置信度正常样本，从而构成第k′个高置信度正常样本集合
Figure BDA0003206551250000103
和第k″个高置信度正常样本集合
Figure BDA0003206551250000104
其中，
Figure BDA0003206551250000105
表示为第k′个高置信度正常样本集合
Figure BDA0003206551250000106
中的第nk′个样本，
Figure BDA0003206551250000107
表示为第k″个高置信度正常样本集合
Figure BDA0003206551250000108
中的第nk″个样本；
步骤6.6、重复步骤6.1和步骤6.5的过程依次选择K′个簇和K″个簇的高置信度样本集合，并相应构建高置信度正常样本集
Figure BDA0003206551250000109
和
Figure BDA00032065512500001010
从而构成第t时间段的高置信度正常样本集
Figure BDA00032065512500001011
步骤7、对第t时间段k-means模型的聚类结果进行更新，以检测第t+1时间段的原始数据Xt+1；
步骤7.1、对XH′和XH″分别进行k-means聚类，其中聚类数目K′与K″在本实施例中取值均为5，并相应获得历史高置信度样本聚类
Figure BDA00032065512500001012
和当前高置信度样本聚类
Figure BDA00032065512500001013
Figure BDA00032065512500001014
表示历史高置信度样本聚类Ch′中的第k′个簇，
Figure BDA00032065512500001015
表示当前高置信度样本聚类Ch″中的第k″个簇；
步骤7.2、根据式(9)计算历史高置信度样本聚类Ch'中第k′个簇
Figure BDA00032065512500001016
中的第nk′个样本
Figure BDA00032065512500001017
到其聚类中心
Figure BDA00032065512500001018
的最大距离Tk′并作为合并阈值；
Figure BDA00032065512500001019
式(9)中，
Figure BDA0003206551250000111
表示历史高置信度样本聚类Ch'中第k′个簇
Figure BDA0003206551250000112
的聚类中心；
步骤7.3、初始化k″＝1；
步骤7.4、分别计算第k″个簇
Figure BDA0003206551250000113
到历史高置信度样本聚类Ch′中各个聚类中心之间的距离，并找出最小距离，若最小距离小于合并阈值Tk′，则将最小距离所对应的簇
Figure BDA0003206551250000114
以及第k″个簇
Figure BDA0003206551250000115
进行合并后，加入更新后的高置信度样本聚类
Figure BDA0003206551250000116
否则将最小距离所对应的簇
Figure BDA0003206551250000117
以及第k″个簇
Figure BDA0003206551250000118
分别加入更新后的高置信度样本聚类
Figure BDA0003206551250000119
步骤7.5、将k″+1赋值给k″，将
Figure BDA00032065512500001110
赋值给Ch′，并返回步骤7.4执行，直到k″＞K″为止；从而得到第t时间段的高置信度正常样本集
Figure BDA00032065512500001111
的更新后的高置信度样本聚类
Figure BDA00032065512500001112
以及更新后的高置信度样本聚类
Figure BDA00032065512500001113
的聚类中心
Figure BDA00032065512500001114
其中，
Figure BDA00032065512500001115
表示更新后的高置信度样本聚类
Figure BDA00032065512500001116
中的第q个簇，
Figure BDA00032065512500001117
表示第q个簇
Figure BDA00032065512500001118
的距离中心；
步骤7.4、将
Figure BDA00032065512500001119
赋值给C′，将t+1赋值给t后返回步骤3执行，直到t＝T为止，从而完成物联网场景中数据的异常检测。
实施例：
为了验证本方法中的有效性，本文选用了Kaggle网站中公开的智能家居通信异常检测时序数据集DS2OS。对于该数据集而言，其中异常样本约占3％。此外，在本实例中并采用准确率和F1分数作为定量评价标准。
本实施例中选用五种方法和本发明方法进行效果对比，所选方法分别是OC-SVM、孤立森林(IF)、COPOD、LODA、UIDAD-P，UIDAD为发明方法，UIDAD-P为UIDAD去掉孤立森林部分的方法，即仅通过历史数据训练的模型对异常进行识别；根据实验结果可得出结果如表1和表2所示：
表1本发明方法与选用的五种对比方法在智能家居数据集上10个批次进行异常检测的准确率
Figure BDA00032065512500001120
Figure BDA0003206551250000121
表2本发明方法与选用的五种对比方法在智能家居数据集上10个批次进行异常检测的F1分数
Figure BDA0003206551250000122
实验结果显示本发明方法与其它五种方法相比效果都要更好,从而证明了本发明提出方法的可行性。

Claims (1)

1.一种无监督的基于增量学习的动态物联网异常检测方法，其特征是按如下步骤进行：
步骤1、按照时间顺序获取物联网场景中的数据集记为
Figure FDA0003206551240000011
其中，
Figure FDA0003206551240000012
为初始数据块，
Figure FDA0003206551240000013
表示第t时间段的原始数据，t＝1,2,…,T；T表示总时间；
对所述数据集XO进行预处理，得到预处理后的数据集X＝{XS,X1,X2,…,Xt,…,XT}；XS为预处理后的初始数据块，且XS＝{xs1,xs2,...,xsm,...,xsM}，xsm表示预处理后的初始数据块XS中第m个样本；M表示样本总量；Xt表示预处理后的第t时间段的原始数据，且Xt＝{xt1,xt2,...,xtn,...,xtN}，xtn表示预处理后的第t时间段的原始数据Xt中第n个样本；N表示样本总量；
步骤2、构建高置信度正常样本集；
步骤2.1、对预处理后的初始数据块XS进行k-means聚类，从而划分为K个簇，记为C＝{C1,C2,…,Ck,...,CK}；Ck表示将预处理后的初始数据块XS聚类后的第k个簇，k＝1,2,…,K；
步骤2.2、根据式(1)计算从第k个簇Ck中筛选的高置信度正常样本数量Nk：
Nk＝|Ck|×θ (1)
式(1)中，参数θ是筛选的高置信度正常样本数量所占预处理后的初始数据块XS中样本总量M的百分比；|Ck|为第k个簇Ck中对应的样本数量；
步骤2.3、利用核密度估计方法计算第k个簇Ck中所包含样本的密度值，并根据样本的密度值大小进行降序排序，从而选择密度值最高的前Nk个样本并构成第k个高置信度正常样本集合，记为
Figure FDA0003206551240000014
Figure FDA0003206551240000015
表示第k个高置信度正常样本集合
Figure FDA0003206551240000016
中第nk个正常样本；
步骤2.4、按照步骤2.2和步骤2.3的过程依次选择K个簇的高置信度正常样本集合，并构建高置信度正常样本集
Figure FDA0003206551240000017
Figure FDA0003206551240000018
表示从第k个簇Ck中筛选出的高置信度样本集；
步骤2.5、根据高置信度正常样本集XH来训练k-means模型，从而划分为K′个簇，并得到聚类结果记为C′＝{C′1,C′2,...,C′k′,...,C′K′}，C′k′表示将高置信度正常样本集XH聚类后的第k′个簇；令聚类中心为U＝{u1,u2,...,uk′,...,uK′}；uk′表示为高置信度正常样本集XH中第k′个簇C′k′的聚类中心；
步骤3、利用式(2)计算预处理后的第t时间段的原始数据Xt中第n个样本xtn的异常程分数PS(xtn)：
Figure FDA0003206551240000021
步骤4、通过预处理后的第t时间段的原始数据Xt训练孤立森林模型，并通过训练好的孤立森林模型对预处理后的第t时间段的原始数据Xt中的异常样本进行进一步识别：
步骤4.1、训练孤立森林模型：
步骤4.1.1、从预处理后的第t时间段的原始数据Xt中随机抽取ψ个样本构成预处理后的第t时间段的原始数据Xt的子集
Figure FDA0003206551240000022
放入根节点；
Figure FDA0003206551240000023
表示子集X′t中的第
Figure FDA0003206551240000024
个样本；
步骤4.1.2、随机指定子集X′t中第
Figure FDA0003206551240000025
个样本
Figure FDA0003206551240000026
的一个维度，并用于在当前样本
Figure FDA0003206551240000027
中随机产生一个切割点p；
步骤4.1.3、将预处理后的第t时间段的原始数据Xt中其余样本的维度依次与p进行比较，若小于p，则将相应样本放入第
Figure FDA0003206551240000028
个样本
Figure FDA0003206551240000029
的左子节点，否则放入第
Figure FDA00032065512400000210
个样本
Figure FDA00032065512400000211
的右子节点；
步骤4.1.4、按照步骤4.1.2和步骤4.1.3的过程对左右子节点进行递归操作，直至所有的叶子节点都只有一个样本点或者孤立树已经达到指定的高度；从而得到一棵孤立树；
步骤4.1.5、按照步骤4.1.1至步骤4.1.4的过程进行循环操作，直至生成指定数目的孤立树并构成训练好的孤立森林模型；
步骤4.2、根据训练好的孤立森林模型，对预处理后的第t时间段的原始数据Xt中第n个样本xtn的异常程度进行计算：
步骤4.2.1、遍历训练好的每一棵孤立树，并计算第n个样本xtn在孤立森林模型中的平均高度h(xtn)；
步骤4.2.2、利用式(3)计算第n个样本xtn的异常分数CS(xtn)：
Figure FDA00032065512400000212
式(3)中，N是参与构建森林的样本总数，H(·)为调和级数；
步骤5、将两种异常模型检测结果进行融合，识别预处理后的第t时间段的原始数据Xt中的异常样本：
步骤5.1、根据式(4)计算高置信度正常样本集XH与预处理后的第t时间段的原始数据Xt的数据分布的相似度S(P,Q)：
Figure FDA0003206551240000031
式(4)中，P表示所筛选出的高置信度正常数据集XH的概率分布；Q表示预处理后的第t时间段的原始数据Xt的概率分布；且S(P,Q)∈[0,1]；
步骤5.2、利用式(5)得到调节参数ω：
ω＝min(max(S(P,Q),σ),ρ) (5)
式(5)中，σ和ρ均是预定义的参数，且σ和ρ分别是参数ω的下界和上界，ω∈[0,1]；
步骤5.3、利用式(6)得到第n个样本xtn的综合异常分数AS(xtn)并作为两种异常检测模型的融合结果：
AS(xtn)＝(1-ω)×PS(xtn)+ω×CS(xtn) (6)
步骤5.4、根据预先设定的异常阈值对预处理后的第t时间段的原始数据Xt中包含的所有样本进行异常检测，从而得到Xt的预测结果；
步骤6、从预处理后的第t时间段的原始数据Xt以及所述高置信度样本集XH中筛选出新的高置信度样本：
步骤6.1、根据式(7)计算从所述高置信度样本集XH中进行进一步筛选的数量Nk′：
Nk′＝|C′k′|×(1-S(P,Q)) (7)
式(7)中，|C′k′|为第k′个簇C′k′中对应的样本数量；
步骤6.2、根据Xt的预测结果，筛选出预测结果为正常的样本，并形成正常数据集
Figure FDA0003206551240000032
步骤6.3、对正常数据集
Figure FDA0003206551240000033
进行k-means聚类，从而划分为K″个簇，并记为C″＝{C″1,C″2,...,C″k″,...,C″K″}；C″k″表示将正常数据集
Figure FDA0003206551240000034
聚类后的第k″个簇；
步骤6.4、根据式(8)计算从第k″个簇C″k″中筛选的高置信度正常样本数目Nk″：
Nk″＝|C″k″|×θ (8)
式(8)中，|C″k″|为第k″个簇C″k″中对应的样本数量，参数θ是提取的高置信度正常样本数量所占正常数据集
Figure FDA0003206551240000041
中样本总数的百分比；
步骤6.5、利用核密度估计方法分别计算第k′个簇C′k′以及第k″个簇C″k″中所包含的样本密度值，并根据样本密度值大小分别进行降序排序，分别依次选择第k′个簇C′k′和第k″个簇C″k″簇中的密度值最高的前Nk′和前Nk″个样本作为相应的高置信度正常样本，从而构成第k′个高置信度正常样本集合
Figure FDA0003206551240000042
和第k″个高置信度正常样本集合
Figure FDA0003206551240000043
其中，
Figure FDA0003206551240000044
表示为第k′个高置信度正常样本集合
Figure FDA0003206551240000045
中的第nk′个样本，
Figure FDA0003206551240000046
表示为第k″个高置信度正常样本集合
Figure FDA0003206551240000047
中的第nk″个样本；
步骤6.6、重复步骤6.1和步骤6.5的过程依次选择K′个簇和K″个簇的高置信度样本集合，并相应构建高置信度正常样本集
Figure FDA0003206551240000048
和
Figure FDA0003206551240000049
从而构成第t时间段的高置信度正常样本集
Figure FDA00032065512400000410
步骤7、对第t时间段k-means模型的聚类结果进行更新，以检测第t+1时间段的原始数据Xt+1；
步骤7.1、对XH′和XH″分别进行k-means聚类，相应获得历史高置信度样本聚类
Figure FDA00032065512400000411
和当前高置信度样本聚类
Figure FDA00032065512400000412
Figure FDA00032065512400000413
表示历史高置信度样本聚类Ch′中的第k′个簇，
Figure FDA00032065512400000414
表示当前高置信度样本聚类Ch″中的第k″个簇；
步骤7.2、根据式(9)计算历史高置信度样本聚类Ch'中第k′个簇
Figure FDA00032065512400000415
中的第nk′个样本
Figure FDA00032065512400000416
到其聚类中心
Figure FDA00032065512400000417
的最大距离Tk′并作为合并阈值；
Figure FDA00032065512400000418
式(9)中，
Figure FDA00032065512400000419
表示历史高置信度样本聚类Ch'中第k′个簇
Figure FDA00032065512400000420
的聚类中心；
步骤7.3、初始化k″＝1；
步骤7.4、分别计算第k″个簇
Figure FDA00032065512400000421
到历史高置信度样本聚类Ch′中各个聚类中心之间的距离，并找出最小距离，若最小距离小于合并阈值Tk′，则将最小距离所对应的簇
Figure FDA00032065512400000422
以及第k″个簇
Figure FDA0003206551240000051
进行合并后，加入更新后的高置信度样本聚类
Figure FDA0003206551240000052
否则将最小距离所对应的簇
Figure FDA0003206551240000053
以及第k″个簇
Figure FDA0003206551240000054
分别加入更新后的高置信度样本聚类
Figure FDA0003206551240000055
步骤7.5、将k″+1赋值给k″，将
Figure FDA0003206551240000056
赋值给Ch′，并返回步骤7.4执行，直到k″＞K″为止；从而得到第t时间段的高置信度正常样本集
Figure FDA0003206551240000057
的更新后的高置信度样本聚类
Figure FDA0003206551240000058
以及更新后的高置信度样本聚类
Figure FDA0003206551240000059
的聚类中心
Figure FDA00032065512400000510
其中，
Figure FDA00032065512400000511
表示更新后的高置信度样本聚类
Figure FDA00032065512400000512
中的第q个簇，
Figure FDA00032065512400000513
表示第q个簇
Figure FDA00032065512400000514
的距离中心；
步骤7.4、将
Figure FDA00032065512400000515
赋值给C′，将t+1赋值给t后，返回步骤3执行，直到t＝T为止，从而完成物联网场景中数据的异常检测。
CN202110918457.0A 2021-08-11 2021-08-11 一种无监督的基于增量学习的动态物联网异常检测方法 Active CN113645098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110918457.0A CN113645098B (zh) 2021-08-11 2021-08-11 一种无监督的基于增量学习的动态物联网异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110918457.0A CN113645098B (zh) 2021-08-11 2021-08-11 一种无监督的基于增量学习的动态物联网异常检测方法

Publications (2)

Publication Number Publication Date
CN113645098A true CN113645098A (zh) 2021-11-12
CN113645098B CN113645098B (zh) 2022-08-09

Family

ID=78420776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110918457.0A Active CN113645098B (zh) 2021-08-11 2021-08-11 一种无监督的基于增量学习的动态物联网异常检测方法

Country Status (1)

Country Link
CN (1) CN113645098B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914052A (zh) * 2022-10-28 2023-04-04 京东科技信息技术有限公司 域名健康状况的检测方法和装置
CN117113241A (zh) * 2023-05-12 2023-11-24 中南大学 基于边缘学习的智能漏损监测方法
CN117289778A (zh) * 2023-11-27 2023-12-26 惠州市鑫晖源科技有限公司 一种工控主机电源健康状态的实时监测方法
CN117370898A (zh) * 2023-12-08 2024-01-09 钛合联(深圳)科技有限公司 一种电子数据安全管控系统
CN117576823A (zh) * 2023-11-29 2024-02-20 上海徽视科技集团有限公司 一种排队叫号系统终端
CN117938725A (zh) * 2024-03-22 2024-04-26 江西省通信产业服务有限公司 用于hvac的物联网设备通信异常检测方法及系统
CN118013323A (zh) * 2024-04-08 2024-05-10 天津市塘沽第一阀门有限公司 一种大口径电动半球阀的驱动电机状态分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414555A (zh) * 2019-06-20 2019-11-05 阿里巴巴集团控股有限公司 检测异常样本的方法及装置
US20200374720A1 (en) * 2018-06-04 2020-11-26 Jiangnan University Method for Detecting Abnormal Data in Sensor Network
CN112905583A (zh) * 2021-04-01 2021-06-04 辽宁工程技术大学 一种高维大数据离群点检测方法
CN113112374A (zh) * 2020-12-21 2021-07-13 中国计量大学 一种基于机器学习算法的空巢用户用电异常检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200374720A1 (en) * 2018-06-04 2020-11-26 Jiangnan University Method for Detecting Abnormal Data in Sensor Network
CN110414555A (zh) * 2019-06-20 2019-11-05 阿里巴巴集团控股有限公司 检测异常样本的方法及装置
CN113112374A (zh) * 2020-12-21 2021-07-13 中国计量大学 一种基于机器学习算法的空巢用户用电异常检测方法
CN112905583A (zh) * 2021-04-01 2021-06-04 辽宁工程技术大学 一种高维大数据离群点检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAORAN MA等: "Isolation Mondrian Forest for Batch and Online Anomaly Detection", 《 2020 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》 *
XIN-XUE LIN等: "Anomaly Detection/Prediction for the Internet of Things: State of the Art and the Future", 《IEEE NETWORK》 *
赵嫚等: "基于模糊聚类和孤立森林的用电数据异常检测", 《陕西理工大学学报(自然科学版)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914052A (zh) * 2022-10-28 2023-04-04 京东科技信息技术有限公司 域名健康状况的检测方法和装置
CN115914052B (zh) * 2022-10-28 2024-05-17 京东科技信息技术有限公司 域名健康状况的检测方法和装置
CN117113241A (zh) * 2023-05-12 2023-11-24 中南大学 基于边缘学习的智能漏损监测方法
CN117289778A (zh) * 2023-11-27 2023-12-26 惠州市鑫晖源科技有限公司 一种工控主机电源健康状态的实时监测方法
CN117289778B (zh) * 2023-11-27 2024-03-26 惠州市鑫晖源科技有限公司 一种工控主机电源健康状态的实时监测方法
CN117576823A (zh) * 2023-11-29 2024-02-20 上海徽视科技集团有限公司 一种排队叫号系统终端
CN117576823B (zh) * 2023-11-29 2024-05-14 上海徽视科技集团有限公司 一种排队叫号系统终端
CN117370898A (zh) * 2023-12-08 2024-01-09 钛合联(深圳)科技有限公司 一种电子数据安全管控系统
CN117370898B (zh) * 2023-12-08 2024-03-12 钛合联(深圳)科技有限公司 一种电子数据安全管控系统
CN117938725A (zh) * 2024-03-22 2024-04-26 江西省通信产业服务有限公司 用于hvac的物联网设备通信异常检测方法及系统
CN118013323A (zh) * 2024-04-08 2024-05-10 天津市塘沽第一阀门有限公司 一种大口径电动半球阀的驱动电机状态分析方法及系统
CN118013323B (zh) * 2024-04-08 2024-06-11 天津市塘沽第一阀门有限公司 一种大口径电动半球阀的驱动电机状态分析方法及系统

Also Published As

Publication number Publication date
CN113645098B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN113645098B (zh) 一种无监督的基于增量学习的动态物联网异常检测方法
CN112069485B (zh) 基于用户行为的安全处理方法、装置及设备
CN111783875A (zh) 基于聚类分析的异常用户检测方法、装置、设备及介质
CN110880019B (zh) 通过无监督域适应训练目标域分类模型的方法
CN111444951B (zh) 样本识别模型的生成方法、装置、计算机设备和存储介质
TW201730766A (zh) 異常訪問檢測方法及設備
CN109063456B (zh) 图像型验证码的安全性检测方法及系统
CN103716204A (zh) 一种基于维纳过程的异常入侵检测集成学习方法及装置
CN111105160A (zh) 一种基于倾向性异质装袋算法的钢材质量预测方法
CN111241992B (zh) 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN114386514B (zh) 基于动态网络环境下的未知流量数据识别方法及装置
CN112926045B (zh) 一种基于逻辑回归模型的群控设备识别方法
Mi et al. A multiple classifier fusion algorithm using weighted decision templates
CN110020868B (zh) 基于线上交易特征的反欺诈模块决策融合方法
CN111652257A (zh) 一种样本数据清洗方法及系统
Jordaney et al. Misleading metrics: On evaluating machine learning for malware with confidence
CN113205134A (zh) 一种网络安全态势预测方法及系统
CN109981672B (zh) 一种基于半监督聚类的多层入侵检测方法
CN113438239B (zh) 一种基于深度k近邻的网络攻击检测方法及装置
CN113516189A (zh) 基于两阶段随机森林算法的网站恶意用户预测方法
CN112785004A (zh) 一种基于粗糙集理论和d-s证据理论的温室智能决策方法
CN111563532A (zh) 一种基于属性权重融合的未知目标识别方法
CN113810333B (zh) 基于半监督谱聚类和集成svm的流量检测方法及系统
CN110263196B (zh) 图像检索方法、装置、电子设备及存储介质
Danganan et al. An improved overlapping clustering algorithm to detect outlier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant