CN114692783B - 基于分层图偏差网络的智能服务异常检测方法 - Google Patents
基于分层图偏差网络的智能服务异常检测方法 Download PDFInfo
- Publication number
- CN114692783B CN114692783B CN202210429735.0A CN202210429735A CN114692783B CN 114692783 B CN114692783 B CN 114692783B CN 202210429735 A CN202210429735 A CN 202210429735A CN 114692783 B CN114692783 B CN 114692783B
- Authority
- CN
- China
- Prior art keywords
- data
- similarity
- group
- environmental data
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 230000005856 abnormality Effects 0.000 title claims abstract description 20
- 230000007613 environmental effect Effects 0.000 claims abstract description 156
- 230000002093 peripheral effect Effects 0.000 claims abstract description 138
- 238000012544 monitoring process Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims description 181
- 230000008859 change Effects 0.000 claims description 88
- 239000011159 matrix material Substances 0.000 claims description 84
- 238000012549 training Methods 0.000 claims description 30
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000005265 energy consumption Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000000243 solution Substances 0.000 description 8
- 239000000779 smoke Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请提供了一种基于分层图偏差网络的智能服务异常检测方法,其中,该方法包括:接收对目标对象进行监控的设备群组内的中心设备和第一外围设备在第一时间段内各自对外部环境进行监控得到的第一环境数据;根据中心设备的第一环境数据和第一外围设备的第一环境数据,预测出中心设备在第一时间段之后的第一时刻产生的第一预测环境数据;计算接收到的中心设备在第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的第一预测环境数据之间的第一偏差值;第一偏差值用于判断设备群组中的设备在第一时刻监控到的第一目标环境数据是否发生异常变化。通过该方法有利于减少数据传输能耗。
Description
技术领域
本申请涉及检测技术领域,尤其是涉及一种基于分层图偏差网络的智能服务异常检测方法。
背景技术
在对智能服务系统中的各个设备(例如传感器设备)产生的数据进行异常检测时,现有技术中包括两种情况,第一种情况是基于单变量时间序列建模的异常检测方法,具体地,通过构建一个检测模型,使用该检测模型分别对每个设备产生的数据进行异常检测,也就是说这个检测模型需要适用于智能服务系统中的每个设备的数据,并且该检测模型中对每个设备数据的检测方法是一样的(例如,当智能服务系统为火警检测系统时,此时这个检测模型即需要检测光照,还需要检测烟雾浓度等)。在这种情况下,该检测模型并没有考虑不同设备数据之间的区别,只从数据层面理解都是时间序列数据,也没有考虑到不同设备数据之间的相关性,使得检测的准确性较低。
第二种情况是基于多变量时间序列建模的异常检测方法,具体地,针对整个智能服务系统设计一个检测模型,使用该检测模型同时对所有设备的数据进行检测,这个检测模型考虑了各个设备数据之间的区别,即检测模型学习了不同设备数据之间的特性。也就是说这个检测模型把所有设备数据考虑成了一个整体,将所有设备的数据都输入到该检测模型中,输出为每个设备的检测结果。这种方法虽然考虑了各个设备数据之间的区别,但是也没有考虑设备数据之间的相关性,导致检测的准确性不高。
并且,异常检测设备在对智能服务系统中的设备的数据进行异常检测时,现有技术中,智能服务系统中的每个设备均需要将自身的数据传输到异常检测设备中,导致智能服务系统的数据传输能耗较高。
发明内容
有鉴于此,本申请的目的在于提供一种基于分层图偏差网络的智能服务异常检测方法,以减少数据传输能耗,提高异常检测的准确性。
第一方面,本申请实施例提供了一种基于分层图偏差网络的智能服务异常检测方法,包括:
接收对目标对象进行监控的设备群组内的中心设备和第一外围设备在第一时间段内各自对外部环境进行监控得到的第一环境数据;同一设备群组内的任意不同设备之间的数据变化情况相似度均大于预设数值;所述中心设备的参考相似度大于其他设备的参考相似度;所述参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的;同一设备群组中所述第一外围设备与所述中心设备之间的数据变化情况相似度大于第二外围设备与所述中心设备之间的数据变化情况相似度;
通过图偏差网络模型,根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据;
通过所述图偏差网络模型,计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值;所述第一偏差值用于判断所述设备群组中的设备在所述第一时刻监控到的第一目标环境数据是否发生异常变化。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据,包括:
针对每个所述第一外围设备,根据用于表示所述中心设备的所述第一环境数据的第一高维特征向量、用于表示该第一外围设备的所述第一环境数据的第二高维特征向量、用于表示所述中心设备在所述第一时间段之前的历史时间段内对外部环境进行监控得到的第二环境数据的第三高维特征向量、用于表示该第一外围设备在所述历史时间段内对外部环境进行监控得到的第二环境数据的第四高维特征向量,计算该第一外围设备的注意力系数;所述注意力系数用于表示所述第一外围设备的数据变化情况对所述中心设备的数据变化情况的影响程度;
根据所述第一高维特征向量、每个所述第一外围设备的所述第二高维特征向量和所述注意力系数,计算在所述第一时刻所述中心设备的环境特征向量;
将所述环境特征向量与所述第三高维特征向量之间的向量积输入到所述图偏差网络模型的全连接层中,预测出所述中心设备在所述第一时刻产生的所述第一预测环境数据。
结合第一方面,本申请实施例提供了第一方面的第二种可能的实施方式,其中,所述计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值,包括:
当所述第一偏差数据大于预设阈值时,则确定所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化;
当所述第一偏差数据不大于预设阈值时,则确定所述设备群组中的每个设备在所述第一时刻监控到的第一目标环境数据未发生异常变化。
结合第一方面的第二种可能的实施方式,本申请实施例提供了第一方面的第三种可能的实施方式,其中,当所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化之后,还包括:
接收目标设备群组中的各个设备在所述第一时间段之后的第二时间段内各自对外部环境进行监控得到的第三环境数据;所述目标设备群组为至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化的设备群组;
通过所述图偏差网络模型,根据所述目标设备群组中的各个设备的所述第三环境数据,预测出所述目标设备群组中的各个设备在所述第二时间段之后的第二时刻产生的第二预测环境数据;
针对所述目标设备群组中的每个设备,通过所述图偏差网络模型,计算接收到的该设备在所述第二时刻对外部环境进行监控得到的第二目标环境数据与预测出的所述第二预测环境数据之间的第二偏差值;所述第二偏差值用于判断该设备在所述第二时刻监控到的所述第二目标环境数据是否发生了异常变化。
结合第一方面的第一种可能的实施方式,本申请实施例提供了第一方面的第四种可能的实施方式,其中,所述图偏差网络模型是通过以下方式训练得到的:
接收对所述目标对象进行监控的所有设备在所述历史时间段内各自对外部环境进行监控得到的第二环境数据;
针对每个设备,根据该设备的所述第二环境数据和其他设备的所述第二环境数据之间的数据变化情况相似度由大到小的顺序,从其他设备中确定出第一预设数量的设备作为该设备的初始外围设备;
针对每个设备,通过待训练的初始图偏差网络模型,根据该设备的第二环境数据和该设备的初始外围设备的第二环境数据,预测出该设备在所述历史时间段之后的第三时刻产生的第三预测环境数据;
根据每个设备的在所述第三时刻对外部环境进行监控得到的第三目标环境数据以及预测出的所述第三预测环境数据,计算所述初始图偏差网络模型的损失函数得到损失数值,以及使用所述损失数值对所述初始图偏差网络模型中的可学习参数进行反向传播训练,直至所述初始图偏差网络模型达到训练截止条件,训练完成,并将训练完成后的初始图偏差网络模型确定为所述图偏差网络模型。
结合第一方面的第四种可能的实施方式,本申请实施例提供了第一方面的第五种可能的实施方式,其中,在所述图偏差网络模型训练完成之后,所述设备群组是通过以下方式确定的:
针对每个所述第二环境数据,通过所述图偏差网络模型将该第二环境数据表示为历史高维特征向量;所述历史高维特征向量包括所述第三高维特征向量和所述第四高维特征向量;
针对每一个所述历史高维特征向量,通过所述图偏差网络模型将该历史高维特征向量压缩为历史低维特征向量;
根据每个设备的所述历史低维特征向量,计算任意两个所述历史低维特征向量之间的高斯相似度,并根据所有的所述高斯相似度生成相似度矩阵;
根据所述相似度矩阵生成对角矩阵;其中所述对角矩阵中的对角线上的元素是所述相似度矩阵中同一行所有元素的和值;
根据所述相似度矩阵和所述对角矩阵,计算拉普拉斯图矩阵,以及计算所述拉普拉斯图矩阵的特征向量和所述特征向量中每一行第一子向量的特征值;
按照所述特征值由大到小的顺序,从所有的所述第一子向量中选取出第二预设数量的所述第一子向量,并将选取出的所述第一子向量按列放置生成第一特征矩阵;
对所述第一特征矩阵进行归一化处理得到第二特征矩阵;所述第二特征矩阵中的每个元素的取值范围为0-1;
将所述第二特征矩阵中的每一行第二子向量作为一个设备的低维特征向量输入到K-平均演算法中,确定该设备所属的设备群组。
结合第一方面的第四五种可能的实施方式,本申请实施例提供了第一方面的第六种可能的实施方式,其中,通过以下方式确定每个所述设备群组中的所述中心设备:
针对所述设备群组中的每个设备,根据该设备的所述历史高维特征向量和其他设备的所述历史高维特征向量之间的余弦相似度由大到小的顺序,从所述设备群组中的其他设备中确定出所述第一预设数量的设备,并将确定出的所述第一预设数量的设备作为该设备的第三外围设备;
针对所述设备群组中的每个设备,计算该设备与该设备的各个第三外围设备之间的余弦相似度的和,得到该设备的所述参考相似度;
根据所述设备群组中每个设备对应的所述参考相似度,将所述设备群组中所述参考相似度最大的设备确定为该设备群组的所述中心设备。
第二方面,本申请实施例还提供一种基于分层图偏差网络的智能服务异常检测装置,包括:
第一接收单元,用于接收对目标对象进行监控的设备群组内的中心设备和第一外围设备在第一时间段内各自对外部环境进行监控得到的第一环境数据;同一设备群组内的任意不同设备之间的数据变化情况相似度均大于预设数值;所述中心设备的参考相似度大于其他设备的参考相似度;所述参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的;同一设备群组中所述第一外围设备与所述中心设备之间的数据变化情况相似度大于第二外围设备与所述中心设备之间的数据变化情况相似度;
第一预测单元,用于通过图偏差网络模型,根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据;
第一计算单元,用于通过所述图偏差网络模型,计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值;所述第一偏差值用于判断所述设备群组中的设备在所述第一时刻监控到的第一目标环境数据是否发生异常变化。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,所述第一预测单元在用于根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据时,具体用于:
针对每个所述第一外围设备,根据用于表示所述中心设备的所述第一环境数据的第一高维特征向量、用于表示该第一外围设备的所述第一环境数据的第二高维特征向量、用于表示所述中心设备在所述第一时间段之前的历史时间段内对外部环境进行监控得到的第二环境数据的第三高维特征向量、用于表示该第一外围设备在所述历史时间段内对外部环境进行监控得到的第二环境数据的第四高维特征向量,计算该第一外围设备的注意力系数;所述注意力系数用于表示所述第一外围设备的数据变化情况对所述中心设备的数据变化情况的影响程度;
根据所述第一高维特征向量、每个所述第一外围设备的所述第二高维特征向量和所述注意力系数,计算在所述第一时刻所述中心设备的环境特征向量;
将所述环境特征向量与所述第三高维特征向量之间的向量积输入到所述图偏差网络模型的全连接层中,预测出所述中心设备在所述第一时刻产生的所述第一预测环境数据。
结合第二方面,本申请实施例提供了第二方面的第二种可能的实施方式,其中,所述第一计算单元在用于通过所述图偏差网络模型,计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值时,具体用于:
当所述第一偏差数据大于预设阈值时,则确定所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化;
当所述第一偏差数据不大于预设阈值时,则确定所述设备群组中的每个设备在所述第一时刻监控到的第一目标环境数据未发生异常变化。
结合第二方面的第二种可能的实施方式,本申请实施例提供了第二方面的第三种可能的实施方式,其中,所述第一计算单元在用于当所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化之后,所述装置还包括:
第二接收单元,用于接收目标设备群组中的各个设备在所述第一时间段之后的第二时间段内各自对外部环境进行监控得到的第三环境数据;所述目标设备群组为至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化的设备群组;
第二预测单元,用于通过所述图偏差网络模型,根据所述目标设备群组中的各个设备的所述第三环境数据,预测出所述目标设备群组中的各个设备在所述第二时间段之后的第二时刻产生的第二预测环境数据;
第二计算单元,用于针对所述目标设备群组中的每个设备,通过所述图偏差网络模型,计算接收到的该设备在所述第二时刻对外部环境进行监控得到的第二目标环境数据与预测出的所述第二预测环境数据之间的第二偏差值;所述第二偏差值用于判断该设备在所述第二时刻监控到的所述第二目标环境数据是否发生了异常变化。
结合第二方面的第一种可能的实施方式,本申请实施例提供了第二方面的第四种可能的实施方式,其中,还包括:
第三接收单元,用于接收对所述目标对象进行监控的所有设备在所述历史时间段内各自对外部环境进行监控得到的第二环境数据;
第一确定单元,用于针对每个设备,根据该设备的所述第二环境数据和其他设备的所述第二环境数据之间的数据变化情况相似度由大到小的顺序,从其他设备中确定出第一预设数量的设备作为该设备的初始外围设备;
第三预测单元,用于针对每个设备,通过待训练的初始图偏差网络模型,根据该设备的第二环境数据和该设备的初始外围设备的第二环境数据,预测出该设备在所述历史时间段之后的第三时刻产生的第三预测环境数据;
第三计算单元,用于根据每个设备的在所述第三时刻对外部环境进行监控得到的第三目标环境数据以及预测出的所述第三预测环境数据,计算所述初始图偏差网络模型的损失函数得到损失数值,以及使用所述损失数值对所述初始图偏差网络模型中的可学习参数进行反向传播训练,直至所述初始图偏差网络模型达到训练截止条件,训练完成,并将训练完成后的初始图偏差网络模型确定为所述图偏差网络模型。
结合第二方面的第一种可能的实施方式,本申请实施例提供了第二方面的第四种可能的实施方式,其中,还包括:
表示单元,用于针对每个所述第二环境数据,通过所述图偏差网络模型将该第二环境数据表示为历史高维特征向量;所述历史高维特征向量包括所述第三高维特征向量和所述第四高维特征向量;
压缩单元,用于针对每一个所述历史高维特征向量,通过所述图偏差网络模型将该历史高维特征向量压缩为历史低维特征向量;
第四计算单元,用于根据每个设备的所述历史低维特征向量,计算任意两个所述历史低维特征向量之间的高斯相似度,并根据所有的所述高斯相似度生成相似度矩阵;
生成单元,用于根据所述相似度矩阵生成对角矩阵;其中所述对角矩阵中的对角线上的元素是所述相似度矩阵中同一行所有元素的和值;
第五计算单元,用于根据所述相似度矩阵和所述对角矩阵,计算拉普拉斯图矩阵,以及计算所述拉普拉斯图矩阵的特征向量和所述特征向量中每一行第一子向量的特征值;
选取单元,用于按照所述特征值由大到小的顺序,从所有的所述第一子向量中选取出第二预设数量的所述第一子向量,并将选取出的所述第一子向量按列放置生成第一特征矩阵;
归一化单元,用于对所述第一特征矩阵进行归一化处理得到第二特征矩阵;所述第二特征矩阵中的每个元素的取值范围为0-1;
输入单元,用于将所述第二特征矩阵中的每一行第二子向量作为一个设备的低维特征向量输入到K-平均演算法中,确定该设备所属的设备群组。
结合第二方面的第五种可能的实施方式,本申请实施例提供了第二方面的第六种可能的实施方式,其中,还包括:
第二确定单元,用于针对所述设备群组中的每个设备,根据该设备的所述历史高维特征向量和其他设备的所述历史高维特征向量之间的余弦相似度由大到小的顺序,从所述设备群组中的其他设备中确定出所述第一预设数量的设备,并将确定出的所述第一预设数量的设备作为该设备的第三外围设备;
第六计算单元,用于针对所述设备群组中的每个设备,计算该设备与该设备的各个第三外围设备之间的余弦相似度的和,得到该设备的所述参考相似度;
第三确定单元,用于根据所述设备群组中每个设备对应的所述参考相似度,将所述设备群组中所述参考相似度最大的设备确定为该设备群组的所述中心设备。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可能的实施方式中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面中任一种可能的实施方式中的步骤。
本申请实施例提供的一种基于分层图偏差网络的智能服务异常检测方法,通过将智能服务系统中的所有设备划分成多个设备群组,服务器在接收智能服务系统中的设备所产生的数据时,只接收各个设备群组中的中心设备以及第一外围设备所产生的第一环境数据,不需要接收该设备群组中的第二外围设备产生的数据,即并未接收智能服务系统中的所有设备产生的数据,因此本申请中通过该方法有利于减少数据传输能耗。
并且,考虑到不同设备产生的第一环境数据之间存在相关性,因此本申请中同一设备群组中的各个设备的数据变化情况相似度均大于预设数值,中心设备的参考相似度大于其他设备的参考相似度,参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的,第一外围设备与中心设备之间的数据变化情况相似度大于第二外围设备与中心设备之间的数据变化情况相似度,使得本申请中的中心设备的数据变化情况能够更好的代表该设备群组中各个设备的数据变化情况,通过对中心设备的第一环境数据进行异常检测,能够在减少数据传输能耗的同时,保证异常检测的准确性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种基于分层图偏差网络的智能服务异常检测方法的流程图;
图2示出了本申请实施例所提供的有向图的示意图;
图3示出了本申请实施例所提供的子图的示意图;
图4示出了本申请实施例所提供的一种基于分层图偏差网络的智能服务异常检测装置的结构示意图;
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到现有技术中对智能服务系统中的设备所产生的数据进行检测时,数据传输能耗较高,检测的准确性较低的问题,基于此,本申请实施例提供了一种基于分层图偏差网络的智能服务异常检测方法,下面通过实施例进行描述。
实施例一:
为便于对本实施例进行理解,首先对本申请实施例所公开的一种基于分层图偏差网络的智能服务异常检测方法进行详细介绍。图1示出了本申请实施例所提供的一种基于分层图偏差网络的智能服务异常检测方法的流程图,如图1所示,包括以下步骤S101-S103:
S101:接收对目标对象进行监控的设备群组内的中心设备和第一外围设备在第一时间段内各自对外部环境进行监控得到的第一环境数据;同一设备群组内的任意不同设备之间的数据变化情况相似度均大于预设数值;中心设备的参考相似度大于其他设备的参考相似度;参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的;同一设备群组中第一外围设备与中心设备之间的数据变化情况相似度大于第二外围设备与中心设备之间的数据变化情况相似度。
在本实施例中,示例性的,智能服务系统可以为水处理系统、火警系统等。智能服务系统中包含有多个设备,其中,设备可以为传感器设备,不同的传感器设备用于监测目标对象中不同监测对象。例如,当智能服务系统为水处理系统时,目标对象可以为水处理系统中的整条管道,该管道中设置了多个传感器设备,包括压力传感器、流速传感器、水位传感器等,传感器设备被放置在水处理系统中的不同位置,以及位于不同任务流中,其中监测对象可以为管道中的不同位置的水流压力、水流速度和水位等。当该水处理系统中的一个水阀出现异常时,通常会导致管道上下游的压力、流速和水位发生一定程度的连锁变化。也就是说,同一智能服务系统中的设备虽然监测的对象(例如监测压力、监测水位)不同,但是存在一定的相关性,这些相关性是由逻辑上的相关产生。
当智能服务系统为火警系统时,设备可以为烟雾监测传感器、温度监测传感器、干燥监测传感器、湿度监测传感器、光亮监测传感器等。目标对象可以为被监测的建筑或其他场景中,例如当目标对象为营业大厅时,通过火警系统中的各个设备来监测该营业大厅中空气的烟雾浓度、温度、干燥程度、湿度、光亮程度等,进而判断营业大厅是否发生火灾。其中,当营业大厅发生火灾时,营业大厅中的烟雾浓度、温度、干燥程度、湿度和光亮程度等都会有所变化,其中,这些指标的变化情况是相互关联的,例如,当发生火灾时,可能会导致光照增强、温度升高、干燥程度变大、湿度降低等,当这些指标达到一定变化程度时可能会有明火。
本实施例中,对智能服务系统中的多个设备进行聚类,得到多个设备群组,每个设备群组中包含有多个设备,一个设备只存在于一个设备群组中。在同一个设备群组中,任意不同设备之间的数据变化情况相似度大于预设数值,例如,该设备群组中包括压力传感器和水位传感器,当压力传感器监控到管道内某个时间段内的水压突然升高时,通常该位置附近的水位也会突然升高。此时压力传感器与水位传感器之间的数据变化情况相似度较高。
本实施例中,同一个设备群组中,均包含一个中心设备、至少一个该中心设备的第一外围设备以及至少一个第二外围设备。该设备群组中,中心设备的参考相似度大于其他设备的参考相似度,参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的。也就是说,中心设备的数据变化情况能够代表该设备群组中各个设备的数据变化情况。
同一设备群组中第一外围设备与中心设备之间的数据变化情况相似度大于第二外围设备与中心设备之间的数据变化情况相似度。具体地,同一设备群组中,中心设备的数据变化情况与其他设备的数据变化情况之间均有关联,但是关联程度大小不同,例如,烟雾浓度的变化情况与温度的变化情况之间的关联性较小,但是烟雾浓度的变化情况与干燥程度之间的关联性较大。本实施例中,中心设备监控到的环境数据与第一外围设备监控到的环境数据之间的关联程度大于中心设备监控到的环境数据与第二外围设备监控到的环境数据之间的关联程度。
在一个可能的实施方式中,该异常检测方法应用于检测系统中,该检测系统中包含有多个处理节点,每个处理节点对应一个设备群组,即该处理节点只接收该设备群组中的第一环境数据,也只对该设备群组中的第一环境数据进行接下来的数据处理。本实施例中,由于每个处理节点仅仅需要处理一个设备群组内中心设备和第一外围设备的第一环境数据,因此能够减少各个处理节点的数据处理量,进而提高该检测系统的数据处理速度。
S102:通过图偏差网络模型,根据中心设备的第一环境数据和第一外围设备的第一环境数据,预测出中心设备在第一时间段之后的第一时刻产生的第一预测环境数据。
在本实施例中,第一环境数据属于时间序列数据,中心设备的第一环境数据包含中心设备在第一时间段中的各个时间点处所监控到的环境数据,第一外围设备的第一环境数据包含第一外围设备在第一时间段中的各个时间点处所监控到的环境数据。其中,中心设备与第一外围设备所监控的监测对象不同,例如,中心设备监控的是温度,第一外围设备监控的可能是光照。第一时刻可以为第一时间段中最后一个时刻的下一时刻。
本实施例中,由于中心设备与第一外围设备之间的数据变化情况相似度较大,因此在预测中心设备在第一时刻产生的第一预测环境数据时,通过中心设备的第一环境数据和第一外围设备的第一环境数据进行预测,有利于提高预测的准确率。
S103:通过图偏差网络模型,计算接收到的中心设备在第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的第一预测环境数据之间的第一偏差值;第一偏差值用于判断设备群组中的设备在第一时刻监控到的第一目标环境数据是否发生异常变化。
接收中心设备在第一时刻对外部环境进行监控得到的第一目标环境数据;通过以下公式,计算该中心设备的第一目标环境数据与第一预测环境数据之间的第一偏差值:
其中,t1表示第一时刻,表示中心设备在第一时刻的第一偏差值,/>表示中心设备在第一时刻的第一目标环境数据,/>表示中心设备在第一时刻的第一预测环境数据。
在本实施例中,可以将第一预测环境数据看作外部环境未发生异常变化时中心设备可能监控到的环境数据,因此本实施例中,通过中心设备实际上监控到的第一目标环境数据与第一预测环境数据之间的偏差值的大小,来判断该设备群组中的设备在第一时刻监控到的第一目标环境数据是否发生了异常变化。
在一种可能的实施方式中,在执行步骤S102根据中心设备的第一环境数据和第一外围设备的第一环境数据,预测出中心设备在第一时间段之后的第一时刻产生的第一预测环境数据时,具体可以按照以下步骤S1021-S1023执行:
S1021:针对每个第一外围设备,根据用于表示中心设备的第一环境数据的第一高维特征向量、用于表示该第一外围设备的第一环境数据的第二高维特征向量、用于表示中心设备在第一时间段之前的历史时间段内对外部环境进行监控得到的第二环境数据的第三高维特征向量、用于表示该第一外围设备在历史时间段内对外部环境进行监控得到的第二环境数据的第四高维特征向量,计算该第一外围设备的注意力系数;注意力系数用于表示第一外围设备的数据变化情况对中心设备的数据变化情况的影响程度。
在本实施例中,通过图偏差网络模型,将中心设备的第一环境数据表示为第一高维特征向量,将第一外围设备的第一环境数据表示为第二高维特征向量。并且,第三高维特征向量和第四高维特征向量可以为对图偏差网络模型进行训练的过程中,存储到图偏差网络模型中的。历史时间段的时长大于第一时间段的时长,例如历史时间段中包括100个时间点,第一时间段中包含5个时间点。
在本实施例中,每个第一外围设备对应一个注意力系数,具体地,在图偏差网络模型中,通过以下公式计算第一外围设备的注意力系数:
其中,其中Concat函数表示连接,i为中心设备,j为第一外围设备,t1表示第一时刻,W为图偏差网络模型中的一个可学习参数矩阵;vi表示中心设备的第三高维特征向量,表示中心设备的第一高维特征向量,/>表示中心设备的第三高维特征向量与/>的连接,/>表示第一外围设备的第四高维特征向量与/>的连接。
在这里,为了避免梯度方向锯齿问题,使用了LeakyReLU作为非线性激活函数,通过激活函数得到第一外围设备与中心设备之间的注意力得分其中,α为图偏差网络模型中的一个可学习参数向量。
通过Softmax函数得到第一外围设备的注意力系数βi,j,N(i)∪(j)表示由中心设备所有的第一外围设备和第一外围设备j所有的第三外围设备构成的集合,k表示N(i)∪(j)中的一个设备。
本实施例中,同一设备群组内,各个设备均对应有至少一个第三外围设备和至少一个第四外围设备,同一设备群组中该设备与第三外围设备之间的数据变化情况相似度大于该设备与第四外围设备之间的数据变化情况相似度。
S1022:根据第一高维特征向量、每个第一外围设备的第二高维特征向量和注意力系数,计算在第一时刻中心设备的环境特征向量。
得到各个第一外围设备的注意力系数以后,通过以下公式计算在第一时刻中心设备的环境特征向量:
其中,表示中心设备的环境特征向量,βi,i表示中心设备的注意力系数,M(i)表示第一外围设备的集合,/>表示第一外围设备的第二高维特征向量,/>表示中心设备的第一高维特征向量。这里使用LeakyReLU作为非线性激活函数。
S1023:将环境特征向量与第三高维特征向量之间的向量积输入到图偏差网络模型的全连接层中,预测出中心设备在第一时刻产生的第一预测环境数据。
将环境特征向量与第三高维特征向量的对应位置的元素相乘,得到环境特征向量与第三高维特征向量之间的向量积(得到的是向量)。
在一种可能的实施方式中,在执行步骤S103计算接收到的中心设备在第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的第一预测环境数据之间的第一偏差值时,具体可以按照以下步骤执行:
S1031:当第一偏差数据大于预设阈值时,则确定设备群组中至少存在一个设备在第一时刻监控到的第一目标环境数据发生了异常变化;
S1032:当第一偏差数据不大于预设阈值时,则确定设备群组中的每个设备在第一时刻监控到的第一目标环境数据未发生异常变化。
在一种可能的实施方式中,当同一设备群组中任意两个设备之间的距离小于预设距离时,若设备群组中至少存在一个设备在第一时刻监控到的第一目标环境数据发生了异常变化,则将该设备群组所在位置确定为外界环境发生异常变化的位置。
在一种可能的实施方式中,在执行完步骤S1031当设备群组中至少存在一个设备在第一时刻监控到的第一目标环境数据发生了异常变化之后,具体还可以按照以下步骤执行:
S1041:接收目标设备群组中的各个设备在第一时间段之后的第二时间段内各自对外部环境进行监控得到的第三环境数据;目标设备群组为至少存在一个设备在第一时刻监控到的第一目标环境数据发生了异常变化的设备群组。
在本实施例中,在确定出目标设备群组之后,接收该目标设备群组中的各个设备在第二时间段内各自对外部环境进行监控得到的第三环境数据。目标设备群组中的每个设备产生一个第三环境数据,第三环境数据属于时间序列数据,第三环境数据中包含设备在第二时间段中的各个时间点所监控到的环境数据。目标设备群组中的各个设备所监控的监测对象不同。
S1042:通过图偏差网络模型,根据目标设备群组中的各个设备的第三环境数据,预测出目标设备群组中的各个设备在第二时间段之后的第二时刻产生的第二预测环境数据。
本实施例中,同一设备群组内,各个设备均对应有至少一个第三外围设备和至少一个第四外围设备,同一设备群组中该设备与第三外围设备之间的数据变化情况相似度大于该设备与第四外围设备之间的数据变化情况相似度。其中,该设备可以为设备群组内的中心设备,也可以为第一外围设备或第二外围设备。当该设备为设备群组内的中心设备时,则该设备的第三外围设备即为该设备群组中的第一外围设备,该设备的第四外围设备为该设备群组中的第二外围设备。
针对目标设备群组中的每个设备,通过图偏差网络模型,根据该设备的第三环境数据和该设备的第三外围设备的第三环境数据,预测出该设备在第二时刻产生的第二预测环境数据。具体计算过程可参考步骤S1021-S1023中的计算过程。通过上述过程,得到目标设备群组中的各个设备的第二预测环境数据。
S1043:针对目标设备群组中的每个设备,通过图偏差网络模型,计算接收到的该设备在第二时刻对外部环境进行监控得到的第二目标环境数据与预测出的第二预测环境数据之间的第二偏差值;第二偏差值用于判断该设备在第二时刻监控到的第二目标环境数据是否发生了异常变化。
在本实施例中,计算第二偏差值的过程具体可以参考步骤S103中的过程。当第二偏差值大于预设阈值时,则确定该第二偏差值对应的设备在第二时刻监控到的第二目标环境数据发生了异常变化。即可将该设备所在位置确定为外部环境发生异常变化的位置。当第二偏差值不大于预设阈值时,则确定该第二偏差值对应的设备在第二时刻监控到的第二目标环境数据未发生异常变化。
在本实施例中,确定出目标设备群组的过程可理解为缩小了检测范围,在确定具体是哪一个设备监控到的环境数据出现异常时,可以直接从小范围中寻找,即仅需要对目标设备群组中的设备进行检测,不需要接收所有设备的数据,有利于减少传输能耗。
在一种可能的实施方式中,图偏差网络模型是通过以下步骤S1051-S1054训练得到的:
S1051:接收对目标对象进行监控的所有设备在历史时间段内各自对外部环境进行监控得到的第二环境数据。
本实施例中,接收智能服务系统中的所有设备在历史时间段内各自对外部环境进行监控得到的第二环境数据。每个设备对应一个第二环境数据。
通过待训练的初始图偏差网络模型,将每个第二环境数据分别表示为初始历史高维特征向量。
S1052:针对每个设备,根据该设备的第二环境数据和其他设备的第二环境数据之间的数据变化情况相似度由大到小的顺序,从其他设备中确定出第一预设数量的设备作为该设备的初始外围设备。
图2示出了本申请实施例所提供的有向图的示意图,如图2所示,可以通过有向图来表示设备之间的相关性关系,有向图的节点代表各个设备的第二环境数据,有向图中的连接线代表第二环境数据之间的数据变化情况相似度,弧尾节点(有向边的出发节点)到弧头节点(有向边的目的地节点)的模式表示弧尾节点可以一定程度上表示弧头节点,即具有一定相关性。通常情况下,也可以使用一个邻接矩阵来表示该有向图。
具体地,首先计算各个设备的第二环境数据和其他设备的第二环境数据之间的数据变化情况相似度,以得到任意两个设备之间的数据变化情况相似度。其中,可以使用余弦相似度计算的方式来体现两个设备之间的数据变化情况相似度:
其中,M表示智能服务系统中设备的总数量,a和b分别表示其中两个设备,va表示a设备的初始历史高维特征向量,vb表示b设备的初始历史高维特征向量,Eab表示设备a的第二环境数据和设备b的第二环境数据之间的余弦相似度,也即Eab表示设备a的第二环境数据和设备b的第二环境数据之间的数据变化情况相似度。
通过上述过程,可以得到任意两个设备的第二环境数据之间的数据变化情况相似度。针对每个设备,根据该设备与其他设备之间的数据变化情况相似度由大到小的顺序,从其他设备中确定出前第一预设数量的设备作为该设备的初始外围设备。在有向图中,将该设备的初始外围设备作为与该设备相连接的设备。其中,可以通过调整第一预设数量的大小,调整有向图的稀疏程度。其中,第一预设数量可以为后期调整的超参数。
根据任意两个设备之间的数据变化情况相似度,生成邻接矩阵。
在对图偏差网络模型进行每一轮训练的过程中,各个设备与其他设备之间的数据变化情况相似度是不断调整的,并且各个设备的初始外围设备也是不断调整的,使得邻接矩阵也是在训练过程中不断调整的。
S1053:针对每个设备,通过待训练的初始图偏差网络模型,根据该设备的第二环境数据和该设备的初始外围设备的第二环境数据,预测出该设备在历史时间段之后的第三时刻产生的第三预测环境数据。
具体计算过程可参考步骤S1021-S1023中描述的过程。
S1054:根据每个设备的在第三时刻对外部环境进行监控得到的第三目标环境数据以及预测出的第三预测环境数据,计算初始图偏差网络模型的损失函数得到损失数值,以及使用损失数值对初始图偏差网络模型中的可学习参数进行反向传播训练,直至初始图偏差网络模型达到训练截止条件,训练完成,并将训练完成后的初始图偏差网络模型确定为图偏差网络模型。
在本实施例中,使用平均平方误差作为最小化的损失函数:
其中,LMSE表示损失数值,T表示历史时间段中包含的时间点的总数,表示第三时刻的第三目标环境数据,/>表示第三时刻的第三预测环境数据,t2表示第三时刻。r为滑动窗口,即在预测第三时刻产生的第三预测环境数据时,除了使用历史时间段内的第二环境数据以外,还使用了历史时间段内的某个子时间段内的子环境数据。其中,r就为子时间段内的时间点的数量。
具体地,参考步骤S1021中的公式,例如,在计算a设备的初始历史高维特征向量va与的连接时,其中/>表示a设备在子时间段内对外部环境进行监控得到的子环境数据的子高维特征向量。
其中,子时间段为历史时间段内的任意一段时间段。示例性的,当历史时间段为1点-3点时,历史时间段内的时间点的数量为7200(2小时×60分钟×60秒钟),若子时间段为2点-2点15分时,则子时间点内的时间点的数量为900(15分钟×60秒钟)。注:该实施例中的时间间隔为1秒钟。
在本申请的实施例中,在每一轮次的训练过程中,均重复执行步骤S1052-S1054,直至训练次数达到预设训练轮次时,停止训练。
在一种可能的实施方式中,在图偏差网络模型训练完成之后,设备群组是通过以下步骤S1061-S1068确定的:
S1061:针对每个第二环境数据,通过图偏差网络模型将该第二环境数据表示为历史高维特征向量;历史高维特征向量包括第三高维特征向量和第四高维特征向量。
每个第二环境数据对应一个历史高维特征向量。其中,中心设备的历史高维特征向量为第三高维特征向量,第一外围设备的历史高维特征向量为第四高维特征向量。
S1062:针对每一个历史高维特征向量,通过图偏差网络模型将该历史高维特征向量压缩为历史低维特征向量。
由于高维向量并不有利于向量的聚类,即设备群组的划分,这也被称为维度灾难的问题,在维度过高的时候,如果采用常见的距离度量方法(如欧式距离等)度量空间样本上的距离,就会陷入维度灾难,也即大部分样本间的距离会被压缩到很小的范围内,以致无法区分。我们解决这一问题的方法采用数据降维,通过损失部分信息以达到规避维度过高的问题。由于在设备群组划分部分中我们使用谱聚类算法中会进行进一步数据降维,所以该部分需要我们进行的是一个数据预降维的工作。
本实施例中,使用主成分分析法实现数据的降维,主成分分析法旨在找到一个低维的投影,捕捉到数据中的大部分方差。
S1063:根据每个设备的历史低维特征向量,计算任意两个历史低维特征向量之间的高斯相似度,并根据所有的高斯相似度生成相似度矩阵。
本实施例中,可以通过子图来表示各个设备群组,图3示出了本申请实施例所提供的子图的示意图,如图3所示,每个虚线圆内的子图表示了一个设备群组中各个设备之间的相关性。
对于子图的划分(即对设备群组的划分),本申请将经过降维的历史低维特征向量进行聚类来生成子图。由于我们的第二环境数据之间存在很强的图结构的关系,于是我们使用谱聚类算法来实现子图的划分。谱聚类是一种基于图论的聚类方法,它将带权无向图划分为两个或两个以上的最优子图,使子图内部尽量相似,而子图间距离尽量距离较远,以达到常见的聚类的目的。其中的最优是指最优目标函数不同,可以是割边最小分割,也可以是分割规模差不多且割边最小的分割。
对于谱聚类算法,首先要得到的就是设备的相似度矩阵,任意两个历史低维特征向量之间的相似度定义为两个设备之间的边的权重值,其中,相似度是按照高斯相似度来计算的:
其中,Gab表示a设备和b设备之间的高斯相似度,σ表示一个超参数,fa表示a设备的历史低维特征向量,fb表示b设备的历史低维特征向量。相似度矩阵为:
G={Gab|1≤a≤M,1≤b≤M}
S1064:根据相似度矩阵生成对角矩阵;其中对角矩阵中的对角线上的元素是相似度矩阵中同一行所有元素的和值。
相似度矩阵G是一个对称矩阵。为了使某个单设备不会更容易被单独分为一个设备群组,本实施例考虑一个对角矩阵D,对角矩阵D内的对角线上的元素是相似度矩阵一行所有元素的和。
S1065:根据相似度矩阵和对角矩阵,计算拉普拉斯图矩阵,以及计算拉普拉斯图矩阵的特征向量和特征向量中每一行第一子向量的特征值。
通过以下公式计算拉普拉斯图矩阵:然后计算拉普拉斯图矩阵L的特征向量,以及特征向量中每一行第一子向量的特征值。
S1066:按照特征值由大到小的顺序,从所有的第一子向量中选取出第二预设数量的第一子向量,并将选取出的第一子向量按列放置生成第一特征矩阵。
将前第二预设数量的特征值最大的第一子向量按列放置成一个第一特征矩阵X=[C1,C2,…,CP],其中C1,C2,…,CP分别为前第二预设数量P特征值最大的第一子向量。
S1067:对第一特征矩阵进行归一化处理得到第二特征矩阵;第二特征矩阵中的每个元素的取值范围为0-1。
S1068:将第二特征矩阵中的每一行第二子向量作为一个设备的低维特征向量输入到K-平均演算法中,确定该设备所属的设备群组。
在一种可能的实施方式中,通过以下步骤S1071-S1073确定每个设备群组中的中心设备:
S1071:针对设备群组中的每个设备,根据该设备的历史高维特征向量和其他设备的历史高维特征向量之间的余弦相似度由大到小的顺序,从设备群组中的其他设备中确定出第一预设数量的设备,并将确定出的第一预设数量的设备作为该设备的第三外围设备。
该设备与该设备的第三外围设备之间的余弦相似度大于该设备与其他设备之间的余弦相似度。每个设备至少对应一个第三外围设备。如图3所示,在每个子图中,针对每个设备节点,与该设备节点连接的设备节点就作为该设备节点的第三外围设备。
S1072:针对设备群组中的每个设备,计算该设备与该设备的各个第三外围设备之间的余弦相似度的和,得到该设备的参考相似度。
通过以下公式计算该设备与该设备的各个第三外围设备之间的余弦相似度的和:
其中,Ya表示a设备的参考相似度,Eac表示a设备与第三外围设备c之间的余弦相似度,m表示该设备群组中的设备的数量。
S1073:根据设备群组中每个设备对应的参考相似度,将设备群组中参考相似度最大的设备确定为该设备群组的中心设备。
将中心设备的第三外围设备作为中心设备的第一外围设备。在本实施例中,如图3所示,与中心设备相连接的设备作为中心设备的第一外围设备,该子图中(即该设备群组中),未与该中心设备相连接的设备作为中心设备的第二外围设备。
实施例二:
基于相同的技术构思,本申请实施例还提供了一种基于分层图偏差网络的智能服务异常检测装置,图4示出了本申请实施例所提供的一种基于分层图偏差网络的智能服务异常检测装置的结构示意图,如图4所示,该装置包括:
第一接收单元401,用于接收对目标对象进行监控的设备群组内的中心设备和第一外围设备在第一时间段内各自对外部环境进行监控得到的第一环境数据;同一设备群组内的任意不同设备之间的数据变化情况相似度均大于预设数值;所述中心设备的参考相似度大于其他设备的参考相似度;所述参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的;同一设备群组中所述第一外围设备与所述中心设备之间的数据变化情况相似度大于第二外围设备与所述中心设备之间的数据变化情况相似度;
第一预测单元402,用于通过图偏差网络模型,根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据;
第一计算单元403,用于通过所述图偏差网络模型,计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值;所述第一偏差值用于判断所述设备群组中的设备在所述第一时刻监控到的第一目标环境数据是否发生异常变化。
可选的,所述第一预测单元402在用于根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据时,具体用于:
针对每个所述第一外围设备,根据用于表示所述中心设备的所述第一环境数据的第一高维特征向量、用于表示该第一外围设备的所述第一环境数据的第二高维特征向量、用于表示所述中心设备在所述第一时间段之前的历史时间段内对外部环境进行监控得到的第二环境数据的第三高维特征向量、用于表示该第一外围设备在所述历史时间段内对外部环境进行监控得到的第二环境数据的第四高维特征向量,计算该第一外围设备的注意力系数;所述注意力系数用于表示所述第一外围设备的数据变化情况对所述中心设备的数据变化情况的影响程度;
根据所述第一高维特征向量、每个所述第一外围设备的所述第二高维特征向量和所述注意力系数,计算在所述第一时刻所述中心设备的环境特征向量;
将所述环境特征向量与所述第三高维特征向量之间的向量积输入到所述图偏差网络模型的全连接层中,预测出所述中心设备在所述第一时刻产生的所述第一预测环境数据。
可选的,所述第一计算单元403在用于通过所述图偏差网络模型,计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值时,具体用于:
当所述第一偏差数据大于预设阈值时,则确定所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化;
当所述第一偏差数据不大于预设阈值时,则确定所述设备群组中的每个设备在所述第一时刻监控到的第一目标环境数据未发生异常变化。
可选的,所述第一计算单元403在用于当所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化之后,所述装置还包括:
第二接收单元,用于接收目标设备群组中的各个设备在所述第一时间段之后的第二时间段内各自对外部环境进行监控得到的第三环境数据;所述目标设备群组为至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化的设备群组;
第二预测单元,用于通过所述图偏差网络模型,根据所述目标设备群组中的各个设备的所述第三环境数据,预测出所述目标设备群组中的各个设备在所述第二时间段之后的第二时刻产生的第二预测环境数据;
第二计算单元,用于针对所述目标设备群组中的每个设备,通过所述图偏差网络模型,计算接收到的该设备在所述第二时刻对外部环境进行监控得到的第二目标环境数据与预测出的所述第二预测环境数据之间的第二偏差值;所述第二偏差值用于判断该设备在所述第二时刻监控到的所述第二目标环境数据是否发生了异常变化。
可选的,还包括:
第三接收单元,用于接收对所述目标对象进行监控的所有设备在所述历史时间段内各自对外部环境进行监控得到的第二环境数据;
第一确定单元,用于针对每个设备,根据该设备的所述第二环境数据和其他设备的所述第二环境数据之间的数据变化情况相似度由大到小的顺序,从其他设备中确定出第一预设数量的设备作为该设备的初始外围设备;
第三预测单元,用于针对每个设备,通过待训练的初始图偏差网络模型,根据该设备的第二环境数据和该设备的初始外围设备的第二环境数据,预测出该设备在所述历史时间段之后的第三时刻产生的第三预测环境数据;
第三计算单元,用于根据每个设备的在所述第三时刻对外部环境进行监控得到的第三目标环境数据以及预测出的所述第三预测环境数据,计算所述初始图偏差网络模型的损失函数得到损失数值,以及使用所述损失数值对所述初始图偏差网络模型中的可学习参数进行反向传播训练,直至所述初始图偏差网络模型达到训练截止条件,训练完成,并将训练完成后的初始图偏差网络模型确定为所述图偏差网络模型。
可选的,还包括:
表示单元,用于针对每个所述第二环境数据,通过所述图偏差网络模型将该第二环境数据表示为历史高维特征向量;所述历史高维特征向量包括所述第三高维特征向量和所述第四高维特征向量;
压缩单元,用于针对每一个所述历史高维特征向量,通过所述图偏差网络模型将该历史高维特征向量压缩为历史低维特征向量;
第四计算单元,用于根据每个设备的所述历史低维特征向量,计算任意两个所述历史低维特征向量之间的高斯相似度,并根据所有的所述高斯相似度生成相似度矩阵;
生成单元,用于根据所述相似度矩阵生成对角矩阵;其中所述对角矩阵中的对角线上的元素是所述相似度矩阵中同一行所有元素的和值;
第五计算单元,用于根据所述相似度矩阵和所述对角矩阵,计算拉普拉斯图矩阵,以及计算所述拉普拉斯图矩阵的特征向量和所述特征向量中每一行第一子向量的特征值;
选取单元,用于按照所述特征值由大到小的顺序,从所有的所述第一子向量中选取出第二预设数量的所述第一子向量,并将选取出的所述第一子向量按列放置生成第一特征矩阵;
归一化单元,用于对所述第一特征矩阵进行归一化处理得到第二特征矩阵;所述第二特征矩阵中的每个元素的取值范围为0-1;
输入单元,用于将所述第二特征矩阵中的每一行第二子向量作为一个设备的低维特征向量输入到K-平均演算法中,确定该设备所属的设备群组。
可选的,还包括:
第二确定单元,用于针对所述设备群组中的每个设备,根据该设备的所述历史高维特征向量和其他设备的所述历史高维特征向量之间的余弦相似度由大到小的顺序,从所述设备群组中的其他设备中确定出所述第一预设数量的设备,并将确定出的所述第一预设数量的设备作为该设备的第三外围设备;
第六计算单元,用于针对所述设备群组中的每个设备,计算该设备与该设备的各个第三外围设备之间的余弦相似度的和,得到该设备的所述参考相似度;
第三确定单元,用于根据所述设备群组中每个设备对应的所述参考相似度,将所述设备群组中所述参考相似度最大的设备确定为该设备群组的所述中心设备。
实施例三:
基于相同的技术构思,本申请实施例还提供一种电子设备,图5示出了本申请实施例所提供的一种电子设备的结构示意图,如图5所示,该电子设备500包括:处理器501、存储器502和总线503,存储器存储有处理器可执行的机器可读指令,当电子设备运行时,处理器501与存储器502之间通过总线503通信,处理器501执行机器可读指令,以执行实施例一中所述的方法步骤。
实施例四:
基于相同的技术构思,本申请实施例四还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行实施例一中所述的方法步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置、电子设备和计算机可读存储介质的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于分层图偏差网络的智能服务异常检测方法,其特征在于,所述方法包括:
接收对目标对象进行监控的设备群组内的中心设备和第一外围设备在第一时间段内各自对外部环境进行监控得到的第一环境数据;同一设备群组内的任意不同设备之间的数据变化情况相似度均大于预设数值;所述中心设备的参考相似度大于其他设备的参考相似度;所述参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的;同一设备群组中所述第一外围设备与所述中心设备之间的数据变化情况相似度大于第二外围设备与所述中心设备之间的数据变化情况相似度;
通过图偏差网络模型,根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据;
通过所述图偏差网络模型,计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值;所述第一偏差值用于判断所述设备群组中的设备在所述第一时刻监控到的第一目标环境数据是否发生异常变化。
2.根据权利要求1所述方法,其特征在于,所述根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据,包括:
针对每个所述第一外围设备,根据用于表示所述中心设备的所述第一环境数据的第一高维特征向量、用于表示该第一外围设备的所述第一环境数据的第二高维特征向量、用于表示所述中心设备在所述第一时间段之前的历史时间段内对外部环境进行监控得到的第二环境数据的第三高维特征向量、用于表示该第一外围设备在所述历史时间段内对外部环境进行监控得到的第二环境数据的第四高维特征向量,计算该第一外围设备的注意力系数;所述注意力系数用于表示所述第一外围设备的数据变化情况对所述中心设备的数据变化情况的影响程度;
根据所述第一高维特征向量、每个所述第一外围设备的所述第二高维特征向量和所述注意力系数,计算在所述第一时刻所述中心设备的环境特征向量;
将所述环境特征向量与所述第三高维特征向量之间的向量积输入到所述图偏差网络模型的全连接层中,预测出所述中心设备在所述第一时刻产生的所述第一预测环境数据。
3.根据权利要求1所述方法,其特征在于,所述计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值,包括:
当所述第一偏差数据大于预设阈值时,则确定所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化;
当所述第一偏差数据不大于预设阈值时,则确定所述设备群组中的每个设备在所述第一时刻监控到的第一目标环境数据未发生异常变化。
4.根据权利要求3所述方法,其特征在于,当所述设备群组中至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化之后,还包括:
接收目标设备群组中的各个设备在所述第一时间段之后的第二时间段内各自对外部环境进行监控得到的第三环境数据;所述目标设备群组为至少存在一个设备在所述第一时刻监控到的第一目标环境数据发生了异常变化的设备群组;
通过所述图偏差网络模型,根据所述目标设备群组中的各个设备的所述第三环境数据,预测出所述目标设备群组中的各个设备在所述第二时间段之后的第二时刻产生的第二预测环境数据;
针对所述目标设备群组中的每个设备,通过所述图偏差网络模型,计算接收到的该设备在所述第二时刻对外部环境进行监控得到的第二目标环境数据与预测出的所述第二预测环境数据之间的第二偏差值;所述第二偏差值用于判断该设备在所述第二时刻监控到的所述第二目标环境数据是否发生了异常变化。
5.根据权利要求2所述方法,其特征在于,所述图偏差网络模型是通过以下方式训练得到的:
接收对所述目标对象进行监控的所有设备在所述历史时间段内各自对外部环境进行监控得到的第二环境数据;
针对每个设备,根据该设备的所述第二环境数据和其他设备的所述第二环境数据之间的数据变化情况相似度由大到小的顺序,从其他设备中确定出第一预设数量的设备作为该设备的初始外围设备;
针对每个设备,通过待训练的初始图偏差网络模型,根据该设备的第二环境数据和该设备的初始外围设备的第二环境数据,预测出该设备在所述历史时间段之后的第三时刻产生的第三预测环境数据;
根据每个设备的在所述第三时刻对外部环境进行监控得到的第三目标环境数据以及预测出的所述第三预测环境数据,计算所述初始图偏差网络模型的损失函数得到损失数值,以及使用所述损失数值对所述初始图偏差网络模型中的可学习参数进行反向传播训练,直至所述初始图偏差网络模型达到训练截止条件,训练完成,并将训练完成后的初始图偏差网络模型确定为所述图偏差网络模型。
6.根据权利要求5所述方法,其特征在于,在所述图偏差网络模型训练完成之后,所述设备群组是通过以下方式确定的:
针对每个所述第二环境数据,通过所述图偏差网络模型将该第二环境数据表示为历史高维特征向量;所述历史高维特征向量包括所述第三高维特征向量和所述第四高维特征向量;
针对每一个所述历史高维特征向量,通过所述图偏差网络模型将该历史高维特征向量压缩为历史低维特征向量;
根据每个设备的所述历史低维特征向量,计算任意两个所述历史低维特征向量之间的高斯相似度,并根据所有的所述高斯相似度生成相似度矩阵;
根据所述相似度矩阵生成对角矩阵;其中所述对角矩阵中的对角线上的元素是所述相似度矩阵中同一行所有元素的和值;
根据所述相似度矩阵和所述对角矩阵,计算拉普拉斯图矩阵,以及计算所述拉普拉斯图矩阵的特征向量和所述特征向量中每一行第一子向量的特征值;
按照所述特征值由大到小的顺序,从所有的所述第一子向量中选取出第二预设数量的所述第一子向量,并将选取出的所述第一子向量按列放置生成第一特征矩阵;
对所述第一特征矩阵进行归一化处理得到第二特征矩阵;所述第二特征矩阵中的每个元素的取值范围为0-1;
将所述第二特征矩阵中的每一行第二子向量作为一个设备的低维特征向量输入到K-平均演算法中,确定该设备所属的设备群组。
7.根据权利要求6所述方法,其特征在于,通过以下方式确定每个所述设备群组中的所述中心设备:
针对所述设备群组中的每个设备,根据该设备的所述历史高维特征向量和其他设备的所述历史高维特征向量之间的余弦相似度由大到小的顺序,从所述设备群组中的其他设备中确定出所述第一预设数量的设备,并将确定出的所述第一预设数量的设备作为该设备的第三外围设备;
针对所述设备群组中的每个设备,计算该设备与该设备的各个第三外围设备之间的余弦相似度的和,得到该设备的所述参考相似度;
根据所述设备群组中每个设备对应的所述参考相似度,将所述设备群组中所述参考相似度最大的设备确定为该设备群组的所述中心设备。
8.一种基于分层图偏差网络的智能服务异常检测装置,其特征在于,包括:
第一接收单元,用于接收对目标对象进行监控的设备群组内的中心设备和第一外围设备在第一时间段内各自对外部环境进行监控得到的第一环境数据;同一设备群组内的任意不同设备之间的数据变化情况相似度均大于预设数值;所述中心设备的参考相似度大于其他设备的参考相似度;所述参考相似度是根据该设备与同一群组中其他设备的数据变化情况相似度确定出来的;同一设备群组中所述第一外围设备与所述中心设备之间的数据变化情况相似度大于第二外围设备与所述中心设备之间的数据变化情况相似度;
第一预测单元,用于通过图偏差网络模型,根据所述中心设备的所述第一环境数据和所述第一外围设备的所述第一环境数据,预测出所述中心设备在所述第一时间段之后的第一时刻产生的第一预测环境数据;
第一计算单元,用于通过所述图偏差网络模型,计算接收到的所述中心设备在所述第一时刻对外部环境进行监控得到的第一目标环境数据与预测出的所述第一预测环境数据之间的第一偏差值;所述第一偏差值用于判断所述设备群组中的设备在所述第一时刻监控到的第一目标环境数据是否发生异常变化。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210429735.0A CN114692783B (zh) | 2022-04-22 | 2022-04-22 | 基于分层图偏差网络的智能服务异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210429735.0A CN114692783B (zh) | 2022-04-22 | 2022-04-22 | 基于分层图偏差网络的智能服务异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114692783A CN114692783A (zh) | 2022-07-01 |
CN114692783B true CN114692783B (zh) | 2024-04-12 |
Family
ID=82145378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210429735.0A Active CN114692783B (zh) | 2022-04-22 | 2022-04-22 | 基于分层图偏差网络的智能服务异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114692783B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612038A (zh) * | 2020-04-24 | 2020-09-01 | 平安直通咨询有限公司上海分公司 | 异常用户检测方法及装置、存储介质、电子设备 |
CN112987675A (zh) * | 2021-05-06 | 2021-06-18 | 北京瑞莱智慧科技有限公司 | 一种异常检测的方法、装置、计算机设备和介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11093816B2 (en) * | 2017-10-05 | 2021-08-17 | Salesforce.Com, Inc. | Convolutional neural network (CNN)-based anomaly detection |
-
2022
- 2022-04-22 CN CN202210429735.0A patent/CN114692783B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612038A (zh) * | 2020-04-24 | 2020-09-01 | 平安直通咨询有限公司上海分公司 | 异常用户检测方法及装置、存储介质、电子设备 |
CN112987675A (zh) * | 2021-05-06 | 2021-06-18 | 北京瑞莱智慧科技有限公司 | 一种异常检测的方法、装置、计算机设备和介质 |
Non-Patent Citations (1)
Title |
---|
基于Copula函数和M-K检验的时空数据异常识别方法;李建勋;张锐军;SAFONOV Paul;佟瑞;;系统工程理论与实践;20191225(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114692783A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qahtan et al. | A pca-based change detection framework for multidimensional data streams: Change detection in multidimensional data streams | |
CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
CN110032490A (zh) | 用于检测系统异常的方法及其装置 | |
CN112862127B (zh) | 一种传感器数据的异常处理方法、装置、电子设备及介质 | |
CN112284440B (zh) | 一种传感器数据偏差自适应修正方法 | |
Yang et al. | An incipient fault diagnosis methodology using local Mahalanobis distance: Detection process based on empirical probability density estimation | |
CA2471013A1 (en) | Method and system for analyzing and predicting the behavior of systems | |
CN117041017B (zh) | 数据中心的智能运维管理方法及系统 | |
KR102079359B1 (ko) | 개선된 sax 기법 및 rtc 기법을 이용한 공정 모니터링 장치 및 방법 | |
CN112148768A (zh) | 一种指标时间序列异常检测方法、系统及存储介质 | |
WO2023044770A1 (zh) | 干泵宕机的预警方法、装置、电子设备、存储介质及程序 | |
CN116066343A (zh) | 一种输油泵机组故障模型的智能预警方法及系统 | |
CN111538311A (zh) | 一种基于数据挖掘的机械设备柔性多状态自适应预警方法及装置 | |
He et al. | Dynamic mutual information similarity based transient process identification and fault detection | |
CN114978956A (zh) | 智慧城市网络设备性能异常突变点检测方法及装置 | |
US11265232B2 (en) | IoT stream data quality measurement indicator and profiling method and system therefor | |
CN112115184A (zh) | 时间序列数据的检测方法、装置、计算机设备及存储介质 | |
CN115358297A (zh) | 一种基于改进mkeca方法的注塑机异常检测方法及系统 | |
CN114610572A (zh) | 服务异常检测方法、装置、计算机设备和存储介质 | |
CN117076869B (zh) | 旋转机械时频域融合故障诊断方法及系统 | |
CN116627116B (zh) | 一种流程工业故障定位方法、系统及电子设备 | |
CN114692783B (zh) | 基于分层图偏差网络的智能服务异常检测方法 | |
CN117315585A (zh) | 电解槽智能控制系统及其方法 | |
CN115330362A (zh) | 一种工程进度数据处理方法及系统 | |
JP2023148972A (ja) | 異常判定装置、異常判定方法、及び異常判定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |