CN114611409B - 一种配电终端异常检测模型的建立方法及装置 - Google Patents
一种配电终端异常检测模型的建立方法及装置 Download PDFInfo
- Publication number
- CN114611409B CN114611409B CN202210307434.0A CN202210307434A CN114611409B CN 114611409 B CN114611409 B CN 114611409B CN 202210307434 A CN202210307434 A CN 202210307434A CN 114611409 B CN114611409 B CN 114611409B
- Authority
- CN
- China
- Prior art keywords
- data
- original
- state data
- reconstruction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000002159 abnormal effect Effects 0.000 title description 19
- 238000012549 training Methods 0.000 claims abstract description 107
- 230000007246 mechanism Effects 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 230000005856 abnormality Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 71
- 239000010410 layer Substances 0.000 claims description 63
- 230000011218 segmentation Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002355 dual-layer Substances 0.000 claims description 3
- 101150040334 KLHL25 gene Proteins 0.000 claims description 2
- 101100065246 Mus musculus Enc1 gene Proteins 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims 1
- 239000013598 vector Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/04—Power grid distribution networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种配电终端异常检测模型的建立方法及装置，方法包括：采集配电终端的状态数据；对所述状态数据进行预处理，获得训练集和测试集；建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；根据所述训练集对所述基于注意力机制的自编码模型进行训练；将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测；该方法通过在自编码模型中引入注意力机制，有效避免处理长数据时的信息丢失问题，模型性能较好。
Description
技术领域
本发明涉及配电异常检测领域，尤其涉及一种配电终端异常检测模型的建立方法及装置。
背景技术
配电网规模大且范围广，负担着直接为广大用户供电的任务。随着配电网自动化的大规模建设，其终端设备迭代快、数量多、信息量大，使得配电终端验收工作量几何级数增加。传统的配电自动化设备终端信号验收方法是电话验收，即配电人员与调控人员配合，双方通过电话校核信号。该方法在业务繁忙时段极易出现电话或信息流阻塞导致效率低下，甚至出现终端验收时间长的问题，从而影响对用户的供电情况。信号自助验收技术可以有效解决配网终端验收问题，实现主站端由前台验收向后台验收转变。而信号自助验收的关键又在于信息的异常检测，配电终端中通常会产生大规模的多维时间序列数据，为此，需要进行信号异常检测以识别数据中不符合预期发展的样本。
传统的异常检测方法有基于概率统计的方法、一类支持向量机、决策树和随机森林方法。配电终端的多维时间序列数据数据量较大，因此，基于概率分布统计的传统异常检测方法虽然可以快速、准确地找出异常数据，但是对于数据的概率分布模型精度要求很高。在实际场景中，实际数据的数据分布很难找到符合的概率分布模型，这将导致异常检测的误差通常无法得到保证；而基于一类支持向量机的方法虽然简单，具有较好的鲁棒性，但是不适用于具有大规模训练样本的场景，并且耗时较大；决策树的方法结构简单，处理数据效率高，适合高维数据，但是对于数量不均衡的样本，信息增益偏向于那些更多数值的特征，容易导致过拟合；随机森林方法能够有效地在大数据集上运行，引入了随机性，不容易过拟合，但是当遇到随机森林中的决策树个数很多的情况时，占用内存和耗时均较大，不适用于实时的监控。此外，以上方法的异常检测效率均依赖于大量的标记样本，这需要极大的人工标注成本。
例如，专利文献CN112148955A公开了一种物联网时序数据异常检测方法及系统，首先获取待测试的物联网时序数据，而后进行预处理，再将待测试时间序列数据段集输入至训练好的半监督自编码模型中得到检测结果，其中训练好的半监督自编码模型是以无标记的物联网时序数据、有标记的物联网时序数据待训练的物联网时序数据为输入，以对应的类标签为输出，以损失函数最小为目标对基于LSTM和注意力机制的半监督自编码器模型进行训练得到的。
该方案采用了长短记忆网络和半监督模型进行训练，训练集部分采用了有标记数据，解决了泛用性问题的同时节约了成本，然而长短记忆网络自动编码器在处理较长数据时存在信息丢失问题，样本重构准确性不足，会导致训练得到的模型存在一定的误差。
发明内容
本发明提供了一种配电终端异常检测模型的建立方法及装置，在自编码模型中引入注意力机制，有效避免处理长数据时的信息丢失问题，模型性能较好。
一种配电终端异常检测模型的建立方法，包括：
采集配电终端的状态数据；
对所述状态数据进行预处理，获得训练集和测试集；
建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；
根据所述训练集对所述基于注意力机制的自编码模型进行训练；
将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测。
进一步地，对所述状态数据进行预处理，包括：
对所述状态数据进行归一化处理；
分别对各个归一化的状态数据进行分段处理，得到分段状态数据；
将所述分段状态数据进行划分，获得训练集和测试集。
进一步地，根据所述训练集对所述基于注意力机制的自编码模型进行训练，包括：
将所述训练集中原始的分段状态数据输入至所述第一编码器进行编码处理，生成潜在空间数据；
所述解码器对所述潜在空间数据进行重构，生成原始重构数据；
所述判别器将所述原始重构数据与原始的分段状态数据进行误差判别；
所述第二编码器将所述原始重构数据进行编码处理，获得潜在重构数据；
在每一轮训练中，计算关于原始重构数据的误差、判别器的误差判别损失以及潜在重构数据的误差的三重重构损失函数的值，直到所述三重重构损失函数的值小于第一预设值时停止训练。
进一步地，所述三重重构损失函数通过以下公式表示：
Loss＝αlx+βlz+(1-α-β)lD；
其中，Loss表示三重重构损失函数，lx表示关于原始重构数据的误差，α表示有关原始重构数据的参数，lz表示潜在重构数据的误差，β表示有关潜在重构数据的参数，lD表示判别器的误差判别损失。
进一步地，所述训练集中的分段状态数据包括部分有标记的分段状态数据以及无标记的分段状态数据；
根据所述训练集对所述基于注意力机制的自编码模型进行训练，还包括：
在每一轮训练中，根据有标记的分段状态数据训练对应的三重重构损失函数以及无标记的分段状态数据训练对应的三重重构损失函数，计算总损失函数的值，直到所述总损失函数的值小于第二预设值时停止训练。
进一步地，所述总损失函数通过以下公式表示：
其中，F表示总损失函数，m表示有标记的分段状态数据的数量，n表示无标记的分段状态数据的数量，lue表示无标记的分段状态数据训练对应的三重重构损失函数，lle表示有标记的分段状态数据训练对应的三重重构损失函数，δ表示有标记的分段状态数据的权重参数，yj表示有标记的分段状态数据的标签。
进一步地，所述方法还包括：
第一注意力运算层计算原始的分段状态数据与原始重构数据的匹配程度，并将匹配程度大于预设匹配程度的原始重构数据定义为注意力集中点。
进一步地，所述方法还包括：
第二注意力运算层计算原始重构数据与潜在重构数据的匹配程度，并将匹配程度大于预设匹配程度的潜在重构数据定义为注意力集中点。
一种应用于上述方法的配电终端异常检测模型的建立装置，包括：
采集模块，用于采集配电终端的状态数据；
预处理模块，用于对所述状态数据进行预处理，获得训练集和测试集；
模型建立模块，用于建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；
训练模块，用于根据所述训练集对所述基于注意力机制的自编码模型进行训练；
检测模块，用于将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测。
一种电子设备，包括处理器和存储装置，所述存储装置存储有多条指令，所述处理器用于读取所述多条指令并执行上述方法。
本发明提供的配电终端异常检测模型的建立方法及装置，至少包括如下有益效果：
(1)采用两个编码器、解码器及判别器进行数据重构、误差判别和数据增强，通过计算原始重构数据的误差、判别器的误差判别损失以及潜在重构数据的误差的三重重构损失函数直接实现异常状态检测，模型性能较好。
(2)采用主动学习的方式对数据进行自动标注，根据不确定性判定标注的价值，减轻了人工标注的压力，优化了标注的效果，从而提高了模型训练的准确性。
(3)在自编码模型中引入注意力机制，将模型的注意力集中在与当前状态相关的信息上，解决了自编码器自身存在的有损重构问题，提高了自编码器重构的效果，进一步提高了模型的性能。
附图说明
图1为本发明提供的配电终端异常检测模型的建立方法一种实施例的流程图。
图2为本发明提供的模型建立方法中自编码模型一种实施例的结构示意图。
图3为本发明提供的模型建立方法中自编码模型另一种实施例的结构示意图。
图4为本发明提供的配电终端异常检测模型的建立装置一种实施例的结构示意图。
图5为本发明提供的电子设备一种实施例的结构示意图。
附图标记：1-处理器，2-存储装置，101-采集模块，102-预处理模块，103-模型建立模块，104-训练模块，105-检测模块，106-注意力运算模块，201-第一编码器，202-解码器，203-第二编码器，204-判别器，205-生成器，206-第一注意力运算层，207-第二注意力运算层。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
参考图1，在一些实施例中，提供一种配电终端异常检测模型的建立方法，包括：
S1、采集配电终端的状态数据；
S2、对所述状态数据进行预处理，获得训练集和测试集；
S3、建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；
S4、根据所述训练集对所述基于注意力机制的自编码模型进行训练；
S5、将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测。
具体地，步骤S2中，对所述状态数据进行预处理，包括：
S21、对所述状态数据进行归一化处理；
S22、分别对各个归一化的状态数据进行分段处理，得到分段状态数据；
S23、将所述分段状态数据进行划分，获得训练集和测试集。
具体地，步骤S21中，将步骤S1中得到的状态数据表示为T＝{x1,x2,…,xn}，该状态数据为时间序列数据，其中数据的最大值为xmax，最小值为xmin。由于不同时间段的时间序列数据取值范围不同，为了避免数据单位不一致导致的数据分布学习能力下降，在一些实施例中，采用min-max标准化的方式对所有状态数据的取值范围进行归一化，归一化采用的转换函数通过以下公式表示：
其中，T'为归一化后的数据集，xi为第i个状态数据的原始值，为第i个状态数据归一化后的数值，xmax为状态数据中的最大值，xmin为状态数据中的最小值，n为状态数据的数据总数。
步骤S22中，由于时间序列数据具有长持续性，因此对归一化的状态数据进行分段处理，将一条长时间序列分为很多条长度较短的时间片段。在一些实施例中，分段操作采用滑动窗口将时间序列数据进行分段，具体为，取长度为k的滑动窗口，将滑动步长设置为1，将归一化的状态数据T'进行分段操作，得到分段状态数据。
其中，所述分段状态数据通过以下公式表示：
S＝{(si,ri,yi),(s2,y2,y2),......,(sn-k,rn-k,yn-k)}；
其中，si为第i个分段状态数据，ri为第i个分段状态数据的预测数据(经预测模型预测输出后获得)，yi为第i个分段状态数据的异常标记，n为分段状态数据的总数，k为滑动窗口的长度，S为归一化后的状态数据。
在一些实施例中，根据状态数据的标记情况，对所述分段状态数据进行标记，具体为：当状态数据无标记时，将分段状态数据标记为-1；当所述状态数据有标记时，分段状态数据标记为源数据集中的对应标记。
步骤S3中，所述第一编码器和第二编码器均包括双层的长短记忆神经网络、dropout层、隐藏层、全连接层以及输出层。
其中，每一层长短记忆神经网络后都添加dropout层，dropout层用于在自编码模型的训练过程中按照一定的概率暂时将某部分神经网络单元从网络中丢弃，从而降低计算量，在避免模型过拟合的同时缩减训练消耗的时长。
参考图2，在一些实施例中，第一编码器201和解码器202共同构成生成器205，所述生成器205与所述判别器204均由长短期记忆网络构成，结构相同，参数不同。其中，第一编码器201与解码器202结构相同且相互对称，模型采用sigmoid函数作为激活函数。
参考图2，步骤S4中，根据所述训练集对所述基于注意力机制的自编码模型进行训练，包括：
S41、将所述训练集中原始的分段状态数据X输入至所述第一编码器201进行编码处理，生成潜在空间数据Z；
S42、所述解码器202对所述潜在空间数据Z进行重构，生成原始重构数据
S43、所述判别器204将所述原始重构数据与原始的分段状态数据X进行误差判别；
S44、所述第二编码器203将原始重构数据进行编码处理，获得潜在重构数据/>
S45、在每一轮训练中，计算关于原始重构数据的误差、判别器204的误差判别损失以及潜在重构数据的误差的三重重构损失函数的值，直到所述三重重构损失函数的值小于第一预设值时停止训练。
其中，第一编码器202用于将原始的分段状态数据转化为潜在空间数据，解码器202用于将潜在空间数据转化为原始重构数据，第二编码器203用于将原始重构数据转化为潜在重构数据。
具体地，给定一个训练集X，M表示训练集数据的特征维数，t表示训练集分段状态数据的长度；对应的，每个测试集/> N表示测试集数据的特征维数，t表示测试集分段状态数据的长度。
训练过程中，需要对原始重构数据的误差、潜在重构数据的误差、判别器的误差判别损失进行计算，其中，原始重构数据的误差lx通过以下公式计算：
其中，x表示原始的分段状态数据，t表示分段状态数据的长度，fG(x)表示生成器输出层的激活函数。
原始的分段状态数据经过归一化后在[0,1]范围内，其特征值在平方后会越来越小，原始重构误差通过上述公式进行计算，可以有效减小模型受到噪声带来的影响。
计算所述潜在重构数据的误差的目的是为通过潜在重构数据在较小的取值区间范围内发现样本之间的不同，潜在重构数据的误差lz通过以下公式计算：
其中，x表示原始的分段状态数据，t表示分段状态数据长度，fEnc1(x)表示第一编码器输出的一对原始的分段状态数据的推算结果，即潜在空间数据，G(x)表示原始的分段状态数据的重构，即原始重构数据，fEnc2(G(x))表示第二编码器的输出，即潜在重构数据。
计算所述判别器204的误差判别损失的目的是为以较高的敏捷度来判别解码器202所重构的原始重构数据，将异常数据判别出来，从而得到一个能够直接对异常进行检测的自编码模型，判别器204的误差判别损失lD通过以下公式计算：
其中，xi表示第i个分段状态数据，zi表示第i个分段状态数据的原始重构数据，m表示分段状态数据的数量，D(xi)表示对分段状态数据的判别，D(G(zi))表示对原始重构数据的判别。
通过获得的原始重构数据的误差、潜在重构数据的误差、判别器的误差判别损失，进一步计算得到三重重构损失函数，所述三重重构损失函数通过以下公式表示：
Loss＝αlx+βlz+(1-α-β)lD；
其中，Loss表示三重重构损失函数，lx表示关于原始重构数据的误差，α表示有关原始重构数据的参数，lz表示潜在重构数据的误差，β表示有关潜在重构数据的参数，lD表示判别器的误差判别损失。其中，α＞0且β＞0，经多次实验测试决定。
所述三重重构损失函数作为所述自编码模型的训练目标函数，训练的目标即为使该函数最小化，训练执行多次直到所述三重重构损失函数的值小于第一预设值时停止训练。
作为一种优选的实施方式，训练过程中模型采用基于Adam优化器和梯度下降优化器的小批量随机优化方法对模型参数进行更新。
在一些实施例中，所述训练集中的分段状态数据包括部分有标记的分段状态数据以及无标记的分段状态数据。
对应地，步骤S4中，根据所述训练集对所述基于注意力机制的自编码模型进行训练，还包括：
S46、在每一轮训练中，根据有标记的分段状态数据训练对应的三重重构损失函数以及无标记的分段状态数据训练对应的三重重构损失函数，计算总损失函数的值，直到所述总损失函数的值小于第二预设值时停止训练。
在一些实施例中，对训练集中的小部分无标记分段状态数据进行标记，标记方法采用不确定性标记算法，根据数据样本的不确定性来对其进行标注。具体地，不确定性越大，则该样本可能具有与正常样本相悖的异常特征的可能性越大，该样本具备的标注价值也越高，标记该数据样本更加能够直接提升模型性能。原始的训练集中无标记分段状态数据的不确定性通过以下公式表示：
Uncertainty＝|P(Health)-P(Failure)|；
其中，P(Health)表示数据正常的概率，P(Failure)表示数据异常的概率。这两个概率是用基础模型——基于GAN的无监督自编码器模型对同一个样本数据经过多次的判断异常得到的。一个数据的不确定性较大，在数值上的表现是被估计为正常的概率与被估计为异常的概率相差较大。
步骤S46中，训练集中一部分分段状态数据有标记后，模型在训练阶段需要对损失函数作出调整，将有标记的分段状态数据训练对应的三重重构损失函数与无标记的分段状态数据训练对应的三重重构损失函数结合成一个总损失函数，用于判定模型收敛。其中采用一个超参数来表示有标记的数据在损失函数中的权重，从而跟踪标记数据对整个模型的影响。
具体地，对于标记状态异常的样本(yj＝1)，采用对损失函数的倒数进行惩罚的方法，使得异常样本按照与原有标记分段状态数据相反的方向重构，以使它的重构远远偏离原始有标记分段状态数据。在损失函数上，具体表现为如果超参数δ<1，则模型更偏向于无标记数据的分布，当δ>1，则模型更偏向于有标记数据的分布，当δ＝0时，训练集中不存在有标记的分段状态数据，总损失函数等于无标记的分段状态数据训练对应的三重重构损失函数。
所述总损失函数通过以下公式表示：
其中，F表示总损失函数，m表示有标记的分段状态数据的数量，n表示无标记的分段状态数据的数量，lue表示无标记的分段状态数据训练对应的三重重构损失函数，lle表示有标记的分段状态数据训练对应的三重重构损失函数，δ表示有标记的分段状态数据的权重参数，yj表示有标记的分段状态数据的标签，yi∈{0,1}，0表示分段状态数据正常，1表示分段状态数据异常。
参考图3，在一些实施例中，还包括第一注意力运算层206和第二注意力运算层207，第一注意力运算层206设置于第一编码器201和解码器202之间，第二注意力运算层207设置于解码器和第二编码器之间，所述方法还包括：
第一注意力运算层206计算原始的分段状态数据与原始重构数据的匹配程度，并将匹配程度大于预设匹配程度的原始重构数据定义为注意力集中点；
第二注意力运算层207计算原始重构数据与潜在重构数据的匹配程度，并将匹配程度大于预设匹配程度的潜在重构数据定义为注意力集中点。
解码器与编码器构成的学习结构存在一定的缺陷，即编码器会将最后一步的隐藏层向量输出给解码器，解码器利用该隐藏层向量进行数据重构，重构过程过分依赖于将整个数据压缩成固定输出的向量，这种做法不可避免地导致了信息的丢失，使得重构的结果不够准确。定义注意力集中点的目的是将模型的注意力集中在与当前状态相关的信息上，忽略其他不相关的信息，从而解决信息丢失的问题。第一注意力运算层206与第二注意力运算层207允许解码器202访问整个编码后的潜在空间向量，从而减轻信息丢失和输入输出无法对齐的问题。
具体地，定义注意力权重βij及中间层向量cj，注意力权重用于捕捉编码器隐藏层hi和解码器隐藏层之间的相关性，中间层向量cj用于读取原始输入向量的信息，并了解输入向量特征的权重的机制，从而更好的对齐编码器到解码器的高质量输出。在传输解码器的隐藏层sj和输出层yj之前，通过注意力权重构建中间层向量cj输入至解码器中，第j个解码位置的中间层向量cj是所有的编码器隐藏层向量hi及其相应的注意力权重βij的加权和，中间层向量的计算通过以下公式表示：
其中，βij为位置j的第i个注意力权重，hi为第i个隐藏层，T表示特征维度。
编码器使用函数映射将输入向量转换为隐藏层向量，解码器通过隐藏层向量执行重构输出重构结果。长短记忆网络自动编码器结合了长短记忆网络和注意力运算层，通过将编码和解码过程交给长短记忆网络执行，编码器从输入向量中提取时间特征，编码器执行从特征映射到输出的转换。进一步地，注意力运算层又使模型在数据分类时将注意力集中在与当前数据相关的特征上，从而解决了自编码器自身存在的有损重构问题，提高了自编码器重构的效果。
步骤S5中，作为一种较优的实施方式，采用潜在重构数据的误差lz作为异常分数来检测测试样本的异常。将潜在重构数据的误差lz归一化到[0,1]范围内。
通过以下公式进行归一化处理：
其中，A(x)为归一化后的值，lz为潜在重构数据的误差，min(lz)为潜在重构数据的误差中的最小值，max(lz)为潜在重构数据的误差中的最大值。
归一化后的值为A(x)，用A(x)与阈值s进行比较，根据A(x)大于阈值s或小于阈值s最终给予测试样本是异常和正常的结果。其中x表示某个样本。
参考图4，在一些实施例中提供一种应用于上述方法的配电终端异常检测模型的建立装置，包括：
采集模块101，用于采集配电终端的状态数据；
预处理模块102，用于对所述状态数据进行预处理，获得训练集和测试集；
模型建立模块103，用于建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；
训练模块104，用于根据所述训练集对所述基于注意力机制的自编码模型进行训练；
检测模块105，用于将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测。
其中，所述预处理模块102还用于：
对所述状态数据进行归一化处理；
分别对各个归一化的状态数据进行分段处理，得到分段状态数据；
将所述分段状态数据进行划分，获得训练集和测试集。
所述模型建立模块103中，所述第一编码器和第二编码器均包括双层的长短记忆神经网络、dropout层、隐藏层、全连接层以及输出层。
所述训练模块104还用于：
将所述训练集中原始的分段状态数据输入至所述第一编码器进行编码处理，生成潜在空间数据；
所述解码器对所述潜在空间数据进行重构，生成原始重构数据；
所述判别器将所述重构数据与原始的分段状态数据进行误差判别；
所述第二编码器将所述重构数据进行编码处理，获得潜在重构数据；
在每一轮训练中，计算关于原始重构数据的误差、判别器的误差判别损失以及潜在重构数据的误差的三重重构损失函数的值，直到所述三重重构损失函数的值小于第一预设值时停止训练。
其中，所述三重重构损失函数通过以下公式表示：
Loss＝αlx+βlz+(1-α-β)lD；
其中，Loss表示三重重构损失函数，lx表示关于原始重构数据的误差，α表示有关原始重构数据的参数，lz表示潜在重构数据的误差，β表示有关潜在重构数据的参数，lD表示判别器的误差判别损失。
所述训练模块104中，所述训练集中的分段状态数据包括部分有标记的分段状态数据以及无标记的分段状态数据；
所述训练模块104还用于：
在每一轮训练中，根据有标记的分段状态数据训练对应的三重重构损失函数以及无标记的分段状态数据训练对应的三重重构损失函数，计算总损失函数的值，直到所述总损失函数的值小于第二预设值时停止训练。
其中，所述总损失函数通过以下公式表示：
其中，F表示总损失函数，m表示有标记的分段状态数据的数量，n表示无标记的分段状态数据的数量，lue表示无标记的分段状态数据训练对应的三重重构损失函数，lle表示有标记的分段状态数据训练对应的三重重构损失函数，δ表示有标记的分段状态数据的权重参数，yj表示有标记的分段状态数据的标签。
所述配电终端异常检测模型的建立装置还包括注意力运算模块106，所述注意力运算模块106用于：
第一注意力运算层计算原始的分段状态数据与原始重构数据的匹配程度，并将匹配程度大于预设匹配程度的原始重构数据定义为注意力集中点；
第二注意力运算层计算原始重构数据与潜在重构数据的匹配程度，并将匹配程度大于预设匹配程度的潜在重构数据定义为注意力集中点。
参考图5，在一些实施例中，提供一种电子设备，包括处理器1和存储装置2，所述存储装置2存储有多条指令，所述处理器1用于读取所述多条指令并执行上述方法。
本实施例提供的配电终端异常检测模型的建立方法及装置，采用编码器、解码器及判别器进行数据重构、误差判别和数据增强，通过计算原始重构数据的误差、判别器的误差判别损失以及潜在重构数据的误差的三重重构损失函数直接实现异常状态检测，模型性能较好；采用主动学习的方式对数据进行自动标注，根据不确定性判定标注的价值，减轻了人工标注的压力，优化了标注的效果，从而提高了模型训练的准确性；在自编码模型中引入注意力机制，将模型的注意力集中在与当前状态相关的信息上，解决了自编码器自身存在的有损重构问题，提高了自编码器重构的效果，进一步提高了模型的性能。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种配电终端异常检测模型的建立方法，其特征在于，包括：
采集配电终端的状态数据；
对所述状态数据进行预处理，获得训练集和测试集；
建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；
根据所述训练集对所述基于注意力机制的自编码模型进行训练；
将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测；
对所述状态数据进行预处理，包括：
对所述状态数据进行归一化处理；
分别对各个归一化的状态数据进行分段处理，得到分段状态数据；
将所述分段状态数据进行划分，获得训练集和测试集；
所述分段状态数据通过以下公式表示：
S＝{(si,ri,yi),(s2,y2,y2),......,(sn-k,rn-k,yn-k)}；
其中，si为第i个分段状态数据，ri为第i个分段状态数据的预测数据，yi为第i个分段状态数据的异常标记，n为分段状态数据的总数，k为滑动窗口的长度，S为归一化后的状态数据；
根据所述训练集对所述基于注意力机制的自编码模型进行训练，包括：
将所述训练集中原始的分段状态数据输入至所述第一编码器进行编码处理，生成潜在空间数据；
所述解码器对所述潜在空间数据进行重构，生成原始重构数据；
所述判别器将所述原始重构数据与原始的分段状态数据进行误差判别；
所述第二编码器将所述原始重构数据进行编码处理，获得潜在重构数据；
在每一轮训练中，计算关于原始重构数据的误差、判别器的误差判别损失以及潜在重构数据的误差的三重重构损失函数的值，直到所述三重重构损失函数的值小于第一预设值时停止训练；
原始重构数据的误差lx通过以下公式计算：
其中，x表示原始的分段状态数据，t表示分段状态数据的长度，fG(x)表示生成器输出层的激活函数；
潜在重构数据的误差lz通过以下公式计算：
其中，x表示原始的分段状态数据，t表示分段状态数据长度，fEnc1(x)表示第一编码器输出的一对原始的分段状态数据的推算结果，G(x)表示原始的分段状态数据的重构，fEnc2(G(x))表示第二编码器的输出；
误差判别损失lD通过以下公式计算：
其中，xi表示第i个分段状态数据，zi表示第i个分段状态数据的原始重构数据，m表示分段状态数据的数量，D(xi)表示对分段状态数据的判别，D(G(zi))表示对原始重构数据的判别；
所述三重重构损失函数通过以下公式表示：
Loss＝αlx+βlz+(1-α-β)lD；
其中，Loss表示三重重构损失函数，lx表示关于原始重构数据的误差，α表示有关原始重构数据的参数，lz表示潜在重构数据的误差，β表示有关潜在重构数据的参数，lD表示判别器的误差判别损失；
所述训练集中的分段状态数据包括部分有标记的分段状态数据以及无标记的分段状态数据；
根据所述训练集对所述基于注意力机制的自编码模型进行训练，还包括：
在每一轮训练中，根据有标记的分段状态数据训练对应的三重重构损失函数以及无标记的分段状态数据训练对应的三重重构损失函数，计算总损失函数的值，直到所述总损失函数的值小于第二预设值时停止训练；
所述总损失函数通过以下公式表示：
其中，F表示总损失函数，m表示有标记的分段状态数据的数量，n表示无标记的分段状态数据的数量，lue表示无标记的分段状态数据训练对应的三重重构损失函数，lle表示有标记的分段状态数据训练对应的三重重构损失函数，δ表示有标记的分段状态数据的权重参数，yj表示有标记的分段状态数据的标签。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
第一注意力运算层计算原始的分段状态数据与原始重构数据的匹配程度，并将匹配程度大于预设匹配程度的原始重构数据定义为注意力集中点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
第二注意力运算层计算原始重构数据与潜在重构数据的匹配程度，并将匹配程度大于预设匹配程度的潜在重构数据定义为注意力集中点。
4.根据权利要求1所述的方法，其特征在于，所述第一编码器和第二编码器均包括双层的长短记忆神经网络、dropout层、隐藏层、全连接层以及输出层。
5.根据权利要求1所述的方法，其特征在于，采用min-max标准化的方式对所述状态数据的取值范围进行归一化。
6.根据权利要求5所述的方法，其特征在于，归一化采用的转换函数通过以下公式表示：
其中，T′为归一化后的数据集，xi为第i个状态数据的原始值，为第i个状态数据归一化后的数值，xmax为状态数据中的最大值，xmin为状态数据中的最小值，n为状态数据的数据总数。
7.一种应用于权利要求1-6任一所述方法的配电终端异常检测模型的建立装置，其特征在于，包括：
采集模块，用于采集配电终端的状态数据；
预处理模块，用于对所述状态数据进行预处理，获得训练集和测试集；
模型建立模块，用于建立基于注意力机制的自编码模型，所述基于注意力机制的自编码模型包括第一编码器、第一注意力运算层、解码器、第二注意力运算层、第二编码器以及判别器；
训练模块，用于根据所述训练集对所述基于注意力机制的自编码模型进行训练；
检测模块，用于将所述测试集输入至训练后的基于注意力机制的自编码模型进行异常检测。
8.根据权利要求7所述的装置，其特征在于，第一注意力运算层计算原始的分段状态数据与原始重构数据的匹配程度，并将匹配程度大于预设匹配程度的原始重构数据定义为注意力集中点。
9.根据权利要求8所述的装置，其特征在于，第二注意力运算层计算原始重构数据与潜在重构数据的匹配程度，并将匹配程度大于预设匹配程度的潜在重构数据定义为注意力集中点。
10.一种电子设备，其特征在于，包括处理器和存储装置，所述存储装置存储有多条指令，所述处理器用于读取所述多条指令并执行如权利要求1-6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210307434.0A CN114611409B (zh) | 2022-03-25 | 2022-03-25 | 一种配电终端异常检测模型的建立方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210307434.0A CN114611409B (zh) | 2022-03-25 | 2022-03-25 | 一种配电终端异常检测模型的建立方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114611409A CN114611409A (zh) | 2022-06-10 |
| CN114611409B true CN114611409B (zh) | 2024-02-02 |
Family
ID=81866121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210307434.0A Active CN114611409B (zh) | 2022-03-25 | 2022-03-25 | 一种配电终端异常检测模型的建立方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114611409B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115983087B (zh) * | 2022-09-16 | 2023-10-13 | 山东财经大学 | 一种注意力机制与lstm结合检测时序数据异常方法及终端机 |
| CN115293663A (zh) * | 2022-10-10 | 2022-11-04 | 国网山东省电力公司滨州供电公司 | 一种母线不平衡率异常检测方法、系统及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985330A (zh) * | 2018-06-13 | 2018-12-11 | 华中科技大学 | 一种自编码网络及其训练方法、异常用电检测方法和系统 |
| CN113255738A (zh) * | 2021-05-06 | 2021-08-13 | 武汉象点科技有限公司 | 一种基于自注意力生成对抗网络的异常图像检测方法 |
| CN113905405A (zh) * | 2021-11-19 | 2022-01-07 | 国网福建省电力有限公司经济技术研究院 | 一种电力无线接入专网异常流量检测方法 |
-
2022
- 2022-03-25 CN CN202210307434.0A patent/CN114611409B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985330A (zh) * | 2018-06-13 | 2018-12-11 | 华中科技大学 | 一种自编码网络及其训练方法、异常用电检测方法和系统 |
| CN113255738A (zh) * | 2021-05-06 | 2021-08-13 | 武汉象点科技有限公司 | 一种基于自注意力生成对抗网络的异常图像检测方法 |
| CN113905405A (zh) * | 2021-11-19 | 2022-01-07 | 国网福建省电力有限公司经济技术研究院 | 一种电力无线接入专网异常流量检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于AMCNN-LSTM 的电力无线接入专网异常流量检测";夏炳森 等;重庆邮电大学学报（自然科学版）;第33卷(第6期);939-945 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114611409A (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114611409B (zh) | 一种配电终端异常检测模型的建立方法及装置 | |
| WO2023123941A1 (zh) | 一种数据异常检测方法及装置 | |
| CN111914873A (zh) | 一种两阶段云服务器无监督异常预测方法 | |
| CN113852603B (zh) | 网络流量的异常检测方法、装置、电子设备和可读介质 | |
| CN111353373A (zh) | 一种相关对齐域适应故障诊断方法 | |
| CN113328755B (zh) | 一种面向边缘计算的压缩数据传输方法 | |
| CN112395382A (zh) | 基于变分自编码器的船舶异常航迹数据检测方法和装置 | |
| CN116148656B (zh) | 一种便携式模拟断路器故障检测方法 | |
| CN115455746B (zh) | 一种核动力装置运行监测数据异常检测与校正一体化方法 | |
| CN115858794B (zh) | 用于网络运行安全监测的异常日志数据识别方法 | |
| CN111614576A (zh) | 一种基于小波分析和支持向量机的网络数据流量识别方法及系统 | |
| CN116451142A (zh) | 一种基于机器学习算法的水质传感器故障检测方法 | |
| CN114842371B (zh) | 一种无监督视频异常检测方法 | |
| CN112348290A (zh) | 河流水质预测方法、装置、存储介质及设备 | |
| CN113093985A (zh) | 传感器数据链路异常检测方法、装置和计算机设备 | |
| CN114818817A (zh) | 一种电容式电压互感器微弱故障识别系统及方法 | |
| CN117131022B (zh) | 一种电力信息系统的异构数据迁移方法 | |
| CN114581699A (zh) | 考虑多源信息时基于深度学习模型的变压器状态评估方法 | |
| WO2023231374A1 (zh) | 机械设备半监督故障检测分析方法、装置、终端及介质 | |
| CN116662800A (zh) | 一种基于自适应注意力机制的滚动轴承故障诊断方法 | |
| CN116956089A (zh) | 电器设备温度异常检测模型训练方法以及检测方法 | |
| CN113095386B (zh) | 一种基于三轴加速度空时特征融合的手势识别方法及系统 | |
| CN113505817A (zh) | 不均衡数据下轴承故障诊断模型样本自适应加权训练方法 | |
| CN114239753B (zh) | 可迁移的图像识别方法及装置 | |
| Kosela et al. | Tracking of Spermatozoa by YOLOv5 Detection and StrongSORT with OSNet Tracker. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220616 Address after: 225300 No.2 Fenghuang West Road, Hailing District, Taizhou City, Jiangsu Province Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH Applicant after: State Grid Jiangsu Electric Power Co.,Ltd. innovation and Innovation Center Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. Address before: 225300 No.2 Fenghuang West Road, Hailing District, Taizhou City, Jiangsu Province Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |