CN117725454B - 一种输电线路缺陷特征分布学习方法 - Google Patents
一种输电线路缺陷特征分布学习方法 Download PDFInfo
- Publication number
- CN117725454B CN117725454B CN202410176515.0A CN202410176515A CN117725454B CN 117725454 B CN117725454 B CN 117725454B CN 202410176515 A CN202410176515 A CN 202410176515A CN 117725454 B CN117725454 B CN 117725454B
- Authority
- CN
- China
- Prior art keywords
- representing
- transmission line
- hidden layer
- individual
- visible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 166
- 238000009826 distribution Methods 0.000 title claims abstract description 93
- 230000007547 defect Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000006870 function Effects 0.000 claims description 45
- 210000002569 neuron Anatomy 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000005856 abnormality Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Liquid Crystal (AREA)
Abstract
本发明提供了一种输电线路缺陷特征分布学习方法，属于电网输电线路缺陷检测技术领域，该方法包括获取输电线路缺陷数据集，并初始化受限玻尔兹曼机参数；利用受限玻尔兹曼机得到重构后的输电线路缺陷数据；对重构后的输电线路缺陷数据进行聚类，得到输电线路缺陷数据的伪标签；根据输电线路缺陷数据的伪标签，对受限玻尔兹曼机参数进行更新；针对达到迭代次数时，得到最优受限玻尔兹曼机，并利用最优受限玻尔兹曼机，对输电线路缺陷特征分布进行判别。本发明以受限玻尔兹曼机结构为基础，引入类簇分布和自监督判别特征学习的思想，能够大幅提升编码数据的可判别性，并且具有较好的稳定性。
Description
技术领域
本发明属于电网输电线路缺陷检测技术领域，尤其涉及一种输电线路缺陷特征分布学习方法。
背景技术
目前电网已经成为一个庞大、复杂、电压等级日益增长的系统。因此，电网企业迫切需要一种高效、有效的方法来快速识别电网中的问题和缺陷。传统的人工电网巡检方法存在巨大风险、高度复杂性以及时间和人力资源消耗，同时还可能导致缺陷的延迟检测。这些潜在的电网输电线上缺陷可能包括异物存在、部分关键零部件（例如螺栓、绝缘子等）的损坏或缺失、电缆损坏和拉线缺陷。
针对上述电网输电线存在的种种缺陷，现有技术中提出了新的输电线异物检测网络TLFOD Net，该模型在识别速度和精度上都有所提高。现有技术提出采用图像处理技术对输电线路进行检测，并使用Adaboost算法对目标进行缺陷识别。现有技术通过提取巡检图像中输电线和天空背景的颜色和纹理特征，以此作为SVM分类器的训练数据，在检测阶段，根据预训练的SVM分类器得到不同区域的得分，以此为依据将图像分割为天空区域、非天空区域和不确定区域，通过不确定区域周围的像素点属性逐渐将不确定区域归类合并，最终剩下的未合并区域就是异物所在位置。现有技术中采用了SSD作为异物检测的主要算法，通过多次的对比实验证明数据增强对该任务模型的平均精度值有较大提升。上述方法都对输电线上的缺陷进行了检测，并取得了一定的成效，但由于对数据的特征学习不够充分，从而导致模型的计算量偏大，检测的准确率低。
由于电网输电线数据可能存在标签缺失的问题，现有技术提出了无监督学习的模型。在使用无监督的方式来使类间距离变大时，往往仅仅使用同一类别的所有数据的均值来代表整个类别的数据。在对输电线的正常和各种异常的分别中，对于之前算法带来的不稳定性等问题，现有技术提出使用特征分布的思想来解决。
现有的方法虽然较好的解决了局部的问题，但是还是不能很好的兼顾以上几种问题。此外，鲜有技术考虑到输电线特征的整体分布，经常导致数据信息丢失。
发明内容
针对现有技术中的上述不足，本发明提供的一种输电线路缺陷特征分布学习方法，解决了输电线异常检测时存在的不稳定、效果差的问题。
为了达到以上目的，本发明采用的技术方案为：一种输电线路缺陷特征分布学习方法，包括以下步骤：
S1、获取输电线路缺陷数据集，并初始化受限玻尔兹曼机参数；S2、根据输电线路缺陷数据集，利用受限玻尔兹曼机得到重构后的输电线路缺陷数据；S3、对重构后的输电线路缺陷数据进行聚类，得到输电线路缺陷数据的伪标签，其中，输电线路缺陷数据的伪标签为重构后的输电线路缺陷数据的类别；S4、根据输电线路缺陷数据的伪标签，对受限玻尔兹曼机参数进行更新；S5、判断是否达到迭代次数，若是，则根据S4的更新结果，得到最优受限玻尔兹曼机，并进入S6，否则，返回S2；S6、利用最优受限玻尔兹曼机，对输电线路缺陷特征分布进行判别。
本发明的有益效果是：本发明以受限玻尔兹曼机结构为基础，引入类簇分布和自监督判别特征学习的思想，对输电线路缺陷数据进行重构以及进行聚类得到重构的输电线路缺陷数据的类别，并对受限玻尔兹曼机参数进行更新，得到最优的受限玻尔兹曼机，以对输电线路缺陷特征分布进行判别。本发明能够大幅提升编码数据的可判别性，并且具有较好的稳定性。
进一步地，所述受限玻尔兹曼机包括：
高斯-伯努利受限玻尔兹曼机，用于在保证输电线路缺陷数据的整体分布保持原样的情况下，对输电线路缺陷数据集进行数据重构，以及对正常输电线路数据和异常输电线路数据进行判别；聚类集成器，用于对重构后的输电线路缺陷数据集进行聚类，得到输电线路缺陷数据的伪标签，并利用F-散度最大化不同类别之间分布的差异参数，利用该差异参数更新高斯-伯努利受限玻尔兹曼机，增强正常输电线路数据和异常输电线路数据判别的训练，其中，所述输电线路缺陷数据的伪标签为重构后的输电线路缺陷数据的类别。
上述进一步方案的有益效果是：本发明提出了在完善保存输电线数据的整体分布的同时，注重输电线全局特征的模型（受限玻尔兹曼机），克服了现有的基于均值和局部数据的特征学习的方法不具有一般性的缺陷。同时，所提出的模型（受限玻尔兹曼机）自我生成伪标签，两部分相互迭代学习，使其不受输电线可能存在的数据标签缺失的问题所制约，在多种数据集和多个指标下，能具有更好的输电线特征提取能力和较高的电网输电线缺陷的判别准确率；所提出的模型（受限玻尔兹曼机），使用输电线数据的分布来增强数据的编码可判别性，摆脱了使用欧几里得距离所遇到的模型的性能不稳定的问题。
再进一步地，所述利用F-散度最大化不同类别之间分布的差异参数的目标公式如下：；/>：
其中，表示判别特征学习在隐藏层的损失函数，/>表示类别数量，/>表示输电线特征数量，/>分别表示第/>个类别和第/>个类别的下标，/>表示F-散度的值，/>表示隐藏层第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示隐藏层的第个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示判别特征学习在重构的隐藏层的损失函数，/>表示重构后的隐藏层的第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示重构后的隐藏层的第/>个神经元生成的输电线路特征的第类别所形成的分布，/>表示神经元的索引号。
再进一步地，所述利用该差异参数更新高斯-伯努利受限玻尔兹曼机的目标表达式如下：，，/>：
其中，表示第/>次迭代的第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个可见层的特征和第/>个隐藏层特征的权重值，/>表示比例系数，/>表示学习率，/>表示可见层的第/>个特征，/>表示第/>个隐藏层特征的状态，/>表示在可见层的运算，/>表示在隐藏层的运算，/>表示求导运算，/>表示隐藏层的目标函数，/>表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示比例系数，/>表示第/>个隐藏层特征的偏差值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示可见层的第/>个特征，/>表示可见层的偏移值，/>表示可见层的第/>个方差值，/>表示迭代次数，/>表示可见层特征的索引号，/>表示隐藏层特征的索引号；
，：
其中，表示/>所在类别的分布，/>表示重构后输电线路数据的第/>个隐藏层特征的第t个类别，/>表示/>所在的类别分布，/>表示隐藏层中输电线路数据的第/>个隐藏层特征属于第/>类，/>表示y散度值，/>表示隐藏层和可见层分布之间的比值，/>表示以e为底，2为值的对数值，t表示类别的索引号。
再进一步地，所述高斯-伯努利受限玻尔兹曼机的能量函数的表达式如下：：
其中，表示高斯-伯努利受限玻尔兹曼机的能量函数，/>表示隐藏层的向量，/>表示可见层的向量，/>表示可见层特征的集合，/>表示第/>个可见层特征，/>表示第/>个可见层特征的偏差值，/>表示可见层的第/>个方差值，/>表示第/>个隐藏层特征的状态，/>表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示隐藏层特征的集合，/>表示第/>个隐藏层特征的偏差值，/>表示可见层特征的索引号，/>表示隐藏层特征的索引号，/>表示方差值的索引号。
再进一步地，所述受限玻尔兹曼机的目标函数的表达式如下：：
其中，表示受限玻尔兹曼机的目标函数，/>表示判别特征学习在隐藏层的损失函数，/>表示判别特征学习在重构的隐藏层的损失函数，/>表示尺度系数，表示可见层的输电线路数据，/>表示原始输电线路数据，/>表示受限玻尔兹曼机的损失函数，/>表示重构的可见层分布，/>表示受限玻尔兹曼机的参数，即，/>表示可见层特征和隐藏层特征的权重矩阵，/>表示隐藏层的偏差向量，/>表示可见层的偏移向量。
再进一步地，所述受限玻尔兹曼机的能量函数的表达式如下：：
其中，表示受限玻尔兹曼机的能量函数，/>表示可见层的数量，/>表示隐藏层的数量，/>表示受限玻尔兹曼机在第/>个可见层和第/>个隐藏层之间的权重，/>表示第/>个可见层的状态，/>表示第/>个隐藏层的状态，/>表示可见层的偏差值，/>表示可见层特征和隐藏层特征的权重矩阵，/>表示可见层的向量，/>表示可见层的偏移向量，/>表示隐藏层的偏移向量，/>表示隐藏层的向量，/>表示转置，/>表示第/>个隐藏层特征的偏差值，/>表示第/>个隐藏层特征的状态，/>表示可见层特征的索引号，/>表示隐藏层特征的索引，/>表示可见层的索引号。
附图说明
图1为本发明的方法流程图。
图2为本实施例中本发明的框架示意图。
图3为本实施例中受限玻尔兹曼机的结构示意图。
图4为本实施例中聚类集成器的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
如图1所示，本发明提供了一种输电线路缺陷特征分布学习方法，其实现方法如下：
S1、获取输电线路缺陷数据集，并初始化受限玻尔兹曼机参数。
本实施例中，初始化受限玻尔兹曼机参数，其中，/>表示可见层特征和隐藏层特征的权重矩阵，/>表示隐藏层的偏差向量，/>表示可见层的偏移向量。
S2、根据输电线路缺陷数据集，利用受限玻尔兹曼机得到重构后的输电线路缺陷数据。
本实施例中，将输电线路缺陷数据经过受限玻尔兹曼机，具体地，输电线路缺陷数据所构成的矩阵乘上权重系数，再加上偏置向量/>，得到重构后的输电线路缺陷数据。
S3、对重构后的输电线路缺陷数据进行聚类，得到输电线路缺陷数据的伪标签，其中，所述输电线路缺陷数据的伪标签为重构的输电线路缺陷数据的类别。
本实施例中，针对经过受限玻尔兹曼机输出的每一个输电线特征（即，重构后的输电线路缺陷数据），使用无监督聚类算法K-Means、基于密度的聚类算法DBSCAN以及密度峰（Density Peak, DP）聚类算法进行一致性投票的聚类集成器来获得输电线路缺陷数据的伪标签。
S4、根据输电线路缺陷数据的伪标签，对受限玻尔兹曼机参数进行更新。
S5、判断是否达到迭代次数，若是，则根据S4的更新结果，得到最优受限玻尔兹曼机，并进入S6，否则，返回S2。
S6、利用最优受限玻尔兹曼机，对输电线路缺陷特征分布进行判别。
本实施例中，通过S3和S4利用类的整体分布来进行判别性学习，以避免输电线路数据的部分信息丢失问题。
本实施例中，受限玻尔兹曼机包括：高斯-伯努利受限玻尔兹曼机，用于在保证输电线路缺陷数据的整体分布保持原样的情况下，对输电线路缺陷数据集进行数据重构，以及对正常输电线路数据和异常输电线路数据进行判别；聚类集成器，用于对重构后的输电线路缺陷数据集进行聚类，得到输电线路缺陷数据的伪标签，并利用F-散度最大化不同类别之间分布的差异参数，利用该差异参数更新高斯-伯努利受限玻尔兹曼机，增强正常输电线路数据和异常输电线路数据判别的训练，其中，所述输电线路缺陷数据的伪标签为重构后的输电线路缺陷数据的类别。
本实施例中，如图2所示，针对判别输电线路数据的正常类别和其他缺陷（比如拉线缺陷、电缆缺陷等）的问题，设计了一种基于受限玻尔兹曼机进行自监督判别特征学习的架构，通过该框架进行输电线路缺陷特征分布的学习，能有效摆脱标签的依赖。在图2中，由上下两部分组成：上边的一部分部分是高斯-伯努利受限玻尔兹曼机（Gaussian-BernoulliRestricted Boltzmann Machine, GRBM），其中，表示可见层的第/>个特征，/>表示第/>个隐藏层特征的状态，负责在保证输电线数据的整体分布尽可能保持原样的情况下，还起到了重构输电线路数据、增强正常输电线路数据和各种异常输电线路数据之间的可判别性的作用，并将重构后的输电线路数据传给第二部分；第二部分是一个聚类器，接收经过高斯-伯努利受限玻尔兹曼机特征提取后的输电线路缺陷数据，并进行聚类集成，最大化类别分布差异模块中，使用F-散度增大类别之间分布的差异参数更新提供给第一部分，用于第一部分的增强数据判别性的训练。
图2中，输电线数据是需要检测异常的输电线数据，其中，表示可见层的第/>个单元，同时也是输电线数据的第/>个特征，/>表示可见层的第/>个单元，/>代表隐藏层的第/>个单元，/>代表隐藏层的第/>个单元，/>表示重构的可见层的第/>个单元，同时也是输电线数据的第/>个特征，/>表示重构的可见层的第/>个单元，/>表示重构的隐藏层的第/>个单元，/>表示重构的隐藏层的第/>个单元，聚类集成见图4，最大化类别分布差异模块是增大特征数据类别间差异的模块。采样过程代表提取特征的过程，即输电线数据由/>变为/>的过程；重构过程是特征数据/>还原为原始数据/>的过程。
本实施例中，为了增强正常输电线数据和异常输电线数据之间的可判别性，本发明利用类簇整体分布的思想最大化正常输电线路数据和各种异常输电线路数据之间的F-散度，提出的目标公式如下：，：
其中，表示判别特征学习在隐藏层的损失函数，/>表示类别数量，/>表示输电线特征数量，/>分别表示第/>个类别和第/>个类别的下标，/>表示F-散度的值，/>表示隐藏层第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示隐藏层的第个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示判别特征学习在重构的隐藏层的损失函数，/>表示重构后的隐藏层的第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示重构后的隐藏层的第/>个神经元生成的输电线路特征的第类别所形成的分布，/>表示神经元的索引号。
本实施例中，通常使用输电线缺陷数据的特征进行聚类，因此可以通过最大化正常输电线数据和各种异常输电线数据特征分布的差异来增强重构数据的可辨别性。因此，可以利用F-散度来最大化正常输电线数据特征和各种异常输电线数据特征的分布差异，相当于最小化聚类各属性分布之间的相似性。
本实施例中，F-散度(F-divergence)在信息论中，F-散度是用来衡量两个概率密度p和q的编码的差异程度的函数；而在概率统计中，F-散度可以衡量同一变量的两个不同的分布的差异程度，F-散度的值越大代表两个分布的差异越大，F-散度的值越小代表差异越小。F-散度是许多具体的散度的统一，代表众多散度的函数，对它进行实例化，可以变成许多具体的散度。因此，本发明使用F-散度是考虑了众多的散度的统一，使模型更具有泛性。以下是F-散度的具体解释：p和q是同一变量的两个不同的概率密度函数，它们之间的F-散度可以用如下方程表示：：
其中，表示分布p和q之间的F-散度，/>表示x变量的一个概率分布，表示x变量的另一个概率分布，x表示输入的输电线数据，/>是积分符号，/>表示x变量的两个不同的概率分布的比值的某种函数。在表1中就是/>函数的可能的取值。表1表明了/>取不同的值时，F-散度可以实例化为各种不同的散度，表1是F-散度的特例表。
表1
由上表可知，许多散度都是F-散度的特例，因此，F-散度具有更加灵活的特性。表中，中文名字是卡方，/>中，log表示对数，/>表示输入的变量值，/>表示对x进行任意数字为底的对数运算。
本实施例中，利用该差异参数更新高斯-伯努利受限玻尔兹曼机的目标表达式如下：，，/>：
其中，表示第/>次迭代的第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个可见层的特征和第/>个隐藏层特征的权重值，/>表示比例系数，/>表示学习率，/>表示可见层的第/>个特征，/>表示第/>个隐藏层特征的状态，/>表示在可见层的运算，/>表示在隐藏层的运算，/>表示求导运算，/>表示隐藏层的目标函数，/>表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示比例系数，/>表示第/>个隐藏层特征的偏差值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示可见层的第/>个特征，/>表示可见层的偏移值，/>表示可见层的第/>个方差值，/>表示迭代次数，/>表示可见层特征的索引号，/>表示隐藏层特征的索引号；
，：
其中，表示/>所在类别的分布，/>表示重构后输电线路数据的第/>个隐藏层特征的第t个类别，/>表示/>所在的类别分布，/>表示隐藏层中输电线路数据的第/>个隐藏层特征属于第/>类，/>表示y散度值，/>表示隐藏层和可见层分布之间的比值，/>表示以e为底，2为值的对数值，t表示类别的索引号。
本实施例中，受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)主要是由两层神经元构成，包括可见层以及隐藏层。为简化表示，每层的神经元均为二值神经元，每层的各个神经元都有偏置项和/>，层间有权重/>进行全连接，受限玻尔兹曼机的能量函数的表达式如下：/>：
其中，表示受限玻尔兹曼机的能量函数，/>表示可见层的数量，/>表示隐藏层的数量，/>表示受限玻尔兹曼机在第/>个可见层和第/>个隐藏层之间的权重，/>表示第/>个可见层的状态，/>表示第/>个隐藏层的状态，/>表示可见层的偏差值，/>表示可见层特征和隐藏层特征的权重矩阵，/>表示可见层的向量，/>表示可见层的偏移向量，/>表示隐藏层的偏移向量，/>表示隐藏层的向量，/>表示转置，/>表示第/>个隐藏层特征的偏差值，/>表示第/>个隐藏层特征的状态，/>表示可见层特征的索引号，/>表示隐藏层特征的索引号。
本实施例中，对于高斯-伯努利受限玻尔兹曼机的结构，原来的可见层由二值单元变为高斯实值单元，隐藏层仍然是二值单元。高斯-伯努利受限玻尔兹曼机的具有高斯线性可见层的能量函数为：：
其中，表示高斯-伯努利受限玻尔兹曼机的能量函数，/>表示隐藏层的向量，/>表示可见层的向量，/>表示可见层特征的集合，/>表示第/>个可见层特征，/>表示第/>个可见层特征的偏差值，/>表示可见层的第/>个方差值，/>表示第/>个隐藏层特征的状态，/>表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示隐藏层特征的集合，/>表示第/>个隐藏层特征的偏差值，/>表示可见层特征的索引号，/>表示隐藏层特征的索引号，/>表示方差值的索引号。
本实施例中，对于高斯-伯努利受限玻尔兹曼机，损失函数为：；受限玻尔兹曼机的目标函数的表达式如下：：
其中，表示受限玻尔兹曼机的目标函数，/>表示判别特征学习在隐藏层的损失函数，/>表示判别特征学习在重构的隐藏层的损失函数，/>表示尺度系数，表示可见层的输电线路数据，/>表示原始输电线路数据，/>表示受限玻尔兹曼机的损失函数，/>表示重构的可见层分布，/>表示受限玻尔兹曼机的参数，即，/>表示可见层特征和隐藏层特征的权重矩阵，/>表示隐藏层的偏差向量，/>表示可见层的偏移向量。
下面对本发明作进一步的说明。
本实施例中，将去完标签的输电线数据集经过受限玻尔兹曼机进行编码，并且获取受限玻尔兹曼机的训练参数更新。对受限玻尔兹曼机进行训练，就是对KL-散度求导，即对下式求导：：
其中，表示KL-散度，/>表示原始输电线路数据的分布，/>表示隐藏层输电线路数据的分布，/>表示第/>个可见层输电线路数据的概率，/>表示第个隐藏层输电线路数据的概率，/>表示受限玻尔兹曼机的参数值。该式的含义为使隐藏层的输电线路数据分布尽可能的接近原始输电线路数据分布。
可以发现与数据有关的变量是固定值，因此只需关注即可，/>表示隐藏层数据的分布。即：要使KL-散度最小化，只需使/>最小化即可。
使对/>求导可得：：
其中，表示求导运算，/>表示对数运算，/>表示已知/>后，/>的条件分布，/>表示第/>个输电线数据，/>表示联合分布的期望，/>表示输电线数据，/>表示可见层数据和隐藏层数据的联合分布，由于该式的后一项计算开销很大，因此需要找整个式子的近似值，/>表示第/>个隐藏层特征的状态，/>表示隐藏层数据的分布，/>表示隐藏层特征状态，/>表示第/>个输电线数据，/>表示受限玻尔兹曼机的参数，/>表示在给定输入向量/>时，输出向量为/>的条件概率分布。
由马尔科夫链的静态条件可以得知，受限玻尔兹曼机隐藏层趋近于某个分布。对比散度(Contrastive Divergence, CD)算法对复杂的训练结果作一个简单的近似，训练过程可以近似表述为：：
其中，表示CD-n算法的参数更新，/>表示KL散度，/>表示第一次迭代得到的输电线路数据分布，/>表示无穷次迭代得到的输电线路数据分布，/>表示第n次迭代得到的输电线路数据分布。
然而在实验中发现迭代一次的结果即可达到理想的效果，因此对于受限玻尔兹曼机来说，对比散度算法可以求得权重系数和偏置值的更新方式为：，其中，/>、/>和/>表示受限玻尔兹曼机的原本的参数更新，/>表示学习率，/>表示可见层的第/>个特征，/>表示第/>个隐藏层特征的状态，表示在可见层的运算，/>表示在隐藏层的运算。
但对于高斯-伯努利受限玻尔兹曼机来说，还需要更新可见层单元的方差值，于是CD算法更新方式变为：，其中，/>、/>、/>和/>分别表示可见层和隐藏层特征权重的更新公式、可见层的偏置值的更新方式、可见层方差的更新方式以及隐藏层偏置值的更新方式，/>表示在可见层的运算，表示在隐藏层的运算。
本实施例中，将编码后的数据经过一个聚类集成器，获得各个数据的伪标签。通过无监督聚类算法K-Means、基于密度的聚类算法DBSCAN以及密度峰（Density Peak, DP）聚类算法进行一致性投票，获得数据的伪标签，具体的结构如附图3所示。在图3中，表示可见层的第/>个特征，/>表示可见层的第/>个特征，/>表示可见层的第/>个特征，/>表示第/>个隐藏层特征的状态，/>表示第/>个隐藏层特征的状态，因此，在图3中，上半部分代表隐藏层，下半部分代表可见层。
本实施例中，使用批梯度下降法对目标公式进行优化。
为了使模型收敛更加稳定，使用批梯度下降法对目标公式进行优化。为方便，以下符号采取固定含义：表示第/>个可见层特征，/>表示隐藏层中输电线路数据的第/>个隐藏层特征属于第/>类，/>表示重构后输电线路数据的第/>个隐藏层特征的第t个类别，/>表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>个隐藏层特征的偏差值，/>表示/>所在的类别分布，/>表示/>所在类别的分布。具体的过程如下：/>
使，并且/>，其中，/>表示隐藏层的目标函数，对进行求导可得：/>和：，使/>，分别对/>和/>求导，其中，表示可见层特征和隐藏层特征的权重矩阵，/>表示隐藏层的偏移向量。，，，。
同理可得：：
其中，表示方差，/>表示隐藏层向量的维度，若，/>，则F-散度为KL散度。
又因为，所以： ，其中，/>表示/>所在类别的分布，/>表示重构后输电线路数据的第/>个隐藏层特征的第t个类别，/>表示/>所在的类别分布，/>表示隐藏层中输电线路数据的第/>个隐藏层特征属于第/>类，/>表示y散度值，/>表示隐藏层和可见层分布之间的比值，/>表示以e为底，2为值的对数值。
重构后的隐藏层亦可按照上述公式推理得到。因此，受限玻尔兹曼机的可见层和隐藏层之间的权重矩阵、可见层的偏置参数/>和隐藏层的偏置参数/>的更新公式为：，，/>：
其中，表示第/>次迭代的第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个可见层的特征和第/>个隐藏层特征的权重值，/>表示比例系数，/>表示学习率，/>表示可见层的第/>个特征，/>表示第/>个隐藏层特征的状态，/>表示在可见层的运算，/>表示在隐藏层的运算，/>表示求导运算，/>表示隐藏层的目标函数，/>表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示比例系数，/>表示第/>个隐藏层特征的偏差值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示可见层的第/>个特征，/>表示可见层的偏移值，/>表示可见层的第/>个方差值。
本实施例中，如图4所示，输电线数据是需要检测异常的输电线数据，通过将输电线路数据类集成的构造：聚类器1、聚类器2、聚类器3分别代表无监督聚类算法K-Means、基于密度的聚类算法DBSCAN以及密度峰（Density Peak, DP）聚类算法，结果1、结果2、结果3分别代表聚类的结果，最后经过一致性投票即可得到最终聚类结果。
本实施例中，设置受限玻尔兹曼机的参数，根据不同数据集的输入维度设置与其维度数相同的输入单元数。尺度系数设置为0.015，设置迭代400次。
本实施例中，为研究本发明的对于正常输电线数据和各种异常输电线数据判别的性能，使用本方法与其他模型相对比，发现所提出的方法比其他模型准确率分别提高23.735和4.88625个百分点。
本发明注重类的整体分布，利用F-散度最大化类簇分布之间的差异。首先，由于是自监督学习，因此需将输电线路数据集去除标签；然后，根据类的整体分布，设计出目标方程并且构建出一套可提高对数据进行判别特征学习能力的训练架构。在该架构中，由于受限玻尔兹曼机具有可以保存输电线路数据分布的特征，因此选用其作为输电线路数据特征学习的编码器，输电线路数据在经过编码器之后，通过一个聚类集成器以分开输电线路数据的类别。聚类集成器采用任意三种聚类算法进行一致性投票以获取数据的伪标签。根据生成的伪标签，利用F-散度最大化不同类别的编码数据分布的差异；最后，对目标函数进行求导，得到对受限玻尔兹曼机的参数更新的公式。本发明以受限玻尔兹曼机结构为基础，引入类簇分布和自监督判别特征学习的思想，能够大幅提升编码数据的可判别性，并且具有较好的稳定性。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (7)
1.一种输电线路缺陷特征分布学习方法，其特征在于，包括以下步骤：
S1、获取输电线路缺陷数据集，并初始化受限玻尔兹曼机参数；
S2、根据输电线路缺陷数据集，利用受限玻尔兹曼机得到重构后的输电线路缺陷数据；
S3、对重构后的输电线路缺陷数据进行聚类，得到输电线路缺陷数据的伪标签，其中，输电线路缺陷数据的伪标签为重构后的输电线路缺陷数据的类别；
S4、根据输电线路缺陷数据的伪标签，对受限玻尔兹曼机参数进行更新；
S5、判断是否达到迭代次数，若是，则根据S4的更新结果，得到最优受限玻尔兹曼机，并进入S6，否则，返回S2；
S6、利用最优受限玻尔兹曼机，对输电线路缺陷特征分布进行判别。
2.根据权利要求1所述的输电线路缺陷特征分布学习方法，其特征在于，所述受限玻尔兹曼机包括：
高斯-伯努利受限玻尔兹曼机，用于在保证输电线路缺陷数据的整体分布保持原样的情况下，对输电线路缺陷数据集进行数据重构，以及对正常输电线路数据和异常输电线路数据进行判别；
聚类集成器，用于对重构后的输电线路缺陷数据集进行聚类，得到输电线路缺陷数据的伪标签，并利用F-散度最大化不同类别之间分布的差异参数，利用该差异参数更新高斯-伯努利受限玻尔兹曼机，增强正常输电线路数据和异常输电线路数据判别的训练，其中，所述输电线路缺陷数据的伪标签为重构后的输电线路缺陷数据的类别。
3.根据权利要求2所述的输电线路缺陷特征分布学习方法，其特征在于，所述利用F-散度最大化不同类别之间分布的差异参数的目标公式如下：
其中，表示判别特征学习在隐藏层的损失函数，/>表示类别数量，/>表示输电线特征数量，/>分别表示第/>个类别和第/>个类别的下标，/>表示F-散度的值，/>表示隐藏层第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示隐藏层的第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示判别特征学习在重构的隐藏层的损失函数，/>表示重构后的隐藏层的第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示重构后的隐藏层的第/>个神经元生成的输电线路特征的第/>类别所形成的分布，/>表示神经元的索引号。
4.根据权利要求3所述的输电线路缺陷特征分布学习方法，其特征在于，所述利用该差异参数更新高斯-伯努利受限玻尔兹曼机的目标表达式如下：
其中，表示第/>次迭代的第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个可见层的特征和第/>个隐藏层特征的权重值，/>表示比例系数，/>表示学习率，/>表示可见层的第/>个特征，/>表示第/>个隐藏层特征的状态，/>表示在可见层的运算，/>表示在隐藏层的运算，/>表示求导运算，/>表示隐藏层的目标函数，表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示第/>次迭代的第/>个隐藏层特征的偏置值，/>表示比例系数，/>表示第/>个隐藏层特征的偏差值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示第/>次迭代的第/>个可见层特征的偏置值，/>表示可见层的第/>个特征，/>表示可见层的偏移值，/>表示可见层的第/>个方差值，/>表示迭代次数，/>表示可见层特征的索引号，/>表示隐藏层特征的索引号；
其中，表示/>所在类别的分布，/>表示重构后输电线路数据的第/>个隐藏层特征的第t个类别，/>表示/>所在的类别分布，/>表示隐藏层中输电线路数据的第/>个隐藏层特征属于第/>类，/>表示y散度值，/>表示隐藏层和可见层分布之间的比值，/>表示以e为底，2为值的对数值，t表示类别的索引号。
5.根据权利要求2所述的输电线路缺陷特征分布学习方法，其特征在于，所述高斯-伯努利受限玻尔兹曼机的能量函数的表达式如下：
其中，表示高斯-伯努利受限玻尔兹曼机的能量函数，/>表示隐藏层的向量，/>表示可见层的向量，/>表示可见层特征的集合，/>表示第/>个可见层特征，/>表示第个可见层特征的偏差值，/>表示可见层的第/>个方差值，/>表示第/>个隐藏层特征的状态，/>表示第/>个可见层特征和第/>个隐藏层特征的权重值，/>表示隐藏层特征的集合，/>表示第/>个隐藏层特征的偏差值，/>表示可见层特征的索引号，/>表示隐藏层特征的索引号，/>表示方差值的索引号。
6.根据权利要求1所述的输电线路缺陷特征分布学习方法，其特征在于，所述受限玻尔兹曼机的目标函数的表达式如下：
其中，表示受限玻尔兹曼机的目标函数，/>表示判别特征学习在隐藏层的损失函数，/>表示判别特征学习在重构的隐藏层的损失函数，/>表示尺度系数，/>表示可见层的输电线路数据，/>表示原始输电线路数据，/>表示受限玻尔兹曼机的损失函数，/>表示重构的可见层分布，/>表示受限玻尔兹曼机的参数，即/>，/>表示可见层特征和隐藏层特征的权重矩阵，/>表示隐藏层的偏差向量，/>表示可见层的偏移向量。
7.根据权利要求1所述的输电线路缺陷特征分布学习方法，其特征在于，所述受限玻尔兹曼机的能量函数的表达式如下：
其中，表示受限玻尔兹曼机的能量函数，/>表示可见层的数量，/>表示隐藏层的数量，/>表示受限玻尔兹曼机在第/>个可见层和第/>个隐藏层之间的权重，/>表示第个可见层的状态，/>表示第/>个隐藏层的状态，/>表示可见层的偏差值，/>表示可见层特征和隐藏层特征的权重矩阵，/>表示可见层的向量，/>表示可见层的偏移向量，/>表示隐藏层的偏移向量，/>表示隐藏层的向量，/>表示转置，/>表示第/>个隐藏层特征的偏差值，表示第/>个隐藏层特征的状态，/>表示可见层特征的索引号，/>表示隐藏层特征的索引，/>表示可见层的索引号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176515.0A CN117725454B (zh) | 2024-02-08 | 2024-02-08 | 一种输电线路缺陷特征分布学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176515.0A CN117725454B (zh) | 2024-02-08 | 2024-02-08 | 一种输电线路缺陷特征分布学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117725454A CN117725454A (zh) | 2024-03-19 |
| CN117725454B true CN117725454B (zh) | 2024-04-16 |
Family
ID=90207358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410176515.0A Active CN117725454B (zh) | 2024-02-08 | 2024-02-08 | 一种输电线路缺陷特征分布学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117725454B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016266053A1 (en) * | 2011-05-03 | 2016-12-22 | Commonwealth Scientific And Industrial Research Organisation | Method for detection of a neurological disease |
| CN106886798A (zh) * | 2017-03-10 | 2017-06-23 | 北京工业大学 | 基于矩阵变量的高斯分布受限玻尔兹曼机的图像识别方法 |
| CN108182514A (zh) * | 2017-12-13 | 2018-06-19 | 国网湖南省电力有限公司 | 一种电网覆冰舞动风险预测方法、系统及存储介质 |
| CN108875771A (zh) * | 2018-03-30 | 2018-11-23 | 浙江大学 | 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法 |
| WO2021188906A1 (en) * | 2020-03-19 | 2021-09-23 | Nature's Toolbox, Inc. | Novel mrna-based covid-19 multi-valent vaccine and methods of scaled production of the same |
-
2024
- 2024-02-08 CN CN202410176515.0A patent/CN117725454B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016266053A1 (en) * | 2011-05-03 | 2016-12-22 | Commonwealth Scientific And Industrial Research Organisation | Method for detection of a neurological disease |
| CN106886798A (zh) * | 2017-03-10 | 2017-06-23 | 北京工业大学 | 基于矩阵变量的高斯分布受限玻尔兹曼机的图像识别方法 |
| CN108182514A (zh) * | 2017-12-13 | 2018-06-19 | 国网湖南省电力有限公司 | 一种电网覆冰舞动风险预测方法、系统及存储介质 |
| CN108875771A (zh) * | 2018-03-30 | 2018-11-23 | 浙江大学 | 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法 |
| WO2021188906A1 (en) * | 2020-03-19 | 2021-09-23 | Nature's Toolbox, Inc. | Novel mrna-based covid-19 multi-valent vaccine and methods of scaled production of the same |
Non-Patent Citations (7)
| Title |
|---|
| 基于受限玻尔兹曼机的变压器故障分类;许静;朱永利;;电力科学与工程;20160728(第07期);第14-19页 * |
| 基于受限玻尔兹曼机的电能质量复合扰动识别;马建;陈克绪;肖露欣;吴建华;;南昌大学学报(理科版);20160225(第01期);第30-34页 * |
| 基于快速持续对比散度的卷积受限玻尔兹曼机;张娟;蒋芸;胡学伟;沈健;;计算机工程;20160915(第09期);第174-179页 * |
| 基于改进对比散度的GRBM语音识别;赵彩光;张树群;雷兆宜;;计算机工程;20150515(第05期);第213-218页 * |
| 基于稀疏深度置信网络的图像分类识别研究;刘梦溪;王征;宋久旭;巨永锋;武晓朦;;微电子学与计算机;20180905(第09期);第59-63页 * |
| 焊缝缺陷图像分类识别的深度置信网络研究;刘梦溪;巨永锋;高炜欣;王征;武晓朦;;测控技术;20180818(第08期);第5-9页 * |
| 结合受限玻尔兹曼机的递归神经网络电力系统短期负荷预测;李若晨;朱帆;朱永利;翟羽佳;;电力系统保护与控制;20180907(第17期);第83-88页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117725454A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107122809B (zh) | 基于图像自编码的神经网络特征学习方法 | |
| CN110309331B (zh) | 一种基于自监督的跨模态深度哈希检索方法 | |
| CN110196980B (zh) | 一种基于卷积网络在中文分词任务上的领域迁移 | |
| CN103258210B (zh) | 一种基于字典学习的高清图像分类方法 | |
| CN110598022B (zh) | 一种基于鲁棒深度哈希网络的图像检索系统与方法 | |
| CN112434686B (zh) | 针对ocr图片的端到端含错文本分类识别仪 | |
| CN112418476A (zh) | 一种超短期电力负荷预测方法 | |
| CN112163114B (zh) | 一种基于特征融合的图像检索方法 | |
| CN111401156A (zh) | 基于Gabor卷积神经网络的图像识别方法 | |
| CN113222072A (zh) | 基于K-means聚类和GAN的肺部X光图像分类方法 | |
| CN115130538A (zh) | 文本分类模型的训练方法、文本处理的方法、设备及介质 | |
| CN112214570A (zh) | 一种基于对抗投影学习哈希的跨模态检索方法及装置 | |
| CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
| CN115905959A (zh) | 基于缺陷因子的电力断路器关联性故障分析方法及装置 | |
| CN115393631A (zh) | 基于贝叶斯层图卷积神经网络的高光谱图像分类方法 | |
| CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
| CN108898157B (zh) | 基于卷积神经网络的数值型数据的雷达图表示的分类方法 | |
| CN117725454B (zh) | 一种输电线路缺陷特征分布学习方法 | |
| Wang et al. | A convolutional neural network image classification based on extreme learning machine | |
| Zhang et al. | Text classification of public feedbacks using convolutional neural network based on differential evolution algorithm | |
| CN116680407A (zh) | 一种知识图谱的构建方法及装置 | |
| CN113221575B (zh) | Pu强化学习的远程监督命名实体识别方法 | |
| CN114596464A (zh) | 多特征交互的无监督目标检测方法、系统、电子设备和可读存储介质 | |
| CN113610229A (zh) | 一种基于范数不确定性指标的主动学习方法 | |
| CN114386494A (zh) | 基于可扩展本体的产品全生命周期质量追溯方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |