CN116229052B - 一种基于孪生网络的变电站设备状态变化检测方法 - Google Patents

Abstract

本发明公开了一种基于孪生网络的变电站设备状态变化检测方法，包括采集图像及搭建数据集；孪生网络差异特征提取；变化目标检测输出；损失计算及模型训练；在线增强泛化能力；变化区域定位及分类。本发明针对现有以像素级变化区域分割为主的方法，存在数据标注高度依赖大量的具有专家经验的人力和时间成本，影响变化目标检测的准确率的问题。目标框检测方式能够显著减少数据标注、背景干扰等不利因素，实现标注成本的降低及模型鲁棒性的提升，变化目标检测是对前后有一定时间间隔采集的基准图和待测图进行对比分析，检测两次采集图像中发生变化的设备及类型。能在应用中起到降低人工工作量和提升效率和可靠性的作用。

Description

一种基于孪生网络的变电站设备状态变化检测方法

技术领域

本发明属于设备异常检测技术领域，尤其涉及一种基于孪生网络的变电站设备状态变化检测方法。

背景技术

随着经济和电力网格的迅速发展，输电和变电设备的数量大幅度增加，这对供电可靠性产生了很大压力。同时，人力资源短缺导致维护水平难以跟上电力设施的快速扩张。电力设备的检修对设备运行的稳定性和效益具有至关重要的作用。为了确保电网设备的可靠性，设备状态评估可以辅助电网在规划、设计等各个生命周期阶段的管理工作。这些评估结果可以为电力企业提供宝贵的数据支持，帮助他们进行科学决策，从而降低运行风险和降低维护成本。在国家经济和电网的快速发展背景下，电力设备的检修和状态评估对保障供电可靠性和经济产业发展具有重大意义。维护电力设备状态是确保国家经济产业持续发展的关键任务。为了解决这一问题，可以引入智能化技术和自动化设备，提高维护效率。

对于目前主要依赖像素级变化区域分割的方法，存在一个显著的问题：数据标注过程高度依赖于大量具有专家经验的人力以及耗费大量时间成本。这种情况不仅导致标注过程变得低效和昂贵，而且可能会影响变化目标检测的准确率，因为人工标注可能出现错误或疏漏；

当前的主流的用智能化机器对设备进行目标检测方案在实际应用场景中容易受到多种因素的干扰，如抖动、天气条件、光照变化、阴影以及复杂的背景环境。这些干扰因素往往导致大量的噪声像素出现，从而影响了方案的准确性和稳定性。

发明内容

为解决现有技术中的不足，本发明提供一种基于孪生网络的变电站设备状态变化检测方法，能在包括异物闯入、设备异常状态监测等应用中起到降低人工工作量和提升效率和可靠性的作用。

为了实现上述目标，本发明采用如下技术方案。

一种基于孪生网络的变电站设备状态变化检测方法，应用于基于孪生网络的变电站设备状态变化检测系统，所述基于孪生网络的变电站设备状态变化检测系统包括采集模块、中央处理器和存储模块，所述采集模块用于采集变电站设备的图像，然后将图像传输至中央处理器；所述中央处理器用于对变电站设备状态的检测；所述存储模块用于存储处理过程及结果；

具体方法如下：

步骤S1：采集图像及搭建数据集，对同一设备在相同点位于不同时期的采集图像作为基准图和待测图，并预处理和划分成训练集和验证集；

步骤S2：孪生网络差异特征提取，将基准图和待测图分别输入构建的孪生神经网络，分别生成多层特征图，将两张图像所对应的多层特征图使用结构相似系数进行结构差异特征计算，生成对应尺寸的多层差异特征图；

步骤S3：变化目标检测输出，将生成的多层差异特征图送入差异区域目标检测网络，检测出变化设备的目标框及变化类型；

步骤S4：损失计算及模型训练，使用SIOU（边界框回归损失函数）损失计算最终检测结果的回归损失，并与类别损失和置信度损失线性相加得总损失，根据损失值训练优化整体模型；

步骤S5：在线增强泛化能力，根据采集环境的天气、光照、阴影等条件变化导致对比图像之间的差异变化，设计局部随机亮度变化、随机对比变化、随机仿射变换、随机噪声等在线增强策略增加训练数据的多样性；

步骤S6：变化区域定位及分类，利用训练好的模型，将基准图和待测图送入模型，得到最终的变化设备检测框及类型。

进一步地，步骤S1具体为：

步骤S11：配置和控制前端拍摄设备，调整拍摄角度和焦距，确保设备对焦。

步骤S12：记录清晰拍摄点位并定时抓拍，系统调用拍摄设备间隔一段时间对目标进行抓拍。

步骤S13：图像配对和筛选，将同一点位的不同时间图像进行两两组合，剔除无变化的图像对。

步骤S14：标注变化目标和类型，使用标注软件对待测图上的变化目标进行矩形框标注，并注明变化类别。

步骤S15：添加负样本，随机抽取无变化的图像对作为负样本，且数量为有变化图像对的1/3；划分训练集和验证集，按照点位和8:2比例划分训练集及验证集。

进一步地，步骤S2具体为：

步骤S21：定义网络输入基准图及待测图数据为及/>，均被Resize（规则裁剪）成RGB图像；

步骤S22：将步骤S21中的RGB图像分别输入孪生卷积神经网络的两个骨干分支；输入图像在切片组合模块中处理，输出特征向量；

步骤S23：通过多个卷积模块输出基准特征序列和待测特征序列；

步骤S24：将相同尺寸的基准特征与待测特征之间计算结构相似系数得到对应尺寸的差异特征序列。

进一步地，步骤S3包括将步骤S24输出的差异特征序列按尺寸从小到大分别进行上采样及合并卷积输出操作，融合输出三个分辨率分别为的融合差异特征。

进一步地，步骤S4具体为：

步骤S41：将网络输出的位置坐标、类别信息和置信度得分分别与标注信息计算位置回归损失、类别损失及置信度损失；

步骤S42：将网络输出的位置坐标逐个与标注框进行比对，设定交并比阈值；

步骤S43：筛选出与标注框满足交并比阈值的预测目标框用于计算回归损失和类别损失，所有预测框均计算置信度损失。

进一步地，步骤S5具体为：

步骤S51：对前后两张图的亮度及对比度进行改变，改变位置及幅度均为随机数值，用于模拟采集环境的天气、光照、阴影变化；

步骤S52：对前后两张图随机选择一张进行随机水平、竖直或旋转角度的仿射变换，用于模拟采集中可能出现的抖动情况；

步骤S53：在两张图像中随机位置出现随机像素值块噪声模拟拍摄过程可能存在的噪声干扰

步骤S54：对训练数据进行随机增强，每种策略独立随机概率均为0.5。

进一步地，步骤S6具体为：

步骤S61：将基准图和待测图送入训练好的模型，模型直接输出检测框，其中x为目标框的中心点横坐标，y为目标框的中心点纵坐标，w为目标框的宽度，h为目标框的高度，cls为目标框的类别信息，score为目标框的置信度得分；

步骤S62：通过设置score的阈值过滤低得分结果；

步骤S63：剩下的预测框中按照得分从高到低排序，再按照从高到低的顺序，依次选中预测框作为对象预测框，然后将对象预测框与其他比对象预测框得分低的预测框进行交并比计算，得出的结果与步骤S42中的交并比阈值比较，大于交并比阈值的，则过滤得分低的预测框；

步骤S64：输出结果输出到系统进行记录及设备状态监测记录及预警。

进一步地，还包括分别使用核为的卷积层处理融合差异特征，在前两个维度上每个点位输出三个预测框，分别输出(/>，/>，/>)，总共为16128个检测结果输出，每个输出包含/>6个数值。

进一步地，还包括在训练过程中计算损失函数，损失函数则向模型中的参数反向求导计算出梯度信息，模型中的参数则根据梯度体调整数值，使得模型预测结果向标注信息靠近，直到达到模型迭代次数后停止训练。

与现有技术相比，本发明有益效果是：

1.本发明提供的一种基于孪生网络的变电站设备状态变化检测方法，降低人工工作量和提升效率可靠性，通过变化目标检测技术，可以在诸如异物闯入和设备异常状态监测等应用中，减少人力投入，提高工作效率和检测可靠性。

2.本发明提供的一种基于孪生网络的变电站设备状态变化检测方法，减少数据标注成本，使用目标框检测方式，可以显著降低数据标注的难度和成本，减少对具有专家经验的人力和时间成本的依赖。

3.本发明提供的一种基于孪生网络的变电站设备状态变化检测方法，提高模型鲁棒性，目标框检测方式有助于减小背景干扰等不利因素的影响，从而提高模型的鲁棒性。

4.本发明提供的一种基于孪生网络的变电站设备状态变化检测方法，结构差异特征提取抵抗配准误差，能够有效应对实际应用场景中的抖动、天气、光照、阴影和背景复杂干扰，减少噪声像素，从而在实际场景数据中具有更优的鲁棒性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明流程图；

图2是本发明系统框架图；

图3是本发明网络结构图；

图4是本发明孪生网络中特征提取骨干结构图；

图5是本发明网络结构中部件模块结构图；

图6是本发明网络在模型训练过程中的损失及验证指标变化曲线图；

图7是本发明所标注数据集的标注方式及案例；

图8是本发明所使用训练过程中在线增强策略的可视化结果图；

图9是本发明网络在电网场景中的变化检测可视化结果图。

具体实施方式

下面结合附图对本发明作进一步地详细说明，以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。

一种基于孪生网络的变电站设备状态变化检测方法，应用于基于孪生网络的变电站设备状态变化检测系统，如图2所示，所述基于孪生网络的变电站设备状态变化检测系统包括采集模块、中央处理器和存储模块，所述采集模块用于采集变电站设备的图像，然后将图像传输至中央处理器；所述中央处理器用于对变电站设备状态的检测；所述存储模块用于存储处理过程及结果；

如图1所示，具体方法如下：

步骤S1：采集图像及搭建数据集。通过系统配置和连接前端拍摄设备进行操控，然后通过改变其角度和焦距对所拍摄设备进行对焦，配置可清晰成像的拍摄点位并记录配置，后续系统调用拍摄设备间隔一段时间对目标使用抓拍的方式获取图像；在采集到数据之后，将同一点位的不同时间图像进行不重复两两组合成图像对，每对分别为基准图和待测图，去除其中无变化的图像对；使用标注软件对待测图上进行标注，将其中变化目标用矩形框标注出来，并注明变化类别，并随机抽取无变化的图像对作为负样本，数量为有变化图像对的1/3；按照点位和8：2比例划分训练集及验证集；

步骤S2：孪生网络差异特征提取。 图3为本发明的完整网络结构图示例，模型结构细节可进一步见于图4-5。基准图作为参照，用来与待检测的图像进行比较，待测图为待检测的图像，其中存在与基准图不一致的变化设备目标。定义网络输入基准图及待测图数据为及/>，均被Resize成/>分辨率的RGB图像，分别输入孪生卷积神经网络的两个相同的骨干分支，骨干分支结构图如图4所示，两个骨干网络结构及权重完全一致。输入图像首先输入切片组合模块，输出/>维度的特征向量，并通过多个卷积模块输出基准特征序列和待测特征序列(/>，/>，/>)以及(/>，/>，/>)，分辨率分别为(，/>，/>)。进而将相同尺寸的基准特征与待测特征之间计算结构相似系数得到对应尺寸的差异特征序列(/>，/>，/>)，特征的均值、自协方差及互协方差如下所示:

其中及/>为基准特征及待测特征之间的均值，其亮度差异特征L为：

其对比度差异特征C为：

；

其结构差异特征S为：

；

其中为基准特征自协方差，/>为待测特征自协方差，/>为基准特征与待测特征之间互协方差，E1，E2及E3为极小值常数，用于避免分母为0的情况，经验值下，通常为：E1=0.0001，E2=0.0009，E1=0.00045。

则结构差异特征为：

该方法不但考虑单一特征数值之间的数值差异，同时也利用相关矩阵考虑了整体结构之间的误差特征，使得具有位置偏移的图像之间也能保存结构性特征的趋同，从而实现抵抗图像间存在的配准误差；

步骤S3：变化目标检测输出。将生成的多层差异特征图送入差异目标检测网络，检测网络结构如图4所示的特征金字塔融合及目标检测器所示。具体的，将输出的三个差异特征序列按尺寸从小到大分别进行上采样及合并卷积输出等操作融合输出三个分辨率分别为(，/>，/>)的融合差异特征，其特征融合方式如图5中的(1)所示。分别使用核为/>的卷积层处理融合差异特征，K为核数，在前两个维度上每个点位输出三个预测框，分别输出(/>，/>，/>)，总共为16128个检测结果输出，每个输出包含/>共6个数值，x为目标框的中心点横坐标，y为目标框的中心点纵坐标，w为目标框的宽度，h为目标框的高度，cls为目标框的类别信息，score为目标框的置信度得分；

步骤S4：损失计算及模型训练。将网络输出的位置坐标、类别信息和置信度得分分别与标注信息计算位置回归损失、类别损失及置信度损失。将网络输出的位置坐标逐个与标注框进行比对，设定交并比阈值，筛选出与标注框满足交并比阈值的预测目标框用于计算回归损失和类别损失，所有预测框均计算置信度损失。

IoU系列损失常用于目标检测网络的位置回归损失，但常常没有考虑到真实框与预测框框之间的方向信息，SIoU引入真实框和预测框之间的方向角度信息，提升收敛速度，具体包含角度损失、距离损失、形状损失、及IoU损失四个部分。为标注框的中心点位置及尺寸，/>分别为预测目标框与标注框之间的交集框，/>分别为预测目标框与标注框之间的最小外接矩形框：

；

；

；

；

回归损失分部分如下：

（1）角度损失：

（2）距离损失：

（3）形状损失：

（4）交并比损失：

位置回归损失公式如下：

类别损失为：

其中为标注框的类别信息，/>为类别数量，如9类电网设备的类别标注示例为[0,0,0,0,0,0,1,0,0]，表示该目标框为第7类，输出类别信息数值在[0,1]区间。置信度损失为：

其中为标注框的类别信息及/>分别表示对满足交并比的预测框和不满足该条件的预测框使用布不同的计算公式。最终将正样本数据中训练的预测结果与标注框计算损失，并将三部分损失线性相加后作为模型训练的损失函数。

模型训练过程需要迭代进行，在训练过程中通过不断计算损失函数，损失函数则向模型每个参数反向求导计算出梯度信息，参数则根据梯度体调整数值，从而使得模型预测结果不断向标注信息靠近，实现提升网络性能，直到达到模型迭代次数后停止训练。图6展示模型训练过程的损失及mAP@.5变化曲线；

步骤S5：在线增强提升泛化能力。随机对前后两张图的亮度及对比度进行随机的改变，改变位置及幅度均为随机数值，用于模拟采集环境的天气、光照、阴影变化；对前后两张图随机选择一张进行随机水平、竖直或旋转角度的仿射变换，用于模拟采集中可能出现的抖动情况；在两张图象中随机位置出现随机像素值块噪声模拟拍摄过程可能存在的噪声干扰。这几种措施在训练过程中对训练数据进行随机增强，每种策略独立随机概率均为0.5(常用数值)。增强效果可视化如图8所示；

步骤S6：变化区域定位及分类。将基准图和待测图送入训练好的模型，模型直接输出16128个检测框，通过设置score的阈值会过滤掉大量低得分结果。并在剩下的预测框中按照得分从高到低排序，再按照从高到低的顺序，依次选中预测框作为对象预测框，然后将对象预测框与其他比对象预测框得分低的预测框分别进行交并比计算，得出的结果与交并比阈值比较，大于交并比阈值时，则过滤该得分低的预测框，小于交并比阈值的，则不过滤，即得到最终变化设备的检测框及类型。最终输出结果可输出到系统进行记录及设备状态监测记录及预警。

作为一种具体的实施例，硬件：使用设备包含有：

（1）用于一定间隔时间内拍摄变电站设备的摄像头；

（2）用于执行计算机程序的处理器，该程序用于执行本专利所述的变电站设备状态变化检测算法；

（3）可读写存储器用于存储处理器执行的计算机程序，及保存程序处理后的过程及结果文件。

下述设备型号及软件等仅实验设备型号，算法的实际应用可以应用在其他任何品牌型号设备上。

摄像头：大华

处理器：8核 Intel(R) Xeon(R) Silver 4110 CPU @ 2.10GHz，GeForce RTX2080 Ti显卡，512GB存储空间

软件：Ubuntu 18.04 操作系统，Python3编程语言，Pytorch1.7模型训练框架。

电网设备变化检测数据集：包括2000对具有设备及工作人员状态变化的图像，划分为1600对训练样本，400对验证样本。该数据集提供了9种变化类型数据，本发明在该数据集上验证方案的可行性及指标，并与传统无监督变化检测方法在处理图像细节方面的能力进行对比。本发明采用的评价指标是准确率(Precision，P)，召回率(Recall，R)，平均交并比(IOU，Intersection-over-Union)指标，精度（AP）。其中AP用于目标检测中模型总体检测精度的重要指标。计算公式如下：

；

；

TP指标注变化框被正确识别出来的数量，FP为预测框并不为变化目标的数量，FN为将漏识别的变化标注框数量。并且只当预测框与标注框之间的交并比大于0.5且类别相同才算识别正确。多个变化类别的使用每个类的平均AP来评价整体指标。

在验证集上验证指标为：

此外，对本发明所提出的结构差异特征提取方法与常见的直接相加、直接相减、欧式距离等方法进行性能对比，并将Siou损失与常用回归损失代表Ciou损失进行性能对比。结果表明本发明所提出方法均能有效提升目标级变化检测网络的检测性能：

本发明变化目标检测是对前后有一定时间间隔采集的基准图和待测图进行对比分析，检测两次采集图像中发生变化的设备及类型。能在包括异物闯入、设备异常状态监测等应用中起到降低人工工作量和提升效率和可靠性的作用；针对现有以像素级变化区域分割为主的方法，存在数据标注高度依赖大量的具有专家经验的人力和时间成本，影响变化目标检测的准确率的问题。目标框检测方式能够显著减少数据标注、背景干扰等不利因素，实现标注成本的降低及模型鲁棒性的提升。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于孪生网络的变电站设备状态变化检测方法，其特征在于，应用于基于孪生网络的变电站设备状态变化检测系统，所述基于孪生网络的变电站设备状态变化检测系统包括

采集模块、中央处理器和存储模块，采集模块用于采集变电站设备的图像，然后将图像传输至中央处理器；中央处理器用于对变电站设备状态的检测；存储模块用于存储处理过程及结果；

具体方法如下：

步骤S1：对同一设备在相同点位于不同时期的采集图像作为基准图和待测图，并预处理和划分成训练集和验证集；

步骤S2：将基准图和待测图分别输入构建的孪生神经网络，分别生成多层特征图，将两张图像所对应的多层特征图使用结构相似系数进行结构差异特征计算，生成对应尺寸的多层差异特征图；

步骤S3：将生成的多层差异特征图送入差异区域目标检测网络，检测出变化设备的目标框及变化类型；

步骤S4：使用边界框回归损失函数SIOU损失计算最终检测结果的回归损失，并与类别损失和置信度损失线性相加得总损失，根据损失值训练优化整体模型；

步骤S5：设计局部随机亮度变化、随机对比变化、随机仿射变换、随机噪声，再对模型进行训练，完成模型优化；

步骤S6：利用训练好的模型，将基准图和待测图送入模型，得到最终的变化设备检测框及类型。

2.根据权利要求1所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，步骤S1具体为：

步骤S11：调整拍摄角度和焦距，确保设备对焦；

步骤S12：系统调用拍摄设备间隔一段时间对目标进行抓拍；

步骤S13：将同一点位的不同时间图像进行两两组合，剔除无变化的图像对；

步骤S14：使用标注软件对待测图上的变化目标进行矩形框标注，并注明变化类别；

步骤S15：按照点位和8:2比例划分训练集及验证集。

3.根据权利要求2所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，还包括添加负样本，随机抽取无变化的图像对作为负样本，且数量为有变化图像对的1/3。

4.根据权利要求1所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，步骤S2具体为：

步骤S21：定义网络输入基准图及待测图数据为及/>，均被规则裁剪成RGB图像；

步骤S22：将步骤S21中的RGB图像分别输入孪生卷积神经网络的两个骨干分支；输入图像在切片组合模块中处理，输出特征向量；

步骤S23：通过多个卷积模块输出基准特征序列和待测特征序列；

步骤S24：将相同尺寸的基准特征与待测特征之间计算结构相似系数得到对应尺寸的差异特征序列。

5.根据权利要求1所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，步骤S3包括将步骤S24输出的差异特征序列按尺寸从小到大分别进行上采样及合并卷积输出操作，融合输出三个分辨率分别为64×64×128、32×32×256 和 16×16×512的融合差异特征。

6.根据权利要求1所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，步骤S4具体为：

步骤S41：将网络输出的位置坐标、类别信息和置信度得分分别与标注信息计算位置回归损失、类别损失及置信度损失；

步骤S42：将网络输出的位置坐标逐个与标注框进行比对，设定交并比阈值；

步骤S43：筛选出与标注框满足交并比阈值的预测目标框用于计算回归损失和类别损失，所有预测框均计算置信度损失。

7.根据权利要求1所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，步骤S5具体为：

步骤S51：对前后两张图的亮度及对比度进行改变，改变位置及幅度均为随机数值，用于模拟采集环境的天气、光照、阴影变化；

步骤S52：对前后两张图随机选择一张进行随机水平、竖直或旋转角度的仿射变换，用于模拟采集中出现的抖动情况；

步骤S53：在两张图像中随机位置出现随机像素值块噪声模拟拍摄过程存在的噪声干扰；

步骤S54：对训练数据进行随机增强，每种策略独立随机概率均为0.5。

8.根据权利要求1所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，步骤S6具体为：

步骤S61：将基准图和待测图送入训练好的模型，模型直接输出检测框，其中x为目标框的中心点横坐标，y为目标框的中心点纵坐标，w为目标框的宽度，h为目标框的高度，cls为目标框的类别信息，score为目标框的置信度得分；

步骤S62：通过设置score的阈值过滤低得分结果；

步骤S63：剩下的预测框中得分从高到低排序，按照从高到低的顺序，依次选中预测框作为对象预测框，然后将对象预测框与其他比对象预测框得分低的预测框进行交并比计算，得出的结果与步骤S42中的交并比阈值比较，大于交并比阈值的，则过滤得分低的预测框；

步骤S64：输出结果输出到系统进行记录及设备状态监测记录及预警。

9.根据权利要求5所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，还包括分别使用核为1×1的卷积层处理融合差异特征，在前两个维度上每个点位输出三个预测框，分别输出64×64×18、32×32×18 和 16×16×18，总共为16128个检测结果输出，每个输出包含的6个数值。

10.根据权利要求6所述的一种基于孪生网络的变电站设备状态变化检测方法,其特征在于，还包括在训练过程中计算损失函数，损失函数则向模型中的参数反向求导计算出梯度信息，模型中的参数则根据梯度体调整数值，使得模型预测结果向标注信息靠近，直到达到模型迭代次数后停止训练。