CN116758447A - 一种基于数字孪生的变电站设备故障分析系统 - Google Patents

Abstract

本发明属于视频处理领域，公开了一种基于视频融合技术的变电站设备故障分析系统，包括包括摄像机模块、光照调节模块、视频融合模块和故障分析模块；摄像机模块用于获取待进行故障分析的变电站设备的可见光视频和红外视频；光照调节模块用于对可见光视频中包含的图像进行光照调节处理，获得调节后的可见光视频：视频融合模块用于对红外视频和调节后的可见光视频进行视频融合计算，获得融合视频；故障分析模块用于判断融合视频中是否出现设定类型的故障。本发明在融合之前先对可见光视频中包含的图像进行了光照调节处理，有效地降低融合后的视频中出现部分区域亮度过高或过低的概率，提高了基于融合后的视频对变电站设备进行故障分析的准确率。

Description

一种基于数字孪生的变电站设备故障分析系统

技术领域

本发明涉及视频处理领域，尤其涉及一种基于视频融合技术的变电站设备故障分析系统。

背景技术

红外视频可以根据辐射的差异将目标与背景区分开来，这在全天候和全天/全夜的情况下效果良好。相反，可见光视频符合人类视觉系统，可以提供具有高空间分辨率和清晰度的纹理细节。因此，融合这两种视频，可以结合红外视频的热辐射信息和可见光视频的详细纹理信息的优势，从而在对变电站设备进行故障分析的过程中获得更为准确的分析结果。

现有技术中，在对红外视频和可见光视频进行融合的过程中，缺少对可见光视频中的图像进行光照调节的过程，这就使得融合后的视频中容易出现部分区域亮度过高或过低的问题，影响了基于融合后的视频对变电站设备进行故障分析的准确率。

发明内容

本发明的目的在于公开一种基于视频融合技术的变电站设备故障分析系统，解决现有的视频融合方法，在融合过程中缺少对可见光视频中的图像进行光照调节的过程，影响了基于融合后的视频对变电站设备进行故障分析的准确率的问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于视频融合技术的变电站设备故障分析系统，包括摄像机模块、光照调节模块、视频融合模块和故障分析模块；

摄像机模块用于获取待进行故障分析的变电站设备的可见光视频和红外视频；

光照调节模块用于对可见光视频中包含的图像进行光照调节处理，获得调节后的可见光视频：

步骤一，获取可见光视频中包含的第一张图像；

步骤二，将第一张图像作为基础图像；

步骤三，基于基础图像获取同类型图像的集合；

步骤四，获取同类型图像的集合中编号最大的图像fralst，

步骤五，若fralst不是可见光视频中的最后一张图像，则将fralst作为新的基础图像，进入步骤三，若fralst是可见光视频中的最后一张图像，则输出所有的同类型图像的集合，进入步骤六；

步骤六，分别对每个同类型图像的集合中的图像进行光照调节处理，由所有进行光照调节处理图像组成调节后的可见光视频；

视频融合模块用于对红外视频和调节后的可见光视频进行视频融合计算，获得融合视频；

故障分析模块用于对融合视频进行识别处理，判断融合视频中是否出现设定类型的故障。

可选的，摄像机模块包括红外摄像机和可见光摄像机；

红外摄像机用于获取待进行故障分析的变电站设备的红外视频；

可见光摄像机用于获取待进行故障分析的变电站设备的可见光视频。

可选的，基于基础图像获取同类型图像的集合，包括：

将基础图像的编号记为s，用fra_s表示基础图像；

对于可见光视频中编号为k的图像fra_k，k∈(s,N]，计算fra_k和fra_s之间的分类参数，若分类参数小于设定的参数门槛值，则将fra_k保存到fra_s所对应的同类型图像的集合中，若分类参数大于等于设定的参数门槛值，则可见光视频中编号为s-1的图像作为fra_s所对应的同类型图像的集合中的最后一张图像，N表示可见光视频中的图像的总数。

可选的，计算fra_k和fra_s之间的分类参数，包括：

根据设定的规则从fra_s中选取计算窗口w_s；

获取fra_k中与计算窗口w_s所对应的计算窗口w_k；

分类参数的计算函数为：

clapar(fra_k,fra_s)表示fra_k和fra_s之间的分类参数，δ表示加权参数，δ∈(0,1)，grad_u表示w_s中的像素点u在竖直方向的梯度，表示像素点u在w_k中对应的像素点在竖直方向的梯度，numw表示w_s中的像素点的数量，cmpv表示设定的梯度差均值，mid(w_s)表示w_s中的像素点的像素值的中值，mid(w_k)表示w_k中的像素点的像素值的中值，midcp表示设定的像素值中值。

可选的，分别对每个同类型图像的集合中的图像进行光照调节处理，包括：

用fra_mi表示同类型图像的集合中编号最小的图像，mi表示fra_mi的编号；

对fra_mi进行图像分割处理，获得fra_mi中属于变电站设备的区域bltequ和不属于变电站设备的区域nbltequ；

对bltequ进行调节单元划分处理，将bltequ分为多个调节单元，将调节单元保存到集合adjset；

分别计算adjset中每个调节单元的调节参数，将调节参数保存到集合parset；

使用parset中的调节参数对adjset中对应的调节单元进行光照调节处理，获得对fra_mi进行光照调节处理的结果；

对于同类型图像的集合中编号为j的图像fra_j，j≠mi，对fra_j进行光照调节处理的过程包括：

在fra_j中分别获取与adjset中的每个调节单元坐标相同的像素点，从而获得fra_j中的调节单元，将fra_j中的调节单元保存到集合adjset_j；

使用parset中的调节参数对adjset_j中对应的调节单元进行光照调节处理，获得对fra_j进行光照调节处理的结果。

可选的，对红外视频和调节后的可见光视频进行视频融合计算，获得融合视频，包括：

对红外视频和调节后的可见光视频中拍摄时刻相同的图像进行如下计算，获得融合图像：

用infr_t表示红外视频中拍摄时刻为t的图像，用visb_t表示调节后的可见光视频中拍摄时刻为t的图像；

将visb_t作为基准图像，将infr_t作为待配准图像；

对infr_t进行图像配准运算，得到配准图像sinfr_t；

对visb_t和sinfr_t进行图像融合计算，获得融合图像；

由所有的融合图像组成融合视频。

可选的，对infr_t进行图像配准运算的算法包括基于特征的图像配准算法、基于灰度的图像配准算法和基于变换域的图像配准算法中的任一种。

可选的，对visb_t和sinfr_t进行图像融合计算，获得融合图像，包括：

使用加权融合的方式对visb_t和sinfr_t中的像素点进行图像融合计算，获得融合图像。

本发明在进行视频融合的过程中，在融合之前先对可见光视频中包含的图像进行了光照调节处理，能够有效地降低融合后的视频中出现部分区域亮度过高或过低的概率，从而提高了基于融合后的视频对变电站设备进行故障分析的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于视频融合技术的变电站设备故障分析系统的一种示意图。

图2为本发明获得调节后的可见光视频的一种示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示的一种实施例，本发明提供了一种基于视频融合技术的变电站设备故障分析系统，包括摄像机模块101、光照调节模块102、视频融合模块103和故障分析模块104；

摄像机模块101用于获取待进行故障分析的变电站设备的可见光视频和红外视频；

光照调节模块102用于对可见光视频中包含的图像进行光照调节处理，获得调节后的可见光视频，如图2所示：

步骤一，获取可见光视频中包含的第一张图像；

步骤二，将第一张图像作为基础图像；

步骤三，基于基础图像获取同类型图像的集合；

步骤四，获取同类型图像的集合中编号最大的图像fralst，

步骤五，若fralst不是可见光视频中的最后一张图像，则将fralst作为新的基础图像，进入步骤三，若fralst是可见光视频中的最后一张图像，则输出所有的同类型图像的集合，进入步骤六；

步骤六，分别对每个同类型图像的集合中的图像进行光照调节处理，由所有进行光照调节处理图像组成调节后的可见光视频；

视频融合模块103用于对红外视频和调节后的可见光视频进行视频融合计算，获得融合视频；

故障分析模块104用于对融合视频进行识别处理，判断融合视频中是否出现设定类型的故障。

进一步的，变电站设备可以包括变压器、避雷器、电流互感器等。对于变压器而言，设定类型的故障可以包括漏油、冒烟等。对于避雷器，设定类型的故障可以包括套管破裂、火烧等。

可选的，摄像机模块101包括红外摄像机和可见光摄像机；

红外摄像机用于获取待进行故障分析的变电站设备的红外视频；

可见光摄像机用于获取待进行故障分析的变电站设备的可见光视频。

红外摄像机能够在光照条件较差时获得较为清晰的变电站设备的边缘，为后续的视频融合，得到更高质量的融合视频提供了基础。

可选的，基于基础图像获取同类型图像的集合，包括：

将基础图像的编号记为s，用fra_s表示基础图像；

对于可见光视频中编号为k的图像fra_k，k∈(s,N]，计算fra_k和fra_s之间的分类参数，若分类参数小于设定的参数门槛值，则将fra_k保存到fra_s所对应的同类型图像的集合中，若分类参数大于等于设定的参数门槛值，则可见光视频中编号为s-1的图像作为fra_s所对应的同类型图像的集合中的最后一张图像，N表示可见光视频中的图像的总数。

当可见光视频中连续多张图像的拍摄角度和高度相同时，这些图像之间的差别比较小，能够保存到同类型图像的集合中。后续进行光照调节处理时，在同类型图像的集合中的图像能够共用参数进行调节，从而大幅度节约了光照调节处理的时间。

可选的，计算fra_k和fra_s之间的分类参数，包括：

根据设定的规则从fra_s中选取计算窗口w_s；

获取fra_k中与计算窗口w_s所对应的计算窗口w_k；

分类参数的计算函数为：

clapar(fra_k,fra_s)表示fra_k和fra_s之间的分类参数，δ表示加权参数，δ∈(0,1)，grad_u表示w_s中的像素点u在竖直方向的梯度，表示像素点u在w_k中对应的像素点在竖直方向的梯度，numw表示w_s中的像素点的数量，cmpv表示设定的梯度差均值，mid(w_s)表示w_s中的像素点的像素值的中值，mid(w_k)表示w_k中的像素点的像素值的中值，midcp表示设定的像素值中值。

在计算fra_k和fra_s之间的分类参数时，本发明采用的是从基础图像中获取计算窗口后，后续的计算均在计算窗口中进行，这种计算方式有两个方面的优点，一方面是使得参与计算分类参数的像素点大幅度减少，若两个图像之间的区别非常小，那么计算窗口之间的区别也会非常小，这就使得本发明不需要基于所有的像素点来计算分类参数，提高了计算分类参数的效率，另一个方面是，拍摄时间相近的图像，能够共用基础图像中的计算窗口，不用每张图像都重复获取计算窗口，进一步提高了计算分类参数的效率。

而在计算分类参数时，从像素点的梯度和像素值的中值两个方面进行加权计算，提高了分类参数的有效性。梯度的差值的平均值越大，像素中值的差值越大，则表示两个计算窗口之间的区别越大，两个图像不能保存到同一个同类型图像的集合的概率越大。

可选的，根据设定的规则从fra_s中选取计算窗口w_s，包括：

采用分割算法对fra_s进行图像分割处理，获得多个子区图像；

分别计算每个子区图像的窗口系数，将窗口系数最大的子区图像所在的区域作为计算窗口w_s；

窗口系数的计算过程包括：

对fra_s进行计算，获取fra_s中的边缘像素点；

分别计算每个包含边缘像素点的子区图像的窗口系数：

其中，winfac表示窗口系数，nofal表示割图像的像素点的总数，nofeg表示子区图像中包含的边缘像素点的数量，splig表示子区图像中的像素点的集合，gray_v表示子区图像中的像素点的灰度值，stgray表示设定的灰度值方差的标准值。

在计算窗口的选择上，本发明不是随机选取，而是通过获取fra_s中的子区图像的窗口系数来获取。在计算窗口系数之前，本发明先通过边缘计算，获得了fra_s中的边缘像素点，然后，只对包含边缘像素点的子区图像进行计算窗口系数的计算，从而避免将仅包括属于背景的像素点的子区图像被选为计算窗口。因为本发明是基于计算窗口来计算分类参数，若计算窗口中仅包括属于背景的像素点，那么，当拍摄角度变化时，即两张图像之间区别比较大时，从两张图像的计算窗口进行分析，依然会获得较小的分类参数，显然这并不符合实际情况。

而在计算窗口系数时，本发明从边缘像素点的数量以及像素点的灰度值方差这两个方向进行计算，能够选择包含边缘像素点比例高，像素点之间的方差大，即像素点不都是背景像素点的概率大的子区图像，然后将子区图像所处的区域作为计算窗口。

可选的，可以采用四叉树分割算法对fra_s进行图像分割处理。

可选的，分别对每个同类型图像的集合中的图像进行光照调节处理，包括：

用fra_mi表示同类型图像的集合中编号最小的图像，mi表示fra_mi的编号；

对fra_mi进行图像分割处理，获得fra_mi中属于变电站设备的区域bltequ和不属于变电站设备的区域nbltequ；

对bltequ进行调节单元划分处理，将bltequ分为多个调节单元，将调节单元保存到集合adjset；

分别计算adjset中每个调节单元的调节参数，将调节参数保存到集合parset；

使用parset中的调节参数对adjset中对应的调节单元进行光照调节处理，获得对fra_mi进行光照调节处理的结果；

对于同类型图像的集合中编号为j的图像fra_j，j≠mi，对fra_j进行光照调节处理的过程包括：

在fra_j中分别获取与adjset中的每个调节单元坐标相同的像素点，从而获得fra_j中的调节单元，将fra_j中的调节单元保存到集合adjset_j；

使用parset中的调节参数对adjset_j中对应的调节单元进行光照调节处理，获得对fra_j进行光照调节处理的结果。

在进行光照调节处理时，本发明先是获取了编号最小的图像，即同类型图像的集合中拍摄最早的图像中的各个调节单元的调节参数，然后，基于调节参数对编号最小的图像以及同类型图像的集合中的其它图像进行了光照调节处理。由于在进行调节处理时，仅需要对一张图像进行调节单元以及调节参数的获取，且由于bltequ中的像素点才是后续进行视频识别的像素点，因此，本发明上述实施例不对nbltequ中的像素点进行调节处理，因此，本发明能够大幅度提高光照调节处理的速度。

主要是利用了同类型图像的集合中的图像之间差别比较小，即多张图像可能拍摄角度和高度均相同，那么，这多张图像实际上可以看成同一张图像，利用同一套调节参数以及调节单元划分结果来进行调节，达到了提高光照调节处理的速度的目的。

可选的，对fra_mi进行图像分割处理，获得fra_mi中属于变电站设备的区域bltequ和不属于变电站设备的区域nbltequ，包括：

采用图像分割算法对fra_mi进行图像分割处理，获得fra_mi中属于变电站设备的区域bltequ和不属于变电站设备的区域nbltequ。

具体的，可以采用OTSU算法等基于阈值的图像分割算法对fra_mi进行图像分割处理。

可选的，对bltequ进行调节单元划分处理，将bltequ分为多个调节单元，包括：

使用尺寸为K×K的滑动窗口在bltequ上进行不重叠的滑动，滑动窗口中的像素点作为一个调节单元中的像素点。

具体的，对于bltequ中不能完全填充滑动窗口的区域，则仅由该区域中属于bltequ的像素点组成一个调节单元。分为多个调节单元，能够避免传统的全局调节导致的调节结果不够准确的问题的发生。因为图像中不同区域的光照分布会有区别，若对所有像素点均采用同一个调节参数来进行光照调节，显然是不合适的。

可选的，分别计算adjset中每个调节单元的调节参数，包括：

获取调节单元的灰度直方图S＝{s₁,…,s_k,…,s₂₅₅}；s_k表示灰度值k的灰度直方图数值；

使用如下函数计算调节参数：

s_d表示灰度值d的灰度直方图数值，Θ表示设定的第一增强系数，Ω表示设定的第二增强系数，adjpar(g)表示像素值g的调节参数。

具体的，每个调节单元的灰度直方图并不一致，因此，每个调节单元采用了自适应的方式来获取调节参数，从而提高了调节参数的适用性。

可选的，使用parset中的调节参数对adjset中对应的调节单元进行光照调节处理，包括：

对于parset中的调节参数adjpar(g)，将adjpar(g)在adjset中对应的调节单元记为adjunt；

用setau保存adjunt中的像素点，

对于setau中的像素值为g像素点，光照调节处理过程为：

agry(g)表示对像素值为g像素点进行光照调节处理后，像素点的像素值。

具体的，使用parset中的调节参数对adjset_j中对应的调节单元进行光照调节处理的过程与使用parset中的调节参数对adjset中对应的调节单元进行光照调节处理的过程相同，只是参与计算的调节单元不同。

可选的，对红外视频和调节后的可见光视频进行视频融合计算，获得融合视频，包括：

对红外视频和调节后的可见光视频中拍摄时刻相同的图像进行如下计算，获得融合图像：

用infr_t表示红外视频中拍摄时刻为t的图像，用visb_t表示调节后的可见光视频中拍摄时刻为t的图像；

将visb_t作为基准图像，将infr_t作为待配准图像；

对infr_t进行图像配准运算，得到配准图像sinfr_t；

对visb_t和sinfr_t进行图像融合计算，获得融合图像；

由所有的融合图像组成融合视频。

可选的，对infr_t进行图像配准运算的算法包括基于特征的图像配准算法、基于灰度的图像配准算法和基于变换域的图像配准算法中的任一种。

基于特征的图像配准算法包括BFMatcher、FLANN、SANSAC等算法。

基于灰度的图像配准算法直接利用两幅图像之间的灰度指标的相似性，根据图像内部的信息确定参考图像和待配准图像之间的变换参数，采用搜索法找到最大或最小相似点。

可选的，对visb_t和sinfr_t进行图像融合计算，获得融合图像，包括：

使用加权融合的方式对visb_t和sinfr_t中的像素点进行图像融合计算，获得融合图像。

本发明在进行视频融合的过程中，在融合之前先对可见光视频中包含的图像进行了光照调节处理，能够有效地降低融合后的视频中出现部分区域亮度过高或过低的概率，从而提高了基于融合后的视频对变电站设备进行故障分析的准确率。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于视频融合技术的变电站设备故障分析系统，其特征在于，包括摄像机模块、光照调节模块、视频融合模块和故障分析模块；

摄像机模块用于获取待进行故障分析的变电站设备的可见光视频和红外视频；

光照调节模块用于对可见光视频中包含的图像进行光照调节处理，获得调节后的可见光视频：

步骤一，获取可见光视频中包含的第一张图像；

步骤二，将第一张图像作为基础图像；

步骤三，基于基础图像获取同类型图像的集合；

步骤四，获取同类型图像的集合中编号最大的图像fralst，

步骤五，若fralst不是可见光视频中的最后一张图像，则将fralst作为新的基础图像，进入步骤三，若fralst是可见光视频中的最后一张图像，则输出所有的同类型图像的集合，进入步骤六；

步骤六，分别对每个同类型图像的集合中的图像进行光照调节处理，由所有进行光照调节处理图像组成调节后的可见光视频；

视频融合模块用于对红外视频和调节后的可见光视频进行视频融合计算，获得融合视频；

故障分析模块用于对融合视频进行识别处理，判断融合视频中是否出现设定类型的故障。

2.根据权利要求1所述的一种基于视频融合技术的变电站设备故障分析系统，其特征在于，摄像机模块包括红外摄像机和可见光摄像机；

红外摄像机用于获取待进行故障分析的变电站设备的红外视频；

可见光摄像机用于获取待进行故障分析的变电站设备的可见光视频。

3.根据权利要求1所述的一种基于视频融合技术的变电站设备故障分析系统，其特征在于，基于基础图像获取同类型图像的集合，包括：

将基础图像的编号记为s，用fra_s表示基础图像；

对于可见光视频中编号为k的图像fra_k，k∈(s,N]，计算fra_k和fra_s之间的分类参数，若分类参数小于设定的参数门槛值，则将fra_k保存到fra_s所对应的同类型图像的集合中，若分类参数大于等于设定的参数门槛值，则可见光视频中编号为s-1的图像作为fra_s所对应的同类型图像的集合中的最后一张图像，N表示可见光视频中的图像的总数。

4.根据权利要求3所述的一种基于视频融合技术的变电站设备故障分析系统，其特征在于，计算fra_k和fra_s之间的分类参数，包括：

根据设定的规则从fra_s中选取计算窗口w_s；

获取fra_k中与计算窗口w_s所对应的计算窗口w_k；

分类参数的计算函数为：

clapar(fra_k,fra_s)表示fra_k和fra_s之间的分类参数，δ表示加权参数，δ∈(0,1)，grad_u表示w_s中的像素点u在竖直方向的梯度，grad_u,wk表示像素点u在w_k中对应的像素点在竖直方向的梯度，numw表示w_s中的像素点的数量，cmpv表示设定的梯度差均值，mid(w_s)表示w_s中的像素点的像素值的中值，mid(w_k)表示w_k中的像素点的像素值的中值，midcp表示设定的像素值中值。

5.根据权利要求1所述的一种基于视频融合技术的变电站设备故障分析系统，其特征在于，分别对每个同类型图像的集合中的图像进行光照调节处理，包括：

用fra_mi表示同类型图像的集合中编号最小的图像，mi表示fra_mi的编号；

对fra_mi进行图像分割处理，获得fra_mi中属于变电站设备的区域bltequ和不属于变电站设备的区域nbltequ；

对bltequ进行调节单元划分处理，将bltequ分为多个调节单元，将调节单元保存到集合adjset；

分别计算adjset中每个调节单元的调节参数，将调节参数保存到集合parset；

使用parset中的调节参数对adjset中对应的调节单元进行光照调节处理，获得对fra_mi进行光照调节处理的结果；

对于同类型图像的集合中编号为j的图像fra_j，j≠mi，对fra_j进行光照调节处理的过程包括：

在fra_j中分别获取与adjset中的每个调节单元坐标相同的像素点，从而获得fra_j中的调节单元，将fra_j中的调节单元保存到集合adjset_j；

使用parset中的调节参数对adjset_j中对应的调节单元进行光照调节处理，获得对fra_j进行光照调节处理的结果。

6.根据权利要求1所述的一种基于视频融合技术的变电站设备故障分析系统，其特征在于，对红外视频和调节后的可见光视频进行视频融合计算，获得融合视频，包括：

对红外视频和调节后的可见光视频中拍摄时刻相同的图像进行如下计算，获得融合图像：

用infr_t表示红外视频中拍摄时刻为t的图像，用visb_t表示调节后的可见光视频中拍摄时刻为t的图像；

将visb_t作为基准图像，将infr_t作为待配准图像；

对infr_t进行图像配准运算，得到配准图像sinfr_t；

对visb_t和sinfr_t进行图像融合计算，获得融合图像；

由所有的融合图像组成融合视频。

7.根据权利要求6所述的一种基于视频融合技术的变电站设备故障分析系统，其特征在于，对infr_t进行图像配准运算的算法包括基于特征的图像配准算法、基于灰度的图像配准算法和基于变换域的图像配准算法中的任一种。

8.根据权利要求6所述的一种基于视频融合技术的变电站设备故障分析系统，其特征在于，对visb_t和sinfr_t进行图像融合计算，获得融合图像，包括：

使用加权融合的方式对visb_t和sinfr_t中的像素点进行图像融合计算，获得融合图像。