CN112666426A - 基于多光谱三合一图像的设备故障检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于多光谱三合一图像的设备故障检测方法及系统，所述方法包括以下步骤：采集电气设备图像，包括红外图像、紫外图像及可见光图像，并对采集得到的红外图像、紫外图像及可见光图像进行滤波去噪和去雾处理；采用图像配准算法对去雾处理后的红外图像、紫外图像及可见光图像进行配准；采用图像融合算法对红外图像、紫外图像及可见光图像进行三光融合，得到多光谱三合一图像；对三合一图像进行识别分析和判断，确定电气设备是否出现故障。与现有技术相比，本发明可以更精确、更全面以及全天候的对电气设备进行故障检测。

Description

基于多光谱三合一图像的设备故障检测方法及系统

技术领域

本发明涉及一种融合红外图像、紫外图像和可见光图像进行设备故障检测的方法及系统，属于仪器仪表智能识别技术领域。

背景技术

在电厂、配电室以及变电站等工业现场存在大量高压设备，高压设备运行过程中由于结构缺陷、表面污秽以及导体接触不良等，会使得设备场强分布不均匀，造成电弧和电晕等放电现象，此时会伴随有光、电、热以及声波等的产生，目前对设备进行局部放电检测的方法有观察法、红外成像法、紫外成像法以及超声波法等。目前，可以通过手持热像仪或者通过巡检机器人携带的红外摄像头进行电气设备状态检查；也可以通过工人实地巡检观察电气设备是否有光电现象或者通过巡检机器人采集的可见光视频或者可见光图像判断是否有光电现象；也可以通过采集紫外图像来判断电气设备绝缘状态。

在实际应用中，可见光图像虽然可以在正常的光照条件下很好的表达出电气设备的全貌，但是，它受光照条件以及遮挡等的影响很大，尤其是在白天阳光强烈的情况下，不利于对电弧和电晕等放电现象的检测；红外图像虽然可以基本上不受照明条件、天气和遮挡等因素的影响，通过捕捉电气设备发散出的热辐射信息有效的发现热目标，但是，红外图像对场景中的光照亮度不敏感，直接导致所成图像对比度较低，分辨率较差，细节纹理信息较少，背景较为模糊等，并且，当背景温度和目标温度相同或者接近时，很难准确发现目标；紫外图像是通过对240-280nm波段的紫外光进行探测得到，受大气层的吸收作用影响，太阳光辐射到地球表面的该段光波几乎为零，因此，电弧、电晕等发光辐射的该段紫外光不受大气层的影响，通过对电气设备表面的电晕、电弧特有的波段进行探测即可避免太阳光的以及温度的影响干扰，准确探测到电晕和电弧等设备目标信息，但是同样存在成像对比度较低，分辨率较差，细节纹理信息较少，背景较为模糊等的问题。

发明内容

发明目的：针对目前在电气设备故障检测过程中红外图像、可见光图像以及紫外图像各自的特点，本发明提出了一种对三种图像进行融合，互补不足的方法，从而可以更精确、更全面以及全天候的对电气设备进行故障检测。

本发明的另一目的是提供一种相应的基于多光谱三合一图像的设备故障检测系统。

技术方案：第一方面，一种基于多光谱三合一图像的设备故障检测方法，包括以下步骤：

图像采集步骤：采集电气设备图像，包括红外图像、可见光图像以及紫外图像；

预处理步骤：对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪和去雾处理；

图像配准步骤：对去雾处理后的红外图像、可见光图像进行配准以及紫外图像、可见光图像进行配准；

图像融合步骤：对紫外图像、红外图像以及可见光图像进行融合，得到多光谱三合一图像；

故障识别步骤：根据融合得到的三合一图像进行故障识别分析和判断，确定电气设备是否出现故障。

第二方面，一种基于多光谱三合一图像的设备故障检测系统，包括：

图像采集模块，用于采集电气设备图像，包括红外图像、可见光图像以及紫外图像；

预处理模块，用于对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪和去雾处理；

图像配准模块，用于对去雾处理后的红外图像、可见光图像进行配准以及紫外图像、可见光图像进行配准；

图像融合模块，用于对配准后的紫外图像、红外图像以及可见光图像进行融合，得到多光谱三合一图像；

故障识别模块，用于根据融合得到的三合一图像进行故障识别分析和判断，确定电气设备是否出现故障。

有益效果：可见光图像可以弥补红外图像和紫外图像对比度较低、分辨率较差、细节纹理信息较少的不足；红外图像可以弥补可见光图像在光照不好或者遮挡的情况下对电气设备的检测；紫外图像可以弥补红外图像在背景温度和电气设备温度相同或者接近时，很难准确发现设备目标的问题；本发明提出的基于多光谱三合一图像的设备故障检测方法，在检测过程中，通过融合红外图像、可见光图像和紫外图像，可以更精确、更全面以及全天候的对电气设备进行故障检测。

附图说明

图1为根据本发明实施例的基于图像融合的设备故障处理检测方法流程图；

图2为根据本发明实施例的采集的原始红外、紫外可见光图像；

图3为根据本发明实施例的红外、紫外、可见光图像滤波去噪流程图；

图4为根据本发明实施例的滤波去噪后红外、紫外、可见光图像；

图5为根据本发明实施例的滤波去噪后红外、可见光Retinex图像增强流程图；

图6为根据本发明实施例的Retinex图像处理后的红外、可见光图像；

图7为根据本发明实施例的Retinex图像增强后红外、可见光配准流程图；

图8为根据本发明实施例的Retinex图像增强后紫外、可见光配准流程图；

图9为根据本发明实施例的红外图像和可见光图像融合流程图；

图10为根据本发明实施例的红外、可见光融合图像与紫外图像融合流程图；

图11为根据本发明实施例的红外、紫外、可见光三合一图像。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做出进一步的说明。

参照图1，本发明提出的一种基于多光谱三合一图像的设备故障检测方法，包括以下步骤：

步骤S1，采集电气设备图像，包括红外图像、可见光图像以及紫外图像。

通过高清可见光摄像头采集要检测的电气设备的可见光图像；通过红外摄像头采集要检测的同一场景的电气设备的红外图像；通过紫外成像仪采集要检测的同一场景的电气设备的紫外图像。在一实施例中，采集的某高压线路的原始图像如图2所示，包括 8-14μm红外图像、240-280nm紫外图像及400-780nm可见光图像，其中2(a)为原始红外图像，2(b)为原始可见光图像，2(c)为原始紫外图像。

步骤S2，图像预处理：对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪和去雾处理。

S2-1，滤波去噪：对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪处理，滤波方法可以采用高斯滤波、中值滤波、均值滤波等，处理流程如图3所示。本实施例中采用高斯滤波法。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。具体的处理步骤如下：

1)根据小波分解后的局部图像大小由指定公式确定第一层阈值。

2)初始化粒子群。

3)计算每个粒子的适应值。

4)根据新的适应值刷新个体历史的适宜函数最大值(pbest)和种群历史的适宜函数最大值(gbest)，根据公式更新每个粒子的位置和速度。

5)若达到最大迭代次数M或粒子适应值低于设定阈值，输出调节因子。

6)由各层的数学关系确定第二层、第三层阈值。

7)调用新多层的阈值函数进行处理。

8)得到新的小波变换系数用小波反变换重构图像，实现减噪、去噪的目的，得到更为平滑清晰的图像。

根据图2的原始图形经过滤波处理后的图像在图4中展示，(a)(b)(c)分别是红外、可见光、紫外滤波后图像。

S2-2，图像去雾处理：对步骤S2-1中滤波去噪处理得到的可见光图像和红外图像进行Retinex图像增强处理。由于紫外相机只能对240-280nm波段的紫外光进行检测，不能检测到烟雾等可见光信息，故不需要处理，此步骤使用但不限于Retinex图像增强算法，也可以使用同态滤波等其它去雾算法。处理流程图如图5所示，去雾处理后的在图 6中展示，其中(a)为Retinex图像处理后的红外，(b)为处理后的可见光图像。

Retinex增强处理的具体过程如下：

1)获取原始图像。

2)CLAHE算法处理。

3)交换数据到对数域。

4)高斯滤波处理。

5)交换数据回实数域。

6)线性拉伸变换。

7)得到细节增强后的图像。

步骤S3，图像配准：对去雾处理后的红外图像、可见光图像进行配准以及紫外图像、可见光图像进行配准。

S3-1，红外图像和可见光图像配准：采用SURF算法对步骤S2-2中红外图像和可见光图像进行配准，得到配准后的红外图像，此处使用但不限于SURF算法，也可以使用 SIFT等其它配准算法。具体的处理步骤如下：

1)检测待配准Retinex增强红外图像和待配准Retinex增强可见光图像的特征点，并生成描述子。

2)对特征点进行匹配，得到粗匹配对。

3)用SURF配准算法分别进行特征点侦测、特征邻近描述、描述子配对。并用随机采样一致算法剔除误匹配对，得到最终精匹配对。

4)计算最终精匹配对之间的关系，得到变换矩阵。

5)利用变换矩阵对Retinex增强红外图像进行重采样，得到最终配准红外图像。

S3-2，紫外图像和可见光图像配准：采用SURF算法对步骤S2-1中紫外图像和步骤S2-2中可见光图像进行配准，得到配准后的紫外图像，此处使用但不限于SURF算法，也可以使用SIFT等其它配准算法。具体的处理步骤如下：

1)检测待配准滤波去噪紫外图像和待配准Retinex增强可见光图像的特征点，并生成描述子。

2)对特征点进行匹配，得到粗匹配对。

3)用SURF配准算法分别进行特征点侦测、特征邻近描述、描述子配对。并用随机采样一致算法剔除误匹配对，得到最终精匹配对。

4)计算最终精匹配对之间的关系，得到变换矩阵。

5)利用变换矩阵对滤波去噪紫外图像进行重采样，得到最终配准紫外图像。

经过配准以后，两幅图像中对应于空间同一位置的点一一对应起来，达到信息融合的目的。

步骤S4：图像融合：对配准后的紫外图像、红外图像以及可见光图像进行融合得到三合一图像。

S4-1，如图9所示，红外图像和可见光图像融合：步骤S3-1中得到的红外图像和步骤S2-2中得到的可见光图像进行融合，得到红外和可见光融合后的图像，可以采用 NSST(Non-subsampled Shearlet Transform，非下采样剪切波)变换、HSV、小波变换以及Contoulet变换等融合算法。实施例中采用NSST融合算法，具体的融合处理步骤如下：

1)将步骤S3-1中得到的红外图像和步骤S2-2中得到的可见光图像进行分解，得到低频子带图像和各尺度各方向的高频子带图像。

低频分量和高频分量是一种相对的概念，对图像进行二维傅立叶变换得到频谱图，就是图像梯度的分布图。图像中的低频分量就是图像中梯度较小的部分，高频分量则相反。低频分量代表着图像中亮度或者灰度值变化缓慢的区域，也就是图像中大片平坦的区域，描述了图像的主要部分，是对整幅图像强度的综合度量。高频分量对应着图像变化剧烈的部分，也就是图像的边缘(轮廓)或者噪声以及细节部分。

2)对低频子带图像采用一种基于显著图的低频融合规则进行融合，而对高频子带图像的融合，结合人眼视觉特性，采用一种基于改进的区域对比度的融合规则。

3)对融合的低频子带图像和高频子带图像进行NSST逆交换得到融合后红外和可见光图像。该算法能够有效地综合红外与可见光图像中的重要信息。

S4-2：如图10所示，紫外图像、红外图像以及可见光图像融合：将步骤S3-2中得到的紫外图像和步骤S4-1中得到的红外和可见光融合后的图像进行融合，得到紫外、红外以及可见光融合后的三合一图像，可以采用HSV、小波变换、加权平均以及NSST 等融合算法。实施例中采用NSST融合算法，具体步骤同S4-1。图11示出了本发明实施例中三合一融合后的图像。其中(a)是输电线路悬式绝缘子的三合一图像，(b)是变电站变压器套管三合一图像。

步骤S5，依据DL/T 664-2008《带电设备红外诊断应用规范》及DL/T 345-2010《带电设备紫外诊断技术应用导则》，对步骤S4中融合得到的三合一图像进行识别分析和判断，确定电气设备是否出现故障。

基于与方法实施例相同的技术构思，根据本发明的另一实施例，提供一种基于多光谱三合一图像的设备故障检测系统，包括：

图像采集模块，用于采集电气设备图像，包括红外图像、可见光图像以及紫外图像；

预处理模块，用于对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪和去雾处理；

图像配准模块，用于对去雾处理后的红外图像、可见光图像进行配准以及紫外图像、可见光图像进行配准；

图像融合模块，用于对配准后的紫外图像、红外图像以及可见光图像进行融合，得到多光谱三合一图像；

故障识别模块，用于根据融合得到的三合一图像进行故障识别分析和判断，确定电气设备是否出现故障。

其中，预处理模块包括：滤波去噪单元，用于使用滤波算法对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪处理；以及图像增强单元，用于使用去雾算法对滤波去噪处理得到的可见光图像和红外图像进行图像增强处理。

图像配准模块包括：第一配准单元，用于使用配准算法对滤波去噪后的紫外图像和增强处理后可见光图像进行配准，得到配准后的紫外图像；以及第二配准单元，用于使用配准算法对增强处理后的红外图像和可见光图像进行配准，得到配准后的红外图像。

图像融合模块包括：第一融合单元，用于使用融合算法对配准后得到的红外图像和增强处理后得到的可见光图像进行融合，得到红外和可见光融合后的图像；以及第二融合单元，用于使用融合算法对配准后得到的紫外图像和第一融合单元得到的红外和可见光融合后的图像进行融合，得到紫外、红外以及可见光融合后的三合一图像。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。应理解，本发明实施例中的设备故障检测系统可以实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实施例中的相关描述，此处不再赘述。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于多光谱三合一图像的设备故障检测方法，其特征在于，包括以下步骤：

图像采集步骤：采集电气设备图像，包括红外图像、可见光图像以及紫外图像；

预处理步骤：对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪和去雾处理；

图像配准步骤：对去雾处理后的红外图像、可见光图像进行配准以及紫外图像、可见光图像进行配准；

图像融合步骤：对配准后的紫外图像、红外图像以及可见光图像进行融合，得到多光谱三合一图像；

故障识别步骤：根据融合得到的三合一图像进行故障识别分析和判断，确定电气设备是否出现故障。

2.根据权利要求1所述的基于多光谱三合一图像的设备故障检测方法，其特征在于，所述预处理步骤中使用滤波算法对采集得到的红外图像、紫外图像及可见光图像进行滤波去噪处理，使用去雾算法对滤波去噪处理得到的红外图像、紫外图像及可见光图像进行图像增强处理。

3.根据权利要求2所述的基于多光谱三合一图像的设备故障检测方法，其特征在于，所述图像配准步骤中使用配准算法对滤波去噪后的紫外图像和增强处理后可见光图像进行配准，得到配准后的紫外图像；使用配准算法对增强处理后的红外图像和可见光图像进行配准，得到配准后的红外图像。

4.根据权利要求3所述的基于多光谱三合一图像的设备故障检测方法，其特征在于，所述图像融合步骤中使用融合算法对配准后得到的红外图像和增强处理后得到的可见光图像进行融合，得到红外和可见光融合后的图像；并使用融合算法对配准后得到的紫外图像和刚刚得到的红外和可见光融合后的图像进行融合，得到紫外、红外以及可见光融合后的三合一图像。

5.一种基于多光谱三合一图像的设备故障检测系统，其特征在于，包括：

图像采集模块，用于采集电气设备图像，包括红外图像、可见光图像以及紫外图像；

预处理模块，用于对采集得到的红外图像、可见光图像以及紫外图像进行滤波去噪和去雾处理；

图像配准模块，用于对去雾处理后的红外图像、可见光图像进行配准以及紫外图像、可见光图像进行配准；

图像融合模块，用于对配准后的紫外图像、红外图像以及可见光图像进行融合，得到多光谱三合一图像；

故障识别模块，用于根据融合得到的三合一图像进行故障识别分析和判断，确定电气设备是否出现故障。

6.根据权利要求5所述的基于多光谱三合一图像的设备故障检测系统，其特征在于，所述预处理模块包括：滤波去噪单元，用于使用滤波算法对采集得到的红外图像、紫外图像及可见光图像进行滤波去噪处理；以及

图像增强单元，用于使用去雾算法对滤波去噪处理得到的可见光图像和红外图像进行图像增强处理。

7.根据权利要求5所述的基于多光谱三合一图像的设备故障检测系统，其特征在于，所述图像配准模块包括：第一配准单元，用于使用配准算法对滤波去噪后的紫外图像和增强处理后可见光图像进行配准，得到配准后的紫外图像；以及

第二配准单元，用于使用配准算法对增强处理后的红外图像和可见光图像进行配准，得到配准后的红外图像。

8.根据权利要求6所述的基于多光谱三合一图像的设备故障检测系统，其特征在于，所述图像融合模块包括：第一融合单元，用于使用融合算法对配准后得到的红外图像和增强处理后得到的可见光图像进行融合，得到红外和可见光融合后的图像；以及

第二融合单元，用于使用融合算法对配准后得到的紫外图像和第一融合单元得到的红外和可见光融合后的图像进行融合，得到紫外、红外以及可见光融合后的三合一图像。

Images