CN110555819B - 基于红外和可见光图像融合的设备监测方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种基于红外和可见光图像融合的设备监测方法、装置及设备，所述方法包括获取监测对象的第一红外监测图像及第一可见光监测图像，基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域；获取所述异常温度区域对应的目标设备的可见光轮廓图像，利用所述可见光轮廓图像从所述第一红外监测图像中提取所述目标设备的第二红外监测图像；获取所述目标设备的第二可见光监测图像，对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像；利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果。利用本说明书各个实施例，可以实现对设备状态的高效监测与诊断。

Description

基于红外和可见光图像融合的设备监测方法、装置及设备

技术领域

本说明书涉及管道输油设备诊断技术领域，特别地，涉及一种基于红外和可见光图像融合的设备监测方法、装置及设备。

背景技术

现代石油石化站场工艺流程复杂，生产设施点多且面广，其厂区自身存在较多的潜在危险源，而且现场设备大多常年在高温、高压、高负荷的条件下连续不断运行，一旦由于设备故障发生停机或者事故，这不仅会影响企业的正常生产，甚至会造成严重的生命财产损坏，带来难以估计的经济损失和巨大的社会影响。因此，开展对站场设备状态监测与故障诊断方面的研究，对于保证设备安全和平稳的运行、及早发现设备异常避免事故升级、减少企业的非计划停机是相当必要的。

温度监测参数是监测物体结构健康的最有效的参数之一，因此，监测机械设备或工艺过程中的温度无疑是最好的预测性维护方式之一。红外监测是近年来比较新颖的温度监测技术，但传统红外监测方法存在异常区域定位效果差、诊断效率低等问题。因此，如何进行现场设备的高效准确监测及诊断成为本技术领域亟待解决的技术问题。

说明书内容

本说明书实施例的目的在于提供一种基于红外和可见光图像融合的设备监测方法、装置及设备，可以实现对站场设备状态的高效监测与诊断。

本说明书提供一种基于红外和可见光图像融合的设备监测方法、装置及设备是包括如下方式实现的：

一种基于红外和可见光图像融合的设备监测方法，包括：

获取监测对象的第一红外监测图像及第一可见光监测图像，基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域；

获取所述异常温度区域对应的目标设备的可见光轮廓图像，利用所述可见光轮廓图像从所述第一红外监测图像中提取所述目标设备的第二红外监测图像；

获取所述目标设备的第二可见光监测图像，对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像；

利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果。

本说明书所提供的所述方法的另一个实施例中，所述基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域，包括：

计算所述第一红外监测图像与所述监测对象在正常运行状态下的红外图像的灰度值差值，获得温差矩阵；

利用预设长度的网格对所述温差矩阵进行分割处理，获得温差子矩阵；

计算所述温差子矩阵内各差值数据的离散程度，获得所述温差子矩阵的温度离散度；

根据所述温差矩阵中各温差子矩阵的温度离散度确定所述第一红外监测图像中的异常温度区域。

本说明书所提供的所述方法的另一个实施例中，所述异常温度区域对应的目标设备的可见光轮廓图像采用下述方式确定：

从所述第一可见光监测图像中获取所述异常温度区域对应的目标设备的初始可见光图像；

利用所述第一可见光监测图像对应时刻的估计背景图像从所述初始可见光图像中提取所述目标设备的可见光差值轮廓图像；

利用所述第一可见光监测图像对应时刻的二值化分割阈值对所述可见光差值轮廓图像进行二值化处理，获得所述目标设备的可见光轮廓图像。

本说明书所提供的所述方法的另一个实施例中，所述对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像，包括：

利用拉普拉斯金字塔变换方法分别将所述第二可见光监测图像及第二红外监测图像进行多尺度图像分解，获得各尺度下的第二可见光监测图像分量和第二红外监测图像分量；

对相同尺度下的第二可见光监测图像分量和第二红外监测图像分量进行融合处理，获得各尺度对应的融合图像分量；

利用拉普拉斯金字塔逆变化方法将各尺度对应的融合图像分量进行图像重组，获得融合监测图像。

本说明书所提供的所述方法的另一个实施例中，所述利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果，包括：

将所述目标设备的融合监测图像输入预先构建的状态识别与故障诊断模型进行处理，获得所述目标设备的运行状态监测结果，其中，所述状态识别与故障诊断模型根据目标设备的融合监测图像历史数据以及融合监测图像历史数据对应的工况数据训练获得。

本说明书所提供的所述方法的另一个实施例中，所述异常温度区域对应的目标设备的可见光轮廓图像采用下述方式确定：

其中

表示i时刻异常温度区域对应的目标设备的初始可见光图像，

表示i时刻的估计背景图像，T_i为i时刻二值化图像分割阈值，其中，

T_i根据下述方式确定：

其中α、a与b为参数因子，

是图像

的平均灰度值，

为

的平均值。

另一方面，本说明书实施例还提供一种基于红外和可见光图像融合的设备监测装置，包括：

异常区域确定模块，用于获取监测对象的第一红外监测图像及第一可见光监测图像，基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域；

目标图像提取模块，用于获取所述异常温度区域对应的目标设备的可见光轮廓图像，利用所述可见光轮廓图像从所述第一红外监测图像中提取所述目标设备的第二红外监测图像；

图像融合处理模块，用于获取所述目标设备的第二可见光监测图像，对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像；

监测结果确定模块，用于利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果。

本说明书所提供的所述装置的另一个实施例中，所述异常区域确定模块包括：

温差矩阵计算单元，用于计算所述第一红外监测图像与所述监测对象在正常运行状态下的红外图像的灰度值差值，获得温差矩阵；

子区域分隔单元，用于利用预设长度的网格对所述温差矩阵进行分割处理，获得温差子矩阵；

离散度计算单元，用于计算所述温差子矩阵内各差值数据的离散程度，获得所述温差子矩阵的温度离散度；

异常区域确定单元，用于根据所述温差矩阵中各温差子矩阵的温度离散度确定所述第一红外监测图像中的异常温度区域。

本说明书所提供的所述装置的另一个实施例中，所述目标图像提取模块包括：

初始图像提取单元，用于从所述第一可见光监测图像中获取所述异常温度区域对应的目标设备的初始可见光图像；

差值轮廓图像提取单元，用于利用所述第一可见光监测图像对应时刻的估计背景图像从所述初始可见光图像中提取所述目标设备的可见光差值轮廓图像；

可见光轮廓图像提取单元，用于利用所述第一可见光监测图像对应时刻的二值化分割阈值对所述可见光差值轮廓图像进行二值化处理，获得所述目标设备的可见光轮廓图像。

另一方面，本说明书实施例还提供一种基于红外和可见光图像融合的设备监测设备，包括处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现上述任意一个实施例述方法的步骤。

本说明书一个或多个实施例提供的基于红外和可见光图像融合的设备监测方法、装置及设备，可以首先通过温度离散度判定与可见光轮廓信息相结合的方法进行异常设备的图像信息准确提取，然后，可以进一步通过融合红外与可见光监测图像信息，来提高监测图像的质量，从而实现对站场设备状态的高效监测与诊断。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本说明书提供的一种输油泵故障识别方法实施例的流程示意图；

图2为本说明书提供的一个实施例中的温度离散度确定示意图；

图3为本说明书提供的另一个实施例中的多尺度图像融合示意图；

图4为本说明书提供的另一个实施例中的异常温度区域确定及目标提取示意图；

图5为本说明书提供的另一个实施例中的图像融合处理示意图；

图6为本说明书提供的一种输油泵故障识别装置实施例的模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。

现代石油石化站场工艺流程复杂，生产设施点多且面广，其厂区自身存在较多的潜在危险源，而且现场设备大多常年在高温、高压、高负荷的条件下连续不断运行，一旦由于设备故障发生停机或者事故，这不仅会影响企业的正常生产，甚至会造成严重的生命财产损坏，带来难以估计的经济损失和巨大的社会影响。红外监测是近年来比较新颖的温度监测技术，但传统红外监测方法存在异常区域定位效果差、诊断效率低等问题。相应的，本说明书实施例提供了一种基于红外和可见光图像融合的设备监测方法，可以首先通过温度离散度判定与可见光轮廓信息相结合的方法进行异常设备的图像信息准确提取，然后，可以进一步通过融合红外与可见光监测图像信息，来提高监测图像的质量，从而实现对站场设备状态的高效监测与诊断。

图1是本说明书提供的所述一种基于红外和可见光图像融合的设备监测方法实施例流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。

具体的一个实施例如图1所示，本说明书提供的基于红外和可见光图像融合的设备监测方法的一个实施例中，所述方法可以包括：

S102：获取监测对象的第一红外监测图像及第一可见光监测图像，基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域。

所述监测对象可以包括一个或者多个生产设备或生产系统，可以从监测设备中获取所述监测对象对应的第一红外监测图像及第一可见光监测图像数据。对于石油石化生产站场，如可以利用同视角的在线式红外热像仪、日夜型高清摄像机以及相应的采集设备对整个机组或装置进行在线监测，相应的，可以从上述监测设备上获取所需的监测数据。

然后，可以基于温度离散度确定所述第一红外监测图像中的异常温度区域，其中，所述温度离散度可以包括所述监测对象当前时刻的温度相对于所述监测对象在正常运行状态下的温度的差异值的离散程度。所述温度离散度可以反映监测范围内的各区域的温度异常变化程度，温度离散度越大，则相应区域相对于正常运行状态的温度变化越明显。利用各个区域的温度离散度大小，可以更加准确的选择并定位出现温度异常的监测区域。

本说明书的一个实施例中，所述基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域，可以包括：

计算所述第一红外监测图像与所述监测对象在正常运行状态下的红外图像的灰度值差值，获得温差矩阵；

利用预设长度的网格对所述温差矩阵进行分割处理获得温差子矩阵；

计算所述温差子矩阵内各差值数据的离散程度，获得所述温差子矩阵的温度离散度；

根据所述温差矩阵中各温差子矩阵的温度离散度确定所述第一红外监测图像中的异常温度区域。

图2表示本说明书的一个实施例中提供的温度离散度的确定流程图。如图2所示，可以首先对图像进行温差计算，计算监测时捕获的温度分布相对于正常运行状态下的温度分布差异数据。设备运行状态通常可以分为存在某种工况的运行状态和正常运行状态，可以通过对设备运行状态进行大量分析，来获取设备的运行状态数据以及在各种工况下的运行状态数据。工况状态和正常运行状态的划分临界点可以根据实际设备运行状况进行确定，这里不做限定。一些实施方式中，可以获取监测时获取的第一红外监测图像的灰度值数据以及监测对象在正常运行状态下的红外图像的灰度值数据，然后，二者作差即可获得灰度值差值数据。一些实施方式中，可以将灰度值差值数据表示成矩阵的形式，获得温差矩阵，其中，矩阵中的每个数据对应于第一红外监测图像中的各采样点。

然后，可以将温差矩阵利用预设长度的网格划分成为一个一个相同尺寸的小矩形区域，获得一系列的温差子矩阵。计算所述温差子矩阵内各差值数据的离散程度，获得所述温差子矩阵的温度离散度。一些实施方式中，如可以通过计算温差子矩阵内各差值数据的极差、平均差或者标准差等来评价各差值数据的离散程度，获得所述温差子矩阵的温度离散度。本说明书的一个实施例中，所述温差子矩阵的温度离散度可以根据下述公式计算：

其中d(r,c)表示第r行、第c列的温差子矩阵的温度离散度，rd、cd表示该温差子矩阵的分辨率，T(i,j)是温差子矩阵的第i行、第j列的值。当d(r,c)的值为0时，表示温差子矩阵对应的设备区域相对于正常运行状态没有温度值偏差。

分别计算出各温差子矩阵的温度离散度后，可以对温差矩阵对应的温度离散度分布数据进行分析，选取极值点所对应的区域作为异常温度区域。温度离散度越大表示该区域温度变化越明显，从而在分析设备异常时重要性越高；其值越接近0时，说明该区域的温度基本没发生变化，包含的设备状态的信息量非常小。实际红外监测的范围广、目标多，利用上述实施例的方案，通过温度离散度评价的方法进行温度异常目标选取，相对于传统使用单纯最高温或依据人工判别的方法，异常温度区域定位更准确、更符合实际，选择效率更高。

S104：获取所述异常温度区域对应的目标设备的可见光轮廓图像，利用所述可见光轮廓图像从所述第一红外监测图像中提取所述目标设备的第二红外监测图像。

经过离散度计算锁定异常温度区域之后，可以进一步确定异常温度区域对应的目标设备的具体轮廓范围，以完整地识别出异常设备。一些实施方式中，可以利用修正的可见光背景去除方法对所述异常温度区域的第一可见光监测图像进行处理，获得所述异常温度区域对应的目标设备的可见光轮廓图像。

本说明书的一个实施例中，可以采用下述方法确定异常温度区域对应的目标设备的可见光轮廓图像：

从所述第一可见光监测图像中获取所述异常温度区域对应的目标设备的初始可见光图像；

利用所述第一可见光监测图像对应时刻的估计背景图像从所述初始可见光图像中提取所述目标设备的可见光差值轮廓图像；

利用所述第一可见光监测图像对应时刻的二值化分割阈值对所述可见光差值轮廓图像进行二值化处理，获得所述目标设备的可见光轮廓图像。

可以先从所述第一可见光监测图像中初步截取所述异常温度区域对应的目标设备的初始可见光图像，然后，可以使用初始可见光图像减去经过评估修正的可见光背景图像，得到可见光差值轮廓图像。然后，可以用一个适当的二值化分割阈值来划分需要保留的区域的范围，生成二值化图像，其计算公式如下：

其中

表示i时刻异常温度区域对应的目标设备的初始可见光图像，

表示i时刻的估计背景图像，T_i为i时刻二值化图像分割阈值，其中，

T_i为根据相应的算法基环境变化不断地进行修正获得。

考虑到由于时间不同、天气变化等因素引起的光照强度的变化，需要不断地对估计背景图像和对应的二值化分割阈值进行适当地调整和修正，才能更加准确地划分出目标设备的具体轮廓。其中，在i时刻的二值化分割阈值T_i和估计背景图像

的计算公式可以如式(1.3)和式(1.4)所示：

其中α、a与b是可调整设置的参数因子，

是图像

的平均灰度值，

为

的平均值。

其中，α为调整分割阈值随当前图像变化的一个权重，其值越大，分割后留下的图像越少，分割越彻底；其值越小，分割后留下的对象越多，噪点越多；其具体取值可以根据实际需求和分割场景确定，一般取值0.1—0.3。a、b为图像背景线性调整的因子a通常取0.05，b可以根据具体应用场景和光线变化情况进行调整，光线变化较大时，可以适当增大b值。

由上述公式(1.3)和(1.4)可以看出，T_i是通过图像差值矩阵

的平均值加上当前可见光图像平均灰度值相较于历史图像平均值的变化量来修正的。

是通过可见光图像的前一时刻的平均灰度值相对于历史时刻的变化率和前一时刻的可见光图像与对应的估计背景图像之差两个参量来共同修正的。通过上述方法，可以有效地提取物体可见光对象轮廓，并且对光线变化的环境具有较强的鲁棒性。

然后，可以利用所述可见光轮廓图像对所述第一红外监测图像进行处理，获得所述目标设备的第二红外监测图像。如可以将可见光轮廓图像与第二红外监测图像对应位置相乘，移除无关背景，准确的提取出目标设备的第二红外监测图像。

一些实施方式中，考虑到红外监测图像的物体边缘比较模糊、使用色系较临近、色彩差异过渡平缓的特点，为了让移除背景噪声后的红外监测图像更加自然，在保留异常温度区域后，被移除区域以其R、G、B各层分量的平均值来填充。I^IR(x,y)表示处理前的红外彩色图像，I^IR′(x,y)表示背景噪声移除后的图像，(x,y)表示图像上的采样点，其计算表达式如下：

其中，I^Bin(x,y)表示二值轮廓图像，n为I^Bin(x,y)＝0时的图像像素点总数。

红外监测图像的物体边缘比较模糊，通过确定异常温度区域对应的目标设备的可见光轮廓图像，然后，进行利用可见光轮廓图像对第一红外监测图像进行处理，可以更加准确的从第一红外监测图像中提取出异常温度区域对应的目标设备的红外监测图像。

S106：获取所述目标设备的第二可见光监测图像，对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像。

可以先获取所述目标设备的第二可见光监测图像。一些实施方式中，可以先获取根据上述方式确定的所述目标设备的可见光轮廓图像，然后，利用所述可见光轮廓图像对所述第一可见光监测图像进行处理，可以获得所述目标设备对应的第二可见光监测图像。然后，可以对第二红外监测图像以及第二可见光监测图像进行融合处理，融合处理的方法如可以采用逻辑滤波法，灰度加权平均法，对比调制法及小波变换等方法。

本说明书的一个实施例中，可以采用下述方法对所述第二可见光监测图像和第二红外监测图像进行融合处理：

利用拉普拉斯金字塔变换方法分别将所述第二可见光监测图像及第二红外监测图像进行多尺度图像分解，获得各尺度下的第二可见光监测图像分量和第二红外监测图像分量；

对相同尺度下的第二可见光监测图像分量和第二红外监测图像分量进行融合处理，获得各尺度对应的融合图像分量；

利用拉普拉斯金字塔逆变化方法将各尺度对应的融合图像分量进行图像重组，获得融合监测图像。

可以将第二红外监测图像、第二可见光监测图像分别分解为一些列不同尺度下的表示的分量，然后，可以根据给定的融合规则，对图像中相同尺度的分量进行融合，对源图像中相同尺度的分量进行融合，得到融合后的不同尺度下表示的融合分量；最后，对融合后的融合分量做逆多尺度变换来将融合图像还原成可视化图像。

图3表示本说明书提供的一种基于拉普拉斯金字塔变换方法进行多尺度图像融合的流程示意图。如图3所示，可以先对第二红外监测图像和第二可见光监测图像进行多尺度分解，获得n个图像分量。图像分解中，通常可以将最低频图像定义为低频图像分量，其它图像分量全定义为高频图像。相应的，本说明书的一些实施方式中，可以将图像分解为一低频，三高频的四层(n＝4)图像分量形式：低低频图像(低频)，中低频图像(高频)，中高频图像(高频)，高高频图像(高频)。然后，可以对红外监测图像和可见光监测图像的各层分量分别进行融合处理，获得各层分量对应的融合分量结果。一些实施方式中，融合过程对应的融合策略可以采用下述形式：

低频分量的融合：

高频分量的融合：

其中，

为融合后的低频分量，

分别为第二红外监测图像、第二可见光监测图像的低频分量；

为融合后某一层次的高频分量，

分别为第二红外监测图像、第二可见光监测图像对应层次的高频分量，

分别表示为第二红外监测图像、第二可见光监测图像对应的高频分量中点(x,y)周围区域的活跃水平，为非负值。

然后，可以对融合后的融合分量做逆多尺度变换，把四层图像分量重新组合逆变换为一张图像，完成图像融合，获得融合监测图像。

S108：利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果。

可以根据目标设备的融合监测图像对目标设备的运行状态进行实时评估，以确定目标设备的实时状态，获得目标设备的运行状态监测结果。本说明书的一些实施例中，可以将所述目标设备的融合监测图像输入预先构建的状态识别与故障诊断模型进行处理，获得所述目标设备的运行状态监测结果，其中，所述状态识别与故障诊断模型可以根据目标设备的融合监测图像历史数据以及融合监测图像历史数据对应的工况数据训练获得。

可以利用得到的融合监测图像基于卷积神经网络(CNN)等智能分类算法训练设备状态识别与故障诊断模型，依据红外与可见光融合监测图像中的设备结构信息识别设备类型、结构，利用融合监测图像中的温度信息判别该设备的运行状态、出现的故障类别、出现故障的部位、严重程度等，实现对设备故障的精确监测与管理。

融合监测图像中包含设备的温度信息和结构空间信息，可以给每个融合监测图像打上标签，标签可以为各融合监测图像所对应的工况。然后，可以将得到的融合监测图像与对应标签集按照2:1的比例分为两段，其中前一段作为训练集输入智能分类模型(如卷积神经网络等)中进行训练，得到训练好的状态识别与故障诊断模型。之后，可以输入后一段的测试集进行诊断效果测试，依照结果对模型不断进行调整，最终得到完善的状态识别与故障诊断模型。

进一步的，还可以在基于上述综合诊断推理的基础上，结合数据采集模组，联通上位机、下位机、服务器等硬件设备共同组成设备故障诊断推理系统，以实现对石油石化站场现场设备的准确实时监控。

可见光图像成像质量好，其中包含红外图像缺少的空间、轮廓、边缘信息，通过将红外与可见光监测图像进行融合，融合后的图像，不仅保存了原红外监测图像的温度特征，还极大地提高了图像的可辨识度，监测图像的质量也得到了明显地提升，更有利于用于建立基于卷积神经网络建立的状态识别与故障诊断模型。依据红外与可见光融合监测图像中的设备结构信息识别设备类型、结构，利用融合监测图像中的温度信息判别该设备的运行状态、出现的故障类别、出现故障的部位、严重程度等，可以实现对设备更加准确的、更加丰富的监测诊断和管理。

图4及图5表示本说明书提供的一个实例中的基于红外和可见光图像融合进行设备监测的示意图。图4表示异常温度区域确定以及目标提取示意图。如图4所示，图4中的(a)图表示采集的监测对象的红外监测图像，(b)图表示根据红外监测图像进行温度离散度计算处理后获得温差矩阵数据分布图，(c)图表示采集的监测对象的可见光监测图像，(d)图表示对可见光监测图像进行轮廓提取后的可见光差值轮廓图像，(e)图表示对可见光差值轮廓图像进行二值化处理后的可见光轮廓图像，(f)图为利用可见光轮廓图像对红外监测图像进行背景移除处理后获得的红外监测图像。通过图4的处理，可以准确提取出监测对象整体以及异常温度区域对应的目标设备的图像信息。

图5表示图像融合处理示意图。如图5所示，图5中(a)图表示可见光监测图像，(b)图表示红外监测图像，(c)图表示融合监测图像。可以对将背景移除后的可见光监测图像和红外监测图像进行融合处理，可以获得监测对象整体以及异常温度区域对应的目标设备的图像信息。

通过温度离散度判定以及可见光轮廓信息相结合的温度异常目标获取与降噪方法，可以准确的提取出异常目标设备的图像信息，然后，再通过融合红外与可见光监测图像信息，可以进一步提高监测图像的质量，再进一步利用获得的融合监测图像训练诊断模型，可以实现对设备状态的高效监测与诊断。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书一个或多个实施例提供的基于红外和可见光图像融合的设备监测方法，可以首先通过温度离散度判定与可见光轮廓信息相结合的方法进行异常设备的图像信息准确提取，然后，可以进一步通过融合红外与可见光监测图像信息，来提高监测图像的质量，从而实现对站场设备状态的高效监测与诊断。

基于上述所述的基于红外和可见光图像融合的设备监测方法，本说明书一个或多个实施例还提供一种基于红外和可见光图像融合的设备监测装置。所述的装置可以包括使用了本说明书实施例所述方法的系统、软件(应用)、模块、组件、服务器等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。具体的，图6表示说明书提供的一种基于红外和可见光图像融合的设备监测装置实施例的模块结构示意图，如图6所示，所述装置可以包括：

异常区域确定模块202，可以用于获取监测对象的第一红外监测图像及第一可见光监测图像，基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域；

目标图像提取模块204，可以用于获取所述异常温度区域对应的目标设备的可见光轮廓图像，利用所述可见光轮廓图像从所述第一红外监测图像中提取所述目标设备的第二红外监测图像；

图像融合处理模块206，可以用于获取所述目标设备的第二可见光监测图像，对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像；

监测结果确定模块208，可以用于利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果。

本说明书的另一个实施例中，所述异常区域确定模块202可以包括：

温差矩阵计算单元，可以用于计算所述第一红外监测图像与所述监测对象在正常运行状态下的红外图像的灰度值差值，获得温差矩阵；

子区域分隔单元，可以用于利用预设长度的网格对所述温差矩阵进行分割处理，获得温差子矩阵；

离散度计算单元，可以用于计算所述温差子矩阵内各差值数据的离散程度，获得所述温差子矩阵的温度离散度；

异常区域确定单元，可以用于根据所述温差矩阵中各温差子矩阵的温度离散度确定所述第一红外监测图像中的异常温度区域。

本说明书的另一个实施例中，所述目标图像提取模块204可以包括：

初始图像提取单元，可以用于从所述第一可见光监测图像中获取所述异常温度区域对应的目标设备的初始可见光图像；

差值轮廓图像提取单元，可以用于利用所述第一可见光监测图像对应时刻的估计背景图像从所述初始可见光图像中提取所述目标设备的可见光差值轮廓图像；

可见光轮廓图像提取单元，可以用于利用所述第一可见光监测图像对应时刻的二值化分割阈值对所述可见光差值轮廓图像进行二值化处理，获得所述目标设备的可见光轮廓图像。

本说明书的另一个实施例中，所述图像融合处理模块206可以包括：

图像分解单元，可以用于利用拉普拉斯金字塔变换方法分别将所述第二可见光监测图像及第二红外监测图像进行多尺度图像分解，获得各尺度下的第二可见光监测图像分量和第二红外监测图像分量；

融合单元，可以用于对相同尺度下的第二可见光监测图像分量和第二红外监测图像分量进行融合处理，获得各尺度对应的融合图像分量；

重组单元，可以用于利用拉普拉斯金字塔逆变化方法将各尺度对应的融合图像分量进行图像重组，获得融合监测图像。

所述利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果，包括：

本说明书的另一个实施例中，所述监测结果确定模块208还可以用于将所述目标设备的融合监测图像输入预先构建的状态识别与故障诊断模型进行处理，获得所述目标设备的运行状态监测结果，其中，所述状态识别与故障诊断模型根据目标设备的融合监测图像历史数据以及融合监测图像历史数据对应的工况数据训练获得。

需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书一个或多个实施例提供的基于红外和可见光图像融合的设备监测装置，可以首先通过温度离散度判定与可见光轮廓信息相结合的方法进行异常设备的图像信息准确提取，然后，可以进一步通过融合红外与可见光监测图像信息，来提高监测图像的质量，从而实现对站场设备状态的高效监测与诊断。

本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。因此，本说明书还提供一种基于红外和可见光图像融合的设备监测设备，包括处理器及存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现上述任意一个或者多个实施例所述方法的步骤。

需要说明的，上述所述的设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述实施例所述的基于红外和可见光图像融合的设备监测设备，可以首先通过温度离散度判定与可见光轮廓信息相结合的方法进行异常设备的图像信息准确提取，然后，可以进一步通过融合红外与可见光监测图像信息，来提高监测图像的质量，从而实现对站场设备状态的高效监测与诊断。

需要说明的是，本说明书上述所述的装置或者设备根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (5)

1.一种基于红外和可见光图像融合的设备监测方法，其特征在于，包括：

获取监测对象的第一红外监测图像及第一可见光监测图像；

基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域，包括：计算所述第一红外监测图像与所述监测对象在正常运行状态下的红外图像的灰度值差值，获得温差矩阵；利用预设长度的网格对所述温差矩阵进行分割处理，获得温差子矩阵；计算所述温差子矩阵内各差值数据的离散程度，获得所述温差子矩阵的温度离散度；根据所述温差矩阵中各温差子矩阵的温度离散度确定所述第一红外监测图像中的异常温度区域；

确定所述异常温度区域对应的目标设备的可见光轮廓图像，包括：从所述第一可见光监测图像中获取所述异常温度区域对应的目标设备的初始可见光图像；利用所述第一可见光监测图像对应时刻的估计背景图像从所述初始可见光图像中提取所述目标设备的可见光差值轮廓图像；利用所述第一可见光监测图像对应时刻的二值化图像分割阈值对所述可见光差值轮廓图像进行二值化处理，获得所述目标设备的可见光轮廓图像；其中，估计背景图像和二值化图像分割阈值需不断修正获得，具体的，

其中，

表示i时刻异常温度区域对应的目标设备的初始可见光图像，

表示i时刻的估计背景图像，T_i为i时刻二值化图像分割阈值；其中，

T_i根据下述方式确定：

其中，α、a与b为参数因子，

是图像

的平均灰度值，

为

的平均值；

利用所述可见光轮廓图像从所述第一红外监测图像中提取所述目标设备的第二红外监测图像；以及，利用所述可见光轮廓图像从所述第一可见光监测图像中提取所述目标设备的第二可见光监测图像；

对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像；

利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像，包括：

利用拉普拉斯金字塔变换方法分别将所述第二可见光监测图像及第二红外监测图像进行多尺度图像分解，获得各尺度下的第二可见光监测图像分量和第二红外监测图像分量；

对相同尺度下的第二可见光监测图像分量和第二红外监测图像分量进行融合处理，获得各尺度对应的融合图像分量；

利用拉普拉斯金字塔逆变化方法将各尺度对应的融合图像分量进行图像重组，获得融合监测图像。

3.根据权利要求1所述的方法，其特征在于，所述利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果，包括：

将所述目标设备的融合监测图像输入预先构建的状态识别与故障诊断模型进行处理，获得所述目标设备的运行状态监测结果，其中，所述状态识别与故障诊断模型根据目标设备的融合监测图像历史数据以及融合监测图像历史数据对应的工况数据训练获得。

4.一种基于红外和可见光图像融合的设备监测装置，其特征在于，包括：

异常区域确定模块，用于获取监测对象的第一红外监测图像及第一可见光监测图像，基于温度离散度判定方法确定所述第一红外监测图像中的异常温度区域，包括：计算所述第一红外监测图像与所述监测对象在正常运行状态下的红外图像的灰度值差值，获得温差矩阵；利用预设长度的网格对所述温差矩阵进行分割处理，获得温差子矩阵；计算所述温差子矩阵内各差值数据的离散程度，获得所述温差子矩阵的温度离散度；根据所述温差矩阵中各温差子矩阵的温度离散度确定所述第一红外监测图像中的异常温度区域；

目标图像提取模块，用于确定所述异常温度区域对应的目标设备的可见光轮廓图像，包括：从所述第一可见光监测图像中获取所述异常温度区域对应的目标设备的初始可见光图像；利用所述第一可见光监测图像对应时刻的估计背景图像从所述初始可见光图像中提取所述目标设备的可见光差值轮廓图像；利用所述第一可见光监测图像对应时刻的二值化图像分割阈值对所述可见光差值轮廓图像进行二值化处理，获得所述目标设备的可见光轮廓图像；其中，估计背景图像和二值化图像分割阈值需不断修正获得，具体的，

其中，

表示i时刻异常温度区域对应的目标设备的初始可见光图像，

表示i时刻的估计背景图像，T_i为i时刻二值化图像分割阈值；其中，

T_i根据下述方式确定：

其中，α、a与b为参数因子，

是图像

的平均灰度值，

为

的平均值；以及还用于利用所述可见光轮廓图像从所述第一红外监测图像中提取所述目标设备的第二红外监测图像，利用所述可见光轮廓图像从所述第一可见光监测图像中提取所述目标设备的第二可见光监测图像；

图像融合处理模块，用于对所述第二可见光监测图像和第二红外监测图像进行融合处理，获得所述目标设备的融合监测图像；

监测结果确定模块，用于利用所述目标设备的融合监测图像确定所述目标设备的运行状态监测结果。

5.一种基于红外和可见光图像融合的设备监测设备，其特征在于，包括处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现权利要求1-3任一项所述方法的步骤。

Images