CN104253482A - 基于图像数据库和巡检机器人的设备故障检测方法 - Google Patents

Abstract

本发明的基于图像数据库和巡检机器人的设备故障检测方法，通过建立图像数据库和进行人工设备标定技术，采用巡检机器人上所安装的可见光摄像头和热成像摄像头进行拍摄，仅仅利用实时的可见光图像与对应的图像数据库之间的配准来实现温度异常的设备检测和报警。从而将复杂难控的多模态图像配准和设备特征提取与模式识别等问题就转化成单模图像的配准问题。简化了步骤，提高了检测精度。

Description

基于图像数据库和巡检机器人的设备故障检测方法

技术领域

本发明涉及一种基于图像数据库和巡检机器人的设备故障检测方法。

背景技术

目前，我国的设备监控主要依靠人工观测，例如在变电站、电厂等企业，这种方式存在许多人为因素和不确定因素。在高压、超高压以及恶劣气象、恶劣环境等条件下，不仅人身危险性大，而且对企业运行也带来一定隐患。国内一些企业虽然开展了针对电力行业的巡检机器人设备监测研究，但是面临的一个突出问题就是利用率低下，主要是“视而不监”，即对于巡检机器人传输过来的实时视频流主要以人工监视和信息存储为主。由于人工监视容易出现视觉疲劳和疏忽，尤其是晚上时间监控难度非常大。这就导致巡检机器人设备监控系统的利用率比较低下。如何使得当前已有的监控资源获得最大的效益是目前的一个突出问题。

当巡检机器人将实时视频流传输到监控服务器之后，传统的利用图像处理和模式识别技术所进行的设备监测方法是：首先离线提取巡检线路上各个设备的特征，然后对于传输到监控室的可见光摄像头实时视频流进行处理，在线获得各个设备的特征，进而与离线提取的各种设备的特征进行比较，识别各种设备并进行定位；接着将巡检机器人上安装的红外摄像头传输来的实时红外热成像图像与可见光图像进行多莫模态配准，从而获得各种设备的温度信息，再根据各种设备温度阈值决定是否报警。

该方法涉及到设备特征提取和识别、可见光图像与热像仪图像的多模态配准。其中每一个环节都难以保证达到实用化的准确率。例如设备特征提取，由于设备种类繁多、观测角度和观测时间多种多样、天气状况千差万别等，很难获得精确的设备特征并准确识别和定位；多模态图像配准本身就是一个研究难点，虽然目前有最大对齐度算法、互信息等算法，但要想在实际中获得非常高的配准效果是非常困难的；况且基于图像处理的设备模式识别和定位本身的精度就无法保证。

为了能够更加有效地实现设备监控的实用性和智能化，提高巡检机器人的准确性和监控效益，实现小投入大产出，需要加强视频信息的智能化分析研究。一个重要课题就是通过分析巡检机器人传输来的视频流信息，研究各种设备目标的快速检测及报警、实现视频图像中目标的实时识别和准确分类等，并将上述相应技术应用于安全生产建设。

发明内容

为解决以上技术上的不足，本发明提供了一种检测准确率高的基于图像数据库和巡检机器人的设备故障检测方法。

本发明是通过以下措施实现的：

本发明一种基于图像数据库和巡检机器人的设备故障检测方法，包括以下步骤：

步骤1，将巡检机器人配备可同步进行拍摄的可见光摄像头和热成像摄像头，设定巡检机器人在变电站的巡检线路，并在巡检线路上设定多个巡检机器人的停靠位，在每个停靠位设定多个巡检机器人的拍摄角度，在不同天气状态和时间条件下将巡检机器人在每个停靠位上每个拍摄角度拍摄的可见光图像进存储，然后建立以停靠位、拍摄角度、天气状态和时间为限定条件的图像数据库，并在图像数据库内每个可见光图像中标定其所含设备的位置、编号和温度阈值信息；

步骤2，巡检机器人沿设定的巡检线路巡检，并在每个设定的停靠点进行停靠，停靠后按照设定的拍摄角度进行拍摄，然后结合实时的天气状态和时间，将拍摄的实时可见光图像与图像数据库对应限定条件下的可见光图像进行配准，进而判断出配准后当前图像中各个设备的位置和编号；

步骤3，巡检机器人在采用可见光摄像头拍摄图像的同时采用热成像摄像头进行同步拍摄，并将实时的可见光图像与对应的热成像图像进行多模图像匹配，进而得到图像中各个设备的实时工作温度信息，并与图像数据库中对应图像中设定的各个设备的温度阈值进行比对，判断出设备的实时工作温度是否超出设定的温度阈值。

在步骤1中，建立图像数据库的限定条件中，天气状态包括晴朗、少云、多云、阴天、雨天、雪天、轻雾、浓雾共8种，时间条件包括日出、白天、黄昏、夜晚4种，其中白天每隔2个小时作为一种。

在步骤2中，在实时可见光图像与图像数据库对应限定条件下的可见光图像进行配准时，对实时图像进行中心区域的选取，该中心区域占实时图像面积的1/4，然后对该中心区域进行旋转、缩放和平移处理。

在步骤2中，巡检机器人对实时天气状态进行识别，其步骤包括：第一步，根据每天相同时刻在晴朗、少云、多云、阴天、雨天、雪天、轻雾、浓雾八种天气状态下的可见光图像的平均亮度和方差都是逐步下降的这一规律，建立时间、天气状态以及可见光图像的平均亮度和方差之间的对应关系；第二步，巡检机器人提取所采集的实时可见光图像的平均亮度和方差；第三步，将采集的平均亮度和方差结合实时的时间，依据第一步中的对应关系，判断出实时的天气状态。

本发明的有益效果是：实现了巡检机器人对停靠点周围重要电力设备的准确定位和实时温度异常检测，解决了传统方法无法精确定位、错误率高的难题；可以促进电力设备的无人值守化进程，对于保障安全生产，防患于未然，降低人的劳动强度，降低人为漏报、误报所造成的社会和经济损失具有重要意义。这种方式获得的多模态图像配准不存在配准误差，其准确率可以达到100％。

附图说明

图1中图A是图像数据库中的图像，图B是相应的实时图像。

图2中图C是实时的可见光图像，图D是相应的实时热成像图像。

具体实施方式

下面结合附图对本发明做进一步详细的描述：

本发明的基于图像数据库和巡检机器人的设备故障检测方法，通过建立图像数据库和进行人工设备标定技术，采用巡检机器人上所安装的可见光摄像头和热成像摄像头进行拍摄，仅仅利用实时的可见光图像与对应的图像数据库之间的配准来实现温度异常的设备检测和报警。从而将复杂难控的多模态图像配准和设备特征提取与模式识别等问题就转化成单模(即可见光)图像的配准问题。简化了步骤，提高了检测精度。

具体地说，要进行以下步骤；

首先将巡检机器人配备可同步进行拍摄的可见光摄像头和热成像摄像头，在变电站设定巡检机器人的巡检线路，并在巡检线路上设定多个巡检机器人的停靠位，在每个停靠位设定多个巡检机器人的拍摄角度，在不同天气状态和时间条件下将巡检机器人在每个停靠位上每个拍摄角度拍摄的可见光图像进存储，然后建立以停靠位、拍摄角度、天气状态和时间为限定条件的图像数据库，也就是将图片按照停靠位、拍摄角度、天气状态和时间的条件进行分类存储在图像数据库内，便于检索。在相关专家指导下在图像数据库内每个可见光图像中标定所包含设备的位置、编号和温度阈值信息。如图1中a图所示。天气状态包括晴朗、少云、多云、阴天、雨天、雪天、轻雾、浓雾共8种，时间条件包括日出、白天、黄昏、夜晚4种，其中白天每隔2个小时作为一种。

然后，巡检机器人沿设定巡检线路巡检，并在每个设定的停靠点进行停靠，停靠后按照设定拍摄角度进行拍摄，然后结合实时的天气状态和时间，将拍摄的实时可见光图像与图像数据库对应限定条件下的可见光图像进行配准，进而判断出配准后两图像中各个设备的位置编号是否一致。在进行图像配准时，需要将实时可见光图像进行图像处理，为了确保在因地面不平整所引起的微小旋转、因停靠位置不精确而引起的微小平移和停靠点与观测设备之间的微小距离变化等因素影响下的图像配准成功，需要对实时图像进行中心区域的选取，该中心区域占实时图像面积的1/4(如图1中的a、b图)，然后对该中心区域进行±1°、±2°等多个小角度的旋转，同时进行0.98、0.99、1.01、1.02等多个倍数的缩放，与相应的图像库中的图像进行平移配准，确保达到最佳的配准。这里的图像配准技术包括相关函数方法或者投影直方图方法。具体方法是：

设图A是图像库中的图像，图B是相应的实时图像。可以看出，图B相对于图A发生一定的平移。根据上述算法描述，在图B中截取一块子图，即图B中的矩形框部分，然后对该矩形区域进行平移、旋转和伸缩从而使之与图像库图A的相应部分达到最佳配准。

设上述矩形区域为B1[i,j]，经过旋转和伸缩之后该区域为B2[i,j]。从图A的左上开始自左向右、自上向下进行逐个位置的配准，即选择与B2[i,j]相同大小的区域A’[i,j]，对A’[i,j]和B[i,j]的配准可以利用互相关函数方法或者投影直方图方法。

互相关函数的配准方法是：首先对A’[i,j]和B[i,j]进行归一化处理，然后利用计算配准程度，当最佳配准时，R₁₂(a,b)取得最大值，此时的a,b就是最佳配准位置。

投影直方图的配准方法是：首先获得A’[i,j]和B[i,j]的归一化水平投影直方图f_AH(j)、f_BH(j)和归一化垂直投影直方图f_AV(i)、f_BV(i)，然后利用 $R_{12}\left(a\right)=\underset{i}{\mathrm{\Σ}}{f}_{\mathrm{AV}}\left[i\right]f_{\mathrm{BV}}[i+a]$ 和 $R_{12}\left(b\right)=\underset{j}{\mathrm{\Σ}}{f}_{\mathrm{AH}}\left[j\right]f_{\mathrm{BH}}[j+b],$ 计算配准程度。当二者同时达到最大值时，就实现了最佳配准，此时的a,b就是最佳配准位置。

当实时采集的图像与图像库中的图像实现配准后，可以将图A中的设备在图B中的相应位置处标出。例如在图B中，a1对应于A1，b1对应于B1，c2对应于C2等。这样就获得了实时图像B中所有相应设备的位置和类型信息。

再然后，巡检机器人在采用可见光摄像头拍摄图像的同时采用热成像摄像头进行同步拍摄，如图2中C、D图所示。可见光摄像头和热成像摄像头二者的位置关系是可以校准。其中红外热成像仪拍摄范围较小，确保能够清晰地观测设备的工作状态，可见光摄像头拍摄范围较大。为了提高配准的准确率，利用两个摄像头之间相对固定的位置关系和放大倍数关系，通过图像缩放操作，将实时的可见光图像与相应的热成像图像进行多模图像匹配，进而得到图像中各个设备的实时工作温度信息，并与图像数据库中对应图像中设定的各个设备的温度阈值进行比对，判断出设备的实时工作温度是否超出设定的温度阈值。显然，这种方式获得的多模态图像配准不存在配准误差，其准确率可以达到100％。

以上所述仅是本专利的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本专利的保护范围。

Claims (4)

1.一种基于图像数据库和巡检机器人的设备故障检测方法，其特征在于，包括以下步骤：

步骤1，将巡检机器人配备可同步进行拍摄的可见光摄像头和热成像摄像头，设定巡检机器人在变电站的巡检线路，并在巡检线路上设定多个巡检机器人的停靠位，在每个停靠位设定多个巡检机器人的拍摄角度，在不同天气状态和时间条件下将巡检机器人在每个停靠位上每个拍摄角度拍摄的可见光图像进存储，然后建立以停靠位、拍摄角度、天气状态和时间为限定条件的图像数据库，并在图像数据库内每个可见光图像中标定其所含设备的位置、编号和温度阈值信息；

步骤2，巡检机器人沿设定的巡检线路巡检，并在每个设定的停靠点进行停靠，停靠后按照设定的拍摄角度进行拍摄，然后结合实时的天气状态和时间，将拍摄的实时可见光图像与图像数据库对应限定条件下的可见光图像进行配准，进而判断出配准后当前图像中各个设备的位置和编号；

步骤3，巡检机器人在采用可见光摄像头拍摄图像的同时采用热成像摄像头进行同步拍摄，并将实时的可见光图像与对应的热成像图像进行多模图像匹配，进而得到图像中各个设备的实时工作温度信息，并与图像数据库中对应图像中设定的各个设备的温度阈值进行比对，判断出设备的实时工作温度是否超出设定的温度阈值。

2.根据权利要求1所述的基于图像数据库和巡检机器人的设备故障检测方法，其特征在于：在步骤1中，建立图像数据库的限定条件中，天气状态包括晴朗、少云、多云、阴天、雨天、雪天、轻雾、浓雾共8种，时间条件包括日出、白天、黄昏、夜晚4种，其中白天每隔2个小时作为一种。

3.根据权利要求1所述的基于图像数据库和巡检机器人的设备故障检测方法，其特征在于：在步骤2中，在实时可见光图像与图像数据库对应限定条件下的可见光图像进行配准时，对实时图像进行中心区域的选取，该中心区域占实时图像面积的1/4，然后对该中心区域进行旋转、缩放和平移处理。

4.根据权利要求1所述的一种基于图像数据库和巡检机器人的设备温度异常故障检测方法，其特征在于：在步骤2中，巡检机器人对实时天气状态进行识别，其步骤包括：第一步，根据每天相同时刻在晴朗、少云、多云、阴天、雨天、雪天、轻雾、浓雾八种天气状态下的可见光图像的平均亮度和方差都是逐步下降的这一规律，建立时间、天气状态以及可见光图像的平均亮度和方差之间的对应关系；第二步，巡检机器人提取所采集的实时可见光图像的平均亮度和方差；第三步，将采集的平均亮度和方差结合实时的时间，依据第一步中的对应关系，判断出实时的天气状态。