CN111259892B - 一种指示灯状态的巡检方法、装置、设备和介质 - Google Patents

Abstract

本发明提供一种指示灯状态的巡检方法、装置、设备和介质，方法包括建模过程和巡检过程；建模过程是：获得不同时刻针对巡检点处采集的图像n张并叠加得到叠加图像，完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像；巡检过程是：获得不同时刻针对巡检点处采集的图像n张并叠加后得到巡检图像；对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位，并计算出每个指示灯的位置；将巡检图像转换到HSV颜色空间，利用颜色范围表识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。不仅提高了自动化程度，且有效保证了巡检结果的准确率。

Description

一种指示灯状态的巡检方法、装置、设备和介质

技术领域

本发明涉及计算机技术领域，特别涉及一种指示灯状态识别的方法、装置、设备和介质。

背景技术

随着网络技术和云技术的快速发展，越来越多的机构都成立了自己的互联网数据中心机房。为保障机房内各项设备安全稳定的运行，需要定期对机房进行巡检。

目前，机房设备是否正常运行是通过指示灯的亮灯状态来指示，指示灯状态巡检的主要目标是找出机房内的异常设备进行检修，也就是对指示灯存在异常状态时进行位置和状态记录，然后及时进行相应的设备维修，继而保障整个机房的正常运行。通常指示灯的正常状态是绿色或者蓝色的，异常主要有以下几种情况：一是指示灯灭掉，也就是指示灯正常是亮起的，但是巡检发现它灭掉了，说明此时设备存在故障；二是指示灯亮红色灯或橙色灯，也就是指示灯之前是绿色或者蓝色，但是巡检发现它此时为红色或者橙色，说明此时设备存在异常。

传统的巡检方式是专业的巡检人员定期去执行巡检任务，填写巡检报告。这种方式存在明显的缺点：1.需要专业的巡检人员才能完成，成本高；2.长期巡检会出现视觉疲劳，不可避免的出现漏检、误检，准确率无法保证；3.巡检的周期较长，一旦出现问题，无法及时给出告警，及时性无法保证。

为改善人工巡检的这些缺点，有很多智能化的巡检方法被提出。

如于20191001公开的，申请号为201910551179.2的中国发明揭示了一种基于机房巡检机器人的机房巡检系统，其利用机房巡检机器人上安装的VR全景摄像头，结合opengles技术在便携式终端设备上展示机房的实时画面。该系统虽然采用巡检机器人替代人工行走，但是最终还是需要人工进行状态判断，没有从根本上解决问题，视觉疲劳导致的准确率下降的问题依然存在。

再如于20181221公开的，申请号为201810999703.8的中国发明提出了一种基于智能巡检机器人的指示灯状态识别方法，其是先构建指示灯模板库，然后利用智能巡检机器人的摄像头采集指示灯的视频流数据，再从视频流中提取单帧图像，结合检测算法对指示灯定位，最后计算该指示灯的颜色直方图和模板库中的颜色直方图相似度，相似度高的则为该指示灯的颜色。该方法除了利用巡检机器人视觉代替人眼，还结合了算法进行指示灯识别，提高了巡检的通用性和效率，但是它仍存在一个问题，它无法巡检闪烁状态的指示灯，因为它只是提取了单帧图像进行判断，若刚好采集到指示灯闪烁到灯暗状态时的图像，就会误认为异常，这样也就无法保障巡检的准确率。

发明内容

本发明要解决的技术问题，在于提供一种指示灯状态的巡检方法、装置、设备和介质，极大地提高了识别的准确率，且自动化程度高。

第一方面，本发明提供了一种指示灯状态的巡检方法，包括建模过程和巡检过程；

所述建模过程是：获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；

所述巡检过程，进一步包括：

(1)有效区域的定位过程，即获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；

(2)指示灯位置的计算过程，在巡检图像中有效区域中计算出待每个识别指示灯的位置；

(3)指示灯状态识别过程，即将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。

第二方面，本发明提供了一种指示灯状态的巡检装置，包括：

建模模块，用于获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；

巡检模块，进一步包括：

(1)有效区域的定位模块，用于获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；

(2)指示灯位置的计算模块，用于在巡检图像中有效区域中计算出待每个识别指示灯的位置；

(3)指示灯状态识别模块，用于将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。

第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：本申请实施例提供的方法、装置、设备和介质，其建模过程和巡检过程中均是针对巡检点采集多张图像利用叠加算法进行叠加后，作为后续的识别基础，。结合有效区域定位算法完成有效区域的定位，进一步完成指示灯状态识别后，进行建模数据和巡检数据的对比，得到巡检结果，极大地提高了识别的准确率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明应用场景示意图；

图2为本发明实施例一中方法中建模过程的流程图；

图2a为本发明实施例一中方法中巡检过程的流程图；

图3为本发明叠加计算过程的流程图；

图4为本发明巡检图像中有效区域的定位过程的流程图；

图5为本发明实施例二中装置的结构示意图；

图6为本发明实施例三中电子设备的结构示意图；

图7为本发明实施例四中介质的结构示意图。

具体实施方式

本申请实施例通过提供一种指示灯状态的巡检方法、装置、设备及介质，以提高识别的准确率，并提高自动化程度。

本申请实施例中的技术方案，总体思路如下：分为建模过程和巡检过程，建模过程和巡检过程中均是针对巡检点内采集多张图像，再利用叠加算法进行叠加后，作为后续的识别基础，由于采集多张图像必然针对不同的时刻，无论指示灯如何闪烁，多张图像中只要有一张的指示灯是亮的状态，即可说明机房设备的相应功能处于正常工作状态，均能大大提高采集到指示灯亮灯状态图像的概率，结合有效区域定位算法完成有效区域的定位，进一步完成指示灯状态识别后，进行建模数据和巡检数据的对比，得到巡检结果，极大地提高了识别的准确率。

在介绍具体实施例之前，先介绍本申请实施例所对应的一种应用场景，如图1所示，应用场景大概涉及机房设备和巡检机器人两个部分，或涉及机房设备、巡检机器人和后台服务器三个部分：

机房设备，用一个或多个指示灯的亮灯状态来显示其工作状态，如指示灯常亮或闪烁，说明机房设备的相应功能运作正常。

巡检机器人，安装有摄像头，能在机房内来回巡视，采集机房设备巡检处指示灯的图像，并对该些图像进行建模或根据模型完成指示灯状态的识别，或者发送给后台服务器，对该些图像进行建模或根据模型完成指示灯状态的识别。

后台服务器，对接收到的图像进行建模或根据模型完成指示灯状态的识别。

当然，本发明的应用场景不限于此，本领域所属技术人员在了解本发明的思想的前提下，能够采取上述应用场景的各种变化形式均应包括在本发明的保护范围之内。

实施例一

本实施例提供一种指示灯状态的方法，可能于巡检机器人或后台服务器，也可以应用于能实现相同功能的其他装置中，方法包括建模过程和巡检过程；

如图2所示，所述建模过程是：获得不同时刻针对巡检点处采集的图像n张，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；需要说明的是：n的取值可配置，但n具体的取值至少要保证闪烁的亮灯状态被捕捉到，这样才能保证闪烁指示灯状态的正常识别。

如图2a所示，所述巡检过程，进一步包括：

(1)有效区域的定位过程，即获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；

(2)指示灯位置的计算过程，在巡检图像中有效区域中计算出待每个识别指示灯的位置；

(3)指示灯状态识别过程，即将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果，若巡检结果异常，则可在前端页面给出告警提示，以方便机房管理人员及时进行检修。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述建模过程和所述有效区域的定位过程中，采集巡检点处的图像的规则由一配置文件中配置，所述配置文件的配置项包括采集频率和n的取值。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述建模过程和所述有效区域的定位过程中，请参阅图3所示，所述叠加算法是：

S11、输入n张采集的图像；

S12、将每张图像，从RGB颜色空间转换到HSV颜色空间；

S13、在HSV颜色空间，计算每张图像的掩码图，对于每个像素点，HSV范围位于指示灯颜色HSV范围内的掩码图上的值为1，否则为0；

S14、计算HSV颜色空间叠加后的图像，如公式(1)所示：

其中I_hsvi表示第i张HSV图像，且i＝0,1,...N-1，M_i表示第i张掩码图，I_hsv表示叠加后的HSV图像；

S15、将叠加后的HSV图像转换回BGR颜色空间；

S16、输出最终的叠加图像。

叠加算法的思想主要是对HSV范围有效的灯进行加权叠加，HSV范围有效指的是指示灯亮起并且颜色为正常，如绿色或者蓝色，若灯是灭的，则不处于HSV的有效范围，则在对应的掩码图中值为0，也就是权重为0，这种叠加算法可以保证闪烁的指示灯状态的正确识别。

在每个巡检点处，将叠加图保存为该巡检点的模板图像，将有效识别区域和区域内的指示灯信息保存为该巡检点的模板信息文件(json文件)。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述建模过程中，利用识别算法完成整张图像的指示灯识别的具体过程是：

S21、将叠加图像转换到HSV颜色空间，利用颜色范围判断获取相应的掩码图；

S22、在掩码图中，利用轮廓查找算法找出指示灯的轮廓，考虑到可能会存在环境或其他物体的干扰，需要筛选去除误判的轮廓(筛选时是根据指示灯的形状和大小)，完成指示灯的定位和状态判断；

S23、由于可能存在一个指示灯被重复识别的情况，利用连通域标记算法完成指示灯的定位位置去重，结合HSV图像进行颜色二次判断。由于去重之后，指示灯的位置可能发生变化，为了提高算法的准确率，需要进行颜色的二次判断，即重新利用颜色范围判断获取相应的掩码图后，重复步骤22。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述有效区域的定位过程中，利用模板匹配算法对模板图像和巡检图像进行匹配，请参阅图4所示，完成巡检图像中有效区域的定位的过程是：

S31、利用Scharr算子计算模板图中的有效区域的梯度图像，然后根据梯度图像的图像金字塔，得到多尺度模板梯度图像；

S32、利用Scharr算子计算巡检图像整幅图像的梯度图像，得到巡检梯度图像；

S33、在巡检梯度图像中按顺序(如从左到右，从上到下)依次在有效区域大小的矩形窗口M×N内计算巡检梯度与多尺度模板梯度图像之间的标准相关性系数，取得分最高者对应的位置为最佳匹配位置，得分最高者对应的尺度为最佳匹配尺度；

其中，计算标准相关性系数的公式如(2)所示：

式中:

R(u,v)表示标准相关性系数图像在像素点(u,v)处的取值；

M为矩形窗口的宽度，N为矩形窗口的高度，单位均为像素；

g表示模板梯度图；

是模板梯度图的平均值：/>

f表示巡检梯度图，宽度至少为M，高度至少为N；

是巡检梯度图在矩形窗口内的平均值：/>

j表示水平方向控制变量，取值范围是j＝0～M-1；

k表示竖直方向控制变量，取值范围是k＝0～N-1。

其中，在巡检机器人行走过程中，不可避免的存在定位误差，因此，需要通过定位算法来减小机器人定位误差的影响。本发明使用的模板匹配算法，利用图像金字塔来解决机器人偏差中的前后位置变动，利用模板匹配中滑动窗口比较来解决机器人偏差中的左右位置变动，真正从算法上弥补了机器人行走误差带来的影响。另外，为了加速匹配的过程，可在不损失图像梯度信息的情况下，对模板梯度图像和巡检梯度图进行适当的缩小。

其中，作为本实施例的一种更优或更为具体的的实现方式，巡检图像中每个指示灯位置的计算过程具体是：根据模板图像中指示灯与有效区域之间的相对位置关系(即指示灯的布局关系)，结合有效区域的定位过程得到的最佳匹配的位置和尺度信息，即可在巡检图像中有效区域中计算出待每个识别指示灯的位置。

基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。

实施例二

如图5所示，在本实施例中提供了一种指示灯状态的巡检装置，包括：

建模模块，用于获得不同时刻针对巡检点处采集的图像n张，n≥2，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；

巡检模块，进一步包括：

(1)有效区域的定位模块，用于获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；

(2)指示灯位置的计算模块，用于在巡检图像中有效区域中计算出待每个识别指示灯的位置；

(3)指示灯状态识别模块，用于将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述采集巡检点处的图像的规则由一配置文件中配置，所述配置文件的配置项包括采集频率和n的取值。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述建模模块和所述有效区域的定位模块中，进行所述叠加算法的过程是：

S11、输入n张采集的图像；

S12、将每张图像，从RGB颜色空间转换到HSV颜色空间；

S13、在HSV颜色空间，计算每张图像的掩码图，对于每个像素点，HSV范围位于指示灯颜色HSV范围内的掩码图上的值为1，否则为0；

S14、计算HSV颜色空间叠加后的图像，如公式(1)所示：

其中I_hsvi表示第i张HSV图像，且i＝0,1,...N-1，M_i表示第i张掩码图，I_hsv表示叠加后的HSV图像；

S15、将叠加后的HSV图像转换回BGR颜色空间；

S16、输出最终的叠加图像。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述建模模块利用识别算法完成整张图像的指示灯识别的具体过程是：

S21、将叠加图像转换到HSV颜色空间，利用颜色范围判断获取相应的掩码图；

S22、在掩码图中，利用轮廓查找算法找出指示灯的轮廓，并筛选去除误判的轮廓，完成指示灯的定位和状态判断；

S23、利用连通域标记算法完成指示灯的定位位置去重，结合HSV图像进行颜色复判。

其中，作为本实施例的一种更优或更为具体的的实现方式，所述有效区域的定位模块利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位的过程是：

S31、利用Scharr算子计算模板图中的有效区域的梯度图像，然后根据图像金字塔，得到多尺度模板梯度图像；

S32、利用Scharr算子计算巡检图像整幅图像的梯度图像，得到巡检梯度图像；

S33、在巡检梯度图像中按顺序依次在有效区域大小的矩形窗口M×N内计算巡检梯度与多尺度模板梯度图像之间的标准相关性系数，取得分最高者对应的位置为最佳匹配位置，得分最高者对应的尺度为最佳匹配尺度；

其中，计算标准相关性系数的公式如(2)所示：

式中:

R(u,v)表示标准相关性系数图像在像素点(u,v)处的取值；

M为矩形窗口的宽度，N为矩形窗口的高度，单位均为像素；

g表示模板梯度图；

是模板梯度图的平均值：/>

f表示巡检梯度图，宽度至少为M，高度至少为N；

是巡检梯度图在矩形窗口内的平均值：/>

j表示水平方向控制变量，取值范围是j＝0～M-1；

k表示竖直方向控制变量，取值范围是k＝0～N-1。

由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。

实施例三

本实施例提供了一种电子设备，如图6所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。

由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。

实施例四

本实施例提供一种计算机可读存储介质，如图7所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本申请实施例提供的方法、装置、设备及介质，建模过程和巡检过程中均是针对巡检点内采集多张图像，再利用叠加算法进行叠加后，作为后续的识别基础，由于采集多张图像必然针对不同的时刻，无论指示灯如何闪烁，多张图像中只要有一张的指示灯是亮的状态，即可说明机房设备的相应功能处于正常工作状态，均能大大提高采集到指示灯亮灯状态图像的概率，结合有效区域定位算法完成有效区域的定位，进一步完成指示灯状态识别后，进行建模数据和巡检数据的对比，得到巡检结果，极大地提高了识别的准确率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置或系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (12)

1.一种指示灯状态的巡检方法，其特征在于：包括建模过程和巡检过程；

所述建模过程是：获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；

所述巡检过程，进一步包括：

(1)有效区域的定位过程，即获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；

(2)指示灯位置的计算过程，在巡检图像中有效区域中计算出每个待识别指示灯的位置；

(3)指示灯状态识别过程，即将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。

2.根据权利要求1所述的一种指示灯状态的巡检方法，其特征在于：

所述建模过程和所述有效区域的定位过程中，采集巡检点处的图像的规则由一配置文件中配置，所述配置文件的配置项包括采集频率和n的取值。

3.根据权利要求1所述的一种指示灯状态的巡检方法，其特征在于：所述建模过程和所述有效区域的定位过程中，所述叠加算法是：

S11、输入n张采集的图像；

S12、将每张图像，从RGB颜色空间转换到HSV颜色空间；

S13、在HSV颜色空间，计算每张图像的掩码图，对于每个像素点，HSV范围位于指示灯颜色HSV范围内的掩码图上的值为1，否则为0；

S14、计算HSV颜色空间叠加后的图像，如公式(1)所示：

其中I_hsvi表示第i张HSV图像，且i＝0,1,...N-1，M_i表示第i张掩码图，I_hsv表示叠加后的HSV图像；

S15、将叠加后的HSV图像转换回BGR颜色空间；

S16、输出最终的叠加图像。

4.根据权利要求1所述的一种指示灯状态的巡检方法，其特征在于：所述建模过程中，利用识别算法完成整张图像的指示灯识别的具体过程是：

S21、将叠加图像转换到HSV颜色空间，利用颜色范围判断获取相应的掩码图；

S22、在掩码图中，利用轮廓查找算法找出指示灯的轮廓，并筛选去除误判的轮廓，完成指示灯的定位和状态判断；

S23、利用连通域标记算法完成指示灯的定位位置去重，结合HSV图像进行颜色复判。

5.根据权利要求1所述的一种指示灯状态的巡检方法，其特征在于：所述有效区域的定位过程中，利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位的过程是：

S31、利用Scharr算子计算模板图中的有效区域的梯度图像，然后根据图像金字塔，得到多尺度模板梯度图像；

S32、利用Scharr算子计算巡检图像整幅图像的梯度图像，得到巡检梯度图像；

S33、在巡检梯度图像中按顺序依次在有效区域大小的矩形窗口M×N内计算巡检梯度与多尺度模板梯度图像之间的标准相关性系数，取得分最高者对应的位置为最佳匹配位置，得分最高者对应的尺度为最佳匹配尺度；

其中，计算标准相关性系数的公式如(2)所示：

R(u,v)表示标准相关性系数图像在像素点(u,v)处的取值；

M为矩形窗口的宽度，N为矩形窗口的高度，单位均为像素；

g表示模板梯度图；

是模板梯度图的平均值：/>

f表示巡检梯度图，宽度至少为M，高度至少为N；

是巡检梯度图在矩形窗口内的平均值：/>

j表示水平方向控制变量，取值范围是j＝0～M-1；

k表示竖直方向控制变量，取值范围是k＝0～N-1。

6.一种指示灯状态的巡检装置，其特征在于：包括：

建模模块，用于获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；

巡检模块，进一步包括：

(1)有效区域的定位模块，用于获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；

(2)指示灯位置的计算模块，用于在巡检图像中有效区域中计算出每个待识别指示灯的位置；

(3)指示灯状态识别模块，用于将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。

7.根据权利要求6所述的一种指示灯状态的巡检装置，其特征在于：采集所述巡检点处的图像的规则由一配置文件中配置，所述配置文件的配置项包括采集频率和n的取值。

8.根据权利要求6所述的一种指示灯状态的巡检装置，其特征在于：所述建模模块和所述有效区域的定位模块中，进行所述叠加算法的过程是：

S11、输入n张采集的图像；

S12、将每张图像，从RGB颜色空间转换到HSV颜色空间；

S13、在HSV颜色空间，计算每张图像的掩码图，对于每个像素点，HSV范围位于指示灯颜色HSV范围内的掩码图上的值为1，否则为0；

S14、计算HSV颜色空间叠加后的图像，如公式(1)所示：

其中I_hsvi表示第i张HSV图像，且i＝0,1,...N-1，M_i表示第i张掩码图，I_hsv表示叠加后的HSV图像；

S15、将叠加后的HSV图像转换回BGR颜色空间；

S16、输出最终的叠加图像。

9.根据权利要求6所述的一种指示灯状态的巡检装置，其特征在于：

所述建模模块利用识别算法完成整张图像的指示灯识别的具体过程是：

S21、将叠加图像转换到HSV颜色空间，利用颜色范围判断获取相应的掩码图；

S22、在掩码图中，利用轮廓查找算法找出指示灯的轮廓，并筛选去除误判的轮廓，完成指示灯的定位和状态判断；

S23、利用连通域标记算法完成指示灯的定位位置去重，结合HSV图像进行颜色复判。

10.根据权利要求6所述的一种指示灯状态的巡检装置，其特征在于：所述有效区域的定位模块利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位的过程是：

S31、利用Scharr算子计算模板图中的有效区域的梯度图像，然后根据图像金字塔，得到多尺度模板梯度图像；

S32、利用Scharr算子计算巡检图像整幅图像的梯度图像，得到巡检梯度图像；

S33、在巡检梯度图像中按顺序依次在有效区域大小的矩形窗口M×N内计算巡检梯度与多尺度模板梯度图像之间的标准相关性系数，取得分最高者对应的位置为最佳匹配位置，得分最高者对应的尺度为最佳匹配尺度；

其中，计算标准相关性系数的公式如(2)所示：

式中:

R(u,v)表示标准相关性系数图像在像素点(u,v)处的取值；

M为矩形窗口的宽度，N为矩形窗口的高度，单位均为像素；

g表示模板梯度图；

是模板梯度图的平均值：/>

f表示巡检梯度图，宽度至少为M，高度至少为N；

是巡检梯度图在矩形窗口内的平均值：/>

j表示水平方向控制变量，取值范围是j＝0～M-1；

k表示竖直方向控制变量，取值范围是k＝0～N-1。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任一项所述的方法。

Images