CN109828891B - 一种故障指示灯识别方法 - Google Patents

Abstract

本发明涉及一种故障指示灯识别方法，该方法为基于OpenCV和SVM的故障指示灯识别方法，包括指示灯位置的定位过程和指示灯状态的识别过程。与现有技术相比，本发明具有大大地减少了由于工作人员的业务不熟练和失误导致的指示灯故障误识别和漏识别等优点。

Description

一种故障指示灯识别方法

技术领域

本发明涉及轨道交通设备巡检技术，尤其是涉及一种故障指示灯识别方法。

背景技术

随着轨道交通行业的迅速发展，信息化程度不断提高，机房控制设备大量增加，但是由于很多设备设计时间较早，没有设计内部自检的机制，或在设计之初就没有考虑将报警信息传递至中心，或由于各设备提供厂家不同，难以互通，因此，大部分设备仍然仅仅以指示灯的方式在机柜显示设备运行状态和出错指示报警。

因此，当前沿线车站和控制中心的绝大多数机房中仍然主要依赖工作人员定时在机房巡检，由于机房设备是7*24小时无间断运行，因此，在传统的设备状态巡检工作中需要巡检人员全天候的定时检查，受限于巡检人员的业务水平以及不断的重复性操作导致的疲劳等原因，难免会出现漏报警或误报警等现象，并且在一些偏远地区的车站机房人工巡检的时间周期必然较长，且成本较高。后期虽然通过添加安装摄像头的方式解决了偏远地区的机房巡检问题，但仍需要人工去盯看远程的视频，实质上仍然是依赖人工的检查方式，误报警和漏报警问题仍然没有根本解决。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种故障指示灯识别方法。

本发明的目的可以通过以下技术方案来实现：

一种故障指示灯识别方法，该方法为基于OpenCV和SVM的故障指示灯识别方法，包括指示灯位置的定位过程和指示灯状态的识别过程。

优选地，所述的指示灯位置的定位过程具体为：

1)根据配置规则读取配置文件，移动平台定时启动并根据磁轨在机房内定时巡检；

2)移动平台根据系统中的配置数据停靠在待监测的机柜前，采用伸缩式摄像头将画面对准待监测机柜；

3)提前在待识别区域的左上角和右下角分别添加识别特殊标记，作为监测区域的标记；

4)采用平方差匹配算法查找左上角和右下角区域特殊标记位置，连续判断十帧画面中特殊标记的位置是否有偏差则判断画面是否稳定；

5)等待画面稳定后，根据左上角标志区坐标和右下角标志坐标划定识别区域，缩小识别范围，根据步骤3)获取识别范围为((X_min,Y_min)，(X_max,Y_max))；

6)由于指示灯识别区内包括有多个板卡，因此需要根据不同的板卡划分区域用于给指示灯编号，首先根据步骤5)获取的识别区范围，将当前识别区截图后灰度化并二值化处理，采用投影法计算Y轴方向坐标上的黑色值；

由于连续的黑色区域即该X坐标方向上有指示灯存在，据此计算如果连续超过10个像素值没有黑色即为该坐标范围是板卡之间的空窗区，因此获取板卡之间的间距坐标并标记其他颜色线作为区分，并对此进行编号。

优选地，所述的平方差匹配算法具体为：

T为二值化后的待查找图片，I为左上角或者右下角的二值化后的特殊标记图片，设定I以一个像素为步长滑动整个T区域，I每滑动一个像素就与其所覆盖的T区域的像素值R(X,Y)进行计算，公式如(1)所示，根据计算结果如果R(X,Y)值越小即两者之间约相似，根据Min_Pos(R(X,Y))返回R(X,Y)最小时候对应的坐标pos(x,y)；

其中X为区域I的滑动后位置的左上顶点的X轴坐标、Y为区域I的滑动后位置的左上顶点的Y轴坐标、X′为区域I内的任意点的X轴坐标值、Y′为区域I内的任意点的Y轴坐标值，T(X′+X,Y′+Y)为I上任意点投影到T上的点灰度值，I(X′,Y′)为I上任意一点的灰度值。

优选地，所述的指示灯状态的识别过程包括：

7)获取不同的板卡编号，然后对不同的编号的板卡分别进行指示灯的识别，获取了所有指示灯的位置list，并根据不同的板卡做了区分，但是由于平方差匹配算法对指示灯的识别需要设定一个阈值，在该阈值之下即认为该区域存在一个指示灯，但是这样会导致一个指示灯会标记处多个位置，因此采用一种边框回归算法过滤到重复的位置，即根据实际的指示灯之间的最小距离作为边框回归算法的最大差值，即查找到的指示灯坐标如果小于该值即可以认为所找到的指示灯就是一个，从而过滤掉重复的坐标；

8)根据不同编号的板卡指示灯坐标list对指示灯进行编号，即，通过步骤7)获取一个板卡上所有指示灯的坐标包括灭灯和亮灯并过滤到重复的指示灯，然后根据该板卡上指示灯的坐标采用从上到下、从左到右的规则进行编号；

9)根据预先配置好的指示灯故障监控规则获取需要监控的指示灯编号，并根据步骤8)获取对应的编号的指示灯的坐标；

10)根据所获取的指示灯的坐标位置进行状态监控；

11)指示灯颜色变换受限于灯光颜色的亮灭变化和颜色的不均匀分布，因此这里采用SVM分类器对指示灯颜色进行识别；

12)根据配置规则和指示灯识别结果判断该灯的识别是否是正常状态，如果为指示灯识别结果与预先保存的配置规则不一致则需要通过将告警显示在界面。

优选地，所述的指示灯的识别包括灭灯指示灯识别和亮灯指示灯识别。

优选地，所述的灭灯指示灯识别具体过程如下：

根据识别区域灰度化并二值化处理后，将不同板卡裁剪成不同的区域，采用步骤4)的平方差匹配算法来查找所有板卡内的指示灯，并将所有指示灯坐标存储在一个list中。

优选地，所述的亮灯指示灯识别具体过程为：

由于亮灯的指示灯包括有闪烁的指示灯和长亮的指示灯，但是摄像头捕捉到的画面不可能恰好捕捉到所有闪烁指示灯同时处于亮灯状态，因此需要将根据指示灯的闪烁频率连续拍摄一个闪烁周期的所有图片，保证在这个周期内所有的闪烁的指示灯都至少有一张是点亮状态；

将一个指示灯闪烁周期内获取到的图片转化为HSV模型，并根据颜色空间值获取绿色、红色、黄色指示灯的颜色范围，采用cv2.bitwise_not函数将图片进行“非”操作，从而获取单张图片上制定颜色区域并二值化为黑色，最终把一个周期内所有的图片均通过cv2.bitwise_no函数操作提取出所需要的颜色，并通过cv2.bitwise_and函数把一个周期内所有过滤颜色的图片叠加在一起，并最终二值化处理，通过以上过程将一个周期内的所有图片采用颜色过滤以及像素值叠加方式将长亮灯以及闪烁灯均以长亮的方式显示；

图片经过二值化处理后，将不同板卡裁剪成不同的区域，采用步骤4)的平方差匹配算法来查找所有板卡内的指示灯，并将所有指示灯坐标存储在一个list中。

优选地，所述的采用SVM分类器对指示灯颜色进行识别具体为：

a、长亮和长灭的指示灯，采用正常的SVM分类器直接对颜色分类识别；

b、闪烁的指示灯识别，因为采用SVM分类器只能识别当前颜色，所以需要根据闪烁周期连续识别一个灯位的颜色值，并持续至少三个周期，分析识别结果如果在三个周期识内有多次灭灯和亮灯且是交替分布则可以判定为闪烁灯。

与现有技术相比，本发明具有以下优点：

1)采用的是移动式指示灯状态监测，可以7*24小时连续不间断的对指示灯进行状态识别。极大地减轻了值班人员的工作压力，工作人员只需要在控制中心就可以实时接收显示机房指示灯故障报警。

2)由于采用了OpenCV+SVM的指示灯定位和识别算法，可以根据提前配置好的规则对指示灯进行判定因此大大地减少了由于工作人员的业务不熟练和失误导致的指示灯故障误识别和漏识别。

3)通过采用OpenCV的光流追踪算法有效的避免了由于震动引起的误识别，可以保证在识别时间段内坐标一直能够聚焦于指示灯位置。

4)采用图像背景差方式避免了由于人和其他物品的遮挡导致的误识别报警。

附图说明

图1为本发明的工作流程图；

图2为本发明的平方差匹配算法示意图；

图3为本发明待检测区图片二值化示意图；

图4为本发明投影法计算Y轴方向的黑色值示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

基于移动式平台的故障指示灯识别算法，该算法综合考虑到由于移动式平台的停靠位置偏差、由于车辆经过或其他原因导致的震动、光照条件的变化等问题，比固定安装条件下的视频识别有更复杂的要求，据此，提出了一种新的基于OpenCV和SVM的故障指示灯识别算法。

故障指示灯的识别算法主要分为两个步骤：指示灯位置的定位算法、指示灯状态的识别算法。

指示灯定位：

1)根据配置规则读取配置文件，小车定时启动并根据磁轨在机房内定时巡检。

2)移动平台根据系统中的配置数据停靠在待监测的机柜前，采用伸缩式摄像头将画面对准待监测机柜。

3)提前在待识别区域的左上角和右下角分别添加识别标记，作为监测区域的标记。

4)采用平方差匹配算法查找左上角和右下角区域特殊标记位置，连续判断十帧画面中特殊标记的位置是否有偏差则可以判断画面是否稳定。

平方差匹配算法，如图2所示：

T即为二值化后的待查找图片，I即为左上角或者右下角的二值化后的特殊标图片。设定I以一个像素为步长滑动整个T区域，I每滑动一个像素就与其所覆盖的T区域的像素值计算，公式为R(X,Y)。根据计算结果如果R(X,Y)值越小即两者之间约相似，根据Min_Pos(R(X,Y))返回R(X,Y)最小时候对应的坐标pos(x,y)。

其中X为区域I的滑动后位置的左上顶点的X轴坐标、Y为区域I的滑动后位置的左上顶点的Y轴坐标、X′为区域I内的任意点的X轴坐标值、Y′为区域I内的任意点的Y轴坐标值，T(X′+X,Y′+Y)为I上任意点投影到T上的点灰度值，I(X′,Y′)为I上任意一点的灰度值。

5)等待画面稳定后，根据左上角标志区坐标和右下角标志坐标划定识别区域，缩小识别范围，根据第三步获取识别范围为((X_min,Y_min)，(X_max,Y_max))。

6)由于指示灯识别区内包括有多个板卡，因此需要根据不同的板卡划分区域用于给指示灯编号，首先根据步骤5)获取的识别区范围，将当前识别区截图后灰度化并二值化处理，如图3所示，采用投影法计算Y轴方向坐标上的黑色值，如图4所示。

由于连续的黑色区域即该X坐标方向上有指示灯存在，据此计算如果连续超过10个像素值没有黑色即为该坐标范围是板卡之间的空窗区。因此获取板卡之间的间距坐标并标记其他颜色线作为区分，并对此进行编号1、2···7。

7)获取不同的板卡编号。然后对不同的编号的板卡分别进行指示灯的识别，在这里指示灯的识别由于分为灭灯指示灯和亮灯指示灯因此分为两个步骤：

a、灭灯指示灯识别：

根据识别区域灰度化并二值化处理后，将不同板卡裁剪成不同的区域。与步骤4)相似采用平方差相似匹配算法来查找所有板卡内的指示灯。并将所有指示灯坐标存储在一个list中。

b、亮灯指示灯识别：

由于亮灯的指示灯又由于有闪烁的指示灯和长亮的指示灯，但是摄像头捕捉到的画面不可能恰好捕捉到所有闪烁指示灯同时处于亮灯状态，因此需要将根据指示灯的闪烁频率连续拍摄一个闪烁周期的所有图片，保证在这个周期内所有的闪烁的指示灯都至少有一张是点亮状态。将一个指示灯闪烁周期内获取到的图片转化为HSV模型，并根据颜色空间值获取绿色、红色、黄色指示灯的颜色范围。采用cv2.bitwise_not函数将图片进行“非”操作，从而获取单张图片上制定颜色区域并二值化为黑色，最终把一个周期内所有的图片均通过cv2.bitwise_no函数操作提取出所需要的颜色。并通过cv2.bitwise_and函数把一个周期内所有过滤颜色的图片叠加在一起，并最终二值化处理。通过以上过程将一个周期内的所有图片采用颜色过滤以及像素值叠加方式将长亮灯以及闪烁灯均以长亮的方式显示。同理由于也采用二值化后的结果，此时亮灯的识别方式与灭灯的识别方式相同在这里不在赘述。

根据步骤a和b获取了所有指示灯的位置list，并根据不同的板卡做了区分，但是由于平方差模板匹配算法对指示灯的识别需要设定一个阈值，在该阈值之下即认为该区域存在一个指示灯，但是这样会导致一个指示灯会标记处多个位置(单个像素的滑动不会有太大的平方差计算结果)。因此需要采用一种边框回归算法过滤到重复的位置，即根据实际的指示灯之间的最小距离作为边框回归算法的最大差值，即查找到的指示灯坐标如果小于该值即可以认为所找到的指示灯就是一个，从而过滤掉重复的坐标。

8)根据不同编号的板卡指示灯坐标list对指示灯进行编号，即，通过步骤7)获取一个板卡上所有指示灯的坐标包括灭灯和亮灯并过滤到重复的指示灯。然后根据该板卡上指示灯的坐标采用从上到下、从左到右的规则进行编号。

9)根据预先配置好的指示灯故障监控规则获取需要监控的指示灯编号，并根据步骤8)获取对应的编号的指示灯的坐标。

10)根据所获取的指示灯的坐标位置进行状态监控。

11)指示灯颜色变换受限于灯光颜色的亮灭变化和颜色的不均匀分布，因此这里采用SVM分类器对指示灯颜色进行识别。

a、长亮和长灭的指示灯，可以采用正常的SVM分类器直接对颜色分类识别。

b、闪烁的指示灯识别，因为采用SVM分类器只能识别当前颜色，所以需要根据闪烁周期连续识别一个灯位的颜色值，并持续至少三个周期。分析识别结果如果在三个周期识内有多次灭灯和亮灯且是交替分布则可以判定为闪烁灯。

12)根据配置规则和指示灯识别结果判断该灯的识别是否是正常状态，如果为指示灯识别结果与预先保存的配置规则不一致则需要通过将告警显示在界面。

如图1所示，该识别方法主要步骤：

1、根据配置文件识别待监测指示灯编号以及该指示灯正常状态。

2、AGV移动平台根据配置文件沿预定轨迹移动到对应的机柜前，伸出摄像头对准待监测画面。

3、初始化算法计算当前画面是否稳定，稳定则继续判断；不稳定则持续判断直到画面稳定。

4、根据平方差匹配算法查找特征点并获取监测区域。

5、采用投影法将待监测区域的多个板卡分别进行编号并获取X轴上的坐标。

6、通过平方差匹配算法获取灭灯的指示灯坐标；通过图像叠加方式算法获取亮灯指示灯坐标。

7、过滤掉重复的指示灯坐标。

8、根据从上到下、从左到右的规则对指示灯进行编号。

9、采用SVM算法对指示灯颜色进行判断。

10、根据识别结果与配置规则对比，不一致则告警。

通过识别结果与配置规则对比如果故障则通过文字方式告警。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种故障指示灯识别方法，其特征在于，该方法为基于OpenCV和SVM的故障指示灯识别方法，包括指示灯位置的定位过程和指示灯状态的识别过程；

所述的指示灯位置的定位过程具体为：

1)根据配置规则读取配置文件，移动平台定时启动并根据磁轨在机房内定时巡检；

2)移动平台根据系统中的配置数据停靠在待监测的机柜前，采用伸缩式摄像头将画面对准待监测机柜；

3)提前在待识别区域的左上角和右下角分别添加识别特殊标记，作为监测区域的标记；

4)采用平方差匹配算法查找左上角和右下角区域特殊标记位置，连续判断十帧画面中特殊标记的位置是否有偏差来判断画面是否稳定；

5)等待画面稳定后，根据左上角标志区坐标和右下角标志坐标划定识别区域，缩小识别范围，根据步骤3)获取识别范围为((X_min,Y_min)，(X_max,Y_max))；

6)由于指示灯识别区内包括有多个板卡，因此需要根据不同的板卡划分区域用于给指示灯编号，首先根据步骤5)获取的识别范围，将当前识别区截图后灰度化并二值化处理，采用投影法计算Y轴方向坐标上的黑色值；

由于连续的黑色区域即X坐标方向上有指示灯存在，据此计算如果连续超过10个像素值没有黑色即为该坐标范围是板卡之间的空窗区，因此获取板卡之间的间距坐标并标记其他颜色线作为区分，并对此进行编号；

所述的指示灯状态的识别过程包括：

7)获取不同的板卡编号，然后对不同的编号的板卡分别进行指示灯的识别，获取了所有指示灯的坐标list，并根据不同的板卡做了区分，但是由于平方差匹配算法对指示灯的识别需要设定一个阈值，在该阈值之下即认为该区域存在一个指示灯，但是这样会导致一个指示灯会标记处多个位置，因此采用一种边框回归算法过滤掉重复的位置，即根据实际的指示灯之间的最小距离作为边框回归算法的最大差值，即查找到的指示灯坐标如果小于该值即可以认为所找到的指示灯就是一个，从而过滤掉重复的坐标；

8)根据不同编号的板卡指示灯坐标list对指示灯进行编号，即，通过步骤7)获取一个板卡上所有指示灯的坐标包括灭灯和亮灯并过滤掉重复的指示灯，然后根据该板卡上指示灯的坐标采用从上到下、从左到右的规则进行编号；

9)根据预先配置好的指示灯故障监控规则获取需要监控的指示灯编号，并根据步骤8)获取对应的编号的指示灯的坐标；

10)根据所获取的指示灯的坐标位置进行状态监控；

11)指示灯颜色变换受限于灯光颜色的亮灭变化和颜色的不均匀分布，因此这里采用SVM分类器对指示灯颜色进行识别；

12)根据配置规则和指示灯识别结果判断该灯的识别是否是正常状态，如果指示灯识别结果与预先保存的配置规则不一致则需要通过将告警显示在界面。

2.根据权利要求1所述的一种故障指示灯识别方法，其特征在于，所述的平方差匹配算法具体为：

T为二值化后的待查找图片，I为左上角或者右下角的二值化后的特殊标记图片，设定I以一个像素为步长滑动整个T区域，I每滑动一个像素就与其所覆盖的T区域的像素值R(X,Y)进行计算，公式如下，根据计算结果如果R(X,Y)值越小即两者之间越相似，根据Min_Pos(R(X,Y))返回R(X,Y)最小时候对应的坐标Pos(X,Y)；

其中X为区域I的滑动后位置的左上顶点的X轴坐标、Y为区域I的滑动后位置的左上顶点的Y轴坐标、X′为区域I内的任意点的X轴坐标值、Y′为区域I内的任意点的Y轴坐标值，T(X′,Y′)为I上任意点投影到T上的点，I(X+X′,Y+Y′)为I上任意一点的灰度值。

3.根据权利要求1所述的一种故障指示灯识别方法，其特征在于，所述的指示灯的识别包括灭灯指示灯识别和亮灯指示灯识别。

4.根据权利要求3所述的一种故障指示灯识别方法，其特征在于，所述的灭灯指示灯识别具体过程如下：

根据识别区域灰度化并二值化处理后，将不同板卡裁剪成不同的区域，采用步骤4)的平方差匹配算法来查找所有板卡内的指示灯，并将所有指示灯坐标存储在一个list中。

5.根据权利要求3所述的一种故障指示灯识别方法，其特征在于，所述的亮灯指示灯识别具体过程为：

由于亮灯的指示灯包括有闪烁的指示灯和长亮的指示灯，但是摄像头捕捉到的画面不可能恰好捕捉到所有闪烁指示灯同时处于亮灯状态，因此需要将根据指示灯的闪烁频率连续拍摄一个闪烁周期的所有图片，保证在这个周期内所有的闪烁的指示灯都至少有一张是点亮状态；

将一个指示灯闪烁周期内获取到的图片转化为HSV模型，并根据颜色空间值获取绿色、红色、黄色指示灯的颜色范围，采用cv2.bitwise_not函数将图片进行“非”操作，从而获取单张图片上指定颜色区域并二值化为黑色，最终把一个周期内所有的图片均通过cv2.bitwise_not函数操作提取出所需要的颜色，并通过cv2.bitwise_and函数把一个周期内所有过滤颜色的图片叠加在一起，并最终二值化处理，通过以上过程将一个周期内的所有图片采用颜色过滤以及像素值叠加方式将长亮灯以及闪烁灯均以长亮的方式显示；

通过上述处理后的图片最终通过二值化处理后，将不同板卡裁剪成不同的区域，采用步骤4)的平方差匹配算法来查找所有板卡内的指示灯，并将所有指示灯坐标存储在一个list中。

6.根据权利要求1所述的一种故障指示灯识别方法，其特征在于，所述的采用SVM分类器对指示灯颜色进行识别具体为：

a、长亮和长灭的指示灯，采用正常的SVM分类器直接对颜色分类识别；

b、闪烁的指示灯识别，因为采用SVM分类器只能识别当前颜色，所以需要根据闪烁周期连续识别一个灯位的颜色值，并持续至少三个周期，分析识别结果如果在三个周期内有多次灭灯和亮灯且是交替分布则可以判定为闪烁灯。

Images