CN112001299B - 一种隧道车指器和照明灯故障识别方法 - Google Patents

Abstract

本发明涉及隧道监控领域，特指一种隧道车指器和照明灯故障识别方法，包括如下步骤：首先对隧道视频流图像进行提取感兴趣区域，然后对提取区域的图像进行灰度化二值处理，对二值图像进行形态学操作，然后根据车指器的颜色和形状特征检测出车指器区域，其他区域作为照明灯候选区域；对检测到的车指灯区域状态进行识别，并结合其输入信号，建立车指器故障识别模型，输出故障情况；提取照明灯候选区域的HOG特征，结合SVM分类器进行图像训练，从而有效检测出近距离的照明灯区域，然后根据照明灯安装位置特征，检测出远距离的照明灯区域，之后对检测到的照明灯状态进行识别，结合其输入信号，建立照明灯故障识别模型。

Description

一种隧道车指器和照明灯故障识别方法

技术领域

本发明涉及隧道监控领域，特指一种隧道车指器和照明灯故障识别方法。

背景技术

随着高速公路隧道的不断增多，使得隧道内的机电设备数量庞大，种类繁多。特别是隧道内照明灯和车指器，在隧道机电设备总数中占有相当的比重，其重要性和维护工作的难度不言而喻。要想有效维护好繁杂的机电设备，使其时刻保持在高效的工作状态，仅仅依靠人工的巡查、定期检修是远远不够的，在维护效率和维护效果上都不能满足要求。

传统视频监测，需要监控人员一刻不停地观看视频。传统视频监测只能提供图像的捕获、存储和回放灯简单功能，很难起到预警和报警的作用，而且长时间观看视频容易导致人员疲惫。另外随着监控摄像头的个数增长加快，覆盖的范围越来越广，往往目不暇接，很难及时对异常作出反应。

目前机电设备状态监测技术主要使用传感器采集机电部件的数据，通过综合各项数据的统计分析来预测机电设备的运行状态，该方法只能局部地了解机电设备的运行状态，不能直观地监视设备的运行状态，限制了运维人员对故障作出快速的判断。

因此，本发明人对此做进一步研究，研发出一种隧道车指器和照明灯故障识别方法，本案由此产生。

发明内容

本发明的目的在于提供一种隧道车指器和照明灯故障识别方法，实现高速隧道内车指器和照明灯的智能故障识别和警报功能。

为了实现上述目的，本发明的技术方案如下：

一种隧道车指器和照明灯故障识别方法，包括如下步骤：

首先对隧道视频流图像进行提取感兴趣区域，然后对提取区域的图像进行灰度化二值处理，对二值图像进行形态学操作，然后根据车指器的颜色和形状特征检测出车指器区域，其他区域作为照明灯候选区域；对检测到的车指灯区域状态进行识别，并结合其输入信号，建立车指器故障识别模型，输出故障情况；提取照明灯候选区域的HOG特征，结合SVM分类器进行图像训练，从而有效检测出近距离的照明灯区域，然后根据照明灯安装位置特征，检测出远距离的照明灯区域，之后对检测到的照明灯状态进行识别，结合其输入信号，建立照明灯故障识别模型，得到实时故障情况。

在做视频检测前需要先对视频中每一帧图像进行预处理，首先需要减小检测区域，即不对整张图片进行处理，而是只搜索车指器和照明灯可能出现的部分区域，从而提高检测精度，隧道车指器和照明灯具安装位置主要位于图片的上半部分，因此可以提取图片的上半部分作为感兴趣区域，以降低车辆尾灯对检测目标的干扰和减少目标检测的处理时间；由于隧道背景复杂，处理后会存在一些噪声，需要对二值图像进行减噪处理。

进一步，车指器区域检测包括如下步骤：

1)颜色提取，设备采集到的视频图像默认为RGB模型，将其转换到HSV模型；

2)区域过滤，依据轮廓特征进行区域过滤，筛选出符合车指器特征的区域，包括：

a面积过滤，求取轮廓的外接矩阵，并计算矩阵面积，指定面积范围，将不符合的区域过滤；

b形状过滤，获取轮廓的外接矩阵，得到外接矩阵的宽高，过滤条件为外接矩阵的宽高比例。

RGB模型是一种常用的色彩模型，但是该模型下的3个分量红、绿、蓝相关性较高，抗外界干扰性较差，不适合用来进行图像分割，相对于RGB模型，HSV模型更适合人类的视觉特性，因此需要先将视频图像转换到HSV空间。

进一步，车指器区域识别，通过设区域内红色像素量为Nred,绿色像素量为Ngreen，根据颜色像素量占据较多的作为该区域的颜色，该颜色像素量占该区域面积的比例作为颜色密度，根据颜色和颜色密度得到车指器当前状态。

车指器正常使用状态主要分为红叉、绿箭，故障时状态主要有不亮、缺角，可以根据颜色和颜色密度识别车指器当前状态。

进一步，形态学操作具体为先腐蚀后膨胀处理。

腐蚀操作可以消除物体边界点，使目标缩小，从而消除小于结构元素的噪声点；而膨胀操作则相反，它可以将与物体接触的所有背景点合并到物体中，使目标增大，从而填补目标中的空洞，开操作是先腐蚀后膨胀处理，闭操作是先膨胀后腐蚀处理，对图像进行开运算操作，以消除图像上细小的噪声，并平滑物体边界。

进一步，HOG特征提取，首先对检测区域计算图像水平方向和垂直方向的梯度值，然后计算像素点的梯度幅值和方向，将图像均匀地划分成多个cell，梯度方向分为9个bin，统计其梯度方向直方图，得到cell的HOG特征，最后，相邻的cell组成一个block，将block归一化得到block的HOG特征。

HOG，也即方向梯度直方图(Histogram of Oriented Gradient)，直方图就是数据分布的一种图形表现，看起来有点像柱形图，其柱形有不同的高度，每个柱形代表一组处于一定值范围的数据，这些柱形也称为组(bins)，柱形越高意味着某组数据越多。

进一步，照明灯的检测和状态识别方法，包括如下步骤：

(一)照明灯密集点提取

图像预处理后，得到二值图像以及候选区域的轮廓，获取所有轮廓的中心点，计算两两之间的距离，得到距离矩阵，然后选取半径r大小，得到距离小于r的圆内密度最大的中心点即照明灯密集点，得到的密集中心点就是照明灯最密集的地方，作为左右照明灯的估计分界点；

设候选区域有N个，d_ij为候选区域i和j两两之间的距离，则得到距离矩阵D，其中

则得到每个候选区域i的半径为r的两两距离集合为

d_i,r＝{d_ij}，d_ij<r且i≠j,i＝1,2,…N

其中集合中数量最多的候选区域则为密度最大的中心点；

(二)基于HOG特征的最近照明灯检测

在其中一侧隧道照明灯候选区域中，按从近到远进行排序，遍历候选区域，经过面积和形状过滤后，得到符合条件的区域图像，然后提取图像的HOG特征，并采用SVM进行特征分类，找到前两个分类结果是照明灯的图像区域；

(三)基于分布特征的多个照明灯检测

在得到两个最近的照明灯图像区域后，计算区域中心点，得到两点间的斜率作为参考斜率，

设左边两个最近的照明灯中心点位置由近到远分别为p₁(x₁,y₁),p₂(x₂,y₂)，则参考斜率为：

找到该水平线上的所有照明灯区域，

取灯的平均距离作为参考距离，则第i个照明灯的参考距离为

候选照明灯i的斜率角度相对于参考斜率角度偏移量为

设候选照明灯i的外接矩阵面积相对于前一个照明灯面积为area_i，如果斜率角度偏移量在一定范围(-α，α)内，而且与上一个照明灯面积比介于(β₁，β₂)，则认为该候选照明灯i为照明灯，否则为干扰灯，

当候选照明灯i的参考距离比前一个照明灯的参考距离大于某个倍数，即则认为其中一侧照明灯检测结束，同时找到照明灯在图像上所处的最低高度：

设检测到其中一侧所有的照明灯n个，中心点在图像上的位置分别为p_i(x_i,y_i),i＝1,2,…n

y_low＝low(Y)+δ,Y＝{y_i}

(四)照明灯状态识别

在检测到的照明灯区域内，对照明灯状态进行识别，分为亮、不亮、暗三种情况。

距离越靠近摄像机，图像特征越明显，图像识别精度越高，由于照明灯正常使用时主要为亮白光，关闭时没有亮光，亮度不够则为暗，因此可以采用图像亮度进行状态识别。

采用上述方案后，本发明与现有技术相比，具有以下优点：

1.对设备故障情况更加直观明了，故障判断也更加准确；

2.与安装传感器采集数据和分析设备运行状态的方式比较，不需要在设备上安装传感器，而且视频是既有设备，不用重复安装，降低了运维成本；

3.一个摄像机的视频图像可以监视多个照明设备，检测速度快；

采用的HOG+SVM技术成熟，在图像识别领域应用广泛，而且效果明显，照明灯在隧道背景下其边缘具有明显的特征，HOG本质上是梯度信息的统计，而梯度主要存在于边缘的地方，所以HOG特征适用于隧道照明灯的特征提取，将HOG特征和SVM分类应用到高速隧道照明灯的灯具识别中，可以有效提高识别速度和准确率。

附图说明

图1是车指器和照明灯故障识别方法；

图2是车指器状态识别模型；

图3是密集点提取示意图；

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

如图所示，一种隧道车指器和照明灯故障识别方法，主要可包括如下几个流程。

故障识别方法流程

识别流程图如图1所示，首先对隧道视频流图像进行提取感兴趣区域、灰度化处理、形态学操作等预处理，然后根据车指器的颜色和形状特征检测出车指器的区域，其他区域作为照明灯的候选区域。对检测到的车指灯状态进行识别，并结合其输入信号，建立车指器故障识别模型，输出故障情况。由于照明灯与其他干扰灯的图像形状和颜色特征不明显，因此提取照明灯的HOG特征，结合SVM分类器进行图像训练，从而有效检测出近距离的照明灯区域。然后根据照明灯安装位置特征，检测出远距离的照明灯区域。之后对检测到的照明灯状态进行识别，结合其输入信号，建立照明灯故障识别模型，得到实时故障情况。

视频图像预处理

在做视频检测前需要先对视频中每一帧图像进行预处理，首先需要减小检测区域，即不对整张图片进行处理，而是只搜索车指器和照明灯可能出现的部分区域，从而提高检测精度。隧道车指器和照明灯具安装位置主要位于图片的上半部分，因此可以提取图片的上半部分作为感兴趣区域，以降低车辆尾灯对检测目标的干扰和减少目标检测的处理时间。

然后，对图像进行灰度化二值处理。由于隧道背景复杂，处理后会存在一些噪声，需要对二值图像进行减噪处理，其中形态学操作，即腐蚀和膨胀操作可以很好地解决该问题。腐蚀操作可以消除物体边界点，使目标缩小，从而消除小于结构元素的噪声点；而膨胀操作则相反，它可以将与物体接触的所有背景点合并到物体中，使目标增大，从而填补目标中的空洞。开操作是先腐蚀后膨胀处理，闭操作是先膨胀后腐蚀处理。对图像进行开运算操作，以消除图像上细小的噪声，并平滑物体边界。

车指器视频检测和识别方法

车指器在正常使用时显示为红叉或绿箭，因此能够识别的指示器颜色包括红色和绿色。算法分检测和识别两个阶段，其中从视频中检测车指器主要有两个步骤，颜色提取和区域过滤。

1)颜色提取。设备采集到的视频图像默认在RGB空间，RGB彩色模型是一种常用的色彩模型，但是该模型下的3个分量红、绿、蓝相关性较高，抗外界干扰性较差，不适合用来进行图像分割。相对于RGB颜色模型，HSV颜色模型更适合人类的视觉特性。因此需要先将视频图像转换到HSV空间。

2)区域过滤。为了避免干扰物对车指器检测识别的影响，在确定颜色区域后遍历所有符合条件的二值图像轮廓，依据轮廓特征进行区域过滤，筛选出符合车指器特征的区域。

面积过滤：求取轮廓的外接矩阵，并计算矩阵面积，指定面积范围，将不符合的区域过滤。

形状过滤：获取轮廓的外接矩阵，得到外接矩阵的宽高，过滤条件为外接矩阵的宽高比例。

车指器状态识别阶段，通过颜色及其密度来进行。车指器正常使用状态主要分为红叉、绿箭，故障时状态主要有不亮、缺角。设区域内红色像素量为N_red,绿色像素量为N_green，根据颜色像素量占据较多的作为该区域的颜色，该颜色像素量占该区域面积的比例作为颜色密度。

遍历所有车指器，根据颜色和颜色密度得到车指器当前状态。

基于HOG和SVM的近距离照明灯目标检测

由于照明灯与其他干扰灯的图像形状和颜色特征不明显，因此采用机器学习方法进行训练后提高目标检测的准确度。考虑到照明灯在隧道背景下其边缘具有明显的特征，采用HOG特征提取进行SVM分类学习。

1)HOG特征提取

首先对检测区域计算图像水平方向和垂直方向的梯度值，然后计算像素点的梯度幅值和方向，将图像均匀地划分成多个cell，梯度方向分为9个bin，统计其梯度方向直方图，得到cell的HOG特征。最后，相邻的cell组成一个block，将block归一化得到block的HOG特征。

2)样本训练

采集高速隧道内视频作为实验数据，从视频中截取近距离的正常使用的照明灯图片作为训练正样本，随机截取一定面积的非完整照明灯图片作为训练负样本。采集时照明灯位置不同，时间段不同，使得样本有足够的泛化能力。

采集的训练正样本和负样本若干，提取HOG特征生成特征向量，用线性SVM进行训练，训练完毕后获得分类支持向量和分类超平面。权重w、偏置b和检测窗口中提取的HOG特征向量x作为SVM的分类超平面的变量输入。

3)分类识别

对于新的检测窗口，提取HOG特征，然后把HOG特征带入超平面进行分类识别，即可得到对应的分类结果。

照明灯视频检测和状态识别方法

照明灯主要安装在隧道内两侧上端，且按一定的距离排列，在视频中发现较近的照明灯具有明显的图像特征，距离越远特征越模糊，到最后近似一个个小圆点。除此之外，在视频中发现较多的干扰物，比如诱导灯和信号灯。根据照明灯安装位置特征，即位置相对较高，且按一定距离水平排列，可以通过检测距离较近的照明灯来定位照明灯安装高度，然后根据排列距离和水平位置找到相邻的下一个照明灯。

由于摄像机一般安装在隧道右侧，因此在拍摄的视频中左边照明灯的位置排列相对较缓，特征较明显。为此可以先定位隧道左边的所有照明灯，然后在找到照明灯相对位置后，过滤图像中低于照明灯位置的干扰项。最后相同的方法定位右边的照明灯。具体步骤如下：

第一步，照明灯密集点提取

图像预处理后，得到二值图像以及候选区域的轮廓。获取所有轮廓的中心点，计算两两之间的距离，得到距离矩阵。然后选取半径r大小，得到距离小于r的圆内密度最大的中心点即照明灯密集点。得到的密集中心点就是照明灯最密集的地方，可以作为左右照明灯的估计分界点。

设候选区域有N个，d_ij为候选区域i和j两两之间的距离，则得到距离矩阵D，其中

则得到每个候选区域i的半径为r的两两距离集合为

d_i,r＝{d_ij}，d_ij<r且i≠j,i＝1,2,…N

其中集合中数量最多的候选区域则为密度最大的中心点，如图3所示。

第二步，基于HOG特征的最近照明灯检测

在左边隧道照明灯候选区域中，按从近到远进行排序。因为距离越靠近摄像机，图像特征越明显，图像识别精度越高。因此遍历候选区域，经过面积和形状过滤后，得到符合条件的区域图像。然后提取图像的HOG特征，并采用SVM进行特征分类，找到前两个分类结果是照明灯的图像区域。

第三步，基于分布特征的多个照明灯检测

由于视频中距离较远的照明灯特征不明显，使用图像检测办法并不能得到很好的结果，因此本文利用照明灯的分布特征来检测多个照明灯。在得到两个最近的照明灯图像区域后，计算区域中心点，得到两点间的斜率作为参考斜率。

设左边两个最近的照明灯中心点位置由近到远分别为p₁(x₁,y₁),p₂(x₂,y₂)，则参考斜率为：

由于照明灯随着离摄像机距离越远，两两间的距离越短，灯面积也越小。而且由于隧道的弧形特征，使得两两间的斜率也会有相应变化，不会一直不变。比如隧道右转，则照明灯位置向下的幅度会越来越大。因此采用迭代计算，即基于第二个照明灯区域，在参考斜率、参考距离和面积的一定范围内找到下一个照明灯区域，并更新参考斜率和参考距离，以此类推，可以找到该水平线上的所有照明灯区域。

考虑到照明灯可能出现两个灯为一组的情况，因此取灯的平均距离作为参考距离，则第i个照明灯的参考距离为

候选照明灯i的斜率角度相对于参考斜率角度偏移量为

设候选照明灯i的外接矩阵面积相对于前一个照明灯面积为area_i，如果斜率角度偏移量在一定范围(-α，α)内，而且与上一个照明灯面积比介于(β₁，β₂)，则认为该候选照明灯i为照明灯，否则为干扰灯。

同样地，对左边其他候选区域进行以上操作，可以找到多个水平线上的照明区域。如果当候选照明灯i的参考距离比前一个照明灯的参考距离大于某个倍数，即则认为左边照明灯检测结束。同时找到照明灯在图像上所处的最低高度：

设检测到左边所有的照明灯n个，中心点在图像上的位置分别为p_i(x_i,y_i),i＝1,2,…n

y_low＝low(Y)+δ,Y＝{y_i}

右边照明灯因为与摄像机处在同一侧面，因此视频图像中两灯之间的斜率和距离相差较大，分布特征不明显，容易与照明灯下方的干扰项混淆。因此需要根据前面提到的照明灯最低高度y_low对干扰项进行过滤。然后按照上述步骤进行右侧照明灯的检测。

该方法基于隧道内照明灯的安装分布特征，通过参数估计建立检测模型，能有效检测出符合条件的照明灯，并区分照明灯所属左右侧回路。按照以上步骤得到检测结果，其中黑色边框和灰色边框分别为HOG特征识别的最近的两盏照明灯，蓝色边框为以上步骤检测到的照明灯区域，红色边框为检测到的车指器区域，黑色线条为检测到的最低照明灯安装高度。

第四步，照明灯状态识别

在检测到的照明灯区域内，对照明灯状态进行识别。由于照明灯正常使用时主要为亮白光，关闭时没有亮光，亮度不够则为暗，因此可以采用图像亮度进行状态识别。

车指器和照明灯实时故障识别模型

车指器和照明灯实时故障识别需要视频识别的实时状态和实时输入信号作为模型输入，模型输出为故障状态，包括正常、信号错误、灯缺角等。

车指器状态识别有4种情况：红叉、绿箭、不亮、缺角；车指器输入信号包括3种情况：红叉、绿箭、关闭。车指器故障情况如下表所示：

故障情况	红叉	绿箭	不亮	红叉缺角	绿箭缺角
						红叉	正常	信号错误	灯不亮	灯缺角	信号错误
绿箭	信号错误	正常	灯不亮	信号错误	灯缺角
						关闭	-	-	正常	-	-

照明灯状态识别有3种情况：亮、不亮、暗；输入信号包括2种情况：开、关。照明灯故障情况如下表所示：

故障情况	亮	不亮	暗
				开	正常	灯不亮	信号不稳或灯坏
关	-	正常	-

上述仅为本发明的具体实施例，同时凡本发明中所涉及的如“上、下、左、右、中间”等词，仅作参考用，并非绝对限定，凡利用本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种隧道车指器和照明灯故障识别方法，包括如下步骤：

首先对隧道视频流图像进行提取感兴趣区域，然后对提取区域的图像进行灰度化二值处理，对二值图像进行形态学操作，然后根据车指器的颜色和形状特征检测出车指器区域，其他区域作为照明灯候选区域；对检测到的车指灯区域状态进行识别，并结合其输入信号，建立车指器故障识别模型，输出故障情况；提取照明灯候选区域的HOG特征，结合SVM分类器进行图像训练，从而有效检测出近距离的照明灯区域，然后根据照明灯安装位置特征，检测出远距离的照明灯区域，之后对检测到的照明灯状态进行识别，结合其输入信号，建立照明灯故障识别模型，得到实时故障情况；

其中，照明灯的检测和状态识别方法，包括如下步骤：

(一)照明灯密集点提取

图像预处理后，得到二值图像以及候选区域的轮廓，获取所有轮廓的中心点，计算两两之间的距离，得到距离矩阵，然后选取半径r大小，得到距离小于r的圆内密度最大的中心点即照明灯密集点，得到的密集中心点就是照明灯最密集的地方，作为左右照明灯的估计分界点；

设候选区域有N个，d_ij为候选区域i和j两两之间的距离，则得到距离矩阵D，其中

则得到每个候选区域i的半径为r的两两距离集合为

d_i,r＝{d_ij}，d_ij<r且i≠j,i＝1,2,…N

其中集合中数量最多的候选区域则为密度最大的中心点；

(二)基于HOG特征的最近照明灯检测

在其中一侧隧道照明灯候选区域中，按从近到远进行排序，遍历候选区域，经过面积和形状过滤后，得到符合条件的区域图像，然后提取图像的HOG特征，并采用SVM进行特征分类，找到前两个分类结果是照明灯的图像区域；

(三)基于分布特征的多个照明灯检测

在得到两个最近的照明灯图像区域后，计算区域中心点，得到两点间的斜率作为参考斜率，

设左边两个最近的照明灯中心点位置由近到远分别为p₁(x₁,y₁),p₂(x₂,y₂)，则参考斜率为：

找到该水平线上的所有照明灯区域，

取灯的平均距离作为参考距离，则第i个照明灯的参考距离为

候选照明灯i的斜率角度相对于参考斜率角度偏移量为

设候选照明灯i的外接矩阵面积相对于前一个照明灯面积为area_i，如果斜率角度偏移量在一定范围(-α，α)内，而且与上一个照明灯面积比介于(β₁，β₂)，则认为该候选照明灯i为照明灯，否则为干扰灯，

当候选照明灯i的参考距离比前一个照明灯的参考距离大于某个倍数，即则认为其中一侧照明灯检测结束，同时找到照明灯在图像上所处的最低高度：

设检测到其中一侧所有的照明灯n个，中心点在图像上的位置分别为p_i(x_i,y_i),i＝1,2,…n

y_low＝low(Y)+δ,Y＝{y_i}

(四)照明灯状态识别

在检测到的照明灯区域内，对照明灯状态进行识别，分为亮、不亮、暗三种情况。

2.根据权利要求1所述的一种隧道车指器和照明灯故障识别方法，其特征在于：车指器区域检测包括如下步骤：

1)颜色提取，设备采集到的视频图像默认为RGB模型，将其转换到HSV模型；

2)区域过滤，依据轮廓特征进行区域过滤，筛选出符合车指器特征的区域，具体包括：

a面积过滤，求取轮廓的外接矩阵，并计算矩阵面积，指定面积范围，将不符合的区域过滤；

b形状过滤，获取轮廓的外接矩阵，得到外接矩阵的宽高，过滤条件为外接矩阵的宽高比例。

3.根据权利要求1所述的一种隧道车指器和照明灯故障识别方法，其特征在于：车指器区域识别，通过设区域内红色像素量为Nred,绿色像素量为Ngreen，根据颜色像素量占据较多的作为该区域的颜色，该颜色像素量占该区域面积的比例作为颜色密度，根据颜色和颜色密度得到车指器当前状态。

4.根据权利要求1所述的一种隧道车指器和照明灯故障识别方法，其特征在于：形态学操作具体为先腐蚀后膨胀处理。

5.根据权利要求1所述的一种隧道车指器和照明灯故障识别方法，其特征在于：HOG特征提取，首先对检测区域计算图像水平方向和垂直方向的梯度值，然后计算像素点的梯度幅值和方向，将图像均匀地划分成多个cell，梯度方向分为9个bin，统计其梯度方向直方图，得到cell的HOG特征，最后，相邻的cell组成一个block，将block归一化得到block的HOG特征。