CN112686956A - 一种城市道路信号灯杆倾斜故障的检测方法 - Google Patents

Abstract

本发明公开了一种城市道路信号灯杆倾斜故障的检测方法。采用YOLOv3检测框架，完成从原始图像的输入到物体位置和类别的输出，通过对人工标注的图像进行训练，获取YOLOv3的检测模型。使用该模型对信号灯灯杆和人行横道线进行目标检测，对检测出的信号灯灯杆和人行横道线目标物区域进行灰度变换获取灰度图像，对灰度图像进行canny边缘检测，通过形态学处理进行区域连通，提取人行横道线和信号灯灯杆目标物的霍夫变换直线，对直线进行极坐标角度计算获取直线夹角，对人行横道线和信号灯灯杆的夹角判断是否超出合理阈值范围，据此判断是否存在倾斜现象。本发明可实时监测信号灯杆的倾斜状况，监测的倾斜角度超过阈值后及时报警，具有成本低、操作简单的优势。

Description

一种城市道路信号灯杆倾斜故障的检测方法

技术领域

本发明属于智能交通技术领域，涉及视频监控与图像处理技术的应用，具体涉及一种城市道路信号灯杆倾斜故障的检测方法。

背景技术

为了方便人车通行，城市道路的多数路口都安装有信号灯并设置了人行横道线，信号灯架设在灯杆上。有的路口空间跨度较大，为了方便驾驶人员观察信号灯状态，此时灯杆需要横跨多个车道。受外力(大风、大车、路面施工等)的影响，会发生灯杆倾斜甚至倾倒的可能性，因此需要监测灯杆是否倾斜。

目前，主要有三种监测方式：

(一)人工巡检，即人工直接去道路路口巡查或者通过视频监控巡检，这种方法依赖操作人员的观察和经验做判断，耗时耗力，无法有效管控实际效果，同时不能及时发现问题，容易引发重大交通安全隐患；

(二)通过角度传感器采集数据后进行分析判断，实践中采用安装倾角传感器感应倾斜偏差角度，结合微处理器和通信模块，通过倾角传感器对倾斜角度进行检测，当倾角数值超过角度阈值时产生报警，但该方法存在如下问题：

1、施工复杂，需要在信号灯杆上安装物理装置；

2、检测效果差，倾角传感器在灯杆上容易发生偏移影响检测效果；

3、检测范围窄，灯杆较长时，只能检测到安装位置附近，远距离位置无法检测；

(三)图像自动分析判断，目前业界主流方案是采用第三种图像分析检测方法，通过采集电子警察图片或者监控视频图像，分析识别信号灯盘位置的偏移来检测灯杆倾斜问题，先记录正常时信号灯盘位置，定时检测当前信号灯盘位置，然后根据中心坐标计算偏移像素，超过偏移阈值产生报警，但该方法也存在如下问题：

1、抗干扰性差，当图像采集设备晃动或图像采集设备发生偏移时，无法准确定位信号灯盘位置，影响检测；

2、操作复杂，检测需要先标定和记录正常位置数值，然后实时检测数值与标定的正常数值比对；

3、适应性差，信号灯横杆和竖杆倾斜检测方式不通用。

发明内容

针对上述基于现有信号灯灯杆倾斜检测技术方法中存在的问题，本发明提出一种城市道路信号灯杆倾斜故障的检测方法，通过信号灯路口的像机的实时图像或者图片进行信号灯杆和人行横道线的目标检测，对检测到的目标取霍夫直线，进行直线夹角数值计算，当检测角度数值变化超过报警阈值时产生倾斜报警，达到实时监测的效果，并提高工作效率，及时发现问题，以对信号灯杆进行扶正，避免影响交通和行人的安全出行。

为达到上述目的，本发明提出的技术方案为一种城市道路信号灯杆倾斜故障的检测方法，具体包含以下步骤：

(1)通过设置在城市道路路口的智能交通违章监摄管理系统(即电子警察)获取抓拍的样本图像，图像中包括信号灯灯杆和人行横道线；

(2)遍历上述每张样本图像，对图像做平滑处理，用矩形框对信号灯杆、人行横道线进行标记处理，获得对应的标签文件，标签文件和样本图片构成图像数据集，并将图像数据集按照一定比例划分为训练集和验证集；

(3)对图像数据集中的样本图像进行图像缩放，图像尺寸做统一调整，图像对应的标签文件做相同比例缩放，然后对训练集的数据用目标检测算法(YOLOv3)模型进行训练，利用验证集对训练产生的模型进行验证，获得最终的目标检测模型；

(4)对实时采集的图像按照步骤3中相同的图像平滑处理方式和图像尺寸及缩放方法进行缩放，输入到训练得到的目标检测算法模型输出信号灯杆、人行横道线的位置坐标，根据坐标从输入的原始检测图像中获取信号灯灯杆、人行横道线的图像区域；

(5)在平滑处理后的图像上进行灰度变换、边缘检测和形态学处理，获取信号灯灯杆、人行横道线目标物的清晰边缘；

(6)采用霍夫变换对目标物区域进行直线检测，获取信号灯灯杆的直线A和人行横道线的中间区域的直线B；

(7)对直线A和直线B进行极坐标角度计算，当计算出的夹角数值超出合理角度阈值则判定为疑似倾斜，倾斜异常计数累加；

(8)对多帧图像重复以上步骤计算夹角和判定倾斜结果，当倾斜异常计数超过计数阈值则上报倾斜报警。

作为优选，步骤2中将图像数据集按照大约4:1的比例划分训练集和验证集。

作为优选，步骤3中图像尺寸统一调整为416×416。

作为优选，步骤3中所述图像缩放采用双线性插值，系在两个方向分别进行一次线性插值，然后通过四个相邻像素插值得到待求像素。

作为优选，步骤2中所述图像平滑处理使用高斯滤波器平滑图像，滤除噪声。

步骤3中所述目标检测算法采用YOLOv3检测框架，并对YOLOv3算法网络结构进行修改，使修改后的YOLOv3算法网络结构只进行两类检测得到三种尺度的输出。

与现有技术相比，本发明的有益效果在于：

1、可以实时监测信号灯杆的倾斜状况，监测的倾斜角度超过阈值后及时报警，提醒运维人员及时解决，利用原有交通摄像机，不需要标定信号灯灯盘位置，无需安装外部装置，成本低，操作简单；

2、抗干扰性强，检测效果不受外力晃动或图像采集设备偏移影响；

3、量化倾斜角度数值，便于人工复核图像识别结果；

4、适应性强，适合信号灯横杆和竖杆的倾斜检测。

附图说明

图1是一个典型的信号灯路口示意图；

图2为本发明检测方案流程图；

图3为本发明目标检测流程图；

图4为本发明实施例的流程图。

具体实施方式

现结合附图对本发明的具体实施方式作进一步的说明。

图1所示为一个典型的信号灯路口的空间示意图。在图像目标检测中，基于深度学习的方法被证明优于传统检测方法。作为最佳实施方式，本发明的目标检测算法采用YOLOv3检测框架，完成从原始图像的输入到物体位置和类别的输出，通过对人工标注的图像进行训练，获取YOLOv3的检测模型，使用YOLOv3检测模型对信号灯灯杆和人行横道线进行目标检测，然后对检测出的信号灯灯杆和人行横道线目标物区域进行灰度变换获取灰度图像，对灰度图像进行canny边缘检测，然后通过形态学处理进行区域连通，提取人行横道线和信号灯灯杆目标物的霍夫变换直线，对直线进行极坐标角度计算获取直线夹角，对人行横道线和信号灯灯杆的夹角判断是否超出合理阈值范围，依据结果判断是否存在倾斜现象。

检测流程如图3和图4所示，具体包含以下步骤：

(1)通过城市道路路口已有的电子警察获取抓拍的样本图像，图像中包括信号灯灯杆和人行横道线；

(2)遍历每张样本图像，对图像做平滑处理，用矩形框对信号灯杆、人行横道线进行标记处理，获得对应的标签文件，标签文件和样本图片构成图像数据集，将图像数据集按照大约4:1的比例划分训练集和验证集；

(3)将图像数据集中样本图像进行图像缩放，图像尺寸统一调整为416×416，图像对应的标签文件做相同比例缩放，然后对训练集数据用YOLOv3模型进行训练，利用验证集对训练产生的模型进行验证，获得最终的目标检测模型；

(4)对实时采集的图像按照步骤(3)中相同的图像平滑处理方式和图像尺寸及缩放方法进行缩放，输入到训练得到的YOLOv3目标检测模型输出信号灯杆、人行横道线的位置坐标，根据坐标从输入的原始检测图像中获取信号灯灯杆、人行横道线的图像区域，见图3；

(5)在平滑处理后的图像上进行灰度变换、边缘检测和形态学处理，获取信号灯灯杆、人行横道线目标物的清晰边缘；

(6)采用霍夫变换对目标物区域进行直线检测，获取信号灯灯杆的直线A和人行横道线的中间区域的直线B；

(7)对直线A和直线B进行极坐标角度计算，当计算出的夹角数值超出合理角度阈值则判定为疑似倾斜，倾斜异常计数累加；

(8)对多帧图像重复以上步骤计算夹角和判定倾斜结果，当倾斜异常计数超过计数阈值则上报倾斜报警，见图4。

现对上述检测中涉及到的个别算法进行说明。

1、技术方案中，步骤(3)(4)图像缩放采用了双线性插值，在两个方向分别进行一次线性插值，通过四个相邻像素插值得到待求像素。已知Q11，Q12，Q21，Q22为原图中的四邻像素，P点为待求像素，双线性插值步骤：

(1)通过Q12，Q22线性插值得到R2，通过Q11，Q21线性插值得到R1；

其中，x1表示Q11的横向坐标值，x2表示Q21的横向坐标值，x表示插值点P的横向坐标值，f(Q11)表示像素点Q11的像素值，f(Q21)表示像素点Q21的像素值，f(Q12)表示像素点Q12的像素值，f(Q22)表示像素点Q22的像素值，f(R1)表示点R1的像素值，f(R2) 表示点R2的像素值；

(2)通过R1，R2线性插值得到P。

其中，y1表示Q11的纵向坐标值，y2表示Q21的纵向坐标值，y表示插值点P的纵向坐标值；

最终结果f(P)如下：

2、技术方案中，步骤(3)(4)使用了高斯滤波器平滑图像，滤除噪声。高斯平滑使用高斯滤波器与图像进行卷积，以减少明显的噪声影响，大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式如下：

3、技术方案中，步骤(3)的目标检测采用YOLOv3检测框架，YOLOv3通过调整网络结构、利用多尺度特征、用Logistic取代softmax的对象分类提升检测速度、降低背景误检率和满足通用性目标检测要求。原始YOLOv3算法通过下采样方式得到13×13 ×75、26×26×75和52×52×75三种尺度下的检测结果；其中，13、26和52代表下采样的三种尺度；75拆分为3×(4+1+20)，3代表每个尺度有3个检测box，4代表每个检测box的偏移信息，1代表每类检测识别率，20代表检测出20类目标；对YOLOv3 算法网络结构进行修改，使修改后的YOLOv3算法网络结构只进行两类检测，得到13× 13×21、26×26×21和52×52×21三种尺度的输出。

4、技术方案中，步骤(5)中的图像的灰度变换也被称为图像的点运算(针对图像的某一像素点)是所有图像处理技术中基本技术，其变换形式如下：

s＝T(r)

其中，T是灰度变换函数；r是变换前的灰度；s是变换后的像素。

5、技术方案中，步骤(5)图像的边缘检测采用Canny边缘检测，Canny边缘检测算法是一个多级边缘检测算法，算法实现步骤：

(1)对输入图像进行高斯平滑降低错误率。

(2)计算梯度幅度和方向来估计每一点处的边缘强度与方向。

Canny算法使用四个梯度算子来检测图像中的水平、垂直和对角边缘。边缘检测的算子返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向θ。

θ＝arctan(G_y/G_x)

其中G为梯度强度，θ表示梯度方向，arctan为反正切函数。

(3)根据梯度方向，对梯度幅值进行非极大值抑制。

非极大值抑制是一种边缘稀疏技术，非极大值抑制则可以将局部最大值之外的所有梯度值抑制为0，对梯度图像中每个像素进行非极大值抑制的算法是：

(a)将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。

(b)如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，

否则该像素点将被抑制。

(4)用双阈值处理和连接边缘。

6、技术方案中，步骤(5)包含的图像形态学处理是图像处理中应用最为广泛的技术之一，主要用于从图像中提取对表达和描绘区域形状有意义的图像分量，如边界和连通区域等。二值图像的基本形态学运算，包括腐蚀、膨胀、开和闭运算。

腐蚀就是求局部最小值的操作，消除物体边界点。腐蚀的表达式：

dst(x,y)＝min{src(Sx,Sy)}

膨胀就是求局部最大值的操作，消除高亮区域中的小黑洞和平滑高亮区域的边缘。膨胀的表达式：

dst(x,y)＝max{src(Sx,Sy)},src(Sx,Sy)！＝0

开运算是先腐蚀后膨胀的过程，除去孤立的小点，毛刺。其表达式如下：

dist＝open(src,element)＝dilate(erode(src,element))

闭运算是先膨胀后腐蚀的过程，填平小孔，弥合小裂缝。其表达式如下：

dist＝close(src,element)＝erode(dilate(src,element))

7、技术方案中，步骤(6)霍夫变换是图像处理中从图像中识别几何形状的基本方法之一，主要用来从图像中分离出具有某种相同特征的几何形状，基本的霍夫变换是从黑白图像中检测直线(线段)。

霍夫直线检测时，对于图像的直角坐标空间的某一个点(x0,y0)，经过该点的所有直线参数必须满足：

Y0＝mX0+b

其中m是斜率，b是截距。

当图像的边缘在直角坐标空间中为一条垂直于x轴的直线时，由于直线的斜率为正无穷，无法在直角霍夫空间中通过m表示出来，因此我们引入极坐标霍夫空间。直线在极坐标系中可以表示为：

ρ＝xcosθ+ysinθ

其中ρ为原点到直线的距离。

8、技术方案中步骤(6)极坐标是指在平面内取一个定点O，叫极点，引一条射线OX，叫做极轴，再选定一个长度单位和角度的正方向(通常取逆时针方向)。对于平面内任何一点M，用ρ表示线段OM的长度，θ表示从OX到OM的角度，ρ叫做点M的极径，θ叫做点M的极角，有序数对(ρ,θ)就叫点M的极坐标，通常情况下，M的极径坐标单位为1(长度单位)，极角坐标单位为rad。

图4是本发明的一个最优实施例的流程图，含以下步骤：

1、采集像机的一帧图像,转换成RGB格式，对图像平滑处理，降低噪声；

2、对处理后的图像缩放成416×416尺寸，输入到训练得到的YOLOv3目标检测模型中，输出信号灯灯杆、人行横道线的位置坐标，根据坐标和缩放尺寸与原始尺寸的比例关系，从原始图像中获取信号灯灯杆、人行横道线的图像区域；

3、在步骤1平滑处理后的图像上进行灰度变换、canny边缘检测和形态学处理完成区域连通，结合步骤2中获取的信号灯灯杆、人行横道线目标物区域，得到两个目标物的清晰边缘；

4、采用霍夫变换对目标物区域进行直线检测，获取信号灯灯杆的直线A；人行横道线是一组平行直线，选择人行横道线居中位置的直线B，如图1所示；

5、对直线A和直线B进行极坐标角度计算，当计算出的夹角数值超出合理角度阈值则判定为疑似倾斜，倾斜异常计数累加，否则倾斜异常计数清零；

6、对多帧图像重复步骤1-5，计算夹角和判定倾斜结果，当倾斜异常计数超过计数阈值则上报倾斜报警；

本发明提出的信号灯灯杆倾斜检测方法具有很多优点，不依赖于信号灯灯盘、不受采集设备偏移和晃动影响，抗干扰性强；检测利用的图像直接从原有交通摄像机中获取，无需单独部署图像采集设备；检测配置简单，不需要单独标定信号灯位置。

需要说明的是，本发明所提供的上述实施例仅具有示意性，不具有限定本发明的具体实施的范围的作用。本发明的保护范围应包括那些对于本领域的普通技术人员来说显而易见的变换或替代方案。

Claims (6)

1.一种城市道路信号灯杆倾斜故障的检测方法，其特征在于，具体包含以下步骤：

(1)通过设置在城市道路路口的智能交通违章监摄管理系统获取抓拍的样本图像，图像中包括信号灯灯杆和人行横道线；

(2)遍历上述每张样本图像，对图像做平滑处理，用矩形框对信号灯杆、人行横道线进行标记处理，获得对应的标签文件，标签文件和样本图片构成图像数据集，并将图像数据集按照一定比例划分为训练集和验证集；

(3)对图像数据集中的样本图像进行图像缩放，图像尺寸做统一调整，图像对应的标签文件做相同比例缩放，然后对训练集的数据用目标检测算法模型进行训练，利用验证集对训练产生的模型进行验证，获得最终的目标检测模型；

(4)对实时采集的图像按照步骤2中相同的图像平滑处理方式和步骤3中图像尺寸缩放方法进行缩放，输入到训练得到的目标检测算法模型输出信号灯杆、人行横道线的位置坐标，根据坐标从输入的原始检测图像中获取信号灯灯杆、人行横道线的图像区域；

(5)在平滑处理后的图像上进行灰度变换、边缘检测和形态学处理，获取信号灯灯杆、人行横道线目标物的清晰边缘；

(6)采用霍夫变换对目标物区域进行直线检测，获取信号灯灯杆的直线A和人行横道线的中间区域的直线B；

(7)对直线A和直线B进行极坐标角度计算，当计算出的夹角数值超出合理角度阈值则判定为疑似倾斜，倾斜异常计数累加；

(8)对多帧图像重复以上步骤计算夹角和判定倾斜结果，当倾斜异常计数超过计数阈值则上报倾斜报警。

2.根据权利要求1所述的城市道路信号灯杆倾斜故障的检测方法，其特征在于，步骤2中将图像数据集按照大约4:1的比例划分训练集和验证集。

3.根据权利要求1所述的城市道路信号灯杆倾斜故障的检测方法，其特征在于，步骤3中图像尺寸统一调整为416×416。

4.根据权利要求1所述的城市道路信号灯杆倾斜故障的检测方法，其特征在于，步骤3中所述图像缩放采用双线性插值，系在两个方向分别进行一次线性插值，然后通过四个相邻像素插值得到待求像素。

5.根据权利要求1所述的城市道路信号灯杆倾斜故障的检测方法，其特征在于，步骤3中所述图像平滑处理使用高斯滤波器平滑图像，滤除噪声。

6.根据权利要求1所述的城市道路信号灯杆倾斜故障的检测方法，其特征在于，步骤3中所述目标检测算法采用YOLOv3检测框架，并对YOLOv3算法网络结构进行修改，使修改后的YOLOv3算法网络结构只进行两类检测得到三种尺度的输出。

Images