CN105894504A - 基于图像的井盖缺失检测方法 - Google Patents

Abstract

一种基于图像的井盖缺失检测方法，利用现有公共监控视频数据，针对视觉场景二维图像，利用边缘检测、轮廓跟踪、椭圆拟合等技术，结合场景和缺失井盖的先验信息分别选定备选区域，筛选两个区域的交集作为边缘轮廓提取的图像，再对筛选出的区域先后应用边缘检测和轮廓跟踪技术，得到缺失井盖轮廓的潜在集合，应用尺寸约束剔除部分误目标，应用正则化椭圆拟合方法，确定缺失井盖的位置。本发明缩小了井盖目标的搜索范围，在搜索井盖位置的同时判断是否存在井盖缺失，省略了井盖定位步骤，节省了轮廓搜索所需的大量时间，并且对井盖定位的精确度不做要求，可以实现快速定位。

Description

基于图像的井盖缺失检测方法

技术领域

本发明涉及一种基于图像的井盖缺失检测方法。

背景技术

伴随城市的发展，在现代城市建设中存在大量的地下管道，比如下水道、地下煤气与天然气管道、自来水管道、电力管道、通讯管道、国防管道等，相对应的就出现了大量井盖。近年来，全国范围内井盖所造成的各类伤人、损车事件频发，严重影响了市民的出行安全，造成不良的社会影响，已引起各地政府及市政设施管理部门的高度重视。如何加强和改善市政井盖管理成为困扰全国各地市政设施管理部门的一个难点、热点问题，而如何在现有设备上更便捷的对井盖进行监测更是要解决的核心问题。

已有井盖缺失检测应用的技术可分为两大类：(1)利用非图像传感器的井盖缺失检测。该类方法主要依靠红外线、位移检测传感器、无线传感器技术等对井盖进行实时监测，确定井盖的缺失与否，还有部分井盖本身设计中即具备防盗或报警的装置；(2)基于图像处理技术的井盖缺失检测。该类方法是采集井盖的二维或三维图像信息，根据图像的各类参数和几何特征、灰度特征等对井盖进行缺失识别。

第一类井盖检测方法需在井盖附近安装相关设备。而第二类井盖检测方法可以借助已有公共视频监控数据，应用图像处理技术实现。目前已有的基于图像处理的方法均是先定位所有的井盖，进而再判断是否存在井盖缺失。

发明内容

本发明提供一种基于图像的井盖缺失检测方法，利用边缘检测、轮廓跟踪和正则化椭圆拟合等方法实施井盖缺失检测，结合井盖的形状先验信息、场景先验信息和尺寸先验信息等信息来缩小井盖目标的搜索范围，在搜索井盖位置的同时判断是否存在井盖缺失，省略了井盖定位步骤，节省了轮廓搜索所需的大量时间，并且对井盖定位的精确度不做要求，可以实现快速定位。

为了达到上述目的，本发明提供一种基于图像的井盖缺失检测方法，包含以下步骤：

步骤S1、提取视觉场景二维图像I；

步骤S2、利用缺失井盖的灰度先验信息获取第一图像备选区域R1，并利用全局显著性获取第二图像备选区域R2；

步骤S3、获取第一图像备选区域R1和第二图像备选区域R2的交集图像区域R，R＝R1∩R2；

步骤S4、对交集图像区域R进行边缘检测和形态学滤波，获得边缘检测图；

步骤S5、利用轮廓跟踪技术，获得边缘轮廓集合CO；

步骤S6、利用井盖区域的尺寸约束条件，剔除干扰轮廓，获得待测边缘轮廓集C；

步骤S7、采用正则化椭圆拟合方法对待测边缘轮廓集C进行数据拟合，获得待选井盖区域轮廓集E；

步骤S8、利用待选井盖区域轮廓集E的灰度图方差进行阈值筛选，最终确定缺失井盖的位置。

所述的步骤S1中，视觉场景二维图像I来自于现有的公共监控视频数据。

所述的步骤S2中，利用缺失井盖的灰度先验信息获取第一图像备选区域R1的步骤具体包含以下步骤：

步骤S201、将场景图像由颜色图像转换为灰度图像；

视觉场景二维图像I的灰度图为Gray，尺寸为m×n；

步骤S202、利用高斯滤波对灰度图像进行去噪处理；

高斯滤波器的空域模板为G，滤波后图像为：其中表示空间域卷积和运算；

步骤S203、利用缺失井盖的灰度先验信息设定灰度阈值th_black，获得第一图像备选区域R1；

$R1=\left\{\begin{array}{c}1,\mathrm{Im}g<{\mathrm{th}}_{black}\\ 0,\mathrm{Im}g\&GreaterEqual;{\mathrm{th}}_{black}\end{array}\right..$

所述的步骤S2中，利用全局显著性获取第二图像备选区域R2的步骤具体包含以下步骤：

步骤S211、利用高斯滤波对视觉场景二维图像I进行去噪处理；

步骤S212、提取视觉场景二维图像I在CIElab颜色空间的亮度L和两个颜色特征a和b：

$\stackrel{\&OverBar;}{L}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}L(i,j)$

$\stackrel{\&OverBar;}{a}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}a(i,j)$

$\stackrel{\&OverBar;}{b}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}b(i,j)$

其中，i和j分别表示颜色空间中图像的横纵坐标；

步骤S213、利用亮度和颜色特征计算视觉场景二维图像的全局显著性图：

$Sm=\left|\right|L-\stackrel{\&OverBar;}{L}\left|\right|+\left|\right|a-\stackrel{\&OverBar;}{a}\left|\right|+\left|\right|b-\stackrel{\&OverBar;}{b}\left|\right|$

步骤S214、对全局显著性图进行二值化，获得第二图像备选区域R2：

其中，th是将显著图变为二值化图的阈值。

所述的步骤S4中，应用Canny算子对交集图像区域R进行边缘检测。

所述的步骤S6中，井盖区域的尺寸约束条件为w≤0.01×m和h≤0.05×n，其中，h为轮廓所在区域的外接矩形长度，w为轮廓所在区域的外接矩形宽度，符合尺寸约束条件的轮廓被认定为干扰轮廓。

所述的步骤S8中，所述的阈值为归一化方差，取值范围是0-0.5，小于阈值的轮廓被认定为缺失井盖。

本发明利用边缘检测、轮廓跟踪和正则化椭圆拟合等方法实施井盖缺失检测，结合井盖的形状先验信息、场景先验信息和尺寸先验信息等信息来缩小井盖目标的搜索范围，在搜索井盖位置的同时判断是否存在井盖缺失，省略了井盖定位步骤，节省了轮廓搜索所需的大量时间，并且对井盖定位的精确度不做要求，可以实现快速定位。本发明可应用于市政自来水、天然气、通讯等圆形井盖的监测，利用现有公共监控视频数据，监测结果可用于预警和维护等，对市政井盖管理具有重要意义。

附图说明

图1是本发明提供的一种基于图像的井盖缺失检测方法的流程图。

具体实施方式

以下根据图1具体说明本发明的较佳实施例。

如图1所示，本发明提供一种基于图像的井盖缺失检测方法，包含以下步骤：

步骤S1、提取视觉场景二维图像I；

步骤S2、利用缺失井盖的灰度先验信息获取第一图像备选区域R1，并利用全局显著性获取第二图像备选区域R2；

步骤S3、获取第一图像备选区域R1和第二图像备选区域R2的交集图像区域R，R＝R1∩R2；

步骤S4、对交集图像区域R进行边缘检测和形态学滤波，获得边缘检测图；

步骤S5、利用轮廓跟踪技术，获得边缘轮廓集合CO；

步骤S6、利用井盖区域的尺寸约束条件，剔除干扰轮廓，获得待测边缘轮廓集C；

步骤S7、采用正则化椭圆拟合方法对待测边缘轮廓集C进行数据拟合，获得待选井盖区域轮廓集E；

步骤S8、利用待选井盖区域轮廓集E的灰度图方差进行阈值筛选，最终确定缺失井盖的位置。

所述的步骤S1中，视觉场景二维图像I来自于现有的公共监控视频数据。

所述的步骤S2中，利用缺失井盖的灰度先验信息获取第一图像备选区域R1的步骤具体包含以下步骤：

步骤S201、将场景图像由颜色图像转换为灰度图像；

视觉场景二维图像I的灰度图为Gray，尺寸为m×n；

步骤S202、利用高斯滤波对灰度图像进行去噪处理；

高斯滤波器的空域模板为G，滤波后图像为：其中表示空间域卷积和运算；

步骤S203、利用缺失井盖的灰度先验信息设定阈值，获得第一图像备选区域R1；

一般的，缺失井盖区域在图像整体中，其亮度和轮廓等特征相对突出，且一般为偏黑色，设定灰度阈值th_black的数值为100，获得第一图像备选区域R1：

$R1=\left\{\begin{array}{c}1,\mathrm{Im}g<{\mathrm{th}}_{black}\\ 0,\mathrm{Im}g\&GreaterEqual;{\mathrm{th}}_{black}\end{array}\right..$

所述的步骤S2中，利用全局显著性获取第二图像备选区域R2的步骤具体包含以下步骤：

步骤S211、利用高斯滤波对视觉场景二维图像I进行去噪处理；

步骤S212、提取视觉场景二维图像I在CIElab颜色空间的L和两个颜色特征a和b：

$\stackrel{\&OverBar;}{L}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}L(i,j)$

$\stackrel{\&OverBar;}{a}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}a(i,j)$

$\stackrel{\&OverBar;}{b}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}b(i,j)$

其中，i和j分别表示颜色空间中图像的横纵坐标；

步骤S213、利用亮度和颜色特征计算视觉场景二维图像的全局显著性图：

$Sm=\left|\right|L-\stackrel{\&OverBar;}{L}\left|\right|+\left|\right|a-\stackrel{\&OverBar;}{a}\left|\right|+\left|\right|b-\stackrel{\&OverBar;}{b}\left|\right|$

步骤S214、对全局显著性图进行二值化，获得第二图像备选区域R2：

其中，th是将显著图变为二值化图的阈值，取值为0.1。

所述的步骤S4中，应用Canny算子对交集图像区域R进行边缘检测，提取交集图像区域R的边缘检测图，然后进行形态学滤波以连接断开的边缘。

所述的步骤S5中，边缘轮廓集合{CO_k,k＝1,…K}，其中K是轮廓个数。由于本发明利用了场景和缺失井盖的先验信息，提取了图像备选区域，因此该轮廓数量比直接对原图应用边缘检测提取的轮廓数少，可缩小搜索范围。

所述的步骤S6中，设定轮廓所在区域的外接矩形长为h，其宽为w，如果同时符合条件w≤0.01×m和h≤0.05×n，则认为该类轮廓是噪声，对其进行剔除，去除杂波干扰，得到筛选后的轮廓集{C_p,p＝1,…P}，其中P是轮廓个数。

所述的步骤S7中，采用正则化椭圆拟合方法对待测边缘轮廓集C进行数据拟合的步骤具体包含以下步骤：

步骤S701、计算轮廓集C_p的二维坐标均值和方差矩阵Σ，并对该矩阵进行Cholskey分解，得到Σ＝KK^T，正则化变换矩阵为L＝K^-1；

步骤S702、利用正则化变换矩阵L对轮廓集C_p中的二维点坐标进行线性正则化变换(对轮廓集C_p中的所有点坐标都做线性正则变换)，并计算数据集合的自相关矩阵R；

步骤S703、定义矩阵计算自相关矩阵R和矩阵D的最小广义特征值对应的广义特征矢量θ，得到椭圆参数矢量其中，L_D由数据点均值矢量和正则化变换矩阵L确定；

步骤S704、利用步骤S701～步骤S703所述的正则化椭圆拟合方法对轮廓集C_p中的所有轮廓保留拟合成功的轮廓，确定其在原图中的位置，构成待选井盖区域轮廓集{E_q,q＝1,…Q}，其中Q是轮廓个数。

所述的步骤S8中，为了进一步排除非缺失井盖的情况，计算待选井盖区域轮廓集E的灰度图，统计其轮廓内的灰度图方差，当灰度图方差低于阈值(该阈值为归一化方差，取值范围是0-0.5)时认为是缺失井盖，否则作为干扰区域。

本发明利用现有公共监控视频数据，针对视觉场景二维图像，利用边缘检测、轮廓跟踪、椭圆拟合等技术，结合场景和缺失井盖的先验信息，即缺失井盖的灰度偏向黑色以及在整个场景中比较显著，因此依据二者分别选定备选区域，且进一步筛选两个区域的交集，作为边缘轮廓提取的图像，即利用先验信息缩小井盖目标搜索的范围。再对筛选出的区域先后应用边缘检测和轮廓跟踪技术，得到缺失井盖轮廓的潜在集合，再应用尺寸约束剔除部分误目标，最后应用正则化椭圆拟合方法，确定缺失井盖的位置。

本发明并不是先检测所有井盖位置，然后再判别是否缺失，而是利用各类先验条件，将定位与判断缺失融合为整体进行，利用边缘检测、轮廓跟踪和正则化椭圆拟合等方法实施井盖缺失检测，结合井盖的形状先验信息、场景先验信息和尺寸先验信息等信息来缩小井盖目标的搜索范围，在搜索井盖位置的同时判断是否存在井盖缺失，省略了井盖定位步骤，节省了轮廓搜索所需的大量时间，并且对井盖定位的精确度不做要求，可以实现快速定位。本发明可应用于市政自来水、天然气、通讯等圆形井盖的监测，利用现有公共监控视频数据，监测结果可用于预警和维护等，对市政井盖管理具有重要意义。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种基于图像的井盖缺失检测方法，其特征在于，包含以下步骤：

步骤S1、提取视觉场景二维图像I；

步骤S2、利用缺失井盖的灰度先验信息获取第一图像备选区域R1，并利用全局显著性获取第二图像备选区域R2；

步骤S3、获取第一图像备选区域R1和第二图像备选区域R2的交集图像区域R，R＝R1∩R2；

步骤S4、对交集图像区域R进行边缘检测和形态学滤波，获得边缘检测图；

步骤S5、利用轮廓跟踪技术，获得边缘轮廓集合CO；

步骤S6、利用井盖区域的尺寸约束条件，剔除干扰轮廓，获得待测边缘轮廓集C；

步骤S7、采用正则化椭圆拟合方法对待测边缘轮廓集C进行数据拟合，获得待选井盖区域轮廓集E；

步骤S8、利用待选井盖区域轮廓集E的灰度图方差进行阈值筛选，最终确定缺失井盖的位置。

2.如权利要求1所述的基于图像的井盖缺失检测方法，其特征在于，所述的步骤S1中，视觉场景二维图像I来自于现有的公共监控视频数据。

3.如权利要求1所述的基于图像的井盖缺失检测方法，其特征在于，所述的步骤S2中，利用缺失井盖的灰度先验信息获取第一图像备选区域R1的步骤具体包含以下步骤：

步骤S201、将场景图像由颜色图像转换为灰度图像；

视觉场景二维图像I的灰度图为Gray，尺寸为m×n；

步骤S202、利用高斯滤波对灰度图像进行去噪处理；

高斯滤波器的空域模板为G，滤波后图像为：其中表示空间域卷积和运算；

步骤S203、利用缺失井盖的灰度先验信息设定灰度阈值th_black，获得第一图像备选区域R1；

$R1=\left\{\begin{array}{c}1,\mathrm{Im}g<{\mathrm{th}}_{black}\\ 0,\mathrm{Im}g\&GreaterEqual;{\mathrm{th}}_{black}\end{array}\right..$

4.如权利要求1所述的基于图像的井盖缺失检测方法，其特征在于，所述的步骤S2中，利用全局显著性获取第二图像备选区域R2的步骤具体包含以下步骤：

步骤S211、利用高斯滤波对视觉场景二维图像I进行去噪处理；

步骤S212、提取视觉场景二维图像I在CIElab颜色空间的亮度L和两个颜色特征a和b：

$\stackrel{\&OverBar;}{L}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}L(i,j)$

$\stackrel{\&OverBar;}{a}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}a(i,j)$

$\stackrel{\&OverBar;}{b}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}b(i,j)$

其中，i和j分别表示颜色空间中图像的横纵坐标；

步骤S213、利用亮度和颜色特征计算视觉场景二维图像的全局显著性图：

$Sm=\left|\right|L-\stackrel{\&OverBar;}{L}\left|\right|+\left|\right|a-\stackrel{\&OverBar;}{a}\left|\right|+\left|\right|b-\stackrel{\&OverBar;}{b}\left|\right|$

步骤S214、对全局显著性图进行二值化，获得第二图像备选区域R2：其中，th是将显著图变为二值化图的阈值。

5.如权利要求1所述的基于图像的井盖缺失检测方法，其特征在于，所述的步骤S4中，应用Canny算子对交集图像区域R进行边缘检测。

6.如权利要求1所述的基于图像的井盖缺失检测方法，其特征在于，所述的步骤S6中，井盖区域的尺寸约束条件为w≤0.01×m和h≤0.05×n，其中，h为轮廓所在区域的外接矩形长度，w为轮廓所在区域的外接矩形宽度，符合尺寸约束条件的轮廓被认定为干扰轮廓。

7.如权利要求1所述的基于图像的井盖缺失检测方法，其特征在于，所述的步骤S8中，所述的阈值为归一化方差，取值范围是0-0.5，小于阈值的轮廓被认定为缺失井盖。