CN115841449B - 排水管道结构性缺陷纵向定位的单目测距方法及存储介质 - Google Patents

Abstract

本发明公开了一种排水管道结构性缺陷纵向定位的单目测距方法及存储介质，该方法利用CCTV检测机器人录制管道内部高清影像并对缺陷与管道接口进行检测，通过提取缺陷质心坐标以及管道接口圆心坐标，克服传统人工判读距离方式存在的不足，自动获取准确的管道缺陷纵向距离，通过检测影像处理，基于管道内径尺寸、小孔成像原理，建立缺陷与其成像之间的投影关系模型以及测距模型。该方法得到的距离位置精度良好，且稳定可靠，实现了检测机器人至管道缺陷之间纵向距离及位置的准确获取，较大提高了缺陷空间定位的精度。

Description

排水管道结构性缺陷纵向定位的单目测距方法及存储介质

技术领域

本发明涉及CCTV排水管道缺陷智慧化检测方法，具体涉及一种排水管道结构性缺陷纵向定位的单目测距方法及存储介质。

背景技术

排水管网是重要的市政基础设施之一，具有收集城市生活污水与各类工业生产废水和及时排出城区雨水的双重功能，它是保障城市公共卫生安全、控制水体污染和排洪防涝的基础工程，是保证城市正常运转的重要生命线。住房和城乡建设部、生态环境部、国家发展和改革委员会印发的相关文件明确要求按照设施权属及运行维护职责分工，全面排查污水管网等设施功能状况、错接混接等基本情况及用户接入情况。实现管网信息化、账册化管理。落实排水管网周期性检测评估制度，结合城市黑臭水体治理、水环境提升治理对城市建成区污水管网进行全面系统深入排查相关工作要求等为排水管道缺陷检测工作的开展提供了政策依据。也进一步凸显了其相关研究工作的必要性和紧迫性。

CCTV(Closed Circuit Television，闭路电视)检测技术因其安装成本低、成本效益高和便于收集管道图像等优点而被作为发展中国家和发达国家的主流排水管道检查手段。定期普查排水管道，以缺陷评估等级和管道评估状况来修复管道，对于现代城市来说是必需的。传统判读方式高度依赖于判读人员的专业知识和作业经验，长时间反复观看录像导致判读人员过度疲劳，使得判读结果不准确。伴随着机器视觉的不断发展与成熟，许多学者将数字图像处理与CCTV检测技术相结合，实现了排水管道缺陷自动检测与分类，该类方法可以大致分为传统边缘检测法、基于形态学运算法和机器学习法等，这些方法的主要特点包括:

(1)传统边缘检测法

传统边缘检测方法利用Sobel和Canny等常见边缘检测算子实现缺陷检测，如：利用简单的边缘检测和阈值分割手段实现了早期排水管道缺陷自动检测；利用直方图匹配、直方图均衡化和帧间差分等方法准确提取缺陷、自动评估管道状况；利用Sobel边缘检测算子和形态学滤波填充目标获取目标特征，在水平和垂直方向计算物体宽度生成评价矩阵，使用逻辑运算判断裂缝朝向的自动化检测裂缝算法DEE；等等。

然而，此类初级方法往往会在复杂多变的管道环境中失效。现如今，这些操作大多数被用于排水管道检测图像预处理。

(2)基于形态学运算法

近些年来，许多学者在边缘检测基础上，利用形态学运算检测与分类缺陷，取得了不错的进展。如：能有效提高裂缝分割的质量的基于边缘检测的形态学分割(MSED)，其利用Sobel滤波、区域增长与合并等手段填补分割后缺陷的空洞；采用Sobel算子实现边缘定向分离，利用裂缝先验信息和Hough变换去除图像上文本信息，利用形态学闭运算填充缺陷边缘之间的空隙，然后比较邻近边缘像素的距离和角度，最后利用形态学腐蚀和已知视觉特征去噪，获取清晰的裂缝图像的自动检测裂缝算法；利用形态学顶帽操作和对比度拉伸增强图像，然后对行方向补零放大原图确定二值化阈值，最后通过一系列形态学运算将具有一定长宽比的目标提取出来分类为裂缝；等等。

然而，在不同的排水管道检测环境中，该类方法中一些参数的确定依赖人工经验。

(3)机器学习法

随着大数据时代的到来，机器学习乃至深度学习被应用于排水管道缺陷自动检测与分类，该类方法依据分类器被分为：RF、SVM和CNN。尽管缺陷可通过智能化检测与分类，但其纵向位置仍由人工估计，导致整个智能化流程检测效率停滞不前。管道缺陷至检查井的纵向距离主要由检查井至CCTV检测机器人之间距离、机器人至缺陷之间距离两部分构成。其中，检查井至机器人之间距离由检测机器人计米器获取纵向距离，对于机器人至缺陷之间距离(也可称之为“缺陷纵向距离修正值”)，目前传统模式还是依赖于作业人员依据观看检测视频主观估测，效率和精度均无法评估，因此如何自动化获取准确的缺陷纵向距离修正值已成为基于图像处理的CCTV排水管道缺陷智慧化检测中亟待解决的问题。

单目测距是从单张相片中提取深度信息，以解决缺陷纵向距离修正值问题，测距原理主要分为基于坐标转换关系和基于已知特征尺寸的几何推导等，包括：

(1)基于坐标转换关系的测距法，该方法通常假设目标位于某一水平面或者相机旋转角固定，通过转换关系获取目标的三维空间坐标，从而实现目标测距。然而在实际环境中，管道缺陷不只固定存在于管道某一部位，操作人员也可能无法获得相机旋转角等信息，因此该类方法并不适用于排水管道缺陷纵向距离修正值的自动化获取。

(2)基于已知特征尺寸的测距法根据成像模型推导目标尺寸像素值与距离之间的比例关系，从而获得目标与相机之间的距离，但该类方法应用时存在着诸多不足，例如，有些需知目标特征尺寸，所以无法用于未知目标测距；有些只适用于管道底部淤积物或者管道焊缝测量等等。

发明内容

本发明针对传统缺陷纵向位置获取方法的不足，将缺陷质心和管道接口圆心作为特征点，以管径尺寸为特征尺寸，提供一种排水管道结构性缺陷纵向定位的单目测距方法及存储介质。

本发明方法的基本构思包括：首先利用小孔成像原理，根据缺陷与其成像之间的投影关系建立小孔成像模型；然后对单帧影像进行图像处理，提取缺陷质心和管道接口圆心，利用小孔成像模型计算两者之间的图像距离，并依据管径尺寸和缺陷到圆心的距离之间的比例关系，建立测距模型；最后利用管径尺寸和相机参数，对测距原理进行实验验证。

本发明的技术方案为：

一种排水管道结构性缺陷纵向定位的单目测距方法，包括以下步骤：

第一步，排水管道CCTV检测成像

CCTV检测机器人依靠自身光源，照亮管道内部并录制高清影像；

结构性缺陷的缺陷点A(X_w，Y_w，Z_w)过投影中心成像为a(u,v)，定义为：

式中：f表示相机焦距，单位为mm；dx,dy表示成像平面单个像素的实际尺寸，单位为mm，通常情况下两者并不相等。(u₀，v₀)表示像平面坐标系原点Oc的像素坐标。R、T分别表示相机外参中的旋转矩阵和平移矩阵，M₁表示相机内参矩阵，M₂表示相机外参矩阵。通过解求式(1)标定相机可确定相机的内外参数。

第二步，缺陷与管道接口的检测

2.1缺陷检测

从检测影像中抽取单帧缺陷图像，利用加权灰度法将RGB图像转为灰度图。结合中值滤波和高斯滤波去除视频录制和传输过程中产生的椒盐噪声和高斯噪声。利用三段线性变换和模糊变换提高缺陷对比度。利用大津法阈值分割和形态学运算获得感兴趣区，缩小处理范围。利用连通域分析，以面积为特征从大量连通域中提取缺陷，包括：

(1)模糊变换并获取缺陷的感兴趣区

原始灰度f(x,y)被三段线性变换为g(x,y)后，模糊化g(x,y)为隶属度m，人工选取模糊参数为0.27，0.5，0.72，调整不同范围内的隶属度，最后去模糊得到变换后灰度值p(x,y)，模糊规则如下：

其中，m＝g(x,y)/255。

大津法二值化增强后图像，将二值图的形态学闭运算结果与二值图做差，去除二值图中心至底部的大面积无用区域。利用形态学膨胀填充差集缺陷内部的细小孔洞，获取感兴趣区。

(2)形态学区域填充

构建与原图A等大的空白图像C，以原图像A的补集为掩膜M，利用形态学膨胀连续填充C，掩膜M与膨胀结果的交集就是缺陷孔洞填充结果，定义为：

其中，F表示缺陷孔洞填充结果，表示形态学膨胀运算，S₁表示椭圆形状，3×3大小的结构元素，∩表示取交运算。

(3)8邻域连通域分析

在大小为M×N的二值图中，用v(i，j)表示位于坐标(i，j)的像素值，其中0≤i≤M-1，0≤j≤N-1。

任意像素点v(i，j)的8邻域包括紧邻和斜向相邻的其上、下、左、右、左上、右上、左下和右下位置的共8个方向，定义为：

N8(v)＝v1∪v2∪v3∪…∪v8 (4)

8邻域连通域分析遍历二值图，赋予8邻域连通像素块唯一的标记值，定义为：

D＝A×N8(v) (5)

其中，D表示符合8邻域条件的连通域，标记值唯一；A表示二值图。

8邻域连通域分析后，根据标记值获取连通域面积，以面积为特征从大量连通域中分类出缺陷，提取缺陷质心坐标。

2.2图像质量评估

对比模糊增强后图像F与三段线性变换图像T，定义亮度相似度和对比度相似度为指标：

Q＝L·C (9)

其中，L∈[0，1]，表示两幅图像的亮度相似度；C∈[0，1]，表示两幅图像的对比度相似度。L和C越接近1，增强后图像的亮度相似度和对比度相似度就越高，图像质量也越高。

2.3缺陷检测准确度评估

与人工判读的结果相比，以完整度Compl、正确性Corr和质量Qlty来评估缺陷检测算法性能，定义为：

Compl＝(S∩M)/M (10)

Corr＝(S∩M)/S (11)

Qlty＝(Compl·Corr)/(Compl-Compl·Corr+Corr) (12)

其中，S表示缺陷检测结果；M表示人工判读真实结果，“·”表示相乘。

2.4管道接口检测

在中值滤波和自适应二值化后，利用基于边缘检测的霍夫梯度法检测管道接口，获取管道接口圆心坐标。利用大津法二值化获取Canny算子阈值参数，二值图中任意一点为潜在圆上一点，该点的笛卡尔坐标表示为：

(x-a)²+(y-b)²＝r². (14)

其中，x，y代表图像中某像素点坐标，a，b，r表示其霍夫空间坐标。

确定Canny梯度方向后，沿着梯度方向遍历Canny边缘检测后的非零像素，当点在线上时，增加累加器并排序，设定阈值获得可能的圆心。

调整a∈[a_min，a_max]与b∈[b_min，b_max]的取值，计算相应半径r∈[r_min，r_max]，然后增加累加器，当累加器取最大值时，通过Eqx获取管道接口圆心坐标：

S(a，b，r)＝S(a，b，r)+1 (15)

其中，S(a，b，r)表示累加器。

第三步，结构性缺陷纵向测距

作业人员遵守《城镇排水管道检测与评估技术规程》作业，时刻观察显示屏，微调机器人控制CCTV摄像头移动轨迹在管道中轴线上，移动轨迹偏离度不大于管径尺寸的10％，使管道接口成像保持居中。根据小孔成像模型，单帧图像中管道内壁任意一点在像平面上的投影点具有唯一性；另一方面，实际环境中管道接口圆心位于管道中轴线上，相机高度与管径尺寸大小的不一致导致管道接口圆心成像并非严格居中，使得单帧影像中不同位置上的管道接口圆心像点不具有唯一性。

根据上述特点建立缺陷物点与像点之间的映射关系，包括：

(1)以相机光心为原点，以正直摄影方向为Z轴正方向，根据右手法则建立像空间坐标系O-XcYcZc；

(2)沿着正直摄影方向，与像空间坐标系原点距离f处，存在像平面坐标系b-xy；然后，以管道接口圆心为极点，与像空间坐标系Xc轴平行的射线为极轴，管道半径r为极径，建立极坐标系，以管道半径为特征尺寸表示缺陷坐标(r，θ)；

(3)以管道接口圆心近似管道中轴线成像，计算管道接口圆心与缺陷质心的图像距离，该图像距离对应于实际环境中缺陷到管道中轴线的距离——管道半径r，依据缺陷像点坐标和缺陷纵向距离修正值之间的比例关系建立基于管径尺寸的缺陷测距模型。

沿着正直摄影方向，将像空间坐标系投影至管道接口平面，获得包含缺陷和管道接口圆心的像空间坐标系B-XcYcZc，B表示像空间坐标系原点，C(Xc,Yc,Zc)表示管道接口圆心像空间坐标，A(X,Y,Z)表示缺陷点像空间坐标；相应的，在像平面坐标系b-xy中，b表示像平面坐标系原点，c(x_c,y_c)表示管道接口圆心的像点坐标，a(x,y)表示缺陷像点坐标。

当极坐标原点位于管道接口圆心时，以管径为特征尺寸表示缺陷和管道接口圆心的像空间坐标：

式中，l₁表示缺陷质心与管道接口圆心的横坐标增量，l₂表示缺陷质心与管道接口圆心的纵坐标增量。

当正直摄影方向与管道中轴线方向平行时：

同时，根据几何比例关系，联立缺陷和圆心的像空间坐标：

式(13)与式(14)左右两边相减得到：

等式左右平方后相加：

代入像平面坐标系与框标坐标系的转换关系式(1)，式(21)可表达为：

式中，(u，v)表示像点a的框标坐标；(u_c，v_c)表示管道接口圆心c的框标坐标；C_x＝1/f_x，C_y＝1/f_y，f_x、f_y分别表示横纵方向上的相机有效焦距，以mm为单位；L表示缺陷纵向距离修正值，以m为单位；r表示管道半径，以mm为单位。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明的排水管道结构性缺陷纵向定位的单目测距方法的步骤。

本发明的有益效果：

本发明的方法利用CCTV检测机器人录制管道内部高清影像并对缺陷与管道接口进行检测，通过提取缺陷质心坐标以及管道接口圆心坐标，克服传统人工判读距离方式存在的不足，能够自动获取准确的管道缺陷纵向距离。该方法得到的距离位置精度良好，且稳定可靠，实现了检测机器人至管道缺陷之间纵向距离及位置的准确获取，较大提高了缺陷空间定位的精度。此外，本发明对不同的缺陷类型，测距模型精度稳定，性能较好，可被用于实际工程，能满足雨污分流改造、水环境提升治理、黑臭水体治理等工程实施的资料要求，对目前正在实施“资源节约型社会、环境友好型社会”建设提供了坚强的数据支持。

附图说明

图1：本发明的单目测距方法的检测流程图。

图2：8邻域像素点示意图。

图3：8邻域连通域示意图。

图4：管道接口示意图，其中：a表示完好的管道接口原图、c-g表示管道接口原图的局部放大图、b中的圆环表示管道接口。

图5：霍夫空间示意图。

图6：遍历非零像素示意图。

图7：基于管径尺寸的单目测距模型。

图8：缺陷点和管道接口圆心关系图。

图9：较为常见的排水管道结构性缺陷，其中：编号a-h表示缺陷类型，分别表示腐蚀、渗漏、支管暗接、错口、破裂、接口材料脱落、脱节和异物穿入。

图10：缺陷与管道接口图。其中：编号a-h分别表示缺陷类型为腐蚀、渗漏、支管暗接、错口、破裂、接口材料脱落、脱节和异物穿入(图中白色方框内的部分可见缺陷、黑色区域表示背景)。

图11：不同缺陷检测算法结果，其中：编号a-h表示缺陷类型并分别对应腐蚀、渗漏、支管暗接、错口、破裂、接口材料脱落、脱节和异物穿入；编号a-h后的数字1-4分别表示OTHO、CBHO、MSED和本发明的算法的结果；图中白色方框内表示缺陷，白色圆环表示管道接口，黑色区域表示背景。

图12：不同缺陷检测算法性能对比图。

图13：激光测距与本发明的测距模型结果比较图。

图14：6类不同缺陷的通过本发明的测距结果比较图。

具体实施方式

如图1所示，一种排水管道结构性缺陷纵向定位的单目测距方法，包括以下步骤：

第一步，排水管道CCTV检测成像

CCTV检测机器人依靠自身光源，照亮管道内部并录制高清影像；

结构性缺陷的缺陷点A(X_w，Y_w，Z_w)过投影中心成像为a(u,v)，定义为：

式中：f表示相机焦距，单位为mm；dx,dy表示成像平面单个像素的实际尺寸，单位为mm，通常情况下两者并不相等。(u₀，v₀)表示像平面坐标系原点Oc的像素坐标。R、T分别表示相机外参中的旋转矩阵和平移矩阵，M₁表示相机内参矩阵，M₂表示相机外参矩阵。通过解求式(1)标定相机可确定相机的内外参数。

第二步，缺陷与管道接口的检测

2.1缺陷检测

从检测影像中抽取单帧缺陷图像，利用加权灰度法将RGB图像转为灰度图。结合中值滤波和高斯滤波去除视频录制和传输过程中产生的椒盐噪声和高斯噪声。利用三段线性变换和模糊变换提高缺陷对比度。利用大津法阈值分割和形态学运算获得感兴趣区，缩小处理范围。利用连通域分析，以面积为特征从大量连通域中提取缺陷，包括：(1)模糊变换

原始灰度f(x,y)被三段线性变换为g(x,y)后，模糊化g(x,y)为隶属度m，人工选取模糊参数为0.27，0.5，0.72，调整不同范围内的隶属度，最后去模糊得到变换后灰度值p(x,y)，模糊规则如下：

其中，m＝g(x，y)/255。

大津法二值化增强后图像，将二值图的形态学闭运算结果与二值图做差，去除二值图中心至底部的大面积无用区域。利用形态学膨胀填充差集缺陷内部的细小孔洞，获取感兴趣区：

(2)形态学区域填充

构建与原图A等大的空白图像C，以原图像A的补集为掩膜M，利用形态学膨胀连续填充C，掩膜M与膨胀结果的交集就是缺陷孔洞填充结果，定义为：

其中，F表示缺陷孔洞填充结果，表示形态学膨胀运算，S₁表示椭圆形状，3×3大小的结构元素，∩表示取交运算。

(3)8邻域连通域分析

如图2所示，在大小为M×N的二值图中，用v(i，j)表示位于坐标(i，j)的像素值，其中0≤i≤M-1，0≤j≤N-1。任意像素点v(i，j)的8邻域是其上、下、左、右、左上、右上、左下、右下位置，包括紧邻和斜向相邻共8个方向，定义为：

N8(v)＝v1∪v2∪v3∪…∪v8 (4)

如图3所示，8邻域连通域分析遍历二值图，赋予8邻域连通像素块唯一的标记值，定义为：

D＝A×N8(v) (5)

其中，D表示符合8邻域条件的连通域，标记值唯一；A表示二值图。

8邻域连通域分析后，根据标记值获取连通域面积，以面积为特征从大量连通域中分类出缺陷，提取缺陷质心坐标。

2.2图像质量评估

对比模糊增强后图像F与三段线性变换图像T，定义亮度相似度和对比度相似度为指标：

Q＝L·C (9)

其中，L∈[0，1]，表示两幅图像的亮度相似度；C∈[0，1]，表示两幅图像的对比度相似度。L和C越接近1，增强后图像的亮度相似度和对比度相似度就越高，图像质量也越高。

2.3缺陷检测准确度评估

与人工判读的真实结果相比，以完整度Compl、正确性Corr和质量Qlty来评估缺陷检测算法性能，定义为：

Compl＝(S∩M)/M (10)

Corr＝(S∩M)/S (11)

Qlty＝(Compl·Corr)/(Compl-Compl·Corr+Corr) (12)

其中，S表示缺陷检测结果；M表示人工判读真实结果，“·”表示相乘。

2.4管道接口检测

如图4所示，在水流的长期冲刷下，圆形管管道接口相比于无损管壁，对比度较高，成像呈明显圆形。

在中值滤波和自适应二值化后，利用基于边缘检测的霍夫梯度法检测管道接口，获取管道接口圆心坐标。如图4所示，利用大津法二值化获取Canny算子阈值参数，二值图中任意一点为潜在圆上一点，该点的笛卡尔坐标表示为：

(x-a)²+(y-b)²＝r². (14)

其中，x,y代表图像中某像素点坐标，a,b,r表示其霍夫空间坐标。

确定Canny梯度方向后，沿着梯度方向遍历Canny边缘检测后的非零像素，当点在线上时，增加累加器并排序，设定阈值获得可能的圆心，如图5和图6所示。

调整a∈[a_min，a_max]与b∈[b_min，b_max]的取值，计算相应半径r∈[r_min，r_max]，然后增加累加器，当累加器取最大值时，通过Eqx获取管道接口圆心坐标：

S(a，b，r)＝S(a，b，r)+1 (15)

其中，S(a，b，r)表示累加器。

第三步，结构性缺陷纵向测距

作业人员遵守《城镇排水管道检测与评估技术规程》作业，时刻观察显示屏，微调机器人控制CCTV摄像头移动轨迹在管道中轴线上，移动轨迹偏离度不大于管径尺寸的10％，使管道接口成像保持居中。根据小孔成像模型，单帧图像中管道内壁任意一点在像平面上的投影点具有唯一性；另一方面，实际环境中管道接口圆心位于管道中轴线上，相机高度与管径尺寸大小的不一致导致管道接口圆心成像并非严格居中，使得单帧影像中不同位置上的管道接口圆心像点不具有唯一性。

根据上述特点建立缺陷物点与像点之间的映射关系，包括：

(1)以相机光心为原点，以正直摄影方向为Z轴正方向，根据右手法则建立像空间坐标系O-XcYcZc；

(2)沿着正直摄影方向，与像空间坐标系原点距离f处，存在像平面坐标系b-xy；然后，以管道接口圆心为极点，与像空间坐标系Xc轴平行的射线为极轴，管道半径r为极径，建立极坐标系，以管道半径为特征尺寸表示缺陷坐标(r，θ)；

(3)以管道接口圆心近似管道中轴线成像，计算管道接口圆心与缺陷质心的图像距离，该图像距离对应于实际环境中缺陷到管道中轴线的距离一一管道半径r，依据缺陷像点坐标和缺陷纵向距离修正值之间的比例关系建立基于管径尺寸的缺陷测距模型，如图7所示。

图7中f表示相机焦距，以mm为单位；L表示缺陷纵向距离修正值，以m为单位；r表示管道半径，以mm为单位。

沿着正直摄影方向，将像空间坐标系投影至管道接口平面，获得包含缺陷和管道接口圆心的像空间坐标系B-XcYcZc，B表示像空间坐标系原点，C(Xc,Yc,Zc)表示管道接口圆心像空间坐标，A(X,Y,Z)表示缺陷点像空间坐标；相应的，在像平面坐标系b-xy中，b表示像平面坐标系原点，c(x_c,y_c)表示管道接口圆心的像点坐标，a(x,y)表示缺陷像点坐标。

如图8所示，当极坐标原点位于管道接口圆心时，以管径为特征尺寸表示缺陷和管道接口圆心的像空间坐标：

式中，l₁表示缺陷质心与管道接口圆心的横坐标增量，l₂表示缺陷质心与管道接口圆心的纵坐标增量。

当正直摄影方向与管道中轴线方向平行时：

同时，根据几何比例关系，联立缺陷和圆心的像空间坐标：

式(13)与式(14)左右两边相减得到：

等式左右平方后相加：

代入像平面坐标系与框标坐标系的转换关系式(1)，式(21)可表达为：

式中，(u，v)表示像点a的框标坐标；(u_c，v_c)表示管道接口圆心c的框标坐标；C_x＝1/f_x，C_y＝1/f_y，f_x，f_y分别表示横纵方向上的有效焦距。L表示缺陷纵向距离修正值，以m为单位；r表示管道半径，以mm为单位。

实施例1

本实施例的数据集来源于昆明市测绘研究院地下排水管道缺陷智慧化检测项目，作业人员依据《城镇排水管道检测与评估技术规程》，使用施罗德S300E管道检测机器人对昆明市城区21.328km管道缺陷检测视频采样，获得检测视频748个，影像分辨率为1920×1080。《城镇排水管道检测与评估技术规程》将缺陷分为16个大类，其中结构性缺陷占10类，功能性缺陷占6类。鉴于专家评估报告，从10类结构性缺陷中选取8类较为常见的结构性缺陷作为研究对象，总共100张图像，缺陷所在管段的管材均为砼，如图9所示。

按照《城镇排水管道检测与评估技术规程》要求，排水管道CCTV检测摄像过程中固定焦距，利用张正友标定法，使用二维标定板标定摄像机，获得摄像机内参。标定后主要参数如下表所示。

表1相机内参

Table 1 Camera Intrinsic Parameters

随后基于缺陷与管道接口检测原理，利用NumPy和OpenCV函数库，使用Python语言编程实现图像处理和单目测距，利用cv2.connectedComponentsWithStats()函数实现8邻域连通域分析，利用cv2.HoughCircle()函数实现基于边缘检测的霍夫变换，以缺陷质心代表缺陷面，提取并连接缺陷质心和管道接口圆心坐标，然后将两者坐标和相机参数代入测距模型，获取缺陷纵向距离修正值。

1.缺陷和管道接口检测

腐蚀、破裂和渗漏往往出现在管道内表面，与周围管壁形成强烈对比。支管暗接和异物穿入都来自管道外部，成像十分明显。错口、脱节和接口材料脱落等类型缺陷往往发生在管道接口处，环绕着管道接口，呈现环形特征。检测结果如图8-图10所示。

从图10中可看出，本发明缺陷检测算法有效去除成像中心亮度较低区域的同时保留了较为完整的缺陷区域，8邻域连通域分析后的以面积为特征提取的缺陷连续性较好，较能反映缺陷的形状、大小和位置。在管道接口检测中，自适应二值化保留了完好的图像边缘信息，检测结果与实际管道接口吻合。总的来说，检测出的缺陷和管道接口符合实际情况，证明了检测方法的有效性。值得注意的是，本发明所提出算法检测缺陷以图像中主要缺陷为主，重复检测同一种缺陷时算法具有一定稳定性。

以图10所示的8张较为常见的结构性缺陷图像为样本，获取OTHO、CBHO、MSED和本发明算法的缺陷检测结果如图11所示。

以30张缺陷图像为样本，样本累计包含8类结构性缺陷，以每张样本的缺陷准确度衡量缺陷检测算法性能。如表2所示。

表2.不同缺陷检测算法性能

如图12所示，OTHO和CBHO检测缺陷不完整，容易丢失重要缺陷信息。如表2所示，OTHO和CBHO的缺陷检测平均完整度分别为17.13％和14.07％，最小完整度分别为1.55％和0.87％，OTHO和CBHO的平均正确性分别为25.08％和22.62％，表明这两种算法能基本检测缺陷，但性能较差。MSED虽能充分检测缺陷，但却保留了大量噪声，将管壁上污点和管道接口误判为缺陷，从表2可知，MSED平均完整度为28.35％，最小完整度为10.41％，这两项数据虽高于OTHO和CBHO，但26.43％的平均正确性和5.66％的最小正确性表明MSED并没有提升缺陷检测的正确率。相较于前者，本发明算法去除了噪声和图像中心黑暗区域，以较低的误判率保留完整缺陷，平均完整度和最大完整度分别为38.71％和80.42％，平均正确性高达30.89％，平均质量为18.91％，为4种算法里最高值。

从图12可看出，相比于OTHO、CBHO和MSED，本发明算法性能有不错的提升，在最大正确性没有下滑太多的情况下，最小正确性均大于另外3类算法。与此同时，最大完整度为80.42％，与CBHO的最大完整度34.94％相比，增幅130.17％，相应的质量也从22.53％增大到49.26％。可以知道，在8类结构性缺陷检测表现上，本发明算法优于OTHO、CBHO和MSED。

2.测距实验

用总共100张缺陷样本验证测距算法的有效性，其中21张为人工模拟的缺陷图像，以验证测距模型的理论精度，79张为实际工程中的缺陷图像，以验证测距模型的实际精度。

(1)模拟实验

21张模拟图像的管道管径均为800mm，管道内部只存在人工模拟的缺陷。将QV的激光量测距离与CCTV检测机器人计米器读数的差值作为缺陷纵向距离改正值的真实值D_True，将测距模型结果作为缺陷纵向距离改正值的实验值D_Calc，以实验值D_Calc和真实值D_True的绝对误差Δ和相对误差δ衡量纵向定位精度，《城镇排水管道检测与评估技术规程》要求绝对误差Δ在±0.5m以内。

表3.激光测距与测距模型结果

表3中，真实值较小时，实验值保持在一定范围内。当真实值D_True≤0.74m时，实验值D_Calc在0.93m附近浮动，导致绝对误差Δ偏大。随着真实值D_True增大(D_Ture∈[1.00,1.40])，绝对误差(Δ∈[0.0045,0.197])，平均绝对误差为0.020，平均相对误差为6.24％。表3.表示测距模型的最优绝对误差和相对误差分别为0.004和00.41％，最差绝对误差和相对误差分别为0.30和33.96％，均满足规范(Δ≤±0.5m)。

如图13所示，实验值随着真实值的增大而增大，两者在极端情况下甚至相等，呈逐渐吻合趋势，绝对误差逐渐减小，这表明对远距离缺陷测距时，测距模型表现优秀，精度较高，具有鲁棒性。

(2)实际场景实验

取自于实际工程的79张缺陷样本中，管径尺寸D∈[400mm,800mm]。以专家经验判读的缺陷纵向距离修正值为经验值D_Exp，以测距模型结果为实验值D_Calc，以绝对误差和相对误差衡量模型精度。6类不同类型的结构性缺陷测距结果如表4所示。

表4 6种不同缺陷测距结果

Table 4.Ranging Results of Crack(PL)

/>

从表4中可看出，测距结果随着管径尺寸的增大而增大。最小经验值为0.34m，最大经验值为1.91m，相应的实验值分别为0.61m和1.85m，相应的绝对误差为0.27m和0.06m，符合规范。绝对误差的全局极小值和全局极大值分别为0.01和0.29，符合规范。从不同缺陷类型的测距结果来看，SL和PL的平均绝对误差分别为0.08m和0.06m，平均相对误差分别为10.86％和3.11％；FS、CK、TL和TJ的平均绝对误差分别为0.13m、0.16m、0.15m和0.12m，平均相对误差分别为19.24％、21.32％、25.05％和26.00％，不同类型缺陷的测距精度从高到低排列为：PL>SL>TJ>FS>TL>CK。

从图14可看出，6类不同缺陷的测距结果精度存在较小波动，绝对误差随着管径增大而减小，分析CCTV检测影像及专家评估报告后发现主要原因有：

(1)未消除CCTV机器人计米器本身系统误差；

(2)检测不同管径尺寸的管道时，设置了相同CCTV机器人补偿距离值；

(3)相机正直摄影方向偏离管道中轴线，导致缺陷质心与管道接口圆心之间的图像距离不再是管径的映射，无法建立有效的测距模型。值得注意的是，测距模型以缺陷质心和管道接口圆心为特征点，缺陷质心与管道接口圆心的图像距离是实际管径尺寸的映射，在100张样本中，尚未出现管径检测失败的情况，后续研究将会增大实验数据量，进行深度验证。

从总的实验结果来看，相对测距精度优于17.41％，绝对误差Δ≤±0.3m，认为：

(1)测距结果随着管径尺寸和真实值D_True的增大而增大。对不同的管径尺寸，测距结果稳定在一定范围内，测距结果稳定、可靠；

(2)对不同的缺陷类型，测距模型精度稳定，性能较好，可被用于实际工程，能满足雨污分流改造、水环境提升治理、黑臭水体治理等工程实施的资料要求，对目前正在实施“资源节约型社会、环境友好型社会”建设提供了坚强的数据支持。

Claims (10)

1.一种排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，包括：

利用CCTV检测机器人录制管道内部高清影像；

利用录制的高清影像对管道缺陷与管道接口进行检测，提取缺陷质心坐标以及管道接口圆心坐标；

控制CCTV摄像头移动轨迹在管道中轴线上，使管道接口成像保持居中，建立缺陷物点与像点之间的映射关系，包括：

(1)以相机光心为原点，以正直摄影方向为Z轴正方向，根据右手法则建立像空间坐标系O-XcYcZc；

(2)沿着正直摄影方向，与像空间坐标系原点距离f处，存在像平面坐标系b-xy；然后，以管道接口圆心为极点，与像空间坐标系Xc轴平行的射线为极轴，管道半径r为极径，建立极坐标系，以管道半径为特征尺寸表示缺陷坐标(r，θ)；

(3)以管道接口圆心近似管道中轴线成像，计算管道接口圆心与缺陷质心的图像距离，该图像距离对应于管道半径r，依据缺陷像点坐标和缺陷纵向距离修正值之间的比例关系建立基于管径尺寸的缺陷测距模型；

沿着正直摄影方向，将像空间坐标系投影至管道接口平面，获得包含缺陷和管道接口圆心的像空间坐标系B-XcYcZc，B表示像空间坐标系原点，C(Xc,Yc,Zc)表示管道接口圆心像空间坐标，A(X,Y,Z)表示缺陷点像空间坐标；相应的，在像平面坐标系b-xy中，b表示像平面坐标系原点，c(x_c,y_c)表示管道接口圆心的像点坐标，a(x,y)表示缺陷像点坐标；

式中，(u，v)表示像点a的框标坐标；(u_c，v_c)表示管道接口圆心c的框标坐标；C_x＝1/f_x，C_y＝1/f_y，f_x、f_y分别表示横纵方向上的相机有效焦距，L表示缺陷纵向距离修正值，r表示管道半径。

2.根据权利要求1所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，所述提取缺陷质心坐标是从检测影像中抽取单帧缺陷图像，以面积为特征从大量连通域中提取缺陷，包括：

(1)模糊变换并获取缺陷的感兴趣区

(2)形态学区域填充

构建与原图A等大的空白图像C，以原图像A的补集为掩膜M，利用形态学膨胀连续填充C，掩膜M与膨胀结果的交集就是缺陷孔洞填充结果；

(3)提取缺陷质心坐标

任意像素点v(i,j)的8邻域包括紧邻和斜向相邻的其上、下、左、右、左上、右上、左下和右下位置的共8个方向，根据标记值获取连通域面积，以面积为特征从大量连通域中分类出缺陷，提取缺陷质心坐标。

3.根据权利要求2所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，提取管道接口圆心坐标是利用基于边缘检测的霍夫梯度法检测管道接口，获取管道接口圆心坐标。

4.根据权利要求3所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，

所述利用CCTV检测机器人录制管道内部高清影像还包括：

结构性缺陷的缺陷点A(X_w，Y_w，Z_w)过投影中心成像为a(u，v)，定义为：

式中：f表示相机焦距；dx,dy表示成像平面单个像素的实际尺寸，通常情况下两者并不相等；(u₀，v₀)表示像平面坐标系原点Oc的像素坐标；R、T分别表示相机外参中的旋转矩阵和平移矩阵，M₁表示相机内参矩阵，M₂表示相机外参矩阵；通过解求式(1)标定相机可确定相机的内外参数。

5.根据权利要求4所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，对管道缺陷进行检测还包括：

从检测影像中抽取单帧缺陷图像，利用加权灰度法将RGB图像转为灰度图；结合中值滤波和高斯滤波去除视频录制和传输过程中产生的椒盐噪声和高斯噪声；利用三段线性变换和模糊变换提高缺陷对比度；利用大津法阈值分割和形态学运算获得感兴趣区，缩小处理范围；利用连通域分析，以面积为特征从大量连通域中提取缺陷，具体包括：

(1)模糊变换并获取缺陷的感兴趣区

原始灰度f(x,y)被三段线性变换为g(x,y)后，模糊化g(x,y)为隶属度m，人工选取模糊参数为0.27，0.5，0.72，调整不同范围内的隶属度，最后去模糊得到变换后灰度值p(x,y)，模糊规则如下：

其中，m＝g(x,y)/255；

大津法二值化增强后图像，将二值图的形态学闭运算结果与二值图做差，去除二值图中心至底部的大面积无用区域；利用形态学膨胀填充差集缺陷内部的细小孔洞，获取感兴趣区；

(2)形态学区域填充

构建与原图A等大的空白图像C，以原图像A的补集为掩膜M，利用形态学膨胀连续填充C，掩膜M与膨胀结果的交集就是缺陷孔洞填充结果，定义为：

其中，F表示缺陷孔洞填充结果，表示形态学膨胀运算，S₁表示椭圆形状，3×3大小的结构元素，∩表示取交运算；

(3)8邻域连通域分析

在大小为M×N的二值图中，用v(i,j)表示位于坐标(i,j)的像素值，其中0≤i≤M-1，0≤j≤N-1；任意像素点v(i,j)的8邻域定义为：

N8(v)＝v1∪v2∪v3∪…∪v8 (4)

8邻域连通域分析遍历二值图，赋予8邻域连通像素块唯一的标记值，定义为：

D＝A×N8(v)(5)

其中，D表示符合8邻域条件的连通域，标记值唯一；A表示二值图；

8邻域连通域分析后，根据标记值获取连通域面积，以面积为特征从大量连通域中分类出缺陷，提取缺陷质心坐标。

6.根据权利要求5所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，对缺陷进行检测还包括对图像质量评估：

对比模糊增强后图像F与三段线性变换图像T，定义亮度相似度和对比度相似度为指标：

Q＝L·C (9)

其中，L∈[0，1]，表示两幅图像的亮度相似度；C∈[0，1]，表示两幅图像的对比度相似度；L和C越接近1，增强后图像的亮度相似度和对比度相似度就越高，图像质量Q也越高。

7.根据权利要求6所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，所述对缺陷进行检测还包括对缺陷检测准确度评估：

与人工判读的真实结果相比，以完整度Compl、正确性Corr和质量Qlty来评估缺陷检测算法性能，定义为：

Compl＝(S∩M)/M (10)

Corr＝(S∩M)/S (11)

Qlty＝(Compl·Corr)/(Compl-Compl·Corr+Corr) (12)

其中，S表示缺陷检测结果，M表示人工判读真实结果。

8.根据权利要求7所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，对管道接口进行检测还包括：

在中值滤波和自适应二值化后，利用基于边缘检测的霍夫梯度法检测管道接口，获取管道接口圆心坐标；利用大津法二值化获取Canny算子阈值参数，二值图中任意一点为潜在圆上一点，该点的笛卡尔坐标表示为：

(x-a)²+(y-b)²＝r² (14)

其中，x,y代表图像中某像素点坐标，a,b,r表示其霍夫空间坐标；

确定Canny梯度方向后，沿着梯度方向遍历Canny边缘检测后的非零像素，当点在线上时，增加累加器并排序，设定阈值获得可能的圆心；

调整a∈[a_min，a_max]与b∈[b_min，b_max]的取值，计算相应半径r∈[r_min，r_max]，然后增加累加器，当累加器取最大值时，通过式(15)获取管道接口圆心坐标：

S(a，b，r)＝S(a，b，r)+1 (15)

其中，S(a,b,r)表示累加器。

9.根据权利要求8所述的排水管道结构性缺陷纵向定位的单目测距方法，其特征在于，所述结构性缺陷纵向测距还包括：

当极坐标原点位于管道接口圆心时，以管径为特征尺寸表示缺陷和管道接口圆心的像空间坐标：

式中，l₁表示缺陷质心与管道接口圆心的横坐标增量，l₂表示缺陷质心与管道接口圆心的纵坐标增量；

当正直摄影方向与管道中轴线方向平行时：

其中：x₀、y₀表示像平面坐标系原点；

同时，根据几何比例关系，联立缺陷和圆心的像空间坐标：

式(13)与式(14)左右两边相减得到：

等式左右平方后相加：

代入像平面坐标系与框标坐标系的转换关系式(1)，式(21)可表达为公式：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9任一项所述的排水管道结构性缺陷纵向定位的单目测距方法的步骤。