CN104568983B - 基于主动式全景视觉的管道内部缺陷检测装置及方法 - Google Patents

Abstract

本发明公开了一种基于主动式全景视觉的管道内部缺陷检测装置，包括：摄像爬行系统、控制电缆和检测分析核心操作系统；检测分析核心操作系统包括：协调动作控制单元、爬行系统控制单元、图像接收单元、功能性缺陷和结构性缺陷的定性和定量分析判断模块和储存单元；通过对管道内部全景影像及激光扫描断面切片图像两种图像进行机器视觉处理分析和识别管道的功能性缺陷和结构性缺陷。本发明还公开了基于主动式全景视觉的管道内部缺陷检测方法。本发明提供了一种全新的自动化管道健康体检方式，为地下管道的维护、竣工验收提供了有效的技术支撑。

Description

基于主动式全景视觉的管道内部缺陷检测装置及方法

技术领域

本发明涉及全景激光光源、全方位视觉传感器、数字图像处理以及计算机视觉技术在管道的检测方面的应用，尤其涉及一种基于主动式全景视觉的管道内部功能性缺陷和结构性缺陷的定性和定量检测装置及方法。

背景技术

目前，管道的检测技术主要有以下几种技术：漏磁法、超声波法、涡流法、光环图像法、环形光切图像法、PSD单点扫描法、CCTV法、全向检测法、内窥镜检测法等。现今使用最普遍的检测工具是管道闭路电视检测系统，即CCTV法，该方法是专门应用于地下管道检测的工具。该系统出现于20世纪50年代，到该世纪80年代此项技术基本成熟。通常，CCTV系统安装在自走车上，可以进入管道内进行摄像记录。

现今生产制造CCTV检测系统的厂商很多，例如：IBAK公司、Per Aarsleff A/S公司、Telespec、Pearpoint与Radiodetection等等。虽然CCTV检测系统种类繁多，但是其功能大同小异。CCTV系统公司有自走式和牵引式两种，即摄像爬行系统，运用爬行系统将摄像设备推进至管道内部，由摄像系统拍摄管道内部影像，并适时将影像传送至控制台；另外还包括控制电缆和控制台，控制电缆负责传送爬行设备指令、适时影像数据；控制台是CCTV核心操作系统，负责发出控制指令，如爬行系统前行、倒退、摄像系统灯光等；接受影像数据并将影像数据储存至存储设备。近年来，由于自走式CCTV系统操作技术日趋成熟，该系统已经成为主流。CCTV操作人员在地面远程控制CCTV检测车的行走，并进行管道内录像拍摄。相关的技术人员根据这些检测录像，进行管道内部状况的判读与分析，以确定下一步管道修复采用哪种修复方法比较合适。

中国发明专利申请号为201010170739.9公开了一种排水管道视频检测机器人，其中包括摄像系统，镜头控制系统，机身驱动系，软件控制与数据传输系统和照明装置。由驱动系统负载其它系统在管道内爬行，镜头控制系统用以调整摄像系统的位置与角度，摄像系统获取经照明后的管道内部信息，最后通过数据传输系统将这些信息输出到计算机屏幕上。这种技术主要存在的问题是，需要额外的镜头控制系统不断调整摄像系统的位置与角度来获取管道内部的全景图像信息，并且要从这些图像信息进行三维重构及三维检测是极其困难的，另外，需要相关的技术人员根据这些检测录像，进行管道内部状况的判读与分析，从严格意义上讲，这类技术仅仅是获取了管内的图像信息。

中国发明专利申请号为201010022782.0公开了一种CCTV闭路电视摄像检测方法，是采用CCTV管道内窥电视摄像检测系统，在管道内自动爬行，对管道的结构状况进行探测和摄像，通过有线传输方式进行显示和记录，并依据检测技术规程再进行评估的一种检测方法。从严格意义上讲，这类技术也仅仅是获取了管内的图像信息。

综上，目前利用CCTV法进行管道检测时存在着以下的缺陷和不足：首先，摄像机所拍摄的范围有限，只能获取管道内壁某一部分的图像，为了获取管道内壁所有图像，需要不断改变摄像机的视角；另外，目前还只能靠检测人员用眼睛通过所获取管道内的图像来判断表面是否存在缺陷，一般人眼只能察觉尺寸变化达±10％以上的图像变异，难以实现管道检测的精准化、自动化和智能化；其次，目前的管内图像获取方法导致了难以对缺陷的尺寸以及具体位置作定量的测量和分析，仍然依靠地面上的工作人员的经验来判断，并对计算机处理结果进行综合分析，难以对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估，自动地将管道运行状况分为不同等级；最后，管道内部侧壁的三维建模困难，难以用三维数据方式再现管道的详细情况，为管道的维护管理提供有效的数据支撑，为制定管道维修计划提供参考，以便采用不同的修复方法，及时、经济地进行修复。

发明内容

为了克服已有的CCTV法的自动化和智能化水平低、难以对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估、管道内部侧壁的三维建模困难等不足，本发明提供一种用于对管道内部进行检测的主动式全景视觉技术，能够提高管道检测自动化和智能化水平，对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估，实现管道内部侧壁的三维建模。

要实现上述发明内容，必须要解决四个核心问题：(1)实现一种全景激光光源；(2)实现一种能快速获得实际物体深度信息的主动式全景视觉传感器；(3)通过数字图像处理技术对管道内功能性缺陷和结构性缺陷进行高精度的自动分析和评估；(4)采用计算机视觉技术对管道内部侧壁的三维重建方法。

本发明解决其技术问题所采用的技术方案是：

一种基于主动式全景视觉的管道内部功能性缺陷和结构性缺陷的定性和定量检测装置与方法，其硬件包括：摄像爬行系统、控制电缆和检测分析核心操作系统。摄像爬行系统将主动式全景视觉传感器推进至管道内部，由主动式全景视觉传感器拍摄管道内部全景影像及激光扫描断面切片图像，并适时将影像传送至控制台；控制电缆负责传送爬行设备指令和实时管道内全景影像数据；检测分析核心操作系统，负责发出控制指令，如爬行系统前行、倒退、摄像系统灯光等；接受影像数据并对影像数据进行处理，最后将影像数据和分析结果储存至存储设备。

摄像爬行系统，其硬件主要包括：主动式全景视觉传感器、电缆及录影设备、电源控制设备、承载摄影机的支架、爬行器和长度测量仪。

主动式全景视觉传感器，其硬件主要包括：全方位视觉传感器、投射照明光源；全方位视觉传感器与投射照明光源进行同轴固定连接。

全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩。双曲面镜面固定在上盖上，连接单元将下固定座和透明半圆形外罩连接成一体，透明半圆形外罩与上盖以及上罩固定在一起，摄像单元固定在摄像单元固定座上，摄像单元固定座固定在下固定座上，全方位视觉传感器中的摄像单元的输出通过电缆中的视频连接线与检测分析核心操作系统连接。

投射照明光源包括光源上盖、圆锥形镜面、透明外罩、圆圈形激光发射器、底座和24颗LED。24颗LED均匀分布固定在底座外圆侧对管道内壁进行照明，圆圈形激光发射器固定在底座上，圆圈形激光发射器的发射光轴心线与底座轴心线一致，圆锥形镜面固定在光源上盖用于反射圆圈形激光发射器发射出来的圆圈激光为管道内壁提供管道断截面全景扫描光，圆锥形镜面的轴心线与光源上盖轴心线一致，透明外罩将嵌入24颗LED以及固定圆圈形激光发射器的底座和固定圆锥形镜面的光源上盖集成为投射照明光源；圆圈形激光发射器的中心轴和圆锥形镜面的中心轴重合。

主动式全景视觉传感器装配时，将圆圈形激光发射器的中心轴、圆锥形镜面的中心轴、双曲面镜面的中心轴和摄像单元的中心轴配置在同一轴心线上。

一种基于主动式全景视觉的管道内部功能性缺陷和结构性缺陷的定性和定量检测装置与方法，其检测分析核心操作系统包括：协调动作控制单元、爬行系统控制单元、图像接收单元、功能性缺陷和结构性缺陷的定性和定量分析判断模块和储存单元。爬行系统控制单元控制爬行系统前行、倒退；协调动作控制单元控制摄像系统灯光的照明与圆圈形激光发射器的激光发射、全景图像和激光全景图像的抓拍、爬行器的间歇动作和长度测量仪的数据读取协调动作；图像接收单元接受根据协调动作控制单元的控制模式接收相对应的影像数据；图像处理模块对影像数据进行图像预处理；功能性缺陷和结构性缺陷的定性和定量分析判断模块对图像预处理后的管道内部图像进行定性和定量分析；储存单元将影像数据和分析结果储存至存储设备。

协调动作控制单元，用于对摄像爬行系统中的主动式全景视觉传感器、电缆及录影设备、电源控制设备、爬行器和长度测量仪各硬件设备之间进行协调动作控制。

对于管道内壁功能性缺陷和结构性缺陷的定性和定量分析内容主要分为功能性缺陷和结构性缺陷两大类：结构性缺陷包括变形、裂缝、断裂/坍塌、表面腐蚀/破损、突出接口/穿管、接口损坏、接口错位/脱节和支管暗接/错接共计八种类型，功能性缺陷包括树根突入、管壁附着物、管底沉积物、其他障碍物、土壤进入、地下水内渗和污水外渗共计七种类型。

1)变形；定义：排水管道横断面的原有形状受到了改变，如由圆形变成了椭圆状、管道局部发生凹陷等；变形一般发生在柔性管道，如各种塑料管道；

变形的分级：排水管道的变形用公式(3)变形率来表示：

式中，d_o为排水管道的原有直径，d_min为变形后排水管道的最小直径；

2)裂缝；定义：排水管道的结构在外部压力超过其自身的承受力时发生破坏，从而出现裂缝。根据裂缝的方向可分为纵向裂缝、环向裂缝和复合型裂缝；

分级：利用简单的量化方法，并对缺陷进行描述，对裂缝的缺陷程度进行了分级，如表1所示；

表1 裂缝缺陷程度的分级

3)断裂/坍塌；定义：排水管道的结构受到严重破损而导致管道结构出现严重开裂、有断裂碎片掉落的情况。当断裂程度非常严重时，排水管道的结构强度完全消失，造成坍塌；

分级：断裂/坍塌的严重程度用公式(4)进行计算；

式中，θ_B为断裂/坍塌部分的弧长占排水管道的整个圆周对应的角度；

4)表面腐蚀/破损；定义：排水管道内表面受到化学腐蚀或物理磨损的破坏；

分级：对于表面腐蚀/破损，通过排水管道图像无法直接得到量化缺陷的信息，本方法通过对缺陷进行描述，对表面腐蚀/破损的缺陷程度进行了分级，如表2所示。

表2 表面腐蚀/破损缺陷程度的分级

5)突出接口/穿管；定义：突出接口是指在排水管道干管中，在支管的接入口处有突出部分，使得干管的有效横截面积减少。穿管是指在排水管道中的任意位置有其他管道横穿该管道，不仅破坏管道的结构，同时也减少排水管道的有效横截面积。

分级：突出接口用公式(5)进行计算

式中，L_I为支管在干管中突出的长度，d为干管的直径；根据上式，可知穿管是突出接口的极限形式，因此穿管也可用上式子来描述。

6)接口损坏；定义：接口出现裂缝和密封材料松脱，其分级方法如表3所示。

表3 接口损坏缺陷程度的分级

7)接口错位/脱节；定义：接口错位是指由于埋设时的疏忽、或是因管道沉降而导致两根管道的接口偏离，不能正常连接。脱节是指两根管道在水平方向上结合不紧密，有松开的情况。

分级：接口错位用倍壁厚来进行计算，计算方法如公式(6)所示：

式中，g为接口错位宽度，t为排水管道的壁厚。接口脱节可直接用两段排水管道之间的空隙宽度w来衡量。

8)支管暗接/错接；定义：不明的支管直接侧向接入主管或是雨/污管之间有错接，使得管道中水量增加或水质产生变化。

分级：支管暗接/错接主要考量接入干管中的支管类型，不涉及任何量化的表达方式。分级标准如表4所示。

表4 支管暗接/错接缺陷程度的分级

9)树根突入；定义：树根或其他植物根自然生长进入排水管道中(主要在接口处)，破坏管道的结构并减少管道的有效横截面积。

分级树根突入可用公式(7)进行量化：

式中，A_R为树根所占的横截面积，A为排水管道原有的横截面积。

10)管壁附着物；定义：排水管道管壁上附着了某种物质而导致管段有效横截面积减少。附着物包括了结垢、油脂、有机物等。

分级：管壁附着物可用公式(8)进行量化：

式中，A_AD为管壁附着物所占的横截面积，A为排水管道原有的横截面积。

11)管底沉淀物；定义：管污水道底部由于某种物质的沉淀而影响其水力条件。沉淀物包括碎石、泥沙、水泥等。

分级：管底沉淀物可用公式(9)进行量化：

式中，A_SD为管底沉淀物所占的横截面积，A为排水管道原有的横截面积。

12)其他障碍物；定义：排水管道内含有的杂物，能够使管道有效横截面积减少，如砖石、建筑垃圾、树枝、破损管道的碎片等。

分级：其他障碍物可用公式(10)进行量化：

式中，A_OS为障碍物所占的横截面积，A为排水管道原有的横截面积。

13)土壤进入；定义：排水管道中由于破裂、脱节等其他缺陷而使得外部土壤进入，使得污水中泥沙量增加，甚至沉积或堆积在管道内部，同时造成管道外部的土质发生松动。土壤进入可用公式(11)进行量化：

式中，A_IS为土壤堆积所占的横截面积，A为排水管道原有的横截面积。

对于上述功能性缺陷和结构性缺陷，从机器视觉角度来进行检测主要由两种不同的图像进行分析，一种是对管道内壁全景展开图进行解析和识别，另一种是对管道内壁激光切片扫描图进行解析和识别；由于管道内壁全景展开图上缺少深度信息，而管道内壁激光切片扫描图上缺少管道纵向纹理信息，因此，更为精确的识别需要融合上述两种不同图像的识别结果；在协调控制单元中，自动检测后得到了两种不同类型的图像数据，一种是以爬行距离Z_m为文件名的全景图像数据，另一种是以爬行距离Z_m+LASER为文件名的激光扫描全景图像数据。

管道内壁全景展开图，用于对以爬行距离Z_m为文件名的全景图像数据进行全景图像展开处理，附图8为在摄像系统灯光的照明情况下全方位视觉传感器获取的管道内壁全景图像，斜线部分是在全方位视觉传感器沿管道方向上的成像范围，用全景图像展开单元对管道内壁全景图像进行全景展开处理得到管道内壁全景展开图。

基于全景展开图的管道缺陷检测模块用于检测管道内壁存在的缺陷；主要采用边缘检测算法，具体用Canny算子遍历整个全景展开图，得到管道病害的边缘信息，从而筛选出在全景上管道缺陷图像部分；轮廓分割过程中淘汰掉面积相对较小的轮廓，而面积相对较大的轮廓就是管道中的裂缝、破洞、塌陷等病害的边缘描述；用于在全景图像上检测管道缺陷的特征图像主要包含三种类型的图像：(1)界标：检修孔，管道接头和入口；(2)缺陷图像；(3)非缺陷图像，比如带有垃圾的图像；为了区分是哪一种管道缺陷，需要计算出在全景图像上的较大轮廓的几何特征；首先，将所有在全景图像上较大轮廓内的像素注上标记，然后计算各区域的面积和周长；接着根据各区域的面积和周长计算圆形度、偏心率和紧凑性几何特征。

为了求得每个区域的最大主轴长度、最小主轴长度和角度，首先计算出各区域的最小外接矩形，矩形的长轴就是该区域的最大主轴长度L_iMaxA，矩形的短轴就是该区域的最小主轴长度L_iMinA，矩形的长轴在水平方向上的角度就是角度θ_iMaxA；最后利用最大主轴长度与最小主轴长度的比求得边界离心率。

对于管道裂缝检测，在管道全景柱状展开图中出现的裂缝基本上有两种类型，环形和纵向型，纵向型裂缝是平行管道方向出现的裂缝，基本上平行于全景柱状展开图上的Y**轴；而环形裂缝是在管道内壁上以管道圆心为原点的圆，基本上平行于全景柱状展开图上的X**轴；用区域面积A_i、区域周长L_i和区域的圆形度C_i几何特征判定裂缝缺陷，对于环形和纵向型裂缝的区别在于角度值θ_iMaxA。

对于管道断裂/坍塌的检测，本发明将其作为大裂缝的范畴，断裂/坍塌的原因是从地面压力影响等原因裂缝往往是沿着轴向方向开始，然后是变形和塌陷，因此一般发生在管道的轴向方向；利用基于全景展开图的管道缺陷检测单元所得到的管道环形全景面边缘图像，将其检测方式与裂缝的检测方式类似，变形和塌陷的形状基本上平行于全景柱状展开图上的Y**轴；用区域面积A_i、区域周长L_i、区域的圆形度C_i和角度值θ_iMaxA几何特征判定裂缝缺陷。

对于突出接口和支管暗接/错接的检测，这种缺陷反映在全景柱状展开图上是一个接近圆的空洞，用区域面积A_i、区域周长L_i和区域的圆形度C_i几何特征进行判定。

对于接口损坏、接口错位/脱节的检测，这种缺陷反映在全景柱状展开图上是平行于x^**的边缘线。

基于全景展开图的管道各类疑似缺陷判定单元，用于判定管道裂缝、管道断裂/坍塌、突出接口、支管暗接/错接、接口损坏和接口错位/脱节的缺陷；主要用表5所示的综合各类缺陷的几何特征进行判定，

表5 基于全景展开图的管道各类疑似缺陷判定几何特征参数表

式中，T1L_i为区域周长阈值，该阈值为被检管道直径的1.5倍；

对于初步判定为管道疑似缺陷部位，在全景柱状展开图上做红色标记，以便人工最后确认；具体做法是将全景柱状展开图上的疑似缺陷部位边缘线像素的颜色改成红色。

一些管道病害往往在管道横断面上容易进行描述，出现管道横断面上的管道病害往往会改变原有管道断面的几何尺寸；视觉测量管道断面的几何尺寸的原理由附图6所示，管道断截面全景扫描光投射到管道内壁后经反射到全方位视觉传感器中成像；因此，如附图3所示，管道内壁上的某一点到主动式全景视觉传感器的中心轴线之间的距离由公式(23)计算，

d_(z,β)＝H×ctanα_β (23)

式中，H为全景扫描光线到全方位视觉传感器的单视点O_m的直线距离，α_β为全景扫描光线投射到管道内壁上的某一个点后、该点相对于全方位视觉传感器的单视点O_m的入射角，d_(z,β)为沿管道纵向方向上的某一个位置Z_m和某一个方位角β'情况下在管道内壁上的点到主动式全景视觉传感器的中心轴线之间的距离。

对于管道内壁上的点相对于全方位视觉传感器的单视点O_m的入射角α_β，通过利用全方位视觉传感器标定模块的标定结果及相关计算方法得到。

全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数，标定后的参数存放在存储单元中。

具体标定过程是将标定板绕全方位视觉传感器一周，拍摄若干组全景图像，建立空间点和成像平面中像素点的若干等式，使用最优化算法求出最优解，即为本发明中使用的全方位视觉传感器的标定参数。

为了有效地获取全景扫描光线投射到管道内壁的图像信息，当使用全景扫描光线时，将摄像系统灯光的照明的开关设置为OFF，即关闭所有LED的照明；全景扫描光线投射到管道内壁上后再成像平面上会产生一条封闭的曲线，采用全方位面激光信息解析模块以方位角β遍历全景图得到全景扫描光线在管道内壁上的空间坐标位置；本发明中全景扫描光线的颜色为红色；为了对管道内壁上的点进行空间测量，这里建立了两个坐标系，如附图6所示，一个是固定坐标系，是建立在摄像爬行系统放入管道后开始爬行前的空间位置；另一个是移动坐标系，是建立在全方位视觉传感器的视点O_m；假设摄像爬行系统是沿管道直线移动的，那么这两个坐标系之间的关系用公式(25)进行计算，

式中，X、Y、Z为移动坐标系的三个空间分量，X₀、Y₀、Z₀为固定坐标系的三个空间分量，Z_m为摄像爬行系统沿管道纵向方向上的爬行距离。

全方位面激光信息解析单元，用于对激光扫描全景图像数据进行处理，在激光扫描全景图像上解析出激光投影信息并计算出空间位置信息，最终得到管道内壁边缘线；解析在激光扫描全景图像上的红色激光投射点的方法是根据红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将全景图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均亮度的1.2倍作为提取红色激光投射点的阈值，为了得到激光投射线的准确位置，本发明采用高斯近似方法来抽取出激光投射线的中心位置。

从公式(3)～(11)的检测内容可以得出这样的结论，这些管道病害的检测基本上都基于管道内壁的几何尺寸，是集中在管道内壁横断面上；作为管道内壁横断面的几何尺寸就是管道内壁横截面积。

管道内壁横截面积的计算单元用于计算被检测管道的内壁横截面积，在全方位面激光信息解析模块中得到了管道横向截面的边缘空间位置信息；下面关键是要根据管道横向截面的边缘空间位置信息计算得到管道横向截面的面积以及形状，为进一步判定管道病害的种类提供数据支撑。

通过对激光切片扫描图像进行检测，筛选出在管道横断截面上缺陷，(1)管径变形；(2)管壁附着物；(3)管底沉积物；(4)其他障碍物；(5)土壤进入。

管道变形率计算单元，用于计算管道的变形率；在管道最小直径的计算单元中计算得到了管道内壁的最小直径d_min，管道的原有直径d_o为已知，通过公式(3)计算出管道的变形率η_D。

管壁附着物、管底沉积物、其他障碍物和土壤进入检测单元，用于检测管道内的障碍物；用公式(7)～(11)计算管道内树根所占的横截面积A_R、管壁附着物所占的横截面积A_AD、管底沉淀物所占的横截面积A_SD、障碍物所占的横截面积A_OS和土壤堆积所占的横截面积A_IS与管道的原有横断面积A的比值，该比值都是反映了进入管道的异物对管道水流的阻挡作用。原有横断面积A由管道的设计参数获得，对于圆形的管道用管道的原有直径d_o进行计算得到；对于管道内树根所占的横截面积A_R、管壁附着物所占的横截面积A_AD、管底沉淀物所占的横截面积A_SD、障碍物所占的横截面积A_OS和土壤堆积所占的横截面积A_IS用公式(31)计算结果得到管道横向截面的实际面积A_A，用原有横断面积A减去管道横向截面的实际面积A_A分别得到管道内树根所占的横截面积A_R、管壁附着物所占的横截面积A_AD、管底沉淀物所占的横截面积A_SD、障碍物所占的横截面积A_OS和土壤堆积所占的横截面积A_IS；至于是哪一种异物进入了管道，需要在具有相同爬行距离Z_m的全景柱状展开图上用人工方式进行确认。

本发明的有益效果主要表现在：

1)提供了一种全新的自动化管道健康体检方式；

2)在给地下管道做体检的过程中及时采集管道的三维空间信息，为城市地下管道三维建模提供原始地下空间基础数据；

3)自动的检测判断管道内存在的各种缺陷，为地下管道的维护、竣工验收提供了有效的技术支撑。

附图说明

图1为一种全方位视觉传感器的结构图；

图2为单视点折反射全方位视觉传感器成像模型，图2(a)透视成像过程，图2(b)传感器平面，图2(c)图像平面；

图3为主动全景视觉传感器进行距离测量的示意图；

图4为投射照明光源的结构图；

图5为一种主动式全景视觉传感器的结构图；

图6为采用主动全景视觉传感器对管道内壁进行激光扫描检测的示意图；

图7为采用主动全景视觉传感器地下管道检测的总体宏观示意图；

图8为采用主动全景视觉传感器对管道内壁进行全景扫描检测的示意图；

图9为基于主动全景视觉传感器的管道内功能性缺陷和结构性缺陷检测与识别的软件架构图。

具体实施方式

实施例1

参照图1～9，一种基于主动式全景视觉的管道内部功能性缺陷和结构性缺陷的定性和定量检测装置与方法，其硬件包括：摄像爬行系统、控制电缆和检测分析核心操作系统：摄像爬行系统将主动式全景视觉传感器推进至管道内部，由主动式全景视觉传感器拍摄管道内部全景影像及激光扫描断面切片图像，并适时将影像传送至控制台；控制电缆负责传送爬行设备指令和实时管道内全景影像数据；检测分析核心操作系统，负责发出控制指令，如爬行系统前行、倒退、摄像系统灯光等；接受影像数据并对影像数据进行处理，最后将影像数据和分析结果储存至存储设备。

摄像爬行系统，其硬件主要包括：主动式全景视觉传感器、电缆及录影设备、电源控制设备、承载摄影机的支架、爬行器和长度测量仪。

主动式全景视觉传感器，其硬件主要包括：全方位视觉传感器、投射照明光源；全方位视觉传感器与投射照明光源进行同轴固定连接。

全方位视觉传感器，如附图1所示，包括双曲面镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，如附图1所示；双曲面镜面2固定在上盖1上，连接单元7将下固定座4和透明半圆形外罩3连接成一体，透明半圆形外罩3与上盖1以及上罩8通过螺钉固定在一起，摄像单元6用螺钉固定在摄像单元固定座5上，摄像单元固定座5用螺钉固定在下固定座4上，全方位视觉传感器中的摄像单元的输出通过电缆中的视频连接线与检测分析核心操作系统连接。

投射照明光源，如附图4所示，包括光源上盖21、圆锥形镜面22、透明外罩23、圆圈形激光发射器24、底座25和24颗LED26。24颗LED26均匀分布固定在底座25外圆侧对管道内壁进行照明，圆圈形激光发射器24固定在底座25上，圆圈形激光发射器24的发射光轴心线与底座25轴心线一致，圆锥形镜面22固定在光源上盖21用于反射圆圈形激光发射器发射出来的圆圈激光为管道内壁提供管道断截面全景扫描光，圆锥形镜面22的轴心线与光源上盖21轴心线一致，透明外罩23将嵌入了24颗LED以及固定了圆圈形激光发射器的底座和固定了圆锥形镜面的光源上盖集成为投射照明光源；圆圈形激光发射器的中心轴和圆锥形镜面的中心轴重合。

主动式全景视觉传感器装配时，如附图5所示，将圆圈形激光发射器的中心轴、圆锥形镜面的中心轴、双曲面镜面的中心轴和摄像单元的中心轴配置在同一轴心线上。

一种基于主动式全景视觉的管道内部功能性缺陷和结构性缺陷的定性和定量检测装置与方法，如附图9所示，其检测分析核心操作系统包括：协调动作控制单元、爬行系统控制单元、电源设备控制单元、爬行距离估算单元、图像读取单元、存储控制单元、传感器标定单元、检测知识库及检测数据库、读取全景图像数据单元、全景图像展开单元、基于全景展开图的管道缺陷检测模块、读取激光扫描全景图像数据单元、基于激光扫描全景图的管道缺陷检测模块和检测结果输出记录单元。

基于全景展开图的管道缺陷检测模块还包括了边缘检测单元、面积计算单元、周长计算单元、最小外接矩形计算单元和基于全景展开图的管道各类疑似缺陷判定单元。

基于激光扫描全景图的管道缺陷检测模块还包括了全方位面激光信息解析单元、管道内壁横截面积的计算单元、管道最小直径的计算单元、管道变形率计算单元和管壁附着物、管底沉积物、其他障碍物和土壤进入检测单元。

爬行系统控制单元控制摄像爬行系统前行、倒退和停止；

电源设备控制单元控制投射照明光源的圆圈形激光发射器的ON与OFF和24颗LED的ON与OFF。

图像读取单元，通过电缆读取全方位视觉传感器内的摄像单元所获得的全景图像。

爬行距离估算单元，通过读取长度测量仪的数据来估算爬行器的爬行距离；计算由公式(2)所示，

Z_m＝L-L₀ (2)

式中，L为长度测量仪现在的长度数据，L₀为爬行器放入被检测的管道内开始移动前的长度数据，Z_m为爬行器的爬行距离；

存储控制单元，根据电源设备控制单元的控制信息，当圆圈形激光发射器为ON和24颗LED为OFF时，保存图像的文件名以爬行距离Z_m为前缀；当圆圈形激光发射器为OFF和24颗LED为ON时，保存图像的文件名以爬行距离Z_m+LASER为前缀。

协调动作控制单元，用于对摄像爬行系统中的主动式全景视觉传感器、电缆及录影设备、电源控制设备、爬行器和长度测量仪的各硬件设备之间进行协调动作控制，地下管道检测的总体宏观示意图如附图7所示；协调控制步骤如下：

STEP A)爬行器放入被检测的管道内，输入被检管道直径d_o，读取长度测量仪的长度数据L₀和被检管道的长度L_L0，根据被检管道直径d_o用公式(1)计算爬行器暂歇移动间隔阈值T_z以保障所拍摄的管道内壁环状全景图是连续的；

T_z≤d₀×(sinα_max+sinα_min)/₂ (1)

式中，d₀为被检管道直径，α_max为全方位视觉传感器的仰角，α_min为全方位视觉传感器的俯角；

STEP B)电源控制设备开启LED照明电源同时关闭激光投射电源，主动式全景视觉传感器抓拍全景图像，并将所抓拍的全景图像以爬行器的爬行距离Z_m作为文件名通过通信电缆传输给图像接收单元，图像读取单元读取图像文件后将其保存在存储单元中；爬行器的爬行距离计算由公式(2)所示，

Z_m＝L-L₀ (2)

式中，L为长度测量仪现在的长度数据，L₀为爬行器放入被检测的管道内开始移动前的长度数据，Z_m为爬行器的爬行距离；

STEP C)电源控制设备关闭LED照明电源同时开启激光投射电源，控制爬行器以恒速移动，i＝0,ΔZ(0)＝Z_m；

STEP D)读取长度测量仪的长度数据L，用公式(21)计算爬行器的爬行距离Z，主动式全景视觉传感器抓拍全景图像，并将所抓拍的全景图像以爬行距离Z+LASER作为文件名通过通信电缆传输给图像接收单元，图像接收单元读取图像文件后将其保存在存储单元中，计算i＝i+1,ΔZ(i)＝Z_m,ΔZ＝ΔZ(i)-ΔZ(0)；

STEP E)判断ΔZ≤T_z是否成立，若成立跳转到STEP D)；

STEP F)判断Ζ_m＜L_L0是否成立，若成立停止爬行器移动，跳转到STEP B)；

STEP G)检测结束；

全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数，本发明中采用了单视点的全方位视觉传感器，由双曲面折反射镜面成像原理构成的全方位视觉传感器具有单视点成像特性；其成像原理如图3所示。为了建立三维空间点与成像平面图像点上的映射关系，这里采用Micusík的透视投影成像模型，如图2所示，在该成像模型中，考虑两个不同的参考平面，图像平面(u',v')和传感器平面(u”,v”)，图像平面和摄像机的CCD相关，用像素坐标系来表示。传感器平面是一个假设的和镜面光轴正交的平面，其中心原点是光轴和该平面的交点；以双曲面镜面的焦点，即单视点O_m为原点建立坐标系，z”轴和镜面光轴对齐；设X＝[X,Y,Z]^T为空间中一点，u”＝[u”,v”]^T是X在传感器平面的投影，u'＝[u',v']^T是其对应的图像平面的像素点；空间坐标点X先通过射影变换矩阵投射到镜面上A点处，A点由镜面反射聚焦于摄像机光学中心点C，并交传感器平面上u”＝[u”,v”]^T点，u”点通过仿射变换到图像平面上点u'＝[u',v']^T；整个单视点折反射摄像机成像模型描述的是由空间点到折反射镜面点，折反射镜面点到成像平面上的点，成像平面上的点再到图像平面点形成图像中的像素点的过程；

折反射镜面到传感器平面之间的转换用公式(32)表示；

式中，X∈R⁴表示空间点X的次坐标，P＝[R|T]∈R³×⁴为射影变换矩阵，R∈R^3×3为空间点到折反射镜面点的旋转矩阵，T∈R^3×1为空间点到折反射镜面点的平移矩阵；

由传感器平面到图像平面之间的转换用公式(33)表示：

u′′＝Au′+t (33)

式中，A∈R^2×2，t∈R^2×1。

Scaramuzza在Micusik透视投影模型的基础上，用一个函数f＝g/h来代替公式(32)中的函数g，h，即用函数f来表征三维空间点和二维平面点之间的关系，得到公式(34)；

由于双曲面的旋转对称性，Scaramuzza用Taylor展开多项式来描述函数f，用公式(35)表示：

f(||u”||)＝a₀+a₁||u”||+a₂||u”||²+…+a_n||u”||^N (35)

式中，||u″||为成像平面上的点到该平面中心点的距离；

Scaramuzza和Micusik的模型的前提都是理想折反射摄像机模型，由于在实际加工组装全方位视觉传感器时会引入一些误差；这里假设标定的全方位视觉传感器满足理想模型，将存在一定的误差的非理想模型代入Scaramuzza提出的简化模型转换公式，得到公式(36)；

具体标定过程是将标定板绕全方位视觉传感器一周，拍摄若干组全景图像，建立空间点和成像平面中像素点的若干等式，使用最优化算法求出最优解，计算结果如表6所示，即为本发明中使用的全方位视觉传感器的标定参数；

表6 ODVS的标定结果

标定出全方位视觉传感器的内外参数后，就能建立一个成像平面的像点与入射光线，即入射角之间的对应关系，如公式(24)表示；

式中，α表示点云的入射角，||u″||为成像平面上的点到该平面中心点的距离，a₀、a₁、a₂、a_N为标定的全方位视觉传感器的内外参数，通过公式(24)建立一张成像平面任一像素点与入射角之间的对应关系表；关于标定公式的具体推导和实现方法见参考文献，Yi-ping Tang,QingWang,Ming-li Zong,Jun Jiang,and Yi-hua Zhu，Design of VerticallyAligned Binocular Omnistereo Vision Sensor，EURASIP Journal on Image and VideoProcessing，2010，P1～24；标定后的结果可以建立图像坐标和空间位置之间的映射关系，如附图3所示。

检测知识库及检测数据库，用于存储全方位视觉传感器的标定内外参数、全景图像数据和激光扫描全景图像数据。

读取全景图像数据单元，用于读取存储在检测知识库及检测数据库中的全景图像数据；以爬行距离Z_m顺序读取全景图像。

全景图像展开单元，用于对读取的全景图像进行柱状展开处理；在全景图像展开单元中，根据全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点O**(0,0)、X*轴、Y*轴、全景图像的内径为r、外径为R，用r1＝(r+R)/2设定中间圆的半径，方位角为β＝tan^-1(y^*/x^*)；全景柱状展开图像以坐标原点O**(0,0)、X**轴、Y**轴为平面坐标系，将全景图像中的内径为r与X*轴的交点(r,0)作为坐标原点O**(0,0)，以方位角β顺时针方向展开；建立全景柱状展开图像中任意一点象素坐标P**(x**,y**)与全景图像中的象素坐标Q*(x*,y*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r))) (12)

y^*＝(y^**+r)cosβ (13)

上式中，x^**,y^**为全景柱状展开图像的象素坐标值，x^*,y^*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角；这里规定采用时钟时针位置来描述管道病害出现在管道环向的位置，因此规定展开的初始方位角β₀为时钟时针6点时刻，即正好处在地面中心。

边缘检测单元，采用边缘检测算法对全景柱状展开图像进行处理，具体用Canny算子遍历整个全景柱状展开图，淘汰掉面积相对较小的轮廓，得到管道病害的边缘信息，将所有在全景图像上较大轮廓内的像素注上标记，从而为筛选出在全景上管道缺陷图像部分做好准备。

面积计算单元，用于对注上标记全景柱状图像的轮廓进行处理，得到各区域的面积，计算方法由公式(14)计算，

式中，f_i(n,m)为标记了i值的像素，A_i为标记了i值的像素所构成的区域面积；

周长和圆形度计算单元，，用于对注上标记全景柱状图像的轮廓进行处理，得到各注上标记全景柱状图像的轮廓区域的周长，计算方法由公式(15)计算，

式中，ε_i(i＝0,1,2,3,4,5,6,7)代表8链码中8个方向的码元，L_i为标记了i值的像素所构成的区域周长；

各区域的圆形度用公式(16)进行计算，

式中，C_i为标记了i值区域的圆形度，A_i为标记了i值的像素所构成的区域面积，L_i为标记了i值的像素所构成的区域周长。

最小外接矩形计算单元，用于对注上标记全景柱状图像的轮廓进行处理，得到轮廓区域的最小外接矩形、最大主轴长度、最小主轴长度和角度；计算MER算法如下：

Step 1：按照直接计算方法计算某个轮廓区域的外接矩形，并记录外接矩形长度、宽度和面积，获取最小外接矩形RectMin，并得到其面积值赋给变量AreaMin，设置旋转角度α_R＝0°；

Step 2：对轮廓区域进行旋转一个角度即判断α_R≥180°，结束程序；

Step 3：计算旋转后的最小外接矩形RectTmp，获得其面积值赋给变量AreaTmp；

Step 4：判断AreaTmp＜AreaMin，如果条件成立则AreaMin＝AreaTmp，θ_iMaxA＝α_R，跳转到Step 2。

通过上述算法求得各区域的最小外接矩形后，矩形的长轴就是该区域的最大主轴长度L_iMaxA，矩形的短轴就是该区域的最小主轴长度L_iMinA，矩形的长轴在水平方向上的角度就是角度θ_iMaxA；最后利用最大主轴长度与最小主轴长度的比求得边界离心率。

基于全景展开图的管道各类疑似缺陷判定单元，根据公式(14)、(15)和(16)，以及各区域的最小外接矩形的几何特征信息，用表5所示的综合各类缺陷的几何特征进行判定，如果满足公式(17)条件，则初步判定为环形管道裂缝；

(A_i＜TA_i)AND(L_i＜TL_i)AND(C_i＜TC_i)AND(θ_iMaxA＜Tθ_iMaxA)＝true (17)

式中，A_i为区域面积，TA_i为区域面积阈值，L_i为区域周长，TL_i为区域周长阈值，C_i为区域的圆形度，TC_i为区域圆形度阈值，θ_iMaxA为区域的角度，Tθ_iMaxA为区域角度阈值；

如果满足公式(18)条件，则初步判定为纵向型管道裂缝；

(A_i＜TA_i)AND(L_i＜TL_i)AND(C_i＜TC_i)AND(θ_iMaxA＞Tθ_iMaxA+60°)＝true (18)

如果满足公式(19)条件，则初步判定为断裂/坍塌；

(A_i≥TA_i)AND(L_i≥TL_i)AND(C_i＜TC_i)AND(θ_iMaxA＞Tθ_iMaxA+60°)＝true (19)

如果满足公式(20)条件，则初步判定为突出接口；

(A_i≥TA_i)AND(L_i≥TL_i)AND(0.8＞C_i≥0.6)＝true (20)

如果满足公式(21)条件，则初步判定为支管暗接/错接；

(A_i≥TA_i)AND(L_i≥TL_i)AND(0.8＜C_i)＝true (21)

如果满足公式(22)条件，则初步判定为接口损坏、接口错位/脱节；

(L_i≥T1L_i)And(θ_iMaxA＜Tθ_iMaxA)＝true (22)

表5 基于全景展开图的管道各类疑似缺陷判定几何特征参数表

式中，T1L_i为区域周长阈值，该阈值为被检管道直径的1.5倍；

对于初步判定为管道疑似缺陷部位，在全景柱状展开图上做红色标记，以便人工最后确认；具体做法是将全景柱状展开图上的疑似缺陷部位边缘线像素的颜色改成红色；

全方位面激光信息解析单元，用于对激光扫描全景图像数据进行处理，在激光扫描全景图像上解析出激光投影信息并计算出空间位置信息，最终得到管道内壁边缘线；解析在激光扫描全景图像上的红色激光投射点的方法是根据红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将全景图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均亮度的1.2倍作为提取红色激光投射点的阈值，为了得到激光投射线的准确位置，本发明采用高斯近似方法来抽取出激光投射线的中心位置，具体实现算法是：

Step1：设置初始方位角β＝0；

Step2：在激光扫描全景图像上以方位角β从激光扫描全景图像的中心点开始检索红色激光投射点，对于方位角β上存在着若干个连续的红色激光投射的像素，这里选择HIS颜色空间中的I分量，即亮度值接近最高值的三个连续像素通过高斯近似方法来估算激光投射线的中心位置；具体计算方法由公式(26)给出，

式中，f(i-1)、f(i)和f(i+1)分别为三个相邻像素接近最高亮度值的亮度值，d为修正值，i表示从图像中心点开始的第i个像素点；因此估算得到的激光投射线的中心位置为(i+d)，该值对应于公式(24)中的||u″||；

Step3：用公式(24)计算出该激光投射点的入射角α_β，并根据激光扫描全景图像数据的文件名的信息，即以爬行距离Z_m+LASER为文件名的形式，得到摄像爬行系统沿管道纵向方向上的爬行距离Z_m，然后用公式(23)计算出摄像爬行系统沿管道纵向方向上的爬行距离Z_m和方位角β'＝β情况下在管道内壁上的激光投射点到主动式全景视觉传感器的中心轴线之间的距离d_(z,β)；最后用公式(27)计算该激光投射点的空间坐标位置值；

式中，Z_m为摄像爬行系统沿管道纵向方向上的爬行距离，H全景扫描光线到全方位视觉传感器的单视点O_m的直线距离，d_(z,β)为沿管道纵向方向上的位置Z_m和方位角β'＝β情况下在管道内壁上的激光投射点到主动式全景视觉传感器的中心轴线之间的距离，x,y,z分别为激光投射点相对于以全方位视觉传感器的单视点O_m的坐标值，β为方位角；

Step4：改变方位角继续检索激光投射点，即β＝β+Δβ，Δβ＝0.36；

Step5：判断方位角β＝360，如果成立，检索结束；反之转到Step2；

通过上述处理得到了管道横向截面的边缘信息；由于在检测过程中会存在着噪声以及管道内壁反射特性的影响，得到的管道横向截面的边缘信息会出现不连续的现象；因此需要通过局部连接法将不连续的管道横向截面的边缘进行连接，连接算法思想通过是比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边，用公式(28)和公式(29)来进行判断，

|α(x,y)-α(x',y')|≤A_α (29)

式中，为管道内壁邻域内的边界点梯度值，为待确认点梯度值，为梯度判断阈值，α(x,y)为管道内壁邻域内的边界点梯度向量的方向角，α(x',y')为待确认点梯度向量的方向角，A_α为梯度向量的方向角判断阈值。

当公式(28)和公式(29)都成立时，表示待确认点与管道内壁邻域内的边界点的梯度值和方向角都是相似的，两点是连接的，即待确认点是属于管道内壁上的点；通过上述处理得到了一条完整的封闭管道内壁边缘线；该管道内壁边缘线就是管道爬行器处于Z_m爬行距离时的管道横向截面线；

管道内壁横截面积的计算单元，用于计算被检测管道的内壁横截面积，管道横向截面的面积从全方位面激光信息解析模块中计算得到管道内壁边缘线进行加工计算，将管道内壁边缘线区域内像素标记为f(m,n)＝1，区域外标记为f(m,n)＝0，则面积用公式(30)进行计算，

式中，N为管道横向截面图像水平方向上像素的总数，M为管道横向截面图像垂直方向上像素的总数，A_AC为管道内壁边缘线所包围的像素总数；根据对全方位视觉传感器的标定结果，最后用公式(31)计算出管道横向截面的实际面积A_A，

A_A＝k_A×A_AC (31)

式中，A_AC为管道内壁边缘线所包围的像素总数，k_A为每个像素所对应的实际面积大小，A_A为管道横向截面的实际面积。

管道最小直径的计算单元，在全方位面激光信息解析模块中得到了沿管道纵向方向上的某一个位置Z'和某一个方位角β'情况下在管道内壁上的点到主动式全景视觉传感器的中心轴线之间的距离d_(z,β)；这里用方位角进行遍历，计算方法如下：

Step1：设置初始方位角β＝0；

Step2：计算D＝d_(z,β)+d_(z,β+180)，D→d_lim；

Step3：β+Δβ→β，判断β≥180，如果满足结束程序；

Step4：计算D＝d_(z,β)+d_(z,β+180)，判断D≥d_min，如果满足跳转到Step3；

Step5：D→d_min,跳转到Step3；

最后得到的d_min就是管道内壁的最小直径。

管道变形率计算单元，用于计算管道的变形率；在管道最小直径的计算单元中计算得到了管道内壁的最小直径d_min，管道的原有直径d_o为已知，通过公式(3)计算出管道的变形率η_D；

式中，d_o为排水管道的原有直径，d_min为变形后排水管道的最小直径；

管壁附着物、管底沉积物、其他障碍物和土壤进入检测单元，用于检测管道内的各类障碍物；

对于管道内树根所占的横截面积A_R，用管道的原有横断面积A减去公式(31)计算得到的管道横向截面的实际面积A_A进行估算，管道的原有横断面积A由管道的设计参数获得，对于圆形的管道用管道的原有直径d_o进行计算得到；通过公式(7-1)估算出管道的树根渗入率η_R；

式中，A_R为树根所占的横截面积，A为排水管道原有的横截面积；

对于管道内管壁附着物所占的横截面积A_AD，用管道的原有横断面积A减去公式(31)计算得到的管道横向截面的实际面积A_A进行估算，管道的原有横断面积A由管道的设计参数获得，对于圆形的管道用管道的原有直径d_o进行计算得到；通过公式(8-1)估算出管道的管壁附着物比率η_AD；

式中，A_AD为管壁附着物所占的横截面积，A为排水管道原有的横截面积。

对于管道内管底沉淀物所占的横截面积A_SD，用管道的原有横断面积A减去公式(31)计算得到的管道横向截面的实际面积A_A进行估算，管道的原有横断面积A由管道的设计参数获得，对于圆形的管道用管道的原有直径d_o进行计算得到；通过公式(9-1)估算出管道的管底沉淀物比率η_SD；

式中，A_SD为管底沉淀物所占的横截面积，A为排水管道原有的横截面积；

对于管道内障碍物所占的横截面积A_OS，用管道的原有横断面积A减去公式(31)计算得到的管道横向截面的实际面积A_A进行估算，管道的原有横断面积A由管道的设计参数获得，对于圆形的管道用管道的原有直径d_o进行计算得到；通过公式(10-1)估算出管道的管底沉淀物比率η_OS；

式中，A_OS为障碍物所占的横截面积，A为排水管道原有的横截面积。

对于管道内土壤堆积所占的横截面积A_IS，用管道的原有横断面积A减去公式(31)计算得到的管道横向截面的实际面积A_A进行估算，管道的原有横断面积A由管道的设计参数获得，对于圆形的管道用管道的原有直径d_o进行计算得到；通过公式(11-1)估算出管道的土壤堆积比率η_IS；

式中，A_IS为土壤堆积所占的横截面积，A为排水管道原有的横截面积。

在公式(7-1)、(8-1)、(9-1)和(10-1)还不能区分是哪一种异物进入了管道，为了要进一步区分进入管道的异物种类，需要在具有相同爬行距离Z_m的全景柱状展开图上用人工方式进行确认。

检测结果输出记录单元，用于对基于全景展开图的管道各类疑似缺陷判定单元和管壁附着物、管底沉积物、其他障碍物和土壤进入检测单元的检测结果进行标记输出，检测结果以TXT文件进行保存，文件名取摄像爬行器的爬行距离Z_m，保存在检测知识库及检测数据库中。

全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z)。

图3中的2－双曲线面镜，12－入射光线，13－双曲面镜的实焦点Om(0,0,c)，14－双曲面镜的虚焦点，即摄像单元6的中心Oc(0,0,-c)，15－反射光线，16－成像平面，17－实物图像的空间坐标A(X,Y,Z)，18－入射到双曲面镜面上的图像的空间坐标，19－反射在成像平面上的点P(x,y)。

图3中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1 当Z>0时 (37)

β＝tan-¹(Y/X) (39)

α＝tan-¹[(b²+c²)sinγ-2bc]/(b²+c²)cosγ (40)

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a,b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x,y表示在成像平面上的一个点。

实施例2

本实施例中，其余实现方式类同，所不同的是摄像爬行系统根据管道的情况有轮式、足式、爬行式、蠕动式和履带式多种方式。

实施例3

本实施例中，其余实现方式类同，所不同的是摄像爬行系统根据管道口径大小的情况调整固定主动式全景视觉传感器的安装高度，使得主动式全景视觉传感器的轴心线与管道的轴心线基本吻合。

实施例4

本实施例中，其余实现方式类同，所不同的是检测的应用对象不同，本发明应用于制造业或能源业中，对热交换器、蒸汽发生器、煤气输送等需要进行周期性检查，以防止各类腐蚀及沉淀物积累于管道内壁；对管道内部腐蚀、斑点、裂纹等进行快速定位与测量，在重大事故发生前予以防治维修。

实施例5

本实施例中，其余实现方式类同，所不同的是检测的应用的时机不同，本发明应用于管道建设后的验收。

实施例6

本实施例中，其余实现方式类同，所不同的是应用目的不同，本发明直接应用于地下管道的三维建模，能为智慧城市的建设提供数据支撑。

Claims (10)

1.一种基于主动式全景视觉的管道内部缺陷检测装置，包括摄像爬行系统和检测分析系统，其特征在于，

所述的摄像爬行系统包括在管道内行走的爬行器，安装在爬行器上的主动式全景视觉传感器和长度测量仪；

所述的主动式全景视觉传感器包括同轴固定的投射照明光源和用于采集全景图像的全方位视觉传感器；

所述的投射照明光源包括底座，安装在底座上的LED光源，用于发出圆圈激光的圆圈形激光发射器，以及用于反射圆圈激光为管道内壁提供管道断截面全景扫描光的圆锥形镜面；

所述的检测分析系统包括：

爬行距离估算单元，通过读取长度测量仪的数据来估算爬行器的爬行距离；

电源设备控制单元，用于控制所述圆圈形激光发射器和LED光源的开关；

存储控制单元，当圆圈形激光发射器和LED光源单独开启时，分类保存所述的全景图像，生成全景图像数据和激光扫描全景图像数据；

缺陷检测模块，以爬行距离Z_m为顺序读取全景图像数据并进行柱状展开处理，将展开后全景图像的较大轮廓内的像素注上标记，并计算各区域的面积以及轮廓区域的最小外接矩形、最大主轴长度、最小主轴长度和角度，然后根据各区域的最小外接矩形的几何特征信息，结合各类缺陷的几何特征，对缺陷进行判定；

障碍物检测模块，对激光扫描全景图像数据进行处理，解析出激光投影信息并计算空间位置信息，得到管道内壁边缘线，通过计算管道的内壁横截面积和最小直径，来检测管道内的各类障碍物。

2.一种基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，包括：

图像数据采集：驱动摄像爬行系统在管道内爬行，在LED光源单独开启时，利用全方位视觉传感器采集管道内的全景图像数据，在圆圈形激光发射器单独开启时，采集激光扫描全景图像数据；

缺陷分析检测：用于根据所述的全景图像数据，对缺陷进行判定，具体步骤如下：

(1.1)以摄像爬行系统在管道内的爬行距离Z_m顺序读取全景图像数据；

(1.2)对读取的全景图像进行柱状展开处理，并采用边缘检测算法对全景柱状展开图像进行处理，淘汰掉面积相对较小的轮廓，得到管道病害的边缘信息，并将所有较大轮廓内的像素注上标记；

(1.3)计算各轮廓区域的面积、周长和圆形度，以及轮廓区域的最小外接矩形的几何特征信息；

(1.4)根据所述最小外接矩形的几何特征信息，结合各类缺陷的几何特征，对缺陷进行判定；

障碍物分析检测，用于根据所述的激光扫描全景图像数据，检测管道内的障碍物类型，具体步骤如下：

(2.1)对激光扫描全景图像数据进行处理，在激光扫描全景图像上解析出激光投影信息并计算出空间位置信息，得到管道内壁边缘线；

(2.2)根据所述的管道内壁边缘线，计算被检测管道的内壁横截面积和管道最小直径；

(2.3)利用管道最小直径计算出管道的变形率η_D，判别管道内的障碍物种类。

3.如权利要求2所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，在所述的图像数据采集过程中，摄像爬行系统的协调控制步骤如下：

STEP A)爬行器放入被检测的管道内，输入被检管道直径d_o，读取长度测量仪的长度数据L₀和被检管道的长度L_L0，根据被检管道直径d_o用公式(1)计算爬行器暂歇移动间隔阈值T_z以保障所拍摄的管道内壁环状全景图是连续的；

T_z≤d₀×(sinα_max+sinα_min)/2 (1)

式中，d₀为被检管道直径，α_max为主动式全景视觉传感器的仰角，α_min为主动式全景视觉传感器的俯角；

STEP B)开启LED照明电源同时关闭激光投射电源，主动式全景视觉传感器抓拍全景图像，并将所抓拍的全景图像以爬行器的爬行距离Z作为文件名存储为全景图像数据，爬行器的爬行距离计算由公式(2)所示，

Z_m＝L-L₀ (2)

式中，L为长度测量仪现在的长度数据，L₀为爬行器放入被检测的管道内开始移动前的长度数据，Z_m为爬行器的爬行距离；

STEP C)电源控制设备关闭LED照明电源同时开启激光投射电源，控制爬行器以恒速移动，i＝0,ΔZ(0)＝Z_m；

STEP D)读取长度测量仪的长度数据L，用公式(2)计算爬行器的爬行距离Z，主动式全景视觉传感器抓拍全景图像，并将所抓拍的全景图像以爬行距离Z+LASER作为文件名存储为激光扫描全景图像数据，计算：

i＝i+1,ΔZ(i)＝Z_m,ΔZ＝ΔZ(i)-ΔZ(0)，i为以Z+LASER文件名中存储的第i个激光扫描全景图像的标识，ΔZ(i)为以Z+LASER文件名中存储的第i个激光扫描全景图像的距离标识；

STEP E)判断ΔZ≤T_z是否成立，若成立跳转到STEP D)；

STEP F)判断Ζ_m＜L_L0是否成立，若成立停止爬行器移动，否则跳转到STEP B)。

4.如权利要求2所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，在全景图像展开处理中，根据全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点O**(0,0)、X*轴、Y*轴、全景图像的内径为r、外径为R，用r1＝(r+R)/2设定中间圆的半径，方位角为β＝tan^-1(y^*/x^*)；全景柱状展开图像以坐标原点O**(0,0)、X**轴、Y**轴为平面坐标系，将全景图像中的内径为r与X*轴的交点(r,0)作为坐标原点O**(0,0)，以方位角β顺时针方向展开；建立全景柱状展开图像中任意一点象素坐标P**(x**,y**)与全景图像中的象素坐标Q*(x*,y*)的对应关系：

x^*＝y^*/(tan(360x^**/π(R+r))) (12)

y^*＝(y^**+r)cosβ (13)

上式中，x^**,y^**为全景柱状展开图像的象素坐标值，x^*,y^*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角。

5.如权利要求2所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，各轮廓区域的面积计算公式(14)如下：

$A_i=\underset{n=0}{\overset{N}{\Σ}}\underset{m=0}{\overset{M}{\Σ}}{f}_i(n,m)---\left(14\right)$

式中，f_i(n,m)为标记了i值的像素，A_i为标记了i值的像素所构成的区域面积；

各区域的周长由8链码进行换算，由公式(15)进行计算，

$L_i=\underset{j=0}{\overset{Q}{\Σ}}{l}_j---\left(15\right)$

式中，ε_i(i＝0,1,2,3,4,5,6,7)代表8链码中8个方向的码元，Q为区域像素总数，L_i为标记了i值的像素所构成的区域周长；

各区域的圆形度用公式(16)进行计算，

$C_i=4\mathrm{\π}\frac{A_i}{L_i^2}---\left(16\right)$

式中，C_i为标记了i值区域的圆形度，A_i为标记了i值的像素所构成的区域面积，L_i为标记了i值的像素所构成的区域周长。

6.如权利要求5所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，所述的轮廓区域的最小外接矩形算法如下：

Step 1：按照直接计算方法计算某个轮廓区域的外接矩形，并记录外接矩形长度、宽度和面积，获取最小外接矩形RectMin，并得到其面积值赋给变量AreaMin，设置旋转角度α_R＝0°；

Step 2：对轮廓区域进行旋转一个角度即判断α_R≥180°，结束程序；

Step 3：计算旋转后的最小外接矩形RectTmp，获得其面积值赋给变量AreaTmp；

Step 4：判断AreaTmp＜AreaMin，如果条件成立则AreaMin＝AreaTmp，θ_iMaxA＝α_R，跳转到Step 2；

通过上述算法求得各区域的最小外接矩形后，矩形的长轴就是该区域的最大主轴长度L_iMaxA，矩形的短轴就是该区域的最小主轴长度L_iMinA，矩形的长轴在水平方向上的角度就是角度θ_iMaxA，最后利用最大主轴长度与最小主轴长度的比求得边界离心率。

7.如权利要求6所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，根据公式(14)、公式(15)和公式(16)，以及各区域的最小外接矩形的几何特征信息，各类缺陷的几何特征进行判定，具体判定原则如下：

如果满足公式(17)条件，则初步判定为环形管道裂缝；

(A_i＜TA_i)AND(L_i＜TL_i)AND(C_i＜TC_i)AND(θ_iMaxA＜Tθ_iMaxA)＝true (17)

式中，A_i为区域面积，TA_i为区域面积阈值，L_i为区域周长，TL_i为区域周长阈值，C_i为区域的圆形度，TC_i为区域圆形度阈值，θ_iMaxA为区域的角度，Tθ_iMaxA为区域角度阈值；

如果满足公式(18)条件，则初步判定为纵向型管道裂缝；

(A_i＜TA_i)AND(L_i＜TL_i)AND(C_i＜TC_i)AND(θ_iMaxA＞Tθ_iMaxA+60°)＝true (18)

如果满足公式(19)条件，则初步判定为断裂/坍塌；

(A_i≥TA_i)AND(L_i≥TL_i)AND(C_i＜TC_i)AND(θ_iMaxA＞Tθ_iMaxA+60°)＝true (19)

如果满足公式(20)条件，则初步判定为突出接口；

(A_i≥TA_i)AND(L_i≥TL_i)AND(0.8＞C_i≥0.6)＝true (20)

如果满足公式(21)条件，则初步判定为支管暗接/错接；

(A_i≥TA_i)AND(L_i≥TL_i)AND(0.8＜C_i)＝true (21)

如果满足公式(22)条件，则初步判定为接口损坏、接口错位/脱节；

(L_i≥T1L_i)And(θ_iMaxA＜Tθ_iMaxA)＝true (22)。

8.如权利要求2所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，管道横向截面的边缘信息的具体实现算法如下：

Step1：设置初始方位角β＝0；

Step2：在激光扫描全景图像上以方位角β从激光扫描全景图像的中心点开始检索激光投射点，对于方位角β上存在着若干个连续的激光投射的像素，选择HIS颜色空间中的I分量，即亮度值接近最高值的三个连续像素通过高斯近似方法来估算激光投射线的中心位置；具体计算方法由公式(26)给出，

$d=\frac{ln\left(f\right(i-1))-ln\left(f\right(i+1))}{2\×\[ln\left(f\right(i-1))-2ln\left(f\right(i))+ln\left(f\right(i+1))\]}---26)$

式中，f(i-1)、f(i)和f(i+1)分别为三个相邻像素接近最高亮度值的亮度值，d为修正值，i表示从图像中心点开始的第i个像素点；因此估算得到的激光投射线的中心位置为(i+d)；

Step3：计算出该激光投射点的入射角α_β，并根据激光扫描全景图像数据的文件名的信息，即以爬行距离Z_m+LASER为文件名的形式，得到摄像爬行系统沿管道纵向方向上的爬行距离Z_m，然后计算出摄像爬行系统沿管道纵向方向上的爬行距离Z_m和方位角β'＝β情况下在管道内壁上的激光投射点到主动式全景视觉传感器的中心轴线之间的距离d_(z,β)；最后用公式(27)计算该激光投射点的空间坐标位置值；

$\left\{\begin{array}{c}z=Z_m-H\\ y=d_{(z,\mathrm{\β})}\×\sin \mathrm{\β}\\ x=d_{(z,\mathrm{\β})}\×\cos \mathrm{\β}\end{array}\right.---\left(27\right)$

式中，Z_m为摄像爬行系统沿管道纵向方向上的爬行距离，H全景扫描光线到全方位视觉传感器的单视点O_m的直线距离，d_(z,β)为沿管道纵向方向上的位置Z_m和方位角β'＝β情况下在管道内壁上的激光投射点到主动式全景视觉传感器的中心轴线之间的距离，x,y,z分别为激光投射点相对于以全方位视觉传感器的单视点O_m的坐标值，β为方位角；

Step4：改变方位角继续检索激光投射点，即β＝β+Δβ，Δβ＝0.36；

Step5：判断方位角β＝360，如果成立，检索结束；反之转到Step2；

通过上述处理得到了管道横向截面的边缘信息；由于在检测过程中会存在着噪声以及管道内壁反射特性的影响，得到的管道横向截面的边缘信息会出现不连续的现象；因此需要通过局部连接法将不连续的管道横向截面的边缘进行连接，连接算法是比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边，用公式(28)和公式(29)来进行判断，

$|\▿f(x,y)-\▿f(x^{\′},y^{\′})|\≤T_{\▿}---\left(28\right)$

$|\mathrm{\α}(x,y)-\mathrm{\α}(x^{\′},y^{\′})|\≤A_{\mathrm{\α}}---\left(29\right)$

式中，为管道内壁邻域内的边界点梯度值，为待确认点梯度值，T_▽为梯度判断阈值，α(x,y)为管道内壁邻域内的边界点梯度向量的方向角，α(x',y')为待确认点梯度向量的方向角，A_α为梯度向量的方向角判断阈值；

当公式(28)和公式(29)都成立时，表示待确认点与管道内壁邻域内边界点的梯度值和方向角都是相似的，两点是连接的，即待确认点是属于管道内壁上的点；通过上述处理得到了一条完整的封闭管道内壁边缘线，该管道内壁边缘线就是管道爬行器处于Z_m爬行距离时的管道横向截面线。

9.如权利要求2所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，被检测管道的内壁横截面积的计算过程为：

将管道内壁边缘线区域内像素标记为f(m,n)＝1，区域外标记为f(m,n)＝0，则面积用公式(30)进行计算，

$A_{AC}=\underset{n=0}{\overset{N-1}{\Σ}}\underset{m=0}{\overset{M-1}{\Σ}}f(m,n)---\left(30\right)$

式中，N为管道横向截面图像水平方向上像素的总数，M为管道横向截面图像垂直方向上像素的总数，A_AC为管道内壁边缘线所包围的像素总数；根据对全方位视觉传感器的标定结果，最后用公式(31)计算出管道横向截面的实际面积A_A，

A_A＝k_A×A_AC (31)

式中，A_AC为管道内壁边缘线所包围的像素总数，k_A为每个像素所对应的实际面积大小，A_A为管道横向截面的实际面积。

10.如权利要求9所述的基于主动式全景视觉的管道内部缺陷检测方法，其特征在于，所述管道的变形率η_D计算公式为：

${\mathrm{\η}}_D=\frac{d_o-d_{min}}{d_o}\×100\%---\left(3\right)$

式中，d_o为管道的原有直径，d_min为变形后管道的最小直径。