CN114742797A - 排水管道内壁全景图像的缺陷检测方法和图像采集机器人 - Google Patents

Abstract

本申请公开了一种排水管道内壁全景图像的缺陷检测方法和图像采集机器人，其中，方法包括：通过获取由管道内壁图像采集机器人采集的排水管道内的采集图像；利用预设的管道内壁全景图像展开算法对采集图像进行展开，得到排水管道的管道全景展开图像；从管道全景展开图像中提取缺陷特征，识别排水管道的实际缺陷位置，并生成管道缺陷结果。本申请的实施例通过管道内的全景图像进行缺陷检测，消除了人工检测的主观因素对检测结果的影响，提高了管道检测结果的可靠性和检测过程的敏捷性。由此，解决了传统CCTV检测时间受检测人员个人因素和管道内缺陷数量影响等问题。

Description

排水管道内壁全景图像的缺陷检测方法和图像采集机器人

技术领域

本申请涉及管道检测技术领域，特别涉及一种排水管道内壁全景图像的缺陷检测方法和图像采集机器人。

背景技术

闭路电视(Closed Circuit Television，CCTV)又被称为视频监控，是一种利用摄像头进行拍摄并将其信号传输到监视器中，实现对某特定区域进行实时监控的技术。在排水管道检测中，CCTV多指基于上述原理所开发的管道检测机器人，它可以由管道检测人员远程操控，并将摄像头拍摄到的管道内部图像实时回传到监视器中，使检测人员不必进入管道就可以对管道内部的情况获得直观的了解。CCTV视频检测是目前城市排水管道检测所使用的最主要的检测方法，自20世纪50年代CCTV视频检测机器人的概念提出以来，其性能已经历了长足的发展。

CCTV检测可以非常稳定地向外界输出管道内部的图像数据，且其输出的图像数据能够直观地反应管道内部的情况，是管道缺陷评价的良好依据。

然而，相关技术中传统CCTV机器人摄像头的视场角较小，操作人员常常要不断调整摄像头的位置和角度，以对可能出现缺陷的地方进行定位和仔细观察，因此在管道缺陷处和管道接口处工作人员需要操作机器人频繁停下，并旋转摄像头拍摄完整的缺陷或管道接缝，对放置于管道内部的监控设备进行实时操控，因此检测所需的时间会受到检测人员个人因素和管道内缺陷数量的影响，检测人员的熟练度越低，管道内缺陷数量越多，则CCTV管道机器人在管道内工作时间过长；而且，CCTV拍摄的检测视频需要专业人员不跳过的完整观看，并判断管道缺陷的位置和严重程度，而长时间的观看检测视频会严重影响检测人员的效率和准确性。此外，由于视频画面是检测人员判断管道缺陷的唯一依据，检测人员无法根据视频画面客观的了解破损的实际尺寸，因此判断管道缺陷的严重程度带有较强的主观性。

综上，利用CCTV进行检测时，仍然存在着检测结果受操作人员个人因素影响，检测效率受管道状况影响等问题，针对这些问题，亟需开发新的检测技术以提高管道检测结果的可靠性和检测过程的敏捷性。

发明内容

本申请提供一种排水管道内壁全景图像的缺陷检测方法和图像采集机器人，以解决传统CCTV检测时间受检测人员个人因素和管道内缺陷数量影响等问题。

本申请第一方面实施例提供一种排水管道内壁全景图像的缺陷检测方法，包括以下步骤：获取由管道内壁图像采集机器人采集的排水管道内的采集图像；利用预设的管道内壁全景图像展开算法对所述采集图像进行展开，得到所述排水管道的管道全景展开图像；从所述管道全景展开图像中提取缺陷特征，识别所述排水管道的实际缺陷位置，并生成管道缺陷结果。

可选地，在本申请的一个实施例中，所述获取由管道内壁图像采集机器人采集的排水管道内的采集图像之前，还包括：利用所述管道内壁图像采集机器人采集图像时的姿态数据对所述采集图像进行校准，纠正所述采集图像的偏移。

可选地，在本申请的一个实施例中，所述利用预设的管道内壁全景图像展开算法对所述采集图像进行展开，得到所述排水管道的管道全景展开图像，包括：识别所述采集图像的圆心，得到所述采集图像的消失点；计算所述消失点在采集图像矩阵中的坐标，以所述消失点的坐标为圆心，预设像素长度为半径对所述采集图像进行环切，得到所述采集图像的图像有效区域；根据预设的展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系，对所述采集图像的图像有效区域内的各像素进行映射，得到所述管道全景展开图像。

可选地，在本申请的一个实施例中，所述根据预设的展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系，对所述采集图像的图像有效区域内的各像素进行映射之前，还包括：建立所述采集图像矩阵和所述展开图像矩阵；生成所述采集图像的像素点在所述采集图像矩阵和极坐标系下的第一对应关系；生成所述展开图像的像素点在所述展开图像矩阵和极坐标系下的第二对应关系；基于所述第一对应关系和所述第二对应关系建立所述展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系。

可选地，在本申请的一个实施例中，从所述管道全景展开图像中提取缺陷特征之前，还包括：利用预设的成像模型和最邻近插值法对所述管道全景展开图像沿竖直方向进行拉伸处理，去除所述管道全景展开图像的径向畸变；提取所述管道全景展开图像中的特征点或特征线段进行位置标定，利用标定的所述特征点或特征线段的位置和理想图像中计算的位置对畸变函数进行拟合，利用所述畸变函数建立所述管道全景展开图像与所述理想图像中每个像素点的第三对应关系，利用所述第三对应关系对所述管道全景展开图像进行校准。

可选地，在本申请的一个实施例中，从所述管道全景展开图像中提取缺陷特征之前，还包括：计算相邻两张管道全景展开图像间的位置距离，将所述位置距离转换为步长，根据所述步长对所述管道全景展开图像进行拼接。

本申请第二方面实施例提供一种管道内壁图像采集机器人，包括：数据采集模块，用于根据数据采集指令采集排水管道内的采集图像；动力模块，用于根据所述机器人的移动路线驱动所述机器人移动；供电模块，用于为所述机器人提供电能；控制模块，用于生成所述机器人的移动路线，生成所述数据采集指令以及利用预设的管道内壁全景图像展开算法对所述采集图像进行展开，得到所述排水管道的管道全景展开图像，从所述管道全景展开图像中提取缺陷特征，识别所述排水管道的实际缺陷位置，并生成管道缺陷结果。

可选地，在本申请的一个实施例中，所述数据采集模块包括：广角摄像头，用于采集所述排水管道内的采集图像；姿态传感器，用于记录所述管道内壁图像采集机器人采集图像时的姿态数据。

可选地，在本申请的一个实施例中，所述控制模块，进一步用于，利用所述姿态数据对所述采集图像进行校准，纠正所述采集图像的偏移。

可选地，在本申请的一个实施例中，还包括：可伸缩支撑架，用于调节所述机器人距离所述排水管道底部的距离；照明模块，用于通过多个照明角度为所述排水管道内部提供照明；

可选地，在本申请的一个实施例中，所述控制模块进一步用于，识别所述采集图像的圆心，得到所述采集图像的消失点；计算所述消失点在采集图像矩阵中的坐标，以所述消失点的坐标为圆心，预设像素长度为半径对所述采集图像进行环切，得到所述采集图像的图像有效区域；根据预设的展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系，对所述采集图像的图像有效区域内的各像素进行映射，得到所述管道全景展开图像。

可选地，在本申请的一个实施例中，所述控制模块进一步用于，建立所述采集图像矩阵和所述展开图像矩阵；生成所述采集图像的像素点在所述采集图像矩阵和极坐标系下的第一对应关系；生成所述展开图像的像素点在所述展开图像矩阵和极坐标系下的第二对应关系；基于所述第一对应关系和所述第二对应关系建立所述展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系。

可选地，在本申请的一个实施例中，所述控制模块进一步用于，利用预设的成像模型和最邻近插值法对所述管道全景展开图像沿竖直方向进行拉伸处理，去除所述管道全景展开图像的径向畸变；提取所述管道全景展开图像中的特征点或特征线段进行位置标定，利用标定的所述特征点或特征线段的位置和理想图像中计算的位置对畸变函数进行拟合，利用所述畸变函数建立所述管道全景展开图像与所述理想图像中每个像素点的第三对应关系，利用所述第三对应关系对所述管道全景展开图像进行校准。

可选地，在本申请的一个实施例中，所述控制模块进一步用于，计算相邻两张管道全景展开图像间的位置距离，将所述位置距离转换为步长，根据所述步长对所述管道全景展开图像进行拼接。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的排水管道内壁全景图像的缺陷检测方法。

本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的排水管道内壁全景图像的缺陷检测方法。

由此，本申请实施例至少具有如下有益效果：

利用预设的管道内壁全景图像展开算法对由管道内壁图像采集机器人采集的排水管道内的采集图像进行展开，得到排水管道的管道全景展开图像；从管道全景展开图像中提取缺陷特征，识别排水管道的实际缺陷位置，并生成管道缺陷结果。通过管道内的全景图像进行缺陷检测，消除了人工检测的主观因素对检测结果的影响，提高了管道检测结果的可靠性和检测过程的敏捷性。由此，解决了传统CCTV检测时间受检测人员个人因素和管道内缺陷数量影响，且检测人员需长时间观看视频，效率低下，以及无法根据视频画面客观的了解破损的实际尺寸等问题。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种排水管道内壁全景图像的缺陷检测方法的流程图；

图2为根据本申请一个实施例提供的一种缺陷检测机器人数据采集功能所用的排水管道实物图；

图3为根据本申请一个实施例提供的一种鱼眼摄像头的拍摄效果图；

图4为根据本申请一个实施例提供的一种排水管道内壁全景图像的缺陷检测机器人的设计与制作及全景图像展开算法的设计与实现的执行逻辑示意图；

图5为根据本申请一个实施例提供的一种管道内壁全景图像展开算法框架示意图；

图6为根据本申请一个实施例提供的一种采集图像消失点检测效果图；

图7为根据本申请一个实施例提供的一种采集图像经剪裁所得到的图像有效区域示意图；

图8为根据本申请一个实施例提供的一种采集图像像素矩阵示意图；

图9为根据本申请一个实施例提供的一种展开图像像素矩阵示意图；

图10为根据本申请一个实施例提供的一种经图像展开算法处理后的展开示意图；

图11为根据本申请一个实施例提供的一种排水管道中鱼眼镜头的成像模型示意图；

图12为根据本申请一个实施例提供的一种基于鱼眼镜头成像模型的展开图像去畸变处理效果图；

图13为根据本申请一个实施例提供的一种基于图像标定的展开图像去畸变处理效果图；

图14为根据本申请一个实施例提供的一种管道内壁全景展开图示意图；

图15为根据本申请一个实施例提供的一种图像拼接算法原理图；

图16为根据本申请一个实施例提供的一种经图像拼接得到的管道内壁全景展开效果图；

图17为根据本申请实施例的排水管道内壁全景图像的缺陷检测机器人的示例图；

图18为根据本申请一个实施例提供的一种鱼眼摄像头及姿态传感器装载架结构示意图；

图19为根据本申请一个实施例提供的一种可伸缩支撑腿结构示意图；

图20为根据本申请一个实施例提供的一种照明灯装载架结构示意图；

图21为根据本申请一个实施例提供的一种支撑腿三脚架结构示意图；

图22为根据本申请一个实施例提供的一种电机装载架结构示意图；

图23为申请实施例提供的电子设备的结构示意图。

附图标记说明：数据采集模块-100、动力模块-200、供电模块-300、控制模块-400、存储器-2301、处理器-2302、通信接口-2303。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的排水管道内壁全景图像的缺陷检测方法、装置、电子设备及存储介质。针对上述背景技术中提到的问题，本申请提供了一种排水管道内壁全景图像的缺陷检测方法，在该方法中，利用预设的管道内壁全景图像展开算法对由管道内壁图像采集机器人采集的排水管道内的采集图像进行展开，得到排水管道的管道全景展开图像；从管道全景展开图像中提取缺陷特征，识别排水管道的实际缺陷位置，并生成管道缺陷结果。通过管道内的全景图像进行缺陷检测，消除了人工检测的主观因素对检测结果的影响，提高了管道检测结果的可靠性和检测过程的敏捷性。由此，解决了传统CCTV检测时间受检测人员个人因素和管道内缺陷数量影响，且检测人员需长时间观看视频，效率低下，以及无法根据视频画面客观的了解破损的实际尺寸等问题。

具体而言，图1为本申请实施例所提供的一种排水管道内壁全景图像的缺陷检测方法的流程图。

如图1所示，该排水管道内壁全景图像的缺陷检测方法包括以下步骤：

在步骤S101中，获取由管道内壁图像采集机器人采集的排水管道内的采集图像。

为了对排水管道内的缺陷进行检测，本申请的实施例利用管道内壁图像采集机器人对排水管道内的图像进行采集。

在本申请的实施例中，设计了一种管道内壁图像采集机器人，主要由照明模块(如灯管)、电机、广角摄像头(如鱼眼摄像头)、姿态传感器和树莓派等硬件设施以及搭载在树莓派上的相应软件，如OpenCV、Python编辑器等构成，可以实现广角图像拍摄、运动数据信息获取、移动和数据采集控制及运动控制的功能，并开发相应的控制程序以使各个功能元件协同工作，此外，图像采集机器人的数据采集功能所用的排水管道如图2所示。

可以理解的是，排水管道内图像可以通过鱼眼摄像头采集获取，由于鱼眼摄像头较双目或深度摄像头等非广角摄像头而言，其视场角较大，在图像采集过程中无需中途停止以旋转摄像头调整视角，即可采集完整的管道数据，从而大大减少机器人在管道内的作业时间，其拍摄效果如图3所示。

在本申请的实施例中，所获取的数据除鱼眼摄像头采集的图像数据外，还包括树莓派记录的图像拍摄的时间数据以及姿态传感器采集机器人的运动数据。树莓派作为获取排水管道内壁全景图像，并进行缺陷检测的核心部件，控制着姿态传感器和鱼眼摄像头。

可以理解的是，本申请的实施例首先在树莓派上搭建软件环境，如编译安装OpenCV视觉库、搭建Python开发环境以及在虚拟环境下安装numpy等，并接收鱼眼摄像头和姿态传感器所传递的图像和运动数据，以备对上述数据进行后续处理。此外，本申请的实施例通过多线程的方式对摄像头和姿态传感器的控制程序进行同步运行并记录数据，使得所获取的姿态数据与图像数据相对应，避免了数据获取过程存在延迟，提高后续图像处理的精度和实时性能。

可选地，在本申请的一个实施例中，通过管道内壁图像采集机器人采集到排水管道内的图像后，还可以利用管道内壁图像采集机器人采集图像时的姿态数据对采集图像进行校准，纠正采集图像的偏移。可以理解的是，管道内壁图像采集机器人在采集图像的过程中姿态可能会发生变化，导致采集到的图像存在水平偏移，因此，本申请的实施例结合采集图像过程中的姿态数据对采集图像进行校准，提高图像展开结果的精确性和缺陷检测的准确度。

在步骤S102中，利用预设的管道内壁全景图像展开算法对采集图像进行展开，得到排水管道的管道全景展开图像。

在步骤S103中，从管道全景展开图像中提取缺陷特征，识别排水管道的实际缺陷位置，并生成管道缺陷结果。

本申请的实施例为了提高排水管道缺陷检测的效率和准确性，本申请的实施例利用管道内壁全景图像展开算法对采集的管道图像进行展开。如图4所示，分为两个部分，首先获取管道内的采集图像，可以利用上述实施例介绍的管道内壁图像采集机器人进行获取。

在管道内壁图像采集机器人获取到采集图像数据、时间数据以及姿态数据后，为了向检测人员提供更直观的管道图像信息，在本申请的实施例中，通过对管道内壁图像采集机器人所拍摄的原始图像的特点，如图像的尺寸等进行分析，根据该特点设计管道内壁图像全景展开算法。

上述算法处理步骤主要包括识别图像圆心、图像展开、展开图像去畸变和图像拼接等，以生成一张包含有管道内壁完整信息的全景展开图像，后续将对上述具体过程进行详细介绍。

需要注意的是，本申请的实施例可以通过基于Python编程语言以及OpenCV和numpy等图像处理模块对所设计的管道内壁全景展开算法进行实现，同样，本领域技术人员在实现过程中也可使用C++或C#等编程语言，通过MATLAB或HALCON等计算机视觉库对上述图像数据信息进行处理，于此不做具体限定。

可选地，在本申请的一个实施例中，利用预设的管道内壁全景图像展开算法对采集图像进行展开，得到排水管道的管道全景展开图像，包括：识别采集图像的圆心，得到采集图像的消失点；计算消失点在采集图像矩阵中的坐标，以消失点的坐标为圆心，预设像素长度为半径对采集图像进行环切，得到采集图像的图像有效区域；根据预设的展开图像矩阵中各像素点位置与采集图像矩阵中各像素点位置的映射关系，对采集图像的图像有效区域内的各像素进行映射，得到管道全景展开图像。

在获取上述采集图像数据和姿态数据等信息后，结合上述数据信息并利用OpenCV和numpy等图像处理模块进行图像处理，以获取管道全景展开图像。管道内壁全景图像展开算法框架如图5所示，包括识别图像圆心、图像环切、图像处理以及输出展开图像等。

需要注意的是，在进行图像处理前，需将所拍摄到的采集图像通过Python程序等方法输入到一固定文件夹中，并以有规律地的命名格式对其进行命名，如1-jpg，2-jpg，...，n-jpg，以使得后续能够按照顺序读取图像数据。

进一步地，按照顺序从上述文件夹中依次读取图像数据，并识别上述采集图像的圆心。具体地，由于在实际操作过程中，管道内壁图像采集机器人的摄像头很难非常准确的保持在管道中轴线上，而是随着机器人的运动会产生一定幅度的抖动，导致拍摄图像时镜头不一定会对准管道横截面的中心。所以有必要根据图像特点对文件夹中采集图像的消失点进行检测，采集图像消失点检测效果如图6所示，并对其位置进行计算以作为图像剪裁的参数和依据。举例而言，本申请的实施例可以首先通过对采集图像进行中值滤波以及二值化操作以去除噪声，其次利用霍夫变换方法结合Canny算子，调用OpenCV中HoughCircles()函数，通过设定适当的Canny边缘检测的最大阈值以及检测阶段圆心累加器阈值等，进行圆心识别，以获取消失点的位置。

在得到消失点位置后，便可计算出其在采集图像的图像矩阵中的坐标，之后需进行图像环切操作。具体地，以上述消失点在图像中的坐标表示的像素点为圆心，并以设定的像素长度为半径对采集图像进行剪裁，举例而言，可以在Python编程环境下，利用OpenCV库中的裁剪函数，根据上述半径和圆心坐标设定函数参数值，以执行裁剪操作，得到采集图像的有效区域，裁剪效果如图7所示。

可选地，在本申请的一个实施例中，根据预设的展开图像矩阵中各像素点位置与采集图像矩阵中各像素点位置的映射关系，对采集图像的图像有效区域内的各像素进行映射之前，还包括：建立采集图像矩阵和展开图像矩阵；生成采集图像的像素点在采集图像矩阵和极坐标系下的第一对应关系；生成展开图像的像素点在展开图像矩阵和极坐标系下的第二对应关系；基于第一对应关系和第二对应关系建立展开图像矩阵中各像素点位置与采集图像矩阵中各像素点位置的映射关系。

在本申请的实施例中，通过图像环切操作后，便得到图像的有效区域，对上述图像的有效区域进行展开，得到管道全景展开图像。

具体地，图像展开指的是让一段管道内壁曲面和一个与其尺寸相当的平面按一定规则形成映射关系，并根据这种映射关系将管道内壁图像采集机器人所拍摄的某一张描述管道内壁曲面的图像转换成一张描述管道内壁展开平面的图像。为了明确这种映射关系，需要建立相应的坐标系对采集图像和展开图像上像素的位置进行分析，建立的坐标系如图8、图9所示。

采集图像矩阵中任意像素点所在的位置由行数polar_i和列数polar_j来表示，在极坐标系下则由角度θ和以像素数计算的距离r表示。展开图像矩阵中任意像素所在的位置以cart_i和cart_j来表示，其关系如下式所示：

r＝cart_i (2)

式中：

θ：采集图像极坐标系下的坐标角度；

r：采集图像极坐标系下的像素距离；

cart_i：展开图像矩阵某像素所在的行数；

cart_j：展开图像矩阵某像素所在的列数；

polar_i：采集图像矩阵中某像素所在的行数；

polar_j：采集图像矩阵中某像素所在的列数；

polar_rows：采集图像矩阵的总行数；

polar_cols：采集图像矩阵的总列数。

根据上式确立了展开图像矩阵中各像素点位置与采集图像矩阵中各像素点位置的映射关系，再将采集图像矩阵中各像素按此映射关系赋值给展开图像矩阵中的各像素，即可获得经图像展开处理的展开图像，如图10所示。

通过上述对采集图像数据进行图像圆心识别、图像环切以及图像展开处理后，便获得了经图像展开处理的局部展开图像。

本领域技术人员可以理解的是，由于本申请实施例中使用的为鱼眼摄像头，虽然该类摄像头视场角较大，但其由多个透镜构成，通过扭曲图像中的视线来实现这种广角视角，因此其畸变程度也较大，故而必须对所获取的图片进行去畸变处理。

可选地，在本申请的一个实施例中，从管道全景展开图像中提取缺陷特征之前，还包括：利用预设的成像模型和最邻近插值法对管道全景展开图像沿竖直方向进行拉伸处理，去除管道全景展开图像的径向畸变；提取管道全景展开图像中的特征点或特征线段进行位置标定，利用标定的特征点或特征线段的位置和理想图像中计算的位置对畸变函数进行拟合，利用畸变函数建立管道全景展开图像与理想图像中每个像素点的第三对应关系，利用第三对应关系对管道全景展开图像进行校准。

具体地，本申请实施例对图片进行去畸变处理可以通过以下两步进行：

1.基于鱼眼镜头成像模型的去畸变；

2.基于图像标定的去畸变。

首先，进行基于鱼眼镜头成像模型的去畸变：

虽然鱼眼摄像头的视场角宽广，但在成像时会产生明显的畸变。需要注意的是，在本申请的实施例中，仅考虑该摄像头在成像时所产生的径向畸变，这种径向畸变在经过图像展开处理后会转化成竖直方向的畸变，为了改善畸变状况，本申请的实施例建立了鱼眼摄像头在管道中的成像模型来对畸变函数进行模拟，如图11所示，上述鱼眼摄像头成像模型中感光元件的尺寸为2r×2r像素，管道内径的长度为2R像素，直角坐标系的x轴来描述感光元件在径向所采集到的信号的位置，以y轴来描述与采集信号对应的管道内壁的位置，其对应关系如下式所示：

式中：

r：感光元件边长的一半，以像素长度计算；

R：管道半径长度，以像素长度计算；

x：感光元件在径向所采集到的信号的位置，以像素长度计算；

y：与采集信号对应的管道内壁的位置，以像素长度计算。

基于上述公式及最邻近插值法，可以通过调用OpenCV中cvResize()函数，对图像进行变换，此外，也可改变该函数参数，采用双线性插值法撰写程序，对展开图像沿竖直方向进行拉伸处理，以达到去畸变的目的，其处理效果如图12所示。

其次，进行基于图像标定的去畸变：

图像标定是指在含畸变的图像中提取一些特征点或特征线段，并对其在畸变图像中的位置进行标定，这些特征点或特征线段的特征需要足够明确以能计算出其在理想图像中的位置，再根据畸变图像中标定的位置和理想图像中计算的位置对畸变函数进行拟合，最后根据畸变函数建立畸变图像和理想图像中每个像素点的对应关系，完成畸变图像向理想图像的转换。

作为一种可以实现的方式，通过相机标定去畸变时，可以利用OpenCV中的FindChesssboardCorners()函数寻找图像中的特征点，进一步地，计算该特征点对应的三维点的三维坐标，再调用Fisheye::calibrate()函数进行标定，根据标定结果中的内外参数以及畸变系数拟合畸变函数，最后通过Fisheye::undistortImage()函数进行去畸变操作，基于图像标定的展开图像去畸变处理效果如图13所示。

可选地，在本申请的一个实施例中，从管道全景展开图像中提取缺陷特征之前，还包括：计算相邻两张管道全景展开图像间的位置距离，将位置距离转换为步长，根据步长对管道全景展开图像进行拼接。

根据编写的程序对鱼眼摄像头拍摄到的采集图像执行上述图像展开和去畸变处理，批量得到这些局部展开图后，便需将这些局部展开图进行拼接以合成包含检测管段整体内壁信息的全景展开图像，如图14所示。全景展开图的合成可以看作是多张局部展开图沿某一方向上的拼接，这就需要计算相邻两张局部展开图的位置距离，并将该距离转换为步长对相邻的图像完成拼接操作，如图15所示。

作为一种可能实现的方式，本申请的实施例在获取上述批量的局部展开图的数据后，首先可以利用OpenCV的拼接模块集成的SURF/ORB算法进行两种特征点提取；其次对提取的特征点利用特征描述子进行匹配，找到不同图片中相同的特征点；根据上述匹配对计算两幅图像的单应性矩阵，得到一幅图像相对于另一幅图像的位置，继而把多幅图像融合成为一幅图像并进行水平矫正；最后通过动态规划法等计算获取相邻两幅图像的拼缝位置，在拼缝附近的若干个像素使用融合算法，以合成包含检测管段整体内壁信息的全景展开图像，经图像拼接得到的管道内壁全景展开效果如图16所示。

可以理解的是，未发生严重结构性缺陷的排水管道整体呈圆柱状，管道内壁曲面可以根据映射关系展开成一个矩形平面，即上述管道内壁全景展开图。相比于普通CCTV视频检测机器人在管道内拍摄到的图像，该展开图具有视角宽广、图像形状结构完整、图像形式标准等特点，可以为管道评价人员提供更好的视野和更高的图像质量来对管道进行评价，并可为图像识别技术对管道缺陷进行自动化识别提供更稳定的图像形式。

本申请的实施例在获取管道全景展开图像后，可以采用随机森林、SVM等机器学习算法或Faster R-CNN等深度学习算法提取全景展开图像展现的管道中裂痕、错口、沉积物以及障碍物等缺陷的特征、识别缺陷的类型，并计算出排水管道的实际缺陷位置，以生成管道缺陷结果。

可以理解的是，上述拼接重建出来的展开图具有尺度不变性，只需知道该管的管径即可客观的计算除管道缺陷的实际尺寸，消除缺陷判别的主观因素，提升管道缺陷判别的准确性。

根据本申请实施例提出的排水管道内壁全景图像的缺陷检测方法，通过获取由管道内壁图像采集机器人采集的排水管道内的采集图像；利用预设的管道内壁全景图像展开算法对采集图像进行展开，得到排水管道的管道全景展开图像，从而使得检测人员只需要浏览管道内壁的展开图片，不用完整的观看几十分钟的管道检测视频，大大提升检测效率；继而，从管道全景展开图像中提取缺陷特征，识别排水管道的实际缺陷位置，并生成管道缺陷结果。由此，本申请的实施例通过管道内的全景图像进行缺陷检测，消除了人工检测的主观因素对检测结果的影响，提高了管道检测结果的可靠性和检测过程的敏捷性。

其次参照附图描述根据本申请实施例提出的管道内壁图像采集机器人。

图17是本申请实施例的管道内壁图像采集机器人的方框示意图。

如图17所示，该管道内壁图像采集机器人10包括：数据采集模块100、动力模块200、供电模块300以及控制模块400。

具体地，数据采集模块100，用于根据数据采集指令采集排水管道内的采集图像。

动力模块200，用于根据机器人的移动路线驱动机器人移动。

供电模块300，用于为机器人提供电能。

控制模块400，用于生成机器人的移动路线，生成数据采集指令以及利用预设的管道内壁全景图像展开算法对采集图像进行展开，得到排水管道的管道全景展开图像，从管道全景展开图像中提取缺陷特征，识别排水管道的实际缺陷位置，并生成管道缺陷结果。

本申请的实施例中，管道内壁图像采集机器人主要实现图像拍摄、运动数据获取、移动和控制等功能。机器人主要包括数据采集系统、动力系统、控制系统和供电系统四部分，每个系统下的单元、组成元件及其实现的功能如表1所示。

表1图像采集机器人整体设计表

可选地，在本申请的一个实施例中，数据采集模块100包括：广角摄像头，用于采集排水管道内的采集图像。姿态传感器，用于记录管道内壁图像采集机器人采集图像时的姿态数据。鱼眼摄像头及姿态传感器装载架结构如图18所示。

可以理解的是，本申请实施例利用鱼眼摄像头获取管道内图像数据，由于该摄像头的视场角较广，从而使得机器人只需一直向前移动即可采集完整的管道数据，过程中无需停下，大大减少机器人在管道内的作业时间。

可选地，在本申请的一个实施例中，控制模块400，进一步用于，利用姿态数据对采集图像进行校准，纠正采集图像的偏移。

可选地，在本申请的一个实施例中，管道内壁图像采集机器人10还包括：可伸缩支撑架，用于调节机器人距离排水管道底部的距离；照明模块，用于通过多个照明角度为排水管道内部提供照明；

其中，可伸缩的支撑腿使机器人可以适应内径长度在420mm至540mm范围内的管道。可调节的照明灯装载架通过调节角度保证拍摄图像能够被充分照明。支撑腿三脚架可以使摄像头稳定在管道中轴线附近进行拍摄，并使机器人可以越过管底相当20％左右内径长度的高度。可伸缩支撑腿结构、照明灯装载架结构以及支撑腿三脚架结构分别如图19、图20以及图21所示，电机装载架结构如图22所示。

可选地，在本申请的一个实施例中，控制模块400进一步用于，识别采集图像的圆心，得到采集图像的消失点计算消失点在采集图像矩阵中的坐标，以消失点的坐标为圆心，预设像素长度为半径对采集图像进行环切，得到采集图像的图像有效区域；根据预设的展开图像矩阵中各像素点位置与采集图像矩阵中各像素点位置的映射关系，对采集图像的图像有效区域内的各像素进行映射，得到管道全景展开图像。

可选地，在本申请的一个实施例中，控制模块400进一步用于，建立采集图像矩阵和展开图像矩阵；生成采集图像的像素点在采集图像矩阵和极坐标系下的第一对应关系；生成展开图像的像素点在展开图像矩阵和极坐标系下的第二对应关系；基于第一对应关系和第二对应关系建立展开图像矩阵中各像素点位置与采集图像矩阵中各像素点位置的映射关系。

可选地，在本申请的一个实施例中，控制模块400进一步用于，利用预设的成像模型和最邻近插值法对管道全景展开图像沿竖直方向进行拉伸处理，去除管道全景展开图像的径向畸变；提取管道全景展开图像中的特征点或特征线段进行位置标定，利用标定的特征点或特征线段的位置和理想图像中计算的位置对畸变函数进行拟合，利用畸变函数建立管道全景展开图像与理想图像中每个像素点的第三对应关系，利用第三对应关系对管道全景展开图像进行校准。

可选地，在本申请的一个实施例中，控制模块400进一步用于，计算相邻两张管道全景展开图像间的位置距离，将位置距离转换为步长，根据步长对管道全景展开图像进行拼接。

需要说明的是，前述对排水管道内壁全景图像的缺陷检测方法实施例的解释说明也适用于该实施例的管道内壁图像采集机器人，此处不再赘述。

根据本申请实施例提出的管道内壁图像采集机器人，通过选取鱼眼摄像头、姿态传感器和树莓派等功能元件实现了广角图像拍摄、运动信息获取和数据采集控制及运动控制的功能，并开发相应的控制程序使得各个功能元件协同工作，以获取排水管道的管道全景展开图像，并从管道全景展开图像中提取缺陷特征，识别排水管道的实际缺陷位置，生成管道缺陷结果，消除缺陷判别的主观因素，提升管道缺陷判别的准确性。

图23为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器2301、处理器2302及存储在存储器2301上并可在处理器2302上运行的计算机程序。

处理器2302执行程序时实现上述实施例中提供的排水管道内壁全景图像的缺陷检测方法。

进一步地，电子设备还包括：

通信接口2303，用于存储器2301和处理器2302之间的通信。

存储器2301，用于存放可在处理器2302上运行的计算机程序。

存储器2301可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器2301、处理器2302和通信接口2303独立实现，则通信接口2303、存储器2301和处理器2302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图23中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器2301、处理器2302及通信接口2303，集成在一块芯片上实现，则存储器2301、处理器2302及通信接口2303可以通过内部接口完成相互间的通信。

处理器2302可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的排水管道内壁全景图像的缺陷检测方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (16)

1.一种排水管道内壁全景图像的缺陷检测方法，其特征在于，包括以下步骤：

获取由管道内壁图像采集机器人采集的排水管道内的采集图像；

利用预设的管道内壁全景图像展开算法对所述采集图像进行展开，得到所述排水管道的管道全景展开图像；

从所述管道全景展开图像中提取缺陷特征，识别所述排水管道的实际缺陷位置，并生成管道缺陷结果。

2.根据权利要求1所述的方法，其特征在于，所述获取由管道内壁图像采集机器人采集的排水管道内的采集图像之前，还包括：

利用所述管道内壁图像采集机器人采集图像时的姿态数据对所述采集图像进行校准，纠正所述采集图像的偏移。

3.根据权利要求1所述的方法，其特征在于，所述利用预设的管道内壁全景图像展开算法对所述采集图像进行展开，得到所述排水管道的管道全景展开图像，包括：

识别所述采集图像的圆心，得到所述采集图像的消失点；

计算所述消失点在采集图像矩阵中的坐标，以所述消失点的坐标为圆心，预设像素长度为半径对所述采集图像进行环切，得到所述采集图像的图像有效区域；

根据预设的展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系，对所述采集图像的图像有效区域内的各像素进行映射，得到所述管道全景展开图像。

4.根据权利要求3所述的方法，其特征在于，所述根据预设的展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系，对所述采集图像的图像有效区域内的各像素进行映射之前，还包括：

建立所述采集图像矩阵和所述展开图像矩阵；

生成所述采集图像的像素点在所述采集图像矩阵和极坐标系下的第一对应关系；

生成所述展开图像的像素点在所述展开图像矩阵和极坐标系下的第二对应关系；

基于所述第一对应关系和所述第二对应关系建立所述展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系。

5.根据权利要求1所述的方法，其特征在于，从所述管道全景展开图像中提取缺陷特征之前，还包括：

利用预设的成像模型和最邻近插值法对所述管道全景展开图像沿竖直方向进行拉伸处理，去除所述管道全景展开图像的径向畸变；

提取所述管道全景展开图像中的特征点或特征线段进行位置标定，利用标定的所述特征点或特征线段的位置和理想图像中计算的位置对畸变函数进行拟合，利用所述畸变函数建立所述管道全景展开图像与所述理想图像中每个像素点的第三对应关系，利用所述第三对应关系对所述管道全景展开图像进行校准。

6.根据权利要求1或5所述的方法，其特征在于，从所述管道全景展开图像中提取缺陷特征之前，还包括：

计算相邻两张管道全景展开图像间的位置距离，将所述位置距离转换为步长，根据所述步长对所述管道全景展开图像进行拼接。

7.一种管道内壁图像采集机器人，其特征在于，包括：

数据采集模块，用于根据数据采集指令采集排水管道内的采集图像；

动力模块，用于根据所述机器人的移动路线驱动所述机器人移动；

供电模块，用于为所述机器人提供电能；

控制模块，用于生成所述机器人的移动路线，生成所述数据采集指令以及利用预设的管道内壁全景图像展开算法对所述采集图像进行展开，得到所述排水管道的管道全景展开图像，从所述管道全景展开图像中提取缺陷特征，识别所述排水管道的实际缺陷位置，并生成管道缺陷结果。

8.根据权利要求7所述的机器人，其特征在于，所述数据采集模块包括：

广角摄像头，用于采集所述排水管道内的采集图像；

姿态传感器，用于记录所述管道内壁图像采集机器人采集图像时的姿态数据。

9.根据权利要求8所述的机器人，其特征在于，所述控制模块，进一步用于，利用所述姿态数据对所述采集图像进行校准，纠正所述采集图像的偏移。

10.根据权利要求8所述的机器人，其特征在于，还包括：

可伸缩支撑架，用于调节所述机器人距离所述排水管道底部的距离；

照明模块，用于通过多个照明角度为所述排水管道内部提供照明。

11.根据权利要求7所述的机器人，其特征在于，所述控制模块进一步用于，识别所述采集图像的圆心，得到所述采集图像的消失点；计算所述消失点在采集图像矩阵中的坐标，以所述消失点的坐标为圆心，预设像素长度为半径对所述采集图像进行环切，得到所述采集图像的图像有效区域；根据预设的展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系，对所述采集图像的图像有效区域内的各像素进行映射，得到所述管道全景展开图像。

12.根据权利要求11所述的机器人，其特征在于，所述控制模块进一步用于，建立所述采集图像矩阵和所述展开图像矩阵；生成所述采集图像的像素点在所述采集图像矩阵和极坐标系下的第一对应关系；生成所述展开图像的像素点在所述展开图像矩阵和极坐标系下的第二对应关系；基于所述第一对应关系和所述第二对应关系建立所述展开图像矩阵中各像素点位置与所述采集图像矩阵中各像素点位置的映射关系。

13.根据权利要求7所述的机器人，其特征在于，所述控制模块进一步用于，利用预设的成像模型和最邻近插值法对所述管道全景展开图像沿竖直方向进行拉伸处理，去除所述管道全景展开图像的径向畸变；提取所述管道全景展开图像中的特征点或特征线段进行位置标定，利用标定的所述特征点或特征线段的位置和理想图像中计算的位置对畸变函数进行拟合，利用所述畸变函数建立所述管道全景展开图像与所述理想图像中每个像素点的第三对应关系，利用所述第三对应关系对所述管道全景展开图像进行校准。

14.根据权利要求7或13所述的机器人，其特征在于，所述控制模块进一步用于，计算相邻两张管道全景展开图像间的位置距离，将所述位置距离转换为步长，根据所述步长对所述管道全景展开图像进行拼接。

15.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的排水管道内壁全景图像的缺陷检测方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的排水管道内壁全景图像的缺陷检测方法。

Images