CN116009559A - 一种输水管道内壁巡检机器人及检测方法 - Google Patents

一种输水管道内壁巡检机器人及检测方法 Download PDF

Info

Publication number
CN116009559A
CN116009559A CN202310293854.2A CN202310293854A CN116009559A CN 116009559 A CN116009559 A CN 116009559A CN 202310293854 A CN202310293854 A CN 202310293854A CN 116009559 A CN116009559 A CN 116009559A
Authority
CN
China
Prior art keywords
camera
coordinate system
robot
inspection robot
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310293854.2A
Other languages
English (en)
Other versions
CN116009559B (zh
Inventor
马凤英
支祥瑞
纪鹏
罗光欣
陈新明
刘邦坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310293854.2A priority Critical patent/CN116009559B/zh
Publication of CN116009559A publication Critical patent/CN116009559A/zh
Application granted granted Critical
Publication of CN116009559B publication Critical patent/CN116009559B/zh
Priority to KR1020230097081A priority patent/KR102645206B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin
    • Y02E30/30—Nuclear fission reactors

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本发明涉及水下光学探测技术领域，尤其是一种输水管道内壁巡检机器人及检测方法，包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统，前视系统包括两个摄像头，推进系统包括推进器；惯性导航系统采用MEMS微型航姿系统；测速系统采用多普勒测速仪；照明系统用于提供光源；测距和避障系统测量巡检机器人与前方障碍物和输水管道内壁的距离；成像系统包括线激光发射器及摄像机；该发明采用四个线激光发射器，在每个防水型线激光发射器附近安装摄像机，通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型。

Description

一种输水管道内壁巡检机器人及检测方法
技术领域
本发明涉及水下光学探测技术领域，特别是一种输水管道内壁巡检机器人及检测方法。
背景技术
我国城市化进程飞速发展，城市集中供水方式依赖大口径预应力钢筋混凝土输水管道，这类输水管道在长时间的使用过程中容易受到压力、水质等外部因素影响，致使管道内部发生破损、变形、腐蚀甚至管道泄漏的情况。对于这类输水管道的检测一般需要在特定的检修时间内，由人工携带检测设备进入输水管道内部进行巡检来完成检测。但人工检测所需时间较长，面对复杂狭窄的管道环境时，人工检测很难实现精准检测。
近年来，出现了一些基于水下移动机器人的输水管道内壁在线检测手段，其中最主要的包括声学检测技术和光学检测技术。基于光学检测的水下管道内壁检测方法一般是通过在移动机器人上布置一个或多个摄像头结合图像处理方法实现。这种方法只需要在前端布置一个摄像头或者在机器人周边环形布置多个摄像头，即可实现对管道内壁的缺陷检测，但是这类方法无法确定管道缺陷的纵深长度，不能实现对管道内壁的准确三维建模。基于声学检测的水下管道内壁检测方法一般是通过在移动机器人上环形布置超声波测距仪，计算超声波接收器收到反射波需要的时间来实现对管道内壁的缺陷检测。这类方法可以准确的获得管道内壁缺陷纵深长度，但由于环形布置的超声波测距仪之间存在间隙，因此无法对整条管道内壁进行全面检测，存在漏检现象，所以这类方法也不能实现对管道内壁的准确三维建模。
发明内容
本发明针对传统检测技术中，无法对管道内壁实现准确三维建模的缺陷，提供了一种输水管道内壁巡检机器人及检测方法，该方法采用四个不同空间位置的防水型线激光发射器将特定波长的线状光斑投射到输水管道内壁上，其中两个防水型线激光发射器位于巡检机器人前端上下呈180°对向分布，另外两个防水型线激光发射器位于巡检机器人后端左右呈180°对向分布，巡检机器人前端和后端的防水型线激光发射器在空间上为垂直关系。在每个防水型线激光发射器附近安装摄像机，用于拍摄投射到输水管道内壁上的线状光斑。通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，根据特征点计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型，从而解决传统检测方法无法对输水管道内壁实现准确三维建模的技术问题。
本发明提供如下技术方案：一种输水管道内壁巡检机器人，包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统。所述前视系统包括设置在机器人前部的用于观察输水管道前方信息的摄像头，所述摄像头为两个。所述推进系统包括四个推进器，分别为两个行进推进器和两个浮潜推进器，在机器人尾部设置用于推进机器人的行进推进器，在机器人两侧设置用于巡检机器人浮潜的浮潜推进器；所述的惯性导航系统采用用于判断巡检机器人的位姿信息的MEMS微型航姿系统；所述测速系统采用多普勒测速仪，用于测量巡检机器人的速度；所述照明系统用于提供光源，主要为前视系统提供光源；所述测距和避障系统用于测量巡检机器人与前方障碍物和输水管道内壁的距离；所述成像系统包括线激光发射器及与激光发射器配合的摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄线激光发射器投射到输水管道内壁上的光斑图像；所述控制系统与上述的前视系统、推进系统、惯性导航系统、测速系统、照明系统、测距和避障系统和成像系统连接。控制系统用于保持巡检机器人平稳前行进而完成检测任务。
所述测距和避障系统包括六个超声波测距仪，其中的两个超声波测距仪设置在巡检机器人前端，用于测量巡检机器人与前方障碍物的距离；另外四个超声波测距仪位于巡检机器人的后端，且环形安装，相邻两个超声波测距仪相差 ，用于判断巡检机器人与输水管道内壁的距离。
所述成像系统为四组，每组均包括一个线激光发射器和一个摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄投射到输水管道内壁上的光斑图像，每组中的摄像机用于拍摄本组的线激光发射器的光斑图像，四组成像系统形成对输水管道内部的全部成像。
在本发明中，基于上述巡检机器人：设巡检机器人初始位置在管道入口中心处，且机器人中心与管道入口中心重合，巡检机器人长度为米,半径为米。
首先以机器人中心为原点坐标，巡检机器人前进方向为轴，地球重力反方向为轴，符合右手坐标系建立机器人坐标系。以输水管道入口处中心位置为原点坐标，以水流方向为轴，地球重力的反方向为轴，符合右手坐标系建立输水管道坐标系。
机器人坐标系与输水管道坐标系关系为：
 (1)
式（1）中，旋转矩阵为机器人坐标系与输水管道坐标系之间的相对旋转，平移向量为机器人坐标系与输水管道坐标系之间的相对位移。
机器人坐标系与管道坐标系的旋转矩阵由惯性导航系统的位姿传感器测得，初始状态时，机器人坐标系与管道坐标系重合。旋转矩阵为单位矩阵。平移矩阵。
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头a的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向逆时针旋转90°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人前端上侧的中心位置，摄像头a相对于机器人朝上。
机器人坐标系和相机坐标系的具体关系如下：
 (2)
式（2）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头b的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向顺时针旋转180°，再沿轴方向顺时针旋转90°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人后端右侧的中心位置，摄像头b相对于机器人朝右。
机器人坐标系和相机坐标系的具体关系如下：
 (3)
式（3）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头c的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向顺时针旋转90°，再沿轴方向顺时针旋转180°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人前端下侧的中心位置，摄像头c相对于机器人朝下。
机器人坐标系和相机坐标系的具体关系如下：
 (4)
式（4）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头d的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向逆时针旋转90°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移-米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人后端左侧的中心位置，摄像头d相对于机器人朝左。
机器人坐标系和相机坐标系的具体关系如下：
 (5)
式（5）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
在二维平面靶标上建立靶标坐标系, 在像平面建立像素坐标系，在距离相机光心单位距离处建立归一化图像坐标系。
相机坐标系与靶标坐标系的转换关系为：
 (6)
式（6）中，旋转矩阵为相机坐标系与靶标坐标系之间的相对旋转，旋转矩阵为一个三行三列的矩阵。平移向量为相机坐标系与靶标坐标系之间的相对位移，平移向量为三行一列的向量。
归一化图像坐标系与相机坐标系之间的转换系：面与面平行，即旋转矩阵 ，平移向量。
输水管道内壁检测方法,包括如下步骤，
步骤1、在巡检机器人开始对输水管道进行检测作业前，判断巡检机器人的成像系统是否标定，成像系统的标定分为相机标定和光平面标定，若成像系统还没有标定完成，则开始执行步骤2，若巡检机器人已经标定完成，则开始执行步骤5；
步骤2、将二维平面靶标放置于输水管道内，使用线激光发射器将设定波长的线状光斑投射到二维平面靶标上，通过线激光发射器配对的摄像机采集带有线状光斑的二维平面靶标图像；
判断是否需要对相机进行标定，不需要对相机进行标定时，则对光平面标定；如果需要标定，采用张正友标定法对相机进行标定，求解出相机内参和相机外参，根据实际像素坐标与计算得到的像素坐标计算重投影误差，反复迭代摄像机和内外参数和畸变参数，直至收敛，完成相机标定；
步骤3、进行光平面标定时，首先完成图像处理和线状光斑中心特征点的提取，然后进行光平面标定；
步骤4、判断巡检机器人的四组成像系统是否全部标定完成，若成像系统全部标定完成则执行步骤5，若还有成像系统没有标定完成则继续执行步骤2，最终得到四组光平面分别在相机坐标系、、、下的方程，分别为：
0 （12）
0 （13）
0 （14）
0 （15）
式（12），（13），（14），（15）中，，，，，，，，，，，，，，，，为光平面常数系数；
步骤5、当巡检机器人成像系统全部标定完成时，判断此时的巡检机器人位姿是否为期望位姿，若此时巡检机器人为期望位姿则执行步骤6，若此时巡检机器人不满足期望位姿则对巡检机器人进行姿态调整，调整结束后重新判断此时的巡检机器人位姿是否为期望位姿；
巡检机器人的期望位姿为：巡检机器人位于输水管道中心位置，沿输水管道水流方向水平向前运动，当巡检机器人满足期望位姿时，机器人坐标系与输水管道坐标系方向完全相同。
步骤6：巡检机器人在输水管道内部前行时，四个不同空间位置的能发射设定波长的线激光发射器同时将线状光斑投射到输水管道内壁上；
所述的四个线激光发射器中，线激光发射器a位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°，线激光发射器b位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°，线激光发射器c位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°，线激光发射器d 位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°，四组线激光发射器在空间上的位置各不相同，将整条输水管道完全覆盖。
步骤7：在每个线激光发射器附近安装摄像机，用于采集投影到管道内壁上面的光斑图像将采集到的图像采用高斯滤波进行去噪，使用灰度重心法，计算得到光斑条纹中心特征点，并利用该条纹中心特征点得到该点在相机坐标系下的三维坐标，遍历该线状光斑上的所有中心特征点，得到整条线状光斑在相机坐标系下的三维坐标，对四组摄像机采集到的线状光斑图像重复步骤7，得到四条线状光斑中心特征点在相机坐标系下的三维坐标；
步骤8：判断此时是否已经完成对输水管道的扫描，若没有完成则继续执行步骤5，若已经完成整条输水管道的扫描工作，则执行步骤9；
步骤9：伴随着四组激光发射器发射的线状光斑扫描整条输水管道，对四条线状光斑上所有的中心特征点，执行步骤7的操作，得到所有特征点在对应相机坐标系下的坐标；
步骤10：将得到的所有线状光斑特征点在对应相机坐标系下的坐标转化为在管道坐标系下的坐标，绘制输水管道三维图像。
所述的步骤3中，四组成像系统的光平面标定步骤均相同，此处以巡检机器人前侧上端摄像机a和线激光发射器a组成的成像系统的光平面标定为例。光平面标定步骤具体分为步骤3.1完成图像处理和线状光斑中心特征点的提取和步骤3.2完成光平面标定。
步骤3.1、完成图像处理和线状光斑中心特征点的提取，将采集到的带有线状光斑的二维平面靶标图像采用高斯滤波进行去噪，去噪后使用灰度重心法提取线状光斑的中心特征点，
所述的灰度重心法：在线状光斑行坐标的方向上逐行计算光斑区域的灰度重心点，并用该点来代表该截面的光斑中心特征点位置。对于包含M行N列的图像，光斑第列的灰度重心坐标为,式中，表示坐标处的像素灰度值，；
步骤3.2：完成光平面标定，从步骤2中得到相机内参，，，旋转矩阵和平移向量，其中，分别为使用像素来描述x轴和y轴方向上焦距的长度，，分别表示图像中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。旋转矩阵为相机坐标系与靶标坐标系之间的相对旋转。平移向量为相机坐标系与靶标坐标系之间的相对位移，设为光斑中心特征点在相机坐标系下的坐标，为该特征点在图像平面上的投影点位于像素坐标系下的齐次坐标，为该特征点在图像平面上的投影点位于相机坐标系下的坐标，为该特征点在归一化图像平面上的投影点坐标，投影点坐标：，其中，，为相机内参,为特征点在图像平面上的投影点位于像素坐标系下的坐标，
联立光斑中心特征点位于归一化图像坐标系上的投影点和相机光心，求得同时过该投影点和相机光心的直线方程（7）
 （7）
式（7）中，为光斑中心特征点在相机坐标系下的坐标，为该特征点在归一化图像平面上的投影点坐标，
设二维平面靶标在靶标坐标系下的方程为：
 （8）
式（8）中，为常数系数
将式（6）与方程（8）联立可得，二维平面靶标位于相机坐标系下的方程为：
 （9）
因为将靶标坐标系建立在二维平面靶标上，因此（8）式退化为，即0,将代入（9）式可得二维平面靶标在相机坐标系下的方程为：
 （10）
令，最终得到二维平面靶标在相机坐标系下的方程为：
 （11）
联立方程（7）与方程（11），求得光斑中心特征点位于相机坐标系下的坐标值分别为，，，选取线状光斑上的任意特征点重复上述过程，最终获得整条线状光斑特征点位于相机坐标系下的点，
确定一个平面需要最少三个不共线的点坐标，判断此时系统是否已满足确定平面的条件，若不满足，最少改变一次二维平面靶标位姿后，继续从步骤2开始执行，满足条件则使用任意三个或三个以上的不共线特征点位于相机坐标系的坐标，完成光平面的标定，得到光平面方程（9）在相机坐标系下的方程，
0 （12）
式（12）中，，，，为光平面常数系数。
步骤7中，计算得到光斑条纹中心特征点，将光斑中心特征点代入针孔相机模型的约束条件，联立步骤3.2求得的光平面方程，并获得该条纹中心特征点的在相机坐标系下的三维坐标；
针孔相机模型的约束条件为;式中)为相机传感器平面上的点，为相机焦距，(,,)为)对应的相机坐标系的坐标，
设摄像头a上相机传感器平面的坐标为，最终得到线状光斑特征点位于相机坐标系的点：(,,)，
；；；其中，，，为步骤3.2得到的光平面常数系数。
设摄像头b上相机传感器平面的坐标为，摄像头c上相机传感器平面的坐标为。最终得到线状光斑特征点位于相机坐标系的点，分别为(,,)，,,),(,,)，
其中；；;
；；;
；；，其中，，，，，，，，，，，为光平面常数系数。
设两个行进推进器转速分别为,，浮潜推进器转速分别为,，巡检机器人满足期望位姿，即此时巡检机器人沿轴方向水平运动，轴与轴方向相同。此时通过多普勒测速仪测得机器人移动速度为m/s，当巡检机器人运行t秒时，巡检机器人位移量为米。
由步骤7可以得到摄像头a拍摄的线状光斑特征点位于相机坐标系下的坐标为：(,,)。
由式（2）可以得出该点位于机器人坐标系下的坐标为：。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的, 旋转矩阵,平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
由步骤7可以得到摄像头b拍摄的线状光斑特征点位于相机坐标系下的坐标(,,)。
由式（3）可以得出该点位于机器人坐标系下的坐标为：
。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的, 旋转矩阵,平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
由步骤7可以得到摄像头c拍摄的线状光斑特征点位于相机坐标系下的坐标为(,,)。
由式（4）可以得出该点位于机器人坐标系下的坐标为：
。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的，旋转矩阵，平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
由步骤7可以得到摄像头d拍摄的线状光斑特征点位于相机坐标系下的坐标为(,,)。
由式（5）可以得出该点位于机器人坐标系下的坐标为：
。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的，旋转矩阵，平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
通过上述描述可以看出，本发明采用四个不同空间位置的防水型线激光发射器将特定波长的线状光斑发射到输水管道内壁，第一个线激光发射器位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°。第二个线激光发射器位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°。第三个线激光发射器位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°。第四个线激光发射器位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°。通过线激光发射器附近安装的摄像机来采集投影到输水管道内壁上的光斑图像，通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，根据特征点计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型，从而解决传统检测方法无法对输水管道内壁实现准确三维建模的技术问题。
由于本发明采用的四组防水型线激光发射器在空间上的位置各不相同，因此发射出的线状光斑在空间上不存在交集的同时可以覆盖整个输水管道，有效的避免了漏检和误检现象的发生。同时本发明采用的三维建模方法可以确定管道缺陷的纵深长度，克服了传统光学检测技术中无法确定管道缺陷的纵深长度的技术问题，最终实现了对输水管道的精准三维建模。
附图说明
图1为巡检机器人俯视图。
图2为巡检机器人仰视图。
图3为本发明具体实施方式的线激光发射器结构示意图。
图4a是管道坐标系、机器人坐标系、摄像头a和摄像头b坐标系示意图。
图4b是机器人坐标系、摄像头c和摄像头d坐标系示意图。
图5是本发明具体实施方式的相机透视模型示意图。
图6是本发明具体实施方式的流程图。
图中：1：巡检机器人；2：输水管道内壁；3：线状光斑；401：第一组线激光发射器投影区域；402：第二组线激光发射器投影区域；403：第三组线激光发射器投影区域；404：第四组线激光发射器投影区域；501：防水型线激光发射器a；502：防水型线激光发射器b；503：防水型线激光发射器c；504：防水型线激光发射器d；600:摄像头；601：摄像头a；602：摄像头b；603：摄像头c；604：摄像头d；701：超声波测距仪a；702：超声波测距仪b；801：行进推进器a；802：行进推进器b；901：浮潜推进器a；902：浮潜推进器b；10：惯性导航系统；11：照明系统；12：多普勒测速仪；13：靶标坐标系；14：像素坐标系；15：相机坐标系；16：归一化平面；17：二维平面靶标；18：光条中心特征点；19：投影点在像素坐标系下的齐次坐标；20：归一化平面投影点。
具体实施方式
下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
通过附图可以看出，本发明所提出的输水管道内壁巡检机器人如图1和图2所示。该巡检机器人主要包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统。前视系统包括两个摄像头600，用于观察输水管道前方信息。推进系统包括四个推进器，尾部垂直行进推进器a801和行进推进器b802，腹部两侧水平布置浮潜推进器a901和浮潜推进器b902。惯性导航系统10采用MEMS微型航姿系统，用于判断巡检机器人的位姿信息。测速系统主要采用多普勒测速仪12，用于计算巡检机器人的速度。照明系统11用于为前视系统提供光源。控制系统采用自抗扰控制器，包括外环位置控制器与内环姿态控制器，用于保持巡检机器人平稳前行进而完成检测任务。测距和避障系统包括六个超声波测距仪，其中两个超声波测距传感仪a701位于巡检机器人前端，用于测量巡检机器人与前方障碍物的距离，另外四个超声波测距传感仪b702分别位于巡检机器人的中后段，，，处环形安装，用于判断巡检机器人是否位于输水管道中心前行。巡检机器人包括四组成像系统，每组成像系统均由一个线激光发射器和一个摄像机构成，线激光发射器为防水型线激光发射器。第一组防水型激光发射器a501和摄像机a601位于巡检机器人的前端上侧的中心位置，方向相对于机器人朝上；第二组防水型激光发射器b502和摄像机b602位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右；第三组防水型激光发射器c503和摄像机c603位于检测机器人前端下侧的中心位置，方向相对于机器人朝下；第四组防水型激光发射器d504和摄像机d604位于检测机器人后端左侧的中心位置，方向相对于机器人朝左。其中防水型线激光发射器用来发射特定波长的线状光斑，摄像机用来拍摄投射到输水管道内壁上的光斑图像。
如图3所示，巡检机器人1位于输水管道中心，采用四个不同空间位置的防水型线激光发射器将特定波长的线状光斑3投射到输水管道内壁2上，其中防水型线激光发射器a501位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围401大于90°。防水型线激光发射器b502位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围402大于90°。防水型线激光发射器c503位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光403范围大于90°。防水型线激光发射器d 504位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围404大于90°。防水型线激光发射器a501与防水型线激光发射器c503位于巡检机器人前端上下呈180°对向分布。防水型线激光发射器b502与防水型线激光发射器d504位于巡检机器人后端左右呈180°对向分布，巡检机器人前端和后端的线激光发射器在空间上为垂直关系。四组防水型线激光发射器在空间上的位置各不相同，因此投射出的线结构光不会对彼此造成干扰的同时，可以将整条输水管道完全覆盖。
在每个线激光发射器附近安装摄像机用来采集投影到输水管道内壁上的光斑图像。通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，根据特征点计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型。
基于上述巡检机器人系统，本发明提出的方法如下：
设巡检机器人初始位置在管道入口中心处，且机器人中心与管道入口中心重合，巡检机器人长度为米,半径为米。
如图4a和图4b所示,建立机器人坐标系，输水管道坐标系，相机坐标系。
首先以机器人中心为原点坐标，巡检机器人前进方向为轴，地球重力反方向为轴，符合右手坐标系建立机器人坐标系。以输水管道入口处中心位置为原点坐标，以水流方向为轴，地球重力的反方向为轴，符合右手坐标系建立输水管道坐标系。
机器人坐标系与输水管道坐标系关系为：
 (1)
式（1）中，旋转矩阵为机器人坐标系与输水管道坐标系之间的相对旋转，平移向量为机器人坐标系与输水管道坐标系之间的相对位移。
机器人坐标系与管道坐标系的旋转矩阵由惯性导航系统的位姿传感器测得，初始状态时，机器人坐标系与管道坐标系重合。旋转矩阵。平移矩阵。
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头a的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向逆时针旋转90°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人前端上侧的中心位置，摄像头a相对于机器人朝上。
机器人坐标系和相机坐标系的具体关系如下：
 (2)
式（2）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头b的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向顺时针旋转180°，再沿轴方向顺时针旋转90°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人后端右侧的中心位置，摄像头b相对于机器人朝右。
机器人坐标系和相机坐标系的具体关系如下：
 (3)
式（3）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头c的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向顺时针旋转90°，再沿轴方向顺时针旋转180°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移新的米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人前端下侧的中心位置，摄像头c相对于机器人朝下。
机器人坐标系和相机坐标系的具体关系如下：
 (4)
式（4）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
机器人坐标系通过旋转和平移后建立相机坐标系，相机坐标系的原点坐标为摄像头d的相机光心，相机右侧为轴，相机光轴为轴，符合右手坐标系。
机器人坐标系和相机坐标系的旋转关系为：机器人坐标系沿轴方向逆时针旋转90°。
机器人坐标系和相机坐标系的平移关系为：机器人坐标系经过旋转后，沿新的轴方向平移-米，再沿新的轴方向平移r米。
相机坐标系的原点坐标位于机器人后端左侧的中心位置，摄像头d相对于机器人朝左。
机器人坐标系和相机坐标系的具体关系如下：
 (5)
式（5）中旋转矩阵为相机坐标系与机器人坐标系之间的相对旋转，平移向量相机坐标系与机器人坐标系之间的相对位移。
旋转矩阵，平移向量;
在进行光平面标定时，首先如图5所示，在二维靶标平面上建立靶标坐标系、在像平面建立像素坐标系以及在距离相机光心单位距离处建立归一化图像坐标系。
相机坐标系与靶标坐标系的转换关系为：
 (6)
式（6）中，旋转矩阵为相机坐标系与靶标坐标系之间的相对旋转，旋转矩阵为一个三行三列的矩阵。平移向量为相机坐标系与靶标坐标系之间的相对位移，平移向量为三行一列的向量。
归一化图像坐标系与相机坐标系之间的转换系：面与面平行，即旋转矩阵 ，平移向量。
一种基于上述机器人的输水管道内壁检测方法, 具体流程如图6所示，主要包括如下步骤，
步骤1、在巡检机器人开始对输水管道进行检测作业前，判断巡检机器人的成像系统是否标定，成像系统的标定分为相机标定和光平面标定，若成像系统还没有标定完成，则开始执行步骤2，若巡检机器人已经标定完成，则开始执行步骤5；
步骤2、将二维平面靶标放置于输水管道内，使用线激光发射器将设定波长的线状光斑投射到二维平面靶标上，通过线激光发射器配对的摄像机采集带有线状光斑的二维平面靶标图像；判断是否需要对相机进行标定，不需要对相机进行标定时，则对光平面标定；如果需要标定，采用张正友标定法对相机进行标定，求解出相机内参和相机外参，根据实际像素坐标与计算得到的像素坐标计算重投影误差，反复迭代摄像机和内外参数和畸变参数，直至收敛，完成相机标定。
步骤3、进行光平面标定时，首先完成图像处理和线状光斑中心特征点的提取，然后进行光平面标定。所述的步骤3中，四组成像系统的光平面标定步骤均相同，此处以巡检机器人前侧上端摄像机a和线激光发射器a组成的成像系统的光平面标定为例。
在步骤3中分为步骤3.1完成图像处理和线状光斑中心特征点的提取和步骤3.2完成光平面标定，步骤3.1、完成图像处理和线状光斑中心特征点的提取，将采集到的带有线状光斑的二维平面靶标图像采用高斯滤波进行去噪，去噪后使用灰度重心法提取线状光斑的中心特征点，
所述的灰度重心法：在线状光斑行坐标的方向上逐行计算光斑区域的灰度重心点，并用该点来代表该截面的光斑中心特征点位置。对于包含M行N列的图像，光斑第列的灰度重心坐标为,式中，表示坐标处的像素灰度值，；
步骤3.2：完成光平面标定，从步骤2中得到相机内参，，，旋转矩阵和平移向量，设为光斑中心特征点在相机坐标系下的坐标，为该特征点在图像平面上的投影点位于像素坐标系下的齐次坐标，为该特征点在图像平面上的投影点位于相机坐标系下的坐标，为该特征点在归一化图像平面上的投影点坐标，投影点坐标：，其中，，为相机内参,为特征点在图像平面上的投影点位于像素坐标系下的坐标，
联立光斑中心特征点位于归一化图像坐标系上的投影点和相机光心，求得同时过该投影点和相机光心的直线方程（7）
 （7）
式（7）中，为光斑中心特征点在相机坐标系下的坐标，为该特征点在归一化图像平面上的投影点坐标，
设二维平面靶标在靶标坐标系下的方程为：
 （8）
式（8）中，为常数系数
将式（6）与方程（8）联立可得，二维平面靶标位于相机坐标系下的方程为：
 （9）
因为将靶标坐标系建立在二维平面靶标上，因此（8）式退化为，即0,将代入（9）式可得二维平面靶标在相机坐标系下的方程为：
 （10）
令，最终得到二维平面靶标在相机坐标系下的方程为：
 （11）
联立方程（7）与方程（11），求得光斑中心特征点位于相机坐标系下的坐标值分别为，，，选取线状光斑上的任意特征点重复上述过程，最终获得整条线状光斑特征点位于相机坐标系下的点，
确定一个平面需要最少三个不共线的点坐标，判断此时系统是否已满足确定平面的条件，若不满足，最少改变一次二维平面靶标位姿后，继续从步骤2开始执行，满足条件则使用任意三个或三个以上的不共线特征点位于相机坐标系的坐标，完成光平面的标定，得到光平面方程（9）在相机坐标系下的方程，
0 （12）
式（12）中，，，，为光平面常数系数。完成该组光平面标定后开始执行步骤4。
步骤4、判断巡检机器人的四组成像系统是否全部标定完成，若成像系统全部标定完成则执行步骤5，若还有成像系统没有标定完成则继续执行步骤2，最终得到四组光平面分别在相机坐标系、、、下的方程，分别为：
0 （12）
0 （13）
0 （14）
0 （15）
式（12），（13），（14），（15）中，，，，，，，，，，，，为光平面常数系数；
步骤5、当巡检机器人成像系统全部标定完成时，判断此时的巡检机器人位姿是否为期望位姿，若此时巡检机器人为期望位姿则执行步骤6，若此时巡检机器人不满足期望位姿则通过自抗扰控制器对巡检机器人进行姿态调整，调整结束后重新判断此时的巡检机器人位姿是否为期望位姿。
巡检机器人的期望位姿为：巡检机器人位于输水管道中心位置，沿输水管道水流方向水平向前运动，当巡检机器人满足期望位姿时，机器人坐标系与输水管道坐标系方向完全相同。
自抗扰控制器主要包括外环自抗扰位置控制器与内环自抗扰姿态控制器，当巡检机器人位姿发生偏差时，通过外环自抗扰位置控制器对巡检机器人位置进行控制，通过内环自抗扰姿态控制器对巡检机器人姿态进行控制，最终实现巡检机器人的位姿调节。
步骤6：巡检机器人在输水管道内部前行时，四个不同空间位置的能发射设定波长的线激光发射器同时将线状光斑投射到输水管道内壁上。
防水型线激光发射器a位于巡检机器人系统前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°。防水型线激光发射器b位于巡检机器人系统后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°。防水型线激光发射器c位于巡检机器人系统前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°。防水型线激光发射器d 位于巡检机器人系统后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°。四组防水型线激光发射器在空间上的位置各不相同，因此投射出的线结构光不会对彼此造成干扰，将整条输水管道完全覆盖。
步骤7：在每个线激光发射器附近安装摄像机，用于采集投影到管道内壁上面的光斑图像，将采集到的图像采用高斯滤波进行去噪，使用灰度重心法，计算得到光斑条纹中心特征点，并利用该条纹中心特征点得到该点在相机坐标系下的三维坐标，遍历该线状光斑上的所有中心特征点，得到整条线状光斑在相机坐标系下的三维坐标，对四组摄像机采集到的线状光斑图像重复步骤7，得到四条线状光斑中心特征点在相机坐标系下的三维坐标；
步骤7中，计算得到光斑条纹中心特征点，将光斑中心特征点代入针孔相机模型的约束条件，联立步骤3.2求得的光平面方程，并获得该条纹中心特征点的在相机坐标系下的三维坐标；
针孔相机模型的约束条件为;式中)为相机传感器平面上的点，为相机焦距，(,,)为)对应的相机坐标系的坐标，
设摄像头a上相机传感器平面的坐标为，最终得到线状光斑特征点位于相机坐标系的点：(,,)，
；；。
其中，，，为步骤3.2得到的光平面常数系数，
设摄像头b上相机传感器平面的坐标为，摄像头c上相机传感器平面的坐标为。最终得到线状光斑特征点位于相机坐标系的点，分别为(,,)，,,),(,,)，
其中；；;
；；;
；；，其中，，，，，，，，，，，为步骤3.2得到的光平面常数系数。
步骤8：判断此时是否已经完成对输水管道的扫描，若没有完成则继续执行步骤5，若已经完成整条输水管道的扫描工作，则执行步骤9；
步骤9：伴随着四组激光发射器发射的线状光斑扫描整条输水管道，对四条线状光斑上所有的中心特征点，执行步骤7的操作，得到所有特征点在对应相机坐标系下的坐标；
步骤10：将得到的所有线状光斑特征点在对应相机坐标系下的坐标转化为在管道坐标系下的坐标，绘制输水管道三维图像。
测量时，设两个行进推进器转速分别为,，浮潜推进器转速分别为,，巡检机器人满足期望位姿，即此时巡检机器人沿轴方向水平运动，轴与轴方向相同。此时通过多普勒测速仪测得机器人移动速度为m/s，当巡检机器人运行t秒时，巡检机器人位移量为米。
由步骤7可以得到摄像头a拍摄的线状光斑特征点位于相机坐标系下的坐标为(,,)。
由式（2）可以得出该点位于机器人坐标系下的坐标为：
。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的, 旋转矩阵,平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
由步骤7可以得到摄像头b拍摄的线状光斑特征点位于相机坐标系下的坐标为(,,)。
由式（3）可以得出该点位于机器人坐标系下的坐标为：
。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的, 旋转矩阵,平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
由步骤7可以得到摄像头c拍摄的线状光斑特征点位于相机坐标系下的坐标(,,)。
由式（4）可以得出该点位于机器人坐标系下的坐标为：
。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的，旋转矩阵，平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
由步骤7可以得到摄像头d拍摄的线状光斑特征点位于相机坐标系下的坐标(,,)。
由式（5）可以得出该点位于机器人坐标系下的坐标为：
。
由式（1）可以得到该点位于管道坐标系下的坐标为：
。
进一步的，旋转矩阵，平移向量;旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
为方便进一步对坐标转换过程进行说明，假定巡检机器人总长度为1.2米，宽度为1米。在距离巡检机器人前端0.1m设置摄像头a601且摄像头a601位于机器人前端上侧的中心位置， 在距离巡检机器人后端0.1m设置摄像头b602且摄像头b602位于机器人后端右侧的中心位置，在距离巡检机器人前端0.1m设置摄像头c603且摄像头c603位于机器人前端下侧的中心位置，
在距离巡检机器人后端0.1m设置摄像头d604且摄像头d604位于机器人后端左侧的中心位置。
管道坐标系原点坐标设置在管道入口中心处，机器人坐标系原点坐标设置在机器人中心位置，即距离机器人上端和下端距离均为0.5米，距离机器人前端和后端均为0.6米。相机坐标系原点坐标分别位于摄像头a601、摄像头b602、摄像头c603和摄像头d604的相机光心。
设巡检机器人初始位置在管道入口中心处，且机器人中心与管道入口中心重合，即此时管道坐标系与机器人坐标系完全重合。
此时，线状光斑特征点位于相机坐标系的点：(,,)，
；；。由式（2）可以得出线状光斑特征点位于机器人坐标系下的坐标为：
。
旋转矩阵，平移向量;则摄像头a601拍摄的线状光斑特征点位于管道坐标系下的坐标为：
。
旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
线状光斑特征点位于相机坐标系的点，为(,,)。；；;由式（3）可以得出该点位于机器人坐标系下的坐标为：
。
旋转矩阵，平移向量;则摄像头b602拍摄的线状光斑特征点位于管道坐标系下的坐标为：。
旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
线状光斑特征点位于相机坐标系的点，为,,)。；；由式（4）可以得出该点位于机器人坐标系下的坐标为：
。
旋转矩阵，平移向量；
则摄像头c603拍摄的线状光斑特征点位于管道坐标系下的坐标为：。
旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
线状光斑特征点位于相机坐标系的点，分别为 (,,)。；；。由式（5）可以得出该点位于机器人坐标系下的坐标为：
。
旋转矩阵，平移向量。摄像头d604拍摄的线状光斑特征点位于管道坐标系下的坐标为：
。
旋转矩阵由惯性导航系统的位姿传感器测得，平移矩阵。
尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种输水管道内壁巡检机器人，其特征在于，包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统，
所述前视系统包括设置在机器人前部的用于观察输水管道前方信息的摄像头；
所述推进系统包括四个推进器，分别为两个行进推进器和浮潜推进器，在机器人尾部设置用于推进机器人的行进推进器，在机器人两侧设置用于巡检机器人浮潜的浮潜推进器；
所述的惯性导航系统采用用于判断巡检机器人的位姿信息的MEMS微型航姿系统；
所述测速系统采用多普勒测速仪，用于测量巡检机器人的速度；
所述照明系统用于提供光源；
所述测距和避障系统用于测量巡检机器人与前方障碍物和输水管道内壁的距离；
所述成像系统包括线激光发射器及与激光发射器配合的摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄线激光发射器投射到输水管道内壁上的光斑图像；
所述控制系统与上述的前视系统、推进系统、惯性导航系统、测速系统、照明系统、测距和避障系统和成像系统连接。
2.根据权利要求1所述的输水管道内壁巡检机器人，其特征在于,
所述测距和避障系统包括六个超声波测距仪，其中的两个超声波测距仪设置在巡检机器人前端，用于测量巡检机器人与前方障碍物的距离；另外四个超声波测距仪位于巡检机器人的后端且环形安装，相邻两个超声波测距仪相差 ，用于判断巡检机器人与输水管道内壁的距离。
3.根据权利要求1所述的输水管道内壁巡检机器人，其特征在于,
所述成像系统为四组，每组均包括一个线激光发射器和一个摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄投射到输水管道内壁上的光斑图像，每组中的摄像机用于拍摄本组的线激光发射器的光斑图像，四组成像系统形成对输水管道内部的全部成像。
4.一种输水管道内壁检测方法,其特征在于包括如下步骤，
步骤1、在巡检机器人开始对输水管道进行检测作业前，判断巡检机器人的成像系统是否标定，成像系统的标定分为相机标定和光平面标定，若成像系统还没有标定完成，则开始执行步骤2，若巡检机器人已经标定完成，则开始执行步骤5；
步骤2、将二维平面靶标放置于输水管道内，使用线激光发射器将设定波长的线状光斑投射到二维平面靶标上，通过线激光发射器配对的摄像机采集带有线状光斑的二维平面靶标图像；
判断是否需要对相机进行标定，不需要对相机进行标定时，则对光平面标定；如果需要标定，采用张正友标定法对相机进行标定，求解出相机内参和相机外参，根据实际像素坐标与计算得到的像素坐标计算重投影误差，反复迭代摄像机和内外参数和畸变参数，直至收敛，完成相机标定；
步骤3、进行光平面标定时，首先完成图像处理和线状光斑中心特征点的提取，然后进行光平面标定；
步骤4、判断巡检机器人的四组成像系统是否全部标定完成，若成像系统全部标定完成则执行步骤5，若还有成像系统没有标定完成则继续执行步骤2，最终得到四组光平面分别在相机坐标系、、、下的方程，分别为：
0 （12）
0 （13）
0 （14）
0 （15）
式（12），（13），（14），（15）中，，，，，，，，，，，，，，，，为光平面常数系数；
步骤5、当巡检机器人成像系统全部标定完成时，判断此时的巡检机器人位姿是否为期望位姿，若此时巡检机器人为期望位姿则执行步骤6，若此时巡检机器人不满足期望位姿则对巡检机器人进行姿态调整，调整结束后重新判断此时的巡检机器人位姿是否为期望位姿；
步骤6：巡检机器人在输水管道内部前行时，四个不同空间位置的能发射设定波长的线激光发射器同时将线状光斑投射到输水管道内壁上；
步骤7：在每个线激光发射器附近安装摄像机，用于采集投影到管道内壁上面的光斑图像，将采集到的图像采用高斯滤波进行去噪，使用灰度重心法，计算得到光斑条纹中心特征点，并利用该条纹中心特征点计算得到该点在相机坐标系下的三维坐标，遍历该线状光斑上的所有中心特征点，得到整条线状光斑在相机坐标系下的三维坐标，对四组摄像机采集到的线状光斑图像重复步骤7，得到四条线状光斑中心特征点在相机坐标系下的三维坐标；
步骤8：判断此时是否已经完成对输水管道的扫描，若没有完成则继续执行步骤5，若已经完成整条输水管道的扫描工作，则执行步骤9；
步骤9：伴随着四组激光发射器发射的线状光斑扫描整条输水管道，对四条线状光斑上所有的中心特征点，执行步骤7的操作，得到所有特征点在对应相机坐标系下的坐标；
步骤10：将得到的所有线状光斑特征点在对应相机坐标系下的坐标转化为在管道坐标系下的坐标，绘制输水管道三维图像。
5.根据权利要求4所述的输水管道内壁检测方法，其特征在于,
所述的步骤3中，
步骤3.1、完成图像处理和线状光斑中心特征点的提取，将采集到的带有线状光斑的二维平面靶标图像采用高斯滤波进行去噪，去噪后使用灰度重心法提取线状光斑的中心特征点，
所述的灰度重心法：在线状光斑行坐标的方向上逐行计算光斑区域的灰度重心点，并用该点来代表该截面的光斑中心特征点位置；对于包含M行N列的图像，光斑第列的灰度重心坐标为,式中，表示坐标处的像素灰度值，；
步骤3.2：完成光平面标定，从步骤2中得到相机内参，，，旋转矩阵和平移向量，设为光斑中心特征点在相机坐标系下的坐标，为该特征点在图像平面上的投影点位于像素坐标系下的齐次坐标，为该特征点在图像平面上的投影点位于相机坐标系下的坐标，为该特征点在归一化图像平面上的投影点坐标，投影点坐标：，其中，，为相机内参,为特征点在图像平面上的投影点位于像素坐标系下的坐标，
联立光斑中心特征点位于归一化图像坐标系上的投影点和相机光心，求得同时过该投影点和相机光心的直线方程（7）
 （7）
式（7）中，为光斑中心特征点在相机坐标系下的坐标，为该特征点在归一化图像平面上的投影点坐标，
设二维平面靶标在靶标坐标系下的方程为：
 （8）
式（8）中，为常数系数；
相机坐标系与靶标坐标系的转换关系为：
 (6)
式（6）中，旋转矩阵为相机坐标系与靶标坐标系之间的相对旋转，旋转矩阵为一个三行三列的矩阵；平移向量为相机坐标系与靶标坐标系之间的相对位移，平移向量为三行一列的向量；
将式（6）与方程（8）联立可得，二维平面靶标位于相机坐标系下的方程为：
 （9）
靶标坐标系建立在二维平面靶标上，因此（8）式退化为，即0,将代入（9）式可得二维平面靶标在相机坐标系下的方程为：
 （10）
令，最终得到二维平面靶标在相机坐标系下的方程为：
 （11）
联立方程（7）与方程（11），求得光斑中心特征点位于相机坐标系下的坐标值分别为，，，选取线状光斑上的任意特征点重复上述过程，最终获得整条线状光斑特征点位于相机坐标系下的点，
确定一个平面需要最少三个不共线的点坐标，判断此时系统是否已满足确定平面的条件，若不满足，最少改变一次二维平面靶标位姿后，继续从步骤2开始执行，满足条件则使用三个或三个以上的不共线特征点位于相机坐标系的坐标，完成光平面的标定，得到光平面方程（9）在相机坐标系下的方程，
0 （12）
式（12）中，，，，为光平面常数系数。
6.根据权利要求4所述的输水管道内壁检测方法，其特征在于,
巡检机器人的期望位姿为：巡检机器人位于输水管道中心位置，沿输水管道水流方向水平向前运动，当巡检机器人满足期望位姿时，机器人坐标系与输水管道坐标系方向完全相同。
7.根据权利要求4所述的输水管道内壁检测方法，其特征在于,
所述的四个线激光发射器中，线激光发射器a位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°，线激光发射器b位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°，线激光发射器c位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°，线激光发射器d 位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°，四组线激光发射器在空间上的位置各不相同，将整条输水管道完全覆盖。
8.根据权利要求5所述的输水管道内壁检测方法，其特征在于,
步骤7中，计算得到光斑条纹中心特征点，将光斑中心特征点代入针孔相机模型的约束条件，联立步骤3.2求得的光平面方程，并获得该条纹中心特征点的在相机坐标系下的三维坐标；
针孔相机模型的约束条件为 ;式中)为相机传感器平面上的点，为相机焦距，(,,)为)对应的相机坐标系的坐标，
设摄像头a上相机传感器平面的坐标为，最终得到线状光斑特征点位于相机坐标系的点：(, , )
；；；
其中，，，为步骤3.2得到的光平面常数系数，
设摄像头b上相机传感器平面的坐标为，摄像头c上相机传感器平面的坐标为，摄像头d上相机传感器平面的坐标为，最终得到线状光斑特征点位于相机坐标系的点，分别为(, , )，, , ),(, , )
其中；；;
；；;
；；；
其中，，，，，，，，，，，为光平面常数系数。
CN202310293854.2A 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法 Active CN116009559B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310293854.2A CN116009559B (zh) 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法
KR1020230097081A KR102645206B1 (ko) 2023-03-24 2023-07-25 송수관로 내벽 점검 로봇 및 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310293854.2A CN116009559B (zh) 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法

Publications (2)

Publication Number Publication Date
CN116009559A true CN116009559A (zh) 2023-04-25
CN116009559B CN116009559B (zh) 2023-06-13

Family

ID=86023313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310293854.2A Active CN116009559B (zh) 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法

Country Status (2)

Country Link
KR (1) KR102645206B1 (zh)
CN (1) CN116009559B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116538382A (zh) * 2023-07-03 2023-08-04 山东水发黄水东调工程有限公司 输水管道内巡检机器人及其控制方法
CN117288459A (zh) * 2023-11-24 2023-12-26 齐鲁工业大学(山东省科学院) 一种基于管道内水下航行器的蝶阀检测方法及系统
CN117646828A (zh) * 2024-01-29 2024-03-05 中国市政工程西南设计研究总院有限公司 一种用于检测顶管接口相对位移和渗漏水的装置及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018065171A (ja) * 2016-10-19 2018-04-26 三菱日立パワーシステムズ株式会社 配管内移動ロボットによる施工システムおよび施工方法
CN108844463A (zh) * 2018-06-12 2018-11-20 南京理工大学 基于激光光斑位置的地下管道空间方位测量系统及方法
CN111127455A (zh) * 2019-12-27 2020-05-08 江苏恒澄交科信息科技股份有限公司 基于视频图像分析的管道测量方法
US20200400419A1 (en) * 2019-01-21 2020-12-24 Shenzhen University Pipeline three-dimensional curve measuring robot and implementation method therefor
CN112665582A (zh) * 2020-12-18 2021-04-16 南京理工大学 一种基于imu和激光光斑图像的地下管道检测系统
CN113048949A (zh) * 2021-03-05 2021-06-29 广东工业大学 一种基于线结构光学视觉的圆柱状物体位姿检测装置及方法
CN114396894A (zh) * 2022-01-31 2022-04-26 北京航空航天大学 激光测距与单目视觉的管道直线度检测装置及方法
CN115187676A (zh) * 2022-08-03 2022-10-14 重庆中科摇橹船信息科技有限公司 一种高精度线激光三维重建标定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101802207B1 (ko) * 2016-05-13 2017-11-29 삼성중공업 주식회사 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법
JP6710114B2 (ja) * 2016-06-21 2020-06-17 株式会社日立製作所 管路施設点検飛行体と、それを用いた管路施設点検システム
WO2019233090A1 (zh) * 2018-06-07 2019-12-12 驭势科技（北京）有限公司 一种同时定位与建图的方法及装置
CN110244322B (zh) * 2019-06-28 2023-04-18 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
CN112631266A (zh) * 2019-09-20 2021-04-09 杭州海康机器人技术有限公司 一种移动机器人感知障碍信息的方法、装置
CN115046499B (zh) * 2022-06-17 2023-06-30 中国地质大学（武汉） 一种基于三角测量原理的环形激光管道检测系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018065171A (ja) * 2016-10-19 2018-04-26 三菱日立パワーシステムズ株式会社 配管内移動ロボットによる施工システムおよび施工方法
CN108844463A (zh) * 2018-06-12 2018-11-20 南京理工大学 基于激光光斑位置的地下管道空间方位测量系统及方法
US20200400419A1 (en) * 2019-01-21 2020-12-24 Shenzhen University Pipeline three-dimensional curve measuring robot and implementation method therefor
CN111127455A (zh) * 2019-12-27 2020-05-08 江苏恒澄交科信息科技股份有限公司 基于视频图像分析的管道测量方法
CN112665582A (zh) * 2020-12-18 2021-04-16 南京理工大学 一种基于imu和激光光斑图像的地下管道检测系统
CN113048949A (zh) * 2021-03-05 2021-06-29 广东工业大学 一种基于线结构光学视觉的圆柱状物体位姿检测装置及方法
CN114396894A (zh) * 2022-01-31 2022-04-26 北京航空航天大学 激光测距与单目视觉的管道直线度检测装置及方法
CN115187676A (zh) * 2022-08-03 2022-10-14 重庆中科摇橹船信息科技有限公司 一种高精度线激光三维重建标定方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HUI ZHANG: "A novel multi-target recognition method based on heatable marker for human following robots", 2022 CHINA AUTOMATION CONGRESS (CAC) *
ZHEXIONG SHANG: "Single-pass inline pipeline 3D reconstruction using depth camera array", AUTOMATION IN CONSTRUCTION, vol. 138 *
刘滔滔: "管道三维检测仪的激光光斑位敏探测技术", 激光与红外, vol. 49, no. 11 *
李江雄;吴恩启;柯映林;: "基于结构光的微细管孔内表面三维重建", 仪器仪表学报, no. 03, pages 254 - 262 *
段学虎: "杂乱环境中改进的目标检测跟踪算法", 齐鲁工业大学学报 *
胡媛媛: "基于机器人的管道内壁三维重建技术研究", 工业仪表与自动化装置, no. 4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116538382A (zh) * 2023-07-03 2023-08-04 山东水发黄水东调工程有限公司 输水管道内巡检机器人及其控制方法
CN116538382B (zh) * 2023-07-03 2023-11-07 山东水发黄水东调工程有限公司 输水管道内巡检机器人及其控制方法
CN117288459A (zh) * 2023-11-24 2023-12-26 齐鲁工业大学(山东省科学院) 一种基于管道内水下航行器的蝶阀检测方法及系统
CN117288459B (zh) * 2023-11-24 2024-02-02 齐鲁工业大学(山东省科学院) 一种基于管道内水下航行器的蝶阀检测方法及系统
CN117646828A (zh) * 2024-01-29 2024-03-05 中国市政工程西南设计研究总院有限公司 一种用于检测顶管接口相对位移和渗漏水的装置及方法
CN117646828B (zh) * 2024-01-29 2024-04-05 中国市政工程西南设计研究总院有限公司 一种用于检测顶管接口相对位移和渗漏水的装置及方法

Also Published As

Publication number Publication date
KR102645206B1 (ko) 2024-03-08
CN116009559B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN116009559B (zh) 一种输水管道内壁巡检机器人及检测方法
AU2014247986B2 (en) Underwater platform with lidar and related methods
US8655022B2 (en) System and method for detecting position of underwater vehicle
CN113137920B (zh) 一种水下测量的设备与水下测量方法
US10760907B2 (en) System and method for measuring a displacement of a mobile platform
EP3443331B1 (en) Mobile imaging of an object using penetrating radiation
CN110703230B (zh) 激光雷达与摄像头之间的位置标定方法
WO2014198227A1 (zh) 用于自移动机器人的线激光测距方法
EP3799790B1 (en) Method for tracking location of two-dimensional non-destructive inspection scanner on target object using scanned structural features
Gu et al. Environment driven underwater camera-IMU calibration for monocular visual-inertial SLAM
Menna et al. Towards real-time underwater photogrammetry for subsea metrology applications
CN108225276B (zh) 一种单星成像目标运动特性反演方法及系统
Alzuhiri et al. IMU-assisted robotic structured light sensing with featureless registration under uncertainties for pipeline inspection
Moisan et al. Dynamic 3d modeling of a canal-tunnel using photogrammetric and bathymetric data
Elnashef et al. Direct estimation of the relative orientation in underwater environment
WO2021006026A1 (ja) 自己位置特定方法
Bleier Underwater Laser Scanning-Refractive Calibration, Self-calibration and Mapping for 3D Reconstruction
JP4890294B2 (ja) 水中移動装置の位置測定システム
Schattschneider Accurate high-resolution 3D surface reconstruction and localisation using a wide-angle flat port underwater stereo camera: towards autonomous ship hull inspection
Nakini et al. Distortion correction in 3d-modeling of roots for plant phenotyping
WO2024077084A1 (en) Dual-function depth camera array for inline 3d reconstruction of complex pipelines
Zheng et al. Depth measurement of underwater target based on laser frequency-difference scanning
Sultana et al. A survey paper on 3D reconstruction of underwater coral reef images
Gao et al. Ruler in Water: 6-DOF Underwater Rotating Platform Calibration for Laser Scanner
Matos Laser triangulation sensor with refraction modelling for underwater 3D measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant