CN116009559B - 一种输水管道内壁巡检机器人及检测方法 - Google Patents

一种输水管道内壁巡检机器人及检测方法 Download PDF

Info

Publication number
CN116009559B
CN116009559B CN202310293854.2A CN202310293854A CN116009559B CN 116009559 B CN116009559 B CN 116009559B CN 202310293854 A CN202310293854 A CN 202310293854A CN 116009559 B CN116009559 B CN 116009559B
Authority
CN
China
Prior art keywords
camera
coordinate system
robot
coordinates
inspection robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310293854.2A
Other languages
English (en)
Other versions
CN116009559A (zh
Inventor
马凤英
支祥瑞
纪鹏
罗光欣
陈新明
刘邦坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310293854.2A priority Critical patent/CN116009559B/zh
Publication of CN116009559A publication Critical patent/CN116009559A/zh
Application granted granted Critical
Publication of CN116009559B publication Critical patent/CN116009559B/zh
Priority to KR1020230097081A priority patent/KR102645206B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin
    • Y02E30/30—Nuclear fission reactors

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本发明涉及水下光学探测技术领域，尤其是一种输水管道内壁巡检机器人及检测方法，包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统，前视系统包括两个摄像头，推进系统包括推进器；惯性导航系统采用MEMS微型航姿系统；测速系统采用多普勒测速仪；照明系统用于提供光源；测距和避障系统测量巡检机器人与前方障碍物和输水管道内壁的距离；成像系统包括线激光发射器及摄像机；该发明采用四个线激光发射器，在每个防水型线激光发射器附近安装摄像机，通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型。

Description

一种输水管道内壁巡检机器人及检测方法
技术领域
本发明涉及水下光学探测技术领域，特别是一种输水管道内壁巡检机器人及检测方法。
背景技术
我国城市化进程飞速发展，城市集中供水方式依赖大口径预应力钢筋混凝土输水管道，这类输水管道在长时间的使用过程中容易受到压力、水质等外部因素影响，致使管道内部发生破损、变形、腐蚀甚至管道泄漏的情况。对于这类输水管道的检测一般需要在特定的检修时间内，由人工携带检测设备进入输水管道内部进行巡检来完成检测。但人工检测所需时间较长，面对复杂狭窄的管道环境时，人工检测很难实现精准检测。
近年来，出现了一些基于水下移动机器人的输水管道内壁在线检测手段，其中最主要的包括声学检测技术和光学检测技术。基于光学检测的水下管道内壁检测方法一般是通过在移动机器人上布置一个或多个摄像头结合图像处理方法实现。这种方法只需要在前端布置一个摄像头或者在机器人周边环形布置多个摄像头，即可实现对管道内壁的缺陷检测，但是这类方法无法确定管道缺陷的纵深长度，不能实现对管道内壁的准确三维建模。基于声学检测的水下管道内壁检测方法一般是通过在移动机器人上环形布置超声波测距仪，计算超声波接收器收到反射波需要的时间来实现对管道内壁的缺陷检测。这类方法可以准确的获得管道内壁缺陷纵深长度，但由于环形布置的超声波测距仪之间存在间隙，因此无法对整条管道内壁进行全面检测，存在漏检现象，所以这类方法也不能实现对管道内壁的准确三维建模。
发明内容
本发明针对传统检测技术中，无法对管道内壁实现准确三维建模的缺陷，提供了一种输水管道内壁巡检机器人及检测方法，该方法采用四个不同空间位置的防水型线激光发射器将特定波长的线状光斑投射到输水管道内壁上，其中两个防水型线激光发射器位于巡检机器人前端上下呈180°对向分布，另外两个防水型线激光发射器位于巡检机器人后端左右呈180°对向分布，巡检机器人前端和后端的防水型线激光发射器在空间上为垂直关系。在每个防水型线激光发射器附近安装摄像机，用于拍摄投射到输水管道内壁上的线状光斑。通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，根据特征点计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型，从而解决传统检测方法无法对输水管道内壁实现准确三维建模的技术问题。
本发明提供如下技术方案：一种输水管道内壁巡检机器人，包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统。所述前视系统包括设置在机器人前部的用于观察输水管道前方信息的摄像头，所述摄像头为两个。所述推进系统包括四个推进器，分别为两个行进推进器和两个浮潜推进器，在机器人尾部设置用于推进机器人的行进推进器，在机器人两侧设置用于巡检机器人浮潜的浮潜推进器；所述的惯性导航系统采用用于判断巡检机器人的位姿信息的MEMS微型航姿系统；所述测速系统采用多普勒测速仪，用于测量巡检机器人的速度；所述照明系统用于提供光源，主要为前视系统提供光源；所述测距和避障系统用于测量巡检机器人与前方障碍物和输水管道内壁的距离；所述成像系统包括线激光发射器及与激光发射器配合的摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄线激光发射器投射到输水管道内壁上的光斑图像；所述控制系统与上述的前视系统、推进系统、惯性导航系统、测速系统、照明系统、测距和避障系统和成像系统连接。控制系统用于保持巡检机器人平稳前行进而完成检测任务。
所述测距和避障系统包括六个超声波测距仪，其中的两个超声波测距仪设置在巡检机器人前端，用于测量巡检机器人与前方障碍物的距离；另外四个超声波测距仪位于巡检机器人的后端，且环形安装，相邻两个超声波测距仪相差
Figure SMS_1
，用于判断巡检机器人与输水管道内壁的距离。
所述成像系统为四组，每组均包括一个线激光发射器和一个摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄投射到输水管道内壁上的光斑图像，每组中的摄像机用于拍摄本组的线激光发射器的光斑图像，四组成像系统形成对输水管道内部的全部成像。
在本发明中，基于上述巡检机器人：设巡检机器人初始位置在管道入口中心处，且机器人中心与管道入口中心重合，巡检机器人长度为
Figure SMS_2
米,半径为/>
Figure SMS_3
米。
首先以机器人中心为原点坐标
Figure SMS_5
，巡检机器人前进方向为/>
Figure SMS_7
轴，地球重力反方向为/>
Figure SMS_9
轴，符合右手坐标系建立机器人坐标系/>
Figure SMS_6
。以输水管道入口处中心位置为原点坐标/>
Figure SMS_8
，以水流方向为/>
Figure SMS_10
轴，地球重力的反方向为/>
Figure SMS_11
轴，符合右手坐标系建立输水管道坐标系/>
Figure SMS_4
。
机器人坐标系
Figure SMS_12
与输水管道坐标系/>
Figure SMS_13
关系为：
Figure SMS_14
(1)
式（1）中，旋转矩阵
Figure SMS_15
为机器人坐标系/>
Figure SMS_16
与输水管道坐标系/>
Figure SMS_17
之间的相对旋转，平移向量/>
Figure SMS_18
为机器人坐标系/>
Figure SMS_19
与输水管道坐标系/>
Figure SMS_20
之间的相对位移。
机器人坐标系与管道坐标系的旋转矩阵
Figure SMS_21
由惯性导航系统的位姿传感器测得，初始状态时，机器人坐标系与管道坐标系重合。旋转矩阵/>
Figure SMS_22
为单位矩阵。平移矩阵/>
Figure SMS_23
。
机器人坐标系
Figure SMS_24
通过旋转和平移后建立相机坐标系/>
Figure SMS_25
，相机坐标系/>
Figure SMS_26
的原点坐标为摄像头a的相机光心，相机右侧为/>
Figure SMS_27
轴，相机光轴为/>
Figure SMS_28
轴，符合右手坐标系。/>
机器人坐标系
Figure SMS_29
和相机坐标系/>
Figure SMS_30
的旋转关系为：机器人坐标系沿/>
Figure SMS_31
轴方向逆时针旋转90°。
机器人坐标系
Figure SMS_32
和相机坐标系/>
Figure SMS_33
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_34
轴方向平移/>
Figure SMS_35
米，再沿新的/>
Figure SMS_36
轴方向平移r米。
相机坐标系
Figure SMS_37
的原点坐标位于机器人前端上侧的中心位置，摄像头a相对于机器人朝上。
机器人坐标系
Figure SMS_38
和相机坐标系/>
Figure SMS_39
的具体关系如下：
Figure SMS_40
(2)
式（2）中旋转矩阵
Figure SMS_41
为相机坐标系/>
Figure SMS_42
与机器人坐标系/>
Figure SMS_43
之间的相对旋转，平移向量/>
Figure SMS_44
相机坐标系/>
Figure SMS_45
与机器人坐标系/>
Figure SMS_46
之间的相对位移。
旋转矩阵
Figure SMS_47
，平移向量/>
Figure SMS_48
;
机器人坐标系
Figure SMS_49
通过旋转和平移后建立相机坐标系/>
Figure SMS_50
，相机坐标系/>
Figure SMS_51
的原点坐标为摄像头b的相机光心，相机右侧为/>
Figure SMS_52
轴，相机光轴为/>
Figure SMS_53
轴，符合右手坐标系。
机器人坐标系
Figure SMS_54
和相机坐标系/>
Figure SMS_55
的旋转关系为：机器人坐标系沿/>
Figure SMS_56
轴方向顺时针旋转180°，再沿/>
Figure SMS_57
轴方向顺时针旋转90°。
机器人坐标系
Figure SMS_58
和相机坐标系/>
Figure SMS_59
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_60
轴方向平移/>
Figure SMS_61
米，再沿新的/>
Figure SMS_62
轴方向平移r米。
相机坐标系
Figure SMS_63
的原点坐标位于机器人后端右侧的中心位置，摄像头b相对于机器人朝右。
机器人坐标系
Figure SMS_64
和相机坐标系/>
Figure SMS_65
的具体关系如下：
Figure SMS_66
(3)
式（3）中旋转矩阵
Figure SMS_67
为相机坐标系/>
Figure SMS_68
与机器人坐标系/>
Figure SMS_69
之间的相对旋转，平移向量/>
Figure SMS_70
相机坐标系/>
Figure SMS_71
与机器人坐标系/>
Figure SMS_72
之间的相对位移。/>
旋转矩阵
Figure SMS_73
，平移向量/>
Figure SMS_74
;
机器人坐标系
Figure SMS_75
通过旋转和平移后建立相机坐标系/>
Figure SMS_76
，相机坐标系/>
Figure SMS_77
的原点坐标为摄像头c的相机光心，相机右侧为/>
Figure SMS_78
轴，相机光轴为/>
Figure SMS_79
轴，符合右手坐标系。
机器人坐标系
Figure SMS_80
和相机坐标系/>
Figure SMS_81
的旋转关系为：机器人坐标系沿/>
Figure SMS_82
轴方向顺时针旋转90°，再沿/>
Figure SMS_83
轴方向顺时针旋转180°。
机器人坐标系
Figure SMS_84
和相机坐标系/>
Figure SMS_85
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_86
轴方向平移/>
Figure SMS_87
米，再沿新的/>
Figure SMS_88
轴方向平移r米。
相机坐标系
Figure SMS_89
的原点坐标位于机器人前端下侧的中心位置，摄像头c相对于机器人朝下。
机器人坐标系
Figure SMS_90
和相机坐标系/>
Figure SMS_91
的具体关系如下：
Figure SMS_92
(4)
式（4）中旋转矩阵
Figure SMS_93
为相机坐标系/>
Figure SMS_94
与机器人坐标系/>
Figure SMS_95
之间的相对旋转，平移向量/>
Figure SMS_96
相机坐标系/>
Figure SMS_97
与机器人坐标系/>
Figure SMS_98
之间的相对位移。
旋转矩阵
Figure SMS_99
，平移向量/>
Figure SMS_100
;
机器人坐标系
Figure SMS_101
通过旋转和平移后建立相机坐标系/>
Figure SMS_102
，相机坐标系/>
Figure SMS_103
的原点坐标为摄像头d的相机光心，相机右侧为/>
Figure SMS_104
轴，相机光轴为/>
Figure SMS_105
轴，符合右手坐标系。
机器人坐标系
Figure SMS_106
和相机坐标系/>
Figure SMS_107
的旋转关系为：机器人坐标系沿/>
Figure SMS_108
轴方向逆时针旋转90°。
机器人坐标系
Figure SMS_109
和相机坐标系/>
Figure SMS_110
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_111
轴方向平移-/>
Figure SMS_112
米，再沿新的/>
Figure SMS_113
轴方向平移r米。
相机坐标系
Figure SMS_114
的原点坐标位于机器人后端左侧的中心位置，摄像头d相对于机器人朝左。
机器人坐标系
Figure SMS_115
和相机坐标系/>
Figure SMS_116
的具体关系如下：/>
Figure SMS_117
(5)
式（5）中旋转矩阵
Figure SMS_118
为相机坐标系/>
Figure SMS_119
与机器人坐标系/>
Figure SMS_120
之间的相对旋转，平移向量/>
Figure SMS_121
相机坐标系/>
Figure SMS_122
与机器人坐标系/>
Figure SMS_123
之间的相对位移。
旋转矩阵
Figure SMS_124
，平移向量/>
Figure SMS_125
;
在二维平面靶标上建立靶标坐标系
Figure SMS_126
, 在像平面建立像素坐标系/>
Figure SMS_127
，在距离相机光心单位距离处建立归一化图像坐标系/>
Figure SMS_128
。
相机坐标系
Figure SMS_129
与靶标坐标系/>
Figure SMS_130
的转换关系为：
Figure SMS_131
(6)
式（6）中，旋转矩阵
Figure SMS_133
为相机坐标系/>
Figure SMS_136
与靶标坐标系/>
Figure SMS_138
之间的相对旋转，旋转矩阵/>
Figure SMS_134
为一个三行三列的矩阵。平移向量/>
Figure SMS_135
为相机坐标系/>
Figure SMS_137
与靶标坐标系/>
Figure SMS_139
之间的相对位移，平移向量/>
Figure SMS_132
为三行一列的向量。
归一化图像坐标系
Figure SMS_140
与相机坐标系/>
Figure SMS_141
之间的转换系：/>
Figure SMS_142
面与/>
Figure SMS_143
面平行，即旋转矩阵/>
Figure SMS_144
，平移向量/>
Figure SMS_145
。
输水管道内壁检测方法,包括如下步骤，
步骤1、在巡检机器人开始对输水管道进行检测作业前，判断巡检机器人的成像系统是否标定，成像系统的标定分为相机标定和光平面标定，若成像系统还没有标定完成，则开始执行步骤2，若巡检机器人已经标定完成，则开始执行步骤5；
步骤2、将二维平面靶标放置于输水管道内，使用线激光发射器将设定波长的线状光斑投射到二维平面靶标上，通过线激光发射器配对的摄像机采集带有线状光斑的二维平面靶标图像；
判断是否需要对相机进行标定，不需要对相机进行标定时，则对光平面标定；如果需要标定，采用张正友标定法对相机进行标定，求解出相机内参和相机外参，根据实际像素坐标与计算得到的像素坐标计算重投影误差，反复迭代摄像机和内外参数和畸变参数，直至收敛，完成相机标定；
步骤3、进行光平面标定时，首先完成图像处理和线状光斑中心特征点的提取，然后进行光平面标定；
步骤4、判断巡检机器人的四组成像系统是否全部标定完成，若成像系统全部标定完成则执行步骤5，若还有成像系统没有标定完成则继续执行步骤2，最终得到四组光平面分别在相机坐标系
Figure SMS_146
、/>
Figure SMS_147
、/>
Figure SMS_148
、/>
Figure SMS_149
下的方程，分别为：
Figure SMS_150
0 （12）
Figure SMS_151
0 （13）
Figure SMS_152
0 （14）
Figure SMS_153
0 （15）
式（12），（13），（14），（15）中，
Figure SMS_166
，/>
Figure SMS_156
，/>
Figure SMS_162
，/>
Figure SMS_159
，/>
Figure SMS_165
，/>
Figure SMS_168
，/>
Figure SMS_169
，/>
Figure SMS_158
，/>
Figure SMS_163
，/>
Figure SMS_154
，/>
Figure SMS_160
，/>
Figure SMS_157
，/>
Figure SMS_164
，/>
Figure SMS_161
，/>
Figure SMS_167
，
Figure SMS_155
为光平面常数系数；
步骤5、当巡检机器人成像系统全部标定完成时，判断此时的巡检机器人位姿是否为期望位姿，若此时巡检机器人为期望位姿则执行步骤6，若此时巡检机器人不满足期望位姿则对巡检机器人进行姿态调整，调整结束后重新判断此时的巡检机器人位姿是否为期望位姿；
巡检机器人的期望位姿为：巡检机器人位于输水管道中心位置，沿输水管道水流方向水平向前运动，当巡检机器人满足期望位姿时，机器人坐标系
Figure SMS_170
与输水管道坐标系/>
Figure SMS_171
方向完全相同。
步骤6：巡检机器人在输水管道内部前行时，四个不同空间位置的能发射设定波长的线激光发射器同时将线状光斑投射到输水管道内壁上；
所述的四个线激光发射器中，线激光发射器a位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°，线激光发射器b位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°，线激光发射器c位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°，线激光发射器d 位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°，四组线激光发射器在空间上的位置各不相同，将整条输水管道完全覆盖。
步骤7：在每个线激光发射器附近安装摄像机，用于采集投影到管道内壁上面的光斑图像将采集到的图像采用高斯滤波进行去噪，使用灰度重心法，计算得到光斑条纹中心特征点，并利用该条纹中心特征点得到该点在相机坐标系下的三维坐标，遍历该线状光斑上的所有中心特征点，得到整条线状光斑在相机坐标系下的三维坐标，对四组摄像机采集到的线状光斑图像重复步骤7，得到四条线状光斑中心特征点在相机坐标系下的三维坐标；
步骤8：判断此时是否已经完成对输水管道的扫描，若没有完成则继续执行步骤5，若已经完成整条输水管道的扫描工作，则执行步骤9；
步骤9：伴随着四组激光发射器发射的线状光斑扫描整条输水管道，对四条线状光斑上所有的中心特征点，执行步骤7的操作，得到所有特征点在对应相机坐标系下的坐标；
步骤10：将得到的所有线状光斑特征点在对应相机坐标系下的坐标转化为在管道坐标系下的坐标，绘制输水管道三维图像。
所述的步骤3中，四组成像系统的光平面标定步骤均相同，此处以巡检机器人前侧上端摄像机a和线激光发射器a组成的成像系统的光平面标定为例。光平面标定步骤具体分为步骤3.1完成图像处理和线状光斑中心特征点的提取和步骤3.2完成光平面标定。
步骤3.1、完成图像处理和线状光斑中心特征点的提取，将采集到的带有线状光斑的二维平面靶标图像采用高斯滤波进行去噪，去噪后使用灰度重心法提取线状光斑的中心特征点，
所述的灰度重心法：在线状光斑行坐标的方向上逐行计算光斑区域的灰度重心点，并用该点来代表该截面的光斑中心特征点位置。对于包含M行N列的图像，光斑第
Figure SMS_172
列的灰度重心坐标为/>
Figure SMS_173
,式中/>
Figure SMS_174
，/>
Figure SMS_175
表示坐标/>
Figure SMS_176
处的像素灰度值，
Figure SMS_177
；
步骤3.2：完成光平面标定，从步骤2中得到相机内参
Figure SMS_182
，/>
Figure SMS_186
，/>
Figure SMS_191
，旋转矩阵/>
Figure SMS_179
和平移向量/>
Figure SMS_184
，其中/>
Figure SMS_190
，/>
Figure SMS_196
分别为使用像素来描述x轴和y轴方向上焦距的长度，/>
Figure SMS_181
，/>
Figure SMS_187
分别表示图像中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。旋转矩阵/>
Figure SMS_195
为相机坐标系/>
Figure SMS_199
与靶标坐标系/>
Figure SMS_183
之间的相对旋转。平移向量/>
Figure SMS_185
为相机坐标系/>
Figure SMS_193
与靶标坐标系/>
Figure SMS_198
之间的相对位移，设/>
Figure SMS_192
为光斑中心特征点在相机坐标系/>
Figure SMS_197
下的坐标，/>
Figure SMS_201
为该特征点在图像平面上的投影点位于像素坐标系下的齐次坐标，/>
Figure SMS_202
为该特征点在图像平面上的投影点位于相机坐标系下的坐标，/>
Figure SMS_178
为该特征点在归一化图像平面上的投影点坐标，投影点坐标：
Figure SMS_189
，其中/>
Figure SMS_194
，/>
Figure SMS_200
，/>
Figure SMS_180
为相机内参,/>
Figure SMS_188
为特征点在图像平面上的投影点位于像素坐标系下的坐标，
联立光斑中心特征点位于归一化图像坐标系上的投影点和相机光心，求得同时过该投影点和相机光心的直线方程（7）
Figure SMS_203
（7）
式（7）中，
Figure SMS_204
为光斑中心特征点在相机坐标系下的坐标，/>
Figure SMS_205
为该特征点在归一化图像平面上的投影点坐标，
设二维平面靶标在靶标坐标系下的方程为：
Figure SMS_206
（8）
式（8）中，
Figure SMS_207
为常数系数
将式（6）与方程（8）联立可得，二维平面靶标位于相机坐标系下的方程为：
Figure SMS_208
（9）/>
因为将靶标坐标系建立在二维平面靶标上，因此（8）式退化为
Figure SMS_209
，即/>
Figure SMS_210
0,将/>
Figure SMS_211
代入（9）式可得二维平面靶标在相机坐标系下的方程为：
Figure SMS_212
（10）
令
Figure SMS_213
，最终得到二维平面靶标在相机坐标系下的方程为：
Figure SMS_214
（11）
联立方程（7）与方程（11），求得光斑中心特征点位于相机坐标系
Figure SMS_215
下的坐标值/>
Figure SMS_216
分别为/>
Figure SMS_217
，/>
Figure SMS_218
，/>
Figure SMS_219
，选取线状光斑上的任意特征点重复上述过程，最终获得整条线状光斑特征点位于相机坐标系下的点，
确定一个平面需要最少三个不共线的点坐标，判断此时系统是否已满足确定平面的条件，若不满足，最少改变一次二维平面靶标位姿后，继续从步骤2开始执行，满足条件则使用任意三个或三个以上的不共线特征点位于相机坐标系的坐标，完成光平面的标定，得到光平面方程（9）在相机坐标系
Figure SMS_220
下的方程，
Figure SMS_221
0 （12）
式（12）中，
Figure SMS_222
，/>
Figure SMS_223
，/>
Figure SMS_224
，/>
Figure SMS_225
为光平面常数系数。
步骤7中，计算得到光斑条纹中心特征点，将光斑中心特征点代入针孔相机模型的约束条件，联立步骤3.2求得的光平面方程，并获得该条纹中心特征点的在相机坐标系下的三维坐标；
针孔相机模型的约束条件为
Figure SMS_228
;/>
Figure SMS_230
式中/>
Figure SMS_232
)为相机传感器平面上的点，/>
Figure SMS_227
为相机焦距，(/>
Figure SMS_229
,/>
Figure SMS_231
,/>
Figure SMS_233
)为/>
Figure SMS_226
)对应的相机坐标系的坐标，
设摄像头a上相机传感器平面的坐标为
Figure SMS_234
，最终得到线状光斑特征点位于相机坐标系/>
Figure SMS_235
的点：(/>
Figure SMS_236
,/>
Figure SMS_237
,/>
Figure SMS_238
)，
Figure SMS_239
；/>
Figure SMS_240
；/>
Figure SMS_241
；其中/>
Figure SMS_242
，/>
Figure SMS_243
，/>
Figure SMS_244
，/>
Figure SMS_245
为步骤3.2得到的光平面常数系数。
设摄像头b上相机传感器平面的坐标为
Figure SMS_248
，摄像头c上相机传感器平面的坐标为/>
Figure SMS_251
。最终得到线状光斑特征点位于相机坐标系/>
Figure SMS_254
的点，分别为(/>
Figure SMS_249
,/>
Figure SMS_252
,/>
Figure SMS_255
)，/>
Figure SMS_257
,/>
Figure SMS_246
,/>
Figure SMS_250
),(/>
Figure SMS_253
,/>
Figure SMS_256
,/>
Figure SMS_247
)，
其中
Figure SMS_258
；/>
Figure SMS_259
；/>
Figure SMS_260
;
Figure SMS_261
；/>
Figure SMS_262
；/>
Figure SMS_263
;
Figure SMS_266
；/>
Figure SMS_269
；/>
Figure SMS_274
，其中/>
Figure SMS_267
，/>
Figure SMS_270
，/>
Figure SMS_272
，/>
Figure SMS_277
，/>
Figure SMS_264
，/>
Figure SMS_268
，/>
Figure SMS_275
，/>
Figure SMS_278
，/>
Figure SMS_265
，/>
Figure SMS_271
，/>
Figure SMS_273
，/>
Figure SMS_276
为光平面常数系数。
设两个行进推进器转速分别为
Figure SMS_281
,/>
Figure SMS_283
，浮潜推进器转速分别为/>
Figure SMS_285
,/>
Figure SMS_280
，巡检机器人满足期望位姿，即此时巡检机器人沿/>
Figure SMS_284
轴方向水平运动，/>
Figure SMS_286
轴与/>
Figure SMS_287
轴方向相同。此时通过多普勒测速仪测得机器人移动速度为/>
Figure SMS_279
m/s，当巡检机器人运行t秒时，巡检机器人位移量为
Figure SMS_282
米。
由步骤7可以得到摄像头a拍摄的线状光斑特征点位于相机坐标系下的坐标为：(
Figure SMS_288
,/>
Figure SMS_289
,/>
Figure SMS_290
)。
由式（2）可以得出该点位于机器人坐标系下的坐标
Figure SMS_291
为：
Figure SMS_292
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_293
为：
Figure SMS_294
。
进一步的, 旋转矩阵
Figure SMS_295
,平移向量/>
Figure SMS_296
;旋转矩阵
Figure SMS_297
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_298
。
由步骤7可以得到摄像头b拍摄的线状光斑特征点位于相机坐标系下的坐标(
Figure SMS_299
,
Figure SMS_300
,/>
Figure SMS_301
)。
由式（3）可以得出该点位于机器人坐标系下的坐标
Figure SMS_302
为：
Figure SMS_303
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_304
为：/>
Figure SMS_305
。
进一步的, 旋转矩阵
Figure SMS_306
,平移向量/>
Figure SMS_307
;旋转矩阵/>
Figure SMS_308
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_309
。
由步骤7可以得到摄像头c拍摄的线状光斑特征点位于相机坐标系下的坐标为(
Figure SMS_310
,/>
Figure SMS_311
,/>
Figure SMS_312
)。
由式（4）可以得出该点位于机器人坐标系下的坐标
Figure SMS_313
为：
Figure SMS_314
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_315
为：
Figure SMS_316
。
进一步的，旋转矩阵
Figure SMS_317
，平移向量/>
Figure SMS_318
;旋转矩阵/>
Figure SMS_319
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_320
。
由步骤7可以得到摄像头d拍摄的线状光斑特征点位于相机坐标系下的坐标为(
Figure SMS_321
,/>
Figure SMS_322
,/>
Figure SMS_323
)。
由式（5）可以得出该点位于机器人坐标系下的坐标
Figure SMS_324
为：
Figure SMS_325
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_326
为：
Figure SMS_327
。
进一步的，旋转矩阵
Figure SMS_328
，平移向量/>
Figure SMS_329
;旋转矩阵/>
Figure SMS_330
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_331
。/>
通过上述描述可以看出，本发明采用四个不同空间位置的防水型线激光发射器将特定波长的线状光斑发射到输水管道内壁，第一个线激光发射器位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°。第二个线激光发射器位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°。第三个线激光发射器位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°。第四个线激光发射器位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°。通过线激光发射器附近安装的摄像机来采集投影到输水管道内壁上的光斑图像，通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，根据特征点计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型，从而解决传统检测方法无法对输水管道内壁实现准确三维建模的技术问题。
由于本发明采用的四组防水型线激光发射器在空间上的位置各不相同，因此发射出的线状光斑在空间上不存在交集的同时可以覆盖整个输水管道，有效的避免了漏检和误检现象的发生。同时本发明采用的三维建模方法可以确定管道缺陷的纵深长度，克服了传统光学检测技术中无法确定管道缺陷的纵深长度的技术问题，最终实现了对输水管道的精准三维建模。
附图说明
图1为巡检机器人俯视图。
图2为巡检机器人仰视图。
图3为本发明具体实施方式的线激光发射器结构示意图。
图4a是管道坐标系、机器人坐标系、摄像头a和摄像头b坐标系示意图。
图4b是机器人坐标系、摄像头c和摄像头d坐标系示意图。
图5是本发明具体实施方式的相机透视模型示意图。
图6是本发明具体实施方式的流程图。
图中：1：巡检机器人；2：输水管道内壁；3：线状光斑；401：第一组线激光发射器投影区域；402：第二组线激光发射器投影区域；403：第三组线激光发射器投影区域；404：第四组线激光发射器投影区域；501：防水型线激光发射器a；502：防水型线激光发射器b；503：防水型线激光发射器c；504：防水型线激光发射器d；600:摄像头；601：摄像头a；602：摄像头b；603：摄像头c；604：摄像头d；701：超声波测距仪a；702：超声波测距仪b；801：行进推进器a；802：行进推进器b；901：浮潜推进器a；902：浮潜推进器b；10：惯性导航系统；11：照明系统；12：多普勒测速仪；13：靶标坐标系；14：像素坐标系；15：相机坐标系；16：归一化平面；17：二维平面靶标；18：光条中心特征点；19：投影点在像素坐标系下的齐次坐标；20：归一化平面投影点。
具体实施方式
下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
通过附图可以看出，本发明所提出的输水管道内壁巡检机器人如图1和图2所示。该巡检机器人主要包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统。前视系统包括两个摄像头600，用于观察输水管道前方信息。推进系统包括四个推进器，尾部垂直行进推进器a801和行进推进器b802，腹部两侧水平布置浮潜推进器a901和浮潜推进器b902。惯性导航系统10采用MEMS微型航姿系统，用于判断巡检机器人的位姿信息。测速系统主要采用多普勒测速仪12，用于计算巡检机器人的速度。照明系统11用于为前视系统提供光源。控制系统采用自抗扰控制器，包括外环位置控制器与内环姿态控制器，用于保持巡检机器人平稳前行进而完成检测任务。测距和避障系统包括六个超声波测距仪，其中两个超声波测距传感仪a701位于巡检机器人前端，用于测量巡检机器人与前方障碍物的距离，另外四个超声波测距传感仪b702分别位于巡检机器人的中后段
Figure SMS_332
，/>
Figure SMS_333
，/>
Figure SMS_334
，/>
Figure SMS_335
处环形安装，用于判断巡检机器人是否位于输水管道中心前行。巡检机器人包括四组成像系统，每组成像系统均由一个线激光发射器和一个摄像机构成，线激光发射器为防水型线激光发射器。第一组防水型激光发射器a501和摄像机a601位于巡检机器人的前端上侧的中心位置，方向相对于机器人朝上；第二组防水型激光发射器b502和摄像机b602位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右；第三组防水型激光发射器c503和摄像机c603位于检测机器人前端下侧的中心位置，方向相对于机器人朝下；第四组防水型激光发射器d504和摄像机d604位于检测机器人后端左侧的中心位置，方向相对于机器人朝左。其中防水型线激光发射器用来发射特定波长的线状光斑，摄像机用来拍摄投射到输水管道内壁上的光斑图像。
如图3所示，巡检机器人1位于输水管道中心，采用四个不同空间位置的防水型线激光发射器将特定波长的线状光斑3投射到输水管道内壁2上，其中防水型线激光发射器a501位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围401大于90°。防水型线激光发射器b502位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围402大于90°。防水型线激光发射器c503位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光403范围大于90°。防水型线激光发射器d 504位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围404大于90°。防水型线激光发射器a501与防水型线激光发射器c503位于巡检机器人前端上下呈180°对向分布。防水型线激光发射器b502与防水型线激光发射器d504位于巡检机器人后端左右呈180°对向分布，巡检机器人前端和后端的线激光发射器在空间上为垂直关系。四组防水型线激光发射器在空间上的位置各不相同，因此投射出的线结构光不会对彼此造成干扰的同时，可以将整条输水管道完全覆盖。
在每个线激光发射器附近安装摄像机用来采集投影到输水管道内壁上的光斑图像。通过对摄像机采集到的线状光斑进行图像处理，提取光斑中心特征点，根据特征点计算输水管道内壁的三维坐标，进而精准复原输水管道内壁的三维模型。
基于上述巡检机器人系统，本发明提出的方法如下：
设巡检机器人初始位置在管道入口中心处，且机器人中心与管道入口中心重合，巡检机器人长度为
Figure SMS_336
米,半径为/>
Figure SMS_337
米。
如图4a和图4b所示,建立机器人坐标系
Figure SMS_338
，输水管道坐标系/>
Figure SMS_339
，相机坐标系/>
Figure SMS_340
。
首先以机器人中心为原点坐标
Figure SMS_342
，巡检机器人前进方向为/>
Figure SMS_344
轴，地球重力反方向为/>
Figure SMS_346
轴，符合右手坐标系建立机器人坐标系/>
Figure SMS_343
。以输水管道入口处中心位置为原点坐标/>
Figure SMS_345
，以水流方向为/>
Figure SMS_347
轴，地球重力的反方向为/>
Figure SMS_348
轴，符合右手坐标系建立输水管道坐标系/>
Figure SMS_341
。
机器人坐标系
Figure SMS_349
与输水管道坐标系/>
Figure SMS_350
关系为：
Figure SMS_351
(1)
式（1）中，旋转矩阵
Figure SMS_352
为机器人坐标系/>
Figure SMS_353
与输水管道坐标系/>
Figure SMS_354
之间的相对旋转，平移向量/>
Figure SMS_355
为机器人坐标系/>
Figure SMS_356
与输水管道坐标系/>
Figure SMS_357
之间的相对位移。
机器人坐标系与管道坐标系的旋转矩阵
Figure SMS_358
由惯性导航系统的位姿传感器测得，初始状态时，机器人坐标系与管道坐标系重合。旋转矩阵/>
Figure SMS_359
。平移矩阵/>
Figure SMS_360
。
机器人坐标系
Figure SMS_361
通过旋转和平移后建立相机坐标系/>
Figure SMS_362
，相机坐标系/>
Figure SMS_363
的原点坐标为摄像头a的相机光心，相机右侧为/>
Figure SMS_364
轴，相机光轴为/>
Figure SMS_365
轴，符合右手坐标系。
机器人坐标系
Figure SMS_366
和相机坐标系/>
Figure SMS_367
的旋转关系为：机器人坐标系沿/>
Figure SMS_368
轴方向逆时针旋转90°。
机器人坐标系
Figure SMS_369
和相机坐标系/>
Figure SMS_370
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_371
轴方向平移/>
Figure SMS_372
米，再沿新的/>
Figure SMS_373
轴方向平移r米。
相机坐标系
Figure SMS_374
的原点坐标位于机器人前端上侧的中心位置，摄像头a相对于机器人朝上。
机器人坐标系
Figure SMS_375
和相机坐标系/>
Figure SMS_376
的具体关系如下：
Figure SMS_377
(2)
式（2）中旋转矩阵
Figure SMS_378
为相机坐标系/>
Figure SMS_379
与机器人坐标系/>
Figure SMS_380
之间的相对旋转，平移向量/>
Figure SMS_381
相机坐标系/>
Figure SMS_382
与机器人坐标系/>
Figure SMS_383
之间的相对位移。/>
旋转矩阵
Figure SMS_384
，平移向量/>
Figure SMS_385
;
机器人坐标系
Figure SMS_386
通过旋转和平移后建立相机坐标系/>
Figure SMS_387
，相机坐标系/>
Figure SMS_388
的原点坐标为摄像头b的相机光心，相机右侧为/>
Figure SMS_389
轴，相机光轴为/>
Figure SMS_390
轴，符合右手坐标系。
机器人坐标系
Figure SMS_391
和相机坐标系/>
Figure SMS_392
的旋转关系为：机器人坐标系沿/>
Figure SMS_393
轴方向顺时针旋转180°，再沿/>
Figure SMS_394
轴方向顺时针旋转90°。
机器人坐标系
Figure SMS_395
和相机坐标系/>
Figure SMS_396
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_397
轴方向平移/>
Figure SMS_398
米，再沿新的/>
Figure SMS_399
轴方向平移r米。
相机坐标系
Figure SMS_400
的原点坐标位于机器人后端右侧的中心位置，摄像头b相对于机器人朝右。
机器人坐标系
Figure SMS_401
和相机坐标系/>
Figure SMS_402
的具体关系如下：
Figure SMS_403
(3)
式（3）中旋转矩阵
Figure SMS_404
为相机坐标系/>
Figure SMS_405
与机器人坐标系/>
Figure SMS_406
之间的相对旋转，平移向量/>
Figure SMS_407
相机坐标系/>
Figure SMS_408
与机器人坐标系/>
Figure SMS_409
之间的相对位移。
旋转矩阵
Figure SMS_410
，平移向量/>
Figure SMS_411
;
机器人坐标系
Figure SMS_412
通过旋转和平移后建立相机坐标系/>
Figure SMS_413
，相机坐标系/>
Figure SMS_414
的原点坐标为摄像头c的相机光心，相机右侧为/>
Figure SMS_415
轴，相机光轴为/>
Figure SMS_416
轴，符合右手坐标系。
机器人坐标系
Figure SMS_417
和相机坐标系/>
Figure SMS_418
的旋转关系为：机器人坐标系沿/>
Figure SMS_419
轴方向顺时针旋转90°，再沿/>
Figure SMS_420
轴方向顺时针旋转180°。
机器人坐标系
Figure SMS_421
和相机坐标系/>
Figure SMS_422
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_423
轴方向平移新的/>
Figure SMS_424
米，再沿新的/>
Figure SMS_425
轴方向平移r米。
相机坐标系
Figure SMS_426
的原点坐标位于机器人前端下侧的中心位置，摄像头c相对于机器人朝下。
机器人坐标系
Figure SMS_427
和相机坐标系/>
Figure SMS_428
的具体关系如下：/>
Figure SMS_429
(4)
式（4）中旋转矩阵
Figure SMS_430
为相机坐标系/>
Figure SMS_431
与机器人坐标系/>
Figure SMS_432
之间的相对旋转，平移向量/>
Figure SMS_433
相机坐标系/>
Figure SMS_434
与机器人坐标系/>
Figure SMS_435
之间的相对位移。
旋转矩阵
Figure SMS_436
，平移向量/>
Figure SMS_437
;
机器人坐标系
Figure SMS_438
通过旋转和平移后建立相机坐标系/>
Figure SMS_439
，相机坐标系/>
Figure SMS_440
的原点坐标为摄像头d的相机光心，相机右侧为/>
Figure SMS_441
轴，相机光轴为/>
Figure SMS_442
轴，符合右手坐标系。
机器人坐标系
Figure SMS_443
和相机坐标系/>
Figure SMS_444
的旋转关系为：机器人坐标系沿/>
Figure SMS_445
轴方向逆时针旋转90°。
机器人坐标系
Figure SMS_446
和相机坐标系/>
Figure SMS_447
的平移关系为：机器人坐标系经过旋转后，沿新的/>
Figure SMS_448
轴方向平移-/>
Figure SMS_449
米，再沿新的/>
Figure SMS_450
轴方向平移r米。
相机坐标系
Figure SMS_451
的原点坐标位于机器人后端左侧的中心位置，摄像头d相对于机器人朝左。
机器人坐标系
Figure SMS_452
和相机坐标系/>
Figure SMS_453
的具体关系如下：
Figure SMS_454
(5)
式（5）中旋转矩阵
Figure SMS_455
为相机坐标系/>
Figure SMS_456
与机器人坐标系/>
Figure SMS_457
之间的相对旋转，平移向量/>
Figure SMS_458
相机坐标系/>
Figure SMS_459
与机器人坐标系/>
Figure SMS_460
之间的相对位移。
旋转矩阵
Figure SMS_461
，平移向量/>
Figure SMS_462
;
在进行光平面标定时，首先如图5所示，在二维靶标平面上建立靶标坐标系
Figure SMS_463
、在像平面建立像素坐标系/>
Figure SMS_464
以及在距离相机光心单位距离处建立归一化图像坐标系
Figure SMS_465
。
相机坐标系
Figure SMS_466
与靶标坐标系/>
Figure SMS_467
的转换关系为：/>
Figure SMS_468
(6)
式（6）中，旋转矩阵
Figure SMS_470
为相机坐标系/>
Figure SMS_472
与靶标坐标系/>
Figure SMS_475
之间的相对旋转，旋转矩阵/>
Figure SMS_471
为一个三行三列的矩阵。平移向量/>
Figure SMS_473
为相机坐标系/>
Figure SMS_474
与靶标坐标系/>
Figure SMS_476
之间的相对位移，平移向量/>
Figure SMS_469
为三行一列的向量。
归一化图像坐标系
Figure SMS_477
与相机坐标系/>
Figure SMS_478
之间的转换系：/>
Figure SMS_479
面与/>
Figure SMS_480
面平行，即旋转矩阵/>
Figure SMS_481
，平移向量/>
Figure SMS_482
。
一种基于上述机器人的输水管道内壁检测方法, 具体流程如图6所示，主要包括如下步骤，
步骤1、在巡检机器人开始对输水管道进行检测作业前，判断巡检机器人的成像系统是否标定，成像系统的标定分为相机标定和光平面标定，若成像系统还没有标定完成，则开始执行步骤2，若巡检机器人已经标定完成，则开始执行步骤5；
步骤2、将二维平面靶标放置于输水管道内，使用线激光发射器将设定波长的线状光斑投射到二维平面靶标上，通过线激光发射器配对的摄像机采集带有线状光斑的二维平面靶标图像；判断是否需要对相机进行标定，不需要对相机进行标定时，则对光平面标定；如果需要标定，采用张正友标定法对相机进行标定，求解出相机内参和相机外参，根据实际像素坐标与计算得到的像素坐标计算重投影误差，反复迭代摄像机和内外参数和畸变参数，直至收敛，完成相机标定。
步骤3、进行光平面标定时，首先完成图像处理和线状光斑中心特征点的提取，然后进行光平面标定。所述的步骤3中，四组成像系统的光平面标定步骤均相同，此处以巡检机器人前侧上端摄像机a和线激光发射器a组成的成像系统的光平面标定为例。
在步骤3中分为步骤3.1完成图像处理和线状光斑中心特征点的提取和步骤3.2完成光平面标定，步骤3.1、完成图像处理和线状光斑中心特征点的提取，将采集到的带有线状光斑的二维平面靶标图像采用高斯滤波进行去噪，去噪后使用灰度重心法提取线状光斑的中心特征点，
所述的灰度重心法：在线状光斑行坐标的方向上逐行计算光斑区域的灰度重心点，并用该点来代表该截面的光斑中心特征点位置。对于包含M行N列的图像，光斑第
Figure SMS_483
列的灰度重心坐标为/>
Figure SMS_484
,式中/>
Figure SMS_485
，/>
Figure SMS_486
表示坐标/>
Figure SMS_487
处的像素灰度值，
Figure SMS_488
；
步骤3.2：完成光平面标定，从步骤2中得到相机内参
Figure SMS_490
，/>
Figure SMS_494
，/>
Figure SMS_498
，旋转矩阵/>
Figure SMS_492
和平移向量/>
Figure SMS_495
，设/>
Figure SMS_499
为光斑中心特征点在相机坐标系/>
Figure SMS_502
下的坐标，/>
Figure SMS_489
为该特征点在图像平面上的投影点位于像素坐标系下的齐次坐标，/>
Figure SMS_493
为该特征点在图像平面上的投影点位于相机坐标系下的坐标，/>
Figure SMS_497
为该特征点在归一化图像平面上的投影点坐标，投影点坐标：/>
Figure SMS_501
，其中/>
Figure SMS_491
，/>
Figure SMS_496
，/>
Figure SMS_500
为相机内参,/>
Figure SMS_503
为特征点在图像平面上的投影点位于像素坐标系下的坐标，
联立光斑中心特征点位于归一化图像坐标系上的投影点和相机光心，求得同时过该投影点和相机光心的直线方程（7）
Figure SMS_504
（7）
式（7）中，
Figure SMS_505
为光斑中心特征点在相机坐标系下的坐标，/>
Figure SMS_506
为该特征点在归一化图像平面上的投影点坐标，
设二维平面靶标在靶标坐标系下的方程为：
Figure SMS_507
（8）
式（8）中，
Figure SMS_508
为常数系数
将式（6）与方程（8）联立可得，二维平面靶标位于相机坐标系下的方程为：
Figure SMS_509
（9）
因为将靶标坐标系建立在二维平面靶标上，因此（8）式退化为
Figure SMS_510
，即/>
Figure SMS_511
0,将/>
Figure SMS_512
代入（9）式可得二维平面靶标在相机坐标系下的方程为：
Figure SMS_513
（10）
令
Figure SMS_514
，最终得到二维平面靶标在相机坐标系下的方程为：
Figure SMS_515
（11）
联立方程（7）与方程（11），求得光斑中心特征点位于相机坐标系
Figure SMS_516
下的坐标值/>
Figure SMS_517
分别为/>
Figure SMS_518
，/>
Figure SMS_519
，/>
Figure SMS_520
，选取线状光斑上的任意特征点重复上述过程，最终获得整条线状光斑特征点位于相机坐标系下的点，
确定一个平面需要最少三个不共线的点坐标，判断此时系统是否已满足确定平面的条件，若不满足，最少改变一次二维平面靶标位姿后，继续从步骤2开始执行，满足条件则使用任意三个或三个以上的不共线特征点位于相机坐标系的坐标，完成光平面的标定，得到光平面方程（9）在相机坐标系
Figure SMS_521
下的方程，/>
Figure SMS_522
0 （12）
式（12）中，
Figure SMS_523
，/>
Figure SMS_524
，/>
Figure SMS_525
，/>
Figure SMS_526
为光平面常数系数。完成该组光平面标定后开始执行步骤4。
步骤4、判断巡检机器人的四组成像系统是否全部标定完成，若成像系统全部标定完成则执行步骤5，若还有成像系统没有标定完成则继续执行步骤2，最终得到四组光平面分别在相机坐标系
Figure SMS_527
、/>
Figure SMS_528
、/>
Figure SMS_529
、/>
Figure SMS_530
下的方程，分别为：
Figure SMS_531
0 （12）
Figure SMS_532
0 （13）
Figure SMS_533
0 （14）
Figure SMS_534
0 （15）
式（12），（13），（14），（15）中，
Figure SMS_536
，/>
Figure SMS_540
，/>
Figure SMS_543
，/>
Figure SMS_538
，/>
Figure SMS_541
，/>
Figure SMS_544
，/>
Figure SMS_546
，/>
Figure SMS_535
，/>
Figure SMS_539
，/>
Figure SMS_542
，/>
Figure SMS_545
，/>
Figure SMS_537
为光平面常数系数；
步骤5、当巡检机器人成像系统全部标定完成时，判断此时的巡检机器人位姿是否为期望位姿，若此时巡检机器人为期望位姿则执行步骤6，若此时巡检机器人不满足期望位姿则通过自抗扰控制器对巡检机器人进行姿态调整，调整结束后重新判断此时的巡检机器人位姿是否为期望位姿。
巡检机器人的期望位姿为：巡检机器人位于输水管道中心位置，沿输水管道水流方向水平向前运动，当巡检机器人满足期望位姿时，机器人坐标系
Figure SMS_547
与输水管道坐标系/>
Figure SMS_548
方向完全相同。
自抗扰控制器主要包括外环自抗扰位置控制器与内环自抗扰姿态控制器，当巡检机器人位姿发生偏差时，通过外环自抗扰位置控制器对巡检机器人位置进行控制，通过内环自抗扰姿态控制器对巡检机器人姿态进行控制，最终实现巡检机器人的位姿调节。
步骤6：巡检机器人在输水管道内部前行时，四个不同空间位置的能发射设定波长的线激光发射器同时将线状光斑投射到输水管道内壁上。
防水型线激光发射器a位于巡检机器人系统前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°。防水型线激光发射器b位于巡检机器人系统后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°。防水型线激光发射器c位于巡检机器人系统前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°。防水型线激光发射器d 位于巡检机器人系统后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°。四组防水型线激光发射器在空间上的位置各不相同，因此投射出的线结构光不会对彼此造成干扰，将整条输水管道完全覆盖。
步骤7：在每个线激光发射器附近安装摄像机，用于采集投影到管道内壁上面的光斑图像，将采集到的图像采用高斯滤波进行去噪，使用灰度重心法，计算得到光斑条纹中心特征点，并利用该条纹中心特征点得到该点在相机坐标系下的三维坐标，遍历该线状光斑上的所有中心特征点，得到整条线状光斑在相机坐标系下的三维坐标，对四组摄像机采集到的线状光斑图像重复步骤7，得到四条线状光斑中心特征点在相机坐标系下的三维坐标；
步骤7中，计算得到光斑条纹中心特征点，将光斑中心特征点代入针孔相机模型的约束条件，联立步骤3.2求得的光平面方程，并获得该条纹中心特征点的在相机坐标系下的三维坐标；
针孔相机模型的约束条件为
Figure SMS_550
;/>
Figure SMS_552
式中/>
Figure SMS_555
)为相机传感器平面上的点，/>
Figure SMS_551
为相机焦距，(/>
Figure SMS_553
,/>
Figure SMS_554
,/>
Figure SMS_556
)为/>
Figure SMS_549
)对应的相机坐标系的坐标，
设摄像头a上相机传感器平面的坐标为
Figure SMS_557
，最终得到线状光斑特征点位于相机坐标系/>
Figure SMS_558
的点：(/>
Figure SMS_559
,/>
Figure SMS_560
,/>
Figure SMS_561
)，
Figure SMS_562
；/>
Figure SMS_563
；/>
Figure SMS_564
。
其中
Figure SMS_565
，/>
Figure SMS_566
，/>
Figure SMS_567
，/>
Figure SMS_568
为步骤3.2得到的光平面常数系数，
设摄像头b上相机传感器平面的坐标为
Figure SMS_570
，摄像头c上相机传感器平面的坐标为/>
Figure SMS_574
。最终得到线状光斑特征点位于相机坐标系/>
Figure SMS_577
的点，分别为(/>
Figure SMS_572
,/>
Figure SMS_575
,/>
Figure SMS_578
)，/>
Figure SMS_580
,/>
Figure SMS_569
,
Figure SMS_573
),(/>
Figure SMS_576
,/>
Figure SMS_579
,/>
Figure SMS_571
)，
其中
Figure SMS_581
；/>
Figure SMS_582
；/>
Figure SMS_583
;
Figure SMS_584
；/>
Figure SMS_585
；/>
Figure SMS_586
;
Figure SMS_588
；/>
Figure SMS_594
；/>
Figure SMS_596
，其中/>
Figure SMS_590
，/>
Figure SMS_592
，/>
Figure SMS_598
，/>
Figure SMS_601
，/>
Figure SMS_587
，/>
Figure SMS_591
，/>
Figure SMS_595
，/>
Figure SMS_599
，/>
Figure SMS_589
，/>
Figure SMS_593
，/>
Figure SMS_597
，/>
Figure SMS_600
为步骤3.2得到的光平面常数系数。
步骤8：判断此时是否已经完成对输水管道的扫描，若没有完成则继续执行步骤5，若已经完成整条输水管道的扫描工作，则执行步骤9；
步骤9：伴随着四组激光发射器发射的线状光斑扫描整条输水管道，对四条线状光斑上所有的中心特征点，执行步骤7的操作，得到所有特征点在对应相机坐标系下的坐标；
步骤10：将得到的所有线状光斑特征点在对应相机坐标系下的坐标转化为在管道坐标系下的坐标，绘制输水管道三维图像。
测量时，设两个行进推进器转速分别为
Figure SMS_603
,/>
Figure SMS_607
，浮潜推进器转速分别为/>
Figure SMS_608
,/>
Figure SMS_604
，巡检机器人满足期望位姿，即此时巡检机器人沿/>
Figure SMS_606
轴方向水平运动，/>
Figure SMS_609
轴与/>
Figure SMS_610
轴方向相同。此时通过多普勒测速仪测得机器人移动速度为/>
Figure SMS_602
m/s，当巡检机器人运行t秒时，巡检机器人位移量为/>
Figure SMS_605
米。
由步骤7可以得到摄像头a拍摄的线状光斑特征点位于相机坐标系下的坐标为(
Figure SMS_611
,/>
Figure SMS_612
,/>
Figure SMS_613
)。
由式（2）可以得出该点位于机器人坐标系下的坐标
Figure SMS_614
为：
Figure SMS_615
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_616
为：
Figure SMS_617
。
进一步的, 旋转矩阵
Figure SMS_618
,平移向量/>
Figure SMS_619
;旋转矩阵
Figure SMS_620
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_621
。
由步骤7可以得到摄像头b拍摄的线状光斑特征点位于相机坐标系下的坐标为(
Figure SMS_622
,/>
Figure SMS_623
,/>
Figure SMS_624
)。
由式（3）可以得出该点位于机器人坐标系下的坐标
Figure SMS_625
为：
Figure SMS_626
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_627
为：
Figure SMS_628
。
进一步的, 旋转矩阵
Figure SMS_629
,平移向量/>
Figure SMS_630
;旋转矩阵/>
Figure SMS_631
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_632
。
由步骤7可以得到摄像头c拍摄的线状光斑特征点位于相机坐标系下的坐标(
Figure SMS_633
,
Figure SMS_634
,/>
Figure SMS_635
)。
由式（4）可以得出该点位于机器人坐标系下的坐标
Figure SMS_636
为：
Figure SMS_637
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_638
为：/>
Figure SMS_639
。
进一步的，旋转矩阵
Figure SMS_640
，平移向量/>
Figure SMS_641
;旋转矩阵/>
Figure SMS_642
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_643
。
由步骤7可以得到摄像头d拍摄的线状光斑特征点位于相机坐标系下的坐标(
Figure SMS_644
,
Figure SMS_645
,/>
Figure SMS_646
)。
由式（5）可以得出该点位于机器人坐标系下的坐标
Figure SMS_647
为：
Figure SMS_648
。
由式（1）可以得到该点位于管道坐标系下的坐标
Figure SMS_649
为：
Figure SMS_650
。
进一步的，旋转矩阵
Figure SMS_651
，平移向量/>
Figure SMS_652
;旋转矩阵/>
Figure SMS_653
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_654
。
为方便进一步对坐标转换过程进行说明，假定巡检机器人总长度为1.2米，宽度为1米。在距离巡检机器人前端0.1m设置摄像头a601且摄像头a601位于机器人前端上侧的中心位置， 在距离巡检机器人后端0.1m设置摄像头b602且摄像头b602位于机器人后端右侧的中心位置，在距离巡检机器人前端0.1m设置摄像头c603且摄像头c603位于机器人前端下侧的中心位置，
在距离巡检机器人后端0.1m设置摄像头d604且摄像头d604位于机器人后端左侧的中心位置。
管道坐标系原点坐标
Figure SMS_655
设置在管道入口中心处，机器人坐标系原点坐标/>
Figure SMS_656
设置在机器人中心位置，即/>
Figure SMS_657
距离机器人上端和下端距离均为0.5米，距离机器人前端和后端均为0.6米。相机坐标系原点坐标/>
Figure SMS_658
分别位于摄像头a601、摄像头b602、摄像头c603和摄像头d604的相机光心。
设巡检机器人初始位置在管道入口中心处，且机器人中心与管道入口中心重合，即此时管道坐标系与机器人坐标系完全重合。
此时，线状光斑特征点位于相机坐标系
Figure SMS_659
的点：(/>
Figure SMS_660
,/>
Figure SMS_661
,/>
Figure SMS_662
)，
Figure SMS_663
；/>
Figure SMS_664
；/>
Figure SMS_665
。由式（2）可以得出线状光斑特征点位于机器人坐标系下的坐标/>
Figure SMS_666
为：
Figure SMS_667
。
旋转矩阵
Figure SMS_668
，平移向量/>
Figure SMS_669
;则摄像头a601拍摄的线状光斑特征点位于管道坐标系下的坐标/>
Figure SMS_670
为：
Figure SMS_671
。
旋转矩阵
Figure SMS_672
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_673
。
线状光斑特征点位于相机坐标系
Figure SMS_676
的点，为(/>
Figure SMS_677
,/>
Figure SMS_679
,/>
Figure SMS_675
)。
Figure SMS_678
；/>
Figure SMS_680
；/>
Figure SMS_681
;由式（3）可以得出该点位于机器人坐标系下的坐标/>
Figure SMS_674
为：
Figure SMS_682
。
旋转矩阵
Figure SMS_683
，平移向量/>
Figure SMS_684
;则摄像头b602拍摄的线状光斑特征点位于管道坐标系下的坐标/>
Figure SMS_685
为：/>
Figure SMS_686
。
旋转矩阵
Figure SMS_687
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_688
。
线状光斑特征点位于相机坐标系
Figure SMS_691
的点，为/>
Figure SMS_693
,/>
Figure SMS_695
,/>
Figure SMS_690
)。
Figure SMS_692
；/>
Figure SMS_694
；/>
Figure SMS_696
由式（4）可以得出该点位于机器人坐标系下的坐标/>
Figure SMS_689
为：
Figure SMS_697
。
旋转矩阵
Figure SMS_698
，平移向量/>
Figure SMS_699
；/>
则摄像头c603拍摄的线状光斑特征点位于管道坐标系下的坐标
Figure SMS_700
为：
Figure SMS_701
。
旋转矩阵
Figure SMS_702
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_703
。
线状光斑特征点位于相机坐标系
Figure SMS_705
的点，分别为 (/>
Figure SMS_707
,/>
Figure SMS_709
,/>
Figure SMS_706
)。
Figure SMS_708
；/>
Figure SMS_710
；/>
Figure SMS_711
。由式（5）可以得出该点位于机器人坐标系下的坐标/>
Figure SMS_704
为：
Figure SMS_712
。
旋转矩阵
Figure SMS_713
，平移向量/>
Figure SMS_714
。摄像头d604拍摄的线状光斑特征点位于管道坐标系下的坐标/>
Figure SMS_715
为：
Figure SMS_716
。
旋转矩阵
Figure SMS_717
由惯性导航系统的位姿传感器测得，平移矩阵/>
Figure SMS_718
。
尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种输水管道内壁检测方法,其特征在于包括如下步骤，
步骤1、在巡检机器人开始对输水管道进行检测作业前，判断巡检机器人的成像系统是否标定，成像系统的标定分为相机标定和光平面标定，若成像系统还没有标定完成，则开始执行步骤2，若巡检机器人已经标定完成，则开始执行步骤5；
步骤2、将二维平面靶标放置于输水管道内，使用线激光发射器将设定波长的线状光斑投射到二维平面靶标上，通过线激光发射器配对的摄像机采集带有线状光斑的二维平面靶标图像；
判断是否需要对相机进行标定，不需要对相机进行标定时，则对光平面标定；如果需要标定，采用张正友标定法对相机进行标定，求解出相机内参和相机外参，根据实际像素坐标与计算得到的像素坐标计算重投影误差，反复迭代摄像机和内外参数和畸变参数，直至收敛，完成相机标定；
步骤3、进行光平面标定时，首先完成图像处理和线状光斑中心特征点的提取，然后进行光平面标定；
步骤4、判断巡检机器人的四组成像系统是否全部标定完成，若成像系统全部标定完成则执行步骤5，若还有成像系统没有标定完成则继续执行步骤2，最终得到四组光平面分别在相机坐标系
Figure QLYQS_1
、/>
Figure QLYQS_2
、/>
Figure QLYQS_3
、/>
Figure QLYQS_4
下的方程，分别为：
Figure QLYQS_5
0 （12）
Figure QLYQS_6
0 （13）
Figure QLYQS_7
0 （14）
Figure QLYQS_8
0 （15）
式（12），（13），（14），（15）中，
Figure QLYQS_17
，/>
Figure QLYQS_11
，/>
Figure QLYQS_13
，/>
Figure QLYQS_20
，/>
Figure QLYQS_22
，/>
Figure QLYQS_21
，/>
Figure QLYQS_24
，/>
Figure QLYQS_19
，/>
Figure QLYQS_23
，/>
Figure QLYQS_9
，/>
Figure QLYQS_14
，/>
Figure QLYQS_12
，/>
Figure QLYQS_15
，/>
Figure QLYQS_16
，/>
Figure QLYQS_18
，/>
Figure QLYQS_10
为光平面常数系数；
步骤5、当巡检机器人成像系统全部标定完成时，判断此时的巡检机器人位姿是否为期望位姿，若此时巡检机器人为期望位姿则执行步骤6，若此时巡检机器人不满足期望位姿则对巡检机器人进行姿态调整，调整结束后重新判断此时的巡检机器人位姿是否为期望位姿；
步骤6：巡检机器人在输水管道内部前行时，四个不同空间位置的能发射设定波长的线激光发射器同时将线状光斑投射到输水管道内壁上；
步骤7：在每个线激光发射器附近安装摄像机，用于采集投影到管道内壁上面的光斑图像，将采集到的图像采用高斯滤波进行去噪，使用灰度重心法，计算得到光斑条纹中心特征点，并利用该条纹中心特征点计算得到该点在相机坐标系下的三维坐标，遍历该线状光斑上的所有中心特征点，得到整条线状光斑在相机坐标系下的三维坐标，对四组摄像机采集到的线状光斑图像重复步骤7，得到四条线状光斑中心特征点在相机坐标系下的三维坐标；
步骤8：判断此时是否已经完成对输水管道的扫描，若没有完成则继续执行步骤5，若已经完成整条输水管道的扫描工作，则执行步骤9；
步骤9：伴随着四组激光发射器发射的线状光斑扫描整条输水管道，对四条线状光斑上所有的中心特征点，执行步骤7的操作，得到所有特征点在对应相机坐标系下的坐标；
步骤10：将得到的所有线状光斑特征点在对应相机坐标系下的坐标转化为在管道坐标系下的坐标，绘制输水管道三维图像；
所述的步骤3中，
步骤3.1、完成图像处理和线状光斑中心特征点的提取，将采集到的带有线状光斑的二维平面靶标图像采用高斯滤波进行去噪，去噪后使用灰度重心法提取线状光斑的中心特征点，
所述的灰度重心法：在线状光斑行坐标的方向上逐行计算光斑区域的灰度重心点，并用该点来代表截面的光斑中心特征点位置；对于包含M行N列的图像，光斑第
Figure QLYQS_25
列的灰度重心坐标为/>
Figure QLYQS_26
,式中/>
Figure QLYQS_27
，/>
Figure QLYQS_28
表示坐标/>
Figure QLYQS_29
处的像素灰度值，
Figure QLYQS_30
；
步骤3.2：完成光平面标定，从步骤2中得到相机内参
Figure QLYQS_33
，/>
Figure QLYQS_35
，/>
Figure QLYQS_40
，旋转矩阵/>
Figure QLYQS_34
和平移向量/>
Figure QLYQS_37
，设/>
Figure QLYQS_39
为光斑中心特征点在相机坐标系/>
Figure QLYQS_45
下的坐标，/>
Figure QLYQS_31
为该特征点在图像平面上的投影点位于像素坐标系下的齐次坐标，/>
Figure QLYQS_36
为该特征点在图像平面上的投影点位于相机坐标系下的坐标，/>
Figure QLYQS_41
为该特征点在归一化图像平面上的投影点坐标，投影点坐标：/>
Figure QLYQS_44
，其中/>
Figure QLYQS_32
，/>
Figure QLYQS_38
，/>
Figure QLYQS_42
为相机内参,/>
Figure QLYQS_43
为特征点在图像平面上的投影点位于像素坐标系下的坐标，
联立光斑中心特征点位于归一化图像坐标系上的投影点和相机光心，求得同时过该投影点和相机光心的直线方程（7）
Figure QLYQS_46
（7）
式（7）中，
Figure QLYQS_47
为光斑中心特征点在相机坐标系下的坐标，/>
Figure QLYQS_48
为该特征点在归一化图像平面上的投影点坐标，
设二维平面靶标在靶标坐标系下的方程为：
Figure QLYQS_49
（8）
式（8）中，
Figure QLYQS_50
为常数系数；
相机坐标系
Figure QLYQS_51
与靶标坐标系/>
Figure QLYQS_52
的转换关系为：
Figure QLYQS_53
(6)
式（6）中，旋转矩阵
Figure QLYQS_54
为相机坐标系/>
Figure QLYQS_58
与靶标坐标系/>
Figure QLYQS_60
之间的相对旋转，旋转矩阵/>
Figure QLYQS_55
为一个三行三列的矩阵；平移向量/>
Figure QLYQS_57
为相机坐标系/>
Figure QLYQS_59
与靶标坐标系/>
Figure QLYQS_61
之间的相对位移，平移向量/>
Figure QLYQS_56
为三行一列的向量；
将式（6）与方程（8）联立可得，二维平面靶标位于相机坐标系下的方程为：
Figure QLYQS_62
（9）
靶标坐标系建立在二维平面靶标上，因此（8）式退化为
Figure QLYQS_63
，即/>
Figure QLYQS_64
0,将
Figure QLYQS_65
代入（9）式可得二维平面靶标在相机坐标系下的方程为：
Figure QLYQS_66
（10）
令
Figure QLYQS_67
，最终得到二维平面靶标在相机坐标系下的方程为：
Figure QLYQS_68
（11）
联立方程（7）与方程（11），求得光斑中心特征点位于相机坐标系
Figure QLYQS_69
下的坐标值/>
Figure QLYQS_70
分别为/>
Figure QLYQS_71
，/>
Figure QLYQS_72
，/>
Figure QLYQS_73
，选取线状光斑上的任意特征点重复上述过程，最终获得整条线状光斑特征点位于相机坐标系下的点，
确定一个平面需要最少三个不共线的点坐标，判断此时系统是否已满足确定平面的条件，若不满足，最少改变一次二维平面靶标位姿后，继续从步骤2开始执行，满足条件则使用三个或三个以上的不共线特征点位于相机坐标系的坐标，完成光平面的标定，得到光平面方程（9）在相机坐标系
Figure QLYQS_74
下的方程，
Figure QLYQS_75
0 （12）
式（12）中，
Figure QLYQS_76
，/>
Figure QLYQS_77
，/>
Figure QLYQS_78
，/>
Figure QLYQS_79
为光平面常数系数。
2.根据权利要求1所述的输水管道内壁检测方法，其特征在于,
巡检机器人的期望位姿为：巡检机器人位于输水管道中心位置，沿输水管道水流方向水平向前运动，当巡检机器人满足期望位姿时，机器人坐标系
Figure QLYQS_80
与输水管道坐标系
Figure QLYQS_81
方向完全相同。
3.根据权利要求1所述的输水管道内壁检测方法，其特征在于,
所述的四个线激光发射器中，线激光发射器a位于巡检机器人前端上侧的中心位置，方向相对于机器人朝上，投射出线结构光范围大于90°，线激光发射器b位于巡检机器人后端右侧的中心位置，方向相对于机器人朝右，投射出线结构光范围大于90°，线激光发射器c位于巡检机器人前端下侧的中心位置，方向相对于机器人朝下，投射出线结构光范围大于90°，线激光发射器d 位于巡检机器人后端左侧的中心位置，方向相对于机器人朝左，投射出线结构光范围大于90°，四组线激光发射器在空间上的位置各不相同，将整条输水管道完全覆盖。
4.根据权利要求1所述的输水管道内壁检测方法，其特征在于,
步骤7中，计算得到光斑条纹中心特征点，将光斑中心特征点代入针孔相机模型的约束条件，联立步骤3.2求得的光平面方程，并获得该条纹中心特征点的在相机坐标系下的三维坐标；
针孔相机模型的约束条件为
Figure QLYQS_83
;/>
Figure QLYQS_85
式中/>
Figure QLYQS_88
)为相机传感器平面上的点，/>
Figure QLYQS_84
为相机焦距，(/>
Figure QLYQS_86
,/>
Figure QLYQS_87
,/>
Figure QLYQS_89
)为/>
Figure QLYQS_82
)对应的相机坐标系的坐标，
设摄像头a上相机传感器平面的坐标为
Figure QLYQS_90
，最终得到线状光斑特征点位于相机坐标系/>
Figure QLYQS_91
的点：(/>
Figure QLYQS_92
, />
Figure QLYQS_93
, />
Figure QLYQS_94
)
Figure QLYQS_95
；/>
Figure QLYQS_96
；/>
Figure QLYQS_97
；
其中
Figure QLYQS_98
，/>
Figure QLYQS_99
，/>
Figure QLYQS_100
，/>
Figure QLYQS_101
为步骤3.2得到的光平面常数系数，
设摄像头b上相机传感器平面的坐标为
Figure QLYQS_104
，摄像头c上相机传感器平面的坐标为
Figure QLYQS_107
，摄像头d上相机传感器平面的坐标为/>
Figure QLYQS_111
，最终得到线状光斑特征点位于相机坐标系/>
Figure QLYQS_105
的点，分别为(/>
Figure QLYQS_108
, />
Figure QLYQS_110
, />
Figure QLYQS_113
)，/>
Figure QLYQS_102
, />
Figure QLYQS_109
, />
Figure QLYQS_112
),(/>
Figure QLYQS_114
, />
Figure QLYQS_103
, />
Figure QLYQS_106
)
其中
Figure QLYQS_115
；/>
Figure QLYQS_116
；/>
Figure QLYQS_117
;
Figure QLYQS_118
；/>
Figure QLYQS_119
；/>
Figure QLYQS_120
;
Figure QLYQS_121
；/>
Figure QLYQS_122
；/>
Figure QLYQS_123
；
其中
Figure QLYQS_125
，/>
Figure QLYQS_129
，/>
Figure QLYQS_132
，/>
Figure QLYQS_127
，/>
Figure QLYQS_128
，/>
Figure QLYQS_131
，/>
Figure QLYQS_134
，/>
Figure QLYQS_124
，/>
Figure QLYQS_130
，/>
Figure QLYQS_133
，/>
Figure QLYQS_135
，/>
Figure QLYQS_126
为光平面常数系数。
5.根据权利要求1所述的输水管道内壁检测方法，其特征在于，巡检机器人包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统，
所述前视系统包括设置在机器人前部的用于观察输水管道前方信息的摄像头；
所述推进系统包括四个推进器，分别为两个行进推进器和浮潜推进器，在机器人尾部设置用于推进机器人的行进推进器，在机器人两侧设置用于巡检机器人浮潜的浮潜推进器；
所述的惯性导航系统采用用于判断巡检机器人的位姿信息的MEMS微型航姿系统；
所述测速系统采用多普勒测速仪，用于测量巡检机器人的速度；
所述照明系统用于提供光源；
所述测距和避障系统用于测量巡检机器人与前方障碍物和输水管道内壁的距离；
所述成像系统包括线激光发射器及与激光发射器配合的摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄线激光发射器投射到输水管道内壁上的光斑图像；
所述控制系统与上述的前视系统、推进系统、惯性导航系统、测速系统、照明系统、测距和避障系统和成像系统连接。
6.根据权利要求5所述的输水管道内壁检测方法，其特征在于,
所述测距和避障系统包括六个超声波测距仪，其中的两个超声波测距仪设置在巡检机器人前端，用于测量巡检机器人与前方障碍物的距离；另外四个超声波测距仪位于巡检机器人的后端且环形安装，相邻两个超声波测距仪相差
Figure QLYQS_136
，用于判断巡检机器人与输水管道内壁的距离。
7.根据权利要求1所述的输水管道内壁检测方法，其特征在于,
所述成像系统为四组，每组均包括一个线激光发射器和一个摄像机，线激光发射器用来发射设定波长的线状光斑，摄像机用来拍摄投射到输水管道内壁上的光斑图像，每组中的摄像机用于拍摄本组的线激光发射器的光斑图像，四组成像系统形成对输水管道内部的全部成像。
CN202310293854.2A 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法 Active CN116009559B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310293854.2A CN116009559B (zh) 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法
KR1020230097081A KR102645206B1 (ko) 2023-03-24 2023-07-25 송수관로 내벽 점검 로봇 및 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310293854.2A CN116009559B (zh) 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法

Publications (2)

Publication Number Publication Date
CN116009559A CN116009559A (zh) 2023-04-25
CN116009559B true CN116009559B (zh) 2023-06-13

Family

ID=86023313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310293854.2A Active CN116009559B (zh) 2023-03-24 2023-03-24 一种输水管道内壁巡检机器人及检测方法

Country Status (2)

Country Link
KR (1) KR102645206B1 (zh)
CN (1) CN116009559B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116538382B (zh) * 2023-07-03 2023-11-07 山东水发黄水东调工程有限公司 输水管道内巡检机器人及其控制方法
CN117288459B (zh) * 2023-11-24 2024-02-02 齐鲁工业大学(山东省科学院) 一种基于管道内水下航行器的蝶阀检测方法及系统
CN117646828B (zh) * 2024-01-29 2024-04-05 中国市政工程西南设计研究总院有限公司 一种用于检测顶管接口相对位移和渗漏水的装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127455A (zh) * 2019-12-27 2020-05-08 江苏恒澄交科信息科技股份有限公司 基于视频图像分析的管道测量方法
CN114396894A (zh) * 2022-01-31 2022-04-26 北京航空航天大学 激光测距与单目视觉的管道直线度检测装置及方法
CN115187676A (zh) * 2022-08-03 2022-10-14 重庆中科摇橹船信息科技有限公司 一种高精度线激光三维重建标定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101802207B1 (ko) * 2016-05-13 2017-11-29 삼성중공업 주식회사 배관 내부 검사장비용 라인 인지 및 위치 검출 시스템 및 방법
JP6710114B2 (ja) * 2016-06-21 2020-06-17 株式会社日立製作所 管路施設点検飛行体と、それを用いた管路施設点検システム
JP6822816B2 (ja) * 2016-10-19 2021-01-27 三菱パワー株式会社 配管内移動ロボットによる施工システムおよび施工方法
WO2019233090A1 (zh) * 2018-06-07 2019-12-12 驭势科技（北京）有限公司 一种同时定位与建图的方法及装置
CN108844463A (zh) * 2018-06-12 2018-11-20 南京理工大学 基于激光光斑位置的地下管道空间方位测量系统及方法
CN109780370B (zh) * 2019-01-21 2020-05-26 深圳大学 一种管道三维曲线测量机器人及其实现方法
CN110244322B (zh) * 2019-06-28 2023-04-18 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
CN112631266A (zh) * 2019-09-20 2021-04-09 杭州海康机器人技术有限公司 一种移动机器人感知障碍信息的方法、装置
CN112665582A (zh) * 2020-12-18 2021-04-16 南京理工大学 一种基于imu和激光光斑图像的地下管道检测系统
CN113048949A (zh) * 2021-03-05 2021-06-29 广东工业大学 一种基于线结构光学视觉的圆柱状物体位姿检测装置及方法
CN115046499B (zh) * 2022-06-17 2023-06-30 中国地质大学（武汉） 一种基于三角测量原理的环形激光管道检测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127455A (zh) * 2019-12-27 2020-05-08 江苏恒澄交科信息科技股份有限公司 基于视频图像分析的管道测量方法
CN114396894A (zh) * 2022-01-31 2022-04-26 北京航空航天大学 激光测距与单目视觉的管道直线度检测装置及方法
CN115187676A (zh) * 2022-08-03 2022-10-14 重庆中科摇橹船信息科技有限公司 一种高精度线激光三维重建标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel multi-target recognition method based on heatable marker for human following robots;Hui Zhang;2022 China Automation Congress (CAC);全文 *
基于机器人的管道内壁三维重建技术研究;胡媛媛;工业仪表与自动化装置(第4期);全文 *

Also Published As

Publication number Publication date
KR102645206B1 (ko) 2024-03-08
CN116009559A (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN116009559B (zh) 一种输水管道内壁巡检机器人及检测方法
Huang et al. Towards acoustic structure from motion for imaging sonar
US9223025B2 (en) Underwater platform with LIDAR and related methods
CN113137920B (zh) 一种水下测量的设备与水下测量方法
Gunatilake et al. Stereo vision combined with laser profiling for mapping of pipeline internal defects
EP3443331B1 (en) Mobile imaging of an object using penetrating radiation
US10760907B2 (en) System and method for measuring a displacement of a mobile platform
WO2014198227A1 (zh) 用于自移动机器人的线激光测距方法
EP2932191A2 (en) Apparatus and method for three dimensional surface measurement
Gu et al. Environment driven underwater camera-IMU calibration for monocular visual-inertial SLAM
CN110243293B (zh) 基于结构光和机器视觉的管片错台快速检测装置与方法
Wang et al. Acoustic camera-based pose graph slam for dense 3-d mapping in underwater environments
CN108225276B (zh) 一种单星成像目标运动特性反演方法及系统
Yamashita et al. 3-d measurement of objects in unknown aquatic environments with a laser range finder
Alzuhiri et al. IMU-assisted robotic structured light sensing with featureless registration under uncertainties for pipeline inspection
WO2023034150A1 (en) Methods and systems of generating camera models for camera calibration
Moisan et al. Dynamic 3d modeling of a canal-tunnel using photogrammetric and bathymetric data
Elnashef et al. Direct estimation of the relative orientation in underwater environment
JP2019174286A (ja) 位置検出システムおよび位置検出方法
JP4890294B2 (ja) 水中移動装置の位置測定システム
Schattschneider Accurate high-resolution 3D surface reconstruction and localisation using a wide-angle flat port underwater stereo camera: towards autonomous ship hull inspection
Zheng et al. Depth measurement of underwater target based on laser frequency-difference scanning
WO2024077084A1 (en) Dual-function depth camera array for inline 3d reconstruction of complex pipelines
Sultana et al. A survey paper on 3D reconstruction of underwater coral reef images
Nakini et al. Distortion correction in 3d-modeling of roots for plant phenotyping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant