CN116734082A - 管道机器人及多传感器融合管道内径缺陷和淤泥检测方法 - Google Patents
管道机器人及多传感器融合管道内径缺陷和淤泥检测方法 Download PDFInfo
- Publication number
- CN116734082A CN116734082A CN202310691322.4A CN202310691322A CN116734082A CN 116734082 A CN116734082 A CN 116734082A CN 202310691322 A CN202310691322 A CN 202310691322A CN 116734082 A CN116734082 A CN 116734082A
- Authority
- CN
- China
- Prior art keywords
- pipeline
- fitting
- data
- rgb
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010802 sludge Substances 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 230000007547 defect Effects 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 title claims description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 27
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 25
- 230000008021 deposition Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 9
- 238000002939 conjugate gradient method Methods 0.000 claims description 6
- 230000003028 elevating effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 239000013049 sediment Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
- F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
- F16L55/26—Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means
- F16L55/28—Constructional aspects
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
- F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
- F16L55/26—Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means
- F16L55/28—Constructional aspects
- F16L55/40—Constructional aspects of the body
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
- F17D—PIPE-LINE SYSTEMS; PIPE-LINES
- F17D5/00—Protection or supervision of installations
- F17D5/02—Preventing, monitoring, or locating loss
- F17D5/06—Preventing, monitoring, or locating loss using electric or acoustic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
- F16L2101/00—Uses or applications of pigs or moles
- F16L2101/10—Treating the inside of pipes
- F16L2101/12—Cleaning
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
- F16L2101/00—Uses or applications of pigs or moles
- F16L2101/30—Inspecting, measuring or testing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Combustion & Propulsion (AREA)
- Acoustics & Sound (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
本发明公开了一种管道机器人及多传感器融合的管道内径、缺陷和淤泥检测方法，包括移动底盘、升降机构、云台、传感器模块、管道内径和缺陷检测方法，以及淤泥检测方法，传感器模块包括激光雷达、超声波传感器和RGB‑D相机，激光雷达实现对管道内壁上部没有水的部分的检测，超声波传感器实现对管道下部有水的部分的检测，RGB‑D相机安装在云台上，可随着升降机构和云台的运动，实现竖直升降，俯仰角和偏航角的调节。管道内径检测方法基于激光雷达、超声波传感器模块和RGB‑D相机，淤泥检测方法基于超声波传感器，管道内壁缺陷检测基于RGB‑D相机。本发明多传感器融合，提高了管道内径检测精度，以及管道机器人的智能化水平和作业能力。
Description
技术领域
本发明涉及管道检测机器人技术领域，具体为管道机器人及多传感器融合管道内径缺陷和淤泥检测方法。
背景技术
排水管道在卫生、环境保护、城市规划、基础设施和水资源管理方面对人类社会具有重要意义，为维护健康、保护环境、促进发展和提升居民生活质量发挥着关键作用。排水管道中淤泥堆积和内壁缺陷对管道流量、传输效能和结构稳定性等方面会产生显著影响。淤泥堆积降低了管道的有效截面积，引起流量减小和堵塞，而内壁缺陷如腐蚀和裂纹则削弱了管道的结构强度和稳定性，可能导致渗漏和管道破坏。因此，进行定期的维护和检查对于管道系统的正常运行和可靠性至关重要。管道的内径测量、淤泥的沉积高度测量及包络检测和内壁缺陷检测是管道机器人巡检的基本任务。目前管道机器人进行管道内径和淤泥的沉积高度测量的方案主要是CCTV成像设备或者激光雷达，CCTV成像设备在管道巡检任务中在每次测量前要进行标定，效率较低；而激光雷达发射的激光脉冲到水中会被干扰，严重影响管道内径测量的精度，从而无法准确计算淤泥的沉积高度。因此，设计一种能适应不同水位的管道机器人的多传感器融合的管道内壁直径、缺陷及淤泥检测方法具有重要的实用价值。
专利CN201710874866.9设计了一种淤泥检测系统及淤泥检测方法，使用液位检测模块以及贯入阻力检测模块，因工程部署问题，不能在地下排水管道环境中使用。因此，本发明设计了一种管道机器人的多传感器融合的管道内壁直径、缺陷及淤泥检测方法，适应于不同管道水位下的内壁直径、缺陷和淤泥检测，对管道机器人巡检任务具有重要意义。
发明内容
本发明克服了现有技术的管道机器人无法适应不同管道水位环境下的内壁缺陷及淤泥检测，设计了管道机器人及多传感器融合管道内径缺陷和淤泥检测方法，能使管道机器人高效快速地实现管道内径的测量、淤泥的沉积高度测量和包络检测，以及管道内壁的缺陷检测，满足巡检任务的需求。
为实现上述目的，本发明采取的技术方案是：
管道机器人，其特征在于：包括移动底盘、作业机构模块以及传感器模块，所述作业机构模块包括舵机、云台和升降机构，所述升降机构安装在移动底盘上方，所述云台安装在升降机构上，所述舵机安装在移动底盘前侧面，所述传感器模块包括声波传感器、激光雷达和RGB-D相机，所述激光雷达安装在移动底盘上侧面，所述超声传感器安装在舵机的舵盘上，所述RGB-D相机安装在云台上。
多传感器融合管道内径、缺陷及淤泥检测方法，其特征在于：包括如下步骤：
步骤S1:获取激光雷达点云数据；
步骤S2:进行圆形拟合；
步骤S3:判断点云圆形拟合是否成功，若成功，进行步骤S4；若失败，调整点云拟合角度范围，再次进行圆形拟合，其中，点云拟合角度范围为α度至360-α度；
步骤S4:舵机转动超声波传感器，补全拟合角度；
步骤S5:构建超声波数据；
步骤S6:进行圆形拟合，其中，选用的超声波数据初步拟合角度范围为0度至α度和360-α度至360度；
步骤S7:判断超声波数据圆形拟合是否成功，若成功，进行步骤S7；若失败，调整超声波数据拟合角度范围，再次进行圆形拟合，其中，超声波数据最终拟合角度范围为β度至α度和360-α度至360-β度；
步骤S8:RGB-D相机测量管道内径；
步骤S9:RGB-D相机数据、超声波数据与点云数据融合，计算管道内径；
步骤S10:计算水面高度和淤泥沉积高度；
步骤S11:淤泥包络检测；
步骤S12:RGB-D相机缺陷检测。
作为本发明的优选技术方案：在步骤S1-S3中，利用激光雷达构建的点云数据拟合得到管道内壁内径R1和管道截面圆心位置(x1,y1)，具体为：
竖直集成在管道机器人上的激光雷达360度地扫描排水管道的横截面，构建管道横截面的点云数据，对点云数据进行圆形拟合，首先构建一个目标函数，包括初始估计值包括圆心坐标(x1、y1)以及圆内径R1，输入激光雷达点云数据，点云数据包括每个点的坐标(xi、yi)，计算一轮点云数据中每个点到圆心的距离
最后返回每个距离偏差的平方和output，将其作为目标函数：
使用共轭梯度方法作为优化算法，将目标函数、初始估计值和点云数据作为输入，优化过程不断迭代调整参数，使得目标函数达到最小值，最终得到优化结果，即拟合出的圆的参数x1、y1和R1，采用动态调整点云拟合角度范围，假设，首次选用360度的点云数据拟合失败，则将拟合角度范围减少2α度，即选用α度至360-α度范围内的点云进行拟合，直至拟合成功。
作为本发明的优选技术方案：在步骤S4-S7中，利用超声波传感器测距拟合得到管道内壁内径R2和管道截面圆心位置(x2，y2)，具体为：
通过舵机进行旋转，舵机每转动θ度读取一次超声波传感器返回的距离信息，根据舵机转动的角度以及返回的距离信息构建超声波数据，
xi＝di.cos(angle_min+θ.i)
yi＝di.sin(angle_min+θ.i)
其中i为舵机转动一圈中超声波传感器返回的脉冲计数，di为该脉冲返回的距离信息，angle_min为舵机扫描的起始角度，θ为舵机每次转动的角度，由上述激光雷达最终拟合的角度范围，获得超声波数据初步圆形拟合的角度范围，假设激光雷达最终拟合角度范围为α度至360-α度，超声波数据圆形拟合的初步角度范围为0度至α度和360-α度至360度，构建一个目标函数，包括初始估计值包括圆心坐标x2、y2以及圆内径R2，输入超声波数据，超声波数据包括每个点的坐标xi、yi，计算一轮点云数据中每个点到圆心的距离
最后返回每个距离偏差的平方和output，将其作为目标函数：
使用共轭梯度方法作为优化算法，将目标函数、初始估计值和超声波数据作为输入，优化过程会不断迭代调整参数，使得目标函数达到最小值，最终得到优化结果，即拟合出的圆的参数x2、y2和R2，动态调整超声波数据拟合角度范围，假设首次选用0度至α度和360-α度至360度的超声波数据拟合失败，则将拟合角度范围减少2β度，即选用β度至α度和360-α度至360-β度范围内的超声波数据进行拟合，直至拟合成功。
作为本发明的优选技术方案：在步骤S8-S9中，利用RGB-D相机测距拟合得到管道内壁内径R3和管道截面圆心位置(x3，y3)，x为水平位置，y为竖直位置，假设RGB-D相机开始的位置为(xc0，yc0)，具体为：
RGB-D相机调节偏航角为正对管道左侧，然后调节升降机构从最低点以步长Δh不断升高，同时记录RGB-D相机测到的距离左侧管壁的离散距离数据{L1,L2,…，LN}，直到升降机构升到最高点，类似的，RGB-D相机调节偏航角为正对管道右侧，然后调节升降机构从最低点以步长Δh不断升高，同时记录RGB-D相机测到的距离左侧管壁的离散距离数据{R1,R2,…，RN}，直到升降机构升到最高点，假设RGB-D相机偏航角调节过程中其中心位置在管道横截面的水平位置不变，则可以得到以下方程组：
根据以上2N个等式，依次选其中的5个等式，可以解算得到xc0、yc0、R3、x3和y3，共有组结果，然后取/>组的均值得到最终的xc0、yc0、R3、x3和y3结果，
最后通过对三种传感器得到的管道内壁内径进行融合得到管道内径R，
R＝w1*R1+w2*R2+w3*R3
其中w1、w2和w3为权重系数，w1+w2+w3＝1。
作为本发明的优选技术方案：在步骤S9中，三种传感器均为毫米级误差，因此，超声波数据的权重为1/3，点云数据的权重为1/3，RGB-D相机数据权重为1/3。
作为本发明的优选技术方案：在步骤S10-S11中，通过激光雷达点云拟合角度范围的起始角度和拟合的圆的参数，计算出管道内水面的高度
其中α’为点云数据在圆心坐标系下拟合角度范围的起始角度，通过超声波数据拟合角度范围的起始角度和终止角度，可得淤泥所处的角度范围，由超声波数据和拟合的圆的参数，计算淤泥的平均高度
其中di为一束超声波数据在圆心坐标系下返回的坐标到圆心的距离，angle_min为舵机在圆心坐标系下扫描的起始角度，θ’为舵机在圆心坐标系下每次转动的角度，n为淤泥范围内超声波脉冲数，由水面高度和淤泥沉积高度，进行淤泥包络检测，判断淤泥沉积情况
通过b量化淤泥沉积情况，可设置b阈值，判断是否需要进行淤泥清理，满足管道机器人巡检的任务要求。
作为本发明的优选技术方案：在步骤S10中，水面理论高度为0.5，淤泥沉积高度为0.13。
作为本发明的优选技术方案：在步骤S11中，淤泥沉积情况b为0.26。
作为本发明的优选技术方案：在步骤S12中，所述RGB-D相机随着云台运动，调整角度，RGB-D相机采集到的数据包括深度信息和RGB信息，所述RGB-D相机通过扫描管道内壁，返回管道内壁的RGB信息和深度信息，并对采集到的数据进行实时处理，使用的实时处理方法为YOLOv5算法，YOLOv5算法中使用的数据集为在管道中采集到的数据集，在实际管道中运行程序之前，对采集到的数据进行处理，使得数据集可以满足具体使用场景的要求，使用处理好的数据集对模型进行训练，在实际使用RGB-D相机进行实时检测时，YOLOv5算法会显示每一帧图像中检测到的缺陷信息，并在图片上做标识。
与现有技术相比，本发明的有益效果为：
本发明通过多传感器融合的方法，实现不同水位环境下管道的内径测量，淤泥的沉积高度测量和包络检测以及内壁上的缺陷检测，进而提高机器人在地下管道环境下的作业能力与效率。
附图说明
图1是本发明实例中管道机器人及多传感器融合管道内径缺陷和淤泥检测方法的功能框架图；
图2是本发明实例中管道机器人的立体视图；
图3是本发明实例中管道机器人的激光雷达安装示意图；
图4是本发明实例中管道机器人的舵机与超声波传感器安装示意图；
图5是本发明实例中管道机器人的RGB-D相机、升降机构与云台安装示意图；
图6是本发明实施中的基于RGB-D相机的管道内径检测方法示意图；
图7是本发明实施例的基于激光雷达的管道内径检测方法示意图；
图8是本发明实施例的基于超声波传感器模块的管道内径检测方法示意图；
图9是本发明实例中管道机器人的多传感器融合的淤泥检测方法的水面高度测量示意图；
图10是本发明实例中管道机器人的多传感器融合的淤泥检测方法的淤泥沉积高度测量示意图；
图11是本发明实例中管道机器人及多传感器融合管道内径缺陷和淤泥检测方法的流程图。
附图标记列表：
1、传感器模块；1-1、超声波传感器；1-2、激光雷达；1-3、RGB-D相机；2、作业机构模块；2-1、舵机；2-2、云台；2-3、升降机构；3、管道内径检测模块；4、淤泥检测模块；5、内壁缺陷检测模块。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
为克服现有技术中管道机器人无法适应不同管道水位环境下的内壁缺陷及淤泥检测，本发明设计了管道机器人及多传感器融合管道内径缺陷和淤泥检测方法，能使管道机器人高效快速地实现管道内径的测量、淤泥的沉积高度测量和包络检测，以及管道内壁的缺陷检测，满足巡检任务的需求。
参照图1-5所示，管道机器人，包括移动底盘、作业机构模块2以及传感器模块1，所述作业机构模块2包括舵机2-1、云台2-2和升降机构2-3，所述升降机构2-3安装在移动底盘上方，所述云台2-2安装在升降机构2-3上，所述舵机2-1安装在移动底盘前侧面，所述传感器模块1包括声波传感器、激光雷达1-2和RGB-D相机1-3，所述激光雷达1-2安装在移动底盘上侧面，所述超声传感器安装在舵机2-1的舵盘上，所述RGB-D相机1-3安装在云台2-2上。
其中，移动底盘为四轮驱动形式，其顶部安装有升降机构2-3，云台2-2为二自由度，置于升降机构2-3的顶部。
传感器单元包括激光雷达1-2、超声波传感器1-1和RGB-D相机1-3，激光雷达1-2为单线激光雷达，激光雷达1-2安装在移动底盘上侧面，对管道内壁可以实现360度扫描得到点云数据，实现对管道内壁上部没有水的部分的检测。
超声波传感器1-1包括超声传感器和舵机2-1，舵机2-1安装在移动底盘前侧面，超声传感器安装在舵机2-1的舵盘上，可以实现在竖直平面内对管道内壁的扫描测距，实现对管道下部有水的部分的检测。
RGB-D相机1-3安装在云台2-2上，可以随着升降机构2-3和云台2-2的运动，实现竖直升降，以及俯仰角和偏航角的调节。
还设置有管道内径检测模块3、淤泥检测模块4和内壁缺陷检测模块5，管道内径检测模块3的功能为检测管道的内径，通过激光雷达1-2、超声波传感器1-1和RGB-D相机1-3实现内径检测，淤泥检测模块4的功能为检测管道内淤泥的沉积高度和包络信息，通过舵机2-1、超声波传感器1-1、激光雷达1-2、RGB-D相机1-3、云台2-2和升降机构2-3实现淤泥检测模块4；内壁缺陷检测模块5的功能为管道内壁的缺陷检测，在终端界面显示每一帧图像中检测到的缺陷信息，并在图片上做标识，通过RGB-D相机1-3实现。
参照图1、图2、图3和图4，淤泥检测模块4通过激光雷达1-2、舵机2-1、超声波传感器1-1、RGB-D相机1-3、云台2-2和升降机构2-3实现，超声波传感器1-1安装在舵机2-1上，通过舵机2-1进行旋转。将由激光雷达1-2获取的点云数据和超声波传感器1-1构建的超声波数据，分别进行动态的圆形拟合，将RGB-D相机1-3数据、点云数据和超声波数据进行融合，拟合出管道的圆心和内径。如图7，由拟合的管道信息和点云数据拟合角度范围的起始角度和终止角度，计算管道水面高度。如图8，由拟合的管道信息和超声波数据拟合角度范围的起始角度和终止角度，计算管道淤泥沉积高度。
参照图1、图2和图5，内壁缺陷检测模块5通过RGB-D相机1-3和云台2-2实现，RGB-D相机1-3安装在云台2-2上，通过云台2-2进行旋转。将RGB-D相机1-3获取的RGB信息和深度信息进行处理，在实时图像中框选出管道内的缺陷。
参照图6-11所示，基于管道机器人及多传感器融合管道内径缺陷和淤泥检测方法，包括如下步骤：
步骤S1:获取激光雷达1-2点云数据；
步骤S2:进行圆形拟合；
步骤S3:判断点云圆形拟合是否成功，若成功，进行步骤S4；若失败，调整点云拟合角度范围，再次进行圆形拟合，其中，点云拟合角度范围为α度至360-α度；
步骤S4:舵机2-1转动超声波传感器1-1，补全拟合角度；
步骤S5:构建超声波数据；
步骤S6:进行圆形拟合，其中，选用的超声波数据初步拟合角度范围为0度至α度和360-α度至360度；
步骤S7:判断超声波数据圆形拟合是否成功，若成功，进行步骤S7；若失败，调整超声波数据拟合角度范围，再次进行圆形拟合，其中，超声波数据最终拟合角度范围为β度至α度和360-α度至360-β度；
步骤S8:RGB-D相机1-3测量管道内径；
步骤S9:RGB-D相机1-3数据、超声波数据与点云数据融合，计算管道内径；
步骤S10:计算水面高度和淤泥沉积高度；
步骤S11:淤泥包络检测；
步骤S12:RGB-D相机1-3缺陷检测。
管道内径的检测基于激光雷达1-2、超声波传感器1-1和RGB-D相机1-3
基于激光雷达1-2的管道内径检测详细如下：
参照图7，在步骤S1-S3中，利用激光雷达1-2构建的点云数据拟合得到管道内壁内径R1和管道截面圆心位置(x1,y1)，具体为：
竖直集成在管道机器人上的激光雷达1-2360度地扫描排水管道的横截面，构建管道横截面的点云数据，对点云数据进行圆形拟合，首先构建一个目标函数，包括初始估计值包括圆心坐标(x1、y1)以及圆内径R1，输入激光雷达1-2点云数据，点云数据包括每个点的坐标(xi、yi)，计算一轮点云数据中每个点到圆心的距离
最后返回每个距离偏差的平方和output，将其作为目标函数：
使用共轭梯度方法作为优化算法，将目标函数、初始估计值和点云数据作为输入，优化过程不断迭代调整参数，使得目标函数达到最小值，最终得到优化结果，即拟合出的圆的参数x1、y1和R1，因激光雷达1-2发射的激光脉冲会被水干扰，在排水管道内采用360度的点云数据进行圆形拟合往往会失败，因此，本发明采用动态调整点云拟合角度范围，假设首次选用360度的点云数据拟合失败，则将拟合角度范围减少2α度，即选用α度至360-α度范围内的点云进行拟合，直至拟合成功。
参照图8，基于超声波传感器1-1的管道内径检测详细如下：
在步骤S4-S7中，利用超声波传感器1-1测距拟合得到管道内壁内径R2和管道截面圆心位置(x2，y2)，具体为：
由于超声波传感器1-1安装在舵机2-1上，通过舵机2-1进行旋转，舵机2-1每转动θ度读取一次超声波传感器1-1返回的距离信息，根据舵机2-1转动的角度以及返回的距离信息构建超声波数据，
xi＝di.cos(angle_min+θ.i)
yi＝di.sin(angle_min+θ.i)
其中i为舵机2-1转动一圈中超声波传感器1-1返回的脉冲计数，di为该脉冲返回的距离信息，angle_min为舵机2-1扫描的起始角度，θ为舵机2-1每次转动的角度，由上述激光雷达1-2最终拟合的角度范围，获得超声波数据初步圆形拟合的角度范围，假设单线激光雷达1-2最终拟合角度范围为α度至360-α度，超声波数据圆形拟合的初步角度范围为0度至α度和360-α度至360度，构建一个目标函数，包括初始估计值包括圆心坐标x2、y2以及圆内径R2，输入超声波数据，超声波数据包括每个点的坐标xi、yi，计算一轮点云数据中每个点到圆心的距离
最后返回每个距离偏差的平方和output，将其作为目标函数：
使用共轭梯度方法作为优化算法，将目标函数、初始估计值和超声波数据作为输入，优化过程会不断迭代调整参数，使得目标函数达到最小值，最终得到优化结果，即拟合出的圆的参数x2、y2和R2，因排水管道内有淤泥堆积，干扰超声波数据拟合结果，同样需要动态调整超声波数据拟合角度范围，假设首次选用0度至α度和360-α度至360度的超声波数据拟合失败，则将拟合角度范围减少2β度，即选用β度至α度和360-α度至360-β度范围内的超声波数据进行拟合，直至拟合成功。
参照图6和图11，利用RGB-D相机1-3测量管道内径，并进行数据融合，从而计算管道内径，详细如下：
在步骤S8-S9中，利用RGB-D相机1-3测距拟合得到管道内壁内径R3和管道截面圆心位置(x3,y3)，x为水平位置，y为竖直位置，假设RGB-D相机1-3开始的位置为(xc0,yc0)，具体为：
RGB-D相机1-3调节偏航角为正对管道左侧，然后调节升降机构2-3从最低点以步长Δh不断升高，同时记录RGB-D相机1-3测到的距离左侧管壁的离散距离数据{L1，L2，…，LN}，直到升降机构2-3升到最高点，类似的，RGB-D相机1-3调节偏航角为正对管道右侧，然后调节升降机构2-3从最低点以步长Δh不断升高，同时记录RGB-D相机1-3测到的距离左侧管壁的离散距离数据{R1，R2，…，RN}，直到升降机构2-3升到最高点，假设RGB-D相机1-3偏航角调节过程中其中心位置在管道横截面的水平位置不变，则可以得到以下方程组：
根据以上2N个等式，依次选其中的5个等式，可以解算得到xc0、yc0、R3、x3和y3，共有组结果，然后取/>组的均值得到最终的xc0、yc0、R3、x3和y3结果，
最后通过对三种传感器得到的管道内壁内径进行融合得到管道内径R，
R＝w1*R1+w2*R2+w3*R3
其中w1、w2和w3为权重系数，w1+w2+w3＝1，其具体数值根据传感器检测精度和实验测试确定。
在步骤S9中，三种传感器均为毫米级误差，因此，超声波数据的权重为1/3，点云数据的权重为1/3，RGB-D相机1-3数据权重为1/3，管道理论内径为1。
淤泥检测的方法基于超声波传感器1-1和激光雷达：
在步骤S10-S11中，通过激光雷达1-2点云拟合角度范围的起始角度和拟合的圆的参数，计算出管道内水面的高度
其中α’为点云数据在圆心坐标系下拟合角度范围的起始角度，通过超声波数据拟合角度范围的起始角度和终止角度，可得淤泥所处的角度范围，由超声波数据和拟合的圆的参数，计算淤泥的平均高度
其中di为一束超声波数据在圆心坐标系下返回的坐标到圆心的距离，angle_min为舵机2-1在圆心坐标系下扫描的起始角度，θ’为舵机2-1在圆心坐标系下每次转动的角度，n为淤泥范围内超声波脉冲数，由水面高度和淤泥沉积高度，进行淤泥包络检测，判断淤泥沉积情况
通过b量化淤泥沉积情况，可设置b阈值，判断是否需要进行淤泥清理，满足管道机器人巡检的任务要求。
在步骤S10中，水面理论高度为0.5，淤泥沉积高度为0.13。
在步骤S11中，淤泥沉积情况b为0.26。
管道内壁缺陷的检测方法详细如下：
参照图1，在步骤S12中，所述RGB-D相机1-3随着云台2-2运动，调整角度，RGB-D相机1-3采集到的数据包括深度信息和RGB信息，所述RGB-D相机1-3通过扫描管道内壁，返回管道内壁的RGB信息和深度信息，并对采集到的数据进行实时处理，使用的实时处理方法为YOLOv5算法，YOLOv5算法中使用的数据集为在管道中采集到的数据集，在实际管道中运行程序之前，对采集到的数据进行处理，使得数据集可以满足具体使用场景的要求，使用处理好的数据集对模型进行训练，在实际使用RGB-D相机1-3进行实时检测时，YOLOv5算法会显示每一帧图像中检测到的缺陷信息，并在图片上做标识。
本发明通过多传感器融合的方法，实现不同水位环境下管道的内径测量，淤泥的沉积高度测量和包络检测以及内壁上的缺陷检测，进而提高机器人在地下管道环境下的作业能力与效率。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (10)
1.管道机器人，其特征在于：包括移动底盘、作业机构模块(2)以及传感器模块(1)，所述作业机构模块(2)包括舵机(2-1)、云台(2-2)和升降机构(2-3)，所述升降机构(2-3)安装在移动底盘上方，所述云台(2-2)安装在升降机构(2-3)上，所述舵机(2-1)安装在移动底盘前侧面，所述传感器模块(1)包括声波传感器、激光雷达(1-2)和RGB-D相机(1-3)，所述激光雷达(1-2)安装在移动底盘上侧面，所述超声传感器安装在舵机(2-1)的舵盘上，所述RGB-D相机(1-3)安装在云台(2-2)上。
2.基于权利要求1所述管道机器人的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：包括如下步骤：
步骤S1:获取激光雷达(1-2)点云数据；
步骤S2:进行圆形拟合；
步骤S3:判断点云圆形拟合是否成功，若成功，进行步骤S4；若失败，调整点云拟合角度范围，再次进行圆形拟合，其中，点云拟合角度范围为α度至360-α度；
步骤S4:舵机(2-1)转动超声波传感器(1-1)，补全拟合角度；
步骤S5:构建超声波数据；
步骤S6:进行圆形拟合，其中，选用的超声波数据初步拟合角度范围为0度至α度和360-α度至360度；
步骤S7:判断超声波数据圆形拟合是否成功，若成功，进行步骤S7；若失败，调整超声波数据拟合角度范围，再次进行圆形拟合，其中，超声波数据最终拟合角度范围为β度至α度和360-α度至360-β度；
步骤S8:RGB-D相机(1-3)测量管道内径；
步骤S9:RGB-D相机(1-3)数据、超声波数据与点云数据融合，计算管道内径；
步骤S10:计算水面高度和淤泥沉积高度；
步骤S11:淤泥包络检测；
步骤S12:RGB-D相机(1-3)缺陷检测。
3.根据权利要求1所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S1-S3中，利用激光雷达(1-2)构建的点云数据拟合得到管道内壁内径R1和管道截面圆心位置(x1,y1)，具体为：
竖直集成在管道机器人上的激光雷达(1-2)360度地扫描排水管道的横截面，构建管道横截面的点云数据，对点云数据进行圆形拟合，首先构建一个目标函数，包括初始估计值包括圆心坐标(x1、y1)以及圆内径R1，输入激光雷达(1-2)点云数据，点云数据包括每个点的坐标(xi、yi)，计算一轮点云数据中每个点到圆心的距离
最后返回每个距离偏差的平方和output，将其作为目标函数：
使用共轭梯度方法作为优化算法，将目标函数、初始估计值和点云数据作为输入，优化过程不断迭代调整参数，使得目标函数达到最小值，最终得到优化结果，即拟合出的圆的参数x1、y1和R1，采用动态调整点云拟合角度范围，假设，首次选用360度的点云数据拟合失败，则将拟合角度范围减少2α度，即选用α度至360-α度范围内的点云进行拟合，直至拟合成功。
4.根据权利要求1所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S4-S7中，利用超声波传感器(1-1)测距拟合得到管道内壁内径R2和管道截面圆心位置(x2，y2)，具体为：
通过舵机(2-1)进行旋转，舵机(2-1)每转动θ度读取一次超声波传感器(1-1)返回的距离信息，根据舵机(2-1)转动的角度以及返回的距离信息构建超声波数据，
xi＝di.cos(angle_min+θ.i)
yi＝di.sin(angle_min+θ.i)
其中i为舵机(2-1)转动一圈中超声波传感器(1-1)返回的脉冲计数，di为该脉冲返回的距离信息，angle_min为舵机(2-1)扫描的起始角度，θ为舵机(2-1)每次转动的角度，由上述激光雷达(1-2)最终拟合的角度范围，获得超声波数据初步圆形拟合的角度范围，假设激光雷达(1-2)最终拟合角度范围为α度至360-α度，超声波数据圆形拟合的初步角度范围为0度至α度和360-α度至360度，构建一个目标函数，包括初始估计值包括圆心坐标x2、y2以及圆内径R2，输入超声波数据，超声波数据包括每个点的坐标xi、yi，计算一轮点云数据中每个点到圆心的距离
最后返回每个距离偏差的平方和output，将其作为目标函数：
使用共轭梯度方法作为优化算法，将目标函数、初始估计值和超声波数据作为输入，优化过程会不断迭代调整参数，使得目标函数达到最小值，最终得到优化结果，即拟合出的圆的参数x2、y2和R2，动态调整超声波数据拟合角度范围，假设首次选用0度至α度和360-α度至360度的超声波数据拟合失败，则将拟合角度范围减少2β度，即选用β度至α度和360-α度至360-β度范围内的超声波数据进行拟合，直至拟合成功。
5.根据权利要求1所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S8-S9中，利用RGB-D相机(1-3)测距拟合得到管道内壁内径R3和管道截面圆心位置(x3,y3)，x为水平位置，y为竖直位置，假设RGB-D相机(1-3)开始的位置为(xc0,yc0)，具体为：
RGB-D相机(1-3)调节偏航角为正对管道左侧，然后调节升降机构(2-3)从最低点以步长Δh不断升高，同时记录RGB-D相机(1-3)测到的距离左侧管壁的离散距离数据{L1,L2,…，LN}，直到升降机构(2-3)升到最高点，类似的，RGB-D相机(1-3)调节偏航角为正对管道右侧，然后调节升降机构(2-3)从最低点以步长Δh不断升高，同时记录RGB-D相机(1-3)测到的距离左侧管壁的离散距离数据{R1,R2,…，RN}，直到升降机构(2-3)升到最高点，假设RGB-D相机(1-3)偏航角调节过程中其中心位置在管道横截面的水平位置不变，则可以得到以下方程组：
根据以上2N个等式，依次选其中的5个等式，可以解算得到xc0、yc0、R3、x3和y3，共有组结果，然后取/>组的均值得到最终的xc0、yc0、R3、x3和y3结果，
最后通过对三种传感器得到的管道内壁内径进行融合得到管道内径R，
R＝w1*R1+w2*R2+w3*R3
其中w1、w2和w3为权重系数，w1+w2+w3＝1。
6.根据权利要求5所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S9中，三种传感器均为毫米级误差，因此，超声波数据的权重为1/3，点云数据的权重为1/3，RGB-D相机(1-3)数据权重为1/3。
7.根据权利要求1所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S10-S11中，通过激光雷达(1-2)点云拟合角度范围的起始角度和拟合的圆的参数，计算出管道内水面的高度
其中α’为点云数据在圆心坐标系下拟合角度范围的起始角度，通过超声波数据拟合角度范围的起始角度和终止角度，可得淤泥所处的角度范围，由超声波数据和拟合的圆的参数，计算淤泥的平均高度
其中di为一束超声波数据在圆心坐标系下返回的坐标到圆心的距离，angle_min为舵机(2-1)在圆心坐标系下扫描的起始角度，θ’为舵机(2-1)在圆心坐标系下每次转动的角度，n为淤泥范围内超声波脉冲数，由水面高度和淤泥沉积高度，进行淤泥包络检测，判断淤泥沉积情况
通过b量化淤泥沉积情况，可设置b阈值，判断是否需要进行淤泥清理，满足管道机器人巡检的任务要求。
8.根据权利要求7所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S10中，水面理论高度为0.5，淤泥沉积高度为0.13。
9.根据权利要求7所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S11中，淤泥沉积情况b为0.26。
10.根据权利要求1所述的多传感器融合管道内径缺陷和淤泥检测方法，其特征在于：在步骤S12中，所述RGB-D相机(1-3)随着云台(2-2)运动，调整角度，RGB-D相机(1-3)采集到的数据包括深度信息和RGB信息，所述RGB-D相机(1-3)通过扫描管道内壁，返回管道内壁的RGB信息和深度信息，并对采集到的数据进行实时处理，使用的实时处理方法为YOLOv5算法，YOLOv5算法中使用的数据集为在管道中采集到的数据集，在实际管道中运行程序之前，对采集到的数据进行处理，使得数据集可以满足具体使用场景的要求，使用处理好的数据集对模型进行训练，在实际使用RGB-D相机(1-3)进行实时检测时，YOLOv5算法会显示每一帧图像中检测到的缺陷信息，并在图片上做标识。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310691322.4A CN116734082A (zh) | 2023-06-12 | 2023-06-12 | 管道机器人及多传感器融合管道内径缺陷和淤泥检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310691322.4A CN116734082A (zh) | 2023-06-12 | 2023-06-12 | 管道机器人及多传感器融合管道内径缺陷和淤泥检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116734082A true CN116734082A (zh) | 2023-09-12 |
Family
ID=87909128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310691322.4A Pending CN116734082A (zh) | 2023-06-12 | 2023-06-12 | 管道机器人及多传感器融合管道内径缺陷和淤泥检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116734082A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117805241A (zh) * | 2024-02-28 | 2024-04-02 | 北京晶品特装科技股份有限公司 | 一种用于压力容器检测的特种设备检测装置 |
-
2023
- 2023-06-12 CN CN202310691322.4A patent/CN116734082A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117805241A (zh) * | 2024-02-28 | 2024-04-02 | 北京晶品特装科技股份有限公司 | 一种用于压力容器检测的特种设备检测装置 |
| CN117805241B (zh) * | 2024-02-28 | 2024-05-07 | 北京晶品特装科技股份有限公司 | 一种用于压力容器检测的特种设备检测装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2623295C2 (ru) | Система, устройство и способ текущего контроля положения и ориентации транспортного средства, погрузочного устройства и груза при работе погрузочного устройства | |
| US10475203B2 (en) | Computer vision system and method for tank calibration using optical reference line method | |
| CN113376654A (zh) | 基于三维激光的集卡防砸检测方法、装置和计算机设备 | |
| CN109178234B (zh) | 一种船舶干舷高度测量系统及其测量方法 | |
| CN116734082A (zh) | 管道机器人及多传感器融合管道内径缺陷和淤泥检测方法 | |
| US8462208B2 (en) | System and method for tridimensional cartography of a structural surface | |
| CN109685858A (zh) | 一种单目摄像头在线标定方法 | |
| CN110361717B (zh) | 激光雷达-摄像机联合标定靶和联合标定方法 | |
| CN111895911A (zh) | 一种应用于浅部砂层地面塌陷隐患监测方法 | |
| CN111457848B (zh) | 通过相邻监测点间坐标变化而测定位移量的方法及系统 | |
| CN114396871B (zh) | 一种基于三维激光扫描的预制墩柱安装位置姿态监测方法 | |
| CN110533649B (zh) | 一种无人机通用结构裂缝识别检测装置及方法 | |
| CN106813590A (zh) | 外浮顶储罐变形检测方法 | |
| CN116295313B (zh) | 掘进机的实时定位系统 | |
| CN110940271A (zh) | 基于空间三维测控网的船舶等大型工业制造检测、监测和智能搭载安装方法 | |
| CN112595266B (zh) | 一种用于管道检测的缺陷面积计算方法及系统 | |
| CN117488887A (zh) | 一种基于单目视觉的基坑多测点一体化监测方法 | |
| CN114104894B (zh) | 一种电梯导轨质量多参数检测方法 | |
| CN114296099B (zh) | 一种基于固态面阵激光雷达的仓料体积探测方法 | |
| KR102484298B1 (ko) | 배관 검사 로봇 및 이의 동작 방법 | |
| CN114772467A (zh) | 基于图像识别的塔机顶升过程中垂直度监测系统及方法 | |
| CN212180644U (zh) | 三维激光扫描外墙检测系统 | |
| CN112633097A (zh) | 一种基于人工智能的清洁机器人卡死风险评估方法及系统 | |
| JP4890294B2 (ja) | 水中移動装置の位置測定システム | |
| CN113160238B (zh) | 一种基于海浪理论的海面图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |