CN116026315B - 一种基于多传感器融合的通风管道场景建模与机器人定位方法 - Google Patents

一种基于多传感器融合的通风管道场景建模与机器人定位方法 Download PDF

Info

Publication number
CN116026315B
CN116026315B CN202310284089.8A CN202310284089A CN116026315B CN 116026315 B CN116026315 B CN 116026315B CN 202310284089 A CN202310284089 A CN 202310284089A CN 116026315 B CN116026315 B CN 116026315B
Authority
CN
China
Prior art keywords
robot
pipeline
data
pipe
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310284089.8A
Other languages
English (en)
Other versions
CN116026315A (zh
Inventor
宋爱国
季宇航
黄上章
钱佳旺
李彬
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202310284089.8A priority Critical patent/CN116026315B/zh
Publication of CN116026315A publication Critical patent/CN116026315A/zh
Application granted granted Critical
Publication of CN116026315B publication Critical patent/CN116026315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于多传感器融合的通风管道场景建模与机器人定位方法，包括双目相机、单线激光雷达、惯性测量单元和对称设置在机器人主体左右两侧的TOF测距传感器；该方法利用TOF测距传感器实时获取管道宽度数据，实现对管道机器人当前所在场景的判断；在视觉特征点稀疏的主管道场景中,通过提取雷达点云线特征和图像消失点实现机器人定位；在管径狭窄的分支管道场景中，通过提取双目相机数据中的ORB特征点进行帧间匹配实现机器人定位；根据机器人在单节管道内的定位结果计算管道长度，以拓扑的方式不断构建具有几何信息的管道地图，进而提高机器人在通风管道环境下的作业能力与工作效率。

Description

一种基于多传感器融合的通风管道场景建模与机器人定位 方法
技术领域
本发明涉及机器人技术领域，具体涉及一种基于多传感器融合的通风管道场景建模与机器人定位方法。
背景技术
通风管道是实现室内外空气循环功能的重要载体，被广泛应用在各类建筑设施中。然而随着长时间的使用管道内会滋生大量粉尘、细菌等有害物质，进而危害建筑内人群的生命安全，因此必须对通风管道系统进行定期巡检。通风管道构型复杂、管径狭小且铺设于吊顶之上，利用移动机器人进行巡检作业已成为首选解决方案。
建图和定位功能是管道机器人完成各类巡检任务的基础。然而通风管道管壁具有高反射率使得部分传感器工作性能降低，雷达里程计在管道这种类长廊环境中极易产生误匹配，主管道中视觉特征点稀疏导致视觉里程计精度不高。目前的建图算法构建的尺度地图无法直接从中获取管道的长度、宽度等信息，不满足后续巡检作业的需求。
中国专利申请号为：CN202010298783.1，公布日为2020.08.14的专利文献，公开了一种基于初始姿态角自对准的小径管道机器人定位方法，通过惯性测量单元与里程计的组合解算机器人的姿态信息。惯性测量单元随着运行时间的增长会产生累计误差，里程计数据在管道机器人出现滑移等现象时变得不可靠，均会导致该系统定位精度大幅下降。
中国专利申请号为：CN202210960470.7，公布日为2022.12.09的专利文献，公开了一种多传感器协同的管道机器人精准定位方法，通过紧耦合的方式融合相机、惯性传感器、IMU和北斗定位传感器的数据实现管内定位。但在通风管道环境中北斗定位传感器往往不可用，紧耦合方法对计算量要求较高，未构建有效的管道环境地图不满足机器人后续巡检任务的需求。
目前，如何结合各类传感器的优势，让管道机器人完成复杂管道场景的建模与管内定位是亟需解决的一个问题。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于多传感器融合的通风管道场景建模与机器人定位方法，融合双目相机、单线激光雷达、惯性测量单元和对称设置在机器人主体左右两侧的TOF测距传感器数据，用于解决通风管道材质的特殊性和结构的复杂性使得传感设备性能严重受限的问题，并提出了具有管道几何信息的建模方法。
技术方案：为实现上述目的，本发明提供一种基于多传感器融合的通风管道场景建模与机器人定位方法，包括以下步骤：
步骤1：默认机器人沿通风管道主管出发，初始位置坐标为（0,0），通过分割雷达数据中管道两侧的点云信息并提取其线特征，通过提取图像中管壁两侧的底部边缘像素信息获得沿管道方向上的消失点，融合点线特征并估计机器人的俯仰角、偏航角以及位置坐标，利用TOF测距传感器数据得到当节管道的宽度信息；
步骤2：若机器人进入非直管构件中，利用机器人当前位姿和初始位姿推算上一直管构件的长度信息；
步骤3：判断机器人在非直管构件中是否转弯，若是，则进入支管定位模式，若否，则返回步骤1中并将初始位置坐标设置为机器人当前位置坐标；
步骤4：支管定位模式下，对双目相机拍摄的图像序列提取ORB特征，通过帧间跟踪匹配解算机器人位姿信息，利用TOF测距传感器数据得到当节管道的宽度信息；
步骤5：若机器人重新返回非直管构件中，将机器人在支管中行进的最远距离作为该支管的长度，返回步骤3。
作为本发明的一种优选实施方式：所述步骤1的具体步骤为：
将惯性测量单元和激光雷达数据进行时间同步，根据惯性测量单元数据计算雷达 旋转一周时间内机器人的旋转量
Figure SMS_1
和平移量
Figure SMS_2
，对雷达点云数据
Figure SMS_3
进行畸变校正：
Figure SMS_4
（1）；
其中
Figure SMS_5
为畸变校正后的雷达点云数据；
利用点云分割算法获取管道两侧的雷达点云数据，用随机抽样一致算法对这两组数据进行直线拟合以减小离群值对测量结果的影响，随机抽样一致算法拟合结果中的内点数据占比t用于评价两组拟合结果：
Figure SMS_6
（2）；
其中
Figure SMS_7
为内点数据数量，n为总输入数据量；
t值较大一组的拟合结果
Figure SMS_8
用于表示管道朝向信息，根据管道朝向与雷达起 始扫描方向的差值估计机器人相对于管道方向的偏航角
Figure SMS_9
：
Figure SMS_10
（3）；
获取双目相机图像数据，利用LaneNet神经网络对图像进行语义分割，获得管壁两 侧的底部边缘像素信息；通过随机抽样一致算法对两侧的边缘像素点集分别进行直线拟 合，两条直线的交点坐标
Figure SMS_11
即为该位置处图像中沿管道方向上的消失点；结合相机投 影方程估计机器人的偏航角
Figure SMS_12
和俯仰角
Figure SMS_13
：
Figure SMS_14
（4）；
其中
Figure SMS_15
表示旋转矩阵
Figure SMS_16
的第三列，
Figure SMS_17
表示相机的内参矩阵，
Figure SMS_18
表示消失点坐标；
利用卡尔曼滤波融合
Figure SMS_19
和
Figure SMS_20
，获得更加准确、稳定的偏航角
Figure SMS_21
；
根据此时左右两侧的TOF测距传感器数据
Figure SMS_22
和
Figure SMS_23
以及机器人本体宽度
Figure SMS_24
得到管道宽度
Figure SMS_25
为：
Figure SMS_26
（5）；
假设初始位置（0,0）处左侧TOF测距传感器数据为
Figure SMS_27
、偏航角为
Figure SMS_28
，则机器人在 主管中任意位置的x坐标：
Figure SMS_29
（6）；
其中
Figure SMS_30
为在当前位置处的左侧TOF测距传感器数据，
Figure SMS_31
为在当前位置处的偏航 角；
沿着管道方向查找机器人当前位置处正前方和正后方的雷达点云信息，根据机器人距离管道前后的距离估计y坐标的值；
当管道机器人在主管中运动时，实时获取位置信息
Figure SMS_32
、偏航角
Figure SMS_33
和管道宽度
Figure SMS_34
。
作为本发明的一种优选实施方式：所述步骤2的具体步骤为：
当
Figure SMS_35
数据连续5帧不断变大时，则认为机器人进入非直管构件中；若测量值
Figure SMS_36
和
Figure SMS_37
中一个变化另一个不变时，则机器人进入三通管件中，否则机器人进入四通管 件中；根据
Figure SMS_38
数据第一次变化时的机器人位置信息
Figure SMS_39
得到管道的长度
Figure SMS_40
为：
Figure SMS_41
（7）；
其中，
Figure SMS_42
和
Figure SMS_43
为机器人通过上一非直管构件后的位置坐标，初始值均为0；
当机器人进入一个非直管构件后，完成对上一段管道长度和宽度的估计。
作为本发明的一种优选实施方式：所述步骤3的具体步骤为：
当
Figure SMS_44
数据连续5帧不断变小时，则认为机器人从非直管构件中进入新的直管构 件中；利用惯性传感器获取机器人在非直管构件中行走的角速度值，对角速度进行积分得 到旋转量；
若机器人朝向变化超过60度则认为机器人进入通风管道支管中，记录下机器人发生转向的信息；由于支管口径狭窄，不再使用激光雷达的扫描数据，此时由双目相机完成定位工作；
若机器人未进入支管中，则仍采用激光雷达定位，此时将
Figure SMS_45
数据稳定不变时的 机器人坐标作为该节管道的开始位置坐标
Figure SMS_46
并返回步骤1中继续完成该节管 道的建模。
作为本发明的一种优选实施方式：所述步骤4的具体步骤为：
首先对双目相机拍摄的图像提取ORB特征，ORB特征由Oriented FAST关键点和 BRIEF描述子组成；Oriented FAST关键点检测需先在图像中选取像素亮度为
Figure SMS_47
的像素点 p，以像素p为中心选取半径为3的圆上的16个特征点，此外还需设定一个阈值T，假如选取的 圆上有连续12个点的亮度大于
Figure SMS_48
或小于
Figure SMS_49
则认为该像素点为特征点；接着计算 该特征点的灰度质心来保证其旋转不变性，对于某一图像块B定义其矩
Figure SMS_50
为：
Figure SMS_51
（8）；
其中
Figure SMS_52
为像素点
Figure SMS_53
处的亮度；
通过矩找到图像块的质心C为：
Figure SMS_54
（9）；
根据连接图像块几何中心O和质心C得到方向向量
Figure SMS_55
，定义特征点的方向角
Figure SMS_56
为：
Figure SMS_57
（10）；
通过在关键点附近随机选取128对点，比较它们两两之间的大小关系生成相应的BRIEF描述子；在对两幅相邻帧完成特征点检测后，以汉明距离为度量匹配两幅图像中的特征点，利用随机抽样一致算法筛选出最终的匹配点对；最后结合双目相机深度数据，利用迭代最近点求解相机位姿；管道宽度的测量与步骤1中类似。
作为本发明的一种优选实施方式：所述步骤5的具体步骤为：
通风管道支管因存在调节风阀使得机器人无法完全通行，因此使用机器人在支管中的行进最远距离作为该支管的长度，要求在视觉里程计运行时不断记录并更新行进方向轴坐标的最大值；判断机器人返回非直管构件中的方法与步骤2中类似，一旦机器人返回，采用步骤3中的方法继续判断机器人的行进状态，最终完成整个通风管道场景的建模。
本发明相比现有技术，具有以下有益效果：
1.本发明采用在管道主管中提取雷达点云线特征和图像消失点进行机器人定位、在支管中使用双目相机数据搭建视觉里程计的方法，解决了激光雷达在狭窄管道中存在测量盲区和视觉里程计在特征点稀疏的环境下转向时极易出现跟踪失败的问题，具有很好的灵活性，可满足机器人不同管道中的定位需求。
2.本发明采用随机抽样一致方法对雷达点云特征点、管壁底部边缘像素点和视觉匹配特征点对进行筛选，减小了计算过程中由离群值、误匹配等因素造成的误差，可实现更加精确地估计机器人的位姿。
3.本发明利用管道两侧边缘构成的一组平行线提取图像中沿管道方向上的消失点，再根据消失点计算机器人的偏航角和俯仰角，并融合基于雷达点云线特征的位姿估计结果，使得后续基于TOF测距传感器的非直管构件检测方法更加鲁棒。
4.本发明采用TOF测距传感器实时获取机器人两侧的测量数据，在推算管道宽度的同时可准确判断机器人是否进入非直管构件中。
5.本发明采用拓扑的方式不断构建管道地图，地图中包含管道的长度和宽度信息，可清晰地展现管道的连接状况，有助于提高管道机器人的巡检效率。
附图说明
图1显示了本发明所提出的一种基于多传感器融合的通风管道场景建模与机器人定位方法框架图；
图2显示了沿管道方向上的消失点检测方法示意图；
图3显示了基于TOF测距传感器的管道宽度测量方法示意图；
图4显示了非直管构件检测方法示意图；
图5显示了通风管道场景建模效果图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供一种基于多传感器融合的通风管道场景建模与机器人定位方法，该方法包括以下步骤：
步骤1，默认机器人沿通风管道主管出发，初始位置坐标为（0,0），通过分割雷达数据中管道两侧的点云信息并提取其线特征，通过提取图像中管壁两侧的底部边缘像素信息获得沿管道方向上的消失点，融合点线特征并估计机器人的俯仰角、偏航角以及位置坐标，利用TOF测距传感器数据得到当节管道的宽度信息。
将惯性测量单元和激光雷达数据进行时间同步，根据惯性测量单元数据计算雷达 旋转一周时间内机器人的旋转量
Figure SMS_58
和平移量
Figure SMS_59
，对雷达点云数据
Figure SMS_60
进行畸变校正：
Figure SMS_61
（1）
其中
Figure SMS_62
为畸变校正后的雷达点云数据。
利用点云分割算法获取管道两侧的雷达点云数据，用随机抽样一致算法对这两组数据进行直线拟合以减小离群值对测量结果的影响，随机抽样一致算法拟合结果中的内点数据占比t用于评价两组拟合结果：
Figure SMS_63
（2）
其中
Figure SMS_64
为内点数据数量，n为总输入数据量。
t值较大一组的拟合结果
Figure SMS_65
用于表示管道朝向信息，根据管道朝向与雷达起 始扫描方向的差值估计机器人相对于管道方向的偏航角
Figure SMS_66
：
Figure SMS_67
（3）
获取双目相机图像数据，利用LaneNet神经网络对图像进行语义分割，获得如图2 所示的管壁两侧的底部边缘像素信息。通过随机抽样一致算法对两侧的边缘像素点集分别 进行直线拟合，拟合得到的两条直线
Figure SMS_68
和
Figure SMS_69
，其交点坐标
Figure SMS_70
即为该位置处图像中沿管 道方向上的消失点。结合相机投影方程估计机器人的偏航角
Figure SMS_71
和俯仰角
Figure SMS_72
：
Figure SMS_73
（4）
其中
Figure SMS_74
表示旋转矩阵
Figure SMS_75
的第三列，
Figure SMS_76
表示相机的内参矩阵，
Figure SMS_77
表 示消失点坐标。
利用卡尔曼滤波融合
Figure SMS_78
和
Figure SMS_79
，获得更加准确、稳定的偏航角
Figure SMS_80
。
如图2所示，在得到机器人的偏航角
Figure SMS_81
后，灰色虚线为此时机器人两侧TOF测距传 感器获得的测量数据，分别记为
Figure SMS_82
和
Figure SMS_83
。结合机器人本体宽度
Figure SMS_84
得到管道宽度
Figure SMS_85
为：
Figure SMS_86
（5）
假设初始位置（0,0）处左侧TOF测距传感器数据为
Figure SMS_87
、偏航角为
Figure SMS_88
，则机器人 在主管中任意位置的x坐标为：
Figure SMS_89
（6）
其中
Figure SMS_90
为在当前位置处的左侧TOF测距传感器数据，
Figure SMS_91
为在当前位置处的偏航 角。
沿着管道方向查找机器人当前位置处正前方和正后方的雷达点云信息，根据机器人距离管道前后的距离估计y坐标的值。
当管道机器人在主管中运动时，实时获取位置信息
Figure SMS_92
、偏航角
Figure SMS_93
和管道宽度
Figure SMS_94
。
步骤2，若机器人进入非直管构件中，利用机器人当前位姿和初始位姿推算上一直管构件的长度信息。
当
Figure SMS_96
数据连续5帧不断变大时，则认为机器人进入非直管构件中。如图3所示， 测量值
Figure SMS_99
不断变大而测量值
Figure SMS_101
基本不变，此时机器人进入三通管件中。若测量值
Figure SMS_97
和
Figure SMS_98
都不断变大则表示机器人进入四通管件中。根据
Figure SMS_100
数据第一次变化时的 机器人位置信息
Figure SMS_102
得到管道的长度
Figure SMS_95
为：
Figure SMS_103
（7）
其中，
Figure SMS_104
和
Figure SMS_105
为机器人通过上一非直管构件后的位置坐标，初始值均为0。
当机器人进入一个非直管构件后，完成对上一段管道长度和宽度的估计。
步骤3，判断机器人在非直管构件中是否转弯。若是，则进入支管定位模式；若否，则返回步骤1中并将初始位置坐标设置为机器人当前位置坐标。
当
Figure SMS_106
数据连续5帧不断变小时，则认为机器人从非直管构件中进入新的直管构 件中。此时利用惯性传感器获取机器人在非直管构件中行走的角速度值，对角速度进行积 分得到旋转量。若机器人朝向变化超过60度则认为机器人进入通风管道支管中，记录下机 器人发生转向的信息。由于支管口径狭窄，不再使用激光雷达的扫描数据，此时由双目相机 完成定位工作。若机器人未进入支管中，则仍采用激光雷达定位，此时将
Figure SMS_107
数据稳定不 变时的机器人坐标作为该节管道的开始位置坐标
Figure SMS_108
并返回步骤1中继续完成 该节管道的建模。
步骤4，支管定位模式下的流程如图1所示，对双目相机拍摄的图像序列提取ORB特征，通过帧间跟踪匹配解算机器人位姿信息，利用TOF测距传感器数据得到当节管道的宽度信息。
首先对双目相机拍摄的图像提取ORB特征，ORB特征由Oriented FAST关键点和 BRIEF描述子组成。Oriented FAST关键点检测需先在图像中选取像素亮度为
Figure SMS_109
的像素点 p，以像素p为中心选取半径为3的圆上的16个特征点，此外还需设定一个阈值T，假如选取的 圆上有连续12个点的亮度大于
Figure SMS_110
或小于
Figure SMS_111
则认为该像素点为特征点。接着计算 该特征点的灰度质心来保证其旋转不变性，对于某一图像块B定义其矩
Figure SMS_112
为：
Figure SMS_113
（8）
其中
Figure SMS_114
为像素点
Figure SMS_115
处的亮度。
通过矩找到图像块的质心C为：
Figure SMS_116
（9）
根据连接图像块几何中心O和质心C得到方向向量
Figure SMS_117
，定义特征点的方向角
Figure SMS_118
为：
Figure SMS_119
（10）
通过在关键点附近随机选取128对点，比较它们两两之间的大小关系生成相应的BRIEF描述子。在对两幅相邻帧完成特征点检测后，以汉明距离为度量匹配两幅图像中的特征点，利用随机抽样一致算法筛选出最终的匹配点对。最后结合双目相机深度数据，利用迭代最近点求解相机位姿。管道宽度的测量与步骤1中类似。
步骤5，若机器人重新返回非直管构件中，将机器人在支管中行进的最远距离作为该支管的长度，返回步骤3。
通风管道支管因存在调节风阀使得机器人无法完全通行，因此使用机器人在支管中的行进最远距离作为该支管的长度，要求在视觉里程计运行时不断记录并更新行进方向轴坐标的最大值。判断机器人返回非直管构件中的方法与步骤2中类似，一旦机器人返回，采用步骤3中的方法继续判断机器人的行进状态，最终完成如图4所示的整个通风管道场景的建模。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种多传感器融合的通风管道场景建模与机器人定位方法，其装置包括双目相机、单线激光雷达、惯性测量单元和对称设置在机器人主体左右两侧的TOF测距传感器，其特征在于，包括以下步骤：
步骤1：默认机器人沿通风管道主管出发，初始位置坐标为（0,0），通过分割雷达数据中管道两侧的点云信息并提取其线特征，通过提取图像中管壁两侧的底部边缘像素信息获得沿管道方向上的消失点，融合点线特征并估计机器人的俯仰角、偏航角以及位置坐标，利用TOF测距传感器数据得到当节管道的宽度信息；
步骤2：若机器人进入非直管构件中，利用机器人当前位姿和初始位姿推算上一直管构件的长度信息；
步骤3：判断机器人在非直管构件中是否转弯，若是，则进入支管定位模式，若否，则返回步骤1中并将初始位置坐标设置为机器人当前位置坐标；
步骤4：支管定位模式下，对双目相机拍摄的图像序列提取ORB特征，通过帧间跟踪匹配解算机器人位姿信息，利用TOF测距传感器数据得到当节管道的宽度信息；
步骤5：若机器人重新返回非直管构件中，将机器人在支管中行进的最远距离作为该支管的长度，返回步骤3。
2.根据权利要求1所述的一种多传感器融合的通风管道场景建模与机器人定位方法，其特征在于，所述步骤1的具体步骤为：
将惯性测量单元和激光雷达数据进行时间同步，根据惯性测量单元数据计算雷达旋转一周时间内机器人的旋转量
Figure QLYQS_1
和平移量/>
Figure QLYQS_2
，对雷达点云数据/>
Figure QLYQS_3
进行畸变校正：
Figure QLYQS_4
（1）；
其中
Figure QLYQS_5
为畸变校正后的雷达点云数据；
利用点云分割算法获取管道两侧的雷达点云数据，用随机抽样一致算法对这两组数据进行直线拟合以减小离群值对测量结果的影响，随机抽样一致算法拟合结果中的内点数据占比t用于评价两组拟合结果：
Figure QLYQS_6
（2）；
其中
Figure QLYQS_7
为内点数据数量，n为总输入数据量；
t值较大一组的拟合结果
Figure QLYQS_8
用于表示管道朝向信息，根据管道朝向与雷达起始扫描方向的差值估计机器人相对于管道方向的偏航角/>
Figure QLYQS_9
：
Figure QLYQS_10
（3）；
获取双目相机图像数据，利用LaneNet神经网络对图像进行语义分割，获得管壁两侧的底部边缘像素信息；通过随机抽样一致算法对两侧的边缘像素点集分别进行直线拟合，两条直线的交点坐标
Figure QLYQS_11
即为该位置处图像中沿管道方向上的消失点；结合相机投影方程估计机器人的偏航角/>
Figure QLYQS_12
和俯仰角/>
Figure QLYQS_13
：/>
Figure QLYQS_14
（4）；
其中
Figure QLYQS_15
表示旋转矩阵/>
Figure QLYQS_16
的第三列，/>
Figure QLYQS_17
表示相机的内参矩阵，/>
Figure QLYQS_18
表示消失点坐标；
利用卡尔曼滤波融合
Figure QLYQS_19
和/>
Figure QLYQS_20
，获得更加准确、稳定的偏航角/>
Figure QLYQS_21
；
根据此时左右两侧的TOF测距传感器数据
Figure QLYQS_22
和/>
Figure QLYQS_23
以及机器人本体宽度/>
Figure QLYQS_24
得到管道宽度/>
Figure QLYQS_25
为：
Figure QLYQS_26
（5）；
假设初始位置（0,0）处左侧TOF测距传感器数据为
Figure QLYQS_27
、偏航角为/>
Figure QLYQS_28
，则机器人在主管中任意位置的x坐标：
Figure QLYQS_29
（6）；
其中
Figure QLYQS_30
为在当前位置处的左侧TOF测距传感器数据，/>
Figure QLYQS_31
为在当前位置处的偏航角；
沿着管道方向查找机器人当前位置处正前方和正后方的雷达点云信息，根据机器人距离管道前后的距离估计y坐标的值；
当管道机器人在主管中运动时，实时获取位置信息
Figure QLYQS_32
、偏航角/>
Figure QLYQS_33
和管道宽度/>
Figure QLYQS_34
。
3.根据权利要求1所述的一种多传感器融合的通风管道场景建模与机器人定位方法，其特征在于，所述步骤2的具体步骤为：
当
Figure QLYQS_35
数据连续5帧不断变大时，则认为机器人进入非直管构件中；若测量值/>
Figure QLYQS_36
和
Figure QLYQS_37
中一个变化另一个不变时，则机器人进入三通管件中，否则机器人进入四通管件中；根据/>
Figure QLYQS_38
数据第一次变化时的机器人位置信息/>
Figure QLYQS_39
得到管道的长度/>
Figure QLYQS_40
为：
Figure QLYQS_41
（7）；
其中，
Figure QLYQS_42
和/>
Figure QLYQS_43
为机器人通过上一非直管构件后的位置坐标，初始值均为0；
当机器人进入一个非直管构件后，完成对上一段管道长度和宽度的估计。
4.根据权利要求1所述的一种多传感器融合的通风管道场景建模与机器人定位方法，其特征在于，所述步骤3的具体步骤为：
当
Figure QLYQS_44
数据连续5帧不断变小时，则认为机器人从非直管构件中进入新的直管构件中；利用惯性传感器获取机器人在非直管构件中行走的角速度值，对角速度进行积分得到旋转量；
若机器人朝向变化超过60度则认为机器人进入通风管道支管中，记录下机器人发生转向的信息；由于支管口径狭窄，不再使用激光雷达的扫描数据，此时由双目相机完成定位工作；
若机器人未进入支管中，则仍采用激光雷达定位，此时将
Figure QLYQS_45
数据稳定不变时的机器人坐标作为该节管道的开始位置坐标/>
Figure QLYQS_46
并返回步骤1中继续完成该节管道的建模。
5.根据权利要求2所述的一种多传感器融合的通风管道场景建模与机器人定位方法，其特征在于，所述步骤4的具体步骤为：
首先对双目相机拍摄的图像提取ORB特征，ORB特征由Oriented FAST关键点和BRIEF描述子组成；Oriented FAST关键点检测需先在图像中选取像素亮度为
Figure QLYQS_47
的像素点p，以像素p为中心选取半径为3的圆上的16个特征点，此外还需设定一个阈值T，假如选取的圆上有连续12个点的亮度大于/>
Figure QLYQS_48
或小于/>
Figure QLYQS_49
则认为该像素点为特征点；接着计算该特征点的灰度质心来保证其旋转不变性，对于某一图像块B定义其矩/>
Figure QLYQS_50
为：
Figure QLYQS_51
（8）；
其中
Figure QLYQS_52
为像素点/>
Figure QLYQS_53
处的亮度；
通过矩找到图像块的质心C为：
Figure QLYQS_54
（9）；
根据连接图像块几何中心O和质心C得到方向向量
Figure QLYQS_55
，定义特征点的方向角/>
Figure QLYQS_56
为：
Figure QLYQS_57
（10）；
通过在关键点附近随机选取128对点，比较它们两两之间的大小关系生成相应的BRIEF描述子；在对两幅相邻帧完成特征点检测后，以汉明距离为度量匹配两幅图像中的特征点，利用随机抽样一致算法筛选出最终的匹配点对；最后结合双目相机深度数据，利用迭代最近点求解相机位姿；管道宽度的测量是利用TOF测距传感器数据得到的。
6.根据权利要求3所述的一种多传感器融合的通风管道场景建模与机器人定位方法，其特征在于，所述步骤5的具体步骤为：
通风管道支管因存在调节风阀使得机器人无法完全通行，因此使用机器人在支管中的行进最远距离作为该支管的长度，要求在视觉里程计运行时不断记录并更新行进方向轴坐标的最大值；判断机器人返回非直管构件中的方法为当
Figure QLYQS_58
数据连续5帧不断变大时则认为机器人返回非直管构件中，一旦机器人返回，采用惯性传感器获取机器人朝向变化的角度值来判断机器人的行进状态，最终完成整个通风管道场景的建模。/>
CN202310284089.8A 2023-03-22 2023-03-22 一种基于多传感器融合的通风管道场景建模与机器人定位方法 Active CN116026315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310284089.8A CN116026315B (zh) 2023-03-22 2023-03-22 一种基于多传感器融合的通风管道场景建模与机器人定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310284089.8A CN116026315B (zh) 2023-03-22 2023-03-22 一种基于多传感器融合的通风管道场景建模与机器人定位方法

Publications (2)

Publication Number Publication Date
CN116026315A CN116026315A (zh) 2023-04-28
CN116026315B true CN116026315B (zh) 2023-06-13

Family

ID=86074276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310284089.8A Active CN116026315B (zh) 2023-03-22 2023-03-22 一种基于多传感器融合的通风管道场景建模与机器人定位方法

Country Status (1)

Country Link
CN (1) CN116026315B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630394B (zh) * 2023-07-25 2023-10-20 山东中科先进技术有限公司 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN117646828B (zh) * 2024-01-29 2024-04-05 中国市政工程西南设计研究总院有限公司 一种用于检测顶管接口相对位移和渗漏水的装置及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7069124B1 (en) * 2002-10-28 2006-06-27 Workhorse Technologies, Llc Robotic modeling of voids
US8024066B2 (en) * 2005-01-18 2011-09-20 Redzone Robotics, Inc. Autonomous inspector mobile platform
CN206239338U (zh) * 2016-07-20 2017-06-13 南京信息工程大学 能用于楼梯清洁的爬楼机器人
CN108181896B (zh) * 2017-11-21 2019-10-25 浙江大学 一种直圆管表面作业机器人及其位姿检测方法
CN110425377B (zh) * 2019-08-16 2020-08-11 燕山大学 一种双向运动的惯性管道机器人
CN111536969B (zh) * 2020-04-16 2022-12-13 哈尔滨工程大学 一种基于初始姿态角自对准的小径管道机器人定位方法
CN114052561B (zh) * 2020-08-01 2023-08-04 尚科宁家(中国)科技有限公司 自移动机器人
EP4363887A1 (en) * 2021-06-30 2024-05-08 Sense Photonics, Inc. Highly parallel large memory histogramming pixel for direct time of flight lidar
CN115453599A (zh) * 2022-08-11 2022-12-09 国网江苏省电力有限公司盐城供电分公司 一种多传感器协同的管道机器人精准定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于ASODVS的全景相机运动估计及管网3D重构技术;杨仲元;吴挺;鲁少辉;袁公萍;汤一平;;仪器仪表学报(08);全文 *
大型管道快速测量与建模技术研究及应用;耿欣;曲兴华;江炜;张福民;张婷;;仪器仪表学报(02);全文 *

Also Published As

Publication number Publication date
CN116026315A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN116026315B (zh) 一种基于多传感器融合的通风管道场景建模与机器人定位方法
CN111486855B (zh) 一种具有物体导航点的室内二维语义栅格地图构建方法
CN104062973B (zh) 一种基于图像标志物识别的移动机器人slam方法
CN109633664B (zh) 基于rgb-d与激光里程计的联合定位方法
Ai et al. Visual SLAM in dynamic environments based on object detection
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN114018236B (zh) 一种基于自适应因子图的激光视觉强耦合slam方法
CN106017486A (zh) 一种面向无人车导航的基于轨迹拐点滤波的地图定位方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN114547866B (zh) 基于bim-无人机-机械狗的预制构件智能检测方法
Tavasoli et al. Real-time autonomous indoor navigation and vision-based damage assessment of reinforced concrete structures using low-cost nano aerial vehicles
Liu A robust and efficient lidar-inertial-visual fused simultaneous localization and mapping system with loop closure
Herath et al. Fusion-dhl: Wifi, imu, and floorplan fusion for dense history of locations in indoor environments
CN116222543A (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
Hoang et al. A simplified solution to motion estimation using an omnidirectional camera and a 2-D LRF sensor
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法
CN103983270B (zh) 一种声纳数据的图像化处理方法
CN115546303A (zh) 室内停车场的定位方法、装置、车辆及存储介质
CN113029138B (zh) 一种基于多传感器数据融合的小车实时姿态检测方法
Fernandes et al. A low-cost localization system based on Artificial Landmarks
CN114993293B (zh) 室内弱纹理环境下移动无人系统同步定位与建图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant