CN111123911B - 一种腿足式智能星表探测机器人感知系统及其工作方法 - Google Patents
一种腿足式智能星表探测机器人感知系统及其工作方法 Download PDFInfo
- Publication number
- CN111123911B CN111123911B CN201911158123.7A CN201911158123A CN111123911B CN 111123911 B CN111123911 B CN 111123911B CN 201911158123 A CN201911158123 A CN 201911158123A CN 111123911 B CN111123911 B CN 111123911B
- Authority
- CN
- China
- Prior art keywords
- robot
- dimensional
- visible light
- camera
- laser sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005259 measurement Methods 0.000 claims abstract description 42
- 238000010276 construction Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000011897 real-time detection Methods 0.000 claims abstract description 9
- 230000003068 static effect Effects 0.000 claims abstract description 8
- 238000012876 topography Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 1
- 238000009616 inductively coupled plasma Methods 0.000 description 5
- 238000011065 in-situ storage Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/16—Extraterrestrial cars
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明一种腿足式智能星表探测机器人感知系统及其工作方法,系统,包括三维激光传感器、左目可见光相机、右目可见光相机、结构光测量相机、惯性测量单元、工控机。1)融合三维激光传感器、结构光测量相机和惯性测量单元,实现星表复杂地形地貌的三维重建、多层次语义拓扑地图构建、机器人定位、静/动态障碍物实时检测、基于机器人运动约束的路径寻优以及轨迹跟踪等功能;2)双目视觉相机集中用于对待采集样品进行高精度三维位姿测量。该系统不仅能够辅助足式机器人自主适应松软、硬质等不同地形环境,实现长距离、智能避障、自主漫游并安全抵达预先指定的目标探测位置,还可辅助机械臂末端工具对采集样品执行精细化操作。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种腿足式智能星表探测机器人感知系统及其工作方法,尤其适用于未知、复杂、非结构环境的感知、建图、定位与自主导航等后续深空探测任务需求。
背景技术
巡视勘察是后续深空探测任务规划其中一项不可或缺的核心需求,具体涉及星表巡视、资源探测、勘探点样品收集、科学仪器投放、科学实验实施等工作,主要目标是尽可能扩大区域科学探测范围,重点解决复杂区域的可达性、操控的精细性及自主性。
现有机器人感知系统存在以下问题与不足:
配置多台套双目立体视觉相机协同观测,以满足近、中、远不同距离的三维建图要求,多台相机质量、功耗相对较大;
机器人在轨导航控制模式均为地面遥操作为主,局部自主避障相结合,处理时间较长,尚不具备智能化、自主化;
上述机器人均配置机械臂开展星表地形、材质等非接触勘察,但并未涉及机械臂执行样品采集与转移等精细化操作任务。
为此,迫切需要对传统轮式机器人感知系统的方案配置进行技术改进与优化,着重突出集约化、轻量化、智能化、精细化等技术优越性与可行性。
发明内容
本发明所要解决的技术问题:克服上述传统轮式星表探测机器人感知系统暴露出来的技术弊端与不足,提出一种腿足式智能星表探测机器人感知系统及其工作方法,实现长距离、智能避障、自主漫游并安全抵达预先指定的目标探测位置,还可辅助机械臂末端工具对采集样品执行精细化操作。
本发明的技术解决方案为:一种腿足式智能星表探测机器人感知系统,包括:三维激光传感器(1)、左目可见光相机(4)、右目可见光相机(3)、结构光测量相机(5)、惯性测量单元(2)、工控机(6);
三维激光传感器(1)固定安装在机器人前端桅杆顶部,用于实时采集以三维激光传感器(1)为中心的三维地形地貌数据,
左目可见光相机(4)和右目可见光相机(3)共同构成双目立体视觉,二者均固定安装于机器人前端支架上,用于实时测量待采集样品相对于机械臂末端工具之间的三维位姿;
结构光测量相机(5)固定安装于机器人前端正下方的安装支架上,用于实时检测机器人行进方向近距离区域内的障碍物及其位置变化,反馈给机器人进行避障;
惯性测量单元(2)固定安装于机器人前端桅杆上,与三维激光传感器(1)固连在一起,保持与激光传感器(1)始终处于相同姿态,用于实时、精确估计三维激光传感器(1)随机器人运动过程中的运动姿态信息;
工控机固定安装于机器人本体上,能够为三维激光传感器(1)、左目可见光相机(4)、右目可见光相机(3)、结构光测量相机(5)、惯性测量单元(2)供电,并提供同步触发信号;工控机能够接收三维激光传感器(1)、结构光测量相机(5)、惯性测量单元(2)输出的原始数据,完成感知系统在线标定、地图构建、机器人定位、障碍物实时检测、路径规划;工控机能够接收来自于左目可见光相机(4)、右目可见光相机(3)的图像信息,完成双目立体视觉内外参标定、待采集样品质心三维坐标及其相对于左目可见光相机之间的瞬时空间位置姿态。(辅助小型空间机械臂完成精细化操作;)
优选的,工控机(6)还能够独立实现与机械臂控制器、机器人运动控制器之间的遥控指令和遥测数据通信。
优选的,工控机(6)还能够根据接收三维激光传感器(1)、结构光测量相机(5)、惯性测量单元(2)输出的原始数据,还能够完成激光点云ICP配准与拼接、多层次语义拓扑地图构建、机器人定位、静/动态障碍物实时检测、基于机器人运动约束的路径寻优、轨迹跟踪等处理,为后续腿足式机器人运动控制器提供计算落脚点的可靠依据。
优选的,多层次语义拓扑地图,包含平面/2.5维/三维多种地图信息。
优选的,三维激光传感器(1)中心距地面高度约1.1m。
优选的,三维激光传感器(1)固定安装在机器人前端桅杆顶部,用于实时采集以三维激光传感器(1)为中心的三维地形地貌数据,具体为:采集以三维激光传感器(1)为中心半径不超过100m范围内的三维地形地貌数据,可有效覆盖近、中、远距离观测区域;
优选的,左目可见光相机(4)和右目可见光相机(3)距地面高度为0.8m,双目基线为50cm,
优选的,结构光测量相机(5)距地面约0.5m,安装倾角俯视15°。
优选的,一种腿足式智能星表探测机器人感知系统的工作方法,步骤如下:
(1)开展感知系统在线标定,获取左和右目可见光相机之间的内外参、三维激光传感器相对于左目可见光相机之间的外参、结构光测量相机相对于左目可见光相机之间的外参、惯性测量单元相对于左目可见光相机之间的外参、左目相机相对于机械臂末端工具的外参、三维激光传感器相对于机器人本体之间的外参;
(2)在未知、非结构环境中,机器人首次开机工作,规定机器人本体坐标系OXYZ即为全局(世界)坐标系,它是以机器人质心为坐标系原点,+X轴指向机器人前进方向,+Z轴沿铅垂方向向上,Y轴由右手定则确定;
(3)三维激光传感器以10Hz采样频率,实时采集表征地形地貌信息的激光三维数据,惯性测量单元(优选采样频率400Hz)实时输出的角加速度、角速度数据,传输至工控机,由工控机构建三维地图,并同步计算机器人在三维地图中的瞬时位姿;
(4)结构光测量相机以5Hz采样频率,实时输出机器人行进方向近距离(2.5m范围内)场景三维数据,该三维数据包括障碍物信息,传输至工控机,将障碍物信息融入三维地图中,实现三维地图更新。
(5)将更新后的三维地图,转换为二维平面地图;
(6)在二维平面地图中,预先设置机器人的目标位置点信息,搜索出一条从机器人当前位置点至目标位置点之间安全、无碰撞的最优路径轨迹点序列,(优选:相邻轨迹点欧氏间距约0.6m,以200ms为间隔),形成对应的机器人运动数据,包括行进距离和旋转角度;
(7)左目可见光相机和右目可见光相机构建双目立体视觉系统,检测包含待采集样品连通域信息,提取样品质心的二维图像坐标值,计算样品外包络尺寸大小;代入左目可见光相机相对于机械臂末端工具之间的坐标转换矩阵,输出待采集样品质心与机械臂末端工具之间的相对位姿,为机械臂精准取样提供可靠依据。
优选的,步骤(6)最优路径轨迹点序列中,相邻轨迹点欧氏间距约0.6m,以200ms为间隔。
优选的,还包括步骤(8),若在步骤(6)执行最优路径轨迹点序列时,出现机器人偏离轨迹的情况,则进行校正,如下:;
设置机器人运动轨迹约束条件:一是,确保机器人实际运动轨迹与最优路径尽可能重合,二者之间的位置偏差不能大于某一阈值(优选为5cm);二是,确保规划路径不涉及任何障碍物区域。如若不满足上述任何一种条件,程序自动启动最优路径的重新规划;反之,则持续跟踪机器人运动轨迹直至抵达目标位置点为止;
本发明相对于现有技术的有益效果是:
(1)本发明提供了一种面向腿足式智能星表机器人应用的集约化、轻量化、智能化、精细化的新型多源感知系统,不仅能够辅助足式机器人实现长距离、智能避障、自主漫游并安全抵达预先指定的目标探测位置,还可辅助小型搭载机械臂进行科学取样、原位探测等精细化操作。有力凸显了腿足式机器人自身出色的全地形适应能力与危险脱困能力;
(2)本发明提出的三维激光传感器、结构光测量相机与惯性测量单元组合导航方案,有效弥补了传统双目视觉的技术短板,具备观测视场广(360°全视角)、测量范围大(最远可达100米),测量精度高(优于±3cm-±5cm),功耗低(不大于10W)等特点,更符合未来探测机器人智能感知与导航技术先进性与优越性;
(3)本发明提出利用机器人本体固定安装的双目立体视觉相机代替传统机械臂末端相机,直接参与机械臂视觉伺服闭环控制模式,可有效避免因星表粉尘所导致的前端相机镜头污染问题,还能够针对待采集样品三维轮廓与位姿信息进行精准估计,辅助机械臂完成精准取样、原位探测等勘探任务;
(4)本发明提出的基于机器人运动约束的路径寻优方法,针对腿足式机器人的运动特性,引入机器人X/Y/Z三维最大外包络模型代替传统复杂的动力学模型,完成动态避障策略、安全路径寻优、轨迹平滑跟踪等步骤,兼顾广阔、狭窄空间等多种复杂非结构星表环境;为轮式、足式多种类型机器人提供高可信度的规划路径并对机器人位置进行实时跟踪;提供开放式调节参数接口,对机器人不同的运动速度进行自适应;
(5)本发明提出的多层次语义拓扑地图构建,主要包括三维地图、2.5维栅格地图、二维全局平面栅格地图和二维局部平面栅格地图等,同时可为轮式、腿足式、复合式多类型机器人的视觉导航、路径规划提供丰富、多层次的语义信息。
(6)本发明结合腿足式智能星表探测机器人自身结构特性及其出色的全地形适应能力与危险脱困能力,本发明提供了一种面向腿足式智能星表机器人应用的集约化、轻量化、智能化、精细化的新型多源感知系统,包括三维激光传感器、左目可见光相机、右目可见光相机、结构光测量相机、惯性测量单元、工控机。1)融合三维激光传感器、结构光测量相机和惯性测量单元,实现星表复杂地形地貌的三维重建、多层次语义拓扑地图构建、机器人定位、静/动态障碍物实时检测、基于机器人运动约束的路径寻优以及轨迹跟踪等功能;2)双目视觉相机集中用于对待采集样品进行高精度三维位姿测量。该系统不仅能够辅助足式机器人自主适应松软、硬质等不同地形环境,实现长距离、智能避障、自主漫游并安全抵达预先指定的目标探测位置,还可辅助机械臂末端工具对采集样品执行精细化操作。
附图说明
图1为本发明腿足式智能星表探测机器人感知系统组成示意图;
图2为本发明腿足式智能星表探测机器人感知系统信息与供电逻辑关系示意图;
图3为本发明腿足式智能星表探测机器人感知系统软件流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
本发明一种面向腿足式智能星表机器人感知系统及其工作方法,应用集约化、轻量化、智能化、精细化的新型多源感知系统,包括三维激光传感器、左目可见光相机、右目可见光相机、结构光测量相机、惯性测量单元、工控机。1)融合三维激光传感器、结构光测量相机和惯性测量单元,实现星表复杂地形地貌的三维重建、多层次语义拓扑地图构建、机器人定位、静/动态障碍物实时检测、基于机器人运动约束的路径寻优以及轨迹跟踪等功能;2)双目视觉相机集中用于对待采集样品进行高精度三维位姿测量。该系统不仅能够辅助足式机器人自主适应松软、硬质等不同地形环境,实现长距离、智能避障、自主漫游并安全抵达预先指定的目标探测位置,还可辅助机械臂末端工具对采集样品执行精细化操作。
腿足式星表探测机器人用于大范围、长距离的星表巡视和科学探测任务。机器人结构整体分为机器人本体(含腿足)和机械臂。一方面,为满足机器人星表巡视任务需求,机器人应配置运动控制器,并在机器人本体的前端机构分别设有桅杆、支架、正下方安装支架,用于固定安装多种传感器;另一方面,为满足机器人科学探测任务,机械臂需配置控制器,同时携带末端工具实现采样与放样。
机器人步长是指机器人单次移动距离。
实时检测机器人行进方向近距离区域内的障碍物,近距离区域是指不大于机器人步长的10倍。
工控机内部设置同步信号电路板,用于给三维激光传感器、惯性测量单元、左目可见光相机、右目可见光相机、结构光测量相机提供统一的同步触发信号。
未知、非结构环境是指毫无任何先验知识的、非规则、非标准化场景。。
本发明一种腿足式智能星表探测机器人感知系统(如附图1所示),包括三维激光传感器、左目可见光相机、右目可见光相机、结构光测量相机、惯性测量单元、工控机等6部分。
(1)三维激光传感器固定安装在机器人前端桅杆顶部,传感器中心距地面高度约1.1m,主要用于实时采集以激光传感器体心为原地,半径不超过100m范围内的三维地形地貌点云数据,可有效覆盖近、中、远距离观测区域;
(2)左目可见光相机和右目可见光相机共同构成双目立体视觉,二者均固定安装于机器人前端支架上,距地面高度约0.8m,双目基线为50cm,主要用于实时、精确估计待采集样品相对于机械臂末端工具之间的三维位姿;
(3)结构光测量相机固定安装于机器人前端正下方的安装支架上,距地面约0.5m,安装倾角俯视15°,主要用于实时检测机器人行进方向近距离区域内的障碍物及其位置变化;
(4)惯性测量单元固定安装于机器人前端桅杆上,与三维激光传感器固连在一起,保持与激光传感器始终处于相同姿态,主要用于实时、精确估计激光传感器随机器人运动过程中的静态倾角和运动姿态等信息;
(5)工控机固定安装与机器人本体上,其功能主要包括:
a.通过内置同步信号电路板为三维激光传感器、(左)右目可见光相机、结构光测量相机、惯性测量单元等传感器供电,并提供同步触发信号;(如图2所示)
b.接收三维激光传感器结构光测量相机、惯性测量单元等传感器输出的原始数据,完成感知系统在线标定、激光点云ICP配准与拼接、多层次语义拓扑地图构建(含全局二维平面/局部二维平面/2.5维/三维等多种地图信息)、机器人定位、静/动态障碍物实时检测、基于机器人运动约束的路径寻优、轨迹跟踪等处理,为后续腿足式机器人运动控制器提供计算落脚点的可靠依据;
c.接收来自于(左)右目可见光相机图像信息,完成双目立体视觉内外参标定、待采集样品质心三维坐标及其相对于左目可见光相机之间的瞬时空间位置姿态,辅助小型空间机械臂完成精细化操作;
d.独立实现与机械臂控制器、机器人运动控制器之间的遥控指令和遥测数据通信。(如图2所示)
本发明提出的腿足式智能星表探测机器人感知系统工作流程(如图3所示)具体涉及以下几个步骤:
(1)开展感知系统在线标定,主要获取左(右)目可见光相机之间的内外参、激光传感器相对于左目相机之间的外参、结构光测量相机相对于左目可见光相机之间的外参、惯性测量单元相对于左目可见光相机之间的外参、左目相机相对于机械臂末端工具支架的外参、激光传感器相对于机器人本体之间的外参;
(2)在未知、非结构环境中,机器人首次开机工作,规定机器人本体标系OXYZ即为全局(世界)坐标系,它是以机器人质心为坐标系原点,+X轴指向机器人前进方向,+Z轴沿机器人底板法线方向并远离星表,Y轴由右手定则确定;
(3)地图构建与定位的优选方案是:三维激光传感器以10Hz采样频率,实时采集表征地形地貌信息的激光三维数据,并与惯性测量单元(采样频率400Hz)实时输出的加速度、角速度数据相结合,传输至工控机进行进行相邻帧间激光点云ICP配准与累积拼接,构建三维点云局部地图,并同步计算机器人相对于局部地图的瞬时位姿;
(4)地图二次优化与更新的优选方案是:感知系统默认将三维激光传感器采集的第一帧激光点云设置为首个关键帧,之后,机器人每运动一段距离(20m)设置一个关键帧,随即进行一次闭环空间二次非线性优化,因消除局部地图累积拼接误差,生成三维点云全局地图,并对机器人相对位姿进行同步更新;
(5)结构光测量相机以5Hz采样频率,实时输出机器人行进方向近距离(2.5m范围内)场景三维点云数据,传输至工控机与激光点云进行信息融合并更新全局地图;
(6)利用RANSAC法拟合机器人本体所在的地平面方程,将上述三维地图按照栅格尺寸设置(栅格尺寸为0.05m×0.05m)进行空间降采样处理,并向地平面方程做投影,则每个栅格区域内所有点各自到地平面方程的投影距离统计均值定义为该栅格的高程信息,即可生成2.5维栅格地图,地图更新频率为1Hz;
(7)在上述2.5维栅格地图基础上,设置障碍物高度阈值(高度≥0.25m即为障碍物),每个栅格高程信息大于高度阈值,则定义为障碍物;反之,则定义为可通行区域。该包含障碍物信息的栅格地图定义为全局二维平面栅格地图;
(8)将全局二维平面栅格地图的最大边界尺寸缩小至原有面积的一部分(1/16、1/32等)转换为局部二维平面栅格地图;
(9)在全局地图中,人为预先设置机器人的目标位置点信息,结合机器人外形结构、运动约束(步幅、步长等)及防碰撞安全距离阈值(例如:0.5m)等限制条件,利用改进型A*启发函数自动搜索出一条从机器人当前位置点至目标位置点之间安全、无碰撞的最优路径轨迹点序列,相邻轨迹点欧氏间距约0.6m,以200ms为间隔,由工控机将行进距离和旋转角度等数据,顺序发送至机器人运动控制器;
(10)设置机器人运动轨迹约束条件:一是,确保机器人实际运动轨迹与上述最优路径尽可能重合,二者之间的位置偏差不能大于某一阈值(例如:5cm);二是,确保行进方向规划路径不涉及任何障碍物区域。如若不满足上述任何一种条件,程序自动启动最优路径的重新规划;反之,则持续跟踪机器人运动轨迹直至抵达目标位置点为止;
(11)基于步骤(6)拟合的地平面方程,左、右目可见光相机遵循双目立体视觉测量原理,快速检测包含待采集样品连通域信息,利用加权法精确提取样品质心的二维图像坐标值,并计算出样品外包络尺寸大小;代入左目可见光相机相对于机械臂末端工具之间的坐标转换矩阵,即可准确估计待采集样品质心与机械臂末端工具之间的相对位姿信息,为机械臂精准取样提供可靠依据。
本发明提供了一种面向腿足式智能星表机器人应用的集约化、轻量化、智能化、精细化的新型多源感知系统,不仅能够辅助足式机器人实现长距离、智能避障、自主漫游并安全抵达预先指定的目标探测位置,还可辅助小型搭载机械臂进行科学取样、原位探测等精细化操作。有力凸显了腿足式机器人自身出色的全地形适应能力与危险脱困能力;本发明提出的三维激光传感器、结构光测量相机与惯性测量单元组合导航方案,有效弥补了传统双目视觉的技术短板,具备观测视场广(360°全视角)、测量范围大(最远可达100米),测量精度高(优于±3cm-±5cm),功耗低(不大于10W)等特点,更符合未来探测机器人智能感知与导航技术先进性与优越性;
本发明提出利用机器人本体固定安装的双目立体视觉相机代替传统机械臂末端相机,直接参与机械臂视觉伺服闭环控制模式,可有效避免因星表粉尘所导致的前端相机镜头污染问题,还能够针对待采集样品三维轮廓与位姿信息进行精准估计,辅助机械臂完成精准取样、原位探测等勘探任务;本发明提出的基于机器人运动约束的路径寻优方法,针对腿足式机器人的运动特性,引入机器人X/Y/Z三维最大外包络模型代替传统复杂的动力学模型,完成动态避障策略、安全路径寻优、轨迹平滑跟踪等步骤,兼顾广阔、狭窄空间等多种复杂非结构星表环境;为轮式、足式多种类型机器人提供高可信度的规划路径并对机器人位置进行实时跟踪;提供开放式调节参数接口,对机器人不同的运动速度进行自适应;
本发明提出的多层次语义拓扑地图构建,主要包括三维地图、2.5维栅格地图、二维全局平面栅格地图和二维局部平面栅格地图等,同时可为轮式、腿足式、复合式多类型机器人的视觉导航、路径规划提供丰富、多层次的语义信息。
本发明结合腿足式智能星表探测机器人自身结构特性及其出色的全地形适应能力与危险脱困能力,本发明提供了一种面向腿足式智能星表机器人应用的集约化、轻量化、智能化、精细化的新型多源感知系统,包括三维激光传感器、左目可见光相机、右目可见光相机、结构光测量相机、惯性测量单元、工控机。1)融合三维激光传感器、结构光测量相机和惯性测量单元,实现星表复杂地形地貌的三维重建、多层次语义拓扑地图构建、机器人定位、静/动态障碍物实时检测、基于机器人运动约束的路径寻优以及轨迹跟踪等功能;2)双目视觉相机集中用于对待采集样品进行高精度三维位姿测量。该系统不仅能够辅助足式机器人自主适应松软、硬质等不同地形环境,实现长距离、智能避障、自主漫游并安全抵达预先指定的目标探测位置,还可辅助机械臂末端工具对采集样品执行精细化操作。
Claims (10)
1.一种腿足式智能星表探测机器人感知系统,其特征在于包括:三维激光传感器(1)、左目可见光相机(4)、右目可见光相机(3)、结构光测量相机(5)、惯性测量单元(2)、工控机(6);
三维激光传感器(1)固定安装在机器人前端桅杆顶部,用于实时采集以三维激光传感器(1)为中心的三维地形地貌数据,
左目可见光相机(4)和右目可见光相机(3)共同构成双目立体视觉,二者均固定安装于机器人前端支架上,用于实时测量待采集样品相对于机械臂末端工具之间的三维位姿;
结构光测量相机(5)固定安装于机器人前端正下方的安装支架上,用于实时检测机器人行进方向近距离区域内的障碍物及其位置变化,反馈给机器人进行避障;
惯性测量单元(2)固定安装于机器人前端桅杆上,与三维激光传感器(1)固连在一起,保持与激光传感器(1)始终处于相同姿态,用于实时、精确估计三维激光传感器(1)随机器人运动过程中的运动姿态信息;
工控机固定安装于机器人本体上,能够为三维激光传感器(1)、左目可见光相机(4)、右目可见光相机(3)、结构光测量相机(5)、惯性测量单元(2)供电,并提供同步触发信号;工控机能够接收三维激光传感器(1)、结构光测量相机(5)、惯性测量单元(2)输出的原始数据,完成感知系统在线标定、地图构建、机器人定位、障碍物实时检测、路径规划;工控机能够接收来自于左目可见光相机(4)、右目可见光相机(3)的图像信息,完成双目立体视觉内外参标定、待采集样品质心三维坐标及其相对于左目可见光相机之间的瞬时空间位置姿态。
2.根据权利要求1所述的一种腿足式智能星表探测机器人感知系统,其特征在于:工控机(6)还能够独立实现与机械臂控制器、机器人运动控制器之间的遥控指令和遥测数据通信。
3.根据权利要求1所述的一种腿足式智能星表探测机器人感知系统,其特征在于:工控机(6)还能够根据接收三维激光传感器(1)、结构光测量相机(5)、惯性测量单元(2)输出的原始数据,还能够完成激光点云ICP配准与拼接、多层次语义拓扑地图构建、机器人定位、静和动态障碍物实时检测、基于机器人运动约束的路径寻优、轨迹跟踪等处理,为后续腿足式机器人运动控制器提供计算落脚点的可靠依据。
4.根据权利要求3所述的一种腿足式智能星表探测机器人感知系统,其特征在于:多层次语义拓扑地图,包含平面、2.5维、三维多种地图信息。
5.根据权利要求1所述的一种腿足式智能星表探测机器人感知系统,其特征在于:三维激光传感器(1)中心距地面高度约1.1m。
6.根据权利要求1所述的一种腿足式智能星表探测机器人感知系统,其特征在于:三维激光传感器(1)固定安装在机器人前端桅杆顶部,用于实时采集以三维激光传感器(1)为中心的三维地形地貌数据,具体为:采集以三维激光传感器(1)为中心半径不超过100m范围内的三维地形地貌数据,可有效覆盖近、中、远距离观测区域。
7.根据权利要求1所述的一种腿足式智能星表探测机器人感知系统,其特征在于:左目可见光相机(4)和右目可见光相机(3)距地面高度为0.8m,双目基线为50cm。
8.根据权利要求1所述的一种腿足式智能星表探测机器人感知系统,其特征在于:结构光测量相机(5)距地面约0.5m,安装倾角俯视15°。
9.一种腿足式智能星表探测机器人感知系统的工作方法,其特征在于步骤如下:
(1)开展感知系统在线标定,获取左(右)目可见光相机之间的内外参、三维激光传感器相对于左目可见光相机之间的外参、结构光测量相机相对于左目可见光相机之间的外参、惯性测量单元相对于左目可见光相机之间的外参、左目相机相对于机械臂末端工具的外参、三维激光传感器相对于机器人本体之间的外参;
(2)在未知、非结构环境中,机器人首次开机工作,规定机器人本体坐标系OXYZ即为全局坐标系,它是以机器人质心为坐标系原点,+X轴指向机器人前进方向,+Z轴沿铅垂方向向上,Y轴由右手定则确定;
(3)三维激光传感器以10Hz采样频率,实时采集表征地形地貌信息的激光三维数据,惯性测量单元实时输出的角加速度、角速度数据,传输至工控机,由工控机构建三维地图,并同步计算机器人在三维地图中的瞬时位姿;
(4)结构光测量相机以5Hz采样频率,实时输出机器人行进方向近距离场景三维数据,该三维数据包括障碍物信息,传输至工控机,将障碍物信息融入三维地图中,实现三维地图更新;
(5)将更新后的三维地图,转换为二维平面地图;
(6)在二维平面地图中,预先设置机器人的目标位置点信息,搜索出一条从机器人当前位置点至目标位置点之间安全、无碰撞的最优路径轨迹点序列,形成对应的机器人运动数据,包括行进距离和旋转角度。
10.根据权利要求1所述的一种腿足式智能星表探测机器人感知系统的工作方法,其特征在于:还包括步骤(7)如下:
(7)左目可见光相机和右目可见光相机构建双目立体视觉系统,检测包含待采集样品连通域信息,提取样品质心的二维图像坐标值,计算样品外包络尺寸大小;代入左目可见光相机相对于机械臂末端工具之间的坐标转换矩阵,输出待采集样品质心与机械臂末端工具之间的相对位姿,为机械臂精准取样提供可靠依据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911158123.7A CN111123911B (zh) | 2019-11-22 | 2019-11-22 | 一种腿足式智能星表探测机器人感知系统及其工作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911158123.7A CN111123911B (zh) | 2019-11-22 | 2019-11-22 | 一种腿足式智能星表探测机器人感知系统及其工作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111123911A CN111123911A (zh) | 2020-05-08 |
CN111123911B true CN111123911B (zh) | 2023-03-24 |
Family
ID=70496347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911158123.7A Active CN111123911B (zh) | 2019-11-22 | 2019-11-22 | 一种腿足式智能星表探测机器人感知系统及其工作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111123911B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111590589A (zh) * | 2020-06-04 | 2020-08-28 | 小狗电器互联网科技(北京)股份有限公司 | 机器人及目标物定位系统 |
CN112265592A (zh) * | 2020-10-29 | 2021-01-26 | 德鲁动力科技(海南)有限公司 | 足式机器人的头部电路 |
CN112598010B (zh) * | 2020-11-26 | 2023-08-01 | 厦门大学 | 一种双目视觉的非结构化地形实时感知与重构方法 |
CN112558622B (zh) * | 2020-11-30 | 2021-12-17 | 华南理工大学 | 一种爬壁六足机器人足端轨迹跟踪控制器的控制方法 |
CN112571415B (zh) * | 2020-12-03 | 2022-03-01 | 哈尔滨工业大学(深圳) | 一种基于视觉导引的机器人自主开门方法与系统 |
CN113506344A (zh) * | 2021-07-07 | 2021-10-15 | 西南科技大学 | 一种核辐射环境机器人高精度三维定位装置及方法 |
CN113927595A (zh) * | 2021-09-28 | 2022-01-14 | 北京炎凌嘉业机电设备有限公司 | 人机共融的自主移动和灵巧作业方法 |
US20230211842A1 (en) * | 2021-12-31 | 2023-07-06 | Hyundai Motor Company | Autonomous walking vehicle |
CN114659556B (zh) * | 2022-03-03 | 2024-03-12 | 中国科学院计算技术研究所 | 一种面向巡视器的可分离式星表材质识别方法及系统 |
CN116147642B (zh) * | 2023-04-12 | 2023-08-29 | 中国科学技术大学 | 融合地形与力的四足机器人可达性地图构建方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2950791C (en) * | 2013-08-19 | 2019-04-16 | State Grid Corporation Of China | Binocular visual navigation system and method based on power robot |
CN109917786A (zh) * | 2019-02-04 | 2019-06-21 | 浙江大学 | 一种面向复杂环境作业的机器人感知系统及系统运行方法 |
-
2019
- 2019-11-22 CN CN201911158123.7A patent/CN111123911B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111123911A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111123911B (zh) | 一种腿足式智能星表探测机器人感知系统及其工作方法 | |
Gao et al. | Review of wheeled mobile robots’ navigation problems and application prospects in agriculture | |
CN113781582B (zh) | 基于激光雷达和惯导联合标定的同步定位与地图创建方法 | |
CN106444780B (zh) | 一种基于视觉定位算法的机器人的自主导航方法及系统 | |
CN108089196B (zh) | 一种光学主被动融合的非合作目标位姿测量装置 | |
WO2017177533A1 (zh) | 基于激光雷达的微型无人机操控方法及系统 | |
CN109917786A (zh) | 一种面向复杂环境作业的机器人感知系统及系统运行方法 | |
CN109282808B (zh) | 用于桥梁三维巡航检测的无人机与多传感器融合定位方法 | |
WO2019136714A1 (zh) | 一种基于3d激光的地图构建方法及系统 | |
CN107966989A (zh) | 一种机器人自主导航系统 | |
Chen et al. | Real-time 3D mapping using a 2D laser scanner and IMU-aided visual SLAM | |
CN108073167A (zh) | 一种基于深度相机与激光雷达的定位与导航方法 | |
CN106017463A (zh) | 一种基于定位传感装置的飞行器定位方法 | |
CN112183133A (zh) | 一种基于ArUco码引导的移动机器人自主充电方法 | |
CN111260751B (zh) | 基于多传感器移动机器人的建图方法 | |
CN207965645U (zh) | 一种机器人自主导航系统 | |
CN113189977A (zh) | 一种用于机器人的智能导航路径规划系统及方法 | |
CN112859860A (zh) | 一种机器人系统及其路径规划方法 | |
CN110658828A (zh) | 一种地貌自主探测方法及无人机 | |
CN112405490A (zh) | 一种具有自主导航定位功能的柔性装配机器人 | |
CN111958593B (zh) | 一种语义智能变电站巡视作业机器人视觉伺服方法及系统 | |
CN114034299A (zh) | 一种基于主动激光slam的导航系统 | |
CN112508933B (zh) | 一种基于复杂空间障碍物定位的柔性机械臂运动避障方法 | |
CN111931832B (zh) | 一种变电站巡检设备最优数据采集方法及系统 | |
CN113778096A (zh) | 室内机器人的定位与模型构建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |