CN112288811A - 多帧深度图像定位的关键帧融合控制方法及视觉机器人 - Google Patents
多帧深度图像定位的关键帧融合控制方法及视觉机器人 Download PDFInfo
- Publication number
- CN112288811A CN112288811A CN202011192905.5A CN202011192905A CN112288811A CN 112288811 A CN112288811 A CN 112288811A CN 202011192905 A CN202011192905 A CN 202011192905A CN 112288811 A CN112288811 A CN 112288811A
- Authority
- CN
- China
- Prior art keywords
- key frame
- mobile robot
- depth image
- tof camera
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 title claims abstract description 30
- 230000008859 change Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 29
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 3
- 239000000872 buffer Substances 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241001417527 Pempheridae Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开多帧深度图像定位的关键帧融合控制方法及视觉机器人，所述关键帧融合控制方法包括：步骤1、分别计算移动机器人的3d‑tof摄像头采集到的当前帧深度图像与预先采集到的关键帧序列内的每一关键帧之间的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的深度图像的序列；步骤2、当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d‑tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的位置关系。
Description
技术领域
本发明涉及视觉SLAM技术领域，特别是一种基于多帧深度图像融合的关键帧融合控制方法及视觉机器人。
背景技术
3d-tof摄像头技术可以在有效范围内进行三维点云地图还原，因此，局部地图的构建和导航定位常使用到单目导航及双目视觉导航。然而使用3d-tof摄像头的过程中尚存的问题是：3d-tof摄像头的可视范围固定，在机器人转弯过程中往往很难识别定位出贴近机体边缘位置的障碍物或距离机体过近的障碍物（视为与机体的位置相同），即：现有技术中，在移动机器人沿着弓字形规划路径行走的过程中，实际工作环境存在障碍物距离移动机器人的机体很近，但在移动机器人转弯90度后，这个移动机器人基于实时采集的单帧深度数据进行定位时，无法探测到这个障碍物，容易产生定位盲点问题。
此外，中国专利CN110782494A使用深度图像的帧间时序性关系去提取匹配出更为完整的特征线段，以构建起三维地图，帧间连续性较好和位姿精度得到提升，没有考虑到过近的障碍物和过远的障碍物都会出现明显的定位误差问题，也没有解决机器人难以识别定位出贴近机体边缘位置的障碍物或距离机体过近的障碍物（视为与机体的位置相同）的问题。
发明内容
为了解决上述技术问题，本发明公开一种多帧深度图像融合的关键帧融合控制方法及视觉机器人，所述的关键帧融合控制方法实施于视觉机器人上，视觉机器人使用3d-tof摄像头采集的当前帧深度图像与关键帧的深度图像进行采集位姿的融合运算，求取视觉机器人在目标障碍物周围的位姿变化量，用于判断更新记录关键帧，从而通过更新的关键帧序列获得一个反映视觉机器人前方的障碍物状况的可供参考的地图点云数据，这样视觉机器人在经过转弯之后，即使是完全贴住车身的障碍物也能通过融合过去记录的关键帧的深度数据来进行识别定位。具体的技术方案包括：
一种多帧深度图像定位的关键帧融合控制方法，包括：步骤1、分别计算移动机器人的3d-tof摄像头采集到的当前帧深度图像与预先采集到的关键帧序列内的每一关键帧之间的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的深度图像的序列；步骤2、当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的位置关系。本技术方案利用3d-tof摄像头采集的当前帧深度图像的实时位姿与采集到关键帧序列内的所有深度图像对应的实时位姿进行融合运算，以求取表征移动机器人位置变化情况的相对位姿，再根据预设的显著位姿变化条件选择出反映清晰和广域的机器人周边信息的关键帧，与现有技术相比，移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布状况的局部点云地图，从而通过融合处理当前帧深度图像的采集位置与这些支持更新的关键帧的采集位置之间的相对位姿，来解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题。
作为一种用于处理视觉特征点的技术方案，所述步骤1包括：分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与经过位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点的相对位姿；这个位姿变换是：所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，构建起局部点云地图；然后利用所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系，在所述当前帧深度图像对应所属的摄像头坐标系下对前述的距离和前述的偏转角度再做一次平移旋转，以在局部点云地图上标记出移动机器人采集所述预设有效特征点所发生的移动轨迹；其中，该局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系；其中，预设有效特征点通过前述的坐标系转换成为所述局部点云地图中的点云；其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。与现有技术相比，本技术方案通过计算当前帧深度图像中的预设有效特征点与每一关键帧中的预设有效特征点之间的相对位姿，以求取出所述移动机器人采集预设有效特征点之间的位置变化量，有利于构建起更加精确的局部点云地图，方便移动机器人的即时定位导航。
进一步地，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量；当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。
与现有技术相比，该技术方案根据通过判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）与3d-tof摄像头的距离的变化量是否足够大，并判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）相对于3d-tof摄像头的偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧。
进一步地，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到实现插入所述关键帧序列的深度图像时的镜头朝向角度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。与现有技术相比，便于筛选出：表示移动机器人的相对位姿比较大的多帧关键帧，尤其是在移动机器人的机体发生较大角度的转动或发生较大的位移后，如果3d-tof摄像头不能识别出过近的障碍物时就从预先存储的关键帧序列中相关联的有效特征点（即预先保存的包括障碍物的关键帧）来辅助定位出这个过近障碍物的精确位置。
作为一种用于处理惯性数据的技术方案，所述步骤1包括：当移动机器人的3d-tof摄像头当前采集到当前帧深度图像时，调用移动机器人内部设置的惯性传感器测量移动机器人的当前位姿并保存；然后调用预先保存的关键帧序列内的每一关键帧对应的移动机器人实时位姿，分别计算移动机器人的当前位姿与每一关键帧对应的移动机器人实时位姿之间的相对位姿。与现有技术相比，本技术方案利用机体内部的惯性传感器计算当前帧深度图像的有效采集位置与每一关键帧的有效采集位置之间的相对位姿，以直接求取出所述移动机器人采集预设有效特征点之间的位置变化量，有利于简化机器人定位运算，方便移动机器人的即时定位导航。
进一步地，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与预先采集到所述关键帧中相同的或同类型的预设有效特征点之间的移动机器人的行走距离变化量及同一采集过程中发生的偏转角度变化量；当所有的行走距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件；其中，所述预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
与现有技术相比，该技术方案根据通过判断两帧深度图像对应的实际采集位置点的变化量是否足够大，并判断两帧深度图像对应的实际机体偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧。
进一步地，所述惯性传感器包括内设于移动机器人的机体中心的码盘和内设于移动机器人的机体中心的陀螺仪，码盘用于测量移动机器人的行走距离变化量，陀螺仪用于测量同一采集过程中移动机器人的偏转角度变化量；其中，码盘测量得到的移动机器人位置坐标通过所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系转换到所述当前帧深度图像对应所属的摄像头坐标系下，以构建起局部点云地图。
在前述技术方案中，所述关键帧序列内存在三帧或三帧以上的深度图像，用于构建出所述局部点云地图。该技术方案能够为构建局部点云地图和通过有效特征点定位障碍物提供更加充足的点云样本，使得局部点云地图更加稳定有效。
进一步地，所述移动机器人采用先进先出的内存存储形式来缓存所述关键帧序列，以使所述移动机器人在移动过程中刷新所述关键帧序列内最新插入的所述关键帧，并获得与3d-tof摄像头当前实时采集的一帧深度图像在时间上是最近的所述关键帧。为了实现存储空间的优化，该技术方案采用先进先出的方式存储队列存储最新筛选插入的关键帧，保证只存储最有效的帧序列，可以是离当前帧最近的三帧深度图像。
进一步地，所述关键帧序列内的关键帧上的目标障碍物的特征点包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，其中，非过远点的深度值和非过近点的深度值都处于200mm至500mm之间。从而排除掉深度图像中的非可信的像素点，包括受光照亮度影响较大的过曝点及欠曝点、受距离误差影响较大的过远点及过近点。提高深度图像定位的稳定性。
进一步地，所述预设有效特征点是用于表征所述障碍物的特征点，或用于表征所述障碍物之外的标准路标的特征点；其中，所述3d-tof摄像头在移动机器人移动过程中从不同的方向采集到所述预设有效特征点的不同帧深度图像。从而表征3d-tof摄像头的视角范围内移动机器人的前方的障碍物的分布位置特征。
一种视觉机器人，包括：3d-tof摄像头和处理单元，其中：处理单元用于执行所述的基于多帧深度图像定位的关键帧融合控制方法；3d-tof摄像头装配在视觉机器人的机体上，以使该3d-tof摄像头的视角范围覆盖目标障碍物。使得该视觉机器人在转弯过程中能够重新识别回：其在转弯前已经在视角范围内识别到的贴近机体边缘位置的障碍物或距离机体过近的障碍物（视为与机体的位置相同）。
附图说明
图1是本发明实施例提供一种多帧深度图像融合的关键帧融合控制方法的流程图。
图2是本发明实施例提供另一种多帧深度图像融合的关键帧融合控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
移动机器人的行走规则主要有两种，包括沿边和弓字型，其中，弓字型行走，用于实现清扫空旷区域；所述移动机器人在弓字型行走过程中，会遇到不同的障碍物，如果沿着弓字形路径转弯90度之前检测到一个距离很近的障碍物，那么转弯90度的过程中就检测不到同一障碍物，因为规划出的弓字形路径要根据障碍物的方位，选择一个比较大的角度旋转，使得扫地机器人朝着远离障碍物的方向旋转，以绕过障碍物。
本发明实施例公开一种多帧深度图像融合的关键帧融合控制方法，所述的关键帧融合控制方法实施于机体前方装配有3d-tof摄像头的移动机器人上，所述关键帧融合控制方法包括：步骤1、分别计算移动机器人的3d-tof摄像头采集到的当前帧深度图像与预先采集到的关键帧序列内的每一关键帧之间的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的深度图像的序列；这里的相对位姿包括：同一目标物上的预设有效特征点在当前帧深度图像上的位姿与其在预先采集到的关键帧序列内的每一关键帧上的位姿之间的相对位姿；或者，当前采集到当前帧深度图像的移动机器人与预先采集到关键帧序列内的每一关键帧的移动机器人的位姿之间的相对位姿。步骤2、当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的位置关系。
该移动机器人利用3d-tof摄像头采集的当前帧深度图像的实时位姿与采集到关键帧序列内的所有深度图像对应的实时位姿进行融合运算，包括视觉上采用深度图像的特征点进行融合计算，以及采用惯性传感器的感测位置数据直接进行融合计算，从而求取移动机器人在目标障碍物周围的位姿变化量，用于判断更新记录关键帧，从而通过更新的关键帧序列获得一个反映移动机器人前方的障碍物状况的可供参考的地图点云数据，这样移动机器人在经过转弯之后，即使是完全贴住车身的障碍物也能通过融合过去记录的关键帧的深度数据来进行识别定位。因此，与现有技术相比，移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布状况的局部点云地图，从而通过融合处理当前帧深度图像的采集位置与这些支持更新的关键帧的采集位置之间的相对位姿，来解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题。
需要说明的是，所述移动机器人可以是扫地机器人，又称自动打扫机、智能吸尘器、机器人吸尘器等，是智能家用电器的一种，能凭借一定的人工智能，自动在房间内完成弓字形规划清扫工作。
作为一种实施例，如图1所示，所述关键帧融合控制方法的具体步骤包括：
步骤S101、移动机器人在当前工作区域内沿着预先规划的弓字形路径移动，移动机器人在移动过程中使用3d-tof摄像头采集当前工作区域内的深度图像，包括障碍物的深度图像；然后进入步骤S102；
步骤S102、分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与经过位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点的相对位姿；其中，预设有效特征点不是一帧深度图像上所有的特征点；然后进入步骤S103。其中，所述关键帧序列是移动机器人预先存储的连续排列的包括预设有效特征点的深度图像的序列，用于存储连续深度图像帧中每一帧的机体相对位置信息和摄像头的朝向信息，包括已遍历识别出的距离机体过近或贴合机体的障碍物的深度图像信息，以便于后续无法识别这一类型的障碍物时，利用这些相关联的深度图像的参考坐标信息来辅助定位。其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
所述位姿变换包括：所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，构建起局部点云地图，然后利用所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系，即所述移动机器人的机体中心到3d-tof摄像头的装配位置之间的相对位置关系，在所述当前帧深度图像对应所属的摄像头坐标系下对前述的距离和前述的偏转角度再做一次平移旋转，转换为摄像头坐标系下的移动机器人的坐标变化，从而在局部点云地图上标记出移动机器人采集所述预设有效特征点所发生的移动轨迹；本实施例将转化到局部点云地图中的三维坐标（相对距离信息和偏转角度信息）确定移动机器人的相对位姿，也便于判断移动机器人的前方是否存在障碍物；同时标记出移动机器人采集所述预设有效特征点所发生的移动轨迹；其中，该局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系。本实施例有利于还原起更加精确的局部点云地图，方便移动机器人的即时定位导航。
优选地，所述关键帧序列内的每一关键帧中关于同一目标障碍物的特征点通过位姿变换来转化到同一局部点云地图，用于标记出同一目标障碍物到获得不同关键帧下的移动机器人的位姿。
步骤S103、判断步骤S102中所有计算出的相对位姿都满足预设的显著位姿变化条件，是则进入步骤S104，否则进入步骤S105。该步骤用于判断移动机器人的3d-tof摄像头当前采集的深度图像与关键帧序列内的每一帧深度图像之间的相对位姿的大小程度，以便于后续筛选出机体的位移显著程度足够大的深度图像或者机体的旋转显著程度足够大的深度图像。
步骤S104、确定步骤S102计算出的相对位姿所包括的偏转角度和相对距离都比较大，表征移动机器人发生较大的位移或发生较明显的转角变化时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的相对位置关系；然后再返回步骤S101，以继续移动采集当前工作区域内的深度图像。
步骤S105、确定步骤S102计算出的相对位姿所包括的偏转角度和相对距离都比较小，表征移动机器人发生较小的位移或发生不是很明显的转角变化时不将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再返回步骤S101继续移动采集当前工作区域内的深度图像。
前述步骤利用3d-tof摄像头采集的当前帧深度图像的预设有效特征点与关键帧序列内的所有深度图像的预设有效特征点进行融合运算，以求取表征移动机器人位置变化情况的相对位姿，再根据预设的显著位姿变化条件选择出反映清晰和广域的机器人周边信息的关键帧，与现有技术相比，使得移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布状况的局部点云地图，从而通过融合处理当前帧深度图像与这些支持更新的关键帧的相对位姿来解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题。
需要说明的是，为了解决移动机器人在弓字形清扫时，转弯90度后，存在障碍物在机身很近的距离时无法被探测的问题，在本实施例中使用到预先存储的图像序列中的深度图像，比如当前采集时刻是t，可以使用t-1时刻、t-2时刻、t-3时刻采集的深度图像帧，或者其它更久之前具备时序性的关键帧图像，但不一定是深度图像的边缘对应的障碍物，关键帧中只要出现在机身前方的有效点都可以用来融合当前帧计算相对位姿。
作为一种实施例，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量，表示移动机器人相对于固定不动的所述预设有效特征点发生的位移变化量（对应于所述深度距离变化量），以及绕这个所述预设有效特征点发生的角度偏转量（对应于所述偏转角度变化量）；当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件，表征移动机器人发生较大的位移或发生较明显的转角变化（比如在弓字形规划行走过程中转弯90度）。与现有技术相比，本实施例根据通过判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）与3d-tof摄像头的距离的变化量是否足够大，并判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）相对于3d-tof摄像头的偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧，且辅助所述局部点云地图的信息实现对障碍物的精准定位。
优选地，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到实现插入所述关键帧序列的深度图像时的镜头朝向角度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。与现有技术相比，本实施例对预设有效特征点的位姿信息的提取并参与帧间的偏移量比较运算，便于筛选出：表示移动机器人的相对位姿比较大的多帧关键帧，尤其是在移动机器人的机体发生较大角度的转动或发生较大的位移后，如果3d-tof摄像头不能识别出过近的障碍物时就从预先存储的关键帧序列中相关联的有效特征点（即预先保存的包括障碍物的关键帧）来辅助定位出这个过近障碍物的精确位置。
综上所述，本实施例先去考虑相对位姿是否满足机体的旋转运动变化特征（必要），再去考虑有序列地插入候选关键帧（增强准确性），然后考虑实时采集的关键帧先入先出以确保待识别定位的障碍物的距离是最近的（优化效果，不一定是必要的），从而产生的三维点状图是及时反映距离机体过近的障碍物的局部点云地图。移动机器人在移动的过程中不断地刷新存储队列，并通过前述的预设的显著位姿变化条件判断以及时获得一个临近的可供参考的点云数据（对应于关键帧），这样移动机器人在经过转弯之后，即使是完全贴住车身的障碍物，也能通过过去记录的关键帧来进行判断，从而克服移动机器人转弯过程中基于单帧的深度数据进行定位时，无法识别过近的贴近机身的障碍物，进而不能克服3d-tof摄像头的盲点问题。
作为另一种实施例，如图2所示，所述关键帧融合控制方法的具体步骤包括：
步骤S201、移动机器人在当前工作区域内沿着预先规划的弓字形路径移动，移动机器人在移动过程中使用3d-tof摄像头采集当前工作区域内的深度图像，包括障碍物的深度图像；然后进入步骤S202；
步骤S202、当移动机器人的3d-tof摄像头当前采集到当前帧深度图像时，调用移动机器人内部设置的惯性传感器测量移动机器人的当前位姿并保存，需要说明的是，3d-tof摄像头采集的深度图像中包含机体前方的有效特征点，包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，就可以执行该步骤；然后进入步骤S203。
步骤S203、调用预先保存的关键帧序列内的每一关键帧对应的移动机器人实时位姿（采集位置），分别计算移动机器人的当前位姿与每一关键帧对应的移动机器人实时位姿（预存的采集位置）之间的相对位姿。然后进入步骤S204。优选地，所述关键帧序列是移动机器人预先存储的连续排列的包括预设有效特征点的深度图像的序列，用于存储连续深度图像帧中每一帧的机体相对位置信息和摄像头的朝向信息，包括已遍历识别出的距离机体过近或贴合机体的障碍物的深度图像信息，以便于后续无法识别这一类型的障碍物时，利用与这些深度图像同步采集的惯性信息来辅助定位。其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与预先采集到所述关键帧中相同的或同类型的预设有效特征点之间的移动机器人的行走距离变化量及同一采集过程中发生的偏转角度变化量。当所有的行走距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。需要说明的是，所述惯性传感器包括内设于移动机器人的机体中心的码盘和内设于移动机器人的机体中心的陀螺仪，码盘用于测量移动机器人的行走距离变化量，陀螺仪用于测量同一采集过程中移动机器人的偏转角度变化量；其中，码盘测量得到的移动机器人位置坐标通过所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系转换到所述当前帧深度图像对应所属的摄像头坐标系下，以构建起局部点云地图，从而在局部点云地图上标记出移动机器人采集所述预设有效特征点所发生的移动轨迹；由于本实施例采用惯性数据直接获得移动机器人的位姿变化信息，所以相对于前述实施例的特征点计算，简化相对位姿的计算量。
优选地，所述关键帧序列内的每一关键帧中关于同一目标障碍物的特征点通过位姿变换来转化到同一局部点云地图，用于标记出同一目标障碍物到获得不同关键帧下的移动机器人的位姿。
步骤S204、判断步骤S203中所有计算出的相对位姿都满足预设的显著位姿变化条件，是则进入步骤S205，否则进入步骤S206。该步骤用于判断当前帧深度图像对应的机器人位姿与关键帧序列内的每一帧深度图像对应的机器人位姿之间的相对位姿的大小程度，以便于后续筛选出机体的位移显著程度足够大的深度图像或者机体的旋转显著程度足够大的深度图像。
步骤S205、确定步骤S203计算出的相对位姿所包括的偏转角度和相对距离都比较大，表征移动机器人发生较大的位移或发生较明显的转角变化时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的相对位置关系；然后再返回步骤S201，以继续移动采集当前工作区域内的深度图像。
步骤S206、确定步骤S203计算出的相对位姿所包括的偏转角度和相对距离都比较小，表征移动机器人发生较小的位移或发生不是很明显的转角变化时不将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再返回步骤S201继续移动采集当前工作区域内的深度图像。
前述步骤利用3d-tof摄像头采集到当前帧深度图像时同步获取的惯性数据、与采集到关键帧序列内的所有深度图像时同步获取的惯性数据进行融合运算，以求取表征移动机器人位置变化情况的相对位姿，再根据预设的显著位姿变化条件选择出反映清晰和广域的机器人周边信息的关键帧，与现有技术相比，使得移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布状况的局部点云地图，从而通过融合处理当前帧深度图像与这些支持更新的关键帧的相对位姿来解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题。
需要说明的是，为了解决移动机器人在弓字形清扫时，转弯90度后，存在障碍物在机身很近的距离时无法被探测的问题，在本实施例中使用到预先存储的图像序列中的深度图像，比如当前采集时刻是t，可以使用t-1时刻、t-2时刻、t-3时刻采集的深度图像帧，或者其它更久之前具备时序性的关键帧图像，但不一定是深度图像的边缘对应的障碍物，关键帧中只要出现在机身前方的有效点都可以用来融合当前帧计算相对位姿。同时也需获取机体中心的惯性传感器实时采集的位置信息。
作为一种实施例，当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件，表征移动机器人发生较大的位移或发生较明显的转角变化（比如在弓字形规划行走过程中转弯90度）。与现有技术相比，该技术方案根据通过判断两帧深度图像对应的实际采集位置点的变化量是否足够大，并判断两帧深度图像对应的实际机体偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧，且简化所述局部点云地图的信息实现对障碍物的定位计算。
在前述实施例的基础上，所述关键帧序列内存在三帧或三帧以上的深度图像，用于构建出所述局部点云地图，能够为构建局部点云地图和通过有效特征点定位障碍物提供更加充足的点云样本，使得局部点云地图更加稳定有效。其中，所述预设有效特征点通过前述的坐标系转换成为所述局部点云地图中的点云，即所述预设有效特征点在实际环境中的位置信息。
优选地，所述移动机器人采用先进先出（FIFO队列）的内存存储形式来缓存所述关键帧序列，以使所述移动机器人在移动过程中刷新所述关键帧序列内最新插入的所述关键帧，并获得与3d-tof摄像头当前实时采集的一帧深度图像在时间上是最近的所述关键帧。为了实现存储空间的优化，本实施例采用先进先出的方式存储队列存储最新筛选插入的关键帧，保证只存储最有效的帧序列，可以是离当前帧最近的三帧深度图像。先进先出（FIFO队列）的形式缓存的深度图像数据不冗余，进一步地准确地维护了有效的机器人周边的视觉定位信息。
优选地，所述关键帧序列内的关键帧上的预设有效特征点包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，其中，非过远点的深度值和非过近点的深度值都处于200mm至500mm之间。本实施例中，非过曝点、非欠曝点是根据3d-tof摄像头直接获得的，对于每一帧深度图像中的每一个像素点都有四种状态，包括过曝、欠曝、过远、过近，过曝点和欠曝点都是不可信的点；过近点和过远点都不会存储在队列中。从而排除掉深度图像中的非可信的像素点，包括受光照亮度影响较大的过曝点及欠曝点、受距离误差影响较大的过远点及过近点。提高深度图像定位的稳定性。
在前述实施例中，所述预设有效特征点包括用于表征所述障碍物的特征点，或用于表征所述障碍物之外的标准路标的特征点，具体是：移动机器人的前进方向上的有效标示物的特征点。其中，所述3d-tof摄像头在移动机器人移动过程中从不同的方向采集到所述预设有效特征点的不同帧深度图像，包括在转弯过程中，先后从左方采集、靠近采集、右方采集、再到远离采集所述预设有效特征点。从而表征3d-tof摄像头的视角范围内移动机器人的前方的障碍物的分布位置特征。
本发明实施例还公开一种视觉机器人，包括：3d-tof摄像头和处理单元，可选择地，该视觉机器人的机体中心还设置有码盘和陀螺仪，用于配合测量机器人的位姿。其中：处理单元用于执行前述实施例的基于多帧深度图像定位的关键帧融合控制方法；3d-tof摄像头装配在视觉机器人的机体上，以使该3d-tof摄像头的视角覆盖所述视觉机器人前方的障碍物分布状况，包括存在障碍物和不存在障碍物这两种情况。其中，3d-tof摄像头的光轴方向与所述视觉机器人的前进方向相同，3d-tof摄像头的光轴方向指向所述视觉机器人的机体前方。使得该视觉机器人在转弯过程中能够重新识别回：其在转弯前已经在视角范围内识别到的贴近机体边缘位置的障碍物或距离机体过近的障碍物（视为与机体的位置相同）。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (12)
1.一种多帧深度图像定位的关键帧融合控制方法，其特征在于，包括：
步骤1、分别计算移动机器人的3d-tof摄像头采集到的当前帧深度图像与关键帧序列内的每一关键帧之间的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的深度图像的序列；
步骤2、当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的位置关系。
2.根据权利要求1所述关键帧融合控制方法，其特征在于，所述步骤1具体包括：
分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与经过位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点的相对位姿；
其中，这个位姿变换是：所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，构建起局部点云地图；
其中，该局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系；
其中，预设有效特征点通过前述的坐标系转换成为所述局部点云地图中的点云；
其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
3.根据权利要求2所述关键帧融合控制方法，其特征在于，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：
计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量；
当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。
4.根据权利要求3所述关键帧融合控制方法，其特征在于，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；
所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到实现插入所述关键帧序列的深度图像时的镜头朝向角度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。
5.根据权利要求1所述关键帧融合控制方法，其特征在于，所述步骤1具体包括：
当移动机器人的3d-tof摄像头当前采集到当前帧深度图像时，调用移动机器人内部设置的惯性传感器测量移动机器人的当前位姿；
然后调用预先保存的关键帧序列内的每一关键帧对应的移动机器人实时位姿，分别计算移动机器人的当前位姿与每一关键帧对应的移动机器人实时位姿之间的相对位姿。
6.根据权利要求5所述关键帧融合控制方法，其特征在于，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：
计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与预先采集到所述关键帧中相同的或同类型的预设有效特征点之间的移动机器人的行走距离变化量及同一采集过程中发生的偏转角度变化量；
当所有的行走距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件；
其中，所述预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
7.根据权利要求6所述关键帧融合控制方法，其特征在于，所述惯性传感器包括内设于移动机器人的机体中心的码盘和内设于移动机器人的机体中心的陀螺仪，码盘用于测量移动机器人的行走距离变化量，陀螺仪用于测量同一采集过程中移动机器人的偏转角度变化量；
其中，码盘测量得到的移动机器人位置坐标通过所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系转换到所述当前帧深度图像对应所属的摄像头坐标系下，以构建起局部点云地图。
8.根据权利要求1至7任一项所述关键帧融合控制方法，其特征在于，所述关键帧序列内存在三帧或三帧以上的深度图像。
9.根据权利要求8所述关键帧融合控制方法，其特征在于，所述移动机器人采用先进先出的内存存储形式来缓存所述关键帧序列，以使所述移动机器人在移动过程中获得与3d-tof摄像头当前实时采集的一帧深度图像在时间上是最近的所述关键帧。
10.根据权利要求2、3、4或6所述关键帧融合控制方法，其特征在于，所述关键帧序列内的关键帧上的预设有效特征点包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，其中，非过远点的深度值和非过近点的深度值都处于200mm至500mm之间。
11.根据权利要求10所述关键帧融合控制方法，其特征在于，所述预设有效特征点是用于表征所述障碍物的特征点，或用于表征所述障碍物之外的标准路标的特征点；
其中，所述3d-tof摄像头在移动机器人移动过程中从不同的方向采集到所述预设有效特征点的不同帧深度图像。
12.一种视觉机器人，其特征在于，包括：3d-tof摄像头和处理单元，处理单元用于执行权利要求1至11任一项所述的基于多帧深度图像定位的关键帧融合控制方法；
3d-tof摄像头装配在视觉机器人的机体上，以使该3d-tof摄像头的视角覆盖所述视觉机器人前方的障碍物分布状况，包括存在障碍物和不存在障碍物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011192905.5A CN112288811B (zh) | 2020-10-30 | 2020-10-30 | 多帧深度图像定位的关键帧融合控制方法及视觉机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011192905.5A CN112288811B (zh) | 2020-10-30 | 2020-10-30 | 多帧深度图像定位的关键帧融合控制方法及视觉机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288811A true CN112288811A (zh) | 2021-01-29 |
| CN112288811B CN112288811B (zh) | 2024-09-06 |
Family
ID=74353028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011192905.5A Active CN112288811B (zh) | 2020-10-30 | 2020-10-30 | 多帧深度图像定位的关键帧融合控制方法及视觉机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288811B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113447014A (zh) * | 2021-08-30 | 2021-09-28 | 深圳市大道智创科技有限公司 | 室内移动机器人、建图方法、定位方法以及建图定位装置 |
| CN114451830A (zh) * | 2022-03-17 | 2022-05-10 | 上海飞博激光科技有限公司 | 激光清洗玻璃幕墙装置及其清洗方法 |
| CN114851197A (zh) * | 2022-05-16 | 2022-08-05 | 华北电力大学（保定） | 一种排管电缆机器人及其控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
| CN109579847A (zh) * | 2018-12-13 | 2019-04-05 | 歌尔股份有限公司 | 同步定位与地图构建中关键帧提取方法、装置和智能设备 |
| CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
-
2020
- 2020-10-30 CN CN202011192905.5A patent/CN112288811B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
| CN109579847A (zh) * | 2018-12-13 | 2019-04-05 | 歌尔股份有限公司 | 同步定位与地图构建中关键帧提取方法、装置和智能设备 |
| CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113447014A (zh) * | 2021-08-30 | 2021-09-28 | 深圳市大道智创科技有限公司 | 室内移动机器人、建图方法、定位方法以及建图定位装置 |
| CN114451830A (zh) * | 2022-03-17 | 2022-05-10 | 上海飞博激光科技有限公司 | 激光清洗玻璃幕墙装置及其清洗方法 |
| CN114851197A (zh) * | 2022-05-16 | 2022-08-05 | 华北电力大学（保定） | 一种排管电缆机器人及其控制方法 |
| CN114851197B (zh) * | 2022-05-16 | 2023-08-04 | 华北电力大学（保定） | 一种排管电缆机器人及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288811B (zh) | 2024-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348893B (zh) | 一种局部点云地图构建方法及视觉机器人 | |
| CN112288811B (zh) | 多帧深度图像定位的关键帧融合控制方法及视觉机器人 | |
| CN107144285B (zh) | 位姿信息确定方法、装置和可移动设备 | |
| CN108873908B (zh) | 基于视觉slam和网络地图结合的机器人城市导航系统 | |
| JP7147119B2 (ja) | 自律的な自己位置推定のためのデバイス及び方法 | |
| CN109682373B (zh) | 一种无人平台的感知系统 | |
| JP6464673B2 (ja) | 支障物検知システムおよび鉄道車両 | |
| CN100494900C (zh) | 适用于自主移动车辆的环境感知的单目视觉导航方法 | |
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
| JP6456405B2 (ja) | ３次元情報算出装置、３次元情報算出方法、および自律移動装置 | |
| WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
| TW202144150A (zh) | 定位方法、機器人及儲存介質 | |
| EP3710985A1 (en) | Detecting static parts of a scene | |
| CN110597265A (zh) | 一种扫地机器人回充方法和装置 | |
| WO2019021842A1 (ja) | 車載処理装置 | |
| CN110967009A (zh) | 变电站巡检机器人导航定位与地图构建方法及装置 | |
| KR20210141668A (ko) | 서로 상대적으로 움직이는 복수의 정형 객체의 검출, 3d 재구성 및 추적 | |
| CN110895334A (zh) | 基于激光雷达和gps融合虚拟墙无人清扫车校准装置及方法 | |
| CN110163963A (zh) | 一种基于slam的建图装置和建图方法 | |
| CN208289901U (zh) | 一种增强视觉的定位装置及机器人 | |
| CN111780744B (zh) | 移动机器人混合导航方法、设备及存储装置 | |
| CN111958593B (zh) | 一种语义智能变电站巡视作业机器人视觉伺服方法及系统 | |
| CN112258553A (zh) | 一种基于多源图像融合的全天时目标跟踪方法 | |
| JP6815935B2 (ja) | 位置推定装置 | |
| CN117707194A (zh) | 无人设备的飞行作业方法、装置、无人设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |