CN112348893A - 一种局部点云地图构建方法及视觉机器人 - Google Patents

一种局部点云地图构建方法及视觉机器人 Download PDF

Info

Publication number
CN112348893A
CN112348893A CN202011192850.8A CN202011192850A CN112348893A CN 112348893 A CN112348893 A CN 112348893A CN 202011192850 A CN202011192850 A CN 202011192850A CN 112348893 A CN112348893 A CN 112348893A
Authority
CN
China
Prior art keywords
point cloud
mobile robot
preset
detection block
tof camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011192850.8A
Other languages
English (en)
Other versions
CN112348893B (zh
Inventor
严勇显
赖钦伟
肖刚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Amicro Semiconductor Co Ltd
Original Assignee
Zhuhai Amicro Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Amicro Semiconductor Co Ltd filed Critical Zhuhai Amicro Semiconductor Co Ltd
Priority to CN202011192850.8A priority Critical patent/CN112348893B/zh
Publication of CN112348893A publication Critical patent/CN112348893A/zh
Priority to JP2022540796A priority patent/JP7375206B2/ja
Priority to PCT/CN2021/098145 priority patent/WO2022088680A1/zh
Priority to EP21884422.3A priority patent/EP4083921A4/en
Priority to KR1020227022513A priority patent/KR20220113977A/ko
Priority to US17/785,403 priority patent/US20230249353A1/en
Application granted granted Critical
Publication of CN112348893B publication Critical patent/CN112348893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种局部点云地图构建方法及视觉机器人，该局部点云地图构建方法根据预设的显著位姿变化条件采样反映机器人周边大范围区域位置的点云，使得移动机器人利用这些关键帧建立能够完整覆盖到移动机器人前方的障碍物分布状况的局部点云地图，然后以三维直方图的形式去描述出不同高度位置的点云，方便使用点云在不同检测块的三维区域分布特征去除杂散点，提高过近过远障碍物场景的局部点云地图的适应性，显著降低超近距离下的障碍物位置识别定位的难度和误判概率。

Description

一种局部点云地图构建方法及视觉机器人
技术领域
本发明涉及局部点云地图的技术领域，特别是一种基于点云数据的局部点云地图构建方法及视觉机器人。
背景技术
3d-tof技术可以在有效范围内进行三维点云地图的还原，但3d-tof摄像头现在尚存的问题是：3d-tof因为无法完全的获得较为精准的深度值，误差普遍偏大，具体是当障碍物的距离过近过远时，深度值都会出现明显误差，使得基于单帧的深度数据分析并不能有效的识别出超近距离下的障碍物，所以需更加精确的点云地图去完成障碍物的定位。
中国专利CN110031825A公开的激光定位初始化方法，通过拼接连续获取的多帧激光点云来进行点云采样以构建三维坐标系，并以实时直方图存储采样的点云信息，但这一激光定位初始化方法需要调用大量的特征矩阵运算、构建多个坐标系以在多个象限内建立实时三维直方图，且点云数据对应的特征匹配运算过于复杂，不利于构建起精简的局部点云地图，而且依然解决不了上述过近距离的障碍物的定位识别问题。
发明内容
为了构建起一种更加精简的局部点云地图，克服3d-tof摄像头采集的点云数据存在的噪声误差问题，以便于依靠局部点云地图实时准确地定位识别出当前位置的过近障碍物，本发明公开一种局部点云地图构建方法，具体技术方案如下：
一种局部点云地图构建方法，该局部点云地图构建方法包括：步骤1、在移动机器人运动的过程中，控制移动机器人的3d-tof摄像头保持采集深度图像，并根据预设的显著位姿变化条件将3d-tof摄像头实时采集的当前帧深度图像插入关键帧序列内；然后进入步骤2；步骤2、控制关键帧序列内的深度图像的预设有效特征点进行位姿变换，以成为摄像头坐标系下的点云，然后进入步骤3；步骤3、在移动机器人的3d-tof摄像头的实时视角范围内，设置一个位于水平地面的预设目标平面区域，并在这个预设目标平面区域设置与其匹配的检测块，使得点云以三维直方图的形式标记在预设目标平面区域的正上方，然后进入步骤4；步骤4、根据点云在各个检测块的高度位置分布特征，先剔除相应的检测块内呈现离散分布状态的点云，再剔除具有被阻挡采集视线的高度特征的检测块内的点云，然后进入步骤5；步骤5、将各个检测块内分布的剩余的点云的位置标记为局部点云地图的三维位置，以实现局部点云地图的构建。
与现有技术相比，该技术方案根据预设的显著位姿变化条件采样反映机器人周边大范围区域位置的点云，使得移动机器人利用这些关键帧建立能够完整覆盖到移动机器人前方的障碍物分布状况的局部点云地图，然后以三维直方图的形式去描述出不同高度位置的点云，方便使用点云在不同检测块的三维区域分布特征去除杂散点以及当前位置下被阻挡采集视线的点云，提高过近过远障碍物场景的局部点云地图的适应性，显著降低超近距离下的障碍物位置识别定位的难度和误判概率。
进一步地，所述根据预设的显著位姿变化条件将3d-tof摄像头实时采集的当前帧深度图像插入关键帧序列内的方法具体包括：分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与所述关键帧序列内的每一关键帧中的相同的预设有效特征点的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的包括预设有效特征点的深度图像的序列；当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的相对位置关系；其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
与现有技术相比，使得移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布状况的局部点云地图，从而通过融合处理当前帧深度图像与这些支持更新的关键帧的相对位姿来解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题。
进一步地，所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，以实现所述位姿变换；其中，所述局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系。有利于构建起更加精确的局部点云地图，方便移动机器人的即时定位导航。
进一步地，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量；当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。
与现有技术相比，该技术方案根据通过判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）与3d-tof摄像头的距离的变化量是否足够大，并判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）相对于3d-tof摄像头的偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧。
进一步地，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到并插入所述关键帧序列的深度图像时的镜头朝向角度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。
与现有技术相比，该技术方案便于筛选出：表示移动机器人的相对位姿比较大的多帧关键帧，尤其是在移动机器人的机体发生较大角度的转动或发生较大的位移后，如果3d-tof摄像头不能识别出过近的障碍物时就从预先存储的关键帧序列中相关联的有效特征点（即预先保存的包括障碍物的关键帧）来辅助定位出这个过近障碍物的精确位置。
进一步地，所述步骤1包括：当移动机器人的3d-tof摄像头当前采集到当前帧深度图像时，调用移动机器人内部设置的惯性传感器测量移动机器人的当前位姿；然后调用预先保存的关键帧序列内的每一关键帧对应的移动机器人实时位姿，分别计算移动机器人的当前位姿与每一关键帧对应的移动机器人实时位姿之间的相对位姿。与现有技术相比，本技术方案利用机体内部的惯性传感器计算当前帧深度图像的有效采集位置与每一关键帧的有效采集位置之间的相对位姿，以直接求取出所述移动机器人采集预设有效特征点之间的位置变化量，有利于简化机器人定位运算，方便移动机器人的即时定位导航。
进一步地，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与预先采集到所述关键帧中相同的或同类型的预设有效特征点之间产生的移动机器人的行走距离变化量及同一采集过程中发生的偏转角度变化量；当所有的行走距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件；其中，所述预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
与现有技术相比，该技术方案根据通过判断两帧深度图像对应的实际采集位置点的变化量是否足够大，并判断两帧深度图像对应的实际机体偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧。
进一步地，所述惯性传感器包括内设于移动机器人的机体中心的码盘和内设于移动机器人的机体中心的陀螺仪，码盘用于测量移动机器人的行走距离变化量，陀螺仪用于测量同一采集过程中移动机器人的偏转角度变化量；其中，码盘测量得到的移动机器人位置坐标通过所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系转换到所述当前帧深度图像对应所属的摄像头坐标系下，以构建起局部点云地图。
进一步地，所述关键帧序列内存在三帧或三帧以上的深度图像。用于构建出所述局部点云地图。该技术方案能够为构建局部点云地图和通过有效特征点定位障碍物提供更加充足的点云样本，使得局部点云地图更加稳定有效。
进一步地，所述移动机器人采用先进先出的内存存储形式来缓存所述关键帧序列，以使所述移动机器人在移动过程中获得与3d-tof摄像头当前实时采集的一帧深度图像在时间上是最近的所述关键帧。为了实现存储空间的优化，该技术方案采用先进先出的方式存储队列存储最新筛选插入的关键帧，保证只存储最有效的帧序列，可以是离当前帧最近的三帧深度图像。
进一步地，所述预设目标平面区域是一个矩形区域，矩形区域的一边的中点是3d-tof摄像头的位置，这一边的长度等于所述移动机器人的机体直径，与该边垂直的另一边设置在3d-tof摄像头的视角前方，用于表征所述3d-tof摄像头采集的深度图像中的可探测深度距离。从而让所述预设目标平面区域配置为能够容纳所述移动机器人顺利通行的目标探测区域，结合前述的步骤2的关键帧位姿变换成的摄像头坐标系下的点云，定位出这一区域上方的障碍物点云的最大高度位置和分布特征，有效地规划出近距离条件下障碍物的避障路径。
进一步地，所述步骤4中，当检测到一个所述点云的三维坐标位置落入其中一个所述检测块内时，则确定这个所述点云分布在这个所述检测块中，并记录这个点云的高度。从而简化点云的位置信息存储运用的方式。
进一步地，所述各点云以三维直方图的形式存储的方法包括：设置所述三维直方图所属的三维坐标系的坐标原点是3d-tof摄像头的位置，设置所述预设目标平面区域覆盖到这个三维坐标系的横轴的正方向的所述机体直径的一半的距离，设置所述预设目标平面区域覆盖到这个三维坐标系的横轴的负方向的所述机体直径的一半的距离，设置所述预设目标平面区域覆盖到这个三维坐标系的纵轴的正方向的所述可探测深度距离，设置所述检测块沿着这个三维坐标系的竖轴分布，配置所述检测块在这个三维坐标系的竖轴上占据的竖直高度用于表示所述检测块分布的点云的高度，对所述点云划分得到所述预设数量的三维直方图中，实现以三维直方图的形式存储所述点云；其中，所述三维直方图所属的三维坐标系与所述局部地图的坐标系相同。从而通过直方图统计的方式将局部地图的点云转换成为局部地图的坐标系中的特定检测区域上的三维点状地图，实现利用三维点状地图中分布的直方块的高度去表征障碍物的点云高度，便于显著而快速地筛选去除杂散点云。
进一步地，所述预设目标平面区域的面积与所述检测块的水平投影面积的比值是预设整数，以使得预设目标平面区域全部被预设整数的检测块平均划分占据。提高所述检测块对所述预设目标平面区域的点云覆盖率。
进一步地，所述步骤4中，所述剔除相应的检测块内呈现离散分布状态的点云的方法具体包括：判断到所述检测块内分布的点云的数量是否小于定位数目阈值，是则将这个检测块分布的点云剔除，然后再剔除具有被阻挡采集视线的高度特征的检测块内的点云；否则直接剔除具有被阻挡采集视线的高度特征的检测块内的点云；其中，这个定位数目阈值用于描述所述离散分布状态；和/或，判断是否存在一个检测块的邻域都没有分布有点云，是则剔除这个检测块内分布的点云，然后再剔除具有被阻挡采集视线的高度特征的检测块内的点云；否则直接剔除具有被阻挡采集视线的高度特征的检测块内的点云。与现有技术相比，减少过于离散分布的点云对识别定位障碍物带来的噪声干扰，尤其是过远障碍物带来的定位误差问题，进而提高过近障碍物识别的准确性。
进一步地，所述步骤4中，所述剔除具有被阻挡采集视线的高度特征的检测块内的点云的方法包括：步骤41、沿着远离3d-tof摄像头的方向检测每一列检测块分布的点云的高度，分别判断各列检测块中是否存在从矮至高变化的检测块序列，是则进入步骤42，否则进入步骤43；其中，从矮至高变化是对应参与判断的各个检测块中分布的最大高度的点云的高度位置变化，每个检测块分布的点云的最大高度表示各自检测块的高度；步骤42、记录这一检测块序列中的高度最大的点云所属的检测块，再将这个记录的检测块后方的高度相对小的检测块分布的点云剔除，然后返回步骤41；步骤43、记录这一检测块序列中的高度最大的点云所属的检测块，再将这个记录的检测块后方的检测块分布的点云剔除。
与现有技术相比，对于检测块分布的点云的剔除方式是建立在高度最大的点云的基础上进行的，具体按照实际物理环境中的山坡形状，选择保留抬升至山峰高度位置之前的点云，而删除山的背面被阻挡采集视线的较矮的点云，从而在移动机器人当前位置中保留起到显著视线阻挡效果的障碍物，从预设目标平面区域上对应的检测块中删除因实际高度位置的阻挡而无法用于实际场景的障碍物定位的点云，克服深度图像中预先采集到的较矮的点云位置带来的误判现象，显著降低过近障碍物的位置的误判现象。
进一步地，所述关键帧序列内的关键帧上的预设有效特征点包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，其中，非过远点的深度值和非过近点的深度值都处于200mm至500mm之间。与现有技术相比，排除不可信的特征点的影响。
进一步地，所述预设有效特征点是用于表征所述障碍物的特征点，或用于表征所述障碍物之外的标准路标的特征点；其中，所述3d-tof摄像头在移动机器人移动过程中从不同的方向采集到所述预设有效特征点的不同帧深度图像。从而表征3d-tof摄像头的视角范围内移动机器人的前方的障碍物的分布位置特征。
进一步地，判断是否存在一个检测块的8个邻域都没有分布有点云，是则剔除这个检测块内分布的点云。从而剔除离散点，实现有效地识别近距离下的障碍物。
一种视觉机器人，包括：3d-tof摄像头和处理单元，处理单元用于执行所述的局部点云地图构建方法； 3d-tof摄像头装配在视觉机器人的机体上，以使该3d-tof摄像头的视角覆盖所述视觉机器人的前方。以使该3d-tof摄像头在移动机器人移动的过程中以不同的视角采样目标障碍物的点云，然后在该视觉机器人移动至某一位置时，利用3d-tof摄像头的当前视角范围内预设目标平面区域的点云的高度位置分布特征，去除杂散点，只允许局部地图中保留下用于精准定位的最大高度和合理分布的点云，该视觉机器人在转弯过程中能够重新识别回：其在转弯前已经在视角范围内识别到的贴近机体边缘位置的障碍物或距离机体过近的障碍物，提高地过近过远障碍物场景的定位适应性，显著降低超近距离下的障碍物位置的误判概率。
附图说明
图1是本发明一实施例公开一种局部点云地图构建方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
本发明实施例公开一种局部点云地图构建方法，如图1所示，该局部点云地图构建方法包括：
步骤1、在移动机器人运动的过程中，控制移动机器人的3d-tof摄像头保持采集深度图像，并根据预设的显著位姿变化条件将3d-tof摄像头实时采集的当前帧深度图像插入关键帧序列内；然后进入步骤2。
需要说明的是，移动机器人的行走规则主要有两种，包括沿边和弓字型，其中，弓字型行走，用于实现清扫空旷区域；所述移动机器人在弓字型行走过程中，会遇到不同的障碍物，如果沿着弓字形路径转弯90度之前检测到一个距离很近的障碍物，那么转弯90度的过程中就检测不到同一障碍物，因为规划出的弓字形路径要根据障碍物的方位，选择一个比较大的角度旋转，使得扫地机器人朝着远离障碍物的方向旋转，以绕过障碍物。所述移动机器人可以是扫地机器人，又称自动打扫机、智能吸尘器、机器人吸尘器等，是智能家用电器的一种，能凭借一定的人工智能，自动在房间内完成弓字形规划清扫工作。
作为一种实施例，在步骤1中，所述根据预设的显著位姿变化条件将3d-tof摄像头实时采集的当前帧深度图像插入关键帧序列内的方法具体包括：
分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与所述关键帧序列内的每一关键帧（经过位姿变换后的关键帧）中的相同的预设有效特征点的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的包括预设有效特征点的深度图像的序列，用于存储连续深度图像帧中每一帧的机体相对位置信息和摄像头的朝向信息，包括已遍历识别出的距离机体过近或贴合机体的障碍物的深度图像信息，以便于后续无法识别这一类型的障碍物时，利用这些相关联的深度图像的参考坐标信息来辅助定位。其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的相对位置关系；该步骤1用于判断移动机器人的3d-tof摄像头当前采集的深度图像与关键帧序列内的每一帧深度图像之间的相对位姿的大小程度，以便于后续筛选出机体的位移显著程度足够大的深度图像或者机体的旋转显著程度足够大的深度图像。当确定步骤1计算出的相对位姿所包括的偏转角度和相对距离都比较大，表征移动机器人发生较大的位移或发生较明显的转角变化时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的相对位置关系。
所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量，表示移动机器人相对于固定不动的所述预设有效特征点发生的位移变化量（对应于所述深度距离变化量），以及绕这个所述预设有效特征点发生的角度偏转量（对应于所述偏转角度变化量）；当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件，表征移动机器人发生较大的位移或发生较明显的转角变化（比如在弓字形规划行走过程中转弯90度）。与现有技术相比，本实施例根据通过判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）与3d-tof摄像头的距离的变化量是否足够大，并判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）相对于3d-tof摄像头的偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧，且辅助后续处理构建起的局部点云地图的信息执行对障碍物的精准定位功能。
优选地，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到实现插入所述关键帧序列的深度图像时的镜头朝向角度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。与现有技术相比，本实施例对预设有效特征点的位姿信息的提取并参与帧间的偏移量比较运算，便于筛选出：表示移动机器人的相对位姿比较大的多帧关键帧，尤其是在移动机器人的机体发生较大角度的转动或发生较大的位移后，如果3d-tof摄像头不能识别出过近的障碍物时就从预先存储的关键帧序列中相关联的有效特征点（即预先保存的包括障碍物的关键帧）来配合后续的点云剔除操作来定位出这个过近障碍物的具体位置。
作为另一种实施例，在步骤1中，所述根据预设的显著位姿变化条件将3d-tof摄像头实时采集的当前帧深度图像插入关键帧序列内的方法步骤具体包括：
步骤S101、移动机器人在当前工作区域内沿着预先规划的弓字形路径移动，移动机器人在移动过程中使用3d-tof摄像头采集当前工作区域内的深度图像，包括障碍物的深度图像；然后进入步骤S102；
步骤S102、当移动机器人的3d-tof摄像头当前采集到当前帧深度图像时，调用移动机器人内部设置的惯性传感器测量移动机器人的当前位姿并保存，需要说明的是，3d-tof摄像头采集的深度图像中包含机体前方的有效特征点，包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，就可以执行该步骤；然后进入步骤S103。
步骤S103、调用预先保存的关键帧序列内的每一关键帧对应的移动机器人实时位姿（采集位置），分别计算移动机器人的当前位姿与每一关键帧对应的移动机器人实时位姿（预存的采集位置）之间的相对位姿。然后进入步骤S104。优选地，所述关键帧序列是移动机器人预先存储的连续排列的包括预设有效特征点的深度图像的序列，用于存储连续深度图像帧中每一帧的机体相对位置信息和摄像头的朝向信息，包括已遍历识别出的距离机体过近或贴合机体的障碍物的深度图像信息，以便于后续无法识别这一类型的障碍物时，利用与这些深度图像同步采集的惯性信息来辅助定位。其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与预先采集到所述关键帧中相同的或同类型的预设有效特征点之间的移动机器人的行走距离变化量及同一采集过程中发生的偏转角度变化量。当所有的行走距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。需要说明的是，所述惯性传感器包括内设于移动机器人的机体中心的码盘和内设于移动机器人的机体中心的陀螺仪，码盘用于测量移动机器人的行走距离变化量，陀螺仪用于测量同一采集过程中移动机器人的偏转角度变化量；其中，码盘测量得到的移动机器人位置坐标通过所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系转换到所述当前帧深度图像对应所属的摄像头坐标系下，以构建起局部点云地图，从而在局部点云地图上标记出移动机器人采集所述预设有效特征点所发生的移动轨迹；由于本实施例采用惯性数据直接获得移动机器人的位姿变化信息，所以相对于前述实施例的特征点计算，简化相对位姿的计算量。
优选地，所述关键帧序列内的每一关键帧中关于同一目标障碍物的特征点通过位姿变换来转化到同一局部点云地图，用于标记出同一目标障碍物到获得不同关键帧下的移动机器人的位姿。
步骤S104、判断步骤S103中所有计算出的相对位姿都满足预设的显著位姿变化条件，是则进入步骤S105，否则进入步骤S106。该步骤用于判断当前帧深度图像对应的机器人位姿与关键帧序列内的每一帧深度图像对应的机器人位姿之间的相对位姿的大小程度，以便于后续筛选出机体的位移显著程度足够大的深度图像或者机体的旋转显著程度足够大的深度图像。
步骤S105、确定步骤S103计算出的相对位姿所包括的偏转角度和相对距离都比较大，表征移动机器人发生较大的位移或发生较明显的转角变化时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的相对位置关系；然后再返回步骤S201，以继续移动采集当前工作区域内的深度图像。
步骤S106、确定步骤S103计算出的相对位姿所包括的偏转角度和相对距离都比较小，表征移动机器人发生较小的位移或发生不是很明显的转角变化时，不将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再返回步骤S101继续移动采集当前工作区域内的深度图像。
前述步骤利用3d-tof摄像头采集到当前帧深度图像时同步获取的惯性数据、与采集到关键帧序列内的所有深度图像时同步获取的惯性数据进行融合运算，以求取表征移动机器人位置变化情况的相对位姿，再根据预设的显著位姿变化条件选择出反映清晰和广域的机器人周边信息的关键帧，与现有技术相比，使得移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布状况的局部点云地图，从而通过融合处理当前帧深度图像与这些支持更新的关键帧的相对位姿来解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题。
需要说明的是，为了解决移动机器人在弓字形清扫时，转弯90度后，存在障碍物在机身很近的距离时无法被探测的问题，在本实施例中使用到预先存储的图像序列中的深度图像，比如当前采集时刻是t，可以使用t-1时刻、t-2时刻、t-3时刻采集的深度图像帧，或者其它更久之前具备时序性的关键帧图像，但不一定是深度图像的边缘对应的障碍物，关键帧中只要出现在机身前方的有效点都可以用来融合当前帧计算相对位姿。同时也需获取机体中心的惯性传感器实时采集的位置信息。
作为一种实施例，当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件，表征移动机器人发生较大的位移或发生较明显的转角变化（比如在弓字形规划行走过程中转弯90度）。与现有技术相比，该技术方案根据通过判断两帧深度图像对应的实际采集位置点的变化量是否足够大，并判断两帧深度图像对应的实际机体偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧，且简化对障碍物的定位计算步骤。
步骤2、控制关键帧序列内的深度图像的预设有效特征点进行位姿变换，以成为摄像头坐标系下的点云，然后进入步骤3；所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，以实现所述位姿变换；或者，将码盘测量得到的移动机器人位置坐标通过所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系转换到所述当前帧深度图像对应所属的摄像头坐标系下，也实现所述位姿变换；其中，所述局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系。从而：将各个方位上采集的预设有效特征点都转化到同一局部点云坐标系下（相对距离信息和偏转角度信息），以确定移动机器人的相对位姿，也便于判断移动机器人的前方是否存在障碍物，同时也能标记出移动机器人采集所述预设有效特征点所发生的移动轨迹；其中，同一局部点云坐标系是当前帧深度图像对应的摄像头坐标系。本实施例有利于还原起更加精确的局部点云地图，方便移动机器人的即时定位导航。优选地，所述关键帧序列内的每一关键帧中关于同一目标障碍物的特征点通过位姿变换来转化到同一局部点云地图坐标系上，用于标记出同一目标障碍物到获得不同关键帧下的移动机器人的位姿。
步骤3、在移动机器人的3d-tof摄像头的实时视角范围内，设置一个位于水平地面的预设目标平面区域，并在这个预设目标平面区域设置与其匹配的检测块，使得点云以三维直方图的形式标记在预设目标平面区域的正上方，然后进入步骤4。
具体地，所述预设目标平面区域是一个矩形区域，矩形区域的一边的中点是3d-tof摄像头的位置，这一边的长度等于所述移动机器人的机体直径，与该边垂直的另一边设置在3d-tof摄像头的视角前方，用于表征所述3d-tof摄像头采集的深度图像中的可探测深度距离。从而让所述预设目标平面区域配置为能够容纳所述移动机器人顺利通行的目标探测区域，结合前述的步骤2的关键帧位姿变换成的摄像头坐标系下的点云，定位出这一区域上方的障碍物点云的最大高度位置和分布特征，有效地规划出近距离条件下障碍物的避障路径。
所述各点云以三维直方图的形式标记的方法包括：设置所述三维直方图所属的三维坐标系的坐标原点是3d-tof摄像头的位置，设置所述预设目标平面区域覆盖到这个三维坐标系的横轴的正方向的所述机体直径的一半的距离，设置所述预设目标平面区域覆盖到这个三维坐标系的横轴的负方向的所述机体直径的一半的距离，设置所述预设目标平面区域覆盖到这个三维坐标系的纵轴的正方向的所述可探测深度距离，设置所述检测块沿着这个三维坐标系的竖轴分布，配置所述检测块在这个三维坐标系的竖轴上占据的竖直高度用于表示所述检测块分布的点云的高度，对所述点云划分得到所述预设数量的三维直方图中，实现以三维直方图的形式存储所述点云；其中，所述三维直方图所属的三维坐标系与所述局部地图的坐标系相同。从而通过直方图统计的方式将局部地图的点云转换成为局部地图的坐标系中的特定检测区域上的三维点状地图，实现利用三维点状地图中分布的直方块的高度去表征障碍物的点云高度，便于显著而快速地去除杂散点云。
在本实施例中，所述预设目标平面区域对应的预设直的坐标取值范围包括：以所述3d-tof摄像头的中心为坐标原点，横轴方向上坐标覆盖范围为：由最左侧-150mm到最右侧+150mm，纵轴方向上坐标范围（表现为深度距离）为：最近处0mm到最远处300mm；本实施例在每个水平投影面积30mm*30mm的检测块中对所述局部地图的点云位置进行三维直方图统计，不在预设目标平面区域的坐标取值范围内的都不做分块记录落入其中的点云最大高度，在有效的目标空间区域内生成标记点云最大高度的三维点状地图。从而让所述预设目标平面区域配置为能够容纳所述移动机器人顺利通行的目标探测区域，通过识别定位这一区域上方的障碍物点云的最大高度位置和分布特征，实时有效地规划出近距离条件下障碍物的避障路径。
优选地，所述预设目标平面区域的面积与所述检测块的水平投影面积的比值是预设整数，以使得预设目标平面区域全部被预设整数的检测块平均划分占据。每一行排列N个检测块，每一列排列M个检测块，行的方向是与机体前进方向相垂直的侧方向，列方向是机体前进方向，在本实施例中等效于3d-tof摄像头的光轴方向，预设整数是N和M的乘积，提高所述检测块对所述预设目标平面区域的点云覆盖率。
步骤4、根据点云在各个检测块的高度位置分布特征，先剔除相应的检测块内呈现离散分布状态的点云，再剔除具有被阻挡采集视线的高度特征的检测块内的点云，然后进入步骤5。所述步骤4中，当检测到一个所述点云的三维坐标位置落入其中一个所述检测块内时，则确定这个所述点云分布在这个所述检测块中，并记录这个点云的高度，从而简化点云的位置信息存储运用的方式。进一步的，根据点云落入各个检测块的情况，分别记录各个检测块内分布的点云的高度，包括每个检测块内分布的点云的最大高度，并用每个检测块内分布的最大高度的点云标识为这个检测块的最大高度位置，使得所述点云以三维直方图的形式标记在预设目标平面区域的正上方。其中，具有被阻挡采集视线的高度特征的检测块内的点云是被某一高度较大的检测块阻挡采集视线的较矮的检测块内分布的点云，这一较矮的点云在所述3d-tof摄像头的前方且沿着远离这个3d-tof摄像头的方向排列在一高度较大的检测块后方。
所述步骤4中，所述剔除相应的检测块内呈现离散分布状态的点云的方法具体包括：判断到所述检测块内分布的点云的数量是否小于定位数目阈值，是则将这个检测块分布的点云剔除，然后再剔除具有被阻挡采集视线的高度特征的检测块内的点云；否则直接剔除具有被阻挡采集视线的高度特征的检测块内的点云；其中，这个定位数目阈值用于描述所述离散分布状态；和/或，判断是否存在一个检测块的邻域都没有分布有点云，是则剔除这个检测块内分布的点云，然后再剔除具有被阻挡采集视线的高度特征的检测块内的点云；否则直接剔除具有被阻挡采集视线的高度特征的检测块内的点云。
具体是：由于受到外界干扰如视线遮挡，障碍物等因素的影响，点云数据中往往存在着一些距离待定位识别的障碍物的点云较远的离散点，即离群点，会影响点云地图定位导航的准确性。在本实施例中，所述步骤4具体包括：
当判断到所述检测块内分布的点云的数量小于定位数目阈值，则将这个检测块内分布的点云剔除，具体是清除这个检测块内分布的点云，将其点云从预设目标平面区域的正上方剔除掉。
或者，当判断到所述检测块内分布的点云的数量小于定位数目阈值时，则继续判断这个检测块的邻域是否都没有分布有点云，是则剔除这个检测块内分布的点云。
或者，当判断到存在一个检测块的邻域都没有分布有点云，则表示这个检测块内分布的点云是相对孤立存在于预设目标平面区域的正上方，剔除这个检测块内分布的点云，具体是清除这个检测块内分布的点云，将其点云从预设目标平面区域的正上方剔除掉。
或者，当判断到存在一个检测块的邻域都没有分布有点云时，则继续判断这个检测块内分布的点云的数量是否小于定位数目阈值，是则剔除这个检测块内分布的点云。
前述步骤减少过于离散分布的点云对识别定位障碍物带来的噪声干扰，尤其是过远障碍物带来的定位误差问题，进而提高过近障碍物识别的准确性。
在所述步骤4中，所述剔除具有被阻挡采集视线的高度特征的检测块内的点云的方法包括：
步骤41、沿着远离3d-tof摄像头的方向检测每一列所述检测块分布的点云的高度，分别判断各列检测块中是否存在从矮至高变化的检测块序列，是则进入步骤42，否则进入步骤43；其中，从矮至高变化是对应参与判断的各个检测块中分布的最大高度的点云的高度位置变化，每个检测块分布的点云的最大高度表示各自检测块的实际高度，反映为所述三维直方图的各个直方块的稳定高度。
步骤42、记录这一检测块序列中的高度最大的点云所属的检测块，再将这个记录的检测块后方的高度相对小的检测块分布的点云剔除，然后返回步骤41，继续沿着原检测遍历方向去判断对应一列的剩余检测块（可以包括剔除点云的检测块）中是否还存在从矮至高变化的检测块序列，若还存在则确定这一检测块序列比上一次判断到的检测块序列的高度最大的点云还要高，继续重复前述剔除步骤，以实现将对应一列检测块中的高度最大的点云所属检测块的后方的检测块所分布的点云都剔除。
步骤43、记录这一检测块序列中的高度最大的点云所属的检测块，再将这个记录的检测块后方的检测块分布的点云剔除。
在本实施例中，需要先过滤坐标系转换后的点云中的存在的不利于当前定位的错误点，本实施例的步骤4用三维直方图形式存储的点云存在很多不合理的点，例如面对一堵墙时，在点云中的厚度达到了10cm之多，因此可以基于前述步骤，判断出机体当前位置前方采集到的这个表征墙体点云高度的检测块是否足够挡住视线，如果是，则这一检测块后面的检测块内的点云就算再有效（即被3d-tof摄像头预先采集并标记到所述局部地图中）也应该无法被当前位置下的3d-tof摄像头采集到，所以需要将这一检测块后面的检测块内的点云都剔除掉，避免直接使用预先采集并标记到所述局部地图中的对应点云位置定位，而没有考虑当前位置下的3d-tof摄像头的视角范围内的点云实际高度位置的影响，不利于移动机器人在当前位置处执行避障操作；也是理解为，点云本身的误差带来的实时定位的干扰因素，在当前位置下不能看到过高障碍物的后方，但是3d-tof摄像头已经采集到相关的深度图像，而本实施例的移动机器人容易使用将高度最大的检测块后面的检测块内的点云进行障碍物定位，容易产生定位误差。因此需将这一检测块后面较矮的检测块内的点云都剔除掉，保留高度最大的检测块前面的点云，用于实时定位和识别前方实际遇到的障碍物，从而克服点云位置测量误差带来的影响。
因此，与现有技术相比，基于前述的步骤41至步骤43，对于检测块分布的点云的剔除方式是建立在高度最大的点云的基础上进行的，具体按照实际物理环境中的山坡形状，选择保留抬升至山峰高度位置之前的点云，而删除山的背面对应的较矮的点云（具有被阻挡采集视线的高度特征的检测块内的点云），从而在移动机器人当前位置中保留起到显著视线阻挡效果的障碍物，从预设目标平面区域上对应的检测块中删除因实际高度位置的阻挡而无法用于当前位置的障碍物定位的点云，实现对局部地图的点云数据的过滤优化，也是理解为克服点云本身的测量误差（实际场景中看不到过高障碍物之后的检测块，而深度图像已经采集并转换到局部地图中）带来的定位干扰因素，显著降低过近障碍物的点云位置的误判现象，提高所述局部地图的实时定位的准确性。
步骤5、将各个检测块内分布的剩余的点云的位置标记为局部点云地图的三维位置，以实现局部点云地图的构建。在本实施例中，所述关键帧序列内存在三帧或三帧以上的深度图像，能够为构建局部点云地图和通过有效特征点定位障碍物提供更加充足的点云样本，尽管执行到步骤5时各个检测块内已经被剔除部分容易引起误差的点云，但是所述关键帧序列内存在的深度图像涉及的定位样本特征点足够多，可以保证局部点云地图更加稳定有效。
优选地，所述移动机器人采用先进先出（FIFO队列）的内存存储形式来缓存所述关键帧序列，以使所述移动机器人在移动过程中刷新所述关键帧序列内最新插入的所述关键帧，并获得与3d-tof摄像头当前实时采集的一帧深度图像在时间上是最近的所述关键帧。为了实现存储空间的优化，本实施例采用先进先出的方式存储队列存储最新筛选插入的关键帧，保证只存储最有效的帧序列，可以是离当前帧最近的三帧深度图像。先进先出（FIFO队列）的形式缓存的深度图像数据不冗余，进一步地准确地维护了有效的局部点云地图定位信息。
综上，前述步骤中，移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布状况的局部点云地图，从而通过融合处理当前帧深度图像与这些支持更新的关键帧的相对位姿，根据预设的显著位姿变化条件采样反映机器人周边大范围区域位置的点云，使得移动机器人利用这些关键帧建立能够完整覆盖到移动机器人前方的障碍物分布状况的局部点云地图，然后以三维直方图的形式去描述出不同高度位置的点云，方便使用点云在不同检测块的三维区域分布特征去除杂散点，解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题，提高过近过远障碍物场景的局部点云地图的适应性，显著降低超近距离下的障碍物位置识别定位的难度和误判概率。
在前述实施例中，所述预设有效特征点包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，其中，非过远点的深度值和非过近点的深度值都处于200mm至500mm之间，用于表征3d-tof摄像头的视角范围内移动机器人的前方的障碍物的有效位置特征点的集合。具体地，非过曝点、非欠曝点是根据3d-tof摄像头直接获得的，对于每一帧深度图像中的每一个像素点都有四种状态，包括过曝、欠曝、过远、过近，过曝点和欠曝点都是不可信的点；过近点和过远点都不会存储在队列（FIFO）中。从而排除掉深度图像中的非可信的像素点，包括受光照亮度影响较大的过曝点及欠曝点、受距离误差影响较大的过远点及过近点。提高深度图像定位的稳定性。其中，所述预设有效特征点是：移动机器人的前进方向上的有效标示物的特征点，所述3d-tof摄像头在移动机器人移动过程中从不同的方向采集到所述预设有效特征点的不同帧深度图像，包括在转弯过程中，先后从左方采集、靠近采集、右方采集、再到远离采集所述预设有效特征点，从而先后采集到同一标示物没有被阻挡视线的深度图像以及同一标示物已经被阻挡视线的深度图像，而移动机器人在完成所述局部点云地图构建方法时，先以三维直方图形式存储最大高度的点云可能是表征这一标示物已经被阻挡采集视线的环境位置特征。
一种视觉机器人，包括：3d-tof摄像头和处理单元，处理单元用于执行所述的局部点云地图构建方法； 3d-tof摄像头装配在视觉机器人的机体上，以使该3d-tof摄像头的视角覆盖所述视觉机器人的前方。以使该3d-tof摄像头在移动机器人移动的过程中以不同的视角采样目标障碍物的点云，然后在该视觉机器人移动至某一位置时，利用3d-tof摄像头的当前视角范围内预设目标平面区域的点云的高度位置分布特征，去除杂散点，只允许局部地图中保留下用于精准定位的最大高度和合理分布的点云，该视觉机器人在转弯过程中能够重新识别回：其在转弯前已经在视角范围内识别到的贴近机体边缘位置的障碍物或距离机体过近的障碍物，提高地过近过远障碍物场景的定位适应性，显著降低超近距离下的障碍物位置的误判概率。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (20)

1.一种局部点云地图构建方法，其特征在于，该局部点云地图构建方法包括：
步骤1、在移动机器人运动的过程中，控制移动机器人的3d-tof摄像头保持采集深度图像，并根据预设的显著位姿变化条件将3d-tof摄像头实时采集的当前帧深度图像插入关键帧序列内；然后进入步骤2；
步骤2、控制关键帧序列内的深度图像的预设有效特征点进行位姿变换，以成为摄像头坐标系下的点云，然后进入步骤3；
步骤3、在移动机器人的3d-tof摄像头的实时视角范围内，设置一个位于水平地面的预设目标平面区域，并在这个预设目标平面区域设置与其匹配的检测块，使得点云以三维直方图的形式标记在预设目标平面区域的正上方，然后进入步骤4；
步骤4、根据点云在各个检测块的高度位置分布特征，先剔除相应的检测块内呈现离散分布状态的点云，再剔除具有被阻挡采集视线的高度特征的检测块内的点云，然后进入步骤5；
步骤5、将各个检测块内分布的剩余的点云的位置标记为局部点云地图的三维位置，以实现局部点云地图的构建。
2.根据权利要求1所述局部点云地图构建方法，其特征在于，所述根据预设的显著位姿变化条件将3d-tof摄像头实时采集的当前帧深度图像插入关键帧序列内的方法具体包括：
分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与所述关键帧序列内的每一关键帧中的相同的预设有效特征点的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的包括预设有效特征点的深度图像的序列；
当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的相对位置关系；
其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
3.根据权利要求2所述局部点云地图构建方法，其特征在于，所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，以实现所述位姿变换；
其中，所述局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系。
4.根据权利要求3所述局部点云地图构建方法，其特征在于，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：
计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量；
当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。
5.根据权利要求4所述局部点云地图构建方法，其特征在于，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；
所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到并插入所述关键帧序列的深度图像时的镜头朝向角度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。
6.根据权利要求1所述局部点云地图构建方法，其特征在于，所述步骤1包括：
当移动机器人的3d-tof摄像头当前采集到当前帧深度图像时，调用移动机器人内部设置的惯性传感器测量移动机器人的当前位姿；
然后调用预先保存的关键帧序列内的每一关键帧对应的移动机器人实时位姿，分别计算移动机器人的当前位姿与每一关键帧对应的移动机器人实时位姿之间的相对位姿。
7.根据权利要求6所述局部点云地图构建方法，其特征在于，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：
计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与预先采集到所述关键帧中相同的或同类型的预设有效特征点之间产生的移动机器人的行走距离变化量及同一采集过程中发生的偏转角度变化量；
当所有的行走距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件；
其中，所述预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。
8.根据权利要求7所述局部点云地图构建方法，其特征在于，所述惯性传感器包括内设于移动机器人的机体中心的码盘和内设于移动机器人的机体中心的陀螺仪，码盘用于测量移动机器人的行走距离变化量，陀螺仪用于测量同一采集过程中移动机器人的偏转角度变化量；
其中，码盘测量得到的移动机器人位置坐标通过所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系转换到所述当前帧深度图像对应所属的摄像头坐标系下，以构建起局部点云地图。
9.根据权利要求8所述局部点云地图构建方法，其特征在于，所述关键帧序列内存在三帧或三帧以上的深度图像。
10.根据权利要求9所述局部点云地图构建方法，其特征在于，所述移动机器人采用先进先出的内存存储形式来缓存所述关键帧序列，以使所述移动机器人在移动过程中获得与3d-tof摄像头当前实时采集的一帧深度图像在时间上是最近的所述关键帧。
11.根据权利要求1至10任一项所述局部点云地图构建方法，其特征在于，所述预设目标平面区域是一个矩形区域，矩形区域的一边的中点是3d-tof摄像头的位置，这一边的长度等于所述移动机器人的机体直径，与该边垂直的另一边设置在3d-tof摄像头的视角前方，用于表征所述3d-tof摄像头采集的深度图像中的可探测深度距离。
12.根据权利要求11所述局部点云地图构建方法，其特征在于，所述步骤4中，当检测到一个所述点云的三维坐标位置落入其中一个所述检测块内时，则确定这个所述点云分布在这个所述检测块中，并记录这个点云的高度。
13.根据权利要求11所述局部点云地图构建方法，其特征在于，所述各点云以三维直方图的形式标记的方法包括：设置所述三维直方图所属的三维坐标系的坐标原点是3d-tof摄像头的位置，设置所述预设目标平面区域覆盖到这个三维坐标系的横轴的正方向的所述机体直径的一半的距离，设置所述预设目标平面区域覆盖到这个三维坐标系的横轴的负方向的所述机体直径的一半的距离，设置所述预设目标平面区域覆盖到这个三维坐标系的纵轴的正方向的所述可探测深度距离，设置所述检测块沿着这个三维坐标系的竖轴分布，配置所述检测块在这个三维坐标系的竖轴上占据的竖直高度用于表示所述检测块分布的点云的高度，对所述点云划分得到所述预设数量的三维直方图中，实现以三维直方图的形式存储所述点云；
其中，所述三维直方图所属的三维坐标系与所述局部地图的坐标系相同。
14.根据权利要求13所述局部点云地图构建方法，其特征在于，所述预设目标平面区域的面积与所述检测块的水平投影面积的比值是预设整数，以使得预设目标平面区域全部被预设整数的检测块平均划分占据。
15.根据权利要求13所述局部点云地图构建方法，其特征在于，所述步骤4中，所述剔除相应的检测块内呈现离散分布状态的点云的方法具体包括：
判断到所述检测块内分布的点云的数量是否小于定位数目阈值，是则将这个检测块分布的点云剔除，然后再剔除具有被阻挡采集视线的高度特征的检测块内的点云；否则直接剔除具有被阻挡采集视线的高度特征的检测块内的点云；其中，这个定位数目阈值用于描述所述离散分布状态；
和/或，判断是否存在一个检测块的邻域都没有分布有点云，是则剔除这个检测块内分布的点云，然后再剔除具有被阻挡采集视线的高度特征的检测块内的点云；否则直接剔除具有被阻挡采集视线的高度特征的检测块内的点云。
16.根据权利要求15所述局部点云地图构建方法，其特征在于，所述步骤4中，所述剔除具有被阻挡采集视线的高度特征的检测块内的点云的方法包括：
步骤41、沿着远离3d-tof摄像头的方向检测每一列检测块分布的点云的高度，分别判断各列检测块中是否存在从矮至高变化的检测块序列，是则进入步骤42，否则进入步骤43；其中，从矮至高变化是对应参与判断的各个检测块中分布的最大高度的点云的高度位置变化，每个检测块分布的点云的最大高度表示各自检测块的高度；
步骤42、记录这一检测块序列中的高度最大的点云所属的检测块，再将这个记录的检测块后方的高度相对小的检测块分布的点云剔除，然后返回步骤41；
步骤43、记录这一检测块序列中的高度最大的点云所属的检测块，再将这个记录的检测块后方的检测块分布的点云剔除。
17.根据权利要求16所述局部点云地图构建方法，其特征在于，所述关键帧序列内的关键帧上的预设有效特征点包括非过曝点、非欠曝点、非过远点、非过近点以及最大竖直高度大于20mm的像素点，其中，非过远点的深度值和非过近点的深度值都处于200mm至500mm之间。
18.根据权利要求16所述局部点云地图构建方法，其特征在于，所述预设有效特征点是用于表征所述障碍物的特征点，或用于表征所述障碍物之外的标准路标的特征点；
其中，所述3d-tof摄像头在移动机器人移动过程中从不同的方向采集到所述预设有效特征点的不同帧深度图像。
19.根据权利要求15所述局部点云地图构建方法，其特征在于，判断是否存在一个检测块的8个邻域都没有分布有点云，是则剔除这个检测块内分布的点云。
20.一种视觉机器人，其特征在于，包括：3d-tof摄像头和处理单元，处理单元用于执行权利要求1至19任一项所述的局部点云地图构建方法；
3d-tof摄像头装配在视觉机器人的机体上，以使该3d-tof摄像头的视角覆盖所述视觉机器人的前方。
CN202011192850.8A 2020-10-30 2020-10-30 一种局部点云地图构建方法及视觉机器人 Active CN112348893B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202011192850.8A CN112348893B (zh) 2020-10-30 2020-10-30 一种局部点云地图构建方法及视觉机器人
JP2022540796A JP7375206B2 (ja) 2020-10-30 2021-06-03 局所点群地図の構築方法及び視覚ロボット
PCT/CN2021/098145 WO2022088680A1 (zh) 2020-10-30 2021-06-03 一种局部点云地图构建方法及视觉机器人
EP21884422.3A EP4083921A4 (en) 2020-10-30 2021-06-03 LOCAL POINT CLOUD MAP CONSTRUCTION METHOD AND VISION ROBOT
KR1020227022513A KR20220113977A (ko) 2020-10-30 2021-06-03 로컬 포인트 클라우드 맵 생성 방법 및 시각 로봇
US17/785,403 US20230249353A1 (en) 2020-10-30 2021-06-03 Method for building a local point cloud map and Vision Robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011192850.8A CN112348893B (zh) 2020-10-30 2020-10-30 一种局部点云地图构建方法及视觉机器人

Publications (2)

Publication Number Publication Date
CN112348893A true CN112348893A (zh) 2021-02-09
CN112348893B CN112348893B (zh) 2021-11-19

Family

ID=74356944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011192850.8A Active CN112348893B (zh) 2020-10-30 2020-10-30 一种局部点云地图构建方法及视觉机器人

Country Status (6)

Country Link
US (1) US20230249353A1 (zh)
EP (1) EP4083921A4 (zh)
JP (1) JP7375206B2 (zh)
KR (1) KR20220113977A (zh)
CN (1) CN112348893B (zh)
WO (1) WO2022088680A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686347A (zh) * 2021-08-11 2021-11-23 追觅创新科技(苏州)有限公司 机器人导航路径的生成方法及装置
CN113787516A (zh) * 2021-08-16 2021-12-14 深圳优地科技有限公司 定位方法、装置和机器人
WO2022088680A1 (zh) * 2020-10-30 2022-05-05 珠海一微半导体股份有限公司 一种局部点云地图构建方法及视觉机器人
CN115273068A (zh) * 2022-08-02 2022-11-01 湖南大学无锡智能控制研究院 一种激光点云动态障碍物剔除方法、装置及电子设备
WO2023204105A1 (ja) * 2022-04-21 2023-10-26 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、データ製造方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240081011A (ko) 2022-11-30 2024-06-07 현대위아 주식회사 자율주행 로봇 및 이의 자율주행 경로 생성 방법
KR20240092382A (ko) 2022-12-14 2024-06-24 현대위아 주식회사 3d 포인트 클라우드를 이용하여 객체를 감지하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190200046A1 (en) * 2019-03-04 2019-06-27 Intel Corporation Volumetric video compression with motion history
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110689622A (zh) * 2019-07-05 2020-01-14 电子科技大学 一种基于点云分割匹配闭环校正的同步定位与构图算法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183631B2 (en) 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
EP3159121A4 (en) * 2014-06-17 2018-05-16 Yujin Robot Co., Ltd. Device for updating map of mobile robot and method therefor
CN104732518B (zh) 2015-01-19 2017-09-01 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
KR102403504B1 (ko) * 2015-11-26 2022-05-31 삼성전자주식회사 이동 로봇 및 그 제어 방법
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN106441306A (zh) * 2016-10-18 2017-02-22 华东师范大学 自主定位与地图构建的智能生命探测机器人
US10962647B2 (en) * 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
CN107160395B (zh) * 2017-06-07 2020-10-16 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
KR102326077B1 (ko) * 2017-06-15 2021-11-12 엘지전자 주식회사 3차원 공간의 이동 객체를 식별하는 방법 및 이를 구현하는 로봇
WO2019039733A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체
US10296798B2 (en) * 2017-09-14 2019-05-21 Ncku Research And Development Foundation System and method of selecting a keyframe for iterative closest point
CN109579847B (zh) * 2018-12-13 2022-08-16 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备
US11189020B2 (en) * 2019-02-06 2021-11-30 Thanh Phuoc Hong Systems and methods for keypoint detection
CN110031825B (zh) 2019-04-17 2021-03-16 北京智行者科技有限公司 激光定位初始化方法
US11080862B2 (en) * 2019-11-18 2021-08-03 Ncku Research And Development Foundation Reliability based keyframe switching system and method adaptable to ICP
KR20230078675A (ko) * 2020-10-01 2023-06-02 퀄컴 인코포레이티드 다수의 광 스펙트럼들을 캡처하는 카메라들을 사용하는 동시 위치측정 및 맵핑
CN112348893B (zh) * 2020-10-30 2021-11-19 珠海一微半导体股份有限公司 一种局部点云地图构建方法及视觉机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190200046A1 (en) * 2019-03-04 2019-06-27 Intel Corporation Volumetric video compression with motion history
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
CN110689622A (zh) * 2019-07-05 2020-01-14 电子科技大学 一种基于点云分割匹配闭环校正的同步定位与构图算法
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯荣波 等: "基于ORB-SLAM的室内机器人定位和三维稠密地图构建", 《计算机应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088680A1 (zh) * 2020-10-30 2022-05-05 珠海一微半导体股份有限公司 一种局部点云地图构建方法及视觉机器人
CN113686347A (zh) * 2021-08-11 2021-11-23 追觅创新科技(苏州)有限公司 机器人导航路径的生成方法及装置
CN113686347B (zh) * 2021-08-11 2024-06-04 北京小米移动软件有限公司 机器人导航路径的生成方法及装置
CN113787516A (zh) * 2021-08-16 2021-12-14 深圳优地科技有限公司 定位方法、装置和机器人
WO2023204105A1 (ja) * 2022-04-21 2023-10-26 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、データ製造方法
CN115273068A (zh) * 2022-08-02 2022-11-01 湖南大学无锡智能控制研究院 一种激光点云动态障碍物剔除方法、装置及电子设备
CN115273068B (zh) * 2022-08-02 2023-05-12 湖南大学无锡智能控制研究院 一种激光点云动态障碍物剔除方法、装置及电子设备

Also Published As

Publication number Publication date
EP4083921A4 (en) 2023-08-23
JP7375206B2 (ja) 2023-11-07
CN112348893B (zh) 2021-11-19
US20230249353A1 (en) 2023-08-10
EP4083921A1 (en) 2022-11-02
WO2022088680A1 (zh) 2022-05-05
JP2023509153A (ja) 2023-03-07
KR20220113977A (ko) 2022-08-17

Similar Documents

Publication Publication Date Title
CN112348893B (zh) 一种局部点云地图构建方法及视觉机器人
CN112014857B (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
CN110801180B (zh) 清洁机器人的运行方法及装置
CN112288811A (zh) 多帧深度图像定位的关键帧融合控制方法及视觉机器人
CN114842438A (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
CN106871906B (zh) 一种盲人导航方法、装置及终端设备
KR20210141668A (ko) 서로 상대적으로 움직이는 복수의 정형 객체의 검출, 3d 재구성 및 추적
CN112802196B (zh) 基于点线特征融合的双目惯性同时定位与地图构建方法
CN110597265A (zh) 一种扫地机器人回充方法和装置
CN110136174B (zh) 一种目标对象跟踪方法和装置
CN112950696A (zh) 导航地图的生成方法及生成装置、电子设备
CN111950440A (zh) 一种识别与定位门的方法、装置及存储介质
CN208289901U (zh) 一种增强视觉的定位装置及机器人
CN115376109A (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114114367A (zh) Agv室外定位切换方法、计算机装置及程序产品
CN112258553A (zh) 一种基于多源图像融合的全天时目标跟踪方法
JP2964402B1 (ja) 三次元地図データベースの作成方法及び装置
Smuda et al. Multiple cue data fusion with particle filters for road course detection in vision systems
CN111780744A (zh) 移动机器人混合导航方法、设备及存储装置
CN117152949A (zh) 一种基于无人机的交通事件识别方法及系统
CN115388880A (zh) 一种低成本记忆泊车建图与定位方法、装置及电子设备
CN112330808B (zh) 一种基于局部地图的优化方法及视觉机器人
CN114563000A (zh) 一种基于改进型激光雷达里程计的室内外slam方法
CN112818866A (zh) 车辆定位的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong

Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd.

Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province

Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant