CN110893617A - 障碍物检测方法、装置及存储装置 - Google Patents

障碍物检测方法、装置及存储装置 Download PDF

Info

Publication number
CN110893617A
CN110893617A CN201811069386.6A CN201811069386A CN110893617A CN 110893617 A CN110893617 A CN 110893617A CN 201811069386 A CN201811069386 A CN 201811069386A CN 110893617 A CN110893617 A CN 110893617A
Authority
CN
China
Prior art keywords
point cloud
cloud data
ground plane
obstacle
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811069386.6A
Other languages
English (en)
Other versions
CN110893617B (zh
Inventor
熊友军
毕占甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youbixuan Intelligent Robot Co ltd
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN201811069386.6A priority Critical patent/CN110893617B/zh
Publication of CN110893617A publication Critical patent/CN110893617A/zh
Application granted granted Critical
Publication of CN110893617B publication Critical patent/CN110893617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种障碍物检测方法、装置及存储装置，该方法包括：获取当前帧深度图像的三维点云数据；从三维点云数据中提取地平面；从三维点云数据中提取多个障碍物点，每一障碍物点距离地平面的距离大于预设阈值；利用障碍物点的三维点云数据进行处理以得到障碍物的模拟二维数据。通过上述方式，本申请能够为机器人的导航决策系统进行实时路径规划提供输入数据，且可以显著降低机器人的导航方案的部署成本。

Description

障碍物检测方法、装置及存储装置
技术领域
本申请涉及智能机器人技术领域，特别是涉及一种障碍物检测方法、装置及存储装置。
背景技术
障碍物检测是移动机器人领域中一个极其重要的技术，移动机器人一般通过传感器获取探测数据并进行处理分析，得到检测结果。现有技术中，主要通过多传感器信息融合来进行障碍物检测，现实中如无人车中普遍使用多二维单线激光雷达的多平面探测的信息融合达到障碍物检测效果，其主要是采用多二维激光雷达多水平平面组网等形式实现无人车的多水平平面二维检测，但仍然无法实现对三维立体空间范围内的障碍物的有效检测。
发明内容
本申请提供一种障碍物检测方法、装置及存储装置，能够实时检测地平面信息并将地平面上一定高度的障碍物信息模拟成二维数据，为机器人的导航决策系统进行实时路径规划提供输入数据，可以显著降低机器人的导航方案的部署成本。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种障碍物检测方法，所述检测方法包括：获获取当前帧深度图像的三维点云数据；从所述三维点云数据中提取地平面；从所述三维点云数据中提取多个障碍物点，每一所述障碍物点距离所述地平面的距离大于预设阈值；利用所述障碍物点的三维点云数据进行处理以得到所述障碍物的模拟二维数据。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种障碍物检测装置，所述装置包括处理器及存储器，所述处理器连接所述存储器；其中，所述处理器用于获取当前帧深度图像的三维点云数据；从所述三维点云数据中提取地平面；从所述三维点云数据中提取多个障碍物点，每一所述障碍物点距离所述地平面的距离大于预设阈值；利用所述障碍物点的三维点云数据进行处理以得到所述障碍物的模拟二维数据。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储装置，存储有能够实现上述任一所述方法的程序文件。
本申请的有益效果是：提供一种障碍物检测方法、装置及存储装置，通过实时获取当前帧深度图像的三维点云数据，并从三维点云数据中提取出地平面信息，将距离地平面上预设高度值的障碍物点的点云数据投射到二维空间模拟成二维数据，从而为机器人的导航决策系统进行实时的路径规划提供输入数据，且在满足三维空间下双足机器人导航需求的前提下能够显著降低机器人上的导航方案的部署成本。
附图说明
图1是本申请障碍物检测方法一实施方式的流程示意图；
图2是本申请步骤S1一实施方式的流程示意图；
图3是本申请相机模型一实施方式的原理示意图；
图4是本申请图像物理坐标系和图像像素坐标系的转换示意图；
图5是本申请步骤S2一实施方式的流程示意图；
图6是本申请步骤S3一实施方式的流程示意图；
图7是本申请障碍物点选取方式的示意图；
图8是本申请步骤S5一实施方式的流程示意图；
图9是本申请障碍物点投影到相机第一平面的投影示意图；
图10是本申请障碍物检测装置一实施方式的结构示意图；
图11是本申请存储装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请障碍物检测方法一实施方式的流程示意图。
本申请提供的障碍物检测方法用于实时检测三维环境中各种平面和障碍物的存在，该检测方法通过提取出三维环境中的地平面信息，并提出该地平面信息以得到障碍物的三维点云数据，并将该障碍物的三维点云数据转化为二维的激光数据，从而可以为机器人的导航决策系统进行实时路径规划提供输入数据，以此进行地面障碍物的规避。且本申请中采用的深度相机可以为RGB-D相机，用于拍摄得到可见光波段的彩色图像(RGB图像)和红外测距得到的深度图像(D图像)，当然在其他实施方式中还可以采用TOF相机以及结构光深度相机，此处不做具体限定。进一步本申请应用场景中采用的机器人可以为未搭载三维激光雷达的双足机器人。
可选地，本申请的障碍物检测方法具体包括如下步骤：
S1，获取当前帧深度图像的三维点云数据。
进一步结合图2，图2为本申请步骤S1一实施方式的流程示意图，步骤S1包括如下步骤：
S11，获取当前场景的深度图像。
本实施例中，深度相机(RGB-D)按照固定的频率扫描得到以的当前环境的每一帧图像数据，其中，每一帧图像中不仅包括了场景中点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，这个距离值被称为深度值(depth)这些深度值共同组成了这一帧的深度图像(D图像)。其中，深度图像可以看作是一幅灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到相机所在垂直平面的真实距离。
S12，根据深度相机的内部参数将深度图像的像素坐标转换为深度相机坐标系下的三维空间点坐标，以得到三维点云数据。
深度相机将三维世界中的坐标点(单位为米)映射到二维图像平面(单位为像素)的过程能够用一个几何模型进行描述，其中，最为典型的为针孔相机投影模型。
为了得到空间三维物体到RGB-D深度相机的二维图像的映射关系，需要先知道相机坐标系和图像坐标系之间的关系。图像坐标系可以分为图像像素坐标系和图像物理坐标系两个。具体来说，对应现实场景中的点，深度相机能够获取其在彩色图像中的成像点以及该成像点至深度相机所在的垂直平面的距离。具体可以结合图3，其中，以相机的光心位置为原点O，相机所朝的方向为Z轴，相机垂直平面的两个轴向分别为X轴和Y轴建立相机的局部三维坐标系，一般以相机的X轴向右，Y轴向下。三维环境中的空间点P，经过相机光心O投影之后，落在图像物理成像平面上图3所示的O′-X′-Y′平面上，成像点为P′。设P的坐标为[X，Y，Z]T，P′为[X′，Y′，Z′]T，并且设图像物理成像平面到相机光心的距离为f(焦距)，可以得到空间点和其图像物理成像平面之间的空间关系为：
Figure BDA0001799136330000041
结合图4，通常情况下RGB-D相机最终获取到的是一个个的像素，为了描述传感器将感受到的光线转换成图像像素的过程，设在物理成像平面上固定着一个像素平面O-u-v(图像像素坐标系)，在像素平面可以得到P′的像素坐标为[u，v]T。其中，该图像像素坐标系原点O′位于图像的左上角，u轴向右与X`轴平行，v轴向下与Y`轴平行。像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。假设像素坐标在u轴上缩放了α倍，在v上缩放了β倍。同时，原点平移了[cx，cy]T。那么P′的坐标与像素坐标[u，v]T的关系可以为：
Figure BDA0001799136330000042
其中，fx、fy、cx、cy为相机的内参，fx、fy为相机在x、y两个轴上的焦距，cx、cy为相机的光圈中心，且通常认为相机的内参在出厂之后是固定的，不会在使用过程中发生变化。
同理，本实施例中也可以采用针孔相机投影模型将深度图像中每一像素点坐标还原为相机坐标系下的三维空间点云坐标，从而组成当前三维环境的点云数据。直接读取RGB-D深度相机以固定频率输出的深度图像，按照图像像素在物理内存中存储的顺序进行遍历，遍历过程中使用事先标定得到的相机内参fx、fy、cx、cy，根据针孔相机投影模型将像素坐标还原为在相机坐标系下的三维空间点坐标，具体转换过程如下：
Figure BDA0001799136330000051
其中，上式的(u，v)为特征点在图像中的像素坐标，(X，Y，Z)即为其对应的相机坐标系下的三维空间点坐标，d为此像素点的深度值。按照公式(3)的转换过程，可以将深度图像中的每一点像素坐标均还原为相机坐标系下的三维点坐标，从而得到当前帧深度图像的三维点云数据。
S2，从三维点云数据中提取地平面。
使用双目系统、三维激光扫描仪等新兴测量技术生成的点云中常包含目标物体的平面特征，对其平面进行拟合识别具有重要的意义。常用的对平面信息进行拟合的方法有最小最小二乘法、特征值法以及随机一致性算法(Random Sample Consensus，RANSAC)等等，本申请中采用随机一致性算法进行三维点云数据的平面拟合，与其他算法不同，随机抽样一致性算法不是用所有初始数据去获取一个初始解然后剔除无效数据，而是使用满足可行条件的尽量少的初始数据，并使用一致性数据集去扩大它，这是一种寻找模型去拟合数据的思想，在计算机视觉领域有较广泛的应用。参阅图5，步骤S2进一步包括如下子步骤：
S21，随机选取三维点云数据中的至少三个点云数据进行拟合，以得到拟合地平面方程。
首先已知面向地面的RGB-D深度相机在双足机器人上安装的高度和俯角，即已知深度相机的光心距离地平面的高度D以及深度相机的俯角范围。在上述当前帧深度图像的三维点云数据中随机选取至少三个点(假设该随机选取的点为地平面模型的内点)，本申请选用三个点直接确定该随机点组成的地平面方程，假设该拟合地平面方程为Ax+By+Cz+D＝0。
S22，计算三维点云数据中剩余点云数据至拟合地平面的距离。
在确定该随机点组成的地平面方程后，分别计算剩余的点云数据至该拟合地平面的距离，假设可以为
Figure BDA0001799136330000061
S23，根据距离判断剩余点云数据是否为拟合地平面的内点。
本实施例中，通过预先设置的阈值距离来判断剩余点云是否属于该拟合地平面的内点。在具体应用场景中阈值距离可以选为t，若为diD≤t则认为该点为地平面模型的内点，则进入步骤S24，若判断为否，则进入步骤S23，继续计算剩余点距离所述拟合地平面的距离。
S24，则统计拟合地平面的内点个数。
S25，选取内点个数最多的拟合平面重新拟合以得到地平面。
重复上述步骤S21至步骤S24，在判断剩余点云是否为拟合地平面的内点时，如果该地平面模型的内点数量过少则舍弃该地平面模型，另一种情况下若得到该地平面模型的法向量与深度相机的俯角偏差较大则也需舍弃该地平面模型，再者若深度相机的光心到地平面模型的距离与已知的深度相机安装高度距离较大也需舍弃该地平面模型，即步骤S25中需要反复迭代固定次数，选出最好的拟合地平面的模型，即该地平面模型内内点个数最多。进一步对该内点最多的拟合地平面采用特征值法进行重新拟合，以得到最终的地平面方程，举例来说本申请中的地平面方程可以假设为Ax+By+Cz+D＝0。
其中，在计算地平面所用的三个点中若包含异常点，那么该地平面所对应的内点数量不会是最多的，故阈值距离t的选择很重要，在判断内点的时候如果选择过小的阈值距离会放弃应选择的内点，而选择过大的阈值距离则可能将异常点误判为内点，故本申请中阈值距离t的实际选择和点云数据中的误差点的误差大小相关。
S3，调整三维点云数据的姿态面，以使得地平面平行于深度相机坐标系的第一平面。
进一步参阅图6，步骤S3进一步包括如下子步骤：
S31，获取深度相机的光心距离地平面的垂直高度。
步骤S25中拟合得到的地平面的平面方程为Ax+By+Cz+D＝0，可知该地平面的法向量为(A，B，C)，深度相机的光心距离该地平面的垂直高度为D。
S32，获取地平面平行第一平面时的法向量，以得到三维点云数据姿态的调整参数。
本申请中相机的光心位置为原点O，相机所朝的方向为Z轴，相机垂直平面的两个轴向分别为X轴和Y轴建立相机的局部三维坐标系，一般以相机的X轴向右，Y轴向下。其中，X轴和Z轴组成的平面可以为相机坐标系的第一平面，Z轴和Y轴组成的平面可以为相机坐标系的第二平面，X轴和Y轴组成的平面可以为相机坐标系的第三平面，该第一平面、第二平面以及第三平面相互垂直。当然，在其他实施方式，相机坐标系的建立也可以采用其它方式，例如Y轴为相机的朝向，X轴和Z轴为垂直平面的坐标轴，此处不做进一步限定。
可选地，当地平面和相机坐标系的第一平面平行时(XZ平面)，可以得到此时该地平面的法向量为(0，-1，0)。进一步，根据已知两平面的法向量的点乘和叉乘运算可以得到三维点云数据姿态的调整参数。即通过两平面法向量的点乘运算可以得出两平面夹角的余弦值，根据两个平面法向量的叉乘运算可以求得两个平面之间的旋转轴，根据旋转轴和两平面的夹角得到旋转向量，此旋转向量即为姿态调整参数。
S33，根据调整参数调整三维点云数据的姿态，以使得地平面平行于第一平面。
在得到调整参数后，根据该调整参数对整个三维点云数据的姿态进行调整，以使得地平面平行于相机坐标系的第一平面。
S4，从三维点云数据中提取多个障碍物点，每一障碍物点距离地平面的距离大于预设阈值。
在对整个三维点云数据的姿态进行调整后，需要从该三维点云数据中提取出多个障碍物点的三维点云数据。本实施例中通过设置一预设的阈值来实现三维点云数据中障碍物点的判断。如图7为例，假设本申请中相机的光心距离所述地平面的距离为D，障碍物点距离地平面的预设阈值设置为H，那么本实施例中的障碍物点距离地平面的预设阈值H则小于相机的光心距离所述地平面的距离为D，在具体应用场景中则D-H部分的点云数据可以认为是所有障碍物点的三维点云数据，预设阈值H以下部分的点云数据则可以认为是地平面的三维点云数据。
S5，利用障碍物点的三维点云数据进行处理以得到障碍物的模拟二维数据。
参阅图8，步骤S5进一步包括如下子步骤：
S51，将障碍物点的三维点云数据分别投影到深度相机坐标系的第一平面。
在获取到所有障碍物点的三维点云数据后，将每一障碍物点的点云数据分别投影到深度相机坐标系的第一平面，即XZ平面。举例来说，参见图9假设将遍历到的点P投影到该第一平面内，点Pxz的坐标为(a，0，c)，本申请中相机的坐标系不一定为图9所示的放置位置，本申请只是为了描述方便才将其简化为图9所示的状态，实际场景中相机的姿态和其在机器人身上的安装位置相关，以及和其拍摄时旋转的位姿相关，此处不做具体限定。
S52，分别计算各投影点到深度相机原点间的欧氏距离以及和投影点和原点组成的线段距离深度相机第一平面Z轴正向的夹角值。
可选地，将上述所有障碍物点的点云数据均投影到第一平面后，则可以分别计算各投影点到深度相机原点间的欧氏距离以及和投影点和原点组成的线段距离深度相机第一平面Z轴正向的夹角值。结合图7来说点Pxz到原点O的欧氏距离可以计算得到，OPxz和Z轴间夹角的角度值θ也可以通过计算得到。
S53，记录角度值相同的投影点到深度相机原点间欧氏距离最小的投影点数据，以得到障碍物点的模拟二维数据。
可选地，在将障碍物进行投影到XZ平面时，不同的障碍物点投影到XZ平面时其和Z轴正向的夹角可能是相同的，但其距离相机原点位置的距离则可能不相同，此时则分别记录并存储和Z轴正向夹角值相同的障碍物点中其和相机原点O之间欧式距离最小的点投影点数据(包括距离相机原点的欧式距离及和Z轴正向的夹角值)，且由此将三维空间中地平面以上部分的障碍物点的三维点云数据投射到二维平面上，以得到障碍物点的模拟二维数据。在具体实施方式中，该模拟二维数据可以为模拟二维激光数据。
可选地，二维激光数据的视场角与深度相机的水平视场角相同，对于计算出的夹角值超出相机视场角的离群点需要进行剔除。也即是投影点Pxz和原点O组成的线段OPxz和Z轴正向之间的夹角值需要小于深度相机的视场角，且该夹角值的绝对值最大不能超过深度相机的视场角的二分之一，若大于则将该数据剔除，最终发布出具有实时性的二维激光数据，且该实时性的二维激光数据可以作为传感器信息实施输入到导航决策的路径规划算法中去，以此进行机器人地面障碍物的规避。
上述实施方式中，通过实时获取当前帧深度图像的三维点云数据，并从三维点云数据中提取出地平面信息，将距离地平面上预设高度值的障碍物点的点云数据投射到二维空间模拟成二维数据，从而为机器人的导航决策系统进行实时的路径规划提供输入数据。且本申请的技术方案对于未搭载三维激光雷达的双足机器人来说，是一种低成本且相对较可靠的立体避障的解决方法，即在满足三维空间下机器人导航需求的前提下能够显著降低机器人的导航方案的部署成本。
请参阅图10，图10为本申请障碍物检测装置一实施方式的结构示意图。如图9所示，该装置包括处理器11及存储器12，处理器11连接存储器12。
其中，处理器11用于获取当前帧深度图像的三维点云数据；从三维点云数据中提取地平面；从三维点云数据中提取多个障碍物点，每一障碍物点距离地平面的距离大于预设阈值；利用障碍物点的三维点云数据进行处理以得到障碍物的模拟二维数据。
其中，处理器11还可以称为CPU(Central Processing Unit，中央处理单元)。处理器11可能是一种集成电路芯片，具有信号的处理能力。处理器11还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述装置中处理器可分别执行上述方法实施例中对应的步骤，故此处不再赘述，详细请参阅以上对应步骤的具体说明。
上述实施方式中，通过实时获取当前帧深度图像的三维点云数据，并从三维点云数据中提取出地平面信息，将距离地平面上预设高度值的障碍物点的点云数据投射到二维空间模拟成二维数据，从而为机器人的导航决策系统进行实时的路径规划提供输入数据。且本申请的技术方案对于未搭载三维激光雷达的双足机器人来说，是一种低成本且相对较可靠的立体避障的解决方法，即在满足三维空间下双足机器人导航需求的前提下能够显著降低机器人上的导航方案的部署成本。
参阅图11，图11为本申请存储装置一实施方式的结构示意图。本申请的存储装置存储有能够实现上述所有方法的程序文件21，其中，该程序文件21可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
综上所述，本领域技术人员容易理解，提供一种障碍物检测方法、装置及存储装置，通过实时获取当前帧深度图像的三维点云数据，并从三维点云数据中提取出地平面信息，将距离地平面上预设高度值的障碍物点的点云数据投射到二维空间模拟成二维数据，从而为机器人的导航决策系统进行实时的路径规划提供输入数据。且本申请的技术方案对于未搭载三维激光雷达的双足机器人来说，是一种低成本且相对较可靠的立体避障的解决方法，即在满足三维空间下双足机器人导航需求的前提下能够显著降低机器人上的导航方案的部署成本。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种障碍物检测方法，其特征在于，所述检测方法包括：
获取当前帧深度图像的三维点云数据；
从所述三维点云数据中提取地平面；
从所述三维点云数据中提取多个障碍物点，每一所述障碍物点距离所述地平面的距离大于预设阈值；
利用所述障碍物点的三维点云数据进行处理以得到所述障碍物的模拟二维数据。
2.根据权利要求1所述的检测方法，其特征在于，所述预设阈值小于深度相机光心距离所述地平面的距离。
3.根据权利要求1所述的检测方法，其特征在于，所述获取当前帧深度图像的三维点云数据包括：
获取当前场景的所述深度图像；
根据深度相机的内部参数将所述深度图像的像素坐标转换为所述深度相机坐标系下的三维空间点坐标，以得到所述三维点云数据。
4.根据权利要求1所述的检测方法，其特征在于，所述从所述三维点云数据中提取地平面包括：
随机选取所述三维点云数据中的至少三个点云数据进行拟合，以得到拟合地平面方程；
计算所述三维点云数据中剩余点云数据至所述拟合地平面的距离；
根据所述距离判断所述剩余点云数据是否为所述拟合地平面的内点；
若判断为是，则统计所述拟合地平面的所述内点个数；
选取所述内点个数最多的所述拟合平面重新拟合以得到所述地平面。
5.根据权利要求1所述的检测方法，其特征在于，所述从所述三维点云数据中提取地平面之后包括：
调整所述三维点云数据的姿态，以使得所述地平面平行于深度相机坐标系的第一平面。
6.根据权利要求5所述的检测方法，其特征在于，所述方法进一步包括：
获取所述深度相机的光心距离所述地平面的垂直高度；
获取所述地平面平行所述第一平面时的法向量，以得到所述三维点云数据姿态的调整参数；
根据所述调整参数调整所述三维点云数据的姿态，以使得所述地平面平行于所述第一平面。
7.根据权利要求1所述的检测方法，其特征在于，所述利用所述障碍物点的三维点云数据进行处理以得到所述障碍物的模拟二维数据包括：
将所述障碍物点的三维点云数据分别投影到深度相机坐标系的第一平面；
分别计算各投影点到所述深度相机原点间的欧氏距离以及和所述投影点和所述原点组成的线段距离所述深度相机所述第一平面Z轴正向的夹角值；
记录所述角度值相同的所述投影点到所述深度相机原点间欧氏距离最小的投影点数据，以得到所述障碍物点的模拟二维数据。
8.根据权利要求7所述的检测方法，其特征在于，所述夹角值小于所述深度相机的视场角。
9.一种障碍物检测装置，其特征在于，所述装置包括处理器及存储器，所述处理器连接所述存储器；其中，所述处理器用于获取当前帧深度图像的三维点云数据；从所述三维点云数据中提取地平面；从所述三维点云数据中提取多个障碍物点，每一所述障碍物点距离所述地平面的距离大于预设阈值；利用所述障碍物点的三维点云数据进行处理以得到所述障碍物的模拟二维数据。
10.一种存储装置，其特征在于，存储有能够实现如权利要求1-8中任一项所述方法的程序文件。
CN201811069386.6A 2018-09-13 2018-09-13 障碍物检测方法、装置及存储装置 Active CN110893617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811069386.6A CN110893617B (zh) 2018-09-13 2018-09-13 障碍物检测方法、装置及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811069386.6A CN110893617B (zh) 2018-09-13 2018-09-13 障碍物检测方法、装置及存储装置

Publications (2)

Publication Number Publication Date
CN110893617A true CN110893617A (zh) 2020-03-20
CN110893617B CN110893617B (zh) 2021-09-17

Family

ID=69785571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811069386.6A Active CN110893617B (zh) 2018-09-13 2018-09-13 障碍物检测方法、装置及存储装置

Country Status (1)

Country Link
CN (1) CN110893617B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267107A (zh) * 2020-03-23 2020-06-12 上海高仙自动化科技发展有限公司 控制方法、机器人、电子设备和可读存储介质
CN111598034A (zh) * 2020-05-22 2020-08-28 知行汽车科技（苏州）有限公司 障碍物检测方法、装置及存储介质
CN111595328A (zh) * 2020-06-01 2020-08-28 四川阿泰因机器人智能装备有限公司 基于深度相机的真实障碍物地图构建和导航方法及系统
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111671457A (zh) * 2020-06-19 2020-09-18 滨松光子医疗科技(廊坊)有限公司 一种适用于核医学影像设备的运动干涉算法
CN111700544A (zh) * 2020-05-07 2020-09-25 苏州品坤智能科技有限公司 一种智能清洁机器人的防碰撞控制系统及其控制方法
CN111761581A (zh) * 2020-07-07 2020-10-13 上海木木聚枞机器人科技有限公司 路径规划方法及装置、狭窄空间行进方法及装置
CN111768490A (zh) * 2020-05-14 2020-10-13 华南农业大学 基于迭代最近点与人工干预的植物三维建模方法及系统
CN111860321A (zh) * 2020-07-20 2020-10-30 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN111890343A (zh) * 2020-07-29 2020-11-06 浙江广合智能科技有限公司 一种机器人载物碰撞检测方法及装置
CN111993425A (zh) * 2020-08-25 2020-11-27 深圳市优必选科技股份有限公司 一种避障方法、装置、机械臂及存储介质
CN112150527A (zh) * 2020-08-31 2020-12-29 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质
CN112365534A (zh) * 2020-11-12 2021-02-12 上海明华电力科技有限公司 一种基于单目相机三维重建的大型煤堆体积测量方法
CN112419390A (zh) * 2020-11-26 2021-02-26 北京华捷艾米科技有限公司 一种人体身高测量方法及系统
CN112597946A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 障碍物表示方法、装置、电子设备及可读存储介质
CN112710313A (zh) * 2020-12-31 2021-04-27 广州极飞科技股份有限公司 覆盖路径生成方法、装置、电子设备和存储介质
CN112927338A (zh) * 2021-03-30 2021-06-08 深圳裹动智驾科技有限公司 基于三维轮廓的仿真方法、存储介质及计算机设备
CN113269820A (zh) * 2021-05-26 2021-08-17 北京地平线信息技术有限公司 空间几何信息估计模型的生成方法和装置
CN113610883A (zh) * 2021-04-30 2021-11-05 新驱动重庆智能汽车有限公司 点云处理系统和方法、计算机设备和存储介质
CN113744323A (zh) * 2021-08-11 2021-12-03 深圳蓝因机器人科技有限公司 点云数据处理方法和装置
CN114446092A (zh) * 2022-01-19 2022-05-06 无锡学院 一种基于三维相机组网的s型公路模拟障碍物预警方法
CN114911220A (zh) * 2021-02-08 2022-08-16 珠海一微半导体股份有限公司 基于激光点云拟合直线和选取参考边的方法及机器人
CN115154074A (zh) * 2022-05-30 2022-10-11 上海炬佑智能科技有限公司 一种具有避障功能的智能轮椅
CN117671648A (zh) * 2024-02-02 2024-03-08 深圳市其域创新科技有限公司 障碍点的检测方法、设备及存储介质
WO2024138508A1 (zh) * 2022-12-29 2024-07-04 华为技术有限公司 一种障碍物检测方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
JP2014089548A (ja) * 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN106908052A (zh) * 2017-02-09 2017-06-30 北京光年无限科技有限公司 用于智能机器人的路径规划方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089548A (ja) * 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN106908052A (zh) * 2017-02-09 2017-06-30 北京光年无限科技有限公司 用于智能机器人的路径规划方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨高强: "基于RGB-D传感器的移动机器人三维重建与避障", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈之杰: "基于RGB-D感知的移动机器人三维地图构建与导航研究及应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267107B (zh) * 2020-03-23 2021-07-02 上海高仙自动化科技发展有限公司 控制方法、机器人、电子设备和可读存储介质
CN111267107A (zh) * 2020-03-23 2020-06-12 上海高仙自动化科技发展有限公司 控制方法、机器人、电子设备和可读存储介质
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111700544A (zh) * 2020-05-07 2020-09-25 苏州品坤智能科技有限公司 一种智能清洁机器人的防碰撞控制系统及其控制方法
CN111768490A (zh) * 2020-05-14 2020-10-13 华南农业大学 基于迭代最近点与人工干预的植物三维建模方法及系统
CN111598034A (zh) * 2020-05-22 2020-08-28 知行汽车科技（苏州）有限公司 障碍物检测方法、装置及存储介质
CN111595328A (zh) * 2020-06-01 2020-08-28 四川阿泰因机器人智能装备有限公司 基于深度相机的真实障碍物地图构建和导航方法及系统
CN111671457A (zh) * 2020-06-19 2020-09-18 滨松光子医疗科技(廊坊)有限公司 一种适用于核医学影像设备的运动干涉算法
CN111671457B (zh) * 2020-06-19 2023-08-01 滨松光子科技(廊坊)有限公司 一种适用于核医学影像设备的运动干涉算法
CN111761581A (zh) * 2020-07-07 2020-10-13 上海木木聚枞机器人科技有限公司 路径规划方法及装置、狭窄空间行进方法及装置
CN111761581B (zh) * 2020-07-07 2021-08-27 上海木木聚枞机器人科技有限公司 路径规划方法及装置、狭窄空间行进方法及装置
CN111860321B (zh) * 2020-07-20 2023-12-22 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN111860321A (zh) * 2020-07-20 2020-10-30 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN111890343A (zh) * 2020-07-29 2020-11-06 浙江广合智能科技有限公司 一种机器人载物碰撞检测方法及装置
CN111890343B (zh) * 2020-07-29 2021-10-15 浙江广合智能科技有限公司 一种机器人载物碰撞检测方法及装置
CN111993425B (zh) * 2020-08-25 2021-11-02 深圳市优必选科技股份有限公司 一种避障方法、装置、机械臂及存储介质
CN111993425A (zh) * 2020-08-25 2020-11-27 深圳市优必选科技股份有限公司 一种避障方法、装置、机械臂及存储介质
CN112150527A (zh) * 2020-08-31 2020-12-29 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质
CN112150527B (zh) * 2020-08-31 2024-05-17 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质
CN112365534A (zh) * 2020-11-12 2021-02-12 上海明华电力科技有限公司 一种基于单目相机三维重建的大型煤堆体积测量方法
CN112419390A (zh) * 2020-11-26 2021-02-26 北京华捷艾米科技有限公司 一种人体身高测量方法及系统
CN112597946A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 障碍物表示方法、装置、电子设备及可读存储介质
CN112710313A (zh) * 2020-12-31 2021-04-27 广州极飞科技股份有限公司 覆盖路径生成方法、装置、电子设备和存储介质
CN114911220A (zh) * 2021-02-08 2022-08-16 珠海一微半导体股份有限公司 基于激光点云拟合直线和选取参考边的方法及机器人
CN112927338A (zh) * 2021-03-30 2021-06-08 深圳裹动智驾科技有限公司 基于三维轮廓的仿真方法、存储介质及计算机设备
CN113610883A (zh) * 2021-04-30 2021-11-05 新驱动重庆智能汽车有限公司 点云处理系统和方法、计算机设备和存储介质
CN113610883B (zh) * 2021-04-30 2022-04-08 新驱动重庆智能汽车有限公司 点云处理系统和方法、计算机设备和存储介质
CN113269820A (zh) * 2021-05-26 2021-08-17 北京地平线信息技术有限公司 空间几何信息估计模型的生成方法和装置
CN113744323B (zh) * 2021-08-11 2023-12-19 深圳蓝因机器人科技有限公司 点云数据处理方法和装置
CN113744323A (zh) * 2021-08-11 2021-12-03 深圳蓝因机器人科技有限公司 点云数据处理方法和装置
CN114446092B (zh) * 2022-01-19 2022-12-27 无锡学院 一种基于三维相机组网的s型公路模拟障碍物预警方法
CN114446092A (zh) * 2022-01-19 2022-05-06 无锡学院 一种基于三维相机组网的s型公路模拟障碍物预警方法
CN115154074A (zh) * 2022-05-30 2022-10-11 上海炬佑智能科技有限公司 一种具有避障功能的智能轮椅
WO2024138508A1 (zh) * 2022-12-29 2024-07-04 华为技术有限公司 一种障碍物检测方法及相关装置
CN117671648A (zh) * 2024-02-02 2024-03-08 深圳市其域创新科技有限公司 障碍点的检测方法、设备及存储介质
CN117671648B (zh) * 2024-02-02 2024-04-26 深圳市其域创新科技有限公司 障碍点的检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN110893617B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110893617B (zh) 障碍物检测方法、装置及存储装置
CN108369743B (zh) 使用多方向相机地图构建空间
US10109104B2 (en) Generation of 3D models of an environment
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN111337947A (zh) 即时建图与定位方法、装置、系统及存储介质
JP2019523496A (ja) 多方向カメラを使用した、囲まれた空間の寸法の推定
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
US20120294534A1 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
JP6526955B2 (ja) センサ情報統合方法、及びその装置
CN113052907B (zh) 一种动态环境移动机器人的定位方法
Knorr et al. Online extrinsic multi-camera calibration using ground plane induced homographies
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及系统
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN112967340A (zh) 同时定位和地图构建方法、装置、电子设备及存储介质
CN114677588A (zh) 障碍物检测的方法、装置、机器人和存储介质
JP7298687B2 (ja) 物体認識装置及び物体認識方法
Pudics et al. Safe robot navigation using an omnidirectional camera
CN115100287B (zh) 外参标定方法及机器人
CN116499453A (zh) 一种电子地图生成方法、装置、移动机器人及存储介质
CN116137039A (zh) 一种视觉与激光传感器外参校正方法及相关设备
Amamra et al. Real-time multiview data fusion for object tracking with RGBD sensors
Su Vanishing points in road recognition: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 22nd floor, building C1, Nanshan wisdom Park, 1001 Xueyuan Avenue, Nanshan District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen UBTECH Technology Co.,Ltd.

Address before: 22nd floor, building C1, Nanshan wisdom Park, 1001 Xueyuan Avenue, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen UBTECH Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20231213

Address after: Room 601, 6th Floor, Building 13, No. 3 Jinghai Fifth Road, Beijing Economic and Technological Development Zone (Tongzhou), Tongzhou District, Beijing, 100176

Patentee after: Beijing Youbixuan Intelligent Robot Co.,Ltd.

Address before: 22nd floor, building C1, Nanshan wisdom Park, 1001 Xueyuan Avenue, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen UBTECH Technology Co.,Ltd.

TR01 Transfer of patent right