CN117408935A - 障碍物检测方法、电子设备和存储介质 - Google Patents
障碍物检测方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117408935A CN117408935A CN202210853212.9A CN202210853212A CN117408935A CN 117408935 A CN117408935 A CN 117408935A CN 202210853212 A CN202210853212 A CN 202210853212A CN 117408935 A CN117408935 A CN 117408935A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- point cloud
- cloud data
- ground plane
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000007717 exclusion Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开障碍物检测方法、电子设备和存储介质，其中，一种障碍物检测方法，包括：获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；对所述前景点云数据进行障碍物检测得到初始障碍物集；排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
Description
技术领域
本发明属于自动驾驶技术领域，尤其涉及障碍物检测方法、电子设备和存储介质。
背景技术
近年随着人工智能的逐渐成熟以及社会发展提出了机器代替人工从事生产生活劳动的需求，涌现出了各种各样的智能服务机器人，比如清扫机器人、仓储机器人等。机器人在从事劳动过程中需要具备自主运动的性能，而准确的感知周围环境成为机器人安全行走、运动自如的先决条件；因此，通过各种传感器实时的感知周围环境中障碍物的信息成为当前人工智能研究的一个热门课题，而低矮障碍物的检测又是障碍物感知的一大难点。
目前，智能机器人主要通过两种方式进行避障：一种是通过触碰的方式进行避障，当机器人触碰到障碍物时，就随机改变方向重新进行路径规划，这种方式主要应用于早期的扫地机器人；另一种方式是通过传感器提前进行障碍物检测，机器人在运行过程中主动避开障碍物，目前主要应用的传感器有3D结构光，3D TOF，激光雷达、2D彩色摄像头、超声波等感知器，这种方式是目前大部分智能机器人采用的避障方式。
目前，第一种通过触碰的方式进行避障只适用于小型机器人，对于大型服务机器人采用该方式存在不安全的隐患，同时运行效率不高；第二种对于采用传感器提前检测障碍物的方式，由于不同的传感器自身存在一定的缺陷，在感知障碍物过程中如果检测算法无法克服这些传感器的缺陷，在检测到低矮障碍物的同时也会引入较多的误捡，误捡会引起机器运行规划过程中看起来不顺畅甚至无法规划出路径停止不动，为了避免出现上述情况，大多机器人没有做低矮障碍物检测。例如，超声波只有安装在较低位置时才能检测到低矮障碍物，在遇到稍微有点坡度的地面时容易把地面误检为障碍物；而单线激光只能检测单一高度的障碍物，只有安装在较低位置时才能检测到低矮障碍物，同时也容易把地面悬浮颗粒误检为障碍物；进一步地，16线激光由于两线之间距离较大无法检测体积较小的低矮障碍物；rgbd点云数据稠密，可检测小体积的低矮障碍物，但由于边缘处畸变较大且深度值越大误差值越大，使得得到的地面点云数据凹凸不平，对于边缘处地面点云数据很容易检测成低矮障碍物。
发明内容
本发明实施例提供一种障碍物检测方法和装置，能够准确检测出低矮障碍物。
第一方面，本发明实施例提供一种障碍物检测方法，包括：获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；对所述前景点云数据进行障碍物检测得到初始障碍物集；排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
第二方面，本发明实施例提供一种障碍物检测执行设备，包括：
获取转换模块，用于获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；拟合模块，用于对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；前后背景分割模块，用于根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；检测模块，用于对所述前景点云数据进行障碍物检测得到初始障碍物集；排除输出模块，用于排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的障碍物检测方法的步骤。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的障碍物检测方法的步骤。
第五方面，本发明实施例还提供一种移动工具，搭载有摄像头，所述移动工具包括第三方面所述的电子设备，所述摄像头与电子设备通信连接。
本申请，通过深度相机来拍摄深度图像数据，深度图像数据的点云数据较为稠密，可很好的检测出小体积的低矮障碍物；并且能够通过拟合地平面将点云数据进行前景和背景分割，从而将地面点剔除，只对前景点云数据进行障碍物检测，从而避免将地面误检为低矮障碍物的问题；另外，在确定出初始障碍物集后，还派出初始障碍物集中的误检障碍物，进一步提高低矮障碍物的检测准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种障碍物检测方法的流程图；
图2为本发明一实施例提供的另一种障碍物检测方法的流程图；
图3为本发明一实施例提供的又一种障碍物检测方法的流程图；
图4为本发明一实施例提供的再一种障碍物检测方法的流程图；
图5为本发明一实施例提供的又一种障碍物检测方法的流程图
图6为本发明一实施例提供的再一种障碍物检测方法的流程图
图7为本发明一实施例提供的障碍物检测方法的一个具体示例的平面拟合示意图；
图8为本发明一实施例提供的障碍物检测方法的一个具体示例的低矮障碍物检测结果图；
图9为本发明一实施例提供的障碍物检测执行设备的结构示意图；
图10是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其示出了本申请的障碍物检测方法一实施例的流程图，本实施例的障碍物检测方法可以适用于具备载人功能、载货功能、工具功能、娱乐功能和特殊救援功能的装置，如家用轿车、公共汽车、货车、吊车、挖掘机、扫地机器人、送餐机器人、导购机器人、割草机、娱乐车和消防车等。
如图1所示，在步骤101中，获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；
在步骤102中，对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；
在步骤103中，根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；
在步骤104中，对所述前景点云数据进行障碍物检测得到初始障碍物集；
在步骤105中，排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
在本实施例中，对于步骤101，障碍物检测装置获取摄像头拍摄的深度图像数据，将深度图像数据转换为机器坐标系下的点云数据，例如，基于摄像头的成像原理以及标定好的摄像头内参，可以计算得到摄像头坐标系下对应的点云数据，其中，摄像头包括深度相机，相较于传统的相机，深度相机在功能上加入了一个深度测量，从而更方便准确的感知周围的环境。
然后，对于步骤102，障碍物检测装置对机器坐标系下的点云数据进行地平面拟合得到拟合地平面，例如，由于深度图像深度值越大绝对误差越大，为了减小绝对误差的影响，可以使用线性阈值的方法对地面点云进行筛选再进行地平面拟合。
之后，对于步骤103，障碍物检测装置根据拟合地平面对机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据，例如，由于现实的地面并不是一个完美的平面，而且深度图像存在畸变和距离的误差，可以使用划分不同的区域和不同阈值来对拟合地平面进行前后背景分割。
然后，对于步骤104，障碍物检测装置对前景点云数据进行障碍物检测得到初始障碍物集，例如，首先对地面进行图像化得到地面图像，再根据点云与地面图像像素点之间的转换关系把每一个前景点云投影到地面图像，之后，对地面图像进行二值化获取二值化图像，再然后对二值化图像进行连通域膨胀对膨胀后的二值化图像进行连通域检测得到连通域集，最后再对每一个连通区域计算外接矩形，把矩形的四个像素点重新转换到机器坐标系下可得到对应的障碍物。
最后，对于步骤105，障碍物检测装置排除初始障碍物集中的误检障碍物并输出目标障碍物集，其中，障碍物的点云信息中包括障碍物的长、宽、高、所占像素点数等，可以基于障碍物的属性来判断障碍物是否是误检障碍物。
本实施例的方法通过将深度图像数据转换为机器坐标系下的点云数据，然后对机器坐标系下的点云数据进行地平面拟合得到拟合地平面并进行前后点云分割，之后对前景点云数据进行障碍物检测排除误检障碍物并输出目标障碍物集，从而可以实现在检测到低矮障碍物同时不会引入误检，而且在不增加硬件成本的情况下，可以使移动设备行驶过程中正确避让开低矮物体，从而提前规划好避障路径，进一步增加了移动设备运行的安全性、高效性和流畅性。
进一步参考图2，其示出了本申请一实施例提供的另一种障碍物检测方法的流程图。该流程图主要是对流程图1“将所述深度图像数据转换为机器坐标系下的点云数据”的流程进一步限定的步骤的流程图。
如图2所示，在步骤201中，基于所述深度图像数据、摄像头成像原理以及标定好的摄像头内参计算摄像头坐标系下的点云数据；
在步骤202中，基于标定好的摄像头坐标系与机器坐标系之间的位置关系，将摄像头坐标系下的点云数据转换为机器坐标系下的点云数据。
在本实施例中，对于步骤201，障碍物检测装置基于摄像头拍摄的深度图像数据、摄像头的成像原理以及标定好的摄像头内参计算摄像头坐标系下的点云数据，在一具体示例中，点云计算如下：
其中，p(xim，yim)表示图像中的任意像素坐标点，o(cx，cy)表示主点坐标，Pc(Xc，Yc，Zc)表示对应图像像素点p在摄像头坐标系下的3D点云坐标，f表示摄像头焦距，cx，cy，f都可通过摄像头标定内参得到。
然后，对于步骤202，障碍物检测装置基于标定好的摄像头坐标系与机器坐标系之间的位置关系，将摄像头坐标系下的点云数据转换为机器坐标系下的点云数据，在一具体示例中，点云转换如下：
Pw＝R*Pc+t
其中，Pc表示摄像头坐标系下的3D点云坐标，Pw表示机器坐标系下的3D点云坐标，R表示摄像头坐标系到自车坐标系下的旋转矩阵大小为3*3，t表示摄像头坐标系到机器坐标系下的平移向量，大小为3*1，两个通过标定摄像头坐标系与机器坐标系的外参得到。
本实施例的方法通过深度图像数据、摄像头成像原理以及标定好的摄像头内参计算摄像头坐标系下的点云数据，再基于标定好的摄像头坐标系与机器坐标系之间的位置关系，从而可以实现将摄像头坐标系下的点云数据转换为机器坐标系下的点云数据。
进一步参考图3，其示出了本申请一实施例提供的又一种障碍物检测方法的流程图。该流程图主要是对流程图1“对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面”的流程进一步限定的步骤的流程图。
如图3所示，在步骤301中，基于预设的线性阈值对所述机器坐标系下的点云数据进行筛选，获取筛选后的地面点云集；
在步骤302中，基于随机一致性算法对所述地面点云集进行地平面拟合得到拟合地平面并估算所述拟合地平面是否正确；
在步骤303中，若不正确，重新设置线性阈值并重新筛选地面点云集直至达到预设迭代次数或者得到正确的拟合地平面；
在步骤304中，若达到预设迭代次数且没有得到正确的拟合地平面，则设置拟合地平面为绝对地平面。
在本实施例中，对于步骤301，障碍物检测装置基于预设的线性阈值对所述机器坐标系下的点云数据进行筛选，获取筛选后的地面点云集，例如，由于深度图像深度值越大绝对误差越大，使用线性阈值的方法对地面点云进行筛选再进行地平面拟合，可以减小绝对误差的影响。
然后，对于，步骤302，障碍物检测装置基于随机一致性算法对地面点云集进行地平面拟合得到拟合地平面并估算所述拟合地平面是否正确，在一具体实施例中，针对地面点云集采用随机一致性算法进行地平面拟合得到地平面拟合方程Plane：ax+by+cz+d＝0；对拟合后的地平面计算其相对z轴的倾斜角Zangle，通过比较倾斜角Zangle与倾斜角阈值thresangle可估算出拟合的地平面是否正确。
之后，对于步骤303，若估算拟合地平面不正确，重新设置线性阈值并重新筛选地面点云集直至达到预设迭代次数或者得到正确的拟合地平面，其中，预设迭代次数可以根据实际的使用情况进行迭代次数的设置。
最后，对于步骤304，若达到预设迭代次数且没有得到正确的拟合地平面，则设置拟合地平面为绝对地平面，例如，地平面拟合方程Plane：ax+by+cz+d＝0中a＝0，b＝0，c＝1，d＝0，如图7所示，其示出了检测5cm*5cm*5cm低矮障碍物时平面拟合效果图，图中红色点云为机器坐标系下的点云数据，蓝色平面为拟合平面，白色框表示机器示意图，坐标系为机器坐标系。
本实施例的方法通过线性阈值筛选点云和多次迭代进行地平面拟合，从而可以增加地平面拟合的准确性。
进一步参考图4，其示出了本申请一实施例提供的再一种障碍物检测方法的流程图。该流程图主要是对流程图1“根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据”的流程进一步限定的步骤的流程图。
如图4所示，在步骤401中，计算所述机器坐标系下的点云数据到所述拟合地平面的距离；
在步骤402中，基于所述距离和分割阈值的关系对所述机器坐标系下的点云数据进行前景和背景分割，其中，所述分割阈值与所述机器坐标系下的点云数据所处的位置相关；
在步骤403中，获取分割后得到的前景点云数据。
在本实施例中，对于步骤401，障碍物检测装置计算机器坐标系下的点云数据到拟合地平面的距离，例如，若距离大于预设的距离，说明这一点云属于前景点云，若距离小于预设的距离，则说明这一点云属于地面点云，具体过程如下：若fabs(Zw)<z_coef*fabs(Xw)，则点云Pw(Xw，Yw，Zw)属于地面点云集；反之，则说明点云Pw(Xw，Yw，Zw)不属于地面点云集；其中，z_coef表示线性阈值系数，fabs(X)表示获取X的绝对值符号。
然后，对于步骤402，障碍物检测装置基于机器坐标系下的点云数据到拟合地平面的距离和分割阈值的关系对机器坐标系下的点云数据进行前景和背景分割，其中，分割阈值与机器坐标系下的点云数据所处的位置相关，在一具体实施例中，前后背景分割的具体过程如下：计算点云Pw(Xw，Yw，Zw)到拟合地平面Plane的距离d，若距离d>R d>R(Pw(Xw，Yw，Zw))，则说明点云属于前景点云集；反之，则说明点云属于背景点云集即地面点云集；其中，R(Pw(Xw，Yw，Zw))表示根据点云Pw(Xw，Yw，Zw)所处的位置计算得到对应的分割阈值，例如，根据点云数像素半径及距离车的远近得到对应的分割阈值；比如点p(x，y，z)的像素半径小于100且0<x<1.5m、-1.2<y<1.2时，其分割阈值设置为0.03；不满足这条件时阈值设置为0.05。
最后，对于步骤403，障碍物检测装置获取分割后得到的前景点云数据以对前景点云数据进行障碍物检测。
本实施例的方法通过分割阈值的方法进行前后背景分割，从而可以实现增加前后背景分割的准确度，增加了移动设备运行的安全性。
进一步参考图5，其示出了本申请一实施例提供的又一种障碍物检测方法的流程图。该流程图主要是对流程图1“对所述前景点云数据进行障碍物检测”的流程进一步限定的步骤的流程图。
如图5所示，在步骤501中，对所述拟合地平面进行图像化得到地面图像，将所述前景点云数据投影到所述地面图像并进行二值化得到初始的二值化图像；
在步骤502中，对所述初始的二值化图像进行N连通域膨胀获取膨胀后的二值化图像；
在步骤503中，对所述膨胀后的二值化图像进行连通域检测获取连通域集；
在步骤504中，对所述连通域集中每一连通区域计算外接矩形，将所述外接矩形的四个像素点转换到机器坐标下获取与所述外接矩形对应的障碍物。
在本实施例中，对于步骤501，障碍物检测装置对拟合地平面进行图像化得到地面图像，将前景点云数据投影到地面图像并进行二值化得到初始的二值化图像，例如，以摄像头坐标系原点为图像中心，选择预设大小的矩形作为一个像素点，然后对地面进行图像化得到地面图像，之后根据点云与地面图像像素点之间的转换关系把每一个前景点云投影到地面图像，最后对地面图像进行二值化，其中，二值化规则包括：地面图像的像素点有点云投影则其值为1，无点云投影则其值为0，经过前景点云投影后得到初始的二值化图像。
然后，对于步骤502，障碍物检测装置对初始的二值化图像进行8连通域膨胀获取膨胀后的二值化图像，例如，实数平面上的一个区域G，如果在其中任做一条简单闭曲线，而闭曲线的内部总属于G，就称G为单连通区域。一个区域如果不是单连通区域，就称为多连通区域。优选地，前述N连通域膨胀可以设置为8连通域膨胀和16连通域膨胀等，本领域技术人员可以根据实际情况灵活设置，本申请不对N做严格限定。
之后，对于步骤503，障碍物检测装置对膨胀后的二值化图像进行连通域检测获取连通域集。
最后，对于步骤504，障碍物检测装置对连通域集中每一连通区域计算外接矩形，将外接矩形的四个像素点转换到机器坐标下获取与外接矩形对应的障碍物，例如，对每一个单独的连通区域形成一个被标识的块，进一步地，可以获取这些块的轮廓和外接矩形等几何参数，再将外接矩形的四个像素点转换到机器坐标下从而可以获取与外接矩形对应的障碍物。
本实施例的方法通过将前景点云数据投影到地面图像并进行二值化得到初始的二值化图像，然后对初始的二值化图像进行8连通域膨胀获取膨胀后的二值化图像并进行连通域检测获取连通域集，最后对连通域集中每一连通区域计算外接矩形，将外接矩形的四个像素点转换到机器坐标下获取与外接矩形对应的障碍物，从而可以实现准确的获得障碍物的各种属性。
在上述实施例的方法中，所述将所述外接矩形的四个像素点转换到机器坐标下获取与所述外接矩形对应的障碍物，还包括：
基于障碍物的点云数据获取障碍物的属性信息，并存储障碍物的属性信息；其中，属性信息包括以下信息中的至少一种：高度、长度、宽度、障碍物所占像素点数、障碍物中前景点云数据、障碍物中每个像素点所对应的前景点云数量、障碍物最低点到拟合地面的距离和障碍物最高点到拟合地平面的距离。
进一步参考图6，其示出了本申请一实施例提供的再一种障碍物检测方法的流程图。该流程图主要是对上述实施例的排除误检障碍物进一步限定的步骤的流程图。以下各个步骤均是用于判定障碍物是否为误检障碍物，可以并列执行，也可以没有先后顺序，本申请在此没有限制。
如图6所述，在步骤601中，判断障碍物所占像素点数是否小于预设像素点数阈值，若小于预设像素点数阈值，则判定所述障碍物为误检障碍物；
在步骤602中，判断障碍物中前景点云数据是否小于预设点云数阈值，若小于预设点云数阈值，则判定所述障碍物为误检障碍物；
在步骤603中，判断障碍物像素点对应的点云数最大值是否小于预设阈值，若小于预设阈值，则判定所述障碍物为误检障碍物；
在步骤604中，判断障碍物最低点到所述拟合地平面的距离是否大于预设距离阈值，若大于预设距离阈值，则判定所述障碍物为误检障碍物。
在本实施例中，对于步骤601，障碍物检测装置判断障碍物所占像素点数是否小于预设像素点数阈值，若障碍物所占像素点数小于预设像素点数阈值，则判定该障碍物为误检障碍物并将该障碍物删除，进一步地，若障碍物所占像素点数不小于预设像素点数阈值，则确定是障碍物并不是误检测。
然后，对于步骤602，障碍物检测装置判断障碍物中的前景点云数据是否小于预设的点云数阈值，若障碍物中的前景点云数据小于预设的点云数阈值，则判定该障碍物为误检障碍物并将该障碍物删除，进一步地，若障碍物中的前景点云数据不小于预设的点云数阈值，则确定是障碍物并不是误检测。
之后，对于步骤603，障碍物检测装置判断障碍物像素点对应的点云数最大值是否小于预设阈值，例如，障碍物像素点对应的点云数最大值小于判定为障碍物像素对应的点云数最大值阈值，则判定该障碍物为误检障碍物。
最后，对于步骤604，障碍物检测装置判断障碍物最低点到拟合地平面的距离是否大于预设距离阈值，若大于预设距离阈值，则判定障碍物为误检障碍物。
除了上述排除障碍物误检规则，还包括通过其他障碍物属性的判断进行误捡障碍物排除。进行误捡障碍物排除后得到障碍物集合为检测得到的目标障碍物。如图8所示，其示出了5cm*5cm*5cm低矮障碍物检测结果示意图，图中红色点云为机器坐标系下的点云数据，白色cell表示检测到的障碍物拟，白色框表示机器示意图，坐标系为机器坐标系。
本实施例的方法通过障碍物自身的属性进行误检障碍物排除，从而可以使移动设备行驶过程中正确避让开低矮物体，进一步增加了移动设备运行的安全性、高效性和流畅性
请参考图9，其示出了本发明一实施例提供的一种障碍物检测执行设备的结构示意图。
如图9所示，障碍物检测执行设备900，包括获取转换模块910、拟合模块920、前后背景分割模块930、检测模块940和排除输出模块950。
其中，获取转换模块910，用于获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；拟合模块920，用于对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；前后背景分割模块930，用于根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；检测模块940，用于对所述前景点云数据进行障碍物检测得到初始障碍物集；排除输出模块950，用于排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
应当理解，图9中记载的诸模块与参考图1、图2、图3、图4、图5和图6中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图9中的诸模块，在此不再赘述。
值得注意的是，本公开的实施例中的模块并不用于限制本公开的方案，例如获取转换模块可以描述为获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据的模块。另外，还可以通过硬件处理器来实现相关功能模块，例如获取转换模块也可以用处理器实现，在此不再赘述。
在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的障碍物检测方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；
对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；
根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；
对所述前景点云数据进行障碍物检测得到初始障碍物集；
排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据障碍物检测装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至障碍物检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项障碍物检测方法。
图10是本发明实施例提供的电子设备的结构示意图，如图10所示，该设备包括：一个或多个处理器1010以及存储器1020，图10中以一个处理器1010为例。障碍物检测方法的设备还可以包括：输入装置1030和输出装置1040。处理器1010、存储器1020、输入装置1030和输出装置1040可以通过总线或者其他方式连接，图10中以通过总线连接为例。存储器1020为上述的非易失性计算机可读存储介质。处理器1010通过运行存储在存储器1020中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例障碍物检测方法。输入装置1030可接收输入的数字或字符信息，以及产生与通讯补偿装置的用户设置以及功能控制有关的键信号输入。输出装置1040可包括显示屏等显示设备。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于障碍物检测装置中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；
对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；
根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；
对所述前景点云数据进行障碍物检测得到初始障碍物集；
排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种障碍物检测方法，包括：
获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；
对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；
根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；
对所述前景点云数据进行障碍物检测得到初始障碍物集；
排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
2.根据权利要求1所述的方法，其中，所述对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面包括：
基于预设的线性阈值对所述机器坐标系下的点云数据进行筛选，获取筛选后的地面点云集；
基于随机一致性算法对所述地面点云集进行地平面拟合得到拟合地平面，并估算所述拟合地平面是否正确；
若不正确，重新设置线性阈值并重新筛选地面点云集直至达到预设迭代次数或者得到正确的拟合地平面；
若达到预设迭代次数且没有得到正确的拟合地平面，则设置拟合地平面为绝对地平面。
3.根据权利要求1所述的方法，其中，所述根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据包括：
计算所述机器坐标系下的点云数据到所述拟合地平面的距离；
基于所述距离和分割阈值的关系对所述机器坐标系下的点云数据进行前景和背景分割，其中，所述分割阈值与所述机器坐标系下的点云数据所处的位置相关；
获取分割后得到的前景点云数据。
4.根据权利要求1所述的方法，其中，所述对所述前景点云数据进行障碍物检测，包括：
对所述拟合地平面进行图像化得到地面图像，将所述前景点云数据投影到所述地面图像并进行二值化得到初始的二值化图像；
对所述初始的二值化图像进行N连通域膨胀获取膨胀后的二值化图像；
对所述膨胀后的二值化图像进行连通域检测获取连通域集；
对所述连通域集中每一连通区域计算外接矩形，将所述外接矩形的四个像素点转换到机器坐标下获取与所述外接矩形对应的障碍物。
5.根据权利要求4所述的方法，其中，所述将所述外接矩形的四个像素点转换到机器坐标下获取与所述外接矩形对应的障碍物，还包括：
基于所述障碍物的点云数据获取所述障碍物的属性信息，并存储所述障碍物的属性信息；其中，所述属性信息包括以下信息中的至少一种：高度、长度、宽度、障碍物所占像素点数、障碍物中前景点云数据、障碍物中每个像素点所对应的前景点云数量、障碍物最低点到拟合地面的距离和障碍物最高点到所述拟合地平面的距离。
6.根据权利要求5所述的方法，其中，所述排除误检障碍物包括：
判断障碍物所占像素点数是否小于预设像素点数阈值，若小于预设像素点数阈值，则判定所述障碍物为误检障碍物；
和/或，判断障碍物中前景点云数据是否小于预设点云数阈值，若小于预设点云数阈值，则判定所述障碍物为误检障碍物；
和/或，判断障碍物像素点对应的点云数最大值是否小于预设阈值，若小于预设阈值，则判定所述障碍物为误检障碍物；
和/或，判断障碍物最低点到所述拟合地平面的距离是否大于预设距离阈值，若大于预设距离阈值，则判定所述障碍物为误检障碍物。
7.一种障碍物检测设备，包括：
获取转换模块，用于获取摄像头拍摄的深度图像数据，将所述深度图像数据转换为机器坐标系下的点云数据；
拟合模块，用于对所述机器坐标系下的点云数据进行地平面拟合得到拟合地平面；
前后背景分割模块，用于根据所述拟合地平面对所述机器坐标系下的点云数据进行前景和背景分割，获取前景点云数据；
检测模块，用于对所述前景点云数据进行障碍物检测得到初始障碍物集；
排除输出模块，用于排除所述初始障碍物集中的误检障碍物并输出目标障碍物集。
8.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述方法的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
10.一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1至6中任一项所述方法的步骤。
11.一种移动工具，搭载有摄像头，所述移动工具包括权利要求8所述的电子设备，所述摄像头与电子设备通信连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210853212.9A CN117408935A (zh) | 2022-07-07 | 2022-07-07 | 障碍物检测方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210853212.9A CN117408935A (zh) | 2022-07-07 | 2022-07-07 | 障碍物检测方法、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117408935A true CN117408935A (zh) | 2024-01-16 |
Family
ID=89487681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210853212.9A Pending CN117408935A (zh) | 2022-07-07 | 2022-07-07 | 障碍物检测方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117408935A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117671648A (zh) * | 2024-02-02 | 2024-03-08 | 深圳市其域创新科技有限公司 | 障碍点的检测方法、设备及存储介质 |
-
2022
- 2022-07-07 CN CN202210853212.9A patent/CN117408935A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117671648A (zh) * | 2024-02-02 | 2024-03-08 | 深圳市其域创新科技有限公司 | 障碍点的检测方法、设备及存储介质 |
| CN117671648B (zh) * | 2024-02-02 | 2024-04-26 | 深圳市其域创新科技有限公司 | 障碍点的检测方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106940704B (zh) | 一种基于栅格地图的定位方法及装置 | |
| KR101896131B1 (ko) | 깊이 맵을 이용하는 모바일 카메라 로컬라이제이션 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| EP2858008B1 (en) | Target detecting method and system | |
| KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| Siegemund et al. | Curb reconstruction using conditional random fields | |
| JP2020534617A (ja) | 二次元画像および点群データからの三次元境界ボックス | |
| US9424649B1 (en) | Moving body position estimation device and moving body position estimation method | |
| CN110587597B (zh) | 一种基于激光雷达的slam闭环检测方法及检测系统 | |
| KR20140027468A (ko) | 깊이 측정치 품질 향상 | |
| CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| WO2016133697A1 (en) | Projection transformations for depth estimation | |
| CN112509126A (zh) | 三维物体检测的方法、装置、设备及存储介质 | |
| CN112241718A (zh) | 车辆信息的检测方法、检测模型的训练方法和装置 | |
| CN117408935A (zh) | 障碍物检测方法、电子设备和存储介质 | |
| CN110673607A (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| CN112528932B (zh) | 用于优化位置信息的方法、装置、路侧设备和云控平台 | |
| CN111553342B (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
| CN111813882A (zh) | 一种机器人地图构建方法、设备及存储介质 | |
| CN115855086A (zh) | 基于自旋转的室内场景自主重建方法、系统及介质 | |
| US11417063B2 (en) | Determining a three-dimensional representation of a scene | |
| CN114399532A (zh) | 一种相机位姿确定方法和装置 | |
| Van Crombrugge et al. | People tracking with range cameras using density maps and 2D blob splitting | |
| Kovacs et al. | Edge detection in discretized range images | |
| CN111784659A (zh) | 图像检测的方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |