CN111046776B - 基于深度相机的移动机器人行进路径障碍物检测的方法 - Google Patents
基于深度相机的移动机器人行进路径障碍物检测的方法 Download PDFInfo
- Publication number
- CN111046776B CN111046776B CN201911241537.6A CN201911241537A CN111046776B CN 111046776 B CN111046776 B CN 111046776B CN 201911241537 A CN201911241537 A CN 201911241537A CN 111046776 B CN111046776 B CN 111046776B
- Authority
- CN
- China
- Prior art keywords
- points
- point
- depth
- space
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000009434 installation Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000000470 constituent Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- WKQCPUMQBMFPLC-ZWFCQKKLSA-N 11beta,21-Dihydroxypregn-4-ene-3,20-dione 21-acetate Chemical compound C1CC2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H](C(=O)COC(=O)C)[C@@]1(C)C[C@@H]2O WKQCPUMQBMFPLC-ZWFCQKKLSA-N 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013210 evaluation model Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 14
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000035657 Abasia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于深度相机的移动机器人行进路径障碍物检测的方法，包括以下步骤：调节深度相机安装位姿，深度相机采用可调节的安装方式；将深度图转化为空间点云；通过均值降采样的方式，压缩待处理的点云数据；通过统计范围内临近点个数的方法剔除由于测量噪声引入的无效数据点；孤立点剔除，剔除噪声和无效点；修正点云数据；通过圆柱面投影的方式利用三维点云数据生成对应的深度图；生成的深度图获得应用于移动机器人导航的二维障碍物点的轮廓信息。本发明对获得的深度图像进行处理，从而完成障碍物的检测工作，通过地面分割方式针对有噪声数据的地面提取的有效性大大提高，对低矮的障碍物的检测成功率和有效性更高。
Description
技术领域
本发明涉及3D立体视觉和点云处理技术，具体涉及一种将深度相机应用于移动机器人行进路径上的障碍物检测方法。
背景技术
随着科技的不断发展，移动机器人在各个领域的应用变得越来越广泛，例如在货运机器人，服务机器人等等。在引入移动机器人的同时，也面临这如何保证移动机器人安全工作的问题-如何将移动机器人移动路径上的障碍物有效的检测出来。传统的超声波传感器，光电传感器的有效距离短，且受限于传感器工作原理，检测精度不是很高。使用激光雷达也是近年来流行的方式，单线激光雷达价格合适，但是检测范围只有移动机器人面前的一个平面。虽然多线激光雷达可以完成对移动机器人移动路径上整个空间的扫描，但是高额的价格成本令人望而却步。
如中国专利CN201811094856.4专利名称为一种障碍物检测方法、装置、设备及存储介质，提及地面提取，采用了普通RANSAC，确定有障碍物，障碍物信息未曾公开。
又如中国专利CN201710233985专利名称为一种基于机器视觉的机器人主动避障方法及其装置，采用模式匹配的方式寻找障碍物。
中国CN201510248949专利名称为一种基于RGB-D相机和姿态传感器的平面和障碍检测方法采用了一种RGB图和深度图配合检测的方式，通过深度相机获得路面三维深度信息来实现地面通路识别。
深度相机是一种获取场景深度方向上的信息的装置。深度相机通常采用雷达测量的原理进行三维场景深度的测量，即深度相机发射主动光波照射三维场景，光波经三维场景反射后回到深度相机，根据光波的发射时间和反射光波的接收时间之间的时间差(也即，相位差)获取三维场景的深度信息。
目前已经有一些针对各个领域内的使用深度相机作为障碍物检测的方法，通过深度摄像头识别可视场内物体的深度场，生成深度数据，转化为深度图像，进行二值化和滤波处理，识别障碍物，计算障碍物的相对位置，如中国专利专利号为CN201910212341.8，专利名称为一种基于深度信息的障碍物检测系统及方法，首先通过深度摄像头采集环境的图像信息，并通过该设备获取环境及其中物体的点云信息；然后对采集到的深度点云信息进行滤波，去除图像中的噪声点和无用点，对采集到的深度图进行平面拟合；依据深度图和平面拟合结果，确定障碍物的初步点云集合；提取点云信息的特征点，并计算特征点的描述符；对场景和目标物体的描述符进行特征匹配，得到场景中障碍物检测结果。
现有技术的不足之处在于，不能针对使用场景进行灵活的调整，不能有效地对有噪声数据的地面进行提取，对低矮的障碍物的检测成功率低，容易产生高空障碍物因地形发生变换造成误差。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种基于深度相机的移动机器人行进路径上的障碍物检测方法，通过该解决现有技术中对有噪声数据的地面提取有效性低及对于不能有效检测低矮障碍物缺点。
一种基于深度相机的移动机器人行进路径障碍物检测的方法，包括以下步骤：
步骤1)，深度相机采用可调节的安装方式，具体为可以调节深度相机的安装高度和安装俯仰角，从而可以适应不同结构的移动机器人；
步骤2)，通过深度相机的结构模型参数获得深度图像每个像素在相机坐标系下对应的三维空间位置信息，将步骤1)中所定的安装方式转换到机器人坐标系下，变换为移动机器人路径方向上的点云信息；
步骤3)，通过均值降采样的方式，压缩待处理的点云数据；
步骤4)，通过统计范围内临近点个数的方法剔除由于测量噪声引入的无效数据点；
步骤5)，利用步骤1)中深度相机安装高度的先验信息，采用基于极大似然估计评价模型的随机采样一致性算法获取地面对应的空间平面方程；
步骤6)，使用5)中得出的空间平面方程结果重新修正点云数据中的真实障碍物信息；
步骤7)，通过圆柱面投影的方式利用三维点云数据生成对应的深度图；
步骤8)，利用7)生成的深度图获得应用于移动机器人导航的二维障碍物点的轮廓信息。
进一步的，所述步骤2)中获得由深度图生成的相机坐标系下的空间点云采用如下公式计算获得：
zc＝scale×deprh
其中，zc，xc，yc分别表示深度图中的像素点对应于相机坐标系下的空间坐标，u和v表示像素点在深度图中的索引标号，depth表示深度图中u和v索引相对应的像素值的大小，scale表示深度相机像素值和像素点的真实深度之间的尺度关系，cx和cy表示相机光心和图像中心在x方向和y方向的偏移量，fx和fy表示深度相机在图像的x和y方向上的焦距。
进一步的，所述步骤2)中将行进路线上的点云信息从相机坐标系下变换到机器人坐标系下，需要对空间点云中的每一个坐标点都做坐标变换,具体方法如下：
其中，pc为空间点在相机坐标下的齐次坐标，pr为空间点在机器人坐标系下的齐次坐标。Rrc表示相机坐标系和机器人坐标系之间的旋转关系，由相机的安装角度确定。trc表示相机坐标系和机器人坐标系之间的平移关系，由相机的安装位置确定。
进一步的，所述步骤3)中的均值降采样具体方法如下：
1)遍历所有空间点，找到空间中距离最远的点构成的包围盒，由点Pmin和点Pmax构成，Pmin为包围区域的坐标最小点，Pmax为包围区域的坐标最大点。
2)由确定的体素分辨率确定每个空间点的具体索引：idx＝ratio(Vr·Pr-Pmin)
其中，Vr是设定的体素分辨率，idx是每个空间点属于体素分辨率设定下的体素索引标号；
3)将所有空间点按照计算的idx的大小进行排序；
4)对相同idx的点计算其构成的质心，将其作为降采样后体素块的坐标。
进一步的，所述步骤4)中的剔除无效数据点的具体方法如下：
1)使用Kd-Tree构建所有空间点云的近邻关系；2)遍历所有空间点，并从Kd-Tree中找到和该点空间距离最近的N个点，如果距离小于阈值Thd的点的个数小于m个，则认为是无效数据点。
进一步的，所述步骤5)中使用RANSAC的方法在设定最大迭代次数的情况下对疑似地面区域的点做平面模型拟合，具体的平面计算方式如下：
所求平面方程即为：
Ax+By+Cz+D＝0
其中，P1、P2和P3是点云疑似区域中选取的3个空间点，
表示所求平面的法向量，x，y，z表示的的所求平面上的点的坐标，A，B，C，D是这些点构成平面的约束条件。
进一步的，所述步骤5)中，评价每次迭代生成的平面模型的方法采用如下混合概率模型：
其中，
Pr代表混合概率分布模型，ηi用来描述概率事件，ηi＝1用来表示空间点为内点的概率事件，ηi＝0用来表示空间点为外点的概率事件；Pi为假设内点的概率分布服从均值为0,方差为σ的正态分布，d为空间点到当次迭代所求得的平面模型的距离，Po表示假设外点的概率分布服从参数为v的均匀分布，与点云包围盒的大小相关，γ为此混合概率模型待估计的参数，通过以下方式计算γ完成对模型的迭代优化：
n表示参与混合概率模型优化的点的总数，i为空间点的索引记号。
运用参数为γ模型构造极大似然函数，比较并选取似然函数值最小的模型。
构造的似然函数如下：
进一步的，所述步骤6)中重新修正点云数据中障碍物信息的具体方法如下：
由所述步骤5)中获得的平面模型和理想地面模型
之间可以计算出它们的转轴/>
与转角θ：
对空间点云中非地面的点进行空间坐标变换：
pright＝Rcorr·perr
其中，Pright表示经过矫正的空间点，Perr表示未经矫正的空间点，Rcort表示空间坐标变换的旋转矩阵，由以下计算获得：
进一步的，所述步骤7)中将三维点云数据投影生成深度图的方法如下：
根据应用场景选择选择合适的像素角分辨率Pixr，且可以通过如下计算获得深度图的尺寸：
Img Width＝Hanglemax/Pixr
Img Height＝Vanglemax/Pixr
其中，Imgwidth和Imgheigh表示深度图的长度和宽度，Hanglemax和Vanglemax表示将坐标系原点定为视角时所能观测到的横向和纵向的最大角度；
获得空间点在深度图中的位置采用如下方法：
angleY＝arctan(Py/Px)/Pixr
angleX＝arcsin(Py/r ange)/Pixr
imageU＝angleXcos(angleY)+π/Pixr-OffsetU
imageV＝angleY+0.5π/Pixr-OffsetV
其中，Px和Py表示空间点的x坐标和y坐标，range表示空间点到坐标原点的距离，angleX和angleY表示空间点，offsetU和offsetV表示深度图中心距离深度图原点的坐标偏移量imageU和imageV是每个空间点对应深度图中的索引；
遍历所有像素格，如果格子中有多个点距离较大的点，那么选取最近的点；如果格子中有多个距离较近的点，则取其算数平均。
进一步的，所述步骤8)中将步骤7)获得的深度图进行逐列分析，取每一列中的距离最小值的像素点作为二维障碍物点的轮廓信息。
与现有技术相比，本发明的有益效果是：
本发明在提取地面信息是除了采用常规的RANSAC方法进行随机采样之外，还构造了一个混合概率分布模型用于RANSAC迭代时的地面模型提取效果的评价。这么做利用了，深度相机的安装位置和所选取的深度相机的传感器数据白噪声模型，作为系统的先验信息，可以有效的剔除。该方法对获得的深度图像进行处理，从而完成障碍物的检测工作，通过地面分割方式针对有噪声数据的地面提取的有效性大大提高，对低矮的障碍物的检测成功率和有效性更高。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案以及本发明的有益效果，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明的深度相机安装结构示意图。
图2为本发明的流程框图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍本发明的具体实施案例之前，对本发明实施的场景进行说明。本实施例应用于仓储物流环境，此种场景存在错综复杂的货架、散落货物、地堆障碍、行人和其他合作机器人，属于人机混合的复杂场景。本实施例专注于将移动机器人行进路径中的上述障碍物检测出来，以供移动机器人进行更好的导航决策。
本实施例提供的一种基于深度相机的移动机器人行进路径障碍物检测的方法，参见图2，包括以下步骤：
步骤一，调节深度相机安装位姿，根据使用场景进行深度相机的可调节安装，如图1所示，本实施例的的深度相机安装高度为1.67米，距离移动机器人中心为0.71米，与水平面形成的夹角为57°，深度相机工作帧率为15FPS，将在移动机器人开启后持续工作，移动机器人上的工控机将持续读取深度图；
步骤二，将深度图转化为空间点云，通过深度相机的结构模型参数获得深度图像每个像素在相机坐标系下对应的三维空间位置信息，本实施例所用到的坐标变换关系由上述安装信息可以计算出Rrc和trc，分别为：
步骤三，均值降采样压缩空间点云数据，获得路径上的点云信息后，通过均值降采样的方式，压缩待处理的点云数据，具体方法为：
遍历所有空间点，找到空间中距离最远的点构成的包围盒，由点Pmin和点Pmax构成，Pmin为包围区域的坐标最小点，Pmax为包围区域的坐标最大点；
由确定的体素分辨率确定每个空间点的具体索引：
idx＝ratio(Vr·pr-Pmin)
其中，Vr是设定的体素分辨率，i dx是每个空间点属于体素分辨率设定下的体素索引标号；
将所有空间点按照计算的idx的大小进行排序；
对相同idx的点计算其构成的质心，将其作为降采样后体素块的坐标。
步骤四，提取地面点云并剔除，对已完成将采样点云数据继续进行无效数据点的剔除工作，具体方法如下：
使用Kd-Tree构建所有空间点云的近邻关系；
遍历所有空间点，并从Kd-Tree中找到和该点空间距离最近的N个点，如果距离小于阈值Thd的点的个数小于m个，则认为是无效数据点；
对预处理完成的点云本实施例采用ELMSAC的方式将点云数据中的地面提取并剔除。从点云中选取不同点的组合进行多次迭代。对于每次迭代，先使用RANSAC的方法在设定最大迭代次数的情况下对疑似地面区域的点做平面模型拟合，具体的平面计算方式如下：
所求平面方程即为：
Ax+By+Cz+D＝0
其中，P1、P2和P3是点云疑似区域中选取的3个空间点，
表示所求平面的法向量，x、y、z表示的的所求平面上的点的坐标，A、B、C、D是这些点构成平面的约束条件。
步骤五，孤立点剔除，剔除噪声和无效点，采用基于极大似然估计评价每次迭代生成的平面模型，并采用如下混合概率模型：
其中
Pr代表混合概率分布模型；ηi用来描述概率事件，ηi＝1用来表示空间点为内点的概率事件，ηi＝0用来表示空间点为外点的概率事件；pi为假设内点的概率分布服从均值为0,方差为σ的正态分布，d为空间点到当次迭代所求得的平面模型的距离；po表示假设外点的概率分布服从参数为v的均匀分布，与点云包围盒的大小相关；γ为此混合概率模型待估计的参数，通过以下方式计算γ完成对模型的迭代优化：
n表示参与混合概率模型优化的点的总数，i为空间点的索引记号；
运用参数为γ模型构造极大似然函数，比较并选取似然函数值最小的模型。构造的似然函数如下：
-L＝-∑i log(pi+po)。
步骤六，修正点云数据，使用步骤五中得出的空间平面方程结果重新修正点云数据中的真实障碍物信息，具体方法为：
1)从平面模型和理想地面模型
之间可以计算出它们的转轴/>
与转角θ：
2)对空间点云中非地面的点进行空间坐标变换：
pright＝Rcorr·perr
其中，pright表示经过矫正的空间点，perr表示未经矫正的空间点，Rcorr表示空间坐标变换的旋转矩阵，由以下计算获得：
由于相机的安装位姿存在误差，且移动机器人行进过程中地面凹凸不平，存在一定的倾斜，外加还有深度相机作为传感器本身输出的测量数据中就带有白噪声等原因，所以在步骤六之前，所有空间点云的点都是不确定的测量值，与真实值之间还是存在误差的，通过步骤六减小了这些误差，使得计算出的障碍物的位置更加精确。例如，假如前方的地面突然比之前的高了，很可能地面的突起或者传感器的噪声被误判成障碍导致移动机器人不能走；反之也有可能因为地面的降低，且地面的倾斜，传感器的数据误差较大，但是前方的障碍物较小，淹没在了传感器的噪声中或者因为地面的倾斜容易误判成噪点，这时通过步骤六就可还原这些点的较为趋近于真值的位置。
步骤七，进行圆柱面投影获得深度图生成二维障碍的轮廓，将获得的剔除干扰和地面的障碍物信息转化为深度图，进而由深度图中将障碍物的轮廓坐标记录。由于这个是动态场景的不断变化，且每秒计算次数为10次，所以获得的深度图时时刻刻不一样的，比如，如果前面是什么障碍物都没有，空旷的场景，那么深度图的大小为零。
步骤七的具体内容为：根据应用场景选择选择合适的像素角分辨率Pixr，且可以通过如下计算获得深度图的尺寸：
Img Width＝Hanglemax/Pixr
Img Height＝Vanglemax/Pixr
其中，lmgwidth和lmgheigh表示深度图的长度和宽度，Hanglemax和Vanglemax表示将坐标系原点定为视角时所能观测到的横向和纵向的最大角度；
获得空间点在深度图中的位置采用如下方法：
angleY＝ar ctan(Py/Px)/Pixr
angleX＝ar csin(Py/r ange)/Pixr
imageU＝angleXcos(angleY)+π/Pixr-OffsetU
imageV＝angleY+0.5π/Pixr-OffsetV
其中，Px和Py表示空间点的x坐标和y坐标，range表示空间点到坐标原点的距离，angleX和angleY表示空间点，offsetU和offsetV表示深度图中心距离深度图原点的坐标偏移量imageU和imageV是每个空间点对应深度图中的索引；
遍历所有像素格，如果格子中有多个点距离较大的点，那么选取最近的点；如果格子中有多个距离较近的点，则取其算数平均。
将获得的深度图进行逐列分析，取每一列中的距离最小值的像素点作为二维障碍物点的轮廓信息。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于深度相机的移动机器人行进路径障碍物检测的方法，其特征在于，包括以下步骤：
步骤1)，调节深度相机安装位姿，深度相机采用可调节的安装方式，包括调节深度相机的安装高度和安装俯仰角，从而适应不同结构的移动机器人；
步骤2)，将深度图转化为空间点云，通过深度相机的结构模型参数获得深度图像每个像素在相机坐标系下对应的三维空间位置信息；
步骤3)，通过均值降采样的方式，压缩待处理的点云数据；
步骤4)，通过统计范围内临近点个数的方法剔除由于测量噪声引入的无效数据点；
步骤5)，孤立点剔除，剔除噪声和无效点，采用基于极大似然估计评价模型的随机采样一致性算法获取地面对应的空间平面方程；
步骤6)，修正点云数据，使用5)中得出的空间平面方程结果重新修正点云数据中的真实障碍物信息；
步骤7)，通过圆柱面投影的方式利用三维点云数据生成对应的深度图；
步骤8)，生成的深度图获得应用于移动机器人导航的二维障碍物点的轮廓信息；
其中，所述步骤5)中，评价每次迭代生成的平面模型的方法采用如下混合概率模型：
其中，
Pr代表混合概率分布模型，ηi用来描述概率事件，ηi＝1用来表示空间点为内点的概率事件，ηi＝0用来表示空间点为外点的概率事件；Pi为假设内点的概率分布服从均值为0,方差为σ的正态分布，d为空间点到当次迭代所求得的平面模型的距离，P0表示假设外点的概率分布服从参数为v的均匀分布，与点云包围盒的大小相关，γ为此混合概率模型待估计的参数，通过以下方式计算γ完成对模型的迭代优化：
n表示参与混合概率模型优化的点的总数，i为空间点的索引记号；
运用参数为γ模型构造极大似然函数，比较并选取似然函数值最小的模型，构造的似然函数如下：
所述步骤6)中重新修正点云数据中障碍物信息的具体方法如下：
由所述步骤5)中获得的平面模型和理想地面模型
之间可以计算出它们的转轴
与转角θ：
对空间点云中非地面的点进行空间坐标变换：
pright＝Rcorr·perr
其中，Pright表示经过矫正的空间点，Perr表示未经矫正的空间点，Rcort表示空间坐标变换的旋转矩阵，由以下计算获得：
所述步骤7)中将三维点云数据投影生成深度图的方法如下：
根据应用场景选择选择合适的像素角分辨率Pixr，且可以通过如下计算获得深度图的尺寸：
ImgWidth＝Hanglemax/Pixr
ImgHeight＝Vanglemax/Pixr
其中，Imgwidth和Imgheigh表示深度图的长度和宽度，Hanglemax和Vanglemax表示将坐标系原点定为视角时所能观测到的横向和纵向的最大角度；
获得空间点在深度图中的位置采用如下方法：
angleY＝arctan(Py/Px)/Pixr
angleX＝arcsin(Py/range)/Pixr
imageU＝angleXcos(angleY)+π/Pixr-OffsetU
imageV＝angleY+0.5π/Pixr-OffsetV
其中，Px和Py表示空间点的x坐标和y坐标，range表示空间点到坐标原点的距离，angleX和angleY分别表示空间点与其空间坐标系X轴与Y轴所形成的夹角，OffsetU和OffsetV表示深度图中心距离深度图原点的坐标偏移量，imageU和imageV是每个空间点对应深度图中的索引；
遍历所有像素格，如果格子中有多个距离较大的点，那么选取最近的点；如果格子中有多个距离较近的点，则取其算数平均。
2.根据权利要求1所述的基于深度相机的移动机器人行进路径障碍物检测的方法，其特征在于，所述步骤2)中通过下述公式获得由深度图生成的相机坐标系下的空间点云方法如下：
zc＝scale×depth
其中，zc，xc，yc分别表示深度图中的像素点对应于相机坐标系下的空间坐标，u和v表示像素点在深度图中的索引标号，depth表示深度图中u和v索引相对应的像素值的大小，scale表示深度相机像素值和像素点的真实深度之间的尺度关系，cx和cy表示相机光心和图像中心在x方向和y方向的偏移量，fx和fy表示深度相机在图像的x和y方向上的焦距。
3.根据权利要求2所述的基于深度相机的移动机器人行进路径障碍物检测的方法，其特征在于，所述步骤2)中将行进路线上的点云信息从相机坐标系下变换到机器人坐标系下，先需要对空间点云中的每一个坐标点都做坐标变换,通过下述公式实现：
其中，pc为空间点在相机坐标下的齐次坐标，pr为空间点在机器人坐标系下的齐次坐标，Rrc表示相机坐标系和机器人坐标系之间的旋转关系，由相机的安装角度确定，trc表示相机坐标系和机器人坐标系之间的平移关系，由相机的安装位置确定。
4.根据权利要求1所述的基于深度相机的移动机器人行进路径障碍物检测的方法，其特征在于，所述步骤3)中的均值降采样具体方法如下：
1)遍历所有空间点，找到空间中距离最远的点构成的包围盒，由点Pmin和点Pmax构成，Pmin为包围区域的坐标最小点，Pmax为包围区域的坐标最大点；
2)由确定的体素分辨率确定每个空间点的具体索引：idx＝ratio(Vr·Pr-Pmin)
其中，Vr是设定的体素分辨率，idx是每个空间点属于体素分辨率设定下的体素索引标号；
3)将所有空间点按照计算的idx的大小进行排序；
4)对相同idx的点计算其构成的质心，将其作为降采样后体素块的坐标。
5.根据权利要求1所述的基于深度相机的移动机器人行进路径障碍物检测的方法，其特征在于，所述步骤4)中的剔除无效数据点的具体方法如下：
1)使用Kd-Tree构建所有空间点云的近邻关系；2)遍历所有空间点，并从Kd-Tree中找到和该点空间距离最近的N个点，如果距离小于阈值Thd的点的个数小于m个，则认为是无效数据点。
6.根据权利要求1所述的基于深度相机的移动机器人行进路径障碍物检测的方法，其特征在于，所述步骤5)中使用RANSAC的方法在设定最大迭代次数的情况下对疑似地面区域的点做平面模型拟合，具体的平面计算方式如下：
所求平面方程即为：
Ax+By+Cz+D＝0
其中，P1、P2和P3是点云疑似区域中选取的3个空间点，
表示所求平面的法向量，x，y，z表示的所求平面上的点的坐标，A，B，C，D是这些点构成平面的约束条件。
7.根据权利要求6所述的基于深度相机的移动机器人行进路径障碍物检测的方法，其特征在于，所述步骤8)中将步骤7)获得的深度图进行逐列分析，取每一列中的距离最小值的像素点作为二维障碍物点的轮廓信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911241537.6A CN111046776B (zh) | 2019-12-06 | 2019-12-06 | 基于深度相机的移动机器人行进路径障碍物检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911241537.6A CN111046776B (zh) | 2019-12-06 | 2019-12-06 | 基于深度相机的移动机器人行进路径障碍物检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046776A CN111046776A (zh) | 2020-04-21 |
| CN111046776B true CN111046776B (zh) | 2023-06-09 |
Family
ID=70234978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911241537.6A Active CN111046776B (zh) | 2019-12-06 | 2019-12-06 | 基于深度相机的移动机器人行进路径障碍物检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046776B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111546347B (zh) * | 2020-06-03 | 2021-09-03 | 中国人民解放军海军工程大学 | 一种适用于动态环境下的机械臂路径规划方法 |
| CN111768441A (zh) * | 2020-06-29 | 2020-10-13 | 广东省航空航天装备技术研究所 | 监测柱状物体行进过程的方法、系统及计算机设备 |
| CN112363495A (zh) * | 2020-09-28 | 2021-02-12 | 华南农业大学 | 一种畜禽养殖场巡检机器人的导航方法 |
| CN112180931B (zh) * | 2020-09-30 | 2024-04-12 | 北京小狗吸尘器集团股份有限公司 | 扫地机的清扫路径规划方法、装置及可读存储介质 |
| CN112330808B (zh) * | 2020-10-30 | 2024-04-02 | 珠海一微半导体股份有限公司 | 一种基于局部地图的优化方法及视觉机器人 |
| CN112414326B (zh) * | 2020-11-10 | 2022-05-20 | 浙江华睿科技股份有限公司 | 物体表面平整度的检测方法、装置、电子装置和存储介质 |
| CN112837314B (zh) * | 2021-03-08 | 2023-06-09 | 华南农业大学 | 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法 |
| CN113140002B (zh) * | 2021-03-22 | 2022-12-13 | 北京中科慧眼科技有限公司 | 基于双目立体相机的道路状况检测方法、系统和智能终端 |
| CN113379812A (zh) * | 2021-05-31 | 2021-09-10 | 上海集成电路制造创新中心有限公司 | 异常像素的滤除方法及设备 |
| WO2022256976A1 (zh) * | 2021-06-07 | 2022-12-15 | 深圳市大疆创新科技有限公司 | 稠密点云真值数据的构建方法、系统和电子设备 |
| CN114663526A (zh) * | 2022-03-17 | 2022-06-24 | 深圳市优必选科技股份有限公司 | 障碍物检测方法、装置、机器人及计算机可读存储介质 |
| CN116630390B (zh) * | 2023-07-21 | 2023-10-17 | 山东大学 | 基于深度图模板的障碍物检测方法、系统、设备及介质 |
| CN117784800A (zh) * | 2024-02-27 | 2024-03-29 | 锐驰激光(深圳)有限公司 | 基于可适应视角的避障方法、装置、设备和存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533529A (zh) * | 2009-01-23 | 2009-09-16 | 北京建筑工程学院 | 基于深度图像的三维空间数据处理方法与装置 |
| CN104361575A (zh) * | 2014-10-20 | 2015-02-18 | 湖南戍融智能科技有限公司 | 深度图像中的自动地面检测及摄像机相对位姿估计方法 |
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
| CN105701861A (zh) * | 2014-11-28 | 2016-06-22 | 富泰华工业（深圳）有限公司 | 点云采样方法及系统 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和系统 |
| CN106054900A (zh) * | 2016-08-08 | 2016-10-26 | 电子科技大学 | 基于深度摄像头的机器人临时避障方法 |
| CN107092252A (zh) * | 2017-04-11 | 2017-08-25 | 杭州光珀智能科技有限公司 | 一种基于机器视觉的机器人主动避障方法及其装置 |
| CN108805906A (zh) * | 2018-05-25 | 2018-11-13 | 哈尔滨工业大学 | 一种基于深度图的运动障碍物检测及定位方法 |
| CN109272481A (zh) * | 2018-07-13 | 2019-01-25 | 南京理工大学 | 一种基于深度摄像头的障碍物检测方法 |
| CN109271944A (zh) * | 2018-09-27 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、电子设备、车辆及存储介质 |
| CN109814564A (zh) * | 2019-01-29 | 2019-05-28 | 炬星科技（深圳）有限公司 | 目标对象的检测、避障方法、电子设备及存储介质 |
| CN110070570A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种基于深度信息的障碍物检测系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11618438B2 (en) * | 2018-03-26 | 2023-04-04 | International Business Machines Corporation | Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network |
-
2019
- 2019-12-06 CN CN201911241537.6A patent/CN111046776B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533529A (zh) * | 2009-01-23 | 2009-09-16 | 北京建筑工程学院 | 基于深度图像的三维空间数据处理方法与装置 |
| CN104361575A (zh) * | 2014-10-20 | 2015-02-18 | 湖南戍融智能科技有限公司 | 深度图像中的自动地面检测及摄像机相对位姿估计方法 |
| CN105701861A (zh) * | 2014-11-28 | 2016-06-22 | 富泰华工业（深圳）有限公司 | 点云采样方法及系统 |
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和系统 |
| CN106054900A (zh) * | 2016-08-08 | 2016-10-26 | 电子科技大学 | 基于深度摄像头的机器人临时避障方法 |
| CN107092252A (zh) * | 2017-04-11 | 2017-08-25 | 杭州光珀智能科技有限公司 | 一种基于机器视觉的机器人主动避障方法及其装置 |
| CN108805906A (zh) * | 2018-05-25 | 2018-11-13 | 哈尔滨工业大学 | 一种基于深度图的运动障碍物检测及定位方法 |
| CN109272481A (zh) * | 2018-07-13 | 2019-01-25 | 南京理工大学 | 一种基于深度摄像头的障碍物检测方法 |
| CN109271944A (zh) * | 2018-09-27 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、电子设备、车辆及存储介质 |
| CN109814564A (zh) * | 2019-01-29 | 2019-05-28 | 炬星科技（深圳）有限公司 | 目标对象的检测、避障方法、电子设备及存储介质 |
| CN110070570A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种基于深度信息的障碍物检测系统及方法 |
Non-Patent Citations (7)
| Title |
|---|
| Depth Fingerprinting for Obstacle Tracking using 3D Point Cloud;Jon Muhovicˇ等;《23rd Computer Vision Winter Workshop》;20180207;第1-8页 * |
| Point Cloud Registration Based on Improved ICP Algorithm;Wei Guan 等;《CCDC 2018》;20180709;第1461-1464页 * |
| Real-Time Plane Segmentation and Obstacle Detection of 3D Point Clouds for Indoor Scenes;Zhe Wang 等;《ECCV 2012》;20121031;第22-31页 * |
| 基于局部二维图的动态视觉避障研究;洪少辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190715;第I138-933页正文第2.2节、第3.1.1节、第5.2.1节 * |
| 基于深度图像的室内机器人避障系统;马利红 等;《浙江师范大学学报( 自然科学版)》;20160831;第39卷(第3期);第276-282页 * |
| 基于车载单目图像的3维地平面估计;向文辉 等;《机器人》;20140131;第36卷(第1期);第76-82页 * |
| 复杂室内环境下的单一Kinect导盲系统;张克华 等;《光学精密工程》;20150831;第23卷(第8期);第2419-2427页第3.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046776A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046776B (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
| CN106997049B (zh) | 一种基于激光点云数据的检测障碍物的方法和装置 | |
| Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
| Xu et al. | Line structured light calibration method and centerline extraction: A review | |
| CN105021124B (zh) | 一种基于深度图的平面零件三维位置和法向量计算方法 | |
| US9864927B2 (en) | Method of detecting structural parts of a scene | |
| Inglis et al. | A pipeline for structured light bathymetric mapping | |
| US20080253606A1 (en) | Plane Detector and Detecting Method | |
| CN104574393A (zh) | 一种三维路面裂缝图像生成系统和方法 | |
| CN112464812B (zh) | 一种基于车辆的凹陷类障碍物检测方法 | |
| Cheng et al. | Building boundary extraction from high resolution imagery and lidar data | |
| US11783507B2 (en) | Camera calibration apparatus and operating method | |
| CN113177593B (zh) | 一种水上交通环境中雷达点云与影像数据的融合方法 | |
| Ahmed et al. | Pothole 3D reconstruction with a novel imaging system and structure from motion techniques | |
| CN114396875B (zh) | 一种基于深度相机垂直拍摄的长方形包裹体积测量方法 | |
| Shang et al. | Single-pass inline pipeline 3D reconstruction using depth camera array | |
| Kim et al. | Calibration method between dual 3D lidar sensors for autonomous vehicles | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
| CN113487631A (zh) | 基于lego-loam的可调式大角度探测感知及控制方法 | |
| CN107765257A (zh) | 一种基于反射强度辅助外部校准的激光探测与测量方法 | |
| CN114882118A (zh) | 一种激光雷达和相机外参的标定方法、装置及电子设备 | |
| Nakagawa et al. | Topological 3D modeling using indoor mobile LiDAR data | |
| CN114089376A (zh) | 一种基于单激光雷达的负障碍物检测方法 | |
| Steinemann et al. | Determining the outline contour of vehicles In 3D-LIDAR-measurements | |
| Nakagawa et al. | Panoramic rendering-based polygon extraction from indoor mobile LiDAR data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |