CN111046846A - 一种机器人前方障碍通过性判断的方法 - Google Patents

一种机器人前方障碍通过性判断的方法 Download PDF

Info

Publication number
CN111046846A
CN111046846A CN201911390115.5A CN201911390115A CN111046846A CN 111046846 A CN111046846 A CN 111046846A CN 201911390115 A CN201911390115 A CN 201911390115A CN 111046846 A CN111046846 A CN 111046846A
Authority
CN
China
Prior art keywords
camera
roughness
gradient
obstacle
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911390115.5A
Other languages
English (en)
Inventor
惠记庄
刘琼
张红俊
武琳琳
雷景媛
李梦
罗凯璐
徐子健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201911390115.5A priority Critical patent/CN111046846A/zh
Publication of CN111046846A publication Critical patent/CN111046846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种机器人前方障碍通过性判断的方法，1.得到地形环境的三维点图，获取三位点图的点云数据，建立相机坐标系；2.对点云数据进行栅格化预处理和点的稀释，得到多个栅格和稀释后的图像坐标；3.将稀释后的图像坐标转化为相机坐标，完成建模；4.对相机坐标进行最小二乘法拟合平面，在拟合平面上提取地形环境种栅格内每个点的坡度和粗糙度；5.对坡度和粗糙度进行归一化处理，建立可通过性代价函数，设定阈值，将可通过性代价函数的计算结果与阈值进行比对，当计算结果大于阈值时，代表不可通过，当计算结果小于阈值时，代表可通过。模型能够对非结构化、不规则的障碍物环境进行描述，能够对机器人前方障碍进行准确的通过性判断。

Description

一种机器人前方障碍通过性判断的方法
技术领域
本发明属于机器视觉技术领域，涉及一种机器人前方障碍通过性判断的方法。
背景技术
对于移动机器人而言，合理的环境建模和运动规划是机器人智能化程度的体现，也是智能机器人领域的研究热点。环境建模的目的是使机器人能够对其所处的环境进行感知、辨别以及重构，为机器人的运动规划提供依据，使机器人能够安全合理地到达目标点，完成自主导航的任务。用于移动机器人导航的环境建模方法分为平面环境模型的建立方法和三维环境模型的建立方法。其中平面环境模型主要包括几何尺寸模型、可视图模型以及拓扑模型。1.几何模型用直线或者曲线表示走廊和公路，大多应用于结构化的室内环境。它的优点是方法紧凑，便于识别目标，但是如果不能保证数据之间的关联性，就会导致部分算法失效，甚至建模与定位失败。2.可视图法虽然可以节约搜索的时间，但只适用于多边形障碍物环境，对于非结构化、不规则的障碍物环境将很难实现。3.拓扑模型占据内存空间小，适用于单目相机，但节点的选取和识别是难点，难以保证模型的紧凑性，不确定性较大。地图的创建首先要准确地表示环境信息，其次还要满足计算方法的简洁性，更新地图时的便捷性，但是平面环境建模很难满足维度的要求。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种机器人前方障碍通过性判断的方法，模型能够对非结构化、不规则的障碍物环境进行描述，关联性强，保证了不确定性管理和表示性，能够对机器人前方障碍进行准确的通过性判断。
为达到上述目的，本发明采用以下技术方案予以实现：
一种机器人前方障碍通过性判断的方法，包括以下步骤；
步骤一，采用相机对地形环境进行拍摄，得到地形环境的三维点图，获取三位点图的点云数据，建立相机坐标系；
步骤二，对点云数据进行栅格化预处理，得到多个栅格，将点云数据点进行点的稀释，得到稀释后的图像坐标；
步骤三，将稀释后的图像坐标转化为相机坐标，完成建模；
步骤四，对相机坐标进行最小二乘法拟合平面，在拟合平面上提取地形环境种栅格内每个点的坡度和粗糙度；
步骤五，对坡度和粗糙度进行归一化处理，建立可通过性代价函数，设定阈值，将可通过性代价函数的计算结果与阈值进行比对，当计算结果大于阈值时，代表不可通过，当计算结果小于阈值时，代表可通过。
优选的，步骤一中，建立三维的相机坐标系，其中Z轴为相机镜头朝向方向，X轴为水平方向，Y轴分别垂直于X轴和Z轴。
进一步，步骤二中，栅格化预处理后，将栅格中心点重新标记为新的Xs，Ys坐标，Zs坐标取单元栅格内所有高程点在Z轴方向的平均值。
再进一步，步骤三中，坐标转化公式为
Figure BDA0002342354150000021
Figure BDA0002342354150000022
其中，PS为图像坐标，Pm为相机坐标，α为相机的固定倾角，
Figure BDA0002342354150000023
为相机的俯仰角，ψr为相机的横滚角。
优选的，步骤五中，归一化处理前，从多个粗糙度和坡度数值中，得到最大坡度Tslope和最大粗糙度Trough。
优选的，步骤五中，可通过性的代价函数为：
F＝k1×dslope+k2×drough
其中k1+k2＝1，k1＝k2，k1为坡度系数，取0.5，k2为粗糙度系数，取0.5，drough为归一化后的粗糙度，dslope为归一化后的坡度。
与现有技术相比，本发明具有以下有益效果：
本发明所述的三维环境模型能够通过每个栅格被障碍物占据与否来进行空间状态的描述，能够对非结构化、不规则的障碍物环境进行描述，可以将障碍物信息添加到地图中；栅格的信息直接与环境中的某个区域对应，关联性强，地图容易建立与理解；建立三维环境模型的精度可以通过调节栅格的分辨率来调整，保证了不确定性管理和表示性。采用三维环境模型对复杂非结构化户外环境进行描述，通过三维环境模型中有序数值阵列的形式来表示地面的高程信息，是对传统二维数据结构的补充和延伸，不仅可以表示空间的起伏变化、描述其他具有连续高度变化的二维表面环境结构，而且能够表示、分析以及计算三维空间不连续分布特征的环境信息。本发明通过Kinect v2.0相机获取DEM数据，用三维环境模型中的第三维计算出可通过性的特征值，使得三维环境模型既能准确的表示环境信息，又能通过第三维的特征值判断环境的通过性。
附图说明
图1为本发明的图像坐标系示意图；
图2为本发明的相机采集示意图；
图3为本发明的栅格化预处理后点云主视图；
图4为本发明的栅格化预处理后点云左视图；
图5为本发明的坐标转换后点云主视图；
图6为本发明的坐标转换后点云左视图；
图7为本发明的楼梯坡度图的侧视图；
图8为本发明的楼梯坡度图的俯视图；
图9为本发明的楼梯粗糙度图的侧视图；
图10为本发明的楼梯粗糙度图的俯视图；
图11为本发明的楼梯可通过性分析结果图的侧视图；
图12为本发明的楼梯可通过性分析结果图的俯视图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
本实施例以前方障碍为楼梯为例，机器人前方障碍通过性判断的过程为以下步骤。
步骤一，如图1所示，首先采用Kinect v2.0相机拍摄地形环境图像，拍摄图像如图2所示，将相机的拍摄图像发送给电脑，通过电脑上的Matlab工具箱中的ImageAcquisition获取点云图像以及点云数据，其中点云数据的分辨率为1080*1920*3大小的像素点。建立图像坐标系，其中X轴为相机的水平方向，Z轴为相机镜头朝向方向，Y轴分别垂直于X轴、Z轴，如图1所示。
步骤二，本发明以9*9大小的栅格单元对分辨率为1080*1920*3像素大小的三维点云数据点进行稀释，其中原坐标为PS0(XS0,YS0,ZS0)，记为大小为1080*1920的矩阵。稀释后得到大小为120*213*3的像素点点云数据，将栅格中心点重新标记为新的Xs，Ys坐标，而Zs坐标取单元栅格内81个高程点在高度方向即Z轴的平均值，如图3和图4所示，转换后的坐标为PS(XS,YS,ZS)，记为大小为120*213的矩阵。栅格划分的坐标转换公式如下：
Figure BDA0002342354150000051
Figure BDA0002342354150000052
Figure BDA0002342354150000053
其中i＝5,14,23,...,1076；j＝5,14,23,...,1913，i和j为像素点值，i和j的大小取值保证能被其下方分母除尽，从而用行列号标识网格的二维坐标点。
步骤三，相机在拍摄过程中存在倾角，所以我们获取的点云图像水平面和世界坐标系下的水平面存在一个固定倾角，因此将带有倾角的三维点云数据转化为世界坐标系下的坐标，也就是将图像坐标转化为相机坐标，如图5和图6所示，转化过程如下：
Figure BDA0002342354150000054
Figure BDA0002342354150000055
Figure BDA0002342354150000056
Ps＝[XS,YS,ZS]T为图像坐标，Pm＝[Xm,Ym,Zm]T为相机坐标，α为相机的固定倾角，
Figure BDA0002342354150000057
为俯仰角，ψr为横滚角。
步骤四，用最小二乘法拟合平面，并求取坡度和粗糙度：在9*9的栅格内共有81个高程点，任意一个高程点为(xi,yi,zi),i＝1,2,...81，(xi,yi)表示该点在地图中的位置，Zi表示其高程值，设拟合平面方程为：
z＝Ax+By+C (1.7)
由最小二乘法得：
Figure BDA0002342354150000061
对A，B，C分别求导，可以求得A，B，C的值：
Figure BDA0002342354150000062
则拟合平面的法向量
Figure BDA0002342354150000063
(A，B，-1)，如图7和图8所示，坡度slpoe为：
Figure BDA0002342354150000064
如图9和图10所示，粗糙度rough指地表的凹凸程度，由栅格内每个点到拟合平面距离的均方根表示：
Figure BDA0002342354150000065
di表示第i个栅格到拟合平面的距离，由第i个栅格中每一个高程点到拟合平面的距离得到：
Figure BDA0002342354150000066
步骤五，为了便于可通过性判断，我们首先对坡度和粗糙度进行归一化处理：从多个粗糙度rough和坡度slpoe数值中，得到该地形图的最大坡度Tslope和最大粗糙度Trough，归一化后的坡度用dslope表示，其中
Figure BDA0002342354150000071
归一化后的粗糙度用drough表示，其中
Figure BDA0002342354150000072
则可通过性的代价函数F为：
F＝k1×dslope+k2×drough (4.10)
其中k1+k2＝1，k1＝k2，k1为坡度系数，为0.5，k2为粗糙度系数，为0.5。
如图11和图12所示，当F大于0.6时，图中为颜色较浅区域，代表前方为不可通过区域，本实施例中代表楼梯的竖直平面；当F小于等于0.6时，图中为颜色较深区域，代表前方为可通过区域，本实施例中代表水平无障碍物平面。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种机器人前方障碍通过性判断的方法，其特征在于，包括以下步骤；
步骤一，采用相机对地形环境进行拍摄，得到地形环境的三维点图，获取三位点图的点云数据，建立相机坐标系；
步骤二，对点云数据进行栅格化预处理，得到多个栅格，将点云数据点进行点的稀释，得到稀释后的图像坐标；
步骤三，将稀释后的图像坐标转化为相机坐标，完成建模；
步骤四，对相机坐标进行最小二乘法拟合平面，在拟合平面上提取地形环境种栅格内每个点的坡度和粗糙度；
步骤五，对坡度和粗糙度进行归一化处理，建立可通过性代价函数，设定阈值，将可通过性代价函数的计算结果与阈值进行比对，当计算结果大于阈值时，代表不可通过，当计算结果小于阈值时，代表可通过。
2.根据权利要求1所述的机器人前方障碍通过性判断的方法，其特征在于，步骤一中，建立三维的相机坐标系，其中Z轴为相机镜头朝向方向，X轴为水平方向，Y轴分别垂直于X轴和Z轴。
3.根据权利要求2所述的机器人前方障碍通过性判断的方法，其特征在于，步骤二中，栅格化预处理后，将栅格中心点重新标记为新的Xs，Ys坐标，Zs坐标取单元栅格内所有高程点在Z轴方向的平均值。
4.根据权利要求3所述的机器人前方障碍通过性判断的方法，其特征在于，步骤三中，坐标转化公式为
Figure FDA0002342354140000011
Figure FDA0002342354140000012
其中，PS为图像坐标，Pm为相机坐标，α为相机的固定倾角，
Figure FDA0002342354140000013
为相机的俯仰角，ψr为相机的横滚角。
5.根据权利要求1所述的机器人前方障碍通过性判断的方法，其特征在于，步骤五中，归一化处理前，从多个粗糙度和坡度数值中，得到最大坡度Tslope和最大粗糙度Trough。
6.根据权利要求1所述的机器人前方障碍通过性判断的方法，其特征在于，步骤五中，可通过性的代价函数为：
F＝k1×dslope+k2×drough
其中k1+k2＝1，k1＝k2，k1为坡度系数，取0.5，k2为粗糙度系数，取0.5，drough为归一化后的粗糙度，dslope为归一化后的坡度。
CN201911390115.5A 2019-12-27 2019-12-27 一种机器人前方障碍通过性判断的方法 Pending CN111046846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390115.5A CN111046846A (zh) 2019-12-27 2019-12-27 一种机器人前方障碍通过性判断的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390115.5A CN111046846A (zh) 2019-12-27 2019-12-27 一种机器人前方障碍通过性判断的方法

Publications (1)

Publication Number Publication Date
CN111046846A true CN111046846A (zh) 2020-04-21

Family

ID=70241354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390115.5A Pending CN111046846A (zh) 2019-12-27 2019-12-27 一种机器人前方障碍通过性判断的方法

Country Status (1)

Country Link
CN (1) CN111046846A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258489A (zh) * 2020-10-30 2021-01-22 广东杜尼智能机器人工程技术研究中心有限公司 扫地机器人路面凹陷的检测方法
CN113432610A (zh) * 2021-06-15 2021-09-24 云鲸智能(深圳)有限公司 机器人通行规划方法、装置、机器人及存储介质
CN114415652A (zh) * 2021-11-09 2022-04-29 南京南自信息技术有限公司 一种轮式机器人路径规划方法
CN115185266A (zh) * 2022-06-14 2022-10-14 重庆大学 一种基于地形可通过性的机器人控制方法及系统
CN117073688A (zh) * 2023-10-16 2023-11-17 泉州装备制造研究所 一种基于多层代价地图的覆盖路径规划方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102173313A (zh) * 2010-12-24 2011-09-07 北京控制工程研究所 一种软着陆接力避障方法
CN103869820A (zh) * 2014-03-18 2014-06-18 北京控制工程研究所 一种巡视器地面导航规划控制方法
CN107228668A (zh) * 2017-05-17 2017-10-03 桂林电子科技大学 一种基于规则网格dem数据的路径规划新方法
CN107990903A (zh) * 2017-12-29 2018-05-04 东南大学 一种基于改进a*算法的室内agv路径规划方法
CN110110645A (zh) * 2019-04-30 2019-08-09 北京控制工程研究所 一种适用于低信噪比图像的障碍快速识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102173313A (zh) * 2010-12-24 2011-09-07 北京控制工程研究所 一种软着陆接力避障方法
CN103869820A (zh) * 2014-03-18 2014-06-18 北京控制工程研究所 一种巡视器地面导航规划控制方法
CN107228668A (zh) * 2017-05-17 2017-10-03 桂林电子科技大学 一种基于规则网格dem数据的路径规划新方法
CN107990903A (zh) * 2017-12-29 2018-05-04 东南大学 一种基于改进a*算法的室内agv路径规划方法
CN110110645A (zh) * 2019-04-30 2019-08-09 北京控制工程研究所 一种适用于低信噪比图像的障碍快速识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵兴东等: "《矿用三维激光数字测量原理及其工程应用》", 31 January 2016 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258489A (zh) * 2020-10-30 2021-01-22 广东杜尼智能机器人工程技术研究中心有限公司 扫地机器人路面凹陷的检测方法
CN113432610A (zh) * 2021-06-15 2021-09-24 云鲸智能(深圳)有限公司 机器人通行规划方法、装置、机器人及存储介质
CN114415652A (zh) * 2021-11-09 2022-04-29 南京南自信息技术有限公司 一种轮式机器人路径规划方法
CN114415652B (zh) * 2021-11-09 2024-03-26 南京南自信息技术有限公司 一种轮式机器人路径规划方法
CN115185266A (zh) * 2022-06-14 2022-10-14 重庆大学 一种基于地形可通过性的机器人控制方法及系统
CN117073688A (zh) * 2023-10-16 2023-11-17 泉州装备制造研究所 一种基于多层代价地图的覆盖路径规划方法
CN117073688B (zh) * 2023-10-16 2024-03-29 泉州装备制造研究所 一种基于多层代价地图的覆盖路径规划方法

Similar Documents

Publication Publication Date Title
CN111046846A (zh) 一种机器人前方障碍通过性判断的方法
CN111739063B (zh) 一种基于多传感器融合的电力巡检机器人定位方法
CN107179768B (zh) 一种障碍物识别方法及装置
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN111612059B (zh) 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN101299270B (zh) 三维扫描系统中的多个摄像机同步快速标定方法
CN110490888B (zh) 基于机载激光点云的高速公路几何特征矢量化提取方法
CN111046776A (zh) 基于深度相机的移动机器人行进路径障碍物检测的方法
CN113066162B (zh) 一种用于电磁计算的城市环境快速建模方法
CN111325138B (zh) 一种基于点云局部凹凸特征的道路边界实时检测方法
CN113345008A (zh) 一种考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法
CN111880197A (zh) 一种基于四线激光雷达的道路边界检测方法
CN115752474A (zh) 非平坦地面环境下的机器人导航规划方法、装置及机器人
CN114004938A (zh) 一种基于海量数据的城市场景重建方法及装置
CN116993750A (zh) 基于多模态结构语义特征的激光雷达slam方法
Yong-guo et al. The navigation of mobile robot based on stereo vision
CN115619953A (zh) 一种面向崎岖地形的移动机器人地形建图方法及系统
CN113762310B (zh) 一种点云数据分类方法、装置、计算机存储介质及系统
CN111782828A (zh) 一种车前地形复合地图的高效构建方法
CN112372633A (zh) 机器人的果园树形架型自主推理与场景理解方法
CN113570663B (zh) 基于单线激光雷达和顶视摄像头融合的室内定位方法
Wu et al. Recognition of road type for unmanned vehicle based on texture and color features
Liu et al. Terrain Assessment Based on Dynamic Voxel Grids in Outdoor Unstructured Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421

RJ01 Rejection of invention patent application after publication