CN115562304A - 一种基于深度点云的移动机器人视觉伺服控制方法和系统 - Google Patents
一种基于深度点云的移动机器人视觉伺服控制方法和系统 Download PDFInfo
- Publication number
- CN115562304A CN115562304A CN202211354478.5A CN202211354478A CN115562304A CN 115562304 A CN115562304 A CN 115562304A CN 202211354478 A CN202211354478 A CN 202211354478A CN 115562304 A CN115562304 A CN 115562304A
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- pose
- obstacle
- point cloud
- depth point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 2
- 238000000926 separation method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于深度点云的移动机器人视觉伺服控制方法和系统,方法包括:获取移动机器人周围环境深度点云信息;对所获取的深度点云信息进行预处理,得到障碍物的方向和距离信息;根据障碍物的方向和距离信息以及移动机器人的当前位姿计算得到移动机器人与障碍物的当前相对位置;根据预设的移动机器人的期望位姿、移动机器人的当前位姿以及移动机器人与障碍物的当前相对位置计算得到移动机器人的位姿误差;根据移动机器人的位姿误差调整移动机器人的位姿。本发明解决了传统的视觉伺服对弱纹理特征图像特征难以提取的问题,且计算量更低、鲁棒性更高、稳定性更好。
Description
技术领域
本发明属于移动机器人技术领域,具体涉及一种基于深度点云的移动机器人视觉伺服控制方法和系统。
背景技术
移动机器人是一种集合环境感知和行为控制于一体的智能系统,在生产制造、医疗救援以及生活服务领域都有着广阔的发展前景。针对移动机器人控制问题,各种传感器的应用层出不穷,其中视觉伺服控制法是当下应用最广泛的方法之一。
目前,大部分视觉伺服控制使用的是基于图像的方法,根据传感器获取的图像信息将图像特征参数的变化同机器人位姿变化联系起来,从而进行控制,但是该方法存在机器人轨迹难以控制、对环境要求高的缺点。另一种基于位置的视觉伺服控制方法是根据当前位姿与目标位姿计算出控制量,实现控制轨迹,但是过于依赖于目标位姿的估计精度,且图像误差的鲁棒性过差。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种基于深度点云的移动机器人视觉伺服控制方法和系统,解决了传统的视觉伺服对弱纹理特征图像特征难以提取的问题,且计算量更低、鲁棒性更高、稳定性更好。
本发明提供了如下的技术方案:
第一方面,提供一种基于深度点云的移动机器人视觉伺服控制方法,包括:
获取移动机器人周围环境深度点云信息;
对所获取的深度点云信息进行预处理,得到障碍物的方向和距离信息;
根据障碍物的方向和距离信息以及移动机器人的当前位姿计算得到移动机器人与障碍物的当前相对位置;
根据预设的移动机器人的期望位姿、移动机器人的当前位姿以及移动机器人与障碍物的当前相对位置计算得到移动机器人的位姿误差;
根据移动机器人的位姿误差调整移动机器人的位姿。
进一步的,所述深度点云信息通过Realsence D435深度相机采集,对所述深度点云信息进行的预处理包括:体素滤波、坐标变换、直通滤波、高斯滤波、降维处理以及将点云的直角坐标转换为极坐标。
进一步的,所述移动机器人的当前位姿根据移动机器人的运动学模型获得;所述移动机器人的运动学模型的建立方法包括:
在世界坐标系的X-Y平面内设定移动机器人的起始位置,当移动机器人在世界坐标系下运动时,建立其运动学方程:
式中,vi和ωi分别为移动机器人在机器人坐标系中的线速度和角速度;为移动机器人在世界坐标系中的位姿(xi,yi,θi)对时间的一阶导数,假定移动机器人质心与中心重合,(xi,yi)为移动机器人的几何中心坐标,θi为移动机器人的线速度矢量与X轴的夹角;viL和viR分别为移动机器人左右两履带的速度,L1为移动机器人左右两履带之间的距离。
进一步的,计算所述移动机器人与障碍物的当前相对位置的方法包括:
式中,de为移动机器人与障碍物的垂直距离,d为移动机器人沿着其横坐标X0方向与障碍物的直线距离,与分别为移动机器人以横坐标X0方向为角平分线向左右两边发散的角度,θt为移动机器人至障碍物的垂线与横坐标X0之间偏离的夹角,p1为移动机器人沿着方向与障碍物的直线距离,p2为机器人沿着方向与障碍物的直线距离。
进一步的,计算所述移动机器人的位姿误差的方法包括:在世界坐标系下,令:
Δp=p*-p (5)
式中,Δp=[xe,ye,θe]为移动机器人的位姿误差,P*=[x1,y1,θ1]为移动机器人的期望位姿,P=[x0,y0,θ0]为移动机器人的当前位姿。
进一步的,若所述移动机器人的位姿误差大于设定阈值,则基于移动机器人的位姿误差和李雅普诺夫函数计算移动机器人的控制率,建立视觉伺服控制器以实时调整移动机器人的位姿,直至移动机器人的位姿误差小于设定阈值,结束流程,完成移动机器人的位姿调整。
进一步的,计算所述移动机器人的控制率的方法包括:
对移动机器人的位置误差Δp进行微分:
对V函数进行微分:
计算移动机器人的控制率为:
将公式(11)带入公式(10)证明移动机器人控制率的稳定性,得到:
第二方面,提供一种基于深度点云的移动机器人视觉伺服控制系统,包括:
信息获取模块,用于获取移动机器人周围环境深度点云信息;
预处理模块,用于对所获取的深度点云信息进行预处理,得到障碍物的方向和距离信息;
第一数据处理模块,用于根据障碍物的方向和距离信息以及移动机器人的当前位姿计算得到移动机器人与障碍物的当前相对位置;
第二数据处理模块,根据预设的移动机器人的期望位姿、移动机器人的当前位姿以及移动机器人与障碍物的当前相对位置计算得到移动机器人的位姿误差;
位姿调整模块,用于根据移动机器人的位姿误差调整移动机器人的位姿。
第三方面,提供一种基于深度点云的移动机器人视觉伺服控制装置,包括处理器及存储介质;所述存储介质用于存储指令;所述处理器用于根据所述指令进行操作以执行第一方面所述方法的步骤。
第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现第一方面所述方法的步骤。
与现有技术相比,本发明的有益效果是:
本发明基于移动机器人周围环境深度点云信息,通过对深度点云信息进行预处理得到障碍物的方向和距离信息,进而计算移动机器人与障碍物的当前相对位置以及移动机器人的位姿误差,最终根据移动机器人的位姿误差不断调整移动机器人的位姿以达期望位置,解决了传统的视觉伺服对弱纹理特征图像特征难以提取的问题,且计算量更低、鲁棒性更高、稳定性更好。
附图说明
图1是本发明实施例中基于深度点云的移动机器人视觉伺服控制方法的流程示意图;
图2是本发明实施例中移动机器人的运动学模型;
图3是本发明实施例中深度点云信息预处理的流程示意图;
图4是本发明实施例中移动机器人与障碍物的相对位置关系数学模型。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1
如图1所示,本实施例以四履带双摇臂差速移动机器人为例,提供一种基于深度点云的移动机器人视觉伺服控制方法,具体包括以下步骤:
步骤一、如图2所示,在世界坐标系的X-Y平面内设定移动机器人的起始位置,当移动机器人在世界坐标系下运动时,建立其运动学模型方程:
其中:
式中,vi和ωi分别为移动机器人在机器人坐标系中的线速度和角速度;为移动机器人在世界坐标系中的位姿(xi,yi,θi)对时间的一阶导数,假定移动机器人质心与中心重合,(xi,yi)为移动机器人的几何中心坐标,θi为移动机器人的线速度矢量与X轴的夹角;viL和viR分别为移动机器人左右两履带的速度,L1为移动机器人左右两履带之间的距离。
步骤二、通过Realsence D435深度相机实时采集移动机器人的周围环境深度点云信息。
步骤三、如图3所示,对步骤二中获取的深度点云信息进行预处理,包括:体素滤波、坐标变换、直通滤波、高斯滤波、降维处理以及将点云的直角坐标转换为极坐标,得到障碍物的方向和距离信息。
步骤四、如图4所示,根据步骤三得到的障碍物的方向和距离信息以及移动机器人的当前位姿建立数学关系,计算得到移动机器人与障碍物的当前相对位置,具体为:
计算获得:
式中,de为移动机器人与障碍物的垂直距离,d为移动机器人沿着其横坐标X0方向与障碍物的直线距离,与分别为移动机器人以横坐标X0方向为角平分线向左右两边发散的角度,θt为移动机器人至障碍物的垂线与横坐标X0之间偏离的夹角,p1为移动机器人沿着方向与障碍物的直线距离,p2为机器人沿着方向与障碍物的直线距离。
步骤五、根据预设的移动机器人的期望位姿、移动机器人的当前位姿以及移动机器人与障碍物的当前相对位置计算得到移动机器人的位姿误差。具体的,在世界坐标系下,设定移动机器人的期望位姿P*=[x1,y1,θ1],根据移动机器人的运动学模型获得移动机器人的当前位姿P=[x0,y0,θ0],构建移动机器人的位姿误差模型:
Δp=p*-p (5)
步骤六、若移动机器人的位姿误差大于设定阈值ε,则基于移动机器人的位姿误差和李雅普诺夫函数计算移动机器人的控制率,建立视觉伺服控制器以实时调整移动机器人的位姿,具体为:
对移动机器人的位置误差Δp进行微分:
对V函数(9)进行微分:
由公式(10)可得移动机器人的控制率为:
将公式(11)带入公式(10)证明移动机器人控制率的稳定性,得到:
由公式(9)和公式(12)可知,选取的V函数是满足李雅普诺夫稳定性条件的,所提出的移动机器人的控制率是稳定的。
步骤七、重复步骤一至步骤六,直至移动机器人的位姿误差小于设定阈值ε,结束流程,移动机器人以垂直于障碍物方向的姿态到达期望位置,完成移动机器人的位姿调整。
实施例2
本实施例提供一种基于深度点云的移动机器人视觉伺服控制系统,包括:
信息获取模块,用于获取移动机器人周围环境深度点云信息;
预处理模块,用于对所获取的深度点云信息进行预处理,得到障碍物的方向和距离信息;
第一数据处理模块,用于根据障碍物的方向和距离信息以及移动机器人的当前位姿计算得到移动机器人与障碍物的当前相对位置;
第二数据处理模块,根据预设的移动机器人的期望位姿、移动机器人的当前位姿以及移动机器人与障碍物的当前相对位置计算得到移动机器人的位姿误差;
位姿调整模块,用于根据移动机器人的位姿误差调整移动机器人的位姿。
实施例3
本实施例提供一种基于深度点云的移动机器人视觉伺服控制装置,包括处理器及存储介质;所述存储介质用于存储指令;所述处理器用于根据所述指令进行操作以执行实施例1所述方法的步骤。
实施例4
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现实施例1所述方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于深度点云的移动机器人视觉伺服控制方法,其特征在于,包括:
获取移动机器人周围环境深度点云信息;
对所获取的深度点云信息进行预处理,得到障碍物的方向和距离信息;
根据障碍物的方向和距离信息以及移动机器人的当前位姿计算得到移动机器人与障碍物的当前相对位置;
根据预设的移动机器人的期望位姿、移动机器人的当前位姿以及移动机器人与障碍物的当前相对位置计算得到移动机器人的位姿误差;
根据移动机器人的位姿误差调整移动机器人的位姿。
2.根据权利要求1所述的基于深度点云的移动机器人视觉伺服控制方法,其特征在于,所述深度点云信息通过Realsence D435深度相机采集,对所述深度点云信息进行的预处理包括:体素滤波、坐标变换、直通滤波、高斯滤波、降维处理以及将点云的直角坐标转换为极坐标。
3.根据权利要求1所述的基于深度点云的移动机器人视觉伺服控制方法,其特征在于,所述移动机器人的当前位姿根据移动机器人的运动学模型获得;所述移动机器人的运动学模型的建立方法包括:
在世界坐标系的X-Y平面内设定移动机器人的起始位置,当移动机器人在世界坐标系下运动时,建立其运动学方程:
6.根据权利要求5所述的基于深度点云的移动机器人视觉伺服控制方法,其特征在于,若所述移动机器人的位姿误差大于设定阈值,则基于移动机器人的位姿误差和李雅普诺夫函数计算移动机器人的控制率,建立视觉伺服控制器以实时调整移动机器人的位姿,直至移动机器人的位姿误差小于设定阈值,结束流程,完成移动机器人的位姿调整。
8.一种基于深度点云的移动机器人视觉伺服控制系统,其特征在于,包括:
信息获取模块,用于获取移动机器人周围环境深度点云信息;
预处理模块,用于对所获取的深度点云信息进行预处理,得到障碍物的方向和距离信息;
第一数据处理模块,用于根据障碍物的方向和距离信息以及移动机器人的当前位姿计算得到移动机器人与障碍物的当前相对位置;
第二数据处理模块,根据预设的移动机器人的期望位姿、移动机器人的当前位姿以及移动机器人与障碍物的当前相对位置计算得到移动机器人的位姿误差;
位姿调整模块,用于根据移动机器人的位姿误差调整移动机器人的位姿。
9.一种基于深度点云的移动机器人视觉伺服控制装置,其特征在于,包括处理器及存储介质;所述存储介质用于存储指令;所述处理器用于根据所述指令进行操作以执行权利要求1~7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211354478.5A CN115562304A (zh) | 2022-11-01 | 2022-11-01 | 一种基于深度点云的移动机器人视觉伺服控制方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211354478.5A CN115562304A (zh) | 2022-11-01 | 2022-11-01 | 一种基于深度点云的移动机器人视觉伺服控制方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115562304A true CN115562304A (zh) | 2023-01-03 |
Family
ID=84769548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211354478.5A Pending CN115562304A (zh) | 2022-11-01 | 2022-11-01 | 一种基于深度点云的移动机器人视觉伺服控制方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115562304A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116974288A (zh) * | 2023-09-20 | 2023-10-31 | 深圳鹏行智能研究有限公司 | 机器人控制方法以及机器人 |
-
2022
- 2022-11-01 CN CN202211354478.5A patent/CN115562304A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116974288A (zh) * | 2023-09-20 | 2023-10-31 | 深圳鹏行智能研究有限公司 | 机器人控制方法以及机器人 |
CN116974288B (zh) * | 2023-09-20 | 2024-03-15 | 深圳鹏行智能研究有限公司 | 机器人控制方法以及机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Piazzi et al. | Quintic G/sup 2/-splines for the iterative steering of vision-based autonomous vehicles | |
CN109131325B (zh) | 智能驾驶汽车的三维可拓预瞄切换的车道保持控制方法 | |
CN105081524B (zh) | 焊接过程中轨迹在线动态规划与焊道跟踪协同的控制方法 | |
CN114043479B (zh) | 一种误差矫正的地坪磨抛机器人轨迹纠偏方法及装置 | |
CN113093804B (zh) | 基于反演滑模控制的无人艇编队控制方法和控制系统 | |
CN111308884A (zh) | 一种全向移动agv多舵轮协同控制方法 | |
CN107589720A (zh) | 一种等效平面交叉耦合控制方法 | |
CN115562304A (zh) | 一种基于深度点云的移动机器人视觉伺服控制方法和系统 | |
CN109032128B (zh) | 离散多agv非质点系统的三角编队控制方法 | |
CN115032984A (zh) | 一种面向港口物流智能机器人的半自主导航方法及系统 | |
CN114740863A (zh) | 一种基于领航跟随的多机编队控制方法及装置 | |
CN112099505B (zh) | 一种低复杂度的移动机器人视觉伺服编队控制方法 | |
CN112379638B (zh) | 一种基于有限脉冲响应滤波的样条曲线插补方法 | |
CN112650217B (zh) | 一种基于评估函数的机器人轨迹跟踪策略动态优化方法 | |
CN110722547B (zh) | 模型未知动态场景下移动机器人视觉镇定 | |
Wang et al. | Fuzzy-PI double-layer stability control of an online vision-based tracking system | |
CN115903833A (zh) | 一种移动机器人的追踪控制方法 | |
Linlin | Research on robot motion control and trajectory tracking based on agricultural seeding | |
Cui et al. | AGV research based on inertial navigation and vision fusion | |
Hwang et al. | Robust 2D map building with motion-free ICP algorithm for mobile robot navigation | |
Chang et al. | Mobile robot navigation and control with monocular surveillance cameras | |
CN104527780A (zh) | 一种四轮独立转向车辆的转向控制方法 | |
Wang et al. | Visual Servoing Control Method of 3D Robot Based on 3D Point Cloud Processing | |
CN112123370B (zh) | 期望位姿变动的移动机器人视觉镇定控制 | |
Chen et al. | Multi-Sensor Fusion Tomato Picking Robot Localization and Mapping Research |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |