CN108681324A - 基于全局视觉的移动机器人轨迹跟踪控制方法 - Google Patents

基于全局视觉的移动机器人轨迹跟踪控制方法 Download PDF

Info

Publication number
CN108681324A
CN108681324A CN201810457608.5A CN201810457608A CN108681324A CN 108681324 A CN108681324 A CN 108681324A CN 201810457608 A CN201810457608 A CN 201810457608A CN 108681324 A CN108681324 A CN 108681324A
Authority
CN
China
Prior art keywords
robot
mobile robot
camera
coordinate
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810457608.5A
Other languages
English (en)
Inventor
高剑
安旭曼
严卫生
张福斌
崔荣鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201810457608.5A priority Critical patent/CN108681324A/zh
Publication of CN108681324A publication Critical patent/CN108681324A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Abstract

本发明提出一种基于全局视觉的移动机器人轨迹跟踪控制方法,采用全局图像进行轨迹控制,使控制器的设计可以直接使用图像特征,无需3D重建,将视觉控制器从机器人控制器中分离出来,从而降低了视觉系统标定误差对控制效果的影响。在控制算法上,采用级联控制理论设计移动机器人的轨迹跟踪控制器:在像素平面对全局视觉移动机器人的运动和动态误差特性进行建模,并在此基础上采用级联理论将整个系统分解为两个级联的子系统,对其分别设计控制输入以实现移动机器人的轨迹跟踪控制。

Description

基于全局视觉的移动机器人轨迹跟踪控制方法
技术领域
本发明属于轨迹跟踪控制领域,具体为一种基于全局视觉的移动机器人轨迹跟踪控制方法。
背景技术
随着计算机科学、运动生物力学、触觉学、神经学、传感器网络学等相关学科的迅速发展,机器人不断智能化、多样化,并且成为当前研究的热点。轮式移动机器人可以在工作区域自由地运动,承担多样化的任务,已经成为了一种运用最广泛的机器人。光视觉传感器是机器人的应用最广泛的感知装置,具有模拟人类视觉系统的功能。相机是一种主要的光视觉传感器,其体积小且成本低,能够提供相对全面的外界信息,增加完成任务的灵活性和准确性。
移动机器人是一个非完整系统,其轨迹控制是一个重要问题。传统的轨迹跟踪控制方法基于位置坐标的反馈控制信号,设计控制器需要通过视觉特征估计相机和目标对象之间的相对三维姿态,还需要目标对象的先验3D模型,用于目标对象的3D重建,而实际中这些信息难以获得。导致系统不能直接使用图像得到的位姿信息,而是对其进行三维重构,使问题复杂化;且相机的标定误差、目标的几何模型误差、相机模型误差都会极大影响三维重构的精度;并且控制系统与视觉系统分离,导致控制目标很容易离开相机的视野。
发明内容
为解决现有技术存在的问题,本发明提出一种基于全局视觉的移动机器人轨迹跟踪控制方法,采用全局图像进行轨迹控制,使控制器的设计可以直接使用图像特征,无需3D重建,将视觉控制器从机器人控制器中分离出来,从而降低了视觉系统标定误差对控制效果的影响。在控制算法上,采用级联控制理论设计移动机器人的轨迹跟踪控制器:在像素平面对全局视觉移动机器人的运动和动态误差特性进行建模,并在此基础上采用级联理论将整个系统分解为两个级联的子系统,对其分别设计控制输入以实现移动机器人的轨迹跟踪控制。
本发明的技术方案为:
所述一种基于全局视觉的移动机器人轨迹跟踪控制方法,其特征在于:采用位于机器人上方空间的全局相机拍摄包含移动机器人以及参考机器人的图像,根据图像采用以下过程确定移动机器人跟踪参考机器人的轨迹跟踪控制参数:
移动机器人跟踪参考机器人的轨迹跟踪控制参数为移动机器人左轮和右轮的转速ωL和ωR,通过以下公式确定:
其中2b是移动机器人左轮和右轮的间距,2r是移动机器人车轮直径,移动机器人的速度v和角速度ω由全局渐近稳定控制器确定:
其中vr和ωr分别为参考机器人行进方向的速度和角速度,k1,k2和k3为大于零的常比例系数;s表示积分变量;f是相机的焦距,zc为相机深度,ρ是成像平面到像素平面的放大倍数,ye和ye和xe由移动机器人的轨迹跟踪误差确定:
其中θ0是世界坐标系的Xw轴投影到相机坐标面OcXcYc上后与相机坐标系中某一设定轴的夹角,相机坐标面OcXcYc与机器人移动平面平行;θ为世界坐标系Xw轴投影到机器人移动平面后与移动机器人前进方向的夹角,θr为世界坐标系Xw轴投影到机器人移动平面后与参考机器人前进方向的夹角;(x,y)和(xr,yr)分别为移动机器人和参考机器人的质心坐标,均通过以下图像处理过程得到:
全局相机拍摄的图像中,某一目标点在相机坐标面OcXcYc下的坐标(xc,yc)由转换关系
确定,其中(xu,yu)为目标点在成像平面的坐标;而(xu,yu)由转换关系
确定,其中(xm,ym)为目标点在像素平面的坐标,Oc1和Oc2是相机光轴与像素平面的交点在像素平面的坐标。
有益效果
本发明提出采用全局图像进行轨迹控制的方法,使控制器的设计可以直接使用图像特征,无需3D重建,将视觉控制器从机器人控制器中分离出来,从而降低了视觉系统标定误差对控制效果的影响。在控制算法上,采用级联控制理论设计移动机器人的轨迹跟踪控制器,简化了系统设计。并且该控制器完全适应硬件的速度,扩大了移动机器人的跟踪范围。总之,该控制方法可以实现全局视觉移动机器人的轨迹跟踪控制。对轨迹跟踪控制领域有很好的借鉴意义,有一定的应用价值。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1:级联系统轨迹跟踪控制器的控制结果图
图2:差分移动机器人移动机构示意图
图3:全局视觉移动机器人轨迹跟踪的参考轨迹图
图4:实验平台系统结构图
具体实施方式
下面详细描述本发明的实施例,所述实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明对全局视觉的移动机器人系统进行建模,利用级联系统理论设计移动机器人轨迹跟踪控制器,实现全局视觉移动机器人的轨迹跟踪控制,使得系统适应性更强,系统控制设计更简单。
本发明的主要原理步骤为:
步骤1:首先建立全局视觉下移动机器人的运动模型。在轮式差分移动机器人运动学模型的基础上,采用小孔成像模型作为全局相机模型,并根据成像平面与像素平面的坐标转换关系建立视觉量测方程,获得像素平面中移动机器人的图像坐标与运动速度的关系:
式中,ν是移动机器人行进方向的速度,ω为移动机器人轮子的角速度;其中,f是相机的焦距(取一般相机纵横焦距相等的情况),zc为相机深度,通过测量得到,ρ是成像平面到像素平面的放大倍数;θ0是世界坐标系的Xw轴投影到相机坐标面OcXcYc上后与相机坐标系中某一设定轴的夹角,θ为世界坐标系Xw轴投影到机器人移动平面后与移动机器人前进方向的夹角,(xm,ym)为移动机器人质心在像素平面中的坐标。
式(1)由以下关系推导而来。
对于全局相机图像中的某个目标点在世界坐标面的坐标(xw,yw)与相机坐标面的坐标(xc,yc)的转换公式:
式中,θ0是世界坐标系的Xw轴投影到相机坐标面OcXcYc上后与相机坐标系中某一设定轴的夹角(逆时针方向为正);(cx,cy)为相机光轴和世界坐标面OwXwYw的交点坐标。
目标点在相机坐标系下的坐标(xc,yc,zc)与成像平面坐标(xu,yu)的转换关系:
目标点在成像平面的坐标(xu,yu)与像素平面的坐标(xm,ym)的转换关系:
由(2)(3)(4)得目标点在世界坐标面OwXwYw与像素平面OaMN的坐标的转换关系:
结合轮式差分移动机器人的运动学模型得到公式(1)。
步骤2:定义机器人的轨迹跟踪误差,并推导出轨迹跟踪误差动态特性。在全局视觉移动机器人运动模型基础上,定义一个运动控制律已知的参考移动机器人系统,将其运动轨迹作为移动机器人的参考轨迹,据此,定义机器人的轨迹跟踪误差,并推导出轨迹跟踪误差动态特性。
在像素平面下,移动机器人的预期轨迹给定为
其中,(xrm,yrm)为参考机器人质心在像素平面中的坐标;νr和ωr分别是参考移动机器人行进方向的速度和轮子的角速度(根据机器人的机动性能进行限幅);定义
这里定义参考速度与角速度为(根据机器人的机动性能进行限幅):
于是定义像素坐标面中移动机器人的轨迹跟踪误差
其中,(xr,yr)为参考机器人质心坐标,对式(8)求导,得到其动态特性为:
步骤3:获取传感器数据(包括像素坐标和方位角),计算移动机器人的轨迹跟踪误差。
步骤4:根据级联系统稳定性理论将系统的误差模型动态特性分解为级联形式,并采用反演方法设计子系统的全局渐近稳定控制器。如式(11)、(12)。
其中,k1,k2和k3为大于零的常比例系数; s表示积分变量。
步骤5:根据移动机器人的速度和角速度变换关系计算驱动轮转速指令,以控制机器人跟踪参考轨迹。轮式差动移动机器人是通过控制其左右轮的速度来设定移动机器人的速度和角速度,转换关系如式(13):
式中,2b是两轮的间距,2r是机器人车轮直径,ωL和ωR分别是移动机器人左轮和右轮的速度。
步骤6.将指令发送给移动机器人控制器。
步骤7.重复步骤2-6,使机器人跟踪参考轨迹。
所以,基于上述研究原理,本发明的技术方案为:
采用位于机器人上方空间的全局相机拍摄包含移动机器人以及参考机器人的图像,根据图像采用以下过程确定移动机器人跟踪参考机器人的轨迹跟踪控制参数:
轮式差分移动机器人通过控制其左右轮的转速来设定移动机器人的速度和角速度,移动机器人跟踪参考机器人的轨迹跟踪控制参数为移动机器人左轮和右轮的转速ωL和ωR,通过以下公式确定:
其中2b是移动机器人左轮和右轮的间距,2r是移动机器人车轮直径,移动机器人的速度v和角速度ω由全局渐近稳定控制器确定:
其中vr和ωr分别为参考机器人行进方向的速度和角速度,k1,k2和k3为大于零的常比例系数;s表示积分变量;f是相机的焦距,zc为相机深度,ρ是成像平面到像素平面的放大倍数,ye和xe由移动机器人的轨迹跟踪误差确定:
其中θ0是世界坐标系的Xw轴投影到相机坐标面OcXcYc上后与相机坐标系中某一设定轴的夹角,相机坐标面OcXcYc与机器人移动平面平行;θ为世界坐标系Xw轴投影到机器人移动平面后与移动机器人前进方向的夹角,θr为世界坐标系Xw轴投影到机器人移动平面后与参考机器人前进方向的夹角;(x,y)和(xr,yr)分别为移动机器人和参考机器人的质心坐标,均通过以下图像处理过程得到:
全局相机拍摄的图像中,某一目标点在相机坐标面OcXcYc下的坐标(xc,yc)由转换关系
确定,其中(xu,yu)为目标点在成像平面的坐标;而(xu,yu)由转换关系
确定,其中(xm,ym)为目标点在像素平面的坐标,Oc1和Oc2是相机光轴与像素平面的交点在像素平面的坐标,为相机内部已知参数。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (1)

1.一种基于全局视觉的移动机器人轨迹跟踪控制方法,其特征在于:采用位于机器人上方空间的全局相机拍摄包含移动机器人以及参考机器人的图像,根据图像采用以下过程确定移动机器人跟踪参考机器人的轨迹跟踪控制参数:
移动机器人跟踪参考机器人的轨迹跟踪控制参数为移动机器人左轮和右轮的转速ωL和ωR,通过以下公式确定:
其中2b是移动机器人左轮和右轮的间距,2r是移动机器人车轮直径,移动机器人的速度v和角速度ω由全局渐近稳定控制器确定:
其中vr和ωr分别为参考机器人行进方向的速度和角速度,k1,k2和k3为大于零的常比例系数;s表示积分变量;f是相机的焦距,zc为相机深度,ρ是成像平面到像素平面的放大倍数,ye和ye和xe由移动机器人的轨迹跟踪误差确定:
其中θ0是世界坐标系的Xw轴投影到相机坐标面OcXcYc上后与相机坐标系中某一设定轴的夹角,相机坐标面OcXcYc与机器人移动平面平行;θ为世界坐标系Xw轴投影到机器人移动平面后与移动机器人前进方向的夹角,θr为世界坐标系Xw轴投影到机器人移动平面后与参考机器人前进方向的夹角;(x,y)和(xr,yr)分别为移动机器人和参考机器人的质心坐标,均通过以下图像处理过程得到:
全局相机拍摄的图像中,某一目标点在相机坐标面OcXcYc下的坐标(xc,yc)由转换关系
确定,其中(xu,yu)为目标点在成像平面的坐标;而(xu,yu)由转换关系
确定,其中(xm,ym)为目标点在像素平面的坐标,Oc1和Oc2是相机光轴与像素平面的交点在像素平面的坐标。
CN201810457608.5A 2018-05-14 2018-05-14 基于全局视觉的移动机器人轨迹跟踪控制方法 Pending CN108681324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810457608.5A CN108681324A (zh) 2018-05-14 2018-05-14 基于全局视觉的移动机器人轨迹跟踪控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810457608.5A CN108681324A (zh) 2018-05-14 2018-05-14 基于全局视觉的移动机器人轨迹跟踪控制方法

Publications (1)

Publication Number Publication Date
CN108681324A true CN108681324A (zh) 2018-10-19

Family

ID=63805027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810457608.5A Pending CN108681324A (zh) 2018-05-14 2018-05-14 基于全局视觉的移动机器人轨迹跟踪控制方法

Country Status (1)

Country Link
CN (1) CN108681324A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669479A (zh) * 2018-10-22 2019-04-23 安徽大学 一种基于事件触发的移动机器人轨迹跟踪控制方法
CN110597268A (zh) * 2019-09-30 2019-12-20 东南大学 一种基于级联系统理论的轮式移动机器人轨迹跟踪控制方法
CN111590594A (zh) * 2020-06-22 2020-08-28 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436073A (zh) * 2008-12-03 2009-05-20 江南大学 基于量子行为粒子群算法的轮式移动机器人轨迹跟踪方法
CN102981504A (zh) * 2012-11-21 2013-03-20 浙江大学 基于Zigbee通信的多机器人队形控制系统及方法
CN103019239A (zh) * 2012-11-27 2013-04-03 江苏大学 用于喷药移动机器人的轨迹跟踪滑模控制系统和控制方法
CN103901889A (zh) * 2014-03-27 2014-07-02 浙江大学 一种基于蓝牙通信的多机器人编队控制路径跟踪方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436073A (zh) * 2008-12-03 2009-05-20 江南大学 基于量子行为粒子群算法的轮式移动机器人轨迹跟踪方法
CN102981504A (zh) * 2012-11-21 2013-03-20 浙江大学 基于Zigbee通信的多机器人队形控制系统及方法
CN103019239A (zh) * 2012-11-27 2013-04-03 江苏大学 用于喷药移动机器人的轨迹跟踪滑模控制系统和控制方法
CN103901889A (zh) * 2014-03-27 2014-07-02 浙江大学 一种基于蓝牙通信的多机器人编队控制路径跟踪方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAIXIANG ZHANG等: "Unified tracking and regulation visual servoing of wheeled mobile robots with euclidean reconstruction", 《2017 AMERICAN CONTROL CONFERENCE (ACC)》 *
关凯: "基于标识的室内视觉定位算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王永信主编: "《逆向工程及检测技术与应用》", 31 May 2014, 西安交通大学出版社 *
高剑等: "欠驱动自主水下航行器轨迹跟踪控制", 《西北工业大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669479A (zh) * 2018-10-22 2019-04-23 安徽大学 一种基于事件触发的移动机器人轨迹跟踪控制方法
CN109669479B (zh) * 2018-10-22 2022-05-03 安徽大学 一种基于事件触发的移动机器人轨迹跟踪控制方法
CN110597268A (zh) * 2019-09-30 2019-12-20 东南大学 一种基于级联系统理论的轮式移动机器人轨迹跟踪控制方法
CN111590594A (zh) * 2020-06-22 2020-08-28 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法
CN111590594B (zh) * 2020-06-22 2021-12-07 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法

Similar Documents

Publication Publication Date Title
Bacik et al. Autonomous flying with quadrocopter using fuzzy control and ArUco markers
CN109272537B (zh) 一种基于结构光的全景点云配准方法
CN110262517A (zh) Agv系统的轨迹跟踪控制方法
CN105261060A (zh) 基于点云压缩和惯性导航的移动场景实时三维重构方法
Kuramachi et al. G-ICP SLAM: An odometry-free 3D mapping system with robust 6DoF pose estimation
CN106056664A (zh) 一种基于惯性和深度视觉的实时三维场景重构系统及方法
CN108681324A (zh) 基于全局视觉的移动机器人轨迹跟踪控制方法
US20220057804A1 (en) Path determination method
Phang et al. Systems design and implementation with jerk-optimized trajectory generation for UAV calligraphy
WO2017166767A1 (zh) 一种信息处理方法和移动装置、计算机存储介质
CN113819905A (zh) 一种基于多传感器融合的里程计方法及装置
CN104482924A (zh) 旋成体目标位姿视觉测量方法
US20180283851A1 (en) Motion detection device and three-dimensional shape measurement device using same
CN105241427B (zh) 用同心圆靶标测物体位置姿态和转角的单目视觉测量方法
CN112099505B (zh) 一种低复杂度的移动机器人视觉伺服编队控制方法
CN111673729B (zh) 路径决定方法
Liu et al. A deep-learning based multi-modality sensor calibration method for usv
Wang et al. Pose and velocity estimation algorithm for UAV in visual landing
Jia et al. Switched visual servo control of nonholonomic mobile robots with field-of-view constraints based on homography
US20220055215A1 (en) Path determination device, robot, and path determination method
Kotov et al. Algorithms and architecture of the multirotor aircraft trajectory motion control system
KR20130032764A (ko) 기준 시점 영상 생성 장치 및 방법
KR20200073031A (ko) 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법
CN109754412B (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN113030960A (zh) 一种基于单目视觉slam的车辆定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181019

WD01 Invention patent application deemed withdrawn after publication