CN108646760B - 基于单目视觉移动机器人目标跟踪及平台控制系统和方法 - Google Patents

基于单目视觉移动机器人目标跟踪及平台控制系统和方法 Download PDF

Info

Publication number
CN108646760B
CN108646760B CN201810757763.9A CN201810757763A CN108646760B CN 108646760 B CN108646760 B CN 108646760B CN 201810757763 A CN201810757763 A CN 201810757763A CN 108646760 B CN108646760 B CN 108646760B
Authority
CN
China
Prior art keywords
target
robot
state
monocular vision
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810757763.9A
Other languages
English (en)
Other versions
CN108646760A (zh
Inventor
伍明
付光远
李琳琳
魏振华
汪洪桥
范志良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN201810757763.9A priority Critical patent/CN108646760B/zh
Publication of CN108646760A publication Critical patent/CN108646760A/zh
Application granted granted Critical
Publication of CN108646760B publication Critical patent/CN108646760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本发明公开了一种基于单目视觉移动机器人目标跟踪及平台控制系统和方法，它涉及机器人技术领域。其流程为：首先根据k时刻机器人和目标的估计状态生成控制分量，包括角速度
Figure DDA0001727144830000011
和线速度Δxk，其次利用单目视觉SLAM方法得到机器人状态
Figure DDA0001727144830000012
和协方差
Figure DDA0001727144830000019
估计，目标根据运动模型ft预测自身状态
Figure DDA0001727144830000014
和协方差阵
Figure DDA0001727144830000013
然后利用
Figure DDA00017271448300000111
和
Figure DDA00017271448300000112
结合目标观测模型预测本轮目标观测值
Figure DDA0001727144830000015
并生成观测残差阵
Figure DDA00017271448300000110
最后利用目标实际观测值
Figure DDA0001727144830000016
对目标状态和方差阵进行更新得到
Figure DDA0001727144830000017
和
Figure DDA0001727144830000018
本发明实现利用装载在移动机器人上的摄像机所拍摄的图片完成对环境特征状态、机器人状态和移动目标状态的实时在线估计，保证机器人对目标产生足够的观测视差，保证目标纯方向观测量条件下的目标状态收敛，应用前景广阔。

Description

基于单目视觉移动机器人目标跟踪及平台控制系统和方法
技术领域
本发明涉及的是机器人技术领域，具体涉及一种未知环境下基于单目视觉的移动机器人目标跟踪及平台控制方法。
背景技术
移动机器人应用首先需要解决机器人认知问题。机器人同时定位，地图构建与目标跟踪(Simultaneous Localization，Mapping and Object Tracking，SLAMOT)能够实现机器人对自身状态、环境状态和目标状态的同时估计，该问题的研究能够使机器人具备对外界环境和自身状态的实时认知能力，具有广泛的应用前景。针对SLAMOT问题已有的研究大多基于主动式传感器或立体视觉传感器，而这类传感器存在体积大、质量重、消耗能量多、设备造价高、观测距离有限等缺陷，这些缺陷限制了SLAMOT的实际应用范围。而单目视觉传感器作为一种被动式传感器，凭借其体积小、耗能少、造价低廉、细节呈现度高及直观性好等特点，已经在机器人导航学中发挥重要作用。
目前，对于SLAMOT问题的解决方法多集中于主动式传感器系统，尽管存在利用单目传感器解决SLAM问题的方法，但这些方法并未同时考虑目标跟踪(Object Tracking，OT)问题。首先，对于基于单目视觉的SLAMOT问题来说，由于目标的动态性和运动模式未知性问题，已有的基于视觉的SLAM估计方法，例如，反转深度法、批优化方法，将无法有效和实时的完成目标状态估计，因此无法满足目标跟踪的实际需求；其次，单目视觉目标跟踪等同于纯方位角目标跟踪问题，又称之为：方位角目标运动分析问题(Bearing Only Target MotionAnalysis，BOTMA)。为了满足BOTMA可观性条件，通常要求观测平台相对于目标机动运动，传统BOTMA方法假设在机动过程中观测平台状态已知，而在实际应用中，则需要首先解决观测平台自身的状态估计问题。同时，为了保证观测平台运行的安全性，系统还需对外界环境状态进行估计。最后，已有的未知环境下移动平台运动目标跟踪方法，一般采用多传感器信息融合来实现移动平台和目标状态的独立估计，多传感器的使用限制了研究成果的应用范围并且降低了问题的难度，而独立估计方法没有考虑不同对象状态的耦合性问题，因此影响了系统状态估计的准确性。以上不同方法的问题正是基于单目视觉SLAMOT需要研究和解决问题。
基于此，设计一种基于单目视觉传感器的机器人同时定位、地图构建与目标跟踪滤波及平台控制方法尤为必要。
发明内容
针对现有技术上存在的不足，本发明目的是在于提供基于一种单目视觉移动机器人目标跟踪及平台控制系统和方法，实时性好，传感器要求低，保证系统状态估计的准确性，易于推广使用。
为了实现上述目的，本发明是通过如下的技术方案来实现：基于单目视觉移动机器人目标跟踪及平台控制系统，包括单目视觉SLAM处理模块、单目视觉目标OT模块、可观性机器人控制量生成模块以及安装在移动机器人顶部的单目摄像机，单目摄像机作为机器人外感传感器，每轮观测对拍摄的图片进行图像环境特征点提取获得环境特征观测值
Figure BDA0001727144810000021
以及进行图像目标识别进而获得目标观测值
Figure BDA0001727144810000022
单目视觉SLAM处理模块采基于反转深度的全概率数据关联扩展式卡尔曼滤波进行，以实现机器人和环境特征状态的估计，单目视觉目标OT模块利用
Figure BDA0001727144810000023
和
Figure BDA00017271448100000210
结合此时目标观测值
Figure BDA0001727144810000025
进行基于扩展式卡尔曼滤波的目标跟踪得到目标状态
Figure BDA0001727144810000026
和协方差阵
Figure BDA00017271448100000211
可观性机器人控制量生成模块在k时刻机器人状态
Figure BDA0001727144810000028
和方差阵
Figure BDA0001727144810000029
以及目标状态
Figure BDA0001727144810000031
和方差阵
Figure BDA0001727144810000032
估计的基础上，利用优化控制方法生成机器人的机动控制量
Figure BDA0001727144810000033
Figure BDA0001727144810000034
需要同时保证机器人对目标的跟随和目标状态的准确估计。
基于单目视觉移动机器人目标跟踪及平台控制方法，其流程为：
(1)根据k时刻机器人和目标的估计状态生成控制分量，包括：角速度
Figure BDA0001727144810000035
和线速度Δxk；
(2)利用单目视觉SLAM方法得到机器人状态
Figure BDA0001727144810000036
和协方差
Figure BDA0001727144810000037
估计；
(3)目标根据运动模型ft预测自身状态
Figure BDA0001727144810000038
和协方差阵
Figure BDA0001727144810000039
(4)利用
Figure BDA00017271448100000310
和
Figure BDA00017271448100000311
结合目标观测模型预测本轮目标观测值
Figure BDA00017271448100000312
并生成观测残差阵
Figure BDA00017271448100000313
(5)利用目标实际观测值
Figure BDA00017271448100000314
对目标状态和方差阵进行更新得到
Figure BDA00017271448100000315
和
Figure BDA00017271448100000316
本发明的有益效果：本方法利用单目视觉传感器完成机器人同时定位、地图构建与目标跟踪任务，实时性好，传感器要求低，保证目标纯方向观测量条件下的目标状态收敛，保证了系统状态估计的准确性。
附图说明
下面结合附图和具体实施方式来详细说明本发明；
图1为本发明的系统框架图；
图2为本发明的方法流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
参照图1-2，本具体实施方式采用以下技术方案：基基于单目视觉移动机器人目标跟踪及平台控制系统，包括单目视觉SLAM处理模块、单目视觉目标OT模块、可观性机器人控制量生成模块三个核心处理模块以及单目摄像机，单目摄像机作为机器人外感传感器装配在其顶部，每轮观测对拍摄的图片进行图像环境特征点提取获得环境特征观测值
Figure BDA0001727144810000041
以及进行图像目标识别进而获得目标观测值
Figure BDA0001727144810000042
值得注意的是，所述单目视觉SLAM处理模块采基于反转深度的全概率数据关联扩展式卡尔曼滤波进行，以实现机器人和环境特征状态的估计；单目视觉目标OT模块利用
Figure BDA0001727144810000043
和
Figure BDA0001727144810000044
结合此时目标观测值
Figure BDA0001727144810000045
进行基于扩展式卡尔曼滤波的目标跟踪得到目标状态
Figure BDA0001727144810000046
和协方差阵
Figure BDA0001727144810000047
由于单目视觉传感器缺少深度观测信息使目标状态估计出现可观性问题，即，目标状态无法利用机器人状态和观测值直接推导出，可观性机器人控制量生成模块用来解决该问题，对象状态估计和机器人控制量之间出现耦合关系，在k时刻机器人状态
Figure BDA0001727144810000048
和方差阵
Figure BDA0001727144810000049
以及目标状态
Figure BDA00017271448100000410
和方差阵
Figure BDA00017271448100000411
估计的基础上，利用优化控制方法生成机器人的机动控制量
Figure BDA00017271448100000412
Figure BDA00017271448100000413
需要同时保证机器人对目标的跟随和目标状态的准确估计。
基于单目视觉移动机器人目标跟踪及平台控制方法，其流程为：
(1)根据k时刻机器人和目标的估计状态生成控制分量，包括：角速度
Figure BDA00017271448100000414
和线速度Δxk；
(2)利用单目视觉SLAM方法得到机器人状态
Figure BDA00017271448100000415
和协方差
Figure BDA00017271448100000416
估计；
(3)目标根据运动模型ft预测自身状态
Figure BDA00017271448100000417
和协方差阵
Figure BDA00017271448100000418
(4)利用
Figure BDA00017271448100000419
和
Figure BDA00017271448100000420
结合目标观测模型预测本轮目标观测值
Figure BDA00017271448100000421
并生成观测残差阵
Figure BDA00017271448100000422
(5)利用目标实际观测值
Figure BDA00017271448100000423
对目标状态和方差阵进行更新得到
Figure BDA00017271448100000424
和
Figure BDA00017271448100000425
本具体实施方式实现利用装载在移动机器人上的摄像机所拍摄的图片完成对环境特征状态、机器人状态和移动目标状态的实时在线估计，解决了基于单目视觉的机器人同时定位、地图构建与目标跟踪问题，该方法具有实时性好，传感器要求低的优点；同时本优化控制方法能够保证机器人对目标产生足够的观测视差，保证了目标纯方向观测量条件下的目标状态收敛，应用前景广阔。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.基于单目视觉移动机器人目标跟踪及平台控制系统，其特征在于，包括单目视觉SLAM处理模块、单目视觉目标OT模块、可观性机器人控制量生成模块以及安装在移动机器人顶部的单目摄像机，单目摄像机作为机器人外感传感器，每轮观测对拍摄的图片进行图像环境特征点提取获得环境特征观测值
Figure FDA0003495936710000011
以及进行图像目标识别进而获得目标观测值
Figure FDA0003495936710000012
单目视觉SLAM处理模块采基于反转深度的全概率数据关联扩展式卡尔曼滤波进行，以实现机器人和环境特征状态的估计，单目视觉目标OT模块利用
Figure FDA0003495936710000013
和
Figure FDA0003495936710000014
结合此时目标观测值
Figure FDA0003495936710000015
进行基于扩展式卡尔曼滤波的目标跟踪得到目标状态
Figure FDA0003495936710000016
和协方差阵
Figure FDA0003495936710000017
可观性机器人控制量生成模块在k时刻机器人状态
Figure FDA0003495936710000018
和方差阵
Figure FDA0003495936710000019
以及目标状态
Figure FDA00034959367100000110
和方差阵
Figure FDA00034959367100000111
估计的基础上，利用优化控制方法生成机器人的机动控制量
Figure FDA00034959367100000112
Figure FDA00034959367100000113
需要同时保证机器人对目标的跟随和目标状态的准确估计。
2.一种如权利要求1所述的基于单目视觉移动机器人目标跟踪及平台控制系统的使用方法，其特征在于，包括如下步骤：
(1)根据k时刻机器人和目标的估计状态生成控制分量，包括：角速度
Figure FDA00034959367100000114
和线速度Δxk；
(2)利用单目视觉SLAM方法得到机器人状态
Figure FDA00034959367100000115
和协方差
Figure FDA00034959367100000116
估计；
(3)目标根据运动模型ft预测自身状态
Figure FDA00034959367100000117
和协方差阵
Figure FDA00034959367100000118
(4)利用
Figure FDA00034959367100000119
和
Figure FDA00034959367100000120
结合目标观测模型预测本轮目标观测值
Figure FDA00034959367100000121
并生成观测残差阵
Figure FDA00034959367100000122
(5)利用目标实际观测值
Figure FDA00034959367100000123
对目标状态和方差阵进行更新得到
Figure FDA00034959367100000124
和
Figure FDA00034959367100000125
CN201810757763.9A 2018-07-11 2018-07-11 基于单目视觉移动机器人目标跟踪及平台控制系统和方法 Active CN108646760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810757763.9A CN108646760B (zh) 2018-07-11 2018-07-11 基于单目视觉移动机器人目标跟踪及平台控制系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810757763.9A CN108646760B (zh) 2018-07-11 2018-07-11 基于单目视觉移动机器人目标跟踪及平台控制系统和方法

Publications (2)

Publication Number Publication Date
CN108646760A CN108646760A (zh) 2018-10-12
CN108646760B true CN108646760B (zh) 2022-03-25

Family

ID=63750813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810757763.9A Active CN108646760B (zh) 2018-07-11 2018-07-11 基于单目视觉移动机器人目标跟踪及平台控制系统和方法

Country Status (1)

Country Link
CN (1) CN108646760B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376785B (zh) * 2018-10-31 2021-09-24 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN111028267B (zh) * 2019-12-25 2023-04-28 郑州大学 一种移动机器人单目视觉跟随系统及跟随方法
CN112433531A (zh) * 2021-01-27 2021-03-02 国汽智控(北京)科技有限公司 一种自动驾驶车辆的轨迹跟踪方法、装置及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576384A (zh) * 2009-06-18 2009-11-11 北京航空航天大学 一种基于视觉信息校正的室内移动机器人实时导航方法
CN102393741A (zh) * 2011-08-25 2012-03-28 东南大学 视觉引导移动机器人的控制系统及其方法
CN102402225A (zh) * 2011-11-23 2012-04-04 中国科学院自动化研究所 一种实现移动机器人同时定位与地图构建的方法
CN102596517A (zh) * 2009-07-28 2012-07-18 悠进机器人股份公司 移动机器人定位和导航控制方法及使用该方法的移动机器人
CN102706342A (zh) * 2012-05-31 2012-10-03 重庆邮电大学 一种智能移动机器人的定位与环境建模方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462799B1 (ko) * 2015-11-05 2022-11-03 삼성전자주식회사 자세 추정 방법 및 자세 추정 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576384A (zh) * 2009-06-18 2009-11-11 北京航空航天大学 一种基于视觉信息校正的室内移动机器人实时导航方法
CN102596517A (zh) * 2009-07-28 2012-07-18 悠进机器人股份公司 移动机器人定位和导航控制方法及使用该方法的移动机器人
CN102393741A (zh) * 2011-08-25 2012-03-28 东南大学 视觉引导移动机器人的控制系统及其方法
CN102402225A (zh) * 2011-11-23 2012-04-04 中国科学院自动化研究所 一种实现移动机器人同时定位与地图构建的方法
CN102706342A (zh) * 2012-05-31 2012-10-03 重庆邮电大学 一种智能移动机器人的定位与环境建模方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Amortized constant time state estimation in Pose SLAM and hierarchical SLAM using a mixed Kalman-information filter;Viorela Ila等;《Robotics and Autonomous Systems》;20110311;第310-318页 *
基于动态和静态环境对象观测一致性约束的移动机器人多传感器标定优化方法;伍明 等;《兵工学报》;20170831;第38卷(第8期);第1630-1641页 *
基于扩展式卡尔曼滤波的移动机器人未知环境下动态目标跟踪;伍明 等;《机器人》;20100531;第32卷(第3期);第334-343页 *

Also Published As

Publication number Publication date
CN108646760A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
Lin et al. A robust real-time embedded vision system on an unmanned rotorcraft for ground target following
CN108089196B (zh) 一种光学主被动融合的非合作目标位姿测量装置
CN110244756A (zh) 无人机快速追踪协同避障方法
CN108646760B (zh) 基于单目视觉移动机器人目标跟踪及平台控制系统和方法
Zhang et al. Monocular vision based obstacle avoidance trajectory planning for Unmanned Aerial Vehicle
Dill et al. Seamless indoor-outdoor navigation for unmanned multi-sensor aerial platforms
Li et al. Indoor multi-sensor fusion positioning based on federated filtering
Meichen et al. Dynamic obstacle detection based on multi-sensor information fusion
Zhao et al. Review of slam techniques for autonomous underwater vehicles
Zhang et al. Online ground multitarget geolocation based on 3-D map construction using a UAV platform
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN114217303A (zh) 目标定位跟踪方法及装置、水下机器人和存储介质
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
CN115307646B (zh) 一种多传感器融合的机器人定位方法、系统及装置
CN108731683B (zh) 一种基于导航信息的无人机自主回收目标预测方法
He et al. Visual positioning system for small-scaled spherical robot in underwater environment
Boucheloukh et al. UAV navigation based on adaptive fuzzy backstepping controller using visual odometry
Zheng et al. Integrated navigation system with monocular vision and LIDAR for indoor UAVs
Cao et al. Omni-directional vision localization based on particle filter
Wu et al. 360-VIO: A Robust Visual–Inertial Odometry Using a 360° Camera
Zhang et al. Recent Advances in Mobile Robot Localization in Complex Scenarios
CN113689501A (zh) 一种基于收敛点的双机协同目标机定位跟踪控制方法
Kaiser et al. Position and orientation of an aerial vehicle through chained, vision-based pose reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant