CN110722547B - 模型未知动态场景下移动机器人视觉镇定 - Google Patents

模型未知动态场景下移动机器人视觉镇定 Download PDF

Info

Publication number
CN110722547B
CN110722547B CN201810787727.7A CN201810787727A CN110722547B CN 110722547 B CN110722547 B CN 110722547B CN 201810787727 A CN201810787727 A CN 201810787727A CN 110722547 B CN110722547 B CN 110722547B
Authority
CN
China
Prior art keywords
pose
robot
image
coordinate system
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810787727.7A
Other languages
English (en)
Other versions
CN110722547A (zh
Inventor
李宝全
尹成浩
高喜天
师五喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201810787727.7A priority Critical patent/CN110722547B/zh
Publication of CN110722547A publication Critical patent/CN110722547A/zh
Application granted granted Critical
Publication of CN110722547B publication Critical patent/CN110722547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

模型未知动态场景下移动机器人视觉镇定系统的设计。本文提出了一种新的视觉伺服策略，可在动态场景中利用模型未知的特征点完成轮式移动机器人的视觉镇定控制。现有方法一般采用静止特征点进行镇定控制，不过由于人为移动或外界扰动，特征点会发生移动。此外，未知的深度信息为镇定控制带来很大挑战。在动态场景中，为了完成视觉伺服任务，本文引入了监视摄像机以检测场景的变化。基于此，首先利用特征点和视觉图像的几何关系计算出不同场景深度的比例。然后，通过单应矩阵分解和坐标系变换，求出各个坐标系之间的相对关系。最后，采用自适应控制器将机器人驱动到期望位姿处。仿真和实验结果证明了所提方法的可行性。

Description

模型未知动态场景下移动机器人视觉镇定
技术领域
本发明属于计算机视觉与移动机器人的技术领域，可在动态场景中利用模型未知的特征点完成视觉的镇定控制。
背景技术
视觉作为人类获取信息的重要感官之一，人类每天从视觉图像中获得大量的信息。视觉传感器是机器人的重要传感器，再加上其非接触式测量、成本低等特点，应用范围越来越广泛。然而，对应现实中都是三维场景，投影到摄像机中成为了二维图像，导致了深度信息的缺失。因此，对于单目移动机器人来说，对3D场景进行重建是有困难的。此外，轮式移动机器人是一个典型的具有非完整性约束的欠驱动系统。以上这些限制使视觉镇定控制成为控制领域比较困难的任务之一，在动态场景下完成镇定控制变得更具挑战性。
当前，移动机器人视觉伺服实现的主要功能是：利用实时的视觉信号进行反馈以控制移动机器人的运动，最终使机器人到达指定的位姿处或跟踪设定的轨迹。移动机器人的视觉镇定控制一般利用固定的特征点的当前图像和期望图像之间的误差来获得实时的位姿。如果特征点变动，那么将导致镇定控制任务失败。如果在动态场景中移动机器人视觉系统仍能完成镇定控制，它们会变得更加智能并能更好的适应环境变化。因此，需要设计一种新的策略以解决动态场景下的视觉镇定控制问题。
发明内容
本文基于单目轮式移动机器人，设计了一种可在动态场景中利用模型未知的特征点完成视觉镇定控制的策略。
本文提出了一种新的视觉伺服策略，可在动态场景中利用模型未知的特征点完成轮式移动机器人的视觉镇定控制。在动态场景中，为了完成视觉伺服任务，本文引入了监视摄像机以检测场景的变化。基于此，首先利用特征点和视觉图像的几何关系计算出不同场景深度的比例。然后，通过单应矩阵分解和坐标系变换，求出各个坐标系之间的相对关系。最后，采用自适应控制器将机器人驱动到期望位姿处。仿真和实验结果证明了所提方法的可行性。
本发明提供的移动机器人的视觉镇定系统方法包括：
一种模型未知动态场景下移动机器人视觉镇定系统，其特征包括以下步骤：
第1，问题描述
第1.1，系统描述
设置摄像机坐标系与移动机器人坐标系相重合，定义在当前位姿处的机器人/摄像机坐标系为
Figure BSA0000167319340000011
其中
Figure BSA0000167319340000012
的原点处于摄像机的光心位置并且是机器人的轮轴中心；
Figure BSA0000167319340000013
的zc轴沿着摄像机的光轴方向，同时也是机器人前进的方向，xc轴和机器人的轮轴平行，yc轴垂直于zcxc平面；定义
Figure BSA0000167319340000014
表示移动机器人期望位姿的坐标系，
Figure BSA0000167319340000015
表示监视摄相机位姿的坐标系，监视摄像机的作用是监视特征点的移动，坐标系相对关系如附图1所示；Mi定义为特征点移动之前的位置；
Figure BSA0000167319340000016
定义为特征点移动之后的位置；符号e(t)定义为机器人期望位姿与当前位姿之间的距离；θ(t)定义为期望位姿与当前位姿的旋转角度；α(t)定义为机器人当前的方向与
Figure BSA0000167319340000017
到
Figure BSA0000167319340000018
的平移向量之间的角度；φ(t)定义为机器人期望位姿的方向与
Figure BSA0000167319340000019
到
Figure BSA00001673193400000110
平移向量之间的角度；
第1.2，控制方案
附图2给出了所提供方案的框图，框图中的图像1表示特征点移动前在监视相机中的图像，图像2表示特征点移动后在监视相机中的图像；整个视觉伺服策略由四个阶段组成：第一阶段，期望图像和图像1可以估计出第一个单应矩阵，通过矩阵分解可得到监视摄相机位姿与期望位姿之间旋转矩阵
Figure BSA0000167319340000021
和平移向量dTm；第二阶段，当前图像与图像2结合可以得到第二个单应矩阵，同第一步，可以得到机器人当前坐标系与监视相机坐标系之间旋转矩阵
Figure BSA0000167319340000022
和平移向量cTm；第三阶段，利用特征点与视觉图像之间的几何关系，计算出该两个不同深度信息之间的比例λ；第四阶段，根据坐标系变换规则，实时地计算出机器人当前位姿与期望位姿之间的旋转矩阵
Figure BSA0000167319340000023
和平移向量cTd(t)，进而采用自适应控制器将轮式移动机器人驱动到期望位姿处；
第1.3，坐标关系的表示
以
Figure BSA0000167319340000024
作为参考坐标系。坐标系
Figure BSA0000167319340000025
相对于坐标系
Figure BSA0000167319340000026
的旋转矩阵和平移向量分别标记为
Figure BSA0000167319340000027
和dTc(t)，
Figure BSA0000167319340000028
和dTc(t)表示为：
Figure BSA0000167319340000029
第1.4，图像表示
Mi(i＝1，2，3，4)定义为空间中4个共面的特征点，
Figure BSA00001673193400000210
定义为移动之后的特征点；期望图像、当前图像、图像1和图像2的第i个像素点的表示分别是
Figure BSA00001673193400000211
具体表示如下：
Figure BSA00001673193400000212
第2，控制策略
第2.1，监视相机与期望位姿的关系
Figure BSA00001673193400000213
定义为特征点移动前在监视相机中的图像(图像1)，
Figure BSA00001673193400000214
定义为期望图像；坐标系
Figure BSA00001673193400000215
和坐标系
Figure BSA00001673193400000216
之间的射影单应矩阵G(t)表示如下：
Figure BSA00001673193400000217
通过对期望图像和图像1得到的单应矩阵分解并筛选之后，最终得到的旋转矩阵
Figure BSA00001673193400000218
和平移向量dTm(t)如下所示：
Figure BSA0000167319340000031
第2.2，监视相机与当前位姿的关系
Figure BSA0000167319340000032
定义为特征点移动之后监视相机中的图像(图像2)，
Figure BSA0000167319340000033
表定义为机器人当前图像；利用2.1中同样的方法，计算出机器人当前位姿与监视相机之间的旋转矩阵和平移向量如下：
Figure BSA0000167319340000034
第2.3，两个未知深度信息之间的比例因子
计算出来的dTm(t)和cTm(t)其实不是实际中的平移向量，两个平移向量含有不同的比例因子；如图3所示，
Figure BSA0000167319340000035
和
Figure BSA0000167319340000036
定义为归一化图像坐标平面上的两个特征点，
Figure BSA0000167319340000037
和
Figure BSA0000167319340000038
是相对应的两个空间中的特征点；
Figure BSA0000167319340000039
和dm表示如下：
Figure BSA00001673193400000310
当特征点移动后，
Figure BSA00001673193400000311
dm分别变成了
Figure BSA00001673193400000312
dma；
Figure BSA00001673193400000313
和dma表示如下：
Figure BSA00001673193400000314
所以不同深度信息之间的比例可计算如下：
Figure BSA00001673193400000315
第2.4，当前位姿与期望位姿的关系
监视相机位姿与机器人期望位姿之间的关系可表示为：
Figure BSA0000167319340000041
移动机器人的当前位姿与监视相机位姿之间的相对关系可表示为：
Figure BSA0000167319340000042
为了将所有的平移向量在同一个比例因子下表示，将
Figure BSA0000167319340000043
重新定义为：
Figure BSA0000167319340000044
所以通过坐标系变换得到实时的移动机器人当前位姿与期望位姿之间的关系可表示为：
Figure BSA0000167319340000045
第3，驱动机器人到期望位姿
将机器人在笛卡尔坐标系下的位姿转换成极坐标系下，将cTd(t)的范数定义为当前位姿与期望位姿的距离误差e(t)，表示为
Figure BSA0000167319340000046
e(t)不可以直接测量；将含有比例因子的可测距离误差es(t)定义如下：
Figure BSA0000167319340000047
第3.1，运动学模型
基于极坐标的机器人运动学模型表示如下：
Figure BSA0000167319340000048
根据系统需要将其重新定义为：
Figure BSA0000167319340000051
第3.2，自适应控制器
由于深度信息未知，可以通过采用一个自适应控制器来完成镇定控制任务；利用可获得的信号φ(t)，α(t)和es(t)设计机器人的线速度和角速度表示如下：
v＝(γcosα)es， (34)
Figure BSA0000167319340000052
深度估计
Figure BSA0000167319340000053
的自适应更新律设计为：
Figure BSA0000167319340000054
附图说明：
图1为视觉伺服任务的坐标系关系
图2为动态场景下视觉伺服策略图
图3为深度信息dm示意图
图4为仿真图：机器人的位姿变化
图5为仿真图：机器人线速度和角速度
图6为仿真图：特征点图像轨迹图
图7为仿真图：机器人的移动轨迹
图8为实验图：机器人放置到期望位姿采集期望图像
图9为实验图：监视相机捕获的图
图10为实验图：特征点的图像轨迹
图11为实验图：机器人的实时的位姿变化
图12为实验图：机器人的线速度和角速度
图13为实验图：机器人的移动轨迹
具体实施方式：
1、模型未知动态场景下移动机器人视觉镇定系统，其特征包括以下步骤：
第1，问题描述
第1.1，系统描述
设置摄像机坐标系与移动机器人坐标系相重合，定义在当前位姿处的机器人/摄像机坐标系为
Figure BSA0000167319340000055
其中
Figure BSA0000167319340000056
的原点处于摄像机的光心位置并且是机器人的轮轴中心；
Figure BSA0000167319340000057
的zc轴沿着摄像机的光轴方向，同时也是机器人前进的方向，xc轴和机器人的轮轴平行，yc轴垂直于zcxc平面；定义
Figure BSA0000167319340000058
表示移动机器人期望位姿的坐标系，
Figure BSA0000167319340000061
表示监视摄相机位姿的坐标系，监视摄像机的作用是监视特征点的移动，坐标系相对关系如附图1所示；Mi定义为特征点移动之前的位置；
Figure BSA0000167319340000062
定义为特征点移动之后的位置；符号e(t)定义为机器人期望位姿与当前位姿之间的距离；θ(t)定义为期望位姿与当前位姿的旋转角度；α(t)定义为机器人当前的方向与
Figure BSA0000167319340000063
到
Figure BSA0000167319340000064
的平移向量之间的角度；φ(t)定义为机器人期望位姿的方向与
Figure BSA0000167319340000065
到
Figure BSA0000167319340000066
平移向量之间的角度；
第1.2，控制方案
附图2给出了所提供方案的框图，框图中的图像1表示特征点移动前在监视相机中的图像，图像2表示特征点移动后在监视相机中的图像；整个视觉伺服策略由四个阶段组成：第一阶段，期望图像和图像1可以估计出第一个单应矩阵，通过矩阵分解可得到监视摄相机位姿与期望位姿之间旋转矩阵
Figure BSA0000167319340000067
和平移向量dTm；第二阶段，当前图像与图像2结合可以得到第二个单应矩阵，同第一步，可以得到机器人当前坐标系与监视相机坐标系之间旋转矩阵
Figure BSA0000167319340000068
和平移向量cTm；第三阶段，利用特征点与视觉图像之间的几何关系，计算出该两个不同深度信息之间的比例λ；第四阶段，根据坐标系变换规则，实时地计算出机器人当前位姿与期望位姿之间的旋转矩阵
Figure BSA0000167319340000069
和平移向量cTd(t)，进而采用自适应控制器将轮式移动机器人驱动到期望位姿处；
第1.3，坐标关系的表示
以
Figure BSA00001673193400000610
作为参考坐标系。坐标系
Figure BSA00001673193400000611
相对于坐标系
Figure BSA00001673193400000612
的旋转矩阵和平移向量分别标记为
Figure BSA00001673193400000613
和dTc(t)，
Figure BSA00001673193400000614
和dTc(t)表示为：
Figure BSA00001673193400000615
第1.4，图像表示
Mi(i＝1，2，3，4)定义为空间中4个共面的特征点，
Figure BSA00001673193400000616
定义为移动之后的特征点；期望图像、当前图像、图像1和图像2的第i个像素点的表示分别是
Figure BSA00001673193400000617
具体表示如下：
Figure BSA00001673193400000618
第2，控制策略
第2.1，监视相机与期望位姿的关系
Figure BSA00001673193400000619
定义为特征点移动前在监视相机中的图像(图像1)，
Figure BSA00001673193400000620
定义为期望图像；坐标系
Figure BSA00001673193400000621
和坐标系
Figure BSA00001673193400000622
之间的射影单应矩阵G(t)表示如下：
Figure BSA0000167319340000071
通过对期望图像和图像1得到的单应矩阵分解并筛选之后，最终得到的旋转矩阵
Figure BSA0000167319340000072
和平移向量dTm(t)如下所示：
Figure BSA0000167319340000073
第2.2，监视相机与当前位姿的关系
Figure BSA0000167319340000074
定义为特征点移动之后监视相机中的图像(图像2)，
Figure BSA0000167319340000075
表定义为机器人当前图像；利用2.1中同样的方法，计算出机器人当前位姿与监视相机之间的旋转矩阵和平移向量如下：
Figure BSA0000167319340000076
第2.3，两个未知深度信息之间的比例因子
计算出来的dTm(t)和cTm(t)其实不是实际中的平移向量，两个平移向量含有不同的比例因子；如图3所示，
Figure BSA0000167319340000077
和
Figure BSA0000167319340000078
定义为归一化图像坐标平面上的两个特征点，
Figure BSA0000167319340000079
和
Figure BSA00001673193400000710
是相对应的两个空间中的特征点；
Figure BSA00001673193400000711
和dm表示如下：
Figure BSA00001673193400000712
当特征点移动后，
Figure BSA00001673193400000713
dm分别变成了
Figure BSA00001673193400000714
dma：
Figure BSA00001673193400000715
和dma表示如下：
Figure BSA00001673193400000716
所以不同深度信息之间的比例可计算如下：
Figure BSA0000167319340000081
第2.4，当前位姿与期望位姿的关系
监视相机位姿与机器人期望位姿之间的关系可表示为：
Figure BSA0000167319340000082
移动机器人的当前位姿与监视相机位姿之间的相对关系可表示为：
Figure BSA0000167319340000083
为了将所有的平移向量在同一个比例因子下表示，将
Figure BSA0000167319340000084
重新定义为：
Figure BSA0000167319340000085
所以通过坐标系变换得到实时的移动机器人当前位姿与期望位姿之间的关系可表示为：
Figure BSA0000167319340000086
第3，驱动机器人到期望位姿
将机器人在笛卡尔坐标系下的位姿转换成极坐标系下，将cTd(t)的范数定义为当前位姿与期望位姿的距离误差e(t)，表示为
Figure BSA0000167319340000087
e(t)不可以直接测量；将含有比例因子的可测距离误差es(t)定义如下：
Figure BSA0000167319340000088
第3.1，运动学模型
基于极坐标的机器人运动学模型表示如下：
Figure BSA0000167319340000091
根据系统需要将其重新定义为：
Figure BSA0000167319340000092
第3.2，自适应控制器
由于深度信息未知，可以通过采用一个自适应控制器来完成镇定控制任务；利用可获得的信号φ(t)，α(t)和es(t)设计机器人的线速度和角速度表示如下：
v＝(γcosα)es， (52)
Figure BSA0000167319340000093
深度估计
Figure BSA0000167319340000094
的自适应更新律设计为：
Figure BSA0000167319340000095
第4，仿真及实验结果
第4.1，仿真结果
通过仿真来证明该方法的有效性。在仿真场景中设置了4个共面特征点，并且设置了移动后的特征点。
仿真中的虚拟相机内参数设置为：
Figure BSA0000167319340000096
移动机器人的初始位姿设置为(0.8m，-2.5m，28°)，期望位姿为(0.0m，0.0m，0.0°)。参数
Figure BSA0000167319340000099
的初始估计值选择为
Figure BSA0000167319340000097
选择控制增益和其他参数如下：
Figure BSA0000167319340000098
如附图，图4是移动机器人的(dTcx(t)，dTcz(t)，θ(t))进程状态，可以看出所有的值均趋于零。图5是移动机器人随时间变化的线速度和角速度。在图6是特征点在图像中的变化轨迹，图中的圆点表示初始位姿时刻的特征点图像坐标，正方形表示的是机器人到达期望位姿时特征点在图像中的位置，星形是特征点移动前在期望位姿处的图像位置。图7是机器人在三维空间中的移动路径。
第4.2，实验结果
经过仿真之后，接下来进行实验以进一步验证所提方法的有效性。如图8所示，实验用的是带有车载摄像机的IN-R型移动机器人，本文方法是在配备有OpenCV库的VC++6.0环境下实现的。
移动机器人的初始位姿为(-2.2m，0.6m，32°)，期望位姿为(0.0m，0.0m，0°)。选择的控制增益参数为γ＝0.4，k＝0.1，q＝1，
Figure BSA0000167319340000101
如附图，图8是机器人放置到期望位姿采集期望图像。图9是将机器人随机放置到其他位置(初始位姿)，与此同时特征点做了相应的移动(模拟特征点受到外界较大干扰)监视相机捕获到的图像，左边是特征点移动前的图像，右边是特征点移动后的图像。图10是特征点在摄像机中的图像变化，图形的表示方法与仿真中叙述的一致。图11是移动机器人(dTcx(t)，dTcz(t)，θ(t))的实时变化，红色虚线是期望值，蓝色线为实际的值，可以看出三条轨迹逐渐趋于期望值。图12是试验中移动机器人的线速度和角速度变化，最终都趋于零。图13是移动机器人从初始位姿到期望位姿的路径，红三角是期望位姿处，可见机器人最终镇定到了期望位姿处。实验表明所提出方法具有可行性。
第4.3，结论
在本文中，提出了一种新颖的处理动态场景下的视觉伺服策略，并且场景中特征点的3D模型是未知的。首先，利用单应矩阵分解方法计算出期望位姿与监视相机之间的关系。然后利用同样的方法计算出当前位姿与监视相机之间的关系。由于场景的变化导致深度信息的不同，所以需要得到两者之间的比例，以用来将平移向量转变成含有同一个深度信息。接下来，结合坐标系变换算出实时的当前位姿与期望位姿之间的关系。最后，采用一个自适应控制器将机器人驱动到期望位姿处。仿真和实验结果都证明了该策略的可行性。

Claims (1)

1.模型未知动态场景下移动机器人视觉镇定系统，其特征包括以下步骤：
第1，问题描述
第1.1，系统描述
设置摄像机坐标系与移动机器人坐标系相重合，定义在当前位姿处的机器人/摄像机坐标系为
Figure FSB0000200398420000011
其中
Figure FSB0000200398420000012
的原点处于摄像机的光心位置并且是机器人的轮轴中心；
Figure FSB0000200398420000013
的zc轴沿着摄像机的光轴方向，同时也是机器人前进的方向，xc轴和机器人的轮轴平行，yc轴垂直于zcxc平面；定义
Figure FSB0000200398420000014
表示移动机器人期望位姿的坐标系，
Figure FSB0000200398420000015
表示监视摄相机位姿的坐标系，监视摄像机的作用是监视特征点的移动；Mi定义为特征点移动之前的位置；
Figure FSB0000200398420000016
定义为特征点移动之后的位置；符号e(t)定义为机器人期望位姿与当前位姿之间的误差；θ(t)定义为期望位姿与当前位姿的旋转角度；α(t)定义为机器人当前的方向与
Figure FSB0000200398420000017
到
Figure FSB0000200398420000018
的平移向量之间的角度；φ(t)定义为机器人期望位姿的方向与
Figure FSB0000200398420000019
到
Figure FSB00002003984200000110
平移向量之间的角度；
第1.2，控制方案
图像1表示特征点移动前在监视相机中的图像，图像2表示特征点移动后在监视相机中的图像；整个视觉伺服策略由四个阶段组成：第一阶段，机器人在期望位姿处拍摄的期望图像和图像1可以估计出第一个单应矩阵，通过矩阵分解可得到监视摄相机位姿与期望位姿之间旋转矩阵
Figure FSB00002003984200000111
和平移向量dTm；第二阶段，当前图像与图像2结合可以得到第二个单应矩阵，通过矩阵分解，可以得到机器人当前坐标系与监视相机坐标系之间旋转矩阵
Figure FSB00002003984200000112
和平移向量cTm；第三阶段，利用特征点与视觉图像之间的几何关系，计算出特征点移动前后两个不同深度信息之间的比例λ；第四阶段，根据坐标系变换规则，实时地计算出机器人当前位姿与期望位姿之间的旋转矩阵
Figure FSB00002003984200000113
和平移向量cTd(t)，进而采用自适应控制器将轮式移动机器人驱动到期望位姿处；
第1.3，坐标关系的表示
以
Figure FSB00002003984200000114
作为参考坐标系；坐标系
Figure FSB00002003984200000115
相对于坐标系
Figure FSB00002003984200000116
的旋转矩阵和平移向量分别标记为
Figure FSB00002003984200000117
和dTc(t)，
Figure FSB00002003984200000118
和dTc(t)表示为：
Figure FSB00002003984200000119
第1.4，图像表示
Mi(i＝1，2，3，4)定义为空间中4个共面的特征点，
Figure FSB00002003984200000120
定义为移动之后的特征点；期望图像、当前图像、图像1和图像2的第i个像素点的坐标分别表示是
Figure FSB00002003984200000121
具体表示如下：
Figure FSB00002003984200000122
第2，控制策略
第2.1，监视相机与期望位姿的关系
Figure FSB0000200398420000021
定义为特征点移动前在监视相机中的图像坐标，
Figure FSB0000200398420000022
定义为机器人在期望位姿处拍摄的期望图像的坐标；坐标系
Figure FSB0000200398420000023
和坐标系
Figure FSB0000200398420000024
之间的射影单应矩阵G(t)表示如下：
Figure FSB0000200398420000025
通过对期望图像和图像1得到的单应矩阵分解并筛选之后，最终得到的旋转矩阵
Figure FSB0000200398420000026
和平移向量dTm(t)如下所示：
Figure FSB0000200398420000027
第2.2，监视相机与当前位姿的关系
Figure FSB0000200398420000028
定义为特征点移动之后监视相机中图像的坐标，
Figure FSB0000200398420000029
表定义为机器人在当前位姿处拍摄的当前图像的坐标；利用2.1中同样的方法，计算出机器人当前位姿与监视相机之间的旋转矩阵和平移向量如下：
Figure FSB00002003984200000210
第2.3，两个未知深度信息之间的比例因子
计算出来的dTm(t)和cTm(t)其实不是实际中的平移向量，两个平移向量含有不同的比例因子；
Figure FSB00002003984200000211
和
Figure FSB00002003984200000212
定义为归一化图像坐标平面上的两个特征点，P1 m和P2 m是相对应的两个空间中的特征点；P1 m和dm表示如下：
Figure FSB00002003984200000213
当特征点移动后，P1 m、dm分别变成了P1 ma、dma；P1 ma和dma表示如下：
Figure FSB0000200398420000031
所以不同深度信息之间的比例可计算如下：
Figure FSB0000200398420000032
第2.4，当前位姿与期望位姿的关系
监视相机位姿与机器人期望位姿之间的关系可表示为：
Figure FSB0000200398420000033
移动机器人的当前位姿与监视相机位姿之间的相对关系可表示为：
Figure FSB0000200398420000034
为了将所有的平移向量在同一个比例因子下表示，将
Figure FSB0000200398420000035
重新定义为：
Figure FSB0000200398420000036
所以通过坐标系变换得到实时的移动机器人当前位姿与期望位姿之间的关系可表示为：
Figure FSB0000200398420000037
第3，驱动机器人到期望位姿
将机器人在笛卡尔坐标系下的位姿转换成极坐标系下，将cTd(t)的范数定义为期望位姿与当前位姿的距离误差e(t)，表示为
Figure FSB0000200398420000038
e(t)不可以直接测量；将含有比例因子的可测距离误差es(t)定义如下：
Figure FSB0000200398420000039
第3.1，运动学模型
基于极坐标的机器人运动学模型表示如下：
Figure FSB0000200398420000041
根据系统需要将其重新定义为：
Figure FSB0000200398420000042
第3.2，自适应控制器
由于深度信息未知，可以通过采用一个自适应控制器来完成镇定控制任务；利用可获得的信号φ(t)，α(t)和es(t)设计机器人的线速度和角速度表示如下：
v＝(γcosα)es， (16)
Figure FSB0000200398420000043
深度估计
Figure FSB0000200398420000044
的自适应更新律设计为：
Figure FSB0000200398420000045
CN201810787727.7A 2018-07-17 2018-07-17 模型未知动态场景下移动机器人视觉镇定 Active CN110722547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810787727.7A CN110722547B (zh) 2018-07-17 2018-07-17 模型未知动态场景下移动机器人视觉镇定

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810787727.7A CN110722547B (zh) 2018-07-17 2018-07-17 模型未知动态场景下移动机器人视觉镇定

Publications (2)

Publication Number Publication Date
CN110722547A CN110722547A (zh) 2020-01-24
CN110722547B true CN110722547B (zh) 2022-11-15

Family

ID=69217592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810787727.7A Active CN110722547B (zh) 2018-07-17 2018-07-17 模型未知动态场景下移动机器人视觉镇定

Country Status (1)

Country Link
CN (1) CN110722547B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429112B2 (en) * 2020-12-31 2022-08-30 Ubtech North America Research And Development Center Corp Mobile robot control method, computer-implemented storage medium and mobile robot
US11865724B2 (en) * 2021-04-26 2024-01-09 Ubkang (Qingdao) Technology Co., Ltd. Movement control method, mobile machine and non-transitory computer readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103900583A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 用于即时定位与地图构建的设备和方法
CN106204625A (zh) * 2016-07-27 2016-12-07 大连理工大学 一种可变焦距柔性化位姿视觉测量方法
CN106774309A (zh) * 2016-12-01 2017-05-31 天津工业大学 一种移动机器人同时视觉伺服与自适应深度辨识方法
CN106940894A (zh) * 2017-04-12 2017-07-11 无锡职业技术学院 一种基于主动视觉的手眼系统自标定方法
CN107627303A (zh) * 2017-09-22 2018-01-26 哈尔滨工程大学 一种基于眼在手上结构的视觉伺服系统的pd‑smc控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246899A1 (en) * 2009-03-26 2010-09-30 Rifai Khalid El Method and Apparatus for Dynamic Estimation of Feature Depth Using Calibrated Moving Camera
US10380764B2 (en) * 2013-12-18 2019-08-13 Cognex Corporation System and method for performing vision system planar hand-eye calibration from straight line features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103900583A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 用于即时定位与地图构建的设备和方法
CN106204625A (zh) * 2016-07-27 2016-12-07 大连理工大学 一种可变焦距柔性化位姿视觉测量方法
CN106774309A (zh) * 2016-12-01 2017-05-31 天津工业大学 一种移动机器人同时视觉伺服与自适应深度辨识方法
CN106940894A (zh) * 2017-04-12 2017-07-11 无锡职业技术学院 一种基于主动视觉的手眼系统自标定方法
CN107627303A (zh) * 2017-09-22 2018-01-26 哈尔滨工程大学 一种基于眼在手上结构的视觉伺服系统的pd‑smc控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Projection Homography Based Uncalibrated Visual Servoing of;Baoquan Li;《Conference on Decision and Control》;20141217;全文 *
移动机器人自适应视觉伺服镇定控制;张学波;《控制理论与应用》;20100930;第27卷(第9期);全文 *

Also Published As

Publication number Publication date
CN110722547A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
Malis Survey of vision-based robot control
CN108994832B (zh) 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CA2928645A1 (en) Image-based robot trajectory planning approach
CN106774309A (zh) 一种移动机器人同时视觉伺服与自适应深度辨识方法
JP2022542241A (ja) ロボット装置からの視覚的出力を補強するシステム及び方法
Gong et al. An uncalibrated visual servo method based on projective homography
Husain et al. Realtime tracking and grasping of a moving object from range video
Li et al. Visual servoing of wheeled mobile robots without desired images
JP2015501471A (ja) 車載搭載型のコンピュータ・ベース視覚システムの校正方法
Gratal et al. Visual servoing on unknown objects
CN110722547B (zh) 模型未知动态场景下移动机器人视觉镇定
Lopez-Nicolas et al. Nonholonomic epipolar visual servoing
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
Chappellet et al. Humanoid loco-manipulations using combined fast dense 3d tracking and slam with wide-angle depth-images
Cai et al. 6D image-based visual servoing for robot manipulators with uncalibrated stereo cameras
Gans et al. Visual servoing to an arbitrary pose with respect to an object given a single known length
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
Fuchs et al. Advanced 3-D trailer pose estimation for articulated vehicles
Lei et al. Visually guided robotic tracking and grasping of a moving object
Yin et al. Monitoring-based visual servoing of wheeled mobile robots
CN111612843A (zh) 移动机器人无期望图像视觉镇定控制
Wu et al. Depth estimation of objects with known geometric model for IBVS using an eye-in-hand camera
Cao et al. Visual Servo Control for wheeled robot platooning based on homography
Lai et al. Homography-based visual servoing for eye-in-hand robots with unknown feature positions
CN112123329A (zh) 一种机器人3d视觉手眼标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant