CN109542094B - 无期望图像的移动机器人视觉镇定控制 - Google Patents

Abstract

一种移动机器人的无期望图像视觉伺服方法。本文提出了移动机器人的无期望图像视觉伺服方法，能够在期望图像无法事先获得的情况下，将移动机器人由当前位姿镇定至任意指定位姿处。首先，为了处理期望图像确实的情况，根据目标特征定义了参考坐标系，并引入了比例意义下的临时期望坐标系。镇定过程分为两个阶段，首先求取当前坐标系与临时期望坐标系之间的极坐标关系，即可得到以极坐标表示下的系统误差。之后根据移动机器人的运动学方程，设计基于极坐标的镇定控制律。并根据并发学习策略，设计能辨识未知特征点高度信息的自适应更新律。进而移动机器人的镇定过程中，同时将特征点高度辨识出，并可以得到机器人的全状态信息。此后在第二阶段中，利用移动机器人的全状态信息，根据极坐标控制方法，将其由临时期望坐标系镇定至任意指定的期望坐标系处。

Description

无期望图像的移动机器人视觉镇定控制

技术领域

本发明属于计算机视觉与移动机器人的技术领域，特别是涉及一种无期望图像的移动机器人视觉镇定控制方法。

背景技术

近年来，通过视觉反馈手段来控制操作臂和轮式移动机器人等智能设备的问题，已经成为控制理论和机器人应用的重要方向。在通常情况下，期望图像在视觉伺服中起到了很重要的作用，其作用是为机器人系统定义期望位姿。然而，对于未提前获取期望图像或机器人在陌生的场景下运行的情况，现有方法无法适用。本文中，我们将研究轮式移动机器人系统的视觉伺服问题，其中目标位姿处对应的期望图像是不存在的。对于机器人来说，一个主要的任务是能够移动到任意指定位姿处。然而，由于非完整性约束和场景深度缺乏等原因，移动机器人的视觉控制是十分困难的。为了完成无期望图像的控制目标，必须充分利用图像信息，辨识出场景模型。当不存在期望图像时，控制问题变得更加复杂，加之目标模型和视觉深度信息是未知的，又考虑到非完整特性的存在，无期望图像视觉伺服在机器人和控制领域是一个非常具有挑战性且有趣的问题。

许多研究者把他们的注意力都集中在处理机器人操作臂的视觉控制问题，并得到了许多有意义的研究成果。对于经典的方法，基于位置和基于图像的视觉伺服系统利用当前和期望的图像分别产生位姿误差和图像误差，而混合视觉伺服则包含了从期望和当前图像中提取出的图像特征和旋转运动。通过计算关系矩阵得到所涉及到的整个图像的光度信息来代替点特征的使用，使这些方法在遮蔽和反光的场景下也能适用。然而，也可利用密集的深度图和像素强度增加系统在外部干扰下的鲁棒性。为了满足物理约束和避免碰撞，从初始位姿到期望位姿来规划末端操作器路径是一个好的解决方法。为了处理内部不确定因素，采用一些无标定的视觉伺服方法来处理未知的摄像机内参数和未知的操作臂模型。基于视觉伺服结构，机器人操作臂可以完成目标跟踪和处理目标畸变等多项任务。不幸的是，上述所有方法都需要期望图像来完成视觉伺服任务，而这些任务能够为机器人操作臂提供参考位姿。众所周知，在没有提前捕获期望图的情况下，这种示教模式是无法运作的。

相比于机器人操作臂，轮式移动机器人有操作灵活和工作空间宽阔的优势，通过视觉信息控制机器人一直是机器人领域的一个活跃的研究课题。由于期望图像、当前图像和初始图像的存在，移动机器人的状态信息可以由单应性、基本矩阵和三焦张量估计出。为了处理位姿控制中的非完整性约束，采用平滑时变控制、基于极坐标控制和转换控制将机器人镇定到期望位姿处。为了处理未知的信息深度，通常在视觉伺服系统中引入自适应补偿机制。将深度信息作为已知动力学方程的不可测量参数，并引入非线性观测器来辨识视觉调节过程中的特征深度。在自适应更新律识别目标特征位姿之后，移动机器人的位姿是可测量的。为了保持摄像机视野中的图像信息，采用一些基于主动视觉和基于路径规划的方法来使移动机器人进行适当移动。此外，对于视觉轨迹跟踪任务，附加的静态图像是为期望轨迹和当前轨迹提供参考的必要条件。然而，在上述方法中，视觉伺服目标需要期望图像意味着移动机器人可以在预先捕获期望图像的前提下到达目标位姿，并且机器人只能在熟悉的场景中运行。因此，在没有预先获取期望图像的情况下，将基于视觉的移动机器人镇定到期望位姿处，则整个系统将变得更加智能。

为了实现无期望图像的视觉伺服任务，需要在控制算法中实现视觉目标模型的在线学习。最近，关于机器人系统的视觉深度辨识，已经获得了一些研究成果。基于含积分符号的稳定误差，对静态和动态场景分别设计非线性观测器来识别特征深度和摄像机速度。基于成像系统中可测量的运动参数，设计了一种非线性观测器来渐进地估计照相机的坐标。例如操纵器和水下航空器等各种机器人系统，也都应用到了图像数据的深度辨识算法。然而，现有的方法通常需要持续激励的条件，并且不能保证控制器与观测器组合的结构的全局稳定。当配备用于测量视觉目标深度的距离传感器时，系统复杂性和成本将增加，并且传感器也存在一定的误差。因此，无论在实际上还是在理论上，利用图像和运动信息来识别目标模型都是有益的。研究者们开发了一种用于不确定线性动力系统的并发学习自适应控制律，它同时利用历史和当前数据进行未知参数更新，并保证辨识和控制误差同时收敛。对于操作臂的视觉伺服，一些研究者设计了一种并发学习适应机制，可以在没有持续激励的轨迹跟踪过程中重建场景结构。本发明提供了一种新颖的视觉伺服策略，用于将轮式移动机器人镇定到期望位姿处，而不需要在现有方法中提前捕获期望图像。

发明内容

本发明的目的是解决现有移动机器人视觉镇定控制存在的不足，提供了一种移动机器人的无期望图像视觉伺服方法。

本发明提出了一种新颖的移动机器人的无期望图像视觉伺服方法。该方法最大的特点是能够在期望图像无法事先获得的情况下，将移动机器人由当前位姿镇定至任意指定位姿处。因而，在未提前获取期望图像的情况下或在陌生的场景下，解决了现有的方法无法使机器人运行的问题，并且无需外加距离传感器，不增加系统复杂度和成本。具体而言，由于不存在期望图像，因此首先对于视觉目标定义参考系。然后，引入比例意义下的临时期望坐标系，使整个调节任务分为两个阶段。第一阶段，在当前坐标系和临时期望坐标系之间获得极坐标关系，然后设计自适应镇定控制律将移动机器人镇定至临时坐标系，其中根据基于并发学习结构的历史和当前数据为未知特征高度构建参数更新律。采用李雅普诺夫法严格地证明位姿调节误差和高度辨识误差可以同时收敛到零。之后，可以通过所辨识的特征高度来估计移动机器人的全状态信息，并通过极坐标控制律将移动机器人从临时坐标系驱动到期望坐标系。仿真与实验结果均证明本方法有效可靠。

本发明主要做出了以下几方面贡献：1.与采用视觉伺服示教模式的现有方法相比，该方法可以在没有预先获取期望图像的情况下将移动机器人镇定到期望位姿处，使移动机器人系统在非结构化场景中的运行变得更加智能可靠；2.当驱动机器人到临时期望坐标系时，通过并发学习结构辨识出特征高度，从而成功地学习了视觉目标模型，并通过视觉系统对外部环境有了很好的认识；3.为了代替期望图像，对视觉目标的所有坐标进行详细定义，为移动机器人定位和位姿调节提供参考。

本发明提供的移动机器人的无期望图像视觉伺服方法包括：

第1，定义系统坐标系

第1.1，系统坐标系的描述

基于视觉目标定义了基准坐标系

设置摄像机与移动机器人的坐标系相重合，进而定义在当前位姿处的机器人/摄像机坐标系为

其中

的原点在摄像机的光心位置处，也即车轮轴线中心点的正上方；

的z^c轴与摄像机光轴重合，同时也和机器人前进方向重合，x^c轴和机器人轮轴平行；y^c轴垂直于z^cx^c平面。定义

表示摄像机当前位姿坐标系。

以

表示未预先获取期望图的期望坐标系，为了便于控制开发，引入

表示比例意义下的临时坐标系。

第1.2，控制方案

根据坐标系定义，本文的目的是提出一种新颖的视觉伺服方案来驱动移动机器人，使坐标系

与坐标系

一致。附图2给出了所提供方案的框图。首先，利用视觉目标和平面运动约束来定义坐标系

然后利用当前和初始图像来计算相对于坐标系

的比例意义下的机器人位姿。

在阶段1中，首先为移动机器人的临时镇定设置比例意义下的期望位姿。然后通过极坐标系表示方法设计自适应调节控制器，以将机器人镇定至坐标系

处。接着，根据并发学习结构为特征高度辨识构建参数更新律。通过稳定性分析得以证明，在进行位姿调节时，能够同时确定特征高度。

在阶段2中，利用辨识特征高度来获取移动机器人的全状态信息。然后，采用基于极坐标的调节控制器来驱动机器人到

表示下的期望位姿处。

第2，构造系统模型

第2.1，基准坐标系的定义

基于视觉目标定义基准坐标系，其要求特征点

应该是共面的，如附图3所示。在不失一般性的情况下，选择

来表示参数特征点。利用垂直于机器人运动平面且过点

的直线来定义坐标系

的y^b轴，并且设置y^b的方向与坐标系

的y^c轴的方向一致。其中，

的原点是y^b与z^cx^c平面的交点。

z^cx^c平面与特征平面的交线定义为x^b轴。定义z^b的方向与

相对于图像平面的方向相反。然后，通过标准右手规则定义x^b轴的方向和z^b轴。

基于坐标系

的定义，可以用极坐标表示移动机器人的当前位姿。

的原点和

的原点之间的距离标记为m^c(t)。

在

下的旋转角度表示为θ^c(t)，即移动机器人的朝向角。以φ^c(t)表示z^b轴与从

到

的平移向量之间的角度，α^c(t)表示z^c轴与从

到

的平移向量之间的角度，因此α^c(t)＝φ^c(t)-θ^c(t)。此外，α^c(t)，φ^c(t)，θ^c(t)的方向也被标记，并且在附图3中的角度为正值。因此，机器人的位姿可表示为(m^c(t)，α^c(t)，φ^c(t))。

第2.2，可测量信号

根据基准坐标系的定义，定义

在

和

下的坐标分别为：

利用移动机器人的平面运动约束，可知Y₁ ^b＝Y₁ ^c且为恒值。

此外，相对于

在F₀和F_c处捕获的图像分别为初始图像和当前图像。其中，

的当前图像坐标由

表示。

不失一般性，假设

在机器人运动平面的上方，即Y₁ ^c＜0。根据摄像机的成像原理，可得：

其中(u₀，v₀)为像素主点，f表示焦距，d_u，d_v为单个像素块分别在x^c，y^c方向上的长度，经过变换得到：

其中f_u，f_v是以像素大小表示的焦距。由于缺乏场景深度，因而无法估计出m^c(t)，只能估计出比例意义下的值：

根据

在当前图像上的坐标，通过摄像机的成像原理可以直接计算得到α^c(t)：

通过当前和初始图像，可以计算出

和

之间的摄影单应矩阵G(t)为：

其中

分别是相对于

和

的

的齐次图像坐标，λ_i(t)是与深度比有关的系数，并定义G(t)为：

其中定义

为以

表示的特征平面的正单位矢量；K是校准摄像机内参数；

和⁰T_c(t)分别是

相对于

的旋转矩阵和平移向量；

是从

的原点到沿着n^c(t)的特征平面的未知距离。然后，n^c(t)可以通过单应性分解算法来计算。

由于x^b坐标轴定义为特征点平面与机器人运动平面相交线方向，可知n^c(t)垂直于x^b坐标轴，并且可知n^c(t)在机器人运动平面z^cx^c的投影与z^b坐标轴方向一致。进而可以计算出机器人的方向角θ^c(t)为：

然后，得到φ^c(t)为：

φ^c＝α^c+θ^c (9)

因此，可以得到比例意义下的机器人当前位姿

第3，临时坐标系的镇定

为将机器人镇定到临时坐标系

处，需要在

下定义

处对应的机器人位姿。此外，由于场景深度的缺失，设置

处的位姿为比例形式：

其中

要注意的是，设置

意味着使机器人运动到与

高度的某一比例值处。此外，设置α^d1＝0，φ^d1＝0时表明机器人将正面面向特征平面，这对于探索未知目标是非常有实际意义的。

在本阶段中，首先求取

与

之间的极坐标关系。之后根据移动机器人的运动学方程，设计基于极坐标的镇定控制律。并根据并发学习策略，设计能辨识未知特征点高度Y₁ ^c的自适应更新律。进而在将移动机器人从

镇定至

处的过程中，同时将特征点高度Y₁ ^c辨识出。

第3.1，

在

下的极坐标表示

设置完

的位姿后，可以直接计算出

在

下的方向角为：θ^d1(t)＝φ^d1(t)-α^d1(t)。通过坐标变换律，利用

和

之间以及

与

之间的变换矩阵，可以得到

与

之间的变换矩阵

附图4显示了

与

之间的坐标变换关系，其中θ^d1c(t)表示

在

下的旋转角，图中的角度为负。φ^d1c(t)表示z^d1轴与从

到

的平移向量之间的角度，图中的角度为正。α^c(t)表示z^c轴与从

到

的平移向量之间的角度，在图中为正值。

表示比例意义下的

原点与

原点之间的距离：

然后，根据如下公式，可以从

中提取θ^d1c(t)，

和φ^d1c(t)：

θ^d1c＝θ^c-θ^d1 (11)

并且可以计算出α^d1c(t)：α^d1c(t)＝φ^d1c(t)-θ^d1c(t)。

因此，可测得

在

下的比例意义下极坐标

将其设置为阶段一的系统误差。

第3.2，建立机器人运动学方程

在

下，利用极坐标表示的移动机器人当前位姿(m^d1c(t)，α^d1c(t)，φ^d1c(t))的运动学方程为：

其中v_r(t)和ω_r(t)分别代表机器人的线速度和角速度。

由于机器人位姿只能按比例的方式进行测量，所以可以在(10)带入(14)之后，得到移动机器人模型在比例意义下的运动学方程为：

易知，当

收敛至零时，移动机器人到达临时期望位姿

处。

第3.3，自适应控制律设计

为了实现位姿镇定的目标，通过基于李雅普诺夫的控制设计方法构建移动机器人的线速度和角速度如下：

其中k_m，k_φ，

为正控制增益，

表示特征高度Y₁ ^c(t)的估值。由于sinα^d1c(t)/α^d1c(t)是有界的，因此没有奇异点。

根据并发学习方法，设计自适应更新律为：

其中

为更新增益。在式(18)中，

是一个正整数，表示控制系统启动阶段一之后的连续采样周期数，其中记录了系统数据，t_k∈[0，t]是每个采样周期对应的时间点。

应该注意的是，由于在自适应更新律的并发学习方法中用到了N个采样周期中记录的数据，所以当使用滤波器时就可以得到

的精确估值。因此，可以显著提高参数估计的精度。

投影函数Proj{χ}定义为：

其中

是Y₁ ^c的负下限。

首先，选取

的初值应小于

然后，从式(19)可知

最后，可以得出结论：

其中

表示为深度估计误差：

因此，可知当

趋于零时，成功识别特征高度。

定理1：当满足如下条件时，控制律(16)和(17)与参数更新律(18)一起将机器人镇定到临时期望位姿：

第4，期望位姿的镇定

在第一阶段后，移动机器人到达临时位姿

处，并且同时辨识特征高度Y₁ ^c。因此，根据式(4)，(5)和(9)可以得到移动机器人的全状态信息为：(m^c(t)，α^c(t)，φ^c(t))。

对于实际使用中，在笛卡尔坐标系下相对于

设置

的期望位姿为(^bT_d2z，^bT_d2x，θ^d2)，其中^bT_d2z和^bT_d2x分别表示在

下的

原点的z轴和x轴坐标。

不失一般性，在此阶段中采用了基于极坐标的控制方法。其中，由(m^d2，α^d2，φ^d2)表示

在

下的极坐标，并根据如下方式从(^bT_d2z，^bT_d2x，θ^d2)中获得：

此外，与第3.2中的方法类似，(m^d2c(t)，α^d2c(t)，φ^d2c(t))表示

在

下的极坐标。类似于(11)、(25)和(26)，将其设置为阶段二的系统误差。然后，根据如下公式，可以从(m^c(t)，α^c(t)，φ^c(t))和(m^d2，α^d2，φ^d2)中得到(m^d2c(t)，α^d2c(t)，φ^d2c(t))：

θ^d2c＝θ^c-θ^d2 (24)

并且可以计算出α^d2c(t)：α^d2c(t)＝φ^d2c(t)-θ^d2c(t)。

与(14)类似，在

下，移动机器人当前位姿(m^d2c(t)，α^d2c(t)，φ^d2c(t))的运动学方程为：

并利用如下控制律将机器人镇定到期望位姿

处：

v_r＝k_mm^d2ccosα^d2c (28)

其中系统误差(m^d2c(t)，α^d2c(t)，φ^d2c(t))同时收敛至零。

本发明的优点和有益效果

本发明提供了一种移动机器人的无期望图像视觉伺服方法。本发明主要做出了以下几方面贡献：1.与采用视觉伺服示教模式的现有方法相比，该方案可以在没有预先记录期望图像的情况下将移动机器人镇定到期望位姿处，使移动机器人系统在非结构化场景中的运行变得更加智能可靠；2.当机器人被驱动到临时期望坐标系时，通过并发学习结构辨识特征高度，从而成功地学习了视觉目标模型，并通过视觉系统对外部环境有了很好的认识；3.为了代替期望图像，对视觉目标的所有坐标进行详细定义，为移动机器人定位和位姿镇定提供参考。

附图说明：

图1为无期望图视觉伺服任务的坐标系关系；

图2为视觉伺服策略框图；

图3为基准坐标系的定义；

图4为

与

之间的坐标变换；

图5为仿真结果：移动机器人的特征点和运动轨迹[加粗三角形：期望和临时期望位姿]；

图6为仿真结果：机器人位姿的变化[实线：机器人位姿；虚线：期望位姿]；

图7为仿真结果：由参数更新律(18)得到的

变化[实线：

的值；虚线：Y₁ ^c(t)的真值]；

图8表示实验结果：移动机器人的运动轨迹[加粗三角形：两个阶段的期望和临时期望位姿]；

图9表示实验结果：机器人位姿的变化[实线：机器人位姿；虚线：期望值(0)]；

图10表示实验结果：两个阶段的系统误差的变化[实线：误差值；虚线：期望值(0)]；

图11表示实验结果：通过参数更新律得到的

的变化[实线：

的值；虚线：通过视觉估计算法计算的Y₁ ^c]；

图12表示实验结果：移动机器人的速度；

图13表示实验结果：特征点的图像轨迹[星点：阶段一的最终图像；方形点：阶段二的最终图像]；

具体实施方式：

实施例1

第1，定义系统坐标系

第1.1，系统坐标系的描述

基于视觉目标定义了基准坐标系

设置摄像机与移动机器人的坐标系相重合，进而定义在当前位姿处的机器人/摄像机坐标系为

其中

的原点在摄像机的光心位置处，也即车轮轴线中心点的正上方；

的z^c轴与摄像机光轴重合，同时也和机器人前进方向重合，x^c轴和机器人轮轴平行；y^c轴垂直于z^cx^c平面。定义

表示摄像机当前位姿坐标系。

以

表示未预先获取期望图的期望坐标系，为了便于控制开发，引入

表示比例意义下的临时坐标系。

第1.2，控制方案

根据坐标系定义，本文的目的是提出一种新颖的视觉伺服方案来驱动移动机器人，使坐标系

与坐标系

一致。附图2给出了所提供方案的框图。首先，利用视觉目标和平面运动约束来定义坐标系

然后利用当前和初始图像来计算相对于坐标系

的比例意义下的机器人位姿。

在阶段1中，首先为移动机器人的临时镇定设置比例意义下的期望位姿。然后通过极坐标系表示方法设计自适应调节控制器，以将机器人镇定至坐标系

处。接着，根据并发学习结构为特征高度辨识构建参数更新律。通过稳定性分析得以证明，在进行位姿调节时，能够同时确定特征高度。

在阶段2中，利用辨识特征高度来获取移动机器人的全状态信息。然后，采用基于极坐标的调节控制器来驱动机器人到

表示下的期望位姿处。

第2，构造系统模型

第2.1，基准坐标系的定义

基于视觉目标定义基准坐标系，其要求特征点

应该是共面的，如附图3所示。在不失一般性的情况下，选择

来表示参数特征点。利用垂直于机器人运动平面且过点

的直线来定义坐标系

的y^b轴，并且设置y^b的方向与坐标系

的y^c轴的方向一致。其中，

的原点是y^b与z^cx^c平面的交点。

z^cx^c平面与特征平面的交线定义为x^b轴。定义z^b的方向与

相对于图像平面的方向相反。然后，通过标准右手规则定义x^b轴的方向和z^b轴。

基于坐标系

的定义，可以用极坐标表示移动机器人的当前位姿。

的原点和

的原点之间的距离标记为m^c(t)。

在

下的旋转角度表示为θ^c(t)，即移动机器人的朝向角。以φ^c(t)表示z^b轴与从

到

的平移向量之间的角度，α^c(t)表示z^c轴与从

到

的平移向量之间的角度，因此α^c(t)＝φ^c(t)-θ^c(t)。此外，α^c(t)，φ^c(t)，θ^c(t)的方向也被标记，并且在附图3中的角度为正值。因此，机器人的位姿可表示为(m^c(t)，α^c(t)，φ^c(t))。

第2.2，可测量信号

根据基准坐标系的定义，定义

在

和

下的坐标分别为：

利用移动机器人的平面运动约束，可知Y₁ ^b＝Y₁ ^c且为恒值。

此外，相对于

在F₀和F_c处捕获的图像分别为初始图像和当前图像。其中，

的当前图像坐标由

表示。

不失一般性，假设

在机器人运动平面的上方，即Y₁ ^c＜0。根据摄像机的成像原理，可得：

其中(u₀，v₀)为像素主点，f表示焦距，d_u，d_v为单个像素块分别在x^c，y^c方向上的长度，经过变换得到：

其中f_u，f_v是以像素大小表示的焦距。由于缺乏场景深度，因而无法估计出m^c(t)，只能估计出比例意义下的值：

根据

在当前图像上的坐标，通过摄像机的成像原理可以直接计算得到α^c(t)：

通过当前和初始图像，可以计算出

和

之间的摄影单应矩阵G(t)为：

其中

分别是相对于

和

的

的齐次图像坐标，λ_i(t)是与深度比有关的系数，并定义G(t)为：

其中定义

为以

表示的特征平面的正单位矢量；K是校准摄像机内参数；

和⁰T_c(t)分别是

相对于

的旋转矩阵和平移向量；

是从

的原点到沿着n^c(t)的特征平面的未知距离。然后，n^c(t)可以通过单应性分解算法来计算。

由于x^b坐标轴定义为特征点平面与机器人运动平面相交线方向，可知n^c(t)垂直于x^b坐标轴，并且可知n^c(t)在机器人运动平面z^cx^c的投影与z^b坐标轴方向一致。进而可以计算出机器人的方向角θ^c(t)为：

然后，得到φ^c(t)为：

φ^c＝α^c+θ^c (9)

因此，可以得到比例意义下的机器人当前位姿

第3，临时坐标系的镇定

为将机器人镇定到临时坐标系

处，需要在

下定义

处对应的机器人位姿。此 外，由于场景深度的缺失，设置

处的位姿为比例形式：

其中

要注意的是，设置

意味着使机器人运动到与

高度的某一比例值处。此外，设置α^d1＝0，φ^d1＝0时表明机器人将正面面向特征平面，这对于探索未知目标是非常有实际意义的。

在本阶段中，首先求取

与

之间的极坐标关系。之后根据移动机器人的运动学方程，设计基于极坐标的镇定控制律。并根据并发学习策略，设计能辨识未知特征点高度Y₁ ^c的自适应更新律。进而在将移动机器人从

镇定至

处的过程中，同时将特征点高度Y₁ ^c辨识出。

第3.1，

在

下的极坐标表示

设置完

的位姿后，可以直接计算出

在

下的方向角为：θ^d1(t)＝φ^d1(t)-α^d1(t)。通过坐标变换律，利用

和

之间以及

与

之间的变换矩阵，可以得到

与

之间的变换矩阵

附图4显示了

与

之间的坐标变换关系，其中θ^d1c(t)表示

在

下的旋转角，图中的角度为负。φ^d1c(t)表示z^d1轴与从

到

的平移向量之间的角度，图中的角度为正。α^c(t)表示z^c轴与从

到

的平移向量之间的角度，在图中为正值。

表示比例意义下的

原点与

原点之间的距离：

然后，根据如下公式，可以从

中提取θ^d1c(t)，

和φ^d1c(t)：

θ^d1c＝θ^c-θ^d1 (11)

并且可以计算出α^d1c(t)：α^d1c(t)＝φ^d1c(t)-θ^d1c(t)。

因此，可测得

在

下的比例意义下极坐标

将其设置为阶段一的系统误差。

第3.2，建立机器人运动学方程

在

下，利用极坐标表示的移动机器人当前位姿(m^d1c(t)，α^d1c(t)，φ^d1c(t))的运动学方程为：

其中v_r(t)和ω_r(t)分别代表机器人的线速度和角速度。

由于机器人位姿只能按比例的方式进行测量，所以可以在(10)带入(14)之后，得到移动机器人模型在比例意义下的运动学方程为：

易知，当

收敛至零时，移动机器人到达临时期望位姿

处。

第3.3，自适应控制律设计

为了实现位姿镇定的目标，通过基于李雅普诺夫的控制设计方法构建移动机器人的线速度和角速度如下：

其中k_m，k_φ，

为正控制增益，

表示特征高度Y₁ ^c(t)的估值。由于sinα^d1c(t)/α^d1c(t)是有界的，因此没有奇异点。

根据并发学习方法，设计自适应更新律为：

其中

为更新增益。在式(18)中，

是一个正整数，表示控制系统启动阶段一之后的连续采样周期数，其中记录了系统数据，t_k∈[0，t]是每个采样周期对应的时间点。

应该注意的是，由于在自适应更新律的并发学习方法中用到了N个采样周期中记录的数据，所以当使用滤波器时就可以得到

的精确估值。因此，可以显著提高参数估计的精度。

投影函数Proj{χ}定义为：

其中

是Y₁ ^c的负下限。

首先，选取

的初值应小于

然后，从式(19)可知

最后，可以得出结论：

其中

表示为深度估计误差：

因此，可知当

趋于零时，成功识别特征高度。

定理1：当满足如下条件时，控制律(16)和(17)与参数更新律(18)一起将机器人镇定到临时期望位姿：

第4，定理1证明

本发明在此给出定理1的证明。

证明：首先定义Lyapunov候选函数为：

对上式关于时间求导有：

即控制律设计为：

根据并发学习方法，设计深度辨识的自适应更新律为：

其中定义了深度辨识误差为

其中Γ₁，

为更新增益，投影函数Proj[χ]定义为：

因而有

即

是

的上界，也就是说

的初值的选取要小于

进一步，可知：

在绝大多数情况下，上式处于“＝”状态；符号＞出现在Proj[χ]＝0的情况。

将式(26)代入(24)可得：

将控制律代入，闭环误差方程可写为：

由于设计了投影函数，因而可以保证

因此根据式(29)可知V(t)是有界的，即可知

α^d1c，φ^d1c，

进而根据式(25)可知v_r，ω_r，

定义

时对应的集合为：

根据式(29)可知当

时α^d1c＝0，

继而可知

根据(26)可知

进而

之后将这些为0的项代入(30)的第二项，可得Y₁ ^ck_ek_φφ^d1c＝0，因此可以得到φ^d1c＝0。

因此可知Θ中的最大不变集M为

因此根据拉塞尔不变性原理，可知

α^d1c，φ^d1c，

第5，期望位姿的镇定

在第一阶段后，移动机器人到达临时位姿

处，并且同时辨识特征高度Y₁ ^c。因此，根据式(4)，(5)和(9)可以得到移动机器人的全状态信息为：(m^c(t)，α^c(t)，φ^c(t))。

对于实际使用中，在笛卡尔坐标系下相对于

设置

的期望位姿为(^bT_d2z，^bT_d2x，θ^d2)，其中^bT_d2z和^bT_d2x分别表示在

下的

原点的z轴和x轴坐标。

不失一般性，在此阶段中采用了基于极坐标的控制方法。其中，由(m^d2，α^d2，φ^d2)表示

在

下的极坐标，并根据如下方式从(^bT_d2z，^bT_d2x，θ^d2)中获得：

此外，与第3.2中的方法类似，(m^d2c(t)，α^d2c(t)，φ^d2c(t))表示

在

下的极坐标。类似于(11)、(33)和(34)，将其设置为阶段二中的系统误差。然后，根据如下公式，可以从(m^c(t)，α^c(t)，φ^c(t))和(m^d2，α^d2，φ^d2)中得到(m^d2c(t)，α^d2c(t)，φ^d2c(t))：

θ^d2c＝θ^c-θ^d2 (32)

并且可以计算出α^d2c(t)：α^d2c(t)＝φ^d2c(t)-θ^d2c(t)。

与(14)类似，在

下，移动机器人当前位姿(m^d2c(t)，α^d2c(t)，φ^d2c(t))的运动学方程为：

并利用如下控制律将机器人镇定到期望位姿

处：

v_r＝k_mm^d2ccosα^d2c (36)

其中系统误差(m^d2c(t)，α^d2c(t)，φ^d2c(t))同时收敛至零。

第6，仿真和实验结果

第6.1，仿真结果

在这部分中，本发明提供了仿真结果来验证所提出的方法的性能。首先，随机设置四个平面特征点，并将

的高度设置为-0.42m。其次，虚拟摄像机的内参数设置与后续实验中使用的相同：f_u＝1003.7，f_v＝1006.3，u₀＝376.9，v₀＝285.3。

对应于基准坐标系，设置期望位姿为(^bT_d2z，^bT_d2x，θ^d2)＝(-1.6m，0.1m，0°)，且将移动机器人的初始位姿设置为(^bT_0z，^bT_0x，θ⁰)＝(-6.5m，-0.8m，27°)。在极坐标中设置临时期望位姿为

此外，加入标准差为σ＝0.15的图像噪音来测试控制器的稳定性和特征高度辨识的抗干扰能力。

设置控制参数为k_m＝0.1，k_α＝0.4，k_φ＝2，Γ₁＝3，Γ₂＝0.001。随机选取

为-0.1m，并且将

设置为-1.0m。在阶段一中，设置N为100，即前100个采样周期所记录的数据。然后，采用三次多项式函数拟合

通过这种方式来抑制干扰，并根据对三次多项式关于时间求导得到

的精确估计。

图5给出了移动机器人在笛卡尔空间中的运动路径结果，其中加粗三角形分别表示期望位姿和临时位姿。其特征点也在该图中示出，其中利用圆点作为参考。可以看出机器人有效地移动到期望位姿处，并且路径在两个阶段中都非常平滑。图6表示机器人当前位姿(^bT_cz(t)，^bT_cx(t)，θ^c(t))的变化，其中虚线表示期望坐标系

处的位姿。并且，已知两阶段的稳态误差都足够小。此外，图7中给出了阶段一中特征高度

的估算。可以看出，特征高度估计会迅速收敛至其真实值，并且具有足够小的稳态误差，这意味着已成功辨识Y₁ ^c。

第6.2，实验结果

在这部分中，本发明给出了实验结果以验证设计方案的性能，其中采用了携带CCD照相机的Pioneer3-DX移动机器人以及在两个正方形的共顶点处的四个特征平面。整个方案是通过使用Visual Studio环境和OpenCV库实现的。采样频率为50Hz，满足视觉伺服任务的实时性要求。

将移动机器人的期望位姿设置为(^bT_d2z，^bT_d2x，θ^d2)＝(-1.1m，0m，0°)，并且初始位姿随机设置在(^bT_0z，^bT_0x，θ⁰)＝(-3.6m，1.1m，26°)处。将临时期望位姿设置为

选择控制参数为k_m＝0.4，k_α＝0.2，k_φ＝1，Γ₁＝4，Γ₂＝0.001。记录数据和拟合

的方式与模拟部分相同。

图8表示移动机器人两个阶段的混合路径。图9表示机器人当前位姿(^bT_cz(t)，^bT_cx(t)，θ^c(t))的变化。图10表示阶段一中的系统误差和阶段二中的m^d2c(t)。可以看出，机器人以较小的稳态误差通过高效的路径到达期望和临时期望位姿。

此外，为了测试特征高度辨识的精度，本发明根据初始和当前图像信息以及某些特征点之间的已知度量距离来计算Y₁ ^c的真实值。由于

和

之间的距离足够大，Y₁ ^c的计算在阶段一的最后几秒内更准确。图11给出了

的变化，其中虚线表示Y₁ ^c的计算值。因此，可以看出，特征高度的估值

迅速收敛到其真实值Y₁ ^c，并且稳态估计误差足够小。

图12表示移动机器人的速度。图13表示特征点的图像轨迹，其中圆点表示初始图像中提取的特征点，星形表示阶段一中的最终图像，正方形是阶段二中的最终图像。

可以得出结论，这个实验设备适合于探索未知物体，在这种意义上，首先将机器人镇定到相对于目标物体粗略设置的比例意义下的位姿，然后将机器人镇定到易于观察的离目标物体更近的精确的位姿。

Claims (1)

1.一种移动机器人的无期望图像视觉伺服方法，其特征在于包括以下步骤：

第1，定义系统坐标系

第1.1，系统坐标系的描述

基于视觉目标定义了基准坐标系

设置摄像机与移动机器人的坐标系相重合，进而定义在当前位姿处的机器人/摄像机坐标系为

其中

的原点在摄像机的光心位置处，也即车轮轴线中心点的正上方；

的z^c轴与摄像机光轴重合，同时也和机器人前进方向重合，x^c轴和机器人轮轴平行；y^c轴垂直于z^cx^c平面；定义

表示摄像机当前位姿坐标系；

以

表示未预先获取期望图的期望坐标系，为了便于控制开发，引入

表示比例意义下的临时坐标系；

第1.2，控制方案

根据坐标系定义，使坐标系

与坐标系

一致，首先利用视觉目标和平面运动约束来定义坐标系

然后利用当前和初始图像来计算相对于坐标系

的比例意义下的机器人位姿；

在阶段1中，首先为移动机器人的临时镇定设置比例意义下的期望位姿；然后通过极坐标系表示方法设计自适应调节控制器，以将机器人镇定至坐标系

处；接着，根据并发学习结构为特征高度辨识构建参数更新律；通过稳定性分析得以证明，在进行位姿调节时，能够同时确定特征高度；

在阶段2中，利用辨识特征高度来获取移动机器人的全状态信息；然后，采用基于极坐标的调节控制器来驱动机器人到

表示下的期望位姿处；

第2，构造系统模型

第2.1，基准坐标系的定义

基于视觉目标定义基准坐标系，其要求特征点

应该是共面的；在不失一般性的情况下，选择

来表示参数特征点；利用垂直于机器人运动平面且过点

的直线来定义坐标系

的y^b轴，并且设置y^b的方向与坐标系

的y^c轴的方向一致；其中，

的原点是y^b与z^cx^c平面的交点；

z^cx^c平面与特征平面的交线定义为x^b轴；定义z^b的方向与

相对于图像平面的方向相反；然后，通过标准右手规则定义x^b轴的方向和z^b轴；

基于坐标系

的定义，可以用极坐标表示移动机器人的当前位姿；

的原点和

的原点之间的距离标记为m^c(t)(为了方便表述，对某一符号X，若其表示变量，在正文中出现时用X(t)表示，在带编号公式中出现时略去时间符号用X表示，这两种情况下所表达的含义相同)；

在

下的旋转角度表示为θ^c(t)，即移动机器人的朝向角；以φ^c(t)表示z^b轴与从

到

的平移向量之间的角度，α^c(t)表示z^c轴与从

到

的平移向量之间的角度，因此α^c(t)＝φ^c(t)-θ^c(t)；因此，机器人的位姿可表示为(m^c(t)，α^c(t)，φ^c(t))；

第2.2，可测量信号

根据基准坐标系的定义，定义

在

和

下的坐标分别为：

利用移动机器人的平面运动约束，可知Y₁ ^b＝Y₁ ^c且为恒值；

此外，相对于

在F₀和F_c处捕获的图像分别为初始图像和当前图像；其中，

的当前图像坐标由

表示；

不失一般性，假设

在机器人运动平面的上方，即Y₁ ^c＜0；根据摄像机的成像原理，可得：

其中(u₀，v₀)为像素主点，f表示焦距，d_u，d_v为单个像素块分别在x^c，y^c方向上的长度，经过变换得到：

其中f_u，f_v是以像素大小表示的焦距；由于缺乏场景深度，因而无法估计出m^c(t)，只能估计出比例意义下的值：

根据

在当前图像上的坐标，通过摄像机的成像原理可以直接计算得到α^c(t)：

通过当前和初始图像，可以计算出

和

之间的摄影单应矩阵G(t)为：

其中

分别是相对于

和

的

的齐次图像坐标，λ_i(t)是与深度比有关的系数，并定义G(t)为：

其中定义

为以

表示的特征平面的正单位矢量；K是校准摄像机内参数；

和⁰T_c(t)分别是

相对于

的旋转矩阵和平移向量；

是从

的原点到沿着n^c(t)的特征平面的未知距离；然后，n^c(t)可以通过单应性分解算法来计算；

由于x^b坐标轴定义为特征点平面与机器人运动平面相交线方向，可知n^c(t)垂直于x^b坐标轴，并且可知n^c(t)在机器人运动平面z^cx^c的投影与z^b坐标轴方向一致；进而可以计算出机器人的方向角θ^c(t)为：

然后，得到φ^c(t)为：

φ^c＝α^c+θ^c (9)

因此，可以得到比例意义下的机器人当前位姿

第3，临时坐标系的镇定

为将机器人镇定到临时坐标系

处，需要在

下定义

处对应的机器人位姿；此外，由于场景深度的缺失，设置

处的位姿为比例形式：

其中

要注意的是，设置

意味着使机器人运动到与

高度的某一比例值处；此外，设置α^d1＝0，φ^d1＝0时表明机器人将正面面向特征平面；

在本阶段中，首先求取

与

之间的极坐标关系；之后根据移动机器人的运动学方程，设计基于极坐标的镇定控制律；并根据并发学习策略，设计能辨识未知特征点高度Y₁ ^c的自适应更新律；进而在将移动机器人从

镇定至

处的过程中，同时将特征点高度Y₁ ^c辨识出；

第3.1，

在

下的极坐标表示

设置完

的位姿后，可以直接计算出

在

下的方向角为：

θ^d1(t)＝φ^d1(t)-α^d1(t)；通过坐标变换律，利用

和

之间以及

与

之间的变换矩阵，可以得到

与

之间的变换矩阵

θ^d1c(t)表示

在

下的旋转角，φ^d1c(t)表示z^d1轴与从

到

的平移向量之间的角度，α^c(t)表示z^c轴与从

到

的平移向量之间的角度，

表示比例意义下的

原点与

原点之间的距离：

然后，根据如下公式，可以从

中提取θ^d1c(t)，

和φ^d1c(t)：

θ^d1c＝θ^c-θ^d1 (11)

并且可以计算出α^d1c(t)：α^d1c(t)＝φ^d1c(t)-θ^d1c(t)；

因此，可测得

在

下的比例意义下极坐标

将其设置为阶段一的系统误差；

第3.2，建立机器人运动学方程

在

下，利用极坐标表示的移动机器人当前位姿(m^d1c(t)，α^d1c(t)，φ^d1c(t))的运动学方程为：

其中v_r(t)和ω_r(t)分别代表机器人的线速度和角速度；

由于机器人位姿只能按比例的方式进行测量，所以可以在式(10)带入式(14)之后，得到移动机器人模型在比例意义下的运动学方程为：

易知，当

收敛至零时，移动机器人到达临时期望位姿

处；

第3.3，自适应控制律设计

为了实现位姿镇定的目标，通过基于李雅普诺夫的控制设计方法构建移动机器人的线速度和角速度如下：

其中k_m，k_φ，

为正控制增益，

表示特征高度Y₁ ^c(t)的估值；由于sinα^d1c(t)/α^d1c(t)是有界的，因此没有奇异点；

根据并发学习方法，设计自适应更新律为：

其中

为更新增益；在式(18)中，

是一个正整数，表示控制系统启动阶段一之后的连续采样周期数，其中记录了系统数据，t_k∈[0，t]是每个采样周期对应的时间点；

应该注意的是，由于在自适应更新律的并发学习方法中用到了N个采样周期中记录的数据，所以当使用滤波器时就可以得到

的精确估值；

投影函数Proj{χ}定义为：

其中

是Y₁ ^c的负上限；

首先，选取

的初值应小于

然后，从式(19)可知

最后，可以得出结论：

其中

表示为深度估计误差：

因此，可知当

趋于零时，成功识别特征高度；

当满足如下条件时，控制律式(16)和式(17)与参数更新律式(18)一起将机器人镇定到临时期望位姿：

第4，期望位姿的镇定

在第一阶段后，移动机器人到达临时位姿

处，并且同时辨识特征高度Y₁ ^c；因此，根据式(4)，式(5)和式(9)可以得到移动机器人的全状态信息为：

(m^c(t)，α^c(t)，φ^c(t))；

对于实际使用中，在笛卡尔坐标系下相对于

设置

的期望位姿为(^bT_d2z，^bT_d2x，θ^d2)，其中^bT_d2z和^bT_d2x分别表示在

下的

原点的z轴和x轴坐标；

不失一般性，在此阶段中采用了基于极坐标的控制方法；其中，由(m^d2，α^d2，φ^d2)表示

在

下的极坐标，并根据如下方式从(^bT_d2z，^bT_d2x，θ^d2)中获得：

此外，与第3.2中的方法类似，(m^d2c(t)，α^d2c(t)，φ^d2c(t))表示

在

下的极坐标；类似于式(11)、式(25)和式(26)，将其设置为阶段二的系统误差；然后，根据如下公式，可以从(m^c(t)，α^c(t)，φ^c(t))和(m^d2，α^d2，φ^d2)中得到(m^d2c(t)，α^d2c(t)，φ^d2c(t))：

θ^d2c＝θ^c-θ^d2 (24)

并且可以计算出α^d2c(t)：α^d2c(t)＝φ^d2c(t)-θ^d2c(t)；

与式(14)类似，在

下，移动机器人当前位姿(m^d2c(t)，α^d2c(t)，φ^d2c(t))的运动学方程为：

并利用如下控制律将机器人镇定到期望位姿

处：

v_r＝k_mm^d2ccosα^d2c (28)

其中系统误差(m^d2c(t)，α^d2c(t)，φ^d2c(t))同时收敛至零。

Images