CN106155113A

CN106155113A - 仿生眼动眼控制系统及仿生眼动眼控制方法

Info

Publication number: CN106155113A
Application number: CN201610751543.6A
Authority: CN
Inventors: 朱政; 邹伟; 王庆滨; 张峰
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2016-08-29
Filing date: 2016-08-29
Publication date: 2016-11-23
Anticipated expiration: 2036-08-29
Also published as: CN106155113B

Abstract

本发明公开了一种仿生眼动眼控制系统和仿生眼动眼控制方法。其中，该方法包括：将图像给定特征和反馈回来的图像特征相减，得到图像平面内的误差；再将图像平面内的误差与增益矩阵相乘，得到目标在图像平面内的变化速度；最后利用雅克比矩阵对目标在图像平面内的变化速度进行变换处理，得到第一至第四步进电机中任一步进电机的运动速度，从而通过第一至第四步进电机的运动速度的控制实现对仿生眼的控制，实现了稳定有效地模仿人眼实现扫视、平滑追踪和趋异运动的技术效果。

Description

仿生眼动眼控制系统及仿生眼动眼控制方法

技术领域

本发明实施例涉及仿生机器人控制技术领域，特别是涉及一种仿生眼动眼控制系统及仿生眼动眼控制方法。

背景技术

眼睛是人类获取外界信息最重要的感官，担负着人类80％左右的信息获取任务。经过千百万年的进化，人类的视觉系统已高度发达和完善，形成了极其精确和完备的机制，具备了适应内外环境变化的能力。因此，给机器人和机器视觉设备配备智能双眼，使其像人类一样感知和获取环境信息、快速准确地识别和跟踪目标，是很多国内外科研工作者目前正在致力于的研究方向之一。从生理学或者神经科学的角度看，研究者们提出了大量的眼部运动模型，然而，由于人类视觉系统和神经回路的复杂性，尚没有较好的模型可以重现视觉系统的运动机理，只能在一定程度上模拟眼的运动；此外，从神经通路推导出来的模型大多数是生理学实验或者仿真得到的，工程应用还有一定的困难。从控制的角度出发，也有许多研究者们在仿生眼平台上实现了各种眼部运动，然而，精度、速度、鲁棒性依然是普遍存在的问题。

有鉴于此，特提出本发明。

发明内容

为了解决上述问题，本发明的目的在于提供一种仿生眼动眼控制系统及仿生眼动眼控制方法，其能够稳定有效地模仿人眼实现扫视、平滑追踪和趋异运动。

为了达到上述目的，提供了以下技术方案：

一种仿生眼动眼控制系统，所述系统包括自由度双目运动机构，所述自由度双目运动机构包括：

第一部分，包括：

第一相机，用于采集第一图像；

第一步进电机，用于控制所述第一相机进行俯仰运动，且末端安装有记录所述第一步进电机位置的第一光电式旋转编码器；

第二步进电机，用于控制所述第一相机进行偏转运动，且末端安装有记录所述第二步进电机位置的第二光电式旋转编码器；

第二部分，包括：

第二相机，用于采集第二图像；

第三步进电机，用于控制所述第二相机进行俯仰运动，且末端安装有记录所述第三步进电机位置的第三光电式旋转编码器；

第四步进电机，用于控制所述第二相机进行偏转运动，且末端安装有记录所述第四步进电机位置的第四光电式旋转编码器。

为了达到上述目的，还提供了以下技术方案：

一种基于上述系统的仿生眼动眼控制方法，所述方法包括：

将图像给定特征和反馈回来的图像特征相减，得到图像平面内的误差；

将所述图像平面内的误差与增益矩阵相乘，得到目标在所述图像平面内的变化速度；

利用雅克比矩阵对所述目标在图像平面内的变化速度进行变换处理，得到所述第一至所述第四步进电机中任一步进电机的运动速度，从而通过所述第一至所述第四步进电机的所述运动速度的控制实现对仿生眼的控制。

进一步地，所述目标在所述图像平面内的变化速度根据以下方式确定：

根据以下公式确定所述目标在所述图像平面内的当前位置：

f＝F(c,t)

其中，所述c表示第一或第二相机位置；所述t表示所述目标的三维位置；所述F表示成像模型；所述f表示所述目标在所述图像平面内的当前位置；

控制目标是最小化目标当前成像位置f和期望成像位置f⁰的误差，即min||f⁰-f||；

通过立体视觉方法确定反映所述第一或所述第二相机速度和所述目标成像点变化速度之间关系的雅克比矩阵、反映所述目标三维空间速度和所述目标成像点变化速度之间关系的雅克比矩阵以及反映关节速度和所述第一或第二相机速度之间关系的雅克比矩阵；

通过卡尔曼滤波算法估计目标在三维空间的运动速度；

根据以下公式确定所述目标在所述图像平面内的变化速度：

\overset{\cdot}{f} = J_{c} \cdot \overset{\cdot}{c} + J_{t} \cdot \overset{\cdot}{t} = J_{c} \cdot {J_{c}}_{q} \cdot \overset{\cdot}{q} + J_{t} \cdot \overset{\cdot}{t}

其中，所述表示所述目标在所述图像平面内的变化速度；所述表示所述第一或所述第二相机的运动速度；所述表示所述目标在三维空间的运动速度；所述表示所述第一至所述第四步进电机中任一步进电机的运动速度；所述J_c表示所述反映所述第一或所述第二相机速度和所述目标成像点变化速度之间关系的雅克比矩阵；所述J_t表示所述反映所述目标三维空间速度和所述目标成像点变化速度之间关系的雅克比矩阵；所述^cJ_q表示所述反映关节速度和所述第一或第二相机速度之间关系的雅克比矩阵。

进一步地，所述第一至所述第四步进电机中任一步进电机的运动速度根据以下方式来确定：

通过视觉伺服子系统确定(J_c·^cJ_q)^-1·K·e；其中，所述K表示增益；

通过速度补偿子系统确定

根据以下公式确定所述第一至所述第四步进电机中任一步进电机的运动速度：

\overset{\cdot}{q} = {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot K \cdot e - {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot J_{t} \cdot \overset{\cdot}{t} .

进一步地，所述增益通过以下方式来确定：

k (e) = k_{1} \cdot e^{- k_{2} \cdot e} + k_{3}

其中，k₁＝k(0)-k(∞)，k₃＝k(∞)；

其中，所述k(e)表示增益函数，用以代替所述K；所述k(0)和所述k(∞)分别表示所述增益函数在零和无穷大时候的值；所述k′(0)表示所述k(0)的导数。

进一步地，所述任一步进电机的运动速度进一步根据以下方式来确定：

{\overset{\cdot}{q}}^{'} = \overset{\cdot}{q} - K \cdot J_{t = 0}^{- 1} \cdot e_{t = 0} \cdot e^{- λ t}

其中，所述t表示时间；所述λ表示常量；所述J＝J_c·^cJ_q；所述表示改进后所述任一步进电机的运动速度。

本发明实施例提供一种仿生眼动眼控制系统及仿生眼动眼控制方法。通过将图像给定特征和反馈回来的图像特征相减，得到图像平面内的误差；再将图像平面内的误差与增益矩阵相乘，得到目标在图像平面内的变化速度；最后利用雅克比矩阵对目标在图像平面内的变化速度进行变换处理，得到第一至第四步进电机中任一步进电机的运动速度，从而通过第一至第四步进电机的运动速度的控制实现对仿生眼的控制，进而能够稳定有效地模仿人眼实现扫视、平滑追踪和趋异运动。

附图说明

图1为根据本发明实施例的仿生眼动眼控制系统的结构示意图；

图2为根据本发明实施例的仿生眼动眼控制方法的流程示意图；

图3为根据本发明实施例的仿生眼动眼控制方法的工作示意图；

图4为根据本发明实施例的采用常数增益实现扫视运动的结果示意图；

图5为根据本发明实施例的采用自适应增益实现扫视运动的结果示意图；

图6为根据本发明实施例的未采用速度连续变化实现扫视运动的结果示意图；

图7为根据本发明实施例的采用速度连续变化实现扫视运动的结果示意图；

图8为根据本发明实施例的未采用速度补偿时实现平滑追踪运动的结果示意图；

图9为根据本发明实施例的采用速度补偿时实现平滑追踪运动的结果示意图；

图10为根据本发明实施例的趋异运动的结果示意图。

具体实施方式

下面结合附图具体实施例来对本发明进行详细说明。

在本文中，扫视运动是指目标不动而相机运动使得目标成像在左、右图像的中心；平滑追踪运动是指目标在三维空间连续运动，相机运动使得目标成像在左右图像的中心；趋异运动是指目标在深度方向上连续运动，相机运动使得目标成像在左右图像的中心。

为了能够稳定有效地模仿人眼实现扫视、平滑追踪和趋异运动，本发明实施例提供一种仿生眼动眼控制系统。如图1所示，该系统可以包括：自由度双目运动机构，其中，该自由度双目运动机构包括第一部分和第二部分；其中，第一部分包括第一相机2、第一步进电机1和第二步进电机3，第一相机2用于采集第一图像。第一步进电机1用于控制第一相机进行俯仰运动，且末端安装有记录第一步进电机位置的第一光电式旋转编码器。第二步进电机3用于控制第一相机进行偏转运动，且末端安装有记录第二步进电机位置的第二光电式旋转编码器。第二部分包括：第二相机5、第三步进电机4和第四步进电机6，第二相机5用于采集第二图像。第三步进电机4用于控制第二相机进行俯仰运动，且末端安装有记录第三步进电机位置的第三光电式旋转编码器。第四步进电机6用于控制相机进行偏转运动，且末端安装有记录第四步进电机位置的第四光电式旋转编码器。

基于上述仿生眼动眼控制系统实施例，本发明实施例还提供一种仿生眼动眼控制方法。如图2所示，该方法包括：

S200：将图像给定特征和反馈回来的图像特征相减得到图像平面内的误差；

S210：将图像平面内的误差与增益矩阵相乘得到目标在图像平面内的变化速度；

S220：利用雅克比矩阵对目标在图像平面内的变化速度进行变换处理，得到第一至第四步进电机中任一步进电机的运动速度，从而通过该任一步进电机的运动速度的控制实现对仿生眼的控制。

为了使电机控制更加稳定，本发明实施例可以将电机的速度反馈至电机的输入端。

本发明实施例的控制目标是最小化图像平面内的误差，即：

mine＝min||f⁰-f|| (1)

其中，f⁰和f分别表示目标在图像平面的期望位置和当前位置；e表示图像平面内的误差。

在上述公式(1)中，目标在图像平面的当前位置f可以通过以下公式确定：

f＝F(c,t)

其中，c表示相机位置；t表示目标的三维位置；F表示成像模型。

根据以下公式确定目标在图像平面内的变化速度：

\overset{\cdot}{f} = J_{c} \cdot \overset{\cdot}{c} + J_{t} \cdot \overset{\cdot}{t} = J_{c} \cdot {J_{c}}_{q} \cdot \overset{\cdot}{q} + J_{t} \cdot \overset{\cdot}{t} - - - (2)

其中，表示目标在图像平面内的变化速度；表示第一或第二相机的运动速度；表示目标在三维空间的运动速度；表示电机的运动速度；J_c表示反映相机速度和目标成像点变化速度之间关系的雅克比矩阵；J_t表示反映目标三维空间速度和目标成像点变化速度之间关系的雅克比矩阵；^cJ_q表示反映眼睛关节速度和相机速度之间关系的雅克比矩阵。

公式(2)也即基于图像的视觉伺服方法。上述目标在图像平面内的变化速度、相机的运动速度和目标在三维空间的运动速度以及电机的运动速度分别是对应位置的导数。上述J_c、J_t及^cJ_q三个雅克比矩阵可以通过机器人正向运动学习求得。J_c、J_t及^cJ_q三个雅克比矩阵时所需要的深度信息可以通过立体视觉方法恢复得到。目标在三维空间的运动速度可以通过卡尔曼滤波算法估计得到。

在上述公式(2)中，根据以下公式确定第一至第四步进电机中任一步进电机的运动速度：

\overset{\cdot}{q} = {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot K \cdot e - {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot J_{t} \cdot \overset{\cdot}{t} - - - (3)

其中，K表示增益，其为正定的比例矩阵。

公式(3)中的(J_c·^cJ_q)^-1·K·e部分可以通过视觉伺服子系统实现，用来消除目标在当前图像中的位置和在图像中期望位置的误差；公式(3)中的部分可以通过速度补偿子系统来实现，用来消除目标运动所带来的跟踪误差。

如果公式(3)中的增益K为常数，当图像平面内的误差(即目标在图像平面当前位置和期望位置的误差)比较小的时候，电机的运动速度也比较小，即控制律的收敛速度慢。所以，本发明实施例采用自适应的方式生成增益，如下式所示：

k (e) = k_{1} \cdot e^{- k_{2} \cdot e} + k_{3} - - - (4)

k₁＝k(0)-k(∞)

k_{2} = - \frac{k^{'} (0)}{k (0) - k (\infty)}

k₃＝k(∞)

其中，k(e)表示增益函数，其代替前述K；e表示图像平面内的误差；k(0)和k(∞)分别表示增益函数在零和无穷大时候的值；k′(0)表示k(0)的导数。

本发明实施例采取的自适应生成增益的方式针对控制过程中误差呈指数速度下降的特点，增益自适应地呈指数增加可以加快控制系统的收敛速度。

当仿生眼动眼控制系统启动时，仿生眼动眼控制系统的关节速度会从0变为某一比较大的确定值，速度的突然变化会引起自由度双目运动机构的不稳定，为了避免这种情况，本发明实施例根据以下公式来确定改进后的第一至第四步进电机中任一步进电机的运动速度：

{\overset{\cdot}{q}}^{'} = \overset{\cdot}{q} - K \cdot J_{t = 0}^{- 1} \cdot e_{t = 0} \cdot e^{- λ t} - - - (5)

\overset{\cdot}{q} = {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot K \cdot e - {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot J_{t} \cdot \overset{\cdot}{t}

其中，t表示时间；λ表示常量；J＝J_c·^cJ_q。

上述公式(5)中的部分可以通过任务序列化方法将当前电机的运动速度划分为一系列的序列任务来执行而得到。

通过公式(5)可以保证关节速度连续变化，避免了仿生眼动眼控制系统启动时速度突然变化引起自由度运动机构的不稳定。

图3示例性地示出了仿生眼动眼控制方法的工作示意图。该仿生眼动眼控制方法包括左半部分和右半部分。左半部分输入左图像给定特征，右半部分输入右图像给定特征。

以上所述基于速度补偿的仿生眼动眼控制方法，能够稳定有效地模仿人眼实现扫视、平滑追踪和趋异运动。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

下面对本发明系统实施例和方法实施例进行验证。

图4示例性地示出了采用常数增益实现扫视运动的结果，其示出了目标分别在左右图像平面内x、y方向距离期望位置的误差曲线。图5示例性地示出了采用自适应增益实现扫视运动的结果，其示出了目标分别在左右图像平面内x、y方向距离期望位置的误差曲线。通过图4和图5相比，可知采用自适应增益可以加快控制方法实施例的收敛速度，系统的收敛时间从2800毫秒减少到了1200毫秒。

图6示例性地示出了未采用速度连续变化实现扫视运动的结果，其示出了系统四个关节运动的角速度曲线。图7示例性地示出了采用速度连续变化实现扫视运动的结果，其示出了系统四个关节运动的角速度曲线。通过图6和图7相比，可知采用速度连续变化算法的控制方法实施例能够保证关节速度连续变化，避免了系统启动时速度突然变化引起自由度双目运动机构的不稳定。

图8示例性地示出了未采用速度补偿时实现平滑追踪运动的结果，其示出了目标分别在左右图像平面内x、y方向距离期望位置的误差曲线。图9示例性地示出了采用速度补偿时实现平滑追踪运动的结果，其示出了目标分别在左右图像平面内x、y方向距离期望位置的误差曲线。通过图8和图9相比，可知采用速度补偿时，上述控制方法实施例可以减小平滑追踪过程中的误差，从而更有效地实现平滑追踪运动。

图10示例性地示出了实现趋异运动的结果，其示出了目标分别在左、右图像平面内x、y方向距离期望位置的误差曲线。可见，本发明方法实施例可以有效地实现趋异运动。

本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的保护范围。

Claims

1.一种仿生眼动眼控制系统，其特征在于，所述系统包括自由度双目运动机构，所述自由度双目运动机构包括：

第一部分，包括：

第一相机，用于采集第一图像；

第二部分，包括：

第二相机，用于采集第二图像；

2.一种基于如权利要求1所述系统的仿生眼动眼控制方法，其特征在于，所述方法包括：

利用雅克比矩阵对所述目标在图像平面内的变化速度进行变换处理，得到所述第一至所述第四步进电机中任一步进电机的运动速度，从而通过所述任一步进电机的所述运动速度的控制实现对仿生眼的控制。

3.根据权利要求2所述的方法，其特征在于，所述目标在所述图像平面内的变化速度根据以下方式确定：

根据以下公式确定所述目标在所述图像平面内的当前位置：

f＝F(c,t)

通过卡尔曼滤波算法估计目标在三维空间的运动速度；

根据以下公式确定所述目标在所述图像平面内的变化速度：

\overset{\cdot}{f} = J_{c} \cdot \overset{\cdot}{c} + J_{t} \cdot \overset{\cdot}{t} = J_{c} \cdot {J_{c}}_{q} \cdot \overset{\cdot}{q} + J_{c} \cdot \overset{\cdot}{t}

其中，所述表示所述目标在所述图像平面内的变化速度；所述表示所述第一或所述第二相机的运动速度；所述表示所述目标在三维空间的运动速度；所述表示所述第一至所述第四步进电机中任一步进电机的运动速度；所述J_c表示所述反映所述第一或所述第二相机速度和所述目标成像点变化速度之间关系的雅克比矩阵；所述J_t表示所述反映所述目标三维空间速度和所述目标成像点变化速度之间关系的雅克比矩阵；所述^cJ_q表示所述反映眼睛关节速度和所述第一或第二相机速度之间关系的雅克比矩阵。

4.根据权利要求3所述的方法，其特征在于，所述第一至所述第四步进电机中任一步进电机的运动速度根据以下方式来确定：

通过速度补偿子系统确定

\overset{\cdot}{q} = {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot K \cdot e - {(J_{c} \cdot {J_{c}}_{q})}^{- 1} \cdot J_{c} \cdot \overset{\cdot}{t} .

5.根据权利要求4所述的方法，其特征在于，所述增益通过以下方式来确定：

k (e) = k_{1} \cdot e^{- k_{2} \cdot e} + k_{3}

其中，k₁＝k(0)-k(∞)， k₃＝k(∞)；

6.根据权利要求4所述的方法，其特征在于，所述任一步进电机的运动速度进一步根据以下方式来确定：

{\overset{\cdot}{q}}^{'} = \overset{\cdot}{q} - K \cdot J_{t = 0}^{- 1} \cdot e_{t = 0} \cdot e^{- λ t}