CN105824239B - 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法 - Google Patents

带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法 Download PDF

Info

Publication number
CN105824239B
CN105824239B CN201610181378.5A CN201610181378A CN105824239B CN 105824239 B CN105824239 B CN 105824239B CN 201610181378 A CN201610181378 A CN 201610181378A CN 105824239 B CN105824239 B CN 105824239B
Authority
CN
China
Prior art keywords
fixation disparity
target velocity
eye movement
target
tracking eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610181378.5A
Other languages
English (en)
Other versions
CN105824239A (zh
Inventor
马昕
张梦华
徐衍亮
宋锐
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201610181378.5A priority Critical patent/CN105824239B/zh
Publication of CN105824239A publication Critical patent/CN105824239A/zh
Application granted granted Critical
Publication of CN105824239B publication Critical patent/CN105824239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/041Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a variable is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Eye Examination Apparatus (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法,定义注视差异为目标速度与眼球速度的差值,设定注视差异的最大允许值,以注视差异最小为控制目标,得到目标速度的预测值;根据目标速度预测值后控制眼球产生相同的速度。本发明能确保整个跟踪过程中,注视差异始终在允许的范围内,并最终收敛于0,很好地解决了现有平滑追踪眼动控制方法不能分析暂态控制性能的不足。

Description

带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法
技术领域
本发明涉及平滑追踪眼动技术领域,尤其涉及一种带有注视差异约束的平滑追踪眼动自适应跟踪控制器及控制方法。
背景技术
平滑追踪眼动作为五大眼动行为之一,在临床上具有十分重要的价值,因此国内外众多学者对其进行了大量的研究。平滑追踪眼动的目的是将缓慢运动的物体保持在中央窝区域,使得移动物体速度与眼球速度的差值即注视差异最小。一旦眼球速度追赶上移动物体的速度,注视差异即降为0。在平滑追踪眼动过程中不仅需要预测物体的运动速度和方向,还需要调控眼动的速度和幅值从而保证运动物体位于视网膜的中央窝处,保持眼动与目标运动的同步性。在对哺乳类动物平滑追踪眼动的研究中,通常用平滑追踪增益(SPG)即眼球速度与移动物体目标速度的比值来评估眼球跟踪系统的性能。实验结果表明,人类和猴子对匀速运动或者正弦运动的物体进行跟踪时,SPG近似为1。但是,由于图像处理、信号传递以及运动执行机构存在一定的时间延迟(80-130ms),仅通过简单的视觉负反馈是无法得到近似为1的SPG的。
如果目标速度是可预测的,则可以降低甚至消除视觉延时。实验结果表明,平滑追踪系统是可以预测目标动态的。跟踪重复性运动时,眼球可及时甚至有些超前地转换方向,这个研究第一次提供证据证明平滑追踪眼球运动具有预测机制。随后,眼球的预测跟踪控制问题引起了广泛的关注。
Shibata等人将一个递归神经网络(RNN)映射到MST区域中,以达到预测的目的。在预测的过程中采用最小二乘法,通过上一时刻目标的速度和位置信息预测出当前时刻的速度,不过该模型无法实现正弦运动的零延时跟踪。
Zambrano等人在Shibata的模型上,添加了与目标动态模型参数相关的基于内存的内部模型。利用神经网络的方法将运动形式与收敛系数对应起来,当相同或相近的运动形式再次出现时,可以直接调用已经存储的收敛系数,加快收敛速度。Hayhoe等人认为在模型中加入一个内部记忆模块是十分有必要的,这种模块不仅可以对目标运动进行预测,同时对人体头眼协调及身体躯体的协调运动有一定的作用。Orban de Xivry等人提出了基于两个卡尔曼滤波器(一个处理视觉信息,一个保持目标动态的内部储存)的模型,此模型学习并提升了目标轨迹的内部估计。以上各个模型均可预测目标速度的未来值,但需要目标动态的先验知识。
从神经生理学的角度来看,注视差异是受约束的。也就是说,在平滑追踪眼动过程中,注视差异应保持在特定的范围内。据我们所知,现有的所有针对平滑追踪眼动的控制方法仅能保证闭环系统的注视差异渐近收敛,而无法保证注视差异的变化范围。然而,如果能保证注视差异在平滑追踪眼动过程中始终在一个已知/设定的范围内(即暂态跟踪性能已知),并收敛于0,则具有非常重要的神经生理学意义。另一方面,以上所有控制方法要求系统参数完全已知,而在实际中想要获得眼球系统参数是非常困难的。并且,已有控制方法仅可跟踪匀速、正弦等周期运动。
发明内容
基于上述问题,针对平滑追踪眼动系统,本发明提出一种带有注视差异约束的平滑追踪眼动自适应跟踪控制器及控制方法。该方法能精确地跟踪任意运动轨迹的物体;此外,该方法能保证目标速度与眼球速度之间的误差即注视差异始终保持在预先设定的范围内,并最终收敛于0。
为了实现上述目的,本发明采用如下技术方案:
带注视差异约束的平滑追踪眼动自适应跟踪控制器,包括:
定义注视差异为目标速度与眼球速度的差值,设定注视差异的最大允许值p,以注视差异最小为控制目标,得到目标速度的预测值为:
其中,w(t)=[w1(t) w2(t) w3(t)]T为系统参数估计向量,为眼球目标状态估计向量,为目标位置估计值,为目标速度估计值,为目标加速度估计值;Δ为时间延迟。
进一步地,所述系统参数估计向量w(t)的更新率为:
其中,λ=diag(λ113)为正定对角矩阵,为正的控制增益,为注视差异的最大允许值。
带注视差异约束的平滑追踪眼动自适应跟踪控制器的控制方法,包括:
(1)定义注视差异为目标速度与眼球速度的差值;
(2)设定注视差异的约束条件,以注视差异最小为平滑追踪眼动的控制目标构建控制函数;
(3)假设眼球速度与目标预测速度相等,根据注视差异得到目标速度的估计值;
(4)在注视差异满足约束条件的情况下,根据所述目标速度的估计值得到目标位置估计值以及目标速度的预测值;
(5)眼球速度等于目标速度的预测值,得到目标速度预测值后控制眼球产生相同的速度。
进一步地,所述步骤(2)中注视差异的约束条件具体为:
其中,为注视差异,为注视差异的最大允许值。
进一步地,所述步骤(2)中控制函数具体为:注视差异的极限值为0。
进一步地,所述步骤(3)中目标速度的估计值为目标预测速度与注视差异的和。
进一步地,所述步骤(4)中,对目标速度的估计值关于时间积分得到目标位置估计值。
进一步地,所述步骤(4)中,对目标速度的估计值关于时间求导得到目标加速度估计值。
本发明的有益效果是:
本发明方法把平滑追踪眼动系统的镇定问题转化为目标轨迹的跟踪控制问题。
本发明控制方法能确保整个跟踪过程中,注视差异始终在允许的范围内,并最终收敛于0,很好地解决了现有平滑追踪眼动控制方法不能分析暂态控制性能的不足。借助Lyapunov方法对闭环系统信号的有界性与收敛性进行了分析。数值仿真结果表明所提控制方法针对不同目标轨迹具有良好的跟踪性能。
附图说明
图1为本发明控制方法示意图;
图2(a)为本发明第一组实验第1种情况下眼球速度、目标速度以及注视差异示意图;
图2(b)为本发明第一组实验第1种情况下参数估计示意图;
图3(a)为本发明第一组实验第2种情况下眼球速度、目标速度以及注视差异示意图;
图3(b)为本发明第一组实验第2种情况下参数估计示意图;
图4(a)为本发明第一组实验第3种情况下眼球速度、目标速度以及注视差异示意图;
图4(b)为本发明第一组实验第3种情况下参数估计示意图;
图5(a)为本发明第一组实验第4种情况下眼球速度、目标速度以及注视差异示意图;
图5(b)为本发明第一组实验第4种情况下参数估计示意图;
图6(a)为本发明第二组实验第1种情况下眼球速度、目标速度以及注视差异示意图;
图6(b)为本发明第二组实验第1种情况下参数估计示意图;
图7(a)为本发明第二组实验第2种情况下眼球速度、目标速度以及注视差异示意图;
图7(b)为本发明第二组实验第2种情况下参数估计示意图;
图8(a)为本发明第二组实验第3种情况下眼球速度、目标速度以及注视差异示意图;
图8(b)为本发明第二组实验第3种情况下参数估计示意图;
图9(a)为本发明第二组实验第4种情况下眼球速度、目标速度以及注视差异示意图;
图9(b)为本发明第二组实验第4种情况下参数估计示意图。
具体实施方式:
下面结合附图与实施例对本发明做进一步说明:
1、现有的基于最小二乘法的平滑追踪眼动模型中主要包含了两个模块:1)将一个神经网络模型(RNN)映射到内侧颞叶上部MST区域,根据目标的运动信息来对目标的速度进行预测;2)将逆动力学控制器(IDC)映射到脑干和小脑中,用来产生眼球速度。
注视差异定义为目标速度与眼球速度的差值,即:
其中,为目标速度,为眼球速度,为注视差异。
平滑追踪眼动的控制目标是使目标速度与眼球速度的差值即注视差异最小,可写为:
除了控制目标(2)之外,从神经生理学的角度,还应满足以下要求:
其中,为注视差异的最大允许值。
小脑和脑干具有眼球系统逆动力学控制器的作用。假设逆动力学控制器可完全消除眼球动力学方程,则由图1可得:
其中,表示预测速度。
目标速度估计值可写为:
其中,为目标速度估计值,Δ表示视觉延时。
对(5)式关于时间积分可得目标位置估计:
其中,为目标位置估计值。
对(5)式关于时间求导可得目标加速度估计值为:
将目标速度的预测值用下式表示:
其中w(t)=[w1(t) w2(t) w3(t)]T为系统参数估计向量,为眼球目标状态估计向量。w(t)的更新率为:
其中,λ=diag(λ113)为正定对角矩阵,为正的控制增益,为注视差异的最大允许值。
2、稳定性分析
定理1:自适应控制器(8)-(9)能保证注视差异始终在允许的范围内,并且保证眼球速度渐近跟踪上目标速度,即注视差异渐近收敛于0:
证明:选择Lyapunov候选函数为:
其中,为正的控制增益。为引入的“势”函数项。
对(12)式关于时间求导,可得:
将(9)式代入(13)式可得:
这表明此闭环系统是Lyapunov稳定的。当且仅当时,那么由Lyapunov稳定性定理可得
由(14)式可知,V(t)是非增的,即
接下来证明的有界性。为此,考虑如下两种情形:
情形1:在这种情况下,由可得
情形2:在这种情况下,
综合这两种情况可知:
为不失一般性,令假设在整个控制过程中,那么这与(17)式的结论相矛盾。所以假设不成立。那么则有:
备注1:由于预测器的输入为因此对(9)式做进一步的修改:
备注2:当初始目标速度不为0时,(18)式应改为:
所提控制方法的结构框图如图1所示。
3、仿真结果
为验证所提控制方法的跟踪性能,进行两组仿真实验。更准确地说,在第一组仿真实验中,对几组0初始目标估计进行跟踪。随后,在第二组仿真实验中,验证所提控制方法对非0初始目标轨迹的跟踪性能。
仿真环境为Matlab/Simulink,采样周期设置为0.01s。在仿真中,注视差异的最大允许值设置为
p=5°/s (21)
视觉延时设置为:
Δ=100ms (22)
经过充分调试后,控制增益选取如下:
λ1=0.2,λ2=12,λ3=5,β=1,γ=0.01 (23)
系统参数估计向量w(t)的初始值设置为:
w(0)=[0 0.8 0]T (24)
接下来进行两组仿真实验。第一组仿真实验中,将验证所提自适应跟踪控制方法针对0初始目标轨迹的跟踪性能。随后,所提自适应跟踪控制方法针对非0初始目标轨迹的跟踪控制性能在第二组仿真实验中进行了验证。
第一组实验:针对0初始目标速度轨迹,验证了所提带有注视差异约束的自适应跟踪控制器的跟踪性能。为此,考虑如下四种目标轨迹:
情况1:
情况2:
情况3:
情况4:
仿真结果如图2(a)-图5(b)所示。由图2(a)、图3(a)、图4(a)、图5(a)可知,注视差异始终保持在5°/s以内,并最终收敛于0。眼球速度在1s内即可跟踪上目标速度,此时注视差异降为0。在整个平滑追踪眼动过程中,注视差异被控制在很小的范围内。图2(b)、图3(b)、图4(b)、图5(b)为系统未知系统参数的估计结果,系统参数估计向量在这四种情况下,2s内收敛于稳定值。
第二组仿真:本组仿真进一步验证了所提控制方法针对非0初始目标速度的跟踪性能。为此,考虑如下四种情况:
情况1:
情况2:
情况3:
情况4:
仿真时间从100ms开始,控制增益与第一组仿真实验完全一致。仿真结果如图6(a)-9(b)所示,给出了这四种情况下眼球速度/目标速度、注视差异、参数估计随时间变化的曲线。由图可知,即使在目标速度的初始值不为0的情况下,眼球速度轨迹仍可迅速跟踪上目标速度轨迹,并且在整个平滑追踪眼动过程中,注视差异始终在允许的范围内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.带注视差异约束的平滑追踪眼动自适应跟踪控制器,其特征是,包括:
定义注视差异为目标速度与眼球速度的差值,设定注视差异的最大允许值p,以注视差异最小为控制目标,得到目标速度的预测值为:
其中,w(t)=[w1(t) w2(t) w3(t)]T为系统参数估计向量,为眼球目标状态估计向量,为目标位置估计值,为目标速度估计值,为目标加速度估计值;Δ为时间延时;
所述系统参数估计向量w(t)的更新率为:
其中,λ=diag(λ113)为正定对角矩阵,β,为正的控制增益,为注视差异的最大允许值。
2.一种如权利要求1所述的带注视差异约束的平滑追踪眼动自适应跟踪控制器的控制方法,其特征是,包括:
(1)定义注视差异为目标速度与眼球速度的差值;
(2)设定注视差异的约束条件,以注视差异最小为平滑追踪眼动的控制目标构建控制函数;
(3)假设眼球速度与目标预测速度相等,根据注视差异得到目标速度的估计值;
(4)在注视差异满足约束条件的情况下,根据所述目标速度的估计值得到目标位置估计值以及目标速度的预测值;
(5)眼球速度等于目标速度的预测值,得到目标速度预测值后控制眼球产生相同的速度。
3.如权利要求2所述的带注视差异约束的平滑追踪眼动自适应跟踪控制器的控制方法,其特征是,所述步骤(2)中注视差异的约束条件具体为:
其中,为注视差异,为注视差异的最大允许值。
4.如权利要求2所述的带注视差异约束的平滑追踪眼动自适应跟踪控制器的控制方法,其特征是,所述步骤(2)中控制函数具体为:注视差异的极限值为0。
5.如权利要求2所述的带注视差异约束的平滑追踪眼动自适应跟踪控制器的控制方法,其特征是,所述步骤(3)中目标速度的估计值为目标预测速度与注视差异的和。
6.如权利要求2所述的带注视差异约束的平滑追踪眼动自适应跟踪控制器的控制方法,其特征是,所述步骤(4)中,对目标速度的估计值关于时间积分得到目标位置估计值。
7.如权利要求2所述的带注视差异约束的平滑追踪眼动自适应跟踪控制器的控制方法,其特征是,所述步骤(4)中,对目标速度的估计值关于时间求导得到目标加速度估计值。
CN201610181378.5A 2016-03-25 2016-03-25 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法 Active CN105824239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610181378.5A CN105824239B (zh) 2016-03-25 2016-03-25 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610181378.5A CN105824239B (zh) 2016-03-25 2016-03-25 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法

Publications (2)

Publication Number Publication Date
CN105824239A CN105824239A (zh) 2016-08-03
CN105824239B true CN105824239B (zh) 2018-09-25

Family

ID=56523753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610181378.5A Active CN105824239B (zh) 2016-03-25 2016-03-25 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法

Country Status (1)

Country Link
CN (1) CN105824239B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106044567B (zh) * 2016-08-05 2017-07-21 山东大学 桥式吊车局部饱和自适应控制器、控制系统及控制方法
CN106548475B (zh) * 2016-11-18 2019-03-26 西北工业大学 一种适用于空间非合作自旋目标运动轨迹的预测方法
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5942954A (en) * 1997-08-22 1999-08-24 Massachusetts Institute Of Technology Apparatus and method for measuring vestibular ocular reflex function
CN1219397C (zh) * 2002-10-22 2005-09-14 张晓林 仿生型自动视觉和视线控制系统及方法
CN101729783A (zh) * 2009-12-22 2010-06-09 上海大学 基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法
CN102915044A (zh) * 2012-10-25 2013-02-06 上海大学 一种基于仿生机理的机器人头眼协调运动控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5942954A (en) * 1997-08-22 1999-08-24 Massachusetts Institute Of Technology Apparatus and method for measuring vestibular ocular reflex function
CN1219397C (zh) * 2002-10-22 2005-09-14 张晓林 仿生型自动视觉和视线控制系统及方法
CN101729783A (zh) * 2009-12-22 2010-06-09 上海大学 基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法
CN102915044A (zh) * 2012-10-25 2013-02-06 上海大学 一种基于仿生机理的机器人头眼协调运动控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Biomemitic Oculomotor Control;Tomohiro Shibata;《Adaptive Behavior》;MIT Press;20010331;第9卷(第3期);第193-195页 *

Also Published As

Publication number Publication date
CN105824239A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN105824239B (zh) 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法
CN106950841B (zh) 与模型无关的pd-smc仿生眼运动控制方法
CN106054599B (zh) 一种主从式水下机械臂的延时控制方法
Rebula et al. Learning capture points for humanoid push recovery
CN102915044B (zh) 一种基于仿生机理的机器人头眼协调运动控制方法
Qi et al. Three-dimensional formation control based on nonlinear small gain method for multiple underactuated underwater vehicles
CN102194234A (zh) 一种基于序列粒子群优化的图像跟踪方法
Sun et al. Cooperative strategy for pursuit-evasion problem with collision avoidance
Zhang et al. H∞ consensus tracking of recovery system for multiple unmanned underwater vehicles with switching networks and disturbances
CN102323818A (zh) 一种仿人机器人斜坡步行模式的在线生成的方法
Yuan-bin Genetic algorithm’s application for optimization of PID parameters in dynamic positioning vessel
Wang et al. Output-feedback control for cooperative diving of saucer-type underwater gliders based on a fuzzy observer and event-triggered communication
Maeda et al. Phase portraits as movement primitives for fast humanoid robot control
CN105700356B (zh) 基于鲁棒约束模型预测控制的uuv对线控位回收方法
CN116834014A (zh) 一种空间多臂机器人捕获非合作目标的智能协同控制方法和系统
CN106658537A (zh) 构建无人机自组织网络节点的三维时空相关群组移动模型的方法及系统
Liu et al. FPGA implementation of family service robot based on neural network PID motion control system
Yang et al. Yaw moment compensation for humanoid robot via arms swinging
Wang et al. Hand movement prediction based collision-free human-robot interaction
Kröger et al. JediBot–Experiments in human-robot sword-fighting
Gao et al. The study for path following of robot fish based on ADRC
CN110703792A (zh) 基于增强学习的水下机器人姿态控制方法
Fan et al. Event-triggered sliding-mode control for a discrete-time muscle-driven musculoskeletal system
Lijuan et al. Multi-robot formation control and simulation
Liu et al. A reinforcement learning method for humanoid robot walking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant