CN102915044B - 一种基于仿生机理的机器人头眼协调运动控制方法 - Google Patents

一种基于仿生机理的机器人头眼协调运动控制方法 Download PDF

Info

Publication number
CN102915044B
CN102915044B CN201210411759.XA CN201210411759A CN102915044B CN 102915044 B CN102915044 B CN 102915044B CN 201210411759 A CN201210411759 A CN 201210411759A CN 102915044 B CN102915044 B CN 102915044B
Authority
CN
China
Prior art keywords
head
angle
deflection angle
rotation
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210411759.XA
Other languages
English (en)
Other versions
CN102915044A (zh
Inventor
谢少荣
李树平
程军
李恒宇
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinghai Intelligent Equipment Co ltd
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201210411759.XA priority Critical patent/CN102915044B/zh
Publication of CN102915044A publication Critical patent/CN102915044A/zh
Application granted granted Critical
Publication of CN102915044B publication Critical patent/CN102915044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

本发明属于机器人仿生技术领域,涉及一种基于仿生机理的机器人头眼协调运动控制方法。该方法中头眼的转动角度分别由各自的数学模型控制,眼球转动角度大小由双目眼球运动控制系统模型控制,头颈转动角度大小由头部运动控制系统模型控制,根据偏转角的情况动态调整头眼旋转角大小。采用本发明可以扩大机器人的视觉范围,大范围的注视或跟踪目标;可以增强人机交互的自然性,例如与机器人谈话过程中的视线接触、感情交流等,为人形机器人头眼协调运动提供参考。

Description

一种基于仿生机理的机器人头眼协调运动控制方法
技术领域
本发明涉及一种机器人仿生领域,具体地说是涉及一种基于人眼生理学和解剖学原理,并结合人类头部运动行为特征的机器人头眼协调运动控制方法。
背景技术
目前为止,虽有各类智能型头眼协调机器人纷纷面世,但其头眼协调运动控制机能还相对较弱。大多数从立体视觉的观点出发,其控制策略是通过捕捉空间对象的三维位姿得到头眼的期望运动转角,实现头眼的协调运动。例如有文章报道,其题目为:Robotheadmotioncontrolwithanemphasisonrealismofneck–eyecoordinationduringobjecttracking(该文作者是:RajruangrabinJandPopaDO.发表于2011年出版的期刊:JournalofIntelligent&RoboticSystems)和文章仿人型机器人的头眼协调运动控制研究(该文作者是:顾立忠和苏剑波,发表于2008年出版的期刊:机器人)。然而,这类方法的头眼运动控制需要完成从立体视觉空间到三维作业空间极其复杂的坐标变换,并且每次作业前需要完成十分繁琐的头眼校正。也有运用光流法即通过光通量浓淡及距离图像信息计算被注视对象的光通量能量函数等来控制头眼协调运动的。例如有文章报道,其题目为:Visualbehaviorsforreal-timecontrolofabinocularactivevisionsystem(该文作者是:J.Batista,P.PeixotoandH.Araújo,发表于1997年出版的期刊:ControlEngineeringPractice)。但是,这种方法极易受到来自环境的干扰,并且光通量能量函数的计算算法十分复杂,很难在动态环境下实时地应用。
发明内容
鉴于以上所述现有技术存在的问题和不足,本发明为解决存在的技术问题提供一种基于仿生机理的机器人头眼协调运动控制方法,该方法基于人眼生理学和解剖学原理,并结合人类头部运动行为特征,来模拟人类的头眼协调运动。
为了解决上述问题,本发明采用下述技术方案:
一种基于仿生机理的头眼协调控制方法,其特征在于该方法中头眼的转动角度分别由各自的数学模型控制,眼球转动角度大小由双目眼球运动控制系统模型控制,头颈转动角度大小由头部运动控制系统模型控制,根据偏转角的情况动态调整头眼旋转角大小。具体步骤如下(参照图1头眼协调运动控制流程):
1.头眼协调仿生视觉系统选取目标物的特征点作为注视点,双眼聚焦在注视点上。
2.当目标点脱离图像平面中心位置时,头眼协调系统实时检测视线偏转角大小并将其作为比较量输入到视线偏转角比较程序。
3.如果水平视线偏转角小于20°或垂直视线偏转角小于10°,则进入眼球平滑追踪运动控制系统。
4.如果水平视线偏转角大于20°或垂直视线偏转角大于10°,则进入眼球与头部运动控制系统,头部转动角度由头部运动模型控制,眼球转动角度由前庭动眼反射模型控制。之后返回步骤2。
以球体作为目标物对上述步骤进行说明。
上述步骤1中所述的目标物的特征点选取球体的质心。
上述步骤2中所述的目标点选取:球体在图像平面上的投影是一个圆,取投影圆的圆心作为目标点。
上述步骤2中所述的视线偏转角包括水平视线偏转角与垂直视线偏转角。以水平视线偏转角为例来说明,如图2所示,其中表示头部水平旋转时的水平视线偏转角,表示头部水平旋转时的头位转动角。
上述步骤3中所述双目眼球平滑追踪运动控制系统数学模型为:
其中,是目标绕脖子的旋转角度,是头部旋转角度,是眼球的旋转角度,是前庭神经的时间常数,根据生理学实验=16秒,是积分器的时间常数,根据生理学实验=25秒,是视网膜滑动位移,下标分别代表左和右,根据生理学实验
上述步骤4中所述双目眼球前庭动眼反射运动控制系统数学模型同步骤3中模型,上述模型可以实现双目眼球平滑追踪运动、前庭动眼反射运动以及复合运动。
上述步骤4中所述头部运动控制系统数学模型为:
其中代表当头部垂直旋转时的头位转动角与视线偏转角。
本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著技术进步:机器人运动过程中经常受非结构与颠簸环境的影响(例如飞行机器人受机体振动和自身姿态变化影响;移动机器人受不平坦地面影响;水下机器人受浪涌影响等),导致接收图像的抖动、模糊、失真甚至监控目标的丢失等现象。本发明采用的机器人头眼协调运动控制方法可以主动补偿机器人姿态变化所造成的视觉误差,进而可以获得更加清晰、稳定的图像信息,减少人眼观察和计算机处理图像的难度。同时,采用
本发明的机器人头眼协调运动控制方法可以更逼真的模拟人类头眼协调运动,增强人机交互的自然性,例如在与机器人谈话过程中的视线接触、感情交流等,使人形机器人走进家庭和服务机构为人类服务提供实用化参考和技术储备。
附图说明
图1是本发明的机器人头眼协调运动控制流程图。
图2是头部水平旋转时的水平视线偏转角与头部水平旋转时的头位转动角
具体实施方式
下面结合附图和优选实施例对本发明作进一步详细的描述。
实施例一:
参见图1和图2,本基于仿生机理的机器人头眼协调控制方法,其特征在于机器人头眼的转动角度分别由各自的数学模型控制,眼球转动角度大小由双目眼球运动控制系统模型控制,头颈转动角度大小由头部运动控制系统模型控制,根据偏转角的情况动态调整头眼旋转角大小;具体步骤如下:
1)选取目标特征点作为注视点:头眼协调仿生视觉系统选取目标物的特征点作为注视点,双眼聚焦在注视点上;
2)检测视线偏转角:当目标点脱离图像平面中心位置时,头眼协调系统实时检测视线偏转角大小并将其作为比较量输入到视线偏转角比较程序;
3)水平视线偏转角<20°或垂直视线偏转角<10°:如果水平视线偏转角小于20°或垂直视线偏转角小于10°,则进入眼球平滑追踪运动控制系统;
4)水平视线偏转角>20°或垂直视线偏转角>10°:如果水平视线偏转角大于20°或垂直视线偏转角大于10°,则进入眼球与头部运动控制系统,头部转动角度由头部运动模型控制,眼球转动角度由前庭动眼反射运动模型控制;之后返回步骤2)。
实施例二:
本实施例与实施例一基本相同,特别之处如下:
所述第3)步和第4)步中所述的眼球平滑追踪运动和前庭动眼反射运动模型为:
其中,是目标绕脖子的旋转角度,是头部旋转角度,是眼球的旋转角度,是前庭神经的时间常数,根据生理学实验=16秒,是积分器的时间常数,根据生理学实验=25秒,是视网膜滑动位移,下标分别代表左和右,根据生理学实验。所述第4)步中所述的头部运动控制模型为:
其中代表当头部水平旋转时的头位转动角与视线偏转角,代表当头部垂直旋转时的头位转动角与视线偏转角。
实施例三:
这里以网球作为目标物为例进行说明;具体步骤如下:
1.首先头眼协调仿生视觉系统选取网球的质心作为空间注视点,双眼聚焦在注视点上;
2.网球在图像平面上的投影是一个圆,取投影圆的圆心作为目标点,当目标点脱离图像平面中心位置时,头眼协调仿生视觉系统实时检测视线偏转角大小并将其作为比较量输入到视线偏转角比较程序;
3.如果水平视线偏转角小于20°或垂直视线偏转角小于10°,则进入眼球平滑追踪运动控制系统,此时,头部无转动,即H(s)=0,仿生眼为了使目标停留在图像平面中心位置,便将反馈视觉偏差作为控制量输入到上述眼球平滑追踪运动控制系统,进而产生相应的补偿运动,实时对目标进行追踪;
4.否则进入眼球与头部运动控制系统,头部转动角度由上述头部运动模型控制,眼球做前庭动眼反射运动,其大小由上述眼球运动控制模型控制,主动补偿由头部姿态突然变化引起的视觉偏差;之后返回步骤2。
本发明所述的方法并不限于具体实施方式中所述的实施例,本领域技术人员根据本发明的技术方案得出的其它的实施方式,同样属于本发明的技术创新范围。

Claims (1)

1.一种基于仿生机理的机器人头眼协调控制方法,其特征在于机器人头眼的转动角度分别由各自的数学模型控制,眼球转动角度大小由双目眼球运动控制系统模型控制,头颈转动角度大小由头部运动控制系统模型控制,根据偏转角的情况动态调整头眼旋转角大小;具体步骤如下:
1)选取目标特征点作为注视点:头眼协调仿生视觉系统选取目标物的特征点作为注视点,双眼聚焦在注视点上;
2)检测视线偏转角:当目标点脱离图像平面中心位置时,头眼协调系统实时检测视线偏转角大小并将其作为比较量输入到视线偏转角比较程序;
3)如果水平视线偏转角小于20°或垂直视线偏转角小于10°,则进入眼球平滑追踪运动控制系统;
4)如果水平视线偏转角大于20°或垂直视线偏转角大于10°,则进入眼球与头部运动控制系统,头部转动角度由头部运动模型控制,眼球转动角度由前庭动眼反射运动模型控制;之后返回步骤2);
所述第3)步和第4)步中所述的眼球平滑追踪运动和前庭动眼反射运动模型为:
其中,是目标绕脖子的旋转角度,是头部旋转角度,是眼球的旋转角度,是前庭神经的时间常数,根据生理学实验=16秒,是积分器的时间常数,根据生理学实验=25秒,是视网膜滑动位移,下标分别代表左和右,根据生理学实验
所述第4)步中所述的头部运动控制模型为:
其中代表当头部水平旋转时的头位转动角与视线偏转角,代表当头部垂直旋转时的头位转动角与视线偏转角。
CN201210411759.XA 2012-10-25 2012-10-25 一种基于仿生机理的机器人头眼协调运动控制方法 Active CN102915044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210411759.XA CN102915044B (zh) 2012-10-25 2012-10-25 一种基于仿生机理的机器人头眼协调运动控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210411759.XA CN102915044B (zh) 2012-10-25 2012-10-25 一种基于仿生机理的机器人头眼协调运动控制方法

Publications (2)

Publication Number Publication Date
CN102915044A CN102915044A (zh) 2013-02-06
CN102915044B true CN102915044B (zh) 2016-03-30

Family

ID=47613449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210411759.XA Active CN102915044B (zh) 2012-10-25 2012-10-25 一种基于仿生机理的机器人头眼协调运动控制方法

Country Status (1)

Country Link
CN (1) CN102915044B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885336B (zh) * 2014-03-18 2016-07-20 武汉科技大学 基于鹤颈运动的移动视觉控制方法
DE102015214116A1 (de) * 2015-07-27 2017-02-02 Robert Bosch Gmbh Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
CN105824239B (zh) * 2016-03-25 2018-09-25 山东大学 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法
CN105835036B (zh) * 2016-05-05 2018-10-30 西安交通大学 一种并联仿生眼装置及其控制方法
CN106346475A (zh) * 2016-11-01 2017-01-25 上海木爷机器人技术有限公司 机器人和机器人控制方法
CN108829246B (zh) * 2018-05-31 2021-12-07 歌尔股份有限公司 眼球追踪功能检测方法和系统
CN108717759A (zh) * 2018-08-14 2018-10-30 新新人类(北京)科技有限公司 一种酒店用自助装置
CN111136650A (zh) * 2018-11-02 2020-05-12 深圳市优必选科技有限公司 一种机器人及其视觉跟踪方法、计算机可读存储介质
CN111546338A (zh) * 2020-05-08 2020-08-18 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质
CN114872036B (zh) * 2022-03-28 2023-07-04 青岛中电绿网新能源有限公司 一种基于仿生原理的机器人眼-头协同注视行为控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5942954A (en) * 1997-08-22 1999-08-24 Massachusetts Institute Of Technology Apparatus and method for measuring vestibular ocular reflex function
CN1492668A (zh) * 2002-10-22 2004-04-28 �Ϻ��׿Ƶ���ϵͳ�������ι�˾ 仿生型自动视觉和视线控制系统及方法
CN101729783A (zh) * 2009-12-22 2010-06-09 上海大学 基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5942954A (en) * 1997-08-22 1999-08-24 Massachusetts Institute Of Technology Apparatus and method for measuring vestibular ocular reflex function
CN1492668A (zh) * 2002-10-22 2004-04-28 �Ϻ��׿Ƶ���ϵͳ�������ι�˾ 仿生型自动视觉和视线控制系统及方法
CN101729783A (zh) * 2009-12-22 2010-06-09 上海大学 基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《仿人机器人的头眼协调运动控制研究》;顾立忠等;《机器人》;20080331;第30卷(第2期);第1页右栏,第2-3页 *

Also Published As

Publication number Publication date
CN102915044A (zh) 2013-02-06

Similar Documents

Publication Publication Date Title
CN102915044B (zh) 一种基于仿生机理的机器人头眼协调运动控制方法
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
US9207455B2 (en) Electronic correction based on eye tracking
CN110764613A (zh) 基于头戴式眼动模组的眼动追踪校准方法
CN106843456A (zh) 一种基于姿态追踪的显示方法、装置和虚拟现实设备
WO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
JP2012524293A5 (zh)
CN204741528U (zh) 立体沉浸式体感智能控制器
CN104793741A (zh) 带眼球跟踪虚拟现实成像系统和方法
CN109656373A (zh) 一种注视点定位方法及定位装置、显示设备和存储介质
US20230255476A1 (en) Methods, devices and systems enabling determination of eye state variables
WO2018064213A1 (en) Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
CN107027015A (zh) 基于增强现实的3d动向投影系统以及用于该系统的投影方法
US20210014477A1 (en) Eyeball camera system and methods for display system calibration
EP3987355A1 (en) Imaging device with field-of-view shift control
CN112926521B (zh) 基于光源亮灭的眼球追踪方法、系统
JP2024105595A (ja) 拡張現実ヘッドセットの動的収束調整
CN113793389A (zh) 一种增强现实系统虚实融合标定方法及装置
Plopski et al. Automated spatial calibration of HMD systems with unconstrained eye-cameras
CN106405845A (zh) 一种虚拟现实体验装置
EP4206979A1 (en) Virtual reality system foveated rendering method and system based on single eyeball tracking
US20240036327A1 (en) Head-mounted display and image displaying method
CN105828021A (zh) 基于增强现实技术的特种机器人图像采集控制方法及系统
CN105933690A (zh) 一种自适应调整3d画面内容大小的方法和装置
WO2019176035A1 (ja) 画像生成装置、画像生成システム、および画像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221116

Address after: 200444 Room 190, Building A, 5/F, Building 1, No. 1000 Zhenchen Road, Baoshan District, Shanghai

Patentee after: Jinghai Intelligent Equipment Co.,Ltd.

Address before: 200444 No. 99, upper road, Shanghai, Baoshan District

Patentee before: Shanghai University

TR01 Transfer of patent right