CN114872036A - 一种基于仿生原理的机器人眼-头协同注视行为控制方法 - Google Patents

一种基于仿生原理的机器人眼-头协同注视行为控制方法 Download PDF

Info

Publication number
CN114872036A
CN114872036A CN202210312618.6A CN202210312618A CN114872036A CN 114872036 A CN114872036 A CN 114872036A CN 202210312618 A CN202210312618 A CN 202210312618A CN 114872036 A CN114872036 A CN 114872036A
Authority
CN
China
Prior art keywords
head
eye
robot
optimal
gazing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210312618.6A
Other languages
English (en)
Other versions
CN114872036B (zh
Inventor
郑晓刚
刘晓瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cetc Qingdao Lyuwang New Energy Co ltd
Original Assignee
Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University filed Critical Qingdao University
Priority to CN202210312618.6A priority Critical patent/CN114872036B/zh
Publication of CN114872036A publication Critical patent/CN114872036A/zh
Application granted granted Critical
Publication of CN114872036B publication Critical patent/CN114872036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Eye Examination Apparatus (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于仿生原理的机器人眼‑头协同注视行为控制方法，包括静态注视场景控制方法和注视转移场景控制方法，在静态注视场景中，求解机器人对社交对象的眼部运动焦线的偏转角βHor和βVer，在注视转移场景中，先求解单独运行状态下，水平方向上双目焦线偏转角βHor和头部旋转角γHor与运行时间的关系，然后将该运行时间作为已知条件带入眼‑头协同系统中求解执行部件的具体运行轨迹，以上两步计算均以神经传导噪声最小化为目标。该方法能较好地反映人眼‑头协调注视行为的主要特征，说明了人眼注视序列是一种优化注视精度和速度的策略。

Description

一种基于仿生原理的机器人眼-头协同注视行为控制方法
技术领域
本发明属于机器人控制技术领域，具体涉及一种基于仿生原理的机器人眼- 头协同注视行为控制方法。属于机器人控制技术，通过在给定方向上将机器人的眼-头协调注视行为建模为一个包含异构执行器的双自由度系统。通过设定注视行为的最小神经传导噪声这一条件，求解出机器人眼-头系统运动的最优运动时间和执行器状态序列。该控制算法能够较好地反映人眼-头协调注视行为的主要特征，实现机器人与人之间和谐自然的交互。
背景技术
如今，设计用于社交互动的机器人已应用于广泛的场景中，而机器人的注视行为是机器人与人进行社会交互中的关键组成部分。但就目前的研究而言，无论是通过训练深度学习来生成机器人的面部表情，还是使用大量观测数据集的拟合人的视线转移行为模型，都存在着缺乏实际模型支持与过度拟合等问题。很多市面上可见的机器人装备有模仿人类的眼睛构造的机械眼或者其他部件，但是实际表现出的注视行为却仍显得生硬乃至惊悚。造成这种现象的原因有两个，首先人类在社交过程中包含大量的细微动作或者微表情，这些都是机械部件难以模仿的；其次，人类的注视行为是由眼睛、颈部乃至躯干共同参与完成的，这种由多种异构执行部件参与的动态过程必然遵循某种底层的生理机制。违背这种底层生理机制产生的注视行为，肯定会显得不自然，进而影响机器人的观感乃至交互效果。除此之外，对于如何将注视行为应用于实际的社交场景，大多数研究通常是针对一个人和一个机器人之间的相互作用，这显然无法满足多用户社交场景中机器人的社交需求。基于上述背景，本专利将重点放在对机器人注视行为中眼头协同机制的建模和求解上，从神经传导的角度来模拟人类的注视行为和眼头协同机制，最终得到机器人在多目标交互场景下的注视行为的控制方法。
发明内容
本发明的目的是在机器人多目标社会交互场景下，本着最小化神经传导噪声这一原则，协调并预测机器人的眼-头运动，这包括预测眼-头移动的持续时间，得出眼睛-头部的角度划分并确定注视转移行为与初始位置的关系。
为了实现上述目的，本发明采用以下技术方案：
一种基于仿生原理的机器人眼-头协同注视行为控制方法，包括静态注视场景控制方法和注视转移场景控制方法，
所述静态注视场景控制方法，具体为：
首先机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)，然后机器人通过以下公式求解静态注视场景中机器人对社交对象的眼部运动焦线的偏转角βHor和βVer以及眼球旋转角度[αR，θR，αL，θL]，依据偏转角和眼球旋转角度使机器人的眼球视线能够实时跟随社交对象A移动，
βHor＝tan-1(d/w)
Figure BDA0003568932670000021
Figure BDA0003568932670000022
αR＝tan-1(2d/(W+2w))
Figure BDA0003568932670000023
Figure BDA0003568932670000024
其中，W瞳孔距离，社交对象的空间坐标P＝(d，w，h)；
所述注视转移场景控制方法，具体为：
首先，机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)以及社交对象B的空间坐标P′＝(d′，w′，h′)，然后机器人按照步骤(1)-(5)求解从社交对象A看向社交对象B机器人眼-头系统运动的最优运动时间和最优状态序列：
(1)建立单独运动状态下，眼部运动的最优控制时间方程：
Figure BDA0003568932670000025
Figure BDA0003568932670000026
Figure BDA0003568932670000027
Figure BDA0003568932670000028
Figure BDA0003568932670000029
Figure BDA00035689326700000210
Figure BDA00035689326700000211
Figure BDA00035689326700000212
式中，
Figure BDA0003568932670000031
其中
Figure BDA0003568932670000032
xeye分别为双目焦线的加速度、速度和位置，ue为驱动眼肌运动的神经控制信号，A为系数，hE(xe，ue，t)表示单独运动状态下眼部运动的最优控制时间方程JSDN对应的哈密顿函数，
Figure BDA0003568932670000033
是拉格朗日乘数的向量，Ae、Be为眼球自身运动特征方程的参数，Le为眼球的神经信号传导时伴随着噪声，
Figure BDA0003568932670000034
为给定边界条件下双目焦线的运动轨迹，
Figure BDA0003568932670000035
为给定边界条件下眼部运动最优控制信号，
Figure BDA0003568932670000036
为给定边界条件下眼部运动的最优协态矢量，tf为最优控制时间，τ即为tf，
Figure BDA0003568932670000037
为拉格朗日乘数的一阶导数，
Figure BDA0003568932670000038
(2)解析方程组(11)-(15)求解单独运行状态下双目焦线偏转角βHor与最优控制时间的关系；
(3)建立单独运动状态下，头部运动的最优控制时间方程：
Figure BDA0003568932670000039
Figure BDA00035689326700000310
Figure BDA00035689326700000311
Figure BDA00035689326700000312
Figure BDA00035689326700000313
Figure BDA00035689326700000314
Figure BDA00035689326700000315
Figure BDA00035689326700000316
式中，
Figure BDA00035689326700000317
其中
Figure BDA00035689326700000318
和xhead是头部在单一方向上的加速度、速度和旋转角度，uh为驱动头部运动的神经控制信号，B为系数， hH(xh，uh，t)为单独运动状态下头部运动的最优控制时间方程JSDN对应的哈密顿函数，
Figure BDA00035689326700000319
是拉格朗日乘数的向量，Ah、Bh为头部自身运动特征方程的参数，Lh为头部的神经信号传导时伴随着噪声，
Figure BDA00035689326700000320
为给定边界条件下头部的运转轨迹，
Figure BDA00035689326700000321
为给定边界条件下头部运动最优控制信号，
Figure BDA00035689326700000322
为给定边界条件下头部运动的最优协态矢量，
Figure BDA00035689326700000323
为拉格朗日乘数的一阶导数，tf为最优控制时间，τ即为tf，
Figure BDA00035689326700000324
为拉格朗日乘数的一阶导数，
Figure BDA00035689326700000325
(4)通过求解以上方程组(19)-(23)，求解单独运行状态下头部旋转角γHor与运行时间的关系；
(5)通过将步骤(2)中单独运行状态下双目焦线偏转角βHor与最优控制时间的关系以及(4)中单独运行状态下头部旋转角γHor与运行时间的关系进行线性拟合，得到转动角度δ与最优运行时间tf的关系：
Figure BDA0003568932670000041
(5)建立眼睛和头部共同运动的最优控制信号方程：
hE-H(x，u，t)＝λT(t)[Ax+Bu]+L (25)
Figure BDA0003568932670000042
hE-H(x，u，t)＝λT(t)[Aexe+Beue+Ahxh+Bhuh]+L (27)
L＝Le+Lh (28)
Figure BDA0003568932670000043
Figure BDA0003568932670000044
Figure BDA0003568932670000045
式中，A＝[Ae Ah]T，B＝[Be Bh]T，u＝[ue uh]T，x＝[xe xh]T，hE-H(x，u，t)为眼-头协同运动时最优控制时间方程JSDN对应的哈密顿函数，λT(t)为拉格朗日乘数的向量，
Figure BDA0003568932670000046
为拉格朗日乘数的一阶导数，
Figure BDA0003568932670000047
将
Figure BDA0003568932670000048
与方程(29)-(31)联立求解得到机器人眼-头协同运动时的最优控制信号，继而得到该控制信号下头部和眼部的最优运行轨迹，依据最优运行轨迹机器人的控制眼部和头部从社交对象A运动到社交对象B。
与现有技术相比，本发明从生物学的角度使机器人模拟人类的注视行为和协调眼-头设备的注视转移行为，并且建立了机器人注视行为的双自由度系统。该模型直接比较实验结果与医学统计数据，结果表明该方法能较好地反映人眼-头协调注视行为的主要特征，说明了人眼注视序列是一种优化注视精度和速度的策略。
附图说明
图1为本发明涉及的注视行为的欧几里得空间坐标示意图。
图2为注视移位场景的计算流程图。
图3为设备运动持续时间与位移角的关系图，x(t0)＝0°，x(tf)＝δ。
图4为不同边界条件下的眼部与头部速度剖面，x(t0)＝0°，x(tf)＝10～90°，βHor和γHor从上向下依次为10°、20°、40°、60°和90°。
图5为本发明涉及的机器人平台结构示意图。
图6为本发明涉及的静态注视场景示意图。
图7为本发明涉及的注视转移场景示意图。
具体实施方式
下面通过具体实施例和说明书附图对本发明做进一步说明。
实施例1
本发明根据社交目标的数量，提出了两种机器人注视交互场景，即静态注视场景和注视转移场景。在静态注视场景中，注视行为仅通过眼球运动来完成。在注视转移场景中，注视行为由扫视(眼球运动)和头部扭转共同完成。
1.1总体模型图
本发明提出的自然注视模型如图1所示，将注视行为定义为欧几里得坐标空间中的点焦点问题，其中两个眼球对称地分布在零点(O)的左侧和右侧，眼球 (L和R)由瞳孔(TR和TL)和视网膜(O′R和O′L)表面组成。在本模型中，假设视网膜表面位于眼球的中心，其功能是将图像转化为神经冲动，以实现视觉感知。视线定义为眼睛视网膜表面和瞳孔之间的连接(TR-O′R和TL-O′L)，当双目系统聚焦于给定的社会对象时，视线将在反射固定点P或P′处延伸相交，然后在两个场景中分别对其进行分析。
1.2静态注视场景
静态注视场景更多地发生在一个人(社交对象)和一个机器人之间的互动中，该场景下的注视行为仅包括眼球运动，如图1所示，视线焦距
Figure BDA0003568932670000051
是通过左右眼球的运动形成的(眼球半径为r，瞳孔距离为W)，眼球焦点线和眼球之间的切线平面是眼瞳的位置(TR和TL)。通过摄像头不断刷新获取社交对象的空间坐标 P＝(d，w，h)，可以计算获得焦线的偏转角βHor＝tan-1(d/w)和
Figure BDA0003568932670000052
Figure BDA0003568932670000053
最后计算相应的眼球旋转角度[αR，θR，αL，θL]，以遵循动态的P值，使机器人的眼球视线能够实时跟随社交对象的移动，从而达到机器人注视的目的。下列方程(1)-(4)显示了社交对象位置P对眼球旋转的投影，根据方程(1)-(4)求解眼球旋转角度[αR，θR，αL，θL]。
Figure BDA0003568932670000061
αR＝tan-1(2d/(W+2w)) (2)
Figure BDA0003568932670000062
Figure BDA0003568932670000063
其中，θR和θL分别是左右眼视线围绕z轴的垂直角度；αR和αL分别是左右眼视线围绕y轴的水平角度，βHor为焦线在xy平面的投影与y轴之间的夹角，βVer为焦线与其在xy平面的投影之间的夹角，r为眼球半径，W瞳孔距离，社交对象的空间坐标P＝(d，w，h)。
1.3注视转移场景
1.3.1建立眼球和头部的动力学模型
在实践中，大视线移动场景主要发生在机器人需要与多个物体并行交互的多用户案例中。例如，当机器人与一个人交谈而另一个人似乎在寻求帮助时，机器人需要对后来者做出适当的反应，这自然包括相对较大的视线转移。通常，这种跨物体的注视转移需要眼睛，头部甚至身体之间的协调。与静态注视不同，注视移位需要考虑跨z轴的水平旋转和跨y轴的垂直旋转(包含上下点头和左右摇头)，这是由头部扭转引起的(γHor和γVer图1)。由于头部的参与，注视移位场景的计算流程如图2所示。与静态注视相比，给定方向上的注视偏移角被分割成焦线偏转角(βHor，βVer)和头部扭转角(γHor，γVer)，焦线偏转角又表示为xeye，头部扭转角又表示为xhead，如图2所示。
单向注视转移是一个二自由度系统，其中包含眼球运动和头部扭转运动。从生物学角度而言，眼球和头部运动是由神经元信号控制的，当神经元控制信号在神经纤维中传导时，其会包含入神经传导噪声，该噪声信号给神经元控制信号带来误差，且误差幅值与控制信号的幅值和持续时间成正比。本专利首先把注视转移中的传输噪声误差定义如公式(5)所示。
Figure BDA0003568932670000064
公式(5)中，x(tp)为神经噪声瓦尔，Var[x(tp)]为神经噪声瓦尔的标准误差， De和Dh分别是眼球和头部运动中由神经传导噪声引起的位置偏差积分，tp是注视移位的持续时间，He(t)是眼球动力学的脉冲响应函数，Hh(t)是头部动力学的脉冲响应函数，ue(t)为驱动眼肌运动的神经控制信号，uh(t)为驱动头部运动的神经控制信号，A和B为系数。假设传输噪声的误差与眼球控制信号ue(t)和头部控制信号uh(t)成正比(系数为A和B)，则进一步定义He(t)和Hh(t)分别是眼球和头部动力学的脉冲响应函数。
以眼球运动为例，眼部肌肉施加的力矩与焦线角度的关系基本上由一个二阶微分方程控制决定，在本专利中眼部运动学状态方程定义如公式(6)所示。
Figure BDA0003568932670000071
Figure BDA0003568932670000072
公式(6)中，单一方向上的眼睛的向量状态被定义为
Figure BDA0003568932670000073
其中
Figure BDA0003568932670000074
xeye分别为双目焦线的加速度、速度和位置(偏转角)，Ae、 Be为眼球自身运动特征方程的参数，是根据其实际生理特征预先确定好的已知量，ue为驱动眼肌运动的神经控制信号，ρ1＝224，ρ2＝13，ρe＝10ms。
与眼球运动类似，构造出头部扭转的运动学状态方程，如公式(8)所示。
Figure BDA0003568932670000075
Figure BDA0003568932670000076
公式(8)中，
Figure BDA0003568932670000077
其中
Figure BDA0003568932670000078
和xhead是头部在单一方向上的加速度、速度和旋转角度，uh为驱动头部运动的神经控制信号，Ah、 Bh为头部自身运动特征方程的参数，是根据其实际生理特征预先确定好的已知量，I、B和K分别表示头部的惯性、粘度和刚度特征，I＝0.0448kg/m2，B＝0.3， K＝2.077，ρh为时间常数。
相应地，联合上述方程即可分别解得眼球和头部的脉冲响应函数He(t)和 Hh(t)。
对于本专利中所讨论的包含异构部件协同的系统，在给定目标函数的前提下，其控制策略可以根据最优控制的思路给予求解。但是，眼-头协同注视行为中部件的运行时间和运行轨迹都是待求解变量，这种情况下无法使用单一方程组求解。为了解决该问题，本专利将该协同行为进行拆分，先求解单独运行状态下，水平方向上双目焦线偏转角βHor和头部旋转角γHor与运行时间的关系，然后将该运行时间作为已知条件带入眼-头协同系统中求解执行部件的具体运行轨迹，以上两步计算均以神经传导噪声最小化为目标。
1.3.2在给定边界条件下求解执行机构最优控制时间
以眼部驱动为例，建立眼部运动的最优控制时间方程如下：
Figure BDA0003568932670000081
Figure BDA0003568932670000082
根据庞特里亚金最小原理，给定持续时间[t0，tf]，通过求解函数JSDN对应的哈密顿函数hE(xe，ue，t)，得到在给定时间内，对函数JSDN的最优控制信号，以单方向眼动力学模型为例，其哈密顿函数方程如下所示：
Figure BDA0003568932670000083
在上述方程中，hE(xe，ue，t)表示哈密顿函数，
Figure BDA0003568932670000084
是拉格朗日乘数的向量， Le为眼部的神经信号传导时伴随着噪声，通过Le对其进行量化定义。
由于本节我们的切入点是确定它们的最优控制时间tf，这意味着哈密顿函数成为tf的函数，为了解决这个自由的最终时间问题，我们需要从方程中添加一个边界条件，我们将T＝1秒作为一个单位，并将T作为辅助变量，即构造出如下方程：
Figure BDA0003568932670000085
Figure BDA0003568932670000086
Figure BDA0003568932670000087
Figure BDA0003568932670000088
Figure BDA0003568932670000089
式中，
Figure BDA00035689326700000810
为给定边界条件下双目焦线的运动轨迹，
Figure BDA00035689326700000811
为给定边界条件下眼部运动最优控制信号，
Figure BDA00035689326700000812
为给定边界条件下眼部运动的最优协态矢量，tf为最优控制时间，τ即为tf，
Figure BDA00035689326700000813
为拉格朗日乘数的一阶导数。
这就将双目焦线的运动模型转化为一个两点边界值问题，初始条件和最终条件由
Figure BDA00035689326700000814
和
Figure BDA00035689326700000815
给出，最优控制信号可以通过解析方程组(11)-(15)得到，同时得到在不同xeye(tf)的条件下，xeye(tf)的速度分布与tf的关系，xeye(tf)为在给定终端时刻tf下的双目焦线的偏转角，即βHor，并且在数值方法中能够保证tf是最优控制时间(其他求解变量为无效变量)。
类似地，构造出头部运动的最优控制时间方程如下所示：
Figure BDA0003568932670000091
Figure BDA0003568932670000092
Figure BDA0003568932670000093
Figure BDA0003568932670000094
Figure BDA0003568932670000095
Figure BDA0003568932670000096
Figure BDA0003568932670000097
Figure BDA0003568932670000098
式中，
Figure BDA0003568932670000099
是拉格朗日乘数的向量，Lh眼部的神经信号传导时伴随着噪声，通过Lh对其进行量化定义，
Figure BDA00035689326700000910
为给定边界条件下头部的运转轨迹，
Figure BDA00035689326700000911
为给定边界条件下头部运动最优控制信号，
Figure BDA00035689326700000912
为给定边界条件下头部运动的最优协态矢量，
Figure BDA00035689326700000913
为拉格朗日乘数的一阶导数，tf为最优控制时间，τ即为tf；
初始条件和最终条件由
Figure BDA00035689326700000914
和
Figure BDA00035689326700000915
Figure BDA00035689326700000916
给出，通过求解以上方程组(19)-(23)，可以求出头部作为独立系统时的最优运行时间(其他求解变量为无效变量)，即在不同xhead(tf)的条件下，xhead(tf)的速度分布与tf的关系，xhead(tf)为在给定终端时刻tf下的头部单一方向上的旋转角度，即γHor，并且在数值方法中能够保证tf是最优控制时间。
通过以上方法，对眼部与头部运动分别进行建模可以求解出眼、头模型独立运行时的转动角度δ与最优运行时间tf的关系，对于眼部运动，转动角度δ为双目焦线偏转角βHor，对于头部运动，转动角度δ为头部旋转角γHor。仿真结果如图 3所示，三角形与方块分别表示头部与眼部作为独立设备运动时，转动角度δ与最优运行时间tf的关系，显而易见转动角度δ与最优运行时间tf的关系存在明显的饱和现象，随着转动角度δ的增加，头部扭转和眼球运动的持续时间将分别趋向于570ms和340ms。
为了简便计算，通过将以上两种对应关系进行线性拟合，可以直接得到最优运行时间tf，该数值将作为已知条件支持眼头协同运动控制的求解。采用指数函数
Figure BDA0003568932670000101
用于拟合图中的曲线。拟合参数如下表所示。(这里为拟合度，表征拟合好坏，越靠近1越好)
Figure BDA0003568932670000102
表1指数函数tf(δ)拟合参数
1.3.3在给定边界条件下求解最优状态序列
为了求解机器人眼-头协同运动时的最优状态序列，我们需要把眼睛和头部集成到一个综合系统中，即构造如下方程：
Figure BDA0003568932670000103
其中A＝[Ae Ah]T、B＝[Be Bh]T、u＝[ue uh]T和x＝[xe xh]T，该系统的最小传输噪声如下方程所示：
hE-H(x，u，t)＝λT(t)[Ax+Bu]+L (25)
Figure BDA0003568932670000104
在求解综合系统内的执行器协同运动轨迹时，本专利强制给定持续时间[0，1]，通过求解函数JSDN对应的哈密顿函数hE-H(x，u，t)，在给定时间内得到对函数JSDN的最优状态序列，其哈密顿函数为方程：
hE-H(x，u，t)＝λT(t)[Aexe+Beue+Ahxh+Bhuh]+L (27)
L＝Le+Lh (28)
最优控制信号可以通过计算
Figure BDA0003568932670000105
并将其设置为零来半解析求解，得到机器人的眼-头设备的注视转移贡献，并且可以在数值方法中保证其是最优序列。
Figure BDA0003568932670000106
Figure BDA0003568932670000107
Figure BDA0003568932670000108
式中，hE-H(x，u，t)为眼-头协同运动时最优控制时间方程JSDN对应的哈密顿函数，λT(t)为拉格朗日乘数的向量，
Figure BDA0003568932670000111
为拉格朗日乘数的一阶导数；
将1.3.2中得到的拟合方程
Figure BDA0003568932670000112
与方程(29)-(31)联立求解得到机器人眼-头协同运动时的最优控制信号，继而得到该控制信号下双目焦线偏转角βHor和头部旋转角γHor。
眼睛和头部作为一个整体协调运行时，在不同给定边界条件它们在的速度分布特性如图4所示，可以看出眼部运动的速度曲线将趋向于不对称，它需要更长的时间才能达到最大值，然后下降得更快。对于头部运动，主要区别在于头部将在协调系统中长时间保持最大速度状态。总而言之，上述功能使头部在协作注视移位中比眼睛占据更多的部分。随着视线偏移角度的上升，这种现象变得异常明显，该特征与现有的人体生理学模型也是吻合的。
场景应用
2.1与机器人平台的结合
如图5所示，机器人平台配有可移动的眼球与可扭转的头部，该部分是完成机器人的协同注视行为功能。配有RGB-D深度摄像头，其功能是将机器人摄像头视野内存在的社交对象分别进行空间坐标计算与人脸身份识别，将不同社交对象的空间位置信息与身份进行标定并存储。配有麦克风阵列，内有循声定位算法，能够识别社交对象的声源位置，与先前存储的社交对象空间坐标信息进行对比选择，以此确定当前需要交互的社交对象。通过上述方法，机器人的社交对象得以确定，能够得到其空间位置信息，以此用于实际的应用场景。
2.2实际应用场景
在静态注视部分，静态注视场景更多地发生在一个人和一个机器人之间的互动中，在这种情况下，注视行为仅包括眼球运动。如图6所示，社交对象A与机器人正在互动，此时机器人视野内仅包括一个社交对象，这就不需要进行人脸身份识别标定社交对象，RGB-D深度摄像头只需要不断刷新以获取社交对象A的空间坐标P＝(d，w，h)即可，根据静态注视算法流程1.2部分，机器人的眼球旋转效果如图6所示，我们能够看到机器人的眼球视线实时跟随社交对象A的移动，从而达到了机器人注视的目的。
在注视转移场景中，如图7所示，机器人摄像头视野内有两个社交对象A和 B，此时RGB-D深度摄像头将视野内存在的社交对象A和B分别进行空间坐标计算与人脸身份识别，并不同社交对象的空间位置信息与身份进行标定并存储。先前机器人正注视着社交对象A，此时社交对象B对机器人说道“你好”，麦克风阵列便识别出社交对象B的声源方位，并判断其有交互的意向，与先前存储的社交对象信息进行选择，确定了此时的社交对象为B，得到社交对象B的空间坐标 P′＝(d′，w′，h′)。此时机器人便遵循注视转移算法流程1.3部分，分别得到了眼头运动轨迹，机器人的眼-头协同注视行为如图4所示，我们能够看到机器人对社交对象B的注视行为由扫视和头部扭转共同完成，从而达到了机器人在多个社交对象场景下注视转移的目的。

Claims (1)

1.一种基于仿生原理的机器人眼-头协同注视行为控制方法，其特征在于，包括静态注视场景控制方法和注视转移场景控制方法，
所述静态注视场景控制方法，具体为：
首先机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)，然后机器人通过以下公式求解静态注视场景中机器人对社交对象的眼部运动焦线的偏转角βHor和βVer以及眼球旋转角度[αR，θR，αL，θL]，依据偏转角和眼球旋转角度使机器人的眼球视线能够实时跟随社交对象A移动，
βHor＝tan-1(d/w)
Figure FDA0003568932660000011
Figure FDA0003568932660000012
αR＝tan-1(2d/(W+2w))
Figure FDA0003568932660000013
Figure FDA0003568932660000014
其中，W瞳孔距离，社交对象的空间坐标P＝(d，w，h)；
所述注视转移场景控制方法，具体为：
首先，机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)以及社交对象B的空间坐标P′＝(d′，w′，h′)，然后机器人按照步骤(1)-(5)求解从社交对象A看向社交对象B机器人眼-头系统运动的最优运动时间和最优状态序列：
(1)建立单独运动状态下，眼部运动的最优控制时间方程：
Figure FDA0003568932660000015
Figure FDA0003568932660000016
Figure FDA0003568932660000017
Figure FDA0003568932660000018
Figure FDA0003568932660000019
Figure FDA00035689326600000110
Figure FDA00035689326600000111
Figure FDA00035689326600000112
式中，
Figure FDA0003568932660000021
其中
Figure FDA0003568932660000022
xeye分别为双目焦线的加速度、速度和位置，ue为驱动眼肌运动的神经控制信号，A为系数，hE(xe，ue，t)表示单独运动状态下眼部运动的最优控制时间方程JSDN对应的哈密顿函数，
Figure FDA0003568932660000023
是拉格朗日乘数的向量，Ae、Be为眼球自身运动特征方程的参数，Le为眼球的神经信号传导时伴随着噪声，
Figure FDA0003568932660000024
为给定边界条件下双目焦线的运动轨迹，
Figure FDA0003568932660000025
为给定边界条件下眼部运动最优控制信号，
Figure FDA0003568932660000026
为给定边界条件下眼部运动的最优协态矢量，tf为最优控制时间，τ即为tf，
Figure FDA0003568932660000027
为拉格朗日乘数的一阶导数，
Figure FDA0003568932660000028
(2)解析方程组(11)-(15)求解单独运行状态下双目焦线偏转角βHor与最优控制时间的关系；
(3)建立单独运动状态下，头部运动的最优控制时间方程：
Figure FDA0003568932660000029
Figure FDA00035689326600000210
Figure FDA00035689326600000211
Figure FDA00035689326600000212
Figure FDA00035689326600000213
Figure FDA00035689326600000214
Figure FDA00035689326600000215
Figure FDA00035689326600000216
式中，
Figure FDA00035689326600000217
其中
Figure FDA00035689326600000218
和xhead是头部在单一方向上的加速度、速度和旋转角度，uh为驱动头部运动的神经控制信号，B为系数，hH(xh，uh，t)为单独运动状态下头部运动的最优控制时间方程JSDN对应的哈密顿函数，
Figure FDA00035689326600000219
是拉格朗日乘数的向量，Ah、Bh为头部自身运动特征方程的参数，Lh为头部的神经信号传导时伴随着噪声，
Figure FDA00035689326600000220
为给定边界条件下头部的运转轨迹，
Figure FDA00035689326600000221
为给定边界条件下头部运动最优控制信号，
Figure FDA00035689326600000222
为给定边界条件下头部运动的最优协态矢量，
Figure FDA00035689326600000223
为拉格朗日乘数的一阶导数，tf为最优控制时间，τ即为tf，
Figure FDA00035689326600000224
为拉格朗日乘数的一阶导数，
Figure FDA00035689326600000225
(4)通过求解以上方程组(19)-(23)，求解单独运行状态下头部旋转角γHor与运行时间的关系；
(5)通过将步骤(2)中单独运行状态下双目焦线偏转角βHor与最优控制时间的关系以及(4)中单独运行状态下头部旋转角γHor与运行时间的关系进行线性拟合，得到转动角度δ与最优运行时间tf的关系：
Figure FDA0003568932660000038
(5)建立眼睛和头部共同运动的最优控制信号方程：
hE-H(x，u，t)＝λT(t)[Ax+Bu]+L (25)
Figure FDA0003568932660000031
hE-H(x，u，t)＝λT(t)[Aexe+Beue+Ahxh+Bhuh]+L (27)
L＝Le+Lh (28)
Figure FDA0003568932660000032
Figure FDA0003568932660000033
Figure FDA0003568932660000034
式中，A＝[Ae Ah]T，B＝[Be Bh]T，u＝[ue uh]T，x＝[xe xh]T，hE-H(x，u，t)为眼-头协同运动时最优控制时间方程JSDN对应的哈密顿函数，λT(t)为拉格朗日乘数的向量，
Figure FDA0003568932660000035
为拉格朗日乘数的一阶导数，
Figure FDA0003568932660000036
将
Figure FDA0003568932660000037
与方程(29)-(31)联立求解得到机器人眼-头协同运动时的最优控制信号，继而得到该控制信号下头部和眼部的最优运行轨迹，依据最优运行轨迹机器人的控制眼部和头部从社交对象A运动到社交对象B。
CN202210312618.6A 2022-03-28 2022-03-28 一种基于仿生原理的机器人眼-头协同注视行为控制方法 Active CN114872036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210312618.6A CN114872036B (zh) 2022-03-28 2022-03-28 一种基于仿生原理的机器人眼-头协同注视行为控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210312618.6A CN114872036B (zh) 2022-03-28 2022-03-28 一种基于仿生原理的机器人眼-头协同注视行为控制方法

Publications (2)

Publication Number Publication Date
CN114872036A true CN114872036A (zh) 2022-08-09
CN114872036B CN114872036B (zh) 2023-07-04

Family

ID=82669948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210312618.6A Active CN114872036B (zh) 2022-03-28 2022-03-28 一种基于仿生原理的机器人眼-头协同注视行为控制方法

Country Status (1)

Country Link
CN (1) CN114872036B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492668A (zh) * 2002-10-22 2004-04-28 �Ϻ��׿Ƶ���ϵͳ�������ι�˾ 仿生型自动视觉和视线控制系统及方法
CN102915044A (zh) * 2012-10-25 2013-02-06 上海大学 一种基于仿生机理的机器人头眼协调运动控制方法
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法
CN111216109A (zh) * 2019-10-22 2020-06-02 东北大学 一种用于临床治疗与检测的视觉跟随装置及其方法
CN111546338A (zh) * 2020-05-08 2020-08-18 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质
US20210122055A1 (en) * 2019-10-24 2021-04-29 Disney Enterprises, Inc. Eye contact sensing and control for robotic characters
US20210129344A1 (en) * 2017-02-02 2021-05-06 Lg Electronics Inc. Moving robot and control method therefor
CN113359462A (zh) * 2021-06-25 2021-09-07 北京理工大学 一种基于扰动解耦与补偿的仿生眼稳像系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492668A (zh) * 2002-10-22 2004-04-28 �Ϻ��׿Ƶ���ϵͳ�������ι�˾ 仿生型自动视觉和视线控制系统及方法
CN102915044A (zh) * 2012-10-25 2013-02-06 上海大学 一种基于仿生机理的机器人头眼协调运动控制方法
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法
US20210129344A1 (en) * 2017-02-02 2021-05-06 Lg Electronics Inc. Moving robot and control method therefor
CN111216109A (zh) * 2019-10-22 2020-06-02 东北大学 一种用于临床治疗与检测的视觉跟随装置及其方法
US20210122055A1 (en) * 2019-10-24 2021-04-29 Disney Enterprises, Inc. Eye contact sensing and control for robotic characters
CN111546338A (zh) * 2020-05-08 2020-08-18 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质
CN113359462A (zh) * 2021-06-25 2021-09-07 北京理工大学 一种基于扰动解耦与补偿的仿生眼稳像系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李恒宇;罗均;夏冰玉;谢少荣;: "机器人仿生双眼的运动控制系统建模与仿真", 电子机械工程, no. 02 *
李树平;程军;李恒宇;: "基于仿生机理的头眼协调系统", 计算机工程, no. 09 *

Also Published As

Publication number Publication date
CN114872036B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Ruhland et al. Look me in the eyes: A survey of eye and gaze animation for virtual agents and artificial systems
Held et al. Telepresence, time delay and adaptation
JP2021517689A (ja) 眼追跡カメラからの顔の表情
Hirth et al. Emotional architecture for the humanoid robot head ROMAN
Wang et al. Handshake: Realistic human-robot interaction in haptic enhanced virtual reality
Pan et al. Realistic and interactive robot gaze
Rajruangrabin et al. Robot head motion control with an emphasis on realism of neck–eye coordination during object tracking
Seagull et al. Training head movement in visual scanning: An embedded approach to the development of piloting skills with helmet-mounted displays.
Aliasghari et al. Implementing a gaze control system on a social robot in multi-person interactions
Mohammad et al. Autonomous development of gaze control for natural human-robot interaction
Inthiam et al. Mood perception model for social robot based on facial and bodily expression using a hidden Markov model
Chen et al. Real-time gaze tracking with head-eye coordination for head-mounted displays
Silva et al. Mirroring emotion system-on-line synthesizing facial expressions on a robot face
Daemi et al. A kinematic model for 3-D head-free gaze-shifts
CN114872036B (zh) 一种基于仿生原理的机器人眼-头协同注视行为控制方法
Côté-Allard et al. Virtual reality to study the gap between offline and real-time EMG-based gesture recognition
Yamaoka et al. Interacting with a human or a humanoid robot?
Onuki et al. Designing robot eyes for communicating gaze
Vouloutsi et al. The influence of behavioral complexity on robot perception
Huang et al. Human-like facial expression imitation for humanoid robot based on recurrent neural network
Takimoto et al. A simple bi-layered architecture to enhance the liveness of a robot
Hashimoto et al. Study on natural head motion in waiting state with receptionist robot SAYA that has human-like appearance
Baldrighi et al. Design and implementation of the bio-inspired facial expressions for medical mannequin
Safavi et al. Teaching the user by learning from the user: personalizing movement control in physical human-robot interaction
Wijayasinghe et al. Head-eye coordination of humanoid robot with potential controller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230425

Address after: 266000 building 101, building 17, Max business Hongwan, No. 17, Guangbo Road, high tech Zone, Qingdao, Shandong

Applicant after: CETC QINGDAO LYUWANG NEW ENERGY Co.,Ltd.

Address before: 266071 Shandong city of Qingdao province Ningxia City Road No. 308

Applicant before: QINGDAO University

GR01 Patent grant
GR01 Patent grant