CN104951808B - 一种用于机器人交互对象检测的3d视线方向估计方法 - Google Patents

一种用于机器人交互对象检测的3d视线方向估计方法 Download PDF

Info

Publication number
CN104951808B
CN104951808B CN201510406557.XA CN201510406557A CN104951808B CN 104951808 B CN104951808 B CN 104951808B CN 201510406557 A CN201510406557 A CN 201510406557A CN 104951808 B CN104951808 B CN 104951808B
Authority
CN
China
Prior art keywords
msub
mrow
mfrac
center
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510406557.XA
Other languages
English (en)
Other versions
CN104951808A (zh
Inventor
程洪
姬艳丽
谢道训
杨路
谢非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510406557.XA priority Critical patent/CN104951808B/zh
Publication of CN104951808A publication Critical patent/CN104951808A/zh
Application granted granted Critical
Publication of CN104951808B publication Critical patent/CN104951808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

本发明公开了一种用于机器人交互对象检测的3D视线方向估计方法，包括以下步骤：S1头部姿势估计；S2.映射矩阵计算；S3.人眼检测；S4.瞳孔中心检测；S5.视线方向计算；S6.交互对象判断。本发明提供了一种用于机器人交互对象检测的3D视线方向估计方法，使用RGBD传感器头部姿势的估计并应用于机器人中，系统仅采用一个RGBD传感器，无需其他的传感器，具有硬件简单，实现容易的特点；训练强分类器来进行人眼检测，实现简单，检测跟踪效果好；在检测瞳孔中心时，采用投影积分法、霍夫变换法和透视校正，能够得到比较准确的瞳孔中心。

Description

一种用于机器人交互对象检测的3D视线方向估计方法
技术领域
本发明涉及一种用于机器人交互对象检测的3D视线方向估计方法。
背景技术
人机交互(Human-Computer Interaction,HCI)是研究人与计算机之间通过相互理解的交流与通信，在最大程度上为人们完成信息管理、服务和处理等功能，使计算机真正成为人们工作学习的和谐助手的一门技术科学。
视线估计技术作为人机交互技术的重要分支，主要研究对人类眼睛运动特性的检测与识别，实现对其他功能系统的自动控制；该技术的最大优点是可以通过眼晴注视实现对外部设备的控制，进而实现多任务操作；有关资料统计显示,全国至少有50万的人口存在不同程度的肢体瘫痪,生活不能自理；那么如果他们能用眼睛来代替手操作,以后再加上机电控制技术就完全可以增加他们的独立能力,提高生活质量。
因此，近年来有研究人员开始把视线方向估计技术应用于社会服务机器人中，实现机器人自动锁定用户，而用户可以通过眼睛控制机器人等功能；对于视线方向估计，近年来的研究主要分为两大方向：一是通过神经网络进行估计；二是通过眼部特征分析进行实现，根据神经网络来估计视线方向具有较高的精度和实时性，但缺少很好的鲁棒性，因为当环境改变时需要重新建立模型。
发明内容
本发明的目的在于克服现有技术的不足，提供一种用于机器人交互对象检测的3D视线方向估计方法，使用RGBD传感器头部姿势的估计并应用于机器人中，系统仅采用一个RGBD传感器，无需其他的传感器，具有硬件简单，实现容易的特点；训练强分类器来进行人眼检测，实现简单，检测跟踪效果好；在检测瞳孔中心时，采用投影积分法、霍夫变换法和透视校正，能够得到比较准确的瞳孔中心。
本发明的目的是通过以下技术方案来实现的：一种用于机器人交互对象检测的3D视线方向估计方法，它包括以下步骤：
S1.进行头部姿势估计：使用RGBD传感器采集彩色信息和深度信息，根据采集到的信息计算头部的三维位置信息T以及头部姿势R；
S2.计算出得到的头部姿势R与头部基准姿势R0之间的映射矩阵M，其中头部基准姿势R0为用户和机器人正面相对时的头部姿势，R0＝[0,0,1]；
S3.采集人眼图片，从采集到的人眼图片中提取出人眼区域图像；
S4.得到人眼区域图像后，对瞳孔中心进行检测和计算，得到最终的瞳孔中心pt；
S5.计算在头部坐标系中眼球中心的坐标C0，并根据C0计算出世界坐标系下眼球中心坐标CK和瞳孔中心坐标PK，设计算得到的眼球中心坐标为CK＝(Ox,Oy,Oz)，瞳孔中心坐标为PK＝(Px,Py,Pz)，根据这两点计算眼球注视方向g(X,Y,Z)：
然后计算用户视线方向为：
gd＝R*M-1*g。
在得到用户视线方向结果之后，还包括一个交互对象判断的步骤，包括以下子步骤：
S61.计算用户的视线方向与机器人视线的角度α；
S62.判断角度α是否小于预先设定的阈值μ：
(1)α小于预先设定的阈值μ，该用户是机器人的交互对象；
(2)α不小于预先设定的阈值μ，该用户不是机器人的交互对象。
所述的步骤S3包括以下子步骤：
S31.训练强分类器；
S32.采集人眼图片；
S33.使用训练好的强分类器从采集到的人眼图片中提取出人眼区域图像。
所述的步骤S31包括以下子步骤：
S311.采集大量图片，并将每个采集到的图片分离为不同的样本，得到人眼训练样本数据集，并设定一个最大的训练循环次数t；
S312.对每个样本权重值进行初始化,即初始化每个样本的概率分布；
S313.进行t次循环迭代，每次循环迭代需要进行：在当前的概率分布下训练弱分类器，得到基本的分类器；计算该弱分类器的分类误差率；更新训练数据集中每个样本的权重；
S314.把前面训练得到的t个弱分类器按照权重进行级联相连，得到最终的强分类器。
所述的步骤S4包括以下子步骤：
S41.得到人眼区域图像后，使用投影积分法求出图像的水平投影积分IPFw(y)和垂直投影积分IPFh(y)：
式中，w和h分别为图像的宽和高，I(x,y)为像素点(x,y)的像素值；
S42.经过两个方向的投影积分后，得到一个很小的包含瞳孔区域的图像，采用霍夫变换法得到瞳孔中心p；
S43.把该瞳孔中心通过映射矩阵M进行透视校正，得到最终瞳孔中心pt：
pt＝M*p，
式中，M为步骤S2中得到的映射矩阵。
所述的步骤S5包括以下子步骤：
S51.计算世界坐标系下瞳孔中心空间坐标PK和眼球中心空间坐标CK的函数关系：
式中，(up，vp)瞳孔中心在图像中的平面坐标，可以由步骤S4得到，(u0，v0)是图像中心的平面坐标，PK＝(xp,yp,zp)是瞳孔中心在世界坐标系下的空间坐标，f为RGBD传感器的焦距，CK是世界坐标系下眼球中心的空间坐标，K表示世界坐标系下瞳孔中心P到眼球中心C的空间距离，是固定值，故PK能够用CK表示，PK与CK的函数关系式表示为：
PK＝f1(CK)；
S52.计算世界坐标系下角膜体中心的空间坐标CPK眼球中心CK的空间坐标函数关系式：
式中，K0表示角膜体中心Cp到眼球中心C的距离，是固定值，故将步骤S51中得到的函数关系PK＝f1(CK)代入上式中能够得到CPK与CK的函数关系式，表示为：
CPK＝f2(CK)；
S53.计算世界坐标系下眼球中心CK的空间坐标与头部坐标系下眼球中心空间坐标C0的函数关系式：
CK＝R*C0+T＝f3(C0)，
其中T和R由步骤S1得到，作为头部坐标系和世界坐标系的转换矩阵，头部不动时，眼球在旋转过程中眼睛球的中心位置并没有改变。
S54.将步骤S53中得到的函数关系式代入步骤S51得到的函数关系式PK＝f1(CK)中，得到PK与C0的函数关系式：
PK＝f4(C0)，
将步骤S53中得到的函数关系式代入步骤S52中的到的函数关系式CPK＝f2(CK)中，得出CPK与C0的函数关系式：
CPK＝f5(C0)；
S55.同一个人的人眼的视轴和光轴之间的夹角是θ固定的，θ的余弦值表示为：
式中G表示世界坐标系中注视点的空间坐标，将CK＝f3(C0),PK＝f4(C0),CPK＝f5(C0)代入θ的余弦值表达式中，式中就只有C0和G两个未知量，C0和G的函数关系表示为：
C0＝f6(G)；
S56.通过标定程序，让用户注视一系列标定的点，并转化到世界坐标系中，得到世界坐标系中注视点的空间坐标G，将G的坐标代入公式C0＝f6(G)，的到头部坐标系下眼球中心空间坐标C0，将C0分别代入CK＝f3(C0)和PK＝f4(C0)中，得到世界坐标系下眼球中心坐标CK和瞳孔中心坐标PK；
S57.设计算得到的眼球中心坐标为CK＝(Ox,Oy,Oz)，瞳孔中心坐标为PK＝(Px,Py,Pz)，根据这两点计算眼球注视方向g(X,Y,Z)：
然后计算出用户视线方向为：
gd＝R*M-1*g。
本发明的有益效果是：(1)使用RGBD传感器头部姿势的估计并应用于机器人中，系统仅采用一个RGBD传感器，无需其他的传感器，具有硬件简单，实现容易的特点。
(2)训练强分类器来进行人眼检测，实现简单，检测跟踪效果好。
(3)在检测瞳孔中心时，采用投影积分法、霍夫变换法和透视校正，能够得到比较准确的瞳孔中心。
附图说明
图1为本发明的流程图；
图2为3D视线估计模型图；
图3为交互对象判断示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种用于机器人交互对象检测的3D视线方向估计方法，它包括以下步骤：
S1.进行头部姿势估计：使用RGBD传感器采集彩色信息和深度信息，根据采集到的信息计算头部的三维位置信息T以及头部姿势R；
S2.计算出得到的头部姿势R与头部基准姿势R0之间的映射矩阵M，其中头部基准姿势R0为用户和机器人正面相对时的头部姿势，R0＝[0,0,1]；
S3.采集人眼图片，从采集到的人眼图片中提取出人眼区域图像；
S4.得到人眼区域图像后，对瞳孔中心进行检测和计算，得到最终的瞳孔中心pt；
S5.计算在头部坐标系中眼球中心的坐标C0，并根据C0计算出世界坐标系下眼球中心坐标CK和瞳孔中心坐标PK，设计算得到的眼球中心坐标为CK＝(Ox,Oy,Oz)，瞳孔中心坐标为PK＝(Px,Py,Pz)，根据这两点计算眼球注视方向g(X,Y,Z)：
然后计算用户视线方向为：
gd＝R*M-1*g。
所述的步骤S3包括以下子步骤：
S31.训练强分类器；
S32.采集人眼图片；
S33.使用训练好的强分类器从采集到的人眼图片中提取出人眼区域图像。
所述的步骤S31包括以下子步骤：
S311.采集大量图片，并将每个采集到的图片分离为不同的样本，得到人眼训练样本数据集，并设定一个最大的训练循环次数t；
S312.对每个样本权重值进行初始化,即初始化每个样本的概率分布；
S313.进行t次循环迭代，每次循环迭代需要进行：在当前的概率分布下训练弱分类器，得到基本的分类器；计算该弱分类器的分类误差率；更新训练数据集中每个样本的权重；
S314.把前面训练得到的t个弱分类器按照权重进行级联相连，得到最终的强分类器。
所述的步骤S4包括以下子步骤：
S41.得到人眼区域图像后，使用投影积分法求出图像的水平投影积分IPFw(y)和垂直投影积分IPFh(y)：
式中，w和h分别为图像的宽和高，I(x,y)为像素点(x,y)的像素值；
S42.经过两个方向的投影积分后，得到一个很小的包含瞳孔区域的图像，采用霍夫变换法得到瞳孔中心p；
S43.把该瞳孔中心通过映射矩阵M进行透视校正，得到最终瞳孔中心pt：
pt＝M*p，
式中，M为步骤S2中得到的映射矩阵。
所述的步骤S5包括以下子步骤：如图2所示，为3D视线估计模型图。
S51.计算世界坐标系下瞳孔中心空间坐标PK和眼球中心空间坐标CK的函数关系：
式中，(up，vp)瞳孔中心在图像中的平面坐标，可以由步骤S4得到，(u0，v0)是图像中心的平面坐标，PK＝(xp,yp,zp)是瞳孔中心在世界坐标系下的空间坐标，f为RGBD传感器的焦距，CK是世界坐标系下眼球中心的空间坐标，K表示世界坐标系下瞳孔中心P到眼球中心C的空间距离，是固定值，故PK能够用CK表示，PK与CK的函数关系式表示为：
PK＝f1(CK)；
S52.计算世界坐标系下角膜体中心的空间坐标CPK眼球中心CK的空间坐标函数关系式：
式中，K0表示角膜体中心Cp到眼球中心C的距离，是固定值，故将步骤S51中得到的函数关系PK＝f1(CK)代入上式中能够得到CPK与CK的函数关系式，表示为：
CPK＝f2(CK)；
S53.计算世界坐标系下眼球中心CK的空间坐标与头部坐标系下眼球中心空间坐标C0的函数关系式：
CK＝R*C0+T＝f3(C0)，
其中T和R由步骤S1得到，作为头部坐标系和世界坐标系的转换矩阵，头部不动时，眼球在旋转过程中眼睛球的中心位置并没有改变。
S54.将步骤S53中得到的函数关系式代入步骤S51得到的函数关系式PK＝f1(CK)中，得到PK与C0的函数关系式：
PK＝f4(C0)，
将步骤S53中得到的函数关系式代入步骤S52中的到的函数关系式CPK＝f2(CK)中，得出CPK与C0的函数关系式：
CPK＝f5(C0)；
S55.同一个人的人眼的视轴和光轴之间的夹角是θ固定的，θ的余弦值表示为：
式中G表示世界坐标系中注视点的空间坐标，将CK＝f3(C0),PK＝f4(C0),CPK＝f5(C0)代入θ的余弦值表达式中，式中就只有C0和G两个未知量，C0和G的函数关系表示为：
C0＝f6(G)；
S56.通过标定程序，让用户注视一系列标定的点，并转化到世界坐标系中，得到世界坐标系中注视点的空间坐标G，将G的坐标代入公式C0＝f6(G)，的到头部坐标系下眼球中心空间坐标C0，将C0分别代入CK＝f3(C0)和PK＝f4(C0)中，得到世界坐标系下眼球中心坐标CK和瞳孔中心坐标PK；
S57.设计算得到的眼球中心坐标为CK＝(Ox,Oy,Oz)，瞳孔中心坐标为PK＝(Px,Py,Pz)，根据这两点计算眼球注视方向g(X,Y,Z)：
然后计算出用户视线方向为：
gd＝R*M-1*g。
如图3所示，为交互对象判断示意图，在得到用户视线方向结果之后，还包括一个交互对象判断的步骤，包括以下子步骤：
S61.计算用户的视线方向与机器人视线的角度α；
S62.判断角度α是否小于预先设定的阈值μ：
(1)α小于预先设定的阈值μ，该用户是机器人的交互对象；
(2)α不小于预先设定的阈值μ，该用户不是机器人的交互对象。
需要说明的是:在计算头部姿势时，可能会遇到用户和机器人正面相对和非正面相对的情况，非正面相对时，摄像头拍摄的图像有透视变化，这影响到后续的瞳孔中心三维坐标检测，故需要求出头部姿势R与R0的映射矩阵M，在后续进行瞳孔中心的三维坐标检测，再通过映射矩阵M进行透视校正；在正面相对，头部姿势R与R0相当于两个相同的矩阵进行映射，后续进行透视校正或者不进行透视校正都一样，并不影响瞳孔中心的三维坐标检测结果；只是此处统一进行求映射矩阵，后续统一进行校正，不用分情况讨论，更加简单方便。

Claims (5)

1.一种用于机器人交互对象检测的3D视线方向估计方法，其特征在于：它包括以下步骤：
S1.进行头部姿势估计：使用RGBD传感器采集彩色信息和深度信息，根据采集到的信息计算头部的三维位置信息T以及头部姿势R；
S2.计算出得到的头部姿势R与头部基准姿势R0之间的映射矩阵M，其中头部基准姿势R0为用户和机器人正面相对时的头部姿势；
S3.采集人眼图片，并从采集到的人眼图片中提取出人眼区域图像；
S4.得到人眼区域图像后，对瞳孔中心进行检测和计算，得到最终的瞳孔中心pt；
S5.计算在头部坐标系中眼球中心的坐标C0，并根据C0计算出世界坐标系下眼球中心坐标CK和瞳孔中心坐标PK，设计算得到的眼球中心坐标为CK＝(Ox,Oy,Oz)，瞳孔中心坐标为PK＝(Px,Py,Pz)，根据这两点计算眼球注视方向g＝(X,Y,Z)：
<mrow> <mfrac> <mrow> <mi>X</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>x</mi> </msub> </mrow> <mrow> <msub> <mi>P</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>O</mi> <mi>x</mi> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>Y</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>y</mi> </msub> </mrow> <mrow> <msub> <mi>P</mi> <mi>y</mi> </msub> <mo>-</mo> <msub> <mi>O</mi> <mi>y</mi> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>Z</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>z</mi> </msub> </mrow> <mrow> <msub> <mi>P</mi> <mi>z</mi> </msub> <mo>-</mo> <msub> <mi>O</mi> <mi>z</mi> </msub> </mrow> </mfrac> <mo>,</mo> </mrow>
然后计算用户视线方向为：
gd＝R*M-1*g；
在得到用户视线方向结果之后，还包括一个交互对象判断的步骤，包括以下子步骤：
S61.计算用户的视线方向与机器人视线的角度α；
S62.判断角度α是否小于预先设定的阈值μ：
(1)α小于预先设定的阈值μ，该用户是机器人的交互对象；
(2)α不小于预先设定的阈值μ，该用户不是机器人的交互对象。
2.根据权利要求1所述的一种用于机器人交互对象检测的3D视线方向估计方法，其特征在于：所述的步骤S3包括以下子步骤：
S31.训练强分类器；
S32.采集人眼图片；
S33.使用训练好的强分类器从采集到的人眼图片中提取出人眼区域图像。
3.根据权利要求2所述的一种用于机器人交互对象检测的3D视线方向估计方法，其特征在于：所述的步骤S31包括以下子步骤：
S311.采集大量图片，并将每个采集到的图片分离为不同的样本，得到人眼训练样本数据集，并设定一个最大的训练循环次数t；
S312.对每个样本权重值进行初始化,即初始化每个样本的概率分布；
S313.进行t次循环迭代，每次循环迭代需要进行：在当前的概率分布下训练弱分类器，得到基本的分类器；计算该弱分类器的分类误差率；更新训练数据集中每个样本的权重；
S314.把前面训练得到的t个弱分类器按照权重进行级联相连，得到最终的强分类器。
4.根据权利要求1所述的一种用于机器人交互对象检测的3D视线方向估计方法，其特征在于：所述的步骤S4包括以下子步骤：
S41.得到人眼区域图像后，使用投影积分法求出图像的水平投影积分IPFw(y)和垂直投影积分IPFh(y)：
<mrow> <msub> <mi>IPF</mi> <mi>w</mi> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>w</mi> </munderover> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>;</mo> <msub> <mi>IPF</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>h</mi> </munderover> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
式中，w和h分别为图像的宽和高，I(x,y)为像素点(x,y)的像素值；
S42.经过两个方向的投影积分后，得到一个很小的包含瞳孔区域的图像，采用霍夫变换法得到瞳孔中心p；
S43.把该瞳孔中心通过映射矩阵M进行透视校正，得到最终瞳孔中心pt：
pt＝M*p，
式中，M为步骤S2中得到的映射矩阵。
5.根据权利要求1所述的一种用于机器人交互对象检测的3D视线方向估计方法，其特征在于：所述的步骤S5包括以下子步骤：
S51.计算世界坐标系下瞳孔中心空间坐标PK和眼球中心空间坐标CK的函数关系：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <msub> <mi>x</mi> <mi>p</mi> </msub> <mrow> <msub> <mi>u</mi> <mi>p</mi> </msub> <mo>-</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <msub> <mi>y</mi> <mi>p</mi> </msub> <mrow> <msub> <mi>v</mi> <mi>p</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <msub> <mi>z</mi> <mi>p</mi> </msub> <mi>f</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>P</mi> <mi>K</mi> </msub> <mo>-</mo> <msub> <mi>C</mi> <mi>K</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>=</mo> <mi>K</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
式中，(up，vp)瞳孔中心在图像中的平面坐标，可以由步骤S4得到，(u0，v0)是图像中心的平面坐标，PK＝(xp,yp,zp)是瞳孔中心在世界坐标系下的空间坐标，f为RGBD传感器的焦距，CK是世界坐标系下眼球中心的空间坐标，K表示世界坐标系下瞳孔中心P到眼球中心C的空间距离，是固定值，故PK能够用CK表示，PK与CK的函数关系式表示为：
PK＝f1(CK)；
S52.计算世界坐标系下角膜体中心的空间坐标CPK和眼球中心CK的空间坐标函数关系式：
<mrow> <msub> <mi>C</mi> <mrow> <mi>P</mi> <mi>K</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>C</mi> <mi>K</mi> </msub> <mo>+</mo> <mfrac> <msub> <mi>K</mi> <mn>0</mn> </msub> <mi>K</mi> </mfrac> <mrow> <mo>(</mo> <msub> <mi>P</mi> <mi>K</mi> </msub> <mo>-</mo> <msub> <mi>C</mi> <mi>K</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
式中，K0表示角膜体中心Cpk到眼球中心C的距离，是固定值，故将步骤S51中得到的函数关系PK＝f1(CK)代入上式中能够得到CPK与CK的函数关系式，表示为：CPK＝f2(CK)；
S53.计算世界坐标系下眼球中心CK的空间坐标与头部坐标系下眼球中心空间坐标C0的函数关系式：
CK＝R*C0+T＝f3(C0)，
其中T和R由步骤S1得到，作为头部坐标系和世界坐标系的转换矩阵，头部不动时，眼球在旋转过程中眼睛球的中心位置并没有改变；
S54.将步骤S53中得到的函数关系式代入步骤S51得到的函数关系式PK＝f1(CK)中，得到PK与C0的函数关系式：
PK＝f4(C0)，
将步骤S53中得到的函数关系式代入步骤S52中的到的函数关系式CPK＝f2(CK)中，得出CPK与C0的函数关系式：
CPK＝f5(C0)；
S55.同一个人的人眼的视轴和光轴之间的夹角是θ固定的，θ的余弦值表示为：
<mrow> <mfrac> <mrow> <msub> <mi>C</mi> <mrow> <mi>P</mi> <mi>K</mi> </mrow> </msub> <mi>G</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>C</mi> <mrow> <mi>P</mi> <mi>K</mi> </mrow> </msub> <msub> <mi>P</mi> <mi>K</mi> </msub> </mrow> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>C</mi> <mrow> <mi>P</mi> <mi>K</mi> </mrow> </msub> <mi>G</mi> <mo>|</mo> <mo>|</mo> <mo>&amp;CenterDot;</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>C</mi> <mrow> <mi>P</mi> <mi>K</mi> </mrow> </msub> <msub> <mi>P</mi> <mi>K</mi> </msub> <mo>|</mo> <mo>|</mo> </mrow> </mfrac> <mo>=</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> <mo>,</mo> </mrow>
式中G表示世界坐标系中注视点的空间坐标，将CK＝f3(C0)，PK＝f4(C0)，CPK＝f5(C0)代入θ的余弦值表达式中，式中就只有C0和G两个未知量，C0和G的函数关系表示为：
C0＝f6(G)；
S56.通过标定程序，让用户注视一系列标定的点，并转化到世界坐标系中，得到世界坐标系中注视点的空间坐标G，将G的坐标代入公式C0＝f6(G)，得到头部坐标系下眼球中心空间坐标C0，将C0分别代入CK＝f3(C0)和PK＝f4(C0)中，得到世界坐标系下眼球中心坐标CK和瞳孔中心坐标PK；
S57.设计算得到的眼球中心坐标为CK＝(Ox,Oy,Oz)，瞳孔中心坐标为PK＝(Px,Py,Pz)，根据这两点计算眼球注视方向g(X,Y,Z)：
<mrow> <mfrac> <mrow> <mi>X</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>x</mi> </msub> </mrow> <mrow> <msub> <mi>P</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>O</mi> <mi>x</mi> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>Y</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>y</mi> </msub> </mrow> <mrow> <msub> <mi>P</mi> <mi>y</mi> </msub> <mo>-</mo> <msub> <mi>O</mi> <mi>y</mi> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>Z</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>z</mi> </msub> </mrow> <mrow> <msub> <mi>P</mi> <mi>z</mi> </msub> <mo>-</mo> <msub> <mi>O</mi> <mi>z</mi> </msub> </mrow> </mfrac> <mo>,</mo> </mrow>
然后计算出用户视线方向为：
gd＝R*M-1*g。
CN201510406557.XA 2015-07-10 2015-07-10 一种用于机器人交互对象检测的3d视线方向估计方法 Active CN104951808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510406557.XA CN104951808B (zh) 2015-07-10 2015-07-10 一种用于机器人交互对象检测的3d视线方向估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510406557.XA CN104951808B (zh) 2015-07-10 2015-07-10 一种用于机器人交互对象检测的3d视线方向估计方法

Publications (2)

Publication Number Publication Date
CN104951808A CN104951808A (zh) 2015-09-30
CN104951808B true CN104951808B (zh) 2018-04-27

Family

ID=54166448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510406557.XA Active CN104951808B (zh) 2015-07-10 2015-07-10 一种用于机器人交互对象检测的3d视线方向估计方法

Country Status (1)

Country Link
CN (1) CN104951808B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2912310T3 (es) 2016-01-05 2022-05-25 Reald Spark Llc Corrección de la mirada en imágenes multivista
CN105759973A (zh) * 2016-03-09 2016-07-13 电子科技大学 一种基于3d视线估计的远近距离人机交互系统与方法
US10068134B2 (en) * 2016-05-03 2018-09-04 Microsoft Technology Licensing, Llc Identification of objects in a scene using gaze tracking techniques
CN106095375B (zh) * 2016-06-27 2021-07-16 联想(北京)有限公司 显示控制方法和装置
CN106598221B (zh) * 2016-11-17 2019-03-15 电子科技大学 基于眼部关键点检测的3d视线方向估计方法
CN106803065A (zh) * 2016-12-27 2017-06-06 广州帕克西软件开发有限公司 一种基于深度信息的瞳距测量方法以及系统
CN107009357B (zh) * 2017-04-05 2019-03-26 武汉科技大学 一种基于nao机器人抓取物体的方法
CN107223082B (zh) * 2017-04-21 2020-05-12 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
CN111183405A (zh) * 2017-08-08 2020-05-19 瑞尔D斯帕克有限责任公司 调整头部区域的数字表示
CN107818310B (zh) * 2017-11-03 2021-08-06 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN108052079B (zh) * 2017-12-12 2021-01-15 北京小米移动软件有限公司 设备控制方法、装置、设备控制装置及存储介质
JP6922766B2 (ja) * 2018-01-31 2021-08-18 トヨタ自動車株式会社 コミュニケーションロボットおよびその制御プログラム
CN108803866A (zh) * 2018-03-27 2018-11-13 北京七鑫易维信息技术有限公司 输出信息的方法、装置和系统
CN108597009B (zh) * 2018-04-10 2022-03-25 上海工程技术大学 一种基于方向角信息进行三维目标检测的方法
CN108891414A (zh) * 2018-05-22 2018-11-27 通化市聚诚网络科技有限公司 一种车道变换辅助方法及装置
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN109145864A (zh) * 2018-09-07 2019-01-04 百度在线网络技术（北京）有限公司 确定视线区域的方法、装置、存储介质和终端设备
CN109034137B (zh) * 2018-09-07 2019-11-19 百度在线网络技术（北京）有限公司 头部姿态标记更新方法、装置、存储介质和终端设备
CN110969060A (zh) * 2018-09-29 2020-04-07 北京市商汤科技开发有限公司 神经网络训练、视线追踪方法和装置及电子设备
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
CN109483409B (zh) * 2018-11-21 2020-10-02 无锡荣恩科技有限公司 航空零部件自动补喷的除漆方法
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN113807330B (zh) * 2021-11-19 2022-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 面向资源受限场景的三维视线估计方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4998364B2 (ja) * 2008-04-28 2012-08-15 オムロン株式会社 視線検出装置および方法、並びに、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法

Also Published As

Publication number Publication date
CN104951808A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104951808B (zh) 一种用于机器人交互对象检测的3d视线方向估计方法
CN105913487B (zh) 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
CN109815907B (zh) 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
CN102749991B (zh) 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN106251399B (zh) 一种基于lsd-slam的实景三维重建方法及实施装置
CN104173054B (zh) 基于双目视觉技术的人体身高测量方法及其装置
CN110032278A (zh) 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN102184541B (zh) 多目标优化人体运动跟踪方法
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
CN110599540A (zh) 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN107004275A (zh) 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和系统
CN108717531A (zh) 基于Faster R-CNN的人体姿态估计方法
CN106355147A (zh) 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN109919141A (zh) 一种基于骨架姿态的行人再识别方法
CN104090664B (zh) 一种交互式投影方法、装置及系统
CN108629946A (zh) 一种基于rgbd传感器的人体跌倒检测方法
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
CN110555408B (zh) 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法
CN105740846A (zh) 一种基于深度相机的水平视角估计及校准方法
CN102622916A (zh) 人体穴位投影演示方法及装置
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
Anilkumar et al. Pose estimated yoga monitoring system
CN109919975A (zh) 一种基于坐标标定的广域监控运动目标关联方法
CN107861625A (zh) 基于3d空间模型的视线跟踪系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant