CN110275608B - 人眼视线追踪方法 - Google Patents

人眼视线追踪方法 Download PDF

Info

Publication number
CN110275608B
CN110275608B CN201910374188.9A CN201910374188A CN110275608B CN 110275608 B CN110275608 B CN 110275608B CN 201910374188 A CN201910374188 A CN 201910374188A CN 110275608 B CN110275608 B CN 110275608B
Authority
CN
China
Prior art keywords
human eye
preset
sight line
positions
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910374188.9A
Other languages
English (en)
Other versions
CN110275608A (zh
Inventor
李映辉
王继良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910374188.9A priority Critical patent/CN110275608B/zh
Publication of CN110275608A publication Critical patent/CN110275608A/zh
Application granted granted Critical
Publication of CN110275608B publication Critical patent/CN110275608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种人眼视线追踪方法,方法包括:获取目标人眼位于当前位置下多个预设视线位置的人眼特征样本;根据当前位置下各预设视线位置的人眼特征样本和预先获取的目标人眼位于参考位置下分别注视屏幕上的多个预设视线位置的人眼特征,获取当前位置下各预设视线位置的人眼特征样本与参考位置下的人眼特征之间的函数关系;获取目标人眼位于当前位置下注视屏幕上未知视线位置的目标人眼特征,根据函数关系获取目标人眼特征对应的参考位置下的人眼特征,根据目标人眼特征对应的参考位置下的人眼特征获取未知视线位置。本发明实施例实现实时追踪,且追踪精度高。

Description

人眼视线追踪方法
技术领域
本发明属于人机交互技术领域,尤其涉及一种人眼视线追踪方法及装置。
背景技术
人眼追踪技术可以提供一种直观、易用的人机交互方式,广泛应用在设备验证、游戏交互中。例如,用户通过控制视线的移动轨迹解锁设备,根据视线的方向进行游戏的辅助操作等。
对于人眼追踪技术而言,最重要的是能够实时、精确地定位视线的位置。传统的人眼追踪技术使用红外光源配合摄像头定位视线,红外线经眼球表面反射至摄像头,会改变眼球的成像,人眼的瞳孔会变成白色,同时红外线在眼球表面的反射点也会变为白色。利用这种变化,可以较为精确地定位出瞳孔和反射点的位置。当仅有眼球转动时,因为眼球可以看作球体,所以反射点的位置不变,而瞳孔的位置会发生改变。通过比较瞳孔和反射点的相对位置变化,可以计算出视线的移动位置。但是,这种技术依赖于红外设备,会增加设备成本,并且追踪精度受头部移动的影响较大,不适合集成在移动设备上。
此外,已有的基于摄像头的人眼追踪技术可以分为两类,第一类使用机器学习的方法,从眼球图像中提取图像特征,通过训练模型,将其映射为视线的位置;第二类利用图像识别方法,从图像中识别出眼球的几何结构,进而分析得到视线位置。第一类方法的缺陷是需要大量的训练数据,而且需要大量的计算,无法保证追踪的实时性;第二类方法受到图像识别精度的制约,追踪的精度较差。
发明内容
为克服上述现有的人眼视线追踪方法需要红外设备,不能保证实时性且精度较差的问题或者至少部分地解决上述问题,本发明实施例提供一种人眼视线追踪方法及装置。
根据本发明实施例的第一方面,提供一种人眼视线追踪方法,包括:
获取目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置的人眼特征样本;
根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于预设参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征,获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系;
获取目标人眼位于所述当前位置下注视所述屏幕上未知视线位置的目标人眼特征,根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征,根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置。
根据本发明实施例的第二个方面,还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的人眼视线追踪方法。
根据本发明实施例的第三个方面,还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的人眼视线追踪方法。
本发明实施例提供一种人眼视线追踪方法及装置,该方法通过根据参考位置下人眼特征与预设视线位置的映射关系,获取当前位置下各预设视线位置的人眼特征样本与参考位置下人眼特征之间的转换函数,在进行人眼视线追踪时使用转换函数将追踪时的人眼特征转换为参考位置下的人眼特征,然后利用该人眼特征与预设视线位置之间的映射关系追踪到设备使用者的视线位置,实现对人眼视线的实时追踪,且精度高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人眼视线追踪方法整体流程示意图;
图2为本发明又一实施例提供的人眼视线追踪方法流程示意图;
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种人眼视线追踪方法,图1为本发明实施例提供的人眼视线追踪方法整体流程示意图,该方法包括:S101,获取目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置的人眼特征样本;
其中,设备可以为移动设备,如手机,本实施例不限于设备的种类。可以使用该设备的前置摄像头获取人眼特征样本,也可以通过其他摄像头获取。前置摄像头位于设备的正面,用于自拍。目标人眼为需要对其视线进行追踪的人眼,也为使用该设备的用户的人眼。当前位置为目标人眼此时此刻的位置。目标人眼的预设视线位置为目标人眼注视设备屏幕上的位置,且该位置预先设定。可以采取多种方式让目标人眼注视预先视线位置,如让使用设备的用户点击屏幕上的指定位置,这是因为用户在点击任一指定位置时目标人眼注视着该指定位置,但本实施例不限于这种方式。将目标人眼位于当前位置下注视每个预设视线位置获取的相应目标人眼的特征作为目标人眼位于当前位置的人眼特征样本。基于前置摄像头获取目标人眼的人眼特征样本是指通过前置摄像头采集目标人眼位于当前位置下注视各预设视线位置的图像,从各预设视线位置的图像中提取出人眼特征,获取人眼特征样本。
S102,根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征,获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系;
参考位置为当前时刻之前目标人眼某一时刻的位置,该位置为预先设定的。目标人眼位于参考位置下的预设视线位置比位于当前位置下的预设视线位置数量更多,可以包含全部或部分当前位置下的预设视线位置,也可以不包含,两者的获取方法可以相同,也可以不同。根据当前位置下各预设视线位置的人眼特征样本和参考位置下各预设视线位置的人眼特征,获取两个位置的人眼特征之间的函数关系,本实施例不限于获取函数关系的方法,也不限定函数关系的种类。两个位置的人眼特征之间的函数关系具体为当前位置下每个预设视线位置的人眼特征样本与参考位置下所有预设视线位置的人眼特征之间的函数关系。
本实施例建立当前位置下的人眼特征和参考位置下的人眼特征之间的转换函数。该转换函数可以通过如下过程建立,首先收集少量当前位置下的人眼特征样本及其对应的预设视线位置,这个过程称为校准,收集到的数据称为校准数据。假设收集到的人眼特征样本为E’={E’1,E’2,…,E’c},其对应的预设视线位置为G’={G’1,G’2,…,G’c},c为当前位置下的预设视线位置的个数。然后,对于每一个预设视线位置G’j,计算该预设视线位置对应的参考位置下的人眼特征。
S103,获取目标人眼位于所述当前位置下注视所述屏幕上未知视线位置的目标人眼特征,根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征,根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置。
目标人眼特征为对目标人眼进行视线追踪时获取的目标人眼的特征。将目标人眼特征输入到函数关系中进行计算,获取目标人眼特征对应的参考位置下的人眼特征。根据该参考位置下的人眼特征追踪目标人眼当前的视线位置。
本实施例通过根据参考位置下人眼特征与预设视线位置的映射关系,获取当前位置下各预设视线位置的人眼特征样本与参考位置下人眼特征之间的转换函数,在进行人眼视线追踪时使用转换函数将追踪时的人眼特征转换为参考位置下的人眼特征,然后利用该人眼特征与预设视线位置之间的映射关系追踪到设备使用者的视线位置,实现对人眼视线的实时追踪,且精度高。
在上述实施例的基础上,本实施例中获取目标人眼位于当前位置下分别注视设备的屏幕上的多个预设视线位置的人眼特征样本的步骤之前还包括:在所述屏幕上显示一个亮斑,并提示设备的用户始终注视所述亮斑;将所述亮斑移动到所述屏幕上的多个预设位置,当所述亮斑移动到任一所述预设位置时,获取目标人眼位于所述参考位置下注视该亮斑的人眼图像;从该预设位置的人眼图像中提取出该预设位置的人眼特征,并将该预设位置作为预设该位置的人眼特征对应的预设视线位置。
具体地,本实施例建立参考位置下目标人眼的人眼特征和预设视线位置之间的映射关系。该映射关系可以通过以下过程建立,首先在设备的屏幕上显示一个亮斑,并提醒用户始终注视该亮斑。该亮斑以预设的蛇形轨迹从屏幕的左上角移动到屏幕的右下角,在光斑移动的过程中,用户需要始终注视该亮斑。在这个过程中,系统开启设备的前置摄像头,捕捉用户注视每个亮斑的眼部图片并提取出人眼特征,然后记录下该人眼特征以及与其相对应的亮斑位置。在亮斑的移动过程中,用户相对设备的位置需要保持稳定,这个位置被称为参考位置。由于用户始终注视亮斑,因此亮斑的位置就是用户的视线位置。设第i个视线位置为Gi,其对应的人眼特征Ei,那么收集到的人眼特征数据及其对应的视线位置数据可以分别表示为{E1,E2,…,En}和{G1,G2,…,Gn},其中n是参考位置下预设视线位置的个数。
在上述实施例的基础上,本实施例中获取目标人眼位于当前位置下分别注视设备的屏幕上的多个预设视线位置的人眼特征样本的步骤具体包括:在所述屏幕上预设多个视线位置,对于任一预设视线位置,当获取到点击该预设视线位置的操作时,获取所述目标人眼位于当前位置下注视该预设视线位置的人眼图像;从该预设视线位置的人眼图像中提取出该预设视线位置的人眼特征样本。
具体地,在屏幕上预设多个视线位置,提醒用户对各预设视线位置进行点击。当获取到用户点击某一预设视线位置的操作时,说明用户此时注视该预设视线位置,使用前置摄像头拍摄目标人眼的图像,从该图像中提取出人眼特征,从而获取该预设视线位置对应的人眼特征样本。
在上述实施例的基础上,本实施例中根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征,获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系的步骤具体包括:对于所述当前位置下的任一所述预设视线位置,从所述参考位置下的所有预设视线位置中选择距离该预设视线位置最近的第一预设个数的预设视线位置;根据选择出的所有所述预设视线位置对应的参考位置下的人眼特征,获取该预设视线位置对应的参考位置下的综合人眼特征;获取该预设视线位置的人眼特征样本与所述综合人眼特征之间的函数关系。
具体地,对于当前位置下的任一个预设视线位置G’j,在预先收集到的参考位置下的预设视线位置数据{G1,G2,…,Gn}中找到距离其最近的k1个点
Figure GDA0002442711190000061
以及
Figure GDA0002442711190000062
中各预设视线位置所对应的参考位置下的人眼特征
Figure GDA0002442711190000063
对于视线位置G’j,其对应的当前位置下的人眼特征样本为E’j,其对应的参考位置下的综合人眼特征
Figure GDA0002442711190000064
通过
Figure GDA0002442711190000065
Figure GDA0002442711190000066
获取。综合人眼特征为选择出的k1个参考位置下的人眼特征综合在一起的特征,本实施例不限于综合的方式。k1为第一预设个数。
在上述实施例的基础上,本实施例中通过以下公式根据选择出的所有所述预设视线位置对应的参考位置下的人眼特征,获取该预设视线位置对应的参考位置下的综合人眼特征:
Figure GDA0002442711190000071
其中,k1为所述第一预设个数,Ejm为选择出的第m个所述预设视线位置对应的参考位置下的人眼特征,G'j为该预设视线位置,Gjm为选择出的第m个所述预设视线位置,
Figure GDA0002442711190000076
为预设视线位置对应的参考位置下的综合人眼特征,||·||运算符表示计算两个向量之间的距离,该距离可以为曼哈顿距离,但本实施不局限于这种距离。
在上述实施例的基础上,本实施例中获取该预设视线位置的人眼特征样本与所述综合人眼特征之间的函数关系的步骤具体包括:
Figure GDA0002442711190000072
通过以下目标函数获取S和T的值:
Figure GDA0002442711190000073
其中,
Figure GDA0002442711190000074
为所述综合人眼特征,E'i为该预设视线位置的人眼特征样本,S为矩阵,T为与
Figure GDA0002442711190000075
维度相同的向量,c为当前位置下预设视线位置的个数。
具体地,本实施例中设当前位置下该预设视线位置的人眼特征和参考位置下的综合人眼特征之间有线性关系,上式线性方程中S和T为待定参数,通过求解S和T可以获取到当前位置下该预设视线位置的人眼特征和参考位置下的综合人眼特征之间的转换函数。S和T的值可以通过求函数的最优解得到,目标函数如上式。
在上述实施例的基础上,本实施例中根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征的步骤具体包括:根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的综合人眼特征;相应地,根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置的步骤具体包括:从所述参考位置下的所有人眼特征中选择与所述目标人眼特征最相似的第二预设个数的人眼特征;根据选择出的人眼特征和所述目标人眼特征对应的所述参考位置下的综合人眼特征,获取所述未知视线位置。
具体地,在对目标人眼进行视线追踪时,使用前置摄像头捕捉用户的眼部图像,并提取出当前位置下的目标人眼特征e,然后根据转换函数计算出目标人眼特征对应的参考位置下的综合人眼特征
Figure GDA0002442711190000081
在预先收集到的参考位置下的人眼特征数据中找到与
Figure GDA0002442711190000082
最相似的k2个特征
Figure GDA0002442711190000083
和其对应的预设视线位置
Figure GDA0002442711190000084
k2为第二预设个数。根据
Figure GDA0002442711190000085
Figure GDA0002442711190000086
计算目标人眼特征对应的未知视线位置
Figure GDA0002442711190000087
在上述实施例的基础上,本实施例通过以下公式根据选择出的人眼特征和所述目标人眼特征对应的所述参考位置下的综合人眼特征,获取所述未知视线位置:
Figure GDA0002442711190000088
其中,
Figure GDA0002442711190000089
为所述目标人眼特征对应的所述参考位置下的综合人眼特征,k2为所述第二预设个数,
Figure GDA00024427111900000810
选择出的第m个所述人眼特征对应的参考位置下的预设视线位置,
Figure GDA00024427111900000811
选择出的第m个所述人眼特征,
Figure GDA00024427111900000812
为所述未知视线位置,||·||运算符表示计算两个向量之间的距离,该距离可以为曼哈顿距离,但本实施不局限于这种距离。
如图2所示,本实施例包括三个部分,即建立映射关系、建立转换函数和计算未知视线位置。建立映射关系包括建立目标人眼位于参考位置下注视设备屏幕上各预设视线位置的人眼特征与相应的预设视线位置之间的映射关系,将两者之间的关系作为映射数据。建立映射关系包括将目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置的人眼特征样本作为校准数据,根据校准数据计算当前位置下各预设视线位置的人眼特征与所述参考位置下的人眼特征之间的转换函数。在计算转换函数时需要根据目标函数确定转换函数的参数。其中当前位置下的预设实现位置可以根据屏幕点击位置确定。计算未知视线位置包括从当前位置下的面部图像中提取当前位置下的人眼特征,提取的当前位置下的人眼特征一部分用于计算转换函数参数,还有一部分作为转换函数的输入,获取其对应的参考位置下的人眼特征,将参考位置下的人眼特征作为映射函数的输入获取未知视线位置。
本实施例提供一种电子设备,图3为本发明实施例提供的电子设备整体结构示意图,该设备包括:至少一个处理器301、至少一个存储器302和总线303;其中,
处理器301和存储器302通过总线303完成相互间的通信;
存储器302存储有可被处理器301执行的程序指令,处理器调用程序指令能够执行上述各方法实施例所提供的方法,例如包括:获取目标人眼位于当前位置下多个预设视线位置的人眼特征样本;根据当前位置下各预设视线位置的人眼特征样本和基于前置摄像头预先获取的目标人眼位于参考位置下分别注视屏幕上的多个预设视线位置的人眼特征,获取当前位置下各预设视线位置的人眼特征样本与参考位置下的人眼特征之间的函数关系;基于前置摄像头获取目标人眼位于当前位置下注视屏幕未知视线位置的目标人眼特征,根据函数关系获取目标人眼特征对应的参考位置下的人眼特征,根据目标人眼特征对应的参考位置下的人眼特征获取未知视线位置
本实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的方法,例如包括:获取目标人眼位于当前位置下多个预设视线位置的人眼特征样本;根据当前位置下各预设视线位置的人眼特征样本和基于前置摄像头预先获取的目标人眼位于参考位置下分别注视屏幕上的多个预设视线位置的人眼特征,获取当前位置下各预设视线位置的人眼特征样本与参考位置下的人眼特征之间的函数关系;基于前置摄像头获取目标人眼位于当前位置下注视屏幕未知视线位置的目标人眼特征,根据函数关系获取目标人眼特征对应的参考位置下的人眼特征,根据目标人眼特征对应的参考位置下的人眼特征获取未知视线位置。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种人眼视线追踪方法,其特征在于,包括:
获取目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置产生的人眼特征样本;
根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征,获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系;
获取目标人眼位于所述当前位置下注视所述屏幕上未知视线位置的目标人眼特征,根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征,根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置;
根据所述当前位置下各预设视线位置的人眼特征样本和预先获取的所述目标人眼位于参考位置下分别注视所述屏幕上的多个预设视线位置的人眼特征,获取所述当前位置下各预设视线位置的人眼特征样本与所述参考位置下的人眼特征之间的函数关系的步骤具体包括:
对于所述当前位置下的任一所述预设视线位置,从所述参考位置下的所有预设视线位置中选择距离该预设视线位置最近的第一预设个数的预设视线位置;
根据选择出的所有所述预设视线位置对应的参考位置下的人眼特征,获取该预设视线位置对应的参考位置下的综合人眼特征;
获取该预设视线位置的人眼特征样本与所述综合人眼特征之间的函数关系;
通过以下公式根据选择出的所有所述预设视线位置对应的参考位置下的人眼特征,获取该预设视线位置对应的参考位置下的综合人眼特征:
Figure FDA0002442711180000011
其中,k1为所述第一预设个数,
Figure FDA0002442711180000012
为选择出的第m个所述预设视线位置对应的参考位置下的人眼特征,G'j为该预设视线位置,
Figure FDA0002442711180000021
为选择出的第m个所述预设视线位置,
Figure FDA0002442711180000022
为预设视线位置对应的参考位置下的综合人眼特征,||·||运算符表示计算两个向量之间的距离。
2.根据权利要求1所述的人眼视线追踪方法,其特征在于,获取目标人眼位于当前位置下分别注视设备的屏幕上的各预设视线位置的人眼特征样本的步骤之前还包括:
在所述屏幕上显示一个亮斑,并提示设备的用户始终注视所述亮斑;
将所述亮斑移动到所述屏幕上的多个预设位置,当所述亮斑移动到任一所述预设位置时,获取目标人眼位于所述参考位置下注视该亮斑的人眼图像;
从该预设位置的人眼图像中提取出该预设位置的人眼特征,并将该预设位置作为预设该位置的人眼特征对应的预设视线位置。
3.根据权利要求1所述的人眼视线追踪方法,其特征在于,获取目标人眼位于当前位置下分别注视设备的屏幕上的多个预设视线位置的人眼特征样本的步骤具体包括:
在所述屏幕上预设多个视线位置,对于任一预设视线位置,当获取到点击该预设视线位置的操作时,获取所述目标人眼位于当前位置下注视该预设视线位置的人眼图像;
从该预设视线位置的人眼图像中提取出该预设视线位置的人眼特征样本。
4.根据权利要求1所述的人眼视线追踪方法,其特征在于,获取该预设视线位置的人眼特征样本与所述综合人眼特征之间的函数关系的步骤具体包括:
Figure FDA0002442711180000023
通过以下目标函数获取S和T的值:
Figure FDA0002442711180000024
其中,
Figure FDA0002442711180000025
为所述综合人眼特征,E'i为该预设视线位置的人眼特征样本,S为矩阵,T为与
Figure FDA0002442711180000031
维度相同的向量,c为当前位置下预设视线位置的个数。
5.根据权利要求1所述的人眼视线追踪方法,其特征在于,根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的人眼特征的步骤具体包括:
根据所述函数关系获取所述目标人眼特征对应的所述参考位置下的综合人眼特征;
相应地,根据所述目标人眼特征对应的所述参考位置下的人眼特征获取所述未知视线位置的步骤具体包括:
从所述参考位置下的所有人眼特征中选择与所述目标人眼特征最相似的第二预设个数的人眼特征;
根据选择出的人眼特征和所述目标人眼特征对应的所述参考位置下的综合人眼特征,获取所述未知视线位置。
6.根据权利要求5所述的人眼视线追踪方法,其特征在于,通过以下公式根据选择出的人眼特征和所述目标人眼特征对应的所述参考位置下的综合人眼特征,获取所述未知视线位置:
Figure FDA0002442711180000032
其中,
Figure FDA0002442711180000033
为所述目标人眼特征对应的所述参考位置下的综合人眼特征,k2为所述第二预设个数,
Figure FDA0002442711180000034
为选择出的第m个所述人眼特征对应的预设视线位置,
Figure FDA0002442711180000035
为选择出的第m个所述人眼特征,
Figure FDA0002442711180000036
为所述未知视线位置,||·||运算符表示计算两个向量之间的距离。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述人眼视线追踪方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述人眼视线追踪方法的步骤。
CN201910374188.9A 2019-05-07 2019-05-07 人眼视线追踪方法 Active CN110275608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910374188.9A CN110275608B (zh) 2019-05-07 2019-05-07 人眼视线追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910374188.9A CN110275608B (zh) 2019-05-07 2019-05-07 人眼视线追踪方法

Publications (2)

Publication Number Publication Date
CN110275608A CN110275608A (zh) 2019-09-24
CN110275608B true CN110275608B (zh) 2020-08-04

Family

ID=67960281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910374188.9A Active CN110275608B (zh) 2019-05-07 2019-05-07 人眼视线追踪方法

Country Status (1)

Country Link
CN (1) CN110275608B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111929893B (zh) * 2020-07-24 2022-11-04 闪耀现实(无锡)科技有限公司 一种增强现实显示装置及其设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109343700A (zh) * 2018-08-31 2019-02-15 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
CN109407828A (zh) * 2018-09-11 2019-03-01 上海科技大学 一种凝视点估计方法及系统、存储介质及终端
WO2019045750A1 (en) * 2017-09-01 2019-03-07 Magic Leap, Inc. DETAILED EYE SHAPE MODEL FOR ROBUST BIOMETRIC APPLICATIONS

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224065A (zh) * 2014-05-29 2016-01-06 北京三星通信技术研究有限公司 一种视线估计设备和方法
CN105425967B (zh) * 2015-12-16 2018-08-28 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统
CN105955465A (zh) * 2016-04-25 2016-09-21 华南师范大学 一种桌面便携式视线跟踪方法及装置
US10248197B2 (en) * 2017-04-27 2019-04-02 Imam Abdulrahman Bin Faisal University Systems and methodologies for real time eye tracking for electronic device interaction
CN108268858B (zh) * 2018-02-06 2020-10-16 浙江大学 一种高鲁棒的实时视线检测方法
CN109032351B (zh) * 2018-07-16 2021-09-24 北京七鑫易维信息技术有限公司 注视点函数确定方法、注视点确定方法、装置及终端设备
CN109558012B (zh) * 2018-12-26 2022-05-13 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
CN109656373B (zh) * 2019-01-02 2020-11-10 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045750A1 (en) * 2017-09-01 2019-03-07 Magic Leap, Inc. DETAILED EYE SHAPE MODEL FOR ROBUST BIOMETRIC APPLICATIONS
CN109343700A (zh) * 2018-08-31 2019-02-15 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
CN109407828A (zh) * 2018-09-11 2019-03-01 上海科技大学 一种凝视点估计方法及系统、存储介质及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Eye Features Extraction Based on Eye Angles for Efficient Gaze Classification System;Noor H. Jabber,Ivan A. Hashim;《Scientific Conference of Electrical Engineering》;20181231;全文 *
视觉注意力检测技术研究综述;罗元,陈雪峰,毛雪峰,张毅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190228;第40卷(第1期);全文 *

Also Published As

Publication number Publication date
CN110275608A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN105913487B (zh) 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和系统
WO2020125499A1 (zh) 一种操作提示方法及眼镜
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
Hosp et al. RemoteEye: An open-source high-speed remote eye tracker: Implementation insights of a pupil-and glint-detection algorithm for high-speed remote eye tracking
US9727130B2 (en) Video analysis device, video analysis method, and point-of-gaze display system
CN104978548A (zh) 一种基于三维主动形状模型的视线估计方法与装置
US10254831B2 (en) System and method for detecting a gaze of a viewer
WO2020042541A1 (zh) 眼球追踪交互方法和装置
CN106326880A (zh) 瞳孔中心点定位方法
US11487358B1 (en) Display apparatuses and methods for calibration of gaze-tracking
CN110051319A (zh) 眼球追踪传感器的调节方法、装置、设备及存储介质
JP2020140630A (ja) 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体
Perra et al. Adaptive eye-camera calibration for head-worn devices
CN110275608B (zh) 人眼视线追踪方法
Yang et al. vGaze: Implicit saliency-aware calibration for continuous gaze tracking on mobile devices
CN117406949A (zh) 终端设备屏幕调节方法及装置
CN115762772B (zh) 目标对象的情绪特征确定方法、装置、设备及存储介质
Kim et al. Gaze estimation using a webcam for region of interest detection
CN113093907A (zh) 人机交互方法、系统、设备及存储介质
CN117409038A (zh) 一种眼动追踪方法、装置、电子设备及计算机存储介质
Parada et al. ExpertEyes: Open-source, high-definition eyetracking
CN116382473A (zh) 一种基于自适应时序分析预测的视线校准、运动追踪及精度测试方法
CN112651270A (zh) 一种注视信息确定方法、装置、终端设备及展示对象
CN115861899A (zh) 一种基于视线估计的视线差值测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant