CN107357429A - 用于确定视线的方法、设备和计算机可读存储介质 - Google Patents

用于确定视线的方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN107357429A
CN107357429A CN201710558905.4A CN201710558905A CN107357429A CN 107357429 A CN107357429 A CN 107357429A CN 201710558905 A CN201710558905 A CN 201710558905A CN 107357429 A CN107357429 A CN 107357429A
Authority
CN
China
Prior art keywords
msub
mrow
sight
visual line
characteristics vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710558905.4A
Other languages
English (en)
Other versions
CN107357429B (zh
Inventor
孙建康
张�浩
陈丽莉
楚明磊
孙剑
郭子强
闫桂新
王亚坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710558905.4A priority Critical patent/CN107357429B/zh
Publication of CN107357429A publication Critical patent/CN107357429A/zh
Priority to US16/305,882 priority patent/US11294455B2/en
Priority to PCT/CN2018/074537 priority patent/WO2019010959A1/zh
Application granted granted Critical
Publication of CN107357429B publication Critical patent/CN107357429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开提出了用于确定视线的方法、设备和计算机可读存储介质。该方法包括：根据眼部图像来确定至少一个视线特征向量；基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。所述至少一个视线特征向量包括以下至少一项：指示由第一参考光源在所述眼部图像中形成的第一参考光斑中心到瞳孔中心的第一视线特征向量；指示所述瞳孔中心到由第二参考光源在所述眼部图像中形成的第二参考光斑中心的第二视线特征向量；以及指示所述第二参考光斑中心到所述第一参考光斑中心的第三视线特征向量。

Description

用于确定视线的方法、设备和计算机可读存储介质
技术领域
本公开涉及人机交互领域，更具体地涉及用于确定视线的方法、设备和计算机可读存储介质。
背景技术
视线估计技术(有时也称为眼球跟踪技术)是一种用于确定人类或动物视线落点的技术。最早的视线估计技术主要用于对人类阅读习惯的研究。例如，通过研究在人类阅读文章或观赏绘画时人类视线落在文章中哪些单词或绘画中的哪些物体上、注视各个位置的时间等数据，可以对人类的阅读/观赏习惯进行研究。最早的视线估计技术是通过对眼睛的直接观察来进行主观判断。之后，随着技术的发展，视线估计技术使用接触式的设备来确定视线，例如通过使用特殊设计的隐形眼镜，从而可以通过隐形眼镜随着眼球的动作来判断视线方向。
此外，另外一类主要的视线估计技术是利用相机来捕获对象的眼部图像，进行眼球特征提取，测量眼球运动情况，进一步估计视线方向或眼睛注视点位置的技术。这种技术在虚拟现实、人机交互、用户体验、心理学研究、残疾人辅助等多个领域具有广阔的现实应用价值。
发明内容
然而，目前的视线估计技术主要分为基于二维映射模型的视线估计方法和基于三维眼球模型的视线估计方法。基于二维映射模型的视线估计方法虽然在视线参数提取和视线特征识别方面简单、迅速，能够满足实用性要求，但是其映射模型的精度低、稳定性差，并且使用时需要用户头部静止，难以满足舒适性要求。
而基于三维眼球模型的视线估计方法虽然能够检测用户头部空间位置，能够适应用户头部的自然运动，但是其硬件配置复杂(至少需要双相机和双光源)，存在设备硬件成本高和算法实现复杂的问题，并且需要获得用户眼球参数的独立信息，在不借助其他仪器的情况下，准确的间接估计眼球独立参数是很难实现的。
由于视线估计技术中存在的以上问题，使得基于非侵入式的视线估计系统难以得到广泛使用。因此，需要一种相对于现有的视线估计技术能够更易于实现、可满足实用要求，同时无需过高硬件配置和容许头部自然运动的视线估计系统和方法。
为了至少部分解决或减轻上述问题，提供了根据本公开实施例的用于确定视线的方法、设备和计算机可读存储介质。
根据本公开的第一方面，提供了一种用于确定视线的方法。该方法包括：根据眼部图像来确定至少一个视线特征向量；基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。
在一些实施例中，所述至少一个视线特征向量包括以下至少一项：指示由第一参考光源在所述眼部图像中形成的第一参考光斑中心到瞳孔中心的第一视线特征向量，其中，xAI和yAI分别是所述第一视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；指示所述瞳孔中心到由第二参考光源在所述眼部图像中形成的第二参考光斑中心的第二视线特征向量，其中，xIB和yIB分别是所述第二视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；以及指示所述第二参考光斑中心到所述第一参考光斑中心的第三视线特征向量，其中，xBA和yBA分别是所述第三视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量。
在一些实施例中，根据眼部图像来确定至少一个视线特征向量的步骤包括对所述眼部图像中的瞳孔部分进行椭圆拟合，以确定以下至少一项：所拟合的椭圆的中心，作为瞳孔中心；所拟合的椭圆的长轴；所拟合的椭圆的短轴；以及所述长轴与水平方向之间的旋转角。在一些实施例中，所述眼部图像是以环形参考光源作为照明来获得的。在一些实施例中，所述视线估计模型的公式为：
其中，ai和bj为模型参数，i＝0…9且j＝0…9，以及xfix和yfix分别是与所述眼部图像相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。在一些实施例中，所述视线估计模型的模型参数是通过最小二乘法来确定的，以及所使用的标定点数目至少为10个。在一些实施例中，基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置的步骤包括：将当前捕捉到的眼部图像的第一视线特征向量、第二视线特征向量和第三视线特征向量代入已确定过模型参数的所述视线估计模型中，得到相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。在一些实施例中，所述方法还包括：对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置。在一些实施例中，对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置的步骤包括：根据所述眼部图像来确定头动补偿特征向量；根据所述头动补偿特征向量来确定头动补偿值；以及基于所述头动补偿值来调整所确定的视线落点位置，以确定经补偿的视线落点位置。在一些实施例中，所述头动补偿特征向量包括以下至少一项分量值：指示头部前后运动的第一分量值；指示头部水平运动的第二分量值；以及指示头部旋转运动的第三分量值。在一些实施例中，所述第一分量值是两个参考光斑中心的欧式距离，所述第二分量值是经椭圆拟合的瞳孔的长短轴之比，以及所述第三分量值是经椭圆拟合的瞳孔的长轴与水平方向之间的旋转角。在一些实施例中，根据所述头动补偿特征向量来确定头动补偿值的步骤包括：向经训练的基于支持向量回归机的头动补偿模型中输入所述头动补偿特征向量，以确定水平和垂直方向上的相应头动补偿值。
根据本公开的第二方面，提供了一种用于确定视线的设备。该设备包括：视线特征向量确定单元，用于根据眼部图像来确定至少一个视线特征向量；以及视线落点位置确定单元，用于基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。
在一些实施例中，所述至少一个视线特征向量包括以下至少一项：指示由第一参考光源在所述眼部图像中形成的第一参考光斑中心到瞳孔中心的第一视线特征向量，其中，xAI和yAI分别是所述第一视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；指示所述瞳孔中心到由第二参考光源在所述眼部图像中形成的第二参考光斑中心的第二视线特征向量，其中，xIB和yIB分别是所述第二视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；以及指示所述第二参考光斑中心到所述第一参考光斑中心的第三视线特征向量，其中，xBA和yBA分别是所述第三视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量。
在一些实施例中，所述视线特征向量确定单元还用于对所述眼部图像中的瞳孔部分进行椭圆拟合，以确定以下至少一项：所拟合的椭圆的中心，作为瞳孔中心；所拟合的椭圆的长轴；所拟合的椭圆的短轴；以及所述长轴与水平方向之间的旋转角。在一些实施例中，所述眼部图像是以环形参考光源作为照明来获得的。在一些实施例中，所述视线估计模型的公式为：
其中，ai和bj为模型参数，i＝0…9且j＝0…9，以及xfix和yfix分别是与所述眼部图像相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。在一些实施例中，所述视线估计模型的模型参数是通过最小二乘法来确定的，以及所使用的标定点数目至少为10个。在一些实施例中，所述视线落点位置确定单元还用于：将当前捕捉到的眼部图像的第一视线特征向量、第二视线特征向量和第三视线特征向量代入已确定过模型参数的所述视线估计模型中，得到相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。在一些实施例中，所述设备还包括：头动补偿单元，用于对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置。在一些实施例中，所述头动补偿单元还用于：根据所述眼部图像来确定头动补偿特征向量；根据所述头动补偿特征向量来确定头动补偿值；以及基于所述头动补偿值来调整所确定的视线落点位置，以确定经补偿的视线落点位置。在一些实施例中，所述头动补偿特征向量包括以下至少一项分量值：指示头部前后运动的第一分量值；指示头部水平运动的第二分量值；以及指示头部旋转运动的第三分量值。在一些实施例中，所述第一分量值是两个参考光斑中心的欧式距离，所述第二分量值是经椭圆拟合的瞳孔的长短轴之比，以及所述第三分量值是经椭圆拟合的瞳孔的长轴与水平方向之间的旋转角。在一些实施例中，所述头动补偿单元还用于：向经训练的基于支持向量回归机的头动补偿模型中输入所述头动补偿特征向量，以确定水平和垂直方向上的相应头动补偿值。
根据本公开的第三方面，提供了一种用于确定视线的设备。该设备包括：处理器；存储器，存储有指令，所述指令在由所述处理器执行时使得所述处理器：根据眼部图像来确定至少一个视线特征向量；以及基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。
根据本公开的第四方面，提供了一种存储有指令的计算机可读存储介质，所述指令在由处理器执行时使得所述处理器执行根据本公开第一方面所述的方法。
通过使用根据本公开实施例的方法、设备和计算机可读存储介质，可以提供一种易于实现、可满足实用要求的视线估计方案。其降低了视线估计方案的硬件配置要求，在单相机和双红外光源的硬件条件下便能实现对用户视线的估计。此外，根据本公开实施例的方案中所使用的视线估计模块中构建有一种视线估计模型，其可以提高视线估计方案的精度。此外，在根据本公开实施例的方案中所使用的头动补偿模块中构建有一种基于支持向量回归机算法(Support Vector Regression，或简称为SVR)的头动补偿模型，用于补偿用户头部运动带来的误差，增强了视线估计系统和方法的抗头动干扰能力，容许系统使用时用户头部自然运动，降低了以往视线估计系统使用时要求用户头部静止的限制，提高了视线估计系统使用时的舒适性和自然性。
附图说明
通过下面结合附图说明本公开的优选实施例，将使本公开的上述及其它目的、特征和优点更加清楚，其中：
图1是示出了根据本公开实施例的用于确定视线的技术方案的示例应用场景的示意图。
图2是示出了根据本公开实施例的用于根据眼部图像来确定各个视线特征向量的示例示意图。
图3是示出了根据本公开实施例的用于根据眼部图像来确定头动补偿向量的示例示意图。
图4是示出了根据本公开另一实施例的用于根据眼部图像来确定头动补偿向量的示例示意图。
图5是示出了根据本公开又一实施例的用于根据眼部图像来确定头动补偿向量的示例示意图。
图6是示出了根据本公开实施例的用于确定视线的示例方法的流程图。
图7是示出了根据本公开实施例的用于执行图6所示方法的示例设备的功能框图。
图8是示出了根据本公开实施例的用于确定视线的示例设备的硬件布置图。
具体实施方式
下面参照附图对本公开的部分实施例进行详细说明，在描述过程中省略了对于本公开来说是不必要的细节和功能，以防止对本公开的理解造成混淆。在本说明书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不脱离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同的附图标记用于相同或相似的功能和操作。此外，在附图中，各部分并不一定按比例来绘制。换言之，附图中的各部分的相对大小、长度等并不一定与实际比例相对应。
在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。此外，在本公开的以下描述中，所使用的方位术语，例如“上”、“下”、“左”、“右”等均用于指示相对位置关系，以辅助本领域技术人员理解本公开实施例，且因此本领域技术人员应当理解：在一个方向上的“上”/“下”，在相反方向上可变为“下”/“上”，且在另一方向上，可能变为其他位置关系，例如“左”/“右”等。
以下，以本公开应用于人机交互场景为例，对本公开进行了详细描述。但本公开并不局限于此，本公开也可以应用于其它领域，例如增强现实、虚拟现实、用户体验、心理学研究、残疾人辅助、驾驶辅助等领域。此外，尽管下文中以人类用户为例来描述了具体实施例，但本公开不限于此。事实上，也可以针对其它动物或具有类似眼部特征的非生命体应用根据本公开实施例的方案。
图1是示出了根据本公开实施例的用于确定视线的技术方案的示例应用场景10的示意图。如图1所示，应用场景10可以包括用户100、目标屏幕120、第一参考光源110A和第二参考光源110B(当不特别指明时，以下有时可统称为参考光源110)、以及图像传感器120。
大体上，用于确定用户100在目标屏幕130上的注视点135(即，点O)的原理如下。由第一参考光源110A和第二参考光源110B向用户100发射参考光，然后由图像传感器120来捕捉包括用户100的眼部图像在内的参考光反射图像。通过在用户观看目标屏幕130上的多个标定点(有时也称为参考点)时对用户眼部多次执行前述图像捕捉过程，可以获得与每个标定点相对应的眼部图像。进而基于与这些标定点相关的标定数据(包括例如下文中将提到的根据眼部图像所确定的各个视线特征向量等)，可以确定视线估计模型的模型参数，从而实现视线确定校准。然后，可根据实时捕捉到的用户眼部图像来确定其在目标屏幕130上的相应注视点。
尽管在图1中示出了使用两个参考光源110A和110B，然而本公开不限于此。事实上，在其他实施例中，也可以使用单独一个参考光源110或三个或三个以上参考光源110。根据下文中详细描述的实施例，本领域技术人员可以容易地根据两个参考光源的方案来推导出具有其他数目参考光源的方案。
此外，尽管在图1中参考光源是环形参考光源，然而本公开不限于此。事实上，在其他实施例中，也可以使用具有其它形状的参考光源，例如三角形、正方形、矩形、椭圆形、双曲型或任何其他规则或不规则的形状。
此外，为了避免影响用户100观看目标屏幕130，在图1所示实施例中，两个参考光源110都采用了红外光，例如波长为850nm的红外光，然而本公开不限于此。事实上，在其他实施例中，也可以采用其它波长的光波。例如，在一些实施例中，可以采用可见光范围内的近红外光。尽管其属于可见光范围，但是由于接近红外光，人眼在观看时并不会受到明显影响。此外，也可以使用任何其他波长的光波。
此外，尽管在图1中两个参考光源110被分别放置在图像传感器120的左右两侧，然而本公开不限于此。事实上，这两个参考光源110可以放置在图像传感器110的任何相对位置处，只要图像传感器110可以获取到由用户100的眼部所反射的这两个参考光源110的参考光即可。此外，尽管在图1中图像传感器120(例如，高清摄像头)位于目标屏幕130的下部，然而本公开不限于此。事实上，图像传感器120可以位于目标屏幕130的任何恰当位置处，例如，左侧、右侧、上部等等。
接下来，将参考图2并结合图1来详细描述根据本公开实施例的用于确定视线的示例方案。
图2是示出了根据本公开实施例的用于根据眼部图像20来确定各个视线特征向量(例如，向量和)的示例示意图。如图2所示，在眼部图像20中可以看到用户100眼睛中包括的外部可见的各个部分，包括(但不限于)：瞳孔200、虹膜210和巩膜220。
虹膜210是眼睛中的深色部分，其中间具有开口，即瞳孔200，以供光线进入眼睛内部并在视网膜上被感光细胞所感知并成像。虹膜210负责根据周边环境光的强度来调节瞳孔200的大小，以使得眼睛能够适应不同的环境。例如，在强光环境下，虹膜210舒张，使得瞳孔200收缩，减少进光量；相反在弱光环境下，虹膜210收缩，使得瞳孔200放大，增加进光量。
巩膜220(俗称为“眼白”)是眼睛中的白色部分，其主要是由弹性纤维等构成的相对坚硬的外壳，负责保护眼球。此外，在瞳孔200、虹膜210和巩膜220的上方实际上还覆盖有角膜，由于其是透明的，因此在眼部图像中并不能直接观察到。然而，在本公开实施例中，由于两个参考光源110所发射的参考光在到达角膜时会发生反射，从而形成反射参考光斑(例如，图2所示的第一参考光斑230和第二参考光斑240)，因此可以表明角膜的存在。
此外，参考光源110发射的光线实际上在角膜的前表面和后表面上都会发生反射，且因此实际上每个参考光源110在角膜上会形成两个光斑。然而由于后表面上形成的光斑亮度显著低于前表面上形成的光斑，需要使用非常高感光度、高解析度的图像传感器才能观察到，因此在图1所示实施例中予以忽略。需要注意的是：本公开实施例同样也适用于对后表面上形成的光斑进行类似操作，本领域技术人员可以根据本文所描述的实施例来容易地导出针对后表面光斑的类似方案，因此为了描述和说明的简洁，此处予以省略。
如图2所示，第一参考光源110A和第二参考光源110B发出的光在角膜上可分别形成第一参考光斑230和第二参考光斑240。这两个参考光斑的中心分别为第一参考光斑中心235(图2所示点A)和第二参考光斑中心245(图2所示点B)。在本实施例中，对光斑中心的确定可以是通过对眼部图像20中检测到的光斑区域进行椭圆或圆形拟合来进行的。从而，可以分别确定A点和B点在眼部图像坐标系中的坐标位置A(xA，yA)和B(xB，yB)。
更具体地，可以通过直方图双峰法进行光斑二值化阈值的确定，对输入预处理后的眼部图像进行二值化处理，以获得光斑二值化图像。然后可以对光斑二值化图像进行腐蚀和膨胀处理，再利用中值滤波进行二次去噪，得到光斑区域图像。接下来，可以对提取到的光斑区域图像进行连通组元提取，并计算提取到的两个光斑连通组元的质心，分别得到第一反射光斑中心A(xA，yA)和第二反射光斑中心B(xB，yB)。在其他实施例中，也可以采用其它方式来确定上述反射光斑信息。
在确定光斑中心的同时或之前或之后，可以确定瞳孔200在眼部图像20中的位置。例如，可以采用光瞳(light pupil)或暗瞳(dark pupil)技术来确定眼部图像20中的瞳孔200的位置。光瞳是指当参考光源(例如，参考光源110)与图像传感器(例如图像传感器120)在同一光轴上时，由于光线在眼底反射并穿过瞳孔(例如瞳孔200)回到图像传感器，从而使得瞳孔在图像传感器所捕捉到的眼部图像中呈现出明亮的状态。类似地，暗瞳是指当参考光源与图像传感器120不在同一光轴上时，由于光线在眼底反射之后不会通过瞳孔到达图像传感器，从而使得瞳孔在图像传感器所捕捉到的眼部图像中处于黑暗的状态。不论是使用光瞳还是暗瞳，都可以确定瞳孔200在眼部图像20中的位置、范围等。在图1所示实施例中，由于参考光源110和图像传感器120不在同一光轴上，因此采用的是暗瞳技术。然而，本公开不限于此，而是也可以采用光瞳技术。
当获得了眼部图像20时，除了如前所述确定两个参考光斑的中心A点和B点之外，还可以确定瞳孔200的中心205(或点I)。在一些实施例中，当获得了具有如前所述的暗瞳的眼部图像20时，可以通过图像分割和/或直方图双峰法进行瞳孔二值化阈值的确定，对预处理后的眼部图像进行二值化处理，从而获得瞳孔二值化图像。然后，可以对瞳孔二值化图像进行腐蚀和膨胀处理，再利用中值滤波进行二次去噪，得到瞳孔区域图像。接下来，可以进行边缘检测，得到边缘点，并利用得到的边缘点采用最小二乘法进行瞳孔的椭圆拟合，得到所需瞳孔信息。例如，所需瞳孔信息可以包括以下至少一项：所拟合的椭圆的中心(即，瞳孔中心)I(xI，yI)、所拟合的椭圆的长轴长度r1、所拟合的椭圆的短轴长度r2、以及长轴与水平方向的旋转角θ(例如，如图5所示)等。在其他实施例中，也可以采用其它方式来确定上述瞳孔信息。
在图2所示实施例中，尽管椭圆长轴r1和短轴r2分别是水平轴和垂直轴，然而本公开不限于此。事实上，由于人类个体的差异，瞳孔虽然大体是圆形，但并不都是横向宽而纵向窄。事实上，椭圆长轴r1和短轴r2也可以分别是垂直轴和水平轴。此外，在图2所示实施例中，尽管并未示出椭圆长轴与水平轴之间存在旋转角，但是如图5所示，当头部向一侧偏斜时，眼部图像50以及瞳孔500的长轴r1′会与水平轴出现夹角，即旋转角θ。
需要注意的是：为了初步确定视线落点135，并不一定需要上述全部瞳孔信息。例如，在图2所示实施例中，只需要瞳孔中心的坐标信息即可。接下来，将详细描述如何根据第一参考光斑中心235(点A)、第二参考光斑中心245(点B)和瞳孔中心205(点I)的坐标信息来确定各个视线特征向量。
在图2所示实施例中，可以将第一视线特征向量确定为第一参考光斑中心A(xA，yA)到瞳孔中心I(xI，yI)的向量，即其中xAI＝xI-xA，yAI＝yI-yA。此外，可以将第二视线特征向量确定为瞳孔中心I(xI，yI)到第二参考光斑中心B(xB，yB)的向量，即其中xIB＝xB-xI，yIB＝yB-yI。此外，可以将第三视线特征向量确定为第二参考光斑中心B(xB，yB)到第一参考光斑中心A(xA，yA)的特征向量，即其中xBA＝xA-xB，yBA＝yA-yB。由于这三个特征向量满足公式(1)：
因此，只要知道其中任意两个特征向量，就可以确定第三个特征向量。为了以下描述的方便，依然用全部三个特征向量来说明以下操作。然而本领域技术人员应当理解：事实上可以将这三个特征向量表达为两个特征向量，而不影响技术方案的实现。
之后，如前面结合图1所描述的，可以通过标定点来确定视线估计模型的具体参数。在本实施例中，所建立的视线估计模型如下：
其中，(xfix，yfix)为预设标定点在目标屏幕130上的位置坐标，(xAI，yAI)为用户观看相应标定点时如上所述获得的第一视线特征向量(xIB，yIB)为用户观看相应标定点时如上所述获得的第二视线特征向量(xBA，yBA)为用户观看相应标定点时如上所述获得的第三视线特征向量以及a0～a9和b0～b9是待求解的视线估计模型参数。针对该视线估计模型，可通过最小二乘法对多个标定点的对应数据进行拟合，从而确定a0～a9和b0～b9，完成标定(也称为校准)。
在图2所示实施例中，可以采用12个标定点对上述视线估计模型进行标定或校准。然而本公开不限于此。在其他实施例中，也可以采用其它恰当数目的标定点来校准。例如，在一些实施例中，可以采用10个或10个以上的标定点。
接下来，当确定了视线估计模型的各个参数(即，视线确定设备或系统经过标定或校准之后)之后，可以进入正式的使用阶段。在该阶段中，图像传感器120可以获取用户100的眼部图像20，并根据获取到的例如前述瞳孔中心位置、各光斑中心位置等来确定相应的视线特征向量(例如，第一、第二和第三视线特征向量)，将这些视线特征向量的值代入已确定过模型参数的上述视线估计模型的公式(2)和(3)中，分别得到相对应的视线落点135在观察对象坐标系(例如，目标屏幕130的坐标系)的X轴和Y轴上的坐标O(xfix，yfix)。
从而，根据如图2所示的实施例，可以提供一种易于实现、可满足实用要求的视线估计方案。其降低了视线估计方案的硬件配置要求，在单相机和双红外光源的硬件条件下便能实现对用户视线的估计。此外，根据本公开实施例的方案中所使用的视线估计模块中构建有上述视线估计模型，其可以提高视线确定方案的精度。
然而，由于人类用户100在观察例如目标屏幕130时，其头部通常会不由自主地发生平移、转动等情况，不太可能完全静止不动，因此用户100实际的注视点与上述视线确定方案所确定的注视点之间存在误差。为了补偿由于头动所造成的该误差，还可以如图3～图5所示实施例一样，对前述方案所得到的坐标O(xfix，yfix)进行补偿。以下，将结合图3～图5来详细描述针对不同类型头动的补偿方案。
图3是示出了根据本公开实施例的用于根据眼部图像来确定头动补偿向量的示例示意图，其中，用户100的头部在垂直于目标屏幕130的方向上前后移动。图4是示出了根据本公开另一实施例的用于根据眼部图像来确定头动补偿向量的示例示意图，其中，用户100的头部在平行于目标屏幕130的平面中水平左右移动。图5是示出了根据本公开又一实施例的用于根据眼部图像来确定头动补偿向量的示例示意图，其中，用户100的头部在平行于目标屏幕130的平面内旋转。然而，需要注意到的是，尽管上面图3～图5分别示出了不同类型的头部运动，然而实际情况中可能是这三种类型头部运动中任意一种或任意多种的组合。因此，为了综合考虑这几种状况，可以使用下文中描述的基于支持向量回归机的头动补偿模型。
首先，可以根据眼部图像(例如，眼部图像30、40和/或50)来确定相应的头动补偿向量，然后将该头动补偿向量输入到前述基于支持向量回归机的头动补偿模型中，以确定头动补偿值。然后根据头动补偿值来相应调整前述坐标O(xfix，yfix)。
具体地，如图3所示，由于用户100的头部在垂直于目标屏幕130的方向上前后移动，从而导致在眼部图像30中第一参考光斑中心335(即，点A)和第二参考光斑中心345(即，点B)之间的欧式距离发生变化。更具体地，在图3所示实施例中，可以看到由于用户100的头部在远离目标屏幕130的方向上移动，因此其第三视线特征向量的长度缩短。注意到：虚线圆形为移动前的两个参考光斑的位置，而其中心之间的距离大于移动后的距离。因此，可以将头动补偿向量的指示头部前后运动的第一分量值确定为两个参考光斑中心之间的欧式距离。更具体地，可以将第一分量值L确定为第一参考光斑中心335(即，点A)和第二参考光斑中心345(即，点B)之间的欧式距离：
此外，如图4所示，由于用户100的头部在平行于目标屏幕130的平面内沿水平方向左右移动，从而导致在眼部图像40中所拟合的椭圆瞳孔的长短轴长度r1和r2发生改变。更具体地，在图4所示实施例中，可以看到由于用户100的头部在平行于目标屏幕130的平面内远离目标屏幕130，所拟合的椭圆瞳孔的长短轴发生了变化，使得原来的长轴r1变为实际上的短轴r1′。换言之，尽管长短轴的长度可能都缩短，但由于头部在长轴的方向上移动，因此长轴缩短的更为明显，从而使得长短轴之比发生变化。因此，可以将头动补偿向量的指示头部水平运动的第二分量值μ确定为能够表征头部在平行于目标屏幕130的平面内的水平方向的左右运动的椭圆瞳孔的长轴r1和短轴r2的比值μ＝r1/r2。
此外，如图5所示，由于用户100的头部在平行于目标屏幕130的平面内旋转，从而导致在眼部图像50中所拟合的椭圆瞳孔长轴r1与水平轴之间发生旋转，形成旋转角。因此，可以将第三分量值θ确定为能够表征头部在与目标屏幕130平行的平面中旋转运动的椭圆的长轴r1与水平方向之间的旋转角θ。
注意到：上述各个分量值可以是全部或部分根据结合图2中所确定的瞳孔信息来得到的。因此，在实际应用中，在针对头动补偿的处理中，可以无需再次计算这些分量值。
在确定了头动补偿向量Cgaze＝(L，μ，θ)之后，可以将其输入到训练好的基于支持向量回归机的头动补偿模型中，以得到水平和竖直方向上的头动补偿值(xhorizontal，yvertical)。然后，根据计算出的头动补偿值(xhorizontal，yvertical)，可以调整前述确定的视线落点的位置。更具体地，可以将计算出的头动补偿值(xhorizontal，yvertical)与前述确定的初步视线落点O(xfix，yfix)进行求和运算，从而得到用户100在目标屏幕130上的最终视线落点F(Xfix，Yfix)，其中Xfix＝xfix+xhorizontal且Yfix＝yfix+yhorizontal。
因此，通过使用基于支持向量回归机算法的头动补偿模型，可以容易地补偿用户头部运动带来的误差，增强了视线估计系统和方法的抗头动干扰能力，容许系统使用时用户头部自然运动，降低了以往视线估计系统使用时要求用户头部静止的限制，提高了视线估计系统使用时的舒适性和自然性。
图6是示出了根据本公开实施例的用于确定视线的示例方法600的流程图。如图6所示，方法600可以包括步骤S610和S620。根据本公开，方法600的一些步骤可以单独执行或组合执行，以及可以并行执行或顺序执行，并不局限于图6所示的具体操作顺序。在一些实施例中，方法600可以由图7所示的设备700或图8所示的设备800执行。
图7是示出了根据本公开实施例的用于确定视线的示例设备700的框图。如图7所示，设备700可以包括：视线特征向量确定单元710和视线落点位置确定单元720。
视线特征向量确定单元710可以用于根据眼部图像来确定至少一个视线特征向量。视线特征向量确定单元710可以是设备700的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等，其可以与设备700的图像传感器(例如，红外相机、可见光相机、摄像头等)和/或通信部分(例如，以太网卡、WiFi芯片、RF芯片等)相配合，根据通过图像传感器捕捉到的眼部图像或者通过通信部分从远程设备接收到的眼部图像来确定至少一个视线特征向量。
视线落点位置确定单元720可以用于基于视线估计模型和至少一个视线特征向量来确定视线落点的位置。视线落点位置确定单元720也可以是设备700的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等，其可以基于预先训练的和/或实时训练的视线估计模型以及由视线特征向量确定单元710所确定的至少一个视线特征向量来确定视线落点的位置。
此外，设备700还可以包括图7中未示出的其他单元，例如头动补偿单元等。在一些实施例中，头动补偿单元可以用于对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置。在一些实施例中，头动补偿单元还可以用于根据眼部图像来确定头动补偿特征向量；根据头动补偿特征向量来确定头动补偿值；以及基于头动补偿值来调整所确定的视线落点位置，以确定经补偿的视线落点位置。在一些实施例中，头动补偿单元还可以用于：向经训练的基于支持向量回归机的头动补偿模型中输入头动补偿特征向量，以确定水平和垂直方向上的相应头动补偿值。
此外，设备700还可以包括图7中未示出的其他功能单元，例如：总线、存储器、电源、天线、通信部分、存储部分。然而，它们并不影响对本申请的原理的理解，且因此此处省略对它们的详细描述。
以下将结合图6和图7，对根据本公开实施例的在设备700上执行的用于确定视线的方法600和设备700进行详细的描述。
方法600开始于步骤S610，在步骤S610中，可以由设备700的视线特征向量确定单元710根据眼部图像来确定至少一个视线特征向量。
在步骤S620中，可以由设备700的视线落点位置确定单元720基于视线估计模型和至少一个视线特征向量来确定视线落点的位置。
在一些实施例中，至少一个视线特征向量包括以下至少一项：指示由第一参考光源在眼部图像中形成的第一参考光斑中心到瞳孔中心的第一视线特征向量，其中，xAI和yAI分别是第一视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；指示瞳孔中心到由第二参考光源在眼部图像中形成的第二参考光斑中心的第二视线特征向量，其中，xIB和yIB分别是第二视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；以及指示第二参考光斑中心到第一参考光斑中心的第三视线特征向量，其中，xBA和yBA分别是第三视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量。
在一些实施例中，根据眼部图像来确定至少一个视线特征向量的步骤包括对眼部图像中的瞳孔部分进行椭圆拟合，以确定以下至少一项：所拟合的椭圆的中心，作为瞳孔中心；所拟合的椭圆的长轴；所拟合的椭圆的短轴；以及长轴与水平方向之间的旋转角。在一些实施例中，眼部图像是以环形参考光源作为照明来获得的。在一些实施例中，视线估计模型的公式为：
其中，ai和bj为模型参数，i＝0…9且j＝0…9，以及xfix和yfix分别是与眼部图像相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。在一些实施例中，视线估计模型的模型参数是通过最小二乘法来确定的，以及所使用的标定点数目至少为10个。在一些实施例中，基于视线估计模型和至少一个视线特征向量来确定视线落点的位置的步骤包括：将当前捕捉到的眼部图像的第一视线特征向量、第二视线特征向量和第三视线特征向量代入已确定过模型参数的视线估计模型中，得到相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。在一些实施例中，方法还包括：对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置。在一些实施例中，对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置的步骤包括：根据眼部图像来确定头动补偿特征向量；根据头动补偿特征向量来确定头动补偿值；以及基于头动补偿值来调整所确定的视线落点位置，以确定经补偿的视线落点位置。在一些实施例中，头动补偿特征向量包括以下至少一项分量值：指示头部前后运动的第一分量值；指示头部水平运动的第二分量值；以及指示头部旋转运动的第三分量值。在一些实施例中，第一分量值是两个参考光斑中心的欧式距离，第二分量值是经椭圆拟合的瞳孔的长短轴之比，以及第三分量值是经椭圆拟合的瞳孔的长轴与水平方向之间的旋转角。在一些实施例中，根据头动补偿特征向量来确定头动补偿值的步骤包括：向经训练的基于支持向量回归机的头动补偿模型中输入头动补偿特征向量，以确定水平和垂直方向上的相应头动补偿值。
图8是示出了根据本公开实施例的图7所示设备700的示例硬件布置800的框图。硬件布置800包括处理器806(例如，数字信号处理器(DSP))。处理器806可以是用于执行本文描述的流程的不同动作的单一处理单元或者是多个处理单元。布置800还可以包括用于从其他实体接收信号的输入单元802、以及用于向其他实体提供信号的输出单元804。输入单元802和输出单元804可以被布置为单一实体或者是分离的实体。
此外，布置800可以包括具有非易失性或易失性存储器形式的至少一个可读存储介质808，例如是电可擦除可编程只读存储器(EEPROM)、闪存、和/或硬盘驱动器。可读存储介质808包括计算机程序810，该计算机程序810包括代码/计算机可读指令，其在由布置800中的处理器806执行时使得硬件布置800和/或包括硬件布置800在内的设备700可以执行例如上面结合图1～6所描述的流程及其任何变形。
计算机程序810可被配置为具有例如计算机程序模块810A～810B架构的计算机程序代码。因此，在例如设备700中使用硬件布置800时的示例实施例中，布置800的计算机程序中的代码包括：模块810A，用于根据眼部图像来确定至少一个视线特征向量。计算机程序中的代码还包括：模块810B，用于基于视线估计模型和至少一个视线特征向量来确定视线落点的位置。
计算机程序模块实质上可以执行图1～6中所示出的流程中的各个动作，以模拟设备700。换言之，当在处理器806中执行不同计算机程序模块时，它们可以对应于设备700中的上述不同单元。
尽管上面结合图8所公开的实施例中的代码手段被实现为计算机程序模块，其在处理器806中执行时使得硬件布置800执行上面结合图1～6所描述的动作，然而在备选实施例中，该代码手段中的至少一项可以至少被部分地实现为硬件电路。
处理器可以是单个CPU(中央处理单元)，但也可以包括两个或更多个处理单元。例如，处理器可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))。处理器还可以包括用于缓存用途的板载存储器。计算机程序可以由连接到处理器的计算机程序产品来承载。计算机程序产品可以包括其上存储有计算机程序的计算机可读介质。例如，计算机程序产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)、EEPROM，且上述计算机程序模块在备选实施例中可以用UE内的存储器的形式被分布到不同计算机程序产品中。
至此已经结合优选实施例对本公开进行了描述。应该理解，本领域技术人员在不脱离本公开的精神和范围的情况下，可以进行各种其它的改变、替换和添加。因此，本公开的范围不局限于上述特定实施例，而应由所附权利要求所限定。
此外，在本文中被描述为通过纯硬件、纯软件和/或固件来实现的功能，也可以通过专用硬件、通用硬件与软件的结合等方式来实现。例如，被描述为通过专用硬件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)来实现的功能，可以由通用硬件(例如，中央处理单元(CPU)、数字信号处理器(DSP))与软件的结合的方式来实现，反之亦然。

Claims (15)

1.一种用于确定视线的方法，包括：
根据眼部图像来确定至少一个视线特征向量；
基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。
2.根据权利要求1所述的方法，其中，所述至少一个视线特征向量包括以下至少一项：
指示由第一参考光源在所述眼部图像中形成的第一参考光斑中心到瞳孔中心的第一视线特征向量，其中，xAI和yAI分别是所述第一视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；
指示所述瞳孔中心到由第二参考光源在所述眼部图像中形成的第二参考光斑中心的第二视线特征向量，其中，xIB和yIB分别是所述第二视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；以及
指示所述第二参考光斑中心到所述第一参考光斑中心的第三视线特征向量，其中，xBA和yBA分别是所述第三视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量。
3.根据权利要求1所述的方法，其中，根据眼部图像来确定至少一个视线特征向量的步骤包括对所述眼部图像中的瞳孔部分进行椭圆拟合，以确定以下至少一项：
所拟合的椭圆的中心，作为瞳孔中心；
所拟合的椭圆的长轴；
所拟合的椭圆的短轴；以及
所述长轴与水平方向之间的旋转角。
4.根据权利要求1所述的方法，其中，所述眼部图像是以环形参考光源作为照明来获得的。
5.根据权利要求2所述的方法，其中，所述视线估计模型的公式为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>3</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>4</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>5</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <msub> <mi>a</mi> <mn>6</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>7</mn> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>x</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>a</mi> <mn>8</mn> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>x</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>a</mi> <mn>9</mn> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>x</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>b</mi> <mn>0</mn> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>2</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>3</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>4</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>5</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <msub> <mi>b</mi> <mn>6</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>7</mn> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>y</mi> <mrow> <mi>A</mi> <mi>I</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>b</mi> <mn>8</mn> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>y</mi> <mrow> <mi>I</mi> <mi>B</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>b</mi> <mn>9</mn> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>y</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，ai和bj为模型参数，i＝0…9且j＝0…9，以及xfix和yfix分别是与所述眼部图像相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。
6.根据权利要求5所述的方法，其中，所述视线估计模型的模型参数是通过最小二乘法来确定的，以及所使用的标定点数目至少为10个。
7.根据权利要求5所述的方法，其中，基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置的步骤包括：
将当前捕捉到的眼部图像的第一视线特征向量、第二视线特征向量和第三视线特征向量代入已确定过模型参数的所述视线估计模型中，得到相对应的视线落点在观察对象坐标系的X轴和Y轴上的坐标。
8.根据权利要求1所述的方法，还包括：
对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置。
9.根据权利要求8所述的方法，其中，对所确定的视线落点位置进行头动补偿以确定经补偿的视线落点位置的步骤包括：
根据所述眼部图像来确定头动补偿特征向量；
根据所述头动补偿特征向量来确定头动补偿值；以及
基于所述头动补偿值来调整所确定的视线落点位置，以确定经补偿的视线落点位置。
10.根据权利要求9所述的方法，其中，所述头动补偿特征向量包括以下至少一项分量值：
指示头部前后运动的第一分量值；
指示头部水平运动的第二分量值；以及
指示头部旋转运动的第三分量值。
11.根据权利要求10所述的方法，其中，所述第一分量值是两个参考光斑中心的欧式距离，所述第二分量值是经椭圆拟合的瞳孔的长短轴之比，以及所述第三分量值是经椭圆拟合的瞳孔的长轴与水平方向之间的旋转角。
12.根据权利要求10所述的方法，其中，根据所述头动补偿特征向量来确定头动补偿值的步骤包括：
向经训练的基于支持向量回归机的头动补偿模型中输入所述头动补偿特征向量，以确定水平和垂直方向上的相应头动补偿值。
13.一种用于确定视线的设备，包括：
视线特征向量确定单元，用于根据眼部图像来确定至少一个视线特征向量；以及
视线落点位置确定单元，用于基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。
14.一种用于确定视线的设备，包括：
处理器；
存储器，存储有指令，所述指令在由所述处理器执行时使得所述处理器：
根据眼部图像来确定至少一个视线特征向量；以及
基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。
15.一种存储有指令的计算机可读存储介质，所述指令在由处理器执行时使得所述处理器执行根据权利要求1～12中任一项所述的方法。
CN201710558905.4A 2017-07-10 2017-07-10 用于确定视线的方法、设备和计算机可读存储介质 Active CN107357429B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710558905.4A CN107357429B (zh) 2017-07-10 2017-07-10 用于确定视线的方法、设备和计算机可读存储介质
US16/305,882 US11294455B2 (en) 2017-07-10 2018-01-30 Method and device for determining gaze placement, computer readable storage medium
PCT/CN2018/074537 WO2019010959A1 (zh) 2017-07-10 2018-01-30 用于确定视线的方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710558905.4A CN107357429B (zh) 2017-07-10 2017-07-10 用于确定视线的方法、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107357429A true CN107357429A (zh) 2017-11-17
CN107357429B CN107357429B (zh) 2020-04-07

Family

ID=60293404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710558905.4A Active CN107357429B (zh) 2017-07-10 2017-07-10 用于确定视线的方法、设备和计算机可读存储介质

Country Status (3)

Country Link
US (1) US11294455B2 (zh)
CN (1) CN107357429B (zh)
WO (1) WO2019010959A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334810A (zh) * 2017-12-25 2018-07-27 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
CN108478184A (zh) * 2018-04-26 2018-09-04 京东方科技集团股份有限公司 基于vr的视力测量方法及装置、vr设备
CN108510542A (zh) * 2018-02-12 2018-09-07 北京七鑫易维信息技术有限公司 匹配光源与光斑的方法和装置
WO2019010959A1 (zh) * 2017-07-10 2019-01-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN109645956A (zh) * 2018-12-25 2019-04-19 重庆远视科技有限公司 眼睛屈光度测量装置
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备
CN113448428A (zh) * 2020-03-24 2021-09-28 中移(成都)信息通信科技有限公司 一种视线焦点的预测方法、装置、设备及计算机存储介质
WO2024041488A1 (zh) * 2022-08-22 2024-02-29 北京七鑫易维信息技术有限公司 一种电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7180209B2 (ja) * 2018-08-30 2022-11-30 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム
CN109725714B (zh) * 2018-11-14 2022-06-14 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
US11156829B2 (en) * 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
US20230333642A1 (en) * 2022-03-28 2023-10-19 Apple Inc. Calibrating a Gaze Tracker

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
KR20150077571A (ko) * 2013-12-27 2015-07-08 가톨릭대학교 산학협력단 이중 기계학습 구조를 이용한 생체신호 기반의 안구이동추적 시스템 및 이를 이용한 안구이동추적 방법
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7686451B2 (en) * 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
EP2150170B1 (en) * 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
CN201477518U (zh) * 2009-08-31 2010-05-19 北京科技大学 一种基于瞳孔角膜反射方法的视线追踪装置
CN101866215B (zh) * 2010-04-20 2013-10-16 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
JP5915981B2 (ja) * 2010-08-09 2016-05-11 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
US9329683B2 (en) * 2010-12-08 2016-05-03 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
JP5689850B2 (ja) * 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
US11389059B2 (en) * 2013-01-25 2022-07-19 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US9370302B2 (en) * 2014-07-08 2016-06-21 Wesley W. O. Krueger System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
JP6577454B2 (ja) * 2013-03-18 2019-09-18 ミラメトリックス インコーポレイテッド 軸上視線追跡システム及び方法
US9684827B2 (en) * 2014-03-26 2017-06-20 Microsoft Technology Licensing, Llc Eye gaze tracking based upon adaptive homography mapping
JP6583734B2 (ja) * 2014-08-22 2019-10-02 国立大学法人静岡大学 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
CN104951084B (zh) 2015-07-30 2017-12-29 京东方科技集团股份有限公司 视线追踪方法及装置
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
JP6963820B2 (ja) * 2016-08-12 2021-11-10 国立大学法人静岡大学 視線検出装置
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
KR20150077571A (ko) * 2013-12-27 2015-07-08 가톨릭대학교 산학협력단 이중 기계학습 구조를 이용한 생체신호 기반의 안구이동추적 시스템 및 이를 이용한 안구이동추적 방법
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294455B2 (en) 2017-07-10 2022-04-05 Beijing Boe Optoelectronics Technology Co., Ltd. Method and device for determining gaze placement, computer readable storage medium
WO2019010959A1 (zh) * 2017-07-10 2019-01-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN108334810A (zh) * 2017-12-25 2018-07-27 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
US11380134B2 (en) 2017-12-25 2022-07-05 Beijing 7Invensun Technology Co., Ltd. Method and device for determining parameter for gaze tracking device
CN108334810B (zh) * 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
CN108510542B (zh) * 2018-02-12 2020-09-11 北京七鑫易维信息技术有限公司 匹配光源与光斑的方法和装置
CN108510542A (zh) * 2018-02-12 2018-09-07 北京七鑫易维信息技术有限公司 匹配光源与光斑的方法和装置
CN108478184A (zh) * 2018-04-26 2018-09-04 京东方科技集团股份有限公司 基于vr的视力测量方法及装置、vr设备
CN109645956A (zh) * 2018-12-25 2019-04-19 重庆远视科技有限公司 眼睛屈光度测量装置
CN109645956B (zh) * 2018-12-25 2021-08-06 重庆远视科技有限公司 眼睛屈光度测量装置
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备
CN113448428A (zh) * 2020-03-24 2021-09-28 中移(成都)信息通信科技有限公司 一种视线焦点的预测方法、装置、设备及计算机存储介质
WO2024041488A1 (zh) * 2022-08-22 2024-02-29 北京七鑫易维信息技术有限公司 一种电子设备

Also Published As

Publication number Publication date
WO2019010959A1 (zh) 2019-01-17
US11294455B2 (en) 2022-04-05
US20210223859A1 (en) 2021-07-22
CN107357429B (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN107357429A (zh) 用于确定视线的方法、设备和计算机可读存储介质
JP6586523B2 (ja) 構造化光を用いた視線追跡
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
CN106774863B (zh) 一种基于瞳孔特征实现视线追踪的方法
CN104200192B (zh) 驾驶员注视检测系统
CN109684915B (zh) 瞳孔跟踪图像处理方法
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
EP3453317B1 (en) Pupil radius compensation
US12056274B2 (en) Eye tracking device and a method thereof
WO2023011339A1 (zh) 视线方向追踪方法和装置
CN106651827A (zh) 一种基于sift特征的眼底图像配准方法
WO2011105004A1 (ja) 瞳孔検出装置及び瞳孔検出方法
KR20140125713A (ko) 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치
US10852823B2 (en) User-specific eye tracking calibration for near-eye-display (NED) devices
CN109766007B (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
CN110310321A (zh) 视线方向估算装置，视线方向估算方法和视线方向估算程序
CN111854620A (zh) 基于单目相机的实际瞳距测定方法、装置以及设备
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
CN109522887A (zh) 一种视线追踪方法、装置、设备及存储介质
CN110188589A (zh) 操作判定装置和操作判定方法
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
CN110598652B (zh) 眼底数据预测方法和设备
CN111539984A (zh) 基于瞳孔特性的连续校准
JP2003079577A (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
CN114546112B (zh) 一种注视点估计方法、装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant