CN107358217A - 一种视线估计方法及装置 - Google Patents
一种视线估计方法及装置 Download PDFInfo
- Publication number
- CN107358217A CN107358217A CN201710601213.3A CN201710601213A CN107358217A CN 107358217 A CN107358217 A CN 107358217A CN 201710601213 A CN201710601213 A CN 201710601213A CN 107358217 A CN107358217 A CN 107358217A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- coordinate
- human eye
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了一种视线估计方法及装置，其中，该方法包括：通过相机对人眼拍照得到眼球图像，从眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；根据相机对应的相机坐标和光斑坐标，获取光源对应的反射点坐标；根据相机坐标和瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；对人眼建立椭球模型；根据反射点坐标、折射点坐标、光斑坐标、相机坐标、光源的实际位置、瞳孔中心成像坐标，结合椭球模型确定人眼的视线方向。本发明采用椭球模型进行视线估计，由于眼球的形状近似椭球，所以采用椭球模型估计出来的参数误差很小，采用椭球模型估计出的参数来进行视线估计，大大降低了视线估计的误差，提高了估计准确度。
Description
技术领域
本发明涉及眼动跟踪技术领域，具体而言，涉及一种视线估计方法及装置。
背景技术
视线是眼睛注视的方向，代表一个人关注的焦点。视线追踪是目前比较活跃的研究课题之一，在人机交互及人类认知科学等领域存在着很大的应用潜力。视线追踪的基础是对人眼视线的方向进行估计。
当前，相关技术中采用基于眼球的3D(三维)近似圆球模型进行视线估计，根据瞳孔中心坐标和角膜反射，利用红外光源在人眼中产生反射点，通过追踪瞳孔中心与角膜反射的相对位置，根据相机的成像路径估计人眼球的三维位置，得到视线方向。
但上述相关技术中基于圆球模型进行视线估计，估计出来的参数偏差较大，导致视线估计误差很大。
发明内容
有鉴于此，本发明实施例的目的在于提供一种视线估计方法及装置，以解决相关技术存在的以下问题：相关技术中基于圆球模型进行视线估计，估计出来的参数偏差较大，导致视线估计误差很大。
第一方面，本发明实施例提供了一种视线估计方法，所述方法包括：
通过相机对人眼拍照得到眼球图像，从所述眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；
根据所述相机对应的相机坐标和所述光斑坐标，获取所述光源对应的反射点坐标；根据所述相机坐标和所述瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；
对所述人眼建立椭球模型；
根据所述反射点坐标、所述折射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置、所述瞳孔中心成像坐标，结合所述椭球模型确定所述人眼的视线方向。
结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述根据所述相机对应的相机坐标和所述光斑坐标，获取所述光源对应的反射点坐标；根据所述相机坐标和所述瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标，包括：
根据所述相机对应的相机坐标和所述光斑坐标，通过如下公式(1)获取所述光源对应的反射点坐标；
根据所述相机坐标和所述瞳孔中心成像坐标，通过如下公式(2)获取瞳孔中心对应的折射点坐标；
qij＝oj+kq,ij(oj-uij)……(1)
rj＝oj+kr,j(oj-vj)……(2)
在公式(1)和(2)中，i为所述光源的序号，j为所述相机的序号，qij为所述反射点坐标，oj为所述相机坐标，kq,ij为反射矢量系数，uij为所述光斑坐标，rj为所述折射点坐标，kr,j为折射矢量系数，vj为所述瞳孔中心成像坐标。
结合第一方面，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述对所述人眼建立椭球模型，包括：
对所述人眼建立如下公式(3)所示的椭球模型；
(x-c)TΛ-1(x-c)＝1……(3)
在公式(3)中，x为所述人眼的椭球表面上的点，c为所述人眼对应的角膜曲率中心，Λ为法向量系数，a，b和c分别为所述人眼的椭球对应的三个轴的长度。
结合第一方面，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述根据所述反射点坐标、所述折射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置、所述瞳孔中心成像坐标，结合所述椭球模型确定所述人眼的视线方向，包括：
根据所述反射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置，结合所述椭球模型获取所述人眼对应的角膜曲率中心；
根据所述折射点坐标、所述角膜曲率中心、所述瞳孔中心成像坐标、所述相机坐标，结合所述椭球模型获取所述人眼对应的瞳孔中心；
根据所述角膜曲率中心和所述瞳孔中心，确定所述人眼的视线方向。
结合第一方面的第三种可能的实现方式，本发明实施例提供了上述第一方面的第四种可能的实现方式，其中，所述根据所述反射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置，结合所述椭球模型获取所述人眼对应的角膜曲率中心，包括：
根据所述反射点坐标和所述椭球模型，通过如下公式(4)获得反射点法向量；
根据所述反射点法向量，所述相机坐标、所述光源的实际位置、所述光斑坐标、所述反射点坐标，通过如下公式(5)和(6)获得所述人眼对应的角膜曲率中心；
(qij-c)TΛ-1(qij-c)＝1……(4)
在公式(4)、(5)和(6)中，i为所述光源的序号，j为所述相机的序号，qij为所述反射点坐标，c为所述角膜曲率中心，Λ-1(qij-c)为所述反射点法向量，oj为所述相机坐标，uij为所述光斑坐标，Ii为所述光源的实际位置，Λ为法向量系数。
结合第一方面的第三种可能的实现方式，本发明实施例提供了上述第一方面的第五种可能的实现方式，其中，所述根据所述折射点坐标、所述角膜曲率中心、所述瞳孔中心成像坐标、所述相机坐标，结合所述椭球模型获取所述人眼对应的瞳孔中心，包括：
根据所述折射点坐标和所述椭球模型，通过如下公式(7)获得折射点法向量；
根据所述折射点法向量、所述角膜曲率中心、所述瞳孔中心成像坐标、所述相机坐标、所述折射点坐标，通过如下公式(8)、(9)和(10)获得所述人眼对应的瞳孔中心；
(rj-c)TΛ-1(rj-c)＝1……(7)
||p-c||＝K……(10)
在公式(7)、(8)、(9)和(10)中，j为所述相机的序号，rj为所述折射点坐标，oj为所述相机坐标，vj为所述瞳孔中心成像坐标，c为所述角膜曲率中心，Λ-1(c-rj)为所述折射点法向量，p为所述人眼对应的瞳孔中心，n1和n2分别为所述人眼中的房水和空气的折射率，K为所述瞳孔中心与所述角膜曲率中心之间的距离，Λ为法向量系数。
结合第一方面的第五种可能的实现方式，本发明实施例提供了上述第一方面的第六种可能的实现方式，其中，所述根据所述角膜曲率中心和所述瞳孔中心，确定所述人眼的视线方向，包括：
根据所述角膜曲率中心和所述瞳孔中心，通过如下公式(11)和(12)确定所述人眼的视线方向；
在公式(11)和(12)中，p为所述瞳孔中心，c为所述角膜曲率中心，g为所述人眼的视线轴与观察点平面的交点，为所述人眼的光学轴与坐标系xz平面之间的夹角，θeye为所述光学轴在所述xz平面上的投影与坐标系z轴之间的夹角，αeye和βeye为Kappa角，cz为所述角膜曲率中心在坐标系z轴上的分量。
结合第一方面的第六种可能的实现方式，本发明实施例提供了上述第一方面的第七种可能的实现方式，其中，所述方法还包括：
获取真实视线方向，根据所述真实视线方向、所述人眼的光学轴与坐标系xz平面之间的夹角及所述光学轴在所述xz平面上的投影与坐标系z轴之间的夹角，通过如下公式(13)来确定所述Kappa角；
在公式(13)中，αeye和βeye为Kappa角，为所述人眼的光学轴与坐标系xz平面之间的夹角，θeye为所述光学轴在所述xz平面上的投影与坐标系z轴之间的夹角，为所述真实视线方向在坐标轴x轴上的分量，为所述真实视线方向在坐标轴y轴上的分量。
结合第一方面的第七种可能的实现方式，本发明实施例提供了上述第一方面的第八种可能的实现方式，其中，所述方法还包括：
根据所述真实视线方向、所述Kappa角、所述相机坐标、所述瞳孔中心成像坐标、所述角膜曲率中心、所述折射点坐标、所述瞳孔中心与所述角膜曲率中心之间的距离，计算所述人眼中的房水的折射率；
根据所述相机坐标、所述折射点坐标、所述角膜曲率中心、所述瞳孔中心、所述房水的折射率，计算所述瞳孔中心与所述角膜曲率中心之间的距离；
根据所述角膜曲率中心、所述瞳孔中心成像坐标和所述折射点坐标，通过最小二乘法计算所述法向量系数。
第二方面，本发明实施例提供了一种视线估计装置，所述装置包括：
坐标确定模块，用于通过相机对人眼拍照得到眼球图像，从所述眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；
获取模块，用于根据所述相机对应的相机坐标和所述光斑坐标，获取所述光源对应的反射点坐标；根据所述相机坐标和所述瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；
建立模块，用于对所述人眼建立椭球模型；
视线确定模块，用于根据所述反射点坐标、所述折射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置、所述瞳孔中心成像坐标，结合所述椭球模型确定所述人眼的视线方向。
在本发明实施例提供的方法及装置中，通过相机对人眼拍照得到眼球图像，从眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；根据相机对应的相机坐标和光斑坐标，获取光源对应的反射点坐标；根据相机坐标和瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；对人眼建立椭球模型；根据反射点坐标、折射点坐标、光斑坐标、相机坐标、光源的实际位置、瞳孔中心成像坐标，结合椭球模型确定人眼的视线方向。本发明采用椭球模型进行视线估计，由于眼球的形状近似椭球，所以采用椭球模型估计出来的参数误差很小，采用椭球模型估计出的参数来进行视线估计，大大降低了视线估计的误差，提高了估计准确度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例1所提供的一种视线估计方法的流程图；
图2示出了本发明实施例1所提供的眼球、相机、光源的位置关系图；
图3示出了本发明实施例1所提供的一种确定人眼的视线方向的流程图；
图4示出了本发明实施例1所提供的眼睛光轴示意图；
图5示出了本发明实施例2所提供的一种视线估计装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到相关技术中基于圆球模型进行视线估计，估计出来的参数偏差较大，导致视线估计误差很大。基于此，本发明实施例提供了一种视线估计方法及装置，下面通过实施例进行描述。
实施例1
本发明实施例提供了一种视线估计方法。用于视线估计的设备包括数据处理终端、至少一个相机和至少一个光源，光源可以为红外光源。用户的眼睛在注视某个方向时，光源在用户的眼睛上形成映像，通过相机对用户的眼睛进行拍摄得到眼球图像，然后数据处理终端对该眼球图像进行图像处理，并通过本发明实施例提供的方法采用椭球模型来对用户的视线方向进行估计。由于人的眼球的形状近似椭球，所以通过椭球模型来估计人眼视线，估计的误差很小，准确性更高。
参见图1，该方法具体包括以下步骤：
步骤101：通过相机对人眼拍照得到眼球图像，从眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标。
由于可能存在多个相机及多个光源，因此为每个相机及光源都设置了序号。如图2所示的眼球、光源及相机的位置关系图。在对用户进行视线估计时，相机对用户的人眼拍照得到眼球图像，数据处理终端从该相机获取该眼球图像及该相机的序号。对该眼球图像进行图像处理，确定出用户的瞳孔中心在该眼球图像中的位置，将该位置确定为瞳孔中心成像坐标。从该眼球图像中提取出光斑，该光斑为光源在用户的眼睛中的成像，将该光斑的位置确定为光源对应的光斑坐标。
数据处理终端获取到该相机的序号后，还根据相机的序号，从预先存储的相机的序号与相机坐标的对应关系中，获取对应的相机坐标。
另外，由于可能存在多个光源，所以上述眼球图像中可能同时存在多个光斑，因此还需要通过如下方式确定出每个光斑对应的光源，具体包括：
数据处理终端根据确定的每个光斑的光斑坐标拟合光斑分布曲线。根据光斑分布曲线的特征点、所有光源排列组成的形状的特征点、确定的每个光斑的光斑坐标及每个光源的实际位置，确定提取的每个光斑对应的光源。
其中，光斑分布曲线是所有光源排列组成的形状的映射。当光斑分布曲线及所有光源排列组成的形状为圆形时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为圆心。当光斑分布曲线及所有光源排列组成的形状均为椭圆形时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为椭圆的两个焦点中的任一个焦点。当光斑分布曲线及所有光源排列组成的形状均为线段时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为线段的中点。当光斑分布曲线及所有光源排列组成的形状均为多边形时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为多边形的中心点。
通过上述方式确定瞳孔中心成像坐标、相机坐标、光斑坐标以及该光斑坐标对应的光源的实际位置后，通过如下步骤102-104的操作来估计用户的视线方向。
步骤102：根据相机对应的相机坐标和光斑坐标，获取光源对应的反射点坐标；根据相机坐标和瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标。
根据该相机对应的相机坐标和光斑坐标，通过如下公式(1)获取光源对应的反射点坐标；
qij＝oj+kq,ij(oj-uij)……(1)
在公式(1)中，i为提取的光斑坐标对应的光源的序号，j为该相机的序号，qij为该光源在用户的眼球上的反射点坐标，oj为该相机的相机坐标，kq,ij为反射矢量系数，uij为该光源对应的光斑坐标。
根据该相机的相机坐标和瞳孔中心成像坐标，通过如下公式(2)获取该瞳孔中心对应的折射点坐标；
rj＝oj+kr,j(oj-vj)……(2)
在公式(2)中，j为相机的序号，oj为相机坐标，rj为用户的瞳孔中心在用户的眼球表面的折射点坐标，kr,j为折射矢量系数，vj为瞳孔中心成像坐标。
步骤103：对人眼建立椭球模型。
由于人的眼球的形状近似椭球，所以本发明实施例采用椭球模型来进行视线估计，能够大大提高视线估计的准确性。首先对人眼建立如下公式(3)所示的椭球模型；
(x-c)TΛ-1(x-c)＝1……(3)
在公式(3)中，x为人眼的椭球表面上的点，c为人眼对应的角膜曲率中心，Λ为法向量系数，a，b和c分别为人眼的椭球对应的三个轴的长度。
假设q为眼球的椭球面上的任意一点，则q的法向量为Λ-1(q-c)。本发明实施例在折射过程中通过最小二乘法来推导上述法向量系数Λ，具体包括：根据角膜曲率中心、瞳孔中心成像坐标和折射点坐标，通过最小二乘法计算法向量系数。
上述最小二乘法推导过程如下所示：
则令
difTΛ-1dif＝1；
其中，diff(i)＝diff(i)2；
在上述推导过程中，vj为瞳孔中心成像坐标，为瞳孔中心成像坐标vj的归一化值，c为角膜曲率中心，r为折射点坐标。通过上式，对Λ-1元素求倒数，得到Λ。
本发明实施例通过角膜曲率中心、瞳孔中心成像坐标和折射点坐标这些参数来推导法向量系数，采用非固定参数算法来避免大量的参数标定过程，简化了视线估计过程。
通过本步骤建立椭球模型后，通过如下步骤104的操作结合椭球模型来进行视线估计。
步骤104：根据反射点坐标、折射点坐标、光斑坐标、相机坐标、光源的实际位置、瞳孔中心成像坐标，结合椭球模型确定人眼的视线方向。
如图3所示，结合椭球模型通过如下步骤A1-A3的操作来确定人眼的视线方向。
A1：根据反射点坐标、光斑坐标、相机坐标、光源的实际位置，结合椭球模型获取人眼对应的角膜曲率中心。
根据反射点坐标、光斑坐标、相机坐标、光源的实际位置，结合椭球模型对光源在用户眼睛上的反射过程进行建模，获得用户的角膜曲率中心。即根据反射点坐标和椭球模型，通过如下公式(4)获得反射点法向量；根据反射点法向量，相机坐标、光源的实际位置、光斑坐标、反射点坐标，通过如下公式(5)和(6)获得人眼对应的角膜曲率中心；
(qij-c)TΛ-1(qij-c)＝1……(4)
在公式(4)、(5)和(6)中，i为光源的序号，j为相机的序号，qij为反射点坐标，c为角膜曲率中心，Λ-1(qij-c)为反射点法向量，oj为相机坐标，uij为光斑坐标，Ii为光源的实际位置，Λ为法向量系数。
A2：根据折射点坐标、角膜曲率中心、瞳孔中心成像坐标、相机坐标，结合椭球模型获取人眼对应的瞳孔中心。
根据折射点坐标、角膜曲率中心、瞳孔中心成像坐标、相机坐标，结合椭球模型对用户的瞳孔中心的折射过程进行建模，获得用户人眼对应的瞳孔中心。即根据折射点坐标和椭球模型，通过如下公式(7)获得折射点法向量；根据折射点法向量、角膜曲率中心、瞳孔中心成像坐标、相机坐标、折射点坐标，通过如下公式(8)、(9)和(10)获得人眼对应的瞳孔中心；
(rj-c)TΛ-1(rj-c)＝1……(7)
||p-c||＝K……(10)
在公式(7)、(8)、(9)和(10)中，j为相机的序号，rj为折射点坐标，oj为相机坐标，vj为瞳孔中心成像坐标，c为角膜曲率中心，Λ-1(c-rj)为折射点法向量，p为人眼对应的瞳孔中心，n1和n2分别为人眼中的房水和空气的折射率，K为瞳孔中心与角膜曲率中心之间的距离，Λ为法向量系数。
上述人眼中的房水的折射率n1及瞳孔中心与角膜曲率中心之间的距离K都是通过给定参数的初始假设值，通过向后推导得到的，避免了对n1和K的大量参数标定过程，简化了视线估计的过程。
在折射过程中，根据真实视线方向、Kappa角、相机坐标、瞳孔中心成像坐标、角膜曲率中心、折射点坐标、瞳孔中心与角膜曲率中心之间的距离，计算人眼中的房水的折射率，具体估计过程如下所示：
r＝oj+k3(oj-vj)；
其中，
在上述房水的折射率n1的估计过程中，为真实视线方向在坐标轴x轴上的分量，为真实视线方向在坐标轴y轴上的分量。如图4所示，为人眼的光学轴与坐标系xz平面之间的夹角，θeye为光学轴在xz平面上的投影与坐标系z轴之间的夹角，αeye和βeye为Kappa角，为角膜曲率中心与瞳孔中心之间的方向，oj为相机坐标，vj为瞳孔中心成像坐标，c为角膜曲率中心，p为人眼对应的瞳孔中心，rj为折射点坐标。
在折射过程中，根据相机坐标、折射点坐标、角膜曲率中心、瞳孔中心、房水的折射率，通过如下估计过程计算瞳孔中心与角膜曲率中心之间的距离：
在上述瞳孔中心与角膜曲率中心之间的距离K的估计过程中，p为人眼对应的瞳孔中心，rj为折射点坐标，为角膜曲率中心与瞳孔中心之间的方向，为折射点坐标rj与瞳孔中心p之间的方向，c为角膜曲率中心，p为人眼对应的瞳孔中心。
通过上述步骤A1和A2获得角膜曲率中心和瞳孔中心后，通过如下步骤A3来计算用户的视线轴与观察点平面的交点，该交点即可用于表示用户的视线方向。
A3：根据角膜曲率中心和瞳孔中心，确定人眼的视线方向。
根据角膜曲率中心和瞳孔中心，通过如下公式(11)和(12)确定人眼的视线方向；
在公式(11)和(12)中，p为瞳孔中心，c为角膜曲率中心，g为用户的视线轴与观察点平面的交点，为人眼的光学轴与坐标系xz平面之间的夹角，θeye为光学轴在xz平面上的投影与坐标系z轴之间的夹角，αeye和βeye为Kappa角，cz为角膜曲率中心在坐标系z轴上的分量。
在本发明实施例中，获取真实视线方向，根据真实视线方向、人眼的光学轴与坐标系xz平面之间的夹角及光学轴在xz平面上的投影与坐标系z轴之间的夹角θeye，通过如下公式(13)来确定Kappa角αeye和βeye。
在公式(13)中，αeye和βeye为Kappa角，为人眼的光学轴与坐标系xz平面之间的夹角，θeye为光学轴在xz平面上的投影与坐标系z轴之间的夹角，为真实视线方向在坐标轴x轴上的分量，为真实视线方向在坐标轴y轴上的分量。
当用于视线估计的设备中只包括一个相机和一个光源时，若用户的头部位置固定，通过上述步骤101-104的操作即可估计出用户的视线方向。当用于视线估计的设备中包括一个相机和多个光源时，对于相机与每个光源的组合，都通过上述步骤101-104的操作对反射过程和折射过程进行建模，通过反射过程约束得到角膜曲率中心c，通过折射过程得到瞳孔中心p，继而得到视线方向。当用于视线估计的设备中只包括多个相机和多个光源时，同样对于每个相机与每个光源的组合，都通过上述步骤101-104的操作对反射过程和折射过程进行建模，由于多相机多光源条件下，反射过程和折射过程的公式足够多，可以在不需获得角膜曲率中心c和瞳孔中心p，以及角膜曲率中心c和瞳孔中心p之间的距离K、人眼中房水的折射率n1等眼睛参数条件下，经过上述过程求出视线方向。
在本发明实施例中，采用椭球模型进行视线估计，由于椭球模型更加贴近用户眼球的真实形状，所以通过椭球模型进行估计的误差很小，提高了视线估计的准确性。另外，本发明实施例不通过参数标定的方式来提取确定出瞳孔中心与角膜曲率中心之间的距离K、人眼中房水的折射率n1等眼睛参数，而是通过给定真实视线方向、角膜曲率中心与瞳孔中心之间的方向及折射点坐标与瞳孔中心之间的方向等参数，然后通过向后推导的方式来估计这些眼睛参数，通过非固定参数的方式，避免了复杂的参数标定过程，能够基于不准确的真实视线方向、角膜曲率中心与瞳孔中心之间的方向及折射点坐标与瞳孔中心之间的方向等初始参数，得到精确的模型参数，进一步提高了视线估计的准确性。
在本发明实施例中，通过相机对人眼拍照得到眼球图像，从眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；根据相机对应的相机坐标和光斑坐标，获取光源对应的反射点坐标；根据相机坐标和瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；对人眼建立椭球模型；根据反射点坐标、折射点坐标、光斑坐标、相机坐标、光源的实际位置、瞳孔中心成像坐标，结合椭球模型确定人眼的视线方向。本发明采用椭球模型进行视线估计，由于眼球的形状近似椭球，所以采用椭球模型估计出来的参数误差很小，采用椭球模型估计出的参数来进行视线估计，大大降低了视线估计的误差，提高了估计准确度。
实施例2
参见图5，本发明实施例提供了一种视线估计装置，该装置用于执行上述实施例1所提供的视线估计方法，该装置包括：
坐标确定模块20，用于通过相机对人眼拍照得到眼球图像，从眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；
获取模块21，用于根据相机对应的相机坐标和光斑坐标，获取光源对应的反射点坐标；根据相机坐标和瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；
建立模块22，用于对人眼建立椭球模型；
视线确定模块23，用于根据反射点坐标、折射点坐标、光斑坐标、相机坐标、光源的实际位置、瞳孔中心成像坐标，结合椭球模型确定人眼的视线方向。
上述获取模块21，用于根据相机对应的相机坐标和光斑坐标，通过如下公式(1)获取光源对应的反射点坐标；根据相机坐标和瞳孔中心成像坐标，通过如下公式(2)获取瞳孔中心对应的折射点坐标；
qij＝oj+kq,ij(oj-uij)……(1)
rj＝oj+kr,j(oj-vj)……(2)
在公式(1)和(2)中，i为光源的序号，j为相机的序号，qij为反射点坐标，oj为相机坐标，kq,ij为反射矢量系数，uij为光斑坐标，rj为折射点坐标，kr,j为折射矢量系数，vj为瞳孔中心成像坐标。
建立模块22，用于对人眼建立如下公式(3)所示的椭球模型；
(x-c)TΛ-1(x-c)＝1……(3)
在公式(3)中，x为人眼的椭球表面上的点，c为人眼对应的角膜曲率中心，Λ为法向量系数，a，b和c分别为人眼的椭球对应的三个轴的长度。
上述视线确定模块23包括：
获取单元，用于根据反射点坐标、光斑坐标、相机坐标、光源的实际位置，结合椭球模型获取人眼对应的角膜曲率中心；根据折射点坐标、角膜曲率中心、瞳孔中心成像坐标、相机坐标，结合椭球模型获取人眼对应的瞳孔中心；
确定单元，用于根据角膜曲率中心和瞳孔中心，确定人眼的视线方向。
上述获取单元，用于根据反射点坐标和椭球模型，通过如下公式(4)获得反射点法向量；根据反射点法向量，相机坐标、光源的实际位置、光斑坐标、反射点坐标，通过如下公式(5)和(6)获得人眼对应的角膜曲率中心；
(qij-c)TΛ-1(qij-c)＝1……(4)
在公式(4)、(5)和(6)中，i为光源的序号，j为相机的序号，qij为反射点坐标，c为角膜曲率中心，Λ-1(qij-c)为反射点法向量，oj为相机坐标，uij为光斑坐标，Ii为光源的实际位置，Λ为法向量系数。
上述获取单元，用于根据折射点坐标和椭球模型，通过如下公式(7)获得折射点法向量；根据折射点法向量、角膜曲率中心、瞳孔中心成像坐标、相机坐标、折射点坐标，通过如下公式(8)、(9)和(10)获得人眼对应的瞳孔中心；
(rj-c)TΛ-1(rj-c)＝1……(7)
||p-c||＝K……(10)
在公式(7)、(8)、(9)和(10)中，j为相机的序号，rj为折射点坐标，oj为相机坐标，vj为瞳孔中心成像坐标，c为角膜曲率中心，Λ-1(c-rj)为折射点法向量，p为人眼对应的瞳孔中心，n1和n2分别为人眼中的房水和空气的折射率，K为瞳孔中心与角膜曲率中心之间的距离，Λ为法向量系数。
上述确定单元，用于根据角膜曲率中心和瞳孔中心，通过如下公式(11)和(12)确定人眼的视线方向；
在公式(11)和(12)中，p为瞳孔中心，c为角膜曲率中心，g为视线轴与观察点平面的交点，为人眼的光学轴与坐标系xz平面之间的夹角，θeye为光学轴在xz平面上的投影与坐标系z轴之间的夹角，αeye和βeye为Kappa角，cz为角膜曲率中心在坐标系z轴上的分量。
在本发明实施例中，该装置还包括：
参数估计模块，用于获取真实视线方向，根据真实视线方向、人眼的光学轴与坐标系xz平面之间的夹角及光学轴在xz平面上的投影与坐标系z轴之间的夹角，通过如下公式(13)来确定Kappa角；
在公式(13)中，αeye和βeye为Kappa角，为人眼的光学轴与坐标系xz平面之间的夹角，θeye为光学轴在xz平面上的投影与坐标系z轴之间的夹角，为真实视线方向在坐标轴x轴上的分量，为真实视线方向在坐标轴y轴上的分量。
上述参数估计模块，还用于根据真实视线方向、Kappa角、相机坐标、瞳孔中心成像坐标、角膜曲率中心、折射点坐标、瞳孔中心与角膜曲率中心之间的距离，计算人眼中的房水的折射率；根据相机坐标、折射点坐标、角膜曲率中心、瞳孔中心、房水的折射率，计算瞳孔中心与角膜曲率中心之间的距离；根据角膜曲率中心、瞳孔中心成像坐标和折射点坐标，通过最小二乘法计算法向量系数。
在本发明实施例中，通过相机对人眼拍照得到眼球图像，从眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；根据相机对应的相机坐标和光斑坐标，获取光源对应的反射点坐标；根据相机坐标和瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；对人眼建立椭球模型；根据反射点坐标、折射点坐标、光斑坐标、相机坐标、光源的实际位置、瞳孔中心成像坐标，结合椭球模型确定人眼的视线方向。本发明采用椭球模型进行视线估计，由于眼球的形状近似椭球，所以采用椭球模型估计出来的参数误差很小，采用椭球模型估计出的参数来进行视线估计，大大降低了视线估计的误差，提高了估计准确度。
本发明实施例所提供的视线估计装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种视线估计方法，其特征在于，所述方法包括：
通过相机对人眼拍照得到眼球图像，从所述眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；
根据所述相机对应的相机坐标和所述光斑坐标，获取所述光源对应的反射点坐标；根据所述相机坐标和所述瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；
对所述人眼建立椭球模型；
根据所述反射点坐标、所述折射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置、所述瞳孔中心成像坐标，结合所述椭球模型确定所述人眼的视线方向。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相机对应的相机坐标和所述光斑坐标，获取所述光源对应的反射点坐标；根据所述相机坐标和所述瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标，包括：
根据所述相机对应的相机坐标和所述光斑坐标，通过如下公式(1)获取所述光源对应的反射点坐标；
根据所述相机坐标和所述瞳孔中心成像坐标，通过如下公式(2)获取瞳孔中心对应的折射点坐标；
qij＝oj+kq,ij(oj-uij)……(1)
rj＝oj+kr,j(oj-vj)……(2)
在公式(1)和(2)中，i为所述光源的序号，j为所述相机的序号，qij为所述反射点坐标，oj为所述相机坐标，kq,ij为反射矢量系数，uij为所述光斑坐标，rj为所述折射点坐标，kr,j为折射矢量系数，vj为所述瞳孔中心成像坐标。
3.根据权利要求1所述的方法，其特征在于，所述对所述人眼建立椭球模型，包括：
对所述人眼建立如下公式(3)所示的椭球模型；
(x-c)TΛ-1(x-c)＝1……(3)
在公式(3)中，x为所述人眼的椭球表面上的点，c为所述人眼对应的角膜曲率中心，Λ为法向量系数，a，b和c分别为所述人眼的椭球对应的三个轴的长度。
4.根据权利要求1所述的方法，其特征在于，所述根据所述反射点坐标、所述折射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置、所述瞳孔中心成像坐标，结合所述椭球模型确定所述人眼的视线方向，包括：
根据所述反射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置，结合所述椭球模型获取所述人眼对应的角膜曲率中心；
根据所述折射点坐标、所述角膜曲率中心、所述瞳孔中心成像坐标、所述相机坐标，结合所述椭球模型获取所述人眼对应的瞳孔中心；
根据所述角膜曲率中心和所述瞳孔中心，确定所述人眼的视线方向。
5.根据权利要求4所述的方法，其特征在于，所述根据所述反射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置，结合所述椭球模型获取所述人眼对应的角膜曲率中心，包括：
根据所述反射点坐标和所述椭球模型，通过如下公式(4)获得反射点法向量；
根据所述反射点法向量，所述相机坐标、所述光源的实际位置、所述光斑坐标、所述反射点坐标，通过如下公式(5)和(6)获得所述人眼对应的角膜曲率中心；
(qij-c)TΛ-1(qij-c)＝1……(4)
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>o</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>&CircleTimes;</mo>
<mo>(</mo>
<msub>
<mi>u</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>o</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>&CenterDot;</mo>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>c</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
<mo>=</mo>
<mn>0......</mn>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>u</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>o</mi>
<mi>j</mi>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>u</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>o</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>c</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>c</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>......</mn>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
在公式(4)、(5)和(6)中，i为所述光源的序号，j为所述相机的序号，qij为所述反射点坐标，c为所述角膜曲率中心，Λ-1(qij-c)为所述反射点法向量，oj为所述相机坐标，uij为所述光斑坐标，Ii为所述光源的实际位置，Λ为法向量系数。
6.根据权利要求4所述的方法，其特征在于，所述根据所述折射点坐标、所述角膜曲率中心、所述瞳孔中心成像坐标、所述相机坐标，结合所述椭球模型获取所述人眼对应的瞳孔中心，包括：
根据所述折射点坐标和所述椭球模型，通过如下公式(7)获得折射点法向量；
根据所述折射点法向量、所述角膜曲率中心、所述瞳孔中心成像坐标、所述相机坐标、所述折射点坐标，通过如下公式(8)、(9)和(10)获得所述人眼对应的瞳孔中心；
(rj-c)TΛ-1(rj-c)＝1……(7)
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>o</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>&CircleTimes;</mo>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<mi>c</mi>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
<mo>&CenterDot;</mo>
<mo>(</mo>
<mi>p</mi>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>=</mo>
<mn>0......</mn>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
<mfrac>
<mrow>
<mi>p</mi>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>p</mi>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>&CircleTimes;</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<mi>c</mi>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>o</mi>
<mi>j</mi>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>o</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>&CircleTimes;</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>&Lambda;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<mi>c</mi>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>......</mn>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
||p-c||＝K……(10)
在公式(7)、(8)、(9)和(10)中，j为所述相机的序号，rj为所述折射点坐标，oj为所述相机坐标，vj为所述瞳孔中心成像坐标，c为所述角膜曲率中心，Λ-1(c-rj)为所述折射点法向量，p为所述人眼对应的瞳孔中心，n1和n2分别为所述人眼中的房水和空气的折射率，K为所述瞳孔中心与所述角膜曲率中心之间的距离，Λ为法向量系数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述角膜曲率中心和所述瞳孔中心，确定所述人眼的视线方向，包括：
根据所述角膜曲率中心和所述瞳孔中心，通过如下公式(11)和(12)确定所述人眼的视线方向；
在公式(11)和(12)中，p为所述瞳孔中心，c为所述角膜曲率中心，g为所述人眼的视线轴与观察点平面的交点，为所述人眼的光学轴与坐标系xz平面之间的夹角，θeye为所述光学轴在所述xz平面上的投影与坐标系z轴之间的夹角，αeye和βeye为Kappa角，cz为所述角膜曲率中心在坐标系z轴上的分量。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取真实视线方向，根据所述真实视线方向、所述人眼的光学轴与坐标系xz平面之间的夹角及所述光学轴在所述xz平面上的投影与坐标系z轴之间的夹角，通过如下公式(13)来确定所述Kappa角；
在公式(13)中，αeye和βeye为Kappa角，为所述人眼的光学轴与坐标系xz平面之间的夹角，θeye为所述光学轴在所述xz平面上的投影与坐标系z轴之间的夹角，为所述真实视线方向在坐标轴x轴上的分量，为所述真实视线方向在坐标轴y轴上的分量。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
根据所述真实视线方向、所述Kappa角、所述相机坐标、所述瞳孔中心成像坐标、所述角膜曲率中心、所述折射点坐标、所述瞳孔中心与所述角膜曲率中心之间的距离，计算所述人眼中的房水的折射率；
根据所述相机坐标、所述折射点坐标、所述角膜曲率中心、所述瞳孔中心、所述房水的折射率，计算所述瞳孔中心与所述角膜曲率中心之间的距离；
根据所述角膜曲率中心、所述瞳孔中心成像坐标和所述折射点坐标，通过最小二乘法计算所述法向量系数。
10.一种视线估计装置，其特征在于，所述装置包括：
坐标确定模块，用于通过相机对人眼拍照得到眼球图像，从所述眼球图像中确定出瞳孔中心成像坐标和光源对应的光斑坐标；
获取模块，用于根据所述相机对应的相机坐标和所述光斑坐标，获取所述光源对应的反射点坐标；根据所述相机坐标和所述瞳孔中心成像坐标，获取瞳孔中心对应的折射点坐标；
建立模块，用于对所述人眼建立椭球模型；
视线确定模块，用于根据所述反射点坐标、所述折射点坐标、所述光斑坐标、所述相机坐标、所述光源的实际位置、所述瞳孔中心成像坐标，结合所述椭球模型确定所述人眼的视线方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710601213.3A CN107358217B (zh) | 2017-07-21 | 2017-07-21 | 一种视线估计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710601213.3A CN107358217B (zh) | 2017-07-21 | 2017-07-21 | 一种视线估计方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107358217A true CN107358217A (zh) | 2017-11-17 |
| CN107358217B CN107358217B (zh) | 2020-01-07 |
Family
ID=60286071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710601213.3A Active CN107358217B (zh) | 2017-07-21 | 2017-07-21 | 一种视线估计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107358217B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144267A (zh) * | 2018-09-03 | 2019-01-04 | 中国农业大学 | 人机交互方法及装置 |
| CN110096130A (zh) * | 2018-01-29 | 2019-08-06 | 美的集团股份有限公司 | 控制方法及装置、热水器和计算机可读存储介质 |
| CN110275304A (zh) * | 2019-06-17 | 2019-09-24 | 上海宇极文化传播有限公司 | 一种xr头显及调整xr头显中播放图像的视场的方法 |
| CN110427101A (zh) * | 2019-07-08 | 2019-11-08 | 北京七鑫易维信息技术有限公司 | 眼球追踪的校准方法、装置、设备和存储介质 |
| CN110537897A (zh) * | 2019-09-10 | 2019-12-06 | 北京未动科技有限公司 | 视线追踪方法和装置、计算机可读存储介质、电子设备 |
| CN110705504A (zh) * | 2019-10-14 | 2020-01-17 | 京东方科技集团股份有限公司 | 视线定位方法、显示装置、电子设备以及存储介质 |
| CN111124103A (zh) * | 2018-10-31 | 2020-05-08 | 托比股份公司 | 检测头戴式装置的重新定位 |
| CN111308697A (zh) * | 2018-12-11 | 2020-06-19 | 简韶逸 | 适应性视线追踪的校正方法 |
| CN113827244A (zh) * | 2020-06-24 | 2021-12-24 | 比亚迪股份有限公司 | 驾驶员视线方向的检测方法、监控方法、系统和装置 |
| CN113903079A (zh) * | 2020-07-06 | 2022-01-07 | 北京理工大学 | 一种基于集成化微小型头戴式系统的视线估计方法 |
| CN114428398A (zh) * | 2020-10-29 | 2022-05-03 | 北京七鑫易维信息技术有限公司 | 一种光斑与光源的匹配方法、装置、设备及存储介质 |
| WO2023011339A1 (zh) * | 2021-08-05 | 2023-02-09 | 虹软科技股份有限公司 | 视线方向追踪方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901485A (zh) * | 2010-08-11 | 2010-12-01 | 华中科技大学 | 3d自由头动式视线跟踪系统 |
| CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪系统中基于瞳孔-角膜反射的视线估计方法 |
| CN104113680A (zh) * | 2013-04-19 | 2014-10-22 | 北京三星通信技术研究有限公司 | 视线跟踪系统及方法 |
-
2017
- 2017-07-21 CN CN201710601213.3A patent/CN107358217B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪系统中基于瞳孔-角膜反射的视线估计方法 |
| CN101901485A (zh) * | 2010-08-11 | 2010-12-01 | 华中科技大学 | 3d自由头动式视线跟踪系统 |
| CN104113680A (zh) * | 2013-04-19 | 2014-10-22 | 北京三星通信技术研究有限公司 | 视线跟踪系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 任冬淳等: "一种基于标准化人眼图像的视线估计算法", 《电子学报》 * |
| 张闯等: "视线追踪系统中眼睛跟踪方法研究", 《自动化学报》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096130A (zh) * | 2018-01-29 | 2019-08-06 | 美的集团股份有限公司 | 控制方法及装置、热水器和计算机可读存储介质 |
| CN109144267A (zh) * | 2018-09-03 | 2019-01-04 | 中国农业大学 | 人机交互方法及装置 |
| CN111124103A (zh) * | 2018-10-31 | 2020-05-08 | 托比股份公司 | 检测头戴式装置的重新定位 |
| CN111308697A (zh) * | 2018-12-11 | 2020-06-19 | 简韶逸 | 适应性视线追踪的校正方法 |
| CN111308697B (zh) * | 2018-12-11 | 2021-11-05 | 简韶逸 | 适应性视线追踪的校正方法 |
| CN110275304A (zh) * | 2019-06-17 | 2019-09-24 | 上海宇极文化传播有限公司 | 一种xr头显及调整xr头显中播放图像的视场的方法 |
| CN110427101A (zh) * | 2019-07-08 | 2019-11-08 | 北京七鑫易维信息技术有限公司 | 眼球追踪的校准方法、装置、设备和存储介质 |
| CN110537897A (zh) * | 2019-09-10 | 2019-12-06 | 北京未动科技有限公司 | 视线追踪方法和装置、计算机可读存储介质、电子设备 |
| CN110705504A (zh) * | 2019-10-14 | 2020-01-17 | 京东方科技集团股份有限公司 | 视线定位方法、显示装置、电子设备以及存储介质 |
| CN110705504B (zh) * | 2019-10-14 | 2022-07-08 | 京东方科技集团股份有限公司 | 视线定位方法、显示装置、电子设备以及存储介质 |
| CN113827244A (zh) * | 2020-06-24 | 2021-12-24 | 比亚迪股份有限公司 | 驾驶员视线方向的检测方法、监控方法、系统和装置 |
| CN113827244B (zh) * | 2020-06-24 | 2023-10-17 | 比亚迪股份有限公司 | 驾驶员视线方向的检测方法、监控方法、系统和装置 |
| CN113903079A (zh) * | 2020-07-06 | 2022-01-07 | 北京理工大学 | 一种基于集成化微小型头戴式系统的视线估计方法 |
| CN114428398A (zh) * | 2020-10-29 | 2022-05-03 | 北京七鑫易维信息技术有限公司 | 一种光斑与光源的匹配方法、装置、设备及存储介质 |
| CN114428398B (zh) * | 2020-10-29 | 2023-12-26 | 北京七鑫易维信息技术有限公司 | 一种光斑与光源的匹配方法、装置、设备及存储介质 |
| WO2023011339A1 (zh) * | 2021-08-05 | 2023-02-09 | 虹软科技股份有限公司 | 视线方向追踪方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107358217B (zh) | 2020-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358217A (zh) | 一种视线估计方法及装置 | |
| JP7443332B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
| JP7405800B2 (ja) | 眼画像の収集、選択および組み合わせ | |
| CN109558012B (zh) | 一种眼球追踪方法及装置 | |
| CN104113680B (zh) | 视线跟踪系统及方法 | |
| CN105708467B (zh) | 人体实际距离测量及眼镜架的定制方法 | |
| WO2017134275A1 (en) | Methods and systems for determining an optical axis and/or physical properties of a lens and use of the same in virtual imaging and head-mounted displays | |
| CN105026989B (zh) | 眼镜镜片的设计系统、供给系统、设计方法及制造方法 | |
| Nitschke et al. | Corneal imaging revisited: An overview of corneal reflection analysis and applications | |
| CN109086726A (zh) | 一种基于ar智能眼镜的局部图像识别方法及系统 | |
| WO2023011339A1 (zh) | 视线方向追踪方法和装置 | |
| US11789262B2 (en) | Systems and methods for operating a head-mounted display system based on user identity | |
| KR102073460B1 (ko) | 렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법 | |
| CN109696954A (zh) | 视线追踪方法、装置、设备和存储介质 | |
| CN112099622B (zh) | 一种视线追踪方法及装置 | |
| US10620454B2 (en) | System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images | |
| CN109840019A (zh) | 虚拟人物的控制方法、装置及存储介质 | |
| US20220207919A1 (en) | Methods, devices and systems for determining eye parameters | |
| CN106963334A (zh) | 一种基于vr技术的验光方法及vr眼镜验光仪 | |
| JP7434353B2 (ja) | 視覚タスクのための視覚機器の性能を評価する装置及び方法 | |
| US20220175240A1 (en) | A device and method for evaluating a performance of a visual equipment for a visual task | |
| US20200258255A1 (en) | Systems and methods for determining an ear saddle point of a user to produce specifications to fit a wearable apparatus to the user's head | |
| CN110647790A (zh) | 注视信息的确定方法及装置 | |
| CN106598258A (zh) | 注视点映射函数确定方法及装置、注视点确定方法及装置 | |
| CN113729616B (zh) | 一种瞳孔中心位置数据的确定方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |