CN108334810B - 视线追踪设备中确定参数的方法和装置 - Google Patents

视线追踪设备中确定参数的方法和装置 Download PDF

Info

Publication number
CN108334810B
CN108334810B CN201711429629.8A CN201711429629A CN108334810B CN 108334810 B CN108334810 B CN 108334810B CN 201711429629 A CN201711429629 A CN 201711429629A CN 108334810 B CN108334810 B CN 108334810B
Authority
CN
China
Prior art keywords
vector
image
detected
images
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711429629.8A
Other languages
English (en)
Other versions
CN108334810A (zh
Inventor
刘伟
王健
任冬淳
聂凤梅
宫小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201711429629.8A priority Critical patent/CN108334810B/zh
Publication of CN108334810A publication Critical patent/CN108334810A/zh
Priority to US16/507,082 priority patent/US11380134B2/en
Priority to PCT/CN2018/119878 priority patent/WO2019128675A1/zh
Priority to TW107146856A priority patent/TWI699709B/zh
Application granted granted Critical
Publication of CN108334810B publication Critical patent/CN108334810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种视线追踪设备中确定参数的方法和装置。其中，该方法包括：获取待检测的图像以及待检测的图像的特征矩阵；基于预设模型对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量；基于第一向量和第二向量确定待检测的图像的参数，其中，待检测的图像的参数包括如下至少之一：待检测的图像中宁光斑的位置、待检测的图像中眼睛的视线方向。本发明解决了现有技术中视线追踪设备的视线估计算法和光斑预测算法计算复杂的技术问题。

Description

视线追踪设备中确定参数的方法和装置
技术领域
本发明涉及视线追踪领域，具体而言，涉及一种视线追踪设备中确定参数的方法和装置。
背景技术
在使用现有的视线追踪设备的过程中，主要是基于眼球的3D近似圆球模型，以根据眼球的瞳孔中心的坐标以及角膜反射来对注视点的远距离设备进行视线估计。但使用多相机多光源时，仅对单点进行校正即可完成视线估计以及光源与光斑的匹配过程。然而，在实际应用中，上述对视线进行估计的方法理论上的计算比较复杂，并且，由于光源不具有特异性，因此，在某些位置上的相机可能捕获不到图像或者捕获到的图像不佳，从而无法完成光斑与光源的匹配，进而导致无法确定视线方向，即无法准确进行视线估计。
针对上述现有技术中视线追踪设备的视线估计算法和光斑预测算法计算复杂的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视线追踪设备中确定参数的方法和装置，以至少解决现有技术中视线追踪设备的视线估计算法和光斑预测算法计算复杂的技术问题。
根据本发明实施例的一个方面，提供了一种视线追踪设备中确定参数的方法，包括：获取待检测的图像以及待检测的图像的特征矩阵；基于预设模型对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量；基于第一向量和第二向量确定待检测的图像的参数，其中，待检测的图像的参数包括如下至少之一：待检测的图像中光斑的位置、待检测的图像中眼睛的视线方向。
根据本发明实施例的另一方面，还提供了一种视线追踪设备中确定参数的装置，包括：获取模块，用于获取待检测的图像以及待检测的图像的特征矩阵；确定模块，用于基于预设模型对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量；估计模块，用于基于第一向量和第二向量确定待检测的图像的参数，其中，待检测的图像的参数包括如下至少之一：待检测的图像中光斑的位置、待检测的图像中眼睛的视线方向。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行视线追踪设备中确定参数的方法。
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行视线追踪设备中确定参数的方法。
根据本发明实施例的另一方面，还提供了一种视线追踪设备，该视线追踪设备包括视线追踪设备中确定参数的装置。
在本发明实施例中，采用对待检测的图像的数据进行分离的方式，通过获取待检测的图像以及待检测的图像的特征矩阵，基于预设模型对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量，并基于第一向量和第二向量确定待检测的图像的参数，其中，待检测的图像的参数包括如下至少之一：待检测的图像中光斑的位置、待检测的图像中眼睛的视线方向，达到了简化对待检测的图像处理的算法复杂度的目的，从而实现了提高图像处理速度的技术效果，进而解决了现有技术中视线追踪设备的视线估计算法和光斑预测算法计算复杂的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种视线追踪设备中确定参数的方法流程图；
图2是根据本发明实施例的一种可选的训练预设模型的方法流程图；
图3是根据本发明实施例的一种可选的图像的排列方式的示意图；
图4是根据本发明实施例的一种可选的多张待检测的图像的特征矩阵的示意图；以及
图5是根据本发明实施例的一种可选的视线追踪设备中确定参数的装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种视线追踪设备中确定参数的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的视线追踪设备中确定参数的方法流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待检测的图像以及待检测的图像的特征矩阵。
需要说明的是，本申请中的视线追踪设备包括但不限于VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，即增强现实)设备、MR(Magic Leap，混合现实)设备、可以进行视线追踪的智能终端，例如，手机、电脑、可穿戴设备(例如，3D眼镜)等。
在一种可选的实施例中，视线追踪设备中左眼和右眼所对应的区域分别设置一个相机，即设置左相机和右相机，用来分别采集左眼和右眼的数据。其中，通过视线追踪设备所采集到的图像即为上述待检测的图像。
步骤S104，基于预设模型对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量。
需要说明的是，上述预设模型可以为但不限于双线性模型，例如，通过《Seperating style and content with bilinear models》一文中所介绍的双线性模型训练的方法的双线性模型，将待检测的图像作为预设模型的输入，则预设模型的输出为对待检测的图像的数据进行分离后的向量，即第一向量和第二向量，其中，第一向量表示在某一基准空间下的向量，第二向量表示在某一视角空间下的向量。
步骤S106，基于第一向量和第二向量确定待检测的图像的参数，其中，待检测的图像的参数包括如下至少之一：待检测的图像中光斑的位置、待检测的图像中眼睛的视线方向。
需要说明的是，将待检测的图像分解为基准空间和视角空间两个维度下的向量，而分别对这两个维度下的向量分别进行处理，进而，根据分解后得到的第一向量和第二向量进行数据运算，可以达到降低数据处理的复杂度，提高图像数据的处理速度的效果。
基于上述步骤S102至步骤S106所限定的方案，可以获知，通过获取待检测的图像以及待检测的图像的特征矩阵，基于预设模型对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量，并基于第一向量和第二向量确定待检测的图像的参数，其中，待检测的图像的参数包括如下至少之一：待检测的图像中光斑的位置、待检测的图像中眼睛的视线方向。
容易注意到的是，基于双线性模型将待检测的图像数据分解为第一向量和第二向量，由于第一向量和第二向量是由待检测的图像的数据分解而来，因此，对第一向量和第二向量进行处理时，数据的复杂度要远远小于直接对待检测的图像的数据进行处理的复杂度，即上述过程可简化对视线方向和/或图像中光斑位置的估计算法，进而加快了对图像数据的处理速度。
由上述内容可知，本申请可以达到简化对待检测的图像处理的算法复杂度的目的，从而实现了提高图像处理速度的技术效果，进而解决了现有技术中视线追踪设备的视线估计算法和光斑预测算法计算复杂的技术问题。
在一种可选的实施例中，在基于预设模型对待检测的图像进行处理之前，需要对预设模型进行构建，具体包括如下步骤：
步骤S202，获取多张待训练的图像；
步骤S204，对多张待训练的图像进行处理，得到多张待训练的图像的特征矩阵；
步骤S206，对多张待训练的图像的特征矩阵进行训练，得到第三向量和第四向量以及关联矩阵。
具体的，图2示出了一种可选的训练预设模型的方法流程图，由图2可知，对预设模型进行训练需要从预置在视线追踪设备里的数据库中得到训练集，该训练集为不同基准空间以及不同视角空间下的多张人眼图像，即上述训练集中包含上述多张待训练的图像，然后对得到的训练集中的人眼图像进行训练集特征表示，得到该训练集的特征矩阵Z，然后对得到的特征矩阵进行模型训练，进而得到关联矩阵W、基准向量A和视角向量B，其中，A＝[a1,…,s]，B＝[b1,…,C]，S表示第四向量(即基准向量A)中的元素个数，C表示第三向量(即视角向量B)中的元素个数，上述第一向量为基准向量中的向量，第二向量为视角向量中的向量。
在一种可选的实施例中，在得到多张待训练的图像之后，将多张待训练的图像按照图3所示的图像的排列方式排列成矩阵形式，其中，矩阵的每一列代表不同基准空间下的图像，每一行代表不同视角空间下的图像，例如，第一行表示视角1空间下的图像，第一列表示在基准1空间下的图像，而第一行第一列表示在基准1空间下的视角1的图像，第一行第二列表示在基准2空间下的视角1的图像，对于基准2、基准3空间下的视角1、视角2、视角3以及视角3的图像以此类推，在此不再赘述。在对多张待训练的图像进行排列之后，对每张图像进行采样处理，例如，初始图像的大小为400×400，采样后的图像大小为20×20。在完成对每张图像的采样处理之后，对采样后的图像进行矩阵变换，即将原来为n×m维的图像矩阵转换为nm×1维的图像矩阵，例如，采样后的图像矩阵的维数为20×20，则进行矩阵转换后的图像的矩阵的维数变换为400×1。经过上述处理后，可得到如图4所示的多张待检测的图像的特征矩阵，其中，zijk表示视角i、基准j空间下的第j个元素，例如，z12n表示视角1、基准2空间下的第n个元素。
需要说明的是，在得到多张待训练的图像的特征矩阵之后，可对多张待训练的图像的特征矩阵进行预设模型训练(例如，双线性模型训练)，从而得到第三向量(即视角向量B)和第四向量(即基准向量A)以及关联矩阵，具体步骤如下：
步骤S2060，对多张待训练的图像的特征矩阵进行分解，得到第三向量；
步骤S2062，基于第三向量对多张待训练的图像的特征矩阵进行转换得到第一特征矩阵；
步骤S2064，对第一特征矩阵进行分解，得到第四向量；
步骤S2066，基于第四向量对第一特征矩阵进行转换得到第二特征矩阵；
步骤S2068，在第三向量和第四向量同时满足预设条件的情况下，基于第三向量和第四向量得到关联矩阵。
具体的，首先对得到的如图4所示的特征矩阵Z进行奇异值分解，即Z＝USVT，取矩阵VT的前j行作为视角向量B的初始值，从而得到第三向量，即第三向量为视角向量B。由于第三向量正交，因此，对特征矩阵Z进行变形得到：
[ZBT]VT＝WVTA
其中，矩阵[ZBT]VT为第一特征矩阵，对矩阵[ZBT]VT进行奇异值分解，即[ZBT]VT＝USVT，取VT的前i行作为基准向量A，进而得到第四向量。
同样，由于基准向量A正交，因此对双线性模型的矩阵公式进行转换可得到第二特征矩阵，即[ZVTAT]VT＝WB。对第二特征矩阵进行奇异值分解[ZVTAT]VT＝USVT，取VT的前j行作为视角向量B，进而得到第三向量。重复上述过程，直至得到的第三向量和第四向量均收敛为止，此时，第三向量和第四向量满足上述预设条件，根据如下公式可得到关联矩阵W：
W＝[[ZBT]VTAT]VT
其中，在第三向量和/或第四向量不满足预设条件的情况下，以第二特征矩阵作为多张待训练的图像的特征矩阵，执行基于第三向量对多张待训练的图像的特征矩阵进行转换的步骤，直至第三向量和第四向量同时满足预设条件。
需要说明的是，在构建完预设模型之后，使用该预设模型即可对待检测的图像进行分析。在预设模型中的图像数量足够多的情况下，分解得到的基准向量和视角向量均具有一定的普遍性，因此，可将根据预设模型中排列好的图像数据得到的光斑和/或视线标注数据存储在数据库中。其中，对于待检测的图像对应的特征矩阵z，其所对应的基准向量和视角向量可在预设模型中找到，此时，可直接从数据库中提取对应的基准向量和视角向量即可；而当待检测的图像所对应的基准向量和视角向量中只有一个存储在数据库中时，可根据关联矩阵和待检测的图像的特征矩阵，得到待检测的图像的第一向量和第二向量，具体的，可根据如下公式对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量：
a＝([Wb]VT)-1z
b＝([WVTa]VT)-1z
其中，W为关联矩阵，z为待检测的图像的特征矩阵，a为第一向量，b为第二向量，WVT表示对关联矩阵W进行转置处理，［Wb]VT表示对矩阵Wb进行转置处理，[WVTa]VT表示对矩阵WVTa进行转置处理。
此外，还需要说明的是，对上式进行反复迭代，直至上式两个公式均收敛为止，基于此时的基准向量和视角向量可得到待检测的图像的参数，具体方法如下：
步骤S1060，基于第三向量和第四向量对第一向量和第二向量进行插值运算，得到运算结果；
步骤S1062，根据运算结果确定待检测的图像中光斑的位置和/或待检测的图像中眼睛的视线方向。
具体的，通过以下公式得到基准向量a和视角向量b的线性表示：
a＝a1n1+a2n2+…+asns
b＝b1m1+b2m2+…+bcmc
在上式中，aj(0＜s+1)表示第四向量(即基准向量)中的元素，bi(0＜i＜c+1)表示第三向量(即视角向量)中的元素，nj(0＜j＜s+1)表示向量a的线性组合系数，mi(0＜i＜c+1)表示向量b的线性组合系数。
在得到基准向量和视角向量的线性组合系数之后，对数据库中的光斑和/或视线数据进行插值运算，可得到待检测的图像z的光斑和/或视线数据如下：
X＝X1m1+X2m2+…+Xcmc
Y＝Y1m1+Y2m2+…+Ycmc
gx＝X(1n1+X(2n2+…+X(s)ns
gy＝Y(1n1+Y(2n2+…+Y(s)ns
在上式中，Xi，Yi(0＜i＜c+1)表示基准空间的注视点所对应的真值数据向量，X(j)，Y(j)0＜j＜s+1)表示X和Y向量的第j维,gx,gy分别表示注视点坐标。其中，在Xi，Yi(0＜i＜c+1)表示光斑的坐标的情况下，则根据上式得到的gx，gy分别表示计算出的光斑的坐标。确定视线方向的方法与确定光斑坐标的方法相同，在此不再赘述。
实施例2
根据本发明实施例，还提供了一种视线追踪设备中确定参数的装置实施例，其中，图5是根据本发明实施例的视线追踪设备中确定参数的装置结构示意图，如图5所示，该装置包括：获取模块501、确定模块503以及估计模块505。
其中，获取模块501，用于获取待检测的图像以及待检测的图像的特征矩阵；确定模块503，用于基于预设模型对待检测的图像进行处理，得到待检测的图像的第一向量和第二向量；估计模块505，用于基于第一向量和第二向量确定待检测的图像的参数，其中，待检测的图像的参数包括如下至少之一：待检测的图像中光斑的位置、待检测的图像中眼睛的视线方向。
需要说明的是，上述获取模块501、确定模块503以及估计模块505对应于实施例1中的步骤S102至步骤S106，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，视线追踪设备中确定参数的装置还包括：第一获取模块、处理模块以及训练模块。其中，第一获取模块，用于获取多张待训练的图像；处理模块，用于对多张待训练的图像进行处理，得到多张待训练的图像的特征矩阵；训练模块，用于对多张待训练的图像的特征矩阵进行训练，得到第三向量和第四向量以及关联矩阵。
需要说明的是，上述第一获取模块、处理模块以及训练模块对应于实施例1中的步骤S202至步骤S206，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，确定模块包括：第二确定模块。其中，第二确定模块，用于根据关联矩阵和待检测的图像的特征矩阵，得到待检测的图像的第一向量和第二向量。
在一种可选的实施例中，估计模块包括：第一处理模块以及第一确定模块。其中，第一处理模块，用于基于第三向量和第四向量对第一向量和第二向量进行插值运算，得到运算结果；第一确定模块，用于根据运算结果确定待检测的图像中光斑的位置和/或待检测的图像中眼睛的视线方向。
需要说明的是，上述第一处理模块以及第一确定模块对应于实施例1中的步骤S1060至步骤S1062，两个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，训练模块包括：第二处理模块、第三处理模块、第四处理模块、第四处理模块、第五处理模块以及第六处理模块。其中，第二处理模块，用于对多张待训练的图像的特征矩阵进行分解，得到第三向量；第三处理模块，用于基于第三向量对多张待训练的图像的特征矩阵进行转换得到第一特征矩阵；第四处理模块，用于对第一特征矩阵进行分解，得到第四向量；第五处理模块，用于基于第四向量对第一特征矩阵进行转换得到第二特征矩阵；第六处理模块，用于在第三向量和第四向量同时满足预设条件的情况下，基于第三向量和第四向量得到关联矩阵。
需要说明的是，上述第二处理模块、第三处理模块、第四处理模块、第四处理模块、第五处理模块以及第六处理模块对应于实施例1中的步骤S2060至步骤S2068，五个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，训练模块还包括：第七处理模块。其中，第七处理模块，用于在第三向量和/或第四向量不满足预设条件的情况下，以第二特征矩阵作为多张待训练的图像的特征矩阵，执行基于第三向量对多张待训练的图像的特征矩阵进行转换的步骤，直至第三向量和第四向量同时满足预设条件。
实施例3
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行实施例1中的视线追踪设备中确定参数的方法。
实施例4
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行实施例1中的视线追踪设备中确定参数的方法。
实施例5
根据本发明实施例的另一方面，还提供了一种处理器，该视线追踪设备包括实施例2中的视线追踪设备中确定参数的装置。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种视线追踪设备中确定参数的方法，其特征在于，包括：
获取待检测的图像以及所述待检测的图像的特征矩阵；
基于预设模型对所述待检测的图像进行处理，得到所述待检测的图像的第一向量和第二向量，所述第一向量为基准空间下的向量，所述第二向量为视角空间下的向量；
基于所述第一向量和所述第二向量确定所述待检测的图像的参数，其中，所述待检测的图像的参数包括如下至少之一：所述待检测的图像中光斑的位置、所述待检测的图像中眼睛的视线方向；
基于所述第一向量和所述第二向量确定所述待检测的图像的参数，包括：基于第三向量和第四向量对所述第一向量和所述第二向量进行插值运算，得到运算结果；根据所述运算结果确定所述待检测的图像中光斑的位置和/或所述待检测的图像中眼睛的视线方向；
在基于预设模型对所述待检测的图像进行处理之前，所述方法还包括：获取多张待训练的图像；对所述多张待训练的图像进行处理，得到所述多张待训练的图像的特征矩阵；对所述多张待训练的图像的特征矩阵进行训练，得到第三向量和第四向量以及关联矩阵。
2.根据权利要求1所述的方法，其特征在于，基于预设模型对所述待检测的图像进行处理，得到所述待检测的图像的第一向量和第二向量包括：
根据所述关联矩阵和所述待检测的图像的特征矩阵，得到所述待检测的图像的第一向量和第二向量。
3.根据权利要求1所述的方法，其特征在于，对所述多张待训练的图像的特征矩阵进行训练，得到第三向量和第四向量以及关联矩阵，包括：
对所述多张待训练的图像的特征矩阵进行分解，得到所述第三向量；
基于所述第三向量对所述多张待训练的图像的特征矩阵进行转换得到第一特征矩阵；
对所述第一特征矩阵进行分解，得到所述第四向量；
基于所述第四向量对所述第一特征矩阵进行转换得到第二特征矩阵；
在所述第三向量和所述第四向量同时满足预设条件的情况下，基于所述第三向量和所述第四向量得到所述关联矩阵。
4.根据权利要求3所述的方法，其特征在于，在所述第三向量和/或所述第四向量不满足所述预设条件的情况下，以所述第二特征矩阵作为所述多张待训练的图像的特征矩阵，执行基于所述第三向量对所述多张待训练的图像的特征矩阵进行转换的步骤，直至所述第三向量和所述第四向量同时满足所述预设条件。
5.一种视线追踪设备中确定参数的装置，其特征在于，包括：
获取模块，用于获取待检测的图像以及所述待检测的图像的特征矩阵；
确定模块，用于基于预设模型对所述待检测的图像进行处理，得到所述待检测的图像的第一向量和第二向量，所述第一向量为基准空间下的向量，所述第二向量为视角空间下的向量；
估计模块，用于基于所述第一向量和所述第二向量确定所述待检测的图像的参数，其中，所述待检测的图像的参数包括如下至少之一：所述待检测的图像中光斑的位置、所述待检测的图像中眼睛的视线方向；
所述估计模块包括：第一处理模块，用于基于第三向量和第四向量对所述第一向量和所述第二向量进行插值运算，得到运算结果；第一确定模块，用于根据所述运算结果确定所述待检测的图像中光斑的位置和/或所述待检测的图像中眼睛的视线方向；
所述装置还包括：第一获取模块，用于获取多张待训练的图像；处理模块，用于对所述多张待训练的图像进行处理，得到所述多张待训练的图像的特征矩阵；训练模块，用于对所述多张待训练的图像的特征矩阵进行训练，得到第三向量和第四向量以及关联矩阵。
6.根据权利要求5所述的装置，其特征在于，所述确定模块包括：
第二确定模块，用于根据所述关联矩阵和所述待检测的图像的特征矩阵，得到所述待检测的图像的第一向量和第二向量。
7.根据权利要求5所述的装置，其特征在于，所述训练模块包括：
第二处理模块，用于对所述多张待训练的图像的特征矩阵进行分解，得到所述第三向量；
第三处理模块，用于基于所述第三向量对所述多张待训练的图像的特征矩阵进行转换得到第一特征矩阵；
第四处理模块，用于对所述第一特征矩阵进行分解，得到所述第四向量；
第五处理模块，用于基于所述第四向量对所述第一特征矩阵进行转换得到第二特征矩阵；
第六处理模块，用于在所述第三向量和所述第四向量同时满足预设条件的情况下，基于所述第三向量和所述第四向量得到所述关联矩阵。
8.根据权利要求7所述的装置，其特征在于，所述训练模块还包括：
第七处理模块，用于在所述第三向量和/或所述第四向量不满足所述预设条件的情况下，以所述第二特征矩阵作为所述多张待训练的图像的特征矩阵，执行基于所述第三向量对所述多张待训练的图像的特征矩阵进行转换的步骤，直至所述第三向量和所述第四向量同时满足所述预设条件。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至4中任意一项所述的视线追踪设备中确定参数的方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至4中任意一项所述的视线追踪设备中确定参数的方法。
11.一种视线追踪设备，其特征在于，所述视线追踪设备包括权利要求5至8中任意一项所述的装置。
CN201711429629.8A 2017-12-25 2017-12-25 视线追踪设备中确定参数的方法和装置 Active CN108334810B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711429629.8A CN108334810B (zh) 2017-12-25 2017-12-25 视线追踪设备中确定参数的方法和装置
US16/507,082 US11380134B2 (en) 2017-12-25 2018-12-07 Method and device for determining parameter for gaze tracking device
PCT/CN2018/119878 WO2019128675A1 (zh) 2017-12-25 2018-12-07 视线追踪设备中确定参数的方法和装置
TW107146856A TWI699709B (zh) 2017-12-25 2018-12-24 視線追蹤設備中確定參數的方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711429629.8A CN108334810B (zh) 2017-12-25 2017-12-25 视线追踪设备中确定参数的方法和装置

Publications (2)

Publication Number Publication Date
CN108334810A CN108334810A (zh) 2018-07-27
CN108334810B true CN108334810B (zh) 2020-12-11

Family

ID=62923544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711429629.8A Active CN108334810B (zh) 2017-12-25 2017-12-25 视线追踪设备中确定参数的方法和装置

Country Status (4)

Country Link
US (1) US11380134B2 (zh)
CN (1) CN108334810B (zh)
TW (1) TWI699709B (zh)
WO (1) WO2019128675A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334810B (zh) * 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
CN109034108B (zh) * 2018-08-16 2020-09-22 北京七鑫易维信息技术有限公司 一种视线估计的方法、装置和系统
CN109189216B (zh) * 2018-08-16 2021-09-17 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和系统
CN109917908B (zh) * 2019-02-01 2023-03-24 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
CN109963143A (zh) * 2019-02-01 2019-07-02 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
US11527082B2 (en) * 2019-06-17 2022-12-13 Google Llc Vehicle occupant engagement using three-dimensional eye gaze vectors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870796A (zh) * 2012-12-13 2014-06-18 汉王科技股份有限公司 一种人眼视线估计的方法与装置
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
CN107357429A (zh) * 2017-07-10 2017-11-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US20080084539A1 (en) * 2006-10-06 2008-04-10 Daniel Tyler J Human-machine interface device and method
US7783077B2 (en) * 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method
CN101436250B (zh) * 2008-11-19 2010-12-01 西安电子科技大学 基于非线性张量分解与视角流形的多视角人脸识别方法
US9141875B2 (en) * 2010-05-26 2015-09-22 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
CN104182723B (zh) * 2013-05-24 2017-07-18 汉王科技股份有限公司 一种视线估计的方法和装置
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
WO2015117906A1 (de) * 2014-02-04 2015-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 2d-bildanalysator
KR101610496B1 (ko) * 2014-08-26 2016-04-07 현대자동차주식회사 시선 추적 방법 및 장치
KR101745140B1 (ko) * 2015-09-21 2017-06-08 현대자동차주식회사 시선 추적 장치 및 방법
CN105303170B (zh) * 2015-10-16 2018-11-20 浙江工业大学 一种基于人眼特征的视线估计方法
TWI585607B (zh) * 2016-01-04 2017-06-01 由田新技股份有限公司 結合臉部認證的視線軌跡認證系統、方法、電腦可讀取紀錄媒體及電腦程式產品
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106340051B (zh) * 2016-08-22 2019-04-02 厦门汇利伟业科技有限公司 3d场景分块加载方法及其系统
CN107067438B (zh) 2017-03-24 2019-12-24 清华大学 基于线性回归的双向视线方向估计方法和装置
CN107103293B (zh) 2017-04-13 2019-01-29 西安交通大学 一种基于相关熵的注视点估计方法
CN107315997B (zh) * 2017-05-27 2020-08-28 湖北天业云商网络科技有限公司 一种基于快速特征点定位的视线朝向判断方法及系统
CN108334810B (zh) 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870796A (zh) * 2012-12-13 2014-06-18 汉王科技股份有限公司 一种人眼视线估计的方法与装置
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
CN107357429A (zh) * 2017-07-10 2017-11-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Bilinear Model Based Solution to Object Pose Estimation with Monocular Vision for Grasping;Zhicai Ou 等;《Proceedings of the 2011 IEEE International Conference on Mechatronics and Automation》;20110810;501-506 *
Separating Style and Content with Bilinear Models;Joshua B.Tenenbaum & William T.Freeman;《Neural Computation》;20001231;第12卷(第6期);1247-1283 *

Also Published As

Publication number Publication date
CN108334810A (zh) 2018-07-27
US20200226351A1 (en) 2020-07-16
TW201928780A (zh) 2019-07-16
US11380134B2 (en) 2022-07-05
WO2019128675A1 (zh) 2019-07-04
TWI699709B (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
CN108334810B (zh) 视线追踪设备中确定参数的方法和装置
US20200265597A1 (en) Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN108024762B (zh) 耳形状分析方法、耳形状分析装置以及耳形状模型生成方法
CN110353675B (zh) 基于图片生成的脑电信号情感识别方法及装置
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN114863037B (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN104036502B (zh) 一种无参考模糊失真立体图像质量评价方法
CN111784821A (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN102480626A (zh) 图像处理装置、显示装置以及图像处理方法
CN111708939B (zh) 基于情绪识别的推送方法、装置、计算机设备及存储介质
CN112597824A (zh) 行为识别方法、装置、电子设备和存储介质
CN114333074A (zh) 基于动态轻量高分辨率网络的人体姿态估计方法
CN105979283A (zh) 视频转码方法和装置
CN113723317A (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN115953533A (zh) 三维人体重建方法及装置
CN108509830B (zh) 一种视频数据处理方法及设备
CN113538402A (zh) 一种基于密度估计的人群计数方法及系统
Hill et al. Aging the human face-a statistically rigorous approach
CN111368941B (zh) 一种图像处理方法、装置以及计算机存储介质
CN117593178A (zh) 一种基于特征引导的虚拟试衣方法
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN110956599A (zh) 图片处理方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant