CN110647790A - 注视信息的确定方法及装置 - Google Patents

注视信息的确定方法及装置 Download PDF

Info

Publication number
CN110647790A
CN110647790A CN201910345402.8A CN201910345402A CN110647790A CN 110647790 A CN110647790 A CN 110647790A CN 201910345402 A CN201910345402 A CN 201910345402A CN 110647790 A CN110647790 A CN 110647790A
Authority
CN
China
Prior art keywords
user
information
sample
image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910345402.8A
Other languages
English (en)
Inventor
赵志忠
姚涛
杨孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201910345402.8A priority Critical patent/CN110647790A/zh
Publication of CN110647790A publication Critical patent/CN110647790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种注视信息的确定方法及装置。其中，上述方法包括：获取用户的第一图像；根据所述第一图像确定所述用户在第一坐标系中的第一注视信息；基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息，其中，所述第二坐标系与所述第一坐标系不同，所述第二注视信息为所述用户在显示界面上的注视信息。本申请解决了相关技术中通过眼睛距屏幕的距离与视线方向的夹角确定注视信息的方式，计算出的注视点的位置准确度较低的技术问题。

Description

注视信息的确定方法及装置
技术领域
本申请涉及视线追踪领域，具体而言，涉及一种注视信息的确定方法及装置。
背景技术
目前，获取用户注视点的方法多采用通过首先获取用户的视线方向与眼睛与屏幕的距离确定视线方向与屏幕的垂线的夹角,然后通过夹角与眼睛至屏幕的距离计算出用户的注视信息，即注视点的具体位置,但是,当屏幕出现倾斜时,会引起眼睛至屏幕的距离计算不准确,计算过程较多,易造成误差积累,导致计算出的注视点的位置准确度较低。
针对上述技术问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种注视信息的确定方法及装置，以至少解决相关技术中通过眼睛距屏幕的距离与视线方向的夹角确定注视信息的方式，计算出的注视点的位置准确度较低的技术问题。
根据本申请实施例的一个方面，提供了一种注视信息的确定方法，该方法包括：获取用户的第一图像；根据所述第一图像确定所述用户在第一坐标系中的第一注视信息；基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息，其中，所述第二坐标系与所述第一坐标系不同，所述第二注视信息为所述用户在显示界面上的注视信息。
可选地，根据所述第一图像确定所述用户在第一坐标系中的第一注视信息包括：将所述第一图像输入预设模型进行分析,得到所述用户在第一坐标系中的第一注视信息,其中,所述预设模型为通过多组数据训练得到的，所述多组数据中的每组数据均包括：样本第一用户图像以及用于标记所述样本第一用户图像所对应的第一样本注视信息的标记。
可选地，将所述第一图像输入预设模型进行分析之前，所述方法还包括：确定第二样本注视信息，其中，所述第二样本注视信息为第二样本注视点在所述第二坐标系中的注视信息；对所述第二样本注视信息进行归一化处理，得到所述第一坐标系中的所述第一样本注视信息。
可选地，对所述第二样本注视信息进行归一化处理,得到所述第一坐标系中的所述第一样本注视信息包括：采集用户注视所述第二样本注视点时的样本第二用户图像；基于所述样本第二用户图像确定采集所述样本第一用户图像的第一拍摄装置的影像几何中心的位置；将用户注视所述第二样本注视点时的用户视线与所述第一拍摄装置的像平面的交点确定为所述第一样本注视点；获取所述第一样本注视点在所述第一坐标系中的注视信息。
可选地，所述用户视线的起点为用户注视所述第二样本注视点时，预设特征在所述第二坐标系中的坐标的平均值坐标处的点，所述视线的终点是所述显示界面上的所述第二样本注视点，所述预设特征包括以下至少之一：用户的眼角信息、嘴角信息。
可选地，获取用户的第一图像之前，所述方法还包括：控制第二拍摄装置采集所述用户的第二图像；基于所述第二图像确定第一拍摄装置的目标位置，其中，所述第一拍摄装置为在所述目标位置处可拍摄到所述第一图像的拍摄装置；基于所述目标位置确定所述第一坐标系的位置。
可选地，获取用户的第一图像之前，所述方法还包括：建立所述第二坐标系，其中，所述第二坐标系的原点为第二拍摄装置的像平面的影像几何中心,X、Y轴分别为平行于所述第二拍摄装置的影像画幅边缘线的直线，Z轴为与所述第二拍摄装置的像平面垂直的直线；基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息之前，所述方法还包括：建立所述第一坐标系与所述第二坐标系中各个坐标的对应关系。
可选地，将所述第一图像输入预设模型进行分析之前，所述方法还包括：训练所述预设模型；训练所述预设模型包括：(1)初始化所述预设模型的模型参数；(2)设置所述预设模型训练的超参数；(3)基于所述超参数，使用梯度下降法迭代计算目标函数的函数值，直至迭代次数达到所述超参数中的训练轮数时，停止训练；将停止训练时的模型参数设定为所述预设模型的最终模型参数，得到所述预设模型。
根据本申请实施例的一个方面，提供了一种注视信息的确定方法，该方法包括：获取多组第二样本注视信息与多组样本第二用户图像，其中，所述第二样本注视信息与所述样本第二用户图像一一对应；对所述多组第二样本注视信息与所述多组样本第二用户图像进行归一化，得到多组第一样本注视信息与多组样本第一用户图像，其中，所述第一样本注视信息为第一样本注视点在第一坐标系中的注视信息，所述第二坐标系与所述第一坐标系不同；基于所述多组样本第一用户图像以及用于标记各个样本第一用户图像所对应的第一样本注视信息的标记，训练预设模型；获取用户的第一图像；根据所述第一图像确定所述用户在所述第一坐标系中的第一注视点信息；将所述第一图像输入所述预设模型进行分析,得到所述用户在所述第一坐标系中的第一注视信息；基于所述第一注视信息确定所述用户在所述第二坐标系中的第二注视信息。
根据本申请实施例的一个方面，提供了一种注视信息确定装置，该装置包括：获取模块，用于获取用户的第一图像；第一确定模块，用于根据所述第一图像确定所述用户在第一坐标系中的第一注视信息；第二确定模块，用于基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息，其中，所述第二坐标系与所述第一坐标系不同，所述第二注视信息为所述用户在显示界面上的注视信息。
根据本申请实施例的一个方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述的注视信息的确定方法。
根据本申请实施例的一个方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的注视信息的确定方法。
本申请实施例中通过获取用户的第一图像；根据所述第一图像确定所述用户在第一坐标系中的第一注视信息；基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息，其中，所述第二坐标系与所述第一坐标系不同，所述第二注视信息为所述用户在显示界面上的注视信息，基于对用户注视信息的坐标系的变换，避免了通过视线方向与眼睛距屏幕的距离的夹角来确定注视信息引进的误差，提高了注视点位置的确定精度，进而解决了相关技术中通过眼睛距屏幕的距离与视线方向的夹角确定注视信息的方式，计算出的注视点的位置准确度较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1a是根据本申请实施例的一种注视信息的确定方法的流程示意图；
图1b是根据本申请实施例的一种由样本第二用户图像获取到样本第一用户图像的过程的示意图；
图2是根据本申请实施例的一种预设模型的训练方法的流程示意图；
图3是根据本申请实施例的一种注视信息的确定方法的流程示意图；
图4是根据本申请实施例的一种注视信息的确定装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解上述实施例，以下将本申请中涉及的技术术语解释如下：
像平面：拍摄装置对物体进行拍摄时,影像画幅所在平面。
神经网络模型：神经网路是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。
本申请实施例的方案中，通过对用户注视点的坐标系的变换，提高了注视点位置的确定精度，进而解决了进而解决了相关技术中通过眼睛距屏幕的距离与视线方向的夹角确定注视信息的方式，计算出的注视点的位置准确度较低的技术问题。
本申请实施例提供了一种注视信息的确定方法，图1a为根据本申请实施例的一种注视信息的确定方法的流程图，如图1a所示，该方法至少包括以下步骤：
步骤S102，获取用户的第一图像；
在本申请的一些可选的实施例中，用户的第一图像为不包含背景信息，只包含用户的面部信息的头像。
步骤S104，根据第一图像确定用户在第一坐标系中的第一注视信息；
在本申请的一些可选的实施例中，上述第一注视点信息为第一注视点的位置信息, 上述第一坐标系的原点为可直接拍摄到用户的第一图像的第一拍摄装置的影像几何中心，该第一拍摄装置可以为虚拟的相机，直接拍摄到用户的第一图像的拍摄装置为：在某一拍摄位置处，影像画幅区域仅含有用户的面部信息，不包含背景信息的第一拍摄装置。
步骤S106，基于第一注视点信息确定用户在第二坐标系中的第二注视信息，其中，第二坐标系与第一坐标系不同，第二注视信息为用户在显示界面上的注视信息。
在本申请的一些可选的实施例中，上述第二注视信息为用户在显示界面上的第二注视点的位置信息,上述第二坐标系的中心可以为显示界面附近设置的第二拍摄装置 (可以为物理设备)的影像几何中心，显示界面可以为智能终端的显示屏幕展示的界面，第一注视点可以为用户注视第二注视点时，用户视线与第一拍摄装置的像平面的交点。第一注视点的位置可以为用户注视第二注视点时，用户视线与第一拍摄装置的像平面的交点在第一坐标系中的坐标。
在本申请的一些可选的实施例中，根据第一图像确定用户在第一坐标系中的第一注视信息可以通过以下方式进行实现：将第一图像输入预设模型进行分析,得到用户在第一坐标系中的第一注视信息,其中,预设模型为通过多组数据训练得到的，多组数据中的每组数据均包括：样本第一用户图像以及用于标记样本第一用户图像所对应的第一样本注视信息的标记。
具体地，上述预设模型可以为神经网络模型。
为了实现坐标系之间的切换，可以在将第一图像输入预设模型进行分析之前，对第二样本注视信息进行归一化处理，具体地：确定第二样本注视信息，其中，第二样本注视信息为所述第二样本注视点在第二坐标系中的注视信息；对第二样本注视信息进行归一化处理，得到第一坐标系中的第一样本注视信息；其中，对第二样本注视信息进行归一化处理，得到第一坐标系中的第一样本注视信息，可以通过以下方式进行实现：采集用户注视第二样本注视点时的样本第二用户图像；基于样本第二用户图像确定采集样本第一用户图像的第一拍摄装置的影像几何中心的位置；将用户注视第二样本注视点时的用户视线与第一拍摄装置的像平面的交点确定为第一样本注视点；获取第一样本注视点在所第一坐标系中的注视信息。
在本申请的一些可选的实施例中，上述第二样本注视点可以在显示界面上提前设定的已知坐标的目标注视点，用户注视第二样本注视点时第二拍摄装置拍摄到的用户的图像为样本第二用户图像，样本第二用户图像中可包含除了用户面部信息之外的背景信息。
在本申请的一些可选的实施例中，上述样本第二用户图像为包含用户头部姿态信息的图像，直接通过样本第二用户图像与第二样本注视信息训练模型，会由于用户头部姿态的多样产生较大的数据处理量，并且，头部姿态信息的引入会对视线的估计产生影响，所以需要将样本第二用户图像归一化为样本用户第一图像。由样本第二用户图像获取到样本第一用户图像的计算过程可通过智能终端中预先存储的计算规则实现。
具体的，由样本第二用户图像获取到样本第一用户图像的过程，可以通过根据样本第二用户图像与样本第一用户图像的图像大小的比例关系，或可根据样本第二用户图像中包含的除了用户的面部信息外的背景信息的位置，对样本第二用户图像进行剪切来得到样本第一用户图像，而该过程可以通过假设初始位置与实际相机相同的虚拟相机的旋转和移动来模拟实现，通过图1b示意实现过程。
如图1b所示，Cr为相机坐标系，Cn为虚拟相机坐标系，Icr为Cr获得的图像， Icn为Cn对应的图像。Cn坐标系构造方法如下：
1、Cn对Cr坐标系进行旋转，使鼻尖落在Cr的z轴，从而得到旋转矩阵为R。
2、根据物理相机和人脸之间的距离，确定缩放因子S。
3、Cr和Cn之间的变换关系为Cn＝S*R*Cr。
根据Cn和Cr之间的关系，可以确定图像之间的关系为Icn＝S*R*Cr-1*Icr，可以获得第一坐标系的图像。
本申请实施例中提供的位置确定方法为结合深度学习和归一化的有监督学习方法，实现了在深度学习方法的基础上，用归一化对头部姿态进行约束，减少计算夹角和计算用户视线与屏幕的交点引进的误差。
可选地，上述由样本第二用户图像获取到样本第一用户图像的获取过程也可以通过设置虚拟拍摄装置的方法进行实现。例如：可基于透视投影的理论对拍摄样本第二用户图像的第二拍摄装置进行旋转和平移，具体地，该旋转和平移过程可通过设置虚拟的第一拍摄装置进行实现。
在本申请的一些可选的实施例中，用户视线的起点为用户注视第二样本注视点时，预设特征在第二坐标系中的坐标的平均值坐标处的点，视线的终点是显示界面上的第二样本注视点。其中，预设特征包括但不限于以下至少之一：用户的眼角信息、嘴角信息。例如，用户视线的起点可以为第二坐标系中用户的4个眼角，2个嘴角的坐标的均值，用户视线的终点可以为显示界面上的第二注视点。
可选地，获取用户的第一图像之前，方法还需执行以下步骤：控制第二拍摄装置采集用户的第二图像；基于第二图像确定第一拍摄装置的目标位置，其中，第一拍摄装置为在目标位置处可拍摄到第一图像的拍摄装置；基于目标位置确定第一坐标系的位置，其中，第一坐标系的原点为第一拍摄装置的像平面的影像几何中心,X、Y轴分别为平行于第一拍摄装置的影像画幅边缘线的直线，Z轴为与第一拍摄装置的像平面垂直的直线。
在本申请的一些可选的实施例中，获取用户的第一图像之前，方法还需执行以下步骤：建立第二坐标系，其中，第二坐标系的原点为第二拍摄装置的像平面的影像几何中心,X、Y轴分别为平行于第二拍摄装置的影像画幅边缘线的直线，Z轴为与第二拍摄装置的像平面垂直的直线；基于第一注视信息确定用户在第二坐标系中的第二注视信息之前，方法还需执行以下步骤：建立第一坐标系与第二坐标系中各个坐标的对应关系。
在本申请的一些可选的实施例中，将第一图像输入预设模型进行分析之前，方法还包括：训练预设模型；训练预设模型包括：(1)初始化预设模型的模型参数；(2) 设置预设模型训练的超参数；(3)基于所述超参数，使用梯度下降法迭代计算目标函数的函数值，直至迭代次数达到所述超参数中的训练轮数时，停止训练；将停止训练时的模型参数设定为所述预设模型的最终模型参数，得到所述预设模型。
在本申请的一些可选的实施例中，上述超参数可以为以下至少之一：训练轮数、学习率、批处理量大小。
在本申请的一些可选的实施例中，目标函数为损失函数，该损失函数为：
loss＝|y_pred-y_truth|+|x_pred-x_truth|+|z_pred-z_truth|
其中loss为损失函数的函数值，(x_pred，y_pred,z_pred)为将样本图像输入至预设模型后输出的注视信息，(x_truth，y_truth，z_truth)为样本图像对应的第一样本注视点在第一坐标系中的位置。其中,样本图像可以为上述的样本第一用户图像。
另外，本申请实施例提供的注视点确定方法中，第二拍摄装置可以为红外拍摄装置，通过红外拍摄装置拍摄图像可以避免可见光拍摄装置拍摄图像产生的反光造成的影响，可提高注视点位置确定的准确度。
另外，现有的深度学习方法，在获得归一化空间的视线估计方向时，需要再次计算相机空间的夹角，进而根据眼睛的位置和视线方向确定和屏幕的交点，多次求交点会引进误差。本申请的方案直接从归一化空间的坐标点变换回实际坐标空间，可以减少误差。
本申请实施例中通过获取用户的第一图像；根据所述第一图像确定所述用户在第一坐标系中的第一注视信息；基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息，其中，所述第二坐标系与所述第一坐标系不同，所述第二注视信息为所述用户在显示界面上的注视信息，基于对用户注视信息的坐标系的变换，避免了通过视线方向与眼睛距屏幕的距离的夹角来确定注视信息引进的误差，提高了注视点位置的确定精度，进而解决了相关技术中通过眼睛距屏幕的距离与视线方向的夹角确定注视信息的方式，计算出的注视点的位置准确度较低的技术问题。
图2是根据本申请实施例的一种预设模型的训练方法的流程示意图；如图2所示：该方法至少包括以下步骤：
步骤S202，获取多组样本第二用户图像与对应的第二样本注视信息；
可选地，第二样本注视信息为显示屏幕上的预设样本屏幕注视点的坐标，样本屏幕注视点可以为在显示界面上提前设定的已知坐标的目标注视点，用户注视样本屏幕注视点时第二拍摄装置拍摄到的用户的图像为样本第二用户图像，样本第二用户图像中可包含除了用户面部信息之外的背景信息。
样本屏幕注视点的位置为样本屏幕注视点在第二坐标系中的坐标；
步骤S204，基于各组样本第二用户图像与对应的第二样本注视信息确定各组的用户视线的方向；
在本申请的一些可选的实施例中，用户视线的起点为用户注视样本屏幕注视点时，预设特征在第二坐标系中的坐标的平均值坐标处的点，视线的终点是显示界面上的样本屏幕注视点。
在本申请的一些可选的实施例中，预设特征包括以下至少之一：用户的眼角信息、嘴角信息。
步骤S206，基于各组样本第二用户图像与对应的第二样本注视信息确定各组的样本第一用户图像；
步骤S208，根据各组用户视线的方向、与相机坐标系和归一化坐标系的对应关系，确定各组第二样本注视信息的归一化注视信息；
其中，归一化注视信息对应的注视点为用户视线与归一化坐标系中虚拟相机像平面的交点。
在本申请的一些可选的实施例中，用户的样本第一用户图像为不包含背景信息，只包含用户的面部信息的头像。
在本申请的一些可选的实施例中，第一拍摄装置为在可直接拍摄到样本第一用户图像的拍摄装置；归一化坐标系的原点为第一拍摄装置的像平面的影像几何中心,X、 Y轴分别为平行于第一拍摄装置的影像画幅边缘线的直线，Z轴为与第一拍摄装置的像平面垂直的直线，其中，第一拍摄装置为虚拟相机。
在本申请的一些可选的实施例中，第二拍摄装置为在可直接拍摄到样本第二用户图像的拍摄装置，相机坐标系的原点为第二拍摄装置的像平面的影像几何中心,X、Y 轴分别为平行于第二拍摄装置的影像画幅边缘线的直线，Z轴为与第二拍摄装置的像平面垂直的直线；
其中，也可先执行步骤S208；
步骤S210，通过上述步骤获取到的多组数据训练模型，多组数据中的每组数据均包括：样本第一用户图像以及用于标记样本第一用户图像所对应的归一化注视信息的标记。
在本申请的一些可选的实施例中，对上述模型进行训练包括以下步骤：(1)初始化模型的模型参数；(2)设置模型训练的超参数；(3)基于所述超参数，使用梯度下降法迭代计算目标函数的函数值，直至迭代次数达到所述超参数中的训练轮数时，停止训练；将停止训练时的模型参数设定为所述模型的最终模型参数，得到所述模型。
在本申请的一些可选的实施例中，上述超参数可以为以下至少之一：训练轮数、学习率、批处理量大小。
在本申请的一些可选的实施例中，目标函数为损失函数，该损失函数为：
loss＝|y_pred-y_truth|+|x_pred-x_truth|+|z_pred-z_truth|
其中loss为损失函数的函数值，(x_pred，y_pred,z_pred)为将样本图像输入至模型后输出的注视信息，(x_truth，y_truth，z_truth)为样本图像对应的第一样本注视点在第一坐标系中的位置。其中,样本图像可以为上述的样本第一用户图像。
根据本申请实施例的一个方面，提供了一种注视信息的确定方法，图3为根据本申请实施例的一种注视信息的确定方法的流程图，如图3所示，该方法至少包括以下步骤：
步骤302，获取多组第二样本注视信息与多组样本第二用户图像，其中，所述第二样本注视信息与所述样本第二用户图像一一对应；
步骤304，对所述多组第二样本注视信息与所述多组样本第二用户图像进行归一化，得到多组第一样本注视信息与多组样本第一用户图像，其中，所述第一样本注视信息为第一样本注视点在第一坐标系中的注视信息，所述第二坐标系与所述第一坐标系不同；
步骤306，基于所述多组样本第一用户图像以及用于标记各个样本第一用户图像所对应的第一样本注视信息的标记，训练预设模型；
步骤308，获取用户的第一图像；
步骤310，根据所述第一图像确定所述用户在所述第一坐标系中的第一注视点信息；
步骤312，将所述第一图像输入所述预设模型进行分析,得到所述用户在所述第一坐标系中的第一注视信息；
步骤314，基于所述第一注视信息确定所述用户在所述第二坐标系中的第二注视信息。
需要说明的是，图3所示实施例的优选实施方式可以参见图1a所示实施例的相关描述，此处不再赘述。
本申请实施例还提供了一种注视信息的确定装置，图4是根据本申请实施例的一种注视信息的装置的结构示意图。如图4所示，该装置包括：获取模块42、第一确定模块44、第二确定模块46；其中：
获取模块42，用于获取用户的第一图像；
第一确定模块44，用于根据第一图像确定用户在第一坐标系中的第一注视信息；
第二确定模块46，用于基于第一注视点信息确定用户在第二坐标系中的第二注视信息，其中，第二坐标系与第一坐标系不同，第二注视信息为用户在显示界面上的注视信息。
需要说明的是，图4所示实施例的优选实施方式可以参见图1a所示实施例的相关描述，此处不再赘述。
根据本申请实施例的另一个方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的注视点位置确定方法。
存储介质用于存储执行以下步骤的程序：获取用户的第一图像；根据第一图像确定用户在第一坐标系中的第一注视信息；基于第一注视点信息确定用户在第二坐标系中的第二注视信息，其中，第二坐标系与第一坐标系不同，第二注视信息为用户在显示界面上的注视信息。
根据本申请实施例的另一个方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述的注视点位置确定方法。
处理器用于执行以下步骤的程序：获取用户的第一图像；根据第一图像确定用户在第一坐标系中的第一注视信息；基于第一注视点信息确定用户在第二坐标系中的第二注视信息，其中，第二坐标系与第一坐标系不同，第二注视信息为用户在显示界面上的注视信息。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种注视信息的确定方法，其特征在于，该方法包括：
获取用户的第一图像；
根据所述第一图像确定所述用户在第一坐标系中的第一注视信息；
基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息，其中，所述第二坐标系与所述第一坐标系不同，所述第二注视信息为所述用户在显示界面上的注视信息。
2.根据权利要求1所述的方法，其特征在于，根据所述第一图像确定所述用户在第一坐标系中的第一注视信息包括：
将所述第一图像输入预设模型进行分析,得到所述用户在第一坐标系中的第一注视信息,其中,所述预设模型为通过多组数据训练得到的，所述多组数据中的每组数据均包括：样本第一用户图像以及用于标记所述样本第一用户图像所对应的第一样本注视信息的标记。
3.根据权利要求2所述的方法，其特征在于，将所述第一图像输入预设模型进行分析之前，所述方法还包括：
确定第二样本注视信息，其中，所述第二样本注视信息为第二样本注视点在所述第二坐标系中的注视信息；
对所述第二样本注视信息进行归一化处理，得到所述第一坐标系中的所述第一样本注视信息。
4.根据权利要求3所述的方法，其特征在于，对所述第二样本注视信息进行归一化处理,得到所述第一坐标系中的所述第一样本注视信息包括：
采集用户注视所述第二样本注视点时的样本第二用户图像；
基于所述样本第二用户图像确定采集所述样本第一用户图像的第一拍摄装置的影像几何中心的位置；
将用户注视所述第二样本注视点时的用户视线与所述第一拍摄装置的像平面的交点确定为所述第一样本注视点；
获取所述第一样本注视点在所述第一坐标系中的注视信息。
5.根据权利要求4所述的方法，其特征在于，所述用户视线的起点为用户注视所述第二样本注视点时，预设特征在所述第二坐标系中的坐标的平均值坐标处的点，所述视线的终点是所述显示界面上的所述第二样本注视点，所述预设特征包括以下至少之一：用户的眼角信息、嘴角信息。
6.根据权利要求1所述的方法，其特征在于，获取用户的第一图像之前，所述方法还包括：
控制第二拍摄装置采集所述用户的第二图像；
基于所述第二图像确定第一拍摄装置的目标位置，其中，所述第一拍摄装置为在所述目标位置处可拍摄到所述第一图像的拍摄装置；
基于所述目标位置确定所述第一坐标系的位置。
7.根据权利要求1所述的方法，其特征在于，获取用户的第一图像之前，所述方法还包括：建立所述第二坐标系，其中，所述第二坐标系的原点为第二拍摄装置的像平面的影像几何中心,X、Y轴分别为平行于所述第二拍摄装置的影像画幅边缘线的直线，Z轴为与所述第二拍摄装置的像平面垂直的直线；
基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息之前，所述方法还包括：建立所述第一坐标系与所述第二坐标系中各个坐标的对应关系。
8.根据权利要求2所述的方法，其特征在于，将所述第一图像输入预设模型进行分析之前，所述方法还包括：训练所述预设模型；
训练所述预设模型包括：
(1)初始化所述预设模型的模型参数；
(2)设置所述预设模型训练的超参数；
(3)基于所述超参数，使用梯度下降法迭代计算目标函数的函数值，直至迭代次数达到所述超参数中的训练轮数时，停止训练；将停止训练时的模型参数设定为所述预设模型的最终模型参数，得到所述预设模型。
9.一种注视信息的确定方法，其特征在于，该方法包括：
获取多组第二样本注视信息与多组样本第二用户图像，其中，所述第二样本注视信息与所述样本第二用户图像一一对应；
对所述多组第二样本注视信息与所述多组样本第二用户图像进行归一化，得到多组第一样本注视信息与多组样本第一用户图像，其中，所述第一样本注视信息为第一样本注视点在第一坐标系中的注视信息，所述第二坐标系与所述第一坐标系不同；
基于所述多组样本第一用户图像以及用于标记各个样本第一用户图像所对应的第一样本注视信息的标记，训练预设模型；
获取用户的第一图像；
根据所述第一图像确定所述用户在所述第一坐标系中的第一注视信息；
将所述第一图像输入所述预设模型进行分析,得到所述用户在所述第一坐标系中的第一注视信息；
基于所述第一注视信息确定所述用户在所述第二坐标系中的第二注视信息。
10.一种注视信息确定装置，其特征在于，该装置包括：
获取模块，用于获取用户的第一图像；
第一确定模块，用于根据所述第一图像确定所述用户在第一坐标系中的第一注视信息；
第二确定模块，用于基于所述第一注视信息确定所述用户在第二坐标系中的第二注视信息，其中，所述第二坐标系与所述第一坐标系不同，所述第二注视信息为所述用户在显示界面上的注视信息。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项或权利要求9所述的注视信息的确定方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项或权利要求9所述的注视信息的确定方法。
CN201910345402.8A 2019-04-26 2019-04-26 注视信息的确定方法及装置 Pending CN110647790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910345402.8A CN110647790A (zh) 2019-04-26 2019-04-26 注视信息的确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910345402.8A CN110647790A (zh) 2019-04-26 2019-04-26 注视信息的确定方法及装置

Publications (1)

Publication Number Publication Date
CN110647790A true CN110647790A (zh) 2020-01-03

Family

ID=68989414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910345402.8A Pending CN110647790A (zh) 2019-04-26 2019-04-26 注视信息的确定方法及装置

Country Status (1)

Country Link
CN (1) CN110647790A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553920A (zh) * 2021-07-02 2021-10-26 黑芝麻智能科技(上海)有限公司 注视方向特征采集方法、装置、计算机设备和存储介质
CN113900519A (zh) * 2021-09-30 2022-01-07 Oppo广东移动通信有限公司 注视点获取方法、装置以及电子设备
WO2023155813A1 (zh) * 2022-02-18 2023-08-24 北京七鑫易维信息技术有限公司 注视信息确定方法、装置、眼动设备、待观测对象及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN104615978A (zh) * 2015-01-23 2015-05-13 清华大学 视线方向跟踪方法及装置
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN108595278A (zh) * 2018-04-13 2018-09-28 Oppo广东移动通信有限公司 防偷窥提示方法及相关产品
CN109492514A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
CN104615978A (zh) * 2015-01-23 2015-05-13 清华大学 视线方向跟踪方法及装置
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN108595278A (zh) * 2018-04-13 2018-09-28 Oppo广东移动通信有限公司 防偷窥提示方法及相关产品
CN109492514A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUCONG ZHANG 等: "MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553920A (zh) * 2021-07-02 2021-10-26 黑芝麻智能科技(上海)有限公司 注视方向特征采集方法、装置、计算机设备和存储介质
CN113553920B (zh) * 2021-07-02 2024-06-04 黑芝麻智能科技(上海)有限公司 注视方向特征采集方法、装置、计算机设备和存储介质
CN113900519A (zh) * 2021-09-30 2022-01-07 Oppo广东移动通信有限公司 注视点获取方法、装置以及电子设备
WO2023051215A1 (zh) * 2021-09-30 2023-04-06 Oppo广东移动通信有限公司 注视点获取方法、装置、电子设备及可读存储介质
WO2023155813A1 (zh) * 2022-02-18 2023-08-24 北京七鑫易维信息技术有限公司 注视信息确定方法、装置、眼动设备、待观测对象及介质

Similar Documents

Publication Publication Date Title
CA3065878C (en) Method, device and computer program for virtually adjusting the spectacle frame
CN107358217B (zh) 一种视线估计方法及装置
US9842246B2 (en) Fitting glasses frames to a user
Zhu et al. Nonlinear eye gaze mapping function estimation via support vector regression
CN104978548B (zh) 一种基于三维主动形状模型的视线估计方法与装置
US8733936B1 (en) Fitting glasses frames to a user
EP3339943A1 (en) Method and system for obtaining optometric parameters for fitting eyeglasses
WO2023011339A1 (zh) 视线方向追踪方法和装置
CN110647790A (zh) 注视信息的确定方法及装置
CN108615256B (zh) 一种人脸三维重建方法及装置
Sun et al. Real-time gaze estimation with online calibration
CN109976528A (zh) 一种基于头动调整注视区域的方法以及终端设备
CN110503068A (zh) 视线估计方法、终端及存储介质
Su et al. Toward precise gaze estimation for mobile head-mounted gaze tracking systems
CN108573192B (zh) 匹配人脸的眼镜试戴方法和装置
CN112183160A (zh) 视线估计方法及装置
US10036902B2 (en) Method of determining at least one behavioural parameter
WO2022032911A1 (zh) 一种视线追踪方法及装置
US20230360350A1 (en) Systems and methods for scaling using estimated facial features
CN114461078A (zh) 一种基于人工智能的人机交互方法
WO2021152144A1 (en) A method for generating a 3d model
CN110162187A (zh) 基于人工智能的眼球移动识别方法及装置
CN110297539A (zh) 一种基于人工智能的眼动识别方法及装置
CN112528714A (zh) 基于单光源的注视点估计方法、系统、处理器及设备
CN114822818B (zh) 一种基于虚拟图像的眼睛调节能力检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103