CN113723293A

CN113723293A - 一种视线方向的确定方法、装置、电子设备及存储介质

Info

Publication number: CN113723293A
Application number: CN202111009364.2A
Authority: CN
Inventors: 朱冬晨; 李航; 林敏静; 车何框亿; 李嘉茂; 张晓林
Original assignee: Shanghai Institute of Microsystem and Information Technology of CAS
Current assignee: Shanghai Institute of Microsystem and Information Technology of CAS
Priority date: 2021-08-30
Filing date: 2021-08-30
Publication date: 2021-11-30
Anticipated expiration: 2041-08-30
Also published as: CN113723293B

Abstract

本申请实施例所公开的一种视线方向的确定方法、装置、电子设备及存储介质，包括获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据，并根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据，其中，位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的，以及根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。基于本申请实施例从脸部图像中筛选出与眼球中心位置密切相关的特征点，利用仅与受试者本身脸部特征相关的参数确定位置确定模型，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。

Description

一种视线方向的确定方法、装置、电子设备及存储介质

技术领域

本发明涉及视线估计技术领域，尤其涉及一种视线方向的确定方法、装置、电子设备及存储介质。

背景技术

目前，主要通过研究人视线变化时头部姿态和眼睛的对应变化来进行视线估计，现有视线估计方法包括：一、在红外照明条件下，根据红外光源在受试者角膜表面形成的普尔钦斑的位置确定视线方向；二、在自然光照条件下，建立几何模型以眼球中心与瞳孔中心的连线作为视线方向。

在第一种视线估计方法中，为了保证在角膜区域发生折射，需要限制受试者的眼球转动幅度，即将受试者的头部运行限制在一定的范围内，这不符合受试者在自然场景中的视线表达，即第一种视线估计方法的应用场景具有局限性。在第二种视线估计方法中，对于眼球中心位置的检测较为困难，单纯利用图像无法直接确定眼球中心位置，现有技术提出了通过确定人脸关键点，并计算人脸关键点与预设平均脸模型间的仿射变化确定头部位姿，进而间接确定眼球中心位置。然而，由于人脸的五官表征具有较大的差异性，对不同的受试者进行视线估计时，采用平均脸模型将使得结果与实际情况存在较大的误差，难以保证确定的眼球中心位置的精度。

发明内容

本申请实施例提供了一种视线方向的确定方法、装置、电子设备及存储介质，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。

本申请实施例提供了一种视线方向的确定方法，包括：

获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据；

根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据；位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的；

根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。

进一步地，还包括：

获取标定对象的第一标定位置数据、多个标定特征点对应的多个第一标定特征点位置数据和标定瞳孔对应的第一标定瞳孔位置数据；

根据多个第一标定特征点位置数据，确定标定眼球位置数据；

根据第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定位置确定模型。

进一步地，根据第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定位置确定模型，包括：

根据第一标定位置数据和第一标定瞳孔位置数据，确定第一向量；

根据第一标定瞳孔位置数据和标定眼球位置数据，确定第二向量；

根据第一向量和第二向量，确定关联参数；

基于关联参数，确定位置确定模型。

进一步地，获取多个标定特征点对应的多个第一标定特征点位置数据和标定瞳孔对应的第一标定瞳孔位置数据，包括：

获取双目相机的第一坐标转换数据、双目相机的内参数据、标定脸部图像中多个标定特征点对应的多个第二标定特征点位置数据和标定脸部图像中标定瞳孔对应的第二标定瞳孔位置数据；

根据第一坐标转换数据、内参数据和多个第二标定特征点位置数据，确定多个标定特征点对应的多个第一标定特征点位置数据；

根据第一坐标转换数据、内参数据和第二标定瞳孔位置数据，确定标定瞳孔对应的第一标定瞳孔位置数据。

进一步地，标定脸部图像包括第一子图像和第二子图像，

双目相机包括第一相机和第二相机，第一相机具有第一内参数据，第二相机具有第二内参数据，

第一相机与第一子图像对应，第二相机与第二子图像对应。

进一步地，根据第一坐标转换数据、内参数据和多个第二标定特征点位置数据，确定多个标定特征点对应的多个第一标定特征点位置数据，包括：

从第一子图像中确定多个标定特征点对应的多个第一标定特征点子位置数据；

从第二子图像中确定多个第一标定特征点子位置数据对应的多个第二标定特征点子位置数据；

根据多个第一标定特征点子位置数据和对应的多个第二标定特征点子位置数据，确定视差参数；

根据多个第一标定特征点子位置数据、第一坐标转换数据、第一内参数据和视差参数，确定多个第一标定特征点位置数据；或者；

根据多个第二标定特征点子位置数据、第一坐标转换数据、第二内参数据和视差参数，确定多个第一标定特征点位置数据。

进一步地，获取标定对象的第一标定位置数据，包括：

获取双目相机对应的第一坐标系与标定对象对应的第二坐标系之间的第二坐标转换数据；

获取标定对象在第二坐标系中的第二标定位置数据；

根据第二坐标转换数据和第二标定位置数据，确定标定对象的第一标定位置数据。

进一步地，第一坐标转换数据包括第一相机与第二相机之间的第一旋转矩阵和第一平移向量；

第二坐标转换数据包括第一坐标系与第二坐标系之间的第二旋转矩阵和第二平移向量。

相应地，本申请实施例还提供了一种视线方向的确定装置，包括：

第一获取模块，用于获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据；

第一确定模块，用于根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据；位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的；

第二确定模块，用于根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。

进一步地，还包括：

第二获取模块，用于获取标定对象的第一标定位置数据、多个标定特征点对应的多个第一标定特征点位置数据和标定瞳孔对应的第一标定瞳孔位置数据；

第三确定模块，用于根据多个第一标定特征点位置数据，确定标定眼球位置数据；

第四确定模块，用于根据第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定位置确定模型。

进一步地，第四确定模块，包括：

第一确定单元，用于根据第一标定位置数据和第一标定瞳孔位置数据，确定第一向量；

第二确定单元，用于根据第一标定瞳孔位置数据和标定眼球位置数据，确定第二向量；

第三确定单元，用于根据第一向量和第二向量，确定关联参数；

第四确定单元，用于基于关联参数，确定位置确定模型。

进一步地，第二获取模块，包括：

第一获取单元，用于获取双目相机的第一坐标转换数据、双目相机的内参数据、标定脸部图像中多个标定特征点对应的多个第二标定特征点位置数据和标定脸部图像中标定瞳孔对应的第二标定瞳孔位置数据；

第五确定单元，用于根据第一坐标转换数据、内参数据和多个第二标定特征点位置数据，确定多个标定特征点对应的多个第一标定特征点位置数据；

第六确定单元，用于根据第一坐标转换数据、内参数据和第二标定瞳孔位置数据，确定标定瞳孔对应的第一标定瞳孔位置数据。

进一步地，标定脸部图像包括第一子图像和第二子图像，

第一相机与第一子图像对应，第二相机与第二子图像对应。

进一步地，第五确定单元，包括：

第一确定子单元，用于从第一子图像中确定多个标定特征点对应的多个第一标定特征点子位置数据；

第二确定子单元，用于从第二子图像中确定多个第一标定特征点子位置数据对应的多个第二标定特征点子位置数据；

第三确定子单元，用于根据多个第一标定特征点子位置数据和对应的多个第二标定特征点子位置数据，确定视差参数；

第四确定子单元，用于根据多个第一标定特征点子位置数据、第一坐标转换数据、第一内参数据和视差参数，确定多个第一标定特征点位置数据；或者；

进一步地，第二获取模块，包括：

第二获取单元，用于获取双目相机对应的第一坐标系与标定对象对应的第二坐标系之间的第二坐标转换数据；

第三获取单元，用于获取标定对象在第二坐标系中的第二标定位置数据；

第七确定单元，用于根据第二坐标转换数据和第二标定位置数据，确定标定对象的第一标定位置数据。

相应地，本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述视线方向的确定方法。

相应地，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述视线方向的确定方法。

本申请实施例具有如下有益效果：

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例所提供的一种应用环境的示意图；

图2是本申请实施例提供的一种关联参数的确定方法的流程示意图；

图3是本申请实施例提供的一种目标脸部图像的示意图；

图4是本申请实施例提供的一种位置确定模型的确定方法的流程示意图；

图5是本申请实施例提供的一种标定脸部图像的示意图；

图6是本申请实施例提供的一种多个标定特征点对应的多个第一标定特征点位置数据的确定方法的流程示意图；

图7是本申请实施例提供的一种视线方向的确定装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。显然，所描述的实施例仅仅是本申请一个实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

此处所称的“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

请参阅图1，其所示为本申请实施例所提供的一种应用环境的示意图，包括：服务器101、双目相机103、受试者105和对象107。其中，对象107可以设置在注视屏幕109上，双目相机103可以设置在对象107的同一侧，受试者105位于对象107的另一侧。当受试者105注视注视屏幕109时，双目相机103可以拍摄受试者的脸部图像。服务器101可以获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据，并根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据，其中，位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的，以及根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。

本申请实施例中，通过从脸部图像中筛选出与眼球中心位置密切相关的特征点，利用仅与受试者本身脸部特征相关的参数确定位置确定模型，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。此外，使用双目相机作为采集设备，不仅可以消除对红外照明的依赖，而且无需对头部坐标系建模，可以摆脱对平均脸型的依赖，从而可以消除头部位姿计算误差对视线方向估计精度的影响。

下面介绍本申请一种关联参数的确定方法的具体实施例，图2是本申请实施例提供的一种关联参数的确定方法的流程示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法包括：

S201：获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据。

图3是本申请实施例提供的一种目标脸部图像的示意图，该目标脸部图像中包括受试者的左眼、右眼、鼻子和嘴巴对应的多个目标特征点，即多个人脸关键点{k|k＝1,2,...K}，且K＜N。该目标脸部图像中还可以包括目标瞳孔，即目标瞳孔中心。

本申请实施例中，当双目相机采集目标脸部图像后，服务器可以获取双目相机的第一坐标转换数据、双目相机的内参数据、目标脸部图像中多个目标特征点对应的多个第二目标特征点位置数据和目标脸部图像中目标瞳孔对应的第二目标瞳孔位置数据。之后，服务器可以根据第一坐标转换数据、内参数据和多个第二目标特征点位置数据，确定多个目标特征点对应的多个第一目标特征点位置数据。然后服务器可以根据第一坐标转换数据、内参数据和第二标定瞳孔位置数据，确定目标瞳孔对应的第一目标瞳孔位置数据。

在一种具体的实施方式中，目标脸部图像可以包括目标左图像和目标右图像。服务器可以获取左相机和右相机之间的旋转矩阵R_R2L和平移向量T_R2L，左、右相机的内参C_L、C_R，目标左图像中多个人脸关键点对应的多个二维坐标，目标左图像中目标瞳孔对应的二维坐标，目标右图像多个人脸关键点对应的多个二维坐标，目标左图像中目标瞳孔对应的二维坐标。进而服务器可以选取左相机为基准相机，根据左相机和右相机之间的平移向量T_R2L确定左、右相机间的基线长，根据左相机的内参C_L确定左相机的焦距，根据目标左图像中多个人脸关键点对应的多个二维坐标和目标右图像多个人脸关键点对应的多个二维坐标确定视差参数，之后，根据目标左图像中多个人脸关键点对应的多个二维坐标、左相机的内参C_L、左、右相机间的基线长、左相机的焦距和视差参数，确定多个目标特征点在双目相机对应的相机坐标系下的三维坐标数据。并且，根据目标左图像中目标瞳孔对应的二维坐标、左相机的内参C_L、左、右相机间的基线长、左相机的焦距和视差参数，确定目标瞳孔在双目相机对应的相机坐标系下的三维坐标数据。

S203：根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据；位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的。

本申请实施例中，服务器可以将多个第一目标特征点位置数据作为位置确定模型的参数，得到目标眼球位置数据，即目标眼球中心在双目相机对应的相机坐标系下的三维坐标。

图4是本申请实施例提供的一种位置确定模型的确定方法的流程示意图，服务器可以采用如4所示的方法步骤确定位置确定模型，具体步骤如下：

S401：获取标定对象的第一标定位置数据、多个标定特征点对应的多个第一标定特征点位置数据和标定瞳孔对应的第一标定瞳孔位置数据。

本申请实施例中，双目相机可以包括第一相机和第二相机，可选的，第一相机可以是左相机，第二相机可以右相机。服务器可以获取第一相机对应的第一内参数据，即左相机的内参C_L、第二相机对应的的内参数据，即右相机的内参C_R、第一相机和第二相机之间的第一坐标转换数据，即第一相机和第二相机之间的的第一旋转矩阵和第一平移向量，也即是左相机和右相机之间的旋转矩阵R_R2L和平移向量T_R2L。

本申请实施例中，可以在空间中放置至少一个标定对象{i|i＝1,2,...N}，例如可以在桌面上放置一个苹果，标定对象为该苹果上的多个目标点。也可以在注视屏幕上设置至少一个标定对象，例如可以在注视屏幕上设置一张苹果图片，标定对象为该苹果图片上的多个像素点。在受试者注视标定对象i时，服务器可以获取双目相机对应的第一坐标系与标定对象对应的第二坐标系的第二坐标转换数据，其中，第二坐标转换数据可以包括双目相机对应的第一坐标系与标定对象对应的第二坐标系之间的第二旋转矩阵和第二平移向量，即相机坐标系与屏幕坐标系之间的旋转矩阵R_S2C和平移向量T_S2C。

本申请实施例中，在受试者注视标定对象i时，在服务器可以获取标定对象在第二坐标系中的第二标定位置数据，即标定对象在空间坐标系中的三维坐标或者标定对象在注视屏幕对应的坐标系中的三维坐标。进而可以根据第二坐标转换数据和第二标定位置数据，确定标定对象的第一标定位置数据。也即是，根据相机坐标系与屏幕坐标系之间的旋转矩阵R_S2C和平移向量T_S2C以及标定对象在注视屏幕对应的坐标系中的三维坐标，确定标定对象在相机坐标系中的三维坐标。

本申请实施例中，标定脸部图像可以包括第一子图像和第二子图像，第一相机与第一子图像对应，第二相机与第二子图像对应。

图5是本申请实施例提供的一种标定脸部图像的示意图。在受试者注视标定对象i时，可以使用双目相机采集受试者的标定脸部图像，该标定脸部图像中包括受试者的左眼、右眼、鼻子和嘴巴对应的多个标定特征点，即多个人脸关键点{k|k＝1,2,...K}，且K＜N。该标定脸部图像中还可以包括标定瞳孔，即标定瞳孔中心。

本申请实施例中，当双目相机采集标定脸部图像后，服务器可以获取双目相机的第一坐标转换数据、双目相机的内参数据、标定脸部图像中多个标定特征点对应的多个第二标定特征点位置数据和标定脸部图像中标定瞳孔对应的第二标定瞳孔位置数据。也即是，服务器可以获取左相机和右相机之间的旋转矩阵R_R2L和平移向量T_R2L，左、右相机的内参C_L、C_R，多个人脸关键点在标定脸部图像对应的二维坐标系中的多个二维坐标，标定瞳孔在标定脸部图像对应的二维坐标系中的二维坐标。

图6是本申请实施例提供的一种多个标定特征点对应的多个第一标定特征点位置数据的确定方法的流程示意图。在一种可选的实施方式中，当受试者注视标定对象i时，标定脸部图像可以包括第一相机对应的第一子图像和第二相机对应的第二子图像，即左相机采集的左图像，右相机采集的右图像，可以采用图4所示的方法步骤确定多个第一标定特征点位置数据，具体步骤如下：

S601：从第一子图像中确定多个标定特征点对应的多个第一标定特征点子位置数据。

本申请实施例中，服务器可以从第一子图像中确定多个标定特征点对应的多个第一标定特征点子位置数据。可选地，服务器可以采用dlib算法从左图像中确定K个人脸关键点的二维坐标p_l ^2d(x_l ^2d,y_l ^2d)。

S603：从第二子图像中确定多个第一标定特征点子位置数据对应的多个第二标定特征点子位置数据。

本申请实施例中，服务器可以从第二子图像中确定多个第一标定特征点子位置数据对应的多个第二标定特征点子位置数据。可选地，服务器可以采用dlib算法从右图像中确定K个人脸关键点的二维坐标p_r ^2d(x_r ^2d,y_r ^2d)。也即是，服务器可以从左、右图像中分别确定K个人脸关键点的二维坐标，得到第二标定特征点位置数据。

S505：根据多个第一标定特征点子位置数据和对应的多个第二标定特征点子位置数据，确定视差参数。

本申请实施例中，服务器可以根据左图像中K个人脸关键点的二维坐标和右图像中对应的K个人脸关键点的二维坐标，确定视差参数。其中，视差是指设置有一定距离的两个相机观测同一点产生的方向差异。具体可以采用如下公式确定视差参数：

d＝x_r ^2d-x_l ^2d

S607：根据多个第一标定特征点子位置数据、第一坐标转换数据、第一内参数据和视差参数，确定多个第一标定特征点位置数据。

在一种可选的实施方式中，服务器可以选取左相机作为基准相机。根据人脸关键点在左图像中的二维坐标，左、右相机的视差参数，左、右相机之间的平移向量T_R2L和左相机的内参C_L，确定当受试者注视标定对象i时对应的K个人脸关键点在双目相机对应的相机坐标系中的三维坐标Pⁱ _face＝(xⁱ _face,yⁱ _face,zⁱ _face)。具体可以采用如下公式确定当受试者注视标定对象i时对应的一个第一标定特征点位置数据：

f＝C_L(0,0)

l＝T_R2L(0)

其中，左相机的内参C_L可以是3*3的矩阵，焦距f是左相机的内参C_L＝(0,0)位置的值，基线长l为左、右相机平移向量T_R2L的1维值，z_l ^3d表示标定特征点即人脸关键点在左相机中的深度。

在另一种可选的实施方式中，服务器可以选取右相机作为基准相机。根据多个第二标定特征点子位置数据、第一坐标转换数据、第二内参数据和视差参数，确定当受试者注视标定对象i时对应的K个人脸关键点在双目相机对应的相机坐标系中的三维坐标Pⁱ _face＝(xⁱ _face,yⁱ _face,zⁱ _face)。

本申请实施例中，服务器可以服务器可以采用将上述公式进行相应变换得到的公式确定标定瞳孔对应的第一标定瞳孔位置数据，此处不再赘述。

S403：根据多个第一标定特征点位置数据，确定标定眼球位置数据。

本申请实施例中，服务器可以使用标定特征点在双目相机对应的相机坐标系下的三维坐标数据Pⁱ _face＝(xⁱ _face,yⁱ _face,zⁱ _face)，拟合眼球中心在双目相机对应的相机坐标系下的三维坐标数据Pⁱ _center＝(xⁱ _center,yⁱ _center,zⁱ _center)。

可选地，可以采用如下公式确定标定眼球位置数据：

其中，θ_k表示人脸关键点对于眼球中心对应的标定眼球位置数据的影响权重系数，(θ_K+1,θ_K+2,θ_K+3)表示偏置。

S405：根据第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定位置确定模型。

在一种可选的实施方式中，在受试者注视标定对象i时，服务器可以根据第一标定位置数据和第一标定瞳孔位置数据，确定第一向量，即以瞳孔中心指向标定点的单位向量作为第一视线向量。服务器可以根据第一标定瞳孔位置数据和标定眼球位置数据，确定第二向量，即以瞳孔中心指向眼球中心的单位向量作为第二视线向量。同样地，在受试者注视标定对象i+j时，i+j＜N，服务器可以根据对应的第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定对应的第一向量和第二向量。进而服务器可以根据多个第一向量和多个第二向量，确定关联参数确定模型，即约束方程，之后，服务器可以采用梯度下降法对约束方程进行求解，得到关联参数θ_k，k∈{1,2,...K+3}。最后，服务器可以基于关联参数，确定位置确定模型。

具体可以采用如下公式确定第一向量、第二向量和约束方程：

其中，

表示第一向量，

表示第一向量，

和

应该共线，min M为约束方程，

为位置确定模型。

本申请实施例使用双目相机作为采集设备，不仅可以消除对红外照明的依赖，而且无需对头部坐标系建模，可以摆脱对平均脸型的依赖，从而可以消除头部位姿计算误差对视线方向估计精度的影响。

S205：根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。

本申请实施例中，服务器可以将第一目标瞳孔位置数据和目标眼球位置数据的连线作为视线方向。

采用本申请实施例所提供的关联参数的确定方法，从脸部图像中筛选出与眼球中心位置密切相关的特征点，利用仅与受试者本身脸部特征相关的参数确定位置确定模型，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。此外，使用双目相机作为采集设备，不仅可以消除对红外照明的依赖，而且无需对头部坐标系建模，可以摆脱对平均脸型的依赖，从而可以消除头部位姿计算误差对视线方向估计精度的影响。

本申请实施例还提供的一种视线方向的确定装置，图7是本申请实施例提供的一种视线方向的确定装置的结构示意图，如图7所示，该装置可以包括：

第一获取模块701用于获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据；

第一确定模块703用于根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据；位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的；

第二确定模块705用于根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。

本申请实施例中，上述视线方向的确定还可以包括：

第二获取模块707用于获取标定对象的第一标定位置数据、多个标定特征点对应的多个第一标定特征点位置数据和标定瞳孔对应的第一标定瞳孔位置数据；

第三确定模块709用于根据多个第一标定特征点位置数据，确定标定眼球位置数据；

第四确定模块711用于根据第一标定位置数据、第一标定瞳孔位置数据和标定眼球位置数据，确定位置确定模型。

本申请实施例中，第四确定模块711可以包括：

第四确定单元，用于基于关联参数，确定位置确定模型。

本申请实施例中，第二获取模块707可以包括：

本申请实施例中，标定脸部图像包括第一子图像和第二子图像，

第一相机与第一子图像对应，第二相机与第二子图像对应。

本申请实施例中，第五确定单元，包括：

本申请实施例中，第二获取模块707可以包括：

本申请实施例中，第一坐标转换数据包括第一相机与第二相机之间的第一旋转矩阵和第一平移向量；

本申请实施例中的装置与方法实施例基于同样的申请构思。

采用本申请实施例提供的视线方向的确定装置，从脸部图像中筛选出与眼球中心位置密切相关的特征点，利用仅与受试者本身脸部特征相关的参数确定位置确定模型，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。此外，使用双目相机作为采集设备，不仅可以消除对红外照明的依赖，而且无需对头部坐标系建模，可以摆脱对平均脸型的依赖，从而可以消除头部位姿计算误差对视线方向估计精度的影响。

本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述视线方向的确定方法。

本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述视线方向的确定方法。

可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：U盘、只读存储器(ROM，Read-only Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的视线方向的确定方法、装置、电子设备或存储介质的实施例可见，本申请中方法包括获取多个目标特征点对应的多个第一目标特征点位置数据和目标瞳孔对应的第一目标瞳孔位置数据，并根据多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据，其中，位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的，以及根据第一目标瞳孔位置数据和目标眼球位置数据，确定视线方向。基于本申请实施例从脸部图像中筛选出与眼球中心位置密切相关的特征点，利用仅与受试者本身脸部特征相关的参数确定位置确定模型，可以不受外部环境和受试者面部表情等因素的影响，从而可以提高视线方向估计的精度。此外，使用双目相机作为采集设备，不仅可以消除对红外照明的依赖，而且无需对头部坐标系建模，可以摆脱对平均脸型的依赖，从而可以消除头部位姿计算误差对视线方向估计精度的影响。

在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的相连或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是：上述本申请实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置/系统的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种视线方向的确定方法，其特征在于，包括：

根据所述多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据；所述位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的；

根据所述第一目标瞳孔位置数据和所述目标眼球位置数据，确定视线方向。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取标定对象的所述第一标定位置数据、多个标定特征点对应的所述多个第一标定特征点位置数据和标定瞳孔对应的所述第一标定瞳孔位置数据；

根据所述多个第一标定特征点位置数据，确定标定眼球位置数据；

根据所述第一标定位置数据、所述第一标定瞳孔位置数据和所述标定眼球位置数据，确定所述位置确定模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一标定位置数据、所述第一标定瞳孔位置数据和所述标定眼球位置数据，确定所述位置确定模型，包括：

根据所述第一标定位置数据和所述第一标定瞳孔位置数据，确定第一向量；

根据所述第一标定瞳孔位置数据和所述标定眼球位置数据，确定第二向量；

根据所述第一向量和所述第二向量，确定关联参数；

基于所述关联参数，确定所述位置确定模型。

4.根据权利要求2所述的方法，其特征在于，所述获取多个标定特征点对应的所述多个第一标定特征点位置数据和标定瞳孔对应的所述第一标定瞳孔位置数据，包括：

获取双目相机的第一坐标转换数据、所述双目相机的内参数据、标定脸部图像中所述多个标定特征点对应的多个第二标定特征点位置数据和所述标定脸部图像中所述标定瞳孔对应的第二标定瞳孔位置数据；

根据所述第一坐标转换数据、所述内参数据和所述多个第二标定特征点位置数据，确定所述多个标定特征点对应的所述多个第一标定特征点位置数据；

根据所述第一坐标转换数据、所述内参数据和所述第二标定瞳孔位置数据，确定所述标定瞳孔对应的所述第一标定瞳孔位置数据。

5.根据权利要求4所述的方法，其特征在于，所述标定脸部图像包括第一子图像和第二子图像，

所述双目相机包括第一相机和第二相机，所述第一相机具有第一内参数据，所述第二相机具有第二内参数据，

所述第一相机与所述第一子图像对应，所述第二相机与所述第二子图像对应。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一坐标转换数据、所述内参数据和多个所述第二标定特征点位置数据，确定所述多个标定特征点对应的所述多个第一标定特征点位置数据，包括：

从所述第一子图像中确定所述多个标定特征点对应的多个第一标定特征点子位置数据；

从所述第二子图像中确定所述多个第一标定点子位置数据对应的多个第二标定特征点子位置数据；

根据多个所述第一标定特征点子位置数据和对应的所述多个第二标定特征点子位置数据，确定视差参数；

根据所述多个第一标定特征点子位置数据、所述第一坐标转换数据、所述第一内参数据和所述视差参数，确定所述多个第一标定特征点位置数据；或者；

根据所述多个第二标定特征点子位置数据、所述第一坐标转换数据、所述第二内参数据和所述视差参数，确定所述多个第一标定特征点位置数据。

7.根据权利要求4所述的方法，其特征在于，所述获取标定对象的所述第一标定位置数据，包括：

获取双目相机对应的第一坐标系与所述标定对象对应的第二坐标系之间的第二坐标转换数据；

获取所述标定对象在所述第二坐标系中的第二标定位置数据；

根据所述第二坐标转换数据和所述第二标定位置数据，确定所述标定对象的所述第一标定位置数据。

8.根据权利要求7所述的方法，其特征在于，所述第一坐标转换数据包括所述第一相机与所述第二相机之间的第一旋转矩阵和第一平移向量；

第二坐标转换数据包括所述第一坐标系与所述第二坐标系之间的第二旋转矩阵和第二平移向量。

9.一种视线方向的确定装置，其特征在于，包括：

第一确定模块，用于根据所述多个第一目标特征点位置数据和位置确定模型，确定目标眼球位置数据；所述位置确定模型是根据第一标定位置数据、多个第一标定特征点位置数据和第一标定瞳孔位置数据确定的；

第二确定模块，用于根据所述第一目标瞳孔位置数据和所述目标眼球位置数据，确定视线方向。

10.根据权利要求9所述的装置，其特征在于，还包括：

第二获取模块，用于获取标定对象的所述第一标定位置数据、多个标定特征点对应的所述多个第一标定特征点位置数据和标定瞳孔对应的所述第一标定瞳孔位置数据；

第三确定模块，用于根据所述多个第一标定特征点位置数据，确定标定眼球位置数据；

第四确定模块，用于根据所述第一标定位置数据、所述第一标定瞳孔位置数据和所述标定眼球位置数据，确定所述位置确定模型。

11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-8任意一项所述的视线方向的确定方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现权利要求1-8任意一项所述的视线方向的确定方法。