CN112446347A

CN112446347A - 人脸方向确定方法和装置、存储介质、电子设备

Info

Publication number: CN112446347A
Application number: CN202011439723.3A
Authority: CN
Inventors: 储刘火; 陶冶; 杨超
Original assignee: Shenzhen Horizon Robotics Science and Technology Co Ltd
Current assignee: Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2021-03-05

Abstract

本公开实施例公开了一种人脸方向确定方法和装置、存储介质、电子设备，其中，方法包括：确定设置在标定板对面的多个第一相机相对于标定板的多个第一组外参；基于多个第一相机和多个第一组外参，确定位于标定板前方的被采集对象的人脸在参考坐标系下的第一人脸方向参数；确定设置在多个第一相机和所述标定板之间的至少一个第二相机在当前位置相对于标定板的至少一个第二组外参；基于至少一个第二组外参将在参考坐标系下的第一人脸方向参数，转换到至少一个第二相机对应的局部坐标系下，得到被采集对象的人脸在局部坐标系下的至少一个第二人脸方向信息。本公开实施例提高了确定的人脸方向信息的准确度。

Description

人脸方向确定方法和装置、存储介质、电子设备

技术领域

本公开涉及计算机视觉技术，尤其是一种人脸方向确定方法和装置、存储介质、电子设备。

背景技术

使用深度学习进行用户视线方向与面部姿态预测的应用越来越多，将被广泛应用在心理学行为分析、视线注意力分析等场景。视线与面部姿态预测的训练过程，必然依赖大量高精度的数据，因此高效率高精度视线数据采集工具非常重要。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种人脸方向确定方法和装置、存储介质、电子设备。

根据本公开实施例的一个方面，提供了一种人脸方向确定方法，包括：

确定设置在标定板对面的多个第一相机相对于所述标定板的多个第一组外参，其中，所述多个第一相机与所述多个第一组外参一一对应；

基于所述多个第一相机和所述多个第一组外参，确定位于所述标定板前方的被采集对象的人脸在参考坐标系下的第一人脸方向参数；

确定设置在所述多个第一相机和所述标定板之间的至少一个第二相机在当前位置相对于所述标定板的至少一个第二组外参，其中，所述至少一个第二相机与所述至少一个第二组外参一一对应；

基于所述至少一个第二组外参将在所述参考坐标系下的第一人脸方向参数，转换到所述至少一个第二相机对应的局部坐标系下，得到所述被采集对象的人脸在所述局部坐标系下的至少一个第二人脸方向信息。

根据本公开实施例的另一方面，提供了一种人脸方向确定装置，包括：

第一参数确定模块，用于确定设置在标定板对面的多个第一相机相对于所述标定板的多个第一组外参，其中，所述多个第一相机与所述多个第一组外参一一对应；

第一人脸方向确定模块，用于基于所述多个第一相机和所述第一参数确定模块确定的多个第一组外参，确定位于所述标定板前方的被采集对象的人脸在参考坐标系下的第一人脸方向参数；

第二参数确定模块，用于确定设置在所述多个第一相机和所述标定板之间的至少一个第二相机在当前位置相对于所述标定板的至少一个第二组外参，其中，所述至少一个第二相机与所述至少一个第二组外参一一对应；

第二人脸方向确定模块，用于基于所述第二参数确定模块确定的至少一个第二组外参将所述第一人脸方向确定模块确定的在所述参考坐标系下的第一人脸方向参数，转换到所述至少一个第二相机对应的局部坐标系下，得到所述被采集对象的人脸在所述局部坐标系下的至少一个第二人脸方向参数。

根据本公开实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的人脸方向确定方法。

根据本公开实施例的还一方面，提供了一种电子设备，所述电子设备包括：

处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的人脸方向确定方法。

基于本公开上述实施例提供的一种人脸方向确定方法和装置、存储介质、电子设备，通过至少一个第二相机采集固定人脸的方向信息，提高了人脸方向信息采集的效率；结合第二相机和标定板提高了确定的人脸方向信息的准确度。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1a是本公开一示例性实施例提供的人脸图像采集系统的结构示意图。

图1b是本公开一示例性实施例提供的人脸图像采集系统中的全局标定板的结构示意图。

图2a是本公开一示例性实施例提供的人脸方向确定方法的流程示意图。

图2b是本公开图2a所示的实施例中激光测距标定板与全局标定板之间的关系示意图。

图3是本公开另一示例性实施例提供的人脸方向确定方法的流程示意图。

图4是本公开图3所示的实施例中步骤302的一个流程示意图。

图5是本公开图4所示的实施例中步骤3022的另一流程示意图。

图6是本公开图3所示的实施例中步骤302的另一流程示意图。

图7是本公开图3所示的实施例中步骤302的又一流程示意图。

图8是本公开一示例性实施例提供的人脸方向确定装置的结构示意图。

图9是本公开另一示例性实施例提供的人脸方向确定装置的结构示意图。

图10是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

在实现本公开的过程中，发明人发现，现有技术中为了获得人脸方向信息，通常利用神经网络对相机采集的图像进行人脸方向预测，但现有技术至少存在以下问题：需要大量已知人脸方向的图像对神经网络进行训练，而已知人脸方向的图像通常只能人为识别获得。

示例性系统

传统的已知人脸方向的图像的采集方法包括：让被采集对象去观察不同的标签点，做出不同的视线/面部方向的动作，同时使用多个摄像头(比如三到四个)同时采集被采集对象的动作。因此被采集对象动作的次数决定了采集数量，采集效率低。

针对采集效率低的问题，本公开提出了一种人脸图像采集方案。图1a是本公开一示例性实施例提供的人脸图像采集系统的结构示意图。其中包括：全局标定板101、至少一个采集相机102、视点标签103、双目3D测量相机104和机械臂105。

全局标定板101的尺寸由被采集对象遮挡全局标定板101的比例决定，全局标定板101被被采集对象遮挡的部分占全局标定板101的面积比例越小越好，以该全局标定板101做采集数据的固定参照坐标系，采集相机102拍摄人脸的同时可以拍摄到背景的全局标定板101，被采集对象维持一个固定动作的时候，视线和人脸姿态与背景坐标系的相对关系不变，采集相机102可以动态移动进行拍摄，采集相机102基于拍摄包含有全局标定板101的照片即可确定采集相机102本身的外参，相机102本身的外参为相机102相对于参考坐标系的位置和姿态。

被采集对象位于标定板前方，眼睛固定注视空间中固定的视点标签103，其中，被采集对象的视线和面部姿态的方向相对于世界坐标系是固定不动的，双目3D测量相机104位于全局标定板101对面设定距离处，双目3D测量相机104与全局标定板101之间的距离可根据具体场景进行设置，例如，设置为2米以上等，可以同时拍摄到被采集对象的人脸和全局标定板101，机械臂105位于被采集对象前方合适距离处，该距离可根据场景设置，例如，0.4到1米之间等，机械臂105可以在6个自由度上移动(沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度)，机械臂105上可以设置一个或多个采集相机102，并且可以带动采集相机102围绕被采集对象自由地移动和旋转；在机械臂105移动时采集相机102以预设帧率采集图像，其中，预设帧率可以是30fps等，fps是图像领域中的定义，是指画面每秒传输帧数，30fps即表示每秒传输30帧，对应本实施例，机械臂105移动过程中每秒可以采集30帧数据，分别对应30个不同的位置，采集相机102被机械臂105带动以不同的位置和姿态采集被采集对象的视线，在采集过程中采集相机102移动，而被采集对象不动。本系统中为了提高获得的人脸图像的质量，还可以在全局标定板101和视点标签103之前设置至少一个补光灯106。

在进行数据采集时，被采集对象眼睛固定注视一个视点标签103，机械臂105带动采集相机102连续运动、变换采集位置和姿态，与双目3D测量相机104一起拍摄视频或多帧图像，由于双目3D测量相机104会同时拍下被采集对象背后的全局标定板101，双目3D测量相机104计算的人脸关键点或眼睛坐标、预先标定的视点标签位置与计算的视线方向、人脸姿态等都可以通过标定板101外参参数进行坐标系间的相互转换，将双目3D测量相机104采集的图像从3D测量相机104对应的坐标系下转换到参考坐标系下，可选地，参考坐标系可以是世界坐标系等。

图1b是本公开一示例性实施例提供的人脸图像采集系统中的全局标定板的结构示意图。如图1b所示，采用等间隔分布的黑色圆点作为特征点，每个特征点具有唯一标识的编号，特征点编号从0开始，按从左至右、从上到下的顺序依次递增，右下角特征点编号最大。传统的相机标定方法要求相机必须拍摄到全部的特征点，以便根据特征点的排列规则确定出每一个检测点的编号，但是数据采集时被采集对象位于标定板前一定会遮挡住部分特征点，为了解决这一问题，本公开通过在全局标定板101上间隔布置编号(ID)对应的二维码，其中，二维码用于表示该特征点对应的编号；根据二维码与特征点的分布规律，通过二维码检测识别即可确定检测到的特征点对应的准确编号以获得的已知编号的特征点在不同坐标系下的坐标，实现不同坐标系之间的转换关系，进而支持遮挡条件下的相机标定任务。

具体地，例如，在水平和垂直方向上，分布规律为每间隔3个特征点，将第三个特征点替换成二维码，其中二维码信息中包含了该位置特征点的编号信息，在确定左上角的二维码(对应编号为1)为例，并已知编号排列方式为向右向下递增，此时可知，左上角的二维码右侧的三个特征点的编号分别为2、3、4，因此，在相机采集到任意包括二维码的特征点时，即可确定采集到的所有特征点的编号，通过相机采集的图像可确定每个特征点在图像中的像素坐标，并且这些编号的特征点在参考坐标系下的坐标已知，基于编号的对应关系可知，每个特征点在相机坐标系下的坐标和在参考坐标系下的坐标，基于每个特征点在图像中的像素坐标和在参考坐标系下的坐标可确定相机坐标系与参考坐标系之间的转换关系，进而支持遮挡条件下的相机标定任务。

图2a是本公开一示例性实施例提供的人脸方向确定方法的流程示意图。如图2a所示，包括：

步骤201：确定视点标签在参考坐标系下的坐标。通过使用高精度激光测距标定板，确定视点标签在某一双目3D测量相机的相机坐标系下的坐标，再利用双目3D测量相机104与全局标定板101的外参参数，其中，双目3D测量相机对应的坐标系的外参是利用双目3D测量相机104拍摄到的全局标定板确定的，将视点标签的坐标从双目3D测量相机的坐标系下转换至参考坐标系下，得到视点标签在参考坐标系下的标签坐标tag_r。

步骤202：确定双目3D测量相机相对全局标定板外参参数。各个双目3D测量相机同时拍摄一张全局标定板图像，通过检测特征点位置并利用solvePnP算法计算各个双目3D测量相机相对全局标定板的旋转和平移，进而得到各个双目3D测量相机间的转换关系，其中，PnP求解算法是指通过多对3D坐标对应参考坐标系下的三维坐标与2D坐标对应图像坐标系下的像素坐标的匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参的算法。

步骤203：获得在双目3D测量相机对应的相机坐标系下的人脸方向参数(包括：人脸关键点和/或眼睛坐标)。使用多个3D测量相机中相邻的两个双目3D测量相机(本实施例中的双目3D测量相机是普通相机，通过其中两个相机实现3D测距，称为双目3D测量相机)分别检测人脸关键点2D坐标，利用相机内参分别计算关键点的3D投影射线，再利用102步骤计算的联合标定结果计算两个相机投影射线的空间交汇点，即可得到人脸关键点或眼睛在相机坐标系下的3D坐标位置。

步骤204：对相机坐标系下的人脸关键点和/或眼睛坐标进行坐标系转换，得到参考坐标系下的人脸关键点和/或眼球位置坐标。利用202步骤计算的双目相机相对标定板的旋转和平移，将相机坐标系下的位置坐标转换至参考坐标系下。

步骤205：计算参考坐标系下的视线方向和/或人脸姿态(包括人脸的上下翻转的角度pitch，左右翻转的角度yaw和平面内旋转的角度roll)。

视线方向计算：视点标签坐标(世界坐标系下)减去眼球位置坐标(世界坐标系下)即可得到视线方向向量dir_r＝tag_r-eye_r。

人脸姿态计算：利用步骤204计算得到的人脸关键点在参考坐标系下的3D坐标，和脸模坐标系(以人脸鼻尖点为中心，以垂直鼻尖点向前的方向为z轴方向，以鼻尖点所在的与z轴垂直的平面中人脸的横向方向作为x轴、人脸的纵向方向作为y轴)下多个人脸对应的多组人脸关键点(例如，28个关键点等)的平均3D坐标集合(所有平均3D坐标连接构成一个平均脸模)，该平均3D坐标集合是以多个人脸中每个人脸中的所有人脸关键点在脸模坐标系下的坐标求平均得到的，可以认为是平均关键点对应的3D坐标集合；使用SVD分解方法(奇异值分解，奇异值分解的目的是提取出一个矩阵最重要的特征)计算两个3D点集之间的旋转变换，得到脸模坐标系相对参考坐标系的旋转矩阵R_f2r，通过欧拉角分解即可得到参考坐标系下的人脸姿态。

步骤206：确定采集相机相对全局标定板的外参参数。采集相机在采集数据时会同时拍摄到全局标定板，通过检测特征点位置并利用solvePnP算法(现有技术)计算得到采集相机相对标定板的旋转R_data和平移T_data。

步骤207：对参考坐标系下的视线方向和/或人脸姿态进行坐标转换，得到采集相机对应的局部坐标系下的视线方向和/或人脸姿态；通过至少一个采集相机，得到至少一个局部坐标系下的视线方向和/或人脸姿态。

视线方向：局部坐标系下的视线方向向量

人脸姿态：平均脸模坐标系相对局部坐标系的旋转矩阵

通过欧拉角分解得到采集相机坐标系下的人脸姿态。

在被采集对象视线方向以及人脸姿态不变的情况下，通过机械臂带动至少一采集相机移动，改变每个采集相机对应的局部坐标系，重新基于上述步骤进行计算，即可得到另一批局部坐标系下的视线方向和/或人脸姿态。

本公开提供的人脸图像采集系统在人脸/视线注视点不动的情况下，通过机械臂带动至少一个采集相机运动，可以连续采集变化人脸/视线在每个采集相机对应的局部坐标系下的人脸方向参数，具有如下优势：采集效率得到上百倍的提高，被采集对象的动作数量、采集人数上都得到很大的减少；采集数据的丰富程度得到很大的提高，空间覆盖率更连续，而非离散的点；采集精度可控，可以在低成本下达到0.2°或更高的精度；数据处理过程实现自动化，无需人工对数据进行处理或标注，以上坐标求解与计算过程可以实现全自动化处理完成。

通过摄像头每帧图像捕捉到的全局标定板确定了采集相机的外参参数，结合固定的视线与面部姿态方向，即可计算每张图像上基于采集相机对应的局部坐标系下的视线与人脸姿态方向。本公开中采用高精度双目工业相机和高精度激光测距标定板，确保了整个采集闭环中的精度，实际采集精度可以达到0.2°以内。由于被采集对象维持一个固定动作的时候，通过固定在机械臂上的多个采集相机，连续运动(变换位置和姿态)，可以采集连续的数据，相比固定摄像头和固定被采集对象的动作触发一张一张进行数据采集，效率上得到极大提高，同时由于采集相机是连续运动变换位置和姿态，数据在视线和姿态空间连续性和空间覆盖度的广度远优于固定的采集方式。

示例性方法

图3是本公开另一示例性实施例提供的人脸方向确定方法的流程示意图。本实施例可应用在电子设备上，如图3所示，包括如下步骤：

步骤301，确定设置在标定板对面的多个第一相机相对于标定板的多个第一组外参。

其中，多个第一相机与多个第一组外参一一对应，也即，一个第一相机对应一个第一组外参，多个第一相机的数量与多个第一组外参的数量相同。

本实施例中的第一相机对应上述图1或2提供的实施例中的双目3D测量相机，标定板对应上述图1或2提供的实施例中的全局标定板，第一组外参的确定可参照图2a提供的实施例中步骤202中确定每个第一相机相对标定板的旋转和平移。

步骤302，基于多个第一相机和多个第一组外参，确定位于标定板前方的被采集对象的人脸在参考坐标系下的第一人脸方向参数。

在一实施例中，通过多个第一相机采集在标定板前方的被采集对象的人脸，获得在第一相机对应的相机坐标系下的人脸方向参数，例如，如图2a提供的实施例中步骤203所示；再基于第一组外参将在相机坐标系下的人脸方向参数转换到参考坐标系下，例如，如图2a提供的实施例中步骤204和205所示。

步骤303，确定设置在多个第一相机和标定板之间的至少一个第二相机在当前位置相对于标定板的至少一个第二组外参。

其中，至少一个第二相机与至少一个第二组外参一一对应。

本实施例中，第二相机可以为上述图1或2所示的采集相机；确定第二组外参的过程可参照图2a提供的实施例中的步骤206所示。

步骤304，基于至少一个第二组外参将在参考坐标系下的第一人脸方向参数，转换到至少一个第二相机对应的局部坐标系下，得到被采集对象的人脸在局部坐标系下的至少一个第二人脸方向参数。

可选地，基于第二组外参得到第二人脸方向参数的方法可参照图2a提供的实施例中步骤207所示，实现在被采集对象保持姿态不变的情况下，同时获得至少一个局部坐标系下的第二人脸方向参数，即，每个第二相机获得一个被采集对象在当前姿态下的第二人脸方向参数；图像采集效率得到极大的提高，被采集对象的动作数量和采集人数上实现了缩减。

本公开上述实施例提供的一种人脸方向确定方法，通过至少一个第二相机采集固定人脸的方向信息，提高了人脸方向信息采集的效率；结合第二相机和标定板提高了确定的人脸方向信息的准确度。

如图4所示，在上述图3所示实施例的基础上，步骤302可包括如下步骤：

步骤3021，基于多个第一相机中的每个第一相机采集位于标定板前方的被采集对象的人脸，得到多个第一人脸图像。

本实施例中，第一相机相当于图1a提供的实施例中的双目3D测量相机104，即第一相机固定设置在标定板对面，对被采集对象进行图像采集时，同时采集被采集对象的人脸以及被采集对象背后的标定板。

步骤3022，基于多个第一人脸图像，确定人脸中的人脸关键点在多个第一相机构成的相机坐标系下的第一3D坐标集合。

可选地，该步骤可参照图2a提供的实施例中的步骤203所示，通过两个第一相机实现3D测距，得到人脸关键点在第一相机对应的相机坐标系下的第一3D坐标集合。

步骤3023，根据第一组外参将第一3D坐标集合转换到参考坐标系下，得到在参考坐标系下的第一人脸方向参数。

本实施例中，每个第一组外参确定了对应的第一相机的相机坐标系与参考坐标系之间的转换关系，基于该转换关系，即可将相机坐标系下的第一3D坐标集合转换到参考坐标系下，具体可参照图2a提供的实施例中步骤204和205，通过公式(3)确定每个第一3D坐标在参考坐标系下的坐标，基于步骤205获得第一人脸方向参数(包括：视线方向和/或人脸姿态)；本实施例利用多个横向具有间距的第一相机实现双目测距相机的功能(在实验室环境下，直接用双目测距相机的误差较大)，提高了3D坐标的准确性，得到更准确的第一人脸方向参数。

如图5所示，在上述图4所示实施例的基础上，步骤3022可包括如下步骤：

步骤501，确定多个第一相机中每两个相邻的第一相机之间的位置关系。

基于两个固定相机实现双目3D相机的功能，确定标定点的深度信息，得到世界坐标系下的空间坐标。

可选地，利用多个第一相机同时采集标定板上所有标定点的图像，得到多个标定图像；其中，每个标定图像对应一个第一相机；基于每个标定图像确定每个标定点在多个第一相机中每个第一相机对应的相机坐标系下的坐标；基于每个标定点在多个相机坐标系下的坐标，确定多个第一相机之间的位置关系。

该实施例中位置关系的确定可参照图2a提供的实施例中的步骤202所示，通过检测标定板中未被被采集对象遮挡的特征点位置并利用solvePnP算法计算各个第一相机相对标定板的旋转和平移，进而得到各个相机间的转换关系。

例如：假设相机1与相机2相对全局标定板的旋转和平移分别为R₁、T₁和R₂、T₂，则相机1相对于相机2的旋转和平移分别可基于以下公式(1)和(2)得到：

基于上述公式(1)和(2)确定两个第一相机之间的位置关系，进而得到各个第一相机之间的转换关系。

步骤502，基于多个第一相机中的每两个相邻的第一相机，确定人脸关键点在两个第一相机对应的相机坐标系下的平面坐标。

本实施例中的多个第一相机分别是普通的2D相机，以每两个相邻的第一相机构成一个双目3D测距相机，在获得3D坐标之前，单个第一相机获得该相机对应的相机坐标系下的2D坐标。

步骤503，根据两个第一相机的内参确定人脸关键点的对应的两组3D投影射线。

其中，相机的内参是与相机自身特性相关的参数，比如相机的焦距、像素大小等。

步骤504，基于两个第一相机之间的位置关系，确定两组3D投影射线中每个人脸关键点对应的两个3D投影射线之间的交汇点。

本实施例通过两个第一相机实现双目立体视觉，测距原理是：通过不同的角度获得被测物体的两幅图像，计算两幅图上对应点之间的位置偏差，获取物体的三维信息。本实施例中以人脸关键点作为对应点。

步骤505，基于每个人脸关键点对应的交汇点确定每个人脸关键点对应的3D坐标，得到所有人脸关键点对应的第一3D坐标集合。

本实施例中以多个第一相机中的每两个相邻的第一相机组成一个双目3D测距相机，即获得每个人脸关键点相对第一相机的距离信息，以该距离信息作为人脸关键点在相机坐标系下的z轴坐标，结合该第一相机获得的2D坐标(x轴和y轴坐标)，即获得所有人脸关键点在相机坐标系下的第一3D坐标集合；本实施例通过具有间隔距离的两个第一相机实现双目测距，仅仅依靠图像进行关键点匹配，因此对附加设备的要求低，同时由于单独设置两个第一相机的位置，提高了距离的精度，相比直接用3D测距相机，本实施例得到的3D坐标更准确。

如图6所示，在上述图3所示实施例的基础上，其中，第一人脸方向参数包括第一视线方向；步骤302可包括如下步骤：

步骤601，基于多个第一相机中的每个第一相机采集位于标定板前方的被采集对象的人脸，得到多个第一人脸图像。

该步骤的实现以及效果可参照上述实施例中步骤3021，在此不再赘述。

步骤602，基于多个第一人脸图像，确定人脸中的人脸关键点在多个第一相机构成的相机坐标系下的第一3D坐标集合。

该步骤的实现以及效果可参照上述实施例中步骤3022，在此不再赘述。

步骤603，确定被采集对象在被采集图像时，双眼注视的视点标签在参考坐标系下的标签坐标。

可选地，利用高精度激光测距标定板，确定视点标签在多个第一相机中一个第一相机对应的相机坐标系下的坐标；基于第一相机相对于标定板的第一组外参，将视点标签的坐标转换至参考坐标系下，得到视点标签在所述参考坐标系下的标签坐标。

具体视点标签的标签坐标可参照图2a提供的实施例中步骤201所示，利用使用高精度激光测距标定板，确定视点标签在某一第一相机的相机坐标系下的坐标；再基于该第一相机的外参参数，将视点标签的坐标转换到参考坐标系下，得到标签坐标。

其中，确定视点标签在相机坐标系下的坐标的过程可包括：

激光测距标定板：激光器垂直固定在激光测距标定板上，发射孔相对激光测距标定板的原点的坐标位置可以使用尺子测量计算得到。在激光器与激光测距标定板垂直设置的情形下，此时激光器与激光测距标定板也可以是接近垂直设置(例如，具有一定的倾斜角度等)，则激光器发射出来的光束与激光测距标定板垂直，当激光器发出的激光打到视点标签上时，可以从激光器的读数获取到视点标签与激光发射孔的距离，进而计算出视点标签相对激光测距标定板的原点的坐标。

激光测距标定板对应的坐标系的原点为激光测距标定板的左上角角点位置，x轴方向水平向右，y轴方向竖直向下，z轴方向垂直标定板向后。

标定步骤包括(其中采用的相机可以为某一双目3D测量相机)：

1)摆放激光测距标定板(激光测距标定板与全局标定板之间的关系可以如图2b所示)，使其对准视点标签，记录下激光器的读数，同时使用3D测量相机拍摄激光测距标定板与全局标定板。

2)假设测量得到的激光器发射孔在标定板坐标系下的位置为(x，y，z)，由于激光器与标定板垂直，所以发射光束的方向向量为(0，0，-1)，当激光器的读数为dist时，激光器对准的视点标签在标定板坐标系下的坐标为：(x，y，z)+(0，0，-1)*dist。得到视点标签在激光测距标定板坐标系下的坐标。

3)由于相机拍摄到了激光测距标定板，通过相机外参参数即可计算出激光测距标定板相对拍摄相机的坐标转换关系，进而将步骤(2)得到的坐标转换至拍摄相机的坐标系下，得到视点标签在相机坐标系下的坐标。

步骤604，根据第一组外参将第一3D坐标集合转换到参考坐标系下，得到第二3D坐标集合。

该坐标系转换过程可参照图2a提供的实施例中步骤204所示，在已知第一组外参的情况下，可根据以下公式(3)确定第二3D坐标集合。

假设相机坐标系下的眼睛坐标为eye_c，相机相对参考坐标系的旋转和平移分别为R₁、T₁，则参考坐标系下的眼睛坐标如下公式(3)所示：

eye_r＝R₁eye_c+T₁ 公式(3)。

步骤605，基于人脸关键点中的人眼关键点在参考坐标系下的第二3D坐标与视点标签的标签坐标，确定被采集对象在参考坐标系下的第一视线方向。

第一视线方向的确定可参照图2a提供的实施例中步骤205所示，以在同一坐标系(参考坐标系)下的被采集对象注视的视点标签的标签坐标减去人眼关键点的坐标，即可得到视线方向向量，其中，人眼关键点可以包括人脸中眼睛的所有关键点(例如28个关键点)或者，从人眼关键点中确定虹膜关键点，以虹膜关键点的坐标确定的视线方向更准确。

如图7所示，在上述图3所示实施例的基础上，其中，第一人脸方向参数包括第一人脸朝向；步骤302可包括如下步骤：

步骤701，基于多个第一相机中的每个第一相机采集位于标定板前方的被采集对象的人脸，得到多个第一人脸图像。

步骤702，基于多个第一人脸图像，确定人脸中的人脸关键点在多个第一相机构成的相机坐标系下的第一3D坐标集合。

步骤703，确定平均人脸关键点在脸模坐标系下的第三3D坐标集合。

可选地，可参照图2a提供的实施例中步骤205中人脸姿态计算所示，通过对多个人脸(人脸数量越多，计算结果越好)中的所有人脸关键点在脸模坐标系下的3D坐标求平均，可得到接近标准人脸的一个第三3D坐标集合。

步骤704，根据第一组外参将第一3D坐标集合转换到参考坐标系下，得到第二3D坐标集合。

可参照图2a提供的实施例中步骤204，实现第一3d坐标集合的坐标系转换。

步骤705，基于第二3D坐标集合和第三3D坐标集合之间的旋转关系，确定脸模坐标系相对于参考坐标系的旋转矩阵。

可选地，可参照图2a提供的实施例中步骤205中人脸姿态计算所示，使用SVD分解方法，确定两个坐标集合之间的旋转关系。

步骤706，基于旋转矩阵确定被采集对象在参考坐标系下的第一人脸朝向。

可选地，对该旋转矩阵执行欧拉角分解，即可得到被采集对象在参考坐标系下的上下翻转的角度、左右翻转的角度和平面内旋转的角度，对应被采集对象的头部抬头低头的角度、左右转头的角度和偏头的角度；本实施例结合脸模坐标系确定人脸朝向，相对将人脸作为一个平面处理，增加了人脸关键点的深度信息，提高了获得的人脸朝向的精度。

在一些可选的实施例中，本公开提供的方法，还可以包括：

移动至少一个第二相机到下一个位置。

可选地，第二相机的下一个位置根据机械臂105的移动幅度决定，该移动幅度可提前根据具体场景进行设定，例如，为了实现第二相机连续采集，第二相机的下一个位置与当前位置的间隔越小越好，即移动幅度越小越好，可得到更多人脸图像；至少一个第二相机可如图1a所示实施例设置在机械臂105上，通过机械臂105位于被采集对象前方合适距离处可以在6个自由度上移动，可以带动至少一个第二相机围绕被采集对象自由地移动和旋转，使至少一个第二相机移动到下一个位置。

确定至少一个第二相机在下一个位置相对于标定板的第三组外参。

例如，可参照图2a提供的实施例中的步骤206确定在下一个位置每个第二相机相对标定板的第三组外参。

根据第三组外参将在参考坐标系下的第一人脸方向参数，转换到至少一个第二相机对应的至少一个新的局部坐标系下，得到被采集对象的人脸在至少一个第二相机对应的新的局部坐标系下对应的至少一个第三人脸方向参数。

其中，坐标系转换可参照图2a提供的实施例中的步骤207所示，即可得到至少一个第二相机在下一个位置时的至少一个具有人脸方向参数的人脸图像。

本实施例实现了在人脸/视线注视点不动的情况下，通过机械臂带动至少一个采集相机运动，可以连续采集变化人脸/视线在每个采集相机对应的局部坐标系下的人脸方向参数，具有如下优势：采集效率得到上百倍的提高，被采集对象的动作数量、采集人数上都得到很大的减少；采集数据的丰富程度得到很大的提高，空间覆盖率更连续，而非离散的点；采集精度可控，可以在低成本下达到0.2°或更高的精度；数据处理过程实现自动化，无需人为参与人脸方向的识别。

本公开上述实施例提供的人脸方向确定方法可应用于人脸图像采集，采集到的人脸图像通过上述任一实施例提供的人脸方向确定方法确定人脸方向参数，可得到大量具有人脸方向参数标注的人脸图像，为人脸方向识别网络提供了训练数据，进而提高了人脸方向识别网络的识别准确率。

本公开实施例提供的任一种人脸方向确定方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种人脸方向确定方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种人脸方向确定方法。下文不再赘述。

示例性装置

图8是本公开一示例性实施例提供的人脸方向确定装置的结构示意图。如图8所示，本实施例装置包括：

第一参数确定模块81，用于确定设置在标定板对面的多个第一相机相对于标定板的多个第一组外参。

其中，多个第一相机与多个第一组外参一一对应；

第一人脸方向确定模块82，用于基于多个第一相机和第一参数确定模块81确定的多个第一组外参，确定位于标定板前方的被采集对象的人脸在参考坐标系下的第一人脸方向参数。

第二参数确定模块83，用于确定设置在多个第一相机和标定板之间的至少一个第二相机在当前位置相对于标定板的至少一个第二组外参。

其中，至少一个第二相机与至少一个第二组外参一一对应。

第二人脸方向确定模块84，用于基于第二参数确定模块83确定的至少一个第二组外参将第一人脸方向确定模块82确定的在参考坐标系下的第一人脸方向参数，转换到至少一个第二相机对应的局部坐标系下，得到被采集对象的人脸在局部坐标系下的至少一个第二人脸方向参数。

本公开上述实施例提供的一种人脸方向确定装置，通过至少一个第二相机采集固定人脸的方向信息，提高了人脸方向信息采集的效率；结合第二相机和标定板提高了确定的人脸方向信息的准确度。

图9是本公开另一示例性实施例提供的人脸方向确定装置的结构示意图。如图9所示，本实施例装置包括：

第一人脸方向确定模块82，包括：

人脸采集单元821，用于基于多个第一相机中的每个第一相机采集位于标定板前方的被采集对象的人脸，得到多个第一人脸图像。

第一坐标确定单元822，用于基于多个第一人脸图像，确定人脸中的人脸关键点在多个第一相机构成的相机坐标系下的第一3D坐标集合。

第一坐标系转换单元823，用于根据第一组外参将第一3D坐标集合转换到参考坐标系下，得到在参考坐标系下的第一人脸方向参数。

可选地，第一坐标确定单元822，具体用于确定多个第一相机中每两个相邻的第一相机之间的位置关系；基于多个第一相机中的每两个相邻的第一相机，确定人脸关键点在两个第一相机对应的相机坐标系下的平面坐标；根据两个第一相机的内参确定人脸关键点的对应的两组3D投影射线；基于两个第一相机之间的位置关系，确定两组3D投影射线中每个人脸关键点对应的两个3D投影射线之间的交汇点；基于每个人脸关键点对应的交汇点确定每个人脸关键点对应的3D坐标，得到所有人脸关键点对应的第一3D坐标集合。

其中，第一坐标确定单元822在确定多个第一相机中每两个相邻的第一相机之间的位置关系时，用于利用多个第一相机同时采集标定板上所有标定点的图像，得到多个标定图像；其中，每个标定图像对应一个第一相机；基于每个标定图像确定每个标定点在多个第一相机中每个第一相机对应的相机坐标系下的坐标；基于每个标定点在多个相机坐标系下的坐标，确定多个第一相机之间的位置关系。

在一些可选实施例中，第一人脸方向参数包括第一视线方向；

第一人脸方向确定模块82，第一坐标确定单元822与第一坐标系转换单元823之间还包括：

标签坐标确定单元824，用于确定被采集对象在被采集图像时，双眼注视的视点标签在参考坐标系下的标签坐标。

第一坐标系转换单元823，具体用于根据第一组外参将第一3D坐标集合转换到参考坐标系下，得到第二3D坐标集合；基于人脸关键点中的人眼关键点在参考坐标系下的第二3D坐标与视点标签的标签坐标，确定被采集对象在参考坐标系下的第一视线方向。

可选地，标签坐标确定单元824，具体用于利用高精度激光测距标定板，确定视点标签在多个第一相机中一个第一相机对应的相机坐标系下的坐标；基于第一相机相对于标定板的第一组外参，将视点标签的坐标转换至参考坐标系下，得到视点标签在参考坐标系下的标签坐标。

在另一些可选实施例中，第一人脸方向参数包括第一人脸朝向；

脸模坐标确定单元825，用于确定平均人脸关键点在脸模坐标系下的第三3D坐标集合；

第一坐标系转换单元823，具体用于根据第一组外参将第一3D坐标集合转换到参考坐标系下，得到第二3D坐标集合；基于第二3D坐标集合和第三3D坐标集合之间的旋转关系，确定脸模坐标系相对于参考坐标系的旋转矩阵；基于旋转矩阵确定被采集对象在参考坐标系下的第一人脸朝向。

本公开实施例提供的装置还可以包括：

第三人脸方向确定模块85，用于移动至少一个第二相机到下一个位置；确定至少一个第二相机在下一个位置相对于标定板的第三组外参；根据第三组外参将在参考坐标系下的第一人脸方向参数，转换到至少一个第二相机对应的至少一个新的局部坐标系下，得到被采集对象的人脸在至少一个第二相机对应的新的局部坐标系下对应的至少一个第三人脸方向参数。

示例性电子设备

下面，参考图10来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图10图示了根据本公开实施例的电子设备的框图。

如图10所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的人脸方向确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图10中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的人脸方向确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的人脸方向确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种人脸方向确定方法，包括：

基于所述至少一个第二组外参将在所述参考坐标系下的第一人脸方向参数，转换到所述至少一个第二相机对应的局部坐标系下，得到所述被采集对象的人脸在所述局部坐标系下的至少一个第二人脸方向参数。

2.根据权利要求1所述的方法，其中，所述基于所述多个第一相机和所述多个第一组外参，确定位于所述标定板前方的被采集对象的人脸在参考坐标系下的第一人脸方向参数，包括：

基于所述多个第一相机中的每个第一相机采集位于所述标定板前方的被采集对象的人脸，得到多个第一人脸图像；

基于所述多个第一人脸图像，确定所述人脸中的人脸关键点在所述多个第一相机构成的相机坐标系下的第一3D坐标集合；

根据所述第一组外参将所述第一3D坐标集合转换到所述参考坐标系下，得到在所述参考坐标系下的第一人脸方向参数。

3.根据权利要求2所述的方法，其中，所述基于所述多个第一人脸图像，确定所述人脸中的人脸关键点在所述多个固定相机构成的相机坐标系下的第一3D坐标集合，包括：

确定所述多个第一相机中每两个相邻的第一相机之间的位置关系；

基于所述多个第一相机中的每两个相邻的第一相机，确定所述人脸关键点在所述两个第一相机对应的相机坐标系下的平面坐标；

根据所述两个第一相机的内参确定所述人脸关键点的对应的两组3D投影射线；

基于所述两个第一相机之间的位置关系，确定所述两组3D投影射线中每个人脸关键点对应的两个3D投影射线之间的交汇点；

基于所述每个人脸关键点对应的交汇点确定所述每个人脸关键点对应的3D坐标，得到所述所有人脸关键点对应的第一3D坐标集合。

4.根据权利要求3所述的方法，其中，所述确定所述多个第一相机中每两个相邻的第一相机之间的位置关系，包括：

利用所述多个第一相机同时采集所述标定板上所有标定点的图像，得到多个标定图像；其中，每个所述标定图像对应一个第一相机；

基于每个所述标定图像确定每个所述标定点在所述多个第一相机中每个第一相机对应的相机坐标系下的坐标；

基于每个所述标定点在所述多个相机坐标系下的坐标，确定所述多个第一相机之间的位置关系。

5.根据权利要求2所述的方法，其中，所述第一人脸方向参数包括第一视线方向；

在根据所述第一组外参将所述第一3D坐标集合转换到所述参考坐标系下，得到在所述参考坐标系下的第一人脸方向参数之前，还包括：

确定所述被采集对象在被采集图像时，双眼注视的视点标签在所述参考坐标系下的标签坐标；

所述根据所述第一组外参将所述第一3D坐标集合转换到所述参考坐标系下，得到在所述参考坐标系下的第一人脸方向参数，包括：

根据所述第一组外参将所述第一3D坐标集合转换到所述参考坐标系下，得到第二3D坐标集合；

基于所述人脸关键点中的人眼关键点在所述参考坐标系下的第二3D坐标与所述视点标签的标签坐标，确定所述被采集对象在所述参考坐标系下的第一视线方向。

6.根据权利要求5所述的方法，其中，所述确定所述被采集对象在被采集图像时，双眼注视的视点标签在所述参考坐标系下的标签坐标，包括：

利用高精度激光测距标定板，确定所述视点标签在所述多个第一相机中一个第一相机对应的相机坐标系下的坐标；

基于所述第一相机相对于所述标定板的第一组外参，将所述视点标签的坐标转换至所述参考坐标系下，得到所述视点标签在所述参考坐标系下的标签坐标。

7.根据权利要求2-6任一所述的方法，其中，所述第一人脸方向参数包括第一人脸朝向；

确定平均人脸关键点在脸模坐标系下的第三3D坐标集合；

基于所述第二3D坐标集合和所述第三3D坐标集合之间的旋转关系，确定所述脸模坐标系相对于所述参考坐标系的旋转矩阵；

基于所述旋转矩阵确定所述被采集对象在参考坐标系下的第一人脸朝向。

8.一种人脸方向确定装置，包括：

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的人脸方向确定方法。

10.一种电子设备，所述电子设备包括：

处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的人脸方向确定方法。