CN109271923A - 人脸姿态检测方法、系统、电子终端及存储介质 - Google Patents

Abstract

本发明提供人脸姿态检测方法、系统、电子终端及存储介质，其与现有的人脸捕捉技术相比，在空间域上实现多帧人脸图像捕捉，无论人脸姿态如何均能够捕捉到一张最正脸的图像。此外，本发明运用的几何求解方法相比于传统的非线性回归方法、探测器阵列或者跟踪等方法计算速度快且计算量小，且本发明求解人脸旋转角度的同时还能求解人脸距离摄像头镜头的深度信息，从而利于将本发明的技术方案从单摄像头向多摄像头扩展，且发明的技术方案将图像中心移至相机光轴所在直线上，人脸与相机的相对位移都沿着摄像机光轴，这样就避免了把每个相机都固定到相应位置后再进行复杂的标定流程，大大提升了效率。

Description

人脸姿态检测方法、系统、电子终端及存储介质

技术领域

本发明涉及机器视觉领域，特别是涉及人脸姿态检测方法、系统、电子终端及存储介质。

背景技术

利用多摄像机，从空间域获取人的最正脸信息，此时人的脸部法向量与摄像机的光轴角度最小，人脸的动作沿着空间的X、Y、Z三轴(定义摄像机的光轴为Z轴)的旋转角度为0度。其中，人的最正脸是指相对于某一时刻，头部的动作刚好运动至摄像机捕捉到最适合做人脸识别的人脸信息。此时人正面对相机。

多摄像头阵列采集人脸信息，只要摄像头数目足够多且分布合理的话就可以在空间中无死角地锁定并捕捉到人脸信息。这就解决了单摄像头捕捉范围有限，视角太小在某些场景引发的问题。

但是，基于头部动作姿态预估的多相机人脸抓拍系统由多个部分组成，其主要解决的技术问题在于：首先是人脸姿态的估计部分，其次是多相机结果融合与人脸去重，即多相机进行人脸姿态的估计后将所有信息汇总进行判断然后再进行抓拍，这其中还涉及到多相机中捕捉到多张人脸后的人脸去重问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供人脸姿态检测方法、系统、电子终端及存储介质，用于解决现有技术人脸姿态的估计不够准确高效等技术问题。

为实现上述目的及其他相关目的，本发明提供一种人脸姿态检测方法，其包括获取来自多个图像摄取装置的包含有不同人脸姿态的二维图像；计算基于各二维图像而生成的人脸姿态信息，所述人脸姿态信息包括人脸法向量与该图像摄取装置的光轴之间的接近程度；选取与该图像摄取装置的光轴最接近的人脸法向量所对应的二维图像作为人脸正对图像摄取装置的图像。

于本发明的一实施例中，所述方法还包括：若判断所述二维图像中的人脸数量超过一个，则将多张人脸进行相似度匹配以判断所述多张人脸是否隶属于同一人；若隶属于同一人则去除重复人脸；若不隶属于同一人则针对每张人脸分别求取其正对图像摄取装置的图像。

于本发明的一实施例中，所述方法包括：利用多个人脸关键点确定所述二维图像中的人脸区域，并将所述人脸区域移动至相互对齐的位置；将各所述人脸区域的中心点移至所述图像摄取装置光轴所在直线上，并计算各人脸关键点二维图像的坐标信息；基于所述人脸关键点二维图像的坐标信息求得所述人脸姿态信息。

于本发明的一实施例中，所述方法包括：令人脸关键点在世界坐标系中的坐标为(X_i，Y_i，Z_i)，且该人脸关键点在各图像摄取装置的图像坐标系中的坐标为(u_i1，v_i1)，(u_i2，v_i2)，...，(u_ij，v_ij)，...其中，i表示第i个人脸关键点，j表示第j个图像摄取装置；则，A为图像摄取装置的内参矩阵，[R|t]为图像摄取装置的外参矩阵，M为人脸旋转矩阵；其中，

于本发明的一实施例中，以正对图像摄取装置的平面为参照面，在所述参照面分别建立X轴和Y轴并以图像摄取装置的光轴所在直线为Z轴，其中：所述人脸姿态信息包括参量θ，β，ρ，Zm，其中，θ，β，ρ与所述人脸旋转矩阵相关联，分别用于表示人脸沿Z轴、Y轴及X轴旋转的角度；Zm与外参矩阵相关联，用于表示人脸的深度信息。

于本发明的一实施例中，所述方法包括：构建目标函数并基于所述目标函数求解多个人脸关键点对应的参量θ，β，ρ，Zm；其中，所述目标函数为： 基于参量θ，β，ρ，Zm并利用空间几何计算出对应的图像摄取装置拍摄到的人脸法向量，将计算到的各人脸法向量与该图像摄取装置的光轴之间的夹角，选取最小夹角值对应的二维图像作为人脸正对图像摄取装置的图像。

于本发明的一实施例中，所述人脸关键点包括位于脸部五官或脸部轮廓的关键点。

为实现上述目的及其他相关目的，本发明提供一种人脸姿态检测系统，其包括多个阵列排列的图像摄取装置以及处理装置；所述图像摄取装置用于采集包含不同人脸姿态的二维图像；所述处理装置通信连接各图像摄取装置以获取各二维图像，计算基于各二维图像而生成的人脸姿态信息，所述人脸姿态信息包括人脸法向量与该图像摄取装置的光轴之间的接近程度；选取与该图像摄取装置的光轴最接近的人脸法向量所对应的二维图像作为人脸正对图像摄取装置的图像。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述人脸姿态检测方法。

为实现上述目的及其他相关目的，本发明提供一种电子终端，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述人脸姿态检测方法。

如上所述，本发明的人脸姿态检测方法、系统、电子终端及存储介质，具有以下有益效果：本发明与现有的人脸捕捉技术相比，在空间域上实现多帧人脸图像捕捉，无论人脸姿态如何均能够捕捉到一张最正脸的图像。此外，本发明运用的几何求解方法相比于传统的非线性回归方法、探测器阵列或者跟踪等方法计算速度快且计算量小，且本发明求解人脸旋转角度的同时还能求解人脸距离摄像头镜头的深度信息，从而利于将本发明的技术方案从单摄像头向多摄像头扩展，且发明的技术方案将图像中心移至相机光轴所在直线上，人脸与相机的相对位移都沿着摄像机光轴，这样就避免了把每个相机都固定到相应位置后再进行复杂的标定流程，大大提升了效率。

附图说明

图1显示为本发明一实施例中人脸姿态检测系统的结构示意图。

图2显示为本发明一实施例中人脸姿态检测方法的流程示意图。

图3a显示为本发明一实施例中一应用场景的人脸关键点的示意图。

图3b显示为本发明一实施例中一应用场景的人脸关键点的坐标的示意图。

图4显示为本发明一实施例中电子终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

再者，如同在本文中所使用的，单数形式“一”、““一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

本发明提供人脸姿态检测方法、系统、电子终端及存储介质，用于针对人脸姿态进行预估，并进行多相机融合及人脸去重，本发明提供的技术方案在空间域上实现多帧人脸图像捕捉，在一个时间节点无论人物以何种人脸姿态经过我们的多相机阵列，我们总是能捕捉到一张相对最正脸的图像，适用于更多的场景，时效性更高。

如图1所示，展示本发明一实施例中人脸姿态检测系统的结构示意图。于本实施例中，所述人脸姿态检测系统包括多个排成阵列的图像摄取装置以及处理装置，图像摄取装置优选以覆盖监控区域为准摆放至世界坐标系中的不同位置。所述图像处理装置用于采集人脸的脸部信息，因各图像摄取装置摆放位置及拍摄角度不同，故针对同一张人脸拍摄的二维图像包含了不同的人脸姿态。所述处理装置通信连接各图像摄取装置以获取二维图像，计算各二维图像中人脸姿态信息，所述人脸姿态信息包括人脸的法向量与该图像摄取装置的光轴之间的夹角值；还用于选取最小夹角值所对应的二维图像作为人脸正对图像摄取装置时的图像。

所述图像摄取装置例如为照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、或者集成有光学系统和CMOS芯片的摄像模块等等。所述处理装置可以是任何带有处理和通信功能的终端，例如为服务器、台式电脑、pad电脑、移动终端或者可穿戴智能设备等等。需要说明的是，本发明技术方案对于硬件的要求并不高，不仅对图像摄取装置的硬件要求不高，且检测算法占用的计算资源也小，例如在ARM或X86结构的开发基本上即能够流畅运行，故本发明的技术方案不仅有极佳的实时效果还拥有非常广的适用范围。

本发明提供的人脸姿态检测系统能够应用于多种人脸检测场景。在一实施例中，本发明的人脸姿态检测系统应用于打卡签到场景中，目前市面上的打卡签到机需要人正脸驻留在设备的摄像头前才能读取人脸信息，这就导致上下班高峰打卡时段，打卡签到设备前人头涌动排队签到打卡，极为不便。基于本发明的技术方案可采用摄像机作为图像摄取装置，在签到人员的出入通道摆放成摄像头阵列，能够实现无论签到人员以何种脸部姿态经过的时候，系统均能够自动获取人脸部最正面的脸部信息以进行高效快速地签到打卡。

再例如，在安全监控的场景中，当前监控设备以固定的角度进行监控，根据人经过的脸部角度不同，捕捉到的人脸信息可能会有丢失。基于本发明的技术方案可采用摄像机作为图像摄取装置，在安检处安防配置数个摄像机，当行人无论以何种脸部姿态经过安检时，都会得到人正脸的信息，并方便后续的可疑人物的识别。再例如，在门禁的场景中，面部识别门禁不需要人刻意去将人脸姿态调整到单摄像头的视角范围，可以提高解锁效率、方便实用。因本发明的技术方案适用的场景非常多，故不再一一列举，下文将结合人脸姿态检测方法的流程进一步说明本发明技术方案实现的原理。

如图2所示，展示本发明一实施例中人脸姿态检测方法的流程示意图。于本实施例中，所述人脸姿态检测方法应用于处理装置，所述处理装置可以是任何带有处理和通信功能的终端，例如为服务器、台式电脑、pad电脑、移动终端或者可穿戴智能设备等设备。所述人脸姿态检测方法具体包括如下各个步骤：

S21：获取来自多个图像摄取装置的包含有不同人脸姿态的二维图像。关于二维图像的采集，可基于人脸部的空间结构信息获取，本实施例通过定义多个关键节点来确定人脸部的模型，其中在脸部的关键点就可以固定人的脸部五官，轮廓等信息，并将这些关键点定义为人脸关键点。从大量的人脸三维模型点云集中采集计算所需的人脸关键点的空间结构信息，并进行加权平均处理，从而得到一套适用性高的人脸关键点空间结构信息X，Y，Z]。

关于二维图像信息采集，本实施例需搭建好相机阵列，把多个相机摆放至世界坐标系的不同位置，摆放相机所依照的原则应该以尽量覆盖所有的的监控区域为准则，并不需要考虑相机在世界坐标系下的位置对接下来所用到的外参矩阵的影响。运用该相机阵列采集二维图像信息数据便可实现二维图像信息的采集工作，下述内容会予以详解。

S22：计算基于各二维图像而生成的人脸姿态信息，所述人脸姿态信息包括人脸法向量与该图像摄取装置的光轴之间的接近程度。

具体的，本步骤执行针对各所述二维图像基于多个人脸关键点检测以确定人脸区域，并对所述人脸区域进行平移处理至相互对齐；将各所述人脸区域的中心点移至所述图像摄取装置光轴所在直线上，并计算各人脸关键点二维图像的坐标信息；基于所述人脸关键点二维图像的坐标信息求得所述人脸姿态信息。针对所述二维图像信息进行人脸关键点检测主要包括如下两个步骤。

第一步是进行人脸检测，也即基于相机采集到的二维图像数据，利用图像处理算法进行检测，确定是否存在人脸以及人脸的位置、尺寸和位姿等信息，其方式包括基于统计的方法和基于脸部特征的方法。其中，基于统计的方法将人脸看作一个整体，通过大量样本建立人脸模式空间，再通过相似度来确定人脸是否存在，这类方法主要包括神经网络方法、模板匹配方法、主成份分析方法及支持向量机方法等等；基于脸部特征的方法主要是利用人脸的几何形状以及脸部器官的比例对称关系来定位人脸。上述列举的图像人脸检测方法均能够实现人脸检测，本发明对此不作限定。

第二步是对人脸区域进行人脸对齐，于本实施例中，人脸对齐的方式为提取人脸部的多个关键点，例如：提取脸部轮廓、眼睛、鼻子及耳朵等12个关键点，经过平移处理得到12个关键点坐标信息。需要说明的是，本发明对于人脸关键点的位置及数量并不作限定。

关于人脸姿态的求取，人脸部的三维动作可以看做在空间中分别绕X轴、Y轴及Z轴的旋转，也即可将人脸部的三维动作分解为3个绕着X轴、Y轴及Z轴的旋转矩阵M。摄像机通过成像透镜将三维场景投影到摄像机二维像平面上，这个投影可用成像变换描述，即摄像机成像模型，所述摄像机成像模型主要由相机的内参矩阵A及外参矩阵[R|t]决定。利用摄像机成像模型将世界坐标系下的人脸部关键点信息与通过摄像机获取的关键点建立关联关系，下文就两者之间如何建立关联关系做进一步解释。

优选的，本实施例的技术方案将检测出的人脸部的中心点平移至画面中心，以人脸部的中心点作为坐标系的原点，经过如此变化，无论人脸部姿态发生何种变化，人脸部的中心点始终落于摄像机的光轴上。因此，采用本实施例的技术方案，可以忽略相机在世界坐标系中的位置变化，可假设固定的外参矩阵，例如将外参矩阵中的旋转矩阵R设为3x3单位矩阵，并将外参矩阵中的平移矩阵t设为3x1单位矩阵，即[0 0 1]^T，该外参矩阵便可用作位于不同位置的各个摄像机的外参矩阵。

具体而言，通常外参矩阵采用下式表示：

本实施例中，因旋转矩阵R和平移矩阵t均为单位矩阵，故本实施例中的外参矩阵可采用下式表示：需要说明的是，现有技术基于多相机阵列并利用摄像机成像模型原理确定相机图像坐标系中的坐标位置均需要有算法进行标定。但本发明的技术方案将图像中心移至相机光轴所在直线上，人脸与相机的相对位移都沿着摄像机光轴，这样就避免了把每个相机都固定到相应位置后再进行复杂的标定流程，大大提升了效率。

利用摄像机成像模型，各关键点在世界坐标系中的坐标，即令人脸关键点在世界坐标系中的坐标为(X_i，Y_i，Z_i)，且该人脸关键点在各相机的图像坐标系中的坐标为(u_i1，v_i1)，(u_i2，v_i2)，...，(u_ij，v_ij)，...其中，i表示第i个人脸关键点，j表示第j个相机。则人脸关键点在世界坐标系中的坐标与图像坐标系中的坐标之间形成如下的成像模型：考虑人脸旋转矩阵则形成如下成像模型：其中，人脸旋转矩阵M的构造为：

外参矩阵[R|t]中的旋转矩阵R用于表示相机在物理世界中的位置及旋转方向等参量；人脸旋转矩阵M则用于表示人脸部的三维动作分解为3个绕着X轴、Y轴及Z轴的旋转矩阵。M·[X_i，Y_i，Z_i，1]是指人脸部运动后在世界坐标系中的坐标，旋转矩阵M有3个未知量，分别是沿各轴的旋转角度(θ，ρ，β)，外参矩阵中有未知量即深度信息Z_m，4个未知量(θ，β，ρ，Z_m)也就组成了本实施例的算法对人脸部姿态估计的所有信息。

相机阵列中每个相机的摆放位置和角度均不同，因此各相机采集到的二维图像{image₁，image₂，image₃...}也不尽相同，每个相机所获得画面中的人脸部关键点信息的坐标也不相同。但是，人脸部的空间结构均相同，即世界坐标系中的坐标相同。因此，将这些不同的二维图像上的人脸关键点信息代入方程组中便可得到如下各关系式：

通过求解上述非线性方程，可得到每个相机的关于人脸部的运动信息(θ，β，ρ，Zm)，且相机阵列中各个相机得到的运动信息均不相同，所以同一个人的人脸部运动信息基于各个相机通过检测关键点并计算得到的运动信息表示为运动信息集合{(θ₁，β₁，ρ₁，Z_m1)，(θ₂，β₂，ρ₂，Z_m2)，(θ₃，β₃，ρ₃，Z_m3)…}，其中，运动信息集合中运动信息的个数与相机个数相一致。

S23：选取与该图像摄取装置的光轴最接近的人脸法向量所对应的二维图像作为人脸正对图像摄取装置的图像。

通过运动信息集合中每组运动信息中包含的3个角度θ，β，ρ，便可求得所有相机摄取到的人脸部的法向量集合{v₁，v₂，v₃…}，各相机摄取到的人脸部的法向量为v_i∈{v₁，V₂，V₃…}。需要说明的是，当人正脸面对相机时，人脸部的法向量与相机光轴之间的夹角为0度。因此，于本实施例中，计算每个相机摄取到的人脸部的法向量与该相机光轴之间的夹角并得到夹角集合{θ₁，θ₂，θ₃…}，各相机摄取得到的人脸部的法向量与该相机光轴之间的夹角为θ_i∈{θ₁，θ₂，θ₃...}。其中，夹角集合{θ₁，θ₂，θ₃…}中最小的角度作为该组头部运动姿态信息对应的二维画面中的人脸画面最佳。

在一实施例中，求解公式中的四个未知量的方式为：将本实施例中选取的12个人脸关键点的坐标和这12个人脸关键点的空间结构信息代入到摄像机成像模型的矩阵方程中，利用ceres优化函数求解器中的最小二乘法拟合，其中三个角度未知量(θ，β，ρ)的限制范围是(-π，+π)，可以拟合求解出分线性方程组的解(θ，β，ρ，Z_m)。

值得注意的是，现有的利用空间几何对人脸姿态估计的算法中并不涉及到深度信息，即不能计算人脸距离摄像机的深度信息。本实施例在求解角度(θ，β，ρ)的同时，还能够求解出图像的深度信息，也即人脸距离摄像机的距离信息，而深度信息与角度信息相结合更利于从单摄像头向多摄像头扩展，大大提升了本发明技术方案的适用范围。

具体的，构建目标函数并基于所述目标函数求解多个人脸关键点对应的参量θ，β，ρ，Z_m；其中，所述目标函数为：其中，s为适用于计算机图形学的参数比例。基于参量θ，β，ρ，Z_m并利用空间几何计算出对应的图像摄取装置拍摄到的人脸法向量，将计算到的各人脸法向量与该图像摄取装置的光轴之间的夹角，选取最小夹角值对应的二维图像作为人脸正对图像摄取装置时的图像。

值得注意的是，本实施例采用的人脸姿态检测方法基于几何求解方法，相比于传统技术中采用非线性回归方法、探测器阵列或者跟踪等方法，基于几何求解方法的方法计算速度快且计算量小，且可通过增加人脸关键点的数量调节人脸检测结果的准确率，在速度和精度之间达到优质的平衡以及高度的灵活。

与现有的人脸捕捉技术相比，目前应用最为广泛的是动态人脸捕捉，该种算法在某个时间节点前后获取所有人脸图像作为比较并选出携带人脸信息最多的一帧图像，现有技术只能寄希望于人脸运动至摄像头的画面的采集范围内，也即该种技术仅仅适用于一定场景。本实施例中的人脸姿态检测方法是在空间域上实现多帧人脸图像捕捉，在一时间节点无论以何种人脸姿态经过本发明技术方案中的多相机阵列，均能够被捕捉到一张最正脸的图像，适用于更多的场景，时效性更高。

在一实施例中，所述方法还包括：若判断所述二维图像中的人脸数量超过一个，则将多张人脸进行相似度匹配以判断所述多张人脸是否隶属于同一人；若属于同一人则去除重复的人；若不属于同一人则针对每张人脸分别按照上述人脸姿态检测方法求取其正对图像摄取装置时的图像。

具体的，当多个相机捕捉到多张人脸时，便涉及到人脸匹配的问题，本实施例采用了DNN神经网络提取人脸部的128维的向量特征，并对多摄像头中采集到的所有的人脸图像放入神经网络提取128维向量特征，然后进行比较，当相似度超过我们所设的阈值时，就会判定两张脸为同一个人。

为便于本领域技术人员理解，下文再以一具体的实施例说明本发明的技术方案。于本实施例中，仍取12个人脸关键点作为示例，不同摄像头检测出的同一张人脸的人脸关键点坐标分别表示为：

#camera1:[(284,188),(288,211),(312,228),(348,190),(311,192),(294,178),(305,179),(321,179),(333,179),(301,209),(324,210),(310,188)]。

#camera2:[(447,220),(455,246),(488,260),(504,242),(509,225),(498,228),(471,214),(483,215),(498,217),(507,217),(477,242),(498,243)]。

#camera3:......

于本实施例中，将相机采集到的二维图像进行平移以修正人脸关键点的坐标，因图像中心落于相机光轴上，故不需要再求取多相机阵列中的每个相机的外参矩阵，方便外参矩阵的处理，该部分技术内容已于上文中解释，故不再赘述。

基于旋转矩阵，任意的人脸旋转动作都可以分解为空间中沿着三个互相垂直的坐标轴的旋转，也即确定一个三维坐标系，便可用沿三个轴旋转的旋转矩阵的乘积表示头部的动作状态。其中三个旋转矩阵如下：

建立如下目标函数：其中，人脸关键点在世界坐标系中的坐标可通过三维模型采集并平均得到。本实施例中，12个人脸关键点在世界坐标系中的坐标于图3a及图3b中予以展示，采用最小二乘法拟合函数的方法对该目标函数非线性方程组中的θ，β，ρ，Zm，也即3个旋转角度和1个深度信息进行求解。

在求得旋转角度和深度信息之后，可利用空间几何求出各相机的二维图像中人脸的法向量，求取计算得到的各人脸法向量与理想的人脸法向量之间的夹角，所述理想的人脸法向量是指人脸正对摄像头时的法向量，并从中选取最接近理想的人脸法向量的二维图像作为人脸正对图像摄取装置时的图像。需要说明的是，所述利用空间几何求取人脸法向量的方式已为现有，故不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图4所示，展示本发明一实施例中电子终端的结构示意图。本实例提供的电子终端，包括：处理器41、存储器42、收发器43、通信接口44和系统总线45；存储器42和通信接口44通过系统总线45与处理器41和收发器43连接并完成相互间的通信，存储器42用于存储计算机程序，通信接口44和收发器43用于和其他设备进行通信，处理器41用于运行计算机程序，使电子终端执行如上各方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明提供的人脸姿态检测方法、系统、电子终端及存储介质，其与现有的人脸捕捉技术相比，在空间域上实现多帧人脸图像捕捉，无论人脸姿态如何均能够捕捉到一张最正脸的图像。此外，本发明运用的几何求解方法相比于传统的非线性回归方法、探测器阵列或者跟踪等方法计算速度快且计算量小，且本发明求解人脸旋转角度的同时还能求解人脸距离摄像头镜头的深度信息，从而利于将本发明的技术方案从单摄像头向多摄像头扩展，且发明的技术方案将图像中心移至相机光轴所在直线上，人脸与相机的相对位移都沿着摄像机光轴，这样就避免了把每个相机都固定到相应位置后再进行复杂的标定流程，大大提升了效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人脸姿态检测方法，其特征在于，包括：

获取来自多个图像摄取装置的包含有不同人脸姿态的二维图像；

计算基于各二维图像而生成的人脸姿态信息，所述人脸姿态信息包括人脸法向量与该图像摄取装置的光轴之间的接近程度；

选取与该图像摄取装置的光轴最接近的人脸法向量所对应的二维图像作为人脸正对图像摄取装置的图像。

2.根据权利要求1所述的人脸姿态检测方法，其特征在于，所述方法还包括：

若判断所述二维图像中的人脸数量超过一个，则将多张人脸进行相似度匹配以判断所述多张人脸是否隶属于同一人；

若隶属于同一人则去除重复人脸；

若不隶属于同一人则针对每张人脸分别求取其正对图像摄取装置的图像。

3.根据权利要求1或2所述的人脸姿态检测方法，其特征在于，所述包括：

利用多个人脸关键点确定所述二维图像中的人脸区域，并将所述人脸区域移动至相互对齐的位置；

将各所述人脸区域的中心点移至所述图像摄取装置光轴所在直线上，并计算各人脸关键点二维图像的坐标信息；

基于所述人脸关键点二维图像的坐标信息求得所述人脸姿态信息。

4.根据权利要求3所述的人脸姿态检测方法，其特征在于，包括：

令人脸关键点在世界坐标系中的坐标为(X_i，Y_i，Z_i)，且该人脸关键点在各图像摄取装置的图像坐标系中的坐标为(u_i1，v_i1)，(u_i2，v_i2)，...，(u_ij，v_ij)，...其中，i表示第i个人脸关键点，j表示第j个图像摄取装置；

则，A为图像摄取装置的内参矩阵，[R|t]为图像摄取装置的外参矩阵，M为人脸旋转矩阵；其中，

5.根据权利要求4所述的人脸姿态检测方法，其特征在于，以正对图像摄取装置的平面为参照面，在所述参照面分别建立X轴和Y轴并以图像摄取装置的光轴所在直线为Z轴，其中：

所述人脸姿态信息包括参量θ，β，ρ，Zm，其中，θ，β，ρ与所述人脸旋转矩阵相关联，分别用于表示人脸沿Z轴、Y轴及X轴旋转的角度；Zm与外参矩阵相关联，用于表示人脸的深度信息。

6.根据权利要求5所述的人脸姿态检测方法，其特征在于，包括：

构建目标函数并基于所述目标函数求解多个人脸关键点对应的参量θ，β，ρ，Z_m；其中，所述目标函数为：

基于参量θ，β，ρ，Z_m并利用空间几何计算出对应的图像摄取装置拍摄到的人脸法向量，将计算到的各人脸法向量与该图像摄取装置的光轴之间的夹角，选取最小夹角值对应的二维图像作为人脸正对图像摄取装置的图像。

7.根据权利要求3所述的人脸姿态检测方法，其特征在于，所述人脸关键点包括位于脸部五官或脸部轮廓的关键点。

8.一种人脸姿态检测系统，其特征在于，包括多个阵列排列的图像摄取装置以及处理装置；

所述图像摄取装置用于采集包含不同人脸姿态的二维图像；

所述处理装置通信连接各图像摄取装置以获取各二维图像，计算基于各二维图像而生成的人脸姿态信息，所述人脸姿态信息包括人脸法向量与该图像摄取装置的光轴之间的接近程度；选取与该图像摄取装置的光轴最接近的人脸法向量所对应的二维图像作为人脸正对图像摄取装置的图像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的人脸姿态检测方法。

10.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述的人脸姿态检测方法。