CN106778925B - 一种人脸识别的姿态超完备人脸自动注册方法及其装置 - Google Patents

Abstract

本发明公开了一种人脸识别的姿态超完备人脸自动注册方法及其装置，通过建立人脸偏转角度的数学模型，并根据此模型辨别出姿态完备的人脸图像，从而在注册时排除姿态不完备的人脸图像，得到姿态超完备的人脸图像，解决了行业难题。又根据上述方法建立一种自动注册的装置，包括图像采集模块、人脸姿态辨别模块、注册模块和显示模块，通过这4大模块的互相配合得到姿态超完备的人脸图像，解决了行业难题。

Description

一种人脸识别的姿态超完备人脸自动注册方法及其装置

技术领域

本发明涉及人脸识别领域，特别涉及一种人脸识别的姿态超完备人脸自动注册方法及其装置。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，是图像分析与理解领域中最成功的应用之一，因其在商业、安全、身份认证、法律执行、管理等众多方面的广泛应用，使其越来越受重视，在众多领域有着广阔的应用前景。其中，人脸图像注册环节的完备性，对人脸识别准确度有着重要的影响。

因为在实际应用中，人脸并非始终与摄像头保持着理想姿态,所以在采集过程中必然会有很多不完备的姿态情况出现，掺杂这种姿态所注册的人脸图像，对后续识别结果必然会造成极大的影响。因此如何在注册时得到姿态超完备的人脸图像，是当前一个迫切需要解决的难点问题。

发明内容

本发明要解决的技术问题是：如何在注册时得到姿态超完备的人脸图像。

本发明解决其技术问题的解决方案是：第一方面，本发明提供一种人脸识别的姿态超完备人脸自动注册方法，包括：采集人脸图像；建立人脸偏转角度的数学模型，根据该数学模型辨别出姿态完备的人脸图像；对姿态完备的人脸图像进行注册。

作为上述技术方案的进一步改进，对人脸图像的关键点进行检测，利用关键点拟合曲线估计人脸图像的左右脸的面积，通过面积拟合出人脸的偏转角度，根据偏转角度辨别人脸姿态。通过上述方法可以有效的建立偏转角度的数学模型，从而直观地辨别出姿态完备的人脸图像。

作为上述技术方案的进一步改进，用如下方法对人脸关键点进行检测：基于几何特征的人脸检测方法、基于统计理论的人脸检测方法、基于肤色模型的人脸检测方法、基于级联回归的人脸关键点检测算法或监督下降法。用上述检测方法对人脸关键点进行检测，可以有效的得出人脸关键点的信息。

作为上述技术方案的进一步改进，在对人脸姿态完备辨别后对采集得到的人脸图像进行图片质量的判断。这样过滤掉图片质量差的人脸图像，提高注册图像的可靠性。

作为上述技术方案的进一步改进，对图片质量的判断主要是对图片分辨率和光照度的判断。

本发明的有益效果是，本发明通过建立偏转角度与人脸面积的数学模型，并根据此模型辨别出姿态完备的人脸图像，从而在注册时排除姿态不完备的人脸图像，得到姿态超完备的人脸图像，解决了行业难题。

第二方面，本发明提供一种人脸识别的姿态超完备人脸自动注册装置，包括：用于对人脸图像进行采集的图像采集模块；用于建立人脸偏转角度的数学模型，根据该数学模型辨别出姿态完备的人脸图像，对姿态完备的人脸图像进行图片质量的判断的人脸姿态辨别模块；用于保存和分配用户的信息和对姿态合适的人脸图像进行注册的注册模块；用于注册过程中的信息显示的显示模块。

对上述技术方案的进一步改进，在显示模块设置一个用于提示用户操作的交互界面。用人机互动的方式使得注册过程更加智能化。

对上述技术方案的进一步改进，在交互界面设有提示用户当前已经采集到的图像角度的第一滚动条和当前角度的第二滚动条。通过设置滚动条来提示用户配合采集，提高采集的效率。

对上述技术方案的进一步改进，第一滚动条是利用填充滚动条的方式来提示用户。通过填充滚动条的方法提示用户采集的角度，这样使得用户可以对采集的角度有直观的了解，使得客户可以更好的配合采集过程，进一步提高采集的效率。

本发明的有益效果是：本发明通过提供一种人脸识别的姿态超完备人脸自动注册装置，通过采集模块、人脸姿态辨别模块、注册模块和显示模块的相互配合，在注册时得到姿态超完备的人脸图像，解决了行业难题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。

图1是本发明提供的人脸自动注册的基本步骤流程图；

图2是本发明提供的实施例1中人脸自动注册的具体步骤流程图；

图3是如何建立人脸偏转角度数学模型的基本步骤流程图；

图4是脸部关键点的位置示意图；

图5是脸部关键点位置坐标划分的示意图；

图6是滚动条位置的示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

实施例1

本实施例从一种人脸识别的姿态超完备人脸自动注册装置角度进行描述，此装置可以是独立实体，也可以是集成在其他设备中，比如说集成在服务器中。

如图1所示：一种人脸识别的姿态超完备人脸自动注册方法：包括：采集人脸图像；建立人脸偏转角度的数学模型，根据该数学模型辨别出姿态完备的人脸图像；对姿态完备的人脸图像进行注册。

采集模块、人脸姿态辨别模块、注册模块和显示模块互相配合，对姿态完备的人脸图像进行注册，其中总体注册步骤如图2所示：

第一个步骤，新用户注册，注册模块分配一个新ID与新用户关联，并且将用户名与此ID相关联，并保存在数据库中。

第二个步骤根据时间进行图像采集，将此步骤称为第一次完整采集。每一阶段按时间进行，第一阶段正脸采集x秒，第二阶段稍稍向右偏转采集y秒，第三阶段稍稍向左偏转采集z秒。我们用time来表示采集时间。当time<x时，交互界面将显示“正脸采集”；当x<time<y，交互界面将显示“请稍稍向右转”；当y<time<z，交互界面将显示“请稍稍向左转”。

第三个步骤则是对第一个步骤所采集的图像通过建立偏转角度与人脸面积的数学模型进行姿态完备性的判断，在第一个步骤中如果采集的正脸图像姿态不完备，则交互界面将一直显示“正脸采集”；如果采集的右侧脸图像姿态不完备，则交互界面将提示“请再次向右转”，此时交互界面将一直显示“请再次向右转”，一直到向右侧脸图像采集完备；接着检测向左侧脸图像姿态是否完备，如果采集的左侧脸图像姿态不完备，则交互界面将提示“请再次向左转”，此时交互界面将一直显示“请再次向左转”，一直到向左侧脸图像采集完备；在正脸、右侧脸、左侧脸姿态均采集完备的情况下，界面将显示“注册成功”，继续下一步判断，否则将继续进行采集。

作为优选建立人脸偏转角度的数学模型的方法如图3所示：通过对人脸图像的关键点进行检测，利用关键点拟合曲线估计人脸图像的左右脸的面积，通过面积拟合出人脸的偏转角度，根据偏转角度辨别人脸姿态。

具体计算过程为：

数据的n次多项式拟合：

x	x1，x2……xm
		y	y1,y2……ym

其中，x代表关键点的横坐标，y代表关键点的纵坐标。假设拟合函数是n次多项式，则需要用所得关键点的坐标来确定下面的函数

y＝a₀+a₁x+a₂x²+……+a_nxⁿ

假设多项式的阶数n应小于关键点的个数m。可得数据的n次多项式拟合中拟合函数的系数应满足的正规方程组如下:

数据最小二乘拟合的多项式方法是解一个超定方程组

的最小二乘解。而多项式拟合所引出的正规方程组恰好是用超定方程组的系数矩阵的转置矩阵去左乘超定方程组左、右两端所得。正规方程组的系数矩阵是一个病态矩阵，这类方程组被称为病态方程组。当系数矩阵或者是右端向量有微小的误差时，可能引起方程组准确解有很大的误差。为了避免求解这样的线性方程组，在做多项式拟合时可以将多项式中的各次幂函数做正交化变换，使得所推出的正规方程的系数矩阵是对角矩阵。

点集{x₁,x₂,...,x_m}上的正交多项式q₀(x),q₁(x),q₂(x),...,q_n(x)在点集{x₁,x₂,...,x_m}上的正交

正交多项式系可以认为是幂函数系：1,x,x²,...,xⁿ通过正交变换而得到的一组函数。正交多项式系构造的方法如下：

q_k(x)＝(x-a_k)q_k-1-b_kq_k-2(x),(k＝2,3,……,n)

其中，

用正交多项式系组成拟合函数：

将数据表

中的数据代入，得超定方程

(m>n)

其系数矩阵为

由于多项式q₀(x),q₁(x),q₂(x),...,q_n(x)在点集{x₁,x₂,...,x_m}上的正交，所以超定方程组的系数矩阵中不同列的列向量是相互正交的向量组。于是用这一矩阵的转置矩阵去左乘超定方程组左、右两端得正规方程组

其中，

因为正规方程组中每一个方程都是一元一次方程可以直接写出原超方程组的最小二乘解，所得拟合函数为：

如图5所示，根据关键点拟合直线L；由上面的拟合函数方法，分别拟合左右眼关键点的函数φ₃(x)、φ₄(x)，分别计算由直线L、左脸拟合函数φ₁(x)、左眼拟合函数φ₃(x)所围成的图形面积，即S_A+S_B；由直线L、右脸拟合函数φ₂(x)、右眼拟合函数φ₄(x)所围成的图形面积，即S_C+S_D。y₁：表示关键点1的纵坐标；y₆₁：表示关键点61的纵坐标；y₁：表示关键点1的纵坐标；x₁：示关键点1的横坐标，同时表示直线M的方程表达式，本发明中用来代表直线M的方程表达式；x₂₁：表示关键点21的横坐标；x₆₆：表示关键点66的横坐标；y₄₁：表示关键点41的纵坐标；

最后比较S_A+S_B与S_C+S_D的大小，如果S_A+S_B>S_C+S_D，即图像是向左转，将面积之比定义为负，如果S_A+S_B＝S_C+S_D，即图像正脸采集，将面积之比定义为零，否则脸向右转，将面积之比定义为正。

将面积之比转化为角度：当图像中脸没有角度偏移时，第二步计算得到的S_A+S_B与S_C+S_D应该是相等，即(S_A+S_B)/(S_C+S_D)＝1，此时的角度是0度。通过该思想，可以通过精确地测量得到，当偏转5度(6度，7度，…)此时(S_A+S_B)/(S_C+S_D)之间的对应关系，然后通过曲线拟合得到面积之比与角度的转化关系。

通过关键点拟合曲线，估计出左右脸的面积，通过面积之比拟合出偏转角度，按所需要的角度，规范性地保存所需图像，依据所需图像的角度，得到姿态完备的图像，完成图像姿态完备性的保存。

作为优选，在对人脸关键点检测上，有基于几何特征的人脸检测方法、基于统计理论的人脸检测方法、基于肤色模型的人脸检测方法、基于级联回归的人脸关键点检测算法或监督下降法。

本实施例以一种基于监督下降的方法为例，此方法可以较精确地检测包括鼻子、眼睛、嘴巴、眉毛以及脸颊的关键点，可以检测出165个关键点，如图4所示。

该方法总体思路是给定一个初始的特征点x₀，过迭代，逐步求出准确地特征点x_*。

给定一幅含有m个像素的图像d∈R^m×1，d(x)∈R^n×1用来索引图像的n个特征点，xx 代表n个特征点。h(d(x))∈R^128n×1代表SIFT特征向量。在训练阶段，我们假设准确的n个特征 点已知，设为x_*。另外选取训练集特征点的平均值x₀作为初始值。从而，人脸对齐可以通过△ x来求解如下的最优化问题：

这里，φ_*＝h(d(x_*))代表手工标记的特征点的SIFT特征。在训练阶段，φ_*和△x已知。

对上面关于△x求导，令

可得，

其中φ₀＝h(d(x₀))，令

△φ₀＝φ₀-φ_*，于是R可看作△x₁到△φ₀的线性回归系数。在测试阶段，由于φ_*是固定的，但是是未知的，因此不再使用φ_*做训练，而是改用下面的公式：

△x₁＝Rφ₀+b₀

使用训练样本，解出R₀、b₀

通常这种方法不可能一步迭代就能完成，需要进行多步迭代，除非f是二次的。为了处理这个非二次的方程，监督下降法将产生一系列的下降方向{R_k}和偏差{b_k}。

即，x_k＝x_k-1+R_k-1φ_k-1+b_k-1 (1)

使得对于训练图片集，x_k将收敛到x_*。

假定给定一系列人脸{dⁱ}与对应的特征点

对于每张图片，从初始的特征点

出发，R₀、b₀可以通过求解最优化问题求得：

这里，

假定

服从正态分布的人脸检测框对齐采样。于是上面的最优化问题可以转化为：

这样以上方程是个现行的最优化问题，可以直接求解。

当第一步求解完毕后，代入方程式(1)，可以求出x₁，进而又可以计算特征向量

和

这样R_k和b_k可以通过一个新的线性回归得到。

随着k的增大，误差逐渐减小，一般4到5次的迭代就可以达到比较好的效果。

当计算出一系列的{R_k}和{b_k}，就可以通过迭代式(1)通过迭代求解特征点，初始的特征点可以选取训练时的初始特征点。

作为优选，在第三个步骤后还增加对图片质量的判断步骤。

作为优选，判断步骤包括对图片分辨率的判断和对图片光照度的判断,具体判断步骤为：

步骤1：若采集到的人脸图像双眼的像素值大于设定的阈值像素，则进行下一次判断，否则将继续进行采集；

步骤2：根据图像光照度是否均衡进行判断，若图像光照度均衡，则注册完毕，否则将继续进行采集；

作为优选，在交互界面上设置两个滚动条来提示用户当前角度及当前已经采集到的图像角度，如图6所示上面的第一滚动条1用于提示用户当前采集到的人脸姿态，下面的第二滚动条2用于提示用户当前面部转向的角度姿态。

作为优选，以填充的第一滚动条1的方式表示当前程序已经采集到的图像姿态，第一滚动条1没有填充的表示这个姿态的图像程序并没有采集到，提示用户进行相应采集。

采用上述方案，通过提供一种人脸识别的姿态超完备人脸自动注册方法及其装置，在实际人脸识别系统中不但可以克服图像分辨率低、光照不均衡的影响，而且可以很大程度地降低姿态的影响，能够解决在实际人脸识别系统中非理想姿态注册问题，保存高分辨率、光照度均衡的姿态完备人脸图像，从而提高人脸识别准确率。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种人脸识别的姿态超完备人脸自动注册方法，其特征在于，包括：

采集人脸图像；

建立人脸偏转角度的数学模型，根据该数学模型确定人脸偏转角度，根据偏转角辨别人脸姿态，进行姿态完备性的判断，如果采集的正脸图像姿态不完备，则交互界面一直显示“正脸采集”；如果采集的右侧脸图像姿态不完备，则交互界面将提示“请再次向右转”，此时交互界面将一直显示“请再次向右转”，一直到向右侧脸图像采集完备；接着检测向左侧脸图像姿态是否完备，如果采集的左侧脸图像姿态不完备，则交互界面将提示“请再次向左转”，此时交互界面将一直显示“请再次向左转”，一直到向左侧脸图像采集完备，将人脸偏转角度符合预设值的人脸图像作为姿态完备的人脸图像；

所述偏转角度与人脸面积的数学模型的建立方法为：对人脸图像的关键点进行检测，利用关键点拟合曲线估计人脸图像的左右脸的面积，通过面积拟合出人脸的偏转角度；.

在对人脸姿态完备辨别后对采集得到的人脸图像进行图片质量的判断；

对姿态完备的人脸图像并通过图片质量判断的人脸图像进行注册；

所述图片质量的判断为对图片的分辨率和对图片的光照度的判断；

对图片分辨率的判断和对图片光照度的判断,具体判断步骤为：

步骤1：若采集到的人脸图像双眼的像素值大于设定的阈值像素，则进行下一次判断，否则将继续进行采集；

步骤2：根据图像光照度是否均衡进行判断，若图像光照度均衡，则注册完毕，否则将继续进行采集；

对人脸关键点的检测方法为：基于几何特征的人脸检测方法、基于统计理论的人脸检测方法、基于肤色模型的人脸检测方法、基于级联回归的人脸关键点检测算法或监督下降法。

2.一种人脸识别的姿态超完备人脸自动注册装置，其特征在于，包括：

用于对人脸图像进行采集的图像采集模块；

用于建立偏转角度与人脸面积的数学模型，根据该数学模型确定人脸偏转角度，根据偏转角辨别人脸姿态，进行姿态完备性的判断，如果采集的正脸图像姿态不完备，则交互界面一直显示“正脸采集”；如果采集的右侧脸图像姿态不完备，则交互界面将提示“请再次向右转”，此时交互界面将一直显示“请再次向右转”，一直到向右侧脸图像采集完备；接着检测向左侧脸图像姿态是否完备，如果采集的左侧脸图像姿态不完备，则交互界面将提示“请再次向左转”，此时交互界面将一直显示“请再次向左转”，一直到向左侧脸图像采集完备，将人脸偏转角度符合预设值的人脸图像作为姿态完备的人脸图像，对姿态完备的人脸图像进行图片质量判断的人脸姿态辨别模块；其中,所述建立偏转角度与人脸面积的数学模型为：对人脸图像的关键点进行检测，利用关键点拟合曲线估计人脸图像的左右脸的面积，通过面积拟合出人脸的偏转角度；对人脸关键点的检测为：基于几何特征的人脸检测方法、基于统计理论的人脸检测方法、基于肤色模型的人脸检测方法、基于级联回归的人脸关键点检测算法或监督下降法；

用于保存和分配用户的信息和对姿态完备的人脸图像并通过图片质量判断的人脸图像进行注册的注册模块；其中所述图片质量的判断为对图片的分辨率和对图片的光照度的判断；

对图片分辨率的判断和对图片光照度的判断为：

若采集到的人脸图像双眼的像素值大于设定的阈值像素，则进行下一次判断，否则将继续进行采集；

根据图像光照度是否均衡进行判断，若图像光照度均衡，则注册完毕，否则将继续进行采集；

用于在注册过程中的信息显示的显示模块；

所述显示模块包括用于提示用户操作的交互界面。

3.根据权利要求2所述的一种人脸识别的姿态超完备人脸自动注册装置，其特征在于：所述交互界面设有提示用户当前已经采集到的图像角度的第一滚动条和当前角度的第二滚动条。

4.根据权利要求3所述的一种人脸识别的姿态超完备人脸自动注册装置，其特征在于：所述第一滚动条是利用填充滚动条的方式来提示用户的。

Images