CN106251294A - 一种单幅正视人脸图像的虚拟多姿态生成方法 - Google Patents

Abstract

本发明公开了一种单幅正视人脸图像的虚拟多姿态生成方法，步骤包括：1、输入待变换单样本人脸；2、输入人脸面旋转变换方向及变换角度；3、人脸面向上旋转变换；4、人脸面向下旋转变换；5、人脸面向左旋转变换；6、人脸面向右旋转变换；步骤7、多姿态人脸求取，系数H分别代入上述步骤3、4、5、6中求得的H_up、H_down、H_left与H_right，即能够求得上述的四种姿态变换后的人脸结果；步骤8、输出生成的虚拟的多姿态人脸图像。本发明的方法，步骤简单，结果可靠。

Description

一种单幅正视人脸图像的虚拟多姿态生成方法

技术领域

本发明属于计算机视觉技术领域，涉及一种单幅正视人脸图像的虚拟多姿态生成方法。

背景技术

在过去的几十年里，人脸识别作为计算机视觉的一个研究热点受到普遍关注，广泛地应用在机器人等学科中，对自动鉴别和人类自动分辨有着重要的意义。在有充分数量代表性的训练样本时，许多人脸识别方法能取得较好的识别效果。

然而在身份证验证，海关护照验证以及公安执法等一些特殊场合中，通常每个人都只有一幅人脸样本前视图图像，并且待识别人脸相对于训练人脸图像的姿态发生变化，因此导致识别率大幅下降，有些方法甚至无法使用。

发明内容

本发明的目的是提供一种单幅正视人脸图像的虚拟多姿态生成方法，解决了现有技术中，因人脸识别训练样本只有一幅前视图图像，存在单样本人脸识别情况下识别率较低的问题。

本发明采用的技术方案是，一种单幅正视人脸图像的虚拟多姿态生成方法，按照以下步骤实施：

步骤1、输入待变换单样本人脸

对输入的待变换单样本人脸要求必须为正视图人脸，设输入正视图人脸为h行w列图像F(i,j)_h×w，其中i＝1,2...h，j＝1,2...w；忽略鼻子、眼睛等无关的凹凸，假设其落在二维平面上，以下简称该二维平面为人脸面，即单样本的人脸正视图信息为成像物体，其不同角度拍摄下成像结果即为人脸在不同角度成像结果；

步骤2、输入人脸面旋转变换方向及变换角度

按照标准镜头视角设定摄像机视角为45度，输入需要得到的姿态变换角度为θ，已知人脸面原尺寸为h×w大小，原人脸正视图的平面以⑤⑥⑦⑧四个顶点表示该正视图与投影面重合，三维旋转之后，可见的旋转人脸图以①②③④四个顶点表示三维旋转后的图像成梯形形状，

当人脸面向上旋转，即给出虚拟仰视姿态角度变化的话，转步骤3；

当人脸面向下旋转，即给出虚拟俯视姿态角度变化的话，转步骤4；

当人脸面向左旋转，即给出虚拟左偏姿态角度变化的话，转步骤5；

当人脸面向右旋转，即给出虚拟右偏姿态角度变化的话，转步骤6；

步骤3、人脸面向上旋转变换

人脸面向上旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图梯形①②③④与旋转前的正视图矩形⑤⑥⑦⑧建立平面直角坐标系，其中的⑦⑧边与③④边长度相等，此时已知，则对应点对坐标如下表1所示：

表1人脸面向上旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_up：

$H_{up}=\left[\begin{array}{ccc}1& -\frac{w-w_{new1}}{2h}& 0\\ 0& \frac{w_{new1}}{w}& 0\\ 0& \frac{w_{new1}-w}{h\·w}& 1\end{array}\right],$

接下来转步骤7；

步骤4、人脸面向下旋转变换

人脸面向下旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑥边与①②边长度相等，此时已知，则对应点对坐标如下表2所示：

表2人脸面向下旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_down：

$H_{down}=\left[\begin{array}{ccc}\frac{w}{w_{new1}}& \frac{w(w-w_{new1})}{2{\mathrm{hw}}_{new1}}& \frac{-w(w-w_{new1})}{2w_{new1}}\\ 0& \frac{w}{w_{new1}}& 0\\ 0& \frac{w-w_{new1}}{{\mathrm{hw}}_{new1}}& 1\end{array}\right],$

接下来转步骤7；

步骤5、人脸面向左旋转变换

人脸面向左旋转变换时，三维旋转后的人脸图梯形顶点为①②③④)，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑥⑧边与②④边长度相等，此时已知，则对应点对的坐标如下表3所示：

表3人脸面向左旋转时4对对应点对的坐标

据上述所求4对点对坐标，可求得单应变换矩阵H_left：

$H_{left}=\left[\begin{array}{ccc}\frac{h}{h_{new1}}& 0& 0\\ \frac{h(h-h_{new1})}{2h_{new1}\·w}& \frac{h}{h_{new1}}& -\frac{h(h-h_{new1})}{2h_{new1}}\\ \frac{h-h_{new1}}{h_{new1}\·w}& 0& 1\end{array}\right],$

接下来转步骤7；

步骤6、人脸面向右旋转变换

人脸面向右旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑦边与①③边长度相等，此时已知，则对应点对的坐标如下表4所示：

表4人脸面向右旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_left：

$H_{right}=\left[\begin{array}{ccc}\frac{h_{new1}}{h}& 0& 0\\ -\frac{h-h_{new1}}{2w}& 1& 0\\ \frac{h_{new1}-h}{h\·w}& 0& 1\end{array}\right],$

接下来转步骤7；

步骤7、多姿态人脸求取

当两帧图像上的点来自空间同一平面时，则它们之间存在一个射影变换，可以用3×3的单应矩阵H表示，已知F(i,j)，i＝1,2...,h，j＝1,2...,w为输入的正视人脸图像上的点，f(i,j)，i＝1,2...,h，j＝1,2...,w为变换后的虚拟姿态人脸图像上的投影点，则满足F(i,j)＝H·f(i,j)，即f(i,j)＝H^-1·F(i,j)，系数H分别代入上述步骤3、4、5、6中求得的H_up、H_down、H_left与H_right，即能够求得上述的四种姿态变换后的人脸结果；

步骤8、输出生成的虚拟的多姿态人脸图像。

本发明的有益效果是，能够从如身份证验证，海关护照验证以及公安执法等一些特殊场合中，利用单幅人脸前视图样本生成多姿态人脸样本，以便对该对应人脸进行训练和后续的识别，是单样本人脸情况下的人脸识别不可缺少的预处理方法。

附图说明

图1是本发明方法选用的实施例人脸正视图；

图2是本发明方法成像三维示意图；

图3是本发明方法人脸面旋转三维示意图；

图4是本发明方法人脸面向上旋转时单应变换前人脸面所做平面关系；

图5是本发明方法人脸面向上旋转时单应变换后人脸面所做平面关系；

图6是本发明方法人脸面向下旋转时单应变换前人脸面所做平面关系；

图7是本发明方法人脸面向下旋转时单应变换后人脸面所做平面关系；

图8是本发明方法人脸面向左旋转时单应变换前人脸面所做平面关系；

图9是本发明方法人脸面向左旋转时单应变换后人脸面所做平面关系；

图10是本发明方法人脸面向右旋转时单应变换前人脸面所做平面关系；

图11是本发明方法人脸面向右旋转时单应变换后人脸面所做平面关系；

图12是本发明方法最终得到的人脸多姿态变换结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明单幅正视人脸图像的虚拟多姿态生成方法，按照以下步骤实施：

步骤1、输入待变换单样本人脸

对输入的待变换单样本人脸要求必须为正视图人脸，效果如图1所示，设输入正视图人脸为h行w列图像F(i,j)_h×w，其中i＝1,2...h，j＝1,2...w；忽略鼻子、眼睛等无关的凹凸，假设其落在二维平面上，以下简称该二维平面为人脸面，即单样本的人脸正视图信息为成像物体，其不同角度拍摄下成像结果即为人脸在不同角度成像结果。

拍摄人脸正视图时，摄像机光轴线必定垂直于人脸所在平面，与投影面重合，平行于成像面，如图2所示。

步骤2、输入人脸面旋转变换方向及变换角度

按照标准镜头视角设定摄像机视角为45度，输入需要得到的姿态变换角度为θ，已知人脸面原尺寸为h×w大小，人脸面三维示意图如图3所示，原人脸正视图的平面(以⑤⑥⑦⑧四个顶点表示该正视图)与投影面重合，三维旋转之后，可见的旋转人脸图(以①②③④四个顶点表示三维旋转后的图像)成梯形形状。

其中的⑤⑥⑦⑧为原始正视图，是如图1所示的人脸图像的矩形的四个顶点，①②③④为对其进行三维旋转后，得到的旋转图像的四个顶点，因为是在三维空间上的旋转，如图2所示，这时的旋转后的图像为梯形，而不是矩形。

当人脸面向上旋转，即给出虚拟仰视姿态角度变化的话，转步骤3；

当人脸面向下旋转，即给出虚拟俯视姿态角度变化的话，转步骤4；

当人脸面向左旋转，即给出虚拟左偏姿态角度变化的话，转步骤5；

当人脸面向右旋转，即给出虚拟右偏姿态角度变化的话，转步骤6。

步骤3、人脸面向上旋转变换

人脸面向上旋转变换时，图4所示的三维旋转后的人脸图(梯形顶点为①②③④)，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于图4所示的三维旋转后的人脸图梯形①②③④与图5所示的旋转前的正视图矩形⑤⑥⑦⑧建立平面直角坐标系，其中的⑦⑧边与③④边长度相等，如图4表示单应变换前的图像形状，图5所示为单应变换后的目标图像尺寸，此时已知，则对应点对坐标如下表1所示：

表1人脸面向上旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_up：

$H_{up}=\left[\begin{array}{ccc}1& -\frac{w-w_{new1}}{2h}& 0\\ 0& \frac{w_{new1}}{w}& 0\\ 0& \frac{w_{new1}-w}{h\·w}& 1\end{array}\right],$

接下来转步骤7。

步骤4、人脸面向下旋转变换

人脸面向下旋转变换时，如图6三维旋转后的人脸图(梯形顶点为①②③④)，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于图6所示的三维旋转后的人脸图像①②③④与图7所示的旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑥边与①②边长度相等，如图6表示单应变换前的图像形状，图7所示为单应变换后的目标图像尺寸，此时已知，则对应点对坐标如下表2所示：

表2人脸面向下旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_down：

$H_{down}=\left[\begin{array}{ccc}\frac{w}{w_{new1}}& \frac{w(w-w_{new1})}{2{\mathrm{hw}}_{new1}}& \frac{-w(w-w_{new1})}{2w_{new1}}\\ 0& \frac{w}{w_{new1}}& 0\\ 0& \frac{w-w_{new1}}{{\mathrm{hw}}_{new1}}& 1\end{array}\right],$

接下来转步骤7。

步骤5、人脸面向左旋转变换

人脸面向左旋转变换时，如图8三维旋转后的人脸图(梯形顶点为①②③④)，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于图8所示的三维旋转后的人脸图像①②③④与图9所示的旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑥⑧边与②④边长度相等，如图8表示单应变换前的图像形状，图9所示为单应变换后的目标图像尺寸，此时已知，则对应点对的坐标如下表3所示：

表3人脸面向左旋转时4对对应点对的坐标

据上述所求4对点对坐标，可求得单应变换矩阵H_left：

$H_{left}=\left[\begin{array}{ccc}\frac{h}{h_{new1}}& 0& 0\\ \frac{h(h-h_{new1})}{2h_{new1}\·w}& \frac{h}{h_{new1}}& -\frac{h(h-h_{new1})}{2h_{new1}}\\ \frac{h-h_{new1}}{h_{new1}\·w}& 0& 1\end{array}\right],$

接下来转步骤7。

步骤6、人脸面向右旋转变换

人脸面向右旋转变换时，如图10所示三维旋转后的人脸图(梯形顶点为①②③④)，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于图10所示的三维旋转后的人脸图像①②③④与图11所示的旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑦边与①③边长度相等，如图10表示单应变换前的图像形状，图11所示为单应变换后的目标图像尺寸，此时已知，则对应点对的坐标如下表4所示：

表4人脸面向右旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_left：

$H_{right}=\left[\begin{array}{ccc}\frac{h_{new1}}{h}& 0& 0\\ -\frac{h-h_{new1}}{2w}& 1& 0\\ \frac{h_{new1}-h}{h\·w}& 0& 1\end{array}\right],$

接下来转步骤7。

步骤7、多姿态人脸求取

当两帧图像上的点来自空间同一平面时，则它们之间存在一个射影变换，可以用3×3的单应矩阵H表示，已知F(i,j)，i＝1,2...,h，j＝1,2...,w为输入的正视人脸图像上的点，f(i,j)，i＝1,2...,h，j＝1,2...,w为变换后的虚拟姿态人脸图像上的投影点，则满足F(i,j)＝H·f(i,j)，即f(i,j)＝H^-1·F(i,j)，系数H分别代入上述步骤3、4、5、6中求得的H_up、H_down、H_left与H_right，即能够求得上述的四种姿态变换后的人脸结果，如图12。

步骤8、输出生成的虚拟的多姿态人脸图像，见图12。

Claims (2)

1.一种单幅正视人脸图像的虚拟多姿态生成方法，其特征在于，按照以下步骤实施：

步骤1、输入待变换单样本人脸

对输入的待变换单样本人脸要求必须为正视图人脸，设输入正视图人脸为h行w列图像F(i,j)_h×w，其中i＝1,2...h，j＝1,2...w；忽略鼻子、眼睛等无关的凹凸，假设其落在二维平面上，以下简称该二维平面为人脸面，即单样本的人脸正视图信息为成像物体，其不同角度拍摄下成像结果即为人脸在不同角度成像结果；

步骤2、输入人脸面旋转变换方向及变换角度

按照标准镜头视角设定摄像机视角为45度，输入需要得到的姿态变换角度为θ，已知人脸面原尺寸为h×w大小，原人脸正视图的平面以⑤⑥⑦⑧四个顶点表示该正视图与投影面重合，三维旋转之后，可见的旋转人脸图以①②③④四个顶点表示三维旋转后的图像成梯形形状，

当人脸面向上旋转，即给出虚拟仰视姿态角度变化的话，转步骤3；

当人脸面向下旋转，即给出虚拟俯视姿态角度变化的话，转步骤4；

当人脸面向左旋转，即给出虚拟左偏姿态角度变化的话，转步骤5；

当人脸面向右旋转，即给出虚拟右偏姿态角度变化的话，转步骤6；

步骤3、人脸面向上旋转变换

人脸面向上旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图梯形①②③④与旋转前的正视图矩形⑤⑥⑦⑧建立平面直角坐标系，其中的⑦⑧边与③④边长度相等，此时已知，则对应点对坐标如下表1所示：

表1人脸面向上旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_up：

$H_{up}=\left[\begin{array}{ccc}1& -\frac{w-w_{new1}}{2h}& 0\\ 0& \frac{w_{new1}}{w}& 0\\ 0& \frac{w_{new1}-w}{h\·w}& 1\end{array}\right],$

接下来转步骤7；

步骤4、人脸面向下旋转变换

人脸面向下旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑥边与①②边长度相等，此时已知，则对应点对坐标如下表2所示：

表2人脸面向下旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_down：

$H_{down}=\left[\begin{array}{ccc}\frac{w}{w_{new1}}& \frac{w\left(w-w_{new1}\right)}{2{\mathrm{hw}}_{new1}}& \frac{-w\left(w-w_{new1}\right)}{2w_{new1}}\\ 0& \frac{w}{w_{new1}}& 0\\ 0& \frac{w-w_{new1}}{{\mathrm{hw}}_{new1}}& 1\end{array}\right],$

接下来转步骤7；

步骤5、人脸面向左旋转变换

人脸面向左旋转变换时，三维旋转后的人脸图梯形顶点为①②③④)，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑥⑧边与②④边长度相等，此时已知，则对应点对的坐标如下表3所示：

表3人脸面向左旋转时4对对应点对的坐标

据上述所求4对点对坐标，可求得单应变换矩阵H_left：

$H_{left}=\left[\begin{array}{ccc}\frac{h}{h_{new1}}& 0& 0\\ \frac{h(h-h_{new1})}{2h_{new1}\·w}& \frac{h}{h_{new1}}& -\frac{h(h-h_{new1})}{2h_{new1}}\\ \frac{h-h_{new1}}{h_{new1}\·w}& 0& 1\end{array}\right],$

接下来转步骤7；

步骤6、人脸面向右旋转变换

人脸面向右旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则

当时，令

否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，

对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑦边与①③边长度相等，此时已知，则对应点对的坐标如下表4所示：

表4人脸面向右旋转时4对对应点对的坐标

据上述所求4对点对的坐标，可求得单应变换矩阵H_left：

$H_{right}=\left[\begin{array}{ccc}\frac{h_{new1}}{h}& 0& 0\\ -\frac{h-h_{new1}}{2w}& 1& 0\\ \frac{h_{new1}-h}{h\·w}& 0& 1\end{array}\right],$

接下来转步骤7；

步骤7、多姿态人脸求取

当两帧图像上的点来自空间同一平面时，则它们之间存在一个射影变换，可以用3×3的单应矩阵H表示，已知F(i,j)，i＝1,2...,h，j＝1,2...,w为输入的正视人脸图像上的点，f(i,j)，i＝1,2...,h，j＝1,2...,w为变换后的虚拟姿态人脸图像上的投影点，则满足F(i,j)＝H·f(i,j)，即f(i,j)＝H^-1·F(i,j)，系数H分别代入上述步骤3、4、5、6中求得的H_up、H_down、H_left与H_right，即能够求得上述的四种姿态变换后的人脸结果；

步骤8、输出生成的虚拟的多姿态人脸图像。

2.根据权利要求1所述的单幅正视人脸图像的虚拟多姿态生成方法，其特征在于：所述的步骤1中，在拍摄人脸正视图时，摄像机光轴线必定垂直于人脸所在平面，与投影面重合，平行于成像面。