CN102930510A - 一种人脸图像多角度相互转化方法 - Google Patents

Abstract

本发明提供一种人脸图像多角度相互转化方法：将人脸图像表示为像素灰度值的列向量形式；将某角度的单帧输入人脸图像视为高维空间中的一点，同角度训练集人脸图像视为该点的近邻点，将问题转化为局部邻域嵌入非线性降维理论中，求取高维空间某点的近邻点权值问题；利用求解出的权值以及目标角度训练集人脸图像合成目标角度人脸图像；将合成的目标角度人脸图像表示为像素灰度值的矩阵形式；本发明所述人脸图像多角度相互转化方法算法简单，并且在计算速度以及头发和人脸边缘部分合成效果明显优于现有技术。

Description

一种人脸图像多角度相互转化方法

技术领域

本发明属于数字图像处理技术领域,具体涉及一种人脸图像多角度相互转化方法。

背景技术

人脸图像多角度相互转化是指将一幅输入的某一角度的人脸图像转换为所对应的其它角度（目标角度）的人脸图像。目前国内外仅有为数不多的转化方法被提出。

2004年清华大学Li提出了一种基于Garbor小波变换的方法（文献1：Y.Li and X.Y.Lin,“Face hallucination with pose variation”in Pro.6th IEEE Int.Conf.Automatic Face and Gesture Recognition,2004，pp.723–728）；

2005-2008年英国伦敦大学玛丽女王学院Jia提出了基于张量分解的方法（文献2：K.Jia and S.G.Gong,“Multi-modal tensor face for simultaneoussuper-resolution and recognition,”in Proc.IEEE Int.Conf.ComputerVision,2005,pp.1683-1690；文献3：K.Jia and S.G.Gong,“Generalized facesuper-resolution,”IEEETrans.ImageProcessing,vol.17,no.6,pp.873886,Jun.2008）；

2006年中山大学陈家大等利用改进的点点对应算法和线性物体类的原理构造正脸合成的方法。（文献4：陈家大、赖剑煌、冯国灿，“一种人脸姿势判别与正脸合成的新方法”，计算机研究与发展，2006）。

上述现有方法的共同缺点是算法复杂、运算量大，而且重建结果中人脸的头发、脸部轮廓部位比较模糊。

发明内容

本发明的目的在于提供一种简单、快速的人脸图像多角度相互转化方法，该方法可以克服现有同类方法算法复杂、运算量大、效果不理想的问题。

为达到上述目的，本发明采用了以下技术方案：

1）选取单帧某角度的人脸图像为输入人脸图像，将输入人脸图像表示为所有像素灰度值的列向量形式；

2）经过步骤1）后，将输入人脸图像视为高维空间中的一点，将与输入人脸图像同角度的训练集人脸图像视为该点的近邻点，然后根据局部邻域嵌入非线性降维理论（文献5：ROWEIS S T,SAUL L K.NonlinearDimensionality Reduction by Locally Linear Embedding[J].Science,2000,22(12):2323-2326）求解近邻点的权值，并在权值求解过程中对局部协方差矩阵进行大常数对角加载以得到权值，所述步骤2）中与输入人脸图像同角度的训练集人脸图像表示为所有像素灰度值的列向量形式；

3）利用步骤2）求解出的权值以及目标角度训练集人脸图像，根据局部邻域嵌入非线性降维理论反算出一个高维空间的点，该高维空间的点即为目标角度人脸图像向量，所述步骤3）中目标角度训练集人脸图像表示为所有像素灰度值的列向量形式；

4）将目标角度人脸图像向量表示为像素灰度值的矩阵形式。

本发明根据局部邻域嵌入非线性降维理论，将人脸图像多角度相互转化问题，转化为求取高维空间某点的近邻点权值问题：

I_O为输入人脸图像（表示为所有像素灰度值的列向量形式），被视为高维空间中的一点，

表示与输入人脸图像同角度的训练集人脸图像（表示为所有像素灰度值的列向量形式），被视为I_O点的近邻点，w_m为该高维空间近邻点的权值，M表示与输入人脸图像同角度的训练集人脸图像的个数，被视为近邻点个数。使用ε表示欧式距离，它们关系满足下式

$\mathrm{\ϵ}={\left|\right|I_o-\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{w}_m{T}_o^m\left|\right|}^2$

随着w_m不同，ε的数值不同；当w_m的值为最终权值时，ε取值为最小。

求解出的权值按以下公式计算：

$w_m=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{\mathrm{mk}}^{-1}/\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{\mathrm{ij}}^{-1}$

Z=Z′+C×a

$Z_{\mathrm{mk}}^{\′}={(I_O-T_O^m)}^T(I_O-T_O^k)$

，其中Z^-1表示矩阵Z的逆矩阵，

表示逆矩阵Z-1中第m行、第k列的元素，

表示逆矩阵Z^-1中第i行、第j列的元素，Z′_mk表示Z'中第m行、第k列的元素，I_O为输入人脸图像（表示为所有像素灰度值的列向量形式），

均表示与输入人脸图像同角度的训练集人脸图像（表示为所有像素灰度值的列向量形式），a为对角加载常数，随着a取值的减小，转化后图像质量变差，人脸个性成分增加，共性成分减弱，随着a取值的增加，转化后图像质量变平滑，人脸个性成分减弱，共性成分增加，a=50000~1000000，C为单位矩阵，M表示与输入人脸图像同角度的训练集人脸图像的个数，i、j、k、m均为正整数。

本发明所述人脸图像多角度相互转化方法算法简单，计算速度快，转化后图像为包含所有信息的人脸图像，并且在头发和人脸边缘部分合成效果明显优于现有技术。

进一步，关于本发明中权值的求解方法，本发明使用了改进后的文献5的方法。具体的改进是将其中的局部协方差矩阵进行大常数对角加载，这样做可以提高最终结果的图像质量，见图3的效果对比。

附图说明

图1为图像矩阵-向量转换示意图；

图2为转化效果对比：(a)为输入人脸图像；(b)为本发明方法处理后的结果；(c)为文献3方法处理后的结果；(d)为真实图像；

图3为大常数对角加载效果对比：(a)加载（本发明方法）；(b)不加载（文献5方法）。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明具体采用以下步骤实现：

步骤一：将输入的单帧某角度人脸图像、各个角度训练集人脸图像分别表示为所有像素灰度值的列向量形式。然后设输入的某角度人脸图像为I_O，O为输入人脸的角度，相同角度（O）训练集人脸图像

包括M个图像：

设目标角度（P）的训练集人脸图像

包括M个图像：

M=100~200，待合成的目标角度人脸图像为IP，P可以为多个角度或者姿态；

人脸图像所有像素灰度值的矩阵形式与列向量形式的相互转化参见图1：

步骤二：由输入人脸图像I_O，训练集人脸图像

利用以下公式计算出权值；

$w_m=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{\mathrm{mk}}^{-1}/\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{\mathrm{ij}}^{-1}$

Z=Z′+C×a

$Z_{\mathrm{mk}}^{\′}={(I_O-T_O^m)}^T(I_O-T_O^k)$

，其中

表示逆矩阵Z^-1中第m行第k列元素，Z′_mk表示Z'中第m行、第k列的元素，a为局部协方差矩阵对角加载常数，a取500000，C为单位矩阵，i、j、k、m均为正整数，T表示转置。

步骤三：合成目标角度P的人脸图像向量：

$I_P=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{T}_P^m{w}_m$

步骤四：将I_P转化为像素灰度值的矩阵形式，得到转化后的角度为P的人脸图像。

本发明的效果

在运算时间方面，本发明在普通计算机上合成一幅64*48大小新角度人脸图像只需要约几秒时间，而文献3需要约4-10分钟时间。

在转化效果方面，本发明与文献3的对比参见图2。图中(a)列为输入图像，(b)列为本发明结果，(c)列为文献3结果,(d)列为真实结果。从图2可以看到，本发明在头发和人脸边缘部分合成效果，明显优于文献3。

文献4的方法和本发明在具体细节和最终效果上完全不同，主要体现在以下方面：

1.文献4方法实施需要一个特定参考图像R_f，本发明不需要。

2.文献4方法需要将人脸图像分解为形状和纹理两部分来进行运算，最后再合并在一起，本发明则不需要。

3.文献4方法得到的权值区分为形状和纹理，而本方面不区分。

4.文献4使用最小二乘方法得到形状和纹理两类权值，本发明使用改进后的文献5的方法得到权值。

5.文献4的线性组合框架是取掉头发和人脸边缘的人脸图像，而本发明涉及的人脸图像包含有头发和人脸边缘等信息。

6.文献4的方法在头发和人脸边缘部分合成效果较差，而本方法相对较好。

7.文献4没有说明其方法是否可以合成正面人脸以外其它角度的人脸图像，而本发明可以合成包括正面人脸在内的多个角度的人脸，例如抬头、低头等姿态。

在适用范围方面，本发明既可以适用于低分辨率的人脸图像，也可以适用于高分辨率的人脸图像。

Claims (2)

1.一种人脸图像多角度相互转化方法，其特征在于，包括以下步骤：

1）选取单帧某角度的人脸图像为输入人脸图像，将输入人脸图像表示为像素灰度值的列向量形式；

2）经过步骤1）后，将输入人脸图像视为高维空间中的一点，将与输入人脸图像同角度的训练集人脸图像视为该点的近邻点，然后根据局部邻域嵌入非线性降维理论求解近邻点的权值，并在权值求解过程中对局部协方差矩阵进行大常数对角加载，所述步骤2）中与输入人脸图像同角度的训练集人脸图像表示为像素灰度值的列向量形式；

3）利用步骤2）求解出的权值以及目标角度训练集人脸图像反算出一个高维空间的点，该高维空间的点即为目标角度人脸图像，所述步骤3）中目标角度训练集人脸图像表示为像素灰度值的列向量形式；

4）将目标角度人脸图像表示为像素灰度值的矩阵形式。

2.根据权利要求1所述一种人脸图像多角度相互转化方法，其特征在于，求解出的权值按以下公式计算：

$w_m=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{\mathrm{mk}}^{-1}/\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{\mathrm{ij}}^{-1}$

Z=Z′+C×a

$Z_{\mathrm{mk}}^{\′}={(I_O-T_O^m)}^T(I_O-T_O^k)$

，其中Z^-1表示矩阵Z的逆矩阵，

表示Z^-1中第m行、第k列的元素，

表示Z^-1中第i行、第j列的元素，Z′_mk表示Z'中第m行、第k列的元素，I_O为输入人脸图像，

均表示与输入人脸图像同角度的训练集人脸图像，a为对角加载常数，a=50000~1000000，C为单位矩阵，M表示与输入人脸图像同角度的训练集人脸图像的个数，i、j、k、m均为正整数。

Images