CN102163330B - 基于张量分解与Delaunay三角划分的多视角人脸合成方法 - Google Patents

Abstract

本发明公开了一种基于张量分解与Delaunay三角划分的多视角人脸合成方法，主要解决现有技术中，连续视角变化的人脸图像难以合成的问题，其合成方案是：利用特征点标注的方法提取出人脸图像的轮廓信息；采用张量分解的方法分离出训练集中人脸数据的视角系数矩阵；对视角系数矩阵进行样条拟合；利用张量分解公式构建新视角的特征点；应用Delaunay三角划分以及线性仿射变换根据已知人脸图像合成出新视角的人脸图像。本发明具有人脸合成结果逼真、合成视角范围广及运算复杂度低的优点，可用于计算机视觉领域或多媒体技术中不同视角下的人脸合成。

Description

基于张量分解与Delaunay三角划分的多视角人脸合成方法

技术领域

本发明属于图像处理技术领域，特别涉及多视角人脸合成方法，可用于图像恢复与重建领域中不同视角下人脸图像的合成。

背景技术

随着IT科技的飞速发展，基于人脸的身份认证将成为当代最主要的生物特征识别技术之一。由美国国防部高级研究项目署DARPA和美国陆军研究实验室ARL联合进行的人脸识别测试结果表明：人脸识别率对姿态变化具有很强的敏感性。所以，多个视角下的人脸合成技术对获得可靠的身份认证是至关重要的。此外，合成连续变换视角下的人脸图像，不仅对人脸空间建模具有重要意义而且在视频会议、人机接口、公共安全、影视娱乐等领域也取得了广泛的应用。但该项研究涉及到图像处理、模式识别、人工智能、计算机视觉、几何学、生理学、心理学、美术等多个交叉学科，因此，合成出逼真的人脸图像是一项非常重要又极具挑战性的课题。

目前多视角人脸合成的研究成果主要集中为以下两类：

第一类是基于流形估计的多视角人脸合成技术。美国AT&T实验室的Saul等在文献“Roweis S.T.，Saul L.K.Nonlinear dimensionality reduction by locally linearembedding.Science，290(5500)：2323-2326，2000.”中最早提出了局部嵌入模型(Locallylinear embedding，LLE)的思想，即如果高维空间中的一点可以由其临近的几个点的线性叠加来表示，那么在低维空间中这种邻近的叠加关系仍然被保持。基于上述思想，美国Kentucky大学的Huang等人在文献“Xinyu Huang，Jizhou Gao，Sen-ching Cheung，Ruigang Yang.Manifold estimation in view-based feature space for face synthesis acrosspose.In：Asian Conference on Computer Vision，2009.”中，将每幅人脸图像看作该身份下高维图像空间中的一点，为每个人的多视角人脸图像建立低维流形结构。在低维流形空间中，如果某个人特定视角下的低维数据点可由其他人在该视角下的数据点通过线性加权的方式重构出来，则该权值也同样适用于其他新视角下的数据点合成。将合成的新视角下的低维数据点映射到高维图像空间可实现新视角下的人脸图像合成。

第二类是基于张量分解的多视角人脸合成技术。美国New York大学的Alex等提出多因素条件下人脸的张量分解方法，将图像中的变化因素一一分离开来，进而从影响人脸成像因素的不同子空间对图像进行处理。韩国Olaworks公司研究员Hyung-SooLee等人在文献“Tensor-based AAM with continuous variation estimation：Application tovariation-robust face recognition，IEEE Trans.On Pattern Analysis and MachineIntelligence，31(6)：1102-1116，2009.”中，将张量理论用于人脸图像的合成及识别，对训练图像首先用主动外观模型AAM将人脸的形状与纹理信息分离，在形状和纹理数据上分别采用张量分解，得到诸如身份、视角、光照和表情的多种因素子空间，利用线性合成的方法，在各自的空间中得到新的视角、光照和表情系数，然后通过核张量将这些新系数映射到图像空间，以实现人脸合成。实验结果表明，文中所述方法在光照变化和带眼镜等饰物的条件下有较好的合成效果，但只能合成出接近正面的有限人脸视角，而且训练阶段所需的样本数量也比较大。

由于上述两类方法都未对人脸视角因素的非线性变化进行精确描述，所以第一种方法只能合成出有限视角下的人脸图像，且由于受多个训练图像身份的影响，合成的图像与真实图像的差异较大；第二类种方法虽然在光照、表情变化情况下能得到较好的合成效果，但由于人脸多视角的非线性变化较强，合成结果还只是接近于正面人脸的有限视角下的图像。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于张量分解与Delaunay三角划分的多视角人脸合成方法，以在构建人脸视角信息非线性变换模型的同时，实现对0°～90°连续变化的各视角人脸图像的合成。

为实现上述目的，本发明的下技术方案包括如下步骤：

(1)取180～240幅不同身份、不同视角的人脸图像作为训练集G，对训练集中的每幅人脸图像，根据脸轮廓、眉毛、眼睛、鼻子和嘴的位置，将特征点标注在各区域的轮廓线上；

(2)将训练集中图像特征点数据沿视角、身份和坐标信息变化的方向排列成张量数据，并用高阶奇异值分解算法对其进行分解，得到身份系数矩阵U_identity、视角系数矩阵U_view、轮廓系数矩阵U_point和核张量Z，该三个矩阵之间相互独立，Z表示这三个矩阵之间的相互作用关系；

(3)对视角系数矩阵U_view中的不同的视角系数进行样条拟合，获得一个连续的人脸形状视角流形V；

(4)给定一幅未在训练集G中出现过的图像作为测试图像g，标注测试图像的特征点，通过最小化测试图像与训练图像能量差的方式确定该测试图像g的输入视角i₁，利用最小二乘或稀疏表示的方法，求出训练集中输入视角i₁下所有图像特征点集合对测试图像特征点的重构系数c，将该系数c与训练集的身份系数矩阵U_identity加权求和，得到测试图像的身份系数矩阵U_{identity_new}；

(5)根据步骤(2)中得到的轮廓系数矩阵U_point、核张量Z和步骤(3)中得到的视角流形V，利用张量分解公式，求出测试图像g在新视角下的特征点矩阵I_l＝Z×₁V(l)×₂U_{identity_new}×₃U_point’

其中，V(l)是人脸形状视角流形V上的第l个点，表示新视角下测试图像特征点的视角系数矩阵，×_d(d＝1，2，3)表示张量的模-d乘法，Z×₁V(l)表示3维矩阵Z以第1维为行向量，第2、3维为列向量进行变形，并右乘矩阵V(l)；Z×₂U_{identity_new}表示Z以第2维为行向量，第1、3维为列向量进行变形，并右乘矩阵U_{identity_new}；Z×₃U_point表示Z以第3维为行向量，第1、2维为列向量进行变形，并右乘矩阵U_point；

(6)由测试图像新合成视角下的特征点矩阵I_l，根据测试图像在输入视角下的灰度图像及其对应的特征点矩阵，利用Delaunay三角划分求出测试图像输入视角特征点的邻接关系，构建覆盖人脸的三角面片区域，根据已经确定的邻接关系，构建测试图像新合成视角下覆盖人脸的三角面片区域，应用线性仿射变换，计算出测试图像新合成视角下各三角面片内部所有像素点的灰度，从而合成出测试图像在新合成视角下的人脸图像。

本发明与现有技术相比具有如下优点：

1.本发明由于将高维人脸数据的身份信息用独立的线性系数来表示，能更准确的表达身份信息；

2.本发明由于在人脸的形状分量上采用张量分解的方法合成新视角人脸的特征点，而非直接对高维人脸图像进行合成，从而有效地避免了人脸图像的欠采样问题和人脸纹理信息对精确视角描述的影响，使所合成的多视角人脸特征点的位置更精确；

3.本发明由于利用稀疏表示的方法，在合成训练集之外人脸的身份系数时，避免了使用训练集中的所有元素进行合成，而只用到与输入图像特征点相似性最高的几幅图像特征点进行加权求和，因此，去除了不相似图像的干扰，合成结果更准确；

4.本发明由于可以根据输入的一幅无遮挡且光照、表情正常的任意身份人脸图像，合成多个视角的图像，因此其实用范围很广。

实验结果表明：本发明合成的人脸图像与已有的方法相比，不仅图像更逼真，而且合成视角的范围更广，包括了从侧面到正面的各视角的人脸图像。

附图说明

图1是本发明中多视角人脸合成流程图；

图2是本发明中多视角人脸合成详细过程图；

图3是本发明中对人脸进行Delaunay三角划分示意图；

图4是本发明仿真使用的训练集中部分样本示例图；

图5是本发明仿真使用的第一幅测试图像；

图6是本发明仿真使用的第二幅测试图像；

图7是用本发明方法对第一幅测试图像的多视角人脸合成结果；

图8是用本发明对第二幅测试图像的多视角人脸合成结果；

图9是用现有基于流形的人脸合成方法对第二幅测试图像的多视角人脸合成结果。

具体实施方式

本发明的核心思想是利用张量分解和Delaunay三角划分方法来合成多视角人脸图像。利用特征点标注的方法提取出人脸图像的轮廓信息，采用张量分解将训练样本中人脸数据的视角因素分离出来，并对视角系数进行插值，构建新视角的特征点，应用Delaunay三角划分以及线性仿射变换根据已知人脸图像的灰度信息，合成出指定视角的人脸图像。

参照图1和图2，本发明的多视角人脸合成方法具体步骤如下：

步骤1，标注训练集中图像的特征点。

选取180～240幅，数量无上限限制的不同身份、不同视角的人脸图像作为训练集G，对训练集中的每幅人脸图像，根据脸轮廓、眉毛、眼睛、鼻子和嘴的位置标注人脸的显著特征点，特征点要标注在上述区域的轮廓上，从而实现人脸显著特征的轮廓信息与人脸图像的表面灰度信息相分离的目的。

步骤2，将训练集中图像的特征点按照先视角后身份的方式排列成张量数据I。

如果训练样本中有m个人，n个视角，对每个人所标注的特征点坐标的个数为p，则张量数据I的第一维为训练集图像的p个特征点坐标，I的前n列为第一个人的n个视角信息，依此类推。

步骤3，对训练集中图像特征点的张量数据I进行张量分解，得到核张量Z、视角系数矩阵U_view、身份系数矩阵U_identity、和轮廓系数矩阵U_point。

(3a)重新排列张量数据I，将n个视角信息作为张量数据I第一维，张量数据I的前p列为第一个人的p个特征点坐标，依次类推，对重排后的张量数据I，进行高阶奇异值分解，得到的左矩阵就是训练集图像的视角系数矩阵U_view；重新排列张量数据I，将m个身份信息作为张量数据I第一维，张量数据I的前p列为第一个视角下的p个特征点坐标，依次类推，对重排后的张量数据I，进行高阶奇异值分解，得到的左矩阵就是训练集图像的身份系数矩阵U_identity；重新排列张量数据I，将p个特征点坐标作为张量数据I第一维，张量数据I的前n列为第一个人的n个视角信息，依次类推，对重排后的张量数据I，进行高阶奇异值分解，得到的左矩阵就是训练集图像的轮廓系数矩阵U_point。该三个矩阵之间相互独立，U_view张成人脸视角变化的参数空间，U_identity张成人脸身份变化的参数空间，U_point张成人脸特征点数据的基空间；

(3b)利用公式Z＝I×₁U′_view×₂U′_identity×₃U′_point求得核张量Z，其中U′_view为U_view的逆矩阵，U′_identity为U_identity的逆矩阵，U′_point为U_point的逆矩阵，其中×_d(d＝1，2，3)表示张量的模-d乘法，I×₁U′_view表示3维张量数据I以第1维为行向量，以第2、3维为列向量进行变形，并右乘矩阵U′_view；I×₂U′_identity表示张量数据I以第2维为行向量，以第1、3维为列向量进行变形，并右乘矩阵U′_identity；I×₃U′_point表示张量数据I以第3维为行向量，以第1、2维为列向量进行变形，并右乘矩阵U′_point。

步骤4，对视角系数矩阵U_view中不同的视角系数进行样条拟合，得到连续的人脸形状视角流形V。

(4a)以视角矩阵U_view中第i行和第i+1行为例，取出该矩阵U_view的相邻两行视角系数，记作V_i和V_i+1；

(4b)将所述视角系数V_i和V_i+1对应的视角信息，记作P_i和P_i+1；

(4c)根据视角系数V_i、V_i+1以及视角信息P_i、P_i+1，利用斜率变化的递推关系，计算视角系数V_i+1对应的拟合系数z_i+1和视角系数V_i对应的拟合系数z_i：

$z_{i+1}=-z_i+2\frac{V_{i+1}-V_i}{P_{i+1}-P_i}$

其中，z_i通过对初始值的迭代过程求出：

$z_i=-z_{i-1}+2\frac{V_i-V_{i-1}}{P_i-P_{i-1}}$

M

$z_2=-z_1+2\frac{V_2-V_1}{P_2-P_1}$

$z_1=-z_0+2\frac{V_1-V_0}{P_1-P_0}$

由视角系数V_i的初始值V₀、视角信息P_i的初始值P₀和拟合系数z_i的初始值z₀，根据视角系数矩阵U_view中第1行的视角系数V₁，以及V₁对应的视角信息P₁，可得第1行的视角系数V₁对应的拟合系数z₁；根据视角系数矩阵U_view中第2行的视角系数V₂，以及V₂对应的视角信息P₂，利用已计算出的视角系数V₁对应的拟合系数z₁，可得视角系数V₂对应的拟合系数z₂；依此类推，根据视角系数矩阵U_view中第i行的视角系数V_i，以及V_i对应的视角信息P_i，利用已计算出的视角系数V_i-1对应的拟合系数z_i-1，可得视角系数V_i对应的拟合系数z_i；

(4d)通过构建多项式，计算两个视角P_i、P_i+1之间视角P的视角系数V；

$V=V_i+z_i(P-P_i)+\frac{z_{i+1}-z_i}{2(P_{i+1}-P_i)}{(P-P_i)}^2;$

(4e)重复步骤(4d)，对区间[i，i+1]内连续变换的视角，计算其对应的视角系数；

(4f)变换i的取值，重复步骤(4a)～(4e)，由多个区间内连续变换的视角求出的视角系数，构成了连续的人脸形状视角流形V。

步骤5，选取一幅未在训练集G中出现过的图像作为测试图像g，合成人脸形状视角流形V中视角系数对应的测试图像的特征点矩阵。

(5a)将测试图像与训练集中的图像进行尺度和旋转对齐；

(5b)标注对齐后的测试图像的特征点；

(5c)通过能量最小化的方法，预测测试图像特征点的视角序数i1：

i₁＝arg_imin|I₁-Z×₁U_view(j)×₂U_identity(k)×₃U_point|₂

其中，I₁表示测试图像特征点，Z表示核张量，U_view(j)代表训练集人脸图像特征点在第j个视角下的视角系数矩阵，j表示视角序数，U_identity(k)表示训练集中第k幅人脸图像特征点的身份系数矩阵，U_point表示轮廓系数矩阵，×_d(d＝1，2，3)表示张量的模-d乘法，Z×₁U_view(j)表示3维矩阵Z以第1维为行向量，第2、3维为列向量进行变形，并右乘矩阵U_view(j)；Z×₂U_identity(k)表示Z以第2维为行向量，第1、3维为列向量进行变形，并右乘矩阵U_identity(k)；Z×₃U_point表示Z以第3维为行向量，第1、2维为列向量进行变形，并右乘矩阵U_point，在所有训练集视角系数矩阵U_view(j)组成的集合中，求出满足能量最小化条件的视角系数矩阵，该矩阵对应的视角序数i₁，即为测试图像的视角序数；

(5d)计算训练集中图像在由测试图像确定的视角i₁下的特征点坐标的均值，将测试图像特征点的坐标与得到的特征点坐标的均值进行尺度和旋转对齐，使测试图像特征点所确定的人脸区域与训练集中的图像的人脸区域相同；

(5e)根据训练集中图像的身份系数矩阵U_identity，通过加权求和的方式，重构测试图像特征点的身份系数矩阵U_{identity new}：

${\mathrm{\Σ}}_{r=1}^N{U}_{\mathrm{identity}}\left(r\right)\×c\left(r\right)=U_{\mathrm{identity}\_\mathrm{new}}$

其中，N表示训练集中图像的数量，U_identity是训练集中所有图像特征点的身份系数矩阵，U_{identity_new}是测试图像特征点的身份系数矩阵，U_identity(r)表示训练集图像特征点的身份系数矩阵的第r行元素，c(r)表示与U_identity(r)对应的重构系数；

利用稀疏表示的方法求出重构系数c：

c＝min||w||₁，s.t.||w×D-I₁||₂＜ε

其中，||g||₁表示1-范数，D表示训练集中与测试图像视角相同的特征点构成的矩阵，I₁表示测试图像的特征点，ε表示重构误差，w是满足重构误差ε最小条件的权值，在所有满足重构误差最小条件的权值w中，选取1-范数值最小的w，就是所求的重构系数c；

(5f)利用步骤(5d)中重构的测试图像特征点的身份系数矩阵U_{identity_new}，求出测试图像在新视角下的特征点矩阵I_l＝Z×₁V(l)×₂U_{identity_new}×₃U_point，其中Z表示核张量，V(l)是人脸形状视角流形V上的第l个点，表示新视角下测试图像特征点的视角系数矩阵，U_point表示轮廓系数矩阵，×_d(d＝1，2，3)表示张量的模-d乘法，Z×₁V(l)表示3维矩阵Z以第1维为行向量，第2、3维为列向量进行变形，并右乘矩阵V(l)；Z×₂U_{identity_new}表示Z以第2维为行向量，第1、3维为列向量进行变形，并右乘矩阵U_{identity_new}；Z×₃U_point表示Z以第3维为行向量，第1、2维为列向量进行变形，并右乘矩阵U_point。

步骤6，由测试图像新合成视角下的特征点矩阵I_l，根据测试图像在输入视角i₁下的灰度图像及其对应的特征点矩阵，合成测试图像在新合成视角下的人脸图像。

(6a)特征点划分：按照Delaunay三角划分准则，将测试图像特征点中的每三个点相连，得到输入视角特征点的邻接关系，构建覆盖人脸的多个三角面片区域，如图3所示，将新合成视角下的特征点按照已得到的输入视角下特征点的邻接顺序进行连接，构建新合成视角下覆盖人脸的多个三角面片区域；

(6b)线性仿射变换：本步骤的目的是求出新合成视角下各三角面片区域内的纹理信息，由测试图像输入视角下的以T为顶点的三角面片Q，和新合成视角下以t为顶点按照特征点邻接关系与Q对应的三角面片q，求得线性仿射变换矩阵：A＝T×t^T，其中t^T表示t矩阵的伪逆；

将A由6个线性仿射变换矩阵系数来表示，T由三角面片Q的3个顶点坐标组成的矩阵来表示，t由三角面片q的3个顶点坐标组成的矩阵来表示，线性仿射变换矩阵可进一步写成：

$\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}V{1}_x& {V2}_x& {V3}_x\\ {V1}_y& {V2}_y& {V3}_y\\ 1& 1& 1\end{array}\right]\×{\left[\begin{array}{ccc}{v1}_x& {v2}_x& {v3}_x\\ {v1}_y& {v2}_y& {v3}_y\\ 1& 1& 1\end{array}\right]}^T$

其中 $A=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right],$ $T=\left[\begin{array}{ccc}V{1}_x& V{2}_x& V{3}_x\\ {V1}_y& {V2}_y& {V3}_y\\ 1& 1& 1\end{array}\right],$ $t=\left[\begin{array}{ccc}v{1}_x& v{2}_x& v{3}_x\\ v{1}_y& v{2}_y& v{3}_y\\ 1& 1& 1\end{array}\right]$

a₁，a₂，a₃，a₄，a₅，a₆是线性仿射变换矩阵系数，(v1_x，v1_y)，(v2_x，v2_y)，(v3_x，v3_y)分别是新合成视角下三角面片q的三个顶点坐标，(V1_x，v1_y)，(V2_x，V2_y)，(v3_x，v3_y)分别表示测试图像输入视角下三角面片Q的三个顶点坐标；

(6c)对新合成视角下三角面片q内的任一点(e，f)，利用线性仿射变换矩阵，求出测试图像输入视角下三角面片Q内与之对应的点(E，F)，

$\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}e\\ f\\ 1\end{array}\right]=\left[\begin{array}{c}F\\ F\\ 1\end{array}\right]$

由于测试图像在输入视角下的人脸图像已知，输入视角下三角面片Q内的每个整数坐标点都有其对应的灰度值，所以新合成视角下三角面片q内点(e，f)的灰度值，即为测试图像输入视角下相应三角面片Q内与之对应的点(E，F)的灰度值；

(6d)当测试图像输入视角下的三角面片Q内点的坐标(E，F)为小数时，利用该点坐标的左上方向、左下方向、右上方向和右下方向的4个邻域点的灰度进行双线性插值，以获得该点的灰度值，其它插值方法同样适用，例如线性插值、立方插值；

(6e)重复步骤(6c)和(6d)，直至计算出新合成视角下三角面片q内所有点的灰度值；

(6f)重复步骤(6b)～(6e)，直至计算出新合成视角下所有三角面片的灰度，得到测试图像在新合成视角下的人脸图像。

本发明的优点可通过以下实验进一步说明：

1.实验条件

本发明的实验是在西安交通大学人工智能与机器人研究所的东方人脸数据库上进行的。实验中，挑选了东方人脸数据库中30人8个视角下、偏转范围在[-90°～0°]之间的240张人脸图像作为训练集中的图像，部分示例如图4所示。第一幅测试图像为东方人脸数据库中，训练集之外的人脸图像，如图5所示。第二幅测试图像为CarnegieMellon大学机器人研究中心的PIE人脸数据库中，光照、表情正常，且无遮挡的人脸图像，如图6所示。

综上，共有3组实验：

Ex.1：利用本发明所提出的方法，合成东方人脸数据库中测试图像的多视角人脸图像。对第一幅测试图像，合成其70个不同视角的人脸图像，如图7所示；

Ex.2：利用本发明所提出的方法，合成PIE人脸数据库中测试图像的多视角人脸图像。对第二幅测试图像，合成其70个不同视角的人脸图像，如图8所示；

Ex.3：利用现有的基于流形的人脸合成方法，合成PIE人脸数据库中测试图像的多视角人脸图像。对第二幅测试图像，合成其多视角人脸图像，如图9所示。

2.实验结果。

图7显示了用本发明方法对第一幅测试图像的多视角图像合成结果。测试图像选自东方人脸数据库，该图像不包含在训练集图像库中。从合成结果中可以看出，对于仅包含一个视角信息的测试图像，该方法仍然可以精确地合成该测试图像在70个不同视角下的人脸图像。

图8显示了用本发明方法对第二幅测试图像的多视角图像合成结果，测试图像选自PIE人脸数据库。从图8中可以看出，利用本发明所提出方法进行合成的结果，与真实人脸的纹理更接近，而且只以单视角的图像为输入，就可以合成出其多个视角下的人脸图像，因而具有很强的实用性。

图9显示了利用现有的基于流形的人脸合成方法对第二幅测试图像的多视角图像合成结果。图9中，白框中标定的为正面视角的合成图像，第一行中的图像为利用该方法合成的与原始图像视角对应的人脸图像，第二行图像是原始图像。

从图9中可以看出，对于输入的单视角图像，利用该方法只能合成出图像在训练集图像已有视角下人脸图像，而且合成结果在人脸五官的位置以及人脸细节纹理方面，都与原始图像有一定的差异，此外，图9所示方法的训练集图像与测试图像都选自同一人脸库(PIE)，当测试图像来自其他数据库时，合成结果的效果未知。

综上，本发明提出的方法能够由一幅人脸图像及其特征点，合成出其视角连续变换的多视角人脸图像，且计算复杂度低，合成用时短，即在matlab编程环境下，处理器1.86GHz，内存2GB时，合成速度为203.5345秒/幅，合成结果逼真，适用范围较广。

Claims (4)

1.一种基于张量分解与Delaunay三角划分的多视角人脸合成方法，包括如下过程：

（1）取180～240幅不同身份、不同视角的人脸图像作为训练集G，对训练集中的每幅人脸图像，根据脸轮廓、眉毛、眼睛、鼻子和嘴的位置，将特征点标注在各区域的轮廓线上；

（2）将训练集中图像特征点数据沿视角、身份和坐标信息变化的方向排列成张量数据，并用高阶奇异值分解算法对其进行分解，得到身份系数矩阵U_identity、视角系数矩阵U_view、轮廓系数矩阵U_point和核张量

该三个矩阵之间相互独立，

表示这三个矩阵之间的相互作用关系；

（3）对视角系数矩阵U_view中的不同的视角系数进行样条拟合，获得一个连续的人脸形状视角流形V；

（4）给定一幅未在训练集G中出现过的图像作为测试图像g，标注测试图像的特征点，通过最小化测试图像与训练图像能量差的方式确定该测试图像g的输入视角i₁，利用最小二乘或稀疏表示的方法，求出训练集中输入视角i₁下所有图像特征点集合对测试图像特征点的重构系数c，将该重构系数c与训练集的身份系数矩阵U_identity加权求和，得到测试图像的身份系数矩阵U_{identity_new}；

（5）根据步骤（2）中得到的轮廓系数矩阵U_point、核张量

和步骤（3）中得到的视角流形V，利用张量分解公式，求出测试图像g在新合成视角下的特征点矩阵

其中，V(l)是人脸形状视角流形V上的第l个点，表示新合成视角下测试图像特征点的视角系数矩阵，×_d，d=1,2,3表示张量的模-d乘法，

表示3维矩阵

以第1维为行向量，第2、3维为列向量进行变形，并右乘矩阵V(l)；

表示

以第2维为行向量，第1、3维为列向量进行变形，并右乘矩阵U_{identity_new}；

表示

以第3维为行向量，第1、2维为列向量进行变形，并右乘矩阵U_point；

（6）由测试图像新合成视角下的特征点矩阵I_l，根据测试图像在输入视角下的灰度图像及其对应的特征点矩阵，利用Delaunay三角划分求出测试图像输入视角特征点的邻接关系，构建覆盖人脸的三角面片区域，根据已经确定的邻接关系，构建测试图像新合成视角下覆盖人脸的三角面片区域，应用线性仿射变换，计算出测试图像新合成视角下各三角面片内部所有像素点的灰度，从而合成出测试图像在新合成视角下的人脸图像。

2.根据权利要求1所述的多视角人脸合成方法，其特征在于所述的步骤（3）按如下过程进行：

（2a）取出视角系数矩阵U_view的每一行作为一个视角系数；

（2b）将视角系数矩阵按照人脸转动的方向进行排列；

（2c）对视角系数矩阵相邻的两行系数进行样条拟合，以获得人脸形状的视角流形V。

3.根据权利要求1所述的多视角人脸合成方法，其特征在于步骤（3）所述的样条拟合，按如下步骤进行：

（3a）以视角系数矩阵U_view中第i行和第i+1行为例，取出该矩阵U_view的相邻两行视角系数，记作V_i和V_i+1；

（3b）将所述视角系数V_i和V_i+1对应的视角，记作P_i和P_i+1；

（3c）根据视角系数V_i、V_i+1以及视角P_i、P_i+1，利用斜率变化的递推关系，计算视角系数V_i+1对应的拟合系数z_i+1和视角系数V_i对应的拟合系数z_i：

$z_{i+1}=-z_i+2\frac{V_{i+1}-V_i}{P_{i+1}-P_i}$

其中，z_i通过对初始值的迭代过程求出：

$z_i=-z_{i-1}+2\frac{V_i-V_{i-1}}{P_i-P_{i-1}}$

$z_2=-z_1+2\frac{V_2-V_1}{P_2-P_1}$

$z_1=-z_0+2\frac{V_1-V_0}{P_1-P_0}$

由视角系数V_i的初始值V₀、视角P_i的初始值P₀和拟合系数z_i的初始值z₀，根据视角系数矩阵U_view中第1行的视角系数V₁，以及V₁对应的视角P₁，可得第1行的视角系数V₁对应的拟合系数z₁；根据视角系数矩阵U_view中第2行的视角系数V₂，以及V₂对应的视角P₂，利用已计算出的视角系数V₁对应的拟合系数z₁，可得视角系数V₂对应的拟合系数z₂；依此类推，根据视角系数矩阵U_view中第i行的视角系数V_i，以及V_i对应的视角P_i，利用已计算出的视角系数V_i-1对应的拟合系数z_i-1，可得视角系数V_i对应的拟合系数z_i；

（3d）通过构建多项式，计算两个视角P_i、P_i+1之间视角P的视角系数V’：

$V^{\′}=V_i+z_i(P-P_i)+\frac{z_{i+1}-z_i}{2(P_{i+1}-P_i)}{(P-P_i)}^2;$

（3e）重复步骤（3d），对区间[i，i+1]内连续变换的视角，计算其对应的视角系数；

（3f）变换i的取值，重复步骤（3a）～（3e），由多个区间内连续变换的视角求出的视角系数，构成了连续的人脸形状视角流形V。

4.根据权利要求1所述的多视角人脸合成方法，其特征在于步骤（4）所述的利用最小二乘或稀疏表示的方法求出重构系数c，按如下过程进行：

（4a）取出训练集中与测试图像视角相同图像的特征点D；

（4b）通过对视角相同图像特征点D加权求和，重构测试图像的特征点I₁，在重构误差ε最小的条件下，求出权值w；

（4c）在所有满足重构误差最小条件的权值w中，选取1-范数值最小的w，就是所求的重构系数c：

c=min‖w‖₁，s.t.‖w×D-I₁‖₂<ε。

Images