CN102013020A - 用于合成人脸图像的方法和系统 - Google Patents

Abstract

公开了用于基于训练集合成人脸图像的方法和系统，其中，训练集包括多个图像对；所述图像对中的每一对被分割成多个图像小块对，所述多个图像小块对中的每一对包括一个第一类型的图像小块和一个第二类型的图像小块。基于训练集的合成人脸图像的方法包括：接收第一类型的测试人脸图像；将所接收的第一类型的人脸图像分割为多个图像小块；在所述训练集的第一类型的图像小块中为测试图像上所分割的多个图像小块中的每一个选择匹配小块；根据所选择的匹配小块从所述训练集的所述图像小块对中确定与其对应的第二类型的图像小块；以及将确定的第二类型的图像小块合成为第二类型的人脸图像。

Description

用于合成人脸图像的方法和系统

技术领域

本发明涉及用于合成人脸的方法和系统，尤其涉及用于基于马尔科夫网络模型合成人脸图像的方法和系统。

背景技术

人脸识别技术的一个重要应用是协助司法鉴定。例如，从警察局的照片数据库中自动检索出犯罪嫌疑人可以帮助警方很快缩小犯罪嫌疑人的范围。但是，在很多情况下，警方无法得到犯罪嫌疑人的照片。此时最好的替代品通常是根据目击证人描述而所画的画像。因此能够根据画像在照片数据库中自动寻找照片变得非常重要。然而，画像与照片存在很大的差异，并且产生画像的心理过程也较为复杂，因此基于人脸画像的识别比通常基于人脸照片的识别困难得多。很难将画像与照片这两种不同类型的数据进行匹配。

解决上述问题的一个方法是先把事先存储在数据库中的人脸照片转换为人脸画像，然后将要查询的人脸画像与数据库中所转换的人脸画像相匹配；或者先把要查询的人脸画像转换为人脸照片，然后将所转换的人脸照片与事先存储在数据库中的人脸照片相匹配。

生成画像的心理过程很难准确地用规则和语法来表达。画像与照片的差别主要存在于两个方面：纹理和形状。图3显示了人脸照片和画像的一个对比例子。铅笔在纸上画的图像与照片中人的皮肤有着不同的纹理。为了表达三维投影信息，在画像上通常会增加一些阴影的纹理。关于形状，画像会像卡通画一样夸张一些脸部突出的特征，从而引起形状上的变化。例如，一张人脸有一个大的鼻子，在画像上这个鼻子会被画得更大。

近些年已经出现了一些用计算机生成画像的系统。它们大多输出没有可以表达三维投影信息纹理的线条画像。例如H.Koshimizu，M.Tominaga，T.Fujiwara，和K.Murakami在“On Kansei Facial Processing for ComputerizedFacial Caricaturing System PICAS SO”IEEE International Conference on Systems，Man，and Cybernetics，Vol.6，1999(“用于计算面部漫画系统PICASSO的Kansei面部处理”，关于系统制造和控制的IEEE国际会议，1999年第6卷)和S.Iwashita，Y.Takeda，和T.Onisawa在“Expressive Facial CaricatureDrawing，”IEEE International Conference on Fuzzy Systems，Vol.3，1999(“面部表情漫画绘制”，关于模糊系统的IEEE国际会议，1999年第3卷)中都提出了用计算机生成画像的系统。在这些系统中，首先从照片中提取人脸的形状，然后根据某些规则对人脸的形状进行夸张，从而使生成的结果在形状上更类似于画像。然而它们不是基于机器学习的方法。

W.T.Freeman，J.B.Tenenbaum，and E.Pasztor，“An Example-BasedApproach to Style Translation for Line Drawings.”Technical Report 11，MERLTechnical Report，Cambridge，MA，Feb.1999(“基于样本的线条画像的风格转化方法”，技术报，1999年2月)提出了一个基于训练样本的系统，它可以将线条的图像转换成不同的风格。H.Chen，Y.Xu，H.Shum，S.Zhu，and N.Zheng，“Example-Based Facial Sketch Generation with No-parametric Sampling，”in Proceedings of ICCV，2001(“无参量的基于采样的面部画像生成”，ICCV会议记录，2001年)提出了一个基于训练样本的人脸卡通图像生成系统。它也只限于生成线条画像，并且需要照片和线条画像在形状上完全匹配。这些系统需要利用一些方法，例如活动外观模型(AAM)提取人脸的形状。这些线条画像比那些具有阴影纹理的画像缺少表现力。

本申请的发明人在X.Tang，and X.Wang，“Face Sketch Recognition，”IEEETrans.on CSVT，Vol.14，No.1，January，pp.50-57，2004(汤晓鸥和王晓刚，“面部画像识别”，“IEEE Trans.on CSVT”第1期第14卷第50-57页)和X.Tang，and X.Wang，“Face Sketch Synthesis and Recognition，”in Proceedings of ICCV，Nice，France，pp.687-694，Oct.13-16，2003(汤晓鸥和王晓刚，“面部画像合成与识别”，2003年10月的ICCV学报，第687-694页)中提出了一个基于主分量变换的人脸识别系统。这种系统不只限于线条画像，而且能够合成有纹理的画像。根据该系统，如果满足两个条件，由主分量变换转换的画像将是对所画画像的一个很好地近似，即，(1)人脸图像能够通过主分量分析(PCA)从训练集中很好地重构；以及(2)照片-画像的转换过程能够被近似成线性。然而，在某些情况下，特别是当包括头发区域的时候，这些条件很难被满足。不同人的发型变化很大，不能很好地由PCA从训练集中重构。

Q.Liu，X.Tang，H.Jin，H.Lu，and S.Ma，“A Nonlinear Approach for FaceSketch Synthesis and Recognition，”in Proceedings of CVPR，2005(“非线性的人脸画像合成和识别的方法”，CVPR学报，2005年)提出了一个非线性的人脸画像转换和识别的方法。但是该方法对局部的小块进行主分量变换而不是整个人脸。其缺点是局部小块是在单一固定的比例上彼此独立转换的，因此无法学习一些大的人脸结构，特别是无法学习人脸的形状。

发明内容

在本发明申请中提出了一种用于人脸画像的识别方法和系统。

根据本发明申请的人脸画像生成方法不学习整个人脸结构，因为整个人脸结构太复杂而不能被很好地转换，而是转换局部的小块，因为它们的结构更加简单。人脸区域被划分成相互重叠的小块。在画像生成过程中，对于一个人脸照片上的局部小块，在预先提供的训练集中找到一个与之相似的照片小块，然后用训练集中相对应的画像小块来估计要生成的画像小块。该方法所基于的假设是如果两个照片小块相似，则他们的画像小块也应该相似。另外，该方法所基于的另外一个假设是：两个相邻的转换的画像小块应该匹配。

小块的大小决定了所能学习的人脸结构的尺度。因此，本发明用多尺度马尔科夫随机场学习不同比例的人脸结构。这样根据本发明申请的方法联合学习不同区域不同尺度的小块，而不是像Q.Liu等提出的非线性的人脸画像转换和识别的方法中那样彼此独立地学习他们。

一方面，本文公开了一种基于训练集识别人脸的方法，所述训练集包括多个图像小块对，所述多个图像小块对中的每一个包括一个第一类型的图像小块和一个第二类型的图像小块，所述方法包括：

接收第一类型的人脸图像；

将所接收的第一类型的测试人脸图像分割为多个图像小块；

在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择匹配小块；

根据所选择的匹配小块从所述训练集的所述图像小块对中确定与其对应的第二类型的图像小块；以及

将确定的第二类型的图像小块合成为第二类型的人脸图像。

另一方面，本文公开了基于训练集识别的人脸的系统，所述训练集包括多个图像小块对，所述多个图像小块对中的每一个包括一个第一类型的图像小块和一个第二类型的图像小块，所述系统包括：

预处理单元，用于接收一个第一类型的测试人脸图像，并将将所接收的第一类型的人脸图像分割为多个图像小块；

匹配单元，用于在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块；

选择单元，用于根据所选择的匹配小块从所述训练集的所述图像小块对中选择与其对应的第二类型的图像小块；以及

合成单元，用于将选择的第二类型的图像小块合成为第二类型的人脸图像。

在上述的方法和系统中，所述第一类型的人脸图像为人脸照片，所述第二类型的人脸图像为人脸画像。作为一种选择，所述第二类型的人脸图像为人脸画像，所述第一类型的人脸图像为人脸照片。

优选地，在上述的方法和系统中，根据所选择的匹配小块从所述训练集的所述图像小块对中选择与其对应的第二类型的图像小块是基于单一尺度马尔科夫网络模型来实现的。这样，一个画像小块不但接收来自于相邻的小块信息，还通过置信传播接收来自于更远小块的信息。

优选地，基于多尺度马尔科夫网络模型来实现。这样，能够避免了现有技术中采用同一尺度对小块大或小会导致转换结果中不同的问题。因此，本发明的方法可以更好地学习大范围的人脸结构、整体的形状特征，并且产生更加平滑的结果。

另外，根据本发明对画像生成方法是基于局部小块，它不需像主分量变换法一样要求人脸由PCA从训练集中很好地重构，也不需要照片-画像的转换过程近似为线性过程，所以本发明对画像生成方法可以转换更加复杂的人脸结构，比如说头发。然而，例如现有的主分量变换法很难转换不同的发型，而头发在用于娱乐的人脸画像转换应用中是重要的特征。对于识别任务来说，在某些情况下，特别是当同一个人的两个图像相隔很久的时候，比如几个月甚至几年，头发可能不是一个稳定的用于识别的特征因为发型可能发生改变。但是在某些情况下，当间隔时间不长的时候，头发仍然是用于识别的显著的特征。当警察要求目击者生成犯罪嫌疑人画像的时候，会要求画出头发。

附图说明

图1示出了根据本发明一个实施方式的从人脸照片转换人脸画像的方法；

图2示出了根据本发明另一个实施方式的从人脸照片转换人脸画像的方法；

图3显示了人脸照片和画像的一个对比例子；

图4示出了人脸区域被划分成多个小块的例子；

图5示出了从输入照片上的一个小块寻找候选画像小块的例子；

图6示出了从训练集中收集候选画像小块的例子；

图7示出了单一尺度的马尔科夫网络模型的例子；

图8示出了画家所画画像小块具有的特征的例子；

图9示出了多尺度马尔科夫随机场的金字塔形结构的例子；

图10示出了在两个相邻重叠画像小块之间具有的最小错误边界；

图11出了根据本发明一个实施方式的从人脸照片转换人脸画像的系统；

图12出了根据本发明另一个实施方式的从人脸照片转换人脸画像的系统；

图13示出了来自训练集的图像对的例子；

图14示出了人脸画像的合成结果的例子；

图15示出了根据本发明的方法利用不同次数置信传递之后生成的画像的例子；

图16示出了用最小均方误差估计和最大似然估计生成画像的比较的例子；

图17示例性地示出了用单一尺度马尔科夫随机场模型和多尺度马尔科夫随机场模型合成画像的比较结果；

图18示例性地示出了当包括头发区域时，用整体主分量变换和多尺度马尔科夫随机场模型合成的画像的比较结果；

图19示例性地示出了非线性方法和多尺度马尔科夫随机场合成的画像的比较结果；以及

图20示例性地示出了合成人脸照片的结果。

具体实施方式

下面将参照附图描述根据本发明申请的基于局部小块的画像转换方法。下面虽然以将人脸照片转换成人脸画像为例对本发明申请的转换方法进行了描述，但是，应该理解，简单地交换照片和画像的角色，该方法可以很容易地扩展到将人脸画像转换为人脸照片进行识别的方法。

如图1所示，根据本发明一个实施方式的从人脸照片转换人脸画像的方法1000包括：1)对输入的人脸照片进行预处理(步骤102)；2)将经过预处理的人脸照片上的小块与训练集中的照片小块进行匹配(步骤104)；3)估计输入的人脸照片的画像小块以确定出匹配的画像小块(步骤106)；4)利用匹配的画像小块合成整个人脸画像(步骤108)。此外，根据本发明的合成方法还以用来与存储在数据库中的画像进行识别匹配(步骤110)，如图2所示。下面对步骤102-110进行详细描述。

1.人脸照片预处理(步骤102)

在步骤102中，对输入的人脸照片进行几何校正和颜色空间的变换。具体地，在该步骤中，所有的照片和画像进行平移，旋转和缩放，以使得它们的两只眼睛的中心处于固定的位置。这个简单的几何标准化处理将不同图像上的人脸器官大致校正到相同的区域。人脸照片可以是灰度图像或者彩色图像。如果人脸照片是彩色的，则首先将人脸照片的RGB彩色空间转换成Luv彩色空间，因为Luv空间中的欧几里德(Euclidean)距离能与人眼感觉到的色彩变化更好的相关。

此外，在该步骤中还将输入的人脸照片的脸部区域划分成N(N为正整数)个小块y_j(j＝0，1....N-1)，其中相邻的小块彼此重叠。如图4(a)所示，人脸区域被划分成多个小块，从图4(b)中可以看出，在所划分的多个小块中，相邻的小块彼此重叠。

2匹配小块(步骤104)。

为了估计输入照片小块y_j(j＝0，1....N-1)的画像小块x_j，对于输入照片上的每一个小块y_j在训练集中找到与y_j匹配最好的K(0＜K)个照片小块

然后，利用在训练集中与它们各自对应的画像小块

作为用于估计与y_j相对应的生成的画像小块的候选

在这里，训练集包括多个照片-画像对，并且例如是香港中文大学学生数据库、普杜数据库或XM2VTS数据库。

假设如果训练集中的一个照片上的小块与输入照片上的小块y_j相似，与

相对应的画像小块

将被看作是用来估计x_j的一个候选。图5描述了寻找画像小块的过程。对于输入照片上的每一个小块y_j(例如，图5中用窗口W2示出的局部小块)，在训练集中找到它在一个照片上的对应位置。因为人脸图像在形状上不是完全准确校正好的，因此，同样的人脸器官在不同的人脸图像上可能不位于完全相同的位置，所以不能直接在训练集的照片(以下简称“训练照片”)上与输入照片上同样的位置的小块采样，而是在所找到的位置附近设定一个寻找的范围，如图5中的虚线窗口W1所示；在这个搜索范围内，找到与y_j最佳匹配的小块作为在这个训练照片上的采样。

在这里，采用两个小块灰度或颜色的Euclidean距离D_R作为匹配量度，如式(1)所示。

$D_R=\underset{i\∈R}{\mathrm{\Σ}}{(y_j\left(i\right)-I_R\left(i\right))}^2=\underset{i}{\mathrm{\Σ}}{y}_j^2\left(i\right)+\underset{i}{\mathrm{\Σ}}{I}_R^2\left(i\right)-\underset{i}{\mathrm{\Σ}}{y}_j\left(i\right)I_R\left(i\right)---\left(1\right)$

其中，y_j(i)和I_R(i)分别是输入照片小块和训练照片小块在像素i的灰度或颜色矢量。

在搜索整个训练集之后，对于每一个输入照片小块y_j，在每一个训练照片上采样一个小块。假设训练集有M个照片-画像对，则从M个训练照片中选择与y_j匹配最好的K个照片小块，用与这K个照片小块对应的画像小块作为x_j可能的状态。图6显示了这样的一个例子，其中，图6(a)示出对是输入照片图像上的局部小块；图6(b)为从训练集中选择的与输入照片上小块最佳匹配的照片小块；以及图6(c)为训练集中与选择的照片小块相对应的画像小块。

小块匹配的算法可以通过已知的积分计算和2D快速付率叶变换加速。由于积分计算和2D快速付率叶变换为公知的技术，在此不再赘述。

如果只简单选择一个画像小块(其照片小块与输入的照片小块y_j最匹配)作为画像小块x_j的估计，则生成的画像不平滑并且具有马赛克效应。此外，因为画像小块是彼此独立估计的，因此，当估计一个画像小块时，人脸剩余区域的信息并没有被考虑。根据本发明申请的方法中，为了估计一个画像小块，需要保留K个可能的候选状态，并要求与相邻的经过转换的画像小块匹配。这样，所有的画像小块被联合起来进行建模。

为了使得转换的画像与输入的照片匹配并且平滑，马尔夫随机场被用来对画像的生成过程进行建模。以下将对其进行详细描述。

3估计画像小块(步骤106)

根据本发明申请的方法1000还基于这样一个假设，即，两个相邻的生成的小块应该匹配，这就是在步骤102中要求相邻小块重叠的原因。基于该假设，利用马尔科夫随机场对人脸照片-画像的转换过程建模。这个模型假设，给定一个照片小块和周围已生成的画像小块，对应的要生成的画像小块的概率分布独立于该照片的其他部分。具体地，在步骤106中，利用置信传播的推理方法估计与输入照片对应的画像小块，即，从局部区域发出的消息沿马尔科夫网络进行传递，从而达到一个最优解。马尔科夫网络可以是单尺度马尔科夫网络或多尺度马尔科夫网络，以下将对它们分别进行详细的描述。

3.1单一尺度马尔科夫网络

图7显示了单一尺度马尔科夫网络模型。人脸区域被划分成N个小块。网络的每个节点是一个画像小块或一个照片小块。y_i和x_i分别代表第i个照片小块和画像小块。x_i和与其相邻的其它画像小块相连。人脸照片和画像的联合概率可以表达为，

$P(x_1,...,x_N,y_1,...,y_N)=\underset{j_1{j}_2}{\mathrm{\Π}}\mathrm{\Ψ}(x_{j_2},x_{j_1})\underset{j}{\mathrm{\Π}}\mathrm{\Φ}(x_j,y_j)---\left(2\right)$

x_i的取值是离散的，并且具有K(0＜K)个可能的状态，这些状态是通过小块匹配得到的候选画像小块

Φ(x_i，y_i)代表y_i和x_i之间的依赖性，为x_i提供局部事实。局部事实的计算式为

$\mathrm{\Φ}({\tilde{x}}_j^l,y_j)=\exp \{-{\left|\right|{\tilde{y}}_j^l-y_j\left|\right|}^2/2{\mathrm{\σ}}_e^2\}---\left(3\right)$

是与训练集中候选画像小块

相对应的照片小块。如果

是x_i的一个好的估计，应该与y_j相似。j₁和j₂是连个相邻的小块，具有重叠区域(参见图3)。

是节点j₁的第l个候选画像小块在重叠区域A内的灰度或颜色适量。

是节点j₂的第m个候选画像小块在重叠区域A内的灰度或颜色适量。相容性函数的计算式为

$\mathrm{\Ψ}({\tilde{x}}_{j_1}^l,{\tilde{x}}_{j_2}^m)=\exp \{-{\left|\right|d_{j_1{j}_2}^l-d_{j_1{j}_2}^m\left|\right|}^2/2{\mathrm{\σ}}_c^2\}.---\left(4\right)$

如果

和

是转换小块的估计，它们在重叠区域应该有一致的灰度或颜色。

给定马尔科夫网络，画像小块可以用最大似然估计(MAP)或最小均方差估计(MMSE)求得。

${\hat{x}}_{\mathrm{jMAP}}=\underset{\left[x_j\right]}{\arg \max }\underset{[x_i,i\≠j]}{\max }P(x_1,...,x_N|y_1,...,y_N)---\left(5\right)$

${\hat{x}}_{\mathrm{jMMSE}}=\underset{x_j}{\mathrm{\Σ}}{x}_j\underset{[x_i,i\≠j]}{\mathrm{\Σ}}P(x_1,...,x_N|y_1,...,y_N)---\left(6\right)$

在这里，采用“传递信息”法进行推理，如J.S.Yedidia，W.T.Freeman，andY.Weiss，“Understanding Belief Propagation and Its Generalizations，”ExploringArtificial Intelligence in the New Millennium，ISBN 1558608117，Chap.8，pp.239-274，2003(“置信的传播和生成”，新纪元人工智能，ISBN 1558608117，第8章，第239-274页，2003年)中公开的方法。信息从局部区域沿马尔科夫网络传播达到最优解。当网络没有循环的时候，可以用“信息传递”法则准确解得。这部分的内容在W.T.Freeman，E.C.Pasztor，and O.T.Carmichael，“Learning Low-Level Vision，”International Journal of Computer Vision，2000(“学习低级的视觉”，计算机国际杂志，2000年)中具有相应的阐述。.

节点j的最大似然估计为

${\hat{x}}_{\mathrm{jMAP}}=\underset{\left[x_j\right]}{\arg \max }\mathrm{\Φ}(x_j,y_j)\underset{k}{\mathrm{\Π}}{M}_j^k\left(x_j\right)---\left(7\right)$

M_j ^k是从相邻节点k传递给节点j的信息，其计算式为，

$M_j^k=\underset{\left[x_k\right]}{\max }\mathrm{\Ψ}(x_j,x_k)\mathrm{\Φ}(x_k,y_k)\underset{l\≠j}{\mathrm{\Π}}{\tilde{M}}_k^l\left(x_k\right)---\left(8\right)$

是M_j ^k是从前一个迭代计算而得。节点j最小均方差估计

和相邻节点k传递给节点j的信息M_j ^k分别为：

${\hat{x}}_{\mathrm{jMSSE}}=\underset{x_j}{\mathrm{\Σ}}{x}_j\mathrm{\Φ}(x_j,y_j)\underset{k}{\mathrm{\Π}}{M}_j^k\left(x_j\right)---\left(9\right)$

$M_j^k=\underset{x_k}{\mathrm{\Σ}}\mathrm{\Ψ}(x_j,x_k)\mathrm{\Φ}(x_k,y_k)\underset{l\≠j}{\mathrm{\Π}}{\tilde{M}}_k^l\left(x_k\right)---\left(10\right)$

从以上可以看出，当消息沿网络传递时，一个画像小块不但接收来自相邻小块的信息，还有来自更远小块的信息。

当马尔科夫网络具有循环时，无法计算最大似然估计和最小均方差估计的值。但是，上述的传递规则也可以用于求近似解。根据实验结果表明，最大似然估计的效果更好；而最小均方差估计会有模糊效应。

在这里，以采用置信传播规则为例求马尔科夫随机场的近似最优解进行了描述，但是应该理解，还有其它的方法来求马尔科夫随机场的近似最优解，例如采用Y.Boykov，O.Veksler，and R.Zabih，“Fast Approximate EnergyMinimization via Graph Cuts(通过图像剪切快速逼近最小的能量)”IEEE Trans.on PAMI，Vol.23，No.11，pp.1222-1239，2001中的图分割方法。

3.2多尺度马尔科夫网络

用单一尺度马尔科夫网络的缺点是它不能解决局部小块在大范围的相关性。当画家画一个局部小块时，他通常要参考小块周围更大的结构。有些时候，即使两个照片小块非常相似，它们对应的画像小块可能很不相同。如图8所示，鼻梁和脸颊上的两个照片小块很相似，但是相对应的画像小块却很不同。

小块的大小决定了所能学习的人脸结构的大小。但小块尺寸小的时候，一些表达三维投影信息的阴影和一些人脸结构，如脸的轮廓、眉毛、或鼻梁可能会缺失。通过增加小块的尺寸可以学习这些结构。然而，当小块对尺寸大的时候，生成的画像上会产生造成形变的马赛克效应。采用多尺度马尔科夫随机场在不同尺度上学习人脸的结构能够克服这个矛盾。

如图9所示，一个多尺度马尔科夫随机场模型由L(L为大于1的正整数)层随机场x⁽¹⁾，x⁽²⁾，...，x^(L)组成。x⁽¹⁾是最小尺度的随机场，它的小块的尺寸最小。x^(L)是最大尺度的随机场，它的小块的尺寸最大。第n(0＜n＜L)层的一个节点分解成n-1的s²个节点。这些节点被定义成不同尺度上的相邻节点。s是尺度减少的比率。在这里，假设x⁽ⁿ⁾的分布只依赖于在尺度上相邻的层。人脸照片和人脸画像的联合概率为，

$P(x^{\left(1\right)},...,x^{\left(L\right)},y^{\left(1\right)},...,y^{\left(L\right)})=\underset{n=1}{\overset{L}{\mathrm{\Π}}}\mathrm{\Ω}(x^{\left(n\right)},y^{\left(n\right)})\underset{n=1}{\overset{L-1}{\mathrm{\Π}}}\mathrm{\Θ}(x^{\left(n\right)},x^{(n+1)}).---\left(11\right)$

其中，y⁽¹⁾，...，y^(L)是不同层上的照片图像，它们唯一的不同是小块的尺寸。这样通过增加隐含变量x_j ⁽ⁿ⁾与相邻尺度层n-1和n+1上相邻节点的联系，可以扩展如式(12)所示的联合概率分布。

$P(x^{\left(1\right)},...,x^{\left(L\right)},y)=P(x^{\left(1\right)},...,x^{\left(L\right)},y^{\left(1\right)},...,y^{\left(L\right)})$

$=P({x_1}^{\left(1\right)},...,{x_{N_1}}^{\left(1\right)},...,{x_1}^{\left(L\right)},...,{x_{N_L}}^{\left(L\right)},{y_1}^{\left(1\right)},...,{y_{N_1}}^{\left(1\right)},...,{y_1}^{\left(L\right)},...,{y_{N_L}}^{\left(L\right)})$

$=\underset{n=1}{\overset{L}{\mathrm{\Π}}}\underset{i}{\mathrm{\Π}}\mathrm{\Φ}(x_i^{\left(n\right)},y_i^{\left(n\right)})\underset{i,j,m,n}{\mathrm{\Π}}\mathrm{\Ψ}(x_i^{\left(m\right)},x_j^{\left(n\right)}).---\left(12\right)$

当m＝n时，x_i ^(m)和x_j ⁽ⁿ⁾尺度相同空间上相邻。当m＝n-1，x_i ^(m)在空间上是x_j ⁽ⁿ⁾的一部分，ψ(x_i ^(m)，x_j ⁽ⁿ⁾)的定义与公式(4)相同，用于比较两个小块重叠区域的灰度差异。在该多尺度马尔科夫网络中采用类似于上述单尺度马尔科夫网络中采用的置信传播规则进行推理，唯一的不同是消息还要在不同的尺度层间传递。在这里，本发明采用最高的分辨率层作为最终画像转换结果。

4.拼接画像小块(步骤108)

在步骤108中，通过拼接在步骤106中估计出的画像小块

转换合成整个人脸画像。因为相邻的画像小块具有重叠的区域，为了转换整个画像图像，尽管可以对相邻的小块取均值，然而这会产生模糊效应。相反，在本发明申请中，在两个重叠的小块之间寻找一个最小误差边界，从而使这两个小块达到最佳匹配。这个最小误差边界是由动态规划求得。关于这部分对内容可参见A.A.Efros and W.T.Freeman，“Image Quilting for Texture Synthesis andTransfer，”in Proceedings of SIGGRAPH’01，2001(“用于纹理合成和转化的图像填充”，SIGGRAPH学报，20001年)。如图10所示，曲线C为两个相邻重叠画像小块

和

最小错误边界。

5.识别匹配(步骤110)

在步骤108中将输入的人脸照片转换为人脸画像后，在步骤110中，将转换的人脸画像与存储在数据库中的画像进行识别匹配。在本发明中，绝大多数的基于照片的人脸识别方法可以直接用于人脸画像的识别。由于基于照片的人脸识别方法为公知的技术，在此不再赘述。

以上参照将人脸像片转换为人脸画像进行人脸画像识别的方法为例对本发明进行了描述，然而，如上所述，将人脸画像转化为人脸照片从而实现人脸照片识别的方法与其相似，其不同点仅仅是比较对象角色的改变。

下面还是以将人脸照片转换合成为人脸画像为例来描述根据本发明申请的一个实施方式的用于基于训练集识别人脸的系统2000。如图11所示，系统2000包括预处理单元201、匹配单元202、选择单元203、合成单元204。此外，根据本发明的另一个实施方式的用于基于训练集识别人脸的系统2000还可以包括识别单元205，如图12所示。

预处理单元201用于接收一个人脸照片，并对所接收的人脸照片进行几何校正和颜色空间的变换，以及将其分割为多个图像小块。在所分割的多个图像小块中，相邻的小块彼此重叠。如图4(b)所示。

匹配单元202用于在训练集的多个人脸照片中为所分割的多个图像小块中的每一个选择一个匹配小块。进一步而言，匹配单元202被配置为在训练集的人脸照片的图像小块中为接收照片中所分割的多个图像小块中的每一个选择多个候选匹配小块，并从所选择的多个候选匹配小块中确定与接收图像中所分割的多个小块中的每一个最佳匹配的一个候选匹配小块。更具体地，匹配单元202在训练集的照片中的每一个上确定与接收照片中所分割的多个照片小块中的每一个相对应的位置；并以所确定的位置为基准，在训练集的人脸照片的小块中的每一个上设定一个范围，例如，图5中的虚线窗口W1。匹配单元202在所设定的范围W1内确定人脸照片小块是否和接收照片中所分割的多个图像小块中的每一个匹配，如果匹配，则所匹配的图像小块被选择为候选匹配小块。优选地，匹配单元202基于上文所述的单一尺度马尔科夫网络模型、或多尺度马尔科夫网络模型来执行上述的处理。

选择单元203根据匹配单元202从训练集的人脸照片小块中选择出的匹配小块从训练集的画像小块中选择与其对应的画像小块。

合成单元204将选择的画像小块合成为人脸照片。合成单元204在两个重叠的画像小块之间寻找一个最小误差边界，以使这两个小块达到最佳匹配，从而避免了因为相邻的画像小块具有重叠的区域而产生的模糊效应。

识别单元205用于将所合成的人脸照片与预定数据库中的人脸照片进行识别匹配。

以上虽然以人脸照片转换合成为人脸画像为例来描述根据本发明申请的一个实施方式的用于基于训练集识别人脸的系统，然而应该理解，将人脸画像转化为人脸像片从而实现人脸像片识别的方法与其相似，其不同点仅仅是比较对象角色的改变，在此不再对其赘述。

实验结果

以下的实验结果建立于来自香港中文大学学生数据库的188张人脸，来自于普杜数据库的123张人脸，以及来自于XM2VTS数据库的295张人脸，其中每一张人脸具有一个画像和一个在正常光线和自然表情下拍摄的照片。其中，画像在纹理和形状上都不同于照片，如图13(a)-(c)所示，其中图13(a)中的画像和照片来自于香港中文大学学生数据库，图13(b)中的画像和照片来自于普杜数据库，和图13(c)中的画像和照片来自于XM2VTS数据库。

人脸画像转换

本发明申请对发明人在上述三个数据库上分别进行了将人脸照片转换为人脸画像的实验。在香港中文大学学生数据库中，88张人脸选作训练集，剩下的100张人脸选作测试集。在XM2VTS数据库中，100张人脸选作训练集，剩下的195张人脸选做测试集。在普杜数据库中，每次选择一张人脸作为测试，剩下的122张人脸作为训练集(即，用留一法)。图14(a)-(c)示出了一些使用具有两层多尺度马尔科夫模型进行画像转换的结果。图14(a)示出了要转换的照片，图14(b)为与该照片对应的由画家画的画像，图14(c)是从图14(a)中的照片转换的画像。在该实验中所使用的多尺度马尔科夫模型的第一层，局部小块的大小是10×10；在第二层，局部小块的大小是20×20。此外，人脸区域的大小是200×250，公式(3)和(4)中的参数为σ_e＝0.5，σ_c＝1。

在图15中比较了不同次数置信传递之后生成的画像。最初(0次重复)生成的画像(如图15(c)所示)是拼接与输入图像最匹配的画像小块，而没有考虑平滑限制。结果具有很大的噪声和马赛克效应。根据统计，在这些估计的画像小块中，超过80％被随后的马尔科夫分析纠正了。置信传递在重复5次之后收敛(如图15(d)所示)。置信传递显著提高了生成的画像的质量。

在图14中比较了两种不同的估计方法，即，最小均方误差和最大似然估计。其中图16(a)示出了要转换的照片；16(b)为与该照片对应的由画家画的画像；图14(c)为用最小均方误差估计生成的画像；图16(d)为用最大似然估计生成的画像。如图16(c)所示，最小均方误差估计的结果具有模糊效应。最大似然估计的结果具有更清晰地边缘和轮廓，更像画家画的画像，如图16(d)所示。

图17中比较了用单一尺度马尔科夫随机场和多尺度马尔科夫随机场转换的结果，其中，人脸区域的大小是200×250。图17(a)为人脸照片；图17(b)为画家画的画像；图17(c)为合成转换的人脸画像，小块的大小是10×10；图17(d)为合成转换的人脸画像，小块的大小是20×20；图17(e)是用两层马尔科夫随机场合成的画像，其中第一层小块的大小是10×10，第二层小块的大小是20×20。从图17(c)可以看出，在单一尺度马尔科夫模型中，当小块的尺寸小(10×10)的时候，会造成一些阴影文理和人脸结构，比如人脸轮廓的下半部分和耳朵的缺失。当小块的尺寸大的时候，可以学习这些结构。但是当小块尺寸大的时候(20×20)会有变形和马赛克。当使用多尺度马尔科夫随机场的时候，与只在大尺度上学习相比，形变和马赛克更少，与只在小尺度上学习相比，它可以转换更多的人脸结构，如图17(e)所示。当用3层或更多层的马尔科夫随机网络时，画像的生成效果并没有显著提高。

在图18(a)-(d)中比较了用多尺度马尔科夫随机场和整体主分量变换转换的结果，其中，图18(a)示出了要转换的照片；图18(b)示出了使用主分量变换转换的画像；图18(c)示出了多尺度马尔科夫随机场转换的画像；以及图18(d)示出了画家画得画像。从该图18(a)-(d)中可以看出，因为本发明申请的转换方法基于局部的小块，因此与整体变换相比它能更好地转换局部纹理，并具有更少的模糊效应、更少的噪声和具有更清晰地边缘。整体主分量变换要求人脸数据在高维空间中成高斯分布，测试人脸要能够由主分量变换(PCA)很好地从训练样本中重构。然而，人的发型在样式上变化很大，当包括头发区域的时候，人脸向量不能近似成高斯分布，人脸照片也不能很好地由PCA重构。如图18(b)所示，主分量变换在生成头发方面效果更差。头发区域还会导致在转换人脸其它区域是产生偏差。从图18(c)中可以看出，使用本发明的转换方法可以很好地转换不同的发型。

在图19中示出了本发明的多尺度马尔科夫随机场合成的画像和Q.Liu等人提出的非线性方法转换画像的比较结果。图19(a)为要转换的照片；图19(b)为用Q.Liu等的非线性方法合成的画像；图19(c)为利用多尺度马尔科夫随机场生成的画像；图19(d)为画家画的画像。根据本发明的画像转换算法需要相对更大的计算量因为要进行小块匹配。通过积分计算和2D快速付率叶变换后，在3GHz CPU上需要不到两分钟的时间生成一幅画像。如果有更多的CPU小块匹配可以并行计算，画像会转换的更快。

人脸照片转换

如上所述，通过简单地交换照片和画像的角色，给定画家画的画像，本发明申请的方法也可以将人脸画像转换人脸照片。在图20中显示了从人脸画像转换成人脸照片转的结果，其中，图20(a)示出了画家画的画像；图20(b)示出了与图20(a)中的画像对应的照片，图20(c)示出了从图20(a)中的画像转换的照片。

人脸画像识别

在人脸画像识别阶段有两种策略减少照片与画像之间的差异：(a)先用画像转换方法将数据库中所有的照片转换成画像，然后将查询画像与转换的画像匹配；(b)将查询画像转换成照片，然后将转换的照片与数据库中的照片匹配。

当照片与画像被转换成同一类型的数据之后，在原则上大多数已提出的人脸照片的识别方法都可以直接用于人脸画像的识别。在以下实验中将比较子空间人脸识别方法，包括主分量分析(PCA)，贝叶斯人脸(Bayes)，菲舍尔脸，零空间线性辨析器(Null-space LDA)，双空间线性辨析器(Dual-SpaceLDA)，以及随机采样线性辨析器(RS-LDA)。

具体地，606张照片-画像对被划分成三个子集。在子集I中的153个照片-画像对被用作照片-画像转换的训练集。在子集II中的153个照片-画像对被用用作子空间分类器的训练集。对于策略(a)，用子集子I作为训练集，子集II中的照片首先被转换成画像。然后子集II中转换的画像与画家画的画像被用作子空间分类器，如菲舍尔脸和随机采样线性辨析器的训练集。策略(b)也是类似的情况，唯一的不同是画像与照片交换角色。子集III中的300个照片-画像对被用作测试。

在表格1中示出了使用不同画像/照片转换方法和不同人脸识别方法的识别率。

·用整体主分量变换转换画像。人脸照片的纹理和形状首先被分开，转换成画像的纹理和形状，最后被合在一起用于识别。

·用多尺度马尔科夫随机场转换画像(multiscale_MRF_SS)。它采用策略(a)。

·用多尺度马尔科夫随机场转换照片(multiscale_MRF_SP)。它采用策略(b)。

	特征转换(Eigentransfom)	Multiscale_MRF_SS	Multiscale_MRF_SP
				PCA	75.0	84.0	84.3
Bayes	81.3	89.0	93.7
				Fisherface	79.7	89.3	93.3

Null-spaceLDA	84.0	90.7	94.7
				Dual-spaceLDA	88.7	92.00	95.7
RS-LDA	90.0	93.3	96.3

表1

用多分辨率马尔科夫随机场转换画像(multiscale_MRF_SS)比整体主分辨率取得了更好的结果。用多尺度马尔科夫随机场转换照片(multiscale_MRF_SP)甚至取得了更好的结果。在不同的画像/照片识别方法下，随机采样线性辨析器(RS-LDA)总是取得最好的结果。

在表2中比较了本发明的方法和传统的人脸识别方法，即，特征脸和弹性图匹配(EGM)和Q.Liu等人提出的非线性人脸画像识别(Nonlinear face sketchrecognition)方法。在早期最初的人脸画像识别研究中，特征脸和EGM曾经在很小的数据集上测试过。然而在大数据集上，它们的识别率非常低，第一匹配准确率不到30％，第十匹配准确率不到60％。在Q.Liu等人提出的脸画像识别方法中基于局部小块生成画像并用基于非线性辨析分类器(nonlinearLDA)来进行识别。它的第一匹配率是86.7％，第十匹配率是99％。而根据本发明申请的方法将第一匹配率大幅提高到96.3％，将第十匹配率提高到99.7％。

	1	2	3	4	5	6	7	8	9	10
											特征脸(Eigenface)	6.3	8.0	9.0	9.3	11.3	13.3	14.0	14.0	14.3	16.0
EGM	25.3	32.3	40.0	43.0	46.7	48.7	53.0	54.3	56.3	57.7
											Nonlinear face sketchrecognition	87.7	92.0	95.0	97.3	97.7	98.3	98.7	99.0	99.0	99.0
Eigentransform+RS-LDA	90.0	94.0	96.7	97.3	97.7	97.7	98.3	98.3	99.0	99.0
											Multiscale_MRF_SS+RS-LDA	93.3	94.6	97.3	98.3	98.3	98.3	98.3	99.0	99.0	99.0
Multiscale_MRF_PS+RS-LDA	96.3	97.7	98.0	98.3	98.7	98.7	99.3	99.3	99.7	99.7

表2.

以上对本发明的用于实现人脸图像识别的方法进行了说明，然而，应该理解，以上所述仅为实现本发明的实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.用于基于训练集合成人脸图像的方法，所述训练集包括多个图像对，所述图像对中的每一对被分割成多个图像小块对，所述多个图像小块对中的每一对包括一个第一类型的图像小块和一个第二类型的图像小块，所述方法包括：

接收第一类型的测试人脸图像；

将所接收的第一类型的测试人脸图像分割为多个图像小块；

在所述训练集的第一类型的图像小块中，为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择匹配小块；

根据所选择的匹配小块从所述训练集的所述图像小块对中确定与其对应的第二类型的图像小块；以及

将确定的第二类型的图像小块合成为第二类型的人脸图像。

2.如权利要求1所述的方法，还包括：

将所合成的第二类型的人脸图像与预定数据库中的第二类型的测试人脸图像进行识别匹配。

3.如权利要求1所述的方法，其中，为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择匹配小块的步骤还包括：

在所述训练集的第一类型的图像小块中为从所述第一类型的人脸图像中分割出的多个图像小块中的每一个选择多个候选匹配小块；以及

从所选择的多个候选匹配小块中确定与所分割的多个测试小块中的每一个最佳匹配的一个的候选匹配小块。

4.如权利要求3所述的方法，其中，在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择多个候选匹配小块还包括：

在所述训练集的第一类型的图像中的每一个上确定与从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个相对应的位置；以及

以所确定的位置为基准，在所述训练集的第一类型的图像小块中的每一个上设定一个范围；以及

在所设定的范围内确定所述训练集的第一类型的图像中的每一个是否和从所述第一类型测试的人脸图像中分割出的多个图像小块中的每一个匹配，如果匹配，则所匹配的图像小块被选择为所述候选匹配小块。

5.如权利要求4所述的方法，其中，在所设定的范围内确定所述训练集第一类型的图像小块中的每一个是否和从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个匹配的步骤基于单一尺度马尔科夫网络模型实现。

6.如权利要求4所述的方法，其中，在所设定的范围内确定所述训练集的第一类型的图像小块中的每一个是否和从所述第一类型的人脸图像中分割出的多个图像小块中的每一个匹配的步骤基于多尺度马尔科夫网络模型实现。

7.如权利要求1所述的方法，其中，在所述训练集的第一类型的图像小块中为从所述第一类型的人脸图像中分割出的多个图像小块中的每一个选择匹配小块的步骤包括：

以单一尺度马尔科夫网络为模型，在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块。

8.如权利要求1所述的方法，其中，在在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块的步骤包括：

以多尺度马尔科夫网络为模型，在所述训练集的第一类型的图像小块中为从所述第一类型测试的人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块。

9.如权利要求1所述的方法，其中，在所述测试图像多个分割的图像小块中，相邻的图像小块具有重叠区域。

10.如权利要求9所述的方法，其中，在所述训练集的第一类型的图像小块之间以及第二类型的图像小块之间分别具有重叠区域，

将确定的第二类型的图像小块合成为第二类型的人脸图像的步骤包括：

在每两个重叠的第二类型的图像小块之间确定最小误差边界；

根据所确定最小误差边界，将所述确定的第二类型的图像小块合成为第二类型的人脸图像。

11.如权利要求1-10中任意一项所述的方法，其中，所述第一类型的人脸图像为人脸照片，所述第一类型的人脸图像为人脸画像。

12.如权利要求1-10中任意一项所述的方法，其中，所述第一类型的人脸图像为人脸画像，所述第一类型的人脸图像为人脸照片。

13.用于基于训练集合成人脸图像的系统，所述训练集多个图像对，所述图像对中的每一对被分割成多个图像小块对，所述多个图像小块对中的每一对包括一个第一类型的图像小块和一个第二类型的图像小块，所述系统包括：

预处理单元，用于接收一个第一类型的人脸图像，并将将所接收的第一类型的人脸图像分割为多个图像小块；

匹配单元，用于在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块；

选择单元，用于根据所选择的第一类型的匹配小块从所述训练集的所述图像小块对中选择与其对应的第二类型的图像小块；以及

合成单元，用于将选择的第二类型的图像小块合成为第二类型的人脸图像。

14.如权利要求13所述的系统，还包括识别单元，用于将所合成的第二类型的人脸图像与预定数据库中的第二类型的人脸图像进行识别匹配。

15.如权利要求11所述的系统，其中，所述匹配单元被配置为执行以下步骤而在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块：

在所述训练集的第一类型的图像小块中为从所述第一类型的侧试人脸图像中分割出的多个图像小块中的每一个选择多个候选匹配小块；以及

从所选择的多个候选匹配小块中确定与从所述第一类型的测试人脸图像中分割出的多个小块中的每一个最佳匹配的一个的候选匹配小块。

16.如权利要求15所述的系统，其中，在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择多个候选匹配小块还包括：

在所述训练集的第一类型的图像小块中的每一个上确定与从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个相对应的位置；以及

以所确定的位置为基准，在所述训练集的第一类型的图像的每一个上设定一个范围；

在所设定的范围内确定所述训练集的第一类型的图像小块中的每一个是否和从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个匹配，如果匹配，则所匹配的图像小块被选择为所述候选匹配小块。

17.如权利要求16所述的系统，其中，所述匹配单元基于单一尺度马尔科夫网络模型，在所设定的范围内确定所述训练集第一类型的图像小块中的每一个是否和从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个匹配。

18.如权利要求16所述的系统，其中，所述匹配单元基于多尺度马尔科夫网络模型，在所设定的范围内确定所述第一类型的图像小块中的每一个是否和从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个匹配。

19.如权利要求13所述的系统，其中所述匹配单元基于单一尺度马尔科夫网络模型在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块。

20.如权利要求13所述的系统，其中所述匹配单元基于多尺度马尔科夫网络模型在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块。

21.如权利要求13所述的系统，其中，在所述预处理单元分割的多个图像小块中，相邻的图像小块具有重叠区域。

22.如权利要求21所述的系统，其中，在所述训练集的第一类型的图像小块之间以及第二类型的图像小块之间分别具有重叠区域；以及

其中，所述合成单元被配置为在每两个重叠的第二类型的图像小块之间确定最小误差边界；并根据所确定最小误差边界，将所述选择单元所选择的第二类型的图像小块合成为第二类型的人脸图像。

23.如权利要求13-22中任意一项所述的系统，其中，所述第一类型的人脸图像为人脸照片，所述第一类型的人脸图像为人脸画像。

24.如权利要求13-22中任意一项所述的系统，其中，所述第一类型的人脸图像为人脸画像，所述第一类型的人脸图像为人脸照片。

Images