CN103080979B - 从照片合成肖像素描的系统和方法 - Google Patents

Abstract

本发明公开了从照片合成肖像素描的系统和方法。所述方法包括：将测试照片分割成多个等间距重叠的测试照片块；确定出各个测试照片块与多个训练集照片中预分割的照片块之间的匹配信息；确定出各个测试照片块与多个训练集素描图像中预分割的素描图像块之间的匹配信息；确定出将要合成的素描图像的形状先验信息；确定出两个相邻训练集素描图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的梯度一致性信息；基于上述匹配信息、形状先验信息、灰度一致性信息、以及梯度一致性信息，为各个所述测试照片块确定出最佳匹配的训练素描图像块；以及将所确定的训练素描图像块合成为肖像素描图像。

Description

从照片合成肖像素描的系统和方法

技术领域

本申请涉及从照片合成肖像素描的系统和方法。

背景技术

由于在司法领域和数码娱乐产业中的广泛应用，自动肖像合成技术近年来引起人们的关注。例如，在司法领域，用素描肖像在警方的照片数据库中搜索犯罪嫌疑人是十分重要的应用。通过把人像照片转化为素描，可以应用人脸识别技术将画家画的素描和电脑合成的素描直接匹配，从而提高人脸识别的真确性。在电影工业，自动素描合成系统可以大大节省艺术家制作人脸动画的时间。这样一个系统也为普通人提供了一种方便的制作在数字世界中像MSN头像这种身份象征的方法。

大多数流行的素描合成的方法都是基于样本库的。利用一个由对应的照片和素描图像组成的训练库，可以从照片生成具有丰富纹理的素描。这些方法可以通过更换训练库来合成不同风格的素描像画。在现有技术中提出了利用全局特征变换从照片合成素描的方法。但是，由于不同人的发型变化很大，如果包含了头发区域，这样的一个全局的线性模型并不能很好的工作。为了克服这一方法的缺点，在本领域中又提出了基于图像块的合成方法。这些方法的缺点是各个区域的图像块是独立合成的，它们之间的空间关系没有被考虑。因此，合成结果不能很好的保持人脸的结构。此外，通过训练样本的线性组合进行肖像素描合成会产生模糊的效果。

总之，现有的方法只适用于严格控制成像条件的照片，而无法处理有光照和姿态变化的照片。

发明内容

一方面，本申请公开了一种从照片合成肖像素描的方法，包括：

将测试照片分割成多个测试照片块；

确定出各个测试照片块与多个训练集照片中预分割的照片块之间的第一匹配信息；

确定出各个测试照片块与多个训练集素描图像中预分割的图像块之间的第二匹配信息；

确定出所合成的素描图像的形状先验信息；

基于所述第一匹配信息、所述第二匹配信息和所述形状先验信息，为各个测试照片块确定出最佳匹配的训练集素描图像；以及

将所确定的训练集素描图像块合成为肖像素描图像。其中，为各个测试照片块确定出最佳匹配的训练集素描图像的步骤还可包括：

基于所述第一匹配信息、所述第二匹配信息和所述形状先验信息建立马尔科夫随机场模型；以及

通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。

本申请还公开了一种从照片合成肖像素描的方法，包括：

将测试照片分割成多个等间距重叠的测试照片块；

确定出各个测试照片块与多个训练集照片中预分割的照片块之间的第一匹配信息；

确定出各个测试图像块与多个训练集素描图像中预分割的图像块之间的第二匹配信息；

确定出各个所述测试照片的形状先验信息；

确定出两个相邻训练集图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的梯度一致性信息；

基于所述第一匹配信息、所述第二匹配信息、所述形状先验信息、所述灰度一致性信、以及所述梯度一致性信息，为各个所述测试照片块确定出最佳匹配的训练素描图像；以及

将所确定的训练素描图像块合成为肖像素描图像。其中，为各个测试照片块确定出最佳匹配的训练集素描图像的步骤可包括：

基于所述第一匹配信息、所述第二匹配信息、所述形状先验信息、所述灰度一致性信、以及所述梯度一致性信息建立马尔科夫随机场模型；以及

通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。

另一方面，本申请公开了这样一种从照片合成肖像素描的方法，其可包括：

将测试照片分割成多个测试照片块；

通过多个训练集照片和训练集素描图像为各个所述测试照片块建立马尔科夫随机场模型，其中，所述马尔科夫随机场模型包括各个所述测试照片的形状先验信息、各个所述测试照片块与所述训练集照片的照片块之间的第一匹配信息、以及各个所述测试照片块与所述训练集素描图像的图像块之间的第二匹配信息；

优化所述马尔科夫随机场模型从而在所述多个训练素描图像中为各个所述测试照片块选取最佳匹配的训练素描图像块；以及

将所选取的训练素描图像块合成为肖像素描图像。

本申请公开的用于从照片合成肖像素描的系统包括：

分割模块，将测试照片分割成多个测试照片块；

照片-照片匹配模块，确定出各个测试照片块与多个训练集照片中预分割的照片块之间的第一匹配信息；

照片-像素匹配模块，确定出各个测试照片块与多个训练集素描图像中预分割的图像块之间的第二匹配信息；

先验信息确定模块，确定出所要合成素描图像的形状先验信息；

优化模块，基于所述第一匹配信息、所述第二匹配信息和所述形状先验信息，为各个测试照片块确定出最佳匹配的训练集素描图像；以及

合成模块，将所确定的训练集素描图像块合成为肖像素描图像。

在一个实施方式中，所述优化模块被配置为基于所述第一匹配信息、所述第二匹配信息和所述形状先验信息建立马尔科夫随机场模型，并通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。

此外，上述从照片合成肖像素描的系统还可包括平滑模块，用于确定两个相邻训练集图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的梯度一致性信息。在这种情况下，所述优化模块被配置为，基于所述第一、二匹配信息、形状先验信息、灰度一致性信息和梯度一致性信息建立马尔科夫随机场模型，并通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。

上述用于从照片合成肖像素描的方法和系统可以处理不同光照条件下和不同姿态的人脸照片。由于引入了下述技术内容中的至少之一，上述方法和系统对光照和照片姿态具有鲁棒性。

1.引入了针对人脸特征部位的形状先验信息，减少了光照和姿态变化引起的失真。

2.用新颖的图像块描述子和测度来寻找给定照片图像块对应的素描图像块。

3.对相邻图像块的灰度及其梯度都采用了一致性约束。

附图说明

图1所示为根据本申请一个实施方式的从照片合成肖像素描的方法。

图2示出了马尔科夫随机场网络模型示意图。

图3示出了根据本申请一个实施方式的从照片合成肖像素描的系统。

具体实施方式

下面，参照附图对本申请的示例性实施方式进行详细描述。

实施方式1

图1所示为据本申请一个实施方式的从照片合成肖像素描的方法1000。方法从步骤S101开始，在该步骤中，可以将输入的测试照片分割成N个照片块。在一个实施方式中，测试照片分成了N个等间距重叠的照片块。此外，在进行分割之前，所有的照片和以及下面所描述的素描图像都通过平移、旋转和缩放进行预处理，以使得双眼的中心在固定的位置。在一个实施方式中，可以把图像截到250×200大小，双眼中心的位置为(75,125)和(125,125)。所有彩色图像都转化为灰度图。

经验证明，如果光照是接近正向时，上述的算法可以不需要预处理步骤。对于侧向光，可用对比度限制自适应直方图（CLAHE）来预处理。

在步骤S102中，基于在步骤S101中分割的N个图像块，通过多个训练集照片和训练集素描图像为各个所述测试照片块建立马尔可夫随机场（MRF）网络模型。

MRF网络中的每个节点是测试照片的图像块通过MRF网络模型估计的目标是估计节点的状态也就是说，对于每个从训练集中找到一对照片-素描图像块，在这里，训练集中的照片和素描已经在几何上对齐。和分别用来表示对应的照片图像块和素描图像块。如果图像块i和j在测试照片是相邻的，则用一条边把节点y_i和y_j连起来，也就是给它们加上了一致性约束。把所有的组合在一起就合成了测试照片的素描。

图2示出了上述形成的MRF网络模型示意图。该MRF模型的能量函数定义如下

$E\left({\left\{y_i\right\}}_{i=1}^N\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_L(x_i^p,y_i)+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_{\mathrm{Pi}}\left(y_i\right)+\underset{(i,j)\∈\mathrm{\Ξ}}{\mathrm{\Σ}}{E}_C(y_i^s,y_j^s),---\left(1\right)$

其中，Ξ是相邻的图像块对的集合，是局部证据函数，E_Pi(y_i)是形状先验函数，是相邻一致性函数，这将在下面分别进行描述。

在本发明中，可以使用双尺度MRF，在这种情况下，测试照片以及训练集照片的双层图像块大小可分别例如为10×10和20×20。为了便于理解，下面用单尺度的MRF模型来说明。

在步骤S103中，优化上述MRF模型从而在多个训练素描图像中为各个测试照片块选取最佳匹配的训练素描图像块。在一个实施方式中，可采用通过置信度传递算法优化上述MRF模型，即通过求公式（1）中的最小值来获得输入照片的图像块的最佳匹配的肖像块此外，置信度传递算法可使用最大后验估计，由于其属于现有技术，因此不再赘述。

为了减少计算量，在优化MRF模型之前，还可采用了候选块预选择算法。对于每个测试照片图像块从训练集选取前K（K＝20）个能量最小的照片-素描图像块对。为了利用人脸结构，候选块在图像块i周围的25×25区域而不是整个图像选取。节点i最终的估计是通过联合优化MRF网络的所有节点来选取K个候选块中的一个。

最后，在步骤S104中，将所选取的训练素描图像块合成为肖像素描图像。在一个实施方式中，为了避免模糊的问题，可在两个重叠图像块的重叠区域施加最小错误边界分割算法，这是纹理合成中常用的算法。

实施方式2

根据本申请的实施方式2和上述实施方式1类似，不同之处在于，在步骤S102中建立的MRF模型为：

$E\left({\left\{y_i\right\}}_{i=1}^N\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_L(x_i^p,y_i)+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_{\mathrm{Pi}}\left(y_i\right)---\left(1^{,}\right)$

其它的步骤和上述实施方式1相同，因此，不再赘述。

下面分别对上述公式（1）或（1’）中的局部证据函数、形状先验函数和相邻一致性函数进行描述。

1.局部证据函数

局部证据函数的作用是从训练库中找到测试照片图像块的匹配的素描图像块由于照片和素描图像具有不同的形态，直接匹配它们非常困难，所以通常是利用训练素描图像块对应的照片图像块假设如果和很接近，很可能是合成的目标素描图像块的一个很好的近似。本申请提出了同时计算测试照片图像块与训练照片图像块和训练素描图像块的匹配程度，也就是定义了局部证据函数是照片-照片平方差距离和照片-画像平方差距离的加权和，

$E_L(x_i^p,y_i)=d_{L1}^2(x_i^p,y_i^p)+{\mathrm{\λ}}_{L2}{d}_{L2}^2\left(x_{\text{i}}^p\text{,}{y}_i^s\right),---\left(2\right)$

其中，表示形状先验信息的能量函数；

表示测试照片块与训练集照片块之间的平方形态内距离；

表示测试照片块与训练集素描图像之间的平方形态内距离；以及

λ_L2是权重，在一个实施方式中可取整数2。

从公式（2）中可以看出，上述局部证据函数包括以下两个方面。

1.1从照片图像块到照片图像块的匹配

E_L()函数的一种简单的形式可例如是[5]文中用到的和的欧氏距离。但是，当光照变化存在时，这种形式效果并不好。因为大多数素描线条都对应着照片中的边缘信息，因此采用高斯差（DoG）滤波来做照片预处理，也就是用两个标准差分别为σ0和σ1的高斯核的差去和每张照片做卷积，然后规一化所有的像素值到均值为零方差为1。在一个实施方式中，优选使用(σ0,σ1)=(0,4)或(1,4)。DoG滤波有如下优点：第一，它可以检测和增强图像的边缘，所以合成的素描有更好的细节。第二，减去低频分量可以抑制光照变化的影响，比如阴影。将规一化像素值分布到零均值单位方差，是一种常用的光照规一化的方法。但是，它在素描合成问题中的提高非常有限。

1.2.从照片图像块到素描图像块的匹配

照片图像块之间的形态内距离并不总是很好的选择素描图像块。在欧氏距离下相似的照片图像块可能对应差别很大的素描图像块。有趣的是，人总是能直接匹配照片和素描。受此启发，该申请提出了测试照片图像块和训练素描图像块之间的形态间距离来提高选择的准确度。由于照片和素描在视觉上差异很大，直接匹配它们并不容易。但是，它们的梯度方向存在某些相似性。因此，采用以下步骤来获取照片图像块和素描图像块的形态间距离。

首先，确定每个测试照片块的稠密SIFT描述子，它是一种属于方向直方图的描述子。具体可参见Lowe,D.:Distinctiveimagefeaturesfromscale-invariantkeypoints.IJCV60,91-110(2004)。在一个实施方式中，计算每个图像块的稠密SIFT描述子，然后获取所确定的稠密SIFT描述子的欧氏距离，并将其作为照片图像块和对应的素描图像块的形态间距离。为了获得较大范围的结构信息，在比图像块更大的区域上提取描述子。对于每个图像块，在和图像块中心重合的36x36（图像块大小为10x10）的区域内提取，这一区域被分成4×4的同样大小的空间区间。8个方向区间在0°-360°等间隔分布。每个像素对直方图的贡献由它的梯度强度和一个σ=6且图像块中心重合的高斯窗决定。所以，上述的描述子是128维的。在一个实施方式中，用L2范数规一化，用0.2的域值截断，然后重新规一化。具体可参见Lowe,D.:Distinctiveimagefeaturesfromscale-invariantkeypoints.IJCV60,91–110(2004)。

2.形状先验函数

人脸图像是一类特殊的图像，它有很规则的结构；因而，可以用不同部位的形状先验来有效的提高合成的效果。由于没有考虑全局的结构，一些人脸结构的缺失，特别是轮廓，是基于图像块的素描合成中常见的问题。当这一问题发生时，一些人脸部位的线条位置被合成为空白块。这一问题在光照和姿态变化时尤为明显。但是，用先验信息去指导素描图像块的选择可以有效的减少这一问题。首先在训练集素描图像和测试照片上来检测预先定义的特征点。在一个实施方式中，可通过人脸对齐算法，例如Liang,L.,Xiao,R.,Wen,F.,Sun,J.:Facealignmentviacomponent-baseddiscriminativesearch.In:Forsyth,D.,Torr,P.,Zisserman,A.(eds.)ECCV2008,PartII.LNCS,vol.5303,pp.7285.Springer,Heidelberg(2008)中提出的算法来确定特征点。这些选定的特征点在容易发生结构缺失的区域，特别是轮廓处。在这些区域加上形状先验，其它区域不加。如果一个特征点f位于测试照片的图像块i，则用核密度估计计算先验分布，

$E_{\mathrm{Pi}}\left(y_i\right)={\mathrm{\λ}}_P\ln \left[\frac{1}{\sqrt{2\mathrm{\π}}{N}_t}\underset{k=1}{\overset{N_t}{\mathrm{\Σ}}}\exp (-\frac{{(\mathrm{\β}\left(y_i^s\right)-{\mathrm{\β}}_{k,f})}^2}{h_f^2})\right].---\left(3\right)$

其中，

Nt是训练集的素描图像数量；

是素描图像块上的统计量；

β_k,f是素描图像k中以特征点f为中心的图像块上的统计量；

h_f是特征点f对应的带宽，设为{β_k，f}的标准差的三倍；

λ_P为权重用来规一化形状先验的测度尺度。根据本申请实施方式提出的算法的结果对λ_P在相当大的区间不敏感。在一个示例中，λ_P=0.01。

上述统计量可例如为梯度强度的平均、像素值的方差、在边缘上的像素的比例。优选地，使用梯度强度的平均作为统计量β(·)。其可以解决合成肖像中结构丢失的问题。

3.相邻一致性函数

相邻一致性函数的作用是使得估计的素描图像块平滑，因此可以抑制合成的图像的错误。根据本申请一个实施方式的相邻一致性函数例如为：

$E_C(y_i,y_j)={\mathrm{\λ}}_{\mathrm{IC}}{d}_{\mathrm{IC}}^2(y_i^s,y_j^s)+{\mathrm{\λ}}_{\mathrm{GC}}{d}_{\mathrm{GC}}^2(y_i^s,y_j^s),---\left(4\right)$

其中灰度一致性项是两个相邻图像块和在重叠区域的差别的平方，梯度一致性项是和的稠密SIFT描述子的欧氏距离的平方。灰度一致性项要求输出素描平滑；但是，只有这一项会导致一些结构的丢失，因为两个空白的区域相邻时有很高的灰度一致性。因此，在公式（4）中还加上了梯度一致性约束，它要求相邻的图像块有相似的梯度方向。使用梯度一致性可以进一步的减少结构的丢失。权重λ_IC例如为整数1；λ_GC例如为0.1。

以上描述了根据本申请一方面的、用于从照片合成肖像素描的方法，下面将描述根据本申请另一方面的、用于从照片合成肖像素描的系统2000。如图3所示，系统2000包括分割模块201、照片-照片匹配模块202、照片-像素匹配模块203、先验信息确定模块204、优化模块205和合成模块206。

分割模块201用于将测试照片分割成多个测试照片块。如上所述，可以将测试照片分成了N个等间距重叠的图像块。此外，在进行分割之前，所有的照片和以及下面所描述的素描图像都通过平移、旋转和缩放进行预处理，以使得双眼的中心在固定的位置。

照片-照片匹配模块202用于确定出各个测试照片块与多个训练集照片中预分割的照片块之间的第一匹配信息。第一匹配信息可包括各个测试照片块和对应的训练集照片块之间的平方形态内距离。照片-像素匹配模块203用于确定出各个测试照片块与多个训练集素描图像中预分割的图像块之间的第二匹配信息。第二匹配信息包括各个测试照片块和对应的训练集素描图像之间的平方差距离。可通过确定每个测试照片块的稠密SIFT描述子，并获取所确定的稠密SIFT描述子的欧氏距离，以将其作为测试照片块和对应的素描图像块的距离。

先验信息确定模块204，用于确定出各个测试照片块的形状先验信息。在一个实施方式中，先验信息确定模204被配置为，根据训练集素描图像和测试照片上预定义的特征点，通过上述公式（3）确定所述形状先验信息。

优化模块205被配置为，基于上述第一匹配信息、第二匹配信息和形状先验信息，为各个测试照片块确定出最佳匹配的训练集素描图像。具体地，优化模块被配置205可基于第一匹配信息、第二匹配信息和形状先验信息建立马尔科夫随机场模型，并通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。所建立的马尔科夫随机场模型可例如为上述公式（1’）所示。

合成模块206，用于将优化模块205所确定的训练集素描图像块合成为肖像素描图像。

此外，根据本申请的另一个实施方式，系统2000还可包括平滑模块207，用于确定两个相邻训练集图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的梯度一致性信息。其中，灰度一致性信息为两个相邻训练集图像块在重叠区域的差别的平方，以及梯度一致性信息为两个相邻训练集素描图像块的稠密SIFT描述子的欧氏距离的平方。平方形态内距离通过以下步骤确定：确定每个测试照片块的稠密SIFT描述子；以及获取所确定的稠密SIFT描述子的欧氏距离，并将其作为所述测试照片块和对应的素描图像块的形态间距离。在这种情况下，优化模块205可基于第一、二匹配信息、形状先验信息、灰度一致性信息和梯度一致性信息建立MRF模型，并通过优化所建立的MRF模型为各个测试照片块确定出最佳匹配的训练集素描图像。

以上仅为本申请的示例性实施方式，本领域技术人员根据上述实施方式，在本申请权利要求限定的范围内，可以对上述各个实施方式进行修改。

Claims (29)

1.一种从照片合成肖像素描的方法，包括：

将测试照片分割成多个测试照片块；

确定出各个测试照片块与多个训练集照片中预分割的照片块之间的第一匹配信息；

确定出各个测试照片块与多个训练集素描图像中预分割的图像块之间的第二匹配信息；

确定所要合成的素描图像的形状先验信息；

基于所述第一、第二匹配信息、和所述形状先验信息，为各个测试照片块确定出最佳匹配的训练集素描图像片；以及

将所确定的训练集素描图像块合成为肖像素描图像。

2.如权利要求1所述的方法，其中，所述第一匹配信息包括各个测试照片块和对应的训练集照片块之间的平方差距离，以及所述第二匹配信息包括各个测试照片块和对应的训练集素描图像块之间的平方差距离。

3.如权利要求1所述的方法，其中，为各个测试照片块确定出最佳匹配的训练集素描图像块的步骤包括：

基于所述第一、第二匹配信息、和所述形状先验信息建立马尔科夫随机场模型；以及

通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像块。

4.一种从照片合成肖像素描的方法，包括：

将测试照片分割成多个等间距重叠的测试照片块；

确定出各个测试照片块与多个训练集照片中预分割的照片块之间的第一匹配信息；

确定出各个测试照片块与多个训练集素描图像中预分割的素描图像块之间的第二匹配信息；

确定出所要合成的素描图像的形状先验信息；

确定出两个相邻训练集素描图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的梯度一致性信息；

基于所述第一、第二匹配信息、所述形状先验信息、所述灰度一致性信息、以及所述梯度一致性信息，为各个所述测试图像块确定出最佳匹配的训练素描图像；以及

将所确定的训练素描图像块合成为肖像素描图像。

5.如权利要求4所述的方法，其中，所述第一匹配信息包括各个测试照片块和对应的训练集照片块之间的平方差距离，以及所述第二匹配信息包括各个测试照片块和对应的训练集素描图像块之间的平方差距离。

6.如权利要求4所述的方法，其中，所述灰度一致性信息为两个相邻训练集素描图像块在重叠区域的差值的平方和，以及所述梯度一致性信息为两个相邻训练集素描图像块的稠密SIFT描述子的欧氏距离的平方。

7.如权利要求4所述的方法，其中，为各个测试照片块确定出最佳匹配的训练集素描图像的步骤包括：

基于所述第一匹配信息、所述第二匹配信息、所述形状先验信息、所述灰度一致性信、以及所述梯度一致性信息建立马尔科夫随机场模型；以及

通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像块。

8.一种从照片合成肖像素描的方法，包括：

将测试照片分割成多个测试照片块；

通过多个训练集照片和训练集素描图像为各个所述测试照片块建立马尔科夫随机场模型，其中，所述马尔科夫随机场模型包括各个所述测试素描图像的形状先验信息、各个所述测试照片块与所述训练集照片的照片块之间的第一匹配信息、以及各个所述测试照片块与所述训练集素描图像的图像块之间的第二匹配信息；

优化所述马尔科夫随机场模型从而在所述多个训练素描图像中为各个所述测试图像块选取最佳匹配的训练素描图像块；以及

将所选取的训练素描图像块合成为肖像素描图像。

9.如权利要求8所述的方法，其中，所分割的多个测试照片块之间具有重叠区域，其中，所述马尔科夫随机场模型还包括：两个相邻训练集素描图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的梯度一致性信息。

10.如权利要求9所述的方法，其中，所述灰度一致性信息为两个相邻训练集素描图像块在重叠区域的差值的平方和，以及所述梯度一致性信息为两个相邻训练集素描图像块的稠密SIFT描述子的欧氏距离的平方。

11.如权利要求8所述的方法，其中，所述第一匹配信息包括各个测试照片块和对应的训练集照片块之间的平方差距离，以及所述第二匹配信息包括各个测试照片块和对应的训练集素描图像块之间的平方差距离。

12.如权利要求2、5或11中任意一项所述的方法，其中，所述平方差距离通过以下步骤确定：

确定每个测试照片块的稠密SIFT描述子；以及

获取所确定的稠密SIFT描述子的欧氏距离，并将其作为所述测试照片块和对应的素描图像块的距离。

13.如权利要求8所述的方法，还包括：

在建立马尔科夫随机场模型之前，通过两个高斯差滤波分别对所述测试照片进行滤波处理。

14.如权利要求13所述的方法，其中，所述两个高斯差滤波分别具有两个标准差参数σ₀和σ₁，以及其中，(σ₀,σ₁)＝(0,4)或(1,4)。

15.如权利要求1、4或8中任意一项所述的方法，其中，所述形状先验信息通过以下步骤确定：

在训练集素描图像和测试照片上检测预定义的特征点；

如果测试照片的图像块i具有特征点f，则通过以下核密度估计规则确定所述形状先验信息，

$E_{\mathrm{Pi}}\left(y_i\right)={\mathrm{\λ}}_P\ln \left[\frac{1}{\sqrt{2\mathrm{\π}}{N}_t}\underset{k=1}{\overset{N_t}{\mathrm{\Σ}}}\exp (-\frac{{(\mathrm{\β}\left(y_i^s\right)-{\mathrm{\β}}_{k,f})}^2}{h_f^2})\right].$

其中，N_t是训练集的素描图像数量；

是素描图像块上的统计量；

β_k，f是素描图像k中以特征点f为中心的图像块上的统计量；

h_f是特征点f对应的带宽；以及

λ_P为规一化形状先验的测度尺度。

16.如权利要求15所述的方法，其中，所述统计量为梯度强度的平均、像素值的方差、在边缘上的像素的比例中之一。

17.如权利要求15所述的方法，其中，所述特征点位于所述训练集素描图像和所述测试照片中的轮廓处。

18.如权利要求1、4或8中任意一项所述的方法，其中，所述多个训练集照片和所述多个训练集素描图像分别形成几何上对齐的照片-素描对。

19.一种从照片合成肖像素描的方法，包括：

将测试照片分割成多个测试照片块；

通过多个训练集照片和训练集素描图像为各个测试照片块建立马尔科夫随机场模型，

用置信度传递算法优化所述马尔科夫随机场模型，从而在所述多个训练素描图像中为各个所述测试照片块选取最佳匹配的训练素描图像块；以及

将所选取的训练素描图像块合成为肖像素描图像，

其中，所述马尔科夫随机场表示为：

$E({\left\{y_i\right\}}_{i=1}^N=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_L(x_i^p,y_i)+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_{\mathrm{Pi}}\left(y_i\right)+\underset{(i,j)\∈\mathrm{\Ξ}}{\mathrm{\Σ}}{E}_C(y_i^s,y_j^s)),$

其中 $E_L(x_i^p,y_i)=d_{L1}^2(x_i^p,y_i^p)+{\mathrm{\λ}}_{L2}{d}_{L2}^2(x_i^p,y_i^s)$

$E_{\mathrm{Pi}}\left(y_i\right)={\mathrm{\λ}}_P\ln \left[\frac{1}{\sqrt{2\mathrm{\π}}{N}_t}\underset{k=1}{\overset{N_t}{\mathrm{\Σ}}}\exp (-\frac{{(\mathrm{\β}\left(y_i^s\right)-{\mathrm{\β}}_{k,f})}^2}{h_f^2})\right].$

$E_C(y_i,y_j)={\mathrm{\λ}}_{\mathrm{IC}}{d}_{\mathrm{IC}}^2(y_i^s,y_j^s)+{\mathrm{\λ}}_{\mathrm{GC}}{d}_{\mathrm{GC}}^2(y_i^s,y_j^s),$

其中，λ_L2，λ_IC，λ_GC为数值范围为0～1的权重；

表示测试照片块；

为训练集照片块；

为训练集素描图像块；

y_i表示和构成的照片-素描对；

N表示测试照片块的数量

N_t表示照片-素描对的数量；

是素描图像块上的统计量；

β_k，f是素描图像k中以特征点f为中心的图像块上的统计量；

h_f是特征点f对应的带宽；

λ_P为规一化形状先验的测度尺度；

灰度一致性项是两个相邻训练集素描图像块和在重叠区域的各个像素差值的平方和，梯度一致性项是和的稠密SIFT描述子的欧氏距离的平方。

20.如权利要求19所述的方法，其中，所述统计量为梯度强度的平均、像素值的方差、在边缘上的像素的比例中之一。

21.如权利要求19所述的方法，其中，所述特征点位于所述训练集素描图像和测试照片中的轮廓处。

22.一种用于从照片合成肖像素描的系统，包括：

分割模块，将测试照片分割成多个测试照片块；

照片-照片匹配模块，确定出各个测试照片块与多个训练集照片中预分割的照片块之间的第一匹配信息；

照片-像素匹配模块，确定出各个测试照片块与多个训练集素描图像中预分割的图像块之间的第二匹配信息；

先验信息确定模块，确定出各个测试图像块的形状先验信息；

优化模块，基于所述第一匹配信息、所述第二匹配信息和所述形状先验信息，为各个测试照片块确定出最佳匹配的训练集素描图像；以及

合成模块，将所确定的训练集素描图像块合成为肖像素描图像。

23.如权利要求22所述的系统，其中，所述第一匹配信息包括各个测试照片块和对应的训练集照片块之间的平方差距离，以及所述第二匹配信息包括各个测试照片块和对应的训练集素描图像之间的平方差距离。

24.如权利要求22所述的系统，其中，所述优化模块被配置为基于所述第一匹配信息、所述第二匹配信息和所述形状先验信息建立马尔科夫随机场模型，并通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。

25.如权利要求22所述的系统，还包括：

平滑模块，用于确定两个相邻训练集图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的梯度一致性信息。

26.如权利要求25所述的系统，其中，所述优化模块被配置为，基于所述第一匹配信息、所述第二匹配信息和所述形状先验信息、所述灰度一致性信息和所述梯度一致性信息建立马尔科夫随机场模型，并通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。

27.如权利要求25所述的系统，其中，所述先验信息确定模块被配置为，根据训练集素描图像和测试照片上预定义的特征点，通过以下核密度估计规则确定所述形状先验信息，

$E_{\mathrm{Pi}}\left(y_i\right)={\mathrm{\λ}}_P\ln \left[\frac{1}{\sqrt{2\mathrm{\π}}{N}_t}\underset{k=1}{\overset{N_t}{\mathrm{\Σ}}}\exp (-\frac{{(\mathrm{\β}\left(y_i^s\right)-{\mathrm{\β}}_{k,f})}^2}{h_f^2})\right].$

其中，N_t是训练集的素描图像数量；

是素描图像块上的统计量；

β_k，f是素描图像k中以特征点f为中心的图像块上的统计量；

h_f是特征点f对应的带宽；

i表示具有特征点f的测试图像块；以及

λ_P为规一化形状先验的测度尺度。

28.如权利要求27所述的系统，其中，所述统计量为梯度强度的平均、像素值的方差、在边缘上的像素的比例中之一。

29.如权利要求27所述的系统，其中，所述特征点位于所述训练集素描图像和所述测试照片中的轮廓处。