CN104077742A - 基于Gabor特征的人脸素描合成方法及系统 - Google Patents

Abstract

本发明提供了一种基于GABOR特征的人脸素描合成方法及系统，包括步骤：将待合成人脸照片、人脸照片样本以及人脸素描样本划分为相互重叠的像素块；提取各像素块的Gabor特征，基于像素块Gabor特征的协方差矩阵获得Stein散度矩阵；基于Stein散度矩阵及各人脸照片样本像素块的重建系数，获得最优权值；采用最优权值将各人脸素描样本对应位置的像素块加权合成，获得合成人脸素描像素块；融合合成人脸素描像素块获得待合成人脸照片对应的合成人脸素描。本发明可合成更高质量的人脸素描，可应用于刑事侦查中。

Description

基于Gabor特征的人脸素描合成方法及系统

技术领域

本发明属于人脸素描合成技术领域，具体涉及一种基于Gabor特征的人脸素描合成方法及系统。

背景技术

近年来，从人脸照片数据库检索犯罪嫌疑人照片作为一种刑事侦查手段，已广泛应用于执法工作中。但是嫌疑人照片有时无法获取，只能通过画家根据目击者回忆画出嫌疑人的人脸素描，再采用人脸幅素描进行检索。然而，由于人脸素描和人脸照片的明显异质性，加之人脸素描的生成过程中，涉及未知的心理机制影响，因此采用传统人脸识别方法识别人脸素描的准确度很低。解决该问题的方法之一就是根据人脸素描和人脸照片合成伪人脸照片或伪人脸素描。此外，在生活娱乐方面，人脸素描大多由专业美术人员手工或通过绘画软件创作而来，伪人脸素描和伪人脸照片的合成也可以减轻美术工作人员的负担，并增加创作灵感。

现存的素描合成方法包括三类：基于参数估计的全局脸方法、基于图像修复的局部脸方法和联合方法。

(1)基于参数估计的全局脸方法

2003年Tang等^[1]提出了一种基于特征脸的素描合成方法，该方法基于特征变换，把彩色图的纹理和形状变换为素描图的纹理和图像。由于全局脸模型的表达力不够，该方法在合成头发和脸部细节时，效果不佳。

(2)基于图像修复的局部脸方法

Liu等^[2]受局部线性嵌入(locally linear embedding，LLE)的启发，提出了一种几何结构局部线性保留的合成方法，该方法在初始估计过程中，容易丢失细节信息，也称作残差，从这点来说，该方法拓宽了人们对合成的认识。

Tang等^[3]提出了多尺度的马尔科夫随机场(Multi-scale Markov Random Field，也称MMRF)模型，在光照条件且正面人脸下，取得了很好效果。在此基础上，Zhang等^[4]基于块描述子得到了一种新的素描合成方法，该方法克服了马尔科夫随机场模型中存在的不同姿势和不同光照下合成效果不理想的问题。

最近，Chang等^[5]提出基于稀疏编码(sparse coding)合成素描，并首次通过稀疏编码学习出耦合字典素描块字典和块字典。考虑到候选素描的权重组合将导致高频信息的丢失，Ji等^[6]从正则化角度进行了稀疏编码。此外，Wang等^[7]提出了半耦合字典学习方法。

(3)联合方法

主要以Tu等人^[8]为代表，Tu等人^[8]提出了考虑了局部特征和全局几何结构的方向联合(direct combined)模型，并将该模型用于素描合成。

现有的素描合成方法均是采用欧氏距离度量两个图像或图像块，由于光照对像素影响很大，由于光照变化会导致高频信息丢失，合成效果急剧下降，因此上述方法的合成效果需进一步加强，还需要寻找对光照更鲁棒的特征空间。

发明内容

针对现有技术存在的问题，本发明提供了一种可进一步提高人脸素描合成质量的、基于GABOR特征的人脸素描合成方法及系统。

为解决上述技术问题，本发明采用如下的技术方案：

一、基于Gabor特征的人脸素描合成方法，包括步骤：

步骤1，将待合成人脸照片、人脸照片训练集中人脸照片样本以及人脸素描训练集中人脸素描样本划分为相互重叠的像素块，待合成人脸照片、人脸照片样本及人脸素描样本大小相同，且人脸照片样本和人脸素描样本一一对应；

步骤2，提取各像素块的Gabor特征，基于像素块Gabor特征的协方差矩阵获得第一Stein散度矩阵和第二Stein散度矩阵，其中，第一Stein散度矩阵为待合成人脸照片像素块和各人脸照片样本像素块间的Stein散度矩阵，第二Stein散度矩阵为不同人脸照片样本像素块间的Stein散度矩阵；

步骤3，基于第一Stein散度矩阵、第二Stein散度矩阵及各人脸照片样本像素块的重建系数，采用正则最小二乘法获得第二Stein散度矩阵对第一Stein散度矩阵进行线性组合的最优权值；

步骤4，采用最优权值将各人脸素描样本对应位置的像素块加权合成，获得该对应位置像素块的合成人脸素描像素块；

步骤5，将合成人脸素描像素块按其在人脸上位置进行融合，获得待合成人脸照片对应的合成人脸素描。

步骤2中所述的提取各像素块的Gabor特征具体为：

获得像素块各像素点的Gabor特征，像素块中各像素点的Gabor特征构成像素块的Gabor特征。

上述像素块Gabor特征的协方差矩阵C表示像素块(i,j)Gabor特征的协方差矩阵，F_k表示像素块(i,j)中第k个像素点(x,y)的Gabor特征；T代表矩阵的转置，n表示像素块各行中像素点数。

上述第一Stein散度矩阵X_SD(i,j)中各元素如下：

${X_{\mathrm{SD}}}^{(m,1)}(i,j)=\log \left(\det \left(\frac{X_C(i,j)+{Y_C}^m(i,j)}{2}\right)\right)-\frac{1}{2}\log \left(\det \left(X_C(i,j){Y_C}^m(i,j)\right)\right)$

上述第二Stein散度矩阵Y_SD(i,j)中各元素如下：

${X_{\mathrm{SD}}}^{(m,s)}(i,j)=\log \left(\det \left(\frac{{X_C}^m(i,j)+{Y_C}^s(i,j)}{2}\right)\right)-\frac{1}{2}\log \left(\det \left({X_C}^m(i,j){Y_C}^s(i,j)\right)\right)$

其中，X_SD ^(m,1)(i,j)表示X_SD(i,j)中第m行的元素，Y_SD ^(m,s)(i,j)表示Y_SD(i,j)中第m行第s列的元素，m代表Stein散度矩阵中的行号，s代表Stein散度矩阵中的列号，1≤m≤M，1≤s≤M，M表示人脸照片训练集中人脸照片样本总数；X_C(i,j)是待合成人脸照片像素块(i,j)Gabor特征的协方差矩阵，Y_C ^m(i,j)和Y_SD ^(m,s)(i,j)分别表示人脸照片训练集中第m个样本和第s个样本的像素块(i,j)Gabor特征的协方差矩阵。

步骤3具体为：

最优权值w^*(i,j)采用正则最小二乘法获得：

$\begin{array}{cc}{w}^{*}(i,j)=\underset{w(i,j)}{\arg \min }\{{\left|\right|X_{\mathrm{SD}}(i,j)-w(i,j)Y_{\mathrm{SD}}(i,j)\left|\right|}_2^2+\mathrm{\τ}{\left|\right|w(i,j)\left)\right||}_2^2\}& s.t.\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i(i,j)=1\end{array}$

其中，w(i,j)是由人脸照片样本中像素块(i,j)的重建系数组成的行向量，w(i,j)＝[w₁(i,j),w₂(i,j),…,w_m(i,j),…,w_M(i,j)]，w_m(i,j)为第m个人脸照片样本中像素块(i,j)的重建系数，M为人脸照片样本总数；τ是合成误差正则化参数，为经验值。

二、基于Gabor特征的人脸素描合成系统，包括：

像素块划分模块，用来将待合成人脸照片、人脸照片训练集中人脸照片样本以及人脸素描训练集中人脸素描样本划分为相互重叠的像素块，待合成人脸照片、人脸照片样本及人脸素描样本大小相同，且人脸照片样本和人脸素描样本一一对应；

Stein散度矩阵获得模块，用来提取各像素块的Gabor特征，基于像素块Gabor特征的协方差矩阵获得第一Stein散度矩阵和第二Stein散度矩阵，其中，第一Stein散度矩阵为待合成人脸照片像素块和各人脸照片样本像素块间的Stein散度矩阵，第二Stein散度矩阵为不同人脸照片样本像素块间的Stein散度矩阵；

最优权值获得模块，用来基于第一Stein散度矩阵、第二Stein散度矩阵及各人脸照片样本像素块的重建系数，采用正则最小二乘法获得第二Stein散度矩阵对第一Stein散度矩阵进行线性组合的最优权值；

人脸素描像素块合成模块，用来采用最优权值将各人脸素描样本对应位置的像素块加权合成，获得该对应位置像素块的合成人脸素描像素块；

合成人脸素描像素块融合模块，用来将合成人脸素描像素块按其在人脸上位置进行融合，获得待合成人脸照片对应的合成人脸素描。

和现有技术相比，本发明具有如下特点：

通过把像素空间转化为Stein散度空间，在Stein散度空间中，自适应地选择训练集内样本像素块与输入图像像素块线性重建输入图像的合成素描像素；采用正则最小二乘法获得散度的权重组合，避免了像素近邻块中脸部细节丢失的问题^[2,5]，解决了输入的素描轮廓不清晰的问题，使输入块的表示系数更精确，从而获得更高质量的素描人脸图像。本发明方法合成的人脸素描可应用于刑事侦查中，基于合成的嫌疑人人脸素描从人脸照片数据库检索犯罪嫌疑人照片。

附图说明

图1为本发明实施例的流程图。

具体实施方式

本发明可采用软件技术实现自动流程运行，下面将详细说明本发明技术方案。

本发明基于Gabor特征的人脸素描合成方法，具体步骤如下：

步骤1，划分像素块。

采用相同的划分方式将输入的人脸照片、人脸照片训练集中人脸照片样本以及人脸素描训练集中人脸素描样本划分为相互重叠的像素块，输入的人脸照片即待合成人脸照片，输入的人脸照片、人脸照片样本、人脸素描样本大小相同，且人脸照片样本和人脸素描样本一一对应。本具体实施中划分的像素块大小为n×n。

步骤2，提取像素块的Gabor特征，基于像素块Gabor特征的协方差矩阵获得Stein散度矩阵，将像素空间转换到Stein散度空间。

本步骤进一步包括子步骤：

2.1对所有像素块，分别提取其Gabor特征；

像素块(i,j)中第k个像素点(x,y)的Gabor特征F_k为43维列向量，(i,j)表示像素块在图像中坐标，(x,y)为第k个像素点在像素块(i,j)中坐标；k＝n*y+x，n表示像素块各行中像素点数。

Gabor特征F_k可采用公式(1)计算获得：

F_k＝[x,y,P(x,y),g_0,0(x,y),g_0,1(x,y),...,g_u,v(x,y),...,g_7,4(x,y)]^T  (1)

式(1)中，T表示矩阵转置运算；P(x,y)是像素点(x,y)的灰度值；0≤u≤7，0≤v≤4，u、v为整数；g_u,v(x,y)表示像素点(x,y)在第u个方向、第v个尺度的特征，其计算公式如下：

$\begin{array}{c}{g}_{u,v}(x,y)=|P(x,y)*{\mathrm{\φ}}_{u,v}(x,y)|\\ {\mathrm{\φ}}_{u,v}(x,y)=\frac{\left|k_{u,v}\right|}{{\left(2\mathrm{\π}\right)}^2}{e}^{(-{\left|k_{u,v}\right|}^2{\left|z\right|}^2/2{\left(2\mathrm{\π}\right)}^2)}[e^{{\mathrm{ik}}_{u,v}z}-e^{{-2\mathrm{\π}}^2}]\\ k_{u,v}=\frac{\mathrm{\π}/2}{{\left(\sqrt{2}\right)}^v}{e}^{i\frac{\mathrm{\π}}{8}*u}\end{array}---\left(2\right)$

式(2)中，z为复数，z＝x+iy，i表示复数的虚部单位；φ_u,v(x,y)和k_u,v的计算公式中e上标的i同样表示复数的虚部单位；||表示复数的模，“*”是实数和复数的乘积。

像素块(i,j)中所有像素点(x,y)的Gabor特征F_k构成像素块(i,j)的Gabor特征。

2.2计算像素块Gabor特征对应的协方差矩阵。

像素块(i,j)Gabor特征的协方差矩阵C见式(3)，C为大小43×43的矩阵：

$C=\frac{1}{n^2-1}\underset{k=1}{\overset{n^2}{\mathrm{\Σ}}}\left[(F_k-\stackrel{\‾}{F}){(F_k-\stackrel{\‾}{F})}^T\right]---\left(3\right)$

式(3)中，F_k表示像素块(i,j)中第k个像素点(x,y)的Gabor特征；T代表矩阵的转置，n表示像素块各行中像素点数。

2.3根据像素块Gabor特征的协方差矩阵获得第一Stein散度矩阵和第二Stein散度矩阵，其中，第一Stein散度矩阵为输入的人脸照片像素块和人脸照片样本像素块间的Stein散度矩阵，第二Stein散度矩阵为人脸照片样本像素块间的Stein散度矩阵。

第一Stein散度矩阵简记为输入Stein散度矩阵X_SD(i,j)，第二Stein散度矩阵简记为样本Stein散度矩阵Y_SD(i,j)。通过Stein散度矩阵将像素空间转换到Stein散度空间。

第一Stein散度矩阵X_SD(i,j)和第二Stein散度矩阵Y_SD(i,j)的获得方法可参见文献：Azadeh Alavi,Yan Yang,Mehrtash Harandi,and Conrad,Sanderson,Multi-shot personre-identification via relational,stein divergence.IEEE Int.Conf.Image Processing ICIP,2013。获得的第一Stein散度矩阵X_SD(i,j)和第二Stein散度矩阵Y_SD(i,j)见公式(4)～(5)：

式(4)～(5)中：

m代表Stein散度矩阵中的行号，s代表Stein散度矩阵中的列号，其中，1≤m≤M，1≤s≤M，M表示人脸照片训练集中人脸照片样本总数；

X_SD(i,j)为大小M×1的矩阵，X_SD ^(m,1)(i,j)表示X_SD(i,j)中第m行第1列的元素；

Y_SD(i,j)大小为M×M的矩阵，Y_SD ^(m,s)(i,j)表示Y_SD(i,j)中第m行第s列的元素；

X_C(i,j)是输入的人脸照片像素块(i,j)Gabor特征的协方差矩阵，log表示底数为10的对数运算，det用来计算矩阵的行列式，Y_C ^m(i,j)和Y_C ^s(i,j)分别表示人脸照片训练集中第m个样本和第s个样本的像素块(i,j)Gabor特征的协方差矩阵；

表示对数行列式散度函数，是获取两个矩阵相似度的度量函数。

步骤3，在Stein散度空间中，获得第二Stein散度矩阵Y_SD(i,j)对第一Stein散度矩阵X_SD(i,j)进行线性组合的最优权值。

本步骤中，最优权值w^*(i,j)采用正则最小二乘法获得：

$\begin{array}{cc}{w}^{*}(i,j)=\underset{w(i,j)}{\arg \min }\{{\left|\right|X_{\mathrm{SD}}(i,j)-w(i,j)Y_{\mathrm{SD}}(i,j)\left|\right|}_2^2+\mathrm{\τ}{\left|\right|w(i,j)\left)\right||}_2^2\}& s.t.\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i(i,j)=1\end{array}---\left(6\right)$

式(6)中：

w(i,j)是由各人脸照片样本中像素块(i,j)的重建系数组成的行向量，w(i,j)＝[w₁(i,j),w₂(i,j),…,w_m(i,j),…,w_M(i,j)]，w_m(i,j)为人脸照片训练集第m个人脸照片样本中像素块(i,j)的重建系数，M表示人脸照片训练集中样本总数；

τ是合成误差正则化参数，为经验值；

表示计算欧氏平方距离，返回关于变量w(i,j)的函数在得到最小值时w(i,j)的取值w^*(i,j)，即最优权值， 为合成人脸素描的像素块(i,j)时，人脸素描训练集第m个人脸素描样本中像素块(i,j)的最优权值。

步骤4，采用最优权值对人脸素描训练集中各人脸素描样本对应位置的像素块加权合成，获得该对应位置像素块的合成人脸素描像素块。

合成人脸素描像素块X_S(i,j)采用公式(7)加权合成：

$X_S(i,j)={\mathrm{\Σ}}_{m=1}^M\left[w_m^{*}(i,j)Y_S^m(i,j)\right]---\left(7\right)$

式(6)中，为人脸素描训练集第m张人脸素描样本像素块构成的像素块集，为像素块对应的最优权重，M表示人脸照片训练集中人脸照片样本总数。

步骤5，将步骤4获得的合成人脸素描像素块按位置融合，获得输入的人脸图像对应的合成人脸素描。

下面结合附图和实施例对本发明技术方案进一步详细说明。本发明提供的实施例采用MATLAB R2010a作为仿真实验平台，下面结合每个步骤详细描述本实施例：

参见图1，本发明实施例具体步骤为：

步骤①：采用相同方式将输入的人脸照片、人脸照片训练集中人脸照片样本以及人脸素描训练集中人脸素描样本划分为相互重叠的像素块。

本实施例中采用的人脸照片训练集和人脸素描训练集中样本数均为168，即M＝168，且人脸图像训练集中人脸图像样本和人脸素描训练集人脸素描样本一一对应。输入的人脸照片以及人脸照片样本、人脸素描样本均为大小200像素×160像素的bmp图像，划分的像素块大小为20像素×20像素。

输入的人脸照片X_P划分的像素块集合为{X_P(i,j)|1≤i≤U,1≤j≤V}，人脸素描训练集和人脸照片训练集中样本划分的像素块集合分别为和M为人脸照片训练集和人脸素描训练集中样本个数，m表示人脸照片训练集和人脸素描训练集中样本编号。

由于采用相同方式对输入的人脸照片、人脸照片样本以及人脸素描样本划分像素块，那么各图像上像素块数量和分布完全相同，即各图像对应的U值和V值相同。

U表示图像各行上像素块数，V表示图像各列上像素块数，U值和V值根据图像划分方式得到。本实施例中，以图像左上方为起点，每次选取大小patch_size×patch_size(单位：像素×像素)的像素块，使像素块的上方和左方与已划分像素块有overlap个像素交叠，即位于(i,j)处的像素块与上、下、左、右邻接的像素块分别重叠大小patch_size×overlap的矩形区域，像素块位于图像的上边边缘或左侧边缘时除外。

因此U值和V值如下：

$U=\mathrm{ceil}\left(\frac{\mathrm{imrow}-\mathrm{overlap}}{\mathrm{patch}\_\mathrm{size}-\mathrm{overlap}}\right)=\mathrm{ceil}\left(\frac{200-12}{20-12}\right)=24---\left(8\right)$

$V=\mathrm{ceil}\left(\frac{\mathrm{imcol}-\mathrm{overlap}}{\mathrm{patch}\_\mathrm{size}-\mathrm{overlap}}\right)=\mathrm{ceil}\left(\frac{160-12}{20-12}\right)=19---\left(9\right)$

式(8)～(9)中，imrow和imcol分别表示图像的宽和长(单位：像素)，patch_size表示像素块边长，overlap表示相邻像素块间重叠的像素个数，ceil(t)表示返回大于或等于t的最小整数。

在对图像进行像素块划分时，为避免由裁剪或填补导致的图像尺寸变化，本实施例采取“回退”策略，即划分的像素块超出图像右侧边缘或底边边缘时，则以图像边缘为基准进行回退划分。

步骤②：提取像素块的Gabor特征，并计算Gabor特征对应的协方差矩阵，根据协方差矩阵获得第一Stein散度矩阵和第二Stein散度矩阵。

第一Stein散度矩阵为输入的人脸照片像素块和人脸照片样本像素块间的Stein散度矩阵，简记为输入Stein矩阵X_SD(i,j)。第二Stein散度矩阵为人脸照片训练集中人脸照片样本像素块间的Stein散度矩阵，简记为样本Stein矩阵Y_SD(i,j)。

F_k为像素块(i,j)中第k个像素点(x,y)的Gabor特征，为43维列向量，k＝20*y+x：

F_k＝[x,y,P(x,y),g_0,0(x,y),g_0,1(x,y),...,g_u,v(x,y),...,g_7,4(x,y)]^T   (10)

g_u,v(x,y)表示像素点(x,y)在第u个方向、第v个尺度的特征，其计算公式如下：

$\begin{array}{c}{g}_{u,v}(x,y)=|P(x,y)*{\mathrm{\φ}}_{u,v}(x,y)|=\sqrt{{(P(x,y)+\mathrm{Re}{\left({\mathrm{\φ}}_{u,v}(x,y)\right)}^2+(P(x,y)+\mathrm{Im}\left({\mathrm{\φ}}_{u,v}(x,y)\right)}^2},\\ {\mathrm{\φ}}_{u,v}(x,y)=\frac{\left|k_{u,v}\right|}{{\left(2\mathrm{\π}\right)}^2}{e}^{(-{\left|k_{u,v}\right|}^2{\left|z\right|}^2/2{\left(2\mathrm{\π}\right)}^2)}[e^{{\mathrm{ik}}_{u,v}z}-e^{-{2\mathrm{\π}}^2}]\\ k_{u,v}=\frac{\mathrm{\π}/2}{{\left(\sqrt{2}\right)}^v}{e}^{i\frac{\mathrm{\π}}{8}*u}=\frac{\mathrm{\π}}{{\left(\sqrt{2}\right)}^{v+2}}{e}^{i\frac{\mathrm{\π}}{8}*u},\left|k_{u,v}\right|=\frac{\mathrm{\π}}{{\left(\sqrt{2}\right)}^{v+2}}\end{array}---\left(11\right)$

像素块(i,j)Gabor特征的协方差矩阵为C为：

$C=\frac{1}{399}\underset{k=1}{\overset{400}{\mathrm{\Σ}}}(F_k-\stackrel{\‾}{F}){(F_k-\stackrel{\‾}{F})}^T,\stackrel{\‾}{F}=\frac{1}{400}\underset{k=1}{\overset{400}{\mathrm{\Σ}}}{F}_k---\left(12\right)$

基于像素块(i,j)Gabor特征的协方差矩阵，采用公式(4)～(5)分别计算第一Stein散度矩阵X_SD(i,j)和第二Stein散度矩阵Y_SD(i,j)。

步骤③：在Stein散度空间中，采用正则最小二乘法，获得第二Stein散度矩阵Y_SD(i,j)对对第一Stein散度矩阵X_SD(i,j)进行线性组合的最优权值w^*(i,j)。

最优权值w^*(i,j)采取以下公式获得：

$\begin{array}{cc}{w}^{*}(i,j)=\underset{w(i,j)}{\arg \min }\{{\left|\right|X_{\mathrm{SD}}(i,j)-w(i,j)Y_{\mathrm{SD}}(i,j)\left|\right|}_2^2+\mathrm{\τ}*{\left|\right|w(i,j)\left)\right||}_2^2\}& s.t.\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i(i,j)=1\end{array}$

$\left(13\right)$

步骤④：采用最优权值对人脸素描训练集中各人脸素描样本对应位置的像素块加权合成，获得该对应位置像素块的合成人脸素描像素块。

合成人脸素描像素块X_S(i,j)采取以下公式获得:

$X_S(i,j)={\mathrm{\Σ}}_{m=1}^M\left[w_m^{*}(i,j)Y_S^m(i,j)\right]---\left(14\right)$

步骤⑤：将合成的人脸素描像素块按照其在人脸上位置进行融合，获得完整的人脸素描。相邻像素块间重叠部分的像素灰度值采用取均值的方法获取。获得的合成人脸素描可作为预测结果输出，预测阶段完成。

本发明通过把像素空间转化为Stein散度空间，获得了散度的权重组合，避免了同类算法中像素近邻块对脸部细节^[2,5]丢失的问题，使输入像素块的结构表示系数更加精确，最终获得更高质量的素描人脸图像。

为说明本发明效果，以下提供对比实验。

采用CUHK人脸素描数据库^[9]，包括188个不同个体，每人人脸图像各一张，所有图像大小统一为200×160，从中选取168张进行训练，其余2张图像为待测试图像。划分的像素块尺寸为20×20，相邻像素块间交叠12个像素，即对于所有图像，imrow＝200,imcol＝160,patch_size＝20,overlap＝12。

文献5记载的稀疏编码方法中合成误差设置为0.02。文献2记载的邻域嵌入方法的近邻块个数K取100，最大迭代次数maxiter取5。本发明方法涉及的正则化参数τ取值0.05。

表1  素描合成的PSNR值

方法	PSNR(单位：(dB))
		文献5记载方法	12.03
文献2记载方法	17.16
		本发明方法	17.29
提高	+0.13/+4.94

峰值信噪比(PSNR，单位为dB)是最普遍、使用最广泛的图像质量客观量测指标，峰值信噪比越大，说明图像合成效果越好。采用本发明、文献5记载方法以及文献2记载方法获得的合成图像的PSNR见表1，从表中可以看出，和文献5和文献2中记载方法相比，本发明合成图像的PSNR分别提高了4.94个dB和0.13个dB。

文中涉及如下参考文献：

[1]Xiaoou Tang and Xiaogang Wang,Face sketch synthesis and recognition.Computer Vision,2003.Proceedings.Ninth IEEE International Conference on.IEEE,2003,pp.687–694.

[2]Qingshan Liu,Xiaoou Tang,Hongliang Jin,Hanqing Lu,and Songde Ma.Anonlinear approach for face sketch synthesis and recognition.Computer Vision and PatternRecognition,2005.CVPR2005.IEEE Computer Society Conferenceon.IEEE,2005,vol.1,pp.1005–1010.

[3]Xiaogang Wang and Xiaoou Tang.Face photo-sketch synthesis and recognition.Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.31,no.11,pp.1955–1967,2009.

[4]Wei Zhang,Xiaogang Wang,and Xiaoou Tang.Lighting and pose robust face sketchsynthesis.Computer Vision–ECCV2010,pp.420–433.Springer,2010.

[5]Liang Chang,Mingquan Zhou,Yanjun Han,and Xiaoming Deng.Face sketchsynthesis via sparse representation.Pattern Recognition(ICPR),201020th InternationalConference on.IEEE,2010,pp.2146–2149.

[6]Naye Ji,Xiujuan Chai,Shiguang Shan,and Xilin Chen.Local regression model forautomatic face sketch generation.Image and Graphics(ICIG),2011Sixth InternationalConference on.IEEE,2011,pp.412–417.

[7]ShenlongWang,Lei Zhang,Yan Liang,and Quan Pan.Semicoupled dictionarylearning with applications to image superresolution and photo-sketch synthesis.ComputerVision and Pattern Recognition(CVPR),2012IEEE Conference on.IEEE,2012,pp.2216–2223.

[8]Ching-Ting Tu and J-JJ Lien.Automatic location of facial feature points andsynthesis of facial sketches using direct combined model.Systems,Man,and Cybernetics,Part B:Cybernetics,IEEE Transactions on,vol.40,no.4,pp.1158–1169,2010.

[9]Xiaoou Tang and Xiaogang Wang,Face sketch synthesis and recognition.ComputerVision,2003.Proceedings.Ninth IEEE International Conference on.IEEE,2003,pp.687–694.

Claims (6)

1.基于Gabor特征的人脸素描合成方法，其特征在于，包括步骤：

步骤1，将待合成人脸照片、人脸照片训练集中人脸照片样本以及人脸素描训练集中人脸素描样本划分为相互重叠的像素块，待合成人脸照片、人脸照片样本及人脸素描样本大小相同，且人脸照片样本和人脸素描样本一一对应；

步骤2，提取各像素块的Gabor特征，基于像素块Gabor特征的协方差矩阵获得第一Stein散度矩阵和第二Stein散度矩阵，其中，第一Stein散度矩阵为待合成人脸照片像素块和各人脸照片样本像素块间的Stein散度矩阵，第二Stein散度矩阵为不同人脸照片样本像素块间的Stein散度矩阵；

步骤3，基于第一Stein散度矩阵、第二Stein散度矩阵及各人脸照片样本像素块的重建系数，采用正则最小二乘法获得第二Stein散度矩阵对第一Stein散度矩阵进行线性组合的最优权值；

步骤4，采用最优权值将各人脸素描样本对应位置的像素块加权合成，获得该对应位置像素块的合成人脸素描像素块；

步骤5，将合成人脸素描像素块按其在人脸上位置进行融合，获得待合成人脸照片对应的合成人脸素描。

2.如权利要求1所述的基于Gabor特征的人脸素描合成方法，其特征在于：

步骤2中所述的提取各像素块的Gabor特征具体为：

获得像素块各像素点的Gabor特征，像素块中各像素点的Gabor特征构成像素块的Gabor特征。

3.如权利要求1所述的基于Gabor特征的人脸素描合成方法，其特征在于：

所述的像素块Gabor特征的协方差矩阵C表示像素块(i,j)Gabor特征的协方差矩阵，F_k表示像素块(i,j)中第k个像素点(x,y)的Gabor特征；T代表矩阵的转置，n表示像素块各行中像素点数。

4.如权利要求1所述的基于Gabor特征的人脸素描合成方法，其特征在于：

所述的第一Stein散度矩阵X_SD(i,j)中各元素如下：

${X_{\mathrm{SD}}}^{(m,1)}(i,j)=\log \left(\det \left(\frac{X_C(i,j)+{Y_C}^m(i,j)}{2}\right)\right)-\frac{1}{2}\log \left(\det \left(X_C(i,j){Y_C}^m(i,j)\right)\right)---\left(1\right);$

所述的第二Stein散度矩阵Y_SD(i,j)中各元素如下：

${X_{\mathrm{SD}}}^{(m,s)}(i,j)=\log \left(\det \left(\frac{{X_C}^m(i,j)+{Y_C}^s(i,j)}{2}\right)\right)-\frac{1}{2}\log \left(\det \left({X_C}^m(i,j){Y_C}^s(i,j)\right)\right)---\left(2\right);$

式(1)～(2)中，X_SD ^(m,1)(i,j)表示X_SD(i,j)中第m行的元素，Y_SD ^(m,s)(i,j)表示Y_SD(i,j)中第m行第s列的元素，m代表Stein散度矩阵中的行号，s代表Stein散度矩阵中的列号，1≤m≤M，1≤s≤M，M表示人脸照片训练集中人脸照片样本总数；X_C(i,j)是待合成人脸照片像素块(i,j)Gabor特征的协方差矩阵，Y_C ^m(i,j)和Y_SD ^(m,s)(i,j)分别表示人脸照片训练集中第m个样本和第s个样本的像素块(i,j)Gabor特征的协方差矩阵。

5.如权利要求1所述的基于Gabor特征的人脸素描合成方法，其特征在于：

步骤3具体为：

最优权值w^*(i,j)采用正则最小二乘法获得：

$\begin{array}{cc}{w}^{*}(i,j)=\underset{w(i,j)}{\arg \min }\{{\left|\right|X_{\mathrm{SD}}(i,j)-w(i,j)Y_{\mathrm{SD}}(i,j)\left|\right|}_2^2+\mathrm{\τ}{\left|\right|w(i,j)\left)\right||}_2^2\}& s.t.\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i(i,j)=1\end{array}$

其中，w(i,j)是由人脸照片样本中像素块(i,j)的重建系数组成的行向量，w(i,j)＝[w₁(i,j),w₂(i,j),…,w_m(i,j),…,w_M(i,j)]，w_m(i,j)为第m个人脸照片样本中像素块(i,j)的重建系数，M为人脸照片样本总数；τ是合成误差正则化参数，为经验值。

6.基于Gabor特征的人脸素描合成系统，其特征在于，包括：

像素块划分模块，用来将待合成人脸照片、人脸照片训练集中人脸照片样本以及人脸素描训练集中人脸素描样本划分为相互重叠的像素块，待合成人脸照片、人脸照片样本及人脸素描样本大小相同，且人脸照片样本和人脸素描样本一一对应；

Stein散度矩阵获得模块，用来提取各像素块的Gabor特征，基于像素块Gabor特征的协方差矩阵获得第一Stein散度矩阵和第二Stein散度矩阵，其中，第一Stein散度矩阵为待合成人脸照片像素块和各人脸照片样本像素块间的Stein散度矩阵，第二Stein散度矩阵为不同人脸照片样本像素块间的Stein散度矩阵；

最优权值获得模块，用来基于第一Stein散度矩阵、第二Stein散度矩阵及各人脸照片样本像素块的重建系数，采用正则最小二乘法获得第二Stein散度矩阵对第一Stein散度矩阵进行线性组合的最优权值；

人脸素描像素块合成模块，用来采用最优权值将各人脸素描样本对应位置的像素块加权合成，获得该对应位置像素块的合成人脸素描像素块；

合成人脸素描像素块融合模块，用来将合成人脸素描像素块按其在人脸上位置进行融合，获得待合成人脸照片对应的合成人脸素描。