CN101482925A - 基于局部嵌入式隐马尔可夫模型的照片生成方法 - Google Patents

Abstract

本发明公开了一种基于局部嵌入式隐马尔可夫模型的照片生成方法。该方法的过程是：从样本集中划分出训练集和测试集，选取测试集中的一张画像作为待变换画像，训练集中的画像一照片对作为训练样本，将待变换画像及所有训练样本均匀划分为相互重叠的块；对于待变换画像的每个块，从训练样本中选择出相似度最大的K个训练画像块及其对应的K个训练照片块，并对每对训练画像块和照片块进行联合训练，建立耦合模型对库，根据K个耦合模型对生成K个中间伪照片块，将其进行加权融合，得到最终的伪照片块；将所有伪照片块进行组合得到最终的伪照片。本发明生成的照片清晰，质量高，纹理丰富，可用于根据模拟照片实现对犯罪嫌疑人身份的自动确认和识别。

Description

基于局部嵌入式隐马尔可夫模型的照片生成方法

技术领域

本发明属于图像处理和计算机图形学领域，特别涉及根据人脸画像自动生成照片的方法，可用于模式识别领域中基于画像的照片库中人脸检索和识别。

背景技术

人脸识别是目前最具潜力的身份认证方法之一，在计算机视觉与模式识别等领域备受关注，并有着广泛的应用前景。其中一个重要的应用就是在刑侦破案或反恐追逃过程中，根据所获得的影像资料从已有的照片库中自动检索犯罪嫌疑人从而确定其身份。与手动的检索方法相比，自动检索不仅可以在很大程度上提高效率，将人们从这项极为耗时和枯燥的工作中解放出来，而且可以减少主观因素对识别结果的影响。然而，在实际情况下，很难获取到犯罪嫌疑人的照片，只能根据目击者的描述通过画家的努力得到其模拟画像，根据画像在已有的照片数据库中进行基于内容的检索，实现犯罪嫌疑人身份的确认和识别。画像—照片识别作为人脸识别领域新的研究方向应运而生，研究人员致力于寻求高性能的基于画像的自动人脸识别技术。现有的人脸识别方法大多是基于照片的，由于画像与照片的产生机理和信息表达方式不同，两者之间存在较大的几何形变及纹理和灰度差异，即使同一个人的画像和照片具有相似的几何形状，但是一定有相差甚远的纹理信息，这使得经典的人脸识别方法无法直接应用到画像—照片识别中。因此，画像—照片识别技术的研究具有很大的挑战性，其重点和难点在于如何将两者变换到同种信息表达模式下，减小二者的差异。现有的研究主要从以下两个方面进行，一方面是将蕴涵丰富信息的照片变换为包含较少信息的画像，画像的生成方法有以下三类：

1.基于线性的方法。采用主成分分析算法分别在照片空间和画像空间训练构造各自的特征子空间，求出待变换的照片在照片特征空间中的投影系数，然后根据该投影系数求出利用照片重构出待变换照片时所需的系数，在画像空间中根据与照片相对应的画像及其系数重构出伪画像。该方法假定照片与画像之间的映射是一种线性关系，无法真正地反映出二者之间的关系；

2.基于伪的非线性方法。将训练集中的照片—画像对及待变换照片进行均匀分块，对于待变换照片的每一个小块，在所有训练照片块中找到与其最相似的N个小块，然后通过对这N个照片块对应的画像块进行线性加权来产生伪画像块，最后将所得的全部伪画像块组合成完整的伪画像。该方法通过局部的线性组合来逼近全局的非线性关系，但是仍然不是真正意义上的非线性方法；

3.基于非线性的方法。该方法利用嵌入式隐马尔可夫模型对照片与画像之间的非线性关系进行建模，根据所学习到的嵌入式隐马尔可夫模型将待变换照片转换成伪画像。考虑到单个模型对无法充分地刻画出照片与画像之间的复杂的非线性关系，引入了选择性集成的思想，针对每个照片—画像对得到一个个体画像生成器，选择部分个体生成器进行融合，从而将待变换的照片映射成相应的伪画像。然后，又在上述方法基础上将图像进行分块，对于每对训练照片块—画像块利用上述方法进行建模，根据模型将待变换照片块转变为伪画像块，合并伪画像块得到伪画像。这种方法是一种真正意义上的非线性方法，可以更加准确地对照片与画像之间的非线性关系建模。见文献“Gao X B，ZhongJJ，Tao D C and Li X L.Local face sketch synthesis learning.Neurocomputing，71(10-12)：1921～1930，2008”。

将照片生成画像虽然这样可以在一定程度上减小照片与画像之间的差异，但在变换的过程中会丢失很多对检索或识别极为有用的信息。因此，研究人员从另一方面进行研究，通过机器学习的方法根据训练库中已有的照片信息，从画像中恢复出信息丰富的照片，这种方法对后续的识别过程更加有利。因此，根据画像生成照片成为画像—照片识别技术的关键。

目前照片生成方面的研究成果主要由卡内基梅隆大学的Yung-hui Li等和香港中文大学的汤晓鸥等取得，其主要思想都是将待识别的画像转变成伪照片，进行伪照片-照片的识别，他们所采用的伪照片生成方法不同，主要有以下两种：

1.基于子空间的方法。这是一种对混合空间进行特征分析的方法，首先将照片空间和画像空间进行拼接合成混合空间，采用主成分分析算法对混合空间进行训练构造画像一照片的全局子空间，然后将该全局子空间分割成照片特征子空间和画像特征子空间，求出待变换画像在画像特征子空间的投影系数，最后利用投影系数在全局子空间重构出人脸图像向量，该向量的上半部分即为伪照片。该方法假定照片与画像之间的映射是一种线性关系，而实际上二者之间的关系却要复杂的多；

2.基于统计的方法。首先将训练集中的画像—照片对进行均匀分块处理，通过引入一个公共变量空间，获得照片块空间和画像块空间之间的内在联系，然后利用张量模型学习画像块与其相应照片块之间的非线性关系，根据所获得的张量模型，利用贝叶斯统计推理的方法，将待变换画像转变为相应的伪照片。

从上述分析可见，伪照片生成技术的研究还处于起步阶段，并且上述两种方法都需要大量的训练样本，然而研究人员共享的公共画像数据库资源非常有限，获取人工画像又需要较高的代价，所能获取的训练画像是有限的，因此，人脸画像数据库的规模限制了伪照片生成方法的应用与发展，如何更为有效地利用较少的训练样本对画像与照片之间的非线性关系建模成为照片生成与识别的关键。

发明内容

本发明的目的在于解决现有方法不能利用较少的训练样本准确地学习画像与照片之间复杂的非线性关系的问题，提出一种基于局部嵌入式隐马尔可夫模型的照片生成方法及装置，以利用较少的训练样本，更简单、更有效、更准确的实现基于画像的人脸照片生成。

实现本发明目的的技术方案是：将训练样本集中的画像—照片对及待变换画像都进行均匀划分，采用机器学习的方法对训练集中画像块—照片块对之间的非线性关系进行学习和建模，针对每个画像块—照片块对得到一个个体照片块生成器，利用选择性集成思想选择部分个体生成器进行融合，从而将待变换的画像块映射成相应的伪照片块，将这些伪照片块进行组合得到伪照片，具体过程如下：

1)将画像—照片对样本集划分为训练集和测试集，从测试集中选取一张测试画像S，将训练集中的N个画像—照片对作为训练样本，并对测试画像及训练样本进行均匀划分，每个图像被划分为重叠的块；

2)对于测试画像的每个块s_i，计算该块与所有训练画像块的相似度，并选择其中相似度最大的K个训练画像块；

3)根据所选的K个训练画像块，找到对应的K个训练照片块，构成训练画像块—照片块对(s_chok，p_chok)，对每个训练画像块—照片块对(s_chok，p_chok)进行联合训练，建立耦合模型对库，即建立嵌入式隐马尔可夫模型对

k＝1，2，…，K，一般取K＝7；

4)将测试画像块s_i在K个模型对中的每一个模型对

的画像块模型下进行解码，根据解码的结果在相应的照片块模型

下重构生成对应于s_i的中间伪照片块p_pseuk，K个模型可生成K个中间伪照片块；

5)将这K个中间伪照片块进行加权融合，得到最终的对应于s_i的伪照片块；

6)将所获得的所有伪照片块进行组合得到与测试画像S对应的伪照片。

本发明提供的基于局部嵌入式隐马尔可夫模型的照片生成虚拟装置，包括：

样本集划分装置，用于将画像—照片对样本集划分为训练集和测试集，选取测试集中的一张画像作为测试画像S，训练集中的N个画像—照片对作为训练样本；

图像分块装置，用于对图像进行分块处理，将测试画像及训练样本中的所有人脸图像均匀地划分为相互重叠的块，测试画像S的块为{s₁，s₂，…，s_M}，对于训练集中的第i个画像—照片对S_tri和P_tri，分别被划分为{S_tri1，s_tri2，…，s_triM}和{p_tri1，p_tri2，…，p_triM}，其中M为每个图像的块数；

训练画像块选择装置，用于对每个训练画像块建立嵌入式隐马尔可夫模型λ，用前向—后向算法计算测试画像块s_j的观察向量

与模型λ的相似度

并选择相似度最大的K个模型对应的画像块s_chok，相似度分别为

k＝1，2，…，K，K值通过设定一个相似度水平阈值来控制，一般设为7；

耦合模型对库建立装置，根据上步中选择到的K个画像块，在训练集中确定与之相对应的照片块，构成K对画像块—照片块(s_chok，p_chok)，并对每对画像块—照片块(s_chok，p_chok)进行联合训练，建立耦合模型对库

其中k＝1，2，…，K；

中间伪照片块生成装置，用于根据K个训练样本模型对，将测试画像块s_j进行解码，并重构生成K个中间伪照片块p_seuk，其中k＝1，2，…，K；

加权系数确定装置，用于根据训练画像块选择装置中计算得到的测试画像块s_j与其K近邻的相似度，设定各中间伪照片块的加权系数为：

$w_k=\frac{P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chok}}})}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chol}}})},k=\mathrm{1,2},\·\·\·,K$

其中，

为测试画像块s_j的观察向量，

为利用前向—后向算法计算得到的

与模型的相似度；

最终伪照片块生成装置，用于将所获得的K个中间伪照片块根据加权系数确定装置中的加权系数进行加权融合，得到对应于测试画像块s_j的最终伪照片块

$p_{s_j}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k{p}_{\mathrm{seuk}};$

伪照片合成装置，用于重复操作上述训练画像块选择装置～最终伪照片块生成装置，直到测试画像S的所有块都被转换成伪照片块，将这些伪照片块进行组合，生成对应于测试画像S的伪照片。

上述照片生成虚拟装置，其中所述的耦合模型对库建立装置包括：

特征合成子装置，用于对所选择的每一对画像块—照片块(s_chok，p_chok)分别进行特征提取，并将所提取的画像特征与照片特征进行组合；

模型建立子装置，用于利用Baum-Welch算法根据组合特征建立嵌入式隐马尔可夫模型；

模型分解子装置，用于对所建立的嵌入式隐马尔可夫模型进行分解，得到分别对应于画像块和照片块的嵌入式隐马尔可夫模型，构成耦合模型对

耦合模型对库建立子装置，用于将每一对画像块和照片块按照特征合成子装置～模型分解子装置建立非线性关系，构成K个训练样本模型对。

上述照片生成虚拟装置，其中所述的中间伪照片块生成装置包括：

解码子装置，用于将测试画像块s_j在每一个训练样本模型对

的画像块模型

下进行双重嵌入的Viterbi解码，得到最优的解码状态序列Q＝(q₁，q₂，…，q_τ)以及混合序列M＝(m₁，m₂，…，m_τ)，其中τ为图像块中像素的个数；

重构子装置，用于重构出每个象素点的灰度值，每个象素点在Q及M中对应一个状态序号q_k及混合序号m_k，且q_k和m_k在

中对应一个高斯分布，高斯分布的均值向量是该象素点的观测序列，该观测序列的第一个值即为重构的该象素的灰度值，依次重构出每个象素点的灰度值即可得到一个中间伪照片块；

中间伪照片块生成子装置，用于对于K个训练样本模型对均按解码子装置和重构子装置生成K个中间伪照片块。

本发明由于融合了局部策略，采用嵌入式隐马尔可夫模型对画像块—照片块对之间的非线性关系进行建模，利用选择性集成的思想对部分个体生成器进行融合，与非线性伪画像生成方法相比较，具有如下优点：

a)生成的照片更清晰，质量更高，保存了更多的纹理信息，如图4和图5所示，与非线性伪画像生成方法产生的伪画像和原始画像之间的差异相比，用本发明方法所生成的伪照片更加接近于原始照片；

b)生成的照片具有更高的识别能力，本发明方法高出非线性伪画像生成方法1.96个百分点。

附图说明

图1为本发明的基于局部嵌入式隐马尔可夫模型的照片生成方法流程图；

图2为训练画像块—照片块对联合训练的示意图；

图3为本发明的基于局部嵌入式隐马尔可夫模型的照片生成虚拟装置；

图4为当照片为彩色图像时，生成的伪照片效果图，其中

图4(a)为原始画像，

图4(b)为原始照片，

图4(c)为本发明生成的伪照片，

图4(d)为非线性伪画像生成方法产生的伪画像；

图5为当照片为灰度图像时，生成的伪照片效果图，其中

图5(a)为原始画像，

图5(b)为原始照片，

图5(c)为本发明生成的伪照片，

图5(d)为非线性伪画像生成方法产生的伪画像。

具体实施方式

本发明的核心思想是考虑到相对于整个人脸而言，局部人脸特征不但可以提供更加详细的信息，而且结构更加单一，有利于嵌入式隐马尔可夫模型(E-HMM)的状态估计，将图像都进行分块处理，以更准确地表达训练画像和照片之间的非线性关系。由于嵌入式隐马尔可夫模型具有很好的人脸表示能力，利用嵌入式隐马尔可夫模型来获得画像块与照片块之间的非线性关系，得到照片块的个体生成器，但单个个体生成器对画像块与照片块的非线性关系建模的能力有限，因此将个体生成器进行选择性集成来产生伪照片块。

参照如图1，本发明的照片生成是：选取出测试画像和画像一照片训练集，将测试画像和训练集中的所有图像进行均匀分块；对于测试画像的一个块，比较它与训练集中的每个画像块的相似性，并从训练集中选择出最相似的K个画像块，对这K个画像块及其对应的照片块建立模型以表达它们之间的非线性关系，构成K个训练样本模型对；根据该测试画像块，通过K个训练样本模型对可生成K个中间伪照片块，将其进行加权融合得到伪照片块；在得到测试画像的所有块对应的伪照片块后，组合伪照片块生成最终的伪照片。具体过程如下：

第一步，划分训练库。

将画像—照片对样本集划分为训练集和测试集，选取测试集中的一张画像作为测试画像S，训练集中的N个画像—照片对作为训练样本；

第二步，对图像进行分块处理。

将测试画像及训练样本中的所有人脸图像均匀地划分为相互重叠的块，测试画像S的块为{s₁，s₂，…，s_M}，对于训练样本中的第i个画像—照片对S_tri和P_tri，分别被划分为{s_tri1，s_tri2，…，s_triM}和{p_tri1，p_tri2，…，p_triM}，其中M为每个图像的块数；第三步，将测试画像的每个块s_j与所有训练画像块进行相似度比较。

对每个训练画像块建立嵌入式隐马尔可夫模型λ，用前向—后向算法计算测试画像块s_j的观察向量

与模型λ的相似度

并选择相似度最大的K个模型对应的画像块s_chok，相似度分别为 $P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{cho}1}}),P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{cho}2}}),\·\·\·,P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{choK}}}),$ k＝1，2，…，K，K值通过设定一个相似度水平阈值来控制，一般设为7；

第四步，建立训练样本模型对。

根据上步中选择到的K个画像块，在训练集中确定与之相对应的照片块，构成K对画像块—照片块对(s_chok，p_chok)，并按照图2所示过程，对每对画像块—照片块(s_chok，p_chok)进行联合训练，建立耦合模型对库

其中k＝1，2，…，K：

1.对所选择的每一对画像块—照片块(s_chok，p_chok)分别进行特征提取，并将所提取的画像特征与照片特征进行组合；

2.利用Baum-Welch算法根据组合特征建立嵌入式隐马尔可夫模型E-HMM；

3.对所建立的嵌入式隐马尔可夫模型进行分解，得到分别对应于画像块和照片块的嵌入式隐马尔可夫模型，构成耦合模型对每个耦合模型对

中的两个嵌入式隐马尔可夫模型具有相同的状态转移矩阵，且两个模型中对应状态的高斯混合模型有不同的均值向量和协方差矩阵；

4.将每一对画像块和照片块按照1～3步建立非线性关系，构成K个训练样本模型对。

第五步，生成中间伪照片块。

根据K个训练样本模型对，将测试画像块s_j进行解码，并重构生成K个中间伪照片块p_seuk，其中k＝1，2，…，K，具体过程如下：

1.将测试画像块s_j在每一个训练样本模型对的画像块模型下进行双重嵌入的Viterbi解码，得到最优的解码状态序列Q＝(q₁，q₂，…，q_τ)以及混合序列M＝(m₁，m₂，…，m_τ)，其中τ为图像块中像素的个数；

2.每个象素点在Q及M中对应一个状态序号q_k及混合序号m_k，且q_k和m_k在

中对应一个高斯分布，高斯分布的均值向量是该象素点的观测序列，该观测序列的第一个值即为重构的该象素的灰度值，依次重构出每个象素点的灰度值即可得到一个中间伪照片块；

3.对于K个训练样本模型对均按照1～2步进行，可生成K个中间伪照片块；

第六步，确定加权系数。

根据第三步中计算得到的测试画像块s_j与其K近邻的相似度，则各中间伪照片块的加权系数为：

$w_k=\frac{P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chok}}})}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chol}}})},k=\mathrm{1,2},\·\·\·,K---\left(1\right)$

其中，

为测试画像块s_j的观察向量，

为利用前向-后向算法计算得到的

与模型

的相似度；

第七步，融合生成最终伪照片块。

将所获得的K个中间伪照片块根据第六步中的加权系数进行加权融合，得到对应于测试画像块s_j的最终伪照片块

$p_{s_j}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k{p}_{\mathrm{seuk}}.$

第八步，合成最终的伪照片。

重复进行上述第三步～第七步，直到测试画像S的所有块都被转换成了伪照片块，将这些伪照片块进行组合，生成对应于测试画像S的伪照片。

参照图3，本发明的虚拟装置包括：样本集划分装置、图像分块装置、训练画像块选择装置、耦合模型对库建立装置、中间伪照片块生成装置、加权系数确定装置、最终伪照片块生成装置及伪照片合成装置，其中耦合模型对库建立装置包括特征合成子装置、模型建立子装置、模型分解子装置和耦合模型对库建立子装置，中间伪照片块生成装置包括解码子装置、重构子装置和中间伪照片块生成子装置。整个装置的工作过程如下：

样本集划分装置，将画像一照片对样本集划分为训练集和测试集，选取测试集中的一张画像作为测试画像S，训练集中的N个画像—照片对作为训练样本，并将获得的图像输入图像分块装置，对图像进行分块处理，将测试画像及训练样本中的所有人脸图像均匀地划分为相互重叠的块，测试画像S的块为{s₁，s₂，…，s_M}，对于训练训练样本中的第i个画像—照片对S_tri和P_tri，分别被划分为{s_tri1，s_tri2，…，s_triM}和{p_tri1，p_tri2，…，p_triM}图像子块，其中M为每个图像的块数，该装置划分的这些图像子块输出到训练画像块选择装置；

在训练画像块选择装置中，对每个训练画像块建立嵌入式隐马尔可夫模型λ，用前向—后向算法计算测试画像块s_j的观察向量

与模型λ的相似性

并选择相似度最大的K个模型对应的画像块s_chok，相似度分别为

…，K值通过设定一个相似度水平阈值来控制，一般设为7。将该装置选择出的K个画像块输入到耦合模型对库建立装置，在训练集中确定与之相对应的照片块，构成K对画像块—照片块(s_chok，p_chok)，对每一对画像块—照片块(s_chok，p_chok)利用特征合成子装置进行特征提取和组合，根据所得到的组合特征通过模型建立子装置，利用Baum-Welch算法建立嵌入式隐马尔可夫模型E-HMM，将该模型输入模型分解子装置进行分解，得到分别对应于画像块和照片块的嵌入式隐马尔可夫模型，构成耦合模型对

上述特征合成子装置～模型分解子装置在耦合模型对库建立子装置中重复进行，用于为每一对画像块和照片块建立非线性关系，构成K个训练样本模型对；

根据耦合模型对库建立装置输出的K个训练样本模型对，首先在中间伪照片块生成装置的解码子装置中，将测试画像块sj在每一个训练样本模型对

的画像块模型

下进行双重嵌入的Viterbi解码，得到最优的解码状态序列Q＝(q₁，q₂，…，q_τ)以及混合序列M＝(m₁，m₂，…，m_τ)，其中τ为图像块中像素的个数，然后将输出的Q和M输入到重构子装置，重构出每个象素点的灰度值，每个象素点在Q及M中对应一个状态序号q_k及混合序号m_k，且q_k和m_k在中对应一个高斯分布，高斯分布的均值向量是该象素点的观测序列，该观测序列的第一个值即为重构的该象素的灰度值，依次重构出每个象素点的灰度值即可得到一个中间伪照片块，最后中间伪照片块生成子装置用于对于K个训练样本模型对均按解码子装置和重构子装置生成K个中间伪照片块p_senk，其中k＝1，2，…，K；

在利用加权系数确定装置根据训练画像块选择装置中得到的测试画像块s_j与其K近邻的相似度，设定各中间伪照片块的加权系数的基础上，在最终伪照片块生成装置中将所获得的K个中间伪照片块进行加权融合，得到对应于测试画像块s_j的最终伪照片块 $p_{s_j}:$

$p_{s_j}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k{p}_{\mathrm{seuk}},$

其中，

$w_k=\frac{P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chok}}})}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chol}}})},k=\mathrm{1,2},\·\·\·,K,$

为加权系数，

为测试画像块s_j的观察向量，

为利用前向—后向算法计算得到的

与模型

的相似度；

最后，伪照片合成装置重复操作上述训练画像块选择装置～最终伪照片块生成装置，直到测试画像S的所有块都被转换成了伪照片块，将这些伪照片块进行组合，生成对应于测试画像S的伪照片。

本发明的优点可通过以下实验进一步说明：

实验分别在香港中文大学多媒体实验室提供的彩色人脸照片和对应画像库及灰度人脸照片和对应画像库上进行。为了验证本发明提出的照片自动生成方法的有效性，设计了两组测试实验，将本发明与非线性伪画像生成方法进行对比：

1)将通用图像质量指标UIQI作为客观标准来评价生成照片的质量。

在参考图像为x＝{x_i|i＝1，2，…，N}的情况下，待测试图像y＝{y_i|i＝1，2，…，N}的图像质量指标为：

$Q=\left(\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\right)\×\left(\frac{2\stackrel{\‾}{\mathrm{xy}}}{{\left(\stackrel{\‾}{x}\right)}^2+{\left(\stackrel{\‾}{y}\right)}^2}\right)\×\left(\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}\right)=\frac{4{\mathrm{\σ}}_{\mathrm{xy}}\stackrel{\‾}{\mathrm{xy}}}{({{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2)[{\left(\stackrel{\‾}{x}\right)}^2+{\left(\stackrel{\‾}{y}\right)}^2]}---\left(2\right)$

其中，

$\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i,$ ${\mathrm{\σ}}_x^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2,$

${\mathrm{\σ}}_y^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2,$ ${\mathrm{\σ}}_{\mathrm{xy}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y}).$

UIQI值越高，则表明待测试图像的质量越好。本实验中以原始照片作为参考图像，计算本发明生成的伪照片的UIQI值，以原始画像作为参考图像，计算根据非线性伪画像生成方法获得的伪画像的UIQI值，在彩色人脸照片和对应画像库上进行实验，数据如表1，生成的部分伪照片如图4。

表1 彩色图像的UIQI值比较

 

不同的人	P1	P2	P3	P4	P5	P6	P7	平均UIQI值
									伪画像(d)	0.897	0.891	0.907	0.867	0.869	0.874	0.881	0.876
伪照片(c)	0.930	0.929	0.953	0.915	0.874	0.908	0.910	0.891

表1中给出将七个不同的人P1，P2，…，P7的画像作为待变换画像利用本发明方法得到的伪照片的质量，将这七个人的照片作为待变换照片利用非线性伪画像生成方法得到的伪画像的质量，以及将测试集中所有人的画像转变成的伪照片，照片转变成的伪画像的平均图像质量。对于每个照片，即表的每一列，利用本发明方法得到的伪照片(c)的UIQI值比利用非线性伪画像生成方法获得的伪画像(d)的UIQI值高，而且本发明方法生成所有伪照片的平均UIQI值也比非线性伪画像生成方法产生的所有伪画像的平均UIQI值高。由于Q值越高，表明图像的质量越好，因此本发明方法生成的伪照片更清晰，质量更高，保存了更多的纹理信息。

当实验数据为灰度人脸照片和对应画像库时，数据如表2，生成的部分伪照片如图5。

表2 灰度图像的UIQI值比较

 

不同的人	P1	P2	P3	P4	P5	P6	平均UIQI值
								伪画像(d)	0.712	0.755	0.649	0.644	0.629	0.592	0.687
伪照片(c)	0.798	0.793	0.666	0.646	0.639	0.662	0.711

由表2可以得出与上述表1一致的结论。因此，对于灰度的实验数据，本发明方法生成的伪照片同样优于非线性伪画像生成方法产生的伪画像。

对应于表1和表2的实验数据，图4和图5分别给出了实验结果图，图中每行对应于不同的人，其中(a)列为原始画像，(b)列为原始照片，(c)列为本发明方法生成的伪照片，(d)列为非线性伪画像生成方法产生的伪画像。从视觉效果上来看，与(d)列中由非线性伪画像生成方法产生的伪画像和(a)列中的原始画像之间的差异相比，用本发明方法所生成的(c)列中的伪照片更加接近于(b)列中原始照片。

2)将生成的伪照片用于画像—照片识别中，通过识别效果来评价本发明的有效性。

分别采用三种的不同方法进行人脸识别的实验：第一组为将原始画像与照片进行直接比较；第二组为在非线性伪画像生成方法产生的伪画像集中进行原始画像识别；第三组为本发明方法生成的伪照片在原始照片集中的识别结果。三种方法中均采用Eigenface方法进行识别实验，针对彩色人脸照片和对应画像库的识别结果如表3。

表3 针对彩色实验数据的不同人脸识别方法的效果比较

 

识别方法	识别率
		画像与照片的直接比较	46.43％
原始画像与非线性伪画像生成方法产生的伪画像的比较	98.04％
		本发明方法生成的伪照片与原始照片的比较	100％

由表3可以看出，后两种方法的识别率均高于在原始照片集中直接识别原始画像的识别率，而将本发明方法生成的伪照片在原始照片集中进行识别则具有更高的识别率，即识别率高出非线性伪画像生成方法1.96个百分点。

针对灰度人脸照片和对应画像库的识别结果如表4，显然后两种方法的识别率均高于在原始照片集中直接识别原始画像的识别率。虽然后两种方法的识别能力相同，但是从表2可知，本发明方法所生成的图像质量优于非线性伪画像生成方法，因此，本发明方法更具有潜力获得较高的识别率。

表4 针对灰度实验数据的不同人脸识别方法的效果比较

 

识别方法	识别率
		画像与照片的直接比较	17.6％
原始画像与非线性伪画像生成方法产生的伪画像的比较	88.2％
		本发明方法生成的伪照片与原始照片的比较	88.2％

Claims (7)

1.一种基于局部嵌入式隐马尔可夫模型的照片生成方法，包括如下过程：

A.将画像—照片对样本集划分为训练集和测试集，选取测试集中的一张画像作为测试画像S，训练集中的N个画像—照片对作为训练样本；

B.对图像进行分块处理，将测试画像及训练集中的所有人脸图像均匀地划分为相互重叠的块，测试画像S的块为{s₁，s₂，…，s_M}，对于训练集中的第i个画像—照片对S_tri和P_tri，分别被划分为{s_tri1，s_tri2，…，s_triM}和{p_tri1，p_tri2，…，p_triM}，其中M为每个图像的块数；

C.对每个训练画像块建立嵌入式隐马尔可夫模型λ，用前向—后向算法计算测试画像块s_j的观察向量

与模型λ的相似性

并选择相似度最大的K个模型对应的画像块s_chok，相似度分别为 $P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{cho}1}}),P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{cho}2}}),\·\·\·,P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{choK}}}),$ k＝1，2，…，K，K值通过设定一个相似度水平阈值来控制，一般设为7；

D.根据上步中选择到的K个画像块，在训练集中确定与之相对应的照片块，构成K对画像块—照片块(s_chok，p_chok)，并对每对画像块—照片块(s_chok，p_chok)进行联合训练，建立耦合模型对库(

)，其中k＝1，2，…，K；

E.根据K个训练样本模型对，将测试画像块s_j进行解码，并重构生成K个中间伪照片块p_seuk，其中k＝1，2，…，K；

F.根据过程C中计算得到的测试画像块s_j与其K近邻的相似度，设定各中间伪照片块的加权系数为：

$w_k=\frac{P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chok}}})}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chol}}})},k=\mathrm{1,2},\·\·\·,K$

其中，为测试画像块s_j的观察向量，

为利用前向—后向算法计算得到的

与模型

的相似度；

G.将所获得的K个中间伪照片块根据过程F中的加权系数进行加权融合，得到对应于测试画像块s_j的最终伪照片块p_sj：

$p_{s_j}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k{p}_{\mathrm{seuk}}.$

H.重复进行上述过程C～过程G，直到测试画像S的所有块都被转换成了伪照片块，将这些伪照片块进行组合，生成对应于测试画像S的伪照片。

2.根据权利要求1所述的人脸照片自动生成方法，其特征在于步骤D所述的“建立耦合模型对”，按如下过程进行：

D1.对所选择的每一对画像块—照片块(s_chok，p_chok)分别进行特征提取，并将所提取的画像特征与照片特征进行组合；

D2.利用Baum-Welch算法根据组合特征建立嵌入式隐马尔可夫模型E-HMM；

D3.对所建立的嵌入式隐马尔可夫模型进行分解，得到分别对应于画像块和照片块的嵌入式隐马尔可夫模型，构成耦合模型对

D4.将每一对画像块和照片块按照过程D1～过程D3建立非线性关系，构成K个训练样本模型对。

3.根据权利要求2所述的人脸照片自动生成方法，其特征在于步骤D3“耦合的模型对

”中的两个嵌入式隐马尔可夫模型，具有相同的状态转移矩阵，且两个模型中对应状态的高斯混合模型有不同的均值向量和协方差矩阵。

4.根据权利要求1所述的人脸画像自动生成方法，其特征在于步骤E所述的“根据K个训练样本模型对，将测试画像块sj进行解码，并重构生成中间伪照片块”，按如下过程进行：

E1.将测试画像块s_j在每一个训练样本模型对

的画像块模型

下进行双重嵌入的Viterbi解码，得到最优的解码状态序列Q＝(q₁，q₂，…，q_τ)以及混合序列M＝(m₁，m₂，…，m_τ)，其中τ为图像块中像素的个数；

E2.每个象素点在Q及M中对应一个状态序号q_k及混合序号m_k，且q_k和m_k在

中对应一个高斯分布，高斯分布的均值向量是该象素点的观测序列，该观测序列的第一个值即为重构的该象素的灰度值，依次重构出每个象素点的灰度值即可得到一个中间伪照片块；

E3.对于K个训练样本模型对均按过程E1～过程E2进行，生成K个中间伪照片块。

5.一种基于局部嵌入式隐马尔可夫模型的照片生成装置，包括：

样本集划分装置，用于将画像—照片对样本集划分为训练集和测试集，选取测试集中的一张画像作为测试画像S，训练集中的N个画像—照片对作为训练样本；

图像分块装置，用于对图像进行分块处理，将测试画像及训练集中的所有人脸图像均匀地划分为相互重叠的块，测试画像S的块为{s₁，s₂，…，s_M}，对于训练集中的第i个画像—照片对S_tri和P_tri，分别被划分为{s_tri1，s_tri2，…，s_triM}和{p_tri1，p_tri2，…，p_triM}，其中M为每个图像的块数；

训练画像块选择装置，用于对每个训练画像块建立嵌入式隐马尔可夫模型λ，用前向—后向算法计算测试画像块s_j的观察向量

与模型λ的相似性

并选择相似度最大的K个模型对应的画像块s_chok，相似度分别为

其中k＝1，2，…，K，K值通过设定一个相似度水平阈值来控制，一般设为7；

耦合模型对库建立装置，根据上步中选择到的K个画像块，在训练集中确定与之相对应的照片块，构成K对画像块—照片块(s_chok，p_chok)，并对每对画像块—照片块(s_chok，p_chok)进行联合训练，建立耦合模型对库

其中k＝1，2，…，K；

中间伪照片块生成装置，用于根据K个训练样本模型对，将测试画像块s_j进行解码，并重构生成K个中间伪照片块p_seuk，其中k＝1，2，…，K；

加权系数确定装置，用于根据训练画像块选择装置中计算得到的测试画像块s_j与其K近邻的相似度，设定各中间伪照片块的加权系数为：

$w_k=\frac{P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chok}}})}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}P\left(O_{s_j}\right|{\mathrm{\λ}}_{s_{\mathrm{chol}}})},k=\mathrm{1,2},\·\·\·,K$

其中，

为测试画像块s_j的观察向量，

为利用前向—后向算法计算得到的

与模型

的相似度；

最终伪照片块生成装置，用于将所获得的K个中间伪照片块根据加权系数确定装置中的加权系数进行加权融合，得到对应于测试画像块s_j的最终伪照片块

$p_{s_j}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k{p}_{\mathrm{seuk}};$

伪照片合成装置，用于重复操作上述训练画像块选择装置～最终伪照片块生成装置，直到测试画像S的所有块都被转换成了伪照片块，将这些伪照片块进行组合，生成对应于测试画像S的伪照片。

6.根据权利要求5所述的人脸照片自动生成装置，其中耦合模型对库建立装置，包括：

特征合成子装置，用于对所选择的每一对画像块—照片块(s_chok，p_chok)分别进行特征提取，并将所提取的画像特征与照片特征进行组合；

模型建立子装置，用于利用Baum-Welch算法根据组合特征建立嵌入式隐马尔可夫模型E-HMM；

模型分解子装置，用于对所建立的嵌入式隐马尔可夫模型进行分解，得到分别对应于画像块和照片块的嵌入式隐马尔可夫模型，构成耦合模型对

耦合模型对库建立子装置，用于将每一对画像块和照片块按照特征合成子装置～模型分解子装置建立非线性关系，构成K个训练样本模型对。

7.根据权利要求5所述的人脸照片自动生成装置，其中中间伪照片块生成装置，包括：

解码子装置，用于将测试画像块s_j在每一个训练样本模型对的画像块模型

下进行双重嵌入的Viterbi解码，得到最优的解码状态序列Q＝(q₁，q₂，…，q_τ)以及混合序列M＝(m₁，m₂，…，m_τ)，其中τ为图像块中像素的个数；

重构子装置，用于重构出每个象素点的灰度值，每个象素点在Q及M中对应一个状态序号q_k及混合序号m_k，且q_k和m_k在

中对应一个高斯分布，高斯分布的均值向量是该象素点的观测序列，该观测序列的第一个值即为重构的该象素的灰度值，依次重构出每个象素点的灰度值即可得到一个中间伪照片块；

中间伪照片块生成子装置，用于对于K个训练样本模型对均按解码子装置和重构子装置生成K个中间伪照片块。

Images