CN110598719A - 一种依据视觉属性描述自动生成人脸图像的方法 - Google Patents

Abstract

本发明公开了一种依据视觉属性描述自动生成人脸图像的方法，包括如下步骤：获取视觉属性描述信息、人脸结构信息；构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；引入上一步骤构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。本发明能够提升生成的人脸图像与给定的视觉属性描述之间的语义一致性，提高生成的人脸图像的结构清晰性。

Description

一种依据视觉属性描述自动生成人脸图像的方法

技术领域

本发明涉及计算机视觉技术领域，尤其是一种依据视觉属性描述自动生成人脸图像的方法。

背景技术

视觉属性由于其语义可理解性，使其成为一种良好的人机交互接口。比如，我们可以用视觉属性来描述图像的视觉内容，对象的外观特征，场景里的视觉语义信息，以及视频中动作行为的具体特性。在一些特定的场合下，视觉属性的这种交互能力尤其突出，比如在监控盲区，依据目击证人的描述可以大致理解嫌疑人的相貌体征，依据顾客对商品的个性化特征描述可以理解用户期望中的商品结构和外观。依据视觉属性描述自动生成人脸图像的技术是构建具有良好人机交互接口的画像生成系统的关键技术。

但是，不容忽视的是视觉属性描述与图像之间存在很大的语义和结构差距，导致从属性描述到生成生动视觉图像时会出现很大的不确定性，从而使得依据视觉属性描述自动生成人脸图像不是一件容易的事。这种不确定性主要体现在视觉属性描述的视觉语义的高度抽象性及结构描述上的模糊性，与人脸图像内容的清晰性和结构的明确性呈现鲜明的对比。

综合上述分析，在依据视觉属性描述自动生成人脸图像的过程中要充分挖掘结构先验信息以及外观先验信息。同时，在图像生成领域尚缺少对生成图像质量的有效评估方式，尤其是评估生成的图像与视觉属性描述的一致性。

发明内容

本发明所要解决的技术问题在于，提供一种依据视觉属性描述自动生成人脸图像的方法，提升生成的人脸图像与给定的视觉属性描述之间的语义一致性，并提高生成的人脸图像的结构清晰性。

为解决上述技术问题，本发明提供一种依据视觉属性描述自动生成人脸图像的方法，包括如下步骤：

(1)获取视觉属性描述信息、人脸结构信息；

(2)构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；

(3)构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；

(4)引入步骤(3)构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；

(5)给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。

优选的，步骤(2)中，构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成具体包括如下步骤：

(21)引入视觉属性向量a构建条件变分自编码模型作为视觉属性指导的人脸图像生成模型，具体定义为：

其中，q_φ(z|x,a)解释为编码器，p_θ(x|z,a)解释为解码器；

(22)引入结构信息s以提升生成图像的结构明确性和清晰度：

其中，p_θ(x|z,a,s)解释为引入结构信息后的解码器；

(23)引入与视觉属性描述协调一致的粗略图像x′作为模型输入，来提升模型捕捉残差视觉信息的能力，从而提高生成图像的质量：

在模型测试阶段，首先依据x′＝p(x|z,a,s)生成粗略图像，然后根据生成最终的人脸图像。

优选的，步骤(3)中，构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性具体为：

在三种特定的特征空间中计算生成图像与指定属性所对应的真实的人脸图像的重建误差，在这三种特定的特征空间中分别侧重分析纹理、结构和语义上的一致性；

①纹理一致性

提出在LBP特征空间中计算生成图像和目标图像x的卡方距离来衡量两者的纹理一致性，计算式子如下：

其中映射表示LBP特征转换；

②结构一致性

提出在梯度方向直方图HOG特征空间中计算生成图像和目标图像x的L2距离来衡量两者的结构一致性，计算式子如下：

其中映射表示HOG特征抽取；

③语义一致性

提出使用一组中间隐藏层S_l＝{l_i,l_j,l_k}的响应值作为特征表示来计算生成图像和目标图像x之间的语义一致性，定义如下：

其中映射φ_i(·)表示第i层在预训练特征表示模型中的响应，C_i,H_i,W_i分别表示通道号和第i层隐藏层的大小。

本发明的有益效果为：本发明提出一种复杂条件约束的条件变分自编码模型以更好地考虑人脸图像的结构信息以及与视觉属性对应的基本外观信息，来生成结构清晰且语义协调一致的人脸图像；同时，本发明提出用多种一致性度量来约束生成人脸图像的范围，提升人脸图像与视觉属性描述的一致性，包括结构一致性度量、纹理一致性度量和语义一致性度量，从而能够更好地评估依据视觉属性描述生成的图像的质量。

附图说明

图1为本发明的方法流程示意图。

图2为本发明的人脸视觉属性描述示意图。

图3为本发明使用68个面部关键点的坐标作为刻画人脸结构的特征表达图。

图4为本发明预置的一批典型的人脸结构模板示意图。

图5为本发明的模型架构示意图。

图6为本发明的LBP和HOG的特征示意图。

图7为本发明与不同方法在相同条件下生成人脸图像的结果比较示意图。

图8为本发明在同一属性下生成具有不同姿态的人脸图像的结果示意图。

具体实施方式

如图1所示，一种依据视觉属性描述自动生成人脸图像的方法，包括如下步骤：

(1)获取视觉属性描述信息、人脸结构信息；

(2)构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；

(3)构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；

(4)引入步骤(3)构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；

(5)给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。

1、获取视觉属性描述信息和人脸结构信息；

给定视觉属性描述是本发明所提自动生成人脸图像模型及方法的必要条件，在此基础之上，本发明考虑额外引入人脸结构信息来提升自动生成人脸图像的结构清晰度。视觉属性描述是由人工定义且标注，目前可以公开获取到真实环境下的人脸数据集LFW，配置了73种人脸视觉属性描述，如图2所示，可用于模型训练。图2中，面部描述：黑发(0)，棕发(0)，金发(0)，卷发(1)，直发(0)，发际线靠后(1)，刘海(0)，鬓角(0)，额头全部可见(1)，前额清晰可见(1)，拱形眉(0)，小眼睛(1)，眼睛睁开(1)，大鼻子(1)，大嘴唇(1)，嘴巴轻微张开(1)，牙齿可见(0)，山羊胡(0)，圆下巴(1)，双下巴(1)，方脸(0)，圆脸(0)，椭圆形脸(0)，眼袋(1)，化妆(0)，高颧骨(1)，棕色眼睛(1)；高层语义特征：男性(1)，女性(0)，黄种人(0)，白种人(1)，黑种人(0)，年轻人(0)，小孩(0)，中年人(0)，老年人(0)，印第安人(0)；突出特征：秃头(1)，有魅力的男性(0)，有魅力的女性(0)。其中，1表示人脸图像呈现出该属性，0表示人脸图像不呈现该属性。

在模型测试阶段，属性描述也需要人为提供。人脸结构信息主要刻画人脸轮廓及面部五官的结构特征，本发明使用了68个面部关键点的坐标作为刻画人脸结构的特征表达，如图3所示，用于模型训练。在模型测试阶段，可以人为指定这68个点的坐标位置作为模型输入，另外，本发明还预置了一批典型的人脸结构模板，如图4所示，供选择作为模型输入，这些模板是基于训练样本上的面部关键点的位置信息自动聚类出来的(K-Means聚类算法)。

2、构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；

考虑到视觉属性描述与人脸图像之间存在语义鸿沟，以及视觉属性描述的结构不明确性，导致从视觉属性描述到人脸图像之间的映射关系特别复杂，进一步加剧模型构建及模型学习的难度。

基于上述认识，本发明考虑如下策略以消除语义鸿沟和结构不明确，从而提高生成的人脸图像的质量，在保证与视觉属性描述语义一致的前提下，进一步提升生成人脸图像的结构清晰性及纹理细节清晰度。

①把属性描述信息作为指导人脸图像生成的主要条件，保证人脸图像与视觉属性描述的一致性；

②引入步骤1中阐述的结构信息作为指导人脸图像生成的条件之一，期望提高生成人脸图像的结构明确性及清晰度；

③引入与给定属性描述基本一致的粗略图像，作为指导人脸图像生成的条件之一，期望模型重点学习粗略图像和目标图像之间的残差视觉信息。

基于以上三种复杂条件，构建复杂条件变分自编码模型(ConditionalVariational Auto-Encoder，CVAE)，作为实现自动生成人脸图像的方案。

如图5所示，模型构建的具体过程如下：

①引入视觉属性向量a构建条件变分自编码模型作为视觉属性指导的人脸图像生成模型，具体过程为：

图像自动生成的关键是估计视觉对象x的分布，即p(x)。假设存在一些解释因子z能够解释视觉对象的分布，即可进一步表示为条件分布p(x|z)。利用贝叶斯推理和分布近似技术，VAE的优化目标是计算如下公式所示的对数似然的最大值：

其中，q_φ(z|x)解释为编码器，p_θ(x|z)解释为解码器，p(z)是隐变量z的先验分布且通常假设为标准正态分布。

式(1)中的第二项的值为正值，因此去掉该项，得到该目标表达式的下界，如下：

最大化该下界表达式，可以得到最优的生成模型p_θ(x|z)。同时，也保证隐变量z的后验分布q_φ(z|x)趋近于标准正态分布。由此，可以从标准正态分布中产生一个随机信号，来触发该生成模型p_θ(x|z)，以近似采样的形式来生成图像。

目标是根据视觉属性描述信息来生成协调一致的人脸图像，因此需要引入属性向量a到模型VAE中，构建条件变分自编码模型CVAE，其目标表达式如下所示：

由此，得到了由视觉属性信息指导的有针对性的人脸图像生成模型，实现了属性语义一致的人脸图像生成。

②引入结构信息s以提升生成图像的结构明确性和清晰度：

由于视觉属性描述的结构不明确性，这里考虑引入额外的结构信息s来提升人脸图像生成的结构清晰度。条件变分自编码模型在引入多条件来指导人脸图像生成提供了模型构建上具有灵活性，基于多条件之间相互独立的假设，引入结构信息之后的条件变分自编码模型如下所示：

其中，p_θ(x|z,a,s)解释为引入结构信息后的解码器，q_φ(z|x,a,s)解释为编码器，此时结构信息s也会影响隐变量z的后验分布，一定程度上减轻了隐变量z解释外观和结构变化的负担。

③引入与视觉属性描述协调一致的粗略图像作为模型输入，来提升模型捕捉残差视觉信息的能力，提高生成图像的质量：

区别于依据图像来生成图像的方式(比如，图像视觉属性编辑)，基于视觉属性描述的人脸图像生成没有任何直接的图像来指导人脸图像生成，加剧了模型构建及学习的难度。由此，本发明考虑级联使用上述描述的人脸生成模型的输出图像x′作为生成模型的额外输入，从而构建级联的人脸图像生成方案。这样一来，后续级联的生成模型侧重于粗略图像x′和实际图像x之间的视觉残差信息，降低了后续级联模型学习的难度。

同②中所述条件变分自编码模型引入独立条件的灵活性，引入粗略图像之后，复杂条件变分自编码模型的优化目标下界表示为：

最终构建的复杂条件变分自编码模型如图5所示。在模型测试阶段，依据x′＝p(x|z,a,s)首先生成粗略图像，然后根据生成最终的人脸图像。

3、构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；

目前，尚缺少统一的衡量生成模型质量的指标。考虑到在依据属性描述生成人脸图像的应用中，重在追求生成的人脸图像与指定属性所对应的真实的人脸图像的重建误差最小，本发明提出了三种重建损失，用于对生成的人脸图像进行质量分析与评估。基于相似图像应具有相似的特征描述的假设,考虑在三种特定的特征空间中计算生成图像与指定属性所对应的真实的人脸图像的重建误差。这三种特定的特征空间分别侧重分析纹理、结构和语义上的一致性：

①纹理一致性

图像特征中的纹理特征描述了图像的表面性质。LBP(Local Binary Pattern，局部二值模式)是一种用来描述图像局部纹理特征的算子，可以用来提取纹理特征，效果图如图6所示。本发明提出在LBP特征空间中计算生成图像和目标图像x的卡方距离来衡量两者的纹理一致性。特征抽取的参数设置为：图像大小为128×128，用于统计直方图的局部区域大小为16×16，使用的局部二进制模式的个数为59，最终得到的特征空间维度为3776。具体计算方式如下：

其中映射表示LBP特征转换。

②结构一致性

梯度方向直方图(Histogram of Oriented Gradient，HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图作为特征表示，效果图如图6所示。

本发明提出在梯度方向直方图(HOG)特征空间中计算生成图像和目标图像x的L2距离来衡量两者的结构一致性。特征抽取的参数设置为：图像大小为128×128，胞元大小为8×8，块的大小为2×2，块滑动步长为0.5倍的胞元大小，在一个块内统计9个梯度方向的直方图。

具体计算方式如下：

其中映射表示HOG特征抽取。

③语义一致性

深度神经网络作为一种有效的特征表示学习工具，所学到的特征表示呈现出较明显的语义抽象表达能力。因此，可以考虑在训练好的深度神经网络模型所代表的特征空间中来衡量生成图像与实际图像在语义上的协调一致性。

具体而言，本发明提出使用一组中间隐藏层S_l＝{l_i,l_j,l_k}的响应值作为特征表示来计算生成图像和目标图像x之间的语义一致性，定义如下：

其中映射φ_i(·)表示第i层在预训练特征表示模型中的响应，C_i,H_i,W_i分别表示通道号和第i层隐藏层的大小。这里，选择使用VGGNet19深度神经网络作为基本模型，在人脸数据集LFW上构建一个人脸身份识别器来驱动模型学习，从而期望模型学习到具有刻画人脸身份的中间语义特征，具体选用了中间层Relu1_1,Relu3_1,Relu5_1来计算上述语义损失。

4、引入上述构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；

本发明选择的基准方法为单条件条件变分自编码模型(CVAE)，比较方法为面罩分解条件变分自编码模型(DisCVAE)。图7为以上两种方法与本发明的结果对比图。以步骤3提出的多种损失度量来评价这三种方法的人脸图像质量，如表1所示。由此可见，本发明所提出的方法在三种评价指标上表现突出。

表1同一准则下不同算法的比较结果

5、给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像；如图8所示，在相同的属性描述和不同的面部结构指导下，本发明生成的人脸图像与实际图像表现出一致的外观和多样化的姿势。

Claims (3)

1.一种依据视觉属性描述自动生成人脸图像的方法，其特征在于，包括如下步骤：

(1)获取视觉属性描述信息、人脸结构信息；

(2)构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；

(3)构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；

(4)引入步骤(3)构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；

(5)给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。

2.如权利要求1所述的依据视觉属性描述自动生成人脸图像的方法，其特征在于，步骤(2)中，构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成具体包括如下步骤：

(21)引入视觉属性向量a构建条件变分自编码模型作为视觉属性指导的人脸图像生成模型，具体定义为：

其中，q_φ(z|x,a)解释为编码器，p_θ(x|z,a)解释为解码器；

(22)引入结构信息s以提升生成图像的结构明确性和清晰度：

其中，p_θ(x|z,a,s)解释为引入结构信息后的解码器；

(23)引入与视觉属性描述协调一致的粗略图像x′作为模型输入，来提升模型捕捉残差视觉信息的能力，从而提高生成图像的质量：

在模型测试阶段，首先依据x′＝p(x|z,a,s)生成粗略图像，然后根据生成最终的人脸图像。

3.如权利要求1所述的依据视觉属性描述自动生成人脸图像的方法，其特征在于，步骤(3)中，构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性具体为：

在三种特定的特征空间中计算生成图像与指定属性所对应的真实的人脸图像的重建误差，在这三种特定的特征空间中分别侧重分析纹理、结构和语义上的一致性；

①纹理一致性

提出在LBP特征空间中计算生成图像和目标图像x的卡方距离来衡量两者的纹理一致性，计算式子如下：

其中映射表示LBP特征转换；

②结构一致性

提出在梯度方向直方图HOG特征空间中计算生成图像和目标图像x的L2距离来衡量两者的结构一致性，计算式子如下：

其中映射表示HOG特征抽取；

③语义一致性

提出使用一组中间隐藏层S_l＝{l_i,l_j,l_k}的响应值作为特征表示来计算生成图像和目标图像x之间的语义一致性，定义如下：

其中映射φ_i(·)表示第i层在预训练特征表示模型中的响应，C_i,H_i,W_i分别表示通道号和第i层隐藏层的大小。