CN109858392B - 一种用于化妆前后人脸图像自动识别方法 - Google Patents

Abstract

本发明公开了一种用于化妆前后人脸图像自动识别方法，包括如下步骤S1，对人脸数据进行特征提取；S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；S3，构建多示例的训练数据集；S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。

Description

一种用于化妆前后人脸图像自动识别方法

技术领域

本发明涉及计算机图像分析技术领域，特别涉及一种用于化妆前后人脸图像自动识别方法。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。近年来，随着计算机视觉技术的迅速发展，人脸自动识别技术得到广泛研究与开发，人脸识别成为近30年里模式识别和图像处理中最热门的研究主题之一。并且随着近些年来深度学习技术的不断发展，人脸识别任务的精度已经得到大幅度提升。然而由于头部姿势的变化，遮挡，光线等影响，在实际应用中，人脸识别技术仍面临着许多挑战。

本发明的系统主要针对的是对化妆前后人脸图像进行自动识别任务。普遍的深度学习框架人脸识别模型在此任务上主要存在以下挑战：首先，由于化妆前后人脸数据集的规模很小，因其要求数据集为包含同一人的化妆前后照片，因而此类数据集目前最大也仅包含1000多张图片，数据的多样性严重缺乏，这对于深度网络结构的学习十分不利，极有可能造成模型过拟合问题；并且由于化妆在现代社会中已经成为日常生活中修饰自我的常用方式，可以大幅度遮盖脸部瑕疵、提亮面部肤色、深化眼部轮廓、描绘眉部轮廓、改变唇部底色、修饰面颊形态等，从而提升个人的魅力与自信心。但使用化妆品后的人脸面部特征会发生大幅度改变，极大程度上降低人脸识别任务精度。

近年来，也有相关研究工作尝试解决此类问题。

文献1(Y.Sun,L.Ren,Z.Wei,B.Liu,Y.Zhai,and S.Liu.A weakly supervisedmethod for makeup-invariant face verification.Pattern Recognition,66:153–159,2017)提出了将人脸识别模型在公开的大规模视频数据集上进行预训练，其后在小规模的面部化妆数据集上进行微调。但该方法要求大规模额外数据集，并且训练过程复杂，耗时较多。

文献2(Y.Li,L.Song,X.Wu,R.He,and T.Tan.Antimakeup:Learning a bi-leveladversarial network for makeup-invariant face verification.arXiv preprintarXiv:1709.03654,2017)提出了通过生成对抗网络，对于给定化妆后的面部图片生成素颜人脸图片的方法，缩小化妆前后面部特征见的巨大差异，从而使用常规人脸识别模型判别真实素颜图片和生成的素颜图片的身份信息。但该方法需要额外训练一个生成对抗网络，并且生成图片的真实性和质量都较为低下。

发明内容

本发明的目的是提供一种用于化妆前后人脸图像自动识别方法，考虑到数据集本身的特殊性以及面部特征的显著性，以此设计了基于面部关键性区域替换的数据集扩充算法和多示例学习的深度神经网络结构模型，从而解决了数据量小、多样性差的问题，同时从图像中获取表达能力更强的特征。基于以上改进，本发明提出的基于深度神经网络与脸部显著性特征对化妆前后人脸图像进行多示例学习的自动识别算法更具真实系统的实用性，且可以大幅度提升人脸识别任务的精度。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种用于化妆前后人脸图像自动识别方法，其特点是，包括如下步骤：

S1，对人脸数据进行特征提取；

S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；

S3，构建多示例的训练数据集；

S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；

S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；

S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。

所述的步骤S1包括：

步骤S1.1，使用带标签的大量辅助数据对基础特征提取网络进行预训练，得到具有初始化参数的人脸识别预训练网络；

步骤S1.2，将面部化妆数据集中的样本作为基准人脸图片，未标注的辅助数据作为候选图片，用此基础特征提取网络对所有人脸图片进行特征提取。

所述的步骤S2包括：

步骤S2.1，计算每一张基准人脸图片分别和所有候选图片之间的特征距离，并根据相似度对候选图片进行排序，对任一基准人脸图片，从候选图片集中挑选置信度高的候选图片；

步骤S2.2，对任一一对基准人脸图片和候选图片，进行人脸关键点检测，并根据关键点将基准图片中多个关键区域之一替换为候选图片中对应区域的图像，其他区域保持不变，实现面部化妆数据集扩充。

所述的候选图片之间的特征距离包括：利用余弦距离计算两个特征之间的距离。

所述的步骤S3具体为：

在扩充后的面部化妆数据集中，将原先单个示例的训练集重组成多示例的包训练数据，并将所述的包训练数据送入到关键性局部区域特征辅助学习任务网络。

所述组成多示例的包训练数据包括：对于任一基准图片，从由其扩充的数据集中随机挑选部分图片组成一个包，即每个包包含1张基准图片及若干个由其生成扩充的新人脸图片。

所述的采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取包括：

将训练数据送入全局特征提取网络后得到全局特征，将训练数据中的多个关键区域分别送入相应的局部特征提取网络得到局部特征，并且完成相应的局部区域识别任务。

所述的采用注意力机制的特征信息融合方法获得训练数据的最终特征包括：

将利用关键性局部区域特征辅助学习任务网络得到的全局特征和局部特征，根据注意力机制进行全局特征和局部特征的融合，生成最终特征。

本发明与现有技术相比，具有以下优点：

本发明考虑到数据集本身的特殊性以及面部特征的显著性，以此设计了基于面部关键性区域替换的数据集扩充算法和多示例学习的深度神经网络结构模型，从而解决了数据量小、多样性差的问题，同时从图像中获取表达能力更强的特征。基于以上改进，本发明提出的基于深度神经网络与脸部显著性特征对化妆前后人脸图像进行多示例学习的自动识别算法更具真实系统的实用性，且可以大幅度提升人脸识别任务的精度。

使用基于面部关键性区域替换的数据集扩充算法，将数据量少、多样性差的面部化妆数据集进行扩充，从而得到大量丰富的面部化妆数据，从而避免了训练过程中的模型过拟合问题，保证了模型训练的稳定性。

针对化妆前后人脸的变化规律，提出了关键性局部区域特征辅助学习任务网络，将特征提取的焦点关注于与身份信息密切相关的重点局部区域(眼睛和嘴巴)，并且通过注意力机制的特征信息融合方法学习到更具表达力的特征，提升人脸识别的精度。

附图说明

图1为本发明一种用于化妆前后人脸图像自动识别方法的流程图；

图2为基于面部关键性区域替换的数据集扩充算法示意图；

图3为局部特征提取网络结构图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

图1示出了用于化妆前后人脸图像自动识别方法的流程图，如图1所示，包括了基于面部关键性区域替换的数据集扩充算法、关键性局部区域特征辅助学习任务网络以及注意力机制的特征信息融合方法。该用于化妆前后人脸图像自动识别方法，具体包括如下步骤：

S1，对人脸数据进行特征提取；

S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；

S3，构建多示例的训练数据集；

S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；

S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；

S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。

进一步地，所述的步骤S1包括：

步骤S1.1，使用带标签的大量辅助数据对基础特征提取网络进行预训练，得到具有初始化参数的人脸识别预训练网络；

步骤S1.2，将面部化妆数据集中的样本作为基准人脸图片，未标注的辅助数据作为候选图片，用此基础特征提取网络对所有人脸图片进行特征提取。

预训练网络是利用带标签的大量辅助数据对基础特征提取网络进行训练学习，并将学习的参数作为基础特征提取网络应用到化妆面部数据的初始参数。

图2为基于面部关键性区域替换的数据集扩充算法示意图，将基准图片中三个关键区域之一替换为相似度高的候选图片中对应区域的图像，其他区域保持不变，从而生成大量丰富的人脸图片，如图2所示，所述的步骤S2包括：

步骤S2.1，计算每一张基准人脸图片分别和所有候选图片之间的特征距离，并根据相似度对候选图片进行排序，对任一基准人脸图片，从候选图片集中挑选置信度高的候选图片；

步骤S2.2，对任一一对基准人脸图片和候选图片，进行人脸关键点检测，并根据关键点将基准图片中多个关键区域之一替换为候选图片中对应区域的图像，其他区域保持不变，实现面部化妆数据集扩充，示例性的，可以选择三个关键数据，分别为左眼、右眼和嘴部。对于任一基准图片，可以扩展获得3*30＝90张新的人脸图片(多示例)，对人脸图片进行关键点检测可以使用MTCNN网络对人脸图片进行68个关键点检测。

所述的候选图片之间的特征距离包括：利用余弦距离计算两个特征之间的距离。

所述的步骤S3具体为：在扩充后的面部化妆数据集中，将原先单个示例的训练集重组成多示例的包训练数据，具体而言，对于任一基准图片，从由其扩充的数据集中随机挑选部分图片组成一个包，即每个包包含1张基准图片及若干个由其生成扩充的新人脸图片，此后并将所述的包训练数据送入到关键性局部区域特征辅助学习任务网络。

上述多示例的包训练中网络训练输入单位为包而不是单一示例的图片，包的身份信息标签为其包含的基准人脸图片的身份信息标签。

上述步骤S4中采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取包括：

将训练数据送入全局特征提取网络后得到全局特征，将训练数据中的三个关键区域(左眼、右眼、嘴巴)分别送入相应的局部特征提取网络得到局部特征，并且完成相应的局部区域识别任务，具体地使用LightCNN网络，对输入的人脸图片或者包中所包含的图片多示例进行特征提取，使用局部特征提取网络，对输入的人脸图片中的关键性区域(左眼、右眼以及嘴部)分别进行局部特征提取，并根据局部特征预测身份信息。

图3为局部特征提取网络结构图，将关键性局部区域特征辅助学习任务网络中的局部特征提取网络结构进行细致的描绘。

参见图3，上述步骤S4中采用注意力机制的特征信息融合方法获得训练数据的最终特征包括：将利用关键性局部区域特征辅助学习任务网络得到的全局特征和局部特征，根据注意力机制进行全局特征和局部特征的融合，生成最终特征。

其中全局特征为f_global，局部特征为f_leye，f_reye，f_mou，引导的注意力权重计算如下：

G＝W_att·Cat(f_leye，f_reye，f_mou，f_global)

融合后特征为：

F＝Cat(G·f_leye，G·f_reye，G·f_mou，G·f_global)

在具体实施例中，所述方法还包括：

构建损失函数。我们使用交叉熵损失函数(cross-entropy loss)作为整个网络的目标函数。这个目标函数可以有效地表示模型的预测能力和实际结果的差距。

L＝γ₁·L_leye+γ₂·L_reye+γ₃·L_mou+γ4·L_global

其中，L_leye、L_reye、L_mou以及L_global分队对应于局部区域识别任务以及人脸识别任务的目标函数，四个γ的参数分别代表每个任务对于的权重

上述额神经网络模型，在数据扩充准备完成后，对训练数据进行处理，将其先变化至144x144尺寸，后随即裁剪至128x128尺寸，其后使用这些数据进行模型的训练。我们采用SGD优化器对网络进行训练，初始状态下，全连接层学习率为lr＝0.01，其余层学习率为lr＝0.0001，系数betas＝(0.9,0.999)，权重衰减系数为0.1，批处理数据量batchsize＝64，其中生成数据N＝7，除人脸识别任务的权重γ＝2外，其余局部区域识别任务γ＝1。网络一共训练大约30轮收敛。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种用于化妆前后人脸图像自动识别方法，其特征在于，包括如下步骤：

S1，对人脸数据进行特征提取；

S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；

S3，构建多示例的训练数据集；

S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；

S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；

S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别；所述的步骤S2包括：

步骤S2.1，计算每一张基准人脸图片对应特征向量分别和所有候选图片特征向量之间的余弦距离作为相似度，并根据相似度对候选图片进行排序，对任一基准人脸图片，从候选图片集中挑选置信度高的候选图片；

步骤S2.2，对任一一对基准人脸图片和候选图片，进行人脸关键点检测，并根据关键点将基准图片中多个关键区域之一替换为候选图片中对应区域的图像，其他区域保持不变，实现面部化妆数据集扩充。

2.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的步骤S1包括：

步骤S1.1，使用带标签的大量辅助数据对基础特征提取网络进行预训练，得到具有初始化参数的人脸识别预训练网络；

步骤S1.2，将面部化妆数据集中的样本作为基准人脸图片，未标注的辅助数据作为候选图片，用此基础特征提取网络对所有人脸图片进行特征提取。

3.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的步骤S3具体为：

在扩充后的面部化妆数据集中，将原先单个示例的训练集重组成多示例的包训练数据，并将所述的包训练数据送入到关键性局部区域特征辅助学习任务网络。

4.如权利要求3所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述组成多示例的包训练数据包括：对于任一基准图片，从由其扩充的数据集中随机挑选部分图片组成一个包，即每个包包含1张基准图片及若干个由其生成扩充的新人脸图片。

5.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取包括：

将训练数据送入全局特征提取网络后得到全局特征，将训练数据中的多个关键区域分别送入相应的局部特征提取网络得到局部特征，并且完成相应的局部区域识别任务。

6.如权利要求5所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的采用注意力机制的特征信息融合方法获得训练数据的最终特征包括：

将利用关键性局部区域特征辅助学习任务网络得到的全局特征和局部特征，根据注意力机制进行全局特征和局部特征的融合，生成最终特征。

Images