一种人脸属性识别方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人脸属性识别方法及装置。
背景技术
人脸识别技术广泛应用于拍照、安防、目标跟踪等场景中,通过对用户的人脸图像进行分析,从而确定用户的多种人脸属性。而现如今,在进行人脸识别时,所能识别出的人脸属性较少,导致人脸识别的识别效果较差,这是目前亟待解决的问题。
发明内容
本申请实施例通过提供一种人脸属性识别方法及装置,解决了现有技术中一种人脸识别方法,存在识别效果较差的技术问题,提高人脸识别的识别效果。
第一方面,本申请通过本申请的一实施例提供如下技术方案:
一种人脸属性识别方法,包括:
获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;
基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;
将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型,其中,所述目标人脸识别模型可用于识别目标图片中的所述M+N个人脸属性。
优选地,所述M个人脸属性标签,包括:
人脸年龄标签,用于表示所述人脸样本图片中的人脸图像对应的年龄。
优选地,所述N个人脸属性标签,包括:
表情类标签,用于表示所述人脸样本图片中的人脸图像对应的表情;
性别类标签,用于表示所述人脸样本图片中的人脸图像对应的性别;
相貌类标签,用于表示所述人脸样本图片中的人脸图像对应的相貌;
美妆类标签,用于表示所述人脸样本图片中的人脸图像对应的美化修饰;
感受类标签,用于表示所述人脸样本图片中的人脸图像给人带来的主观感受。
优选地,所述基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型,包括:
将所述第二人脸样本图片数据集作为训练样本,输入到多子网络模型中,以对所述多子网络模型进行训练,获得所述第二人脸识别模型;其中,所述多子网络模型中包含N个子网络,所述N个子网络被分成了K组,所述多子网络模型中的全连接层的数量小于预设数量,K为小于N的正整数。
优选地,所述将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型,包括:
基于所述第一人脸识别模型和所述第二脸识别模型对初始模型进行微调,获得微调合成模型;
将所述第一人脸样本图片数据集和所述第二人脸样本图片数据集进行融合,获得第三人脸样本图片数据集;
基于所述第三人脸样本数据集对所述微调合成模型进行训练,获得所述目标人脸识别模型。
优选地,所述将所述第一人脸样本图片数据集和所述第二人脸样本图片数据集进行融合,获得第三人脸样本图片数据集,包括:
将所述第一人脸样本图片数据集中的每张人脸样本图片增加所述N个人脸属性标签,获得新的第一人脸样本图片数据集,其中,增加的所述N个人脸属性标签均标记为无效;
将所述第二人脸样本图片数据集中的每张人脸样本图片增加所述M个人脸属性标签,获得新的第二人脸样本图片数据集,其中,增加的所述M个人脸属性标签均标记为无效;
将所述新的第一人脸样本图片数据集和所述新的第二人脸样本图片数据集整合在一起,获得所述第三人脸样本图片数据集。
优选地,所述获得目标人脸识别模型之后,还包括:
将待识别的所述目标图片输入到所述目标人脸识别模型中,获得所述目标人脸识别模型输出的识别结果,所述识别结果为所述目标图片中包含的所述M+N个人脸属性的信息。
优选地,所述将待识别的所述目标图片输入到所述目标人脸识别模型中,获得所述目标人脸识别模型输出的识别结果之后,还包括:
从所述识别结果中提取出人脸年龄的信息、以及美妆类属性的信息;
基于所述美妆类属性的信息,对所述人脸年龄的信息进行修正。
基于同一发明构思,第二方面,本申请通过本申请的一实施例提供如下技术方案:
一种人脸属性识别装置,包括:
获取单元,用于获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;
训练单元,用于基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;
融合单元,用于将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型,其中,所述目标人脸识别模型可用于识别目标图片中的所述M+N个人脸属性。
优选地,所述M个人脸属性标签,包括:
人脸年龄标签,用于表示所述人脸样本图片中的人脸图像对应的年龄。
优选地,所述N个人脸属性标签,包括:
表情类标签,用于表示所述人脸样本图片中的人脸图像对应的表情;
性别类标签,用于表示所述人脸样本图片中的人脸图像对应的性别;
相貌类标签,用于表示所述人脸样本图片中的人脸图像对应的相貌;
美妆类标签,用于表示所述人脸样本图片中的人脸图像对应的美化修饰;
感受类标签,用于表示所述人脸样本图片中的人脸图像给人带来的主观感受。
优选地,所述训练单元,具体用于:
将所述第二人脸样本图片数据集作为训练样本,输入到多子网络模型中,以对所述多子网络模型进行训练,获得所述第二人脸识别模型;其中,所述多子网络模型中包含N个子网络,所述N个子网络被分成了K组,所述多子网络模型中的全连接层的数量小于预设数量,K为小于N的正整数。
优选地,所述融合单元,具体用于:
基于所述第一人脸识别模型和所述第二脸识别模型对初始模型进行微调,获得微调合成模型;将所述第一人脸样本图片数据集和所述第二人脸样本图片数据集进行融合,获得第三人脸样本图片数据集;基于所述第三人脸样本数据集对所述微调合成模型进行训练,获得所述目标人脸识别模型。
优选地,所述融合单元,具体用于:
将所述第一人脸样本图片数据集中的每张人脸样本图片增加所述N个人脸属性标签,获得新的第一人脸样本图片数据集,其中,增加的所述N个人脸属性标签均标记为无效;将所述第二人脸样本图片数据集中的每张人脸样本图片增加所述M个人脸属性标签,获得新的第二人脸样本图片数据集,其中,增加的所述M个人脸属性标签均标记为无效;将所述新的第一人脸样本图片数据集和所述新的第二人脸样本图片数据集整合在一起,获得所述第三人脸样本图片数据集。
优选地,还包括:
识别单元,用于在所述获得目标人脸识别模型之后,将待识别的所述目标图片输入到所述目标人脸识别模型中,获得所述目标人脸识别模型输出的识别结果,所述识别结果为所述目标图片中包含的所述M+N个人脸属性的信息。
优选地,还包括:
修正单元,用于在所述将待识别的所述目标图片输入到所述目标人脸识别模型中,获得所述目标人脸识别模型输出的识别结果之后,从所述识别结果中提取出人脸年龄的信息、以及美妆类属性的信息;基于所述美妆类属性的信息,对所述人脸年龄的信息进行修正。
基于同一发明构思,第三方面,本申请通过本申请的一实施例提供如下技术方案:
一种人脸属性识别装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可以实现上述第一方面任一实施方式所述的方法步骤。
基于同一发明构思,第四方面,本申请通过本申请的一实施例提供如下技术方案:
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时可以实现上述第一方面任一实施方式所述的方法步骤。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
在本申请实施例中,公开了一种人脸属性识别方法,包括:获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型。如此,在使用目标人脸识别模型对目标图片进行人脸识别时,可识别出目标图片中的所述M+N个人脸属性,故而提高了人脸识别的识别效果,解决了现有技术中的人脸识别方法,存在识别效果较差的技术问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种人脸属性识别方法的流程图;
图2为本发明实施例中一种人脸属性识别装置的结构图;
图3为本发明实施例中一种人脸属性识别装置的结构图;
图4为本发明实施例中一种人脸属性识别装置作为服务器时的结构图。
具体实施方式
本申请实施例通过提供一种人脸属性识别方法及装置,解决了现有技术中一种人脸识别方法,存在识别效果较差的技术问题,提高人脸识别的识别效果。
本申请实施例的技术方案为解决上述技术问题,总体思路如下:
一种人脸属性识别方法,包括:获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型,其中,所述目标人脸识别模型可用于识别目标图片中的所述M+N个人脸属性。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
首先说明,本文中出现的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
其次说明,本文中出现的术语“多个”,一般是指“两个以上”,包含“两个”的情况。
实施例一
本实施例提供了一种人脸属性识别方法,应用于电子设备中,所述电子设备可以为网络侧的服务器,也可以为用户侧的终端设备。其中,所述终端设备可以为:PC(PersonalComputer,个人电脑)、或智能手机、或平板电脑、或车载电脑、或数码相机、或游戏机、或智能电视、等等,此处,对于所述终端设备具体是何种设备,本实施例不做具体限定。
如图1所示,所述人脸属性识别方法,包括:
步骤S101;获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述M个人脸属性各不相同,第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,所述N个人脸属性各不相同,M、N为大于等于1的整数。
在具体实施过程中,第一人脸样本图片数据集中含有大量的人脸样本图片,每张人脸样本图片携带有M个人脸属性标签。其中,M可以等于1,即每张人脸样本图片携带有1个人脸属性标签;M也可以大于等于2,即每张人脸样本图片携带有多个人脸属性标签。其中,一个人脸属性标签代表一种人脸属性。
在具体实施过程中,所述的人脸属性,包括:人脸年龄,是否为鹅蛋脸,是否为圆脸,是否为高颧骨,是否为高鼻梁,是否为大眼睛,是否有胡须,男性还是女性,是否涂口红,是否化浓妆,是否是年轻人,是否有魅力,等等。
作为一种可选的实施例,所述M个人脸属性标签,包括:
人脸年龄标签,用于表示人脸样本图片中的人脸图像对应的年龄。
举例来讲,第一人脸样本图片数据集,可以为:IMDB-WIKI和/或CACD数据集。
IMDB-WIKI数据集,包含约52万张人脸样本图片,每张人脸样本图片都含有一个人脸属性标签(即:人脸年龄标签),其覆盖的年龄范围从0岁~100多岁,对应的人脸属性标签的取值从0至100+。
CACD数据集,以CACD2000为例,包含约16万张人脸样本图片,每张人脸样本图片都含有一个人脸属性标签(即:人脸年龄标签),其覆盖的年龄范围从14岁~62岁,对应的人脸属性标签的取值从14至62。
在具体实施过程中,所述M个人脸属性标签除了包括人脸年龄标签以外,还可以包括其它人脸属性标签,本申请也欲保护这种情况。
作为一种可选的实施例,所述N个人脸属性标签,包括:
表情类标签,用于表示人脸样本图片中的人脸图像对应的表情;
性别类标签,用于表示人脸样本图片中的人脸图像对应的性别;
相貌类标签,用于表示人脸样本图片中的人脸图像对应的相貌;
美妆类标签,用于表示人脸样本图片中的人脸图像对应的美化修饰;
感受类标签,用于表示人脸样本图片中的人脸图像给人带来的主观感受。
举例来讲,第二人脸样本图片可以为CelebA数据集,包含20多万张人脸样本图片,每张人脸样本图片包含40个人脸属性标签,这些人脸属性标签可以大致分为:表情类标签、性别类标签、相貌类标签、美妆类标签、感受类标签、等等,但不包含人脸年龄。
表情类标签,包括:微笑的、大笑的、悲哀的、伤心的、生气的、嘴大张开、嘴轻微张开、闭眼、等等;
性别类标签,包括:男性、女性;
相貌类标签,包括:鹅蛋脸、锥子脸、国字脸、高颧骨、高鼻梁、大眼睛、有胡子、等等;
美妆类标签,包括:浓妆、涂口红、浓眉、涂眼影、等等;
感受类标签,包括:年轻人、有魅力的、等等。
在具体实施过程中,所述M个人脸属性和所述N个人脸属性中没有重复的人脸属性(即:所述M个人脸属性和所述N个人脸属性完全不同)。此为优选方案。
或者,所述M个人脸属性和所述N个人脸属性中有重复的人脸属性(即:所述M个人脸属性和所述N个人脸属性部分相同),本申请也欲保护这种情况。
步骤S102;基于第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型。
作为一种可选的实施例,在步骤S102之前,还包括:
对第一人脸样本图片数据集中的每张人脸样本图片进行预处理,以及对第二人脸样本图片数据集中的每张人脸样本图片进行预处理。
在具体实施过程中,所述预处理,包括:缩小每张人脸样本图片的尺寸,并提高每张人脸样本图片中的人脸图像的显示占比。这样,既保证了训练的效果,也减少了电子设备的显存消耗。
在具体实施过程中,在基于第一人脸样本图片数据集进行模型训练时,所选用的模型可以为卷积神经网络模型,例如,VGG模型、或Resnet50模型、或Alexnet模型、或SEnet模型、等等。此处,优选VGG模型,其具有参数少,速度快的优点。
举例来讲,在基于IMDB-WIKI和/或CACD数据集进行模型训练时,由于IMDB-WIKI和CACD数据集中的人脸样本图片仅携带一个人脸属性标签,所以可以将VGG模型设计为单子网络模型。这样,训练获得的第一人脸识别模型仅有一个子网络,可用于识别目标图片中的人脸图像对应的人脸年龄。
作为一种可选的实施例,所述基于第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型,包括:
将第二人脸样本图片数据集作为训练样本,输入到多子网络模型中,以对多子网络模型进行训练,获得第二人脸识别模型。其中,多子网络模型中包含N个子网络,所述N个子网络被分成了K组,用于对第二人脸样本图片数据集进行分组学习,多子网络模型中的全连接层的数量小于预设数量,K为小于N的正整数。
在具体实施过程中,在基于第二人脸样本图片数据集进行模型训练时,所选用的模型可以为卷积神经网络模型,例如,VGG模型、或Resnet50模型、或Alexnet模型、或SEnet模型、等等。此处,优选VGG模型,其具有参数少,速度快的优点。
举例来讲,在基于CelebA数据集进行模型训练时,由于CelebA数据集中的每张人脸样本图片都携带有40个人脸属性标签,所以可以将VGG模型设计为多子网络模型,具体地,可以包含40个子网络,用于分别学习40个不同的人脸属性。
此处,还可以对网络结构进行优化。具体地,可以将人脸分成9个区域(列如:眼睛区域、嘴巴区域、鼻子区域、面部毛发区域、等等),并将上述40个子网络对应分成9组,每一组子网络专门学习一个区域内的特征,并且,将全连接层的数量减少到2个以内(例如:仅设计1个全连接层),从减少电子设备的内存消耗。
步骤S103;将第一人脸识别模型和第二脸识别模型进行融合,构建目标人脸识别模型,其中,目标人脸识别模型可用于识别目标图片中的所述M+N个人脸属性。
作为一种可选的实施例,步骤S103,包括:
将第一人脸样本图片数据集和第二人脸样本图片数据集进行融合,获得第三人脸样本图片数据集;基于第一人脸识别模型和第二脸识别模型对初始模型进行微调,获得微调合成模型;基于第三人脸样本数据集对微调合成模型进行训练,获得目标人脸识别模型。
作为一种可选的实施例,所述将第一人脸样本图片数据集和第二人脸样本图片数据集进行融合,获得第三人脸样本图片数据集,包括:
将第一人脸样本图片数据集中的每张人脸样本图片增加N个人脸属性标签,获得新的第一人脸样本图片数据集,其中,增加的N个人脸属性标签均标记为无效;将第二人脸样本图片数据集中的每张人脸样本图片增加M个人脸属性标签,获得新的第二人脸样本图片数据集,其中,增加的M个人脸属性标签均标记为无效;将新的第一人脸样本图片数据集和新的第二人脸样本图片数据集整合在一起,获得第三人脸样本图片数据集。
举例来讲,在第一人脸样本图片数据集为IMDB-WIKI和/或CACD数据集,第二人脸样本图片数据集为CelebA数据集时:可以针对IMDB-WIKI和/或CACD数据集中的每张人脸样本图片,增设40个人脸属性标签(这40个人脸属性标签参考CelebA数据集设置),且新增的40个人脸属性标签的标签内容都设置成无效值,这样IMDB-WIKI和/或CACD数据集中的每张人脸样本图片都携带有41个人脸属性标签。
类似地,针对CelebA数据集的每张人脸样本图片,增设1个人脸属性标签(即:人脸年龄标签),这样CelebA数据集中的每张人脸样本图片都携带有与IMDB-WIKI和/或CACD数据集相同的41个人脸属性标签。进一步,再将新得到的“IMDB-WIKI和/或CACD数据集”与“CelebA数据集”整合在一起,就获得第三人脸样本图片数据集。
在具体实施过程中,在获得第一人脸识别模型和第二脸识别模型之后,可以基于第一人脸识别模型和第二脸识别模型来微调(fine-tune)合成目标人脸识别模型的对应部分,获得微调合成模型;再将第三人脸样本图片数据集作为训练样本,输入到微调(fine-tune)合成模型中,以使得微调(fine-tune)合成模型对第三人脸样本图片数据集进行学习,最终获得目标人脸识别模型。
作为一种可选的实施例,在步骤S103之后,还包括:
将待识别的目标图片输入到目标人脸识别模型中,获得目标人脸识别模型输出的识别结果,识别结果为目标图片中包含的M+N个人脸属性的信息。
在具体实施过程中,在所述M个人脸属性和所述N个人脸属性中没有重复的人脸属性时,所述M+N个人脸属性各不相同。此为优选方案,可以最大限度地拓展目标人脸识别模型的性能,使其能够识别出更多的人脸属性,且不会造成资源浪费。
举例来讲,在将目标图片输入到目标人脸识别模型中,目标人脸识别模型即可识别出目标图片中包含上述41个人脸属性。例如:人脸年龄是多少,是男性还是女性,是否是鹅蛋脸,是否有胡须,是否是高颧骨,是否是高鼻梁,是否是大眼睛,是否在微笑,是否嘴巴张开,是否是年轻人,是否有没魅力,等等。
作为一种可选的实施例,在所述将待识别的目标图片输入到目标人脸识别模型中,获得目标人脸识别模型输出的识别结果之后,还包括:
从识别结果中提取出人脸年龄的信息、以及美妆类属性的信息;基于美妆类属性的信息,对人脸年龄的信息进行修正。
在具体实施过程中,所述美妆类属性,包括:画眼影、涂口红、浓眉、等等,这些美妆类属性会影响到目标人脸识别模型对人脸年龄的识别,使得识别出的人脸年龄偏小。例如,识别出的人脸年龄为“30”岁,而实际年龄要比30岁大(例如:40岁)。
对此,可以针对每种美妆类属性,设置相应的修正值。例如,“画眼影”对应的修正值为“+5岁”,“涂口红”对应的修正值为“+4岁”,“浓眉”对应的修正值为“+3岁”,等等。
举例来讲,若识别出的人脸年龄为30岁,而检测到目标图片中存在“画眼影”美妆类属性,则需要进行修正,修正过程为:30+5=35(岁),也就是说,修成后的年龄为35岁,识别结果更接近真实情况。
举例来讲,若识别出的人脸年龄为28岁,而检测到目标图片中存在“涂口红”和“浓眉”美妆类属性,则进行修正,修正过程为:29+4+3=36(岁),也就是说,修成后的年龄为36岁,识别结果更接近真实情况。
上述本申请实施例中的技术方案,至少具有如下的技术效果或优点:
在本申请实施例中,公开了一种人脸属性识别方法,包括:获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型。如此,在使用目标人脸识别模型在对目标图片进行人脸识别时,目标人脸识别模型可识别目标图片中的所述M+N个人脸属性,故而提高了人脸识别的识别效果,解决了现有技术中的人脸识别方法,存在识别效果较差的技术问题。
实施例二
基于同一发明构思,如图2所示,本实施例提供了一种人脸属性识别装置200,包括:
获取单元201,用于获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;
训练单元202,用于基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;
融合单元203,用于将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型,其中,所述目标人脸识别模型可用于识别目标图片中的所述M+N个人脸属性。
作为一种可选的实施例,所述M个人脸属性标签,包括:
人脸年龄标签,用于表示所述人脸样本图片中的人脸图像对应的年龄。
作为一种可选的实施例,所述N个人脸属性标签,包括:
表情类标签,用于表示所述人脸样本图片中的人脸图像对应的表情;
性别类标签,用于表示所述人脸样本图片中的人脸图像对应的性别;
相貌类标签,用于表示所述人脸样本图片中的人脸图像对应的相貌;
美妆类标签,用于表示所述人脸样本图片中的人脸图像对应的美化修饰;
感受类标签,用于表示所述人脸样本图片中的人脸图像给人带来的主观感受。
作为一种可选的实施例,还包括:
预处理单元,用于在所述基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型之前,对所述第一人脸样本图片数据集中的每张人脸样本图片进行预处理,以及对所述第二人脸样本图片数据集中的每张人脸样本图片进行预处理:其中,所述预处理,包括:缩小所述每张人脸样本图片的尺寸,并提高所述每张人脸样本图片中的人脸图像的显示占比。
作为一种可选的实施例,所述训练单元202,具体用于:
将所述第二人脸样本图片数据集作为训练样本,输入到多子网络模型中,以对所述多子网络模型进行训练,获得所述第二人脸识别模型;其中,所述多子网络模型中包含N个子网络,所述N个子网络被分成了K组,用于对所述第二人脸样本图片数据集进行分组学习,所述多子网络模型中的全连接层的数量小于预设数量,K为小于N的正整数。
作为一种可选的实施例,所述融合单元203,具体用于:
基于所述第一人脸识别模型和所述第二脸识别模型对初始模型进行微调,获得微调合成模型;将所述第一人脸样本图片数据集和所述第二人脸样本图片数据集进行融合,获得第三人脸样本图片数据集;基于所述第三人脸样本数据集对所述微调合成模型进行训练,获得所述目标人脸识别模型。
作为一种可选的实施例,所述融合单元203,具体用于:
将所述第一人脸样本图片数据集中的每张人脸样本图片增加所述N个人脸属性标签,获得新的第一人脸样本图片数据集,其中,增加的所述N个人脸属性标签均标记为无效;将所述第二人脸样本图片数据集中的每张人脸样本图片增加所述M个人脸属性标签,获得新的第二人脸样本图片数据集,其中,增加的所述M个人脸属性标签均标记为无效;将所述新的第一人脸样本图片数据集和所述新的第二人脸样本图片数据集整合在一起,获得所述第三人脸样本图片数据集。
作为一种可选的实施例,还包括:
识别单元,用于在所述获得目标人脸识别模型之后,将待识别的所述目标图片输入到所述目标人脸识别模型中,获得所述目标人脸识别模型输出的识别结果,所述识别结果为所述目标图片中包含的所述M+N个人脸属性的信息。
作为一种可选的实施例,还包括:
修正单元,用于在所述将待识别的所述目标图片输入到所述目标人脸识别模型中,获得所述目标人脸识别模型输出的识别结果之后,从所述识别结果中提取出人脸年龄的信息、以及美妆类属性的信息;基于所述美妆类属性的信息,对所述人脸年龄的信息进行修正。
上述本申请实施例中的技术方案,至少具有如下的技术效果或优点:
在本申请实施例中,公开了一种人脸属性识别装置,包括:获取单元,用于获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;训练单元,用于基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;融合单元,用于将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型。如此,在使用目标人脸识别模型在对目标图片进行人脸识别时,目标人脸识别模型可识别目标图片中的所述M+N个人脸属性,故而提高了人脸识别的识别效果,解决了现有技术中的人脸识别方法,存在识别效果较差的技术问题。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图3是根据一示例性实施例示出的一种人脸属性识别装置的结构图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图3,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理部件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置800的处理器执行时,使得装置800能够执行一种人脸属性识别方法,包括:获取第一人脸样本图片数据集和第二人脸样本图片数据集,其中,所述第一人脸样本图片数据集中的每张人脸样本图片携带有M个人脸属性标签,所述M个人脸属性标签分别对应M个人脸属性,所述第二人脸样本图片数据集中的每张人脸样本图片携带有N个人脸属性标签,所述N个人脸属性标签分别对应N个人脸属性,M、N为大于等于1的整数;基于所述第一人脸样本图片数据集进行模型训练,获得第一人脸识别模型,以及基于所述第二人脸样本图片数据集进行模型训练,获得第二人脸识别模型;将所述第一人脸识别模型和所述第二脸识别模型进行融合,构建目标人脸识别模型,其中,所述目标人脸识别模型可用于识别目标图片中的所述M+N个人脸属性。
图4是本发明实施例中一种人脸属性识别装置作为服务器时的结构图。该服务器1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1922(例如,一个或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1922可以设置为与存储介质1930通信,在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926,一个或一个以上有线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以上键盘1956,和/或,一个或一个以上操作系统1941,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。