CN107392118A - 基于多任务对抗生成网络的强化人脸属性识别方法及系统 - Google Patents
基于多任务对抗生成网络的强化人脸属性识别方法及系统 Download PDFInfo
- Publication number
- CN107392118A CN107392118A CN201710537200.4A CN201710537200A CN107392118A CN 107392118 A CN107392118 A CN 107392118A CN 201710537200 A CN201710537200 A CN 201710537200A CN 107392118 A CN107392118 A CN 107392118A
- Authority
- CN
- China
- Prior art keywords
- face
- attribute
- information
- generation
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003014 reinforcing effect Effects 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 84
- 230000001815 facial effect Effects 0.000 claims abstract description 31
- 238000013136 deep learning model Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供的基于多任务对抗生成网络的强化人脸属性识别方法及系统,方法为:获取多属性目标输入矢量和人脸输入影像信息;对多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;对多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照属性数值进行影像生成;将多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对人脸输入影像信息进行属性设置,得到目标人脸图像。本发明在多属性的人脸资料的标注在十分有限的情况下,透过多任务的对抗生成网络做辅助资料的扩展,建立多属性生成模型进行人脸属性的识别,提升原有传统深度学习模型的学习能力,提高人脸属性的识别速和准确度。
Description
技术领域
本发明涉及电脑视觉与基于对抗生成网络的人脸属性相关应用领域,尤其涉及基于多任务对抗生成网络的强化人脸属性识别方法及系统领域。
背景技术
近年来,大数据的来源供应使得深度学习可应用在各个领域,在效能上远超过传统机器学习的算法。此卓越的效能表现使得深度学习算法与模型渐渐被广泛应用于商业应用上,而人脸属性识别任务(如识别性别,年龄,是否戴眼镜,是否脸上有胡子等)是其中一种兼具娱乐与实用性的商业应用并在学界与业界中被投入大量的目光与研究资源。然而,深度学习需要搭配大数据才能有相对好的识别效果。而在有限的人工标注速度限制与属性分布不够广泛的数据库会使得人脸属性上的算法研究时程与模型训练上受到了一定程度的局限。
因此,现有技术中的缺陷是,现有技术中对于人脸属性的识别,通常受人工标注速度和人脸属性分布不够广泛的数据库的限制,使人脸属性识别的准确度和速度受限制。
发明内容
针对上述技术问题,本发明提供一种基于多任务对抗生成网络的强化人脸属性识别方法及系统,在多属性的人脸资料的标注在十分有限的情况下,透过多任务的对抗生成网络做辅助资料的扩展,建立多属性生成模型进行人脸属性的识别,提升原有传统深度学习模型的学习能力,提高人脸属性的识别速度快和准确度。
为解决上述技术问题,本发明提供的技术方案是:
第一方面,本发明提供一种基于多任务对抗生成网络的强化人脸属性识别方法,包括:
步骤S1,获取多属性目标输入矢量和人脸输入影像信息;
步骤S2,对所述多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;
步骤S3,对所述多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照所述属性数值进行影像生成;
步骤S4,将所述多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对所述人脸输入影像信息进行属性设置,得到目标人脸图像,所述多属性生成模型通过对抗生成网络学习法建立。
本发明提供的基于多任务对抗生成网络的强化人脸属性识别方法,其技术方案为:获取多属性目标输入矢量和人脸输入影像信息;对所述多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;对所述多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照所述属性数值进行影像生成;将所述多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对所述人脸输入影像信息进行属性设置,得到目标人脸图像,所述多属性生成模型通过对抗生成网络学习法建立。
本发明的基于多任务对抗生成网络的强化人脸属性识别方法,在多属性的人脸资料的标注在十分有限的情况下,透过多任务的对抗生成网络做辅助资料的扩展,建立多属性生成模型进行人脸属性的识别,提升原有传统深度学习模型的学习能力,提高人脸属性的识别速和准确度。
进一步地,通过对抗生成网络学习法建立所述多属性生成模型,具体为:
获取人脸属性标注信息和人脸无标注信息;
根据所述人脸属性标注信息和人脸无标注信息,生成来源资料库;
对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息;
根据所述校正后的人脸信息,通过对抗生成网络训练生成网络模型,所述网络模型为用来描述正脸外形的流形;
通过所述网络模型可得到与所述来源资料库中相近的人脸辅助信息;
根据所述来源资料库和所述人脸辅助信息,通过一个多任务的对抗生成网络联级架构生成多属性生成模型。
进一步地,还包括:
根据所述来源资料库和所述人脸辅助信息,生成人脸跨属性辅助信息;
对所述人脸属性标注信息,通过预先建立的第一深度学习模型进行训练,得到第一图像表示特征,所述第一深度学习模型通过所述人脸属性标注信息训练得到的;
对所述人脸跨属性辅助信息,通过预先建立的第二深度学习模型进行训练,得到第二图像表示特征,所述第二深度学习模型通过所述人脸辅助信息训练得到的;
根据所述第一图像表示特征和所述第二图像表示特征,进行融合处理,得到属性线性分类。
进一步地,所述步骤S4中,按照属性排列顺序对所述人脸输入影像信息进行属性设置得到目标人脸图像,具体为:
获取所述多属性描述矢量中的至少一个人脸属性;
根据所述人脸输入影像信息和所述多属性描述矢量对应的目标属性,生成属性排列顺序,每次生成的属性排列顺序是唯一的;
根据所述属性排列顺序,依次进行属性设置,每次设置输出得到的人脸属性作为下一顺序属性设置的输入;
按照所述属性排列顺序进行属性设置后,得到目标人脸图像。
进一步地,对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息,具体为:
通过关键点的侦测与Headpose评估法对所述人脸属性标注信息和人脸无标注信息中无法检测到关键点和角度过大的人脸信息进行过滤,得到过滤后的人脸信息;
通对对抗生成网络学习法对所述过滤后的人脸信息中不同角度的人脸信息进行校正,得到校正后的人脸信息。
第二方面,本发明提供了一种基于多任务对抗生成网络的强化人脸属性识别系统,包括:
信息获取模块,用于获取多属性目标输入矢量和人脸输入影像信息;
信息分析模块,用于对所述多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;
属性值判断模块,用于对所述多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照所述属性数值进行影像生成;
目标人脸图像生成模块,用于将所述多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对所述人脸输入影像信息进行属性设置,得到目标人脸图像,所述多属性生成模型通过对抗生成网络学习法建立。
本发明提供的一种基于多任务对抗生成网络的强化人脸属性识别系统,其技术方案为:通过信息获取模块,获取多属性目标输入矢量和人脸输入影像信息;通过信息分析模块,对所述多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;通过属性值判断模块,对所述多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照所述属性数值进行影像生成;通过目标人脸图像生成模块,将所述多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对所述人脸输入影像信息进行属性设置,得到目标人脸图像,所述多属性生成模型通过对抗生成网络学习法建立。
本发明的基于多任务对抗生成网络的强化人脸属性识别系统,在多属性的人脸资料的标注在十分有限的情况下,透过多任务的对抗生成网络做辅助资料的扩展,建立多属性生成模型进行人脸属性的识别,提升原有传统深度学习模型的学习能力,提高人脸属性的识别速度和准确度。
进一步地,还包括多属性生成模型建立模块,具体用于:
获取人脸属性标注信息和人脸无标注信息;
根据所述人脸属性标注信息和人脸无标注信息,生成来源资料库;
对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息;
根据所述校正后的人脸信息,通过对抗生成网络训练生成网络模型,所述网络模型为用来描述正脸外形的流形;
通过所述网络模型可得到与所述来源资料库中相近的人脸辅助信息;
根据所述来源资料库和所述人脸辅助信息,通过一个多任务的对抗生成网络联级架构生成多属性生成模型。
进一步地,还包括,人脸属性强化模块,具体用于:
根据所述来源资料库和所述人脸辅助信息,生成人脸跨属性辅助信息;
对所述人脸属性标注信息,通过预先建立的第一深度学习模型进行训练,得到第一图像表示特征,所述第一深度学习模型通过所述人脸属性标注信息训练得到的;
对所述人脸跨属性辅助信息,通过预先建立的第二深度学习模型进行训练,得到第二图像表示特征,所述第二深度学习模型通过所述人脸辅助信息训练得到的;
根据所述第一图像表示特征和所述第二图像表示特征,进行融合处理,得到属性线性分类。
进一步地,所述目标人脸图像生成模块,具体用于按照属性排列顺序对所述人脸输入影像信息进行属性设置得到目标人脸图像:
获取所述多属性描述矢量中的至少一个人脸属性;
根据所述人脸输入影像信息和所述多属性描述矢量对应的目标属性,生成属性排列顺序,每次生成的属性排列顺序是唯一的;
根据所述属性排列顺序,依次进行属性设置,每次设置输出得到的人脸属性作为下一顺序属性设置的输入;
按照所述属性排列顺序进行属性设置后,得到目标人脸图像。
进一步地,所述多属性生成模型建立模块,具体用于对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息:
通过关键点的侦测与Headpose评估法对所述人脸属性标注信息和人脸无标注信息中无法检测到关键点和角度过大的人脸信息进行过滤,得到过滤后的人脸信息;
通对对抗生成网络学习法对所述过滤后的人脸信息中不同角度的人脸信息进行校正,得到校正后的人脸信息。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明实施例所提供的一种基于多任务对抗生成网络的强化人脸属性识别方法的流程图;
图2示出了本发明实施例所提供的一种基于多任务对抗生成网络的强化人脸属性识别系统的示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一
图1示出了本发明实施例所提供的一种基于多任务对抗生成网络的强化人脸属性识别方法的流程图;如图1所示,实施例一提供的一种基于多任务对抗生成网络的强化人脸属性识别方法,包括:
步骤S1,获取多属性目标输入矢量和人脸输入影像信息;
步骤S2,对多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;
步骤S3,对多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照属性数值进行影像生成;
步骤S4,将多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对人脸输入影像信息进行属性设置,得到目标人脸图像,多属性生成模型通过对抗生成网络学习法建立。
本发明提供的基于多任务对抗生成网络的强化人脸属性识别方法,其技术方案为:获取多属性目标输入矢量和人脸输入影像信息;对多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;对多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照属性数值进行影像生成;将多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对人脸输入影像信息进行属性设置,得到目标人脸图像,多属性生成模型通过对抗生成网络学习法建立。
本发明的基于多任务对抗生成网络的强化人脸属性识别方法,在多属性的人脸资料的标注在十分有限的情况下,透过多任务的对抗生成网络做辅助资料的扩展,建立多属性生成模型进行人脸属性的识别,提升原有传统深度学习模型的学习能力,提高人脸属性的识别速和准确度。
优选地,通过对抗生成网络学习法建立多属性生成模型,具体为:
获取人脸属性标注信息和人脸无标注信息;
根据人脸属性标注信息和人脸无标注信息,生成来源资料库;
对人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息;
根据校正后的人脸信息,通过对抗生成网络训练生成网络模型,网络模型为用来描述正脸外形的流形;
通过网络模型可得到与来源资料库中相近的人脸辅助信息;
根据来源资料库和人脸辅助信息,通过一个多任务的对抗生成网络联级架构生成多属性生成模型。
通过网络模型可产生更多原本资料集没有观察过的人脸资料。假设人脸属性标注信息为D,人脸无标注信息为D’,来源资料库为D+D’;假设D={DA1,DA2,DA3,…,DAn},DAi(i=1,…,n)为来源资料库当中第i种标注属性的资料集,来源资料库作为训练资料,在人脸的角度上是没有局限的(特别是未标注与未清洗过的D’)。将其中角度过大的人脸进行过滤,透过对抗生成网络训练一描述正脸外型的流形。训练生的成网络模型可以生成与来源资料库分布近似且无穷尽的人脸辅助资料DAux,使得训练多属性生成模型的来源资料更多,进而使训练的模型更精准。
举例,如输入人脸一开始没有戴眼镜与胡子,透过此多属性生成模型可以产生对原有人脸加上有带眼镜与胡子的输出影像;反之也可以产生摘除眼镜与胡子的人脸影像;或者也可以指定年龄,产生特定老化或年轻年龄的人脸;也可以是这些属性的综合结果。在此定义一个对多属性描述的矢量VAtt={v1,v2,v3,…,vm},可以指定任何目标矢量数值(每个属性皆大于等于零的数值),再经过矢量解析与解析后合成属性的需求类别来驱动多个不同属性生成任务模型,最后将得到所需的目标人脸影像。举例:可以指定此多属性描述矢量为VEx={“戴眼镜”=0,“胡子=1,“年纪=40,…}。当属性数值为零时则不驱动生成网络的功能,大于零时则根据数值大小进行相对数值目标的影像生成,此多属性矢量需求为针对输入人脸产生一个约40岁有胡子的人脸。
优选地,对人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息,具体为:
通过关键点的侦测与Headpose评估法对人脸属性标注信息和人脸无标注信息中无法检测到关键点和角度过大的人脸信息进行过滤,得到过滤后的人脸信息;
通对对抗生成网络学习法对过滤后的人脸信息中不同角度的人脸信息进行校正,得到校正后的人脸信息。
通过上述处理,将未限制人脸角度的属性识别问题转换至对于模型学习有帮助的正脸角度局限的属性识别问题,提高人脸属性识别的准确度。
优选地,步骤S4中,按照属性排列顺序对人脸输入影像信息进行属性设置得到目标人脸图像,具体为:
获取多属性描述矢量中的至少一个人脸属性;
根据人脸输入影像信息和多属性描述矢量对应的目标属性,生成属性排列顺序,每次生成的属性排列顺序是唯一的;
根据属性排列顺序,依次进行属性设置,每次设置输出得到的人脸属性作为下一顺序属性设置的输入;
按照属性排列顺序进行属性设置后,得到目标人脸图像。
在根据不同的属性进行人脸属性设置过程中,比如多属性描述矢量中的属性依次为v1,v2,……,vm,则执行完属性v1后的输出为属性v2的输入,如此一直到最后一个属性vm。在此多个任务的生成模型是独立的,即每一次只针对一个人脸输入影像信息进行属性设置,还会根据人脸输入影像与目标属性给予不同的属性生成的顺序排列,以避免生成过程当中的产生太多的杂讯。比如,如果输入影像为一张20岁的年轻人有戴眼镜,则先摘除眼镜再老化成40岁最后再加上胡子的特征会带来最少的杂讯,此生成排列顺序由常理经验推论与实验而得。
优选地,还包括:
根据来源资料库和人脸辅助信息,生成人脸跨属性辅助信息;
对人脸属性标注信息,通过预先建立的第一深度学习模型进行训练,得到第一图像表示特征,第一深度学习模型通过人脸属性标注信息训练得到的;
对人脸跨属性辅助信息,通过预先建立的第二深度学习模型进行训练,得到第二图像表示特征,第二深度学习模型通过人脸辅助信息训练得到的;
根据第一图像表示特征和第二图像表示特征,进行融合处理,得到属性线性分类。
使用多任务属性生成模的生成方式,通过来源资料库与人脸辅助信息DAux生成人脸跨属性辅助资料DAtt_Aux,即(D+D’+DAux)生成DAtt_Aux。此人脸跨属性辅助资料其资料分布多样性有助于提升深度模型上的识别效果。
具体地,将模型识别分成两个独立的深度学习网络架构,分别得到第一图像表示特征和第二图像表示特征,为高维特征。两个独立的深度学习网络架构,其一为输入来源为标注资料D的深度学习网络架构ND另外一个则为输入来源为人脸跨属性辅助资料DAtt_Aux的深度学习网络架构ND_Aux。ND为传统单纯使用来源标注资料训练的深度模型,而ND_Aux为通过人脸跨属性辅助资料提升整体识别效能的辅助网络。最后两者的图像表示特征会经过融合做最后的多属性预测。
通过分别训练两个来源资料不同深度模型,此训练方式与传统训练深度模型训练方式一样,给定每张人脸图的多属性标签,随后调适网络架构中的超参数(Hyperparameters)与学习机制的组合最佳化结果。最后串连ND与ND_Aux的最后一层高维特征的输出,做最后多属性线性分类。
通过本发明的方法进行人脸属性的识别,设置等可应用于各种实际运作场景,例如:以统计观看广告视频的人脸属性分布为说明:
应用场景一:在广告商推出广告广告牌时,有时会在广告广告牌上架设摄像头,借此观察过往行人看广告的人脸属性特性分布(如男性、女性,年龄大小,脸上的属性特征等等)以此来调整广告的推播策略与商品推广策略。人脸属性的应用在商业上十分的有效并且具有价值。
参见图2,本发明提供了一种基于多任务对抗生成网络的强化人脸属性识别系统10,包括:
信息获取模块101,用于获取多属性目标输入矢量和人脸输入影像信息;
信息分析模块102,用于对多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;
属性值判断模块103,用于对多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照属性数值进行影像生成;
目标人脸图像生成模块104,用于将多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对人脸输入影像信息进行属性设置,得到目标人脸图像,多属性生成模型通过对抗生成网络学习法建立。
本发明提供的一种基于多任务对抗生成网络的强化人脸属性识别系统10,其技术方案为:通过信息获取模块101,获取多属性目标输入矢量和人脸输入影像信息;通过信息分析模块102,对多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;通过属性值判断模块103,对多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照属性数值进行影像生成;通过目标人脸图像生成模块104,将多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对人脸输入影像信息进行属性设置,得到目标人脸图像,多属性生成模型通过对抗生成网络学习法建立。
本发明的基于多任务对抗生成网络的强化人脸属性识别系统10,在多属性的人脸资料的标注在十分有限的情况下,透过多任务的对抗生成网络做辅助资料的扩展,建立多属性生成模型进行人脸属性的识别,提升原有传统深度学习模型的学习能力,提高人脸属性的识别速度和准确度。
优选地,还包括多属性生成模型建立模块,具体用于:
获取人脸属性标注信息和人脸无标注信息;
根据人脸属性标注信息和人脸无标注信息,生成来源资料库;
对人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息;
根据校正后的人脸信息,通过对抗生成网络训练生成网络模型,网络模型为用来描述正脸外形的流形;
通过网络模型可得到与来源资料库中相近的人脸辅助信息;
根据来源资料库和人脸辅助信息,通过一个多任务的对抗生成网络联级架构生成多属性生成模型。
优选地,还包括,人脸属性强化模块,具体用于:
根据来源资料库和人脸辅助信息,生成人脸跨属性辅助信息;
对人脸属性标注信息,通过预先建立的第一深度学习模型进行训练,得到第一图像表示特征,第一深度学习模型通过人脸属性标注信息训练得到的;
对人脸跨属性辅助信息,通过预先建立的第二深度学习模型进行训练,得到第二图像表示特征,第二深度学习模型通过人脸辅助信息训练得到的;
根据第一图像表示特征和第二图像表示特征,进行融合处理,得到属性线性分类。
优选地,目标人脸图像生成模块104,具体用于按照属性排列顺序对人脸输入影像信息进行属性设置得到目标人脸图像:
获取多属性描述矢量中的至少一个人脸属性;
根据人脸输入影像信息和多属性描述矢量对应的目标属性,生成属性排列顺序,每次生成的属性排列顺序是唯一的;
根据属性排列顺序,依次进行属性设置,每次设置输出得到的人脸属性作为下一顺序属性设置的输入;
按照属性排列顺序进行属性设置后,得到目标人脸图像。
优选地,多属性生成模型建立模块,具体用于对人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息:
通过关键点的侦测与Headpose评估法对人脸属性标注信息和人脸无标注信息中无法检测到关键点和角度过大的人脸信息进行过滤,得到过滤后的人脸信息;
通对对抗生成网络学习法对过滤后的人脸信息中不同角度的人脸信息进行校正,得到校正后的人脸信息。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于多任务对抗生成网络的强化人脸属性识别方法,其特征在于,包括:
步骤S1,获取多属性目标输入矢量和人脸输入影像信息;
步骤S2,对所述多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;
步骤S3,对所述多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照所述属性数值进行影像生成;
步骤S4,将所述多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对所述人脸输入影像信息进行属性设置,得到目标人脸图像,所述多属性生成模型通过对抗生成网络学习法建立。
2.根据权利要求1所述的基于多任务对抗生成网络的强化人脸属性识别方法,其特征在于,
通过对抗生成网络学习法建立所述多属性生成模型,具体为:
获取人脸属性标注信息和人脸无标注信息;
根据所述人脸属性标注信息和人脸无标注信息,生成来源资料库;
对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息;
根据所述校正后的人脸信息,通过对抗生成网络训练生成网络模型,所述网络模型为用来描述正脸外形的流形;
通过所述网络模型可得到与所述来源资料库中相近的人脸辅助信息;
根据所述来源资料库和所述人脸辅助信息,通过一个多任务的对抗生成网络联级架构生成多属性生成模型。
3.根据权利要求2所述的基于多任务对抗生成网络的强化人脸属性识别方法,其特征在于,
还包括:
根据所述来源资料库和所述人脸辅助信息,生成人脸跨属性辅助信息;
对所述人脸属性标注信息,通过预先建立的第一深度学习模型进行训练,得到第一图像表示特征,所述第一深度学习模型通过所述人脸属性标注信息训练得到的;
对所述人脸跨属性辅助信息,通过预先建立的第二深度学习模型进行训练,得到第二图像表示特征,所述第二深度学习模型通过所述人脸辅助信息训练得到的;
根据所述第一图像表示特征和所述第二图像表示特征,进行融合处理,得到属性线性分类。
4.根据权利要求1所述的基于多任务对抗生成网络的强化人脸属性识别方法,其特征在于,
所述步骤S4中,按照属性排列顺序对所述人脸输入影像信息进行属性设置得到目标人脸图像,具体为:
获取所述多属性描述矢量中的至少一个人脸属性;
根据所述人脸输入影像信息和所述多属性描述矢量对应的目标属性,生成属性排列顺序,每次生成的属性排列顺序是唯一的;
根据所述属性排列顺序,依次进行属性设置,每次设置输出得到的人脸属性作为下一顺序属性设置的输入;
按照所述属性排列顺序进行属性设置后,得到目标人脸图像。
5.根据权利要求2所述的基于多任务对抗生成网络的强化人脸属性识别方法,其特征在于,
对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息,具体为:
通过关键点的侦测与Headpose评估法对所述人脸属性标注信息和人脸无标注信息中无法检测到关键点和角度过大的人脸信息进行过滤,得到过滤后的人脸信息;
通对对抗生成网络学习法对所述过滤后的人脸信息中不同角度的人脸信息进行校正,得到校正后的人脸信息。
6.一种基于多任务对抗生成网络的强化人脸属性识别系统,其特征在于,包括:
信息获取模块,用于获取多属性目标输入矢量和人脸输入影像信息;
信息分析模块,用于对所述多属性目标输入矢量和人脸输入影像信息进行矢量分析,得到多属性描述矢量;
属性值判断模块,用于对所述多属性描述矢量的属性数值进行判断,当属性数值不为零时,按照所述属性数值进行影像生成;
目标人脸图像生成模块,用于将所述多属性描述矢量和人脸输入影像信息输入预先建立的多属性生成模型,按照属性排列顺序对所述人脸输入影像信息进行属性设置,得到目标人脸图像,所述多属性生成模型通过对抗生成网络学习法建立。
7.根据权利要求6所述的基于多任务对抗生成网络的强化人脸属性识别系统,其特征在于,
还包括多属性生成模型建立模块,具体用于:
获取人脸属性标注信息和人脸无标注信息;
根据所述人脸属性标注信息和人脸无标注信息,生成来源资料库;
对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息;
根据所述校正后的人脸信息,通过对抗生成网络训练生成网络模型,所述网络模型为用来描述正脸外形的流形;
通过所述网络模型可得到与所述来源资料库中相近的人脸辅助信息;
根据所述来源资料库和所述人脸辅助信息,通过一个多任务的对抗生成网络联级架构生成多属性生成模型。
8.根据权利要求7所述的基于多任务对抗生成网络的强化人脸属性识别系统,其特征在于,
还包括,人脸属性强化模块,具体用于:
根据所述来源资料库和所述人脸辅助信息,生成人脸跨属性辅助信息;
对所述人脸属性标注信息,通过预先建立的第一深度学习模型进行训练,得到第一图像表示特征,所述第一深度学习模型通过所述人脸属性标注信息训练得到的;
对所述人脸跨属性辅助信息,通过预先建立的第二深度学习模型进行训练,得到第二图像表示特征,所述第二深度学习模型通过所述人脸辅助信息训练得到的;
根据所述第一图像表示特征和所述第二图像表示特征,进行融合处理,得到属性线性分类。
9.根据权利要求6所述的基于多任务对抗生成网络的强化人脸属性识别系统,其特征在于,
所述目标人脸图像生成模块,具体用于按照属性排列顺序对所述人脸输入影像信息进行属性设置得到目标人脸图像:
获取所述多属性描述矢量中的至少一个人脸属性;
根据所述人脸输入影像信息和所述多属性描述矢量对应的目标属性,生成属性排列顺序,每次生成的属性排列顺序是唯一的;
根据所述属性排列顺序,依次进行属性设置,每次设置输出得到的人脸属性作为下一顺序属性设置的输入;
按照所述属性排列顺序进行属性设置后,得到目标人脸图像。
10.根据权利要求7所述的基于多任务对抗生成网络的强化人脸属性识别系统,其特征在于,
所述多属性生成模型建立模块,具体用于对所述人脸属性标注信息和人脸无标注信息进行正脸校正,得到校正后的人脸信息:
通过关键点的侦测与Headpose评估法对所述人脸属性标注信息和人脸无标注信息中无法检测到关键点和角度过大的人脸信息进行过滤,得到过滤后的人脸信息;
通对对抗生成网络学习法对所述过滤后的人脸信息中不同角度的人脸信息进行校正,得到校正后的人脸信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710537200.4A CN107392118B (zh) | 2017-07-04 | 2017-07-04 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710537200.4A CN107392118B (zh) | 2017-07-04 | 2017-07-04 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107392118A true CN107392118A (zh) | 2017-11-24 |
CN107392118B CN107392118B (zh) | 2020-04-03 |
Family
ID=60335141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710537200.4A Active CN107392118B (zh) | 2017-07-04 | 2017-07-04 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107392118B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844782A (zh) * | 2017-11-29 | 2018-03-27 | 济南浪潮高新科技投资发展有限公司 | 一种基于多任务串行深度网络的人脸识别方法 |
CN108205708A (zh) * | 2018-01-02 | 2018-06-26 | 安徽大学 | 一种新型可扩展的深度学习系统及数据识别方法 |
CN108205659A (zh) * | 2017-11-30 | 2018-06-26 | 深圳市深网视界科技有限公司 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
CN108334849A (zh) * | 2018-01-31 | 2018-07-27 | 中山大学 | 一种基于黎曼流形的行人重识别方法 |
CN108491772A (zh) * | 2018-03-09 | 2018-09-04 | 天津港(集团)有限公司 | 一种人脸识别算法及人脸识别装置 |
CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
CN108596062A (zh) * | 2018-04-12 | 2018-09-28 | 清华大学 | 基于深度学习的人脸图片实时高光去除方法及装置 |
CN109063724A (zh) * | 2018-06-12 | 2018-12-21 | 中国科学院深圳先进技术研究院 | 一种增强型生成式对抗网络以及目标样本识别方法 |
CN109190537A (zh) * | 2018-08-23 | 2019-01-11 | 浙江工商大学 | 一种基于掩码感知深度强化学习的多人物姿态估计方法 |
CN109829431A (zh) * | 2019-01-31 | 2019-05-31 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109948584A (zh) * | 2019-03-28 | 2019-06-28 | 北京深醒科技有限公司 | 一种基于对抗神经网络的微小人脸检测方法和装置 |
TWI687871B (zh) * | 2019-03-28 | 2020-03-11 | 國立勤益科技大學 | 應用於安全防護之影像辨識系統 |
CN111507263A (zh) * | 2020-04-17 | 2020-08-07 | 电子科技大学 | 一种基于多源数据的人脸多属性识别方法 |
US11475608B2 (en) | 2019-09-26 | 2022-10-18 | Apple Inc. | Face image generation with pose and expression control |
US12033254B2 (en) | 2019-04-09 | 2024-07-09 | Koninklijke Philips N.V. | Modifying an appearance of hair |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163289A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
US8406483B2 (en) * | 2009-06-26 | 2013-03-26 | Microsoft Corporation | Boosted face verification |
CN105184253A (zh) * | 2015-09-01 | 2015-12-23 | 北京旷视科技有限公司 | 一种人脸识别方法和人脸识别系统 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
-
2017
- 2017-07-04 CN CN201710537200.4A patent/CN107392118B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8406483B2 (en) * | 2009-06-26 | 2013-03-26 | Microsoft Corporation | Boosted face verification |
CN102163289A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
CN105184253A (zh) * | 2015-09-01 | 2015-12-23 | 北京旷视科技有限公司 | 一种人脸识别方法和人脸识别系统 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844782A (zh) * | 2017-11-29 | 2018-03-27 | 济南浪潮高新科技投资发展有限公司 | 一种基于多任务串行深度网络的人脸识别方法 |
CN108205659A (zh) * | 2017-11-30 | 2018-06-26 | 深圳市深网视界科技有限公司 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
CN108205708A (zh) * | 2018-01-02 | 2018-06-26 | 安徽大学 | 一种新型可扩展的深度学习系统及数据识别方法 |
CN108334849A (zh) * | 2018-01-31 | 2018-07-27 | 中山大学 | 一种基于黎曼流形的行人重识别方法 |
CN108491772A (zh) * | 2018-03-09 | 2018-09-04 | 天津港(集团)有限公司 | 一种人脸识别算法及人脸识别装置 |
CN108537743B (zh) * | 2018-03-13 | 2022-05-20 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
CN108596062A (zh) * | 2018-04-12 | 2018-09-28 | 清华大学 | 基于深度学习的人脸图片实时高光去除方法及装置 |
CN109063724A (zh) * | 2018-06-12 | 2018-12-21 | 中国科学院深圳先进技术研究院 | 一种增强型生成式对抗网络以及目标样本识别方法 |
CN109190537A (zh) * | 2018-08-23 | 2019-01-11 | 浙江工商大学 | 一种基于掩码感知深度强化学习的多人物姿态估计方法 |
CN109190537B (zh) * | 2018-08-23 | 2020-09-29 | 浙江工商大学 | 一种基于掩码感知深度强化学习的多人物姿态估计方法 |
CN109829431A (zh) * | 2019-01-31 | 2019-05-31 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109948584A (zh) * | 2019-03-28 | 2019-06-28 | 北京深醒科技有限公司 | 一种基于对抗神经网络的微小人脸检测方法和装置 |
TWI687871B (zh) * | 2019-03-28 | 2020-03-11 | 國立勤益科技大學 | 應用於安全防護之影像辨識系統 |
US12033254B2 (en) | 2019-04-09 | 2024-07-09 | Koninklijke Philips N.V. | Modifying an appearance of hair |
US11475608B2 (en) | 2019-09-26 | 2022-10-18 | Apple Inc. | Face image generation with pose and expression control |
CN111507263A (zh) * | 2020-04-17 | 2020-08-07 | 电子科技大学 | 一种基于多源数据的人脸多属性识别方法 |
CN111507263B (zh) * | 2020-04-17 | 2022-08-05 | 电子科技大学 | 一种基于多源数据的人脸多属性识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107392118B (zh) | 2020-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107392118A (zh) | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 | |
CN108596757A (zh) | 一种智能组合的个人信用评估方法及系统 | |
CN110930297B (zh) | 人脸图像的风格迁移方法、装置、电子设备及存储介质 | |
CN107292813A (zh) | 一种基于生成对抗网络的多姿态人脸生成方法 | |
CN107239801A (zh) | 视频属性表示学习方法及视频文字描述自动生成方法 | |
CN109753567A (zh) | 一种结合标题与正文注意力机制的文本分类方法 | |
CN107748858A (zh) | 一种基于级联卷积神经网络的多姿态眼睛定位方法 | |
CN107742107A (zh) | 人脸图像分类方法、装置及服务器 | |
CN106778506A (zh) | 一种融合深度图像和多通道特征的表情识别方法 | |
CN107871125A (zh) | 违章建筑识别方法、装置及电子设备 | |
CN109657039B (zh) | 一种基于双层BiLSTM-CRF的工作履历信息抽取方法 | |
CN109614921A (zh) | 一种基于对抗生成网络的半监督学习的细胞分割方法 | |
CN112906631B (zh) | 一种基于视频的危险驾驶行为检测方法和检测系统 | |
CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
Ashwin et al. | An e-learning system with multifacial emotion recognition using supervised machine learning | |
CN106650670A (zh) | 活体人脸视频的检测方法及装置 | |
CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
CN113495959B (zh) | 一种基于文本数据的金融舆情识别方法及系统 | |
CN106874830A (zh) | 一种基于rgb‑d相机和人脸识别的视障人士辅助方法 | |
CN110096587A (zh) | 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型 | |
CN109543656A (zh) | 一种基于dcs-ldp的人脸特征提取方法 | |
CN115374189A (zh) | 基于区块链的食品安全溯源方法、装置及设备 | |
Enadula et al. | Recognition of student emotions in an online education system | |
CN109063732B (zh) | 基于特征交互和多任务学习的图像排序方法及系统 | |
CN107729909A (zh) | 一种属性分类器的应用方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |