CN110378979A - 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 - Google Patents

基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 Download PDF

Info

Publication number
CN110378979A
CN110378979A CN201910598725.8A CN201910598725A CN110378979A CN 110378979 A CN110378979 A CN 110378979A CN 201910598725 A CN201910598725 A CN 201910598725A CN 110378979 A CN110378979 A CN 110378979A
Authority
CN
China
Prior art keywords
network
face picture
human face
feature
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910598725.8A
Other languages
English (en)
Other versions
CN110378979B (zh
Inventor
王立
冯宗伟
陈茜
洪丽娟
刘辛宇
黄思婕
闵子彦
李明
毛业辉
金敏
朱佳敏
周炯寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN201910598725.8A priority Critical patent/CN110378979B/zh
Publication of CN110378979A publication Critical patent/CN110378979A/zh
Application granted granted Critical
Publication of CN110378979B publication Critical patent/CN110378979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，包括对训练用的人脸图片数据集进行预处理；将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练；训练人脸特征提取网络；在隐藏向量Z和提取的特征向量之间执行线性回归；将回归斜率进行归一化后构造隐藏向量空间特征轴；解除生成人脸图像中两个相关特征的关联性；将修改后的隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。采用了本发明的方法，最终由生成网络生成的人脸图片清晰、逼真而且能够生成自定义的人脸图片，在人脸数据集构建以及人脸安全领域都有广阔的应用前景。

Description

基于生成对抗网络实现自定义高分辨率人脸图片自动生成的 方法
技术领域
本发明涉及计算机视觉术领域，尤其涉及生成对抗网络的图像生成技术领域，具体是指一种基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法。
背景技术
随着科技的进步，关于人脸识别的产品层出不穷，这些产品已经开始在安防、电子、金融等领域广泛应用，而针对人脸识别产品的检验检测手段与方法也急需要与时俱进。针对人脸识别产品的检验与检测，大量符合要求的数据集是关键。同时，为了满足不同检测要求，检验检测所需要的人脸数据也应该随之变化。面向人脸识别相关产品的检测主要包括人脸检测与人脸识别两方面，对人脸检测算法的验证需要大量不同的人脸数据，而对人脸识别算法的验证需要大量成对的人脸图片，特别针对人脸属性识别与人脸比对算法的验证，如年龄、性别、表情等，则需要同一人不同属性状态下的人脸图片。目前，针对人脸识别产品的检验检测还不算成熟，由于验证数据的缺乏，检验检测机构一般采取固定数据集的方式来对相关产品进行验证。而针对更加要求个性化、多样化的人脸识别产品的检测，利用被动的人工数据采集方式来获得相应验证数据会耗费大量时间以及精力，而且还是达不到日益增长的数据要求。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种满足准确性、灵活性、安全性的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法。
为了实现上述目的，本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法如下：
该基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其主要特点是，所述的方法包括以下步骤：
(1)对训练用的人脸图片数据集进行预处理；
(2)将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练，并通过训练好的生成网络生成高分辨率的人脸图片；
(3)训练人脸特征提取网络，并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取；
(4)在隐藏向量Z和提取的特征向量之间执行线性回归，将得到的回归斜率进行归一化后构造隐藏向量空间特征轴；
(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向，解除生成人脸图像中所述两个特征的关联性；
(6)沿着不同的特征轴移动隐藏向量，并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。
较佳地，所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。
较佳地，所述的步骤(1)中预处理后的每个人脸对应有N个大小不一样的图片。
较佳地，所述的大小不一样的图片中最大人脸图片为2N+1×2N+1像素。
较佳地，所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络，Z为满足正态分布的2N维的向量。
较佳地，所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。
较佳地，所述的步骤(4)中提取的每个特征对应的值为1或-1。
较佳地，所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。
较佳地，所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。
较佳地，所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。
较佳地，所述的N的取值为大于等于6且小于等于10的正整数。
采用了本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，由于其采用深度学习技术，利用真实人脸图片数据来对生成对抗网络进行训练，并且将隐藏向量和人脸特征建立联系，得到了可以生成自定义人脸图片的生成网络。本发明的核心就在于整体方法的高效性与灵活性：可以使用在任意数据集上训练得到的任意特征提取网络来对训练好的生成对抗网络所生成的人脸图片进行特征提取；为生成网络添加新的特征时，无需重新训练生成对抗网络。
附图说明
图1为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的流程图。
图2为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的人脸图像预处理流程示意图。
图3为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的实施例示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其中包括以下步骤：
(1)对训练用的人脸图片数据集进行预处理；
(2)将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练，并通过训练好的生成网络生成高分辨率的人脸图片；
(3)训练人脸特征提取网络，并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取；
(4)在隐藏向量Z和提取的特征向量之间执行线性回归，将得到的回归斜率进行归一化后构造隐藏向量空间特征轴；
(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向，解除生成人脸图像中所述两个特征的关联性；
(6)沿着不同的特征轴移动隐藏向量，并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。
作为本发明的优选实施方式，所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。
作为本发明的优选实施方式，所述的步骤(1)中预处理后的每个人脸对应有N个大小不一样的图片。
作为本发明的优选实施方式，所述的大小不一样的图片中最大人脸图片为2N+1×2N+1像素。
作为本发明的优选实施方式，所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络，Z为满足正态分布的2N维的向量。
作为本发明的优选实施方式，所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。
作为本发明的优选实施方式，所述的步骤(4)中提取的每个特征对应的值为1或-1。
作为本发明的优选实施方式，所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。
作为本发明的优选实施方式，所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。
作为本发明的优选实施方式，所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。
作为本发明的优选实施方式，所述的N的取值为大于等于6且小于等于10的正整数。
本发明的具体实施方式中，如说明书附图1所示，该生成的高分辨率人脸图片大小为1024×1024时，所述的一种基于生成对抗网络的自定义高分辨率人脸图片自动生成方法具体包括以下步骤：
(1)对训练生成对抗网络用的人脸图片数据集进行预处理需要先对原始包含人脸的图片进行人脸区域裁剪，裁剪后的人脸图片大小为1024×1024像素(N＝9)，人脸面积与背景面积之比大约为5:1，最终用来训练生成对抗网络的每个尺寸的人脸图片数为30000张，共N个尺寸，如说明书附图2所示。
(2)为了生成高分辨率人脸图片，以渐进式生成对抗网络(PGGAN)为基础构建生成对抗网络模型，如说明书附图3所示，将隐藏向量Z以及由步骤(1)得到的多尺寸人脸图片数据集输入PGGAN中进行训练，并且通过训练完成的PGGAN生成与隐藏向量Z对应的人脸图片。
为了防止模型崩塌，隐藏空间维数大小需要大于训练用数据集内在维数，但太大的隐藏空间维数会占用太多显存，使得训练越慢，因此，本发明的隐藏空间Z为满足正态分布的2N维的向量，此时N＝9，Z为512维。
所述生成对抗网络中生成网络损失函数即最大化 表达式如下：
其中，m＝150为每批采样的人脸图像数，Z为隐藏向量，G(Zi)为生成的数据，D(G(Zi))为对抗网络判断生成的数据为真的概率。
所述PGGAN中对抗网络损失函数即最大化 表达式如下：
其中，m＝150为每批采样的人脸图像数，Z为隐藏向量，x为真实数据，G(Zi)为生成的数据，D(G(Zi))为对抗网络判断真实的数据为真的概率，D(G(Zi))为对抗网络判断生成的数据为真的概率。
(3)以Inception-ResNet网络为基础构建人脸特征提取网络模型，如说明书附图3所示，将CelebA-HQ人脸数据集以及对应的人脸特征标签输入人脸特征提取网络进行训练，并利用训练好的特征提取网络对步骤(2)中PGGAN所生成的一张人脸图片进行特征向量提取，所提取的每张人脸图片对应的人脸特征包括但不限于年龄(A)、性别(G)、笑容(S)、发型(H)、胡子(B)、眼镜(E)。
(4)由步骤(3)中人脸特征提取网络提取的每个特征对应的值为1或-1，将一个人脸的多个特征所对应的值组成特征向量，选择线性回归模型(Linear Regression)在输入的隐藏向量Z和提取的特征向量之间执行回归操作，将得到的回归斜率进行归一化后构造隐藏向量空间特征轴。
(5)将由步骤(4)得到两个相关的特征中的一个特征所对应的特征轴投影到新的方向，新方向垂直于另一个特征所对应的特征轴，解除生成人脸图像中这两个特征的关联性，两个相关的特征包括但不限于年龄与胡子。
(6)由于隐藏向量空间中两点之间的插值通常会导致相应图像的平滑过渡，沿着不同的特征轴移动来改变隐藏向量Z，再通过将改变后的Z输入由步骤(2)得到的人脸生成对抗网络中的生成网络生成自定义特征的1024×1024像素高分辨率人脸图片。
采用了本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，由于其采用深度学习技术，利用真实人脸图片数据来对生成对抗网络进行训练，并且将隐藏向量和人脸特征建立联系，得到了可以生成自定义人脸图片的生成网络。本发明的核心就在于整体方法的高效性与灵活性：可以使用在任意数据集上训练得到的任意特征提取网络来对训练好的生成对抗网络所生成的人脸图片进行特征提取；为生成网络添加新的特征时，无需重新训练生成对抗网络。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (11)

1.一种基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的方法包括以下步骤：
(1)对训练用的人脸图片数据集进行预处理；
(2)将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练，并通过训练好的生成网络生成高分辨率的人脸图片；
(3)训练人脸特征提取网络，并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取；
(4)在隐藏向量Z和提取的特征向量之间执行线性回归，将得到的回归斜率进行归一化后构造隐藏向量空间特征轴；
(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向，解除生成人脸图像中所述两个特征的关联性；
(6)沿着不同的特征轴移动隐藏向量，并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。
2.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。
3.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(1)中预处理后的每个人脸对应有N个大小不一样的图片。
4.根据权利要求3所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的大小不一样的图片中最大人脸图片为2N+1×2N+1像素。
5.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络，Z为满足正态分布的2N维的向量。
6.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。
7.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(4)中提取的每个特征对应的值为1或-1。
8.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。
9.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。
10.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。
11.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法，其特征在于，所述的N的取值为大于等于6且小于等于10的正整数。
CN201910598725.8A 2019-07-04 2019-07-04 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 Active CN110378979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910598725.8A CN110378979B (zh) 2019-07-04 2019-07-04 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910598725.8A CN110378979B (zh) 2019-07-04 2019-07-04 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法

Publications (2)

Publication Number Publication Date
CN110378979A true CN110378979A (zh) 2019-10-25
CN110378979B CN110378979B (zh) 2022-12-23

Family

ID=68251904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910598725.8A Active CN110378979B (zh) 2019-07-04 2019-07-04 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法

Country Status (1)

Country Link
CN (1) CN110378979B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597977A (zh) * 2020-05-14 2020-08-28 公安部第三研究所 基于深度卷积生成对抗网络实现虹膜生物特征图片自动生成的方法
CN113379606A (zh) * 2021-08-16 2021-09-10 之江实验室 一种基于预训练生成模型的人脸超分辨方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597977A (zh) * 2020-05-14 2020-08-28 公安部第三研究所 基于深度卷积生成对抗网络实现虹膜生物特征图片自动生成的方法
CN113379606A (zh) * 2021-08-16 2021-09-10 之江实验室 一种基于预训练生成模型的人脸超分辨方法

Also Published As

Publication number Publication date
CN110378979B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
Yang et al. Learning face age progression: A pyramid architecture of gans
CN111833418B (zh) 动画交互方法、装置、设备以及存储介质
EP3885965B1 (en) Image recognition method based on micro facial expressions, apparatus and related device
Zhang et al. Random Gabor based templates for facial expression recognition in images with facial occlusion
Wang et al. Fast sign language recognition benefited from low rank approximation
CN107330444A (zh) 一种基于生成对抗网络的图像自动文本标注方法
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN109934767A (zh) 一种基于身份和表情特征转换的人脸表情转换方法
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN103618918A (zh) 一种智能电视的显示控制方法及装置
CN109543526A (zh) 基于深度差异性特征的真假面瘫识别系统
CN108197618A (zh) 用于生成人脸检测模型的方法和装置
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
Liu et al. Psgan++: Robust detail-preserving makeup transfer and removal
CN102567716A (zh) 一种人脸合成系统及实现方法
Paul et al. Extraction of facial feature points using cumulative histogram
Nojavanasghari et al. Hand2face: Automatic synthesis and recognition of hand over face occlusions
CN112188306A (zh) 一种标签生成方法、装置、设备及存储介质
CN110378979A (zh) 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法
Liu et al. Learning shape and texture progression for young child face aging
Liu et al. A3GAN: An attribute-aware attentive generative adversarial network for face aging
CN111325173A (zh) 毛发类型识别方法、装置、电子设备及存储介质
CN111368663A (zh) 自然场景中静态面部表情识别方法、装置、介质及设备
Khalifa et al. An automatic facial age proression estimation system
She et al. Micro-expression recognition based on multiple aggregation networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant