CN112395971A - 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 - Google Patents
基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 Download PDFInfo
- Publication number
- CN112395971A CN112395971A CN202011276111.7A CN202011276111A CN112395971A CN 112395971 A CN112395971 A CN 112395971A CN 202011276111 A CN202011276111 A CN 202011276111A CN 112395971 A CN112395971 A CN 112395971A
- Authority
- CN
- China
- Prior art keywords
- face
- illumination
- angle
- under different
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 154
- 238000012360 testing method Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000013508 migration Methods 0.000 claims abstract description 38
- 230000005012 migration Effects 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000010276 construction Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000003042 antagnostic effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，包括制作不同量化光照以及角度条件下不同身份人脸训练数据生成标签；对训练用不同光照及角度条件下真实人脸图片数据集预处理；基于StarGAN网络模型构建光照及角度迁移网络及基础损失；利用人脸身份特征提取网络构建身份一致性损失；利用人脸图像与真实目标人脸图像进行差异分析构建L1损失；将预处理后的训练用人脸图像输入光照及角度迁移网络进行训练；形成最终不同量化光照及角度条件下人脸测试图像生成模型。本发明还涉及相应的系统、装置、处理器及其存储介质。采用了本发明的技术方案，利用配对人脸损以及提取预训练网络来构建身份一致性损失，生成的不同量化光照以及角度条件下人脸图像具有更高的清晰度以及身份一致性。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及生成对抗网络的图像生成技术领域，具体是指一种基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法、系统、装置、处理器及其计算机可读存储介质。
背景技术
随着人工智能、大数据、分布式存储的迅速发展，各类高性能智能化人脸识别比对产品层出不穷，检验检测机构的所面临的人脸验证/测试数据缺失问题也日益严重。围绕面向人脸等生物特征的安全防范类智能化产品检验检测，研究基于人工智能实现不同量化光照以及角度条件下人脸测试图像生成的方法关键技术，利用生成对抗网络等最新深度学习技术，生成满足需求的不同光照以及角度人脸验证/测试图像，将被动的不同环境下人脸图像人工数据采集、标注变为主动的验证/测试用人脸图像数据自主生成方式，以智能化技术服务智能产品检测，解决人脸验证/测试数据隐私、不同光照以及角度条件下的人脸测试数据缺乏以及数据采集难度大等问题。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种能够由一张正常光照以及角度的人脸图像生成不同光照以及角度的人脸测试图像、不改变除了光照以外的其他属性、保持人脸的身份信息不变且满足清晰及真实要求、运行性能稳定可靠、适用范围较为广泛的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法、系统、装置、处理器及其计算机可读存储介质。
为了实现上述目的，本发明的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法、系统、装置、处理器及其计算机可读存储介质如下：
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其主要特点是，所述的方法包括以下步骤：
(1)制作不同量化光照以及角度条件下的不同身份人脸训练数据，并生成对应标签；
(2)对训练用的不同光照以及角度条件下的真实人脸图片数据集进行预处理；
(3)基于StarGAN网络模型构建光照以及角度迁移网络以及基础损失；
(4)利用人脸身份特征提取网络构建身份一致性损失；
(5)利用生成的人脸图像与配对的真实目标人脸图像进行差异分析并构建L1损失；
(6)将经过预处理后的训练用人脸图像输入至所述的光照以及角度迁移网络，并进行训练操作；
(7)形成最终的不同量化光照以及角度条件下人脸测试图像生成模型。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(1)具体包括以下步骤：
(1.1)选取1000个不同身份人员进人脸图像采集；
(1.2)对每个人分别采集不同光照条件以及角度条件下的人脸图像；
(1.3)根据所述的光照条件以及角度条件，制作的人脸对应的标签为19维的向量。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的光照条件可以包括正常光照、面部过爆、面部欠爆、阴阳脸、背光以及低照；所述的角度条件可以包括正脸、45°抬头、45°低头、90°左转、90°右转、60°左转、60°右转、45°左转、45°右转、45°右斜向上、45°右斜向下、45°左斜向上、45°左斜向下。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的的步骤(2)具体包括以下步骤：
(2.1)对原始包含人脸的图片进行筛选，并对筛选出的图像中人脸区域进行裁剪以及缩放；
(2.2)对缩放后的图片进行增加噪声处理，得到预处理操作后的人脸图片。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(2)中预处理操作后的人脸图片可以为8位、单通道、大小为2N×2N像素的图片，其中，N为正整数，且7≤N≤10。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(3)中的光照以及角度特征通过向量方式与对应人脸图片输入至风格迁移网络，并且将源图与目标图作为匹配进行训练。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(4)中的人脸身份特征提取网络为通用人脸识别预训练模型。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(5)中的差异分析，具体为：
计算所生成的人脸图像与配对的真实目标人脸图像之间的像素差异。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(6)中的将经过预处理后的训练用人脸图像输入至光照以及角度迁移网络，包括以下步骤：
(6.1)选取一成对的源人脸图片与目标人脸图片，将由源人脸图片以及对应的照度以及角度特征连同目标人脸图片的照度以及角度特征，输入生成器生成与源人脸具有相同照度以及角度的新生成图；
(6.2)将新生成图以及与源人脸图片所对应的照度以及角度特征重新输入生成器中重构源人脸图片；
(6.3)利用身份特征提取网络，计算重构人脸图片的身份一致性损失，处理重构的图片和原始的输入的源人脸图片使两者尽可能相似；
(6.4)将新生成人脸图传输给判别器，对抗网络判断图的真假，并利用Diff-Analysis网络，计算新生成图与配对的目标人脸图片之间的L1损失；
(6.5)计算生成对抗网络的对抗损失。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(6)中的训练操作具体为：
使用ADAM梯度优化方案训练生成网络与对抗网络。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法中的步骤(7)具体为：
利用身份一致性损失、对抗损失以及重构损失优化网络，将某一人的正常人脸图像以及标签向量输入经过训练后得到的人脸测试图像生成模型，可生成确定光照以及角度条件下的人脸测试图像。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的系统，其主要特点是，所述的系统包括：
人脸训练数据生成模块，用于制作不同量化光照以及角度条件下的不同身份人脸训练数据，并生成对应标签；
人脸图片数据集预处理模块，用于对训练用的不同光照以及角度条件下的真实人脸图片数据集进行预处理；
光照以及角度迁移网络构建模块，用于基于StarGAN网络模型构建光照以及角度迁移网络以及基础损失；
身份一致性损失构建模块，用于利用人脸身份特征提取网络构建身份一致性损失；
人脸图像差异分析模块，用于利用生成的人脸图像与配对的真实目标人脸图像进行差异分析并构建L1损失；
光照以及角度迁移网络训练模块，用于将所述的人脸图片数据集预处理模块所得到的训练用人脸图像输入至所述的光照以及角度迁移网络，并进行训练操作；
人脸测试图像生成模型形成模块，用于形成最终的不同量化光照以及角度条件下人脸测试图像生成模型。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的装置，其主要特点是，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的步骤。
该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的步骤。
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的各个步骤。
采用了本发明的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法、系统、装置、处理器及其计算机可读存储介质，由于其利用不同光照以及角度条件下的配对人脸损失以及使用在任意数据集上训练得到的任意人脸身份特征提取预训练网络来构建身份一致性损失，生成的不同量化光照以及角度条件下人脸图像具有更高的清晰度以及身份一致性，最终可由一张正常光照以及角度的人脸图像生成不同光照以及角度的人脸测试图像，但是不改变除了光照以外的其他属性，并且生成的人脸图片清晰、真实，可供训练以及检测验证使用。
附图说明
图1为本发明的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的流程图。
图2为本发明的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的人脸训练图像预处理流程示意图。
图3为本发明的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的基于StarGAN构建的光照以及角度迁移网络结构图。
图4为本发明的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的具体实施例示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其中包括以下步骤：
(1)制作不同量化光照以及角度条件下的不同身份人脸训练数据，并生成对应标签；
(2)对训练用的不同光照以及角度条件下的真实人脸图片数据集进行预处理；
(3)基于StarGAN网络模型构建光照以及角度迁移网络以及基础损失；
(4)利用人脸身份特征提取网络构建身份一致性损失；
(5)利用生成的人脸图像与配对的真实目标人脸图像进行差异分析并构建L1损失；
(6)将经过预处理后的训练用人脸图像输入至所述的光照以及角度迁移网络，并进行训练操作；
(7)形成最终的不同量化光照以及角度条件下人脸测试图像生成模型。
作为本发明的优选实施方式，所述的步骤(1)具体包括以下步骤：
(1.1)选取1000个不同身份人员进人脸图像采集；
(1.2)对每个人分别采集不同光照条件以及角度条件下的人脸图像；其中，所述的光照条件可以包括正常光照、面部过爆、面部欠爆、阴阳脸、背光以及低照；所述的角度条件可以包括正脸、45°抬头、45°低头、90°左转、90°右转、60°左转、60°右转、45°左转、45°右转、45°右斜向上、45°右斜向下、45°左斜向上、45°左斜向下；
(1.3)根据所述的光照条件以及角度条件，制作的人脸对应的标签为19维的向量。
较佳地，所述的步骤(2)具体包括以下步骤：
(2.1)对原始包含人脸的图片进行筛选，并对筛选出的图像中人脸区域进行裁剪以及缩放；
(2.2)对缩放后的图片进行增加噪声处理，得到预处理操作后的人脸图片。
作为本发明的优选实施方式，所述的步骤(2)中预处理操作后的人脸图片可以为8位、单通道、大小为2N×2N像素的图片，其中，N的取值为大于等于7且小于等于10的正整数(7≤N≤10)。
作为本发明的优选实施方式，所述的步骤(3)中的光照以及角度特征通过向量方式与对应人脸图片输入至风格迁移网络，并且将源图与目标图作为匹配进行训练。
作为本发明的优选实施方式，所述的步骤(4)中的人脸身份特征提取网络为通用人脸识别预训练模型，比如DeepFace、DeepID以及FaceNet等，但并不限于此。
作为本发明的优选实施方式，所述的步骤(5)中的差异分析，具体为：
计算所生成的人脸图像与配对的真实目标人脸图像之间的像素差异。
作为本发明的优选实施方式，所述的步骤(6)中的将经过预处理后的训练用人脸图像输入至光照以及角度迁移网络，包括以下步骤：
(6.1)选取一成对的源人脸图片与目标人脸图片，将由源人脸图片以及对应的照度以及角度特征连同目标人脸图片的照度以及角度特征，输入生成器生成与源人脸具有相同照度以及角度的新生成图；
(6.2)将新生成图以及与源人脸图片所对应的照度以及角度特征重新输入生成器中重构源人脸图片；
(6.3)利用身份特征提取网络，计算重构人脸图片的身份一致性损失，处理重构的图片和原始的输入的源人脸图片使两者尽可能相似；
(6.4)将新生成人脸图传输给判别器，对抗网络判断图的真假，并利用Diff-Analysis网络，计算新生成图与配对的目标人脸图片之间的L1损失；
(6.5)计算生成对抗网络的对抗损失。
作为本发明的优选实施方式，所述的步骤(6)的训练操作具体包括以下步骤：
使用ADAM梯度优化方案训练生成网络与对抗网络。
作为本发明的优选实施方式，所述的步骤(7)具体为：
利用身份一致性损失、对抗损失以及重构损失优化网络，将某一人的正常人脸图像以及标签向量输入经过训练后得到的人脸测试图像生成模型，可生成确定光照以及角度条件下的人脸测试图像。
作为本发明的优选实施方式，该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的系统，其中包括：
人脸训练数据生成模块，用于制作不同量化光照以及角度条件下的不同身份人脸训练数据，并生成对应标签；
人脸图片数据集预处理模块，用于对训练用的不同光照以及角度条件下的真实人脸图片数据集进行预处理；
光照以及角度迁移网络构建模块，用于基于StarGAN网络模型构建光照以及角度迁移网络以及基础损失；
身份一致性损失构建模块，用于利用人脸身份特征提取网络构建身份一致性损失；
人脸图像差异分析模块，用于利用生成的人脸图像与配对的真实目标人脸图像进行差异分析并构建L1损失；
光照以及角度迁移网络训练模块，用于将所述的人脸图片数据集预处理模块所得到的训练用人脸图像输入至所述的光照以及角度迁移网络，并进行训练操作；
人脸测试图像生成模型形成模块，用于形成最终的不同量化光照以及角度条件下人脸测试图像生成模型。
作为本发明的优选实施方式，该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的装置，其中包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的步骤。
作为本发明的优选实施方式，该基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的处理器，其被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的步骤。
作为本发明的优选实施方式，该计算机可读存储介质，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的各个步骤。
本发明的具体实施方式中，请参阅附图1所示，该生成的光照以及角度迁移人脸图片大小为1024×1024时，一种基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法具体包括以下步骤：
(1)选取1000个不同身份人员进高清人脸图像采集，对每个人分别采集不同光照以及角度条件下的人脸图像，光照条件包括：正常光照、面部过爆、面部欠爆、阴阳脸、背光以及低照，角度条件包括：正脸、45°抬头、45°低头、90°左转、90°右转、60°左转、60°右转、45°左转、45°右转、45°右斜向上、45°右斜向下、45°左斜向上、45°左斜向下，每个身份人员每种环境至少采集一张，根据环境参数制作采集到的人脸图像对应的标签，每张图对应19维的向量，例如，一正常光照条件下的正脸人像照标签为：[1000001000000000000]
(2)对采集到的训练用不同光照以及角度条件下的真实人脸图片数据集进行预处理需要对原始包含人脸的图片进行筛选，选取质量最优并且适合进行人脸检测与识别的图像；之后进行人脸区域裁剪以及缩放，缩放后的人脸图片均为8位、单通道、大小为1024×1024像素(N＝10)；最后再对缩放后的图片进行增加噪声处理，最终用来训练的人脸图片数为19000(19×1000)张，男女图像均为9500张，如说明书附图2所示。
(3)以多区域图像迁移生成对抗网络(StarGAN)为基础构建星型光照以及角度迁移生成对抗网络模型，将光照以及角度特征通过向量方式与对应人脸图片输入至风格迁移网络，并且将源图与目标图作为匹配进行训练，StarGAN原始各类损失函数不变。
(4)将DeepFace人脸身份特征提取网络加入StarGAN原始分类损失中，构建身份一致性损失，DeepFace采用训练好的预训练模型，可直接用来进行人脸身份特征提取。
(5)利用Diff-Analysis差异分析网络，计算生成的人脸图像与标签一致的真实目标人脸图像像素差异，构建生成图与配对图的L1损失。
(6)为了迁移生成具有真实情感的人脸图片，以多区域图像迁移生成对抗网络(StarGAN)为基础构建星型图像迁移生成对抗网络模型，如说明书附图3所示，具体步骤如下：
(6.1)选取一成对的源人脸图片与目标人脸图片，将由源人脸图片以及对应的照度以及角度特征连同目标人脸图片的照度以及角度特征，输入生成器生成与源人脸具有相同照度以及角度的新生成图；
(6.2)将由(6.1)得到的新生成图以及与源人脸图片所对应的照度以及角度特征重新输入StarGAN中的生成器中重构源人脸图片；
(6.3)判断步骤(6.2)中的重构人脸图片的迁移损失，为了使步骤(6.2)中重构的图片和原始的输入的源人脸图片尽可能相似并且保证是同一人(具有相同的ID)，增加身份特征提取网络，计算重构人脸图片的身份一致性损失，此处用到的所有loss如下：
其中，
为优化对抗网络损失，m＝16为每批采样的人脸图像数，Dcls(cγ|x)为对抗网络对源人脸图像计算得到的域标签概率分布，x为源人脸图像，cγ为源人脸图像的光照以及角度特征向量。
其中，
为优化生成网络损失，m＝16为每批采样的人脸图像数，Dcls(c|G(x,c)为对抗网络对生成图像计算得到的域标签概率分布，x为源人脸图像，c为目标人脸图像的光照以及角度特征向量。
其中，Lid为身份一致性损失，m＝16为每批采样的人脸图像数，d(v1,v2)为向量v1,v2的欧氏距离，x为源人脸图像，c为目标人脸图像的光照以及角度特征向量，cγ为源人脸图像的光照以及角度特征向量，f(x)为通过DeepFace提取的源人脸图像身份特征向量，f(G(G(xi,ci),cγ i))为通过DeepFace提取的生成人脸图像身份特征向量。
(6.4)将新生成人脸图传输给判别器，对抗网络判断图的真假，并利用Diff-Analysis网络，计算新生成图与配对的目标人脸图片之间的L1损失，此处用到的所有loss如下：
其中，Lrec为将源人脸图像和重建的人脸图像计算1范数差得到的重建损失，m＝16为每批采样的人脸图像数，x为源人脸图像，c为目标人脸图像的光照以及角度特征向量，cγ为源人脸图像的光照以及角度特征向量，G为生成的数据。
其中，Ld为将生成的人脸图像和配对的目标人脸图像计算1范数差得到的重建损失，m＝16为每批采样的人脸图像数，xc为配对的目标人脸图像，x为源人脸图像，c为目标人脸图像的光照以及角度特征向量，G为生成的数据。
(6.5)计算传统生成对抗网络的对抗损失，此处用到的loss如下：
其中，m＝16为每批采样的人脸图像数，x为源人脸图像，c为目标人脸图像的光照以及角度特征向量，G为生成的数据，D(G(xi))为对抗网络判断真实的数据为真的概率，D(G(xi,ci))为对抗网络判断生成的数据为真的概率。
最终总体损失即为上述三种损失之和：
其中，LDtotal为总体判别损失，LGtotal为总体生成损失。
生成网络包含5次卷积以及4次空洞卷积、批归一化处理以及ReLU激活处理，对抗网络包含5次卷积、批归一化处理以及负斜率为0.2的Leaky ReLU激活处理。
(7)利用步骤(6)构建的以StarGAN为基础的图像光照以及角度迁移生成对抗网络，将成对的训练用源人脸图片、目标人脸图片以及对应的光照以及角度特征输入网络进行训练，训练过程中，使用ADAM梯度优化方案训练生成网络与对抗网络，生成网络与对抗网络每批采样16个人脸图像，训练批次均为100，学习率均为0.0001，β1与β2分别为0.5与0.999。
(8)训练完成后，利用身份一致性损失、对抗损失以及重构损失优化网络，将某一人的正常人脸图像以及标签向量输入经过训练后得到的人脸测试图像生成模型，可生成确定光照以及角度条件下的人脸测试图像，生成图片大小为1024×1024像素，样式由源迁移至目标的人脸图片，生成的人脸图像与目标人脸光照以及角度一致，但人员身份特征与源人脸图像相同。
本实施例的具体实现方案可以参见上述实施例中的相关说明，此处不再赘述。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
采用了本发明的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法、系统、装置、处理器及其计算机可读存储介质，由于其采用深度学习技术，利用真实人脸图片数据来对光照以及角度特征迁移生成对抗网络进行训练，并且将身份一致性损失以及差异分析网络提取的损失引入最终整体损失函数，得到了可以进行光照以及角度特征量化迁移的人脸生成网络模型。本发明的核心就在于整体方法的高效性与灵活性：可以使用在任意数据集上训练得到的任意人脸身份特征提取预训练网络来对进行人脸身份特征提取；最终得到的人脸生成网络可自定义生成不同量化光照以及角度条件下的人脸测试图像，并且生成的人脸测试图片清晰、真实，可供训练以及检测验证使用。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (15)
1.一种基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的方法包括以下步骤：
(1)制作不同量化光照以及角度条件下的不同身份人脸训练数据，并生成对应标签；
(2)对训练用的不同光照以及角度条件下的真实人脸图片数据集进行预处理；
(3)基于StarGAN网络模型构建光照以及角度迁移网络以及基础损失；
(4)利用人脸身份特征提取网络构建身份一致性损失；
(5)利用生成的人脸图像与配对的真实目标人脸图像进行差异分析并构建L1损失；
(6)将经过预处理后的训练用人脸图像输入至所述的光照以及角度迁移网络，并进行训练操作；
(7)形成最终的不同量化光照以及角度条件下人脸测试图像生成模型。
2.根据权利要求1所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(1)具体包括以下步骤：
(1.1)选取1000个不同身份人员进人脸图像采集；
(1.2)对每个人分别采集不同光照条件以及角度条件下的人脸图像；
(1.3)根据所述的光照条件以及角度条件，制作的人脸对应的标签为19维的向量。
3.根据权利要求2所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的光照条件包括正常光照、面部过爆、面部欠爆、阴阳脸、背光以及低照；所述的角度条件包括正脸、45°抬头、45°低头、90°左转、90°右转、60°左转、60°右转、45°左转、45°右转、45°右斜向上、45°右斜向下、45°左斜向上、45°左斜向下。
4.根据权利要求1所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(2.1)对原始包含人脸的图片进行筛选，并对筛选出的图像中人脸区域进行裁剪以及缩放；
(2.2)对缩放后的图片进行增加噪声处理，得到预处理操作后的人脸图片。
5.根据权利要求4所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(2)中预处理操作后的人脸图片为8位、单通道、大小为2N×2N像素的图片，其中，N为正整数，且7≤N≤10。
6.根据权利要求1所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(3)中的光照以及角度特征通过向量方式与对应人脸图片输入至风格迁移网络，并且将源图与目标图作为匹配进行训练。
7.根据权利要求1所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(4)中的人脸身份特征提取网络为通用人脸识别预训练模型。
8.根据权利要求1所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(5)中的差异分析，具体为：
计算所生成的人脸图像与配对的真实目标人脸图像之间的像素差异。
9.根据权利要求1所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(6)中的将经过预处理后的训练用人脸图像输入至光照以及角度迁移网络，包括以下步骤：
(6.1)选取一成对的源人脸图片与目标人脸图片，将由源人脸图片以及对应的照度以及角度特征连同目标人脸图片的照度以及角度特征，输入生成器生成与源人脸具有相同照度以及角度的新生成图；
(6.2)将新生成图以及与源人脸图片所对应的照度以及角度特征重新输入生成器中重构源人脸图片；
(6.3)利用身份特征提取网络，计算重构人脸图片的身份一致性损失，处理重构的图片和原始的输入的源人脸图片使两者尽可能相似；
(6.4)将新生成人脸图传输给判别器，对抗网络判断图的真假，并利用Diff-Analysis网络，计算新生成图与配对的目标人脸图片之间的L1损失；
(6.5)计算生成对抗网络的对抗损失。
10.根据权利要求9所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(6)中的训练操作具体为：
使用ADAM梯度优化方案训练生成网络与对抗网络。
11.根据权利要求1所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法，其特征在于，所述的步骤(7)具体为：
利用身份一致性损失、对抗损失以及重构损失优化网络，将某一人的正常人脸图像以及标签向量输入经过训练后得到的人脸测试图像生成模型，可生成确定光照以及角度条件下的人脸测试图像。
12.一种基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的系统，其特征在于，所述的系统包括：
人脸训练数据生成模块，用于制作不同量化光照以及角度条件下的不同身份人脸训练数据，并生成对应标签；
人脸图片数据集预处理模块，用于对训练用的不同光照以及角度条件下的真实人脸图片数据集进行预处理；
光照以及角度迁移网络构建模块，用于基于StarGAN网络模型构建光照以及角度迁移网络以及基础损失；
身份一致性损失构建模块，用于利用人脸身份特征提取网络构建身份一致性损失；
人脸图像差异分析模块，用于利用生成的人脸图像与配对的真实目标人脸图像进行差异分析并构建L1损失；
光照以及角度迁移网络训练模块，用于将所述的人脸图片数据集预处理模块所得到的训练用人脸图像输入至所述的光照以及角度迁移网络，并进行训练操作；
人脸测试图像生成模型形成模块，用于形成最终的不同量化光照以及角度条件下人脸测试图像生成模型。
13.一种基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的装置，其特征在于，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1至11中任一项所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的步骤。
14.一种基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1至11中任一项所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的步骤。
15.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1至11中任一项所述的基于StarGAN网络模型实现不同量化光照以及角度条件下人脸测试图像生成的方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276111.7A CN112395971A (zh) | 2020-11-16 | 2020-11-16 | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276111.7A CN112395971A (zh) | 2020-11-16 | 2020-11-16 | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112395971A true CN112395971A (zh) | 2021-02-23 |
Family
ID=74600871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011276111.7A Pending CN112395971A (zh) | 2020-11-16 | 2020-11-16 | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112395971A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420737A (zh) * | 2021-08-23 | 2021-09-21 | 成都飞机工业（集团）有限责任公司 | 一种基于卷积神经网络的3d打印图形识别方法 |
| CN113992322A (zh) * | 2021-11-24 | 2022-01-28 | 中国电子科技集团公司第三十研究所 | 一种基于人脸特征数据的密钥量化方法、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460414A (zh) * | 2018-02-27 | 2018-08-28 | 北京三快在线科技有限公司 | 训练样本图像的生成方法、装置及电子设备 |
| CN110555340A (zh) * | 2018-05-31 | 2019-12-10 | 北京深鉴智能科技有限公司 | 神经网络计算方法和系统及相应的双神经网络实现 |
| CN110569702A (zh) * | 2019-02-14 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 视频流的处理方法和装置 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| CN111597978A (zh) * | 2020-05-14 | 2020-08-28 | 公安部第三研究所 | 基于StarGAN网络模型实现行人重识别图片自动生成的方法 |
-
2020
- 2020-11-16 CN CN202011276111.7A patent/CN112395971A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460414A (zh) * | 2018-02-27 | 2018-08-28 | 北京三快在线科技有限公司 | 训练样本图像的生成方法、装置及电子设备 |
| CN110555340A (zh) * | 2018-05-31 | 2019-12-10 | 北京深鉴智能科技有限公司 | 神经网络计算方法和系统及相应的双神经网络实现 |
| CN110569702A (zh) * | 2019-02-14 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 视频流的处理方法和装置 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| CN111597978A (zh) * | 2020-05-14 | 2020-08-28 | 公安部第三研究所 | 基于StarGAN网络模型实现行人重识别图片自动生成的方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420737A (zh) * | 2021-08-23 | 2021-09-21 | 成都飞机工业（集团）有限责任公司 | 一种基于卷积神经网络的3d打印图形识别方法 |
| CN113992322A (zh) * | 2021-11-24 | 2022-01-28 | 中国电子科技集团公司第三十研究所 | 一种基于人脸特征数据的密钥量化方法、设备及存储介质 |
| CN113992322B (zh) * | 2021-11-24 | 2023-05-19 | 中国电子科技集团公司第三十研究所 | 一种基于人脸特征数据的密钥量化方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| CN105046219B (zh) | 一种人脸识别系统 | |
| CN110428432A (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| Qiao et al. | Application of SVM based on genetic algorithm in classification of cataract fundus images | |
| CN111639544A (zh) | 基于多分支跨连接卷积神经网络的表情识别方法 | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN111932529B (zh) | 一种图像分类分割方法、装置及系统 | |
| CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
| CN108846343B (zh) | 基于三维视频的多任务协同分析方法 | |
| CN110163111A (zh) | 基于人脸识别的叫号方法、装置、电子设备及存储介质 | |
| CN111353390A (zh) | 一种基于深度学习的微表情识别方法 | |
| CN112395971A (zh) | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| Wang et al. | ScleraSegNet: An attention assisted U-Net model for accurate sclera segmentation | |
| CN108985372A (zh) | 一种基于capsule理论和PLSA路由的医学影像分类方法 | |
| CN111597978B (zh) | 基于StarGAN网络模型实现行人重识别图片自动生成的方法 | |
| CN113221655A (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
| CN110473176A (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| CN113705301A (zh) | 图像处理方法及装置 | |
| Liu et al. | 4D facial analysis: A survey of datasets, algorithms and applications | |
| Liang et al. | Deep convolution neural networks for automatic eyeglasses removal | |
| CN117218398A (zh) | 一种数据处理的方法以及相关装置 | |
| CN112233017A (zh) | 一种基于生成对抗网络的病态人脸数据增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |