CN112233017A - 一种基于生成对抗网络的病态人脸数据增强方法 - Google Patents
一种基于生成对抗网络的病态人脸数据增强方法 Download PDFInfo
- Publication number
- CN112233017A CN112233017A CN202011173820.2A CN202011173820A CN112233017A CN 112233017 A CN112233017 A CN 112233017A CN 202011173820 A CN202011173820 A CN 202011173820A CN 112233017 A CN112233017 A CN 112233017A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- pathological
- network
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000001575 pathological effect Effects 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000036541 health Effects 0.000 claims abstract description 8
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 230000001815 facial effect Effects 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 13
- 230000005012 migration Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008485 antagonism Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 230000007170 pathology Effects 0.000 claims description 3
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 206010040882 skin lesion Diseases 0.000 claims description 3
- 231100000444 skin lesion Toxicity 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 26
- 235000002673 Dioscorea communis Nutrition 0.000 description 4
- 241000544230 Dioscorea communis Species 0.000 description 4
- 208000035753 Periorbital contusion Diseases 0.000 description 4
- 208000002874 Acne Vulgaris Diseases 0.000 description 3
- 206010000496 acne Diseases 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000020154 Acnes Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的病态人脸数据增强方法，包括获取病态人脸图像和健康态人脸图像并构建训练集；设计生成对抗网络模型，利用特征提取模块对输出图像病态程度进行自定义控制；将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。本发明解决了在缺少成对病态人脸图像的条件下病态人脸图像的自动增强生成，生成的病态人脸图像的病态特征更加清晰，视觉效果理想，为人脸图像的健康分析工作提供了足够多的样本数据。
Description
技术领域
本发明涉及图像到图像翻译方法技术领域，特别涉及一种基于生成对抗网络的病态人脸数据增强方法。
背景技术
近年来，人脸识别技术获得了长足进步，并越来越多地应用到健康医学领域。在中医诊断学中，某些面部特征如脸色、眼睛、嘴唇等能反映人体器官可能存在的病变和异常。我们通过计算机视觉技术从人脸图像上提取检测病态的细微特征如黑眼圈、痤疮、面色等可用于人体的健康状态评估和亚健康分析，所开发的系统作为一种健康监测工具应用于公共卫生设施以及家庭日常保健，具有极其广泛的应用前景。
现有技术的不足之处在于，由于人脸图像较为隐私，又牵涉到医疗行为部分，因此用于健康医学领域的公开人脸数据资源甚少，大规模采集病态人脸数据难度较大，需要耗费大量人力与物力。同时常规的人脸数据集应用于基于人脸病态特征检测识别任务中效果并不理想，自拍相机的美颜功能/化妆修饰、图片分辨率低等一些问题使得面部细微病态特征如黑眼圈、痤疮等不明显，给人脸细微特征检测识别带来不小的困难，人脸数据存在类别严重不均衡的过采样问题。
发明内容
本发明的目的克服现有技术存在的不足，以对存在病态人脸数据严重不足的问题进行解决。
为实现以上目的，采用一种基于生成对抗网络的病态人脸数据增强方法，以解决上述背景技术中提出的问题。
一种基于生成对抗网络的病态人脸数据增强方法，包括：
S1、获取病态人脸图像和健康态人脸图像并构建训练集；
S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制；
S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；
S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。
作为本发明的进一步的方案：所述步骤S1获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：
S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；
S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；
S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。
作为本发明的进一步的方案：所述S2设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制的具体步骤包括：
S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；
S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；
S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数。
作为本发明的进一步的方案：所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3。
所述步骤S23在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数的具体步骤包括：
利用特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提取到的人脸内在特征提取出两个特征矩阵；
将迁移后的图像特征图输入到输出分支的下采样卷积模块最终生成图像；
源图像特征图迁移后的图像特征图的公式为：
Vx’＝(αΓx+(1-α)Γy)Vx+(αBx+(1-α)By)；
其中，
为源图像特征图，Vx’为图像特征图，C、H、W分别表示通道数以及特征图的高和宽，系数α用于控制生成图像所迁移病态特征的病态程度，
和
表示源图像的特征矩阵沿着通道数重复扩展的特征张量，
和
表示病态图像的特征矩阵沿着通道数重复扩展的特征张量。
作为本发明的进一步的方案：所述掩膜控制模块采用PSPNet语义分割网络，通过对输入的人脸图像进行分割得到人脸掩膜M＝FP(x)表示各面部区域，所述各面部区域包括皮肤病皮损迁移的面部皮肤区域、眼部区域以及与病态特征无关的其他区域。
作为本发明的进一步的方案：所述损失函数包括判别网络DX和DY的损失函数，公式分别为：
其中，X和Y分别为健康态人脸源图像数据域和病态人脸图像数据域，x和y分别为两个数据域的样本，x～pdata(x)，y～pdata(y)为数据域满足的分布。
作为本发明的进一步的方案：所述损失函数包括生成网络的损失函数，所述生成网络的损失函数等于对抗性损失、感知损失、循环一致损失和直方图损失的加权和；
其中，对抗性损失函数公式为：
感知损失函数公式为：
循环一致损失函数公式为：
直方图损失函数公式为：
其中，
和
分别为判别网络DX和DY的对抗性损失函数，Fl()表示输入图像和生成图像经过训练的输出特征图，L2为测量输入图像和生成图像之间差异的损失，L1为对重构图像进行约束的损失，λf和λe为权重，
和
分别为生成图像G(x，y)面部皮肤区域和眼部区域的二元掩膜，
和
分别表示病态人脸图像y面部皮肤区域和眼部区域的二元掩膜，
和
分别为生成图像G(x，y)和病态人脸图像y在面部皮肤区域和眼部区域上的直方图匹配。
作为本发明的进一步的方案：所述步骤S3的具体步骤包括：
将训练集中的健康态人脸源图像和病态人脸图像输入到生成网络中，得到重构图像；
再将重构图像与真实的病态人脸图像输入到判别网络，将判别信息反向传递到生成网络。
作为本发明的进一步的方案：所述步骤S4的具体步骤包括：
对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐；
根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像，将所述人脸图像和病态人脸图像作为网络的输入，合成增强后的病态人脸图像。
与现有技术相比，本发明存在以下技术效果：通过采用上述的技术方案，采用建立掩膜控制模块以及具有直方图损失的加权型损失函数，将输入图像面部局部细微的病态特征成功迁移到待增强的人脸源图像上，同时保留人脸源图像的主体信息。在生成网络中加入特征提取模块对输出图像病态程度进行自定义控制，能够提高病态人脸数据的增强效果。解决了在缺少成对的病态人脸图像的条件下，实现了病态人脸图像的自动生成，生成的病态人脸图像病态特征清晰，视觉效果理想，为人脸图像的健康分析提供了足够多的样本数据。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1为本发明公开的病态人脸数据增强方法的步骤示意图；
图2为本发明公开的病态人脸数据增强方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1和图2，本发明实施例中，一种基于生成对抗网络的病态人脸数据增强方法，包括：
S1、获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：
S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；
S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；
S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。
步骤S1的具体实施方式为：
从互联网网站中爬取人脸数据，同时手动剔除出分辨率低、光照条件差的图像，筛选出含有病态人脸图像和健康态特征的人脸图像，进而构建病态人脸图像数据集。所述病态人脸图像数据集包括黑眼圈、眼袋、痤疮病态特征，所述健康态人脸图像数据集包括不含有明显的病态特征或者经过美颜滤镜、化妆技术手段修饰后的健康人脸图像数据。
并对对病态人脸图像数据集中的每张照片进行人脸关键点检测，并通过68个人脸关键点进行人脸对齐。根据两眼的人脸关键点位置将图像处理为尺寸归一化的人脸图像。
S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制的具体步骤包括：
S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；
S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；
在一些公开的实施例中，步骤S21、S22的具体实施方式为：设计生成对抗网络模型，简称为MorbidityGAN。生成网络采用双输入输出架构。将两个输入分支的输出特征图进行融合。所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3。两个判别网络Dx和Dy，采用70×70输出矩阵的PatchGAN判别器结构区分图片真假。网络的输入为一张健康态人脸源图像和一张病态人脸图像，输出为具有与病态图像相同的病态特征的人脸图像。其中，生成网络采用Instance Normalization，激活函数是Rectified Linear Units(ReLu)。
S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数。
S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型的具体步骤包括：
在模型训练过程基于Pytorch深度学习框架进行，将训练集中的健康态人脸源图像和病态人脸图像输入到生成网络中，得到重构图像，再将重构图像与真实的病态人脸图像输入到判别网络，将判别信息反向传递到生成网络。并根据指定迭代次数对网络参数进行更新。
S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像的具体步骤还包括：
对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像，将所述人脸图像和病态人脸图像作为网络的输入，合成增强后的病态人脸图像。
具体实施方式的所述特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提取到的人脸内在特征提取出两个特征矩阵；
将迁移后的图像特征图输入到输出分支的下采样卷积模块最终生成图像；
源图像特征图迁移后的图像特征图的公式为：
Vx’＝(αΓx+(1-α)Γy)Vx+(αBx+(1-α)By)；
其中，
为源图像特征图，Vx’为图像特征图，C、H、W分别表示通道数以及特征图的高和宽，系数α用于控制生成图像所迁移病态特征的病态程度，
和
表示源图像的特征矩阵沿着通道数重复扩展的特征张量，
和
表示病态图像的特征矩阵沿着通道数重复扩展的特征张量。
具体实施方式的所述掩膜控制模块采用PSPNet语义分割网络，通过对输入的人脸图像进行分割得到人脸掩膜M＝FP(x)表示各面部区域，所述各面部区域包括用于病态面色、痤疮等皮肤病皮损迁移的面部皮肤区域，用于黑眼圈、眼袋迁移的眼部区域以及与病态特征无关的其他区域。
具体实施方式的所述判别网络是生成对抗网络模型的重要组成部分。针对健康态人脸源图像数据域X和病态人脸图像数据域Y采用两个判别网络Dx和Dy，采用70×70输出矩阵的PatchGAN判别器结构，用于区分生成图像和真实图像，向生成网络提供对抗性监督，使得输出的图像在原则上与真实图像无法区分，从全局特征上帮助生成网络的输出结果在视觉上更加自然和真实。
生成对抗网络模型的损失函数是整个训练过程的目标函数，其包括生成网络的损失函数和判别网络的损失函数。
所述判别网络Dx和Dy的损失函数，公式分别为：
其中，X和Y分别为健康态人脸源图像数据域和病态人脸图像数据域，x和y分别为两个数据域的样本，x～pdata(x)，y～pdata(y)为数据域满足的分布。
所述生成网络G的损失函数等于对抗性损失、感知损失、循环一致损失和直方图损失的加权和；
其中，对抗性损失函数公式为：
其中，
和
分别为判别网络Dx和Dy的对抗性损失函数。
利用生成对抗网络模型对原始人脸图像进行病态特征迁移时，生成网络需要保持年龄、性别、脸型等与病态特征无关的主体信息不变。不同于直接在像素级上测量差异，通过一个在ImageNet上预训练好的VGG-16模型提取高层特征，对原始图像和生成图像在隐含层上的激活值进行比较。
感知损失函数公式为：
其中，Fl( )表示输入图像和生成图像经过训练的输出特征图，式中使用L2损失测量输入图像和生成图像之间的差异。
为了防止非监督学习下网络在目标域生成随机图像，引入了循环一致性约束。对于数据域X的每张输入图片x，在图像循环翻译后应当生成与之相近的图像。
即x→G(x，y)→G(G(x，y))≈x。
循环一致损失函数公式为：
式中使用L1损失对重构图像进行约束。
根据掩膜生成网络得到的一张索引掩膜M，针对面部皮肤区域和眼部区域这两个重要的可变区域，我们生成两个对应的二进制掩膜：Mface和Meye。本发明采用直方图匹配策略并引入像素级直方图损失实现面部相关区域的色彩变换。对图像进行直方图匹配以获得一张重组图像，再计算MSE损失并反向传播梯度优化模型。直方图损失函数公式为：
其中，λf和λe为权重，
和
分别为生成图像G(x，y)面部皮肤区域和眼部区域的二元掩膜，
和
分别表示病态人脸图像y面部皮肤区域和眼部区域的二元掩膜，
和
分别为生成图像G(x，y)和病态人脸图像y在面部皮肤区域和眼部区域上的直方图匹配。
生成网络G的加权型损失函数公式为：
其中，λadv、λcyc、λper和λlocal分别表示各项权重，用于调整各损失项的影响比例。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，包括：
S1、获取病态人脸图像和健康态人脸图像并构建训练集；
S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制；
S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；
S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。
2.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S1获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：
S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；
S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；
S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。
3.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述S2设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制的具体步骤包括：
S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；
S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；
S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数。
4.根据权利要求3所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3。
5.根据权利要求3所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S23在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数的具体步骤包括：
利用特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提取到的人脸内在特征提取出两个特征矩阵；
将迁移后的图像特征图输入到输出分支的下采样卷积模块最终生成图像；
源图像特征图迁移后的图像特征图的公式为：
Vx’＝(αΓx+(1-α)Γy)Vx+(αBx+(1-α)By)；
其中，
为源图像特征图，Vx’为图像特征图，C、H、W分别表示通道数以及特征图的高和宽，系数α用于控制生成图像所迁移病态特征的病态程度，
和
表示源图像的特征矩阵沿着通道数重复扩展的特征张量，
和
表示病态图像的特征矩阵沿着通道数重复扩展的特征张量。
6.根据权利要求5所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述掩膜控制模块采用PSPNet语义分割网络，通过对输入的人脸图像进行分割得到人脸掩膜M＝FP(x)表示各面部区域，所述各面部区域包括皮肤病皮损迁移的面部皮肤区域、眼部区域以及与病态特征无关的其他区域。
7.根据权利要求5所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述损失函数包括判别网络DX和DY的损失函数，公式分别为：
其中，X和Y分别表示健康态人脸源图像数据域和病态人脸图像数据域，x和y分别表示两个数据域的样本，x～pdata(x)，y～pdata(y)表示数据域满足的分布。
8.根据权利要求3和7所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述损失函数包括生成网络的损失函数，所述生成网络的损失函数等于对抗性损失、感知损失、循环一致损失和直方图损失的加权和；
其中，对抗性损失函数公式为：
感知损失函数公式为：
循环一致损失函数公式为：
直方图损失函数公式为：
其中，
和
分别为判别网络DX和DY的对抗性损失函数，Fl()表示输入图像和生成图像经过训练的输出特征图，L2为测量输入图像和生成图像之间差异的损失，L1为对重构图像进行约束的损失，λf和λe为权重，
和
分别为生成图像G(x，y)面部皮肤区域和眼部区域的二元掩膜，
和
分别表示病态人脸图像y面部皮肤区域和眼部区域的二元掩膜，
和
分别为生成图像G(x，y)和病态人脸图像y在面部皮肤区域和眼部区域上的直方图匹配。
9.根据权利要求1和8所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S3的具体步骤包括：
将训练集中的健康态人脸源图像和病态人脸图像输入到生成网络中，得到重构图像；
再将重构图像与真实的病态人脸图像输入到判别网络，将判别信息反向传递到生成网络。
10.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S4的具体步骤包括：
对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐；
根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像，将所述人脸图像和病态人脸图像作为网络的输入，合成增强后的病态人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011173820.2A CN112233017B (zh) | 2020-10-28 | 2020-10-28 | 一种基于生成对抗网络的病态人脸数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011173820.2A CN112233017B (zh) | 2020-10-28 | 2020-10-28 | 一种基于生成对抗网络的病态人脸数据增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112233017A true CN112233017A (zh) | 2021-01-15 |
| CN112233017B CN112233017B (zh) | 2023-09-26 |
Family
ID=74110685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011173820.2A Active CN112233017B (zh) | 2020-10-28 | 2020-10-28 | 一种基于生成对抗网络的病态人脸数据增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233017B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967260A (zh) * | 2021-03-17 | 2021-06-15 | 中国科学院苏州生物医学工程技术研究所 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
| CN113780084A (zh) * | 2021-08-11 | 2021-12-10 | 上海藤核智能科技有限公司 | 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质 |
| CN113780084B (zh) * | 2021-08-11 | 2024-05-31 | 上海藤核智能科技有限公司 | 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
-
2020
- 2020-10-28 CN CN202011173820.2A patent/CN112233017B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吴晓燕;钱真坤;: "基于深度卷积生成式对抗网络的人脸恢复方法", 计算机应用与软件, no. 08 * |
| 周传华;吴幸运;李鸣;: "基于WGAN单帧人脸图像超分辨率算法", 计算机技术与发展, no. 09 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967260A (zh) * | 2021-03-17 | 2021-06-15 | 中国科学院苏州生物医学工程技术研究所 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
| CN112967260B (zh) * | 2021-03-17 | 2024-01-26 | 中国科学院苏州生物医学工程技术研究所 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
| CN113780084A (zh) * | 2021-08-11 | 2021-12-10 | 上海藤核智能科技有限公司 | 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质 |
| CN113780084B (zh) * | 2021-08-11 | 2024-05-31 | 上海藤核智能科技有限公司 | 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112233017B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN110490242B (zh) | 图像分类网络的训练方法、眼底图像分类方法及相关设备 | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN109711426A (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| Aslam et al. | Neurological Disorder Detection Using OCT Scan Image of Eye | |
| CN109685724A (zh) | 一种基于深度学习的对称感知人脸图像补全方法 | |
| Ma et al. | Unsupervised domain adaptation augmented by mutually boosted attention for semantic segmentation of vhr remote sensing images | |
| Chen et al. | Skin lesion segmentation using recurrent attentional convolutional networks | |
| CN112052877A (zh) | 一种基于级联增强网络的图片细粒度分类方法 | |
| Bushra et al. | Crime Investigation using DCGAN by Forensic Sketch-to-Face Transformation (STF)-A Review | |
| CN114037699B (zh) | 一种病理图像分类方法、设备、系统及存储介质 | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| Mamdouh et al. | A New Model for Image Segmentation Based on Deep Learning. | |
| CN112233017A (zh) | 一种基于生成对抗网络的病态人脸数据增强方法 | |
| CN113705301A (zh) | 图像处理方法及装置 | |
| CN112395971A (zh) | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 | |
| Selvia et al. | Skin lesion detection using feature extraction approach | |
| Yuan et al. | Explore double-opponency and skin color for saliency detection | |
| Tunc et al. | Age group and gender classification using convolutional neural networks with a fuzzy logic-based filter method for noise reduction | |
| CN116402949A (zh) | 一种基于mdcm-gan的从素描到人脸重建方法 | |
| Parraga et al. | A review of image-based deep learning algorithms for cervical cancer screening | |
| Gang et al. | Skeleton-based action recognition with low-level features of adaptive graph convolutional networks | |
| Salini et al. | Deepfakes on retinal images using GAN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |