CN110148085B - 人脸图像超分辨率重建方法及计算机可读取的存储介质 - Google Patents
人脸图像超分辨率重建方法及计算机可读取的存储介质 Download PDFInfo
- Publication number
- CN110148085B CN110148085B CN201910323776.XA CN201910323776A CN110148085B CN 110148085 B CN110148085 B CN 110148085B CN 201910323776 A CN201910323776 A CN 201910323776A CN 110148085 B CN110148085 B CN 110148085B
- Authority
- CN
- China
- Prior art keywords
- face
- super
- resolution
- network
- resolution reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims description 7
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 42
- 230000001815 facial effect Effects 0.000 claims description 14
- 239000011521 glass Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000004973 liquid crystal related substance Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 230000006835 compression Effects 0.000 abstract description 3
- 238000007906 compression Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种人脸图像超分辨率重建方法。本发明的人脸图像超分辨率重建方法，独创性地提取了两种人脸语义先验知识，将两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入，确保了重构的人脸图像包含更多的人脸先验信息，并且将人脸超分辨率重建网络和多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器，使得重建后的高分辨率人脸图像更加真实逼真，执行速度也很快，对于不同程度低分辨率的人脸图像都具有良好的鲁棒性。本发明的人脸图像超分辨率重建方法，对于由于采集设备和环境以及网络传输介质、图像压缩等因素引起的低分辨率图像的超分辨率重建具有良好的应用效果。
Description
技术领域
本发明涉及人脸图像重建技术领域，特别地，涉及一种人脸图像超分辨率重建方法及计算机可读取的存储介质。
背景技术
图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度和更丰富的纹理细节。在实际上中，由于图像采集系统或采集环境本身的限制，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。而人脸图像超分辨率重建技术在多个领域都有着广泛的应用范围和研究意义，尤其在公共安防领域可以为办案人员恢复出清晰人脸等重要信息，为案件侦破提供必要线索。具体来说，人脸图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率人脸图像中复原出高分辨率人脸图像的过程。
目前，常见的人脸图像超分辨率重建的方法主要包括：1)基于插值的方法；2)基于重构的方法；3)基于学习的方法。
其中，基于插值的方法包括：最近邻插值法、双线性插值法等，该方法对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，通常由一个预定义的变换函数或者插值核来完成。
基于重构的方法包括：迭代反投影法、凸集投影法和最大后验概率法等，该方法则是从图像的降质退化模型出发，提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。
基于学习的方法包括流形学习、稀疏编码和深度学习方法，该方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种映射关系，从而实现图像的超分辨率重建过程。
但是，基于插值的方法不考虑图像的降质退化模型，导致复原出的图像出现模糊、锯齿等现象；基于重构的方法假定适当的变换和先验知识的约束，使得应用的人脸场景比较局限，没有很好的广泛普适性；而基于深度学习CNN等方法在分辨率很低的情况下，超清化后重建的人脸图像效果欠佳。因此，现有的人脸图像超分辨率重建方法无法提供良好的超分辨率重建效果，无法满足应用需求。
发明内容
本发明提供了一种人脸图像超分辨率重建方法和计算机可读取的存储介质，以解决现有的人脸图像超分辨率重建方法无法提供良好的超分辨率重建效果的技术问题。
根据本发明的一个方面，提供一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，包括以下步骤：
步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps；
步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；
步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；
步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；
步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；
步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。
进一步地，所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建：
步骤S11：采用3个Residual模块和2个Hour-Glass模块并结合skip connection机制构建多任务人脸语义先验知识提取网络；
步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型。
进一步地，所述基于像素级别L2范数的损失函数为
其中，ptruth表示真实的人脸先验信息，pestimate表示多任务人脸语义先验知识提取网络估计的人脸先验信息。
进一步地，所述步骤S11具体包括以下步骤：
步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV-BN-ReLU”卷积结构，“CONV-BN-ReLU”卷积结构输出人脸图像；
步骤S112：将“CONV-BN-ReLU”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像；
步骤S113：将Residual模块输出的人脸图像输入至2个Hour-Glass模块，Hour-Glass模块输出人脸图像；
步骤S114：采用两个单独的1*1卷积核对Hour-Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的特征图和表示facelandmark heatmaps的特征图。
进一步地，所述步骤S2中的人脸超分辨率重建网络的编码部分通过以下步骤构建：
采用12个Residual模块作为低分辨率人脸图像的输入结构，Residual模块的卷积核为3*3、步长为1，输出人脸图像，然后将12个Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，输出特征图。
进一步地，所述步骤S2中的人脸超分辨率重建网络的解码部分通过以下步骤构建：
采用3个Residual模块作为输入结构，Residual模块的卷积核为3*3、步长为1，再将Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，然后输出特征图，然后将“BN-ReLU-DECONV”反卷积结构输出的特征图依次经过2个“CONV-ReLU”层和1个CONV层，输出重建的高分辨率图像。
进一步地，所述人脸超分辨率重建网络的整体损失函数为：
其中，LG(Θ)表示生成器G的损失函数，LD(G，D)表示判别器D的对抗损失函数，LP表示人脸超分辨率重建网络的感知损失函数，γD表示平衡对抗损失的权重，γP表示平衡感知损失的权重，γD＝10-3，γP＝10-1。
进一步地，生成器G的损失函数为：
其中，
表示真实的高分辨率人脸图像，/>
表示人脸超分辨率重建网络重建的高分辨率人脸图像，λ＝1。
进一步地，人脸超分辨率重建网络的感知损失函数为
其中，φ表示固定预训练好的VGG16模型‘relu5_3’层的激活值。
本发明还提供一种计算机可读取的存储介质，用于存储进行人脸图像超分辨率重建的计算机程序，该计算机程序在计算机上运行时执行以下步骤：
步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps；
步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；
步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；
步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；
步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；
步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。
本发明具有以下有益效果：
本发明的人脸图像超分辨率重建方法，独创性地提取了两种人脸语义先验知识：face parsing maps和face landmark heatmaps，并且将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入，确保了重构的人脸图像包含更多的人脸先验信息，并且将人脸超分辨率重建网络和多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器，使得重建后的高分辨率人脸图像更加真实逼真，执行速度也很快，对于不同程度低分辨率的人脸图像都具有良好的鲁棒性。本发明的人脸图像超分辨率重建方法，对于由于采集设备和环境以及网络传输介质、图像压缩等因素引起的低分辨率图像的超分辨率重建具有良好的应用效果。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的人脸图像超分辨率重建方法的流程示意图。
图2是本发明优选实施例的图1中步骤S1的子流程示意图。
图3是本发明优选实施例的图2中步骤S11的子流程示意图。
图4是本发明优选实施例的多任务人脸语义先验知识提取网络的结构示意图。
图5是本发明优选实施例的人脸超分辨率重建网络的结构示意图。
图6是本发明优选实施例的人脸图像超分辨率重建方法对低分辨率的人脸图像进行重建后的效果示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由下述所限定和覆盖的多种不同方式实施。
如图1，本发明的优选实施例提供一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，具有良好的超分辨率重建效果，所述人脸图像超分辨率重建方法包括以下步骤：
步骤S1：采用MTFPNet(Multitask Face Prior Net，多任务人脸语义先验知识提取网络)提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为faceparsing maps(人脸解析图)和face landmark heatmaps(人脸特征图)；
步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；
步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；
步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；
步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；
步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。
本发明的人脸图像超分辨率重建方法，独创性地提取了两种人脸语义先验知识：face parsing maps和face landmark heatmaps，并且将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入，确保了重构的人脸图像包含更多的人脸先验信息，并且将人脸超分辨率重建网络和多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器，使得重建后的高分辨率人脸图像更加真实逼真，执行速度也很快，对于不同程度低分辨率的人脸图像都具有良好的鲁棒性。本发明的人脸图像超分辨率重建方法，对于由于采集设备和环境以及网络传输介质、图像压缩等因素引起的低分辨率图像的超分辨率重建具有良好的应用效果。
可以理解，如图2所示，所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建：
步骤S11：采用3个Residual(残差)模块和2个Hour-Glass(沙漏)模块并结合skipconnection(跳跃式传递)机制构建多任务人脸语义先验知识提取网络；
步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam(Adaptive moment estimation自适应矩设计)最优化方法训练网络，保存训练好的模型。
可以理解，如图3所示，所述步骤S11具体包括以下步骤：
步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV-BN-ReLU”卷积结构，“CONV-BN-ReLU”卷积结构输出人脸图像；
步骤S112：将“CONV-BN-ReLU”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像；
步骤S113：将Residual模块输出的人脸图像输入至2个Hour-Glass模块，Hour-Glass模块输出人脸图像；
步骤S114：采用两个单独的1*1卷积核进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的特征图和表示face landmark heatmaps的特征图。
可以理解，所述“CONV-BN-ReLU”卷积结构和3个Residual模块共同构成多任务人脸语义先验知识提取网络的编码结构，所述2个Hour-Glass模块和两个单独的1*1卷积核构成了多任务人脸语义先验知识提取网络的解码结构，其中CONV指的是Convolution(卷积)层，BN指的是Batch Normalization(批标准化)层，ReLU指的是Rectified Linear Unit(线性整流函数)层。
具体地，如图3和4所示，输入一个大小为32*32的低分辨率人脸图像，先采用双线性插值算法对输入的低分辨率人脸图像进行重建，输出大小为128*128的人脸图像，然后将128*128的人脸图像输入至“CONV-BN-ReLU”卷积结构，“CONV-BN-ReLU”卷积结构经过卷积运算输出大小为64*64*64的特征图，再将64*64*64的特征图输入至3个Residual模块并输出大小为64*64*128的特征图，然后将64*64*128的特征图输入至2个Hour-Glass模块并输出64*64*128的特征图，最后采用两个单独的1*1卷积核对64*64*128的特征图进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的64*64*11特征图和表示facelandmark heatmaps的64*64*1特征图。可以理解，输出的表示face parsing maps的64*64特征点大小11通道的特征图分别对脸部、左眉毛、右眉毛、左眼睛、右眼睛、鼻子、上嘴唇、下嘴唇、牙齿、头发这些人脸关键特征以及背景的语义信息进行提取，输出的64*64特征大小1通道的特征图进行人脸轮廓特征的提取，其中人脸轮廓特征由194个人脸特征点得到。本发明的人脸图像超分辨率重建方法，提取了face parsing maps和face landmark heatmaps两种人脸语义先验信息，分别对应脸部、左眉毛、右眉毛、左眼睛、右眼睛、鼻子、上嘴唇、下嘴唇、牙齿、头发这些人脸关键特征以及背景的语义信息提取和人脸轮廓特征的提取，确保后续的超分辨率人脸重建包含了充分的人脸先验信息，确保了重建后的人脸图像更加真实逼真。
可以理解，在所述步骤S12中，初始化多任务人脸语义先验知识提取网络的参数w和b，所述基于像素级别L2范数的损失函数具体为
其中，ptruth表示真实的人脸先验信息，pestimate表示多任务人脸语义先验知识提取网络估计的人脸先验信息。
可以理解，在所述步骤S2中，所述人脸超分辨率重建网络的编码部分具体通过以下步骤构建：
采用12个Residual模块作为低分辨率人脸图像的输入结构，Residual模块的卷积核为3*3、步长为1，然后将12个Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，输出特征图。其中，DECONV指的是Deconvolution(反卷积)层，BN指的是BatchNormalization(批标准化)层，ReLU指的是Rectified Linear Unit(线性整流函数)层。
所述步骤S2中的人脸超分辨率重建网络的解码部分通过以下步骤构建：
采用3个Residual模块作为输入结构，Residual模块的卷积核为3*3、步长为1，再将Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，“BN-ReLU-DECONV”反卷积结构输出特征图，然后将“BN-ReLU-DECONV”反卷积结构输出的特征图依次经过2个“CONV-ReLU”层和1个CONV层，输出重建的高分辨率图像。
可以理解，在所述步骤S3中将多任务人脸语义先验知识提取网络提取的faceparsing maps和face landmark heatmaps两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入，丰富了人脸超分辨率重建网络的解码部分的输入内容，进一步确保了重建后的人脸图像的分辨率更高，图像效果更加真实。
本发明的人脸超分辨率重建网络采用的是扩大器型的网络结构，不同于现有的漏斗型网络结构，本发明采用扩大器型的网络结构，可以确保重建后的人脸图像具有更高的分辨率，图像更加真实，执行效率也更高。
可以理解，在所述步骤S4中，将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建由6个卷积层构成的判别器D进行对抗训练。考虑到对抗问题可以看做是解决从最小到最大的问题，所述人脸超分辨率重建网络的整体损失函数具体为
其中，LG(Θ)表示生成器G的损失函数，LD(G，D)表示判别器D的对抗损失函数，LP表示人脸超分辨率重建网络的感知损失函数，γD表示平衡对抗损失的权重，γP表示平衡感知损失的权重，γD＝10-3，γP＝10-1。
所述生成器G的损失函数具体为
其中，
表示真实的高分辨率人脸图像，/>
表示人脸超分辨率重建网络重建的高分辨率人脸图像，λ表示平衡基于像素级别L2范数的损失函数的权重，λ＝1。
所述人脸超分辨率重建网络的感知损失函数用于估量人脸超分辨率重建网络的重建的高分辨率人脸图像与目标高分辨率人脸图像在高维特征空间的相似性，所述感知损失函数具体为
其中，φ表示固定预训练好的VGG16模型‘relu5_3’层的激活值。
判别器D的对抗损失函数用于区分开真实的高分辨率人脸图像和重建的高分辨率人脸图像，判别器D的对抗损失函数具体为
LD(G，D)＝E[log D(ytruth，x)]+E[log(1-D(G(x)，x)]
其中，(ytruth,x)表示样本x从真实的高分辨率人脸图像中采样，(G(x),x)表示样本x从重建的高分辨率人脸图像G(x)中采样，E表示分布函数的期望值。
可以理解，在所述步骤S5中，输入32*32大小的低分辨率人脸图像，然后采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数。然后重复执行步骤S5，直至人脸超分辨率重建网络的整体损失函数收敛，然后保存网络模型和参数，此时的人脸超分辨率重建网络包括经过对抗训练后的网络模型，将任意一张低分辨率的人脸图像输入到训练好的人脸超分辨率重建网络中，即可得到重建后的超分辨率人脸图像。
如图5所示，本发明的人脸超分辨率重建网络对低分辨率人脸图像进行重建的过程具体为：将输入32*32大小的低分辨率人脸图像至人脸超分辨率重建网络的编码部分，例如先输入至12个Residual模块，12个Residual模块输出32*32*64的特征图，再将32*32*64的特征图输入至“BN-ReLU-DECONV”反卷积结构中，“BN-ReLU-DECONV”反卷积结构输出64*64*64的特征图。再将64*64*64的特征图与步骤S1中提取的表示face parsing maps的64*64*11特征图和表示face landmark heatmaps的64*64*1特征图拼接合并作为人脸超分辨率重建网络的解码部分的输入，然后，人脸超分辨率重建网络的解码部分输出128*128*3的高分辨率人脸图像。将人脸超分辨率重建网络重建得到的128*128*3的高分辨率人脸图像和真实的128*128*3的高分辨率人脸图像输入至生成对抗网络中进行对抗训练，对训练后的网络模型进行保存并测试，评估重建后的高分辨率人脸图像的质量，直至重建后的人脸图像满足要求后，保存网络模型和参数。本发明的人脸超分辨率重建网络对低分辨率人脸图像进行重建得到的超分辨率人脸图像的效果如图6所示。
另外，本发明还提供一种计算机可读取的存储介质，用于存储进行人脸图像超分辨率重建的计算机程序，该计算机程序在计算机上运行时执行以下步骤：
步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps；
步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；
步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；
步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；
步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；
步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。
一般计算机可读取介质的形式包括：软盘(floppy disk)、可挠性盘片(flexibledisk)、硬盘、磁带、任何其与的磁性介质、CD-ROM、任何其余的光学介质、打孔卡片(punchcards)、纸带(paper tape)、任何其余的带有洞的图案的物理介质、随机存取存储器(RAM)、可编程只读存储器(PROM)、可抹除可编程只读存储器(EPROM)、快闪可抹除可编程只读存储器(FLASH-EPROM)、其余任何存储器芯片或卡匣、或任何其余可让计算机读取的介质。指令可进一步被一传输介质所传送或接收。传输介质这一术语可包含任何有形或无形的介质，其可用来存储、编码或承载用来给机器执行的指令，并且包含数字或模拟通信信号或其与促进上述指令的通信的无形介质。传输介质包含同轴电缆、铜线以及光纤，其包含了用来传输一计算机数据信号的总线的导线。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，其特征在于，
包括以下步骤：
步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps；
步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；
步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；
步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；
步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；
步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数；
所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建：
步骤S11：采用3个Residual模块和2个Hour-Glass模块并结合skip connection机制构建多任务人脸语义先验知识提取网络；
步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型；
所述基于像素级别L2范数的损失函数为
其中，pturth表示真实的人脸先验信息，Pestimate表示多任务人脸语义先验知识提取网络估计的人脸先验信息；
所述步骤S11具体包括以下步骤：
步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV-BN-ReLU”卷积结构，“CONV-BN-ReLU”卷积结构输出人脸图像；
步骤S112：将“CONV-BN-ReLU”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像；
步骤S113：将Residual模块输出的人脸图像输入至2个Hour-Glass模块，Hour-Glass模块输出人脸图像；
步骤S114：采用两个单独的1*1卷积核对Hour-Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的特征图和表示face landmarkheatmaps的特征图；
所述步骤S2中的人脸超分辨率重建网络的编码部分通过以下步骤构建：
采用12个Residual模块作为低分辨率人脸图像的输入结构，Residual模块的卷积核为3*3、步长为1，输出人脸图像，然后将12个Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，输出特征图；
所述步骤S2中的人脸超分辨率重建网络的解码部分通过以下步骤构建：
采用3个Residual模块作为输入结构，Residual模块的卷积核为3*3、步长为1，再将Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，然后输出特征图，然后将“BN-ReLU-DECONV”反卷积结构输出的特征图依次经过2个“CONV-ReLU”层和1个CONV层，输出重建的高分辨率图像。
2.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于，
所述人脸超分辨率重建网络的整体损失函数为：
其中，LG(Θ)表示生成器G的损失函数，LD(G，D）表示判别器D的对抗损失函数，LP表示人脸超分辨率重建网络的感知损失函数，γD表示平衡对抗损失的权重，γP表示平衡感知损失的权重，γD＝10-3，γP＝10-1。
3.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于，
生成器G的损失函数为：
其中，
表示真实的高分辨率人脸图像，/>
表示人脸超分辨率重建网络重建的高分辨率人脸图像，λ＝1。
4.如权利要求3所述的人脸图像超分辨率重建方法，其特征在于，
人脸超分辨率重建网络的感知损失函数为
其中，φ表示固定预训练好的VGG16模型‘relu5_3’层的激活值。
5.一种计算机可读取的存储介质，用于存储进行人脸图像超分辨率重建的计算机程序，其特征在于，该计算机程序在计算机上运行时执行如权利要求1～4任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323776.XA CN110148085B (zh) | 2019-04-22 | 2019-04-22 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323776.XA CN110148085B (zh) | 2019-04-22 | 2019-04-22 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110148085A CN110148085A (zh) | 2019-08-20 |
| CN110148085B true CN110148085B (zh) | 2023-06-23 |
Family
ID=67593800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910323776.XA Active CN110148085B (zh) | 2019-04-22 | 2019-04-22 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110148085B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080521A (zh) * | 2019-12-12 | 2020-04-28 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构先验的人脸图像超分辨率方法 |
| JP2023528697A (ja) | 2020-04-01 | 2023-07-06 | 京東方科技集團股▲ふん▼有限公司 | コンピュータ実現方法、装置及びコンピュータプログラム製品 |
| CN111738230B (zh) * | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸识别方法、人脸识别装置及电子设备 |
| CN112016480A (zh) * | 2020-08-31 | 2020-12-01 | 中移（杭州）信息技术有限公司 | 人脸特征表示方法、系统、电子设备和存储介质 |
| CN112150422B (zh) * | 2020-09-15 | 2023-12-08 | 苏州知会智能科技有限公司 | 一种基于多任务学习的口腔健康自我检测模型的建模方法 |
| CN112734638B (zh) * | 2020-12-24 | 2022-08-05 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
| CN112686822B (zh) * | 2020-12-30 | 2021-09-07 | 成都信息工程大学 | 一种基于堆叠生成对抗网络的图像补全方法 |
| CN112766157B (zh) * | 2021-01-20 | 2022-08-30 | 乐山师范学院 | 一种基于解纠缠表示学习的跨年龄人脸图像识别方法 |
| CN113191950B (zh) * | 2021-05-07 | 2022-08-12 | 西南交通大学 | 一种超分辨率人脸图像重建方法 |
| CN113658040A (zh) * | 2021-07-14 | 2021-11-16 | 西安理工大学 | 一种基于先验信息和注意力融合机制的人脸超分辨方法 |
| CN113379606B (zh) * | 2021-08-16 | 2021-12-07 | 之江实验室 | 一种基于预训练生成模型的人脸超分辨方法 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
| CN116523914B (zh) * | 2023-07-03 | 2023-09-19 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007293912A (ja) * | 2004-06-09 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 画像処理方法および画像処理装置 |
| CN103514432B (zh) * | 2012-06-25 | 2017-09-01 | 诺基亚技术有限公司 | 人脸特征提取方法、设备和计算机程序产品 |
| CN105894050A (zh) * | 2016-06-01 | 2016-08-24 | 北京联合大学 | 一种基于多任务学习的人脸图像种族和性别识别方法 |
| CN107154023B (zh) * | 2017-05-17 | 2019-11-05 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN108985181B (zh) * | 2018-06-22 | 2020-07-24 | 华中科技大学 | 一种基于检测分割的端对端人脸标注方法 |
| CN109615582B (zh) * | 2018-11-30 | 2023-09-01 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
-
2019
- 2019-04-22 CN CN201910323776.XA patent/CN110148085B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110148085A (zh) | 2019-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148085B (zh) | 人脸图像超分辨率重建方法及计算机可读取的存储介质 | |
| Larsen et al. | Autoencoding beyond pixels using a learned similarity metric | |
| WO2022089360A1 (zh) | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| US20210279956A1 (en) | Semantic deep face models | |
| CN110796111B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113159056B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN114339409B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN109413510B (zh) | 视频摘要生成方法和装置、电子设备、计算机存储介质 | |
| CN111476719A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112132959A (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN111242952B (zh) | 图像分割模型训练方法、图像分割方法、装置及计算设备 | |
| CN111626932A (zh) | 图像的超分辨率重建方法及装置 | |
| CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN116363261A (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| CN111488810A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN105069767B (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN113569855A (zh) | 一种舌象分割方法、设备及存储介质 | |
| CN116993926A (zh) | 单视图人体三维重建方法 | |
| CN116597033A (zh) | 图像重建方法、装置、设备和介质 | |
| CN114529785A (zh) | 模型的训练方法、视频生成方法和装置、设备、介质 | |
| CN115147426A (zh) | 基于半监督学习的模型训练与图像分割方法和系统 | |
| CN114663937A (zh) | 模型训练及图像处理方法、介质、装置和计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 410205 14 Changsha Zhongdian Software Park Phase I, 39 Jianshan Road, Changsha High-tech Development Zone, Yuelu District, Changsha City, Hunan Province Applicant after: Wisdom Eye Technology Co.,Ltd. Address before: 100193 Zhongguancun Military-Civil Integration Industrial Park, 51 Kunming Hunan Road, Haidian District, Beijing, Block C 207 Applicant before: Wisdom Eye Technology Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Address before: 410205 building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, Changsha high tech Development Zone, Yuelu District, Changsha City, Hunan Province Patentee before: Wisdom Eye Technology Co.,Ltd. |