CN113191950A - 一种超分辨率人脸图像重建方法 - Google Patents

一种超分辨率人脸图像重建方法 Download PDF

Info

Publication number
CN113191950A
CN113191950A CN202110495933.2A CN202110495933A CN113191950A CN 113191950 A CN113191950 A CN 113191950A CN 202110495933 A CN202110495933 A CN 202110495933A CN 113191950 A CN113191950 A CN 113191950A
Authority
CN
China
Prior art keywords
resolution
face image
super
map
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110495933.2A
Other languages
English (en)
Other versions
CN113191950B (zh
Inventor
和红杰
蒋桐雨
陈帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202110495933.2A priority Critical patent/CN113191950B/zh
Publication of CN113191950A publication Critical patent/CN113191950A/zh
Application granted granted Critical
Publication of CN113191950B publication Critical patent/CN113191950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种超分辨率人脸图像重建方法，通过获取人脸图像训练集，然后建立人脸图像网络，将人脸图像训练集输入到人脸图像网络中得到超分辨率训练人脸图像集，基于超分辨率训练人脸图像集和人脸图像训练集计算损失函数值，并通过优化损失函数对人脸图像网络进行训练，基于低分辨率人脸图像和训练后的人脸图像网络进行超分辨率人脸图像重建，降低了超分辨率人脸图像重建的复杂度，实现快速准确的超分辨率人脸图像的重建，且重建出的超分辨率人脸图像为高质量的人脸图像。

Description

一种超分辨率人脸图像重建方法
技术领域
本发明属于人脸图像技术领域，具体涉及一种超分辨率人脸图像重建方法。
背景技术
人脸超分辨率技术是一种特殊的超分辨率技术，该技术可以利用低分辨率人脸图像获得具有真实高频细节的高分辨率人脸图像，其不仅在视频安防和影视娱乐等领域具有广泛的应用，还可以帮助其他人脸相关任务获得更好的结果。
现有技术中关于人脸超分辨率的研究主要针对单张图像超分辨率，而随着深度卷积神经网络的发展，单张图像超分辨率的研究趋向于使用复杂的网络模拟由低分辨率图像到高分辨率图像的映射关系，增加了网络的复杂度和训练难度。
因此，如何降低超分辨率人脸图像重建的复杂度，实现轻量高效的超分辨率人脸图像重建，是本领域技术人员有待解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中重建超分辨率人脸图像的复杂度过高，重建超分辨率人脸图像时效率低下的技术问题，提出了一种超分辨率人脸图像重建方法。
本发明的技术方案为：一种超分辨率人脸图像重建方法，包括以下步骤：
S1、获取人脸图像训练集；
S2、建立人脸图像网络；
S3、将所述人脸图像训练集输入到所述人脸图像网络中得到超分辨率训练人脸图像集；
S4、基于所述超分辨率训练人脸图像集和所述人脸图像训练集计算损失函数值，并通过优化所述损失函数对所述人脸图像网络进行训练；
S5、基于低分辨率人脸图像和训练后的所述人脸图像网络进行超分辨率人脸图像重建。
进一步地，所述人脸图像训练集包括多组人脸图像集，每一组所述人脸图像集包括低分辨率训练人脸图像和基准高分辨率人脸图像，其中，每一组中的所述低分辨率训练人脸图像和所述基准高分辨率人脸图像是从同一张人脸图像中提取到的，所述人脸图像网络包括编码单元和解码单元。
进一步地，所述步骤S3具体包括以下分步骤：
S31、将所述低分辨率训练人脸图像输入到所述编码单元中得到编码特征图；
S32、将所述编码特征图输入到所述解码单元中得到超分辨率训练人脸图像。
进一步地，所述编码单元具体包括第一编码块、第二编码块和第三编码块，所述解码单元具体包括第一低参数量解码块、第二低参数量解码块、第三低参数量解码块、第一解码块和第二解码块，所述编码特征图包括第一编码特征图、第二编码特征图和第三编码特征图。
进一步地，所述步骤S31具体包括以下分步骤：
S321、将所述第三编码特征图进行重建得到第一超分辨率人脸图，对所述第一超分辨率人脸图进行上采样得到第一上采样图；
S322、将所述第三编码特征图输入到所述第一低参数量解码块中解码得到第一解码特征图，将所述第一解码特征图与所述第二编码特征图进行连接得到第一连接图，将所述第一连接图进行重建并与所述第一上采样图进行相加得到第二超分辨率人脸图，对所述第二超分辨率人脸图进行上采样得到第二上采样图；
S323、将所述第一连接图输入到所述第二低参数量解码块中解码得到第二解码特征图，将所述第二解码特征图与所述第一编码特征图进行连接得到第二连接图，将所述第二连接图进行重建并与所述第二上采样图进行相加得到第三超分辨率人脸图，对所述第三超分辨率人脸图进行上采样得到第三上采样图；
S324、将所述第二连接图输入到所述第三低参数量解码块中解码得到第三解码特征图，将所述第三解码特征图进行重建并与所述第三上采样图进行相加得到第四超分辨率人脸图，对所述第四超分辨率人脸图进行上采样得到第四上采样图；
S325、将所述第一特征图输入到所述第一解码块中解码得到第四解码特征图，将所述第四解码特征图进行重建并与所述第四上采样图进行相加得到第五超分辨率人脸图，对所述第五超分辨率人脸图进行上采样得到第五上采样图；
S326、将所述第二特征图输入到所述第二解码块中解码得到第五解码特征图，将所述第五解码特征图进行重建并与所述第五上采样图进行相加得到超分辨率训练人脸图像。。
进一步地，所述步骤S4具体包括以下分步骤：
S41、基于所述基准高分辨率图像和所述超分辨率训练人脸图像计算像素损失值；
S42、获取所述基准高分辨率人脸图像对应的多张基准关键点热图以及所述超分辨率训练人脸图像对应的多张训练关键点热图；
S43、基于所述基准关键点热图和所述训练关键点热图计算热图损失值；
S44、基于所述热图损失值和所述像素损失值计算损失函数值；
S45、通过反向传播采用梯度下降算法调整所述人脸图像网络的权重，将所述损失函数值减小，并在预设训练轮次完成后确定所述人脸图像网络的权重。
进一步地，在所述步骤S4和所述步骤S5之间，还包括：
A1、将残差编码块进行堆叠形成判别器：
A2、基于所述判别器对所述人脸图像网络进行对抗训练；
A3、将经过所述对抗训练后的所述人脸图像网络作为最终训练后的人脸图像网络。
与现有技术相比，本发明具备如下有益效果：
(1)本发明通过建立人脸图像网络，并将人脸图像训练集输入到人脸图像网络中得到超分辨率训练人脸图像集，再根据超分辨率训练人脸图像集和人脸图像训练集确定出损失函数，通过损失函数对人脸图像网络进行训练，最后通过人脸图像网络对任意低分辨率人脸图像进行重建超分辨率人脸图像，降低了超分辨率人脸图像重建的复杂度，实现高效的超分辨率人脸图像重建。
(2)本发明中的人脸图像网络结构简单，极大地降低了人脸图像网络的复杂度以及运算量，同时能够更快更准确地进行超分辨率人脸图像的建立。
(3)本发明中还引用了判别器对人脸图像网络进行对抗训练，保证了重建的超分辨率人脸图像更具有真实感。
附图说明
图1所示为本发明实施例提供的一种超分辨率人脸图像重建方法的流程示意图；
图2所示为本发明实施例在实际应用场景中确定超分辨率训练人脸图像的流程示意图；
图3所示为本发明实施例中的残差编码块的结构示意图；
图4所示为本发明实施例中的低参数量解码块的结构示意图；
图5所示为本发明实施例中的解码块的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如背景技术中所述，现有技术关于人脸超分辨率的研究主要是单张图像超分辨率进行研究，这是由于实际应用中很难得到同一张人脸的多帧图像，而近几年随着深度卷积神经网络的发展，单张图像超分辨率的研究趋向于使用复杂的网络模拟由低分辨率图像到高分辨率图像的映射关系，这样的技术方案在获得更高重建质量的同时，也增加了网络的复杂度和训练难度。
因此，本申请提出来一种超分辨率人脸图像重建方法，用以解决现有技术中进行超分辨率人脸图像重建较为复杂的技术问题。
如图1所示为本发明实施例提出的一种超分辨率人脸图像重建方法的流程示意图，该方法包括以下步骤：
步骤S1、获取人脸图像训练集。
本发明实施例中，可以对人脸图像数据集进行处理得到人脸图像训练集，具体的可以是对人脸图像数据集中的人脸区域进行提取，缩放至预设基准尺寸例如128×128的图像，作为基准高分辨率人脸图像，而使用双三次插值对高分辨率图像进行下采样得到预设低分辨率尺寸例如16×16的图像，作为低分辨率训练人脸图像，该人脸图像训练集包括多组人脸图像集，每一组人脸图像集包括低分辨率训练人脸图像和基准高分辨人脸图像，且每一组中的低分辨率训练人脸图像和基准高分辨率人脸图像是从同一张人脸图像中提取到的，是一一对应的。
步骤S2、建立人脸图像网络。
具体的，本申请中的人脸图像网络包括编码单元和解码单元，而编码单元包括多个编码块，具体包括第一编码块、第二编码块和第三编码块，该编码块可具体为残差编码块，如图3所示为残差编码块的结构示意图，解码单元包括第一低参数量解码块、第二低参数量解码块、第三低参数量解码块、第一解码块和第二解码块，如图4所示为低参数量解码块的结构示意图，如图5所示为解码块的结构示意图。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
步骤S3、将所述人脸图像训练集输入到所述人脸图像网络中得到超分辨率训练人脸图像集。
所述步骤S3具体包括以下分步骤：
S31、将所述低分辨率训练人脸图像输入到所述编码单元中得到编码特征图；
S32、将所述编码特征图输入到所述解码单元中得到超分辨率训练人脸图像。
具体的，人脸图像网络具体包括编码单元和解码单元，将人脸图像训练集中低分辨率训练人脸图像输入到编码单元中，由编码单元中多个编码块对其进行编码得到编码特征图，再将该编码特征图输入到解码单元中得到超分辨率训练人脸图像，且上述编码特征图具体包括第一编码特征图、第二编码特征图和第三编码特征图。
为了更准确地确定出编码特征图，在本申请实施例中，所述步骤S31具体包括以下分步骤：
S311、将所述训练低分辨率人脸图像输入到所述第一编码块中确定出第一编码特征图；
S312、将所述第一编码特征图输入到所述第二编码块确定出第二编码特征图；
S313、将所述第二编码特征图输入到所述第三编码块中确定出第三编码特征图。
为了快速的进行超分辨率训练人脸图像重建，在本申请实施例中，所述步骤S32具体包括以下分步骤：
S321、将所述第三编码特征图进行重建得到第一超分辨率人脸图，对所述第一超分辨率人脸图进行上采样得到第一上采样图；
S322、将所述第三编码特征图输入到所述第一低参数量解码块中解码得到第一解码特征图，将所述第一解码特征图与所述第二编码特征图进行连接得到第一连接图，将所述第一连接图进行重建并与所述第一上采样图进行相加得到第二超分辨率人脸图，对所述第二超分辨率人脸图进行上采样得到第二上采样图；
S323、将所述第一连接图输入到所述第二低参数量解码块中解码得到第二解码特征图，将所述第二解码特征图与所述第一编码特征图进行连接得到第二连接图，将所述第二连接图进行重建并与所述第二上采样图进行相加得到第三超分辨率人脸图，对所述第三超分辨率人脸图进行上采样得到第三上采样图；
S324、将所述第二连接图输入到所述第三低参数量解码块中解码得到第三解码特征图，将所述第三解码特征图进行重建并与所述第三上采样图进行相加得到第四超分辨率人脸图，对所述第四超分辨率人脸图进行上采样得到第四上采样图；
S325、将所述第一特征图输入到所述第一解码块中解码得到第四解码特征图，将所述第四解码特征图进行重建并与所述第四上采样图进行相加得到第五超分辨率人脸图，对所述第五超分辨率人脸图进行上采样得到第五上采样图；
S326、将所述第二特征图输入到所述第二解码块中解码得到第五解码特征图，将所述第五解码特征图进行重建并与所述第五上采样图进行相加得到超分辨率训练人脸图像。
在实际应用场景中，如图2所示为本发明实施例在实际应用场景中确定超分辨率训练人脸图像的流程示意图，并结合下例进行说明：
(1)将16×16大小的3通道低分辨率训练人脸图像输入第一编码块中，得到64×16×16的第一编码特征图；
(2)将第一编码特征图输入到第二编码块中，得到128×8×8的第二编码特征图；
(3)将第二编码特征图输入到第三编码块中，得到256×4×4的第三编码特征图；
(4)通过3×3卷积层将第三编码特征图进行重建，得到尺寸为4×4的3通道第一超分辨率人脸图，使用双线性插值将第一超分辨率人脸图上采样得到尺寸为8×8的第一上采样图；
(5)将第三编码特征图输入到第一低参数量解码块中解码得到尺寸为128×8×8的第一解码特征图，并将该图与第二编码特征图进行连接得到尺寸为256×8×8的第一连接图，将第一连接图通过3×3的卷积层进行重建得到尺寸为8×8的3通道第二超分辨率人脸图，并将第二超分辨率人脸图与第一上采样图进行相加后通过双线性插值进行上采样得到尺寸为16×16的第二上采样图；
(6)将第一连接图输入到第二低参数量解码块中解码得到尺寸为64×16×16的第二解码特征图，并将该图与第一编码特征图进行连接得到尺寸为128×16×16的第二连接图，将第二连接图通过3×3的卷积层进行重建得到尺寸为16×16的3通道第三超分辨率人脸图，并将第三超分辨率人脸图与第二上采样图进行相加后通过双线性插值进行上采样得到尺寸为32×32的第三上采样图；
(7)将第二连接图输入到第三低参数量解码块中解码得到尺寸为64×32×32的第三解码特征图，并将该图通过3×3的卷积层进行重建得到尺寸为32×32的3通道第四超分辨率人脸图，并将该第四超分辨率人脸图与第三上采样图进行相加后通过双线性插值进行上采样得到尺寸为64×64的第四上采样图；
(8)将第一特征图输入到第一解码块中解码得到尺寸为64×64×64的第四解码特征图，并将该图通过3×3的卷积层进行重建得到尺寸为64×64的3通道第四超分辨率人脸图，并将该彩色人脸图像与第四上采样图进行相加后通过双线性插值进行上采样得到尺寸为128×128的第五上采样图；
(9)将第二特征图输入到第二解码块中解码得到尺寸为64×128×128的第五解码特征图，并将该图通过3×3的卷积层进行重建得到尺寸为128×128的3通道第五超分辨率人脸图，并将第五超分辨率人脸图与第五上采样图进行相加得到尺寸为128×128的超分辨率训练人脸图像。
本申请的人脸图像网络为输入和输出尺寸不等的非对称式编解码结构，可实现8倍的超分辨率人脸图像的重建，低分辨率人脸图像输入该网络后，首先使用编码单元中的残差编码块进行编码，如图3中所示为残差编码块的结构示意图，由三个卷积层和两个激活层组成，内部分为两个分支，第一分支先由一个3×3卷积层实现下采样，随后使用激活层进行激活，再有一个3×3的卷积层实现特征提取，最后再使用激活层进行激活，第二分支仅由一个1×1卷积层实现下采样，对两个分支输出的特征图进行相加，实现局部残差学习。
解码单元中主要为多个低参数量解码块和多个解码块，两种解码块具有相似的结构，均由三个卷积层、一个亚像素卷积层和两个激活层构成，该两种解码块的工作流程为先由一个3×3的卷积层实现通道扩宽，随后使用亚像素卷积层实现2倍上采样，随后通过两对3×3卷积层和激活层实现特征提取，区别在于，低参数量解码块通道扩宽由1×1卷积层实现，而解码块通道扩宽由3×3卷积层实现。
步骤S4、基于所述超分辨率训练人脸图像集和所述人脸图像训练集计算损失函数值，并通过优化所述损失函数对所述人脸图像网络进行训练；
所述步骤S4具体包括以下分步骤：
S41、基于所述基准高分辨率图像和所述超分辨率训练人脸图像计算像素损失值；
S42、获取所述基准高分辨率人脸图像对应的多张基准关键点热图以及所述超分辨率训练人脸图像对应的多张训练关键点热图；
S43、基于所述基准关键点热图和所述训练关键点热图计算热图损失值；
S44、基于所述热图损失值和所述像素损失值计算损失函数值；
S45、通过反向传播采用梯度下降算法调整所述人脸图像网络的权重，将所述损失函数值减小，并在预设训练轮次完成后确定所述人脸图像网络的权重。
具体的，首先基于基准高分辨率人脸图像IHR和超分辨率训练人脸图像ISR计算像素损失Lpix，像素损失可如下式进行计算：
Figure BDA0003054262800000071
式中，W代表的是基准高分辨率图像宽度，H代表的是基准高分辨率图像高度，x和y分别代表了IHR和ISR中像素的横坐标和纵坐标。
根据基准高分辨率人脸图像IHR预测得到N张基准关键点热图MHR，对所述超分辨率训练人脸图像ISR预测得到N张训练关键点热图MSR，N可为68。
然后根据上述计算热图损失Lheatmap，热图损失可如下式进行计算：
Figure BDA0003054262800000072
式中，n代表了关键点热图MHR和MSR的序号。
然后通过上述热图损失和像素损失计算损失函数Ltotal，损失函数可由如下公式进行计算：
Ltotal＝Lpix+λheatmapLheatmap
其中，λheatmap是热图损失的权重，可设为0.1。
然后通过反向传播采用梯度下降算法减小超分辨率训练人脸图像与基准高分辨率人脸图像的距离，使得损失函数值减小，具体的可使用ADAM优化器进行训练，优化器参数：β1＝0.9，β2＝0.999，∈＝10-8，设置预设训练轮次例如100个，一次训练所选取的样本数为8，选取在预设训练轮次内人脸图像网络损失最小的权重，其中，初始学习率为1×10-4，每200,000次迭代，学习率降为原来的1/2。
在在所述步骤S4和所述步骤S5之间，还包括：
A1、将残差编码块进行堆叠形成判别器：
A2、基于所述判别器对所述人脸图像网络进行对抗训练；
A3、将经过所述对抗训练后的所述人脸图像网络作为最终训练后的人脸图像网络。
具体的，在实际应用场景中，上述人脸图像网络用作生成器G，通过堆叠残差编码块，形成一个判别器D，将重建得到的超分辨率训练人脸图像和基准高分辨率人脸图像输入到判别器中，得到判别值。
训练判别器D，实现判断输入的是基准高分辨率人脸图像IHR还是G生成的超分辨率训练人脸图像ISR，判别器D的损失函数如下式所示：
Figure BDA0003054262800000081
其中，ILR为低分辨率人脸图像。
同时，生成器G通过优化下式所示目标函数来生成让判别器难以分辨的超分辨率图像：
Figure BDA0003054262800000082
为了避免产生伪影，使用感知损失优化IHR和ISR特征的L1距离，感知损失的定义如下式所示：
Figure BDA0003054262800000083
φ代表的是预训练的特征提取网络，C代表的是特征提取网络输出的特征图通道数，Wf代表的是特征提取网络输出的特征图宽度，Hf代表的是特征提取网络输出的特征图高度，x和y分别代表了特征提取网络对IHR和ISR进行特征提取得到的特征图中像素的横坐标和纵坐标。最终生成器G的训练目标如下式所示：
LG＝Lpix+λheatmapLheatmap+λAdvLAdv+λPercLPerc
其中λAdv和λPerc分别是对抗损失LAdv和感知损失LPerc的权重，λAdv＝0.001，λPerc＝0.1。将实例1训练得到的模型作为预训练模型进行对抗训练。预设20个训练轮次，一次训练所选取的样本数设置为8。
步骤S5、基于低分辨率人脸图像和训练后的所述人脸图像网络进行超分辨率人脸图像重建。
具体的，通过上述训练好的人脸图像网络，可将任意低分辨率人脸图像输入到人脸图像网络中进行重建得到超分辨率人脸图像。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种超分辨人脸图像重建方法，其特征在于，包括以下步骤：
S1、获取人脸图像训练集；
S2、建立人脸图像网络；
S3、将所述人脸图像训练集输入到所述人脸图像网络中得到超分辨率训练人脸图像集；
S4、基于所述超分辨率训练人脸图像集和所述人脸图像训练集计算损失函数值，并通过优化所述损失函数对所述人脸图像网络进行训练；
S5、基于低分辨率人脸图像和训练后的所述人脸图像网络进行超分辨率人脸图像重建。
2.如权利要求1所述的一种超分辨率人脸图像重建方法，其特征在于，所述人脸图像训练集包括多组人脸图像集，每一组所述人脸图像集包括低分辨率训练人脸图像和基准高分辨率人脸图像，其中，每一组中的所述低分辨率训练人脸图像和所述基准高分辨率人脸图像是从同一张人脸图像中提取到的，所述人脸图像网络包括编码单元和解码单元。
3.如权利要求2所述的一种超分辨率人脸图像重建方法，其特征在于，所述步骤S3具体包括以下分步骤：
S31、将所述低分辨率训练人脸图像输入到所述编码单元中得到编码特征图；
S32、将所述编码特征图输入到所述解码单元中得到超分辨率训练人脸图像从而得到所述超分辨率训练人脸图像集。
4.如权利要求3所述的一种超分辨率人脸图像重建方法，其特征在于，所述编码单元具体包括第一编码块、第二编码块和第三编码块，所述解码单元具体包括第一低参数量解码块、第二低参数量解码块、第三低参数量解码块、第一解码块和第二解码块，所述编码特征图包括第一编码特征图、第二编码特征图和第三编码特征图。
5.如权利要求4所述的一种超分辨率人脸图像重建方法，其特征在于，所述步骤S31具体包括以下分步骤：
S311、将所述低分辨率训练人脸图像输入到所述第一编码块中确定出第一编码特征图；
S312、将所述第一编码特征图输入到所述第二编码块中确定出第二编码特征图；
S313、将所述第二编码特征图输入到所述第三编码块中确定出第三编码特征图。
6.如权利要求4所述的一种超分辨率人脸图像重建方法，其特征在于，所述步骤S32具体包括以下分步骤：
S321、将所述第三编码特征图进行重建得到第一超分辨率人脸图，对所述第一超分辨率人脸图进行上采样得到第一上采样图；
S322、将所述第三编码特征图输入到所述第一低参数量解码块中解码得到第一解码特征图，将所述第一解码特征图与所述第二编码特征图进行连接得到第一连接图，将所述第一连接图进行重建并与所述第一上采样图进行相加得到第二超分辨率人脸图，对所述第二超分辨率人脸图进行上采样得到第二上采样图；
S323、将所述第一连接图输入到所述第二低参数量解码块中解码得到第二解码特征图，将所述第二解码特征图与所述第一编码特征图进行连接得到第二连接图，将所述第二连接图进行重建并与所述第二上采样图进行相加得到第三超分辨率人脸图，对所述第三超分辨率人脸图进行上采样得到第三上采样图；
S324、将所述第二连接图输入到所述第三低参数量解码块中解码得到第三解码特征图，将所述第三解码特征图进行重建并与所述第三上采样图进行相加得到第四超分辨率人脸图，对所述第四超分辨率人脸图进行上采样得到第四上采样图；
S325、将所述第一特征图输入到所述第一解码块中解码得到第四解码特征图，将所述第四解码特征图进行重建并与所述第四上采样图进行相加得到第五超分辨率人脸图，对所述第五超分辨率人脸图进行上采样得到第五上采样图；
S326、将所述第二特征图输入到所述第二解码块中解码得到第五解码特征图，将所述第五解码特征图进行重建并与所述第五上采样图进行相加得到超分辨率训练人脸图像。
7.如权利要求3所述的一种超分辨率人脸图像重建方法，其特征在于，所述步骤S4具体包括以下分步骤：
S41、基于所述基准高分辨率图像和所述超分辨率训练人脸图像计算像素损失值；
S42、获取所述基准高分辨率人脸图像对应的多张基准关键点热图以及所述超分辨率训练人脸图像对应的多张训练关键点热图；
S43、基于所述基准关键点热图和所述训练关键点热图计算热图损失值；
S44、基于所述热图损失值和所述像素损失值计算损失函数值；
S45、通过反向传播采用梯度下降算法调整所述人脸图像网络的权重，将所述损失函数值减小，并在预设训练轮次完成后确定所述人脸图像网络的权重。
8.如权利要求1所述的一种超分辨率人脸图像重建方法，其特征在于，在所述步骤S4和所述步骤S5之间，还包括：
A1、将残差编码块进行堆叠形成判别器：
A2、基于所述判别器对所述人脸图像网络进行对抗训练；
A3、将经过所述对抗训练后的所述人脸图像网络作为最终训练后的人脸图像网络。
CN202110495933.2A 2021-05-07 2021-05-07 一种超分辨率人脸图像重建方法 Active CN113191950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110495933.2A CN113191950B (zh) 2021-05-07 2021-05-07 一种超分辨率人脸图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110495933.2A CN113191950B (zh) 2021-05-07 2021-05-07 一种超分辨率人脸图像重建方法

Publications (2)

Publication Number Publication Date
CN113191950A true CN113191950A (zh) 2021-07-30
CN113191950B CN113191950B (zh) 2022-08-12

Family

ID=76984081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110495933.2A Active CN113191950B (zh) 2021-05-07 2021-05-07 一种超分辨率人脸图像重建方法

Country Status (1)

Country Link
CN (1) CN113191950B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311145A (zh) * 2022-08-12 2022-11-08 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110211045A (zh) * 2019-05-29 2019-09-06 电子科技大学 基于srgan网络的超分辨率人脸图像重建方法
CN110706303A (zh) * 2019-10-15 2020-01-17 西南交通大学 基于GANs的人脸图像生成方法
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN111753670A (zh) * 2020-05-29 2020-10-09 清华大学 注意力修复和关键点检测迭代协同的人脸超分方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110211045A (zh) * 2019-05-29 2019-09-06 电子科技大学 基于srgan网络的超分辨率人脸图像重建方法
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN110706303A (zh) * 2019-10-15 2020-01-17 西南交通大学 基于GANs的人脸图像生成方法
CN111753670A (zh) * 2020-05-29 2020-10-09 清华大学 注意力修复和关键点检测迭代协同的人脸超分方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, Y等: "FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors", 《 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
刘嘉佩等: "双层级联神经网络的人脸超分辨率重建", 《计算机工程与应用》 *
安鹏: "基于深度学习的人脸检测与对齐研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311145A (zh) * 2022-08-12 2022-11-08 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN113191950B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN109829855B (zh) 一种基于融合多层次特征图的超分辨率重建方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN114092330B (zh) 一种轻量化多尺度的红外图像超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN109903223B (zh) 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
CN103514580B (zh) 用于获得视觉体验优化的超分辨率图像的方法和系统
CN111429347A (zh) 图像超分辨率重建方法、装置及计算机可读存储介质
CN105488776B (zh) 超分辨率图像重建方法和装置
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN108805808A (zh) 一种利用卷积神经网络提高视频分辨率的方法
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN105844630A (zh) 一种双目视觉的图像超分辨率融合去噪方法
CN103985085A (zh) 图像超分辨率放大的方法和装置
CN110060204A (zh) 一种基于可逆网络的单一图像超分辨率方法
Wei et al. Improving resolution of medical images with deep dense convolutional neural network
CN110930308B (zh) 一种图像超分辨生成网络的结构搜索方法
CN112422870B (zh) 一种基于知识蒸馏的深度学习视频插帧方法
CN110349087A (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN112907448A (zh) 一种任意比率图像超分辨率方法、系统、设备及存储介质
CN113469884A (zh) 基于数据仿真的视频超分辨方法、系统、设备及存储介质
CN113191950B (zh) 一种超分辨率人脸图像重建方法
CN115496663A (zh) 基于d3d卷积组内融合网络的视频超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant