CN112507997A - 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 - Google Patents

一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 Download PDF

Info

Publication number
CN112507997A
CN112507997A CN202110170037.9A CN202110170037A CN112507997A CN 112507997 A CN112507997 A CN 112507997A CN 202110170037 A CN202110170037 A CN 202110170037A CN 112507997 A CN112507997 A CN 112507997A
Authority
CN
China
Prior art keywords
module
resolution
face
frequency
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110170037.9A
Other languages
English (en)
Other versions
CN112507997B (zh
Inventor
孙立剑
张文广
徐晓刚
王军
何鹏飞
朱岳江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110170037.9A priority Critical patent/CN112507997B/zh
Publication of CN112507997A publication Critical patent/CN112507997A/zh
Application granted granted Critical
Publication of CN112507997B publication Critical patent/CN112507997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度卷积和感受野特征融合的人脸超分辨系统，该系统包括依次连接的粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块、图像增强模块和对抗网络；人脸关键点提取网络和高低频增强模块分别与融合模块连接，所述融合模块、粗超分辨率模块分别与精超分辨率模块连接。该系统适用于人脸的增强，尤其是小分辨率的人脸，通过高低频特征交互增强和人脸先验知识的利用，具有放大倍数高，高频细节还原度高的特点；采用感受野模块有助于提取细节特征并降低计算复杂度。

Description

一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
技术领域
本发明属于计算机视觉、图像处理领域，尤其涉及一种基于多尺度卷积和感受野特征融合的人脸超分辨系统。
背景技术
图像分辨率的大小直接关系到图像的质量，更高的高分辨率意味着包含更多的细节信息，蕴含更大的应用潜能。然而在实际图像获取过程中，由于成像设备本身的限制、环境因素的影响导致无法直接获取高质量的图像，同时，由于存储介质和网络带宽的影响，最终获得的图像分辨率也较低，阻碍图像的进一步处理和应用。随着计算机视觉技术的不断发展，尤其是深度学习的发展，图像画质增强方法也越来越多，超分辨技术就是一项图像画质增强的有效手段，可以显著提升图像的分辨率。图像超分辨率技术是将低分辨率的图像通过软件手段，将其上采样到高分辨率图像，与硬件方式相比，可以有效降低图像增强的成本，在卫星成像、安防监控、医学检测、刑事侦查、历史图像修复增强等多个领域都具有非常重要的应用价值。例如通过增强卫星图的分辨率，可以让目标检测识别网络更好地识别其中的目标，在安防监控场景中，由于摄像头和周围环境等因素，拍摄到的目标会存在模糊，导致无法识别目标，通过超分辨技术可以重构出较为清晰的画面，提高目标人脸的分辨率，从而对快速定位到目标人物提供帮助。因此，图像超分辨技术作为一种低层的图像处理方法，可以为后续的目标检测识别等高层的处理方法提供有效的支持。
目前有很多关于图像超分辨的网络，在处理各种各样的场景、物体方面都有了比较明显的提升，针对人脸超分辨方面的网络较少，很多方法都是通过构建相应的人脸数据，然后用已有的网络进行训练，虽然取得了一些进步，但是针对低分辨率的人脸，超分效果不是很好，而人脸相对于场景和物体来说，有着较为统一的结构信息，低频结构信息对于人脸识别作用很大，为了克服现有技术的不足，提升人脸超分的效果，将人脸分为低频结构成分部分与高频细节成分部分，不同于现有方法将整个图像融入到网络中，而是将输入图像进行分解为两部分(结构和细节)并送入到网络中，并考虑这两种信息的交互关系，使其不仅有助于锐化人脸的结构信息，同时有助于复原细节。
发明内容
本发明的目的在于针对现有技术对低分辨率人脸图像分辨率增强方面的不足，提供了一种基于多尺度卷积和感受野特征融合的人脸超分辨系统。该人脸超分辨系统在恢复高频细节的同时保证低频结构的一致性，将原始输入图像分解为纹理细节和结构信息两部分，分别通过网络进行纹理细节和人脸结构的增强处理，并保持两种信息的交互关系，通过人脸关键点提取网络进行人脸关键点信息的提取并反馈到主干网络中来进一步提升人脸信息。
为实现上述目的，本发明采用如下技术方案：一种基于多尺度卷积和感受野特征融合的人脸超分辨系统，包括：粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、人脸关键点提取网络、融合模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络；所述粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络依次连接，所述人脸关键点提取网络和高低频增强模块分别与融合模块连接，所述融合模块、粗超分辨率模块分别与精超分辨率模块连接。
进一步地，所述粗超分辨率模块将原始人脸图像初步增强人脸的结构信息和纹理细节，获得人脸特征图；所述粗超分辨率模块由卷积层和多残差密集模块依次连接组成。
进一步地，所述粗上采样模块用于对人脸特征图的像素进行增强处理，获得放大的中分辨率图；所述粗上采样模块由最邻近、LeakyReLU非线性变换和亚像素卷积、LeakyReLU非线性变换组成。
进一步地，所述第一多尺度卷积模块用于对中分辨率图和原始人脸图像叠加的图像进行图像高低频特征分离，获得人脸特征的高频信息和低频信息。
进一步地，所述高低频增强模块将高频信息和低频信息均通过权值共享的多残差密集模块，然后输入具有跨尺度通信的第二多尺度卷积进行处理，所述第二多尺度卷积由高低频两个支路构成，其中高频信息通过平均池化操作缩小到低频信息的分辨率，然后与低频信息经过卷积层处理后的特征图进行叠加，所述低频信息通过最邻近和亚像素卷积上采样后得到与高频信息相同的分辨率，然后与高频信息经过卷积层处理后的特征图进行叠加，再经过一个第二多尺度卷积，输出增强高频信息和增强低频信息。
进一步地，所述人脸关键点提取网络用于将目标分辨率的图像进行关键点信息提取，获得人脸关键点信息，根据人脸关键点信息获得关键点热图。
进一步地，所述融合模块用于将人脸关键点热图和增强低频信息进行融合，获得低频特征；所述精超分辨率模块用于接收融合模块的输出低频特征、高低频增强模块输出的增强高频信息以及粗上采样模块获得的中分辨率图，恢复图像的细节特征。
进一步地，所述精上采样模块用于对精超分辨率模块恢复细节特征的图像进行像素的增强，获得与目标分辨率一致的高频特征图和对应的低频特征图；所述精上采样模块由最邻近、感受野模块RFB、LeakyReLU非线性变换和亚像素卷积、感受野模块RFB、LeakyReLU非线性变换依次组成。
进一步地，所述第三多尺度卷积模块的高频支路将精上采样模块得到的高频特征图通过一个卷积处理，低频支路对精上采样模块得到的低频特征图交替使用最邻近放大2倍和亚像素卷积放大2倍，最终得到与高频信息相同的分辨率并进行叠加，叠加之后的特征经过一个LeakyReLU非线性变换，再经过一个卷积操作得到目标分辨率的图像。
进一步地，所述对抗网络基于视觉感知质量的损失函数通过生成对抗学习的方式训练，将训练好的对抗网络判断第三多尺度卷积模块得到的目标分辨率的图像质量是否满足训练集中真值图像质量的要求；
所述视觉感知质量的损失函数
Figure 935833DEST_PATH_IMAGE001
具体为：
Figure 384132DEST_PATH_IMAGE002
其中，
Figure 695028DEST_PATH_IMAGE003
表示对抗损失函数，
Figure 621395DEST_PATH_IMAGE004
表示对抗损失权重，
Figure 701347DEST_PATH_IMAGE005
分别表示特征匹配损失函数和对应的特征匹配损失权重，
Figure 54968DEST_PATH_IMAGE006
分别表示像素损失函数和对应的像素损失权重，
Figure 587580DEST_PATH_IMAGE007
、
Figure 317639DEST_PATH_IMAGE008
分别表示人脸关键点损失函数和对应的人脸关键点损失权重，
Figure 252097DEST_PATH_IMAGE009
分别表示内容感知损失函数和对应的内容感知损失权重。
与现有技术相比，本发明的有益效果是：通过采用第一多尺度卷积、第二多尺度卷积，第三多尺度卷积，将人脸特征分为结构信息和纹理细节，并实现这两种信息的交互关系，它不仅有助于锐化图像结构，还有助于复原细节，采用感受野模块结合残差密集模块进行超分有助于增强细节和轮廓特征并增强特征判别性，在上采样阶段交替使用不同的上采样方法以降低计算复杂度，人脸关键点提取网络采用HG模块，能够抓住很多局部的特征信息并结合起来，增加了人脸几何形状特征提取的准确性，并通过生成对抗网络进行训练，最终获得超分辨率的图像。本发明的人脸超分辨系统适用于人脸的增强，尤其是小分辨率的人脸，通过高低频特征交互增强和人脸先验知识的利用，具有放大倍数高，高频细节还原度高的特点；采用感受野模块有助于提取细节特征并降低计算复杂度。
附图说明
图1是本发明基于多尺度卷积和感受野特征融合的人脸超分辨系统流程图；
图2是本发明的残差密集模块RDB结构图；
图3是本发明的多残差密集模块RRDB结构图；
图4是本发明的感受野模块RFB结构图；
图5是本发明的感受野密集模块结构图；
图6是本发明的多残差感受野密集模块结构图；
图7是本发明的人脸关键点提取网络结构图；
图8是本发明的三阶HG模块结构图；
图9是本发明包括第一多尺度卷积、第二多尺度卷积和第三多尺度卷积的高低频分解多尺度卷积结构图。
具体实施方式
下面结合附图和实施例详细说明本发明。
如图1为本发明基于多尺度卷积和感受野特征融合的人脸超分辨系统的流程图，所述人脸超分辨系统包括：粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、人脸关键点提取网络、融合模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络；所述粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络依次连接，所述人脸关键点提取网络和高低频增强模块分别与融合模块连接，所述融合模块、粗超分辨率模块分别与精超分辨率模块连接。
所述粗超分辨率模块用于将分辨率不大于32×32的人脸图像初步增强人脸的结构信息和纹理细节，获得人脸特征图；所述粗超分辨率模块由卷积层Conv和4-16个多残差密集模块依次连接组成。该卷积层Conv为3×3×64×1，3×3表示卷积核尺寸，64表示卷积核个数，最后一位表示卷积核的运动步幅，如图3，给出了一个多残差密集模块RRDB的结构图，所述多残差密集模块RRDB由三个残差密集模块RDB加权组合得到，其中
Figure 776619DEST_PATH_IMAGE010
为残差密集模块RDB的权重系数。残差密集模块RDB的结构如图2所示，由3×3卷积层和LeakyReLU非线性变换作为基本单元组成的。
所述粗上采样模块用于对人脸特征图的像素进行增强处理，获得放大2-4倍的中分辨率图；所述上采样模块由最邻近、LeakyReLU非线性变换和亚像素卷积、LeakyReLU非线性变换组成，最近邻执行空域变换，亚像素卷积执行通道到空间的变换，提升空间与通道间的信息交互。
所述第一多尺度卷积模块用于对中分辨率图和原始的不大于32×32的人脸图像叠加的图像进行图像高低频特征分离，获得人脸特征的高频信息和低频信息。如图9所示，该第一多尺度卷积模块具有两支路，每一支路包括依次连接的3×3卷积层和LeakyReLU非线性激活层。
所述高低频增强模块将高频信息和低频信息均通过权值共享的多残差密集模块，然后输入具有跨尺度通信的第二多尺度卷积进行处理，如图9所示，所述第二多尺度卷积由高低频两个支路构成，其中高频信息通过平均池化操作缩小到低频信息的分辨率，然后与低频信息经过卷积层处理后的特征图进行叠加，所述低频信息通过最邻近和亚像素卷积上采样后得到与高频信息相同的分辨率，然后与高频信息经过卷积层处理后的特征图进行叠加，再经过一个第二多尺度卷积，输出增强高频信息和增强低频信息；所述高低频增强模块由6-12个多残差密集模块和2个具有跨尺度通信的第二多尺度卷积依次连接组成。
所述人脸关键点提取网络用于将目标分辨率的图像进行关键点信息提取，获得人脸关键点信息，根据人脸关键点信息获得关键点热图；所述人脸关键点提取网络如图7所示，由7×7×64×2的卷积层、ReLU非线性变换、3×3×128×2的卷积层、ReLU非线性变换、残差感受野密集块、两个HG模块、1×1×64×1的卷积层和Softmax操作依次连接组成；所述残差感受野密集块的结构如图5所示，由多个感受野模块RFB和LeakyReLU非线性变换作为基本单元组成的，其中所述感受野模块RFB的结构如图4所示，由一个类似Inception模块的多分支卷积模块构成，它的内部结构可分为两个组件：多分支卷积层以及随后的膨胀卷积层构成，最后通过级联和相加操作汇成一路，图4中1×1conv表示大小为1×1的卷积核，同样的，1×3conv、3×1conv，3×3conv分别表示大小为1×3、3×1和3×3的卷积核，3×3convrate=1表示大小为3×3，空洞率为1的膨胀卷积层，空洞率为1是相当于是正常的3×3的卷积核，3×3conv rate=3表示大小为3×3，空洞率为3的膨胀卷积层，3×3conv rate=5表示大小为3×3，空洞率为5的膨胀卷积层，以此来增加感受野，通过4路空洞卷积处理之后的结果输入到Concatenation
Figure 796528DEST_PATH_IMAGE011
conv，该操作表示将4路空洞卷积处理之后的结果经过级联（Concatenation）操作，然后再经过1×1的卷积层进行处理，得到前四分支的融合结果，输入通过图4中最右侧支路的1×1卷积层后再乘以权重系数
Figure 64698DEST_PATH_IMAGE012
，所得结果与前四分支的融合结果相加得到输出；所述HG模块的结构如图8所示，由对称的三组残差块构成，为了有效整合各种尺度的特征并保留不同尺度的空间信息，HG在对称层之间使用跳跃连接机制，图8中/2表示将图像进行2倍下采样操作，宽高变为原来的1/2，<M>表示输入特征的通道数，<128>表示中间进行卷积操作的通道数，<N>表示输出特征的通道数，×2表示将图像进行2倍上采样操作，宽高变为原来的2倍，从而使HG模块的输入和输出保持相同的尺寸大小。
所述融合模块用于将人脸关键点热图和增强低频信息进行融合，获得低频特征。
所述精超分辨率模块用于接收融合模块的输出低频特征、高低频增强模块输出的增强高频信息以及粗上采样模块获得的中分辨率图，恢复图像的细节特征，包括头发、皮肤纹理以及边缘。所述精超分辨率模块由4-12个多残差感受野密集模块与1个具有跨尺度通信的第二多尺度卷积依次连接组成。所述多残差感受野密集模块的结构如图6所示，由三个残差感受野密集块RFDB通过迭代加权组合得到，每个残差感受野密集块RFDB的权重系数为
Figure 853662DEST_PATH_IMAGE013
。
所述精上采样模块用于对精超分辨率模块恢复细节特征的图像进行2-4倍像素的增强，获得与目标分辨率一致的高频特征图和对应的低频特征图；所述精上采样模块由最邻近、感受野模块RFB、LeakyReLU非线性变换和亚像素卷积、感受野模块RFB、LeakyReLU非线性变换依次组成。
所述第三多尺度卷积模块如图9所示，由高频卷积支路和低频上采样支路构成，其中高频支路将精上采样模块得到的高频特征图通过一个卷积处理，低频支路对精上采样模块得到的低频特征图交替使用最邻近放大2倍和亚像素卷积放大2倍，最终得到与高频信息相同的分辨率并进行叠加，叠加之后的特征经过一个LeakyReLU非线性变换，再经过一个卷积操作得到目标分辨率的图像。
所述对抗网络基于视觉感知质量的损失函数通过生成对抗学习的方式训练，将训练好的对抗网络判断第三多尺度卷积模块得到的目标分辨率的图像质量是否满足训练集中真值图像质量的要求。
本发明的对抗网络利用ESRGAN网络中的判别器网络作为判别器，对于生成器网络而言，损失函数包括：内容感知损失函数、对抗损失函数
Figure 814665DEST_PATH_IMAGE003
以及像素损失函数；对于判别器网络而言，损失函数
Figure 321870DEST_PATH_IMAGE014
能够有效区分真值图像与生成图像，使用反向传播策略交替更新生成器网络和判别器网络，如已收敛，则保存训练好的生成器网络模型。
Figure 862573DEST_PATH_IMAGE015
其中
Figure 37202DEST_PATH_IMAGE016
和
Figure 637948DEST_PATH_IMAGE017
分别表示真值图像和生成器生成的假图像，
Figure 898028DEST_PATH_IMAGE018
是sigmoid函数，
Figure 242421DEST_PATH_IMAGE019
是非变换判别器输出,
Figure 271557DEST_PATH_IMAGE020
和
Figure 308783DEST_PATH_IMAGE021
分别表示在mini批处理中对所有生成的假数据和真值图像数据取平均值的操作,
Figure 790580DEST_PATH_IMAGE022
表示相对判别器输出结果。
感知超分辨方法的损失函数一般选择的是对抗损失和基于VGG的感知损失，这种损耗组合对4倍及以下超分效果很好，但是对8倍以上超分，由于高度的幻觉噪声和不太精确的细节，输出的结果并不令人满意。而且由于VGG网络是训练用于图像分类的，不是超分辨任务的最佳选择。因此，本发明的技术方案中选取LPIPS作为感知损失，提高图片的视觉感知质量。
Figure 938665DEST_PATH_IMAGE023
其中，
Figure 556728DEST_PATH_IMAGE024
表示特征提取器，
Figure 30435DEST_PATH_IMAGE025
表示深度嵌入转化为标量LPIPS评分，并从k层中计算平均得分。此外，还利用判别器的特征匹配损失来减少对抗性损失带来的不良噪声。
Figure 733949DEST_PATH_IMAGE026
Figure 685724DEST_PATH_IMAGE027
为判别器D的第
Figure 423873DEST_PATH_IMAGE028
层激活量，H为光滑
Figure 68481DEST_PATH_IMAGE029
损失。另外再加上在像素空间
Figure 259291DEST_PATH_IMAGE030
上的损失来防止颜色发生变化以及
Figure 14757DEST_PATH_IMAGE007
用于人脸关键点的监督，
Figure 341833DEST_PATH_IMAGE031
用于关键点提取。
Figure 157343DEST_PATH_IMAGE032
Figure 835449DEST_PATH_IMAGE033
所以本发明基于视觉感知质量的损失函数为：
Figure 394606DEST_PATH_IMAGE034
其中，
Figure 841768DEST_PATH_IMAGE003
表示对抗损失函数，
Figure 297020DEST_PATH_IMAGE004
表示对抗损失权重，
Figure 728001DEST_PATH_IMAGE005
分别表示特征匹配损失函数和对应的特征匹配损失权重，
Figure 559691DEST_PATH_IMAGE006
分别表示像素损失函数和对应的像素损失权重，
Figure 392518DEST_PATH_IMAGE007
、
Figure 18671DEST_PATH_IMAGE008
分别表示人脸关键点损失函数和对应的人脸关键点损失权重，
Figure 936949DEST_PATH_IMAGE009
分别表示内容感知损失函数和对应的内容感知损失权重。
使用PSNR、SSIM，LPIPS作为图片质量的评价指标，选择高分辨率的人脸数据集并进行裁剪和下采样处理，得到高低分辨率的人脸图像对作为训练集、验证集和测试集，整个训练过程分为两个阶段，第一个阶段采用损失进行训练，第二个阶段引入内容损失与对抗损失进行模型微调，使用反向传播策略交替更新生成器网络和判别器网络，如已收敛，则保存训练好的生成器网络模型，用该生成器网络用作最终生成超分辨率图像。
实施例
本实施例中以8倍图像超分辨率为例进行说明。
（1）将分辨率为16×16的人脸图像输入粗超分辨率模块，初步增强人脸的结构信息和纹理细节，获得人脸特征图；
（2）将人脸特征图输入粗上采样模块，对人脸特征图的图像素进行增强处理，获得放大2倍的中分辨率图；将中分辨率图和原始人脸图像叠加的图像输入第一多尺度卷积模块，进行图像高低频特征分离，获得人脸特征的高频信息和低频信息。
（3）高频信息和低频信息均通过高低频增强模块的权值共享的卷积层，所述高频信息通过平均池化操作缩小到低频信息的分辨率，然后与低频信息经过卷积层处理后的特征图进行叠加，所述低频信息通过最邻近和亚像素卷积上采样后得到与高频信息相同的分辨率，然后与高频信息经过卷积层处理后的特征图进行叠加，再经过一个第二多尺度卷积，输出增强高频信息和增强低频信息。
（4）将目标分辨率的图像输入人脸关键点提取网络用于进行关键点信息提取，获得人脸关键点信息，根据人脸关键点信息获得关键点热图，将人脸关键点热图和增强低频信息输入融合模块进行融合，获得低频特征。
（5）将低频特征、增强高频信息以及中分辨率图输入精超分辨率模块，恢复图像的细节特征，包括头发、皮肤纹理以及边缘。
（6）将恢复细节特征的图像输入精上采样模块，进行像素增强，获得与目标分辨率一致的高频特征图和对应的低频特征图。
（7）所述第三多尺度卷积的高频支路将精上采样模块得到的高频特征图通过一个卷积处理，低频支路对精上采样模块得到的低频特征图交替使用最邻近放大2倍和亚像素卷积放大2倍，最终得到与高频信息相同的分辨率并进行叠加，叠加之后的特征经过一个LeakyReLU非线性变换，再经过一个卷积操作得到目标分辨率的图像。
（8）将得到的目标分辨率图像，进一步提取关键点信息，将关键点信息作为人脸结构知识反馈到主干网络中，增强低频结构特征。同时，将目标分辨率图像输入训练好的对抗网络判断第三多尺度卷积模块得到的目标分辨率的图像质量是否满足训练集中真值图像质量的要求。
本发明的技术方案中还选择高分辨率的人物一的人脸数据集将其用人脸关键点检测网络进行64个关键点检测，同时根据检测到的关键点，对图像进行裁剪操作，只截取人脸部分，避免头发帽子衣服对人脸的影响，将截取的照片利用matlab中的imresize下采样到128×128作为高分辨率真值图像，下采样到16×16作为对应的低分辨率图像，将高低分辨率的人脸图像对作为训练集、验证集和测试集，整个训练过程分为两个阶段，第一个阶段采用损失进行训练，使用RMSprop进行训练，学习率设置为0.0005；第二个阶段引入内容损失与对抗损失进行模型微调，学习率设置为0.0001，使用反向传播策略交替更新生成器网络和判别器网络，如已收敛，则保存训练好的生成器网络模型，用该生成器网络用作最终的推理。用该生成器网络用作最终的推理，另外选择100张低分辨率的图片作为测试集。另外，用同样的方法在人物二的数据集上进行训练和测试，测试结果如表1所示：
表1. 本发明与其他算法在放大8倍时不同数据集下的性能比较(PSNR/SSIM/LPIPS)
Figure 572329DEST_PATH_IMAGE036
如表1所述，对比常用的超分辨方法，包括双三次上采样、ESRGAN、RCAN、RDN和FSRNet，进行了同样的数据集训练和测试，本发明得到的100张测试图片的平均PSNR和SSIM都取得了较高的结果，另外LPIPS最低，保持着最好的视觉感知质量，整体图片清晰度也最好。

Claims (10)

1.一种基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，包括：粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、人脸关键点提取网络、融合模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络；所述粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络依次连接，所述人脸关键点提取网络和高低频增强模块分别与融合模块连接，所述融合模块、粗超分辨率模块分别与精超分辨率模块连接。
2.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述粗超分辨率模块将原始人脸图像初步增强人脸的结构信息和纹理细节，获得人脸特征图；所述粗超分辨率模块由卷积层和多残差密集模块依次连接组成。
3.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述粗上采样模块用于对人脸特征图的像素进行增强处理，获得放大的中分辨率图；所述粗上采样模块由最邻近、LeakyReLU非线性变换和亚像素卷积、LeakyReLU非线性变换组成。
4.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述第一多尺度卷积模块用于对中分辨率图和原始人脸图像叠加的图像进行图像高低频特征分离，获得人脸特征的高频信息和低频信息。
5.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述高低频增强模块将高频信息和低频信息均通过权值共享的多残差密集模块，然后输入具有跨尺度通信的第二多尺度卷积进行处理，所述第二多尺度卷积由高低频两个支路构成，其中高频信息通过平均池化操作缩小到低频信息的分辨率，然后与低频信息经过卷积层处理后的特征图进行叠加，所述低频信息通过最邻近和亚像素卷积上采样后得到与高频信息相同的分辨率，然后与高频信息经过卷积层处理后的特征图进行叠加，再经过一个第二多尺度卷积，输出增强高频信息和增强低频信息。
6.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述人脸关键点提取网络用于将目标分辨率的图像进行关键点信息提取，获得人脸关键点信息，根据人脸关键点信息获得关键点热图。
7.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述融合模块用于将人脸关键点热图和增强低频信息进行融合，获得低频特征；所述精超分辨率模块用于接收融合模块的输出低频特征、高低频增强模块输出的增强高频信息以及粗上采样模块获得的中分辨率图，恢复图像的细节特征。
8.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述精上采样模块用于对精超分辨率模块恢复细节特征的图像进行像素的增强，获得与目标分辨率一致的高频特征图和对应的低频特征图；所述精上采样模块由最邻近、感受野模块RFB、LeakyReLU非线性变换和亚像素卷积、感受野模块RFB、LeakyReLU非线性变换依次组成。
9.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述第三多尺度卷积模块的高频支路将精上采样模块得到的高频特征图通过一个卷积处理，低频支路对精上采样模块得到的低频特征图交替使用最邻近放大2倍和亚像素卷积放大2倍，最终得到与高频信息相同的分辨率并进行叠加，叠加之后的特征经过一个LeakyReLU非线性变换，再经过一个卷积操作得到目标分辨率的图像。
10.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述对抗网络基于视觉感知质量的损失函数通过生成对抗学习的方式训练，将训练好的对抗网络判断第三多尺度卷积模块得到的目标分辨率的图像质量是否满足训练集中真值图像质量的要求；
所述视觉感知质量的损失函数
Figure 900221DEST_PATH_IMAGE001
具体为：
Figure 250430DEST_PATH_IMAGE002
其中，
Figure 481692DEST_PATH_IMAGE003
表示对抗损失函数，
Figure 600957DEST_PATH_IMAGE004
表示对抗损失权重，
Figure 790630DEST_PATH_IMAGE005
分别表示特征匹配损失函数和对应的特征匹配损失权重，
Figure 362557DEST_PATH_IMAGE006
分别表示像素损失函数和对应的像素损失权重，
Figure 663088DEST_PATH_IMAGE007
、
Figure 371281DEST_PATH_IMAGE008
分别表示人脸关键点损失函数和对应的人脸关键点损失权重，
Figure 935118DEST_PATH_IMAGE009
分别表示内容感知损失函数和对应的内容感知损失权重。
CN202110170037.9A 2021-02-08 2021-02-08 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 Active CN112507997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170037.9A CN112507997B (zh) 2021-02-08 2021-02-08 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170037.9A CN112507997B (zh) 2021-02-08 2021-02-08 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Publications (2)

Publication Number Publication Date
CN112507997A true CN112507997A (zh) 2021-03-16
CN112507997B CN112507997B (zh) 2021-05-11

Family

ID=74952801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170037.9A Active CN112507997B (zh) 2021-02-08 2021-02-08 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Country Status (1)

Country Link
CN (1) CN112507997B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034370A (zh) * 2021-05-26 2021-06-25 之江实验室 一种结合3d脸部结构先验的人脸超分辨方法
CN113033518A (zh) * 2021-05-25 2021-06-25 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113066030A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN113284051A (zh) * 2021-07-23 2021-08-20 之江实验室 一种基于频率分解多注意力机制的人脸超分辨方法
CN113298719A (zh) * 2021-07-02 2021-08-24 西安电子科技大学 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
CN113315954A (zh) * 2021-06-08 2021-08-27 北京市水利自动化研究所 一种基于深度学习的水尺智能识别方法
CN113362239A (zh) * 2021-05-31 2021-09-07 西南科技大学 一种基于特征交互的深度学习图像修复方法
CN113379606A (zh) * 2021-08-16 2021-09-10 之江实验室 一种基于预训练生成模型的人脸超分辨方法
CN113435384A (zh) * 2021-07-07 2021-09-24 中国人民解放军国防科技大学 中低分辨率光学遥感图像的目标检测方法、装置及设备
CN113449784A (zh) * 2021-06-18 2021-09-28 宜通世纪科技股份有限公司 基于先验属性图谱的图像多分类方法、装置、设备及介质
CN113505769A (zh) * 2021-09-10 2021-10-15 城云科技（中国）有限公司 目标检测方法及应用其的车辆抛洒滴漏识别方法
CN113674155A (zh) * 2021-08-25 2021-11-19 中国铁塔股份有限公司湖北省分公司 基于信息聚合网络的图像超分辨率方法、装置和存储介质
CN113837080A (zh) * 2021-09-24 2021-12-24 江西理工大学 一种基于信息增强与感受野增强的小目标检测方法
CN115994857A (zh) * 2023-01-09 2023-04-21 深圳大学 一种视频超分辨率方法、装置、设备及存储介质
WO2023125522A1 (zh) * 2021-12-28 2023-07-06 北京字跳网络技术有限公司 一种图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182954A (zh) * 2014-08-27 2014-12-03 中国科学技术大学 一种实时的多模态医学图像融合方法
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建系统
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182954A (zh) * 2014-08-27 2014-12-03 中国科学技术大学 一种实时的多模态医学图像融合方法
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建系统
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066030A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN113033518A (zh) * 2021-05-25 2021-06-25 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113033518B (zh) * 2021-05-25 2021-08-31 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113034370A (zh) * 2021-05-26 2021-06-25 之江实验室 一种结合3d脸部结构先验的人脸超分辨方法
CN113362239A (zh) * 2021-05-31 2021-09-07 西南科技大学 一种基于特征交互的深度学习图像修复方法
CN113315954B (zh) * 2021-06-08 2023-04-07 北京市智慧水务发展研究院 一种基于深度学习的水尺智能识别方法
CN113315954A (zh) * 2021-06-08 2021-08-27 北京市水利自动化研究所 一种基于深度学习的水尺智能识别方法
CN113449784A (zh) * 2021-06-18 2021-09-28 宜通世纪科技股份有限公司 基于先验属性图谱的图像多分类方法、装置、设备及介质
CN113449784B (zh) * 2021-06-18 2024-04-05 宜通世纪科技股份有限公司 基于先验属性图谱的图像多分类方法、装置、设备及介质
CN113298719A (zh) * 2021-07-02 2021-08-24 西安电子科技大学 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
CN113298719B (zh) * 2021-07-02 2024-04-05 西安电子科技大学 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
CN113435384A (zh) * 2021-07-07 2021-09-24 中国人民解放军国防科技大学 中低分辨率光学遥感图像的目标检测方法、装置及设备
CN113284051A (zh) * 2021-07-23 2021-08-20 之江实验室 一种基于频率分解多注意力机制的人脸超分辨方法
CN113284051B (zh) * 2021-07-23 2021-12-07 之江实验室 一种基于频率分解多注意力机制的人脸超分辨方法
CN113379606A (zh) * 2021-08-16 2021-09-10 之江实验室 一种基于预训练生成模型的人脸超分辨方法
CN113674155A (zh) * 2021-08-25 2021-11-19 中国铁塔股份有限公司湖北省分公司 基于信息聚合网络的图像超分辨率方法、装置和存储介质
CN113505769B (zh) * 2021-09-10 2021-12-14 城云科技（中国）有限公司 目标检测方法及应用其的车辆抛洒滴漏识别方法
CN113505769A (zh) * 2021-09-10 2021-10-15 城云科技（中国）有限公司 目标检测方法及应用其的车辆抛洒滴漏识别方法
CN113837080B (zh) * 2021-09-24 2023-07-25 江西理工大学 一种基于信息增强与感受野增强的小目标检测方法
CN113837080A (zh) * 2021-09-24 2021-12-24 江西理工大学 一种基于信息增强与感受野增强的小目标检测方法
WO2023125522A1 (zh) * 2021-12-28 2023-07-06 北京字跳网络技术有限公司 一种图像处理方法及装置
CN115994857A (zh) * 2023-01-09 2023-04-21 深圳大学 一种视频超分辨率方法、装置、设备及存储介质
CN115994857B (zh) * 2023-01-09 2023-10-13 深圳大学 一种视频超分辨率方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112507997B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN110119780A (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN112037131A (zh) 一种基于生成对抗网络的单图像超分辨率重建方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN113592715B (zh) 一种面向小样本图像集的超分辨率图像重构方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN117391938B (zh) 一种红外图像超分辨率重建方法、系统、设备及终端
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN116934592A (zh) 一种基于深度学习的图像拼接方法、系统、设备及介质
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
CN117474764B (zh) 一种针对复杂退化模型下遥感图像的高分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant