CN113379597A - 人脸超分辨率重构方法 - Google Patents

人脸超分辨率重构方法 Download PDF

Info

Publication number
CN113379597A
CN113379597A CN202110545674.XA CN202110545674A CN113379597A CN 113379597 A CN113379597 A CN 113379597A CN 202110545674 A CN202110545674 A CN 202110545674A CN 113379597 A CN113379597 A CN 113379597A
Authority
CN
China
Prior art keywords
face
resolution
super
module
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110545674.XA
Other languages
English (en)
Inventor
于力
冼文灏
何建
邹见效
徐红兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Yibin University Of Electronic Science And Technology
Original Assignee
Research Institute Of Yibin University Of Electronic Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Yibin University Of Electronic Science And Technology filed Critical Research Institute Of Yibin University Of Electronic Science And Technology
Priority to CN202110545674.XA priority Critical patent/CN113379597A/zh
Publication of CN113379597A publication Critical patent/CN113379597A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸超分辨重构方法，首先获取包含低分辨率人脸图像和超分辨率人脸图像的人脸图像样本，然后构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，根据人脸关键点先验信息采用注意力机制，迭代处理获取低分辨率人脸图像特征，从而生成超分辨率人脸图像；采用人脸图像样本对人脸超分辨率重构网络进行训练，然后将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，生成超分辨率人脸图像。本发明基于SRFBN网络进行改进，引入人脸关键点先验信息以及注意力机制，设计了人脸超分辨率重构网络，以提高人脸超分辨率重构的准确度，以便进一步提高人脸识别性能。

Description

人脸超分辨率重构方法
技术领域
本发明属于人脸识别技术领域，更为具体地讲，涉及一种人脸超分辨率重构方法。
背景技术
人脸属于生物体征，具有不易改变性及个体差异性。人脸识别技术已经广泛的应用于交通、医疗、金融等行业，实现了火车站进站核验系统，天眼系统，支付宝刷脸支付，手机面部解锁等诸多功能，为人们的工作和生活提供了诸多便利。
人脸识别技术自上个世纪六十年代诞生以来，经过多年的发展已经趋于成熟。然而，现有的人脸识别算法大多是基于约束环境下的识别，即采集的人脸必须符合以下多种条件：人脸区域清晰，图像分辨率足够高，背景干净，表情正常，姿态统一，没有严重的面部遮挡等；一旦脱离了约束环境，现有模型的识别精度会出现大幅度的下降。尤其是上述条件中人脸区域清晰，图像分辨率足够高这两个约束条件，在目前使用的监控摄像头，高速公路摄像头，街景闭路电视等场景中是无法满足的，这些设备采集到的人脸图像分辨率非常低，加之图像噪声影响及人员移动带来的运动模糊，现有模型是无法直接从中识别人员身份的。此问题极大的限制了人脸识别技术在安防领域的进一步应用，利用街景摄像头识别可疑人员身份，协助搜捕逃犯等重大工作无法顺利开展。对低分辨率人脸进行识别，是一个非常具有挑战性的任务，也是亟待解决的学术问题。
得益于深度学习技术的发展，针对低分辨率图像进行重构修复的超分辨率算法也日益成熟。算法能将低分辨率图像转化为高分辨率图像，并在转化过程中实现最小化附加视觉伪影的效果，因此能有效的应用于上述任务中。更进一步，人脸超分辨率(Face SuperResolution，FSR)算法，是自然图像超分辨率(SR) 算法在人脸图像这一特定领域的推广。人脸超分辨率任务的特殊性在于：首先，与普通图像的超分辨率不同，人脸图像拥有其本身的特殊结构，因此需要使用人脸的特有先验知识来进行辅助和约束，才能还原出更准确的人脸信息；其次，重构出的人脸图像必须可供其他的高级视觉任务使用：如人脸识别，人脸检测等，否则的话重构工作是无效的。
在传统超分辨率方法发展的很长的一段时间里，已经有部分学者对人脸超分辨率进行过尝试和研究：Liu将低分辨率(LR)人脸图像作为字典，对应线性组合的方式获得重建图像。Hu和Lam等人从局部像素结构的角度出发，提出了全局超分辨率方法，即对于一张LR人脸，先在样本集中寻找与其差异性较小的图像，这些图像对应有高分辨率图像，将其中的局部像素结构作为先验知识，来预期高分样本，达到增强效果。Liu等人使用基于主成分分析(PCA)的全局外观模型，先产生粗糙的SR人脸，再通过局部的非参数模型对细节进行增强。这些方法虽然取得一定的重建效果，但总体计算量较大，面对大规模的人脸数据库时训练耗费时间长，且当人脸姿态发生一定变化后，便不能取得理想的结果。
近年来，基于深度学习的方法在各种计算机视觉任务中，都取得了显著进展，人脸超分辨率算法也包含于其中。因此，目前的主要研究也更加关注基于深度学习的方法。考虑到人脸超分辨率任务的特殊性，许多研究者提出了不少适配人脸的、利用了面部先验的FSR网络。Yu等人引入了一种基于判别生成网络的URDGN，将对抗生成网络应用到了小尺寸人脸中，并尝试将网络中间的特征与面部成分热图直接相连，取得了一定的生成效果。Chen等人提出了FSRNet，这是第一个端到端的人脸超分辨率网络，FSRNet在进行一个粗略超分辨率的步骤后，提取了人脸关键点图、人脸热图和面部成分解析图，将多种先验信息与后续网络直接连接使用，指导了超分辨率重构过程。Kim等人则同样利用人脸关键点图、人脸热图，构建出面部注意力损失，并使用它来训练出一个渐进式的生成器，同样重构出了较好质量的人脸。
然而，以上的人脸超分辨率算法虽然取得了一定效果，但关于该领域的研究还存在不足，并主要分为以下几点：(1)人脸先验知识的估计往往采用低分辨率或粗糙的超分辨率图像估计，这样难以估计出准确的先验，对超分辨率的指导也会造成错误；(2)多数网络对于先验知识，采用了简单的拼接操作，先验知识的利用效率不高；(3)部分网络使用基于分类网络的感知损失来获取一定的视觉质量，而忽略了对人脸身份信息的恢复，导致重构后的人脸依然不能识别出正确身份，重构工作失效。
发明内容
本发明的目的在于克服现有技术的不足，提供一种人脸超分辨率重构方法，基于SRFBN网络进行改进，引入人脸关键点先验信息以及注意力机制，设计了人脸超分辨率重构网络，以提高人脸超分辨率重构的准确度，以便进一步提高人脸识别性能。
为了实现上述发明目的，本发明人脸超分辨率重构方法包括以下步骤：
S1：根据需要设置低分辨率人脸图像和目标超分辨率人脸图像的分辨率，然后获取若干组人脸图像样本，每组人脸图像样本中包含低分辨率人脸图像和对应的超分辨率人脸图像；
S2：构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，其中：
超分辨率重构主网络包括低分辨率特征提取器Gf、递归模块GRec、高分辨率生成层Gup、上采样模块和人脸关键点先验信息估计模块，其中：
低分辨率特征提取器Gf用于对输入的LR人脸图像ILR进行特征提取，将得到特征图Gf(ILR)发送至递归模块GRec；
递归模块GRec接收特征图Gf(ILR)和两项反馈输入：一是人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点Ln-1，二是上一轮中递归模块GRec的输出特征
Figure BDA0003073427600000031
然后处理得到本轮的输出特征图
Figure BDA0003073427600000032
并发送至高分辨率生成层Gup；递归模块GRec包括反馈信息融合模块、1×1卷积层、注意力融合模块和循环SR 模块，其中：
反馈信息串联模块将输入的特征图Gf(ILR)与循环SR模块反馈的上一轮输出的特征图
Figure BDA0003073427600000033
进行通道串联，其中
Figure BDA0003073427600000034
将得到串联后的特征图fn 1发送至1×1卷积层；
1×1卷积层用于对输入的特征图进行1×1卷积操作，将迭代次数n＝1时，将卷积后的特征图f1 2发送至循环SR模块，当迭代次数n＝2,3,…,N时，将卷积后的特征图fn 2发送至注意力融合模块；
注意力融合模块用于接收人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点图像Ln-1，基于空间注意力机制对输入的特征图fn2进行处理，将得到的特征图发送至循环SR模块；注意力融合模块包括面部组件注意力图生成模块、P个卷积层、P个先验信息融合模块和特征融合模块，其中：
面部组件注意力图生成模块用于将接收到的上一轮迭代中的人脸关键点图像Ln-1生成面部组件的组件热图
Figure BDA0003073427600000041
然后发送至对应先验信息融合模块，组件热图
Figure BDA0003073427600000042
的生成方法为：将上一轮迭代中得到的人脸关键点根据预设的面部组件进行分组得到P个关键点集合，P表示预设的面部组件的数量，根据各个关键点集合生成对应的组件热图
Figure BDA0003073427600000043
然后对得到的每个组件热图
Figure BDA0003073427600000044
使用 softmax函数，将组件热图
Figure BDA0003073427600000045
转换成相应的组件注意力图
Figure BDA0003073427600000046
并发送至先验信息融合模块；
每个卷积层分别对特征图fn 2进行卷积得到特征图fn 2(p)并发送至对应的先验信息融合模块；
每个先验信息融合模块将接收到的特征图fn 2(p)和组件注意力图Hn-1(p)进行对应像素相乘得到特征图
Figure BDA00030734276000000410
然后发送至特征融合模块；
特征融合模块将接收到的P个特征图
Figure BDA00030734276000000411
进行叠加得到特征图
Figure BDA00030734276000000412
并发送至循环SR模块；
循环SR模块采用SRFBN网络中循环SR模块的结构，用于对接收到的特征图
Figure BDA00030734276000000413
进行进一步特征提取，将得到的特征图
Figure BDA00030734276000000414
发送至高分辨率生成层Gup，并反馈至反馈信息串联模块；
高分辨率生成层Gup用于根据输入的特征图
Figure BDA00030734276000000415
生成SR人脸图像
Figure BDA00030734276000000416
并发送至SR人脸图像融合模块；
上采样模块用于对输入的LR人脸图像ILR进行上采样，得到目标分辨率的人脸图像U(ILR)并发送SR人脸图像融合模块；
SR人脸图像融合模块用于将接收到的图像
Figure BDA00030734276000000417
和图像U(ILR)进行叠加，得到SR人脸图像
Figure BDA00030734276000000418
并发送至先验信息估计网络，将第N个迭代轮次得到的 SR人脸图像
Figure BDA00030734276000000419
作为输入的LR人脸图像ILR对应的生成超分辨率SR人脸图像 ISR进行输出；
人脸关键点先验信息估计网络用于对SR人脸图像
Figure BDA00030734276000000420
进行人脸关键点信息提取，得到人脸关键点图像Ln并反馈至注意力融合模块；
S3：将步骤S1中所得到的每组人脸图像样本中的低分辨率人脸图像作为输入，对应的超分辨率人脸图像作为期望输出，对人脸超分辨率重构网络进行训练；
S4：将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，得到生成超分辨率人脸图像。
本发明人脸超分辨率重构方法，首先获取包含低分辨率人脸图像和超分辨率人脸图像的人脸图像样本，然后构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，根据人脸关键点先验信息采用注意力机制，迭代处理获取低分辨率人脸图像特征，从而生成超分辨率人脸图像；采用人脸图像样本对人脸超分辨率重构网络进行训练，然后将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，生成超分辨率人脸图像。
本发明具有以下有益效果：
1)本发明中超分辨率重构主网络和人脸关键点先验信息估计网络在每个循环步骤中共同协作，主网络利用前一个迭代步骤中的先验信息来重构更高质量的人脸图像，同时更高质量的图像又能促进下一个步骤中更精准的人脸先验信息估计，从而提高所生成的超分辨率人脸图像的质量。
2)在超分辨率重构主网络中，采用注意力机制将估计的先验信息融合成各个面部组件的注意力图并加入到网络中，实现单个面部组件的独立重构，增加模型的细粒度；
3)本发明还可以通过对损失函数的改进，增加所生成的超分辨率人脸图像的细节，以便进一步提高人脸识别性能。
附图说明
图1是本发明人脸超分辨率重构方法的一种具体实施方式流程图；
图2是本发明中人脸超分辨率重构网络的结构图；
图3是本发明中注意力融合模块的结构示意图；
图4是组件注意力图的示例图；
图5是本实施例中先验信息估计网络的结构图；
图6是本实施例中本发明与对比重构网络所生成的超分辨率人脸图像对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明人脸超分辨率重构方法的一种具体实施方式流程图。如图1 所示，本发明人脸超分辨率重构方法的具体步骤包括：
S101：获取人脸图像样本：
根据需要设置低分辨率人脸图像和目标超分辨率人脸图像的分辨率，然后获取若干组人脸图像样本，每组人脸图像样本中包含低分辨率人脸图像和对应的超分辨率人脸图像。
为了使人脸图像具有最佳匹配度，一种优选方式是将超分辨率人脸图像进行下采样，得到对应分辨率的低分辨度人脸图像。
S102：构建人脸超分辨率重构网络：
图2是本发明中人脸超分辨率重构网络的结构图。如图2所示，本发明中人脸超分辨率重构网络基于SRFBN(Feedback Network for Image Super-Resolution，图像超分辨率反馈网络)网络进行改进，引入注意力机制和先验信息反馈机制，以提高人脸超分辨率重构的准确度。本发明中人脸超分辨率重构网络包括超分辨率重构主网络和人脸关键点先验信息估计网络。下面分别对两个子网络进行详细说明。
超分辨率重构主网络包括低分辨率特征提取器Gf、递归模块GRec、高分辨率生成层Gup、上采样模块和人脸关键点先验信息估计模块，其中：
低分辨率特征提取器Gf用于对输入的LR人脸图像ILR进行特征提取，将得到特征图Gf(ILR)发送至递归模块GRec。本实施例中低分辨率特征提取器Gf包括 3×3卷积层和亚像素卷积层，其中3×3卷积层用于对输入的LR人脸图像ILR进行 3×3卷积操作，将得到的特征图发送至亚像素卷积层，亚像素卷积层对接收到的特征图进行亚像素卷积，提高特征维度，得到特征图Gf(ILR)。
递归模块GRec接收特征图Gf(ILR)和两项反馈输入：一是人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点Ln-1，二是上一轮中递归模块GRec的输出特征
Figure BDA0003073427600000071
然后处理得到本轮的输出特征图
Figure BDA0003073427600000072
并发送至高分辨率生成层Gup。如图2所示，递归模块GRec包括反馈信息融合模块、1×1卷积层、注意力融合模块和循环SR模块，其中：
反馈信息串联模块将输入的特征图Gf(ILR)与循环SR模块反馈的上一轮输出的特征图
Figure BDA0003073427600000073
进行通道串联，其中
Figure BDA0003073427600000074
将得到串联后的特征图fn 1发送至1×1卷积层。
1×1卷积层用于对输入的特征图进行1×1卷积操作，将迭代次数n＝1时，将卷积后的特征图f1 2发送至循环SR模块，当迭代次数n＝2,3,…,N时，将卷积后的特征图fn 2发送至注意力融合模块。
注意力融合模块用于接收人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点图像Ln-1，基于空间注意力机制对输入的特征图fn 2进行处理，将得到的特征图发送至循环SR模块。图3是本发明中注意力融合模块的结构示意图。如图3所示，本发明中注意力融合模块包括面部组件注意力图生成模块、P个卷积层、P个先验信息融合模块和特征融合模块，其中：
面部组件注意力图生成模块用于将接收到的上一轮迭代中的人脸关键点图像Ln-1生成面部组件的组件热图
Figure BDA0003073427600000076
然后发送至对应先验信息融合模块，组件热图
Figure BDA0003073427600000077
的生成方法如下：
将上一轮迭代中得到的人脸关键点根据预设的面部组件进行分组得到P个关键点集合，P表示预设的面部组件的数量。一般来说，面部组件包括：左眼、右眼、鼻子、嘴唇、脸框与下颌等。根据各个关键点集合生成对应的组件热图
Figure BDA0003073427600000078
Figure BDA0003073427600000079
在生成组件热图时通常是基于高斯核进行生成。相较于直接对关键点信息进行串联融合，使用这种组合方法出于两个方面的考虑:(1)将关键点进行组件化后，可以明确利用每个面部组件的局部结构，后续可对组件进行差异恢复；(2)将关键点组件化的过程，能大大减少网络中的通道数量，能提高网络结构的计算效率。
然后对得到的每个组件热图
Figure BDA00030734276000000710
使用softmax函数，将组件热图
Figure BDA00030734276000000711
转换成相应的组件注意力图
Figure BDA00030734276000000712
并发送至先验信息融合模块。组件注意力图的转换可以采用如下公式表示：
Figure BDA0003073427600000081
其中，
Figure BDA0003073427600000082
分别表示组件注意力图
Figure BDA0003073427600000083
组件热图
Figure BDA0003073427600000084
中像素点(x,y)的值。图4是组件注意力图的示例图。如图4所示，该示例中将人脸关键点分为左眼、右眼、鼻子、嘴唇和脸框5个组件，生成5个组件注意力图。
每个卷积层分别对特征图fn 2进行卷积得到特征图fn 2(p)并发送至对应的先验信息融合模块。
每个先验信息融合模块将接收到的特征图fn 2(p)和组件注意力图Hn-1(p)进行对应像素相乘得到特征图
Figure BDA0003073427600000088
然后发送至特征融合模块。
特征融合模块将接收到的P个特征图
Figure BDA0003073427600000089
进行叠加得到特征图Fn 2并发送至循环SR模块。
循环SR模块采用SRFBN网络中循环SR模块的结构，用于对接收到的特征图Fn 2进行进一步特征提取，将得到的特征图
Figure BDA00030734276000000812
发送至高分辨率生成层Gup，并反馈至反馈信息串联模块。
高分辨率生成层Gup用于根据输入的特征图
Figure BDA00030734276000000813
生成SR人脸图像
Figure BDA00030734276000000814
并发送至SR人脸图像融合模块。如图2所示，本实施例中高分辨率生成层Gup包括转置卷积层和3×3卷积层，其中转置卷积层用于对输入的特征图
Figure BDA00030734276000000815
进行转置卷积，将得到的特征图发送至3×3卷积层；3×3卷积层用于对输入的LR人脸图像进行3×3卷积操作得到特征图
Figure BDA00030734276000000816
上采样模块用于对输入的LR人脸图像ILR进行上采样，得到目标分辨率的人脸图像U(ILR)并发送SR人脸图像融合模块。
SR人脸图像融合模块用于将接收到的图像
Figure BDA00030734276000000817
和图像U(ILR)进行叠加，得到SR人脸图像
Figure BDA00030734276000000818
并发送至先验信息估计网络，将第N个迭代轮次得到的 SR人脸图像
Figure BDA00030734276000000819
作为输入的LR人脸图像ILR对应的生成超分辨率SR人脸图像ISR进行输出。
表1是本实施例中超分辨率重构主网络各层输出的特征图尺寸。
Figure BDA00030734276000000820
Figure BDA0003073427600000091
表1
人脸关键点先验信息估计网络用于对SR人脸图像
Figure BDA0003073427600000092
进行人脸关键点信息提取，得到人脸关键点图像Ln并反馈至注意力融合模块。
本实施例中先验信息估计网络基于Hourglass网络实现。图5是本实施例中先验信息估计网络的结构图。如图5所示，本实施例中先验信息估计网络包括预处理模块、反馈信息串联模块、1×1卷积层、Hourglass网络和后处理模块，其中：
预处理模块用于对输入的SR人脸图像
Figure BDA0003073427600000093
转换为高维特征，将得到的特征图
Figure BDA0003073427600000094
发送至反馈信息串联模块。本实施例中预处理模块包括级联的3×3卷积层、Relu激活层、三个基础残差块和最大池化层。
反馈信息串联模块用于将输入的特征图
Figure BDA0003073427600000095
与Hourglass网络反馈的上一轮输出的特征图
Figure BDA0003073427600000096
进行通道串联，其中
Figure BDA0003073427600000097
将得到串联后的特征图发送至1×1卷积层。
1×1卷积层用于对输入的特征图进行1×1卷积操作，将卷积后的特征图发送至Hourglass网络。
Hourglass网络用于对输入的特征图进行反复的上采样和下采样，以融合多尺度空间信息，得到对关键点的预测信息，将得到的特征图分离为两个同样大小的特征图，一个特征图输出至后处理模块，另一个特征图作为特征图
Figure BDA0003073427600000098
反馈至反馈信息串联模块。
后处理模块用于将输入的特征图映射为人脸关键点图，该人脸关键点图即为先验信息Ln。
表2是本实施例中人脸关键点先验信息估计网络各层输出的特征图尺寸。
层名称 输出特征图尺寸
输入层I<sup>SR</sup> 128×128×3
预处理模块 32×32×256
反馈信息串联模块 32×32×512
1×1卷积层 32×32×512
Hourglass网络 32×32×512
分离操作 32×32×256
A<sub>2</sub> 32×32×68
表2
S103：训练人脸超分辨率重构网络：
将步骤S101中所得到的每组人脸图像样本中的低分辨率人脸图像作为输入，对应的超分辨率人脸图像作为期望输出，对人脸超分辨率重构网络进行训练。
一般来说，在进行网络训练时，损失函数的设置非常重要。为了得到更好的训练效果，本实施例中提供了两种损失函数设置方式。
1)损失函数一
在损失函数一中考虑了超分辨率重构主网络的像素级损失和人脸关键点先验信息估计网络的先验损失。
就像素级损失而言，当超分辨率重构主网络对一幅低分辨率人脸图像进行超分辨率重构时，由于会进行N轮迭代处理，则会得到N幅生成超分辨率人脸图像，根据每幅生成超分辨率人脸图像计算得到像素级损失Lpixel，计算公式如下：
Figure BDA0003073427600000101
其中，IHR表示人脸图像样本中的超分辨率人脸图像，|| ||2表示求取二范数，
Figure BDA0003073427600000102
表示求取期望。
就先验损失而言，由于人脸关键点先验信息估计网络也会进行N轮迭代处理，根据每轮得到的先验信息计算得到先验损失LPrior，计算公式如下：
Figure BDA0003073427600000111
其中，PHR表示根据人脸图像样本中的超分辨率人脸图像标注得到的人脸关键点图像。
将以上两种损失进行加权求和即可得到损失函数L1：
L1＝Lpixel+λPrior·LPrior
其中，λPrior表示先验损失LPrior的预设权值。
2)损失函数二
为了进一步提高训练效果，令生成超分辨率人脸图像包含更多细节，在像素级损失Lpixel和先验损失LPrior的基础上，还可以增加两种损失：身份损失和对抗损失。
就身份损失而言，为了避免出现图像PSNR值高、视觉质量良好，却难以被人脸识别模型识别正确的情况，因此采用一个预训练的人脸特征提取模型(本实施例中采用人脸识别模型Arcface中的特征提取部分)，对人脸图像样本中的超分辨率人脸图像IHR和生成超分辨率SR人脸图像ISR分别进行人脸特征提取，计算两个人脸特征向量之间的欧氏距离，作为身份损失Lidentity，计算公式如下：
Figure BDA0003073427600000112
其中，
Figure BDA0003073427600000113
分别表示生成超分辨率SR人脸图像ISR和超分辨率人脸图像IHR由预训练的人脸特征提取模型提取出的人脸特征向量。
就对抗损失而言，将整个人脸超分辨率重构网络作为生成器G，配置一个用于区分真实超分辨率人脸图像和生成超分辨率人脸图像的鉴别器D，以构成生成对抗网络，其中鉴别器D的损失LDis的计算公式如下：
Figure BDA0003073427600000114
其中，D(IHR)、D(ISR)分别表示鉴别器D对于超分辨率人脸图像IHR和生成超分辨率SR人脸图像ISR的鉴别结果。
作为人脸超分辨率重构网络作为生成器G的对抗损失LAdv的计算公式如下：
Figure BDA0003073427600000115
此时人脸超分辨率重构网络的损失函数L2的计算公式如下：
L2＝Lpixel+λ′Prior·LPrior+λidentityLidentity+λAdvLAdv
其中，λP′rior、λidentity、λAdv表示先验损失LPrior、身份损失Lidentity、对抗损失LAdv的预设权值。
S104：生成超分辨率人脸图像：
将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，得到生成超分辨率人脸图像。
为了更好地说明本发明的技术效果，采用一个具体实例对本发明进行实验验证。本次实验验证中采用的人脸数据集为CelebA和Helen。使用OpenFace开源接口中的人脸关键点检测器来检测68个人脸关键点，以此作为训练和测试的标签值。基于估计的关键点位置，将人脸区域以正方形裁剪去除背景，在进行预对齐后将它们调整为128×128像素。随后，对这些HR图像使用双三次下采样操作，将HR图像退化为16×16像素的LR输入(此时是8×超分辨率的情况下，4×则是32×32像素)。对于CelebA而言，因为训练样本数量已经足够，只做简单的裁剪和预处理工作；数据量较少的Helen数据集只作为测试集。对于 CelebA数据集，实验使用约160000张图像进行训练，使用了1000张图像进行测试。Helen数据集样本量较小，只使用约2000张图像进行测试。
将本发明中采用损失函数L1的人脸超分辨率重构网络记为IFPN网络，将本发明中采用损失函数L2的人脸超分辨率重构网络记为IFPN-GAN网络，采用现有的Bicubic网络、SRCNN网络、VDSR网络、Attention-FH网络、WaveletSRNet 网络和FSRNet网络作为对比重构网络。采用PSNR(Peak Signal to Noise Ratio，即峰值信噪比)和SSIM(StructuralSimilarity，结构相似性)两个指标来对人脸超分辨率重构结果进行评价。
图6是本实施例中本发明与对比重构网络所生成的超分辨率人脸图像对比图。如图6所示，本发明提出的两种网络恢复了较好的面部细节，而其他网络中产生的伪影较多，不能给出令人满意的结果。值得注意的是，本发明可以很好的处理面部姿态旋转变化的图像，由于迭代式的关键点估计可以逐步预测出更准确的面部结构，因此很好的指导了每一步的重构。此外，加入了身份损失和对抗损失的IFPN-GAN相比于其他模型，重构出了更真实的图像纹理。
表3是本实施例中本发明与对比重构网络所生成超分辨率人脸图像的指标对比表。
Figure BDA0003073427600000131
表3
如表3所示，本发明中的IFPN网络和IFPN-GAN网络在PSNR和SSIM两个指标均达到了最佳水平，且IFPN网络的性能优于现有技术中最优的FSRNet 网络。
考虑到现实场景中人脸图像分辨率的分布是呈多样性的，如有长宽都小于 20个像素值的极低分辨率人脸图像，或长宽位于30-60像素之间的中等分辨率人脸图像等，因此分别在4×、8×缩放因子下对模型进行了定量实验。表4是本实施例中本发明与对比重构网络在8×缩放因子下对CelebA数据集和Helen 数据集所生成超分辨率人脸图像的指标对比表。表5是本实施例中本发明与对比重构网络在4×缩放因子下对CelebA数据集和Helen数据集所生成超分辨率人脸图像的指标对比表。
Figure BDA0003073427600000132
表4
Figure BDA0003073427600000141
表5
如表4和表5所示，本发明中的IFPN网络和IFPN-GAN网络都取得了不错的成绩。IFPN网络在4×、8×两个数据集上都取得最好的PSNR及SSIM成绩，超过了先前较为优秀的人脸超分辨率代表网络FSRNet网络和WaveletSRNet网络。8×下FSRNet网络成绩排名第二，而4×下本发明中的IFPN-GAN网络排名第二。
人脸超分辨率重构方法通常用于人脸识别系统，因此为了说明本发明的应用价值，选用在人脸识别问题中广泛应用的LFW数据集，采用本发明进行人脸超分辨率重构之后进行人脸识别。LFW数据集主要用来研究非受限情况下的人脸识别问题，共有13000多张人脸图片，并带有对应人物的名字标签，为了测试人脸识别的准确率，该数据集从所有的图片中选择了6000对人脸组成了人脸辨识图片对，其中3000对属于同一个人的2张人脸图片，3000对属于不同的人每人各1张人脸图片。测试过程将对这6000对人脸的身份进行是否属于同一个人的判断，通过答案与系统真实答案的比值计算出人脸识别准确率。LFW数据集的预处理过程训练集中CelebA、Helen的处理相同。类似地，考虑到低分辨率场景的多样性，在4×、8×缩放因子下均进行了对比实验。
表6是本实施例中本发明与对比重构网络在8×缩放因子下对LFW数据集进行人脸识别实验的指标对比表。表7是本实施例中本发明与对比重构网络在4 ×缩放因子下对LFW数据集进行人脸识别实验的指标对比表。
Figure BDA0003073427600000151
表6
Figure BDA0003073427600000152
表7
如表6和表7所示。本发明中的IFPN网络和IFPN-GAN网络在LFW数据集上取得了优秀的重构效果，并且在人脸识别方面，各项指标均超越对比重构网络，实现了良好的人脸识别性能。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种人脸超分辨率重构方法，其特征在于，包括以下步骤：
S1：根据需要设置低分辨率人脸图像和目标超分辨率人脸图像的分辨率，然后获取若干组人脸图像样本，每组人脸图像样本中包含低分辨率人脸图像和对应的超分辨率人脸图像；
S2：构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，其中：
超分辨率重构主网络包括低分辨率特征提取器Gf、递归模块GRec、高分辨率生成层Gup、上采样模块和人脸关键点先验信息估计模块，其中：
低分辨率特征提取器Gf用于对输入的LR人脸图像ILR进行特征提取，将得到特征图Gf(ILR)发送至递归模块GRec；
递归模块GRec接收特征图Gf(ILR)和两项反馈输入：一是人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点Ln-1，二是上一轮中递归模块GRec的输出特征
Figure FDA0003073427590000011
然后处理得到本轮的输出特征图
Figure FDA0003073427590000012
并发送至高分辨率生成层Gup；递归模块GRec包括反馈信息融合模块、1×1卷积层、注意力融合模块和循环SR模块，其中：
反馈信息串联模块将输入的特征图Gf(ILR)与循环SR模块反馈的上一轮输出的特征图
Figure FDA0003073427590000013
进行通道串联，其中
Figure FDA0003073427590000014
将得到串联后的特征图
Figure FDA0003073427590000015
发送至1×1卷积层；
1×1卷积层用于对输入的特征图进行1×1卷积操作，将迭代次数n＝1时，将卷积后的特征图f1 2发送至循环SR模块，当迭代次数n＝2,3,…,N时，将卷积后的特征图
Figure FDA0003073427590000016
发送至注意力融合模块；
注意力融合模块用于接收人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点图像Ln-1，基于空间注意力机制对输入的特征图
Figure FDA0003073427590000017
进行处理，将得到的特征图发送至循环SR模块；注意力融合模块包括面部组件注意力图生成模块、P个卷积层、P个先验信息融合模块和特征融合模块，其中：
面部组件注意力图生成模块用于将接收到的上一轮迭代中的人脸关键点图像Ln-1生成面部组件的组件热图
Figure FDA0003073427590000018
然后发送至对应先验信息融合模块，组件热图
Figure FDA0003073427590000019
的生成方法为：将上一轮迭代中得到的人脸关键点根据预设的面部组件进行分组得到P个关键点集合，P表示预设的面部组件的数量，根据各个关键点集合生成对应的组件热图
Figure FDA0003073427590000021
然后对得到的每个组件热图
Figure FDA0003073427590000022
使用softmax函数，将组件热图
Figure FDA0003073427590000023
转换成相应的组件注意力图
Figure FDA0003073427590000024
并发送至先验信息融合模块；
每个卷积层分别对特征图
Figure FDA0003073427590000025
进行卷积得到特征图
Figure FDA0003073427590000026
并发送至对应的先验信息融合模块；
每个先验信息融合模块将接收到的特征图
Figure FDA0003073427590000027
和组件注意力图Hn-1(p)进行对应像素相乘得到特征图
Figure FDA0003073427590000028
然后发送至特征融合模块；
特征融合模块将接收到的P个特征图
Figure FDA0003073427590000029
进行叠加得到特征图
Figure FDA00030734275900000210
并发送至循环SR模块；
循环SR模块采用SRFBN网络中循环SR模块的结构，用于对接收到的特征图
Figure FDA00030734275900000211
进行进一步特征提取，将得到的特征图
Figure FDA00030734275900000212
发送至高分辨率生成层Gup，并反馈至反馈信息串联模块；
高分辨率生成层Gup用于根据输入的特征图
Figure FDA00030734275900000213
生成SR人脸图像
Figure FDA00030734275900000214
并发送至SR人脸图像融合模块；
上采样模块用于对输入的LR人脸图像ILR进行上采样，得到目标分辨率的人脸图像U(ILR)并发送SR人脸图像融合模块；
SR人脸图像融合模块用于将接收到的图像
Figure FDA00030734275900000215
和图像U(ILR)进行叠加，得到SR人脸图像
Figure FDA00030734275900000216
并发送至先验信息估计网络，将第N个迭代轮次得到的SR人脸图像
Figure FDA00030734275900000217
作为输入的LR人脸图像ILR对应的生成超分辨率SR人脸图像ISR进行输出；
人脸关键点先验信息估计网络用于对SR人脸图像
Figure FDA00030734275900000218
进行人脸关键点信息提取，得到人脸关键点图像Ln并反馈至注意力融合模块；
S3：将步骤S1中所得到的每组人脸图像样本中的低分辨率人脸图像作为输入，对应的超分辨率人脸图像作为期望输出，对人脸超分辨率重构网络进行训练；
S4：将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，得到生成超分辨率人脸图像。
2.根据权利要求1所述的人脸超分辨率重构方法，其特征在于，所述步骤S2中低分辨率特征提取器Gf包括3×3卷积层和亚像素卷积层，其中3×3卷积层用于对输入的LR人脸图像ILR进行3×3卷积操作，将得到的特征图发送至亚像素卷积层，亚像素卷积层对接收到的特征图进行亚像素卷积，提高特征维度，得到特征图Gf(ILR)。
3.根据权利要求1所述的人脸超分辨率重构方法，其特征在于，所述步骤S2中高分辨率生成层Gup包括转置卷积层和3×3卷积层，其中转置卷积层用于对输入的特征图
Figure FDA0003073427590000031
进行转置卷积，将得到的特征图发送至3×3卷积层；3×3卷积层用于对输入的LR人脸图像进行3×3卷积操作得到特征图
Figure FDA0003073427590000032
4.根据权利要求1所述的人脸超分辨率重构方法，其特征在于，所述步骤S2中人脸关键点先验信息估计网络包括预处理模块、反馈信息串联模块、1×1卷积层、Hourglass网络和后处理模块，其中：
预处理模块用于对输入的SR人脸图像
Figure FDA0003073427590000033
转换为高维特征，将得到的特征图
Figure FDA0003073427590000034
发送至反馈信息串联模块；
反馈信息串联模块用于将输入的特征图
Figure FDA0003073427590000035
与Hourglass网络反馈的上一轮输出的特征图
Figure FDA0003073427590000036
进行通道串联，其中
Figure FDA0003073427590000037
将得到串联后的特征图发送至1×1卷积层；
1×1卷积层用于对输入的特征图进行1×1卷积操作，将卷积后的特征图发送至Hourglass网络；
Hourglass网络用于对输入的特征图进行反复的上采样和下采样，以融合多尺度空间信息，得到对关键点的预测信息，将得到的特征图分离为两个同样大小的特征图，一个特征图输出至后处理模块，另一个特征图作为特征图
Figure FDA0003073427590000038
反馈至反馈信息串联模块；
后处理模块用于将输入的特征图映射为人脸关键点图，该人脸关键点图即为先验信息Ln。
5.根据权利要求1所述的人脸超分辨率重构方法，其特征在于，所述步骤S3中人脸超分辨率重构网络训练时所采用的损失函数L1的计算公式如下：
L1＝Lpixel+λPrior·LPrior
其中，Lpixel表示像素级损失，计算公式如下：
Figure FDA0003073427590000039
其中，IHR表示人脸图像样本中的超分辨率人脸图像，|| ||2表示求取二范数，
Figure FDA0003073427590000041
表示求取期望；
LPrior表示先验损失，计算公式如下：
Figure FDA0003073427590000042
其中，PHR表示根据人脸图像样本中的超分辨率人脸图像标注得到的人脸关键点图像；
λPrior表示先验损失LPrior的预设权值。
6.根据权利要求1所述的人脸超分辨率重构方法，其特征在于，所述步骤S3中人脸超分辨率重构网络训练时所采用的损失函数L2的计算公式如下：
L2＝Lpixel+λP′rior·LPrior+λidentityLidentity+λAdvLAdv
其中，Lpixel表示像素级损失，计算公式如下：
Figure FDA0003073427590000043
其中，IHR表示人脸图像样本中的超分辨率人脸图像，|| ||2表示求取二范数，
Figure FDA0003073427590000044
表示求取期望；
LPrior表示先验损失，计算公式如下：
Figure FDA0003073427590000045
其中，PHR表示根据人脸图像样本中的超分辨率人脸图像标注得到的人脸关键点图像；
Lidentity表示身份损失，计算公式如下：
Figure FDA0003073427590000046
其中，
Figure FDA0003073427590000047
分别表示生成超分辨率SR人脸图像ISR和超分辨率人脸图像IHR由预训练的人脸特征提取模型提取出的人脸特征向量；
LAdv表示对抗损失，将整个人脸超分辨率重构网络作为生成器G，配置一个用于区分真实超分辨率人脸图像和生成超分辨率人脸图像的鉴别器D，以构成生成对抗网络，进而采用以下公式计算得到对抗损失LAdv：
Figure FDA0003073427590000048
其中，D(ISR)分别表示鉴别器D对于生成超分辨率SR人脸图像ISR的鉴别结果；
λP′rior、λidentity、λAdv表示先验损失LPrior、身份损失Lidentity、对抗损失LAdv的预设权值。
CN202110545674.XA 2021-05-19 2021-05-19 人脸超分辨率重构方法 Pending CN113379597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110545674.XA CN113379597A (zh) 2021-05-19 2021-05-19 人脸超分辨率重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110545674.XA CN113379597A (zh) 2021-05-19 2021-05-19 人脸超分辨率重构方法

Publications (1)

Publication Number Publication Date
CN113379597A true CN113379597A (zh) 2021-09-10

Family

ID=77571279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110545674.XA Pending CN113379597A (zh) 2021-05-19 2021-05-19 人脸超分辨率重构方法

Country Status (1)

Country Link
CN (1) CN113379597A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972561A (zh) * 2022-05-16 2022-08-30 华南理工大学 基于信息复杂度分类的人脸超分辨率系统的人脸重建方法
CN115358932A (zh) * 2022-10-24 2022-11-18 山东大学 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN116452424A (zh) * 2023-05-19 2023-07-18 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN116630168A (zh) * 2022-02-10 2023-08-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、介质和计算机程序产品
CN114972561B (zh) * 2022-05-16 2024-07-05 华南理工大学 基于信息复杂度分类的人脸超分辨率系统的人脸重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG MA 等: "Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation", 《ARXIV.ORG/PDF/2003.13063V1.PDF》 *
刘颖等: "基于深度学习的小目标检测研究与应用综述", 《电子学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630168A (zh) * 2022-02-10 2023-08-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、介质和计算机程序产品
CN114972561A (zh) * 2022-05-16 2022-08-30 华南理工大学 基于信息复杂度分类的人脸超分辨率系统的人脸重建方法
CN114972561B (zh) * 2022-05-16 2024-07-05 华南理工大学 基于信息复杂度分类的人脸超分辨率系统的人脸重建方法
CN115358932A (zh) * 2022-10-24 2022-11-18 山东大学 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN115358932B (zh) * 2022-10-24 2023-03-24 山东大学 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN116452424A (zh) * 2023-05-19 2023-07-18 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN116452424B (zh) * 2023-05-19 2023-10-10 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统

Similar Documents

Publication Publication Date Title
Lin et al. Gait recognition with multiple-temporal-scale 3d convolutional neural network
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
Luo et al. Adaptive image denoising by targeted databases
CN113379597A (zh) 人脸超分辨率重构方法
Cai et al. FCSR-GAN: Joint face completion and super-resolution via multi-task learning
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
Liu et al. Searching a hierarchically aggregated fusion architecture for fast multi-modality image fusion
Seo et al. Object recognition in very low resolution images using deep collaborative learning
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
Chen et al. Image super-resolution using complex dense block on generative adversarial networks
Wang et al. A survey of deep face restoration: Denoise, super-resolution, deblur, artifact removal
Wang et al. FaceFormer: Aggregating global and local representation for face hallucination
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
Guo et al. Dual-view attention networks for single image super-resolution
Lu et al. Rethinking prior-guided face super-resolution: A new paradigm with facial component prior
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
Pan et al. Structure–color preserving network for hyperspectral image super-resolution
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN111611962A (zh) 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法
CN116030495A (zh) 基于倍率学习的低分辨率行人重识别算法
Li et al. Information-growth attention network for image super-resolution
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Krishnan et al. SwiftSRGAN-Rethinking super-resolution for efficient and real-time inference
Fan et al. Global sensing and measurements reuse for image compressed sensing
Shi et al. IDPT: Interconnected Dual Pyramid Transformer for Face Super-Resolution.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910