CN111612695A - 一种低分辨率人脸图像超分辨重建方法 - Google Patents

一种低分辨率人脸图像超分辨重建方法 Download PDF

Info

Publication number
CN111612695A
CN111612695A CN202010424455.1A CN202010424455A CN111612695A CN 111612695 A CN111612695 A CN 111612695A CN 202010424455 A CN202010424455 A CN 202010424455A CN 111612695 A CN111612695 A CN 111612695A
Authority
CN
China
Prior art keywords
face image
sub
image
resolution
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010424455.1A
Other languages
English (en)
Other versions
CN111612695B (zh
Inventor
张健
黄德天
陈健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202010424455.1A priority Critical patent/CN111612695B/zh
Publication of CN111612695A publication Critical patent/CN111612695A/zh
Application granted granted Critical
Publication of CN111612695B publication Critical patent/CN111612695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148—Wavelet transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了图像处理领域的一种低分辨率人脸图像超分辨重建方法，包括：步骤S10、采用多级离散小波变换对低分辨率人脸图像进行分解，得到子图像；步骤S20、将各所述子图像输入卷积模块，提取各所述子图像间的第一关联特征；步骤S30、利用二阶注意力机制对所述第一关联特征进行强化学习，得到第二关联特征；步骤S40、通过非局部自相似模块增强所述第二关联特征的残差特征，得到第三关联特征；步骤S50、将所述第三关联特征进行逆小波变换，得到重建的第一人脸图像；步骤S60、创建一损失函数，利用所述损失函数对第一人脸图像的空间域以及小波域进行双重约束，得到重建的第二人脸图像。本发明的优点在于：极大的提升了低分辨率人脸图像重建质量。

Description

一种低分辨率人脸图像超分辨重建方法
技术领域
本发明涉及图像处理领域，特别指一种低分辨率人脸图像超分辨重建方法。
背景技术
高分辨率的人脸图像在视频监控、公共安全等领域起着重要的作用。但由于成像设备、远距离拍摄、传输、噪声等影响，从成像设备获取到的人脸图像通常是模糊的低分辨率图像，难以满足实际应用的需求。
图像超分辨率(Super Resolution,SR)重建能够从已有的低分辨率图像中重建出对应的高分辨率图像，是目前图像处理领域的热门研究方向之一，具有重要的理论研究意义与工程应用价值。基于学习的方法是当前主流的SR方法，主要包括基于稀疏表示的SR方法和基于深度学习的SR方法。然而，对于基于稀疏表示的SR方法而言，当放大倍数较大时(>4)，有限的先验知识并不能很好的重建出精确的高频细节，重建的效果会大幅度降低。
近年来，卷积神经网络(Convolutional Neural Network,CNN)由于具有强大的非线性拟合能力，被广泛应用于SR中，并取得了很好的重建效果。然而，大多数基于CNN的超分辨率重建方法只在空间域重建图像，并且未充分利用LR图像(低分辨率图像)的信息以及特征之间的相关性，从而导致重建图像的高频细节不够清晰。
因此，如何提供一种低分辨率人脸图像超分辨重建方法，实现提升低分辨率人脸图像重建质量，成为一个亟待解决的问题。
发明内容
本发明要解决的技术问题，在于提供一种低分辨率人脸图像超分辨重建方法，实现提升低分辨率人脸图像重建质量。
本发明是这样实现的：一种低分辨率人脸图像超分辨重建方法，包括如下步骤：
步骤S10、获取低分辨率人脸图像，采用多级离散小波变换对所述低分辨率人脸图像进行分解，得到子图像；
步骤S20、将各所述子图像输入卷积模块，提取各所述子图像间的第一关联特征；
步骤S30、利用二阶注意力机制对所述第一关联特征进行强化学习，得到第二关联特征；
步骤S40、通过非局部自相似模块增强所述第二关联特征的残差特征，得到第三关联特征；
步骤S50、将所述第三关联特征进行逆小波变换，得到重建的第一人脸图像；
步骤S60、创建一损失函数，利用所述损失函数对第一人脸图像的空间域以及小波域进行双重约束，得到重建的第二人脸图像。
进一步地，所述步骤S10具体包括：
步骤S11、获取低分辨率人脸图像，设定高分辨率人脸图像的大小，利用双三次差值法将所述低分辨率人脸图像放大至高分辨率人脸图像的大小；
步骤S12、设定多级离散小波变换包括一级离散小波变换、二级离散小波变换以及三级离散小波变换；
步骤S13、利用所述一级离散小波变换对低分辨率人脸图像进行分解，得到四幅第一子图像；利用所述二级离散小波变换分别对各第一子图像进行分解，分别得到四幅第二子图像；利用所述三级离散小波变换分别对各第二子图像进行分解，分别得到四幅第三子图像；所述第一子图像、第二子图像以及第三子图像的四幅图像分别表示低频、水平、垂直和对角方向的子图像。
进一步地，所述步骤S20具体为：
分别将每一级所述多级离散小波变换生成的子图像，作为四个通道输入卷积模块，提取各所述子图像间的第一关联特征；
所述卷积模块为四层全卷积网络，每层所述全卷积网络均包括三个滤波器、一个批量归一化单元以及一个校正线性单元。
进一步地，所述步骤S30具体为：
设特征映射F＝[F1,F2,...,Fc](W*H*C)；其中F表示特征映射，Fc表示特征映射的子集，W*H表示特征映射的大小，C表示特征映射的个数，即通道数；
将特征映射F转变为特征矩阵X(S*C)；其中S＝W*H；
通过公式
Figure BDA0002498135070000031
求取X的协方差；其中
Figure BDA0002498135070000032
I表示大小为S*S的单位矩阵，1表示大小为S*S的全1矩阵；
将Σ进行归一化操作得到
Figure BDA0002498135070000033
其中α＝0.5；
令
Figure BDA0002498135070000034
压缩
Figure BDA0002498135070000035
得到通道间第一关联特征的统计值zc：
Figure BDA0002498135070000036
其中HGCP(·)表示全局协方差池化函数，yc表示第c个特征；zc∈Rc×1，R表示实数，c×1表示c行1列；i为正整数；
ωc＝sigmoid(conv2(Relu(conv1(zc))))；
Figure BDA0002498135070000037
其中ωc表示第c个通道的权重；conv1(·)表示通过向量卷积对输入对象的通道数量进行压缩；conv2(·)表示通过向量卷积对输入对象的通道数量进行扩大；sigmoid(·)表示激活函数；Relu(·)表示线性整流函数；
Figure BDA00024981350700000311
表示第个c通道的第二关联特征；fc表示第c个通道的第一关联特征。
进一步地，所述步骤S40具体为：
通过非局部自相似模块将多通道输入M作为图像特征，并生成输出特征ui，即第三关联特征：
Figure BDA0002498135070000038
ui＝BN(Whi)+mi；
其中mi表示M中当前关注位置i的特征；mj表示M的全局信息；θ(mi)＝Wθmi，
Figure BDA0002498135070000039
g(mj)＝Wgmj，Wθ、
Figure BDA00024981350700000310
Wg分别表示需要学习的权重矩阵，通过1*1卷积得到；
Figure BDA0002498135070000041
表示归一化操作；
Figure BDA0002498135070000042
表示计算mi和mj两个位置的相似度；ui表示位置i的输出特征；BN(·)表示归一化操作；W表示输出特征ui要学习的权重。
进一步地，所述步骤S50具体为：
将所述一级离散小波变换得到的四幅第一子图像，分别与最后一个卷积模块得到的残差相加，再进行逆小波变换，得到重建的第一人脸图像；所述最后一个卷积模块只使用一层全卷积网络来压缩通道数。
进一步地，所述步骤S60中，所述损失函数具体为：
losstotal＝λlosswave+(1-λ)lossimg；
其中losswave表示小波系数损失，lossimg表示图像空间像素损失，λ表示小波系数损失的权重，1-λ表示图像空间像素损失的权重。
本发明的优点在于：
利用多级离散小波变换的多分辨率分解特性与卷积模块强大的特征表示能力，设置一种小波级联网络；然后将二阶注意力机制引入网络来自适应地学习通道之间特征的内在相关性；接着将非局部自相似模块嵌入网络中来增强残差特征的表现能力，以得到更多的高频信息；最后在图像空间域与小波域，通过双重约束的损失函数，优化网络来最小化重建的第二人脸图像和低分辨率人脸图像之间的误差，提高了网络的准确性以及鲁棒性，极大的提升了低分辨率人脸图像重建质量。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种低分辨率人脸图像超分辨重建方法的流程图。
图2是本发明小波级联网络模型的示意图。
图3是本发明非局部自相似模块的示意图。
图4是本发明浅层损失的示意图。
图5是本发明深层损失的示意图。
图6是在不同SR方法下的图像重建仿真效果图之一。
图7是在不同SR方法下的图像重建仿真效果图之二。
具体实施方式
本申请实施例中的技术方案，总体思路如下：
首先，为了同时实现奇数倍与偶数倍的重建，先采用双三次插值法将低分辨率人脸图像放大到高分辨率人脸图像的大小，作为网络的输入；将输入图像经多级离散小波变换分解得到4个子图像，为了挖掘子图像之间的关系，分别将4个子图像作为4个通道输入到卷积模块；接着，在每个多级离散小波变换操作后，或逆小波变换前通过二阶注意力机制来挖掘通道间的关系；接着，在最后一级逆小波变换操作前再通过非局部自相似模块来增强残差特征的表现能力，最后，将一级离散小波变换得到的4个小波子带(第一子图像)分别与最后一个卷积模块得到的残差相加，再进行逆小波变换得到最后的重建图像，达到提高低分辨率人脸图像重建质量的效果。
请参照图1至图7所示，本发明一种低分辨率人脸图像超分辨重建方法的较佳实施例，包括如下步骤：
步骤S10、获取低分辨率人脸图像，采用多级离散小波变换(Discrete WaveletTransform,DWT)对所述低分辨率人脸图像进行分解，得到子图像(LL,LH,HL,HH)；
步骤S20、将各所述子图像输入卷积模块(CNN Block)，提取各所述子图像间的第一关联特征；
步骤S30、利用二阶注意力机制(Second-Order Channel Attention,SOCA)对所述第一关联特征进行强化学习，得到第二关联特征；
步骤S40、通过非局部自相似模块增强所述第二关联特征的残差特征，得到第三关联特征；
步骤S50、将所述第三关联特征进行逆小波变换(Discrete Inverse WaveletTransform,IDWT)，得到重建的第一人脸图像；
步骤S60、创建一损失函数，利用所述损失函数对第一人脸图像的空间域以及小波域进行双重约束，得到重建的第二人脸图像。所述损失函数用于优化网络来最小化重建图像和原始图像之间的误差
所述步骤S10具体包括：
步骤S11、获取低分辨率人脸图像，设定高分辨率人脸图像的大小，为了同时实现奇数倍与偶数倍的重建，利用双三次差值法将所述低分辨率人脸图像放大至高分辨率人脸图像(High-Resolution,HR)的大小；
步骤S12、设定多级离散小波变换包括一级离散小波变换(DWT1)、二级离散小波变换(DWT2)以及三级离散小波变换(DWT3)；相同尺寸的DWT和IDWT为一级；
步骤S13、利用所述一级离散小波变换对低分辨率人脸图像进行分解，得到四幅第一子图像；利用所述二级离散小波变换分别对各第一子图像进行分解，分别得到四幅第二子图像；利用所述三级离散小波变换分别对各第二子图像进行分解，分别得到四幅第三子图像；所述第一子图像、第二子图像以及第三子图像的四幅图像分别表示低频、水平、垂直和对角方向的子图像；即所述一级离散小波变换的输出作为二级离散小波变换的输入，所述二级离散小波变换的输出作为三级离散小波变换的输入。
所述步骤S20具体为：
每级的DWT之后连接3个卷积模块，分别将每一级所述多级离散小波变换生成的子图像，作为四个通道输入卷积模块，提取各所述子图像间的第一关联特征；
所述卷积模块为四层全卷积网络(Fully Convolutional Network,FCN)，每层所述全卷积网络均包括三个滤波器(Conv)、一个批量归一化单元(Batch Normalization,BN)以及一个校正线性单元(Rectified Linear Unit,Relu)。
所述步骤S30具体为：
设特征映射F＝[F1,F2,...,Fc](W*H*C)；其中F表示特征映射，Fc表示特征映射的子集，W*H表示特征映射的大小，C表示特征映射的个数，即通道数；
将特征映射F转变为特征矩阵X(S*C)；其中S＝W*H；
通过公式
Figure BDA0002498135070000071
求取X的协方差；其中
Figure BDA0002498135070000072
I表示大小为S*S的单位矩阵，1表示大小为S*S的全1矩阵；
将Σ进行归一化操作得到
Figure BDA0002498135070000073
其中α＝0.5；
令
Figure BDA0002498135070000074
压缩
Figure BDA0002498135070000075
得到通道间第一关联特征的统计值zc：
Figure BDA0002498135070000076
其中HGCP(·)表示全局协方差池化函数，yc表示第c个特征；
Figure BDA0002498135070000077
R表示实数，c×1表示c行1列；i为正整数；
ωc＝sigmoid(conv2(Relu(conv1(zc))))；
Figure BDA0002498135070000078
其中ωc表示第c个通道的权重；conv1(·)表示通过向量卷积对输入对象的通道数量进行压缩；conv2(·)表示通过向量卷积对输入对象的通道数量进行扩大；conv1(·)和conv2(·)用于增加非线性表示；sigmoid(·)表示激活函数；Relu(·)表示线性整流函数；
Figure BDA00024981350700000714
表示第个c通道的第二关联特征；fc表示第c个通道的第一关联特征。
所述步骤S40具体为：
通过非局部自相似模块将多通道输入M作为图像特征，并生成输出特征ui，即第三关联特征：
Figure BDA0002498135070000079
ui＝BN(Whi)+mi；
其中mi表示M中当前关注位置i的特征；mj表示M的全局信息；θ(mi)＝Wθmi，
Figure BDA00024981350700000710
g(mj)＝Wgmj，Wθ、
Figure BDA00024981350700000711
Wg分别表示需要学习的权重矩阵，通过1*1卷积得到；
Figure BDA00024981350700000712
表示归一化操作；
Figure BDA00024981350700000713
表示计算mi和mj两个位置的相似度；ui表示位置i的输出特征；BN(·)表示归一化操作；W表示输出特征ui要学习的权重。
所述步骤S50具体为：
将所述一级离散小波变换得到的四幅第一子图像，分别与最后一个卷积模块得到的残差(图像的边缘纹理细节特征)相加，再进行逆小波变换，得到重建的第一人脸图像；所述最后一个卷积模块只使用一层全卷积网络(使用Conv，没有BN和RELU)来压缩通道数。
所述步骤S60中，所述损失函数具体为：
losstotal＝λlosswave+(1-λ)lossimg；
其中losswave表示小波系数损失，lossimg表示图像空间像素损失，λ表示小波系数损失的权重，1-λ表示图像空间像素损失的权重。
(1)小波系数损失losswave：充分考虑并利用多级离散小波变换分解后的子图像间的内在联系，从而避免了由下采样造成的信息损失，有利于恢复更多的细节信息。假设待重建的低分辨率人脸图像为y，网络的输入是y经上采样后的MR(Middle Resolution)图像y'，原始的高分辨率图像(HR)为x，网络模型需要学习y'和x经1级小波分解得到的小波系数之间的关系，使网络模型的输出尽可能地与对应的高分辨率图像经小波分解得到的系数接近。
小波系数损失losswave，需求解图4浅层损失中的loss1和图5深层损失中的loss3，即losswave＝loss1+loss3。将CSOCA1模块得到的残差分别与DWT1分解得到的4幅频带子图像相加，构成DCS1(LL1,LH1,HL1,HH1)；假设原始的高分辨率图像x经过一级DWT分解得到4幅子图像DWTHR(LL,LH,HL,HH)，最后将DCS1和DWTHR按照L2-norm求解得到图4中的loss1。其中，DCS1的4幅子图像将各自与其对应的子图像求损失，再将4幅子图像的损失加总得到最终的loss1，即loss1＝lossLL1+lossLH1+lossHL1+lossHH1。loss1的优化求解是为了在浅层网络就对提取的特征进行约束，使其和原始的高分辨率图像x的细节和纹理特征尽量逼近，并加快网络的收敛速度。类似地，loss3为将IDCS1’与DWTHR根据L2-norm求解得到图4中的loss3。其中，IDCS1’表示由图2中的DWT1和CNN18对应的频带子图像相加得到的残差，可以对MR图像y'的细节信息进行补充，从而得到较好的重建效果。通用，IDCS1’的4幅子图像会各自和其对应的图像x的子图像求损失后进行加总得到最终的loss3；即loss3＝lossLL3+lossLH3+lossHL3+lossHH3。
(2)图像空间像素损失lossimg：为了使边缘纹理特征与平滑特征之间达到平衡，除了计算小波系数损失，还需计算图像空间像素损失。图像空间像素损失lossimg需求解图4中的loss2和图5中的loss4，即lossimg＝loss2+loss4。将图4中的DCS1(LL1,LH1,HL1,HH1)经IDWT后得到IDCS1。由于IDCS1本质上是一幅粗糙的SR图像，可以按照L2-norm计算IDCS1与图像x之间的差异求得误差loss2。由于图5中的IDCS1’经IDWT后的重建图像
Figure BDA0002498135070000091
等价于提出网络的输出，可以按照L2-norm计算重建图像
Figure BDA0002498135070000092
与图像x之间的差异求得误差loss4。
仿真实验：
为了保证实验的客观性，采用4个标准测试图像库，这些标准测试图像库中的图像都有不一样的特点，且普遍用于评价超分辨率重建方法。为了验证所述低分辨率人脸图像超分辨重建方法的有效性，与SRCNN、VDSR、LapSRN、DRRN、IDN和MWCNN方法进行比较。
为了训练提出的网络模型，训练图像来自BSD、DIV2K和WED三个数据集，具体来说，选取了BSD数据集中200张HR图像，DIV2K数据集中800张HR图像，以及4744张来自WED数据集的HR图像。训练过程中，从训练图像中裁剪出大小为240×240的N＝24×6000个图像块。采用Adam优化算法通过最小化目标函数训练网络模型，最小批量为32，对于Adam的其他超参数，都选取默认值。迭代过程中，学习率从0.001降低到0.0001，如无特殊说明的均采用3*3的卷积核。
表1-表3分别列出了在不同放大尺度(S＝2、3、4)下，上述7种SR方法在Set5、Set14、B100和Urban100中的PSNR和SSIM的平均值，其中，最优值为MWCNN，次优值为CAWCN。从这三张表格可以看出，在这四个数据集中，提出方法的重建图像的PSNR平均值最高，该方法比其他对比方法具有更好的重建性能。表1是放大因子为2时，上述6种对比方法和提出方法的PSNR和SSIM的平均值比较。从表1的结果可以看出，与MWCNN相比，提出方法在四个测试集上的PSNR值高出0.05-0.09dB。表2是放大因子为3时，上述6种对比方法和提出方法的PSNR和SSIM的平均值比较，可以看出，提出方法在四个测试集上的PSNR值都高于其他比较方法，且和MWCNN相比，提出方法最多提高了0.11dB。表3是放大因子为4时，上述对比方法和提出方法的PSNR和SSIM的平均值比较。从表3的结果可以看出，与MWCNN相比，提出方法的PSNR平均值提升范围是0.04-0.11dB。
图6和图7分别展示在每个方法下的重建结果的视觉比较。从图中可以看出，大多数比较方法不能准确地重建原始图像本身的细节和纹理，甚至会产生严重的模糊伪影。但是，本申请恢复了更多的高频细节，获得了更清晰的人脸图像。
从图6中可以看出，DRRN方法在边缘锐化方面优于SRCNN，VDSR和LapSRN方法，但是在其重建图像中出现了许多虚假细节。与DRRN方法相比，IDN方法重建的图像只有少量的虚假细节，边缘更清晰。与前面的SR方法相比，MWCNN方法可恢复更多的边缘细节，并且在重建图像中几乎没有虚假细节。但是，归功于可以挖掘通道特征关系的注意力机制以及可以进一步增强残特征的non-lcoal模块，本申请在恢复人脸边缘细节方面比MWCNN方法更好。
从图7中可以看出，SRCNN方法重建的图像存在一定程度的失真，而VDSR、IDN、LapSRN与DRRN方法的重建图像的边缘和纹理较为模糊；相比于前面的方法，MWCNN方法与提出的方法能较好地恢复边缘与纹理。并且，本申请重建的图像比于MWCNN方法的视觉效果更好，表现为人脸的边缘和纹理更加清晰。
表1放大因子S＝2时不同SR方法的PSNR和SSIM平均值比较
Figure BDA0002498135070000101
Figure BDA0002498135070000111
表2放大因子S＝3时不同SR方法的PSNR和SSIM平均值比较
Figure BDA0002498135070000112
表3放大因子S＝4时不同SR方法的PSNR和SSIM平均值比较
Figure BDA0002498135070000113
综上所述，本发明的优点在于：
利用多级离散小波变换的多分辨率分解特性与卷积模块强大的特征表示能力，设置一种小波级联网络；然后将二阶注意力机制引入网络来自适应地学习通道之间特征的内在相关性；接着将非局部自相似模块嵌入网络中来增强残差特征的表现能力，以得到更多的高频信息；最后在图像空间域与小波域，通过双重约束的损失函数，优化网络来最小化重建的第二人脸图像和低分辨率人脸图像之间的误差，提高了网络的准确性以及鲁棒性，极大的提升了低分辨率人脸图像重建质量。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (7)

1.一种低分辨率人脸图像超分辨重建方法，其特征在于：包括如下步骤：
步骤S10、获取低分辨率人脸图像，采用多级离散小波变换对所述低分辨率人脸图像进行分解，得到子图像；
步骤S20、将各所述子图像输入卷积模块，提取各所述子图像间的第一关联特征；
步骤S30、利用二阶注意力机制对所述第一关联特征进行强化学习，得到第二关联特征；
步骤S40、通过非局部自相似模块增强所述第二关联特征的残差特征，得到第三关联特征；
步骤S50、将所述第三关联特征进行逆小波变换，得到重建的第一人脸图像；
步骤S60、创建一损失函数，利用所述损失函数对第一人脸图像的空间域以及小波域进行双重约束，得到重建的第二人脸图像。
2.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法，其特征在于：所述步骤S10具体包括：
步骤S11、获取低分辨率人脸图像，设定高分辨率人脸图像的大小，利用双三次差值法将所述低分辨率人脸图像放大至高分辨率人脸图像的大小；
步骤S12、设定多级离散小波变换包括一级离散小波变换、二级离散小波变换以及三级离散小波变换；
步骤S13、利用所述一级离散小波变换对低分辨率人脸图像进行分解，得到四幅第一子图像；利用所述二级离散小波变换分别对各第一子图像进行分解，分别得到四幅第二子图像；利用所述三级离散小波变换分别对各第二子图像进行分解，分别得到四幅第三子图像；所述第一子图像、第二子图像以及第三子图像的四幅图像分别表示低频、水平、垂直和对角方向的子图像。
3.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法，其特征在于：所述步骤S20具体为：
分别将每一级所述多级离散小波变换生成的子图像，作为四个通道输入卷积模块，提取各所述子图像间的第一关联特征；
所述卷积模块为四层全卷积网络，每层所述全卷积网络均包括三个滤波器、一个批量归一化单元以及一个校正线性单元。
4.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法，其特征在于：所述步骤S30具体为：
设特征映射F＝[F1,F2,...,Fc](W*H*C)；其中F表示特征映射，Fc表示特征映射的子集，W*H表示特征映射的大小，C表示特征映射的个数，即通道数；
将特征映射F转变为特征矩阵X(S*C)；其中S＝W*H；
通过公式
Figure FDA0002498135060000021
求取X的协方差；其中
Figure FDA0002498135060000022
I表示大小为S*S的单位矩阵，1表示大小为S*S的全1矩阵；
将Σ进行归一化操作得到
Figure FDA0002498135060000023
其中α＝0.5；
令
Figure FDA0002498135060000024
压缩
Figure FDA0002498135060000025
得到通道间第一关联特征的统计值zc：
Figure FDA0002498135060000026
其中HGCP(·)表示全局协方差池化函数，yc表示第c个特征；zc∈Rc×1，R表示实数，c×1表示c行1列；i为正整数；
ωc＝sigmoid(conv2(Relu(conv1(zc))))；
Figure FDA0002498135060000027
其中ωc表示第c个通道的权重；conv1(·)表示通过向量卷积对输入对象的通道数量进行压缩；conv2(·)表示通过向量卷积对输入对象的通道数量进行扩大；sigmoid(·)表示激活函数；Relu(·)表示线性整流函数；
Figure FDA0002498135060000028
表示第个c通道的第二关联特征；fc表示第c个通道的第一关联特征。
5.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法，其特征在于：所述步骤S40具体为：
通过非局部自相似模块将多通道输入M作为图像特征，并生成输出特征ui，即第三关联特征：
Figure FDA0002498135060000031
ui＝BN(Whi)+mi；
其中mi表示M中当前关注位置i的特征；mj表示M的全局信息；θ(mi)＝Wθmi，
Figure FDA0002498135060000032
g(mj)＝Wgmj，Wθ、
Figure FDA0002498135060000033
Wg分别表示需要学习的权重矩阵，通过1*1卷积得到；
Figure FDA0002498135060000034
表示归一化操作；
Figure FDA0002498135060000035
表示计算mi和mj两个位置的相似度；ui表示位置i的输出特征；BN(·)表示归一化操作；W表示输出特征ui要学习的权重。
6.如权利要求2所述的一种低分辨率人脸图像超分辨重建方法，其特征在于：所述步骤S50具体为：
将所述一级离散小波变换得到的四幅第一子图像，分别与最后一个卷积模块得到的残差相加，再进行逆小波变换，得到重建的第一人脸图像；所述最后一个卷积模块只使用一层全卷积网络来压缩通道数。
7.如权利要求1所述的一种低分辨率人脸图像超分辨重建方法，其特征在于：所述步骤S60中，所述损失函数具体为：
losstotal＝λlosswave+(1-λ)lossimg；
其中losswave表示小波系数损失，lossimg表示图像空间像素损失，λ表示小波系数损失的权重，1-λ表示图像空间像素损失的权重。
CN202010424455.1A 2020-05-19 2020-05-19 一种低分辨率人脸图像超分辨重建方法 Active CN111612695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424455.1A CN111612695B (zh) 2020-05-19 2020-05-19 一种低分辨率人脸图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424455.1A CN111612695B (zh) 2020-05-19 2020-05-19 一种低分辨率人脸图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN111612695A true CN111612695A (zh) 2020-09-01
CN111612695B CN111612695B (zh) 2023-08-01

Family

ID=72200323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424455.1A Active CN111612695B (zh) 2020-05-19 2020-05-19 一种低分辨率人脸图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN111612695B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112733590A (zh) * 2020-11-06 2021-04-30 哈尔滨理工大学 一种基于二阶混合注意力的行人重识别方法
CN115082296A (zh) * 2022-07-11 2022-09-20 杭州师范大学 一种基于小波域图像生成框架的图像生成方法
CN115861081A (zh) * 2023-02-27 2023-03-28 耕宇牧星(北京)空间科技有限公司 一种基于阶梯型多级小波网络的图像超分辨率重建方法
CN117274064A (zh) * 2023-11-15 2023-12-22 中国科学技术大学 一种图像超分辨率方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈晓范: "结合注意力机制的人脸超分辨率重建", 《西安电子科技大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112200724B (zh) * 2020-10-22 2023-04-07 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112733590A (zh) * 2020-11-06 2021-04-30 哈尔滨理工大学 一种基于二阶混合注意力的行人重识别方法
CN115082296A (zh) * 2022-07-11 2022-09-20 杭州师范大学 一种基于小波域图像生成框架的图像生成方法
CN115082296B (zh) * 2022-07-11 2024-05-14 杭州师范大学 一种基于小波域图像生成框架的图像生成方法
CN115861081A (zh) * 2023-02-27 2023-03-28 耕宇牧星(北京)空间科技有限公司 一种基于阶梯型多级小波网络的图像超分辨率重建方法
CN117274064A (zh) * 2023-11-15 2023-12-22 中国科学技术大学 一种图像超分辨率方法
CN117274064B (zh) * 2023-11-15 2024-04-02 中国科学技术大学 一种图像超分辨率方法

Also Published As

Publication number Publication date
CN111612695B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111612695B (zh) 一种低分辨率人脸图像超分辨重建方法
Guo et al. Deep wavelet prediction for image super-resolution
Gnanadurai et al. An efficient adaptive thresholding technique for wavelet based image denoising
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
JP5331486B2 (ja) デジタル画像の解像度向上方法及び装置
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN111640059B (zh) 基于高斯混合模型的多字典图像超分辨方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN111489305B (zh) 基于强化学习的图像增强方法
CN115984117A (zh) 基于通道注意力的变分自编码图像超分辨率方法及系统
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
Zhang et al. Med‐SRNet: GAN‐Based Medical Image Super‐Resolution via High‐Resolution Representation Learning
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
Zhu et al. Generative high-capacity image hiding based on residual CNN in wavelet domain
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
Wu et al. Sfhn: Spatial-frequency domain hybrid network for image super-resolution
CN1842820A (zh) 用于视频帧的空间放大的方法
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN114331853B (zh) 基于目标向量更新模块的单幅图像复原迭代框架
Puttaraju et al. FPGA implementation of 5/3 integer dwt for image compression
CN113066035A (zh) 一种基于双线性插值和小波变换的图像质量增强方法
CN110648291B (zh) 一种基于深度学习的无人机运动模糊图像的复原方法
Cao et al. Wavelet-supervision convolutional neural network for restoration of JPEG-LS near lossless compression image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant