CN112184552A - 一种基于高频特征学习的子像素卷积图像超分辨方法 - Google Patents

一种基于高频特征学习的子像素卷积图像超分辨方法 Download PDF

Info

Publication number
CN112184552A
CN112184552A CN202011006454.1A CN202011006454A CN112184552A CN 112184552 A CN112184552 A CN 112184552A CN 202011006454 A CN202011006454 A CN 202011006454A CN 112184552 A CN112184552 A CN 112184552A
Authority
CN
China
Prior art keywords
convolution
pixel
sub
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011006454.1A
Other languages
English (en)
Other versions
CN112184552B (zh
Inventor
谢业华
阎乃臣
孙树才
张传羽
姬海超
姜啸远
江涛
刘宏坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Original Assignee
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd filed Critical Nari Technology Co Ltd
Priority to CN202011006454.1A priority Critical patent/CN112184552B/zh
Publication of CN112184552A publication Critical patent/CN112184552A/zh
Application granted granted Critical
Publication of CN112184552B publication Critical patent/CN112184552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高频特征学习的子像素卷积图像超分辨方法，使用低分辨率的图像输入到网络中，对低分辨率图像进行特征学习；在生成网络中引入卷积残差层，将输入作为特征图与卷积特征图级联，卷积残差层自适应学习级联特征图的权重，将残差学习下沉到各子像素特征层；通过映射获得多通道特征图，并视为高分辨图像的子像素层；基于卷积网络结构获取高频特征映射参数，引入高频特征映射对比损失与像素级误差损失的多任务损失函数，使生成的图像与超分辨图像在高频域上更接近。本发明引入卷积残差层，减少整个网络低频域的误差；将残差学习下沉到各子像素特征层，获得图像更多高频纹理信息；展示图像更多高频细节，提高超分辨重构后的视觉体验。

Description

一种基于高频特征学习的子像素卷积图像超分辨方法
技术领域
本发明属于管廊安防监控、特征学习、图像处理等领域，具体地涉及一种基于高频特征学习的子像素卷积图像超分辨方法。
背景技术
图像超分辨技术是基于低分辨率小尺度图像，通过重构技术生成超分辨率，能够展现更多细节信息的图像，超分辨重构技术在安防监控、医疗影像、遥感测绘等领域有广泛的应用前景。近些年来，深度学习技术快速发展，超分辨重构可以通过深度网络端到端自动学习低分率到超分辨重构复杂的映射关系，避免传统算法的局限性。
超像素卷积神经网络是一种基于卷积神经网络端到端的图像重构方法，低分辨率图像块插值上采样后作为超分辨网络的输入,通过训练卷积层的映射参数，生成高分辨图像。但使用上采样作为输入的方法增加计算复杂度和训练困难度，影响了图像超分辨重构的时效性。
超分辨网络使用更深的、尺度更小的权重层来更精确提取图片的语义信息。此外，还使用残差的方法，使网络学习低分辨率与目标高分辨图像的差异来加快训练，能够学习更多的高频纹理信息。
发明内容
发明目的：本发明提供了一种基于高频特征学习的子像素卷积图像超分辨方法，从改进生成网络的结构和改善损失函数局限性两方面，目的是使改进后的网络有更好的高频特征学习能力。
技术方案：本发明所述的一种基于高频特征学习的子像素卷积图像超分辨方法，包括以下步骤：
(1)使用低分辨率的图像输入到子像素卷积网络中，对低分辨率图像进行特征学习；
(2)在子像素卷积网络中引入卷积残差层，将输入作为特征图与卷积特征图级联，卷积残差层自适应学习级联特征图的权重，将残差学习下沉到各子像素特征层，减少子像素卷积网络低频域的误差；
(4)通过映射获得多通道特征图，将特征图视为高分辨图像的子像素层；
(5)基于子像素卷积网络结构获取高频特征映射参数φp；选取目标高分辨图像和对应的低分辨率图像双三次插值上采样后图像，输入到映射的卷积网络中，优化参数最大化两者在高频特征层上的距离；
(6)引入高频特征映射对比损失与像素级误差损失的多任务损失函数，使生成的图像与超分辨图像在高频域上更接近。
进一步地，所述步骤(2)的实现过程如下：
在传统的子像素卷积超分辨的最后一层隐藏层和子像素卷积重构层之间增加残差卷积层，卷积特征层的实现公式如下：
Xn＝Fn(Concat(F1m-1(I)，l))
其中，I是输入低分辨率图像，F1n：n-1是隐藏层的映射参数,Fn是残差卷积层的参数。
进一步地，所述步骤(5)通过以下公式实现：
Figure BDA0002696091040000021
Figure BDA0002696091040000022
其中，ISR，IB分别为输入的高分辨图像和其对应的低分辨率双三次插值上采样后的图像，φp为对应高频特征的映射参数，C，Wp，Hp分别为高频特征层的特征图层数，宽度和高度；学习目标通过学习φp最大化ISR，IB经过φp后特征层的均方误差，通过对其取负对数运算，可以使用梯度下降迭代方法求取最优值φp。
进一步地，步骤(6)所述的多任务损失函数为：
Figure BDA0002696091040000023
Figure BDA0002696091040000024
获取φp之后，通过一个像素级误差损失和高频特征误差损失多的任务学习的目标函数来训练生成网络的参数θg，
Figure BDA0002696091040000025
为生成图像与高分辨图像的像素级的损失，
Figure BDA0002696091040000031
为生成图像与高分辨图像高频感知特征的损失，α为
Figure BDA0002696091040000032
的系数。
有益效果：与现有技术相比，本发明的有益效果：本发明在传统子像素卷积超分辨重构网络中，引入残差块可以解决更深的网络引起的梯度爆炸和梯度消失的问题，避免网络层数增多的退化现象；先输入的信息直接传递到后层参与运算，迫使重构网络更多学习到残差信息，对应图像的高频细节特征，减轻低频信息对超分辨重构的干扰。
附图说明
图1为本发明的流程图；
图2为引入残差卷积层的子像素卷积生成网络级联图；
图3为高频特征映射的网络结构图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供了一种基于高频特征学习的子像素卷积图像超分辨方法，从改进生成网络的结构和改善损失函数局限性两方面，目的是使改进后的网络有更好的高频特征学习能力，如图1所示，主要包括以下步骤。
1、子像素卷积超分辨重构网络
使用低分辨率的图像输入到子像素卷积网络中，对低分辨率图像进行特征学习；在子像素卷积网络中引入卷积残差层，将输入作为特征图与卷积特征图级联，卷积残差层自适应学习级联特征图的权重，将残差学习下沉到各子像素特征层，减少子像素卷积网络低频域的误差。
在深度学习网络中引入残差块可以解决更深的网络引起的梯度爆炸和梯度消失的问题，避免网络层数增多的退化现象。如图2所示，引入残差卷积层的子像素卷积生成网络级联图，在传统的子像素卷积超分辨的最后一层隐藏层和子像素卷积重构层之间增加残差卷积层。先输入的信息直接传递到后层参与运算，迫使重构网络更多学习到残差信息，对应图像的高频细节特征，减轻低频信息对超分辨重构的干扰。
在子像素卷积超分辨重构网络中，若输入低分辨率图像尺寸为W，H，重构比例为r，超分辨图像的尺寸为rW，rH，直接把输入数值加到输出端存在习残差，把输入与隐藏层的特征图级联，作为新增低频信息的特征图，通过卷积操作，让各子像素层自适应利用输入的低分辨率的信息，确保隐藏能更好学习高频特征。
引入残差思想的卷积层改进超分辨的生成网络，在传统的子像素卷积超分辨的最后一层隐藏层和子像素卷积重构层之间增加残差卷积层，卷积特征层的实现公式如下：
Xn＝Fn(Concat(F1：n-1(I)，I))
其中I是输入低分辨率图像，F1：n-1是隐藏层的映射参数,Fn是残差卷积层的参数。残差卷积层可以在子像素重构层之前引入输入信息，学习更多的细节高频信息，而且通过学习权重，学习各子像素特征图与级联后特征图的权重映射关系，让重构的图像自适应得利用输入低分辨率图像信息，避免直接引入残差带来的刚性误差。
2、高频特征映射
通过映射获得多通道特征图，将特征图视为高分辨图像的子像素层；基于子像素卷积网络结构获取高频特征映射参数φp；选取目标高分辨图像和对应的低分辨率图像双三次插值上采样后图像，输入到映射的卷积网络中，优化参数最大化两者在高频特征层上的距离。
高频特征映射p的网络结构如图2所示，基于卷积网络结构获取高频特征映射参数φp，训练映射参数φp时，选取目标高分辨图像和对应的低分辨率图像双三次插值上采样后图像，输入到映射的卷积网络中，优化参数最大化两者在高频特征层上的距离。高频特征映射原理，先在像素级层面上超分辨和上采样的低分辨率图片距离接近，通过映射后在高频空间两者距离增大。映射过程过滤低频信息，使低分辨率和高分辨图像特征映射后响应值差异增大，生成图像特征通过p映射后可以作为反映超分辨重构高频锐化能力的有效特征，如图3所示。
在训练φp过程中，优化函数如公式如下：
Figure BDA0002696091040000041
Figure BDA0002696091040000042
其中ISR，IB分别为输入的高分辨图像和其对应的低分辨率双三次插值上采样后的图像。φp为对应高频特征的映射参数，C，Wp，Hp分别为高频特征层的特征图层数，宽度和高度。学习目标通过学习φp最大化ISR，IB经过φp后特征层的均方误差，通过对其取负对数运算，可以使用梯度下降迭代方法求取最优值φp。
3、多任务损失函数
引入高频特征映射对比损失与像素级误差损失的多任务损失函数，使生成的图像与超分辨图像在高频域上更接近。
Figure BDA0002696091040000051
Figure BDA0002696091040000052
获取了φp之后，通过一个像素级误差损失和高频特征误差损失多的任务学习的目标函数来训练生成网络的参数θg，
Figure BDA0002696091040000053
为生成图像与高分辨图像的像素级的损失，
Figure BDA0002696091040000054
为生成图像与高分辨图像高频感知特征的损失，α为
Figure BDA0002696091040000055
的系数。
使用CelebA数据集中标准化剪裁过的人脸图像的部分，使用其中的200000张作为训练样本，其余2599张作为测试样本。CelebA是香港中文大学公开的包含一万多位名人的，数十万张人脸照片的数据集，在基于深度学习的人脸识别、检测、超像素实验中被广泛使用。
对数据集中的人脸图像从中间部位提取128*128像素部分作为高分辨图像，把高分辨图像下采样r＝4，32*32的图像作为输入的低分率图像。训练过程中为了求取高频特征映射参数，对训练数据采用插值生成与目标高分辨尺度一致的图像。首先训练求取φp，把训练数据集高分辨图像和对应上采样后的低分辨率图像同时输入特征映射的卷积网络。通过学习参数使得两者在高频域内的距离最大，学习率设置为0.0002，迭代10000次后损失值无明显的下降，保存对应网络参数即为φp。接下来训练生成网络，把训练数据集中的低分辨图输入到网络中生成图片，通过与目标超分辨图片的像素级损失和高频特征损失值的联合损失反向传播，学习超分辨生成网络的参数。训练感知损失的系数设置为0.01,学习率是0.0002，迭代50000次后学习率降为0.00002。
本发明实施例提供的使用本发明方法基于高频特征学习的子像素卷积超分辨技术的结果；对比双三次插值和传统子像素卷积网络的结果,明显表明本发明在锐化特征学习方面有优势，能更好的学习人脸的细节特征。在PSNR、SSIM和MOS等评价体系下，本发明优势明显，可见基于高频特征学习的子像素卷积网络对传统的子像素卷积网络方法在超分辨的质量上有大幅提升。

Claims (4)

1.一种基于高频特征学习的子像素卷积图像超分辨方法，其特征在于，包括以下步骤：
(1)使用低分辨率的图像输入到子像素卷积网络中，对低分辨率图像进行特征学习；
(2)在子像素卷积网络中引入卷积残差层，将输入作为特征图与卷积特征图级联，卷积残差层自适应学习级联特征图的权重，将残差学习下沉到各子像素特征层，减少子像素卷积网络低频域的误差；
(4)通过映射获得多通道特征图，将特征图视为高分辨图像的子像素层；
(5)基于子像素卷积网络结构获取高频特征映射参数φp；选取目标高分辨图像和对应的低分辨率图像双三次插值上采样后图像，输入到映射的卷积网络中，优化参数最大化两者在高频特征层上的距离；
(6)引入高频特征映射对比损失与像素级误差损失的多任务损失函数，使生成的图像与超分辨图像在高频域上更接近。
2.根据权利要求1所述的基于高频特征学习的子像素卷积图像超分辨方法，其特征在于，所述步骤(2)的实现过程如下：
在传统的子像素卷积超分辨的最后一层隐藏层和子像素卷积重构层之间增加残差卷积层，卷积特征层的实现公式如下：
Xn＝Fn(Concat(F1：n-1(I)，I))
其中，I是输入低分辨率图像，F1：n-1是隐藏层的映射参数，Fn是残差卷积层的参数。
3.根据权利要求1所述的基于高频特征学习的子像素卷积图像超分辨方法，其特征在于，所述步骤(5)通过以下公式实现：
Figure FDA0002696091030000011
Figure FDA0002696091030000012
其中，ISR，IB分别为输入的高分辨图像和其对应的低分辨率双三次插值上采样后的图像，φp为对应高频特征的映射参数，C，Wp，Hp分别为高频特征层的特征图层数，宽度和高度；学习目标通过学习φp最大化ISR，IB经过φp后特征层的均方误差，通过对其取负对数运算，可以使用梯度下降迭代方法求取最优值φp。
4.根据权利要求1所述的基于高频特征学习的子像素卷积图像超分辨方法，其特征在于，步骤(6)所述的多任务损失函数为：
Figure FDA0002696091030000021
Figure FDA0002696091030000022
获取φp之后，通过一个像素级误差损失和高频特征误差损失多的任务学习的目标函数来训练生成网络的参数θg，
Figure FDA0002696091030000023
为生成图像与高分辨图像的像素级的损失，
Figure FDA0002696091030000024
为生成图像与高分辨图像高频感知特征的损失，α为
Figure FDA0002696091030000025
的系数。
CN202011006454.1A 2020-09-23 2020-09-23 一种基于高频特征学习的子像素卷积图像超分辨方法 Active CN112184552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011006454.1A CN112184552B (zh) 2020-09-23 2020-09-23 一种基于高频特征学习的子像素卷积图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011006454.1A CN112184552B (zh) 2020-09-23 2020-09-23 一种基于高频特征学习的子像素卷积图像超分辨方法

Publications (2)

Publication Number Publication Date
CN112184552A true CN112184552A (zh) 2021-01-05
CN112184552B CN112184552B (zh) 2022-11-11

Family

ID=73956500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011006454.1A Active CN112184552B (zh) 2020-09-23 2020-09-23 一种基于高频特征学习的子像素卷积图像超分辨方法

Country Status (1)

Country Link
CN (1) CN112184552B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766104A (zh) * 2021-01-07 2021-05-07 湖北公众信息产业有限责任公司 保险新零售服务平台
CN113643182A (zh) * 2021-08-20 2021-11-12 中国地质大学（武汉） 一种基于对偶学习图网络的遥感影像超分辨率重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁文倩: ""基于深度学习的单幅图像超分辨重建算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
柏宇阳等: ""改进的残差卷积神经网络遥感图像超分辨重建"", 《黑龙江大学自然科学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766104A (zh) * 2021-01-07 2021-05-07 湖北公众信息产业有限责任公司 保险新零售服务平台
CN113643182A (zh) * 2021-08-20 2021-11-12 中国地质大学（武汉） 一种基于对偶学习图网络的遥感影像超分辨率重建方法
CN113643182B (zh) * 2021-08-20 2024-03-19 中国地质大学（武汉） 一种基于对偶学习图网络的遥感影像超分辨率重建方法

Also Published As

Publication number Publication date
CN112184552B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN111754403B (zh) 一种基于残差学习的图像超分辨率重构方法
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN108921783B (zh) 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
Fu et al. Image super-resolution based on generative adversarial networks: a brief review
Guo et al. Multiscale semilocal interpolation with antialiasing
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
Liu et al. A super resolution algorithm based on attention mechanism and srgan network
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
Gong et al. Learning deep resonant prior for hyperspectral image super-resolution
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN117455770A (zh) 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法
CN111986079A (zh) 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法
CN116433548A (zh) 一种基于多级信息提取的高光谱与全色图像融合方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant