CN108765297B - 基于循环训练的超分辨率重建方法 - Google Patents

基于循环训练的超分辨率重建方法 Download PDF

Info

Publication number
CN108765297B
CN108765297B CN201810619839.1A CN201810619839A CN108765297B CN 108765297 B CN108765297 B CN 108765297B CN 201810619839 A CN201810619839 A CN 201810619839A CN 108765297 B CN108765297 B CN 108765297B
Authority
CN
China
Prior art keywords
image
generator
resolution
picture
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810619839.1A
Other languages
English (en)
Other versions
CN108765297A (zh
Inventor
林坤辉
邱明
景丽婷
曾捷航
王颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shunxin Digital Technology (Xiamen) Co.,Ltd.
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810619839.1A priority Critical patent/CN108765297B/zh
Publication of CN108765297A publication Critical patent/CN108765297A/zh
Application granted granted Critical
Publication of CN108765297B publication Critical patent/CN108765297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

基于循环训练的超分辨率重建方法，涉及超分辨率图像重建。输入低分辨率图片，生成高分辨率图片，预训练图像放大生成器；输入高分辨率图片，生成低分辨率图片，预训练图像缩小生成器；连接图像放大生成器和图像缩小生成器，循环训练直至收敛。受到CycleGAN的启发，采用了一个对称的图像放大和缩小的网络结构，它由两个生成器组成，可以实现从低分辨率图片到高分辨率图片的循环生成，通过这种循环训练的方式对SR效果进行调优。

Description

基于循环训练的超分辨率重建方法
技术领域
本发明涉及超分辨率图像重建，尤其是涉及通过循环训练残差网络生成超分辨率图像的基于循环训练的超分辨率重建方法。
背景技术
解决超分辨率(SR)的方法大致分为两类，一类是非深度学习的方法，另一类是深度学习的方法。非深度学习的方法主要分为基于插值的方法和基于重建的方法。采用典型的插值法，如基于小波的双线性插值，以及基于光滑性约束的Delaunay三角化插值，重构的图像存在细节缺失和边缘模糊的问题，超分辨率能力有限；采用基于重建的方法，如凸集投影法(POCS)、最大后验概率(MAP)以及MAP/POCS混合法等，重构的计算代价与时间复杂度过大(1、龙超.图像超分辨率重建算法综述[J].科技视界,2015(13):88-89)。
为解决超分辨率问题，近年来提出了许多基于深度卷积网络的端到端的模型。我们的模型也是基于这种方式训练。这种基于深度学习的超分辨率算法对训练样本有很高的要求(2、Timofte R,Rothe R,Gool L V.Seven Ways to Improve Example-Based SingleImage Super Resolution[C]//ComputerVision and Pattern Recognition.IEEE,2016:1865-1873)。当训练样本尤其是输入的低分辨率图片有较多噪声时，传统的基于深度学习的模型并不能生成理想的高分辨率图片，需要改进训练过程，对生成结果进行优化。
发明内容
本发明的目的在于提供通过循环训练残差网络生成超分辨率图像的基于循环训练的超分辨率重建方法。
本发明包括以下步骤：
1)输入低分辨率图片，生成高分辨率图片，预训练图像放大生成器；
2)输入高分辨率图片，生成低分辨率图片，预训练图像缩小生成器；
3)连接图像放大生成器和图像缩小生成器，循环训练直至收敛。
本发明受到CycleGAN的启发，采用了一个对称的图像放大和缩小的网络结构，它由两个生成器组成，可以实现从低分辨率图片到高分辨率图片的循环生成，通过这种循环训练的方式对SR效果进行调优。
附图说明
图1为本发明实施例的网络中用于输出不同尺寸图像放大生成器。
图2为本发明实施例的网络中用于输出不同尺寸图像缩小生成器。
图3为本发明实施例的模型整体结构图。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例包括以下步骤：
1)输入低分辨率图片，生成高分辨率图片，预训练图像放大生成器；
2)输入高分辨率图片，生成低分辨率图片，预训练图像缩小生成器；
3)连接图像放大生成器和图像缩小生成器，循环训练直至收敛。
本发明提出了由残差学习和循环训练(Cycle-training)驱动的新型超分辨率网络结构。该结构由两个对称的残差网络组成，分别用于图像的放大和缩小。如图1，2所示，其中，图像放大生成器学习从低分辨率图像到高分辨率图像的映射关系，图像缩小生成器学习从高分辨率图像到低分辨率图像的反向映射关系。因此，该结构不仅生成高分辨率图像(超分辨率)，也产生低分辨率图像。本发明的循环训练方式是将生成的低分辨率图片和高分辨率图片组成新的训练样本，在循环或迭代训练过程中对模型调优。
图1和图2是网络中用于输出不同尺寸图像放大生成器和图像缩小生成器。图1的放大生成器的处理流程为：以一张彩色图片作为输入，首先通过卷积操作，将3通道变换为n个通道，然后经过16个残差单元提取图片特征，与之前预处理结果叠加，再经过放大模块变换尺寸，最后将n个通道进行通道压缩变换为3通道，作为重构后的图片输出。而图2的缩小生成器的处理过程则是：先将输入的彩色图片进行通道扩增，将3通道扩增为n个通道，然后经过缩小模块变换尺寸，之后也是经过16个残差单元提取图片特征，与之前预处理结果叠加，最后将3通道变换为n个通道，作为重构后的图片输出。
其中两个生成器主要都是由两部分组成：残差单元和缩放模块(图1中对应放大模块，图2对应缩小模块)，分别用于图像细节纹理特征的提取和图像尺寸的缩放。每个残差单元由两个卷积层组成，卷积核的大小是3×3，共有16个残差单元；每个残差单元在卷积之前先使用修正线性单元(RELU)，它是一个表达式为f(x)＝max(0,x)的激活函数；每个残差单元中也包含相应的缩放层，将每个残差单元的结果进行一定比例的缩放。对于不同的放大倍数，可以通过控制反卷积层的层数来实现。图1的放大模块中，放大层×2表示：将图片尺寸放大2倍，放大的操作是通过反卷积实现的，若放大8倍，则需要3个反卷积层。图2的缩小模块中，缩小层×2则表示：将图片尺寸缩小2倍，缩小操作是通过卷积实现的，若缩小8倍，则需要3个卷积层。
图3是模型整体结构，将图1和图2连接，其中，图1的放大生成器的输出作为图2的缩小生成器的输入，即将图1和图2对应的两个生成器串联起来，实现循环训练。
通过这种循环训练的方式，可以实现从低分辨率图片到高分辨率图片的循环生成，从而实现对SR效果的改进和调优。

Claims (1)

1.基于循环训练的超分辨率重建方法，其特征在于包括以下步骤：
1)输入低分辨率图片，生成高分辨率图片，预训练图像放大生成器；
2)输入高分辨率图片，生成低分辨率图片，预训练图像缩小生成器；
3)连接图像放大生成器和图像缩小生成器，图像放大生成器的输出作为图像缩小生成器的输入，即将图像放大生成器和图像缩小生成器串联起来，实现循环训练，循环训练直至收敛；
循环训练方式是将生成的低分辨率图片和高分辨率图片组成新的训练样本，在循环或迭代训练过程中对模型调优；
图像放大生成器和图像缩小生成器由两部分组成：残差单元和缩放模块，分别用于图像细节纹理特征的提取和图像尺寸的缩放；每个残差单元由两个卷积层组成，卷积核的大小是3×3，共有16个残差单元；每个残差单元在卷积之前先使用修正线性单元RELU，其表达式为f(x)＝max(0，x)的激活函数；每个残差单元中也包含相应的缩放层，将每个残差单元的结果进行缩放；
图像放大生成器的缩放模块为放大模块，对于不同的放大倍数，通过控制反卷积层的层数来实现，放大的操作是通过反卷积实现的；图像缩小生成器的缩放模块为缩小模块，对于不同的缩小倍数，通过控制卷积层的层数来实现，缩小操作是通过卷积实现的；
图像放大生成器的处理流程为：以一张彩色图片作为输入，首先通过卷积操作，将3通道变换为n个通道，然后经过16个残差单元提取图片特征，与之前预处理结果叠加，再经过放大模块变换尺寸，最后将n个通道进行通道压缩变换为3通道，作为重构后的图片输出；
图像缩小生成器的处理过程是：先将输入的彩色图片进行通道扩增，将3通道扩增为n个通道，然后经过缩小模块变换尺寸，之后也是经过16个残差单元提取图片特征，与之前预处理结果叠加，最后将3通道变换为n个通道，作为重构后的图片输出。
CN201810619839.1A 2018-06-14 2018-06-14 基于循环训练的超分辨率重建方法 Active CN108765297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810619839.1A CN108765297B (zh) 2018-06-14 2018-06-14 基于循环训练的超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810619839.1A CN108765297B (zh) 2018-06-14 2018-06-14 基于循环训练的超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN108765297A CN108765297A (zh) 2018-11-06
CN108765297B true CN108765297B (zh) 2020-07-17

Family

ID=63978128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810619839.1A Active CN108765297B (zh) 2018-06-14 2018-06-14 基于循环训练的超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN108765297B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060313B (zh) * 2019-04-19 2023-12-19 上海联影医疗科技股份有限公司 一种图像伪影校正方法和系统
CN112446825A (zh) * 2019-08-30 2021-03-05 四川大学 基于循环生成对抗网络的岩心ct图像超分辨率方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722863A (zh) * 2012-04-16 2012-10-10 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
CN102915527A (zh) * 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
CN104657962A (zh) * 2014-12-12 2015-05-27 西安电子科技大学 基于级联线性回归的图像超分辨重建方法
CN105046672A (zh) * 2015-06-30 2015-11-11 北京工业大学 一种图像超分辨率重建方法
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
US9934553B2 (en) * 2015-11-06 2018-04-03 Thomason Licensing Method for upscaling an image and apparatus for upscaling an image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722863A (zh) * 2012-04-16 2012-10-10 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
CN102915527A (zh) * 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
CN104657962A (zh) * 2014-12-12 2015-05-27 西安电子科技大学 基于级联线性回归的图像超分辨重建方法
CN105046672A (zh) * 2015-06-30 2015-11-11 北京工业大学 一种图像超分辨率重建方法
US9934553B2 (en) * 2015-11-06 2018-04-03 Thomason Licensing Method for upscaling an image and apparatus for upscaling an image
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》;Christian Ledig等;《The IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2017》;20160915;第4681-4690页 *
《基于残差网络的图像超分辨率算法改进研究》;麻旋等;《软件导刊》;20180430;第91-93页 *

Also Published As

Publication number Publication date
CN108765297A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN106910161B (zh) 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
Gao et al. Implicit diffusion models for continuous super-resolution
Ying et al. A stereo attention module for stereo image super-resolution
CN109118432B (zh) 一种基于快速循环卷积网络的图像超分辨率重建方法
CN108921786B (zh) 基于残差卷积神经网络的图像超分辨率重构方法
CN109544448B (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
Xu et al. Dense bynet: Residual dense network for image super resolution
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN108989731B (zh) 一种提高视频空间分辨率的方法
CN111353938A (zh) 一种基于网络反馈的图像超分辨率学习方法
CN108765297B (zh) 基于循环训练的超分辨率重建方法
Hui et al. Two-stage convolutional network for image super-resolution
Xing et al. Residual swin transformer channel attention network for image demosaicing
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
Xue et al. Research on gan-based image super-resolution method
CN117196959A (zh) 基于自注意力的红外图像超分辨率方法、装置及可读介质
CN108921785B (zh) 基于小波包的超分辨率重建方法
Wei et al. RSAN: Residual subtraction and attention network for single image super-resolution
Zhou et al. Disentangled Feature Distillation for Light Field Super-Resolution with Degradations
Wang et al. C 3 Net: A cross-channel cross-scale and cross-stage network for single image super-resolution
CN113674151A (zh) 一种基于深度神经网络的图像超分辨率重建方法
Pandey et al. A hybrid approach of interpolations and CNN to obtain super-resolution
CN108198134B (zh) 基于组合平均极限学习机的单图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230530

Address after: Unit 2-A560, 22nd Floor, Lianqian Building, No. 323 Qianpu Middle Road, Siming District, Xiamen City, Fujian Province, 361000

Patentee after: Shunxin Digital Technology (Xiamen) Co.,Ltd.

Address before: Xiamen City, Fujian Province, 361005 South Siming Road No. 422

Patentee before: XIAMEN University