CN106991648B - 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 - Google Patents

一种基于小波变换和卷积神经网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN106991648B
CN106991648B CN201710227448.0A CN201710227448A CN106991648B CN 106991648 B CN106991648 B CN 106991648B CN 201710227448 A CN201710227448 A CN 201710227448A CN 106991648 B CN106991648 B CN 106991648B
Authority
CN
China
Prior art keywords
frequency component
layer
low
image
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710227448.0A
Other languages
English (en)
Other versions
CN106991648A (zh
Inventor
任鹏
孙文健
王廷伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201710227448.0A priority Critical patent/CN106991648B/zh
Publication of CN106991648A publication Critical patent/CN106991648A/zh
Application granted granted Critical
Publication of CN106991648B publication Critical patent/CN106991648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148Wavelet transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于小波变换和卷积神经网络的图像超分辨率重建方法:在训练阶段,对训练数据集中的高分辨率图像Ih进行高斯滤波以及降采样处理生成低分辨率图像Il;对Ih做单尺度二维离散小波变换提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH四个频率成分;将Il作为输入数据、Ih的四个频率成分分别作为标签,训练四个卷积神经网络模型。在超分辨率重建阶段,将低分辨率图像Il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的四个频率成分并对其作单尺度二维离散小波反变换生成高分辨率图像Ih。该方法从不同频率上对图像进行超分辨率重建,充分利用卷积神经网络的学习能力,显著增强超分辨率重建效果。

Description

一种基于小波变换和卷积神经网络的图像超分辨率重建方法
技术领域
本发明涉及图像超分辨率重建技术,尤其涉及一种基于小波变换和卷积神经网络的图像超分辨率重建方法。
背景技术
人们运用数字信号处理技术从一帧或者多帧低分辨率图像中重构出高分辨率图像的过程叫做图像超分辨率重建。图像超分辨率重建能解决由于数字图像采集设备固有的分辨率级别限制导致的硬件设备成像分辨率较低的问题。除此之外,图像超分辨率重建还能解决由于各种复杂应用环境导致的图像细节缺失、噪声和欠采样等影响图像分辨率的问题。图像超分辨率重建在克服硬件设备限制和应用环境多变等困难的同时能够切实有效地提高图像的分辨率,节约各个应用领域的生产成本。
基于机器学习的图像超分辨率重建是当前人们用于解决图像超分辨率重建问题的主流方法,比如基于稀疏字典表示的图像超分辨率重建、基于卷积神经网络的图像超分辨率重建和基于生成对抗网络的图像超分辨率重建等。上述经典图像超分辨率重建方法都需要从大训练数据集中学习图像先验,然而单一的稀疏字典模型、卷积神经网络模型或者生成对抗网络模型的学习能力并不足以容纳训练数据集中的图像先验。因此,采用单一的机器学习模型不能实现最优的图像超分辨率重建效果。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
鉴于此,本发明提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法,以至少解决现有的图像超分辨率重建方法因算法自身的学习能力有限而导致其超分辨率重建效果不能达到最优的问题。
根据本发明的一个方面,提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法,该方法包括:
在训练阶段:对训练数据集中的高分辨率图像Ih进行高斯滤波及降采样处理生成对应的低分辨率图像Il;对高分辨率图像Ih做单尺度二维离散小波变换以提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH四个频率成分;以低分辨率图像Il作为输入数据,以高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH分别作为标签,训练四个卷积神经网络模型。
在超分辨率重建阶段:将给定的测试低分辨率图像Il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH;对上述高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像Ih
通过以上描述可知,本发明的一种基于小波变换和卷积神经网络的图像超分辨率重建方法,其一方面采取频域聚类的方式,从四个不同的频率成分上对图像进行超分辨率重建,能够使得卷积神经网络模型专门学习低分辨率图像到某一频率成分的映射;另一方面,该方法采用四个三层的卷积神经网络模型根据低分辨率图像生成高分辨率图像的四个频率成分,进而通过对四个频率成分进行单尺度二维离散小波反变换生成高分辨率图像,能够充分利用卷积神经网络模型的学习能力,使得超分辨率重建效果相对现有技术大大改善。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,用来进一步举例说明本发明的原理。在附图中:
图1A表示的是本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法所用的卷积神经网络模型的训练过程。
图1B表示的是本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法的图像超分辨率重建过程;
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是理性的任务。
还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的处理步骤,而忽略了与本发明关系不大的细节。
本发明的实施例提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法,该方法包括:
在训练阶段:对训练数据集中的高分辨率图像Ih进行高斯滤波及降采样处理生成对应的低分辨率图像Il;对高分辨率图像Ih做单尺度二维离散小波变换以提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH四个频率成分;以低分辨率图像Il作为输入数据,以高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH分别作为标签,训练四个卷积神经网络模型。
在超分辨率重建阶段:将给定的测试低分辨率图像Il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH;对上述高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像Ih
下面结合图1A来描述本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法所用的卷积神经网络模型的训练过程。
如图1A所示,卷积神经网络模型的训练过程起始于步骤011:
在步骤011中,对训练数据集中的高分辨率图像Ih进行高斯滤波及降采样处理生成对应的低分辨率图像Il,其中高斯滤波器为σ是高斯滤波器的标准差;
在步骤012中,对训练数据集中的高分辨率图像Ih做单尺度二维离散小波变换提取其低频分量FLL=HIhH*,水平低频垂直高频成分FLH=GIhH*,水平高频垂直低频成分FHL=HIhG*,对角方向高频分量FHH=GIhG*,其中H和G分别为一维尺度函数和一维小波函数对应的滤波器系数矩阵,且H和G满足HH*+GG*=I,上标符号*表示矩阵的共轭转置;
在步骤013中,以步骤011中生成的低分辨率图像Il作为输入数据,以步骤012中生成的FLL、FLH、FHL和FHH作为标签,训练四个卷积神经网络模型,模型结构如下所述:
第一层包含一个卷积层(Conv.1)和一个激活层(Relu.1),第一层的输出结果为Y1(Il)=max(0,W1*Il+B1),W1表示第一卷积层的卷积核,包含n1个大小为s1×s1的卷积核,*表示卷积操作,B1表示第一卷积层的偏置向量,f(x)=max(0,x)表示激活层的激活函数;第二层包含一个卷积层(Conv.2)和一个激活层(Relu.2),第二层的输出结果为Y2(Il)=max(0,W2*Y1(Il)+B2),W2表示第二卷积层的卷积核,包含n2个大小为s2×s2的卷积核,B2表示第二卷积层的偏置向量;第三层包含一个卷积层(Conv.3),第三层的输出结果为Y3(Il)=W3*Y2(Il)+B3,W3表示第三卷积层的卷积核,包含一个大小为s3×s3的卷积核,B3表示第三卷积层的偏置向量。Y3是该卷积网络模型的输出。
下面结合图1B来描述本发明的一种基于小波变换和卷积神经网络的图像超分辨率重建方法的图像超分辨率重建过程。
如图1B所示,给定测试低分辨率图像Il的超分辨率重建过程起始于步骤021:
在步骤021中,给定测试低分辨率图像Il被输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH
在步骤022中,用卷积神经网络模型输出的高分辨率图像低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH做单尺度二维离散小波反变换Ih=H*FLLH+G*FLHH+H*FHLG+G*FHHG生成高分辨率图像,此处所用的一维尺度函数和一维小波函数对应的滤波器系数矩阵H和G与步骤012中相同。
由此,通过该实现方式实现本发明一种基于小波变换和卷积神经网络的图像超分辨率重建方法,该方法采用四个三层的卷积神经网络模型根据低分辨率图像生成高分辨率图像的四个频率成分,进而通过对四个频率成分进行单尺度二维离散小波反变换生成高分辨率图像,能够充分利用卷积神经网络模型的学习能力,使得超分辨率重建效果相对现有技术大大改善。

Claims (1)

1.一种基于小波变换和卷积神经网络的图像超分辨率重建方法,其特征在于,所述图像超分辨率重建方法包括以下步骤:
步骤一:将训练数据集中的高分辨率图像Ih进行高斯滤波以及降采样处理生成对应的低分辨率图像Il
步骤二:将训练数据集中的高分辨率图像Ih按照公式(1)做单尺度二维离散小波变换以提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH四个频率成分:
H和G分别为一维尺度函数和一维小波函数对应的滤波器系数矩阵,且H和G满足HH*+GG*=I,上标符号*表示矩阵的共轭转置;
步骤三:以步骤一中得到的低分辨率图像Il作为输入数据,以步骤二中得到的高分辨率图像Ih的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH分别作为标签,训练四个卷积神经网络模型,模型结构如下所述:
第一层包含一个卷积层(Conv.1)和一个激活层(Relu.1),第一层的输出结果为Y1(Il)=max(0,W1*Il+B1),W1表示第一卷积层的卷积核,包含n1个大小为s1×s1的卷积核,*表示卷积操作,B1表示第一卷积层的偏置向量,f(x)=max(0,x)表示激活层的激活函数;第二层包含一个卷积层(Conv.2)和一个激活层(Relu.2),第二层的输出结果为Y2(Il)=max(0,W2*Y1(Il)+B2),W2表示第二卷积层的卷积核,包含n2个大小为s2×s2的卷积核,B2表示第二卷积层的偏置向量;第三层包含一个卷积层(Conv.3),第三层的输出结果为Y3(Il)=W3*Y2(Il)+B3,W3表示第三卷积层的卷积核,包含一个大小为s3×s3的卷积核,B3表示第三卷积层的偏置向量,Y3是该卷积网络模型的输出;
步骤四:将测试低分辨率图像Il输入四个经训练得到的卷积神经网络模型中以生成高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH,如公式(2)所示:
Ih=H*FLLH+G*FLHH+H*FHLG+G*FHHG (2)
对高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像Ih
CN201710227448.0A 2017-04-10 2017-04-10 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 Active CN106991648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710227448.0A CN106991648B (zh) 2017-04-10 2017-04-10 一种基于小波变换和卷积神经网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710227448.0A CN106991648B (zh) 2017-04-10 2017-04-10 一种基于小波变换和卷积神经网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN106991648A CN106991648A (zh) 2017-07-28
CN106991648B true CN106991648B (zh) 2024-01-02

Family

ID=59415758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710227448.0A Active CN106991648B (zh) 2017-04-10 2017-04-10 一种基于小波变换和卷积神经网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN106991648B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527044B (zh) * 2017-09-18 2021-04-30 北京邮电大学 一种基于搜索的多张车牌清晰化方法及装置
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108022213A (zh) * 2017-11-29 2018-05-11 天津大学 基于生成对抗网络的视频超分辨率重建算法
CN108062744B (zh) * 2017-12-13 2021-05-04 中国科学院大连化学物理研究所 一种基于深度学习的质谱图像超分辨率重建方法
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN108615221B (zh) * 2018-04-10 2020-12-01 清华大学 基于剪切二维极线平面图的光场角度超分辨率方法及装置
CN108564546B (zh) * 2018-04-18 2020-08-04 厦门美图之家科技有限公司 模型训练方法、装置及拍照终端
CN108717717B (zh) * 2018-04-23 2022-03-08 东南大学 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法
CN109658354B (zh) * 2018-12-20 2022-02-08 上海联影医疗科技股份有限公司 一种图像增强方法和系统
EP3785222B1 (en) 2018-05-30 2024-04-17 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN109389556B (zh) * 2018-09-21 2023-03-21 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109472743B (zh) * 2018-10-25 2021-01-15 中国科学院电子学研究所 遥感图像的超分辨率重建方法
CN110310227B (zh) * 2019-06-27 2020-09-08 电子科技大学 一种基于高低频信息分解的图像超分辨率重建方法
CN114390296A (zh) * 2019-07-15 2022-04-22 华为技术有限公司 基于小波变换的图像编解码方法及装置
CN111932444B (zh) * 2020-07-16 2023-09-19 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN112767251B (zh) * 2021-01-20 2023-04-07 重庆邮电大学 基于多尺度细节特征融合神经网络的图像超分辨率方法
US20240104163A1 (en) * 2021-03-30 2024-03-28 Nec Corporation Information processing system, information processing method, and recording medium
CN114022356A (zh) * 2021-10-29 2022-02-08 长视科技股份有限公司 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN115861081B (zh) * 2023-02-27 2023-05-23 耕宇牧星(北京)空间科技有限公司 一种基于阶梯型多级小波网络的图像超分辨率重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001054063A2 (en) * 2000-01-24 2001-07-26 Sony Electronics, Inc. Wavelet generation system and method
WO2010122727A1 (ja) * 2009-04-20 2010-10-28 富士フイルム株式会社 画像処理装置、画像処理方法およびコンピュータ読み取り可能な媒体
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001054063A2 (en) * 2000-01-24 2001-07-26 Sony Electronics, Inc. Wavelet generation system and method
WO2010122727A1 (ja) * 2009-04-20 2010-10-28 富士フイルム株式会社 画像処理装置、画像処理方法およびコンピュータ読み取り可能な媒体
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于中值滤波和小波变换的织物图像预处理;徐雪倩;张凤生;;青岛大学学报(工程技术版)(01);全文 *

Also Published As

Publication number Publication date
CN106991648A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106991648B (zh) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
Dong et al. Denoising prior driven deep neural network for image restoration
Zhang et al. High-quality image restoration using low-rank patch regularization and global structure sparsity
Schlemper et al. A deep cascade of convolutional neural networks for dynamic MR image reconstruction
Liu et al. Adaptive dictionary learning in sparse gradient domain for image recovery
CN108537731B (zh) 基于压缩多尺度特征融合网络的图像超分辨率重建方法
Pan et al. Sampling curves with finite rate of innovation
CN104063886B (zh) 一种基于稀疏表示和非局部相似的核磁共振图像重建方法
Ravishankar et al. Learning overcomplete sparsifying transforms for signal processing
Wei Image super‐resolution reconstruction using the high‐order derivative interpolation associated with fractional filter functions
CN114202459B (zh) 一种基于深度先验的盲图像超分辨率方法
Guo et al. Salt and Pepper Noise Removal with Noise Detection and a Patch‐Based Sparse Representation
Singhal et al. A domain adaptation approach to solve inverse problems in imaging via coupled deep dictionary learning
Türüki et al. The dyadic lifting schemes and the denoising of digital images
CN108649926B (zh) 基于小波基张量稀疏表示的das数据去噪方法
Liu et al. Undersampled MR Image Reconstruction with Data‐Driven Tight Frame
Wei et al. Fields of experts based multichannel compressed sensing
CN103236041A (zh) 一种基于Contourlet变换的图像超分辨率重建方法
CN114529482B (zh) 基于小波多通道深度网络的图像压缩感知重建方法
Dhengre et al. An edge guided cascaded U‐net approach for accelerated magnetic resonance imaging reconstruction
Kumar et al. Image analysis using biorthogonal wavelet
Shi et al. Blind multi-image super-resolution based on combination of ANN learning and non-subsampled Contourlet directional image representation
CN113902618B (zh) 一种基于多模态空间滤波的图像超分算法
CN105321156A (zh) 一种基于多元结构的图像复原方法
Rao et al. De-noising of EEG signals with shift-based cycle spinning on wave atoms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant