CN109064398A - 一种基于残差密集网络的图像超分辨率实现方法 - Google Patents

一种基于残差密集网络的图像超分辨率实现方法 Download PDF

Info

Publication number
CN109064398A
CN109064398A CN201810773104.4A CN201810773104A CN109064398A CN 109064398 A CN109064398 A CN 109064398A CN 201810773104 A CN201810773104 A CN 201810773104A CN 109064398 A CN109064398 A CN 109064398A
Authority
CN
China
Prior art keywords
rdb
feature
residual error
layer
shallow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810773104.4A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810773104.4A priority Critical patent/CN109064398A/zh
Publication of CN109064398A publication Critical patent/CN109064398A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于残差密集网络的图像超分辨率实现方法，其主要内容包括：浅层特征提取、层级特征提取和密集特征融合，其过程为，首先将低分辨率图像输入网络，采用两个卷积层进行浅层特征的提取；然后，将浅层特征提取的信息输入到残差密集模块(RDB)中，以进行层级特征提取，此过程主要通过连续内存机制、局部特征融合(LFF)和局部残差学习(LRL)三个部分进行；最后，进行密集特征融合(包括全局特征融合和全局残差学习)，经过图像升级后即可得到高分辨率图像。本方法采用了残差密集模块(RDB)，充分利用了原始图像的层级特征，即能够将浅层特征和深层特征合并，使得处理过后的图像具有超高的分辨率。

Description

一种基于残差密集网络的图像超分辨率实现方法
技术领域
本发明涉及图像处理领域，尤其是涉及了一种基于残差密集网络的图像超分辨率实现方法。
背景技术
图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率的实现是一个不适定逆过程，因为对于任何低分辨率图像输入都存在多种解决方案。为了解决这个逆问题，研究者们已经提出了大量的图像超分辨率实现方法，包括基于插值、基于重建和基于学习的方法。在医疗领域，对医疗图像进行高分辨率处理之后便于医生做出正确的医疗诊断；在航天领域，将卫星图像进行高分辨率处理后便于从相似对象之间寻找出区别性特征；在计算机视觉领域，提供高分辨率图像有助于提供计算机视觉的模式识别性能；此外，超分辨率的图像在监控管理、导航定位和图像分类等领域都有广泛的应用。然而，现有的图像超分辨率实现方法存在未能充分利用了原始图像的层级特征，使得图像处理效果不佳的问题。
本发明中提出的一种基于残差密集网络的图像超分辨率实现方法，先将低分辨率图像输入网络，采用两个卷积层进行浅层特征的提取；然后，将浅层特征提取的信息输入到残差密集模块(RDB)中，以进行层级特征提取，此过程主要通过连续内存机制、局部特征融合(LFF)和局部残差学习(LRL)三个部分进行；最后，进行密集特征融合(包括全局特征融合和全局残差学习)，经过图像升级后即可得到高分辨率图像。本方法采用了残差密集模块(RDB)，充分利用了原始图像的层级特征，即能够将浅层特征和深层特征合并，使得处理过后的图像具有超高的分辨率。
发明内容
针对现有的图像超分辨率实现方法存在未能充分利用了原始图像的层级特征，使得图像处理效果不佳的问题，本发明的目的在于提供一种基于残差密集网络的图像超分辨率实现方法，先将低分辨率图像输入网络，采用两个卷积层进行浅层特征的提取；然后，将浅层特征提取的信息输入到残差密集模块(RDB)中，以进行层级特征提取，此过程主要通过连续内存机制、局部特征融合(LFF)和局部残差学习(LRL)三个部分进行；最后，进行密集特征融合(包括全局特征融合和全局残差学习)，经过图像升级后即可得到高分辨率图像。
为解决上述问题，本发明提供一种基于残差密集网络的图像超分辨率实现方法，其主要内容包括：
(一)浅层特征提取；
(二)层级特征提取；
(三)密集特征融合。
其中，所述的浅层特征提取，主要采用两个卷积层进行浅层特征的提取，第一个卷积层提取的特征F-1＝HSFE1(ILR)；其中，HSFE1(·)表示卷积运算；F-1可用于进一步的浅层特征提取和全局残差学习：F0＝HSFE2(F-1)；其中，HSFE2(·)表示第二个浅层特征的提取层的卷积运算，并作为输入信息传输到残差密集模块(RDB)中。
其中，所述的层级特征提取，假设有D个残差密集模块，则第d个RDB的输出Fd可由下式得到：
Fd＝HRDB，d-1(Fd-1)＝HRDB，d(HRDB，d-1(…(HRDB，1(F0))…)) (1)
其中，HRDB，d表示第d个RDB的运算(可以是一个复合函数，如线性整流函数)；Fd即为局部特征。
进一步地，所述的残差密集模块(RDB)，主要包括：连续内存机制、局部特征融合(LFF)和局部残差学习(LRL)。
进一步地，所述的连续内存机制，主要是通过将前一个RDB的状态传递给当前RDB的每一层来实现；令Fd-1和Fd分别为第d个RDB的输入和输出，并且均含有G0个特征映射；第d个RDB的第c个卷积层的输出可用下式表示：
Fd，c＝σ(Wd，c[Fd-1，Fd，1，…，Fd，c-1]) (2)
其中，σ表示ReLU(线性整流函数)；Wd，c表示第c个卷积层的权重；前一个RDB的输出及其每一个卷积层直接与当前RDB的所有卷积层串联，这样不但可以保证前馈性，还能提取局部密集特征。
进一步地，所述的局部特征融合(LFF)，即将前一个RDB的状态与当前RDB的所有卷积层进行自适应融合；主要采用一个1×1的卷积层来进行此过程，此过程可用以下公式表示：
其中，Fd，LF表示第d个RDB的局部特征；表示第d个RDB的局部特征中的1×1的卷积层函数。
进一步地，所述的局部残差学习(LRL)，经过LRL过程之后第d个RDB的输出Fd可表达为第d-1个RDB的输出Fd-1与第d个RDB的局部特征Fd，LF之和；此过程的主要目的是增强信息流，提高网络的表达能力从而提高整个网络的性能。
其中，所述的密集特征融合，主要包括：全局特征融合和全局残差学习。
进一步地，所述的全局特征融合，通过融合所有RDB中的特征来提取全局特征FGF＝HGFF([F1，…，FD])；其中，[F1，…，FD]表示第1到第D个RDB中生成的特征映射的串联；HGFF是1×1和3×3卷积层的合成函数；1×1卷积层用于具有不同级别的一系列特征的自适应融合；3×3卷积层可提取用于进行全局残差学习的特征。
进一步地，所述的全局残差学习，主要目的是获取特征映射FDF(密集特征)，其过程可表示为浅层特征映射F-1与全局特征FGF之和。
附图说明
图1是本发明一种基于残差密集网络的图像超分辨率实现方法的系统流程图。
图2是本发明一种基于残差密集网络的图像超分辨率实现方法的RDB架构图。
图3是本发明一种基于残差密集网络的图像超分辨率实现方法的处理效果对比图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于残差密集网络的图像超分辨率实现方法的系统流程图。主要包括浅层特征提取、层级特征提取和密集特征融合。
浅层特征提取，主要采用两个卷积层进行浅层特征的提取，第一个卷积层提取的特征F-1＝HSFE1(ILR)；其中，HSFE1(·)表示卷积运算；F-1可用于进一步的浅层特征提取和全局残差学习：F0＝HSFE2(F-1)；其中，HSFE2(·)表示第二个浅层特征的提取层的卷积运算，并作为输入信息传输到残差密集模块(RDB)中。
层级特征提取，假设有D个残差密集模块，则第d个RDB的输出Fd可由下式得到：
Fd＝HRDB，d-1(Fd-1)＝HRDB，d(HRDB，d-1(…(HRDB，1(F0))…)) (1)
其中，HRDB，d表示第d个RDB的运算(可以是一个复合函数，如线性整流函数)；Fd即为局部特征。
密集特征融合，主要包括：全局特征融合和全局残差学习。
其中，全局特征融合，通过融合所有RDB中的特征来提取全局特征FGF＝HGFF[F1，…，FD])；其中，[F1，…，FD]表示第1到第D个RDB中生成的特征映射的串联；HGFF是1×1和3×3卷积层的合成函数；1×1卷积层用于具有不同级别的一系列特征的自适应融合；3×3卷积层可提取用于进行全局残差学习的特征。
其中，所述的全局残差学习，主要目的是获取特征映射FDF(密集特征)，其过程可表示为浅层特征映射F-1与全局特征FGF之和。
图2是本发明一种基于残差密集网络的图像超分辨率实现方法的RDB架构图。残差密集模块(RDB)主要包括：连续内存机制、局部特征融合(LFF)和局部残差学习(LRL)。
连续内存机制，主要是通过将前一个RDB的状态传递给当前RDB的每一层来实现；令Fd-1和Fd分别为第d个RDB的输入和输出，并且均含有G0个特征映射；第d个RDB的第c个卷积层的输出可用下式表示：
Fd，c＝σ(Wd，c[Fd-1，Fd，1，…，Fd，c-1]) (2)
其中，σ表示ReLU(线性整流函数)；Wd，c表示第c个卷积层的权重；前一个RDB的输出及其每一个卷积层直接与当前RDB的所有卷积层串联，这样不但可以保证前馈性，还能提取局部密集特征。
局部特征融合(LFF)，即将前一个RDB的状态与当前RDB的所有卷积层进行自适应融合；主要采用一个1×1的卷积层来进行此过程，此过程可用以下公式表示：
其中，Fd，LF表示第d个RDB的局部特征；表示第d个RDB的局部特征中的1×1的卷积层函数。
局部残差学习(LRL)，经过LRL过程之后第d个RDB的输出Fd可表达为第d-1个RDB的输出Fd-1与第d个RDB的局部特征Fd，LF之和；此过程的主要目的是增强信息流，提高网络的表达能力从而提高整个网络的性能。
图3是本发明一种基于残差密集网络的图像超分辨率实现方法的处理效果对比图。与已有的方法相比本方法采用了残差密集模块(RDB)，充分利用了原始图像的层级特征，即能够将浅层特征和深层特征合并，使得处理过后的图像具有超高的分辨率。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于残差密集网络的图像超分辨率实现方法，其特征在于，主要包括浅层特征提取(一)；层级特征提取(二)；密集特征融合(三)。
2.基于权利要求书1所述的浅层特征提取(一)，其特征在于，主要采用两个卷积层进行浅层特征的提取，第一个卷积层提取的特征F-1＝HSFE1(ILR)；其中，HSFE1(·)表示卷积运算；F-1可用于进一步的浅层特征提取和全局残差学习：F0＝HSFE2(F-1)；其中，HSFE2(·)表示第二个浅层特征的提取层的卷积运算，并作为输入信息传输到残差密集模块(RDB)中。
3.基于权利要求书1所述的层级特征提取(二)，其特征在于，假设有D个残差密集模块，则第d个RDB的输出Fd可由下式得到：
Fd＝HRDB，d-1(Fd-1)＝HRDB，d(HRDB，d-1(…(HRDB，1(F0))…)) (1)
其中，HRDB，d表示第d个RDB的运算(可以是一个复合函数，如线性整流函数)；Fd即为局部特征。
4.基于权利要求书3所述的残差密集模块(RDB)，其特征在于，主要包括：连续内存机制、局部特征融合(LFF)和局部残差学习(LRL)。
5.基于权利要求书4所述的连续内存机制，其特征在于，主要是通过将前一个RDB的状态传递给当前RDB的每一层来实现；令Fd-1和Fd分别为第d个RDB的输入和输出，并且均含有G0个特征映射；第d个RDB的第c个卷积层的输出可用下式表示：
Fd，c＝σ(Wd，c[Fd-1，Fd，1，…，Fd，c-1]) (2)
其中，σ表示ReLU(线性整流函数)；Wd，c表示第c个卷积层的权重；前一个RDB的输出及其每一个卷积层直接与当前RDB的所有卷积层串联，这样不但可以保证前馈性，还能提取局部密集特征。
6.基于权利要求书4所述的局部特征融合(LFF)，其特征在于，即将前一个RDB的状态与当前RDB的所有卷积层进行自适应融合；主要采用一个1×1的卷积层来进行此过程，此过程可用以下公式表示：
其中，Fd，LF表示第d个RDB的局部特征；表示第d个RDB的局部特征中的1×1的卷积层函数。
7.基于权利要求书4所述的局部残差学习(LRL)，其特征在于，经过LRL过程之后第d个RDB的输出Fd可表达为第d-1个RDB的输出Fd-1与第d个RDB的局部特征Fd，LF之和；此过程的主要目的是增强信息流，提高网络的表达能力从而提高整个网络的性能。
8.基于权利要求书1所述的密集特征融合(三)，其特征在于，主要包括：全局特征融合和全局残差学习。
9.基于权利要求书8所述的全局特征融合，其特征在于，通过融合所有RDB中的特征来提取全局特征FGF＝HGFF([F1，…，FD])；其中，[F1，…，FD]表示第1到第D个RDB中生成的特征映射的串联；HGFF是1×1和3×3卷积层的合成函数；1×1卷积层用于具有不同级别的一系列特征的自适应融合；3×3卷积层可提取用于进行全局残差学习的特征。
10.基于权利要求书8所述的全局残差学习，其特征在于，主要目的是获取特征映射FDF(密集特征)，其过程可表示为浅层特征映射F-1与全局特征FGF之和。
CN201810773104.4A 2018-07-14 2018-07-14 一种基于残差密集网络的图像超分辨率实现方法 Withdrawn CN109064398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810773104.4A CN109064398A (zh) 2018-07-14 2018-07-14 一种基于残差密集网络的图像超分辨率实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810773104.4A CN109064398A (zh) 2018-07-14 2018-07-14 一种基于残差密集网络的图像超分辨率实现方法

Publications (1)

Publication Number Publication Date
CN109064398A true CN109064398A (zh) 2018-12-21

Family

ID=64816611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810773104.4A Withdrawn CN109064398A (zh) 2018-07-14 2018-07-14 一种基于残差密集网络的图像超分辨率实现方法

Country Status (1)

Country Link
CN (1) CN109064398A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN110298791A (zh) * 2019-07-08 2019-10-01 西安邮电大学 一种车牌图像的超分辨率重建方法和装置
CN110674926A (zh) * 2019-09-06 2020-01-10 华南理工大学 一种用于目标重建的嵌套结构的渐进式稠密网络
CN110738231A (zh) * 2019-07-25 2020-01-31 太原理工大学 改进S-DNet神经网络模型的乳腺X射线图像的分类方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN111882514A (zh) * 2020-07-27 2020-11-03 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法
CN112150566A (zh) * 2020-09-27 2020-12-29 湖北工业大学 一种基于特征融合的密集残差网络图像压缩感知重建方法
CN112767255A (zh) * 2021-03-04 2021-05-07 山东大学 基于特征分离融合网络的图像超分辨率重构方法及系统
CN113052186A (zh) * 2021-03-17 2021-06-29 华中科技大学同济医学院附属协和医院 一种基于影像学的新冠肺炎诊断和病情追踪方法及系统
CN113240586A (zh) * 2021-06-17 2021-08-10 华北电力大学（保定） 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法
CN113628111A (zh) * 2021-07-28 2021-11-09 西安理工大学 基于梯度信息约束的高光谱图像超分辨方法
WO2023072176A1 (zh) * 2021-10-28 2023-05-04 北京字跳网络技术有限公司 一种视频的超分辨率方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YULUN ZHANG等: "Residual Dense Network for Image Super一Resolution", 《RESEARCHGATE》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
CN109886870B (zh) * 2018-12-29 2023-03-03 西北大学 基于双通道神经网络的遥感图像融合方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109903226B (zh) * 2019-01-30 2023-08-15 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN110298791A (zh) * 2019-07-08 2019-10-01 西安邮电大学 一种车牌图像的超分辨率重建方法和装置
CN110298791B (zh) * 2019-07-08 2022-10-28 西安邮电大学 一种车牌图像的超分辨率重建方法和装置
CN110738231A (zh) * 2019-07-25 2020-01-31 太原理工大学 改进S-DNet神经网络模型的乳腺X射线图像的分类方法
CN110738231B (zh) * 2019-07-25 2022-12-27 太原理工大学 改进S-DNet神经网络模型的乳腺X射线图像的分类方法
CN110674926A (zh) * 2019-09-06 2020-01-10 华南理工大学 一种用于目标重建的嵌套结构的渐进式稠密网络
CN111127374B (zh) * 2019-11-22 2022-02-11 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN111882514A (zh) * 2020-07-27 2020-11-03 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法
CN112150566A (zh) * 2020-09-27 2020-12-29 湖北工业大学 一种基于特征融合的密集残差网络图像压缩感知重建方法
CN112767255A (zh) * 2021-03-04 2021-05-07 山东大学 基于特征分离融合网络的图像超分辨率重构方法及系统
CN113052186A (zh) * 2021-03-17 2021-06-29 华中科技大学同济医学院附属协和医院 一种基于影像学的新冠肺炎诊断和病情追踪方法及系统
CN113240586A (zh) * 2021-06-17 2021-08-10 华北电力大学（保定） 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法
CN113628111A (zh) * 2021-07-28 2021-11-09 西安理工大学 基于梯度信息约束的高光谱图像超分辨方法
CN113628111B (zh) * 2021-07-28 2024-04-12 西安理工大学 基于梯度信息约束的高光谱图像超分辨方法
WO2023072176A1 (zh) * 2021-10-28 2023-05-04 北京字跳网络技术有限公司 一种视频的超分辨率方法及装置

Similar Documents

Publication Publication Date Title
CN109064398A (zh) 一种基于残差密集网络的图像超分辨率实现方法
CN110189253B (zh) 一种基于改进生成对抗网络的图像超分辨率重建方法
Zhou et al. LSNet: Lightweight spatial boosting network for detecting salient objects in RGB-thermal images
US20230019972A1 (en) Systems and methods of contrastive point completion with fine-to-coarse refinement
WO2023280064A1 (zh) 一种基于云边协同的音视频辅助触觉信号重建方法
CN110163801A (zh) 一种图像超分辨和着色方法、系统及电子设备
CN109325951A (zh) 一种基于生成对抗网络的转化和分割医学卷的方法
CN114419277A (zh) 基于图像的逐步生成式的人体重建方法及装置
CN116129119A (zh) 融合局部与全局特征的快速语义分割网络和语义分割方法
Yu et al. Cnsnet: A cleanness-navigated-shadow network for shadow removal
Yang et al. RAU-Net: U-Net network based on residual multi-scale fusion and attention skip layer for overall spine segmentation
Gao et al. Image super-resolution based on two-level residual learning CNN
CN114241167A (zh) 一种从视频到视频的无模板虚拟换衣方法及装置
Gao et al. Multi-branch aware module with channel shuffle pixel-wise attention for lightweight image super-resolution
CN112215140A (zh) 一种基于时空对抗的3维信号处理方法
CN112307889A (zh) 一种基于小型辅助网络的人脸检测算法
Azzam et al. KTransGAN: Variational inference-based knowledge transfer for unsupervised conditional generative learning
Ou et al. A scene segmentation algorithm combining the body and the edge of the object
Dong et al. Towards accurate facial nerve segmentation with decoupling optimization
CN115115511A (zh) 一种彩色引导的深度图超分辨率重建方法
CN115115577A (zh) 一种基于混合感知的多阶段器官分割方法及装置
CN115346221A (zh) 基于深度学习的小学生数学算式识别及自动批改方法
Su et al. CTCP: Cross Transformer and CNN for Pansharpening
Liu et al. Filling the gaps in atrous convolution: Semantic segmentation with a better context
Liu et al. Transferring Adult-like Phase Images for Robust Multi-view Isointense Infant Brain Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181221

WW01 Invention patent application withdrawn after publication