CN107657586A - 一种基于深度残差网络的单照片超分辨增强方法 - Google Patents

一种基于深度残差网络的单照片超分辨增强方法 Download PDF

Info

Publication number
CN107657586A
CN107657586A CN201710961049.7A CN201710961049A CN107657586A CN 107657586 A CN107657586 A CN 107657586A CN 201710961049 A CN201710961049 A CN 201710961049A CN 107657586 A CN107657586 A CN 107657586A
Authority
CN
China
Prior art keywords
convolution
layer
mrow
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710961049.7A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201710961049.7A priority Critical patent/CN107657586A/zh
Publication of CN107657586A publication Critical patent/CN107657586A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明中提出的一种基于深度残差网络的单照片超分辨增强方法,其主要内容包括:卷积模块、独立结构层、变换模型、损失函数,其过程为,首先使用一系列卷积模块和像素重整模块搭建深度残差网络,使用独立的卷积层和数据叠加层进行图像残差的提炼和叠加,然后中间数据经过像素重整模块,里面的上采样操作将输入图像的清晰度提高。本发明可以处理不同尺寸图像的超分辨率增强,提供单变换和多变换框架解决图像生成,同时在控制图像视觉上的扭曲程度下提高图像的清晰度和分辨率。

Description

一种基于深度残差网络的单照片超分辨增强方法
技术领域
本发明涉及图像增强领域,尤其是涉及了一种基于深度残差网络的单照片超分辨增强方法。
背景技术
分辨率增强技术是一种有效的克服传感器技术限制,提高图像空间分辨率的方法。因为它的应用可以提高图像的空间分辨率,这样人们更容易分辨和识别出图像中的细节信息,因此分辨率增强技术对提高目标检测能力具有重要意义。例如,在军事上,高的空间分辨率遥感图像更容易获取坦克、飞机等目标的信息,为进一步的军事指挥计划、实施军事打击等提供必要的帮助;在医学上,更高空间分辨率的CT或MRI等图像可以使医生对微小病变组织等进行精确识别,更准确地诊断病人的病情,为人类健康造福;在抢险救灾中,更高空间分辨率的图像对于准确地检测出起火点、溃堤点位置等,对及时挽救人民生命财产安全具有重要意义。因此针对高光谱图像特点进一步研究新的空间分辨率增强方法,对提高目标检测能力是非常必要的,对加强我国国防建设,发展国民经济等都具有重要的意义。此外,随着高新技术的出现,提高图像的分辨率有助于智能导航、人机交互机器人、交通工具自动停泊等新兴领域的发展。
传统方法中,在观察者对场景采用了变焦观察方法时,观察者需要在不同的焦距下观察场景的局部细节特征。然而为了保证场景的效果,图像不可能无限制地放大。采用传统插值方法对图像进行数倍放大处理后,图像将会变得整体模糊,边缘处更会产生锯齿现象。如果继续提高图像的放大倍数,图像的质量将下降得非常快。因此,如何有效的提高图像的分辨率已成为基于图像的虚拟现实系统需要解决的一个重要问题。
本发明提出了一种基于深度残差卷积与叠加的新框架。使用一系列卷积模块和像素重整模块搭建深度残差网络,使用独立的卷积层和数据叠加层进行图像残差的提炼和叠加,然后中间数据经过像素重整模块,里面的上采样操作将输入图像的清晰度提高。本发明可以处理不同尺寸图像的超分辨率增强,提供单变换和多变换框架解决图像生成,同时在控制图像视觉上的扭曲程度下提高图像的清晰度和分辨率。
发明内容
针对解决在常规不定尺寸图像中进行图像分辨率增强的问题,本发明的目的在于提供一种基于深度残差网络的单照片超分辨增强方法,提出了一种基于深度残差卷积与叠加的新框架。
为解决上述问题,本发明提供一种基于深度残差网络的单照片超分辨增强方法,其主要内容包括:
(一)卷积模块;
(二)独立结构层;
(三)变换模型;
(四)损失函数。
其中,所述的卷积模块,包括一般结构层和数据叠加层。
所述的一般结构层,将中间数据依次经过第一卷积层、非线性激活函数层和第二卷积层,具体地:
(1)第一卷积层:卷积核大小为3×3,输出特征图个数为64,卷积步长为1;
(2)非线性激活函数:采用ReLU激活函数,其函数特性及作用为引入非线性操作,将特征图中小于零的值变成零,而大于零的值维持不变:
f(x)=max(0,x), (1)
(3)第二卷积层:卷积核大小为3×3,输出特征图个数为64,卷积步长为1。
所述的数据叠加层,包括局部叠加和全局叠加两部分,具体为:
(1)局部叠加:在处理中间数据时,输入到每一个卷积模块时的数据流和该数据流经过一般结构层处理后的数据流进行合并,并且作为该卷积模块的输出,继续输入到下一卷积模块;
(2)全局叠加:最初的输入图像经过卷积层后的数据流与经过全部卷积模块和批归一化处理后的数据流进行叠加,输入到像素重整模块。
所述的像素重整模块,包括一个卷积层和一个像素重整层,具体为:
(1)卷积层:卷积核大小为3×3,输出特征图个数为256,卷积步长为1;
(2)像素重整层:使用比例系数C,对输入数据流进行上采样操作。
所述的独立结构层,包括三个独立卷积层一个批归一化处理层,分别应用在网络框架前端、中端和终端,具体设置为:
(1)卷积层I1:卷积核大小为9×9,输出特征图个数为64,卷积步长为1;
(2)卷积层I2:卷积核大小为3×3,输出特征图个数为64,卷积步长为1;
(3)批归一化处理层:在训练过程中,按照每批次训练的方式,将数据x进行归一化处理,具体为:
其中,E(·)和Var(·)分别表示取绝对值操作和取方差操作;
(4)卷积层I3:卷积核大小为9×9,输出特征图个数为F,卷积步长为1。
所述的变换模型参数设置,包括单变换模型参数设置和多变换模型参数设置。
所述的单变换模型,按照串联方式将所有卷积模块依次排列,并设置卷积模块总数B为32,输出特征图个数F为256,上采样比例系数为C为0.1。
所述的多变换模型,在单变换模型的基础上,先在图像传输前端增加一个并行的残差网络,具体为3个卷积模块并行放置,然后再将输出的数据合并输入到后续的串联卷积模块序列中;设置串联卷积模块总数B为80,输出特征图个数F为64,上采样比例系数为C为0.1。
所述的损失函数,用均方差函数进行图像视觉上的扭曲程度控制,以降低卷积操作对图像的破坏,具体为:给定低分辨率图像ILR、真实超分辨图像IHR和通过本网络产生的超分辨率图像G(ILR),有:
其中,W、H分别是该图像的宽度与高度。
附图说明
图1是本发明一种基于深度残差网络的单照片超分辨增强方法的系统流程图。
图2是本发明一种基于深度残差网络的单照片超分辨增强方法的效果图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于深度残差网络的单照片超分辨增强方法的系统流程图。主要包括卷积模块;独立层结构;变换模型;损失函数。
其中,卷积模块,包括一般结构层和数据叠加层。
一般结构层,将中间数据依次经过第一卷积层、非线性激活函数层和第二卷积层,具体地:
(1)第一卷积层:卷积核大小为3×3,输出特征图个数为64,卷积步长为1;
(2)非线性激活函数:采用ReLU激活函数,其函数特性及作用为引入非线性操作,将特征图中小于零的值变成零,而大于零的值维持不变:
f(x)=max(0,x), (1)
(3)第二卷积层:卷积核大小为3×3,输出特征图个数为64,卷积步长为1。
数据叠加层,包括局部叠加和全局叠加两部分,具体为:
(1)局部叠加:在处理中间数据时,输入到每一个卷积模块时的数据流和该数据流经过一般结构层处理后的数据流进行合并,并且作为该卷积模块的输出,继续输入到下一卷积模块;
(2)全局叠加:最初的输入图像经过卷积层后的数据流与经过全部卷积模块和批归一化处理后的数据流进行叠加,输入到像素重整模块。
像素重整模块,包括一个卷积层和一个像素重整层,具体为:
(1)卷积层:卷积核大小为3×3,输出特征图个数为256,卷积步长为1;
(2)像素重整层:使用比例系数C,对输入数据流进行上采样操作。
独立结构层,包括三个独立卷积层一个批归一化处理层,分别应用在网络框架前端、中端和终端,具体设置为:
(1)卷积层I1:卷积核大小为9×9,输出特征图个数为64,卷积步长为1;
(2)卷积层I2:卷积核大小为3×3,输出特征图个数为64,卷积步长为1;
(3)批归一化处理层:在训练过程中,按照每批次训练的方式,将数据x进行归一化处理,具体为:
其中,E(·)和Var(·)分别表示取绝对值操作和取方差操作;
(4)卷积层I3:卷积核大小为9×9,输出特征图个数为F,卷积步长为1。
变换模型参数设置,包括单变换模型参数设置和多变换模型参数设置。
单变换模型,按照串联方式将所有卷积模块依次排列,并设置卷积模块总数B为32,输出特征图个数F为256,上采样比例系数为C为0.1。
多变换模型,在单变换模型的基础上,先在图像传输前端增加一个并行的残差网络,具体为3个卷积模块并行放置,然后再将输出的数据合并输入到后续的串联卷积模块序列中;设置串联卷积模块总数B为80,输出特征图个数F为64,上采样比例系数为C为0.1。
损失函数,用均方差函数进行图像视觉上的扭曲程度控制,以降低卷积操作对图像的破坏,具体为:给定低分辨率图像ILR、真实超分辨图像IHR和通过本网络产生的超分辨率图像G(ILR),有:
其中,W、H分别是该图像的宽度与高度。
图2是本发明一种基于深度残差网络的单照片超分辨增强方法的效果图。如图所示,可以观察到在原始图像某一区域进行分辨率增强的过程中,本发明方法中的两种模型都要比其他现存的方法要好,具体表现在特征保留程度、视觉效果和图像特征锐利程度上,其总体效果最为接近原图高分辨率版本。
对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于深度残差网络的单照片超分辨增强方法,其特征在于,主要包括卷积模块(一);独立结构层(二);变换模型(三);损失函数(四)。
2.基于权利要求书1所述的卷积模块(一),其特征在于,包括一般结构层和数据叠加层。
3.基于权利要求书2所述的一般结构层,其特征在于,将中间数据依次经过第一卷积层、非线性激活函数层和第二卷积层,具体地:
(1)第一卷积层:卷积核大小为3×3,输出特征图个数为64,卷积步长为1;
(2)非线性激活函数:采用ReLU激活函数,其函数特性及作用为引入非线性操作,将特征图中小于零的值变成零,而大于零的值维持不变:
f(x)=max(0,x), (1)
(3)第二卷积层:卷积核大小为3×3,输出特征图个数为64,卷积步长为1。
4.基于权利要求书2所述的数据叠加层,其特征在于,包括局部叠加和全局叠加两部分,具体为:
(1)局部叠加:在处理中间数据时,输入到每一个卷积模块时的数据流和该数据流经过一般结构层处理后的数据流进行合并,并且作为该卷积模块的输出,继续输入到下一卷积模块;
(2)全局叠加:最初的输入图像经过卷积层后的数据流与经过全部卷积模块和批归一化处理后的数据流进行叠加,输入到像素重整模块。
5.基于权利要求书4所述的像素重整模块,其特征在于,包括一个卷积层和一个像素重整层,具体为:
(1)卷积层:卷积核大小为3×3,输出特征图个数为256,卷积步长为1;
(2)像素重整层:使用比例系数C,对输入数据流进行上采样操作。
6.基于权利要求书1所述的独立结构层(二),其特征在于,包括三个独立卷积层一个批归一化处理层,分别应用在网络框架前端、中端和终端,具体设置为:
(1)卷积层I1:卷积核大小为9×9,输出特征图个数为64,卷积步长为1;
(2)卷积层I2:卷积核大小为3×3,输出特征图个数为64,卷积步长为1;
(3)批归一化处理层:在训练过程中,按照每批次训练的方式,将数据x进行归一化处理,具体为:
<mrow> <mover> <mi>x</mi> <mo>^</mo> </mover> <mo>=</mo> <mfrac> <mrow> <mi>x</mi> <mo>-</mo> <mi>E</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <msqrt> <mrow> <mi>V</mi> <mi>a</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mfrac> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中,E(·)和Var(·)分别表示取绝对值操作和取方差操作;
(4)卷积层I3:卷积核大小为9×9,输出特征图个数为F,卷积步长为1。
7.基于权利要求书1所述的变换模型参数设置(三),其特征在于,包括单变换模型参数设置和多变换模型参数设置。
8.基于权利要求书7所述的单变换模型,其特征在于,按照串联方式将所有卷积模块依次排列,并设置卷积模块总数B为32,输出特征图个数F为256,上采样比例系数为C为0.1。
9.基于权利要求书7所述的多变换模型,其特征在于,在单变换模型的基础上,先在图像传输前端增加一个并行的残差网络,具体为3个卷积模块并行放置,然后再将输出的数据合并输入到后续的串联卷积模块序列中;设置串联卷积模块总数B为80,输出特征图个数F为64,上采样比例系数为C为0.1。
10.基于权利要求书1所述的损失函数(四),其特征在于,用均方差函数进行图像视觉上的扭曲程度控制,以降低卷积操作对图像的破坏,具体为:给定低分辨率图像ILR、真实超分辨图像IHR和通过本网络产生的超分辨率图像G(ILR),有:
其中,W、H分别是该图像的宽度与高度。
CN201710961049.7A 2017-10-13 2017-10-13 一种基于深度残差网络的单照片超分辨增强方法 Withdrawn CN107657586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710961049.7A CN107657586A (zh) 2017-10-13 2017-10-13 一种基于深度残差网络的单照片超分辨增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710961049.7A CN107657586A (zh) 2017-10-13 2017-10-13 一种基于深度残差网络的单照片超分辨增强方法

Publications (1)

Publication Number Publication Date
CN107657586A true CN107657586A (zh) 2018-02-02

Family

ID=61118669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710961049.7A Withdrawn CN107657586A (zh) 2017-10-13 2017-10-13 一种基于深度残差网络的单照片超分辨增强方法

Country Status (1)

Country Link
CN (1) CN107657586A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维-Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108304816A (zh) * 2018-02-09 2018-07-20 北京京东金融科技控股有限公司 身份识别方法、装置、存储介质及电子设备
CN108446798A (zh) * 2018-03-08 2018-08-24 重庆邮电大学 基于双路径时空残差网络的城市人群流动预测方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN109344698A (zh) * 2018-08-17 2019-02-15 西安电子科技大学 基于可分离卷积和硬阈值函数的高光谱波段选择方法
CN109447907A (zh) * 2018-09-20 2019-03-08 宁波大学 一种基于全卷积神经网络的单图像增强方法
CN109991602A (zh) * 2019-04-10 2019-07-09 中国人民解放军国防科技大学 基于深度残差网络的isar图像分辨率增强方法
CN110047038A (zh) * 2019-02-27 2019-07-23 南京理工大学 一种基于层级递进网络的单图像超分辨重建方法
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
WO2020233129A1 (zh) * 2019-05-17 2020-11-26 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN113420840A (zh) * 2021-08-23 2021-09-21 常州微亿智造科技有限公司 基于低分辨率图像的目标检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BEE LIM等: "Enhanced Deep Residual Networks for Single Image Super-Resolution", 《ARXIV(HTTPS://ARXIV.ORG/ABS/1707.02921V1)》 *
CHRISTIAN LEDIG 等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《ARXIV(HTTPS://ARXIV.ORG/ABS/1069.04802V5)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304816B (zh) * 2018-02-09 2020-09-01 京东数字科技控股有限公司 身份识别方法、装置、存储介质及电子设备
CN108304816A (zh) * 2018-02-09 2018-07-20 北京京东金融科技控股有限公司 身份识别方法、装置、存储介质及电子设备
US10991076B2 (en) 2018-02-11 2021-04-27 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Image super-resolution method, image super-resolution device, and computer readable storage medium
WO2019153671A1 (zh) * 2018-02-11 2019-08-15 深圳创维-Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维-Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108446798A (zh) * 2018-03-08 2018-08-24 重庆邮电大学 基于双路径时空残差网络的城市人群流动预测方法
CN109344698A (zh) * 2018-08-17 2019-02-15 西安电子科技大学 基于可分离卷积和硬阈值函数的高光谱波段选择方法
CN109344698B (zh) * 2018-08-17 2021-09-03 西安电子科技大学 基于可分离卷积和硬阈值函数的高光谱波段选择方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN109447907A (zh) * 2018-09-20 2019-03-08 宁波大学 一种基于全卷积神经网络的单图像增强方法
CN110047038A (zh) * 2019-02-27 2019-07-23 南京理工大学 一种基于层级递进网络的单图像超分辨重建方法
CN110047038B (zh) * 2019-02-27 2022-11-04 南京理工大学 一种基于层级递进网络的单图像超分辨重建方法
CN109991602A (zh) * 2019-04-10 2019-07-09 中国人民解放军国防科技大学 基于深度残差网络的isar图像分辨率增强方法
WO2020233129A1 (zh) * 2019-05-17 2020-11-26 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN113420840A (zh) * 2021-08-23 2021-09-21 常州微亿智造科技有限公司 基于低分辨率图像的目标检测方法和系统

Similar Documents

Publication Publication Date Title
CN107657586A (zh) 一种基于深度残差网络的单照片超分辨增强方法
WO2021120404A1 (zh) 一种红外和可见光的融合方法
Shi et al. Super-resolution reconstruction of MR image with a novel residual learning network algorithm
JP6611107B2 (ja) 画像をアップサンプリングするコンピューターシステム及び方法
CN114549731B (zh) 视角图像的生成方法、装置、电子设备及存储介质
CN108475415A (zh) 用于图像处理的方法和系统
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN107154023A (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN106651938A (zh) 一种融合高分辨率彩色图像的深度图增强方法
CN106981080A (zh) 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107220957B (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN103854267B (zh) 一种基于变分与分数阶微分的图像融合与超分辨率实现方法
DE102015113240A1 (de) System, verfahren und computerprogrammprodukt für schattierung unter verwendung eines dynamischen objektraumgitters
CN104835130A (zh) 一种多曝光图像融合方法
CN105631807A (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN103065292B (zh) 一种基于主成份稀疏表达的人脸超分辨率重建方法
CN107067380A (zh) 基于低秩张量和层次化字典学习的高分辨率图像重构方法
CN102393966A (zh) 基于多尺度显著图的自适应图像压缩采样方法
DE102020133244A1 (de) Kantenbewusste Aufwärtsskalierung für verbesserte Bildschirminhaltsqualität
CN106327422A (zh) 一种图像风格化重建方法及装置
CN109472752A (zh) 基于航拍图像的多曝光融合系统
CN112991165B (zh) 一种图像的处理方法及装置
CN106846250A (zh) 一种基于多尺度滤波的超分辨率重建方法
Wang et al. Joint depth map super-resolution method via deep hybrid-cross guidance filter
CN109447900A (zh) 一种图像超分辨率重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180202

WW01 Invention patent application withdrawn after publication