CN112435160A - 一种基于生成式对抗网络的深度图超分辨率方法 - Google Patents

一种基于生成式对抗网络的深度图超分辨率方法 Download PDF

Info

Publication number
CN112435160A
CN112435160A CN202011231038.1A CN202011231038A CN112435160A CN 112435160 A CN112435160 A CN 112435160A CN 202011231038 A CN202011231038 A CN 202011231038A CN 112435160 A CN112435160 A CN 112435160A
Authority
CN
China
Prior art keywords
resolution
network
super
image
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011231038.1A
Other languages
English (en)
Inventor
牟金震
刘宗明
温凯瑞
曹姝清
张硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN202011231038.1A priority Critical patent/CN112435160A/zh
Publication of CN112435160A publication Critical patent/CN112435160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Abstract

本发明公开了一种基于生成式对抗网络的深度图超分辨率方法，其特征在于，包含以下步骤：S1、通过设置下采样因子，将高分辨率图像转为低分辨率图像，并将所述的高分辨率图像和低分辨率图像打包作为整个网络的训练数据对；S2、将基准超分辨网络的第5、10、15、20个残差模块与梯度引导网络相互连接，并将梯度引导网络输出与基准超分辨网络的输出相融合；S3、将融合后的超分辨深度图输入到边增强网络中，剔除图像中的噪声，输出增强后的超分辨深度图。

Description

一种基于生成式对抗网络的深度图超分辨率方法
技术领域
本发明涉及图像增强领域，特别涉及一种基于生成式对抗网络的深度图超分辨率方法。
背景技术
传统方法获取的深度图分辨率低，不利于自动驾驶等应用。因此，需要对原始获取的低分辨率深度图进行超分辨。但更改硬件系统来获取超分辨深度图的价格昂贵，因此需要从算法层面进行深度图超分辨增强。
发明内容
本发明的目的是提供一种基于生成式对抗网络的深度图超分辨率方法，采用联合梯度引导和边增强的生成式对抗网络超分辨方式，可以有效降抑制超分辨率重建后图像的扭曲和边模糊，重建视觉效果好。
为了实现以上目的，本发明是通过以下技术方案实现的：
一种基于生成式对抗网络的深度图超分辨率方法，其特点是，包含以下步骤：
S1、通过设置下采样因子，将高分辨率图像转为低分辨率图像，并将所述的高分辨率图像和低分辨率图像打包作为整个网络的训练数据对；
S2、将基准超分辨网络的第5、10、15、20个残差模块与梯度引导网络相互连接，并将梯度引导网络输出与基准超分辨网络的输出相融合；
S3、将融合后的超分辨深度图输入到边增强网络中，剔除图像中的噪声，输出增强后的超分辨深度图。
所述的步骤S2具体包括：
S2.1、将基准超分辨网络中的残差模块替换为多级残差模块；
S2.2、将高分辨率图像和低分辨率图像的训练数据对输入到基准超分辨网络中；
S2.3、获取高分辨率图像和低分辨率图像对应的梯度图，并将高分辨梯度图和低分辨率梯度图输入梯度引导网络中；
S2.4、基准超分辨网络中的第5、10、15、20层的特征输入到梯度网络的对应第1、2、3、4层中；
S2.5、梯度引导网络的最终输出与基准超分辨网络的输出融合，输出增强后的超分辨深度图。
所述的步骤S3后还包括：
S4、将已经完成图像增强后的超分辨深度图与原始低分辨率图像打包作为后续的应用。
所述的高分辨率图像和低分辨率图像通过梯度运算得到对应的梯度图，所述梯度运算包括：
Ix(v)＝I(x+1,y)-I(x-1,y)
Iy(v)＝I(x,y+1)-I(x,y-1)
▽I(v)＝(Ix(v),Iy(v))
GM(I)＝||▽I||2
其中v＝(x,y)，Ix(v)表示v在水平方向上的差分，Iy(v)表示v在垂直方向上的差分，GM(I)表示Ix(v)和Iy(v)对应位置元素的平方和的开方。
所述的边增强网络以Laplacian为操作算子提取图像的边信息，Laplacian操作算子后连接有3对卷积层与PReLU层进行边信息特征提取，随后，连接3个残差模块与1对卷积层与PReLU层进行边信息增强；边损失函数使用：
Figure BDA0002765210790000021
其中ρ(·)为Laplacian操作算子，IISR为传递个边增强网络的图像，ED(·)为边增强网络特征，w和h表示图像的宽和高，r表示下采样因子。
本发明与现有技术相比，具有以下优点：
本发明采用联合梯度引导和边增强的生成式对抗网络超分辨方式，可以有效降抑制超分辨率重建后图像的扭曲和边模糊，重建视觉效果好。该成果对基于深度学习的图像处理系统的设计与工程应用具有重要的指导意义。
附图说明
图1为本发明一种基于生成式对抗网络的深度图超分辨率方法的流程图；
图2为网络关系图。
具体实施方式
以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
如图1、2所示，一种基于生成式对抗网络的深度图超分辨率方法，包含以下步骤：
S1、通过设置下采样因子，将高分辨率图像转为低分辨率图像，并将所述的高分辨率图像和低分辨率图像打包作为整个网络的训练数据对；
S2、将基准超分辨网络的第5、10、15、20个残差模块与梯度引导网络相互连接，并将梯度引导网络输出与基准超分辨网络的输出相融合；
S3、将融合后的超分辨深度图输入到边增强网络中，剔除图像中的噪声，输出增强后的超分辨深度图。
所述的步骤S2具体包括：
S2.1、将基准超分辨网络中的残差模块替换为多级残差模块；
S2.2、将高分辨率图像和低分辨率图像的训练数据对输入到基准超分辨网络中；
S2.3、获取高分辨率图像和低分辨率图像对应的梯度图，并将高分辨梯度图和低分辨率梯度图输入梯度引导网络中；
S2.4、基准超分辨网络中的第5、10、15、20层的特征输入到梯度网络的对应第1、2、3、4层中；
S2.5、梯度引导网络的最终输出与基准超分辨网络的输出融合，输出超分辨深度图。
所述的步骤S3后还包括：
S4、将已经完成图像增强超分辨深度图与原始低分辨率图像打包作为后续的应用。
梯度图揭示了图像局部区域的锐化程度。梯度分支网络把低分辨图像的梯度图转化为高分辨率梯度图。将恢复的高分辨率梯度图整合到基准超分辨网络分支，给超分过程提供结构先验信息。除此之外，梯度图高亮部分促使基准网络注意图像的蜕化和结构。梯度运算定义为：
Ix(v)＝I(x+1,y)-I(x-1,y)
Iy(v)＝I(x,y+1)-I(x,y-1)
▽I(v)＝(Ix(v),Iy(v))
GM(I)＝||▽I||2
其中v＝(x,y)，Ix(v)表示v在水平方向上的差分，Iy(v)表示v在垂直方向上的差分，GM(I)表示Ix(v)和Iy(v)对应位置元素的平方和的开方。
梯度分支网络采用基准的生成式对抗网络超分辨方法，其网络的基准模块为残差模块，这里使用4个残差模块。将第四个残差模块输出的特征信息传递给3*3卷积层后链接基准超分辨网络的特征信息，输出融合后的超分辨率图像。
基准超分辨网络使用基于像素级的损失函数L1＝E||G(LLR)-IHR||1、基于预训练的VGG网络的内容感知损失函数
Figure BDA0002765210790000041
与对抗损失函数
Figure BDA0002765210790000042
其中LLR表示低分率图像，IHR表示高分辨率图像，G(·)表示生成器，
Figure BDA0002765210790000043
表示从VGG隐含层提取的特征图的第i个通道，ISR表示超分辨图像，DSR(·)表示基准网络分支的判别器，GM(·)表示梯度运算。梯度分支网络使用梯度损失函数
Figure BDA0002765210790000044
边增强网络以Laplacian为操作算子提取图像的边信息。Laplacian操作算子后连接有3对卷积层与PReLU层进行边信息特征提取。随后，连接3个残差模块与1对卷积层与PReLU层进行边信息增强。边损失函数使用
Figure BDA0002765210790000045
其中ρ(·)为Laplacian操作算子，IISR为传递个边增强网络的图像，ED(·)为边增强网络特征，w和h表示图像的宽和高，r表示下采样因子。
综上所述，本发明一种基于生成式对抗网络的深度图超分辨率方法，采用联合梯度引导和边增强的生成式对抗网络超分辨方式，可以有效降抑制超分辨率重建后图像的扭曲和边模糊，重建视觉效果好。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (5)

1.一种基于生成式对抗网络的深度图超分辨率方法，其特征在于，包含以下步骤：
S1、通过设置下采样因子，将高分辨率图像转为低分辨率图像，并将所述的高分辨率图像和低分辨率图像打包作为整个网络的训练数据对；
S2、将基准超分辨网络的第5、10、15、20个残差模块与梯度引导网络相互连接，并将梯度引导网络输出与基准超分辨网络的输出相融合；
S3、将融合后的超分辨深度图输入到边增强网络中，剔除图像中的噪声，输出增强后的超分辨深度图。
2.如权利要求1所述的基于生成式对抗网络的深度图超分辨率方法，其特征在于，所述的步骤S2具体包括：
S2.1、将基准超分辨网络中的残差模块替换为多级残差模块；
S2.2、将高分辨率图像和低分辨率图像的训练数据对输入到基准超分辨网络中；
S2.3、获取高分辨率图像和低分辨率图像对应的梯度图，并将高分辨梯度图和低分辨率梯度图输入梯度引导网络中；
S2.4、基准超分辨网络中的第5、10、15、20层的特征输入到梯度网络的对应第1、2、3、4层中；
S2.5、梯度引导网络的最终输出与基准超分辨网络的输出融合，输出增强后的超分辨深度图。
3.如权利要求1所述的基于生成式对抗网络的深度图超分辨率方法，其特征在于，所述的步骤S3后还包括：
S4、将已经完成图像增强后的超分辨深度图与原始低分辨率图像打包作为后续的应用。
4.如权利要求2所述的基于生成式对抗网络的深度图超分辨率方法，其特征在于，所述的高分辨率图像和低分辨率图像通过梯度运算得到对应的梯度图，所述梯度运算包括：
Ix(v)＝I(x+1,y)-I(x-1,y)
Iy(v)＝I(x,y+1)-I(x,y-1)
Figure FDA0002765210780000021
Figure FDA0002765210780000022
其中v＝(x,y)，Ix(v)表示v在水平方向上的差分，Iy(v)表示v在垂直方向上的差分，GM(I)表示Ix(v)和Iy(v)对应位置元素的平方和的开方。
5.如权利要求1所述的基于生成式对抗网络的深度图超分辨率方法，其特征在于，所述的边增强网络以Laplacian为操作算子提取图像的边信息，Laplacian操作算子后连接有3对卷积层与PReLU层进行边信息特征提取，随后，连接3个残差模块与1对卷积层与PReLU层进行边信息增强；边损失函数使用：
Figure FDA0002765210780000023
其中ρ(·)为Laplacian操作算子，IISR为传递个边增强网络的图像，ED(·)为边增强网络特征，w和h表示图像的宽和高，r表示下采样因子。
CN202011231038.1A 2020-11-06 2020-11-06 一种基于生成式对抗网络的深度图超分辨率方法 Pending CN112435160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011231038.1A CN112435160A (zh) 2020-11-06 2020-11-06 一种基于生成式对抗网络的深度图超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011231038.1A CN112435160A (zh) 2020-11-06 2020-11-06 一种基于生成式对抗网络的深度图超分辨率方法

Publications (1)

Publication Number Publication Date
CN112435160A true CN112435160A (zh) 2021-03-02

Family

ID=74695591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011231038.1A Pending CN112435160A (zh) 2020-11-06 2020-11-06 一种基于生成式对抗网络的深度图超分辨率方法

Country Status (1)

Country Link
CN (1) CN112435160A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831583A (zh) * 2012-08-02 2012-12-19 上海交通大学 基于分形分析的图像视频超分辨率与增强方法
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN111667407A (zh) * 2020-05-18 2020-09-15 武汉大学 一种深度信息引导的图像超分辨率方法
CN111696033A (zh) * 2020-05-07 2020-09-22 中山大学 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831583A (zh) * 2012-08-02 2012-12-19 上海交通大学 基于分形分析的图像视频超分辨率与增强方法
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN111696033A (zh) * 2020-05-07 2020-09-22 中山大学 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN111667407A (zh) * 2020-05-18 2020-09-15 武汉大学 一种深度信息引导的图像超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENG MA等: ""Structure-Preserving Super Resolution with Gradient Guidance "", 《CVPR 2020 》 *
卢涛等: "基于边缘增强生成对抗网络的人脸超分辨率重建", 《华中科技大学学报(自然科学版)》 *
张红霞等: "图像边缘检测算法研究新进展", 《计算机工程与应用》 *

Similar Documents

Publication Publication Date Title
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN109785236B (zh) 一种基于超像素和卷积神经网络的图像超分辨方法
CN111340744B (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN112102173B (zh) 光场图像角度超分辨率重建方法
CN111784582A (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN111583113A (zh) 一种基于生成对抗网络的红外图像超分辨率重建方法
CN112396554B (zh) 一种基于生成对抗网络的图像超分辨率方法
CN113591831A (zh) 一种基于深度学习的字体识别方法、系统及存储介质
CN114066777B (zh) 一种光场图像角度重建方法
CN111754399A (zh) 基于梯度的保持几何结构的图像超分辨率方法
CN111986102B (zh) 一种数字病理图像去模糊方法
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN112435160A (zh) 一种基于生成式对抗网络的深度图超分辨率方法
CN116703725A (zh) 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法
CN116612211A (zh) 一种基于gan和3d系数重建的人脸图像身份合成方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
CN115311145A (zh) 图像处理方法及装置、电子设备、存储介质
CN116309064B (zh) 一种基于子孔径图像的光场图像角度超分辨率方法
CN114494016A (zh) 一种基于神经网络的视差图超解像方法
CN113762476B (zh) 一种用于文字检测的神经网络模型及其文字检测方法
Zhang et al. A Denoisable Super Resolution Method: A Way to Improve Structure from Motion’s Performance against CMOS’s Noise
CN117196972A (zh) 一种基于改进的Transformer的文档伪影去除方法
CN117037112A (zh) 一种基于自注意力和退化学习的超分辨率远距离行人检测方法
CN117557474A (zh) 基于多尺度语义驱动的图像修复方法及系统
Zhao et al. Structure-Texture Dual Preserving for Remote Sensing Image Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210302