CN109816592B - 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 - Google Patents
一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 Download PDFInfo
- Publication number
- CN109816592B CN109816592B CN201910077583.0A CN201910077583A CN109816592B CN 109816592 B CN109816592 B CN 109816592B CN 201910077583 A CN201910077583 A CN 201910077583A CN 109816592 B CN109816592 B CN 109816592B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明涉及一种基于卷积神经网络的单帧图像连续尺度超分辨率方法。首先,输入待超分辨率的低分辨率图像和放大尺度因子t;其次,根据输入的放大尺度因子确定其对应的最优整数放大尺度因子s,利用双三次插值算法将输入的低分辨率图像放大s倍;再而,利用现有的基于卷积神经网络的超分辨率算法的网络模型,放大图像进行特征提取及重建,得到放大了s倍的高分辨率图像;最后,对得到的高分辨率图像,使用双三次插值缩放至目标分辨率,得到最终的放大了t倍的高分辨率图像。本发明能够有效地提高已有基于卷积神经网络的超分辨率算法在连续放大尺度超分辨率上的性能,可应用于图像处理、计算机视觉等领域。
Description
技术领域
本发明涉及图像和视频处理以及计算机视觉技术领域,具体涉及一种基于卷积神经网络的单帧图像连续尺度超分辨率方法。
背景技术
单帧图像超分辨率技术的目的是将一幅低分辨率输入图像重建成对应的高分辨率图像。作为多媒体图像处理领域的一个经典课题,单帧图像超分辨率重建问题本质上是不适定的,并没有唯一解。单帧图像超分辨率重建属于低水平计算机视觉处理任务,为压缩图像、视频增强、图像分析等提供服务。
卷积神经网络已经在单帧图像离散放大尺度超分辨率重建上取得了优越的性能,如SRCNN方法在放大尺度为整数时,重建结果的PSNR值相对于传统的双三次插值至少提升了3dB。由于残差块增强了特征的反向传递并可以避免梯度消失问题,从而在计算机视觉任务中表现出优异的性能。因此VDSR,DRRN等近两年提出的超分辨率网络都相继了采用残差块,其中,VDSR在输入的低分辨率图像和输出的高分辨率重建图像之间进行了一次残差学习,使用可调节的梯度截断策略,训练出一个鲁棒的超分辨率重建模型。DRRN则是将通过建立由多个残差单元堆栈而成的递归模块结构,将递归学习引入残差分支,递归使用残差单元进行运算,递归模块共享权重,而能够在加深结构深度的同时又避免了梯度爆炸或者梯度消失,因此超分辨率性能有所提升。MemNet引入了一个包含递归单元和门控单元的内存块,通过适应性学习来显性地挖掘持续记忆,构成区别于之前短期记忆网络的长期记忆网络,通过利用这样的结构将网络再次加深至80层,密集连接和信息补偿机制最大限度地使信息在不同内存块之间流动。但是这些基于卷积神经网络的超分辨率重建算法都只关注离散的整数放大尺度重建问题。如SRCNN,VDSR,DRRN,MemNet中参与训练的图像的放大倍数为2,3,和4。因此这些模型在非整数倍放大尺度上的超分辨性能仍有待验证。
发明内容
本发明的目的在于提供一种基于卷积神经网络的单帧图像连续尺度超分辨率方法,通过以整数尺度超分辨率重建为中心的多次缩放方法,从而实现基于卷积神经网络的连续尺度超分辨率重建。
为实现上述目的,本发明的技术方案是:一种基于卷积神经网络的单帧图像连续尺度超分辨率方法,包括如下步骤:
步骤S1、输入待超分辨率的低分辨率图像和放大尺度因子t,低分辨率图像的大小为h×w;
步骤S2、根据输入的放大尺度因子t确定其对应的最优整数放大尺度因子s,利用双三次插值算法将输入的低分辨率图像放大s倍,得到放大图像;
步骤S3、利用基于卷积神经网络的超分辨率算法的网络模型,对由步骤S2得到的放大图像进行特征提取及重建,得到放大s倍的高分辨率图像;
步骤S4、对由步骤S3得到的高分辨率图像,使用双三次插值缩放至目标分辨率,最终得到的放大t倍的高分辨率图像。
在本发明一实施例中,所述步骤S2具体实现如下:
首先,将适用于基于卷积神经网络的放大尺度因子构成整数尺度集合P={p1,p2,...,pn};
然后,从中选择最接近t的放大尺度因子作为最优整数放大尺度因子s,即最优整数放大尺度因子s计算公式如下:
再而,将低分辨率图像从RGB颜色空间转换到Ycbcr颜色空间,使用双三次插值算法分别对Y、cb、cr三个通道的低分辨率图像放大s倍,大小变为sh×sw。
在本发明一实施例中,所述步骤S3具体实现如下:
步骤S31、准备一个适用于离散整数倍超分辨率的模型的基于卷积神经网络算法的网络模型;
相较于现有技术,本发明具有以下有益效果:本发明考虑到已有的基于卷积神经网络的超分辨率算法在对非整数倍超分辨率重建效果不稳定,为保留其优势,通过一种以整数尺度超分辨率为中心的多次缩放方法,与多个基于卷积神经网络的超分辨率方法进行结合,在连续放大尺度超分辨率的性能得到了有效提高,广泛应用于图像和视频处理、计算机视觉等领域。
附图说明
图1为本发明方法的流程框图。
图2是本发明的一实施例的整体方法的实现流程图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
请参照图1和图2,本发明提供一种基于卷积神经网络的单帧图像连续尺度超分辨率方法,其特征在于,包括以下步骤:
步骤S1:输入大小为h×w的低分辨率图像和放大尺度因子t。
步骤S2:根据输入的放大尺度因子确定其对应的最优整数放大尺度因子s,利用双三次插值算法将输入的低分辨率图像放大s倍,大小变为sh×sw。
在本实施例中,将基于卷积神经网络的方法所适用的放大尺度因子构成整数尺度集合P={p1,p2,...,pn},从中选择最接近t的尺度因子作为最优整数放大尺度因子s,所以最优整数放大尺度因子s计算公式如下:
那么不同范围放大尺度因子t对应的最优整数放大尺度因子s的取值如下:当1<t≤2.5时,s取值2;当2.5<t≤3.5时,s取值3;当3.5<t≤4时,s取值4。然后将低分辨率图像从RGB颜色空间转换到Ycbcr颜色空间,使用双三次插值算法分别对Y、cb、cr三个通道的低分辨率图像放大s倍,大小变为sh×sw。
步骤S3:利用现有的基于卷积神经网络的超分辨率算法的网络模型,对由步骤S2得到的放大图像输入进行特征提取及重建,得到放大了s倍的高分辨率图像。
在本实施例中,准备一个基于卷积神经网络的算法的网络模型,这是一个已训练好的适用于离散整数倍超分辨率的模型,如VDSR、DRRN以及MemNet,本实施例使用的是VDSR网络模型;
步骤S4:对由步骤S3得到的高分辨率图像,使用双三次插值缩放至目标分辨率,得到最终放大了t倍的高分辨率图像。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (3)
1.一种基于卷积神经网络的单帧图像连续尺度超分辨率方法,其特征在于,包括如下步骤:
步骤S1、输入待超分辨率的低分辨率图像和放大尺度因子t,低分辨率图像的大小为h×w;
步骤S2、根据输入的放大尺度因子t确定其对应的最优整数放大尺度因子s,利用双三次插值算法将输入的低分辨率图像放大s倍,得到放大图像;
步骤S3、利用基于卷积神经网络的超分辨率算法的网络模型,对由步骤S2得到的放大图像进行特征提取及重建,得到放大s倍的高分辨率图像;
步骤S4、对由步骤S3得到的高分辨率图像,使用双三次插值缩放至目标分辨率,最终得到的放大t倍的高分辨率图像;
所述步骤S3具体实现如下:
步骤S31、准备一个适用于离散整数倍超分辨率的模型的基于卷积神经网络算法的网络模型;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910077583.0A CN109816592B (zh) | 2019-01-26 | 2019-01-26 | 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910077583.0A CN109816592B (zh) | 2019-01-26 | 2019-01-26 | 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109816592A CN109816592A (zh) | 2019-05-28 |
CN109816592B true CN109816592B (zh) | 2022-05-13 |
Family
ID=66605461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910077583.0A Active CN109816592B (zh) | 2019-01-26 | 2019-01-26 | 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816592B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110599399B (zh) * | 2019-07-26 | 2022-02-18 | 清华大学 | 基于卷积神经网络的快速双光子成像方法及装置 |
US20210287338A1 (en) * | 2020-03-11 | 2021-09-16 | Mediatek Inc. | Image-guided adjustment to super-resolution operations |
WO2023184525A1 (en) * | 2022-04-02 | 2023-10-05 | Covidien Lp | System and method for deep learning based hybrid image enlargement |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015129987A (ja) * | 2014-01-06 | 2015-07-16 | 国立大学法人三重大学 | 医用高解像画像形成システムおよび方法。 |
CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101651203B1 (ko) * | 2010-02-01 | 2016-08-26 | 삼성전자주식회사 | 화질 개선을 수반한 영상 확대 방법 및 그 장치 |
-
2019
- 2019-01-26 CN CN201910077583.0A patent/CN109816592B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015129987A (ja) * | 2014-01-06 | 2015-07-16 | 国立大学法人三重大学 | 医用高解像画像形成システムおよび方法。 |
CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
Non-Patent Citations (2)
Title |
---|
Accurate Spectral Super-resolution from Single RGB Image Using Multi-scale CNN;Yiqi Yan 等;《arXiv》;20181231;全文 * |
多尺度残差深度神经网络的卫星图像超分辨率算法;汪家明;《武汉工程大学学报》;20180831;第40卷(第4期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109816592A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109118431B (zh) | 一种基于多记忆及混合损失的视频超分辨率重建方法 | |
CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
CN109816592B (zh) | 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 | |
CN109118432B (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
CN106127684B (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
CN108921786B (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
CN110717856A (zh) | 一种用于医学成像的超分辨率重建算法 | |
CN109934771B (zh) | 基于循环神经网络的无监督遥感图像超分辨率重建方法 | |
CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
CN111640060A (zh) | 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法 | |
CN108765290A (zh) | 一种基于改进的稠密卷积神经网络的超分辨率重建方法 | |
CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
CN113837946B (zh) | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 | |
Hui et al. | Two-stage convolutional network for image super-resolution | |
Cai et al. | HIPA: hierarchical patch transformer for single image super resolution | |
CN111986092B (zh) | 一种基于双重网络的图像超分辨率重建方法及系统 | |
Cai et al. | TDPN: Texture and detail-preserving network for single image super-resolution | |
CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统 | |
CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
CN110288529A (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
Liu et al. | Multi-scale skip-connection network for image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |