CN108537731A - 基于压缩多尺度特征融合网络的图像超分辨率重建方法 - Google Patents
基于压缩多尺度特征融合网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN108537731A CN108537731A CN201810315128.5A CN201810315128A CN108537731A CN 108537731 A CN108537731 A CN 108537731A CN 201810315128 A CN201810315128 A CN 201810315128A CN 108537731 A CN108537731 A CN 108537731A
- Authority
- CN
- China
- Prior art keywords
- feature fusion
- scale feature
- image
- resolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006835 compression Effects 0.000 title claims abstract description 20
- 238000007906 compression Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 3
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于压缩多尺度特征融合网络的图像超分辨率重建方法,用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。实现步骤为:获取由高低分辨率图像对组成的训练样本集;构建多尺度特征融合网络;对多尺度特征融合网络进行训练;获取压缩多尺度特征融合网络;用压缩多尺度特征融合网络对待重建RGB图像进行超分辨率重建。本发明在多尺度特征融合网络中采用多个依次层叠连接的多尺度特征融合层提取低分辨图像的多尺度特征,并对其进行非线性映射,有利于提高重建后的高分辨率图像峰值信噪比和结构相似性。可用于遥感成像、公共安全、医学诊断等领域。
Description
技术领域
本发明属于图像处理技术领域,涉及一种图像超分辨率重建方法,具体涉及一种基于压缩多尺度特征融合网络的图像超分辨率重建方法,可用于遥感成像、公共安全、医学诊断等领域。
背景技术
图像超分辨率是指提高图像的分辨率。图像超分辨率重建方法是一种从观测到的低分辨率的图像重建出相应的高分辨率图像的方法。图像超分辨率重建的方法主要分为三类:基于插值、基于重建和基于学习的方法。近年来基于学习的方法成为图像超分辨率重建方法的主要研究方向,其主要思想是利用高低分辨率图像对作为训练样本,分别提取高低分辨率图像对的特征,利用数学模型学习对应特征之间的非线性映射关系,从而根据输入的低分辨率图像特征估计出其相应的高分辨率图像特征,进而重建出相应的高分辨率图像。但是传统的基于学习的图像超分辨率重建方法只能提取低分辨率图像中一些简单的特征,不足以充分地表征丰富的图像信息,而且仅使用浅层网络对低分辨率图像特征与高分辨率图像特征之间非线性映射关系进行拟合,无法拟合出准确的非线性映射关系,导致重建的高分辨率图像的峰值信噪比和结构相似性较低。
深度神经网络由于特征提取能力强和非线性表达能力鲁棒的特性,被用于图像超分辨率重建问题,深度神经网络可以提取训练样本中高低分辨率图像中更加丰富的图像特征,并且对高低分辨率图像特征之间的非线性映射关系进行更好的拟合,从而可以使重建的高分辨率图像具有更高的峰值信噪比和结构相似性。当前,研究人员已经提出一些基于深度神经网络的图像超分辨率重建方法,例如,Jiwon Kim和Jung Kwon Lee等人在2016年在Computer Vision and Pattern Recognition会议上发表的名为“Accurate imagesuper-resolution using very deep convolutional networks”的文章,公开了一种基于深度卷积神经网络的图像超分辨率重建方法,该方法采用一个端到端的深度卷积神经网络提取低分辨率图像的特征,并将该特征映射为高分辨率图像特征,进而重建出高分辨率图像。这种端到端的深度神经网络采用20个卷积层级联,且在各个卷积层之后使用一个非线性激活层的结构,这种结构不仅可以用于提取低分辨图像大尺度的图像特征,这些大尺度的图像特征可以表征更加丰富的图像信息,而且可以更好地拟合高低分辨率图像特征之间的非线性映射关系,使得重建的高分辨率图像的峰值信噪比和结构相似性得到提高。但是,事实上,低分辨率图像中包含不同尺度的特征,而上述端到端的深度卷积神经网络只能提取低分辨率图像的单一尺度的特征,导致提取的特征丢失了低分辨率图像的部分细节信息和结构信息,使得重建的高分辨率图像的峰值信噪比和结构相似性还有待提高。
发明内容
本发明的目的在于克服上述已有技术存在的不足,提出了一种基于压缩多尺度特征融合网络的图像超分辨率重建方法,用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。
本发明的技术思路是,采用多尺度特征融合网络中的多尺度特征融合层提取低分辨率图像的多个尺度的特征,以表征低分辨率图像中更丰富的细节信息以及更完整的结构信息,并且将多个多尺度特征融合层依次层叠连接以进一步提高网络对高低图像分辨率图像特征之间非线性映射关系的拟合能力,从而解决了重建的高分辨率图像的峰值信噪比和结构相似性较低的问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取训练样本集:
(1a)从数据库中提取p幅RGB图像,并对每幅图像进行旋转和尺度变换,得到q幅RGB图像,其中p≥1,q>p;
(1b)对q幅RGB图像进行格式转换,并从得到的q幅YCbCr图像中各提取一幅Y通道图像,得到q幅Y通道图像,并对q幅Y通道图像进行编号,得到q幅带编号的Y通道图像;
(1c)对q幅带编号的Y通道图像分别进行模糊处理,得到q幅带编号的低分辨率图像;
(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对,得到q个高低分辨率图像对,其中i=1...q;
(1e)对q个高低分辨率图像对分别进行裁剪,并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S={(X1,Y1),(X2,Y2),...,(Xi,Yi),...,(XN,YN)},i=1,...,N,其中Xi为第i幅高低分辨率图像对中的低分辨率图像,Yi第i幅高低分辨率图像对中的高分辨率图像,N≥q,c≥15;
(2)构建多尺度特征融合网络:
构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络,8≤H≤12,其中:
所述输入层,用于接收高低分辨率图像对;
所述多尺度特征融合层,用于提取高低分辨率图像对中的低分辨率图像特征,并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征,包括依次层叠的多尺度特征提取层、concat层和第二卷积层,其中,所述多尺度特征提取层,包括n个并行的第三卷积层,n≥2,每个第三卷积层中的卷积核尺寸相等,且不同第三卷积层中的卷积核尺寸不等;所述第二卷积层中卷积核尺寸为1*1;所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层;
所述第一卷积层,用于对高分辨图像与低分辨图像的残差图像的特征进行重建,该第一卷积层的卷积核尺寸为d*d,3≤d≤5;
所述损失层,用于使用损失函数对多尺度特征融合网络进行训练,该损失层的损失函数为L(θ);
(3)对多尺度特征融合网络进行训练:
(3a)对多尺度特征融合网络进行初始化,得到初始化的多尺度特征融合网络;
(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据,并将高分辨率图像作为输入数据对应的类标,通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化,得到训练后的多尺度特征融合网络Net1;
(4)获取压缩多尺度特征融合网络:
(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换,得到多尺度特征融合网络Net2;
(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化,并对初始化后的多尺度特征融合网络Net2进行微调,得到压缩多尺度特征融合网络;
(5)对待重建RGB图像进行超分辨率重建:
(5a)对待重建RGB图像进行格式转换,得到待重建YCbCr图像;
(5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像,得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像;
(5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络,得到待重建YCbCr图像的Y通道残差图像;
(5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加,得到重建高分辨率YCbCr图像的Y通道图像;
(5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合,得到重建高分辨率YCbCr图像,并对重建高分辨率YCbCr图像进行格式转换,得到重建高分辨率RGB图像。
本发明与现有技术相比,具有如下优点:
本发明在多尺度特征融合网络中采用多尺度特征融合层提取低分辨图像的多尺度特征,这些多尺度信息包含了更具体的细节特征和结构特征,有利于网络恢复出高分辨率图像中更丰富的细节信息和更完整的结构信息;并且将多个多尺度特征融合层依次层叠连接,增加了非线性激活层的数量,进而提高了多尺度特征融合网络对高低分辨率图像特征之间的非线性映射关系的拟合能力,与现有技术相比,有效提高了重建的高分辨率图像的峰值信噪比和结构相似性。
附图说明
图1是本发明的实现流程图。
具体实施方案
以下结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,基于压缩多尺度特征融合网络的图像超分辨重建方法,包括如下步骤:
步骤1)获取训练样本集:
步骤1a)从伯克利分割数据库中提取291幅RGB图像,并对每幅图像进行旋转,旋转度数分别为0°、90°、180°、270°,再对每幅图像进行尺度变换,变换尺度分别为1倍、6倍、7倍、8倍、9倍,得到5820幅RGB图像;
步骤1b)对5820幅RGB图像进行格式转换,并从得到的5820幅YCbCr图像中各提取一幅Y通道图像,得到5820幅Y通道图像,并对5820幅Y通道图像进行编号,得到5820幅带编号的Y通道图像;
步骤1c)对5820幅带编号的Y通道图像分别进行模糊处理,处理方式为:对每幅编号的Y通道图像分别进行双三次插值下采样,再进行双三次插值上采样,并使得经下采样和上采样处理后的图像尺寸与原图像尺寸保持一致,得到5820幅带编号的低分辨率图像;
步骤1d)将5820幅Y通道图像中的第i幅图像与5820幅低分辨率图像中的第i幅图像进行配对,得到5820个高低分辨率图像对;
步骤1e)对5820个高低分辨率图像对分别进行裁剪,并将得到的N个大小为41×41的高低分辨率图像对组成训练样本集S={(X1,Y1),(X2,Y2),...,(Xi,Yi),...,(XN,YN)},i=1,...,748672,其中Xi为第i幅高低分辨率图像对中的低分辨率图像,Yi第i幅高低分辨率图像对中的高分辨率图像,N=748672;
步骤2)构建多尺度特征融合网络:
构建包括由依次层叠的输入层、10个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络,其中:
所述输入层,用于接收高低分辨率图像对;
所述多尺度特征融合层,用于提取高低分辨率图像对中的低分辨率图像特征,并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征,包括依次层叠的多尺度特征提取层、concat层和第二卷积层,其中,所述多尺度特征提取层,包括5个并行的第三卷积层,每个第三卷积层中的卷积核尺寸相等,5个第三卷积层中的卷积核尺寸分别为1*1、3*3、5*5、7*7、9*9;所述第二卷积层中卷积核尺寸为1*1;所述第二卷积层和5个并行的第三卷积层后各连接一个非线性激活层;
第1层多尺度特征融合层和第2到10层多尺度特征融合层的数学表达分别为:
其中,X表示训练样本集中的高低分辨率图像对中的低分辨率图像的集合,表示第h个多尺度特征融合层的第j个第三卷积层的权重,表示第h个多尺度特征融合层中第二卷积层的权重,表示第h个多尺度特征融合层的第j个第三卷积层的偏置,表示第h个多尺度特征融合层中第二卷积层的偏置,*代表卷积操作,Fh-1(X)表示第(h-1)个多尺度特征融合层的输出,σ表示非线性激活层的激活函数,σ的数学表达式为:f(x)=max(0,x),x为输入;
所述第一卷积层,用于对高分辨图像与低分辨图像的残差图像的特征进行重建,该第一卷积层的卷积核尺寸为3*3;
所述损失层,用于使用损失函数对多尺度特征融合网络进行训练,该损失层的损失函数为L(θ),L(θ)的数学表达为:
其中,F(Xi;θ)表示低分辨率图像相应的重建高分辨率图像,Xi表示第i幅高低分辨率图像对中的低分辨率图像,Yi表示第i幅高低分辨率图像对中的高分辨率图像,θ表示网络所有需要优化的参数集合,Ri=(Yi-Xi)表示Yi与Xi的残差图像;
步骤3)对多尺度特征融合网络进行训练:
步骤3a)对多尺度特征融合网络进行随机初始化,随机初始化时采用的网络参数服从高斯分布,均值为0,标准差为0.1,得到初始化的多尺度特征融合网络;
步骤3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据,并将高分辨率图像作为输入数据对应的类标,通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化,优化网络时采用自适应矩估计方法迭代地更新网络的权重,得到训练后的多尺度特征融合网络Net1,优化网络的过程即为训练过程,训练网络时采用的学习率为1×10-4,迭代次数为1×107;
步骤4)获取压缩多尺度特征融合网络:
步骤4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换,得到多尺度特征融合网络Net2,其中E(θ)的数学表达式为:
其中,λs表示正则权重,将第一卷积层、n个第二卷积层和n×H个第三卷积层进行编号,得到编号从第1到第61个卷积层,是多尺度特征融合网络中第l个卷积层中第cl个通道上位于(ml,kl)位置的权重,Cl表示多尺度特征融合网络中第l个卷积层中总的通道数,Ml为表示多尺度特征融合网络中第l个卷积层中的卷积核的长度,Kl为表示多尺度特征融合网络中第l个卷积层中的卷积核的宽度,|| ||g为组稀疏;
步骤4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化,并对初始化后的多尺度特征融合网络Net2进行微调,微调时采用自适应矩估计方法迭代地更新网络的权重,得到压缩多尺度特征融合网络,微调时采用的学习率为1×10-5,迭代次数为1×105;
步骤5)对待重建RGB图像进行超分辨率重建:
步骤5a)对待重建RGB图像进行格式转换,得到待重建YCbCr图像;
步骤5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像,得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像;
步骤5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络,得到待重建YCbCr图像的Y通道残差图像;
步骤5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加,得到重建高分辨率YCbCr图像的Y通道图像;
步骤5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合,得到重建高分辨率YCbCr图像,并对重建高分辨率YCbCr图像进行格式转换,得到重建高分辨率RGB图像。
以下结合仿真实验,对本发明的技术效果作进一步说明。
1.仿真条件和内容:
本发明使用型号为NVIDIA GTX TITAN X的GPU,基于深度学习的工具箱Caffe和MatConvet进行的仿真实验。
本发明在四个公开专门用于图像超分辨率重建方法性能测试的数据集Set5、Set14、BSDS100、Urban100上进行仿真实验。采用的数据集Set5包含5张RGB图像,数据集Set14包含14张RGB图像,数据集BSDS100包含100张BMP图像,转为RGB图像,数据集Urban100包含100张BMP图像,转为RGB图像。仿真时,多尺度特征融合网络中第一卷积层的卷积核数量为64,第二卷积层的卷积核数量为64,卷积核尺寸为1*1的第三卷积核数量为64、卷积核尺寸为3*3的第三卷积核数量为48、卷积核尺寸为5*5的第三卷积核数量为32、卷积核尺寸为7*7第三卷积核数量为16、卷积核尺寸为9*9第三卷积核数量为16。
本发明的对比方法是基于深度卷积神经网络的图像超分辨率重建方法。在四个公开数据集Set5、Set14、BSDS100和Urban100上用本发明和对比方法进行仿真对比实验。表1为四个公开数据集上放大不同倍数的重建图像的平均峰值信噪比(PSNR)和平均结构相似性(SSIM)比较结果。
表1
2.仿真结果分析:
由表1的仿真结果可见,本发明在四个数据集上放大不同倍数的重建图像的峰值信噪比(PSNR)和结构相似性(SSIM)均高于现有技术在四个数据集上放大不同倍数的重建图像的峰值信噪比(PSNR)和结构相似性(SSIM)。
Claims (4)
1.一种基于压缩多尺度特征融合网络的图像超分辨重建方法,其特征在于,包括如下步骤:
(1)获取训练样本集:
(1a)从数据库中提取p幅RGB图像,并对每幅图像进行旋转和尺度变换,得到q幅RGB图像,其中p≥1,q>p;
(1b)对q幅RGB图像进行格式转换,并从得到的q幅YCbCr图像中各提取一幅Y通道图像,得到q幅Y通道图像,并对q幅Y通道图像进行编号,得到q幅带编号的Y通道图像;
(1c)对q幅带编号的Y通道图像分别进行模糊处理,得到q幅带编号的低分辨率图像;
(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对,得到q个高低分辨率图像对,其中i=1...q;
(1e)对q个高低分辨率图像对分别进行裁剪,并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S={(X1,Y1),(X2,Y2),...,(Xi,Yi),...,(XN,YN)},i=1,...,N,其中Xi为第i幅高低分辨率图像对中的低分辨率图像,Yi第i幅高低分辨率图像对中的高分辨率图像,N≥q,c≥15;
(2)构建多尺度特征融合网络:
构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络,8≤H≤12,其中:
所述输入层,用于接收高低分辨率图像对;
所述多尺度特征融合层,用于提取高低分辨率图像对中的低分辨率图像特征,并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征,包括依次层叠的多尺度特征提取层、concat层和第二卷积层,其中,所述多尺度特征提取层,包括n个并行的第三卷积层,n≥2,每个第三卷积层中的卷积核尺寸相等,且不同第三卷积层中的卷积核尺寸不等;所述第二卷积层中卷积核尺寸为1*1;所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层;
所述第一卷积层,用于对高分辨图像与低分辨图像的残差图像的特征进行重建,该第一卷积层的卷积核尺寸为d*d,3≤d≤5;
所述损失层,用于使用损失函数对多尺度特征融合网络进行训练,该损失层的损失函数为L(θ);
(3)对多尺度特征融合网络进行训练:
(3a)对多尺度特征融合网络进行初始化,得到初始化的多尺度特征融合网络;
(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据,并将高分辨率图像作为输入数据对应的类标,通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化,得到训练后的多尺度特征融合网络Net1;
(4)获取压缩多尺度特征融合网络:
(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换,得到多尺度特征融合网络Net2;
(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化,并对初始化后的多尺度特征融合网络Net2进行微调,得到压缩多尺度特征融合网络;
(5)对待重建RGB图像进行超分辨率重建:
(5a)对待重建RGB图像进行格式转换,得到待重建YCbCr图像;
(5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像,得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像;
(5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络,得到待重建YCbCr图像的Y通道残差图像;
(5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加,得到重建高分辨率YCbCr图像的Y通道图像;
(5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合,得到重建高分辨率YCbCr图像,并对重建高分辨率YCbCr图像进行格式转换,得到重建高分辨率RGB图像。
2.根据权利要求1所述的基于压缩多尺度特征融合网络的图像超分辨方法,步骤(2)中所述的H个依次层叠的多尺度特征融合层,其第1层和第2到H层的数学表达分别为:
其中,X表示训练样本集中的高低分辨率图像对中的低分辨率图像的集合,n表示多尺度特征融合层中多尺度特征提取层中的第三卷积层的数量,表示第h个多尺度特征融合层的第j个第三卷积层的权重,表示第h个多尺度特征融合层中第二卷积层的权重,表示第h个多尺度特征融合层的第j个第三卷积层的偏置,表示第h个多尺度特征融合层中第二卷积层的偏置,*代表卷积操作,Fh-1(X)表示第(h-1)个多尺度特征融合层的输出,σ表示非线性激活层的非线性激活函数,σ的数学表达式为:f(x)=max(0,x),x为输入。
3.根据权利要求1所述的基于压缩多尺度特征融合网络的图像超分辨方法,步骤(2)中所述的多尺度特征融合网络损失层的损失函数L(θ),其数学表达为:
其中,F(Xi;θ)表示低分辨率图像相应的重建高分辨率图像,Xi表示第i幅高低分辨率图像对中的低分辨率图像,Yi表示第i幅高低分辨率图像对中的高分辨率图像,θ表示网络所有需要优化的参数集合,Ri=(Yi-Xi)表示Yi与Xi的残差图像,N表示高低分辨率图像对的数量。
4.根据权利要求1所述的基于压缩多尺度特征融合网络的图像超分辨方法,步骤(4a)中所述的损失函数E(θ),其数学表达式为:
其中,λs表示正则权重,将第一卷积层、n个第二卷积层和n×H个第三卷积层进行编号,得到编号从第1到第L个卷积层,是多尺度特征融合网络中第l个卷积层中第cl个通道上位于(ml,kl)位置的权重,Cl表示多尺度特征融合网络中第l个卷积层中总的通道数,Ml为表示多尺度特征融合网络中第l个卷积层中的卷积核的长度,Kl为表示多尺度特征融合网络中第l个卷积层中的卷积核的宽度,|| ||g为组稀疏。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711470639 | 2017-12-29 | ||
CN2017114706396 | 2017-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108537731A true CN108537731A (zh) | 2018-09-14 |
CN108537731B CN108537731B (zh) | 2020-04-14 |
Family
ID=63480647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810315128.5A Active CN108537731B (zh) | 2017-12-29 | 2018-04-10 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108537731B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064408A (zh) * | 2018-09-27 | 2018-12-21 | 北京飞搜科技有限公司 | 一种多尺度图像超分辨率重建的方法及装置 |
CN109525859A (zh) * | 2018-10-10 | 2019-03-26 | 腾讯科技(深圳)有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
CN110490799A (zh) * | 2019-07-25 | 2019-11-22 | 西安理工大学 | 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法 |
CN110533591A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 基于编解码器结构的超分辨图像重建方法 |
CN110619604A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 三维降尺度方法、装置、电子设备及可读存储介质 |
WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
WO2020062191A1 (zh) * | 2018-09-29 | 2020-04-02 | 华为技术有限公司 | 图像处理方法、装置及设备 |
CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
CN111062434A (zh) * | 2019-12-13 | 2020-04-24 | 国网重庆市电力公司永川供电分公司 | 一种无人机巡检多尺度融合检测方法 |
CN111160413A (zh) * | 2019-12-12 | 2020-05-15 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
CN111402138A (zh) * | 2020-03-24 | 2020-07-10 | 天津城建大学 | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 |
CN111553861A (zh) * | 2020-04-29 | 2020-08-18 | 苏州大学 | 一种图像超分辨率重构方法、装置、设备及可读存储介质 |
CN111861961A (zh) * | 2020-07-25 | 2020-10-30 | 安徽理工大学 | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 |
CN112070667A (zh) * | 2020-08-14 | 2020-12-11 | 西安理工大学 | 一种多尺度特征融合的视频超分辨率重建的方法 |
WO2020248706A1 (zh) * | 2019-06-14 | 2020-12-17 | 深圳市中兴微电子技术有限公司 | 图像处理的方法、装置、计算机存储介质及终端 |
CN112734645A (zh) * | 2021-01-19 | 2021-04-30 | 青岛大学 | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 |
CN113538246A (zh) * | 2021-08-10 | 2021-10-22 | 西安电子科技大学 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
CN114245126A (zh) * | 2021-11-26 | 2022-03-25 | 电子科技大学 | 一种纹理协同的深度特征图压缩方法 |
CN115100039A (zh) * | 2022-06-27 | 2022-09-23 | 中南大学 | 一种基于深度学习的轻量级图像超分辨率重建方法 |
WO2023000158A1 (zh) * | 2021-07-20 | 2023-01-26 | 海南长光卫星信息技术有限公司 | 一种遥感影像超分辨率重建方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104008539A (zh) * | 2014-05-29 | 2014-08-27 | 西安理工大学 | 基于多尺度几何分析的图像超分辨率重建方法 |
CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
CN104376544B (zh) * | 2013-08-15 | 2017-04-19 | 北京大学 | 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 |
CN106846250A (zh) * | 2017-01-22 | 2017-06-13 | 宁波星帆信息科技有限公司 | 一种基于多尺度滤波的超分辨率重建方法 |
CN107103585A (zh) * | 2017-04-28 | 2017-08-29 | 广东工业大学 | 一种图像超分辨率系统 |
WO2017196995A1 (en) * | 2016-05-11 | 2017-11-16 | The Regents Of The University Of California | Method and system for pixel super-resolution of multiplexed holographic color images |
JP2017220200A (ja) * | 2016-06-02 | 2017-12-14 | 日本放送協会 | 超解像装置及びプログラム |
-
2018
- 2018-04-10 CN CN201810315128.5A patent/CN108537731B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376544B (zh) * | 2013-08-15 | 2017-04-19 | 北京大学 | 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 |
CN104008539A (zh) * | 2014-05-29 | 2014-08-27 | 西安理工大学 | 基于多尺度几何分析的图像超分辨率重建方法 |
WO2017196995A1 (en) * | 2016-05-11 | 2017-11-16 | The Regents Of The University Of California | Method and system for pixel super-resolution of multiplexed holographic color images |
JP2017220200A (ja) * | 2016-06-02 | 2017-12-14 | 日本放送協会 | 超解像装置及びプログラム |
CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
CN106846250A (zh) * | 2017-01-22 | 2017-06-13 | 宁波星帆信息科技有限公司 | 一种基于多尺度滤波的超分辨率重建方法 |
CN107103585A (zh) * | 2017-04-28 | 2017-08-29 | 广东工业大学 | 一种图像超分辨率系统 |
Non-Patent Citations (1)
Title |
---|
XIAOFENG DU 等: "Single image super-resolution via multi-scale fusion convolutional neural network", 《2017 IEEE 8TH INTERNATIONAL CONFERENCE ON AWARENESS SCIENCE AND TECHNOLOGY (ICAST)》 * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN109064408A (zh) * | 2018-09-27 | 2018-12-21 | 北京飞搜科技有限公司 | 一种多尺度图像超分辨率重建的方法及装置 |
CN112088393B (zh) * | 2018-09-29 | 2022-09-23 | 华为技术有限公司 | 图像处理方法、装置及设备 |
WO2020062191A1 (zh) * | 2018-09-29 | 2020-04-02 | 华为技术有限公司 | 图像处理方法、装置及设备 |
CN112088393A (zh) * | 2018-09-29 | 2020-12-15 | 华为技术有限公司 | 图像处理方法、装置及设备 |
CN109525859A (zh) * | 2018-10-10 | 2019-03-26 | 腾讯科技(深圳)有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
CN109525859B (zh) * | 2018-10-10 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
WO2020248706A1 (zh) * | 2019-06-14 | 2020-12-17 | 深圳市中兴微电子技术有限公司 | 图像处理的方法、装置、计算机存储介质及终端 |
CN110490799A (zh) * | 2019-07-25 | 2019-11-22 | 西安理工大学 | 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法 |
CN110490799B (zh) * | 2019-07-25 | 2021-09-24 | 西安理工大学 | 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法 |
CN110533591A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 基于编解码器结构的超分辨图像重建方法 |
CN110619604A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 三维降尺度方法、装置、电子设备及可读存储介质 |
CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
CN111028153B (zh) * | 2019-12-09 | 2024-05-07 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
CN111160413A (zh) * | 2019-12-12 | 2020-05-15 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
CN111160413B (zh) * | 2019-12-12 | 2023-11-17 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
CN111062434A (zh) * | 2019-12-13 | 2020-04-24 | 国网重庆市电力公司永川供电分公司 | 一种无人机巡检多尺度融合检测方法 |
CN111402138A (zh) * | 2020-03-24 | 2020-07-10 | 天津城建大学 | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 |
CN111553861A (zh) * | 2020-04-29 | 2020-08-18 | 苏州大学 | 一种图像超分辨率重构方法、装置、设备及可读存储介质 |
CN111553861B (zh) * | 2020-04-29 | 2023-11-24 | 苏州大学 | 一种图像超分辨率重构方法、装置、设备及可读存储介质 |
CN111861961B (zh) * | 2020-07-25 | 2023-09-22 | 安徽理工大学 | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 |
CN111861961A (zh) * | 2020-07-25 | 2020-10-30 | 安徽理工大学 | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 |
CN112070667A (zh) * | 2020-08-14 | 2020-12-11 | 西安理工大学 | 一种多尺度特征融合的视频超分辨率重建的方法 |
CN112734645B (zh) * | 2021-01-19 | 2023-11-03 | 青岛大学 | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 |
CN112734645A (zh) * | 2021-01-19 | 2021-04-30 | 青岛大学 | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 |
WO2023000158A1 (zh) * | 2021-07-20 | 2023-01-26 | 海南长光卫星信息技术有限公司 | 一种遥感影像超分辨率重建方法、装置、设备及存储介质 |
CN113538246B (zh) * | 2021-08-10 | 2023-04-07 | 西安电子科技大学 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
CN113538246A (zh) * | 2021-08-10 | 2021-10-22 | 西安电子科技大学 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
CN114245126A (zh) * | 2021-11-26 | 2022-03-25 | 电子科技大学 | 一种纹理协同的深度特征图压缩方法 |
CN115100039A (zh) * | 2022-06-27 | 2022-09-23 | 中南大学 | 一种基于深度学习的轻量级图像超分辨率重建方法 |
CN115100039B (zh) * | 2022-06-27 | 2024-04-12 | 中南大学 | 一种基于深度学习的轻量级图像超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108537731B (zh) | 2020-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537731A (zh) | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 | |
CN106204449A (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN105320965B (zh) | 基于深度卷积神经网络的空谱联合的高光谱图像分类方法 | |
CN110728324B (zh) | 基于深度复值全卷积神经网络的极化sar图像分类方法 | |
CN108830813A (zh) | 一种基于知识蒸馏的图像超分辨率增强方法 | |
CN111047515A (zh) | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 | |
CN109389556A (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
CN106991646A (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
WO2021139175A1 (zh) | 一种基于卷积神经网络的电力操作票文字识别方法 | |
CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
CN105975931A (zh) | 一种基于多尺度池化的卷积神经网络人脸识别方法 | |
CN105469100A (zh) | 基于深度学习的皮肤活检图像病理特性识别方法 | |
CN105976318A (zh) | 一种图像超分辨率重建方法 | |
CN106991374A (zh) | 基于卷积神经网络和随机森林的手写数字识别方法 | |
CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN108765291A (zh) | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 | |
CN104751162A (zh) | 基于卷积神经网络的高光谱遥感数据特征提取方法 | |
CN106022355A (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
CN108121975A (zh) | 一种联合原始数据和生成数据的人脸识别方法 | |
CN111340696B (zh) | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 | |
CN105354581A (zh) | 融合颜色特征与卷积神经网络的彩色图像特征提取方法 | |
Liu et al. | A shallow-to-deep feature fusion network for VHR remote sensing image classification | |
CN110322402A (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
CN107301372A (zh) | 基于迁移学习的高光谱图像超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |