CN113902618A - 一种基于多模态空间滤波的图像超分算法 - Google Patents
一种基于多模态空间滤波的图像超分算法 Download PDFInfo
- Publication number
- CN113902618A CN113902618A CN202111174901.9A CN202111174901A CN113902618A CN 113902618 A CN113902618 A CN 113902618A CN 202111174901 A CN202111174901 A CN 202111174901A CN 113902618 A CN113902618 A CN 113902618A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- convolution
- spatial filtering
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000008358 core component Substances 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 239000000306 component Substances 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000016273 neuron death Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多模态空间滤波的残差神经网络模型，所述基于多模态空间滤波的残差神经网络模型包括频率信息获取、特征提取网络和亚像素重建；本发明在保证低频结构信息不丢失的基础上，使图像的纹理细节信息得到很好的重构。
Description
技术领域
本发明涉及图像超分算法领域，具体为一种基于多模态空间滤波的图像超分算法。
背景技术
目前手机和数码相机等移动设备的日益普及，越来越多的人习惯用照片来记录生活的点滴。但由于设备的硬件限制，拍摄的图像往往具有分辨率低和动态范围低的特点。
由于图像分辨率作为图像领域的经典问题在近年来受到越来越多的关注，图像的分辨率决定着图像所包含的信息量的多少，因此，提高图像分辨率对于信息存储和利用具有十分重要的意义。同时图像超分辨率重建主要是采用软件的方法来对图像分辨率进行提升，而不需要花费昂贵的费用去完成硬件的提升，降低了研究成本，拓宽了应用领域，在医学、遥感以及公共安全等领域都有广泛的应用前景。传统的基于深度学习的方法在对低分辨率图像进行重建过程中，并未将图像中的低频结构信息和高频细节信息进行区别处理，网络的层与层之间缺乏信息交流，图像特征也只是通过单一卷积核获得，且对于图像特征采用均等处理的方式，特征利用率严重不足，从而造成高分辨率图像重建结果中出现信息缺失。
发明内容
本发明提供一种基于多模态空间滤波的图像超分算法，通过将空间滤波变换与残差密集网络相结合的方式，大大增加网络稀疏性，充分挖掘图像特征信息并提高模型的表征能力。通过加入多尺度特征融合模块，使得该算法在学习过程中获得特征图的多种特征，增加网络的非线性表达能力，实现对低分辨率图像信息的深层挖掘。最后，基于上采样过程采用亚像素卷积操作，避免因线性插值造成结构信息损失，以解决现有技术中存在的问题。
本发明解决其技术问题所采用的技术方案是：一种基于多模态空间滤波的图像超分算法，基于多模态空间滤波的残差神经网络模型，所述基于多模态空间滤波的残差神经网络模型包括频率信息获取、特征提取网络和亚像素重建；
频率信息获取，利用空间域的多分辨率特性，将低分辨率图像分解成高频与低频子图，对图像进行稀疏处理，并根据各自的图像特征分别进行特征提取；
所述特征提取模块中的网络由密集连接块以及特征融合层组成；其拥有4个输入通道，分别对应于2DDWT模块中输出的4个小波子带图像LLL，LLH，LHL，LHH；得到4个小波子带图像LRWav；
LRWav通过一个初始化3x3的卷积层对4个输入进行浅层特征提取操作，得到浅层特征ILR:
ILR＝F1(LRWav)
ILR随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层；随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层以及三个用于调整神经元的活跃度、增强网络的非线性的Relu层；
亚像素重建，重构出高分辨率的图像，在保证低频结构信息不丢失的基础上，使图像的纹理细节信息得重构。
作为上述方案的进一步改进，所述Relu层的层与层之间采用密集连接，同时前一个DB的输出和每一层的输出直接连接到后一层。
作为上述方案的进一步改进，最后三个卷积层所输出的特征图进行降维，在末端添加一个局部特征融合层去进行块内特征融合并通过1x1卷积层实现降维，得到每个DB块的特征图输出。
作为上述方案的进一步改进，第i个DB的输出fd表示为
亚像素重建包括四步：特征提取、非线性映射、上采样和多尺度变换；所述特征提取阶段包含3个卷积层，每层有64个3x3大小的滤波器组；采用跳跃连接，形成残差单元并采用PReLU作为激活函数。
PReLU公式为：
δ(y)＝max(0,y)+amin(0,y)
其中y为输入信号，a是函数可学习系数；当a＝0时为ReLU的表达式；卷积层是卷积神经网络的核心组件，具有局部连接和权值共享的特征卷积过程可由公式表示：
Fi＝PReLU(Wc(i)*Fi-1+bi)
Fi代表第i个卷积层的输出，当i＝1时F0＝DL，DL代表第一层输入的低分辨率的深度图；Wc(i)代表第i个卷积层的权重；*代表卷积操作，bi代表第i层的偏置。
作为上述方案的进一步改进，非线性映射，采用12个1x1卷积核将特征提取阶段输出的64维的高维向量映射成12维的低维向量，然后利用4个卷积层，每层用12个3x3的滤波核增加映射的非线性。
作为上述方案的进一步改进，上采样通过反卷积层实现上采样，通过调整反卷积的步长可以实现不同倍数的上采样。
作为上述方案的进一步改进，多尺度变换利用多尺度卷积核提取图像特征；多尺度重建部分由10层组成，开始的4个64维3x3的卷积层用于提取高维特征，接下来利用16个1x1卷积核降低维度，多尺度卷积核大小分别为5x5，3x3，7x7，1x1，通过多尺度卷积层可得到16个特征图，最后采用1x1的卷积核连接多尺度特征，从而输出超分重建效果。
与现有技术相比，本发明的有益效果是：残差神经网络模型(WRDSR)通过引入空间滤波将网络映射到变换域内，基于空间域变换来实现图像的超分重建。利用空间域的多分辨率特性，将低分辨率图像分解成高频与低频子图，对图像进行适当的稀疏处理，并根据各自的图像特征分别进行特征提取。对数据的稀疏表示能使神经网络更好的拟合生物神经系统中的稀疏激活特性，稀疏数据的好处是能够促进神经元只对重要信息做出响应，更好更快的学习稀疏特征，有利于改善神经网络的学习和效果。WRDSR通过引入残差密集神经网络，加强对图像原始信息的获取与利用，增加网络层与层之间的信息传递，使得原始图像特征更大程度传递到网络深处。对于图像超分重建而言，网络输出的重建效果要求跟原始图像在颜色、亮度等要一致。为了更加有效地提取特征并降低运算复杂度，网络直接将带有空间滤波的低分辨率图像作为网络输入，映射到高分辨率图像的空间滤波域下，利用亚像素卷积重构出高分辨率的图像，在保证低频结构信息不丢失的基础上，使图像的纹理细节信息得到很好的重构。
附图说明
图1所示为基于空间滤波的残差密集网络结构图；
图2所示为DB结构图；
图3所示为残差单元；
图4所示为空间滤波对超分重建模型的影响；
图5所示为四倍图像超分效果。
具体实施方式
以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
基于深度残差网络的图像超分重建算法在重建过程中存在细节丢失的问题，提出基于多模态空间滤波的超分算法。其中多模态空间滤波包括自适应中值滤波、小波变换、卡尔曼滤波等多种滤波形式。
自适应中值滤波：中值滤波器在噪声密度不是很大的情况下，效果很好。但当出现概率较高时，常规的中值滤波效果不是很好。通常采用增大滤波器的窗口大小，这虽然在一定程度上能解决上述的问题，但是会给图像造成较大的模糊。
常规的中值滤波器窗口尺寸是固定不变的，不能同时兼顾去噪与图像保护的细节。因此要根据预先设定好的条件，在滤波过程中，动态改变滤波器的窗口尺寸大小。在滤波的过程中，自适应中值滤波器会根据预先设定好的条件，改变滤波窗口的尺寸大小，同时还会根据一定的条件判断当前像素是不是噪声，如果是则用邻域中值替换当前像素；不是，则不作改变。自适应中值滤波器有三个目的：
滤除椒盐噪声；平滑其他非脉冲噪声；尽可能保护图像中细节信息，避免图像边缘的细化或者粗化。
小波变换：傅里叶变换会丢失信号在时域的信息，所以傅里叶变换在很多领域都有限制。与傅里叶变换不同，小波变换是空间和频率的局部变换。克服了傅里叶变换的单分辨率缺陷，通过伸缩和平移等操作对函数进行多尺度的分析，可以有效地获取信号的多尺度信息，在时域和空域都具有较强的表征能力，其具体定义如公式1所示：
其逆变换为：
其中，ψ为傅里叶变换，Cψ取有限值。
离散小波变换是一种双尺度小波变换，通过数字滤波技术可以得到数字信号的时频图。在离散小波变换中，不同截止频率的滤波器被用来分析不同尺度下的信号。信号会通过一系列的高通滤波器来分析高频成分，通过一系列低频滤波器来分析低频成分。二维离散小波在数字图像分析领域有着至关重要的作用，图像数据是一种二维信号，所以通常二维离散小波可以使用一维小波变换的分解和重构滤波器，算法具体步骤为：首先对图像的每一行进行一维离散小波变换，获得原始图像在水平方向上的低频分量L和高频分量H；然后分别对L、H的每一列进行一维离散小波变换，获得原始图像的水平和垂直低频分量LL、水平低频和垂直高频分量LH、水平高频和垂直低频分量HL以及对角线高频分量HH,具体的分解算法如公式(3)所示：
重构算法为：
式(2)和(3)中，f为图像离散化信号，L和H分别是一维小波变换中的滤波器，l和h为对应的小波重构滤波器。
小波变换所得到的小波子带图像包含了原始图像在不同水平上的上下文与纹理信息，而图像超分辨率重建可以视为恢复低分辨率图像细节信息。原始图像经小波变换后可以得到图像的低频结构特征以及高频细节信息，网络采用的策略是将小波变换和残差神经网络相结合，从而将图像超分辨率重建问题变为小波系数预测问题，通过预测低分辨率图像的小波系数中丢失的高频细节信息，从而得到高分辨图像。网络采用十层卷积层用于特征提取，通过残差策略来加速网络。
小波变换具有多分辨率分析功能和逐步分解等特性,能够在图像重建过程中全面利用图像的结构与细节信息,使得超分重建后的图像信息更加丰富清晰。
卡尔曼滤波：卡尔曼滤波本质上是一种数据融合算法，将具有相同测量目的、不同传感器数据以及不同单位的数据融合在一起，得到一个更精确的目的测量值，卡尔曼滤波的局限性在于只能拟合线性高斯系统。但其最大优点在于计算量小，能够利用前一时刻的状态和可能的测量值来获取当前时刻下的状态最优估计。
本发明提供一种基于多模态空间滤波的图像超分算法，基于多模态空间滤波的残差神经网络模型，所述基于多模态空间滤波的残差神经网络模型包括频率信息获取、特征提取网络和亚像素重建；
频率信息获取，由于图像的高频滤波系数会随着其模糊程度的增加而逐渐消失，且低分辨率图像相比高分辨图像，只丢失了部分高频信息，图像的高频信息中包含着图像中的边缘和纹理等信息，只让网络学习低分辨率图像丢失的部分信息，这样能提高网络学习的效率，因此获得清晰超分辨率图像的关键在于还原低频信息的同时也能还原高频滤波系数。所以图像超分辨率重建问题可看作是恢复输入低分辨率图像细节的问题，这可以与空间滤波变换相结合，如果把变换后低频滤波图像表示为低分辨率图像，那么其它的小波子带图像就是想要的重建图像易缺失的高频细节，所以滤波系数还能使网络着重学习在边缘与纹理信息，从而在最后的超分辨率结果中得到更好的边缘和纹理效果。
特征提取模块中的网络由密集连接块(DB，Dense Block)以及特征融合层组成，拥有4个输入通道，分别对应于2DDWT模块中输出的4个小波子带图像LLL，LLH，LHL，LHH，通过神经网络向前传播表示为一系列特征图。
首先，LRWav通过一个初始化3x3的卷积层对4个输入进行浅层特征提取操作，得到浅层特征ILR:
ILR＝F1(LRWav)
ILR随后进入由密集连接块组成的深度特征提取层。其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层。
随后进入由密集连接块组成的深度特征提取层，其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层以及三个用于调整神经元的活跃度、增强网络的非线性的Relu层。层与层之间采用密集连接，同时前一个DB的输出和每一层的输出直接连接到后一层，既保持了前馈的特性，又可以结合图像浅层低维特征(纹理、彩色、形状)和深层的高维语义特征生成质量更好的特征表示，减少了信息流在网络中传递的损失。由于密集连接的原因，最后三个卷积层所输出的特征图会比较庞大，需要进行一定的降维操作，所以在末端添加了一个局部特征融合层去进行块内特征融合并通过1x1卷积层实现降维，得到每个DB块的特征图输出。
DB结构图如图2所示；第i个DB的输出fd表示为
亚像素重建包括四步：特征提取、非线性映射、上采样和多尺度变换。
特征提取：特征提取阶段包含3个卷积层。每层有64个3x3大小的滤波器组。为了加速网络收敛，在模型中使用了跳跃连接，形成残差单元如图3所示。残差单元可以避免由于梯度消失而形成的欠拟合缺陷，在一定程度上可以提高重建结果的质量。
传统的ReLU激活函数随着网络训练次数的增加可能会落入硬饱和区，导致权重无法更新。本申请模型利用PReLU作为激活函数，其函数负半轴增加了参数修正，避免了神经元死亡现象，同时在一定程度上起到正则化的效果，提高了模型的泛化能力。
PReLU如公式所示：δ(y)＝max(0,y)+amin(0,y)
其中y为输入信号，a是函数可学习系数。当a＝0时为ReLU的表达式。卷积层是卷积神经网络的核心组件，具有局部连接和权值共享的特征，模型中的卷积过程可由公式表示：Fi＝PReLU(Wc(i)*Fi-1+bi)
其中，Fi代表第i个卷积层的输出，当i＝1时F0＝DL，DL代表第一层输入的低分辨率的深度图。Wc(i)代表第i个卷积层的权重。*代表卷积操作，bi代表第i层的偏置。
非线性映射：该阶段利用12个1x1卷积核将特征提取阶段输出的64维的高维向量映射成12维的低维向量，然后利用4个卷积层，每层用12个3x3的滤波核增加映射的非线性，该阶段也同样利用了跳跃连接加速网络收敛。
上采样：该模型通过反卷积层实现上采样，避免了网络外的预处理。模型通过调整反卷积的步长可以实现不同倍数的上采样。
多尺度变换：高分辨率图像重建通常依赖于不同尺寸的特征，利用多尺度卷积核提取图像特征。多尺度重建部分由10层组成，开始的4个64维3x3的卷积层用于提取高维特征，同样用到跳跃连接。接下来利用16个1x1卷积核降低维度，多尺度卷积核大小分别为5x5，3x3，7x7，1x1，通过多尺度卷积层可得到16个特征图，最后采用1x1的卷积核连接多尺度特征，从而输出超分重建效果。
经过实验验证，该方法可以实现较好的超分效果，通过评估多尺度特征融合对模型的修复效果的影响。由于要测试在深度滤波残差神经网络(DWSR)的基础上利用多尺度特征融合对加强空间滤波的图像特征的获取，因此本申请主要以加入小波变换后的模型WRDSR作为基准模型，对多尺度特征融合进行探究和分析，以验证改进方法在改善重建图像效果上的有效性。
由于单尺度特征映射不擅长表示不同大小和形状的目标，因此采用不同大小的卷积核提取相关信息来自然缓解这种矛盾。借鉴Googlenet中Inception结构，利用分支组合的方式对模块的输入进行不同尺度的卷积处理，使得模块能够获取到更多层次的特征图。这种改进方法从网络加宽的角度改善了模型的表征能力，同时还增加了特征的多样性。
通过评估多尺度特征融合对模型的修复效果的影响。由于要测试在WRDSR的基础上利用多尺度特征融合对加强小波子带图像特征的获取，所以主要以加入空间滤波变换后的模型ERDSR作为基准模型，对多尺度特征融合进行探究和分析，以验证改进方法在改善重建图像效果上的有效性。由于单尺度特征映射不擅长表示不同大小和形状的目标，所以采用不同大小的卷积核提取相关信息自然地能缓解这种矛盾。借鉴了GoogleNet中inception结构，利用分支组合的方式对模块的输入进行不同尺度的卷积处理，使得模块能够获取到更多层次的特征图。这种改进方法从网络加宽的角度改善了模型的表征能力，同时还增加了特征的多样性。图4展示了在基准模型下加入多尺度特征融合模块后的改进网络在2倍、3倍和4倍放大因子下的结果。其中WRDSR为参考的基准模型，+MFFD表示在基准模型基础上加入多尺度特征融合模块。从下表可以看到在所有测试集上，加入了多尺度特征融合后的改进模型有较为可观的提升，证明了针对空间变换域的改进模型的有效性。
为了更加直观的比较改进后算法重建效果的优越性，图5展示了基准模型加入多尺度特征融合在4倍放大情况下的图像重建结果。在图5中可看出，对于加入多尺度特征融合模块后模型所生成的复原图像，可以发现有更多的细节或纹理被重建，这充分展示了将多尺度特征提取块应用到模型中可以获得更好的图像超分重建性能。引入多尺度特征提取的方式生成的重建图像在视觉效果上有很大的提升。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于多模态空间滤波的图像超分算法，基于多模态空间滤波的残差神经网络模型，其特征在于，所述基于多模态空间滤波的残差神经网络模型包括频率信息获取、特征提取网络和亚像素重建；
频率信息获取，利用空间域的多分辨率特性，将低分辨率图像分解成高频与低频子图，对图像进行稀疏处理，并根据各自的图像特征分别进行特征提取；
所述特征提取模块中的网络由密集连接块以及特征融合层组成；其拥有4个输入通道，分别对应于2DDWT模块中输出的4个小波子带图像LLL，LLH，LHL，LHH；得到4个小波子带图像LRWav；
LRWav通过一个初始化3x3的卷积层对4个输入进行浅层特征提取操作，得到浅层特征ILR:
ILR＝F1(LRWav)
ILR随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层；随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层以及三个用于调整神经元的活跃度、增强网络的非线性的Relu层；
亚像素重建，重构出高分辨率的图像，在保证低频结构信息不丢失的基础上，使图像的纹理细节信息得重构。
2.根据权利要求1所述的基于多模态空间滤波的图像超分算法，其特征在于，所述Relu层的层与层之间采用密集连接，同时前一个DB的输出和每一层的输出直接连接到后一层。
3.根据权利要求2所述的基于多模态空间滤波的图像超分算法，其特征在于，最后三个卷积层所输出的特征图进行降维，在末端添加一个局部特征融合层去进行块内特征融合并通过1x1卷积层实现降维，得到每个DB块的特征图输出。
4.根据权利要求3所述的基于多模态空间滤波的图像超分算法，其特征在于，第i个DB的输出fd表示为
5.根据权利要求1所述的基于多模态空间滤波的图像超分算法，其特征在于，亚像素重建包括四步：特征提取、非线性映射、上采样和多尺度变换；所述特征提取阶段包含3个卷积层，每层有64个3x3大小的滤波器组；采用跳跃连接，形成残差单元并采用PReLU作为激活函数。
6.根据权利要求5所述的基于多模态空间滤波的图像超分算法，其特征在于，PReLU公式为：
δ(y)＝max(0,y)+amin(0,y)
其中y为输入信号，a是函数可学习系数；当a＝0时为ReLU的表达式；卷积层是卷积神经网络的核心组件，具有局部连接和权值共享的特征卷积过程可由公式表示：
Fi＝PReLU(Wc(i)*Fi-1+bi)
Fi代表第i个卷积层的输出，当i＝1时F0＝DL，DL代表第一层输入的低分辨率的深度图；Wc(i)代表第i个卷积层的权重；*代表卷积操作，bi代表第i层的偏置。
7.根据权利要求5所述的基于多模态空间滤波的图像超分算法，其特征在于，非线性映射，采用12个1x1卷积核将特征提取阶段输出的64维的高维向量映射成12维的低维向量，然后利用4个卷积层，每层用12个3x3的滤波核增加映射的非线性。
8.根据权利要求5所述的基于多模态空间滤波的图像超分算法，其特征在于，上采样通过反卷积层实现上采样，通过调整反卷积的步长可以实现不同倍数的上采样。
9.根据权利要求1所述的基于多模态空间滤波的图像超分算法，其特征在于，多尺度变换利用多尺度卷积核提取图像特征；多尺度重建部分由10层组成，开始的4个64维3x3的卷积层用于提取高维特征，接下来利用16个1x1卷积核降低维度，多尺度卷积核大小分别为5x5，3x3，7x7，1x1，通过多尺度卷积层可得到16个特征图，最后采用1x1的卷积核连接多尺度特征，从而输出超分重建效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111174901.9A CN113902618B (zh) | 2021-10-09 | 2021-10-09 | 一种基于多模态空间滤波的图像超分算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111174901.9A CN113902618B (zh) | 2021-10-09 | 2021-10-09 | 一种基于多模态空间滤波的图像超分算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902618A true CN113902618A (zh) | 2022-01-07 |
| CN113902618B CN113902618B (zh) | 2024-03-29 |
Family
ID=79190521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111174901.9A Active CN113902618B (zh) | 2021-10-09 | 2021-10-09 | 一种基于多模态空间滤波的图像超分算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902618B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921789A (zh) * | 2018-06-20 | 2018-11-30 | 华北电力大学 | 基于递归残差网络的超分辨率图像重建方法 |
| US20190066346A1 (en) * | 2017-08-30 | 2019-02-28 | Korea Advanced Institute Of Science And Technology | Apparatus and method for reconstructing image using extended neural network |
| CN110706154A (zh) * | 2019-08-28 | 2020-01-17 | 西北大学 | 一种基于层次化残差神经网络的图像超分辨率方法 |
| CN112767251A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多尺度细节特征融合神经网络的图像超分辨率方法 |
-
2021
- 2021-10-09 CN CN202111174901.9A patent/CN113902618B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190066346A1 (en) * | 2017-08-30 | 2019-02-28 | Korea Advanced Institute Of Science And Technology | Apparatus and method for reconstructing image using extended neural network |
| CN108921789A (zh) * | 2018-06-20 | 2018-11-30 | 华北电力大学 | 基于递归残差网络的超分辨率图像重建方法 |
| CN110706154A (zh) * | 2019-08-28 | 2020-01-17 | 西北大学 | 一种基于层次化残差神经网络的图像超分辨率方法 |
| CN112767251A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多尺度细节特征融合神经网络的图像超分辨率方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李岚;张云;杜佳;马少斌;: "基于改进残差亚像素卷积神经网络的超分辨率图像重建方法研究", 长春师范大学学报, no. 08, 20 August 2020 (2020-08-20) * |
| 王一宁;秦品乐;李传朋;崔雨豪;: "基于残差神经网络的图像超分辨率改进算法", 计算机应用, no. 01, 10 January 2018 (2018-01-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902618B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| Li et al. | Survey of single image super‐resolution reconstruction | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| Kang et al. | Incorporating side information by adaptive convolution | |
| CN110276726B (zh) | 一种基于多通道网络先验信息引导的图像去模糊方法 | |
| Wei | Image super‐resolution reconstruction using the high‐order derivative interpolation associated with fractional filter functions | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| Lyu et al. | A nonsubsampled countourlet transform based CNN for real image denoising | |
| Sharma et al. | From pyramids to state‐of‐the‐art: a study and comprehensive comparison of visible–infrared image fusion techniques | |
| Singh et al. | ResDNN: deep residual learning for natural image denoising | |
| CN104657951A (zh) | 图像乘性噪声移除方法 | |
| CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| Li et al. | Densely connected network for impulse noise removal | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN115205136A (zh) | 一种基于傅里叶先验的图像去雨方法 | |
| Cao et al. | Single image motion deblurring with reduced ringing effects using variational Bayesian estimation | |
| CN114830168A (zh) | 图像重建方法、电子设备和计算机可读存储介质 | |
| CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
| CN113902618B (zh) | 一种基于多模态空间滤波的图像超分算法 | |
| CN114549361B (zh) | 一种基于改进U-Net模型的去图像运动模糊方法 | |
| Lu et al. | Utilizing homotopy for single image superresolution | |
| CN111967292B (zh) | 一种轻量级的sar图像船只检测方法 | |
| CN112907456B (zh) | 基于全局平滑约束先验模型的深度神经网络图像去噪方法 | |
| Daithankar et al. | Analysis of the wavelet domain filtering approach for video super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |