CN112529777A - 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 - Google Patents
基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 Download PDFInfo
- Publication number
- CN112529777A CN112529777A CN202011188968.3A CN202011188968A CN112529777A CN 112529777 A CN112529777 A CN 112529777A CN 202011188968 A CN202011188968 A CN 202011188968A CN 112529777 A CN112529777 A CN 112529777A
- Authority
- CN
- China
- Prior art keywords
- sparse
- image
- convolutional
- convolution
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 57
- 238000013507 mapping Methods 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括近红外(NIR)图像超分辨率分析网络，使用三原色(RGB)图像作为边信息，我们使用EPFL三原色(RGB)‑近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试。
Description
技术领域
本发明涉及图像处理技术领域，具体为基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法。
背景技术
图像超分辨率分析是成像算法中常见的逆问题，是指用低分辨率观测图像重建高分辨率图像，因为从低分辨率到高分辨率图像的映射不是唯一的，超分辨率分析问题是不适定的。逆问题的深度学习的最新研究主要考虑深度展开，深度展开是指将迭代算法展开为深度神经网络形式。这些方法主要有三类，第一类单模态图像超分辨率分析方法使用基于插值的方法。这些方法既简单又快速，但是，混叠和模糊效果使它们无法获得高质量的高分辨率图像。第二类单模态图像超分辨率分析方法使用重建方法，该方法使用多个图像先验信息来规则化不适定的重建问题，并产生具有精细纹理细节的图像。然而，用图像先验信息很难对自然图像的复杂细节建模。第三类单模态图像超分辨率分析方法使用基于学习的方法，这些方法使用机器学习技术从数据中学习低分辨率和高分辨率图像之间的复杂映射，深度学习模型具有出色的恢复质量，因此备受关注。新进提出的方法主要有B.Ham等在2018年提出的static/dynamic filter(SDF) 方法[1]，H.Sreter等在2018年提出的approximate convolutional sparse code(ACSC)方法[2]，Y.Li等在2019年提出的imagesuper-resolution feedback network(SRFBN)方法[3]，目前这些新方法集中在单模态数据上，缺乏从不同成像模态吸收的边信息的利用。X.Deng等在2020年最新提出的deepcoupled iterative shrinkage and thresholding algorithm(COISTA)方法[4]，是最新提出的多模态图像超分辨率方法，采用了联合多模式字典学习(JMDL) 算法，采用跨模式依赖性建模方法，性能上不如本方法提出的学习卷积稀疏编码网络建模方法，为此我们提出基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法用于解决上述问题。
发明内容
本发明的目的在于利用低分辨率的观测图像来重构高分辨率图像是不适定的成像逆问题，医学成像和遥感的实际应用通常涉及捕获同一场景的不同图像模态，例如近红外(NIR)图像和三原色(RGB)图像，因此可以考虑多种图像模态的联合使用以完成成像，即使用来自另一个模态的引导图像(也称为边信息)作为辅助从低分辨率观测图像重建高分辨率图像。深度学习方法依赖于训练数据来学习从低分辨率输入到高分辨率输出的端到端映射。本设计提出一种新颖的深度展开算子，其执行的步骤类似于包含边信息的卷积稀疏编码的迭代算法，将近端算法转换为人工学习的多模态卷积稀疏编码的神经网络形式；该网络结合了稀疏先验信息，并能够将引导模式有效地集成到解决方案中。以深度展开架构作为图像超分辨率分析的多模态框架的核心组件，通过采用残差学习来提高训练效率。本方法提出的多模态方法适用于近红外和多光谱图像的超分辨率分析以及使用三原色(RGB)图像作为边信息的深度上采样处理，实验结果表明，我们的模型优于现存的最新方法，为此我们提出一种基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；
由于近红外(NIR)传感器与三原色(RGB)传感器相比，每像素成本较高，因此近红外(NIR)传感器以较低的分辨率获取近红外(NIR)图像，我们使用EPFL 三原色(RGB)-近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外 (NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试；
近红外(NIR)图像由一个通道组成，训练所用和测试所用近红外(NIR)图像的低分辨率版本是通过模糊和缩小真实高分辨率版本生成的，我们将三原色 (RGB)图像转换为YCbCr，使用其中的亮度通道作为边信息，我们将双三次插值作为预处理步骤来放大低分辨率输入，以使输入和输出图像的大小相同；
本方法提出的多模态学习卷积稀疏编码网络的图像超分辨率分析方法 (LMCSC-SR)，它由3种共5个模块组合成：(1)1个多模态学习卷积稀疏编码器(LMCSC)，该网络借助边信息来生成低分辨率输入图像的卷积隐式表达；(2) 2个边信息编码器，即近似卷积稀疏编码器(ACSC)，其中一个用于生成引导高分辨率图像的隐式表达、另一个用于在不使用边信息的情况下，增强目标模态的低分辨率和高分辨率图像之间的转换；(3)2个卷积解码器，计算目标高分辨率图像，同时，通过使用与输入一致的映射，将网络的输出作为高频细节信息，网络输入作为低频信息融合在一起，即通过采用残差学习来提高训练效率；
本方法的核心是多模态学习卷积稀疏编码器(LMCSC)，这里先给出基本问题的设定，然后给出多模态学习卷积稀疏编码器(LMCSC)的构建方法，用于图像超分辨率的分析。
所述图像超分辨率分析可以看成为线性逆问题，公式如下：
y＝Lx+η\*MERGEFORMAT(16)，
其中，
是未知高分辨率图像的矢量化形式，
表示参杂了噪声
的低分辨率观测值，线性算子
n＜k描述了观测机制，它可以表示为下采样算子E和模糊滤波器H的乘积。
所述线性观测算子L需要进行额外的正则化以求解，稀疏性已广泛用作解决稀疏近似问题的正则化器，在本方法采用稀疏建模方法取代直接求解x的方法，通过联合稀疏表示来表达双三次放大的低分辨率图像中的n维(矢量化的)斑块 y和相应高分辨率图像中的相应斑块x，通过联合学习两个字典
n≤m，分别面向低分辨率和高分辨率图像斑块，我们可以强制斑块对的稀疏表示的相似性，使得y＝Ψyα，和x＝Ψxα，
然后，通过求解
计算出高分辨率斑块x，这等同于找到低分辨率斑块y的稀疏表示，其中λ是正则化参数，
是趋近稀疏性的l1范数，这里采用卷积稀疏编码求解问题(2)，用
表示感兴趣的图像，通过解决以下问题获得卷积稀疏码：
步骤3)中，其中
是Frobenius范数，
i＝1,K,k是是卷积字典
的原子，
i＝1,K,k是相对于字典D的稀疏特征映射，l1范数是计算Ui中元素的绝对值之和(就像Ui是作为向量展开)，如果可以获得与目标信号y相关的边信息ω，则可以提高稀疏近似问题的准确性，假设
和
在字典
n≤m，d≤m的情况下分别具有相似的稀疏表示形式
稀疏表示α将可通过l1-l1最小化问题求解：
这里通过神经网络设计解决这个稀疏近似的问题，使用学习迭代软阈值算法。
所述学习迭代软阈值算法的第t层计算可表示为：
αt＝φγ(Sαt-1+Wy),α0＝0\*MERGEFORMAT (20)
其中
φγ(vi)＝sign(vi)max{0,|vi|-γ},i＝1,...,k\*MERGEFORMAT (21)
公式(6)代表软阈值运算符；
和γ＞0是参数，这些参数在迭代软阈值算法中固定设定，而学习迭代软阈值算法从数据中学习得到，因此，学习迭代软阈值算法仅需几次迭代即可达到较高精度，前述算法针对的是单模态数据，在实际应用中，除了目标信号的观测值Y之外，是可以找到可用的与Y相关的另一个图像模态Ω，并且这两个图像模态可以用l1范数相似的卷积稀疏码表示，如果结合来自另一种模态的边信息，可以得出依赖于(4)的解的近端方法，得出迭代过程。
所述迭代过程为：
其中μ，L代表适当的参数。近端算子ξμ包含边信息s，表示为：
当si≥0,i＝1,...,m时：
当si＜0,i＝1,...,m时：
通过将近端算法写成：
αt＝ξμ(Sαt-1+Wy；s),α0＝0\*MERGEFORMAT (25)
进一步地将(10)转换成深度神经网络。
所述深度神经网络具体转换方式为：
令
为相对于卷积字典DY的观察图像Y的稀疏表示，其中
i＝1,...,k表示卷积字典DY的原子，通过使用具有原子
i＝1,...,k 的卷积字典DΩ，可以将引导图像
表示为
其中Zi,i＝1,...,k 为卷积稀疏码，然后，我们可以通过类似于(4)的l1-l1最小化问题计算目标模态的未知稀疏码Ui：
所述卷积和线性稀疏码之间存在对应关系，如果我们用具有Toeplitz结构的矩阵A替换卷积字典DY，并考虑到卷积的线性特性，则公式(11)可以简化为公式(4)，具体来说，通过合并展开
的Toeplitz矩阵获得稀疏字典 A,
和
分别采用目标图像和边信息图像的矢量化稀疏特征映射的形式，然后，通过用乘法替换公式(11)中的卷积运算，我们得到公式(4)，并且可以采用近端算法公式(7)来计算卷积稀疏码；
然而，将(11)转换为(4)并将(7)用于其解决方案在计算上效率不高。由于卷积稀疏编码处理整个图像，因此(4)的维数过高，近端方法就变得不切实际，我们使用线性表示和卷积表示之间的一致性，制定了执行卷积的迭代算法，如下所示：在近端算法(7)中，把在卷积情况下采用串联Toeplitz矩阵形式的矩阵A和AT替换掉，改由卷积字典BY和
分别表示。然后，用卷积运算代替乘法，在给定引导图像的卷积编码Z的情况，通过迭代计算目标图像的卷积编码U：
其中U，Z是大小为p1×p2×k的张量。
公式(12)可以被转换成深度卷积神经网络(CNN)。网络的每个阶段根据以下公式计算稀疏特征映射：
Ut＝ξμ(Ut-1-Q*R*Ut-1+P*Y；Z)\*MERGEFORMAT (28)
其中
为可学习卷积层，μ＞0为可学习参数；c是所采用图像的通道数。此网络使用监督的方式训练网络，由输入图像得到稀疏特征映射。在训练过程中，学习参数Q，R，P和μ；因此，仅使用近端方法的一小部分计算，深度多模态学习卷积稀疏编码就可以得到较高精度。这个神经网络即为本方法中所提出的多模态学习卷积稀疏编码器(LMCSC)，结构如图2所示；
多模态学习并利用边信息时，集成快速算子以对引导模态进行编码，使用引导模态Ω的卷积稀疏码Z来计算目标模态Y的卷积稀疏码，采用近似卷积稀疏编码运算符获得卷积稀疏码Z，近似卷积稀疏编码具有卷积学习迭代软阈值算法的形式，第t层计算为：
Zt＝φγ(Zt-1-T*V*Zt-1+G*Ω)\*MERGEFORMAT (29)
其中φγ是近端操作符。从数据中学习卷积层的参数
和
这种近似卷积稀疏编码形式即为本方法所提出的近似卷积稀疏编码器(ACSC)；
多模态学习卷积稀疏编码器(LMCSC)、近似卷积稀疏编码器(ACSC)，以及常规的卷积解码器，按照图1所示框架构成的多模态学习卷积稀疏编码网络的图像超分辨率分析方法体系结构，即可用于基于稀疏驱动的卷积模型执行多模态图像超分辨率分析，具体来说，低分辨率/高分辨率图像斑块的稀疏线性建模被整个低分辨率/高分辨率图像的稀疏卷积建模所取代，得出低分辨率和高分辨率图像的卷积表示之间的相似性，以及目标图像和引导图像模态在l1范数的表达域上具有相似性，面向不同的卷积字典DY和DX，低分辨率观测Y和高分辨率图像X共享相同的卷积稀疏特征映射Ui，即
这里
是各个卷积字典的原子，给定DY和DX，找到从Y到X的映射等效于计算观察到的低分辨率图像Y的稀疏特征映射U，在表示域中的目标图像和引导图像模态之间的相似性假设，意味着引导高分辨率图像Ω的卷积稀疏码Z与稀疏特征映射U的l1范数相似，因此，可以通过公式(11)的l1-l1最小化问题求解稀疏特征映射U。
多模态学习卷积稀疏编码编码器的目标是使用卷积稀疏特征映射Z作为边信息，学习低分辨率图像Y的卷积稀疏特征映射U，此映射也由高分辨率图像X。多模态学习卷积稀疏编码器之后是由可学习的卷积字典DX实现的卷积解码器，解码器接收由多模态学习卷积稀疏编码器提供的隐式表达U，并根据Xμ＝DX×U 估计X的值；
使用均方误差(MSE)损失函数对整个网络进行端到端训练：
其中Θ表示所有网络参数的集合，Xi是目标模态的真实图像，Xμ是网络计算的估计值；
针对目标(LMCSC学习多模态卷积稀疏编码)和边信息(ACSC近似卷积稀疏编码)编码器，所有网络都设计有三个展开步骤。展开步骤的数量的选择，是在考虑到计算复杂度和重构精度之间的权衡做出的。例如，如果将展开步骤增加到5个，平均PSNR的增益小于0.1dB，而执行时间则多出近87％。在LMCSC-SR 中，ACSC分支采用一个展开步骤来设计用于目标信号的非线性映射；
我们根据经验将网络参数P,Q,G,T的大小均设置为7×7×1×85；R,V 的大小分别设置为7×7×85×1。用于重建的卷积字典的大小设置为7×7×85 ×1。这里，k×k×c×g的卷积层代表其由g个卷积滤波器组、c个通道以及大小为k的内核组成，我们在每个展开步骤都使用无限制权重，即学习多模态卷积稀疏编码和ACSC近似卷积稀疏编码子网的第t层分别由独立变量Rt,Qt,Vt,Tt实现。使用标准偏差等于0.01的高斯分布，随机初始化所有层的权重，近端算子的参数μ和γ都初始化为0.2。我们使用Adam优化器训练网络。
我们注意到，网络的复杂性由学习多模态卷积稀疏编码块中的LeSITA激活层控制，而基于(8)和(9)的实现效率不高，为了解决这个问题，我们在(8)， (9)中重写近端算子，如下所示：
ξμ(vi；si)＝sign(si)[R(sign(si)vi-2μ-|si|)-R(sign(si)vi-|si|) +R(sign(si)vi)-R(-sign(si)vi-2μ)]
\*MERGEFORMAT (31)
其中R(v)＝max(0,v)是线性整流器(ReLU)功能。这种形式的近端运算符可将执行速度提高30％。
与现有技术相比，本发明的有益效果是：
我们使三原色-近红外(RGB-NIR)数据集在25个近红外(NIR)/三原色(RGB) 图像对上测试我们的模型。表1给出了放大比例因子为×2，×4和×6时，PSNR 和结构相似性指数(SSIM)的对比结果。从表1可以看出，与所有尺度的参考方法相比，我们的模型提供了更高的重构精度，而LMCSC-SR则实现了最佳性能。此外，数值结果表明，随着放大比例因子的增加，LMCSC-SR的PSNR增益相对于最新提出的COISTA方法也有所增加。例如，在比例为×2时，增益为0.64dB，对于比例为×4和×6时，增益分别升至0.84dB和1.45dB。
附图说明
图1是本发明所述多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)的由多模态学习卷积稀疏编码器(LMCSC)，近似卷积稀疏编码器 (ACSC)和卷积解码器以及残差学习构成的方法结构示意图；
图2是本发明所述多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)的子模块多模态学习卷积稀疏编码器(LMCSC)的机构示意图，由参数为P的可学习卷积层、参数为R的可学习卷积层、参数为Q的可学习卷积层，以及近端算子和参数组成；
图3是本发明所述多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)的子模块近似卷积稀疏编码器(ACSC)的机构示意图，由参数为T 的可学习卷积层、参数为G的可学习卷积层、参数为V的可学习卷积层，以及近端操作符和参数组成。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；
由于近红外(NIR)传感器与三原色(RGB)传感器相比，每像素成本较高，因此近红外(NIR)传感器以较低的分辨率获取近红外(NIR)图像，我们使用EPFL 三原色(RGB)-近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外 (NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试；
近红外(NIR)图像由一个通道组成，训练所用和测试所用近红外(NIR)图像的低分辨率版本是通过模糊和缩小真实高分辨率版本生成的，我们将三原色 (RGB)图像转换为YCbCr，使用其中的亮度通道作为边信息，我们将双三次插值作为预处理步骤来放大低分辨率输入，以使输入和输出图像的大小相同；
本方法提出的多模态学习卷积稀疏编码网络的图像超分辨率分析方法 (LMCSC-SR)，它由3种共5个模块组合成：(1)1个多模态学习卷积稀疏编码器(LMCSC)，该网络借助边信息来生成低分辨率输入图像的卷积隐式表达；(2) 2个边信息编码器，即近似卷积稀疏编码器(ACSC)，其中一个用于生成引导高分辨率图像的隐式表达、另一个用于在不使用边信息的情况下，增强目标模态的低分辨率和高分辨率图像之间的转换；(3)2个卷积解码器，计算目标高分辨率图像，同时，通过使用与输入一致的映射，将网络的输出作为高频细节信息，网络输入作为低频信息融合在一起，即通过采用残差学习来提高训练效率；
本方法的核心是多模态学习卷积稀疏编码器(LMCSC)，这里先给出基本问题的设定，然后给出多模态学习卷积稀疏编码器(LMCSC)的构建方法，用于图像超分辨率的分析。
所述图像超分辨率分析可以看成为线性逆问题，公式如下：
y＝Lx+η\*MERGEFORMAT (16)，
其中，
是未知高分辨率图像的矢量化形式，
表示参杂了噪声
的低分辨率观测值，线性算子
n＜k描述了观测机制，它可以表示为下采样算子E和模糊滤波器H的乘积。
所述线性观测算子L需要进行额外的正则化以求解，稀疏性已广泛用作解决稀疏近似问题的正则化器，在本方法采用稀疏建模方法取代直接求解x的方法，通过联合稀疏表示来表达双三次放大的低分辨率图像中的n维(矢量化的)斑块 y和相应高分辨率图像中的相应斑块x，通过联合学习两个字典
n≤m，分别面向低分辨率和高分辨率图像斑块，我们可以强制斑块对的稀疏表示的相似性，使得y＝Ψyα，和x＝Ψxα，
然后，通过求解
计算出高分辨率斑块x，这等同于找到低分辨率斑块y的稀疏表示，其中λ是正则化参数，
是趋近稀疏性的l1范数，这里采用卷积稀疏编码求解问题(2)，用
表示感兴趣的图像，通过解决以下问题获得卷积稀疏码：
步骤3)中，其中
是Frobenius范数，
i＝1,K,k是是卷积字典
的原子，
i＝1,K,k是相对于字典D的稀疏特征映射，l1范数是计算Ui中元素的绝对值之和(就像Ui是作为向量展开)，如果可以获得与目标信号y相关的边信息ω，则可以提高稀疏近似问题的准确性，假设
和
在字典
n≤m，d≤m的情况下分别具有相似的稀疏表示形式
稀疏表示α将可通过l1-l1最小化问题求解：
这里通过神经网络设计解决这个稀疏近似的问题，使用学习迭代软阈值算法。
所述学习迭代软阈值算法的第t层计算可表示为：
αt＝φγ(Sαt-1+Wy),α0＝0\*MERGEFORMAT (20)
其中
φγ(vi)＝sign(vi)max{0,|vi|-γ},i＝1,...,k\*MERGEFORMAT (21)
公式(6)代表软阈值运算符；
和γ＞0是参数，这些参数在迭代软阈值算法中固定设定，而学习迭代软阈值算法从数据中学习得到，因此，学习迭代软阈值算法仅需几次迭代即可达到较高精度，前述算法针对的是单模态数据，在实际应用中，除了目标信号的观测值Y之外，是可以找到可用的与Y相关的另一个图像模态Ω，并且这两个图像模态可以用l1范数相似的卷积稀疏码表示，如果结合来自另一种模态的边信息，可以得出依赖于(4)的解的近端方法，得出迭代过程。
所述迭代过程为：
其中μ，L代表适当的参数。近端算子ξμ包含边信息s，表示为：
当si≥0,i＝1,...,m时：
当si＜0,i＝1,...,m时：
通过将近端算法写成：
αt＝ξμ(Sαt-1+Wy；s),α0＝0\*MERGEFORMAT (25)
进一步地将(10)转换成深度神经网络。
所述深度神经网络具体转换方式为：
令
为相对于卷积字典DY的观察图像Y的稀疏表示，其中
i＝1,...,k表示卷积字典DY的原子，通过使用具有原子
i＝1,...,k 的卷积字典DΩ，可以将引导图像
表示为
其中Zi,i＝1,...,k 为卷积稀疏码，然后，我们可以通过类似于(4)的l1-l1最小化问题计算目标模态的未知稀疏码Ui：
所述卷积和线性稀疏码之间存在对应关系，如果我们用具有Toeplitz结构的矩阵A替换卷积字典DY，并考虑到卷积的线性特性，则公式(11)可以简化为公式(4)，具体来说，通过合并展开
的Toeplitz矩阵获得稀疏字典 A,
和
分别采用目标图像和边信息图像的矢量化稀疏特征映射的形式，然后，通过用乘法替换公式(11)中的卷积运算，我们得到公式(4)，并且可以采用近端算法公式(7)来计算卷积稀疏码；
然而，将(11)转换为(4)并将(7)用于其解决方案在计算上效率不高。由于卷积稀疏编码处理整个图像，因此(4)的维数过高，近端方法就变得不切实际，我们使用线性表示和卷积表示之间的一致性，制定了执行卷积的迭代算法，如下所示：在近端算法(7)中，把在卷积情况下采用串联Toeplitz矩阵形式的矩阵A和AT替换掉，改由卷积字典BY和
分别表示。然后，用卷积运算代替乘法，在给定引导图像的卷积编码Z的情况，通过迭代计算目标图像的卷积编码U：
其中U，Z是大小为p1×p2×k的张量。
公式(12)可以被转换成深度卷积神经网络(CNN)。网络的每个阶段根据以下公式计算稀疏特征映射：
Ut＝ξμ(Ut-1-Q*R*Ut-1+P*Y；Z)\*MERGEFORMAT (28)
其中
为可学习卷积层，μ＞0为可学习参数；c是所采用图像的通道数。此网络使用监督的方式训练网络，由输入图像得到稀疏特征映射。在训练过程中，学习参数Q，R，P和μ；因此，仅使用近端方法的一小部分计算，深度多模态学习卷积稀疏编码就可以得到较高精度。这个神经网络即为本方法中所提出的多模态学习卷积稀疏编码器(LMCSC)，结构如图2所示；
多模态学习并利用边信息时，集成快速算子以对引导模态进行编码，使用引导模态Ω的卷积稀疏码Z来计算目标模态Y的卷积稀疏码，采用近似卷积稀疏编码运算符获得卷积稀疏码Z，近似卷积稀疏编码具有卷积学习迭代软阈值算法的形式，第t层计算为：
Zt＝φγ(Zt-1-T*V*Zt-1+G*Ω)\*MERGEFORMAT (29)
其中φγ是近端操作符。从数据中学习卷积层的参数
和
这种近似卷积稀疏编码形式即为本方法所提出的近似卷积稀疏编码器(ACSC)；
多模态学习卷积稀疏编码器(LMCSC)、近似卷积稀疏编码器(ACSC)，以及常规的卷积解码器，按照图1所示框架构成的多模态学习卷积稀疏编码网络的图像超分辨率分析方法体系结构，即可用于基于稀疏驱动的卷积模型执行多模态图像超分辨率分析，具体来说，低分辨率/高分辨率图像斑块的稀疏线性建模被整个低分辨率/高分辨率图像的稀疏卷积建模所取代，得出低分辨率和高分辨率图像的卷积表示之间的相似性，以及目标图像和引导图像模态在l1范数的表达域上具有相似性，面向不同的卷积字典DY和DX，低分辨率观测Y和高分辨率图像X共享相同的卷积稀疏特征映射Ui，即
这里
是各个卷积字典的原子，给定DY和DX，找到从Y到X的映射等效于计算观察到的低分辨率图像Y的稀疏特征映射U，在表示域中的目标图像和引导图像模态之间的相似性假设，意味着引导高分辨率图像Ω的卷积稀疏码Z与稀疏特征映射U的l1范数相似，因此，可以通过公式(11)的l1-l1最小化问题求解稀疏特征映射U。
多模态学习卷积稀疏编码编码器的目标是使用卷积稀疏特征映射Z作为边信息，学习低分辨率图像Y的卷积稀疏特征映射U，此映射也由高分辨率图像X。多模态学习卷积稀疏编码器之后是由可学习的卷积字典DX实现的卷积解码器，解码器接收由多模态学习卷积稀疏编码器提供的隐式表达U，并根据Xμ＝DX×U 估计X的值；
使用均方误差(MSE)损失函数对整个网络进行端到端训练：
其中Θ表示所有网络参数的集合，Xi是目标模态的真实图像，Xμ是网络计算的估计值；
针对目标(LMCSC学习多模态卷积稀疏编码)和边信息(ACSC近似卷积稀疏编码)编码器，所有网络都设计有三个展开步骤。展开步骤的数量的选择，是在考虑到计算复杂度和重构精度之间的权衡做出的。例如，如果将展开步骤增加到5个，平均PSNR的增益小于0.1dB，而执行时间则多出近87％。在LMCSC-SR 中，ACSC分支采用一个展开步骤来设计用于目标信号的非线性映射；
我们根据经验将网络参数P,Q,G,T的大小均设置为7×7×1×85；R,V 的大小分别设置为7×7×85×1。用于重建的卷积字典的大小设置为7×7×85 ×1。这里，k×k×c×g的卷积层代表其由g个卷积滤波器组、c个通道以及大小为k的内核组成，我们在每个展开步骤都使用无限制权重，即学习多模态卷积稀疏编码和ACSC近似卷积稀疏编码子网的第t层分别由独立变量Rt,Qt,Vt,Tt实现。使用标准偏差等于0.01的高斯分布，随机初始化所有层的权重，近端算子的参数μ和γ都初始化为0.2。我们使用Adam优化器训练网络。
我们注意到，网络的复杂性由学习多模态卷积稀疏编码块中的LeSITA激活层控制，而基于(8)和(9)的实现效率不高，为了解决这个问题，我们在(8)， (9)中重写近端算子，如下所示：
ξμ(vi；si)＝sign(si)[R(sign(si)vi-2μ-|si|)-R(sign(si)vi-|si|) +R(sign(si)vi)-R(-sign(si)vi-2μ)]
\*MERGEFORMAT (31)
其中R(v)＝max(0,v)是线性整流器(ReLU)功能。这种形式的近端运算符可将执行速度提高30％。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；
由于近红外(NIR)传感器与三原色(RGB)传感器相比，每像素成本较高，因此近红外(NIR)传感器以较低的分辨率获取近红外(NIR)图像，我们使用EPFL三原色(RGB)-近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试；
近红外(NIR)图像由一个通道组成，训练所用和测试所用近红外(NIR)图像的低分辨率版本是通过模糊和缩小真实高分辨率版本生成的，我们将三原色(RGB)图像转换为YCbCr，使用其中的亮度通道作为边信息，我们将双三次插值作为预处理步骤来放大低分辨率输入，以使输入和输出图像的大小相同；
本方法提出的多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)，它由3种共5个模块组合成：(1)1个多模态学习卷积稀疏编码器(LMCSC)，该网络借助边信息来生成低分辨率输入图像的卷积隐式表达；(2)2个边信息编码器，即近似卷积稀疏编码器(ACSC)，其中一个用于生成引导高分辨率图像的隐式表达、另一个用于在不使用边信息的情况下，增强目标模态的低分辨率和高分辨率图像之间的转换；(3)2个卷积解码器，计算目标高分辨率图像，同时，通过使用与输入一致的映射，将网络的输出作为高频细节信息，网络输入作为低频信息融合在一起，即通过采用残差学习来提高训练效率；
本方法的核心是多模态学习卷积稀疏编码器(LMCSC)，这里先给出基本问题的设定，然后给出多模态学习卷积稀疏编码器(LMCSC)的构建方法，用于图像超分辨率的分析。
2.根据权利要求1所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述图像超分辨率分析可以看成为线性逆问题，公式如下：
y＝Lx+η\*MERGEFORMAT(16)，
其中，
是未知高分辨率图像的矢量化形式，
表示参杂了噪声
的低分辨率观测值，线性算子
描述了观测机制，它可以表示为下采样算子E和模糊滤波器H的乘积。
3.根据权利要求2所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述线性观测算子L需要进行额外的正则化以求解，稀疏性已广泛用作解决稀疏近似问题的正则化器，在本方法采用稀疏建模方法取代直接求解x的方法，通过联合稀疏表示来表达双三次放大的低分辨率图像中的n维(矢量化的)斑块y和相应高分辨率图像中的相应斑块x，通过联合学习两个字典
分别面向低分辨率和高分辨率图像斑块，我们可以强制斑块对的稀疏表示的相似性，使得y＝Ψyα，和x＝Ψxα，
然后，通过求解
计算出高分辨率斑块x，这等同于找到低分辨率斑块y的稀疏表示，其中λ是正则化参数，
是趋近稀疏性的l1范数，这里采用卷积稀疏编码求解问题(2)，用
表示感兴趣的图像，通过解决以下问题获得卷积稀疏码：
4.根据权利要求1所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：步骤3)中，其中
是Frobenius范数，
k是是卷积字典
的原子，
k是相对于字典D的稀疏特征映射，l1范数是计算Ui中元素的绝对值之和(就像Ui是作为向量展开)，如果可以获得与目标信号y相关的边信息ω，则可以提高稀疏近似问题的准确性，假设
和
在字典
的情况下分别具有相似的稀疏表示形式
稀疏表示α将可通过l1-l1最小化问题求解：
这里通过神经网络设计解决这个稀疏近似的问题，使用学习迭代软阈值算法。
5.根据权利要求4所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述学习迭代软阈值算法的第t层计算可表示为：
αt＝φγ(Sαt-1+Wy),α0＝0\*MERGEFORMAT(20)
其中
φγ(vi)＝sign(vi)max{0,|vi|-γ},i＝1,...,k\*MERGEFORMAT(21)
公式(6)代表软阈值运算符；
和γ＞0是参数，这些参数在迭代软阈值算法中固定设定，而学习迭代软阈值算法从数据中学习得到，因此，学习迭代软阈值算法仅需几次迭代即可达到较高精度，前述算法针对的是单模态数据，在实际应用中，除了目标信号的观测值Y之外，是可以找到可用的与Y相关的另一个图像模态Ω，并且这两个图像模态可以用l1范数相似的卷积稀疏码表示，如果结合来自另一种模态的边信息，可以得出依赖于(4)的解的近端方法，得出迭代过程。
6.根据权利要求5所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述迭代过程为：
其中μ，L代表适当的参数。近端算子ξμ包含边信息s，表示为：
当si≥0,i＝1,...,m时：
当si＜0,i＝1,...,m时：
通过将近端算法写成：
αt＝ξμ(Sαt-1+Wy；s),α0＝0\*MERGEFORMAT(25)
进一步地将(10)转换成深度神经网络。
7.根据权利要求6所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述深度神经网络具体转换方式为：
令
为相对于卷积字典DY的观察图像Y的稀疏表示，其中
表示卷积字典DY的原子，通过使用具有原子
的卷积字典DΩ，可以将引导图像
表示为
其中Zi,i＝1,...,k为卷积稀疏码，然后，我们可以通过类似于(4)的l1-l1最小化问题计算目标模态的未知稀疏码Ui：
8.根据权利要求5所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述卷积和线性稀疏码之间存在对应关系，如果我们用具有Toeplitz结构的矩阵A替换卷积字典DY，并考虑到卷积的线性特性，则公式(11)可以简化为公式(4)，具体来说，通过合并展开
的Toeplitz矩阵获得稀疏字典A,
和
分别采用目标图像和边信息图像的矢量化稀疏特征映射的形式，然后，通过用乘法替换公式(11)中的卷积运算，我们得到公式(4)，并且可以采用近端算法公式(7)来计算卷积稀疏码；
然而，将(11)转换为(4)并将(7)用于其解决方案在计算上效率不高。由于卷积稀疏编码处理整个图像，因此(4)的维数过高，近端方法就变得不切实际，我们使用线性表示和卷积表示之间的一致性，制定了执行卷积的迭代算法，如下所示：在近端算法(7)中，把在卷积情况下采用串联Toeplitz矩阵形式的矩阵A和AT替换掉，改由卷积字典BY和
分别表示。然后，用卷积运算代替乘法，在给定引导图像的卷积编码Z的情况，通过迭代计算目标图像的卷积编码U：
其中U，Z是大小为p1×p2×k的张量。
公式(12)可以被转换成深度卷积神经网络(CNN)。网络的每个阶段根据以下公式计算稀疏特征映射：
Ut＝ξμ(Ut-1-Q*R*Ut-1+P*Y；Z)\*MERGEFORMAT(28)
其中
为可学习卷积层，μ＞0为可学习参数；c是所采用图像的通道数。此网络使用监督的方式训练网络，由输入图像得到稀疏特征映射。在训练过程中，学习参数Q，R，P和μ；因此，仅使用近端方法的一小部分计算，深度多模态学习卷积稀疏编码就可以得到较高精度。这个神经网络即为本方法中所提出的多模态学习卷积稀疏编码器(LMCSC)，结构如图2所示；
多模态学习并利用边信息时，集成快速算子以对引导模态进行编码，使用引导模态Ω的卷积稀疏码Z来计算目标模态Y的卷积稀疏码，采用近似卷积稀疏编码运算符获得卷积稀疏码Z，近似卷积稀疏编码具有卷积学习迭代软阈值算法的形式，第t层计算为：
Zt＝φγ(Zt-1-T*V*Zt-1+G*Ω)\*MERGEFORMAT(29)
其中φγ是近端操作符。从数据中学习卷积层的参数
和
这种近似卷积稀疏编码形式即为本方法所提出的近似卷积稀疏编码器(ACSC)；
多模态学习卷积稀疏编码器(LMCSC)、近似卷积稀疏编码器(ACSC)，以及常规的卷积解码器，按照图1所示框架构成的多模态学习卷积稀疏编码网络的图像超分辨率分析方法体系结构，即可用于基于稀疏驱动的卷积模型执行多模态图像超分辨率分析，具体来说，低分辨率/高分辨率图像斑块的稀疏线性建模被整个低分辨率/高分辨率图像的稀疏卷积建模所取代，得出低分辨率和高分辨率图像的卷积表示之间的相似性，以及目标图像和引导图像模态在l1范数的表达域上具有相似性，面向不同的卷积字典DY和DX，低分辨率观测Y和高分辨率图像X共享相同的卷积稀疏特征映射Ui，即
这里
是各个卷积字典的原子，给定DY和DX，找到从Y到X的映射等效于计算观察到的低分辨率图像Y的稀疏特征映射U，在表示域中的目标图像和引导图像模态之间的相似性假设，意味着引导高分辨率图像Ω的卷积稀疏码Z与稀疏特征映射U的l1范数相似，因此，可以通过公式(11)的l1-l1最小化问题求解稀疏特征映射U。
9.根据权利要求8所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：多模态学习卷积稀疏编码编码器的目标是使用卷积稀疏特征映射Z作为边信息，学习低分辨率图像Y的卷积稀疏特征映射U，此映射也由高分辨率图像X。多模态学习卷积稀疏编码器之后是由可学习的卷积字典DX实现的卷积解码器，解码器接收由多模态学习卷积稀疏编码器提供的隐式表达U，并根据Xμ＝DX×U估计X的值；
使用均方误差(MSE)损失函数对整个网络进行端到端训练：
其中Θ表示所有网络参数的集合，Xi是目标模态的真实图像，Xμ是网络计算的估计值；
针对目标(LMCSC学习多模态卷积稀疏编码)和边信息(ACSC近似卷积稀疏编码)编码器，所有网络都设计有三个展开步骤。展开步骤的数量的选择，是在考虑到计算复杂度和重构精度之间的权衡做出的。例如，如果将展开步骤增加到5个，平均PSNR的增益小于0.1dB，而执行时间则多出近87％。在LMCSC-SR中，ACSC分支采用一个展开步骤来设计用于目标信号的非线性映射；
我们根据经验将网络参数P,Q,G,T的大小均设置为7×7×1×85；R,V 的大小分别设置为7×7×85×1。用于重建的卷积字典的大小设置为7×7×85×1。这里，k×k×c×g的卷积层代表其由g个卷积滤波器组、c个通道以及大小为k的内核组成，我们在每个展开步骤都使用无限制权重，即学习多模态卷积稀疏编码和ACSC近似卷积稀疏编码子网的第t层分别由独立变量Rt,Qt,Vt,Tt实现。使用标准偏差等于0.01的高斯分布，随机初始化所有层的权重，近端算子的参数μ和γ都初始化为0.2。我们使用Adam优化器训练网络。
我们注意到，网络的复杂性由学习多模态卷积稀疏编码块中的LeSITA激活层控制，而基于(8)和(9)的实现效率不高，为了解决这个问题，我们在(8)，(9)中重写近端算子，如下所示：
ξμ(vi；si)＝sign(si)[R(sign(si)vi-2μ-|si|)-R(sign(si)vi-|si|)+R(sign(si)vi)-R(-sign(si)vi-2μ)]\*MERGEFORMAT(31)
其中R(v)＝max(0,v)是线性整流器(ReLU)功能。这种形式的近端运算符可将执行速度提高30％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011188968.3A CN112529777A (zh) | 2020-10-30 | 2020-10-30 | 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011188968.3A CN112529777A (zh) | 2020-10-30 | 2020-10-30 | 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112529777A true CN112529777A (zh) | 2021-03-19 |
Family
ID=74979244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011188968.3A Pending CN112529777A (zh) | 2020-10-30 | 2020-10-30 | 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529777A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907573A (zh) * | 2021-03-25 | 2021-06-04 | 东南大学 | 一种基于3d卷积的深度补全方法 |
| CN113343757A (zh) * | 2021-04-23 | 2021-09-03 | 重庆七腾科技有限公司 | 基于卷积稀疏编码和光流的时空异常检测方法 |
| CN113850719A (zh) * | 2021-06-16 | 2021-12-28 | 北京大学 | 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法 |
| CN114820326A (zh) * | 2022-05-25 | 2022-07-29 | 厦门大学 | 基于可调节核稀疏化的高效单帧图像超分方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
-
2020
- 2020-10-30 CN CN202011188968.3A patent/CN112529777A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| IMAN MARIVANI ET AL.: "Multimodal Deep Unfolding for Guided Image Super-Resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 29, pages 8443 - 8456, XP011807002, DOI: 10.1109/TIP.2020.3014729 * |
| 朱齐丹 等: "多正则化形式的超分辨率图像重建", 《光电工程》, vol. 42, no. 01, pages 45 - 50 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907573A (zh) * | 2021-03-25 | 2021-06-04 | 东南大学 | 一种基于3d卷积的深度补全方法 |
| CN112907573B (zh) * | 2021-03-25 | 2022-04-29 | 东南大学 | 一种基于3d卷积的深度补全方法 |
| CN113343757A (zh) * | 2021-04-23 | 2021-09-03 | 重庆七腾科技有限公司 | 基于卷积稀疏编码和光流的时空异常检测方法 |
| CN113850719A (zh) * | 2021-06-16 | 2021-12-28 | 北京大学 | 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法 |
| CN114820326A (zh) * | 2022-05-25 | 2022-07-29 | 厦门大学 | 基于可调节核稀疏化的高效单帧图像超分方法 |
| CN114820326B (zh) * | 2022-05-25 | 2024-05-31 | 厦门大学 | 基于可调节核稀疏化的高效单帧图像超分方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chang et al. | HSI-DeNet: Hyperspectral image restoration via convolutional neural network | |
| CN112529777A (zh) | 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 | |
| Li et al. | Thin cloud removal with residual symmetrical concatenation network | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| Marivani et al. | Multimodal deep unfolding for guided image super-resolution | |
| Liu et al. | Effective image super resolution via hierarchical convolutional neural network | |
| Degraux et al. | Online convolutional dictionary learning for multimodal imaging | |
| Liu et al. | Deep differential convolutional network for single image super-resolution | |
| Geng et al. | Truncated nuclear norm minimization based group sparse representation for image restoration | |
| Khan et al. | An encoder–decoder deep learning framework for building footprints extraction from aerial imagery | |
| Marivani et al. | Multimodal image super-resolution via deep unfolding with side information | |
| Singhal et al. | A domain adaptation approach to solve inverse problems in imaging via coupled deep dictionary learning | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| Zareapoor et al. | Local spatial information for image super-resolution | |
| Yao et al. | Principal component dictionary-based patch grouping for image denoising | |
| CN109741258B (zh) | 基于重建的图像超分辨率方法 | |
| Xiong et al. | Gradient boosting for single image super-resolution | |
| Zhang et al. | Polarization image demosaicking via nonlocal sparse tensor factorization | |
| CN112734763B (zh) | 基于卷积与k-svd字典联合稀疏编码的图像分解方法 | |
| Ren et al. | Enhanced latent space blind model for real image denoising via alternative optimization | |
| Yang et al. | Learning degradation-aware deep prior for hyperspectral image reconstruction | |
| Amiri et al. | A fast video super resolution for facial image | |
| Wang et al. | Lightweight image denoising network with four-channel interaction transform | |
| Liu et al. | Diverse hyperspectral remote sensing image synthesis with diffusion models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |