CN112907449A - 一种基于深度卷积稀疏编码的图像超分辨率重建方法 - Google Patents
一种基于深度卷积稀疏编码的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN112907449A CN112907449A CN202110196819.XA CN202110196819A CN112907449A CN 112907449 A CN112907449 A CN 112907449A CN 202110196819 A CN202110196819 A CN 202110196819A CN 112907449 A CN112907449 A CN 112907449A
- Authority
- CN
- China
- Prior art keywords
- sparse
- network
- image
- sparse coding
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 5
- 241001134453 Lista Species 0.000 claims 2
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000007476 Maximum Likelihood Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 description 1
- 229940084388 gammar Drugs 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像超分辨率重构技术领域，公开了一种基于深度卷积稀疏编码的图像超分辨率重建方法，将关于多层卷积稀疏编码模型ML‑CSC的多层学习迭代软阈值算法ML‑LISTA嵌入到深度卷积神经网络DCNN中，利用DCNN的学习能力自适应更新ML‑LISTA中的所有参数，构建了可解释的图像超分辨率重构的端到端监督神经网络SRMCSC；引入残差学习，利用ML‑LISTA算法提取残差特征，将残差与输入图像结合重构高分辨率图像，加快训练速度和收敛速度。本发明提供的SRMCSC网络结构紧凑，具有良好的解释性，能够提供具有视觉吸引力的结果，为超分辨率重构提供一种实用的解决方案。
Description
技术领域
本发明属于图像超分辨率重构技术领域，尤其涉及一种基于深度卷积稀疏编码的图像超分辨率重建方法。
背景技术
目前，图像超分辨率重构(SR)是许多数字成像和计算机低层视觉中一个经典的问题，旨在从单输入低分辨率图像(LR)构建高分辨率图像(HR)，并且被广泛应用于各个领域，从安全与监视成像到需要更多图像细节的医学成像和卫星成像。这是由于成像系统、传输介质和记录设备的不完善，影响了图像的视觉效果。因此，以便获得高质量的数字图像，需要对图像进行超分辨率重建处理。
近年来，图像超分辨率重构方法在计算机视觉中得到了广泛的研究，目前，提出的方法主要分为两类，基于插值的方法和基于模型的方法。基于插值的方法，如双三次插值和Lanzcos重采样法，具有较高的实现效率，但是这些方法会使图像出现过光滑现象。而与它相反的方法是迭代反投影方法(IBP)，可能产生边缘过度锐化的图像。因此，许多图像插值方法被应用于迭代反投影法的后期处理(边缘锐化)阶段。基于模型的方法，是利用低分辨率图像到高分辨率图像的映射进行建模。如稀疏编码方法，利用低分辨率图像块的稀疏表示系数重构高分辨率图像块，并且这些基于稀疏先验的方法是一种具有代表性的超分辨率重构方法；自相似性方法，是将低分辨率图像块中结构自相似信息附加在高分辨率图像重构过程中；领域嵌入方法，将低分辨率图像块的邻域嵌入到字典中最近的原子上，并预计算相应的嵌入矩阵重构高分辨图像块。这些方法在求解过程中的每一步都有明确的数学和物理意义，这就保证了这些方法在理论指导下具有可解释性和正确的改进方向，取得了较好的效果，特别是稀疏模型在超分辨率重构领域中取得了长足的进展。但大多数方法通常有两个主要问题缺点：首先这些方法在优化中一般计算比较复杂，使得重构过程耗时；其次，这些方法涉及到许多手动选择的参数，这为提高重构性能提供了一定的裕度。
为了突破上述经典方法的局限性，基于深度学习的先驱模型，超分辨率卷积神经网络SRCNN出现并带来了新的方向，该方法通过全卷积网络预测非线性低分辨图像到高分辨率图像映射，这意味着，超分辨率所有信息都是通过数据学习得到的，即通过反向传播来自适应优化网络中的参数，该方法弥补了经典学习方法的不足，并取得了更好的性能。然而本发明发现了它的局限性，首先它的网络结构是不可解释的，只能通过反复试验技术来设计，这给网络结构的改进带来了困难。其次它是依赖于小图像区域的上下文，不足以恢复图像细节。因此，亟需一种新的图像超分辨率重建方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有超分辨率卷积神经网络结构是不可解释的，只能通过反复试验技术来设计，这给网络结构的改进带来了困难。
(2)现有超分辨率卷积神经网络SRCNN依赖于小图像区域的上下文，不足以恢复图像细节。
解决以上问题及缺陷的难度为：现有的超分辨率重构卷积神经网络结构具有不可解释性，网络结构设计依靠反复试验，改进困难；且依赖于小图像区域的上下文，不足以恢复图像细节。
解决以上问题及缺陷的意义为：突破经典方法的局限性，网络的可解释性可以指导我们更好地设计网络架构以提高性能，而不是简单地堆叠网络层。扩大图像区域的上下文，能够更好地恢复图像细节。
发明内容
针对现有技术存在的问题，本发明提供了一种基于深度卷积稀疏编码的图像超分辨率重建方法。
本发明是这样实现的，一种基于深度卷积稀疏编码的图像超分辨率重建方法，所述基于深度卷积稀疏编码的图像超分辨率重建方法包括以下步骤：
步骤一，将多层学习迭代软阈值算法ML-LISTA嵌入到深度卷积神经网络DCNN中，利用DCNN的学习能力自适应更新ML-LISTA中的所有参数；构建可解释的图像超分辨率重构的端到端监督神经网络SRMCSC；网络的可解释性可以指导我们更好地设计网络架构以提高性能，而不是简单地堆叠网络层；
步骤二，引入残差学习，利用ML-LISTA算法提取残差特征，将残差与输入图像结合重构高分辨率图像，加快训练速度和收敛速度。
进一步，步骤一中，所述多层卷积稀疏编码模型的构建方法，包括：
稀疏编码的目的是从给定的超完备字典A∈RN×M(M>N)中寻找信号y∈RN的最稀疏表示γ∈RM，即y＝Aγ。求解γ问题又称为Lasso或者l1-正则化BP问题：
其中，常量α是用来权衡重建项和正则项。迭代软阈值算法ISTA的更新公式可以写成：
其中，γi表示第i次迭代更新，L是Lipschitz常数，Sρ(·)是阈值为ρ的软阈值算子。软阈值算子定义如下：
进一步，步骤一中，所述多层卷积稀疏编码模型的构建方法，还包括：提出卷积稀疏编码(CSC)模型，对整个图像进行稀疏编码，并且图像可以由m个局部滤波器di∈Rn(n＜＜N)和其对应的特征图γi∈RN卷积之后线性组合得到的，即
对应于方程(1)的CSC模型的优化问题可以写成：
将滤波器转换成带状循环矩阵，构造一个具有特殊结构的全局字典D∈RN×mN，即x＝Dγ。全局卷积字典D中，每一个小的块都是一个局部字典，在全局范围内具有相同的大小n×m个元素，其列是滤波器
因此CSC模型(3)可以看作是SC模型(1)的一种特殊形式。具体地说，ISTA的矩阵乘法(2)被卷积运算取代。类似地，LISTA也可以解决CSC问题(3)。
阈值化算子作为CNN和CSC的基础，CNN中的校正线性单元(ReLU)和软阈值函数进行比较，ReLU和软阈值函数在非负部分是一致的，针对非负卷积稀疏编码模型，对应的优化问题(1)须添加一个约束来强制结果为正，即：
由此产生的一个自然问题是这样的约束是否会影响原始稀疏模型的表达能力。事实上，这是毋庸置疑的，因为原始稀疏模型的负系数可以转移到字典中。考虑一个信号y＝Dγ，它可以写为：
y＝Dγ++(-D)(-γ-) (5)
γ可以分为γ+和γ-，γ+包含正向元素，γ-包含负元素，γ+和-γ-都是非负的。显然，本发明可以发现信号y在字典[D-D]上允许非负稀疏表示[γ+-γ-]T。因此，每个稀疏编码都可以转化为非负稀疏编码，非负稀疏编码问题(4)也可以通过软阈值算法来解决。定义非负软阈值算子Sρ+：
同时，设置γ0＝0，这意味着问题(4)中γ的迭代更新可以写成：
非负软阈值算子等价于ReLU函数：
因此(6)式等价写为：
这里，偏值项b对应于阈值
换句话说，α在稀疏编码中是一个超参数，但在CNN中是一个学习参数。同时，字典学习可以通过D＝WT完成。因此，为CSC模型服务的非负软阈值算子与CNN紧密相连。
进一步，步骤一中，所述多层卷积稀疏编码模型的构建方法，还包括：
假设卷积字典D可以分解为多个矩阵的乘法，即x＝D1D2...DLγL。ML-CSC模型可以被描述为：
x＝D1γ1
γ1＝D2γ2
γ2＝D3γ3
…
γL-1＝DLγL·
γi即是第i层稀疏表示又是i+1层的信号，Di表示第i层的卷积字典，它是卷积矩阵的转置。有效字典{Di}i＝1L作为分析算子，使浅层稀疏表示不那么稀疏。因此，在基于分析的先验和基于综合的先验中，采用不同的表示层，使得先验信息不仅可以约束最深层稀疏表示的稀疏性，而且可以使较浅层的稀疏表示不是很稀疏。而且，ML-CSC也是SC(1)模型的一个特例。因此，给定一个信号，设置γ0＝y，ML-CSC模型中第i层的优化目标可以写成：
αi是第i层的正则化参数。类似于公式(2)，使用迭代软阈值算法来获得问题(9)中γi的更新。重复该算法得到{γi}i＝1L的多层迭代软阈值算法ML-ISTA，ML-ISTA以
的速率收敛到ML-CSC的全局最优解，并提出多层学习迭代软阈值算法ML-LISTA，是通过从数据中学习参数来近似ML-ISTA的稀疏编码。
其中，
替换迭代算子
ML-LISTA中的字典Di被分解成两个大小相同的字典，Wi和Bi，并且Wi和Bi也被约束为一个卷积字典来控制参数的数量。如果只迭代一次，找到初始条件为γL1＝0的最深稀疏表示，可重写为：
进一步，如果向稀疏表示系数添加非负假设，类似于等式(4)，则阈值算子P是非负投影。获得最深层稀疏表示的过程相当于神经网络获得稳定解的过程，即CNN的前向传递可以理解为给定输入信号，求解稀疏表示的一种追踪算法。在ML-CSC模型中，ML-CSC模型中的字典DDi被嵌入到Wi和Bi的可学习卷积核中，即
的字典原子代表CNN中的卷积滤波器，用独立的卷积核分别建模Wi和Bi。阈值ρi平行于偏置向量bi，非负软阈值算子等价于CNN的激活函数ReLU。
进一步，步骤一中，所述SRMCSC网络由两部分组成：ML-LISTA的特征提取和高分辨率图像重构。整个网络是一个端到端的系统，它以一幅低分辨率的图像y作为输入，直接生成真实高分辨率图像x作为输出，网络的深度只与迭代次数有关。
进一步，步骤一中，所述SRMCSC网络的每一层和每一个跳跃连接都严格对应于三层LISTA处理流程的每一步，并展开算法框架作为SRMCSC网络的第一个组成部分，网络的前三层对应于算法的第一次迭代。网络中具有迭代更新的中间隐藏层由更新块组成。因此，提出的网络可以解释为一个求解多层BP问题的近似算法。
进一步，步骤二中，所述的残差学习，首先是将经过K次迭代，得到稀疏特征映射γ3K，根据ML-CSC模型的定义，结合稀疏特征映射和字典，估计得到残差(Residual)图像，且估计的残差图像U主要包含高频细节信息；再通过公式(11)计算得到最终的高分辨率图x，作为网络的第二个组成部分。
x＝U+y (11)
网络的性能只取决于参数的初始值、迭代次数K和滤波器的数量。换言之，网络只需增加迭代次数而不引入额外参数，而模型需要训练的滤波器参数仅为三组相同大小的字典。
进一步，所述SRMCSC网络中，使用损失函数MSE：
给定N个训练对
即N个低分辨率-高分辨率补丁对，目的是最小化以下目标函数：
其中，f(·)是本发明的SRMCSC网络，Θ表示所有可训练的参数，本发明使用Adam优化程序来优化网络参数。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于深度卷积稀疏编码的图像超分辨率重建方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于深度卷积稀疏编码的图像超分辨率重建方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于深度卷积稀疏编码的图像超分辨率重建方法，将多层卷积稀疏编码与深度卷积神经网络(DCNN)相结合，提出了一种可解释的图像超分辨率重构(SR)的端到端监督神经网络(SRMCSC)，该网络结构紧凑，易于实现，并且具有良好的解释性。具体而言，该网络是将多层学习迭代软阈值算法(ML-LISTA)嵌入到DCNN中，利用DCNN强大的学习能力自适应更新ML-LISTA中的所有参数。因而在不引入额外参数情况下，可以通过增加迭代次数加深网络，以扩大网络接收域上下文信息。然而随着网络逐渐加深，收敛速度成为训练中的一个关键问题，因此本发明引入了残差学习，利用ML-LISTA算法提取残差特征，将残差与输入图像结合重构高分辨率图像，从而加快训练速度和收敛速度。另外，与几种先进的相关方法相比，本发明的方法在定性和定量两方面都取得了最佳的重构效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的用于超分辨率重构的SRMCSC网络框架图。
图2是本发明实施例提供的低分辨率图像与高分辨率图像的区别示意图。
图3是本发明实施例提供的带状循环全局字典D的示意图。
图4是本发明实施例提供的ρ＝2的软阈值算子和ReLU函数示意图。
图5是本发明实施例提供的关于图片“butterfly”(Set5)且尺度因子为3的PSNR(dB)值及视觉效果示意图。
图6是本发明实施例提供的关于图片“woman”(Set5)且尺度因子为3的PSNR(dB)值及视觉效果示意图。
图7是本发明实施例提供的基于深度卷积稀疏编码的图像超分辨率重建方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于深度卷积稀疏编码的图像超分辨率重建方法，下面结合附图对本发明作详细的描述。
如图7所示，本发明实施例提供的基于深度卷积稀疏编码的图像超分辨率重建方法包括以下步骤：
S101，将关于多层卷积稀疏编码模型ML-CSC的多层学习迭代软阈值算法ML-LISTA嵌入到深度卷积神经网络DCNN中，利用DCNN的学习能力自适应更新ML-LISTA中的所有参数，构建了可解释的图像超分辨率重构的端到端监督神经网络SRMCSC；
S102，引入残差学习，利用ML-LISTA算法提取残差特征，将残差与输入图像结合重构高分辨率图像，加快训练速度和收敛速度。
本发明提供的基于深度卷积稀疏编码的图像超分辨率重建方法业内的普通技术人员还可以采用其他的步骤实施，图1是本发明提供的基于深度卷积稀疏编码的图像超分辨率重建的方法，仅仅是一个具体实施例而已。
下面结合实施例对本发明的技术方案作进一步的描述。
1、概述
本发明将多层卷积稀疏编码与深度卷积神经网络(DCNN)相结合，提出了一种可解释的图像超分辨率重构(SR)的端到端监督神经网络(SRMCSC)，该网络结构紧凑，易于实现，并且具有良好的解释性。具体而言，该网络是将多层学习迭代软阈值算法(ML-LISTA)嵌入到DCNN中，利用DCNN强大的学习能力自适应更新ML-LISTA中的所有参数。因而在不引入额外参数情况下，可以通过增加迭代次数加深网络，以扩大网络接收域上下文信息。然而随着网络逐渐加深，收敛速度成为训练中的一个关键问题，因此本发明引入了残差学习，利用ML-LISTA算法提取残差特征，将残差与输入图像结合重构高分辨率图像，从而加快训练速度和收敛速度。另外，与几种先进的相关方法相比，本发明的方法在定性和定量两方面都取得了最佳的重构效果。
本发明提出了一个新的解决超分辨率重构问题的方法，将多层卷积稀疏编码(ML-CSC)与深度学习相结合，构造一个超分辨率卷积神经网络，名为SRMCSC，如图1所示。
图1中，本发明的网络的每个组成部分都是为了完成特定的任务而设计的。首先，构造一个具有扩张卷积的三层LISTA来识别和分离残差。其次，本发明使用从三层LISTA获得的稀疏特征映射γ3K重构残差图像Residual。最后，将残差与输入图像相结合给出了高分辨率的输出图像。图像的底部显示了迭代更新的内部结构，每个迭代有11层。其中，“Conv”表示卷积，“TransConv”表示卷积的转置，“Relu”表示激活函数。
图2是低分辨率图像与高分辨率图像的区别，图中分别为低分辨率图像(LR)，高分辨率图像(HR)，残差图(Residual)。
该网络结构主要由解决多层稀疏性正则性优化的迭代算法-多层学习迭代软阈值算法(ML-LISTA)与残差学习结合组成的。本发明使用残差学习方法，主要是由于低分辨率图像与高分辨率图像很大程度上是相似的，他们之间的区别如图2中的Residual所示，而在这种输入输出高度相关的情况下，显示建模残差图像是一种加速训练的有效学习方法。同时本发明使用多层卷积稀疏编码主要有以下两个原因：第一，由于低分辨率图像与高分辨率图像基本相似，它们之间的区别如图2中的Residual所示，本发明定义其为残差图像U＝x-y，其中大多数值可能为零或更小，它具有明显的稀疏性，而多层卷积稀疏编码模型的多层结构，不仅可以约束了最深层稀疏表示的稀疏性，而且在较浅层中使稀疏表示更少，适合这种具有明显稀疏性的对象重构。第二，多层模型势必带来更深和更稳定的网络结构，从而扩大图像区域的上下文信息，弥补小补丁中包含的信息不足以进行细节恢复这一问题。
因此，所提出的SRMCSC是一个受ML-CSC模型启发的可解释的端到端监督神经网络，这是一个具有跳跃连接的递归网络体系结构，并用于图像超分辨率重构，网络层严格对应于三层模型展开的ML-LISTA算法处理流程中的每个步骤。更具体地说，算法中的软阈值函数被ReLU激活函数取代，网络中的所有参数和滤波器权重都通过使用反向传播最小化损失函数来更新。与SRCNN不同，一方面在正确的理解每一层的物理意义后，本发明可以有一种更有原则的方法来初始化SRMCSC中的参数，有助于提高优化的速度与质量。另一方面，该网络基于数据驱动，首先该网络是将领域知识与深度学习相结合，设计一个新的可解释性的网络。对本发明提出的SRMCSC方法与4种有代表性的方法在Set5、Set14、BSD100测试集上进行了基准测试，与经典的SR方法相比，包括双三次插值(Bicubic)、Zeyde等人提出的稀疏编码方法、局部线性领域嵌入方法(NE+LLE)、锚定邻域回归算法(ANR)，本发明的方法在所有尺度因子下都有显著的平均PSNR值增益约1～2db。与深度学习方法SRCNN相比，本发明的方法在所有尺度因子下都有显著的平均PSNR增益约0.4～1db。特别是在尺度因子为2的情况下，在测试集Set5的平均PSNR值比SRCNN高1db。因此与所有方法相比，本发明的方法相对更加准确和有效。
综上所述，本发明工作的概括为：
(1)本发明提出了一个用于超分辨率重构的可解释和端到端的卷积神经网络，即SRMCSC网络，该网络体系结构灵感来源于展开的ML-LISTA的三层模型的处理流程，因此，该网络在不引入额外参数的情况下，通过增加迭代次数来加深网络。
(2)本发明的方法中，利用了残差学习，在深网络训练中加快了收敛速度，提升了学习效率。
(3)与几种先进的方法相比，本发明的方法在定性和定量上都取得了较好的重构效果，并且所用时间更少。
2、多层卷积稀疏编码
本发明从稀疏编码(SC)入手，描述了多层卷积稀疏编码(ML-CSC)模型。稀疏编码在图像处理中得到了广泛的应用。特别是，稀疏模型在长时间超分辨率重构领域取得了稳定的进展。稀疏编码的目的是从给定的超完备字典A∈RN×M(M>N)中寻找信号y∈RN的最稀疏表示γ∈RM，即y＝Aγ。求解γ问题又称为Lasso或者l1-正则化BP问题：
其中常量α是用来权衡重建项和正则项。这个问题可以通过各种经典的方法来解决，如正交匹配追踪(OMP)、基追踪(BP)、尤其是迭代软阈值算法(ISTA)是解决该问题(1)的一种流行而有效的方法。它的更新公式可以写成：
这里γi表示第i次迭代更新，L是Lipschitz常数，Sρ(·)是阈值为ρ的软阈值算子。软阈值算子定义如下：
为了提高ISTA的实时性，提出了一个关于ISTA的“学习版本”，即学习迭代软阈值算法(LISTA)，LISTA是通过从数据中学习参数来近似ISTA的稀疏编码。然而，大多数基于稀疏编码的方法将整个图像分割成重叠的块，以减轻建模和计算的负担，但忽略了重叠块之间的一致性，导致全局和局部之间存在差距。为了解决这一问题，提出了一种卷积稀疏编码(CSC)模型，是对整个图像进行稀疏编码，并且图像可以由m个局部滤波器di∈Rn(n＜＜N)和其对应的特征图γi∈RN卷积之后线性组合得到的，即
对应于方程(1)的CSC模型的优化问题可以写成：
已经提出了关于问题(3)的解决方法。然而卷积运算可以作为矩阵乘法来执行，方法是将滤波器转换成带状循环矩阵，构造一个具有特殊结构的全局字典D∈RN×mN，即x＝Dγ。全局卷积字典D，如图3所示，每一个小的块都是一个局部字典，在全局范围内具有相同的大小n×m个元素，其列是滤波器
因此CSC模型(3)可以看作是SC模型(1)的一种特殊形式.具体地说，ISTA的矩阵乘法(2)被卷积运算取代。类似地，LISTA也可以解决CSC问题(3)。
一些工作已经提出将卷积神经网络(CNN)的计算能力结合，有效地提高了CSC的计算效率，使模型更具自适应性，阈值化算子作为CNN和CSC的基础，CNN中的校正线性单元(ReLU)和软阈值函数进行比较，发现ReLU和软阈值函数在非负部分是一致的，如图4所示，这启发了本发明去思考非负卷积稀疏编码模型，对应的优化问题(1)须添加一个约束来强制结果为正，即：
由此产生的一个自然问题是这样的约束是否会影响原始稀疏模型的表达能力。事实上，这是毋庸置疑的，因为原始稀疏模型的负系数可以转移到字典中。考虑一个信号y＝Dγ，它可以写为：
y＝Dγ++(-D)(-γ-) (5)
γ可以分为γ+和γ-，γ+包含正向元素，γ-包含负元素，γ+和-γ-都是非负的。显然，本发明可以发现信号y在字典[D-D]上允许非负稀疏表示[γ+-γ-]T。因此，每个稀疏编码都可以转化为非负稀疏编码，非负稀疏编码问题(4)也可以通过软阈值算法来解决。本发明可以定义非负软阈值算子Sρ+：
同时，设置γ0＝0，这意味着问题(4)中γ的迭代更新可以写成：
回顾一下经典CNN中的激活函数ReLU。显然，本发明发现非负软阈值算子等价于ReLU函数：
因此(6)式等价写为：
这里，偏值项b对应于阈值
换句话说，α在稀疏编码中是一个超参数，但在CNN中是一个学习参数。同时，字典学习可以通过D＝WT完成。因此，为CSC模型服务的非负软阈值算子与CNN紧密相连。
近年来，在双稀疏性能加快训练过程的启发下，提出了ML-CSC模型。假设卷积字典D可以分解为多个矩阵的乘法，即x＝D1D2...DLγL。ML-CSC模型可以被描述为：
x＝D1γ1
γ1＝D2γ2
γ2＝D3γ3
…
γL-1＝DLγL.
γi即是第i层稀疏表示又是i+1层的信号，Di表示第i层的卷积字典，它是卷积矩阵的转置。有效字典{Di}i＝1L作为分析算子，使浅层稀疏表示不那么稀疏。因此，在基于分析的先验和基于综合的先验中，采用不同的表示层，使得先验信息不仅可以约束最深层稀疏表示的稀疏性，而且可以使较浅层的稀疏表示不是很稀疏。而且，ML-CSC也是SC(1)模型的一个特例。因此，给定一个信号(例如，一个图像)，设置γ0＝y，ML-CSC模型中第i层的优化目标可以写成：
αi是第i层的正则化参数。类似于公式(2)，本发明可以使用迭代软阈值算法来获得问题(9)中γi的更新。重复该算法得到{γi}i＝1L的多层迭代软阈值算法(ML-ISTA)，在文献中已经证明了ML-ISTA以
的速率收敛到ML-CSC的全局最优解。并且受LISTA的启发，本发明提出了多层学习迭代软阈值算法(ML-LISTA)，如算法1所述。
其中，
替换迭代算子
ML-LISTA中的字典Di被分解成两个大小相同的字典，Wi和Bi，并且Wi和Bi也被约束为一个卷积字典来控制参数的数量。有趣的是，如果本发明只迭代一次，找到初始条件为γL1＝0的最深稀疏表示，本发明可以重写为：
如果向稀疏表示系数添加非负假设，类似于等式(4)，则阈值算子P是非负投影。获得最深层稀疏表示的过程相当于神经网络获得稳定解的过程，即CNN的前向传递可以理解为给定输入信号(如图像)，求解稀疏表示的一种追踪算法。换句话说，在ML-CSC模型中，ML-CSC模型中的字典DDi被嵌入到Wi和Bi的可学习卷积核中，即
的字典原子(字典中的一列)代表CNN中的卷积滤波器，为了充分利用深度学习的优势，这里本发明用独立的卷积核分别建模Wi和Bi。阈值ρi平行于偏置向量bi，非负软阈值算子等价于CNN的激活函数ReLU。而且，随着迭代次数的增加，情况变得更加复杂，展开ML-LISTA算法将导致一个具有跳跃连接的递归神经网络。因此，如何在ML-CSC模型的基础上开发本发明的网络，并将其转化为适合超分辨率重建的网络，将是下一节要探讨的问题。
3、SRMCSC网络
本发明在图1中展示了所提出的SRMCSC网络的框架，主要启发于三层LISTA的展开形式。该网络由两部分组成：ML-LISTA的特征提取和高分辨率图像重构。整个网络是一个端到端的系统，它以一幅低分辨率的图像y作为输入，直接生成真实高分辨率图像x作为输出。网络的深度只与迭代次数有关，可以看出这些递归组件和连接遵循精确的优化合理性，这对SRMCSC网络有一定的理论支持。
3.1网络结构
本发明提出的超分辨率重构网络架构的灵感来自于ML-LISTA的展开形式，本发明从经验上注意到三层模型足以解决本发明的问题。网络的每一层和每一个跳跃连接都严格对应于三层LISTA处理流程的每一步，并展开算法框架作为本发明网络的第一个组成部分，如图1所示，网络的前三层对应于算法的第一次迭代。网络中具有迭代更新的中间隐藏层由更新块组成，其结构与图1中的底部框图相对应。因此，本发明提出的网络可以解释为一个求解多层BP问题的近似算法。此外，经过K迭代，得到稀疏特征映射γ3K。根据ML-CSC模型的定义，结合稀疏特征映射和字典估计残差(Residual)图像，估计的残差U主要包含高频细节信息，并通过公式(11)计算得到最终的高分辨率图x，作为网络的第二个组成部分。
x＝U+y (11)
本发明注意到网络的性能只取决于参数的初始值、迭代次数K和滤波器的数量。换言之，网络只需增加迭代次数而不引入额外参数，而模型需要训练的滤波器参数仅为三组相同大小的字典。另外，值得注意的是，网络中几种巧妙的跳跃连接都有其理论上的解释，这不同于其他基于经验的网络。
3.2损失函数
MSE是图像应用中最广泛的损失函数。在本发明中，仍然使用了MSE。给定N个训练对
即N个低分辨率-高分辨率补丁对，目的是最小化以下目标函数：
其中，f(·)是本发明的SRMCSC网络，Θ表示所有可训练的参数，本发明使用Adam优化程序来优化网络参数。
表1数据集Set5上不同模型配置PSNR(dB)/time(s)值比较(scale factor×2)
4、实验与结果
4.1数据集
本发明将超分辨率重构文献中常用的91幅图像作为训练集，本发明所有的模型都是从这个训练集中学习，考虑到GPU内存的限制，训练子图像的大小为33。因此，91幅图像数据集可以分解为24800个子图像，这些子图像以14的步长从原始图像中提取出来的。并在数据集Set5、Set14、BSD100进行基准测试。
4.2参数设置
在本发明的工作中，本发明使用最小批大小为16的Adam解算器，至于Adam的其他超级参数，本发明使用它的默认设置，并固定学习率为10-4，epoch设置为100，远远小于SRCNN，且训练一个SRMCSC网络大约需要一个半小时。本发明模型的所有实验都是在python3.7.6pytorch环境下进行的，该环境运行在一台带有Intel Xeon E5-2678 V3 CPU和anNvidia RTX 2080Ti GPU的PC机上。且所有卷积核的大小是3×3，每层滤波器的数目设相同，接下来本发明将讨论如何设置滤波器数目和迭代次数。
4.2.1滤波器和迭代次数设置
本发明将研究不同模型配置对网络性能的影响。由于本发明的网络结构是受三层LISTA展开式启发的，本发明可以通过调整每层中的滤波器数目R和迭代次数K来提高性能。请注意，本发明为每层设置的滤波器数量是相同的。另外，值得注意的是，在不引入额外参数的情况下，通过增加迭代次数可以增加网络深度。本发明在数据集Set5上和尺度因子×2的情况下测试这两个因素的不同组合，并比较它们的超分辨率重构性能。具体地说，本发明测试滤波器数目为R∈{32，64，128，256}，以及迭代次数为K∈{1，2，3}。结果如表1所示，当迭代次数相同，滤波器数目从32增加到128时，PSNR值的提高更为明显。为了权衡有效性和效率，本发明选择R＝64和K＝3作为默认设置。
4.3与先进方法比较
在本发明中，为了评估SRMCSC网络的图像超分辨率重构性能，将本发明的方法与4种先进的SR方法进行了定性与定量比较，包括双三次插值(Bicubic)，Zeyde等人提出的稀疏编码方法，局部线性领域嵌入方法(NE+LLE)，锚定邻域回归算法(ANR)以及深度学习方法SRCNN。在三个测试集上所有比较方法的平均结果如表2所示，最好的结果是粗体字。结果表明，SRMCSC网络的PSNR值在所有测试集和尺度因子上都优于其它SR方法。具体而言，与经典的SR方法相比，包括双三次插值(Bicubic)、Zeyde等人提出的稀疏编码方法、局部线性(NE+LLE)、ANR，本发明的方法在所有尺度因子下都有显著的平均PSNR值增益约1～2db。与深度学习方法SRCNN相比，本发明的方法在所有尺度因子下的平均PSNR增益约为0.4～1db。特别是在尺度因子为2的情况下，在测试集Set5的平均PSNR值比SRCNN高1db。
表2数据集Set5、Set14、B100上尺度(Scale)因子为2、3和4的平均PSNR(dB)结果，粗体字表示最佳性能
将本发明的方法与其他几种方法进行了比较，图5和图6提供了视觉质量比较，分别对应于数据集Set5上“butterfly”，“woman”两张图片。在图5中，可以看出，本发明的方法(SRMCSC)对应的PSNR值高于所有方法，如将图像放大到图像下方的红色矩形区域所示，只有本发明的方法完美地重建了中间的直线。类似地，在图6中，比较红色方框放大的部分的轮廓，本发明的方法是最清晰的，而在其他方法中，它们是严重模糊或扭曲的。
本发明提出了一种新的SR深度学习方法，即将MI-LISTA和DCNN相结合，构造一个可解释的端到端监督卷积网络(SRMCSC)，用于超分辨率重构。同时，这种可解释性可以指导本发明更好地设计网络架构以提高性能，而不是简单地堆叠网络层。此外，为了加速训练和收敛速度，在网络中引入了残差学习。该网络可以直接通过改变迭代次数从而加深网络，不需要引入额外的参数。实验结果表明，SRMCSC网络能够提供具有视觉吸引力的结果，为超分辨率重构提供了一种实用的解决方案。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，所述基于深度卷积稀疏编码的图像超分辨率重建方法包括：
将关于多层卷积稀疏编码模型ML-CSC的多层学习迭代软阈值算法ML-LISTA嵌入到深度卷积神经网络DCNN中，利用DCNN的学习能力自适应更新ML-LISTA中的所有参数，构建了可解释的图像超分辨率重构的端到端监督神经网络SRMCSC；
引入残差学习，利用ML-LISTA算法提取残差特征，将残差与输入图像结合重构高分辨率图像，加快训练速度和收敛速度。
2.如权利要求1所述的基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，所述多层卷积稀疏编码模型的构建方法，包括：稀疏编码的目的是从给定的超完备字典A∈RN×M(M>N)中寻找信号y∈RN的最稀疏表示γ∈RM，即y＝Aγ；求解γ问题又称为Lasso或者l1-正则化BP问题：
其中，常量α是用来权衡重建项和正则项；迭代软阈值算法ISTA的更新公式可以写成：
其中，γi表示第i次迭代更新，L是Lipschitz常数，Sρ(·)是阈值为ρ的软阈值算子；软阈值算子定义如下：
3.如权利要求1所述的基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，所述多层卷积稀疏编码模型的构建方法，还包括：提出卷积稀疏编码CSC模型，对整个图像进行稀疏编码，并且图像可以由m个局部滤波器di∈Rn(n＜＜N)和其对应的特征图γi∈RN卷积之后线性组合得到的，即
对应于方程(1)的CSC模型的优化问题写成：
将滤波器转换成带状循环矩阵，构造一个具有特殊结构的全局字典D∈RN×mN，即x＝Dγ；全局卷积字典D中，每一个小的块都是一个局部字典，在全局范围内具有相同的大小n×m个元素，其列是滤波器
因此CSC模型(3)可以看作是SC模型(1)的一种特殊形式；ISTA的矩阵乘法(2)被卷积运算取代；类似地，LISTA也可以解决CSC问题(3)。
4.如权利要求1所述的基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，所述多层卷积稀疏编码模型的构建方法，还包括：提出卷积神经网络(CNN)和CSC的关系，阈值化算子作为CNN和CSC的基础，CNN中的校正线性单元ReLU和软阈值函数进行比较，ReLU和软阈值函数在非负部分是一致的，针对非负卷积稀疏编码模型，对应的优化问题(1)须添加一个约束来强制结果为正，即：
由此产生的一个自然问题是这样的约束是否会影响原始稀疏模型的表达能力；考虑一个信号y＝Dγ，写为：
y＝Dγ++(-D)(-γ-) (5)
γ可以分为γ+和γ-，γ+包含正向元素，γ-包含负元素，γ+和-γ-都是非负的；信号y在字典[D-D]上允许非负稀疏表示[γ+-γ-]T；因此，每个稀疏编码都可以转化为非负稀疏编码，非负稀疏编码问题(4)也可以通过软阈值算法来解决；定义非负软阈值算子Sρ+：
同时，设置γ0＝0，这意味着问题(4)中γ的迭代更新写成：
非负软阈值算子等价于ReLU函数：
因此(6)式等价写为：
偏值项b对应于阈值
换句话说，α在稀疏编码中是一个超参数，但在CNN中是一个学习参数；同时，字典学习通过D＝WT完成；为CSC模型服务的非负软阈值算子与CNN紧密相连。
5.如权利要求1所述的基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，所述多层卷积稀疏编码模型的构建方法，还包括：提出多层卷积稀疏编码模型，即卷积字典D可以分解为多个矩阵的乘法，即x＝D1D2...DLγL；ML-CSC模型被描述为：
γi即是第i层稀疏表示又是i+1层的信号，Di表示第i层的卷积字典，它是卷积矩阵的转置；有效字典{Di}i＝1L作为分析算子，使浅层稀疏表示不那么稀疏；因此，在基于分析的先验和基于综合的先验中，采用不同的表示层，使得先验信息不仅可以约束最深层稀疏表示的稀疏性，而且使较浅层的稀疏表示不是很稀疏；ML-CSC也是SC(1)模型的一个特例；因此，给定一个信号，设置γ0＝y，ML-CSC模型中第i层的优化目标写成：
αi是第i层的正则化参数；类似于公式(2)，使用迭代软阈值算法来获得问题(9)中γi的更新；重复该算法得到{γi}i＝1L的多层迭代软阈值算法ML-ISTA，ML-ISTA以
的速率收敛到ML-CSC的全局最优解。
6.如权利要求1所述的基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，所述多层卷积稀疏编码模型的构建方法，还包括：提出多层学习迭代软阈值算法ML-LISTA，是通过从数据中学习参数来近似ML-ISTA的稀疏编码；其中，
替换迭代算子
ML-LISTA中的字典Di被分解成两个大小相同的字典，Wi和Bi，并且Wi和Bi也被约束为一个卷积字典来控制参数的数量；如果只迭代一次，找到初始条件为γL1＝0的最深稀疏表示，重写为：
7.如权利要求1所述的基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，如果向稀疏表示系数添加非负假设，类似于等式(4)，则阈值算子P是非负投影；获得最深层稀疏表示的过程相当于神经网络获得稳定解的过程，即CNN的前向传递为给定输入信号，求解稀疏表示的一种追踪算法；在ML-CSC模型中，ML-CSC模型中的字典DDi被嵌入到Wi和Bi的可学习卷积核中，即
的字典原子代表CNN中的卷积滤波器，用独立的卷积核分别建模Wi和Bi；阈值ρi平行于偏置向量bi，非负软阈值算子等价于CNN的激活函数ReLU。
8.如权利要求1所述的基于深度卷积稀疏编码的图像超分辨率重建方法，其特征在于，所述SRMCSC网络由两部分组成：ML-LISTA的特征提取和高分辨率图像重构；整个网络是一个端到端的系统，以一幅低分辨率的图像y作为输入，直接生成真实高分辨率图像x作为输出，网络的深度只与迭代次数有关；
所述SRMCSC网络的每一层和每一个跳跃连接都严格对应于三层学习迭代软阈值算法LISTA处理流程的每一步，并展开算法框架作为SRMCSC网络的第一个组成部分，网络的前三层对应于算法的第一次迭代；网络中具有迭代更新的中间隐藏层由更新块组成；经过K迭代，得到稀疏特征映射γ3K；根据ML-CSC模型的定义，结合稀疏特征映射和字典估计残差Residual图像，估计的残差U主要包含高频细节信息，并通过公式(11)计算得到最终的高分辨率图x，作为网络的第二个组成部分；
x＝U+y (11)
网络的性能只取决于参数的初始值、迭代次数K和滤波器的数量；换言之，网络只需增加迭代次数而不引入额外参数，而模型需要训练的滤波器参数仅为三组相同大小的字典；
所述SRMCSC网络中，使用损失函数MSE：给定N个训练对
即N个低分辨率-高分辨率补丁对，目的是最小化以下目标函数：
其中，f(·)是本发明的SRMCSC网络，Θ表示所有可训练的参数，使用Adam优化程序来优化网络参数。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～8任意一项所述的基于深度卷积稀疏编码的图像超分辨率重建方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～8任意一项所述的基于深度卷积稀疏编码的图像超分辨率重建方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110196819.XA CN112907449B (zh) | 2021-02-22 | 2021-02-22 | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 |
| US17/677,625 US20220284547A1 (en) | 2021-02-22 | 2022-02-22 | Super-resolution image reconstruction method based on deep convolutional sparse coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110196819.XA CN112907449B (zh) | 2021-02-22 | 2021-02-22 | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907449A true CN112907449A (zh) | 2021-06-04 |
| CN112907449B CN112907449B (zh) | 2023-06-09 |
Family
ID=76124296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110196819.XA Active CN112907449B (zh) | 2021-02-22 | 2021-02-22 | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220284547A1 (zh) |
| CN (1) | CN112907449B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516601A (zh) * | 2021-06-17 | 2021-10-19 | 西南大学 | 基于深度卷积神经网络与压缩感知的图像恢复技术 |
| CN113674172A (zh) * | 2021-08-17 | 2021-11-19 | 上海交通大学 | 一种图像处理方法、系统、装置及存储介质 |
| CN113747178A (zh) * | 2021-09-03 | 2021-12-03 | 中科方寸知微(南京)科技有限公司 | 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 |
| CN114022442A (zh) * | 2021-11-03 | 2022-02-08 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于无监督学习的织物疵点检测算法 |
| CN115494439A (zh) * | 2022-11-08 | 2022-12-20 | 中遥天地(北京)信息技术有限公司 | 一种基于深度学习的时空编码图像校正方法 |
| WO2023274405A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Super resolution position and network structure |
| CN115797183A (zh) * | 2023-02-06 | 2023-03-14 | 泉州装备制造研究所 | 一种图像超分辨率重建方法 |
| CN116205806A (zh) * | 2023-01-28 | 2023-06-02 | 荣耀终端有限公司 | 一种图像增强方法及电子设备 |
| WO2023212902A1 (en) * | 2022-05-06 | 2023-11-09 | Intel Corporation | Multi-exit visual synthesis network based on dynamic patch computing |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109997168B (zh) * | 2017-02-24 | 2023-09-12 | 渊慧科技有限公司 | 用于生成输出图像的方法和系统 |
| CN115239716B (zh) * | 2022-09-22 | 2023-01-24 | 杭州影想未来科技有限公司 | 一种基于形状先验U-Net的医学图像分割方法 |
| CN116310476B (zh) * | 2022-11-22 | 2023-10-17 | 北京建筑大学 | 基于非对称卷积残差网络的细粒度图像分类方法及系统 |
| CN116611995A (zh) * | 2023-04-06 | 2023-08-18 | 江苏大学 | 一种基于深度展开网络的手写文本图像超分辨率重建方法 |
| CN116405100B (zh) * | 2023-05-29 | 2023-08-22 | 武汉能钠智能装备技术股份有限公司 | 一种基于先验知识的失真信号还原方法 |
| CN116612013B (zh) * | 2023-07-19 | 2023-10-31 | 山东智洋上水信息技术有限公司 | 一种红外图像超分方法及其移植至前端设备的方法 |
| CN117522687B (zh) * | 2023-11-03 | 2024-05-14 | 西安电子科技大学 | 基于粒子动力学的高光谱图像超分辨重建方法 |
| CN117274107B (zh) * | 2023-11-03 | 2024-03-15 | 深圳市瓴鹰智能科技有限公司 | 低照度场景下端到端色彩及细节增强方法、装置及设备 |
| CN117825743B (zh) * | 2024-03-04 | 2024-06-11 | 浙江大学 | 基于傅里叶特征增强和全局匹配的piv测速方法与装置 |
| CN117892068B (zh) * | 2024-03-15 | 2024-06-07 | 江南大学 | 一种倒装芯片超声信号去噪方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123097A (zh) * | 2017-04-26 | 2017-09-01 | 东北大学 | 一种基于优化的测量矩阵的成像方法 |
| CN109509160A (zh) * | 2018-11-28 | 2019-03-22 | 长沙理工大学 | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 |
| CN110570351A (zh) * | 2019-08-01 | 2019-12-13 | 武汉大学 | 一种基于卷积稀疏编码的图像超分辨率重建方法 |
| US20200012889A1 (en) * | 2018-07-06 | 2020-01-09 | Tata Consultancy Services Limited | Systems and methods for coupled representation using transform learning for solving inverse problems |
-
2021
- 2021-02-22 CN CN202110196819.XA patent/CN112907449B/zh active Active
-
2022
- 2022-02-22 US US17/677,625 patent/US20220284547A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123097A (zh) * | 2017-04-26 | 2017-09-01 | 东北大学 | 一种基于优化的测量矩阵的成像方法 |
| US20200012889A1 (en) * | 2018-07-06 | 2020-01-09 | Tata Consultancy Services Limited | Systems and methods for coupled representation using transform learning for solving inverse problems |
| CN109509160A (zh) * | 2018-11-28 | 2019-03-22 | 长沙理工大学 | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 |
| CN110570351A (zh) * | 2019-08-01 | 2019-12-13 | 武汉大学 | 一种基于卷积稀疏编码的图像超分辨率重建方法 |
Non-Patent Citations (6)
| Title |
|---|
| JIANJUN WANG等: "CMCS-net: image compressed sensing with convolutional measurement via DCNN", 《IET IMAGE PROCESSING》 * |
| 孙旭等: "基于深度学习的图像超分辨率复原研究进展", 《自动化学报》 * |
| 李涛: "医学图像超分辨率重建方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》 * |
| 王建军等: "基于子空间阈值追踪的矩阵修补算法", 《计算机科学》 * |
| 罗美露等: "引入多状态记忆机制的迭代软阈值学习算法", 《信号处理》 * |
| 郭岑等: "空间感知残差网络的遥感图像超分辨率重建", 《测绘科学》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516601A (zh) * | 2021-06-17 | 2021-10-19 | 西南大学 | 基于深度卷积神经网络与压缩感知的图像恢复技术 |
| WO2023274405A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Super resolution position and network structure |
| CN113674172A (zh) * | 2021-08-17 | 2021-11-19 | 上海交通大学 | 一种图像处理方法、系统、装置及存储介质 |
| CN113674172B (zh) * | 2021-08-17 | 2023-11-28 | 上海交通大学 | 一种图像处理方法、系统、装置及存储介质 |
| CN113747178A (zh) * | 2021-09-03 | 2021-12-03 | 中科方寸知微(南京)科技有限公司 | 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 |
| CN114022442A (zh) * | 2021-11-03 | 2022-02-08 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于无监督学习的织物疵点检测算法 |
| WO2023212902A1 (en) * | 2022-05-06 | 2023-11-09 | Intel Corporation | Multi-exit visual synthesis network based on dynamic patch computing |
| CN115494439A (zh) * | 2022-11-08 | 2022-12-20 | 中遥天地(北京)信息技术有限公司 | 一种基于深度学习的时空编码图像校正方法 |
| CN116205806A (zh) * | 2023-01-28 | 2023-06-02 | 荣耀终端有限公司 | 一种图像增强方法及电子设备 |
| CN116205806B (zh) * | 2023-01-28 | 2023-09-19 | 荣耀终端有限公司 | 一种图像增强方法及电子设备 |
| CN115797183A (zh) * | 2023-02-06 | 2023-03-14 | 泉州装备制造研究所 | 一种图像超分辨率重建方法 |
| CN115797183B (zh) * | 2023-02-06 | 2023-11-21 | 泉州装备制造研究所 | 一种图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220284547A1 (en) | 2022-09-08 |
| CN112907449B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907449A (zh) | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN111968036A (zh) | 一种分层图像超分辨率方法、系统、计算机设备及应用 | |
| CN112581397B (zh) | 一种基于图像先验信息的退化图像修复方法、系统、介质和设备 | |
| CN116681584A (zh) | 一种多级扩散图像超分辨算法 | |
| CN113538234A (zh) | 基于轻量化生成模型的遥感图像超分辨率重建方法 | |
| CN116342584A (zh) | 一种基于AAMC-Net的图像裂缝分割检测方法及系统 | |
| CN115564649A (zh) | 一种图像超分辨率重建方法、装置及设备 | |
| CN113643182A (zh) | 一种基于对偶学习图网络的遥感影像超分辨率重建方法 | |
| Shen et al. | Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| CN115293968A (zh) | 一种超轻量高效的单图像超分辨率方法 | |
| CN112270650B (zh) | 基于稀疏自编码器的图像处理方法、系统、介质、设备 | |
| CN113256519A (zh) | 图像的恢复方法、设备、存储介质及程序产品 | |
| Xin et al. | Advanced binary neural network for single image super resolution | |
| CN116797456A (zh) | 图像超分辨率重建方法、系统、设备和存储介质 | |
| CN111798381A (zh) | 图像转换方法、装置、计算机设备和存储介质 | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| Yang et al. | Single image super-resolution via a ternary attention network | |
| Qin et al. | Remote sensing image super-resolution using multi-scale convolutional neural network | |
| CN113628114A (zh) | 一种双通道稀疏编码的图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |