CN102722865B - 一种超分辨率稀疏重建方法 - Google Patents
一种超分辨率稀疏重建方法 Download PDFInfo
- Publication number
- CN102722865B CN102722865B CN201210159943.XA CN201210159943A CN102722865B CN 102722865 B CN102722865 B CN 102722865B CN 201210159943 A CN201210159943 A CN 201210159943A CN 102722865 B CN102722865 B CN 102722865B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- low
- dictionary
- fim
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
在没有外界的高分辨率图像库的前提下得到高分辨率图像的超分辨率稀疏重建方法，包括步骤：（1）对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，对Cb、Cr分量利用插值方法进行重建；（2）构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；（3）对数据库X利用稀疏编码方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；（4）利用Dl和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数；（5）通过稀疏系数和Dh，求解原始低分辨率图像3倍上采样的图像；（6）将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像进行存储，就得到最终超分辨率重建图像。
Description
技术领域
本发明属于图像处理的技术领域，具体地涉及一种超分辨率稀疏重建方法。
背景技术
图像作为人类感知世界的重要信息形式，其内容的丰富和细节，直接决定着人类感受到内容的详细程度。当图像单位尺度上的像素密度越高，则图像越清晰,其表达的细节能力越强，人类感知的信息越丰富，这也就是我们所说的高分辨率图像。因此在一些特定领域，如遥感图像，卫星成像领域，医学图像领域，和一些高清晰显示领域，获取高分辨率的数字图像是人们必须考虑的问题。
提高图像的分辨率的方法主要有工艺上的改进传感器制造工艺以减小像元尺寸，增加单位面积内的像元数量，但是像素元的减少会像素元能够接受的电磁能量减少，易受噪声干扰，而降低图像的质量。其次是增加集成电路板的尺寸，导致电容增加。这很容易造成电容难以转移电荷，而且也会减少其应用领域。另一种广受关注的方法是采用信号处理技术利用单帧或多帧低分辨率图像重建出高分辨率图像，这就是图像处理领域的超分辨率重建技术。
图像的超分辨率重建技术是指利用信号处理和计算机软件的方法消除由于成像系统聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化，形成空间分辨率更高的清晰图像。它能够融合来自相同动态场景的多个低分辨率(Low Resolution,LR)多帧图像的互补信息，或从单帧图像中推衍出截止频率以外的高频信息，重建出高分辨率的图像。
超分辨率的概念和方法最早由Harris和Goodman于上世纪60年代提出，并相继提出了多种方法，如长椭球波函数法、线性外推法、叠加正弦模板法。这些方法都是基于单幅图像的，对超分辨率技术进行了有益的探索，但是在实际应用效果并不理想。上世纪代80年代，Tsai和Huang提出了多帧超分辨率重建方法，其主要思想是在不改变现有成像系统的前提下，如果存在多幅同一场景的低分辨率图像的情况，可以结合多幅图像信息重建高质量图像。在多帧超分辨率重建技术发展的同时，单帧图像重建方法也得到了长足发展。然而很多情况下，我们没有办法获得多幅符合条件的低分辨率图像，例如放大照片、放大网页中的“缩略图”等情况，我们这里主要考虑的是单帧超分辨率的重建问题。
由高分辨率退化为低分辨率图像的模型（即，高分辨退化模型）如下：
Yk=DkBkMkX+nk,k=1,...p
其中，Mk表示仿射变换矩阵，Bk表示模糊矩阵，Dk为下采样矩阵，nk则表示噪声矩阵。超分辨重建的目的就是如何通过Yk恢复出原始的X图像。
单帧图像的超分辨率重建方法主要有以下方式：1.基于插值的方法，主要是通过构造光滑曲线或者曲面的插值函数来产生高分辨率图像，即“图像插值”，目前常用的插值方法有如最近邻重复插值、双线性插值和样条插值。2.基于重构的方法，求解关于以上高分辨退化模型的逆问题，主要是通过一定先验信息的指导求解逆问题，由于逆问题的解不唯一，所以需要在一定约束，如分片线性、或者是边缘的约束性，最后找到关于误差的最小化问题，即最优化问题。类似的方法有最大后验概率(Maximize aposterior,MAP)等。但是由于模型中的约束条件没有充分利用先验信息，所以重建情况不是很好。3.基于学习的方法，Freeman et al.是最早提出了的基于实例学习的超分辨率重建，对于输入的单帧低分辨率图像，可以借助外部图像库的信息，提供额外的细节信息，来得到重建图像，很显然在外部图像库信息加入后，得到的重建图像，比过去用插值得到的高分辨率图像更清晰。而作为图像的先验信息的样例的引入，可以带来更有效的约束，提高求解的准确性。
目前有代表性的学习的方法，就是训练高低分辨率之间的对应关系。不但保证边缘，而且增加纹理的细节信息。如利用马尔科夫场对图像块建模，同时使用置信传播（Belief Propagation，BP）的方法,来消除边界重复的问题。其主要思想就是将得到的低分辨率图像以大小适中的图像块作为输入单位，然后在数据库中寻找与它最相似的低分辨率图像块，而找到的最相似图像块所对应的高分辨率图像块就起到了补充高频细节的作用，也就可以用来重建高分辨率图像。关键就是训练字典的过程。
而随着稀疏表示理论的发展，Yang等人提出了超分辨率稀疏重建（Super-Resolution Sparse Representation，SRSR）方法，对于输入的低分辨图像块在训练得到的基空间中求解其稀疏表示系数，以实现超分辨在整个样本空间的优化求解。具体地，首先已知大量高分辨率图像hIm，通过3倍下采样得到的低分辨率图像lIm，对lIm进行2倍插值上采样得到图像mIm。对hIm和mIm的特征图像，进行随机采样得到大量的高低分辨率图像块Xh和Xl，然后对这些大量的图像块进行字典训练，最终得到高低分辨率的字典Dh和Dl。在进行超分辨率重建时是已知某副低分辨率图像，并利用上述Dh和Dl来实现的。具体是对已知的lIm0，利用简单插值方法：如bicubic方法，进行2倍上采样，mIm0，得到其相应四副特征图像，对其进行采样得到对应的块，然后借助低分辨率图像的字典Dl，利用稀疏表示的理论可以求出相应的稀疏系数，最后通过该稀疏系数复用于高分辨率图像的字典Dh，最终重建得到最终的高分辨率图像块。由此可见，这种方法需要借助大量外界的高分辨率图像的图像库。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种在没有外界的高分辨率图像库的前提下得到高分辨率图像的超分辨率稀疏重建方法。
本发明的技术解决方案是：这种超分辨率稀疏重建方法，包括以下步骤：
（1）对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
（2）构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
（3）对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
（4）利用Dl和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数；
（5）通过稀疏系数和Dh，求解原始低分辨率图像3倍上采样的图像，即Y分量；
（6）将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。
本方法在没有外界的高分辨率图像库的前提下，直接通过自身的低分辨率图像，构造近似高分辨率图像，然后建立采样块，并得到相应的训练字典，然后借助此时训练的低分辨率图像的字典Dl，通过稀疏表示理论求出相应的稀疏系数，最后将该稀疏系数复用于高分辨率图像的字典Dh，重建得到高分辨率图像。
还提供了另一种超分辨率稀疏重建方法，包括以下步骤：
（1）对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
（2）构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
（3）对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
（4）对Dh分解得到其相应的纹理基
和结构基
对Dl分解得到其相应的纹理基
和结构基
并得到低分辨率图像对应的纹理图像分量fImv和结构图像分量fImu；
（5）利用
和fImu的特征图像求解结构稀疏系数αu，同样利用
和fImv的特征图像求解纹理稀疏系数αv；
（6）通过步骤（5）的稀疏系数αv和αu、对应的纹理基
和结构基
分别求解原始低分辨率图像3倍上采样的纹理图像hImv和结构图像hImu，然后得到Y分量；
（7）将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。
这种方法主要是在第一种方法中增加了一个环节，就是在训练字典Dh和Dl后通过建模，对lIm进行2倍上采样得到近似2倍高分辨率图像fIm，建立分解和去噪模型，从而得到Dh的分解基——结构基
和纹理基
以及Dl的分解基——结构基
和纹理基
以及fIm的结构图像fImu和纹理图像fImv。从而分别利用分解基和分解得到的分量重建得到高分辨率图像对应的纹理图像和结构图像，最终综合起来合成高分辨率的图像。
附图说明
图1示出了根据本发明的一种超分辨率稀疏重建方法的流程图；
图2示出了根据本发明的另一种超分辨率稀疏重建方法的流程图。
具体实施方式
如图1所示，这种超分辨率稀疏重建方法，包括以下步骤：
（1）对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
（2）构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
（3）对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
（4）利用Dl和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数；
（5）通过稀疏系数和Dh，求解原始低分辨率图像3倍上采样的图像，即Y分量；
（6）将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。
本方法在没有外界的高分辨率图像库的前提下，直接通过自身的低分辨率图像，构造近似高分辨率图像，然后建立采样块，并得到相应的训练字典，然后借助此时训练的低分辨率图像的字典Dl，通过稀疏表示理论求出相应的稀疏系数，最后将该稀疏系数复用于高分辨率图像的字典Dh，重建得到高分辨率图像。
优选地，所述步骤（1）中插值方法是双三次插值方法。
优选地，所述步骤（2）为：对Y分量记为lIm，进行2倍上采样，得到对应的近似2倍高分辨率图像fIm，它对应的采样数据作为对应Dh的来源，而fIm进行1/3下采样的结果lfIm，再进行2倍上采样的结果作为Dl的数据源l2bfIm；对应lfIm的是逐点采样3x3的图像块，其重叠采样部分overlap=2，而对应fIm则是采样9x9的图像块，相应重叠部分为3*overlap，对应l2bfIm则是采样6x6的图像块，相应重叠部分为2*overlap；Xh是对当前块减去均值得到的结果，而Xl是对l2bfIm求解其特征图。
优选地，所述步骤（3）为：对Xh和Xl分别进行归一化，拼接成一个数据X，并进行归一化，然后利用稀疏编码Sparse Coding方法进行训练，最终将得到的D再拆分成Dh和Dl。
优选地，所述步骤（4）为：通过滤波器求解相应的特征图像，进行6x6的采样得到四组采样数据，而采样过程中对应于给定的低分辨率彩色图像的lIm的重叠部分overlap，fIm的特征图像的图像块的重叠部分为2*overlap，然后利用该数据得到对应图像块的稀疏系数α。
优选地，所述步骤（5）为：利用α以及Dh求解得到Xh后，增加fIm的均值得到最终高分辨率图像块；而对于边界，对给定的低分辨率彩色图像通过插值进行3倍上采样得到最终边界图像块；将最终高分辨率图像块和最终边界图像块合成Y分量，其中对于重叠图像块取均值。
还提供了另一种超分辨率稀疏重建方法，包括以下步骤：
（1）对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
（2）构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
（3）对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
（4）对Dh分解得到其相应的纹理基
和结构基
对Dl分解得到其相应的纹理基
和结构基
并得到低分辨率图像对应的纹理图像分量fImv和结构图像分量fImu；
（5）利用
和fImu的特征图像求解结构稀疏系数αu，同样利用
和fImv的特征图像求解纹理稀疏系数αv；
（6）通过步骤（5）的稀疏系数αv和αu、对应的纹理基
和结构基
分别求解原始低分辨率图像3倍上采样的纹理图像hImv和结构图像hImu，然后得到Y分量；
（7）将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。
这种方法主要是在第一种方法中增加了一个环节，就是在训练字典Dh和Dl后通过建模，对lIm进行2倍上采样得到近似2倍高分辨率图像fIm，建立分解和去噪模型，从而得到Dh的分解基——结构基
和纹理基
以及Dl的分解基——结构基
和纹理基
以及fIm的结构图像fImu和纹理图像fImv。从而分别利用分解基和分解得到的分量重建得到高分辨率图像对应的纹理图像和结构图像，最终综合起来合成高分辨率的图像。
优选地，所述步骤（1）中插值方法是双三次插值方法。
优选地，所述步骤（4）为：利用Dh以及给定的低分辨率彩色图像2倍上采样的图像，进行逐点9*9的窗口采样，做成相应的图像块，为81*N个，N为图像块的个数，对每块求解相应的稀疏系数，对重叠部分进行平均，得到对应的fIm的图像块以及其在Dh下的稀疏表示系数，然后对字典按照图像块的形式进行组织，并求解积极因子Activity，在给定的阈值T下，当每块字典的Activity大于T，则认为是纹理基，小于T则认为是结构基，然后得到分开的纹理基和结构基
和
同时，相对应的Dl也分解开得到纹理图的特征基
和结构图的特征基
于是得到了Dh和Dl的分解基，以及低分辨率图像2倍上采样图像的分解图像，即结构图像fImu和纹理图像fImv。为了便于分解，首先借鉴Elad分解方法，建立以下一个结合去噪的稀疏系数求解模型：
其中y为待分解含有噪声的插值图像，z是求解的目标，即近似于高质量图像的结果。目标是能够在局部稀疏性约束下，使得z与原始图像y的l2范数误差最小。其中αk为第k块在稀疏字典下的稀疏系数，Pk为投影算子，用于提取图像z中第k个图像块。也就是说分解前我们对于待分解图像增加了一个去噪过程。这个主要是为了能够达到在达到局部稀疏的同时能够使得全局误差最小。以上模型的最优解是：
利用fIm图像和相应的字典Dh，我们可以得到相应的稀疏系数。本发明主要是通过引入类似于TV的算子Activity：
对字典Dh进行分类，而当Activity大于一定的阈值T时，则说明字典变化比较剧烈，则相应为其纹理基元，而小于一定的阈值T时，则说明字典变化比较缓慢，则为结构基元，也叫卡通基元。最终对每个基元按上述公式求解，并进行归一化。
针对上述模型中，在所求结果尽可能与高质量高分辨率图像尽可能接近的情况下，原始模型可以引入分解，当然由于认为纹理部分和结构部分不相关，所以化简得到如下模型：
这个模型中已知了稀疏系数
和
而是用来求解分解的最优解为：
当λ为0时，则可以得到下面的简化解：
而通过以上模型对图像进行分解，在上述Dh分解为结构基和纹理基的同时，对应列也可将Dl分解为纹理特征基和结构特征基。
优选地，所述步骤（6）为：对于稀疏系数αu和αv,分别对应
和
可以得到对应的3倍上采样的结构图像和纹理图像hImu、hImv；当有图像重叠时，按9x9以及对应的overlap部分来恢复图像的位置，其中重叠部分取均值，而边界部分采用fImu和fImv的分别1/2下采样，再3倍上采样得到对应hImu和hImv的边界；然后叠加hImu和hImv，得到Y分量。
下面具体说明以上两种方法。
为了解决在没有外界字典的场合下，对低分辨率图像进行超分辨率重建，本发明提出了利用自身图像建立高低分辨率字典。从而达到超分辨重建的目的。本发明中的多空间分解主要应用于图像本身，通过对图像本身，以及对低分辨图像进行不同倍数放大后，得到的相同尺度和不同尺度的自相似冗余信息，根据低分辨率图像和多副放大图像得到的局部结构图像，得到低分辨率和高分辨率图像的结果，建立具有一定的映射关系的高低分辨率图像的字典。第一种方式可以直接针对得到的字典，再次利用SRSR进行超分辨率重建。这个相当于是基于外部字典对当前图像超分辨率重建的特殊化，只不过没有外部字典，只是当前图像本身的信息。第二种方式，则是根据图像分解的思想，对字典分为结构字典和纹理字典，相应的低分辨率图像也分解为结构图像和纹理图像，这样我们就可以分别重建对应高分辨率的结构图像和纹理图像了。
在利用外部字典库进行稀疏表示的超分辨率重建SRSR方法中，可以根据图像库的高分辨率图像块得到一个过完备冗余基Dh，而该高分辨率图像块对应的低分辨率图像可以得到一个冗余基Dl。假设待预测的高分辨率图像块为x，则可以由Dh线性稀疏表示，即有x＝Dhα,其中α∈RN为一个只含有少数非零值（||α||0<<N）的系数（N为冗余基的基元个数）。因为存在以上两组高低分辨率对应的基，当给定一个低分辨率图像块y，可以求解其在Dl下的稀疏表示系数α，将此系数复用到x所对应的冗余基Dh下，就可以得到其相应的重建块x=Dhα。则关键问题是如何找到稀疏表示系数α，需要
求解下面的优化问题：
以上问题为NP问题，一般是转化为以下l1最优化问题求解
相应的拉格朗日乘法表示如下：
其中的λ是为了平衡稀疏性和准确性的。为了更好的处理相邻块重建的高分辨率图像块的兼容性，可以转化为以下优化问题：
其中矩阵P是用来抽取当前块与已重建高分辨图像块的重复区域。
是已重建高分辨率图像在重建区域的值。最终以上优化问题通过拉格朗日数乘法转化为
其中 当求得最优解α*后，相应就求得了高分辨
率图像块x＝Dhα*.
本发明的主要想法是建立在以上模型中，我们将字典训练的过程移植到自适应图像上。这里我们主要是对原始低分辨率图像进行三倍上采样得到其相应的超分辨率重建图像。在实际中，我们字典训练的过程，主要是以原始低分辨率图像的2倍上采样图像作为高分辨率图像块的来源。即Dh表达了2倍上采样空间的特性。而Dl仍然是使用2倍上采样图像经过1/3下采样再经过2倍上采样的低分辨率的特征图像作为其训练的来源。最终得到了以下两种模型，其中一种是直接利用以上模型；区别于原来的SRSR的方法是，由于没有外界图像库的字典信息，而直接对原始低分辨率图像建立高分辨率字典，可能获得的信息较少，所以这里需要对低分辨率图像进行2倍上采样，对其进行9x9的块采样，将它作为Dh的来源，对应建立它相应的1/3下采样再经过2倍上采样的低分辨率的特征图像,共四副，然后每幅图像得到6x6的块，作为训练Dl的数据来源。超分辨率重建则主要是通过稀疏系数复用的方法来实现的。我们将这种方式叫做单帧图像的稀疏表示超分辨率重建（Single-image Sparse RepresentationSuper-Resolution,S-SRSR）。第二种方式是将图像分解和字典分解的方式应用于以上模型，然后得到相应的结构字典和纹理字典，在利用这两个空间对图像进行超分辨率重建。我们将这种方式叫做单帧图像多空间的稀疏表示超分辨率重建（Single-image Multi-Space Sparse RepresentationSuper-Resolution,SM-SRSR）。
为了更好的比较超分辨率重建的质量，这里仅给出重建的灰度图像的峰值信噪比PSNR，结构相似指标SSIM比较结果：
表1插值算法及本发明算法的PSNR数据比较结果。
| 测试图像 | Bi-cubic方法 | S-SRSR方法 | SM-SRSR方法 |
| Flower | 35.9097 | 36.2385 | 36.3473 |
| Girl | 31.4162 | 31.6860 | 31.7927 |
| Parthenon | 24.7206 | 24.8833 | 25.0155 |
| Raccoon face | 27.0742 | 27.4265 | 27.5046 |
| Lena | 27.3839 | 27.9693 | 28.1297 |
| Tulips | 24.4861 | 24.7963 | 24.8728 |
| Peppers | 25.0001 | 25.2958 | 25.3445 |
| Voit | 23.1183 | 22.9499 | 23.0534 |
| Papav | 30.1575 | 30.5353 | 30.8663 |
| Kodim07 | 27.4014 | 28.0431 | 28.1224 |
| Pallon | 31.9238 | 32.5115 | 32.5811 |
| Barche | 25.1700 | 25.5006 | 25.5480 |
| Kodim23 | 26.7961 | 27.4609 | 27.3214 |
| Kodim19 | 28.9654 | 29.4034 | 29.3896 |
| Donna | 30.5808 | 30.6339 | 30.6798 |
表2插值算法及本发明算法的SSIM数据比较结果。
| 测试图像 | Bi-cubic方法 | S-SRSR方法 | 本方法 |
| Flower | 0.8872 | 0.9092 | 0.9104 |
| Girl | 0.6907 | 0.7940 | 0.7900 |
| Parthenon | 0.6940 | 0.7021 | 0.7035 |
| Raccoon face | 0.7058 | 0.7405 | 0.7408 |
| Lena | 0.8264 | 0.8574 | 0.8638 |
| Tulips | 0.7790 | 0.7818 | 0.7827 |
| Peppers | 0.8120 | 0.8543 | 0.8563 |
| Voit | 0.5576 | 0.5793 | 0.5739 |
| Papav | 0.8449 | 0.8804 | 0.8821 |
| Kodim07 | 0.8292 | 0.8474 | 0.8480 |
| Pallon | 0.8487 | 0.8996 | 0.9002 |
| Barche | 0.7253 | 0.7554 | 0.7554 |
| Kodim23 | 0.8773 | 0.8833 | 0.8772 |
| Kodim19 | 0.8441 | 0.8555 | 08534 |
| Donna | 0.8863 | 0.8958 | 0.8921 |
以上PSNR和SSIM的数据反映了自适应的基于稀疏表示的超分辨率重建图像的客观质量都较插值方有了明显提升。说明基于稀疏表示的字典的建立，对于重建高分辨率图像有很重要的意义。而且对应的高低分辨率的字典的建立，更大的提高了超分辨率重建的可能。而SM-SRSR方法较S-SRSR的提高，则说明了对于字典空间的分解，以及分别对纹理图像和结构图像，进行分别重建，可以更好的减少稀疏求解中字典的干扰，从而影响最终超分辨率图像的结果。
总体来说，S-SRSR方法利用了Yang的字典训练的思路，只不过已知的数据不太一样，用于训练字典的数据块所选择的图像的分辨率情况不太一样。最终的训练过程和重建过程是基本一致的。这个S-SRSR主要是充分利用自身图像的特性来重建图像。而Yang则主要是充分利用外部图像库来重建图像。即Yang中是建立字典库的对应关系为：
而我们建立字典关系为
需要注意的是mIm和fIm是相同的。
而稀疏表示重建过程中Yang对应的关系如下：
？的地方就是用来表示需要重建的高分辨率图像
而重建中我们的对应关系为：
而SM-SRSR则在S-SRSR的基础上，增加了字典UV分解，和fIm图像UV分解的过程。以及在重建时，也是分别对UV分量进行超分辨率重建。这个方法主要是利用分解来减少字典间的冗余，从而提高重建质量。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (4)
1.一种超分辨率稀疏重建方法，包括以下步骤：
(1)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
(2)构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
(3)对数据库X利用稀疏编码Sparse Coding方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
(4)对Dh分解得到其相应的纹理基和结构基对Dl分解得到其相应的纹理基和结构基并得到低分辨率图像对应的纹理图像分量fImv和结构图像分量fImu；
(5)利用和fImu的特征图像求解结构稀疏系数αu，同样利用和fImv的特征图像求解纹理稀疏系数αv；
(6)通过步骤(5)的稀疏系数αv和αu、对应的纹理基和结构基分别求解原始低分辨率图像3倍上采样的纹理图像hImv和结构图像hImu，然后得到Y分量；
(7)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。
2.根据权利要求1所述的超分辨率稀疏重建方法，其特征在于：所述步骤(2)中高分辨率图像块Xh和低分辨率图像块Xl分别来自于原始低分辨率图像lIm2倍上采样得到fIm，以及fIm图像进行1/3下采样得到lfIm，再2倍上采样得到l2bfIm。
3.根据权利要求2所述的超分辨率稀疏重建方法，其特征在于：所述步骤(4)为：利用Dh以及给定的低分辨率彩色图像2倍上采样的图像，进行逐点9*9的窗口采样，做成相应的图像块，为81*N个，N为图像块的个数，对每块求解相应的稀疏系数，对重叠部分进行平均，得到对应的fIm的图像块以及其在Dh下的稀疏表示系数，然后对字典按照图像块的形式进行组织，并求解积极因子Activity，在给定的阈值T下，当每块字典的Activity大于T，则认为是纹理基，小于T则认为是结构基，然后得到分开的纹理基和结构基和同时，相对应的Dl也分解开得到纹理图的特征基和结构图的特征基于是得到了Dh和Dl的分解基，以及低分辨率图像2倍上采样图像的分解图像，即结构图像fImu和纹理图像fImv。
4.根据权利要求3所述的超分辨率稀疏重建方法，其特征在于：所述步骤(6)为：对于稀疏系数αu和αv,分别对应和可以得到对应的3倍上采样的结构图像和纹理图像hImu、hImv；当有图像重叠时，按9x9以及对应的overlap部分来恢复图像的位置，其中重叠部分取均值，而边界部分采用fImu和fImv的分别1/2下采样，再3倍上采样得到对应hImu和hImv的边界；然后叠加hImu和hImv，得到Y分量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210159943.XA CN102722865B (zh) | 2012-05-22 | 2012-05-22 | 一种超分辨率稀疏重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210159943.XA CN102722865B (zh) | 2012-05-22 | 2012-05-22 | 一种超分辨率稀疏重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102722865A CN102722865A (zh) | 2012-10-10 |
| CN102722865B true CN102722865B (zh) | 2015-05-13 |
Family
ID=46948612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210159943.XA Active CN102722865B (zh) | 2012-05-22 | 2012-05-22 | 一种超分辨率稀疏重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102722865B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930573B (zh) * | 2012-11-02 | 2016-05-18 | 北京工业大学 | 一种基于二维分析稀疏模型及其训练字典的图像重建方法 |
| CN102968759A (zh) * | 2012-11-19 | 2013-03-13 | 中山大学 | 一种基于组稀疏编码的图像放大方法 |
| CN103020936B (zh) * | 2012-12-12 | 2016-05-04 | 湖北微驾技术有限公司 | 一种人脸图像超分辨率重构方法 |
| CN103136728B (zh) * | 2012-12-14 | 2015-09-02 | 西安电子科技大学 | 基于字典学习和非局部总变差的图像超分辨方法 |
| CN103065292B (zh) * | 2012-12-26 | 2015-07-15 | 武汉大学 | 一种基于主成份稀疏表达的人脸超分辨率重建方法 |
| CN103236041B (zh) * | 2013-04-25 | 2015-11-18 | 北京交通大学 | 一种基于Contourlet变换的图像超分辨率重建方法 |
| CN103295192B (zh) * | 2013-05-08 | 2016-05-25 | 西安电子科技大学 | 基于gpu加速的图像实时超分辨重建方法 |
| CN103310408B (zh) * | 2013-06-27 | 2016-01-20 | 北京华多九州投资管理有限公司 | 适用于超精细影像的图像存储方法 |
| CN103345495B (zh) * | 2013-06-27 | 2017-04-12 | 华多九州科技股份有限公司 | 网络环境下超精图像的极速展示方法 |
| WO2015180054A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种基于图像超分辨率的视频编解码方法及装置 |
| CN104361557A (zh) * | 2014-10-17 | 2015-02-18 | 中山大学 | 一种基于稀疏编码的快速视频放大方法及系统 |
| CN104463798A (zh) * | 2014-11-28 | 2015-03-25 | 河海大学常州校区 | 基于稀疏表示算法的图像昼夜场景转换方法及系统 |
| CN104835126B (zh) * | 2015-05-15 | 2016-03-02 | 中国人民解放军国防科学技术大学 | 一种基于观测信号拆分的快速稀疏图像复原方法 |
| CN105321175B (zh) * | 2015-09-23 | 2017-09-19 | 宁波大学 | 一种基于结构纹理稀疏表示的立体图像质量客观评价方法 |
| CN105844635B (zh) * | 2016-03-21 | 2018-10-12 | 北京工业大学 | 一种基于结构字典的稀疏表示深度图像重建方法 |
| CN106228198B (zh) * | 2016-08-17 | 2019-05-07 | 广东工业大学 | 一种医疗ct图像的超分辨率识别方法 |
| CN108122262B (zh) * | 2016-11-28 | 2021-05-07 | 南京理工大学 | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 |
| CN107424119B (zh) * | 2017-04-12 | 2020-07-24 | 广西大学 | 一种单图像的超分辨率方法 |
| CN107170013B (zh) * | 2017-05-03 | 2020-04-21 | 北京理工大学 | 一种rgb相机光谱响应曲线的标定方法 |
| CN107516335A (zh) | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
| CN107845064B (zh) * | 2017-09-02 | 2020-04-14 | 西安电子科技大学 | 基于主动采样和高斯混合模型的图像超分辨重建方法 |
| CN107767357B (zh) * | 2017-09-14 | 2021-04-09 | 北京工业大学 | 一种基于多方向字典的深度图像超分辨率方法 |
| CN107833182A (zh) * | 2017-11-20 | 2018-03-23 | 西安建筑科技大学 | 基于特征提取的红外图像超分辨率重建方法 |
| CN108198147B (zh) * | 2018-01-02 | 2021-09-14 | 昆明理工大学 | 一种基于判别字典学习的多源图像融合去噪的方法 |
| CN108765293A (zh) * | 2018-05-31 | 2018-11-06 | 成都信息工程大学 | 一种基于稀疏表示的磁共振图像重建方法及系统 |
| CN108764368B (zh) * | 2018-06-07 | 2021-11-30 | 西安邮电大学 | 一种基于矩阵映射的图像超分辨率重建方法 |
| CN109035192A (zh) * | 2018-08-17 | 2018-12-18 | 凌云光技术集团有限责任公司 | 一种可见光图像和全色图像合成方法及装置 |
| CN109671044B (zh) * | 2018-12-04 | 2019-10-08 | 重庆邮电大学 | 一种基于可变图像分解的多曝光图像融合方法 |
| CN110111253B (zh) * | 2019-04-12 | 2023-06-23 | 浙江师范大学 | 自适应全局和纹理约束的超分辨率的方法 |
| CN110223231A (zh) * | 2019-06-06 | 2019-09-10 | 天津工业大学 | 一种含噪图像的快速超分辨重建算法 |
| CN110443754B (zh) * | 2019-08-06 | 2022-09-13 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN112767292B (zh) * | 2021-01-05 | 2022-09-16 | 同济大学 | 一种用于时空融合的地理加权空间混合分解方法 |
| CN114972128B (zh) * | 2022-08-01 | 2022-11-01 | 中国科学院空天信息创新研究院 | 光学遥感图像全色锐化方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101556690A (zh) * | 2009-05-14 | 2009-10-14 | 复旦大学 | 基于词典学习和稀疏表示的超分辨率算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374442B2 (en) * | 2008-11-19 | 2013-02-12 | Nec Laboratories America, Inc. | Linear spatial pyramid matching using sparse coding |
-
2012
- 2012-05-22 CN CN201210159943.XA patent/CN102722865B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101556690A (zh) * | 2009-05-14 | 2009-10-14 | 复旦大学 | 基于词典学习和稀疏表示的超分辨率算法 |
Non-Patent Citations (2)
| Title |
|---|
| Simultaneous Structure and Texture Image Inpainting;M.Bertalmio等;《Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20030804;第1-6页 * |
| 基于稀疏表示的超分辨率重建和图像修复研究;李民;《中国博士学位论文全文数据库》;20111215;第8页第4段，第33页倒数第1段，第37页倒数第1、2段，第45页第4段，第46页第3段，第48页第1段-第49页第3段，第50页第6段，第61页第3-4段，第62页倒数第1段，第64页倒数第1段 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102722865A (zh) | 2012-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102722865B (zh) | 一种超分辨率稀疏重建方法 | |
| CN106204449A (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
| CN109741256A (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN105046672A (zh) | 一种图像超分辨率重建方法 | |
| CN108765296A (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
| CN102842115B (zh) | 基于双重字典学习的压缩感知图像超分辨率重建方法 | |
| CN111833246A (zh) | 基于注意力级联网络的单帧图像超分辨方法 | |
| CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建系统 | |
| CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
| CN106709875A (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
| CN113516601B (zh) | 基于深度卷积神经网络与压缩感知的图像恢复方法 | |
| CN104427349B (zh) | 一种Bayer图像压缩方法 | |
| CN104103052A (zh) | 一种基于稀疏表示的图像超分辨率重建方法 | |
| CN102831581A (zh) | 一种超分辨率图像重构的方法 | |
| CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
| CN114331831A (zh) | 一种轻量化的单张图像超分辨率重建方法 | |
| CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
| CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN103473797A (zh) | 基于压缩感知采样数据修正的空域可缩小图像重构方法 | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| CN106600533A (zh) | 单图像超分辨率重建方法 | |
| CN106056565A (zh) | 一种基于多尺度形态学双边滤波分解和对比度压缩的mri与pet图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |