CN104063856A - 一种快速超分辨率图像重建方法和装置 - Google Patents

Abstract

一种快速超分辨率图像重建方法和装置，本申请提供的一种快速超分辨率图像重建方法和装置中，在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节，从而提高超分辨率图像的高频细节质量。

Description

一种快速超分辨率图像重建方法和装置

技术领域

本申请涉及视频图像超分辨率领域，具体涉及一种快速超分辨率图像重建方法和装置。

背景技术

超分辨率(Super-Resolution)是指通过低分辨率的图像来恢复高分辨率的清晰图像。超分辨率是视频图像处理领域的基础问题之一，在医学图像处理、图像识别、数码照片处理、高清电视等领域有着非常广泛的应用前景。

经典的超分辨率图像重建方法之一是基于核的插值算法，例如：双线性插值、样条曲线插值等。由于此类方法是通过已知的离散数据来生成连续数据的，因此会带来模糊、锯齿等效应，同时，也无法恢复在低分辨率图像中所丢失的高频细节信息。近年来，大量的基于边缘的超分辨率图像重建方法被提出，通过使用梯度、几何特性等边缘先验知识，来改善传统插值的不自然效应，提高边缘的视觉质量。但是，这一类聚焦于改善边缘视觉质量的方法仍然不能恢复高频纹理细节。为了恢复高频细节，一些基于样本的方法也被相继提出，通过训练低分辨率及其对应的高分辨率字典库，来恢复低分辨率图像中丢失的细节信息。但是该类方法中字典的训练和逐块匹配字典元都非常耗时。

发明内容

本申请提供一种能够快速恢复图像的高频细节的超分辨率图像重建方法和装置，解决了现有技术中超分辨率图像高频细节质量差的问题。

根据本申请的第一方面，本申请提供了一种快速超分辨率图像重建方法，在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节。

在某些实施例中，至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理包括：

输入原始图像；

对所述原始图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像；

从原始图像中提取边缘区域，生成边缘图像；

对所述边缘图像基于边缘区域字典的方式进行超分辨率图像重建，得到第二超分辨率图像；所述字典包括低分辨率样本和与所述低分辨率样本对应的高分辨率样本；

将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像。

在某些实施例中，在从原始图像中提取包含边缘区域信息的边缘图像时将图像的锐利边缘部分，以及锐利边缘部分预设区域范围内的过渡区域部分都作为边缘区域被提取。

在某些实施例中，在确定边缘区域后，对边缘区域进行形态学处理。

在某些实施例中，所述基于纹理结构的约束包括：在原始图像中，灰度变化大的纹理区域，增大迭代增加高频信息的系数；灰度变化小的纹理区域，减小迭代增加高频信息的系数。

在某些实施例中，对所述原始图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像，包括：

对原始图像进行预处理，得到预处理图像；

对预处理图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像。

在某些实施例中，所述预处理包括双边滤波。

在某些实施例中，将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像，具体为：对第一超分辨率图像和第二超分辨率图像中的过渡区域部分进行均值计算，通过均值矫正使得灰度分布的中心均值重叠，从而得到原始图像的超分辨率图像。

在某些实施例中，在均值矫正后还包括，在过渡区域部分通过预设次数的迭代后向映射来调整过渡区域部分的灰度值，从而得到原始图像的超分辨率图像。

根据本申请的第二方面，本申请提供了一种快速超分辨率图像重建装置，包括：

原始图像获取单元，用于获取原始图像；

超分辨率图像重建模块，用于在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节。

在某些实施例中，超分辨率图像重建模块包括：

第一超分辨率图像重建单元，用于对原始图像基于纹理结构约束的迭代后向映射，得到第一超分辨率图像；

边缘图像提取单元，用于从原始图像中提取边缘区域，生成边缘图像；

第二超分辨率图像重建单元，用于对所述边缘图像基于边缘区域字典的方式进行超分辨率图像重建，得到第二超分辨率图像；所述字典包括低分辨率样本和与所述低分辨率样本对应的高分辨率样本；

合成单元，用于将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像。

在某些实施例中，边缘图像提取单元从原始图像中提取边缘区域，生成边缘图像时：边缘图像提取单元将图像的锐利边缘部分，以及锐利边缘部分预设区域范围内的过渡区域部分都作为边缘区域被提取。

在某些实施例中，边缘图像提取单元还用于在从原始图像中提取到边缘区域后，对所述边缘区域进行形态学处理。

在某些实施例中，所述基于纹理结构的约束包括：在原始图像中，灰度变化大的纹理区域，增大迭代增加高频信息的系数；灰度变化小的纹理区域，减小迭代增加高频信息的系数。

在某些实施例中，第一超分辨率图像重建单元对原始图像基于纹理结构约束的迭代后向映射，得到第一超分辨率图像时：第一超分辨率图像重建单元先对原始图像进行预处理，得到预处理图像；之后再对预处理图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像。

在某些实施例中，第一超分辨率图像重建单元对原始图像进行预处理时，第一超分辨率图像重建单元采用双边滤波对原始图像进行处理。

在某些实施例中，合成单元将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像时：合成单元对第一超分辨率图像和第二超分辨率图像中的过渡区域部分进行均值计算，通过均值矫正使得灰度分布的中心均值重叠，从而得到原始图像的超分辨率图像。

在某些实施例中，合成单元还用于在均值矫正，通过均值矫正使得灰度分布的中心均值重叠后，在过渡区域部分通过预设次数的迭代后向映射来调整过渡区域部分的灰度值，从而得到原始图像的超分辨率图像。

本申请提供的一种快速超分辨率图像重建方法和装置中，在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节，从而提高超分辨率图像的高频细节质量。

附图说明

图1为本申请一种实施例中快速超分辨率图像重建方法的流程图；

图2为本申请一种实施例快速超分辨率图像重建方法中原始图像到输出图像(原始图像超分辨率图像)的示意图；

图3为本申请一种实施例中快速超分辨率图像重建方法和Bicubic插值、ICBI方法、ScSR方法对四个不同图像进行超分辨率图像重建时在纹理图像上的PSNR(峰值信噪比)结果对比图；

图4为本申请一种实施例中快速超分辨率图像重建方法和Bicubic插值、ICBI方法、ScSR方法对五个不同图像进行超分辨率图像重建的处理时间结果对比图；

图5为本申请一种实施例中快速超分辨率图像重建装置的模块示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一

本实施例提供了一种快速超分辨率图像重建方法，在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节。

在具体实施例中，请参考图1和图2，图1为本实施例提供的快速超分辨率图像重建方法的流程图，图2为采用本实施例提供的快速超分辨率图像重建方法时输入的原始图像到输出图像(原始图像的超分辨率图像)的示意图。

快速超分辨率图像重建方法包括：

步骤101：对原始图像进行预处理，得到预处理图像。本实施例中，具体为，移除原始图像的高频信息，得到基图像，基图像即为预处理图像。在其它实施例中，可以不对原始图像进行预处理，或者采用其它预处理方式。

在具体实施例中，步骤101可以采用双边滤波来移除原始图像的高频信息，得到基图像，且双边滤波采用下面的滤波公式：

$g\left(x\right)=\frac{\underset{y\∈\mathrm{\Ω}}{\mathrm{\Σ}}I\left(y\right)\mathrm{\ω}(x,y)}{\underset{y\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\ω}(x,y)}...\left(1\right)$

$\mathrm{\ω}(x,y)=\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{{2\mathrm{\σ}}_c^2}-\frac{{\left|\right|I\left(x\right)-I\left(y\right)\left|\right|}_2^2}{{2\mathrm{\σ}}_s^2})...\left(2\right)$

其中，x、y分别代表中心像素和邻居像素的坐标，I(x)、I(y)为对应中心像素和邻居像素的灰度值，Ω为以x为中心的预设像素区域，σ为经验参数值。

采用双边滤波与单一核高斯滤波相比，双边滤波考虑了像素点之间的位置关系以及灰度关系，能够较好地分离图像的高频信息。

步骤102：采用基于纹理结构的迭代后向映射(Back Projection，BP)的方式对基图像进行超分辨率图像重建，得到第一超分辨率图像。

首先，下面对迭代后向映射的方式对图像进行超分辨率图像重建的步骤进行说明：

例如：高分辨率图像X，低分辨率图像Y，定义X*为X的超分辨率重建图像。超分辨率就是已知低分辨率图像Y，来得到X*。需要说明的是，高分辨率图像定义为在迭代过程中，低分辨率图像放大后得到的图像；超分辨率图像(超分辨率重建图像)为低分辨率图像进行超分辨率图像重建后得到的最终结果。

BP的约束条件为：最后得到的X^*是Y放大得到的高分辨率图，那么将X^*缩小后的DHX^*应该和Y尽可能相似。

具体迭代过程如下：

(1)直接把Y通过插值方式上采样得到第一次放大的高分辨率图像X₁。

(2)把X₁再降采样，得到降采样后的低分辨率图像Y₁＝DHX₁。

(3)将Y₁和Y比较得到高频残差：R₁＝Y-Y₁。

(4)把残差R₁乘以预定的系数，进行放大，加到X₁上去得到X₂：X₂＝X₁+H^TUR₁(相当于往X₁上添加高频细节信息)。

(5)再把X₂降采样得到Y₂。

(6)再计算残差R₂＝Y-Y₂，然后再放大残差R₂，将其加回X₂上得到X₃：X₃＝X₂+H^TUR₂。

(7)重复上述步骤最后得到X^*。最后得到的X^*就满足：降采样后的DHX^*和已知Y尽可能的相似，即满足||DHX^*-Y||₂<ε,ε为一极小值。

超分辨率图像和已知的低分辨率图像保持一致是图像超分辨率的基本约束之一，因此可以使用迭代后向映射的方法来恢复高频细节，但是直接BP会产生很多问题，例如边缘模糊，高频中的噪声也会在迭代过程中增强，在平坦纹理区域尤为明显。传统约束中，纹理结构往往被忽略，因此，本实施例优选的，以基图像为初值，基于纹理结构的约束，采用迭代后向映射的方式对基图像进行超分辨率图像重建，从而来恢复基图像的高频信息，即：

$X^{*}=\arg \underset{X}{\min }E\left(X\right|Y,T)...\left(3\right)$

其中X为高分辨率图像，Y为低分辨率图像，X^*是超分辨率重建图像，T是纹理结构矩阵。T的作用为，在灰度变化剧烈的纹理区域，提高迭代增加高频信息的系数，而在平坦的纹理区域，减少高频信息的增加以抑制可能出现的噪声。T中每个元素t代表图像上对应像素点的局部灰度差异变化程度，t的计算方式如下：

$t=\underset{i=1}{\overset{P}{\mathrm{\&Sigma;}}}|g_i-g_c|...\left(4\right)$

其中，g_c是局部图像块中心像素点的灰度值，g_i是中心像素点第i个邻居像素点的灰度值，p为中心像素点的邻居像素点的数量。

在引入纹理结构的约束后，基于纹理结构约束的BP迭代公式为：

X_t+1＝vT_cTH^TU(DHX_t-Y)+X_t………………(5)

其中，X_t和X_t+1分别是第t和t+1次迭代获得的高分辨率图像，D和U分别为降采样和上采样操作，H是模糊操作，T为纹理结构矩阵，T_c是纹理结构矩阵T的系数矩阵，在具体实施例中，对T中的较大值赋予相对较大的系数，T中的较小值赋予相对较小的系数，v为预设参数。

下面对本实施例中基于纹理结构的约束，采用迭代后向映射的方式对基图像进行超分辨率图像重建举例进行说明。

例如一张低分辨率图像，背景是平坦的天空，前景是人像，在放大后，需要重点恢复的清晰纹理通常为人的头发、皮肤细节等，而天空的纹理变化是平缓的。传统BP方式中，在多次迭代过程后，会逐渐添加图像的高频信息，但是由于该放大方式不具有纹理的约束条件，比如平坦的天空背景部分存在高频噪声时，那么噪声就会在迭代中不断的被放大、加强。

本实施例中，由于增加了纹理的约束条件，通过纹理特征提取，来建立一个图像的纹理模板(局部灰度变化程度的模板)。采用该方式的迭代结果就是在纹理变化本来剧烈的地方，比如人的头发，其高频细节将会被进一步加强，而背景平坦变化的天空，其高频信息的恢复就被抑制，避免出现噪声信息。

步骤103：提取原始图像的边缘区域。

在具体实施例中，提取原始图像的边缘区域时，选取原始图像的锐利边缘部分，以及锐利边缘部分预设区域范围内的过渡区域部分作为边缘区域。具体的，采用下面的检测公式来提取原始图像的边缘区域：

$G=s(t-c)=s\left(\underset{i=1}{\overset{P}{\mathrm{\&Sigma;}}}\right|g_i-g_c|-c),s\left(x\right)=\left\{\begin{array}{c}1,x>0\\ 0,x<0\end{array}\right....\left(6\right)$

其中c是边缘区域检测的阈值。本实施例中采用这种边缘区域提取方法不单能够提取出锐利边缘，也能够提取出边缘附近的像素点(过渡区域部分)，以实现超分辨率后的边缘区域和相邻的纹理区域更好地过渡。

进一步，在提取到原始图像的边缘区域后，还对提取到的边缘区域进行形态学处理(膨胀和腐蚀)。由于边缘区域的提取为二值操作，为了保证边缘的连续性，通过形态学处理可以消除连续边缘中的细小缝隙(断点)。

步骤104：基于字典的方式对边缘区域进行超分辨率图像重建，得到边缘区域的超分辨率图像。字典包括低分辨率样本和与低分辨率样本对应的高分辨率样本。

在具体实施例中，字典的获取包括以下步骤：提取训练图像的高分辨率局部块特征；提取高分辨率局部块特征对应的低分辨率局部块特征；使用稀疏编码训练样本，以得到字典。

使用稀疏编码训练样本时，采用下面的优化公式：

$D=\arg \underset{D,Z}{\min }{\left|\right|X-\mathrm{DZ}\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|Z\left|\right|}_1...\left(7\right)$

其中，D为训练得到的字典，X为高分辨率的训练图像，λ为预设系数，具体的，λ可以为一经验值，L1范数项为稀疏性约束，L2范数项为字典重构局部块与训练样本局部块的相似性约束；在训练样本时，先固定D，使用线性规划求解Z，再固定Z，用二次规划方法求解最优D并更新D，反复迭代上述过程直到满足终止条件的字典D训练完毕，终止条件为：训练得到的字典D低于允许的误差。

字典D内包括低分辨率样本D_l及其对应的高分辨率样本D_h，在进行字典匹配时，对于输入低分辨率局部块y，其高分辨率重建块x可以使用高分辨字典元来表达：

x≈D_hα………………(8)

其中α为系数，本实施例中使用低分辨率重建来求解该系数，低分辨率重建系数α满足以下约束：

$\min {\left|\right|\mathrm{\&alpha;}\left|\right|}_{0}s.t.{\left|\right|{\mathrm{FD}}_1\mathrm{\&alpha;}-\mathrm{Fy}\left|\right|}_2^2\&le;\mathrm{\&epsiv;}...\left(9\right)$

其中ε为趋于0的极小值，F是局部特征提取操作，在本实施例提供的字典D中，取的特征是局部灰度差异结合梯度值大小。由于α足够稀疏，因此使用L1范数来代替式(9)的L0范数，最优化问题变为：

$\underset{\mathrm{\&alpha;}}{\min }{\left|\right|{\mathrm{FD}}_1\mathrm{\&alpha;}-\mathrm{Fy}\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|\mathrm{\&alpha;}\left|\right|}_1...\left(10\right)$

其中，λ是一个调节稀疏性和相似性的系数，最优的稀疏表达α可以通过解上述Lasso问题获得，然后代入式(8)即可计算出y对应的超分辨率结果x。

步骤105：将基图像的超分辨率图像和边缘区域的超分辨率图像进行合成，得到原始图像的超分辨率图像。

由于本实施例中，图像的纹理区域和边缘区域是分开处理的，两者的超分辨图像的灰度值存在差异，直接合成会在过渡区域部分产生不协调的视觉效果，为了消除这种不协调效应，本实施例中，将基图像的超分辨率图像和边缘区域的超分辨率图像进行合成时，对基图像和边缘区域的超分辨率图像中的过渡区域部分进行均值计算，通过均值矫正使得灰度分布的中心均值重叠。

均值矫正之后，在过渡区域部分通过预设次数的迭代后向映射来调整过渡区域部分的灰度值，以使过渡区域部分不但光滑过渡同时还要和已知的低分辨率图像保持一致。为了保持边缘的锐利程度，后向映射调整只在去除了锐利边缘线部分的区域(即过滤区域部分)上进行预设次数的迭代，预设次数选择较小的值。

需要说明的是，本申请实施例中的边缘区域是指明显的线条、曲线、边界等锐利边缘及其相邻的图像块区域(过渡区域部分)，而其他相对于锐利边缘区域局部灰度差异变化平缓的区域统称为纹理区域。需要指出的是，传统纹理分析研究中，纹理可以分为结构性纹理和随机性纹理两类。结构性纹理具有较强的边缘，如明显的线条、斑点、纹路等，在超分辨率中可以得到较好的处理。而本申请实施例中，纹理区域主要是指随机性纹理，如皮肤、毛皮、羽毛、衣料、叶片等纹理的细节部分。

请参考图3，图3给出了本实施例提供的快速超分辨率图像重建方法和Bicubic插值、Giachett等人在2011年提出的ICBI方法(A.Giachett and N.Asuni，“Real-time artifact-free image upscaling,”IEEE Transactions on Image Processing,vol.20,no.10,pp.2760-2768,2011)、Yang等人2010年提出的ScSR方法(J.Yang,J.Wright,T.S.Huang,et al,“Image super-resolution via sparse representation,”IEEETransactions on Image Processing,vol.19,no.11,pp.2861-2873,2010)在四个不同的纹理图像上的PSNR(峰值信噪比)结果。其中，①为采用Bicubic插值方法进行超分辨率图像重建的PSNR结果，②为采用ICBI方法进行超分辨率图像重建的PSNR结果，③为采用ScSR方法进行超分辨率图像重建的PSNR结果，④为本实施例中对基图像进行超分辨率图像重建后的PSNR结果，⑤为本实施例中将基图像的超分辨率图像和边缘区域的超分辨率图像进行合成后的PSNR结果。从图3中可以看出，本实施例提供的快速超分辨率图像重建方法具有较高的PSNR。比较图3中的④和⑤，因为边缘区域在原始图像中占比较小的部分，所以对基图像的超分辨率图像和边缘区域的超分辨率图像进行合成处理后，PSNR值提升较小，但是却可以很好地恢复纹理细节、锐利边缘和边缘细节信息，提高输出图像的视觉质量。

请参考图4，图4给出了本实施例提供的快速超分辨率图像重建方法和Bicubic插值、ICBI方法、ScSR方法对五个不同图像进行超分辨率图像重建的处理时间结果。其中①为采用Bicubic插值方法进行超分辨率图像重建的处理时间结果，②为采用ICBI方法进行超分辨率图像重建的处理时间结果，③为采用ScSR方法进行超分辨率图像重建的处理时间结果，④为采用本实施例提供的方法进行超分辨率图像重建的处理时间结果。从图4中可以看出，本实施例提供的快速超分辨率图像重建方法比单纯用字典方法速度提升较大，在实现恢复图像细节的同时和实时算法ICBI方法的耗时相当。

本实施例提供的快速超分辨率图像重建方法中，只对原始图像的边缘区域采用基于字典的方式进行超分辨率图像重建，然后将边缘区域的超分辨率图像与基图像使用迭代方式得到的超分辨率图像进行合成，得到原始图像的超分辨率图像，不仅能够提高超分辨率图像的高频细节质量，并且还能保证较快的图像处理速度。

实施例二

请参考图5，基于实施例一提供的快速超分辨率图像重建方法，本实施例相应提供了一种快速超分辨率图像重建装置，包括原始图像获取单元501和超分辨率图像重建模块502。

原始图像获取单元501用于获取原始图像。

超分辨率图像重建模块502用于在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节。

在具体实施例中，超分辨率图像重建模块502包括第一超分辨率图像重建单元503、边缘图像提取单元504、第二超分辨率图像重建单元505和合成单元506。

第一超分辨率图像重建单元503用于对原始图像基于纹理结构约束的迭代后向映射，得到第一超分辨率图像。

边缘图像提取单元504用于从原始图像中提取边缘区域，生成边缘图像。

第二超分辨率图像重建单元505用于对边缘图像基于边缘区域字典的方式进行超分辨率图像重建，得到第二超分辨率图像；字典包括低分辨率样本和与低分辨率样本对应的高分辨率样本。

合成单元506用于将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像。

边缘图像提取单元504从原始图像中提取边缘区域，生成边缘图像时：边缘图像提取单元504将图像的锐利边缘部分，以及锐利边缘部分预设区域范围内的过渡区域部分都作为边缘区域被提取。

边缘图像提取单元504还用于在从原始图像中提取到边缘区域后，对边缘区域进行形态学处理。

在具体实施例中，基于纹理结构的约束包括：在原始图像中，灰度变化大的纹理区域，增大迭代增加高频信息的系数；灰度变化小的纹理区域，减小迭代增加高频信息的系数。

第一超分辨率图像重建单元503对原始图像基于纹理结构约束的迭代后向映射，得到第一超分辨率图像时：第一超分辨率图像重建单元503先对原始图像进行预处理，得到预处理图像；之后再对预处理图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像。

第一超分辨率图像重建单元503对原始图像进行预处理时，第一超分辨率图像重建单元503采用双边滤波对原始图像进行处理。

在具体实施例中，双边滤波的滤波公式为：

$g\left(x\right)=\frac{\underset{y\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}I\left(y\right)\mathrm{\&omega;}(x,y)}{\underset{y\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(x,y)},$

$\mathrm{\&omega;}(x,y)=\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{{2\mathrm{\&sigma;}}_c^2}-\frac{{\left|\right|I\left(x\right)-I\left(y\right)\left|\right|}_2^2}{{2\mathrm{\&sigma;}}_s^2})$

其中，x、y分别代表中心像素和邻居像素的坐标，I(x)、I(y)为对应中心像素和邻居像素的灰度值，Ω为以x为中心的预设像素区域，σ为经验参数值。

第一超分辨率图像重建单元以预处理图像为初值，基于纹理结构的约束，采用迭代后向映射的方式对预处理图像进行超分辨率图像重建时，迭代后向映射公式为：

X_t+1＝vT_cTH^TU(DHX_t-Y)+X_t

其中，X_t和X_t+1分别是第t和t+1次迭代获得的高分辨率图像，D和U分别为降采样和上采样操作，H是模糊操作，T为纹理结构矩阵，T_c是纹理结构矩阵T的系数矩阵。

具体的，纹理结构矩阵T中每个元素的计算公式为：

$t=\underset{i=1}{\overset{P}{\mathrm{\&Sigma;}}}|g_i-g_c|$

其中，g_c是局部图像块中心像素点的灰度值，g_i是中心像素点第i个邻居像素点的灰度值，p为中心像素点的邻居像素点的数量。

本领域技术人员可以理解，上述实施方式中对原始图像进行的预处理也可以是其它预处理，在某些实施例中，也可以先不对原始图像进行预处理。

本实施例提供的快速超分辨率图像重建装置中，只对原始图像的边缘区域采用基于字典的方式进行超分辨率图像重建，然后将边缘区域的超分辨率图像与预处理图像使用迭代方式得到的超分辨率图像进行合成，得到原始图像的超分辨率图像，不仅能够提高超分辨率图像的高频细节质量，并且还能保证较快的图像处理速度。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (18)

1.一种快速超分辨率图像重建方法，其特征在于，在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节。

2.如权利要求1所述的方法，其特征在于，至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理包括：

输入原始图像；

对所述原始图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像；

从原始图像中提取边缘区域，生成边缘图像；

对所述边缘图像基于边缘区域字典的方式进行超分辨率图像重建，得到第二超分辨率图像；所述字典包括低分辨率样本和与所述低分辨率样本对应的高分辨率样本；

将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像。

3.如权利要求2所述的方法，其特征在于，在从原始图像中提取包含边缘区域信息的边缘图像时将图像的锐利边缘部分，以及锐利边缘部分预设区域范围内的过渡区域部分都作为边缘区域被提取。

4.如权利要求3所述的方法，其特征在于，在确定边缘区域后，对边缘区域进行形态学处理。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述基于纹理结构的约束包括：在原始图像中，灰度变化大的纹理区域，增大迭代增加高频信息的系数；灰度变化小的纹理区域，减小迭代增加高频信息的系数。

6.如权利要求2所述的方法，其特征在于，对所述原始图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像，包括：

对原始图像进行预处理，得到预处理图像；

对预处理图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像。

7.如权利要求6所述的方法，其特征在于，所述预处理包括双边滤波。

8.如权利要求2-4中任一项所述的方法，其特征在于，将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像，具体为：对第一超分辨率图像和第二超分辨率图像中的过渡区域部分进行均值计算，通过均值矫正使得灰度分布的中心均值重叠，从而得到原始图像的超分辨率图像。

9.如权利要求8所述的方法，其特征在于，在均值矫正后还包括，在过渡区域部分通过预设次数的迭代后向映射来调整过渡区域部分的灰度值，从而得到原始图像的超分辨率图像。

10.一种快速超分辨率图像重建装置，其特征在于，包括：

原始图像获取单元，用于获取原始图像；

超分辨率图像重建模块，用于在对原始图像进行超分辨率图像重建过程中至少采用基于纹理结构约束的迭代后向映射的方式对原始图像进行处理，以增强图像的纹理细节。

11.如权利要求10所述的装置，其特征在于，超分辨率图像重建模块包括：

第一超分辨率图像重建单元，用于对原始图像基于纹理结构约束的迭代后向映射，得到第一超分辨率图像；

边缘图像提取单元，用于从原始图像中提取边缘区域，生成边缘图像；

第二超分辨率图像重建单元，用于对所述边缘图像基于边缘区域字典的方式进行超分辨率图像重建，得到第二超分辨率图像；所述字典包括低分辨率样本和与所述低分辨率样本对应的高分辨率样本；

合成单元，用于将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像。

12.如权利要求11所述的装置，其特征在于，边缘图像提取单元从原始图像中提取边缘区域，生成边缘图像时：边缘图像提取单元将图像的锐利边缘部分，以及锐利边缘部分预设区域范围内的过渡区域部分都作为边缘区域被提取。

13.如权利要求12所述的装置，其特征在于，边缘图像提取单元还用于在从原始图像中提取到边缘区域后，对所述边缘区域进行形态学处理。

14.如权利要求10-13中任一项所述的装置，其特征在于，所述基于纹理结构的约束包括：在原始图像中，灰度变化大的纹理区域，增大迭代增加高频信息的系数；灰度变化小的纹理区域，减小迭代增加高频信息的系数。

15.如权利要求11所述的装置，其特征在于，第一超分辨率图像重建单元对原始图像基于纹理结构约束的迭代后向映射，得到第一超分辨率图像时：第一超分辨率图像重建单元先对原始图像进行预处理，得到预处理图像；之后再对预处理图像基于纹理结构约束进行迭代后向映射，得到第一超分辨率图像。

16.如权利要求15所述的装置，其特征在于，第一超分辨率图像重建单元对原始图像进行预处理时，第一超分辨率图像重建单元采用双边滤波对原始图像进行处理。

17.如权利要求11-13中任一项所述的装置，其特征在于，合成单元将第一超分辨率图像与第二超分辨率图像合成，得到原始图像的超分辨率图像时：合成单元对第一超分辨率图像和第二超分辨率图像中的过渡区域部分进行均值计算，通过均值矫正使得灰度分布的中心均值重叠，从而得到原始图像的超分辨率图像。

18.如权利要求17任一项所述的装置，其特征在于，合成单元还用于在均值矫正，通过均值矫正使得灰度分布的中心均值重叠后，在过渡区域部分通过预设次数的迭代后向映射来调整过渡区域部分的灰度值，从而得到原始图像的超分辨率图像。