CN103914807B - 一种缩放尺度补偿的非局部性图像超分辨率方法及系统 - Google Patents

Abstract

本发明涉及一种缩放尺度补偿的非局部性图像超分辨率方法及系统，属于数字图像超分辨率技术领域。本发明首先将视频序列中的相邻数帧上插到设定的高分辨率图像；然后计算相邻帧间的尺度差异；最后对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。本发明所述方法更有效地捕捉到各图像间更多的互补信息，进一步提升了非局部超分辨率重建的性能。

Description

一种缩放尺度补偿的非局部性图像超分辨率方法及系统

技术领域

本发明属于数字图像超分辨率技术领域，具体涉及一种缩放尺度补偿的非局部性图像超分辨率方法及系统。

背景技术

超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。基于多帧图像的超分辨率重建的目标是把一系列的低分辨率图像融合成一幅高分辨率图像。其有效性基于假设——多个相邻帧的低分辨率图像中包含相互补充的信息。利用这些信息，可以生成一副较高分辨率的图像。这项技术广泛应用在图像增强，监视器等领域中。

多帧融合技术的关键在于从邻域内得到的互补信息的精确度与质量。传统的多帧融合算法往往追求更精确的运动估计以提高获取信息的位置精确度。但存在一些不可避免区域的无法进行精确估计（如因遮挡而使得部分区域在某一帧中不存在），这将会大大损害复原图像的质量。为了避免运动估计，Potter等人把非局部方法从一种去噪算法扩展成不需要运动估计的超分辨率方法。该算法通过度量块之间的相似度，加权计算出中心像素的值。Potter等人提出的非局部超分辨率方法仅仅是一个基础框架，可以在这个框架上进行多种多样的扩展或修改以达到提升性能的目的。

其中一类提升是自适应的参数选择，即通过研究块的大小以及搜索窗口的大小与非局部方法性能间的关系，自适应地选择这些参数。Zeng等人将图像分成多个区域在不同区域应用不同的参数进行非局部超分辨率以达到比统一参数更好的效果。Cheng等人提出的对搜索窗口和块大小进行自适应的选取。还有学者对非局部超分辨率算法中块匹配进行了修改提高。如Gao等人提出了用Zernike Moment替代简单的块匹配进而提升匹配块的质量。Zhuo等人则采用了具有旋转不变性的算子来替代朴素块匹配。而Zheng等人则将非局部的思想扩展到频域上进行使用，提出了小波非局部超分辨率算法Wavelet Non-LocalMeans（WNLM）。

以上的各个方法都或多或少的提升了非局部超分辨率算法的性能。但是他们都使得非局部超分辨率算法对旋转、对称、平移等变换更加鲁棒。迄今为止，仍没有人考虑到基于尺度缩放鲁棒性的改进方法。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种效果好的缩放尺度补偿的非局部性图像超分辨率方法及系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种缩放尺度补偿的非局部性图像超分辨率方法，包括以下步骤：

将视频序列中的相邻数帧上插到设定的高分辨率图像；

计算相邻帧间的尺度差异；

对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。

一种缩放尺度补偿的非局部性图像超分辨率系统，包括用于将视频序列中的相邻数帧上插到设定的高分辨率图像的上插装置；

用于计算相邻帧间的尺度差异的第一计算装置；

用于对待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后像素值的第二计算装置。

本发明所述方法及系统，考虑到现有非局部超分辨率方法中相关帧间因缩放而无法进行简单的信息匹配，在计算相邻帧尺度差异时，采用SIFT算子来提取特征点并加以利用以提取尺度信息，在度量块相似度时，根据尺度信息先对块进行下采上插的插值调整，从而进一步提升了相似度计算的准确性，更有效地捕捉到各图像间更多的互补信息，进一步提升了非局部超分辨率重建的性能。

附图说明

图1是具体实施方式中缩放尺度补偿的非局部性图像超分辨率系统的结构框图；

图2是具体实施方式中缩放尺度补偿的非局部性图像超分辨率方法的流程图；

图3是具体实施方式中像素点P超分辨率后像素值计算方法的流程图；

图4是具体实施方式中原始块与参考块选择示意图。

具体实施方式

本发明总结出现有非局部超分辨率方法不能找到足够多相似块的其中一个重要原因是由于镜头缩放后图像尺度发生了变化而导致相似信息不能很好地匹配，因此，本发明提出了一种计算图像尺度差异的方法及系统，并提出一种新的可以补偿尺度差异的度量方式，最终提升基于多帧融合的超分辨率方法的性能。下面以视频序列中某一帧进行3倍放大的超分辨率重建问题为例，结合附图对本发明的具体实施方式进行详细描述。

如图1所示，本实施方式中缩放尺度补偿的非局部性图像超分辨率系统包括上插装置11、第一计算装置12和第二计算装置13。其中，第二计算装置13包括原始块确定单元131、参考块确定单元132、下采单元133、相似度计算单元134和像素值计算单元135。

上插装置11用于将视频序列中的相邻数帧上插到设定的高分辨率图像。第一计算装置12用于计算相邻帧间的尺度差异。第二计算装置13用于对待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。其中，原始块确定单元131用于在所述高分辨率图像中选择一幅图像A，在图像A中确定与所述像素点P对应的像素点P′为中心的局部块，作为原始块。参考块确定单元132用于在所述图像A中和其相邻帧中的参考区域内选择与所述原始块相对应的参考块。下采单元133用于根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度。相似度计算单元134用于计算所述原始块与所述参考块的相似度。像素值计算单元135用于根据所述相似度，计算所有参考块中心点对于原始块中心点的权重，将所述权重与所述像素点P的像素值进行加权平均，得到像素点P超分辨率后的像素值。

如图2所示，采用图1所示系统实现缩放尺度补偿的非局部性图像超分辨率方法包括以下步骤：

（1）上插装置11将视频序列中的相邻数帧上插到设定的高分辨率图像。

本实施方式中，采用空域插值方法中的双线性插值，将每一帧的两个方向分别上插到原来的三倍大小。所述相邻数帧的取值范围为3~7帧，优选的为3帧、5帧和7帧。本实施方式中，相邻帧为3帧，设原始帧（低分辨率图像）分别为y₁、y₂和y₃，对应的上插后的高分辨率图像分别为Y₁、Y₂和Y₃。

（2）第一计算装置12计算高分辨率图像相邻帧间的尺度差异。

本实施方式中，分别计算图像Y₁和Y₂、Y₂和Y₃的尺度差异。采用如下方法计算：用SIFT（Scale-Invariant Feature Transform）计算其特征点并进行匹配，根据如下公式计算：

其中，N_M表示相邻两帧中匹配上的特征像素点的数量，M表示两帧图像匹配上的像素点对集合，s_r，s_c分别表示相邻两帧中特征像素点的尺度信息，S_t表示所有匹配上的像素点在相邻两帧中尺度差异的平均值，作为两帧5图像的尺度差异值。

SIFT是现有的成熟算法，此处不再展开说明，可参考文献D.G.Lowe，“Distinctiveimage features from scale-invariant keypoints”，International Journal ofComputer Vision,vol.60,no.2,pp.91-110,2004。

（3）第二计算装置13对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，如图3所示，进行如下操作：

所述待超分辨率的原始图像可以是相邻数帧中的任意一帧。本实施方式中，选择y₁、y₂、y₃帧中的y₂帧作为待超分辨率的原始图像。

①原始块确定单元131在所述高分辨率图像中选择一幅图像Y_x，在图像Y_x中确定与所述像素点P对应的像素点P′为中心的局部块，作为原始块。所述Y_x为图像Y₁、Y₂和Y₃中的一幅，本实施方式中选择图像Y₂。所述原始块大小的取值范围在11×11像素点至17×17像素点之间。

②参考块确定单元132确定与所述原始块相对应的参考块。

所述参考块可以从图像Y₂中选择，也可以从相邻帧Y₁、Y₃中选择。优选即从图像Y₂中选择，又从相邻帧Y₁、Y₃中选择。选择的具体过程如下：

1）在图像Y₂中以像素点P′为中心的参考区域内，选择每个原始像素点作为每个参考块的中心点，参考块的数量与所述参考区域内中原始像素点的数量相同。所述原始像素点是指在上插后的图像中的原始图像中存在的像素点。所述参考区域大小的取值范围在21×21像素点至35×35像素点之间。

如图4所示，整个区域为参考区域，黑色方格表示原始块中心点，黑色框内区域表示原始块。灰色方格表示某一参考块中心点，灰色框内区域表示对应的参考块。浅灰色方格表示参考块的中心点，这些像素点都是在原始图像中存在的像素点。

2）在相邻帧Y₁和Y₃中，以与像素点P′相对应的像素点P″为中心的参考区域内，采用与1）中相似的方式选取参考块，差别在于从相邻帧图像中选取的参考块大小与所述原始块的大小比例和两块所属相邻帧间的尺度差异比例相同。例如，假设Y₁和Y₂的尺度差异为2:1，则参考块大小与原始块大小的比例也为2:1。

③下采单元133根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度，相似度计算单元134计算所述原始块与所述参考块的相似度。

所述将参考块下采至与所述原始块相同尺度的方法为现有技术，此处不再展开说明，仅给出如下计算公式：

MP(i,j,t)=I(s_t)R(s_t,i,j)y_t,

其中，y_t表示第t个参考块，R（S_t，i，j）表示对其进行的以（i，j）为中心像素点的取尺度为S_t的参考块，I（S_t）是指对参考块进行双线性差值操作使其尺度与原始块的尺度相同，MP（i，j，t）表示经过下采后的参考块。

对于原始块和参考块的像素值矩阵，计算其二范数的值，作为两块之间的相似度权值，公式如下：

其中，w（k，l，i，j，t）表示原始块与参考块的相似度权值，Y_r表示原始块，R（1，k，l）表示对其进行的以（k，l）为中心像素点、取尺度比为1（即没有尺度差异）的原始块。（k，l）为原始块中心点坐标，（i，j，t）表示第t帧的（i，j）点坐标，即参考块的中心点坐标。σ为常数，本实施方式中取1。

④像素值计算单元135根据所述相似度，计算所有参考块中心点对于原始块中心点的权重；将所述权重与所述像素点P的像素值进行加权平均，得到像素点P超分辨率后的像素值。

对于上述任意两个块的匹配所对应的相似度值与对应参考块的中心像素值，将这些中心像素值按相似度值加权平均便得到了原始块中心点的修正值。设待超分辨率的原始图像中的任意像素点（k，l），采用如下公式计算超分辨率后的像素值（修正值）：

其中，Res（k,l）为该像素点最终超分辨率后的像素值，通过对所有处在待超分辨率帧（k，l）点邻域的点y_t（i，j）进行加权平均得到的。y_t（i，j）表示像素点P的像素值。T取值范围为上述定义的相邻帧范围，如3帧，则为t-1，t，t+1。N的取值范围为上述参考区域的范围大小，如21×21的参考块。

根据上述方法便可以得到待超分辨率图像中除边缘像素点外的任意一像素点超分辨率后的像素值。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种缩放尺度补偿的非局部性图像超分辨率方法，包括以下步骤：

将视频序列中的相邻数帧上插到设定的高分辨率图像；

计算相邻帧间的尺度差异；

对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。

2.如权利要求1所述的非局部性图像超分辨率方法，其特征在于：所述相邻数帧为3帧、5帧或7帧。

3.如权利要求1所述的非局部性图像超分辨率方法，其特征在于：所述相邻帧间的尺度差异S_t采用如下公式计算：

$s_t=\frac{1}{N_M}\·\left({\mathrm{\Σ}}_{i\∈M}\frac{s_r\left(i\right)}{s_c\left(i\right)}\right),$

其中，N_M表示相邻两帧中匹配上的特征像素点的数量，M表示两帧图像匹配上的像素点对集合，S_r、S_c分别表示相邻两帧中特征像素点的尺度信息。

4.如权利要求1～3中任一项所述的非局部性图像超分辨率方法，其特征在于：所述像素点P超分辨率后像素值的计算方法如下：

在所述高分辨率图像中选择一幅图像A，在图像A中确定与所述像素点P对应的像素点P′为中心的局部块，作为原始块；

在所述图像A中和其相邻帧中的参考区域内选择与所述原始块相对应的参考块；

根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度，计算所述原始块与所述参考块的相似度；

根据所述相似度，计算所有参考块中心点对于原始块中心点的权重；将所述权重与所述像素点P的像素值进行加权平均，得到像素点P超分辨率后的像素值。

5.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：所述原始块大小的取值范围在11×11像素点至17×17像素点之间；所述参考区域大小的取值范围在21×21像素点至35×35像素点之间。

6.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：在所述图像A中的参考区域内选择与所述原始块相对应参考块的方法如下：

在以所述像素点P′为中心的参考区域内，选择每个原始像素点作为每个参考块的中心点，所述参考块的大小与所述原始块的大小相同。

7.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：在所述图像A的相邻帧中的参考区域内选择与所述原始块相对应参考块的方法如下：

在所述相邻帧中，以与像素点P′相对应的像素点P"为中心的参考区域内，选择每个原始像素点作为每个参考块的中心点，所述参考块大小与所述原始块的大小比例和两块所属相邻帧间的尺度差异比例相同。

8.如权利要求4所述的非局部性图像超分辨率方法，其特征在于：所述根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度采用如下公式计算：

MP(i,j,t)＝I(s_t)R(s_t,i,j)y_t,

其中，y_t表示第t个参考块，R(S_t，i，j)表示对其进行的以(i，j)为中心像素点的取相邻帧间的尺度差异为S_t的参考块，I(S_t)是指对参考块进行下采操作使其尺度与原始块尺度相同，MP(i，j，t)表示经过下采后的参考块。

9.如权利要求8所述的非局部性图像超分辨率方法，其特征在于：所述原始块与所述参考块的相似度采用如下公式计算：

$w(k,l,i,j,t)=\exp \{-\frac{\left|\right|R(1,k,l)Y_t-MP(i,j,t)|{|}_2^2}{2{\mathrm{\σ}}^2}\},$

其中，w(k，l，i，j，t)表示原始块与参考块的相似度权值，Y_r表示原始块，R(1，k，l)表示对其进行的以(k，l)为中心像素点取尺度比为1的原始块，(k，l)为原始块中心点坐标，(i，j，t)表示第t帧的(i，j)点坐标，σ为常数。

10.如权利要求9所述的非局部性图像超分辨率方法，其特征在于：所述像素点P超分辨率后的像素值采用如下公式计算：

$\mathrm{Re}s(k,l)=\frac{{\mathrm{\Σ}}_{t\∈\[1,\mathrm{...},T\]}{\mathrm{\Σ}}_{(i,j)\∈N(k,l)}w(k,l,i,j,t)y_t(i,j)}{{\mathrm{\Σ}}_{t\∈\[1,\mathrm{...},T\]}{\mathrm{\Σ}}_{(i,j)\∈N(k,l)}w(k,l,i,j,t)},$

其中，Res(k，l)表示像素点P最终超分辨率后的像素值，y_t(i，j)表示像素点P的像素值，T的取值范围与所述相邻数帧的取值范围相同，N(k,l)的取值范围与所述参考区域的取值范围相同。

11.一种缩放尺度补偿的非局部性图像超分辨率系统，其特征在于：包括用于将视频序列中的相邻数帧上插到设定的高分辨率图像的上插装置(11)；

用于计算相邻帧间的尺度差异的第一计算装置(12)；

用于对待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后像素值的第二计算装置(13)。

12.如权利要求11所述的缩放尺度补偿的非局部性图像超分辨率系统，其特征在于：所述第二计算装置(13)包括用于在所述高分辨率图像中选择一幅图像A，在图像A中确定与所述像素点P对应的像素点P′为中心的局部块作为原始块的原始块确定单元(131)；

用于在所述图像A中和其相邻帧中的参考区域内选择与所述原始块相对应参考块的参考块确定单元(132)；

用于根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度的下采单元(133)；

用于计算所述原始块与所述参考块相似度的相似度计算单元(134)；

用于根据所述相似度，计算所有参考块中心点对于原始块中心点的权重，将所述权重与所述像素点P的像素值进行加权平均，得到像素点P超分辨率后像素值的像素值计算单元(135)。