CN103167218B - 一种基于非局部性的超分辨率重建方法和设备 - Google Patents

Abstract

本发明涉及数字图像增强技术领域，特别涉及一种基于非局部性的超分辨率重建方法和设备，用以解决现有技术中存在的进行基于非局部性的超分辨率重建后的图像的清晰度比较低的问题。本发明实施例的方法包括：确定当前宏块在其他每一帧图像中的搜索窗口的位置；根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。采用本发明实施例能够提高进行基于非局部性的超分辨率重建后的图像的清晰度。

Description

一种基于非局部性的超分辨率重建方法和设备

技术领域

本发明涉及数字图像增强技术领域，特别涉及一种基于非局部性的超分辨率重建方法和设备。

背景技术

基于多帧的超分辨率重建的目标是把一系列的低分辨率图像融合成一幅高分辨率图像。由于存在亚像素的偏移，低分辨图像间包含了一些互补的信息，如果知道了它们之间的偏移，可以把这些低分辨率图像融合起来并去除锯齿，从而生成更高分辨率的图像。

在传统的多帧融合算法中，必须要知道各个低分辨率图像间的偏移。因此，精确的运动估计在传统的多帧融合中起着决定性的作用，如果运动估计错误会导致严重的失真。为规避运动估计，出现了一种不需要运动估计的超分辨率方法。该算法通过度量块之间的相似度，加权计算出中心像素的值。但该算法仅考虑了平动，而在自然视频中往往包含着复杂的运动，甚至在一帧内，某些纹理也会存在旋转，从而减少了非局部算法能够找到的相似块数量。在非局部超分辨率重建或是非局部去噪算法的基础上，有两类改进被提出：自适应参数选择和基于不变性的相似度度量。

自适应的参数选择通过讨论块的大小以及搜索窗口的大小与非局部方法性能间的关系，自适应地选择这些参数。但是该算法的移动窗口策略是基于像素的并且很容易陷入局部最优解，从而降低了重建后图像的清晰度。

综上所述，目前进行基于非局部性的超分辨率重建后的图像的清晰度比较低。

发明内容

本发明实施例提供的一种基于非局部性的超分辨率重建方法和设备，用以解决现有技术中存在的进行基于非局部性的超分辨率重建后的图像的清晰度比较低的问题。

本发明实施例提供的一种基于非局部性的超分辨率重建方法，包括：

将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；

针对每帧图像中的每个宏块做如下操作：确定当前宏块在其他每一帧图像中的搜索窗口的位置；

以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；

针对每帧图像中的每个像素块做如下操作：根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；

根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。

较佳地，确定当前宏块在其他每一帧图像中的搜索窗口的位置包括：

分别确定当前宏块到其他每一帧图像的运动向量；

针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。

较佳地，确定搜索窗口中的每个像素块与当前像素块的相似度值包括：

分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；

根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；

根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。

较佳地，确定当前像素块优化后的中心像素值包括：

针对一个像素块，分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。

本发明实施例提供的一种基于非局部性的超分辨率重建设备，包括：

第一处理模块，用于将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；

位置确定模块，用于针对每帧图像中的每个宏块做如下操作：确定当前宏块在其他每一帧图像中的搜索窗口的位置；

第二处理模块，用于以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；

相似度确定模块，用于针对每帧图像中的每个像素块做如下操作：根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；

像素值确定模块，用于根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。

较佳地，所述位置确定模块分别确定当前宏块到其他每一帧图像的运动向量；

针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。

较佳地，所述相似度确定模块分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。

较佳地，针对一个像素块，所述像素值确定模块分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。

由于根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值，并根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值，从而提高了进行基于非局部性的超分辨率重建后的图像的清晰度；进一步消除了非局部超分辨率算法的块效应。

附图说明

图1为本发明实施例基于非局部性的超分辨率重建方法的流程示意图；

图2为本发明实施例基于非局部性的超分辨率重建设备的结构示意图。

具体实施方式

本发明实施例确定当前宏块在其他每一帧图像中的搜索窗口的位置；以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。由于根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值，并根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值，从而提高了进行基于非局部性的超分辨率重建后的图像的清晰度。

下面结合说明书附图对本发明实施例作进一步详细描述。

如图1所示，本发明实施例基于非局部性的超分辨率重建方法包括下列步骤：

步骤101、将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；

步骤102、针对每帧图像中的每个宏块做如下操作：确定当前宏块在其他每一帧图像中的搜索窗口的位置；

步骤103、以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；

步骤104、针对每帧图像中的每个像素块做如下操作：根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；

步骤105、根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。

较佳地，步骤101中，首先采用空域插值方法，把所有需要进行重建的每一帧低分辨率图像上插到需要的高分辨率。比如需要进行重建的低分辨率图像是640×320，需要的高分辨率是800×600，则采用空域插值方法，将640×320的图像上插成800×600。

将每帧图像划分成多个大小相等的宏块，比如划分成16×16个宏块。具体划分成多少个宏块可以根据需要或经验进行设定。

然后需要确定每一个宏块在其他每一帧图像中的搜索窗口的位置。

在实施中，每个宏块的处理方式都相同，下面针对一个宏块进行举例说明，为了与其他宏块进行区分，将正在进行处理的宏块称为当前宏块。

较佳地，步骤102中，采用基于宏块的搜索，重定位当前宏块在其它图像中的搜索窗口位置。

具体的，分别确定当前宏块到其他每一帧图像的运动向量；

针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。

在实施中，可以根据公式一或公式二，确定当前宏块到其他每一帧图像的运动向量。

$A_1=\underset{i=m+1}{\overset{n}{\mathrm{\Σ}}}{A}_i(n>m)$ .......公式一；

$A_2=\underset{j=x}{\overset{m-1}{\mathrm{\&Sigma;}}}{A}_j(x<m)$ .......公式二；

其中，当前宏块在第m帧图像上；A₁是当前宏块到第n帧图像的运动向量；A_i是当前宏块在第i-1帧图像上所对应的宏块到第i帧图像的运动向量；A₂是当前宏块到第x帧图像的运动向量；A_j是当前宏块在第j+1帧图像上所对应的宏块到第j帧图像的运动向量。

公式一是确定当前宏块到所在的帧图像之后的每个帧图像的运动向量；公式若是确定当前宏块到所在的帧图像之前的每个帧图像的运动向量。

较佳地，步骤102中，根据下列步骤确定A_i：

确定当前宏块在第i-1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_i。

较佳地，步骤102中，若第i-1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则对应的宏块的初始预测向量是零向量；

若第i-1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为对应的宏块的初始预测向量；

若第i-1帧图像不是当前宏块所在的图像，将前一帧图像上的宏块的运动向量作为对应的宏块的初始预测向量。

较佳地，步骤102中，根据下列步骤确定A_j：

确定当前宏块在第j+1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_j。

较佳地，步骤102中，若第j+1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则对应的宏块的初始预测向量是零向量；

若第j+1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为对应的宏块的初始预测向量；

若第j+1帧图像不是当前宏块所在的图像，将后一帧图像上的运动向量作为对应的宏块的初始预测向量。

下面以计算t₀帧的当前宏块(x，y)到第t帧(假设t大于t₀)的运动向量为例详细描述本发明的运动向量的计算方法。

设(d_x，d_y)是初始预测向量，如果当前宏块(x，y)是最左边一列的宏块，则(d_x，d_y)初值为零向量，如果当前宏块(x，y)不是最左边一列的宏块，则把当前宏块(x，y)左边邻近的宏块(与当前宏块处于同一行)的运动向量作为(dx，dy)的初值。

以(dx，dy)为初始预测向量，对第t0帧的当前宏块(x，y)进行自适应十字模式搜索，得到当前宏块(x，y)到第t0+1帧的运动向量；然后查找当前宏块(x，y)在第t0+1帧所对应的宏块A(即第t0+1帧图像上且当前宏块的位置加上当前宏块到第t0+1帧图像的运动向量后的位置上的宏块)，并把当前宏块的运动向量赋给(dx，dy)做为宏块A的初始预测向量，继续进行自适应十字模式搜索，得到宏块A到第t0+2帧的运动向量；然后查找宏块A在第t0+1帧所对应的宏块B(即第t0+2帧图像上且宏块A的位置加上宏块A到第t0+2帧图像的运动向量后的位置上的宏块)，并把宏块A的运动向量赋给(d_x，d_y)做为宏块B的初始预测向量，继续进行自适应十字模式搜索，得到宏块B到第t0+3帧的运动向量，依次类推直到计算出当前宏块(x，y)在第t-1帧所对应的宏块，到第t帧的运动向量为止；最后把所有的运动向量相加，最终得到从第t0帧的当前宏块(x，y)到第t帧的运动向量。上述的内容是对公式一的解释。

本发明实施例t小于t₀的方式与t大于t₀的方式类似，在此不再赘述。

较佳地，步骤103中，对于待重建帧的每一个像素，取以像素为中心设定的距离为半径，形成多个像素块，其中每个像素块唯一对应一个像素点，每个像素块的圆心就是该像素块对应的像素点。

在确定了每个像素点对应的像素块后，针对每帧图像中的每个像素块，都可以通过旋转不变性度量，确定每一幅图像搜索窗口中的每个像素块与其他每个像素块的相似度。

搜索窗口的大小以及半径的长度可以根据需要或经验进行设定。比如半径可以是6像素，搜索窗口可以是(27×27)像素。

较佳地，本发明实施例对于每一个像素块，采用局部的结构和局部的亮度来描述，这样每个像素块与其他每个像素块的相似度可以采用局部的结构和局部的亮度表示。

在实施中，每个像素块的处理方式都相同，下面针对一个像素块进行举例说明，为了与其他像素块进行区分，将正在进行处理的像素块称为当前像素块。

具体的，步骤104中，分别确定当前像素块和搜索窗口中每个像素块的局部结构描述子以及局部亮度描述子；

根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；

根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。

其中，根据像素块所处的宏块宏块到各帧的运动向量作为搜索窗口的运动向量重定位搜索窗口位置，就可以确定搜索窗口中的每个像素块。

本发明实施例中，局部结构可以采用SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)算子进行描述；

局部亮度可以采用公式三确定：

$I_t(k,l,r)=\underset{(i,j)s.t.|i-k|+|j-l|=t}{\mathrm{mean}}Y(i,j)$ .......公式三；

其中，Y(i，j)是在(i，j)位置的像素值；I_t(k，l，r)是局部亮度值，其表示的是第t+1个分量，该分量表示的是与中心像素(k，l)的曼哈顿距离为t的所有像素亮度的平均值；mean是取平均值；s.t.是“满足”的意思；i，j，k，l与上面的公式中的含义相同。

较佳地，步骤104中，当前像素块与搜索窗口中的每个像素块的相似度值可以通过结构距离和亮度距离为变量的高斯函数来表示。

相应的，步骤104中，根据公式四确定归一化的相似度总值：

$C(k,l)=\underset{i,j\&Element;N(k,l)}{\mathrm{\&Sigma;}}\exp \{-\frac{{\left|\right|P(i,j,r)-P(k,l,r)\left|\right|}_2^2}{{\mathrm{\&sigma;}}_1^2}\}\&times;\exp \{-\frac{{\left|\right|I(i,j,r)-I(k,l,r)\left|\right|}_2^2}{{\mathrm{\&sigma;}}_2^2}\}$ ....公式四；

相应的，步骤104中，根据公式五确定相似度：

$W(k,l,i,j)=\frac{1}{C(k,l)}\&times;\exp \{-\frac{{\left|\right|P(i,j,r)-P(k,l,r)\left|\right|}_2^2}{{\mathrm{\&sigma;}}_1^2}\}\&times;\exp \{-\frac{{\left|\right|I(i,j,r)-I(k,l,r)\left|\right|}_2^2}{{\mathrm{\&sigma;}}_2^2}\}$ ....公式五；

其中，C(k，l)是归一化的相似度总值；W(k，l，i，j)是(k，l)像素点对应的像素块和(i，j)像素点对应的像素块的相似度值；k是当前像素块对应的像素点的横坐标；l是当前像素块对应的像素点的纵坐标；i是一个其他像素块对应的像素点的横坐标；j是一个其他像素块对应的像素点的纵坐标；r是半径；P(i，j，r)是其他像素块的局部结构描述子；P(k，l，r)是当前像素块的局部结构描述子；I(i，j，r)是其他像素块的局部亮度描述子；I(k，l，r)是当前像素块的局部亮度描述子；σ₁是局部结构描述子对应的权值；σ₂是局部亮度描述子对应的权值；N(k，l)是(k，l)的邻域，其中(k，l)在每一帧中的搜索窗口的统称就是该邻域。

为了自适应地平衡局部结构与亮度在相似度计算中的权重，一种较佳的处理方式是固定σ₂，然后使得σ₁根据当前像素块与搜索窗口中的每个像素块的最近距离自适应地变化。

具体的，局部结构描述子对应的权值是根据公式六确定的：

.......公式六；

其中，σ₀是初始值，可以根据经验进行设定；L是分段函数的长度。

较佳地，步骤105中，针对一个像素块，分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。

在确定了每个像素块优化后的中心像素值后，就实现了基于基于非局部性的超分辨率重建方案。

本发明实施例在重定位搜索窗口时，考虑了运动在时间和空间上的连续性，有效地减少了基于宏块的搜索陷入局部最优的风险。在度量块相似度时，采用SIFT算子来描述局部结构，并使用自适应的参数选择来平衡局部结构与亮度在相似度计算中的权重，从而进一步提升了相似度计算的准确性。

经过试验对比，本发明实施例相比与双三次插值、非局部超分辨率算法，可以看到本发明恢复了更多的细节，并去除了非局部超分辨率算法的块效应。针对同一幅图像扩展到相同分别率后进行的PSNR对比中，本发明实施例是28.61dB；双三次插值是28.45dB；非局部超分辨率算法是27.81dB，上述结果表明本发明实施例的重建结果更接近于原图。

基于同一发明构思，本发明实施例中还提供了一种基于非局部性的超分辨率重建设备，由于该设备解决问题的原理与本发明实施例基于非局部性的超分辨率重建的方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图2所示，本发明实施例基于非局部性的超分辨率重建设备包括：第一处理模块20、位置确定模块21、第二处理模块22、相似度确定模块23和像素值确定模块24。

第一处理模块20，用于将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；

位置确定模块21，用于针对每帧图像中的每个宏块做如下操作：确定当前宏块在其他每一帧图像中的搜索窗口的位置；

第二处理模块22，用于以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；

相似度确定模块23，用于针对每帧图像中的每个像素块做如下操作：根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；

像素值确定模块24，用于根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。

较佳地，位置确定模块21分别确定当前宏块到其他每一帧图像的运动向量；针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。

较佳地，位置确定模块21根据公式一或公式二确定当前宏块到其他每一帧图像的运动向量。

较佳地，位置确定模块21确定当前宏块在第i-1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_i；确定当前宏块在第j+1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_j。

较佳地，若第i-1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则位置确定模块21确定宏块的初始预测向量是零向量；

若第i-1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则位置确定模块21确定将左边邻近的宏块的运动向量作为宏块的初始预测向量；

若第i-1帧图像不是当前宏块所在的图像，位置确定模块21将前一帧图像上的宏块的运动向量作为宏块的初始预测向量；

若第j+1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则位置确定模块21确定宏块的初始预测向量是零向量；

若第j+1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则位置确定模块21确定将左边邻近的宏块的运动向量作为宏块的初始预测向量；

若第j+1帧图像不是当前宏块所在的图像，位置确定模块21将后一帧图像上的宏块的运动向量作为宏块的初始预测向量。

较佳地，相似度确定模块23分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。

较佳地，相似度确定模块23根据公式四确定归一化的相似度总值。

较佳地，相似度确定模块23根据公式五确定相似度。

较佳地，相似度确定模块23根据公式六确定局部结构描述子对应的权值。

较佳地，针对一个像素块，像素值确定模块24分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种基于非局部性的超分辨率重建方法，其特征在于，该方法包括：

将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；

针对每帧图像中的每个宏块做如下操作：确定当前宏块在其他每一帧图像中的搜索窗口的位置；

以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；

针对每帧图像中的每个像素块做如下操作：根据当前像素块对应的像素点所在的宏块在其他每一帧图像中的搜索窗口的位置，确定当前像素块在其他每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；

根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。

2.如权利要求1所述的方法，其特征在于，确定当前宏块在其他每一帧图像中的搜索窗口的位置包括：

分别确定当前宏块到其他每一帧图像的运动向量；

针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。

3.如权利要求2所述的方法，其特征在于，根据下列公式确定当前宏块到其他每一帧图像的运动向量：

$A_1={\underset{i=m+}{\overset{n}{\&Sigma;}}}_1{A}_i(n>m);$

$A_2=\underset{j=x}{\overset{m-1}{\&Sigma;}}{A}_j(x<m);$

其中，当前宏块在第m帧图像上；A₁是当前宏块到第n帧图像的运动向量；A_i是当前宏块在第i-1帧图像上所对应的宏块到第i帧图像的运动向量；A₂是当前宏块到第x帧图像的运动向量；A_j是当前宏块在第j+1帧图像上所对应的宏块到第j帧图像的运动向量。

4.如权利要求3所述的方法，其特征在于，根据下列步骤确定A_i：

确定当前宏块在第i-1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_i；

根据下列步骤确定A_j：

确定当前宏块在第j+1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_j。

5.如权利要求4所述的方法，其特征在于，确定当前宏块在第i-1帧图像上所对应的宏块的初始预测向量包括：

若第i-1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量；

若第i-1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量；

若第i-1帧图像不是当前宏块所在的图像，将前一帧图像上的宏块的运动向量作为宏块的初始预测向量；

确定当前宏块在第j+1帧图像上所对应的宏块的初始预测向量包括：

若第j+1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量；

若第j+1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量；

若第j+1帧图像不是当前宏块所在的图像，将后一帧图像上的运动向量作为宏块的初始预测向量。

6.如权利要求1所述的方法，其特征在于，确定搜索窗口中的每个像素块与当前像素块的相似度值包括：

分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；

根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；

根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。

7.如权利要求6所述的方法，其特征在于，根据下列公式确定归一化的相似度总值：

$C(k,l)=\underset{i,j\&Element;N(k,l)}{\&Sigma;}\exp \left\{-\frac{\left|\right|P(i,j,r)-P(k,l,r)|{|}_2^2}{{\mathrm{\&sigma;}}_1^2}\right\}\&times;\exp \left\{-\frac{\left|\right|I(i,j,r)-I(k,l,r)|{|}_2^2}{{\mathrm{\&sigma;}}_2^2}\right\};$

根据下列公式确定相似度值：

$W(k,l,i,j)=\frac{1}{C(k,l)}\&times;\exp \left\{-\frac{\left|\right|P(i,j,r)-P(k,l,r)|{|}_2^2}{{\mathrm{\&sigma;}}_1^2}\right\}\&times;\exp \left\{-\frac{\left|\right|I(i,j,r)-I(k,l,r)|{|}_2^2}{{\mathrm{\&sigma;}}_2^2}\right\};$

其中，C(k,l)是归一化的相似度总值；W(k,l,i,j)是(k,l)像素点对应的像素块和(i,j)像素点对应的像素块的相似度值；k是当前像素块对应的像素点的横坐标；l是当前像素块对应的像素点的纵坐标；i是一个其他像素块对应的像素点的横坐标；j是一个其他像素块对应的像素点的纵坐标；r是半径；P(i,j,r)是其他像素块的局部结构描述子；P(k,l,r)是当前像素块的局部结构描述子；I(i,j,r)是其他像素块的局部亮度描述子；I(k,l,r)是当前像素块的局部亮度描述子；σ₁是局部结构描述子对应的权值；σ₂是局部亮度描述子对应的权值；N(k,l)是(k,l)的邻域。

8.如权利要求7所述的方法，其特征在于，所述局部结构描述子对应的权值是根据下列公式确定的：

其中，σ₀是初始值；L是分段函数的长度，step为步长值。

9.如权利要求1～8任一所述的方法，其特征在于，确定当前像素块优化后的中心像素值包括：

针对一个像素块，分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。

10.一种基于非局部性的超分辨率重建设备，其特征在于，该设备包括：

第一处理模块，用于将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；

位置确定模块，用于针对每帧图像中的每个宏块做如下操作：确定当前宏块在其他每一帧图像中的搜索窗口的位置；

第二处理模块，用于以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；

相似度确定模块，用于针对每帧图像中的每个像素块做如下操作：根据当前像素块对应的像素点所在的宏块在其他每一帧图像中的搜索窗口的位置，确定当前像素块在其他每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；

像素值确定模块，用于根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。

11.如权利要求10所述的设备，其特征在于，所述位置确定模块具体用于：

分别确定当前宏块到其他每一帧图像的运动向量；

针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。

12.如权利要求11所述的设备，其特征在于，所述位置确定模块根据下列公式确定当前宏块到其他每一帧图像的运动向量：

$A_1={\underset{i=m+}{\overset{n}{\&Sigma;}}}_1{A}_i(n>m);$

$A_2=\underset{j=x}{\overset{m-1}{\&Sigma;}}{A}_j(x<m);$

其中，当前宏块在第m帧图像上；A₁是当前宏块到第n帧图像的运动向量；A_i是当前宏块在第i-1帧图像上所对应的宏块到第i帧图像的运动向量；A₂是当前宏块到第x帧图像的运动向量；A_j是当前宏块在第j+1帧图像上所对应的宏块到第j帧图像的运动向量。

13.如权利要求12所述的设备，其特征在于，所述位置确定模块具体用于：

确定当前宏块在第i-1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_i；

确定当前宏块在第j+1帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到A_j。

14.如权利要求13所述的设备，其特征在于，所述位置确定模块具体用于：

若第i-1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量；

若第i-1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量；

若第i-1帧图像不是当前宏块所在的图像，将前一帧图像上的宏块的运动向量作为宏块的初始预测向量；

若第j+1帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量；

若第j+1帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量；

若第j+1帧图像不是当前宏块所在的图像，将后一帧图像上的运动向量作为宏块的初始预测向量。

15.如权利要求10所述的设备，其特征在于，所述相似度确定模块具体用于：

分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。

16.如权利要求10～15任一所述的设备，其特征在于，所述像素值确定模块具体用于：

针对一个像素块，分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。