CN104376544A - 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于多区域尺度放缩补偿的非局部超分辨率重建方法，根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算法，同时采用一种新的可以补偿尺度差异的方式，最终提升基于多帧融合的超分辨率重建方法的性能。本发明充分考虑了由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相似信息不能很好地匹配的问题。

Description

一种基于多区域尺度放缩补偿的非局部超分辨率重建方法

技术领域

本发明属于图像超分辨率重建领域，具体涉及一种基于不同区域的多尺度变化的放缩尺度补偿的非局部平均超分辨率重建方法。可以灵活应用于高端多媒体系统的视频信号格式转换、视频监控感兴趣区域放大以及卫星、遥感等领域。

背景技术

图像的超分辨率重建就是克服成像设备或技术的限制，从单帧低分辨率图像或低分辨率图像序列重建一个高分辨率图像。基于重建的超分辨率旨在从多个低分辨率图像重建一个高分辨率图像。观察到这些低分辨率图像是模糊且有噪声的，因此超分辨率重建不仅仅需要提高图片的分辨率，还需要恢复图片的质量。

基于多帧的超分辨率重建的关键是把一系列的低分辨率图像融合成一幅高分辨率图像。其有效性基于多个相邻帧的低分辨率图像中包含相互补充的信息的假设。利用这些信息，我们可以生成一副较高分辨率的图像。多帧融合技术的关键在于从邻域内得到的互补信息的精确度与质量。传统的多帧融合算法往往追求更精确的运动估计以提高获取信息的位置精确度。但存在一些不可避免区域的无法进行精确估计（如因遮挡而使得部分区域在某一帧中不存在），这将会大大损害复原图像的质量。

许多研究人员专注于提高运动估计，以得到更准确的位置的冗余信息。正确的运动估计直接保证了精度，但因为场景的复杂性，也有不可避免的运动估计错误。Potter提出了一个NLM SR方法（M.Potter,M.Elad,H.Takeda,and P.Milanfar,“Generalizing thenonlocal-means to super-resolution reconstruction,”IEEE Transactions on ImageProcessing,vol.19,no.1,pp.36–51,January2009.），这种算法估计邻域内图像块的相似性反映可能的运动估计的结果，最终的运动估计结果则通过许多可能的运动结果加权平均得到从而避免严重的错误。之后基于这种方法也有了很多的相关的延伸跟拓展，但是并没有考虑到由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相似信息不能很好地匹配的问题。

针对上述问题和相关方法的缺陷，我们提出了一个基于多区域尺度放缩补偿的非局部超分辨率重建方法。

发明内容

基于上述分析，本发明的目的在于提出一种基于多区域尺度放缩补偿的非局部超分辨率重建方法，根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算法，同时采用一种新的可以补偿尺度差异的方式，最终提升基于多帧融合的超分辨率重建方法的性能。

为实现以上目的，本发明采用的技术方案包括以下步骤：

一种基于多区域尺度放缩补偿的非局部超分辨率重建方法，其步骤包括：

1）对输入序列中的每一帧采用空域差值法，把原始低分辨率图像上插到设定分辨率的高分辨率图像，得到高分辨率图像；

2）对输入序列中的每一帧对应的高分辨率图像根据SIFT算法在参考帧和待修复帧提取得到特征点以及对应的相邻帧的特征点，得到特征对应对；

3）采用加权卢卡斯金算法对所述特征对应对进行计算得到局部参数模型；

4）根据所述局部参数模型的边缘信息为每个局部参数模型提取支持区域，得到每张图像的支持区域划分图；

5）对于输入序列的任意帧中根据所述支持区域划分图划分的不同区域，根据SIFT算法计算得到待修复帧和参考帧中每个域中相邻帧的对应区域的尺度差异；

6）对于输入序列中的所述参考帧图像以及对应高分辨率图像的每一个像素块，根据所述尺度差异将参考帧的块调整至待修复帧的块的尺度；

7）计算所述参考帧图像中的每个像素点所对应的块与相邻帧或同帧周围参考块的相似度；根据该相似度把每一个块的中心像素值加权平均，得到所述参考块的中心像素值，所述中心像素值即为该帧的对应像素点的像素值；根据该帧所有像素点的像素值得到该帧对应的高分辨率图像。

更进一步，还包括：对每一帧图像重复所述步骤4）-6），得到连续帧的像素值，根据每帧图像的像素值得到整个视频串的高分辨率图像。

更进一步，所述空域差值法采用如下的任意一种：双线性插值或者双三次线性插值或者最临近像素插值。

更进一步，用颜色进行区分所述每张图像的的支持区域划分图，其中相同颜色代表所述区域内所有像素点共享相同仿射参数，不相同颜色则表示在该两个区域内的像素点的放射参数不同。

更进一步，所述边缘信息采用Canny探测器检测。

更进一步，根据边缘信息和置信图为每一对特征点提取所述支持区域。

更进一步，使用一个球形而不是单个像素来执行置信图中的运动区域搜索同时对于提取的运动区域以一个结构元素对象为参数先腐蚀后膨胀，在不破坏运动边界的条件下填补运动领域的洞得到最终的划分图。

更进一步，将所述每一帧按照X,Y两个方向分别上插到原先的设定大小的放大倍数。

更进一步，对所述特征对应对使用非局部方法生产掩膜，根据窗口内的每个像素与中心像素的相似性得到权重。

更进一步，采用加权的仿射模型描述所述局部参数模型中的局部光流得到局部仿射参数。

本发明的有益效果：

本发明根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算法，同时采用一种新的可以补偿尺度差异的方式，最终提升基于多帧融合的超分辨率重建方法的性能。本发明考虑到了由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相似信息的情况，计算尺度差异时采用Scale-Invariant Feature Transform(SIFT)算子来提取特征点并加以利用来提取尺度信息。在度量块相似度时，根据尺度信息先对块进行下采上插的插值调整，从而进一步提升了相似度计算的准确性。

附图说明

图1为本发明的基于多区域尺度放缩补偿的非局部超分辨率重建方法流程示意图。

具体实施方式

下面以视频序列中某一帧进行2倍放大的超分辨率重建问题为例，对本发明的详细方法流程作进一步地描述：

在本发明的具体实施方式中，可以按照如下方案实现本发明：

（1）对于输入序列中的每一帧，用空域插值方法，把原始的低分辨率图像上插到需要的高分辨率图像；

（2）对于每一帧高分辨率图像检测特征点及其对应的相邻帧的高分辨率图像的特征点，对每一对特征点利用加权卢卡斯金算法计算出局部参数模型；

（3）基于参数模型的边缘信息为每个局部参数模型提取支持区域，得到每张图像的支持区域图并用颜色进行区分，其中相同颜色代表该区域内所有像素点共享相同的仿射参数，不相同颜色表示在这两个区域内的像素点的放射参数不同；

（4）对于输入序列中的某一帧的不同区域，通过加权平均的算法，计算其与相邻帧的对应区域的尺度差异；

（5）对于输入序列中该帧图像的每个像素块，将来自于相邻帧一定相邻区域的块调整至待复原帧块的尺度；

（6）然后，计算该帧图像中的每个像素点所对应的块与相临帧或同帧周围参考块的相似度；根据相似度，把每一个块的中心像素值加权平均，得到参考块的中心像素值；得到的参考块的中心像素值就是超分辨率之后得到的这个点的像素值。

（7）对于每一帧图像的重复(4)到(6)步骤，从而最终实现了基于多帧融合的超分辨率重建方案。

以下结合结合附图对本发明的技术方案进行详细的说明，如图1所示是本发明的基于多区域尺度放缩补偿的非局部超分辨率重建方法流程示意图。

步骤(1)对于输入的视频序列，采用双线性插值或者双三次线性插值或者最临近像素插值，把每一帧的X,Y两个方向分别上插到原先的两倍大小。

步骤(2)使用SIFT在参考帧和待修复帧对应的高分辨率图像提取特征点，然后根据SIFT匹配这些点，参考帧是其他相邻提供信息的帧。

步骤(3)使用非局部方法（M.Potter,M.Elad,H.Takeda,and P.Milanfar,“Generalizing the nonlocal-means to super-resolution reconstruction,”IEEE Transactions on Image Processing,vol.19,no.1,pp.36–51,January2009.）生产掩膜，对于窗口内的每个像素(i,j),它的权重weight(i,j,k,l)由其与中心像素(k,l)的相似性来衡量。

$\mathrm{weight}(i,j,k,l)=\frac{1}{C(k,l)}\exp \{-\frac{{\left|\right|R_{i,j}Y-R_{k,l}\left|\right|}_{2,a}^2}{{2\mathrm{\σ}}^2}\}---\left(1\right)$

其中R_i,j，R_k,l代表一个算子，它可以从一张图中提取出一个固定的现已决定大小(q×q)的图像块并且得到一个长度为q²的矢量，σ是一个平滑的参数控制两个不同的图像块之间的灰度级差异的影响，Y是图片，a是高斯核的标准差，C(k,l)是归一化常数，即为

$C(k,l)=\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}\exp \{-\frac{{\left|\right|R_{i,j}Y-R_{k,l}\left|\right|}_{2,a}^2}{{2\mathrm{\σ}}^2}\}---\left(2\right)$

步骤(4)使用加权的仿射模型来描述局部光流，仿射模型包含了六个未知的变量，由Lucas-Kanade算法计算下式仿射模型（3）使下式加权卢卡斯金算法（4）最小化。

$T=\left[\begin{array}{ccc}1+p_1& p_3& p_5\\ p_2& 1+p_4& p_6\\ 0& 0& 1\end{array}\right]---\left(3\right)$

$\underset{x}{\mathrm{\Σ}}\mathrm{weight}\left(x\right)[H^r\left(T_{i}x\right)-H^c\left(x\right)],x\∈N\left(f_i^c\right)---\left(4\right)$

其中，H^r和H^c为待复原帧和参考帧，是参考帧中的一个已匹配的特征点，是这个点的邻域，是待复原帧中的一个已匹配的特征点，是这个点的领域，weight(x)是由非局部均值方法计算得到的权重，T是局部仿射参数

步骤(5)有了特征对应对局部仿射参数和由Canny探测器检测出来的边缘，使用置信图C_i为每一对特征点提取支持地区，这意味着在一个支持地区的所有像素共享相同的仿射参数。初始化置信图，如下式（5）。

$C_i=\left\{\begin{array}{c}1,\left|B_k(H^r\left(T_{i}x\right)-H^c\left(x\right))\right|<{\mathrm{\&eta;}}_c\\ 0,\left|B_k(H^r\left(T_{i}x\right)-H^c\left(x\right))\right|{\mathrm{\&eta;}}_c\end{array}\right.---\left(5\right)$

其中η_c是一个事先定义好的临界值，T_i表示特征点对对应的仿射参数，B_k表示第k帧高分辨率图像。

步骤(6)使用一个球而不是单个像素来执行运动区域搜索（S.Zhang,T.Chen,Y.Zhang,S.Hu and R.Martin,“Vectorizing Cartoon Animations,”IEEE Trans.on Visualization and ComputerGraphics,vol.15,no.4,pp.618-629,July2009.）。起初，球有一个大的半径，然后当它不能再移动的时候它的半径也变小。最后只有由边缘点封闭的区域被留下。注意要按优先级顺序搜索这些地区。

步骤(7)对于提取的运动区域以一个结构元素对象SE=strel("arbitrary",eye(5))为参数先腐蚀后膨胀，在不破坏运动边界的条件下填补运动领域的洞优化划分图，从而得到最终的划分图。

步骤(8)对于输入序列的每一帧的每一个区域，用SIFT计算得到的特征信息进行加权平均并进行匹配。根据如下公式进行计算：

$s_{t,p}=\frac{1}{N_{M_p}}\&CenterDot;\left({\mathrm{\&Sigma;}}_{i\&Element;M_p}\frac{s_{r,p}\left(i\right)}{s_{c,p}\left(i\right)}\right)---\left(6\right)$

其中，M_p为区域内匹配上的点对集合，s_r,p,s_c,p为待复原帧与参考帧的对应区域中特征点的尺度信息，即s_t,p为所有匹配上的点在两帧的对应区域中尺度差异的平均值，作为两帧图像的尺度差异值。

步骤(9)对于待复原帧的每一个区域的每一个像素，有了其与相邻帧对应区域的尺度差异后，我们依照如下操作来获得每一个经过尺度补偿的块：

M_pP(i,j,t,p)=I(s_t,p)R(s_t,p,i,j)y_t,p   （7）

其中，y_t,p为第t个参考帧第p个区域，R(s_t,p,i,j)指对其进行的以(i,j)为中心点的取尺度为s_t,p的块。I(s_t,p)则指对块进行双线性插值操作使其尺度与待复原帧相同。经过上述操作后原本位于不同尺度的相似块便被转化到同一尺度下。

步骤(10)得到修正后的块后，计算出每一个待复原块与参考块的相似度，以该相似度为权值，把每一个块的中心像素值加权平均，得到参考块的中心像素值。

对于任意点(k,l)，有：

$\mathrm{Res}(k,l)=\frac{{\mathrm{\&Sigma;}}_{t\&Element;[1,...,]}{\mathrm{\&Sigma;}}_{(i,j)\&Element;N(k,l)}w(k,l,i,j,t)y_{t,p}(i,j)}{{\mathrm{\&Sigma;}}_{t\&Element;[1,...,T]}{\mathrm{\&Sigma;}}_{(i,j)\&Element;N(k,l)}w(k,l,i,j,t)}---\left(8\right)$

其中Res(k,l)为该点最终复原结果，得到的方法就是对所有处在待复原帧(k,l)点邻域的点y_t(i,j)进行加权平均得到的。

具体地，w(k,l,i,j,t)按照如下公式进行计算：

$w(k,l,i,j,t)=\exp \{-\frac{{\left|\right|R(1,k,l)Y_r-I\left(s_{t,p}\right)R(s_{t,p}i,j)y_{t,p}\left|\right|}_2^2}{2{\mathrm{\&sigma;}}^2}\}---\left(9\right)$

其中Y_r是由简单插值得到的高分辨率待复原帧图像，而y_t指的是第t帧参考帧低分辨率图像。又由于我们之前已经对参考帧图像进行了预处理（步骤9），所以权值计算公式可以被化简为：

$w(k,l,i,j,t)=\exp \{-\frac{{\left|\right|R(1,k,l)Y_r-\mathrm{MP}(i,j,t)\left|\right|}_2^2}{2{\mathrm{\&sigma;}}^2}\}---\left(10\right)$

根据以上方法我们便可以得到图像任意一点的复原结果，也就从而复原了超分辨率的原始图像。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多区域尺度放缩补偿的非局部超分辨率重建方法，其步骤包括：

1）对输入序列中的每一帧采用空域差值法，把原始低分辨率图像上插到设定分辨率的高分辨率图像，得到高分辨率图像；

2）对输入序列中的每一帧对应的高分辨率图像根据SIFT算法在参考帧和待修复帧提取得到特征点以及对应的相邻帧的特征点，得到特征对应对；

3）采用加权卢卡斯金算法对所述特征对应对进行计算得到局部参数模型；

4）根据所述局部参数模型的边缘信息为每个局部参数模型提取支持区域，得到每张图像的支持区域划分图；

5）对于输入序列的任意帧中根据所述支持区域划分图划分的不同区域，根据SIFT算法计算得到待修复帧和参考帧中每个区域和相邻帧的对应区域的尺度差异；

6）对于输入序列中的所述参考帧图像以及对应高分辨率图像的每一个像素块，根据所述尺度差异将参考帧的块调整至待修复帧的块的尺度；

7）计算所述参考帧图像中的每个像素点所对应的块与相邻帧或同帧周围参考块的相似度；根据该相似度把每一个块的中心像素值加权平均，得到所述参考块的中心像素值，所述中心像素值即为该帧的对应像素点的像素值；根据该帧所有像素点的像素值得到该帧对应的高分辨率图像。

2.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，还包括：对每一帧图像重复所述步骤4）-6），得到连续帧的像素值，根据每帧图像的像素值得到整个视频串的高分辨率图像。

3.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，所述空域差值法采用如下的任意一种：双线性插值或者双三次线性插值或者最临近像素插值。

4.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，用颜色进行区分所述每张图像的支持区域划分图，其中相同颜色代表所述区域内所有像素点共享相同仿射参数，不相同颜色则表示在该两个区域内的像素点的放射参数不同。

5.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，所述边缘信息采用Canny探测器检测。

6.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，根据边缘信息和置信图为每一对特征点提取所述支持区域。

7.如权利要求6所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，使用一个球形而不是单个像素来执行置信图中的运动区域搜索，同时对于提取的运动区域以一个结构元素对象为参数先腐蚀后膨胀，在不破坏运动边界的条件下填补运动领域的洞得到最终的划分图。

8.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，将所述每一帧按照X,Y两个方向分别上插到原先的设定大小的放大倍数。

9.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，对所述特征对应对使用非局部方法生产掩膜，根据窗口内的每个像素与中心像素的相似性得到权重。

10.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征在于，采用加权的仿射模型描述所述局部参数模型中的局部光流得到局部仿射参数。