CN104182931B - 超分辨率方法和装置 - Google Patents

Abstract

本发明提供了一种超分辨率方法和装置，该方法包括：获取低分辨率图像序列；依次提取所述低分辨率图像序列当前帧中的目标块及所述目标块的候选块；计算各候选块与所述目标块的灰度相似度和结构相似度；根据所述灰度相似度和结构相似度，确定所述候选块的权值；对各候选块中心点的像素值进行加权平均，并将得到的加权平均值作为所述目标块的中心点的图像值。利用本发明，可以避免光照影响，获得效果较好的高分辨率图像。

Description

超分辨率方法和装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种超分辨率方法和装置。

背景技术

超分辨率即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。

获得准确的运动估计对于传统多帧融合超分辨率方法非常重要，但是，因为很多自然图像中包含局部运动，有些时候很难获得准确的运动估计，所以多帧融合的超分辨率方法的应用场景受到了较大的限制。

为了解决这个问题，以非局部性均值去噪方法为基础，业界提出了非局部性均值超分辨方法，通过赋予相邻块合理的权值从而恢复参考块的中心点，非局部性均值超分辨方法可以不需要进行运动估计即获得较高品质的高分辨图像。

非局部性均值超分辨方法的核心在于找到尽可能多的相似块，并且使相似块具有较高的权值。为此，业界提出了一种超分辨率重建方法。所述超分辨率重建就是通过一系列低分辨率的图像来得到一幅高分辨率的图像过程，其核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。

现有的超分辨率重建方法通过使用动态的搜索机制，合理地选择块和搜索窗口的大小，更精确地衡量块之间的相似性，并且利用了搜索窗口重定位和具有旋转不变性的相似性度量的方法，使得该方法可以找到更多的相似块，相比于传统的非局部性均值超分辨方法有更好的恢复效果。

无论是传统的非局部性均值超分辨方法还是现有的超分辨率重建方法，都使用了候选块和参考块的灰度差异作为衡量相似性的重要指标，而事实上，图像的灰度非常容易被光照影响，在复杂的光照条件下，临近帧的同一景物的灰度差异也可能非常大，在这种情况下，由于不能找到相似的块或者块的权值度量不准确，上述方法的性能都会受到很大的影响。

发明内容

本发明提供一种超分辨率方法和装置，以避免光照影响，在复杂的光照条件下相对准确地衡量块之间的相似性，进而获得效果较好的高分辨率图像。

为此，本发明实施例提供如下技术方案：

一种超分辨率方法，包括：

获取低分辨率图像序列；

依次提取所述低分辨率图像序列当前帧中的目标块及所述目标块的候选块；

计算各候选块与所述目标块的灰度相似度和结构相似度；

根据所述灰度相似度和结构相似度，确定所述候选块的权值；

对各候选块中心点的像素值进行加权平均，并将得到的加权平均值作为所述目标块的中心点的图像值。

优选地，所述提取当前帧中的目标块包括：以所述当前帧中每个点为中心提取目标块；

所述提取所述目标块的候选块包括：以当前帧及其前一帧和后一帧中的每个点为中心提取所述目标块的候选块。

优选地，所述计算各候选块与所述目标块的灰度相似度包括：

其中，

其中：

(k,l)为目标块的中心点坐标，R_k,l为目标块；

(i,j)是候选块的中心点坐标，R_i,j为候选块；

w_int(k,l,i,j)是候选块与目标块的灰度相似度；

Y_t表示经过插值后得到的序列中的第t帧；

σ₁是预设的平滑系数。

优选地，所述计算各候选块与所述目标块的结构相似度包括：

其中，

其中：

w_str(k,l,i,j)是候选块与目标块的结构相似度；

D_k,l是以(k,l)为中心点的目标块的结构信息描述子；

D_i,j是以(i,j)为中心点的候选块的结构信息描述子；

σ₂是预设的平滑系数。

优选地，所述方法还包括：

按以下方式确定所述候选块或目标块的结构信息描述子：

以所述候选块或目标块的中心点为中心建立一个方形区域；

将此方形区域分为4*4个子区域；

确定每个子区域的水平方向Haar小波dx，垂直方向的Haar小波dy；

统计每个子区域的∑dx，∑dy，∑|dx|，∑|dy|，得到一个4*4*4维的向量；

将所述4*4*4维的向量转化为单位向量，获得所述候选块或目标块的局部信息描述子。

优选地，所述根据所述灰度相似度和结构相似度，确定所述候选块的权值包括：

所述候选块的权值为：其中，

β为灰度权重系数。

优选地，所述方法还包括：

在依次提取所述图像序列各帧中的目标块及所述目标块的候选块之前，基于搜索窗口调整所述图像序列中帧与帧之间的对比度。

优选地，所述方法还包括：

在基于搜索窗口调整所述图像序列中帧与帧之间的对比度之前，对所述图像序列进行插值处理。

一种超分辨率装置，包括：

图像序列获取单元，用于获取低分辨率图像序列；

提取单元，用于依次提取所述低分辨率图像序列当前帧中的目标块及所述目标块的候选块；

计算单元，用于计算各候选块与所述目标块的灰度相似度和结构相似度；

权值确定单元，用于根据所述灰度相似度和结构相似度，确定所述候选块的权值；

图像恢复单元，用于对各候选块中心点的像素值进行加权平均，并将得到的加权平均值作为所述目标块的中心点的图像值。

优选地，所述提取单元，具体用于以所述当前帧中每个点为中心提取目标块，以当前帧及其前一帧和后一帧中的每个点为中心提取所述目标块的候选块。

优选地，所述权值确定单元，具体用于按以下公式确定所述候选块的权值：

其中，

w_str(k,l,i,j)是候选块与目标块的结构相似度；

w_int(k,l,i,j)是候选块与目标块的灰度相似度；

β为灰度权重系数。

优选地，所述装置还包括：

对比度调整单元，用于在所述提取单元依次提取所述图像序列各帧中的目标块及所述目标块的候选块之前，基于搜索窗口调整所述图像序列中帧与帧之间的对比度。

优选地，所述装置还包括：

插值处理单元，用于在所述对比度调整单元基于搜索窗口调整所述图像序列中帧与帧之间的对比度之前，对所述图像序列进行插值处理。

本发明提供的超分辨率方法和装置，通过调整帧与帧之间的对比度，并且合理地选择候选帧，可以找到更多的相似块。因为图像局部结构信息即使在复杂的光照条件下仍然比较稳定，所以本发明考虑了块之间的结构相似性，通过将灰度相似性和结构相似性合理地结合，并赋予每项合理的权重，能够在复杂的光照条件下相对准确地衡量块之间的相似性，进而获得效果较好的高分辨率图像。

附图说明

图1是本发明实施例超分辨率方法的流程图；

图2是本发明实施例超分辨率装置的一种结构示意图；

图3是本发明实施例超分辨率装置的另一种结构示意图；

图4是本发明实施例超分辨率装置的另一种结构示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

由于现有技术中基于非局部性均值的相关方法不适用于复杂光照环境的原因是因为直接使用了图像的灰度信息衡量块的相似性，为此，本发明实施例提供一种超分辨率方法和装置，不直接使用灰度信息，而是使用进行过修正后的灰度信息和图像的结构信息来衡量块的相似性，从而可以适用于复杂的光照环境，能够在复杂的光照条件下相对准确地衡量块之间的相似性，进而获得效果较好的高分辨率图像。

如图1所示，是本发明实施例超分辨率方法的流程图，包括以下步骤：

步骤101，获取图像序列。

步骤102，依次提取所述图像序列各帧中的目标块及所述目标块的候选块。

需要说明的是，在提取所述图像序列各帧中的目标块及所述目标块的候选块之前，还可以首先对所述图像序列进行插值处理，以得到高分辨率的图像。具体地，可以采用双线性插值方法等。

另外，为了更好地度量块的相似度，在实际应用中，还可以在步骤101和步骤102之间包括以下步骤：基于搜索窗口调整所述图像序列中帧与帧之间的对比度，以使帧与帧之间的灰度值相似。

由于NLM(高噪声改进)算法必须依赖准确的相似性度才能产生比较好的恢复结果，因此，在本发明实施例中，调整帧与帧之间的对比度，从而使帧之间的灰度值相似，以便更好地度量块的相似性。

在本发明实施例中，可以在当前帧中，以每个点为中心提取目标块。相应地，以当前帧及其前一帧和后一帧中的每个点为中心提取所述目标块的候选块。

步骤103，计算各候选块与所述目标块的灰度相似度和结构相似度。

在本发明实施例中，可以按以下公式计算候选块与目标块的灰度相似度w_int：

其中，(k,l)是目标块的中心点坐标，(i,j)是候选块的中心点坐标。

d_int的计算如下：

其中，F_histw表示对图像做基于搜索窗口的直方图均衡化，R_k,l表示从图像中提取出以(k,l)为中心点的目标块，Y_t表示经过插值后得到的序列中的第t帧。

C₁(k,l)的计算如下：

其中，σ₁为平滑系数，负责调整参数权重，使其在0-1之间尽量均匀分布。

本发明对经典的SURF(Speeded-Up Robust Feature)局部特征描述子进行了简化，从而获得图像的局部结构信息描述子，主要过程如下：

以块的中心点为中心建立一个方形区域；

将此方形区域分为4*4个子区域；

计算每个子区域的水平方向Haar小波dx，垂直方向的Haar小波dy；

统计每个子区域的∑dx，∑dy，∑|dx|，∑|dy|；

得到一个4*4*4维的向量，并把它转化为单位向量从而获得图像的局部信息描述子。

不同方向的Haar小波包含了重要的图像局部的结构信息，同时，将向量转换为单位向量可以避免序列光照变化带来的影响。

为此，本发明实施例中可以如下定义候选块与目标块的结构相似度w_str：

其中，D_k,l表示以(k,l)为中心点的目标块的结构信息描述子，D_i,j是以(i,j)为中心点的候选块的结构信息描述子，σ₂为一个平滑系数，负责调整参数权重，使其在0-1之间尽量均匀分布；

步骤104，根据所述灰度相似度和结构相似度，确定所述候选块的权值。

选取合适的参数将结构相似度和灰度相似度结合，获得目标块和候选块之间的光照不变性的相似度度量，即候选块的权值。

具体地，本发明实施例将具有光照不变性的相似度度量即所述候选块的权值定义如下：

其中参数β用来平衡结构相似度和灰度相似度的权重，w_int,w_str如公式(1)(4)所述，C₃(k,l)定义如下：

正如上文所提及的，当搜索窗口中包含前景和背景的物体时，光照调整很可能带来误差，在这种情况下，应该增大结构相似度的权重，减小灰度相似度的权重。经过实验发现，d_int很小的块大多数属于上述情况，所以本发明实施例根据d_int决定参数β的值，如下所示：

其中d_int的定义如上述公式(2)所示。

步骤105，对各候选块中心点的像素值进行加权平均，并将得到的加权平均值作为所述目标块的中心点的图像值。

对于任意点(k,l)，有：

其中，Res(k,l)为该点最终复原结果，t为参考帧，N(k,l)为图像中(k.l)点的邻域(实际应用中取值为以(k,l)为中心21*21像素的邻域)，[1….T]为输入的经过插值的图像序列。

经过上述过程，便可以得到图像中任意一点的复原结果，从而复原了超分辨率的原始图像。

在实际应用中，以图像中每帧图像上每个点为中心取目标块，按照上述过程恢复目标块中心点的图像值，即可获得高分辨率图像；将视频序列中每帧图像按照上述方法处理，即可获得高分辨率的视频序列。

下面以视频序列中某一帧进行3倍放大的超分辨率重建问题为例，对本发明实施例的方法作进一步地详细描述。

步骤一：预处理

对于输入的视频序列，采用双线性插值方法，将每一帧的两个方向上分别插到原先的三倍大小。

步骤二：对候选块和目标块进行灰度相似度的度量

本发明实施例的超分辨率方法，通过调整帧与帧之间的对比度，使得帧与帧之间有相似的视觉效果，从而解决光照带来的影响，充分利用了灰度信息。进一步地，本发明实施例的超分辨率方法，采用直方图均衡化调整帧间的对比度。本发明采用基于搜索窗口尺度的调整，它可以适应局部的光照变化，同时也包含足够多的像素点。

因为图像的前景和背景即使在相同的光照条件下也会有不同的反射效果，所以当搜索窗口包含前景和背景物体时，直方图均衡化调整很可能带来较大的误差。在这种情况下，本发明实施例的方法并不是简单地选取经过调整的块作为候选块，而是经过如上述公式(2)的处理，从而可以使本发明实施例的方法适用于稳定光照条件下的视频序列。

候选块与目标块之间的灰度相似度w_int的计算参照上述公式(1)。

步骤三：对候选块和目标块进行结构相似度的度量

候选块与目标块之间的结构相似度w_str的计算可参照上述公式(4)。

步骤四：对候选块和目标块具有光照不变性的相似度度量

本发明实施例通过将灰度相似度和结构相似度结合从而获得具有光照不变性的相似度度量。具体计算公式可参照上述公式(6)。

步骤五：超分辨图像恢复

得到候选块的权值后，将每一个候选块的中心像素值加权平均，得到目标块的中心像素值。

通过上述过程，可以得到图像任意一点的复原结果，从而复原了超分辨率的原始图像。

通过实验表明，利用本发明实施例的超分辨率方法，得到的图像相比于现有技术中非局部均值超分辨率方法得到的图像不仅更为平滑，而且保留了较多细节。

相应地，本发明实施例还提供一种超分辨率装置，如图2所示，是该装置的一种结构示意图。

在该实施例中，所述装置包括：

图像序列获取单元201，用于获取低分辨率图像序列；

提取单元202，用于依次提取所述低分辨率图像序列当前帧中的目标块及所述目标块的候选块；

计算单元203，用于计算各候选块与所述目标块的灰度相似度和结构相似度；

权值确定单元204，用于根据所述灰度相似度和结构相似度，确定所述候选块的权值；

图像恢复单元205，用于对各候选块中心点的像素值进行加权平均，并将得到的加权平均值作为所述目标块的中心点的图像值。具体加权平均的计算过程可参照前面本发明实施例的方法中的描述。

在该实施例中，提取单元202具体可以以所述当前帧中每个点为中心提取目标块，以当前帧及其前一帧和后一帧中的每个点为中心提取所述目标块的候选块。

另外，计算单元203计算各候选块与所述目标块的灰度相似度和结构相似度，以及权值确定单元204确定所述候选块的权值的过程可以参照前面本发明实施例的方法中的描述，在此不再赘述。

如图3所示，是本发明实施例超分辨率装置的另一种结构示意图。

与图2所示实施例不同的是，在该实施例中，所述装置还进一步包括：

对比度调整单元401，用于在所述提取单元202依次提取所述图像序列各帧中的目标块及所述目标块的候选块之前，基于搜索窗口调整所述图像序列中帧与帧之间的对比度。

如图4所示，是本发明实施例超分辨率装置的另一种结构示意图。

与图3所示实施例不同的是，在该实施例中，所述装置还进一步包括：

插值处理单元501，用于在所述对比度调整单元401基于搜索窗口调整所述图像序列中帧与帧之间的对比度之前，对所述图像序列进行插值处理。

利用本发明实施例的超分辨率装置，得到的图像相比于现有技术中非局部均值超分辨率方法得到的图像不仅更为平滑，而且保留了较多细节。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种超分辨率方法，其特征在于，包括：

获取低分辨率图像序列；

对所述低分辨图像序列进行插值处理；

基于搜索窗口调整所述低分辨率图像序列中帧与帧之间的对比度；

依次以所述低分辨率图像序列当前帧中每个点为中心提取所述当前帧的目标块及以所述当前帧及其前一帧和后一帧中的每个点为中心提取所述目标块的候选块；

计算各候选块与所述目标块的灰度相似度和结构相似度；

根据所述灰度相似度和结构相似度，确定所述候选块的权值；

对各候选块中心点的像素值进行加权平均，并将得到的加权平均值作为所述目标块的中心点的图像值。

2.根据权利要求1所述的方法，其特征在于，所述计算各候选块与所述目标块的灰度相似度包括：

其中，

$d_{\mathrm{int}}(k,l,i,j)=min\left(\right||R_{k,l}{Y}_t-R_{i,j}{Y}_{t^{\′}}|{|}_2^2,\left|\right|R_{k,l}{Y}_t-R_{i,j}{F}_{histw}\left(Y_{t^{\′}}\right)\left|{|}_2^2\right),$

$C_1(k,l)=\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}\exp \{-\frac{d_{\mathrm{int}}(k,l,i,j)}{2{\mathrm{\σ}}_1^2}\},$

其中：

(k,l)为目标块的中心点坐标，R_k,l为目标块；

(i,j)是候选块的中心点坐标，R_i,j为候选块；

w_int(k,l,i,j)是候选块与目标块的灰度相似度；

Y_t表示经过插值后得到的序列中的第t帧；

σ₁是预设的平滑系数；

F_histw表示对图像做基于搜索窗口的直方图均衡化；

N(k,l)为图像中(k.l)点的邻域。

3.根据权利要求2所述的方法，其特征在于，所述计算各候选块与所述目标块的结构相似度包括：

其中，

$C_2(k,l)=\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}\exp \{-\frac{\left|\right|D_{k,l}-D_{i,j}|{|}_2^2}{2{\mathrm{\σ}}_2^2}\},$

其中：

w_str(k,l,i,j)是候选块与目标块的结构相似度；

D_k,l是以(k,l)为中心点的目标块的结构信息描述子；

D_i,j是以(i,j)为中心点的候选块的结构信息描述子；

σ₂是预设的平滑系数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

按以下方式确定所述候选块或目标块的结构信息描述子：

以所述候选块或目标块的中心点为中心建立一个方形区域；

将此方形区域分为4*4个子区域；

确定每个子区域的水平方向Haar小波dx，垂直方向的Haar小波dy；

统计每个子区域的∑dx，∑dy，∑|dx|，∑|dy|，得到一个4*4*4维的向量；

将所述4*4*4维的向量转化为单位向量，获得所述候选块或目标块的局部信息描述子。

5.根据权利要求3所述的方法，其特征在于，所述根据所述灰度相似度和结构相似度，确定所述候选块的权值包括：

所述候选块的权值为：其中，

$C_3(k,l)=\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}\left(w_{str}\right(k,l,i,j)+{\mathrm{\βw}}_{\mathrm{int}}(k,l,i,j\left)\right),$

β为灰度权重系数。

6.一种超分辨率装置，其特征在于，包括：

图像序列获取单元，用于获取低分辨率图像序列；

插值处理单元，用于对所述低分辨率图像序列进行插值处理；

对比度调整单元，用于基于搜索窗口调整所述低分辨率图像序列中帧与帧之间的对比度；提取单元，用于依次以所述低分辨率图像序列当前帧中每个点为中心提取所述当前帧的目标块及以所述当前帧及其前一帧和后一帧中的每个点为中心提取所述目标块的候选块；

计算单元，用于计算各候选块与所述目标块的灰度相似度和结构相似度；

权值确定单元，用于根据所述灰度相似度和结构相似度，确定所述候选块的权值；

图像恢复单元，用于对各候选块中心点的像素值进行加权平均，并将得到的加权平均值作为所述目标块的中心点的图像值。

7.根据权利要求6所述的装置，其特征在于，

所述权值确定单元，具体用于按以下公式确定所述候选块的权值：

其中，

w_str(k,l,i,j)是候选块与目标块的结构相似度；

w_int(k,l,i,j)是候选块与目标块的灰度相似度；

$C_3(k,l)=\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}\left(w_{str}\right(k,l,i,j)+{\mathrm{\βw}}_{\mathrm{int}}(k,l,i,j\left)\right),$

β为灰度权重系数；

(k,l)为目标块的中心点坐标；

(i,j)是候选块的中心点坐标。