CN102946522B - 基于非局部均值的超分辨率方法和设备 - Google Patents

Abstract

本发明提供一种基于非局部均值的超分辨率方法和设备。该方法包括对原始低分辨率图像进行上采样，得到初始高分辨率图像；对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；确定控制权重的参数，以及根据所述第一欧式距离得到第二欧式距离；根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。本发明实施例可以使得超分辨后的图像保留更多细节，降低运算量。

Description

基于非局部均值的超分辨率方法和设备

技术领域

本发明涉及视频处理技术，尤其涉及一种基于非局部均值的超分辨率方法和设备。

背景技术

视频图像的超分辨率（Super Resolution，SR）技术是指利用一幅或者多幅低分辨率视频图像，通过相应的处理，得到一幅或者多幅高分辨率视频图像的技术。

一般高分辨率图像到低分辨率图像的降质模型如下：

${\{y_t={\mathrm{DHF}}_{t}X+n_t\}}_{t=1}^T$

其中，X为高分辨率图像，y_t为低分辨率图像，D为下采样运算，H为模糊运算，F为变形运动运算，它和运动估计有关，n_t为噪声。

超分辨率技术是上述问题的逆过程，即已知低分辨率图像，要得到高分辨率图像。所以超分辨率技术一般包括运动估计、噪声估计、上采样以及去模糊等技术。

在很多应用场景，例如将标清格式视频转换为高清或超高清格式视频、网络视频应用、医学成像、遥感卫星等领域中，都需要应用超分辨率技术。

现有技术中提供了一种基于非局部均值（Non-local Means，NLM）的超分辨率技术，该技术大体流程如下：对原始低分辨率图像进行上采样；对上采样后的图像进行相似性计算，在相似性计算时是计算当前点所在的当前块与当前点的邻域范围内其他图像块的相似性；根据相似性计算的结果以及控制权重的参数进行权重计算，得到权重，其中，该控制权重的参数对于整个图像是固定的；再根据权重对原始低分辨率图像进行加权累加，得到高分辨率图像。

该方案中，一方面由于采用的控制权重的参数对于整个图像是固定的，会导致图像细节丢失；另一方面，整个邻域内的块都参与运算，这样一些不太相似的点也参与了运算，也会导致细节丢失，同时计算量大。

发明内容

有鉴于此，本发明实施例提供了一种基于非局部均值的超分辨率方法和设备，用以解决现有技术中存在的细节丢失和计算量大的问题。

第一方面，提供了一种基于非局部均值的超分辨率方法，包括：

对原始低分辨率图像进行上采样，得到初始高分辨率图像；

对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

确定控制权重的参数，以及根据所述第一欧式距离得到控制权重的参数以及第二欧式距离；

根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。

结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所述第一欧式距离得到第二欧式距离，包括：

对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者，

对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述确定控制权重的参数，包括：

确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数。

结合第一方面或第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述个数与控制权重参数之间的对应关系满足：所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述确定控制权重的参数，包括：

确定所述当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

结合第一方面或第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述确定所述当前点所在区域的类别，包括：

根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

第二方面，提供了一种基于非局部均值的超分辨率设备，包括：

上采样模块，用于对原始低分辨率图像进行上采样，得到初始高分辨率图像；

相似性计算模块，用于对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

参数控制模块，用于确定控制权重的参数，以及根据所述第一欧式距离得到控制权重的参数以及第二欧式距离；

权重计算模块，用于根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

加权累加模块，用于根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。

结合第二方面，在第二方面的第一种可能的实现方式中，所述参数控制模块包括：

第一单元，用于对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者，对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述参数控制模块包括：

第二单元，用于确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数，所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大；或者，

确定所述当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

结合第二方面或第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述第二单元具体用于：

根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

通过上述技术方案，通过对相似性计算得到的距离进行处理，以及根据该距离得到控制权重的参数，可以保留更多细节以及减少计算量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于非局部均值的超分辨率方法一实施例的流程示意图；

图2为图1对应的结构示意图；

图3为本发明基于非局部均值的超分辨率方法另一实施例的流程示意图；

图4为本发明基于非局部均值的超分辨率方法另一实施例的流程示意图；

图5为本发明基于非局部均值的超分辨率设备一实施例的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明基于非局部均值的超分辨率方法一实施例的流程示意图，参见图1并结合图2，本实施例包括：

步骤11：对原始低分辨率图像进行上采样，得到初始高分辨率图像；

上采样（Up-Scaling）可以利用一般的图像缩放算法，例如，双线性插值、双立方插值等算法，对原始低分辨率图像进行上采样后的图像可以称为初始高分辨图像。

步骤12：对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

对于选取的一个点，该点可以称为当前点，该当前点所在的图像块可以称为当前块。相似性计算时，计算的是该当前点所在的当前块与当前点的邻域范围内其它图像块的相似性，当前块可以是指以当前点为中心的一个矩形块，矩形块的大小可以设定，该邻域范围以及邻域范围内的其它图像也可以设定。

两个图像块之间的相似性可以根据两个图像块之间的欧式距离进行度量，欧式距离的计算可以如下所示：

$D={\left|\right|{\hat{R}}_{k,l}{Z}_t-{\hat{R}}_{i,j}{Z}_t\left|\right|}_2^2$

其中，为初始高分辨率图像上以(k,l)点为中心的一个图像块，是原始高分辨率图像上以(i,j)点为中心的另一个图像块，表示图像中和图像中对应点的像素值相减后的平方和。

本实施例在进行相似性计算得到的第一欧式距离D就是当前块与邻域范围内其它图像块的欧式距离，对应每个其它图像块，可以得到一个第一欧式距离。

步骤13：确定控制权重的参数，以及根据所述第一欧式距离得到第二欧式距离；

可以采用如下方式，根据第一欧式距离D得到第二欧式距离D’：

可选的，对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的第一欧式距离，作为所述第二欧式距离。

可选的，根据所述第一欧式距离，得到所述第一欧式距离的平均值；将小于所述平均值的第一欧式距离，作为所述第二欧式距离。

可选的，控制权重的参数σ可以根据第一欧式距离确定，例如，可以采用如下方式，根据第一欧式距离D得到控制权重的参数σ：

根据欧式距离小于设定阈值的邻域的图像块的个数确定；或者，

可选的，控制权重的参数σ也可以根据当前点所在区域确定。

步骤14：根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

权重的计算公式可以为：

其中，W权重，D'第二欧式距离，σ为控制权重的参数。

步骤15：根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。

加权累加的计算公式可以为：

$\hat{Z}[k,l]=\frac{{\mathrm{\Σ}}_{(i,j)\∈N^L(k,l)}W[k,l,i,j{]y}_t[i,j]}{{\mathrm{\Σ}}_{(i,j)\∈N^L(k,j)}W[k,l,i,j]}$

其中，为当前点(k,l)的超分辨率结果，N^L(k,l)为当前点在低分辨率图像中的对应的邻域范围，(i,j)为低分辨率图像中的对应的邻域中的点，y_t为原始低分辨率图像。

本实施例中，一方面由于采用的控制权重的参数是根据第一欧式距离确定的，并非固定的，可以保留更多的细节；另一方面，只是邻域内的部分图像块参与运算，也就是一些较相似的点参与了运算，可以进一步保留细节，同时降低计算量。

图3为本发明基于非局部均值的超分辨率方法另一实施例的流程示意图，包括：

步骤31：对原始低分辨率图像进行上采样，得到初始高分辨率图像；

步骤32：对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

步骤31~32的具体内容可以参见步骤11~12。

步骤33：对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离，以及确定控制权重的参数；

由于当前块与邻域范围内的其它图像块并不是都很相似，对于NLM，只有那些相似的块才对当前点有贡献，对于那些不太相似的块，即第一欧式距离较大的块，对当前点计算基本没贡献，甚至可能会有副作用，会导致细节丢失，并且邻域内的所有点都参与计算时计算量也很大。

因此本实施例中选择第一欧式距离较小的点，也就是较相似的块，采用这些当前块与较相似的块之间的欧式距离，也就是第二欧式距离进行权重计算。计算公式可以为：

权重的计算公式可以为：

其中，W权重，D'第二欧式距离，σ为控制权重的参数。

权重的计算和σ有比较大的关系，当σ较大时，则权重的变化范围很小，这样相当于对邻域范围内的点的一个平均的作用，这样就会平滑掉细节；而当σ较小时，权重又会变化比较剧烈，这样相当于只有少数块能对结果有贡献，这样也会损失细节。因此，本发明实施例可以根据内容自适应来生成σ，这样能更好的保留细节。对于σ的生成，一种具体的实现方式如下描述：

可以根据邻域范围内的欧氏距离来判断。设定一个欧氏距离的阈值Dis，记当前点的邻域内欧氏距离小于Dis的块的个数为Si_Num，然后根据Si_Num的大小来确定σ，Si_Num越大，σ越小，Si_Num越小，σ越大。具体可以预先建立一个Si_Num与σ之间的关系表，该表满足Si_Num越大，σ越小，Si_Num越小，σ越大，之后在得到Si_Num后，可以通过查找该关系表得到σ。

或者，也可以采用如下方式生成σ：

根据当前点所在位置是平滑区域、细节区域还是边缘区域来生成σ。因为在平滑区域，欧氏距离一般都会比较小，细节区域欧氏距离相对大一些，边缘区域欧氏距离比较大。在平滑区域，使σ最小，细节区域，使σ相对大一些，边缘区域，让σ较大。

具体可以根据图像的梯度幅度信息来判断当前点所在位置是平滑区域、细节区域还是边缘区域。图像的梯度幅度一般可以利用Laplace、Laplaceof Gaussian等其他算子来得到，梯度幅度越小，则可能是平滑区域，σ越小，梯度幅度越大，则该点可能处于细节纹理或者边缘区域，σ越大。这样就能保留更多细节，同时保护边缘。

具体的，可以设置第一阈值和第二阈值，当图像的梯度幅度信息小于第一阈值时，为平滑区域，当图像的梯度幅度信息大于第一阈值且小于第二阈值时，为细节区域，当图像的梯度幅度信息大于第二阈值时，为边缘区域。另外，也可以设置平滑区域、细节区域和边缘区域与σ的对应关系表，该关系表满足：平滑区域对应的σ最小，边缘区域对应的σ最大，细节区域对应的σ位于另外两个区域对应的σ之间，这样当确定出是哪种区域后，根据该关系表可以查到对应的σ。

步骤34：根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

步骤35：根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。

步骤34~35的具体内容可以参见步骤14~15。

本实施例中，一方面由于采用的控制权重的参数是根据第一欧式距离确定的，并非固定的，可以保留更多的细节；另一方面，根据对第一欧式距离排序后得到的较小值的第二欧式距离进行权重计算，使得只是邻域内的部分图像块参与运算，也就是一些较相似的点参与了运算，可以进一步保留细节，同时降低计算量。

图4为本发明基于非局部均值的超分辨率方法另一实施例的流程示意图，包括：

步骤41：对原始低分辨率图像进行上采样，得到初始高分辨率图像；

步骤42：对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

步骤41~42的具体内容可以参见步骤11~12。

步骤43：对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离，以及确定控制权重的参数；

本实施例也是要找到较小的第一欧式距离，以用于后续权重计算，与上一实施例不同的是，上一实施例是根据排序结果得到的，本实施例不需要排序，将小于平均值的第一欧式距离确定为第二欧式距离。

另外，本实施例的σ的确定可以参见上一实施例，根据欧式距离小于设定阈值的邻域的图像块的个数确定，或者，根据当前点所在区域确定。

步骤44：根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

步骤45：根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。

步骤44~45的具体内容可以参见步骤14~15

本实施例中，一方面由于采用的控制权重的参数是根据第一欧式距离确定的，并非固定的，可以保留更多的细节；另一方面，根据对第一欧式距离平均后的小于平均值的第二欧式距离进行权重计算，使得只是邻域内的部分图像块参与运算，也就是一些较相似的点参与了运算，可以进一步保留细节，同时降低计算量。

图5为本发明基于非局部均值的超分辨率设备一实施例的流程示意图，包括上采样模块51、相似性计算模块52、参数控制模块53、权重计算模块54、加权累加模块55；

上采样模块51，用于对原始低分辨率图像进行上采样，得到初始高分辨率图像；

相似性计算模块52，用于对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

参数控制模块53，用于确定控制权重的参数，以及根据所述第一欧式距离得到第二欧式距离；

权重计算模块54，用于根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

加权累加模块55，用于根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像.

可选的，所述参数控制模块包括：

第一单元，用于对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者，对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离。

可选的，所述参数控制模块包括：

第二单元，用于确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数，所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大；或者，

确定所述当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

可选的，所述第二单元具体用于：

根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于非局部均值的超分辨率方法，其特征在于，包括：

对原始低分辨率图像进行上采样，得到初始高分辨率图像；

对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

确定控制权重的参数，以及根据所述第一欧式距离得到第二欧式距离；

根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像；

其中，所述根据所述第一欧式距离得到第二欧式距离，包括：

对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者，

对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离；

所述确定控制权重的参数，包括：

确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数；或者，

确定当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

2.根据权利要求1所述的方法，其特征在于，所述个数与控制权重参数之间的对应关系满足：所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大。

3.根据权利要求1所述的方法，其特征在于，所述确定所述当前点所在区域的类别，包括：

根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

4.一种基于非局部均值的超分辨率设备，其特征在于，包括：

上采样模块，用于对原始低分辨率图像进行上采样，得到初始高分辨率图像；

相似性计算模块，用于对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；

参数控制模块，用于确定控制权重的参数，以及根据所述第一欧式距离得到控制权重的参数以及第二欧式距离；

权重计算模块，用于根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；

加权累加模块，用于根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像；

其中，所述参数控制模块包括：

第一单元，用于对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者，

对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离；

第二单元，用于确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数，所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大；或者，

确定当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。

5.根据权利要求4所述的设备，其特征在于，所述第二单元具体用于：

根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下：平滑区域、细节区域和边缘区域。