CN110930304B - 基于全尺度质量总和的图像集超分辨率自适应阈值选取方法 - Google Patents

Abstract

在图像超分辨率处理研究领域，对于任意倍增比的超分辨率研究仍然鲜见相应的成果。在高倍增比下，图像清晰度变得过低，肉眼已难以识别图像的内容，但是随着技术的进步，机器却可以自动识别清晰度不高的图像。本发明公开了一种基于全尺度质量总和的图像集超分辨率自适应阈值选取方法。所提方法是在任意倍增比图像处理中，选定全尺度质量总和Q为参考量，并以在任意倍增比下的Q大小作为评判测度，通过各种算法的Q值来评判其在任意倍增比中处理超分辨率图像的优劣性。本发明具有通用性，即是在全尺度图像处理中，都可以采取该方法来选取合适的切换值进行算法的切换，以获得整体更优的图像重建质量。

Description

基于全尺度质量总和的图像集超分辨率自适应阈值选取方法

技术领域

本发明涉及面向任意倍增比的图像集超分辨率算法以及评判准则，属于图像超分辨率处理技术领域。

背景技术

超分辨率(Super Resolution，SR)是将低分辨率(Low Resolution，LR)的图像通过一定的重建算法提升到高分辨率(High Resolution，HR)。图像重建算法将利用一幅或者一组低分辨率图像构建成一幅高分辨率图像，高分辨率图像具有更高的像素密度、更多的细节信息、更细腻的画质。随着图像超分辨率处理的深入研究，越来越多的图像重建算法被提出，但是对于任意倍增比的图像集超分辨率处理，却很少涉及。传统的超分辨技术一般只能处理较小的倍增比，难以处理较大的倍增比。一般情况下，当倍增比大于4时，图像重建质量开始出现明显的降低，导致的结果就是图像过于平滑，缺少很多细节上的真实感，使得肉眼难以辨别图像的内容。随着人工智能的发展，机器逐渐可以识别清晰度很低的图像，任意倍增比的超分辨率技术具有越来越重要的意义。因此对于规模越来越大的图像集，任意倍增比图像处理的研究是十分必要的。

发明内容

本发明要解决的技术问题是：面向任意倍增比的图像集超分辨率应用，如何提供整体更优的超分辨率算法。

为了解决上述技术问题，本发明的技术方案是提供了一种基于全尺度质量总和的图像集超分辨率自适应阈值选取方法，其特征在于，包括以下步骤：

步骤1：对图像集随机选取小部分图像，形成样本子集p＝{p₁，p₂，p₃，…，p_i}；在倍增比k为K_min≤k≤K_max范围内对样本子集p分别执行N种算法的图像集超分辨率处理，其中，K_min、K_max分别为允许的最小倍增比及最大倍增比，根据样本处理结果采用优先权准则获得较优算法，若获得的较优算法结果唯一，则直接将获得的较优算法应用于整个图像集中，否则选择两个较优算法后进入步骤2：

步骤2：计算不同算法下各个倍增比k的Q值：

式中，X表示允许的最大倍增比，PSNR(k)表示在倍增比k下的图像质量峰值信噪比；

步骤3：定义γ表示Q在任意倍增比中的斜率，γ值表示的是Q值在任意倍增比中的增加速度，通过比较γ的大小来确定阈值q的范围，从而保证Q值在任意倍增比中均处于较大值，接着，将不同算法的Q值通过拟合曲线表达出来，确定阈值q的范围，然后去除该范围之外的数据；

步骤4：基于二值模式之和(SBP)准则，计算样本子集p的所有图像的不同阈值q下的SBP(q，i，n)值：

式中i表示样本子集p的图像数量，n₁、n₂表示的是步骤1选取的两种较优算法，若

成立，则/>

值取1，若不成立则/>

值取0，/>

分别表示在该阈值q下，两种算法n₁、n₂的Q值的斜率，比较各SBP(q，i，n)值的大小，具有最大SBP(q，i，n)值的阈值q即为切换值；

步骤5：对图像集的剩余子集按照上述切换值执行倍增比K_min～K_max范围内图像超分辨率的重建操作，在K_min～切换值范围内采用算法n₁，在切换值～K_max范围内采用算法n₂。

优选地，所述步骤1中，所述优先权准则的实现包括以下步骤：

对于每种倍增比k，选取处于该倍增比k的最优算法，该算法的优先值α加一，最后统计所有算法的优先值α，若某一算法的优先值等于K_max-K_min+1，则该算法为唯一的较优算法，若没有一个算法的优先值等于K_max-K_min+1，则选取优先值较大的2种算法作为两个较优算法。

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：为了实现图像集超分辨率任意倍增比的自适应算法选取，本发明提供了倍增比自适应切换值的选取方法及相应的准则，以达到超分辨率图像重建的最优化。所提方法能够保证在任意倍增比的图像集超分辨率处理中，图像重建质量均处于最好的状态，让重建的高分辨率图像更加真实，便于机器识别与自主学习。所提方法无需人工干预，适用于不同算法任意倍增比的图像集超分辨率应用。

附图说明

图1为基于全尺度质量总和的自适应阈值选取方法的流程图；

图2为采用SBP准则确定阈值q切换值的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

在本实施例中，五种图像重建算法分别是Bicubic算法、GR算法、ANR算法、LANR算法、LANR+NLM算法，选定的倍增比k范围为2～15，选取某一图像集的样本子集p＝{baby、bird、butterfly、head、woman}进行任意倍增比的图像集超分辨率处理，随后分别采用全尺度质量总和评判五种算法处理性能的优劣性，利用本发明所提优先权准则来选取较优的两种算法，利用SBP准则选定图像集超分辨率自适应阈值q。在任意倍增比下，通过峰值信噪比对算法进行评估，确保图像重建质量最优。所提方法通过以下具体步骤实现：

步骤一：首先对样本子集p进行倍增比在2～15范围内的图像集超分辨率处理。采用优先权准则，即对于每种倍增比，选取处于该倍增比的最优算法，其算法的优先值α加一。最后统计所有算法的优先值α，若某一算法的优先值等于K_max-K_min+1，K_min、K_max分别为允许的最小倍增比及最大倍增比，则直接将该算法应用于整个图像集中；反之，若有多种较优算法，则选取优先值较大的两种算法。

通过比较不同算法的α值，本实例选取了两种较优的算法，分别为全局回归(GR)算法以及局部正则化锚定邻域回归(LANR+NLM)算法。GR算法为每个输入块计算其在字典中的最近邻元素，只是用近邻的字典元素而不是整个字典，在训练的低分辨率图像块中寻找K个近邻，将K个近邻进行线性组合，即解决如下问题：

其中N_l对应于用来解决该问题中低分辨率空间的邻域，这在邻域嵌入的情况下将涉及特征y的K个最近邻域，并且在稀疏编码的情况下将涉及低分辨率的训练字典。F表示特征提取算子。参数λ能够解决奇点问题并求出稳定解，即系数向量β。而LANR+NLM算法考虑了训练数据的非局部冗余和局部几何机构先验，并融合这两种先验方式来处理不确定的超分辨率重建问题，通过引入非局部冗余的方式，对超分辨率的鲁棒特性进行预估。

步骤二：为了提高任意倍增比下图像集超分辨率处理的重建性能，本发明提出图像集超分辨率自适应阈值的选取方法，根据不同的图像集，自适应地选取两种算法的阈值q的切换值。本发明选定全尺度质量总和Q作为参考量，并以在任意倍增比下的Q值大小作为评判测度，通过比较Q值来评判不同算法在任意倍增比中图像重建的优劣性。通过累计在各种倍增比下的图像质量峰值信噪比，全尺度质量总和Q的定义如下：

式中PSNR(k)为任意倍增比中峰值信噪比的值，k为任意倍增比，X表示允许的最大倍增比。而后，根据全尺度质量总和，计算不同算法下各个倍增比的Q值。

步骤三：定义γ表示Q值在任意倍增比中的斜率，其γ值表示Q值在任意倍增比中的增加速度，通过比较γ的大小来确定阈值q的范围，即将不同算法的Q值通过拟合曲线表达出来，而后计算γ₂、γ₃...以及γ_avg，通过对比其γ_i(i∈[2，15])的值选出其阈值q的大概范围，而后分析不同q值的重建性能，进行数据预处理：去除该大概范围之外的数据。

步骤四：为了确定阈值q的切换值，进一步采取二值模式之和SBP准则；

式中i表示样本子集p的图像数量，n₁、n₂表示的是步骤一选取的两种较优算法，若

成立，则/>

值取1，若不成立则/>

值取0，/>

分别表示在该阈值q下，LANR+NLM以及GR两种算法的Q值的斜率。

以GR算法为参照，比较同一倍增比不同图像下γ的值，当GR处理图像的γ值大于LANR时，则阈值取1，反则小于取0。通过计算所有图像的不同阈值q下的SBP(q，i，n)值，比较SBP值的大小，具有最大SBP值的阈值q即为切换值。

步骤五：对图像集的剩余子集按照上述切换值进行倍增比2～15的操作，即当倍增比小于等于切换值时，本实例选取LANR+NLM算法进行图像集超分辨率重建，当倍增比大于q时，自动切换为GR算法进行图像集超分辨率重建，使得图像处理可以达到性能的最优化。

Claims (2)

1.一种基于全尺度质量总和的图像集超分辨率自适应阈值选取方法，其特征在于，包括以下步骤：

步骤1：对图像集随机选取小部分图像，形成样本子集p＝{p₁,p₂,p_3,…,p_i}；在倍增比k为K_min≤k≤K_max范围内对样本子集p分别执行N种算法的图像集超分辨率处理，其中，K_min、K_max分别为允许的最小倍增比及最大倍增比，根据样本处理结果采用优先权准则获得较优算法，若获得的较优算法结果唯一，则直接将获得的较优算法应用于整个图像集中，否则选择两个较优算法后进入步骤2：

步骤2：计算不同算法下各个倍增比k的Q值：

式中，X表示允许的最大倍增比，PSNR()表示在倍增比k下的图像质量峰值信噪比；

步骤3：定义γ表示Q在任意倍增比中的斜率，γ值表示的是Q值在任意倍增比中的增加速度，通过比较γ的大小来确定阈值q的范围，从而保证Q值在任意倍增比中均处于较大值，接着，将不同算法的Q值通过拟合曲线表达出来，确定阈值q的范围，然后去除该范围之外的数据；

步骤4：基于二值模式之和准则，计算样本子集p的所有图像的不同阈值q下的SBP(q,i,n)值

式中i表示样本子集p的图像数量，n₁、n₂表示的是步骤1选取的两种较优算法，若

成立，则/>

值取1，若不成立则/>

值取0，/>

分别表示在该阈值q下，两种算法n₁、n₂的Q值的斜率，比较各SBP(q,i,n)值的大小，具有最大SBP(q,i,n)值的阈值q即为切换值；

步骤5：对图像集的剩余子集按照上述切换值执行倍增比K_min～K_max范围内图像超分辨率的重建操作，在K_min～切换值范围内采用算法n₁，在切换值～K_max范围内采用算法n₂。

2.如权利要求1所述的一种基于全尺度质量总和的图像集超分辨率自适应阈值选取方法，其特征在于，所述步骤1中，所述优先权准则的实现包括以下步骤：

对于每种倍增比k，选取处于该倍增比k的最优算法，该算法的优先值α加一，最后统计所有算法的优先值α，若某一算法的优先值等于K_max-K_min+1，则该算法为唯一的较优算法，若没有一个算法的优先值等于K_max-K_min+1，则选取优先值较大的2种算法作为两个较优算法。

Images