CN110415242B - 一种基于参考图像的超分辨倍率评价方法 - Google Patents

Abstract

本发明一种基于参考图像的超分辨倍率评价方法，通过对照标记超分辨倍率的高分辨参考图像，实现超分辨倍率量化评价。借助图像仿真技术，准备不同倍率的参考图像；分别检测参考图像和超分辨图像特征；根据外观相似性和几何相似性确认特征匹配点对；基于结构相似性评价标准，根据特征点尺寸提取图像块，利用图像块计算不同倍率参考图像与超分辨图像的相似性序列；根据相似性序列，拟合估计超分辨倍率。

Description

一种基于参考图像的超分辨倍率评价方法

技术领域

本发明涉及一种基于参考图像的超分辨倍率评价方法，属于航天光学遥感、计算成像、图像分析等领域。

背景技术

随着我国航天遥感技术的不断进步，对空间、空中、陆地、海洋等高分辨成像提出了更高的要求，利用超分辨重建算法得到高分辨率图像是目前广泛采纳的技术途径，而超分辨图像质量评价可以反应重建算法的能力，具有重要的研究意义。图像超分辨重建技术，是利用若干来自时间维/空间维的低分辨率图像，通过图像处理/计算成像算法，重建出细节更为丰富的高分辨图像的方法。超分辨图像质量评价方法反映了重建算法的优劣，直观、准确的评价标准是超分辨重建工作中重要的研究内容。目前已有的评价方法，主要包括主观评价方法和客观评价方法两类。主观评价方法，是指多个观察者通过人眼判断超分前后图像质量的方法。这类方法，只能定性给出超分辨重建图像的优劣，不能定量评价；同时，需要平均考虑多个观察者的评判，操作复杂，效率较低。客观评价方法，是指通过对比外部参照评价超分辨图像质量的方法。主要包括基于鉴辨率板的评价方法，基于参考图像的评价方法。其中鉴辨率板方法，准确、简便、直观，但是依赖靶标参照物，应用验证中有一定的局限性；参考图像方法，可以对比超分重建前的原始低分辨率图像，或者高分辨率参考图像，借助图像处理算法，评估重建图像的质量。其中，基于低分辨率图像的方法，仅需要对比重建前后图像，简单易行，但是通过峰值信噪比(PSNR)，结构相似性(SSIM)等指标，虽然能定量评价图像质量，但并不能直观评价提升范围；而基于高分辨参考图像的方法，通过对照高分辨图像，可以直观估计超分辨图像质量，非常适合超分辨重建算法评价。

但是，已有的主观评价方法，需要多观察者参与，操作过程复杂，效率低；基于鉴别率板的客观评价方法，依赖靶标参照物，应用验证过程中具有局限性；基于低分辨参考图像的客观评价方法，不能直观评估图像质量提升范围；基于高分辨参考图像的客观评价方法，虽然可以通过结构相似性(SSIM)和信噪比(PSNR)定量评估图像质量提升能力，但目前并未有直接给出超分辨倍率的直观量化评价方法。

发明内容

本发明要解决的技术问题：提供一种基于参考图像的超分辨倍率评价方法，通过对比标记超分辨倍率的参考图像与超分辨图像，实现对目标、场景的超分辨重建图像质量评价，可直接量化估计超分辨倍率，具有简单、直观的优点。

本发明通过对照标记超分辨倍率的高分辨参考图像，实现超分辨倍率量化评价。算法流程图如下所示。借助图像仿真技术，准备不同倍率的参考图像；分别检测参考图像和超分辨图像特征；根据外观相似性和几何相似性确认特征匹配点对；基于结构相似性评价标准，根据特征点尺寸提取图像块，利用图像块计算不同倍率参考图像与超分辨图像的相似性序列；根据相似性序列，拟合估计超分辨倍率。

本发明一种基于参考图像的超分辨倍率评价方法，包括以下步骤：

第一步，根据参考图像，通过图像仿真，得到N幅标记超分辨倍率的参考图像，再对标记倍率为1.0的参考图像进行超分重建，得到超分辨图像；

第二步，在第一步的N幅参考图像和超分辨图像中，进行SIFT特征点检测，得到参考图像和超分辨图像的特征点；

第三步，对第二步的N幅参考图像特征点和超分辨图像特征点，进行SIFT特征点描述，得到参考图像和超分辨图像的特征点描述；接着根据特征点描述的相似性，确定参考图像与超分辨图像外观匹配特征点对；最后根据外观匹配特征点对的几何约束，得到参考图像与超分辨图像匹配特征点对；

第四步，根据第三步的参考图像与超分辨图像匹配特征点对，提取参考图像块与超分辨图像块，计算图像块结构相似性；根据图像块结构相似性，计算参考图像与超分辨图像结构相似性；最后得到不同倍率参考图像与超分辨图像的结构相似性；

第五步，根据第四步的不同倍率参考图像与超分辨图像的结构相似性，进行多项式拟合与极值计算，得到估计的超分辨倍率。

所述第一步具体实现过程如下：

(1)根据高分辨参考图像，通过图像仿真，得到N幅标记超分辨倍率的参考图像，记第n幅标记超分辨倍率的参考图像为I_n＝(img,mag)，符号img代表参考图像，mag代表标记倍率，n＝1,…,N；

(2)对标记倍率为1.0的参考图像进行超分重建，得到超分辨图像I_s。

所述第二步具体实现过程如下：

(1)在N幅参考图像I_n中检测SIFT特征点，记第n幅参考图像的第j个特征点为P_n ^j＝(pt,scale)，其中符号pt＝(x,y)代表特征点图像坐标，scale代表特征点尺度，n＝1,…,N,j＝1,…,J_n；

(2)在超分辨图像I_s中检测SIFT特征点，记超分辨图像的第k个特征点为P_s ^k＝(pt,scale)，其中符号pt＝(x,y)代表特征点图像坐标，scale代表特征点尺度，k＝1,….,K_n。

所述第三步具体实现过程如下：

(1)对N幅参考图像特征点进行SIFT特征点描述，记第n幅参考图像第j个特征点描述为D_n ^j，其中n＝1,…,N,j＝1,….,J_n；

(2)对超分辨图像特征点进行SIFT特征点描述，记超分辨图像第k个特征点描述为D_s ^k，其中n＝1,…,N,k＝1,….,K_n；

(3)通过卡方距离，计算第n幅参考图像特征点描述D_n ^j与超分辨图像特征点描述D_s ^k的外观相似性，选择距离小于1/3最大距离的特征点对为外观匹配特征点对，记第n幅参考图像与超分辨图像外观匹配特征点对为Pair_n(P_n ^l,P_s ^l)，其中n＝1,…,N,l＝1,…,L_n；

(4)通过鲁棒估计Ransac算法，根据式，求解图像外观匹配特征点对Pair_n(P_n ^l,P_s ^l)的相似变换H_s，确定满足相似变换几何约束的内点集合，记为第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，其中n＝1,…,N,t＝1,…,T_n，

式中，pt^l _n表示第n幅参考图像第l个特征点图像坐标，pt^l _s表示外观匹配的超分辨图像特征点图像坐标，λ是均匀缩放，R是2×2旋转矩阵，v是2维平移向量。

所述第四步具体实现过程如下：

(1)根据第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，以参考图像特征点P_n ^t的图像坐标pt_n ^t为中心，尺度scale_n ^t的2倍为边长，从参考图像I_n提取参考图像块B_n ^t，其中n＝1,…,N,t＝1,…,T_n；

(2)根据第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，以超分辨图像特征点P_s ^t的图像坐标pt_s ^t为中心，参考图像特征点P_n ^t尺度scale_n ^t的2倍为边长，从超分辨图像I_s提取超分辨图像块B_s ^t，其中n＝1,…,N,t＝1,…,T_n；

(3)计算图像块B_n ^t的强度均值μ_n ^t、标准差

图像块B_s ^t的强度均值μ_s ^t、标准差

如式计算图像块结构相似性，其中C₁、C₂为常数，C₁＝(K₁×L)²，C₂＝(K₂×L)²，本发明取K₁＝0.01，K₂＝0.03，L＝255；K₁和K₂是比例系数，L是像素强度动态范围；

(4)根据图像块结构相似性，由式计算第n幅参考图像I_n与超分辨图像I_s的结构相似性S_n(I_n,I_s)，其中图像块索引t＝1,…,T_n。从而得到不同倍率参考图像与超分辨图像的结构相似性向量S＝(S₁(I₁,I_s),…,S_n(I_n,I_s),…,S_N(I_N,I_s))，

所述第五步具体实现过程如下：通过式(4)四次多项式拟合，拟合四次多项式系数a₀、a₁、a₂、a₃和a₄，构造相似性向量S关于不同倍率的函数f(m)，满足f'(m)＝0的极值点m即为估计的超分辨倍率：

f(m)＝a₀+a₁m+a₂m²+a₃m³+a₄m⁴ (4)。

本发明与现有技术相比的优点在于：

(1)简单、易实现，无需鉴别板等其他附加实验设备；

(2)通过对照标记倍率的高分辨参考图像，直接估计超分辨倍率，具有定量直观评估的优点；

(3)在超分重建算法研究阶段，仅依靠仿真图像即可准确验证算法能力；

(4)本发明已经经过实验验证，方案可行，结果达到预期目标。

附图说明

图1为本发明方法流程图；

图2为本发明实验不同倍率参考图像示例；(a)倍率1.0，分辨率512×512，(b)倍率2.0，分辨率1024×1024；

图3为本发明实验不同方法对倍率1.0参考图像超分重建结果示例；(a)线性插值方法，分辨率1023×1023；(b)极大似然估计方法，分辨率1023×1023；(c)卷积神经网络方法，分辨率1008×1008；

图4为本发明实验不同倍率参考图像与超分辨图像结构相似性拟合对照结果。

具体实施方式

下面结合附图，对本发明做进一步的描述。显然，所列举的实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明具体实现如下：

(1)参考图像准备。根据参考图像，通过图像仿真，得到N幅标记超分辨倍率的参考图像，记第n幅标记超分辨倍率的参考图像为I_n＝(img,mag)，其中符号img代表参考图像，mag代表标记倍率，n＝1,…,N。对标记倍率为1.0的参考图像进行超分重建，得到超分辨图像I_s。本发明中的超分辨倍率≥1.0。

(2)特征检测。在N幅参考图像I_n和超分辨图像I_s中分别检测SIFT特征点，记第n幅参考图像的第j个特征点为P_n ^j＝(pt,scale)，超分辨图像的第k个特征点为P_s ^k＝(pt,scale)，其中符号pt＝(x,y)代表特征点图像坐标，scale代表特征点尺度，n＝1,…,N,j＝1,…,J_n,k＝1,….,K_n。

(3)特征匹配。对N幅参考图像特征点P_n ^j和超分辨图像特征点P_s ^k进行SIFT特征点描述，记第n幅参考图像第j个特征点描述为D_n ^j，超分辨图像第k个特征点描述为D_s ^k，其中n＝1,…,N,j＝1,….,J_n,k＝1,….,K_n。通过卡方距离，计算第n幅参考图像特征点描述D_n ^j与超分辨图像特征点描述D_s ^k的外观相似性，选择距离小于1/3最大距离的特征点对为外观匹配特征点对，记第n幅参考图像与超分辨图像外观匹配特征点对为Pair_n(P_n ^l,P_s ^l)，其中n＝1,…,N,l＝1,…,L_n；通过鲁棒估计Ransac算法，根据式，求解图像外观匹配特征点对Pair_n(P_n ^l,P_s ^l)的相似变换H_s，确定满足相似变换几何约束的内点集合，记为第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，其中n＝1,…,N,t＝1,…,T_n。

式中，pt^l _n表示第n幅参考图像第l个特征点图像坐标，pt^l _s表示外观匹配的超分辨图像特征点图像坐标，λ是均匀缩放，R是2×2旋转矩阵，v是2维平移向量。

(4)分块结构相似性评估。根据第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，分别以参考图像特征点P_n ^t的图像坐标pt_n ^t和超分辨图像特征点P_s ^t的图像坐标pt_s ^t为中心，以参考图像特征点P_n ^t尺度scale_n ^t的2倍为边长，从参考图像I_n和超分辨图像I_s，提取参考图像块B_n ^t和超分辨图像块B_s ^t。计算图像块B_n ^t的强度均值μ_n ^t、标准差

图像块B_s ^t的强度均值μ_s ^t、标准差

其中n＝1,…,N,t＝1,…,T_n。则如式计算图像块结构相似性。

式中，C₁、C₂为常数，本发明中C₁＝(K₁×L)²，C₂＝(K₂×L)²，K₁＝0.01，K₂＝0.03，L＝255。据此，根据式(7)计算第n幅参考图像I_n与超分辨图像I_s的结构相似性S_n(I_n,I_s)，其中图像块索引t＝1,…,T_n。从而得到不同倍率参考图像与超分辨图像的结构相似性向量S＝(S₁(I₁,I_s),…,S_n(I_n,I_s),…,S_N(I_N,I_s))。

(5)超分辨倍率估计。通过式，拟合四次多项式系数(a₀,a₁,a₂,a₃,a₄)，构造相似性向量S关于不同倍率的函数f(m)，满足f'(m)＝0的极值点m即为估计的超分辨倍率。

f(m)＝a₀+a₁m+a₂m²+a₃m³+a₄m⁴ (8)

如图2所示，实验过程仿真生成倍率1.0，1.2，1.4，1.6，1.8，2.0，2.2，2.4，2.6，2.8，3.0的参考图像；通过线性插值，极大似然估计，卷积神经网络等方法，对倍率1.0的参考图像进行超分重建，得到图3所示的超分辨图像；(a)线性插值方法，分辨率1023×1023；(b)极大似然估计方法，分辨率1023×1023；(c)卷积神经网络方法，分辨率1008×1008。

如图4所示，展示不同倍率参考图像与超分辨图像结构相似性拟合对照结果，通过极值计算，可估计线性插值超分辨图像倍率为1.78，结构相似性为0.78，极大似然估计超分辨图像倍率为1.82，结构相似性为0.79，卷积神经网络超分辨图像倍率为1.91，结构相似性为0.84。从图4得出本发明具有定量直观评估超分辨倍率的优点。

Claims (7)

1.一种基于参考图像的超分辨倍率评价方法，其特征在于，包括以下步骤：

第一步，根据参考图像，通过图像仿真，得到N幅标记超分辨倍率的参考图像，再对标记倍率为1.0的参考图像进行超分重建，得到超分辨图像；

第二步，在第一步的N幅参考图像和超分辨图像中，进行SIFT特征点检测，得到参考图像和超分辨图像的特征点；

第三步，对第二步的N幅参考图像特征点和超分辨图像特征点，进行SIFT特征点描述，得到参考图像和超分辨图像的特征点描述；接着根据特征点描述的相似性，确定参考图像与超分辨图像外观匹配特征点对；最后根据外观匹配特征点对的几何约束，得到参考图像与超分辨图像匹配特征点对；

第四步，根据第三步的参考图像与超分辨图像匹配特征点对，提取参考图像块与超分辨图像块，计算图像块结构相似性；根据图像块结构相似性，计算参考图像与超分辨图像结构相似性；最后得到不同倍率参考图像与超分辨图像的结构相似性；

第五步，根据第四步的不同倍率参考图像与超分辨图像的结构相似性，进行多项式拟合与极值计算，得到估计的超分辨倍率。

2.根据权利要求1所述的基于参考图像的超分辨倍率评价方法，其特征在于：所述第一步具体实现过程如下：

(1)根据参考图像，通过图像仿真，得到N幅标记超分辨倍率的参考图像，记第n幅标记超分辨倍率的参考图像为I_n＝(img,mag)，符号img代表参考图像，mag代表标记倍率，n＝1,…,N；

(2)对标记倍率为1.0的参考图像进行超分重建，得到超分辨图像I_s。

3.根据权利要求1所述的基于参考图像的超分辨倍率评价方法，其特征在于：所述第二步具体实现过程如下：

(1)在N幅参考图像I_n中检测SIFT特征点，记第n幅参考图像的第j个特征点为P_n ^j＝(pt,scale)，其中符号pt＝(x,y)代表特征点图像坐标，scale代表特征点尺度，n＝1,…,N,j＝1,…,J_n；

(2)在超分辨图像I_s中检测SIFT特征点，记超分辨图像的第k个特征点为P_s ^k＝(pt,scale)，其中符号pt＝(x,y)代表特征点图像坐标，scale代表特征点尺度，k＝1,….,K_n。

4.根据权利要求1所述的基于参考图像的超分辨倍率评价方法，其特征在于：所述第三步具体实现过程如下：

(1)对N幅参考图像特征点进行SIFT特征点描述，记第n幅参考图像第j个特征点描述为D_n ^j，其中n＝1,…,N,j＝1,….,J_n；

(2)对超分辨图像特征点进行SIFT特征点描述，记超分辨图像第k个特征点描述为D_s ^k，其中n＝1,…,N,k＝1,….,K_n；

(3)通过卡方距离，计算第n幅参考图像特征点描述D_n ^j与超分辨图像特征点描述D_s ^k的外观相似性，选择距离小于1/3最大距离的特征点对为外观匹配特征点对，记第n幅参考图像与超分辨图像外观匹配特征点对为Pair_n(P_n ^l,P_s ^l)，其中n＝1,…,N,l＝1,…,L_n；

(4)通过鲁棒估计Ransac算法，根据式，求解图像外观匹配特征点对Pair_n(P_n ^l,P_s ^l)的相似变换H_s，确定满足相似变换几何约束的内点集合，记为第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，其中n＝1,…,N,t＝1,…,T_n，

式中，pt^l _n表示第n幅参考图像第l个特征点图像坐标，pt^l _s表示外观匹配的超分辨图像特征点图像坐标，λ是均匀缩放，R是2×2旋转矩阵，v是2维平移向量。

5.根据权利要求1所述的基于参考图像的超分辨倍率评价方法，其特征在于：所述第四步具体实现过程如下：

(1)根据第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，以参考图像特征点P_n ^t的图像坐标pt_n ^t为中心，尺度scale_n ^t的2倍为边长，从参考图像I_n提取参考图像块B_n ^t，其中n＝1,…,N,t＝1,…,T_n；

(2)根据第n幅参考图像与超分辨图像匹配特征点对Inliers_n(P_n ^t,P_s ^t)，以超分辨图像特征点P_s ^t的图像坐标pt_s ^t为中心，参考图像特征点P_n ^t尺度scale_n ^t的2倍为边长，从超分辨图像I_s提取超分辨图像块B_s ^t，其中n＝1,…,N,t＝1,…,T_n；

(3)计算图像块B_n ^t的强度均值μ_n ^t、标准差

图像块B_s ^t的强度均值μ_s ^t、标准差

如式计算图像块结构相似性，其中C₁、C₂为常数，C₁＝(K₁×L)²，C₂＝(K₂×L)²，K₁和K₂是比例系数，L是像素强度动态范围；

(4)根据图像块结构相似性，由式计算第n幅参考图像I_n与超分辨图像I_s的结构相似性S_n(I_n,I_s)，其中图像块索引t＝1,…,T_n，从而得到不同倍率参考图像与超分辨图像的结构相似性向量S＝(S₁(I₁,I_s),…,S_n(I_n,I_s),…,S_N(I_N,I_s))，

6.根据权利要求5所述的基于参考图像的超分辨倍率评价方法，其特征在于：所述K₁＝0.01，K₂＝0.03，L＝255。

7.根据权利要求1所述的基于参考图像的超分辨倍率评价方法，其特征在于：所述第五步具体实现过程如下：通过式(4)四次多项式拟合，拟合四次多项式系数a₀、a₁、a₂、a₃和a₄，构造相似性向量S关于不同倍率的函数f(m)，满足f'(m)＝0的极值点m即为估计的超分辨倍率：

f(m)＝a₀+a₁m+a₂m²+a₃m³+a₄m⁴ (4)。

Images