一种多视觉特征集成的无参考超分辨图像质量评价方法
技术领域
本发明属于图像处理技术领域,涉及一种多视觉特征集成的无参考超分辨图像质量评价方法。
背景技术
图像超分辨率重建技术通常被用于从一个或几个低分辨率图像生成具有更多细节的高分辨率图像。这项技术在许多领域中都有广泛的应用,例如计算机视觉,遥感影像,视频监控以及生活娱乐。迄今为止,研究人员已经提出了大量的超分辨重建算法。通常情况下,不同的超分辨图像表现出不同的退化程度,这取决于不同超分辨算法的性能。为了提高不同超分辨算法的性能,有必要评估重建结果图像的质量,使得评估结果与人类视觉系统(HVS) 的感知质量一致。现有的超分辨算法性能主要通过两种方法来衡量,即主观质量评估和客观质量评估。毋庸置疑,人类的主观判断是评估超分辨图像质量的最直接且最可靠的方法。但是,主观质量评估过程是相当昂贵和费时的,在实际应用中难以嵌入到超分辨重建系统中。因此,设计一种合理的客观图像质量评估算法,以自动量化超分辨图像的质量,并进一步优化超分辨算法,对理论研究和实际应用都具有重要意义。
根据参考原始图像信息的使用信息量,客观质量评价方法可以分为三大类:全参考型方法,部分参考型方法以及无参考型方法。全参考型方法需要原始高质量图像作为参考,以度量生成的超分辨图像的质量。在图像处理领域中,通常使用的方法为均方误差(MSE)和峰值信噪比(PSNR)。此外,研究人员也采用基于HVS的感知特性的评价方法,结构相似性(SSIM),特征相似性(FSIM),信息保真度标准(IFC)和视觉信息保真度(VIF)对超分辨图像的质量进行度量。但是,这些度量标准不是为评价超分辨图像设计的,而且在实际生活中难以获取原始的参考图像。因此,全参考型方法难以嵌入到实际应用中,并且不适合评估超分辨图像的退化程度。与全参考型方法类似,部分参考型方法也需要原始高分辨图像的信息作参考,因此这类方法也并没有受到研究者的广泛青睐。无参考型评价方法可以无需高分辨的参考图像,因此广泛地引入图像质量评价的研究。
对于已有的无参考型图像质量评价方法,首先提取能表征图像质量的特征,然后采用回归方法建立特征与主观分数之间的映射关系,从而形成图像质量评价模型。虽然现有图像质量评价方法表现较优,但是现有方法仍然存在一些问题,如现有方法提取单一性的特征描述图像质量,此外现有方法利用简单的线性回归建立映射模型,难以表征超分辨图像的降质机理,不能准确评价图像的质量,导致超分辨图像难以有效评价。
发明内容
本发明的目的是提供一种多视觉特征集成的无参考超分辨图像质量评价方法,解决了现有技术中存在的图像质量评价方法难以表征超分辨图像的降质机理,不能准确评价图像的质量,导致超分辨图像难以有效评价的问题。
本发明所采用的技术方案是,一种多视觉特征集成的无参考超分辨图像质量评价方法,质量评价方法包括以下步骤:首先分别提取图像的三类统计特性,即局部频域特征、全局频域特征和空间域特征,采用多分辨率的分析方法描述超分辨图像的失真机理;其次,建立并利用AdaBoost决策树回归模型获取每类统计特征的预测分数,然后再利用脊回归模型层次化建立统计特征的预测分数与主观质量分数之间的映射对应关系,训练评价模型进而评价超分辨图像的质量。
本发明的特点还在于:
具体包括以下步骤:
一、质量评价模型训练阶段
步骤1、首先分别提取训练集中图像的三类统计特性,即局部频域特征、全局频域特征和空间域特征;
步骤2、令
是一个具有M
j个决策树的独立评价模型,分别用于局部频率特征(j=1),全局频率特征(j=2)和空间域特征(j=3),建立独立评价模型;
步骤3、根据AdaBoost决策树回归算法即主要通过前项分步算法将步骤 2中建立的独立评价模型,构建成AdaBoost决策树回归模型;
步骤4、每类统计特征通过输入步骤3中的AdaBoost决策树回归模型
获取相应的预测分数,X
j是训练集图像的第j类特征,训练集中所有超分辨图像的三种感知统计特征的预测分数组成特征矩阵
步骤5、利用脊回归算法在步骤4得到的第一层预测分数与相应的主观质量分数之间建立映射对应关系,即第二层的脊回归模型可以表示为
其中Q是训练集中所有图像的主观质量分数,β是用于平衡重构误差和正则化项的正则化系数,b是大小为1x3的回归系数矩阵,
为步骤4中得到的特征矩阵;
二、质量评价模型测试阶段
步骤6、首先分别提取测试集中图像的局部频域特征、全局频域特征和空间域特征这三类统计特性;
步骤7、将步骤6中的统计特征输入到步骤4训练好的AdaBoost决策树回归模型中,获取测试集中图像的预测分数,测试集中所有超分辨图像的三种感知统计特征的预测分数组成特征矩阵
步骤8、将步骤7得到的预测分数输入到步骤5训练好的脊回归模型中,即可获得最终的评价分数
其中
为步骤7中得到的预测分数组成的特征矩阵,b
*为步骤5中得到的预测结果与相应的主观质量分数之间的映射函数。
步骤1中具体包括以下步骤:
步骤1.1、局部频域特征的提取:利用广义高斯分布分析离散余弦变换系数的分布情况,选择不同子带上形状参数γ作为第一部分的局部频域特征;再将不考虑高频DC部分时统计的三个不同颜色分组内DCT系数的平均值作为第二部分的局部频域特征;计算每个局部块的DCT系数的方差的平均值和排序后最大的10%的方差的平均值作为第三部分的局部频域特征,将三者结合作为局部频域的统计特征;
步骤1.2、全局频域特征的提取:采用金字塔分解法得到广义邻域小波系数,分别从六个方向和两个尺度计算不同小波子带的形状参数γ作为第一部分的全局频域特征;当图像出现失真或降质时,小波系数之间的相关性会出现变化,因此通过度量不同尺度与不同子带之间的结构相关系数来预测图像的降质程度,以此作为全局频域的特征的第二部分,将两个部分的统计特征连接起来,一起构成表征超分辨图像的全局频域统计特征;
步骤1.3、空间域特征的提取:利用主成分分析方法处理局部块得到奇异值,用奇异值来描述空间上的结构不连续性。
步骤2中建立独立评价模型的过程为:将AdaBoost决策树回归模型公式化为M
j个决策树模型的加权平均值,表示为
其中α
m,j是通过AdaBoost回归算法获得的决策树的权重,T(X
j;Φ
m,j)表示第m 个决策树;X
j是训练集图像的第j类特征,Φ
m,j是第m个决策树的对应参数。
步骤3中构建AdaBoost决策树回归模型的过程为:第m步决策树模型表示为
其中
为当前的决策树回归模型,下一个决策树的参数
由经验风险最小化确定为
Q
i为第i幅超分辨图像的主观质量分数,x
i,j是第i幅图像的第j类特征,L(.)为损失函数。
步骤3中L(.)为平方误差损失函数
步骤5中的脊回归模型还可以表示为
其中Q是训练集中所有图像的主观质量分数,β是用于平衡重构误差和正则化项的正则化系数,
为步骤4中的特征矩阵,
为步骤4中的特征矩阵的转置,I为 3×3的单位矩阵。
本发明的有益效果是:
(1)本发明提出了一种多视觉特征集成的层次化无参考型图像质量评价方法来评估超分辨图像的质量,采用AdaBoost决策树回归模型通过增加具有较大回归误差的样本的权重,同时减少具有较小回归误差的样本的权重,将一组弱回归器集成为强回归器,从而缩小了预测质量分数与主观质量分数之间的差距,以达到较准确预测超分辨图像质量的目的。
(2)本发明提出了由粗到精的层次化回归模型以预测超分辨图像的质量,即通过三个独立的AdaBoost决策树回归粗略估算超分辨图像感知分数,然后通过脊回归模型进行层次化回归,以进一步提高评估准确性,层次化回归模型优于单一回归模型。
(3)本发明为探索超分辨图像的质量评估提供了一种有效的方法,仿真结果表明,本发明相比于现有的图像质量评价方法具有优越的性能,具有较强的主客观一致性。
附图说明
图1是本发明一种多视觉特征集成的无参考超分辨图像质量评价方法的总框架图;
图2是本发明一种多视觉特征集成的无参考超分辨图像质量评价方法与现有图像质量评价算法在数据库五倍交叉实验的散点图;
图3是超分辨图像数据库中本发明一种多视觉特征集成的无参考超分辨图像质量评价方法预测的感知分数与主观质量分数的比较图;
图4是本发明一种多视觉特征集成的无参考超分辨图像质量评价方法在超分辨数据库中五倍交叉实验部分实验结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种多视觉特征集成的无参考超分辨图像质量评价方法,质量评价方法包括以下步骤:首先分别提取图像的三类统计特性,即局部频域特征、全局频域特征和空间域特征,采用多分辨率的分析方法描述超分辨图像的失真机理;其次,建立并利用AdaBoost决策树回归模型获取每类统计特征的预测分数,然后再利用脊回归模型层次化建立统计特征的预测分数与主观质量分数之间的映射对应关系,训练评价模型进而评价超分辨图像的质量。
如图1所示,一种多视觉特征集成的无参考超分辨图像质量评价方法具体包括以下步骤:
一、质量评价模型训练阶段
步骤1、首先分别提取训练集中图像的三类统计特性,即局部频域特征、全局频域特征和空间域特征;
步骤2、令
是一个具有M
j个决策树的独立评价模型,分别用于局部频率特征(j=1),全局频率特征(j=2)和空间域特征(j=3),建立独立评价模型;
步骤3、根据AdaBoost决策树回归算法即主要通过前项分步算法将步骤 2中建立的独立评价模型,构建成AdaBoost决策树回归模型;
步骤4、每类统计特征通过输入步骤3中的AdaBoost决策树回归模型
获取相应的预测分数,X
j是训练集图像的第j类特征,训练集中所有超分辨图像的三种感知统计特征的预测分数组成特征矩阵
步骤5、利用脊回归算法在步骤4得到的第一层预测分数与相应的主观质量分数之间建立映射对应关系,即第二层的脊回归模型可以表示为
其中Q是训练集中所有图像的主观质量分数,β是用于平衡重构误差和正则化项的正则化系数,b是大小为1×3的回归系数矩阵,
为步骤4中得到的特征矩阵;
二、质量评价模型测试阶段
步骤6、首先分别提取测试集中图像的局部频域特征、全局频域特征和空间域特征这三类统计特性;
步骤7、将步骤6中的统计特征输入到步骤4训练好的AdaBoost决策树回归模型中,获取测试集中图像的预测分数,测试集中所有超分辨图像的三种感知统计特征产生特征矩阵
步骤8、将步骤7得到的预测分数输入到步骤5训练好的脊回归模型中,即可获得最终的评价分数
其中
为步骤7中得到的预测分数组成的特征矩阵,b
*为步骤5中得到的预测结果与相应的主观质量分数之间的映射函数。
步骤1中具体包括以下步骤:
步骤1.1、局部频域特征的提取:利用广义高斯分布分析离散余弦变换系数的分布情况,选择不同子带上形状参数γ作为第一部分的局部频域特征;再将不考虑高频DC部分时统计的三个不同颜色分组内DCT系数的平均值作为第二部分的局部频域特征;计算每个局部块的DCT系数的方差的平均值和排序后最大的10%的方差的平均值作为第三部分的局部频域特征,将三者结合作为局部频域的统计特征;
步骤1.2、全局频域特征的提取:采用金字塔分解法得到广义邻域小波系数,分别从六个方向和两个尺度计算不同小波子带的形状参数γ作为第一部分的全局频域特征;当图像出现失真或降质时,小波系数之间的相关性会出现变化,因此通过度量不同尺度与不同子带之间的结构相关系数来预测图像的降质程度,以此作为全局频域的特征的第二部分,将两个部分的统计特征连接起来,一起构成表征超分辨图像的全局频域统计特征;
步骤1.3、空间域特征的提取:利用主成分分析方法处理局部块得到奇异值,用奇异值来描述空间上的结构不连续性。
步骤2中建立独立评价模型的过程为:将AdaBoost决策树回归模型公式化为M
j个决策树模型的加权平均值,表示为
其中α
m,j是通过AdaBoost回归算法获得的决策树的权重,T(X
j;Φ
m,j)表示第m 个决策树;X
j是训练集图像的第j类特征,Φ
m,j是第m个决策树的对应参数。
步骤3中构建AdaBoost决策树回归模型的过程为:第m步决策树模型表示为
其中
为当前的决策树回归模型,下一个决策树的参数
由经验风险最小化确定为
Q
i为第i幅超分辨图像的主观质量分数,x
i,j是第i幅图像的第j类特征,L(.)为损失函数。
步骤3中L(.)为平方误差损失函数
步骤5中的脊回归模型还可以表示为
其中Q是训练集中所有图像的主观质量分数,β是用于平衡重构误差和正则化项的正则化系数,
为步骤4中的特征矩阵,
为步骤4中的特征矩阵的转置,I为 3x3的单位矩阵。
以下通过仿真实验验证本发明的评价性能。具体仿真内容如下:
仿真实验:如图2所示,本发明与其他现有的八种图像质量评价算法进行比较,其中包括三种全参考型评价方法(PSNR,SSIM,IFC)和五种无参考型的评价方法分别为:Saad等人提出的方法,简称BLIINDS(IEEE Trans.on Image Process.,2012:3339-3352),Mittal等人提出的方法,简称BRISQUE (IEEE Trans.on Image Process.,2012:4695-4708),Liu等人提出的方法,简称 SSEQ(Signal Processing:Image Communication,2014:856-863),Zhang等人提出的方法,简称ILNIQE(IEEE Trans.on Image Process.,2015:2576-2591)以及Ma的方法(Computer Vision and Image Understanding,2017:1-16)。本发明的数据集来源于Ma方法的论文,主要包括1620幅超分辨图像和图像对应的主观质量分数。
针对无需训练评价模型的全参考型评价方法,直接采用原始高分辨图像与相应的待测超分辨图像进行对比计算。对于PSNR方法,通常情况下的预测值大于10,为了合理比较,将预测值归一化到0到10的范围内。对于无参考型评价方法,采用五倍交叉实验,即将数据集分为内容互不重叠五个子集,每次实验选取其中的四个子集作为训练集进行模型训练,剩余的一个子集作为测试集,循环进行五次,即可预测出整个数据集图像的质量分数。将客观预测分数与主观感知分数整合在同一个坐标系中,其中横坐标表示主观质量分数,纵坐标表示客观预测分数,坐标系中的每一点代表一幅超分辨图像。此外,所有方法均采用Matlab拟合工具箱cftool,进行拟合曲线的绘制。通过观察图2可以看出,本发明与其他图像质量评价方法相比,散点图中的点在拟合曲线附近波动最小,因此本发明的方法具有较好的主客观一致性。
图3展示了超分辨数据集中部分测试超分辨图像通过本发明的方法获得的感知分数和主观感知分数的对比结果。这些超分辨图像是通过9种不同的 SR重建方法分别为:Bicubic,BP,Yang等人2010年提出的方法,简称Yang10 (IEEE Trans.Image Process.,2010:2861-2873),Yang等人2013年提出的方法,简称Yang13(Proc IEEE Conf.Comput.Vis.PatternRecognit.,2013:1059-1066), Dong等人2011年提出的方法,简称Dong11(IEEETrans.Image Process.,2011: 1838-1857),Shan等人2008年提出的方法,简称Shan08(Trans.Graph,2008: 153:1-153:7),Glanser等人2009年提出的方法,简称Glanser09(Proc IEEE Int. Conf.Comput.Vis),Timofte等人2013年提出的方法,简称为Timofte13(ICCV,2013:1920-1927)和Dong等人提出的方法,简称SRCNN (Proc.EuropeanConf.Comput.Vis.,2014:184-199)在六个不同的上采样因子 (s∈{2,3,4,5,6,8})得到的。
由图3可以观察到,左侧的深色部分和右侧的浅色部分都比较接近。也就是说,本发明预测的分数与相应的主观分数更好地一致。特别是当上采样因子为2或3时,通过本发明估计的分数非常接近相应的主观分数。
图4展示了在五倍交叉验证实验中使用本发明评估超分辨图像质量的几个例子。通过Ma的方法预测的相应结果也提供在图4中。在第一行中的超分辨图像,本发明与Ma的方法的预测结果都比较接近主观感知分数,但是本发明表现的更优。AdaBoost算法更注重错分样本,通过增加错分样本的权重,不断迭代以减少回归误差,同时通过增加弱回归器中回归误差率小的权重,最终提高预测结果的准确性。
本发明一种多视觉特征集成的无参考超分辨图像质量评价方法,其有益效果在于:本发明采用AdaBoost决策树回归模型通过增加具有较大回归误差的样本的权重,同时减少具有较小回归误差的样本的权重,将一组弱回归器集成为强回归器,从而缩小了预测质量分数与主观质量分数之间的差距,以达到较准确预测超分辨图像质量的目的。本发明提出了由粗到精的层次化回归模型以预测超分辨图像的质量,即通过三个独立的AdaBoost决策树回归粗略估算超分辨图像感知分数,然后通过脊回归模型进行层次化回归,以进一步提高评估准确性,层次化回归模型优于单一回归模型。本发明为探索超分辨图像的质量评估提供了一种有效的方法,仿真结果表明,本发明相比于现有的图像质量评价方法具有优越的性能,具有较强的主客观一致性。