CN107481221A - 基于纹理与卡通稀疏表示的全参考混合失真图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于纹理与卡通稀疏表示的全参考混合失真图像质量评价方法，包括：选取具有明显卡通和具有明显纹理特征的自然图像作为训练图像分别对卡通字典和纹理字典进行训练，得到的纹理字典与卡通字典；获得纹理与卡通稀疏系数。并分别构造两部分稀疏特征向量。通过考虑幅度与相位信息，利用参考图像块与失真图像块的两部分稀疏特征向量之间的相似性来评价图像块的失真水平；利用图像块方差作为图像块权重值，分别求得纹理稀疏特征与卡通稀疏特征图像质量为Q_tex与Q_car，最终的稀疏特征评估分数由Q_tex与Q_car两部分的质量分数进行综合得到Q_s。

Description

基于纹理与卡通稀疏表示的全参考混合失真图像质量评价 方法

技术领域

本发明属于图像处理领域，尤其平面图像的客观评价系统，涉及一种基于稀疏表示的全参考混合失真图像质量评价方法。

背景技术

图像质量评价方法可分为主观评价和客观评价两大类。前者由人直接对图像质量打分，后者则采用系统建模、统计运算等方法来完成对图像质量的评价。主观评价虽有较高的可靠性，但费用高、耗时长，难操作，因此客观评价方法更受学者关注。根据对参考图像的依赖程度，客观评价可分为全参考型、半参考型和无参考型客观评价方法。

最简单的全参考评价方法为均方误差(MSE)和峰值信噪比(PSNR)，它们计算简单、意义明确，但却不能很好地反映人的主观感受。随着对人类视觉系统(HVS)认识的不断深入，人们开始利用人类视觉系统的某些特性进行评价。由于稀疏表示能够很好地模拟视觉系统主视皮层V1区简单细胞感受野的接收特性，近年来受到越来越多的关注和研究。但现有的基于稀疏表示的评价方法仅针对单失真类型比较有效，而图像传送给接收者之前，会经过获取、压缩和传送等过程，这往往会给图像造成多种失真，因此评价混合失真类型图像具有很重要的现实意义。

发明内容

本发明针对基于稀疏表示的客观质量评价方法仅针对单失真类型比较有效的问题提出一种适用于评价混合失真图像的全参考图像质量评价方法。该方法将稀疏系数分解为纹理与卡通稀疏系数，分别分析不同失真类型对图像纹理与卡通成份造成的不同影响，从而能够很好地评估混合失真图像的失真水平。技术方案如下：

一种基于纹理与卡通稀疏表示的全参考混合失真图像质量评价方法，包括步骤如下：

第一步，选取具有明显卡通和具有明显纹理特征的自然图像作为训练图像。

第二步，通过训练得到纹理字典与卡通字典

训练纹理和卡通字典时均从训练图像中选择相同大小的图像块作为训练图像块，得到纹理字典与卡通字典。

第三步，获得纹理与卡通稀疏系数

将纹理字典和卡通字典组合成过完备字典，其左半部分与右半部分元素分别为纹理字典D_tex与卡通字典D_car；将大小均为M×N的待评价失真图像I^dis与参考图像I^ref划分为大小与训练图像块相同的非重叠块，参考图像块与失真图像块分别用向量和表示，与分别表示参考图像块与失真图像块的稀疏向量，分别为相应纹理稀疏系数与和卡通稀疏系数与的组合；求解稀疏向量与分别获得纹理稀疏系数和卡通稀疏系数，并分别构造两部分稀疏特征向量。

第四步，通过考虑幅度与相位信息，利用参考图像块与失真图像块的两部分稀疏特征向量之间的相似性来评价图像块的失真水平；

第五步，利用图像块方差作为图像块权重值，分别求得纹理稀疏特征与卡通稀疏特征图像质量为Q_tex与Q_car，最终的稀疏特征评估分数由Q_tex与Q_car两部分的质量分数进行综合得到Q_s。

本发明对纹理和卡通稀疏系数分别进行处理，且采用稀疏系数幅度信息与相位信息联合的方式来评估稀疏特征向量之间的相似度，从而评估失真图像块的失真水平。实验表明，在MDID2013与MLIVE数据上的评价结果与主观评价结果具有较好的相关性与较高的准确度，因此能够很好地评价混合失真图像质量。

附图说明

图1纹理卡通图

图2随机采样片与训练字典示意图，(a)为纹理采样片，(b)为纹理字典，(c)为卡通采样片，(d)为卡通字典

具体实施方式

下面结合附图对本发明做进一步阐述。

本发明首先训练纹理卡通字典，然后分别基于纹理卡通稀疏表示进行图像质量评估，具体做法如下：

第一步，选取具有明显卡通和具有明显纹理特征的自然图像分别对卡通字典和纹理字典进行训练。本发明用于训练卡通与纹理字典的自然图像数量分别为80张和100张。如图1所示，上面四幅图为纹理图像，其包含很多纹路细节，而下面四幅图为卡通图像，在卡通图像中除了一些边缘外其余部分很光滑。

第二步，对纹理和卡通字典进行训练。在进行字典训练和质量评估之前，为了消除图像内容的影响，本发明先对图像进行归一化处理。在纹理字典训练部分，从纹理训练图像中随机选择10000个8×8大小的图像块作为训练图像块，其中部分图像块如图2中(a)所示。每个图像块以列向量的形式组合成训练样本集合Y＝[y₁,y₂,...,y_p]∈R^n×P，其中每个图像块y_p∈R^n×1,p＝1,2,...,P包含n个像素点，这里n＝64,P＝10000。将样本集合作为输入进行字典训练。本发明训练一个大小为64×256的纹理字典D_tex＝[d₁,d₂,...,d_m]∈R^n×m，这里m＝256。设定每个块的稀疏表示系数非零项个数的最大值L＝8。在L的约束下，寻求重构错误最小的稀疏表示系数矩阵c_t＝[c₁,c₂,...,c_p]∈R^m×P，目标函数如下：

这里||·||₂代表二范数，||·||₀代表零范数。在这个阶段，D_tex与c_t是未知的，为了解决计算复杂度过高的问题，本发明采用K-SVD算法对字典进行训练。该算法通过迭代的方式不断更新字典D_tex与稀疏系数c_t，每次迭代分两个阶段：第一阶段，字典固定的情况下，通过正交匹配追踪算法(OMP)计算稀疏系数；第二阶段，在稀疏系数固定的情况下更新字典。通过该方法得到纹理字典D_tex，如图2中(b)所示。

卡通字典训练方式与纹理字典相同，在提取卡通图像样本集合时，这里从100幅卡通训练图像中选取10000个8×8大小的图像块，其中部分图像块如图2中(c)所示。得到的卡通字典D_car如图2中(d)所示。

第三步，获得纹理与卡通稀疏系数。为了让纹理卡通字典更准确地表达图像块，这里将纹理字典与卡通字典组合成过完备字典D∈R^n×2m，即：

D＝[D_tex,D_car] (2)

使用字典D获得图像块的稀疏表示。

假定待评价失真图像为I^dis，其参考图像为I^ref，两幅图像大小均为M×N。首先，将图像划分成大小为8×8的非重叠块，参考图像块与失真图像块分别用向量和表示，这里 为向下取整。与可表示为：

与分别表示参考图像块与失真图像块的稀疏向量，它们可看作其相应纹理稀疏系数与卡通稀疏系数的组合，如下所示：

D则为纹理字典与卡通字典组成的过完备字典。

为了使稀疏向量更好地表达图像块，本发明使用过完备字典D对与进行求解。因此设定每个块的稀疏表示系数非零项个数的最大值L₁＝16。在L₁的约束下，寻求重构错误最小的稀疏向量，目标函数为：

这里使用OMP算法对目标函数进行求解。

通过上述方法，本发明得到稀疏向量与根据公式(5)(6)分别获得纹理稀疏系数与卡通稀疏系数与利用两部分稀疏特征向量分别对图像进行质量评价。

第四步，利用稀疏特征向量之间的相似性来评价图像块的失真水平。图像结构性失真可通过稀疏向量的相位信息预测，但非结构性失真则需要利用幅度信息来测量。因此，为了更好地评估图像质量，本发明将稀疏向量的幅度信息与相位信息进行联合，进而评估稀疏特征向量之间的相似度。参考图像块与失真图像块稀疏特征向量之间的幅度信息相似度为：

通过计算余弦信息得到两者的相似度为：

联合过程如下：

其中<·>为求解内积。a与b分别为参考图像块与失真图像块稀疏特征向量。

纹理稀疏特征向量与和卡通稀疏特征向量与之间的相似度分别为：

其中，C1与C2为常数，和分别代表利用纹理稀疏特征与卡通稀疏特征求得的图像块质量。

图像中对比度较强的区域对认知质量分数有更重要的影响，而图像方差能够反应图像对比度，因此本发明使用图像块的方差值作为该图像块的权重。由此，利用纹理稀疏特征与卡通稀疏特征求得的图像质量分别为：

其中，V_i为图像块的方差值。

最终的稀疏特征评估分数由两部分的质量分数进行综合得到：

其中，参数a，b∈[0,1]。

第五步，对实验结果进行分析。本发明在MDID2013和MLIVE两个混合失真数据库上对算法性能进行评估，性能结果如表1所示。

表1性能

从表1可以看出评价结果与主观评价结果具有较好的相关性与较高的准确度，因此将稀疏系数分解为纹理与卡通两部分，并将稀疏系数幅度信息与相位信息结合对两部分稀疏系数进行处理，能够很好地评价混合失真图像质量。

Claims (1)

1.一种基于纹理与卡通稀疏表示的全参考混合失真图像质量评价方法，包括步骤如下：

第一步，选取具有明显卡通和具有明显纹理特征的自然图像作为训练纹理字典与卡通字典的训练图像；

第二步，通过训练得到纹理字典与卡通字典

训练纹理和卡通字典时均从训练图像中选择相同大小的图像块作为训练图像块，得到纹理字典与卡通字典；

第三步，获得纹理与卡通稀疏系数

将纹理字典和卡通字典组合成过完备字典，其左半部分与右半部分元素分别为纹理字典D_tex与卡通字典D_car；将大小均为M×N的待评价失真图像I^dis与参考图像I^ref划分为大小与训练图像块相同的非重叠块，参考图像块与失真图像块分别用向量和表示，与分别表示参考图像块与失真图像块的稀疏向量，分别为相应纹理稀疏系数与和卡通稀疏系数与的组合；求解稀疏向量与分别获得纹理稀疏系数和卡通稀疏系数，并分别构造两部分稀疏特征向量；

第四步，通过考虑幅度与相位信息，利用参考图像块与失真图像块的两部分稀疏特征向量之间的相似性来评价图像块的失真水平；

第五步，利用图像块方差作为图像块权重值，分别求得纹理稀疏特征与卡通稀疏特征图像质量为Q_tex与Q_car，最终的稀疏特征评估分数由Q_tex与Q_car两部分的质量分数进行综合得到Q_s。