CN104091343B - 基于稀疏结构的图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于稀疏结构的图像质量评价方法，用于解决现有图像质量评价方法评价效果差的技术问题。技术方案是对于输入的参考和退化图像，首先进行采样，得到参考图像采样矩阵和退化图像采样矩阵。然后使用参考图像采样矩阵学习出字典。求稀疏解就是使用学习出的字典，稀疏表示参考图像矩阵和退化图像矩阵，得到参考图像稀疏表示系数矩阵和退化图像稀疏表示系数矩阵。最后使用稀疏系数结构改变度评价图像质量。该方法采用稀疏结构来评价图像质量，能够更好地评价图像质量。且计算更加简单，由于不涉及具体稀疏表示系数的幅度值，所以鲁棒性更强。

Description

基于稀疏结构的图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，特别涉及一种基于稀疏结构的图像质量评价方法。

背景技术

图像质量评价作为图像处理领域的重要研究方向，涉及到图像识别、生物医学、工业流程监控以及战场监视等众多领域，备受研究者关注。

文献1"Guha.Tanaya,Nezhadarya.Ehsan,Ward.Rabab K.Learning sparsemodels for image quality assessment.Acoustics,Speech and Signal Processing(ICASSP),2014IEEE International Conference on,4-9May2014,Florence Italy.P151-155"公开了一种基于稀疏表示模型的图像质量评价方法。该方法分为两个阶段，第一个阶段是字典学习阶段：首先对参考图像进行随机采样获得训练样本，然后使用K-svd方法从训练样本中学习出字典。第二个阶段是评价阶段：首先使用频谱显著度分析法寻找出参考图像中的显著图像块。然后使用正交匹配追踪法(OMP)分别计算参考图像显著图像块和与之对应的退化图像显著图像块，得到参考图像稀疏表示系数向量和退化图像稀疏表示系数向量。最后给出两个评价指标，一个是参考图像稀疏表示系数向量与退化图像稀疏表示系数向量的内积，另一个是参考图像稀疏表示系数向量与退化图像稀疏表示系数向量的欧式距离。将两个评价指标的乘积作为最后的评价指标。

这种基于稀疏表示模型的图像质量评价方法在评价阶段使用的两个评价指标都只强调了稀疏表示系数中的幅度信息，而没有考虑到稀疏表示系数中非零元素的位置信息。稀疏表示系数中非零元素的位置体现了在稀疏表示中使用了字典中的哪些原子，非零元素位置的变化代表了相应图像块中结构的变化。忽略非零元素的位置信息会导致评价方法对图像结构损失的评价不敏感，这也造成该方法对高斯模糊和JPEG2000这种图像结构损失较明显的失真图像的评价效果较差。

发明内容

为了克服现有图像质量评价方法评价效果差的不足，本发明提供一种基于稀疏结构的图像质量评价方法。该方法对于输入的参考和退化图像，首先进行采样，得到参考图像采样矩阵和退化图像采样矩阵。然后使用参考图像采样矩阵学习出字典。求稀疏解就是使用学习出的字典，稀疏表示参考图像矩阵和退化图像矩阵，得到参考图像稀疏表示系数矩阵和退化图像稀疏表示系数矩阵。最后使用稀疏系数结构改变度评价图像质量。该方法采用稀疏结构来评价图像质量，能够更好地评价图像质量。且计算更加简单，由于不涉及具体稀疏表示系数的幅度值，所以鲁棒性更强。

本发明解决其技术问题所采用的技术方案：一种基于稀疏结构的图像质量评价方法，其特点是包括以下步骤：

步骤一、图像采样阶段，首先对所有参考图像和退化图像分别进行取块采样，采样块的大小为采样规则为从左到右，从上到下的非重叠采样。当图像边缘像素不够采样块时，丢弃边缘位置图像。采样总数为N。将每个采样块按列拉直，形成采样列向量，采样列向量长度为n。将每个采样块称为一个样本。故每幅图像通过采样操作转化成一个n×N的矩阵。

步骤二、稀疏字典建立阶段，将所有参考图像采样矩阵联列在一起作为训练样本，然后使用K-svd方法从训练样本中学习得到字典D，字典D的大小为n×m，为了保证字典的冗余度，m＞＞n。

步骤三、分别用IM_dis(i)和IM_ref(i)表示第i幅退化图像和与之对应的参考图像的采样矩阵。使用正交匹配追踪法求出IM_dis(i)和IM_ref(i)的稀疏表示系数矩阵α_dis(i)和α_ref(i)。

求解图像x关于字典D的稀疏表示系数的过程用式(1)表示：

$\underset{\mathrm{\&alpha;}}{\min }{\left|\right|x-\mathrm{D\&alpha;}\left|\right|}_F^2\mathrm{subject}\mathrm{}\mathrm{to}{\left|\right|\mathrm{\&alpha;}\left|\right|}_0<\mathrm{\&tau;}---\left(1\right)$

其中，α表示图像x关于字典D的稀疏表示系数。||·||_F表示矩阵的Frobenius范数，||·||₀表示向量的零-范数，即向量中非零元素的个数，τ为稀疏度阈值，τ远远小于n。

分别使用I_ref和I_dis表示参考图像和退化图像，使用正交匹配追踪法求解式(1)，分别求得I_ref和I_dis关于字典D的参考图像稀疏表示系数α_ref和退化图像稀疏表示系数α_dis。

步骤四、分别记录α_dis(i)和α_ref(i)中每一列非零元素的位置作为退化图像和参考图像的稀疏结构，分别记为Sα_dis(i)和Sα_ref(i)。分别使用Sα_dis(i，j)和Sα_ref(i,j)表示第i幅退化图像和参考图像的第j个采样样本的稀疏结构。计算每个采样样本的结构变化度。

设第i幅退化图像的第j个采样样本相对于其对应参考图像相同位置的采样样本稀疏结构改变量为采样个数为N_i。第i幅退化图像的稀疏结构改变度第i幅退化图像的稀疏表示系数中非零元素的个数为：其中为第i幅退化图像的第j个采样样本的稀疏表示系数的稀疏度。最终求得第i幅退化图像的稀疏结构改变度 ${\mathrm{SSV}}_i=\frac{\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{K}_i^j}{\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{\mathrm{\&tau;}}_i^j}.$

使用稀疏结构评价图像质量阶段，首先计算α_dis中相对于α_ref中位置发生变化的非零元素的个数，记为K。然后计算α_dis中非零元素的总数记为T。定义稀疏结构改变度如下：

$\mathrm{SSV}=\frac{K}{T}---\left(2\right)$

使用SSV作为图像的质量评价指标。由定义看出SSV∈[0,1]，SSV越大说明图像稀疏结构改变越多，质量也越差，反之图像质量越高。

本发明的有益效果是：该方法对于输入的参考和退化图像，首先进行采样，得到参考图像采样矩阵和退化图像采样矩阵。然后使用参考图像采样矩阵学习出字典。求稀疏解就是使用学习出的字典，稀疏表示参考图像矩阵和退化图像矩阵，得到参考图像稀疏表示系数矩阵和退化图像稀疏表示系数矩阵。最后使用稀疏系数结构改变度评价图像质量。该方法采用稀疏结构来评价图像质量，能够更好地评价图像质量。且计算更加简单，由于不涉及具体稀疏表示系数的幅度值，所以鲁棒性更强。

表1给出了对于LIVE II数据库的整体评价指标与数据库给出的主观评价值之间的Pearson线性相关系数(PLCC)和Spearman秩相关系数(SROCC)。

表1 LIVE II数据库整体实验结果

表2给出了对于高斯模糊噪声和JPEG2000噪声图像的评价结果对比。

表2 对于高斯模糊噪声和JPEG2000噪声图像的评价结果

由表1和表2可以看出，相比较于文献1，本发明方法对于高斯模糊噪声图像的评价效果提高了4％，对于JPEG2000噪声图像的评价效果提高了1％，且对于LIVE II数据库整体评价性能都优于文献1方法。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于稀疏结构的图像质量评价方法的流程图。

具体实施方式

参照图1。本发明基于稀疏结构的图像质量评价方法具体步骤如下。

以LIVE II数据库为例，LIVE II图像质量评价数据库由779幅退化图像和29幅参考图像组成，共有5种失真类型。

(1)图像采样。

对参考图像和退化图像分别进行采样，采样块大小为11×11像素，采样规则为从左到右，从上到下的非重叠采样。当图像边缘像素不够采样块时，丢弃边缘图像。采样块的数量随图像大小而变化，记为N。将采样后的图像块按列拉直成列向量，并按采样顺序排列成采样矩阵，因为采样矩阵的每一列代表一个图像块，所以采样矩阵的列数即为采样块的个数，采样矩阵的大小为121×N。例如LIVE II数据库中一幅大小为：505×631的图像，采样矩阵大小为121×2565。

(2)学习字典。

将LIVE II数据库中的29幅参考图像的采样矩阵联列起来，形成训练样本矩阵，使用K-svd学习出字典D，本发明使用稀疏度作为收敛条件，稀疏度设置为12，迭代次数100，字典基的个数m＝242，训练得到的字典D大小为121×242。

(3)求解稀疏表示系数。

分别用IM_dis(i)和IM_ref(i)表示第i幅退化图像和与之对应的参考图像的采样矩阵，大小都为121×N_i。使用正交匹配追踪法(OMP)求出IM_dis(i)和IM_ref(i)的稀疏表示系数矩阵α_dis(i)和α_ref(i)。本发明中OMP的收敛条件采用稀疏度约束，稀疏度设置为6。最终求得α_dis(i)和α_ref(i)的小大都为242×N_i。

求解图像x关于字典D的稀疏表示系数的过程可用式(1)表示：

$\underset{\mathrm{\&alpha;}}{\min }{\left|\right|x-\mathrm{D\&alpha;}\left|\right|}_F^2\mathrm{subject}\mathrm{}\mathrm{to}{\left|\right|\mathrm{\&alpha;}\left|\right|}_0<\mathrm{\&tau;}---\left(1\right)$

其中α表示图像x关于字典D的稀疏表示系数。||·||_F表示矩阵的Frobenius范数，||·||₀表示向量的零-范数，即向量中非零元素的个数，τ为稀疏度阈值，一般来说τ远远小于n。

分别使用I_ref和I_dis表示参考图像和退化图像，使用正交匹配追踪法求解式(1)，可以分别求得I_ref和I_dis关于字典D的参考图像稀疏表示系数α_ref和退化图像稀疏表示系数α_dis。

(4)求稀疏结构，使用稀疏结构改变度评价图像质量。

分别记录α_dis(i)和α_ref(i)中每一列非零元素的位置作为退化图像和参考图像的稀疏结构，分别记为Sα_dis(i)和Sα_ref(i)。分别使用Sα_dis(i，j)和Sα_ref(i,j)表示第i幅退化图像和参考图像的第j个采样样本的稀疏结构。计算每个采样样本的结构变化度。例如，Sα_dis(i，j)＝[1,2,3,4,5,6]，Sα_ref(i,j)＝[3,4,5,6,7,8]，就认为第i幅退化图像的第j个采样样本稀疏结构变化度为2。

设第i幅退化图像的第j个采样样本相对于其对应参考图像相同位置的采样样本稀疏结构改变量为采样个数为N_i。第i幅退化图像的稀疏结构改变度第i幅退化图像的稀疏表示系数中非零元素的个数为：其中为第i幅退化图像的第j个采样样本的稀疏表示系数的稀疏度。最终求得第i幅退化图像的稀疏结构改变度 ${\mathrm{SSV}}_i=\frac{\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{K}_i^j}{\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{\mathrm{\&tau;}}_i^j}.$

由此可计算出LIVE II数据库中779幅退化图像的稀疏结构改变度SSV。

使用稀疏结构评价图像质量阶段，首先计算α_dis中相对于α_ref中位置发生变化的非零元素的个数，记为K。然后计算α_dis中非零元素的总数记为T。定义稀疏结构改变度如下：

$\mathrm{SSV}=\frac{K}{T}---\left(2\right)$

使用SSV作为图像的质量评价指标。由定义可以看出SSV∈[0,1]，SSV越大说明图像稀疏结构改变越多，质量也越差，反之图像质量越高。

Claims (1)

1.一种基于稀疏结构的图像质量评价方法，其特征在于包括以下步骤：

步骤一、图像采样阶段，首先对所有参考图像和退化图像分别进行取块采样，采样块的大小为采样规则为从左到右，从上到下的非重叠采样；当图像边缘像素不够采样块时，丢弃边缘位置图像；采样总数为N；将每个采样块按列拉直，形成采样列向量，采样列向量长度为n；将每个采样块称为一个样本；故每幅图像通过采样操作转化成一个n×N的矩阵；

步骤二、稀疏字典建立阶段，将所有参考图像采样矩阵联列在一起作为训练样本，然后使用K-svd方法从训练样本中学习得到字典D，字典D的大小为n×m，为了保证字典的冗余度，m＝242，n＝121；

步骤三、分别用IM_dis(i)和IM_ref(i)表示第i幅退化图像和与之对应的参考图像的采样矩阵；使用正交匹配追踪法求出IM_dis(i)和IM_ref(i)的稀疏表示系数矩阵α_dis(i)和α_ref(i)；

求解图像x关于字典D的稀疏表示系数的过程用式(1)表示：

$\begin{array}{cccc}\underset{\mathrm{\&alpha;}}{min}& \left|\right|x-D\mathrm{\&alpha;}|{|}_F^2& subjectto& \left|\right|\mathrm{\&alpha;}|{|}_0<\mathrm{\&tau;}\end{array}---\left(1\right)$

其中，α表示图像x关于字典D的稀疏表示系数；||·||_F表示矩阵的Frobenius范数，||·||₀表示向量的零-范数，即向量中非零元素的个数，τ为稀疏度阈值，τ设置为6；

分别使用I_ref和I_dis表示参考图像和退化图像，使用正交匹配追踪法求解式(1)，分别求得I_ref和I_dis关于字典D的参考图像稀疏表示系数α_ref和退化图像稀疏表示系数α_dis；

步骤四、分别记录α_dis(i)和α_ref(i)中每一列非零元素的位置作为退化图像和参考图像的稀疏结构，分别记为Sα_dis(i)和Sα_ref(i)；分别使用Sα_dis(i，j)和Sα_ref(i,j)表示第i幅退化图像和参考图像的第j个采样样本的稀疏结构；计算每个采样样本的结构变化量；

设第i幅退化图像的第j个采样样本相对于其对应参考图像相同位置的采样样本稀疏结构改变量为采样个数为N_i；第i幅退化图像的稀疏结构改变量第i幅退化图像的稀疏表示系数中非零元素的个数为：其中为第i幅退化图像的第j个采样样本的稀疏表示系数的稀疏度；最终求得第i幅退化图像的稀疏结构改变度

使用稀疏结构评价图像质量阶段，首先计算α_dis中相对于α_ref中位置发生变化的非零元素的个数，记为K；然后计算α_dis中非零元素的总数记为T；定义稀疏结构改变度如下：

$SSV=\frac{K}{T}---\left(2\right)$

使用SSV作为图像的质量评价指标；由定义看出SSV∈[0,1]，SSV越大说明图像稀疏结构改变越多，质量也越差，反之图像质量越高。