CN109887023B - 一种基于加权梯度幅度的双目融合立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于加权梯度幅度的双目融合立体图像质量评价方法。客观图像质量评价算法根据是否利用原图像参与图像质量评价，可分为全参考、半参考和无参考图像质量评价算法三种。本发明采用的是半参考立体图像客观质量评价算法。与传统的融合左右眼图像生成独眼图算法不同，本发明将经过局部加权后的梯度幅度因子加入双目融合算法中，从而对传统的独眼图构造过程中丢失的结构信息进行一定补偿。本发明在消除对比度变化的同时增强局部图像结构。采用经典的自适应稀疏字典和OMP迭代算法，捕获随着迭代次数增加而增强的边缘和纹理信息，能更好的体现图像的结构信息。

Description

一种基于加权梯度幅度的双目融合立体图像质量评价方法

技术领域

本发明涉及图像处理领域，涉及应用局部加权梯度幅度图来模拟视网膜皮层信息，融合左右眼得到独眼图，并用经典字典进行重建进而得到信息熵，是一种立体图像客观质量评价方法的改进优化。

背景技术

视觉是人类感受人体外部器官世界的主要方式，获取高质量的视觉体验是人们自古至今不变的追求。随着近几年科学技术的发展，立体图像质量评价成为现代图像处理技术中的重要研究领域。但是人类视觉系统的复杂性给相关研究带来大量的技术障碍。双目视觉不仅是双眼视觉信息的简单叠加，其形成过程伴随着许多的附加效应。例如不同的失真类型，左右图像失真不对称，结构性失真和非结构性失真等等都会给评价准则带来一定的挑战。同时，立体图像质量评价也分为客观评价方法和主观评价方法，针对主观评价方法费事费力难以操作的缺点，客观评价方法显然具有更好的稳定性和高效性。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于加权梯度幅度的双目融合立体图像质量评价方法。客观图像质量评价算法根据是否利用原图像参与图像质量评价，可分为全参考、半参考和无参考图像质量评价算法三种。本发明采用的是半参考立体图像客观质量评价算法。与传统的融合左右眼图像生成独眼图算法不同，本发明将经过局部加权后的梯度幅度因子加入双目融合算法中，从而对传统的独眼图构造过程中丢失的结构信息进行一定补偿。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：建立梯度独眼图；

1-1.将经过对比敏感度函数滤波后的立体图像CM_v生成梯度幅度图GM_v，将得到的梯度幅度图GM_v进行局部加权，生成修正加权后的梯度幅度图WGM_v，加权后的梯度幅度图WGM_v计算如下：

其中，e是一个小的正常数，以避免当α(x，y)具有较小值时的数值不稳定；v∈(L，R)，代表左右立体图像；α(x，y)可根据公式

得出；其中CG(x，y)可根据公式

得出，π_x，y是以(x，y)为中心一个局部窗口；ω(x′，y′)是通过公式

满足∑_x′，y′ω(x′，y′)＝1的正对称权重；K(x，y)表示在(x，y)处的高斯核系数，窗口大小为8*8且σ＝0.5；

1-2.将局部加权后的梯度幅度图WGM_v与传统的独眼图计算相融合，得到梯度独眼图，计算方式如下：

其中，C(x，y)代表融合梯度幅度图WGM_v后的梯度独眼图，E是一个和原图像大小相同的全1矩阵；I_L(x，y)为原始左图像，I_R(x，y)为原始右图像；

步骤2：稀疏重构方法；

2-1.训练自适应稀疏字典；

在参考立体图像中随机抽取20张图片，每张图片随机选取其中方差较大的8*8不重叠立体图像块1000个，采用K-SVD算法训练自适应稀疏字典；

2-2.采用典型OMP算法重构图像，得到稀疏系数；

步骤3：基元分类；

聚类算法将基元分为texture基元、sketch基元和Dcprimarcy基元三类；

步骤4：系数求熵；

4-1.将每个立体图像块经过稀疏重构后得到的系数记为a^i，j，k，代表在第i次迭代中用于重建第k个立体图像块的第j个基元的系数；然后，计算第j个基元在i次迭代中用于重建所有立体图像块的系数之和的公式如下：

其中n是立体图像块的数量；考虑到不同的基元有不同的权重，采用L₁范数计算每个立体图像块的视觉基元j的概率密度，公式如下：

4-2.因为存在三类基元，故M_θ分类三种，θ∈{1，2，3}，分别代表texture基元、sketch基元和Dcprimarcy基元；其中texture基元数量占78％左右，而Dcprimarcy基元只占0.4％；

4-3.对概率密度进行熵计算，并将每一类别的基元进行相加，公式如下：

其中，L表示稀疏程度，用于控制OMP算法的迭代次数；根据每次迭代可求得三类熵值，每个梯度独眼图迭代L次可得到3*L个特征值；

步骤5：GA-SVR特征回归：

采用一个回归模型将提取的特征值映射为表示图像总体质量的分数，采用基于遗传算法的SVR模型来进行质量分数的预测；将所有的特征值输入基于遗传算法的支持向量机(GA-SVR)中进行回归学习，得到立体图像最终客观质量评分。

在LIVE 3D phase I数据库和LIVE 3D phase II数据库进行模型的训练以及样本测试；Phase I数据库是一个只包含对称失真立体图像的数据库，phase II数据库则包含对称和非对称失真立体图像；具体实施步骤如下：

①用遗传算法优化SVR中的惩罚因子C和径向基函数G这两个参数，选取最优的参数组合(C，G)，然后在数据库中随机选择80％的失真立体图像对作为训练集，输入到SVR中进行回归拟合，得到一个model，用于后续的图像集测试；

②将剩余20％的测试集放入model中进行训练，得到质量分数；

③重复步骤①和步骤②3000次，取均值作为最终的客观质量评分；注意每次选取训练集和测试集都是随机，并且集合中不能出现重叠元素。

本发明在传统的双目独眼图融合算法基础上加入局部加权的梯度幅度因子，在消除对比度变化的同时增强局部图像结构。采用经典的自适应稀疏字典和OMP迭代算法，捕获随着迭代次数增加而增强的边缘和纹理信息，能更好的体现图像的结构信息。

附图说明

图1为本发明的总体框图

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，本发明提出一种基于加权梯度幅度的双目融合立体图像质量评价方法，具体包括如下5个步骤：

步骤1：建立梯度独眼图。

1-1.计算基于CSF滤波阶段产生的立体图像CM_v和梯度幅度图GM_v，加权后的梯度幅度图计算如下：

其中e是一个小的正常数，以避免当α(x，y)具有较小值时的数值不稳定。v∈(L，R)，代表左右立体图像。α(x，y)可根据公式

得出。其中CG(x，y)可根据公式

得出，π_x，y是以(x，y)为中心一个局部窗口。ω(x′，y′)是通过公式

满足∑_x′，y′ω(x′，y′)＝1的正对称权重。K(x，y)表示在(x，y)处的高斯核系数，窗口大小为8*8且σ＝0.5。

1-2.将局部加权后的梯度幅度图WGM_v融入传统的独眼图计算中，计算方式如下：

其中，C(x，y)代表融合梯度幅度图WGM_v后的梯度独眼图，E是一个和原图像大小相同的全1矩阵。梯度独眼图在保留传统独眼图的优势的同时，弥补非对称左右图融合带来的结构信息丢失等劣势。I_L(x，y)为原始左图，I_R(x，y)为原始右图。

步骤2：稀疏重构方法。

2-1.训练自适应稀疏字典。

在参考立体图像中随机抽取20张图片，每张图片随机选取其中方差较大的8*8不重叠立体图像块1000个，采用K-SVD算法训练自适应稀疏字典。K-SVD算法是用于训练内容自适应稀疏字典的典型方法，其通过在每次迭代时访问整个训练集以迭代批处理方式执行，得到的字典包含256个基元。

2-2.采用典型OMP算法重构图像，得到稀疏系数。

稀疏重构图像采用典型OMP算法，OMP方法以贪婪的方式工作，在每次迭代时选择最相似的原语和残差。直观的说，首先挑选与图像块最相似的基元，然后选择一些用于塑造视觉内容的详细基元。

步骤3：基元分类。

迭代次数不同，选择的基元种类和数量也不同。本发明通过聚类算法将基元分为texture基元，sketch基元，Dcprimarcy基元三类。由实验可以得出，第一次迭代中选择的主要基元数量在随后的迭代中急剧下降，故将这类基元划分为Dcprimarcy，在随后的迭代中，图像的其他结构信息(例如边缘，纹理)逐渐浮现。在迭代次数大于20时，基元选择数量趋于稳定，纹理基元占大部分。采用K-means++聚类算法可以将其他的剩余基元划分为texture和sketch两类。实验中texture基元数量最多，大约占78％左右，而Dcprimarcy基元只占0.4％。

步骤4：系数求熵。

4-1.将每个立体图像块经过稀疏重构后得到的系数记为a^i，j，k，代表在第i次迭代中用于重建第k个立体图像块的第j个基元的系数。然后，计算第j个基元在i次迭代中用于重建所有图像块的系数之和的公式如下：

其中n是图像块的数量。考虑到不同的基元有不同的权重，采用L₁范数计算每个立体图像块的视觉基元j的概率密度，公式如下：

4-2.因为存在三类不同类型的基元，故M_θ分类三种，θ∈{1，2，3}，分别代表texture基元，sketch基元，Dcprimarcy基元。其中texture基元数量大约占78％左右，而Dcprimarcy基元只占0.4％。最后对概率密度进行熵计算，并将每一类别的基元进行相加，公式如下：

其中L表示稀疏程度，其控制OMP算法的迭代次数。根据每次迭代可求得三类熵值，每个梯度独眼图迭代L次可得到3*L个特征值。

步骤5：GA-SVR特征回归：

特征提取后，采用一个回归模型将各特征映射为表示图像总体质量的分数，传统支持向量回归中参数的选取具有很大的随机性(选取不当将大大影响SVR预测能力和泛化能力，故本发明采用基于遗传算法(Genetic algorithm，GA)的SVR模型来进行质量分数的预测。实验分别在LIVE 3D phase I数据库和LIVE 3D phase II数据库进行模型的训练以及样本测试。Phase I数据库是一个只包含对称失真立体图像的数据库，phase II数据库则包含对称和非对称失真立体图像。具体实施步骤如下：

①用遗传算法优化SVR中的惩罚因子C和径向基函数G2个参数，选取最优的参数组合(C，G)，然后在数据库中随机选择80％的失真立体图像对作为训练集，输入到SVR中进行回归拟合，得到一个model，用于后续的图像集测试；

②将剩余20％的测试集放入model中进行训练，得到质量分数；

③重复步骤①和步骤②3000次，取均值作为最终的客观质量评分。注意每次选取训练集和测试集都是随机，并且集合中不能出现重叠元素。

本发明的算法在LIVE 3D phase I和LIVE 3D phase II进行了实施。该数据库包含五种失真类型：IP2K压缩、JPEG压缩、白噪声(WN)、快速衰减(FF)和模糊(Blur)。LIVE 3Dphase I图像库包含20张原始立体图像对和365张对称失真立体图像对。LIVE 3D phase II图像库包含8张原始立体图像对和360张对称失真和非对称失真的立体图像对，其中120对为对称失真，240对为非对称失真。实验中选择了几种目前表现优秀的3D图像质量评价算法作为对比算法，使用了三个常用的评价指标PLCC(Pearson Linear CorrelationCoefficient)、SROCC(Spearman′s Rank OrderCorrelation Coefficient)、RMSE(RootMean Square Error)来衡量算法性能，PLCC和SROCC的值越大，RMSE的值越小，表明客观图像质量评价算法越好。

Claims (1)

1.一种基于加权梯度幅度的双目融合立体图像质量评价方法，其特征在于包括如下步骤：

步骤1：建立梯度独眼图；

1-1.将经过对比敏感度函数滤波后的立体图像CM_v生成梯度幅度图GM_v，将得到的梯度幅度图GM_v进行局部加权，生成修正加权后的梯度幅度图WGM_v，加权后的梯度幅度图WGM_v计算如下：

其中，e是一个小的正常数，以避免当α(x，y)具有较小值时的数值不稳定；v∈(L，R)，L代表左图像，R代表右图像；α(x，y)可根据公式

得出；其中CG(x′，y′)可根据公式

得出，π_x，y是以(x，y)为中心一个局部窗口；ω(x′，y′)是通过公式

满足∑_x′，y′ω(x′，y′)＝1的正对称权重；K(x，y)表示在(x，y)处的高斯核系数，窗口大小为8*8且σ＝0.5；

1-2.将局部加权后的梯度幅度图WGM_v与传统的独眼图计算相融合，得到梯度独眼图，计算方式如下：

其中，C(x，y)代表融合梯度幅度图WGM_v后的梯度独眼图，E是一个和原图像大小相同的全1矩阵；I_L(x，y)为原始左图像，I_R(x，y)为原始右图像；

步骤2：稀疏重构方法；

2-1.训练自适应稀疏字典；

在参考立体图像中随机抽取20张图片，每张图片随机选取其中方差较大的8*8不重叠立体图像块1000个，采用K-SVD算法训练自适应稀疏字典；

2-2.采用典型OMP算法重构图像，得到稀疏系数；

步骤3：基元分类；

聚类算法将基元分为texture基元、sketch基元和Dcprimarcy基元三类；

步骤4：系数求熵；

4-1.将每个立体图像块经过稀疏重构后得到的系数记为a^i，j，k，代表在第i次迭代中用于重建第k个立体图像块的第j个基元的系数；然后，计算第j个基元在i次迭代中用于重建所有立体图像块的系数之和的公式如下：

其中n是立体图像块的数量；考虑到不同的基元有不同的权重，采用L₁范数计算每个立体图像块的视觉基元j的概率密度，公式如下：

4-2.因为存在三类基元，故M_θ分类三种，θ∈{1，2，3}，分别代表texture基元、sketch基元和Dcprimarcy基元；其中texture基元数量占78％左右，而Dcprimarcy基元只占0.4％；

4-3.对概率密度进行熵计算，并将每一类别的基元进行相加，公式如下：

其中，L表示稀疏程度，用于控制OMP算法的迭代次数；根据每次迭代可求得三类熵值，每个梯度独眼图迭代L次可得到3*L个特征值；

步骤5：GA-SVR特征回归：

采用一个回归模型将提取的特征值映射为表示图像总体质量的分数，采用基于遗传算法的SVR模型来进行质量分数的预测；

在LIVE 3D phase I数据库和LIVE 3D phase II数据库进行模型的训练以及样本测试；Phase I数据库是一个只包含对称失真立体图像的数据库，phase II数据库则包含对称和非对称失真立体图像；具体实施步骤如下：

①用遗传算法优化SVR中的惩罚因子C和径向基函数G这两个参数，选取最优的参数组合(C，G)，然后在数据库中随机选择80％的失真立体图像对作为训练集，输入到SVR中进行回归拟合，得到一个model，用于后续的图像集测试；

②将剩余20％的测试集放入model中进行训练，得到质量分数；

③重复步骤①和步骤②3000次，取均值作为最终的客观质量评分；注意每次选取训练集和测试集都是随机，并且集合中不能出现重叠元素。

Images