CN108269253A - 基于小波变换和局部结构特征的立体图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于小波变换与局部结构特征的无参考立体图像质量评价方法，步骤如下：第一步：构建合成图；第二步：对于失真立体图像的左视图和右视图、视差图和合成图均进行双树复小波变换；第三步：从小波子带中提取相位幅度特征和梯度特征；第四步：建立回归模型，预测图像质量。

Description

基于小波变换和局部结构特征的立体图像质量评价方法

技术领域

本发明属于图像处理领域，具体是立体图像质量的客观评价系统，涉及应用相位幅度特征和梯度特性在立体图像上的客观图像质量评价方法。

背景技术

随着科学技术的不断发展，图像的质量评价在诸如处理、传输和存储等应用中已经变得日益重要，因此，建立有效的图像质量评价机制至关重要。图像质量评价主要包括主观图像质量评价和客观图像质量评价，主观图像质量评价是基于人为的感受对图像进行主观评分，主观图像质量评价耗时耗力，难以推广实现，因此客观图像质量评价受到青睐。客观图像质量评价依据对原始图像的依赖程度分为：全参考型、半参考型和无参考型三种类型。本发明主要研究无参考型立体图像质量评价，双树复小波变换具有方向选择性并且能克服对平移敏感的缺陷，梯度特征能够直观地反应图像的边缘和结构信息，相位幅度特征能够描述图像局部结构失真。本发明借鉴了在小波域提取表征图像结构失真特征的思想，同时考虑了相位幅度和梯度描述图像局部结构特征的能力，通过分析失真图像的相位幅度和梯度在双树复小波变换子带上的表现，提出了一种新的基于双树复小波变换和局部结构特征的无参考立体图像质量评价方法。

发明内容

本发明的目的在于针对失真立体图像质量评价问题，提出一种可以获得更好的立体图像质量评价效果的无参考立体图像质量评价方法。本发明利用左右视图计算视差图及合成图，小波分解左右视图、视差图和合成图并提取小波子带中的特征，将所有特征输入图像质量预测模型进行图像质量评价。技术方案如下：

一种基于小波变换与局部结构特征的无参考立体图像质量评价方法，步骤如下：

第一步：构建合成图

利用失真立体图像的左视图和右视图计算出视差图，再由左视图和视差图通过归一化Gabor滤波能量响应得到左视图和右视图的图像权重，根据图像权重生成合成图。

第二步：双树复小波变换

对于失真立体图像的左视图和右视图、视差图和合成图均进行双树复小波变换,将每幅图像分解成3层，每层6个方向，得到18个小波子带；

第三步：从小波子带中提取相位幅度特征和梯度特征

(1)从左视图、右视图、视差图及合成图的各小波子带中提取相位LP(x,y)和幅度LA(x,y)，对相位LP(x,y)和幅度LA(x,y)进行线性加权得S(x,y)，在小波子带上对S(x,y)作均值作为相位幅度特征S；

(2)将左视图、右视图和合成图的各小波子带变换到梯度域，采用小波子带上求梯度幅值的均值作为对图像质量感知的梯度特征G；

第四步：建立回归模型，预测图像质量

以径向基核作为核函数的支持向量回归模型分成训练部分和测试部分，对应的失真立体图像数据库里的图像分为训练部分和测试部分，在训练部分中，对提取的两个方面的图像特征及其相应的主观评分值应用支持向量回归进行训练模型；在测试部分，将提取出的图像特征输入到已训练好的模型中，得到预测的质量分数，从而实现立体图像质量评价。

优选地，步骤二中，第n层的±15°，±45°，±75°子带的小波系数分别表示为n＝1,2,3。

步骤三中，相位LP(x,y)和幅度LA(x,y)计算如下：

其中o_m是相位一致性最大时的方向，为在s尺度下沿o_m方向，位置(x,y)处的幅值；[η_s,o,ζ_s,o]定义为尺度s及方向o下频域log-Gabor滤波器的响应。

利用相位LP(x,y)和幅度LA(x,y)进行线性加权得S(x,y):

S(x,y)＝W_LP·LP(x,y)+W_LA·LA(x,y)+b

取相位的权重W_LP＝0.82，幅度的权重W_LA＝0.18，b＝2.5，

将小波子带的S(x,y)取均值作为相位幅度特征S:

梯度特征G通过下式计算得到：

其中M×N是小波子带的大小，梯度幅度|G(x,y)|表示如下：

G_x，G_y分别表示水平方向和垂直方向小波子带图像f(x,y)的偏导数。

本发明具有以下优点：

(1)本发明具有性能好，与人类视觉系统有较高的一致性等特点。优于目前大多数主流算法。

(2)本发明考虑了立体图像特有的视差信息，将左右视图、合成图和视差图进行双树复小波变换，并从小波子带中提取表征图像结构和边缘的特征，实验结果表明本发明能达到很高立体图像质量预测准确性。

附图说明：

图1立体图像质量评价方法流程图；

图2图像质量预测模型图。

具体实施方式

本发明提出一种基于在失真立体图像的左右视图、合成图和视差图的小波子带上提取相位幅度特征和梯度特征的无参考立体图像质量评价方法。为使本发明的技术方案更加清楚，下面对本发明具体实施方式做进一步地描述。

第一步：构建合成图

合成图由左右视图及其视差计算而得，其公式为：

C(x,y)＝ω_L(x,y)·I_L(x,y)+ω_R(x+d,y)·I_R(x+d,y) (1)

其中，d表示视差，C是合成图，I_R、I_L分别表示右视点图和左视点图，ω_L和ω_R为左右视图的权重值。左右权重的计算是通过归一化二维复Gabor滤波器四个方向的能量响应赋值得到。

二维复Gabor滤波器定义为：

其中，R₁＝xcosθ+ysinθ,R₂＝-xsinθ+ycosθ。θ是滤波方向(滤波方向包括主、次对角线，水平方向，垂直方向)，σ_x，σ_y是标准差，ζ_x，ζ_y为空间频率，空间频率设为3.67cycle/degree。

Gabor滤波器不同滤波方向的幅值能量响应Q_z(x,y,θ)可通过二维复Gabor滤波器与图像卷积得到：

Q_z(x,y,θ)＝|I_z(x,y)*G(x,y,σ_x,σ_y,ζ_x,ζ_y,θ)|² (3)

其中z∈{L,R}，*表示卷积。Gabor滤波器在四个不同方向(主次两个对角线、水平、垂直)的幅值能量响应Q_z(x,y,θ)之和作为Gabor滤波器能量响应值GE_z。

因此得到左右权重ω_L和ω_R如下式：

GE_L，GE_R为能量响应值。

第二步：双树复小波变换

本发明在左右视图、合成图和视差图上进行小波分解，小波子带中不同方向的子带有不同的高频分量，不同的高频分量描述不同的图像结构细节信息，因此可在小波各子带上提取能表示结构和边缘等细节信息的特征。考虑到不同分辨率反映不同的图像结构，本发明将每幅输入图像分解成3层，每层6个方向，即：

它们分别表示第n层的±15°，±45°，±75°子带的小波系数，n＝1,2,3。

第三步：特征提取

(1)相位幅度特征

由于离散付里叶变换获得的全局相位一致性(Phase congruency PC)不能有效描述图像结构失真，而由PC引出的相位和幅度特征对度量图像局部结构失真程度有重要意义。本发明借助图像相位和幅度特征参与描述失真立体图像，对图像小波子带的相位和幅度特征线性加权后作均值，对相位和幅度线性加权的目的是更好地反映相位和幅度的变化以及降低复杂度。本发明将提取的失真图像小波子带的局部相位幅度特征定义为：

其中(x,y)是像素点位置，M×N是图像大小，S(x,y)是对相位和幅度进行线性加权的函数，用以描述图像像素变化，S(x,y)计算如下：

S(x,y)＝W_LP·LP(x,y)+W_LA·LA(x,y)+b (8)

W_LP和W_LA分别为相位和幅度的权重，b是一个常数。考虑到相位比幅度更能有效的反映图像失真，设|W_LP|＞|W_LA|。LP(x,y)，LA(x,y)分别是局部相位和局部幅值。

定义局部相位LP(x,y)为当相位一致性(PC)取最大值所得方向o时F_o(x,y)与H_o(x,y)的夹角：

O_m是PC最大时的方向。F_o(x,y)＝∑_sη_s,o(x,y)，H_o(x,y)＝∑_sζ_s,o(x,y)，[η_s,o,ζ_s,o]定义为不同尺度不同方向下频域log-Gabor滤波器的响应,s是滤波器的空间尺度系数。频域log-Gabor滤波器G_s,o定义如下：

其中s是空间尺度系数；ω归一化径向频率，ω_s是相应的中心频率；θ是滤波器方向角，θ_o相应的滤波器方向；参数σ_s和σ_o决定滤波器强度。本发明设log-Gabor中各参数为ω_s＝1/6，θ_o＝0，σ_s＝0.3，σ_o＝0.4。滤波器的尺度和方向均设为4。

定义沿滤波器方向o的PC为：

其中E_o(x,y)沿方向o的局部能量，ε是一个很小的正常数，A_s,o(x,y)为在s尺度下沿o方向，位置(x,y)处的幅值，E_o(x,y)和A_s,o(x,y)可通过下式计算而得：

定义局部幅值LA(x,y)为沿方向O_m所有尺度下幅值之和：

(2)梯度特征

图像失真可以通边缘表现，图像中的边缘与像素的变化有直接的关系，而像素的变化可以通过相邻像素的梯度求得，因此本发明采用梯度特征描述图像边缘失真。

本发明定义梯度特征为：

梯度幅度|G(x,y)|表示如下：

G_x，G_y分别表示水平方向和垂直方向图像f(x,y)的偏导数，G_x，G_y由下式计算：

第四步：图像质量预测模型建立及性能参数生成

本发明对左右视图、合成图和视差图分别进行三层双树复小波变换后提取每个子带信号的相位幅度特征，以及对左右视图和合成图进行三层双树复小波变换后求取小波子带的梯度特征作为图像质量感知特征，共提取特征数为126个。特征提取后，采用一个回归模型将各特征映射为表示图像总体质量的分数，考虑到SVR具有较强的稳定性和泛化性，本发明采用以径向基核作为核函数的SVR作为图像质量预测的回归模型。分别在LIVE3DIQDPhase 1数据库(只含对称失真立体图像)和LIVE3DIQD Phase 2数据库(包含对称及非对称失真立体图像)两个失真数据库中测试本发明提出的算法性能。模型建立及算法测试具体方法如下：1).在每个数据库中随机选择80％的失真立体图像对作为训练部分，剩余20％的失真图像作为测试部分。2).输入训练部分图像的相位幅度和梯度特征及对应图像的主观质量分数值，采用SVR网络进行训练，获得特征到主观质量分数的映射关系模型；对测试部分图像，利用得到的模型预测图像质量。并分别计算PLCC、SROCC和RMSE值。3).重复1)和2)过程1000次，分别对1000次测试得到的PLCC、SROCC和RMSE值取均值作为最终的PLCC、SROCC和RMSE值，用作算法性能比较参数。

第五步：选择数据库及选取参数

本发明性能测试在2个公开图像质量数据库中进行，如表1所示，数据库包括LIVE3DIQD Phase 1和LIVE3DIQD Phase 2。LIVE3DIQD Phase 1数据库中共有365幅失真立体图像及20幅原始图像,均是左右失真程度相同的对称失真,包含5种失真类型:JPEG、JP2K、G Blur、WN以及FF。LIVE-3D II数据库包括360幅失真立体图像及8幅原始图像，包括对称和非对称2种失真,包含5种失真类型:JPEG、JP2K、G Blur、WN、FF。

表1数据库信息

Tab.1 Database information

本发明采用国际通用的图像质量评价算法性能指标：皮尔森线性相关系数(Pearson linear correlation coefficient,PLCC)、斯皮尔曼排序相关系数(Spearmanrank-order correlation coefficient,SROCC)和均方根误差(root-mean-squarederror,RMSE)。其中PLCC和RMSE指标用以衡量客观算法的预测准确性，而SROCC指标衡量客观算法的预测单调性。PLCC和SROCC的范围是[0,1]，值越接近1表明算法性能越好；而RMSE的值越小，则算法性能越好。同时也说明图像客观预测质量分数与主观质量分数相关性越高。

考虑到不同的相位和幅度对图像失真程度反映不同，并且相位对失真图像的影响远远大于幅度，需要适当选取如下几个参数：W_LP、W_LA和b。本发明选择W_LP＝0.82、W_LA＝0.18和b＝2.5。

第六步：算法性能的比较和分析

表2和表3给出了本发明算法与一些主流图像质量评价算法性能的比较结果。包括FSIM、MS-SSIM、VIF、Shao、Lin，Zhou、Akhter、LinY。其中FSIM、MS-SSIM、VIF为2D图像质量评价算法，将每种平面图像质量算法分别对左右视图进行图像质量预测，再取二者均值作为3D图像质量预测分数。为了方便观看，表2和表3中用加粗字体表示性能最好的一个算法。

从表2中可以看出：1)本算法在LIVE3DIQD Phase 1数据库和LIVE3DIQD Phase 2数据库上的性能都优于其它算法，具有比较高的准确性；2)因为LIVE3DIQD Phase 1数据库只包含对称失真，LIVE3DIQD Phase 2数据库既有对称失真又有非对称失真。所以，大多数算法在LIVE3DIQD Phase 2数据库上的性能远低于在LIVE3DIQD Phase 1数据库的性能，但是本发明算法在LIVE3DIQD Phase 2数据库上仍然有较高的准确性。本算法还分别对LIVE3DIQD Phase 1数据库的5类失真图像逐一进行质量分数预测，与各算法的结果对比如表3，从表3中可以看出，本算法总体优于其它算法，本发明算法对JP2K、WN、G blur三种失真图像均有很高的主客观一致性。

小波系数中不同的高频分量描述了不同的图像结构细节信息，本发明算法首次在小波域提取能够表征图像局部结构等信息的相位、幅度和梯度特征。考虑到相位比幅度更能有效反映图像结构失真，本算法对相位赋予更大的权值。图像失真会引起像素跳变，像素变化与图像边缘有直接关系，梯度能够反映相邻像素的变化，因而求取梯度特征能够反映图像边缘等结构信息。因此本算法在LIVE3DIQD Phase 1数据库和LIVE3DIQD Phase 2数据库中主客观质量分数相关性较好，实验结果证明小波子带的相位幅度特征和梯度特征可以描述图像结构失真和边缘变化。

表2算法性能比较

Tab.2 Performance comparison of algorithms

表3 LIVE3DIQD Phase 1数据库上单一失真性能比较

Tab.3 Detailed performance comparison on LIVE3DIQD Phase 1

Claims (4)

1.一种基于小波变换与局部结构特征的无参考立体图像质量评价方法，步骤如下：

第一步：构建合成图

利用失真立体图像的左视图和右视图计算出视差图，再由左视图和视差图通过归一化Gabor滤波能量响应得到左视图和右视图的图像权重，根据图像权重生成合成图。

第二步：双树复小波变换

对于失真立体图像的左视图和右视图、视差图和合成图均进行双树复小波变换,将每幅图像分解成3层，每层6个方向，得到18个小波子带；

第三步：从小波子带中提取相位幅度特征和梯度特征

(1)从左视图、右视图、视差图及合成图的各小波子带中提取相位LP(x,y)和幅度LA(x,y)，对相位LP(x,y)和幅度LA(x,y)进行线性加权得S(x,y)，在小波子带上对S(x,y)作均值作为相位幅度特征S；

(2)将左视图、右视图和合成图的各小波子带变换到梯度域，采用小波子带上求梯度幅值的均值作为对图像质量感知的梯度特征G；

第四步：建立回归模型，预测图像质量

以径向基核作为核函数的支持向量回归模型分成训练部分和测试部分，对应的失真立体图像数据库里的图像分为训练部分和测试部分，在训练部分中，对提取的两个方面的图像特征及其相应的主观评分值应用支持向量回归进行训练模型；在测试部分，将提取出的图像特征输入到已训练好的模型中，得到预测的质量分数，从而实现立体图像质量评价。

2.根据权利要求1所述的评价方法，其特征在于，步骤二中，第n层的±15°，±45°，±75°子带的小波系数分别表示为n＝1,2,3。

3.根据权利要求1所述的评价方法，其特征在于，步骤三中，

相位LP(x,y)和幅度LA(x,y)计算如下：

其中o_m是相位一致性最大时的方向，为在s尺度下沿o_m方向，位置(x,y)处的幅值；[η_s,o,ζ_s,o]定义为尺度s及方向o下频域log-Gabor滤波器的响应。

利用相位LP(x,y)和幅度LA(x,y)进行线性加权得S(x,y):

S(x,y)＝W_LP·LP(x,y)+W_LA·LA(x,y)+b

取相位的权重W_LP＝0.82，幅度的权重W_LA＝0.18，b＝2.5，

将小波子带的S(x,y)取均值作为相位幅度特征S:

4.根据权利要求1所述的评价方法，其特征在于，梯度特征G通过下式计算得到：

其中M×N是小波子带的大小，梯度幅度|G(x,y)|表示如下：

G_x，G_y分别表示水平方向和垂直方向小波子带图像f(x,y)的偏导数。