CN109345502B - 一种基于视差图立体结构信息提取的立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于视差图立体结构信息提取的立体图像质量评价方法。本发明具体实施包括如下步骤：首先利用结构相似度算法分别得到被测图像与参考图像的视差图，然后根据人眼对轮廓信息敏感的特性使用梯度信息来指导图像融合，同时结合已得到的视差图得出被测图像与参考图像的左右视差图融合后的图像，接着从得到的融合图中提取轮廓、纹理和对比度特征，并从视差图中提取深度特征，将以上提取到的特征送入支持向量回归模型，最后利用支持向量回归模型在主观评分值与特征之间建立映射，从而得到最终质量评价分数。基于本发明所提出方法的图像质量客观评价分数与数据库提供的主观质量分数具有较高的一致性，具有良好的准确性和鲁棒性。

Description

一种基于视差图立体结构信息提取的立体图像质量评价方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于视差图立体结构信息的立体图像质量评价方法。

背景技术

立体成像是利用人眼的双目视差原理，通过让左右眼独立的接受同一场景的对应摄像机拍摄的画面，形成双目视差并在大脑中生成场景的深度信息，在人脑中还原实际三维场景。而在立体图像的采集、编码、压缩、传输等过程中，容易不同程度上引入各种类型的失真，因此如何精确地评价图像质量已成为图像处理领域的研究热点。

立体图像质量评价方法可分为主观质量评价方法和客观质量评价方法。主观质量评价方法是让实验的所有参与者根据一定的打分标准对观看到的立体图像打分的均值。主观质量评价方法的优点是它能真实地反馈立体图像质量好坏，但这种方法在实际应用中存在很多缺陷，如测试条件不稳定、浪费人力物力、实时性差等，而客观质量评价方法可以嵌入立体图像处理系统的各个环节，实时性好，成本更低。客观的图像质量评价方法又可以根据对参考图像的利用程度分为：全参考图像质量评价，利用理想的未失真的参考图像作为对比来评价失真图像的质量分数；部分参考图像质量评价，该方法不需要参考图像，但需要利用参考图像的一些特征来得到失真图像的质量分数；无参考图像质量评价，不需要对比参考图像，仅根据失真图像得到其质量分数。

使用最早也较为广泛的全参考图像质量评价指标，如PSNR(peak signal tonoise ratio)和MSE(mean squared error)等，计算简单，物理意义直观，但是它们只是对像素点间的误差做数学统计，没有考虑到像素点间的相关性和人类视觉系统(HumanVisual System，HVS)的感知特性，因此在很多情况下评价结果与人类的主观感受并不符合。随着人们对人类视觉系统的研究越来越深入，很多学者提出了一些基于HVS的方法来评价图像质量，提取与图像质量密切相关的特征信息，如边缘、纹理等，对图像质量进行度量。然而，HVS是一个极其复杂的系统，仅根据目前对其有限的理解还不足以构建与人类感知结果高度一致的图像质量评价方法。

发明内容

本发明的目的是针对现有图像质量评价方法的不足，提供一种基于视差图立体结构信息的全参考3D图像质量评价方法。

本发明采取的技术方案是：

首先，采用SSIM算法分别对参考图像与失真图像进行处理，得到对应的视差图。同时，根据人眼对轮廓信息敏感的特性，利用梯度信息来融合左右视图。结合上一步得到的参考图像和失真图像的视差图，可以得到最终的融合图像。接着从融合图中提取轮廓、纹理和对比度特征，同时，从视差图中提取深度特征，将这些提取到的特征送入支持向量回归模型，在主观评分值与特征之间建立映射关系，从而得到最终质量评价分数。

本发明解决其技术问题所采用的技术方案如下：

步骤(1).输入失真图像I_D和参考图像I_R；

步骤(2).分别计算失真图像I_D和参考图像I_R的结构相似度SSIM(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image quality assessment:from errorvisibility to structural similarity,”IEEE Transactions on Image Processing,vol.13,no.4,pp.600-612,2004)，以此选择最佳匹配的视差图。

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (1)

其中，C₁、C₂、C₃是很小的正数，防止分母为零。C₁＝(k₁L)²、C₂＝(k₂L)²、C₃＝(C₂/2)²、k₁、k₂均为远小于1的正数，L为图像的最大灰度级，α、β、γ表示三个函数间权重的系数，均大于零，一般取1。l(x,y)、c(x,y)、s(x,y)分别为左视图与右视图在一个图像块中的亮度函数、对比度函数和结构相似度函数，μ_a、μ_b、σ_a、σ_b、σ_ab分别为整幅图像的一个图像块内的像素均值、方差和协方差。其具体计算公式为：

步骤(3).对失真图像I_D和参考图像I_R的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图。

步骤(4).将步骤(1)输入的失真图像I_D和参考图像I_R分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：

其中，f(x,y)表示图像上的像素点，

代表卷积运算，h_x和h_y为Sobel算子的卷积模板：

步骤(5).将步骤(1)输入的失真图像I_D和参考图像I_R分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：

其中，h_LoG为LoG算子，可表示如下：

步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：

其中，ε是很小的正常数，防止分母为零造成不稳定。

步骤(7).根据步骤(3)得到的视差图分别对失真图像I_D和参考图像I_R进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图。

步骤(8).分别对步骤(6)得到的左视图权重图和步骤(7)校准后的右视图权重图进行归一化，计算得到双目融合图：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (12)

其中CI(x,y)为双目融合图，W_L(x,y)和W_R((x+d),y)分别为归一化的左视图权重图和校准后的右视图权重图，I_L(x,y)和I_R((x+d,y))分别为左视图和校准后的右视图。归一化权重图的计算表达式如下：

步骤(9).从步骤(8)得到的失真图像I_D和参考图像I_R的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向。

步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像I_D和参考图像I_R的双目融合图中的纹理信息。将一个3×3的窗口放到被测图像中，以中心的像素点的灰度值作为阈值，然后把周围8个相邻像素点的灰度值与中心的阈值进行比较，如果周围像素点的灰度值大于中心的阈值，那么该像素点位置标记为1，如果周围像素点的灰度值小于中心的阈值，那么标记为0。这样我们就可以得到8个点的值，从该像素的水平方向(即方位角为0°)开始按照逆时针的顺序读取，组成8位的二进制无符号数，定义为该窗口的LBP值。

步骤(11).采用步骤(2)中结构相似度的计算方法分别对融合后的参考图像和失真图像进行结构相似度度量。

步骤(12).对于步骤(3)得到的失真图像I_D和参考图像I_R的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价。

其中D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，F_d表示提取的深度信息的特征。

步骤(13).分别对步骤(8)得到失真图像I_D和参考图像I_R的双目融合图中的梯度幅值和方向信息，步骤(10)得到失真图像I_D和参考图像I_R的纹理信息，步骤(11)得到的结构相似度，以及步骤(12)得到的深度信息计算失真图像I_D和参考图像I_R的相似度。

其中，A和B是维度相同的参考图像的信息矩阵和失真图像的信息矩阵，如梯度信息、纹理信息等，m和n是矩阵维度，r是计算得到的表征相似度的相关系数，r越接近于1，表示A和B的相似度越大。

步骤(14).采用支持向量回归(Support Vector Regression,SVR)的方法将步骤(13)得到的在各种特征信息上的失真图像I_D和参考图像I_R之间的相似度映射到图像的主观质量评价分数，最终得到失真图像的客观质量分数。

本发明的有益效果：

本发明依据图像相似度得到被测图像和参考图像的视差图，结合人眼对轮廓信息敏感的特性使用梯度信息指导图像融合，从融合图中提取轮廓、纹理和对比度特征，同时从视差图中提取深度特征。最后利用支持向量回归在这些特征和主观质量分数之间建立映射得到最终预测分数。实验结果表明，基于本发明所提出的方法得到的图像客观质量与主观评价结果具有很好的一致性，能够较好的评价图像的质量。

附图说明

图1为本发明一种基于视差图立体结构信息提取的立体图像质量评价方法的结构框图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图1所示，一种基于视差图立体结构信息提取的立体参考图像质量评价方法，其具体实施步骤如下：

步骤(1).输入失真图像I_D和参考图像I_R；

步骤(2).分别计算失真图像I_D和参考图像I_R的结构相似度SSIM(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image quality assessment:from errorvisibility to structural similarity,”IEEE Transactions on Image Processing,vol.13,no.4,pp.600-612,2004)，以此选择最佳匹配的视差图。

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (1)

其中，C₁、C₂、C₃是很小的正数，防止分母为零。C₁＝(k₁L)²、C₂＝(k₂L)²、C₃＝(C₂/2)²、k₁、k₂均为远小于1的正数，L为图像的最大灰度级，α、β、γ表示三个函数间权重的系数，均大于零，一般取1。l(x,y)、c(x,y)、s(x,y)分别为左视图与右视图在一个图像块中的亮度函数、对比度函数和结构相似度函数，μ_a、μ_b、σ_a、σ_b、σ_ab分别为整幅图像的一个图像块内的像素均值、方差和协方差。其具体计算公式为：

为避免结构相似度指标示意图出现块效应现象，这里使用归一化对称高斯加权窗来计算各个图像块的均值、方差与协方差。其中，ω是大小为11×11，标准差为1.5的归一化对称高斯加权窗，N＝11×11＝121。

步骤(3).对失真图像I_D和参考图像I_R的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图。

步骤(4).将步骤(1)输入的失真图像I_D和参考图像I_R分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：

其中，f(x,y)表示图像上的像素点，

代表卷积运算，h_x和h_y为Sobel算子的卷积模板：

步骤(5).将步骤(1)输入的失真图像I_D和参考图像I_R分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：

其中，h_LoG为LoG算子，可表示如下：

其中高斯模糊函数表达式为：

二阶导数拉普拉斯函数的表达式为：

步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：

其中，ε是很小的正常数，防止分母为零造成不稳定。

步骤(7).根据步骤(3)得到的视差图分别对失真图像I_D和参考图像I_R进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图。

步骤(8).分别对步骤(6)得到的左视图权重图和步骤(7)校准后的右视图权重图进行归一化，计算得到双目融合图：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (14)

其中CI(x,y)为双目融合图，W_L(x,y)和W_R((x+d),y)分别为归一化的左视图权重图和校准后的右视图权重图，I_L(x,y)和I_R((x+d,y))分别为左视图和校准后的右视图。归一化权重图的计算表达式如下：

步骤(9).从步骤(8)得到的失真图像I_D和参考图像I_R的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向。

步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像I_D和参考图像I_R的双目融合图中的纹理信息。将一个3×3的窗口放到被测图像中，以中心的像素点的灰度值作为阈值，然后把周围8个相邻像素点的灰度值与中心的阈值进行比较，如果周围像素点的灰度值大于中心的阈值，那么该像素点位置标记为1，如果周围像素点的灰度值小于中心的阈值，那么标记为0。这样我们就可以得到8个点的值，从该像素的水平方向(即方位角为0°)开始按照逆时针的顺序读取，组成8位的二进制无符号数，定义为该窗口的LBP值。

步骤(11).采用步骤(2)中结构相似度的计算方法分别对融合后的参考图像和失真图像进行结构相似度度量。

步骤(12).对于步骤(3)得到的失真图像I_D和参考图像I_R的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价。

其中D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，F_d表示提取的深度信息的特征。

步骤(13).分别对步骤(8)得到失真图像I_D和参考图像I_R的双目融合图中的梯度幅值和方向信息，步骤(10)得到失真图像I_D和参考图像I_R的纹理信息，步骤(11)得到的结构相似度，以及步骤(12)得到的深度信息计算失真图像I_D和参考图像I_R的相似度。

其中，A和B是维度相同的参考图像的信息矩阵和失真图像的信息矩阵，如梯度信息、纹理信息等，m和n是矩阵维度，r是计算得到的表征相似度的相关系数，r越接近于1，表示A和B的相似度越大。

步骤(14).采用支持向量回归(Support Vector Regression,SVR)的方法将步骤(13)得到的在各种特征信息上的失真图像I_D和参考图像I_R之间的相似度映射到图像的主观质量评价分数，最终得到失真图像的客观质量分数。

为了验证本发明所述3D图像质量评价方法的优越性能，我们在德克萨斯大学奥斯汀分校图像和视频工程实验室建立的LIVE 3D数据库阶段I和阶段II(http://live.ece.utexas.edu/research/Quality/live_3dimage.html)上进行了实验。

LIVE 3D IQA Phase I数据库由365张对称失真的3D图像组成，这些图像是20张原始立体图像经过5种常见的失真类型处理后产生的。JPEG2000(JP2K)，JPEG，白噪声(WhiteNoise,WN)和瑞利快速衰落信道模拟(Fast Fading,FF)各有80张失真图像；高斯模糊(Gaussian Blur,GB)有45张失真图像。每种对称失真的3D图像都由实验对象打分，得到主观评价分数，即DMOS(Differential Mean Opinion Score)值。

LIVE 3D IQA Phase II数据库同样包括上述五种失真类型：JPEG，JP2K，Gblur，WN和FF，每种类型包含72张失真图像。每种失真类型都被应用于8张参考立体图像，以产生3张对称的失真3D图像和6张不对称的失真3D图像。共产生120张对称失真和240张不对称失真的3D图像。每张失真的3D图像都有相应的DMOS值。

表1给出了本发明所述方法在LIVE 3D数据库上的整体性能及针对各失真类型的性能。表中的皮尔森相关系数(Pearson Linear Correlation Coefficient,PLCC)和斯皮尔曼相关系数(Spearman Rank-Order Correlation Coefficient,SROCC)是验证图像质量评价算法性能的重要指标，PLCC和SROCC的值越高，表示算法性能越好。PLCC和SROCC计算公式如下：

其中，n为图像总数量，x_i和y_i分别为主观质量分数和预测客观质量评价分数，X_i和Y_i分别为x_i和y_i在主观质量分数和客观质量分数中的排名。

实验结果表明，本发明的算法在LIVE 3D数据库阶段I和阶段II上都达到了很好的预测效果。

表1本发明所述算法模型在LIVE 3D数据库中的实验结果

Claims (5)

1.一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于包括如下步骤：

步骤(1).输入失真图像I_D和参考图像I_R；

步骤(2).分别计算失真图像I_D和参考图像I_R的结构相似度SSIM，以此选择最佳匹配的视差图；

步骤(3).对失真图像I_D和参考图像I_R的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图；

步骤(4).将步骤(1)输入的失真图像I_D和参考图像I_R分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：

其中，f(x,y)表示图像上的像素点，

代表卷积运算，h_x和h_y为Sobel算子的卷积模板：

步骤(5).将步骤(1)输入的失真图像I_D和参考图像I_R分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：

其中，h_LoG为LoG算子，表示如下：

步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：

其中，ε是正常数，防止分母为零造成不稳定；

步骤(7).根据步骤(3)得到的视差图分别对失真图像I_D和参考图像I_R进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图；

步骤(8).分别对步骤(6)得到的左视图权重图和步骤(7)校准后的右视图权重图进行归一化，计算得到双目融合图：

步骤(9).从步骤(8)得到的失真图像I_D和参考图像I_R的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向，

步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像I_D和参考图像I_R的双目融合图中的纹理信息；

步骤(11).采用步骤(2)中结构相似度的计算方法分别对融合后的参考图像和失真图像进行结构相似度度量；

步骤(12).对于步骤(3)得到的失真图像I_D和参考图像I_R的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价，

其中D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，F_d表示提取的深度信息的特征；

步骤(13).分别对步骤(8)得到的失真图像I_D和参考图像I_R的双目融合图中的梯度幅值和方向信息，步骤(10)得到失真图像I_D和参考图像I_R的纹理信息，步骤(11)得到的结构相似度，以及步骤(12)得到的深度信息计算失真图像I_D和参考图像I_R的相似度；

其中，A和B是维度相同的参考图像的信息矩阵和失真图像的信息矩阵，m和n是矩阵维度，r是计算得到的表征相似度的相关系数；

步骤(14).采用支持向量回归的方法将步骤(13)得到的在各种特征信息上的失真图像I_D和参考图像I_R之间的相似度映射到图像的主观质量评价分数，最终得到失真图像的客观质量分数。

2.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的步骤(2)结构相似度SSIM计算方法如下：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (1)

其中，C₁、C₂、C₃是很小的正数，防止分母为零,C₁＝(k₁L)²、C₂＝(k₂L)²、C₃＝(C₂/2)²、k₁、k₂均为远小于1的正数，L为图像的最大灰度级，α、β、γ表示三个函数间权重的系数，均大于零，l(x,y)、c(x,y)、s(x,y)分别为左视图与右视图在一个图像块中的亮度函数、对比度函数和结构相似度函数，μ_a、μ_b、σ_a、σ_b、σ_ab分别为整幅图像的一个图像块内的像素均值、方差和协方差,其具体计算公式为：

3.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的Sobel算子的卷积模板h_x和h_y分别为：

4.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的步骤(8)双目融合图的计算方法为：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (12)

其中CI(x,y)为双目融合图，W_L(x,y)和W_R((x+d),y)分别为归一化的左视图权重图和校准后的右视图权重图，I_L(x,y)和I_R((x+d,y))分别为左视图和校准后的右视图，归一化权重图的计算表达式如下：

5.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的步骤(10)具体为：将一个3×3的窗口放到被测图像中，以中心的像素点的灰度值作为阈值，然后把周围8个相邻像素点的灰度值与中心的阈值进行比较，如果周围像素点的灰度值大于中心的阈值，那么该像素点位置标记为1，如果周围像素点的灰度值小于中心的阈值，那么标记为0；这样就得到8个点的值，从该像素的水平方向开始按照逆时针的顺序读取，组成8位的二进制无符号数，定义为该窗口的LBP值。

Images