CN107578403B - 基于梯度信息指导双目视图融合的立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于梯度信息指导双目视图融合的立体图像质量评价方法。本发明利用Sobel算子和LoG算子构造联合统计梯度图以作为双目视图融合的权重图，得到对应的中间参考图像和中间失真图像。进而，对中间图像进行图像特征信息的提取，包括边缘、纹理、对比度信息，对参考和失真立体图像对视差图提取深度信息。最后，通过对特征相似性的度量和基于SVR的特征综合与质量映射，从而得到最终的图像质量客观评价分数，实现对立体图像质量损失的度量。实验结果表明，基于本发明所提出算法具有良好的准确性和鲁棒性。

Description

基于梯度信息指导双目视图融合的立体图像质量评价方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于梯度信息指导双目视图融合的立体图像质量评价方法。

背景技术

一个完整的立体视频系统由采集、编码、传输、解码和显示等环节构成。相较于我们日常的平面拍摄，立体图像视频采集系统有很大不同，它采用多个相机同时拍摄同一场景的方法，分为汇聚相机和平行相机两种模式。编码环节用来实现对采集的视频压缩编码，目的在于便于压缩和传输。解码环节用来实现对传输的视频快速解码，目的在于使立体视频快速显示。

然而，3D立体图像与视频在场景采集、编码、网络传输、解码、后期处理、压缩存储和放映等各个阶段都可能引入不同类型、不同程度的失真。例如：在图像或视频拍摄过程中由于设备晃动、参数设定不当引起的模糊失真；图像压缩存储引起的压缩失真；传输过程中的噪声干扰等。由于技术水平的局限，处理不当的立体视频不仅会使人眼感到疲劳，还可能危害我们的身心健康。所以，如何来客观评价立体图像质量，即辨别图像中可能存在的不同类型的失真并对其程度进行预测，已经成为图像处理领域中一个迫在眉睫的热点问题。

立体图像质量客观评价方法可以分为两类，一类是将2D平面图像的质量评价方法迁移应用到3D立体图像质量评价中，但由于未充分考虑视差信息和深度信息，评价准确度较低，与主观评价效果偏差较大。第二类方法通过分析人类视觉系统对深度的感知和立体成像原理，建立立体图像感知模型，实现对3D立体图像质量的评价，但目前视差和深度信息的估计并不精确，因此3D立体图像客观质量评价依然是当今研究的热点和难点。

发明内容

本发明方法的目的是针对现有立体图像质量评价方法的不足，提供一种基于梯度信息指导双目视图融合的立体图像质量评价方法。

本发明的具体实施步骤是：

步骤(1).输入参考立体图像对和失真立体图像对，其中每个立体图像对分别包括左视图和右视图图像；

步骤(2).利用Sobel算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图GM；

步骤(3).利用LoG算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图LoG；

步骤(4).基于步骤(2)和步骤(3)中得到的梯度图，计算联合统计的梯度图，联合统计过程的具体表达式如下：

其中，F(x,y)表示联合Sobel算子和LoG算子得到的联合统计梯度图，ε表示很小的正常数，防止分母为零；GM(x,y)表示步骤(2)中利用Sobel算子卷积图像得到的梯度图，LoG(x,y)表示步骤(3)中利用LoG算子卷积图像得到的梯度图；

步骤(5).分别对步骤(1)输入的参考立体图像对和失真立体图像对提取对应的视差图，步骤如下：

将参考立体图像对和失真立体图像对中的右视图以s像素点的步长右移k次，得到右移后的k幅修正右视图；进而利用结构相似度SSIM算法分别计算所有立体图像对中的左视图和k幅修正右视图的结构相似度，得到k幅结构相似性图，其中，SSIM算法的表达式如下：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (5-1)

其中，μ_x和μ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值；σ_x和σ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值；σ_xy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。l(x,y)、c(x,y)和s(x,y)分别表示图像的亮度，对比度和结构信息，α、β和γ分别代表图像的亮度、对比度和结构信息在结构相似度中所占的权重，C₁、C₂和C₃为大于零的常数，防止分母为零；

最后，对于左视图的每一个像素点，取其k幅结构相似性图中局部结构相似性值最大的一幅所对应的右移像素量作为该像素点的视差值；

步骤(6).将步骤(5)中获得的视差图信息和右视图结合，建立和左视图坐标对应的校准右视图，然后基于步骤(4)得到的左视图和右视图联合梯度图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：

其中，F_L(x,y)、F_R((x+d),y)分别为步骤(4)得到的左视图和校准右视图的联合梯度图，d为步骤(5)计算得到的视差图中的视差值；

步骤(7).基于步骤(1)中的参考立体图像对和失真立体图像对的左视图I_L(x,y)和步骤(6)得到的参考立体图像对和失真立体图像对的校准右视图I_R((x+d),y)以及左右视图权重图，实现立体图像的双目融合，分别得到中间参考和失真图像；

双目融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (7-1)

其中，CI(x,y)即是融合后的中间参考图像或中间失真图像；

步骤(8).利用步骤(6)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，采用像素域误差的方法提取参考立体图像对和失真立体图像对的深度特征信息的相似性，作为度量失真的立体图像对的质量失真程度：

Index₁＝mean(D_ref-D_dis)² (8-1)

其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，Index₁和Index₂是深度特征信息的两个相似性度量；

步骤(9).对步骤(7)得到的中间参考和失真图像分别提取边缘、纹理、对比度信息；

步骤(10).对步骤(9)中提取的图像信息特征进行相似性度量，表达式如下：

其中，GM_ref、TI_ref、c_ref分别表示参考中间图像的边缘、纹理和对比度信息，GM_dis、TI_dis、c_dis表示失真中间图像的边缘、纹理和对比度信息，Index₃、Index₄和Index₅，分别代表边缘、纹理和对比度的相似性度量指标；

步骤(11).整合步骤(8)和(10)中得到的各个度量指标，进行支持向量机训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数。

Q＝SVR(Index₁,Index₂,…,Index₅) (11-1)

其中，Q为客观质量评价分数。

其中，根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法，其特征在于所述的步骤(2)具体为：

Sobel算子的表达式如下：

其中，f(x,y)为立体图像对的左视图或右视图，为卷积运算，G_x(x,y)和G_y(x,y)为分别利用Sobel水平模板和垂直模板卷积图像得到的水平和垂直梯度图，GM(x,y)是利用Sobel算子卷积图像得到的梯度图，h_x和h_y是3×3的Sobel垂直模板和水平模板，分别用来检测图像的水平边缘和垂直边缘，模板表达式如下：

根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法，其特征在于所述的步骤(3)具体为：

LoG算子表达式如下：

其中，G(x,y)为高斯模糊函数，表达式如下：

其中，x和y为图像坐标，σ是概率分布中的标准偏差；

表示二阶导数拉普拉斯函数，表达式为：

将LoG算子与立体图像对中左视图或右视图进行卷积后，得到相应的梯度图，表达式如下：

其中，f(x,y)为立体图像对的左视图或右视图。

根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法，其特征在于所述的步骤(9)中:

提取边缘信息的方法与步骤(2)中利用Sobel算子卷积图像得到对应梯度图的方法相同；

提取纹理信息的方法为：采用局部二值模式LBP来提取图像的纹理信息，LBP的表达式如下：

其中，g_c是图像的中心像素点的灰度值，g_c是图像的相邻像素点的灰度值,sgn(x)是阶跃函数，当x≥0时，sgn(x)＝1；当x<0时，sgn(x)＝0；

提取对比度信息的方法为：利用步骤(5)中的公式(5-3)提取图像的对比度信息。

本发明的有益效果：

本发明利用Sobel算子和LoG算子构造联合统计梯度图以作为双目视图融合的权重图，得到对应的中间参考图像和中间失真图像。进而，对中间图像进行图像特征信息的提取，包括边缘、纹理、对比度信息，对参考和失真立体图像对视差图提取深度信息。最后，通过对特征相似性的度量和基于SVR的特征综合与质量映射，从而得到最终的图像质量客观评价分数，实现对立体图像质量损失的度量。实验结果表明，基于本发明所提出算法具有良好的准确性和鲁棒性。

附图说明

图1为本发明基于梯度信息指导双目视图融合的立体图像质量评价方法的原理图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图1所示，基于梯度信息指导双目视图融合的立体图像质量评价算法，其具体实施步骤如下：

步骤(1).利用Matlab软件依次读入美国德州大学奥斯汀分校的3D LIVE图像数据库中阶段I和阶段II的参考立体图像对和对应的失真立体图像对,其中每个立体图像对分别包括左右视图图像.

步骤(2).利用Sobel算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图GM；

步骤(3).利用LoG算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图LoG；

步骤(4).基于步骤(2)和步骤(3)中得到的梯度图，计算联合统计的梯度图，联合统计过程的具体表达式如下：

其中，F(x,y)表示联合Sobel算子和LoG算子得到的联合统计梯度图，ε表示很小的正常数，防止分母为零；GM(x,y)表示步骤(2)中利用Sobel算子卷积图像得到的梯度图，LoG(x,y)表示步骤(3)中利用LoG算子卷积图像得到的梯度图；

步骤(5).分别对步骤(1)输入的参考立体图像对和失真立体图像对提取对应的视差图，步骤如下：

将参考立体图像对和失真立体图像对中的右视图以s像素点的步长右移k次，得到右移后的k幅修正右视图，则k＝n/s，在此s＝1，k＝25；进而利用结构相似度SSIM算法分别计算所有立体图像对中的左视图和k幅修正右视图的结构相似度，得到k幅结构相似性图，其中，SSIM算法的表达式如下：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (5-1)

其中，μ_x和μ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值；σ_x和σ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值；σ_xy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。l(x,y)、c(x,y)和s(x,y)分别表示图像的亮度，对比度和结构信息，α、β和γ分别代表图像的亮度、对比度和结构信息在结构相似度中所占的权重，C₁、C₂和C₃为大于零的常数，防止分母为零，在此α＝β＝γ＝1，C₁＝6.5025，C₂＝58.5225；

最后，对于左视图的每一个像素点，取其k幅结构相似性图中局部结构相似性值最大的一幅所对应的右移像素量作为该像素点的视差值；

步骤(6).将步骤(5)中获得的视差图信息和右视图结合，建立和左视图坐标对应的校准右视图，然后基于步骤(4)得到的左视图和右视图联合梯度图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：

其中，F_L(x,y)、F_R((x+d),y)分别为步骤(4)得到的左视图和校准右视图的联合梯度图，d为步骤(5)计算得到的视差图中的视差值；

步骤(7).基于步骤(1)中的参考立体图像对和失真立体图像对的左视图I_L(x,y)和步骤(6)得到的参考立体图像对和失真立体图像对的校准右视图I_R((x+d),y)以及左右视图权重图，实现立体图像的双目融合，分别得到中间参考和失真图像；

双目融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (7-1)

其中，CI(x,y)即是融合后的中间参考图像或中间失真图像；

步骤(8).利用步骤(6)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，采用像素域误差的方法提取参考立体图像对和失真立体图像对的深度特征信息的相似性，作为度量失真的立体图像对的质量失真程度：

Index₁＝mean(D_ref-D_dis)² (8-1)

其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，Index₁和Index₂是深度特征信息的两个相似性度量；

步骤(9).对步骤(7)得到的中间参考和失真图像分别提取边缘、纹理、对比度信息；

步骤(10).对步骤(9)中提取的图像信息特征进行相似性度量，表达式如下：

其中，GM_ref、TI_ref、c_ref分别表示参考中间图像的边缘、纹理和对比度信息，GM_dis、TI_dis、c_dis表示失真中间图像的边缘、纹理和对比度信息，Index₃、Index₄和Index₅，分别代表边缘、纹理和对比度的相似性度量指标；

步骤(11).整合步骤(8)和(10)中得到的各个度量指标，进行支持向量机训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数。

Q＝SVR(Index₁,Index₂,…,Index₅) (11-1)

其中，Q为客观质量评价分数。

其中，根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法，其特征在于所述的步骤(2)具体为：

Sobel算子的表达式如下：

其中，f(x,y)为立体图像对的左视图或右视图，为卷积运算，G_x(x,y)和G_y(x,y)为分别利用Sobel水平模板和垂直模板卷积图像得到的水平和垂直梯度图，GM(x,y)是利用Sobel算子卷积图像得到的梯度图，h_x和h_y是3×3的Sobel垂直模板和水平模板，分别用来检测图像的水平边缘和垂直边缘，模板表达式如下：

根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法，其特征在于所述的步骤(3)具体为：

LoG算子表达式如下：

其中，G(x,y)为高斯模糊函数，表达式如下：

其中，x和y为图像坐标，σ是概率分布中的标准偏差，σ＝1.5；

表示二阶导数拉普拉斯函数，表达式为：

将LoG算子与立体图像对中左视图或右视图进行卷积后，得到相应的梯度图，表达式如下：

其中，f(x,y)为立体图像对的左视图或右视图。

根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法，其特征在于所述的步骤(9)中:

提取边缘信息的方法与步骤(2)中利用Sobel算子卷积图像得到对应梯度图的方法相同；

提取纹理信息的方法为：采用局部二值模式LBP来提取图像的纹理信息，LBP的表达式如下：

其中，g_c是图像的中心像素点的灰度值，g_c是图像的相邻像素点的灰度值,sgn(x)是阶跃函数，当x≥0时，sgn(x)＝1；当x<0时，sgn(x)＝0；

提取对比度信息的方法为：利用步骤(5)中的公式(5-3)提取图像的对比度信息。

Claims (4)

1.一种基于梯度信息指导双目视图融合的立体图像质量评价方法，其特征在于它包括以下步骤：

步骤(1).输入参考立体图像对和失真立体图像对，其中每个立体图像对分别包括左视图和右视图图像；

步骤(2).利用Sobel算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图GM；

步骤(3).利用LoG算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图LoG；

步骤(4).基于步骤(2)和步骤(3)中得到的梯度图，计算联合统计的梯度图，联合统计过程的具体表达式如下：

其中，F(x,y)表示联合Sobel算子和LoG算子得到的联合统计梯度图，ε表示很小的正常数，防止分母为零；GM(x,y)表示步骤(2)中利用Sobel算子卷积图像得到的梯度图，LoG(x,y)表示步骤(3)中利用LoG算子卷积图像得到的梯度图；

步骤(5).分别对步骤(1)输入的参考立体图像对和失真立体图像对提取对应的视差图，步骤如下：

将参考立体图像对和失真立体图像对中的右视图以s像素点的步长右移k次，得到右移后的k幅修正右视图；进而利用结构相似度SSIM算法分别计算所有立体图像对中的左视图和k幅修正右视图的结构相似度，得到k幅结构相似性图，其中，SSIM算法的表达式如下：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (5-1)

其中，μ_x和μ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值；σ_x和σ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值；σ_xy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差，l(x,y)、c(x,y)和s(x,y)分别表示图像的亮度，对比度和结构信息，α、β和γ分别代表图像的亮度、对比度和结构信息在结构相似度中所占的权重，C₁、C₂和C₃为大于零的常数，防止分母为零；

最后，对于左视图的每一个像素点，取其k幅结构相似性图中局部结构相似性值最大的一幅所对应的右移像素量作为该像素点的视差值；

步骤(6).将步骤(5)中获得的视差图信息和右视图结合，建立和左视图坐标对应的校准右视图，然后基于步骤(4)得到的左视图和右视图联合梯度图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：

其中，F_L(x,y)、F_R((x+d),y)分别为步骤(4)得到的左视图和校准右视图的联合梯度图，d为步骤(5)计算得到的视差图中的视差值；

步骤(7).基于步骤(1)中的参考立体图像对和失真立体图像对的左视图I_L(x,y)和步骤(6)得到的参考立体图像对和失真立体图像对的校准右视图I_R((x+d),y)以及左右视图权重图，实现立体图像的双目融合，分别得到中间参考和失真图像；

双目融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (7-1)

其中，CI(x,y)即是融合后的中间参考图像或中间失真图像；

步骤(8).利用步骤(6)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，采用像素域误差的方法提取参考立体图像对和失真立体图像对的深度特征信息的相似性，作为度量失真的立体图像对的质量失真程度：

Index₁＝mean(D_ref-D_dis)² (8-1)

其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，Index₁和Index₂是深度特征信息的两个相似性度量；

步骤(9).对步骤(7)得到的中间参考和失真图像分别提取边缘、纹理、对比度信息；

步骤(10).对步骤(9)中提取的图像信息特征进行相似性度量，表达式如下：

其中，GM_ref、TI_ref、c_ref分别表示参考中间图像的边缘、纹理和对比度信息，GM_dis、TI_dis、c_dis表示失真中间图像的边缘、纹理和对比度信息，Index₃、Index₄和Index₅，分别代表边缘、纹理和对比度的相似性度量指标；

步骤(11).整合步骤(8)和(10)中得到的各个度量指标，进行支持向量机训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数；

Q＝SVR(Index₁,Index₂,…,Index₅) (11-1)

其中，Q为客观质量评价分数。

2.根据权利要求1所述的基于梯度信息指导双目视图融合的立体图像质量评价方法，其特征在于所述的步骤(2)具体为：

Sobel算子的表达式如下：

其中，f(x,y)为立体图像对的左视图或右视图，为卷积运算，G_x(x,y)和G_y(x,y)为分别利用Sobel水平模板和垂直模板卷积图像得到的水平和垂直梯度图，GM(x,y)是利用Sobel算子卷积图像得到的梯度图，h_x和h_y是3×3的Sobel垂直模板和水平模板，分别用来检测图像的水平边缘和垂直边缘，模板表达式如下：

3.根据权利要求1所述的基于梯度信息指导双目视图融合的立体图像质量评价方法，其特征在于所述的步骤(3)具体为：

LoG算子表达式如下：

其中，G(x,y)为高斯模糊函数，表达式如下：

其中，x和y为图像坐标，σ是概率分布中的标准偏差；

表示二阶导数拉普拉斯函数，表达式为：

将LoG算子与立体图像对中左视图或右视图进行卷积后，得到相应的梯度图，表达式如下：

其中，f(x,y)为立体图像对的左视图或右视图。

4.根据权利要求1所述的基于梯度信息指导双目视图融合的立体图像质量评价方法，其特征在于所述的步骤(9)中:

提取边缘信息的方法与步骤(2)中利用Sobel算子卷积图像得到对应梯度图的方法相同；

提取纹理信息的方法为：采用局部二值模式LBP来提取图像的纹理信息，LBP的表达式如下：

其中，g_c是图像的中心像素点的灰度值，g_c是图像的相邻像素点的灰度值,sgn(x)是阶跃函数，当x≥0时，sgn(x)＝1；当x<0时，sgn(x)＝0；

提取对比度信息的方法为：利用步骤(5)中的公式(5-3)提取图像的对比度信息。