CN107371013B - 基于色相角和差通道的立体图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于色相角和差通道的立体图像质量评价方法，包括以下步骤：分别对左视图和右视图做RGB色彩空间到Lab色彩空间的转换；求解转换后的失真图像对的亮度对比度；根据转换后的色彩空间计算左视图和右视图中的每个像素的色相角；根据左右视图中亮度和色度的关系，分别计算左视图响应和右视图响应：分别计算和、差通道的色相角响应；对得到的和差通道的色相角响应进行Gabor滤波；计算滤波后的resp_diff_G和resp_sum_G的能量响应，并计算权重因；合成得到能够模拟大脑视觉感知的影像图；对视觉感知影像图进行分块，并对每个图像块进行DCT变换；计算所有图像块在每个子带上的能量熵，得到图像块的特征；立体图像质量预测。

Description

基于色相角和差通道的立体图像质量评价方法

技术领域

本发明属图像处理领域，涉及立体图像质量评价方法。

背景技术

随着立体显示技术的高速发展，立体图像/视频已经逐渐进入到人们的生活中。然而，立体图像/视频在采集、存储、传输过程中会引入各种各样的失真，影响立体图像/视频的质量和观感。因此，如何准确、高效的评价立体图像的质量已经成为立体视频系统、立体视频工程和立体视频处理领域中的关键问题。

当前立体图像质量评价主要分为三类。一类是将2D图像质量评价的方法分别应用左右视点，再辅以视差进行评价的方法。但这种方法没有充分考虑人类的视觉特性，缺少对立体信息的有效利用，因此应用具有局限性。第二类是基于人类视觉系统(HVS)的评价方法。但是由于视觉系统的复杂性以及目前在此领域研究的局限性，因此也很难发挥其优势作用。第三类是基于图像特征，结合机器学习的方法。这类方法的关键在于如何提取既能反映图像信息又能表征图像立体感的特征。另外，由于视差和深度信息获取的不准确，双目特性考虑不充分，立体图像质量评价仍然是当前研究的热点和难点。

发明内容

本发明的目的在于克服现有技术上的不足，提供一种立体图像质量评价方法。本发明模拟人类视觉系统建立和差通道处理双目信息的过程，并充分考虑亮度和色彩信息的相互作用，建立能够模拟大脑形成的视觉感知图像。在此基础上，以离散余弦变换(DCT)为手段，提取视觉感知图像的局部频域统计信息作为描述立体图像质量的特征，进而做出更加全面、准确的客观评价。技术方案如下：

一种基于色相角和差通道的立体图像质量评价方法，每个失真立体图像对由左图和右图组成，设失真立体图像对为(D_l,D_r)，评价方法包括以下步骤：

第一步：分别对左视图和右视图做RGB色彩空间到Lab色彩空间的转换，得到转换后的失真图像对(D_l-Lab,D_r-Lab)；

第二步：求解转换后的失真图像对的亮度对比度contrast(x,y)，其中(x,y)为像素坐标；

第三步：根据转换后的色彩空间中的a分量和b分量计算左视图和右视图中的每个像素的色相角L和R；

第四步：根据左右视图中亮度和色度的关系，分别计算左视图响应和右视图响应：

其中，c为调节常量，ω为抑制因子，由双目抑制产生，计算公式如下：

第五步：分别计算和、差通道的色相角响应，计算公式分别如下：

resp_diff(L,R)＝abs(resp(L)-resp(R))

resp_sum(L,R)＝resp(L)+resp(R)

第六步：对得到的和差通道的色相角响应进行Gabor滤波，分别得到滤波后的resp_diff_G和resp_sum_G；

第七步：计算滤波后的resp_diff_G和resp_sum_G的能量响应resp_diff_GE和resp_sum_GE，并计算权重因子：

其中c1和c2为调节常量；

第八步：根据第七步得到的权重因子对第五步得到的和差通道的色相角响应进行合成，得到能够模拟大脑视觉感知的影像图：

SDMI＝ω_diff·resp_diff+ω_sum·resp_sum

第九步：对视觉感知影像图进行分块，并对每个图像块进行DCT变换；

第十步：对每个图像块的各个子带进行统计，计算所有图像块在每个子带上的能量熵，得到图像块的特征；

第十一步：将图像库中的图像随机分为两部分，其中80％的失真立体图像对用支持向量机对得到的特征进行训练，根据训练得到的模型对剩下的20％的失真图像对的质量做预测，最终得到立体图像的质量。

步骤十的方法为：

对每个8×8的图像块中直流分量除外的14个子带，根据下列公式可计算每个子带系数的熵，这样共得到14个特征：

其中k为子带数，N_k为第k个子带上系数的个数，C_k(·)为DCT系数，p[·]为概率密度函数。

本发明所提出的立体图像客观质量评价方法模拟色相角和差通道处理图像信息的过程，并在此基础上根据人类视觉感知合成视觉感知影像。通过提取视觉感知影像图的局部频域统计信息，利用失真对合成图的局部频域信息的统计特性的影响去描述图像质量，得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映图像的质量。

附图说明

图1DCT变换示意图

图2流程图

图3视觉感知影像图合成过程

具体实施方式

本发明涉及色相角和差通道的模拟、视觉感知影像的合成以及局部频域统计信息的提取。提出了利用和差通道建立的视觉合成影像图，通过描述失真对合成图的局部频域信息的统计特性的影响去描述图像质量的方法。具体技术方案如下：

基于色相角和差通道的立体图像质量评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(D_l,D_r)，包括以下步骤：

第一步：分别对左视图和右视图做RGB色彩空间到Lab色彩空间的转换，得到转换后的失真图像对(D_l-Lab,D_r-Lab)。

第二步：求解转换后的失真图像对的亮度(L)对比度，计算公式如下：

contrast(x,y)＝abs(lum_L-lum_R) (1)

其中(x,y)为像素坐标。

第三步：根据转换后的色彩空间中的a分量和b分量计算左视图和右视图的中每个像素的色相角。

第四步：根据左右视图中亮度和色度的关系(如公式(2)和(3)所示)，分别计算左视图响应和右视图响应。

其中，L和R分别为左右视图的色相角，ω为抑制因子，c为调节常量。

抑制因子ω是由双目抑制产生的，计算公式如下：

其中contrast由公式(1)计算得到。

第五步：分别计算和、差通道的色相角响应，计算公式分别如下：

resp_diff(L,R)＝abs(resp(L)-resp(R)) (5)

resp_sum(L,R)＝resp(L)+resp(R) (6)

第六步：对得到的和差通道的色相角响应进行Gabor滤波，分别得到滤波后的

resp_diff_G和resp_sum_G。计算滤波后的和差通道的能量响应，具体为：

(1)所采用的二维Gabor滤波器定义为：

其中，G(x,y,σ_x,σ_y,ζ_x,ζ_y,θ)是Gabor滤波器的响应值，x,y,σ_x,σ_y,ζ_x,ζ_y,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角，且R₁＝xcosθ+ysinθ，

R₂＝xsinθ+ycosθ；

(2)Gabor滤波器的能量响应是以3.67次/度的空间频率循环，叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的；

(3)色相角的和差通道信号能量响应经卷积和计算后得到resp_diff_G与resp_sum_G。

第七步：根据滤波后的resp_diff_G和resp_sum_G的能量响应resp_diff_GE和resp_sum_GE，并计算权重因子。

第八步：根据第七步得到的权重因子对第五步得到的和差通道的色相角响应进行合成，得到能够模拟大脑视觉感知的影像图，其中和通道信号与差通道信号所占权重计算公式如下：

其中c₁和c₂为调节常量。

视觉合成影像图的计算公式如下：

SDMI＝ω_diff·resp_diff+ω_sum·resp_sum (10)

第九步：对视觉感知影像图进行8×8的分块，并对每个图像块进行DCT变换。

第十步：对每个图像块的各个子带进行统计，计算所有图像块在每个子带上的能量熵，共计14个特征。DCT变换及子带分割如图1所示，每8×8的图像块中都包含14个子带(直流分量除外)。根据公式(11)可计算每个子带系数的熵，这样共得到14个特征。

其中k为子带数，N_k为第k个子带上系数的个数，C_k(·)为DCT系数，p[·]为概率密度函数。

第十一步：将图像库中的图像随机分为两部分，其中80％的失真立体图像对用支持向量机对得到的特征进行训练，根据训练得到的模型对剩下的20％的失真图像对的质量做预测，最终得到立体图像的质量。

Claims (2)

1.一种基于色相角和差通道的立体图像质量评价方法，每个失真立体图像对由左图和右图组成，设失真立体图像对为(D_l,D_r)，评价方法包括以下步骤：

第一步：分别对左视图和右视图做RGB色彩空间到Lab色彩空间的转换，得到转换后的失真图像对(D_l-Lab,D_r-Lab)；

第二步：求解转换后的失真图像对的亮度对比度contrast(x,y)，其中(x,y)为像素坐标；

第三步：根据转换后的色彩空间中的a分量和b分量计算左视图和右视图中的每个像素的色相角L和R；

第四步：根据左右视图中亮度和色度的关系，分别计算左视图响应和右视图响应：

其中，c为调节常量，ω为抑制因子，由双目抑制产生，计算公式如下：

第五步：分别计算和、差通道的色相角响应，计算公式分别如下：

resp_diff(L,R)＝abs(resp(L)-resp(R))

resp_sum(L,R)＝resp(L)+resp(R)

第六步：对得到的和差通道的色相角响应进行Gabor滤波，分别得到滤波后的resp_diff_G和resp_sum_G；

第七步：计算滤波后的resp_diff_G和resp_sum_G的能量响应resp_diff_GE和resp_sum_GE，并计算权重因子：

其中c1和c2为调节常量；

第八步：根据第七步得到的权重因子对第五步得到的和差通道的色相角响应进行合成，得到能够模拟大脑视觉感知的影像图：

SDMI＝ω_diff·resp_diff+ω_sum·resp_sum

第九步：对视觉感知影像图进行分块，并对每个图像块进行DCT变换；

第十步：对每个图像块的各个子带进行统计，计算所有图像块在每个子带上的能量熵，得到图像块的特征；

第十一步：将图像库中的图像随机分为两部分，其中80％的失真立体图像对用支持向量机对得到的特征进行训练，根据训练得到的模型对剩下的20％的失真图像对的质量做预测，最终得到立体图像的质量。

2.根据权利要求1所述的评价方法，其特征在于，步骤十的方法为：

对每个8×8的图像块中直流分量除外的14个子带，根据下列公式可计算每个子带系数的熵，这样共得到14个特征：

其中k为子带数，Nk为第k个子带上系数的个数，C_k(·)为DCT系数，p[·]为概率密度函数。