CN108765414B - 基于小波分解和自然场景统计的无参考立体图像质量评价方法 - Google Patents

Abstract

本发明涉及一种立体图像质量评价方法，提出了一种基于小波分解和自然场景统计的无参考立体图像质量评价算法。首先，利用改进的立体视差估计算法估计左右图像的视差图像；对左右视点图像和视差图像进行2个尺度6个方向的小波分解，利用小波子带的总能量作为权值因子，将左右视点图像和视差图像合成中央眼图像；其次，对中央眼图像、立体视差图像和左右视点图像的小波分解系数进行自然场景统计分析，利用广义高斯分布来对这种分布进行拟合，同时提取广义高斯分布的模型参数作为特征来反映不同失真图像质量之间的差异；最后，运用机器学习的方法预测立体图像的质量。本发明提出的算法能够准确有效地预测立体图像的质量。

Description

基于小波分解和自然场景统计的无参考立体图像质量评价 方法

技术领域

本发明涉及一种基于特征提取的图像质量评价方法，尤其是涉及一种基于小波分解和自然场景统计的无参考立体图像质量评价方法。

背景技术

随着人类物质文化精神需求的增长以及多媒体互联网技术的发展，立体图像/视频技术得到了广泛的应用。除了能满足人们日常的需求(3D电影、3D游戏等)，在远程医疗、兵器模拟和航空航天等诸多领域都发挥着重要的作用。立体图像/视频能创造更加真实直观的场面感受，但在立体图像/视频的处理、传输和显示过程中容易被各种图像噪声污染而导致失真，而图像质量评价(Stereo Image Quality Assessment，SIQA)一方面可以用来检验压缩性能的好坏，另一方面又可以指导编码系统，选择最优的编码模式。快速地对图像质量进行评价有助于在实时监控中获取较高质量的图像，也有助于提高视觉质量体验。因此，能够快速方便有效地对立体图像质量进行评估成为了研究热点。

由于在大多数场合原始图像难以获取，因此无参考图像质量评价算法一直是关注重点。目前无参考图像质量评价算法已发展到通用型，可以分为两种：一种是基于机器学习思想，通过学习训练来构建模型，再通过测试集评估其性能。另一种是直接提取特征将其映射，得到图像质量的评估值，不需要模型训练过程。

(一)结构相似度衡量准则

该算法先计算参考图像和失真图像的亮度、对比度与结构信息之间的相似度指数，然后将这三个相似度指数进行融合得到一个质量因子来表示失真图像的质量。

假设x和y分别表示参考图像和失真图像，则它们之间的亮度、对比度和结构信息相似函数分别定义为：

故结构相似度指数为：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ (4)

其中，x和y分别表示左图像和右图像；μ_x是图像块x的均值，代表其亮度信息；σ_x是图像块x的方差，代表其对比度信息；σ_xy是图像块x与图像块y之间的协方差；c₁,c₂,c₃是常量，防止分母为0；α、β和γ分别表示l(x,y)、c(x,y)和s(x,y)的权值参数。

(二)自然场景统计特征

自然场景统计分析表明自然图像具有某种统计特性，失真的存在改变了图像的自然场景统计分布。根据其分布的规律，利用参数分布函数对这种分布进行拟合，提取的模型参数作为特征来反映不同失真图像质量之间的差异，用于质量评价。本方法中用广义高斯分布的模型参数α和σ²作为特征。

零均值的广义高斯密度函数可以表示为：

其中，α是形状参数，控制广义高斯分布的包络，σ²表示广义高斯分布的方差，尺度参数特征

Γ(·)是伽马函数，其表达式为：

本发明提出了一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，属于第一种算法，其涉及的基础背景技术主要有结构相似度衡量准则、小波分析和自然场景统计特征。

发明内容

本发明的目的是为了提高无参考立体图像质量评价技术的性能及主观一致性，降低提取的特征之间的相关性以及提高算法的效率，提供了一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，能够准确有效地预测立体图像的质量。

本发明的具体构思是：

本发明主要分为特征提取阶段以及训练回归阶段。首先估计左右图像的视差图像，然后合成立体图像的中央眼图像；其次分别对左右图像、双目视差图像以及合成的中央眼图像提取自然场景统计特征；最后运用机器学习的方法预测立体图像的质量。

根据上述的构思，本发明采用下述技术方案：

一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，步骤如下：

步骤1.双目视差计算：利用改进的立体视差估计算法计算左右视点图像的视差图像；

步骤2.中央眼图像的合成：分别对左右图像进行2个尺度和6个方向的小波分解，各得到12条小波子带

其中α∈{l,r}表示左图像和右图像，β∈{1，2}表示尺度，θ∈{0°,30°,60°,90°,120°,150°}表示方向；将左右图像小波分解后得到的所有子带的能量总和作为增益控制模型的权重，模拟双目融合过程，得到中央眼图像；

步骤3.特征提取：分别在左视图、右视图、中央眼图像和双目视差图上进行2个尺度和6个方向的小波分解，并对小波分解系数进行自然场景统计分析，来提取代表立体图像质量的特征；并将提取的特征值构成的特征矩阵进行主成分分析(Principal ComponentAnalysis，PCA)处理，达到降低维数的效果；

步骤4.训练模型并预测：将训练集经过上述步骤提取的统计特征及相应的立体图像主观质量分数构成数据集，使用数据集训练支持向量回归器SVR；测试时，将待测立体图像的统计特征输入训练好的支持向量机模型，得到图像客观质量分数。

本发明与现有技术相比，具有如下显而易见的实质性特点和显著的进步：

1.本发明提出的方法改进的双目视差估计算法更符合双目视觉感知特性；

2.本发明提出方法对特征向量进行独立成分分析处理，达到降维的效果，优化了算法，提高了算法的效率；

3.本发明提出的方法能够更准确、更有效地评价立体图像的质量。

附图说明

图1是本发明提出的无参考立体图像质量评价算法的总框图。

图2基于结构相似度最大准则计算双目视差的示意图。

图3是单尺度子带的概率密度函数分布曲线图。

图4是子带间空间相关性的概率密度函数分布曲线图。

图5是子带间差值的概率密度函数分布曲线图。

图6是PCA处理后不同的特征个数所对应的SROCC的值。

图7是支持向量机的训练和测试过程。

具体实施方式

本发明的优选实施例结合附图做详细说明。

参见图1，一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，本实施例在epsilon-SVR类型的支持向量机、Matlab 2016a以及LIVE 3D数据库(一)和LIVE3D数据库(二)上进行了实施。

具体实施步骤如下：

步骤1.双目视差计算：利用改进的立体视差估计算法计算左右视点图像的视差图像；

步骤2.中央眼图像的合成：分别对左右图像进行2个尺度和6个方向的小波分解，各得到12条小波子带

其中α∈{l,r}，β∈{1，2}，θ∈{0°,30°,60°,90°,120°,150°}；将左右图像小波分解后得到的所有子带的能量总和作为增益控制模型的权重，模拟双目融合过程，得到中央眼图像；

步骤3.特征提取：分别在左视图、右视图、中央眼图像和双目视差图上进行2个尺度和6个方向的小波分解，并对小波分解系数进行自然场景统计分析，来提取代表立体图像质量的特征；并将提取的特征值构成的特征矩阵进行PCA处理，达到降低维数的效果；

步骤4.训练模型并预测：将训练集经过上述步骤提取的统计特征及相应的立体图像主观质量分数构成数据集，使用数据集训练支持向量回归器SVR；测试时，将待测立体图像的统计特征输入训练好的支持向量机模型，得到图像客观质量分数。

所述步骤1中，双目视差的计算，具体步骤为：

步骤1.1.采用现有的无参考图像质量评价算法计算左右图像的质量，质量较好的那幅图像作为基准图像，而另一幅图像作为辅助图像；本案例采用Mittal等人提出的无参考图像质量评价算法；

步骤1.2.以左图像作为基准图像为例，假设[x_l,y_l]是左图像中的一点，本发明改进的算法则在右图像[x_l-range,y_l]到[x_l+range,y_l]的区间内搜索其匹配点，range取值为5；用结构相似度准则计算左右图像像素块的结构相似度指数SSIM，利用大小为5的旋转对称高斯滤波器核函数对所有的SSIM值进行融合来寻找最佳匹配块，SSIM值最大时匹配到的右图像的像素块即为最佳匹配块；

步骤1.3.如图2给出了基于结构相似度最大准则计算双目视差的示意图，步骤1.2中搜索到的最佳匹配块与对应的基准图像中的像素块之间的位置差值就是双目视差。

所述步骤2中，中央眼图合成的具体步骤为：

步骤2.1.对左右图像进行2个尺度和6个方向的小波分解，分别得到12条小波子带

α∈{l,r}表示左图像和右图像，β∈{1，2}表示尺度，θ∈{0°,30°,60°,90°,120°,150°}表示方向，计算左图像经小波分解后所有子带能量的总和GE_L以及右图像经小波分解后所有子带能量的总和GE_R，即

步骤2.2.选择左图像I_L(x,y)与右图像I_R(x,y)中质量较好的图像作为基准图像，另一幅为辅助图像，以选择左图像作为基准图像为例，则中央眼图I_C(x,y)的合成过程为：

I_C(x,y)＝ω_L(x,y)·I_L(x,y)+ω_R(x-D_L(x,y),y)·I_R(x-D_L(x,y),y) (9)

其中，

且D_L(x,y)是利用步骤1的方法计算的双目视差。

所述步骤3中，提取特征值，具体步骤为：

步骤3.1.分别对左右图像、双目视差图像以及合成的中央眼图像进行2个尺度和6个方向的小波分解，各得到12条小波子带，以中央眼图像I_C(x,y)为例，经小波分解后，得到的子带为

其中β∈{1,2},θ∈{0°,30°,60°,90°,12°0,15°0}，并对子带系数进行自然场景统计分析；

图3、图4、图5分别是以中央眼图像I_C(x,y)为例的单尺度小波子带系数、子带间空间相关性和子带间差值的概率密度函数分布图；可以看出，图像经小波分解后，相同尺度不同方向的子带以及不同尺度相同方向的子带间存在一定的空间相关性分布；单尺度小波子带系数、子带间空间相关性和子带间差值的概率密度函数分布图近似服从广义高斯分布，可以用广义高斯分布函数进行拟合，而且不同失真的图像具有不同的分布特性。因此，可以利用广义高斯分布的模型参数作为特征来反映不同失真图像质量之间的差异。

步骤3.1.1.对步骤3.1中得到的子带系数进行概率密度统计分析，利用广义高斯分布来拟合单尺度小波子带系数的概率密度函数分布，利用式(5)和式(6)估计出广义高斯分布的模型参数α和σ²，并将其作为特征；

步骤3.1.2.对步骤3.1中得到的相同尺度不同方向的子带系数以及不同尺度相同方向的子带系数进行概率密度统计分析，利用广义高斯分布来拟合单尺度小波子带系数的概率密度函数分布，估计出广义高斯分布的模型参数α和σ²，并将其作为特征；

步骤3.1.3.对相同尺度的子带系数差值进行概率密度统计分析，利用广义高斯分布来拟合单尺度小波子带系数的概率密度函数分布，估计出广义高斯分布的模型参数α和σ²，并将其作为特征；其中，相同尺度不同方向的子带间的差值的计算方法如下：

第一尺度不同方向的子带间的差值

第二尺度不同方向的子带间的差值

其中，θ_i∈{0°}，θ_j＝{30°,60°,90°,120°,150°}；

步骤3.2.PCA降维处理：本发明针对每一幅立体图像最终提取了144个特征，而这些特征之间不可避免地存在一定的相关性或者信息的冗余，从而降低了算法的效果，因此，将步骤3.1得到n幅图像的特征向量组成的特征矩阵

d表示特征向量的长度，并进行独立成分分析(PCA)处理，即对X的协方差矩阵进行特征值分解，取其中最大的m个特征值及其对应的特征向量构成一个变换矩阵

m＜d，再将变换矩阵与矩阵X做乘积，使矩阵维数降为m，以达到降低相关性、降低维数的效果。

如图6是特征矩阵经过PCA处理后，不同的特征个数所对应的SROCC(Spearman’sRank Order Correlation Coefficient)的值，SROCC值越大算法性能越好。可以看出，经过PCA处理后，特征之间的相关性有所降低，由此带来算法性能的提高。在本实例中m取54，此时算法获得最佳性能。

所述步骤4中，训练模型并预测，如图7所示，具体步骤为：

步骤4.1.在数据库上进行了80％训练-20％测试的试验，即80％的数据用于训练支持向量回归器SVR，剩下的20％的数据用于测试，训练数据和测试数据不存在内容的重叠；

步骤4.2.把测试集中每张立体图像的统计特征输入训练好的SVR模型，输出预测的图像质量分数。

本发明的算法在LIVE 3D数据库(一)和LIVE 3D数据库(二)进行了实施。该数据库包含五种失真类型：JP2K压缩、JPEG压缩、白噪声(WN)、快速衰减(FF)和模糊(Blur)。实验中选择了几种目前表现优秀的3D图像质量评价算法作为对比算法，使用了三个常用的评价指标PLCC(Pearson Linear Correlation Coefficient)、SROCC(Spearman’s Rank OrderCorrelation Coefficient)、RMSE(Root Mean Square Error)来衡量算法性能，PLCC和SROCC的值越大，RMSE的值越小，表明客观图像质量评价算法越好。

为了提高算法的准确性，实验采取了将训练-测试过程在支持向量机上执行1000次，最后取这1000次结果的均值来表示算法的性能结果。表1-3分别给出了本发明与其它优秀算法在LIVE 3D数据库(一)和LIVE 3D数据库(二)上的总体性能以及不同失真类型的性能比较，可以看出本发明的算法的总体性能明显优于其他几种算法的性能。

另外，针对不同失真类型的性能评估(见表2和表3)。斜体的是全参考立体图像质量评价算法，算法性能最好的两种算法已用黑体标出。可以看出本发明提出的算法始终位列算法性能最好的两种算法之中，故本发明的算法能够更准确、更有效地评价立体图像的质量。

表1本发明的算法同几种主流的无参考算法在LIVE 3D数据库上的总体性能比较

表2本文算法和其他全参考以及无参考立体图像质量评价算法在LIVE 3D数据库(一)上针对不同失真类型的性能评估

表3本文算法和其他全参考以及无参考立体图像质量评价算法在LIVE 3D数据库(二)上针对不同失真类型的性能评估

以上实施例仅用于说明本发明的技术方案，并非用于限制本发明的范围，凡在本发明精神和原则之内所做的任何修改、等同替换和改进等，均含于本发明的保护范围之内。

Claims (5)

1.一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，其特征在于，具体步骤如下：

步骤1.双目视差计算：

利用改进的立体视差估计算法计算左右视点图像的视差图像；

步骤2.中央眼图像的合成：

分别对左右图像进行2个尺度和6个方向的小波分解，各得到12条小波子带

其中α∈{l,r}表示左图像和右图像，β∈{1，2}表示尺度，θ∈{0°,30°,60°,90°,120°,150°}表示方向；将左右图像小波分解后得到的所有子带的能量总和作为增益控制模型的权重，模拟双目融合过程，得到中央眼图像；

步骤3.特征提取：

分别在左视图、右视图、中央眼图像和双目视差图上进行2个尺度和6个方向的小波分解，并对小波分解系数进行自然场景统计分析，来提取代表立体图像质量的特征；并将提取的特征值构成的特征矩阵进行主成分分析处理，达到降低维数的效果；

步骤4.训练模型并预测：

将训练集经过上述步骤3提取的统计特征及相应的立体图像主观质量分数构成数据集，使用数据集训练支持向量回归器SVR；测试时，将待测立体图像的统计特征输入训练好的支持向量机模型，得到图像客观质量分数。

2.根据权利要求1所述的一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，其特征在于，所述步骤1中，改进的立体视差估计算法的步骤为：

步骤1.1.用现有的无参考图像质量评价算法来计算左右图像的质量，质量较好的那幅图像作为基准图像，而另一幅图像作为辅助图像；

步骤1.2.在辅助图像中逐个寻找与基准图像匹配的像素块，以左图像作为基准图像为例，假设[x_l,y_l]是左图像中的一点，改进的算法则在右图像[x_l-range,y_l]到[x_l+range,y_l]的区间内搜索其匹配点，range取值为N；用结构相似度准则计算左右图像像素块的结构相似度指数SSIM，利用大小为N的旋转对称高斯滤波器核函数对所有的SSIM值进行融合来寻找最佳匹配块，SSIM值最大时，匹配到的右图像的像素块即为最佳匹配块。

3.根据权利要求1所述的一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，其特征在于，所述步骤2中，中央眼图像的合成过程如下：

步骤2.1.对左右图像进行2个尺度和6个方向的小波分解，各得到12条小波子带

α∈{l,r}表示左图像和右图像，β∈{1，2}表示尺度，θ∈{0°,30°,60°,90°,120°,150°}表示方向，计算左图像经小波分解后所有子带能量的总和GE_L以及右图像经小波分解后所有子带能量的总和GE_R，即

步骤2.2.选择左图像I_L(x,y)与右图像I_R(x,y)中质量较好的图像作为基准图像，另一幅为辅助图像；以选择左图像作为基准图像为例，则中央眼图I_C(x,y)的合成过程为：

I_C(x,y)＝ω_L(x,y)·I_L(x,y)+ω_R(x-D_L(x,y),y)·I_R(x-D_L(x,y),y)

其中，

且D_L(x,y)是利用步骤1的方法计算的双目视差。

4.根据权利要求1所述的一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，其特征在于，所述步骤3中提取代表立体图像质量的特征，这些特征包括单尺度子带的特征、子带间空间相关性的特征以及子带间差值的特征，其具体步骤为：

步骤3.1.分别在左视图、右视图、中央眼图像和双目视差图上进行2个尺度和6个方向的小波分解，各得到的12条小波子带

β∈{1，2}表示尺度，θ∈{0°,30°,60°,90°,120°,150°}表示方向，并对子带系数进行自然场景统计分析；

步骤3.2.将步骤3.1得到的特征值构成的特征矩阵X，并进行独立成分分析处理，即对X的协方差矩阵进行特征值分解，将步骤3.1得到n幅图像的特征向量组成的特征矩阵

d表示特征向量的长度，并进行独立成分分析(PCA)处理，即对X的协方差矩阵进行特征值分解，取其中最大的m个特征值及其对应的特征向量构成一个变换矩阵

其中d表示特征向量的长度，再将变换矩阵与矩阵X做乘积，达到降低维数的效果。

5.根据权利要求4所述的一种基于小波分解和自然场景统计的无参考立体图像质量评价方法，其特征在于，所述步骤3.1的具体过程如下：

步骤3.1.1.对步骤3.1中得到的子带系数进行概率密度统计分析，利用广义高斯分布来拟合单尺度小波子带系数的概率密度函数分布，估计出广义高斯分布的模型参数α和σ²，并将其作为特征；

步骤3.1.2.对步骤3.1中得到的相同尺度不同方向的子带系数以及不同尺度相同方向的子带系数进行概率密度统计分析，利用广义高斯分布来拟合单尺度小波子带系数的概率密度函数分布，估计出广义高斯分布的模型参数α和σ²，并将其作为特征；

步骤3.1.3.对相同尺度的子带系数差值进行概率密度统计分析，利用广义高斯分布来拟合单尺度小波子带系数的概率密度函数分布，估计出广义高斯分布的模型参数α和σ²，并将其作为特征；其中，相同尺度不同方向的子带间的差值的计算方法如下：

第一尺度不同方向的子带间的差值

第二尺度不同方向的子带间的差值

其中，θ_i∈{0°}，θ_j＝{30°,60°,90°,120°,150°}。

Images