CN108257125A - 一种基于自然场景统计的深度图像质量无参考评价方法 - Google Patents

Abstract

本发明提出一种基于自然场景统计的深度图像质量无参考评价方法，包括步骤：(1)收集一组深度图像，并将收集来的深度图像分为两部分，一部分为训练图像，另一部分为测试图像；(2)对每一幅深度图像进行不同尺度上的特征参数提取，提取的步骤为：通过边缘检测提取尺度图像的边缘区域，在边缘区域内求尺度图像梯度幅值和高斯‑拉普拉斯算子的分布，并分别用韦伯分布和非对称高斯分布建立二者的分布函数模型，将两个模型的参数作为深度图像的特征参数；(3)最后，用训练图像的特征参数进行随机森林模型训练，生成客观质量分数评价模型；将测试图像的特征参数输入客观质量分数评价模型，得到测试图像的客观质量分数。

Description

一种基于自然场景统计的深度图像质量无参考评价方法

技术领域

本发明涉及图像质量评价领域，尤其是一种基于自然场景统计的深度图像质量无参考评价方法。

背景技术

现有的质量评价方法分为主观评价方法和客观评价方法。主观评价方法虽然评价结果最为准确，但是费时费力，实际操作中不可行。所以，设计客观质量评价方法具有重要意义。能够用来评价深度图质量评价方法主要有传统图像质量评价方法和早期针对深度图的质量评价方法。下面对这些方法进行逐一的介绍和分析。

1、传统图像质量评价方法：现有很多传统算法。全参算法是通过对失真图像和参考图像的对比来评价图像质量。比如利用结构相似度来评价图像质量(SSIM)[1],在不同图像尺度下计算SSIM从而提出多尺度SSIM(MS-SSIM)[2]，特征相似度算法(FSIM)[3]，基于梯度相似性的算法(GSM)[4]，基于梯度幅值相似性偏差的算法(GMSD)[5]等。无参方法则不需要参考图像，包括图像空间域无参评价(BRISQUE)[6]，自然图像质量评价(NIQE)[7]，基于梯度幅值和拉普拉斯特征的无参考评价(BIQA)[8]等。

2、早期针对深度图质量评价方法:Le等[9]首先利用彩色图像通过SUSAN滤波器计算出的边缘信息和深度图结合计算出深度图的局部失真，然后将彩色图像通过Gabor滤波器得出各个局部失真的权重，最后将局部失真和各自权重结合，从而得到质量分数。Sen等[10]对纹理图和深度图根据空间相似度、边缘方向相似度、边缘块长度相似度进行匹配，得出不重合部分的面积占全图比例来描述合成图像质量。

从现有的算法看，传统图像质量评价方法，无论是全参还是无参算法都未能针对深度图失真的特殊性进行设计，导致评价准确性较差。而目前的针对深度图质量评价的算法，都需要借助无失真的纹理图进行评价，并不易于实现。基于以上分析，亟需设计一种针对深度图的无参考质量评价模型。

[1]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image qualityassessment:From error visibility to structural similarity,”IEEE Trans.ImageProcess.,vol.13,no.4,pp.600–612,Apr.2004.

[2]Z.Wang,E.P.Simoncelli,and A.C.Bovik,“Multiscale structuralsimilarity for image quality assessment,”in Proc.Conf.Rec.37th IEEE AsilomarConf.Signals,Syst.,Comput.,vol.2.Nov.pp.1398–1402，2003.

[3]L.Zhang,D.Zhang,X.Mou,and D.Zhang,“FSIM:A feature similarity indexfor image quality assessment,”IEEE Trans.Image Process.,vol.20,no.8,pp.2378–2386,Aug.2011.

[4]A.Liu,W.Lin,and M.Narwaria,“Image quality assessment based ongradient similarity,”IEEE Trans.Image Process.,vol.21,no.4,pp.1500–1512,Apr.2012.

[5]W.Xue,L.Zhang,X.Mou,and A.C.Bovik,“Gradient magnitude similaritydeviation:A highly efficient perceptual image quality index,”IEEE Trans.ImageProcess.,vol.23,no.2,pp.684–695,Feb.2014.

[6]A.Mittal,A.K.Moorthy,and A.C.Bovik,“No-reference image qualityassessment in the spatial domain”,IEEE Transactions on Image Processing,vol.21,no.12,pp.4695-708,2012.

[7]A.Mittal,R.Soundararajan,and A.C.Bovik,“Making a completely blindimage quality analyzer”,IEEE Signal Processing Letters,vol.20,no.3,pp.209-212,2013.

[8]W.Xue,X.Mou,L.Zhang,A.C.Bovik,and X.Feng,“Blind image qualityassessment using joint statistics of gradient magnitude and laplacianfeatures,”IEEE Trans.Image Process.,vol.23,no.11,pp.4850–4862,Nov.2014.

[9]T.H.Le,Thanh Ha,S.W.Jung,and C.S.Won."A new depth image qualitymetric using a pair of color and depth images."Multimedia Tools&Applications76:1-19.2016.

[10]X,Sen,Y.Li,and W.C.Chang.“No-Reference Depth Assessment Based onEdge Misalignment Errors for T+D Images”.IEEE Press 25(3):1479-1494.2016

[11]Song,Rui,H.Ko,and C.C.J.Kuo."MCL-3D:a database for stereoscopicimage quality assessment using 2D-image-plus-depth source."Journal ofInformation Science&Engineering 31.5.2015.

发明内容

发明目的：目前，自由视角和多视角视频已经受到广泛关注。以上两种格式的视频均需要大量的视角信息提供支持，由于技术成本和网络传输时效性的限制，不可能通过摄像设备拍摄所有需要的视角，所以需要借助虚拟视角合成技术来从某几个已知的视角来合成新的视角图像。现有的虚拟视角合成技术中，最常用的就是基于深度图的绘制方法即Depth Image Based Rendering(DIBR)合成技术。而DIBR合成新视角的质量与原始视角的纹理图和深度图的质量有很大关系，而深度图在合成过程中起到决定物体距离视点远近的作用，因此深度图的质量会直接影响到合成新视角的质量。另外，无论是直接通过硬件或者计算得到的深度图，总会掺杂进各种各样的失真，并且在边缘处的失真会对合成过程造成较大影响。所以，本算法要解决的技术问题就是通过提取和评价原始输入深度图中对失真较敏感较关键的边缘区域来对虚拟视角合成图像进行客观质量评价。

技术方案：为实现上述目的，克服现有技术的不足，本发明提出以下技术方案：

一种基于自然场景统计的深度图像质量无参考评价方法，包括步骤：

(1)收集一组深度图像，并将收集来的深度图像分为两部分，一部分为训练图像，另一部分为测试图像；

(2)对训练图像和测试图像中的每一幅深度图像分别执行步骤：

(2-1)定义原始深度图像为尺度图像0；对原始深度图像分别进行n次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n]；尺度图像0至n形成具有n+1个尺度的尺度空间；

(2-2)对尺度图像0至n分别进行特征参数提取，包括步骤：

对尺度图像i进行边缘检测，提取尺度图像i的边缘区域，i∈[0,2,…,n]；

在边缘失真区域内求各像素点的梯度幅值和高斯-拉普拉斯算子；

用韦伯分布拟合边缘失真区域内的梯度幅值分布，得到梯度幅值的韦伯分布函数；用非对称高斯分布拟合边缘失真区域内的高斯-拉普拉斯算子分布，得到高斯-拉普拉斯算子的非对称高斯分布函数；

提取韦伯分布函数的比例参数和形状参数，以及提取非对称高斯分布函数的均值、形状参数、左尺度参数、右尺度参数；

将提取出的6个参数作为尺度图像i的特征参数；

(3)将训练图像的特征参数作为随机森林模型的输入数据，训练出客观质量分数评价模型；

(4)将测试图像的特征参数作为客观质量分数评价模型的输入数据，得到测试图像的客观质量分数。

进一步的，所述步骤(2-2)中提取尺度图像i的边缘区域的具体步骤为：

1)通过边缘检测滤波器检测出尺度图像i的边缘线段，边缘线段上的像素点为边缘像素点；

2)选取以边缘像素点为中心的局部区域作为该边缘像素点的待选区域；

3)遍历边缘线段上的所有像素点，获取所有边缘像素点的待选区域；

4)合并所有待选区域，得到尺度图像i的边缘区域。

进一步的，所述尺度图像i边缘区域内任意一像素点(x,y)处的梯度幅值的计算公式为：

式中，G_i表示尺度图像i边缘区域内梯度幅值分布图，G_i(x,y)表示像素点(x,y)处的梯度幅值，I_i表示尺度图像i的边缘区域，H_x表示水平方向上的高斯卷积核，H_y表示竖直方向上的高斯卷积核，表示卷积符号。

进一步的，所述尺度图像i边缘区域内任意一像素点(x,y)处的高斯-拉普拉斯算子的计算公式为：

式中，L_i表示尺度图像i边缘区域内高斯-拉普拉斯算子的分布图，L_i(x,y)表示像素点(x,y)处的高斯-拉普拉斯算子值，H_LOG表示高斯-拉普拉斯算子卷积核。

进一步的，所述韦伯分布函数为：

式中，p()表示韦伯分布函数，a是韦伯分布的比例参数，b是韦伯分布的形状参数。

进一步的，所述非对称高斯分布函数为：

式中，f()表示非对称高斯分布函数，为左尺度参数，为右尺度参数，Γ()为伽玛函数；

非对称高斯分布函数的均值η为：

有益效果：与现有技术相比，本发明具有以下优势：

1、能够比较准确的提取出边缘失真区域；

2、相比于传统视觉图像质量评价方法，充分的考虑了深度图失真的特殊性；

3、仅通过对深度图的分析即可得出质量分数，无需借助纹理图；

4、该评价算法的性能明显优于现有图像质量评价方法。

附图说明

图1为本发明的原理流程图；

图2为canny检测滤波器检测出的边缘线段示意图；

图3为提取出的边缘失真区域示意图；

图4为不同失真类型下梯度幅值的分布曲线示意图；图中，横坐标为根据梯度幅值的最大最小值均匀分成的40个组，纵坐标为梯度幅值在每个组内出现的频率；

图5为不同失真类型下高斯-拉普拉斯算子分布曲线示意图；图中，横坐标为根据高斯-拉普拉斯算子的最大最小值均匀分成的100个组，纵坐标为高斯-拉普拉斯算子的值在每个组内出现的频率。

具体实施方式

下面结合附图对本发明作更进一步的说明。

图1为本发明的原理流程图，本发明分为四大模块：1、构建尺度空间；2、边缘失真区域检测3、边缘失真区域特征提取模块4、质量评价模型训练模块。下面对这四大模块进行详细介绍：

模块1、构建尺度空间：收集一组深度图像，并将收集来的深度图像分为两部分，一部分为训练图像，另一部分为测试图像；对训练图像和测试图像中的每一幅深度图像分别构建其尺度空间：定义原始深度图像为尺度图像0；对原始深度图像分别进行n次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n]；尺度图像0至n形成具有n+1个尺度的尺度空间。

模块2、对每一幅深度图像的各个尺度图像分别进行边缘失真区域检测：

将尺度图像经过边缘检测滤波器检测出边缘线段，边缘线段上的像素点为边缘像素点；选取以边缘像素点为中心的局部区域作为该边缘像素点的待选区域，遍历边缘线段上的所有像素点，获取所有边缘像素点的待选区域，然后合并所有待选区域，得到该尺度图像的边缘区域。

模块3、边缘失真区域特征提取，尺度图像i的边缘失真区域特征提取步骤为：

对尺度图像i求梯度幅值，在边缘失真区域内求梯度幅值分布，并用韦布尔(Weibull)分布建立模型，把得到的Weibull分布函数的尺度参数和形状参数作为特征1和特征2。对尺度图像i求高斯-拉普拉斯算子，在边缘失真区域内求高斯-拉普拉斯算子的分布，并用非对称高斯分布(AGGD)建立模型，把得到的AGGD分布函数的四个参数：均值、形状参数、左尺度参数、右尺度参数分别作为特征3、4、5、6。至此，对于尺度图像i，共提取出6个特征参数。

模块4、质量评价模型训练：

将训练图像的特征参数作为随机森林模型的输入数据，训练出客观质量分数评价模型；将测试图像的特征参数作为客观质量分数评价模型的输入数据，得到测试图像的客观质量分数。

下面通过具体实施例进一步说明上述技术方案。

本实施是在多视角图像库^[11]上进行。该数据库中有648张失真的深度图，这些失真的深度图有3个不同视角，每个视角有9种不同图像内容构成，每种图像内容加入了6种失真类型，每种失真类型有4个程度。

本实施例的具体步骤如下：

步骤1：将648张失真的深度图分为两组，一组为训练图像，另一组为测试图像；

步骤2：对每一幅深度图像进行特征参数提取，包括步骤21至24：

步骤21：将原始深度图像通过高斯低通滤波器进行4次下采样处理，定义原始深度图像为尺度图像0，则4次滤波后的结果分别记为尺度图像1、尺度图像2、尺度图像3和尺度图像4；

步骤22：对5幅尺度图像(尺度图像0-4)分别进行边缘失真区域检测，检测过程如图2和图3所示。

首先采用Canny滤波器检测出尺度图像的边缘线段，边缘线段中的像素点为边缘像素点；然后选取边缘像素点本身及其相邻的8个像素点，将选出的9个像素点所在区域(即图3中所示的3×3的像素点阵列区域)作为该边缘像素点的待选区域；遍历边缘线段上的所有像素点，获取所有边缘像素点的待选区域；合并所有待选区域，得到尺度图像的边缘区域。

步骤23：分别求出5幅尺度图像在相应的边缘失真区域内各像素点的梯度幅值和高斯-拉普拉斯算子：

式中，G_i表示尺度图像i边缘区域内梯度幅值分布图，G_i(x,y)表示像素点(x,y)处的梯度幅值，I_i表示尺度图像i的边缘区域，H_x表示水平方向上的高斯卷积核，H_y表示竖直方向上的高斯卷积核，表示卷积符号；L_i表示尺度图像i边缘区域内高斯-拉普拉斯算子的分布图，L_i(x,y)表示像素点(x,y)处的高斯-拉普拉斯算子值，H_LOG表示高斯-拉普拉斯算子卷积核；i∈[0,1,2,3,4]。

步骤24：用韦伯分布分别拟合5幅尺度图像在自身边缘失真区域内的梯度幅值分布，得到梯度幅值的韦伯分布函数；用非对称高斯分布分别拟合5幅尺度图像在自身边缘失真区域内的高斯-拉普拉斯算子分布，得到高斯-拉普拉斯算子的非对称高斯分布函数；其中，

韦伯分布函数为：

式中，p()表示韦伯分布函数，a是韦伯分布的比例参数，b是韦伯分布的形状参数；

非对称高斯分布函数为：

式中，f()表示非对称高斯分布函数，为左尺度参数，为右尺度参数，Γ()为伽玛函数；

非对称高斯分布函数的均值η为：

提取每幅尺度图像的韦伯分布函数的比例参数a和形状参数b和非对称高斯分布函数的均值η、形状参数v、左尺度参数右尺度参数

将提取出的6个参数(a，b，η，v，)作为该尺度图像的特征参数；

因此，我们在每一幅深度图像的5个尺度上分别提取6个特征参数，也就是说，每张深度图我们一共提取出30个特征参数。

步骤3：将训练图像的特征参数作为随机森林模型的输入数据，训练出客观质量分数评价模型；

步骤4：将测试图像的特征参数作为客观质量分数评价模型的输入数据，得到测试图像的客观质量分数。

为了评估本方法的表现，我们用四个指标衡量客观评价客观质量分数与主观分数的一致性。这四个指标分别为：相关系数(PLCC，Pearson product-moment correlationcoefficient)，Spearman相关系数(SROCC，Spearman rank-order correlationcoefficient)，Kendall等级相关系数(KROCC，Kendall rank-order correlationcoefficient)，均方误差根(RMSE，Root mean square error)。当一个方法的PLCC、SROCC、KROCC越接近1，RMSE越接近0时，说明它与主观分数拟合越好，性能越优越。

我们将本发明的性能和传统质量评价算法进行对比。表1给出了本发明和其他22个算法的测试性能。其中，1-10为传统图像无参考质量评价算法，11-22为传统图像全参考质量评价算法。PLCC/SROCC/KROCC数值越大，RMSE数值越小，说明算法性能越好。

表1本发明和其他算法的性能对比

序号	方法	PLCC	SROCC	KROCC	RMSE
						1	BRISQUE	0.6511	0.3819	0.2589	1.2161
2	NIQE	0.3911	0.3444	0.2340	1.4746
						3	ILNIQE	0.5593	0.4082	0.2823	1.3281
4	NFERM	0.4830	0.4080	0.2849	1.4029
						5	DESIQUE	0.5753	0.3795	0.2607	1.3106
6	BLIINDS-II	0.4049	0.3324	0.2353	1.4650
						7	BIQA	0.8170	0.6056	0.4353	0.9250
8	DIIVINE	0.4142	0.4093	0.2875	1.4583
						9	BIQI	0.3421	0.3242	0.2968	0.9858
10	QAC	0.5677	0.2627	0.1911	1.3190
						11	PSNR	0.7947	0.6972	0.5219	0.9726
12	SSIM	0.8069	0.6418	0.4723	0.9464
						13	MSSSIM	0.8022	0.6283	0.4635	0.9565
14	IWSSIM	0.8223	0.6819	0.5112	0.9117
						15	FSIM	0.8290	0.6498	0.4860	0.8961
16	GSM	0.8151	0.6571	0.4880	0.9281
						17	IGM	0.7991	0.6759	0.4997	0.9633
18	GMSD	0.7560	0.7386	0.5510	1.0489
						19	VIF	0.5268	0.5294	0.3918	1.5893
20	MAD	0.7786	0.7226	0.5423	1.0053
						21	PSNRHVSM	0.7421	0.7025	0.5240	1.0740
22	VSI	0.6796	0.5944	0.4241	1.1754
						23	本发明	0.8744	0.7983	0.6181	0.7722

由上表可知，本发明的PLCC/SROCC/KROCC明显高于所有其他的算法，RMSE最小。这说明了本算法性能具有明显的优越性。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，包括步骤：

(1)收集一组深度图像，并将收集来的深度图像分为两部分，一部分为训练图像，另一部分为测试图像；

(2)对训练图像和测试图像中的每一幅深度图像分别执行步骤：

(2-1)定义原始深度图像为尺度图像0；对原始深度图像分别进行n次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n]；尺度图像0至n形成具有n+1个尺度的尺度空间；

(2-2)对尺度图像0至n分别进行特征参数提取，包括步骤：

对尺度图像i进行边缘检测，提取尺度图像i的边缘区域，i∈[0,2,…,n]；

在边缘失真区域内求各像素点的梯度幅值和高斯-拉普拉斯算子；

用韦伯分布拟合边缘失真区域内的梯度幅值分布，得到梯度幅值的韦伯分布函数；用非对称高斯分布拟合边缘失真区域内的高斯-拉普拉斯算子分布，得到高斯-拉普拉斯算子的非对称高斯分布函数；

提取韦伯分布函数的比例参数和形状参数，以及提取非对称高斯分布函数的均值、形状参数、左尺度参数、右尺度参数；

将提取出的6个参数作为尺度图像i的特征参数；

(3)将训练图像的特征参数作为随机森林模型的输入数据，训练出客观质量分数评价模型；

(4)将测试图像的特征参数作为客观质量分数评价模型的输入数据，得到测试图像的客观质量分数。

2.根据权利要求1所述的一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，所述步骤(2-2)中提取尺度图像i的边缘区域的具体步骤为：

1)通过边缘检测滤波器检测出尺度图像i的边缘线段，边缘线段上的像素点为边缘像素点；

2)选取以边缘像素点为中心的局部区域作为该边缘像素点的待选区域；

3)遍历边缘线段上的所有像素点，获取所有边缘像素点的待选区域；

4)合并所有待选区域，得到尺度图像i的边缘区域。

3.根据权利要求2所述的一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，所述尺度图像i边缘区域内任意一像素点(x,y)处的梯度幅值的计算公式为：

式中，G_i表示尺度图像i边缘区域内梯度幅值分布图，G_i(x,y)表示像素点(x,y)处的梯度幅值，I_i表示尺度图像i的边缘区域，H_x表示水平方向上的高斯卷积核，H_y表示竖直方向上的高斯卷积核，表示卷积符号。

4.根据权利要求3所述的一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，所述尺度图像i边缘区域内任意一像素点(x,y)处的高斯-拉普拉斯算子的计算公式为：

式中，L_i表示尺度图像i边缘区域内高斯-拉普拉斯算子的分布图，L_i(x,y)表示像素点(x,y)处的高斯-拉普拉斯算子值，H_LOG表示高斯-拉普拉斯算子卷积核。

5.根据权利要求4所述的一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，所述韦伯分布函数为：

式中，p()表示韦伯分布函数，a是韦伯分布的比例参数，b是韦伯分布的形状参数。

6.根据权利要求5所述的一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，所述非对称高斯分布函数为：

式中，f()表示非对称高斯分布函数，为左尺度参数，为右尺度参数，Γ()为伽玛函数；

非对称高斯分布函数的均值η为：