CN104853175B - 一种新的合成虚拟视点客观质量评价方法 - Google Patents

Abstract

本发明涉及一种针对自由视点视频中基于深度合成的虚拟视点的客观质量评价方法。它包括步骤：(1)对合成虚拟视点提取边缘图，得到由失真纹理图合成的虚拟视点边缘图；(2)提取原始左右纹理边缘图，并用提取的边缘图和对应的深度图合成虚拟视点边缘图；(3)得到失真边缘图质量：用SSIM方法评价失真的合成虚拟视边缘图与参考合成虚拟视边缘图；(4)建立评价函数；(5)推导评价模型：根据虚拟视点和边缘虚拟视点质量的质量关系推导相似性函数中设置的常参数，将常参数代入边缘相似性函数得到质量评价结果，并进行实验分析与验证，经实验推导评价函数常参数。

Description

一种新的合成虚拟视点客观质量评价方法

技术领域

本发明涉及一种新的合成虚拟视点客观质量评价方法，特别是一种基于边缘的部分参考质量评价方法。

背景技术

3D(Three Dimensional)电视使人产生身临其境的感觉，是一种能够提供立体感的新型显示技术。近年来，各类电视生产商、研究机构及国内外标准化组织均将3D列为重点研究的技术领域。而作为3D其中一种形式的自由视点电视使人们能从任意场景视角接收现实世界，然而由于其数据量庞大，为减少自由立体视频数据量，同时支持交互性，多视点视频+深度(Multiview Video plus Depth,MVD)方法应运而生。MVD利用深度信息更准确地表示3D场景信息，便于合成更高质量的虚拟视点图像，可在一定范围内的任意位置合成高质量的虚拟视点图供用户观看，且允许用户根据自己的喜好随时改变观看的视点。MVD视频格式在自由立体视频系统的终端主要采用了DIBR(Depth Image Based Rendering，深度图像绘制)技术，其核心是三维图像变换，DIBR利用静止或运动图像中每一点的深度信息来产生一个或者多个虚拟视点，大大减少了参考图像的数目，节省了图像数据的存储空间和传输带宽。通过DIBR过程产生的虚拟视点出现了新的失真类型，主要表现为边缘区域的伪边缘。这是由于合成过程中存在着深度变换和视点融合等步骤，基于深度的3D变换的不准确及遮挡等在合成视点的边缘会出现高频噪声；并且在某些位置上，由于遮挡等原因，生成的图像会产生空洞，物体边缘出现失真。合成的虚拟视点的质量是决定自由视点能否获得广泛应用的关键，虚拟视点的质量受诸多因素的影响，例如视点合成算法，压缩算法，纹理图及深度图的质量。目前对于合成的虚拟视点质量一般采用常用于二维的PSNR(Peak Signal toNoise Ratio，峰值信噪比)全参考评价方法，而这种方法是基于全像素的，没有考虑虚拟视点边缘失真的特点。因此结果往往和主观感知的视频质量不相一致。甚至会出现PSNR较高者看起来反而比PSNR较低者差的情况。这是因为人眼的视觉对于误差的敏感度会受到许多因素的影响而产生变化，例如：人眼对边缘敏感度较高，用基于全像素的PSNR就会造成评价误差。

图像质量评价方法分为主观和客观两种方法，主观评价方法需要测试者借助原始图像成对比较来区分图像差异，然而这个是耗时间的。因此人们将重点放在客观评价方法上。客观评价方法是针对图像的失真情况得出相应的验证算法，以数字的方式表现图像质量好坏。根据失真图像与其相应的原始参考图像的依赖程度，可把视频质量评价方法分成3大类，全参考方法(Full-Reference,FR)、无参考方法(Non-Reference,NR)、部分参考方法(Reduced-Reference,RR)。目前对于合成的虚拟视点，常用的方法是借助虚拟视点的原始参考视点进行评价，然而虚拟视点会存在无原始图像的情况，因此必须借助无参考评价方法，然而无参考评价方法不能结合虚拟视点产生过程，既不能针对虚拟视点的特殊失真，因此评价结果会产生偏差。评价结果不能完全符合人眼的主观感受。迄今，针对多视点视频中的虚拟视点的质量评价方法研究较少，还没有普遍针对特殊失真使用的方法。

发明内容

本发明的目的是针对虚拟视点的合成过程，提供一种针对其特殊失真的部分参考质量评价方法。与传统的评价方法相比较，本文方法是针对基于深度的多视点视频合成过程，利用提取合成的失真虚拟视点边缘图及未失真的纹理边缘图合成的虚拟视点边缘图之间的关系建立评价函数，并将这个评价函数引入到虚拟视点的质量评价中，本方法充分利用合成虚拟视点所使用的左右视点信息，在缺少虚拟视点对应原始视点的情况下，可有效评价虚拟视点的质量。

为达到上述目的，本发明的构思是：

如图1所示，首先用失真纹理图和其对应的深度图合成虚拟视点，并提取虚拟视点的边缘图；然后提取未失真的左右纹理边缘图，并用提取的边缘图和对应的深度图合成虚拟视点边缘图；用SSIM(Structural Similarity，结构相似性)方法评价失真的合成虚拟视边缘图与参考合成虚拟视边缘图；根据对多种序列得到的相似度值对到边缘相似性建立评价函数；最后根据虚拟视点和边缘虚拟视点质量的质量关系推导相似性函数中设置的常参数；将常参数代入边缘相似性函数得到质量评价模型。

为达到上述构思，本发明的技术方案是：

一种基于深度合成的虚拟视点部分参考质量评价方法，其特征在于通过评价合成虚拟视点边缘图的结果得到虚拟视点的评价方法。评价所得结果越高说明合成虚拟视点图像质量越好。此方法能够反映虚拟视的质量，和现有的评价方法相比，本方法充分利用合成虚拟视点所使用的左右视点信息，在缺少虚拟视点对应原始视点的情况下，可有效评价虚拟视点的质量，其测试结果与全参考方法关联性较高，与主观评价的结果有更好的一致性。

其具体步骤是：

(1)得到由失真纹理图合成的虚拟视点边缘图：先用失真纹理图和其对应的深度图合成虚拟视点，然后提取虚拟视点的边缘图；

(2)得到由未失真纹理图边缘合成的虚拟视点边缘图：提取未失真的左右纹理边缘图，并用提取的边缘图和对应的深度图合成虚拟视点边缘图；

(3)得到失真边缘图质量：评价失真的合成虚拟视边缘图与参考合成虚拟视边缘图；

(4)建立评价函数：建立非线性拟合函数；

(5)推导评价模型：根据虚拟视点和边缘虚拟视点质量的质量关系推导相似性函数中设置的常参数，将常参数代入边缘相似性函数得到质量评价结果，并进行实验分析与验证，经实验推导评价函数常参数。

上述得到由失真纹理图合成的虚拟视点边缘图具体步骤是：

①合成虚拟视点；

②提取合成虚拟视点的边缘图I_EV(x_V,y_V)。

上述得到由未失真纹理图边缘合成的虚拟视点边缘图具体步骤是：

①提取原始左视点纹理图的边缘；

②提取原始右视点纹理图的边缘；

③将左右纹理边缘图和对应的深度图合成原始的合成视边缘图I_DEV(x_V,y_V)。

上述得到失真边缘图质量具体步骤是：

①用结构相似性方法SSIM比较边缘图的质量。

上述建立评价函数具体步骤是：

①根据评价结果建立非线性函数RR_SSIM_Virtual。

上述推导评价模型具体步骤是：

①采用MPEG组织推荐的自带深度的多视点视频序列；

②按合成虚拟视点的比较结果得模型参数的值；

③求得评价结果Q_Virtual。

下面对上述技术方案给予进一步详细说明：

图1示出本发明总体技术方案中的下列五个步骤：

(1)得到由失真纹理图合成的虚拟视点边缘图

如图2所示，分为两步进行。

(1-1)用MPEG(Moving Picture Experts Group动态图像专家组)组织推荐的视点合成软件VSRS(view synthesis reference software)合成虚拟视点；

(1-2)提取虚拟视点的边缘，获得虚拟视点边缘图I_DEV(x_V,y_V)。

由于存在着深度变换和视点融合等步骤，因此在合成视点的边缘会出现高频噪声，用边缘图像的合成来减少这种噪声的出现。Roberts算子边缘定位准，可以检测水平和垂直边缘，并且效果较好，但对噪声敏感。而这里不是简单的提取边缘，还要检测噪声，因此本文用Roberts算子来提取边缘。以下步骤类似采用Roberts算子来提取边缘。

(2)得到由未失真纹理图边缘合成的虚拟视点边缘图

如图3所示，分为三步进行。

(2-1)提取原始左视点纹理图的边缘；

(2-2)提取原始右视点纹理图的边缘；

(2-3)和对应的深度图合成原始的合成视边缘图I_EV(x_V,y_V)。

I_EV(x_V,y_V)＝(1-α)I_EL(x_L,y_L)+αI_ER(x_R,y_R) (1)

I_EV(x_V,y_V)是虚拟视点边缘图，I_EL(x_L,y_L),I_ER(x_R,y_R)是左右合成视点的边缘图，α值如公式(2).

T_L,T_R、T_V分别是左、右及中间虚拟相机的变换矢量。

(3)得到失真边缘图质量

(3-1)用SSIM方法得到失真的合成虚拟视点边缘图与参考合成虚拟视点边缘图质量SSIM_edge；

用结构相似性方法(SSIM)比较边缘图的质量。SSIM相对于PSNR来说加入了人类的视觉特性。因此虚拟视点边缘图的质量为：

I_EV、I_DEV分别是原始图像信号和失真图像信号，其中，是亮度均值，用作亮度估计，N为图像分块总数；是标准方差，用作对比度估计， 是原始图像信号I_EV和失真图像信号I_DEV标准差，C₁C₂为常数。

(4)建立评价函数

(4-1)采用软件Origin7.5提供的非线性模型中的Logistic函数拟合建立非线性拟合函数。

这里，RR_SSIM_Virtual代表提出的部分参考评价方法，SSIM_edge是由失真的虚拟视点边缘图I_EV直接得到的评价结果,A₁,A₂,p,x₀分别代表模型参数。

(5)推导评价模型

如图4所示，分为三步进行。

(5-1)利用VSRS合成软件合成虚拟视点；

(5-2)与未失真的原始纹理图比较得合成虚拟视点的质量；

(5-3)将得到的质量代入公式(4)得出常参数的值，推出质量评价模型。

Q_Virtual＝RR_SSIM_Virtual (5)

利用MPEG推荐的8个多视点视频序列进行实验。8个序列是：“Pantomime”、“Book_arrival”、“Lovebird1”、“Newspaper”、“Café”、“Lovebird2”、“Champagne”、“Dancer”，表1描述了8个多视点视频序列的详细信息，这8个序列代表不同的分辨率及场景，采用VSRS3.5软件对测试序列进行虚拟视点图合成。

本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：立体视频中虚拟视点质量评价至今还在使用传统的评价方法，并没有针对其特殊失真,这样的评价结果不能与人类视觉相统一，甚至背离人的主观判断结果；本发明提供的方法是一种针对自由视点视频中基于深度合成的虚拟视点的客观质量评价方法，考虑了主要失真在边缘上的特点。由主观实验证明，本发明所得结果与传统的结果相比较，相关系数更高，更加符合人类视觉特性，能反映主观判断结果。

附图说明

图1是本发明的基于针对自由视点视频中基于深度合成的虚拟视点客观质量评价方法总体流程框图。

图2是图1中失真纹理图合成的虚拟视点边缘图程序框图。

图3是图1中由未失真纹理图边缘合成的虚拟视点边缘图程序框图。

图4是图1中推导评价模型的程序框图。

图5是针对Pantomime测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图6是针对Book_arrival测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图7是针对Lovebird1测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图8是针对Newspaper测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图9是针对Café测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图10是针对Lovebird2测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图11是针对Champagne测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图12是针对Dancer测试序列，用所提出部分参考评价方法与常用2D全参考评价方法建立的关联图。

图13纹理图像和book_arrival序列的边缘图，其中，(a)7视图的原始纹理图像；(b)用未压缩的纹理图和深度图合成的虚拟视点7；(c)用量化参数(QuantizationParameter,QP)＝27的压缩纹理图和深度图合成的虚拟视点7；(d)提取(a)的边缘图；(e)用纹理边缘图合成的虚拟视点边缘图；(f)提取(c)的边缘图。

具体实施方式

以下结合附图对本发明的实施例作进一步的详细说明。本实施例以本发明的技术方案为前提进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例子。

本发明的实验数据为：MPEG推荐的8个多视点视频序列：“Pantomime”、“Book_arrival”、“Lovebird1”、“Newspaper”、“Café”、“Lovebird2”、“Champagne”、“Dancer”，“Dancer”序列由计算机模拟产生，对应的深度是最真实的深度，为了利于比较仅仅合成中间的2,3虚拟视点，因为MPEG组织提供的这个序列没有第4个视点的原始序列。其它的7个序列是由多视点相机拍摄的自然场景。实验在H.264多视点视频编码(MVC，Model ViewController)软件平台JMVC8.2上进行，GOP(Group of Pictures，画面组)大小为12，编码模式为CABAC，每个序列采用不同的6个量化参数，分别为22,27,32,37,42及47，采用VSRS软件对测试序列进行虚拟视点图合成。

参见图1，基于深度合成的虚拟视点部分参考质量评价方法，其特征在于通过评价合成虚拟视点边缘图的结果得到虚拟视点的评价方法。评价所得结果越高说明合成视图像质量越好。此方法能够反映虚拟视的质量，和现有的评价方法相比其测试结果与主观评价的结果有更好的一致性。因此本发明可对不同立体视频序列合成的虚拟视点进行感知质量评价。

其步骤是：

(1)得到由失真纹理图合成的虚拟视点边缘图：先用失真纹理图和其对应的深度图合成虚拟视点，然后提取虚拟视点的边缘图；

(2)得到由未失真纹理图边缘合成的虚拟视点边缘图：提取未失真的左右纹理边缘图，并用提取的边缘图和对应的深度图合成虚拟视点边缘图；

(3)得到失真边缘图质量：用SSIM方法得到失真的合成虚拟视点边缘图与参考合成虚拟视点边缘图质量SSIM_edge；

(4)建立评价函数：采用软件Origin7.5提供的非线性模型中的Logistic函数拟合建立非线性拟合函数RR_SSIM_Virtual；

(5)推导评价模型：根据虚拟视点和边缘虚拟视点质量的质量关系推导相似性函数中设置的常参数，将常参数代入边缘相似性函数得到质量评价结果，并进行实验分析与验证，经实验推导评价函数常参数。

参见图2，上述的得到由失真纹理图合成的虚拟视点边缘图，其具体步骤如下：

(1-1)合成虚拟视点；

(1-2)提取虚拟视点的边缘，获得虚拟视点边缘图I_DEV(x_V,y_V)。

参见图3，上述的得到由未失真纹理图边缘合成的虚拟视点边缘图，其具体步骤如下：

(2-1)提取原始左视点纹理图的边缘。

(2-2)提取原始右视点纹理图的边缘。

(2-3)和对应的深度图合成原始的合成视边缘图I_EV(x_V,y_V)。

上述的得到失真边缘图质量，其具体步骤如下：

(3-1)用SSIM方法得到失真的合成虚拟视点边缘图与参考合成虚拟视点边缘图质量SSIM_edge；

上述的建立评价函数，其具体步骤如下：

(4-1)采用软件Origin7.5提供的非线性模型中的Logistic函数拟合建立非线性拟合函数。

参见图4，上述的推导评价模型，其具体步骤如下：

(5-1)利用VSRS合成软件合成虚拟视点；

(5-2)用全参考评价方法得到合成的失真视点的真实质量；

(5-3)将得到的质量代入公式(5)得出常参数的值，推出质量评价模型，此部分目的是得到公式(5)中的A₁,A₂,p,x₀四个常参数的值，在以后评价虚拟视点时，直接用此部分推导的常参数。

下面将本文算法应用到立体视频质量评价中，结合主观实验与其它方法进行比较与验证。

实验序列为：多视点测试序列“Pantomime”、“Book_arrival”、“Lovebird1”、“Newspaper”、“Café”、“Lovebird2”、“Champagne”、“Dancer”。

视频序列进行如下处理：用国际标准化组织中联合视频专家组(Joint VideoTeam，JVT)提供的JMVC 8.2压缩软件进行量化处理；量化参数分别为：22,27,32,37,42及47；视点合成软件采用VSRS3.5对测试序列进行虚拟视图合成。

与全参考评价方法的关联度实验：采用软件Origin7.5提供关联度函数。

图2显示各个序列的所提出方法各方法与全参考方法的关联性。如果利用在编码传输前的原始的纹理图和深度图经过VSRS合成得到的虚拟视点V2、V3、V4，作为参考视点进行评价，由于VSRS合成结果也会带来失真，尤其是纹理图空洞、伪边缘等，因此，如果直接评价的话，结果会产生误差。为了避免这个问题，我们首先提取左右视点的边缘，由边缘图和深度图经VSRS得到虚拟视点的边缘图作为参考边缘图。而对于所要评价的虚拟视点，经合成后，我们也提取虚拟视点的边缘图，与参考边缘图比较，得到我们评价虚拟视点的质量。然而这个结果不一定是直接的线性关系，我们通过实验数据的拟合，得到拟合公式，得到序列的边缘图拟合公式作为虚拟视点的质量模型。

我们发现，由于每个序列的纹理图的复杂程度不同，因此得到的拟合函数也不一样，因此，我们可以为每个序列建立查找表库。而每个序列的R^2(相关性)也不一样。但是相关性很高，可以看出，FR和RR之间通过相关公式建立联系。经过上面的证明，我们来验证我们所提出方法的正确性。取QP＝30、40。按所得逼近公式，可以得到相关的值。如表2、表3所示。表2是在QP＝30时各个序列的相关性表，表3在QP＝40时各个序列的相关性表。测试的结果如图5、图6、图7、图8、图9、图10、图11和图12所示，其中，图5是针对Pantomime测试序列的测试结果；图6是针对Book_arrival测试序列的测试结果；图7是针对Lovebird1测试序列的测试结果；图8是针对Newspaper测试序列的测试结果；图9是针对Café测试序列的测试结果；图10是针对Lovebird2测试序列的测试结果；图11是针对Champagne测试序列的测试结果；图12是针对Dancer测试序列的测试结果。

本文所提出的方法与全参考方法一致性较好，能替代全参考方法对虚拟视点进行评价，图13为主观结果，是以“Book_arrival”为例，说明在缺少原始参考图像的情况下，(e)图(即用纹理边缘图合成的虚拟视点边缘图)可以代替原始参考图像来评价失真图像(即(f)图代替失真图像)的质量。主观上证明了本文的有效性。

表1测试序列

表2提出的部分参考评价方法(P-RR)与全参考评价方法(FR)在QP＝30时的相关性(V2″,V3″,V4″是对应视点的合成虚拟视点，|△︱是代表FR与P-RR差的绝对值)

表3提出的部分参考评价方法(P-RR)与全参考评价方法(FR)在QP＝40时的相关性(V2″,V3″,V4″是对应视点的合成虚拟视点，|△︱是代表FR与P-RR差的绝对值)

Claims (5)

1.一种新的合成虚拟视点客观质量评价方法，其特征在于，提取失真的合成虚拟视点的边缘图；提取未失真的左右纹理边缘图，并用提取的未失真的左右纹理边缘图和对应的深度图合成虚拟视点边缘图；用结构相似性SSIM评价失真的合成虚拟视点边缘图与参考合成虚拟视点边缘图；建立对失真虚拟视点的边缘图的评价函数；根据合成虚拟视点和未失真的原始纹理图的质量关系推导相似性函数中设置的常参数；将常参数代入边缘相似性函数得到质量评价模型；评价所得结果越高说明合成虚拟视点图像质量越好；其具体步骤是：

(1)得到由失真纹理图合成的虚拟视点边缘图：先用失真纹理图和其对应的深度图合成虚拟视点，然后提取合成虚拟视点的边缘图；

(2)得到由未失真纹理图边缘合成的虚拟视点边缘图：提取未失真的左右纹理边缘图，并用提取的未失真的左右纹理边缘图和对应的深度图合成虚拟视点边缘图；

(3)得到失真边缘图质量：评价失真的合成虚拟视点边缘图与参考合成虚拟视点边缘图；

(4)建立评价函数：建立非线性拟合函数；

(5)推导评价模型：根据合成虚拟视点和未失真的原始纹理图的质量关系推导相似性函数中设置的常参数，将常参数代入边缘相似性函数得到质量评价结果，并进行实验分析与验证，经实验推导评价函数常参数；

推导所述评价模型，其具体步骤如下：

利用VSRS软件合成虚拟视点；

与未失真的原始纹理图比较得合成虚拟视点的质量；

将得到的质量代入公式得出A₁,A₂,p,x₀四个常参数的值，其中RR_SSIM_Virtual代表非线性拟合函数，SSIM_edge是由失真的虚拟视点边缘图I_EV直接得到的评价结果,A₁,A₂,p,x₀分别代表模型参数；

Q_Virtual＝RR_SSIM_Virtual

利用MPEG推荐的8个多视点视频序列进行实验；8个序列是：Pantomime、Book_arrival、Lovebird1、Newspaper、Café、Lovebird2、Champagne、Dancer，这8个序列代表不同的分辨率及场景，采用VSRS软件对测试序列进行虚拟视图合成。

2.根据权利要求1所述的一种新的合成虚拟视点客观质量评价方法，其特征在于，所述得到由失真纹理图合成的虚拟视点边缘图，其具体步骤如下：

用视点合成参考软件VSRS合成虚拟视点；

提取失真虚拟视点的边缘，获得虚拟视点边缘图I_DEV(x_V,y_V)。

3.根据权利要求2所述的一种新的合成虚拟视点客观质量评价方法，其特征在于，所述得到由未失真纹理图边缘图合成的虚拟视点边缘图，其具体步骤如下：

提取原始左视点纹理图的边缘；

提取原始右视点纹理图的边缘；

和对应的深度图合成原始的合成视点边缘图I_EV(x_V,y_V)；

I_EV(x_V,y_V)＝(1-α)I_EL(x_L,y_L)+αI_ER(x_R,y_R)

I_EV(x_V,y_V)是虚拟视点边缘图，I_EL(x_L,y_L),I_ER(x_R,y_R)是左右合成视点的边缘图；

$\mathrm{\α}=\frac{|T_V-T_L|}{|T_V-T_L|+|T_V-T_R|}$

T_L、T_R、T_V分别是左、右及中间虚拟相机的变换矢量。

4.根据权利要求3所述的一种新的合成虚拟视点客观质量评价方法，其特征在于，所述得到失真边缘图质量，得到失真边缘图质量，其具体步骤如下：

用结构相似性方法SSIM比较边缘图的质量SSIM_edge。

5.根据权利要求4所述的一种新的合成虚拟视点客观质量评价方法，其特征在于，所述建立评价函数，其具体步骤如下：

采用非线性模型中的Logistic函数拟合建立非线性拟合函数；

$RR\_{\mathrm{SSIM}}_{Virtual}=\frac{A_1-A_2}{1+{({\mathrm{SSIM}}_{edge}/x_0)}^p}+A_2$

这里，RR_SSIM_Virtual代表非线性拟合函数，SSIM_edge是由失真的虚拟视点边缘图I_EV直接得到的评价结果,A₁,A₂,p,x₀分别代表模型参数。