CN105430397A - 一种3d图像体验质量预测方法及装置 - Google Patents

Abstract

本发明公开了一种3D图像体验质量预测方法及装置，该方法包括如下步骤：S1、获取待预测的失真深度图、以及对应的参考深度图；S2、计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；S3、将所述待预测的失真深度图的上述参数输入关系模型中，得到根据所述待预测的失真深度图和固定质量的失真纹理图合成得到的视图的3D图像体验质量值。本发明能够以数学模型的形式，通过深度图的纹理特征及其不同纹理区的失真情况预测其合成图的3D图像体验质量值，对探究多视点视频的体验质量及优化多视点视频编码具有重要的意义。

Description

一种3D图像体验质量预测方法及装置

【技术领域】

本发明涉及多视点计算机视觉领域，尤其涉及一种3D图像体验质量预测方法及装置。

【背景技术】

多视点视频系统作为自由试点电视的第二个发展阶段，近几年取得了较大的发展。多视点电视可以提供给用户多个观看视角的立体视频。在实际操作中，对同一场景拍摄、传输较多视点的视频是不现实的。所以，可以拍摄有限个视点的视频，对这有限个纹理视频及其对应的深度视频进行压缩传输。在接收端，利用解码后的纹理视频和深度视频，其它视点观察目标场景的视频可以被合成出来，从而用户端可以观看到的视点个数远多于拍摄视点个数。在编码传输的过程中，纹理视频和深度视频会产生失真，两者的失真也会影响合成图的图像质量。

现有的一些深度图失真预测模型就深度图的质量对合成图的客观质量进行了一些研究。例如VSD(ViewSynthesisDistortion)，即通过估算编码深度图造成的合成视图的失真，来预测深度图失真的方法，但此处的合成视图的失真是客观质量失真。合成图的主观质量即用户的3D体验质量对于评价多视点视频系统及其他3D视频应用具有更重要的意义。主观实验是评价视频图像的3D体验质量最直接准确的方式，但是主观实验是一个耗时费力并且对测试环境都有严格要求的过程。所以通过建立数学模型来预测合成图的3D体验质量极为重要。

目前有学者对深度图质量对合成图3D体验质量的影响做了一些探究性的实验。不足之处在于，只考虑到了不同码率或不同包丢失率的情况下，深度图的失真对合成图3D体验质量的影响，并未考虑深度图空域上的内容特征。另外，已有的探究由于观测样本较少，只对结果提出了解释性的结论，并未将深度图的失真与合成图的主观质量建立模型关系，不能直观的得出结果。

【发明内容】

为了克服现有技术的不足，本发明提供了一种3D图像体验质量预测方法，以分析3D图像体验质量值与失真的深度图的各种参数之间的关系。

一种3D图像体验质量预测方法，包括如下步骤：

S1、获取待预测的失真深度图、以及对应的参考深度图；

S2、计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

其中，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阈值的编码块，所述平坦块指在深度图中纹理复杂度小于所述纹理复杂度阈值的编码块，所述纹理块个数占比指在深度图中纹理块的个数与编码块总数之比，所述纹理块的平均块失真指在失真深度图中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，所述平坦块的平均块失真指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之和的算术平均值，所述纹理块与平坦块的失真比指纹理块的平均块失真与平坦块的平均块失真之比；

S3、将所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比输入关系模型中，得到根据所述待预测的失真深度图和固定质量的纹理图合成得到的视图的3D图像体验质量值；

其中，通过如下步骤获得所述关系模型：

S3.1、获取实验的失真深度图、以及对应的参考深度图、失真纹理图；

S3.2、计算所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

S3.3、根据所述实验的失真深度图和失真纹理图合成实验视图，并获取用户对所述实验视图的体验质量进行评价的实验3D图像体验质量值；

S3.4、计算建立所述实验3D图像体验质量值与所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。

在一个实施例中，通过如下步骤确定深度图中的纹理块和平坦块：

S2.1、计算深度图中每一个像素x的同质性值HOMO_x，

${\mathrm{HOMO}}_x=\frac{1}{M}{\Σ}_{(i,j\∈o)}|v_{i,j}-\frac{1}{M}{\Σ}_{(i,j\∈o)}{v}_{i,j}|;$

其中，o是以像素x为中心点的M个像素点组成的方形区域，(i,j)为o区内的像素点坐标，v_i,j为像素点(i,j)的亮度值；

S2.2、设定阈值HOMO_Thre,

若HOMO_x≤HOMO_Thre，则将像素x判定为纹理平坦点，

若HOMO_x＞HOMO_Thre，则将像素x判定为纹理复杂点；

S2.3、针对深度图的当前编码块，

若N≤T，则将当前编码块判定为平坦块，

若N＞T，则将当前编码块判定为纹理块；

其中，T为设定的数量阈值,N为当前编码块中纹理复杂点的数量。

在一个实施例中，

在步骤S3.4中，通过SVR算法建立所述关系模型。

在一个实施例中，

在步骤S3.2中，通过如下步骤获取所述实验的失真深度图的多个不同的纹理块与平坦块的失真比：

在根据实验的参考深度图编码获得实验的失真深度图的过程中，固定参考深度图的纹理块的量化参数，改变参考深度图的平坦块的量化参数。

在一个实施例中，

在所述步骤S3.4中，在根据实验的参考纹理图编码获得所述实验的失真纹理图过程中，固定参考纹理图的量化参数。

本发明还提供了一种3D图像体验质量预测装置，包括如下单元：

第一处理单元，用于获取待预测的失真深度图、以及对应的参考深度图；

第二处理单元，用于计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

其中，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阈值的编码块，所述平坦块指在深度图中纹理复杂度小于所述纹理复杂度阈值的编码块，所述纹理块个数占比指在深度图中纹理块的个数与编码块总数之比，所述纹理块的平均块失真指在失真深度图中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，所述平坦块的平均块失真指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之和的算术平均值，所述纹理块与平坦块的失真比指纹理块的平均块失真与平坦块的平均块失真之比；

第三处理单元，用于将所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比输入关系模型中，得到根据所述待预测的失真深度图和固定质量的纹理图合成得到的视图的3D图像体验质量值；

其中，所述第三处理单元通过如下步骤获得所述关系模型：

获取实验的失真深度图、以及对应的参考深度图、失真纹理图；

计算所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

根据所述实验的失真深度图和失真纹理图合成实验视图，并获取用户对所述实验视图的体验质量进行评价的实验3D图像体验质量值；

计算建立所述实验3D图像体验质量值与所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。

在一个实施例中，

所述第三处理单元通过如下步骤确定深度图中的纹理块和平坦块：

计算深度图中每一个像素x的同质性值HOMO_x，

${\mathrm{HOMO}}_x=\frac{1}{M}{\Σ}_{(i,j\∈o)}|v_{i,j}-\frac{1}{M}{\Σ}_{(i,j\∈o)}{v}_{i,j}|;$

其中，o是以像素x为中心点的M个像素点组成的方形区域，(i,j)为o区内的像素点坐标，v_i,j为像素点(i,j)的亮度值；

设定阈值HOMO_Thre,

若HOMO_x≤HOMO_Thre，则将像素x判定为纹理平坦点，

若HOMO_x＞HOMO_Thre，则将像素x判定为纹理复杂点；

S2.3、针对深度图的当前编码块，

若N≤T，则将当前编码块判定为平坦块，

若N＞T，则将当前编码块判定为纹理块；

其中，T为设定的数量阈值,N为当前编码块中纹理复杂点的数量。

在一个实施例中，

所述第三处理单元通过SVR算法建立所述关系模型。

在一个实施例中，

所述第三处理单元通过如下步骤获取所述实验的失真深度图的多个不同的纹理块与平坦块的失真比：

在根据实验的参考深度图编码获得实验的失真深度图的过程中，固定参考深度图的纹理块的量化参数，改变参考深度图的平坦块的量化参数。

在一个实施例中，

在根据实验的参考纹理图编码获得所述实验的失真纹理图过程中，固定参考纹理图的量化参数。

本发明的有益效果是：

本发明能够以数学模型的形式，通过深度图的纹理特征及其不同纹理区的失真情况预测其合成图的3D图像体验质量值，对探究多视点视频的体验质量及优化多视点视频编码具有重要的意义。

【附图说明】

图1是本发明一种实施例的3D图像体验质量预测方法的流程图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示，一种实施例的3D图像体验质量预测方法，包括如下步骤：

S1、获得实验3D图像体验质量值与实验的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的关系模型。

S1.1、输入多个用于实验的视点的纹理图像、失真的深度图像以及对应的参考深度图像(用以获得深度图失真大小)，视点数为N(N≥2)，视点位置呈一维均匀分布。深度图的失真原因不限。参考深度图在编码过程中会产生失真，得到失真的深度图。

在编码过程中，纹理图和深度图的编码QP(量化参数)存在固定的组合，例如“30-39”指的是当纹理图的QP选择30时，深度图应该对应选择39。当纹理图和深度图的编码QP组合确定时，编码的码率基本水平即确定。纹理图的编码解码后的失真对合成图的质量有着较大的影响。但是，为了研究深度图的失真情况对合成图质量的影响，在此，我们固定纹理图的QP。

深度图失真的仿真过程可以包括如下步骤：借助3D-HEVC编码平台对多视点纹理图像和深度图像进行编码。编码时，固定纹理图的QP(量化参数)，通过区域性改变深度图的QP来获取多种不同失真比的深度图。对于深度图中的纹理块固定QP,平坦区的QP在纹理块的QP上加上一定的偏移量QP_offset，编码解码后就可得到失真的纹理图和深度图。

S1.2、对失真的深度图检测其纹理复杂度，根据深度图中每个编码块的纹理复杂度，将该编码块归类为纹理块或平坦块，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阈值的编码块，所述平坦块指在深度图中纹理复杂度小于所述纹理复杂度阈值的编码块。深度图的每个编码块归类为纹理块或平坦块的过程可以通过以下两个步骤得到：

S1.2.1、计算深度图中每一个像素x的同质性值HOMO_x，

${\mathrm{HOMO}}_x=\frac{1}{M}{\Σ}_{(i,j\∈o)}|v_{i,j}-\frac{1}{M}{\Σ}_{(i,j\∈o)}{v}_{i,j}|;$

其中，o是以像素x为中心点的M个像素点组成的方形区域，(i,j)为o区内的像素点坐标，v_i,j为像素点(i,j)的亮度值。M优选为奇数，在一个实施例中，M取9。

S1.2.2、设定阈值HOMO_Thre,根据(2)式将像素x归类为纹理平坦点或纹理复杂点：

若HOMO_x≤HOMO_Thre，则将像素x判定为纹理平坦点，

若HOMO_x＞HOMO_Thre，则将像素x判定为纹理复杂点；(2)

S1.2.3、针对深度图的当前编码块，

若N≤T，则将当前编码块判定为平坦块，

若N＞T，则将当前编码块判定为纹理块；

其中，T为设定的数量阈值,N为当前编码块中纹理复杂点的数量。

具体地，在一个实施例中，多视点编码标准3D-HEVC的基本编码单元(编码块)是CTU,大小是64×64。计算出当前CTU内纹理复杂像素点的数量，则：

若N≤T，则将当前CTU判定为平坦块，

若N＞T，则将当前CTU判定为纹理块；

S1.3、联合参考深度图像和失真的深度图像,计算失真深度图中纹理块个数占比，纹理块的平均块失真(客观失真)、平坦块的平均块失真、以及纹理块与平坦块的失真比。其中，纹理块个数占比R_T指在深度图中纹理块的个数与编码块总数之比，纹理块的平均块失真D_T指在失真深度图中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，平坦块的平均块失真D_H指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之和的算术平均值，纹理块与平坦块的失真比D_T/D_H指纹理块的平均块失真与平坦块的平均块失真之比。当QP_offset在一定的区间内变化时，就可以得到一系列的失真比D_T/D_H值。

S1.4、预测模型为基于SVR(支持向量回归)建立的模型，模型建立分为以下几步：

S1.4.1、某一失真比D_T/D_H值的深度图和纹理图作为视点合成算法的输入，执行视点合成算法就可以得到多个视点的合成图。取合成图中的两个相邻视点构成3D立体对。

视点合成算法，输入是相机采集的两个视点的纹理图视频和深度图视频，输出是对应其间的指定视点的视频。基本的算法流程是：首先，左右视点的深度图被变换到待合成视点，并进行滤波处理；然后利用得到的两个深度图，获得分别从左右两视点变换到待合成视点的合成图；通过对两合成图进行空洞填补、融合和图像修补等操作，从而获得最后的待合成视点的合成图。

S1.4.2、纹理图保持不变，改变深度图的失真比，重复第一步，得到多组“失真比D_T/D_H—3D立体图像对”的对应对。对于每个视频序列，抽取a帧画面(不同的深度图具有各自的R_T、D_T、D_H)，每个帧画面有b种失真情况，所以每个视频序列可以得到a×b个失真的3D图像。

S1.4.3、改变视频序列，对c个视频序列执行上述操作，得到a×b×c个失真的3D图像。

S1.4.4、经过以上步骤，得到了a×b×c个失真的3D图像。接下来实施主观实验：1)根据主观实验的实验要求，将3D显示设备放置于安静且光线较暗的环境中；2)将a×b×c个3D立体图像对以随机顺序在立体显示器上播放，观看者为每一个立体图像打分，得到一个3D图像体验质量值；3)针对每一个立体图像：对得到的3D图像体验质量值进行预处理，剔除离群点，将n个观众对每一个立体对的3D图像体验质量值取均值，作为该立体对图像的3D图像体验质量值。

S1.4.5、至此，可以得到样本量为a×b×c“3D图像体验质量值—深度图失真变量”的数据集，即3D图像体验质量值与失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的对应数据集。

对上述数据集进行SVR算法运算，可以建立3D图像体验质量值与失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。

针对待预测的失真深度图，通过如下步骤预测得到根据所述待预测的失真深度图和固定质量的纹理图(某一编码码率下得到的失真纹理图)合成得到的视图的3D图像体验质量值，包括如下步骤：

S2、获取待预测的失真深度图、以及对应的参考深度图；

S3、计算所述待预测的失真深度图的纹理块个数占比R_T、纹理块的平均块失真D_T、平坦块的平均块失真D_H、纹理块与平坦块的失真比D_T/D_H；

S4、将所述待预测的失真深度图的R_T、D_T和D_T/D_H输入关系模型中，得到根据所述待预测的失真深度图和固定质量的纹理图合成得到的视图的3D图像体验质量值。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种3D图像体验质量预测方法，其特征是，包括如下步骤：

S1、获取待预测的失真深度图、以及对应的参考深度图；

S2、计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

其中，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阈值的编码块，所述平坦块指在深度图中纹理复杂度小于所述纹理复杂度阈值的编码块，所述纹理块个数占比指在深度图中纹理块的个数与编码块总数之比，所述纹理块的平均块失真指在失真深度图中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，所述平坦块的平均块失真指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之和的算术平均值，所述纹理块与平坦块的失真比指纹理块的平均块失真与平坦块的平均块失真之比；

S3、将所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比输入关系模型中，得到根据所述待预测的失真深度图和固定质量的纹理图合成得到的视图的3D图像体验质量值；

其中，通过如下步骤获得所述关系模型：

S3.1、获取实验的失真深度图、以及对应的参考深度图、失真纹理图；

S3.2、计算所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

S3.3、根据所述实验的失真深度图和失真纹理图合成实验视图，并获取用户对所述实验视图的体验质量进行评价的实验3D图像体验质量值；

S3.4、计算建立所述实验3D图像体验质量值与所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。

2.如权利要求1所述的3D图像体验质量预测方法，其特征是，通过如下步骤确定深度图中的纹理块和平坦块：

S2.1、计算深度图中每一个像素x的同质性值HOMO_x，

${\mathrm{HOMO}}_x=\frac{1}{M}{\mathrm{\Σ}}_{(i,j\∈o)}\left|v_{i,j}-\frac{1}{M}{\mathrm{\Σ}}_{(i,j\∈o)}{v}_{i,j}\right|;$

其中，o是以像素x为中心点的M个像素点组成的方形区域，(i,j)为o区内的像素点坐标，v_i,j为像素点(i,j)的亮度值；

S2.2、设定阈值HOMO_Thre,

若HOMO_x≤HOMO_Thre，则将像素x判定为纹理平坦点，

若HOMO_x>HOMO_Thre，则将像素x判定为纹理复杂点；

S2.3、针对深度图的当前编码块，

若N≤T，则将当前编码块判定为平坦块，

若N>T，则将当前编码块判定为纹理块；

其中，T为设定的数量阈值,N为当前编码块中纹理复杂点的数量。

3.如权利要求1所述的3D图像体验质量预测方法，其特征是，

在步骤S3.4中，通过SVR算法建立所述关系模型。

4.如权利要求1所述的3D图像体验质量预测方法，其特征是，

在步骤S3.2中，通过如下步骤获取所述实验的失真深度图的多个不同的纹理块与平坦块的失真比：

在根据实验的参考深度图编码获得实验的失真深度图的过程中，固定参考深度图的纹理块的量化参数，改变参考深度图的平坦块的量化参数。

5.如权利要求1所述的3D图像体验质量预测方法，其特征是，

在所述步骤S3.4中，在根据实验的参考纹理图编码获得所述实验的失真纹理图过程中，固定参考纹理图的量化参数。

6.一种3D图像体验质量预测装置，其特征是，包括如下单元：

第一处理单元，用于获取待预测的失真深度图、以及对应的参考深度图；

第二处理单元，用于计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

其中，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阈值的编码块，所述平坦块指在深度图中纹理复杂度小于所述纹理复杂度阈值的编码块，所述纹理块个数占比指在深度图中纹理块的个数与编码块总数之比，所述纹理块的平均块失真指在失真深度图中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，所述平坦块的平均块失真指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之和的算术平均值，所述纹理块与平坦块的失真比指纹理块的平均块失真与平坦块的平均块失真之比；

第三处理单元，用于将所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比输入关系模型中，得到根据所述待预测的失真深度图和固定质量的纹理图合成得到的视图的3D图像体验质量值；

其中，所述第三处理单元通过如下步骤获得所述关系模型：

获取实验的失真深度图、以及对应的参考深度图、失真纹理图；

计算所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；

根据所述实验的失真深度图和失真纹理图合成实验视图，并获取用户对所述实验视图的体验质量进行评价的实验3D图像体验质量值；

计算建立所述实验3D图像体验质量值与所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。

7.如权利要求6所述的3D图像体验质量预测装置，其特征是，所述第三处理单元通过如下步骤确定深度图中的纹理块和平坦块：

计算深度图中每一个像素x的同质性值HOMO_x，

${\mathrm{HOMO}}_x=\frac{1}{M}{\mathrm{\Σ}}_{(i,j\∈o)}\left|v_{i,j}-\frac{1}{M}{\mathrm{\Σ}}_{(i,j\∈o)}{v}_{i,j}\right|;$

其中，o是以像素x为中心点的M个像素点组成的方形区域，(i,j)为o区内的像素点坐标，v_i,j为像素点(i,j)的亮度值；

设定阈值HOMO_Thre,

若HOMO_x≤HOMO_Thre，则将像素x判定为纹理平坦点，

若HOMO_x>HOMO_Thre，则将像素x判定为纹理复杂点；

S2.3、针对深度图的当前编码块，

若N≤T，则将当前编码块判定为平坦块，

若N>T，则将当前编码块判定为纹理块；

其中，T为设定的数量阈值,N为当前编码块中纹理复杂点的数量。

8.如权利要求6所述的3D图像体验质量预测装置，其特征是，

所述第三处理单元通过SVR算法建立所述关系模型。

9.如权利要求6所述的3D图像体验质量预测装置，其特征是，

所述第三处理单元通过如下步骤获取所述实验的失真深度图的多个不同的纹理块与平坦块的失真比：

在根据实验的参考深度图编码获得实验的失真深度图的过程中，固定参考深度图的纹理块的量化参数，改变参考深度图的平坦块的量化参数。

10.如权利要求6所述的3D图像体验质量预测装置，其特征是，

在根据实验的参考纹理图编码获得所述实验的失真纹理图过程中，固定参考纹理图的量化参数。