CN108600730B - 一种基于合成图像质量度量的远程绘制方法 - Google Patents

Abstract

本发明公开了一种基于合成图像质量度量的远程绘制方法，包括以下步骤：步骤1：基于空洞建立合成图像质量度量模型；步骤2：预测合成图像的视觉感知质量；步骤3：确定参考视点深度图像传输策略，在合成图像质量度量的基础上建立三维场景参考视点集，并根据用户交互确定参考视点深度图像的更新策略。本发明通过分析合成图像中空洞的统计特征及人类视觉系统的恰可识别失真特性构建合成图像质量度量模型，基于此对三维场景参考视点进行优选，并在用户交互时根据虚拟视点位置确定深度图像的更新时机。

Description

一种基于合成图像质量度量的远程绘制方法

【技术领域】

本发明涉及计算机图形学、图像与信号处理的技术领域，特别是基于合成图像质量度量的远程绘制方法的技术领域。

【背景技术】

基于图像的远程绘制技术因其降低了客户端的绘制开销，以及三维模型几何数据的传输开销，被广泛应用于移动终端的交互式三维图形应用中。其中，基于深度图的远程绘制技术使用参考视点下三维场景的深度信息来表征场景的隐式几何信息，进一步降低了所需传输的参考视点图像的数据量。然而，代价是降低了虚拟视点合成图像的质量。

目前虚拟视点合成图像主要使用双向3D image warping技术得到。其原理是：给定虚拟视点，寻找到与其相近的两个参考视点，获取这两个参考视点下的颜色信息和深度信息，然后利用McMillan的3D image warping方程将两个参考视点变换到虚拟视点下，并将变换得到的图像融合，得到最终的合成图像。由于场景中存在遮挡关系，以及3D imagewarping方程本身引入的计算误差，合成图像中存在较严重的失真，主要是由于遮挡关系带来的空洞。已有方法虽然可以对合成图像的空洞进行填充，然而视觉效果依然不好。另一类方法则试图通过增加参考视点深度图的传输频率，以保证参考视点与虚拟视点之间的位置足够接近，从而减少遮挡。这类方法虽然提升了合成图像质量，却增加了网络传输量。

作为合成图像视觉质量与传输数据集之间的权衡，本发明提出一种基于合成图像质量度量的远程绘制方法。目前对于虚拟视点合成图像的质量度量方法较少，且大部分仍采用全参考的质量度量方法，即在预测合成图像质量时需要提供未失真的原始图像。在实际远程绘制系统中，未失真的原始图像往往是不可获取的；对于深度图传输策略，已有方法主要集中在提升客户端合成图像质量方面，往往通过增加深度图传输频率、传输多参考视点(参考视点数目大于2)来实现提升质量的目的，很少考虑网络负载。

【发明内容】

本发明的目的就是解决现有技术中移动终端合成图像视觉质量的同时尽可能减少深度图传输频率的问题，提出一种基于合成图像质量度量的远程绘制方法，通过分析合成图像中空洞的统计特征及人类视觉系统的恰可识别失真特性构建合成图像质量度量模型，基于此对三维场景参考视点进行优选，并在用户交互时根据虚拟视点位置确定深度图的更新时机。实验表明，本发明提出的方法能够保持客户端合成图像的视觉质量，同时减少了深度图传输频率。

为实现上述目的，本发明提出了一种基于合成图像质量度量的远程绘制方法，包括以下步骤：

步骤1：基于空洞建立合成图像质量度量模型：分析合成图像中空洞数量、空洞区域分布以及人类视觉系统的恰可识别失真特性构建一个合成图像的无参考质量度量模型；

步骤2：通过步骤1构建的所述无参考质量度量模型，预测合成图像质量；

步骤3：确定参考视点深度图传输策略：在合成图像的所述视觉感知质量的基础上建立三维场景参考视点集，并根据用户交互确定参考视点深度图的传输策略。

作为优选，所述步骤1中的基于空洞建立合成图像质量度量模型的具体步骤如下：

步骤11：合成图像空洞统计特征表示：使用合成图像空洞数量、合成图像中空洞区域的分布，并结合人眼视觉系统中恰可识别失真特性表征合成图像失真程度；

步骤12：构建合成图像的质量度量模型：根据步骤11中得到的特征进行汇聚，并利用公开的合成图像数据集，建立合成图像的无参考质量度量模型，即为合成图像质量度量模型：

式中，Q表示预测的合成图像质量、λ是归一化因子、R是图像中空洞数量占比、S是合成图像与对应深度图提取边缘后，两张边缘图的结构相似性、ω是边缘图的结构相似性的加权因子、LA表示图像局部亮度对比度、CM表示图像局部纹理掩蔽对比度、(x,y)表示图像中像素点的位置、c₁,c₂,c₃是权重系数。

作为优选，所述步骤3中的确定参考视点深度图传输策略的步骤具体如下：

步骤31：三维场景参考视点选择：使用全搜索策略，利用通过所述步骤2预测的所述视觉感知质量，优选出少量参考视点，从而形成参考视点集；

步骤32：虚拟视点预测：将用户交互转换为三维场景中虚拟视点的运动，并根据历史信息以及交互模式预测下一时刻虚拟视点位置；所述交互模式为三维模型浏览模式、三维导航模式或虚拟漫游模式；

步骤33：深度图传输：根据步骤32中预测的虚拟视点位置，结合步骤31得到的参考视点集，确定客户端深度图的更新时机与更新内容；

步骤34：虚拟视点合成：客户端从深度图缓冲池中选取与虚拟视点位置距离最近的两个参考视点，合成虚拟视点图像。

作为优选，所述步骤11的具体步骤为：

步骤111：对合成图像及其对应的深度图求交，统计交集中的空值：

式中，R为图像中非空洞像素占整张图像所有像素的比值，

为求交运算，I为合成图像，D为合成图像相对应的深度图，W×H为合成图像大小；所述合成图像相对应的深度图为参考视点深度图经过三维图像变换后产生的，仅依赖于参考视点深度图，与虚拟视点下的未失真原始图像无关；

步骤112：合成图像中空洞区域的分布使用合成图像与对应深度图的结构相似性来表征：分别提取合成图像与对应深度图的边缘，然后度量两张边缘图的结构相似性：S＝SSIM(edge(I),edge(D))；

步骤113：统计空洞区域的恰可识别失真程度：首先逐像素计算空洞像素的亮度对比度与纹理掩蔽对比度；所述亮度对比度计算如下：

所述空洞像素的纹理掩蔽对比度计算如下：CM(x,y)＝G(x,y)W(x,y)，式中，G为最大平均梯度，W为边缘加权因子；式中，

表示图像中像素点(x,y)处的平均亮度值，具体计算时，以该点位置(x,y)为中心，选取相邻3×3区域的像素点(包含点(x,y)),计算它们亮度值的平均值，如下式所示：

本发明的有益效果：

1.本发明提出一种合成图像部分参考质量度量方法，通过分析合成图像中空洞数量、空洞区域分布，以及人类视觉系统的恰可识别失真特性构建一个合成图像的无参考质量度量模型，与人的主观视觉度量结果相关度较高，且计算简单；

2.本发明提出一种参考图像深度图传输策略，基于合成图像质量预测结果与用户交互，自动地决策参考视点深度图的更新时机与更新内容，客户端根据当前虚拟视点，自动地从深度图缓冲池中选取距离最近的两个参考视点深度图，合成虚拟视点图像；

3.本发明与同类方法相比，权衡了合成图像质量与深度图传输开销，在保证合成图像视觉质量的前提下尽可能地降低传输频率；所提出的合成图像质量度量方法并不需要未失真的原始图像，适合实时交互式图形绘制应用的需求。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是本发明一种基于合成图像质量度量的远程绘制方法的流程示意图；

图2是本发明一种基于合成图像质量度量的远程绘制方法的基于空洞的合成图像质量度量流程示意图；

图3是本发明一种基于合成图像质量度量的远程绘制方法的参考视点深度图选取示意图((a)为三维模型浏览模式下参考视点选取示意；(b)为三维导航模式下参考视点选取示意；(c)为虚拟漫游模式下参考视点选取示意)；

图4是本发明一种基于合成图像质量度量的远程绘制方法的参考视点深度图传输策略原理示意图；

图5是本发明一种基于合成图像质量度量的远程绘制方法的移动终端合成图像视觉质量示意图；

图6是本发明一种基于合成图像质量度量的远程绘制方法的参考视点传输频率曲线图。

【具体实施方式】

参阅图1、图2、图3、图4、图5和图6，本发明，包括以下步骤：

步骤1：基于空洞建立合成图像质量度量模型：分析合成图像中空洞数量、空洞区域分布以及人类视觉系统的恰可识别失真特性构建一个合成图像的无参考质量度量模型；

步骤2：通过步骤1构建的所述无参考质量度量模型，预测合成图像质量；

步骤3：确定参考视点深度图传输策略：在合成图像的所述视觉感知质量的基础上建立三维场景参考视点集，并根据用户交互确定参考视点深度图的传输策略。

具体的，所述步骤1中的基于空洞建立合成图像质量度量模型的具体步骤如下：

步骤11：合成图像空洞统计特征表示：使用合成图像空洞数量、合成图像中空洞区域的分布，并结合人眼视觉系统中恰可识别失真特性表征合成图像失真程度；

步骤12：构建合成图像的质量度量模型：根据步骤11中得到的特征进行汇聚，并利用公开的合成图像数据集，建立合成图像的无参考质量度量模型，即为合成图像质量度量模型：

式中，Q表示预测的合成图像质量、λ是归一化因子、R是图像中非空洞像素占整张图像所有像素的比值、S是合成图像与对应深度图提取边缘后，两张边缘图的结构相似性、ω是边缘图的结构相似性的加权因子、LA表示图像局部亮度对比度、CM表示图像局部纹理掩蔽对比度、(x,y)表示图像中像素点的位置、c₁,c₂,c₃是权重系数。

具体的，所述步骤3中的确定参考视点深度图传输策略的步骤具体如下：

步骤31：三维场景参考视点选择：使用全搜索策略，利用通过所述步骤2预测的所述视觉感知质量，优选出少量参考视点，从而形成参考视点集；

步骤32：虚拟视点预测：将用户交互转换为三维场景中虚拟视点的运动，并根据历史信息以及交互模式预测下一时刻虚拟视点位置；所述交互模式为三维模型浏览模式、三维导航模式或虚拟漫游模式；

步骤33：深度图传输：根据步骤32中预测的虚拟视点位置，结合步骤31得到的参考视点集，确定客户端深度图的更新时机与更新内容；

步骤34：虚拟视点合成：客户端从深度图缓冲池中选取与虚拟视点位置距离最近的两个参考视点，合成虚拟视点图像。

具体的，所述步骤11的具体步骤为：

步骤111：对合成图像及其对应的深度图求交，统计交集中的空值：

式中，R为合成图像中空洞数量占比，

为求交运算，I为合成图像，D为合成图像相对应的深度图，W×H为合成图像大小；所述合成图像相对应的深度图为参考视点深度图经过三维图像变换后产生的，仅依赖于参考视点深度图，与虚拟视点下的未失真原始图像无关；

步骤112：合成图像中空洞区域的分布使用合成图像与对应深度图的结构相似性来表征：分别提取合成图像与对应深度图的边缘，然后度量两张边缘图的结构相似性：S＝SSIM(edge(I),edge(D))；

步骤113：统计空洞区域的恰可识别失真程度：首先逐像素计算空洞像素的亮度对比度与纹理掩蔽对比度；所述亮度对比度计算如下：

所述空洞像素的纹理掩蔽对比度计算如下：CM(x,y)＝G(x,y)W(x,y)，式中，G为最大平均梯度，W为边缘加权因子；式中，

表示图像中像素点(x,y)处的平均亮度值，具体计算时，以该点位置(x,y)为中心，选取相邻3×3区域的像素点(包含点(x,y)),计算它们亮度值的平均值，如下式所示：

本发明工作过程：

本发明一种基于合成图像质量度量的远程绘制方法在工作过程中，基于空洞的合成图像质量度量模型预测合成图像的视觉质量，在此基础上对三维场景获取优选的参考视点。当用户与三维场景交互时，将用户交互转化为虚拟视点的运动，并根据虚拟视点历史运动信息及所选择的参考视点集决定深度图的更新时机和更新内容。

本发明的实施框架如图1所示，所提出的绘制方法分别部署在服务器端和客户端。其中服务器端又可分为离线处理和在线处理两个阶段。在离线阶段，利用所提出的合成图像质量度量模型预测合成图像的质量，据此选择三维场景的参考视点集；在在线阶段，根据从客户端传来的视点信息，确定深度图的更新时机和更新内容。客户端将用户交互解析为三维场景中虚拟视点的运动，并将视点信息同步到服务器端；同时，从客户端本地接收到的深度图缓冲池中选择与当前虚拟视点位置最近的两帧进行3D image warping与融合，得到最终呈现结果。具体实现如下所述：

步骤一：基于合成图像空洞的恰可识别失真质量度量方法。Yang最早提出对人类视觉系统的恰可识别失真进行非线性建模，具体地，使用图像的亮度对比度与纹理掩蔽效应的非线性和来表征像素的恰可识别失真程度。根据像素的恰可识别失真，可以自适应地改变图像的冗余编码量化步长，而不影响重建后的图像视觉质量。本发明在此基础上，针对虚拟视点合成图像中特有的空洞失真，分析出合成图像的视觉质量受空洞的面积，以及空洞区域所处图像中的位置的影响。例如，空洞面积越大，图像视觉质量越差；位于图像中结构清晰区域的空洞，要比位于结构复杂区域的空洞更视觉敏感。结合恰可识别失真模型，本发明提出一种基于空洞的合成图像质量度量方法。注意，本发明对合成图像进行质量预测时，并不需要未失真的原始图像作为参考。具体步骤如下所述：

步骤1：合成图像空洞统计特征表示。如上所述，使用合成图像空洞数量、合成图像中空洞区域的分布，以及恰可识别失真模型来表征合成图像空洞失真程度。具体地，将合成图像中空洞数量占比记为R。为准确统计合成图像中的空洞数量，防止将一些深色像素误记为空洞，对合成图像及其对应的深度图求交，统计交集中的空值：

其中，

表示求交运算，I和D表示合成图像与对应的深度图。注意这里的深度图是指参考视点深度图经过3D image warping后产生的，仅依赖于参考视点深度图，与虚拟视点下的未失真原始图像无关。||·||₀表示0范数，统计交集中的空值。W×H表示合成图像的大小。

合成图像中空洞区域的分布使用合成图像与对应深度图的结构相似性来表征。具体地，分别提取合成图像与对应深度图的边缘，然后度量两张边缘图的结构相似性：

S＝SSIM(edge(I),edge(D))；

其中，SSIM是Wang在2004提出的图像结构相似性度量指标。

最后，统计空洞区域的恰可识别失真程度。首先逐像素计算空洞像素的亮度对比度与纹理掩蔽对比度。其中，亮度对比度计算如下：

实际计算时，对每个空洞像素计算其周围5*5区域的平均亮度：

空洞像素的纹理掩蔽对比度计算如下：

CM(x,y)＝G(x,y)W(x,y)；

其中G表示最大平均梯度，计算空洞像素周围5*5区域内四个方向的梯度并保留最大值。W是边缘加权因子，考虑到空洞区域本身是有宽度的，空洞区域内部的像素与空洞区域边界除的像素在计算纹理掩蔽对比度时受到所处位置的影响。如果空洞区域大于5*5，位于空洞内部的像素的纹理掩蔽对比度反而会下降。因此，根据距离物体边缘的距离进行加权矫正。

步骤2：合成图像质量预测。在得到上述合成图像空洞统计特征后，将其进行汇聚(pooling)得到如下质量度量模型：

为获取上式中各项归一化或加权因子的值，在法国南特大学公开的合成图像数据集IRCCyN/IVC DIBR images上进行回归，得到各项的经验值。所预测的合成图像质量与IRCCyN/IVC DIBR images数据集中的主观质量平分的相关性达到0.77，接近目前的合成图像全参考质量度量方法(Battisiti2015)。然而，本发明不需要虚拟视点对应的无失真图像。

步骤二：参考视点深度图传输策略。已有基于深度图的远程绘制系统主要关注合成图像的视觉质量，往往通过提高深度图传输频率，或传输更多参考视点的深度图的方式保证合成图像质量。这样做的好处是减少了客户端的视觉失真，不足是增加了深度图的网络传输开销。作为在合成图像视觉质量和网络传输开销的权衡，本发明使用提出的合成图像质量度量方法对三维场景预先建立参考视点集；并在在线阶段根据用户交互自动决定参考视点深度图的传输时机和传输内容。具体分为以下几个步骤：

步骤1：三维场景参考视点选择。使用全搜索策略，结合所提出的合成图像质量度量方法，优选出少量参考视点。对给定的三维场景，首先确定交互模式，如图3所示，有三维模型浏览、三维导航，及虚拟漫游等。其中三维模型浏览支持视点沿三维模型的不同轨道旋转；三维导航支持视点以鸟瞰的方式在距离地面一定倾角的平面内沿四个方向移动；虚拟漫游支持视点以第一视角的方式移动与旋转。在确定交互模式后，沿着视点可能运动的轨道，以单位步长Δd迭代地将当前视点(初始参考视点)变换到新的视点上，得到合成图像；然后使用提出的合成图像质量度量模型预测其视觉质量；当合成图像视觉质量低于预设的恰可识别失真水平时，该位置的视点即作为搜索得到的新的参考视点；以这个新的参考视点为起始视点，重复上述搜索，直到视点到达场景边缘或回到起始点为止。具体过程可以用下式描述：

其中，n×Δd表示了两个参考视点之间的距离。Δd的选取与交互模式有关，在平移中表示欧式距离，在旋转中表示角度。在对三维场景进行全搜索后，得到后续步骤要使用的参考视点集。

步骤2：虚拟视点预测。将用户在客户端的交互解析为三维场景中虚拟视点的运动，并根据历史信息以及交互模式预测下一时刻虚拟视点的位置。实时监测用户在客户端的交互，将其记录为一个指令序列，并定期读取指令。根据周期内交互指令的累积位移，将其从二维坐标系投影到三维场景的世界坐标系中，并对单次交互指令与三维场景中虚拟视点移动位移建立映射关系。由此，用户交互即转化为三维场景中虚拟视点的运动。根据当前时刻的虚拟视点位置，以及周期内历史运动信息，再结合交互模式的约束，利用卡尔曼滤波方程预测虚拟视点在下一次周期到来时的位置。其中，交互指令的解析由客户端完成，而虚拟视点的预测由服务器端完成。二者之间通过网络同步当前虚拟视点。

步骤3：深度图传输。根据上一步骤预测的虚拟视点位置，结合步骤1得到的参考视点集，确定客户端深度图的更新时机及更新内容。以图3(a)为例，蓝色为步骤1优选的参考视点，红色是当前虚拟视点。黑色箭头则表示可能的运动趋势。根据当前时刻虚拟视点位置，以及上一周期的历史运动信息，即可预测出下一周期虚拟视点相对于参考视点的位置。当预测的虚拟视点位置越过当前参考视点时，服务器端即更新深度图。考虑到深度图压缩编码与传输时延，当虚拟视点越过当前两个参考视点距离的中线时，即开始进行新的参考视点深度图的生成与编码，如图4所示。

步骤4：客户端接收到参考视点深度图后，使用3D image warping方程及两帧融合得到最终呈现给用户的合成图像。为防止步骤3中预测失败，在客户端维护一个深度图缓冲池，根据历史使用情况缓冲最近N次使用过的参考视点深度图。这里N与交互模式相关，一般选为视点运动方向数加1。在warping时，计算当前虚拟视点与缓冲池中参考视点的距离，选用最近的两个进行合成。最终合成效果如图5所示。

最后，给出本发明的性能测试结果，如图6所示，在保证客户端合成图像质量不低于预设的恰可识别失真水平的前提下，本发明与其他方法(固定频率的传输(Mark99)、基于MSE像素误差的多深度图传输(Shi2012))以及Bao所做的结果相比，大幅降低了传输频率，减少了网络传输开销。

本发明，通过分析合成图像中空洞的统计特征及人类视觉系统的恰可识别失真特性构建合成图像质量度量模型，基于此对三维场景参考视点进行优选，并在用户交互时根据虚拟视点位置确定深度图的更新时机。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (2)

1.一种基于合成图像质量度量的远程绘制方法，其特征在于：包括以下步骤：

步骤1：建立合成图像质量度量模型；

所述建立合成图像质量度量模型的具体步骤如下：

步骤11：获取用于训练所述合成图像质量度量模型的样本图像，并获取所述样本图像的特征：分析所述样本图像的非空洞像素数量，并获取所述非空洞像素数量占整张图像的像素数量的比值；提取所述样本图像与对应深度图的边缘图，获取两张边缘图的结构相似性；统计空洞区域的恰可识别失真程度，所述失真程度通过空洞像素的局部亮度对比度以及空洞像素的局部纹理掩蔽对比度来表示；

步骤12：基于步骤11获取的所述特征构建所述合成图像质量度量模型：将步骤11中得到的所述样本图像的所述特征进行汇聚，建立所述合成图像质量度量模型：

公式(1)中，Q表示图像的质量、λ是归一化因子、R是图像中非空洞像素数量占整张图像的像素数量的比值、S是所述结构相似性、ω是结构相似性的加权因子、LA表示空洞像素的局部亮度对比度、α是空洞像素的局部亮度对比度的加权因子，CM表示空洞像素的局部纹理掩蔽对比度、(x,y)表示图像中空洞像素的坐标、c1,c2,c3是权重系数；

步骤2：基于所述合成图像质量度量模型确定参考视点深度图传输策略，并合成虚拟视点图像：

所述步骤2中的所述基于所述合成图像质量度量模型确定参考视点深度图传输策略的步骤具体如下：

步骤21：生成三维场景参考视点集：使用全搜索策略，利用通过所述步骤1建立的所述合成图像质量度量模型，筛选参考视点，从而形成三维场景参考视点集；

步骤22：虚拟视点预测：将用户在客户端的交互转换为三维场景中虚拟视点的运动，并预测下一时刻虚拟视点位置；

步骤23：深度图传输：根据步骤22中预测的所述下一时刻虚拟视点位置，结合步骤21得到的所述三维场景参考视点集，服务器端传输对应的深度图至客户端，从而使得所述客户端基于所述服务器端传输的深度图合成虚拟视点图像。

2.如权利要求1所述的一种基于合成图像质量度量的远程绘制方法，其特征在于：所述步骤11的具体步骤为：

步骤111：对所述样本图像及其对应的深度图求交，统计表征所述空洞像素的空值的数量，并基于所述空值的数量得到所述样本图像中非空洞像素数量占整张图像的像素数量的比值：

公式(2)中，R是图像中非空洞像素数量占整张图像的像素数量的比值，

为求交运算，I为样本图像，D为样本图像相对应的深度图，W×H为样本图像大小；所述样本图像相对应的深度图为参考视点的深度图经过三维图像变换后产生的；

步骤112：计算所述样本图像的所述结构相似性：分别提取所述样本图像与对应深度图的边缘图，获取两张边缘图的结构相似性：S＝SSIM(edge(I),edge(D))；

步骤113：统计空洞区域的恰可识别失真程度：首先逐像素计算空洞像素的局部亮度对比度与局部纹理掩蔽对比度；所述局部亮度对比度计算如下：

公式(3)中，

表示样本图像中像素点(x,y)处的平均亮度值，所述像素点(x,y)处的平均亮度值为以像素点(x,y)为中心，选取相邻3×3区域的像素点,计算所述3×3区域的像素点的亮度值的平均值，即，

I(x,y)表示样本图像中像素点(x,y)处的亮度值；

所述空洞像素的局部纹理掩蔽对比度计算如下：

CM(x,y)＝G(x,y)W(x,y) (4)

公式(4)中，G(x,y)为像素点(x,y)的最大平均梯度，W(x,y)为像素点(x,y)对应的边缘加权因子。

Images