CN104766363A - 基于深度图绘制的多方向参考视点的warping方法 - Google Patents

Abstract

本发明公开了一种基于深度图绘制的多方向参考视点的WARPING方法。本发明首先服务器端根据当前视点预测四个参考视点以及八个Cache视点，并绘制这些视点下深度图和颜色图；然后服务器将各个预测的视点下的深度图和颜色图传输给客户端；最后客户端根据交互运动获得新的当前视点值，如果新视点在参考视点范围内，使用3DWARPING技术根据参考视点图像和深度图WARPING合成获得当前视点的图像；如果新视点超出参考视点范围，则根据Cache视点更新参考视点，并向服务器发生请求新Cache视点的信息，更新Cache视点。本发明能够在低延迟下WARPING获得四个参考视点组成矩形区域内的任一视点下的图像。

Description

基于深度图绘制的多方向参考视点的WARPING方法

技术领域

本发明属于无线网络中移动设备端绘制三维图形的多媒体领域，特别涉及一种移动设备端基于多方向参考视点的3D WARPING图形绘制方法。

背景技术

随着手机硬件迅速发展，计算处理能力越来越强，手机的功能越来越强大，计算机三维图形应用程序也慢慢出现在手机上，如移动三维游戏、移动三维虚拟展示与漫游和移动增强现实系统等应用近几年得到快速发展。然而，由于手机运算能力及硬件方面的限制的问题，使得手机上面只能运行小规模场景的三维图形应用程序，对大型场景、精细模型、高级特效的绘制显得无能为力。

为有效克服手机运算能力及硬件问题的不足，研究者们提出一种基于客户端服务器的绘制方式，服务器端进行图形绘制并将绘制图像传送给客户端，客户端根据图像进行交互绘制。客户端基于图像的绘制主要有三个方向:一是基于图像替代物(image impostor)的绘制；二是基于环境图(Environment Map)绘制；三是基于深度图绘制。

第一方式绘制方式中，客户端的采用简单的图像显示技术，在客户端进行交互过程中，每帧的绘制都需与服务端进行数据通信，然后由服务器端绘制新视点下的图像并传输给客户端。由于这种绘制方式的每帧绘制都要由服务器进行数据传输，因此有较大交互时延，很难应用到现实应用中。

第二种绘制方式通常被应用于简化复杂的三维场景中的背景部分。此方法的服务端可以对于一个给定的视点位置产生一个360度的全景环境图，而此图在客户端可以被投影为任意视角方向下的标准图像，从而使客户端用户可以360度任意漫游。然而，当用户使用此方法进行三维漫游时部分区域会产生较大的图像变形失真现象。

第三种绘制方式中，研究者采用3D WARPING技术，客户端保存当前视点下的由服务端预测生成的参考视点的深度图和颜色图，根据3DWARPING技术生成交互活动下的新视点下的图像，直到新视点超出参考视点，客户 端与服务器进行新的数据传输。这种绘制方式采用3D WARPING技术的思想，由于每次保存的是参考视点下的深度图和颜色图，因此在交互生成参考视点范围内图像的时候不需要传输新的数据，保证了图像的实时显示。

基于深度图的绘制方式中，服务器端生成预测视点的时候一般是根据特定的移动方式生成特定移动方式下的参考视点，对于左右移动方式，服务器预测的是左参考视点和右参考视点，对于前后移动方式，服务器预测的是前参考视点和后参考视点。因此，这种绘制方式只能保证在一种交互方式的平滑交互，对于具有左右和前后两种交互方式的客户端，在交互过程中，由一种运动轨迹突变到另一运动轨迹或者两种运动轨迹合成在一起时，就需要马上与服务端进行通信，进行新的当前视点下各个交互方式下的视点预测与图像传输，因此有较多的时延。

发明内容

本发明针对现有技术的不足，提供了一种基于多深度图绘制的多方向参考视点的WARPING方法。

本发明解决其技术问题所采用的技术方案如下：

首先，服务器端根据当前视点预测左上、右上、左下、右下四个参考视点(V_lf、V_rf、V_lb、V_rb)以及左左上、左左下、右右上、右右下、左上上、右上上、左下下、右下下八个Cache视点(V_llf、V_llb、V_rrf、V_rrb、V_lff、V_rff、V_lbb、V_rbb)，并绘制这些视点下深度图和颜色图；然后，服务器将各个预测的视点下的深度图和颜色图传输给客户端；最后，客户端根据交互运动获得新的当前视点值，如果新视点在参考视点范围内，使用3D WARPING技术根据参考视点图像和深度图WARPING合成获得当前视点的图像；如果新视点超出参考视点范围，则根据Cache视点更新参考视点，并向服务器发生请求新Cache视点的信息，更新Cache视点。

本发明与背景技术相比，具有的有益的效果是：本发明是一种适用于前后两种运动轨迹下视点预测方法，能够在低延迟下WARPING获得四个参考视点组成矩形区域内的任一视点下的图像。

附图说明

图1为服务器预测参考视点和Cache视点；

图2为客户端在当前视点超出参考视点后视点更新。

具体实施方式

以下结合附图对本发明作进一步说明：

现有的参考视点预测方法是根据特定的移动方式生成特定移动方式下的参考视点，只能保证交互在同一交互方式下的平滑交互，如果在交互过程中，由左右移动突变到前后移动,则需要当前视点下的前后参考视点下的图像数据，在此过程中会有一定时延。而采用左上、右上、左下、右下四个方向的参考视点，在WARPING的过程中，不分交互方式，将四个参考视点下的图像直接WARPING到目标视点，在四个参考视点范围内的矩形区域左右和前后移动都不会需要传输新的图像数据，因此大大降低交互时延。同时通过提供八个Cache视点，在当前视点超出当前参考视点的矩形区域后，可立即实现参考视点的更新，保证了平滑交互的进行。

本方法的具体实施如下：

首先，服务器端根据客户端传来的当前视点位置,获得当前视点下的场景的深度图，并根据深度图预测得当前视点下V_lf、V_rf、V_lb、V_rb四个参个视点以及V_llf、V_llb、V_rrf、V_rrb、V_lff、V_rff、V_lbb、V_rbb八个参考视点的Cache视点(如图1所示)。此时，服务端存有参考视点及Cache视点下的深度图及颜色图。

然后，服务器端将预测得到的四个参考视点及Cache视点位置,传送给客户端,并将各个预测的视点下的深度图和颜色图传输给客户端。此时，客户端保存有各个参考视点和Cache视点的位置及深度图和颜色图。

最后，客户端根据客户交互方式，计算得到新到当前视点的位置。此时，根据新视点是否在参考视点的范围内，来决定操作步骤。这里定义V_lf、V_rf、V_lb、V_rb四个参考视点颜色图分别为colorLF、colorRF、colorLB、colorRB，V_llf、V_llb、V_rrf、V_rrb、V_lff、V_rff、V_lbb、V_rbb八个Cache视点定义如下colorLLF、colorLLB、colorRRF、colorRFB、colorLFF、colorRFF、colorLBB、colorRBB。

步骤1如果新视点在参考视点范围内,则进行步骤2，否则执行步骤3。

步骤2将新视点作为目标视点，并根据四个参考视点的位置和深度图，将四个参考视点下的颜色图分别WARPING到目标视点下，获得目标视点下的场景图像。

步骤3，根据新视点在参考视点范围外的上下左右四个方向来进行数 据更新，如果新视点在参考视点范围的上部，则将颜色图数据进行如下数据更新(如图2所示)

arraycopy(colorLLB,colorLLF)；

arraycopy(colorRRB,colorRRF)；

arraycopy(colorRF,colorRFF)；

arraycopy(colorLF,colorLFF)；

arraycopy(colorRB,colorRF)；

arraycopy(colorLB,colorLF)；

arraycopy(colorRBB,colorRB)；

arraycopy(colorLBB,colorLB)；

之后，向服务器请求更新Cache视点，服务器根据新的当前视点预测左左后、右右后、左后后、右后后这四个新的Cache视点位置及视点下的场景深度图和颜色图。同时，如果新视点在参考视点范围的其它部分，也作类似的操作。更新参考视点和Cache视点后，跳转步骤2。

Claims (2)

1.基于深度图绘制的多方向参考视点的WARPING方法，其特征在于：

步骤1.服务器端根据客户端传来的当前视点位置，获得当前视点下的场景的深度图，并根据深度图预测当前视点下左上、右上、左下、右下四个参考视点，记为：V_lf、V_rf、V_lb、V_rb；

以及左左上、左左下、右右上、右右下、左上上、右上上、左下下、右下下八个Cache视点，记为：V_llf、V_llb、V_rrf、V_rrb、V_lff、V_rff、V_lbb、V_rbb；

并绘制这些视点下深度图和颜色图；

步骤2.服务器端将预测得到的四个参考视点及Cache视点位置,传送给客户端,并将各个预测的视点下的深度图和颜色图传输给客户端；

步骤3.客户端根据客户交互方式，计算得到新的当前视点的位置；此时，根据新视点是否在参考视点的范围内，来执行以下步骤：

步骤3-1.如果新视点在参考视点范围内,则进行步骤3-2，否则执行步骤3-3；

步骤3-2.将新视点作为目标视点，并根据四个参考视点的位置和深度图，将四个参考视点下的颜色图分别WARPING到目标视点下，获得目标视点下的场景图像；

步骤3-3.根据新视点在参考视点范围外的上下左右四个方向来进行数据更新，如果新视点在参考视点范围的上部，则将颜色图数据进行更新；之后，向服务器请求更新Cache视点，服务器根据新的当前视点预测左左后、右右后、左后后、右后后这四个新的Cache视点位置及视点下的场景深度图和颜色图；同时，如果新视点在参考视点范围的其它部分，同样更新参考视点和Cache视点，再跳转至步骤3-2。

2.根据权利要求1所述的基于深度图绘制的多方向参考视点的WARPING方法，其特征在于：颜色图数据进行更新过程为：

arraycopy(colorLLB,colorLLF)；

arraycopy(colorRRB,colorRRF)；

arraycopy(colorRF,colorRFF)；

arraycopy(colorLF,colorLFF)；

arraycopy(colorRB,colorRF)；

arraycopy(colorLB,colorLF)；

arraycopy(colorRBB,colorRB)；

arraycopy(colorLBB,colorLB)；

其中colorLF、colorRF、colorLB、colorRB分别为V_lf、V_rf、V_lb、V_rb参考视点颜色图；colorLLF、colorLLB、colorRRF、colorRFB、colorLFF、colorRFF、colorLBB、colorRBB；分别为V_llf、V_llb、V_rrf、V_rrb、V_lff、V_rff、V_lbb、V_rbbCache视点颜色图。