CN104768018A - 一种基于深度图的快速视点预测方法 - Google Patents

Abstract

本发明公开了一种基于深度图的快速视点预测方法。本发明首先，根据初始视点绘制生成当前视点v₀下的深度图获取深度图右边界处的深度信息，遍历此深度信息获得深度最小值及对应的点像素位置(x_l,y_l)。然后，根据这个深度最小值及点像素位置(x_l,y_l)，求取得到其在世界中间的位置信息(x_t,y_t,z_t),并根据此信息求得移动初始视点的距离r,使得(x_t,y_t,z_t)位置处的点刚好投影到新视点下的图像的最左边界。最后，根据求得的移动初始视点的距离r,最终计算得到预测的参考视点v_r。本发明既能够实现参考视点的快速预测，又能保证预测视点不会出现过大或者过小的情况。

Description

一种基于深度图的快速视点预测方法

技术领域

本发明属于无线网络中移动设备端绘制三维图形的多媒体技术领域，特别涉及一种基于深度图的快速视点预测方法。

背景技术

随着手机硬件迅速发展，计算处理能力越来越强，手机的功能越来越强大，计算机三维图形应用程序也慢慢出现在手机上，如移动三维游戏、移动三维虚拟展示与漫游和移动增强现实系统等应用近几年得到快速发展。然而，由于手机运算能力及硬件方面的限制的问题，使得手机上面只能运行小规模场景的三维图形应用程序，对大型场景、精细模型、高级特效的绘制显得无能为力。

基于图像的远程绘制是一种解决此问题的可行方法。在此方法中，服务端完成海量复杂三维场景的绘制和计算，并将绘制后的图像传输到移动客户端。可以看出，此方法中远程客户端不需要任何3D图形处理能力即可得到具有强烈真实感三维效果。通常，基于图像的远程绘制方法主要有基于图像替代物(image impostor)、环境图(Environment Map)和深度图(Depth Map)三种方法。

基于图像替代物的方法在服务端仅需要生成一种单精度渲染图像，而客户端也只需发出简单的交互命令即可完成远程绘制。然而，此方法的主要缺陷在于每帧的绘制，都需要与服务器进行通信传输新视点下的图像，交互时延较长，不能满足实时交互的需求。

基于环境图方法通常被应用于简化复杂的三维场景中的背景部分。此方法的服务端可以对于一个给定的视点位置产生一个360度的全景环境图，而此图在客户端可以被投影为任意视角方向下的标准图像，从而使客户端用户可以360度任意漫游。然而，当用户使用此方法进行三维漫游时部分区域会产生较大的图像变形失真现象。

基于深度图的绘制方法中，服务端根据当前视点预测出多个参考视点，绘制生成参考视点下的颜色图和深度图并将其传输给客户端。客户端根据 参考视点的深度图和颜色图，采用3D Warp算法合成当前新视点下的绘制图像。这种方法能保证当前视点在参考视点范围内的时候不需要传输新的图像数据，只根据参考视点的深度图和颜色图便可无延迟的生成绘制新视点下的图像。

基于深度图的绘制方法中，有两种参考点预测算法，基于全搜索的方法和基于预测的快速预测方法。基于全搜索能够获得较为精准的参考视点，但是，此绘预测算法在预测过程中需要不断的绘制场景的颜色图和深度图，其运行时间与绘制场景成正比，当场景较大时，算法运行时间甚至达到十几分钟，不满足实时交互式需求。基于预测的快速预测方法可以快速计算出参考视点，获得实时预测效果，但是算法并不能获得精确的参考视点，经常会出现预测视点范围过大或者过小的特殊情况。

发明内容

本发明针对现有方法中预测视点过大或者过小的特殊情况，提出了一种基于边缘深度的快速预测方法，能快速预测参考视点，使预测的参考视点v_r与初始参考v_l刚好能覆盖v_l到v_r视点间所有区域，不会出现预测视点过大或者过小的情况。

本发明解决其技术问题所采用的技术方案如下：

本发明首先，根据初始视点绘制生成当前视点v₀下的深度图获取深度图右边界处的深度信息，遍历此深度信息获得深度最小值及对应的点像素位置(x_l,y_l)。然后，根据这个深度最小值及点像素位置(x_l,y_l)，求取得到其在世界中间的位置信息(x_t,y_t,z_t),并根据此信息求得移动初始视点的距离r,使得(x_t,y_t,z_t)位置处的点刚好投影到新视点下的图像的最左边界。最后，根据求得的移动初始视点的距离r,最终计算得到预测的参考视点v_r。

本发明与背景技术相比，具有的有益的效果是：本发明适用于基于深度图绘制方法中参考视点预测，既能够实现参考视点的快速预测，又能保证预测视点不会出现过大或者过小的情况。

附图说明

图1为视点预测过大会导致参考视点间有部分未被覆盖的区域；

图2为左参考视点下图像最右边的像素都能在右参考视点下捕获。

具体实施方式

以下结合附图对本发明作进一步说明：

传统的快速预测方法中，由于用计算空洞值大小时使用的是部分空洞，因此可能造成求取的空洞值会大于或小于实际产生的误差(空洞)，最终造成预测视点值过大或过小，视点预测过大会导致参考视点间有部分未被覆盖的区域(如图1)，造成合成目标视点图像质量差，视点预测过小，会导致客户端频繁请求数据，增大延迟。通过分析发现,在预测参考视点时，如果v_l参考视点下图像最右边边缘的像素都能在右参考视点v_r下捕获到(如图2)，那么这两个参考视点的图像在经过WARPING融合后就不会因为捕获不到的空白区域的存在而出现大的“空洞”，同时存在一个临界点参考视点，这个视点恰好覆盖初始参考视点的边界区域，则这个临界视点与初始视点距离也不会出现过小的情况。基于此事实，通过下列具体方法完成基于深度边界的视点选取。本方法的具体实施步骤如下：

首先，根据初始视点绘制生成当前视点v_l下的深度图,获取深度图右边界处的深度信息depth，遍历此深度信息获得深度最小值d_min及其对应的点像素位置(x_l,y_l)。

然后，根据这个深度最小值d_min及点像素位置(x_l,y_l)，求取得到其在世界中间的位置信息(x_t,y_t,z_t),并根据此信息求得移动初始视点的距离r,使得(x_t,y_t,z_t)位置处的点刚好投影到新视点下的图像的最左边界。此时，这里定义f(x₀,d_l)为将二维空间图像上位置为(x₀,y_max)及深度为d_l的点映射到三维空间的函数。

f(x₀,d_l)＝x₀*d_l/q，0<y<h       公式(1)

其中h代表图像高度，q代表焦距。

为保证v_l参考视点下最右边界的像素都可以在v_r视点下看到，则将v_l视点下的最右边像素映射到v_r视点下的三维空间中，并保证这个点的位置在v_r视点的摄像机空间范围内。通过公式(2)完成上述功能。

f(d₀,d_l)-m*i≥f(x_l,d_l)   0<y<MAX_m,0<y<h  公式(2)

其中m代表视点移动的单位距离，i代表左参考视点到右参考视点的移动距离，q代表摄像机焦距,x₀表示图像上X方向上的最左边的坐标位置(一般为零),x₁表示图像上X方向上的最右边的坐标位置(一般为图像宽度减1)。

由公式(2)可得从视点v_l到视点v_r的移动距离i：

i≤(x₁-x₀)·d_l/q·m

则当d_l为最小值d_min时，(x₁-x₀)·d_min/q·m取得最小值。因此满足条件的i的最大值为(x₁-x₀)·d_min/q·m。

最后，根据求得的移动移动初始视点的移动距离r(r＝i*m),得到预测的参考视点v_r＝v_l+r。

Claims (1)

1.一种基于深度图的快速视点预测方法，其特征在于：

步骤1，根据初始视点绘制生成当前视点v_l下的深度图,获取深度图右边界处的深度信息depth，遍历此深度信息获得深度最小值d_min及其对应的点像素位置(x_l,y_l)；

步骤2，根据深度最小值d_min及点像素位置(x_l,y_l)，求取得到其在世界中间的位置信息(x_t,y_t,z_t),并根据此信息求得移动初始视点的距离r,使得(x_t,y_t,z_t)位置处的点刚好投影到新视点下的图像的最左边界；定义f(x₀,d_l)为将二维空间图像上位置为(x₀,y_max)及深度为d_l的点映射到三维空间的函数，则

f(x₀,d_l)＝x₀*d_l/q，0<y<h      公式(1)

其中h代表图像高度，q代表摄像机焦距；

为保证v_l参考视点下最右边界的像素都可以在v_r视点下看到，则将v_l视点下的最右边像素映射到v_r视点下的三维空间中，并保证这个点的位置在v_r视点的摄像机空间范围内，得到：

f(d₀,d_l)-m*i≥f(x_l,d_l) 0<y<MAX_m,0<y<h   公式(2)

其中m代表视点移动的单位距离，i代表左参考视点到右参考视点的移动距离，x₀表示图像上X方向上的最左边的坐标位置,x₁表示图像上X方向上的最右边的坐标位置；

由公式(2)可得从视点v_l到视点v_r的移动距离i：

i≤(x₁-x₀)·d_l/q·m

则当d_l为最小值d_min时，(x₁-x₀)·d_min/q·m取得最小值；因此满足条件的i的最大值为(x₁-x₀)·d_min/q·m；

步骤3，根据求得的移动移动初始视点的移动距离r，r＝i*m,得到预测的参考视点v_r＝v_l+r。