CN103077552A - 一种基于多视点视频的三维展示方法 - Google Patents

Abstract

本发明公开了一种基于多视点视频的三维展示方法，包括：(1)在多个视点上分别获取三维场景的视频数据；(2)构建一个多面体盒子，多面体盒子的面数与多视点的视点数相对应，将每个视点的视频数据贴图到多面体盒子的一对应面；(3)将构建好的三维模型放在多面体盒子中心，将整个多面体盒子划分为若干个等面积的小平面，每个小平面虚拟为一个点光源；(4)计算三维模型上所有几何点各个方向的出射亮度值；(5)对三维模型上的每一个几何点进行最终颜色值进行计算以完成三维模型的渲染。通过本发明的方法可以快速方便的对真实场景进行全方位再现，同时避免了真实复杂场景的建模问题，且可以达到和高真实三维数字化建模同样甚至更高的效果。

Description

一种基于多视点视频的三维展示方法

技术领域

本发明涉及计算机图形图像、视频、虚拟现实领域，尤其涉及一种基于多视点视频的三维展示技术。

背景技术

真实场景的三维再现传统方法是对真实场景进行三维重建，得到一系列的三维模型，然后基于不同的视点位置利用计算机图形学对三维模型进行高真实感的渲染绘制，得到真实场景在不同视点下的图像。获得场景三维模型的常见方法有以下几种：一是利用三维建模软件直接创造三维模型，严格上来说，这样的模型和真实的物体还是存在比较大的差距的；二是通过提取图像或视频的信息重建物体的三维形态；三是通过三维扫描设备对物体表面进行三维扫描。上述方法得到一定范围的应用，但仅仅局限于静态场景，对于动态场景仍面临许多富有挑战性的问题，主要表现在：

(1)传统的真实场景重建一般是基于图像或者采用三维建模软件的方法进行建模，由于真实的场景过于复杂，基于图像的建模方法以及三维建模软件建模方法都无法得到和真实场景一样的复杂度和真实感，无论采用多么先进的真实感渲染算法，得到的图像在真实感方面都无法和真实的照片相比较。

(2)建模的复杂度。真实场景往往包含很多的场景元素，每个单独的场景元素建模都是很费时的，当场景很大包含的内容很丰富的时候，采用三维建模软件建模和基于图像的建模来构建这样一个真实的场景是不现实的，况且基于图像的建模由于图像的匹配等要求场景不能太复杂，建立出来的模型随着场景的复杂度越高效果越差。

(3)实时应用限制。真实场景的三维再现主要应用在实时再现方面，传统的方法得到的三维模型的复杂度是和真实场景的内容丰富度成正比的，如果真实场景越复杂，那么重构出来的三维模型的面片数和纹理数也就越复杂，那么高真实感地渲染这样一个复杂的三维模型在目前的计算机硬件和计算机图形学的技术条件下是非常耗时的，不能够满足实时应用领域的速度要求。

(4)静态场景限制。基于图像的建模方法或者三维建模软件建模方法已经能够建立不太复杂的真实场景，尽管能够满足一些领域的应用，但是对于复杂的动态场景，建立一个序列的复杂场景模型，在时间耗费上以及复杂场景模型存储上都存在很大的问题。传统的方法适用于静态的简单的真实场景的建模，而对于动态的真实复杂场景的建模显得无能为力。

因此，通过部署在动态真实场景中的多个视频获取设备对动态场景的每个时刻进行同步地获取不同视点角度的视频数据，然后对这些视频数据按照时间和视点两个维度进行视频数据整合建模，利用已有视点视频图像以及虚拟视点生成等技术，支持动态真实场景的三维再现展示对于复杂真实场景的再现是非常有意义的。

发明内容

本发明提出了一种基于多视点视频的三维展示方法，有别于目前的基于三维数字化模型的三维展示技术，本发明是利用多个视点的视频图像来模拟三维数字化模型的各个角度图像，通过这种方法不仅仅可以快速方便地对真实场景进行全方位的再现，同时避免了真实复杂场景的建模问题，同时可以达到和高真实三维数字化建模同样甚至更高的效果。

本发明通过多个视点的视频来对真实场景进行三维展示，主要有数据建模和三维渲染两个部分，包括以下步骤：

(1)在多个视点上分别获取三维场景的视频数据，得到多视点的视频数据，针对多视点的视频数据，从各视点的视频数据中提取时间维度相应的帧，并整合为若干数据片段；该步骤中视点数量一般为至少4个，实际过程中可根据实际需要设定；

(2)构建一个多面体盒子，多面体盒子的面数与多视点的视点数相对应，逐个提取步骤(1)中的数据片段，将每个视点的视频数据贴图到多面体盒子的一对应面；这样构成了一个基于真实世界的全景图，这个全景图不是静止的，而是随着多视点视频的不同帧的光照不同而动态变化；

(3)将构建好的三维模型放在多面体盒子中心，将整个多面体盒子划分为若干个等面积的小平面，每个小平面虚拟为一个点光源；该步骤每个面上等面积的小平面的数量一般为十个以上，可根据实际显示需要确定；

(4)计算三维模型上所有几何点各个方向的出射亮度值，其中任一几何点的出射亮度值为L_r(x，ω_r)，如下式：

式(1)中：

L_e(x，ω_r)是三维模型上几何点x沿方向ω_r的自发射的亮度值；

f_r(x，ω_r→ω_r)是三维模型上几何点x的双向反射分布函数；

θ_i是点光源i照射到几何点x后反射光的向量；

是θ_i与点光源i入射向量的夹角；

L_i(x，ω_i)几何点x上获取到的点光源i的亮度值；

ω_i是当点光源i到几何点x的方向角；

x是三维模型上的几何点；

i是点光源；

(5)对三维模型上的每一个几何点进行最终颜色值进行计算以完成三维模型的渲染；

几何点x的计算后的颜色值C为：

C＝P_C+L_Z    (2)

式(2)中：

P_C是几何点x的自身颜色值；

L_Z是步骤(4)得到的所有点光源对几何点x的出射亮度值之和，

其中N为点光源数。

所述步骤(2)中，将每个视点的视频数据作为纹理贴图到多面体盒子的一对应面。

为满足各种模拟场合的需要，渲染完成后，作为优选，可以在指定的视点，针对三维模型渲染后得到的二维图像进行色调映射。进行色调映射时采用定义在多维度空间的高斯卷积核进行卷积。进行色调映射时采用定义在6度空间的高斯卷积核进行卷积，对于每一个像素来说，从最小的尺度S_j开始计算对比度，直到第一个满足|Contrast(x，y，S_j)|＞ε的S_j的出现，利用此时得到的S_j计算最终的像素卷积值，ε为设定阈值，ε一般取值为0.2-0.5之间的一个值，具体计算步骤为：

(1)设定第j个卷积内核区域面积为S_j，第j+1个卷积内核的区域面积为S_j+1，j满足1≤j≤6，利用S_j和S_j+1计算得到二维图像的像素点的高斯卷积结果V(x，y，S_j)和V(x，y，S_j+1)，x、y表示二维图像的像素点在x轴和y轴上的坐标值；

(2)计算像素卷积值为：

W(x，y，S_j)＝V(x，y，S_j)×S_j ³；

其中x、y表示二维图像的像素点在x轴和y轴上的坐标值；

V(x，y，S_j)表示二维图像的像素点(x，y)的高斯卷积结果；

S_j为卷积内核区域面积；

W(x，y，S_j+1)＝V(x，y，S_j+1)×S_j+1 ³；

(3)计算局部对比度Contrast(x，y，S_j)：

$\mathrm{Contrast}(x,y,S_j)=\frac{W(x,y,S_j)-W(x,y,S_{j+1})}{\mathrm{\τ}+W(x,y,S_j)}$

其中，τ为自设定因子。

本发明方法提供复杂真实场景的快速高真实感效果展示，采用三维数字化建模方法得到的真实世界场景的数字化三维场景，达到高真实感的效果，另外，基于多视点视频的三维展示方式不仅仅可以展示已有的多个视点角度的图像，同时可以生成任意角度的图像，解决了视点差值的问题。其有益效果主要表现在：

(1)三维渲染模块构建三维多面体盒子，并把多视点视频图像作为纹理进行贴图，可以渲染任意视点的图像。

(2)采用本发明的方法，不仅仅可以表现已有的多视点视频场景中的光照，也可以通过色调映射达到模拟场景中的其它光照效果，比如视频是拍自早上，通过色调映射可以模拟中午或者晚上这个场景的效果。

另外，本发明可以通过网络渐进式传输，将多视点视频三维展示应用到网络上。同时也可以通过色调映射来模拟和调整真实世界的光照效果，达到最佳的三维展示效果。

本发明主要在我国的文化遗产保护(大型考古场景过程再现)以及娱乐行业(足球转播、3D电影制作)领域，具体可以应用在大型文物考古场景记录以及再现、体育等教学研究、三维影视制作、娱乐行业、游戏领域、非物质物化遗产保护等领域。

具体实施方式

对于多视点视频的三维展示中的渲染本发明采用区域面积光的方法来渲染，也就是说对于一个多视点视频的多面体三维模型来讲，多面体的中心作为虚拟视点，从中心把整个多面体划分为很多等面积的小平面，划分的小区域平面数越多渲染起来速度就越慢，可以根据实时要求选择合适的区域平面数量，每个等面积的小区域平面可以作为一个区域面积光源，一个区域面积光源就是用来表示一个虚拟的点光源，它的方向就是照向多面体的中心。

计算三维模型上所有几何点各个方向的出射亮度值，其中任一几何点的出射亮度值为L_r(x，ω_r)，如下式：

式(1)中：

L_e(x，ω_r)是三维模型上几何点x沿方向ω_r的自发射的亮度值；

f_r(x，ω_r→ω_r)是三维模型上几何点x的双向反射分布函数；

θ_i是点光源i照射到几何点x后反射光的向量；

是θ_i与点光源i入射向量的夹角；

L_i(x，ω_i)几何点x上获取到的点光源i的亮度值；

ω_i是当点光源i到几何点x的方向角；

x是三维模型上的几何点，即该几何点的索引号；

i是点光源，即该点光源的索引号；

三维模型上几何点x上的沿方向ω_r的出射光照亮度，主要由两部分组成：这个几何点x自发射的光照亮度、以及从多面体盒子过来的到达这点的入射亮度L_i与BRDF(双向分布函数)函数f_r(x，ω_r→ω_r)的乘积。BRDF是当从方向ω_r角度看来自方向ω_i的入射光的时候，几何点x的材料光照行为模型。。

计算几何点x沿各个方向的出射亮度值时，假设视点和三维模型上的点在同一个平面上。利用计算得到的三维模型上每个几何点沿各个方向的出射光照亮度值，对三维模型上的每个点进行最终颜色值计算，几何点x的计算后的颜色值C如下：

C＝P_C+L_Z  (2)

式(2)中：

P_C是几何点x的自身颜色值；

L_Z是步骤(4)得到的所有点光源对几何点x的出射亮度值之和，

其中N为点光源数。

根据三维模型渲染后得到的二维图像进行(tone mapping)色调映射，

本发明进行色调映射时，进行色调映射时采用定义在6度空间的高斯卷积核进行卷积，其中设定第j个卷积内核区域面积为S_j(如果内核尺寸为3，那么区域面积为9)，对于每一个像素来说，从最小的尺度S_j(此时j取值1)开始计算对比度，直到第一个满足|Contrast(x，y，S_j)|＞ε的S_j的出现，利用此时得到的S_j计算最终的像素卷积值，ε为设定阈值，ε一般取值为0.2-0.5之间的一个值，具体计算步骤为：

(1)设定第j(1≤j≤6)个卷积内核区域面积为S_j，第j+1个卷积内核的区域面积为S_j+1，利用S_j和S_j+1计算得到二维图像的像素点的高斯卷积结果V(x，y，S_j)和V(x，y，S_j+1)，x、y表示二维图像的像素点在x轴和y轴上的坐标值；

(2)计算像素卷积值为：

W(x，y，S_j)＝V(x，y，S_j)×S_j ³；

其中x、y表示二维图像的像素点在x轴和y轴上的坐标值；

V(x，y，S_j)表示二维图像的像素点(x，y)的高斯卷积结果；

S_j为卷积内核区域面积。

W(x，y，S_j+1)＝V(x，y，S_j+1)×S_j+1 ³；

(3)计算局部对比度Contrast(x，y，S_j)：

$\mathrm{Contrast}(x,y,S_j)=\frac{W(x,y,S_j)-W(x,y,S_{j+1})}{\mathrm{\τ}+W(x,y,S_j)}$

其中，τ为自设定因子；

其中，τ为自设定因子，τ取值越大，对比度Contrast越小，色调映射效果需要的卷积内核越大，卷积计算时间就越长，可取值为0.3-0.5之间的一个值。

Claims (5)

1.一种基于多视点视频的三维展示方法，其特征在于，包括：

(1)在多个视点上分别获取三维场景的视频数据，得到多视点的视频数据，针对多视点的视频数据，从各视点的视频数据中提取时间维度相应的帧，并整合为若干数据片段；

(2)构建一个多面体盒子，多面体盒子的面数与多视点的视点数相对应，逐个提取步骤(1)中的数据片段，将每个视点的视频数据贴图到多面体盒子的一对应面；

(3)将构建好的三维模型放在多面体盒子中心，将整个多面体盒子划分为若干个等面积的小平面，每个小平面虚拟为一个点光源；

(4)计算三维模型上所有几何点各个方向的出射亮度值，其中任一几何点的出射亮度值为L_r(x，ω_r)，如下式：

式(1)中：

L_e(x，ω_r)是三维模型上几何点x沿方向ω_r的自发射的亮度值；

f_r(x，ω_r→ω_r)是三维模型上几何点x的双向反射分布函数；

θ_i是点光源i照射到几何点x后反射光的向量；

是θ_i与点光源i入射向量的夹角；

L_i(x，ω_i)几何点x上获取到的点光源i的亮度值；

ω_i是当点光源i到几何点x的方向角；

x是三维模型上的几何点；

i是点光源；

(5)对三维模型上的每一个几何点进行最终颜色值进行计算以完成三维模型的渲染；

几何点x的计算后的颜色值C为：

C＝P_C+L_Z    (2)

式(2)中：

P_C是几何点x的自身颜色值；

L_Z是步骤(4)得到的所有点光源对几何点x的出射亮度值之和，

其中N为点光源数。

2.根据权利要求1所述的基于多视点视频的三维展示方法，其特征在于：所述步骤(2)中，将每个视点的视频数据作为纹理贴图到多面体盒子的一对应面。

3.根据权利要求1所述的基于多视点视频的三维展示方法，其特征在于，在指定的视点，针对三维模型渲染后得到的二维图像进行色调映射。

4.根据权利要求3所述的基于多视点视频的三维展示方法，其特征在于，进行色调映射时采用定义在多维度空间的高斯卷积核进行卷积。

5.根据权利要求4所述的基于多视点视频的三维展示方法，其特征在于，进行色调映射时采用定义在6度空间的高斯卷积核进行卷积，对于每一个像素来说，从最小的尺度S_j开始计算对比度，此时j＝1，直到第一个满足|Contrast(x，y，S_j)|＞ε的S_j的出现，利用此时得到的S_j计算最终的像素卷积值，ε为设定阈值，具体计算步骤为：

(1)设定第j个卷积内核区域面积为S_j，第j+1个卷积内核的区域面积为S_j+1，j满足1≤j≤6，利用S_j和S_j+1计算得到二维图像的像素点的高斯卷积结果V(x，y，S_j)和V(x，y，S_j+1)，x、y表示二维图像的像素点在x轴和y轴上的坐标值；

(2)计算像素卷积值为：

W(x，y，S_j)＝V(x，y，S_j)×S_j ³；

W(x，y，S_j+1)＝V(x，y，S_j+1)×S_j+1 ³；

(3)计算局部对比度Contrast(x，y，S_j)：

$\mathrm{Contrast}(x,y,S_j)=\frac{W(x,y,S_j)-W(x,y,S_{j+1})}{\mathrm{\τ}+W(x,y,S_j)}$

其中，τ为自设定因子。