CN105959665A

CN105959665A - 一种针对于虚拟现实设备的全景3d视频生成方法

Info

Publication number: CN105959665A
Application number: CN201610296758.3A
Authority: CN
Inventors: 金欣; 刘站奇; 张新; 戴琼海
Original assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Priority date: 2016-05-05
Filing date: 2016-05-05
Publication date: 2016-09-21
Anticipated expiration: 2036-05-05
Also published as: CN105959665B

Abstract

本发明公开了一种针对于虚拟现实设备的全景3D视频生成方法，包括：用广角相机阵列拍摄场景视频并经过拼接算法生成全景视频；用深度相机阵列拍摄场景的深度图并经过拼接算法生成全景深度图视频。通过实时检测人的头部位置，在全景视频帧中切割相应位置的图像作为左视点的视频；根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像，这两幅图像拼接为左右3D视频，在虚拟现实设备中显示。本发明通过在虚拟现实设备显示的全景视频中，加入视点合成技术，使观看者能看到全景视频的3D效果，增加了场景的逼真性，进而提升了观者的体验感。

Description

一种针对于虚拟现实设备的全景3D视频生成方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种针对于虚拟现实设备的全景3D视频生成方法。

背景技术

虚拟现实技术通过实体与三维实时视景的交互，营造出一种逼近真实的虚拟世界，被认为是一种改变人们生活方式的新技术，因而具有广阔的发展前景。人在真实的世界中，因其左右眼的视差让人对眼前的场景具有立体感。但是，一般的VR显示内容都是一个视点下的全景视频，此内容在VR设备显示时，因左右眼视频看到的是相同的图像故不能给观者以立体感。如果能基于一个视点下的全景视频，自动渲染出人眼在另一个视点下的相应视频，就能大大增加虚拟世界的真实性，进而推动虚拟现实技术的普及应用。

发明内容

本发明的目的在于提出一种全景3D视频生成方法，提高人们体验虚拟现实技术时的真实感。

为此，本发明提出的

本发明通过在虚拟现实设备显示的全景视频中，加入视点合成技术，使观看者能看到全景视频的3D效果，增加了场景的逼真性，进而提升了观者的体验感。

附图说明

图1为本发明实施例一种针对于虚拟现实设备的全景3D视频生成方法流程图；

图2为本发明实施例根据人的头部姿态对全景视频相应位置进行切割的说明图；

图3为本发明实施例Madgwick互补滤波融合算法框架示意图。

具体实施方式

如图1所示，本实施例提出的一种针对于虚拟现实设备的全景3D视频生成方法，包括：用广角相机和深度相机拍摄场景生成一个视点下的全景视频和全景深度图视频。佩戴的虚拟现实设备如Oculus，通过自身的传感器实时检测人的头部姿态，可以调用开发包中的相应函数，获得头部坐标系相对于地面坐标系的俯仰角、偏航角和滚转角，在全景视频帧中切割相应位置的图像作为左视点的视频；根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像，这两幅图像拼接为左右3D视频，在虚拟现实设备中显示。

图1中，相机阵列和深度相机阵列采用环形排列，各个相机采集到的视频经过全景视频拍摄软件PTGui进行全景视频的拼接。拼接成的全景视频作为左视点视频的切割来源，通过调用虚拟现实头盔的编程接口获得头部相对于地球坐标系的姿态，切割全景视频得到显示屏上的左视点视频，然后通过视点合成算法得到右视点视频，最后在虚拟现实设备上进行3D播放。

各个步骤的详细说明如下：

广角相机阵列拍摄场景视频并经过拼接生成全景视频，视频拼接的工作采用Helmut Dersch公司推出的PTGui可视化的全景视频制作工具，其能给出高质量的全景视频。

用深度相机阵列拍摄场景的深度图并经过拼接算法生成全景深度图视频，其过程与生成全景视频的步骤相同。

通过实时检测人的头部位置，在全景视频帧中切割相应位置的图像作为左视点的视频。虚拟现实设备的自身可以利用其内置的陀螺仪、加速度计和磁力计经过数据融合算法可以得到头部的三维姿态，具体的融合算法采用Madgwick互补滤波融合算法，其算法框架如图3所示，算法的具体细节如下面文档所述：http://www.x-io.co.uk/res/doc/madgwick_internal_report.pdf。

然后根据计算出来的姿态，从全景视频帧中切割出相应位置的视频作为左视点的视频。具体过程如附图2所示，图2中，圆柱是由PTGui软件拼接成的全景视频，r是相机的剪切平面，o是人眼的位置，s是虚拟现实设备显示屏的中心点，T是当前头部姿态下显示屏中心应显示的全景视频的像素点。根据人眼的位置和相机成像平面的距离我们可以算出显示屏o处应显示全景视频的T像素点。假设人眼坐标系与相机坐标系初始重合，os距离是人眼到屏幕的垂直距离，显示屏的高度是d。现在人抬头上看，上一步中算出的俯仰角是α，则T的位置如下面公式计算得出，

o T = \frac{r}{c o s (\arcsin (\frac{o s}{\frac{d}{2}}) + α)}

以此类推，可以算出显示屏上的每个点在全景视频上对应的应显示像素点。

根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像，具体包括左参考视点向右参考视点的映射和映射后图像的空洞填补。映射的过程如何如下：

首先根据下述公式，把左视点图像映射到原始标定摄像机和物体位置的三维坐标系(此三维坐标系由参数R，T，K唯一标示)，

(\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \end{matrix}) = R_{r}^{- 1} \cdot (z_{r} K_{r}^{- 1} (\begin{matrix} u_{r} \\ v_{r} \\ 1 \end{matrix}) - T_{r})

其中，R，T，K分别是左视点图像坐标系相对于三维坐标系的旋转矩阵，平移矩阵和相机内部参数矩阵，r代表左视点，w代表三维坐标系，z为深度值，u和v分别为左视点图像中像素点的横纵坐标，X，Y和Z分别为左视点图像中相应像素点映射在三维坐标系中的三个坐标。

然后通过下面公式，把三维坐标系的图像投影到右视点坐标系上：

z_{v} (\begin{matrix} u_{v} \\ v_{v} \\ 1 \end{matrix}) = K_{v} (R_{v} (\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \end{matrix}) + T_{v})

上述公式中的r,v分别代表左视点和右视点。映射后图像中的空洞像素点用最邻近的背景像素点进行填补。这两幅图像分别作为左右视点送到虚拟现实设备的现实端进行3D显示。其中，深度图用在了公式中的深度值z。

上述实施例只是为了对本发明进行举例说明，并非限制本发明的权利范围。

Claims

1.一种针对于虚拟现实设备的全景3D视频生成方法，其特征在于，包括如下步骤：

S1、拍摄场景视频并经过拼接算法生成全景视频；

S2、拍摄场景的深度图并经过拼接算法生成全景深度图视频；

S3、通过实时检测人的头部位置和姿态，在全景视频帧中切割相应位置的图像,各帧的切割图像连起来形成左视点的视频；

S4、根据左视点的图像和相应的深度图，基于虚拟视点合成技术外插生成右视点图像；

S5、左视点视频和右视点视频拼接为左右3D视频，在虚拟现实设备中显示。

2.如权利要求1所述的方法，其特征在于，步骤S1中，用广角相机阵列拍摄场景视频；步骤S2中，用深度相机阵列拍摄场景深度视频，并经过视频拼接软件拼接成全景视频。

3.如权利要求1所述的方法，其特征在于，步骤S3中，实时检测人的头部位置和姿态的方法是：虚拟现实设备的自身利用其内置的陀螺仪、加速度计和磁力计经过数据融合算法可以得到头部的位置和三维姿态。

4.如权利要求1所述的方法，其特征在于，步骤S3中，切割方法为:根据人眼的位置和相机成像平面的距离我们可以算出显示屏o处应显示全景视频的T像素点：

o T = \frac{r}{c o s (a r c s i n (\frac{o s}{\frac{d}{2}}) + α)}

其中r是相机的剪切平面，o是人眼的位置，s是虚拟现实设备显示屏的中心点，T是当前头部姿态下显示屏中心应显示的全景视频的像素点，假设人眼坐标系与相机坐标系初始重合，os距离是人眼到屏幕的垂直距离，显示屏的高度是d，上一步中算出的俯仰角是α；

以此类推，算出显示屏上的每个点在全景视频上对应的应显示像素点。

5.如权利要求1所述的方法，其特征在于，步骤S4中，根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像的方法包括左参考视点向右参考视点的映射和映射后图像的空洞填补。

6.如权利要求5所述的方法，其特征在于，映射的过程如何如下：

首先根据下述公式，把左视点图像映射到原始标定摄像机和物体位置的三维坐标系，此三维坐标系由参数R，T，K唯一标示，

(\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \end{matrix}) = R_{r}^{- 1} \cdot (z_{r} K_{r}^{- 1} (\begin{matrix} u_{r} \\ v_{r} \\ 1 \end{matrix}) - T_{r})

7.如权利要求5所述的方法，其特征在于，映射的过程还包括如下步骤：通过下面公式，把三维坐标系的图像投影到右视点坐标系上：

z_{v} (\begin{matrix} u_{v} \\ v_{v} \\ 1 \end{matrix}) = K_{v} (R_{v} (\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \end{matrix}) + T_{v})

上述公式中的r,v分别代表左视点和右视点。

8.如权利要求5所述的方法，其特征在于，映射后图像中的空洞像素点用最邻近的背景像素点进行填补。

9.如权利要求2所述的方法，其特征在于：相机阵列和深度相机阵列采用环形排列，各个相机采集到的视频经过全景视频拍摄软件PTGui进行全景视频的拼接。

10.如权利要求3所述的方法，其特征在于：所述融合算法采用Madgwick互补滤波融合算法。