CN106780759A - 基于图片构建场景立体全景图的方法、装置及vr系统 - Google Patents

Abstract

本发明公开了一种基于图片构建场景立体全景图的方法、装置及VR系统，该方法包括：获取第一组六幅图片和第二组六幅图片，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片，所述第一组六幅图片和第二组六幅图片为具有视差的两组图片；根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒；将所述第一六面体天空盒和第二六面体天空盒分别映射至播放设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒。本发明降低了构建场景立体全景图的时间和成本，占内存较少，减小了图像渲染带来的功耗，从一定程度上提高了设备的续航能力。

Description

基于图片构建场景立体全景图的方法、装置及VR系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于图片构建场景立体全景图的方法、装置及VR系统。

背景技术

VR(Virtual Reality，即虚拟现实，简称VR)内容包括VR游戏、VR影院、VR图库，甚至是VR操作系统。如今，VR已进入军事、医疗、教育及娱乐等各个行业，VR产品也品类众多。例如：基于台式机的VR一体式头盔，VR一体机、VR眼镜盒等等。只要涉及到VR，就一定会面临虚拟场景搭建的问题。

传统的VR场景的搭建方式有两种：第一种是通过三维建模来实现；第二种是使用一张全景图片来代替三维模型。第一种方式搭建的VR场景效果逼真，能够带来很好的沉浸感，但是开发周期较长，开发成本较大，文件较大，渲染计算量较大，导致卡顿，提高了系统延迟。第二种方式系统延迟小，开发成本低，精简了文件大小，这种方法虽然可以弥补第一种方法的缺点，但是，由一张全景图片构建的场景由于拍摄设备及合成算法的误差，导致很严重的畸变现象；由一张全景图片构建的场景是平面的，不会有逼真的三维效果；将一张图片拉伸到三维空间内，清晰度会降低约4倍，粗糙的画质不能给用户带来沉浸感；如果为了提高画面的质量，引入更高清晰度的图片，那么加载较大的图片文件会很容易导致内存溢出，使程序停止运行。

发明内容

本发明提供一种基于图片构建场景立体全景图的方法、装置及VR系统，降低了构建场景立体全景图的时间和成本，占内存较少，减小了图像渲染带来的功耗，从一定程度上提高了设备的续航能力。

本发明采用以下技术方案：

第一方面，本发明提供一种基于图片构建场景立体全景图的方法，包括：

获取第一组六幅图片和第二组六幅图片，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片，所述第一组六幅图片和第二组六幅图片为具有视差的两组图片；

根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒；

将所述第一六面体天空盒和第二六面体天空盒分别映射至播放设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒。

具体地，所述第一组六幅图片和第二组六幅图片均由全景相机拍摄。

示例性地，所述根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒，包括：

创建第一立方体和第二立方体；

将第一组六幅图的纹理贴合在所述第一立方体的对应面上，将第二组六幅图的纹理贴合在所述第二立方体对应的面上；

在所述第一立方体及第二立方体的中心点分别设置一台虚拟摄像机，所述虚拟摄像机通过头部跟踪算法跟踪人头部的动作。

第二方面，本发明还提供一种基于图片构建场景立体全景图的装置，包括：

获取单元，用于获取第一组六幅图片和第二组六幅图片，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片，所述第一组六幅图片和第二组六幅图片为具有视差的两组图片；

制作单元，用于根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒；

映射单元，用于将所述第一六面体天空盒和第二六面体天空盒分别映射在播放设备的左右两侧。

具体地，所述第一组六幅图片和第二组六幅图片均由全景相机拍摄。

示例性地，所述制作单元包括：

创建单元，用于创建第一立方体和第二立方体；

纹理贴合单元，用于将第一组六幅图的纹理贴合在所述第一立方体的对应面上，将第二组六幅图的纹理贴合在所述第二立方体对应的面上；

跟踪单元，用于在所述第一立方体及第二立方体的中心点分别设置一台虚拟摄像机，所述虚拟摄像机通过头部跟踪算法跟踪人头部的动作。

第三方面，本发明提供一种VR系统，包括计算机和VR设备，所述计算机配置有上述所述的基于图片构建场景立体全景图的装置，所述计算机与所述VR设备连接，

计算机将根据具有视差的第一组六幅图片和第二组六幅图片分别制作成第一六面体天空盒和第二六面体天空盒，并将所述第一六面体天空盒和第二六面体天空盒分别映射在VR设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片；

VR设备左右两侧的显示装置同时显示计算机播放的所述第一六面体天空盒和第二六面体天空盒的内容。

本发明提供的技术方案带来如下有益效果：

通过两组具有视差的六幅图片制作出具有视差的两个六面体天空盒，并分别映射到播放设备的显示装置，搭建了两个具有细微差别的二维空间全景来模拟双眼看到的影像，用户可以通过播放设备看到较好立体效果的全景图像，大大降低了构建场景立体全景图的时间和成本，并且大大减小了应用的文件大小，减小了图像渲染带来的功耗，从一定程度上提高了设备的续航能力，并且图片易于更换，大大提高了应用的可扩展性，易于运营维护。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明提供的VR头显的显示原理示意图。

图2是本发明提供的基于图片构建场景立体全景图的方法流程图。

图3是本发明提供的六面体天空盒的全景平面示意图。

图4是本发明提供的制作出第一六面体天空盒和第二六面体天空盒的方法的方法流程图。

图5是本发明提供的基于图片构建场景立体全景图的装置的结构方框图。

图6是本发明提供的制作单元的结构方框图。

图7是本发明提供的VR系统的结构方框图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的VR头显的显示原理示意图。参考图1所示，VR头显的显示原理是通过透镜折射，使左右眼分别看到对应一侧的画面，图像在VR头显上的显示左右分屏。

人眼之所以可以看到立体的场景，实际上是因为两眼之间有一定的距离，导致双眼观看场景的角度有细微的差别，也就是说双眼看到的场景不是完全一样的。

图2是本发明提供的基于图片构建场景立体全景图的方法流程图。图3是本发明提供的六面体天空盒的全景平面示意图。参考图2、图3所示，该基于图片构建场景立体全景图的方法，包括：

S101、获取第一组六幅图片和第二组六幅图片，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片，所述第一组六幅图片和第二组六幅图片为具有视差的两组图片。

具体地，所述第一组六幅图片和第二组六幅图片均由全景相机拍摄。采用一架双镜头数码相机每旋转一定角度拍摄一对景物照片，得到一组具有视差的序列照片对，将每组序列照片采用拼接技术进行拼接制作成前、后、左、右、上和下六个方向的全景图片，两幅全景图片之间存在视觉差。

还可以根据旋转拍摄的视频序列得到第一组六幅图片和第二组六幅图片。获取两组六面图片的方法不局限于这里列举的方法。

S102、根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒。

图4是本发明提供的制作出第一六面体天空盒和第二六面体天空盒的方法的方法流程图。参考图4所示，步骤S102包括：

S1021、创建第一立方体和第二立方体。

本实施例中，通过调用Unity3D的cube控件。Unity3D为互动内容的综合型创作工具，现在逐渐得到广泛应用。

S1022、将第一组六幅图的纹理贴合在所述第一立方体的对应面上，将第二组六幅图的纹理贴合在所述第二立方体对应的面上。

根据第一组六幅图片得到第一组六幅图的纹理，根据第二组六幅图片得到第二组六幅图的纹理。生成立方体全景图的模拟算法都是建立在二维纹理数据的生成基础之上的。二维纹理数据数据的生成这里不再详述，请参阅相关文献。二维纹理技术生成的立方体全景图包括6个正方形图像，图像点阵数据存储于6个二维数组中。二维纹理数据映射生成的模拟全景图如图3所示。将图片纹理的像素点映射到立方体表面，立方体表面的像素点和图片纹理的像素点之间的映射关系有多种，有的通过球面作为中介以实现将图片纹理映射到立方体表面，本实施例中，不需要球面作为中介，直接根据立方体表面的像素点和图片纹理的像素点之间的变换关系实现，通过建立世界坐标系、图片坐标系和相机坐标系，得到在世界坐标系下图片到立方体表面的映射关系，该映射关系为现有技术，详细内容请参阅相关文献，这里不再详述。

S1023、在所述第一立方体及第二立方体的中心点分别设置一台虚拟摄像机，所述虚拟摄像机通过头部跟踪算法跟踪人头部的动作。

为了能够交互式地浏览全景图，需要根据用户头部的动作显示出全景图上所对应的可见部分。虚拟摄像机可以根据用户的头部姿态进行转动，通过虚拟摄像机即可看到完整的空间画面。通过建立观察坐标系和设备坐标系建立用户头部动作和虚拟摄像机角度的变换关系，则虚拟摄像机就可以根据头部的转动进行相应的动作，看到不同的图像。观察坐标系和设备坐标系的建立可以查阅现有技术，这里不再详述。

S103、将所述第一六面体天空盒和第二六面体天空盒分别映射至播放设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒。

用户通过播放设备观看播放的第一六面体天空盒和第二六面体天空盒的内容，由于人的左眼和右眼看到的是具有细微差别的第一六面体天空盒和第二六面体天空盒的内容，完全模拟人眼的视觉原理，即可营造出立体的空间场景。

综上，本发明实施例提供的基于图片构建场景立体全景图的方法通过两组具有视差的六幅图片制作出具有视差的两个六面体天空盒，并分别映射到播放设备的显示装置，搭建了两个具有细微差别的二维空间全景来模拟双眼看到的影像，用户可以通过播放设备看到较好立体效果的全景图像，大大降低了构建场景立体全景图的时间和成本，并且大大减小了应用的文件大小，减小了图像渲染带来的功耗，从一定程度上提高了设备的续航能力，并且图片易于更换，大大提高了应用的可扩展性，易于运营维护。

图5是本发明提供的基于图片构建场景立体全景图的装置的结构方框图。参考图3所示，该基于图片构建场景立体全景图的装置10包括：

获取单元100，用于获取第一组六幅图片和第二组六幅图片，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片，所述第一组六幅图片和第二组六幅图片为具有视差的两组图片；

制作单元101，用于根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒；所述第一组六幅图片和第二组六幅图片均由全景相机拍摄。

映射单元102，用于将所述第一六面体天空盒和第二六面体天空盒分别映射在播放设备的左右两侧。

本发明提供的基于图片构建场景立体全景图的装置通过两组具有视差的六幅图片制作出具有视差的两个六面体天空盒，并分别映射到播放设备的显示装置，搭建了两个具有细微差别的二维空间全景来模拟双眼看到的影像，用户可以通过播放设备看到较好立体效果的全景图像，大大降低了构建场景立体全景图的时间和成本，并且大大减小了应用的文件大小，减小了图像渲染带来的功耗，从一定程度上提高了设备的续航能力，并且图片易于更换，大大提高了应用的可扩展性，易于运营维护。

具体地，图6是本发明提供的制作单元的结构方框图。参考图4所示，所述制作单元101包括：

创建单元1011，用于创建第一立方体和第二立方体；

纹理贴合单元1012，用于将第一组六幅图的纹理贴合在所述第一立方体的对应面上，将第二组六幅图的纹理贴合在所述第二立方体对应的面上；

跟踪单元1013，用于在所述第一立方体及第二立方体的中心点分别设置一台虚拟摄像机，所述虚拟摄像机通过头部跟踪算法跟踪人头部的动作。

图7是本发明提供的VR系统的结构方框图。参考图5所示，本发明还提供一种VR系统，包括计算机1和VR设备2，所述计算机1配置有上述所述的基于图片构建场景立体全景图的装置10，所述计算机1与所述VR设备2连接，

计算机1将根据具有视差的第一组六幅图片和第二组六幅图片分别制作成第一六面体天空盒和第二六面体天空盒，并将所述第一六面体天空盒和第二六面体天空盒分别映射在VR设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片；

VR设备2左右两侧的显示装置同时显示计算机播放的所述第一六面体天空盒和第二六面体天空盒的内容。

具体地，所述计算机1与所述VR设备2无线连接，可以通过WIFI连接，或者蓝牙连接。

该VR系统根据左右眼的视差构建出具有视差的两个六面体天空盒，并将所述第一六面体天空盒和第二六面体天空盒分别映射在VR设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒，用户通过VR设备看到的立体场景更加逼真，大大降低了构建场景的时间和成本，并且大大减小了应用的文件大小，减小了图像渲染带来的功耗，从一定程度上提高了设备的续航能力。

以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于图片构建场景立体全景图的方法，其特征在于，包括：

获取第一组六幅图片和第二组六幅图片，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片，所述第一组六幅图片和第二组六幅图片为具有视差的两组图片；

根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒；

将所述第一六面体天空盒和第二六面体天空盒分别映射至播放设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒。

2.根据权利要求1所述的方法，其特征在于，所述第一组六幅图片和第二组六幅图片均由全景相机拍摄。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒，包括：

创建第一立方体和第二立方体；

将第一组六幅图的纹理贴合在所述第一立方体的对应面上，将第二组六幅图的纹理贴合在所述第二立方体对应的面上；

在所述第一立方体及第二立方体的中心点分别设置一台虚拟摄像机，所述虚拟摄像机通过头部跟踪算法跟踪人头部的动作。

4.一种基于图片构建场景立体全景图的装置，其特征在于，包括：

获取单元，用于获取第一组六幅图片和第二组六幅图片，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片，所述第一组六幅图片和第二组六幅图片为具有视差的两组图片；

制作单元，用于根据所述第一组六幅图片和第二组六幅图片分别制作出第一六面体天空盒和第二六面体天空盒；

映射单元，用于将所述第一六面体天空盒和第二六面体天空盒分别映射在播放设备的左右两侧。

5.根据权利要求4所述的基于图片构建场景立体全景图的装置，其特征在于，所述第一组六幅图片和第二组六幅图片均由全景相机拍摄。

6.根据权利要求4所述的基于图片构建场景立体全景图的装置，其特征在于，所述制作单元包括：

创建单元，用于创建第一立方体和第二立方体；

纹理贴合单元，用于将第一组六幅图的纹理贴合在所述第一立方体的对应面上，将第二组六幅图的纹理贴合在所述第二立方体对应的面上；

跟踪单元，用于在所述第一立方体及第二立方体的中心点分别设置一台虚拟摄像机，所述虚拟摄像机通过头部跟踪算法跟踪人头部的动作。

7.一种VR系统，其特征在于，包括计算机和VR设备，所述计算机配置有如权利要求4-6任一项所述的基于图片构建场景立体全景图的装置，所述计算机与所述VR设备连接，

计算机将根据具有视差的第一组六幅图片和第二组六幅图片分别制作成第一六面体天空盒和第二六面体天空盒，并将所述第一六面体天空盒和第二六面体天空盒分别映射在VR设备的左右两侧的显示装置，同时播放所述第一六面体天空盒和第二六面体天空盒，每组六幅图片均包括空间场景的前、后、左、右、上和下六个方向的场景图片；

VR设备左右两侧的显示装置同时显示计算机播放的所述第一六面体天空盒和第二六面体天空盒的内容。