CN107590850A

CN107590850A - 一种利用球形全景图的3d场景构建方法及系统

Info

Publication number: CN107590850A
Application number: CN201710683760.0A
Authority: CN
Inventors: 陈再得; 纪博翰; 黄华深
Original assignee: Shenzhen Nestle Holdings Ltd
Current assignee: Shenzhen Nestle Holdings Ltd
Priority date: 2017-08-11
Filing date: 2017-08-11
Publication date: 2018-01-16

Abstract

本发明实施例提供一种利用球形全景图的3D场景构建方法及系统，所述3D场景构建方法包括：根据设定的现实场景，建立虚拟场景；在所述虚拟场景中设置两个虚拟图像采集摄像机，并设置各所述虚拟图像采集摄像机的工作参数，使各所述虚拟图像采集摄像机将采集的所述虚拟场景的图像分别输出为全景图；构建两个结构相同的球体，并将两个球体导入至3D引擎中，分别形成映射球体，并在各映射球体的球心处分别设置虚拟图像输出摄像机；将两个所述全景图分别映射到对应的映射球体上，通过各所述映射球体中的虚拟图像输出摄像机分别输出具有视差的虚拟场景图像，两组具有视差的虚拟场景图像结合形成对应现实场景的3D场景图像，通过球面贴图提高资源的利用率。

Description

一种利用球形全景图的3D场景构建方法及系统

技术领域

本发明涉及虚拟场景呈现技术领域，特别是涉及一种利用球形全景图的3D场景构建方法及系统。

背景技术

现有构建3D虚拟场景的方法一般由两种：采用六面体贴图构建3D虚拟场景的方法和传统构建3D虚拟场景的方法。

如图1a-图1c所示，采用六面体贴图构建3D虚拟场景的方法有如下缺陷：

(1)像素错位。由六组图片拼合得到的六面体天空盒有七条拼合边，如图1a和图1b所示，天空盒的拼合边沿出现像素错位、黑边、像素变形等视觉缺陷，这是不可避免的。由于3D显示需要具有视差的左右天空盒重合呈现，这个缺陷被放大2倍，调整难度大，大大增加了图片的优化成本。

(2)场景制作局限性大。由于像素错位的缺陷不可避免，导致场景制作有很大的局限，一般多为场景黑夜、高空、虚化、空旷等简单内容的场景，对于想要构建更真实、清晰、复杂如室内设计、展览设计等3D场景而言，像素错位的缺陷将是很难跨越的鸿沟，这大大限制了构建很多3D场景的可能性。

(3)贴图资源利用率低。如图1c所示，白色部分为有效贴图，黑色部分为无效部分，贴图资源的利用率为50％，这直接导致贴图资源的一半是浪费的，大大降低了贴图资源的利用率。

而传统搭建3D虚拟场景的方式有两种：第一种是通过三维建模来实现；第二种是使用一张全景图片来代替三维模型。第一种方式搭建的3D虚拟场景效果逼真，能够带来很好的沉浸感，但是开发周期较长，开发成本较大，文件较大，渲染计算量较大，导致卡顿，提高了系统延迟。第二种方式系统延迟小，开发成本低，精简了文件大小，这种方法虽然可以弥补第一种方法的缺点，但是，由一张全景图片构建的场景由于拍摄设备及合成算法的误差，导致很严重的畸变现象；由一张全景图片构建的场景是平面的，不会有逼真的三维效果；将一张图片拉伸到三维空间内，清晰度会降低约4倍，粗糙的画质不能给用户带来沉浸感；如果为了提高画面的质量，引入更高清晰度的图片，那么加载较大的图片文件会很容易导致内存溢出，使程序停止运行。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：构建3D场景时间长、成本大、资源的利用率低。

发明内容

本发明实施例提供一种利用球形全景图的3D场景构建方法及系统，可提高资源的利用率。

一方面，本发明实施例提供了一种利用球形全景图的3D场景构建方法，所述3D场景构建方法包括：

根据设定的现实场景，建立虚拟场景；

在所述虚拟场景中设置两个虚拟图像采集摄像机，并设置各所述虚拟图像采集摄像机的工作参数，使各所述虚拟图像采集摄像机将采集的所述虚拟场景的图像分别输出为全景图；

构建两个结构相同的球体，并将两个球体导入至3D引擎中，分别形成映射球体，并在各所述映射球体的球心处分别设置虚拟图像输出摄像机；

将两个所述全景图分别映射到对应的映射球体上，通过各所述映射球体中的虚拟图像输出摄像机分别输出具有视差的虚拟场景图像，两组具有视差的虚拟场景图像结合形成对应现实场景的3D场景图像。

可选的，所述3D场景构建方法还包括：

通过输出单元输出所述3D场景图像。

可选的，所述输出单元为裸眼3D装置和/或虚拟现实VR装置；

当所述输出单元为裸眼3D装置时，各所述映射球体的球面挂载手势脚本响应用户触控交互；

当所述输出设备为VR装置时，各所述虚拟图像输出摄像机与所述VR装置的陀螺仪绑定，用于跟踪人体头部运动。

可选的，所述工作参数包括全景图的长宽比、形状参数及角度参数；

其中，所述设置各所述虚拟图像采集摄像机的工作参数具体包括：设置输出全景图的长宽比为2:1、形状参数为球形、角度参数为360°。

可选的，各所述虚拟图像采集摄像机到零视差面的距离为焦距S₁，两个所述虚拟图像采集摄像机之间的距离为正视差S₂，所述正视差S₂的取值范围为0.4～0.9m。

另一方面，本发明实施例提供了一种利用球形全景图的3D场景构建系统，所述3D场景构建系统包括：

建模单元，用于根据设定的现实场景，建立虚拟场景；

两个虚拟图像采集摄像机，设置在所述虚拟场景中，用于通过设置各所述虚拟图像采集摄像机的工作参数，使各所述虚拟图像采集摄像机将采集的所述虚拟场景的图像分别输出为全景图；

球体构建单元，用于构建两个结构相同的球体，并导入至3D引擎中；

3D引擎，用于根据导入的两个球体分别形成对应的映射球体；

映射单元，用于将两个所述全景图分别映射到对应的映射球体上；

两个虚拟图像输出摄像机，分别设置在各所述映射球体的球心处；用于在两个所述全景图分别映射到对应的映射球体上后，通过各所述虚拟图像输出摄像机分别输出具有视差的虚拟场景图像，两组具有视差的虚拟场景图像结合形成对应现实场景的3D场景图像。

可选的，所述3D场景构建系统还包括：

输出单元，用于输出所述3D场景图像。

可选的，所述输出单元为裸眼3D装置和/或虚拟现实VR装置；

当所述输出单元为VR装置时，各所述虚拟图像输出摄像机与所述VR装置的陀螺仪绑定，用于跟踪人体头部运动。

上述技术方案具有如下有益效果：本发明在虚拟场景中设置两个虚拟图像采集摄像机，通过设置各虚拟图像采集摄像机的工作参数，使各所述虚拟图像采集摄像机将采集的虚拟场景的图像分别输出为全景图，并将两个全景图分别映射到对应的映射球体上，通过各映射球体中的虚拟图像输出摄像机分别输出具有视差的虚拟场景图像，两组具有视差的虚拟场景图像结合形成对应现实场景的3D场景图像，通过球面贴图提高资源的利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a-图1c是六面贴图示意图；

图2a-图2c是裸眼3D的投影情况示意图；

图3是本发明利用球形全景图的3D场景构建方法的流程图；

图4是在虚拟场景中搭建虚拟图像采集摄像机的示意图；

图5a-图5b是各虚拟图像采集摄像机输出的全景图；

图6a-图6b是映射球体结构图；

图7为球体贴图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种利用球形全景图的3D场景构建方法，在虚拟场景中设置两个虚拟图像采集摄像机，通过设置各虚拟图像采集摄像机的工作参数，使各所述虚拟图像采集摄像机将采集的虚拟场景的图像分别输出为全景图，并将两个全景图分别映射到对应的映射球体上，通过各映射球体中的虚拟图像输出摄像机分别输出具有视差的虚拟场景图像，两组具有视差的虚拟场景图像结合形成对应现实场景的3D场景图像，通过球面贴图提高资源的利用率。

裸眼3D：即不需要穿戴任何眼镜设备，通过将左眼和右眼的可视画面分开实现3D画面显示，使观者看到3D图形图像。

VR(Virtual Reality，即虚拟现实，简称VR技术)。VR技术集成了计算机图形技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机生成的高技术模拟系统，内容包括VR游戏、VR影院、VR图库，甚至是VR操作系统。

视差分为：正视差、负视差和零视差(如图2a-图2c所示)：

正视差(Positive Parallax)：将左、右眼影像分别放在萤光幕L与R的位置时，两眼焦点视线将会在萤光幕后交叉，则其立体影像将会呈现在萤光幕后的交叉点上(如图2b所示)。

零视差(Zero Parallax)：将左、右眼影像重叠放在萤光幕L/R的位置时，两眼焦点视线的交叉点会落在萤光幕上，则其影像将会呈现在萤光幕上，而且完全没有立体感(如图2a所示)。

负视差(Negative Parallax)：将左、右眼影像分别放在萤光幕L与R的位置时，两眼焦点视线在萤光幕前会有交叉情况，则其立体影像将会呈现在萤光幕前的交叉点上(如图2c所示)。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图3所示，本发明利用球形全景图的3D场景构建方法包括：

步骤100：根据设定的现实场景，建立虚拟场景；

步骤200：在所述虚拟场景中设置两个虚拟图像采集摄像机，并设置各所述虚拟图像采集摄像机的工作参数，使各所述虚拟图像采集摄像机将采集的所述虚拟场景的图像分别输出为全景图；

步骤300：构建两个结构相同的球体，并将两个球体导入至3D引擎中，分别形成映射球体，并在各所述映射球体的球心处分别设置虚拟图像输出摄像机；

步骤400：将两个所述全景图分别映射到对应的映射球体上，通过各所述映射球体中的虚拟图像输出摄像机分别输出具有视差的虚拟场景图像，两组具有视差的虚拟场景图像结合形成对应现实场景的3D场景图像；

步骤500：通过输出单元输出所述3D场景图像。

其中，在步骤100中，可用模型软件建模和布光，在硬件条件允许的情况下，不限高模和低模、贴图大小和面数多少，可以追求更高的清晰度、更精细复杂的场景、更高的真实还原度，建立与设定的现实场景对应的虚拟场景。

在步骤200中，在所述虚拟场景中搭建两个全景的虚拟图像采集摄像机(L₁和R₁)组成立体摄像机组(如图4所示)，所述虚拟图像采集摄像机至零视差面的距离为焦距用S₁表示(焦距为主观值，根据制作需要而产生的数值，表示场景中距离摄像机S₁处的物体为零视差显示，一般为摄像机到场景最远距离的一半)，两个所述虚拟图像采集摄像机之间的距离为正视差S₂。不同的场景构建S₁和S₂都会不一样，在本实施例中，所述正视差S₂的取值范围为0.4～0.9m。当S₂小于0.4m时，人眼识别不出场景的立体效果；当S₂大于0.9m时，超出人眼识别立体的接受程度。

在步骤300中，所述工作参数包括全景图的长宽比、形状参数及角度参数；其中，所述设置各所述虚拟图像采集摄像机的工作参数具体包括：设置输出全景图的长宽比为2:1，形状参数为球形、角度参数为360°，从而确保所述虚拟图像采集摄像机输出的为全景图(如图5a和图5b所示)，得到拼接的球体。此外，为了提高拼接效果，设定的现实场景一般为空旷区域，便于调整。

在步骤300中，可在建模软件中构建两个结构相同的球体(如图6a和图6b所示)，然后导入3D引擎中，分别为映射球体L₂和映射球体R₂。

其中，所述映射球体L₂和映射球体R₂的半径OA是所述焦距S₁的设定倍数。在本实施例中，所述设定倍数可为100。两个为了达到更好的拼接效果，需要增加靠近极点A、极点B的面数。并在各所述映射球体的球心处分别设置虚拟图像输出摄像机L₃和R₃。虚拟图像输出摄像机L₃和R₃之间的距离S的取值范围为0.4～0.9m。

在步骤500中，所述输出单元可为裸眼3D装置和/或虚拟现实VR装置；当所述输出单元为裸眼3D装置时，各所述映射球体的球面挂载手势脚本响应用户触控交互；当所述输出设备为VR装置时，各所述虚拟图像输出摄像机与所述VR装置的陀螺仪绑定，用于跟踪人体头部运动。

本发明利用球形全景图的3D场景构建方法的拼合边为AB(如图6a中虚线所示)，调整方便，优化成本小。相对于采用六面体贴图构建3D虚拟场景的方法(如图1c所示，六面体贴图利用率为50％)，本发明的球体贴图利用率为100％(如图7所示)。在相同分辨率的条件下，六面体贴图和本发明的球体贴图的像素比为4:3，本发明的球体贴图比六面体贴图多25％的像素，显示更加清晰。此外，本发明的球体方案适用于构建更多的类型的3D场景。通过本发明利用球形全景图的3D场景构建方法可以很容易构建出高精度3D场景，大大提升了构建高精度3D场景的工作效率。

此外，通过两组具有视差的全景图片制作出具有视差的两个全景球组，并分别映射到映射球体的虚拟图像输出摄像机，搭建了两个具有细微差别的二维空间全景来模拟双眼看到的影像，用户可以通过播放设备看到较好立体效果的全景图像，大大降低了构建场景立体全景图的时间和成本，并且大大减小了应用的文件大小，减小了图像渲染带来的功耗，从一定程度上提高了设备的续航能力，并且图片易于更换，大大提高了应用的可扩展性，易于运营维护。

本发明还提供一种利用球形全景图的3D场景构建系统，可提高资源的利用率。具体地，本发明利用球形全景图的3D场景构建系统包括建模单元、两个虚拟图像采集摄像机、球体构建单元、映射单元、两个虚拟图像输出摄像机及输出单元。

所述建模单元根据设定的现实场景，建立虚拟场景；各所述虚拟图像采集摄像机设置在所述虚拟场景中，通过设置各所述虚拟图像采集摄像机的工作参数，使各所述虚拟图像采集摄像机将采集的所述虚拟场景的图像分别输出为全景图；所述球体构建单元构建两个结构相同的球体，并导入至3D引擎中；所述3D引擎根据导入的两个球体分别形成对应的映射球体；所述映射单元将两个所述全景图分别映射到对应的映射球体上；各所述虚拟图像输出摄像机，分别设置在各所述映射球体的球心处；用于在两个所述全景图分别映射到对应的映射球体上后，通过各所述虚拟图像输出摄像机分别输出具有视差的虚拟场景图像，两组具有视差的虚拟场景图像结合形成对应现实场景的3D场景图像。所述输出单元输出所述3D场景图像。

具体的，所述输出单元为裸眼3D装置和/或虚拟现实VR装置；当所述输出单元为裸眼3D装置时，各所述映射球体的球面挂载手势脚本响应用户触控交互；当所述输出单元为VR装置时，各所述虚拟图像输出摄像机与所述VR装置的陀螺仪绑定，用于跟踪人体头部运动。

在所述虚拟场景中搭建两个全景的虚拟图像采集摄像机(L₁和R₁)组成立体摄像机组(如图4所示)，所述虚拟图像采集摄像机至零视差面的距离为焦距用S₁表示(焦距为主观值，根据制作需要而产生的数值，表示场景中距离摄像机S₁处的物体为零视差显示，一般为摄像机到场景最远距离的一半)，两个所述虚拟图像采集摄像机之间的距离为正视差S₂。不同的场景构建S₁和S₂都会不一样，在本实施例中，所述正视差S₂的取值范围为0.4～0.9m。当S₂小于0.4m时，人眼识别不出场景的立体效果；当S₂大于0.9m时，超出人眼识别立体的接受程度。

所述工作参数包括全景图的长宽比、形状参数及角度参数；其中，所述设置各所述虚拟图像采集摄像机的工作参数具体包括：设置输出全景图的长宽比为2:1、形状参数为球形、角度参数为360°，从而确保所述虚拟图像采集摄像机输出的为全景图(如图5a和图5b所示)，得到拼接的球体。此外，为了提高拼接效果，设定的现实场景一般为空旷区域，便于调整。

相对于现有技术，本发明利用球形全景图的3D场景构建系统与上述利用球形全景图的3D场景构建方法的有益效果相同，在此不再赘述。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种利用球形全景图的3D场景构建方法，其特征在于，所述3D场景构建方法包括：

根据设定的现实场景，建立虚拟场景；

2.根据权利要求1所述的利用球形全景图的3D场景构建方法，其特征在于，所述3D场景构建方法还包括：

通过输出单元输出所述3D场景图像。

3.根据权利要求2所述的利用球形全景图的3D场景构建方法，其特征在于，所述输出单元为裸眼3D装置和/或虚拟现实VR装置；

4.根据权利要求1所述的利用球形全景图的3D场景构建方法，其特征在于，所述工作参数包括全景图的长宽比、形状参数及角度参数；

5.根据权利要求1所述的利用球形全景图的3D场景构建方法，其特征在于，各所述虚拟图像采集摄像机到零视差面的距离为焦距S₁，两个所述虚拟图像采集摄像机之间的距离为正视差S₂，所述正视差S₂的取值范围为0.4～0.9m。

6.一种利用球形全景图的3D场景构建系统，其特征在于，所述3D场景构建系统包括：

建模单元，用于根据设定的现实场景，建立虚拟场景；

7.根据权利要求6所述的利用球形全景图的3D场景构建系统，其特征在于，所述3D场景构建系统还包括：

输出单元，用于输出所述3D场景图像。

8.根据权利要求7所述的利用球形全景图的3D场景构建系统，其特征在于，所述输出单元为裸眼3D装置和/或虚拟现实VR装置；

9.根据权利要求6所述的利用球形全景图的3D场景构建系统，其特征在于，所述工作参数包括全景图的长宽比、形状参数及角度参数；

10.根据权利要求6所述的利用球形全景图的3D场景构建系统，其特征在于，各所述虚拟图像采集摄像机到零视差面的距离为焦距S₁，两个所述虚拟图像采集摄像机之间的距离为正视差S₂，所述正视差S₂的取值范围为0.4～0.9m。