CN116320364A - 一种基于多层显示的虚拟现实拍摄方法及显示方法 - Google Patents

Abstract

本发明涉及一种基于多层显示的虚拟现实拍摄方法及显示方法，对于任意一个拍摄场景，获取虚拟场景画面并显示再显示窗口中，标定世界坐标系和拍摄角度，使得虚拟摄像机和多个真实摄像机再世界坐标系中的拍摄视角相同，设置虚拟摄像机和多个真实摄像机所采集画面的层次，控制同步拍摄；基于同步采集的画面及所设置的层次，对同步采集的画面进行融合，得到融合后的画面。基于上述基于多层显示的虚拟现实拍摄方法，由于是基于多层显示的层次对多层画面进行拍摄，使得融合后的画面更适用于多层显示，由于在同视角下，得到虚拟场景画面和多个真实场景画面，且同步拍摄，使得统一坐标域和时域后得到的融合画面的协调性更好，真实感更强。

Description

一种基于多层显示的虚拟现实拍摄方法及显示方法

技术领域

本发明涉及虚拟现实拍摄领域，具体涉及一种基于多层显示的虚拟现实拍摄方法及显示方法。

背景技术

多层显示器如多层液晶显示器（MLD），是将多层LCD单元按照前后顺序进行放置，组合成一个显示器，这种显示器可以让人们感受到各层图像间原本难以可视化的相互关系，基于多层显示器，可以同时看到两层以上的图像。图像一能够悬停在图像二的上方，如果前面的图像一挡住了其后面的图像二，则观看者只需移动一下头部就可绕过该物体，从而看到被挡住物体的绝大部分。类似于在现实生活中，我们与物体二之间放置了一个物体一，在我们的视角下，物体一挡住了物体二的一部分，我们只需要移动一下头部转换一下视角就可以绕过该物体。一方面，多层显示器的发展，越来越接近于人体的现实感受，这也对适合多层显示的画面的制作提出了要求。另一方面，随着影视产业的发展，多层次展示影视画面有了越来越多的需求。

相关的虚拟影视制作中，对于多层画面往往是前期先各自独立拍摄后，后期再进行融合处理，后期处理复杂度高，且难度较大，由于独立场景拍摄的各种独立物体所处独立环境不同的因素，也容易出现穿帮现象。

发明内容

本申请要解决的技术问题是提供一种基于多层显示的虚拟现实拍摄方法及显示方法，具有可以适用于多层显示，且融合的多层显示画面协调性更好的特点。

第一方面，一种实施例中提供一种基于多层显示的虚拟现实拍摄方法，适用于多层显示画面的融合，应用于基于多层显示的虚拟现实拍摄系统，所述虚拟现实拍摄系统包括虚拟拍摄组件和多个真实拍摄组件；所述虚拟拍摄组件包括智能终端，所述智能终端包括显示模块，所述显示模块用于显示显示窗口，所述显示窗口中设置有虚拟摄像机；对于任意一个真实拍摄组件，与智能终端通信连接，所述真实拍摄组件包括真实摄像机；所述拍摄方法包括：

对于任意一个拍摄场景，

获取虚拟场景画面并显示在显示窗口中；

标定世界坐标系，使得虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同；

标定拍摄角度，使得虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同；

设置虚拟摄像机和多个真实摄像机所采集画面的层次；

控制虚拟摄像机和多个真实摄像机同时开始拍摄；

控制虚拟摄像机和多个真实摄像机的位置和/或拍摄参数在世界坐标系中以相同的位置和/或拍摄参数同步拍摄，所述拍摄参数包括拍摄角度；

基于虚拟摄像机和多个真实摄像机同步采集的画面及所设置的采集画面的层次，对同步采集的多个画面进行融合，得到该一个拍摄场景的融合画面。

一种具体实施例中，所述拍摄方法还包括：

融合多个拍摄场景的融合画面，得到视频数据，设置视频数据中的每一帧画面的显示层次索引，得到带有显示层次索引的视频数据。

一种具体实施例中，所述的控制虚拟摄像机和多个真实摄像机同时开始拍摄，包括：

获取虚拟摄像机开始拍摄的控制信号，并基于该控制信号，控制虚拟摄像机和多个真实摄像机同时开始拍摄。

一种具体实施例中，所述的控制虚拟摄像机和多个真实摄像机的位置和/或拍摄参数在世界坐标系中以相同的位置和/或拍摄参数同步拍摄，包括：

获取虚拟摄像机的位置和/或拍摄参数；

基于所述虚拟摄像机的位置和/或拍摄参数，控制多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数。

一种具体实施例中，所述的获取虚拟摄像机的位置和/或拍摄参数，包括：

获取虚拟摄像机的位置变化和/或拍摄角度变化控制信号，计算得到虚拟摄像机下一步进点的位置矢量和/或角度矢量；

所述的基于所述虚拟摄像机的位置和/或拍摄参数，控制多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数，包括：

基于计算得到的虚拟摄像机下一步进点的位置矢量和/或角度矢量，控制虚拟摄像机下一刻的位置变化轨迹和/或摄像角度变化轨迹，并同步控制多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹。

一种具体实施例中，所述显示窗口包括第一显示窗口和多个第二显示窗口，所述虚拟摄像机包括设置在第一显示窗口中的第一虚拟摄像机和设置在多个第二显示窗口中一一对应的多个第二虚拟摄像机；所述的标定世界坐标系，使得虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同，包括：

获取虚拟场景画面并显示在第一显示窗口中；

获取多个真实摄像机采集的真实场景画面并一一对应显示在多个第二显示窗口中；

基于某一第二虚拟摄像机的位置，标定世界坐标系，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同；

所述的标定拍摄角度，使得虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同，包括：

基于某一第二虚拟摄像机的拍摄角度，标定拍摄角度，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同。

一种具体实施例中，所述的控制虚拟摄像机和多个真实摄像机同时开始拍摄，包括：

获取某一第二虚拟摄像机开始拍摄的控制信号，并基于该控制信号，控制第一虚拟摄像机和多个真实摄像机同时开始拍摄。

所述的控制虚拟摄像机和多个真实摄像机的位置和/或拍摄参数在世界坐标系中以相同的位置和/或拍摄参数同步拍摄，所述拍摄参数包括拍摄角度，包括：

获取某一第二虚拟摄像机的位置和/或拍摄参数；

基于获取的某一第二虚拟摄像机的位置和/或拍摄参数，控制第一虚拟摄像机和多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数。

一种具体实施例中，所述的获取某一第二虚拟摄像机的位置和/或拍摄参数，包括：

获取某一第二虚拟摄像机的位置变化和/或拍摄角度变化控制信号，计算得到该某一第二虚拟摄像机下一步进点的位置矢量和/或角度矢量；

所述的基于获取的某一第二虚拟摄像机的位置和/或拍摄参数，控制第一虚拟摄像机和多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数，包括：

基于计算得到的某一第二虚拟摄像机下一步进点的位置矢量和/或角度矢量，控制该某一第二虚拟摄像机下一刻的位置变化轨迹和/或摄像角度变化轨迹，并同步控制第一虚拟摄像机和多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹。

第二方面，一种实施例中提供一种基于多层显示的虚拟现实画面显示方法，应用于多层显示装置，显示方法包括：获取视频数据，基于视频数据中的显示层次索引进行多层显示；所述视频数据基于上述任意一拍摄方法拍摄得到。

本发明的有益效果是：

基于上述基于多层显示的虚拟现实拍摄方法，由于是基于多层显示的层次对多层画面进行拍摄，使得融合后的画面更适用于多层显示，由于在同视角下，得到虚拟场景画面和多个真实场景画面，且同步拍摄，使得统一坐标域和时域后得到的融合画面的协调性更好，真实感更强。

附图说明

图1是本申请一种实施例的虚拟现实拍摄系统结构示意图；

图2是本申请一种实施例的基于多层显示的虚拟现实拍摄方法流程示意图；

图3是本申请图2中步骤S60的一种实施例的方法流程示意图；

图4是本申请一种实施例的显示窗口显示结构示意图；

图5是本申请图2中步骤S20的一种实施例的方法流程示意图；

图6是本申请图2中步骤S60的一种实施例的方法流程示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

为便于对本申请的发明构思进行说明，以下对多层显示和虚拟现实拍摄技术进行简要说明。

多层显示器如多层液晶显示器（MLD），是将多层LCD单元按照前后顺序进行放置，组合成一个显示器，这种显示器可以让人们感受到各层图像间原本难以可视化的相互关系，基于多层显示器，可以同时看到两层以上的图像。

采用两块互相重叠的独立显示平板时，每一组像素只用于显示一层显示效果，两组像素间的距离可以产生真实的视差，从而很方便的将两个信息场分开。MLD区别于各种3D显示器的是，MLD中存在真正的深度分量，而且前后LCD元件之间确实存在物理距离，这样，人类的大脑就可以即刻感受出距离信息。相关技术中，对于MLD的多层显示效果，多应用于静态画面，且多是通过后期的分层显示处理后应用到MLD中进行分层显示的。

随着影视制作的发展，人们对立体视觉感官的需求越来越高，如果基于多层显示需求实现影视画面的拍摄和制作，也成为亟待解决的问题。

基于上述问题，本申请的一种实施例中提供了一种基于多层显示的虚拟现实拍摄方法，该虚拟现实拍摄方法适用于多层显示画面的融合，可以应用于电影拍摄、小视频制作、演播厅录制、虚拟现实直播等。该拍摄方法可以应用于多层显示的虚拟现实拍摄系统，请参考图1，该虚拟现实拍摄系统包括虚拟拍摄组件01和多个真实拍摄组件02，其中，虚拟拍摄组件01也可以包括有多个，虚拟拍摄组件01包括智能终端，该智能终端包括显示模块011和处理器012。显示模块011用于显示显示窗口，显示窗口中设置有虚拟摄像机，对于任意一个真实拍摄组件02，与智能终端通信连接，且真实拍摄组件02包括真实摄像机。其中，智能终端可以是计算机、手机、平板等，具备信号处理能力，可以配置虚拟引擎。智能终端与真实拍摄组件通过有线或无线的方式进行通信连接。对于真实摄像机，是指图像采集设备，可以是CCD相机也可以是CMOS相机，可以是专业的拍摄设备，也可以是轻便简单的手机、平板等带有摄像头的移动智能终端，也可以是可穿戴的带有图像采集功能的拍摄设备。

其中，通信连接方式可以是有线通信也可以是无线通信。对于任意一个真实拍摄组件，包括真实摄像机，还可以包括承载真实摄像机进行位置和/或拍摄角度变化的承载部件。真实摄像机用于对真实场景画面进行拍摄。一些实施例中，承载部件可以是装载真实摄像机的电动滑台，电动云台中，通过电动滑台和电动云台控制真实摄像机的位置和/或拍摄角度的变化。一些实施例中，承载部件可以是装载真实摄像机的无人机，在无人机上设置云台，通过对无人机和无人机上的云台的控制，实现真实摄像机的位置和/或拍摄角度的变化。每个真实拍摄组件可以单独在某个拍摄范围对某真实拍摄对象进行独立拍摄。

本申请中，基于一个虚拟场景和多个真实场景或对象进行拍摄，例如，如果存在需要不同层次显示的多个真实对象，一个是真实对象是人物对象一，一个真实对象是真实场景中的物体对象，还有可能存在人物对象二。需要融合的虚拟显示画面从近到远的层次以次可以是人物对象二、物体对象、人物对象二和虚拟场景。

基于上述虚拟现实拍摄系统，请参考图2，拍摄方法包括：

对于任意一个拍摄场景，包括：

步骤S10，获取虚拟场景画面并显示在显示窗口中。

在显示窗口中可以显示需要进行融合的虚拟场景画面，这样，显示窗口中设置的虚拟摄像机就可以对显示的虚拟场景画面进行拍摄。并且可以基于显示窗口中设置的虚拟摄像机的运动轨迹和拍摄视角，动态显示虚拟摄像机拍摄视角下的虚拟场景画面。

步骤S20，标定世界坐标系，使得虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同。

一种实施例中，基于某一真实摄像机的位置，标定世界坐标系，使得该真实摄像机和虚拟摄像机以及其它真实摄像机的在世界坐标系中的位置一致。

基于虚拟现实拍摄需求，需要确定拍摄范围与拍摄角度的一致性。调整真实摄像机初始所在的位置和拍摄角度，并基于真实摄像机在显示窗口中对应的世界坐标，根据世界坐标在显示窗口中设置虚拟摄像机，使得虚拟摄像机和真实摄像机在世界坐标系中的位置相同。以此，统一世界坐标系，保证虚拟摄像机和真实摄像机的初始拍摄位置相同。

需要说明的是，本申请中世界坐标系为三维以上的世界坐标系，位置是指三维以上的空间位置。

步骤S30，标定拍摄角度，使得虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同。

一种实施例中，基于某一真实摄像机的拍摄角度，标定拍摄角度，使得该真实摄像机和虚拟摄像机以及其它真实摄像机的在世界坐标系中的拍摄角度一致。该某一真实摄像机可以与步骤S20实施例中的某一真实摄像机为同一个真实摄像机，也可以是不同的真实摄像机。

在调整好真实摄像机初始拍摄角度的情况下，基于视角一致性的需求，基于真实摄像机的拍摄角度，设置显示窗口中虚拟摄像机的拍摄角度，使得虚拟摄像机和真实摄像机的拍摄角度相同。

可以理解的，拍摄位置和拍摄角度决定了拍摄的视角，在世界坐标系中，同样位置，同样拍摄角度的多个摄像机拍摄的视角相同。相同的场景中，相同的视角下，拍摄到的范围及画面相同。以此，确定了虚拟摄像机和真实摄像机的初始拍摄视角相同。因此，虚拟摄像机和多个真实摄像机所采集到的画面在空间位置上是一致对应的。

步骤S40，设置虚拟摄像机和多个真实摄像机所采集画面的层次。

对于每个拍摄场景，同一个拍摄采集对象，所处的要融合的画面的层次可能是不一样的，例如，对于要拍摄采集的人物对象一，在当前拍摄场景中的所处的层次为第三层，而下一拍摄场景中，所处的层次就可能变为第二层。因此，我们需要对每一个拍摄场景设置虚拟摄像机和多个真实摄像机所采集画面的层次，当然，也可以固定摄像机采集图像的层次不变，在每一个拍摄场景中，改变摄像机的拍摄采集对象，这样，虽然不需要对每个拍摄场景均重新设置一次虚拟摄像机和多个真实摄像机所采集画面的层次，但也同样设置有虚拟摄像机和多个真实摄像机所采集画面的层次，同样属于步骤S40的保护范围之内。另外，对于虚拟场景，一般情况下，所处的画面层次一直都是属于最底层，因此，也可以默认设置虚拟场景为最底层，就不需要对每一个场景画面都对虚拟摄像机采集的画面层次进行设置，同样属于步骤S40的保护范围之内。当然也可能需要对虚拟场景画面中部分对象进行抠取后单独作为一层。

需要说明的是，在本申请中，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整，例如，可以理解地，上述步骤S20到S40的步骤顺序是可以根据需求进行调换的，并不影响本申请方案整体发明构思的实施。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序。

步骤S50，控制虚拟摄像机和多个真实摄像机同时开始拍摄。

一种实施例中，步骤S50包括：获取虚拟摄像机开始拍摄的控制信号，并基于该控制信号，控制虚拟摄像机和多个真实摄像机同时开始拍摄。

一种实施例中，步骤S50也可以包括：获取某一真实摄像机开始拍摄的控制信号，并基于该控制信号，控制虚拟摄像机和其它真实摄像机同时开始拍摄。虚拟显示拍摄系统还包括控制模块，用于控制虚拟摄像机的位置和拍摄参数。一种实施例中，控制模块包括显示窗口所在的显示模块的触控单元，通过触控单元控制虚拟摄像机在世界坐标系中的位置和拍摄参数。一种实施例中，控制模块包括与智能终端通信连接的操作控制部件，通过该操作控制部件控制虚拟摄像机在世界坐标系中的位置和拍摄参数。该操作控制部件为与智能终端外接的部件，与第一智能终端有线或无线通信，可以是操作手柄，也可以是其他便于改变虚拟摄像机的位置和拍摄参数的操作控制部件，甚至可以为一个智能操作控制部件。

在本申请的实施例中，基于控制信号控制同时开始拍摄，使得虚拟摄像机和多个真实摄像机同步的效果更好。

一些实施例中，步骤S50中，基于开始拍摄的控制信号及信号传输延迟，控制虚拟摄像机和多个真实摄像机同时开始拍摄。

可以理解地，同时和同步均不能绝对地达到同时或同步，只能是逼近同时和同步，使得误差尽量小。

步骤S60，控制虚拟摄像机和多个真实摄像机的位置和/或拍摄参数在世界坐标系中以相同的位置和/或拍摄参数同步拍摄，拍摄参数包括拍摄角度。

开始拍摄时，控制虚拟摄像机的拍摄位置和/或拍摄参数。一些实施例中，可以仅控制虚拟摄像机的拍摄位置改变，如基于拍摄角度所在视角线上的靠近拍摄对象或远离拍摄对象上的移动（相机拍摄的姿态角度不变，沿拍摄角度线靠近或远离拍摄对象），也可以仅控制虚拟摄像机拍摄参数改变，其中拍摄参数包括拍摄角度、焦距和拍摄模式等可以对摄像机进行姿态调整和内置参数调节的参数。也可以既控制虚拟摄像机的拍摄位置改变，又控制拍摄参数改变。

一种实施例中，请参考图3，步骤S60包括：

步骤S6011，获取虚拟摄像机的位置和/或拍摄参数。

一种实施例中，步骤S6011包括：获取虚拟摄像机的位置变化和/或拍摄角度变化控制信号，计算得到虚拟摄像机下一步进点的位置矢量和/或角度矢量。

为提高虚拟摄像机和多个真实摄像机在时域上的一致性，通过以上控制信号，可以基于获取的虚拟摄像机的位置和/或拍摄角度变化的控制信号，计算得到虚拟摄像机下一步进点的位置矢量和/或角度矢量，从而得到虚拟摄像机的下一目标位置和/或姿态，为提高实时性，降低延迟，可以以ms为单位，如5ms为一个步进时间单位，计算得到虚拟摄像机下一5ms步进的位置矢量和/或角度矢量。由于获取的是虚拟摄像机的拍摄位置和拍摄参数，从而可以在虚拟摄像机的拍摄位置和拍摄参数改变之前，就从控制信号中得到虚拟摄像机的目标拍摄位置和/或拍摄参数。

另外，不仅仅是位置矢量和/或角度矢量，通过控制信号，同样可以获取到虚拟摄像机焦距和拍摄模式等可以对摄像机进行内置参数调节的参数，以期同步焦距和拍摄模式等摄像机的内置参数的设置。

步骤S6012，基于虚拟摄像机的位置和/或拍摄参数，控制多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数。

一种实施例中，步骤S6012包括：基于计算得到的虚拟摄像机下一步进点的位置矢量和/或角度矢量，控制虚拟摄像机下一刻的位置变化轨迹和/或摄像角度变化轨迹，并同步控制多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹。

本申请的一种实施例中，基于虚拟摄像机的控制信号中对虚拟摄像机的内置参数的设置，同步设置多个真实摄像机的内置参数。

基于计算得到的虚拟摄像机下一步进点的位置矢量和/或角度矢量，控制虚拟摄像机下一刻的位置变化轨迹和/或摄像角度变化轨迹，同步控制多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹，提高了虚拟摄像机和多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹的同步性。

步骤S70，基于虚拟摄像机和多个真实摄像机同步采集的画面及所设置的采集画面的层次，对同步采集的多个画面进行融合，得到该一个拍摄场景的融合画面。

可以理解地，为了更好地进行显示，可以对任意一个拍摄场景中的每个采集对象进行单独同步拍摄。当虚拟摄像机采集的虚拟场景画面为背景画面，即最底层画面时，对于真实摄像机拍摄的画面，需要对画面中需要呈现的对象进行抠取，例如，抠取人物对象二作为第一层画面，抠取实物对象作为第二层画面，抠取人物对象一作为第三层画面。对同步采集的第一层画面、第二层画面、第三层画面和底层背景画面进行融合，得到该一个拍摄场景的融合画面形成一个拍摄场景的视频数据，则可以基于该视频数据在多层显示屏幕上进行显示。

对于步骤S70与步骤S10到步骤S60，可以在同一个智能终端上完成，也可以在不同的智能终端上完成，均在本申请的保护范围之内。

基于上述基于多层显示的虚拟现实拍摄方法，由于是基于多层显示的层次对多层画面进行拍摄，使得融合后的画面更适用于多层显示，由于在同视角下，得到虚拟场景画面和多个真实场景画面，且同步拍摄，使得统一坐标域和时域后得到的融合画面的协调性更好，真实感更强。

一种实施例中，请参考图4，显示窗口包括第一显示窗口0131和多个第二显示窗口0132，虚拟摄像机包括设置在第一显示窗口中的第一虚拟摄像机和设置在多个第二显示窗口中一一对应的多个第二虚拟摄像机。对于第一显示窗口0131和多个第二显示窗口0132，可以进行分屏显示，也可以进行悬浮显示，可以一个显示窗口悬浮在另一个显示窗口上，也可均进行悬浮显示。

一种实施例中，第一显示窗口0131用于显示需要进行虚拟现实融合的虚拟场景画面，并且可以基于第一显示窗口0131中设置的第一虚拟摄像机的运动轨迹和拍摄视角，动态显示第一虚拟摄像机拍摄视角下的虚拟场景画面。第二显示窗口0132用于显示真实摄像机采集的真实场景画面，这样，通过第二显示窗口0132，可以很清晰地观察到真实场景的画面。多个第二显示窗口与多个真实摄像机一一对应，第二显示窗口一用于显示真实摄像机一采集的真实场景画面，第二显示窗口二用于显示真实摄像机二采集的真实场景画面。可以理解地，这里第二显示窗口中显示的真实场景画面可以是真实摄像机采集的真实场景画面的全部画面，也可以是一部分画面，例如从拍摄的真实场景画面中抠取的真实对象（如人物对象），也可以增加一些画面内容，还可以是对作为关注焦点的演员和/物理性的物体进行处理后进行显示，例如，只是显示演员的轮廓或主干骨架。重点将关注焦点对象显示在第二显示窗口中，则更有利于排除其他因素的干扰，观察拍摄视角和拍摄效果。多个第二显示窗口的设置，可以同时查看多个真实拍摄场景，有利于同时查看多个真实拍摄场景的拍摄效果，如果存在问题，可以及时进行调整，提高拍摄效率。

基于上述内容，请参考图5，步骤S20包括：

步骤S201，获取虚拟场景画面并显示在第一显示窗口0131中。

步骤S202，获取多个真实摄像机采集的真实场景画面并一一对应显示在多个第二显示窗口0132中。

步骤S203，基于某一真实摄像机的位置，标定世界坐标系，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同。

由于第二显示窗口0132中显示的真实摄像机拍摄的真实场景画面，我们可以基于显示窗口中看到的真实场景画面，去设置对应的第二虚拟摄像机的位置，并基于该真实摄像机的位置去标定世界坐标系，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的初始位置相同。如此，也可以设置基于显示窗口看到的真实场景画面的较佳拍摄位置，得到较佳的视角的拍摄采集画面。多个第二显示窗口0132的设置，也使我们可以在每一个拍摄场景中基于关注对象，调整标定世界坐标系的基础摄像机，同时，可以同步观察其它显示窗口中采集的画面，去适度调整拍摄位置。

标定拍摄角度，使得虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同，包括：

基于某一真实摄像机的拍摄角度，标定拍摄角度，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同。

同样的，可以基于显示窗口中看到的真实场景画面，去设置对应的第二虚拟摄像机的拍摄角度，并基于该真实摄像机的拍摄角度去标定拍摄角度，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的初始拍摄角度相同。因此，第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机拍摄的画面在空间位置上是一致对应的。如此，也可以设置基于显示窗口看到的真实场景画面的较佳拍摄角度，得到较佳的视角的拍摄采集画面。多个第二显示窗口0132的设置，也使我们可以在每一个拍摄场景中基于关注对象，调整标定世界坐标系的基础摄像机，同时，可以同步观察其它显示窗口中采集的画面，去适度调整拍摄角度。

可以理解的，同一个拍摄场景中，标定世界坐标系和标定拍摄角度所基于的真实摄像机，可以是同一个真实摄像机，也可以不同的真实摄像机。

一种实施例中，控制虚拟摄像机和多个真实摄像机同时开始拍摄，包括：获取某一第二虚拟摄像机开始拍摄的控制信号，并基于该控制信号，控制第一虚拟摄像机和多个真实摄像机同时开始拍摄。

一种实施例中，请参考图6，步骤S60包括：

步骤S6021，获取某一第二虚拟摄像机的位置和/或拍摄参数。

一种实施例中，步骤S6021包括，获取某一第二虚拟摄像机的位置变化和/或拍摄角度变化控制信号，计算得到该某一虚拟摄像机下一步进点的位置矢量和/或角度矢量。

获取某一第二虚拟摄像机的位置和/或拍摄参数，可以基于当前场景画面要专注的对象为主来调整拍摄的位置和/或拍摄参数，在下一场景画面，则可以重新根据要关注的对象为主来调整拍摄的位置和/或拍摄参数，提高了拍摄的便捷性，从而提高了拍摄效率。

步骤S6022，基于获取的某一第二虚拟摄像机的位置和/或拍摄参数，控制第一虚拟摄像机和多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数。

一种实施例中，步骤S6022包括，基于计算得到的某一第二虚拟摄像机下一步进点的位置矢量和/或角度矢量，控制该某一第二虚拟摄像机下一刻的位置变化轨迹和/或摄像角度变化轨迹，并同步控制第一虚拟摄像机和多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹。

本申请的一种实施例中，基于上述某一第二虚拟摄像机的控制信号中对第二虚拟摄像机的内置参数的设置，同步设置多个真实摄像机和第一虚拟摄像机的内置参数。

可以理解地，由于第二虚拟摄像机所属的第二显示窗口显示的是真实摄像机拍摄的画面，而我们又是基于第二虚拟摄像机的位置和拍摄参数来控制真实摄像机的位置和拍摄参数的，对第二虚拟摄像机的控制下得到的第二显示窗口的显示画面是否为想要的理想画面，则可以直接通过观察第二显示画面得到，从而工作人员可以更方便地聚焦于真实场景中的关注焦点，直观地感受拍摄效果，也提高了拍摄的便捷性。对于工作人员，更容易去控制真实摄像机的拍摄位置和拍摄参数，也更容易去控制拍摄效果。

在同步控制真实摄像机的位置变化轨迹和/或摄像角度变化轨迹的同时，同步控制第一虚拟摄像机的位置变化轨迹和/或摄像角度变化轨迹，提高了所有摄像机在时域上的一致性。

由于是基于对第二虚拟摄像机的控制，控制真实摄像机和第一虚拟摄像机同步拍摄，并同步更新位置和拍摄参数，而非通过第一虚拟摄像机去控制真实摄像机，因此，提高了虚拟场景拍摄和真实场景拍摄的同步性，从而可以提高合成画面的真实感。

可以理解地，由于第二虚拟摄像机的目的是为了去同步控制真实摄像机和第一虚拟摄像机，因此，一些实施例中，对于第二虚拟摄像机，并不需要真实地输出拍摄画面，只需要获取到对第二虚拟摄像机的控制参数即可。

一种实施例中，基于多层显示的虚拟现实拍摄方法还包括，融合多个拍摄场景的融合画面，得到视频数据，设置视频数据中的每一帧画面的显示层次索引，得到带有显示层次索引的视频数据。通过设置显示层次索引，便于后期分层显示，无需播放时再去设置显示层次，同时，用户也可以根据显示屏的层数来设置默认的显示层次。例如，显示层次索引可以有4个，分别一一对应于4个显示层，但如果用户的显示屏只有两层，则可以设置除底层显示在第二层显示屏中外，其他层均显示在第一层显示屏中，如果用户的显示屏有三层，则可以设置第一层画面显示在第一层显示屏中，底层画面显示在第三屏显示屏中，其他层显示在第二层显示屏中。

本申请的一种实施例中提供一种基于多层显示的虚拟现实画面显示方法，应用于多层显示装置，显示方法包括：获取视频数据，基于视频数据中的显示层次索引进行多层显示；该视频数据基于上述任意一拍摄方法拍摄得到。

该显示方法可以适用于虚拟显示直播，也可以适用于录制后的显示，显示是获取视频数据流或视频数据源，基于多层显示装置进行显示。同时，对于用户，可以基于索引选择显示屏的层次所要对应显示的索引层画面。

本申请的一种实施例中提供了一种计算机可读存储介质，包括处理器，处理器上存储有程序，存储的程序包括能够被处理器加载并处理上述任意一实施例中的虚拟现实拍摄方法。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于多层显示的虚拟现实拍摄方法，其特征在于，拍摄方法适用于多层显示画面的融合，应用于基于多层显示的虚拟现实拍摄系统，所述虚拟现实拍摄系统包括虚拟拍摄组件和多个真实拍摄组件；所述虚拟拍摄组件包括智能终端，所述智能终端包括显示模块，所述显示模块用于显示显示窗口，所述显示窗口中设置有虚拟摄像机；对于任意一个真实拍摄组件，与智能终端通信连接，所述真实拍摄组件包括真实摄像机；所述拍摄方法包括：

对于任意一个拍摄场景，

获取虚拟场景画面并显示在显示窗口中；

标定世界坐标系，使得虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同；

标定拍摄角度，使得虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同；

设置虚拟摄像机和多个真实摄像机所采集画面的层次；

控制虚拟摄像机和多个真实摄像机同时开始拍摄；

控制虚拟摄像机和多个真实摄像机的位置和/或拍摄参数在世界坐标系中以相同的位置和/或拍摄参数同步拍摄，所述拍摄参数包括拍摄角度；

基于虚拟摄像机和多个真实摄像机同步采集的画面及所设置的采集画面的层次，对同同步采集的多个画面进行融合，得到该一个拍摄场景的融合画面。

2.如权利要求1所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述拍摄方法还包括：

融合多个拍摄场景的融合画面，得到视频数据，设置视频数据中的每一帧画面的显示层次索引，得到带有显示层次索引的视频数据。

3.如权利要求1所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述的控制虚拟摄像机和多个真实摄像机同时开始拍摄，包括：

获取虚拟摄像机开始拍摄的控制信号，并基于该控制信号，控制虚拟摄像机和多个真实摄像机同时开始拍摄。

4.如权利要求1所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述的控制虚拟摄像机和多个真实摄像机的位置和/或拍摄参数在世界坐标系中以相同的位置和/或拍摄参数同步拍摄，包括：

获取虚拟摄像机的位置和/或拍摄参数；

基于所述虚拟摄像机的位置和/或拍摄参数，控制多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数。

5.如权利要求4所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述的获取虚拟摄像机的位置和/或拍摄参数，包括：

获取虚拟摄像机的位置变化和/或拍摄角度变化控制信号，计算得到虚拟摄像机下一步进点的位置矢量和/或角度矢量；

所述的基于所述虚拟摄像机的位置和/或拍摄参数，控制多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数，包括：

基于计算得到的虚拟摄像机下一步进点的位置矢量和/或角度矢量，控制虚拟摄像机下一刻的位置变化轨迹和/或摄像角度变化轨迹，并同步控制多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹。

6.如权利要求1所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述显示窗口包括第一显示窗口和多个第二显示窗口，所述虚拟摄像机包括设置在第一显示窗口中的第一虚拟摄像机和设置在多个第二显示窗口中一一对应的多个第二虚拟摄像机；所述的标定世界坐标系，使得虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同，包括：

获取虚拟场景画面并显示在第一显示窗口中；

获取多个真实摄像机采集的真实场景画面并一一对应显示在多个第二显示窗口中；

基于某一真实摄像机的位置，标定世界坐标系，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的位置相同；

所述的标定拍摄角度，使得虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同，包括：

基于某一真实摄像机的拍摄角度，标定拍摄角度，使得第一虚拟摄像机、多个第二虚拟摄像机和多个真实摄像机在世界坐标系中的拍摄角度相同。

7.如权利要求6所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述的控制虚拟摄像机和多个真实摄像机同时开始拍摄，包括：

获取某一第二虚拟摄像机开始拍摄的控制信号，并基于该控制信号，控制第一虚拟摄像机和多个真实摄像机同时开始拍摄。

8.如权利要求6所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述的控制虚拟摄像机和多个真实摄像机的位置和/或拍摄参数在世界坐标系中以相同的位置和/或拍摄参数同步拍摄，所述拍摄参数包括拍摄角度，包括：

获取某一第二虚拟摄像机的位置和/或拍摄参数；

基于获取的某一第二虚拟摄像机的位置和/或拍摄参数，控制第一虚拟摄像机和多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数。

9.如权利要求8所述的基于多层显示的虚拟现实拍摄方法，其特征在于，所述的获取某一第二虚拟摄像机的位置和/或拍摄参数，包括：

获取某一第二虚拟摄像机的位置变化和/或拍摄角度变化控制信号，计算得到该某一虚拟摄像机下一步进点的位置矢量和/或角度矢量；

所述的基于获取的某一第二虚拟摄像机的位置和/或拍摄参数，控制第一虚拟摄像机和多个真实摄像机同步拍摄，并同步更新位置和/或拍摄参数，包括：

基于计算得到的某一第二虚拟摄像机下一步进点的位置矢量和/或角度矢量，控制该某一第二虚拟摄像机下一刻的位置变化轨迹和/或摄像角度变化轨迹，并同步控制第一虚拟摄像机和多个真实摄像机的位置变化轨迹和/或摄像角度变化轨迹。

10.一种基于多层显示的虚拟现实画面显示方法，其特征在于，应用于多层显示装置，显示方法包括：获取视频数据，基于视频数据中的显示层次索引进行多层显示；所述视频数据基于权利要求1到9中任意一拍摄方法拍摄得到。

Images