CN116830568A - 与视图无关的多摄像机体积捕获系统 - Google Patents

Abstract

通过从虚拟视图有选择地激活图像捕获设备，减少在物理捕获体积中的捕获期间使用的数据，包括：设置虚拟摄像机以接收关于所述物理捕获体积和多个图像捕获设备的信息，并使所述物理捕获体积和多个图像捕获设备在所述虚拟视图中可视化；向所述虚拟摄像机提供所述物理捕获体积的所述虚拟视图以及围绕所述物理捕获体积移动并激活或停用所述多个图像捕获设备中的每一个的能力；计算视锥体，其中所述视锥体是将出现在所述虚拟摄像机的视图屏幕上的所述物理捕获体积内的3D空间的区域；以及定义与在所述虚拟视图中定义的多个图像捕获设备相交的虚拟摄像机的视锥体。

Description

与视图无关的多摄像机体积捕获系统

技术领域

本公开涉及处理和捕获视频数据，以及重新构建已经捕获的表现(performance)而无需完全捕获新数据的能力。

背景技术

体积捕获系统通常需要使用多个摄像机，以便以全覆盖的方式捕获主体。因此，系统可能最终捕获大量冗余数据，这取决于如何使用所捕获的主体。此外，诸如焦距之类的摄像机设定的任何变化都可能需要重新捕获整个表现和与每个摄像机关联的所有数据。

发明内容

本公开提供通过从虚拟视图有选择地激活摄像机来减少在捕获期间使用的数据，并且使得能够重新构建已经捕获的数据而无需重新捕获新数据。

在一种实现中，公开一种使用虚拟摄像机来减少在捕获期间使用的数据的系统。所述系统包括：视觉显示器，所述视觉显示器用于显示所述虚拟摄像机的视觉表示；处理器，所述处理器用于控制所述虚拟摄像机的视觉表示；与所述处理器和所述视觉显示器通信的体积捕获系统，其中所述体积捕获系统包括多个图像捕获设备，其中所述虚拟摄像机提供所述多个图像捕获设备的鸟瞰视图和激活或停用所述多个图像捕获设备中的每一个的能力，其中所述虚拟摄像机接收关于所述体积捕获系统和所述多个图像捕获设备的信息，并使所述体积捕获系统和所述多个图像捕获设备在虚拟世界中可视化。

在一种实现中，所述多个图像捕获设备被布置在穹顶状结构中。在一种实现中，所述虚拟摄像机还提供围绕穹顶状结构移动的能力。在一种实现中，所述虚拟摄像机具有与之关联的多个设定，包括光圈、焦距、焦点和其他设备参数。在一种实现中，所述处理器包括关于所述多个图像捕获设备中的每一个的数据。在一种实现中，所述处理器被配置为计算视锥体，所述视锥体是将出现在视图屏幕上的体积捕获系统内的3D空间的区域。

在另一种实现中，公开一种用于通过从虚拟视图有选择地激活图像捕获设备来减少在物理捕获体积中的捕获期间使用的数据的方法。所述方法包括：设置虚拟摄像机以接收关于所述物理捕获体积和多个图像捕获设备的信息，并使所述物理捕获体积和多个图像捕获设备在所述虚拟视图中可视化；向所述虚拟摄像机提供所述物理捕获体积的所述虚拟视图以及围绕所述物理捕获体积移动并激活或停用所述多个图像捕获设备中的每一个的能力；计算视锥体，其中所述视锥体是将出现在所述虚拟摄像机的视图屏幕上的所述物理捕获体积内的3D空间的区域；以及定义与在所述虚拟视图中定义的多个图像捕获设备相交的虚拟摄像机的视锥体。

在一种实现中，所述方法还包括将所述多个图像捕获设备布置在围绕所述物理捕获体积的穹顶状结构中。在一种实现中，所述方法还包括将所述多个图像捕获设备顺序地布置在柱子上。在一种实现中，所述虚拟摄像机具有多个关联设定，包括光圈、焦距、焦点和其他设备参数。在一种实现中，定义视锥体包括使用关于所述虚拟摄像机的多个关联设定来定义视锥体。在一种实现中，所述方法还包括只激活所述多个图像捕获设备中与虚拟视锥体相交的设备。在一种实现中，所述方法还包括停用所述多个图像捕获设备中未与虚拟视锥体相交的设备。

在另一种实现中，公开一种存储计算机程序的非临时性计算机可读存储介质，所述计算机程序用于通过从虚拟视图有选择地激活图像捕获设备来减少在物理捕获体积中的捕获期间使用的数据。所述计算机程序包括可执行指令，所述可执行指令使计算机：设置虚拟摄像机以接收关于所述物理捕获体积和多个图像捕获设备的信息，并使所述物理捕获体积和多个图像捕获设备在所述虚拟视图中可视化；向所述虚拟摄像机提供所述物理捕获体积的所述虚拟视图以及围绕所述物理捕获体积移动并激活或停用所述多个图像捕获设备中的每一个的能力；计算视锥体，其中所述视锥体是将出现在所述虚拟摄像机的视图屏幕上的所述物理捕获体积内的3D空间的区域；以及定义与在所述虚拟视图中定义的多个图像捕获设备相交的虚拟摄像机的视锥体。

在一种实现中，计算机可读存储介质还包括使所述计算机将所述多个图像捕获设备布置在围绕所述物理捕获体积的穹顶状结构中的可执行指令。在一种实现中，计算机可读存储介质还包括使所述计算机将所述多个图像捕获设备顺序地布置在柱子上的可执行指令。在一种实现中，所述虚拟摄像机具有多个关联设定，包括光圈、焦距、焦点和其他设备参数。在一个实现中，使所述计算机定义视锥体的可执行指令包括使所述计算机使用关于虚拟摄像机的多个关联设定来定义视锥体的可执行指令。在一种实现中，计算机可读存储介质还包括使所述计算机只激活所述多个图像捕获设备中与虚拟视锥体相交的设备的可执行指令。在一种实现中，计算机可读存储介质还包括使所述计算机停用所述多个图像捕获设备中未与虚拟视锥体相交的设备的可执行指令。

根据举例说明本公开的各个方面的本说明书，其他特征和优点应是显而易见的。

附图说明

本公开的关于其结构和操作的细节可以通过研究附图部分地收集，附图中相同的附图标记指代相同的部分，并且其中：

图1A是按照本公开的一种实现的包括多个图像捕获设备的体积捕获系统100的示图；

图1B是按照本公开的一种实现的与虚拟摄像机通信的体积捕获系统的示图；

图1C示出按照本公开的一种实现的在虚拟3D世界视口中(例如，在游戏中)中表示的物理捕获空间，例如穹顶；

图1D示出了与在虚拟空间中定义的摄像机相交的虚拟摄像机(用户通过该虚拟摄像机观看场景)；

图1E是虚拟摄像机以及摄像机与什么相交的视图；

图2是按照本公开的一种实现的用于减少在捕获期间使用的数据的系统的框图；

图3是按照本公开的一种实现的方法的流程图，该方法用于通过从虚拟视图有选择地激活图像捕获设备来减少在物理捕获体积中的捕获期间使用的数据，并且使得能够重新构建已经捕获的数据而无需重新捕获新数据；

图4A是按照本公开的实现的计算机系统和用户的表示；和

图4B是图解说明按照本公开的实现的托管虚拟摄像机应用的计算机系统的功能框图。

具体实施方式

如上所述，具有多个摄像机的传统体积捕获系统可能最终捕获大量冗余数据，并且摄像机设定的任何改变都可能需要重新捕获整个表现和与每个摄像机关联的所有数据。

本公开的某些实现提供通过从虚拟视图有选择地激活摄像机来减少在捕获期间使用的数据，并且使得能够重新构建已经捕获的数据而无需重新捕获新数据的系统和方法。

在阅读以下描述之后，在各种实现和应用中如何实现本公开将变得显而易见。尽管本文中将描述本公开的各种实现，但是应理解的是，这些实现只是作为例子而非限制给出的。因此，各种实现的详细描述不应被解释为限制本公开的范围或广度。

图1A是按照本公开的一种实现的包括多个图像捕获设备102-118的体积捕获系统100的示图。在图1A的图示实现中，多个图像捕获设备102-118被布置在穹顶状结构中，在该穹顶状结构内是捕获体积。在又一种实现中，多个图像捕获设备102-118被顺序布置在柱子上。在另一种实现中，使用多个图像捕获设备102-118的布置的任何和所有的组合。在一种实现中，图像捕获设备是具有镜头的视频摄像机。

图1B是按照本公开的一种实现的与虚拟摄像机120通信的体积捕获系统100的示图。在图1B的图示实现中，虚拟摄像机120被配置在用于控制虚拟摄像机120的个人计算机122或诸如平板计算机之类的类似设备中。

在一种实现中，虚拟摄像机120提供体积捕获系统100的鸟瞰视图以及围绕系统100移动并激活或停用多个图像捕获设备中的每一个的能力。虚拟摄像机120具有与之关联的多个设定，包括光圈、焦距、焦点以及诸如镜头失真和图像传感器格式之类的其他设备参数。

在图1B的图示实现中，虚拟摄像机120接收关于物理体积捕获系统100的信息，并使捕获系统100和物理摄像机在虚拟世界中可视化。为此，计算机122(它控制虚拟摄像机120)与捕获系统100通信，并且具有关于系统100内的多个图像捕获设备中的每一个的数据。在一种实现中，计算机122首先计算视锥体，视锥体是将出现在视图屏幕上的捕获体积内的3D空间的区域。因此，视锥体将只包括将出现在(游戏、电影等的)视图屏幕上的区域。不会出现在视图屏幕上的区域不会包含在视锥体中。

在一种实现中，关于虚拟摄像机120的设定定义与在虚拟场景中定义的物理摄像机相交的摄像机120的视锥体。在一个例子中，只有与虚拟视锥体相交的那些物理摄像机124、126、128才会被激活以进行捕获。因此，在该例子中，使其他物理摄像机停止进行捕获。取决于正在进行的捕获的类型，这可以大大减少实际使用的物理摄像机的数量，同时仍能获得足够的覆盖，从而大大减少捕获的数据量。

图1C示出按照本公开的一种实现的在虚拟3D世界视口130中(例如，在游戏中)表示的物理捕获空间，例如穹顶。在该虚拟3D视口130中，存在虚拟摄像机，取决于镜头参数(焦距等)，该虚拟摄像机具有一定尺寸的视锥体。取决于虚拟摄像机的观察方向，该视锥体与物理图像捕获设备132-142的虚拟表示相交。这些相交部确定全部的物理图像捕获设备132-142中的哪些物理图像捕获设备(例如，图像捕获设备134、138、140、142)实际捕获任何图像数据。

在一种实现中，物理图像捕获设备(例如，图1C中的图像捕获设备132-142)中的每一个包括足够大的图像传感器(例如，全帧传感器)和足够宽的镜头以捕获所述捕获系统的整个场景。因此，物理图像捕获设备(每个设备具有大图像传感器和宽镜头)提供将图像数字裁剪到不同焦距的能力。例如，场景可以从24mm裁剪到35mm或50mm，同时仍然保留足够的像素信息，以免降低图像质量。数据总是利用最宽的镜头设定以全分辨率捕获。于是，通过使用虚拟摄像机120并相应地变更摄像机和镜头参数，可以重新处理已经捕获的数据以使用不同的参数。例如，可以重新处理数据以使用不同的焦距来变更已经捕获的数据的构图(framing)。因而，通过移动虚拟摄像机120以与来自原始捕获的其他物理摄像机相交，可以使用与原始捕获中使用的视角不同的视角有效地进行“重新拍摄”，而无需物理地重新捕获物理场景。

图1D示出与在虚拟空间中定义的摄像机相交的虚拟摄像机150(用户通过该虚拟摄像机观看场景)。摄像机152-158表示被激活以在虚拟3D世界视口130中表示的物理捕获空间中进行捕获的摄像机。

图1E是虚拟摄像机150以及摄像机150与什么相交的视图160。这实际上是通过控制系统的应用的3D视口130中的虚拟摄像机150的镜头进行观察。

图2是按照本公开的一种实现的用于减少在捕获期间使用的数据的系统200的框图。在图2的图示实现中，系统200包括与处理器220和视觉显示器230通信的体积捕获系统210。在一种实现中，视觉显示器230显示虚拟摄像机232的视觉表示。在一种实现中，虚拟摄像机232的显示由驻留在个人计算机或诸如平板计算机之类的类似设备中的处理器220控制。

在一个实现中，体积捕获系统210包括布置在穹顶状结构中的多个图像捕获设备。在一种实现中，虚拟摄像机232提供体积捕获系统210的鸟瞰视图以及围绕系统210移动并激活或停用多个图像捕获设备中的每一个的能力。虚拟摄像机232具有与之关联的多个设定，包括光圈、焦距、焦点和其他设备参数。

在图2的图示实现中，虚拟摄像机232接收关于物理体积捕获系统210的信息，并使捕获系统210和物理摄像机在虚拟世界中可视化。为此，处理器220(它控制虚拟摄像机232在视觉显示器230上的显示)与捕获系统210通信，并且具有关于系统210内的多个图像捕获设备中的每一个的数据。在一种实现中，处理器220计算视锥体，所述视锥体是将出现在视图屏幕上的捕获体积内的3D空间的区域。因此，视锥体将只包括将出现在(游戏、电影等的)视图屏幕上的区域。不会出现在视图屏幕上的区域不会包含在视锥体中。

在一种实现中，关于虚拟摄像机232的设定定义与在虚拟场景中定义的物理摄像机相交的摄像机232的视锥体。在一个例子中，只有与虚拟视锥体相交的那些物理摄像机才会被激活以进行捕获。因此，在该例子中，使其他物理摄像机停止进行捕获。取决于正在进行的捕获的类型，这可以大大减少实际使用的物理摄像机的数量，同时仍能获得足够的覆盖，从而大大减少捕获的数据量。

在一种实现中，系统200是完全由硬件构成的系统，所述硬件包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列/逻辑阵列(FPGA)或其他等同的集成或离散逻辑电路。在另一种实现中，系统200由硬件和软件的组合构成。

图3是按照本公开的一种实现的方法300的流程图，该方法300用于通过从虚拟视图有选择地激活图像捕获设备来减少在物理捕获体积中的捕获期间使用的数据，并且使得能够重新构建已经捕获的数据而无需重新捕获新数据。为此，多个图像捕获设备被布置在围绕物理捕获体积的穹顶状结构中。在又一种实现中，多个图像捕获设备被顺序地布置在柱上。在另一种实现中，使用多个图像捕获设备的布置的任何和所有的组合。在一种实现中，图像捕获设备是具有镜头的视频摄像机。

在图3的图示实现中，在步骤310，设置虚拟摄像机以接收关于物理捕获体积和多个图像捕获设备的信息，并使物理捕获体积和多个图像捕获设备在虚拟视图中可视化。在一种实现中，在步骤320，向虚拟摄像机提供物理捕获体积的虚拟视图(例如，鸟瞰视图)以及围绕所述体积移动并激活或停用多个图像捕获设备中的每一个的能力。虚拟摄像机具有与之关联的多个设定，包括光圈、焦距、焦点和其他设备参数。

在一种实现中，在步骤330，计算视锥体，视锥体是将出现在虚拟摄像机的视图屏幕上的捕获体积内的3D空间的区域。因此，视锥体将只包括将出现在(游戏、电影等的)视图屏幕上的区域。不会出现在视图屏幕上的区域不会包含在视锥体中。在步骤340，使用关于虚拟摄像机的设定，定义与在虚拟视图中定义的物理图像捕获设备相交的虚拟摄像机的视锥体。在一个例子中，只有与虚拟视锥体相交的那些物理摄像机才会被激活以进行捕获。因此，在该例子中，使其他物理摄像机停止进行捕获。取决于正在进行的捕获的类型，这可以大大减少实际使用的物理摄像机的数量，同时仍能获得足够的覆盖，从而大大减少捕获的数据量。

图4A是按照本公开的实现的计算机系统400和用户402的表示。用户402使用计算机系统400实现虚拟摄像机应用490以减少在捕获期间使用的数据，如关于图2中的系统200和图3中的方法300所示和所述。

计算机系统400存储并执行图4B的虚拟摄像机应用490。另外，计算机系统400可以与软件程序404通信。软件程序404可以包括用于虚拟摄像机应用490的软件代码。软件程序404可以加载在诸如CD、DVD或存储驱动器之类的外部介质上，如下进一步所述。

此外，计算机系统400可以连接到网络480。网络480可以以各种不同的架构连接，例如，客户端-服务器架构、对等网络架构或其他类型的架构。例如，网络480可以与服务器485通信，服务器485协调在虚拟摄像机应用490内使用的引擎和数据。此外，网络可以是不同类型的网络。例如，网络480可以是因特网、局域网或局域网的任何变体、广域网、城域网、内联网或外联网、或无线网络。

图4B是图解说明按照本公开的实现的托管虚拟摄像机应用490的计算机系统400的功能框图。控制器410是可编程处理器，并且控制计算机系统400及其组件的操作。控制器410从存储器420或嵌入式控制器存储器(未示出)加载指令(例如，以计算机程序的形式)，并执行这些指令以控制系统，比如提供数据处理。在其执行中，控制器410向虚拟摄像机应用490提供软件系统。或者，该服务可以作为控制器410或计算机系统400中的单独硬件组件来实现。

存储器420临时存储数据以供计算机系统400的其他组件使用。在一种实现中，存储器420被实现为RAM。在一种实现中，存储器420还包括长期或永久存储器，例如闪存和/或ROM。

存储装置430临时或长期存储数据以供计算机系统400的其他组件使用。例如，存储装置430存储由虚拟摄像机应用490使用的数据。在一种实现中，存储装置430是硬盘驱动器。

介质设备440接收可移动介质并读取插入的介质和/或向插入的介质写入数据。在一种实现中，例如，介质设备440是光盘驱动器。

用户接口450包括用于接受来自计算机系统400的用户的用户输入并向用户402呈现信息的组件。在一种实现中，用户接口450包括键盘、鼠标、音频扬声器和显示器。控制器410使用来自用户402的输入来调整计算机系统400的操作。

I/O接口460包括一个或多个I/O端口以连接到对应的I/O设备，比如外部存储装置或附加设备(例如，打印机或PDA)。在一种实现中，I/O接口460的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口之类的端口。在另一种实现中，I/O接口460包括用于与外部设备无线通信的无线接口。

网络接口470包括有线和/或无线网络连接，比如支持以太网连接的RJ-45或“Wi-Fi”接口(包括但不限于802.11)。

计算机系统400包括计算机系统典型的附加硬件和软件(例如，电源、冷却、操作系统)，尽管为了简单起见在图4B中没有具体示出这些组件。在其他实现中，可以使用计算机系统的不同配置(例如，不同的总线或存储器配置或多处理器配置)。

为了使本领域的任何技术人员能够做出或使用本公开，提供了本文中的对所公开的实现的描述。对这些实现的众多修改对本领域的技术人员来说将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的原理可以应用于其他实现。

在本公开的特定实现中，不一定需要上面讨论的每个例子的所有特征。此外，应当理解的是，本文中给出的描述和附图代表了本公开广泛考虑的主题。还应理解是的，本公开的范围完全包括对本领域技术人员来说可能变得显而易见的其他实现，并且本公开的范围相应地仅由所附的权利要求书限定。

Claims (20)

1.一种使用虚拟摄像机来减少捕获期间使用的数据的系统，所述系统包括：

视觉显示器，所述视觉显示器用于显示所述虚拟摄像机的视觉表示；

处理器，所述处理器用于控制所述虚拟摄像机的视觉表示；

与所述处理器和所述视觉显示器通信的体积捕获系统，

其中所述体积捕获系统包括多个图像捕获设备，

其中所述虚拟摄像机提供所述多个图像捕获设备的鸟瞰视图和激活或停用所述多个图像捕获设备中的每一个的能力，

其中所述虚拟摄像机接收关于所述体积捕获系统和所述多个图像捕获设备的信息，并使所述体积捕获系统和所述多个图像捕获设备在虚拟世界中可视化。

2.按照权利要求1所述的系统，其中所述多个图像捕获设备被布置在穹顶状结构中。

3.按照权利要求2所述的系统，其中所述虚拟摄像机还提供围绕所述穹顶状结构移动的能力。

4.按照权利要求1所述的系统，其中所述虚拟摄像机具有与之关联的多个设定，所述多个设定包括光圈、焦距、焦点和其他设备参数。

5.按照权利要求1所述的系统，其中所述处理器包括关于所述多个图像捕获设备中的每一个的数据。

6.按照权利要求1所述的系统，其中所述处理器被配置为计算视锥体，所述视锥体是将出现在视图屏幕上的所述体积捕获系统内的3D空间的区域。

7.一种通过从虚拟视图有选择地激活图像捕获设备来减少在物理捕获体积中的捕获期间使用的数据的方法，所述方法包括：

设置虚拟摄像机以接收关于所述物理捕获体积和多个图像捕获设备的信息，并使所述物理捕获体积和所述多个图像捕获设备在所述虚拟视图中可视化；

向所述虚拟摄像机提供所述物理捕获体积的所述虚拟视图以及围绕所述物理捕获体积移动并激活或停用所述多个图像捕获设备中的每一个的能力；

计算视锥体，其中所述视锥体是将出现在所述虚拟摄像机的视图屏幕上的所述物理捕获体积内的3D空间的区域；以及

定义与在所述虚拟视图中定义的所述多个图像捕获设备相交的虚拟摄像机的视锥体。

8.按照权利要求7所述的方法，还包括：

将所述多个图像捕获设备布置在围绕所述物理捕获体积的穹顶状结构中。

9.按照权利要求7所述的方法，还包括：

将所述多个图像捕获设备顺序地布置在柱子上。

10.按照权利要求7所述的方法，其中所述虚拟摄像机具有多个关联设定，所述多个关联设定包括光圈、焦距、焦点和其他设备参数。

11.按照权利要求10所述的方法，其中定义视锥体包括：

使用关于所述虚拟摄像机的所述多个关联设定来定义视锥体。

12.按照权利要求7所述的方法，还包括：

只激活所述多个图像捕获设备中与虚拟视锥体相交的设备。

13.按照权利要求7所述的方法，还包括：

停用所述多个图像捕获设备中未与虚拟视锥体相交的设备。

14.一种存储计算机程序的非临时性计算机可读存储介质，所述计算机程序用于通过从虚拟视图有选择地激活图像捕获设备来减少在物理捕获体积中的捕获期间使用的数据，所述计算机程序包括可执行指令，所述可执行指令使计算机：

设置虚拟摄像机以接收关于所述物理捕获体积和多个图像捕获设备的信息，并使所述物理捕获体积和所述多个图像捕获设备在所述虚拟视图中可视化；

向所述虚拟摄像机提供所述物理捕获体积的所述虚拟视图以及围绕所述物理捕获体积移动并激活或停用所述多个图像捕获设备中的每一个的能力；

计算视锥体，其中所述视锥体是将出现在所述虚拟摄像机的视图屏幕上的所述物理捕获体积内的3D空间的区域；以及

定义与在所述虚拟视图中定义的所述多个图像捕获设备相交的虚拟摄像机的视锥体。

15.按照权利要求14所述的计算机可读存储介质，还包括使所述计算机将所述多个图像捕获设备布置在围绕所述物理捕获体积的穹顶状结构中的可执行指令。

16.按照权利要求14所述的计算机可读存储介质，还包括使所述计算机将所述多个图像捕获设备顺序地布置在柱子上的可执行指令。

17.按照权利要求14所述的计算机可读存储介质，其中所述虚拟摄像机具有多个关联设定，所述多个关联设定包括光圈、焦距、焦点和其他设备参数。

18.按照权利要求17所述的计算机可读存储介质，其中使所述计算机定义视锥体的可执行指令包括使所述计算机使用关于虚拟摄像机的所述多个关联设定来定义视锥体的可执行指令。

19.按照权利要求14所述的计算机可读存储介质，还包括使所述计算机只激活所述多个图像捕获设备中与虚拟视锥体相交的设备的可执行指令。

20.按照权利要求14所述的计算机可读存储介质，还包括使所述计算机停用所述多个图像捕获设备中未与虚拟视锥体相交的设备的可执行指令。