CN108450031A - 图像捕获装置 - Google Patents

Abstract

一种适用于为生成虚拟现实环境的捕获图像所用的图像捕获装置，该装置包含限定内部体积的三维框架、以及布置在该框架上以便形成三维阵列的多个相机，其中相机被布置为面朝内、朝向内部体积的一部分，并且被布置用来捕获内部体积的外部场景的图像，该图像也包含至少一部分内部体积。

Description

图像捕获装置

技术领域

本发明涉及图像捕获装置。

背景技术

近年来，虚拟现实(VR)设备和内容变得越来越普遍。该内容允许用户通过处理设备和相关屏幕来探索环境，例如可以连接到如PlayStation之类的娱乐设备上的头戴式显示器(HMD)。为了给用户提供沉浸式体验，通常需要生成可供用户探索的VR环境。如本领域中所知，这是一种以单视场或立体视场的方式显示给用户、分别用于2D或3D观看的计算机生成的环境。可以使用适当的计算工具来设计和渲染该VR环境，可以从相机捕获的真实环境的一组图像中生成该VR环境，或者可以用两种方式的结合。

使用已经使用计算机创建的环境可能是有益的，在于其可以生成完整的环境；当整体环境设计良好时，不存在从环境中丢失特征或遮挡特征的问题。然而，该方法也可能是耗时的，并且需要大量的技能来生成可信的、从而沉浸式的环境，因此，更优选的是捕获并且使用真实环境的场景，或者至少以它们为基础，并在其上进行图像处理来生成环境。

然而，利用相机捕获真实环境的图像可能出现要考虑的一套不同的问题。

捕获2D视频的图像是一个已知的处理，其中相机以所需的姿态放置在所需的视角上，在该位置捕获一个或一系列图像。这种方法在VR环境的生成中有许多缺点；为了对整个环境(或者甚至仅仅是环境的一部分)进行捕获，必须从多个视角或姿态来捕获图像。因此，必须重新定位或重新定向一个或多个相机来捕获足够数量的图像，或者必须使用大量的固定相机。然后，必须应用图像处理来组合这些图像并从中生成VR环境。

针对上述问题提出的一个解决方案是将多个相机压缩成小体积，使得小体积中的每个面朝该体积外的相机都捕获它们周围的场景。这样就不需要对相机多次重新定位，可以在一个指定位置、在一个角度范围内对环境的图像进行捕获。这种方法对于从单个视角捕获球面视图是有用的，但是可能不适用于所有应用，因为它很难获取环境的深度数据或生成环境的立体图像。此外，相机的位置限定了一个任何相机都不可见的内部体积。另外一个问题是，相机布置的压缩性质限制了所提供相机的数量或大小，因此可能需要牺牲图像质量来捕获更有用的图像。

这里提供的“背景”描述是为了总体上呈现本公开的背景。目前提及的发明人在本背景技术部分中描述的范围内的工作以及在提交时可能不作为现有技术限定的描述的各方面，没有明确地或暗示地被承认为针对本发明的现有技术。

发明内容

权利要求1和8定义了本公开，所附权利要求定义了本公开各个进一步方面和特征。

本公开提供一种布置，其中，可以用适合于VR应用的方式捕获环境的图像。这是通过提供一种包含限定内部体积的三维框架以及布置框架上形成三维阵列的多个相机的布置来实现的，其中相机被布置成面朝内、朝向内部体积的一部分，并且被布置用来捕获内部体积外面的场景的图像，图像也包含至少一部分内部体积。

上述框架充当一种装备，使多个相机附接在该装备上，每个相机面向该装备的中心。该装备可以包括多个杆作为框架，杆之间没有障碍物的几个区域以便允许相机捕获周围环境的图像；在下文中，将参照图2更详细地讨论这一点。然后，可以对单个时间捕获到的多个图像应用图像处理来从图像移除诸如装备和相机的任何不良特征，同时提供从其它图像获得的关于环境的信息以便填充图像中因编辑去除这些特征留下的任何空白。

需要充分理解的是，上文对本发明的概述和下文的详细描述都是本发明的示例，而不是限制本发明。

附图说明

结合附图，参考下文的详细描述，可以更容易地获得本发明的更完整的理解及诸多益处。其中，

图1示意性地示出了相机的二维布置；

图2示意性地示出了一种相机布置；

图3示意性地示出了相机捕获的图像的示意图；

图4a和图4b示意性地示出了由一对相机捕获的图像；

图4c示意性地示出了从捕获的图像产生的合成图像；

图5示意性地示出了VR环境生成处理；以及

图6示意性地示出了VR环境的生成系统。

具体实施方式

在如上所述的早期布置中，相机以面向外的方式布置在一个体积上，显然，除非有非常小的相机间距或非常宽的视野，否则图像之间的重叠程度会非常低。如上所述，这会降低布置正确利用视差在以后生成3D图像的能力、或者降低克服捕获图像中特征遮挡问题的能力。

本公开通过提供一种能在不同相机捕获的图像之间提供更大的重叠的相机布置，来缓解这个问题。图1示出了上述布置的一个示例。

在图1中，提供一个外框架100，其上布置了三个相机110a、110b和110c。这些相机的各自视野为120a、120b和120c，其中出现在多个视野中的区域由阴影部分来表示。如图1所示，只有与每个相机最近的特征才会只出现在单个相机的视野中；并且由于本公开的实施例的结构，与相机有一定距离的特征不太可能被呈现。

任何出现在相机视野中如相机排列的特征将导致其后面的其它特征被遮挡。因为这会阻碍完整环境的图像被获取，从而导致图像捕获布置中出现问题。然而，图1的布置可以缓解这一问题，因为当特征出现在具有不同视角的多个相机的视野中时，对于每个视角被遮挡的一组特征是不同的。这使得能够执行图像处理来组合适当的图像(或部分图像)，以便在被遮挡的区域中构建更完整的环境视图。

利用重叠图像来缓解与遮挡相关的问题可以使图1的布置扩展到三维。尽管任何多面体或限定内部体积的其它三维形状都可适用于这种布置，参考图2，考虑了正十二面体的示例。

图2示出了规则的正十二面体200，并且考虑该形状的侧面不存在，以便允许相机看到多面体外面的环境；规则的正十二面体因此由顶点210和边220来定义。相机230被附接在正十二面体200上，以便面朝内、朝向规则的正十二面体200所定义的内部体积的一部分。相机230被布置为捕获位于内部体积之外的场景的图像，尽管该图像也将包含内部体积的至少一部分。

如图2所示例的，相机可以附接到多面体框架的顶点上，或者附接到远离顶点的框架的边缘上。相机可以以规则的间隔分布，例如在每个顶点或每隔一个顶点具有相机，或者相机可以无明显模式地分布。还应注意的是，可以使用任意数目的相机的朝向，诸如每个相机朝向框架定义的体积的中心，并且每个相机可以分别指向内部体积中的相同点，或者可以让它们具有彼此不同的朝向。也可配置相机使其能相对于框架可重新定向；例如，可以控制安装在电动机上的相机来改变相机的朝向。

可以根据用户的要求来改变所使用相机的类型；例如，相机可以是适合于在捕获图像中提供特征的深度信息的立体相机，或者可为相机提供广角镜头，来捕获比使用标准镜头获得更宽的视野的图像。

图3示意性地示出了相机捕获的一部分视野，清楚起见，只显示了附接了相机的多面体的框架；当然，技术人员应充分理解的是，相机视野范围内未被正十二面体遮挡的环境也将被捕获。

每个相机所经历的遮挡量取决于正十二面体框架的尺寸(无论是结构尺寸或是用于形成框架的元件的厚度)和相机的朝向；例如，每个相机可以被布置为朝向一个视野中没有框架的方向。

考虑图3中示意性示出的视角，很明显视角的中心300被框架的顶点遮挡了，该框架的顶点可以支持或不支持相机。如果相机曾位于框架的每个顶点，那么相机也将集中在每个顶点310a、310b和310c上。由于以这些点为中心的摄像机的分离，每个相机都具有不同的被框架遮挡的特征。这意味着通过使用由这些相机捕获的一个或多个其它图像，可以从生成的合成图像中消除框架。更多的相机进一步集中在框架的更多的各个顶点上，这提供了更大的相机的分离(通过选择更远离的相机来提供图像以补充当前图像)，因此也可能有助于生成合成图像。

图4a和4b示意性地示出了由彼此接近的两个相机所捕获的图像的示例。其中每一个都显示了图像特征400，各自的遮挡分别为410和411。这些图像可以被称为互补图像，因为它们各自提供单个特征的图像，进而可以将这些图像一起使用来生成关于特征的信息。遮挡表示如支撑相机的框架等可以阻止相机获得环境的完整图像的物体。

图4c表示由图4a和4b的互补图像形成的合成图像。在该图像中，由于每个图像特征的缺失部分可以用来自另一个图像的图像数据来补充，遮挡410和411已经被去除。遮挡的交叉点420是个例外，在此遮挡处，两个图像都没有捕获到遮挡部分的特征图像。这个交叉点可以称为盲点。如果这个盲点足够小，这对于观看者来说是可以接受的(特别是如果环境以低于成像的分辨率显示，因为该特征可能显得不重要)；或者，可以使用更多的图像、用进一步的图像数据来补充该图像，消除合成图像的任何盲点。在其它实施例中，在框架外部的顶点上可提供更多的相机来捕获图像，以防包含盲点。

作为另一种选择，或另外，可利用已知的误差调整技术、用从周围区域拍摄的图像数据的交叉点来填充合成图像。还可设想的是，可以布置朝向框架的内部体积外面的相机，将其布置在框架的外表面上。由这些相机获得的图像可用于补充由向内相机捕获的图像，从而进一步缓解在生成的VR环境中存在盲点的问题。

通过标注布置中所提供的相机的相对位置和朝向，可以改善组合多个图像以形成具有减少遮挡问题的合成图像的处理。如果相机是固定的，相机位置和朝向的测量可以作为生产工艺的一部分，或者可以利用任何其它定位技术(例如在框架上使用受托标记)来检测。

这种技术可以允许在图像处理之前将信息提供给处理器，或者极大地简化映射相机所需的图像处理。结果是，生成VR环境的计算负担减少了(由于在捕获图像的现场广播的情况下可能很重要)，该处理也会被加速。

图5示意性地示出了利用本公开的布置生成VR环境的处理。在步骤500中，利用相机布置捕获图像，在步骤510中处理这些图像，以便去除不良的遮挡特征。在最后一步520中，利用处理后的图像生成VR环境。下文将详细描述每个步骤。

步骤500包括从以三维阵列布置在框架上的相机捕获多个图像，其中相机被布置为面朝内、朝向内部体积的一部分，并且被布置为用来捕获位于内部体积以外的场景的图像，这些图像也包含内部体积的至少一部分。由于相机的朝向，其中很多图像将包含不良图像，如其它相机和装置框架的图像。

步骤510通过应用图像处理从捕获的图像中组合互补图像来形成一组图像来处理或缓解这个问题。处理后的图像可以以环境的单个合成图像的形式储存，或者可能产生多个合成图像，或者，根据该装置的用户的喜好可以将每个图像单独储存。这些图像可以存储有相关联的元数据，诸如用于不同图像区域的深度信息或者在捕获图像时对于相机的位置/取向信息。

在步骤520中，将利用生成的一组图像、进一步进行图像处理来生成虚拟现实环境。该处理可包含与图像相关联的任何元数据的使用或所生成的图像集的分析。例如，对生成的图像或与生成的图像相关联的元数据进行处理，以获得关于图像特征的深度信息。该环境可以以任何适当的格式存储，例如特征地图或具有相关元数据的图像(或多个图像)，其允许图像被解释为虚拟现实环境。

例如，将装置的中心作为抽象原点，在第一实例中，将复合图像投影到球体、圆柱体、立方体或其它体积上，以便在虚拟环境中使用。例如，这可以通过将复合图像作为一个遥远的背景来实现。在第二实例中，将深度数据与合成图像数据相结合，以在图像像素位置的虚拟空间中产生地图，其可以以笛卡尔形式(x，y，z坐标)或极坐标(例如，球面极坐标r，θ，)来呈现。然后，这样的地图可以被用来形成网格或纹理，这对于后续的图像处理可能是有用的。

对于技术人员显而易见的是这种方法可以用计算机软件来实现，当由计算机执行计算机软件时，使得计算机会执行上述方法。这种计算机程序存储在非暂时性的机器可读存储介质上，该存储介质可以存在于如下述附图6的系统所描述的硬件配置中。

图6示意性地示出了用于从捕获的图像生成VR环境的系统。如上所述的相机布置600为存储设备610提供输入。存储设备610包括至少一个处理器620和用于存储图像和任何相关元数据的存储630。存储设备610也可以安装到相机布置的框架上，或者可以通过有线或无线连接接收来自相机的输入。或者，存储设备610可以不存在于系统中，来自相机的图像数据可以直接传输到处理设备640。处理设备640包括处理器650和存储器660，该存储器可操作以存储用于组合互补图像并随后从图像生成VR环境的图像数据、任何相关的元数据以及应用数据。

前述讨论公开并描述的仅仅是本发明的示例性实施例。本领域技术人员应充分理解的是，本发明可以在不脱离其精神或本质特征的情况下以其它具体形式实现。因此，本发明的公开旨在描述本发明，而不是限制本发明的范围、以及其它权利要求。本发明、包括本文中任何容易辨识的教义的变体，部分地定义了前述权利要求术语的范围，使得没有创造性的主题献给公众。

Claims (15)

1.一种图像捕获装置，适用于捕获用于生成虚拟现实环境的图像，所述装置包括：

限定内部体积的三维框架；以及

布置在所述框架上以便形成三维阵列的多个相机；

其中，相机被布置为面朝内、朝向所述内部体积的一部分，并且被布置用来捕获所述内部体积的外部场景的图像，所述图像也包含至少一部分的所述内部体积。

2.根据权利要求1所述的装置，包括限定多面体体积的框架。

3.根据权利要求1所述的装置，其中，所述相机位于所述框架的顶点上。

4.根据权利要求1所述的装置，其中，所述相机朝向由所述框架限定的体积的中心。

5.根据权利要求1所述的装置，其中，所述相机以规律的间隔排布在所述框架上。

6.根据权利要求1所述的装置，其中，所述相机被配置为相对于所述框架重新定向。

7.根据权利要求1所述的装置，其中，所述相机是立体相机。

8.一种虚拟现实环境生成方法，包括：

从以三维阵列布置在框架上的相机捕获多个图像，其中，所述相机被布置为面朝内、朝向内部体积的一部分，并且被布置用来捕获所述内部体积的外部场景的图像，所述图像也包含至少一部分的所述内部体积；

应用图像处理来从捕获到的多个图像中组合互补图像，从而生成一组图像；

利用生成的一组图像来产生虚拟现实环境。

9.根据权利要求8所述的方法，其中，组合互补图像以便生成不含其它相机的图像的合成图像。

10.根据权利要求8所述的方法，其中，组合互补图像以便生成不含所述框架的图像的合成图像。

11.根据权利要求8所述的方法，其中，处理生成的图像或与所述生成的图像相关的元数据来获得关于图像特征的深度信息。

12.根据权利要求8所述的方法，其中，通过将合成的图像投影到一个体积上来产生所述虚拟现实环境。

13.根据权利要求8所述的方法，其中，通过将合成图像和深度数据组合来产生图像像素位置图，产生所述虚拟现实环境。

14.一种计算机程序，当由计算机执行时，使计算机执行根据权利要求8至13中的任一项所述的方法。

15.一种非暂时性机器可读存储介质，其存储根据权利要求14所述的计算机软件。