CN111194416B - 用于生成场景的表示的装置和方法 - Google Patents

Abstract

一种装置包括接收器(401)，所述接收器接收由第一深度感测相机捕获的第一图像和相关联的第一深度数据。检测器(405)检测针对所述第一图像中的基准标记的图像位置性质，所述基准标记表示第二深度感测图像相机的放置。放置处理器(407)响应于所述图像位置性质和针对所述基准标记的图像位置的第一深度数据的深度数据而确定指示所述第二深度感测相机相对于所述第一深度感测相机的放置的相对放置向量。第二接收器(403)接收由所述第二深度感测图像相机捕获的第二图像和第二第一深度数据。生成器(409)基于所述相对放置向量响应于至少第一图像和第二图像的组合而生成所述场景的至少部分的表示。

Description

用于生成场景的表示的装置和方法

技术领域

本发明涉及一种用于根据由多个深度感测相机捕获的数据生成场景的表示的装置和方法，并且具体地但非专有地，涉及根据这样的表示生成用于虚拟现实应用的图像。

背景技术

通常，图像的技术处理和使用已经基于二维成像，但是日益地，第三维度正在图像处理中明确考虑。

例如，已经开发三维(3D)显示器，其通过给观察者的两个眼睛提供被观看的场景的不同视图将第三维度添加到查看体验。这可以通过使用户佩戴眼睛以分离显示的两个视图来实现。然而，由于这能够被认为对于用户不方便，因此在许多情形下优选使用在显示器处使用模块(诸如透镜镜头或者挡板)的自动立体显示器来分离视图，并且在其个体地可以到达用户的眼睛的不同的方向上发送它们。针对立体显示器，要求两个视图，然而自动立体显示器通常要求更多视图(诸如例如九个视图)。

在许多实施例中，能够期望生成针对新查看方向的视图图像。然而各种算法已知用于基于图像和深度信息来生成这样的新视图图像，它们倾向于高度依赖于所提供的(或所导出的)深度图像的准确度。

实际上，三维图像信息常常由对应于用于场景的不同视图方向的多幅图像提供。特别地，视频内容(诸如电影或者电视节目)被日益生成以包括一些3D信息。这样的信息可以使用专用3D或者深度感测相机捕获，诸如从稍微偏移相机位置捕获两幅同时图像的相机。

然而，在许多应用中，所提供的图像可能不直接对应于期望的方向，或者可以需要更多图像。例如，针对自动立体显示器，要求超过两幅图像，并且实际上常常使用9-26幅视图图像。

为了生成对应于不同视图方向的图像，可以采用视点移位过程。这通常通过视图移位算法执行，所述视图移位算法使用针对单个视图方向的图像连同相关联的深度信息。

基于三维图像处理的应用的特定范例是虚拟现实应用。在典型的虚拟现实体验中，左眼和右眼视图图像可以连续地生成以用于例如虚拟现实头戴式受话器以匹配由用户对取向的移动和改变。动态虚拟现实视图的这样的生成通常基于表示对应于虚拟现实环境的给定场景的3D图像数据的处理。例如，虚拟现实服务器可以基于三维模型或者三维图像(诸如由光强度图像和深度图、或纹理图和深度网格表示的图像)生成针对特定视图的视图图像。

针对诸如虚拟现实应用的应用，图像的序列可以例如生成以随着由于用户实际上移动或者改变虚拟环境中的视图方向/取向的这些改变来反映用户的视图。在一些应用中，图像可以生成以反映观察者的取向上的改变，但是不支持区域中的移动。反映这样的情形的视图常常被称为全方向视频。在其他应用中，还可以支持移动查看位置以反映虚拟现实环境中的用户的虚拟移动。反映这样的情形的视频常常被称为沉浸式视频。用户的当前视图可以由描述针对视点的相关位置和方向参数的视图向量表示。

针对全方向视频，视图向量通常根据三个自由度(3DoF)描述取向，通常通过提供偏航、俯仰和滚动值(或方位角、仰角和倾斜)或四元数表示。

针对沉浸式视频，向量通常根据六个自由度(6DoF)描述取向和位置两者，通常通过为偏航、俯仰、滚动并且为三个空间维度提供值。

然而，在试图开发和支持支持可变视图位置和/或方向的灵活的视频和图像应用时的特定挑战在于，这些优选地不限于位置和/或方向的子集，但是理想地支持所有位置和/或方向。例如，针对6DoF沉浸式视频，观察者可以从任何位置并在任何方向上查看场景。这需要3D信息可用于场景的所有部分并且来自所有位置并用于所有方向。该要求对于在许多实际应用中满足而言困难或不可能，诸如特别地其中3D数据基于现实世界场景的捕获的应用。

对象的位置和方向/取向的组合在视场中通常被称为放置或姿势。因此，放置或者姿势可以包括六个值/分量，其中，每个值/分量描述对应的对象的位置/定位或取向/方向的个体性质。当然，在一些情况下，放置或姿势向量可以具有更少的分量以表示位置和取向，例如如果一个或多个分量被认为是固定的(例如如果所有对象被称为在相同高度和水平处，四个分量可以提供对象的姿势的完全表示)。

要解决的最困难的挑战之一在于，如何有效地捕获场景，使得可以生成场景的表示，其提供足够的信息以允许足够高质量的适合的视点图像被生成，但仍允许表示容易传递、存储、调整和/或处理。

许多应用基于使用深度感测相机捕获现实世界场景或环境。这允许视觉性质与三维信息一起被捕获。为了足够准确并且完整地捕获场景，常常采用多个并且常常大量的相机的使用。在一些应用中，10、20或甚至更多个相机被用于提供令人满意的捕获。

捕获的信息的使用可以在不同应用中是不同的。例如，在一些实施例中，捕获的数据可以被用于开发现实世界场景的三维模型。用于被提供有三维虚拟现实体验的用户的视图图像可以然后通过从特定视点评价模型来生成。在其他应用中，针对特定视口或视点的图像可以直接根据捕获的图像和深度信息生成，例如通过最近捕获的图像中的一幅或多幅并且执行视点移位以对应于期望的视点。

通常，针对多视图相机捕获系统的校准包括不同的方面：

1、对相机传感器中的每个固有的参数的校准：

a)透镜焦距和畸变模型，

b)传感器大小、分辨率、位置和取向

2、对每个相机固有的参数的校准，即，相机节点相对于彼此的取向和位置。

特别地，第二点常常是困难并且关键的。为了准确地处理捕获的数据例如以生成针对期望的视点的图像，重要的是捕获场景的深度感测相机的放置已知具有足够高的准确度和可靠性。特别地，通常要求深度感测相机相对于彼此的相对放置准确地已知，使得可以可靠并且准确地组合来自不同深度感测相机的捕获数据，无论通过生成中间模型还是通过直接地根据多幅捕获的图像生成图像。在许多应用中，针对放置确定的要求是非常苛求的并且难以实现。例如，在许多实际应用中要求方位角参数上的准确度是大约1°，或优选地实质上更低。

在一些应用中，准确放置信息可以通过具有已知放置参数的相机的仔细的准确并高度受控的定位和取向来确保。例如，可以使用深度感测相机的固定装备，其中，每个相机固定在已知位置处并且具有相对于其他相机的固定取向。然而，这样的方法在许多应用中是不实际或甚至不可能的。例如，如果大量的相机被使用和/或如果相机彼此远离，则将位置和取向手动地测量或者限制于高准确度通常是不实际的。此外，方法不适合于动态捕获应用，诸如在相机可以动态添加或从捕获系统移除时，或者其中，相机中的一个或多个可以是移动相机。

已经提出通过引入个体深度感测相机的位置的自动确定解决这样的问题。这可以例如通过使用包括在深度感测相机中的特定位置确定功能(诸如例如GPS功能)来实现。然而，这不仅要求深度相机传感器包括这样的功能，其实际上可能不是这种情况，但是还倾向于提供远离足够精确以确保不同相机之间的准确的确定的结果，特别地针对取向值。

还已经建议，放置信息可以从捕获的信息导出。特别地，已经提出图像匹配可以被用于从不同相机找到图像中的交叠图像区域，并且这还可以被用于导出关于相机的相对放置的信息。然而，方法倾向于是计算上非常密集的，因为图像匹配需要原则上考虑图像相对于所有其他捕获图像中的所有其他区域的所有区域。此外，已经发现方法倾向于给出次优并且通常相对不准确的结果。例如，防止不表示相同对象而是可以具有类似视觉性质的不同对象(或者来自非常不同的方向的相同对象)的图像区域之间的偶然匹配是困难的。这样的误匹配能够导致错误的放置确定，其能够在使用该放置信息组合来自不同相机的数据时导致显著的错误。

因此，用于捕获场景并且特别地用于确定用于捕获深度感测相机的放置信息的经改进的方法将是有利的。特别地，允许经改进的操作、增加的灵活性、促进的实施方式、促进的操作、降低的复杂性、降低的资源需求、经改进的准确度、更好的放置确定和/或经改进的性能的方法将是有利的。

发明内容

因此，本发明试图优选地单独地或以任何组合减轻、缓解或者消除上文所提到的缺点中的一个或多个。

根据本发明的方面，提供了一种用于根据由多个分布式深度感测相机捕获的场景的图像来生成场景的至少部分的表示的装置，所述装置包括：第一接收器，其用于接收由第一深度感测相机捕获的第一图像和由所述第一深度感测相机捕获的第一深度数据；检测器，其用于检测针对所述第一图像中的基准标记的图像位置性质，所述图像位置性质指示所述第一图像中的所述基准标记的位置，并且所述基准标记通过具有相对于第二深度感测相机的预定放置差异来表示第二深度感测图像相机的放置；放置处理器，其用于响应于所述图像位置性质、以及针对所述基准标记的图像位置的所述第一深度数据的深度数据、以及所述预定放置差异而确定指示所述第二深度感测图像相机相对于所述第一深度感测相机的放置的相对放置向量，所述相对放置向量是至少三维的；第二接收器，其用于接收由所述第二深度感测图像相机捕获的第二图像和由所述第二深度感测图像相机捕获的第二深度数据；生成器，其用于基于所述相对放置向量响应于至少所述第一图像和所述第二图像的组合而生成所述场景的至少部分的所述表示。

本发明可以允许捕获场景的深度感测相机的放置的经改进和/或促进的确定，从而允许场景的经改进的表示被生成。在许多实施例和情形中，可以执行非常准确的放置确定。

在实施例中，所述方法可以促进相机的放置并且实际上在许多应用中无关于所述放置的严格控制或者限制将是必要的。在许多应用中，所述系统可以能够自动或半自动地适应于所述相机的放置。可以常常实现捕获系统的基本上促进的设置。

所述方法可以允许动态变化的捕获配置利用例如动态引入和/或移除的相机和/或在环境中移动的相机来支持。

在许多实施例和情形中，所述方法可以允许所述场景的更准确和/或完整的捕获和表示。常常地，可以实现来自具有不同放置的不同相机的信息的实质上更准确的组合。

所述表示可以是描述所述场景的至少部分的视觉性质的数据表示。通常，所述数据表示可以包括用于所述场景的三维数据，诸如例如深度信息。

所述场景的表示可以是所述场景的三维模型和所述场景的一组一幅或多幅图像中的至少一个。一组图像可以对应于与来自不同视点的视口对应的一幅或多幅图像。所述表示可以生成例如作为纹理图和相关联的图、图像和潜在地相关联的深度图、三维结构和照明数据等。

放置可以是指位置和/或取向。所述相对放置向量可以包括一个或多个位置值和/或一个或多个取向值。在许多实施例中，放置向量可以提供三维位置和/或三维方向指示。

在许多实施例中，所述相对放置向量包括至少三个分量，和/或通常可以指示第一深度感测相机与第二深度感测相机之间的相对位置和相对取向两者。

取向可以由选自俯仰、偏航、滚动分量或者选自方位角、仰角和倾斜分量的一个或多个分量给出。

所述相对放置向量可以指示所述第一深度感测相机的位置与所述第二深度感测相机的位置之间的平移。所述相对放置向量可以指示从所述第一深度感测相机到所述第二深度感测相机的方向。

所述放置处理器可以被布置为基于所述基准标记与所述第二深度感测相机之间的已知关系的假定来生成所述相对放置向量。其可以特别地基于所述基准标记的放置与所述第二深度感测相机的放置之间的假定关系来生成所述相对放置向量。所述放置处理器可以被布置为基于所述基准标记的位置与所述第二深度感测相机的位置之间的假定关系来生成所述相对放置向量。所述放置处理器可以被布置为基于所述基准标记的取向与所述第二深度感测相机的取向之间的假定关系来生成所述相对放置向量。

第一深度感测相机和第二深度感测相机可以被布置为具有对应于所述第一图像和所述第二图像的视口的交叠。

第一深度感测相机和第二深度感测相机可以是包括多个空间分布的深度感测相机的捕获系统的一部分，其中，所述相机具有不同的放置，诸如不同的位置和/或取向。

所述相对放置向量可以指示第一深度感测相机与第二深度感测相机之间的位置和/或取向偏移或差异。预定放置差异指示基准标记的放置与第二深度感测相机的放置中的差异。

根据本发明的任选特征，所述生成器被布置为生成所述表示作为来自与所述第一深度感测相机和所述第二深度感测相机的视点不同的视点的场景的图像。

所述方法可以提供所述场景的图像的经改进的生成，并且可以特别地常常提供所述场景的较高的质量和/或较好的覆盖。所述不同的视点可以具有不同的位置和/或取向。

根据本发明的任选特征，所述生成器被布置为基于所述第一深度数据和所述第二深度数据将至少所述第一图像和所述第二图像组合。

在许多实施例中，这可以提供经改进的性能，并且可以例如允许、改进和/或促进视点移位以用于从不同视点生成图像。

根据本发明的任选特征，所述生成器包括：包括：接收器，其用于接收针对多对深度感测相机的相对放置向量；坐标处理器，其用于响应于所述相对放置向量而确定针对述多个相机中的每个相机的公共坐标系中的深度感测相机放置，并且其中，所述生成器被布置为响应于相同坐标系中的所确定的相机放置而生成所述图像。

所述方法可以允许灵活的但是准确的场景捕获系统被开发。特别地，其可以允许许多相机有效地组合为提供增强的覆盖和/或经改进的质量的相干捕获系统。所述方法可以特别地促进或者启用大量的相机之间的交互工作，并且此外可以有效地支持改变配置，例如由于相机被添加或者移除，或者由于移动相机。

根据本发明的任选特征，所述坐标处理器被布置为响应于成本函数的最小化而确定所述深度感测相机放置，所述成本函数取决于所述相对放置向量与根据所述公共坐标系中的所确定的深度感测相机放置确定的对应的放置向量之间的差异。

这可以允许特别高效的方法并且可以允许来自大量的相机的相对放置信息的高效组合以生成用于捕获系统的相干放置表示。

在一些实施例中，初始估计相机放置可以由所确定的放置数据确定而不依赖于所述第一图像，诸如例如GPS位置功能。

根据本发明的任选特征，还包括：第二检测器，其用于检测用于所述第二图像中的第二基准标记的第二图像位置性质，所述第二图像位置性质指示所述第二图像中的第二基准标记的位置第二检测器，其用于检测针对所述第二图像中的第二基准标记的第二图像位置性质，所述第二图像位置性质指示所述第二图像中的所述第二基准标记的位置，所述第二基准标记通过具有相对于所述第一深度感测相机的第二预定放置差异来表示所述第一深度感测图像相机的放置；以及第二放置处理器，其用于响应于所述第二图像位置性质、以及针对所述第二基准标记的图像位置的所述第二深度数据的深度数据、以及所述第二预定放置差异来确定指示所述第一深度感测图像相机相对于所述第二深度感测相机的位置的第二相对放置向量，所述第二相对放置向量是至少三维的；并且其中，所述生成器还被布置为响应于所述第二相对放置向量而生成所述表示。

这可以促进和/或改进所述场景的表示的生成。

根据本发明的任选特征，所述基准标记的视觉性质指示所述第二深度感测相机的身份，并且所述检测器被布置为响应于所述视觉性质而确定所述第二深度感测相机的所述身份。

这可以促进和/或改进所述场景的表示的生成。其可以特别地促进用于捕获包括大量的相机的系统的自动放置配置确定。

所述生成器可以被布置为响应于检测到的身份而将所述第二图像和所述相对放置向量链接。所述检测器可以被布置为通过基于所确定的身份从多个接收到的图像选择所述第二图像，响应于检测到的识别而将所述第二图像和所述相对放置向量链接。

根据本发明的任选特征，所述相对放置向量包括至少一个取向值。

在许多情形下，这可以提供经改进的性能。至少一个取向值可以是以下各项中的至少一项：滚动、俯仰、偏航、方位角、仰角和倾斜值。

根据本发明的任选特征，所述放置处理器被布置为响应于所述基准标记的旋转变化视觉性质而确定所述至少一个取向值。

在许多情形下，这可以允许所述取向值的可靠和低复杂性确定，同时通常允许相对低复杂性基准标记被使用。

根据本发明的任选特征，所述放置处理器被布置为基于以下预定假定来确定所述相对放置向量：至少一个取向参数针对所述第一深度感测图像相机和所述第二深度感测图像相机是相同的。

这在许多情形下可以提供经改进的性能并且可以促进基本上降低不确定性程度的操作。所述放置处理器可以特别地被布置为基于对所述第一深度感测图像相机和所述第二深度感测图像相机是两者平/水平的预定假定来确定所述相对放置向量。

根据本发明的任选特征，所述装置还包括：捕获处理器，其用于响应于所述相对放置向量而确定所述场景的捕获性质，所述捕获性质指示所述场景如何由通过所述多个深度感测相机捕获的所述图像覆盖；以及用户接口，其用于生成指示所述捕获性质的用户输出。

所述装置可以提供指示所述场景的覆盖的用户反馈，从而例如帮助用户建立所述捕获配置。

根据本发明的任选特征，所述捕获处理器被布置为确定所述场景的至少部分，针对所述至少部分，捕获质量指示指示降低的质量，并且所述捕获处理器用于生成指示捕获所述场景的所述至少部分的深度感测图像相机的放置的用户输入。

所述装置可以提供指示所述场景的覆盖的用户反馈，从而例如通过指示用于设立所述相机的有利位置帮助用户设立所述捕获配置。

所述捕获质量指示可以特别地指示捕获所述场景的不同部分的多个相机。增加数目的捕获相机的指示可以指示增加的质量。所述捕获处理器可以特别地被布置为确定场景的至少部分，针对其，所述捕获质量指示指示捕获所述场景的相机的数目低于阈值。所述用户输出可以指示所述深度感测图像相机的放置，使得这将捕获通过小于相机的阈值当前捕获的场景的一部分。在一些实施例中，所述阈值可以是一个相机。

根据本发明的任选特征，所述生成器被布置为响应于所述第一图像和所述第二图像的图像匹配而修改所述相对放置向量。

这可以改进所得表示的准确度并且可以改进和/或促进所述第一图像和所述第二图像的组合。

根据本发明的任选特征，所述生成器被布置为响应于所述相对放置向量、所述第一图像和所述第二图像而生成所述场景的三维模型。

这可以提供经改进和/或促进的操作和/或性能。所述生成器可以被布置为响应于所述三维模型的评价而生成所述图像。

根据本发明的方面，提供了一种根据由多个分布式深度感测相机捕获的场景的图像来生成场景的至少部分的表示的方法，所述方法包括：接收由第一深度感测相机捕获的第一图像和由所述第一深度感测相机捕获的第一深度数据；检测针对所述第一图像中的基准标记的图像位置性质，所述图像位置性质指示所述第一图像中的所述基准标记的位置，并且所述基准标记通过具有相对于第二深度感测相机的预定放置差异来表示第二深度感测图像相机的放置；响应于所述图像位置性质、以及针对所述基准标记的图像位置的所述第一深度数据的深度数据、以及所述预定放置差异而确定指示所述第二深度感测图像相机相对于所述第一深度感测相机的放置的相对放置向量，所述相对放置向量是至少三维的；接收由所述第二深度感测图像相机捕获的第二图像和由所述第二深度感测图像相机捕获的第二深度数据；并且基于所述相对放置向量响应于至少所述第一图像和所述第二图像的组合而生成所述场景的至少部分的所述表示。

本发明的这些和其他方面、特征和优点将根据在下文中所描述的(一个或多个)实施例而显而易见并且参考在下文中所描述的(一个或多个)实施例得以阐述。

附图说明

将仅通过范例参考附图描述本发明的实施例，其中：

图1图示了包括多个深度感测相机的捕获配置的范例；

图2图示了包括多个深度感测相机的捕获配置的元件的范例；

图3图示了包括多个深度感测相机的捕获配置的元件的范例；

图4图示了根据本发明的一些实施例的装置的范例；

图5图示了根据本发明的一些实施例的装置的范例；

图6图示了包括多个深度感测相机的捕获配置的元件的范例；并且

图7图示了根据本发明的一些实施例的装置的范例。

具体实施方式

以下描述聚焦于适用于基于来自多个分布式深度感测相机的图像(包括视频)捕获生成场景的数据表示的本发明的实施例，诸如通常包括10、20或甚至更多相机的捕获系统。然而，将意识到，本发明适用于包括仅具有捕获场景的几个深度感测相机的系统的许多捕获系统。

图1图示了捕获系统的范例，其中，相对大量的深度感测相机捕获场景，其在范例中由三个中心对象O1-O3表示。每个深度感测相机N1-N7由还指示相机的视口/视角的黑色三角形表示。应当注意，然而图1图示了八个相机的使用，实质上更大的数目可以使用在许多实际系统中，并且实际上所图示的八个相机可以看作表示实质上更大数目的相机。

捕获配置中的深度感测相机也被称为配置的节点，并且放置信息(通常参考公共坐标系)的确定被称为相机/节点的配准。通常，节点的配准可以在中央服务器或者配准单元处执行，其可以收集用于配置中的所有节点/相机的放置信息。

在领域中，术语放置和姿势被用作用于位置/或方向/取向的公共术语。例如对象、相机、头部或者视图的位置和方向/取向的组合可以被称为姿势或者放置。因此，放置或者姿势指示可以包括六个值/分量/自由度，每个值/分量通常描述对应的对象的位置/定位或取向/方向的个体性质。当然，在许多情况下，放置或姿势可以由更少的分量表示，例如如果一个或多个分量被认为是固定或不相关的(例如如果所有对象被认为在相同高度处并且具有水平取向，则四个分量可以提供对象的姿势的全部表示)。在以下中，术语姿势被用于指可以由一到六个值(对应于最大可能自由度)表示的位置和/或取向。

大量的相机的使用可以实质上改进场景的捕获并且可以特别地提供额外信息、增加的覆盖等。这可以允许场景的数据表示的经改进的生成，例如作为图像集或作为三维模型。然而，为了有效地组合由个体相机所提供的信息，重要的是准确地确定每个相机的特定放置。因此，用于每个节点的配准数据必须是准确的。在许多实施例中，相机的取向的准确度必须例如约为仅1°或优选地甚至更小。然而，用于许多相机的这样的放置确定和配准和高准确度实际上常常非常难以实现。

例如，尽管诸如例如由飞行时间或立体相机节点测量的三维场景结构信息可以被用于配准多个节点，但是实际上实现准确的结果通常是非常困难的。例如，在图1的范例中，存在情形，其中，对应于节点1(N1)的深度感测相机和对应于节点2(N2)的深度感测相机两者可以捕获场景的三维信息。针对节点1和节点2处的相机，单独基于场景几何结构的校准可以使用例如对于异常值(例如由于阻塞)鲁棒的点配准方法可能。这样的校准方法可以被用于确定将节点2的坐标系变换为节点1的坐标系的旋转矩阵和平移向量。

然而，这样的基于场景的方法在试图将节点1与例如节点3配准时是困难的，因为用于这些节点的相机看到对象1、2和3的不同侧，其意指将存在非常有限的特征对应。因此，节点1和节点3的相对放置基于场景的捕获实际上不可行，因为场景的对应特征由两个相机非常不同地捕获，或者实际上不可以由相机之一捕获。

可能方案可以是试验所有节点对并且看配准过程针对每个对多么成功，并且然后仅使用实现成功配准的对。实际上，这将倾向于导致多个不同的问题，包括单独地基于场景点评估配准过程的质量是非常困难的。

依赖于场景结构的另一缺点在于，3D场景结构可以不非常向配准过程提供信息并且可以不为匹配的不同相机/节点提供适合的信息。例如，如果在用于相机的每个视口中可见的全部是平坦地面或反射面，那么不存在使能放置确定的场景结构。尽管这可以通过还使用图像纹理确定配准参数减轻，但是其仍然倾向于导致不准确和/或不可靠的配准。

另外，这样的方法倾向于是复杂和资源苛求的并且倾向于不适合于动态地改变捕获配置，诸如在相机被添加和移除的情况下。特别地，其倾向于不适合于其中使用移动相机的捕获情形，诸如使用无人机上的一个或多个相机的配置。针对许多这样的系统，配准/校准必须不仅实时而且在低延时的情况下(通常在20毫秒内)执行。

可以促进配准/放置确定的方法是在场景中的各种位置处添加标记，使得这些标记可以由相机捕获。这样的范例在图2中图示，其可以表示具有观察包括单个标记的场景的两个相机节点的范围感测相机系统的简单范例。这两个节点观察包括标记的公共场景，而不是彼此。然而，仅基于标记的深度测量结果和每个相机的固有参数的知识，相机不能定位在公共坐标系中，因为(1)围绕平移向量的旋转是未知的，并且(2)平移向量之间的角是未知的。因此，合并两个相机的捕获的3D图像是不可能的。

为了执行节点1与2之间的配准，至少三个基准标记应当对这两个节点可见，因为存在三个未知参数。然而，这可以不仅通过要求大量的标记被添加使捕获操作更困难，而且倾向于使这些更突出并且引人注意。

在以下中，将使用可以在许多实施例中提供经改进的性能的特定方法。在范例中，方法不单独依赖于场景结构，而是基于使用特别地与深度感测相机的放置链接的基准标记。基准标记可以是放置在成像系统的视场中的对象，使得其可以在产生的图像中的一幅或多幅中出现。基准标记可以由系统用作参考点。

在方法中，基准标记不仅仅是可以在不同的图像中检测和参考的标记，而是表示深度感测相机的位置。

在大多数实施例中，基准标记可以与深度感测相机共同定位，并且特别地每个相机可以被提供有基准标记。因此，基准标记可以特别地在实质上与深度感测相机相同的位置处并且利用直接地反映深度感测相机的取向的取向被定位。

基准标记具有相对于对应的深度感测相机的预定放置差异。因此，预定放置差异是基准标记的放置与深度感测相机的放置之间的已知/预定差异。预定放置差异可以是放置偏移。预定放置差异可以特别地是预定位置偏移(通常在两个或三个维度上，但是在一些实施例中位置偏移可以在仅一个维度上)。预定放置差异可以特别地是预定取向偏移(通常在一个、两个或三个维度上)。

在许多实施例中，基准标记可以直接放置在深度感测相机上，并且预定放置差异可以常常是零，即，基准标记的放置与深度感测相机的放置相同。在其他实施例中，基准标记可以例如附着到保持相机的三脚架，并且预定放置差异反映基准标记与深度感测相机之间的位置和/或旋转/取向偏移。

在许多实施例中，预定放置差异可以是例如用于相对于深度感测相机定位基准标记的标准化或通常接受的方法，例如，可以规定基准标记被定位在相机上，其具有与相机相同的取向(例如附着到还具有深度感测相机的透镜的表面)。

在其他实施例中，预定放置差异可以在基准标记的设置和定位期间确定。例如，在给定情形下，用户可以决定基准标记被附着到相机下面的三脚架并且可以例如将用于预定放置差异的对应值输入到系统中用于后续校准过程中(例如可以输入基准标记附着在深度感测相机(透镜)下面20cm)。

在许多实施例中，基准标记可以与对应的深度感测相机刚性对齐。基准标记可以与深度感测相机共动，即，深度感测相机的放置的改变将导致基准标记的放置的对应的改变(反之亦然)。基准标记可以具有关于/相对于对应的深度感测相机的固定位置和/或取向。在一些实施例中，预定放置差异可以在校准会话之间改变，但是将在基于校准标记确定对应的深度感测相机的相对放置的校准过程的开始之前已知(或者假定为已知)。

预定放置差异可以特别地是假定的预定放置差异。例如，可以规定基准标记应当定位在深度感测相机上，并且因此预定放置差异将指示这一点，即，其可以特别地是零。当然可能的是，用户(例如无知的助理)可能犯错误并且例如将基准标记放置在保持相机的三脚架上。预定放置差异将仍反映基准标记的假定的正确放置，即，预定放置差异可以仍然是零并且校准将使用(假定的)预定放置差异执行。在这种情况下，因此，预定放置差异反映基准标记与深度感测相机之间的正确放置差异，然而实际差异可以是不同的。这可能导致确定生成错误或者至少不准确的深度感测相机的估计放置的相机(最可能)的位置的校准过程。然而，当然不出所料的是，错误结果可能导致特定情形。其中，犯错误并且过程基于的假定和假设因此未满足。

在一些实施例中，预定放置差异可以特别地是指示基准标记的放置与对应的深度感测相机的放置之间的偏移的放置差异向量。例如，预定放置差异可以由指示三个位置维度和三个取向维度中的偏移的六值向量表示。

以这种方式，因此，给定基准标记的放置的确定还是对应的深度感测相机的放置的确定。

如稍后将更详细地描述的，在许多实施例中，基准标记可以被设计为使得其可以被用于每个深度感测相机节点的识别并且用于单个公共坐标系中的每个节点的准确配准。

因此，基准标记可以特别地定位在或者紧接地邻近于每个相机以识别相机和相机的放置两者。因此，基准标记通过具有相对于深度感测相机的预定放置差异来表示链接到基准标记的深度感测相机的放置。在一些实施例中，可以存在基准标记的放置与深度感测相机的放置之间的差异，但是该差异可以为系统所知，因为其是预定差异。因此，如果基准标记的放置与深度感测相机的放置之间的差异是已知的，则基准标记的放置的确定固有地还确定相关联的深度感测相机的放置。

在不同实施例中，可以使用具有不同性质的不同基准标记，并且基准标记可以具有用于放置检测和节点识别的各种形状，包括例如：

·用于与用于识别的(简单)QR型代码同位定位的球体的组合。

·不同大小的球体，其中，大小被用作标识符。时间平均改进球体大小估计的准确度。

·不同大小、颜色和/或图案的球体，其中，这些外观变化被用作标识符。球体识别概率的时间聚集可以改进球体大小估计的准确度。

·如上文所描述的一组基准标记，其中，标记的组合唯一地识别相机节点并且提供相对取向中的第一个。

·具有用于识别的唯一时间代码的发光二极管(LED)。LED可以是白色、RGB或IR，这取决于什么类型的相机传感器在相机系统中。

方法可以特别地被用于找到深度感测相机对之间的相对放置，并且在具有更大数目的相机的实施例中，可以针对多个对生成这样的相对放置，其中，所得的相对放置随后地被用于将所有深度感测相机放置在公共坐标系中。

用于一对深度感测相机/节点的方法可以由图3图示。范例图示了包括两个节点的捕获配置，每个具有用于识别和配准的目的的基准标记。对两个深度感测相机进行定位，使得节点在彼此的视线内。由于深度感测相机的传感器观察到彼此，因此其相对放置可以被确定而不要求其他外部标记。如果基准标记指示相机的取向，则可以确定一个深度感测相机相对于另一个的相对取向。例如采取为起始取向(例如用于节点1的3D单位向量)，相对于该向量(α1)的连接这两个节点的线的取向可以使用用于节点1的固有参数确定。最后，节点2的取向可以使用用于节点2的固有参数相对于连接线(α2)确定。

仅剩余未知是关于平移向量的相机的公共旋转，即，相机对配置相对于外部环境/公共坐标系的取向。然而，通过准确地调平相机节点或添加外部基准标记，也可以确定这一点并且可以确定这两个深度感测相机的放置。

图4图示了用于使用上文所描述的方法根据由多个分布式深度感测相机捕获的场景的图像生成场景的至少部分的表示的装置的范例。

装置包括第一接收器401，其被布置为接收由第一深度感测相机捕获的第一图像和相关联的第一深度数据。因此，第一接收器401可以被布置为接收由第一深度感测相机捕获的第一图像和由第一深度感测相机捕获的第一深度数据。例如，图像和相关联的深度图可以从立体相机(在视差估计之后)或者范围深度感测相机接收。第一深度感测相机可以特别地对应于图3的节点N1。第一深度数据可以是指示针对第一图像的深度的任何数据。第一深度数据可以是深度图，而且可以是其他深度数据，包括例如基于网格的模型或由另一图像指示的视差信息。

类似地，装置包括第二接收器403，其被布置为接收由第二深度感测相机捕获的第二图像和相关联的第二深度数据。因此，第二接收器403可以被布置为接收由第二深度感测图像相机捕获的第二图像和由第二深度感测图像相机捕获的第二深度数据。例如，图像和相关联的深度图可以从立体相机(在视差估计之后)或者范围深度感测相机接收。第二深度感测相机可以特别地对应于图3的节点N2。第二深度数据可以是指示针对第二图像的深度的任何数据。第二深度数据可以是深度图，但是也可以是其他深度数据，包括例如基于网格的模型或由另一图像指示的视差信息。

装置可以被布置为基于由第一深度感测相机捕获的图像并且特别地基于由第一深度感测相机捕获的图像中的第二深度感测相机的基准标记的方向和相关联的深度数据，来确定指示第二深度感测相机的放置的相对放置向量。参考位置参数向量还基于预定放置差异，即，确定基于基准标记相对于第二深度感测相机的放置的预定知识。在许多实施例中，预定放置差异可以是零，并且因此，参考位置参数向量可以基于基准标记的放置来确定，因为基准标记的放置和深度感测相机的放置相同。

第一接收器401耦合到检测器405，其被布置为检测用于第一图像中的基准标记的图像位置性质。图像位置性质指示第一图像中的基准标记的位置。

检测器可以具有与基准标记的视觉(并且可能地深度)性质有关的信息，并且可以搜索用于对应于基准标记的视觉(并且可能地深度)的对象的图像。在许多实施例中，检测器405可以具有潜在基准标记的一般视觉性质的先验信息，并且可以特别地具有用于所有基准标记的公共参数的信息。其然后可以搜索具有这些性质的对象的图像，并且如果发现，则其将确定对应的图像位置。其还可以行进到分析基准标记的特定性质以识别例如基准标记的取向以及指示与基准标记相关联的相机(即，在特定范例中第二深度感测相机)的身份的性质。

在一些实施例中，检测器405可以额外地考虑对应的深度图的深度值。例如，基准标记可以具有已知的3D几何结构/大小，并且基准标记的检测可以通过还考虑深度图促进和/或更准确和/或可靠，并且特别地如果这呈现匹配针对基准标记预期的那些特性的特性。

检测器405可以被认为基于由第一深度感测相机提供的信息中的任何来检测图像位置性质。在许多实施例中，其可以仅基于第一图像，但是更常见地其还可以考虑深度信息，其例如可以由不同相机之间的差异表示。作为特定范例，基于来自立体相机的输出，检测器405可以单独使用纹理检测左和右图像中的标记并且使用每标记水平上的差异估计以降低误警报(通过将标记标度与差异匹配)。这样做的一个原因可能是，可以用于最后场景表示的全图像密集差异估计算法计算上太密集以致于不能实时运行。

检测器405耦合到放置处理器407，其被布置为确定指示第二深度感测图像相机相对于深度第一深度感测相机的放置的相对放置向量。放置处理器407还基于第一深度数据来确定相对放置向量。

确定还基于预定放置差异。这可以是预定放置差异的直接考虑，例如通过评价预定放置差异向量的值。在其他实施例中，预定放置差异可以固定地包括在确定方法中，例如通过基准标记的所有确定位置在进一步使用之前偏移给定值。在一些实施例中，预定放置差异已知是零并且对应于基准标记和深度感测相机的放置相同。在这种情况下，预定放置差异可以通过相对放置向量被确定用于基准标记并且然后还被用于深度感测相机固有地包括在确定相对放置向量中。

作为范例，通过分析基准标记的图像位置，放置处理器407可以确定基准标记相对于相机位置被发现的方向，因为这取决于从相机的方向与对应于这些相机的图像位置之间的映射。因此，图像位置可以允许放置处理器407计算从第一深度感测相机朝向基准标记并且因此第二深度感测相机的相对方向。

此外，基于第一深度数据，可以确定对应于基准标记的图像对象的估计深度，并且据此到基准标记、并且因此第二深度感测相机的对应距离可以被确定。以这种方式，可以确定从第一深度感测相机到第二深度感测相机的相对方向和距离。

此外，如果基准标记是旋转变化的(即，围绕所确定的方向的旋转导致第一深度感测相机的基准标记的不同的外观)，则放置处理器407可以检测图像中的基准标记的旋转。因此，其可以确定第二深度感测相机相对于第一深度感测相机的取向，并且特别地第二深度感测相机围绕互连线的旋转。

因此，在一些实施例中，放置处理器407可以被布置为响应于基准标记的旋转变化视觉性质来确定至少一个取向值。旋转变化视觉性质可以例如作为旋转变化图案提供在具有旋转不变形状的基准标记上。

因此，放置处理器407可以特别地确定相对放置向量，其定义第二深度感测相机相对于第一深度感测相机的相对位置和相对取向两者。相对放置向量可以特别地包括指示相对位置的三个值和指示相对取向的一个或多个值。例如，在一些实施例中，取向可以被提供为指示预定义平面内的第二深度感测相机相对于第一深度感测相机的相对旋转的单个值。

因此，相对放置向量至少提供第一深度感测相机与第二深度感测相机之间的三维位置差异。另外，其将通常包括用于第二相机的至少一个取向值。

放置处理器407可以例如被布置为响应于第一深度感测相机的放置和第一图像中的基准标记的第一位置的深度值而确定用于基准标记的空间位置。例如，基准标记的空间位置可以被确定为第一深度感测相机的位置在第一深度相机的视图方向/取向上偏移深度值。相对放置向量然后可以通过使基准标记的空间位置偏移预定放置差异来确定。

放置处理器407被耦合到生成器409，其还耦合到第一接收器401和第二接收器403。生成器409被馈送相对放置向量以及第一图像和第二图像并且通常还有第一深度图和第二深度图。

生成器409被布置为基于相对放置向量并且通常还基于第一深度图和第二深度图响应于至少第一图像与第二图像的组合而生成场景的至少部分的表示。

在许多实施例中，场景(的一部分)的表示可以是图像表示，并且可以特别地是对应于针对(一个或多个)给定视点的视口的一幅或多幅图像。例如，基于接收到的第一图像和第二图像和相对放置向量，图像生成器105可以生成示出来自两个相机之间的视点的场景的图像。在这样的情况下，两幅图像可以通过一幅图像为在另一图像中遮挡的区域提供信息来彼此补充。

更一般地，相对放置向量可以被用于将第一深度感测相机和第二深度感测相机定位在还给定视点的坐标系中。生成器409然后可以通过基于第一图像和第二图像并且基于第一深度图和第二深度图进行视图移位来生成用于视点的视口的图像。

作为相对放置向量的确定和图像的后续生成的特定范例，这两幅深度图可以首先转换为网格，例如通过根据深度图的2x2像素的正方形创建两个三角形。来自每个相机的图像现在可以直接用作纹理以合成两个捕获相机之间的新虚拟视点的图像。结果是两幅合成图像，这些中的每个从不同的捕获相机翘曲。两幅合成图像可以通过分析存在于图形引擎(诸如OpenGl或Vulkan)中的所得深度缓冲器合并到最后图像中。在翘曲之后的深度缓冲器的分析指示两个合成视图中的哪一个必须被使用。例如，如果第一合成图像的深度缓冲器比第二合成图像接近于相机，那么第二合成图像必须用在该像素处，因为其明显地成像去遮挡的背景纹理。

在许多实施例中，装置还可以被布置为也执行相反的操作，即，其可以确定指示如从第二深度感测相机看到的第一深度感测相机的相对放置的第二相对放置向量。在这样的情况下，因此，装置可以包括第二检测器，其重复检测器405的操作，但是代替地试图检测表示第二图像中的第一深度感测相机的位置的第二基准标记。其还可以包括第二放置处理器，其重复放置处理器407的操作以根据图像、深度数据、第二基准标记相对于第一深度感测相机的预定放置差异、第二图像中的第二预定和检测图像位置来确定第二相对放置向量。将意识到，第二检测器和第二放置处理器可以分别由图4的检测器405和放置处理器407实施，这重复与在确定第一相对放置向时相同的操作，但是翘曲第一图像和第二图像以及第一深度图和第二深度图，并且检测第二基准标记而不是第一基准标记(在执行个体基准标记搜索的情况下)。

在这样的情况下，因此，相反的操作被执行，第一深度感测相机和第二深度感测相机的相对放置根据第一深度感测相机的视点并且根据第二深度感测相机的视点两者确定。

在这样的实施例中，生成器409可以行进到使用第一和第二所确定的相对放置向量两者以生成表示并且特别地针对不同视点的图像。作为范例，生成器409可以继续根据第一相对放置向量和第二相对放置向量确定平均相对放置向量，并且生成器409然后可以将该平均相对放置向量用于图像生成。

如先前所提到的，在许多实施例中捕获配置可以包括大量的相机，诸如例如10、20或甚至超过50个相机。在这样的情形下，针对一对相机上文所描述的方法可以针对多对相机重复，其中，因此生成多个相关的相对放置向量。这些相关的相对放置向量然后可以行进到生成场景的表示，诸如例如一组图像或在许多实施例中场景的模型。

在这样的系统中，装置可以例如从所有深度感测相机接收图像和/或深度图。其然后可以行进到针对所有相机对执行上文所描述的过程。其可以特别地针对每个对生成两个相对放置向量，一个相对放置向量基于该对的每个相机(或等效地不同的方向可以被视为不同对，其中，每个对导致一个相对放置向量)。

在这样的系统中，哪些相机对于其他相机可见通常是未知的，并且检测器405可以被布置为执行处理以解决这样的不确定性。例如，针对给定第一深度感测相机，接收到的第一图像可以针对可能的其他相机中的每个被处理。例如，上载图像和深度图的每个相机还可以上载附接到该相机的基准标记的描述。针对第一相机，检测器405然后可以顺序地处理用于所有其他相机的第一图像。其可以特别地针对给定相机针对具有对应于由给定相机报告的那些性质的性质的基准标记来搜索图像。如果未发现匹配，则检测器405行进到下一相机。然而，如果发现匹配，则第一相机行进到生成如上文所描述的相对放置向量。在所有潜在的相机已经被处理之后，装置行进到第一相机并且重复该过程。

在许多实施例中，检测器405可以代替地搜索图像以找到可以对应于基准标记的任何图像对象，例如基于用于基准标记的一般视觉(和/或深度)性质。针对每个检测到的潜在基准标记，检测器405然后可以行进到评价可以识别与基准标记相关联的相机的基准标记的特定性质。例如，特定图案(例如QR代码)可以唯一地识别检测到的基准标记/相机。基于该检测，装置可以行进到识别用于检测到的相机的接收图像和深度图。

识别可以例如通过给定每个基准标记独特外观(形状、颜色、图案等)或者通过使用发送识别代码的有源(例如LED)标记来启用。

以这种方式，针对每个节点/相机，从相机可见的其他节点的子集可以被检测，并且然后可以识别和定位。因此，针对每个节点，生成从该相机映射到其他相机的一组相对放置向量。特别地，相对放置向量可以包括指示位置的差异的平移向量，并且另外，至少一个取向/方向参数可以被包括。

因此，过程导致生成反映相机的相对放置的通常大量的相对放置向量。基于这些相对放置向量，生成器409可以将相机配准在公共坐标系中。配准过程可以特别地针对每个节点确定旋转矩阵和将节点放置在公共坐标系中的平移向量。

如图5中所图示的，生成器409可以包括接收器501，其接收所有所生成的相对放置向量。接收器501耦合到坐标处理器503，其被布置为基于相对放置向量来确定公共坐标系中的相机放置。生成器409然后可以根据该配置生成场景的表示。例如，表示可以被提供为配准数据的组合，即，描述单个坐标系中的所有相机的位置的数据，以及接收到的图像和深度图。

图6图示了第三相机可以如何被配准的范例。在范例中，节点2和3(N2、N3)可能已经配准，即，其放置可以是已知的。此外，生成器409可以知道节点1(N1)相对于节点2和3的相对放置向量。因此，生成器409从节点2或节点3知道节点1的位置，并且知道节点1的3D取向，因为节点1观察节点2和3。因此，范例示出了三个节点的配置，其中，节点1看到两个其他节点2、3，每个具有用于识别和配准的目的的基准标记。由于节点2和3可以两者确定其相对于节点1的放置，因而来自所有三个节点的3D数据可以放置在公共坐标系中。由于节点1观察到节点2和3两者的距离，因而额外检查/过滤操作在节点2和3的相对位置确定上是可能的。

不同的方法和算法可以被用于确定公共坐标系中的深度感测相机的放置。在许多实施例中，坐标处理器503可以被布置为在考虑所有相对放置向量的情况下执行联合优化过程。

特别地，可以定义成本函数，其取决于(测量的)相对放置向量与产生于公共坐标系中的节点的放置的对应的(经调节的)相对放置向量之间的差异。

特别地，在公共坐标系中，两个节点之间的经调节的相对放置向量产生于这两个节点的分配放置。随着放置改变，指示分配放置之间的差异的经调节的相对放置向量也改变。

成本函数可以包括该经调节的相对放置向量与由如先前所描述的测量结果所确定的对应的测量的相对放置向量的比较。因此，将产生于两个相机的分配放置的经调节的相对放置向量与用于两个相机的测量的相对放置向量进行比较，并且差异越大，成本函数的值越大。成本函数可以包括用于所有相机对的测量的相对放置向量中的每个的比较。

坐标处理器503然后可以改变分配放置以找到成本函数最小化并且对应的配置可以配准的优化分配。

将意识到，用于这样的优化操作的各种技术和算法将为技术人员所已知并且因此为了简洁起见将不在本文中进一步描述。

在许多情形下，优化可以由其他信息辅助。例如，节点/相机的初始位置可以基于其他功能来分配，诸如例如基于来自包括在每个相机中的GSP位置估计的位置信息。

在一些实施例中，放置处理器407可以被布置为基于至少一个取向参数针对第一深度感测图像相机和第二深度感测图像相机为相同的预定假定来确定相对放置向量。例如，在许多实施例中，放置处理器407可以基于假定第一相机和第二相机被定位，使得其是水平并且完全水平的。

这样的方法可以允许放置处理器407降低未知变量的数目并且因此可以促进相对放置向量的确定。更显著地在许多实施例中，它可以促进公共坐标系中的节点的配准。特别地，其可以允许更高效的优化过程，其中，例如可以使用更简单的成本函数。

作为特定范例，假定我们将每个深度感测相机放置在具有固定/标称高度和粗略水平的三脚架上(例如如使用流体方法中的常规气泡在放置期间测量的粗略水平)。由于所有相机近似地在高于地表面的相同(已知)高度和近似水平处，我们可以开始迭代搜索算法，其中，三个取向角中的两个在用于每个相机的零度处并且还在给定高度处初始化。因此，迭代成本最小化算法将更接近于最小值并且存在更少未知数要确定。这意指收敛将是更快的。此外，我们可以约束解决方案不太远离已知先验取向和高度运行。

如先前所描述的，在许多实施例中，系统可以通过特别地根据捕获的图像和深度信息生成的一幅或多幅图像生成场景的一部分的表示。实际上，在一些实施例中，表示可以简单地是根据捕获的图像和深度图并且基于使用配准信息的组合生成的场景的单幅图像。例如，视图移位算法可以适用于一幅图像，去遮挡区域从来自基于放置信息选择的其他相机的图像填充。以这种方式，可以生成来自除相机视点之外的其他视点的图像。

作为另一范例，在一些实施例中，生成器409可以被布置为基于相对放置向量并且特别地基于公共坐标系中的所有相机的配置来生成场景的三维模型。

例如，每个相机的每个深度测量结果可以被用于填充预定义的3D体积/阵列。在该填充操作之后，非空像素的集合形成3D体积表示。体积的外部表面上的位置可以转换为网格以表示3D模型。

所描述的装置的功能的分布在不同的实施例中可以是不同的，这取决于个体实施例和应用的偏好和要求。

在一些实施例中，装置可以被实施为所有相机向其发送捕获的图像和深度信息的独立中央设备或服务器。在其他实施例中，功能可以分布在捕获系统中。例如，检测器405可以被实施在每个相机中，并且检测到的图像位置可以被传递到中央设备，其实施放置处理器407和生成器409，并且因此行进到生成概率值和表示。在另外其他实施例中，检测器405和放置处理器407可以实施在每个深度感测相机中，并且所得的相对放置向量可以被发送到中央生成器409。

因此，主要描述已经聚焦于基于收集所有数据并且配准相机的主设备的网络拓扑。然而，其他备选方案可以例如包括：

·每个相机具有用于视频的存储设备，并且包括校准的所有处理离线执行(在记录之后)。

·相机关于其基准标记通过RF(例如WiFi或蓝牙)通信，并且针对位置观察基准标记。在一起，相机形成公共坐标系，

·移动相机(无人机)广播位置改变。

如图7中所图示的，在一些实施例中，装置可以包括捕获处理器701，其用于确定场景的捕获性质，其中，捕获性质指示由通过多个深度感测相机捕获的图像造成的场景的覆盖。捕获性质可以特别地指示捕获质量。

将意识到，在不同的实施例中，捕获质量指示可以是不同的，并且在不同的实施例中，可以使用用于评估质量的不同量度或参数。特别地，在一些实施例中，捕获质量指示可以是捕获场景的特定部分的配置的相机的数目的指示。例如，如果比如说超过五个相机捕获场景的特定部分，则捕获质量指示可以指示针对场景的该部分的捕获的质量最大。如果无相机捕获场景的特定部分，则捕获质量指示可以指示针对场景的该部分的捕获的质量最小。针对捕获场景的一部分的1-4个相机，捕获质量指示可以指示中间质量水平。因此，捕获质量指示可以反映捕获场景的不同部分的相机的数目，并且因此可以反映捕获场景的部分的相机越多，捕获质量越好，例如存在阻塞元素的风险越低。

在一些实施例中，捕获质量指示可以针对场景的不同部分变化。在一些实施例中，单个捕获质量指示值可以总体上针对场景被生成，例如作为捕获场景的部分的相机的平均数或者作为由少于给定数目的相机覆盖的场景的比例。

捕获处理器710耦合到用户接口703，用户接口703可以生成指示所确定的捕获性质和特别地捕获质量指示的用户输出。

作为低复杂性范例，装置可以包括用户接口703可以呈现总体捕获质量是否可接受的简单指示的显示器。

在一些实施例中，捕获处理器701可以特别地识别场景的部分，针对其，捕获质量指示指示捕获的降低的质量。例如，其可以识别无或仅一个相机已经捕获场景的场景的部分。其然后可以行进到显示这些部分并且可以指示用于新深度感测相机的放置，使得该质量可以针对场景的该部分改进。

在许多实施例中，用户接口703可以额外地或者备选地示出配准信息，诸如特别地公共坐标系中的深度感测相机的位置和取向。

因此，在许多实施例中，可以使关于识别和配准过程的信息可用于用户允许对节点的位置的调节、或节点的添加，以改进捕获配置。

方法可以特别地被用于检查给定相机设置的有效性/性能。

例如，在相机系统的安装期间，场景中的对象可以阻塞另一相机的基准标记。这可以自动检测。然后还可能的是，建议安装系统的人员将下一个相机放置在哪里，使得所有相机可以链接在一起。给定这样的流程，可能的是，自动检测给定相机节点配置是否可以是适合的。针对该检测的基础可以是确定相机的位置和放置两者是否允许场景的全覆盖。其还可以基于所有相机是否可以配准的检测，即，放置是否可以针对所有相机确定。

为了操作者迅速设立相机系统，利用校准过程使任何问题可视化和通过移动或添加相机节点改进质量的任何机会是非常有用的。

针对成功配准的相机节点，使用计算机图形绘制其是可能的。配准的不确定性可以使用气泡或线或指示不确定性的(一个或多个)方向的其他图形来可视化。适合的可视化可以绘制相机视锥。这可以是非常有用的，因为其给操作者提供关于相机交叠量的信息。不确定性可以通过模糊该特定方向上的绘制来指示。

该可视化当在也被配准的设备(优选地大视场增强现实眼镜)上绘制时是更直观的。头戴式设备(HMD)可以例如装配有相机传感器以捕获相机的基准标记。利用在线配准，改变对相机系统的影响可以直接是可见的。

基于虚拟现实或者增强现实眼镜的更高级的用户接口可以使场景的每个部分被捕获多么好可视化。这可以涉及与实际场景一致的捕获的3D场景的绘制。该绘制然后可以利用有用信息增强，诸如：

·指示捕获的缺少的阴影，

·捕获场景元素(如果有的话)的传感器的数目，

·给定对象的表面性质，是否足够的传感器捕获该对象。

在一些实施例中，生成器409还可以被布置为在基于基准标记的确定之后，修改相对放置向量，并且更特别地公共坐标系中的坐标。特别地，其可以基于捕获图像之间的图像匹配来应用微调。

例如，针对第一深度感测相机和第二深度感测相机，基于基准标记的配准可能导致第一相机和第二相机的放置。其然后可以行进到在考虑位置的差异的情况下将第一图像和第二图像匹配。例如，可以执行这两幅图像到共同中心视点的图像移位。理想地，这两幅图像现在应当匹配。然而，实际上，情况将不确切地是这样，并且在一些情况下生成器409然后可以试图看匹配对于放置向量的轻微改变是否是更好的。如果这样的话，导致最好图像匹配的经修改的放置可以替换根据基准标记的考虑确定的原始放置。

在许多实施例中，方法可以有利地用在动态捕获系统中，诸如例如在视频捕获系统中，其中，例如使用移动视频相机。在这样的实施例中，还可以要求不同相机与图像之间的定时同步。这可以例如通过具有相关联的时间代码的放置数据、图像等来实现。在许多实施例中，所有相机可以例如时间同步到公共时基，例如基于GPS或类似时间同步。在这样的系统中，时间代码可以例如被用于协调哪些图像被用于针对特定时刻的放置数据等。

本发明可以以任何适合的形式实施，包括硬件、软件、固件或者这些的任何组合。本发明可以任选地至少部分地被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何适合的方式物理地、功能地和逻辑地实施。实际上，功能可以被实施在单个单元中、在多个单元中或者作为其他功能单元的一部分。这样一来，本发明可以被实施在单个单元中或者可以物理地并且功能上被分布在不同的单元、电路和处理器之间。

尽管本发明已经结合一些实施例被描述，但是其不旨在限于本文阐述的特定形式。此外，尽管特征可能表现为结合特定实施例描述，但是本领域的技术人员将认识到，所描述的实施例的各种特征可以根据本发明组合。在权利要求中，术语包括不排除其他元件或者步骤的存在。

此外，尽管个体地列出，但是多个模块、元件、电路或方法步骤可以通过例如单个电路、单元或者处理器实施。此外，尽管个体特征可以被包括在不同的权利要求中，但是这些可以可能地有利地组合，并且不同的权利要求中的包括不隐含特征的组合不是可行和/或有利的。而且，一个类别的权利要求中的特征的包括不隐含该类别的限制，但是相反指示特征同样地在合适时适用于其他权利要求类别。此外，权利要求中的特征的次序不隐含特征必须工作的任何特定次序并且特别地方法权利要求中的个体步骤的次序不隐含步骤必须以该次序执行。相反，步骤可以以任何适合的次序执行。另外，单数参考不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的参考不排除多个。权利要求中的附图标记仅仅被提供为澄清范例不应当被解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种用于根据由多个分布式深度感测相机捕获的场景的图像来生成场景的至少部分的表示的装置，所述装置包括：

第一接收器（401），其用于接收由第一深度感测相机捕获的第一图像和由所述第一深度感测相机捕获的第一深度数据；

检测器（405），其用于检测针对所述第一图像中的基准标记的图像位置性质，所述图像位置性质指示所述第一图像中的所述基准标记的位置，并且所述基准标记通过具有相对于第二深度感测相机的预定放置差异来表示第二深度感测相机的放置；

放置处理器（407），其用于响应于所述图像位置性质、以及针对所述基准标记的图像位置的所述第一深度数据的深度数据、以及所述预定放置差异而确定指示所述第二深度感测相机相对于所述第一深度感测相机的放置的相对放置向量，所述相对放置向量是至少三维的；

第二接收器（403），其用于接收由所述第二深度感测相机捕获的第二图像和由所述第二深度感测相机捕获的第二深度数据；

生成器（409），其用于基于所述相对放置向量响应于至少所述第一图像和所述第二图像的组合而生成所述场景的至少部分的所述表示。

2.根据权利要求1所述的装置，其中，所述生成器（409）被布置为生成所述表示以包括来自与所述第一深度感测相机和所述第二深度感测相机的视点不同的视点的所述场景的图像。

3.根据权利要求1所述的装置，其中，所述生成器（409）被布置为基于所述第一深度数据和所述第二深度数据将至少所述第一图像和所述第二图像进行组合。

4.根据权利要求1所述的装置，其中，所述生成器（409）包括：接收器（501），其用于接收针对多个深度感测相机的相对放置向量；坐标处理器（503），其用于响应于所述相对放置向量而确定针对所述多个深度感测相机中的每个深度感测相机的公共坐标系中的深度感测相机放置，并且其中，所述生成器（409）被布置为响应于相同坐标系中的所确定的相机放置而生成所述图像。

5.根据权利要求4所述的装置，其中，所述坐标处理器（503）被布置为响应于成本函数的最小化而确定所述深度感测相机放置，所述成本函数取决于所述相对放置向量与根据所述公共坐标系中的确定的深度感测相机放置所确定的对应的放置向量之间的差异。

6.根据权利要求1所述的装置，还包括：

第二检测器，其用于检测针对所述第二图像中的第二基准标记的第二图像位置性质，所述第二图像位置性质指示所述第二图像中的所述第二基准标记的位置，所述第二基准标记通过具有相对于所述第一深度感测相机的第二预定放置差异来表示所述第一深度感测相机的放置；以及

第二放置处理器，其用于响应于所述第二图像位置性质、以及针对所述第二基准标记的图像位置的所述第二深度数据的深度数据、以及所述第二预定放置差异来确定指示所述第一深度感测相机相对于所述第二深度感测相机的位置的第二相对放置向量，所述第二相对放置向量是至少三维的；并且其中，所述生成器（409）还被布置为响应于所述第二相对放置向量而生成所述表示。

7.根据权利要求1所述的装置，其中，所述基准标记的视觉性质指示所述第二深度感测相机的身份，并且所述检测器（405）被布置为响应于所述视觉性质而确定所述第二深度感测相机的所述身份。

8.根据权利要求1所述的装置，其中，所述相对放置向量包括至少一个取向值。

9.根据权利要求8所述的装置，其中，所述放置处理器（407）被布置为响应于所述基准标记的旋转变化视觉性质而确定所述至少一个取向值。

10.根据权利要求1所述的装置，其中，所述放置处理器（407）被布置为基于以下预定假定来确定所述相对放置向量：针对所述第一深度感测相机和所述第二深度感测相机，至少一个取向参数是相同的。

11.根据权利要求1-10中的任一项所述的装置，还包括：捕获处理器（701），其用于响应于所述相对放置向量而确定所述场景的捕获性质，所述捕获性质指示所述场景如何由通过所述第一深度感测相机和所述第二深度感测相机捕获的所述图像覆盖；以及用户接口（703），其用于生成指示所述捕获性质的用户输出。

12.根据权利要求11所述的装置，其中，所述捕获处理器（701）被布置为确定所述场景的至少部分，针对所述至少部分，捕获质量符指示降低的质量，并且所述捕获处理器用于生成指示捕获所述场景的所述至少部分的深度感测相机的放置的用户输入。

13.根据权利要求1-10中的任一项所述的装置，其中，所述生成器（409）被布置为响应于所述第一图像与所述第二图像的图像匹配而修改所述相对放置向量。

14.根据权利要求1-10中的任一项所述的装置，其中，所述生成器（409）被布置为响应于所述相对放置向量、所述第一图像以及所述第二图像而生成所述场景的三维模型。

15.一种根据由多个分布式深度感测相机捕获的场景的图像来生成场景的至少部分的表示的方法，所述方法包括：

接收由第一深度感测相机捕获的第一图像和由所述第一深度感测相机捕获的第一深度数据；

检测针对所述第一图像中的基准标记的图像位置性质，所述图像位置性质指示所述第一图像中的所述基准标记的位置，并且所述基准标记通过具有相对于第二深度感测相机的预定放置差异来表示所述第二深度感测相机的放置；

响应于所述图像位置性质、以及针对所述基准标记的图像位置的所述第一深度数据的深度数据、以及所述预定放置差异而确定指示所述第二深度感测相机相对于所述第一深度感测相机的放置的相对放置向量，所述相对放置向量是至少三维的；

接收由所述第二深度感测相机捕获的第二图像和由所述第二深度感测相机捕获的第二深度数据；并且

基于所述相对放置向量响应于至少所述第一图像和所述第二图像的组合而生成所述场景的至少部分的所述表示。