CN109690622A - 多相机系统中的相机登记 - Google Patents

Abstract

本文公开了一种登记相机成像系统(100，400)中的一个或多个相机(312‑315)的位置和方位的方法。该方法包括：在步骤(502)，从深度成像设备(330)接收指示场景的三维图像的数据。在步骤(503)，用相对于场景的参考系校准三维图像。参考系包括参考位置和参考方位。在步骤(504)，在参考系中确定每个相机在三维图像中的三维位置。在步骤(505)中，在参考系的至少一维中确定每个相机的方位。在步骤(506)，将每个相机的位置和方位组合以确定参考系中的相机姿势。

Description

多相机系统中的相机登记

技术领域

本发明涉及相机监控系统，特别涉及一种登记相机监控系统中的相机的位置及方位的方法及系统。本发明实施例已特别针对车辆中的多相机驾驶员监控系统开发。虽然将特别参考本申请而在本文中描述一些实施例，应该领会的是，本发明并不限于如此使用领域，且可适于广义语境中。

背景技术

贯穿说明书的背景技术的任何论述决不应被视为承认这样的技术被广泛知晓或形成本领域中的公知常识的部分。

在监控和监视系统中，经常需要从不同角度对场景进行监控。这通常是通过在整个场景的不同位置和方位上定位多个相机来实现的。在一些应用中，例如车辆和驾驶员监控系统，能够从一个相机的视野到另一个相机的视野跟踪和映射物体的位置是有利的。在这些应用中，需要知道每个相机的相对位置和方位，以便可以在每个相机视图之间精确映射或投影目标位置。

常规地，每个相机的位置和方位由技术人员在监控系统的安装的校准阶段手动地输入。这必然需要大量的时间和精力，而且位置/方位的准确性受到技术人员能力的限制。此外，每次重新定位相机或将新相机添加到监控系统时，必须再次执行校准程序，需要付出系统停机和技术人员费用的代价。

发明内容

根据本发明的第一方面，提供了一种登记相机成像系统中的一个或多个相机的位置和方位的方法，该方法包括:

a)从深度成像设备接收指示场景的三维图像的数据；

b)用相应于场景的参考系校准三维图像，参考系包括参考位置和参考方位；

c)在参考系中确定每个相机在三维图像中的三维位置；

d)确定每个相机在参考系中至少一维的方位；以及

e)组合每个相机的位置和方位来确定参考系中的相机姿势。

在一些实施例中，步骤d)包括从安装到一个或多个相机的方位传感器获取方位数据。在一个实施例中，每个方位传感器包括加速度计。在一个实施例中，每个方位传感器包括陀螺仪。在一个实施例中，每个方位传感器包括磁力计。在一个实施例中，每个方位传感器包括惯性测量单元。

在一些实施例中，深度成像设备包括飞行时间相机、结构光3D扫描仪、立体相机系统、深度相机、激光扫描仪或激光雷达系统中的一个或多个。

场景优选地包括车厢或驾驶舱。优选地，场景是车辆，参考方位是相对于车轴或车辆驱动轴而限定的。

在一些实施例中，方法包括接收场景的速度或加速度数据的步骤。在一些实施例中，方法包括接收场景中的预定义位置的GPS数据的步骤。

在一些实施例中，确定场景中相机的三维位置的步骤包括对三维图像进行形状识别，以自动识别图像中相机的位置。在一个实施例中，形状识别适于识别相机的形状。在另一个实施例中，形状识别适于识别设置在每个相机上或附近的预定义图案。

在一些实施例中，识别场景中相机的三维位置的步骤包括使用软件在三维图像中手动指定相机位置。

在一个实施例中，参考位置是相机中的一个的位置。在另一个实施例中，参考位置是场景中已知特征的位置。

在一些实施例中，确定场景中每个相机的三维位置的步骤包括使用已知的参考特征校准场景几何形状。

在一个实施例中，方法包括以下步骤:

f)从场景中移除深度成像设备。

在一些实施例中，步骤b)包括：

i.加载指示车辆场景的参考数据，参考数据包括车辆场景中一个或多个已知特征的位置和方位；

ii.在三维图像中识别已知特征中的一个或多个的几何外观；

iii.从几何外观确定相机相对于步骤c)中识别出的已知特征的三维位置和方位，以及计算车辆场景中的三维相机的姿势。

根据本发明的第二方面，提供了一种用于登记相机成像系统中的一个或多个相机的位置和方位的系统，每个相机被安装在场景中，该系统包括：

深度成像设备，用于获取指示场景的三维图像的数据；以及

处理单元，适于：

用相应于场景的参考系校准三维图像，所述参考系包括参考位置和参考方位；

在参考系中确定每个相机在三维图像中的三维位置；

确定每个相机在参考系中至少一维的方位；以及

组合每个相机的位置和方位来确定参考系中的相机姿势。

在一些实施例中，系统包括一个或多个方位传感器，每个方位传感器被安装到相关相机并适于测量指示相关相机在至少一维的方位的方位数据。

附图说明

将参考附图仅示例性地描述本公开的优选实施例，其中：

图1为位于场景中的四相机监控系统的透视图；

图2为图1的四相机监控系统的平面图；

图3为图1和图2的四相机监控系统的系统级示意图；

图4为可选的四相机监控系统的系统级示意图；

图5为示出登记多相机成像系统中的多个相机的位置和方位的方法中的主要步骤的功能流程图；

图6为示出校准车辆场景中的三维图像的方法中的主要步骤的功能流程图。

具体实施方式

系统概述

本文中所描述的本发明的实施例涉及使多相机车辆监控系统中的相机的位置和方位的登记自动化。在这些实施例中，待被成像的场景包括车辆的驾驶员、车辆/驾驶舱的内部、车辆的前进道路场景、以及可选的，车辆的侧视景和后视景。车辆可表示商用汽车、卡车、土方机械、飞机、喷气式飞机、直升飞机或等同的模拟环境。然而，可以领会的是，本发明可适于其他多相机监控系统，如用于监控其他场景的监视网络。本发明也可适于单个相机监控系统。

首先参考图1和图2，示出车辆监控系统100，该车辆监控系统100包括布置在车辆106中的不同位置处的四个相机101-104。相机101位于车辆的仪表盘上并朝向车辆的前进方向以用于监控前进道路场景。相机102、103和104被定位和定向为监控车辆106的驾驶员108。相机102位于车辆106的仪表板上或与车辆106的仪表板相邻或位于车辆106的驾驶杆上。相机103位于车辆106的框架的驾驶侧A柱上。相机104位于车辆106的中央控制台上或与车辆106的中央控制台相邻，优选地与设置有屏幕的车辆中的显示屏相邻。具体的相机位置仅为示例性的，且应领会的是，可以在车辆106以内或以外的其他位置处并入更多或更少的相机以监控驾驶员、前进道路场景或车辆中或周围的其他视景。相机的其他示例性位置包括前视镜、后保险杠、前保险杠、车顶和发动机盖/引擎盖。

现在参考图3，示出系统100的系统级视图。系统100包括中央处理单元300，该中央处理单元300包括处理器302、存储器304、电源306、网络接口308以及用户输入设备310。在车辆监控系统的实施例中，中央处理单元300在制造期间优选地被安装在车辆仪表板或中央控制台中且可与车载车辆计算机系统集成。然而，中央处理单元300和系统100作为整体可被制造为售后市场产品且随后可以以模块方式被安装在车辆中。

处理器302可表示具有用于处理从多个相机接收的图像流的硬件和/或软件的任何已知或传统微处理器或个人计算机。举例而言，处理器302可以包括片上系统技术并包括视频处理管线。在一个实施例中，处理器302可以与车载车辆计算机系统的处理器集成在一起或通信。

通过至电源306的连接为中央处理单元300供电。在一个实施例中，电源306表示至车辆电源如车辆电池的电气连接。在另一实施例中，电源306表示集成在中央处理单元300的壳体中且可选地连接至外部电源的局部电池。

网络接口308提供将数据传送至系统100或传送来自系统100的数据，并表示用于将系统100连接至其他设备或系统的电气或无线接口。网络接口308包括诸如USB、HDMI或以太网端口、串行设备端口的有线网络端口和/或诸如蓝牙^TM设备、Wi-Fi^TM设备或蜂窝网络收发器的无线设备。

用户输入能够通过用户输入设备310被提供至系统100，用户输入设备310可以包括触摸屏显示器或键盘或小型按键以及相关显示器。用户输入设备310还可以表示通过网络接口308或其他构件连接至系统100的外部设备，诸如计算机或智能电话。在一个实施例中，用户输入设备310表示计算机系统，其被集成到车辆中并通过安装在车辆的中央处理台中的显示器接口而被操作。

通过用户输入设备310可被输入至系统100的示例数据包括：

·包括车厢的三维模型或车辆场景的二维图像的车辆场景参考数据；

·用于相机101-104的初始或参考位置和方位数据；

·车辆中的其他参考点的位置；

·用于面部识别的驾驶员图像；

·车辆或车厢的模型数据；

·驾驶员细节，诸如用于确定车辆中的眼部位置的驾驶员身高；以及

·用于处理器302的软件更新，如更新的注视追踪算法。

通过用户输入设备301可从系统100中提取的示例数据包括：

·统计的注视方向数据；

·相机校准或再对齐数据；以及

·来自相机101-104的未加工或处理后的图像/视频数据。

系统100包括四个相机单元312-315，四个相机单元312-315安装在待被监控的场景内或周围的相对位置。每个相机单元312-315包括各自的相机101-104，用于在其各自的视野内捕捉场景的图像。

每个相机通过各自的连接322-325被电气连接至中央处理单元300，各个连接322-325包括电缆以及相关电气端口。电气连接提供由处理器302进行的相机101-104的控制以及从相机101-104的图像数据的传输。

相机101-104可以利用各种类型的已知图像传感器与成像光学件的结合。示例的图像传感器包括与相关处理电子产品和存储器相结合的电荷耦合设备(CCD)或互补型金属氧化物半导体(CMOS)芯片，用于以合适的格式捕捉图像和/或视频序列用于后续图像处理。相机101-104可能够捕捉二维或三维的图像。

在车辆场景的情况下，可相对于车架的区域定义参考系。举例而言，参考坐标系可被定义为具有沿车辆驱动轴对齐的z轴(纵向维度)、在前轮轴对齐的x轴(定义横向维度)(其中右轮在正方向上)、以及定义一般竖直维度以完成正交坐标系的y轴。本文中将使用此示例性坐标系来描述本发明。然而，将领会的是，可选择其他任意参考坐标系。

最后，系统100包括用于捕捉场景的图像的深度成像设备330，深度成像设备330包括三维中的每个相机101-104。深度成像设备330可包括扫描或脉冲飞行时间(time offlight)相机、激光雷达系统、立体相机布置、结构光3D扫描仪、带相位检测的图像传感器或能够三维地捕捉场景的图像的任何其他成像系统中的一个或多个。深度成像设备330通过电气连接332与处理器302可操作地相关联，以提供对设备330的控制以及从设备330接收未加工的三维图像数据或预处理的深度图数据。在一些实施例中，深度成像设备330通过网络接口308连接到中央处理单元300和处理器302。

可选的实施例系统400被示出在图4中。此处，系统100的相应特征以相同附图标记指明。系统400包括被安装在车辆场景内或周围的相对位置处的四个相机单元312-315。每个相机单元312-315包括各自的相机101-104和用于测量相机相对于参考方位的方位的方位传感器317-320。

方位传感器317-320可包括诸如加速计和陀螺仪的简单惯性设备和诸如磁力仪的其他设备以及更先进的惯性测量单元，或其组合。方位传感器317-320可能够测量在一个、两个或三个维度中相对于参考方位的方位。合适参考方位为以上使用车辆驱动轴和前轮轴描述的系统。然而，将领会的是，可基于特定应用任意地选择参考方位。例如，如果两个或更多个相机沿共同轴被对齐，该轴可以优先作为参考方位。优选地在三维笛卡尔坐标系中表示方位。然而，将领会的是，可在任意坐标系(如球形坐标系)中表示方位，其中方位向量以垂直面中的径向距离(r)，天顶角(θ)以及水平面中的方位角(φ)表示。

在一个实施例中，方位传感器317-320被集成安装在各自的相机101-104上。在另一实施例中，方位传感器317-320相对于每个相机101-104被安装在中间支撑架上，相机也被安装在该中间支撑架上。

示例性实施方式

将参照图5的流程图中所示的方法500描述用于登记多相机成像系统中的多个相机的位置和方位的系统100和400的操作。

首先，在步骤501，相机被安装在待被监控的场景中的其期望位置处。在驾驶员监控系统的情况下，相机优选地被安装在如在图1和图2中的那些的车辆中或周围的位置，以使得驾驶员和前进道路场景定位在他们各自的视野中。可在车辆的制造期间或系统100的后续安装在车辆106中的期间执行步骤501。

在相机单元312-315的安装期间，每个单元通过各自的连接322-325被电气连接至中央处理器单元300。在步骤501，还安装深度成像设备330，并通过电气连接332将深度成像设备330连接至系统100。深度成像设备330可以被临时或永久地安装在车辆106内或附近。

设备330以相对于下一步骤中限定的固定车辆参考系准确已知的相机姿势被安装。相机姿势包括指示相机传感器阵列三维位置以及相机的光轴的三维方位的六维矢量。

在步骤502，控制深度成像设备330以生成场景的一个或多个三维图像，场景包括相机单元312-315。三维图像表示场景的深度图，包括物体的二维横向位置以及指示来自深度成像设备330的物体的深度的第三维。

在提取准确的深度数据之前，深度成像设备330通常需要校准。一些商业设备，如飞行时间相机具有允许自校准的内置的校准程序。然而，其他设备将需要手动校准，例如，通过将校准对象放置在具有已知的高准确度的维度的场景中。

在深度成像设备330包括立体相机系统的情况下，首先需要通过确定相机相对于彼此或参考点的相对位置和方位而计算相机的相关像素的射线交点来校准两个相机。此外，还需要识别在一幅立体图像中可见的每个表面点在另一幅立体图像中位于何处。相机还必须被定位，以便捕捉重叠的视野。场景的校准可以将具有预定义校准图案的对象放置在待被成像的场景中来被最初执行。在捕捉立体图像后，校准图案可用于识别相机的对应像素，也可用于识别模拟3D场景的其他参数，如相机之间的三维旋转和位移、焦距、畸变等。利用这些参数，可以在场景中计算出物体的三维坐标。

在步骤502所捕捉的三维图像位于深度成像设备330的参考系中。在步骤503，将三维图像校准到车辆场景内或相对于车辆场景的参考系以确定设备330在参考系中的姿势。参考系包括参考位置和参考方位。合适的参考系是上面使用车辆驱动轴和前轮轴描述的参考系。这个参考系将被称为车辆参考系。此处参考位置为前车辆轴与驱动轴的交点。参考方位可以指定为沿纵轴定义的车辆的前进方向。

其他示例参考位置包括深度成像设备330的三维位置或相机单元312-315中的一个的三维位置。但是，只要其能在三维图像中被识别并与相机单元312-315的位置准确相关，可以任意选择参考位置。举例来说，参考位置可以被指定为场景中已知的参考点，例如车辆的中央控制台上的点。参考位置和方位可由用户通过用户输入设备310指定。

在一些实施例中，步骤503可以通过通过用户输入设备310手动指定设备330的位置和方位而被执行。在其他实施例中，步骤503通过图6所示且如下描述的自校准过程600执行。首先，在步骤601，从存储器304加载指示车辆场景的参考数据。参考数据包括车辆场景中的一个或多个已知特征的位置和方位。参考数据可以表示车辆场景或车厢的三维CAD模型。可选地，参考数据可以表示设备330在早前以准确已知的相机姿势捕捉的图像。已知特征可以包括车辆场景中的特征、物体、轮廓或表面，如仪表板仪器。如果已知车厢的准确模型，则车厢本身可以表示已知物体。已知物体必须具有在场景中已知的几何外观。

接下来，在步骤602，在三维图像中识别已知特征中的一个或多个的几何外观。这可以通过图案匹配、形状识别等发生。最后，在步骤603，从几何外观确定相机相对于已知特征的三维位置和方位。由此，可以确定车辆场景中的三维相机的姿势。最后步骤可以利用如卷积神经网络的机器学习技术以学习不同条件下的车厢及其内的特征。例如，当司机坐在车里，挡住了已知物体中的一些。

回到图5，在步骤504，确定每个相机101-104在参考系中在三维图像中的三维位置。在一个实施例中，识别场景中相机的三维位置包括使用软件手动指定相机位置。在该技术中，三维图像被显示在显示屏上，用户能够通过用户输入设备310(如鼠标、键盘、触摸屏或其他类似设备)控制光标以使用选择和单击过程来手动指定相机。所选的位置被存储在存储器304中，处于参考所述参考位置定义的坐标系中。

在另一个实施例中，步骤504包括对三维图像进行形状识别以自动识别图像中相机101-104的位置。如果相机101-104具有预定义且可识别的形状，处理器302可以执行形状识别算法以自动识别三维图像中每个相机的二维横向位置，并随后提取这两个横向位置处的相机的相应深度值。如果场景图像的分辨率足够高，相机孔径的中心可以被识别并被指定为相机位置。由于相机通常包括图像中的像素区域，因此每个相机的深度可以被计算为总深度或平均深度，也可以通过相机的特定部分的深度被计算。

由于还需要彼此区分相机，上述自动形状识别算法可与用户输入设备310的用户输入一起使用。

在另一个实施例中，每个相机在成像之前被指定预定义的图案，并且执行识别预定义的图案的形状识别算法来定位和区分每个相机。示例图案包括简单的数字标识符(“1”、“2”、“3”...)、二维或三维条码或其他唯一的图案。这些图案可以用粘合材料粘附到每个相机，或者可以刻到每个相机的表面。优选地，图案位于相机主体的中心区域上以便准确地表示相机图像传感器的位置。此外，图案可以印刷在每个相机的多个面上，以增加从不同角度在图像中准确定位的机会。

在步骤505，在车辆参考系中确定每个相机的方位。在使用上述系统400的实施例中，这包括通过信号322-325从各自的方位传感器317-320获取每个相机的方位数据。优选地，方位数据包括二维或三维的相机方位。但是，方位传感器可以仅提供一维的方位，其余的维度可以被手动测量。这些方位是相对于上面描述的参考方位而被限定的。当利用方位传感器获取相机的方位时，步骤505可以与步骤503、504联合执行，或者在步骤503和504之前或之后执行。

在可选的实施例中，相机101-104的方位可以通过与上面相对于深度成像设备330描述的过程600类似的自校准过程来确定。在这里，使用测试中的场景相机从其当前姿势步骤图像，并且使用捕捉的图像执行步骤601-603。基本上，所捕捉的图像与场景的三维模型(或以已知相机姿势早前捕捉的图像)进行比较，并且使用图案匹配和/或机器学习来在车辆参考系中确定相机在场景中的方位。这个过程可以对每个相机执行，并且也可以用于捕捉相机位置，或者作为对步骤504中上述测量的准确性的检查。因此，这个过程可以用于执行步骤504和505。

在可选步骤506，处理器302接收外部输入，如车辆的速度或加速度数据，或车辆的GPS位置。举例而言，系统100通过网络接口308可被连接至车载车辆计算机系统，网络接口提供车辆数据(如，车辆GPS位置、速度和加速度)的馈送。外部输入数据可以用于增加方位数据以辅助相机方位的计算，特别是在方位传感器仅能够测量一个或两个维度中的方位时。举例而言，在相机在恒定重力下是静止的时，偏航方位(在车辆轴中)通常难以确定。在车辆是运动的时测量相机的位置、速度或加速度的变化可帮助确定整体力向量，从该整体力向量可以外插在三维中的相机的方位。

外部输入也可以作为用于步骤504和505中的相机位置的确定的额外输入而被馈入机器学习算法。

最后，在步骤507，处理器302组合每个相机的三维位置、方位以及可选的外部输入数据来确定相机姿势。

相机姿势可以用于识别和跟踪跨不同相机的场景中的物体。在一个实施例中，驾驶员的注视点(视线的落点)可以从驾驶员面对的相机推导出来并投射到捕捉前进道路场景的前向相机的图像上。

应当理解的是，上述的系统和方法能够有效且准确地确定多相机系统中相机的相对位置和方位。

解释

除非另有明确说明，如从以下论述显而易见的，应领会到，贯穿说明书利用诸如“处理”、“计算”、“运算”、“确定”、“分析”等术语的论述指的是将表示为物理(如电子)量的数据操纵和/或转换为被类似表示为物理量的其他数据的计算机或计算系统或类似电子计算设备的动作和/或处理。

以类似方式，术语“控制器”或“处理器”可以指处理例如来自寄存器和/或存储器的电子数据以将该电子数据转换为例如可存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的部分。“计算机”或“计算机器”或“计算平台”可包括一个或多个处理器。

本文中描述的方法论在一个实施例中可由接受计算机可读(也被称为机器可读)代码的一个或多个处理器执行，计算机可读代码包含当被一个或多个处理器执行时执行本文中描述的方法中的至少一个的一组指令。包括能够(顺序地或以其他方式)执行指定将采取的动作的一组指令的任何处理器。因此，一个示例为包括一个或多个处理器的典型处理系统。每个处理器可包括CPU、图形处理单元以及可编程DSP单元中的一个或多个。处理系统还可包括具有主RAM和/或静态RAM和/或ROM的存储器子系统。总线子系统可被包括用于组件之间的通信。处理系统还可为具有通过网络耦接的处理器的分布式处理系统。如果处理系统需要显示器，此显示器可被包括，例如液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入，处理系统还包括输入设备，如诸如键盘的字母数字输入单元、诸如鼠标的指向控制设备等等的一个或多个。如本文中使用的术语“存储器单元”，若从上下文是清楚的且除非另外明确说明，也包括诸如硬盘驱动单元的存储系统。处理系统在一些配置中可包括声音输出设备以及网络接口设备。存储器子系统因此包括携带计算机可读代码(如，软件)的计算机可读载体介质，计算机可读代码包括当被一个或多个处理器执行时使得执行本文中描述的方法中的一个或多个的一组指令。注意的是，当方法包括若干元素(如若干步骤)时，并不暗示这些元素的顺序，除非特别说明。软件可驻留在硬盘中，或也可在其由计算机系统执行的期间完全或部分地驻留在RAM和/或处理器中。因此，存储器和处理器还构成携带计算机可读代码的计算机可读载体介质。

此外，计算机可读载体介质可以形成或被包括在计算机程序产品中。

在可选实施例中，一个或多个处理器作为独立设备操作或可连接(如联网)至其他处理器，在联网部署中，一个或多个处理器可以以服务器-用户网络环境中的服务器或用户机器的身份操作，或作为点对点或分布式网络环境中的对等机器操作。一个或多个处理器可形成个人计算机、平板计算机、机顶盒(STB)、个人助理(PDA)、移动电话、网络设备、网络路由器、交换机或桥、或能够(顺序的或以其他方式)执行指定待由机器采取的动作的一组指令的任何机器。

注意的是，虽然示意图仅示出单个处理器和携带计算机可读代码的单个存储器，本领域的技术人员应理解，上述的许多组件被包括，但未被明确示出或描述，从而不模糊本发明方面。例如，虽然仅单个机器被示出，术语“机器”应被采用为包括单独或联合地执行一组(或多组)指令以执行本文中论述的方法论中的一个或多个的机器的任何集合。

因此，本文中描述的方法中的每个的一个实施例为携带一组指令，例如用于在一个或多个处理器(例如，作为网络服务器布置的部分的一个或多个处理器)上执行的计算机程序的计算机可读载体介质的形式。因此，如本领域技术人员将领会的是，本发明的实施例可被体现为方法、诸如专用装置的装置、诸如数据处理系统的装置或计算机可读载体介质，例如计算机程序产品。计算机可读载体介质携带包括当被在一个或多个处理器上执行时使得一个或多个处理器实现方法的一组指令的计算机可读代码。相应地，本发明的方面可采取方法、整个硬件实施例、整个软件实施例或组合软件和硬件方面的实施例的形式。此外，本发明可采取携带在介质中实现的计算机可读程序代码的载体介质(例如，计算机可读存储介质上的计算机程序产品)的形式。

软件还可经由网络接口设备在网络上传输或接收。虽然载体介质在示例性实施例中被示出为单个介质，术语“载体介质”应被采用为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关缓存和服务器)。术语“载体介质”还应被采用为包括能够存储、编码或携带用于被处理器中的一个或多个执行的一组指令并使得一个或多个处理器执行本发明的方法论中的任何一个或多个的任何介质。载体介质可采取包括但不限于非易失性介质、易失性介质以及传输介质的许多形式。非易失性介质包括例如光盘、磁盘以及磁光盘。易失性介质包括动态存储器，例如主存储器。传输介质包括同轴电缆、铜线以及纤维光学件，包括具有总线子系统的线。传输介质还可采取声波或光波的形式，如在无线电波和红外数据通信期间生成的那些。例如，术语“载体介质”相应地应被采用为包括但不限于固态存储器、实现在光和磁介质中的计算机产品，承载可由一个或多个处理器中的至少一个处理器检测的传播信号并表示当被执行时实现方法的一组指令的介质，以及承载可由一个或多个处理器中的至少一个处理器检测的传播信号并表示一组指令的网络中的传输介质。

将理解的是，所论述的方法的步骤在一个实施例中由执行存储在存储器中的指令(计算机可读代码)的处理(即，计算机)系统的适当处理器(或多个处理器)执行。还将理解的是，本发明并不限于任何特定实施或编程技术，且本发明可使用用于实施本文中描述的功能性的任何适当技术实现。本发明不限于任何特定编程语言或操作系统。

贯穿本说明书中提及的“一个实施例”、“一些实施例”或“实施例”意味着结合该实施例描述的具体特性、结构或特征被包括在本发明的至少一个实施例中。因此，在本说明书的各个位置出现的短语“在一个实施中”、“在一些实施例中”或“在实施例中”不一定全都是指同一个实施例。而且，在一个或多个实施例中可以以任何合适的方式组合特定特性、结构或特征，如对于本公开的技术领域中的普通技术人员来说是显而易见的。

如本文所使用的，除非另外规定，用来描述共同对象的顺序形容词“第一”、“第二”、“第三”等仅仅指示被指代的相似对象的不同实例，并且不旨在隐含所描述的对象必须在时间上、空间上、排序上、或以任意其他方式按照给定的顺序。

在本文中的以下权利要求书和说明书中，术语“包括”、“包含”或“其包括”中的任一个是意味着至少包括其之后的元素/特征但不排除其他的开放术语。因此，术语“包括”当被用在权利要求中时不应被理解为限于其后列出的构件或元素或步骤。例如，表示“设备包括A和B”的范围不应被限于设备仅由元素A和B构成。如本文中使用的术语“包含”或“其包含”或“那包含”中的任一个也是也意味着至少包含跟在该术语之后的元素/特征但不排除其他的开放术语。因此，“包含”与“包括”是同义的。

应被领会的是，在本公开的示例性实施例的上述描述中，出于流水线化本发明以及帮助理解各发明性方面中的一个或多个的目的，本公开的各种特征有时候被一起分组到单个实施例、其附图或描述中。然而，本公开的此方法不能被解释为反映权利要求书请求比每个权项中所清楚地引用的特征更多特征的发明。确切而言，如以下权项反映的，发明性方面在于少于单个前述公开的实施例的所有特征。因此，在具体实施例之后的权利要求书据此被清楚地引入此具体实施例中，其中每个权项独立地作为本公开的单独实施例。

此外，虽然本文中描述的一些实施例包含其它实施例中所包含的一些特征但不包含其所包含的其它特征，但是如本领域技术人员将理解的，不同实施例的特征的组合意欲在本发明的范围内，并形成不同的实施方式。例如，在所附权利要求书中，所要求保护的实施例的任何可以被任意组合使用。

在本文中提供的描述中，提出了大量具体细节。然而，应理解的是，可在没有这些具体细节的情况下实施本公开的实施例。在其他实例中，已知方法、结构和技术未被详细地示出以不模糊对本描述的理解。

类似地，需要注意，术语“耦合”，当用于权利要求书时，不应被解释为仅限制于直接连接。可使用术语“耦合”和“连接”连同其衍生物。应理解的是，这些术语并不旨在作为彼此的同义词。因此，表述“设备A与设备B相耦合”的范围不应被限制为其中设备A的输出直接连接至设备B的输入的设备或系统。这意味着A的输出与B的输入之间存在一条路径，其可以是包括其他设备或者装置的路径。“耦合”可意味着两个或更多个元素要么直接物理、电子或光接触要么两个或更多个元素并未彼此直接接触但仍彼此共同协作或交互。

因此，虽然已经描述了被认为是本公开的优选实施例，本领域的技术人员将意识到，可在不脱离本公开的精神的情况下对其做出其他或另外的修改，且其旨在主张所有的这样的改变和修改落在本公开的范围内。例如，以上给出的任何公式仅仅表示可使用的过程。可在框图中添加功能性或删除功能性，且可在功能块之间互换操作。在本公开的范围内所描述的方法中可以添加步骤或删除步骤。

Claims (22)

1.一种登记相机成像系统中的一个或多个相机的位置和方位的方法，所述方法包括：

a)从深度成像设备接收指示场景的三维图像的数据；

b)用相应于所述场景的参考系校准所述三维图像，所述参考系包括参考位置和参考方位；

c)在所述参考系中确定每个相机在所述三维图像中的三维位置；

d)确定每个相机在所述参考系中至少一维的方位；以及

e)组合每个相机的位置和方位来确定所述参考系中的相机姿势。

2.根据权利要求1所述的方法，其中，步骤d)包括从安装至所述一个或多个相机的方位传感器获取方位数据。

3.根据权利要求2所述的方法，其中每个方位传感器包括加速度计。

4.根据权利要求2所述的方法，其中每个方位传感器包括陀螺仪。

5.根据权利要求2所说的方法，其中每个方位传感器包括磁力计。

6.根据权利要求2所述的方法，其中每个方位传感器包括惯性测量单元。

7.根据前述权利要求中任一项的方法，其中所述深度成像设备包括飞行时间相机、结构光3D扫描仪、立体相机系统、深度相机、激光扫描仪或激光雷达系统中的一个或多个。

8.根据前述权利要求中任一项所述的方法，其中所述场景包括车厢或驾驶舱。

9.根据前述权利要求中任一项所述的方法，其中所述场景为车辆，所述参考方位相对于车轴或车辆驱动轴而限定。

10.根据前述权利要求中任一项所述的方法，包括接收所述场景的速度或加速度数据的步骤。

11.根据前述权利要求中任一项所述的方法，包括接收所述场景中预定位置的GPS数据的步骤。

12.根据前述权利要求中任一项所述的方法，其中确定场景中的相机的三维位置的步骤包括：对所述三维图像进行形状识别，以自动识别图像中所述相机的位置。

13.根据权利要求12所述的方法，其中所述形状识别适于识别所述相机的形状。

14.根据权利要求12所述的方法，其中所述形状识别适于识别每个相机上或附近设置的预定义图案。

15.根据前述权利要求中任一项所述的方法，其中识别场景中的相机的三维位置的步骤包括使用软件手动在所述三维图像中指定相机位置。

16.根据前述权利要求中任一项所述的方法，其中所述参考位置是所述相机中的一个相机的位置。

17.根据权利要求1至16中任一项所述的方法，其中所述参考位置是所述场景中已知特征的位置。

18.根据前述权利要求中任一项所述的方法，其中确定场景中每个相机的三维位置的步骤包括用已知的参考特征校准场景几何形状。

19.根据前述权利要求中任一项所述的方法，包括步骤：

f)从所述场景中移除所述深度成像设备。

20.根据前述权利要求中任一项所述的方法，其中步骤b)包括：

i.加载指示车辆场景的参考数据，所述参考数据包括所述车辆场景中一个或多个已知特征的位置和方位；

ii.在所述三维图像中识别所述已知特征中的一个或多个的几何外观；

iii.从所述几何外观确定所述相机相对于在步骤c)中识别出的已知特征的三维位置和方位，以及计算所述车辆场景中的三维相机的姿势。

21.一种用于登记相机成像系统中的一个或多个相机的位置和方位的系统，每个相机被安装在场景中，所述系统包括：

深度成像设备，用于获取指示所述场景的三维图像；以及

处理单元，适于：

用相应于所述场景的参考系校准所述三维图像，所述参考系包括参考位置和参考方位；

在所述参考系中确定每个相机在所述三维图像中的三维位置；

确定每个相机在所述参考系中至少一维的方位；以及

组合每个相机的位置和方位来确定所述参考系中的相机姿势。

22.根据权利要求21所述的系统，包括一个或多个方位传感器，每个方位传感器被安装到相关相机并适于测量指示相关相机在至少一维的方位的方位数据。