CN102834845B - 用于多摄像装置校准的方法与装置 - Google Patents

Abstract

用于在多视角位置为至少两个摄像装置(摄像装置1，摄像装置2)确定校准数据的方法，包括：通过对由所述摄像装置拍摄自同一场景的各自图像(图像1，图像2)执行各自的几何分析，确定用于在所述各自图像上识别至少一个各自的单应性变换的各自参数((h¹ ₀₀，...，h¹ ₂₂)，(h² ₀₀，...，h² ₂₂))的步骤，在所述各自图像上执行至少一个各自组合的单应性变换/特性检测，从而获得关于各自经变换的图像的各自特性集(特性集1，特性集2)的步骤，以使所述校准数据根据在所述各自特性集间所确定的匹配来获得。

Description

用于多摄像装置校准的方法与装置

技术领域

本发明涉及用于确定多个摄像装置间校准数据的方法。

背景技术

从不同视角的多个摄像装置的校准数据被使用，每当来自一个摄像装置的数据不得不被关联至来自另一个摄像装置的数据，例如在对由这些摄像装置查看的场景的完整3D重建过程中，当执行人员的3D跟踪时或在计算机生成图像的应用，例如用于增强现实的应用。

校准数据通常包括内部的及外部的摄像装置参数。前者涉及摄像装置内部自身的度量，例如像素大小、宽高比、倾斜(skew)与主点(principal point)。外部校准数据涉及该摄像装置的位置与视向(viewing direction)，或者相对于特定的世界坐标系(world frame)，或者相对于另一(参考)摄像装置。

该等内部校准参数并不依赖于该摄像装置的位置，因而可被假定是已知的，因为这些一般是由该摄像装置给出的或者是被估得的。

在另一方面，该等摄像装置的相对位置及视向是未知的变量。每次摄像装置被移置或移动时，例如在创建电影图像的过程中，或者在利用移动设备捕获图像的过程中，或者在捕获图像的网络摄像头的移动过程中，这些变量会变化。

用于提供这些外部校准数据的已知技术通常涉及一些人为介入，其中，这些位置或者是人工测得的，或者是利用一些人工介入技术来获得的。完全自动化的技术存在，但仅针对该等摄像装置间的视角与位置的差别的有限情况，因为处理从不同视点所获得的图像中的变形是很困难的。这些有限情况仅涉及例如该等摄像装置间的短距离及小视角差别。

发明内容

因而本发明实施例的一个目的是提供上面已知种类、但完全自动化的方法，该方法可工作于多个摄像装置，而无关其相对位置。

根据本发明的实施例，该目的通过该方法得以实现，该方法包括：通过对由所述摄像装置拍摄自同一场景的各自图像执行各自的几何分析，确定用于在所述各自图像上识别至少一个各自的单应性变换(homographic transformation)的各自参数的步骤；在所述各自图像上执行至少一个各自组合的单应性变换/特性检测步骤，从而获得关于各自经变换的图像的各自特性集的步骤，以使所述校准数据根据在所述各自特性集间所确定的匹配来获得。

由此，一种通用且完全自动化的技术通过确定参数得以获得，该等参数在由所述摄像装置获取自同一场景的各自图像中识别至少一个合适的单应性变换。该等单应性变换自身依赖于所述摄像装置与建立的场景，是通过对所述各自图像执行几何分析来获得的。进一步地，通过确定所述各自经转换图像上各自特性集之间的对应项或匹配，来自一个摄像装置相对另一个的外部校准参数可被获得。

该过程可按需要被重复于整个集合中的任意摄像装置对，以获得全部多个摄像装置的校准。

因而该校准数据可包括关于所述摄像装置间的相对位置和/或相对视向差别的信息。该相对位置可用相对距离来表述，而该相对视向差别可用该等摄像装置间的相对倾斜(tilting)、翻转(rolling)和平移(panning)角度的差别来表述。

识别各自单应性变换的参数可通过对所捕获场景——因而所述各自图像——的几何分析来被确定。这可以通过多种相对简单的方式来实现——通过本文后续部分中所描述的实施例，将变得更清楚。一个变形可能涉及使用该等摄像装置的各自图像中所检测的线段，而另一变形可能例如涉及该等图像中曲线段的比较。线条的角度、垂直性及并行性也可以被利用，也可以使用更高层次的技术，如检测矩形及甚至对象识别。在另一变形中，这些技术的组合也可以被使用。

取决于所使用的场景几何分析的类型，一个或多个单应性变换可按每个图像被计算得。

更多的特性还在所附的权项与说明书中被进一步地描述。

本发明还涉及用于执行本方法的实施例的设备、适用于执行该方法的任一实施例的计算机程序，以及包括此类计算机程序的计算机可读的存储介质。

应注意的是，用于该等权项的术语“包括”不应被解读为限于其后列出的装置。因此，表述“一种设备包括装置A与B”的范围不应被限于仅由组件A和B组成的设备。这意味着对于本发明，该设备的仅相关的组件是A和B。

附图说明

通过参考实施例的以下描述、结合其中的附图，本发明的以上及其他目的与特性将更为清楚，本发明自身也会最佳地被理解。

图1a示出该方法的实施例的高层示意框图；

图1b示出图1a的高层框图的第一变形实施例；

图1c示出图1a的高层框图的第二变形实施例；

图2a示意性示出摄像装置的内部校准参数；

图2b示意性示出摄像装置的外部校准参数；

图3a示出图1c所示出第一变形实施例的计算机实现；

图3b示出图3a的实施例的变形，其中，内部校准参数也被计算得到；

图4a-b示出图3a实施例的更详细的实施例，可优选地被用于非自然场景。

具体实施方式

该描述与附图仅阐述了本发明的原理。故应理解，本领域技术人员将能够设计各种装置，该等装置在此虽未被明确地描述或示出，但体现了本发明的原理并包含于其精神与范围。进一步地，在此所列出的所有示例主要旨在专门仅用于教导目的，以帮助读者理解该(等)发明人为推进现有技术所贡献的、本发明的原理与概念，并且将被理解为对此类具体表述的范例与条件不作限制。而且，在此叙述本发明的原理、方面与实施例的所有陈述，以及其中的具体范例，旨在包括其等同特征。

本领域技术人员应理解，在此的任一框图表示实现本发明原理的示例性电路的概念性视图。相似地，应理解，任一流程图、作业图、状态转换图、伪代码等表示不同步骤，该等步骤可大体在计算机可读介质中被表示，并被计算机或处理器执行，无论该计算机或处理器是否被明确地示出。

在图中所示的各类元件的功能，可通过使用专用硬件被提供，也可通过使用可执行软件的硬件与适合的软件相结合被提供。当由处理装置提供时，所述功能可由单独的专用处理装置，由单独的共享处理装置，或由多个独立的处理装置提供，其中所述多个独立的处理装置中的若干个可能是被共享的。此外，所述术语“处理装置”或“控制装置”的明确使用，不应当被解释为唯一指代可执行软件的硬件，并且可能隐含了包括但不限于数字信号处理装置(DSP)硬件、网络处理装置、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)、及非易失性存储器。其他硬件，传统的和/或自定义的，也可包括于此。相似地，在图中所显示的任何转换装置仅为概念性的。它们的功能可通过程序逻辑的操作、通过专用的逻辑、通过程序控制和专用逻辑的交互或者甚至手动地被实现，在此由实施者所选择的特定技术能根据上下文被更具体地理解。

图1a示出该用于确定两个摄像装置的校准数据的方法的高层实施例。显然，该实施例也可用于具有超过两个摄像装置的多个摄像装置的情形。该校准数据一般包括内部和外部摄像装置参数。这些参数被分别示于图2a和图2b。该等内部摄像装置参数涉及该摄像装置自身内部的度量，例如如图2a所示，例如涉及主点的两个分量px与py，以及象素宽度(ax)、高度(ay)与倾斜(s)。

图2b示出该等外部摄像装置参数，涉及这些摄像装置间的相对位置及其视向。一般，该等摄像装置之一将被作为参考摄像装置，并且，对于该集合中的所有单个摄像装置，其他摄像装置的相对位置与相对视向随后相对该参考摄像装置被确定。该相对位置用(dx，dy，dz)表示，指摄像装置1相对该参考摄像装置的位置向量的三个分量。平移、倾斜与翻转角度构成摄像装置1的视向相对该参考摄像装置的参考视向的差值的三个分量。

校准数据待确定的摄像装置被定位于多视图位置，意味着它们都能够或多或少从同一场景获取图像。场景用于表示任何对象，风景、人体、动画等等，它可由摄像装置来光学对准(registered)。因此，“场景”不仅限于人物、风景等的普通图像，还限于那些由摄像装置可检测的虚拟对象或真实对象。

与现有方法相反，本方法的实施例将能够生成外部摄像装置校准数据，无关于这些摄像装置间的相对距离与视向差。

因此，该等外部摄像装置参数涉及距离之差，例如该等摄像装置的两个主点间的差值或一个摄像装置的焦点与参考摄像装置的原点间的差值。一般，该差值可被表示为包括如图2b中所示的三个不同距离分量的位置向量。三个旋转角度的差值，是如图2b所示的且为本领域技术人员熟知的倾斜、平移与翻转角度，一般用旋转矩阵R来表示，该矩阵可由这三个角度α、β、γ计算所得：

$R=\left[\begin{array}{ccc}\cos \mathrm{\γ}& \sin \mathrm{\γ}& 0\\ -\sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& \sin \mathrm{\β}\\ 0& -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ -\sin \mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]---\left(1\right)$

为了获得不同摄像装置间的这些校准数据，各自图像被利用各自摄像装置拍摄自同一场景或对象。在图1a的实施例中，该等图像被分别记为图像1、图像2。该等图像被用于确定定义至少一个单应性变换的参数，所述单应性变换随后被执行于这些图像或其部分。为此，该场景的几何信息被分析。该步骤被标记为100，用于图像1的几何分析，如图1a所示。

现有执行该几何分析的多种方式，一些在进一步的实施例中被阐述。与可能详尽尝试该等图像上的所有类型单应性变换的其他方法相比，本发明实施例中所使用的几何分析步骤将支持快速确定一个或多个合适的单应性变换。这将导致用于确定校准参数的计算时间的减少、正确特性匹配的数量与特性匹配的总数的比值的提高——由其后步骤使用——及因而可用性与精确性。

单应性变换可涉及纠正水平面、模仿鸟瞰图或纠正垂直面以创建一个正视图或侧视图...。如此单应性变换是由待执行于该等图像的每个像素(x，y)的变换矩阵H来确定的：

$H=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right]---\left(2\right)$

经变换的像素坐标(x′，y′)中的每一个随后可用齐次坐标(x′_h，y′_h，t′_h)表示，其中，t′_h表示比例因子(ratio factor)，以使对每个像素执行以下变换：

$\left[\begin{array}{c}{x^{\′}}_h\\ {y^{\′}}_h\\ {t^{\′}}_h\end{array}\right]=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{02}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ 与 $x^{\′}=\frac{{x^{\′}}_h}{{t^{\′}}_h},$ $y^{\′}=\frac{{y^{\′}}_h}{{t^{\′}}_h}---\left(3\right)$

返回参考图1a，对于图像1的各自单应性变换确定被标记为步骤200。下一步骤涉及待应用于所述各自图像的组合的单应性变换/特性检测，场景几何参数自所述各自图像被导出以便支持变换参数的生成。

该组合的变换/特性检测步骤，对于图1a中的图像1被标记为300，可包括对完整图像的完整变换302，其后特性检测301将被执行于经变换的图像，如图1b所示。在另一个实施例中，例如图1c所示的实施例，特性检测步骤3001被以如此方式调整，以使——每次检测装置获取图像中的一个像素，在原始图像中的像素信息被获取前，像素坐标首先由单应性变换3002进行变换处理。对于所有该等实施例，组合的变换/特性检测步骤300的结果将是各自关于经变换图像的特性集，在图1a、1b和1c中，用特性集1表示对应于图像1，用特性集2表示对应于图像2。

特性检测可基于相似度不变特性检测方法来被执行。为了这个目标，存在一些不同的算法，例如，利用下述方法检测边、角、点或区域，如缩写为SIFT的尺度不变特征变换方法、缩写为SURF的加速稳健特征方法、缩写为GLOH的位置与方向渐变直方图方法、哈里斯角点检测方法、缩写为MSER的最大化稳定极值区域、托马斯角点检测方法、块匹配方法等。由于这些算法在除了仅涉及缩放、平移和变化的相似度下的变形中都易于执行不佳，它们不能被直接应用于输入图片上，因此需要首先执行对应的变换。

一旦该等特性在所述经变换图像中被检测出，匹配将被搜寻。匹配的特性可包括对应的像素、对应的线条、对应的对象、对应的区域等等。如提取自第一图像的场景几何信息的类型允许，在来自于两个摄像装置的对应的经变换图像之间的特性被匹配。若不，来自一个摄像装置的所有单应性变换的所有特性，与来自第二摄像装置的所有特性相比较。因此，在一些实施例中，例如图3a、3b所述实施例，这些单应性变换中的多个在所述各自图像上被确定，因为可能的情况是一个几何分析可能导致多个合适的单应性。这随后再是各自图像对于所有确定的变换的组合的变换/特性检测步骤，例如再次获取经变换的特性的集合，其中，该集合随后将包括对于所有单应性变换的所有经变换的特性。匹配项随后在两个图像的经变换特性的集合之间再次被查找。

两经变换图像的匹配项或匹配属性的集合在图1a、1b、1c和图3a、3b中被标记为m1到mk，指这两个经变换图像之间k对匹配属性。这些匹配项随后可被用于确定校准数据，例如之先提及的旋转矩阵与位置向量。

此外依赖于第一步骤的场景几何信息的类型，匹配步骤与校准数据的抽取可通过场景参数或单应性变换自身得到帮助，这将在更详细的实施例中被阐述。

经变换图像的对应特性因而被用于导出该两摄像装置之间的外部校准参数。由于该等特性沉陷于经转换图像，其各自的单应性变换在利用该等特性抽取校准数据时被考虑。依赖于场景几何参数的类型，该等参数也可帮助改善可能的校准方案的子空间，虽然这不是所需的。利用对极几何或其他反投影技术，相对位置向量与旋转矩阵可由该等对应关系计算得。

图3a与3b描述了所述方法的各自计算机实现。图3a中所述变形是基于图1c的变形方法的，在步骤200中还包括选择几个单应性。进一步地，在外部校准参数的计算过程中，不仅匹配的集合被考虑，而且该等特性自身也被考虑。这可能对于这些实施例——其中，该等匹配自身不包括有关原始图像自身内特性的位置的信息，因为该位置是用于确定校准数据的——是有趣的。在参考图1a、1b和1c的实施例中，假定该等匹配确实包括该信息。

图3b所述变形与图3a中实施例相似，但在步骤500中，不仅外部校准数据，而且内部校准数据还被计算得。

更详细的、计算机可实现的实施例现将被描述，包括对几何分析、特性检测与匹配步骤的更详细解释，并参考图4a和4b。该实施例可选地被用于人造场景，因而用于校准捕获非自然的、也常被成为人造场景——例如室内场景、城市场景，通常以并行线条、排列对象等等为特征——的摄像装置。该实施例将利用场景中丰富的垂直线并较少地利用场景中的水平线，以找到共同的垂直灭点(vertical vanishingpoint)。

待校准的每个摄像装置将再次拍摄该场景的图像。由于该等待执行步骤对于两个摄像装置是相似的，仅关于第一摄像装置的步骤在图4a与4b中被示出。

关于摄像装置1所拍摄图像——在图4a中被标示为图像i1——的几何分析100，涉及执行线段检测步骤101，因为来自人造场景的图像通常包括大量这些线条。完成该工作的方法可包括霍夫变换、LSD、曲率分析、SLIDE、组合优化方法、聚簇等等。在另一个变形中，该方法也可包括初始过滤步骤。

一旦该等线段被检测，在步骤102中，它们可被用于执行倾斜与翻转角度。这可能涉及垂直灭点的搜索。

基于该倾斜与翻转角度的估计，在步骤103中，平移角度估计被执行。

一旦包括该平移角度的所有这些角度被估得，标示为g¹ ₁...g¹ _N1的几何参数集是完整的。单应性变换参数随后可基于该集合被确定。在此情况下，它们将被基于鸟瞰图单应性。

如此的鸟瞰图单应性变换对应于纠正，该等参数的详细计算将在后续段落中被阐述。

因此计算所得的参数(h¹ ₀₀，...，h¹ ₂₂)随后可被用于对不同图像执行这些纠正。因此获得的纠正后的图像随后将分别经历对匹配或对应特性的搜索。这还可以通过各种方式来完成。

如前所述，该等特性可在所述经变换图像上被检测得，在该步骤后，该等匹配根据所述各自特性集被确定。基于尺度不变特性检测方法的实现将参考图4b再次被阐述。

图4b还给出了针对图4a中所概述的每个不同步骤的一些更详细实施例。

关于图4a的步骤101，涉及线段检测，图4b中所述的实施例包括对每个图像的初始过滤步骤。在图4b的实施例中，这是利用边缘检测滤波器来实现的。网络中每个摄像装置的图像经此被过滤为展示该等图像中所有边缘的二值图像(binary image)。虽然对于执行该初始过滤步骤存在不同的可能，但一个优选的方案使用坎尼边缘检测装置(Canny Edge Detector)，因为它在许多应用中是健壮的且无需许多参数设置。由于该算法沿图像中的边缘执行，与下一步骤的快速、集成的实现是可能的。替代方案可能包括简单的梯度法，如索贝尔滤波器、拉普拉斯滤波器、高斯差分滤波器等等。

该边缘检测过滤之后是在经滤除操作生成的二值边缘输出中检测线段。线段检测再次可以通过各种方式来完成。支持与前面的滤除步骤快速集成的优选实施例涉及在边缘检测步骤中沿边缘运行的同时，评估该边缘的曲率。在边缘像素，其中累积曲率(accumulatedcurvature)较高，该边缘被切割，新的可能的线段被形成。短线段被舍弃，表示同一线条的线段被合并。

一旦该等线段随后被检测出，将对其执行倾斜与翻转角度估计步骤102。这可通过搜索垂直灭点来完成，其自身可包括三个步骤。灭点是一个点，其中，在真实世界中平行的线条的投影似乎在图像中此处相交。第一步骤将该等线段大致分为可能垂直的线段和可能位于水平面的线段。由于对此实施例，假定该摄像装置不具有大的翻转角度(等于围绕光轴的旋转，参见图2b)，也可假定该场景内垂直线的投影或多或少是垂直的。因此，所有具有与垂直相差小于如20度的角度的线条，通过以与垂直相偏离如20度为阈值的阈值比较操作，被与在图4b中被标示为“水平”的其他线条相分离。注意，其他被简化较少的实施例不需要如此的假设。

RANSAC，随机抽样一致性的简写，是用于选择垂直灭点的良好候选点并去除错误点的健壮变形，它接着被用于所选择的垂直线。这可能一碟带的方式被执行，其中在每一次迭代中，来自前一步骤的两个可能的垂直线被选择。该两线条的交叉点随后将建议为垂直灭点的候选点。若许多其他可能的垂直线在低于一定界限值的距离处通过该点，则该候选点获得较高打分。该迭代随后被多次重复。具有最高打分的灭点候选者及对应的垂直线，被标示为“入围者”，被传递至最终的提炼步骤，被标记为“再次评估”。余下的线条，被标示为“剔除者”，被添加至水平分类的线条的列表，该列表来自在先被执行的阈值比较步骤。

该“再次评估”步骤从低于该阈值的所有被选垂直线中提炼最优的灭点，并非如前一步骤仅计算两线条的交叉点。此刻，该摄像装置的定向，相对该垂直方向的定向为倾斜角度、围绕光轴的定向为翻转角度，是已知的，因为根据等式1可知，该两角度仅依赖于旋转矩阵的一列，而该旋转矩阵是由该灭点的归一化其次坐标来精确定义的。

这是说，此刻，任一水平面可以通过单应性变换，以一种减少不同摄像装置的两个视图间相似类(即仅平移(translation)、翻转和缩放)的形变的方式来被纠正。因此，忽略平移角度估计步骤103并直接进行至变换步骤，是可能的。然而，为了减轻该后续步骤并提高其精度，在此实施例中，平移角度估计被呈现。

平移角度是围绕垂直轴的角度(参见图2b)。它的确定可能涉及三个子步骤。在第一子步骤中，每个视图的水平被计算得。该水平对应于所有水平面投影在一个图像中相交处的线条。一个水平面内任一方向的所有灭点将位于该线条上。甚至在该线条上点与水平方向角之间存在一对一的关系。该线条可根据垂直灭点及图2a中所示的该摄像装置的前述内部校准参数，来计算得。更具体的，该线条上的点形成与归一化灭点的数学零空间相同的子空间。若该内部校准是未知的，则估计足以满足该步骤的目的，因为该技术相对水平的微小变化将是健壮的。估计可以仅从图像宽度与高度——这些当然是已知的——来方便地导出。

一旦该水平被获得，每个非垂直线条，属于满足水平阈值的线条与RANSAC所舍弃的线条的联合，将与该水平相交以导出其水平方向。由于线条的测量、水平的估计及查找交点易受噪声影响，所以每个图像的线条方向的直方图将被生成。每个线条按其长度被赋予权重。

第二个子步骤涉及在这些直方图中搜寻“主方向”，它允许相对场景的直接校准。直方图中的最大值对应于该场景中丰富的水平线条方向。这经常在人造场景中发生，因为人们趋于发现排列的对象比失序对象更有美感。而且，这些最大值及其对应的主方向经常是90度相分离的，这可以被最大值查找(maximum-finding)算法利用，从而获得每个视图的两个主方向，所以，该平移角度被定义为高达n*90度模糊性。该模糊性可通过对于平移角度phi、phi+90、phi+180和phi+270四次执行阶段4中的步骤(单应性变换与SIFT)，来解决。然而，这并不意味着四倍的时间复杂度，因为下一阶段中的大多数步骤可以一次处理四个角度。

然而，可能发生，没有主方向从该等直方图上体现。在此情况下，人们总可以求助于发现该摄像装置与参考摄像装置间在平移角度上的差值，而不是将该直方图关联至共同的参考坐标系(referenceframe)。每个图像的直方图互相被比较，以导出生成当前被比较图像对的该两摄像装置间的相对平移角度。为此，经平滑的视图直方图不得不按平移角度搜索空间的采样子集来被平移，直至它最小化与其他经平滑的直方图间的一些距离准则。人们可利用库巴可-雷柏散度(Kullback-Leibe divergence)作为准则，将简单的帕曾窗(Parzenwindowing)用于平滑处理。当然，其他选择是可用的。

若“主方向”路径与“平移角度差值”路径都失败了，优先权选择步骤将为两图像选择随机平移角度，并将解决该模糊性留至图4b阶段4中的匹配步骤。此刻，该等摄像装置相对彼此的全部定向，以及可能地——若主方向可被找到——相对场景中的主方向，通过倾斜、翻转与平移角度的确定来被发现。后续步骤将处理摄像装置的位置的发现。

由于关于场景自身没有信息被了解，仅该等摄像装置相对彼此的相对位置将被导出。因此，这将通过先纠正所述各自图像、其后对应元素或属性被查寻，来得以执行。

图4b的阶段2和3的输出因而被用作场景几何参数，以定义每个摄像装置的合适的单应性变换。该变换被选择以模拟该场景的鸟瞰图。水平面是从该摄像装置的初始图像中的倾斜角来查看的，它被转换为如同直上方查看的图像。由于这样的转换保留了从真实世界至经转换图像的角度度量，所以该转换被称为“纠正”。

注意，在阶段二的最后，每个图像按所有视图间存在相似性的方式被转换。相似性包括4种自由度：2涉及平移，1个涉及旋转和统一尺度。这些对应于平移角度和该摄像装置的位置的三个自由度。阶段三可能已经去除平移角度，依赖于直方图间相似性测量的精确度，或绝对情况下的特性。

在对每个图像执行纠正之后，对应的特性将被搜寻。在图4b中所述实施例中，一项称为相似不变特性变换(SIFT)的技术被使用。这是一项已知的、搜寻与描述图像中低层相似特性的技术。

该技术因而被应用于搜寻参考图像与来自所有其他摄像装置的所有其他图像之间的对应特性，所述参考图像拍摄自被选作多个摄像装置中一个的参考摄像装置。该等特性根据SIFT技术被描述。由于许多特性将在水平面内被发现，其SIFT描述在所有视图间保持不变，因为仅一项相似性形变存在。在平移角度已被第三阶段考虑的情况下，因而当指向优先级选择步骤的前两路径中一个成功时，该SIFT描述子可通过去除旋转描述来被简化。另一选项是在下一步骤中将该描述子中的旋转用作匹配算法的额外限制。另一RANSAC类似步骤被用于发现共同的平移、比例因子和(如需要)旋转角度。此刻，第二单应性矩阵(不同于之前提及的、仅说明旋转的矩阵的另一个矩阵)将一个视图中的水平面完整注册至另一视图中的相同平面，是已知的。

最后，该第二单应性矩阵，对于每个视图，可被分解为每个摄像装置的一个有效旋转矩阵及一个平移向量。利用关于来自阶段2和3的定向参数的知识方便这一分解操作，但不是必需的。

该校准可被用于其自身，或作为光束平差法(bundle adjustment)类似的求精方法的输入，该光束平差法需要好的初始化估计。

可以说，在其他实施例中，场景中线条的存在也被利用，但多个灭点，例如其中3个，可被寻找。同时，它们可构成旋转矩阵R中的有效列。这可以通过阶段2中的RANSAC与再次估计步骤的更多扩展的版本，来完成。

在找到所有三个灭点——这对应于场景中的三个主要方向X、Y和Z——的健壮估计后，每个摄像装置的三个不同的单应性变换被计算得。每个模拟不同侧视图(顶部、前端与侧面)。阶段4现在将摄像装置中每个经转换视图的特性与参考摄像装置的对应特性相匹配，以获得一个好的对应集合，阶段5据此在此可以计算所有校准数据。

一个备选实施例(图中未示出)可搜寻场景中的矩形对象。非自然场景常常以窗子、桌子、门、计算机屏幕、屏幕等为特征，这些都是矩形形状的。不是真正地识别这些对象，这需要更困难的技术，通常在场景中查找矩形是足够的，因为一般这些可被视为对应于投影图像内的不规则四边形。用于此的方法与线条检测相似。

下一阶段随后计算所有单应性变换，它们将这些不规则四边形纠正至其最初的矩形形状。由于许多其他(也是非矩形)对象与这些矩形对象相排列(例如放在桌上的对象，靠近窗子、悬在墙上的对象等等)，所以它们按同样适当的方式被转换，从而支持后续尺度不变特性检测步骤以发现多个视图中许多相同特性。利用前面其他阶段中的相同方法，这再次支持所有摄像装置的全面校准。

在描述CD、杯子、按钮等的场景的情况下，相似的实施例可被考虑，例如将椭圆形纠正为圆形。或者处理场景的图像的单应性变换，所述场景具有规则间距的对象，例如键盘上的按钮、墙纸、瓷砖、窗帘、橱门等。在此描述的所有这些实例也可能被组合。

虽然本发明的原理联系特定的装置已被描述，可清楚地理解，该描述仅通过示例作出，而不是作为对如所附权项中的定义的本发明范围的限制。

Claims (24)

1.用于在多视角位置为至少两个摄像装置(摄像装置1，摄像装置2)确定校准数据的方法，所述方法包括：通过对由所述摄像装置拍摄自同一场景的各自图像(图像1，图像2)执行各自的几何分析，确定用于在所述各自图像上识别至少一个各自的单应性变换的各自参数((h¹ ₀₀,…,h¹ ₂₂)，(h² ₀₀,…,h² ₂₂))的步骤，在所述各自图像上执行至少一个各自单应性变换的步骤和关于各自经变换的图像的各自特性检测步骤，从而获得关于各自经变换的图像的各自特性集(特性集1，特性集2)的步骤，以使所述校准数据根据在所述各自特性集间所确定的匹配来获得。

2.根据权利要求1所述的方法，其中，所述校准数据包括关于所述摄像装置之间的相对位置的信息。

3.根据权利要求1或2所述的方法，其中，所述校准数据包括关于所述摄像装置之间的相对视向差别的信息。

4.根据权利要求1所述的方法，其中，所述至少一个各自单应性变换和所述各自特性检测的步骤(300)包括变换所述各自图像的步骤(302)，随后在所述经变换的图像中进行特性检测的步骤(301)。

5.根据权利要求1所述的方法，其中，所述至少一个各自单应性变换和所述各自特性检测的步骤(300)包括所述各自图像的像素坐标变换(3002)，随后对部分被变换的图像进行特性检测(3001)直至所述各自图像(图像1)的所有像素坐标被变换的迭代过程。

6.根据权利要求1所述的方法，其中，所述各自的几何分析的步骤(100)包括确定所述各自图像上的线段。

7.根据权利要求1所述的方法，其中，所述各自的几何分析的步骤(100)包括确定所述各自图像上的弧段。

8.根据权利要求1所述的方法，其中，所述各自的几何分析的步骤(100)包括在所述各自图像上执行对象识别。

9.根据权利要求6所述的方法，其中，所述各自图像上的线段还被用于确定所述至少两个摄像装置之间的视角差别。

10.根据权利要求1所述的方法，其中，所述校准数据还根据所述各自的特性集被确定。

11.根据权利要求1所述的方法，其中，所述校准数据还根据用于识别所述各自的单应性变换的所述参数来被确定。

12.根据权利要求1所述的方法，其中，所述校准数据还包括内部摄像装置参数，其数值还可被基于所述匹配来优化。

13.用于在多视角位置为至少两个摄像装置(摄像装置1，摄像装置2)确定校准数据的设备，所述设备包括:

用于通过对由所述摄像装置拍摄自同一场景的各自图像(图像1，图像2)执行各自的几何分析，确定用于在所述各自图像上识别至少一个各自的单应性变换的各自参数((h¹ ₀₀,…,h¹ ₂₂)，(h² ₀₀,…,h² ₂₂))的装置，

用于在所述各自图像上执行至少一个各自单应性变换和关于各自经变换的图像的各自特性检测，从而获得关于各自经变换的图像的各自特性集(特性集1，特性集2)，以使所述校准数据根据在所述各自特性集间所确定的匹配来获得的装置。

14.根据权利要求13所述的设备，其中，所述校准数据包括关于所述摄像装置之间的相对位置的信息。

15.根据权利要求13或14所述的设备，其中，所述校准数据包括关于所述摄像装置之间的相对视向差别的信息。

16.根据权利要求13所述的设备，其中，用于至少一个各自单应性变换和所述各自特性检测的装置包括用于变换所述各自图像的装置和用于随后在所述经变换的图像中进行特性检测的装置。

17.根据权利要求13所述的设备，其中，至少一个各自单应性变换和所述各自特性检测的装置用于执行所述各自图像的像素坐标变换(3002)，随后对部分被变换的图像进行特性检测(3001)直至所述各自图像(图像1)的所有像素坐标被变换的迭代过程。

18.根据权利要求13的设备，其中，用于各自的几何分析的装置包括用于确定所述各自图像上的线段的装置。

19.根据权利要求13的设备，其中，用于各自的几何分析的装置包括用于确定所述各自图像上的弧段的装置。

20.根据权利要求13的设备，其中，用于各自的几何分析的装置包括用于在所述各自图像上执行对象识别的装置。

21.根据权利要求18所述的设备，其中，所述各自图像上的线段还被用于确定所述至少两个摄像装置之间的视角差别。

22.根据权利要求13所述的设备，其中，所述校准数据还根据所述各自的特性集被确定。

23.根据权利要求13所述的设备，其中，所述校准数据还根据用于识别所述各自的单应性变换的所述参数来被确定。

24.根据权利要求13所述的设备，其中，所述校准数据还包括内部摄像装置参数，其数值还可被基于所述匹配来优化。