CN102369413B - 用于确定第一和第二成像设备相对位置的方法及设备 - Google Patents

Abstract

本发明公开了一种用于确定第一和第二成像设备的相对位置和方向的方法，分别在第一和第二成像设备的第一和第二图像中比较通常描述的目标的图像，其中第一和第二成像设备适于分别提供用于各个图像的第一和第二景深信息，并且其中至少第一和第二景深信息用于所述确定。还公开了相应设备。

Description

用于确定第一和第二成像设备相对位置的方法及设备

技术领域

本发明涉及照相机校准技术及设备领域。其涉及用于确定第一和第二成像设备相对位置和方向的方法和设备及应用。

背景技术

当利用两个或多个照相机捕获场景时，通常需要这些照相机的特性以有效使用捕获的数据或信息，例如推导出场景中目标的3-D信息。这些特征典型地包括照相机的位置、照相机的方向、和诸如分辨率、视野、偏斜等的内部照相机参数(也称为固有参数)。例如在创建场景的三维模型时，这些信息是典型地特别重要的。在现有技术中，照相机信息的复原通常被称为“照相机校准”。

当前的方案使用由照相机捕获的彩色信息以进行校准。然而通常要求校准步骤，其中校准步骤要求物理上带入或插入真实场景中的校准目标。于是，校准目标的已知特性被用于恢复照相机参数。

存在不需要这样校准目标的其它方案；然而，这些方案是缓慢和/或不可靠的。这些方案通常具有这样的问题，它们包括困难的初始设置，它们仅工作于具有特定特征类型的场景，或者它们要求有关场景的附加知识或信息。这些方案不允许对终端用户透明的照相机校准。此外在维持照相机校准时难以支持移动照相机。现有技术的方法的确更多地要求实质处理能力。

大部分现有技术也确实不允许实时3-D信息提取。

在现有技术中，存在用于推导出真实目标的3-D信息的技术，例如使用该目标的3-D信息表示作为例如虚拟世界的虚拟环境中的目标。用于“将真实目标转换为3-D数字信息”的现有技术的实例包括利用一个或多个激光对目标进行扫描。

发明内容

当使用如“第一”、“第二”、“第三”或类似的术语时，这不必然意味着设定的顺序或时间次序。

术语“包括”应被理解为其不排除其他元素或步骤。

根据本发明的第一方面，公开了一种用于通过分别在第一和第二成像设备的第一和第二图像中比较通常描述的目标的图像来确定第一和第二成像设备的相对位置和方向的方法，其中第一和第二成像设备适于分别提供用于所述各图像的第一和第二景深信息，并且其中至少所述第一和所述第二景深信息用于所述确定。

本发明的实施方式可能除颜色数据外，还利用景深信息和数据来优化照相机校准处理。对于能够利用该技术的照相机，对每个像素除了颜色值外，还典型地可以使用景深值。该景深数值是在特定范围内的值，其表示景深的相对概念。用于图像的所有景深值的集合表示景深图，其中景深图可以通过现有技术中已知的各种技术获得。例如这可以通过直接捕获景深数据以及颜色数据来实现(例如通过飞行测量的时间)。另外，用于导出景深数据的更普通的方法从场景的两个(或更多)邻近图像中产生这样的景深图。邻近图像可定义为具有足够重叠的图像。通常使用的是与图像平面放置同一平面上的照相机，并且照相机中心之间的距离在3和100cm之间。利用该景深信息能够进行快速的照相机校准(位置和方向)，而不需要进行物理操作以及将校准目标带入到场景中，能够进行动态照相机配置。

根据本发明的实施方式，该方法包括：

a.确定一组至少四个参考点，在所述第一图像上和所述第二图像上可识别的所述参考点作为投影参考点；

b.通过使用所述第一图像中用于所述参考点图像的所述第一景深信息导出相对于所述第一成像设备的所述参考点的虚拟位置；

c.设置所述第一成像设备的预定方向；

d.通过使用所述第二图像中所述参考点图像的所述第二景深信息导出相对于所述虚拟参考点的所述第二成像设备的位置；

e.通过优化所述第二图像上所述参考点的图像和虚拟参考点之间的对准关系来确定所述第二成像设备的方向。

由于所有恢复的位置和方向将与该预定的方向(和该第一成像设备的位置)相关，可以自由地确定第一成像设备的方向。

术语“参考点”用于3D表示，并且术语“(在特定成像设备上的)投影参考点”用于与成像设备相关联的2D表示。此外可以在“真实的”参考点和“虚拟的”参考点之间获得差别；第一个是真实世界中的真实点，以及第二个是从成像设备背投(back-projected)到虚拟3D空间中的参考点(在“完善的”系统中真实的和虚拟的是相等的；也就是，没有捕获误差的系统)。可以将至少四个真实参考点视为真实点，对于第一和第二成像设备是可见的真实世界中的点。至少四个虚拟参考点可以视为从成像设备的投影参考点导出的点。

可以自动确定至少四个(投影)参考点，例如通过自动图像识别或其他现有技术中的识别技术。

优选地，至少四个虚拟参考点不在同一平面内。

根据本发明实施方式的优化第二图像上所述参考点的图像和参考点的对准关系包括：

a.将所述第二图像中所述虚拟参考点的至少一个所述图像与其相应的投影参考点对准；

b.确定绕旋转轴旋转的角度，其中旋转轴由连接对准的投影参考点与成像设备中心的线限定，这对于所述参考点的其它所述图像最大可能地对应于它们各自的虚拟参考点是必要的。

在理想情况下，虚拟参考点的其他图像可以被准确地映射到其他各个投影参考点上。事实上，对应可能不是完善的，并且可以执行对应的优化或最大化。优化方法可用于获得位置和方向；可以根据图像(2D和景深)中期望的噪声和结果中要求的精度来选择这些方法。优化位置获得的一个方法是使用现有技术中能量函数上的能量最小化方法： $E\left(l_2\right)=\underset{(x_{1,i},x_{2,i})\∈R}{\mathrm{\Σ}}\mathrm{dist}(\mathrm{proj}(x_{1,i},c_1),\mathrm{sphere}(l_2,\mathrm{depth}\left(x_{2,i}\right))),$ 其中R是用于两个成像设备的投影参考点的集合；l₂是成像设备2的中心位置，dist(x，y)是返回(3D)点x和球体y之间距离的函数；proj(x，C)是返回使用照相机参数C的投影(2D)点x的投影的函数；sphere(x，D)是返回具有中心x和半径d的球体的函数；depth(x)是返回投影参考点x的景深的函数。对方向的优化也可以使用相同的能量最小方法。在这种情况下最小化的能量函数可以是： $E\left(r_2\right)=\underset{(x_{1,i},x_{2,i})\∈R}{\mathrm{\Σ}}\mathrm{dist}({\mathrm{proj}}^{-1}(x_{1,i},c_1),\mathrm{cam}(i_2,l_2,r_2)),x_{2,i}),$ 其中R是用于两个成像设备的投影参考点的集合；r₂是第二成像设备的方向，dist(x，y)是返回(2D)点x和(2D)点y之间距离的函数；proj(x，C)是返回使用照相机参数C的投影(2D)点x的投影的函数；proj^-1(x，C)是返回使用照相机参数C的(3D)点x的背投的函数；cam(i，l，r)是返回包括固有参数i，外部参数l(位置)和r(方向)的照相机参数集合的函数；c₂、i₂、l₂在该操作中被认为是静态的。

替换单一照相机优化的是多照相机优化。在前述的单一照相机优化中，错误在于没有参考的照相机。在多照相机优化中，这些错误可能分布在所有的成像设备上。在这种情况下，仍然将参考照相机用于结果的第一近似，并且随后通过调整虚拟参考点的位置(在成像设备期望的噪声范围内)和其它成像设备以收敛到充足结果上以优化该结果。前述相似的方法可以用于这种情况(例如能量最小)，然而可变参数可扩展至所有涉及的成像设备(不包括参考成像设备)和虚拟参考点。选择使用该多照相机优化取决于输入数据中的期望噪声，和校准结果的要求精度。在一定的角度上，参考照相机保持其原始位置和方向；然而来自该照相机的虚拟参考点不被认为是“唯一正确的方案”。这些虚拟参考点的坐标也被认为是可变的，能够在一定阈值内移动(根据照相机噪声)。在这种情况下的优化要求确定没有参考的照相机的照相机位置/方向，和虚拟参考点。从而也会将错误提供给参考照相机(由于移动的虚拟参考点)；最小化的目的可以是将尽可能小的错误相等地分布给所有的成像设备。

对本领域技术人员来说，解决最大化问题的其他方法是已知的。

将两个或多个成像设备的相对位置的获取过程分解为导出它们相对位置、并确定它们相对方向的两个子过程，允许有效和低处理能力消耗，并从而能够相对快地确定成像设备相对于彼此的相对位置。

根据本发明的实施方式，该方法进一步包括在确定两个或多个成像设备的位置和方向中考虑固有的照相机参数。

根据本发明另一方面，用于确定多于两个成像设备的相对位置和方向的方法，可以通过迭代地确定另一成像设备相对于彼此的相对位置和方向来实现，例如通过迭代地确定相对于预定的第一成像设备的其它成像设备的相对位置和方向来实现。前述的多照相机校准使得参考图像的概念变得模糊，并允许在相对于期望噪声的平等基础上处理不同的成像设备。

根据本发明的一个方面，公开了一种在场景中导出至少一个目标的3-D信息(例如位置、方向、大小、......)的方法，包括：

a.提供场景的至少2个图像，图像都包括目标，在相对于目标不同的位置和方向上获取的图像；

b.利用根据本发明第一方面的实施方式的方法，导出所述成像设备相对于彼此的相对位置；

c.通过考虑至少2个成像设备的相对位置和方向，导出至少一个目标的3-D信息。

3-D信息包括(单不局限于)在2-D输入中可见的点的3-D位置。可以作为3-D信息组成部分的其它信息是3-D点表面的方向(通常称为“法线”)、颜色信息(纹理等)等。

根据本发明的实施方式，至少一个目标的3-D信息是时间相关的。换句话说，根据特定的实施方式，即使当成像设备自己改变位置和/或方向时，可以实时地确定3-D信息，允许识别移动和由至少两个成像设备成像的目标形态的可能改变。

在其它实施方式中，可以初始确定成像设备的相对位置和方向，并在其后可以保持恒定或不变。这些实施方式进一步减少用于确定实时3-D目标信息所需要的处理功率。

该方法可以用于将真实目标转换为(捕获为)在虚拟环境中使用的3-D目标信息。

根据本发明的实施方式，该方法可以用于获得预定数量的成像设备的固定位置和方向，其图像进一步用于3-D视频会议。

3-D视频会议可以包括简单的立体视频(在输入端使用2个照相机以捕获2个视频流，例如在输出侧利用立体眼镜以显示立体场景)。其可以包括提供表示在3-D中具有不同参加者的会议室的虚拟环境(其中会议室不必要是实际会议室的纯粹虚拟表示)。由于该3-D信息，因此不会被这些参加者的一个特定视角所限制。

根据本发明的第二方面，公开了一种适于确定第一和第二成像设备的相对位置和方向的设备，分别在第一和第二成像设备的第一和第二图像中比较通常描述的目标的图像，其中第一和第二成像设备适于分别提供用于各个图像的第一和第二景深信息，并且其中至少所述第一和所述第二景深信息用于所述确定。

该设备可以包括：

a.用于确定一组至少四个参考点的装置，在所述第一图像上和所述第二图像上可识别所述参考点；

b.用于通过使用所述第一图像中用于所述参考点图像的所述第一景深信息导出相对于所述第一成像设备的所述参考点的位置的装置；

c.用于确定所述第一成像设备似然方向的装置；

d.用于通过使用所述第二图像中所述参考点图像的所述第二景深信息导出相对于所述参考点的所述第二成像设备的位置的装置；

e.用于通过优化所述第二图像上所述参考点的图像和参考点之间的对准关系来确定所述第二成像设备的方向的装置。

该设备可以进一步包括用于在所述确定中考虑固有照相机参数的装置。

根据本发明的实施方式，该设备包括用于通过迭代地确定另一成像设备相对于彼此的相对位置和方向，例如通过迭代地确定相对于第一预定成像设备的其它成像设备的相对位置，确定多于两个成像设备的相对位置和方向的装置。

由从属权利要求来介绍本发明的其他方面。不但是由权利要求限定的特定组合，而且由来自从属权利要求的特征、任意独立权利要求的特征和其它从属权利要求的任意特征进行的结合，对本领域技术人员来说是适当的。

附图说明

附图用于解释本发明的实施方式。

图1、2、3、4和5描述了根据本发明的实施方式。

图6描述了本发明在3-D图形合成环境中的实施方式，由此从不同位置和方向的通常目标获得的不同2-D图像导出3-D图形。

图7描述了用于真实世界场景的3-D图形合成的工作流程。根据本发明实施方式，“使用景深图的照相机校准”可优选地用于该方法中。根据本发明的实施方式输出是所使用的成像设备(例如照相机)的位置和方向。

图8描述基于根据本发明的实施方式的可能应用的可能内部工作流程。

在不同的附图中选择附图标记使得附图标记对于类似或相同的元素或特征是相同的。

具体实施方式

当结合下面的各个附图进行阅读并通过下面详细描述，本发明上述的和其它有益特征和目的变得更为明显，并可以更好地理解本发明。

通过特定实施方式并参照特定附图进行对本发明方面的描述，但是本发明不局限于此。所描述的附图仅仅是示例性的而不应被认为是限制性的。例如，相对于其它元素，特定的元素或特征不以比例或尺度进行描述的。

在根据本发明的特定实施方式的说明中，为了帮助理解各个发明方面中的一个或多个的目的，各种特征有时集中在单一的实施方式、附图或其说明中。这不应解释为好像出现在集合中的所有特征是解决特定问题所必要的。发明方面可能小于这种出现在特定实施方式的说明书中的特征集合的所有特征。

当使用多个这样的具有已知固有参数的照相机捕获场景(包括目标(3))时，本发明的实施方式(如图1所示)允许对能够处理景深的照相机(1，2)(提供颜色(11，21)和景深数据(12，22)的照相机)进行校准。例如校准过程可以同时处理两个照相机(注意，当使用如前所述的多照相机优化时，这并不限于两个照相机)。可以确定多个(至少两个)照相机的每一对照相机的照相机(成像设备)相对位置。

首先，需要多个特征对应(correspondence)；这些特征对应是在场景的2-D照相机视野中表示相同3-D场景点的点。这在图2中进行了描述。至少需要四个这样的特征对应(A、B、C、D)，其中最多三个可能位于同一3-D平面上(例如这可以通过检测景深图来确定)。基于系统的计算能力并结合实时要求，可选择更多或更少的特征对应。优选地可选择最可靠地对应(最确定的对应)。本领域技术人员知道识别这样的对应的方法。

一旦获得用于两个照相机的对应，可以继续校准过程。首先可以将第一照相机(1)放置在空间中特定的位置上，并进行预定的旋转。它给空间中其它照相机的定位提供参考。优选地，获得的第二照相机(2)的位置和方向(例如旋转)属性可以与第一照相机(1)的位置和方向有关。

通过固定第一照相机(1)的位置和方向，可以将该照相机图像平面上的参考点(A、B、C、D)背投(back-project)到3-D空间中。这通过首先使用照相机信息(位置、方向和固有参数)和参考点(A)的2-D位置在3-D空间中指定线(L1)来实现。随后使用指定前述线(L1)上点(A′)的有关特征点(A)的景深信息(Z¹ _A)。这如图3所示；L1表示3-D空间中的线，A′表示由景深信息Z¹ _A限定的该线上的点(景深通常由Z表示)。

可以对所有参考点A、B、C、D重复进行，通过Z¹ _A、Z¹ _B、Z¹ _C、Z¹ _D得到3-D参考点A′、B′、C′、D′。

当从第二照相机看时(第二照相机(2)的景深图限定每个参考点Z² _A、Z² _B、Z² _C、Z² _D的景深)，通过确定在3-D空间中与每个相应的参考点(A′、B′、C′、D′)的景深对应最好的位置来获得第二照相机(2)的位置(例如在已知的针孔照相机模型的针孔位置)。这如图4所示，其中随着它们的景深可获得四个特征点(使用照相机2的景深)。

在使用四个参考(或特征)点时获得该照相机位置的方法是直接通过相交的4个球体；每个球体在3-D空间中具有作为其中心(A′、B′、C′、D′)的参考点(Z² _A、Z² _B、Z² _C、Z² _D)，并且其半径等于由第二照相机(2)的景深图指定的景深。首先2个球体相交以产生圆。该圆与第三个球体相交产生两个点。通过与球体4相交来选择这2个点中的一个作为照相机位置。当没有提供完善的输入数据时，可使用更复杂的确定技术。

在获得照相机的位置(CC)后，可以计算方向。请求的信息包括投影到照相机2的成像平面上(PA2、PB2、PC2、PD2)的参考点(A、B、C、D)。可以确定方向以尽可能地将参考点(A′、B′、C′、D′)与指定照相机成像平面上的特征点位置(A、B、C、D)匹配(例如绕其针孔旋转照相机)，并将参照点投影(PA2、PB2、PC2、PD2)与指定照相机成像平面上的特征点位置(A、B、C、D)匹配。

解决该问题的一个方式是开始选择一个特征点投影(例如PB2)。确定照相机的方向以将该特征点投影到成像平面(B)的正确位置上。现在需要通过绕着照相机中心(CC)限定的轴的旋转R和所选择的特征点(PB2)的投影，以将其他投影点与照相机的成像平面匹配。这如图5所示。左侧的图描述了一个参考点投影PB2与成像平面(B)上的特征点位置匹配的状态。在右侧的图中，绕着前述的轴或线对照相机进行旋转以匹配其余的参考点投影。例如根据预定的度量，最好的匹配可用于复原照相机的方向。

本发明的实施方式可以用于不同的应用。下面将描述一些实施例。

本发明的实施方式可以是家庭3-D通信方案的一部分(见图6)。通过用户周围的多个具有景深能力的照相机来记录用户(例如，用于景深图提取的2×2的网络照相机(cams))。使用本发明的能够进行校准而不需要由用户执行明确地校准步骤，并允许一个、多个或全部照相机移动的实施方式可获得这些照相机的位置和方向。

一旦计算出校准数据，多个照相机的颜色和景深信息可用于各种使用情况；它们中的一个是创建场景的三维模型。例如可以通过将多个景深图在三维像素空间中雕刻来形成。然后，这样的模型可集成到能够在具有真实演员(用户模型)的虚拟环境中进行3-D通信的虚拟世界中。

图7描述了真实世界场景的3-D图形合成的工作流程。根据本发明的实施方式，“使用景深图的照相机校准”可优选地用于这样的方法。根据本发明的实施方式的输出可以是所使用的成像设备(例如照相机)位置和方向。然后，该输出可用于将多个照相机的景深图背投到3D空间中。对它们来说这些测量结果然后可以用于配合更高级别的3-D模型；例如用于多角形模型提取。

图8描述了基于本发明的实施方式可能应用的可能内部工作流程。首先，产生或提供两个或多个二维加景深信息图像2-D+Z。在(至少一个)图像对之间提取特征对应(91)。然后，通过最小化3-D空间中估计的参考点和照相机视野的景深值之间的差别以获得照相机位置(92)。然后，通过最小化来自3-D空间的投影参考点和已知的图像坐标之间的差别来获得照相机方向(93)。过程可选择性地包括允许多个迭代的循环(94)。这些迭代可以提高最终结果的精度。所需用的迭代量取决于输入数据的希望噪声、和输出中的期望精度。

尽管这里描述的一些实施方式包括一些在其它实施方式中没有包括的特征，在本发明的范围内将不同实施方式的特征进行组合、以形成不同的实施方式，对本领域技术人员来说是可以理解的。

尽管本发明在上面给出的原则与特定实施方式相关联，可以明确理解的是，这种描述仅仅是示例性的，并不限制保护范围，其中保护范围由所附权利要求确定。

本领域技术人员可以认识到，本发明的实施方式可提供至少以下优点：

-不需要通过物理操作和将真实校准目标带入场景进行照相机校准；

-通过将不同照相机的相对位置分解为相对位置和相对方向允许实质上减少所需要的处理能力，从而要求相对低的处理能力；

-根据特定实施方式，实际的照相机可用于得到3-D目标信息，不需要可能基于诸如基激光扫描的更复杂的和/或更昂贵的方案；

-至少部分由要求的相对低的处理能力所导致的，本发明实施方式允许对移动目标进行实时3-D信息提取。

Claims (13)

1.一种用于确定第一和第二成像设备的相对位置和方向的方法，分别在所述第一和所述第二成像设备的第一和第二图像中比较目标的图像，其中所述第一和所述第二成像设备适于分别提供用于所述各个图像的第一和第二景深信息，并且其中至少所述第一和所述第二景深信息用于所述确定，进一步包括：

a.确定一组至少四个参考点，在所述第一图像上和所述第二图像上可识别的所述参考点作为投影参考点；

b.通过使用所述第一图像中用于所述参考点的图像的所述第一景深信息，导出相对于所述第一成像设备的所述参考点的虚拟位置，其中所述参考点的虚拟位置即为虚拟参考点；

c.设置所述第一成像设备的预定方向；

d.通过使用所述第二图像中所述参考点的图像的所述第二景深信息导出相对于所述虚拟参考点的所述第二成像设备的位置；

e.通过优化所述第二图像上所述参考点的图像和虚拟参考点之间的对准关系来确定所述第二成像设备的方向。

2.根据权利要求1所述的方法，其中自动确定所述至少四个参考点。

3.根据权利要求1所述的方法，其中所述优化所述第二图像上所述参考点的图像和虚拟参考点之间的对准关系包括：

a.将所述第二图像中所述虚拟参考点的至少一个所述图像与其相应的投影参考点对准；

b.确定绕旋转轴旋转的角度，其中旋转轴由连接对准的投影参考点与第二成像设备中心的线限定，这对于使所述参考点的其它所述图像最大可能地对应于它们各自的虚拟参考点是必要的。

4.根据前述任一权利要求所述的方法，进一步包括在所述确定中考虑固有的成像设备参数。

5.一种用于确定多于两个成像设备的相对位置和方向的方法，根据权利要求1至4中的任一方法，迭代地确定相对于预定的第一成像设备的其它成像设备的相对位置和方向。

6.一种用于在场景中导出至少一个目标的3-D信息的方法，包括：

a.提供所述场景的至少2个图像，图像都包括所述目标，在相对于所述目标不同的位置和方向上获取所述图像；

b.利用根据权利要求1至5中的任一方法，导出所述成像设备相对于彼此的相对位置；

c.通过考虑至少2个成像设备的所述相对位置和方向，导出所述至少一个目标的3-D信息。

7.根据权利要求6所述的方法，其中所述至少一个目标的所述3-D信息是时间相关的。

8.根据权利要求6至7中任意一项所述的方法，其中在初始化后所述成像设备的所述相对位置和方向保持不变。

9.一种根据权利要求6所述的方法的用途，用于将真实目标转换为在虚拟环境中使用的3-D目标信息。

10.一种根据权利要求1至5中任意一项方法的用途，获得预定数量的成像设备的固定位置和方向，成像设备的图像进一步用于3-D视频会议。

11.一种适用于确定第一和第二成像设备的相对位置和方向的设备，分别在所述第一和所述第二成像设备的第一和第二图像中比较目标的图像，其中所述第一和所述第二成像设备适于分别提供用于所述各个图像的第一和第二景深信息，并且其中至少所述第一和所述第二景深信息用于所述确定，进一步包括：

a.用于确定一组至少四个参考点的装置，在所述第一图像上和所述第二图像上可识别的所述参考点作为投影参考点；

b.用于通过使用所述第一图像中用于所述参考点的图像的所述第一景深信息导出相对于所述第一成像设备的所述参考点的虚拟位置的装置，其中所述参考点的虚拟位置即为虚拟参考点；

c.用于设置所述第一成像设备的预定方向的装置；

d.用于通过使用所述第二图像中所述参考点的图像的所述第二景深信息导出相对于所述虚拟参考点的所述第二成像设备的位置的装置；

e.用于通过优化所述第二图像上所述参考点的图像和虚拟参考点之间的对准关系来确定所述第二成像设备的方向的装置。

12.根据权利要求11所述的设备，进一步包括用于在所述确定中考虑固有成像设备参数的装置。

13.根据权利要求11至12中任一项所述的设备，包括用于通过迭代地确定相对于第一成像设备的其他成像设备的相对位置和方向，确定多于两个成像设备的相对位置和方向的装置。

Images