CN101292255A - 三维成像中的人工痕迹消除 - Google Patents

Abstract

通过使用基于模型的校正和查找表，根据(例如)x位移、y位移或成像视差数据来分辨距离，以提高三维成像系统的精度。在实施例中，所述查找表存储用于计算校正的结果的局部参数化数据。

Description

三维成像中的人工痕迹消除

相关专利申请

本专利申请要求对下列共同拥有的美国临时专利申请的优先权，其中每项临时专利申请均以引用方式全文并入本文：提交于2005年9月22日的美国专利申请No.60/720,238；提交于2006年1月20日的美国专利申请No.60/760,902；以及提交于2006年2月22日的美国专利申请No.60/775,643。

背景技术

1.技术领域

本发明涉及三维扫描，更具体地讲，涉及有关处理三维数据偏差中人工痕迹的技术。

2.相关领域描述

三维成像的数据采集通常包括人工痕迹，这些人工痕迹与(例如)成像主体、环境条件以及用于数据采集的光学和电子系统的固有特性有关。

普通校正技术可能通过直接测量已知靶标，以及对成像系统的不理想方面进行数学建模来表征这些误差。建模技术一个明显的弊端是：它会造成特征化困难并可能无法找到成像人工痕迹的实际根源。相反，强力校正可能耗费大量时间，并且通常需要专业化的、灵敏的硬件平台。强力校正还会生成非常大的校正文件，对三维成像中使用的多维数据集来说更是如此。在这些现有可选技术中选择哪一种，通常取决于被校正系统的特性，并且往往迫使设计者做出一定程度的妥协。在多孔装置和具有一个以上光学通道的其它系统中，选择合适的校正机制可能会更加困难，原因是每个通道会具有影响校正的不同特性。

仍然需要改进校正技术，以适合具有一个以上光学通道的光学装置，诸如多孔成像系统。

发明内容

通过使用基于模型的校正和查找表，根据(例如)x位移、y位移和/或成像视差数据来分辨深度，可以改善三维成像系统的性能及其校正。在实施例中，查找表存储用于计算校正的结果的局部参数化数据。

附图说明

通过参考下列附图可以理解本发明及其某些实施例的以下具体实施方式。

图1示出三维成像系统。

图2示出三维成像系统的坐标系。

图3示出查找表的构造方法及使用方法。

图4示出校正方法的各个方面。

图5示出校正方法的各个方面。

具体实施方式

下面描述一种用于校正三维成像系统的技术。尽管查找表和校正技术是结合某些使用视差信息复原深度的多孔系统来进行描述的，但应当理解的是，变化和可供选择的实施例对于本领域的普通技术人员来说应该是显而易见的，并且从本意上说属于本公开范围之内。例如，系统可以使用时间、空间频谱差值或任何其它标准，只要适合编制和检索在深度编码和校正计算中使用的参数。

在下列描述中，术语“图像”通常是指一组二维像素，该组二维像素形成主体在成像平面内的二维视图。术语“图像集”通常是指一组关联的二维图像，这组图像能够被转化成三维数据。尽管并不一定，图像集通常包括主体的两个或更多个图像，这些图像基本上是用不同的摄像机或孔同时捕获，或者是用相同的孔多次捕获到的。术语“点云”通常是指一组形成主体三维视图的三维点，主体由大量二维视图重构而成。在三维图像捕获系统中，也可以记录大量这类点云并将其合并到移动摄像机(或移动主体)捕获的图像所构成的点云聚集体中。因此，应当理解，除非具体指明或从上下文可以清楚地看出，像素通常是指二维数据，点通常是指三维数据。

图1示出图像捕获系统。通常，系统100可以包括扫描器102，该扫描器用于在视场106范围内捕获主体104的图像并将图像发送到计算机108，该计算机可以包括显示器110和一个或多个用户输入装置，诸如鼠标112或键盘114。

扫描器102可以包括任何摄像机或摄像机系统，只要适合捕获可恢复为三维点云的图像。例如，摄像机102可以采用例如美国专利公开No.20040155975(Hart等人)中所描述的多孔系统，该专利全文以引用方式并入本文。虽然Hart公开的是一种多孔系统，但应当理解，同样也可以采用适合用大量二维图像重构出三维点云的任何多孔、多光瞳、多摄像机或其它多通道光学系统。在一个多孔实施例中，扫描器102可以包括多个孔隙，这些孔隙包括沿透镜中心光轴布置的中心孔和任何相关的成像硬件。扫描器102也可以(或代替)包括立体式、三镜头等多镜头摄像机或其它构造，其中多个摄像机或光路彼此之间保持固定关系，以便从多个略微不同的视角中获得物体的二维图像。扫描器102可以包括合适的处理系统，以便从一个或多个图像集得出三维点云，或者也可以将每张二维图像集传输到外部处理器，诸如下文所述计算机108。在其它实施例中，扫描器102可以采用结构化光、激光扫描、直接测距或其它任何技术，只要适于采集三维数据或者适于采集可以转化为三维数据的二维数据。在一个实施例中，扫描器102是可自由定位的手持探针，该探针具有至少一个用户输入装置(诸如按钮、操纵杆、拨号盘、拇指轮或开关等)，以便使用者对图像捕获系统100开始扫描或停止扫描等操作进行控制。

尽管图1中没有示出，但应当理解，图像捕获过程中采用多个辅助照明系统可能是有益的。例如，可以用照亮主体104的一个或多个聚光灯、环形灯或同轴光源来增强环境亮度，加快图像采集速度和增大视场深度(或空间分辨深度)。扫描器102也可以(或取而代之)包括频闪观测器、闪光灯或其它光源，以便在图像采集过程中为主体104提供辅助照明或不同光谱带的照明。

主体104可以是任何物体、物体的集合、物体的一部分或其它物质主体。尽管图1中是以简单的几何形式示出，主体104可以包括复杂得多的表面以及任意数量的独立元件。例如，在牙科成像应用中，主体104可以包括牙齿、牙齿象限或一整套牙齿，其中包括可获得所需虚拟牙印的相对两个圆弧。主体104也可以(或取而代之)包括假牙，诸如镶嵌物、牙冠或任何其它假牙、植入物等。主体104可以包括牙齿模型，诸如牙齿、软组织或其一些组合的石膏模型、蜡型、印模或阴模。在某些情况下，可以在主体104的表面施加光学或纹理成像剂，改善三维点的捕获效果。在其它实施例中，主体104可以是人头部或其一部分，用来形成自定义拟合助听器、眼镜、护目镜等所需的三维模型。在其它实施例中，主体104可以是用于数码动画物体的物理模型，诸如用于三维数码动画处理的物理缩微模型。由前面的例子可以明显看出，采用本文所述技术的系统适合于各种广泛的应用，可用于距离相对较短、分辨率较高的三维图像采集。然而，本领域的技术人员将会知道：可对图像捕获系统100进行适当的改变，使其适用于基于多孔或多摄像机系统以及其它三维成像系统和技术的多种其它三维成像应用，并且所有这些变形本质上都在本公开范畴之内。

视场106可以包括摄像机102的二维视场。应当理解，本文所用术语“视场”是指成像环境中的平面，而不是指用于捕获图像的光学传感器(诸如胶片或传感器)内部的平面。虽然视场106以矩形示出，但它可以(例如)形成正方形、圆形或可由扫描器102产生的任何其它几何形状。一般来讲，扫描器102将具有一定的视场深度或深度分辨率范围，该视场深度或深度分辨率范围与视场106一起限定了扫描器102的测量体积。视场深度可能随诸如环境光线之类的环境条件而变化。

计算机108可以是(例如)个人计算机或其它处理装置。在一个实施例中，计算机108包括一台个人计算机，配有2.8GHz Opteron中央处理器、2G内存、TYAN Thunder K8WE主板和250G的10,000rpm硬盘。该系统可以使用本文所述的技术运行，每个图像集实时捕获大约1,500点，并且可以保存超过一百万个点组成的聚集点云。在其它实施例中使用可商购获得的性能更高的硬件，每个图像集可以实时捕获大约3,000点。具体实施例中每个图像的点数可能取决于多种因素，其中包括传感器和其它成像硬件的密度和构造。更为普遍地，计算机108的处理能力会随着主体104的大小、图像采集的速度和所需的三维点空间分辨率而变化。计算机108还可能包括外围设备(诸如键盘114、显示器110和鼠标112)，以利于使用者与摄像机系统100的交互。显示器110可以是触摸屏显示器，使用者可以通过直接物理接触显示器110来进行输入。

计算机108和扫描器102之间可使用任何合适的通信连接方式建立通信，这些通信连接方式包括有线连接或无线连接，例如任何基于IEEE 802.11(也称为无线以太网)、蓝牙或任何其它合适的无线标准(例如使用射频、红外或其它无线通信介质)的无线连接。在医学成像或其它敏感应用中，使用无线手段可以将图像从扫描器102安全地传输到计算机108。计算机108可以产生对扫描102的控制信号，除了图像采集命令外，这些信号还可包括聚焦或变焦等常规摄像机控制。

在三维图像捕获系统100的普通操作实例中，扫描器102可以在经过主体表面上方时采集二维图像集。该二维图像集可以被传送到计算机108以得到三维点云。通过采用多种不同技术，可以得到每个新采集的二维图像集的三维数据，并可将该三维数据与现有三维数据进行拟合。这类技术的一个可用实例在共同拥有的美国专利申请No.11/270,135中有所描述，该申请提交于2005年11月9日，并且全部内容以引用方式并入本文中。然而，应当理解，本实例不是限制性，并且本文所述原理可以广泛应用于各种三维图像捕获系统中。

图2示出多孔成像系统(诸如上述系统)的坐标系。应当理解，如本文所用，术语多孔本意是指具有两个或更多个小孔(或光瞳等)的单个摄像机，或诸如在立体成像中使用的两个或更多个单孔摄像机，或这些摄像机的一些组合。一般来讲，在摄像机206的视场204内的物体202具有世界坐标{X_w，Y_w，Z_w}、摄像机坐标{X_c，Y_c，Z_c}和图像集坐标{x_i，y_i，d _i(x_i，y_i)}(i＝视场204的处理网格内的1到N个点或像素)，其中d _i是包含一个或多个视差值的视差矢量，这些视差值表征对于多个小孔的视场204内的点的位移。该视差矢量可以用(例如)与摄像机206的中心通道(如果有的话)的相对位移来表示。一般来讲，视差矢量用于对深度进行编码，而在其它三维成像系统中，该视差矢量可以替换成一个或多个用于对深度进行编码的其它测量值。因此，诸如视差矢量、视差值和视差数据之类的术语应当被广泛地理解为包括由系统测得的任何一个或多个标量和/或矢量数值，用于对深度信息进行编码。

在常规校正中，通过旋转和/或平移可以使世界坐标与未校正的图像集坐标相关联，这类旋转和/或平移操作可以用一连串带有硬件夹具的校正测量装置进行特征化。在捕获图像集坐标时，可以使用校正床(或类似硬件)使靶标(诸如具有图案的平面靶标)穿过多个已知位置和/或相对于摄像机206旋转。许多模型都可以用来将图像集坐标数据与摄像机坐标关联。同样，如果校正靶的位置已知，并且该靶标具有一个或多个可识别的特征，则可以直接将测量体积内的点对射变换为世界坐标内的X_w、Y_w和Z_w值。这类校正的总体目标是为了有效测定从摄像机206到主体202上的点的真实距离，或者为了测定主体上点的世界坐标或摄像机坐标。

图3表示查找表的构造方法及使用方法。概括地讲，图像数据是在初始校正(如步骤301所示)过程中经多个校正循环从已知靶标中进行采集。在后续工序302中可以对上述校正加以修正，并可以使用图像结果(例如，来自扫描器的数据和/或由该数据衍生的视差数据，或对深度信息进行编码的其它数据)和可得自校正系统的真实位置数据(例如，已知靶标位置和/或取向，或点到相机的已知距离)一起对修正结果进行参数化(如步骤304所示)。来自校正系统的真实位置数据可以包括得自校正夹具的位置数据，或在一个或多个校正循环中通过处理靶标而获得的位置数据，或者这些位置数据的组合。参数化结果可以用来构造查找表，如步骤305所示。最后，可以使用查找表从图像捕获系统所捕获的二维图像推导出三维数据，如步骤309所示。一般来讲，该方法的目标是为了获得真实的三维数据结果，该目标可以很容易实现，例如形成通过使用查找表获得校正的实时三维结果的体系。

现在对步骤301校正数据的初步采集进行详细说明。可以使用受控制的校正床进行对已知靶标的数据采集，该校正床在每个校正循环使靶标向仪器移动预定的距离。例如，校正床在每个校正循环使靶标向仪器移动25微米。在每个距离处，都可以获得相应的图像集坐标。摄像机206可以包括中心孔，在这种情况下，可以使用校正测量装置捕获非本质的摄像机参数，即，收集到的点集从世界坐标到摄像机坐标的旋转和平移。更为普遍地是，多孔数据可以表示为每个传感器的坐标系内的x和y坐标以及视差矢量，视差矢量表征对于不同小孔，点到参照系(例如，中心孔)中相应点的位移。校正可以在参照系上进行(例如从中心通道或中心孔开始)，所得的查找表用来将视差数据转换成X、Y和Z坐标。

可以使用多种可用的靶标。例如，可以使用棋盘或其它靶标。一般来讲，对成像系统进行校正最好使用具有独特的中心特征或其它框标的靶标。也可以使用无规图形来辨别图像视差场。也可以使用混合靶标，该靶标包括多个框标(例如，均匀分布在矩形网格上的九个点)，以及这些框标之间的无规图形。这样可以构造查找表，使其与其它摄像机校正一起来解释如何处理图像处理算法(诸如基于区域的算法，而非基于点的算法)的人工痕迹。这样的靶标可以(例如)允许在中心图像与周边图像之间以及周边图像与周边图像之间进行对射变换。例如，可以使用已知的框标构造在摄像机坐标系内复原靶标位置(诸如从中心通道图像开始)，并且可以使用无规图形来复原使用周边通道图像的平面点。可以为所恢复的平面点拟合垂直平面，使该点到拟合平面的垂直距离可以度量成像系统中的噪声，如因视差估计及查找表等所产生的噪声。虽然下文将对查找表的验证进行详细讨论，但此处应当指出的是，框标确定的平面和通过对混合靶标的无规元素应用查找表系统而确定的平面之间可能存在差别，利用该差别可以确认或验证根据本文所述系统和方法创建的具体的查找表。

使用框标范围内的多个无规图形还有助于计算总平均视差，以减少校正过程中的RMS噪声。在一个实施例中，可以将诸如无规噪声和/或框标的靶标图形投影到靶标上，例如用数码数据投影机背投到全息扩散片上，以便在一个或多个校正循环内使用不同的图形。

在一个方面，可以使用任意平面或三维校正靶位置和取向进行第一校正。该第一步骤可以采用标准技术进行，用于在不复原随深度变化项的情况下进行校正。

如步骤302所示，可以对该校正进行改进。第二校正可以使用具有任意未知取向和在任意未知方向上具有已知步增量(例如，200微米)的一系列平面校正靶。假设靶标平行运动，且对应的校正硬件提供基本上平行的靶标运动，可以通过第二步校正来复原含有随深度变化项的二维几何失真模型。此外，该步校正可用来复原靶标取向和运动，这将有利于放宽对相应校正硬件的限制。这种校正技术可有效应用于任何光学系统，只要该光学系统具有至少一个经过良好表征的光学通道(例如，上述中心通道)，也就是说，通道与一个或多个适于参数化的已知失真模型贴合。

通常，用于创建查找表的校正循环将使用处于系统的理想分辨率或其附近的Z增量对整个测量体积进行取样。然而，当视差与深度之间存在紧密约束关系(例如由基于散焦的已知几何公式决定的关系)时，在用已知函数拟合视差和深度点之后可以构建具有等距视差值的密集查找表。因此，本文在一个方面公开了一项技术，该技术用于推导密集的查找表，以便使用用于成像装置的已知几何散焦获得校正的距离量度。假设视差与深度之间存在紧密的约束关系，并且该关系由基于散焦的给定几何公式决定，则在使用上述技术对视差和深度点进行良好拟合之后，可以使用等距视差值以解析的方式构建密集查找表。反之，可以以较低的分辨率对基于查找表的系统的视差/深度空间进行取样，并解析构建全分辨率的查找表。

可对该校正加以改进，例如通过强加具有随Z变化的失真模型的平行靶标约束。这类校正改进的结果可以包括摄像机坐标系内的一组点和相应的视差数据。在改进的一个方面，可以确定随Z变化的失真参数。在改进的另一方面，可以推导可用于获得校正的输出的其它模型参数，诸如摄像机焦距、图像平面或处理网格随x变化的项、图像平面或处理网格随y变化的项等等。也可以将视差内插到良好表征的通道(例如，多孔系统的中心通道)的固定处理网格上，以缩短通常与全面校正相关的处理时间。

通常应当理解的是，可以通过各种透镜和/或离轴光程将所采集的图像中随Z变化的失真引入光学系统中。虽然光学系统的失真通常主要是径向和偏轴失真，并且对于大多数相机校正来说，校正这两种失真就够了，但对于精确的相机校正来说，随深度变化的失真可能会非常重要。在一个方面，第一校正可以处理某些主项(诸如径向失真)，然后在后续精校正中加入一个或多个随深度变化的项。

如步骤304所示，可以使校正循环的结果参数化，以便更加方便灵活地使用查找表。可以使用的参数化模型很多。虽然下面的实例通常采用视差矢量作为查找表的输入，应当理解的是，可以由采集到的数据计算出z值，并可以有选择地使用所采集的图像的x、y和(算出的)z值作为查找表的指数，并对后续处理进行适当的改变。

为使校正结果参数化，可以将来自每个校正靶位置/取向的数据表征为一个或多个阵列，所述阵列包含摄像机视场的处理网格中每个x和y位置的视差值。可以将视差的标量特征(如相对于视场的x轴视差d_x、相对于视场的y轴视差d_y或|d|、视差矢量的大小)作为数据点与所采集数据的一个或多个真实摄像机坐标保存在一起。通过这种保存，可以使用查找表直接查找摄像机坐标{X_c，Y_c，Z_c}，下文将对此进行详细说明。

在另一个实施例中，可以使用例如曲线拟合技术对这些变量的相互关系构建数学模型，实现真实值(如Z值)与视差参数(如上述某个标量视差值)的对射变换。在一个与y轴视差的局部经验数据有关的可用实例中，Z与d_y(也可使用d_x或|d|)相关，使得

$Z(x,y)\∝\frac{1}{d_y(x,y)}$          [式1]

且将数据可符合一般关系式：

$Z(x,y,d_y)=\frac{p_1(x,y)}{p_2(x,y)+d_y(x,y)}+p_3(x,y)$            [式2]

(在图像平面内给定的(x，y)处)的参数矢量d_y可以表示为：

p(x，y)＝[p₁(x，y) p₂(x，y) p₃(x，y)]^T  [式3]

且Z值可由下列关系确定：

$Z(d_y(x,y),p(x,y))=\frac{p_1(x,y)}{p_2(x,y)+d_y(x,y)}+p_3(x,y)$                [式4]

在该实例中，可以将式3的参数矢量p存储在按x、y和d_y进行索引的查找表中，以便利用未校正的图像结果得到式4的参数，并继而利用所得到的参数计算Z值。根据上下文，应当理解的是，Z通常是指深度变量，该变量在具体实施中可能对应于世界坐标、摄像机坐标、摄像机深度或任何其它反映深度数据的合适数量。同样应当理解的是，选择y坐标视差仅仅为了举例说明，且不以任何方式限制本公开的范围。同时，某些实际存在的摄像机系统可以显示具有主要随y变化的视差矢量，诸如当多个小孔沿处理网格的y轴方向同轴取向时。更为普遍地，摄像机系统的物理属性(例如，光瞳象差)可能意味着一致失真，诸如从相当于多孔摄像机中心孔的光学中心测得的随Z变化的径向或切向失真。通过将校正数据采集结果拟合到一个或多个对应模型，并进而形成一个更紧密的查找表(和/或需要更少的校正测量)，可以用参数化的模型来解释这种已知的有规律的失真图形。在另一方面，第一粗校正可以处理随Z变化的径向或切向失真，然后在后续精校正的参数化过程中加入其它项。

在另一个实施例中，可以对参数表面本身建模。其中参数表面让步于相对简单的模型，当摄像机系统在可识别的点或区域周围产生一致的x、y和/或z失真时就是这种情况，此时，经参数化的参数模型可以在物理内存或存储量方面大大缩小查找表校正系统。在这一前提下，根据经验应当指出，在上述图像捕获系统100的实施例中随z变化的失真分量含有下式的主项：

${\underset{\‾}{\mathrm{\δ}}}_z\left(Z\right)\≅{\mathrm{\κ}}_1+\frac{{\mathrm{\κ}}_2}{Z}+{\mathrm{\κ}}_3\·Z$         [式5]

如步骤305所示，通过使用任何适当的拟合、错误最小化或其它技术，将校正测试结果拟合到一个或多个模型以获得上述模型参数，可以为上述校正数据和模型构建查找表，或更为普遍地构建查找表系统。查找表的构建将取决于具体实施方式，部分内容将在下文做详细说明。通常，对于图像捕获系统来说，查找表的具体实施会形成这样的机制，图像捕获系统新采集到的数据与成像主体表面上点的坐标数据关联。这样对成像系统进行校正的显著优点是，可以对用来在视差值与物体空间数据之间建立联系的相机模型进行局部化，换言之，也就是创建局部模型阵列，该局部模型阵列符合更一般的参数化模型。

如步骤306所示，可以使用多种技术对查找表或查找表系统进行验证和/或改进。

在一个通用方法中，通过将校正的系统置于各种控制条件或目标下，并测量所得输出的精度，可以对基于查找表的模型进行验证。可以在已知位置处放置混合靶标(如上所述)，并将从校正的系统的对应图像获得的结果与该靶标的预期结果进行比较。也可以(或取而代之)反馈比较结果，以完善查找表。在另一方面，使用从基于查找表的系统输出的点云中的噪声来确定总系统和/或查找表中的噪声。

尽管具有多种图形的平面靶标为校正系统提供了一种有用的介质，应当理解，具有不同几何形状的靶标也可以(或取而代之)用于构造和验证查找表。例如，可以使用球体、锥体或其它形状增加靶标的维度，并可使用校正的系统来测量靶标的(已知)维度特征。因此，在验证过程的实例中，可以采集球体的一个或多个图像，并可用采集到的数据计算出球体的半径并与已知值进行比较。也可以(或取而代之)反馈比较结果，以完善查找表。

可以通过其它方式使用诸如球体之类的形状来验证或确认基于查找表的校正。例如，利用诸如球形或其它形状的物体，和/或其在成像系统测量体积内的一部分，可采用已知技术进行轮廓检测，以定位该物体的外缘，即该物体在图像平面上的投影。使用球体的实例可以检测到圆形，并根据球体位置和摄像机位置以及随Z变化或与Z无关的摄像机模型(诸如上述模型)以解析的方式测定该圆形。通过迭代优化解析和分析测得的轮廓收敛(例如，错误或偏差最小化)的球体的参数，可以算出测得的球体的位置。因此，在一个方面，本文公开了一种校正验证方法。在该方法中，可以从二维图像获得三维物体的第一轮廓，该三维物体的第二轮廓由该三维物体在该二维图像的图像平面上的投影以解析的方式确定，然后在两个或更多个变型之间就三维物体的参数对第一轮廓和第二轮廓进行迭代比较。通过评估迭代比较结果可以发现第一轮廓和第二轮廓之间的偏差，并且更具体地讲，以便将两个轮廓之间的偏差缩至最小。在一个实施例中，该三维物体为球体，并且该参数是该球体的半径。在另一个实施例中，该参数是球体的位置。两个或更多个参数可以是变化的。以解析的方式确定第二轮廓可以包括在成像系统中应用一个或多个摄像机模型。类似技术可以用于例如圆锥、棱锥、具有台阶的棱锥等形状。此外，虽然上述内容通常(尽管不是排他性地)与中心通道的建模有关，但本文所述基于模型的验证技术可以适用于任何通道(诸如多孔系统的一个或多个侧通道)，前提条件是该通道的模型足够好，可以用解析的方式确定预期结果。

通常如方法330所示，查找表或查找表系统可以应用于新图像数据(诸如来自图像捕获系统100的图像集)，以实现对所采集图像的高速校正。一旦构建完毕，查找表的使用就变得简单明了，包括直接从查找表查找结果，使用从查找表中获得的参数进行相对简单的计算，以及任何合适或所需的线性或其它内推运算，以及它们的组合。

更具体地讲，可能从图像采集系统获取数据时就开始使用查找表，如步骤307所示。可以使用本领域已知的各种技术获得多通道(或多摄像机)成像系统的一个或多个通道的视差数据，如步骤308所示。尽管已知其它深度信息编码技术，该视差数据通常包括处理网格位置和该位置处的一个或多个视差量，并可结合本文所述系统和方法共同使用。

如步骤309和310所示，来自成像系统的数据可以应用于查找表系统，以推导校正结果。根据(例如)与实施方式有关的任何设计偏好和/或任何可由具体校正实施方式的特性取得的处理或存储改善，可以使用(例如)指数、矢量、参数和/或参数化的参数对查找表系统加以改变，使其适合多种配置。一般来讲，查找表的运算过程如下：

(i，j，k)→LUT→{X_c，Y_c，Z_c}{X_c，Y_c，Z_c}

应当理解，尽管一般来讲指数i和j可能对应于处理网格坐标，k可能对应于视差数据(可以是标量或矢量)，但也可能有其它的指数排列方式，包括由上述任何公式计算出的指数。应当进一步理解的是，基于查找的方案可以有任意数量的变型，包括(例如)用于复原参数的中间查找表，被复原的参数继而可以用来计算最终结果，或计算附加的查找表的指数。此外，应当理解，可以在基于查找的系统内使用线性内推法或其它内推法。例如，可以用线性内推法内插来自相邻的查找表结果的最终值。又如，当适合具体模型时，可以将内推法用于诸如指数或参数之类的中间结果。内推法也可以考虑由于透视投影等原因，数据在{X_c，Y_c，Z_c}坐标系内的具体散布。例如，如果点落在查找表的点之间，距离加权的内推法会引起误差，通过寻找(用内推法)一条与具体(x，y)图像位置相交的投影线，并通过其它内推法确定该条线上的{X_c，Y_c，Z_c}点，可以处理这种误差。

上述技术构思出无数种变型，诸如使用不同的校正靶和硬件，使用不同的失真或摄像机模型，以及不同程度的经验和/或理论建模。此外，图3中示出的方法也可能有多种变型。例如，采集校正数据和使结果参数化的步骤可以分多次进行(诸如每个靶标位置一次)，并且也可以在处理强度较大时分多个处理器或处理线程进行处理。此外，在进行下一个校正循环之前，可以用每个校正循环的结果填充查找表。在一个实施例中，校正改进步骤可以使用附加的约束来改善使用(例如)一组共面和等距靶标的校正。因此，尽管图3中示出的处理流程从概念上讲层次较高，但不应理解为限制本文所公开的方法和系统的范围，或限制本领域的普通技术人员能够理解的各种变形或修改形式。所有这类变形和修改形式都理应属于本公开范围之内。

图4和图5仅以举例的方式而非限制性地示出采用上述技术的校正系统和方法的各个方面。

图4示出校正过程的各个方面。如图所示，中心通道图像平面402具有对应于摄像机坐标系406的Z轴的主点404，该平面可以包含校正靶408的图像，该图像上的点在摄像机坐标系406和世界坐标系410内具有位置。视差值412(诸如视差矢量)可以表征该点从中心通道图像平面402到另一个图像平面(诸如侧通道图像平面，未示出)的位移。视差值412可以包括(例如)该点在各通道之间的x位移和y位移，或者能对距离数据编码并用于本文所述校正技术的任何其它值。为了改善检测和所得的校正，该点可以是由相邻黑白方块形成的x结。然而，应当理解，其它图像类型也可以用作校正方法中的点。图4所公开的一般技术可用于对中心通道进行初始标准基准校正，该校正使用本文所述的随Z变化的失真模型。

在一个方面，本文公开了一种对使用x结的校正的改进。虽然x结的高度局部性使棋盘(包括x结)成为常用的校正靶，但使用这种x结会因为失焦点而产生较大误差，并且很容易受到不利的局部人工痕迹(诸如透镜的污垢、划痕或其它物理污染)的影响。相对于失焦点，精度取决于被捕获图像的模糊量，并且通过测量体积捕获数据的能力很大程度上取决于具体图像捕获的视场深度。

在这种情况下，可以使用全局约束(诸如多个x结在校正靶上的共线性)结合图像平面内校正靶和不失真点之间的单应约束对校正加以改进。为了应用这类约束，x结图像(或者更为普遍地，靶标图像)必须不失真，诸如通过应用径向失真模型、切向失真模型或任何其它已知模型应用到系统中。然后可以引入全局约束，诸如通过扭曲图像，使其适形x结位置以达到已知的共线性。采用普通的正交直线拟合法可以避免奇点，并且可以使连接不失真点的不失真线彼此相交，并利用这种相交和任何计算出的失真参数来改进失真的x结位置，以便进行后续校正。通过在靶标点和失真x结位置之间强加一个确切的(或基本确切的)单应关系，视差矢量用于将失真点与未失真点联系起来的畸变场。该畸变场可以允许直接在来自成像系统的失真图像上进行后续操作。

所得的校正可以有效减少可能会因交替的黑白图像特征产生的偏差，并降低光学人工痕迹(诸如透镜或其它表面上的污垢和划痕)对校正的影响。

如上所述，查找表扫描可以包括使校正靶408通过一个或多个平行平面414，并采集数据以改进中心通道摄像机参数，如随Z变化的失真。该改进步骤可以为上述查找表的生成提供摄像机坐标数据点的准真实数据集。在实施例中，通过移动间距416已知而方向418未知的校正靶408可以有效实现校正扫描。

图5示出校正方法的其它方面。在校正过程中，第一图像平面502、第二图像平面504和第三图像平面506(诸如单个透镜、三通道成像系统或三个独立摄像机的中心通道和两个侧通道的图像平面)可以在校正靶508的查找表扫描过程中采集视差信息，该校正靶可以是(例如)本文所述的任何校正靶。在校正过程中，具有已知摄像机坐标的一个或多个点510的视差数据，可以例如其中一个图像平面(502、504或506)的处理网格内的x和y坐标，以及其它图像平面内的视差数据进行捕获。校正靶508的每个位置可以更普遍地产生视差矢量场(或其它视差数据)，该视差矢量场可以内插到固定的处理网格上。根据该数据可以产生将视差数据局部映射到深度的查找表。在应用中，可以复原使用该查找表复原参数，以便计算基于视差数据的校正的坐标。在多种实施例中，可以用位置和/或视差数据值对该查找表进行检索。

因此，本文公开了查找表的许多应用。在一个实施例中，可以将包括两个处理网格坐标和一个视差值(指定处理网格坐标处的图像集的数据之间)的图像数据用作查找表的指数，该查找表为成像点提供相机坐标。上述应用可能有许多种变化和修改形式。在另一个实施例中，可以将包括两个处理网格坐标和一个视差值的图像数据用作查找表的指数，该查找表为第二个查找表提供校正的指数。位置数据可以包括(例如)成像点到摄像机的距离、成像点的一个或多个世界坐标或成像点的一个或多个摄像机坐标。在另一方面，本文公开了实时三维图像捕获系统，该系统使用参数化的查找表提高精度。

应当理解，上述方法可以通过硬件、软件或适合本文所述三维成像技术的任意硬件和软件的组合加以实现。该方法可以在这些设备内实现：一个或多个微处理器、微控制器、嵌入式微控制器、可编程的数字信号处理器或其它可编程装置以及内部和/或外部存储器。该方法也可以(或取而代之)包括专用集成电路、可编程门阵列、可编程阵列逻辑或可以被构造为处理电子信号的任何其它装置。应当进一步理解的是，该过程可以被实现为计算机可执行的代码，该代码由结构化编程语言(如C语言)、面向对象的编程语言(如C++)或任何其它高级或低级编程语言(包括汇编语言、硬件描述语言和数据库编程语言)及技术产生，并可以进行存储、编译或解释，以便在上述一种装置、不同类处理器的组合、处理器架构或不同硬件和软件的组合上运行。同时，可以将处理过程以多种方式分配到摄像机和/或计算机上，或者将所有功能集中到专用的独立式图像捕获装置中。所有这类排列和组合都旨在属于本公开范围之内。

尽管本发明是结合某些优选实施例一起公开的，但本领域的普通技术人员应认识到其它实施例，并且所有这类变形、修改形式和替代形式都旨在属于本公开范围之内。因此，应当以法律允许的最广泛的含义来理解本文所公开的发明。

Claims (30)

1.一种方法，其包括：

采集多个校正图像集；和

从所述校正图像集构建查找表系统，所述查找表系统将图像集数据与一个或多个参数相关联，以计算出校正的三维数据。

2.一种方法，其包括：

采集图像集，每个图像集包括至少一个与所述图像集的处理网格内的位置相关联的视差值；

将所述处理网格内的所述位置和所述至少一个视差值应用到查找表系统，所述查找表系统以一个或多个参数作为响应；以及

根据所述一个或多个参数和所述视差值计算出校正的三维数据。

3.根据权利要求2所述的方法，其中所述一个或多个参数用来计算一个或多个模型参数，所述一个或多个模型参数又反过来用于计算所述校正的三维数据。

4.根据权利要求2所述的方法，其中所述查找表系统包括多个查找表。

5.根据权利要求4所述的方法，其中所述多个查找表包括一个对应于每个处理网格指数的查找表。

6.根据权利要求4所述的方法，其中所述多个查找表包括一个对应于所述图像集的各个独立变量的查找表。

7.根据权利要求2所述的方法，其中所述视差值包括视差大小。

8.根据权利要求2所述的方法，其中所述视差值包括视差矢量。

9.根据权利要求2所述的方法，其中所述视差值包括x位移或y位移中的至少一个。

10.根据权利要求2所述的方法，其中所述查找表系统为随深度变化的失真而进行参数化。

11.根据权利要求2所述的方法，其中所述查找表系统为径向失真和切向失真中的至少一个而进行参数化。

12.根据权利要求2所述的方法，其中所述查找表的构建包括通过将来自所述图像集的数据拟合到参数化的摄像机模型来改进校正。

13.根据权利要求2所述的方法，其中所述查找表的构建包括根据摄像机模型内插一个或多个参数值。

14.一种校正多通道成像系统的方法，其包括：

确定所述成像系统的第一通道的模型；

通过采集图像数据集并将来自所述图像数据集的数据拟合到所述模型，校正所述第一通道；以及

通过将所述图像数据集的一个或多个视差值映射到已知深度，校正第二通道。

15.根据权利要求14所述的方法，其中所述模型包括至少一个随深度变化的项。

16.根据权利要求14所述的方法，其中所述第一通道是所述成像系统的中心通道。

17.根据权利要求14所述的方法，其中所述第二通道是所述成像系统的偏心通道。

18.根据权利要求14所述的方法，其中所述模型使用所述成像系统的已知特性，所述已知特性包括失真、光轴、焦距、主距和主点位置中的至少一个。

19.根据权利要求14所述的方法，其中对所述第二通道的校正包括将所述图像数据集的数据映射到世界坐标系中的至少一个点X、Y或Z。

20.一个成像系统，其包括：

多个光学通道，所述光学通道为测量体积内的点提供图像数据；

存储在存储器内的查找表，所述查找表存储随深度变化的模型的一个或多个参数；

处理器，其被构造为通过应用所述图像数据和一个或多个来自所述查找表的参数来恢复校正的输出。

21.根据权利要求20所述的成像系统，其中所述校正的输出包括深度。

22.根据权利要求20所述的成像系统，其中所述校正的输出包括位于摄像机坐标系内的三维数据。

23.根据权利要求20所述的成像系统，其中所述查找表以所述图像数据的一个或多个视差值进行索引。

24.根据权利要求20所述的成像系统，其中所述查找表以一个或多个处理网格坐标进行索引。

25.根据权利要求20所述的成像系统，其中所述多个光学通道包括中心通道。

26.一种对成像系统的校正进行改进的方法，其包括：

从测量体积中采集图像数据，所述测量体积包括具有一个或多个已知参数的三维物体；

识别所述三维物体在所述图像数据内的第一投影轮廓；

使用所述一个或多个已知参数和所述成像系统的模型以解析法确定所述三维物体的第二投影轮廓；以及

通过最大程度减小所述第一投影轮廓和所述第二投影轮廓之间的偏差，改进对所述成像系统的校正。

27.根据权利要求26所述的方法，其中所述三维物体是一个球体，并且所述一个或多个已知参数包括所述球体的半径。

28.一种校正靶，其包括：

平表面；

在所述平表面上具有已知位置的多个框标；以及

位于所述多个框标之间的无规图形。

29.根据权利要求28所述的校正靶，其中所述多个框标包括中心框标和在矩形网格上规则隔开的多个附加框标。

30.根据权利要求28所述的校正靶，其中所述多个框标和所述无规图形中的至少一个被投影到所述平表面上。

Images