CN103597825A - 用于相机校准背景的显示屏幕 - Google Patents

Abstract

本发明公开了用于确定一个或多个相机校准参数的系统。系统包括处理器和存储器。处理器被配置为：a)提供第一图案以显示在显示屏幕上；b)从查看显示屏幕的相机接收第一图像；c)提供第二图案以显示在显示屏幕上；和d)从查看显示屏幕的相机接收第二图像。显示屏幕和相机的相对位置与在使用相机捕捉第一图像时是相同的。处理器还被配置为通过至少部分地使用第一图像中标识的第一特征和第二图像中标识的第二特征来确定是已知物理地点在显示屏幕上的投影的图像地点，并至少部分地基于所确定的图像地点确定一个或多个校准参数。存储器耦合到处理器并被配置为提供指令给处理器。

Description

用于相机校准背景的显示屏幕

发明背景

相机校准是各种各样图像处理应用中的关键步骤。涉及一个或多个相机并执行图像处理或分析的大部分产品在制造的过程中要求相机校准步骤。期望能够尽可能地快且准确地校准相机，同时也要求尽可能小的制造场地上的区域。

在传统的相机校准方法中，相机从一个或多个不同位置查看校准目标。校准目标是包含可能以极大的准确性在图像中定位的已知视觉图案的刚性物体。一些方法要求相机从许多(四个或更多)不同的位置和距离查看平面的或者两维(2D)的校准目标。平面目标通常通过在高分辨率打印机上打印图案然后安放到平坦表面上来创建。目标包含基准点，诸如棋盘交叉点，基准点相关的三维(3D)地点(1ocation)是精确已知的。其它方法使用非平面或3D校准目标，在这些情况中，单个查看是足够的。定位相机一次对于制造是优选的，因为更快并启用更简单的制造场地布局和工作流程。然而，3D校准目标通常要求极大的制造准确性以将目标基准放置在精确的地点，从而导致高成本。在3D目标上检测目标特征也可以更困难。

附图简述

在以下详细描述和附图中公开了本发明的各种实施例。

图1是示出了相机功能性的实施例的图。

图2A示出了图像在由计算机产生时的实施例：世界线显示为曲线。

图2B示出了由经校准的相机产生的修正图像的实施例：世界线显示为直线。

图3A和3B是示出了由经校准的立体相机产生的一对经校正图像的实施例的图像。

图4是示出了校准物体或目标的实施例的图像。

图5是示出了棋盘基准点的实施例的图像。

图6A示出了展示一些校准图案的实施例。

图6B示出了展示从相机看到的图6A中所展示的图案的图像的实施例。

图7A和7B示出了多个校准图案的图像的实施例。

图7C是示出了包括图7A和7B中示出的曲线的特征的虚拟合成的实施例的图。

图8示出了用于使用多个图案计算特征位置的过程的实施例。

图9A1、9A2、9A3、9A4、9B、9C和9D示出了在用于实现更密集特征的过程中获得的特征的实施例。

图10是示出了用于将特征数量乘以VH同时将图案数量乘以V+H的过程的流程图。

图11是示出了用于捕捉归一化校准图案图像的过程的实施例的流程图。

图12A、12B、12C和12D是示出了白色、黑色、图案和归一化图像的实施例的图像。

图13A、13B、13C和13D是示出了强度交叉区的实施例的图。

图14是示出了校准目标的实施例的图像。

图15A和15B是校准目标的实施例的一对图像。

图16A和16B是显示在屏幕上的校准图案的实施例的一对图像。

图16C和16D是唯一可识别界标的实施例的一对图像。

图17A、17B和17C是示出了用于基于团(blob)的已知屏幕坐标将屏幕坐标归属于每个特征的过程的实施例的图像。

图18是示出了有“顶”和“底屏幕”的设置的实施例的图。

图19A是示出了用于确定两个或更多校准目标上的基准点在相机框中的坐标的过程的实施例的流程图。

图19B是示出了用于使用未校准的相机确定两个或更多屏幕上的基准点在公共引用框中的位置的过程的实施例的流程图。

图20A和20B是示出了标识了图像特征的实施例的图像。

图21是示出了用于使用装置校准相机的过程的实施例的流程图。

图22是示出了一组非平面校准基准点的投影的实施例的图。

图23A和23B是示出了在立体相机的左和右相机中标识的特征的实施例的图像。

图24是示出了用于确定一个或多个相机校准参数的过程的实施例的流程图。

图25A和25B是示出了用于确定一个或多个校准参数的过程的实施例的流程图。

详细描述

本发明可以用众多方式实现，包括作为过程、装置、系统、事物合成、体现在计算机可读存储介质上的计算机程序产品和／或处理器诸如被配置为执行存储在耦合到处理器的存储器上和／或由耦合到处理器的存储器提供的指令的处理器。在本说明书中，这些实现或本发明可以采取的任何其它形式可以称为技术。所公开的过程的一些步骤的顺序可以在本发明的范围之内更改。除非另外指明，组件诸如描述为被配置为执行任务的处理器或存储器可以实现为暂时配置成在给定时间执行任务的一般组件或制造来执行任务的具体组件。如此处所使用的，术语“处理器”指一个或多个设备、电路和／或配置为处理数据诸如计算机程序指令的处理核。

下面用示出了本发明的原则的附图提供了对本发明的一个或多个实施例的详细描述。本发明是结合这样的实施例描述的，但本发明不限于任何实施例。本发明的范围仅由权利要求书所限制且本发明涵盖众多替换方案、修改和等价方案。在下面的描述中阐述了众多具体细节以提供对本发明的全面理解。这些细节是为了示例的目的而提供的，且本发明可以根据权利要求书无需这些具体细节中的一些或全部而实践。出于清楚的目的，本技术领域中已知的关于本发明的技术材料未作详细描述，以便本发明不被不必要地模糊。

公开了用于确定一个或多个相机校准参数的系统。系统包括处理器和存储器。处理器被配置为：a)提供第一图案以显示在显示屏幕上；b)从查看显示屏幕的相机接收第一图像；c)提供第二图案以显示在显示屏幕上；和d)从查看显示屏幕的相机接收第二图像；显示屏幕和相机的相对位置与在使用相机捕捉第一图像时是相同的。处理器还被配置为通过至少部分地使用第一图像中标识的第一特征和第二图像中标识的第二特征来确定是已知物理地点在显示屏幕上的投影的图像地点，并至少部分地基于所确定的图像地点确定一个或多个校准参数。存储器耦合到处理器并被配置为提供指令给处理器。

公开了用于计算相机的一个或多个校准参数的系统。系统包括处理器和存储器。处理器被配置为提供或者a)用三个或更多个第一物体基准点标记或者b)能够显示三个或更多个第一物体基准点的第一物体。三个或更多个第一物体基准点在与第一物体相关联的第一引用框中有已知的3D第一物体基准点位置。处理器还被配置为提供或者a)用三个或更多个第二物体基准点标记或者b)能够显示三个或更多个第二物体基准点的第二物体，其中三个或更多个第二物体基准点在与第二物体相关联的第二引用框中有已知的3D第二物体基准点位置。处理器还被配置为将第一物体和第二物体放置在固定位置从而3D第一物体基准点位置和3D第二物体基准点位置是非平面的，并从查看第一物体和第二物体的第一相机接收一个或多个第一相机图像。处理器还被配置为在一个或多个第一相机图像的每一个中定位三个或更多个第一物体基准点和三个或更多个第二物体基准点的第一组投影，并至少部分地基于第一组投影计算三个或更多个第一物体基准点和三个或更多第二物体基准点在公共引用框中的3D位置组。处理器还被配置为从查看第一物体和第二物体的第二相机接收一个或多个第二相机图像，并在一个或多个第二相机图像的每一个中定位三个或更多第一物体基准点和三个或更多第二物体基准点的第二组投影。处理器还被配置为至少部分地使用第二组投影和基准在公共引用框中的3D位置组来计算第二相机的一个或多个校准参数。存储器耦合到处理器并被配置为提供指令给处理器。

公开了一个或多个相机校准参数的确定。提供了第一图案以显示在显示屏幕上。从查看显示屏幕的相机接收第一图像。提供了第二图案以显示在显示屏幕上。从查看显示屏幕的相机接收第二图像，其中显示屏幕和相机的相对位置与在使用相机捕捉第一图像时是相同的。至少部分地通过使用在第一图像中标识的第一特征和在第二图像中标识的第二特征，确定是有已知物理地点的3D点在显示屏幕上的投影的图像地点。至少部分地基于所计算的图像地点确定一个或多个校准参数。

公开了相机的一个或多个校准参数的计算。提供了第一物体，第一物体或者a)用三个或更多个第一物体基准点标记或者b)能够显示三个或更多个第一物体基准点，其中三个或更多个第一物体基准点在与第一物体相关联的第一引用框中有已知的3D第一物体基准点位置。提供了第二物体，第二物体或者a)用三个或更多个第二物体基准点标记或者b)能够显示三个或更多个第二物体基准点，其中三个或更多个基准点在与第二物体相关联的第二引用框中有已知的3D第二物体基准点位置。第一物体和第二物体放置在固定位置，使得3D第一物体基准点位置和3D第二物体基准点位置是非平面的。从查看第一物体和第二物体的第一相机接收一个或多个第一相机图像。在一个或多个第一相机图像的每一个中定位三个或更多个第一物体基准点和三个或更多个第二物体基准点的第一组投影。至少部分地基于第一组投影计算三个或更多个第一物体基准点和三个或更多个第二物体基准点在公共引用框中的3D位置组。从查看第一物体和第二物体的第二相机接收一个或多个第二相机图像。在一个或多个第二相机图像的每一个中定位三个或更多个第一物体基准点和三个或更多个第二物体基准点的第二组投影。至少部分地使用第二组投影和基准在公共引用框中的3D位置组计算第二相机的一个或多个校准参数。

公开了从一个引用框中的坐标到不同引用框中的坐标的变换的确定。提供了第一图案以显示在第一显示屏幕上。提供第二图案以显示在第二显示屏幕上，其中第一显示屏幕和第二显示屏幕的相对位置保持固定。从查看第一显示屏幕和第二显示屏幕的相机接收图像。从一个引用框中的坐标到不同引用框中的坐标的变换在第一显示屏幕和第二显示屏幕之间确定。

公开了使用两个或更多个平坦校准目标——可能是显示屏幕——来创建不昂贵的3D校准目标。在一些实施例中，监视器或显示屏幕包括液晶显示(LCD)监视器。公开了用来一旦刚性地安装LCD监视器之后就准确地学习它们的相对位置的机制。公开了在监视器上显示包含校准特征的一个或多个图案的序列，这启用根据少至一个关于监视器的相机的查看位置的准确相机校准。如以下所描述的，图案序列还允许可能根据不活动的校准目标的更大的校准准确性。更大的准确性是通过以下来达到的：1)同一目标维度的大量特征的地点，2)更接近图像边的特征的地点(改进特征的图像覆盖率)，和3)用来帮助多个相机校准(例如立体相机)中的特征对应关系的直接机制。在一些实施例中，特征定位算法用所公开的活动目标方法简化了，这提供系统稳健性和维护的优势。

在一些实施例中，一旦在相机图像中检测到特征，就基于此数据执行相机校准参数的计算。

大多数使用平显示屏幕的校准工作使用屏幕来显示固定的棋盘校准图案。这提供通过改进的和已知的平面性统计不同于仅打印版本的固定目标。显示或监视器制造商测量并公布监视器的平面性统计。在一个情况中，在已经捕捉了棋盘图像之后屏幕是空白的从而屏幕用作投影表面的意义上，相机-投影仪对是以最小化活动方式使用屏幕来校准的。在另一情况中，显示仅用来示出固定目标，这并不比只使用静态目标改进特征提取稳健性、密度或覆盖率。

进行了使用活动LCD监视器目标用于估计相机失真的中心的附加工作。在LCD上同时显示两个相交线。当评估线的投影的线性度以估计图像中的失真的中心时，此图案由校准算法移动。在此情况中屏幕显示目标图案的优点是以物理地点中的小差异自动地显示大量刺激而不需要移动相机或打印目标的效率。不同于所公开的，特征分析另外地与对在视野中的许多地点显示的打印目标会做的一样。

在另一情况中，LCD面板用来校准集成图像相机。对此情况，相机接连放置在两个位置中。在每个相机位置，确定由每个相机像素指向的屏幕像素。校准图案包括20(二十)个垂直和水平方波。线特征不在捕捉的图像中定位。此方法要求校准图案的数量至少是相机像素数量的以二为底数的对数。相反，本公开的一个实施例仅要求两个校准图案。相反，所公开的一个实施例定位图像中的线性图像特征。

图1是示出了相机功能的实施例的图。在所示的示例中，三维世界场景100以与透视相机相同的方式被成像到图像平面102上。在透视相机中，光以称为光射线的直线从称为投影中心的点行进到世界点，与所述世界点的投影或图像中的图像平面相交。透视投影保留一些世界物理属性，诸如对齐：不包括投影中心的3D线的图像是图像中的2D线。例如，透视相机如同世界场景100是从点104观察的那样生成图像。

在许多计算机视觉或图像分析算法中要求知道在与相机相关联的引用框中相对应于每个图像像素的光射线的3D方向。当此信息可用时，可以说有了经校准的相机。

图2A示出了图像在由计算机产生时的实施例：世界线显示为曲线。在所示的示例中，相机是对透视相机的差劣近似。注意，墙边缘和门边缘显示为曲线。例如，门边缘200显示为中间向右弯。

图2B示出了由经校准的相机产生的校正图像的实施例：世界线显示为直线。在所示的实施例中，在知道由每个像素指向的3D方向的意义上相机是对透视相机的良好近似。例如，图像的左和右边分开了80度。门边缘202显示为没有弯曲的直边缘。

在图2A所示的示例中，示出了由相机生成的图像：看到世界中的直线(例如窗口的最左边)投影为曲线。因为相机是经校准的，所以知道每个像素射线的3D方向并可以校正图像(例如将每个像素放回它在透视图像中将占据的地方)，从而产生如图2B所示的对透视投影图像的良好近似。除了看上去更好之外，经校正图像及更一般地经校准的相机，是对许多强大的计算机视觉算法的要求。

例如，经校准的立体相机包括已经校准从而都生成透视图像的左和右相机，并允许计算度量世界距离。

图3A和3B是示出由经校准的立体相机产生的一对经校正图像的实施例的图像。在所示的示例中，除了是透视相机的良好近似之外，在给定3D场景点的投影在立体对的左和右图像中都位于相同高度(行)的意义上图像对是虚拟对齐的。

在实践中，校准相机意味着估计表示相机的物理和光学属性的值。称为校准参数的这些值通常是焦距、主点(principal point)、偏斜和透镜失真参数。在立体相机的情况中，附加地估计左和右相机的相对3D位置和方向。

在一些实施例中，相机校准参数是通过获得校准目标的一个或多个图像并找到与观察一致的校准参数来估计的。

校准目标是一物体，该物体在位于附连到物体的引用框中的已知3D位置上的表面上有图案。为了实践应用，图案必须是通过自动图像处理操作的方法可检测的并可在校准目标的图像中准确地定位。在称为点图案的图案的一些实施例中，存在唯一显著3D点，称为基准点，其可被定位在图案上。基准点的投影可以在点图案的图像中唯一地定位。线图案包括可以通过其唯一属性在图案上定位的唯一3D线，例如在隆起图案中有最大明亮度的线。3D线的图像形成可以明确地在图像中定位的曲线。校准图案的图像通常称为“校准特征”或简称为“图像特征”。

具有已知物理地点的3D点通常称为具有给定引用框中的已知坐标的3D点。例如，引用框可以附连到显示屏幕，其中坐标原点位于屏幕的左上像素，且X轴沿屏幕的水平侧向右指，且Y轴沿屏幕的垂直侧向下指，且Z轴远离查看屏幕的人定向正交地指向屏幕表面。知道3D点在一个引用框中的坐标并不意味着知道所述3D点在另一引用框中的坐标。例如，知道3D点在附连到一个屏幕的引用框中的坐标并不意味着知道所述3D点在附连到另一屏幕的框中的坐标。

将校准目标上具有附连到校准目标的引用框中的已知坐标并可以在校准目标的图像中定位的任何3D点称为“基准点”。基准点的典型应用包括计算相机的一个或多个校准参数和／或计算相机相关于校准目标的相对姿势(即计算相机到目标的变换)。

词语“校准图案”通常用来指或者是显示在校准目标的整个可见表面上的整个图案，或者是投影到个体图像特征中的较小的部分，诸如棋盘的个体2x2方格区域、个体圆盘、团或隆起。本领域技术人员很容易基于上下文判断词语“校准图案”的意义。

通常，单个基准点不足以估计一个或多个校准参数。校准相机所需要的基准点的数量取决于许多因素，包括基准(线或点)的本质、关于它们的3D配置(例如对齐、平面性)、关于它们相对相机的位置、关于使用的图像的数量以及被确定的校准参数。通常使用比理论上所需要的更多的基准，因为更多的基准通常改进校准过程的准确性。例如，当使用平面校准目标来估计八个校准参数时(X和Y焦距、主点的X和Y坐标和在蔡氏校准方法(Tsai′s calibrationmethod)中使用的四个失真参数k_0、k_1、k_2、和k_3)，通常有超过一百个目标上的基准并要求数十个图像。还例如，当计算立体相机的22个参数时(每个相机八个参数，加上用来表示从一个相机到另一个的转换向量的三个参数，和用来定义从一个相机到另一个的旋转的三个其它参数)，通常也使用超过一百个基准并要求数十个图像以提高准确性。

图4是示出了校准物体或目标的实施例的图像。在所示的示例中，目标包括黑白方格的棋盘。四个方格相交的点可以用作基准点。这些点的坐标在附连到目标的框中是已知的。

图5是示出了棋盘基准的实施例的图像。在所示的示例中，圈起了两个基准点。因为棋盘的形状和维度是已知的，所以可以将3D坐标分配给附连到目标的框中的每个基准点。例如，用实线圆标记的交点(左)可以给予坐标(0，0，0)，而用虚线圆标记的交点(右)可以给予坐标(0，W，0)，其中W是打印目标上每个方格的宽度。目标表面上的所有点都分配了等于0的Z坐标。注意，为了将坐标原点(0，0，0)明确地分配给一个特定基准点，该点必须能与其它点区分。在此示例中，左上交点因为是唯一一个位于校准目标的左上角落中的点而可明确地标识。两个校准基准可以自动地位于图像中并是已知3D点的投影。

图6A示出了展示一些校准图案的实施例。在所示的示例中，第一行示出(水平的)线性图案：从左到右是高对比带(例如从黑到白的逐步转换)、线和隆起图案；第二行示出点图案：棋盘(基准点是四个方格的公共交点)和三个圆形图案：圆盘、圆点(极小的圆盘)和团(光滑的堆)。圆形图案的基准点在图案的中心。在各种实施例中，图案包括高对比带、圆盘、圆点图案、线图案、隆起图案、交叉图案、相交图案、或任何其它合适的校准图案。

图6B示出了展示从相机看到的图6A中所展示的图案的图像的实施例。在所示的示例中，对于线性图案，图像特征可以在转换点计算，例如在高对比带图像的黑和白之间，即沿梯度方向局部最大化梯度幅度的点。对于垂直隆起图案，隆起特征是包含沿图像的X轴所取的图像强度的局部最大值的点的光滑的近似垂直的曲线。线性图案的图像一般是曲线状的图案。对于棋盘，相对应的图像特征是四个提取的线段相交处的点。对于圆盘和其它圆形图案，特征通常是投影的图案的中心处的图像点。点图案的图像一般是点状的图像。

相机校准过程的准确性取决于定位图像特征的准确性。图像中的线的投影可以使用相对容易的图像处理步骤准确地定位，但通常不使用，因为它们传达比点图案少的信息并因此要求捕捉更多的图像。棋盘和圆形特征可以以良好的准确性定位，但要求考虑图像中每个图像特征周围的区域以得到良好的检测和定位。这限制了特征可以离图像的边有多近，并且还限制图像中特征的密度。

校准目标需要被准确地物理表征。在校准目标是显示屏幕的一些实施例中，显示屏幕的制造商在屏幕的说明书中提供显示区域的大小和像素间距。屏幕的度量宽度和高度以及以像素计的屏幕分辨率放在一起可以确定每个发光元件的位置。在一些实施例中，屏幕维度是直接测量的。例如，通过显示除了四个角落像素是白的以外全黑的图案。然后每个角落可以容易地标识，可以测量所有角落对之间的距离。可以采取多个测量以得到增加的准确性。这些测量提供屏幕维度并允许验证显示区域的矩形形状。这假定了沿屏幕的行或列像素大小是恒定的(恒定的间距大小)。然后这些测量用来帮助确定屏幕上基准点的3D位置，这进而用来校准相机。

图7A和7B示出了多个校准图案的图像的实施例。在所示的示例中，使用显示屏幕来显示目标图案有重要的优点。如果相机和屏幕的相对地点是固定的，则两个或更多校准图像可以以对彼此的精确相关和对相机的相同关系来显示。例如，水平线图案(例如隆起处的线700)可以显示(例如图7A)，随之是垂直线图案(例如图7B中隆起处的线702)，在此情况中这些线(例如线704和706)的虚拟交点(例如708)是实际基准点，这些实际基准点在图像中的投影用作对校准算法的输入。图7A示出了在此图像中定位的水平隆起和隆起曲线的图像。曲线包括具有已知Y坐标(且Z=0)的屏幕点的投影。图7B示出了垂直隆起和相对应的隆起曲线的图像。曲线包括具有已知X坐标(且Z=0)的屏幕点的投影。

图7C是示出了包括图7A和7B中示出的曲线的特征的虚拟合成的实施例的图。在所示的示例中，这些曲线的交点是具有已知X、Y和Z坐标(在附连到屏幕的坐标系统中)的屏幕点的投影。

图8示出了用于使用多个图案计算特征地点的过程的实施例。在所示的示例中，为了提供具体示例，以下过程描述了怎样通过将水平和垂直曲线的图像投影相交以定位已知3D点的图像投影。过程如下：

●以形成一组已知3D点的最大值，在屏幕上显示一些水平隆起(800)，

●捕捉水平隆起的图像(802)，

●在图像中定位是水平隆起的最大值的投影的曲线(804)，

●以形成一组已知3D点的最大值，在屏幕上显示一些垂直隆起(806)，

●捕捉垂直隆起的图像(808)，

●在图像中定位是隆起的最大值的投影的曲线(810)，

●找到804中检测到的“水平”曲线和810中检测到的“垂直”曲线的交点，从而产生是已知3D点的投影的一组2D点(812)，

此类型的过程允许有非常简单的要求非常小的局部图像区域用于计算的图像处理步骤的点特征的极端准确的位置。

在所示的示例中，使用了直线隆起校准图案，但其它图案，诸如逐步边或线，无论是或不是直线，也可以用同样的方式使用，并且其它校准特征也可以从使用多个显示图像以检测所使用的特征的精确地点的此技术受益。

相机校准过程的准确性取决于所使用的特征的数量——较密的特征增加准确性。在校准目标上有尽可能多的特征是合乎期望的。然而在校准目标上特征不可以压挤地太密集，因为在图像中它们会显得离彼此太近而得不到稳健的定位。

当使用显示屏幕作为校准目标时，可以成倍增加特征的数量而不需要压挤图像中的特征。通过移位显示屏幕中的校准图案P次而不移动相机或屏幕，将特征的数量乘以P而不需要增加不同相机姿势的数量。

公开了用于将特征的数量乘以VH(两个自然数V和H的乘积)而将图案的数量乘以V+H的过程。结果是，有效地获得比用常规校准目标可以获得的更高的密度和特征数量。

图9A1、9A2、9A3、9A4、9B、9C和9D示出了在用于实现更密集特征的过程中获得的特征的实施例。在所示的示例中，当通过将水平和垂直曲线相交来定位特征时，如以上所解释的，可以有效地产生大量的图像特征：通过将垂直图案移位V次(例如图9A1、9A2、9A3和9A4)并将水平图案移位H次，可以将特征的数量乘以VH。图9B示出了从四个移位的线图案获得的垂直曲线。图9C示出了从四个移位的线图案获得的水平曲线。图9D示出了从图9B和图9C产生的线交点。通过将水平和垂直曲线的数量乘以四(V＝H=4)，就将校准特征的数量乘以16(V×H=16)。

图10是示出了用于将特征数量乘以VH同时将图案数量乘以V+H的过程的流程图。在所示的示例中，垂直图案显示了V次，然后在同一显示上水平图案显示了H次，并且标识了垂直和水平特征的虚拟交点。方法包括：

●显示包括C个线的垂直校准图案，捕捉图案的图像，并从图像提取C个垂直曲线(1000)，

●将校准图案水平地移位(1002)；例如对有水平周期性的图案移位周期的1／V，

●判断是否所有组都完成了(1004)。例如，通过检查组计数器。一组包括显示、捕捉和提取C个曲线(例如图9A1、9A2、9A3或9A4)

●在没有完成所有组的事件中，组计数器递增(1006)并且控制传给1000；在所有组都完成的事件中(图9B)，控制传给1008，

●显示包括R个线的水平校准图案，捕捉图像，并从图像提取R个水平曲线(1008)，

●将校准图案垂直地移位(1010)；例如对有垂直周期性的图案移位周期的1／H，

●判断是否所有组都完成了(1012)。例如，通过检查组计数器。一组包括显示、捕捉和提取R

●在没有完成所有组的事件中，组计数器递增(1014)并且控制传给1008；在所有组都完成的事件中(图9C)，控制传给1016，

●将VC个垂直曲线(图9B)和HR个水平曲线(图9C)相交，从而产生如图9D所示的VHRC个特征(1018)。

此方法使用一系列稀疏图像生成非常密集的校准特征组。

在一些实施例中，一系列目标使用用来补偿图案强度中的变化的显示来显示。例如，通过固定的校准目标使用显示屏幕上的活动目标的另一优点是对相机渐晕效果和非各向同性的表面辐射度(取决于查看方向屏幕以不同的强度辐射)进行补偿的能力。例如，这可以通过捕捉有相同相机曝光参数的三个图案而不移动相机或屏幕来完成。头两个，黑色图像(低辐射度)和白色图像(高辐射度)，用来在图像中建立屏幕地点，并且典型图像强度在每个地点对准(这是此屏幕、相机和曝光设置、和查看位置的功能)，这允许计算也被显示的实际图案图像的归一化图像。

图11是示出了用于捕捉归一化校准图案图像的过程的实施例的流程图。在所示的示例中，为了捕捉校准图案的图像，捕捉了三个图像，同时保持相机增益固定、相机和屏幕不移动。从这些捕捉的图像计算“归一化”的图像。

●当整个屏幕设为不使相机饱和的高值时捕捉“白色”图像(W)(1100)，

●当整个屏幕设为使相机噪音水平不是过高的低值时捕捉“黑色”图像(B)(1102)；在每个像素地点x，灰度级值B(x)小于或等于W(x)；在是屏幕的部分的投影的像素处小于W(x)且在大部分没有受显示影响的像素处等于或非常接近W(x)，

●捕捉“图案”图像(T)，这是实际校准图案。在每个像素地点x，灰度级值T(x)在B(x)和W(x)之间(1104)，

●计算归一化图像(N)(1106)；例如，在每一个使得W(x)-B(x)很小的像素地点x假定x不对应于屏幕的一部分。既然这些像素不是兴趣所在，定义N(x)=0；所有其它x是屏幕的部分的投影(除了在屏幕的反射可见处的数个像素)。定义N(x)=(T(x)-B(x))／(W(x)-B(x))；N(x)的值一直在0和1之间。当捕捉三个图像时，相机的增益是固定的，使得屏幕在其最大亮度不使图像的灰度级值饱和。

图12A、12B、12C和12D是示出了白色、黑色、图案和归一化图像的实施例的图像。在所示的示例中，典型的白色三联体(图12A)、黑色三联体(图12B)和图案图像三联体(图12C)与产生的归一化图像(图12D)一起示出。在此示例中，图案包括垂直隆起。图12A示出白色图案的图像。图12B示出黑色图案的图像。图12B只在由显示屏幕覆盖的图像区域不同于图12A。在由显示屏幕覆盖的图像区域中，图12A显示亮色(例如有高灰度级值)，而图12B显示暗色(例如由低灰度级值)。图12C示出垂直隆起图案的图像。它只在由显示屏幕覆盖的图像区域不同于图12A和12B。在由显示屏幕覆盖的图像区域中，图12C有15(十五)个近似垂直方向的隆起。每个隆起形成近似垂直方向的曲线。由于相机渐晕和由于非各向同性的屏幕表面辐射，沿曲线的像素灰度级不同。图12D示出垂直隆起图案的归一化图像(例如使用图11的过程获得)。图12D有15个隆起。沿隆起的像素灰度级差异比图12C中所示的图像中小得多。沿隆起更统一的灰度级帮助用来定位隆起的图像处理操作。图12D中的隆起的地点与图12C中的隆起的地点差不多相同。图12D的归一化图像明显比原始图像有沿隆起更统一的亮度。

图13A、13B、13C和13D是示出了强度交叉区的实施例的图。在所示的示例中，示出了从原始图像的顶附近和中间(图13A和图13B)和从归一化图像的顶附近和中间(图13C和图13D)得到的图像亮度交叉区。

降低了不统一的亮度的效果。图13A中的曲线示出近交叉区中间的灰度级最大值高于交叉区右处的灰度级最大值；此同一峰值在图13C中没有发生。相关于图13A中的那些曲线，沿隆起的最大值的级别明显在降低，如从图13B中曲线的较低最大值可见。此降低不对归一化之后的交叉区发生，如通过比较图13C和图13D中的曲线可见。

由于图案图像的黑色和白色部分的亮度范围更统一，可以使用较简单的图像处理功能从归一化的图像提取特征。归一化图像的附加优点在于不是显示屏幕的一部分的区域可以容易地识别并从进一步处理中忽略。在一些实施例中，隆起外的校准图案用作归一化过程的一部分。

图14是示出了校准目标的实施例的图像。在所示的示例中，示出了达到良好覆盖的棋盘校准目标的图像。相机校准的质量部分地取决于能够用校准目标填满图像的宽区域。注意，因为校准目标是重复性的，所以任何图像特征都可以归属到坐标原点。这对单个相机的校准没有负面的效果。

图15A和15B是校准目标的实施例的一对图像。此图像对不适合用于校准立体相机。出于校准立体相机的目的，重复性校准图案将不适合，因为不能确定右图像中的哪个特征对应于左图像中的给定特征：特征的从左到右对应关系是模糊的。因此不能确定左和右相机的相对位置，而这是立体相机校准中的要求。

一个解决方案将是使(至少)一个目标点可唯一地标识，例如通过添加一个记号在上面。然而这将通过干扰校准特征的定位而使整个过程变得复杂。

图16A和16B是显示在屏幕上的校准图案的实施例的一对图像。如图15A和15B中一样，单从这些图像不能确定左图像中提取的特征和右图像中提取的特征之间的对应关系。然而，当使用屏幕作为校准物体时，解决方案是直接的：可以捕捉唯一可识别界标的附加图像。

图16C和16D是可唯一识别界标的实施例的一对图像。当相机和屏幕在和图16A和B中相同的位置时捕捉了这些图像。在此示例中，图案是中心在也属于隆起图案之一的屏幕位置处的团。落在图16C中的团1608上的图16A中的左隆起特征1600是投影到落在图16D中的团1610上的图16B中的右隆起特征1602的同一隆起图案的图像。然后这些左和右特征被轻易地以对应关系放置。然后，从此对应关系开始，可以以对应关系放置1600右边的特征1604和1602右边的特征1606，并继续类似地以对应关系放置左和右图像中的特征。

本领域技术人员将能够将此过程适应到将水平特征或点特征以对应关系放置。

图17A、17B和17C是示出了用于基于团的已知屏幕坐标将屏幕坐标归属于每个特征的过程的实施例的图像。在所示的示例中，图17A示出了特征和团1700的图像地点。图17B示出了团1702周围的图17A的特写。图17C示出了同一特写，其中每个特征的屏幕坐标写在其它特征旁。这里，团1704有屏幕坐标(6，10)。当此过程在左和右图像中执行时，结果是归属相同屏幕坐标的左和右图像中的特征是同一屏幕特征的投影。因此此过程解决了左和右图像之间的对应关系问题。

在一些实施例中，使用多个平面目标来创建3D校准目标。显示屏幕是本质上平面的，或2D的。然而，如果可以使用3D目标时简化校准过程中存在已知的优点。首先，对3D目标的单个查看是足够的，而2D目标必须从不同的角度和距离查看以得到准确的校准。定位相机一次对于制造是优选的，因为更快并实现更简单的制造场地布局和工作流程。然而，传统的固定3D校准目标通常要求极大的制造准确性以达到所有目标点的精确地点，从而导致高成本，检测目标特征对于3D目标也可以是更困难的。

公开了使用两个或更多平面目标(显示屏幕或打印目标)来创建不昂贵的3D校准目标。关键是用来一旦刚性地定位了平面目标之后准确地学习它们的相对位置的机制。然后使用目标来显示校准图案，如已经描述的，校准图案启用仅从相关于目标的一个相机查看位置的准确的相机校准。以下描述在显示屏幕的上下文中，但可以同样地用于任何其它类型的平面目标，或任何校准目标的组合。

在一些实施例中，用来使用多个平面目标创建3D校准目标的装置包括：1)两个(或更多)显示屏幕，其显示位置或者通过由制造商提供的数据表，或者通过直接测量已知，2)可以控制显示屏幕、控制相机并执行计算的系统(例如计算机)，以及3)设置校准装置所需要的至少一个相机。在一些实施例中，相机是经校准的且仅要求单个图像。在一些实施例中，相机是未校准的且要求两个或更多图像。屏幕以一种方式设置使得屏幕不是共平面的。相机可以放置使得屏幕(例如两个屏幕)占据相机视野的大部分。

图18是示出了有“顶”和“底屏幕”的设置的实施例的图。在所示的示例中，矩形屏幕以对另一屏幕固定的相对位置放置。放置了相机以同时查看两个屏幕。在一些实施例中，每个显示屏幕是矩形的。在一些实施例中，屏幕的配置包括沿屏幕的边对齐屏幕。此配置同时最大化可见的显示屏幕区域(例如没有浪费屏幕区域)和由屏幕占据的图像的量。在一些实施例中，屏幕形成30度和150度之间的角度。如果包含屏幕表面的平面形成的角度太大(例如钝角)，则两个屏幕将几乎共平面并且将不会形成合适的3D校准目标。如果相反，包含屏幕的平面形成的角度太小(例如锐角)，则在由相机生成的图像中透视效果可以使图案的投影极大地失真。在一些实施例中，可以在校准设置中使用多于两个的屏幕。

每个校准目标上的基准的坐标在附连或关联到目标的引用框中是已知的。为了将两个或更多刚性固定的校准目标用作单个校准目标，需要确定每个校准目标上的基准在公共引用框中的坐标。

一个框和另一框中的坐标之间的关系或对应关系通常是由3×3的旋转矩阵R和3元转换向量T定义的。有3元向量X₁作为第一框中的坐标的3D点有

X₂=RX₁+T

作为第二框中的坐标。将X₁映射到X₂的函数通常称为“由R和T定义的3D转换”或“3D转换R，T”。当第一框附连到屏幕且第二框附连到相机时，所述两个框之间的3D转换称为屏幕到相机转换。相反地，相机框和屏幕框之间的转换称为相机到屏幕转换。类似地，定义了屏幕到屏幕和相机到相机转换。当框附连到物体时，可以说R和T定义了物体的相对姿势。

当3D点的坐标在一个引用框中已知且该引用框和第二引用框中的坐标之间的关系已知时，可以确定3D点在第二引用框中的坐标。

当3D点的坐标在附连到一个屏幕的的框中已知，且附连到该屏幕的框中的坐标和附连到第二屏幕的框中的坐标之间的关系已知，且第二3D点的坐标在附连到第二屏幕的框中已知时，可以确定第一点在第二框中的坐标和第二点在第二框中的坐标。关于两个点的坐标和坐标之间关系的知识允许确定两个点在公共引用框中的坐标。

在一些实施例中，公共引用框选择为附连到相机的框。

图19A是示出了用于确定两个或更多校准目标上的基准在相机框中的坐标的过程的实施例的流程图。在此过程中要求一个经校准的相机。以下使用了两个屏幕；然而，如本领域技术人员能够看到的，系统可以适应为使用不同数量的屏幕。本领域技术人员将能够容易地看到可以使用屏幕之外的校准目标。为了确定所有校准目标上的基准点在相机框中的坐标：

●固定相机使得它有关于屏幕的良好视图(1900)——例如两个屏幕，

●当屏幕在显示图案时用经校准的相机捕捉图像并定位基准的图像投影(1902)，

●将对顶屏幕基准提取的图像地点输入到姿势估计算法中，从而产生相关于顶屏幕的相机姿势的估计R_T、T_T(1904)，

●对顶屏幕上的任何基准，根据顶屏幕框中的坐标的3元向量X_T，基准在相机框中的坐标X_C由X_C=R_TX_T+T_T给出(1906)，

●将对底屏幕机制提取的图像地点输入到姿势估计算法中，从而产生相关于底屏幕的相机姿势的估计R_B、T_B(1908)，

●对底屏幕上的任何基准点，根据底屏幕框中的坐标的3元向量X′_B，基准在相机框中的坐标X′_C由X′_C=R_BX′_B+T_B给出(1910)。

此过程产生校准目标上的基准在相机框中的坐标。

在一些实施例中，公共引用框选择为不同于附连到相机的框。在一些实施例中，引用框选择为校准目标框之一，例如附连到顶屏幕的引用框。在一些其它实施例中，选择引用框使得基准组的重心有坐标向量(0，0，0)。在一些实施例中，选择引用框使得它的轴与屏幕之一的轴对齐。

在一些实施例中，存在更多的捕捉的图像，和／或存在更多相机姿势，从而产生更多数据。在一些实施例中，使用了不同的计算过程来确定基准在公共引用框中的地点。在一些实施例中，基准在公共引用框中的地点是最小平方估计过程的结果。

图19B是示出了用于使用未校准的相机确定两个或更多屏幕上的基准在公共引用框中的位置的过程的实施例的流程图。以下使用了两个屏幕；然而如本领域技术人员能够看到的，系统可以适应为使用不同数量的屏幕。本领域技术人员也将容易地看到可以使用屏幕之外的校准目标。在此过程中，只要求一个相机且此相机可以是未校准的相机。为了确定所有屏幕上的基准在公共引用框中的坐标：

●将相机固定在第一位置中使得它有关于屏幕——例如两个屏幕——的良好视图(1905)，

●当屏幕在显示图案时捕捉图像并定位图像特征(1952)，

●将相机固定在不同于第一位置的第二位置中，使得它同样有关于屏幕的良好视图(1954)，

●当屏幕在显示图案时捕捉图像并定位图像特征(1956)，

●在所有图像中提取所有特征，这些特征是基准点在屏幕上的投影。这产生四个特征组：两个关于顶屏幕和两个关于底屏幕(1958)，

●将图像特征输入到校准算法中(1960)——例如，张算法。校准算法的结果包括：

○将顶屏幕框中的坐标映射到第一相机框中的坐标的3D转换R_T、T_T。

○将底屏幕框中的坐标映射到第一相机框中的坐标的3D转换R_B、T_B。

●对顶屏幕上的任何基准，根据顶屏幕框中的坐标的3元向量X_T，所述基准在相机框中的坐标X_C由X_C=R_TX_T+T_T给出。(1962)，

●对底屏幕上的任何基准，根据底屏幕框中的坐标的3元向量X′_B，基准在相机框中的坐标X′_C由X′_C=R_BX′_B+T_B给出(1964)。

此过程的结果是校准目标上的基准在附连到第一位置中的相机的框中的坐标。

图20A和20B是示出了标识了图像特征的实施例的图像。在所示的示例中，显示的图像特征是“顶”屏幕(图20A)和“底”屏幕(图20B)上已知地点的投影。图20A示出了在一个图像中提取的关于顶屏幕的一组特征。图20B示出了在一个图像中提取的关于底屏幕的一组特征。

在一些实施例中，存在更多相机姿势，和／或存在更多的捕捉的图像，从而产生更多数据。在一些实施例中，使用了其它计算过程来确定基准在公共引用框中的地点。在一些实施例中，基准在公共引用框中的地点是最小平方估计过程的结果。

在一些实施例中，对于两个屏幕和一个相机的屏幕和相机之间的关系用来确定附连到第一屏幕的框中的坐标和附连到第二屏幕的引用框中的坐标之间的关系：相机相对于顶屏幕的位置由旋转矩阵R_T和转换向量T_T表示，而R_B和T_B表示相对于底屏幕的位置。使用此表示法，顶屏幕到底屏幕转换可以由旋转矩阵表示：

R_C=R_T ^TR_B

和转换向量

T_C=R_T ^T(T_B-T_T)。

在一些实施例中，更准确的估计是从例如从许多图像和可能地许多相机姿势中获得的多个可用R_Ti、T_Ti、R_Bi和T_Bi(其中i是索引号)中由R_c和T_c产生的。为了获得R_c和T_c的更准确的估计，使用了合适的平均过程：如果已经使用之前的公式获得了许多估计的R_Ci和T_Ci，则取矩阵R_C为诸矩阵R_Ci的平均，定向正交地投影到诸旋转矩阵R_Ci的空间上，即R_C是对于由Frobenius范式定义的度量而言，最接近矩阵R_Ci的平均的旋转矩阵。取转换T_c为可用T_ci的平均。

在各种实施例中。可以考虑其它过程，包括求解最小平方重投影问题，其中R_c和T_c显示为优化问题的参数并且底屏幕到顶屏幕转换是由R_Bi=R_TiR_C和T_Bi=T_Ti+R_TiT_C定义的。以此方式，R_c和T_c是直接从求解重投影问题的过程获得的。

一旦计算了屏幕的相对位置，或一旦计算了屏幕上的基准在公共引用框中的坐标，一个或多个相机的校准继续进行。

图21是示出了用于使用装置校准相机的过程的实施例的流程图。在所示的示例中，为了校准(新)相机，执行以下步骤：

●固定相机使得它有关于屏幕的良好视图(2100)，

●当屏幕在显示图案时捕捉图像并定位图像特征(2102)，

●通过使用图像特征和相对应基准点的已知3D地点，校准相机(2104)。

图22是示出了一组非平面校准基准点的投影的实施例的图。在此示例中，示出了当相机和屏幕保持固定位置时来自顶和底屏幕的特征。

由于基准点组是非平面的，因此知道基准点和它们在单个图像中的投影(例如特征点)足够用来校准相机。通过找到有单个视图中的已知3D点的3D重投影问题的最小平方解来校准相机。

公开了立体相机的校准。立体相机是使用用来校准单个相机的相同的三个步骤来校准的：a)图像过程独立地在由两个相机中的每一个所产生的图像上执行的，以及b)重投影问题是在左和右相机姿势由固定刚性转换联系的约束下求解的。

图23A和23B是示出了在立体相机的左和右相机中标识的特征的实施例的图像。在所示的示例中，这些特征用来校准立体相机。用于相机校准的相机模型定义了3D点之间的关系，该关系由它在世界引用框(可能是相机框，或附连到另一物体的引用框)中的坐标3元向量X和由它的像素坐标2元向量x表示的它在相机中的2D投影图像所表示。此关系由函数F表示：

x=F(X，R，T，f_x，f_y，c_x，c_y，k₁，k₂，k₃，k₄，k₅)，

其中R和T是3×3旋转矩阵和表示世界到相机坐标转换的3元向量，f_x、f_y是相机的x和y轴焦距，c_xc_y是主点的像素坐标且是k₁、…、k₅表示透镜失真的参数。这些参数在计算机视觉教科书中有详细描述。可以使用这些校准参数的变体。参数f_x、f_y、c_x、c_y、k₁、k₂、k₃、k₄、k₅称为相机的内在参数。

在以上公式中，x称为X的图像、投影或重投影，且X是x的预图像(pre-image)。注意，给定的像素地点x通常有无穷的预图像：从投影中心发出的给定半线(射线)上的所有点投影到同一2D点。

公开了通过求解重投影问题的校准。给定相机模型和一个或多个图像中的一组3D点和2D观察，通过找到相机位置和校准参数从而根据相机模型点的重投影匹配给定的2D观察来求解重投影问题。

在数学表示法中，用3元向量X_n(n属于1、…、N，其中N是点的数量)来表示基准点组。称M为不同的相机位置的数量，其中x_in(x_中)是对于i属于1、…、M，X_n在图像i中的投影中图像中的位置。注意，如果一些点对一些相机位置不可见，则相对应的观察x_in将缺失。

于是求解重投影问题意味着找到对于i属于1、…、M的相机位置参数f_x、f_y、c_x、c_y、k₁、k₂、k₃、k₄、k₅和姿势R_i、T_i，对x_in可用的所有(i，n)对这些参数验证

x_in=F(X_n，R_i，T_i，f_x，f_y，c_x，c_y，k₁，k₂，k₃，k₄，k₅)。

在此范式中，求解重投影问题意味着求解非线性方程组。

在实践中，方程是冗余的(超约束的)并且观察x_in是由测量噪音污染的，从而不存在准确地求解上述方程的参数。因此，执行对于近似地解这些方程的参数的搜素。最常见的是，方程组是在最小平方的意义上求解的：

||x_in-F(X_n，R_i，T_i，f_x，f_y，c_x，c_y，k₁，k₂，k₃，k₄，k₅)||²

的总和在x_in可用的所有(i，n)对上被最小化，其中||·||表示2D向量的2D范式。于是重投影问题是优化问题。应注意，对重投影问题的最小平方解是在观察值x_in中高斯错误项独立平均分布的假定下对校准参数和相机姿势的最大似然估计。

对此问题的解可以使用Levenberg-Marquardt算法、使用由张氏方法(Zhang’s method)提供的初始值来获得。

给出对影响所估计的校准的质量的因素的概述是值得的：当以下发生时最小平方估计器的准确性增加

●观察中的错误减少。在一阶近似中，估计器中的错误(协方差)与观察中的错误(方差)成比例。因此准确地定位特征是重要的。

●观察的数量增加。这可以通过以下任一来进行：

○增加校准目标上的特征的数量，或

○增加校准图像的数量。增加图像的一个不利方面是每个附加的相机目标位置增加6个估计的参数。

●校准特征占据图像中的宽区域。这对于准确地透镜失真建模特别重要。

当校准立体相机时，确定两个相机的校准参数以及联系右和左相机的刚性转换。感兴趣的参数是：

●左相机的校准参数：f^L _x、f^L _y、c^L _x、c^L _y、k^L ₁、k^L ₂、k^L ₃、k^L ₄、k^L ₅(上标L和R分别表示左和右相机参数)。

●右相机的校准参数：f^R _x、f^R _y、c^R _x、c^R _y、k^R ₁、k^R ₂、k^R ₃、k^R ₄、k^R ₅，

●将右相机的坐标系统联系到左相机的坐标系统的刚性转换R_S、T_S。

如在单相机的情况中，这些参数通过使用诸组观察到的基准点的投影来估计。特征x_in ^L(和以上一样，对于一些(i，n)对，其中i属于1、…、M，n属于1、…、N)是从左相机产生的图像提取且特征x_in ^R从右相机产生的图像提取。

注意，校准立体相机的要求不同于独立校准两个相机的要求：在后者中，基准点的坐标X_in ^L和X_in ^R可以在不相关的坐标系统中给定。然而这将不产生关于左和右相机的相对位置的信息。因此在立体相机的情况中一些3D点在左和右图像中可见并在公共引用框中给定是必要的。

在最小平方的意义上求解重投影问题于是包括找到校准参数、左相机位置R_i ^L、T_i ^L，和左到右转换R_S、T_S，这最小化

||x_in ^L-F(X_n，R_i ^L，T_i ^L，f_x ^L，f_y ^L，c_x ^L，c_y ^L，k₁ ^L，k₂ ^L，k₃ ^L，k₄ ^L，k₅ ^L||²

和

||x_jm ^R-F(X_m，R_S ^TR_j，R_S ^T(T_j-T_S)，fx^R，f_y ^R，c_y ^R，c_y ^R，k₁ ^R，k₂ ^R，k₃ ^R，k₄ ^R，k₅ ^R)||²在所有x_in ^L可用的(i，n)对和所有x_jm ^R可用的(j，m)对上的总和。这里只估计了世界到左相机转换R_i ^L、T_i ^L和右到左相机转换R_S、T_S，因为世界到右相机转换R_R=R_S ^TR_i、T_R=R_S ^T(T_j-T_S)是根据前者明确定义的。

图24是示出了用于确定一个或多个相机校准参数的过程的实施例的流程图。在所示的示例中，在2400，提供第一图案以显示在显示屏幕上。在2402，从查看显示屏幕的相机接收第一图像。在2404，提供第二图案以显示在显示屏幕上。在2406，从查看显示屏幕的相机接收第二图像。显示屏幕和相机的相对位置与使用相机捕捉第一图像时是相同的。在2408，至少部分地基于所计算的图像地点确定一个或多个校准参数。在2410，至少部分地基于所确定的图像地点确定一个或多个校准参数。

在一些实施例中，使用处理器执行过程，其中耦合到处理器的存储器被配置为向处理器提供指令。

图25A和25B是示出了用于确定一个或多个校准参数的过程的实施例的流程图。在所示的示例中，在2500中提供了第一物体，第一物体或者a)用三个或更多第一物体基准点标记或者b)能够显示三个或更多个第一物体基准点，其中三个或更多个第一物体基准点在与第一物体相关联的第一引用框中具有已知的3D第一物体基准点位置。在2502，提供了用三个或更多个第二物体基准点标记或者能够显示三个或更多个第二物体基准点的第二物体，其中三个或更多个第二物体基准点在与第二物体相关联的第二引用框中具有已知的3D第二物体基准点位置。在2504，第一物体和第二物体放置在固定位置，使得3D第一物体基准点位置和3D第二物体基准点位置是非平面的。在2506，从查看第一物体和第二物体的第一相机接收一个或多个第一相机图像。在2508，在一个或多个第一相机图像的每一个中定位三个或更多个第一物体基准点和三个或更多个第二物体基准点的第一组投影。在2510，至少部分地基于第一组投影计算三个或更多个第一物体基准点和三个或更多个第二物体基准点在公共引用框中的3D位置组。在2512，从查看第一物体和第二物体的第二相机接收一个或多个第二相机图像。在2514，在一个或多个第二相机图像的每一个中定位三个或更多个第一物体基准点和三个或更多个第二物体基准点的第二组投影。在2516，至少部分地使用第二组投影和基准点在公共引用框中的3D位置组计算第二相机的一个或多个校准参数。

在一些实施例中，使用处理器执行过程，其中耦合到处理器的存储器被配置为向处理器提供指令。在各种实施例中，第一物体和第二物体是平面的、是计算机显示屏幕、是LCD显示器、是平面的并形成30和150度之间的角度(例如90度)、或第一物体和第二物体的任何其它合适的特性。在各种实施例中，第一物体基准点或第二物体基准点包括点、交叉、圆盘、交点(例如棋盘图案的方格之间的交点)或任何其它合适的基准。

尽管出于理解清晰的目的用一些细节描述了之前的实施例，但本发明不限于所提供的细节。存在许多实现本发明的替换方式。所公开的实施例是说明性而不是限制性的。

Claims (19)

1.一种用于确定一个或多个相机校准参数的系统，所述系统包括

处理器，所述处理器被配置为：

提供第一图案以显示在所述显示屏幕上；

从查看所述显示屏幕的相机接收第一图像；

提供第二图案以显示在所述显示屏幕上；

从查看所述显示屏幕的所述相机接收第二图像，其中所述显示屏幕和所述相机的相对位置与在使用所述相机捕捉所述第一图像时是相同的；以及

通过至少部分地使用在所述第一图像中标识的第一特征和在所述第二图像中标识的第二特征，确定是已知物理地点在所述显示屏幕上的投影的图像地点；以及

至少部分地基于所确定的图像地点确定一个或多个校准参数；以及

耦合到处理器并被配置为提供指令给所述处理器的存储器。

2.如权利要求1所述的系统，其特征在于，所述一个或多个校准参数中的一个包括失真参数。

3.如权利要求1所述的系统，其特征在于，所述一个和多个校准参数中的一个包括主点。

4.如权利要求1所述的系统，其特征在于，所述一个和多个校准参数中的一个包括相机焦距。

5.如权利要求1所述的系统，其特征在于，所述确定的图像地点是多个所确定的图像地点中的一个。

6.如权利要求5所述的系统，其特征在于，所述多个图像地点中的每一个落在曲线上。

7.如权利要求5所述的系统，其特征在于，所述多个图像地点的每一个包括点网格的一部分。

8.如权利要求1所述的系统，其特征在于，所述第一图案包括一组水平隆起且所述第一特征包括沿与所述水平隆起组中的一个水平隆起相对应的第一图像的一部分的一个或多个地点。

9.如权利要求1所述的系统，其特征在于，所述第二图案包括一组垂直隆起且所述第二特征包括沿与所述垂直隆起组中的一个垂直隆起相对应的第二图像的一部分的一个或多个地点。

10.如权利要求1所述的系统，其特征在于，所述第一图案包括一组水平隆起且所述第一特征包括沿与所述水平隆起组中的一个水平隆起相对应的第一图像的一部分的一个或多个地点，且其中所述第二图案包括一组垂直隆起且所述第二特征包括沿与所述垂直隆起组中的一个垂直隆起相对应的第二图像的一部分的一个或多个地点，且其中所述图像地点包括与所述第一特征和所述第二特征的交点相关联的点。

11.如权利要求1所述的系统，其特征在于，所述第一图案包括第一曲线且所述第一特征包括与所述第一曲线相对应的所述第一图像中的一个或多个地点，且其中所述第二图案包括第二曲线且所述第二特征包括与所述第二曲线相对应的所述第二图像中的一个或多个地点，且其中所述图像地点包括与所述第一曲线和所述第二曲线的交点相关联的点。

12.如权利要求1所述的系统，其特征在于，所述第一图案或所述第二图像包括高对比带。

13.如权利要求1所述的系统，其特征在于，所述第一图案或所述第二图像包括圆盘。

14.如权利要求1所述的系统，其特征在于，所述第一图案或所述第二图像包括圆点图案。

15.如权利要求1所述的系统，其特征在于，所述第一图案或所述第二图像包括线图案。

16.如权利要求1所述的系统，其特征在于，所述第一图案或所述第二图像包括隆起图案。

17.如权利要求1所述的系统，其特征在于，一个或多个附加显示屏幕用来显示附加图案对，且其中所述已知位置的投影在所述附加显示屏幕上的图像地点被确定，且其中所述校准参数部分地基于所述附加图像地点来确定。

18.一种用于确定一个或多个相机校准参数的方法，所述方法包括：

提供第一图案以显示在显示屏幕上；

从查看所述显示屏幕的相机接收第一图像；

提供第二图案以显示在所述显示屏幕上；

从查看所述显示屏幕的所述相机接收第二图像，其中所述显示屏幕和所述相机的相对位置与在使用所述相机捕捉所述第一图像时是相同的；以及

使用处理器通过至少部分地使用在所述第一图像中标识的第一特征和在所述第二图像中标识的第二特征，来确定是已知物理地点在所述显示屏幕上的投影的图像地点，

使用处理器至少部分地基于所确定的图像地点确定一个或多个校准参数。

19.一种用于一个或多个相机校准参数的计算机程序产品，所述计算机程序产品体现在计算机可读存储介质中并包括计算机指令以用于：

提供第一图案以显示在显示屏幕上；

从查看所述显示屏幕的相机接收第一图像；

提供第二图案以显示在所述显示屏幕上；

从查看所述显示屏幕的所述相机接收第二图像，其中所述显示屏幕和所述相机的相对位置与在使用所述相机捕捉所述第一图像时是相同的；以及

通过至少部分地使用在所述第一图像中标识的第一特征和在所述第二图像中标识的第二特征，来确定是已知物理地点在所述显示屏幕上的投影的图像地点，

至少部分地基于所确定的图像地点确定一个或多个校准参数。

Images