CN109416744B

CN109416744B - 改进的相机校准系统、目标和过程

Info

Publication number: CN109416744B
Application number: CN201780039520.5A
Authority: CN
Inventors: J·S·克兰斯基; F·D·齐达; G·韦索姆; G·S-Y·蔡; J·A·格拉塔; 贾志恒; L·江
Original assignee: Magic Leap Inc
Current assignee: Magic Leap Inc
Priority date: 2016-06-28
Filing date: 2017-06-27
Publication date: 2023-12-15
Anticipated expiration: 2037-06-27
Also published as: CN117596385A; WO2018005561A1; JP2019530261A; JP6821714B2; US20170374360A1; US11503275B2; KR102261020B1; CN109416744A; KR102487546B1; JP2021072634A; KR20210066031A; US10547833B2; US20200128235A1; KR20190021342A; JP7057454B2

Abstract

提供了一种改进的用于执行相机校准的方法、系统和装置，其中，相机被安装到移动的传送装置上以捕获多平面校准目标的图像。通过在保持整体信息密度的同时减少捕获的图像数量来优化校准过程。

Description

改进的相机校准系统、目标和过程

技术领域

本申请一般地涉及用于相机校准以促进用于一个或多个用户的交互式虚拟和增强现实的系统和方法。

背景技术

相机是经常用于捕获图像或视频的设备。由相机捕获的数据被用于各种不同的目的和上下文。例如，可穿戴设备可以包括一个或多个内载相机，以便提供该可穿戴设备的用户周围的周围环境的图像数据。一个示例是立体可穿戴眼镜，其具有两个前向定位的相机，这些两个相机被配置为捕获图像以便通过立体显示器向用户呈现增强现实。可穿戴眼镜还可包括后向定位的相机以捕获用户眼睛的图像。

经常执行相机校准以确保相机，以及从相机捕获的图像数据中提取的信息的精度和准确度。相机校准过程确定产生图像的相机设备的真实参数，其允许确定相机的校准数据，例如内部参数和外部参数。内部参数包括但不限于焦点、焦距、主点和失真系数。外部参数包括但不限于多个相机之间的位置关系，以及传感器之间的平移和旋转偏移。

常规地，通过手动移动单个棋盘目标通过大量不同姿势来执行相机校准过程。在每个姿势下，棋盘目标在相机捕获目标图像的同时保持完全静止，同时确保整个棋盘保持在相机的视场内。继续循环，直到处理完全部姿势。

这种类型的校准过程存在许多缺点，由于这种方法是非常费力且耗时的。此外，移动目标通过多个姿势的要求将可变性引入校准过程，并且增加了无法获得可重复结果的能力，除非引入昂贵且复杂的目标移动设备，这也增加了校准过程的费用和复杂性。这些问题意味着常规的相机校准过程在需要以节省时间和可重复的方式校准大量相机的大批量制造中是不可用的。

因此，需要一种改进的方法来实现相机校准。

发明内容

本公开的实施例提供了一种改进的用于执行相机校准的方法、系统和装置，其中，相机被安装在移动的传送装置上以捕获多平面校准目标的图像。在一些实施例中，多平面校准目标是背光目标。通过在保持整体信息密度的同时减少捕获的图像数量来优化校准过程。

在一个实施例中，一种用于执行相机校准的方法包括将多个相机装载到可移动平台上。多个相机具有朝着具有多个平面目标区域的棋盘形凹面目标定向的相机图像捕获方向。该方法还包括操作可移动平台以将多个相机移位到相对于所述目标的指定位置。该方法进一步包括当多个相机位于相对于目标的指定位置时，暂停可移动平台的移动以从该多个相机中的每个相机捕获图像。另外，该方法包括使用从每个指定位置处的每个相机捕获的图像集合中观察到的视觉图案来校准该多个相机。

在一个或多个实施例中，平面目标区域中的部分或全部包括多个个性化标记，并且视觉图案可以包括该棋盘图案的角点和个性化标记的图像。图像可以被执行过滤。校准多个相机可以包括从所述图像中识别个性化标记。个性化标记可以对应于Aruco或Charuco目标。

在一个或多个实施例中，校准多个相机可以包括导出该多个相机的内部和外部参数。棋盘形凹面目标可以包括由来自多个平面目标区域的成角度连接而形成的曲率半径。棋盘形凹面目标可以包括该棋盘形凹面目标的背光。多个平面目标区域中的每个平面目标区域可以包括六边形形状。

在一个或多个实施例中，棋盘形凹面目标还可以包括安装支架，以将该棋盘形凹面目标安装在固定方位。可移动平台可以是传送带。可移动平台可以与棋盘形凹面目标间隔与多个相机的焦距对应的距离。输入栈机构可以将相机装载到可移动平台上，并且输出栈机构可以将该相机从该可移动平台上卸载。

在另一实施例中，一种计算机可读介质，其上存储有指令序列，当由处理器执行时，该指令序列使该处理器执行用于执行相机校准的方法，该方法包括将多个相机装载到可移动平台上。多个相机具有朝着包括多个平面目标区域的棋盘形凹面目标定向的相机图像捕获方向。该方法还包括操作可移动平台以将多个相机移位到相对于目标的指定位置。该方法进一步包括当多个相机位于相对于目标的指定位置时，暂停可移动平台的移动以从该多个相机中的每个相机捕获图像。另外，该方法包括使用从每个指定位置处的每个相机捕获的图像集合中观察到的视觉图案来校准多个相机。

在一个或多个实施例中，平面目标区域中的部分或全部可以包括多个个性化标记，并且视觉图案可以包括该棋盘图案的角点和个性化标记的图像。图像可以被执行过滤。校准多个相机可以包括从图像中识别个性化标记。个性化标记可以对应于Aruco或Charuco目标。

在一个或多个实施例中，校准多个相机可以包括导出该多个相机的内部参数和外部参数。棋盘形凹面目标可以包括由来自多个平面目标区域的成角度连接而形成的曲率半径。棋盘形凹面目标可以包括该棋盘形凹面目标的背光。多个平面目标区域中的每个平面目标区域可以包括六边形形状。

在一个或多个实施例中，棋盘形凹面目标还可以包括安装支架，以将所述棋盘形凹面目标安装在固定方位。可移动平台可以是传送带。可移动平台可以与棋盘形凹面目标间隔与多个相机的焦距对应的距离。输入栈机构可以将相机装载到可移动平台上，并且输出栈机构可以将该相机从该可移动平台上卸载。

在另一实施例中，一种用于执行相机校准的系统包括具有容纳多个相机的安装表面的可移动平台，以及具有多个平面目标区域的棋盘形凹面目标，使得棋盘形凹面目标的主轴朝着可移动平台定位。可移动平台可以与棋盘形凹面目标间隔开。

在一个或多个实施例中，可移动平台可以是传送带。可移动平台可以与棋盘形凹面目标间隔与多个相机的焦距对应的距离。系统还可以包括将相机装载到可移动平台上的输入栈机构，以及将所述相机从所述可移动平台卸载的输出栈机构。

在一个或多个实施例中，平面目标区域中的部分或全部可以包括多个个性化标记，并且视觉图案可以包括该棋盘图案的角点和个性化标记的图像。图像可以经过过滤。校准多个相机可以包括从图像中识别个性化标记。个性化标记可以对应于Aruco或Charuco目标。

在一个或多个实施例中，校准多个相机可以包括导出多个相机的内部参数和外部参数。棋盘形凹面目标可以包括由来自多个平面目标区域的成角度连接而形成的曲率半径。棋盘形凹面目标可以包括该棋盘形凹面目标的背光。多个平面目标区域中的每个平面目标区域可以包括六边形形状。棋盘形凹面目标还可以包括安装支架，以将该棋盘形凹面目标安装在固定方位。

在另一实施例中，相机校准的目标包括具有多个平面区域的棋盘形凹面结构。此外，平面区域中的部分或全部上具有多个个性化标记。而且，棋盘形凹面结构具有由来自多个平面区域的成角度连接而形成的曲率半径。

在一个或多个实施例中，目标的曲率半径对应于Aruco或Charuco目标。该目标还可以包括背光。多个平面区域中的每个平面区域可以包括六边形形状。该目标还可以包括安装支架以将该目标安装在固定方位。

本文描述和示出的每个单独实施例具有分立的组件和特征，它们可以很容易地与其它多个实施例中的任一者的组件和特征分开或组合。

以下在具体实施方式、附图说明和权利要求中进一步详细地描述了本公开的目标和优点。前面的一般性描述和以下的详细描述都是示例性和说明性的，并不旨在限制本公开的范围。

附图说明

为了更好地理解本公开，现在将仅借助示例，参考附图描述本公开的一些实施例。

图1A和1B示出了根据本公开的一些实施例的用于执行相机校准的示例系统。

图2提供了根据本公开的一些实施例的多平面目标的内部的图示。

图3A示出了示例性Aruco标记，图3B示出了示例性Charuco目标。

图4A至图4C示出了根据本公开的一些实施例的目标的框架。

图5示出了具有背光目标的校准系统的实施例。

图6示出了多行相机的阵列被放置在一个或多个传送带上以捕获目标的图像的示例方法。

图7示出了执行相机校准的方法的流程图。

图8A至图8S提供了根据本公开的一些实施例的校准过程的说明性示例。

图9示出了处理由相机捕获的图像数据以执行校准的方法的流程图。

图10示出了可以在其上实现本公开的一些实施例的计算机化系统。

具体实施方式

现在将参考附图详细描述各种实施例，提供这些附图是作为本公开的说明性示例，以使得本领域技术人员能够实践本公开。值得注意的是，下面的附图和示例并不意味着限制本公开的范围。在使用已知组件(或方法或过程)可以部分或完全实现本公开的某些元件的情况下，将仅描述这些已知组件(或方法或过程)中理解本公开所必需的部分，并且省略对这些已知组件(或方法或过程)的其它部分的详细描述，以免混淆本公开。此外，各种实施例包括本文中通过说明的方式提及的组件的当前和未来已知的等同物。

图1A和图1B示出了根据本公开的一些实施例的用于执行相机校准的示例系统100。系统100提供用于执行校准的多相机方法，其中，可移动平台设备(例如，传送带104)包括用于多个相机的多个放置位置。在图1A和图1B所示的系统100中，传送带104包括用于四个相机110a-d的四个位置(位置1、2、3和4)，以便在任何给定时刻进行同时校准。然而，应注意，本公开的替代实施例可包括多相机校准平台，该平台可以容纳任意数量的相机以同时进行校准，因此，除非特别如此声明，否则本公开不限于任何特定数量的用于同时校准的相机。

目标102包括基本部分球面形状，在其上定位有多个平面目标部分。全FOV(视场)目标确保成像器的所有部分都被可检测点覆盖，其中，成像器与相机内部传感器(例如，CMOS或CCD传感器)对应，成像器将入射光转换为数字输出信号。在一些实施例中，目标102包括具有球半径的棋盘形球体目标，该球半径被设定在相机110a-d的焦距处。

在操作中，待校准的相机从输入栈112装载到传送带104上。在任何给定时刻，多个相机被放置于传送带104上。每个相机位于指定位置，彼此间隔设定距离，相机的图像捕获方向面向目标102。

传送带104执行操作以将相机的位置从输入栈112的方向移到输出栈114的方向。当相机到达用于校准的设定位置时，传送带104的移动暂停。如该图所示，当相机110d位于位置1，相机110c位于位置2，相机110b位于位置3，相机110a位于位置4时，传送带104暂停。

当传送器暂停时，处于相应位置的每个相机然后捕获目标102的图像。在每个相机捕获图像之后，传送器再次移动，使得相机移到它们的下一后续位置以捕获目标102的另一图像。以这种方式，每个相机将从位置1、2、3和4中的每一者处连续捕获目标102的图像。一旦相机完成从每个位置1-4获取图像，其位置的下一次移动将导致该相机被放置于输出栈114中。

由相机捕获的图像包括目标102内的一些或全部标记平面。如下面更详细地讨论的，根据捕获的图像的内容执行计算以校准相机，例如通过确定相机的内部参数和外部参数。

该方法确保在每次拍摄时可检测到大量成角度的平面，这有助于获取稳定的校准结果。对于诸如空间受限应用(诸如，头戴式跟踪系统)中存在的广角镜头，还确保了在每次拍摄时最大数量的目标表面对焦。诸如Aquifi单图像校准装置之类的执行多平面捕获的替代尝试需要相当大的占地面积并且不能完全覆盖一个或多个待测相机的FOV。

图2提供了根据本公开的一些实施例的目标102的内部的图示。在一些实施例中，目标102是包括多个平面区域的多面结构，其中，每个面/平面区域202包括相应的平面目标。在一些实施例中，平面目标被实现为Charuco或Aruco目标。图3A示出了示例Aruco标记。Aruco/Charuco目标与典型的棋盘目标之间的主要区别在于Aruco/Charuco目标包括彼此不同的个性标记。

Aruco/Charuco目标中的每一者包括唯一地识别给定标记及其在空间中的位置的图案/标记。由于Aruco/Charuco目标包括个性标记，因此这意味着相机不需要以完整形式查看整个目标以获得校准点。相反，相机只能部分地捕获目标图像，并且仍然能够通过该目标执行校准。

与Aruco目标不同，Charuco目标将Aruco目标的个性标记特征与棋盘的使用相结合。该方法用于改进特定计算类型的定位确定。图3B示出了示例Charuco目标316。

Charuco或Aruco目标的使用确保即使整个目标不在帧中，图像捕获仍然有效。例如，如果如图1A至图1B所示，一系列相机连续移动经过静止目标，则可能发生这种情况。因此，本公开的一些实施例的该特征提供了与使用标准棋盘目标(标准棋盘目标需要精确的(一个或多个)相机配准以及严格控制的照明，因为在每次拍摄时需要所有目标和子元件清晰可见)的替代方法相比的明显优势。

图4A至图4C示出了根据本公开的一些实施例的目标102的框架。图4A是目标102的前视图，其看向目标102的凹形/球形内部。

多个刻面(faceted)/棋盘形平面部分404以一致的角度变换边对边地堆叠以形成目标102。每个刻面平面部分404可以形成为六边形结构，但是其它多边形形状也在本公开的范围内。每个刻面平面部分404之间的连接角度由目标102的整个部分球面形状的所需半径确定。如前所述，在一个实施例中，半径被配置为一般与正在校准的相机的焦距匹配。

刻面平面部分404的尺寸由要放置在每个刻面上的Charuco或Aruco目标的所需整体尺寸和/或要放置在每个刻面上的个性标记的数量确定。

图4B和图4C示出了安装支架402，安装支架402被附接到目标102的后部以将目标102安装在相对于传送带的给定位置和方位。应注意，由于传送带上的相机能够相对于目标102移动，这意味着在校准过程中不需要对目标进行位置调整以允许相机从多个姿势捕获目标的图像。因此，安装支架402可以被配置为锁定位置支架，这种支架的结构坚固，而且制造效率也高。

使用支架406将每个平面部分连接到其相邻的平面部分。这些支架406包括任何合适的配置，这些配置可用于将一个平面部分牢固地保持在相对于其相邻平面部分的固定位置。在一些实施例中，支架406包括成角度的锯齿状，来以相对于其相邻平面部分的适当连接角度安装平面部分404。

图5示出了具有背光目标102的校准系统500的实施例，其中，提供一个或多个光源502作为目标102的背光。通过在上面具有黑色棋盘/Aruco/Charuco标记的白色目标后面使用强背光，能够使得增益和曝光设置降为待测相机的最小设置，从而产生低噪声、运动稳定的图像来进行校准。在强度足够的情况下，这还用于掩蔽图像中非照明的元素，增加标记检测的稳定性和/或减少运动模糊。在一些实施例中，目标是不透明的，但是其它实施例可以采用具有一系列不同透明度水平的目标。

以这种方式，显著减少和/或完全消除高光。这是因为高光通常通过外部反射出现，可能会清除目标图像的感知，例如，在校准过程期间出现在图像上的白色“拖影”。由于背光目标相对较亮，这允许相机曝光足够低，使得唯一可检测的照明来自目标，这显著减少了任何高光。此外，由于更快的曝光设置导致检测速度增加，整个校准过程可以被更快地执行，这被用于增加整个校准系统的工作量。

取决于校准系统的工作量要求，在本公开的一些实施例中，可以对多行相机进行校准。图6示出了一种示例方法，在该方法中多行相机的阵列602被放置在一个或多个传送带上以捕获目标102的图像。目标102被定位和/或配置为确保阵列602中相机的焦点被正确地定位在目标602上。由于每个相机位于已知位置并且偏离目标102的每个平面目标表面，因此这意味着本文所述的技术完全可用于在该实施例中执行校准。

图7示出了使用上述装置和系统执行相机校准的方法的流程图。在702处，将相机装载到传送装置上的设定位置处。如前所述，待校准的相机可以从输入栈装载到传送带上，其中在任何给定时刻，多个相机可能位于传送装置上。每个相机位于指定位置，彼此间隔指定距离，相机图像捕获方向面向目标。

在704处，通过传送装置上的每个相机捕获目标的图像。传送装置被用于将相机的一个或多个位置依次移到每个图像捕获位置。因此，重复移动-暂停-图像捕获-再次移动循环，直到每个相机从每个指定位置拍摄了图像。

在706处，将所捕获的图像存储在计算机可读介质中。然后可以对图像数据执行校准分析以生成相机设备的校准参数。此后，在710处，可以将校准的相机从传送装置卸载到输出栈上。

图8A至图8S提供了根据本公开的一些实施例的该校准过程的说明性示例。图8A示出了执行相机校准的示例系统，其包括具有用于多个相机的多个放置位置的传送带104。这里，传送带104被配置为具有四个位置1、2、3和4，以同时支撑四个要校准的相机。如前所述，目标102包括大致部分球面的形状，其具有多个平面目标部分，其中，这些平面目标部分中的部分或全部包括Aruco和/或Charuco目标。

数据库622被配置为保持在校准系统中进行校准的相机所捕获的图像数据。数据库622包括数据结构，该数据结构包括数据部分以单独存储要在传送带104上的每个适当位置处捕获的图像的图像数据内容。这里，数据库622包括容纳位置1的图像数据的部分624-1；容纳位置2的图像数据的部分624-2；容纳位置3的图像数据的部分624-3，以及容纳位置4的图像数据的部分624-4。

如图8B所示，待校准相机610a被装载到传送带104上(例如，从输入栈)。为了进行说明，假设此刻没有先前已装载到传送带104上的其它相机。然而，应注意，如果其它相机的校准已经在进行，则在图8B所示的时间范围内，其它相机也将显示在传送带104上。

图8C示出了传送带104将相机610a移到位置1的运动。此时，如图8D所示，传送带104暂停以允许相机610a捕获目标102的图像。由相机610a捕获的图像包括目标102内的Aruco/Charuco目标内的部分或全部标记。

如图8E所示，捕获的图像被存储在数据库622中。具体地说，在数据库622中创建用于相机610a的条目，并且使用相机610a的条目内的位置624-1存储位置1的捕获的图像数据。

此时，如图8F所示，传送带104再次开始移动以将相机610a移到新位置。下一待校准相机610b也被装载到传送带104上。同时置于传送带上的每个相机610a和610b位于彼此间隔预定距离的指定位置。

图8G示出了传送带104将相机610a和610b分别移到位置1和2的运动。此时，如图8H所示，传送带104暂停以允许相机610a和610b从其相应的位置捕获目标102的图像。

如图8I所示，捕获的图像然后被存储到数据库622中。对于由相机610a捕获的图像，将新图像存储到数据库622内已经为该相机创建的同一条目中，但是新图像被置于该条目内的位置624-2处，以存储位置2的捕获的图像数据。对于相机610b，在数据库622内创建用于该相机的新条目，并且将捕获的图像存储在该新条目的位置624-1内。

如图8J所示，传送带104再次开始移动以将相机610a和610b移到新位置。此时下一待校准相机610c被装载到传送带104上。如前所述，同时置于传送带上的每个相机610a、610b和610c位于彼此间隔预定距离的指定位置。

图8K示出了传送带104相应地将相机610a、610b和610c分别移到位置1、2和3的运动。此时，如图8L所示，传送带104暂停以允许相机610a、610b和610c从其相应的位置捕获目标102的图像。

如图8M所示，相机610a、610b和610c捕获的图像然后被存储到数据库622中。对于由相机610a捕获的图像，将新图像存储到数据库622内已经为该相机创建的同一条目中，但是新图像被置于该条目内的位置624-3处，以存储位置3的捕获的图像数据。类似地，对于由相机610b捕获的图像，将图像数据存储到数据库622内已经为该相机610b创建的同一条目中，但是新图像被置于该条目内的位置624-2处，以存储位置2的捕获的图像数据。对于相机610c，在数据库622内创建用于该相机的新条目，并且将捕获的图像存储在该用于相机610C的新条目的位置624-1内。

图8N示出了传送带104将相机610a、610b和610c移到其新位置的运动。下一待校准相机610d也被装载到传送带104上。如前所述，同时置于传送带上的每个相机610a、610b、610c和610d位于彼此间隔预定距离的指定位置。

图8O示出了传送带104将相机610a、610b、610c和610d相应地移到位置1、2、3和4的运动。此时，如图8P所示，传送带104暂停以允许相机610a、610b、610c和610d从其相应的位置捕获目标102的图像。

如图8Q所示，相机610a、610b、610c和610d捕获的图像然后被存储到数据库622中。对于由相机610a捕获的图像，像之前一样将新图像存储到用于该相机的同一条目中，但是新图像被置于该条目内的位置624-4处，以存储位置4的捕获的图像数据。对于由相机610b捕获的新图像，将图像数据存储到数据库622内已经为该相机610b创建的同一条目中，但是新图像被置于该条目内的位置624-3处，以存储位置3的捕获的图像数据。对于由相机610c捕获的新图像，将图像数据存储到数据库622内已经为该相机610c创建的同一条目中，但是新图像被置于该条目内的位置624-2处，以存储位置2的捕获的图像数据。对于相机610d，在数据库622内创建新条目，并且将捕获的图像存储在相机610d的新条目的位置624-1内。

传送带现在再次开始移动以移动正在进行校准的相机的位置。此时，相机610a已从位置1至4中的每个位置捕获图像。因此，如图8R所示，现在可以从传送带104卸载相机610a。

因此，该方法通过操作自动将每个相机移到其连续所需的位置以捕获目标102的图像。在每个相机捕获了图像之后，传送器再次移动，使得相机移到其下一后续位置以捕获目标102的另一图像。以此方式，每个相机将从位置1、2、3和4中的每个位置连续捕获目标102的图像。一旦相机完成从每个位置1至4获取图像，其位置的下一次移位将导致相机被置于输出栈114。

如图8S所示，相机610a的图像数据可以由校准模块802处理以处理图像数据。从各个成角度平面捕获的不同视觉图案(包括例如棋盘的角点和标记图像)可从捕获的图像中识别，该不同视觉图案被用于生成校准结果，诸如内部参数和外部参数。

一个或多个用户可以使用控制系统804建立与校准系统和/或校准模块802接口并操作校准系统和/或校准模块802。控制系统804和校准模块802包括可以用于操作、衔接或实现一个或多个硬件系统、软件应用或硬件和软件的组合的任何类型的计算站。这种计算系统的示例例如包括与联网或基于云的计算平台连接的服务器、工作站、个人计算机或远程计算终端。计算系统可以包括用于用户提供对系统活动的操作控制的一个或多个输入设备，诸如操纵指向对象的鼠标或键盘。计算系统还可以与用于显示分析结果或控制界面的显示设备，诸如显示监视器，相关联。

图像数据和/或分析结果可以被存储在计算机可读存储介质620中。计算机可读存储介质620包括允许随时访问位于计算机可读存储介质620处的数据的硬件和/或软件的任何组合。例如，计算机可读存储介质620可以被实现为由操作系统操作管理的计算机存储器和/或硬盘驱动存储装置，和/或网络存储设备中的远程存储装置，诸如网络附加存储(NAS)、存储区域网络(SAN)或云存储。计算机可读存储介质620还可以被实现为在永久和/或非持久存储装置上具有存储的电子数据库系统。

图9示出了处理由相机捕获的图像数据以对该相机执行校准的方法的流程图。基本地，可以使用针孔相机模型校准典型的相机，其中校准过程的目标是识别与该相机相关联的基本参数。具体地，本公开中的相机校准过程确定3D空间/坐标与相机在不同位置捕获的各种2D图像之间的变换参数。

因此，在902处，收集由传送带上不同位置处的相机捕获的图像的图像数据。如前所述，这些图像是在传送带上已知的预定位置处捕获的，这些位置与目标102具有已知的距离或偏移。虽然说明性系统示出了从四个位置捕获图像，但应注意，取决于校准系统及其组件的具体配置，相机可以适当地捕获任何数量的图像并将其用于校准。

此时可以对图像数据执行过滤和/或处理。例如，来自Aruco/Charuco目标内的个性标记周围的不想要的内容(例如，边界内容)可能已经被相机捕获。这样的内容对于校准目的来说是不必要的，因此可以从数据集丢弃/过滤掉。此外，在此阶段也可以过滤任何损坏/错误的内容。

在904处，从图像数据中识别标记。Aruco/Charuco目标内的每个标记是具有自己个性化编码的个性化标记。例如，可以使用汉明码为目标内的每个标记生成唯一签名(signature)。分析给定标记内的特定图案以查看标记内每个元素的确切位置，并且对图案进行“解码”以识别半球形目标102的特定平面目标表面上特定位置处的特定标记。

在906处，根据已处理的标记数据导出相机的内部参数和外部参数。能够完成此操作是因为预定了解目标位置意味着系统可以建立3D空间中已识别的标记点的对应关系。在本公开中，事实是存在多个目标平面，并且所有这些平面的位置已知是相对于彼此的位置，这在坐标空间内提供了许多额外的校准点。因此，这极大地促进了精确和准确地估计相机参数。例如，当估计相机投影矩阵时，可以通过对每个2D-3D对应执行线性估计来获取线性解。应注意，可以使用非线性计算来作为线性估计的替代或补充。例如，可以采用非线性技术来优化线性解。

一旦获知相机投影矩阵，可导出内部参数，例如：(a)X和Y轴上的相机焦距；(b)相机(或相机传感器)的光学中心；和/或(c)失真系数。

还可以导出相机的外部参数。将获得相机的外部参考数据并用于确定外部参数。外部参数可以作为3D旋转和3D平移获得，以将相机参考系转换为另一参考系，例如相对于双相机立体系统中的另一相机。

在908处，通过将校准参数存储在计算机可读介质上的适当存储位置内来完成校准。

因此，已经描述了用于执行相机校准的改进的方法、系统和装置，其中相机被安装到移动的传送装置上以捕获多平面校准目标的图像。在一些实施例中，多平面校准目标是背光目标。通过在保持整体信息密度的同时减少捕获的图像数量来优化校准过程。因此，本公开的实施例解决了常规方法中太耗时、计算成本高，并且明显不适合大批量制造的问题。

系统架构概述

图10是适合实现本公开的实施例的说明性计算系统1400的框图。计算机系统1400包括总线1406或用于传送信息的其它通信机制，该总线或其它信息传送机制将以下子系统和设备互连在一起：诸如处理器1407、系统存储器1408(例如，RAM)、静态存储设备1409(例如，ROM)、磁盘驱动器1410(例如，磁或光驱动器)、通信接口1414(例如，调制解调器或以太网卡)、显示器1411(例如，CRT或LCD)、输入设备1412(例如，键盘)和光标控制。

根据本公开的一个实施例，计算机系统1400通过处理器1407执行包含在系统存储器1408中的一个或多个指令的一个或多个序列来执行特定操作。这些指令可以从另一计算机可读/可用介质(诸如，静态存储设备1409或磁盘驱动器1410)读入系统存储器1408。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合以实现本公开。因此，本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应意味着用于实现本公开的全部或部分的任何软件或硬件组合。

如本文使用的，术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1407提供要执行的指令的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质例如包括光盘或磁盘，诸如磁盘驱动器1410。易失性介质包括动态存储器，诸如系统存储器1408。

计算机可读介质的常见形式例如包括软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光介质、穿孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM，任何其它存储芯片或盒式磁带，或计算机可以读取的任何其它介质。

在本公开的实施例中，由单个计算机系统1400执行指令序列以实践本公开。根据本公开的其它实施例，通过通信链路1415(例如，LAN、PTSN或无线网络)耦合的两个或更多个计算机系统1400可以彼此协调地执行实践本公开所需的指令序列。

计算机系统1400可以通过通信链路1415和通信接口1414发送和接收消息、数据和指令，包括诸如应用代码之类的程序。接收的程序代码可以由处理器1407在接收时执行，和/或存储在磁盘驱动器1410或其它非易失性存储器中以供稍后执行。计算机系统1400可以通过数据接口1433与外部存储设备1431上的数据库1432通信。

在上述说明中，已经参考本公开的具体实施例对其进行了描述。然而，显而易见的是，在不脱离本公开的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如，参考特定的过程动作顺序描述了上述过程流程。然而，可以在不影响本公开的范围或操作的情况下改变许多所描述的过程动作的顺序。因此，说明书和附图应被视为说明性的而非限制性的。

Claims

1.一种系统，包括：

可移动平台，其具有安装表面以容纳多个相机；

棋盘形凹面目标，其具有多个平面目标区域，

其中，所述棋盘形凹面目标的主轴线朝向所述可移动平台，

其中，所述可移动平台与所述棋盘形凹面目标间隔开；以及

输入栈机构，其用于将相机装载到所述可移动平台上，及输出栈机构，其用于将所述相机从所述可移动平台卸载，

其中，所述可移动平台被配置为使所述多个相机从所述输入栈机构沿垂直于所述主轴线的方向移位到所述输出栈机构。

2.根据权利要求1所述的系统，其中，所述可移动平台是传送带。

3.根据权利要求1所述的系统，其中，所述可移动平台与所述棋盘形凹面目标间隔与所述多个相机的焦距对应的距离。

4.根据权利要求1所述的系统，其中，所述多个相机中的每个相机被定位在所述可移动平台上的位置处，所述位置与另一个相机间隔设定距离，其中，每个相机图像捕获方向面向所述棋盘形凹面目标。

5.根据权利要求1所述的系统，进一步包括用于存储相机校准图像的数据结构，其中，所述数据结构内的行与被定位在所述可移动平台上的位置处的所述多个相机中的相机对应，并且列与所述相机在沿着所述可移动平台相对于所述棋盘形凹面目标的指定位置处捕获的所述棋盘形凹面目标的图像对应。

6.一种用于执行相机校准的方法，包括：

将多个相机装载到可移动平台上，其中，所述多个相机具有朝着具有多个平面目标区域的棋盘形凹面目标定向的相机图像捕获方向，其中，所述棋盘形凹面目标的主轴线朝向所述可移动平台；

操作所述可移动平台以将所述多个相机沿垂直于所述主轴线的方向移位到相对于所述目标的指定位置中；

当所述多个相机被定位在相对于所述目标的指定位置时，暂停所述可移动平台的移动以从所述多个相机中的每个相机捕获图像；以及

使用从所述指定位置中的每个指定位置处的每个相机捕获的图像集合中观察到的视觉图案来校准所述多个相机。

7.根据权利要求6所述的方法，其中，所述平面目标区域中的部分或全部包括多个个性化标记，并且所述视觉图案包括棋盘图案的角点和所述个性化标记的图像。

8.根据权利要求6所述的方法，其中，所述图像被执行过滤。

9.根据权利要求6所述的方法，其中，校准所述多个相机包括从所述图像中识别个性化标记，其中，所述个性化标记对应于Aruco或Charuco目标。

10.根据权利要求6所述的方法，其中，校准所述多个相机包括导出所述多个相机的内部参数和外部参数。

11.根据权利要求6所述的方法，其中，所述多个相机中的每个相机被定位在所述可移动平台上的位置处，所述位置与另一个相机间隔设定距离，其中，每个相机图像捕获方向面向所述棋盘形凹面目标。

12.根据权利要求6所述的方法，进一步包括将相机校准图像存储在数据结构中，其中，所述数据结构内的行与被定位在所述可移动平台上的位置处的所述多个相机中的相机对应，并且列与所述相机在沿着所述可移动平台相对于所述棋盘形凹面目标的所述指定位置处捕获的所述棋盘形凹面目标的图像对应。

13.一种计算机可读介质，其上存储有指令序列，当由处理器执行时，所述指令序列使所述处理器执行用于执行相机校准的方法，所述方法包括：

14.根据权利要求13所述的计算机可读介质，其中，所述平面目标区域中的部分或全部包括多个个性化标记，并且所述视觉图案包括棋盘图案的角点和所述个性化标记的图像。

15.根据权利要求13所述的计算机可读介质，其中，所述图像被执行过滤。

16.根据权利要求13所述的计算机可读介质，其中，校准所述多个相机包括从所述图像中识别个性化标记，其中，所述个性化标记对应于Aruco或Charuco目标。

17.根据权利要求13所述的计算机可读介质，其中，校准所述多个相机包括导出所述多个相机的内部参数和外部参数。

18.根据权利要求13所述的计算机可读介质，其中，所述多个相机中的每个相机被定位在所述可移动平台上的位置处，所述位置与另一个相机间隔设定距离，其中，每个相机图像捕获方向面向所述棋盘形凹面目标。

19.根据权利要求13所述的计算机可读介质，所述方法进一步包括将相机校准图像存储在数据结构中，其中，所述数据结构内的行与被定位在所述可移动平台上的位置处的所述多个相机中的相机对应，并且列与所述相机在沿着所述可移动平台相对于所述棋盘形凹面目标的所述指定位置处捕获的所述棋盘形凹面目标的图像对应。