CN113711588A - 可用于相机中失真表征的校准系统 - Google Patents

可用于相机中失真表征的校准系统 Download PDF

Info

Publication number
CN113711588A
CN113711588A CN202080029317.1A CN202080029317A CN113711588A CN 113711588 A CN113711588 A CN 113711588A CN 202080029317 A CN202080029317 A CN 202080029317A CN 113711588 A CN113711588 A CN 113711588A
Authority
CN
China
Prior art keywords
calibration
camera
mirror
calibration target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080029317.1A
Other languages
English (en)
Other versions
CN113711588B (zh
Inventor
B.弗雷沃特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113711588A publication Critical patent/CN113711588A/zh
Application granted granted Critical
Publication of CN113711588B publication Critical patent/CN113711588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/12—Scanning systems using multifaceted mirrors
    • G02B26/124—Details of the optical system between the light source and the polygonal mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/62—Optical apparatus specially adapted for adjusting optical elements during the assembly of optical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/0808—Mirrors having a single reflecting layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

示例实施例涉及可用于相机中的失真表征的校准系统。示例实施例包括校准系统。所述校准系统包括第一校准目标，第一校准目标包括第一反射镜、定位在第一反射镜上或邻近第一反射镜定位的多个基准、以及定位在第一反射镜上或邻近第一反射镜定位的指引基准。校准系统还包括第二校准目标，第二校准目标包括一个或更多个第二反射镜并具有限定在其中的光圈。第一反射镜和一个或更多个第二反射镜分开一定距离。第一反射镜面向一个或更多个第二反射镜。指引基准通过第二校准目标中的光圈可见。多个基准的反射通过在第二校准目标中限定的光圈可见。多个基准的反射是迭代反射。

Description

可用于相机中失真表征的校准系统
相关申请的交叉引用
本申请要求于2019年4月16日提交的第16/385,761号美国专利申请以及于2020年3月5日提交的第16/809,869号美国专利申请的优先权，其内容通过引用整体并入本文。
技术领域
本公开涉及用于执行相机校准的方法。
背景技术
除非本文另有说明，否则本部分中描述的材料不是本申请中的权利要求的现有技术，不因包括在本部分中而被承认是现有技术。
相机能够用于识别场景(例如，在计算机视觉应用中)内的对象。然而，为了提高相机识别场景内的对象的精度，可以校准相机。这样的校准能够提供捕获的图像的外观与物理场景的空间布局的相关性。此外，校准能够校正用于捕获图像的相机的制造和/或组装中的缺陷。例如，如果相机的光圈相对于相机的图像传感器偏心或相机的镜头固有地使图像失真，则校准可对此进行校正(例如，使用提供对所捕获图像的校正的处理器使得其更准确地反映物理场景)。
发明内容
本公开涉及用于执行相机校准的方法。可以使用校准系统来执行相机校准，所述校准系统包括彼此面对并分开一定距离的两个校准目标。校准目标之一(即，第一校准目标)可以包括平面镜和基准(fiducial)。另一校准目标(即，第二校准目标)可以包括其中限定有光圈的一个或更多个平面镜。被校准的相机可以被定位在第二校准目标后面并面向第一校准目标。相机可以通过第二校准目标的光圈观察第一校准目标。因为第一校准目标和第二校准目标的反射镜彼此面对，所以可以在校准目标之间生成迭代反射的集合(例如，类似于反射镜厅布置)。相机可以经由第二校准目标中的光圈捕获迭代反射的图像。然后可以使用该图像来校准相机(例如，固有地和外在地)。
在一个方面，提供了一种校准系统。校准系统包括第一校准目标。第一校准目标包括第一反射镜。第一校准目标还包括定位在第一反射镜上或邻近第一反射镜的多个基准。此外，第一校准目标包括定位在第一反射镜上或邻近第一反射镜的指引基准。校准系统还包括第二校准目标，第二校准目标包括一个或更多个第二反射镜并具有限定在其中的光圈。第一校准目标和第二校准目标被定位为使得第一反射镜和所述一个或更多个第二反射镜分开有距离。第一校准目标和第二校准目标还被定位为使得第一反射镜面向一个或更多个第二反射镜。此外，第一校准目标和第二校准目标被定位为使得所述指引基准通过第二校准目标中限定的光圈可见。另外，第一校准目标和第二校准目标被定位为使得多个基准的反射通过第二校准目标中限定的光圈可见。多个基准的反射是由一个或更多个第二反射镜的至少一个反射和第一反射镜的至少一个反射产生的迭代反射。
在另一方面，提供了一种方法。所述方法包括：定位第一校准目标和第二校准目标，使得第一校准目标的第一反射镜和第二校准目标的一个或更多个第二反射镜分开有距离；第一反射镜面向所述一个或更多个第二反射镜；定位在第一校准目标的第一反射镜上或邻近第一校准目标的第一反射镜的指引基准通过限定在第二校准目标中的光圈可见；通过在第二校准目标中限定的光圈，定位在第一校准目标的第一反射镜上或邻近第一校准目标的第一反射镜的多个基准的反射可见。多个基准的反射是由一个或更多个第二反射镜的至少一个反射和第一反射镜的至少一个反射产生的迭代反射。所述方法还包括将相机定位在第二校准目标后面，使得其通过在第二校准目标中限定的光圈观察第一校准目标。此外，所述方法包括使用相机捕获校准图像。另外，所述方法包括基于所述校准图像来表征所述相机的固有失真。
在另外的方面，提供了一种其上存储有指令的非暂时性计算机可读介质。所述指令在由处理器执行时促使所述处理器执行方法。所述方法包括接收使用定位在第二校准目标后面以通过第二校准目标中限定的光圈观察第一校准目标的相机捕获的校准图像。第一校准目标包括第一反射镜。第一校准目标还包括定位在第一反射镜上或邻近第一反射镜的多个基准。此外，第一校准目标包括定位在第一反射镜上或邻近第一反射镜的指引基准。第二校准目标包括一个或更多个第二反射镜。第一校准目标和第二校准目标被定位为使得第一反射镜和所述一个或更多个第二反射镜分开有距离。第一校准目标和第二校准目标还被定位为使得第一反射镜面向一个或更多个第二反射镜。此外，第一校准目标和第二校准目标被定位为使得所述指引基准通过第二校准目标中限定的光圈可见。另外，第一校准目标和第二校准目标被定位为使得多个基准的反射通过第二校准目标中限定的光圈可见。多个基准的反射是由一个或更多个第二反射镜的至少一个反射和第一反射镜的至少一个反射产生的迭代反射。所述方法还包括基于所述校准图像来表征所述相机的固有失真。
通过适当地参考附图阅读以下详细描述，这些以及其他方面、优点和替代方案对于本领域普通技术人员将变得清楚。
附图说明
图1是根据示例实施例的计算机设备的示意图。
图2A是根据示例实施例的底座的前视图。
图2B是根据示例实施例的底座的侧视图。
图3A是根据示例实施例的第一校准目标的前视图。
图3B是根据示例实施例的第二校准目标的前视图。
图3C是根据示例实施例的校准系统的俯视图。
图3D是根据示例实施例的校准系统的俯视图。
图4A是根据示例实施例的校准系统中的零阶反射的图示。
图4B是根据示例实施例的校准系统中的一阶反射的图示。
图4C是根据示例实施例的校准系统中的二阶反射的图示。
图4D是根据示例实施例的校准系统中的三阶反射的图示。
图4E是根据示例实施例的底座和来自第一校准目标的多次反射的侧视图。
图4F是根据示例实施例的捕获的校准图像的图示。
图4G是根据示例实施例的捕获的校准图像内的会聚图案的图示。
图4H是根据示例实施例的捕获的校准图像内的会聚图案的图示。
图4I是根据示例实施例的捕获的校准图像内的会聚图案的图示。
图4J是根据示例实施例的捕获的校准图像内的会聚图案的图示。
图4K是根据示例实施例的捕获的校准图像内的会聚图案的图示。
图4L是根据示例实施例的包括多个会聚图案的合成图像的图示。
图4M是根据示例实施例的像素之间的相对角度映射的图示。
图5A是根据示例实施例的校准系统的俯视图。
图5B是根据示例实施例的校准系统的俯视图。
图5C是根据示例实施例的校准系统的俯视图。
图5D是根据示例实施例的校准系统的俯视图。
图6A是根据示例实施例的捕获的校准图像的图示。
图6B是根据示例实施例的捕获的校准图像的图示。
图6C是根据示例实施例的捕获的校准图像的图示。
图6D是根据示例实施例的捕获的校准图像的图示。
图6E是根据示例实施例的使用捕获的校准图像确定校准系统的空间特性的图示。
图7是根据示例实施例的捕获的校准图像的图示。
图8A是根据示例实施例的方法的流程图。
图8B是根据示例实施例的方法的流程图。
图8C是根据示例实施例的方法的流程图。
图8D是根据示例实施例的方法的流程图。
具体实施方式
本文设想了示例方法和系统。本文描述的任何示例实施例或特征不一定被解释为比其他实施例或特征优选或有利。本文描述的示例实施例并不意味着限制。将容易理解，所公开的系统和方法的特定方面能够以各种不同的配置来布置和组合，所有这些都在本文中被考虑。
此外，附图中所示的特定布置不应被视为限制。将理解，其他实施例可以包括更多或更少的给定附图中所示的每个元件。此外，可以组合或省略一些所示元件。此外，示例实施例可以包括附图中未示出的元件。
I.概述
计算机视觉涉及用于捕获周围环境的数据并使用所述数据来确定关于周围环境的信息的一系列技术。例如，计算机视觉可以包括分析由相机捕获的图像。此外，计算机视觉可以用于对象检测、识别和/或回避。例如，可以在以自主模式操作的车辆上采用计算机视觉。在这样的应用中，相机可以捕获图像，并且，基于所述图像，以自主模式操作的车辆可以做出控制决策(例如，以什么速度行驶、在哪里转弯、何时停止、何时按喇叭等)。
为了从捕获的图像进行适当的推断，校准捕获图像的相机可能很重要。这样的校准能够提供捕获的图像的外观与物理场景的空间布局的相关性。此外，校准能够校正用于捕获图像的相机传感器/镜头的制造和/或组装中的缺陷。例如，如果相机的光圈相对于相机传感器偏心，则校准可以考虑此情况(例如，使用提供对所捕获图像的校正的处理器，使得捕获的图像更准确地反映物理场景)。
一种固有地校准相机的方法包括应用针孔相机模型。针孔相机模型假设被校准的相机是理想的针孔相机(即，没有镜头而具有点状光圈的相机)。使用针孔相机模型近似，物理场景的坐标(例如，在三维中)可以映射到二维平面上的投影，其中，二维平面上的投影由捕获的校准图像表示。能够基于校准图像来确定理论针孔相机中的针孔光圈的位置。还能够确定理论针孔相机的其他参数(例如，焦距)。如果针孔光圈的位置相对于相机传感器不居中，则能够采取步骤来解决光圈的偏心位置。确定针孔光圈的位置并解决它可以包括基于一个或更多个校准图像来计算相机矩阵的一个或更多个元素。
针对光学设计中固有的或由于制造/组装引起的其他缺陷，也能够采用其他校准方法来校正。例如，能够基于记录的校准图像来计算一个或更多个失真系数。失真系数可以用于解释由于相机中的镜头引起的光学不均匀性(例如，桶形失真、胡子失真或枕形失真)。另外，能够使用校准来解决其他光学像差(例如，散焦、倾斜、球面像差、像散、彗形像差或色差)。OpenCV函数库包含能够用于校准相机(例如，用于计算机视觉应用中的相机)的多个命令。
在传统的相机校准技术中，使用校准目标(例如，棋盘校准目标)来执行固有相机校准。然而，对于具有长焦距镜头的相机和/或为了校准要在远处位置捕获的对象，校准目标会不切实际地大或需要不切实际地大的校准空间。例如，为了校准将位于距相机100m处的对象，为了在校准期间相机的视场的合理部分被校准目标占据，校准目标可能是建筑物的大小。这样的校准目标会难以制造、定位、组装等。此外，找到允许待校准的相机与校准目标之间的100m间隔的开放空间可能是不切实际的。
本文的示例实施例涉及能够用于执行固有相机校准的方法和目标。本文公开的一些实施例涉及类似于反射镜厅(a hall of mirrors)的校准系统。通过采用多次迭代反射，能够避免上述关于定位在距待校准的相机远距离处的大校准目标的问题。例如，一些实施例包括彼此面向以生成一系列反射的多个反射镜。邻近反射镜之一的是空间滤波器。空间滤波器可以包括经由一系列反射复制的一系列基准(例如，线基准和/或点基准)。线基准可以用于识别校准图像的会聚反射内的消失点。可以使用附加的基准来识别相应反射在校准图像内是哪一阶(例如，一阶、二阶、三阶等)。另外，空间滤波器可以包括被定位为使得其在一系列反射中不被复制的附加基准(例如，未反射基准)。所述附加的未反射基准可以用于识别哪个反射是零阶反射(即，哪个“反射”根本不是反射，而是到要校准的相机的镜头的直接透射)。
空间滤波器的基准可以被照射(例如，通过背光)，使得它们在校准图像中被清楚地限定。例如，基准可以是相应校准目标的平面内的孔，并可以由发光二极管(LED)或其他光源的阵列从背面照射。可以制造光源，使得基准的强度相对均匀(例如，每个基准的每个区域的亮度在所述基准中的每个其他区域和每个其他基准的每个区域的亮度的1％、3％或5％内)。此外，认识到相机可以捕获多种颜色(例如，在多个通道上)，并且可能发生色差，可以调制照射基准的光源，使得它们顺序地提供颜色光谱(例如，因此可以识别和解决色差)。例如，光源可以首先发射红光，然后发射绿光，然后发射蓝光(例如，对应于由相机捕获的每个通道的一种颜色)。在这样的实施例中，可以捕获三个单独的校准图像(当发射红光时一个，当发射绿光时一个，当发射蓝光时一个)。在其他实施例中，红外光可以由光源发射(例如，如果被校准的相机具有红外通道)。其他波长也是可能的(例如，包括可见波长范围或红外波长范围中的至少一个的波长范围)。
被校准的相机可以定位在校准布置的一侧上的两个反射镜之间。相机可以通过两个反射镜之间的空间看向校准布置的相对侧上的相对反射镜。在其他实施例中，相机可以被定位为使得其通过单个反射镜中形成的孔径(而不是通过在两个反射镜之间限定的空间)看向校准布置的相对侧上的相对反射镜。无论如何，相对反射镜可以基本上平行于该布置的相机侧上的两个反射镜(或单个反射镜)(即，在平行的1°、2°、3°、5°或10°内)。此外，空间滤波器的基准(例如，线和点)可以定位为邻近相对反射镜，使得来自被照射的基准的光从相机侧面的两个反射镜(或单个反射镜)反射，然后由邻近基准的反射镜反射。此第二反射可以部分地引导到相机镜头且部分地引导到对其进行第三次反射的相机侧面的反射镜(或单个反射镜)，接着，光被第四次反射离开邻近基准的反射镜。所述过程可以继续，其中基准的每次反射会聚到与相机相对的反射镜中的消失点。因此，当相机捕获校准图像时，相机捕获一系列反射，其中，每次反射处于不同的视深(表观深度)。因此，捕获的图像不仅提供一系列反射用来计算相机内的失真系数(例如，基于相机镜头的失真)，而且还通过这些反射来提供不同的成像深度。捕获的图像中的一系列反射还能够用于对于给定相机光学器件和相机设置的集合评估景深(例如，基于光圈大小、曝光时间、图像传感器灵敏度等)。
反射的成像深度可以远大于两个校准目标的物理间隔(由于迭代反射)。以这种方式，能够通过相机校准多个深度，而无需将校准目标相对于彼此移动。此外，校准系统的空间效率会优于替代校准技术，这是因为可以使用两个校准目标之间的实际间隔来校准给定的成像深度，其中，所述实际间隔远小于相应成像深度(在替代校准技术中不一定是这种情况)。例如，在一些替代校准技术中，会难以找到给定尺寸的未遮挡空间来执行期望成像深度的校准。
附加地或可替代地，在一些实施例中，相机可以固定到底座。在这样的实施例中，除了被定位为与相机相对在相对反射镜附近以使得其在迭代反射中不被反射的未反射基准，底座还可以包括在相机附近(例如，在底座上位于相机镜头上方或下方)的一个或更多个相机取向基准。使用这样的技术，相机取向基准可以经历离开相对反射镜的一次反射。此反射可以由相机在校准图像中捕获，并用于识别相机的取向(例如，如果相机刚性地附接到底座，则可以比较底座上的相机取向基准相对于空间滤波器中的基准的取向，以识别相机相对于空间滤波器的取向)。
更进一步地，底座可以被配置为在偏航方向(例如，使用第一旋转平台)和/或俯仰方向(例如，使用第二旋转平台)上旋转。相机可以旋转，使得偏航和俯仰方向的一系列组合用于捕获对应的一系列校准图像。使用所述一系列校准图像，能够校准相机的大部分或整个视场，其中，视场的不同区域被偏航和俯仰的不同组合的基准的迭代反射占据。
II.示例系统
以下描述和附图将阐明各种示例实施例的特征。所提供的实施例是示例性的，而非意在限制。因此，附图的尺寸不一定按比例绘制。
在一些实施例中，方法的一个或更多个步骤(例如，相机的校准步骤)可以由计算设备执行。图1示出了示例计算设备106。
计算设备106可以用于基于捕获的校准图像来校准相机。如图1所示，为了执行这样的校准，计算设备106可以包括各种组件。图1是简化框图，示出了可以包括在被布置为根据本文所设想的实施例进行操作的计算设备中的一些功能组件。在各种实施例中，示例计算设备106可以是平台式计算设备、膝上型计算设备、移动计算设备、平板计算设备、服务器计算设备或一些其他类型的计算设备。
如图1所示，计算设备106可以包括处理器112、数据存储装置114、网络接口116和输入/输出功能118，所有这些都可以通过系统总线110或类似机制耦接。处理器112可以包括一个或更多个中央处理单元(CPU)，诸如一个或更多个通用处理器和/或一个或更多个专用处理器(例如，专用集成电路(ASIC)、数字信号处理器(DSP)、网络处理器、现场可编程门阵列(FPGA)等)。在一些实施例中，计算设备106可以被定位为远离被校准的相机(例如，计算设备106可以是云计算设备或联网计算设备)。
数据存储装置114又可以包括易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，硬盘驱动器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、非易失性随机存取存储器(诸如闪存)、固态驱动器(SSD)、硬盘驱动器(HDD)、致密盘(CD)、数字视频盘(DVD)、数字磁带、读/写(RW)CD、R/W DVD等)。因此，数据存储装置114可以包括非暂时性计算机可读介质。此外，数据存储装置114可以全部或部分地与处理器112集成。在一些实施例中，数据存储装置114可以存储可由处理器112执行的程序指令，以及可以由这些程序指令操纵以执行本文所设想的各种方法、过程或操作的数据。可替代地，这些方法、过程或操作能够由硬件、固件和/或硬件、固件和软件的任何组合来限定。
网络接口116可以包括一个或更多个有线连接，诸如以太网连接或通用串行总线(USB)连接。附加地或可替代地，网络接口116可以包括一个或更多个无线接口，诸如IEEE802.11
Figure BDA0003306290150000091
BLUETOOTH
Figure BDA0003306290150000092
蓝牙低能量
Figure BDA0003306290150000093
蜂窝技术(例如，全球移动通信系统(GSM)、码分多址(CDMA)、通用移动电信系统(UMTS)、演进数据优化(EV-DO)、全球微波接入互操作性(WiMAX)或长期演进
Figure BDA0003306290150000094
)、专用短程通信(DSRC)、IEEE802.15.4中描述的通信协议(例如，
Figure BDA0003306290150000095
)或广域无线连接。可以在网络接口116上使用其他形式的物理层连接和其他类型的标准或专有通信协议。
输入/输出功能118可以促进与计算设备106的用户交互。输入/输出功能118可以包括多种类型的输入设备，诸如键盘、鼠标、触摸屏等。类似地，输入/输出功能118可以包括多种类型的输出设备，诸如屏幕、监视器、打印机、一个或更多个发光二极管等。另外地或可替代地，计算设备106可以支持从另一设备经由网络接口116或经由另一接口(未示出)(诸如高清晰度多媒体接口(HDMI)端口)的远程访问。
在一些实施例中，计算设备106可以包括部署在联网架构中的一个或更多个远程计算设备。远程计算设备的确切物理位置、连接性和配置可以是未知的和/或不重要的。因此，在一些实施例中，计算设备106可以被称为可以容纳在各种远程位置处的“基于云的”设备。
图2A是根据示例实施例的底座210的前视图。底座210可以用于定位、平移和/或旋转被校准的相机。例如，在一些实施例中，底座210可以由机动化平台(例如，翻转/倾斜平台)(未示出)驱动。相机的镜头218可以附接到底座210或以其他方式定位为使得相机能够通过底座210中的光圈/孔径(aperture)捕获图像。例如，相机可以使用一个或更多个销附接到底座。这样的销可以使相机滚转(roll)取向(例如，围绕图2A中所示出的x轴的旋转方向)。此外，这样的销可以用作用于本文所述的校准技术的机械基准体。底座210还可以包括第一相机取向基准212、第二相机取向基准214和固定到底座210的底座反射镜216(例如，邻近镜头218)。
被校准的相机可以是用于检测场景内的对象的相机。例如，相机可以是在计算机视觉应用中(例如，在机器人或自主车辆中)使用的对象检测和识别系统的组件。附加地或可替代地，相机可以用作校准工具(例如，用作用于校准不同设备或系统的“地面实况”)。在这样的实施例中，在完成校准方法时，另一感测设备(例如，雷达检测器或LIDAR检测器)可以基于使用校准后的相机捕获的附加校准图像来定位、调整或以其他方式改变。
在一些实施例中，相机可以包括数字相机(例如，将图像电或磁地存储为一系列比特的相机)。这样的数字相机可以包括一个或更多个图像传感器，诸如电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)图像传感器。附加地或可替代地，相机可以包括胶片相机(即，将图像化学地存储在摄影胶片条带上的相机)。相机可以是静态相机或视频相机。在一些实施例中，取决于相机的操作设置(例如，如由相机的控制器选择的)，相机可以具有用作静态相机和视频相机两者的能力。
另外，相机可以包括一个或更多个附加光学组件。例如，镜头218可以用于调整相机的焦距。在一些实施例中，相机可以包括一个或更多个反射镜(mirror)以修改相机内的光路(例如，将来自场景的光引导到相机内的图像传感器)。此外，相机可以包括其他光学器件，诸如偏振滤波器、中性密度滤波器、光圈(例如，使用虹膜实现)、彩色滤波器等。在各种实施例中，相机内的任何光学组件可以是可调节的、可移除的和/或可互换的。
如图2A所示，第一相机取向基准212、第二相机取向基准214、底座反射镜216和镜头218可以在底座210上垂直对准(例如，如图所示，沿着z轴)；第一相机取向基准212在底座反射镜216上方，底座反射镜216本身在镜头218上方，镜头218本身在第二相机取向基准214上方。在其他实施例中，其他布置也是可能的。另外，一些实施例可以包括附加反射镜和/或基准。此外，在一些实施例中，相机取向基准212、214、底座反射镜216和/或镜头218可以相对于彼此水平地布置。
相机取向基准212、214可以以各种方式形成。例如，相机取向基准212、214可以是印刷在底座210上的图案。可替代地，相机取向基准212、214可以是由一个或更多个显示器(例如，LCD或LED显示器)显示的图像。在其他实施例中，相机取向基准212、214可以由底座210的切掉部分(即，切除部分)(它们被从后面(例如，使用如图2B所示的光源)照射)限定。在其他实施例中，相机取向基准212、214可以是放置在光源上方的具有指定图案的掩模(例如，其上放置有黑带的有机玻璃片，其限定各个相机取向基准212、214的形状)。
如图所示，第一相机取向基准212和第二相机取向基准214可以成形为蝴蝶结(例如，每一个成形为在各个基准的中心中具有一个共享顶点的两个三角形)。同样如图所示，第一相机取向基准212和第二相机取向基准214可以彼此大小相同。在其他实施例中，两个相机取向基准212、214可以彼此大小和/或形状不同并且/或者与图2A中所示的大小和/或形状不同。例如，相机取向基准212、214之一或两者可以具有圆形、三角形、矩形、五边形、六边形、七边形、八边形、九边形、十边形、棋盘形、人字形、十字准线形状、X形等。在一些实施例中，相机取向基准212、214之一或两者可以为全息的。
在一些实施例中，相机取向基准212、214能够包括能够使用计算机视觉技术识别的至少一个特征。例如，如图2A中所示，第一相机取向基准212和第二相机取向基准214均包括在可以使用来自OpenCV库的命令识别的蝴蝶结的中心处的顶点。另外，当在校准图像中捕获到蝴蝶结形状时，蝴蝶结形状可以允许相机取向基准212、214提供关于底座210上的相机取向基准212、214的俯仰、偏航和滚转的信息。此外，在一些实施例中，可以对捕获的蝴蝶结形状的校准图像执行子像素优化，以更准确地确定蝴蝶结的中心点(即，中心顶点)。例如，可以确定蝴蝶结的中心点的粗略位置(例如，以整数像素分辨率)，然后使用梯度下降和计算机视觉技术，可以确定蝴蝶结的中心点的子像素位置。
此外，在一些实施例中，相机取向基准212、214之一或两者可以表现出特定的光学属性(例如，使得相机取向基准212、214容易地可检测/可区分)。例如，相机取向基准212、214可以发射具有特定波长(例如，在可见光谱或红外光谱内)、波长范围(例如，在可见光谱或红外光谱内)、偏振或偏振组的光。为了实现这一点，相机取向基准212、214可以包括具有指定输出波长和/或偏振的一个或更多个滤波器和/或光源。另外，镜头218可以包括一个或更多个滤波器，以选择具有相机取向基准212、214的光学属性的光，并消除来自与相机取向基准212、214无关的光的噪声。
在一些实施例中，底座210可以包括一个或更多个平台(例如，翻转/倾斜平台)。例如，底座210可以包括第一平台，第一平台被配置为使被校准的相机、第一相机取向基准212、第二相机取向基准214和底座反射镜216在偏航方向上(例如，围绕图2A中所示的z轴)旋转。底座210还可以包括第二平台，第二平台被配置为使被校准的相机、第一相机取向基准212、第二相机取向基准214和底座反射镜216在俯仰方向上(例如，围绕图2A中所示的y轴)旋转。附加地或可替代地，底座210可以包括附加平台，所述附加平台被配置为使被校准的相机、第一相机取向基准212、第二相机取向基准214和底座反射镜216在滚转方向上(例如，围绕图2A中所示的x轴)旋转。将理解，在一些实施例中，一个或更多个平台可以使被校准的相机、第一相机取向基准212、第二相机取向基准214和底座反射镜216以所述方向的组合(例如，俯仰和偏航方向、俯仰和滚转方向、偏航和滚转方向、或偏航、俯仰和滚转方向)旋转。在一些实施例中，底座210还可以包括一个或更多个平台，其被配置为在一个或更多个方向(例如，图2A中所示的x方向、y方向和/或z方向)上平移被校准的相机、第一相机取向基准212、第二相机取向基准214和底座反射镜216。
图2B是根据示例实施例的底座210的侧视图。如图2B所示并且如上所述，底座210还可以包括一个或更多个光源204。此外，被校准的相机的相机主体250可以从镜头218向后延伸。底座210上的虚线可以表示从底座的内部移除的底座210的部分(例如，以允许光和/或主体250/镜头218穿过)。在相机的主体250/镜头218的情况下，这样的部分可以是圆形部分。附加地或可替代地，在第一相机取向基准212和第二相机取向基准214的情况下，底座的切除部分可以成形为类似于相机取向基准(例如，切除部分本身可以实际上限定相机取向基准212、214的形状)。
光源204可以均包括一个或更多个光发射器(例如，以阵列布置的一个或更多个光发射器)。例如，光源204中的每一个可以包括一个或更多个发光二极管(LED)。附加地或可替代地，光源204中的一个或更多个可以包括垂直腔表面发射激光器(VCSEL)、有机发光二极管(OLED)、聚合物发光二极管(PLED)、发光聚合物(LEP)、或液晶显示器(LCD)。光源204可以均输出具有彼此相同的波长或波长范围的光(例如，光源204中的每一个可以发射白光)。可替代地，光源204可以输出具有不同的波长或波长范围的光(例如，顶部光源204可以发射红色光谱内的光，底部光源204可以发射蓝色光谱内的光)。类似地，光源204可以均输出相同偏振的光(例如，光源204中的每一个可以发射水平偏振光)或者可以输出不同偏振的光(例如，顶部光源204可以发射水平偏振光，底部光源204可以发射垂直偏振光)。如上所述，会期望光源204中的每一个发射对应于要在相机内校准的不同通道的可选波长(例如，对应于相机中的红色通道的红色波长、对应于相机中的绿色通道的绿色波长、以及对应于相机中的蓝色通道的蓝色波长)。
在一些实施例中，光源204可以被彼此独立地控制(例如，照射)。例如，第一计算设备(例如，控制器)可以控制顶部光源204，第二计算设备(例如，控制器)可以控制底部光源204。在其他实施例中，光源可以(例如，被单个计算设备)一起控制(例如，照射)。这样的计算设备也可以被配置为调制光源204(例如，调制各个光源204的输出功率和/或波长)。例如，由光源204输出的波长范围可以以预定图案从红色到绿色再到蓝色循环。这样的图案可以允许被校准的相机捕获能够用于校准相机的不同通道(例如，红色通道、绿色通道和蓝色通道)的一系列连续校准图像。这可以允许解决相机内的色差的校准。
被配置为控制光源204的这样的计算设备(例如，控制器)可以附加地或可替代地控制第一相机取向基准212和/或第二相机取向基准214(例如，如果第一相机取向基准212或第二相机取向基准214包括一个或更多个可调整滤波器)。这样，计算设备还可以调整相机取向基准212、214中的一个或更多个(例如，修改被与相机取向基准212、214中的一个或更多个相对应的一个或更多个滤波器滤波的波长范围)。
在其他实施例中，底座210可以包括照射相机取向基准212、214二者的单个光源，而不是被定位在底座210后面以照射相机取向基准212、214的分离的光源204。例如，单个亮光源(例如，白光源)可以定位在底座210与相机取向基准212、214相对的一侧上，使得亮光源照亮穿过底座(例如，穿过底座210的对应于相机取向基准212、214两者的切掉部分)。可替代地，来自单个源的光可以被引导到相机取向基准212、214中的每一个(例如，经由波导，诸如光纤)。
图3A是第一校准目标330的前视图。第一校准目标330可以包括第一反射镜302、邻近反射镜定位的多个基准、以及指引基准(indexing fiducial)310。多个基准可以包括线基准322(即，线性基准)、点基准324(即，点基准)和框基准326。
当第一校准目标330和第二校准目标(例如，如图3B所示)被定位为使得第一校准目标330面向第二校准目标，所述多个基准可以被第二校准目标的一个或更多个第二反射镜反射。另外，第一反射镜302可以再反射所述多个基准的所述一个或更多个反射。这种反射和再反射的图案可以继续多次(潜在地，无限地，直到受到衍射或其他效应的限制)，从而生成所述多个基准的一系列迭代反射。
如图3A所示，指引基准310可以成形为沙漏(例如，可以成形为类似于相机取向基准212、214的蝴蝶结形状，但是旋转90°)。在其他实施例中，指引基准310可以具有不同的形状。例如，指引基准310可以具有圆形、三角形、矩形、五边形、六边形、七边形、八边形、九边形、十边形、棋盘形、人字形、十字准线形、X形等。在一些实施例中，指引基准310可以是全息的。在一些实施例中，指引基准310具有能够使用计算机视觉技术识别的至少一个点。例如，指引基准310的沙漏形状包括能够使用来自OpenCV库的命令识别的中心(即，中心点)处的顶点。另外，当在校准图像中被捕获时，沙漏形状可以允许指引基准310提供关于相机相对于第一校准目标330的俯仰、偏航和滚转的信息。在一些实施例中，可以基于先前确定的相机校准数据(例如，失真矩阵)来细化关于相机相对于第一校准目标330的俯仰、偏航和/或滚转的信息。例如，当确定相机相对于第一校准目标330的俯仰、偏航和/或滚转时，可以使用固有相机校准。此外，在一些实施例中，可以对捕获的沙漏形状的校准图像执行子像素优化，以更准确地确定沙漏的中心点(即，中心顶点)。例如，可以确定沙漏的中心点的粗略位置(例如，以整数像素分辨率)，然后使用梯度下降和计算机视觉技术，可以确定沙漏的中心点的子像素位置。此外，在一些实施例中，在第一校准目标330上可以存在多于一个指引基准310或没有指引基准。
如上所述，可以生成多个基准的一系列迭代反射。然而，指引基准310可以不被第二校准目标反射(例如，如下面参考图3B所述，由于在第二校准目标中的两个或更多个反射镜之间限定的光圈)。这样，可以不生成指引基准310的迭代反射(即使第一校准目标330被定位为使得其面向第二校准目标)。因此，在捕获的第一校准目标330的校准图像中，因为指引基准310仅可以出现一次(例如，因为没有生成指引基准310的反射)，所以指引基准310可以用于识别校准图像内的零阶反射(即，未反射部分)。一旦被识别，就可以使用零阶反射来构造迭代的一系列反射。附加地或可替代地，可以调整(例如，使用自动聚焦)被校准的相机的镜头，使得指引基准310处于焦点位置。基于用于调整底座210上的相机的平台(例如，旋转或平移平台)的位置，可以识别被校准的相机与第一校准目标330上的指引基准310之间的距离。如果相机与第二校准目标位于同一平面，则可以基于相机与第一校准目标330之间的距离来确定到所述多个基准的迭代反射的每个的表观距离(apparent distance)(例如，相机与指引基准310之间的距离为x，相机与一阶迭代反射的图像之间的距离为3x，相机与二阶迭代反射的图像之间的距离为5x等)。
如上所述，所述多个基准可以包括线基准322、点基准324和框基准326。框基准326可以用于识别给定迭代反射的相关区域的外边界(例如，三阶迭代反射的外边界)。例如，校准算法(例如，由计算设备执行)可以识别校准图像内的框基准326的位置，然后基于框基准326的位置，在框基准326的边界内搜索线基准322和/或点基准324。在替代实施例中，可以存在更多或更少数量的框基准，框基准中的一个或更多个的形状可以不同，并且/或者，框基准在第一校准目标上的位置可以不同。
线基准322可以用于识别捕获的迭代反射的图像内的消失点。例如，线基准322的迭代反射可以看起来会聚在捕获的校准图像内的消失点上(例如，如参考图4F所述/所示)。点基准324也可以会聚到消失点。另外，在一些实施例中，点基准324可以用于定位校准图像内的线基准322。例如，如图3A所示，点基准324位于线基准322的两侧。因此，可以通过校准算法(例如，由计算设备执行)在校准图像内识别点基准324，然后，基于点基准324的位置，校准算法可以识别线基准322。附加地或可替代地，点基准324可以用于识别第一校准目标330内相对于捕获校准图像的相机的倾斜。例如，通过检测捕获的校准图像内的多个点基准324的像素位置，可以确定滚转角度(例如，围绕图3A中所示的x轴的旋转)。
在各种实施例中，可以存在比图3A中所示更多或更少的线基准322和/或点基准324。此外，在一些实施例中，线基准322和/或点基准324的大小和/或形状可以不同。附加地或可替代地，在一些实施例中，线基准322和点基准324相对于彼此和/或相对于指引基准310或相对于第一反射镜302的布置可以与图3A中所示的不同。
类似于相机取向基准212、214，可以以各种方式形成指引基准310、线基准322、点基准324和/或框基准326。例如，指引基准310、线基准322、点基准324和/或框基准326可以是印刷在第一校准目标330上的图案。可替代地，指引基准310、线基准322、点基准324和/或框基准326可以是跨一个或更多个显示器(例如，LCD或LED显示器)显示的图像。在其他实施例中，指引基准310、线基准322、点基准324和/或框基准326可以包括从后面被照射(例如，使用光源，诸如如图3C所示的一个或更多个光源304)的第一校准目标330的切掉部分(即，切除部分)。在其他实施例中，指引基准310、线基准322、点基准324和/或框基准326可以是放置在光源上的具有指定图案的掩模。
在一些实施例中，指引基准310、线基准322、点基准324和/或框基准326可以均使用波长或波长范围和/或使用偏振或偏振范围来照射(例如，像相机取向基准212、214)。这可以由用于照射指引基准310、线基准322、点基准324和/或框基准326的光源和/或由与指引基准310、线基准322、点基准324和/或框基准326相关联的滤波器来实现。这样的光源和/或滤波器可以是可调整的。此外，可以使用相同的波长、波长范围、偏振或偏振范围或者不同的波长、波长范围、偏振或偏振范围来照射指引基准310、线基准322、点基准324和/或框基准326。例如，可以使用唯一的波长照射指引基准310、线基准322、点基准324和框基准326中的每一个，使得每个基准在捕获的校准图像内相对于每个其他基准是可识别的。上述用于照射和/或调整相机取向基准212、214的照射的任何技术同样可以应用于指引基准310、线基准322、点基准324和/或框基准326。
图3B是根据示例实施例的第二校准目标350的前视图。第二校准目标350可以包括分开距离356的反射镜352和反射镜354。分离反射镜352、354的距离356可以限定孔径，通过所述孔径能够观察到第一校准目标330(例如，通过捕获校准图像/经历校准的相机)。
在一些实施例中，反射镜352、354可以彼此共面或基本上共面(例如，反射镜352的x位置可以在反射镜354的x位置的5.0cm内，即，反射镜352、354可以在5.0cm内共面)。在其他实施例中，反射镜352、354可以彼此交错(例如，沿着图3B中所示的x方向分离，以在校准图像内产生不同深度的迭代反射)。附加地或可替代地，反射镜352、354可以具有基本上相同的旋转取向。例如，反射镜352、354可以在1.0°内平行(例如，反射镜352围绕z轴的旋转可以在反射镜354围绕z轴的旋转的1.0°内)。
在替代实施例中，不是两个反射镜分开一定距离(如图3B中所示)，而是第二校准目标350可以替代地包括其中限定有光圈的单个反射镜(例如，通过该光圈，经历校准的相机通过第二校准目标350观察第一校准目标330)。例如，单个反射镜可以具有限定在其中心内的孔(例如，所述孔大于待校准的相机的镜头的大小)。在一些实施例中，在单个反射镜内限定的光圈可以足够大，使得当第二校准目标350被定位为面向第一校准目标330时，指引基准310不被第二校准目标350反射(因此，不生成指引基准310的迭代反射)。
图3C是根据示例实施例的校准系统的俯视图。如图所示，校准系统可以包括第二校准目标350(例如，反射镜352、354)和第一校准目标330。反射镜352、354可以彼此分开距离356并与第一校准目标330分开距离392。此外，校准系统可以包括底座210(具有附接到其上的相机，相机包括相机主体250)，其被定位为使得相机能够通过由第二校准目标350的反射镜352、354之间的间隔356形成的光圈捕获多个基准的迭代反射的校准图像。如图所示，第二校准目标350(即，具有限定的间隔356的反射镜352、354)可以与第一校准目标330大致平行地定位。
如图所示，第一校准目标330还可以包括光源304。光源304可以用于照射指引基准310、线基准322、点基准324和/或框基准326。光源304可以具有执行上述任何功能的能力，并可以包括上面关于图2B的光源204描述的任何设备。类似地，光源304中的每一个可以是可独立控制的，或者光源304可以是可共同控制的。另外，光源304中的每一个可以由单个电源共同供电，或者光源304中的每一个可以由不同的电源单独供电。此外，类似于光源204，图3C的光源304可以替代地是具有馈送到多个基准的多个通道的单个光源。
图3D是根据示例实施例的校准系统的俯视图。类似于图3C中的校准系统，图3D中所示的校准系统包括反射镜352、354(即，第二校准目标350)和与第一校准目标330分开距离392的底座210(具有附接到其上的相机，该相机包括相机主体250)。然而，在图3D中，第一校准目标330可以定位在相对于反射镜352、354的角度α(例如，第一校准目标330可以围绕z轴旋转角度α)。角度α可以具有各种大小(例如，0.01°、0.1°、0.5°、1.0°、2.0°、3.0°、4.0°、5.0°、6.0°、7.0°、8.0°、9.0°、10.0°等)。例如，第一校准目标可以被定位为使得第一反射镜302和反射镜352、354中的每一个在彼此平行的范围内大于0.1°但在彼此平行的范围内小于10.0°(即，α可以大于0.1°但小于10.0°)。
在一些实施例中，第一校准目标330相对于反射镜352、354(即，第二校准目标350)的角度α可以是有意的。例如，两个校准目标330、350相对于彼此的角度可以基于校准图像来确定，因此可以在相机的校准期间被考虑。可替代地，第一校准目标330相对于反射镜352、354(即，第二校准目标350)的角度α可以由校准目标的定位中的固有不精确性引起(即，可以由以下事实引起：将第一校准目标330和第二校准目标350相对于彼此定位为使得它们精确平行是不切实际或不可能的)。
图4A-4D是根据示例实施例的校准系统(例如，图3D的校准系统)中的各种迭代反射的图示。将理解，图4A-4D是出于说明性目的而提供的。例如，即使来自不同基准的多个光信号可以与底座210上的相机的镜头在镜头的相同位置处相交，也将理解，在许多实施例中，来自不同基准的光信号可以在镜头的不同位置处与镜头相交。此外，将理解，迭代反射中的每一个可以包括在由被校准的相机捕获的单个校准图像中(即，图4A-4D的迭代反射可以均是组成单个校准图像的组分)。各种指数的迭代反射(即，零阶反射、一阶反射、二阶反射、三阶反射等)仅出于说明性目的而单独示出(例如，以避免图中的混乱)。
如图4A-4D所示，迭代反射可以包括第一校准目标330与(第二校准目标350的)反射镜352、354之间的不同数量的反射/再反射。例如，捕获的校准图像的可归因于零阶反射的部分(如图4A所示)可以仅包括来自基准(例如，指引基准310、线基准322、点基准324和框基准326)的、采取从各个基准到相机的直接路径的光(即，未被反射镜352、354或第一校准目标330的第一反射镜302反射)。此外，捕获的校准图像的可归因于一阶反射的部分(如图4B所示)可以仅包括来自基准(例如，线基准322、点基准324和框基准326)的经历一对反射的光(例如，来自反射镜352或反射镜354的第一反射和来自第一校准目标330的第一反射镜302的第二反射)。类似地，捕获的校准图像的可归因于二阶反射的部分(如图4C所示)可以仅包括来自基准(例如，线基准322、点基准324和框基准326)的经历两对反射的光(例如，来自反射镜352或反射镜354的第一反射、来自第一校准目标330的第一反射镜302的第二反射、来自反射镜352或反射镜354的第三反射、以及来自第一校准目标330的第一反射镜302的第四反射)。同样地，捕获的校准图像的可归因于三阶反射的部分(如图4D所示)可以仅包括来自基准(例如，线基准322、点基准324和框基准326)的经历三对反射的光(例如，来自反射镜352或反射镜354的第一反射、来自第一校准目标330的第一反射镜302的第二反射、来自反射镜352或反射镜354的第三反射、来自第一校准目标330的第一反射镜302的第四反射、来自反射镜352或反射镜354的第五反射，以及来自第一校准目标330的第一反射镜302的第六反射)。
如上所述，基于反射镜352、354之间的分离，来自指引基准310的光可以在零阶反射而不是在一阶反射、二阶反射或三阶反射中透射到相机。将理解，使用校准系统生成的附加的未示出的迭代反射可以存在于由相机捕获的校准图像中(例如，取决于第一校准目标330相对于反射镜352、354的角度α)。例如，可以在校准图像中捕获四阶反射、五阶反射、六阶反射等(例如，如参考图4F所示和所述)。
图4A到4D中所示出的迭代反射可以用于固有相机校准。例如，迭代反射可以会聚在图像内的消失点上(例如，如参考图4F所示和所述)。这样的消失点可以用于识别经历校准的相机的光轴。此外，通过使用相机以各种视角(例如，相对于第一校准目标330或第二校准目标350的各种角度)捕获校准系统的多个校准图像，并针对每个捕获的校准图像追踪相机的角度取向，能够校准捕获的图像的相机空间中的像素之间的角度关系。可以通过使用一个或更多个平台(例如，如参考图5A-5D所示和描述的旋转平台)调整相机的角度和/或平移位置来捕获多个相机视角处的校准图像。附加地或可替代地，可以使用在不同视角处捕获的一系列校准图像来确定失真系数和/或失真矩阵。例如，能够生成由被校准的相机捕获的图像内的像素之间的失真图。在一些实施例中，用于捕获校准图像的视角的数量可足以使得能够校准相机的整个视场。
生成的失真图可以用于在运行时间期间(即，当相机不再被校准但是正在使用捕获的图像执行基于计算机视觉的环境分析时)对由相机捕获的图像执行图像补偿。在运行时间期间对由相机捕获的图像执行图像补偿可以包括例如修改图像(例如，使用图像处理算法)，所以该图像更准确地反映周围场景或考虑了相机内的固有失真，使得能够使用捕获的校准图像来确定周围场景中的对象的精确位置/取向。
另外，迭代反射可以用于确定第一校准目标330相对于反射镜352、354的角度α。这能够通过比较校准图像内的两个不同的迭代反射来完成。例如，如图4B所示，一阶反射包括来自反射镜352、354的基准的光信号的一次反射和来自第一校准目标330的第一反射镜302的基准的光信号的一次附加反射。然而，图4C中所示的二阶反射包括反射镜352、354的附加反射和第一校准目标330的第一反射镜302的附加反射。因为二阶反射包括反射的附加集合，所以在二阶反射中将角度α应用于来自基准的光信号两次，而在一阶反射中仅将角度α应用于来自基准的光信号一次。因此，通过比较一阶反射和二阶反射中相同基准的像素位置，角度α可以退出。
一系列迭代反射可以表现为会聚在消失点上的“无限走廊”(例如，如图4F所示)。通过分析所述表观无限走廊(apparent infinite hallway)的曲率半径(例如，使用图像处理算法)，可以确定第一校准目标330相对于反射镜352、354的角度α。一旦确定，当执行相机校准过程中的其他步骤时(例如，当确定图像内的像素的相对角位置时和/或当确定相机的失真系数和/或失真矩阵时)，可以考虑角度α。以类似的方式，能够确定校准目标330相对于反射镜352、354的俯仰角(即，图3C和3D中所示的第一校准目标330围绕y轴的旋转)。例如，捕获的校准图像中的表观无限走廊的向下或向上曲率(而不是向左或向右曲率)能够用于识别校准目标330的俯仰角。
图4E是根据示例实施例的底座210和来自第一校准目标330的多次反射的侧视图。使用上述技术，校准系统可以用于执行固有相机校准。然而，附加地或可替代地，校准系统可以用于执行相机的外部校准(即，确定相机空间中的点与物理空间中的点之间的映射)。“相机空间”是限定由相机捕获的图像内的像素位置的二维坐标系，“物理空间”是限定相机周围的环境内的物理位置的二维或三维坐标系。执行外部校准可以包括使用捕获的校准图像将底座210上的特定点(例如，机械基准(mechanical datums))的位置映射到相机空间(即，捕获的图像内的像素坐标)。例如，可以在相机空间中识别第一相机取向基准212的中心点和/或第二相机取向基准214的中心点，以确定与底座210相关联的机械基准(例如，光圈位置、螺钉位置、基准位置、销位置等)。
执行外部校准的一种技术可以包括捕获校准图像(例如，使用图3C或3D中所示的校准系统)。然后，能够通过以下方式确定相机空间与物理空间之间的映射：(1)通过例如将相机的光轴(例如，如先前通过固有相机校准确定的指向)的像素位置与校准图像内的相机取向基准212、214的中心点的像素位置进行比较，对捕获的校准图像执行图像分析，以及(2)将确定的像素位置与机械基准相对于相机镜头的预定距离(例如，基于底座210的设计规格和底座210的组件)进行比较。
如图4E中所示，来自第一相机取向基准212的光信号可以经由直接路径432或间接路径434传输到相机(例如，经由镜头218)。如图所示，直接路径432可以包括来自第一校准目标330的第一反射镜302的反射。如图所示，间接路径434可以包括来自第一校准目标330的第一反射镜302的两次反射和来自底座210上的底座反射镜216的反射。因此，因为沿着间接路径434行进的光与沿着直接路径432行进的光相比，经历来自第一校准目标330的附加反射，所以与直接路径432相比，对于经由间接路径434行进的光信号，由第一校准目标330关于俯仰轴的角度引起的捕获的校准图像内的第一相机取向基准212的任何偏移将加倍。如下面参考图5A-6D所述，这样的加倍效应能够用于识别/解释底座210中的制造不精确性。
图4F是根据示例实施例的捕获的校准图像400的图示。当底座定位在校准系统(例如，图3C和图3D中所示的校准系统)内时，校准图像400可以由安装在底座(例如，图2A和图2B中所示的底座210)中的相机捕获。如图所示，校准图像400可以包括底座图像410、第一相机取向基准图像412、第二相机取向基准图像414、底座反射镜图像416、镜头图像418、第二校准目标反射镜图像452、454、线基准图像422(包括线基准的迭代反射)、点基准图像424(包括点基准的迭代反射)、框基准图像426(包括框基准的迭代反射)和第一相机取向基准反射图像492。
如上所述，可以通过迭代反射(例如，通过线基准322、点基准324和/或框基准326的迭代反射)生成表观无限走廊。还如上所述，迭代反射/表观无限走廊可以会聚在消失点上。在图4G中表示具有相关联的消失点的表观无限走廊494。通过使用每个迭代线基准图像422的顶部点和底部点形成凸包，填充内部空间，并将迭代线基准外推到第二校准目标反射镜图像452、454之间的校准图像400的区域中，可以形成表观无限走廊494。如图4G所示，表观无限走廊494可以具有蝴蝶结形状。附加地或可替代地，可以使用与迭代点基准图像424中的一个或更多个相关联的一个或更多个点和/或使用与迭代框基准图像426中的一个或更多个相关联的一个或更多个点来生成表观无限走廊494。
还如图4G所示，表观无限走廊494会聚在镜头图像418附近的消失点上。校准图像400可以用于校准表观无限走廊494的消失点在相机空间中的像素位置。例如，可以确定(例如，使用下文参考图6A到6D描述的技术)被校准的相机的光轴的像素位置(即，指向)。接着，通过识别当消失点精确地覆盖光轴时底座210/相机的取向(例如，在偏航和滚转中，即，视场角和时钟角)，能够确定当光轴与校准系统对齐时相机的角取向。此后，可以修改(例如，通过修改被配置为定位底座210的一个或更多个平台的位置)相机取向(例如，在偏航和/或滚转中，即，在视场角和/或时钟角中)。在修改相机取向之后，可以捕获附加校准图像。在附加校准图像中，表观无限走廊494的消失点可以出现在该图像内的不同像素位置处。使用相机取向经修改的量(例如，在捕获第一校准图像时与捕获附加校准图像时之间应用的视场角和/或时钟角的改变)，附加校准图像中的消失点的像素位置能够被与光轴的像素位置相关(例如，通过记录基于对应平台的调整所确定的视场角/时钟角的差，或通过如参考图6E所描述的分析捕获的校准图像)。将理解，在替代实施例中，不是使用平台来调整相机相对于校准目标的位置，而是可以相对于相机调整校准目标的位置(例如，使用一个或更多个平台)以实现相同的结果。
为了找到多个像素位置与对应于光轴的像素位置之间的角度关系，能够在相机的对应的一系列取向(例如，视场角和时钟角)处捕获一系列校准图像。图4H-4K示出了图像内的消失点的四个可能的像素位置。作为参考，在图4H-4K中还示出了相机的光轴496的像素位置。在一些实施例中，光轴496的像素位置可以位于由相机捕获的图像的中心处或附近。将理解，尽管在图4H-4K内仅示出了表观无限走廊494和光轴496的像素位置，但是这样做是为了避免混乱。实际上，图4G中所示的校准图像400的各种组分(例如，底座图像410、第一相机取向基准图像412、第二相机取向基准图像414、底座反射镜图像416、镜头图像418、第二校准目标反射镜图像452、454、线基准图像422(包括线基准的迭代反射)、点基准图像424(包括点基准的迭代反射)、框基准图像426(包括框基准的迭代反射)、以及第一相机取向基准反射图像492)也可以在图4H-4K的校准图像中再现(尽管在各个图像内与图4G所示不同的位置)。图4H-4K中的消失点的像素位置中的每一个可以对应于相机的角度取向的相关集合。各个像素位置与对应于光轴的像素位置之间的角度关系可以被存储为校准数据(例如，在校准矩阵内)。例如，这样的校准数据可以存储在非暂时性计算机可读介质(例如，被校准的相机的存储器)内。
为了校准相机的视场内(即，在由相机捕获的图像内)的像素位置的范围，相机可以扫过一定范围的视场角和/或时钟角(例如，以跨相机空间来平铺表观无限走廊494)。在一些实施例中，随着相机扫过视场角和/或时钟角的组合，与另一校准图像相比，表观无限走廊494的蝴蝶结形状可以在一个校准图像内二维旋转。选择相机的不同视场角和/或时钟角以进行校准的粒度可以对应于校准数据的期望像素校准分辨率(例如，基于相机的图像传感器的百万像素的分辨率)。例如，可以使用内插或外推来确定未使用所述校准过程校准的像素位置。
针对每个像素位置使用校准数据，可以确定校准的像素位置相对于光轴496的像素位置的角度关系，并将多个校准像素位置的角度关系彼此进行比较。例如，能够使用校准数据来比较与图4L中所示的各个表观无限走廊494的消失点相对应的两个像素位置的角度关系。
图4M是对应于图4L中所示的各个表观无限走廊494的消失点的两个像素位置之间的角度关系的三维图示。在图4M中，示出了光轴496的像素位置、相机498的投影中心和图像平面499。如图所示，成像平面499与相机498的投影中心分开相机的焦距f(例如，焦距f取决于相机中包括的镜头布置)。还示出了光轴497。光轴497连接相机498的投影中心和光轴496的像素位置，并垂直于图像平面499。图4M中还示出了与图4L中所示的表观无限走廊494的消失点相对应的像素位置之间的视场角φ和时钟角θ的差。如本文所述，各种像素位置之间的角度关系的这种表征可以是固有校准过程的一部分。
除了执行固有校准、执行外部校准和确定第一校准目标330相对于第二校准目标350的角度α(例如，在偏航中，或者另外地或可替代地，在俯仰中)之外，校准系统还可以用于检测底座内的任何缺陷。例如，可以使用一系列捕获的校准图像来识别底座210内存在的制造缺陷(例如，由于加工公差)。在一些实施例中，使用本文描述的相机和校准系统捕获的一系列校准图像可以用于识别和说明底座反射镜216的表面相对于底座210的旋转(例如，在俯仰和/或偏航方向上)。底座反射镜216的表面相对于底座210在俯仰和/或偏航方向上的旋转可以是有意的。可替代地，底座反射镜216相对于底座210在俯仰和/或偏航方向上的旋转可能是由底座210的制造中的固有不精确性(例如，由于加工公差)引起的。
在图5A-5D中示出了用于捕获对应的一系列校准图像的相机的一系列位置。图5A-5D均是校准系统的俯视图(例如，类似于图3C-4D，从垂直于z轴的视角观察)。如图5A-5D所示，底座210和(对应地)相机(包括相机主体250)可以相对于反射镜352、354和第一校准目标330定位在不同位置，以便捕获一系列校准图像。可以使用平台502将底座210/相机定位在各种位置。平台502可以被配置为旋转和/或平移底座210及相机。此外，在一些实施例中，平台502可以由计算设备(例如，控制器)控制。尽管图5A-5D示出了底座210/相机的各种平移位置，但是将理解，底座210内的缺陷的类似检测也可以使用底座210/相机的旋转地改变的位置的集合或底座210/相机的旋转和平移地变化的位置的集合来实现。
在图5A-5D中的每一个中，可以从相机的视角捕获校准图像。图6A-6D分别示出了从图5A-5D的相机视角捕获的示例校准图像。例如，图6A示出了从图5A中的相机视角捕获的第一校准图像612。图6B示出了从图5B中的相机视角捕获的第二校准图像614。图6C示出了从图5C中的相机视角捕获的第三校准图像616。图6D示出了从图5D中的相机视角捕获的第四校准图像618。
如图6A-6D中所示，底座图像410相对于第二校准目标反射镜图像452、454的位置在校准图像612、614、616、618中的每一个中可以是不同的。一系列校准图像612、614、616、618能够用于确定校准系统本身的各种空间特性(例如，除了用于确定各个像素位置处的消失点的角位置之外)。例如，如果底座210被制造为使得第一相机取向基准212的中心点、第二相机取向基准214的中心点和镜头218的几何中心彼此垂直对准(例如，沿着z方向)，则第一相机取向基准图像412和第一相机取向基准反射图像598的校准图像(例如，第一校准图像612)内中心点的位置中的像素差能够与第二相机取向基准图像414的中心点的像素位置以及第一校准图像612的几何中心的像素位置整体结合使用，以确定相机的当前指向角(例如，视场角和滚转角)。使用图6E中的矢量示出了这种对相机的指向角的确定。
将理解，出于说明性目的(例如，为了避免使附图混乱)，图6E仅示出了校准图像692对应于底座图像410的部分。实际上，可以使用包括第二校准目标反射镜图像452、454、线基准图像422、点基准图像424、框基准图像426等的完整校准图像(例如，类似于校准图像612、614、616、618)来执行本文所述的指向角的确定。如图6E中所示，可以在点A和A'的像素位置之间确定矢量VA-A'(点A是第一相机取向基准图像412的中心点，点A'是第一相机取向基准反射图像592的中心点)。然后，基于点B(点B是第二相机取向基准图像414的中心点)的像素位置和矢量VA-A'，能够确定相机反射在校准图像692内的位置(即，通过从点B的像素位置减去矢量VA-A')。所述点在图6E中标记为B'。然后，基于校准图像694的几何中心点和点B'(并且，在一些实施例中，基于镜头的焦距)，可以确定在捕获各个校准图像692期间相机的指向矢量696。
由校准图像692捕获的底座210的滚转角(即，图6E中所示的底座图像410关于x轴的角度)也能够通过取点A和A'的像素位置之间的矢量的水平分量(例如，图6E中的y分量)除以点A和A'的像素位置之间的矢量的垂直分量(例如，图6E中的z分量)的反正切来确定(即，滚转角＝arctan(VA-A'y/VA-A'z))。附加地或可替代地，以类似的方式(假设第一相机取向基准212和第二相机取向基准214垂直对准(即，沿着图2A中所示的z轴对准))，底座210相对于第二校准目标350的反射镜352、354的滚转角(如图7中所示的ψ)可以通过取分离第一相机取向基准图像412和第二相机取向基准图像414的中心点的矢量的水平分量(例如，图7中的y分量，标记为a1)除以分离第一相机取向基准图像412和第二相机取向基准图像414的中心点的矢量的垂直分量(例如，图7中的z分量，标记为a2)的反正切来确定(即，滚转＝arctan(a1/a2))。
如果在与相机的当前指向角(例如，视场角和时钟角)相对应的像素位置与校准图像的几何中心匹配的情况下碰巧捕获校准图像，则由校准图像中的相应表观无限走廊生成的消失点将与所述校准图像的光轴的像素位置精确地重合。
另外，在校准图像612、614、616、618的底座图像410部分内，底座图像410中描绘的每个基准在校准图像612、614、616、618之间可以不改变相同的量。如上面参考图4E所描述的，这可能发生，这是因为例如来自第一相机取向基准212的光信号可以采取到相机的不同路径(例如，直接路径432或间接路径434)，每个路径具有来自底座反射镜216和第一校准目标330的不同数量的反射(采用直接路径432的光信号被第一校准目标330的第一反射镜302反射一次，采用间接路径434的光信号被第一校准目标330的第一反射镜302反射两次并被底座反射镜216反射一次)。通过跨多个校准图像比较由不同光信号路径(例如，直接对间接)引起的第一相机取向基准212的图像，并考虑第一校准目标330的先前确定的角旋转(例如，在偏航和/或俯仰中)，能够确定底座反射镜216的角偏移(如果有的话)。
如图6A的第一校准图像612中所示，在第一相机取向基准图像412与第一相机取向基准反射图像592之间存在水平偏移(例如，如图所示，y方向上的偏移)(基于涉及来自底座反射镜216的反射的间接路径434)。水平偏移在图6A中标记为d1。类似地，如图6B的第二校准图像614中所示，在第一相机取向基准图像412与第二相机取向基准反射图像594之间存在水平偏移(例如，如图所示，y方向上的偏移)(再次基于涉及来自底座反射镜216的反射的间接路径434)。水平偏移在图6B中标记为d2。
即使与第一校准图像612相比，第一相机取向基准图像412在第二校准图像614中处于不同的像素位置(例如，与第一校准图像612相比，基于当捕获第二校准图像614时底座210/相机相对于第一校准目标330和第二校准目标350的取向的差)，第一相机取向基准图像412也可以相对于底座图像410处于相同的位置。第一相机取向基准反射图像592和第二相机取向基准反射图像594并非如此(即，与第一校准图像612中第一相机取向基准反射图像592相对于底座图像410相比，第二相机取向基准反射图像594相对于底座图像410处于第二校准图像614的不同位置)。换句话说，相机取向基准反射图像592、594在第一校准图像612与第二校准图像614之间移动的距离比底座图像410、第一相机取向基准图像412、第二相机取向基准图像414、镜头图像418等移动的距离大(例如，相机取向基准反射图像592、594由于来自第一相机取向基准212的对应光信号的从第一校准目标330的第一反射镜302的附加反射而移动两倍)。作为该效应的结果，如图6A和6B所示，水平偏移d1可以大于水平偏移d2。因此，通过确定水平偏移d1和d2的差，与底座210/相机在第一校准图像612和第二校准图像614的捕获之间已旋转/已平移的量进行比较，然后减去底座210与第一校准目标330的第一反射镜302之间的任何固有错位(例如，与法线的固有角度偏移)(例如，如先前确定的，例如，基于校准图像内的第一相机取向基准图像412的角度)，可以确定底座反射镜216的表面相对于底座210的表面的角度。
可以使用图6C和6D中所示的校准图像616、618和水平偏移d3、d4来执行与上述那些类似和/或附加的比较。可以执行这样的附加比较以用于冗余和/或校准替代的自由度(例如，底座反射镜216的俯仰偏移，而不是底座反射镜216的偏航偏移)。
更进一步地，除了(1)用于确定各个像素位置处的消失点的角位置以确定固有校准；(2)使用校准图像内的机械基准来确定外部校准；以及(3)确定校准系统的各种空间特性之外，校准系统还可以用于确定相机的附加固有特性。例如，基于一系列迭代反射中的每一个在校准图像内如何聚焦或离焦(例如，基于图4F的校准图像400中的框基准图像426如何聚焦或离焦程度)以及每个迭代反射的对应成像深度，可以确定相机的景深。
III.示例过程
图8A是根据示例实施例的方法800的流程图。在一些实施例中，图8A的一个或更多个框可以由计算设备(例如，图1C中所示的计算设备106)执行。计算设备可以包括计算组件，诸如非易失性存储器(例如，硬盘驱动器或只读存储器(ROM))、易失性存储器(例如，随机存取存储器(RAM)，诸如动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM))、用户输入设备(例如，鼠标或键盘)、显示器(例如，发光二极管(LED)显示器或液晶显示器(LCD))和/或网络通信控制器(例如，基于IEEE802.11标准的
Figure BDA0003306290150000281
控制器或以太网控制器)。例如，计算设备可以执行存储在非暂时性计算机可读介质(例如，硬盘驱动器)上的指令，以执行本文所设想的操作中的一个或更多个。
在框802处，方法800可以包括定位第一校准目标和第二校准目标，使得：第一校准目标的第一反射镜和第二校准目标的一个或更多个第二反射镜分开一定距离；第一反射镜面向所述一个或更多个第二反射镜；定位在第一校准目标的第一反射镜上或邻近第一校准目标的第一反射镜的指引基准通过限定在第二校准目标中的光圈可见；并且定位在第一校准目标的第一反射镜上或邻近第一校准目标的第一反射镜的多个基准的反射通过在第二校准目标中限定的光圈可见。多个基准的反射是由一个或更多个第二反射镜的至少一个反射和第一反射镜的至少一个反射产生的迭代反射。
在框802的一些实施例中，定位第一校准目标和第二校准目标可以包括定位第一校准目标和第二校准目标，使得指引基准的反射通过在第二校准目标中限定的光圈不可见。
在框804处，方法800可以包括将相机定位在第二校准目标后面，使得其通过在第二校准目标中限定的光圈观察第一校准目标。
在框806处，方法800可以包括使用相机捕获校准图像。
在框808处，方法800可以包括基于校准图像来表征相机的固有失真。
在框808的一些实施例中，表征相机的固有失真可以包括使用迭代反射来确定校准图像内的消失点。
在框808的一些实施例中，表征相机的固有失真可以包括确定相机相对于第一反射镜或相对于一个或更多个第二反射镜中的至少一个的角度。
在一些实施例中，方法800可以包括例如如图8B-8D所示的附加框。
例如，如图8B中所示，在框852处，方法800可以包括使用包括相机取向基准对和第三反射镜的底座来相对于光圈定位相机。确定相机相对于第一反射镜的角度可以包括识别校准图像内的相机取向基准对。基于来自第一反射镜和第三反射镜的反射来识别相机取向基准对。
另外，在框854处，方法800可以包括使用底座的第一平台使底座相对于第一校准目标和第二目标在偏航方向上旋转或使用底座的第二平台使底座相对于第一校准目标和第二目标在俯仰方向上旋转。
此外，在框856处，方法800可以包括捕获附加校准图像。
更进一步地，在框858处，方法800可以包括基于校准图像和附加校准图像确定第三反射镜相对于相机的角度。
在一些实施例中，如图8C所示，在框882处，方法800可以基于校准图像中的迭代反射来确定相机的景深。
在一些实施例中，如图8D所示，在框892处，方法800可以将由多个基准中的基准发射的波长范围调整到与由相机捕获校准图像时发射的波长范围不同的波长范围。相机的固有失真可以包括相机的第一通道的固有失真。
此外，在框894处，方法800可以包括使用相机捕获附加校准图像。
另外，在框896处，方法800可以包括基于附加校准图像来表征相机的附加固有失真。相机的附加固有失真可以包括相机的第二通道的固有失真。
图8的方法800或本文中所描述的校准技术中的任何校准技术可以在相机(例如，计算机视觉中所使用的相机)的生命周期内的各种时间执行。例如，本文描述的方法800和/或其他校准技术可以在相机的制造/组装之后执行(例如，以便验证制造过程的有效性和/或解决制造过程内存在的机械公差)。可替代地，可以在相机用于计算机视觉的时段期间以预定间隔(例如，每天、每周、每月、每年等)执行本文中所描述的校准技术。例如，如果相机在自主车辆内用于对象检测和避开，则可以在相机组装之后、一旦相机定位在自主车辆上、每次相机导航到服务站和/或停车库等时执行该校准。此外，可以响应于检测到相机内或采用相机的计算机视觉系统内的一个或更多个错误来执行本文所述的校准技术。例如，如果自主车辆上的不同系统(例如，LIDAR系统)检测到周围环境中的给定对象的位置与相机检测到的相同对象的位置不同，则可以执行本文描述的校准技术以验证适当的相机功能。
IV.结论
本公开不限于本申请中描述的特定实施例，其旨在作为各个方面的说明。如本领域技术人员将清楚的是，在不脱离其精神和范围的情况下，可以进行许多修改和变化。根据前面的描述，除了本文列举的那些之外，本公开范围内的功能上等同的方法和设备对于本领域技术人员将是清楚的。这些修改和变化旨在落入所附权利要求的范围内。
以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中，除非上下文另有规定，否则类似的符号通常标识类似的组件。本文和附图中描述的示例实施例并不意味着限制。在不脱离本文呈现的主题的范围的情况下，能够利用其他实施例，并能够进行其他改变。将容易理解的是，如本文一般描述的在附图中示出的本公开的各方面能够以各种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文中明确考虑。
关于附图中如本文所讨论的任何或所有消息流程图、场景和流程图，每个步骤、框、操作和/或通信能够表示根据示例实施例的信息的处理和/或信息的传输。替代实施例包括在这些示例实施例的范围内。在这些替代实施例中，例如，被描述为步骤、框、传输、通信、请求、响应和/或消息的操作能够与所示出或讨论的顺序不同地执行，包括基本上同时或以相反的顺序，这取决于所涉及的功能。此外，更多或更少的框和/或操作能够与本文讨论的任何消息流程图、场景和流程图一起使用，并且，这些消息流程图、场景和流程图能够部分地或全部地彼此组合。
表示信息处理的步骤、框或操作能够对应于能够被配置为执行本文描述的方法或技术的特定逻辑功能的电路。可替代地或另外地，表示信息处理的步骤或框能够对应于模块、段或程序代码的一部分(包括相关数据)。程序代码能够包括可由处理器执行的一个或更多个指令，用于实现方法或技术中的特定逻辑操作或动作。程序代码和/或相关数据能够存储在任何类型的计算机可读介质上，诸如包括RAM、磁盘驱动器、固态驱动器或另一存储介质的存储设备。
计算机可读介质还能够包括非暂时性计算机可读介质，诸如短时间段存储数据的计算机可读介质，如寄存器存储器和处理器高速缓存。计算机可读介质还能够包括更长时间段存储程序代码和/或数据的非暂时性计算机可读介质。因此，计算机可读介质可以包括辅助或持久长期存储器，例如ROM、光盘或磁盘、固态驱动器、压缩盘只读存储器(CD-ROM)。计算机可读介质还能够是任何其他易失性或非易失性存储系统。计算机可读介质能够被认为是例如计算机可读存储介质或有形存储设备。
此外，表示一个或更多个信息传输的步骤、框或操作能够对应于同一物理设备中的软件和/或硬件模块之间的信息传输。然而，其他信息传输能够在不同物理设备中的软件模块和/或硬件模块之间进行。
图中所示的特定布置不应被视为限制。应理解，其他实施例能够包括更多或更少的给定图中所示的每个元件。此外，能够组合或省略一些所示元件。此外，示例实施例能够包括图中未示出的元件。
虽然本文已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员而言将是清楚的。本文公开的各个方面和实施例是出于说明的目的，而不是限制性的，真实范围由所附权利要求指示。

Claims (25)

1.一种校准系统，包括：
第一校准目标，包括：
第一反射镜；
多个基准，定位在第一反射镜上或邻近第一反射镜；以及
指引基准，定位在第一反射镜上或邻近第一反射镜；以及
第二校准目标，包括一个或更多个第二反射镜并具有限定在其中的光圈，其中，第一校准目标和第二校准目标被定位为使得：
第一反射镜和所述一个或更多个第二反射镜分开一定距离；
第一反射镜面向所述一个或更多个第二反射镜；
指引基准通过第二校准目标中限定的光圈可见；以及
多个基准的反射通过第二校准目标中限定的光圈可见，其中，多个基准的反射是由所述一个或更多个第二反射镜的至少一个反射和第一反射镜的至少一个反射产生的迭代反射。
2.如权利要求1所述的校准系统，其中，所述多个基准包括至少一个线基准和至少一个点基准。
3.如权利要求1所述的校准系统，
其中，所述一个或更多个第二反射镜仅包括单个反射镜，并且
其中，光圈是限定在单个反射镜内的孔。
4.如权利要求1所述的校准系统，
其中，所述一个或更多个第二反射镜包括彼此分离的两个反射镜，
其中，光圈在两个反射镜之间，并且
其中，彼此分离的两个反射镜被定位为使得两个反射镜在5.0cm内共面并在1.0°内彼此平行内。
5.如权利要求1所述的校准系统，
其中，所述多个基准中的基准发射波长范围内的光，并且
其中，波长范围包括可见波长范围或红外波长范围中的至少一个。
6.如权利要求5所述的校准系统，其中，波长范围是可调整的。
7.如权利要求1所述的校准系统，其中，指引基准具有沙漏形状。
8.如权利要求1所述的校准系统，还包括：底座，被配置为相对于所述光圈定位相机，使得相机能够通过所述光圈捕获所述多个基准的迭代反射的校准图像。
9.如权利要求8所述的校准系统，其中，底座包括：
第一平台，被配置为在偏航方向上旋转相机；以及
第二平台，被配置为在俯仰方向上旋转相机。
10.如权利要求8所述的校准系统，其中，底座包括相机取向基准对，使得使用由相机捕获的校准图像，能够确定相机相对于第一校准目标或第二校准目标的取向。
11.如权利要求10所述的校准系统，还包括固定到底座的第三反射镜，
其中，所述相机取向基准对包括第一相机取向基准和第二相机取向基准，
其中，第三反射镜被定位在底座上与相机邻近，
其中，第一相机取向基准被定位在底座上与第三反射镜邻近且与相机相对，并且
其中，第二相机取向基准被定位在底座上与相机邻近且与第三反射镜相对。
12.如权利要求11所述的校准系统，其中，第一相机取向基准和第二相机取向基准具有相同的形状。
13.如权利要求11所述的校准系统，其中，由相机捕获的校准图像可用于基于所述相机取向基准对从第三反射镜的反射来确定底座与第一反射镜之间的角度。
14.如权利要求1所述的校准系统，其中，第一校准目标和第二校准目标被定位为使得第一反射镜和所述一个或更多个第二反射镜中的每一个在大于0.1°内彼此平行但在小于10.0°内彼此平行。
15.如权利要求1所述的校准系统，其中，第一校准目标和第二校准目标被定位为使得指引基准的反射通过第二校准目标中限定的光圈不可见。
16.一种方法，包括：
定位第一校准目标和第二校准目标，使得：
第一校准目标的第一反射镜和第二校准目标的一个或更多个第二反射镜分开一定距离；
第一反射镜面向所述一个或更多个第二反射镜；
定位在第一校准目标的第一反射镜上或邻近第一校准目标的第一反射镜的指引基准通过限定在第二校准目标中的光圈可见；以及
定位在第一校准目标的第一反射镜上或邻近第一校准目标的第一反射镜的多个基准的反射通过第二校准目标中限定的光圈可见，其中，多个基准的反射是由所述一个或更多个第二反射镜的至少一个反射和第一反射镜的至少一个反射产生的迭代反射；
将相机定位在第二校准目标后面，使得相机通过第二校准目标中限定的光圈观察第一校准目标；
使用相机捕获校准图像；以及
基于校准图像来表征相机的固有失真。
17.如权利要求16所述的方法，其中，表征相机的固有失真包括使用迭代反射来确定校准图像内的消失点。
18.如权利要求16所述的方法，其中，表征相机的固有失真包括确定相机相对于第一反射镜或相对于所述一或多个第二反射镜中的至少一个的角度。
19.如权利要求18所述的方法，还包括使用包括相机取向基准对和第三反射镜的底座相对于所述光圈来定位相机，
其中，确定相机相对于第一反射镜的角度包括在校准图像内识别所述相机取向基准对，并且
其中，所述相机取向基准对基于来自第一反射镜和第三反射镜的反射来识别。
20.如权利要求19所述的方法，还包括：
使用底座的第一平台使底座相对于第一校准目标和第二校准目标在偏航方向上旋转或使用底座的第二平台使底座相对于第一校准目标和第二校准目标在俯仰方向上旋转；
捕获附加校准图像；以及
基于校准图像和附加校准图像确定第三反射镜相对于相机的角度。
21.如权利要求16所述的方法，还包括基于校准图像中的迭代反射来确定相机的景深。
22.如权利要求16所述的方法，还包括：
将由所述多个基准中的基准发射的波长范围调整到与当由相机捕获校准图像时发射的波长范围不同的波长范围，其中，相机的固有失真包括相机的第一通道的固有失真；
使用相机捕获附加校准图像；以及
基于附加校准图像来表征相机的附加固有失真，其中，相机的附加固有失真包括相机的第二通道的固有失真。
23.如权利要求16所述的方法，其中，定位第一校准目标和第二校准目标包括：定位第一校准目标和第二校准目标，使得指引基准的反射通过第二校准目标中限定的光圈不可见。
24.一种其上存储有指令的非暂时性计算机可读介质，
其中，所述指令在由处理器执行时使处理器执行方法，所述方法包括：
接收使用定位在第二校准目标后面以通过第二校准目标中限定的光圈观察第一校准目标的相机捕获的校准图像，
其中，第一校准目标包括：
第一反射镜；
多个基准，定位在第一反射镜上或邻近第一反射镜；以及
指引基准，定位在第一反射镜上或邻近第一反射镜，
其中，第二校准目标包括一个或更多个第二反射镜，并且
其中，第一校准目标和第二校准目标被定位为使得：
第一反射镜和所述一个或更多个第二反射镜分开一定距离；
第一反射镜面向所述一个或更多个第二反射镜；
指引基准通过第二校准目标中限定的光圈可见；以及
所述多个基准的反射通过第二校准目标中限定的光圈可见，其中，所述多个基准的反射是由所述一个或更多个第二反射镜的至少一个反射和第一反射镜的至少一个反射产生的迭代反射；以及
基于校准图像来表征相机的固有失真。
25.如权利要求24所述的非暂时性计算机可读介质，其中，第一校准目标和第二校准目标被定位为使得指引基准的反射通过第二校准目标中限定的光圈不可见。
CN202080029317.1A 2019-04-16 2020-04-02 可用于相机中失真表征的校准系统 Active CN113711588B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/385,761 2019-04-16
US16/385,761 US10623727B1 (en) 2019-04-16 2019-04-16 Calibration systems usable for distortion characterization in cameras
US16/809,869 2020-03-05
US16/809,869 US10965935B2 (en) 2019-04-16 2020-03-05 Calibration systems usable for distortion characterization in cameras
PCT/US2020/026322 WO2020214425A1 (en) 2019-04-16 2020-04-02 Calibration systems usable for distortion characterization in cameras

Publications (2)

Publication Number Publication Date
CN113711588A true CN113711588A (zh) 2021-11-26
CN113711588B CN113711588B (zh) 2022-11-01

Family

ID=70223644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029317.1A Active CN113711588B (zh) 2019-04-16 2020-04-02 可用于相机中失真表征的校准系统

Country Status (3)

Country Link
US (2) US10623727B1 (zh)
CN (1) CN113711588B (zh)
WO (1) WO2020214425A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942045B1 (en) * 2018-04-03 2021-03-09 Waymo Llc Portable sensor calibration target for autonomous vehicle
US11483479B1 (en) * 2021-09-24 2022-10-25 Amazon Technologies, Inc. Targeted image stabilization
CN117940834A (zh) * 2021-09-24 2024-04-26 苹果公司 主动照明系统
US20230128651A1 (en) * 2021-10-22 2023-04-27 Mobile Industrial Robots A/S Determining scanner error
US20240007614A1 (en) * 2022-06-30 2024-01-04 Apple Inc. In-Field Calibration Techniques for Cameras

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141063A1 (en) * 2002-11-29 2004-07-22 Kabushiki Kaisha Toshiba Method and apparatus for calibration of camera system, and method of manufacturing camera system
CN101144910A (zh) * 2006-09-13 2008-03-19 精工爱普生株式会社 校准装置以及校准方法
US20110000478A1 (en) * 2009-07-02 2011-01-06 Dan Reznik Camera-based heliostat tracking controller
US8152389B1 (en) * 2010-11-29 2012-04-10 Mike Lammens Camera support apparatus
CN102980660A (zh) * 2012-11-20 2013-03-20 北京华夏视科图像技术有限公司 光学系统和具有它的离线检测分析装置
US20130120678A1 (en) * 2011-11-14 2013-05-16 Planck Co., Ltd. Color regulating device for illumination and apparatus using the same, and method of regulating color
CN106767926A (zh) * 2016-12-30 2017-05-31 北京拉特激光精密仪器有限公司 一种投线仪的数字化校准系统及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU553447A1 (ru) * 1975-02-26 1977-04-05 Новосибирский институт инженеров геодезии, аэрофотосъемки и картографии Тест-объект дл фотограмметрической калибровки съемочных камер
US6437823B1 (en) 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
FR2810830B1 (fr) 2000-06-23 2002-09-27 Symah Vision Procede et dispositif de calibration de camera
US6795648B1 (en) * 2003-05-13 2004-09-21 Clifford Ross High resolution photographic system
JP4681856B2 (ja) 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
JP2008187564A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
TWI408486B (zh) 2008-12-30 2013-09-11 Ind Tech Res Inst 具動態校正的攝影機及其動態校正方法
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8261985B2 (en) 2009-04-07 2012-09-11 Avante Corporation Limited Manual recount process using digitally imaged ballots
US9244258B2 (en) * 2010-06-24 2016-01-26 Panasonic Corporation Omnidirectional imaging system
US8676050B2 (en) 2010-12-29 2014-03-18 Gary S. Shuster Autofocus calibration for long lenses
EP2742484B1 (en) 2011-07-25 2016-08-31 Universidade de Coimbra Method and apparatus for automatic camera calibration using one or more images of a checkerboard pattern
EP2587450B1 (en) 2011-10-27 2016-08-31 Nordson Corporation Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system
GB2506411B (en) 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions
US9641830B2 (en) 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
US9648300B2 (en) 2014-05-23 2017-05-09 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US9791865B2 (en) 2014-10-29 2017-10-17 Amazon Technologies, Inc. Multi-scale fiducials
JP6121063B1 (ja) 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ カメラ較正方法、デバイス及びシステム
US9948926B2 (en) 2015-05-08 2018-04-17 Electronics And Telecommunications Research Institute Method and apparatus for calibrating multiple cameras using mirrors
US10306218B2 (en) * 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US9589348B1 (en) 2016-05-31 2017-03-07 Oculus Vr, Llc Camera calibration system
JP2018163111A (ja) * 2017-03-27 2018-10-18 トヨタ自動車株式会社 ステレオカメラのキャリブレーション方法
US10432912B2 (en) 2017-09-29 2019-10-01 Waymo Llc Target, method, and system for camera calibration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141063A1 (en) * 2002-11-29 2004-07-22 Kabushiki Kaisha Toshiba Method and apparatus for calibration of camera system, and method of manufacturing camera system
CN101144910A (zh) * 2006-09-13 2008-03-19 精工爱普生株式会社 校准装置以及校准方法
US20110000478A1 (en) * 2009-07-02 2011-01-06 Dan Reznik Camera-based heliostat tracking controller
US8152389B1 (en) * 2010-11-29 2012-04-10 Mike Lammens Camera support apparatus
US20130120678A1 (en) * 2011-11-14 2013-05-16 Planck Co., Ltd. Color regulating device for illumination and apparatus using the same, and method of regulating color
CN102980660A (zh) * 2012-11-20 2013-03-20 北京华夏视科图像技术有限公司 光学系统和具有它的离线检测分析装置
CN106767926A (zh) * 2016-12-30 2017-05-31 北京拉特激光精密仪器有限公司 一种投线仪的数字化校准系统及方法

Also Published As

Publication number Publication date
US10965935B2 (en) 2021-03-30
CN113711588B (zh) 2022-11-01
WO2020214425A1 (en) 2020-10-22
US20200336733A1 (en) 2020-10-22
US10623727B1 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
CN113711588B (zh) 可用于相机中失真表征的校准系统
CN112219226B (zh) 多阶段相机校准
US10088296B2 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
CN100592029C (zh) 测距设备
US10841562B2 (en) Calibration plate and method for calibrating a 3D measurement device
KR102247409B1 (ko) 카메라 캘리브레이션을 위한 타겟, 방법, 및 시스템
WO2021098608A1 (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN101765755B (zh) 三维形状计测装置、三维形状计测方法
CN101821578B (zh) 非接触式测量装置和方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
US10412286B2 (en) Multicamera imaging system and method for measuring illumination
US20190327454A1 (en) Method for the generation of a correction model of a camera for the correction of an aberration
KR20170017586A (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
CN103180769B (zh) 显微镜、图像获取装置和图像获取系统
US9664507B2 (en) Depth value measurement using illumination by pixels
US8982101B2 (en) Optical touch system and optical touch-position detection method
EP4168986B1 (en) Projector for diffuse illumination and structured light
CN116250017A (zh) 用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质
CN115151945A (zh) 将三维相机的坐标系转成二维相机的入射点
Schillebeeckx et al. Pose hashing with microlens arrays
TW202217237A (zh) 捕捉顯示裝置中投影點圖樣之裝置及方法
WO2024026155A2 (en) Ultra-high spatial resolution structured light scanner and applications thereof
CN115660954A (zh) 一种基于结构光的点云数据拼接方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant