CN110869979A - 用于相机校准的方法、系统和计算机可读介质 - Google Patents

用于相机校准的方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN110869979A
CN110869979A CN201880045254.1A CN201880045254A CN110869979A CN 110869979 A CN110869979 A CN 110869979A CN 201880045254 A CN201880045254 A CN 201880045254A CN 110869979 A CN110869979 A CN 110869979A
Authority
CN
China
Prior art keywords
calibration
pattern
contour
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880045254.1A
Other languages
English (en)
Other versions
CN110869979B (zh
Inventor
Z·费吉韦尔
K·瓦尔塞吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
aiMotive Kft
Original Assignee
aiMotive Kft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by aiMotive Kft filed Critical aiMotive Kft
Publication of CN110869979A publication Critical patent/CN110869979A/zh
Application granted granted Critical
Publication of CN110869979B publication Critical patent/CN110869979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供了一种用于通过使用多图案校准台架来校准相机的方法、系统和计算机可读介质，每个图案(123)是重复的并且包括校准形状(124)，该方法包括以下步骤：‑利用相机捕捉多图案校准台架的图像(126)，‑分割经成像的校准形状(124)的轮廓，‑基于诸轮廓的形状的相似度及它们彼此之间的距离来构建相干轮廓的编组，以及‑基于轮廓编组标识图像(126)中的每个图案(123)的位置。

Description

用于相机校准的方法、系统和计算机可读介质
技术领域
本公开涉及一种用于通过使用多图案(multi-pattern)校准台架(rig)进行相机校准的方法、系统和计算机可读介质。应用相机校准的非限制性示例是车辆的相机校准，并且更具体地，是在组装期间校准自动驾驶车辆的相机。
背景技术
近年来，基于相机的应用已在诸如安全系统、交通监视、机器人技术、自动驾驶车辆等众多领域中日益普及。在运行基于机器视觉的应用时进行相机校准是不可避免的。相机校准是一种获得相机参数以(在数学上且准确地)确定如何将三维(3D)环境投影到相机的二维(2D)图像平面上而不受任何透镜失真影响的过程。相机参数可以是例如焦距、偏斜、失真等。通常，相机参数是通过从不同视图捕捉校准图案的多个图像来被确定的。然后在所捕捉的图像上检测校准图案中某些关键点的投影(诸如，棋盘格图案情形中的内部拐角)。接着，所投影的校准图案的关键点被常规相机校准算法用于校准相机。存在各种数学模型，例如，用于具有窄视场的相机的OpenCV针孔相机模型(OpenCV开发团队，2016年，相机校准和3D重建；可在以下找到http://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_recons truction.html)、用于折反射和鱼眼(fisheye)相机的OCam-Calib模型(Davide Scaramuzza，2006年，OCamCalib：Matlab全向相机校准工具箱；可在以下找到：https://sites.google.com/site/scarabotix/ocamcalib-toolbox)等等，这些数学模型使用不同种类的相机参数以供相机校准。
如上面提到的，最广泛使用的相机校准方法对从校准图案的多个视图获取的图像进行处理。然而，捕捉此类图像的序列可能花费过长时间，并且可能过于复杂而无法适用于量产工厂。相机校准算法通常需要一个校准图案的约10-30幅图像。在拍摄照片之后获取多幅图像并多次适当地重定位校准图案(或相机)是耗时的，并且需要相机操作员全神贯注。常规的图案检测算法采用拐角检测来在所捕捉的图像内定位校准对象。这些图案检测算法被设计成仅检测包含特定校准图案的单个格(board)。附加地，检测经常由于照明变化和在图像捕捉过程期间存在的噪声而失败。
通常被用于校准相机的校准图案的一个示例是棋盘格。棋盘格的拐角和边缘是两个最重要的特征。被用于检测棋盘格的拐角的典型方法包括Harris&Stephens拐角检测算法、最小单值段同化核(SUSAN)拐角检测算法、X拐角检测算法等。可以对边缘使用霍夫(Hough)变换来标识一组合适的线并定位棋盘格图案。用于定位棋盘格的另一种办法是基于针对棋盘格的特定大小计算棋盘格的图像中的内孔的计数。可以对输入图像应用形态学操作以检测轮廓，并且层次树是从这些轮廓来被构建。当具有预定数目的孔的轮廓被找到时，棋盘格被认为是被正确地标识。另一广泛使用的校准图案是椭圆，然而在该情形中不存在拐角和线。
以最少的人为干预操作的自动驾驶车辆可被用于运送人员和对象。通常，一些自动驾驶车辆需要来自操作员的初始输入，而一些其他的自动驾驶车辆设计则处于持续的操作员控制之下。一些自动驾驶车辆可以完全通过遥控来操作。常规的自动驾驶车辆配备有多个相机，以促成对自动驾驶车辆的操作的控制。因此，每个相机将被校准以确保自动驾驶车辆的可靠且安全的操作。
在US 6,768,509 B1中公开了一种用于确定相机校准对象(优选地，棋盘格图案)的图像上的感兴趣的点的方法。校准形状的轮廓为此被提取，然而，已知的方法不适用于利用多个校准图案进行校准。
在US 2016/0073101 A1中已经公开了多相机系统的校准。所公开的多目标相机校准通过使用捕捉多个目标的一个或多个图像的多个相机来达成。多格(multi-board)目标的图像也可以被捕捉。然而，一次捕捉仅一个棋盘格的图像。这些已知的技术包括通过按各个格相对于其他格的位置标识各个格来将多格目标的每个棋盘格缝合在一起。多格目标的每个棋盘格可以被个体地捕捉，并且随后在其他棋盘格被捕捉时被抑制。接着，棋盘格图像可以基于它们的相对位置来被缝合在一起以供校准。因而，已知的系统并不消除上面提到的个体图案处理的缺陷。
一旦多个校准图案在图像中被捕捉，并且这些图案在图像中的位置被确定，相机便可以借助于已知技术(例如，借助于以下所公开的那些技术)来被校准：
-Zhengyou Zhang(2009)；一种用于相机校准的灵活的新技术；针对模式分析与机器智能的IEEE交易汇刊，22(11)，第1330-1334页；
-Jean-Yves Bouguet(2015)；Matlab相机校准工具箱；可在以下找到：http://www.vision.caltech.edu/bouguetj/calib doc/；
-Scaramuzza,D.,Martinelli,A.和Siegwart,R.(2006)；用于轻松校准全向相机的工具箱；IEEE国际智能机器人与系统会议(IROS 2006)论文集。
然而，现有技术缺乏通过允许对所捕捉的图像中的多个图案进行快速且可靠的位置确定来提高相机校准的速度的技术，特别是对在大批量制造中的组装期间的自动驾驶车辆而言。现有技术还缺乏在相机校准期间提高对噪声和照明变化的稳健性的技术。
发明内容
本发明的目的是解决和改善上面提到的现有技术中的缺陷。
本发明的目的是通过使用多图案校准台架来校准至少一个相机－尤其是用于自动驾驶车辆的相机。
提供了包括多个图案化的面板的校准目标。校准目标是保持图案化的面板的多面板(更确切地说是多图案)校准台架。多图案校准台架包括支撑结构，该支撑结构保持至少两个图案化的面板。图案化的面板设置有校准形状的任何种类的重复校准图案。在此上下文中，重复意指图案包括以规则间距布置的等同形状。例如，具有棋盘格图案的图案化的面板可以具有黑色或白色方形，具有圆形网格的图案化的面板可以具有黑色或白色圆圈，等等。安装在自动驾驶车辆中的相机捕捉多图案校准台架的图像。因此，包括等同和/或不同重复校准图案的多个图案化的面板在单个输入图像中被捕捉。在一示例中，校准台架可以被定位在距自动驾驶车辆例如约10米的距离处。
由相机捕捉的输入图像优选地被预处理以从输入图像的背景分割校准形状的图像。例如，自适应阈值化技术可被用于通过移除照明中的变化来分割校准形状。
校准形状被分割并且优选地也被过滤以提取经成像的校准形状的轮廓。不满足基于轮廓的属性的先验要求的失真的轮廓被过滤出去。此外，可以基于轮廓的形状、轮廓的大小等来过滤轮廓。例如，任何形状的轮廓都可以被过滤成小或大的轮廓；成圆形的轮廓可以被过滤成细长的、部分圆形的、或非圆形的轮廓，等等。
接下来，基于诸轮廓的形状和相对距离来从诸轮廓构建编组(“相干轮廓”)。这些编组是基于对重复图案的先验知识而形成的。优选地，所形成的编组的一组边界被输出以供标识输入图像中的每个图案的位置(换言之：定位)，并进而标识图案化的面板。因此，多图案校准台架的图像中的每个图案的位置对应于且被标识为相应轮廓编组的位置。
对于优选的应用，要校准的一个或多个相机是自动驾驶车辆的那些相机，所述自动驾驶车辆基本上是汽车、卡车、任何两轮或四轮车辆，被配置成用于交通控制的四轴飞行器或无人机等。自动驾驶车辆主要在有或没有驾驶员的情况下运输人员和物体。即，自驱(self driving)汽车应被理解为自动驾驶车辆。在此上下文中，在某些境况下也是自驱的但在其他境况下由人类驾驶员驾驶的汽车也应被理解为自动驾驶车辆。
自动驾驶车辆还可以根据本发明来控制交通拥堵、确保行人安全、检测自动驾驶车辆的导航路径中的坑洼、就不正确的车道偏离向驾驶员发出警报，以及对驾驶员执行帮助他安全且高效地驾驶的许多辅助功能。
因而，根据第一方面，提供了一种用于通过使用多图案校准台架来校准相机的方法，每个图案是重复的并且包括校准形状，该方法包括以下步骤：
-利用相机捕捉多图案校准台架的图像，
-分割经成像的校准形状的轮廓，
-基于诸轮廓的形状的相似度及它们彼此之间的距离来构建相干轮廓的编组，以及
-基于轮廓编组标识图像中的每个图案的位置。
优选地，确定诸形状的相似度包括通过以下确定其各自面积的相似度：
-计算诸轮廓的面积，
-将一个轮廓的面积与另一轮廓的面积进行比较，以及
-如果诸面积中的较小的一者大于另一面积的预定分数，则确定诸面积是类似的－换言之，两个面积之间的相对差异低于预定的限制。
当然，对于给定的应用，可以以任何合适的方式来定义诸面积之间的相对差异的限制；施加关于诸面积之间的相对差异的预定限制的此类方式应在上面最后一个特征的含义内进行理解。这是一种用于对轮廓进行编组的新颖办法，根据我们的经验，该办法相比现有技术的办法具有更高的效率和稳健性。
优选地，如果至少以下条件被满足，则各自具有相应面积和带有相应半径的封闭圆的任何两个轮廓属于相同的编组：
-两个面积中较小的一个面积大于另一面积的50％，
-两个半径中较小的一个半径大于另一半径的50％，以及
-诸轮廓的最接近的点的距离小于两个半径中较大的一个半径的150％。我们的实验表明，这样的一组条件足以且适当地对相干轮廓进行编组。可以想到的是，取决于环境(例如，照明、失真、所使用的图案的类型)，甚至更窄的条件也可以适合于达成该目的，并且此类更严格的条件在上述范围(range)内且由此在本发明的范围(scope)内。当然，在如果两个所比较的面积或两个所比较的半径具有等同的大小的情形中，上述各个条件也被满足，即，在相等大小的情形中，这两者中的任一个都可被视为“较小”或“较大”的一个。此外，上述特征中的相对差异也可以以其他合适的方式来定义，并且可以具有任何合适的预定限制；如果关于面积和/或半径和/或距离的相对差异是用于编组的预定准则，则技术方案在本发明的范围内。
根据第二方面，提供了一种相机校准系统，其包括至少一个相机和多图案校准台架，每个图案是重复的并且包括校准形状，其中该系统还包括连接至该至少一个相机且被适配成用于执行上述方法的步骤的计算机设备。该计算机设备可以是任何可以想到的类型，并且其可以被集成到相机中，或者可以是分开的单元或分布在网络上，等等。
根据第三方面，提供了一种用于利用多图案校准台架来校准相机的非瞬态计算机可读介质，每个图案是重复的并且包括校准形状，该介质包括存储在其上的指令，该指令当在处理器上被执行时，执行上述方法的步骤。
本发明具有相当多的优点。本发明仅需要由相机在单个图像中捕捉单个校准目标。既没有对校准目标的精确的预定义定位的要求，也不需要用于移动正被校准的相机的旋转机械。因此，相机校准系统不太容易出现定位偏差，因为该方法不需要重定位或旋转校准目标或相机。此外，本发明不需要校准目标的校准图案的相对位置和取向的确切知识。图像中所捕捉的每个校准图案独立于其各自的位置和取向来被检测和处理。相机校准系统在将多个校准图案包括在相机的单个视场中的方面上具有较大的灵活性，而无需使用多个校准目标。因此，本发明有助于例如汽车制造商减少生产时间并使生产错误最小化。
本发明的优选实施例被认为是在汽车组装厂的传送带系统上对自动驾驶汽车进行组装。自动驾驶汽车包括安装在多个位置处(例如安装在车头灯或尾灯附近、安装在门把手附近、安装在自动驾驶汽车的车顶上等等)的相机。两个多图案校准台架可以被定位成距离自动驾驶汽车约10米远。一个多图案校准台架被定位成面向自动驾驶汽车的前侧，而另一多图案校准台架被定位成面向自动驾驶汽车的后侧。在自动驾驶汽车正在传送带系统上被组装的情况下，相机捕捉多图案校准台架的图像。优选地，图像被预处理以从图像中的背景(或图像的其他部分)(例如，与多图案校准台架的图案化的面板无关的部分)分割校准形状。校准形状的轮廓被分割并被过滤，并且相干轮廓基于它们的形状和/或位置来被编组在一起。每个图案的位置以及进而相应面板的位置基于诸轮廓编组来被标识，由此校准自动驾驶汽车的每个相机。本发明使得可以在组装阶段期间时间上高效地校准自动驾驶汽车的相机，由此使其适于被采用以供大批量生产。
在从属权利要求中描述和定义了进一步的优选实施例。
附图简述
图1A将根据本发明的用于校准自动驾驶车辆的至少一个相机的方法的实施例11演示为流程图。
图1B将计算机程序产品的示出了经成像的图案化的面板的用户界面的实施例12演示为屏幕截图示图。
图1C演示了与示出本发明的功能的实验有关的、由待校准的相机捕捉的输入图像的预处理阶段的图形表示的实施例13。
图1D演示了与示出本发明的功能的实验有关的、具有桥像素(bridge pixel)的图形表示的实施例14。
图1E将根据本发明的计算机程序产品的示出了包括多个图案化的面板的多图案校准台架的用户界面的实施例15演示为屏幕截图示图。
图1F将根据本发明的计算机程序产品的示出了图案化的面板的经过滤的轮廓的用户界面的实施例16演示为屏幕截图示图。
图1G将根据本发明的计算机程序产品的示出了轮廓编组的用户界面的实施例17演示为屏幕截图示图。
图1H将根据本发明的计算机程序产品的示出了多图案校准台架上的每个图案化的面板的所标识出的位置的用户界面的实施例18演示为屏幕截图示图。
图2A将根据本发明的相机校准系统的实施例20演示为框图。
图2B演示了根据本发明的相机校准系统的实施例21的示意图。
图3将根据本发明的计算机程序产品的示出了自动驾驶车辆的相机的校准的用户界面的实施例30演示为屏幕截图示图。
图4A-4B将根据本发明的用于利用多图案校准台架来校准自动驾驶车辆的相机的更精细的方法的实施例40演示为流程图。
图5演示了根据本发明的更精细的相机校准系统的另一实施例50，其中不同的相机校准阶段被显示在自动驾驶车辆的仪表板上。
图6将根据本发明的计算机程序产品的示出了自动驾驶车辆的多个相机的校准的用户界面的实施例60演示为屏幕截图示图。
图7A演示了根据本发明的包括多个图案化的面板的多图案校准台架的实施例71。
图7B将根据本发明的计算机程序产品的示出了包括图案化的面板的多图案校准台架的用户界面的实施例72演示为屏幕截图示图。
图8A演示了根据本发明的多图案校准台架的支撑结构的实施例81。
图8B演示了根据本发明的支撑结构的球形接头(ball-joint)安装架的实施例82。
图8C演示了根据本发明的保持图案化的面板的支撑结构的球形接头安装架的实施例83。
图9A-9C演示了根据本发明的校准图案91-93的不同实施例。
实施例的详细描述
本公开提供了一种相机校准方法、系统和非瞬态计算机可读介质上的用于校准相机的计算机程序产品。在下文中，作为非限制性示例，描述了对自动驾驶车辆的至少一个相机进行校准。相机校准包括多图案校准台架和安装在自动驾驶车辆中的一个或多个相机。多图案校准台架包括被用于校准自动驾驶车辆的相机的多个图案化的面板。在一示例实现中，当在汽车装配厂的传送带系统上组装自动驾驶车辆的情况下对相机进行校准。待校准的相机捕捉保持图案化的面板的多图案校准台架的图像。优选地，图像被预处理以从图像的背景(或其他部分)分割校准形状。经成像的校准形状的轮廓被分割。优选地，轮廓还基于预定的过滤准则来被过滤。基于诸轮廓的形状和它们彼此之间的距离来对诸轮廓进行编组。多图案校准台架上的每个图案(以及进而每个图案化的面板)的位置基于轮廓编组来被标识。根据本文中所描述的本发明的原理，实现了适合于工厂应用的时间上高效且稳健的相机校准过程。
图1A将根据本发明的用于校准自动驾驶车辆的至少一个相机的方法的实施例11演示为流程图。该方法可以在例如与图2A、图2B或图5中的实施例20、21或50相等同或类似的系统中被实现，如说明书的其他部分所讨论的。该方法的最终用户可以使用与分别根据图1E、1F、1G、1H、3、6和7B中的实施例15、16、17、18、30、60和72所公开的用户界面相等同或类似的用户界面。
本发明的用于校准自动驾驶车辆的相机的方法包括包含多个图案化的面板的多图案校准台架。在一示例中，多图案校准台架包括至少两个图案化的面板。图案化的面板设置有包括校准形状的校准图案。校准图案是良好定义的重复图案。校准形状可以指代类似地成形且几何上良好对准的对象的并集。校准形状可以是例如方形、圆形、椭圆形等。在一示例中，校准图案可以是包括黑色方形或白色方形作为校准形状的棋盘格图案。在另一示例中，校准图案可以是包括由特定形状、大小或颜色的圆构成的校准形状的圆形网格。
在步骤110中，相机捕捉多图案校准台架的图像。所捕捉的图像被用作用于执行相机校准的输入图像。相机可以是例如针孔相机、数字相机、摄像机、远程相机、口红(lipstick)相机、具有CMOS传感器的相机、具有CCD传感器的相机、近程相机、远程相机、和/或鱼眼相机，等等。在一实施例中，相机可以例如被定位在自动驾驶车辆的前表面、后表面、顶表面和/或底表面上，以用于捕捉多图案校准台架的图像。例如，相机可被定位成在车头灯或尾灯附近、在面向车辆移动方向的仪表板上、在自动驾驶车辆的车顶或引擎盖(hood)上、在面向自动驾驶车辆的驾驶员的仪表板上、在驾驶员座椅上、在后视镜附近、在自动驾驶车辆的一扇门或每扇门处，等等。
在一实施例中，在自动驾驶车辆中的多个位置处可安装有多个相机，以供同时捕捉多个多图案校准台架的图像并同时校准所有相机。在一示例实现中，在被用于组装自动驾驶车辆的传送带系统中的不同位置处可放置多个多图案校准台架。例如，多图案校准台架可以被定位成距离包括相机的自动驾驶车辆约10米远。
在可任选的步骤111中，输入图像优选地被预处理以从输入图像的背景(或剩余部分)分割经成像的校准形状，例如方形、圆形等。如果成像已经涵盖经成像的校准形状的自动分割，则这样的预处理不是必需的。输入图像中的校准形状被标识，由此促成了从输入图像的背景(或其他部分)分割校准形状。在一实施例中，基于校准形状的形状和/或对准的先验知识来聚类校准形状。被保持在多图案校准台架中的每个图案化的面板的校准图案具有背景和前景。背景延伸以在前景周围形成边界。前景由校准形状组成，这些校准形状是具有预定义的几何形状和彼此之间的预定义的相对位置的类似地成形的对象。例如，如果校准图案包括方形校准形状，则前景由方形形状形成，并且背景由图像中的在方形形状周围形成边界的其他组件形成。从背景(或从图像的其他剩余部分)对经成像的校准形状的分割优选地包括生成二进制图像，其中用一个二进制值(例如，黑色)表示背景(或图像的其他剩余部分)，而用另一个二进制值(例如，白色)表示经成像的校准形状。
在步骤112中，对经成像的校准形状的轮廓的分割以及可任选地还有对其的过滤被执行。一旦包括校准形状的前景被从背景分割，则轮廓的属性被优选地测量。轮廓的属性基于例如面积、与另一轮廓的距离、所估计的校准形状的封闭半径等来被测量。轮廓属性基于对校准形状的先验知识来定义轮廓的特性和特征。轮廓属性可以是例如轮廓面积、凸包轮廓边界、轮廓形状等。所测量的轮廓属性被用于对轮廓进行过滤。例如，如果轮廓被测量为与轮廓形状的先验知识相比过于圆，则轮廓被认为失真并且被从轮廓集中过滤出去。
在步骤113中，基于每个轮廓的形状和位置(即，相对距离)来从相干轮廓构建诸编组。基于对放置在多图案校准台架上的每个图案化的面板的校准图案的先验知识来将相干轮廓编组在一起。例如，如果两个轮廓在形状和/或大小上类似并且诸轮廓之间的相对位置或距离表明这两个轮廓被紧密放置，则这两个轮廓属于一个轮廓编组。
在一示例实现中，最近邻聚类算法可被用于对相干轮廓进行编组。预定义数目的经成像的校准形状基于对经成像的校准图案的先验知识而被用来构建校准图案。当使用最近邻聚类算法标识出具有预定义数目(或带有预定义数目的10％的容限)的校准形状的轮廓编组时，该编组被确定为有效编组，即校准目标。轮廓编组的外接多边形通过采用编组的凸包来被计算。作为结果，呈外接多边形的形状的凸包围绕每组相干轮廓，以表示输入图像中的不同校准目标。
在步骤114中，图像中的每个图案的位置(以及进而每个图案化的面板的位置)基于轮廓编组来被标识，多图案校准台架上的图案/面板的位置可藉由这些轮廓编组来被计算。围绕每组轮廓编组的凸包表示由放置在多图案校准台架上的图案化的面板形成的经成像的校准目标。一旦多图案校准台架上的每个图案(或图案化的面板)的位置在输入图像中被正确地标识，则所有必要的信息被呈现以便根据任何已知的校准方法来对相机进行校准。
实施例11的任何特征可根据本发明而容易地与其他实施例12、13、14、15、16、17、18、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图1B将计算机程序产品的示出了图案化的面板122的用户界面121的实施例12演示为屏幕截图示图。在所描绘的解释性实现中，由棋盘格校准图案123构成的一个图案化的面板122被用于校准自动驾驶车辆的相机。校准图案123包括校准形状124，例如白板125上的黑色方形。自动驾驶车辆的待校准的相机捕捉图案化的面板122的图像126。用户界面121中示出的所捕捉的图像126被用作用于校准相机的输入图像126。如图1B所示，由相机捕捉的图像126具有鱼眼失真，该鱼眼失真创建宽广的全景或半球形图像。校准图案123的图像126可能由于例如透视效应、图案化的面板122的位置和/或锐角、鱼眼相机的透镜等而被扭曲。在该示例中，输入图像126的背景127包含白板125以及围绕白板125的环境。图像126的前景128由白板125上类似大小的经成像的校准形状124(即，黑色方形)形成。虽然校准形状124由于鱼眼失真而显得扭曲，但是包含校准图案123的前景128被相机正确地捕捉，因为每个相邻的校准形状124在形状和大小上是类似的。
实施例12的任何特征可根据本发明而容易地与其他实施例11、13、14、15、16、17、18、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图1C演示了与示出本发明的功能的实验有关的输入图像126的预处理阶段的图形表示的实施例13。图像131是图1B所示的图案化的面板122的一部分的放大视图。在一实施例中，形态学腐蚀和膨胀操作被执行以分离彼此接触的校准形状124之间的小的连接。图像132示出了通过使用形态学膨胀而被预处理的图案化的面板122的一部分。形态学腐蚀和膨胀操作确保了从校准形状124生成的轮廓不被损坏。在一实施例中，以预定义的窗口大小来执行形态学操作。例如，小内核可能并不使相邻校准形状124之间的所有连接断裂，而大内核可能破坏输入图像126中的小的校准形状124。
在一实施例中，自适应阈值化在输入图像126的形态学增强之后被执行。图像133示出了通过使用自适应阈值化而被预处理的图案化的面板122的一部分。在一示例中，高斯加权平均算法被用于执行自适应阈值化，以消除存在于输入图像126中的照明变化的影响。在一实施例中，用于自适应阈值化的窗口大小被预先确定。窗口大小优选地根据单个校准形状124的最大尺寸来被设置，以避免在校准形状124中出现假孔(false hole)。
在一实施例中，另一组形态学或图像处理操作被应用于输入图像126，以移除杂散(spur)和/或桥像素。形态学操作被执行以使诸校准形状124之间的任何剩余连接断裂。图像134示出了在移除存在于输入图像126中的任何桥像素之后的图案化的面板122的一部分。在一示例中，如果像素具有仅一个邻居，则该像素被认为是杂散的。在一示例中，当像素周围存在置位和未置位相邻像素的至少四个过渡时，该像素被认为是桥像素。
实施例13的任何特征可根据本发明而容易地与其他实施例11、12、14、15、16、17、18、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图1D演示了与示出本发明的功能的实验有关的具有存在于输入图像126中的桥像素142的图形表示的实施例14。如图1D所示，可以通过改变半径来定义桥像素142。在一个示例中，考虑图1D所示的回路143。从像素144沿顺时针方向移动，在像素144周围存在置位和未置位相邻像素的4个过渡。在另一示例中，考虑图1D所示的另一回路145。从像素146沿顺时针方向移动，在像素146周围再次存在置位和未置位相邻像素的4个过渡。因而，根据这两个回路，像素142是桥像素，其因而可被检测并被删除以使经成像的校准形状之间的任何剩余连接断裂。
实施例14的任何特征可根据本发明而容易地与其他实施例11、12、13、15、16、17、18、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图1E演示了根据本发明的计算机程序产品的示出了保持多个图案化的面板153的多图案校准台架152的用户界面151的实施例15。在一示例实现中，被定位在自动驾驶车辆的引擎盖上的相机捕捉被定位成距离自动驾驶车辆约15米远的多图案校准台架152的输入图像154。在所示的示例中，多图案校准台架152包括棋盘格校准图案155的13个图案化的面板，棋盘格校准图案155包括作为白板背景157上的校准形状156的黑色方形。底部左侧还有另一个棋盘状图案，然而其因为是非完整的目标图案而被该方法忽略。
实施例15的任何特征可根据本发明而容易地与其他实施例11、12、13、14、16、17、18、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图1F将根据本发明的计算机程序产品的示出了图案化的面板153的各组经过滤的轮廓162的用户界面161的实施例16演示为屏幕截图示图。尽管在捕捉输入图像154时在亮度属性中有改变，但每个校准形状156仍被过滤成相应的轮廓162。与图1E中所演示的输入图像154相对应地示出了与每个图案化的面板153相对应地生成的轮廓162。
实施例16的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、17、18、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图1G将根据本发明的计算机程序产品的示出了轮廓编组172的用户界面171的实施例17演示为屏幕截图示图。在一实施例中，最近邻聚类算法被采用以构建轮廓编组172。在一实施例中，轮廓162基于例如校准图案155的几何属性、先验知识等来被编组。轮廓编组172由包括预定数目的类似轮廓162的编组形成－底部左侧的棋盘状图案也被过滤出去。在一实施例中，对诸轮廓162之间的相似度的测量基于例如校准形状156的面积、距离、所估计的封闭半径等。
实施例17的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、18、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图1H将根据本发明的计算机程序产品的示出了多图案校准台架152上的每个图案化的面板153的所标识出的位置182的用户界面181的实施例18演示为屏幕截图示图。在轮廓编组172被确定之后，每个图案的位置182(以及进而每个图案化的面板153的位置)通过轮廓编组172的凸包183的位置来被定义。每个图案化的面板153的位置182由凸包183来表示，该凸包183呈围绕每个图案化的面板153的校准图案155的边界的形状。如图1H所示，图案化的面板153的每一者被标识，而不管由噪声和/或照明条件的改变引起的任何变化。
实施例18的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、20、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图2A将根据本发明的相机校准系统200的实施例20演示为框图。相机校准系统200包括具有多个图案化的面板153的多图案校准台架152以及安装在自动驾驶车辆中的相机210。在一实施例中，虽然自动驾驶车辆可以包括被定位在自动驾驶车辆中的不同位置处的多个相机，但是为了简洁起见，在图2A中仅示出了一个相机210。所描绘的相机210具有图像捕捉单元220，并且被连接到计算机设备，该计算机设备具有预处理单元230、分割和过滤单元240、编组单元250和标识单元260。当然，计算机设备或其特定单元也可以被实现为软件或者被实现为硬件/软件产品，并且那些也可以以分布式的方式被实现，例如被实现在云上或网络上。
图像捕捉单元220被配置成捕捉包括图案化的面板153的多图案校准台架152的图像。所捕捉的图像被用作用于执行相机210的校准的输入图像154。每个图案化的面板153具有可被用来校准自动驾驶车辆的相机210的校准图案155，诸如棋盘格图案。包括校准形状156(例如，黑色或白色方形)的校准图案155形成输入图像154的前景。输入图像154中的剩余对象形成背景。预处理单元230对图像进行预处理，以从背景分割经成像的校准形状156。
分割和过滤单元240分割并过滤经成像的校准形状156的轮廓162。在一示例中，与不同的校准形状156相关联的轮廓162可以由面积、边界等来定义。编组单元250基于诸相干轮廓162的形状和/或相对距离来从诸相干轮廓162构建各编组。在一示例中，编组单元250可将最近邻聚类算法用于构建轮廓编组172。标识单元260基于轮廓编组172来标识图像中的图案的位置182(以及进而标识存在于多图案校准台架152上的图案化的面板153的位置)。每个轮廓编组172利用凸包来被表示，该凸包被用来标识图像中的每个图案的位置182。
虽然本文中的描述是参照包括用于执行相机210的校准的单元220、230、240、250和260的相机校准系统200而提供的，但是应当理解，在另一实施例中，相机校准系统200可以由与单元220、230、240、250和260协作的处理单元(未示出)或者由用于执行相机210的校准的独立(stand-alone)处理单元(未示出)来实现。
实施例20的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、21、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图2B演示了根据本发明的相机校准系统200的实施例21。相机校准系统200包括自动驾驶车辆290，其包括多个相机211、212、213和214以及多个多图案校准台架152-1、152-2、152-3和152-4。在一示例实现中，自动驾驶车辆290在汽车组装厂的传送带系统292上被组装。
在一些实施例中，相机校准系统200包括云服务器网络(未示出)，该云服务器网络通过通信网络(未示出)通信地耦合至自动驾驶车辆290。云服务器网络(其可以包括输入-输出设备)通常包括监视器(显示器)、键盘、鼠标和/或触摸屏。然而，通常，一次使用不止一台计算机服务器，因此一些计算机可能仅包含计算机本身而没有屏幕和键盘。这些类型的计算机通常被贮存在服务器农场中，这些服务器农场被用来实现由本发明的相机校准系统200使用的云网络。可以从已知供应商(诸如Microsoft(微软)、Amazon(亚马逊)和HP(惠普))购买云服务器网络作为单独的解决方案。云服务器网络通常运行Unix、Microsoft、iOS、Linux或任何其他已知的操作系统，并且通常包括微处理器、存储器和数据存储装置，诸如SSD闪存或硬盘驱动器。为了改善云架构的响应性，数据优先地被全部或部分地储存在SSD(即，闪存存储)上。该组件是从现有的云提供商(诸如Microsoft或Amazon)中选择/配置的，或者现有的云网络运营商(诸如Microsoft或Amazon)被配置成将所有数据储存到基于Flash的云存储运营商(诸如Pure Storage(Pure存储)、EMC、Nimble storage(Nimble存储)等等)。尽管闪存成本较高，但出于降低了的等待时间的原因优选使用闪存作为云服务器网络的骨干存储，该降低了的等待时间是操作用于使用多图案校准台架152-1、152-2、152-3和152-4来校准自动驾驶车辆290的相机211、212、213和214的相机校准系统200所需要的和/或优选的。
自动驾驶车辆290本质上是无人驾驶汽车。在其他示例中，自动驾驶车辆290可以是卡车、任何两轮或四轮车辆、四轴飞行器或无人机，等等。自动驾驶车辆290可被用于运输交通中的人员和物体。根据本发明，自动驾驶车辆290还可以帮助驾驶员调整驾驶以适应交通拥堵、确保行人安全、检测自动驾驶车辆290的导航路径中的坑洼、就车道偏离向驾驶员发出警报，等等。
相机211、212、213和214例如在自动驾驶车辆290的引擎盖上被定位成面向自动驾驶车辆290的移动方向，以及在自动驾驶车辆290的引擎盖上被定位成面向与自动驾驶车辆290的移动方向相反的方向。每个多图案校准台架152-1、152-2、152-3和152-4分别被定位在自动驾驶车辆290的相机211、212、213和214的前方，使得多图案校准台架152-1、152-2、152-3和152-4面向相应相机211、212、213和214并且多图案校准台架152-1、152-2、152-3和152-4的图案化的面板153-1、153-2、153-3和153-4覆盖相应相机的视场211、212、213和214。
实施例21的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、30、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图3将根据本发明的相机校准计算机程序产品的示出了自动驾驶车辆290的相机210的校准的用户界面300的实施例30演示为屏幕截图示图。存储在非瞬态计算机可读介质中的相机校准计算机程序产品被配置成利用包括校准形状156的重复图案的多图案校准台架152来校准相机210。在一示例中，用户界面300被显示在定位在自动驾驶车辆290的仪表板上的显示屏上。实施例30的用户界面300涉及与分别在实施例20、21和50的图2A、图2B和图5中所描述的相等同或类似的系统200。
该计算机程序产品被储存在自动驾驶车辆290上的或网络主机(未示出)上的非瞬态存储介质上，或者分布在这两者之间，以使得计算机程序产品的某些部分驻留在自动驾驶车辆290上并且某些部分驻留在网络主机上。在本发明中被用于在自动驾驶车辆290与网络主机之间的通信的网络是无线互联网或电话网络，其通常是蜂窝网络，诸如UMTS(通用移动电信系统)、GSM(全球移动电信系统)、GPRS(通用分组无线电服务)、CDMA(码分多址)、3G、4G、Wi-Fi和/或WCDMA(宽带码分多址)网络。计算机程序产品包括被配置成校准自动驾驶车辆290的相机210的相机软件。在一个示例性实施例中，被定位在自动驾驶车辆290的仪表板上的计算设备被配置成具有安装的应用，该应用允许用户查看相机210的校准所涉及到的不同阶段。应用用户界面可以是前面提到的用户界面300。
相机210的校准中所涉及到的不同阶段302、304、306和308在图3中示出。在阶段302中，由相机210捕捉的输入图像154在用户界面151中被示出。输入图像154是多图案校准台架152的图像，该多图案校准台架152保持包括校准图案155的图案化的面板153。在阶段304中，输入图像154被预处理以从输入图像154的背景分割经成像的校准形状156。校准形状156由白色棋盘格图案化面板153上的黑色方形形成。在阶段304中，经成像的校准形状156的轮廓162被分割和过滤。在阶段306中，基于每个轮廓162的形状和位置来从诸相干轮廓162构建编组172。在阶段308中，每个图案的位置182基于轮廓编组172来被标识。在一实施例中，每个图案的位置182由围绕轮廓编组172的凸包183来标识。
实施例30的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、40、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图4A-4B将根据本发明的用于利用多图案校准台架152来校准自动驾驶车辆290的相机210的更精细的方法的实施例40演示为流程图。该方法可以在例如与图2A、图2B或图5中的实施例20、21或50相等同或类似的系统中被实现，如说明书的其他部分所讨论的。该方法的最终用户可以使用与分别根据图1E、1F、1G、1H、3、6和7B中的实施例15、16、17、18、30、60和72所公开的用户界面相等同或类似的用户界面。
在步骤402中，输入图像154被自动驾驶车辆290的相机210捕捉。输入图像154包含被放置在多图案校准台架152上的每个图案化的面板153的图像。在步骤404中，多图案校准台架152被使用，该多图案校准台架152包括保持至少两个校准图案化面板153的支撑结构。在示例406中，图案化的面板153的校准图案155可以是例如棋盘格图案、圆形网格等。在一示例中，输入图像154是包括黑色和白色方形以及一些噪声量的棋盘格图案的灰度或二进制图像。
在步骤408中，输入图像154被预处理。在步骤412中，包括经成像的校准形状156的输入图像154被输入。在步骤414中，形态学运算符被用来减小每个校准形状156的大小。校准形状156的大小的减小促成了在相邻校准形状156之间的连接的断裂。在步骤416中，阈值化操作(诸如自适应阈值化)被执行以移除输入图像154中存在的照明中的变化。经成像的校准形状156通过阈值化操作被进一步分割。在步骤418中，另一组进一步的形态学或图像处理操作被应用于输入图像154，以移除在各个经成像的校准形状156之间的任何剩余连接。通过应用上面提到的形态学运算和阈值化运算，每个经成像的校准形状156在输入图像154中被检测为单独的形状。在该示例中，校准形状156被检测为图案化的面板153上的白色方形。
如图4B所示，在步骤420中，经预处理的图像被分割并被过滤以生成轮廓162。在步骤422中，包括经分割的校准形状156的输入图像154被使用。在步骤424中，校准形状156的轮廓162被提取。在步骤426中，轮廓162的属性被测量。在步骤428中，基于轮廓属性和/或校准形状156的先验知识来过滤诸轮廓。在一示例中，校准形状噪声的存在生成错误和/或失真的轮廓。诸轮廓被过滤以移除与轮廓属性和/或校准形状156的先验知识不匹配的错误和/或失真的轮廓。包括在输入图像154上找到的一组轮廓162的图像基于对经预处理的图像的分割和过滤而被生成。
在步骤432中，轮廓编组172是从各组相干轮廓162和/或对应的校准图案155的先验知识来构建的。在步骤434中，经过滤的轮廓列表被用于构建轮廓编组172。在一示例中，即使图像中存在高的失真，相邻轮廓162也被认为是类似的。在一示例中，最近邻聚类算法可被用于构建轮廓编组172。在步骤436中，诸轮廓162被比较，并且诸轮廓162之间的相似度被测量。
在步骤438中，相干轮廓162基于例如校准图案155的先验知识、轮廓属性等来被编组。在一示例中，校准图案155的先验知识可包括校准形状156的几何形状、定义校准形状156如何相对于彼此定位以形成最终校准图案155的几何布局、具有类似几何形状而不去管由相机的透镜引起的任何失真的相邻校准形状156的先验知识、构建校准图案155的校准形状156的计数，等等。在一示例中，轮廓属性可以包括轮廓162的面积、轮廓边界(诸如凸包183)等。轮廓属性被用来比较和测量多个轮廓构件162之间的相似度。在一实施例中，具有预定相似度测量的轮廓162被编组在一起。在一实施例中，在考虑到缺失的校准形状156、由于噪声而引起的附加轮廓162等的情况下来确定编组172中的轮廓162的计数。
考虑构建轮廓编组172的示例。诸轮廓162在对经成像的校准形状156之间的连接进行分离之后被处理和过滤。“c”轮廓162的周长是“P(c)”，并且其面积是“A(c)”。轮廓162的形状参数被定义为：
Figure BDA0002356738450000211
即，通过将轮廓的周长的平方除以轮廓的面积来获得形状参数。
在一示例中，比率R(c)是尺度不变的测量。R(c)的值在成方形(square)的校准形状156的情形中是16，而在圆形(circle)校准形状的情形中则是4π，如下面所公开的：
Figure BDA0002356738450000212
Figure BDA0002356738450000213
所生成的轮廓162被预先过滤以移除失真的或不合适的轮廓162。在一示例中，当R(c)的值在约2.5到25的范围内时，轮廓162被认为在过滤期间是有效的。在该示例中，较宽范围的R(c)被使用，因为在小轮廓162的情形中，R(c)的值可能归因于例如锐角、透视效应等而更加失真。在另一示例(其也可以与上述示例相结合)中，如果作为形状参数的A(c)的值小于输入图像154的2％并且大于10个像素，则轮廓162被认为是有效的。因而，仅当轮廓的形状参数在预定范围内时，该轮廓才被接受为有效轮廓。
此外，在两个轮廓162之间的距离被定义为它们的最接近的点的距离。轮廓c 162的封闭半径r通过下面给出的等式来计算：
Figure BDA0002356738450000221
校准形状的面积和半径的相似度s通过下面给出的等式来计算：
Figure BDA0002356738450000222
两个轮廓162ci和cj被视为属于相同的编组，如果：
s(A(ci),A(cj))>0.5
s(r(ci),r(cj))>0.5
dist(ci,cj)<1.5·max(r(ci),r(cj))
即，如果
-两个面积中较小的一个面积大于另一面积的50％；
-两个半径中较小的一个半径大于另一半径的50％；以及
-诸轮廓的最接近的点的距离小于两个半径中较大的一个半径的150％。
在该示例中，两个轮廓162的校准形状的面积和半径的相似度s独立于校准形状的尺度，而两个轮廓162的距离则取决于校准图案155的属性。然而，我们的实验表明，上述距离准则适用于所有实际可应用的重复校准图案，例如适用于图9A至9C中所描绘的那些。
在步骤440中，轮廓编组172被显示为所形成的编组172的一组边界，其标识输入图像154中的诸图案的位置182。例如，轮廓编组172使用凸包183来被显示，这些凸包183被用来标识输入图像154中的每个图案的位置182。在步骤442中，一旦校准目标(即，图案)的位置182被标识出，就更容易定位图案的拐角。输入图像154的剩余部分可以被排除，由此降低了输入图像154中的噪声。
实施例40的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、50、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图5演示了根据本发明的更精细的相机校准系统200的另一实施例50，其中不同的相机校准阶段302、304、306和308被显示在自动驾驶车辆290的仪表板500上。相机校准系统200包括被定位在自动驾驶车辆290上的多个相机211、212、213和214以及包括图案化的面板153-1、153-2、153-3和153-4的多个多图案校准台架152-1、152-2、152-3和152-4。
为了简洁起见，仅一个相机(例如211)的校准中所涉及到的阶段302、304、306和308被显示在自动驾驶车辆290的仪表板500上。在阶段302中，由相机211捕捉的输入图像154在用户界面151中被示出。输入图像154是多图案校准台架152的图像，该多图案校准台架152保持包括校准图案155的图案化的面板153。在阶段304中，输入图像154被预处理以从输入图像154的背景157分割经成像的校准形状156。校准形状156由白色棋盘格图案化面板153上的黑色方形形成。在阶段304中，经成像的校准形状156的轮廓162被分割和过滤。在阶段306中，基于每个轮廓162的形状和位置来从诸相干轮廓162构建编组172。在阶段308中，存在于多图案校准台架152上的每个图案化的面板153的位置182基于轮廓编组172来被标识。在一实施例中，每个图案化的面板153的位置182由围绕轮廓编组172的凸包183来标识。
实施例50的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、60、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图6将根据本发明的计算机程序产品的示出了自动驾驶车辆290的多个相机210、211、212、213或214的校准的多个用户界面300、600的实施例60演示为屏幕截图示图。在一示例实现中，自动驾驶车辆290的仪表板500包括屏幕510，以用于显示在被定位于自动驾驶车辆290的引擎盖上的两个相机(例如211和212)的校准中所涉及到的不同阶段302、304、306、308、602、604、606、608。用户界面300示出了在这两个相机之一(例如，211)的校准中所涉及到的阶段302、304、306、308。用户界面600示出了在另一相机(例如，212)的校准中所涉及到的阶段602、604、606、608。因而，负责相机校准的技术人员可以经由用户界面300和600实时地监视相机校准的所有阶段302、304、306、308、602、604、606、608。
实施例60的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、50、71、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图7A将根据本发明的包括多个图案化的面板153的多图案校准台架152的实施例71演示为示图。多图案校准台架152包括支撑结构710，该支撑结构710被设计成牢固地保持带有校准图案155的图案化的面板153。在一实施例中，每个图案化的面板153根据待校准的相机的规格而被定位在多图案校准台架152上。图案化的面板153可以借助于凝集、焊接、安装件等、被以任何角度、取向等附连至支撑结构710。
实施例71的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、50、60、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图7B演示了根据本发明的计算机程序产品的示出了包括图案化的面板153的多图案校准台架152的图像的用户界面720的实施例72。
实施例72的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、50、60、72、81、82、83、91、92和/或93中的任一个相组合或排列。
图8A将根据本发明的多图案校准台架152的支撑结构710的实施例81演示为示图。在一示例中，支撑结构710由杆820、接头810等制成。
实施例81的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、50、60、71、72、82、83、91、92和/或93中的任一个相组合或排列。
图8B将根据本发明的支撑结构710的球形接头安装架820的实施例82演示为示图。球形接头安装架820被配置成保持附接至支撑结构710的图案化的面板153。球形接头安装架820可被用于调整图案化的面板153的角度。球形接头安装架820包括用于牢固地保持图案化的面板153的附接点822。
实施例82的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、50、60、71、72、81、83、91、92和/或93中的任一个相组合或排列。
图8C将根据本发明的保持图案化的面板153的支撑结构710的球形接头安装架820的实施例83演示为示图。图案化的面板153通过使用球形接头安装架820来被附连至支撑结构710，如图8C所示。可以通过调整球形接头安装架820来以所允许的任何位置和/或角度附连图案化的面板153。例如，图案化的面板153在附接点822处经由球形接头安装架820附连至支撑结构710。
实施例83的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、50、60、71、72、81、82、91、92和/或93中的任一个相组合或排列。
图9A-9C将根据本发明的校准图案155-1、155-2和155-3的不同实施例91、92和93演示为示图。待附连至多图案校准台架152的每个图案化的面板153-1、153-2和153-3被提供有重复的校准图案，例如155-1、155-2或155-3。校准图案155-1、155-2或155-3可以是例如具有黑色或白色方形的棋盘格图案155-1或155-2、包括黑色或白色圆圈的圆形网格155-3，等等。作为示例，图9A演示了包括棋盘格校准图案155-1的图案化的面板153-1的实施例91。校准图案155-1包括黑色方形156-1作为白板157-1上的校准形状。在另一示例中，图9B演示了包括棋盘格校准图案155-2的另一图案化的面板153-2的实施例92。校准图案155-2包括白色方形156-2作为黑板157-2上的校准形状。在另一示例中，图9C演示了包括作为校准图案155-3的圆形网格的另一图案化的面板153-3的另一实施例93。校准图案155-3包括黑色圆圈156-3作为白板157-3上的校准形状。
在一实施例中，图案化的面板153-1、153-2和153-3中的校准图案155-1、155-2和155-3的特性基于待校准的相机210的规格来被确定。图案化的面板153-1、153-2或153-3包括本质上是重复的、具有明显特征、强对比度、能容易地检测的校准图案155-1、155-2和155-3。图案化的面板153-1、153-2和153-3可以具有任何形状或大小，例如，方形、圆形、椭圆形等。图案化的面板153-1、153-2和153-3可以由例如木材、塑料等制成。
实施例91、92和93的任何特征可根据本发明而容易地与其他实施例11、12、13、14、15、16、17、18、20、21、30、40、50、60、71、72、81、82和/或83中的任一个相组合或排列。
前面已经解释了本发明，并且已经展示出相当大的优点。本发明导致在组装自动驾驶车辆290期间更快地校准自动驾驶车辆290的相机210。此外，校准形状156及对应的轮廓162本质上是二维的，而通常被用于相机校准的拐角和边缘检测技术本质上是一维的。因而，与通常被用于相机校准的常规使用的拐角和边缘相比，被用于相机校准的校准形状156及对应的轮廓162基本上是稳定且能容易地检测的。此外，相机校准系统200基本上对噪声和照明条件的变化是容忍的。此外，相机校准系统200在使用多种类型的校准图案155以便校准相机210的方面上具有灵活性。此外，通过使用包括多个图案化的面板153的多图案校准台架152的单个图像154来校准自动驾驶车辆290的相机210，减少了对多个校准图案155进行分开地图像采集所需的时间。因此，可以看出，时间上高效且稳健的相机校准过程可被用于工厂应用。
还提供一种相机校准系统，其包括至少一个相机和多图案校准台架，每个图案是重复的并且包括校准形状。该系统还包括计算机设备，该计算机设备连接至至少一个相机并且被适配成用于执行上面详述的本发明的方法步骤。
此外，还提供了一种用于利用多图案校准台架来校准相机的非瞬态计算机可读介质，每个图案是重复的并且包括校准形状，其中该介质包括存储在其上的指令，该指令当在处理器上被执行时，执行上面详述的本发明的方法步骤。
上面已经参考前述实施例阐述了本发明。然而，很明显，本发明不仅限于这些实施例，而且包括在发明思想和所附专利权利要求书的精神和范围内的所有可能的实施例。多图案校准台架可以包括不止一个支撑结构，并且可以携带任意数目的图案、图案化的面板。本发明适用于在任何技术应用中对相机进行校准，不单单仅适用于车辆。

Claims (14)

1.一种用于通过使用多图案校准台架(152)来校准相机(210、211、212、213、214)的方法，每个图案(123)是重复的并且包括校准形状(124)，所述方法包括以下步骤：
-利用所述相机(210、211、212、213、214)捕捉所述多图案校准台架(152)的图像(126)，以及
-分割经成像的校准形状(124)的轮廓(162)，
其特征在于以下进一步的步骤：
-基于诸轮廓的形状的相似度及它们彼此之间的距离来构建相干轮廓(162)的编组(172)，以及
-基于所述轮廓编组(172)标识所述图像(126)中的每个图案(123)的位置(182)。
2.根据权利要求1所述的方法，其特征在于，确定所述形状的相似度包括通过以下来确定它们各自的面积的相似度：
-计算所述轮廓(162)的面积，
-将一个轮廓(162)的面积与另一轮廓(162)的面积进行比较，以及
-如果所述面积中较小的一个面积大于另一面积的预定分数，则确定所述面积是类似的。
3.根据权利要求2所述的方法，其特征在于，如果至少以下条件被满足，则各自具有其相应面积和带有相应半径的封闭圆的任何两个轮廓(162)属于相同的编组(172)：
-这两个面积中较小的一个面积大于另一面积的50％，
-这两个半径中较小的一个半径大于另一半径的50％，以及
-所述轮廓(162)的最接近的点的距离小于这两个半径中较大的一个半径的150％。
4.根据权利要求3所述的方法，其特征在于，如果在编组(172)中的所述轮廓(162)的数目与相应的图案(123)内的所述校准形状(124)的数目相差不超过10％的情况下，所述编组(172)被接受作为有效编组(172)。
5.根据权利要求4所述的方法，其特征在于，标识所述图像(126)中的每个图案(123)的位置包括：
-为所述编组的每一者生成凸包，以及
-将每个图案(123)的所述凸包(183)的位置标识为所述图像(126)中的相应图案(123)的位置。
6.根据权利要求1所述的方法，其特征在于，预处理步骤在分割所述轮廓(162)之前针对所捕捉的图像(126)来执行，所述预处理步骤包括：
-从所述图像(126)的其他部分分割经成像的校准形状(124)，并由此生成二进制图像，其中所述图像的其他部分利用一个二进制值来表示，而所述经成像的校准形状(124)则由另一个二进制值来表示。
7.根据权利要求6所述的方法，其特征在于，所述预处理步骤进一步包括：
-形态学腐蚀和膨胀，以使所述经成像的校准形状(124)之间的连接断裂，
-阈值化，以移除照明中的变化，和/或
-检测并移除桥像素，以使所述经成像的校准形状(124)之间的任何剩余连接断裂。
8.根据权利要求6所述的方法，其特征在于，轮廓过滤步骤在分割所述轮廓(162)之后被执行，所述轮廓过滤步骤包括：
-计算所述轮廓(162)的每一者的形状参数，以及
-如果所述轮廓(162)的形状参数在预定范围内，则将所述轮廓(162)接受作为有效轮廓(162)。
9.根据权利要求8所述的方法，其特征在于，每个轮廓(162)包括封闭所述面积的周长，并且所述形状参数是通过将所述轮廓的周长的平方除以所述轮廓的面积而获得的，并且所述预定范围至少在2.5和25内。
10.根据权利要求8所述的方法，其特征在于，所述轮廓(162)具有面积，所述形状参数是所述轮廓(162)的面积，并且所述预定范围至少在十个像素与所述图像(126)的总面积的2％之间。
11.根据权利要求1所述的方法，其特征在于，所述校准图案(123)是棋盘格图案或圆形网格。
12.根据权利要求1所述的方法，其特征在于，所述相机(210、211、212、213、214)被布置在车辆(290)中。
13.一种相机校准系统，包括至少一个相机(210、211、212、213、214)和多图案校准台架(152)，每个图案(123)是重复的并且包括校准形状(124)，其特征在于，所述系统还包括计算机设备，所述计算机设备连接至所述至少一个相机(210、211、212、213、214)并且被适配成用于执行根据权利要求1至11中任一项所述的方法的步骤。
14.一种用于利用多图案校准台架(152)来校准相机(210、211、212、213、214)的非瞬态计算机可读介质，其特征在于，每个图案(123)是重复的并且包括校准形状(124)，其特征在于，所述介质包括存储在其上的指令，所述指令当在处理器上被执行时，执行根据权利要求1至11中任一项所述的方法的步骤。
CN201880045254.1A 2017-07-05 2018-07-05 用于相机校准的方法、系统和计算机可读介质 Active CN110869979B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/641,491 2017-07-05
US15/641,491 US10089753B1 (en) 2017-07-05 2017-07-05 Method, system and computer-readable medium for camera calibration
PCT/HU2018/000031 WO2019008402A1 (en) 2017-07-05 2018-07-05 METHOD, SYSTEM AND COMPUTER-READABLE MEDIUM FOR CAMERA CALIBRATION

Publications (2)

Publication Number Publication Date
CN110869979A true CN110869979A (zh) 2020-03-06
CN110869979B CN110869979B (zh) 2023-03-21

Family

ID=63244629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880045254.1A Active CN110869979B (zh) 2017-07-05 2018-07-05 用于相机校准的方法、系统和计算机可读介质

Country Status (6)

Country Link
US (1) US10089753B1 (zh)
EP (1) EP3649617B1 (zh)
JP (1) JP7253745B2 (zh)
KR (1) KR102530344B1 (zh)
CN (1) CN110869979B (zh)
WO (1) WO2019008402A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822941A (zh) * 2021-09-03 2021-12-21 大连中科创达软件有限公司 相机倾斜校准方法、装置、设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010090B (zh) * 2018-01-12 2024-03-29 深圳市道通科技股份有限公司 一种车载夜视摄像装置标定设备
US11300385B2 (en) * 2019-01-18 2022-04-12 Zachary Burton Camouflage patterns, arrangements and objects utilizing the same
KR102577448B1 (ko) * 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
JP7312594B2 (ja) * 2019-04-12 2023-07-21 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション用チャートおよびキャリブレーション用器具
JP7321947B2 (ja) * 2020-01-20 2023-08-07 日立Astemo株式会社 画像補正装置及び画像補正方法
WO2021182793A1 (ko) * 2020-03-12 2021-09-16 주식회사 멀티플아이 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
USD970033S1 (en) 2020-10-23 2022-11-15 Becton, Dickinson And Company Cartridge imaging background device
CN114119761B (zh) * 2022-01-28 2022-06-14 杭州宏景智驾科技有限公司 多相机机动车定位方法和装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035422A (ko) * 2011-09-30 2013-04-09 삼성전기주식회사 카메라 모듈의 보정 장치
CN103116889A (zh) * 2013-02-05 2013-05-22 海信集团有限公司 一种定位方法及电子设备
WO2013143982A1 (de) * 2012-03-29 2013-10-03 Robert Bosch Gmbh Verfahren zum automatischen betreiben einer überwachungsanlage
JP2013231900A (ja) * 2012-05-01 2013-11-14 Hazama Ando Corp カメラキャリブレーション用３次元パターン
CN103827917A (zh) * 2011-07-25 2014-05-28 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768509B1 (en) * 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
KR100386090B1 (ko) * 2001-04-02 2003-06-02 한국과학기술원 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
US7555157B2 (en) * 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
JP3635539B2 (ja) * 2002-08-29 2005-04-06 オリンパス株式会社 キャリブレーションパターンユニット
JP2008125881A (ja) 2006-11-22 2008-06-05 Toshiba Corp 医用画像診断装置、医用画像処理装置、及び医用画像処理プログラム
JP5124147B2 (ja) 2007-02-01 2013-01-23 三洋電機株式会社 カメラ校正装置及び方法並びに車両
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP5339124B2 (ja) * 2008-09-30 2013-11-13 アイシン精機株式会社 車載カメラの校正装置
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
JP5821408B2 (ja) 2011-08-24 2015-11-24 株式会社リコー 画像処理方法、ステレオカメラシステム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
US9596459B2 (en) 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration
EP3125196B1 (en) * 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
US10438081B2 (en) * 2015-10-30 2019-10-08 Texas Instruments Incorporated Automatic feature point detection for calibration of multi-camera systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827917A (zh) * 2011-07-25 2014-05-28 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置
KR20130035422A (ko) * 2011-09-30 2013-04-09 삼성전기주식회사 카메라 모듈의 보정 장치
WO2013143982A1 (de) * 2012-03-29 2013-10-03 Robert Bosch Gmbh Verfahren zum automatischen betreiben einer überwachungsanlage
JP2013231900A (ja) * 2012-05-01 2013-11-14 Hazama Ando Corp カメラキャリブレーション用３次元パターン
CN103116889A (zh) * 2013-02-05 2013-05-22 海信集团有限公司 一种定位方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822941A (zh) * 2021-09-03 2021-12-21 大连中科创达软件有限公司 相机倾斜校准方法、装置、设备及存储介质
CN113822941B (zh) * 2021-09-03 2023-12-19 大连中科创达软件有限公司 相机倾斜校准方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102530344B1 (ko) 2023-05-09
WO2019008402A1 (en) 2019-01-10
EP3649617A1 (en) 2020-05-13
JP2020525894A (ja) 2020-08-27
JP7253745B2 (ja) 2023-04-07
EP3649617B1 (en) 2021-12-22
US10089753B1 (en) 2018-10-02
KR20200023631A (ko) 2020-03-05
CN110869979B (zh) 2023-03-21
WO2019008402A8 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
CN110869979B (zh) 用于相机校准的方法、系统和计算机可读介质
US11320833B2 (en) Data processing method, apparatus and terminal
US11631192B2 (en) Robot climbing control method and device and storage medium and robot
Assidiq et al. Real time lane detection for autonomous vehicles
KR102487842B1 (ko) 차량 검사 시스템 및 그 방법
EP3098753A1 (en) Lane detection
CN107908195B (zh) 目标追踪方法、装置、追踪器及计算机可读存储介质
EP3154025A1 (en) Human detection system for construction machine
US20200211171A1 (en) Adhered substance detection apparatus
CN112683228A (zh) 单目相机测距方法及装置
WO2016059643A1 (en) System and method for pedestrian detection
Fries et al. Monocular template-based vehicle tracking for autonomous convoy driving
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
Choudhuri et al. Crop stem width estimation in highly cluttered field environment
Khalifa et al. Vision-based lane detection for autonomous artificial intelligent vehicles
CN111080542A (zh) 图像处理方法、装置、电子设备以及存储介质
Khalifa et al. Vision based road lane detection system for vehicles guidance
CN113657332B (zh) 地面警戒线识别方法、装置、计算机设备及存储介质
CN115601435B (zh) 车辆姿态检测方法、装置、车辆及存储介质
US20240062412A1 (en) Improving feature extraction using motion blur
KR102204582B1 (ko) 피검체의 관절의 관절각을 측정하는 방법 및 이를 이용한 장치
Samuel et al. Comparative Analysis of Lane Detection Method Using Matlab
Sultana et al. Real Time Road Lane Line Detection under Different Challenging Conditions
CN113838074A (zh) 一种定位方法及装置
CN117226289A (zh) 一种基于图像识别余料检测的激光切割系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant