CN110211186B - 用于校准摄像头相对于校准图案的位置和取向的方法 - Google Patents

Abstract

用于校准摄像头相对于校准图案的位置和/或取向的方法，包括：A.借助于摄像头获取校准图案的图像；B.确定图像的至少一个参数和/或呈现在图像中的校准图案或校准图案的子图案的至少一个参数；C.基于所述至少一个参数转换图像；D.识别校准图案的转换后的图像内的校准图案的特征点或可能的特征点；E.根据所识别出的特征点或可能的特征点得出摄像头相对于校准图案的位置和/或取向；F.根据所得出的摄像头的位置和/或取向的置信度值和/或根据到目前为止步骤B到步骤F的迭代次数，重复步骤B到步骤F，其中在步骤B中，考虑所得出的摄像头的位置和/或取向来确定所述至少一个参数；G.输出在步骤E的最后一次迭代中得出的摄像头的位置和/或取向。

Description

用于校准摄像头相对于校准图案的位置和取向的方法

技术领域

本发明涉及一种用于校准摄像头(尤其是安装到诸如卡车的车辆的摄像头)相对于校准图案的位置和取向的方法。

背景技术

近来，越来越多的车辆设置有至少一个安装到车辆上以用于捕获关于车辆环境的信息的摄像头。尤其是，摄像头位于车辆的前面以用于获取前方道路。这样获得的图像数据然后可以用于例如各种高级驾驶员辅助系统(ADAS)。

从由这种摄像头获取的图像，可以提取关于摄像头视野内的物体的空间数据。但是，这些数据是相对于摄像头的，而不是(至少不直接是)相对于车辆的。因此，例如，摄像头所捕获的物体的位置只能相对于摄像头来确定。为了从由摄像头获取的图像中也获得这些物体相对于车辆的具有高精度和可靠性的位置，因此精确地知道摄像头相对于车辆的位置和取向是重要的。

尤其是，相对于车辆以明确的取向放置摄像头是相当困难的。因此，摄像头几乎肯定会偏离理想的取向，实际取向因不同车辆中的不同摄像头而不同。

摄像头的取向可以通过通常被称为滚转角、偏航角和俯仰角的三个角度来描述。滚转角指定绕纵轴的旋转角度，对于摄像头而言，该纵轴尤其对应于摄像头的光轴。因此，滚转角的旋转轴相对于摄像头限定并且因此，例如，如果摄像头倾斜或平移，则该旋转轴与摄像头一起改变其取向。偏航角指定绕垂直轴的旋转角度并且因此，至少基本上限定了从理想取向向左侧或向右侧的偏离。俯仰角指定绕水平轴的旋转角度并且因此，至少基本上限定了从理想取向向顶部或向底部的偏离。

校准安装到车辆的摄像头的取向优选包括确定滚转角、偏航角和俯仰角中的至少一个。优选地，确定所有这三个角度以便完全描述摄像头的取向。

确定这些角度通常可以在车辆移动期间进行，例如，在道路上行驶时。以这种方式，校准方法可以利用可以从由于在特定方向上的移动而连续获取的图像之间的差异得出的信息。但是，这种校准可能是耗时的并因此是昂贵的。因此，可以在静止车辆上执行的校准方法更可取。

有一些校准方法取决于已知并且固定的摄像头的高度。但是，尤其是如果车辆是卡车，那么即使安装到车辆的规定位置，摄像头的高度也可能显著地改变。这可能是由于车辆的太柔软的悬挂，因此可能安装了摄像头的车辆驾驶室例如可以使其高度改变高达几十厘米。因此，优选地，校准方法不依赖于安装的摄像头的高度。优选地，摄像头的高度以及摄像头的横向偏移甚至可以作为校准的一部分来确定。

例如，在专利申请EP 3 174 007 A1中描述了用于校准安装到车辆的摄像头的位置和/或取向的尤其可靠和快速的方法。这些方法依赖于将摄像头放置在校准图案(其图像借助于摄像头获取)的前面，以及根据由校准图案限定的可以在校准图案的图像内被识别的水平线和垂直线得出摄像头的位置和/或取向。尤其是，这些线可以由校准图案的特征点或校准图案的一个或更多个子图案的特征点限定。通常，其它方法可能可以允许直接根据校准图案的这些特征点来确定摄像头的位置和/或取向，即没有根据特征点得出水平线和垂直线的中间步骤。

为了识别校准图案的图像内的校准图案的特征点，可以对图像进行预处理并且搜索可以对应于校准图案的特征点的光斑。例如，在专利申请EP 3 173 975 A1中描述了用于识别校准图案的图像内的校准图案的这种可能的特征点的方法。但是，通过这种或其它方法识别出的可能的特征点可能仍然包含误报。因此，可能的特征点可以仅被认为是一组候选点，其中仍然必须识别校准图案的真实的特征点。这样做的方法例如在EP 3 173 979 A1中有所描述。根据这些方法，简单地说，将对应于校准图案或校准图案的子图案的模板依次放置在每个候选点上并且检查模板所覆盖的图像的区域与模板的对应关系。如果与模板的偏离不超过特定的公差，则认为相应的候选点代表校准图案的特征点。

但是，这种确定摄像头相对于校准图案的位置和/或取向的方法依赖于校准图案的图像，该校准图案的图像是借助于摄像头获取的，并且因此取决于图像的质量。尤其是，如果校准图案在图像中出现变形，则这可能导致错误的结果，因为即使校准图案的真实特征点也可能偏离其预期的外形，并且因此可能由于缺乏与模板的对应关系而不被认为是特征点。例如，尤其是在不利的照明条件下，校准图案的图像可能因噪声而劣化。虽然通常可以例如通过改进的照明来修正这些问题，但是由摄像头的细节所导致的变形可能是不可修正的，至少是不容易的。例如，对于安装到车辆，尤其是安装到卡车的摄像头，通常有利的是具有宽视野，例如通过使用具有焦距为50mm(等效)或更长的物镜的摄像头，因为这种广角摄像头允许监视比具有更窄视野的摄像头更大的区域。但是，广角光学器件导致所获取的图像变形。因此，如果使用这种摄像头，则校准图案的图像中的特征点的识别可能受到这种变形的阻碍。

发明内容

本发明的目的是提供一种用于校准摄像头(尤其是安装到诸如卡车的车辆的摄像头)相对于校准图案的位置和取向的具有高精度和改进的可靠性的方法，以防止变形的干扰影响。

根据本发明的方法包括执行至少以下步骤A至步骤G。

步骤A包括借助于摄像头获取校准图案的图像。取决于例如摄像头的物镜的焦距，但也可能取决于视角(在该视角下，校准图案或至少部分校准图案从摄像头的视点出现)，校准图案在所获取的图像中可能出现变形。

补偿这种变形的第一种措施是步骤B，该步骤B包括确定图像中的至少一个参数和/或出现在图像中的校准图案的或校准图案的子图案的至少一个参数。可以使用环境的额外知识来获得这样的参数，例如透视畸变或透镜畸变的知识或者摄像头与校准图案之间的预期或标称关系的知识，其确定在获取的图像中校准图案或校准图案的子图案的位置和/或在哪个视角下通过摄像头看到校准图案。但是，这些知识通常不够精确或不足以简单地在数学上修正所有变形，而可能更符合知情估计或甚至仅仅是假设。虽然如此，所述至少一个参数有利地允许至少近似地使校准(尤其是用于确定摄像头的位置和/或取向的特征点的识别)适应校准图案的图像中的可能的变形。下面描述要确定的参数的更具体示例以及如何使用这样的参数。

步骤C包括基于在前一步骤B中确定的所述至少一个参数来转换所获取的图像。然后，在步骤D中，在校准图案的转换的图像内，识别出校准图案的特征点或至少可能的特征点。所述转换尤其用于准备用于更容易地提取相关信息的图像。这种转换尤其可以包括图像的一部分被隔离并且仅图像的该部分用于进一步处理和/或图像被平滑和/或以其它方式进行滤波，如下面更详细地说明的。

步骤E包括在识别出特征点或可能的特征点之后，根据所识别出的特征点或可能的特征点得出摄像头相对于校准图案的位置和/或取向。步骤D和/或步骤E尤其可以根据上面指定的专利申请中描述的方法之一来执行。但是，与已知方法的重要区别在于，特征点或可能特征点的识别所基于的图像不是原始获取的图像，而是基于步骤B中所确定的至少一个参数而转换的图像。此外，在步骤E中得出摄像头相对于校准图案的位置和/或取向之后，根据本发明的方法不会停止，而是继续步骤F。

步骤F包括在特定条件下重复步骤B至步骤F，其中，在即将进行的迭代的步骤B中，考虑在步骤E的当前迭代中得出的摄像头的位置和/或取向以用于新确定至少一个参数。换言之，在步骤E的当前迭代中得出的摄像头的位置和/或取向此时仅被认为是初步结果，而不是输出，其用于另一次迭代以便改进下一结果。步骤B至步骤F是否重复可以简单地取决于到目前为止步骤B至步骤F的迭代次数。例如，根据实施方式，在任何情况下可以不超过两次迭代，即步骤B至步骤F最多重复一次。附加地或可选地，步骤B至步骤F可以在任何情况下重复至少一次。但是，通常，至少在特定情况下，步骤B至步骤F可以根本不重复。

此外，是否重复步骤B至步骤F可以(另选地或者除了取决于迭代次数之外)还取决于在步骤E的最新迭代中得出的摄像头的位置和/或取向的置信度值。该置信度值用于度量所得出的摄像头的位置和/或取向如何确定或精确地至少假设地对应于摄像头的实际位置和/或取向。通常，置信度值可以是布尔值，但优选地是可以与置信度阈值进行比较的数值。只要在每次迭代的步骤F中确定的置信度值表示将从重复步骤B到步骤F(再次)预期关于所得出的摄像头的位置和/或取向的精度的改进，就优先迭代步骤B到步骤F。但是，迭代次数可以被限制成最大数量。

在仅到达的步骤G中，如果步骤B至步骤F没有重复或不再重复，则最终输出在步骤E的最后一次迭代中得出的摄像头的位置和/或取向并且因此其对应于校准的实际结果。

根据实施方式，在步骤B中，确定图像的至少一个参数的步骤包括确定图像内的至少一个关注区域，其预期包括校准图案或校准图案的子图案。虽然在校准之前不知道摄像头与校准图案之间的确切空间关系，但是摄像头可以放置在相对于校准图案的已知空间范围内。这可以将校准图案的可能位置限制在摄像头的视野内，并且因此将校准图案的可能位置限制在由摄像头获取的图像内。利用这样的知识，可以确定至少一个关注区域，其可以包括整个校准图案或仅包括其一部分。此外，可以确定若干关注区域，其中每个关注区域例如包括校准图案的另一(实例)子图案。确定一个或更多个这样的关注区域允许将步骤C中的图像限制到这些关注区域，使得进一步的转换仅应用于图像的这些部分。以这种方式，可以显著降低方法的计算复杂度和执行该方法所需的时间。这可以抵消或甚至不只抵消由于重复执行步骤B到步骤F而引起的计算时间的不利增加。

根据实施方式，在步骤B中，确定校准图案或校准图案的子图案的至少一个参数的步骤包括确定校准图案或子图案在图像中出现时的尺寸和/或形状。如果确定了这样的参数，则因此可以包括关于图像中的变形的种类和/或量的信息。在第一次执行步骤B时，这种参数的确定可以仅基于初始数据，诸如根据校准图案前面的摄像头的一般或标称定位得出的估计，在随后的迭代中确定该参数可以考虑前面步骤的结果或中间结果，尤其是(初始)得出的摄像头的位置和/或取向。因此，对于每次迭代，参数可以包括更精确的信息并且因此更好地允许补偿图像中的校准图案的变形。

尤其是，可以在步骤C中使用所确定的图像中的校准图案或子图案的尺寸和/或形状来转换图像。例如，转换图像的步骤然后包括基于所确定的图像中的校准图案或子图案的尺寸和/或形状来定义滤波器内核，以及使用该滤波器内核来对图像进行滤波。所定义的滤波器内核可以根据理想的滤波器内核得出，该滤波器内核然后仅基于所确定的校准图案或子图案的尺寸和/或形状而被修改，尤其是在其尺寸方面。以这种方式，滤波器内核可以尤其适于图像中校准图案的(变形的)外形。如果所述滤波用于帮助隔离或强调图像内的校准图案，则这是特别重要的，例如在EP 3 173 975 A1中描述的方法中。

此外，所确定的在图像中出现的校准图案或子图案的尺寸和/或形状也可以用于调整对应于校准图案或子图案的模板，使得经调整的模板更好地匹配图像中校准图案或子图案的变形的外形。例如，在EP 3 173 979 A1中描述的方法中使用了这种模板，其可以是以对应于诸如校准图案或校准图案的子图案的角的特殊点布置的模板点的模板布置。这些方法或这些方法的至少基本步骤可以作为根据本发明的方法的步骤D的一部分来执行并且受益于基于所确定的至少一个参数的模板的调整。因此，不仅根据步骤C的图像转换，而且步骤D中的(可能的)特征点的识别可以基于步骤B中确定的至少一个参数，尤其是如果参数对应于校准图案或子图案在图像中出现时的尺寸和/或形状。

根据实施方式，在步骤C中，转换图像的步骤包括：针对图像的每个像素，通过将像素的像素值替换为像素的邻近区域中像素的像素值的平均值来平滑图像，根据在步骤B中确定的至少一个参数来定义像素的邻近区域。这样的平滑可以帮助减小可能导致伪特征点(即被错误地定义为特征点的点)的背景噪音。然而，图像应在何种程度上平滑以便去除不想要的噪音，同时不使校准图案模糊，这可能取决于校准图案在图像中出现的方式(尤其是以什么尺寸)。因此，在其上进行像素值平均的所述邻近区域优选地随着图像中校准图案的尺寸的减小而减小。

根据实施方式，在步骤C中，转换图像的步骤包括通过利用滤波器内核进行卷积来对图像进行滤波或从图像得出的平滑图像，该滤波器内核是根据在步骤B中确定的至少一个参数来定义的。利用有利地对应于校准图案或校准图案的子图案的滤波器内核对图像进行卷积可以导致经滤波的图像(其中出现校准图案或子图案)被隔离、强调、或以某种其它方式显著呈现。因此，这种预处理可以有助于识别校准图案或子图案的特征点。如上所述，对于任何类型的滤波，用于卷积的滤波器内核也都有利地根据在步骤B中确定的至少一个参数来定义。这可以包括通过基于至少一个参数修改理想的滤波器而根据理想滤波器内核得出滤波器内核。以这种方式，滤波器内核可以尤其适于图像中校准图案的(变形的)外形。

(可能平滑的)利用滤波器内核对图像进行卷积可以由利用修改后的滤波器内核对积分图像进行卷积代替。这可以显著地降低计算复杂度并且因此降低卷积的执行时间。因此，优选的是，图像或平滑的图像的卷积包括通过(针对图像或平滑的图像的每个像素)将相应像素的像素值替换为具有比相应像素小的第一坐标和第二坐标的像素的像素值之和来根据图像或平滑的图像得出积分图像；以及利用对应于滤波器内核的修改的滤波器内核对积分图像进行卷积。滤波器内核和修改的滤波器内核之间的对应关系使得利用修改的滤波器内核对积分图像进行的卷积具有与利用未修改的滤波器内核对原始图像进行的卷积相同的结果。

此外，卷积优选地是被定义为滤波器内核与图像或平滑图像的乘积的二维求和的离散卷积(图像是图像的像素的像素值的矩阵)。对于通常的卷积，求和的步长在两个维度上通常为1以便针对滤波器内核相对于图像的所有位置的所述乘积求和。但是，通过在至少一个或两个维度中使用更大的步长，可以显著减少用于计算卷积的计算工作量，尽管所得到的图像被更粗略地滤波。根据实施方式，求和的步长取决于到目前为止的步骤B到步骤F的迭代次数和/或取决于当前迭代中在步骤B中确定的至少一个参数。

优选地，在步骤C的第一次迭代(即第一次执行)中，求和的步长大于步骤C的后续迭代中的步长，尤其是大于步骤C的任何后续迭代中的步长。这意味着至少针对经滤波的图像而执行的第一卷积比后续的卷积更粗糙。由于步骤B到步骤F的第一次迭代的结果可能只是初步的并且主要用作增强进一步迭代的基础，因此尤其是第一卷积可以具有大于1的步长，以便减少第一次迭代的计算工作量，同时仍然产生摄像头的位置和/或取向的第一近似值。优选地，虽然步长可以减小，但是它不会随着迭代而增加。此外，针对至少最后一次迭代或者针对除了第一次迭代以外的所有迭代而言，步长可以优选为1。

根据实施方式，在步骤E中，得出摄像头的位置和/或取向的步骤包括计算摄像头相对于校准图案的横向(水平)偏移和高度(对应于垂直偏移)中的至少一个和/或计算摄像头相对于校准图案的滚转角、偏航角和俯仰角中的至少一个。在EP 3 174007A1中描述了如何针对限定至少两条水平线和至少两条垂直线的校准图案执行这种计算的示例。但是，尤其根据校准图案的种类，可以使用其它方法。通过计算滚转角、偏航角和俯仰角，可以完全确定摄像头相对于校准图案的取向。

关于摄像头相对于校准图案的位置，知道摄像头相对于校准图案(例如相对于从校准图案的中心或角垂直延伸的校准图案的表面法线)的水平偏移和垂直偏移可能就足够了。摄像头到校准图案的距离，尤其是摄像头沿垂直于校准图案的表面的方向到该表面的距离对于安装到车辆的摄像头的校准可能不太重要或者至少可以从校准开始就大致知道。

但是，该距离可能对由摄像头获取的校准图案的图像中的校准图案的外形(尤其是其尺寸)产生影响。因此，为了完全确定摄像头相对于校准图案的位置，除了水平偏移和垂直偏移之外，还可以例如通过测量或者优选地也根据校准图案的图像确定所述距离。在同一申请人的标题为“Method for identification of characteristic points of acalibration pattern within a set of candidate points derived from an image ofthe calibration pattern”的专利申请中描述了一种将用于在先前根据校准图案的图像得出的一组候选点内识别校准图案的特征点的模板布置(尺寸)迭代地调整为图像中的校准图案的尺寸的方法，该专利申请在与本申请相同的申请日提交，在此引用。这种方法允许在不必首先知道所述距离的情况下识别特征点，并且作为调整的结果甚至可以得到至少近似的距离。如果在用于识别特征点的步骤D中或者在用于根据所识别出的可能的特征点(候选点)得出摄像头的位置的步骤E中使用得到所述距离的这种或另一种方法，则通过校准所确定的摄像头的位置还可以有利地包括摄像头到校准图案的距离。

根据实施方式，在步骤B中(除了在步骤B的第一次迭代中)，确定至少一个关注区域的步骤包括根据计算出的摄像头的滚转角、偏航角和俯仰角中的至少一个和/或计算出的摄像头的横向偏移和高度中的至少一个来转换(例如移位、旋转、倾斜、歪斜和/或缩放)在步骤B的前一次迭代中确定的感兴趣的区域。这些计算出的值被认为是中间结果，其允许更精确地将所述至少一个关注区域调整到图像内的校准图案或校准图案的子图案的位置。该转换还可以考虑摄像头的已知参数，诸如焦距。可以通过三维几何和三角学的已知原理根据所述计算出的值得出应用于所述至少一个关注区域的转换的种类和程度。

以类似的方式，先前迭代的中间结果可用于细化先前确定的校准图案或子图案的尺寸和/或形状。根据实施方式，在步骤B中(除了在步骤B的第一次迭代中)，确定校准图案或子图案的尺寸和/或形状的步骤包括根据计算出的摄像头的滚转角、偏航角和俯仰角中的至少一个和/或计算出的摄像头的横向偏移和高度中的至少一个转换在步骤B的前一次迭代中确定的校准图案或子图案的尺寸和/或形状。这种转换可以如上所述用于关注区域的转换。

在步骤D中，可以仅识别可能的特征点。这意味着识别出多个点，它们理想地包括在校准图案的图像中搜索到的校准图案的所有特征点，但是最可能还包括不是校准图案的真实特征点的若干个其它点。这可能是因为用于识别这些点的方法可能不够鲜明。如果至少在开始时仅识别出可能的特征点(然后可以将它们视为一组候选点)，则步骤D可以附加地包括随后在该组候选点内识别校准图案的特征点。但是，情况不一定如此。相反，接下来的步骤也可以直接基于所识别出的仅可能的特征点。

根据实施方式，在步骤D中，识别校准图案的可能特征点，并且仅当到目前为止的步骤B到步骤F的迭代次数和/或在步骤F的最新迭代中确定的置信度值等于或高于阈值时，才在由所识别出的可能特征点组成的一组候选点内识别校准图案的特征点。尤其是，步骤D可以被限制成执行至少在步骤D的第一次执行中仅产生可能的特征点的方法以便加速计算，但是可以包括在步骤D的可能的后续迭代中识别校准图案的特征点的更精确的方法。

本发明的目的还通过一种计算机程序产品来解决，并且尤其是通过具有计算机程序的计算机程序产品来解决，该计算机程序具有如果该计算机程序在计算设备中执行，则进行根据上述的至少一个实施方式的方法的软件装置。由于在执行该方法期间计算的优选低复杂性，所述计算机程序可以尤其适合于在摄像头的微控制器或嵌入式系统上执行，借助于该微控制器或嵌入式系统获取校准图案的图像。

附图说明

在下文中，参照附图示例性地进一步描述本发明。

图1示出了利用未示出的摄像头获取的校准图案13的示例性图像11。

图2示例性地示出了包围相应候选点的四个特定关注区域17。

图3示出了针对校准图案13的顶部处的子图案15和校准图案13的底部处的子图案15计算出的子图案15的角的位置。

图4示出了针对校准图案13的顶部处的子图案15和校准图案13的底部处的子图案15计算出的子图案15的角的位置，其中校准图案13的图像11是通过具有介质镜头变形的摄像头获取的。

具体实施方式

图1示出了利用未示出的摄像头获取的校准图案13的示例性图像11。校准图案13包括十个子图案15、15’，可以在图像11中辨别出它们的代表。存在第一类型的子图案15和第二类型的子图案15’。两种类型的子图案15、15’各自由两个相同取向的正方形形成，其中一个正方形的角与另一个正方形的角重合，其中第一类型的相应子图案15的两个正方形的相对取向垂直于第二类型的相应子图案15’的两个正方形的相对取向。

子图案15、15’中的五个沿第一垂直线布置，另外五个沿第二垂直线布置。第一垂直线上的子图案15、15’中的每一个与第二垂直线上的相应子图案15、15’形成一对，使得相应对的两个子图案15、15’在水平线上对齐。因此，总共有五条水平线。虽然未描绘出两条垂直线和五条水平线，并且因此不是校准图案的明确部分，但是它们由子图案15、15’明确地限定，尤其是由位于子图案15、15’的中心的这些子图案15、15’的相应特征点限定，其中两个正方形彼此接触。在识别作为子图案15、15’的中心的校准图案13的特征点之后，可以得出这些水平线和垂直线并且用于确定摄像头相对于校准图案13的位置和/或取向。

用于获取图像11的摄像头具有广角物镜。主要是因为这样，校准图案13在图像11中看起来是扭曲的。虽然实际上支撑校准图案13的板是矩形的，但是在图像11中它看起来是弯曲的边框。通过与图1中绘制的黑色框的直线相比可以看出，校准图案13以类似的方式变形。

黑色框在图像11内限定关注区域17’并且包含校准图案13。例如，该关注区域17’可以根据图像11内的校准图案13的预期位置得出或者，例如，相对于具有校准图案13的所述板出现的并且可以基于其延伸和/或亮度在图像11中识别的亮区域来确定。图像11的处理和基于图像11的确定可以有利地限于图像11的关注区域17’以便减少计算工作量并且加速执行。

尤其是，通过利用对应于子图案15、15’的滤波器内核对图像11(或者可能仅图像的关注区域17’)进行卷积并且识别这样滤波的图像内的光斑，可以确定校准图案13的可能的特征点(参见图1中的白点)。由于这些可能的特征点也包括误报，因此它们是必须进一步评估以识别真实特征点的候选点。

通过搜索第一子图案15或第二子图案15’的点结构特征来识别真实特征点。这通过覆盖模板布置使得模板布置的主点与候选点重合来完成，其中第一模板布置针对第一子图案15并且第二模板布置针对第二子图案15’。这在图2中示例性地示出，其中示出了包围相应候选点(参见中心黑色星号)的四个特定关注区域17。每一个区域仅包含校准图案13的单个子图案15、15’的这些特定关注区域17可以另选地或附加地被限定为包含完整校准图案13的所述关注区域17’。通过将对图像11的处理以及基于图像11的确定中的至少一些限定到这样的特定关注区域17可以进一步减少计算工作量。如果之前已经确定了更一般的关注区域17’，则可以基于它们与更一般的关注区域17’的至少近似已知的空间关系来确定更特定的关注区域17’。

在图2中，白色(水平和垂直)十字形是相应关注区域17内的候选点。黑色(对角线)十字形是一起分别形成第一模板布置或第二模板布置的模板点。描绘为黑色星号的中心模板点是模板布置的主点。图2中的每个关注区域17被示出为包括其中包含的候选点和模板点以及图像11的相应区域，使得可以辨别校准图案13的相应子图案15、15’。上面的两个关注区域17对应于第一子图案15，而下面的两个关注区域17对应于第二子图案15’。因此，在上面的两个关注区域17中，示出了对应于第一子图案15的第一模板布置，并且在下面的两个关注区域17中，示出了对应于第二子图案15’的第二模板布置。

从图2中可以看出，除了主点之外，相应模板布置的模板点与它们最接近的候选点不完全重合。这主要是由于校准图案在图像11中出现变形。该变形导致可能妨碍摄像头的校准并且尤其妨碍校准图案的图像11内的(可能的)特征点的识别的偏差。尤其是，该偏差可能使得校准图案13的真实特征点被作为假的错误地丢弃。

图3示出了针对校准图案13的顶部处的子图案15(图3，左)和校准图案13的底部处的子图案15(图3，右)计算出的子图案15的角的位置。计算所述位置，好像校准图案13的图像11是通过没有镜头变形的摄像头获取的。但是，图3中所示的子图案15由于透视变形而不具有相同的形状，所述透视变形根据通过摄像头看到相应的子图案15的方向而不同，该方向对于在校准图案13的顶部处的子图案15和在校准图案13的底部处的子图案15处的子图案15是不同的。

图4基本上对应于图3，不同之处在于，在图4中，子图案15的角的位置是在它们出现在通过具有介质镜头变形的摄像头获取的图像11中时计算的，诸如由焦距约为50毫米的典型镜头引起的变形。图3和图4的比较显示，在图4中，子图案15更加强烈地变形。因此，为了校准广角摄像头，更重要的是补偿这种变形。这种补偿可以通过根据本发明的方法，并且尤其是，通过执行用于确定摄像头相对于校准图案13的位置和/或取向所需的主要步骤优选地至少两次来实现，其中在第一次迭代中校准步骤可以以较粗略的方式执行并且仅导致初步结果，而在一个或更多个后续迭代中，初步结果可以用作中间结果以得出关于校准图案13的变形的信息并且使用该信息来执行相应地调整校准以便最终获得具有改进的精度的摄像头的位置和/或取向，而不管如何变形。通过可选地将图像11限制为一个或更多个关注区域17、17’(例如，首先基于假设，但是在后续迭代中基于中间结果)，可以补偿用于重复执行至少一些校准步骤的额外的计算工作量，使得校准所需的时间不会显著增加或甚至可能减少。

参考标号列表

11 图像

13 校准图案

15 第一子图案

15’第二子图案

17、17’关注区域

Claims (13)

1.一种用于校准摄像头相对于校准图案(13)的位置和/或取向的方法，所述方法包括以下步骤：

A.借助于所述摄像头获取所述校准图案(13)的图像(11)；

B.确定所述图像(11)的至少一个参数，和/或呈现在所述图像(11)中的所述校准图案(13)或所述校准图案(13)的子图案(15、15')的至少一个参数；

C.基于所述至少一个参数转换所述图像(11)；

D.识别所述校准图案(13)的转换后的图像内的所述校准图案(13)的特征点或可能特征点；

E.根据所识别出的特征点或可能特征点得出所述摄像头相对于所述校准图案(13)的位置和/或取向；

F.根据所得出的所述摄像头的位置和/或取向的置信度值和/或根据到目前为止步骤B到步骤F的迭代次数，重复步骤B到步骤F，其中，在步骤B中，考虑所得出的所述摄像头的位置和/或取向来确定所述至少一个参数；以及

G.输出在步骤E的最后一次迭代中得出的所述摄像头的位置和/或取向，

其中，在步骤D中，识别所述校准图案(13)的可能特征点，并且，仅当到目前为止步骤B到步骤F的迭代次数和/或在步骤F的最新迭代中确定的所述置信度值等于或高于阈值时，才在由所识别出的可能特征点组成的一组候选点内识别所述校准图案(13)的特征点。

2.根据权利要求1所述的方法，

其中，所述摄像头是安装到车辆上的摄像头。

3.根据权利要求1所述的方法，

其中，在步骤B中，确定所述图像(11)的至少一个参数的过程包括确定所述图像(11)内预期包括所述校准图案(13)或所述校准图案(13)的子图案(15、15')的至少一个关注区域(17、17')，并且

其中，在步骤C中，转换所述图像(11)的过程包括将所述图像(11)限制到在步骤B中确定的所述至少一个关注区域(17、17')，以及向限制后的图像施加可能的进一步转换。

4.根据权利要求1至3中任一项所述的方法，

其中，在步骤B中，确定所述校准图案(13)或所述校准图案(13)的子图案(15、15')的至少一个参数的过程包括确定呈现在所述图像(11)中的所述校准图案(13)或所述子图案(15、15')的尺寸和/或形状，并且

其中，在步骤C中，转换所述图像(11)的过程包括基于所确定的所述校准图案(13)或所述子图案(15、15')的尺寸和/或形状来定义滤波器内核，以及使用所述滤波器内核对所述图像(11)进行滤波。

5.根据权利要求1所述的方法，

其中，在步骤C中，转换所述图像(11)的过程包括通过针对所述图像(11)的每个像素用该像素的邻近区域中的像素的像素值的平均值替换该像素的像素值来平滑所述图像(11)，所述像素的所述邻近区域是根据在步骤B中确定的所述至少一个参数来定义的。

6.根据权利要求1所述的方法，

其中，在步骤C中，转换所述图像(11)的过程包括利用根据在步骤B中确定的所述至少一个参数定义的滤波器内核进行卷积来对所述图像(11)或根据所述图像(11)得出的平滑后图像进行滤波。

7.根据权利要求6所述的方法，

其中，对所述图像(11)或所述平滑后图像进行的卷积包括以下步骤

-通过针对所述图像(11)或平滑后图像的每个像素，用具有比相应的像素更小的第一坐标和第二坐标的像素的像素值的总和替换所述相应的像素的像素值，来根据所述图像(11)或所述平滑后图像得出积分图像；以及

-利用对应于所述滤波器内核的修正滤波器内核对所述积分图像进行卷积。

8.根据权利要求6或7所述的方法，

其中，所述卷积是被定义为所述滤波器内核与所述图像(11)或所述平滑后图像的乘积在两个维度上的求和的离散卷积，其中，所述求和的步长取决于到目前为止步骤B至步骤F的迭代次数和/或在步骤B中确定的所述至少一个参数。

9.根据权利要求8所述的方法，

其中，在步骤C的第一次迭代中，所述求和的步长大于步骤C的后续迭代中的步长。

10.根据权利要求1所述的方法，

其中，在步骤E中，得出所述摄像头的位置和/或取向的过程包括计算所述摄像头相对于所述校准图案(13)的横向偏移和高度中的至少一个和/或计算所述摄像头相对于所述校准图案(13)的滚转角、偏航角和俯仰角中的至少一个。

11.根据权利要求3所述的方法，

其中，在步骤B中，除了步骤B的第一次迭代以外，确定至少一个关注区域(17、17')的过程包括根据所计算出的所述摄像头的滚转角、偏航角和俯仰角中的至少一个和/或所计算出的所述摄像头的横向偏移和高度中的至少一个，转换在步骤B的前一次迭代中确定的所述关注区域(17、17')。

12.根据权利要求4所述的方法，

其中，在步骤B中，除了步骤B的第一次迭代以外，确定所述校准图案(13)或所述子图案(15、15')的尺寸和/或形状的过程包括根据所计算出的所述摄像头的滚转角、偏航角和俯仰角中的至少一个和/或所计算出的所述摄像头的横向偏移和高度中的至少一个，转换在步骤B的前一次迭代中确定的所述校准图案(13)或所述子图案(15、15')的尺寸和/或形状。

13.一种存储有计算机程序的计算机可读存储介质，所述计算机程序具有当在计算设备中执行时进行根据权利要求1至12中任一项所述的方法的软件装置。