CN108292440B - 在校准图案的图像内标识该校准图案的特征点的方法 - Google Patents

Abstract

一种在校准图案的图像内标识该校准图案的特征点的方法，该方法包括以下步骤：针对从校准图案的图像导出的一组候选点中的每个候选点：(i)在候选点上覆盖模板点的模板布置，使得模板点中的主点与候选点重合，其中，模板布置对应于校准图案或者对应于校准图案的子图案，(ii)针对模板布置中的每个模板点，除了主点之外，从一组候选点中标识最接近模板点的候选点，以及(iii)通过对模板布置中的、除了主点以外的每个模板点与最接近模板点的候选点之间的距离进行求和来确定偏离度；以及将一组候选点中的、具有低于偏离阈值的偏离度的所有那些候选点标识为校准图案的特征点。

Description

在校准图案的图像内标识该校准图案的特征点的方法

技术领域

本发明涉及在校准图案的图像中的一组候选点内标识该校准图案的特征点的方法。

背景技术

例如，为了校准安装至车辆(尤其是卡车)的摄像机的取向，可以有用的是，获取布置在车辆前方的校准图案的图像并且根据校准图案的视角失真导出摄像机的取向。量化这些失真来具体确定摄像机相对于车辆、相对于校准图案或者优先地相对于车辆和校准图案两者的滚转角(roll angle)、偏航角(yaw angle)和俯仰角(pitch angle)尤其需要在校准图案的图像内标识校准图案的特征点。例如，这些特征点接着可以被用于确定至少两条水平线和两条垂直线，其中，水平消失点由校准图案的图像中的水平线的表示限定，并且垂直消失点由校准图案的图像中的垂直线的表示限定。滚转角具体可以根据水平消失点或垂直消失点的坐标来计算，偏航角可以根据沿着该图像的第一基本水平轴的水平消失点的第一坐标来计算，而俯仰角可以根据沿着该图像的第二基本垂直轴的垂直消失点的第二坐标来计算。这种方法在同一申请人的并且在与本申请相同的提交日提交的标题为“Method forcalibrating the orientation of a camera mounted to a vehicle”的专利申请中进行了描述，其由此被加以引用。

为了标识校准图案的图像中的特征点(对于所述校准安装至车辆的摄像机的取向或者对于任何其它目的来说)，该图像可以被预处理，例如，平滑和/或滤波。尤其是，(平滑)图像可以被滤波，使得指示相应特征点的区域呈现为所滤波的图像中的、具有超过某一阈值的像素值的斑点。然后，可以通过遍历图像的算法在所滤波的图像内标识所述斑点，直到找到具有超过该阈值的像素值的像素为止，接着沿着像素值超过该阈值的像素与像素值未超过该阈值的像素之间的边界，围绕所述斑点描绘该斑点的轮廓。具体而言，然后可以将至少可能的特征点确定为相应斑点的中心点，其中，相应的中心点被计算为所述斑点的像素上的加权平均值。这种方法在同一申请人的并且在与本申请相同的提交日提交的标题为“Method for identification of candidate points as possible characteristicpoints of a calibration pattern within an image of the calibration pattern”的专利申请中进行了描述，其由此被加以引用。

然而，可能的是，用于确定给定图像内的可能特征点的这种方法或任何其它方法不仅可以导致所寻找的特征点，而且例如导致校准图案的次要点和/或伪标识点，所述伪标识点可能由图像中的噪声或其它干扰或者图像背景中的意外地类似于校准图案或校准图案的子图案的结构所造成。因此，通过所述方法或通过另一方法获得的点可能仅仅是可能的特征点，并且因此，可以被视为从校准图案的图像中导出并且在其内仍然必须标识该校准图案的真实特征点的一组候选点。

发明内容

本发明的目的是提供一种能够以高特异性并且不需要高计算能力在校准图案的图像内标识该校准图案的特征点的方法。

给定从校准图案的图像导出的一组候选点，针对该组候选点中的每个单独候选点执行至少三个步骤。

所述三个步骤中的第一个步骤包括在候选点(即，当前被执行该步骤的相应候选点)上覆盖模板点的模板布置，使得模板点中的主点与候选点重合，其中，所述模板布置对应于所述校准图案或者对应于所述校准图案的子图案。所述模板布置包括多个模板点，模板点中的一个模板点是所述模板布置的所述主点。这个主点正好放置在当前正在调查的候选点上。

所述模板布置用作用于所述校准图案或子图案的模板，如果所述候选点实际上是所述校准图案的特征点，则其某种程度上应当存在于所述候选点的附近。因此，所述模板布置的所述主点对应于所述特征点，并且所述模板布置中的其它模板点对应于所述校准图案的次要点，仅仅有助于标识所述校准图案的相应特征点。

例如，所述校准图案包括由与该校准图案的背景形成对比的两个相同取向的正方形形成的子图案，其中，一个正方形的角部与另一个正方形的角部重合。这可以被视为只有两行两列的棋盘。尤其是，所述正方形在明亮或白色背景上至少基本上可以是暗色或黑色。包含一个或更多个这种子图案的所述校准图案的特征点然后可以是这两个正方形的角部重合的相应子图案的中心。例如，所述校准图案的次要点可以是正方形的所有其它角部，即，除了两个重合的角部以外。具体来说，所述模板布置是一组七个模板点，该组七个模板点被放置得好像所述模板点是所述两个正方形的角部一样。接着，所述模板布置的中心模板点优先是该模板布置的主点。

可以调节所述模板布置的尺寸以补偿该校准图案的图像中的校准图案的不同缩放比例。这可能是必要的，因为校准图案的尺寸可以根据摄像机的焦距(缩放水平)和/或摄像机与校准图案的距离而变化。

所述三个步骤中的第二个步骤包括：针对所述覆盖模板布置中的除了所述主点之外的每个模板点，从所述一组候选点中标识最接近所述模板点的所述候选点。换句话说，针对每个模板点，逐个模板点地，从所有候选点中选择最接近相应模板点的一个候选点。对于所述模板布置中的主点来说，这不是必需的。因为所述模板布置被放置成使得所述主点与正在调查的候选点重合，所以这个候选点当然是最接近所述主点的候选点，使得该候选点与所述主点之间的距离总是为零。

在标识了最接近所述模板布置中的所述模板点的相应候选点之后，作为所述三个步骤中的第三个步骤，通过对所述模板布置中的、除了所述主点以外的每个模板点与最接近该模板点的所述候选点之间的距离进行求和来确定偏离度。而且，将所述主点除外，因为其不需要被考虑。这是因为所述模板布置中的所述主点到最接近该主点的所述候选点的距离必然为零(因为它们的重合)，因此不会是所述偏离度的部分原因。

对于所有其它模板点，即使所述模板布置被覆盖至所述校准图案的真实特征点，也可能存在至各个候选点的非零距离，并且在这种情况下，所述模板点理想地与所述校准图案的次要点或所述校准图案的子图案重合。但是由于视角或其它失真，例如，由于用以获取图像的摄像机镜头或镜头系统，而且尤其是如果摄像机的取向未使得该摄像机的光轴垂直于所述校准图案的平面并且该摄像机具有零滚动角，则所述模板点与相应最接近候选点之间最有可能会存在非零距离。在所有单独距离上求和的累计距离将随着理想偏离的增加而增加。因此，所述距离之和可以被用作针对候选点及其周围与所述校准图案或该校准图案的子图案的偏离的量度。偏离度可以通过一个因子来归一化，例如通过将所述距离之和除以被加数的数量。然而，这不是必要的，因为偏离度主要用作相对量度。

在针对所述一组组候选点中的每个候选点执行了所述至少三个步骤之后，所述一组候选点中的、具有低于偏离阈值的偏离度的所有那些候选点被标识为所述校准图案的特征点。该阈值可以是预定的，并且可以适于偏离度的归一化。然而，该阈值也可以动态地限定，例如通过设定该阈值以使得获得希望数量的特征点。另选的是，通过分析针对所有候选点的偏离度的分布并且设定阈值以使得该阈值将偏离度的第一显著累积与具有显著更高值的偏离度分离，从而可以动态地限定该阈值。

所述方法主要使用简单的算术运算，来放置所述模板布置，标识最接近相应模板点的所述候选点，通过距离求和来计算偏离度，并将偏离度与阈值进行比较。尽管方法简单，它非常适合将候选点去粗存精作为所述校准图案的可能特征点。

根据实施方式，针对所述一组候选点中的每个候选点，围绕所述候选点限定具有预定面积和形状的关注区域，以在将所述模板布置覆盖至所述候选点时包围所述模板布置。优先地，针对所述模板布置中的除了所述主点以外的每个模板点，从位于所述关注区域中的那些候选点中标识最接近所述模板点的所述候选点。因此，通过这样的关注区域，可以缩小要搜索相应模板点的最接近候选点的区域。这尤其减少了距离比较的数量，因此导致更快速地执行该方法。

然而，如果使用这样的关注区域，那么可能发生的是，对于所述模板布置中的一些模板点，找不到最接近候选点。因为对于这些模板点来说，无法计算相距它们各自最近候选点的距离，将它们从为确定偏离度而计算的和中省略了。尤其是，在所述关注区域内可能根本没有候选点，除了与所述模板布置的主点重合的正在调查的候选点以外。在这种情况下，偏离度将为零并因此低于阈值，即使所述关注区域中的单个候选点不是所述校准模板的特征点。因此这种情况必须单独考虑，下面，进一步对其示例进行描述。

根据实施方式，所述校准图案是至少包括第一子图案和第二子图案的子图案布置。在这样的实施方式中，标识所述特征点大部分如前所述执行。然而，针对所述一组候选点中的每个候选点，优先地，通过对第一模板布置中的、除了和所述候选点重合的主点以外的其它每个模板点与最接近该模板点的所述候选点之间的距离进行求和来确定第一偏离度，并且通过对第二模板布置中的、除了和所述候选点重合的主点以外的其它每个模板点与最接近该模板点的所述候选点之间的距离进行求和来确定第二偏离度，其中，所述第一模板布置和所述第二模板布置分别对应于第一子图案和第二子图案。换句话说，针所述一组组候选点中的每个候选点执行的所述至少三个步骤被执行两次，针对第一模板布置执行一次，针对第二模板布置执行一次，以检查与第一子图案或第二子图案的匹配。

在确定了所述一组候选点中的每个候选点的第一偏离度和第二偏离度之后，如果所述一组候选点中的相应候选点的第一偏离度小于其第二偏离度并且低于第一偏离阈值，则将该候选点标识为第一类型的特征点，而如果所述一组候选点中的相应候选点的第二偏离度小于其第一偏离度并且低于第二偏离阈值，则将该候选点标识为第二类型的特征点。因此，不仅标识了所述一组可能的特征点中的真实特征点，而且它们分别与第一子图案和第二子图案中的一个相应子图案相关。然后可以将该信息另外输出至如此标识的特征点的纯粹位置。

根据实施方式，如果所述候选点的第一偏离度和第二偏离度不都等于零，则仅将所述候选点标识为相应类型的特征点，具体标识为第一类型的特征点或者标识为第二类型的特征点。如上提到的，在所述模板点与相应候选点完全重合的不太可能的情况下或者在没有找到最接近模板点的候选点的情况下(尤其是在如上所述使用关注区域的情况下，具体为针对所述第一和第二模板布置的相同关注区域)，偏离度可能为零。如果无法找到最接近候选点，则独立于相应模板布置，该偏离度为零。因此，针对要被标识为所述校准图案的特征点的相应候选点，所述第一偏离度和第二偏离度中的至少一个偏离度必须是非零的。

距离可以按不同方式来计算。具体来说，所述模板布置中的模板点与被标识为最接近该模板点的候选点的候选点之间的距离是所述模板点与所述候选点之间的坐标差的平方和的平方根。这对应于Euclidean度量。

另选的是，所述模板布置中的模板点与被标识为最接近该模板点的候选点的候选点之间的距离是所述模板点与所述候选点之间的坐标差的平方和。这与前面的度量不同之处在于省略了计算平方根。因此，距离对应Euclidean度量的平方。利用这样的度量具有的优点在于，省略根导致缩短的计算时间。

作为另一另选例，所述模板布置中的模板点与被标识为最接近该模板点的候选点的候选点之间的距离可以是所述模板点与所述候选点之间的绝对坐标差之和。这对应于所谓的Manhattan或计程车度量，其甚至比平方Euclidean度量更容易计算，因为其只包括加法和减法，但却导致了令人满意的结果。

无论哪个度量被用于所述距离计算，优选地也使用相同的度量来确定至相应模板点的最接近候选点。

根据实施方式，在标识所述特征点之后，输出所述特征点以供进一步评估。输出特征点(可能包括它们各自的类型)尤其可以被用于确定摄像机的取向，借助于此，可以如上所述地获取所述校准图案的图像。

而且，在这种实施方式中，优选的是，每个特征点与被标识为最接近覆盖在所述候选点上的所述模板布置中的相应模板点的所述候选点一起输出。这些候选点(另外输出)具体为所述候选图案的所述次要点，或者所述校准图案的相应子图案，它们位于相应特征点的附近，并通过它们的存在帮助标识所述特征点。

而且，本发明的目的通过计算机程序产品来解决，并且具体地通过具有计算机程序的计算机程序产品来解决，如果该计算机程序在计算装置中执行，则该计算机程序具有用于执行根据上述实施方式中至少一个的方法的软件装置。由于在执行该方法期间计算的优选低复杂度，因而该计算机程序尤其可以适用于在用以获取校准图案的图像的摄像机的微控制器或嵌入式系统上执行。

附图说明

图1示出了利用摄像机获取的校准图案的示例性图像。

图2示出了围绕相应候选点的四个关注区域。

图3示出了校准图案的真实特征点与假的特征点。

具体实施方式

下面，参照附图，进一步对本发明进行示例性描述。

图1示出了利用未示出的摄像机获取的校准图案13的示例性图像11。校准图案13包括十个子图案15、15'，可以在图像11中识别十个子图案的表示。存在第一类型子图案15和第二类型子图案15'。两种类型的子图案15、15’皆由两个同等取向的正方形形成，其中一个正方形的角部与另一个正方形的角部重合。其中，第一类型的相应子图案15的两个正方形的相对取向垂直于第二类型的相应子图案15'的两个正方形的相对取向。

五个子图案15、15'沿着第一垂直线排列，另五个图案沿着第二垂直线排列。第一垂直线上的每个子图案15、15'与第二垂直线上的相应子图案15、15'形成一对，使得相应对的两个子图案15、15'在一条水平线上对准。因此，总计存在五条水平线。虽然没有描绘两条垂直线和五条水平线，并因此没有明确的校准图案部分，但它们明显通过子图案15、15’限定，具体通过位于其中两个正方形彼此接触的子图案15、15’的中心的、这些子图案15、15'的各个特征点来限定。

尤其是，通过将图像11与对应于子图案15、15'的滤波核进行卷积并且标识这样滤波图像内的斑点，可以确定校准图案13的可能特征点(参照图1中的白色点)。因为这些可能特征点也包含错误判断，所以它们是必须进一步评估以标识真实特征点的候选点。

通过搜索针对第一子图案15或针对第二子图案15'的点结构特征来标识真实特征点。这是通过在相应的候选点周围限定关注区域17并覆盖模板布置以使得模板布置的主点与该候选点重合来完成的，其中，第一模板布置专用于第一子图案15，而第二模板布置专用于第二子图案15'。这在图2中示例性地示出，其中，示出了围绕相应候选点(参照中央黑色星号)的四个关注区域17。

在图2中，白色(水平和垂直)十字是相应关注区域17内的候选点。黑色(对角线)十字是分别一起形成第一模板布置或第二模板布置的模板点。被描绘为黑色星号的中心模板点是模板布置的主点。示出了图2的每个关注区域17，其包括包含在其中并且与图像11的相应区域一起的候选点和模板点，使得可以识别校准图案13的相应子图案15、15'。上方的两个关注区域17对应于第一子图案15，而下方的两个关注区域17对应于第二子图案15'。为此，在上方的两个关注区域17中，示出了与第一子图案15相对应的第一模板布置，并且在下方的两个关注区域17中示出了与第二子图案15’相对应的第二模板布置。

可以从图2看出，相应模板布置的、除了主点以外的模板点与它们的最接近候选点不完全重合。总的(分别为第一或第二)偏离度通过对模板点与它们各自的最接近候选点之间的距离求和来计算。如果被覆盖了模板布置的候选点是第一子图案15或第二子图案15'的特征点并且使用了对应模板布置(如图2所示)，那么距离相对较小。对于虚假的候选点来说，该距离将明显更大。因此，可以使用偏离度来区分校准图案13的真实特征点与假的特征点。

这在图3中示例性地示出。在图3中，图像11内的所有候选点的所计算的偏离度在图中被标绘为斑点。如可以直接看出的，大多数偏离度具有高值，只有少数偏离主要部分，具有处于较低范围的值。阈值19表示将主要部分与这几个分离的线。除了对应于偏离度为零的斑点之外，低于阈值19的所有点然后表示校准图案13的特征点。以这种方式可靠地标识校准图案13的特征点。

标号列表

11 图像

13 校准图案

15 第一子图案

15’ 第二子图案

17 关注区域

19 阈值

Claims (10)

1.一种在校准图案的图像内标识所述校准图案的特征点的方法，该方法包括以下步骤：

-针对从所述校准图案的所述图像导出的一组候选点中的每个候选点：

-在所述候选点上覆盖模板点的模板布置，使得所述模板点中的主点与所述候选点重合，其中，所述模板布置对应于所述校准图案或者对应于所述校准图案的子图案，

-针对所覆盖的模板布置中的、除了所述主点之外的每个模板点，从所述一组候选点中标识最接近所述模板点的所述候选点，以及

-通过对所述模板布置中的、除了所述主点以外的每个模板点与最接近该模板点的所述候选点之间的距离进行求和，确定偏离度；以及

-将所述一组候选点中的、具有低于偏离阈值的偏离度的所有那些候选点标识为所述校准图案的特征点。

2.根据权利要求1所述的方法，

其中，针对所述一组候选点中的每个候选点，围绕所述候选点限定具有预定面积和形状的关注区域，以使在将所述模板布置覆盖至所述候选点时所述关注区域包围所述模板布置，

并且其中，针对所述模板布置中的、除了所述主点以外的每个模板点，从位于所述关注区域中的那些候选点中标识最接近所述模板点的所述候选点。

3.根据权利要求1或2所述的方法，

其中，所述校准图案是至少包括第一子图案和第二子图案的子图案布置，

其中，针对所述一组候选点中的每个候选点，

-通过对第一模板布置中的、除了与所述候选点重合的主点以外的每个模板点与最接近该模板点的所述候选点之间的距离进行求和，确定第一偏离度，并且

-通过对第二模板布置中的、除了与所述候选点重合的主点以外的每个模板点与最接近该模板点的所述候选点之间的距离进行求和，确定第二偏离度，

其中，所述第一模板布置和所述第二模板布置分别对应于所述第一子图案和所述第二子图案，

并且其中，如果所述候选点的第一偏离度小于其第二偏离度并且低于第一偏离阈值，则将所述候选点标识为第一类型的特征点，而如果所述候选点的第二偏离度小于其第一偏离度并且低于第二偏离阈值，则将所述候选点标识为第二类型的特征点。

4.根据权利要求3所述的方法，

其中，如果所述候选点的第一偏离度和其第二偏离度不都等于零，则仅将所述候选点标识为相应类型的特征点。

5.根据权利要求1或2所述的方法，

其中，所述模板布置中的模板点与如下的候选点之间的距离是所述模板点与所述候选点之间的坐标差的平方和的平方根：该候选点是被标识为最接近该模板点的候选点。

6.根据权利要求1或2所述的方法，

其中，所述模板布置中的模板点与如下的候选点之间的距离是所述模板点与所述候选点之间的坐标差的平方和：该候选点是被标识为最接近该模板点的候选点。

7.根据权利要求1或2所述的方法，

其中，所述模板布置中的模板点与如下的候选点之间的距离是所述模板点与所述候选点之间的绝对坐标差之和：该候选点是被标识为最接近该模板点的候选点。

8.根据权利要求1或2所述的方法，

其中，在标识所述特征点之后，输出所述特征点以供进一步评估。

9.根据权利要求8所述的方法，

其中，每个特征点与被标识为最接近覆盖在所述特征点上的所述模板布置中的相应模板点的所述候选点一起输出。

10.一种具有计算机程序的计算机存储介质，该计算机程序在该计算机程序在计算装置中执行的情况下，执行根据权利要求1至9中任一项所述的方法。

Images