CN101676686A - 确定布置在车辆中的照相机的位置和取向的方法 - Google Patents

Abstract

本发明涉及确定布置在车辆中的照相机的位置和取向的方法。本发明涉及一种用于确定布置在车辆中的、尤其用于巡航控制系统的照相机的位置和取向的方法。照相机布置在相对于几何图案的第一距离处，使得至少三个不在一条直线上的特征图案点位于照相机的视野范围内，其中，特征点之间的距离是已知的。由照相机记录几何图案的第一图像，并通过优化描述照相机成像特性的成像模型，从照相机所记录图像中对应于特征图案点的至少三个特征图像点的位置，来确定照相机相对于由车辆定义的坐标系的高度、侧倾角和纵倾角。

Description

确定布置在车辆中的照相机的位置和取向的方法

技术领域

【0001】本发明涉及一种用于确定布置在车辆中的照相机的位置和取向的方法。

背景技术

【0002】照相机用在车辆中，例如与巡航控制系统相结合。如果巡航控制系统包括所谓的转向辅助装置，则照相机观察位于车辆前方的视野范围并使转向辅助装置能够识别行车道限制或者甚至次级道路上的不相关路边。因此，利用由照相机记录的图像，可确定车辆距行车道边缘的距离，或者通过车辆速度，可确定直到非有意离开行车道的时长。距行车道边缘的距离或者直到离开行车道的时长一旦不达到某个预定值，转向辅助装置就发出警告(车道偏离警告)以帮助司机。

【0003】为了能够可靠地发出这样的警告以帮助司机和避免错误的警告，必须尽可能准确地知道照相机相对于由车辆定义的坐标系的位置和取向，因为否则会错误地确定距行车道边缘的距离或者直到离开行车道的时长。

【0004】已经提出各种方法来确定布置在车辆中的照相机的位置和取向，其中，在所谓的在线和离线校准方法之间通常进行区别。

【0005】布置在车辆中的照相机的在线校准方法是在车辆运行期间执行的，并且需要对车辆的周围环境作出几何假设，或者需要使用车辆运行的参数，诸如例如转向角或横向加速度。几何假设(大多数情况下不是基于确切的测量)和车辆运行参数的使用(可能为误差所累)，限制了在线校准方法的准确度，使得在确定照相机位置和取向的时候，仅仅使用在线校准方法不能获得所需的准确度。

【0006】离线校准方法是已经在车辆的制造期间或者是在车辆在车间中维修保养期间执行的。公知的离线校准方法利用通常布置在车辆前方的照相机视野范围内的水平和/或竖直的几何图案。在公知的离线校准方法中，必须精确地知道几何图案的特征点相对于由车辆定义的坐标系的位置。在由照相机记录的图像中，通过照相机的成像特性和/或成像模型，确定对应于几何图案的特征点的特征图像点的位置以确定照相机相对于由车辆定义的坐标系的位置和取向。

【0007】为了实施公知的离线校准方法，因此需要确切地知道特征点相对于由车辆定义的坐标系的三个空间坐标，以达到校准所需的准确度。就确定特征点在车辆坐标系中的三个坐标而言，这是不利的，也就是说，测量特征点相对于车辆的位置，在时间和设备方面需要相当大的花费。此外，测量可能包含系统误差并可能为非准确性所累。另外，针对每一种车辆类型必须至少再次确定该特征点的该三个坐标。

发明内容

【0008】因此，本发明的目的是提供一种方法，采用该方法可以更简单、更快速而又精确地确定布置在车辆中的照相机的位置和取向。

【0009】该目的通过具有权利要求1的特征的方法而达到，尤其在于，照相机布置在相对于几何图案的第一距离处，使得至少三个不在一条直线上的特征图案点位于照相机的视野范围内，其中，特征点之间的距离是已知的，并由照相机记录几何图案的第一图像。从照相机所记录图像中对应于特征图案点的至少三个特征图像点的位置，来确定照相机相对于由车辆定义的坐标系(这里也称作车辆坐标系)的高度、侧倾角和纵倾角，在这一点上描述照相机成像特性的成像模型是优化的。为了执行该方法，需要具有至少三个特征点的图案，以便它们决定一个平面以确定角度。

【0010】本发明方法的一个特别优势在于，只需要知道特征图案点之间的距离，而不是这三个点相对于车辆的位置。特征图案点(优选地布置在一个平面内，尤其是在基底(base)上)之间的距离，与这些点相对于车辆的空间位置相比，可以显著地更简单和更精确地确定。此外，例如在机动车车间里，可以将几何图案在基底上标记一次，然后可以按照需要的频度再次使用。

【0011】由于仅需要开始时测量一次几何图案的特征点之间的距离，然后就可以按照需要的频度执行该方法，而无需更新特征图案点之间距离的测量。从而减小了对误差的敏感性，并且与公知的离线校准方法相比提高了校准的准确度。

【0012】如果首先知道了特征图案点之间的距离，则不需要进一步的测量以执行该方法。因此，执行该方法的时间花费显著地少于公知的离线校准方法。根据本发明发生的是用于实施照相机成像模型的优化算法的一次性花费，而不是在已知的离线校准方法中为每次校准所需的测量花费。

【0013】本发明的有利设计可从从属权利要求、说明书和附图中看出。

【0014】描述照相机成像特性的成像模型优选地按如下优化：首先通过成像模型将至少三个对应于特征图案点且位于照相机图像平面内的特征图像点投影回车辆坐标系统中(即，通过逆成像)，计算出投影回的点在照相机前方区域中的位置。投影回的点是虚像点。

【0015】如果成像模型正确描述了照相机的成像特性及其在车辆中的位置和取向，则投影回的点的位置将与特征图案点的位置重合。但是，在实践中大多数情况下不优化成像模型这是不能实现的。

【0016】由于成像模型取决于如下参数，尤其包括照相机相对于车辆坐标系的高度、侧倾角和纵倾角(这些参数也称为外部参数)，因此可改变成像模型的参数以优化成像模型，直到使每种情况下两个投影回的点之间的距离与对应的特征图案点之间的已知距离相一致。照相机的高度、侧倾角和纵倾角从而对应于成像模型的优化外部参数。

【0017】为了改变成像模型的参数，可使用若干种优化方法。但是，有利地通过使非线性误差函数最小化来实施成像模型的优化，所述非线性误差函数将每种情况下两个特征图案点间的距离与对应的投影回的点的距离之间的偏差的平方作为误差。优选通过优化算法，尤其是确定性的，例如根据单纯形(Nelder-Mead Simplex)方法，来实施非线性误差函数的最小化。因此，有利的是，非线性误差函数的优化算法独立于照相机的成像模型，使得优化算法和成像模型可以彼此分开实施和改进。

【0018】优选地使用针孔照相机模型作为成像模型。一方面，针孔照相机模型清楚且具有少量的参数，但另一方面，又精确得足以用校准所需的准确度来描述照相机的成像特性。

【0019】照相机图像中特征图像点的位置有利地通过经修改的辐射对称变换来确定。如果照相机的分辨率足够大，则大多数情况下，特征图像点在照相机图像中包括若干像素构成的一个区域。例如，可通过经修改的辐射对称变换以亚像素范围内的准确度来确定照相机图像中圆形点的中心，使得成像模型的准确度不受限于照相机的技术特性，诸如例如像素大小和分辨能力。

【0020】为了完全决定布置在车辆中的照相机的位置和取向，优选地额外确定照相机相对于车辆坐标系的横摆角。因此，使车辆相对于几何图案直线运动，并且在照相机相对于几何图案的第二距离处记录几何图案的至少一张第二图像，其中第二距离不同于第一距离。

【0021】第一特征图像点对应于第一照相机图像中的同一特征图案点，且第二特征图像点对应于第二照相机图像中的同一特征图案点，通过借助于优化后的成像模型反向投影(back projection)到车辆坐标系中，计算出对应的第一和第二投影回的点的位置。如果照相机相对于车辆行驶方向的横摆角等于零，则第二投影回的点相对于第一投影回的点的位置不变，即，这两个投影回的点重合。另一方面，如果出现不等于零的横摆角，则从来自不同图像的对应于特征图案点的投影回的点的位置变化来确定照相机的横摆角。如果车辆沿其纵轴线运动，则照相机的横摆角的大小对应于投影回的点相对于车辆纵轴线的位置变化的纵倾角的大小。

【0022】有利的是，也不需要进一步的测量(例如时间间隔或距离)以确定照相机的横摆角。尤其是不需要确定车辆或照相机与特征图案点之间的距离或者该距离的变化。

【0023】虽然原则上来说，计算出来自第一图像的第一投影回的点和来自第二图像的第二投影回的点以由此确定第一和第二投影回的点之间的位置变化，对于确定横摆角而言就足够了，但是计算出来自第一图像的若干第一投影回的点和对应数量的来自第二图像的第二投影回的点以由此确定对应数量的位置变化，这对于确定照相机的横摆角而言是有利的。可替代地或额外地，可以将两张以上的图像用于点的反向投影。以这种方式，显著提高了确定照相机横摆角时的准确度，这是因为通过更多数量的测量数据减小了成像或反向投影的统计误差，并且可以识别和消除干扰或误差测量。

【0024】一旦确定了布置在车辆中的照相机的位置和取向，就可将照相机相对于车辆坐标系的高度、侧倾角、纵倾角和横摆角作为参数传输到巡航控制系统的图像评价算法。换言之，使图像评价算法适应上述参数，从而适应照相机的位置和取向。这样校准了照相机以用于特定应用中，例如用于巡航控制系统的转向辅助装置中。

【0025】为了实施上述方法，提供了具有权利要求11的特征的装置。本发明的装置包括尤其是固定的几何图案、布置在车辆中的照相机和连接于照相机的校准单元。几何图案具有至少三个不在一条直线上的特征图案点(这些点间的距离已知)，并且布置在车辆前方的照相机的视野范围内。连接于照相机的校准单元可作为独立模块或作为巡航控制系统的控制单元的一部分实施。校准单元也被设计成用于实施描述照相机成像特性的成像模型的优化。通过成像模型的优化，具体借助于照相机所记录的图像中特征图像点的位置，来确定照相机的高度、侧倾角和纵倾角。校准单元也被设计成用于从投影回的点的位置的变化确定照相机的横摆角。

附图说明

【0026】下面参照附图利用一个有利实施例来说明本发明。

【0027】图1示出了用于实施本发明的方法的装置的示意图，

【0028】图2示出的示意图例示了照相机横摆角的确定。

具体实施方式

【0029】图1示出了车辆11和布置在巡航控制系统中的巡航控制系统的照相机13，该照相机13的位置和取向，即高度、侧倾角、纵倾角和横摆角将相对于车辆坐标系来确定。照相机13可以布置在例如风挡玻璃的上方区域中或者车辆11的前方区域中。

【0030】车辆坐标系的x轴由车辆11的纵轴线定义在行驶的前进方向上，y轴在驾驶员门的方向上垂直地指向x轴，z轴垂直地指向上方。

【0031】照相机13具有光轴和限定成像平面的图像传感器(例如CCD传感器)，其中光轴与成像平面的交点被用作照相机的参考点。车辆坐标系的原点位于基底上，待确定的照相机的高度由照相机的参考点在车辆坐标系中的z坐标限定。待确定的侧倾角、纵倾角和横摆角表示图像传感器绕车辆坐标系的x轴、y轴或z轴的旋转角。

【0032】照相机13连接到未示出的校准单元以确定其位置和取向。

【0033】还提供了附接到例如基底的几何图案15，用于确定照相机13的位置和取向。在本示例性实施例中，几何图案15具有圆形特征图案点17的布置，其中，图案的其它设计也是可能的。几何图案必须具有至少三个特征点17，它们决定车辆前方的一个平面。举例来说，图1的图案包括6个点以提高该方法的准确度。

【0034】每种情况下两个特征图案点之间的距离19，例如点17’和17”之间的距离是已知的。为了这个目的，可以首先精确地测量图案15，例如根据它的形状。

【0035】为了确定照相机13的位置和取向，将车辆11定位在图案15的前方，使得图案15位于照相机13的视野范围内，并由照相机13记录几何图案15的第一图像。照相机图像包含对应于特征图案点17的特征图像点。特征图像点的确切位置(即对应于圆形图案点17的圆或椭圆的中心)，优选地通过经修改的辐射对称变换来确定。因此，图像点的位置可用亚像素范围内的分辨率来确定。

【0036】投影回的点21的位置由校准单元借助于成像模型(尤其是针孔照相机模型)，然后通过特征图像点的反向投影计算得出。投影回的点是虚像点，即它们不是通过借助于光学系统成像而产生的。如果没有正确地考虑照相机13的位置和取向，则投影回的点21之间的距离(以举例的方式由点21’和21”之间的距离23示出)偏离特征图案点17’和17”之间的距离19，即成像模型不是优化的。

【0037】为了优化成像模型，改变针孔照相机模型的参数直到使投影回的点21’、21”之间的距离23与特征图案点17’、17”之间的已知距离19相一致。虽然原则上来说知道每种情况下两个特征图案点17之间的三个距离19并使三个距离23适应对应的投影回的点21对于针孔照相机模型的优化而言足够了，但是进一步将特征图案点17之间的距离19与对应的投影回的点21之间的距离23相比较并将它们用于针孔照相机模型的优化是有利的。以这种方式，优化的准确度得到显著的提高。

【0038】照相机模型的优化通过确定性优化算法来实施，例如单纯形方法。优化算法基于非线性误差函数的最小化，该函数将每种情况下两个特征图案点17间的距离19与对应的投影回的点21间的距离23之间的偏差的平方作为误差。

【0039】待优化的针孔照相机模型的参数尤其包括，照相机13相对于由车辆11定义的坐标系的高度、侧倾角和纵倾角。因此，可通过模型的优化确定照相机13的高度、侧倾角和纵倾角。

【0040】为了额外地确定照相机的横摆角，使车辆11相对于几何图案15进行直线运动，例如朝着该图案运动。运动方向在图2中由箭头20标出。在照相机相对于几何图案15的第二距离处记录几何图案15的至少一张第二图像，其中第二距离不同于第一距离。

【0041】通过第一照相机图像的第一特征图像点和来自第二照相机图像的第二特征图像点(它们对应于同一选定特征图案点17a)的反向投影，借助优化的成像模型计算出对应的第一和第二投影回的点21a或21b的位置。

【0042】如果照相机13的横摆角不等于零，则第二投影回的点21b(通过第二照相机图像计算而得)相对于第一投影回的点21a(通过第一照相机图像计算而得)的位置发生了位移。照相机13的横摆角从而对应于投影回的点21a、21b相对于车辆11的运动方向20发生的位置变化的负纵倾角α。

【0043】其它投影回的点21c、21d等的位置有利地从其它照相机图像计算得出，其中对于所有图像而言车辆11与几何图案15之间的距离都不同。在这种情况下，投影回的点21a、21b、21c、21d等的位置变化的纵倾角α可以通过平衡线25来确定。

【0044】可替代地或者额外地，可以计算出对应于其它特征图案点17的第一和第二投影回的点21a或21b。以这种方式，确定照相机横摆角时的准确度得到了显著提高，这是因为通过大量的测量数据减小了统计误差，并且可以识别和消除干扰或误差测量。

【0045】然后将所确定的照相机13的位置和取向(即，通过照相机模型的优化而确定的高度和所确定的照相机13的侧倾角、纵倾角和横摆角)从校准单元传输到巡航控制系统的图像评价单元，以使图像评价单元的图像评价算法适应照相机13的位置和取向并校准照相机13以用于所需的应用中。

Claims (11)

1.一种用于确定布置在车辆(11)中的、尤其用于巡航控制系统中的照相机(13)的位置和取向的方法，其中，该方法包括：

将照相机(13)布置在相对于布置在基底上的几何图案(15)的第一距离处，使得至少三个不在一条直线上的特征图案点(17)位于照相机(13)的视野范围内，其中，特征图案点(17)之间的距离(19)是已知的；

由照相机(13)记录几何图案(15)的第一图像；

在由照相机(13)记录的图像中确定对应于特征图案点(17)的特征图像点；

通过描述照相机(13)成像特性的成像模型，将特征图像点虚地投影回基底上，并计算出投影回的点(21)在由车辆定义的车辆坐标系中的位置；

优化成像模型，使每种情况下两个投影回的点(21)之间的距离(23)与对应的特征图案点(17)之间的已知距离(19)相一致；以及

从优化后的成像模型确定照相机(13)相对于车辆坐标系的高度、侧倾角和纵倾角。

2.如权利要求1所述的方法，其特征在于，按如下实施成像模型的优化：使将两个特征图案点(17)间的距离(19)与对应的投影回的点(21)间的距离(23)之间的偏差的平方作为误差的非线性误差函数最小化。

3.如权利要求2所述的方法，其特征在于，通过优化算法，尤其是确定性优化算法，例如根据单纯形方法，使非线性误差函数最小化。

4.如前述权利要求中至少一项所述的方法，其特征在于，成像模型是针孔照相机模型。

5.如前述权利要求中至少一项所述的方法，其特征在于，通过经修改的辐射对称变换来确定照相机图像中的特征图像点的位置。

6.如前述权利要求中至少一项所述的方法，其特征在于，使车辆(11)相对于图案(15)直线运动，并且在照相机(13)相对于几何图案(15)的第二距离处记录几何图案(15)的至少一张第二图像，其中第二距离不同于第一距离；

通过第二图像的特征图像点的反向投影，借助于成像模型计算出投影回的点(21b)的位置；

确定源自第二图像的投影回的点(21b)的位置相对于源自第一图像的对应的投影回的点(21a)的位置的变化；以及

从所确定的位置的变化，确定照相机(13)相对于由车辆(11)定义的坐标系的横摆角。

7.如权利要求6所述的方法，其特征在于，从所确定的相对于车辆(11)的运动方向(20)的位置变化的纵倾角(α)来确定照相机(13)的横摆角。

8.如权利要求6或7所述的方法，其特征在于，从照相机的每张图像内和/或来自两张以上的图像的一个以上的点的位置变化，来确定照相机(13)的横摆角。

9.一种对机动车(11)的巡航控制系统的照相机进行校准的方法，其中，通过如权利要求7至9之一所述的方法，确定照相机(13)相对于由车辆(11)定义的坐标系的高度、侧倾角、纵倾角和横摆角，并使巡航控制系统的用于评价照相机(13)所记录图像的图像评价算法适应照相机(13)的所确定的高度和所确定的侧倾角、纵倾角及横摆角。

10.一种用于执行如前述权利要求中至少一项所述的方法的装置，其中，该装置包括：

尤其是固定的几何图案(15)，其具有至少三个不在一条直线上的特征图案点，这些点彼此之间的距离(19)是已知的；

布置在车辆(11)中的照相机(13)，尤其用于巡航控制系统中，其相对于几何图案(15)布置成使得图案(15)的至少三个特征点(17)位于照相机(13)的视野范围内；以及

连接于照相机(13)的校准单元，其被设计成通过优化描述照相机(13)的成像特性的成像模型，从照相机所记录的图像中对应于特征图案点(17)的特征图像点的位置，确定照相机(13)相对于由车辆(11)定义的坐标系的高度、侧倾角和纵倾角。

11.如权利要求10所述的装置，其特征在于，校准单元被设计成从通过特征图像点的反向投影借助于优化后的成像模型而计算出的投影回的点(21)的位置的变化，确定照相机(13)的横摆角。

Images