CN104517283A - 用于车辆上摄像机的在线校准的系统、车辆和方法 - Google Patents

Abstract

本发明涉及用于车辆上摄像机的在线校准的系统、车辆和方法。用于车辆(1)上摄像机(2、3、4)的在线校准的方法被提供。摄像机(2、3、4)在摄像机图像坐标系中具有摄像机旋转参数、θ、ψ与摄像机平移参数x_c、y_c、z_c，并且车辆具有车辆坐标系。所述方法包括：在车辆(1)相对于地面移动的同时，使用平行几何方法校准摄像机旋转参数、θ、ψ，并独立于摄像机旋转参数、θ、ψ校准摄像机平移参数x_c、y_c。

Description

用于车辆上摄像机的在线校准的系统、车辆和方法

技术领域

本发明涉及用于车辆(vehicle)上摄像机(camera)的在线校准(calibration)的系统、车辆和方法。

背景技术

一辆车可能包括一个或更多个用于捕获其周围环境的图像的摄像机。所述图像可用于检测诸如路上的车道或交通标志的目标的存在，或可给驾驶员提供车辆的紧接附近的视图(view)。车辆的紧接附近的视图可用于在停车时辅助驾驶员，或可用于提高安全性，因为驾驶员能够观看到在正常驾驶位置中对他遮挡住的区域。还可从捕获的一张或多张图像检测危险或隐患，并然后给驾驶员提供警告，或者可结合驾驶员辅助系统使用该信息，以有效地控制车辆并避免危险。

典型地，在车辆上提供几个摄像机，例如四个。来自每个摄像机的图像可被组合，以提供顶视图(也称为鸟瞰图)或全景图的形式的360°图像。为了提供不间断的360°视图，来自相邻摄像机(例如前摄像机和侧摄像机)的图像可彼此重叠。

可对摄像机进行校准以确定摄像机相对于其周围环境的位置和取向。对车辆而言，可确定摄像机相对于已知基准(datum)(例如前轴中心)的位置和取向，以便来自摄像机的图像可被用于例如将多个摄像机视图准确组合成单个环绕视图并准确确定障碍物的范围。

可在车辆制造期间执行摄像机的校准。但是，已开发出了在车辆驾驶的同时自动校准摄像机的系统，以补偿在车辆寿命内可能出现的未对准，或在其制造之后对安装在车辆上的摄像机的位置进行校准。例如，DE 10 2009 057 996 A1公开了用于确定摄像机相对于车辆位置的位置的系统。这样的在车辆移动的同时对摄像机进行校准的系统可被称为在线校准系统。

发明内容

本发明的目的是提供一种用于车辆上摄像机的在线校准的方法和系统，其使得能够进行准确的校准，并且其可使用较少的处理资源被执行。

通过独立权利要求的主题解决了这一目的。进一步的有利特征是从属权利要求的主题。

一种用于车辆上摄像机的在线校准的方法被提供。摄像机在摄像机图像坐标系中具有摄像机旋转参数、θ、ψ以及摄像机平移参数x、y、z，并且车辆具有车辆坐标系。所述方法包括：在车辆相对于地面移动的同时，使用平行几何方法校准摄像机旋转参数、θ、ψ，并且独立于摄像机旋转参数、θ、ψ校准摄像机平移参数x_c、y_c。

摄像机旋转参数通过欧拉角、θ、ψ表示，而摄像机平移参数通过笛卡尔坐标系x_c、y_c、z_c表示，这里，z_c是摄像机在地面之上的高度，x_c表示汽车长度上的方向，而y_c是汽车宽度上的方向。可使用平行几何方法(诸如WO 2012/143036 A1中公开的平行几何方法)确定摄像机旋转参数、θ、ψ，并且可选地，确定高度z_c。

根据本发明，在与摄像机旋转参数、θ、ψ分离的步骤中对摄像机的平移参数x_c、y_c进行校准。这避免了由于试图同时求解多个独立变量而造成的数据模糊(data ambiguity)，其中，如果在单个方法中校准旋转参数和平移参数，则可能出现所述数据模糊。

在一个实施案例中，由于可在不知晓摄像机平移参数x_c、y_c的情况下实施平行几何方法，因此在第一步骤中使用该方法来校准摄像机旋转参数以及摄像机高度z_c。因此，通过首先校准旋转参数、θ、ψ和高度参数z_c，并通过在第二独立阶段中校准平移参数x_c、y_c，来将整个校准分为两个阶段。因此，避免了由于同时求解相互依赖的参数而造成的任何准确度下降。

摄像机可以是每秒捕获许多图像或帧的数字或模拟的视频摄像机。可在显示图像的同时捕获图像并存储数据。可同时地或在收集数据集之后的后来时间执行对图像的分析，以识别图像中的一个或更多个特征并跟踪特征的轨迹。还可收集多个数据集以进一步提高校准的准确度。表示实际的车辆移动的数据(例如车辆速度和换向角(steering angle))可同时被收集，并与图像和/或从图像获得的数据相关联。

在一实施例中，通过确定相对于车辆坐标系的摄像机平移参数x_c、y_c的差，并将偏移(offset)施加至摄像机图像坐标系中的平移参数x_c、y_c，来校准摄像机平移参数x_c、y_c。计算该偏移以对该差进行补偿。

可在车辆沿弯曲路径移动的同时对摄像机平移参数x_c、y_c进行校准。因此，在一实施例中，所述方法包括确定车辆正沿弯曲路径移动，并在车辆沿弯曲路径移动的同时对摄像机平移参数x_c、y_c进行校准。换向盘的位置可从车辆控制单元获得，并被评估以确定车辆正沿直线还是沿弯曲路径行驶。在一些实施例中，仅在车辆正沿弯曲路径移动的同时才可发生对平移参数x_c、y_c的校准。

在一实施例中，通过确定摄像机图像坐标系中的车辆转向(turning)中心与车辆坐标系中的车辆转向中心之间的差，来对摄像机平移参数x_c、y_c进行校准。

特别地，可通过跟踪摄像机在一时间段上捕获的至少两个图像中的两个或更多个特征，将所述两个或更多个特征映射到地平面，使弧与映射的特征拟合，并根据弧计算摄像机图像坐标系中的车辆转向中心，来确定摄像机图像坐标系中的车辆转向中心。

可通过测量车辆换向角，并根据车辆换向角计算车辆坐标系中的车辆转向中心，来确定车辆坐标系中的车辆转向中心。

如果摄像机图像坐标系中与车辆坐标系中的车辆转向中心的位置的差被确定，则确定要添加至摄像机平移参数x_c、y_c的偏移，使得摄像机图像坐标系中的车辆转向中心的位置与车辆坐标系中的车辆转向中心的位置对应。该偏移然后被施加至摄像机平移参数x_c、y_c。

为了进一步提高校准的准确度，可在车辆沿逆时针弯曲的弯曲路径和沿顺时针弯曲的弯曲路径移动(即，驾驶员正换向至左面或至右面)的同时，对摄像机平移参数x_c、y_c进行校准。

还可通过在车辆沿具有不同半径的弯曲路径移动的同时(即，在车辆正通过平缓曲线或陡峭曲线移动至左面或至右面时)对摄像机平移参数x_c、y_c进行校准，来提高校准的准确度。

典型地，用于校准摄像机旋转参数的平行几何方法仅在车辆正沿直线行驶的情况下被执行。因此，在进一步的实施例中，所述方法包括确定车辆正沿直线行驶，并使用平行几何方法校准摄像机旋转参数、θ、ψ。例如，换向盘角度可被用于确定车辆正沿直线行驶。基于平行几何原理的各种方法可被用于确定摄像机旋转参数，以及可选地，确定摄像机高度z_c。

在一实施例中，平行几何方法包括：在车辆沿直线行驶的同时，对来自摄像机在一时间段上捕获的至少两个图像的两个或更多个纵向特征进行跟踪，并且调整摄像机旋转，使得从摄像机图像坐标系映射到车辆坐标系时所记录的轨迹平行。

如果要确定摄像机的高度，则这可通过在跟踪纵向特征的同时记录车辆速度、并确定特征在预定时间段中在摄像机图像中已移动的距离来执行。

可通过确定根据摄像机图像测量的距离与根据车辆速度计算的预测距离之间的差，根据该差计算摄像机的高度的偏移，并将该偏移添加至摄像机高度的存储值，来对摄像机的高度进行校准。

还提供了一种计算机程序产品，其包括其上有形地实施的代码，当在处理器上执行所述代码时，使所述处理器执行上述实施例之一的方法。

计算机程序产品可为诸如光驱动器、硬盘、闪存等的数据载体。如果计算机程序要升级或增强现有系统，则该实施例可能是有用的。

还可将计算机程序存储在用于图像捕获和/或图像处理的设备或系统中的存储器中。如果设备和系统被提供以用于安装在车辆中，则可使用该实施例。

提供了一种包括校准单元的系统，该校准单元包括：用于从至少一个摄像机接收图像的第一输入装置；用于存储摄像机平移参数x_c、y_c、z_c以及摄像机旋转参数、θ、ψ的存储器；用于接收实际的车辆换向角的第二输入装置；用于接收实际的车辆速度的第三输入装置；以及用于执行上述实施例之一的方法的处理装置。处理装置可包括存储器，该存储器包括有形代码，当通过处理装置执行该有形代码时，使处理装置执行上述实施例之一的方法。

系统可进一步包括至少一个摄像机以及用于显示来自摄像机的图像的显示器。

典型地，在车辆上设置几个摄像机，例如四个。来自每个摄像机的图像可被组合，以提供顶视图(也称为鸟瞰图)或全景图的形式的360°图像。典型地，为了提供不间断的360°视图，来自相邻摄像机(例如前摄像机和侧摄像机)的图像彼此重叠。可使用由处理单元实施的另外方法对来自两个或更多个摄像机的图像进行组合。使用这里描述的方法之一对摄像机的校准可被用于去除或减小由不同摄像机捕获的图像内的特征的位置差，以提供“无缝”组合图像。

提供了一种车辆，其包括安装在车辆上的至少一个摄像机和上述实施例之一的系统。

附图说明

现在将参照附图对实施例进行描述。

图1示出车辆和车辆坐标系的示意图。

图2示出包括摄像机和用于校准摄像机的系统的车辆的示意图。

图3示出用于车辆上摄像机的在线校准的方法的示意图。

图4示出用于校准摄像机平移参数的方法的示意图。

图5示出用于校准摄像机旋转参数的方法的示意图。

具体实施方式

图1示出车辆1和车辆坐标系x_v、y_v、z_v的示意图。车辆坐标系是具有基准的笛卡尔坐标系，在本实施例中基准被取作前轴中心。在车辆坐标系中，方向x_v在车辆长度方向上延伸，方向y_v在车辆宽度方向上，并且方向z_v在车辆高度方向上。由于基准位于前轴中心，因此，-y_v延伸至车辆左面，+y_v延伸至车辆右面，-x_v为前轴的前面，+x_v为前轴的后面，+z_v在前轴上面，且–z_v在前轴下面。

图2示出包括四个摄像机的车辆1的示意侧视图，其中三个摄像机2、3、4示出在车辆1的视图中。摄像机2被定位为捕获车辆前面的环境，摄像机3被定位为捕获面向车辆左侧的环境，摄像机4被定位为捕获车辆后面的环境，并且未示出的摄像机被定位于车辆右手侧以捕获车辆1右面的环境。

摄像机具有广的视野，以便能捕获车辆1的紧接附近的完整360°图像。然而，这里描述的方法可用于具有较小视野的摄像机，可用于包含仅单个摄像机或多于四个摄像机的车辆。

摄像机具有内在参数和外在参数。摄像机外在参数描述摄像机图像坐标系，该摄像机图像坐标系包含三个旋转参数、θ、ψ和三个平移参数x_c、y_c、z_c。三个平移参数x_c、y_c、z_c在图2中示出。

希望摄像机图像坐标系的这些参数与真实世界的那些参数对应，例如，与车辆坐标系的那些参数对应，使得摄像机的图像中所捕获的特征的位置可准确映射到它们在真实世界中的位置。该映射可用于检测车辆附近的目标，例如危险。该信息可用于警告车辆驾驶员，或可被驾驶员辅助系统使用，使得车辆驾驶员辅助系统自动采取适当行动以避免危险。

当在工厂中将摄像机安装在车辆上时，可对摄像机外在参数(extrinsics)的旋转参数、θ、ψ和平移参数x_c、y_c、z_c进行校准。但是，摄像机外在参数可随时间变动，例如因为摄像机在车辆上的位置稍微地变化，或者，由于摄像机在其制备之后被装配于车辆，因此摄像机可能要求校准。校准摄像机的一种方式是使用在线校准方法在摄像机移动的同时(并且由于摄像机安装在车辆上，因此在车辆移动的同时)对摄像机进行校准。

车辆1包括含有校准单元6的系统5，该校准单元6具有耦接至摄像机以使其能接收来自这些摄像机的图像的第一输入端7、以及用于显示来自摄像机的图像的显示器11。校准单元6还包括用于接收实际车辆换向角的第二输入端8、以及用于接收实际车辆速度的第三输入端9。校准单元6还包括用于安装在车辆1上的摄像机2、3、4中的至少一个的在线校准的处理装置10。

图3示出根据第一实施例的用于车辆上摄像机(诸如图2所示的安装在车辆1上的摄像机2、3、4之一)的在线校准的方法20的示意图。

在第一步骤中，在车辆相对于地面移动的同时，使用平行几何方法21(诸如WO 2012/143036 A1中公开的平行几何方法)对摄像机旋转参数、θ、ψ进行校准。在第二步骤22中独立于摄像机旋转参数、θ、ψ并且独立于校准摄像机旋转参数的方法21对摄像机平移参数x_c、y_c进行校准。

可首先执行平行几何方法21，之后执行第二步骤22。因此，在对摄像机旋转参数、θ、ψ进行校准后，执行进一步的校准以对摄像机平移参数x_c、y_c进行校准。

在方法22中，通过确定相对于车辆坐标系(因此，相对于真实世界)的摄像机平移参数之间的差来对摄像机平移参数x_c、y_c进行校准。如果差被确定，则将偏移施加给摄像机图像坐标系中的平移参数，以对该差进行补偿。

在车辆沿弯曲路径移动的同时对摄像机平移参数x_c、y_c、z_c进行校准。因此，第二步骤22包括接收来自车辆(例如来自车辆控制单元)的有关车辆速度和换向盘角度的数据23，以便确定车辆正相对于地面沿弯曲路径移动。在步骤24中从摄像机接收图像，并且在步骤25中记录来自车辆的图像和数据。在步骤26中，识别第一图像内的至少两个特征。对同一摄像机收集的后续图像进一步分析，以确定所述两个或更多个特征的位置，并在摄像机在一时间段上捕获的两个或更多个图像上对这些特征的位置进行跟踪。该数据被用于识别摄像机图像坐标系中的车辆转向中心T_c以及车辆坐标系中的车辆转向中心T_v。

图4示出用于确定摄像机图像坐标系中的车辆转向中心T_c及车辆坐标系中的车辆转向中心T_v的方法的示意图。示出了具有后摄像机3的车辆1沿弯曲路径移动。在所示的例子中，确定了针对五个图像的两个特征30、31相对于地面的位置，使弧32、33与图像30、31形成的轨迹中的每一个拟合，并根据这些弧32、33计算车辆转向中心T_c。

来自车辆的有关换向盘角度的实际数据被用于计算车辆坐标系中的车辆转向中心T_v。对摄像机图像坐标系中的车辆转向中心T_c与车辆坐标系中的车辆转向中心T_v之间的位置进行比较，如果存在差34，则该差可被用于计算被施加给摄像机参数x_c、y_c的偏移35，由此对摄像机平移参数x_c、y_c进行校准。

回到图3，在用于校准摄像机旋转参数、θ、ψ的平行几何方法21中，在步骤24中收集来自摄像机的数据，并且在步骤25中，在车辆沿直线行驶的同时收集来自车辆的数据。

如果车辆相对于地面沿直线移动，则可通过对摄像机在一时间段上捕获的至少两个图像中的两个或更多个纵向特征进行跟踪，来执行摄像机旋转参数的在线校准。例如，可使用WO 2012/143036 A1中公开的平行几何方法。

调整摄像机旋转、θ、ψ，使得在从摄像机图像坐标系映射至车辆坐标系时，所记录的纵向特征的轨迹平行。这在图5中示出。

图5示出安装在车辆40上的两个摄像机所捕获的图像的示意图。在前摄像机45捕获的图像41中，示出了两个纵向特征42、43，例如路上的车道标记。在后摄像机46捕获的图像44中，捕获到相同的两个纵向特征42’、43’。可以看出，图像41中捕获的纵向特征42、43与图像44中捕获的纵向特征42’、43’的位置之间存在偏移47。由于两个摄像机45、46捕获相同的纵向特征，因此在两个图像41、44中纵向特征的位置应相同。因此，差47可被用于调整摄像机旋转参数，使得在两个图像41、44中纵向特征42、43的位置相同。

也通过在跟踪纵向特征的同时记录车辆速度来使用平行几何方法确定摄像机高度z_c。这使得能够确定特征在预定时间段中在摄像机图像中已移动的距离。通过使用三角测量，可确定摄像机高度z_c。

也可通过确定从摄像机图像测量的距离与从车辆速度计算的预测距离之间的差，来对摄像机高度z_c进行校准。如果该差被确定，则这可被用于计算能添加至存储的摄像机高度值的偏移。

概括而言，在与摄像机旋转参数、θ、ψ的校准分离的方法步骤中对摄像机平移参数x_c、y_c进行校准，以便避免由于试图同时求解多个独立变量而造成的数据模糊，其中，如果在单个方法中校准旋转参数和平移参数，则可能出现该数据模糊。诸如WO 2012/143036 A1中公开的方法的现有技术平行几何方法可被用于对摄像机旋转参数、θ、ψ进行校准，并且，可选地，可被用于对高度z_c进行校准。

Claims (15)

1.一种用于车辆(1)上摄像机(2、3、4)的在线校准的方法，摄像机(2、3、4)在摄像机图像坐标系中具有摄像机旋转参数、θ、ψ和摄像机平移参数x_c、y_c、z_c，并且车辆具有车辆坐标系，所述方法包括：

在车辆(1)相对于地面移动的同时，使用平行几何方法校准摄像机旋转参数、θ、ψ，以及

独立于摄像机旋转参数、θ、ψ校准摄像机平移参数x_c、y_c。

2.根据权利要求1所述的方法，其特征在于，通过确定摄像机平移参数x_c、y_c相对于车辆坐标系的差并将偏移施加至摄像机图像坐标系中的平移参数x_c、y_c，来校准摄像机平移参数x_c、y_c。

3.根据权利要求1或权利要求2所述的方法，其特征在于，在已校准摄像机旋转参数、θ、ψ后，对摄像机平移参数x_c、y_c进行校准。

4.根据权利要求1至3之一所述的方法，还包括：确定车辆(1)正沿弯曲路径移动，并在车辆沿弯曲路径移动的同时对摄像机平移参数x_c、y_c进行校准。

5.根据权利要求4所述的方法，其特征在于，通过以下步骤来校准摄像机平移参数x_c、y_c：

跟踪摄像机(2、3、4)在一时间段上捕获的至少两个图像中的两个或更多个特征，

将所述两个或更多个特征映射到地平面，

使弧与映射的特征拟合，

根据弧计算摄像机图像坐标系中的车辆转向中心T_c，

确定车辆换向角，

根据车辆换向角计算车辆坐标系中的车辆转向中心T_v，

确定摄像机图像坐标系中的车辆转向中心T_c与车辆坐标系中的车辆转向中心T_v之间的差，

确定要添加至摄像机平移参数x_c、y_c以使得摄像机图像坐标系中的车辆转向中心T_c的位置与车辆坐标系中的车辆转向中心T_v的位置对应的偏移，以及

将偏移施加至摄像机平移参数x_c、y_c。

6.根据权利要求3至5之一所述的方法，其特征在于，在车辆沿逆时针弯曲的弯曲路径和沿顺时针弯曲的弯曲路径移动的同时，对摄像机平移参数x_c、y_c进行校准。

7.根据权利要求3至6之一所述的方法，其特征在于，当车辆沿具有不同半径的弯曲路径移动的同时，对摄像机平移参数x_c、y_c进行校准。

8.根据权利要求1至7之一所述的方法，还包括：确定车辆(1)正沿直线行驶，并使用平行几何方法对摄像机旋转参数、θ、ψ进行校准。

9.根据权利要求8所述的方法，其特征在于，所述平行几何方法包括：

在车辆(1)沿直线行驶的同时，对来自摄像机在一时间段上捕获的至少两个图像的两个或更多个纵向特征进行跟踪，

调整摄像机旋转参数，使得当从摄像机图像坐标系映射至车辆坐标系时，所记录的轨迹平行。

10.据权利要求9所述的方法，还包括：通过在跟踪纵向特征的同时记录车辆(1)的速度，并确定特征在预定时间段中在摄像机图像中已移动的距离，来确定摄像机(2、3、4)的高度z_c。

11.根据权利要求10所述的方法，还包括：确定根据摄像机图像测量的距离与根据车辆速度计算的预测距离之间的差，根据所述差计算摄像机的高度z_c的偏移，并将所述偏移添加至摄像机的高度z_c的存储值。

12.一种计算机程序产品，包括其上有形地实施的代码，当在处理器上执行所述代码时，使所述处理器执行权利要求1至11之一所述的方法。

13.一种包括校准单元的系统(5)，所述校准单元包括：

第一输入装置(7)，用于从至少一个摄像机(2、3、4)接收图像，

存储器，用于存储摄像机平移参数x_c、y_c、z_c和摄像机旋转参数、θ、ψ，

第二输入装置(8)，用于接收实际的车辆换向角，

第三输入装置(9)，用于接收实际的车辆速度，

处理装置(10)，用于执行权利要求1至11之一所述的方法。

14.根据权利要求13所述的系统(5)，还包括至少一个摄像机和用于显示来自摄像机的图像的显示器(11)。

15.一种车辆(1)，包括安装在车辆(1)上的至少一个摄像机(2、3、4)和权利要求13或权利要求14所述的系统(5)。