CN104246825B

CN104246825B - 用于车辆摄像机的在线校准的方法和装置

Info

Publication number: CN104246825B
Application number: CN201380006092.8A
Authority: CN
Inventors: 克里斯多夫·普夫卢格; 朱里·普拉托诺夫; 帕维尔·卡奇马尔斯基; 托马斯·加保尔
Original assignee: ESG Elektroniksystem und Logistik GmbH
Current assignee: ESG Mobility Inc
Priority date: 2012-01-20
Filing date: 2013-01-17
Publication date: 2016-01-06
Anticipated expiration: 2033-01-17
Also published as: WO2013107814A1; US9262828B2; EP2618305A1; EP2618305B1; CN104246825A; US20150036885A1

Abstract

一种用于确定布置在车辆上的摄像机相对于车辆坐标系的取向的方法，所述方法包括：基于所述摄像机的视频流的光流测量所述摄像机的坐标系中的增量车辆运动；以由直线运动分量和转动运动构成的运动表示所述增量车辆运动，其中，以方向向量表示所述直线运动，以转动轴和转动角表示所述转动运动；基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动；测量至少一个分类为直线运动的增量运动；测量至少一个分类为转动运动的增量运动；和使用至少一个所测量的直线运动的方向向量来估算车辆的纵轴；使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线，使得所述摄像机相对于车辆坐标系的取向是由在所述摄像机的坐标系中已经分别确定的车辆纵轴和所述车辆平面的法线推出的。

Description

用于车辆摄像机的在线校准的方法和装置

本发明涉及一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向，即自动的摄像机-车辆校准(以下称为在线校准)的方法和装置。

目前，摄像机相对于车辆的取向的确定通过所谓的离线校准来执行。这涉及在车辆生产周期结束时专门的硬件设置。

该过程既不灵活，同时还是昂贵的。这种死板的校准过程的最大缺点在于假设摄像机取向在最终使用者(驾驶员)使用车辆期间不会变化。但是，机械负载和温度影响导致去校准，也即是说，导致实际值和工厂确定值之间的差异。因此，存在在实际使用期间发生摄像机系统去校准的技术问题(通过机械负载和温度影响对车辆结构的影响)，这导致摄像机相对于车辆不精确或错误的定位，从而导致对例如驾驶员辅助系统(ADAS)的不精确或错误的输入数据。

为此，车辆制造商对通过在最终使用者处全自动的校准来替换或补充离线校准非常感兴趣。

因此，本发明的一个目的是这种全自动校准，以及驾驶时自动校正发生的去校准。

已经存在的用于在线校准的方法基于道路标志的检测或基于检测道路上的特征。而首先提及的方法导致对适合于校准的环境的严格限制；后者提及的方法易于产生错误，这是因为一方面不能总是满足在特定图像区域内平整道路的假设，另一方面稀疏的柏油路纹理是对于特征提取非常不利的环境。

基于道路标志检测的构想例如在Catalá-Prat、J.Rataj和R.Reulke的Self-calibrationsystemfortheorientationofavehiclecamera,Proc.oftheISPRSCom.VSymposium:ImageEngineeringandVisionMetrology,2006,第68–73页，以及在S.Hold、S.Gormer、A.Kummert、M.Meute和S.Muller-Schneiders的Anovelapproachfortheonlineinitialcalibrationofextrinsicparametersforacar-mountedcamera,IntelligentTransportationSystems,2009.ITSC’09.12thInter-nationalIEEEConferenceon,IEEE,2009,第1–6页，或在M.Wu和X.An的Anautomaticextrinsicparametercalibrationmethodforcamera-on-vehicleonstructuredroad,VehicularElectronicsandSafety,2007.IC-VES.IEEEInternationalConferenceon,IEEE,2007,第1–5页中进行描述。

在M.Miksch、B.Yang和K.Zimmermann的Homography-basedextrinsicself-calibrationforcamerasinautomotiveapplications,WorkshoponIntelligentTransportation,2010,第17–22页中的描述的系统使用柏油路的自然纹理用于校准，但是，其假设了平整的柏油路，且其在图像中的取向需要是已知的，而且系统需要车辆里程计。

因此，本发明的一个目的是提供一种避免所述现有技术的缺点的在线校准方法和装置。

根据一个实施方案，提供了一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向的方法，其包括：

基于摄像机的视频流的光流测量摄像机的坐标系中的增量车辆运动；

以由直线运动分量和转动运动构成的运动表示增量车辆运动，其中，以方向向量表示所述直线运动分量，以转动轴和转动角表示所述转动运动；

基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动；

测量至少一个已经分类为直线运动的增量运动；

测量至少一个已经分类为转动运动的增量运动；和

使用至少一个所测量的直线运动的方向向量来估算车辆的纵轴；

使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线，使得摄像机相对于车辆坐标系的取向是由摄像机的坐标系中已经分别确定的车辆纵轴和车辆平面的法线推出的。

通过使用只是视觉里程计的数据，可以省略其它信息来源。这些用于在线校准的数据的使用通过使用车辆运动的相对简单的模型成为可能，所述模型将运动分类为转动运动或直线运动，且之后基于此的所述模型直接基于所测量的运动确定车辆纵轴或车辆法线的估算。

根据一个实施方案，所述方法还包括：

测量多个增量车辆运动；

使用车辆纵轴和转动轴的多个估算来确定对车辆纵轴和转动轴的改善的估算。

通过将多个测量值包括进估算中，可以提高精确度。

根据一个实施方案，所述方法还包括：

当增量车辆运动的转动角小于特定阈值时，将运动分类为直线运动；

当增量运动的转动角大于特定阈值时，将运动分类为转动运动。

这样，车辆运动可以以简单的方式分类为两种类别“直线运动”或“机动/曲线/转动运动”中的一种。

根据一个实施方案，所述方法还包括：

使用直线运动或直线运动分量的平面的法线作为对除了转动轴之外的车辆纵轴的垂线的另一估算；

基于所确定的直线运动或运动分量的垂线和转动运动的转动轴的结合来确定对车辆平面的法线的估算。

因此，还可以考虑以下事实：直线运动的平面(穿过其法线)传达了关于车辆法线的信息和由此关于转动轴的信息。

根据一个实施方案，基于由测量确定的或由直线运动分量确定的直线运动的平面的法线与转动向量应当平行的要求来确定所述结合。

这使得直线运动和转动运动的数据能够融合。

根据一个实施方案，通过增量车辆运动的重复测量来迭代地确定车辆的纵轴和车辆的法线的估算值。

这提高了估算的精确度。

根据一个实施方案，所述方法还包括：

通过测量i将车辆的法线的更新值确定为：

{\hat{t}}_{c} = Λ_{{\hat{t}}_{c}}^{i - 1} \underset{n = 0}{Σ} {(Q_{t} (t_{c}^{n}) + R_{t} (t_{c}^{n}))}^{- 1} t_{c}^{n}

其中，是权重或信息矩阵，且其中，Q_t和Q_r是直线车辆轴或车辆的法线的协方差矩阵，所述协方差矩阵具有高斯过程噪声。

这样，可以实施用于估算的有利的测量模型。

根据一个实施方案，一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向的装置包括：

用于基于摄像机的视频流的光流测量摄像机的坐标系中的增量车辆运动的模块；

用于以由直线运动分量和转动运动构成的运动表示所述增量车辆运动的模块，其中，以方向向量表示所述直线运动分量，以转动轴和转动角表示所述转动运动；

用于基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动的模块；

用于测量至少一个已经分类为直线运动的增量运动的模块；

用于测量至少一个已经分类为转动运动的增量运动的模块；和

用于使用至少一个所测量的直线运动的方向向量来估算车辆的纵轴的模块；

用于使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线的模块，使得摄像机相对于车辆坐标系的取向是由摄像机的坐标系中已经分别确定的车辆纵轴和车辆平面的法线推出的。

根据一个实施方案，所述装置还包括：

一个或更多个用于实施根据本发明实施方案之一的方法的模块。

根据一个实施方案，提供了一种计算机程序，其包括：计算机程序代码，所述计算机程序代码在计算机上执行时使得其能够实施根据本发明实施方案之一的方法。

下面会通过实施方案详细地描述本发明。

因此，图1示出了根据本发明一个实施方案的在线校准的过程。

根据一个实施方案，首先借助于摄像机视频数据(图像序列)基于所谓的“光流”来进行摄像机(连接到车辆)的运动的估算。为此，可以如例如在D.Nistér、O.Naroditsky和J.Bergen的Visualodometry,ComputerVisionandPatternRecognition,2004.CVPR2004.Proceedingsofthe2004IEEEComputerSocietyConferenceon,第1卷,IEEE,2004,第I–652页中描述的那样使用所谓的“视觉里程计”。于是，这在摄像机的坐标系中以5个自由度、即运动方向和3个取向参数传递摄像机运动。

借助于视觉里程计然后基于光流(在重复测量步骤或运动步骤i中)确定车辆的运动，也即是说，通过车辆以5个自由度移动的量来确定车辆的移动量。

基于此，之后借助于车辆运动的相对简单的模型来确定车辆纵轴和车辆法线轴(在摄像机的坐标系中)。这之后直接导致摄像机相对于车辆坐标系的取向和由此的摄像机的在线校准。

根据一个实施方案，使用的车辆运动的模型基于车辆的可能的运动可以被分类为对于城市环境分别为典型的两种运动模式中的一种，即：

a)至少一种直线车辆运动，和

b)机动，其中驱动绕转动轴的转动(曲线)。

可以例如基于所测量的转动角进行确定或决定车辆运动是直线运动还是机动。

如果已经确定的车辆运动被确定为属于两种运动模式中的一种，那么对于特定的所测量的运动步骤i，可以确定以下信息：

1、直线运动情况下运动方向的确定

2、车辆机动情况下转动轴的确定

根据一个实施方案的运动模型的另一假设在于“直线运动”沿着车辆的纵轴。已经在步骤i中由视觉里程计确定的运动向量因此是对车辆的纵轴的“估算”(在摄像机的坐标系中)。同时，车辆的法线/垂线轴的估算是由直线运动的运动平面的法线产生的。

车辆的法线轴的另一估算是由已分类为“转动”或“曲线”或“机动”的运动步骤产生的。

因为曲线运动是绕平行于车辆法线轴的轴的转动，所以如对机动所确定的转动轴以及直线运动分量的平面的法线都包含关于车辆的法线轴的信息。这两种信息之后可以“融合”，例如当例如在寻求解决方案期间考虑所确定的直线运动分量的平面的法线和对于机动的情况所确定的转动轴平行的要求时。如由视觉里程计所确定的转动分量的转动轴表示该法线轴的估算。

因此，在单个测量步骤中，由视觉里程计或光流产生直线运动的向量的估算和由此的车辆的纵轴的估算，或转动轴的估算和由此的车辆的法线的估算(总是在车辆摄像机的坐标系中)。

可以在重复的测量步骤中重复估算值的确定，以通过基于多个测量步骤的估算确定估算值来提高测量精确度。此外，在车辆法线的确定中，直线运动分量和转动运动分量的测量数据可以通过寻找解决方案或其中直线运动的运动平面的法线与转动轴平行的解决方案融合。

与大部分其它方法相反，基本上不需要车辆传感器设备的信息(例如速度)，尽管这些信息可以用于提高鲁棒性。此外，道路标志或柏油路纹理不起任何作用。

以下会描述本发明的另一实施方案。

此处，考虑到摄像机的视频流在线校准也基于连接到车辆的摄像机的运动估算，还基于简单车辆运动模型。因此，运动估算基于所谓的光流，即一组在视频流中随着时间跟踪的且之后产生对该特征的运动的估算的二维特征。

因为只会预期点状特征的呈现，在通常的车辆环境中主要是该情况，所以光流是对环境较弱的要求。此外，特征不必处于单个平面上，例如在道路上。

对于成功的校准，需要至少一个直线运动和一个机动，该模式在城市环境中是尤其普遍的。其它运动或对应的测量可以用来提高精确度。

在其核心中，本实施方案的方法基于在直线运动的情况下本地摄像机坐标系中运动方向的确定，或对于转动运动的情况下转动轴的确定。所测量的增量车辆运动因此借助于直线运动向量、转动轴和转动角来表示。于是，关于是直线运动还是转动运动对运动分类。

当其为直线运动时，由此确定的轴对应于车辆的纵轴。这基于直线运动沿着车辆纵轴的合理假设。

当另一方面运动被分类为转动运动时，由本地摄像机坐标系中的转动轴产生与转动轴对应的车辆坐标系中的法线轴。这基于将转动运动定向为绕车辆坐标系中的法线轴、即绕车辆平面的法线(或其平行线)的同样合理的假设。

此外，由本地摄像机坐标系中的运动向量可以确定运动平面(直线运动分量)的法线，该法线携带与转动轴相同的信息，并可以与其融合。这种“融合”可以例如通过要求转动轴和直线运动分量的平面的法线应当平行或通过寻求满足该要求或尽可能好的满足该要求的解决方案来进行。这样，不只是可以确定对车辆法线改善的估算，该估算的测定不仅基于转动轴，而且基于直线运动分量的平面的法线。

以下会详细描述本发明的另一实施方案。

同样，在该实施方案中，对于在线校准的执行要求以借助于视觉里程计得到的5个自由度(运动方向和3个方向参数)的摄像机运动有效。

以下描述的实施方案因此基于两种(明显合理的)假设：

1、车辆的主导运动部分与车辆的纵轴一致。

2、车辆的运动发生在一个主导平面中。

因为待校准的摄像机刚性连接到车辆，其运动遵照相同的限制。因此，本地摄像机坐标系中的主导运动分量对应于车辆的纵轴，摄像机坐标系中的主导运动分量的垂线对应于与车辆垂直的轴。

但是，在实践中，车辆动力学显著偏离理想平面运动。例如，沿着所有坐标轴发生车辆坐标系相对于道路平面的取向变化：倾斜、偏离和卷动。此外，，还发生沿着垂直轴的平移运动，即使其幅度相对于向前运动和侧向运动的幅度很小。本实施方案中通过高斯噪声、即所谓的过程噪声对这种与在一个平面中的理想运动和转动的偏差进行建模。

为此，首先描述所测量运动的(数学物理)建模。

令刚性连接到车辆的摄像机在时间t_n-1和t_n两个时刻之间的两个分量的欧几里得变换为T_c＝[R_c|t_c]。因此，R_c是中的转动矩阵，t_c是同样在中的平移向量，[R_c|t_c]是矩阵串联。因此，T_c是3×4矩阵。转动矩阵R_c可以分解为转动轴r_c和绕该转动轴的转动角θ_c(例如借助于Rodrigues式)。因此，平移向量t_c表示运动方向，转动轴R_c表示摄像机坐标系中的车辆运动。如果θ_c≈0，那么平移轴t_c——除了与道路平面垂直的可能的运动分量之外——与车辆的纵轴一致。因此可以写为：

t_{c} = {\hat{t}}_{c} + q_{t}

其中是摄像机坐标系中的车辆纵轴，q_t是预期值为0和具有协方差矩阵Q_t的听觉的高斯过程噪声。但是，如果θ_c＞＞0，可以高几率地预期机动运动，其中rc定义机动运动点。再写为：

r_{c} = {\hat{r}}_{c} + q_{r}

其中为摄像机坐标系中的垂直车辆平面，q_r为具有期望值0和协方差矩阵Q_r的高斯过程噪声。如果成功估算和则可以得到摄像机坐标系相对于于车辆坐标系的取向。

在下文中，会更详细地描述实施方案的测量模型。

作为测量，考虑摄像机坐标系中时间t_i-1和t_i两个时刻之间的空间欧几里得变换可以由视频流确定该变换，例如借助于视频里程计由光流确定该变换。然后由确定方向向量转动轴和转动角每个测量值假定为有噪声的，具有期望值0和协方差矩阵R_t和R_r。

下文中，会更详细地描述摄像机相对于车辆的取向的估算。

由此，图1说明了算法步骤的内部顺序。从测量之后，已经提取的方向向量转动轴和转动角现在需要检查其为直线运动还是机动(即转动运动或曲线)。为此，将转动角与两个阈值m(低)和m(高)比较。当θci<m(低)时，假设为直线运动。当另一方面θci>m(高)时，呈现机动。

两个阈值可以例如通过车辆动力学的经验分析来确定。根据一个实施方案，例如用于m(低)的为2度/秒，用于m(高)的为10度/秒。因此，对摄像机的采样率进行标准化。

当呈现直线运动时，进行摄像机坐标系的平均纵轴的更新：

Λ_{{\hat{t}}_{c}}^{i} = Λ_{{\hat{t}}_{c}}^{i - 1} + {(Q_{t} (t_{c}^{i}) + R_{t} (t_{c}^{i}))}^{- 1} - - - (1)

{\hat{t}}_{c} = Λ_{{\hat{t}}_{c}}^{i - 1} Σ_{n = 0}^{i} {(Q_{t} (t_{c}^{n}) + R_{t} (t_{c}^{n}))}^{- 1} t_{c}^{n}, - - - (2)

其中，Λ是所谓的权重或信息矩阵。

在机动的情况下，发生垂直车辆轴的更新(上向量)。因此，要求上向量垂直于所有方向向量

对于所有的i，

同时与所有转动轴平行：

对于所有的i。

可以以An＝6形式的线性方程组表示这些要求，其中

A = (\begin{matrix} t_{c}^{0^{T}} \\ \cdot \\ \cdot \\ \cdot \\ t_{c}^{i^{T}} \\ I^{0} \\ \cdot \\ \cdot \\ \cdot \\ I^{i} \end{matrix}), - - - (2)

b = (\begin{matrix} 0^{0} \\ \cdot \\ \cdot \\ \cdot \\ 0^{i} \\ r_{c}^{0} \\ \cdot \\ \cdot \\ \cdot \\ r_{c}^{i} \end{matrix}) - - - (4)

而且，I是3×3的单位矩阵。

确定上向量之后，于是摄像机坐标系中呈现两个车辆轴，其中摄像机相对于车辆的取向是唯一确定的。

图1示意性地说明了实施方案的顺序。

由测量值更新的变换，确定运动向量的方向、转动角和转动轴。当转动角小于阈值时，基于测量值更新方向向量。当转动角大于阈值时，接着进行用于上向量的方程组的更新(＝车辆的法线的估算)。

之后对上向量的左手侧和右手侧进行以上步骤。然后由此计算上向量的轴。

最后计算仍然缺少的在摄像机坐标系中的车辆坐标系的“右手轴”或“指向右侧的轴”，确定用于将摄像机坐标系转动为车辆的坐标系的转动矩阵，然后最终以任意的表示方法表示。

这样，接着是摄像机关于车辆的坐标系的取向的加权估算。

本领域技术人员容易认识到，本发明的实施方案尤其可以借助于处理由摄像机传递的图像从而执行取向的估算的合适的编程计算机来实施。

Claims

1.一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向的方法，其包括：

基于所述摄像机的视频流的光流来测量所述摄像机的坐标系中的增量车辆运动；

以由直线运动分量和转动运动构成的运动来表示所述增量车辆运动，其中，以方向向量表示所述直线运动分量，以转动轴和转动角表示所述转动运动；

测量至少一个已经分类为直线运动的增量运动；

测量至少一个已经分类为转动运动的增量运动；和

使用至少一个所测量的直线运动的方向向量来估算所述车辆的纵轴；

使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线，使得所述摄像机相对于车辆坐标系的取向是由在所述摄像机的坐标系中已经分别确定的车辆纵轴和所述车辆平面的法线推出的。

2.权利要求1所述的方法，其还包括：

测量多个增量车辆运动；

使用车辆纵轴和转动轴的多个估算来确定对所述车辆纵轴和所述转动轴的改善的估算。

3.权利要求1所述的方法，其还包括：

当所述增量车辆运动的转动角小于特定阈值时，将所述运动分类为直线运动；

当所述增量运动的转动角大于特定阈值时，将所述运动分类为转动运动。

4.权利要求1所述的方法，其还包括：

使用所述直线运动或所述直线运动分量的平面的法线作为对除了所述转动轴之外的所述车辆纵轴的垂线的另一估算；

基于所述直线运动或所述直线运动分量的平面的法线和所述转动运动的转动轴的结合来确定对所述车辆平面的法线的估算。

5.权利要求4所述的方法，其中，

基于由所述测量确定的或由所述直线运动分量确定的所述直线运动的平面的法线与所述转动向量应当平行的要求来确定所述结合。

6.权利要求1所述的方法，其中，

通过所述增量车辆运动的重复测量来迭代地确定所述车辆的纵轴和所述车辆平面的法线的估算值。

7.一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向的装置，其包括：

用于基于所述摄像机的视频流的光流来测量所述摄像机的坐标系中的增量车辆运动的模块；

用于以由直线运动分量和转动运动构成的运动来表示所述增量车辆运动的模块，其中，以方向向量表示所述直线运动分量，以转动轴和转动角表示所述转动运动；

用于测量至少一个已经分类为直线运动的增量运动的模块；

用于使用至少一个所测量的直线运动的方向向量来估算所述车辆的纵轴的模块；

用于使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线的模块，使得所述摄像机相对于车辆坐标系的取向是由在所述摄像机的坐标系中已经分别确定的车辆纵轴和所述车辆平面的法线推出的。

8.权利要求7所述的装置，其还包括：

用于测量多个增量车辆运动的模块；

用于使用车辆纵轴和转动轴的多个估算来确定对所述车辆纵轴和所述转动轴的改善的估算的模块。