CN106462968B - 用于校准机动车的摄影机系统的方法和装置 - Google Patents

Abstract

对于用于校准机动车的摄影机系统的方法和装置，其中，校准参数包括旋转角俯仰角、侧滑角和滚转角以及摄影机在行车道上的高度，旋转角的确定由确定在相继的第一摄影机图像和第二摄影机图像之间的第一光流的消失点实现，并且摄影机的高度的确定由在相继的第一摄影机图像和第二摄影机图像之间的第二光流形成。在此，为了确定第一光流，将常用的光栅放到第一摄影机图像上，在第二摄影机图像中寻找常用的光栅的对应性，并且第一光流由光栅在摄影机图像上的运动确定。

Description

用于校准机动车的摄影机系统的方法和装置

技术领域

本发明涉及一种用于校准机动车的摄影机系统的方法以及相应的装置。

背景技术

具有驾驶辅助系统的现代机动车配备有多个传感器，其中，很多驾驶辅助系统依赖于摄影机的数据。为了保证驾驶辅助系统的可靠的工作，必须对摄影机进行校准。为此，根据现有技术，在工厂执行麻烦的静态校准。为了省下静态校准，需要强大的在线校准系统，其在短的行驶距离之后提供合适的校准结果，例如摄影机的三个定向角和其在离地高度。

在柏林自由大学的M. Siebeneicher 2008年的硕士论文“Eine automatischeKalibrierung beliebiger Kameras in Fahrzeugen auf Grundlage von optischemFluss und Fluchtpunktbestimmung”中阐述了一种确定摄影机的定向角的方法，为此基于简洁的特征点的运动评估光流并且确定光流的消失点。为了确定消失点，使特征点的运动矢量彼此相交，其中，交点理论上应与消失点一致，但这由于测量精度仅近似是这种情况，从而将所有交点的最大值作为消失点。为了降低测量精度，交点在时间上被颗粒过滤器追踪并且影象上由此得到的消失点通过RANSAC过滤来稳定。

为了从视界中确定滚转角，评估消失点的时间上的走向。一旦在右转弯行驶和左转弯行驶中确定确定数量的消失点，地平线借助于主成分分析由所有的算出的消失点的子集来确定。通过比较速度变化和侧滑角确定车辆是否稳定地笔直运动并且因此可确定俯仰角和侧滑角，或是否执行转弯行驶。高度在该方法中分开地进行确定。然而，该系统计算非常复杂，尤其由于特征确定和麻烦地过滤消失点。

在J. Platonov等的文献“Vollautomatische Kamera-zu-Fahrzeug-Kalibrierung, ATZ elektronik 2012, S. 120-123”中提出的方法中说明了一种用于纯粹基于图像确定摄影机方向的技术，没有确定摄影机高度。在此，方法基于视觉运动技术来推定。第一方法确定在两个相邻的图像之间的车辆运动，并且第二方法考虑在六个图像之间的点对应性，其中，第二方法更精确，然而，计算明显也更复杂。为了确定定向角，将摄影机运动分成类“直线运动”和“曲折绕行”。俯仰角和侧滑角在直线的运动期间推定，而滚转角在曲折绕行之间推定。

在柏林自由大学的E. Tapia等2013年2月发表的文献“A Note on Calibrationof Video Cameras for Autonomous Vehicles with Optical Flow, FachbereichMathematik und Informatik, Serie B Informatik”中提出了一种方法，仅基于摄影机图像确定摄影机的方向并且借助于车辆速度确定摄影机高度。以未详细说明的方式确定和显示光流：在直线驶出的情况下流矢量在消失点中相交。为了确定地平线，确定地平面，其中，借助于消失点和地平线es可确定三个欧拉角。为了确定摄影机高度，车辆向前行驶，其中，摄影机方向已知，并且摄影机朝向行车道，从而行车道反映在摄影机图像中。流矢量在图像中的起点和终点重新投射到世界坐标系中。利用该信息在考虑到车辆速度以及行驶持续时间的情况下可算出摄影机高度。

文献EP2131598A2涉及一种用于确定立体摄影机系统的至少一个校准误差的立体摄影机系统以及方法。借助立体摄影机系统的至少两个单独的摄影机在车辆沿着行车道行驶时相应拍摄图像的连拍，其中，反映出在车辆之前的探测区域。在此，连拍的图像产生相应的图像数据。产生的图像数据进行处理，其中，确定行车道的至少一个行车道边缘的走向。基于行车道的至少一个行车道边缘的确定的走向确定至少一个校准误差。

为了确定位置、摄影机方向的所有的三个角度以及在地面上的摄影机高度，在通常精度不够的情况下、尤其在天气情况很差的情况下以及在具有很少转弯行驶的短的行驶距离的情况下，已知的系统计算量大。

发明内容

因此，本发明的目的在于，提供一种用于校准机动车的摄影机系统的方法和装置，其使得能够实现更快地校准摄影机系统。

该目的通过下文所述的用于校准机动车的摄影机系统的方法以及装置来实现。

在用于校准机动车的摄影机系统的根据本发明的方法中，其中，校准参数包括旋转角俯仰角、侧滑角和滚转角以及摄影机在行车道上的高度，旋转角的确定由确定在第一摄影机图像和第二摄影机图像之间的第一光流的消失点实现，并且摄影机的高度的确定由在相继的第一摄影机图像和第二摄影机图像之间的第二光流导出。在此，为了确定第一光流，将常用的光栅置于第一摄影机图像上，在第二摄影机图像中找出常用的光栅的对应性，并且第一光流由光栅在摄影机图像上的运动来确定。基于确定的第一光流算出在两个摄影机图像中的对极，并且将所述对极用于推定消失点。

因此，相应确定在两个图像之间的光流，为此将常用的光栅置于第一图像上，并且例如借助于Lucas-Kanade方法在第二图像中找出光栅的光栅点。

优选地，可参数化光栅点的间距。以这种方式可实现光流计算的可扩展性。在光栅点之间的间距越小，计算持续得越长，然而以这种方式更确切地得到消失点推定。

基于确定的第一光流算出两个摄影机图像中的对极，并且对极形成消失点推定的基础。对极的确定可通过基于光流的基本矩阵的计算实现。

进一步优选地，为了确定俯仰角和侧滑角，如果对极的间距在第一预定的间隔内，由两个摄影机图像的两个对极确定消失点。俯仰角和侧滑角的确定在直线驶出期间进行，从而两个对极彼此很近地靠在一起。由两个对极例如形成平均值，其然后作为实际的消失点承担俯仰角和侧滑角的推定。

优选地，确定的消失点在时间上予以存储，并且由确定的消失点的量确定时间稳定的消失点以确定俯仰角和侧滑角。在此，可预定存储间隔，其随着实际的时间一起运动。以这种方式可摒弃旧的消失点。此外，可在存储间隔内确定用于推定时间稳定的消失点所需的确定的消失点的数量。

进一步优选地，如果对极的间距在第二预定的间隔内，将两个摄影机图像的确定的对极用于确定滚转角，其中，由对极在相应的摄影机图像中的位置推定滚转角。换言之，两个对极彼此“远离”，因此，车辆处在转弯行驶中并且可确定实际的滚转角。实际的对极用于对什么样的旋转角进行区分，两个预定的间隔不相交。

优选地，确定的滚转角随时间聚集并且作为机动车的偏转率的函数分成预定的组。在此，优选地，可参数化衰落时间以及组的数量和定义。

进一步优选地，如果在每组中测量的数量已经达到最低数量，对每个预定的组存储的滚转角形成平均的组滚转角。用于校准的最终的滚转角例如可作为组内的平均的组滚转角的均值形成。

优选地，为了确定在机动车之前的行车道的第一图像的区块中的第二光流，在俯视图中放置矩形，确定其在第二图像中的位置，其中，第二光流通过矩形在两个图像中的运动形成，并且由矩形运动算出摄影机的高度。以这种方式确定明显简化的第二光流，其中，在第二图像中找出矩形可借助于块匹配实现，从而可确定矩形的运动并且因此确定第二光流。矩形可通过参数矩形的高度和宽度来参数化。

进一步优选地，针对多个第一摄影机图像和第二摄影机图像建立摄影机的确定的高度的时间上的直方图，在达到最低数量的测量之后由直方图导出推定的高度。通过使用直方图s改善高度推定，因为矩形的确定的运动明显受到噪声影响。

设立和设计成用于执行在上文中阐述的方法的根据本发明的用于校准机动车的摄影机系统的装置包括：

- 用于确定在相继的第一摄影机图像和第二摄影机图像之间的第一光流的设备，

- 用于由第一光流确定消失点的设备，

- 用于由确定的消失点确定旋转角的设备，

- 用于确定在相继的第一摄影机图像和第二摄影机图像之间的第二光流的设备，和

- 用于由第二光流确定摄影机的高度的设备，其中，

为了确定第一光流，将常用的光栅置于第一摄影机图像上，在第二摄影机图像中找出常用的光栅的对应性，并且第一光流由光栅在摄影机图像上的运动确定。

进一步优选地，用于基于确定的第一光流确定消失点的设备算出两个摄影机图像中的对极，并且对极用于消失点推定。

优选地，为了确定在机动车之前的行车道的第一图像的区块中的第二光流，在俯视图中放置在第二图像中确定的矩形，其中，第二光流通过矩形在两个图像中的运动形成，并且由矩形运动算出摄影机的高度。

进一步优选地，用于确定摄影机高度的设备针对多个第一摄影机图像和第二摄影机图像建立摄影机的测得的高度的时间上的直方图，并且在达到最低数量的测量的情况下由直方图导出推定的高度。

有利地，根据本发明的方法或相应的装置可在直线驶出时在短的行驶距离之后鲁棒地确定侧滑角和俯仰角，以及在以至少一次左转弯和右转弯的短的行驶距离之后鲁棒地确定滚转角。此外，并行与此，确定在地面上的摄影机高度，从而在明显更短的收敛时间的情况下实现摄影机的校准。在此，不存在与预定的标记、结构或形式的依赖性，换言之，说明的方法或装置在任何环境中起作用。环境仅必须具有可由摄影机探测到的最低限度的结构以及允许车辆的至少一个转向操作。

此外，不用执行麻烦的特征提取，并且阐述的解决方案构建成使得其可适合于控制器执行。

附图说明

下面借助附图阐述本发明的优选的实施方式。在此，

图1示出了用于定义来自外部的摄影机参数的坐标系，

图2以示意性的图示示出了校准系统的构造，并且

图3示出了高度推定的示意性的图示。

附图标记列表

O 宇宙系的原点

X X轴

Y Y轴

Z Z轴

C 原点摄影机系统=平移矢量

C_X 平移矢量的X分量

C_Y 平移矢量的Y分量

C_Z 平移矢量的Z分量

X_C X轴摄影机

Y_C Y轴摄影机

Z_C Z轴摄影机

θ 俯仰角

ɸ 侧滑角

ψ 滚转角

KP 确定校准参数

ED Ego数据

B2 摄影机图像1

B1 摄影机图像2

O1 光流1

O2 光流2

FP 消失点推定

WB 角度确定

GW 侧滑角确定

RW 滚转角确定

NW 俯仰角确定

Hs 高度推定

F 行车道

h 摄影机离行车道的高度

v 车辆速度

v_P 像素速度

f 焦距

K(t) 摄影机在时刻t的图像平面

K(t+1) 摄影机在时刻t+1的图像平面

v' 辅助变量

f' 辅助变量。

具体实施方式

图1示出了具有原点O和空间轴X、Y和Z的世界坐标系(O、X、Y、Z)，机动车在世界坐标系中运动，并且示出了在图1中示意性地显示的摄影机K的坐标系(C、X_C、Y_C、Z_C)，其具有原点C和轴X_C、Y_C和Z_C。在此，摄影机坐标系(C、X_C、Y_C、Z_C)可相对于车辆的世界坐标系(O、X、Y、Z)移动并且围绕三个轴X_C、Y_C和Z_C转动。可能的旋转角在图1中显示为俯仰角θ、侧滑角ɸ和滚转角ψ。为了对机动车的摄影机进行校准，必须如已经提到的那样，确定参数摄影机在行车道上的高度、俯仰角θ、侧滑角ɸ和滚转角ψ。

世界坐标系(O、X、Y、Z)和摄影机坐标系(C、X_C、Y_C、Z_C)可在位置和方向上彼此不同。在方向上的不同通过围绕相应的轴的旋转来说明，其中，摄影机K围绕三个轴X_C、Y_C、Z_C旋转，并且各旋转可以常规的方式通过相应的旋转矩阵R_Nick、R_Gier和R_Roll来说明。完整的旋转矩阵R是各旋转矩阵的操作顺序并且以如下方式形成：

R=R_RollR_NickR_Gie

并且相应于围绕Y轴的旋转，紧随着的是围绕X轴的旋转并且最后是围绕Z轴的旋转。

结合平移矢量C=(C_x、C_y、C_z)^T（其说明了摄影机坐标系在世界坐标系中的原点并且给出了两个坐标系的位置的不同）可形成世界坐标系转变成摄影机坐标系的统一的变换矩阵。

借助于消失点可在直线的运动中由完整的旋转矩阵R确定侧滑角θ和俯仰角ɸ，因为滚转角ψ在直线的运动中是零。为了确定滚转角ψ，消失点是不够的，然而滚转角ψ可由消失点在转弯行驶期间的走向来确定，因为消失点与滚转角ψ成比例地改变其位置。理论基础的细节例如可从上文提到的M. Siebeneicher的硕士论文中得悉。

因此，方向或旋转角的确定受制于尽可能精确地确定使用的消失点和其运动，它们的确定又取决于最佳地确定光流。

图2是用于确定机动车的摄影机的上文提到的校准参数的校准系统KP的示意性的图示，其中，在开始时简短地概述校准系统KP的构件并且随后详细阐述各构件。

校准系统KP的输入变量是拍摄的摄影机图像B1和B2以及车辆的Ego数据ED。在此，将车辆的Ego数据理解成一般车辆数据，例如速度表的值、转向角角度、里程数据和位置数据、以及关于加速度、侧滑角和俯仰率的数据。列举不应看作是完整的。在此，Ego数据可支持校准系统，以便例如识别对于校准过程特别有利的行驶状态。

车辆摄影机借助于校准系统KP的校准基于确定在摄影机的图像中的光流。为此，借助于摄影机图像B1、B2的特征在校准系统KP的第一光流模块O1中确定关于图像的运动矢量，其中，运动矢量基于均匀布置在第一图像上的光栅来确定。

基于在第一光流模块O1中确定的运动矢量在消失点模块FP中借助几何特性推定消失点。消失点模块FP的消失点推定在随后的角度确定模块WB中用于确定三个旋转角，其中，角度确定模块WB具有彼此连接的侧滑角确定模块GW、滚转角确定模块RW和俯仰角确定模块NW。

在第二光流模块中分开地确定在车辆之前的行车道的图像片段的俯视图中的极其简化的光流的运动矢量。由行车道特征的确定的运动矢量以及Ego数据和确定的俯仰角θ可在高度推定模块HS中推定摄影机在行车道上的高度。

下面详细阐述各构件的细节：

第一光流：

第一光流O1的确定相应在摄影机的两个图像B1、B2之间进行。在此，没有确定密集的流场，而是将常规的光栅置于第一图像B1之上。例如借助于已知的Lucas-Kanade方法寻找在第二图像B2中与光栅的对应性。在此，可参数化光栅点的间距，由此可高度扩展地算出光流。换言之，光栅点的间距越小，虽然计算的运行时间更长，然而提高了建立在此之上的消失点推定的精度。

光栅方法相对于基于特征的流确定的另一优点是，显眼的特征主要出现在运动对象的轮廓处并且异样运动的对象此时使消失点失真。

消失点推定：

基于光流算出对极几何的基本矩阵。其相应提供在两个所考虑的图像B1、B2中的相应的对极。在直线驶出时，两个对极必须非常近地在一起，其中，可参数化间距。形成两个对极的平均值，其形成实际的消失点并且被转送给俯仰角和侧滑角推定部。

在此，以下条件适用于用于俯仰角和侧滑角确定的两个对极的间距“彼此非常靠近”：

像素相对于图像宽度的最小X间距=0，

像素相对于图像宽度的最大X间距=约0.02，

像素相对于图像高度的最小Y间距=0，

像素相对于图像高度的最大Y间距=约0.01。

如果对极的间距大于上面提到的最大间距，则确定俯仰角和侧滑角的平均值明显更困难，直至不可能，因为必须考虑更多的且更突出的异常测值。

如果车辆处在转弯行驶中，此时图像B1、B2的两个对极必须更远地彼此分开。如果满足该条件，此时将两个对极转送给滚转角推定部RW。

为了确定滚转角，对极的间距必须满足以下条件：

像素相对于图像宽度的最小X间距=约0.02

像素相对于图像宽度的最大X间距=约0.1

像素相对于图像高度的最小Y间距=0.01

像素相对于图像高度的最大Y间距=约0.05

这种做法相比于已知的方法可以明显更少的运行时间和更少的步骤执行。

角度确定：

确定俯仰角和侧滑角。

在消失点推定中确定的消失点随时间聚集，其中，摒弃旧的消失点。在此，可参数化数量和衰落时间。如果存在足够的消失点，则借助于例如已知的RANSAC算法由高动态的消失点的量推定时间稳定的消失点。时间稳定的消失点用于在相应的模块NW、GW中确定俯仰角θ和侧滑角ψ。

滚转角推定

在转弯行驶中聚集的对极直接用来通过其在图像中的位置确定可能的滚转角。高动态的滚转角随时间聚集并且分成组，其中，可参数化衰落时间、数量和组。优选地，使用四个组，即：

- 向左的高的偏转率，

- 向左的平均的偏转率，

- 向右的高的偏转率，和

- 向右的平均的偏转率。

在此，为了限定上面提到的四个组，偏转率α的下面说明的范围已证实可行：

用于缓慢的左转弯行驶的范围：0°/s<=α<8°/s(平均的左偏转率)

用于快速的左转弯行驶的范围：8°/s<=α<45°/s(高的左偏转率)

用于缓慢的右转弯行驶的范围：0°/s>=α>-8°/s(平均的右偏转率)

用于快速的右转弯行驶的范围：-8°/s>=α>-45°/s(高的右偏转率)

在每个组中必须存在最低数量的测量。如果是这种情况，对于每个组而言，算出平均值并且紧接着关于四个平均值再次形成均值。均值用于确定滚转角RW。

高度推定

在标准执行方案中确定极度简化的光流。在第一步骤中，由直接在车辆之前的图像区块算出俯视图，其中，可参数化图像区块。在第一图像中在该区块内放置矩形，其必须在考虑到矩形的参数高度和宽度的情况下借助于块匹配在第二图像中再次发现。矩形在图像中的运动形成光流。

在标准执行方案中，对于被称为模板框的矩形适用的是以下边界条件：

模板框宽度相比于俯视图宽度=约0.9

模板框宽度相比于模板框宽度=约0.4

模板框在第一框架的俯视图图像中如此定位，即，模板框的上缘居中地位于图像上边缘处，即，相比于俯视图宽度，左右保持约5%边缘。

高度确定

在第一步骤中确定的矩形在图像中的运动直接转换成车辆的实际运动，其中，值仍明显受到噪声影响。因此，在时间上通过参数直方图的最低和最高值以及Bin（直条）的数量建立直方图。在此，测量也可随着其年龄衰弱。如果在直方图中存在最低数量的测量，则寻找含有主要测量的N各相邻的Bin。紧接着通过Bin形成中值。此时，结果是推定的高度。

借助图3阐述用于确定高度的基本程序，其中，图3基于简单的针孔摄影机模型，并且高度确定在此借助中间像素的运动来讨论。如果车辆(未示出)直线地在已知的实际速度v的情况下运动并且已知摄影机运动的俯仰角θ，则可借助于光流确定相对于行车道F的摄影机高度h。光流提供速度v_P，像素以该速度在摄影机的图像中心中运动。图3示出了用于确定摄影机高度h的几何形状并且示出了两个不同的时刻t和t+1，在该时刻，考虑在示意性地在时刻t和t+1示出的摄影机图像平面k(t)K(t+1)中的投影的图像中点，其中，摄影机具有焦距f。已知经过的位移v、摄影机的俯仰角θ、摄影机的焦距f以及图像中的中间像素的速度v_P的值。由公开的关系式

可通过使用简单的三角学由已知的变量确定高度h

。

Claims (12)

1.一种用于校准机动车的摄影机系统的方法，其中，校准参数包括旋转角俯仰角、侧滑角和滚转角以及摄影机在行车道上的高度，其中，所述旋转角的确定从确定在第一摄影机图像和第二摄影机图像之间的第一光流的消失点中导出，并且所述摄影机的高度的确定从在第一摄影机图像和第二摄影机图像之间的第二光流中得出，

其特征在于，

为了确定所述第一光流，将常用的光栅置于第一摄影机图像之上，在所述第二摄影机图像中找出与常用的光栅的对应性，并且由光栅在摄影机图像上的运动确定所述第一光流，以及

基于确定的第一光流算出在两个摄影机图像中的对极，并且将所述对极用于推定消失点。

2.根据权利要求1所述的方法，其特征在于，可参数化光栅点的间距。

3.根据权利要求1所述的方法，其特征在于，如果所述对极的间距在预定的第一间隔中，为了确定俯仰角和侧滑角，由两个摄影机图像的两个对极确定消失点。

4.根据权利要求3所述的方法，其特征在于，确定的消失点在预定的时间间隔聚集，并且由确定的消失点的量确定时间稳定的消失点，以便确定俯仰角和侧滑角。

5.根据权利要求1所述的方法，其特征在于，如果对极的间距在预定的第二间隔内，将两个摄影机图像的两个对极用于确定滚转角，其中，由对极在相应的摄影机图像中的位置推定滚转角。

6.根据权利要求5所述的方法，其特征在于，确定的滚转角随时间聚集并且作为机动车的偏转率的函数分成预定的组。

7.根据权利要求6所述的方法，其特征在于，如果在每组中测量的数量达到最低数量，每组存储的滚转角形成平均的组滚转角，其中，由组的平均的组滚转角组形成最终的滚转角。

8.根据权利要求1-7中任一项所述的方法，其特征在于，为了确定在机动车之前的行车道的第一图像的区块中的第二光流，在俯视图中放置在第二图像中确定的矩形，其中，所述第二光流通过矩形在两个图像中的运动形成，并且由矩形运动算出摄影机的高度。

9.根据权利要求8所述的方法，其特征在于，针对多个第一摄影机图像和第二摄影机图像建立摄影机的测得的高度的时间上的直方图，并且随着达到最低数量的测量，由直方图导出高度推定。

10.一种用于校准机动车的摄影机系统的装置，其设立和设计成执行根据上述权利要求中任一项所述的方法，具有

用于确定在相继的第一摄影机图像和第二摄影机图像之间的第一光流的设备，

用于由第一光流确定消失点的设备，

用于由确定的消失点确定旋转角的设备，

用于确定在相继的第一摄影机图像和第二摄影机图像之间的第二光流的设备，和

用于由第二光流确定摄影机的高度的设备，

其特征在于，

为了确定所述第一光流，将常用的光栅置于第一摄影机图像之上，在第二摄影机图像中找出与常用的光栅的对应性，并且由光栅在摄影机图像上的运动确定所述第一光流，以及

用于确定消失点的设备基于确定的第一光流算出在两个摄影机图像中的对极，并且将对极用于推定消失点。

11.根据权利要求10所述的装置，其特征在于，为了确定第二光流，在机动车之前的行车道的第一图像的区块中在俯视图中放置在第二图像中确定的矩形，其中，第二光流通过矩形在两个图像中的运动形成，并且由矩形运动算出摄影机的高度。

12.根据权利要求11所述的装置，其特征在于，用于确定摄影机高度的设备针对多个第一摄影机图像和第二摄影机图像建立摄影机的确定的高度的时间上的直方图，并且在达到最低数量的测量的情况下由直方图导出高度推定。