CN110176038B

CN110176038B - 校准车辆的摄像头的方法、系统和存储介质

Info

Publication number: CN110176038B
Application number: CN201910129829.4A
Authority: CN
Inventors: D·哈夫纳; T·冈格; S·卡雷诺
Original assignee: Ficosa Adas SL
Current assignee: Ficosa Adas SL
Priority date: 2018-02-21
Filing date: 2019-02-21
Publication date: 2021-12-10
Anticipated expiration: 2039-02-21
Also published as: JP7355505B2; US10902641B2; EP3531376A1; US20190259178A1; JP2019169942A; EP3531376B1; CN110176038A

Abstract

校准车辆的摄像头的方法、系统和存储介质。提供了校准车辆的摄像头的方法。该方法包括：生成包括第一列、第二列和第三列的摄像头校准矩阵，其中，基于所获得的延伸焦点获得摄像头校准矩阵的第一列，基于所获得的平面法向量获得摄像头校准矩阵的第三列，并且获得摄像头校准矩阵的与摄像头校准矩阵的第一列和第三列的叉积相对应的第二列。然后，使用所获得的摄像头校准矩阵来校准摄像头。

Description

校准车辆的摄像头的方法、系统和存储介质

技术领域

本公开涉及校准车辆的摄像头的方法和系统。另外，本发明涉及适用于执行这些方法的计算机程序和系统。

背景技术

在机动车辆中，已知几种所谓的驾驶辅助系统(通常仅称为辅助系统)，其使用由例如设置在机动车辆的前部和/或后部的单个摄像头或几个摄像头捕获的视频图像，检测例如道路车道标线和道路边界、障碍物、其它道路使用者等，或者勘察和/或显示例如停车时的机动车辆的正面和/或背面区域。

然而，问题出现在摄像头并未完全固定到位的事实上。在制造摄像头和将其组装到车辆时存在公差。此外，更重要的是，由于被驱动并且受到现实世界的严峻考验，摄像头的定位可能在车辆的使用寿命期间发生变化。崎岖不平的道路和关门的震动、汽车清洗以及各种零件的维修和更换的影响以及枢转侧后视镜壳体的运动都会对摄像头的位置(包括角定向)产生影响。这可能会导致摄像头失准。

在这方面，在实际使用时产生的上述摄像头失准的技术问题可能导致摄像头相对于车辆的位置不精确或错误，从而导致例如驾驶员辅助系统(ADAS)的输入数据不精确或错误。

当车辆离开工厂生产线时，可以校准摄像头。可以采用装配线末端测试器在受控环境中将预定目标投影在距车辆已知距离处。已知各种标记的真实物理位置时，可以定义将摄像头像素位置映射到实际位置的传递函数，并由此确定摄像头方位的偏移。然而，这种线末测试方法并未解决能够在不具备受控环境(其中预先指定的标记位于已知位置)的现场独立地校准各摄像头的问题。简而言之，不可能在受控环境中采用基于预定目标的线末装配线校准在现场校准车辆的摄像头。

现有的在线校准方法既基于道路标线的检测，也基于道路上特征的检测。虽然最先提到的方法导致对适于校准的环境的强烈限制，但后面的方法容易出错，因为并不能总是满足某个图像区域中的平坦道路的假设。

本公开的示例试图至少部分地解决一个或更多个上述问题。

发明内容

在第一方面，提供了校准车辆的摄像头的方法。该方法包括：在车辆运动时由摄像头获得视频流中的一个或更多个图像帧，其中，图像帧定义图像平面。该方法还包括在图像帧中选择两个或更多个图像点，跟踪图像帧中每个所选择的图像点的运动轨迹。然后，获得基于运动轨迹的多个流向量。此外，获得图像平面中的流向量的一个或更多个延伸焦点(focus of expansion point)，其中每个延伸焦点由x坐标、y坐标定义。此外，识别图像平面中的地平面掩模。然后，识别位于地平面掩模中的三个或更多个流向量。确定单应矩阵(homography matrix)，其被配置为关联地平面流向量中的位于所获得的地平面中的一个地平面流向量的两个图像点的齐次坐标(homogeneous coordinate)。使用单应矩阵获得一个或更多个平面法向量。然后，生成包括第一列、第二列和第三列的摄像头校准矩阵，其中，基于所获得的延伸焦点获得摄像头校准矩阵的第一列，基于所获得的平面法向量获得摄像头校准矩阵的第三列，并且获得摄像头校准矩阵的与摄像头校准矩阵的第一列和第三列的叉积相对应的第二列。然后，使用所获得的摄像头校准矩阵来校准摄像头。

根据该第一方面，提供了允许车辆的摄像头的高精度和实时校准的方法。

与现有技术不同，本方法的校准并未基于道路标线或道路上的特定特征(例如车道或其他纵向道路特征)的检测。另外，校准摄像头时不需要关于摄像头的初始定位的先验知识。而且，本方法仅需要单个的车辆摄像头，例如，不需要另一个摄像头或激光雷达。

在另一方面，公开了计算机程序产品。计算机程序产品可以包括程序指令，程序指令使得计算系统执行根据第一方面所述的校准车辆的摄像头的方法。

计算机程序产品可以包含在存储介质(例如CD-ROM、DVD、USB驱动器、计算机存储器或只读存储器)上或者承载在载波信号(例如电气或光学载波信号)上。

计算机程序可以是源代码、目标代码、代码中间源和目标代码的形式(例如部分编译形式)，或者适用于实现过程的任何其它形式。载体可以是能够承载计算机程序的任何实体或设备。

例如，载体可以包括存储介质，例如ROM(例如CD ROM或半导体ROM)，或磁记录介质，例如硬盘。此外，载体可以是可传输的载体，例如电信号或光信号，其可以通过电缆或光缆或通过无线电或其他方式传送。

当计算机程序包含在可以通过电缆或其它设备或装置直接传送的信号中时，载体可以由这种电缆或其它设备或装置构成。

此外，载体可以是其中嵌入计算机程序的集成电路，该集成电路适于执行或用于执行相关方法。

在又一方面，公开了计算系统。该系统可以包括存储器和处理器。存储器可以存储可由处理器执行的计算机程序指令。所述指令可以包括执行校准车辆的摄像头的方法的功能。

在另一方面，公开了校准车辆的摄像头的系统。该系统包括：在车辆运动时从摄像头获得视频流中的一个或更多个图像帧的装置，其中，图像帧定义图像平面；在由摄像头获得的图像帧中选择两个或更多个图像点的装置；跟踪图像帧中每个所选择的图像点的运动轨迹的装置；基于所跟踪的运动轨迹获得多个流向量的装置。该系统还包括：延伸焦点模块，其连接到待校准的摄像头，其中，延伸焦点模块被配置为确定图像平面中的所获得的流向量的一个或更多个延伸焦点。此外，该系统包括地平面模块，其连接到摄像头，其中，地平面模块被配置为识别图像平面中的地平面掩模；识别位于地平面掩模中的三个或更多个流向量；确定单应矩阵，其被配置为关联地平面流向量中的位于地平面中的一个地平面流向量的两个图像点的齐次坐标；以及使用单应矩阵获得一个或更多个平面法向量。此外，该系统包括摄像头校准矩阵模块，其连接到延伸焦点模块和地平面模块，其中，摄像头校准矩阵模块被配置为通过以下操作获得包括第一列、第二列和第三列的摄像头校准矩阵：基于所获得的延伸焦点确定摄像头校准矩阵的第一列；基于所获得的平面法向量确定摄像头校准矩阵的第三列；确定摄像头校准矩阵的与摄像头校准矩阵的第一列和第三列的叉积相对应的第二列；以及使用摄像头校准矩阵校准摄像头。

附图说明

下面将参照附图描述本公开的非限制性示例，其中：

图1示出了描述校准车辆的摄像头的系统的示例的框图；

图2示意性地示出了车辆坐标系(VCS)和摄像头坐标系(CCS)的示例；

图3示出了描述校准车辆的摄像头的方法的示例的流程图；

图4a到4c示意性地示出了由摄像头提供的视频流中的连续图像帧上的图像点的对应运动轨迹；

图5示意性地示出了从运动轨迹和延伸焦点导出的图像平面中的流向量；

图6a到6b示意性地示出了地平面掩模和法向地平面向量的示例；

图7示出了描述校准车辆的摄像头的方法的另一示例的流程图。

具体实施方式

在整个说明书和权利要求书中，“图像平面”应当理解成作为观看真实三维空间的摄像头的输出而提供的二维空间。

在整个说明书和权利要求书中，术语“延伸焦点”应当理解成如下的点，即例如与道路平行的实际平面中的平行线在图像平面中似乎会聚在该点处。此外，术语“延伸焦点”和“消失点”可以互换。

图1示出了描述校准车辆的摄像头的系统的示例的框图。该系统包括摄像头101。摄像头还包括联接到图像传感器104的广角镜头102、存储器106和发送器108。

摄像头101可以经由发送器108联接到延伸焦点模块112的接收器110。该接收器可以将摄像头视频流(每个视频流包括由摄像头以例如25-30帧/秒的速率捕捉的连续图像帧)提供给微控制器122。微控制器122处理所选择的摄像头视频流并执行延伸焦点的计算，如稍后所述。

微控制器122可以经由命令局域网(CAN)收发器130连接到车辆命令局域网(CAN)，从而可以向主车辆控制器(未示出)查询诸如车辆的转向角的信息。

摄像头101还可以联接到地平面模块140的接收器141。该接收器可以将摄像头视频流提供给微控制器142。微控制器142处理所选择的摄像头视频流并进行一个或更多个地平面法向量的计算，如稍后所述。

与之前类似，微控制器142可以经由命令局域网(CAN)收发器143连接到车辆命令局域网(CAN)，从而可以向主车辆控制器(未示出)查询诸如车辆的转向角的信息。

地平面模块140和延伸焦点模块112可以联接到摄像头校准矩阵模块150的接收器151。该接收器可以将所获得的延伸焦点和所获得的地平面法向量提供给微控制器152。微控制器152处理法向量和延伸焦点并进行摄像头校准矩阵的计算，详情如稍后所述。

微控制器152还可以使用所获得的摄像头校准矩阵来执行车辆的摄像头的校准。

图2示意性地示出了车辆坐标系(VCS)和摄像头坐标系(CCS)的示例。车辆X轴可以沿着车辆的纵向轴线设置。车辆Y轴可以沿着车辆的横向或侧向轴线设置。车辆Z轴可以是车辆的向上的轴(up-axis)。与车辆相关联的摄像头可以具有其自身的摄像头坐标系，该坐标系包括摄像头X轴、摄像头Y轴和摄像头Z轴。摄像头X轴可以指向摄像头的右方，摄像头Y轴可以指向下方，摄像头Z轴可以指向远离摄像头的方向。可以进行摄像头的校准以获得旋转矩阵，从而可以使得来自车辆坐标系(VCS)的点旋转到摄像头坐标系(CCS)。

图3示出了描述校准车辆的摄像头的方法的示例的流程图。尽管图3显示了特定顺序，但应当理解可以遵循其它顺序。

在框200处，可以在车辆运动时由摄像头获得视频流中的一个或更多个图像帧，其中，图像帧定义图像平面。框200处的图像帧的处理可以通过例如CAN总线提供的转向角来调节。在这方面，针对由摄像头捕获的每个图像帧记录和分析转向角信息。如果转向角在例如-3度到+3度的预定范围内，则可以激活算法，从而摄像头可以获得视频流中的图像帧，并且由算法处理摄像头视频流。然而，如果转向角不在预定范围内(并且因此车辆的车轮相对于车辆的车身处于错误的角度)，则算法可以停止处理由摄像头捕获的图像帧。因此可知，当转向角在预定转向角范围内时才可激活算法。

在框201处，选择图像帧中的一个或更多个图像点。此外，在框202处，跟踪图像帧中的每个所选择的图像点的运动轨迹。此外，在框203处，可以获得多个流向量，特别是获得两个或更多个延伸焦点流向量和三个或更多个地平面流向量。一旦选择了一个或更多个图像点，则跟踪在车辆移动时从摄像头视频流获取的一组图像帧中的这些点的后续位置。因此，例如如图4a到4c中示意性地所示，可以在后续图像帧900、901、902处跟踪图像点p和图像点j。该特征点的像素位置可以在随后的图像帧上改变，以生成例如关于特征点p的包括点(x₀、y₀)，(x₁、y_1i)，…(x_n、y_n)的向量P。类似地，该特征点j的像素位置可以在随后的图像帧上改变，以生成例如关于特征点j的包括点(x₀、y₀)，(x₁、y_1i)，(x_n、y_n)的向量J。因此，可以获得每个所选择的图像点的例如向量P和向量J的流向量。

显然，可以以类似的方式获得另外的流向量。

获得的流向量可以被识别为延伸焦点流向量或地平面流向量。延伸焦点流向量可以用于获得一个或更多个延伸焦点，如稍后所述。地平面流向量可以用于获得地平面的一个或更多个平面法向量，也如稍后所述。

通常，获得的延伸焦点流向量可能具有噪声并且常常不可靠。因此，可以过滤延伸焦点流向量。可以基于以下标准中的至少一个来进行过滤：基于匹配的成本；流向量长度；图像帧之间的角度和相对于初始延伸焦点的角度。因此，可以在几个帧上获得“良好”流向量。

在基于匹配的成本标准中，配对两个向量的成本由配对函数的结果给出。特别地，上述成本可以是配对的相似性和稳健性的度量。因此，该度量可用于选择向量之间的最强配对并忽略向量之间的最弱配对。

在流向量长度标准中，向量的长度表示两个连续图像的两个匹配点的分离程度。如果长度非常短，则可以忽略向量，因为它不会提供任何信息(需要最小长度以将线朝着延伸焦点投影)。此外，如果光流的长度太长，则可以认为是配对误差。

在帧之间的角度标准中，最佳流向量的角度必须大体上恒定。可以使用该角度以忽略可能的错误向量。

在相对于初始延伸焦点的角度标准中，假设初始摄像头的定向在例如+/-3度的误差范围内，该前提可用于限制光流向量的角度相对于初始延伸焦点的偏差。

在一些示例中，摄像头可以用作反射镜替代物。因此，由摄像头捕获的图像帧可以是实际摄像头图像的镜像版本。因此，可以翻转(flip)流向量，从而获得对应于非镜像图像帧的流向量。

在框204处，确定一个或更多个延伸焦点，即用于图像平面中的延伸焦点流向量的消失点，其中，每个延伸焦点由x坐标、y坐标定义。该框的主要目标是基于可用的输入数据生成延伸焦点。按照该示例，可以基于流向量P和流向量J(事先在框203处获得)获得延伸焦点VP，如图5中示意性地所示。

特别地，计算流向量的“最佳”交点以确定延伸焦点。为此，可以计算最接近所有2D线(由流向量给出)的点vp∈R²。特别地，线(由流向量给出)与起始点a、单位法向量n和延伸焦点vp的绝对距离可以表示为：

其中，T表示矩阵的转置，特别地，T是一个在其对角线上翻转矩阵的算子，即T通过产生另一个矩阵来转换矩阵的行索引和列索引。

可以根据以下公式最小化以下(二次)成本函数E：

其中，N表示线数，vp是延伸焦点，a是起始点，n是单位法向量，并且T表示矩阵的转置。

该问题的解决方案可以根据以下等式确定：

在一些示例中，可以通过RANSAC算法来估计延伸焦点。随机样本一致性(RANSAC)是一种迭代方法，其用于当异常值(outlier)被设为对估计值没有影响时，从包含异常值的一组观察数据中估计数学模型的参数。RANSAC的一个优点是能够对模型参数进行稳健估计，也就是说它可以高精度地估计参数。

显然，可以以基本类似的方式获得对应于另外的流向量的另外的延伸焦点。在获得几个延伸焦点的示例中，可以过滤所获得的延伸焦点。可以通过计算所获得的延伸焦点的平均值来进行过滤。因此，可以获得单个平均延伸焦点。

在框205处，可以识别图像平面中的地平面掩模。可以通过指示图像平面中的关注区域(ROI)来进行地平面掩模的识别。图6a中示意性地示出了ROI 350。因此，可以选择对应的地平面掩模。

在框206处，可以识别位于地平面掩模中的三个或更多个流向量，即地平面流向量。选择三个或更多个流向量的原因是获得3D平面需要至少三个流向量。可以如前文所述在框203处获得地平面流向量。与之前类似，所识别的地平面流向量可能具有噪声并且不可靠。因此，可以基于以下标准中的至少一个来进行过滤：基于匹配的成本；流向量长度；图像帧之间的角度和相对于初始延伸焦点的角度。这些过滤器可以与前面描述的相同或相似。因此，可以在几个帧上获得在地平面掩模中识别的“良好”地平面流向量。

在框207处，可以确定单应矩阵，其被配置为关联两个点的齐次坐标，该两个点形成地平面流向量中的位于所获得的掩模地平面中的一个地平面流向量的一部分。另外，在框208处，可以使用单应矩阵获得一个或更多个平面法向量。单应矩阵H∈R^3x3可以映射形成一个地平面流向量的一部分的两个点(两个帧之间)的两个齐次坐标。单应矩阵可以表示为：

其中I∈R^3x3是单位矩阵，t∈R³是摄像头的平移，n∈R³是平面法向量，T表示矩阵的转置，并且d∈R是平面到摄像头中心的距离。这样，形成一个地平面流的一部分的两个点(两个帧之间)的两个齐次坐标p1和p2可以根据以下公式进行关联：

其中λ是未知的标量，I是单位矩阵，t是摄像头的平移，n是平面法线向量，d是平面到摄像头的中心的距离，T表示矩阵的转置，并且m＝n/d。此时，返回到点的图像坐标p₂(p_2x、p_2y)并除以齐次坐标的第三分量会产生以下两个约束：

p_2x＝(p_1x+t_xm^Tp1)/(1+t_zm^Tp1)

p_2y＝(p_1y+t_xm^Tp1)/(1+t_zm^Tp1)

其中，p_1x和p_1y是点p₁的x、y坐标，t_x，t_y和t_z是摄像头的平移t的x、y、z坐标，m＝n/d，T表示矩阵的转置，并且p₁是上述齐次坐标。

稍作重新表述可能得出以下等式：

p_2x-p_1x＝(t_x-p_2xt_z)p₁ ^Tm

p_2y-p_1y＝(t_y-p_2yt_z)p₁ ^Tm

其中，p_2x和p_2y是点p₂的x、y坐标，p_1x和p_1y是点p₁的x、y坐标，t_x、t_y和t_z是点t的x、y、z坐标，T表示矩阵的转置，p₁是上述齐次坐标，并且m＝n/d。

按照该示例，可以通过根据以下等式最小化成本函数E来计算m：

其中，n是对应关系的数量。该成本函数可以根据以下等式来重新表述：

E(m)＝(Am-b)²

术语m可以根据以下公式计算：

m＝(A^TA)^-1A^Tb

其中，

并且

平面法向量由n＝d*m给出，其中，

是计算出的到摄像头中心的距离。平面法向量的示例在图6b中示意性地示出。

在一些示例中，可以通过RANSAC算法估计平面法向量n。采用RANSAC的优点可以与上文所述的相同。

显然，可以以基本类似的方式获得另外的平面法向量。在获得另外的平面法向量的示例中，可以过滤平面法向量。可以通过计算所获得的平面法向量的平均值来进行过滤。因此，可以获得单个平面法向矢量。

在框209处，可以获得摄像头校准矩阵，例如包括第一列r1、第二列r2和第三列r3的旋转矩阵。摄像头校准矩阵可以表示如下：

R＝(r1,r2,r3)

特别地，在框210处，基于所获得的延伸焦点确定摄像头校准矩阵的第一列。在这方面，可以根据下式确定x轴从车辆坐标系到车辆的摄像头坐标系的变换：

其中，r1是摄像头校准矩阵的第一列，并且R是摄像头校准矩阵。如上所述，已经获得了平均延伸焦点(avp)。平均延伸焦点由x、y坐标定义。延伸焦点可以被归一化。因此，可以获得归一化的延伸焦点(nvp)。归一化的延伸焦点(nvp)可以表示为：

nvp＝(vp-pp)/fl

其中，归一化的延伸焦点由摄像头的主点(principal point)(pp)、摄像头的焦距(f1)和平均延伸焦点(vp)表示。可以将z坐标(n_vp.z)添加到2D归一化的延伸焦点。z坐标例如可以为1。因此，可以获得3D延伸焦点。3D延伸焦点(VP_3D)可以根据下式表示：

VP_3D＝(n_vp.x,n_vp.y,n_vp.z)

然后，可以基于3D延伸焦点获得归一化的3D延伸焦点。归一化的3D延伸焦点(VP_3D_norm)可以根据下式获得：

可将归一化的3D延伸焦点(VP_3D_norm)添加到摄像头校准矩阵的第一列r1。

在框211处，可以基于所获得的平面法向量确定摄像头校准矩阵的第三列r3。可以根据下式确定z轴从车辆坐标系到车辆的摄像头坐标系的变换：

其中，r3是摄像头校准矩阵的第三列，并且R是摄像头校准矩阵。如上所述，已经获得了法向量，例如平均平面法向量。因此，可以将法向量r3添加到摄像头校准矩阵R的第三列。

在框212处，可以获得摄像头校准矩阵的与摄像头校准矩阵的第一列r1和第三列r3的叉积相对应的第二列r2。此外，可将向量r2添加到摄像头校准矩阵的第二列。

结果，可以形成摄像头校准矩阵R＝(r1、r2、r3)。在一些示例中，通过计算可以得出不垂直的向量r1和r3。在本特定示例中，可以将向量r3投影到具有法向量r1的平面中。这样可以确保摄像头校准矩阵的正交性。

在框213处，可以使用所获得的摄像头校准矩阵来校准摄像头。一旦获得校准矩阵，也可以获得摄像头的相应俯仰、滚动和横摆。例如，如果所获得的校准矩阵是根据下式确定的：

则可以根据下式计算滚动：

θ_x＝a tan(r₃₂,r₃₃)

可以根据下式计算俯仰：

可以根据下式计算横摆：

θ_z＝a tan(r₂₁,r₁₁)

图7示出了校准摄像头的方法的另一示例的流程图。本发明的基本操作如下：

可以在框800处开始该方法。在框801处，可以初始化延伸焦点的计算。初始化可以包括缓冲器的初始化和失真矩阵的计算。然后，在框802处，可以采集并且生成流向量。可以如上所述地生成流向量。

可以如上所述地过滤流向量。特别地，如果转向速率不在预定的转向范围内，则可以停止流向量的采集。

在框802处，可以基于流向量估计一个或更多个延伸焦点。如上所述，可以通过RAMSAC算法估计延伸焦点，即消失点。RAMSAC计算可以分布在几个帧上。因此，可以满足运行时间要求。此外，检查是否已经采集到足够的延伸焦点和/或是否已经超过预定时间。在检查结果为肯定的情况下，可以如上所述地进行延伸焦点的过滤804。过滤可以包括进行所获得的流向量的平均。因此，可以获得平均延伸焦点。在检查结果为否定的情况下，可以在框802处采集更多的流向量。

在框805处，可以初始化地平面计算。在框806处，可以采集地平面流向量。可以如上所述地过滤地平面流向量。特别地，如果转向速率不在预定的转向范围内，则可以停止地平面流向量的采集。在框807处，可以计算与所采集的地平面流向量的单应性(homography)。然后，可以获得一个或更多个地平面法向量。可以通过RAMSAC算法估计地平面法向量。此外，检查是否已经采集了足够的地平面法向量和/或是否已经超过预定时间。在检查结果为肯定的情况下，可以如上所述地进行法向量的过滤808。因此，可以获得平均法向量。在检查结果为否定的情况下，可以在框806处采集更多的地平面法向量。

在框809处，如上所述地计算摄像头校准矩阵。然后，可以在框810处结束该方法。

摄像头校准矩阵可用于校准摄像头。

尽管本文仅已公开许多示例，但是也可以采用其它替代、修改、使用和/或等同物。此外，也涵盖了所述示例的所有可能组合。因此，本公开的范围不应受特定示例的限制，而仅应通过正确解读所附权利要求来确定。如果与附图相关的附图标记放在权利要求的括号中，则它们仅用于试图增加权利要求的可理解性，并且不应被解释为限制权利要求的范围。

Claims

1.一种校准车辆的摄像头的方法，该方法包括以下步骤：

-在所述车辆运动时从所述摄像头获得视频流中的一个或更多个图像帧，其中，所述图像帧定义图像平面；

-在所述图像帧中选择两个或更多个图像点；

-跟踪所述图像帧中的所选择的各图像点的运动轨迹；

-基于所跟踪的运动轨迹获得多个流向量；

-确定所述图像平面中的所述流向量的一个或更多个延伸焦点，其中各延伸焦点由x坐标、y坐标定义；

-识别所述图像平面中的地平面掩模；

-识别所获得的流向量中的位于所述地平面掩模中的三个或更多个流向量；

-确定单应矩阵，所述单应矩阵被配置为关联所述流向量中的位于所述地平面掩模中的一个流向量的两个图像点的齐次坐标；

-使用所述单应矩阵获得一个或更多个平面法向量；

-通过以下操作生成包括第一列、第二列和第三列的摄像头校准矩阵：

ο基于所获得的延伸焦点确定所述摄像头校准矩阵的第一列；

ο基于所获得的平面法向量确定所述摄像头校准矩阵的第三列；

ο确定所述摄像头校准矩阵的与所述摄像头校准矩阵的所述第一列和所述第三列的叉积相对应的第二列；

-使用所获得的摄像头校准矩阵校准所述摄像头。

2.根据权利要求1所述的方法，其中，基于所跟踪的运动轨迹获得多个流向量的步骤包括：

-翻转所述流向量，从而获得与非镜像图像帧相对应的流向量。

3.根据权利要求1-2中任一项所述的方法，其中，获得流向量的步骤包括：

-过滤所述流向量。

4.根据权利要求3所述的方法，其中，基于以下标准中的至少一种来执行过滤所述流向量的步骤：

-配对所述流向量的成本；

-流向量长度；

-图像帧之间的角度；

-所述流向量相对于初始延伸焦点的角度。

5.根据权利要求1所述的方法，其中，确定一个或更多个延伸焦点的步骤包括：

-通过计算所述延伸焦点的平均值来过滤所述延伸焦点，从而获得平均延伸焦点vp。

6.根据权利要求5所述的方法，其中，基于所述延伸焦点确定所述摄像头校准矩阵的第一列的步骤包括：

-获得归一化的延伸焦点nvp，其中，所述归一化的延伸焦点如下式由所述摄像头的主点pp、所述摄像头的焦距f1和所述平均延伸焦点vp表示：

nvp＝(vp-pp)/fl

-将z坐标添加到所述归一化的延伸焦点nvp，从而获得3D延伸焦点VP_3D，其中，根据下式来表示所述3D延伸焦点VP_3D：

VP_3D＝(n_vp.x,n_vp.y,n_vp.z)

-获得归一化的3D延伸焦点Vp_3D_nοrm，其中如下式来确定所述归一化的3D延伸焦点：

-将所述归一化的3D延伸焦点Vp_3D_nοrm添加到所述摄像头校准矩阵的所述第一列。

7.根据权利要求1所述的方法，其中，识别地平面掩模的步骤包括：

-指示所述图像平面中的关注区域ROI。

8.根据权利要求1所述的方法，其中，被配置为关联位于所述地平面中的流向量的两个图像点的齐次坐标的所述单应矩阵如下式由单位矩阵I、所述摄像头的平移t、平面法向量n和所述图像平面到摄像头中心的距离d表示：

9.根据权利要求1所述的方法，其中，获得一个或更多个平面法向量的步骤包括：

-通过计算所述平面法向量的平均值来过滤所述平面法向量，从而获得平均平面法向量。

10.根据权利要求1所述的方法，所述方法还包括以下步骤：在获得一个或更多个图像帧之前：

-接收所述车辆的转向角；

-确认所述转向角是否在预定转向角范围内。

11.一种存储介质，在所述存储介质上存储有计算机程序，所述计算机程序包括程序指令，所述程序指令用于使计算系统执行根据权利要求1-10中任一项所述的校准车辆的摄像头的方法。

12.根据权利要求11所述的存储介质，所述计算机程序承载在载波信号上。

13.一种校准车辆的摄像头的系统，所述系统包括：

在所述车辆运动时从所述摄像头获得视频流中的一个或更多个图像帧的装置，其中，所述图像帧定义图像平面；

在由所述摄像头获得的所述图像帧中选择两个或更多个图像点的装置；

跟踪所述图像帧中所选择的各图像点的运动轨迹的装置；

基于所跟踪的运动轨迹获得多个流向量的装置；

延伸焦点模块，其中，所述延伸焦点模块被配置为：

ο确定所述图像平面中的所获得的流向量的一个或更多个延伸焦点；

地平面模块，其中，所述地平面模块被配置为：

ο识别所述图像平面中的地平面掩模；

ο识别所获得的流向量中的位于所述地平面掩模中的三个或更多个流向量；

ο确定单应矩阵，所述单应矩阵被配置为关联所述流向量中的位于所述地平面掩模中的一个流向量的两个图像点的齐次坐标；

ο使用所述单应矩阵获得一个或更多个平面法向量；

摄像头校准矩阵模块，所述摄像头校准矩阵模块连接到所述延伸焦点模块和所述地平面模块，其中，所述摄像头校准矩阵模块被配置为：

ο通过以下操作生成包括第一列、第二列和第三列的摄像头校准矩阵：

ο使用所述摄像头校准矩阵校准所述摄像头。

14.根据权利要求13所述的系统，所述系统还包括存储器和处理器，所述系统包含存储在所述存储器中并且可由所述处理器执行的指令，所述指令包括执行根据权利要求1-10中任一项所述的校准车辆的摄像头的方法的功能。