CN102648115B - 用于在行驶的汽车中估算侧倾角的方法 - Google Patents

Abstract

本发明涉及一种用于在一辆行驶的汽车（7）中估算侧倾角的方法，该方法包括下列步骤。在步骤a）中，利用一个摄像头（8）记录汽车周围环境特别是前面车道（1）的一个图像序列。在步骤b）中，从摄像头图像中提取也就是测定和追踪（跟踪）至少一个在车道表面上的标志（S1-S6）。在步骤c）中，从所述至少一个标志（S1-S6）在一个或多个依次接着的摄像头图像中的变化的位置测定摄像头（8）关于侧倾角朝哪个方向转动。在步骤d）中估算侧倾角的数值。为此，要么在步骤d1）中在考虑汽车速度（v）和摄像头（8）的一种成像模式情况下直接估算侧倾角，要么在步骤d2）中将侧倾角重复增加或减少一个预先设定的修正角，直到侧倾角充分补偿摄像头（8）的转动。由此得出作为总修正值的估算侧倾角。

Description

用于在行驶的汽车中估算侧倾角的方法

技术领域

本发明涉及一种用于在一辆行驶的汽车中利用一个摄像头估算侧倾角的方法并且例如应用在装备有驾驶员辅助功能的汽车中。

背景技术

驾驶员辅助功能包括例如交通标志识别装置、自动灯光控制装置、汽车及行人识别装置、夜视系统、车距调节速度控制器（ACC）、停车辅助装置或自动停车系统和车道寻迹系统。

车道寻迹系统需要精确地获悉摄像头在汽车中的安装位置，以便估算车道宽度、车道偏差（Spurablage）和横摆角。这特别是摄像头的高度，以及侧倾角（或摆动角）、俯仰角和横摆角，这些通常必须通过繁复的绑定校准或服务校准进行测定。

尽管车道寻迹系统能够估算俯仰角和横摆角，但仅针对侧倾角已知的情况，因为由侧倾角的误差会导致俯仰角和横摆角的误差。侧倾角也被称为摆动角。

根本问题在于，一方面即使在仔细校准摄像头安装位置的情况下在安装到汽车中后也可能出现并在之后被保留的极小的侧倾角误差，另一方面摄像头安装位置后来的变化或例如汽车载货不平衡可能导致侧倾角的偏差。

DE102006018978A1示出一种用于在使用一种用于确定汽车的偏转比率和特定摆动弹簧刚性的装置的情况下确定动态摆动角的方法。

发明内容

这里提出的本发明的任务是给出一种用于估算侧倾角的方法，这种方法能够在一辆行驶的汽车中实现当前的和精确的侧倾角估算。

按照本发明，此任务通过一种根据独立专利权利要求的方法加以解决。有利的改进可从从属权利要求得到。

给出一种用于在一辆行驶的汽车中估算侧倾角的方法，该方法包括以下步骤。在步骤a）中，利用一个摄像头记录汽车周围环境特别是前面车道的一个图像序列。在步骤b）中，从摄像头图像中提取至少一个在车道表面上的标志，即测定和追踪（跟踪）其形状和位置。一个标志是一个在车道表面上的构造物，例如在车道上的标线的起点或终点。在步骤c）中，从所述至少一个标志在一个或多个依次接着的摄像头图像中的变化的位置测定摄像头关于侧倾角朝哪个方向转动。

在步骤d）中估算侧倾角的数值。

为此要么在步骤d1）中在考虑（自身汽车的）汽车速度和摄像头的一种成像模式情况下直接估算侧倾角，要么在步骤d2）中将侧倾角重复增加或减少一个修正角，直到侧倾角补偿摄像头的转动。在重复估算侧倾角时，在方法开始时优选将侧倾角估算为零。在方法过程中，根据在步骤c）中确定的转动方向以一个修正角对（当前估算的）侧倾角如此长时间地进行调整，一直到从所述至少一个标志在一个或多个依次接着的摄像头图像中的变化的位置推断出侧倾角充分补偿摄像头的转动为止。可以看到充分的补偿在于，修正的侧倾角在角分辨率范围内不再偏离零（例如，偏差小于0.1°或小于0.5°）。通过用预先给定的修正角与所进行的修正的次数相乘，或在修正角值变化时作为总共进行的修正的总和的方式，从中得出绝对估算侧倾角作为总修正值。

本发明的优点在于，可以在行驶的汽车中当前地和精确地估算侧倾角。对于按本发明的方法，不需要任何用于确定偏转比率的装置。在测试过程中，通过本方法可以估算和补偿直至七度的侧倾角偏差。

本发明基于以下考虑，即在侧倾角为零情况下，在由摄像头记录的表示车道表面的图像的一个行内的所有点在世界坐标中在汽车纵向的投影内都具有一个与摄像头相同的距离。这种考虑所基于的假设是道路基本上是平的。这相当于针对道路的“平地几何学（Flatearthgeometry）”假设。在这种情况下，与例如通过摄像头图像的行和列给出的图像坐标不同，将实际空间中的坐标理解为世界坐标。摄像头的一种成像模式说明在实际空间（世界坐标）中的点是如何成像到图像上的（图像坐标）。已知其图像坐标的各点可以在获悉摄像头的一个完整的成像模式情况下被返回投影到世界坐标中的目标点上。由于标志通过定义可以位于车道表面上并且假设车道表面平面地延伸，所以简单的返回投影就足以在世界坐标中测定一个标志的位置。在本发明的范围内，特别关心的是在实际空间中在一个在车道表面上的点和的摄像头之间的距离沿汽车纵向的分量。

一个不等于零的侧倾角导致，在一个由摄像头记录的图像的一个行内表示车道表面的各点在世界坐标中在汽车纵向投影中具有一个增加或减少的间距。如果例如在图像中位于一个行中的各车道点在实际空间中从左向右越来越远，那么摄像头关于其观察方向向左转动。

为了针对各图像点测定在汽车纵向投影中的间距，特别可以从各图像点的光流分析流矢量的长度。如果例如在图像中位于一个行中的各车道点的流矢量的垂直分量从左向右增加，那么摄像头向右转动。

本发明的一种有利的设计方案设定，在步骤d1）中，在考虑摄像头的一种成像模式情况下，沿汽车纵向测定一个标志与摄像头的距离。为此，例如可以通过返回投影在鸟瞰图中建立在摄像头图像中所测定的标志的一种表示，并从这一表示测定沿汽车纵向在标志与摄像头之间的距离。

优选地，从标志（沿汽车纵向与摄像头）的测定的距离和汽车速度预测在某一时间Δt之后标志的距离。

优选地，从第一图像之后某一时间Δt记录的一个依次接着的图像中，沿汽车纵向通过返回投影测量同一标志与摄像头的距离。

优选地，在考虑摄像头的一种成像模式情况下，从实测距离与预测距离的一个偏差估算侧倾角。在此假设，该预测提供一个具有侧倾角为零的距离并且在出现偏差时可以直接测定侧倾角，其中，由摄像头测量一个与所预测的距离对应的距离。

在汽车速度的值中的不可靠性在此情况下可能在侧倾角估算时导致后续误差。因此，在本发明的一个优选实施例中，在估算侧倾角时在汽车速度下考虑在前一种测量不可靠性的意义上的已知误差，并且特别借助卡尔曼滤波器对由此产生的侧倾角误差进行估算。

根据本发明的一种有利的设计方案，在步骤b）中，测定和跟踪在图像左半部中的至少一个第一标志和在同一图像或一个依次接着的图像中在图像右半部中的至少一个第二标志。

此外，在摄像头图像的相应的记录时刻保存汽车速度。

在步骤c）中，针对每个标志单独地在考虑相应的汽车速度和摄像头的利用当前估算的侧倾角的成像模式情况下，实施标志距离的预测。标志距离分别在一个依次接着的图像中进行测量。测定摄像头（侧倾角）朝哪个方向转动的方式是：将针对第一标志的预测的标志距离与实测的标志距离的偏差与针对第二标志的标志距离的偏差进行比较。

根据步骤d2）重复估算侧倾角。

此设计方案的优点是，可以通过左右标志偏差的比较补偿汽车速度的误差。由此，这种方法提供了高度的精确性。

在一种优选实施形式中，在步骤b）中，测定和跟踪在图像左半部中的至少一个第一标志和在同一图像或一个依次接着的图像中在图像右下象限中的一个第二标志。此外，在摄像头图像的相应的记录时刻保存汽车速度。

在步骤c）中，针对每个标志，确立垂直的标志位置在图像中的变化与相应的汽车速度的比例。针对两个图像半部将这一比例进行比较，其中推断出，摄像头关于其观察方向朝其中这一比例较大的那个图像半部方向转动。

根据步骤d2）重复估算该侧倾角。此方法的优点是，误差在绝对的汽车速度中几乎没有产生影响。

此外，本发明的主题还在于一种用于在一辆行驶的汽车中估算侧倾角的设备，所述设备包括一个摄像头和用于按本发明估算侧倾角的装置。

附图说明

下面借助一些实施例和附图对本发明进行说明。

图1：侧倾角估算的一种方法的流程图，

图2:一条带有标志的车道的摄像头图像，

图3:表示通过摄像头图像再现的场景的鸟瞰图。

具体实施方式

在图1中的流程图中示出一个用于估算侧倾角的方法的实施例。

在一辆行驶的汽车中，在步骤a）中，利用一个摄像头8记录包括前面车道的汽车周围环境。在步骤b）中从摄像头图像中测定在车道表面上的至少一个标志S1-S6并且确定其在图像中的位置。一个标志S1-S6是在车道表面上的一个构造物，例如在车道上的标线的起点S2、S4或终点S3。在一个下面的步骤a）中记录另一个图像。从该图像测定在图像中的标志S1-S6的当前的位置。在步骤c）中，从所述至少一个标志S1-S6的变化的位置测定摄像头8关于侧倾角是否转动以及朝哪个方向转动。如果摄像头8转动，在步骤d）中对侧倾角进行修正。在步骤d）中从修正的总和进行侧倾角的估算。

图2示例性地示出一个如在步骤a）中所记录的汽车周围环境的摄像头图像。汽车行驶在一条由左侧的连续车道标线2和右侧的连续车道标线3界定的车道1上。车道1的中间通过一条虚线的中间带标出。在车道表面上可看到许多标志。这些标志S1-S6在图中被标明。在步骤b）中对这些标志S1-S6进行检测。标志S1是在左车道侧上的一条附加标线。标志S2和S4或S3是中间带标线的起点或终点。标志S5是车道面层的一道裂缝，而标志S6是在右侧的连续车道标线3上的一个构造物，例如一个污物或它的一个孔洞。辅助线4和5标出水平的及垂直的图像中心。图像行和列与辅助线5和4平行地延伸。地平线6不是水平延伸这一事实提示观察人员，在此图像下记录侧倾角偏离零并且摄像头8向左转动。

图3示出表示通过摄像头图像再现的场景的鸟瞰图。

利用在世界坐标中的标线和标志S1-S6在鸟瞰图（鸟瞰或俯视）中通过摄像头图像再现的场景的这种表示的建立可以从具有例如5厘米步进距离的图像坐标通过一种返回投影（Rückprojektion）实现，返回投影从摄像头8的成像模式在考虑当前估算的侧倾角情况下被测定。

从这种表示中提取在车道表面上的这些标志S1-S6。从中确定沿汽车纵轴方向在世界坐标中的一个标志S1-S6与摄像头8的距离d。

在考虑汽车的固有速度v情况下，在后来的某一时刻对在世界坐标中的这种标志S1-S6的位置进行预测。在此，如此选择后来的时刻Δt，以致在这一后来的时刻Δt利用摄像头8记录一个依次接着的图像。该后来的时刻Δt因此比记录第一图像（图2）的时刻t＝0晚（例如，40ms）帧频倒数的多倍。在该后来时刻Δt记录的图像未示出。

在时刻Δt针对一个标志S1-S6进行的预测，该标志在世界坐标中在时刻t＝0与摄像头8的距离为d_0，例如可以得出：

d_est＝d_0－v·Δt

其中v是在时刻t＝0测定的汽车速度。

在世界坐标中这个标志S1-S6的实际距离（d_meas）从在后来的时刻dt所记录的图像的相应表示进行测量。

测定实测的标记距离与预测的标志距离的比例：d_meas/d_est。

根据另一种实施形式，以这种方式可以如此长时间地对在图像左半部S1-S3和右半部S4-S6中的标志进行分析，一直到针对图像左半部（N_links＞N）和针对右半部（N_rechts＞N）在每两个相继图像之间的标志距离变化进行足够次数N的预测和实测（例如，N＝10或N＝50）为止。针对图像左半部和图像右半部对预测与实测的标志距离的比例（d_meas_links/d_est和d_meas_rechts/d_est）进行平均。

然后可以对所估算的侧倾角值进行如下更新：

·如果d_meas_links/d_est＞d_meas_rechts/d_est，侧倾角增加一个修正角。

·如果d_meas_links/d_est＜d_meas_rechts/d_est，侧倾角减小一个修正角。

·其他情况则保持所述侧倾角不变。

该修正角可以为一个规定的恒定值（例如0.05°或0.1°），该值确定侧倾角估算的分辨率，或者修正角可以假定一个与（d_meas_links/d_est－d_meas_rechts/d_est）的数值成比例的值。

通过构成实测标志距离（d_meas）与预测标志距离（d_est）的比例，对汽车速度变化的影响进行考虑。

附图标记一览表

1车道

2左侧的连续车道标线

3右侧的连续车道标线

4水平的图像中心

5垂直的图像中心

6地平线

7汽车

8摄像头

S1-S6标志1至6

d沿汽车纵轴线方向在世界坐标中标志与摄像头的距离

v汽车速度

Claims (4)

1.用于在一辆行驶的汽车(7)中利用一个摄像头(8)估算所述摄像头的侧倾角的方法，所述方法包括以下步骤：

a)利用摄像头(8)记录汽车周围环境的一个图像序列，

b)从摄像头图像中测定和跟踪(追踪)在车道表面上的至少一个标志(S1-S6)，

c)从所述至少一个标志(S1-S6)在一个或多个依次接着的摄像头图像中的变化的位置测定摄像头(8)朝哪个侧倾角方向转动，

d)重复以一个修正角对侧倾角的值进行修正，直到估算的侧倾角充分补偿摄像头(8)的转动。

2.如权利要求1所述的方法，其特征在于，

在步骤b)中，测定和跟踪在图像左半部中的至少一个第一标志(S1-S3)和在同一图像或一个依次接着的图像中在图像右半部中的一个第二标志(S4-S6)，此外，在摄像头图像的相应的记录时刻保存汽车速度(v)，

在步骤c)中，针对每个标志(S1-S6)单独地在考虑相应的汽车速度(v)和摄像头(8)的一种成像模式情况下，实施标志距离(d_est)的预测，并且在一个依次接着的图像中实测标志距离(d_meas)并且测定摄像头(8)朝哪个方向转动，方式是：在两个图像半部中将预测的标志距离(d_est)与在考虑当前估算的侧倾角情况下实测的标志距离(d_meas)的偏差进行比较。

3.如权利要求1所述的方法，其特征在于，

在步骤b)中，测定和跟踪在图像左下象限中的至少一个第一标志(S1-S3)和在同一图像或一个依次接着的图像中在图像右下象限中的一个第二标志(S4-S6)，此外，在摄像头图像的相应的记录时刻保存汽车速度(v)，

在步骤c)中，针对每个标志(S1-S6)，确立标志位置在图像中的变化与相应汽车速度(v)的比例并且针对两个图像半部将这一比例进行比较，其中推断出，摄像头(8)朝其中这一比例较大的那个图像半部方向转动。

4.用于在一辆行驶的汽车(7)中估算侧倾角的设备，所述设备包括一个摄像头(8)和一个具有用于按权利要求1至3之一所述的方法估算侧倾角的装置的分析单元。