CN105313893A

CN105313893A - 用于车道管理融合功能的未对准校正和健康状态估计

Info

Publication number: CN105313893A
Application number: CN201510433039.7A
Authority: CN
Inventors: S.曾; X.F.宋
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-07-22
Filing date: 2015-07-22
Publication date: 2016-02-10
Anticipated expiration: 2035-07-22
Also published as: US20160027176A1; US9286679B2; CN105313893B

Abstract

一种用于车道管理融合功能的未对准校正和健康状态估计。车辆车载的两个车道感测系统将车道信息提供给车道管理系统，其中车道感测系统中的一个可以是专用的前视车道感测系统，并且另一个车道感测系统可以使用来自环视相机系统的图像。车道信息被存储在固定长度的动窗循环数据缓冲区中。从来自两个车道感测系统的车道信息递归地计算关联系数，并且关联系数被用来计算车道管理系统的健康状态。还计算来自两个车道感测系统的车道信息之间的线性回归关系，并且在对来自两个车道感测系统的车道信息执行融合计算之前，将比例因子和偏移值应用于来自第二车道感测系统的车道信息。

Description

用于车道管理融合功能的未对准校正和健康状态估计

技术领域

本发明一般涉及增强的汽车的车道跟踪能力，并且更具体来说，涉及用于诊断和校正两个基于影像的车道感测系统之间的未对准的方法，包括计算两个车道感测系统之间的关联并且在执行融合计算之前将一个车道感测系统相对另一个进行校准。

背景技术

现在，许多车辆包括车道感测系统，所述系统使用摄像机和图像处理技术以用于通过识别图像中的路缘和道路标记来确定道路车道边界。来自车道感测系统的数据通常用于车道偏离警告（LAW）系统中，该系统向驾驶者警告非计划的车道偏离，或者用于车道定中（LC）系统中，该系统主动地控制转向以将车辆维持在车道的中心。

一些车辆包括两个车道感测系统，例如使用来自前视摄像机的第一车道感测系统和使用来自后视或环视摄像机的图像的第二车道感测系统。在具有两个车道感测系统的车辆中，有时执行融合或组合计算，其中融合的车道数据用于LDW系统或LC系统中。

然而，如果车道感测系统中的一个产生未对准问题，则即使另一个车道感测系统被精确地校准，未对准也将不利地影响融合计算的计算结果。在融合数据并且将融合的数据提供到下游系统（诸如LDW或LC）之前，将会需要进行评估，并且如果必要则将会需要校正来自两个车道感测系统的数据的质量。

发明内容

根据本发明的教示，披露用于具有两个车道感测系统的车辆中的健康状态估计和未对准校正的方法。车辆车载的两个车道感测系统将车道信息提供给车道管理系统，其中车道感测系统中的一个可以是专用的前视车道感测系统，并且另一个车道感测系统可以使用来自环视摄像机系统的图像。车道信息被存储在固定长度的动窗循环数据缓冲区中。从来自两个车道感测系统的车道信息递归地计算关联系数，并且关联系数被用来计算车道管理系统的健康状态。还计算来自两个车道感测系统的车道信息之间的线性回归关系，并且在对来自车道管理系统中的两个车道感测系统的车道信息执行融合计算之前，将所得的比例因子和偏移值应用于来自第二车道感测系统的车道信息。

本发明包括以下方案：

1.一种用于车辆车道管理系统中的健康状态估计和未对准校正的方法，所述方法包括：

提供来自车辆车载的第一车道感测系统和第二车道感测系统的车辆的车道信息，其中车道信息被作为多个时间步存储在循环数据缓冲区中；

基于车道数据的独立源校准来自第一车道感测系统的车道信息，其中独立源不是第二车道感测系统；

使用微处理器计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的关联系数；

基于所述关联系数计算车道管理系统的健康状态；

将车道管理系统的健康状态与预定阈值相比较，并且如果健康状态小于阈值则发出警告消息；

计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的线性回归关系，包括比例因子和偏移值；

使用所述比例因子和所述偏移值校正来自第二车道感测系统的车道信息；以及

融合来自第一车道感测系统的车道信息与校正之后的来自第二车道感测系统的车道信息。

2.如方案1所述的方法，其中车道信息包括车辆与车道中心的横向偏移量、车辆相对于车道的方向角以及车道的曲率。

3.如方案1所述的方法，其中循环数据缓冲区具有能够存储固定数量的时间步的大小，循环数据缓冲区将车道信息的最新近时间步存储在缓冲区最前部位置中，并且比固定数量的时间步旧的车道信息被从循环数据缓冲区逐出。

4.如方案1所述的方法，其中计算关联系数包括计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的皮尔逊关联系数，其中所述皮尔逊关联系数是使用来自循环数据缓冲区的车道信息的动窗来递归地计算。

5.如方案4所述的方法，其中所述皮尔逊关联系数是使用依据循环数据缓冲区中的车道信息的所有时间步的求和、求和的平方以及平方的求和代表期望函数、车道信息平均值和车道信息标准偏差的方程来递归地计算。

6.如方案1所述的方法，其中计算车道管理系统的健康状态包括使用关联系数、第一车道感测系统的健康状态以及第二车道感测系统的健康状态的加权和。

7.如方案1所述的方法，其中计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的线性回归关系包括使用来自循环数据缓冲区的车道信息的动窗来递归地计算所述比例因子和所述偏移值。

8.如方案7所述的方法，其中所述比例因子和所述偏移值是使用包括循环数据缓冲区中的车道信息的所有时间步的求和、求和的平方以及平方的求和的方程来递归地计算。

9.如方案1所述的方法，其进一步包括在车辆上的车道定中系统中使用融合之后的车道信息。

10.如方案1所述的方法，其中第一车道感测系统是前视车道感测系统，并且第二车道感测系统使用来自环视摄像机系统的图像来确定车道信息。

11.一种用于车辆车道管理系统中的健康状态估计和未对准校正的方法，所述方法包括：

提供来自车辆车载的第一车道感测系统和第二车道感测系统的车辆的车道信息，其中第一车道感测系统是前视车道感测系统，并且第二车道感测系统使用来自环视摄像机系统的图像来确定车道信息，并且其中车道信息被作为多个时间步存储在循环数据缓冲区中；

基于从前向物体检测系统获得的车道数据校准来自第一车道感测系统的车道信息；

使用微处理器计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的皮尔逊关联系数；

基于所述关联系数计算车道管理系统的健康状态；

将车道管理系统的健康状态与预定阈值相比较，并且如果所述健康状态小于阈值则发出警告消息；

计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的包括比例因子和偏移值的线性回归关系，包括使用来自循环数据缓冲区的车道信息的动窗来递归地计算所述比例因子和所述偏移值；

12.如方案11所述的方法，其中所述皮尔逊关联系数是使用依据循环数据缓冲区中的车道信息的所有时间步的求和、求和的平方以及平方的求和代表期望函数、车道信息平均值和车道信息标准偏差的方程来递归地计算。

13.如方案11所述的方法，其中计算车道管理系统的健康状态包括使用所述皮尔逊关联系数、第一车道感测系统的健康状态以及第二车道感测系统的健康状态的加权和。

14.一种包括健康状态估计和未对准校正的车辆车道管理系统，所述车道管理系统包括：

车辆车载的第一车道感测系统和第二车道感测系统，所述车道感测系统提供车辆在道路上的车道信息；

用于存储从车道感测系统接收到的车道信息的存储器模块，所述存储器模块包括循环数据缓冲区，车道信息被作为多个时间步存储在循环数据缓冲区中；以及

与所述存储器模块通信的车道管理处理器，所述车道管理处理器被配置成：

计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的关联系数；

基于所述关联系数计算车道管理系统的健康状态；

15.如方案14所述的车道管理系统，其中所述循环数据缓冲区具有能够存储固定数量的时间步的大小，循环数据缓冲区将车道信息的最新近时间步存储在缓冲区最前部位置中，并且比固定数量的时间步旧的车道信息被从循环数据缓冲区逐出。

16.如方案14所述的车道管理系统，其中所述关联系数是来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的皮尔逊关联系数，其中所述皮尔逊关联系数是使用来自循环数据缓冲区的车道信息的动窗来递归地计算。

17.如方案16所述的车道管理系统，其中所述皮尔逊关联系数是使用依据循环数据缓冲区中的车道信息的所有时间步的求和、求和的平方以及平方的求和代表期望函数、车道信息平均值和车道信息标准偏差的方程来递归地计算。

18.如方案14所述的车道管理系统，其中所述车道管理系统的健康状态是通过包括关联系数、第一车道感测系统的健康状态以及第二车道感测系统的健康状态的加权和的方程来计算。

19.如方案14所述的车道管理系统，其中所述比例因子和所述偏移值是使用包括循环数据缓冲区中的车道信息的所有时间步的求和、求和的平方以及平方的求和的方程使用来自循环数据缓冲区的车道信息的动窗来递归地计算。

20.如方案14所述的车道管理系统，其中所述第一车道感测系统是前视车道感测系统，并且所述第二车道感测系统使用来自环视摄像机系统的图像来确定车道信息。

本发明的额外特征将从结合附图进行的以下描述和随附权利要求变得显而易见。

附图说明

图1是具有包括两个车道感测系统的车道管理系统的车辆的示意图；

图2是用于所披露的用于车道管理系统的健康确定的方法中的循环数据缓冲区的图示；以及

图3是用于具有两个车道感测系统的车辆中的健康状态估计和未对准校正的方法的流程图。

具体实施方式

针对具有两个车道感测系统的车辆中的健康状态估计和未对准校正的方法的本发明的实施例的以下论述实质上仅是示例性的，而绝不意欲限制本发明或其应用或使用。

车道偏离警告（LDW）系统和车道定中（LC）系统在现代车辆中越来越普遍，因为半自主驾驶变成理想且可实现的目标。为了提供精确且及时的警告或转向校正，LDW和LC系统依赖于来自车道管理系统的数据，该数据确定实时的车道中车辆位置。在一些车辆中，车道管理系统组合来自车道管理融合环中的两个独立车道感测系统的输入。

图1是包括车道管理系统12的车辆10的示意图，车道管理系统12接收来自第一车道感测系统20和第二车道感测系统30的车道信息。第一车道感测系统20接收来自前置摄像机22的图像，该前置摄像机可以检测车辆10前部的许多不同类型的物体。前置摄像机22可以检测左和右车道边界标记、前车以及路缘，并且车道感测系统20在确定关于车辆10的车道信息的计算中使用这些检测出的物体。车道感测系统20所计算出的车道信息包括车辆10相对于车道中心的横向偏移量、车辆10相对于车道切线的方向以及车道的曲率。在一些车辆中，车道感测系统20可以被认为是主要车道感测系统，因为前置摄像机22可以专用于车道感测并且最优化用于车道感测。

车道感测系统30（可以认为是次要车道感测系统）使用来自一个或多个其他摄像机的图像来计算用于车辆10的独立组的车道信息。车道感测系统30可以仅接收来自后视摄像机32的图像。替代地，车道感测系统30可以是接收来自后视摄像机32、第二前置摄像机34、左侧摄像机36以及右侧摄像机38的图像的“环视”系统。还可以使用其他摄像机或摄像机的组合作为车道感测系统30的输入。接收来自车道感测系统20和车道感测系统30的车道信息的车道管理系统12执行融合计算，这产生可以由LDW或LC系统使用的一组融合的车道信息。

车道感测系统20和30可能出现校准或未对准问题——例如，如果由于车辆车体损坏而使得摄像机变得移位或旋转错位。如之前所提及，融合来自两个车道感测系统的未校准的车道信息可能将不想要的误差引入到融合的车道数据中。因此，需要在融合车道管理系统12中的两组车道信息之前，确定车道感测系统20和车道感测系统30的健康状态并且校正任何未对准。还可以计算车道管理系统12的整体健康状态。以下论述用于执行所有这些计算的方法。

应理解，车道管理系统12、车道感测系统20和车道感测系统30包括至少一个处理器和存储器模块，其中处理器配置有设计成从摄像机图像计算车道信息、确定车道管理系统健康状态、校正任何车道感测系统未对准以及执行车道信息融合计算的软件。以下将详细论述用于车道管理系统12中的逻辑和计算。

应进一步理解，在不脱离所披露的发明的精神的情况下，车道管理系统12、第一车道感测系统20和第二车道感测系统30的特征和计算可以与本文所描述不同地分割。例如，车道感测系统20和30中仅可以处理图像，并且所有车道信息、对准、健康状态和融合计算都可以发生在车道管理系统12中。替代地，所有图像处理和随后计算可以在车道管理系统12中的单个处理器中执行。也就是说，所有车道感测和管理功能都可以在单个物理设备中执行。

在计算车道管理系统12的整体健康状态并计算车道感测系统20与车道感测系统30之间的任何未对准时，将对来自车道感测系统20的车道信息和来自车道感测系统30的车道信息执行若干计算。车道感测系统20和30中的车道信息计算是基于来自摄像机22和32-38的一系列图像。在一个示例性实施例中，可以每100ms计算新的车道信息，然而也可以使用更长或更短的时间步。并非处理过去的车道信息数据的不断增长的缓冲区，而是在计算中可以使用固定长度的缓冲区。缓冲区可以包括数千个过去组的车道信息（时间步），但是通过固定长度，其提供关联和其他计算的恒定复杂度的优点。

将固定长度的缓冲区认为是循环缓冲区是有用的。图2是用于所披露的用于确定车道管理系统健康状态的方法中的循环数据缓冲区50的图示。认为数据缓冲区50含有来自车道感测系统20的一系列的许多时间步52的车道信息x，其中每个时间步52的x包括如先前所描述的横向偏移量、方向和曲率。虚线54代表用于循环数据缓冲区50的开始和结束位置。最新的时间步（也就是说，车道感测系统20最新近提供的车道信息）包含在缓冲区最前部56中。最旧的时间步包含在缓冲区最后部58中。在每个时间步，新组的车道信息被置于缓冲区最前部56中，所有时间步52在缓冲区50中顺时针旋转一个位置（如由箭头60所示），并且先前包含在缓冲区最后部58中的车道信息退出缓冲区50。还使用另一个循环数据缓冲区（诸如缓冲区50）以存储来自第二车道感测系统30的数据。

以上述方式，循环数据缓冲区50始终含有最新近车道信息的动窗。包含在缓冲区50中的时间步52的数量被定义为W（其中W可以是数千，如先前所提及）。因此，对于车道感测系统20而言，缓冲区50的内容可以被定义为：

其中x _t是来自车道感测系统20的当前时间t的车道信息（在缓冲区最前部56中），是保留在缓冲区50中的最旧时间步的车道信息（在缓冲区最后部58中），并且X是含有来自第一车道感测系统20的车道信息的整个缓冲区的向量。

类似地，含有来自第二车道感测系统30的车道信息的整个缓冲区的向量Y可以被定义为。

为了确定车道管理系统12的整体健康状态，首先有必要计算来自车道感测系统20的车道信息与来自车道感测系统30的车道信息之间的关联。此关联可以通过计算皮尔逊关联系数来确定，皮尔逊关联系数是定义为两个变量的协方差除以其标准偏差的乘积的两个变量之间的线性关系的强度和方向的测量。也就是说，皮尔逊关联系数被定义为：

其中cov是协方差，是X的标准偏差，是X的平均值（对于Y而言类似），并且E是期望。

当向量X和Y由循环数据缓冲区50中的一组W个样本或时间步表示时，皮尔逊关联系数可以在车道信息的动窗上递归地计算，如下：

其中方程（3）中的所有变量在以上已经定义，并且对数据缓冲区50中的所有时间步i都进行求和。

方程（3）可以用以下形式来简化和重写：

其中如可以通过比较方程（3）和（4）看出，变量A至E如下定义：

另外，在此所进行的是将涉及关于每个时间步的车道信息的变量（x _i用于第一车道感测系统20，并且y _i用于第二车道感测系统30）对于从的最旧（最后部）时间步到的最新（最前部）时间步的循环数据缓冲区50的全部内容进行求和。计算变量A至E并且求解方程（4）产生用于向量X和Y的皮尔逊关联系数。在每个时间步重复这些计算，因为新的车道信息被推入缓冲区最前部56并且最旧的车道信息被从缓冲区最后部58逐出。

通过定义，皮尔逊关联系统具有零与1，包括零和1（）的值。如果向量X和Y不具有统计关联则的值将等于零，并且如果向量X和Y相等（）则将具有一的值。在评估车道管理系统12的健康状态时，可以将皮尔逊关联系数与预定阈值（诸如0.6）相比较以确认向量X和Y具有至少某个最小的关联水平。如果皮尔逊关联系数不满足或超出阈值，则可以将车道管理系统12需要检修的警告消息提供给驾驶者，并且可以禁用诸如车道偏离警告和车道定中的下游应用。

在计算每个时间步的皮尔逊关联系数之后，计算车道管理系统12的健康状态值是有用的，该值可以被定义为：

其中是车道管理系统12的健康状态，是车道感测系统20的健康状态，是车道感测系统30的健康状态，并且、和是可以用任何适合的方式定义的标准化的加权因子。

在方程（10）中，三个健康状态变量（值的范围从零到一）可以被视为系统健康的概率。例如，的值意味着存在车道管理系统12健康的100%的概率，而的值意味着存在车道管理系统12健康的0%的概率。对于车道感测系统20和车道感测系统30而言同样。类似地，加权因子、和可以被视为条件概率。例如，可以被定义为当（前置）车道感测系统20健康时（也就是说，当＝1时）车道管理系统12健康的条件概率。

如果方程（10）与和的非零值一起使用，则健康状态必须对于车道感测系统20（）和车道感测系统30（）中的每一个进行独立地计算。替代地，如果不可获得用于车道感测系统20和车道感测系统30的独立的健康状态值，则车道管理系统12的健康状态可以被简单地定义为皮尔逊关联系数本身，其是当且时方程（10）的解。

还可以使用分别包含在向量X和Y中的来自车道感测系统20和车道感测系统30的车道信息来进行校准。例如，如果可以独立地验证车道感测系统20的健康状态和对准——诸如通过针对由基于雷达或基于激光雷达的物体检测系统计算出的车道数据校准来自车道感测系统20的车道信息，则将需要针对来自车道感测系统20的车道信息X自动地校准来自车道感测系统30的车道信息Y。这可以通过假定来自车道感测系统20和车道感测系统30的车道信息被相关为来进行，其中是比例因子并且是未对准的方位角。

和的值可以使用循环数据缓冲区50中的移动平均数据来递归地计算。具体来说：

以及

其中，如先前所定义，W是循环数据缓冲区50中的时间步的数量，并且A、B和C是使用车道信息x _i和y _i的求和在以上方程（5）至（7）中定义的中间变量。

在计算和之后，可以对来自车道感测系统30的车道信息应用校正，以产生校正的向量，如下：

在计算之后，可以将来自车道感测系统20的车道信息X和来自车道感测系统30的校正后的车道信息用于车道管理系统12中的融合计算。随后，可以将预先校准的、融合的车道数据用于车道偏离警告或车道定中，如先前所论述。

图3是用于车道管理系统12以及车道感测系统20和30的健康状态估计和未对准校正的方法的流程图80。在开始方框82，开始过程，诸如当起动车辆10时。在方框84，由车道感测系统20和车道感测系统30提供新的车道信息。来自每个车道感测系统的车道信息被聚集在如先前所论述的循环数据缓冲区50的单独实例中。在起动之后，过程直到获得足够数量的时间步的数据之后才从方框84继续，以执行以上所论述的递归计算。

在方框86，计算并校正第一车道感测系统20的任何未对准。车道感测系统20的对准可以通过与来自例如如先前所论述的前向物体检测系统的车道数据相比较来验证。在方框88，使用来自两个车道感测系统的数据来计算关联系数。如先前所论述，首先使用缓冲区50中的数据来计算中间变量A至E，并且随后使用方程（4）来计算皮尔逊关联系数。

在方框90，使用方程（10）计算车道管理系统12的健康状态。在决定菱形框92，将车道管理系统12的健康状态与预定阈值（诸如0.6）相比较。如果车道管理系统12的健康状态小于阈值，则在方框94，发出警告消息以报告车道管理系统12中的可能故障状态。警告消息可以被发出给车辆10的驾驶者，或者警告消息可以通过远程信息处理系统传输到车辆制造商的服务中心，或者二者。如果在方框94确定车道管理系统12处于故障状态下，则禁用使用融合的车道数据的下游应用，诸如LDW和LC。

如果车道管理系统12的健康状态不小于阈值，则在方框96，使用方程（11）和（12）计算用于线性回归的变量a和b，并且使用方程（13）计算用于车道感测系统30的校正后的车道信息向量。在方框98，对车道感测系统20的车道信息向量X和车道感测系统30的校正后的车道信息向量执行融合计算。在方框98计算出的预先校正的、融合的车道信息由车道管理系统12提供给下游应用，诸如LDW和LC。在方框98计算融合的车道信息之后，过程返回到方框84，其中提供新的车道信息，索引循环数据缓冲区5并且过程递归地继续。

使用本文所披露的方法，可以实时评估车道管理系统12的健康状态，并且可以在融合数据之前预先校准来自两个车道感测系统的车道信息以校正任何未对准。通过在融合之后预先校正车道数据，提高了提供给下游LDW和LC系统的数据的精确度，因为不想要的误差不会被引入到融合的车道数据中。此外，车道管理系统健康状态的实时监控实现任一个车载车道感测系统的任何问题的即时检测。

以上论述仅披露和描述本发明的示例性实施例。本领域技术人员将从此论述和从附图和权利要求容易认识到，在不脱离如以下权利要求定义的本发明的精神和范围的情况下，可以在其中进行各种改变、修改和变化。

Claims

基于所述关联系数计算车道管理系统的健康状态；

2.如权利要求1所述的方法，其中车道信息包括车辆与车道中心的横向偏移量、车辆相对于车道的方向角以及车道的曲率。

3.如权利要求1所述的方法，其中循环数据缓冲区具有能够存储固定数量的时间步的大小，循环数据缓冲区将车道信息的最新近时间步存储在缓冲区最前部位置中，并且比固定数量的时间步旧的车道信息被从循环数据缓冲区逐出。

4.如权利要求1所述的方法，其中计算关联系数包括计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的皮尔逊关联系数，其中所述皮尔逊关联系数是使用来自循环数据缓冲区的车道信息的动窗来递归地计算。

5.如权利要求4所述的方法，其中所述皮尔逊关联系数是使用依据循环数据缓冲区中的车道信息的所有时间步的求和、求和的平方以及平方的求和代表期望函数、车道信息平均值和车道信息标准偏差的方程来递归地计算。

6.如权利要求1所述的方法，其中计算车道管理系统的健康状态包括使用关联系数、第一车道感测系统的健康状态以及第二车道感测系统的健康状态的加权和。

7.如权利要求1所述的方法，其中计算来自第一车道感测系统的车道信息与来自第二车道感测系统的车道信息之间的线性回归关系包括使用来自循环数据缓冲区的车道信息的动窗来递归地计算所述比例因子和所述偏移值。

8.如权利要求7所述的方法，其中所述比例因子和所述偏移值是使用包括循环数据缓冲区中的车道信息的所有时间步的求和、求和的平方以及平方的求和的方程来递归地计算。

9.一种用于车辆车道管理系统中的健康状态估计和未对准校正的方法，所述方法包括：

基于所述关联系数计算车道管理系统的健康状态；

10.一种包括健康状态估计和未对准校正的车辆车道管理系统，所述车道管理系统包括：

基于所述关联系数计算车道管理系统的健康状态；