CN107107821B - 使用运动数据加强车道检测 - Google Patents

Abstract

提供用于检测车辆从一组车道边界偏离的系统和方法。车道确定部件被配置为确定车辆的一组相关联的车道边界。运动传感器被配置为测量与车辆相关联的至少一个运动参数。车道偏离警告系统被配置为根据至少一个运动参数确定车辆是否正在穿过所确定的一组车道边界中的一个，并且如果车辆正在穿过所确定的一组车道边界中的一个则提供响应信号。

Description

使用运动数据加强车道检测

相关申请的交叉引用

本申请要求Babala等人于2014年10月28日提交的序列号62/069,368的美国临时专利申请的优先权，其全部内容通过引用并入本文。

技术领域

本发明涉及车辆安全系统，特别地，涉及使用运动数据以加强车道检测系统。

背景技术

在道路运输技术中，车道偏离警告系统是一种被设计为当车辆在高速公路和主干道上开始在没有转向信号的情况下行驶出它的车道时警告驾驶员的机构。这些系统被设计为通过处理碰撞的主要原因——驾驶员过失、注意力分散和瞌睡来将事故减少至最低数量。

发明内容

根据本发明的一个方面，一种系统包括边界确定部件和运动传感器，边界确定部件被配置为确定车辆的一组相关联的车道边界，运动传感器被配置为测量与车辆相关联的至少一个运动参数。车道偏离警告系统被配置为根据至少一个运动参数确定车辆是否正在穿过所确定的该组车道边界中的一个，并且如果车辆正在穿过所确定的该组车道边界中的一个则提供响应信号。

根据本发明的另一方面，提供了一种用于检测车辆从一组车道边界偏离的方法。评估车辆的前方区域的图像以确定在图像内车辆是否看起来正在穿过车道边界。评估来自运动传感器的数据以确定车辆是否正在遇到与道路边界相关联的道路特征。然后根据在图像内车辆是否看起来正在穿过车道边界的确定结果以及车辆是否正在遇到与道路边界相关联的道路特征的确定结果确定车辆是否正在偏离该组车道边界，并且提供响应信号。

根据本发明的又一方面，车辆安全系统包括前视相机和图像分析部件，前视相机被配置为拍摄车辆的前方道路的区域，图像分析部件被配置为识别由前视相机提供的图像内的车道标记。运动分析系统被配置为提供关于来自至少一个相关联的加速计的数据是否与表示车道边界的道路特征一致的确定结果。车道偏离警告系统被配置为根据识别的车道标记和运动分析系统提供的确定结果确定车辆是否正在离开其当前车道，并且如果车辆正在离开其当前车道则提供响应信号。

附图说明

图1示出了根据本发明的一个方面的用于车辆的车道偏离检测系统；

图2示出了根据本发明的一个方面的用于车辆的车辆安全系统的例子；

图3示出了根据本发明的一个方面的检测车辆从一组车道边界偏离的方法；和

图4是示出能够实施本文公开的系统和方法的例子的硬件部件的示例系统的示意框图。

具体实施方式

图1示出了根据本发明的一个方面的用于车辆的车道偏离检测系统10。车道偏离检测系统10包括边界确定部件12，边界确定部件12被配置为确定车辆的一组相关联的车道边界。例如，边界确定部件12可以根据车道标记、边缘线和人行道边界来确定二维图像内的道路的定位和几何形状，并且根据这些指示物限定道路的位置。可替代地，边界确定部件14可以利用默认的道路几何形状标明车道边界的定位。在一个实施方式中，随着车辆速度的变化来确定默认边界。

该系统10还包括被配置为确定车辆是否正在穿过车道边界的车道偏离警告系统14。根据本发明的一个方面，车道偏离警告系统14可以从运动传感器16接收输入。特别地，车道偏离警告系统14可以从传感器16或者相关联的分析系统(未示出)接收指示车辆是否可能正在遇到与车道标记(诸如停车振动带或虫点(Bott’s dots))相关联的道路特征的数据。

车道偏离警告系统14利用来自传感器的反馈以及来自边界确定部件12的数据以确定车辆是否可能正在离开车道，并确定合适的响应。例如，可以向驾驶员提供可视或可听警告，经由方向盘或驾驶员座椅进行触觉反馈可以提供警告，和/或可以向方向盘施加小量扭矩以将车辆恢复至初始车道。在一个实施方式中，车道偏离警告系统可以仅当来自传感器16和边界确定部件12二者的数据都指示车辆已经离开车道边界时指示从车道偏离。可替代地，可以使用车辆稳定性反馈来确保车道偏离，使得当仅来自传感器16和边界确定部件12中的一个的数据与车辆离开车道边界一致时提供较小的响应(例如，用警报代替施加到方向盘的扭矩)。根据这里的教导，将运动数据和边界数据相结合的其它方法对本领域技术人员将是明显的。

图2示出了根据本发明的一个方面的用于车辆的车辆安全系统50的例子。车辆安全系统50包括被配置为拍摄车辆的前方道路的区域的前视相机52。将前视相机52拍摄的图像提供给被配置为识别图像内的车道标记的图像分析部件54。例如，图像分析部件54可以确定二维图像内的道路的定位和几何形状。当获得合适的数据时，图像分析部件54可以识别车道标记、边缘线和人行道边界，并且根据这些指示物限定道路的定位，例如，通过合适的边缘检测算法。应认可，用来识别车道标记、边缘线和人行道边界的算法可以产生置信值，置信值表示确定的边界精确的可能性。

在这些指示物不存在或者因不利的道路状况而模糊了的地方，图像分析部件54可以利用默认道路几何形状来将图像的一部分指定为表示道路。在所示实施方式中，默认车道几何形状利用道路为直且对水平的假设，并且其中车道宽度等于具有与车辆速度一致的速度限制的道路的标准。应认可，可以利用其它输入来构造默认车道边界并且追踪车辆定位，其它输入诸如全球导航卫星系统(如全球定位系统(GPS))、针对重要道路存储的默认车道几何形状以及来自转向系统的数据，使得可以在没有可视反馈的情况下确定从默认边界的偏离。

系统50还包括被配置为确定车辆是否正在离开其当前车道的车道偏离警告系统56。在所示实施方式中，车道偏离警告系统56可以从一个或多个运动传感器和运动分析系统60接收输入。在所示实施方式中，运动传感器是一个或多个低G加速计58的组，并且运动分析系统60是车辆稳定性系统62的一部分，但运动分析系统60可以是独立的，或者是其它系统(诸如主动翻滚控制系统或接收和分析加速计数据的其它车辆系统)的一部分。因此，应认可，运动分析系统60的输出可以用于除了车道偏离警告系统56之外的至少一个其它车辆功能。运动分析系统60可以处理来自一个或多个加速计58的数据以确定车辆何时正在遇到道路中规则的、周期性的特征，诸如停车振动带或虫点。

在所示实施方式中，检测的加速计数据可以被转换到频域以定位周期性，并且可以将定位的周期性与车辆速度信息(例如，来自车轮速度传感器)相比较，以确定检测到的级数微扰(series perturbation)是否可能表示车道标记。当检测到这样的周期性的级数微扰时，车辆稳定性系统62可以通知车道偏离警告系统56已经检测到与车道边界一致的道路特征(例如停车振动带或虫点)。例如，可以在车辆总线(未示出)上设置标识，其指示车辆稳定性系统62正在接收与触觉车道标记一致的加速计数据。应认可，运动分析系统60可以提供指示运动数据表示车道边界的可能性的置信值或分类等级，代替二进制响应。例如，被识别为触觉车道标记的频率部分的幅度可以用来确定该确定结果的置信值。

车道偏离警告系统56可以利用来自运动分析系统57的数据以及来自图像分析部件54的数据以确定车辆是否可能正在离开车道并且确定合适的响应。通过向车道偏离确定添加非视觉部件，使得系统可以在模糊的环境(例如下雪或重雾)中有效运行。例如，可以向驾驶员提供可视的或可听的警告，或者可以向方向盘施加小量扭矩来将车辆恢复至初始的车道。在一个实施方式中，图像分析部件54可以提供反映车辆漂移出车道的可能性的置信值，并且当检测到停车振动带或虫点时，来自车辆稳定性系统62的输入可以为置信值增加预定的或可变的值。另外，车辆稳定性反馈可以用来确认车道偏离，使得当没有检测到与车道标记一致的道路特征时，不提供响应或提供较小的响应(例如，用警报代替施加到方向盘的扭矩)。根据这里的教导，将车辆稳定性数据和图像数据相结合的其它方法对本领域技术人员来说将是明显的。

图3示出了根据本发明的一个方面的检测车辆从一组车道边界偏离的方法100。在102，评估车辆前方区域的图像以确定在图像内车辆是否看起来正在穿过车道边界。例如，可以将合适的图案识别处理(例如模板匹配和边缘检测算法)应用于识别车道标记、边缘线和人行道边界，并且根据这些指示物限定道路位置。在不能以足够的置信值(例如，满足阈值的置信值)确定这些指示物的情况下，基于车辆速度，可以使用默认道路几何形状来创建默认的一组车道边界。一旦车道边界已被识别，就可以例如根据图像内的车辆轮胎位置或者根据轮胎相对于相机的位置的已知位置来确定车辆是否正在穿过车道边界的确定结果。

在104，评估来自运动传感器的数据以确定车辆是否正在遇到与道路边界相关联的物理道路特征，实际上，物理道路特征经由车辆底盘(vehicle chassis)提供触觉反馈。许多道路边界由触觉元件(诸如停车振动带或虫点)标记，该触觉元件可以通过车辆内的运动传感器(例如加速计)来检测。因此，发明者确定可以通过将触觉数据包括在确定结果内来增强根据前视相机的车道偏离检测的精确度。在一个实施方式中，来自运动传感器的数据可以被转换到频域以定位周期性。由于内部特征距离在触觉标记中通常是标准的且已知为先验的，所以可以将定位周期性与车辆速度信息相比较以确定周期性是否可能表示触觉车道标记。应认可，该信息对其它目的是有用的，例如，用于在车辆稳定性系统中将该周期性反馈过滤掉。因此，定位周期性可以用于除了车道偏离检测之外的车辆功能。

在106，根据在图像内车辆是否看起来正在穿过车道边界的确定结果以及车辆是否正在遇到与道路边界相关联的道路特征的确定结果来确定车辆是否正在从一组车道边界偏离。在一个实施方式中，如果从图像数据或运动数据检测到偏离，则可以确定车辆正在从车道边界偏离。在另一个实施方式中，如果从图像数据和运动数据二者中都检测到偏离，则可以确定车辆正在从车道边界偏离。在又一个实施方式中，对图像数据的评估提供了表示车辆正在穿过车道边界的可能性的置信值。如果置信值满足第一阈值，则确定车辆正在穿过车道边界，无论运动数据是否存在。如果置信值不能满足第一阈值但满足第二阈值，仅当还确定车辆正在遇到与道路边界相关联的道路特征时，确定车辆正在穿过车道边界。

在108，经由响应信号将车道偏离确定结果传输到车辆的操作者。如果确定车辆正在从该组车道边界偏离，则响应信号可以指令转向系统向车辆的方向盘施加轻微扭矩以将车辆维持在车道内，或者指令合适的车辆系统提供可视警报、可听警报或者经由方向盘或车辆座椅提供触觉反馈。在一个实施方式中，在106的关于车辆是否正在从一组车道边界偏离的确定结果包括表示车辆正在从一组车道边界偏离的可能性的置信值的确定结果。如果置信值满足第一阈值，则可以向方向盘施加扭矩。如果置信值不能满足第一阈值但满足第二阈值，则可以提供警报以警告操作者。

图4是示出能够实施本文公开的系统和方法的例子的硬件部件的示例控制系统200的示意框图，诸如先前描述的车道检测系统。系统200可以包括各种系统和子系统。可以使用经由车辆总线连接的基于车辆的控制器或者使用单独的车道偏离控制器来实施系统200。计算机可以包括微型计算机，或者可以使用相应地布置的专用集成电路(ASIC)来实现所需控制功能。

控制系统200可以包括系统总线202、处理单元204、系统存储器206、存储器装置208和210、通信接口212(例如网络接口)、通信链路214、显示器216和输入装置218(例如，加速度传感器、相机输入等等)。系统总线202可以与处理单元204和系统存储器206通信。额外的存储器装置208和210也可以与系统总线202通信。系统总线202与处理单元204、存储器装置206-210、通信接口212、显示器216和输入装置218相互连接。在一些例子中，该系统总线202还与其它端口(未示出)相互连接。

处理单元204可以是微计算机和/或可以包括被布置为执行所需处理和控制功能的专用集成电路(ASIC)。处理单元204执行一组指令以实施本文公开的例子的操作。

额外的存储器装置206、208和210可以存储操作计算机可能需要的数据、程序、指令、文本或编译形式的数据库查询以及其它任何信息。存储器206、208和210可以被实施为计算机可读介质。

附加地或可替代地，系统200可以通过通信接口212访问外部数据源或查询源，通信接口212可以与系统总线202和通信链路214通信。

在操作中，处理单元204执行来自系统存储器206和存储器装置208和210的一个或多个计算机可执行指令。本文使用的术语“计算机可读介质”是指参与向处理单元204提供指令以用于执行的介质。

以上描述的是本发明的例子。当然，为了描述本发明，不可能描述每个可构思的部件和方法的组合，但是本领域普通技术人员将意识到，本发明的许多进一步的组合和改变是可能的。因此，本发明意图包含落入所附权利要求的范围内的所有这些改变、修改和变化。

Claims (17)

1.一种系统，包括：

边界确定部件，被配置为确定车辆的一组相关联的车道边界；

运动传感器，被配置为测量与所述车辆相关联的至少一个运动参数，所述至少一个运动参数指示所述车辆是否正在遇到提供触觉反馈的道路特征；

车道偏离警告系统，被配置为根据至少一个运动参数确定所述车辆是否正在穿过所确定的一组车道边界中的一个，并且如果所述车辆正在穿过所确定的一组车道边界中的一个则提供响应信号；以及

运动分析系统，所述运动分析系统被配置为将加速计数据转换到频域以定位周期性，并且将所定位的周期性与车辆速度信息相比校以确定所述周期性是否可能表示触觉车道标记。

2.如权利要求1的系统，进一步包括被配置为提供所述车辆的前方道路的区域的图像的前视相机，所述边界确定部件被配置为根据所述车辆的所述前方道路的区域的所述图像来确定所述车辆的所述一组相关联的车道边界。

3.如权利要求2的系统，所述车道偏离警告系统被配置为根据所述至少一个运动参数和来自所述前视相机的数据来确定所述车辆是否正在穿过所述确定的一组车道边界中的一个。

4.如权利要求3的系统，仅当所述至少一个运动参数和来自所述前视相机的所述数据中的每一个都指示所述车辆正在穿过所述确定的一组车道边界中的一个时，提供所述响应信号。

5.如权利要求3的系统，如果所述至少一个运动参数和来自所述前视相机的所述数据中的任一个指示所述车辆正在穿过所述确定的一组车道边界中的一个，则提供所述响应信号。

6.如权利要求1的系统，其中所述运动传感器的输出被提供到当前车辆中的至少一个其它与车辆相关的系统。

7.如权利要求1的系统，所述运动传感器包括加速计。

8.如权利要求1的系统，其中所述边界确定部件被配置为根据所述车辆的速度确定所述一组相关联的车道边界。

9.一种用于检测车辆从一组车道边界偏离的方法，包括：

评估所述车辆的前方区域的图像以确定在所述图像内所述车辆是否看起来正在穿过车道边界；

评估来自运动传感器的数据以确定所述车辆是否正在遇到提供触觉反馈并且与道路边界相关联的道路特征；

根据在所述图像内所述车辆是否看起来正在穿过所述车道边界的确定结果以及所述车辆是否正在遇到提供触觉反馈并且与所述道路边界相关联的道路特征的确定结果来确定所述车辆是否正在从所述一组车道边界偏离；以及

当确定所述车辆是否正在从所述一组车道边界偏离的步骤指示车道边界偏离时提供响应信号，

其中评估来自运动传感器的数据以确定所述车辆是否正在遇到提供触觉反馈并且与道路边界相关联的道路特征包括：

将来自所述运动传感器的所述数据转换到频域以定位周期性；以及

将所定位的周期性与车辆速度信息相比较以确定所述周期性是否可能表示触觉车道标记。

10.如权利要求9的方法，其中所定位的周期性被用于除了车道偏离的检测之外的至少一个车辆功能。

11.如权利要求9的方法，其中评估所述车辆的前方区域的图像包括确定表示所述车辆正在穿过车道边界的可能性的置信值，并且确定所述车辆是否正在从所述一组车道边界偏离包括：

如果所述置信值满足第一阈值，则确定所述车辆正在偏离所述车道边界；以及

如果所述置信值不满足所述第一阈值但满足第二阈值，仅当确定所述车辆正在遇到提供触觉反馈并且与所述道路边界相关联的道路特征时，确定所述车辆正在偏离所述车道边界。

12.如权利要求 9的方法，其中评估所述车辆的前方区域的图像包括对所述图像应用边缘检测算法。

13.如权利要求9的方法，还包括如果确定所述车辆正在从所述一组车道边界偏离则提供可视警报或可听警报中的一种。

14.如权利要求9的方法，其中确定所述车辆是否正在从所述一组车道边界偏离包括确定表示所述车辆正在从所述一组车道边界偏离的可能性的置信值，所述方法还包括：

如果所述置信值满足第一阈值，则向所述车辆的方向盘施加扭矩；以及

如果所述置信值不满足所述第一阈值但满足第二阈值，则提供可视警报、触觉警报和可听警报中的一种。

15.一种车辆安全系统，包括：

前视相机，被配置为拍摄所述车辆的前方道路的区域；

图像分析部件，被配置为识别由所述前视相机提供的图像内的车道标记；

运动分析系统，被配置为提供来自至少一个相关联的加速计的数据是否与提供触觉反馈并且表示车道边界的道路特征一致的确定结果，并且所述运动分析系统被配置为将加速计数据转换到频域以定位周期性，并且将所定位的周期性与车辆速度信息相比较以确定所述周期性是否可能表示触觉车道标记；以及

车道偏离警告系统，被配置为根据所识别的车道标记和在所述运动分析系统处提供的所述确定结果来确定所述车辆是否正在离开其当前车道，并且如果所述车辆正在离开其当前车道则提供响应信号。

16.如权利要求15的车辆安全系统，所述图像分析部件被配置为当不能通过阈值置信水平根据由所述前视相机提供的所述图像识别车道标记时，根据所述车辆的速度提供一组默认的车道边界。

17.如权利要求15的车辆安全系统，其中将所述运动分析系统的输出提供给当前车辆中的至少一个其它与车辆相关的系统。

Images