CN103381825B - 使用多个照相机的全速车道感测 - Google Patents

Abstract

本发明提供使用多个照相机的全速车道感测。一种用于通过检测道路车道标志来在车辆上提供车道感测的系统和方法，其中该系统采用提供环绕所述车辆的图像的多个照相机。该方法包括：检测在该照相机图像中的左侧和右侧车道边界线，然后确定在该图像中的车道边界线从一个图像帧到下一个图像帧是否对齐以及从图像到图像是否对齐。如果所述边界线没有对齐，则对所述照相机中的一个或多个执行校准，并且如果所述线是对齐的，则使用模型拟合过程来具体地识别在道路上的边界线的位置。

Description

使用多个照相机的全速车道感测

相关申请的交叉引用

本申请要求2012年5月2日提交的标题为“FullSpeedLaneSensingWithASurroundingViewSystem(利用周围视图系统的全速车道感测)”的美国临时专利申请序号No.61/641,479的优先权日期的权益。

技术领域

本发明总体涉及一种用于为在车道中行驶的车辆提供道路车道感测的系统和方法，并且更具体地，涉及一种用于在车道内行驶的车辆上提供道路车道感测的系统和方法，其中该车道感测系统利用使用来自多个照相机的图像的算法。

背景技术

现代车辆变得更加自主，即，车辆可以更少的驾驶员介入来提供驾驶控制。巡航控制系统已经存在于车辆上多年，其中，车辆操作员可设置车辆的具体速度，并且车辆将在无需驾驶员操纵节气门的情况下维持该速度。在本领域中最近已经研发出了自适应巡航控制系统，其中，该系统不但维持设定速度而且在如下情况下还将自动地使车辆减速：通过使用诸如雷达和照相机的各种传感器在对象车辆前面检测到更慢的移动车辆。现代车辆控制系统还可包括自主停靠，其中，车辆将自动地提供转向控制以便停靠车辆；并且其中，如果驾驶员作出可影响车辆稳定性和车道居中能力的苛刻的转向变化，则控制系统将介入，其中，车辆系统试图维持车辆靠近行驶车道的中心。

随着车辆系统改进，以完全自动驱动车辆为目标，车辆将变得更加自主。未来车辆将很可能利用用于车道改变、超车、绕开交通、驶入交通等的自主系统。因为这些系统在车辆技术中变得更加普遍，所以确定驾驶员在结合这些系统用于控制车辆速度、转向和超驰自主系统的角色也将是必要的。

目前车辆车道感测系统通常使用视觉系统来感测车辆行驶车道以及驱动车辆在车道中心中。这些已知车道感测系统中的许多为各种应用(诸如，车道偏离警告(LDW)、车道保持(LK)、车道居中(LC)等)检测道路上的车道标志，并且典型地在车辆的前部或后部已经采用单照相机以提供用来检测车道标志的图像。然而，存在单个照相机不能检测车道标志的各种情况，包括低太阳角、由于紧密靠近车辆(诸如，在拥挤的交通状况下)导致的不可见车道标志、照相机故障等。例如，当前导车辆太靠近对象车辆时，由于交通拥挤或其它交通状况，照相机可能检测不到车道标志，因为车道标志被前导车辆遮挡，并且因此，车道的车道标志检测将故障。

在本领域中已经提出在车辆上提供环视照相机系统，其包括前照相机、后照相机和左侧和右侧照相机，并且使来自照相机的图像产生车辆和周围区域的自顶向下（top-down）视图，其中图像将在车辆的拐角处相互重叠。自顶向下视图可显示给车辆驾驶员以查看车辆的周围有什么以便倒车、停靠等。

发明内容

根据本发明的教义，公开了一种用于通过检测道路车道标志来在车辆上提供车道感测的系统和方法，其中该系统采用提供环绕车辆的图像的多个照相机。该方法包括：检测在该照相机图像中的左侧和右侧车道边界线，然后确定在该图像中的车道边界线从一个图像帧到下一个图像帧是否对齐以及从图像到图像是否对齐。如果所述边界线没有对齐，则对所述照相机中的一个或多个执行校准，并且如果所述线是对齐的，则使用模型拟合过程来特别地识别在道路上的边界线的位置。

本发明还提供如下方案：

1.一种用于感测在车辆正沿着其行驶的道路中的行驶车道的方法，所述车辆包括多个照相机，所述道路包括在所述车道的左侧处的左侧道路边界线和在所述车道的右侧处的右侧道路边界线，所述方法包括：

为所述多个照相机中的每一个提供来自连续的图像帧的图像；

检测在所述图像中的每一个的所述左侧边界线和所述右侧边界线中的一个或两个的表征；

使用在所述图像中的所述左侧道路边界线和所述右侧道路边界线的表征来校准所述多个照相机中的每一个的定向；

为所述多个照相机中的每一个执行照相机诊断过程以提供时间约束分析和空间约束分析，其中所述时间约束分析确定连续的图像帧在时间约束阈值内是否处于共线、处于相同的角度和处于相同的偏移，并且其中所述空间约束分析确定从来自一个照相机的一个图像到来自另一个照相机的另一个图像延伸横跨边界的边界线的表征在空间约束阈值内是否是直的和具有相同的角度；

如果所述时间约束阈值和所述空间约束阈值未得到满足，则重新校准所述多个照相机中的每一个的定向；以及

如果所述时间约束阈值和所述空间约束阈值得到满足，则使用模型拟合过程来识别在每个图像中的所述边界线。

2.根据方案1所述的方法，其特征在于，所述左侧边界线和右侧边界线的表征是一系列的图像点。

3.根据方案2的所述的方法，其特征在于，使用模型拟合过程包括基于给予所述独立图像点中的每一个的权重使用线性模型。

4.根据方案3所述的方法，其特征在于，基于多个因素来分配权重，所述多个因素包括照相机视点、车辆动态误差、校准误差、在所述图像中的可见度和可靠性以及车道感测应用。

5.根据方案2所述的方法，其特征在于，检测所述边界线的表征包括将所述图像点转换成车辆坐标。

6.根据方案1所述的方法，其特征在于，还包括：在使用所述图像来检测所述左侧边界线和右侧边界线的表征之前，为来自每个照相机的每个图像提供照明归一化过程。

7.根据方案1所述的方法，其特征在于，执行照相机诊断过程包括：确定所述左侧边界线和右侧边界线的表征是为长实线或短虚线。

8.根据方案7所述的方法，其特征在于，所述多个照相机包括前视照相机和后视照相机，并且其中执行所述照相机诊断包括：如果所述车辆正沿向前方向行驶，则使用所述前视照相机，并且如果所述车辆正沿向后方向行驶，则使用后视照相机，以确定所述边界线的表征是所述长实线或所述短虚线。

9.根据方案1所述的方法，其特征在于，还包括：在执行所述照相机诊断过程之前，使用车辆运动补偿来增强在来自所述多个照相机的每个图像中的所述左侧道路边界线和所述右侧道路边界线的表征。

10.根据方案1所述的方法，其特征在于，执行照相机诊断过程包括将所述线的表征转换成自顶向下视图坐标。

11.一种用于感测在车辆正沿着其行驶的道路中的行驶车道的方法，所述车辆包括安装到所述车辆的前部的前视照相机、安装到所述车辆的左侧的左侧视照相机、安装到所述车辆的右侧的右侧视照相机以及安装到所述车辆的后部的后视照相机，所述道路包括在所述车道的左侧的左侧道路边界线和在所述车道的右侧的右侧道路边界线，所述方法包括：

从所述前视照相机、所述左侧视照相机、所述右侧视照相机、以及所述后视照相机提供来自所述车辆的前部、所述车辆的左侧、所述车辆的右侧以及所述车辆的后部的连续的图像帧的独立图像；

为来自至少所述前视照相机和所述后视照相机的每个独立图像检测所述左侧边界线和所述右侧边界线的表征；

使用在来自所述照相机的所述图像中的所述左侧道路边界线或所述右侧道路边界线的表征来检测所述前视照相机、所述左侧视照相机、所述右侧视照相机和所述后视照相机中的每一个的定向；

为所述照相机中的每一个执行照相机诊断过程以提供每个图像的时间约束分析和空间约束分析，其中所述时间约束分析确定连续的图像帧在时间约束阈值内是否处于共线、处于相同的角度和处于相同的偏移，并且其中所述空间约束分析确定从来自一个照相机的一个图像到来自另一个照相机的另一个图像延伸横跨边界的在所述图像中的车道线的表征在空间约束阈值内是否是直的和具有相同的角度；

如果所述时间约束阈值和所述空间约束阈值未得到满足，则对所述前视照相机、所述左侧视照相机、所述右侧视照相机和所述后视照相机中的一个或多个的定向进行重新校准；以及

如果所述时间约束阈值和所述空间约束阈值得到满足，则将在每个图像中的所述左侧边界线和所述右侧边界线的表征模型拟合到所述左侧边界线和右侧边界线。

12.根据方案11所述的方法，其特征在于，所述左侧边界线和右侧边界线的表征是一系列的图像点。

13.根据方案11的所述的方法，其特征在于，模型拟合包括基于给予所述独立图像点中的每一个的权重使用多项式模型。

14.根据方案13所述的方法，其特征在于，基于多个因素来分配权重，所述多个因素包括照相机视点、车辆动态误差、校准误差、在所述图像中的可见度和可靠性以及车道感测应用。

15.根据方案11所述的方法，其特征在于，执行照相机诊断过程包括将所述线的表征转换成自顶向下视图坐标。

16.根据方案11所述的方法，其特征在于，还包括：在使用每个独立图像来检测所述左车道边界线和右车道边界线的表征之前，为来自所述前视照相机、所述左侧视照相机、所述右侧视照相机和所述后视照相机的每个独立图像提供照明归一化过程。

17.根据方案11所述的方法，其特征在于，执行照相机诊断过程包括：确定所述左边界线和右边界线的表征是长实线或短虚线。

18.根据方案17所述的方法，其特征在于，执行所述照相机诊断包括：如果所述车辆正沿向前方向行驶，则使用所述前视照相机，并且如果所述车辆正向后方向行驶，则使用后视照相机，以确定所述边界线的表征是所述长实线或所述短虚线。

19.根据方案11所述的方法，其特征在于，还包括：在执行所述照相机诊断过程之前，使用车辆运动补偿来增强在所组合的图像中的所述左侧道路边界线和所述右侧道路边界线的表征。

20.一种用于感测在车辆正沿着其行驶的道路中的行驶车道的方法，所述车辆包括至少一个照相机，所述道路包括在所述车道的左侧处的左侧道路边界线和在所述车道的右侧处的右侧道路边界线，所述方法包括：

提供来自所述至少一个照相机的图像数据；

检测在所述图像数据中的所述左侧边界线或所述右侧边界线的表征；

使用在所述图像数据中的所述左侧道路边界线或所述右侧道路边界线的表征来校准所述至少一个照相机的定向；

为所述至少一个照相机执行照相机诊断过程以提供时间约束分析和空间约束分析，其中所述时间约束分析确定连续的图像帧在时间约束阈值内是否处于共线、处于相同的角度和处于相同的偏移，并且其中所述空间约束分析确定延伸横跨边界的车道线的表征在空间约束阈值内是否是直的和具有相同的角度；

如果所述时间约束阈值和所述空间约束阈值未得到满足，则重新校准所述至少一个照相机的定向；以及

如果所述时间约束阈值和所述空间约束阈值得到满足，则使用模型拟合过程来识别在所述图像中的所述边界线。

本发明的另外的特征将从结合附图所作出的下列描述和所附权利要求书变得明显。

附图说明

图1是包括具有多个照相机的环视照相机系统的车辆的图示；

图2是使用来自照相机的图像产生的在图1中所示的车辆的自顶向下视图图像；

图3是示出用于使用环视照相机系统和自顶向下视图图像来检测道路车道标志的低端方法过程的流程图；

图4是在车辆坐标中的由环视照相机系统使用自顶向下视图图像检测到的车道标志图像点的图示；

图5是示出用于提供在图3中所示的过程中的照相机诊断的过程的流程图；

图6是由图4中所示的环视照相机系统检测到的车道标志图像点的图示并且包括已经被模型拟合到所述点的车道标志线；

图7是示出用于使用独立于多个车辆照相机的图像来检测道路车道标志的高端方法过程的流程图；

图8是在车辆坐标中的由分立照相机检测到的车道标志图像点的图示；

图9是示出用于提供在图7中所示的过程中的照相机诊断的过程的流程图；并且

图10是图8中所示的车道标志图像点的图示并且包括已经被模型拟合到所述点的车道标志线。

具体实施方式

对涉及用于通过使用多个照相机检测车道标志来提供车辆车道感测的系统和方法的本发明的实施例的下列讨论，本质上仅仅是示例性的，并且决不旨在限制本发明或其应用或使用。

图1是沿着道路车道12行驶的车辆10的图示，该道路车道12由印刷或以其它方式附着在道路车道12上的车道标志限定，包括外部车道边界实线14和车道中心虚线16。出于将从下文的讨论变得明显的原因，车辆10包括在车辆10内诸如在后视镜(未示出)后面的照相机18。车辆10还包括具有前视照相机20、后视照相机22、右侧视照相机24和左侧视照相机26的环视照相机系统。照相机20-26可为适合于本文中所描述的目的的任意照相机，其中的许多在汽车领域中是已知的，它们可接收光或其它辐射并且使用例如电荷耦合装置(CCD)将光能转换成以像素格式的电信号。照相机20-26以某一数据帧速率产生可被存储用于随后处理的图像数据帧。照相机20-26可安装在车辆10内或在为车辆10的部分的任意适当的结构(诸如保险杠、汽车仪表板、格栅、侧视镜、门板等)上，如将由本领域的技术人员理解并意识到的。在一个非限制性实施例中，侧照相机24和26安装在侧视镜的下方并且指向下。来自照相机20-26的图像数据被发送至处理器28，该处理器28处理图像数据以产生可显示在车辆显示器30上的图像。例如，如上文所提及的，在本领域中已知的是，提供车辆的自顶向下视图，从而提供靠近车辆10的图像和车辆10的全部侧的图像。

图2是由来自照相机20-26的图像数据构造的可显示在显示器30上的自顶向下视图图像32的一般表征，示出车辆10在图像32的中央或其它部分。自顶向下视图图像32包括组合的由前视照相机20提供的前图像34、由后视照相机22提供的后图像36、由右侧视照相机24提供的右侧图像38以及由左侧视照相机26提供的左侧图像40。来自照相机20-26的图像由处理器28处理，使得所述图像拟合在一起作为组合的图像，其中线42是在图像34与40之间的边界，线44是在图像34与38之间的边界，线46是在图像36与40之间的边界，并且线48是在图像36与38之间的边界。在图像32中的虚线50限定中央车道线16并且延伸穿过图像40并且到图像34和36中，并且实线52代表延伸穿过图像38并且到图像34和36中的车道边界线14。

本发明提出用于提供用于在诸如LDW系统、LK系统、LC系统等的各个系统中使用的车道感测的技术，其使用环视照相机系统来检测在车辆10的两侧上的车道标志或车道边界。如将在下文中详细地讨论的，本发明提出两种车道感测方法，包括使用由照相机系统产生的自顶向下视图图像32的欠复杂的低端方法和单独地使用来自照相机20-26的图像的高端方法。在该低端方法中，集成的感测和照相机诊断被无缝地提供，并且是简单且快速的。然而，低端的方法具有有限的检测距离，取决于精确的照相机校准，并且具有有限的诊断和自动照相机校准。高端方法需要更高的处理能力，并且因此它是较慢的。然而，提供四个独立的原始图像提供在图像34-40重叠区域中的分析、更长的检测距离、以及鲁棒检测结果。应注意的是，虽然本发明利用了提供车辆10的环视图像的四个照相机，但是，下文中详细讨论的本发明的技术和过程将可适用于任意数量的照相机，例如，如果照相机20-26中的一个发生故障，或四个以上的照相机设置在车辆10上。

图3是示出用于执行上文所提及的低端方法的过程的流程图60。自顶向下视图图像32被设置在框62处，并且在处理器28中的车道感测算法在框64处执行图像32的光归一化。光归一化是改变图像的像素强度值的范围以使图像强度进入到更加适合于处理的范围中的过程。转让给本申请的受让人并且通过引用并入本文的于2012年8月20日提交的标题为“LaneTrackingSystem(车道跟踪系统)”的美国专利申请序号No.13/589,214公开了利用单个照相机的车辆车道跟踪系统以便检测道路标志用于车道感测目的。‘214申请公开了用于在照相机图像上执行光归一化的一个过程，该过程适合于本文中所讨论的光归一化。那个过程包括利用直方图均衡化来增加在低光状况下的图像的清晰性以及提供亮点饱和。

然后，该算法在框66处执行车道检测过程，以确定车辆10是否正在道路车道(诸如，车道12)中行驶。转让给本申请的受让人并且通过引用并入本文的Zhang等的美国专利申请公开No.2010/0014714公开了一种用于提供车道检测的适合于本文所讨论的过程的示例性技术。其它技术也可为适用的，包括下文更详细地讨论的如下已知技术：其中由照相机20-26成像的对象产生图像点，所述图像点然后被处理以识别车道边界。对于在车辆10沿着道路车道12移动时所产生的每个图像帧，图像点在来自照相机20-26的实体动画（pixilation）的图像坐标中产生。

在框68处，图像点然后被用来从由车道检测过程产生的一些图像点识别在图像32中的左和/或右边界线，诸如车道线50和52。换言之，该算法选择图像中的可为由使车道线14和16成像而检测到的点的那些点。可通过本领域的技术人员已知的任意适当的过程从在图像32中的图像点识别左车道线50和右车道线52。例如，‘214申请公开了一种适当的技术，其中随着车辆10移动，边界线图像点由来自照相机20-26的图像识别。

然后，在图像点被转换成车辆坐标系之前，在框80处，在图像坐标中的图像点被用来校准照相机20-26的定向。转让给本申请的受让人并且通过引用并入本文的于2009年2月6日提交的标题为“CameraAuto-CalibrationByHorizontalEstimation(通过水平估计的照相机自动校准)”的美国专利申请公开No.2010/0201814公开了适合于该目的的用于车辆照相机的自动校准过程。如在‘814申请中所讨论的，车辆照相机的位置和定向(角度)的知识对于在车辆坐标中处理来自照相机的图像数据是必需的。然而，各个因素，诸如车辆上的负载、在起伏不平的路上行驶、磨损等，可能导致车辆照相机的定向改变，其中需要将新的照相机位置和定向校准到已知定向，使得来自其的图像在图像处理中被适当地处理用于特定的使用。虽然任意适当的照相机校准过程可用于本文所讨论的过程，但是‘814申请提供一种适用的并且利用边缘检测分析和动作映射以使用图像点来校准车辆照相机20-26的技术。

一旦照相机20-26被校准，在图像坐标中的已校准的图像点就在框58处使用任意适当的过程转换成车辆坐标系。图4是示出图像点已经转换成车辆坐标系76的图示70。特别地，示出在车辆坐标中的一系列图像点72，所述一系列图像点72从识别在图像32中的中央车道线50的图像点由转化过程产生，并且示出在车辆坐标中的一系列图像点74，所述一系列图像点74从识别在图像32中的车道线52的图像点由转化过程产生。

在框82处车辆运动补偿可用来增强在图像32中的车道线50和52的识别。特别地，在车辆坐标中的图像点72和74可包括来自由车辆运动补偿提供的先前图像帧的图像点。可采用用于确定适合于本文中所描述的目的的车辆运动的任何过程。在‘042申请中还描述了用于使用用于该目的的车辆运动补偿一种适当过程，并且该过程可包括如下过程：使用在车辆10上的传感器(未示出)(即，车辆速度传感器和偏航率传感器)感测车辆位置，以及使在先前帧中的检测到的图像点沿车辆行驶的方向移位以补偿车辆10的从先前图像帧至当前车辆坐标的任何感测的前进运动。由于车辆10行驶并且每组图像点72和74在随后的图像中被提供，因此，可通过车辆运动补偿使用那些点。换言之，车辆运动补偿过程着眼于在连续的图像帧中的图像点72和74，其中在两个或更多个帧中的两倍或以上数量的图像点72和74是可用的以便车道几何分析以基于车辆10的动作从一个图像帧到下一个图像帧对准图像点72和74。

在框84处，该算法然后使用在车辆坐标中的经运动补偿的图像点72和74来确定照相机20-26是否相互对准以在照相机诊断过程中提供图像32。如果照相机诊断过程确定图像点72和74的定向从一个图像帧到下一个图像帧对于车道感测是不足够的，则过程进入到框86以提供照相机重新校准，优选地以在框80处所进行的同样的方式使用在图像坐标中的图像点，然后在框62处再次产生自顶向下视图图像32。如果照相机诊断过程确定照相机20-26被适当地校准并且自顶向下视图图像32是足够的，则该算法在框88处执行模型拟合（适配）过程以特别地识别线50和52在道路车道12中的位置，所述位置然后可在具体的LDW、LK或LC系统中被使用。在下文中将详细地讨论照相机诊断过程和模型拟合过程两者。

在框84处在照相机诊断过程期间，随着车辆10沿着道路车道12移动，该算法通过将线50和52从一个图像帧到下一个图像帧对准来提供时间分析。对于每条线而言，连续的图像帧需要相互匹配（其中来自线50和52的用于前照相机、侧照相机和后照相机的线段需要共线），相对于彼此具有相同的角度和相同的偏移。此外，照相机诊断过程提供空间分析，其中在构成自顶向下视图图像32的图像34-40中，线50和52从图像34-40中的一个到下一个图像34-40应被连接并且具有相同的角度。因此，照相机诊断过程匹配用于时间约束的连续帧并且匹配在用于空间约束的每个帧图像中的不同的图像。

图5是示出用于执行上文所提及的照相机诊断的过程的流程图90。取决于车辆10是向前或向后移动，前视照相机20、后视照相机22或在挡风玻璃后面的额外内部照相机诸如照相机18被用来识别是否存在可被用来确定照相机20-26是否被适当地校准的车道边界。在框92处，来自照相机20、照相机22或内部照相机的照相机图像被提供用于在框94处的取决于车辆10正行驶的方向的纹理分析。纹理分析过程提供边缘和车道检测以确定在车辆10的左侧上或车辆10的右侧上是否存在诸如线50和52的车道边界线。

然后该算法在决策菱形96处确定已经检测到的左或右车道线是否为长实线，并且如果这样，则移至框98以使用自顶向下视图图像32提供车道标志或线检测。使用来自框82的车辆运动补偿图像，该算法在决策菱形100处通过确定用于前、侧和后照相机的来自在自顶向下视图图像32中的线50和52的线段是否被连接并且对于在自顶向下视图图像32中的每条线而言在图像之间是否具有在一些预定的阈值内的相同的角度来提供空间约束分析。在决策菱形100处如果用于前、侧和后照相机的来自线50和52的线段未被连接或不具有在阈值内的相同的角度，则该算法进入照相机重新校准框86。如果用于前、侧和后照相机的来自线50和52的线段被连接并且对于每条线而言具有在阈值内的相同的角度，则该算法进入决策菱形102以提供时间约束分析以确定在连续的图像帧中的线50和52是否匹配，如上文所讨论的。如果连续帧在决策菱形102处不匹配，则算法再次进入照相机重新校准框86。如果时间和空间约束已经得到满足，则照相机20-26相对于彼此已校准，并且算法进入模型拟合框88。

如果该算法在决策菱形96确定线50和52中的任一个不是长实线，其中线50不是实线，则该算法在决策菱形110处确定线是否为短(虚)线，并且如果不是，则在道路车道12中没有线存在，并且算法进入框112以等待下一个成像循环。如果该算法在决策菱形110处确定检测到的线是短线，则该算法在框114处与框98相同的方式提供车道标志检测。由于线是短线，所以该算法跳过了确定线段是否被连接并且具有相同的角度的空间约束步骤，但是在决策菱形116处确实以与如上针对框102所讨论的相同的方式执行时间帧匹配。同样，如果连续帧在决策菱形116处不匹配，则该算法移至重新校准框86，并且如果它们匹配，则该算法进入模型拟合框88。

如果照相机20-26被校准，则该算法在模型拟合框88中使用来自连续的图像帧的图像点72和74来识别车辆10相对于道路车道12的位置和定向。换言之，该算法使用图像点72和74来确定线50和52相对于车辆10的位置的精确定位，使得车辆10的精确位置和定向可在道路车道12中确定。在用于低端方法的模型拟合过程中，该算法基于对于车辆10的两侧的检测到的车道图像点72和74使用权重来拟合线性模型。特别地，模型拟合算法针对具体的系统或状况为图像点72和74中的每一个识别适当的权重，并且将那些权重适配到期望的车道模型中以限定线50和52的位置。每个权重基于各个参数被仔细地分配，所述各个参数诸如在图像32中的照相机视点、车辆动态误差、照相机校准误差、照相机可见度和可靠性。对于车道偏离报警(LDW)应用而言，来自侧视照相机的图像点典型地将具有较高的权重。另外，来自先前帧的具有精确的运动补偿的图像点比具有嘈杂运动补偿的那些图像点具有更大的权重，具有较小照相机校准误差的图像点具有较大的权重，并且在图像中的具有较佳可见度和可靠性的图像点(在图像中的较近的点)被给予较大的权重。对于直线车道模型，估计偏移和角度参数，其中最靠近车辆的前车轮的点对于偏移的估计而言具有较大的权重，在远离车辆10的先前的帧中鲁棒地检测到的点对于角度的估计而言具有较大的权重。

图像点加权过程可为试图对图像点72和74定位以拟合模型的任何适当的加权过程。例如，模型可基于函数?(x,y)=0，其中每个图像点72和74被放置到函数中，并且其中和代表对于那个像点而言的位置x和y值。对于函数f，通过将权重w分配给每个特定的图像点72和74，提供函数f的最优化，使得它实现期望的结果。将用于每个图像点72和74的所有函数连同它们的适当的权重加起来以通过例如下列目标函数提供最佳模型参数（Optimalmodelparameters）。

在当车辆10向前移动时的自顶向下视图图像32中，每个侧车道标志由三个照相机即前视照相机20、特定的侧视照相机24或26和后视照相机22观察。取决于特定的车道感测应用诸如车道居中或车道保持，基于参数对每个图像点72和74不同地加权。例如，用于车道居中目的的车道感测对于车辆10前方的车道更感兴趣，并且因此，由前视照相机20提供的图像点被给予更多权重。对于在LDW或LK应用中的车道感测，图像点加权在车辆前轮位置处确定，并且因此，侧视照相机图像点被给予更多权重。权重可以对应于可指示特定点可识别车道边界线的置信度的多个可靠性因数。此种可靠性因数可包括周围可见度、图像分辨率、照明状况等。

一旦权重已经被分配给每个图像点72和74，模型车道线就根据点72和74的加权的位置拟合到那些点来设置车道线。还可以任何适当的方式对车道线50和52进行建模，诸如加权平均值、滚动最佳拟合、卡尔曼滤波等。图6是图4中所示的车辆坐标中的加权的图像点72和74的图示，并且包括以上文所讨论的方式分别模型拟合到加权的图像点72和74的车道标志线120和122。

对于其中使用来自照相机20-26中的每一个的单独的图像来提供车道感测的高端方法，每个独立的图像经历与对于自顶向下视图图像32所做出的类似的处理以提供车道标志检测。因为在自顶向下视图图像32中的实际的独立图像被切去（cutoff）以提供自顶向下视图图像32，所以独立地使用单独的图像可扩展车道感测的范围。此外，对来自照相机20-26中的每一个的单独的图像的处理可利用在这些图像之间的重叠区域。

图7是示出用于对于独立地使用来自照相机20-26的图像中的每一个的高端方法而言检测道路车道线14和16的过程的流程图130，其中与流程图80相似的元件由相同的附图标记标识。虽然在该实施例中使用了四个照相机，但是应注意的是，这是非限制性示例，因为可采用适合于本文所讨论的目的的任意数量照相机。在流程图130中，图象分析被划分成四条独立的路径，一条用于照相机20-26中的一个，其中第一路径132分析由前视照相机20提供的前图像34，其在框134处提供，第二路径136分析由左侧视照相机26提供的侧图像40，其在框138处提供，第三路径140分析由右侧视照相机24提供的侧图像38，其在框142处提供，并且第四路径144分析由后视照相机22提供的后图像36，其在框146处提供。

每条路径132、136、140和144以上文所讨论的相同的或类似方式分析特定的照相机图像，其中光归一化在框64处提供，并且车道检测在框66处提供。左和右车道边界识别在框68处为在路径132和144中的前和后图像而非为在路径136和140中的侧图像提供，但是它们可以。为特定的照相机使用适当的图像点集，该照相机然后在框80处在路径132、134、136和138中的每一条中被独立地校准。在路径132、136、140和144中的每一条中的所有图像点在框58处被转换成在照相机20-26的组合中的车辆坐标。

图8是被转换成车辆坐标的类似于图4中所示的图像点72和74的图像点组的图示148，其中一系列图像点150由在车辆10的左侧上的前视照相机20提供，一系列图像点152由在车辆10的右侧上的前视照相机20提供，一系列图像点154由在车辆10的左侧上的左侧视照相机26提供，一系列图像点156由在车辆10的右侧上的右侧视照相机24提供，一系列图像点158由在车辆10的左侧上的后视照相机22提供，并且一系列图像点160由在车辆10的右侧上的右侧视照相机24提供。在框162处，图示148可通过提供来自车辆10的内部(诸如，在车辆挡风玻璃后面)的前照相机的照相机图像而增强。

然后，该算法在框82处通过车辆运动补偿积累来自先前的图像帧的更多图像点，在框84处提供照相机诊断，在框86处提供照相机重新校准并且在框88处提供模型拟合。

图9是示出在流程图130中所示的过程中所使用的照相机诊断过程的流程图170，以提供对于共线、相同角度和相同偏移来说的在连续图像帧中的线段的时间约束以及空间约束以确定车道标志线在图像中是笔直的。在流程图170中，在照相机诊断流程图130中所执行的相关的过程对于自顶向下视图图像32而言是相同的。在框172处,如果在决策菱形96处已经检测到长实线，则该算法在四个独立的图像中的每一个上而不是在自顶向下视图图像32上独立地执行在框98处所执行的车道标志检测。一旦已经在独立图像中的每一个上检测到车道标志，则算法在框174处执行将检测到的线转换成自顶向下视图坐标系的附加步骤。如果在决策菱形110处检测到短线，则该算法以与在框172处所执行的类似的方式在四个图像中的每一个上独立地执行车道标志检测。同样地，该算法在框178处执行将检测到的线转换成自顶向下视图坐标系统的附加步骤。

如果该算法确定照相机20-26被适当地校准并且模型拟合到图像点150、152、154、156、158和160应执行，该则算法针对在车辆10的各侧上的图像点以权重拟合多项式模型而非在低端方法中所使用的线性模型。为每个图像点分配权重的过程与上文所讨论的相同，其中它将取决于可用的因素和参数以及使用车道感测技术的系统。图10是来自如图8中所示的单独的图像的图像点的图示，其中线180和182已经使用多项式模型分别拟合到左侧图像点和右侧图像点。

如本领域的技术人员将很好地理解的，此处所讨论的用以描述本发明的几个和各种步骤和过程可称为由计算机、处理器或其它使用电现象操作和/或变换数据的电子计算装置执行的操作。那些计算机和电子装置可以利用各种易失性和/或非易失性存储器，所述易失性和/或非易失性存储器包括带有存储在其上的可执行程序的非暂态计算机可读介质，所述可执行程序包括能够由计算机或处理器执行的各种代码或可执行指令，其中存储器和/或计算机可读介质可包括所有形式和类型的存储器以及其它计算机可读介质。

上面的讨论仅公开并描述了本发明的示例性实施例。根据这样的讨论以及根据附图和权利要求书，本领域的技术人员将容易地意识到，在不脱离如所附权利要求书中所限定的本发明的精神和范围的情况下，可在其中作出各种改变、修改和变型。

Claims (20)

1.一种用于感测在车辆正沿着其行驶的道路中的行驶车道的方法，所述车辆包括多个照相机，所述道路包括在所述车道的左侧处的左侧道路边界线和在所述车道的右侧处的右侧道路边界线，所述方法包括：

为所述多个照相机中的每一个提供来自连续的图像帧的图像；

检测在所述图像中的每一个的所述左侧边界线和所述右侧边界线中的一个或两个的表征；

使用在所述图像中的所述左侧道路边界线和所述右侧道路边界线的表征来校准所述多个照相机中的每一个的定向；

为所述多个照相机中的每一个执行照相机诊断过程以提供时间约束分析和空间约束分析，其中所述时间约束分析确定连续的图像帧在时间约束阈值内是否处于共线、处于相同的角度和处于相同的偏移，并且其中所述空间约束分析确定从来自一个照相机的一个图像到来自另一个照相机的另一个图像延伸横跨边界的边界线的表征在空间约束阈值内是否是直的和具有相同的角度；

如果所述时间约束阈值和所述空间约束阈值未得到满足，则重新校准所述多个照相机中的每一个的定向；以及

如果所述时间约束阈值和所述空间约束阈值得到满足，则使用模型拟合过程来识别在每个图像中的所述边界线。

2.根据权利要求1所述的方法，其特征在于，所述左侧边界线和右侧边界线的表征是一系列的图像点。

3.根据权利要求2的所述的方法，其特征在于，使用模型拟合过程包括基于给予所述图像点中的每一个的权重使用线性模型。

4.根据权利要求3所述的方法，其特征在于，基于多个因素来分配权重，所述多个因素包括照相机视点、车辆动态误差、校准误差、在所述图像中的可见度和可靠性以及车道感测应用。

5.根据权利要求2所述的方法，其特征在于，检测所述边界线的表征包括将所述图像点转换成车辆坐标。

6.根据权利要求1所述的方法，其特征在于，还包括：在使用所述图像来检测所述左侧边界线和右侧边界线的表征之前，为来自每个照相机的每个图像提供照明归一化过程。

7.根据权利要求1所述的方法，其特征在于，执行照相机诊断过程包括：确定所述左侧边界线和右侧边界线的表征是为长实线或短虚线。

8.根据权利要求7所述的方法，其特征在于，所述多个照相机包括前视照相机和后视照相机，并且其中执行所述照相机诊断包括：如果所述车辆正沿向前方向行驶，则使用所述前视照相机，并且如果所述车辆正沿向后方向行驶，则使用后视照相机，以确定所述边界线的表征是所述长实线或所述短虚线。

9.根据权利要求1所述的方法，其特征在于，还包括：在执行所述照相机诊断过程之前，使用车辆运动补偿来增强在来自所述多个照相机的每个图像中的所述左侧道路边界线和所述右侧道路边界线的表征。

10.根据权利要求1所述的方法，其特征在于，执行照相机诊断过程包括将所述线的表征转换成自顶向下视图坐标。

11.一种用于感测在车辆正沿着其行驶的道路中的行驶车道的方法，所述车辆包括安装到所述车辆的前部的前视照相机、安装到所述车辆的左侧的左侧视照相机、安装到所述车辆的右侧的右侧视照相机以及安装到所述车辆的后部的后视照相机，所述道路包括在所述车道的左侧的左侧道路边界线和在所述车道的右侧的右侧道路边界线，所述方法包括：

从所述前视照相机、所述左侧视照相机、所述右侧视照相机、以及所述后视照相机提供来自所述车辆的前部、所述车辆的左侧、所述车辆的右侧以及所述车辆的后部的连续的图像帧的独立图像；

为来自至少所述前视照相机和所述后视照相机的每个独立图像检测所述左侧边界线和所述右侧边界线的表征；

使用在来自所述照相机的所述图像中的所述左侧道路边界线或所述右侧道路边界线的表征来检测所述前视照相机、所述左侧视照相机、所述右侧视照相机和所述后视照相机中的每一个的定向；

为所述照相机中的每一个执行照相机诊断过程以提供每个图像的时间约束分析和空间约束分析，其中所述时间约束分析确定连续的图像帧在时间约束阈值内是否处于共线、处于相同的角度和处于相同的偏移，并且其中所述空间约束分析确定从来自一个照相机的一个图像到来自另一个照相机的另一个图像延伸横跨边界的在所述图像中的车道线的表征在空间约束阈值内是否是直的和具有相同的角度；

如果所述时间约束阈值和所述空间约束阈值未得到满足，则对所述前视照相机、所述左侧视照相机、所述右侧视照相机和所述后视照相机中的一个或多个的定向进行重新校准；以及

如果所述时间约束阈值和所述空间约束阈值得到满足，则将在每个图像中的所述左侧边界线和所述右侧边界线的表征模型拟合到所述左侧边界线和右侧边界线。

12.根据权利要求11所述的方法，其特征在于，所述左侧边界线和右侧边界线的表征是一系列的图像点。

13.根据权利要求11的所述的方法，其特征在于，模型拟合包括基于给予所述独立图像点中的每一个的权重使用多项式模型。

14.根据权利要求13所述的方法，其特征在于，基于多个因素来分配权重，所述多个因素包括照相机视点、车辆动态误差、校准误差、在所述图像中的可见度和可靠性以及车道感测应用。

15.根据权利要求11所述的方法，其特征在于，执行照相机诊断过程包括将所述线的表征转换成自顶向下视图坐标。

16.根据权利要求11所述的方法，其特征在于，还包括：在使用每个独立图像来检测所述左侧道路边界线和右侧道路边界线的表征之前，为来自所述前视照相机、所述左侧视照相机、所述右侧视照相机和所述后视照相机的每个独立图像提供照明归一化过程。

17.根据权利要求11所述的方法，其特征在于，执行照相机诊断过程包括：确定所述左侧道路边界线和右侧道路边界线的表征是长实线或短虚线。

18.根据权利要求17所述的方法，其特征在于，执行所述照相机诊断包括：如果所述车辆正沿向前方向行驶，则使用所述前视照相机，并且如果所述车辆正向后方向行驶，则使用后视照相机，以确定所述边界线的表征是所述长实线或所述短虚线。

19.根据权利要求11所述的方法，其特征在于，还包括：在执行所述照相机诊断过程之前，使用车辆运动补偿来增强在所组合的图像中的所述左侧道路边界线和所述右侧道路边界线的表征。

20.一种用于感测在车辆正沿着其行驶的道路中的行驶车道的方法，所述车辆包括至少一个照相机，所述道路包括在所述车道的左侧处的左侧道路边界线和在所述车道的右侧处的右侧道路边界线，所述方法包括：

提供来自所述至少一个照相机的图像数据；

检测在所述图像数据中的所述左侧边界线或所述右侧边界线的表征；

使用在所述图像数据中的所述左侧道路边界线或所述右侧道路边界线的表征来校准所述至少一个照相机的定向；

为所述至少一个照相机执行照相机诊断过程以提供时间约束分析和空间约束分析，其中所述时间约束分析确定连续的图像帧在时间约束阈值内是否处于共线、处于相同的角度和处于相同的偏移，并且其中所述空间约束分析确定延伸横跨边界的车道线的表征在空间约束阈值内是否是直的和具有相同的角度；

如果所述时间约束阈值和所述空间约束阈值未得到满足，则重新校准所述至少一个照相机的定向；以及

如果所述时间约束阈值和所述空间约束阈值得到满足，则使用模型拟合过程来识别在所述图像中的所述边界线。