CN107646114B - 用于估计车道的方法 - Google Patents

用于估计车道的方法 Download PDF

Info

Publication number
CN107646114B
CN107646114B CN201680029490.5A CN201680029490A CN107646114B CN 107646114 B CN107646114 B CN 107646114B CN 201680029490 A CN201680029490 A CN 201680029490A CN 107646114 B CN107646114 B CN 107646114B
Authority
CN
China
Prior art keywords
lane
vehicle
input data
estimating
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680029490.5A
Other languages
English (en)
Other versions
CN107646114A (zh
Inventor
C·拜尔
C·洛依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Publication of CN107646114A publication Critical patent/CN107646114A/zh
Application granted granted Critical
Publication of CN107646114B publication Critical patent/CN107646114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

本发明涉及一种优选在驾驶员辅助系统中使用的用于估计车道的方法。根据本发明,用于估计车道的方法使用多个输入数据。输入数据是由多个不同传感器彼此独立地测量的特征矢量的位置和方向。特征矢量由自身车辆坐标系中的描述车道边缘上的点的位置以及描述车道边缘在该位置处沿何方向延伸的方向或角度构成。其他输入数据是表述特征矢量的存在概率以及位置和方向准确性的测量质量的参量。该方法有下列步骤:将输入数据同时累积(S10);在考虑测量质量(特征矢量的存在概率以及位置和方向准确性)的情况下,从所累积的输入数据估计车道几何特征(S20);将所估计的车道几何特征输出(S30),这尤其可再次一般性地作为特征矢量的位置和方向来进行,从而定量描述了所估计的车道走向。

Description

用于估计车道的方法
技术领域
本发明涉及一种优选在驾驶员辅助系统中使用的用于估计车道的方法。
背景技术
驾驶员辅助系统的发展基于借助传感器数据对车辆附近的周围环境的分析和解译。其中车道走向的表述是一个重要的组成部分并构成了诸如“Lane Departure Warning”(车道偏离警告)等已知辅助系统的基础。
用于表述车辆周围环境的车道识别的普遍方案是借助摄像系统检测车辆前的车道标记以及借助图像处理方法(大多基于对比度分析处理方法)对所检测数据进行分析处理。
基于摄像系统的车道识别系统被应用于例如车道保持辅助系统等多种多样驾驶员辅助系统中。常规情况下,这些系统借助于车道标记探测界定本身车道的线,并警告驾驶员以免在例如疏忽或疲劳或微睡眠情况下无意间偏离车道。
WO 2014/032664 A1显示一种用于确定车辆的车道走向的方法,在该方法中借助至少一个图像检测单元检测界定可行驶空间的结构,并将该结构记录到周围环境地图中。在此,车辆周围环境的周围环境地图在此被划分为单元的二维栅格结构。
WO 2011/131165 A1显示一种用至少一套周围环境传感器系统确定运动机动车的路面走向的方法。其中,由指向路面的周围环境传感器系统生成的传感器数据经过分析处理以便识别行车道相关的特征。生成一个行车道模型,其具有用于路面的至少一个确定行车道走向的行车道模型参数。在此,作为行车道模型可连续使用可区分的片段,尤其在回旋曲线路面模型、圆弧模型或样条函数模型的范围内。
这类方法的缺点是,典型情况下只使用形成图像的周围环境检测传感器的数据,这样,如果周围环境检测传感器失灵,则无法求得行车道走向的信息。
另一缺点是,为了从所检测图像数据求得行车道走向,必须假定几何模型。
DE 102013213361 A1介绍一种车辆行车道引导的方法,具有用于检测其他车辆位置的装置,其中,在预给定持续时间上累积其他车辆的位置,并将大量出现车辆的区域识别为行车道。为此可融合多个传感器的数据,诸如雷达系统、激光雷达系统和/或摄像系统等周围环境检测传感器系统的数据、车对车通信(C2C)的数据和基于数字道路地图的数据。
DE 102012219475 A1说明一传感器系统的一般方案及其在机动车中的应用。传感器系统包括多个传感器部件,所述传感器部件被这样构造,使得所述传感器部件至少部分地检测不同的原始测量参量和/或至少部分地利用不同的测量原理。传感器系统包括信号处理装置,其中,信号处理装置被这样构造,使得所述信号处理装置对传感器部件的传感器信号至少部分地共同分析处理并评估传感器信号的信息质量。在此,信号处理装置提供关于至少一个物理参量数据准确性的信息。信号处理装置被这样构造,使得以至少一个特征参量或特征参量数据组描述有关准确性的信息。
发明内容
本发明的目的是,给出一种用于估计车道的方法,相对已知方法,该方法允许更高的可用性、更大的检测范围以及更稳定的估计。
本发明的出发点可在于,除了行车道保持辅助外,对高度自动化行驶而言,明确位置和定位以及规划行驶策略和相应轨迹等日益复杂的任务需要精确的车道估计。
鉴于驾驶员辅助系统在自动行驶方面的进一步发展,对车辆周围环境中识别车道信息的要求提高(尤其是对于在“Road Model”或道路模型的意义上的表述):
-对于系统的稳定性和可靠性,本身车道的可靠稳定识别以及识别率的高可用性是必不可少的。在不良天气条件(雪/雾)或视野部分被(其他交通参与者)遮挡——此时纯粹基于摄像系统的系统已无能为力——时,这点尤为重要。否则不可实现如在高度自动化行驶中应允许的那样不由驾驶员持续监控的系统。
-为了例如能实现较高的速度,有必要增大有效范围来对本身车道进行检测。
-除了本身车道,还有必要识别相邻车道,以便例如能规划行车道变换或超车动作,能遵守诸如“右侧行驶规定”等交通规则,或能将交通标志在需要情况下配置给各个车道。
-通过使用冗余信息可对某一传感器失灵或性能减弱加以补偿。最后必须随时能确保车道识别。
本发明的第一方面是,在求得或估计车道走向时不局限于一个周围环境检测传感器的数据,而是处理多个传感器的输入数据。
除了单目摄像系统外,附加地还可基于第二或其他摄像系统、尤其是立体摄像系统、具有侧向或后向检测区域的摄像系统(其例如用于全景系统或环视系统)或布置在侧面的带大视场角的摄像系统的测量数据,或在使用其他光学三维传感器的情况下,对车道标记进行探测。由此,也可借助于高分辨率的三维瞬动激光雷达或光子混合探测器(PMD,Photonic Mixing Device)或基于激光通过借助激光探测车道标记上的反射来进行车道标记的空间分辨的识别。
作为附加或替选,可在动态物体、即其他车辆或交通参与者的基础上对车道走向进行估计。动态物体及其运动特性(基本上为三维位置、相对速度)可通过射线传感器、优选雷达或激光雷达传感器进行跟踪。此外,还可从地图材料、例如从导航系统的地图中获取车道信息,或也可从后端数据库或从与其他车辆的通信中获取车道信息,其中,自身车辆的位置借助位置识别装置(例如GPS、GNSS、借助于地标的明确位置装置)来求得。从车辆传感装置中了解里程计数据能实现对车道走向的估计。所谓里程计数据在此是指可表征车辆运动的数据,尤其可包含车辆传感装置数据如底盘、动力总成、转向装置的测量参量以及车辆导航装置的测量参量。
本发明的第二方面是,独立于传感器的测量方法对所述传感器提供的数据进行处理,但是其中传感器的各个测量值的质量引入到估计中。由此,测量值作为一般性特征引入到估计中。
根据本发明,用于估计车道的方法使用多个输入数据。输入数据是由多个不同传感器彼此独立地测量的特征矢量的位置和方向。特征矢量由自身车辆坐标系中的描述车道边缘上的点的位置以及描述车道边缘在该位置上在何方向上延伸的方向或角度构成。该角度在下面也被称为方位(角)并且描述车辆纵轴线和车道边缘延伸方向之间的角度。
另外的输入数据是对测量质量、即测量的位置准确性和方向准确性以及特征矢量存在概率进行表述的参量。该方法有下列步骤:
在步骤S10中,将输入数据同时累积。
在步骤S20中,从累积的输入数据中,在考虑测量质量(特征矢量的存在概率以及位置和方向准确性)的情况下,估计车道几何特征。在步骤S30中,将所估计的车道几何特征、也就是估计结果输出,这尤其可再次一般性地作为特征矢量的位置和方向来进行,从而定量描述估计的车道走向。
由此,本发明提供了一种用于车道估计的智能且普遍性的方法,该方法的基础是使用完全不同信息源的数据或一般性特征层面上的传感器的数据用于可靠且准确的车道走向估计。
该方法提供下列优点:该方法允许使用不同类型的信息源,即具有不同测量原理的任意数量的源。
该方法允许将输入和输出数据一般性地表述为x位置、y位置、方向或方位、方差和置信度。
某一输入数据源的不可靠性通过另一输入数据源的准确性加以补偿。估计结果组合和改善信息源的输入数据。
车道估计的可用性和可靠性通过冗余来提高。信息源失灵不导致系统失灵,而只导致较低的置信度以及较大的位置和方向方差。
估计先验地不受几何模型假设的约束。检测范围或车辆周围环境中的进行车道估计的范围增大。
可在预处理较少的情况下从各种信息源提取特征(例如在摄像系统中在车道标记上提取特征矢量,在从动态物体中进行估计时借助于动态物体的轨迹描述特征矢量)。通过特征矢量,提供融合模块输入和输出数据的非常一般性的表述。
融合不依赖信息源的测量原理工作,并不受几何模型假设的约束(如通过回旋曲线或样条函数逼近车道走向)。同时,该算法既对于单个输入传感器也对于不同输入信号的任意组合来工作,由此,融合与所用信息源的数量无关。输入和输出数据的质量通过位置方差和置信度值来表述。因此,可检测和(通过相应加权)组合不同的输入数据,并保持结果的位置准确性。另外,例如结果中一个信息源的失灵仅通过特征矢量的较低置信度值(或通过增大的方差)就可识别,不必等到系统崩溃。
在一优选的实施方式中,在另一步骤S12中将汇集的/站在一起的/毗邻的、所累积的特征矢量进行联合/组合/关联。因此,如果方位角一致,最多只相差很小值,并且它们在空间上彼此相距不太远,特别是在位置坐标上相距不太远,则将所累积的特征矢量汇合成组。
根据本发明的一种有利的改进方式,在另一步骤S14中将联合的特征矢量相融合。这种融合尤其可作为加权平均来进行,通过所述加权平均在主延伸方向上实现平滑。
在一种优选的实施变型方案中,可基于累积(和必要时联合和平均)的特征矢量在估计车道几何特征中使用几何模型假设。
为了估计车道,尤其可使用GraphSLAM方法。借助于对稀疏图的优化,GraphSLAM算法求解所谓的“全SLAM问题”(SLAM=即时定位和地图构建)。SLAM算法尝试同时(“即时”)建立周围环境地图(“地图构建”)以及确定自己在地图中的位置(“定位”)。这一“全面问题”在于,除了当前位置外,还计算过去位置的走向。与诸如卡尔曼滤波器等传统融合算法相反,使用GraphSLAM求解“全SLAM问题”可事后修正错误的特征联合。从而可生成和输出更稳定和更准确的结果。
输入数据可优选从车道边界标记识别、对界定车道的物体的识别和/或在前行驶和/或对向行驶车辆或者说动态物体的轨迹测量中求得。
可采取已知方式,凭借单目单色或彩色分辨的前置摄像系统、立体摄像系统或其他光学三维传感器来进行车道边界标记识别。
在空间上界定车道的物体可以是路缘石、护栏、柱子、路边建筑物或道路路面边缘上相对于相邻草地的垂直沉降或类似物。这类物体尤其可由三维传感器探测,或从摄像系统图像数据中求得。
在前行驶和/或对向行驶车辆的轨迹测量尤其可通过雷达、激光雷达或带有车辆目标识别装置的摄像系统进行。从轨迹测量中可求得假定的车道走向,方法是假设在前行驶和/或对向行驶车辆行驶在一车道内,并以可信的车道宽度为基础。在此,另一车辆的典型行车道变换可根据所测得轨迹的改变的曲率半径来识别。该求得的位置准确性明显比在识别车道标记时差,但其即使在极差的能见度条件下或车道标记完全缺失情况下也可凭借雷达传感器来实现。
在行车道偏离警告(Lane Departure Warning,LDW)、疲劳警告、行车道变换辅助、主动行车道保持辅助(防车道偏离保护或车道保持)、行车道中心引导、路线引导辅助、交通标志辅助(为了求得对于自身车辆而言车道相关交通标志的相关性)、超车动作辅助、遵守交通规则辅助(例如右侧行驶规定、连贯实线的超车禁令)、紧急制动辅助、紧急转向辅助和/或自动车辆引导的范围内,可有利地使用输出的估计的车道几何特征。
此外,本发明的主题是一种用于估计车道的装置,所述装置被构造用于执行根据本发明所述方法。
附图说明
下面参照附图对本发明优选的实施例进行说明。其中:
图1示出车道中的一车辆,
图2表述了两个不同传感器的被同时累积的输入数据,
图3表述了图2中汇集的输入数据被联合,
图4表述了根据图3联合的矢量被融合,以及
图5示出用于估计车道的方法的过程的流程示意图。
具体实施方式
图1显示处于三个车道(I-III)的中间车道(II)上的一车辆(1)。三个车道(I-III)相互之间以虚线形车道标记(6;7)分开,相对于三车道路面外的相邻区域(4;9)分别通过一连贯实线车道标记(5;8)或车道边界线分开。
车辆(1)拥有多个周围环境检测传感器,优选拥有前置摄像系统(2)和雷达传感器(3)。前置摄像系统(2)检测反映车道(I-III)的处于车辆(1)之前的区域的图像,只要路面表面在前置摄像系统(2)的视野中且未被物体所遮挡。
可用已知方式将车道标记(5-8)作为亮/暗-过渡从图像数据提取。一个特征可作为在一个车道(I-III)的边缘上的或两个车道之间的特征矢量m(在车辆坐标中的x、y和方位)来说明。
作为估计方法的输入数据,由前置摄像系统(2)提供在图像中处于车道(I-III)边缘或车道标记(4-8)上的点的在车辆坐标中的x位置、y位置和方位角。
在车辆坐标系中,x轴相当于车辆纵轴线,y轴垂直于x轴延伸。从车辆的前进方向看,正的y距离因此在左侧。标记线或车道边界的走向相对于车辆纵轴线的角度被称为方位(角)。即,朝正x方向指向的方位意味着车道标记平行于车辆纵轴线。
由于前置摄像系统(2)的分辨率有限以及由于车道标记提取带来的不可靠性,例如通过坐标转换,得出测量不准确性或位置的方差(σX、σY)和方向的方差(σ方位)。由于摄像系统图像检测时的干扰或限制或车道标记缺失、被遮挡、褪色等,可能会出现前置摄像系统(2)至少部分不能识别或不能可靠识别车道标记的情况。这作为所涉及矢量的置信度值一起提供。在此,置信度值为1表示100%识别;置信度值为0.2表示所涉及矢量m一般来说仅以20%概率描述车道标记(5-8)。可选择地,可由前置摄像系统(2)已经一起提供有关该位置上的车道标记类型的信息,例如“连贯实线”、“虚线”、在突起路标(Bott’s Dots)的情况下的“点阵”。
由此,输入和输出数据的可能表述如下:
描述车道边缘的点:
-x,y [米]车辆坐标中的位置
-方位 [度]车辆坐标中的方位角
XY方位 [米,米,度]标准差
-置信度 [0.0,1.0]置信度值(存在概率)
-类型 属性,例如“连贯实线”、“虚线”
这允许将GraphSLAM算法用于车道走向估计:
●融合算法的思想是,通过表述车道走向的特征(x、y、方位)来一般性地描述地图(“Map”)。在自身车辆坐标系中对这些特征进行描述,为此必须一起估计自己的位置。
●使用描述矢量可能位置的一般性特征作为输入数据。通过位置方差描述位置的不可靠性。由于一般性的表述,算法不依赖于专用传感器。
●通过置信度值表述例如由于摄像系统的错误探测或在探测动态物体时的错误解译造成的存在不可靠性。
通过用GraphSLAM(与诸如卡尔曼滤波器等传统融合算法相反)求解“全SLAM问题”,可事后修正错误的特征(矢量)联合,以便由此生成更稳定和更准确的结果。
通过作为特征点集的一般性输出(或一般性结果),该算法不受关于行车道表述或几何限制的假设的约束。
图2到4说明一种用于车道估计的方法的实施形式。
图2显示一个第一传感器(闭合箭头)的特征矢量m(传感器1)和一个第二传感器(开放箭头)的特征矢量m(传感器2)的位置和方向。不同输入源的特征在时间上共同累积,也就是说,尤其是在某一时刻共同测定,并记录到同一个x和y图中,如图2中示例性所示。
图3显示,汇集的特征是如何被联合的,因为这些特征可能属于同一个车道边缘。方位角基本一致并且其相互之间的位置间隔不太远的特征矢量是汇集的。图3中可清楚地看出特征矢量的分别几乎已经形成一条线的一个上组(a1)和一个下组(a2)。
对于前置摄像系统所探测且沿x方向延伸的虚线,在扫描过程中有时在两个相邻特征矢量之间在x位置上产生跳跃,但y位置不应有严重的跳跃(未显示)。
图4显示如何融合图3中联合的特征,由此,在上组(f1)中以及在下组(f2)中尤其是改善了位置准确性,并提高了置信度。融合可以以对y位置加权平均的形式进行,从而可去除偏差值。加权一方面可顾及位置确定的测量不可靠性,另一方面可顾及存在概率。
图5以示意图的方式显示一种车道估计方法实施方式的过程。
在步骤S10中,多个传感器(传感器1至传感器n)的输入数据作为特征矢量同时被累积。
在步骤S12中,汇集的特征被联合。
联合的特征在步骤S14中融合。
在步骤S20中,估计车道的几何特征。这可通过接受融合结果作为估计结果来进行。如果没有进行融合,则可基于特征矢量的联合来估计结果。
如果也没有进行联合,则可在考虑特征矢量的存在概率和位置精度和方向精度的测量质量的情况下直接从所累积的输入数据中获取估计结果,即车道的几何特征。
作为可选项,在融合、联合或累积后可进行所获特征矢量与几何模型的比较。
在步骤S30中输出车道的所估计的几何特征。
下面描述根据本发明所述方法的一个可能的数学公式。
行车道特征可作为特征矢量fi来描述,
fi=[xi,yii,cii] (1)
其中,xi和yi描述特征的位置,θi描述方位角。每个特征的测量不可靠性通过置信度值ci和有关x、y和θ的协方差矩阵Σi描述。该二维公式忽略了路面走向的高度信息。
用于融合行车道特征的算法的目的是,以从不同行车道特征输入数据中得出的行车道特征F1,F2,…,FN的数据组Ffused的形式获得对周围环境的描述。通常情况下,该问题可描述为后验概率估计
p(xt,m|z1:t,u1:t) (2)
其中,xt是当前车辆姿态,m是通过大量测量z1:t得出的周围环境描述。控制矢量u1:t描述在相应时间的车辆运动。这是已知的SLAM问题,它可通过例如卡尔曼滤波器或粒子滤波器求解。
当前使用GraphSLAM算法,它描述周围环境,不仅描述当前车辆位置xt,而且还描述整个轨迹x0:t
在GraphSLAM中,方程(2)作为稀疏(英文:sparse)图进行描述。车辆姿态x0:t和周围环境m被描述为顶点(节点)vi∈V。测量和控制矢量描述作为边连接相应顶点的强制性条件。即,边包含有关行车道边缘的信息。图被表述为条件的总和
Figure BDA0001476131760000101
其中,e(zij,vi,vj)是一个误差函数。该误差函数描述测量zij与顶点姿态差异
Figure BDA0001476131760000102
之间的差距。这一差距以信息矩阵
Figure BDA0001476131760000103
形式的测量协方差来加权。非线性二次方程的这个总和的最小化可通过高斯-牛顿算法求解。合成的顶点配置V*=argminVJ(V)等于估计的周围环境特征的姿态和车辆姿态。
图可如下构建。周围环境和所测量行车道特征在图Gt中作为节点来表述。由于只对车前的周围环境感兴趣,车辆姿态的相应数据组降低到xt-τ:t,其包括τ-1个姿态。因此,图Gt包含渐进的车辆姿态xt-τ,xt-τ+1,…,xt和行车道特征f1,f2,…,fn作为顶点vi=[x,y,θ]。图顶点的所有姿态的描述均以当前车辆姿态坐标系为参考。定义图边的测量强制条件从下文中描述的输入行车道特征和控制矢量中获得。
里程计如下加入图中:当前控制矢量
Figure BDA0001476131760000111
添加到先前的图Gt-1。控制矢量由车辆的横摆率
Figure BDA0001476131760000112
和速度
Figure BDA0001476131760000113
组成,并用于通过相应的信息矩阵ΩΔx计算先前姿态xt-1与当前姿态xt之间的姿态差异
Figure BDA0001476131760000114
首先,所有顶点在使用Δx的情况下从xt-1转换为当前车辆姿态xt。这一转换后,将车辆后超过5米的所有测量从图Gt中去除。此外,不再使用的过去的车辆姿态被弃用。在图中把里程计边插入两个前后相继的姿态之间作为条件
Figure BDA0001476131760000115
其具有误差函数
Figure BDA0001476131760000116
来自可用车辆摄像系统(smc)的车道识别的回旋曲线如下地被添加到图:
为了在车辆坐标系中计算姿态和特征
Figure BDA0001476131760000117
的信息矩阵,将回旋曲线扫描为两米。这些特征与图的全部现有行车道特征联合。如果在联合间距之内没有找到特征,则将新的顶点添加到图形中。该条件被描述为
Figure BDA0001476131760000118
在那里,测量
Figure BDA0001476131760000119
是当前车辆姿态xt的顶点和新的或被联合的特征f*的顶点之间所期望的姿态差异。从中得出smc边。
来自高分辨率摄像系统(hrc)的特征以下列方式加入图中:由于高分辨率摄像系统的图像中的特征直接在行车道标记中被提取,车辆坐标中的相应特征
Figure BDA00014761317600001110
直接与现有特征联合或作为新顶点以相应的测量强制条件来加入,
Figure BDA00014761317600001111
从中得出高分辨率摄像系统数据的边。
来自动态物体的特征按如下方式添加到图形中:思想是,使用其他交通参与者的位置和运动,以便从中导出关于行车道的信息。大多数情况下,其他车辆的驾驶员倾向于靠近行车道中心行驶。基于这一假设,从所跟踪物体生成特征。在每个动态物体的左侧和右侧以w/2的间距建立垂直于物体行驶方向的两个特征作为潜在行车道标记。参数w是当前行车道宽度的估计,所述行车道宽度或者可从来自可用车辆摄像系统的车道识别的回旋曲线接收,或者对于所述行车道宽度否则可假设为3.5米。后者相当于德国高速公路上的通常行车道宽度。
相应的特征协方差等于物体协方差和描述交通参与者到行车道中心的侧向标准差的协方差矩阵的总和。由此产生的特征与现有特征联合或作为一个新顶点被添加,伴随着测量强制条件
Figure BDA0001476131760000121
其中,
Figure BDA0001476131760000122
是在时刻t第i个所跟踪物体的左特征或右特征。
该模型可能存在的一个不足之处是,左特征和右特征是脱耦的,这意味着,左特征位置的改善不影响右特征,反之亦然。因此,行车道宽度的假设被表述为左特征和右特征之间的强制条件:
Figure BDA0001476131760000123
同一物体左特征和右特征之间所期望的姿态差异被定义为w=[0,w,0°],行车道宽度w作为侧向间距。由于两个特征的运动方向应该是相同的,因此,角度差异设定为零。信息矩阵Ωwidth相当于当前行车道宽度估计的方差。
此外,还应考虑一个额外的关系:在当前模型中,两个彼此相继的特征在一物体的同侧脱耦。这意味着
Figure BDA0001476131760000124
Figure BDA0001476131760000125
没有直接的影响。如果通过其他测量来校正一个特征
Figure BDA0001476131760000126
则可能相对后续特征出现巨大差距。这一差距应被最小化,方法是在两个特征之间加入平滑条件
Figure BDA0001476131760000127
两个彼此相继的特征之间的横向位移于是可以下列方法降低,即增加
Figure BDA0001476131760000128
Figure BDA0001476131760000129
由于不应改变纵向方向上的距离,所以适用
Figure BDA00014761317600001210
由此对于每个物体分别得出每个侧的边。
如果交通参与者变换行车道,将严重违反该条件,因为从一确定点起,特征
Figure BDA00014761317600001211
属于一行车道,特征
Figure BDA00014761317600001212
属于另一个行车道。在GraphSLAM中,公式(9)在此可乘以一个切换变量0≤st,i,l/r≤1。如果此变量设定为零,则该边被去激活,而当此变量等于1时,边被完全激活。这可在优化GraphSLAM期间使用,以避免错误链接,方法是,将
Figure BDA0001476131760000131
作为另一条件加入。这迫使边一直被激活,直至边的误差变得过大并且边的去激活导致更好的结果。
图的求解:总体而言,图Gt包括条件
Figure BDA0001476131760000132
其中,t遍历所有τ-1个重要的时间步骤;i遍历相应时间步骤的所有传感器特征。
通过图的求解获得最佳顶点姿态的配置。算法的结果相应于直接与最佳顶点姿态相应的融合行车道特征的数据组Ffused。当所测量的特征联合时,每次会更新合成的融合特征的置信度值。
融合算法的一种实时应用被用于验证根据本发明所述基于以摄像系统为基础的车道探测的方法的可执行性以及基于动态物体的车道走向估计。
在此,输入数据为:
-可用车辆摄像系统的车道识别数据(所扫描的回旋曲线的特征)
-高分辨率摄像系统上的车道识别数据
-根据动态物体的车道估计数据
在此设置中,一方面可用车辆摄像系统的自身车道的车道识别的稳定性和良好位置准确性与高分辨率摄像系统的扩展车道探测(有效范围提高、探测相邻行车道)相组合。借助特征的方差来表述结果的位置准确性。另一方面,在融合过程中,基于摄像系统的车道信息还与借助动态物体(基于摄像系统、雷达、激光雷达)的估计进行融合(由此可组合不同测量原理的优点,例如当基于摄像系统的车道探测因被遮挡而提供很少信息时)。基于输出特征,可构建几何模型假设(借助回旋曲线、样条函数等逼近车道走向)。
相对于传统的识别方法,这可明显提高结果中车道几何特征的识别可靠性。

Claims (9)

1.一种用于在应用输入数据的情况下估计车道的方法,其中,输入数据包括
-由多个不同传感器彼此独立地测量的特征矢量(m)的位置和方向,其中,所述位置描述车道边缘上的点并且所述方向描述车道边缘在该位置处沿何方向延伸,以及
-对特征矢量的存在概率以及位置精度和方向精度的测量质量进行表述的参量,
其中,本方法有下列步骤:
-在时间上共同累积(S10)输入数据,
-在考虑特征矢量的存在概率以及位置精度和方向精度的测量质量的情况下,从累积的输入数据估计车道几何特征(S20),并且
-输出所估计的车道几何特征(S30)。
2.根据权利要求1所述的方法,其中,在另一步骤(S12)中将汇集的所累积的特征矢量进行联合。
3.根据权利要求2所述的方法,其中,在另一步骤(S14)中将所联合的特征矢量(a1、a2)进行融合。
4.根据上述权利要求中任一权利要求所述的方法,其中,基于所累积(m)的特征矢量、被联合(a1、a2)的特征矢量或被融合(f1、f2)的特征矢量在估计车道几何特征(S20)时使用几何模型假设。
5.根据上述权利要求中任一权利要求所述的方法,其中,为了估计车道使用GraphSLAM方法。
6.根据上述权利要求中任一权利要求所述的方法,其中,输入数据由下列传感器中的至少两个测量:
-在车辆行驶方向上观察的单目前置摄像系统(2),
-在车辆行驶方向上观察的立体摄像系统,
-带有侧向和/或后向检测区域的摄像系统,
-全景系统的摄像系统,
-其他光学三维传感装置,
-射线传感器(3),
-车辆传感器,或
-与数字地图、后端数据库和/或车对车通信装置相结合的位置检测装置。
7.根据上述权利要求中任一权利要求所述的方法,其中,输入数据由以下求得:
-车道边界标记识别,
-对界定车道的物体的识别,
-在前行驶车辆和/或对向行驶车辆的轨迹测量。
8.根据上述权利要求中任一权利要求所述的方法,其中,输出的估计的车道几何特征被应用于下列范围内
-行车道偏离警告,
-疲劳警告,
-行车道变换辅助,
-主动行车道保持辅助,
-行车道中心引导,
-路线引导辅助,
-交通标志辅助,
-超车动作辅助,
-遵守交通规则辅助,
-紧急制动辅助,
-紧急转向辅助,和/或
-自动车辆引导。
9.一种用于估计车道的装置,包括:
-累积装置,所述累积装置被构造用于,在时间上共同累积多个不同传感器的输入数据(S10),其中,输入数据包括:
由多个不同传感器彼此独立地测量的特征矢量(m)的位置和方向,其中,所述位置描述车道边缘上的点并且所述方向描述车道边缘在该位置处沿何方向延伸,以及
对特征矢量的存在概率以及位置精度和方向精度的测量质量进行表述的参量,
-估计装置,所述估计装置被构造用于,在考虑矢量质量情况下,从所累积的输入数据估计车道几何特征(S20),以及
-输出装置,所述输出装置被构造用于,输出所估计的车道几何特征(S30)。
CN201680029490.5A 2015-05-22 2016-05-13 用于估计车道的方法 Active CN107646114B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015209467.7A DE102015209467A1 (de) 2015-05-22 2015-05-22 Verfahren zur Schätzung von Fahrstreifen
DE102015209467.7 2015-05-22
PCT/DE2016/200227 WO2016188523A1 (de) 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen

Publications (2)

Publication Number Publication Date
CN107646114A CN107646114A (zh) 2018-01-30
CN107646114B true CN107646114B (zh) 2022-02-18

Family

ID=56203051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680029490.5A Active CN107646114B (zh) 2015-05-22 2016-05-13 用于估计车道的方法

Country Status (7)

Country Link
US (1) US10650253B2 (zh)
EP (1) EP3298541A1 (zh)
JP (1) JP6800168B2 (zh)
KR (1) KR102558055B1 (zh)
CN (1) CN107646114B (zh)
DE (2) DE102015209467A1 (zh)
WO (1) WO2016188523A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307383B2 (ja) 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
US11106988B2 (en) * 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10150474B2 (en) * 2017-01-04 2018-12-11 Robert Bosch Gmbh Reducing lateral position deviation during an automated lane change
DE102017208509A1 (de) * 2017-05-19 2018-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen eines Straßenmodells während einer Fahrt eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
US20190011275A1 (en) * 2017-07-06 2019-01-10 Andrew Whinston System and method for routing autonomous vehicles
DE102018211368A1 (de) 2017-07-19 2019-01-24 Continental Teves Ag & Co. Ohg Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102017216802A1 (de) 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102018101388A1 (de) 2018-01-23 2019-07-25 Valeo Schalter Und Sensoren Gmbh Korrigieren einer Position eines Fahrzeugs mit SLAM
JP7049188B2 (ja) * 2018-06-04 2022-04-06 本田技研工業株式会社 車両制御装置、車両制御方法およびプログラム
DE102018212555A1 (de) * 2018-07-27 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Fahrspurerkennung
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
CN109215368B (zh) * 2018-08-23 2020-04-28 百度在线网络技术(北京)有限公司 一种辅助驾驶的方法、装置、设备和计算机存储介质
CN110969837B (zh) * 2018-09-30 2022-03-25 毫末智行科技有限公司 自动驾驶车辆的道路信息融合系统及方法
US10793123B2 (en) 2018-10-04 2020-10-06 Waymo Llc Emergency braking for autonomous vehicles
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
KR102633140B1 (ko) 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
DK180774B1 (en) * 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US11195028B2 (en) * 2019-01-04 2021-12-07 Qualcomm Incorporated Real-time simultaneous detection of lane marker and raised pavement marker for optimal estimation of multiple lane boundaries
DE102019112413A1 (de) * 2019-05-13 2020-11-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
CN111959482B (zh) 2019-05-20 2024-03-22 现代摩比斯株式会社 自主驾驶装置及方法
US10834552B1 (en) 2019-06-25 2020-11-10 International Business Machines Corporation Intelligent vehicle pass-by information sharing
US11587434B2 (en) 2019-06-25 2023-02-21 International Business Machines Corporation Intelligent vehicle pass-by information sharing
DE102019209226A1 (de) * 2019-06-26 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
EP3786012A1 (en) * 2019-08-29 2021-03-03 Zenuity AB Lane keeping for autonomous vehicles
CN112885074B (zh) * 2019-11-30 2023-01-13 华为技术有限公司 道路信息检测方法以及装置
DE102019008368A1 (de) * 2019-12-02 2021-06-02 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
DE102020105711A1 (de) 2020-03-03 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem
DE102021202459A1 (de) 2021-03-15 2022-09-15 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen einer Mehrspurigkeit einer Fahrbahn, Computerprogrammprodukt sowie Assistenzsystem
DE102021109425B3 (de) 2021-04-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug
DE102021110101A1 (de) 2021-04-21 2022-10-27 Valeo Schalter Und Sensoren Gmbh Computerimplementiertes Verfahren zum Detektieren von Fahrbahnmarkierungen, Computerprogramm, computerlesbares Speichermedium und Fahrerassistenzsystem
DE102021114935A1 (de) 2021-06-10 2022-12-15 Connaught Electronics Ltd. Verfahren zum Bestimmen von zumindest einer Fahrstreifenbegrenzung einer Fahrbahn in einem Bild mittels eines Assistenzsystems, omputerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP4105818A1 (en) * 2021-06-18 2022-12-21 Continental Autonomous Mobility Germany GmbH Method and system for estimating road lane geometry
DE102021206355A1 (de) 2021-06-21 2022-12-22 Volkswagen Aktiengesellschaft Verfahren zur Zuordnung des von einem Fahrzeug aktuell befahrenen Fahrstreifens
CN113232663B (zh) * 2021-06-29 2022-10-04 西安电子科技大学芜湖研究院 一种应用于高级辅助驾驶的控制系统
CN113903014B (zh) * 2021-12-07 2022-05-17 智道网联科技(北京)有限公司 车道线预测方法、装置及电子设备、计算机可读存储介质
CN114475664B (zh) * 2022-03-17 2023-09-01 西华大学 一种拥堵路段自动驾驶车辆变道协调控制方法
DE102022002498B3 (de) 2022-07-08 2023-10-26 Mercedes-Benz Group AG Verfahren zum Fusionieren von Sensordaten
FR3139092A1 (fr) * 2022-08-26 2024-03-01 Psa Automobiles Sa Méthodes et systèmes pour le contrôle des autorisations de changement de voie de circulation par temps de pluie
DE102022209225A1 (de) 2022-09-06 2024-03-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position eines Fahrzeugs

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292250B2 (ja) 2004-07-02 2009-07-08 トヨタ自動車株式会社 道路環境認識方法及び道路環境認識装置
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
DE102007044761A1 (de) * 2007-09-19 2008-05-08 Daimler Ag Verfahren und Vorrichtung zur Bestimmung eines sich entlang einer Bewegungsbahn eines Fahrzeuges erstreckenden Fahrschlauches
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems
EP2085279B1 (en) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC A system for collision course prediction
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5105481B2 (ja) 2008-05-27 2012-12-26 国立大学法人鳥取大学 車線検出装置、車線検出方法、及び車線検出プログラム
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
US20110313665A1 (en) 2009-03-04 2011-12-22 Adc Automotive Distance Control Systems Gmbh Method for Automatically Detecting a Driving Maneuver of a Motor Vehicle and a Driver Assistance System Comprising Said Method
JP4988786B2 (ja) 2009-04-09 2012-08-01 株式会社日本自動車部品総合研究所 境界線認識装置
DE102010020984A1 (de) 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
JP5605187B2 (ja) * 2010-11-24 2014-10-15 株式会社デンソー 運転疲労度判定装置
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
CN202152051U (zh) * 2011-07-08 2012-02-29 德州学院 一种车道偏离报警装置
US20140236445A1 (en) 2011-09-12 2014-08-21 Nico Dzuibek Method for Estimating Tire Parameters for a Vehicle
EP2574958B1 (en) 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
KR20140082848A (ko) * 2011-10-24 2014-07-02 콘티넨탈 테베스 아게 운트 코. 오하게 센서 시스템의 데이터의 무결성을 독립적으로 평가하기 위한 센서 시스템
DE102013213361B4 (de) * 2012-07-26 2023-07-06 Continental Autonomous Mobility Germany GmbH Verfahren für eine Spurführung basierend auf der Bewegung anderer Fahrzeuge
DE102012107885A1 (de) 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
US9435654B2 (en) * 2013-06-01 2016-09-06 Savari, Inc. System and method for creating, storing, and updating local dynamic MAP database with safety attribute
CN104554259B (zh) * 2013-10-21 2018-03-30 财团法人车辆研究测试中心 主动式自动驾驶辅助系统与方法
US9384394B2 (en) * 2013-10-31 2016-07-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
EP2923911B1 (en) * 2014-03-24 2019-03-13 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
CN103940434B (zh) * 2014-04-01 2017-12-15 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
EP3084681B1 (de) * 2014-04-04 2023-08-30 Aptiv Technologies Limited Verfahren zur fahrspurerkennung
CN203844749U (zh) * 2014-05-28 2014-09-24 长安大学 一种车辆岔口路段检测装置
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps

Also Published As

Publication number Publication date
DE112016001203A5 (de) 2017-12-14
US10650253B2 (en) 2020-05-12
US20180173970A1 (en) 2018-06-21
WO2016188523A1 (de) 2016-12-01
KR20180009755A (ko) 2018-01-29
JP2018517979A (ja) 2018-07-05
EP3298541A1 (de) 2018-03-28
CN107646114A (zh) 2018-01-30
KR102558055B1 (ko) 2023-07-20
JP6800168B2 (ja) 2020-12-16
DE102015209467A1 (de) 2016-11-24

Similar Documents

Publication Publication Date Title
CN107646114B (zh) 用于估计车道的方法
US20220001872A1 (en) Semantic lane description
US20220282989A1 (en) Fully aligned junctions
WO2018204656A1 (en) Detection and classification systems and methods for autonomous vehicle navigation
WO2021096935A2 (en) Systems and methods for determining road safety
JP2022553491A (ja) 車両ナビゲーション用のシステムおよび方法
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
US11680801B2 (en) Navigation based on partially occluded pedestrians
US20220035378A1 (en) Image segmentation
EP4085232A2 (en) Navigation systems and methods for determining object dimensions
WO2021262976A1 (en) Systems and methods for detecting an open door
US20230236037A1 (en) Systems and methods for common speed mapping and navigation
WO2022229704A2 (en) Multi-frame image segmentation
WO2023129656A1 (en) Calculating vehicle speed for a road curve
US11210941B2 (en) Systems and methods for mitigating anomalies in lane change detection
WO2021198775A1 (en) Control loop for navigating a vehicle
WO2023126680A1 (en) Systems and methods for analyzing and resolving image blockages
Guo et al. Understanding surrounding vehicles in urban traffic scenarios based on a low-cost lane graph
GB2616114A (en) Vehicle navigation with pedestrians and determining vehicle free space
WO2023067385A2 (en) Radar-camera fusion for vehicle navigation
WO2023196288A1 (en) Detecting an open door using a sparse representation
WO2024015564A1 (en) Registration of traffic signs' feature vectors in remote server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230106

Address after: Germany Ingolstadt

Patentee after: Continental Zhixing Germany Co.,Ltd.

Address before: Frankfurt, Germany

Patentee before: CONTINENTAL TEVES AG & Co. OHG

TR01 Transfer of patent right