CN102842138A - 车辆中的画面支持的驾驶员辅助系统的工作方法 - Google Patents

车辆中的画面支持的驾驶员辅助系统的工作方法 Download PDF

Info

Publication number
CN102842138A
CN102842138A CN2012101049726A CN201210104972A CN102842138A CN 102842138 A CN102842138 A CN 102842138A CN 2012101049726 A CN2012101049726 A CN 2012101049726A CN 201210104972 A CN201210104972 A CN 201210104972A CN 102842138 A CN102842138 A CN 102842138A
Authority
CN
China
Prior art keywords
picture
vehicle
axle
driver assistance
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101049726A
Other languages
English (en)
Inventor
D·基弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Publication of CN102842138A publication Critical patent/CN102842138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种车辆(2)中的画面支持的驾驶员辅助系统(4)的工作方法，其中借助一个画面拍摄单元(6)来拍摄多个画面并且将所述画面传输给一个分析单元(10)，在该分析单元中由这些画面来获取多个车道标线(20)以及其他的车辆环境数据。在弯道行驶、变换车道或者在行驶经过上凸段或下凹段时，在获得速度和间距时存在误差。为了避免误差，所提出的是，借助于该分析单元(10)获得在画面中的这些车道标线(20)的一个竖直的消失轴线，其中使用在该画面拍摄单元(6)的竖直中轴线与所获取的该消失轴线之间的一个连接平面作为一个用于画面分析以获取车辆环境的其他数据的坐标系(16)的x-z平面。

Description

车辆中的画面支持的驾驶员辅助系统的工作方法
技术领域
本发明涉及一种车辆中的画面支持的驾驶员辅助系统的工作方法，其中借助一个画面拍摄单元来拍摄多个画面，并且将其传输到分析单元，在该分析单元中由这些画面来获得车道标线(Fahrbahnmarkierungen)以及其他的车辆环境数据。
背景技术
具有画面支持的驾驶员辅助系统的车辆是公知的。这些驾驶员辅助系统具有一个或多个摄影机，通过它们可以拍摄画面。通过借助于分析单元来分析两个或更多个彼此相继的画面，可以获得尾随车辆的距离和速度。这种数据被用于，当由所获得的数据可以判断出变换车道存在危险时，例如向驾驶员给出警告信号。
这些已知的驾驶员辅助系统以相对于车辆静止的坐标系工作，其中分别设置为：x轴是车辆的行驶方向，z轴与车辆底部垂直定向，以及y轴与车辆的运动方向垂直。对应地例如从沿x轴的移动来计算车辆的速度。因此，在车辆变换车道时(由此产生绕z轴的旋转)x轴倾斜于车道，这样使得要观察的后方车流的通常在x方向上进行确定的速度和间距被错误地计算。此外，由于车辆载重或者在行驶经过车道上凸段(Fahrbahnkuppen)或通过车道下凹段(Fahrbahnsenken)时会产生车辆绕y轴的旋转，由此产生画面的水平偏移。此外，在弯道行驶时，尤其是在半挂车(Aufliegern)或者两轮车的情况下，产生车辆绕x轴的旋转。这些车辆上静态坐标系的偏移导致在识别尾随车辆时不准确的数值，或者由于在特定的情况下水平线的竖直和水平偏移以及绕所拍摄画面的画面中心的旋转，在获取这些车辆的速度和间距时至少会导致误差。
发明内容
因此，本发明的目的是，提供一种画面支持的驾驶员辅助系统的工作方法，用此方法即使在弯道行驶或变换车道时也能够以简单的方式获取关于尾随车辆的位置和速度的可靠数据。
这个目的是通过一种车辆中的画面支持的驾驶员辅助系统的工作方法实现的，其中借助一个画面拍摄单元来拍摄多个画面并且将所述画面传输到一个分析单元，在该分析单元中从这些画面获得多个车道标线以及其他的车辆环境数据，其中借助于该分析单元在该画面中获取这些车道标线的一个竖直的消失轴线，其中使用在该画面拍摄单元的竖直中轴线与所获取的该消失轴线之间的一个连接平面作为一个用于画面分析以获取车辆环境的其他数据的坐标系的x-z平面。
借助分析单元在画面中获取车道标线的一个竖直消失轴线(Fluchtachse)，其中采用在画面拍摄单元的竖直中轴线与所获取的消失轴线之间的一个连接平面作为用于进行画面分析以获取车辆环境的更多数据的一个坐标系的x-z平面，由此例如在变换车道或弯道行驶中对车辆绕在其他常规使用的坐标系的z轴的旋转进行补偿。该画面被相应地水平偏移，以便进行数据分析。这是一种动态坐标系，借助这种坐标系能够在弯道行驶或变换车道时尽可能正确地确定尾随车辆的速度和间距。
优选的是，借助该分析单元在画面中获取车道标线的一个消失点(Fluchtpunkt)，其中采用在画面拍摄单元的中心点与所获得的消失点之间的一条连接线来作为用于画面分析以获取车辆环境的其他数据的坐标系的x轴，这样使得由于车辆行驶经过上凸段或下凹段造成的一种绕y轴的旋转也额外地得以补偿。该画面对应于进一步分析既在水平方向上也在竖直方向上偏移。这样，沿y轴的分析在一个恒定不变的高度下进行，从而由于一直相同的水平高度而节省了计算操作。这提高了分析的速度并改进了分析质量。
在一个改进的实施方式中，借助于多个测量转动速率和/或加速度的惯性传感器来获取一个地面加速向量，其中用于进一步的画面分析以获取车辆环境的其他数据的坐标系的z轴被设置为，在由x轴以及地面加速向量延展出的平面中垂直于x轴。于是，总是产生一个用于进行分析的画面，在该画面中，例如一台摩托车的弯道行驶状况(Kruvenlage)，也就是绕x轴的旋转得以补偿。道路水平线在最大程度上保持水平，这样另外使得简单的计算操作就足够用于分析在车辆环境中的这些移动。
在一个对此再度改进的实施方式中，借助一个具有这些惯性传感器的惯性测量单元来获得侧滚角。一个此类的测量单元通常由三个彼此垂直地设置的加速度传感器以及三个彼此垂直地设置的转动速率传感器组成。由此，借助一个这样的惯性测量单元，可以确定车辆的准确状况并且从而确定固定在所述车辆上的摄像机的状况，并且用于进行画面的进一步分析。还可以设想通过获取该消失点来获得轴偏移的一种可信度测试。
优选的是，y轴定向为垂直于x轴并垂直于z轴，以便获得一个笛卡尔坐标系，这样能够采用简单的计算算法。
在一个优选实施方案中，相对于现有的亮度分布对这些画面进行扫描，由此得出一个线模型并且将该线模型与通常的车道标线的形状进行比较，其中在形状相似的情况下推断为一个车道标线，该车道标线用于确定该画面的消失点。于是，能够以简单的方式来识别车道标线，这样能够简单地估计车道标线的消失点。
综上，提供了一种车辆中的画面支持的驾驶员辅助系统的工作方法，通过该方法，即使在弯道行驶、通过上凸段或下凹段行驶、以及在变换车道的情况下也使在计算车辆速度和间距时的误差最小，其中计算复杂性很小、进而所需要的计算时间极少。
附图说明
下面借助附图来说明本发明。
图1示出了在车流中的具有静态和动态坐标系的车辆。
图2示出了所确定的车道标线的消失点的一个结果。
图3示出了用静态或动态坐标系观察后方交通的比较。
具体实施方式
在图1中示出了一台车辆2，该车辆的形式为带有根据本发明的画面支持的驾驶员辅助系统4的一台摩托车。这种驾驶员辅助系统4具有一个牢固地与车辆2相连的画面拍摄单元6，该画面拍摄单元通过数据线8与一个分析单元10相连。
画面拍摄单元6被实施为单摄像机(Monokamera)，通过该摄像机以处于车辆2后面的角视界的形式获取位于后方的车辆环境12，在此处的实施例中在该后方的车辆环境中有两个尾随的车辆14。
单摄像机6在此在已知的应用情况下确定一个参考坐标系16的位置，尾随车辆14的车辆数据的计算基于该参考坐标系，并且由于其固定在车辆2上而对应地随之移动。其x轴总是显示为向画面中垂直，z轴在画面中是竖直向上的，并且y轴相对侧面水平地定向。这在图1中所示的车辆2的车道变换的情况下导致：与通常的在直线行驶时的坐标系状况相比，参考坐标系绕z轴旋转了一个角度α。如果基于这个位置来进行进一步计算，那么例如在计算此时所感知的速度时得到一个仅对应于实际速度与cosα乘积的速度。例如，在角度为30°时，这相当于约15％的误差。在弯道行驶时也会出现这样的误差。
此外，对应的误差还在行驶经过上凸段或通过下凹段时产生，在这些情况下车辆2绕y轴旋转一个角度，并且因此在间距和速度计算中产生相应的误差。
根据本发明，这是通过以下方式避免的：使用与相对于车辆而言静态的参考坐标系16相比动态的坐标系18，该动态的坐标系能够相对于车辆2移动并且对应于车道走向而一同移动。这意味着，坐标系18应当总是与道路走向对齐的，如在图1中所示的。
坐标系18的这样一种对齐通过以下方式实现，即借助分析单元10获得车道标线20的一个消失点。为此已知有多种不同的方法。于是，尤其能够首先相对于这些画面的亮度分布来对这些画面进行扫描。在这种扫描中能够确定亮度级，这种亮度级首先对应于极限值产生一个黑白画面。在这种黑白画面中，基于其亮度获得了这些车道标线20。因为这些车道标线具有一种特殊的形状，所以可以进一步将该画面中所有不对应于该形状的白色部分去除，由此在画面中仅留下存在的车道标线20。接下来可以从如图2中通过间断线所示的这种线模型21中获得一个消失点22。对于这种方法，可以例如将脊点算子(Ridge-Operatoren)用作画面算子。同样已知并可以使用其他的车道标线识别方法，其中例如使用不同的热辐射波长范围来进行识别。
来自如此获得的消失点22和画面拍摄单元6的中心点23的连接线用作新的坐标系18的x轴的延伸方向。这样确定x轴补偿了车辆2相对于道路绕参考坐标系16的z轴以及y轴的旋转。
为了确定动态坐标系18的z轴，首先通过一个惯性测量单元24来确定地面加速向量。惯性测量单元24具有三个加速度传感器26以及三个转动速率传感器(Drehratensensoren)28，这些传感器分别彼此垂直地设置并且可以通过它们来获得地面加速向量。这样，，为了进行进一步的画面分析，坐标系18相对于参考坐标系16绕x轴旋转直到z轴被设置在一个通过x轴以及地面加速向量延展出的平面中。由此，车辆2中存在的侧滚角可靠地得以补偿。接着使y轴仅垂直于x轴和z轴定向，从而实现动态坐标系18的完全固定。
还可以通过借助惯性测量单元24确定车辆2的侧滚角从而固定z轴。在此，在行驶期间在所有三个轴的方向上采集车辆2的转动速率和加速度。随后由所测量的转动速率通过积分计算出相对于相应轴的一个旋转角度，并且由所测量的加速度通过二重积分计算出一个从设置有传感器的点到对应的轴所走过的路程。借助这些值，可以确定车辆2的准确的侧滚角，该侧滚角在某些情况下还与车辆2的变化的俯仰角或横摆角(Nick-oder Gierwinkeln)有关，所述俯仰角或横摆角同样可以通过惯性测量单元24获得。之后可以将z轴在与车辆2的倾斜运动相反的方向上绕x轴转以该侧滚角度回旋。
在图3中再一次示出了参考坐标系16与动态坐标系18在弯道行驶方面的不同状况。当参考坐标系16的x轴固定地显示在车辆2的后方的方向中时，动态坐标系18的延伸方向与可以由摄像机6获取的车道标线20对齐。在车辆2后方接近的其他车辆14的间距和速度基于坐标系的旋转在最大程度上以恰当的方式被确定，因为沿x轴的速度最大程度地对应于车辆1 4的实际绝对速度。如果由此得出的结论是存在危险，那么可以例如通过多个警告灯30将一个可视化的警告信号输出给驾驶员。
因此获得了用于对画面支持的驾驶员辅助系统的画面进行分析的一种简单的可行性，其中通过旋转坐标系来最大程度地补偿在计算速度和间距时的误差。通过弯道行驶造成的误差以及通过下凹段和上凸段的车道变换造成的误差，还有如在侧滚角变化的情况下的误差都得以避免。于是在相对较小的必要的计算能力的基础上形成了高的反应速度。
应当清楚的是，本发明独立权利要求的保护范围不受所描述的实施例的限制。除了可视化的警告信号之外，当然还可以替代性地使用声音信号。这样一种系统还可以具有多个单独的加速度传感器和/或转动速率传感器来工作，通过这些传感器仅获得该地面加速向量。为了进行简化，还可以仅对车辆绕z轴的旋转进行补偿，为此首先在画面中获取这些车道标线的一个竖直的消失轴线，并且随后将该画面拍摄单元的竖直中轴线与所获取的消失轴线之间的一个连接平面用作该动态坐标系的x-z平面。之后这种补偿仅在水平方向上进行。在这种应用情况下，z轴的状况与参考坐标系相比保持不变。

Claims (6)

1.一种车辆(2)中的画面支持的驾驶员辅助系统(4)的工作方法，其中借助一个画面拍摄单元(6)来拍摄多个画面并且将所述画面传输到一个分析单元(10)，在该分析单元中从这些画面获得多个车道标线(20)以及其他的车辆环境数据，其特征在于，借助于该分析单元(10)在该画面中获取这些车道标线(20)的一个竖直的消失轴线，其中使用在该画面拍摄单元(6)的竖直中轴线与所获取的该消失轴线之间的一个连接平面作为一个用于画面分析以获取车辆环境的其他数据的坐标系(16)的x-z平面。
2.根据权利要求1所述的车辆中的画面支持的驾驶员辅助系统的工作方法，其特征在于，借助于该分析单元(10)在该画面中获取这些车道标线(20)的一个消失点(22)，其中使用在该画面拍摄单元(6)的中点(23)与所获得的该消失点(22)之间的一条连接线作为用于画面分析以获取车辆环境的其他数据的坐标系(18)的x轴。
3.根据权利要求1或2所述的车辆中的一种画面支持的驾驶员辅助系统的工作方法，其特征在于，借助于多个测量转动速率和/或加速度的惯性传感器(26，28)来获得一个地面加速向量，其中用于进一步的画面分析以获取车辆环境的其他数据的坐标系(18)的z轴被设置为，在由x轴以及该地面加速向量延展出的平面中垂直于x轴。
4.根据权利要求3所述的车辆中的画面支持的驾驶员辅助系统的工作方法，其特征在于，借助于一个具有所述惯性传感器(26，28)的惯性测量单元(24)来获取该地面加速向量。
5.根据权利要求3或4所述的车辆中的一种画面支持的驾驶员辅助系统的工作方法，其特征在于，该y轴定向为垂直于x轴并垂直于z轴。
6.根据以上权利要求中任何一项所述的车辆中的画面支持的驾驶员辅助系统的工作方法，其特征在于，相对于现有的亮度分布对这些画面进行扫描，由此得出一个线模型(21)，以及将该线模型(21)与车道标线(20)的通常形状进行比较，其中在形状相似的情况下推断为一个车道标线(20)，该车道标线用于确定该画面的消失点(22)。
CN2012101049726A 2011-04-08 2012-04-06 车辆中的画面支持的驾驶员辅助系统的工作方法 Pending CN102842138A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011001903.0 2011-04-08
DE102011001903A DE102011001903A1 (de) 2011-04-08 2011-04-08 Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug

Publications (1)

Publication Number Publication Date
CN102842138A true CN102842138A (zh) 2012-12-26

Family

ID=46874854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101049726A Pending CN102842138A (zh) 2011-04-08 2012-04-06 车辆中的画面支持的驾驶员辅助系统的工作方法

Country Status (2)

Country Link
CN (1) CN102842138A (zh)
DE (1) DE102011001903A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663378A (zh) * 2014-07-18 2017-05-10 约翰·D·贝克 摩托车盲点检测器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6260233B2 (ja) * 2013-12-02 2018-01-17 富士通株式会社 情報処理装置、カメラ取付角度の推定方法、及びプログラム
WO2022033651A1 (en) 2020-08-10 2022-02-17 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Device for and method of aiding lane changing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030030546A1 (en) * 2001-07-11 2003-02-13 Din-Chang Tseng Monocular computer vision aided road vehicle driving for safety
US20040066376A1 (en) * 2000-07-18 2004-04-08 Max Donath Mobility assist device
CN101776438A (zh) * 2010-01-26 2010-07-14 武汉理工大学 道路标线测量装置及其测量方法
JP2011043995A (ja) * 2009-08-21 2011-03-03 Mitsubishi Electric Corp 路面標示認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066376A1 (en) * 2000-07-18 2004-04-08 Max Donath Mobility assist device
US20030030546A1 (en) * 2001-07-11 2003-02-13 Din-Chang Tseng Monocular computer vision aided road vehicle driving for safety
JP2011043995A (ja) * 2009-08-21 2011-03-03 Mitsubishi Electric Corp 路面標示認識装置
CN101776438A (zh) * 2010-01-26 2010-07-14 武汉理工大学 道路标线测量装置及其测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUE WANG ET AL.: "Lane detection and tracking using B-Snake", 《IMAGE AND VISION COMPUTING》 *
刘志强等: "基于单目视觉的车辆碰撞预警系统", 《计算机应用》 *
顾洁宇等: "一种结构化道路的实时检测算法", 《传感技术学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663378A (zh) * 2014-07-18 2017-05-10 约翰·D·贝克 摩托车盲点检测器

Also Published As

Publication number Publication date
DE102011001903A1 (de) 2012-10-11

Similar Documents

Publication Publication Date Title
CN106462968B (zh) 用于校准机动车的摄影机系统的方法和装置
US6812831B2 (en) Vehicle surroundings monitoring apparatus
CN103523013B (zh) 车道偏离警报装置
US20150235093A1 (en) Moving Object Recognition Apparatus
JP6209141B2 (ja) 障害物検出装置及び方法
WO2011039989A1 (ja) 車両周囲監視装置
CN101978240B (zh) 用于底盘测量系统的测量头、底盘测量系统以及用于确定底盘测量系统的测量头的位置参数的方法
JP4869745B2 (ja) 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
CN102427982A (zh) 利用车辆周边影像的车线脱离检测方法及装置
JP5799784B2 (ja) 道路形状推定装置及びプログラム
CN104111058A (zh) 车距测量方法及装置、车辆相对速度测量方法及装置
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP6277468B2 (ja) 車両前方電柱位置検査装置
CN104132818B (zh) 三维四轮定位仪及其测量方法
JP2013002820A (ja) カメラキャリブレーション装置
CN103686083A (zh) 一种基于车载传感器视频流匹配的实时测速方法
US20190295281A1 (en) Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product
CN102798456A (zh) 一种工程机械臂架系统工作幅度的测量方法、装置及系统
CN104142127A (zh) 一种铁路车轮直径动态测量装置及方法
CN104541124A (zh) 利用激光测定的支撑物探测装置
CN103204104A (zh) 一种车辆全视角驾驶监控系统及方法
JP5763974B2 (ja) ふく進測定装置、ふく進測定システム及びふく進測定方法
CN102842138A (zh) 车辆中的画面支持的驾驶员辅助系统的工作方法
CN110457803B (zh) 一种无人驾驶协同探测方法
CN102508495B (zh) 一种控制执行臂末端运动的方法及控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20121226