CN103732480B - 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备 - Google Patents

用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备 Download PDF

Info

Publication number
CN103732480B
CN103732480B CN201280029669.2A CN201280029669A CN103732480B CN 103732480 B CN103732480 B CN 103732480B CN 201280029669 A CN201280029669 A CN 201280029669A CN 103732480 B CN103732480 B CN 103732480B
Authority
CN
China
Prior art keywords
vehicle
driver
image
labelling
operation signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280029669.2A
Other languages
English (en)
Other versions
CN103732480A (zh
Inventor
W·尼森
S·西蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN103732480A publication Critical patent/CN103732480A/zh
Application granted granted Critical
Publication of CN103732480B publication Critical patent/CN103732480B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)

Abstract

本发明涉及一种用于在行车道(145)上车辆(100)的线路引导中辅助驾驶员的方法(1300)。所述方法包括在显示单元(150)上向驾驶员(140)显示(1310)所读取的图像(135)的步骤，其中，所述图像(135)由摄像机(120)拍摄并且代表车辆周围环境(125)。此外，所述方法包括读取(1320)由所述驾驶员(140)在操作接口(210)处输入的操作信号(215)的步骤和在使用所述操作信号(215)的情况下选择(1330)在所述图像(135)中包含的对象的步骤。此外，所述方法包括在所述显示单元(150)上显示(1340)标记(310，500，600)的步骤，其中，所述标记(310，500，600)显示在所述图像(135)的代表所述对象的区域中。最后，本发明包括使用(1350)所述对象来为待由所述车辆(100)行驶的行驶路径确定至少一个纵向调节参数，以便在所述行车道(145)上所述车辆(100)的线路引导中辅助所述驾驶员(140)的步骤。

Description

用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
技术领域
本发明涉及用于在行车道上车辆的线路引导中辅助驾驶员的方法、相应的设备及相应的计算机程序产品。
背景技术
ACC系统(ACC＝自适应巡航控制＝自适应行驶控制)调节与在前面行驶的车辆的间距并且在市场上已近10年。它们大多数是基于雷达传感器，在一些新型的车辆中也基于激光雷达传感器。最近也将多种传感器——例如雷达和视频融合，以便改善和扩展ACC功能，例如关于车道信息的考虑、尤其在横向方向上对象测量的改善，对驶入者/驶出者的更早的反应，自由面的探测和启动保护或检测区域的侧向扩展。
DE 10 2008 003 666 A1涉及一种用于借助用于检测车辆周围环境的传感器和用于根据传感器的输出信号干预车辆的车载系统的装置来控制驾驶员辅助系统的方法，其中，驾驶员辅助系统至少检测由车辆行驶的车道的走向和车辆相对于车道的位置，并且引导车辆在轨迹上。在此，驾驶员辅助系统根据驾驶员期望确定轨迹。
所有至今公知的驾驶员辅助系统的共同点是，它们仅仅很少通知驾驶员关于通过传感器的对象检测。
发明内容
在此背景下借助本发明提出一种用于在行车道上车辆的线路引导中辅助驾驶员方法、使用该方法的控制设备及相应的计算机程序产品。有利的构型从下面的说明书得出。
本发明实现用于在行车道上车辆的线路引导中辅助驾驶员的方法，其中，所述方法包括下述步骤：
-在显示单元上向驾驶员显示所读取的图像，其中，所述图像由摄像机拍摄并且代表车辆周围环境；
-读取由驾驶员在操作接口处输入的操作信号；
-在使用操作信号的情况下选择在图像中包含的对象；
-在显示单元上显示标记，其中，使所述标记显示在图像的代表对象的区域中；和
-使用对象来为待由车辆行驶的行驶路径确定至少一个纵向调节参数，以便在行车道上车辆的线路引导中辅助驾驶员，尤其其中，至少一个纵向调节参数包括车辆与对象之间的待遵守的间距和/或在车辆接近对象时的相对速度。
本发明还实现一种设备、尤其是导航仪，所述设备构造用于，在相应的装置中实施或实现根据本发明的方法的步骤。通过本发明的以设备形式的实施变型方案也可以快速和高效地解决本发明所基于的任务。
设备在此可以理解为处理传感器信号并且据此输出控制信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是包括所述设备的最不同功能的所谓的系统ASIC的一部分。然而，还可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
具有程序代码的计算机程序产品也是有利的，所述程序代码可以存储在机器可读的载体，如半导体存储器、硬盘存储器或光学存储器上并且用于当在与计算机相应的设备上执行程序时根据先前描述的实施方式之一来实施所述方法。
在行车道上车辆的线路引导中辅助驾驶员例如可以理解为关于对象的自动纵向调节和/或横向引导或也可以理解为以到驾驶员的听觉信号和/或触觉信号和/或虚拟信号的形式的辅助，所述信号要求制动和加速或转向。显示单元可以理解为屏幕或将对象投影到挡风玻璃上的装置。车辆周围环境可以理解为车辆周围的外部区域，尤其是在车辆前方的、由摄像机拍摄的行车道。操作接口可以理解为识别驾驶员或车辆中的人的手动输入、语音输入或其他输入的接口，所述接口响应于所述手动输入、语音输入或其他输入提供操作信号。标记可以理解为标记对象，所述标记对象显示在显示单元上。在此，可以使标记或者标记对象叠加图像中的也显示已选择的对象的区域。待由车辆行驶的行车道的确定可以理解为轨迹的求取，所述轨迹应有利地引导车辆，以便例如能够通过最短的路径或最舒适的方式跟随对象。纵向调节参数可以理解为例如与车辆要跟随的对象的间距或理解为速度，其中，所述速度表示为了能够避免与对象的碰撞车辆应遵守的最大速度。纵向调节参数可以用在车辆引导辅助单元中，以便生成纵向引导信号并且将其向驾驶员输出，以便在控制车辆时通过该纵向引导信号辅助驾驶员。在此，纵向引导信号可以理解为为驾驶员显示关于车辆与对象的可能的碰撞的距离为多大或速度为多大的信号。例如可以以车速里程表形式显示纵向引导信号，在所述车速里程表中形象地显示不久要担心的、车辆与对象碰撞的危险。替代地或附加地，当然也可以使用纵向引导信号来自动地进行转向干预和/或激活制动，以便辅助车辆的驾驶员。
本发明基于以下认识：现在通过将标记显示在显示单元上、使用及确定待由车辆行驶的行驶路径，车辆驾驶员能够通过视觉上很吸引人的和容易识别的方式获得以下信息：导航仪在确定线路引导时将哪一个对象作为基础。由此，当使用例如非所期望的对象来为待由车辆行驶的行驶路径确定至少一个纵向调节参数的时候，驾驶员能够快速地识别错误。例如这种纵向调节参数也可以涉及对象运动的速度。当例如一个快速的车辆在行车道上在右边行驶并且一个缓慢的车辆在(相邻)行车道上在左边行驶的时候，由于速度可以选择左边的车辆并且因此通知系统，驾驶员不想放慢速度和跟随右边的车辆，而是想快速行驶。通过这种方式可以避免驾驶员的困惑，困惑可能通过驾驶员的分心而在道路交通中引起危险的状况。
有利的是，根据本发明的一种特殊的实施方式在显示图像的步骤中从图像中预先识别对象，其中，在选择的步骤中在使用操作信号的情况下从多个所预先识别的对象中选择一个对象。预先识别可以理解为预先分析处理，其中，图像在选择对象之前就已经被检查并且多个可能的待选择的对象已经被识别或被归类为这种对象。本发明的这样的实施方式提供的优点在于，现在可以更快速地进行选择并且随后更快速地进行所选择的对象的标记，由此，驾驶员只需要较短的时间段注视显示单元，以便识别是否为行驶路径的确定选择了正确的对象。
根据本发明的另一种实施方式，在显示的步骤中可以将图像显示在显示单元的触摸灵敏的显示器上，其中，在读取的步骤中将所识别的对触摸灵敏的显示器的按压作为操作信号读取。本发明的这种实施方式提供的优点在于对于驾驶员选择用于确定待行驶的行驶路径的对象的快速、准确和可靠的可能性。
替代地，也可以在读取的步骤中响应于驾驶员的所识别的手势、尤其是驾驶员用手指指向一个位置来生成操作信号。本发明的这样的实施方式提供对于驾驶员的进一步的舒适性提高，因为驾驶员在进行输入时不再需要关注他是否也在正确的位置上触摸触摸灵敏的显示器。就此而言，也能够提高驾驶员的安全，因为驾驶员不再需要为了完成相应的输入而将其注意力如此长时间地从交通情况(Verkehrsgeschehen)移开。
为了在行驶时也能够在车辆中实现所期望的对象的精确的选择，可以在选择的步骤中选择在图像中预先识别的这样的对象，所述对象在图像中距通过所识别的对触摸灵敏的屏幕的按压代表的位置最近。这种功能即使在触摸灵敏的显示器上的输入不准确的情况下例如仍提供能够可靠地选择所期望的对象的可能性。这种可能性例如尤其是在在不平的行车道上行驶时或在在高速公路上快速行驶时仅仅短暂地注视显示单元的时候特别有利。
特别有利的是，根据本发明的另一种实施方式在读取的步骤中使用操作接口，所述操作接口通过车辆驾驶员的语音指令的分析处理来产生操作信号。本发明的这种实施方式提供的优点在于通过驾驶员的输入，而驾驶员无需例如将手从车辆控制单元如方向盘或换挡杆移开。这在使用在此提出的方式的情况下提高了交通安全。
根据本发明的另一种实施方式，可以在选择对象的步骤中选择一个代表另一车辆的对象，所述另一车辆在行车道上位于本车辆的前方或旁边。本发明的这种实施方式提供的优点在于，容易地选择应借助线路引导辅助系统跟随的车辆。此外，另一车辆通常也足够大，以便一方面能够通过按键快速地被选择或另一方面在显示单元上快速地被识别，使得驾驶员只需要很短的时间段将其目光从交通情况转移到显示单元上。
此外，根据本发明的另一种实施方式，在显示的步骤中以时间上变化的显示来显示标记。本发明的这种实施方式提供的优点在于，在仅仅短暂地注视显示单元的情况下也能够非常快速地识别所选择的对象。此外，通过显示的变型方案能够显示附加的信息，例如对即将发生的与待跟踪的对象碰撞的提示。由此，同样提高了交通安全，因为只需对于一个小的时间段将驾驶员的注意力从交通情况移开。
为了能够例如尽可能及早和快速地向驾驶员传送不久可预期的与对象相关联的危险状况，还可以在显示的步骤中在显示单元上显示有关与对象的间距的信息，其中，所述信息显示在图像的代表对象的区域中。在这种信息下，可以显示例如对在不久即将来临的与对象的相撞的提示。在这种情况下例如可以将信息作为符号或特殊的图形连同标记一同显示在图像的代表对象的区域中。
根据本发明的另一种实施方式，也可以在使用的步骤中进行对象的行驶路径与车辆的所期望的、预先定义的行驶路程的比较，其中，如果比较得出，对象已经离开所期望的、预先定义的行驶路程超过预先确定的间隔，则不再使用所述对象来确定待由车辆行驶的行驶路径，和/或
如果对象的确定的速度大于在车辆的位置上允许的速度，则在使用的步骤中不再使用所述对象来确定待由车辆行驶的行驶路径，和/或
如果对象与车辆的所求取的间距大于预先确定的间距，则在使用的步骤中不再使用所述对象来确定用于待由车辆行驶的行驶路径的至少一个纵向调节参数。本发明的这种实施方式提供的优点在于，能够及早地识别用作用于确定待行驶的、尤其是对象所遵循的行驶路径的基础的对象不再适合作为这种辅助自身车辆的线路引导的对象。在这种情况下可以避免输出可能使驾驶员困惑并且因此可能导致危险的交通状况的错误消息。
附图说明
下面，借助附图示例性地详细解释本发明。附图示出：
附图1：车辆的框图，其中，使用根据本发明的一个实施例的设备；
附图2：图1中的用于在行车道上车辆的线路引导中辅助驾驶员的设备的详细框图；
附图3：由车辆摄像机拍摄的图像的示图；
附图4：由车辆摄像机拍摄的图像的另一个示图，其中，所述标记插入(einblenden)所选择的对象在摄像机图像中所处的区域中；
附图5：在摄像机图像中具有标记或附加信息的对象的示图；
附图6：在摄像机图像中具有标记或附加信息的对象的另一个示图；
附图7A-7B：在不同时刻在摄像机图像中具有附加信息的对象的示图；
附图8：以条形图可视化直至与对象碰撞的时间的示图；
附图9：以圆形仪表的形式可视化直至与对象碰撞的时间的示图；
附图10：以圆形仪表的形式插入直至与不同的对象碰撞的时间，所述时间插入在摄像机图像中的相应的对象的区域中；
附图11：将自身车辆与另一车辆的速度插入共同的圆形仪表中的图示；
附图12：摄像机图像的图示，所述摄像机图像能够实现从图像中提取所跟踪的对象；和
附图13：根据本发明的一个实施例的方法的流程图。
在本发明的优选实施例的后续描述中，对于在不同附图中示出并且起类似作用的元件使用相同的或类似的参考标记，其中不重复描述这些元件。
具体实施方式
附图1示出车辆100的框图，其中，使用根据本发明的一个实施例的设备110。此外，车辆包括摄像机120，所述摄像机检测车辆周围环境125连同在可见范围130中、尤其是在车辆的前方的位于所述车辆周围环境中的对象127，并且相应的图像135被传送给设备110用于在行车道145上车辆100的线路引导中辅助驾驶员140。在此，设备110包括显示单元150，在所述显示单元上可以显示摄像机图像135。在此，显示单元150包含触摸灵敏的屏幕，其中，车辆的驾驶员140可以通过用手指按压屏幕来在摄像机图像135中选择一个对象，所述对象用作用于确定待由车辆行驶的行驶路径的基础。在此，中央控制单元155接管以下功能：一方面将摄像机图像135传送给显示单元150，另一方面读取由驾驶员140通过触摸灵敏的屏幕的输入。此外，可以在控制单元155中选择标记作为标记符号或标记对象并且使其叠加摄像机图像135的代表所选择的对象的区域。随后，重新将借助标记叠加的图像传送给显示单元150，在那里向驾驶员140显示所述借助标记叠加的图像。同时可以在控制单元155中使用所标记的对象作为用于确定待由车辆行驶的线路的、待由车辆行驶的行驶路径的基础，以便例如在特殊的线路引导单元160中进行对象的自动跟踪，也即车辆的自动的纵向引导和/或横向引导或向驾驶员140传送信号，所述信号给驾驶员140提供指令或提示：他如何能够尽可能快速地、节省能源地或舒适地将车辆引导在通过对象定义的线路中。在此，“线路”可以理解为车辆应行驶的所期望的轨迹。所期望的(行驶)轨迹一方面可以是例如通过行车道标识的标记的车道，另一方面所述轨迹(例如在未标记的行车道的情况下)可以是由自身车辆中的计算单元计算的和作为待行驶的“线路”输出的轨迹。通过这种方式，即使在未标记的行车道的情况下仍能够获得应由自身车辆行驶的以便在引导车辆时能够实现尽可能高效地辅助驾驶员的“线路”。在此，应在考虑对象的情况下确定待行驶的“线路”。在此，尤其确定对象也在上面行驶的“线路”，从而能够保证在确定待行驶的或待跟随的“线路”时仅仅完全考虑与当前跟随的对象相关的轨迹。
附图2示出用于在行车道上车辆的线路引导中辅助驾驶员的设备110的详细框图。在此，设备110包括显示单元150和操作接口210，所述操作接口以显示单元150的屏幕的触摸灵敏的表面的形式构造或构造为用于识别语音信号的麦克风，并且所述操作接口提供操作信号215。操作接口可以位于更远离显示单元150处，例如通过中间控制台上的操纵杆或触摸板或通过油门踏板中的横向传感器(Quergeber)形成。设备110还包括选择单元220，所述选择单元可以布置在中央控制设备155中并且响应于操作信号215选择在图像中包含的对象并且使相应的标记叠加摄像机图像135，以便获得相应地处理的摄像机图像230。选择单元220可以重新将与标记叠加的摄像机图像230传输给显示单元150，然后在所述显示单元上显示叠加标记的摄像机图像230。附加地，设备具有上述的线路引导单元160。
所有至今公知的驾驶员辅助系统具有一个共性：它们仅仅很少地通知驾驶员关于通过传感器的对象检测，并且它们很少或根本不提供关于例如应跟随哪个车辆的影响可能性。
本发明尤其致力于消除所述缺陷并且描述一种通过至今还未公知的方式与驾驶员互动的驾驶员辅助系统。为此，所述驾驶员辅助系统使用至少一个用于(尤其是向前方)观察车辆周围环境的摄像机和用于呈现必要时经处理的摄像机图像和可能的附加信息的屏幕。
客户经常说明对其驾驶员辅助系统不满意的理由是，系统的行为对于他们而言常常是不可理解的。缺乏为什么系统会如此表现的可追溯性。这尤其适用于当系统行为明显与驾驶员此刻所预期的或优选的行为不同的时候。
所述缺陷的原因是由传感器的缺点引起的(例如在非常快速的高速公路行驶时不足的作用距离、重要相关的驶入者的过迟检测，虚假对象的出现)。根据本发明的方法消除系统透明度的缺陷，并且进而消除对于驾驶员的影响可能性的、与此相关联的缺陷。新颖的用于基于视频的对象跟踪算法实现其基础。其中，所述算法能够在视频图像中实现对象跟踪的有用的可视化，所述可视化由驾驶员感知为准确的、稳定的和可靠的并且因此感知为高价值的。
在本说明书中提出的系统使用屏幕(Display：显示器)，以便在任何时刻向驾驶员显示对于其重要的、有关驾驶员辅助系统或者驾驶任务的信息。屏幕也可以通过挡风玻璃构成，其中，重要相关的信息然后清晰地插入到(einblenden)挡风玻璃上。
朝着行驶方向取向的摄像机的图像通常显示在该屏幕上。此外，例如可以借助令驾驶员感兴趣的或对于其重要的信息丰富该图像。此外，根据一个实施例，借助屏幕通知驾驶员关于他的选择可能性，他可以通过与系统的互动进行选择。
系统的涉及其他对象——例如车辆——的附加信息在图像中与对象固定连接，可以说，它们表面上看起来像是“粘”在对象上一样。因此以下的系统描述尤其基于算法的能力，所述算法将对象信息与对象一起显示，其中，这种算法为本发明的实践可实现性提供重要的前提。
在此，在一个实施例中描述的本发明的功能原理基于至少一个环境传感器(优选视频、替代地范围视频(Range-Video)(光传播时间测量)、雷达、激光雷达、超声波或它们的组合)的数据。这些数据涉及
·尤其是自我车辆(驾驶员坐的自身车辆)的纵向调节，必要时也涉及横向调节和/或
·在纵向调节/横向调节的任务中辅助驾驶员的驾驶指令的输出。
以下根据对象跟踪的阶段详细描述根据本发明的所述实施例的系统。其间讨论构型变型方案。
阶段：对象选择
系统可以(选择或视对象探测的可用性而定)借助自动对象探测或在无自动对象探测的情况下来运行：
·如果不存在对象检测或如果没有使用对象检测，则驾驶员可以自己进行对象选择。为此，他例如用手指在触摸灵敏的显示器(Touchscreen：触摸屏)上触摸所显示的、他将跟随的对象。
为此，触摸屏应位于合适的位置处，使得用手指能够容易地实现触摸。在此，定位在方向盘后面将不太有利。
替代地，显示器和输入元件也可以在结构上是分开的。例如输入元件可以实现成类似于PC图形输入板或类似于笔记本电脑的触摸板，并且位于中控台上或方向盘上或对于驾驶员容易可达的其他位置处。
在驾驶员例如通过用手指点击来选择对象之后，对象跟踪算法开始跟踪。在此，(例如借助博世公司的“AnyTrack算法”)同时在图像中确定对象运动，在图像中确定参量变化(缩放)和在图像中确定对象尺寸。由此可能的是，将具有正确的参量和使用所求取的运动数据和缩放数据的附加信息(即标记)插入图像中(尤其是插入待跟踪的对象的区域中)。
所述附加信息在最简单的情况下可以是作为标记由本身不可变的(但是一同运动的和一同缩放的)图像组成，例如由指纹的图像组成。指纹的图像然后看起来像粘在车辆上一样。
附图3示出这种由车辆摄像机拍摄的图像的示图，其中，已经在用于直行交通的行车道上识别可能的待跟踪的对象并且为了选择而用问号预标记。因此，通过在对象上显示问号和指纹的成像来向驾驶员建议，启动关于该目标对象的自动的纵向调节和必要时启动关于该目标对象的自动的横向调节。驾驶员通过手指按压触摸灵敏的屏幕来采纳建议。在示图的右侧绘出标度尺，其中，输入时间段，所述时间段是在保持恒定的当前速度的情况下直至车辆与所选择的或者所标记的对象相撞还将经历的。如果车辆的驾驶员选择该对象，则作为预标记的问号被移除并且指纹310作为所选择的对象310的标记叠加摄像机图像并且被显示在显示单元上，使得在显示单元的屏幕上成像根据附图4的示图。因此，在通过驾驶员确认目标对象之后不再显示问号。此外，仍然持续可见的并且与目标对象固定地连接的指纹提供给驾驶员进行识别并且向他确认，纵向调节和必要时横向调节涉及由他先前通过手指触摸而选择的车辆。可以根据预先确定的色标选择指纹的示图的颜色(作为标记)，其在下面还要解释。颜色例如与直至碰撞的剩余的时间对应，并且因此建立与(制动)干预的紧迫性的对应。深红色例如可以要求通过驾驶员的“特别紧迫的”必需的制动干预。
·如果存在探测算法，该算法已经自动(selbsstaendig)探测到一个或多个重要相关的对象，则可以将所述一个或多个重要相关的对象提供给驾驶员以进行选择或者确认。这通过在显示器中的合适的视觉显示来实现，例如其方式是，突出一个/多个对象并且将符号与相应的对象一起显示，其中，所述符号向驾驶员显示，驾驶员有选择可能性，或者驾驶员的确认是所预期的。
在最简单的情况下，在此，又使用不可变的(但是一同运动的、一同缩放的)图像，例如具有问号的指纹的图像。图像符号应是如此选择的，使得对于对系统没经验的驾驶员来说也尽可能快速地和不会误解地明白，预期他通过确定的方式输入，在此例如用手指按压显示器。
驾驶员通过手指按压来选择必要时多个对象中的一个。该“对象”的跟踪开始。
这意味着，此后实施例如关于对象的自动纵向调节和/或横向调节或驾驶员在车辆引导时得到例如以听觉信号或触觉信号或视觉信号的形式的支持，所述信号要求驾驶员进行制动或加速或转向。
在互动的对象选择时特别有利的是“Snap-to-Object：对齐对象”功能用于简化输入：在此，使用者的输入允许不准确，也允许位于对象稍旁。系统支持驾驶员，其方式是，系统自动地选择所述输入可能所指的对象。该功能进一步缩短所述输入所需的时间并且降低必要的用于注视屏幕的持续时间。
变型方案：界面
·如上所述触摸屏幕特别适合作为驾驶员的界面。但是，只有当触摸屏幕如此定位，使得在行驶期间能够实现无危险的屏幕触摸时，才会使用所述触摸屏幕。
·替代地，屏幕和触摸灵敏的面也可以位于不同的位置处。
·在这种情况下特别优选的是Head-Up-Display(HUD：抬头显示器)，尤其是当所述抬头显示器特别适合于在叠加的信息插入与相关的目标对象之间实现所谓的类似接触(kontaktanaloge)的显示时。对于驾驶员来说这可能看起来例如像在附图3至附图5或在附图10中所示的那样，其中，在此代替摄像机的灰度值，图像驾驶员会想象透过前窗所看见的真实世界。
·替代地，也可以同时使用屏幕(或者HUD)和触摸屏。在此，屏幕(或者HUD)优选位于驾驶员的优选的视野中，例如位于仪表盘中或仪表盘上，而触摸屏安装在屏幕的侧面并且必要时安装在其他高度上。
·在触摸屏幕的情况下，自动提供触摸点与像点之间的匹配。然而，当触摸灵敏面和显示器在结构上是分开的时候，不同的可能性适合于触摸点的解释：
。一方面可以继续按比例地将触摸点的坐标换算成像点。然后触摸灵敏面的行为如同设计者用于PC输入那样的图形输入板。
。如果在触摸点与像点之间存在非线性的和/或时间上可变的关系，则所述行为更接近于所熟知的笔记本电脑的触摸板。
·对于触摸屏——其中对于输入需要真正的触摸——替代地，也可以考虑无触摸的传感机构，例如借助电容式的传感器面或借助在空间中手指位置或手位置的光学检测或借助驾驶员视向的光学检测。
·替代地，输入元件也可以是力传感器或运动传感器，其由至少一个手指触摸和控制。在此，自由度的数量可以取决于功能。例如自由度左/右足够用于切换到所提供的下一个对象并且按压足够用于选择对象。在两个自由度(附加地上/下)的情况下已经能够控制整个图像并且纯手动地选择对象。此外还可以利用另一个自由度(图像中的大/小，等同于现实世界中的近/远)用于选择对象的距离范围。
·替代地，输入元件也可以如此设计，使得所述输入元件由多于一个手指触摸或指摸。输入的自由度设置得越多，越可取。
·替代地，输入元件也可以类似PC鼠标地来实现，其中，输入元件可以向多个方向移动并且能够借助合适的手段——例如磁性地或借助流体阻尼保持来防止滑脱。
·可选地或替代地，也可以设置脚控操作，例如借助脚踏板，所述脚踏板能够检测脚的侧向力或运动。
·可选地或替代地，也可以设置语音操作。在此，语音命令能够与系统的识别可能性匹配。示例：
ο“跟随红色汽车！“
ο“跟随牌照HI-ER 377！“
ο“跟随奔驰客货两用车！“
ο“跟随载重车辆！“
ο“跟随前面的人！“
ο“跟随右边的轿车！”
通过语音操作产生的选项中的至少一些能够以颜色、文本信息和/或图像符号的形式在显示器上向驾驶员显示。例如可以
ο显示所识别的对象颜色或写出所识别的对象的名字或
ο将所识别的车辆品牌作为标识显示或作为单词写出或
ο易读地写出牌照或
ο用符号标识对象(轿车、载重车辆、客货两用车、房车、摩托车等等)。
·也可以考虑，系统不仅具有语音输入而且具有语音输出。可以枚举选择可能性(类似电话银行或自动的电话列车时刻问讯处的语音操作)或提出有针对性的问题，例如：
ο您想跟随从右边驶入者吗？
ο您想继续跟随黑色的汽车吗？
ο您想跟随拐弯的车辆吗？
ο您想现在中断跟踪吗？
阶段：确认
一旦驾驶员作出选择或必要时即使他已经耽误选择，系统以有利的构型向驾驶员提供反馈信息，以便通知驾驶员关于新的系统状态。反馈信息的按意义的内容常常是“有序的对象选择，系统现在跟随所选择的对象！”，但是，例如当驾驶员作出不明确的说明时或当系统在所触摸的图像位置处没能发现要跟踪的对象时，反馈信息的按意义的内容也可以是“系统现在不能接管跟踪！”。
所述确认可以以听觉方式进行，例如通过应答音或语音留言，例如“现在跟踪在前面行驶的车辆。考虑在此允许的速度为70公里/小时。”。
所述确认也可以通过触觉方式进行，例如通过在该时刻仍然被驾驶员的手触摸的方向盘处或输入接口处的短暂振动，或通过另一个元件(例如脚踏板或座椅)的、驾驶员可以感知的振动。
信令化通常也以视觉方式进行，例如其方式是，显示器显示变化，并且因此显示已经选择的对象的标记。例如上述的、所显示的在指纹上的问号消失和仅仅还剩下指纹(继续“粘”在对象上)，如附图3和附图4所示。
阶段：对象跟踪
在确认的同时开始对象跟踪的阶段，其通常持续长时间，例如如此长时间，直到目标对象选择与驾驶员或者过快行驶或者过慢行驶不同的方向或不同的车道。
在对象跟踪的阶段中显示器可以用于向驾驶员显示有用的或至少是令人感兴趣的涉及对象的附加信息(当然也可以是那些与对象没有直接关联的信息，例如，关于当前有效的路牌的信息、导航提示等等)。
在图像中对象的简单、持续的视觉标识已经可能令驾驶员感兴趣并且对其有用。它让驾驶员确认，系统一直仍表现正确并且没有失去目标对象。此外，在图像中精确的跟踪传递一种对测量质量的感受——对于对系统的信任和价值知觉是重要的。
对象的绘制可以任意地“丰富”，例如借助动画图形、借助颜色突出、借助数字和文字、借助标度尺和测量指针，等等。在构型时美学或信息传送很重要。
附图5给出这种具有附加信息的对象的示图。在此，涉及一个由系统自动选择的对象。因此代替指纹，另一个符号——在此，是一个图案500——作为标记叠加地显示。但是也可以考虑，由驾驶员选择的对象被设有一个标记以及至少一个附加信息并且被显示。
下面将详细描述至与对象相撞的时间(以下也缩写成TTC或TTC：TTC＝Time toCollision＝至碰撞的时间)的确定。
所谓的“Time to Collision(TTC)”，即至与对象相撞(例如在继续当前的行驶状况的情况下)还要经过的时间对于视觉的间距调节特别有趣。
以下详细示出TTC求取和用于其基于摄像机的确定的方法，包括视觉确定或基于摄像机的确定和典型的行驶状况的讨论。
在确定TTC时可以将预测包括在内，所述预测或是以保持当前的行驶状况直至碰撞时间为出发点或是将将来的、可预见的新的行驶状态也包括在内。
以下可以属于用于预测的参量：
·两个图像之间的对象尺寸(例如对象上的两个点在图像中的间距)的缩放s；
·自身的车辆速度和从其推导出的参量。
下面描述的TTC涉及对象(准确地说，在对象上所观察的点)与摄像机碰撞的时刻。但是，对于实践应用，与自身的车辆前部的碰撞时刻令人关注。
考虑简化的、具有在自我车辆(也即自身车辆)与一个与相撞重要相关的对象之间的恒定的差速V＝VEgo-VObj的场景。负的差速意味着对象彼此相向运动。当前的间距为d。至碰撞的时间则为
与自我车辆连接的摄像机在对象上跟踪两个点，所述两个点的与摄像机平面平行的间距为W。因此，在摄像机的图像中，根据针孔摄像机模型，对于焦距f，得出间距
相反，在早出时间差T的时刻则适用
如果将定义为路程W的不同大小的成像之间的缩放因数，则得出
或
下面考虑几种典型的状况。
在以恒定的间距跟随行驶的情况下，图像大小保持不变，在此，适用的是w＝wp或s＝1。因此，至碰撞的时间是无穷的，TTC＝∞。因此，用于在对象后面的跟随行驶的、控制加速和制动的纵向调节器力求该点TTC＝∞。
在接近对象时适用的是w>wp或s>1。据此，TTC为正值。数字示例：对于图像周期T＝40ms和间距w＝102像素和wp＝100像素，得出TTC＝2.0s。
如果对象——例如超车者离开，则适用的是w<wp或s<1。TTC是负值。
在碰撞的时刻TTC＝0或在很快要碰撞之前或碰撞之后，缩放因数s趋于+∞或-∞。
在了解自我速度vEgo的情况下，可以将关于摄像机的TTCCam换算成与关于车辆前部(例如保险杠)的TTCFront：TTCFront＝TTCCam-I/vEgo。在此，长度I是在摄像机与车辆前部之间在纵向方向(行驶方向)上的间距。例如：在I＝2m和vEgo＝20m/s时，TTCFront比TTCCam少0.1s。
所述计算是一种简化，因为其允许不考虑对象的速度vObj。因为在所考虑的、自我车辆向前行驶而不包括前面车辆倒车的场景中，自我速度量值上始终大于差速，因此简化涉及对安全方面的估计：因此，如此确定的TTCFront通常略微小于实际的TTC。
当然也可能的是，如果差速vDiff可供使用，则替代自身速度vEgo而使用差速vDiff。
在任何时候有意义的是，以TTCFront工作，可能甚至以与涉及在车辆前部的前方的一个平面的TTC(安全余量)工作。
·还可以将其他参量包括进TTC的确定中。自身的加速度(例如由加速传感器测量或从速度中推导或基于模型从发动机/制动要求中推导)。
如果将自身的加速度包括进TTC的确定中，则如此计算的TTC在一般情况下表现得更动态。
较高的动态性为驾驶员提供以下优点：驾驶员更快速地获得有关自身的加速或减速的反馈信息。因此，更直接地通知驾驶员关于自动地(或也可以是手动地)干预纵向调节的作用。
其他与功能重要相关的、对TTC有影响的参量是：
·制动系统的系统状态(用于减小死时间(Totzeit)的作用)，例如，制动是否已经开始，所述制动将根据制动压力的形成影响TTC。
·其他的传感器数据——例如转速传感器或转向角传感器或单轮传感器或弹簧位移传感器的传感器数据，根据所述传感器数据可以识别，已经开始避让操纵，所述避让操纵必要时防止碰撞。
·当然也可以考虑其他环境传感器——例如雷达传感器(测量速度和间距)或激光雷达传感器(借助光传播时间测量间距)或立体摄像机(借助三角测量法测量测量大量间距)或范围摄像机(借助光传播时间测量大量间距)或超声波传感器(借助声传播时间测量间距)的测量数据。
为了尽可能及早向驾驶员提供关于即将发生的碰撞的信息，为此可以在时间上改变在图像中在对象的区域中显示的标记。例如根据附图6如果系统已经确定，直至碰撞的时间仅仅还有1.6秒时，则警告驾驶员。尤其是当纵向调节不是自动地进行，而是通过驾驶员进行的时候，有意义的是，警告驾驶员提防可能的碰撞。在此，一旦低于大约2.0秒的TTC，就进行视觉的(和必要时听觉的/触觉的)警告。时间的警告阈值如此选择，使得留给驾驶员足够的时间以进行反应：制动车辆并且因此防止即将发生的碰撞。在这种情况下，可以例如作为附加信息两个相撞的车辆的符号600被插入对象的区域中。
如果视觉警告时间上脉动，例如以每秒2-5个脉冲周期的频率，则还能够改善视觉警告的可感知性以及快速的和正确的局部检测，如附图7A和7B所示，其中，附图7B代表根据附图7A的示图的在例如0.2s的时间间距中的具有标记和附加信息的图像的示图。在此，例如颜色叠加的强度和大小能够在时间上——例如呈正弦形、锯齿形或矩形地变化。因此，显示在弱的强度和加强的强度之间脉动，如根据两个瞬间拍摄所示。有利的是，根据TTC选择脉冲幅度和/或频率，例如如此选择，使得这些值随着危险增加而继续上升。
能够有利的是，通过视觉的方式向驾驶员显示TTC。可能的显示变型方案在附图8和附图9示出。在此，附图8以条形图表形式显示TTC的可能的可视化的示图。在附图9中，以圆形仪表形式显示TTC的可视化。“无穷点”(期望点)位于标度尺上部。
在以恒定的间距跟随行驶时，TTC＝∞。该理想点既可以由自动的间距调节器(ACC)也可以由人类驾驶员力求达到。该理想点在附图8中以“O.K.”和一个星号标识并且表示期望状态。在下面暗色阴影区域中，TTC为正的，就是说碰撞即将来临。在最下面显示的深暗色的区域(大约2s至∞)中迫切地需要制动干预。黑白环(在大约TTC＝0.8s处)标识当前的实际状态并且后面的变得模糊的环标识短时间历史。在绿色至蓝色阴影区域中TTC<0，这意味着，与前面车辆的间距恰恰变大。
在此，TTC＝-3s和TTC＝+3s之间的区域有意地非线性压缩，因为在该区域中通常还不需要调节干预。相反，出于能源经济和驾驶舒适性的原因一般情况下更有意义的是，不直接跟随前面车辆的变化，而是允许容易地改变纵向间距直至下一次干预。还没有被干预的TTC区域应随着自身速度而变化。
此外，点-0s和+0s是一致的，因此，真正循环的标度尺也可以显示为这种点(或者可以在另一个位置处切开)。
在附图9中，通过TTC在圆形仪表上的显示来考虑这种情况。在此，颜色标识三个扇区：蓝色代表“自由行驶”，红色代表“制动”，并且绿色代表正确的跟随行驶。
附图10示出一种实施，其中，可以使一个或多个TTC车速里程表插入显示给驾驶员的摄像机图像中。在此，TTC车速里程表如刚性地与相应的对象连接的那样运动，并且根据其在图像中的大小进行缩放。
在跟踪期间的影响
有利的是，在对象跟踪期间向驾驶员提供用于影响的可能性。驾驶员应至少具有根据其愿望影响纵向间距的可能性。为此设置具有可以提供下述类型的命令
·“降低间距”和
·“扩大间距”
、必要时具有对改变的程度的影响的输入可能性。
为此可以使用上述的互动可能性。
此外有意义的是，给驾驶员提供对上述的、有关能源效率和驾驶舒适性对能源耗用和“活跃性(Spritzigkeit)/运动性”的行为的程度的影响可能性。
与驾驶员期望的匹配
如果驾驶员具有对系统行为的影响可能性并且利用它，则系统有机会学会驾驶员的(长期类型的和短期类型的)偏好。优选系统可以根据所述偏好调节，并利用所改变的参数用于将来的调节过程。
半自动ACC系统(Driver in the Loop：驾驶员在环)
一种可能的构型方式是半自动调节，其中，驾驶员被牵涉进调节环路中。在此，驾驶员继续操作油门和制动和——如果存在——也操作换档机构。有关其操纵的规定由系统传送给驾驶员。这可以通过在附图8、附图9、附图10中所示的或类似的可视化实现。
还更加有利的是听觉传送或触觉传送。在此可以输出例如听觉信号，驾驶员从所述听觉信号的音调和强度推论出，是否应减速或加速或以什么程度减速或加速。为了避免不必要的压力，至少对于加速的要求应例如在一定的时间之后自动结束，即使驾驶员没有遵循所述要求。
这种半自动系统具有的优点在于，在不干预车辆(电子设备、机械装置)的情况下所述半自动系统可以被加装。因此，在移动设备中也可以考虑所述半自动系统，所述移动设备—像现今移动导航仪或手机导航仪一样—安装在挡风玻璃上或仪表板上。仅仅需要保证，摄像机尽可能畅通无阻地向前看。
多个对象的同时考虑
如果系统能够同时跟踪多个对象，则可能有利的是，在间距调节时也同时考虑所述多个对象。这例如当第一目标对象和自我车辆位于右边的高速公路车道上，而所述目标对象在右边对另一对象超车时是有意义的。在这种情况下有意义的是，至少暂时继续跟踪两个目标对象并且为了避免危险状况和必要时遵守法律法规，不同样地在右边对第二对象超车。
对象在车速里程表中的显示
附图11示出在仪表盘中的显示的一部分的有利构型。在此示出车速里程表，其除用于自我车辆的速度的指针1110(亮的)以外还具有第二指针1120(暗的)。在此，使所跟踪的对象插入车速里程表中。如果跟踪一个对象，则暗的指针1120显示所述对象的速度，所述对象的速度可以借助vObj＝vEgo-vDiff来求取，其中，vDiff是可以传感式确定的差速。
作为特点，在附图11中附加地插入所跟踪的对象的成像。这可以在车速里程表仪表内进行或也可以在外面在一个合适的位置上进行。对象的成像通过从摄像机图像中剪裁来获得。通过基于视频的对象跟踪，所有所需要的信息(在图像中的对象位置和对象大小)一直存在，以便能够正确地进行剪裁。
所跟踪的对象的成像的更新率可以选择得与摄像机的图像重复率一致(例如每秒25个图像)或也可以不同。低得多的更新率(例如每秒1个图像)就已经足够，因为对象的外观一般情况下几乎不变化。相反，高的更新率具有以下优点：光信号(制动灯/闪光信号灯)直接被再现。
在此，时间滤波和/或虚拟扩展的摄像机检测区域的使用(亦见附图12)也是有利的。
附图12在此示出如何能够从摄像机图像中提取所跟踪的对象的示图，其中，在本说明书中不进一步解释用于提取的方式。
时间滤波考虑对象跟踪的数据。由此，清晰地形成对象，而(不同运动的)背景不清晰“模糊”。此外，当例如在狭窄的弯道中或由于通过自身的发动机罩遮挡摄像机仅仅还能部分地检测对象时，也可以完整地显示对象。附图12示出一个典型的示例：对象自动地从不清晰的背景中“显露”出来，并且虚拟的检测区域(整图)大于摄像机的检测区域(矩形的白色内框)。
阶段：对象跟踪的中断
必须在某一时刻中断确定的对象的跟踪，因为对象
·行驶得更快并且已经离开，
·已经运动到另一车道上，拐弯，
·在侧面从图像中运动出来(狭窄的弯道)，
·被超车和不再被摄像机检测到，
·被另一对象(例如，驶入者)或障碍物遮挡。
在一个有利的构型中，系统考虑导航信息并且将对象选择与所设置的自身路线不同的路线识别为中断标准。
此外，例如当对象的跟踪导致自我车辆必须离开所期望的或者法律上规定的速度范围时，存在中断标准。当然，由于过度控制油门、制动或必要时过度控制转向驾驶员同样会引起对象跟踪的中断。
一旦中断标准满足或甚至已经当即将发生的中断可预见的时候，应类似于在对象跟踪开始时的那样，又通过视觉、听觉或/和触觉的方式通知驾驶员。随后，系统重新返回到要求使用者互动以便选择下一个目标对象的状态。
替代地，系统也可以全自动地选择最合适的对象以继续跟踪。合适性的程度例如可能取决于对象位于哪个车道上和以什么样的(相对)速度运动。
附图13示出本发明的一个实施例的流程图，所述实施例作为用于在行车道上车辆的线路引导中辅助驾驶员的方法1300。方法1300包括在显示单元上向驾驶员显示1310所读取的图像的步骤，其中，图像已经由摄像机拍摄并且代表车辆周围环境。此外，方法1300包括读取1320由驾驶员在操作接口处输入的操作信号的步骤和在使用操作信号的情况下选择1330图像中所包含的对象的步骤。此外，方法1300包括在显示单元上显示1340标记的步骤，其中，标记显示在图像的代表对象的区域中。最后，方法包括使用1350对象以为待由车辆行驶的行驶路径确定至少一个纵向调节参数以便在行车道上车辆的线路引导中辅助驾驶员的步骤。
所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实施例可以完整地或关于各个特征彼此组合。一个实施例也可以通过另一个实施例的特征来补充。
此外，可以重复以及以不同于所描述的顺序的顺序执行根据本发明的方法步骤。
如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则可以理解如下：所述实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。

Claims (12)

1.一种用于在行车道(145)上车辆(100)的线路引导中辅助驾驶员的方法(1300)，其中，所述方法包括下述步骤：
在显示单元(150)上向所述驾驶员(140)显示所读取的图像(135)，其中，所述图像(135)由摄像机(120)拍摄并且代表车辆周围环境(125)；
读取(1320)由所述驾驶员(140)在操作接口(210)处输入的操作信号(215)；
在使用所述操作信号(215)的情况下选择(1330)在所述图像(135)中包含的对象；
在所述显示单元(150)上显示标记(310，500，600)，其中，使所述标记(310，500，600)显示在所述图像(135)的代表所述对象的区域中；和
使用(1350)所述对象来为待由所述车辆(100)行驶的行驶路径确定至少一个纵向调节参数，以便在所述行车道(145)上所述车辆(100)的线路引导中辅助所述驾驶员(140)，
其中，在显示所述标记的步骤中还在所述显示单元上显示关于直至与所述对象的碰撞的时间的参数的信息(600)，其中，在所述图像的代表所述对象的区域中显示所述信息(600)。
2.根据权利要求1所述的方法(1300)，其特征在于，在显示所述图像(135)的步骤中在所述图像(135)中预先识别对象，其中，在所述选择(1330)的步骤中在使用所述操作信号(215)的情况下从多个预先识别的对象中选择一个对象。
3.根据权利要求2所述的方法(1300)，其特征在于，在显示所述图像的步骤中将所述图像(135)显示在所述显示单元(150)的触摸灵敏的显示器上，其中，在所述读取(1320)的步骤中响应于所识别的对所述触摸灵敏的显示器的按压来生成所述操作信号(215)。
4.根据权利要求2所述的方法，其特征在于，在所述读取(1320)的步骤中响应于所述驾驶员的所识别的手势来生成所述操作信号(215)。
5.根据权利要求3或4所述的方法(1300)，其特征在于，在所述选择(1330)的步骤中选择在所述图像(135)中预先识别的这样的对象，所述对象在所述图像(135)中距通过所识别的对触摸灵敏的屏幕的按压代表的位置最近。
6.根据权利要求1至4中任一项所述的方法(1300)，其特征在于，在所述读取(1320)的步骤中使用操作接口(210)，所述操作接口通过所述驾驶员(140)的语音指令的分析处理来产生所述操作信号(215)。
7.根据权利要求1至4中任一项所述的方法(1300)，其特征在于，在选择(1330)所述对象的步骤中选择一个代表另一车辆的对象，所述另一车辆在所述行车道(145)上位于本车辆(100)的前方或旁边。
8.根据权利要求1至4中任一项所述的方法(1300)，其特征在于，在显示所述标记的步骤中以时间上变化的显示来显示所述标记(500，600)。
9.根据权利要求1至4中任一项所述的方法(1300)，其特征在于，此外在所述使用(1350)的步骤中进行所述对象的行驶路径与所述车辆(100)的所期望的行驶路程的比较，其中，如果比较得出，所述对象已经离开所期望的行驶路程超过预先确定的间隔，则不再使用所述对象来确定待由所述车辆(100)行驶的行驶路径，和/或
如果所述对象的所求取的速度大于在所述车辆(100)的位置上允许的速度，则在所述使用(1350)的步骤中不再使用所述对象来确定待由所述车辆(100)行驶的行驶路径，和/或
如果所述对象与所述车辆(100)的所求取的间距大于预先确定的间距， 则在所述使用(1350)的步骤中不再使用所述对象来确定待由所述车辆(100)行驶的行驶路径的至少一个纵向调节参数。
10.根据权利要求2所述的方法，其特征在于，在所述读取(1320)的步骤中响应于所述驾驶员用手指指向一个位置来生成所述操作信号(215)。
11.一种用于在行车道(145)上车辆(100)的线路引导中辅助驾驶员的设备(110)，其具有用于实施根据权利要求1至10中任一项所述的方法(1300)的步骤的单元(150，210，160)。
12.根据权利要求11所述的设备(110)，其特征在于，所述设备是导航设备。
CN201280029669.2A 2011-06-17 2012-06-15 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备 Expired - Fee Related CN103732480B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102011077752.0 2011-06-17
DE102011077752 2011-06-17
DE102012210145.4 2012-06-15
PCT/EP2012/061500 WO2012172077A1 (de) 2011-06-17 2012-06-15 Verfahren und vorrichtung zur unterstützung eines fahrers bei einer spurführung eines fahrzeugs auf einer fahrbahn
DE102012210145A DE102012210145A1 (de) 2011-06-17 2012-06-15 Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Spurführung eines Fahrzeugs auf einer Fahrbahn

Publications (2)

Publication Number Publication Date
CN103732480A CN103732480A (zh) 2014-04-16
CN103732480B true CN103732480B (zh) 2017-05-17

Family

ID=46508321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280029669.2A Expired - Fee Related CN103732480B (zh) 2011-06-17 2012-06-15 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备

Country Status (7)

Country Link
US (1) US9605971B2 (zh)
EP (1) EP2720929B1 (zh)
JP (1) JP6193222B2 (zh)
KR (1) KR20140031369A (zh)
CN (1) CN103732480B (zh)
DE (1) DE102012210145A1 (zh)
WO (1) WO2012172077A1 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189959B2 (en) * 2012-06-27 2015-11-17 International Business Machines Corporation Navigation system providing a super detail mode of operation to assist user's driving
DE102012215350A1 (de) * 2012-08-29 2014-03-06 Continental Automotive Gmbh Multisensuelle Aufmerksamkeitslenkung
DE102013003187A1 (de) * 2013-02-26 2014-09-11 Audi Ag Verfahren zum Betrieb eines kraftfahrzeugseitigen Fahrerassistenzsystems mit einer kombinierten Längs- und Querführungsfunktion
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
DE102013213039A1 (de) * 2013-07-03 2015-01-08 Continental Automotive Gmbh Assistenzsystem und Assistenzverfahren zur Unterstützung bei der Steuerung eines Kraftfahrzeugs
DE102013215370B4 (de) 2013-08-05 2019-12-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
DE102013110867A1 (de) * 2013-10-01 2015-04-02 Scania Cv Ab Vorrichtung für ein Fahrzeug
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
US9212926B2 (en) * 2013-11-22 2015-12-15 Ford Global Technologies, Llc In-vehicle path verification
KR20150092561A (ko) * 2014-02-05 2015-08-13 현대자동차주식회사 차량용 제어 장치 및 차량
EP3153356B1 (en) * 2014-07-01 2018-09-19 Nissan Motor Co., Ltd Display device for vehicle and display method for vehicle
WO2016002007A1 (ja) * 2014-07-01 2016-01-07 日産自動車株式会社 車両用表示装置及び車両用表示方法
KR20160014418A (ko) 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
DE102014219689A1 (de) * 2014-09-29 2016-03-31 Robert Bosch Gmbh Verfahren und Steuergerät zur Fahrspurüberwachung eines Fahrzeugs
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
EP3202125B1 (en) * 2014-09-30 2019-07-31 Hewlett-Packard Development Company, L.P. Sound conditioning
KR20160066775A (ko) * 2014-12-03 2016-06-13 현대모비스 주식회사 스마트 크루즈 컨트롤러 시스템 및 그 제어 방법
DE102014225804A1 (de) 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Unterstützung beim Führen eines Fahrzeugs
EP3038011B1 (de) 2014-12-22 2019-06-05 Aptiv Technologies Limited Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
DE102015201555A1 (de) * 2015-01-29 2016-08-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102015201723A1 (de) * 2015-02-02 2016-08-04 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug
US9589355B2 (en) * 2015-03-16 2017-03-07 Here Global B.V. Guided geometry extraction for localization of a device
KR102034722B1 (ko) 2015-03-19 2019-10-21 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
KR20160112552A (ko) 2015-03-19 2016-09-28 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
KR101714145B1 (ko) * 2015-04-09 2017-03-08 현대자동차주식회사 주변차량 식별 장치 및 그 방법
DE202015003050U1 (de) * 2015-04-27 2016-08-01 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrzeug mit Headup-Display
DE102015212664A1 (de) * 2015-07-07 2017-01-12 Volkswagen Aktiengesellschaft Kraftfahrzeug mit einem automatischen Fahrsystem
US9463799B1 (en) * 2015-07-09 2016-10-11 Volkswagen Ag Control for a high or fully automatic driving function
DE102015213979B4 (de) * 2015-07-23 2023-08-17 Audi Ag Anzeigesystem für Verkehrsschildinformationen
JP5910903B1 (ja) * 2015-07-31 2016-04-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
DE102015010135B3 (de) * 2015-08-01 2017-01-12 Audi Ag Verfahren zur Auswahl eines Auswertungsobjekts für eine Funktion in einem Kraftfahrzeug und Kraftfahrzeug
US20170057517A1 (en) * 2015-09-01 2017-03-02 Continental Automotive Systems, Inc. Behavior trainable adaptive cruise control
MX366506B (es) * 2015-09-18 2019-07-11 Nissan Motor Aparato de despliegue vehicular y metodo de despliegue vehicular.
DE102015218976A1 (de) * 2015-09-30 2017-03-30 Siemens Aktiengesellschaft Sicherungsverfahren und Sicherungssystem für ein Gleisstreckennetz
JP6436054B2 (ja) * 2015-10-26 2018-12-12 株式会社デンソー 運転支援装置
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
DE102015224942A1 (de) * 2015-12-11 2017-06-14 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Anzeige von Hinweisen in Kraftfahrzeugen
DE102015224943A1 (de) 2015-12-11 2017-06-14 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Anzeige von Hinweisen in Kraftfahrzeugen
EP3407325A4 (en) * 2016-01-19 2019-07-03 Nissan Motor Co., Ltd. CONTROL METHOD FOR DISPLAY DEVICE AND DISPLAY DEVICE
EP3415972B1 (en) * 2016-02-08 2021-03-31 Ricoh Company, Ltd. Information display apparatus
SE539816C2 (en) * 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
CN105911989B (zh) * 2016-04-28 2021-08-13 财团法人车辆研究测试中心 复合式自动辅助驾驶的决策系统及其方法
US11067984B2 (en) 2016-05-04 2021-07-20 Motional Ad Llc Automated vehicle operating system with driving-rule modification based on observation of another vehicle
US10303166B2 (en) * 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
JP6485405B2 (ja) * 2016-05-25 2019-03-20 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
US10232711B2 (en) 2016-06-03 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Spatiotemporal displays for set speed deviation of a vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
JP6720729B2 (ja) * 2016-06-28 2020-07-08 アイシン精機株式会社 表示制御装置
US9994221B2 (en) * 2016-07-13 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Presenting travel settings for selection of nearby vehicle to follow
CN106203381B (zh) * 2016-07-20 2019-05-31 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
US10354408B2 (en) * 2016-07-20 2019-07-16 Harman International Industries, Incorporated Vehicle camera image processing
US10232856B2 (en) * 2016-07-28 2019-03-19 Ford Global Technologies, Llc Vehicle user-communication system and method
DE102016009302A1 (de) * 2016-08-01 2018-02-01 Lucas Automotive Gmbh Steuerungs-System und Steuerungs-Verfahren zur Auswahl und Verfolgung eines Kraftfahrzeugs
DE102016220549A1 (de) 2016-10-20 2018-04-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Fahrers beim Deaktivieren eines hochautomatisierten Fahrmodus eines Fahrzeugs
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
EP3523176A1 (de) * 2016-12-07 2019-08-14 Siemens Mobility GmbH Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur gefahrensituationserkennung im bahnverkehr, insbesondere im schienenverkehr
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
KR101996417B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
DE102017002666A1 (de) 2017-03-18 2017-11-30 Daimler Ag Automatisches Fahrmanöver
US10754029B2 (en) * 2017-03-31 2020-08-25 Ford Global Technologies, Llc Vehicle human machine interface control
US20200062173A1 (en) * 2017-04-24 2020-02-27 Mitsubishi Electric Corporation Notification control apparatus and method for controlling notification
DE102017005009A1 (de) * 2017-05-24 2018-11-29 Man Truck & Bus Ag Fahrerassistenzsystem eines Kraftfahrzeugs
DE102017215161A1 (de) * 2017-08-30 2019-02-28 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs
FR3072805B1 (fr) * 2017-10-23 2021-01-08 Psa Automobiles Sa Systeme de commande d’un vehicule autonome
DE102017221191B4 (de) 2017-11-27 2019-06-13 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP6640251B2 (ja) * 2018-01-17 2020-02-05 本田技研工業株式会社 走行制御装置及び走行制御方法
DE102018202201B4 (de) * 2018-02-13 2020-06-10 Bayerische Motoren Werke Aktiengesellschaft Sensorvorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
JP2019148900A (ja) * 2018-02-26 2019-09-05 本田技研工業株式会社 車両用制御装置、車両及び経路案内装置
DE102018203910B3 (de) * 2018-03-14 2019-06-13 Audi Ag Fahrerassistenzsystem sowie Verfahren für ein Kraftfahrzeug zum Anzeigen einer erweiterten Realität
JP7508763B2 (ja) * 2018-03-29 2024-07-02 株式会社リコー 画像制御装置、表示装置、移動体、画像制御方法、及びプログラム
WO2019198998A1 (ko) * 2018-04-12 2019-10-17 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량
DE102018208277A1 (de) * 2018-05-25 2019-11-28 Robert Bosch Gmbh Trainingsverfahren für ein Fahrerassistenzverfahren, Fahrerassistenzverfahren, Steuergerät und Fahrzeug mit dem Steuergerät
DE102018116173A1 (de) * 2018-07-04 2020-01-09 Connaught Electronics Ltd. Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug
CN112689579A (zh) * 2018-09-05 2021-04-20 株式会社小糸制作所 车辆用显示系统、车辆系统以及车辆
DE102018216809A1 (de) * 2018-09-28 2020-04-02 Robert Bosch Gmbh Verfahren, Vorrichtung und Sensorsystem zur Umfelderfassung für ein Fahrzeug
DE102018218154A1 (de) * 2018-10-24 2020-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern einer Route und/oder Fahrweise eines Fahrzeugs in Abhängigkeit von einer Innenraumsituation
JP7093056B2 (ja) * 2018-11-27 2022-06-29 トヨタ自動車株式会社 運転支援装置、運転支援方法及び運転支援プログラム
EP3670283A1 (en) * 2018-12-17 2020-06-24 Ningbo Geely Automobile Research & Development Co. Ltd. Follow that car
DE102019204348A1 (de) * 2019-03-28 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur Zielführung zu einer Zielperson, elektronische Vorrichtung der Zielperson und elektronische Vorrichtung des Abholers sowie Kraftfahrzeug
DE102019208892A1 (de) * 2019-03-29 2020-10-01 Robert Bosch Gmbh Verfahren zum Betrieb eines fahrerlosen Transportsystems
DE102019205245A1 (de) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung eines Geschwindigkeits- oder Abstandsregelungssystems eines einspurigen Kraftfahrzeugs
JP7505189B2 (ja) * 2020-01-29 2024-06-25 株式会社リコー 画像表示装置、画像表示方法およびプログラム
DE102020106380A1 (de) 2020-03-09 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs durch Anpassung von angezeigten Objekten, Fahrerassistenzsystem sowie Fahrzeug
DE102020202986A1 (de) * 2020-03-10 2021-09-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Motorrads
DE102020207314A1 (de) 2020-06-11 2021-12-16 Volkswagen Aktiengesellschaft Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel
DE102020214162B3 (de) 2020-11-11 2022-03-17 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Spurhalteassistenzsystems eines Fahrzeugs während einer Fortbewegungsfahrt des Fahrzeugs entlang einer Fahrspur, sowie elektronisches Fahrerassistenzsystem sowie Fahrzeug
JP7435429B2 (ja) * 2020-12-14 2024-02-21 トヨタ自動車株式会社 安全運転レベル評価装置
US11548522B2 (en) * 2021-02-08 2023-01-10 GM Global Technology Operations LLC Speed difference indicator on head up display
EP4068153A1 (en) * 2021-03-31 2022-10-05 Honda Research Institute Europe GmbH Advanced driver assistance system for assisting a driver of a vehicle
DE102021206880A1 (de) * 2021-06-30 2023-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur optimalen Parametrisierung eines Fahrdynamikregelungssystems für Fahrzeuge
DE102021131972A1 (de) 2021-12-03 2023-06-07 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem, Verfahren zum Betreiben eines Fahrassistenzsystems und Computerprogramm
DE102023001870B4 (de) 2023-05-08 2024-08-22 Mercedes-Benz Group AG Verfahren zum Betrieb eines Fahrzeuges

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034897A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 運転支援システム
JP2002046501A (ja) * 2001-06-13 2002-02-12 Hitachi Ltd 自動車の走行制御装置
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
EP1398684A2 (de) * 2002-09-12 2004-03-17 Audi Ag Fahrzeugführungssystem
JP2004199512A (ja) * 2002-12-19 2004-07-15 Denso Corp 車間距離制御装置
JP2006248335A (ja) * 2005-03-09 2006-09-21 Toyota Motor Corp 車両走行制御装置
JP2007216775A (ja) * 2006-02-15 2007-08-30 Nissan Diesel Motor Co Ltd 車両のクルーズコントロール装置
DE102008011228A1 (de) * 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US6411898B2 (en) * 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
DE10356307A1 (de) * 2003-11-28 2005-06-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeugs
EP1723007A4 (en) 2004-02-20 2010-01-20 Sharp Kk On-board display device, on-board display system and vehicle
JP2005300167A (ja) 2004-04-06 2005-10-27 Alpine Electronics Inc 衛星測位装置及びナビゲーション装置
US20050259033A1 (en) * 2004-05-20 2005-11-24 Levine Alfred B Multiplex-selective heads-up displays for cars
JP4329622B2 (ja) 2004-06-02 2009-09-09 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7295904B2 (en) 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US7966127B2 (en) 2004-12-28 2011-06-21 Kabushiki Kaisha Toyota Chuo Kenkyusho Vehicle motion control device
JP4887980B2 (ja) 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
KR101075615B1 (ko) 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
EP1926048B1 (en) * 2006-11-21 2010-02-24 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
DE102006059353A1 (de) 2006-12-15 2008-06-19 Robert Bosch Gmbh Benutzerschnittstelle für ein Fahrerassistenzsystem eines Kraftfahrzeugs
EP2131150B1 (en) * 2007-03-26 2013-05-29 Toyota Jidosha Kabushiki Kaisha Navigation device
JP4412356B2 (ja) 2007-06-13 2010-02-10 株式会社デンソー 車両用衝突緩和装置
JP4952421B2 (ja) 2007-07-18 2012-06-13 株式会社デンソー 運転支援システム
DE102008003666A1 (de) 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren für die Steuerung eines Fahrerassistenzsystems und Fahrerassistenzsystem
JP2009265842A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 車両用警告装置、警告方法
DE102008021186A1 (de) 2008-04-28 2009-10-29 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
DE102008002560A1 (de) 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenvisualisierung
JP2010221995A (ja) * 2009-02-27 2010-10-07 Nissan Motor Co Ltd 車両用運転操作補助装置、車両用運転操作補助方法および自動車
KR101625668B1 (ko) * 2009-04-20 2016-05-30 삼성전자 주식회사 전자기기 및 전자기기의 음성인식방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034897A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 運転支援システム
JP2002046501A (ja) * 2001-06-13 2002-02-12 Hitachi Ltd 自動車の走行制御装置
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
EP1398684A2 (de) * 2002-09-12 2004-03-17 Audi Ag Fahrzeugführungssystem
JP2004199512A (ja) * 2002-12-19 2004-07-15 Denso Corp 車間距離制御装置
JP2006248335A (ja) * 2005-03-09 2006-09-21 Toyota Motor Corp 車両走行制御装置
JP2007216775A (ja) * 2006-02-15 2007-08-30 Nissan Diesel Motor Co Ltd 車両のクルーズコントロール装置
DE102008011228A1 (de) * 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung

Also Published As

Publication number Publication date
JP2015501455A (ja) 2015-01-15
EP2720929B1 (de) 2016-04-27
DE102012210145A1 (de) 2012-12-20
WO2012172077A1 (de) 2012-12-20
JP6193222B2 (ja) 2017-09-06
EP2720929A1 (de) 2014-04-23
US20140176350A1 (en) 2014-06-26
CN103732480A (zh) 2014-04-16
US9605971B2 (en) 2017-03-28
KR20140031369A (ko) 2014-03-12

Similar Documents

Publication Publication Date Title
CN103732480B (zh) 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
US9318018B2 (en) User interface method for terminal for vehicle and apparatus thereof
US20200254876A1 (en) System and method for correlating user attention direction and outside view
US9977243B2 (en) Method for executing vehicle function using wearable device and vehicle for carrying out the same
EP2544161A1 (en) Surrounding area monitoring device for vehicle
CN103781664B (zh) 用于支持机动车驾驶员的方法
JP2000268297A (ja) 安全運転評価装置
JP6020371B2 (ja) 車両用情報提供装置
JP5054555B2 (ja) 車両周辺映像表示装置
JP2017016457A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
CN110171357A (zh) 车辆及其控制方法
JP2024029051A (ja) 車載表示装置、方法およびプログラム
CN113631411B (zh) 显示控制装置、显示控制方法及记录介质
CN111752373A (zh) 一种用于车载的交互方法、装置及系统
JP2014219814A (ja) 運転支援装置及びプログラム
JP2010128645A (ja) 情報提供システム及び情報提供方法
EP3820726B1 (en) Optical flow for motion sickness reduction
JP2006015803A (ja) 車両用表示装置、および車両用表示装置を搭載した車両
JP5294756B2 (ja) 車両周囲画像提供装置および車両周囲画像提供方法
JP2023017641A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
WO2021251339A1 (ja) 画像処理装置、プログラム、及び画像処理システム
JP2017001525A (ja) 車両用表示装置
JP6388513B2 (ja) 車両停止システム
JPWO2017204195A1 (ja) Ｈｍｉ制御装置、移動体、ｈｍｉ制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517

Termination date: 20200615

CF01 Termination of patent right due to non-payment of annual fee