CN104584102A - 用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法 - Google Patents

用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法 Download PDF

Info

Publication number
CN104584102A
CN104584102A CN201380044450.4A CN201380044450A CN104584102A CN 104584102 A CN104584102 A CN 104584102A CN 201380044450 A CN201380044450 A CN 201380044450A CN 104584102 A CN104584102 A CN 104584102A
Authority
CN
China
Prior art keywords
chaufeur
information
vehicle
identifying information
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380044450.4A
Other languages
English (en)
Other versions
CN104584102B (zh
Inventor
A·奥芬霍伊泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN104584102A publication Critical patent/CN104584102A/zh
Application granted granted Critical
Publication of CN104584102B publication Critical patent/CN104584102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload

Abstract

本发明涉及一种用于补充分配给对象(104)的对象信息的方法(200)，其中，所述对象(104)布置在车辆(100)的环境(108)中，其中，所述方法(200)具有读取的步骤(202)、分析处理的步骤(204)和扩展的步骤(206)。在所述读取(202)的步骤中，读取传感器信息，所述传感器信息代表所述车辆(100)的驾驶员(114)对位于所述驾驶员(114)的视向(308)上的对象(104)的反应。在所述分析处理(204)的步骤中，分析处理所述传感器信息，以便接收识别信息，其中，所述识别信息代表所述驾驶员(114)是否已识别所述对象(104)的分析处理结果。在所述扩展(206)的步骤中，以所述识别信息扩展所述对象信息。

Description

用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法
技术领域
本发明涉及一种用于补充分配给对象的对象信息的方法以及涉及一种用于挑选车辆的环境中的对象的方法，涉及一种相应的设备和涉及一种相应的计算机程序产品。
背景技术
DE 199 51 001 A1描述了一种用于在车辆中呈现信息的设备。所述信息的呈现由不同的数据源渐显到驾驶员的视野中。
发明内容
在此背景下，借助本发明提出根据主权利要求的用于补充分配给对象的对象信息的方法、用于挑选车辆的环境中的对象的方法、相应的设备和相应的计算机程序产品。由相应的从属权利要求和以下的说明书得出有利的构型。
位于车辆的环境中的对象、尤其位于车辆的前部地带的对象可能在某些情况下不能被车辆的驾驶员识别或者有意识地察觉。对象的不识别可能具有不同的原因。例如，对象可能例如由于不利的天气条件而难以识别，或者驾驶员可能注意力被分散或者过度疲劳。但是，专心的驾驶员也可能忽略一个对象，例如由于驾驶员被当前的行驶状况特别地挑战。通过根据本发明的方案可以求取，驾驶员是否已识别对象或者未识别对象。在所述对象方面求取的、表明是否存在对象通过驾驶员的识别的识别信息可以例如由车辆的驾驶辅助系统利用。例如可以特别突出重要相关的、假定未被驾驶员识别的对象。
一种用于补充分配给布置在车辆的环境中的对象的对象信息的方法，所述方法包括以下步骤：
读取传感器信息，所述传感器信息代表所述车辆的驾驶员对位于所述驾驶员的视向上的对象的反应；
分析处理所述传感器信息，以便获得识别信息，其中，所述识别信息表明所述对象通过所述驾驶员的识别；
以所述识别信息扩展所述对象信息。
所述对象可以是例如障碍物、其他交通参与者、交通指示牌、动物、行人或者小孩。所述对象可以代表被车辆的环境检测装置检测的对象。例如，在使用对象识别装置的情况下可以求取关于对象的对象信息并且将所述对象信息分配给该对象。对象信息可以理解为关于所述对象的属性的集合。对象信息可以是数据记录。例如对象信息可能包括关于所述对象的对象类别的信息、所述对象相对于所述车辆的位置、驾驶员朝对象的方向的视角和/或关于所述车辆与所述对象的碰撞危险的信息。因此，通过对象信息可以代表对象的不同特性。传感器信息可以是由传感器、例如图像传感器提供的信息，所述传感器构造用于检测驾驶员。所述反应可以是例如视向、目光持续时间、运动、如头运动或者胳膊运动或者腿运动。反应也可以是所述运动的中断。所述反应可能涉及驾驶员的视向。所述反应对于对象的识别来说可能是独特的。如果驾驶员未识别对象，则关于所述对象，驾驶员未显示任何反应或者与暗示所述识别的反应不同的反应。在扩展的步骤中，可以添加识别信息至对象信息或者取代现有的识别信息。
识别信息可以代表对象通过驾驶员的识别的概率。因此，识别信息可以是用于驾驶员已识别或者未识别所述对象的概率。在反应被归为强烈的情况下，能以高的概率推断，驾驶员已识别对象。在反应被归为小的情况下，能以小的概率推断，驾驶员已识别对象。例如长的观察持续时间比短的观察持续时间可以代表更高的识别概率。
传感器信息可以代表驾驶员的视线范围的固定轴线的空间位置。所述眼睛区域可以是例如驾驶员的脸或者眼睛之一的位置。在分析处理的步骤中，可以分析处理停留持续时间，而所述固定轴线朝所述对象定向。固定可以理解为有针对性地观察(固定)对象，固定轴线或者固定方向可以理解为在最大分辨率的视网膜位置和固定对象之间的直线(瞄准线)或者理解为眼睛的生理主观察方向。如果固定轴线切割对象的可见表面并且停留在那里，则可以以高的概率从驾驶员见到对象出发。借助于视向检测装置可以检测所述固定轴线。
在分析处理的步骤中，如果固定轴线比识别持续时间更短时间地朝所述对象定向，则识别信息可以表明对象的未识别。另一方面，如果固定轴线比识别持续时间更长时间朝所述对象定向，则识别信息可以表明对象的识别。如果在分析处理的步骤中例如识别到固定轴线无延迟地略过对象，则可以从驾驶员未检测到对象出发。在这种情况下，可以这样确定或占用识别信息，使得所述识别信息表明对象的未识别，即表明没有识别。为了识别所述对象，驾驶员典型地固定在对象上的显著的点并且尝试将所述点分配给所述对象。为此，驾驶员需要短的时间段、识别持续时间。
在分析处理的步骤中，如果固定轴线比注意力时间段更长时间地不朝所述对象定向，则将表明所述对象通过所述驾驶员的识别的识别信息置于以下状态上：所述对象的未识别。因此，如果固定轴线在驾驶员识别所述对象之后比注意力时间段更长时间地不朝所述对象定向，则识别信息可以确定为“未识别”。如果驾驶员比注意力时间段更长时间地不看所述对象，则对象可以再次被分类为未识别。由此，例如可以考虑，驾驶员在识别之后已忘记所述对象。
在分析处理的步骤中，如果所述对象相对于所述车辆的位置改变大于一预先确定的值并且所述固定轴线在反应时间之内不朝所述对象定向，则识别信息可以表明对象的识别，即，所述识别信息可以确定为“未识别”。驾驶员的视线通常被对象的运动吸引。尤其在困难的可见度条件下，对象的运动才使得所述识别成为可能。如果对象运动并且驾驶员不对此作出反应，则驾驶员以高的概率未识别对象。
用于挑选车辆的环境中的对象的方法，其中，所述车辆的对象识别构造用于提供关于对象的对象信息，所述方法包括以下步骤：
根据所述用于补充的方法以识别信息扩展所述对象信息；
选择所述对象中的以下对象以便获得对象组：所述对象的识别信息表明所述驾驶员未识别相应的对象；
向到所述车辆的驾驶员辅助系统的接口提供所述对象组的对象信息。
驾驶员辅助系统可以是例如显示设备或者安全设备、例如制动辅助系统。如果对象布置在显示装置的呈现区域之内，则可以为例如用于车辆的驾驶员的显示装置提供对象组的对象的对象信息。显示装置可以是车辆的驾驶员视野显示装置。所述显示装置也可以是车辆中的监视器。呈现区域可以是车辆的环境的区段。可以在显示装置上呈现在所述区段之内的对象和/或对象信息。通过仅仅未识别的对象的呈现，可以为驾驶员减小信息流，因为仅仅未识别的对象需要在显示装置上突出。所识别的对象的突出可能干扰性地起作用，因为在对象的图像和环境中的真实对象之间可能存在瞄准误差。
为了在显示装置上特别地突出所述对象，可以提供根据危险度挑选的对象的以识别信息扩展的对象信息。例如这样的对象可能闪烁地、与象形文字和/或与信号颜色结合地显示。
在所述选择的步骤中，可以选择有危险的对象，所述对象未被所述驾驶员识别并且在所述对象中存在碰撞危险。为此，可以读取这些对象的各一个危险度，其中，危险度代表对象与车辆碰撞的概率。可以选择有危险的对象，所述对象未被驾驶员识别并且在所述对象中存在碰撞危险，即所述对象具有例如大于阈值的危险度。可以在使用有危险的对象的对象信息的情况下为车辆的安全系统提供碰撞信号。在使用车辆的和对象的预先计算的轨迹的情况下可以计算危险度。例如如果碰撞即将发生，则可能超过阈值。例如如果行人不保持固定，则可以在使用显示装置的情况下突出在车辆前方行走的行人。如果驾驶员识别行人，则不再存在进一步突出行人的必要性。然而，如果驾驶员未识别行人，则例如可以基于碰撞信号启动自主的制动过程。
在驾驶员辅助系统的领域中可以利用本方案。在驾驶员辅助系统的领域中，根据在车辆的环境中呈现的状况来进行车辆的识别、分类和(半)自主的影响承担占有越来越大的作用。根据驾驶员的状态，驾驶员自身的反应可能不同并且驾驶员对系统干预的反应也可能不同。驾驶员是否意识到当前的状况——例如行人在道路上行走——的信息可以减小驾驶员辅助系统的误触发率。
在这里所提出的方案可以使通过环境传感机构、例如雷达、激光雷达、视频或者超声进行的对象识别、通过算法进行的对象分类、在行人、车辆、固定的对象和其他对象之间的区分、对于当前车辆的危险的估计和驾驶员视向的和其头位置的识别统一。尤其可以将对瞳孔的和因此所瞄准的点的准确识别和不仅仅驾驶员的一般视向用于在这里提出的方案。
本发明实现一种设备，所述设备被构造来在相应的装置中实施或实现根据本发明的方法的步骤。通过本发明的以设备形式的实施变型方案可以快速和高效地解决本发明所基于的任务。
设备在此可以理解为处理传感器信号并且据此输出控制信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
具有程序代码的计算机程序产品也是有利的，所述程序代码可以存储在机器可读的载体，如半导体存储器、硬盘存储器或光学存储器上并且用于当在计算机或者设备上执行程序时实施根据先前描述的实施方式之一的方法。
附图说明
以下参照附图示例性地详细阐述本发明。附图示出：
图1示出根据本发明的一个实施例的具有用于补充分配给对象的对象信息的设备并且具有用于挑选车辆的环境中的对象的设备的车辆的示图。
图2示出根据本发明的一个实施例的用于补充分配给对象的对象信息的方法的流程图；
图3示出根据本发明的一个实施例的具有用于通过驾驶员的视向进行附加的对象分类的系统的车辆的示图；
图4示出根据本发明的一个实施例的用于补充分配给对象的对象信息的方法的流程图；
图5示出根据本发明的一个实施例的用于挑选车辆的环境中的对象的方法的流程图。
在本发明的优选的实施例的以下的描述中，对于在不同的附图中示出的并且类似地起作用的元件使用相同的或者类似的附图标记，其中，省去对这些元件的重复描述。
具体实施方式
图1示出根据本发明的一个实施例的具有用于补充分配给对象104的对象信息的设备102并且具有用于挑选车辆100的环境108中的对象104的设备106的车辆100的示图。车辆100、例如在道路上行驶的机动车具有环境检测装置110、用于车辆100的驾驶员114的显示装置112和驾驶员检测装置116。环境检测装置110和驾驶员检测装置116与用于补充的设备102连接。环境检测装置110构造用于提供关于车辆100的环境108中的对象104的对象信息。驾驶员检测装置116构造用于提供传感器信息，所述传感器信息代表车辆100的驾驶员114对位于驾驶员114的视向上的对象104的反应。例如驾驶员检测装置116可以实施为用于驾驶员视向识别的测量系统。为此，驾驶员检测装置116可以具有例如图像检测装置和合适的图像分析处理装置。
用于补充的设备102具有用于读取传感器信息的装置118、用于分析处理传感器信息的装置120和用于扩展对象信息的装置122。用于读取的装置118构造用于读取驾驶员检测装置116的传感器信息。用于分析处理的装置120构造用于分析处理所述传感器信息以便获得识别信息。所述识别信息代表所述驾驶员114是否已识别或者未识别所述对象104的分析处理结果。用于扩展的装置122构造用于以识别信息扩展或补充由环境检测装置110接收的对象信息。
用于补充分配给对象104的对象信息的设备102与用于挑选的设备106连接。用于挑选的设备106具有用于读取的装置124、用于选择的装置126和用于提供的装置128。用于读取的装置124构造用于从用于补充的设备102接收对象信息。用于选择的装置126构造用于选择以下对象以便获得对象组：所述对象的识别信息代表驾驶员114未识别所述对象。用于提供的装置128与显示装置112连接。用于提供的装置128构造用于提供对象组的对象信息以便为驾驶员114进行显示。因此，通过显示装置112向驾驶员114呈现尤其驾驶员还未识别的对象。不再呈现驾驶员114已经识别的对象104，以使驾驶员不被环境108分心。
此外或者替代地，用于提供的装置128可以构造用于向其他驾驶员辅助系统提供以识别信息补充的对象信息。用于挑选对象104的设备102是可选的。如果不设置用于挑选的设备102，则例如可以直接向驾驶员辅助系统或者显示装置112提供由用于补充的设备102以识别信息所补充的对象信息。显示装置例如可以实施为屏幕或者实施为投影装置、例如平视显示器。
图2示出根据本发明的一个实施例的用于补充分配给对象的对象信息的方法200的流程图。所述对象布置在车辆的环境中。例如，所述方法的步骤可以在图1所示出的用于补充的设备的装置上实施。
所述方法具有读取的步骤202、分析处理的步骤204和扩展的步骤206。在读取的步骤202中，从驾驶员检测传感器读取传感器信息，如其在图1中所示的那样。传感器信息代表车辆的驾驶员对位于驾驶员的视向上的对象的反应。在分析处理的步骤204中，分析处理传感器信息，以便获得识别信息。所述识别信息代表驾驶员是否识别对象的分析处理结果。在扩展的步骤206中，以识别信息扩展由环境检测装置提供的对象信息。
图3示出根据本发明的一个实施例的具有用于通过驾驶员的视向进行附加的对象分类的系统300的车辆100的示图。所述系统300具有雷达传感器302、具有朝车辆100的驾驶员114定向的用于驾驶员眼睛视向识别的测量系统304的驾驶员检测装置并且具有用于补充的设备102，如其例如在图1中所的那样。
雷达传感器302具有检测区域306，根据该实施例，该检测区域在车辆100前方楔形地延伸。在该实施例中，四个对象O1、O2、O3、O4布置在检测区域306中，所述对象由所述雷达传感器302检测。在使用分配给对象O1的对象信息的情况下将对象O1分类为人，并且对象O1布置在检测区域306中。相应的位置说明可以存储在分配给对象O1的对象信息中。对象O1在车辆100前方位于大于车辆长度的位置处。对象O2布置在检测区域的左边缘处。对象O2未进一步分类。对象O3位于检测区域306中心，并且比对象O1离车辆100更远。对象O3也未进一步分类。对象O4位于检测区域306的右边缘处、未分类并且比对象O2离车辆100更远，并且比对象O1更靠近车辆100。在对象O3、O4之间有足够的空间以便以车辆100行驶穿过。对象O3位于车辆100的预计的行驶路径的左边缘处。
朝驾驶员114定向的测量系统304布置在驾驶员114前方并且构造用于只要驾驶员114的头布置在测量系统304的检测区域310内，则检测驾驶员114的头位置以及驾驶员114的眼睛的视向308。在这里，检测区域310锥形地对准头的中间位置。在该实施例中，视向308作为“隧道”呈现，该“隧道”从驾驶员114的围绕驾驶员114的眼睛中的至少一只的或者占优势的眼睛的固定轴线312的视线范围出发地布置。“隧道”的横截面相当于驾驶员114在无眼睛运动和/或头运动的情况下可以完全察觉的表面。在此，固定轴线312直接地并且直线地连接该表面的中心和所述眼睛。测量系统304可以根据所述眼睛的位置和所述眼睛在该位置上的取向求取固定轴线312在空间中的位置。
对象O3位于驾驶员114的视向308上。设备102构造用于通过接口从雷达传感器302将对象O1、O2、O3、O4的位置例如作为与雷达传感器302的距离并且作为相对于车辆100的中轴线的角度作为分配给对象O1、O2、O3、O4的对象信息来接收。此外，设备102构造用于接收附加的关于对象O1、O2、O3、O4的信息，例如在对象O1的情况下所识别的类别“人”和对象O1、O2、O3、O4的由驾驶员114的视野可见的表面。
此外，设备102构造用于从测量系统304接收关于驾驶员的视向308的信息，例如作为具有作为支点(Stützpunkt)的至少一只眼睛的坐标的矢量。设备102构造用于通过空间上的观察求取对象O1、O2、O3、O4中的一个或多个是否位于视向308上。在该实施例中，视向308朝对象O3的右边缘定向。如果视向308足够长时间地保持在对象O3的右边缘上，则驾驶员114已识别对象O3的概率大。因此，将属性“已识别”分配给对象O3并且作为识别信息记录在关于对象O3的对象信息中。
换言之，图3示出在这里提出的方案的示例性实现。借助于雷达传感器302识别周围的对象On并且实施对象识别(例如ACC)。此外，测量系统304朝驾驶员114定向并且识别其头和瞳孔位置并且由此算出驾驶员114的视向308。在这里所提出的方案分别涉及两个系统302、304的所得到的信息和这些数据的组合。在这里，目标在于确定驾驶员114已经看到已由雷达302识别的对象On。这些关于对象On的附加的信息允许所安装的辅助系统更有针对性地对对象On作出反应。因此，人机接口系统(HMI系统)也可以有针对性地仅仅使对于驾驶员114来说重要相关、即驾驶员114还未察觉的信息渐显。
图4示出根据本发明的一个实施例的用于补充分配给对象的对象信息的方法200的流程图。例如所述方法的步骤可以在图1所示的用于补充的设备的装置上实施。
对于每一个对象On，所述流程图形成一个决定环，如其在图3中所示的那样。对于所述对象On中的每一个，实施该决定环。在决定环开始400之后，在动作404中对于每个对象On计算对象On和视向VG的交集。为此检查，视向是否到达对象。随后进行问询406。在问询406中问询，对象On是否与VG具有共同的点，即交集大于空。如果以“是”408答复问询406，则对象On位于驾驶员的视线矢量VG中。如果以“否”410答复问询406，则驾驶员未看见对象On。在“是”408的情况下，进行动作412。在动作412中，测量视线在对象On上的停留持续时间tn。在使用停留持续时间tn的情况下，在随后的动作414中计算对象已被认知地察觉的概率pn。例如在使用处理规定的情况下，如pn新＝10*tn。在“否”410的情况下，在动作416中，保持之前所计算的或者说之前所分派的为0％的识别概率。Pn新＝Pn旧。借助新的识别概率pn新的指派，环到达其终点402。
由雷达中的对象数据On和驾驶员的视向G的组合可以如在图4中所描述的这样进行。对于每个对象On，周期性的函数调用算出所述对象是否在驾驶员的视线区域中并且由此推导出这样的概率，驾驶员以所述概率已(认知)地察觉对象。以为0％的概率对由雷达新识别的对象On进行初始化。雷达对象On以[Xn，Yn，Zn]坐标和尺度已知。驾驶员的视向可以作为具有支点[XG，YG，ZG]的方向矢量VG来求取。
换言之，图4示出用于通过驾驶员的视向或者所述车辆的驾驶员的视轴线进行附加的对象分类的方案。
借助于关于驾驶员的头位置和视向以及所使用的传感器的安装位置的信息，可以算出驾驶员在车辆附近的3-D空间中的视线。从已经存在的传感器和它们的相关算法可以接收关于环境中的对象以及它们的分类的信息。现在，如果将两个系统——视向和环境对象——的信息联网，则由此可以识别哪些对象目前位于驾驶员的视线中。现在，通过算法可以进行附加的对象分类，所述对象分类说明，驾驶员已完全识别该对象并且意识到危险的概率为多高。
所述信息可以找到多个应用领域。例如用于主动安全系统——例如紧急制动辅助或者自主避让功能——的干预阈值的匹配。如果例如已知驾驶员在危险状况下没看见有危险的对象，则可以及早地启动轻微的制动，以便驾驶员意识到所述状况并且因此主动地接管控制。在驾驶员意识到所述状况然而未进行制动的情况下，可以启动完全自主的制动过程，以便因此防止事故。由此能够排除或者说最小化驾驶员错误估计的可能性。例如，可以通过例如信号声音、闪光信号灯、HUD渐显(Head-upDisplay-Einblendung，平视显示器渐显)使驾驶员的注意力转到出现的、未被识别的危险上。在注意力监视中，如果驾驶员较长时间地疏远危险，(视线在车辆内部)，则通过信号声音使驾驶员注意其疏漏。由此，驾驶员能够再次转向交通状况。例如可以将所述信息用于未被驾驶员识别或者说以较小的概率被驾驶员识别的信息在HUD中的渐显。例如在指示牌识别的情况下。如果驾驶员忽略了交通指示牌，则由该交通指示牌显示的信息例如速度限制、禁止超速等等可以在HUD中渐显，直到驾驶员的视线感测到HUD中的信息。
图5示出根据本发明的一个实施例的用于挑选车辆的环境中的对象的方法500的流程图。车辆的对象识别如在图1和3中所描述的那样提供关于重要相关的对象的对象信息。借助所描述的方法以识别信息补充对象信息。
方法500具有读取的步骤502、选择的步骤504和提供的步骤506。在步骤502中，读取关于所识别的对象的对象信息。在选择的步骤504中，选择所识别的对象中的一些或者全部，以便构成对象组。在此，选择这样的对象，所述对象的识别信息代表驾驶员未识别所述对象。在步骤506中，提供对象组的对象信息。可以使用对象组的对象信息用于风险估计和用于驾驶员信息。
所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实施例可以完整地或关于各个特征彼此组合。一个实施例也可以通过另一个实施例的特征来补充。此外，可以重复以及以不同于所描述的顺序的顺序执行根据本发明的方法步骤。如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则这可以理解如下：所述实施例根据一个实施方式不仅具有第一特征，而且具有第二特征；并且根据另一个实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。

Claims (10)

1.一种用于补充分配给布置在车辆(100)的环境(108)中的对象(104)的对象信息的方法(200)，其中，所述方法(200)包括以下步骤：
读取(202)传感器信息，所述传感器信息代表所述车辆(100)的驾驶员(114)对位于所述驾驶员(114)的视向(308)上的对象(104)的反应；
分析处理(204)所述传感器信息，以便获得识别信息，其中，所述识别信息表明所述对象(114)通过所述驾驶员(114)的识别；
以所述识别信息扩展(206)所述对象信息。
2.根据权利要求1所述的方法(200)，其中，在所述分析处理的步骤(204)中，所述识别信息代表所述对象(114)通过所述驾驶员(114)的识别的概率。
3.根据以上权利要求中任一项所述的方法(200)，其中，在所述读取的步骤(202)中，所述传感器信息代表所述驾驶员(114)的眼睛区域的固定轴线(312)的空间位置，其中，在所述分析处理的步骤(204)中，分析处理停留持续时间，在所述停留持续时间期间所述固定轴线(312)朝所述对象(104)定向。
4.根据权利要求3所述的方法(200)，其中，在所述分析处理的步骤(204)中，如果所述固定轴线(312)比识别持续时间更短时间地朝所述对象(104)定向，则所述识别信息表明所述对象(114)的未识别，和/或，如果所述固定轴线(312)比所述识别持续时间更长时间地朝所述对象(104)定向，则所述识别信息表明所述对象(114)的识别。
5.根据权利要求3至4中任一项所述的方法(200)，其中，在所述分析处理的步骤(204)中，如果所述固定轴线(312)比注意力时间段更长时间地不朝所述对象(104)定向，则将表明所述对象(104)通过所述驾驶员(114)的识别的识别信息置于以下状态上：所述对象(114)的未识别。
6.根据权利要求3至5中任一项所述的方法(200)，其中，在所述分析处理的步骤(204)中，如果所述对象(104)相对于所述车辆(100)的位置改变大于一预先确定的值并且所述固定轴线(312)在反应时间之内不朝所述对象(104)定向，则所述识别信息表明所述对象(114)的识别。
7.一种用于挑选车辆(100)的环境(108)中的对象(O1，O2，O3，O4)的方法(500)，其中，所述车辆(100)的对象识别构造用于提供关于对象(O1，O2，O3，O4)的对象信息，其中，所述方法(500)包括以下步骤：
根据权利要求1至6中任一项所述的用于补充的方法(200)以识别信息扩展所述对象信息；
选择(504)所述对象中的以下对象(O1，O2，O4)以便获得对象组：所述对象的识别信息表明所述驾驶员未识别相应的对象(O1，O2，O4)；
向到所述车辆的驾驶员辅助系统的接口提供(506)所述对象组的对象信息。
8.根据权利要求7所述的方法(500)，其中，在所述选择的步骤(504)中，选择有危险的对象，所述对象未被所述驾驶员(114)识别并且在所述对象中存在碰撞危险，其中，在所述提供的步骤(506)中，在使用所述有危险的对象的对象信息的情况下提供用于所述车辆(100)的驾驶员辅助系统的碰撞信号。
9.一种构造用于实施根据权利要求1至8中任一项所述的方法的步骤的设备(102，106)。
10.一种具有程序代码的计算机程序，其用于当在设备上执行程序产品时，实施根据权利要求1至8中任一项所述的方法。
CN201380044450.4A 2012-08-21 2013-08-19 用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法 Active CN104584102B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012214852.3A DE102012214852B4 (de) 2012-08-21 2012-08-21 Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
DE102012214852.3 2012-08-21
PCT/EP2013/067244 WO2014029738A1 (de) 2012-08-21 2013-08-19 Verfahren zum ergänzen einer einem objekt zugeordneten objektinformation und verfahren zum selektieren von objekten in einem umfeld eines fahrzeugs

Publications (2)

Publication Number Publication Date
CN104584102A true CN104584102A (zh) 2015-04-29
CN104584102B CN104584102B (zh) 2017-07-11

Family

ID=49084977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044450.4A Active CN104584102B (zh) 2012-08-21 2013-08-19 用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法

Country Status (4)

Country Link
US (1) US10009580B2 (zh)
CN (1) CN104584102B (zh)
DE (1) DE102012214852B4 (zh)
WO (1) WO2014029738A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109562763A (zh) * 2016-08-09 2019-04-02 日产自动车株式会社 自动驾驶车辆的控制方法及控制装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786178B1 (en) * 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
US9805423B1 (en) 2014-05-20 2017-10-31 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9786154B1 (en) 2014-07-21 2017-10-10 State Farm Mutual Automobile Insurance Company Methods of facilitating emergency assistance
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US20160063332A1 (en) * 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of external sourced information to a driver
US20160063761A1 (en) * 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of spatial information based on driver attention assessment
EP2993083B1 (en) * 2014-09-04 2023-11-22 Nokia Technologies Oy Apparatus, method and computer program for controlling road user acknowledgement
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9472023B2 (en) 2014-10-06 2016-10-18 Toyota Jidosha Kabushiki Kaisha Safety system for augmenting roadway objects on a heads-up display
US10266180B1 (en) 2014-11-13 2019-04-23 State Farm Mutual Automobile Insurance Company Autonomous vehicle control assessment and selection
CN111880650A (zh) 2015-04-30 2020-11-03 谷歌有限责任公司 基于宽场雷达的手势识别
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
EP3885882A1 (en) 2015-04-30 2021-09-29 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US11107365B1 (en) 2015-08-28 2021-08-31 State Farm Mutual Automobile Insurance Company Vehicular driver evaluation
US11040725B2 (en) 2015-09-04 2021-06-22 Inrix Inc. Manual vehicle control notification
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10384678B1 (en) 2016-01-22 2019-08-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
DE102016201373A1 (de) * 2016-01-29 2017-08-03 Robert Bosch Gmbh Verfahren zu einer Erkennung von Objekten, insbesondere von dreidimensionalen Objekten
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
DE102017206585B4 (de) * 2017-04-19 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Insassenunterstützungsverfahren, Insassenunterstützungssystem und Fahrzeug
JP6638701B2 (ja) 2017-06-08 2020-01-29 トヨタ自動車株式会社 運転意識推定装置
US10654453B2 (en) * 2017-08-23 2020-05-19 Uatc Llc Systems and methods for low-latency braking action for an autonomous vehicle
DE102018213230A1 (de) * 2018-08-07 2020-02-13 Volkswagen Aktiengesellschaft Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung
US11192545B1 (en) 2018-12-05 2021-12-07 Waymo Llc Risk mitigation in speed planning
US20210139048A1 (en) * 2018-12-05 2021-05-13 Waymo Llc Tree policy planning for autonomous vehicle driving solutions
DE102019214004A1 (de) * 2019-09-13 2021-03-18 Robert Bosch Gmbh Verfahren zum Steuern einer Vorrichtung in einer Umgebung eines ungeschützten Verkehrsteilnehmers auf Basis eines ermittelten Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers
DE102021210571A1 (de) 2021-09-23 2023-03-23 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Vorrichtung zum Assistieren eines Fahrers eines Fahrzeugs, sowie Fahrzeug mit einer solchen Vorrichtung
DE102021214286B3 (de) 2021-12-14 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Kollisionswarnsystems eines Fahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199296A (ja) * 2000-01-17 2001-07-24 Matsushita Electric Ind Co Ltd 警報装置、振動体を有する運転座席、警報装置を車両に搭載した移動体
US20040239509A1 (en) * 2003-06-02 2004-12-02 Branislav Kisacanin Target awareness determination system and method
JP2005231450A (ja) * 2004-02-18 2005-09-02 Honda Motor Co Ltd 車両用障害物検出装置
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
DE102010061922A1 (de) * 2010-10-11 2012-04-12 Hyundai Motor Co. Mit einer Blickrichtung eines Fahrers gekoppeltes System und Verfahren zum Alarmieren einer Frontalaufprallgefahr und ein dasselbe verwendendes Fahrzeug

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US7899616B2 (en) * 1997-10-22 2011-03-01 Intelligent Technologies International, Inc. Method for obtaining information about objects outside of a vehicle
DE19951001C2 (de) 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2006327527A (ja) * 2005-05-30 2006-12-07 Honda Motor Co Ltd 車両の走行安全装置
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP4926437B2 (ja) * 2005-09-28 2012-05-09 富士重工業株式会社 車両の運転支援装置
US7884705B2 (en) 2005-12-12 2011-02-08 Panasonic Corporation Safety-drive assistance device
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP4231884B2 (ja) * 2006-09-27 2009-03-04 株式会社デンソーアイティーラボラトリ 注視対象物検出装置および注視対象物検出方法
US20100007728A1 (en) * 2006-10-13 2010-01-14 Continental Teves Ag & Co., Ohg System for Determining Objects
GB0625912D0 (en) * 2006-12-22 2007-02-07 Bid Instr Ltd Method for visual field testing
JP2009237776A (ja) 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
DE102011084367A1 (de) 2011-10-12 2013-04-18 Bayerische Motoren Werke Aktiengesellschaft Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes
US9702966B2 (en) * 2013-09-16 2017-07-11 Appareo Systems, Llc Synthetic underwater visualization system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199296A (ja) * 2000-01-17 2001-07-24 Matsushita Electric Ind Co Ltd 警報装置、振動体を有する運転座席、警報装置を車両に搭載した移動体
US20040239509A1 (en) * 2003-06-02 2004-12-02 Branislav Kisacanin Target awareness determination system and method
JP2005231450A (ja) * 2004-02-18 2005-09-02 Honda Motor Co Ltd 車両用障害物検出装置
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
DE102010061922A1 (de) * 2010-10-11 2012-04-12 Hyundai Motor Co. Mit einer Blickrichtung eines Fahrers gekoppeltes System und Verfahren zum Alarmieren einer Frontalaufprallgefahr und ein dasselbe verwendendes Fahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109562763A (zh) * 2016-08-09 2019-04-02 日产自动车株式会社 自动驾驶车辆的控制方法及控制装置
CN109562763B (zh) * 2016-08-09 2021-05-04 日产自动车株式会社 自动驾驶车辆的控制方法及控制装置

Also Published As

Publication number Publication date
DE102012214852A1 (de) 2014-02-27
WO2014029738A1 (de) 2014-02-27
CN104584102B (zh) 2017-07-11
DE102012214852B4 (de) 2024-01-18
US10009580B2 (en) 2018-06-26
US20150229885A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
CN104584102A (zh) 用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法
EP3342661B1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US9797734B2 (en) Object recognition apparatus
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US9734390B2 (en) Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle as well as passenger protection system of a vehicle
CN111439199B (zh) 报告装置
EP2061687B1 (en) Sight-line end estimation device and driving assist device
JP5718942B2 (ja) 輸送手段の安全な運転を補助する装置及び方法
CN107399326B (zh) 可分级驾驶员辅助系统
US7480570B2 (en) Feature target selection for countermeasure performance within a vehicle
CN112141124A (zh) 用于车辆的辅助驾驶系统及其操作方法
CN113264047B (zh) 车辆控制装置及存储车辆控制用程序的非易失性存储介质
CN112078475B (zh) 鉴于对交通状态而言重要的对象辅助驾驶员的方法和车辆
JP2012523053A (ja) 少なくとも一つのドライバー支援機能を提供するデータ処理システム及び方法
US11755022B2 (en) Vehicle control device
JP7156011B2 (ja) 情報提示装置
CN112649809A (zh) 在车辆中融合传感器数据的系统和方法
US20200031273A1 (en) System for exchanging information between vehicles and control method thereof
CN112771592A (zh) 用于警告机动车的驾驶员的方法和控制设备及具有这种控制设备的机动车
US20210350703A1 (en) Method and apparatus to prevent vru accidents
WO2020031695A1 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
CN114655113B (zh) 报告装置
JP2018200701A (ja) 車両用制御装置
US10867397B2 (en) Vehicle with a driving assistance system with a low power mode
EP4201745A1 (en) Automotive sensing system and gating camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant