CN110494904B - 用于运行用于车辆的辅助系统的方法和辅助系统 - Google Patents

用于运行用于车辆的辅助系统的方法和辅助系统 Download PDF

Info

Publication number
CN110494904B
CN110494904B CN201880024694.9A CN201880024694A CN110494904B CN 110494904 B CN110494904 B CN 110494904B CN 201880024694 A CN201880024694 A CN 201880024694A CN 110494904 B CN110494904 B CN 110494904B
Authority
CN
China
Prior art keywords
feature value
range
ascertaining
driver
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880024694.9A
Other languages
English (en)
Other versions
CN110494904A (zh
Inventor
J·沃尔特斯
F·巴德
M·布卢默
M·布赫纳
J·尼曼
M·沃尔弗拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN110494904A publication Critical patent/CN110494904A/zh
Application granted granted Critical
Publication of CN110494904B publication Critical patent/CN110494904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

给出一种用于运行用于车辆的辅助系统的方法。所述辅助系统包括：用于查明物体特征值的物体传感器装置，物体特征值代表物体在车辆的周围环境中的坐标；和用于查明方向特征值及查明位置特征值的视线传感器装置，方向特征值代表视线方向，位置特征值代表头部位置。查明物体特征值、方向特征值及位置特征值；根据位置特征值和物体特征值来查明投影特征值，投影特征值代表将头部位置与物体相连接的矢量；根据方向特征值与位置特征值查明第一范围特征值，第一范围特征值代表估计的主要视野；根据第一范围特征值和投影特征值来查明注意力特征值，注意力特征值代表物体处于视野中的概率；根据注意力特征值来激活车辆的警报功能。给出一种相应的辅助系统。

Description

用于运行用于车辆的辅助系统的方法和辅助系统
技术领域
本发明涉及一种用于运行用于车辆的辅助系统的方法以及一种相应的辅助系统、计算机程序和计算机程序产品。
背景技术
当今的车辆可以包括传感器单元、例如摄像机传感器，所述摄像机传感器例如借助于面部特征来采集用户的头部姿态、视线方向和/或位置。以此为根据例如能够查明驾驶员的疲劳。
发明内容
基于本发明的目的在于，实现一种用于运行用于车辆的辅助系统的方法以及一种相应的辅助系统，其为精确地查明驾驶员的注意力做贡献。
所述目的通过一种用于运行用于车辆的辅助系统的方法、一种用于车辆的辅助系统和一种计算机存储介质来实现。
按照第一方面，本发明涉及一种用于运行用于车辆的辅助系统的方法。所述辅助系统包括：用于查明物体特征值的物体传感器装置，所述物体特征值代表物体在车辆的周围环境中的坐标；和用于查明方向特征值以及用于查明位置特征值的视线传感器装置，所述方向特征值代表车辆驾驶员的视线方向，所述位置特征值代表驾驶员的头部位置。
在所述方法中，查明所述物体特征值、方向特征值以及位置特征值；根据所述位置特征值和物体特征值来查明投影特征值，所述投影特征值代表将头部位置与物体相连接的矢量；根据所述方向特征值与位置特征值查明第一范围特征值，所述第一范围特征值代表驾驶员的估计的主要视野；接着，根据所述第一范围特征值和投影特征值来查明注意力特征值，所述注意力特征值代表物体至少部分地处于驾驶员的视野中、特别是处于驾驶员的估计的主要视野中的概率；最后根据所述注意力特征值来激活车辆的警报功能。
这能以有利的方式实现车辆的警报功能与对驾驶员的相应的警报时刻的相协调。特别是可以通过注意力特征值给出，驾驶员能够以何种程度感知在周围环境中的各个物体，从而能够保证不输出不必要的警报或者过晚地才发出其它的警报。
所述视线传感器装置特别是可以是摄像机。所述方向特征值可以描述或者包括视线方向矢量。备选地或附加地，所述方向特征值可以描述驾驶员的头部姿态。所述头部姿态可以包括头部的转动和/或倾斜。头部姿态例如可以通过鼻矢量来描述。
所述物体传感器装置同样可以是摄像机。备选地或附加地，所述物体传感器装置可以包括雷达和/或激光雷达传感器单元或类似的传感机构。所述物体特征值可以描述或者包括物体中点的坐标。备选地或附加地，物体特征值也可以包括物体朝向车辆的轮廓的坐标或其朝向车辆的整个表面的坐标。所述物体例如可以是其它车辆、障碍物、道路边界或交通提示牌。特别是，所述物体是突出于道路走向的物体，其需要驾驶员注意。就这点而言，特别是应当提到其它的车辆或交通参与者、例如横向交通。在此和以下将利用车辆的周围环境来描述关于车辆在外部的三维空间，特别是在驾驶员的视线距离和/或方向内的部分范围。
所述驾驶员的估计的主要视野例如相应于围绕鼻矢量的圆或椭圆锥体的基面。锥体的张角例如可以在0°至90°之间、特别是对于最清晰的视力范围例如为0°至2°之间，对于分辨标识例如为5°至10°之间，对于感知外形例如为5°至30°之间，或者对于感知颜色例如为30°至60°之间。关于车辆在水平线中的张角(偏转角，英语为“yaw”)可以与关于车辆在垂直线中的张角(倾斜角，英语为“pitch”)相区分。例如在水平中的张角为直至90°，而在竖直中例如仅为直至70°。所述估计的主要视野也可以称作有用视野。特别是，所述估计的主要视野可以描述驾驶员在90％的驾驶时间内所观察的范围。换句话说，所述估计的主要视野描述驾驶员可能感知到物体的范围。
作为车辆的警报功能，考虑在听觉上、触觉上或者视觉上的提示。例如可以将视觉上的提示有针对性地投影到驾驶员的视野中，从而可见地突出该物体。
在按照第一方面的一种有利的实施方式中，根据所述方向特征值和投影特征值来查明角度特征值，所述角度特征值代表在视线方向与将头部位置与物体相连接的矢量之间的最小角度。根据所述角度特征值来查明注意力特征值。
就这点而言，在视线方向与以下矢量之间的角度理解为最小角度，所述矢量将头部位置与物体的处于与所估计的主要视野的范围最近的坐标相连接。换句话说，所述坐标因此可以描述物体轮廓的点，该点在物体的平面内最接近于视线方向或鼻矢量的参考点(Aufpunkt)。
在按照第一方面的另一种有利的实施方式中，所述方向特征值代表驾驶员的头部姿态。因此，所述方向特征值特别是描述鼻矢量，而不是实际的视线方向矢量。这样可以以有利的方式放弃将高分辨率的摄像机作为视线传感器装置。这为低成本地制造所述辅助系统做贡献。
在按照第一方面的另一种有利的实施方式中，所述第一范围特征值代表围绕视线方向最大水平偏差为直至5°至10°的范围。
就这点而言，所述视线方向特征值特别是涉及鼻矢量。所述第一范围特征值特别是描述了上面提到的具有偏差为(水平的)张角的圆或椭圆锥体的基面。
在按照第一方面的另一种有利的实施方式中，根据所述方向特征值与位置特征值来查明第二范围特征值，所述第二范围特征值代表驾驶员的估计的边缘视野。根据所述第二范围特征值来查明注意力特征值。
这能以有利的方式实现在估计时的分级：驾驶员能够以何种程度感知在周围环境中的各个物体。特别是，这能实现改善地协调车辆的警报功能与对驾驶员的相应的警报时刻。在这种情况下，用于边缘地感知物体的围绕鼻矢量的锥体的(水平)张角例如可以为60°至90°之间。就这点而言，所述注意力特征值特别是可以给出物体处于驾驶员的估计的主要视野之内的概率以及物体处于驾驶员的估计的边缘视野之内的概率。
在按照第一方面的另一种有利的实施方式中，所述第二范围特征值代表围绕视线方向最大水平偏差为直至90°和最大竖直偏差为直至70°的范围。
在按照第一方面的另一种有利的实施方式中，根据所述方向特征值与位置特征值来查明第三范围特征值，所述第三范围特征值代表无法被驾驶员感知的视野。根据所述第三范围特征值来查明注意力特征值。
这能以有利的方式实现在估计时的另一种分级：驾驶员能够以何种程度感知在周围环境中的各个物体。特别是，这能实现改善地协调车辆的警报功能与对驾驶员的相应的警报时刻。在此，所述第三范围特征值例如代表围绕鼻矢量超过90°的水平偏差和/或超过70°的竖直偏差的范围。就这点而言，所述注意力特征值特别是可以给出物体处于驾驶员的估计的主要视野内的概率、物体处于驾驶员的估计的边缘视野内的概率以及物体处于驾驶员的视野之外的概率。
在按照第一方面的另一种有利的实施方式中，
-在所述角度特征值代表在第二范围之外的角度的情况下，将注意力特征值与第一状态相关联；
-在所述角度特征值代表在第二范围之内且在第一范围之外的角度的情况下，将注意力特征值与第二状态相关联；并且
-在所述角度特征值代表在第一范围之内的角度的情况下，将注意力特征值与第三状态相关联。
根据与注意力特征值相关联的状态来激活车辆的警报功能。
如果所述注意力特征值与第三状态相关联，则例如可以放弃警报功能。在这种情况下可以认为驾驶员已感知到物体。而如果注意力特征值与第一状态相关联，则可以认为驾驶员未感知到物体。在这种情况下例如输出听觉上的和/或触觉上的和/或视觉上的提示。如果注意力特征值与第二状态相关联，则假定物体至少边缘地被驾驶员感知。相应地，可以减少或抑制警报。这样能够以有利的方式避免对驾驶员的过度刺激；因此，在危险情况下或类似情况下能够为驾驶员对车辆的警报作出反应而做贡献。
在按照第一方面的另一种有利的实施方式中，所述方向特征值代表驾驶员的视线方向矢量。所述方向特征值特别是包括实际的视线方向矢量。此外，所述投影特征值代表将头部位置与物体的轮廓相连接的矢量场。根据所述投影特征值和方向特征值来查明注意力特征值的第四状态，所述第四状态代表驾驶员的视线方向处于物体的轮廓之内的概率。备选地或附加地，根据所述投影特征值和方向特征值来查明注意力特征值的第五状态，所述第五状态代表物体至少部分地处于驾驶员边缘视野之内的概率。
这样能够以有利的方式获得关于驾驶员的注意力的精确结论。
所述矢量场特别是包括一个或多个矢量。所述第四状态例如描述了视线方向矢量遇到物体表面的情况。在代替鼻矢量查明视线方向矢量的情况下，第四状态能够提供比第三状态更准确的结论。所述第五状态例如描述了视线方向矢量未遇到物体表面的情况，不过该物体处于围绕视线方向矢量的边缘感知的范围内。在代替鼻矢量查明视线方向矢量的情况下，所述第五状态能够比第二状态提供更准确的结论。所述第二和/或第三状态在这种情况下特别是可以用作可选的后备情形(Rückfallposition)。
按照第二方面，本发明涉及一种用于车辆的辅助系统。所述辅助系统包括：用于查明物体特征值的物体传感器装置，所述物体特征值代表物体在车辆的周围环境中的坐标；和用于查明方向特征值以及用于查明位置特征值的视线传感器装置，所述方向特征值代表车辆驾驶员的视线方向，所述位置特征值代表驾驶员的头部位置。此外，所述辅助系统包括控制单元，所述控制单元设置为用于实施按照第一方面的方法。
按照第三方面，本发明涉及一种用于运行辅助系统的计算机程序。所述计算机程序构成为，当所述计算机程序在数据处理装置上执行时实施按照第一方面的方法。
按照第四方面，本发明涉及一种包括可执行程序代码的计算机程序产品。所述程序代码在通过数据处理装置执行时实施按照第一方面的方法。
附图说明
以下借助于各示意性附图更详细地阐明本发明的各实施例。图中：
图1示出具有按照本发明的辅助系统的车辆；
图2以俯视图示出驾驶员的示例性的视野；
图3以透视图示出驾驶员的示例性的视野；以及
图4示出用于运行按照图1的辅助系统的方法的示例性流程图。
具体实施方式
跨附图地，相同结构或功能的元件配设有相同的附图标记。
图1示出具有辅助系统10的车辆，所述辅助系统设置为用于，探测驾驶员看向的可能的方向(以下“视线方向”)，并且根据所述方向引入其它步骤。例如可以使用所查明的视线方向来监视驾驶员的注意力并且必要时发出警报。
所述辅助系统10包括具有摄像机的(未详细示出的)视线传感器装置，所述视线传感器装置朝向驾驶员地设置，并且设置为用于例如借助于如眼睛和/或鼻子位置的面部特征将驾驶员的视线方向2检测为方向特征值并且将驾驶员的头部位置3检测为位置特征值。在此，特别是查明驾驶员的头部姿态、即其头部的倾斜度和/或偏转角，以便能够确认驾驶员在哪些范围内具有良好的可视能力。视线方向例如相应于鼻矢量2a(参见图3)。此外，所述视线传感器单元可以包括可选的照明装置。
所述辅助系统10还包括具有摄像机、雷达或激光雷达传感器单元的(未详细示出的)物体传感器装置，所述物体传感器装置背离驾驶员地设置，并且设置为用于检测物体20，并且将所述物体关于车辆或驾驶员的空间位置检测为物体特征值。在此，特别是可以提供物体轮廓的坐标或者至少是物体中点的坐标。
此外，所述辅助系统10包括具有数据与程序存储器的(未详细示出的)控制单元，在所述数据与程序存储器中存储有用于运行所述辅助系统10的程序，以下借助于图2的流程图更详细地阐明所述辅助系统。
在步骤S1中，启动所述程序，在该步骤中例如初始化各变量。此外，通过物体传感器装置查明物体特征值以及通过视线传感器装置查明方向特征值与位置特征值。所述程序随后在步骤S3中继续。
在步骤S3中根据所述位置特征值和物体特征值来查明投影特征值，所述投影特征值代表将头部位置3与物体20相连接的矢量4(参见图1)。所述程序随后在步骤S5a中继续。
在步骤S5a中根据所述方向特征值与位置特征值查明第一范围特征值，所述第一范围特征值代表驾驶员的估计的主要视野B1(参见图3-4)。所述主要视野B1当前是以围绕鼻矢量2a最大水平偏差约60°的范围。所述范围也可以视为圆或椭圆锥体的基面。在此，按照对于精确度的要求，所述主要视野B1可以包括多个子范围。因此，可以将主要视野B1划分成：具有最大水平偏差为5°至10°的范围B1'，在该范围内驾驶员(恰好还)能够分辨出标识；具有最大水平偏差为5°至30°的范围B1”，在该范围内驾驶员(恰好还)能够感知出外形；以及具有最大水平偏差为30°至60°的范围B1”'，在该范围内驾驶员(恰好还)能够感知出颜色。
在当前的实施方式变型方案中，所述主要视野B1表示最大水平偏差为直至7°和最大竖直偏差为直至9°的范围。所述范围也可以表示为有用视野。
在该实施方式变型方案中，所述程序随后在步骤S5b中继续。然而，在另外的实施方式变型方案中，所述程序也可以在步骤S5c或者S7中继续。
在步骤S5b中根据所述方向特征值与位置特征值查明第二范围特征值，所述第二范围特征值代表驾驶员的估计的边缘视野B2。所述边缘视野B2当前是围绕鼻矢量2a最大水平偏差直至94°的范围。在此，如在图3中示出的那样，所述水平偏差可以非对称地围绕鼻矢量2a。然而，一只眼睛到鼻子的受限的视线范围通过相应的另一只眼睛来补偿。
作为所述水平偏差的下极限可以使用所述主要视野B1所使用的上极限、即例如最大60°。在当前的实施例中所述下极限为7°。此外，最大竖直偏差为直至70°。边缘视野B2的偏差的下极限可以类似于上述描述地给出，并且例如为9°。
在该实施方式变型方案中，所述程序随后在步骤S5c中继续。然而，在另外的实施方式变型方案中，所述程序也可以在步骤S7中继续。
在步骤S5c中根据所述方向特征值与位置特征值查明第三范围特征值，所述第三范围特征值代表无法被驾驶员感知的视野B3。所述无法感知的视野B3特别是涉及在所述边缘视野B2之外的范围。就这点而言，所述水平偏差特别是超过90°、例如超过94°。备选地或附加地，所述竖直偏差在此例如超过70°。如在图4中所示的那样，物体20在主要和边缘视野B1、B2之外，并且因此无法被驾驶员感知。所述程序随后在步骤S7中继续。
在步骤S7中根据所述方向特征值和投影特征值来查明角度特征值，所述角度特征值代表在视线方向2与将头部位置3与物体20相连接的矢量4之间的最小角度φ(参见图1)。所述程序随后在步骤S9中继续。
在步骤S9中，根据所述角度特征值和相应的范围特征值来查明注意力特征值，所述注意力特征值代表物体20至少部分地处于驾驶员的视野内的概率。就这点而言，在步骤S9中特别是检验：
-角度φ是否处于边缘视野B3之外。在这种情况下将所述注意力特征值与第一状态相关联；
-角度φ是否处于边缘视野B2之内并且处于主要视野B1之外。在这种情况下将注意力特征值与第二状态相关联；或者
-角度φ是否处于主要视野B1之内。在这种情况下将注意力特征值与第三状态相关联。
在此，例如仅将所查明的角度φ与上面列举的临界角度相比较。所述程序随后在步骤S11中继续。
在步骤S11中根据所述注意力特征值来激活车辆的警报功能。例如仅当注意力特征值与第一状态相关联时，才输出警报。接着，所述程序结束。
在未示出的第二实施例中，所述视线传感器装置设置为，附加于头部姿态，例如借助于驾驶员的瞳孔位置，将实际的视线方向矢量查明为视线方向2。所述程序步骤S1和S3类似于按照图2的流程图来实施。然而，所述投影特征值在这种情况下代表将头部位置3与物体20的轮廓相连接的矢量场。所述程序紧接于步骤S3在步骤S4中继续。
在步骤S4中，根据所述投影特征值和方向特征值来查明注意力特征值的第四状态，所述第四状态代表驾驶员的视线方向处于物体的轮廓之内的概率。因此，特别是在步骤S4中查明所述视线方向矢量是否遇到物体20的朝向车辆的表面。为此例如可以同样查明在矢量场的各个矢量4与视线方向矢量之间的相应的角度并且将它们相比较。如果所述注意力特征值与第四状态相关联，则可以认为驾驶员已经以较高的可靠性感知到物体。于是可以放弃警报。所述程序随后可以结束。
备选地，在所述视线方向矢量没有遇到物体20的朝向车辆的表面的情况下，检验物体20是否处于驾驶员的边缘视野B2内。就这点而言，类似于步骤S5a至S9，特别是检验在实际的视线方向矢量2与矢量4之间的角度φ是否处于边缘视野B2之内和主要视野B1之外。如果情况如此，则可以认为驾驶员已经以较高的可靠性边缘地感知到物体。就这点而言，将所述注意力特征值与第五状态相关联。于是，例如可以同样放弃警报。所述程序随后可以结束。
在所述视线传感器装置在运行中降级的情况下，即例如不再能够给出关于视线方向矢量的可靠的结论，然而还能够查明头部姿态，所述程序可以在按照图2的流程图的相应的程序步骤中继续，以便仅借助于第一、第二和第三状态来查明所述注意力特征值。
通过所描述的方法以有利的方式提供给车辆如下信息：在车辆的周围环境中的哪些物体能被驾驶员感知或可能感知。因此，所列举的各状态(第一至第五状态)例如可以用作警报功能的输出的基础和/或作为输出信号提供给车辆的其它辅助系统。这特别是能实现将信息与娱乐供应的播放适配于驾驶员的周围环境。
总之，这能通过查明驾驶员能够以何种程度感知在周围环境中的各个物体来实现。这通过由对准驾驶员的摄像机查明驾驶员的头部姿态与位置来实现。为了保证产品的经济性，例如放弃查明驾驶员的视角，这将需要具有更高分辨率的摄像机。使用驾驶员的头部姿态与位置来计算至由车辆测量的物体的最小角度。至物体的所述最小角度用于确定物体是否处于以下三个范围中的任意一个范围内：
-可能被驾驶员看到：如果至物体的角度足够小，使得物体与有用视野相交，即驾驶员的眼睛在90％驾驶时间内所处于的范围中。
-可能在边缘的范围内被驾驶员看到：如果物体未处于第一范围内，但尽管如此所述物体还是在可以被驾驶员边缘地感知的范围内。
-看不到：如果至物体的角度足够大，使得其无法被驾驶员感知。
有利地，所述辅助系统对于传感器特性的适配可以是可扩展的。如果视线传感器装置构成为用于查明驾驶员视角，则代替头部姿态使用该视角来分析。由此，上面所列举的三种基础状态能围绕以下各状态扩展：
-看到：驾驶员的视线与物体表面相交。
-边缘地看到：驾驶员的视线未与物体表面相交，但所述物体可靠地处于边缘范围内。
在视线传感器装置在运行中降级到仅能够查明头部姿态的状态的情况下，则上面所列举的三种基础状态可以用作后备情形以用于分析。
附图标记列表
10 辅助系统
20 物体
2 视线方向
2a 鼻矢量
3 头部位置
4 矢量
φ 角度
B1...B3 视野
Sl...S11 程序步骤

Claims (10)

1.用于运行用于车辆的辅助系统(10)的方法，所述辅助系统包括物体传感器装置和视线传感器装置，其中，在所述方法中：
-通过所述物体传感器装置来查明物体特征值，所述物体特征值代表物体(20)在车辆的周围环境中的坐标，所述周围环境是关于车辆在外部的三维空间，
-通过所述视线传感器装置来查明方向特征值，所述方向特征值代表车辆驾驶员的视线方向(2)，以及通过所述视线传感器装置来查明位置特征值，所述位置特征值代表驾驶员的头部位置(3)，
-根据所述位置特征值和物体特征值来查明投影特征值，所述投影特征值代表将头部位置(3)与物体(20)相连接的矢量(4)，
-根据所述方向特征值与位置特征值来查明第一范围特征值，所述第一范围特征值代表驾驶员的估计的主要视野(B1)，
-根据所述方向特征值与位置特征值来查明第二范围特征值，所述第二范围特征值代表驾驶员的估计的边缘视野，并且
-根据所述第一范围特征值、所述第二范围特征值和投影特征值来查明注意力特征值，所述注意力特征值代表物体(20)至少部分地处于驾驶员的视野中的概率，并且
-根据所述注意力特征值来激活车辆的警报功能。
2.按照权利要求1所述的方法，其中，
-根据所述方向特征值和投影特征值来查明角度特征值，所述角度特征值代表在视线方向(2)与将头部位置(3)与物体(20)相连接的矢量(4)之间的最小角度(φ)，并且
-根据所述角度特征值来查明注意力特征值。
3.按照权利要求1或2所述的方法，其中，所述方向特征值代表驾驶员的头部姿态。
4.按照权利要求1或2所述的方法，其中，所述第一范围特征值代表围绕视线方向最大水平偏差为直至5°至10°的范围。
5.按照权利要求1或2所述的方法，其中，所述第二范围特征值代表围绕视线方向最大水平偏差为直至90°和最大竖直偏差为直至70°的范围。
6.按照权利要求1或2所述的方法，其中，
-根据所述方向特征值与位置特征值来查明第三范围特征值，所述第三范围特征值代表无法被驾驶员感知的视野，并且
-根据所述第三范围特征值来查明注意力特征值。
7.按照权利要求2所述的方法，其中
-在所述角度特征值代表在第二范围之外的角度的情况下，将注意力特征值与第一状态相关联；
-在所述角度特征值代表在第二范围之内且在第一范围之外的角度的情况下，将注意力特征值与第二状态相关联；并且
-在所述角度特征值代表在第一范围之内的角度的情况下，将注意力特征值与第三状态相关联，其中，
-根据与注意力特征值相关联的状态来激活车辆的警报功能。
8.按照权利要求1或2所述的方法，其中，
-所述方向特征值代表驾驶员的视线方向矢量，
-所述投影特征值代表将头部位置与物体的轮廓相连接的矢量场，
-根据所述投影特征值和方向特征值来查明注意力特征值的第四状态，所述第四状态代表驾驶员的视线方向处于物体的轮廓之内的概率，并且
-根据所述投影特征值和方向特征值来查明注意力特征值的第五状态，所述第五状态代表物体至少部分地处于驾驶员边缘视野之内的概率。
9.用于车辆的辅助系统，包括
-用于查明物体特征值的物体传感器装置，所述物体特征值代表物体在车辆的周围环境中的坐标，所述周围环境是关于车辆在外部的三维空间，
-用于查明方向特征值以及用于查明位置特征值的视线传感器装置，所述方向特征值代表车辆驾驶员的视线方向，所述位置特征值代表驾驶员的头部位置，以及
-控制单元，其设置为用于实施按照权利要求1至8之一所述的方法。
10.计算机存储介质，在所述计算机存储介质上存储有计算机程序产品，所述计算机程序产品包括可执行程序代码，其中，所述程序代码在通过数据处理装置执行时实施按照权利要求1至8之一所述的方法。
CN201880024694.9A 2017-08-21 2018-05-16 用于运行用于车辆的辅助系统的方法和辅助系统 Active CN110494904B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017214505.6 2017-08-21
DE102017214505.6A DE102017214505A1 (de) 2017-08-21 2017-08-21 Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
PCT/EP2018/062667 WO2019037905A1 (de) 2017-08-21 2018-05-16 Verfahren zum betreiben eines assistenzsystems für ein fahrzeug und assistenzsystem

Publications (2)

Publication Number Publication Date
CN110494904A CN110494904A (zh) 2019-11-22
CN110494904B true CN110494904B (zh) 2022-04-05

Family

ID=62486549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024694.9A Active CN110494904B (zh) 2017-08-21 2018-05-16 用于运行用于车辆的辅助系统的方法和辅助系统

Country Status (5)

Country Link
US (1) US11551460B2 (zh)
EP (1) EP3673475A1 (zh)
CN (1) CN110494904B (zh)
DE (1) DE102017214505A1 (zh)
WO (1) WO2019037905A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7138133B2 (ja) * 2020-03-16 2022-09-15 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
US11854318B1 (en) 2020-12-16 2023-12-26 Zoox, Inc. User interface for vehicle monitoring
US11753029B1 (en) * 2020-12-16 2023-09-12 Zoox, Inc. Off-screen object indications for a vehicle user interface
US11328591B1 (en) * 2021-01-25 2022-05-10 Ford Global Technologies, Llc Driver assistance system for drivers using bioptic lenses
DE102021107961A1 (de) 2021-03-30 2022-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung einer Blickrichtung

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10030813B4 (de) * 2000-06-23 2004-02-12 Daimlerchrysler Ag Aufmerksamkeitssteuerung für Bediener einer technischen Einrichtung
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
JP2009237776A (ja) * 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
DE102009002979A1 (de) * 2009-05-11 2010-11-18 Robert Bosch Gmbh Projektionsanzeigevorrichtung für Fahrzeuge
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
DE102012211368A1 (de) * 2012-06-29 2014-01-02 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs mit einem Fahrassistenzsystem
US20140070934A1 (en) 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
CN102910130B (zh) * 2012-10-24 2015-08-05 浙江工业大学 一种现实增强型的驾驶辅助预警系统
DE102012022691A1 (de) * 2012-11-20 2014-05-22 Daimler Ag Objekt-Darstellung auf Headup-Displays in Abhängigkeit eines Nutzerblicks
JP2014120111A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
JP6136238B2 (ja) * 2012-12-19 2017-05-31 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
JP6136237B2 (ja) * 2012-12-19 2017-05-31 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
JP6007848B2 (ja) * 2013-03-28 2016-10-12 富士通株式会社 目視確認評価装置、方法及びプログラム
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
DE102013213236A1 (de) * 2013-07-05 2015-01-08 Robert Bosch Gmbh Verfahren zum Ermitteln eines Aufmerksamkeitsgrads eines Fahrzeugführers
KR102113767B1 (ko) * 2013-11-28 2020-05-21 현대모비스 주식회사 운전자 상태 감지 장치 및 그 방법
JP6292054B2 (ja) * 2013-11-29 2018-03-14 富士通株式会社 運転支援装置、方法、及びプログラム
JP6102733B2 (ja) * 2013-12-27 2017-03-29 トヨタ自動車株式会社 車両周辺監視装置
DE102014214088A1 (de) * 2014-07-21 2016-01-21 Robert Bosch Gmbh Fahrerinformationssystem in einem Fahrzeug
JP6319350B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
DE102015206200A1 (de) 2015-04-08 2016-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aufmerksamkeitserkennung eines Fahrzeugführers
DE102016208405A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness

Also Published As

Publication number Publication date
US20200065597A1 (en) 2020-02-27
WO2019037905A1 (de) 2019-02-28
DE102017214505A1 (de) 2019-02-21
US11551460B2 (en) 2023-01-10
EP3673475A1 (de) 2020-07-01
CN110494904A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110494904B (zh) 用于运行用于车辆的辅助系统的方法和辅助系统
US10009580B2 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
US9817237B2 (en) Head-up display device
US10088899B2 (en) Eye gaze tracking utilizing surface normal identification
US20170269684A1 (en) Vehicle display device
US11034294B2 (en) Driving notification method and driving notification system
JP6381807B2 (ja) 表示制御装置、表示装置および表示制御方法
CN105966311B (zh) 用于校准摄像机的方法、车辆用的设备和计算机程序产品
CN108263379A (zh) 基于姿势信息的行人检测和行人碰撞预防装置和方法
WO2010067770A1 (ja) 立体物出現検知装置
US11325472B2 (en) Line-of-sight guidance device
EP3575929B1 (en) Eye tracking application in virtual reality and augmented reality
US20180257565A1 (en) Drive assist apparatus
US10893228B2 (en) System and method for displaying information in a vehicle
US11562576B2 (en) Dynamic adjustment of augmented reality image
KR20150125767A (ko) 차량용 카메라의 교정판 제공 방법
US9330319B2 (en) Apparatus for compensating camera image and operating method thereof
SE536984C2 (sv) System och metod för att visa information på en fönsterrutai ett fordon med en spegel monterad utanför fönsterrutan
JP2009251761A (ja) 運転支援システム
JP6482431B2 (ja) 表示制御装置、表示装置および表示制御方法
US20230043992A1 (en) Pupil detection device, line-of-sight detection device, occupant monitoring system, and pupil detection method
CN112470465B (zh) 俯瞰图像生成装置以及计算机可读存储介质
US20210129751A1 (en) Side and rear reflection controller and side and rear reflection control method
JP2009110065A (ja) 運転支援装置
CN115079812A (zh) 一种基于计算机视觉的ar/mr防恐高方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant