CN110691726B - 用于评估驾驶员状态的方法和设备以及车辆 - Google Patents

用于评估驾驶员状态的方法和设备以及车辆 Download PDF

Info

Publication number
CN110691726B
CN110691726B CN201880036410.8A CN201880036410A CN110691726B CN 110691726 B CN110691726 B CN 110691726B CN 201880036410 A CN201880036410 A CN 201880036410A CN 110691726 B CN110691726 B CN 110691726B
Authority
CN
China
Prior art keywords
driver
vehicle
target point
section
solid angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880036410.8A
Other languages
English (en)
Other versions
CN110691726A (zh
Inventor
F·巴德
M·布赫纳
J·尼曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN110691726A publication Critical patent/CN110691726A/zh
Application granted granted Critical
Publication of CN110691726B publication Critical patent/CN110691726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及一种用于评估驾驶员状态的方法和设备以及一种车辆，其中，在检测步骤中，传感器辅助地检测到相对于车辆而定义的视野中的驾驶员视线方向，以及根据至少一个影响视野的参数来查明紧靠视线方向定向的立体角，并且在评估步骤中，驾驶员的三维环境的至少一个目标点借助于其关于所查明的立体角的方位来评估，并且根据该评估来确定并且输出与注意力相关的驾驶员状态。

Description

用于评估驾驶员状态的方法和设备以及车辆
技术领域
本发明涉及一种用于评估关于车辆、特别是机动车的驾驶员的驾驶员状态的方法和设备以及一种具有这样的设备的机动车。
背景技术
在一些情况下，为了控制车辆的功能、特别是辅助功能，对车辆驾驶员的关于涉及功能的目标的注意力的认识可能是必需的。例如可以规定，如果驾驶员未将或者仅不充分地将其注意力放到所谓的“死角”，则横向交通辅助装置阻碍行驶车道的改变。类似地，例如可以规定，如果驾驶员在堵塞的情况下行驶时未将其注意力放到停在其前方的车辆，则堵塞辅助装置自动地引入车辆的制动。
为了评定驾驶员关于这样的目标的注意力，从现有技术中已知监视驾驶员的视觉焦点。为此，可以检测头部定向、亦即头部关于车辆的纵向、横向和竖直轴线的倾斜，并且由此得出视线方向，借助于该视线方向还可以确认：所述目标是否位于驾驶员的视野中。
发明内容
本发明的目的在于，改善对关于车辆驾驶员的驾驶员状态的评估，特别是对驾驶员关于点或者目标的注意力进行更精确和/或更可靠的评估。
所述目的通过按照本发明的方法、按照本发明的设备以及按照本发明的具有这样的设备的车辆来实现。
本发明的第一方面涉及一种用于评估关于车辆、特别是机动车的驾驶员的驾驶员状态的方法，其中，所述方法具有以下步骤：(i)检测步骤，在所述检测步骤中，传感器辅助地检测到相对于车辆而定义的视野中的驾驶员视线方向，以及根据至少一个影响视野的参数来查明紧靠视线方向定向的立体角；和(ii)评估步骤，在所述评估步骤中，驾驶员的三维环境的至少一个目标点借助于其关于所查明的立体角的方位来评估，并且根据该评估来确定并且输出与注意力相关的驾驶员状态。
按本发明的意义，驾驶员的视野可以理解为驾驶员的三维环境中的如下区域，在给定头部定向的情况下驾驶员能在所述区域中在视觉上感知到目标。特别是，所述区域可能受其他目标限制、例如遮挡。按该意义，能在物理上测量或者至少估计所述视野，并且影响视野的参数例如可以涉及这些其他目标(例如车辆组件)的布置结构，所述其他目标阻碍了驾驶员的从车辆中出来的视线。特别是，驾驶员的视野是驾驶员的三维环境中的如下区域，驾驶员将其面部和因此其注意力主动地放到所述区域。按该意义，影响视野的参数也可以涉及引起头部定向和因此视野的变化的刺激、特别是在视觉上的刺激。
按本发明的意义，驾驶员的三维环境的目标点可以理解为表示目标的、特别是相对于驾驶员的位置的地点。目标点例如可以表示交通参与者的、特别是相对于驾驶员的位置，或者表示操作元件在车辆内部空间中、特别是相对于驾驶员的位置。因此，多个目标点也可以表示线和/或面、例如道路区域(特别是行驶车道)或仪表盘区域(特别是里程表或其他的显示装置)。
通过考虑至少一个表征对视野的影响的参数，可以查明或者至少估计：在驾驶员的三维环境中在所查明的立体角之内的哪个区域总是或至少特别明确和/或可靠地被驾驶员在视觉上感知。在此，根据驾驶员的视线方向查明立体角允许在空间上高分辨率地区分位于所述立体角之内或之外的各目标点，并且因此允许对关于至少一个目标点的驾驶员注意力进行可靠的评估。
在此，特别是能实现对关于所述至少一个目标点的驾驶员注意力的动态的监视。如果驾驶员、特别是驾驶员的头部也因此和驾驶员的视线方向运动，则根据按照本发明的方法也相应地重新定向所述立体角。即使仅稍微修正立体角在驾驶员的三维环境中的方位，其他的目标点由此也可能进入或离开所查明的立体角。因此，特别是能够以基本上在空间上连续的方式在驾驶员的三维环境中监视驾驶员关于至少一个目标点的注意力。
整体上，本发明能实现对车辆驾驶员关于在驾驶员的周围环境中的确定的目标的注意力进行可靠的评估。
在一种优选的实施方式中，在所述检测步骤中查明立体角，使得视线方向延伸穿过立体角的中心、特别是几何重心。在此，所述中心、特别是几何重心定义了驾驶员的注意力被评估为特别高的区域。由此，所述立体角能够可靠地给出驾驶员聚焦其注意力的区域。
优选关于立体角的中心、特别是几何重心来评估所述至少一个目标点的方位。在此，将在中心的区域中、特别是在中心附近的所述至少一个目标点的方位以优选的方式定义为驾驶员关于所述至少一个目标点的高注意力；而在立体角的边缘区域中、特别是在距立体角的中心的距离较大的所述至少一个目标点的方位定义为驾驶员的低注意力。由此，能够动态且差异化地查明驾驶员关于目标点的注意力。
在另一种优选的实施方式中，所述至少一个参数表征驾驶员的就坐位置和/或人体结构特性。优选地，传感器式地查明或者通过接口提供所述至少一个参数。
为此，可以由传感器设备、例如摄像机来检测驾驶员、特别是驾驶员的头部，其中，除了从在此产生的传感器数据中得出的头部定向之外，也优选得出头部在车辆中的位置、相对的眼睛位置(亦即眼睛相对于垂直于驾驶员面部延伸的方向的视线方向)和/或驾驶员的姿态。备选地或附加地，也可以通过用户界面(人机接口Man Machine Interface，MMI)由驾驶员输入所述至少一个参数。
所述至少一个参数特别是可以表征驾驶员的视力，例如驾驶员是否佩戴助视器和该助视器以何种程度限制驾驶员的视野，或者驾驶员的人体结构上的眼睛位置(亦即眼睛在驾驶员的头部上的方位)以何种程度影响视野。
借助于上面提到的每种实施方式，能够特别可靠且精确地查明立体角，由此，能实现对目标点在其方位方面参照立体角的相应准确的评估。
在另一种优选的实施方式中，根据车辆状态、特别是行驶情况动态地查明所述至少一个参数。由此可以考虑，在确定的车辆状态中或者在确定的行驶情况下，驾驶员的视野特别是在物理上和/或在心理上被限制。
如果车辆例如处于堵塞中，则驾驶员的视野基本上受限于紧邻的车辆周围环境。换句话说，驾驶员的视野被围绕该车辆的其他车辆所限制，使得例如穿行在停止的各车辆之间的摩托车驾驶员无法或者仅能受限地在视觉上被感知。类似的情况例如也同样适用于恶劣的天气条件、如下雪和/或雾。与此相应地，在视野受限的情况下，优选也可以相应地限制所述立体角，使得所述立体角仅覆盖视野的相应缩小的部分。
在另一种优选的实施方式中，所述至少一个参数表征车辆的速度。在速度增加的情况下，驾驶员的感知能力典型地更多地聚焦到位于驾驶员前方的道路区段上(所谓的“隧道视线(Tunnelblick)”)，从而驾驶员的视野随着速度的增加而可能更多地受限。因此，在速度增加的情况下，优选限制立体角范围。
在另一种优选的实施方式中，通过车辆的内部空间组件定义所述至少一个参数。在此，所述至少一个参数优选表征驾驶员头部的位置相对于可能妨碍驾驶员的视线的内部空间组件(例如后视镜、A、B和/或C柱、仪表盘、方向盘、导航显示器和/或诸如此类)的位置。通过如下方式能够在一定程度上查明立体角，即，将参照驾驶员的头部将位于所述内部空间组件之一后面的目标点可靠地评估为不被驾驶员注意到的。
在另一种优选的实施方式中，通过在车辆本身上预先确定的点给出驾驶员的三维环境的所述至少一个目标点。特别是，所述至少一个目标点是静态的、亦即位置固定的目标点，并且通过车辆功能的操作元件和/或通过车辆内部空间的几何形状给出。
在此，优选从车辆的模型、例如CAD模型中得出所述至少一个目标点的位置。在一种实施方式中，可以由车辆的网格模型的至少一个节点形成所述至少一个目标点。在此，优选可以根据驾驶员状态评估的预定的精确度来适配车辆的网格模型的网格点的空间密度。
通过将目标点构成为在车辆本身上预先确定的点而能够精确且可靠地检测：驾驶员是否已将其注意力放到车辆的单个目标点(例如操作元件)或者由多个目标点形成的操作面(例如显示器)。
在另一种优选的实施方式中，传感器式地检测一个或多个车辆外部的目标。特别是，所述检测出的车辆外部的目标中的每个目标可以定义驾驶员的三维环境的至少一个目标点。由此，也能够对驾驶员关于车辆外部的目标的注意力进行可靠的评估。
在另一种优选的实施方式中，借助于所查明的立体角来定义穿过该立体角的虚拟横截面以及根据该虚拟横截面距驾驶员的距离来定义所述横截面的侧向边界。优选地，对所述至少一个目标点的评估借助于目标点关于所查明的立体角的方位还以该目标点到虚拟横截面上的数学上的投影为基础来进行。在此，优选这样定义虚拟横截面，使得所述虚拟横截面基本上垂直于所查明的视线方向而定向。
优选地，穿过立体角的虚拟横截面基本上包含这样的面A，在该面上能按照公式Θ＝A/r2定义立体角Θ，其中，半径r优选是至驾驶员的距离，通过所述半径能按照所提到的公式定义立体角。在此，通过所查明的立体角与垂直于所查明的视线方向的平面的交线可以确定横截面的侧向边界。在此，特别是根据所述立体角，可以将所述虚拟横截面构成为圆形、椭圆形、矩形、梯形、平行四边形或不规则形状。
通过将所述至少一个目标点在数学上投影到虚拟横截面上，能够可靠且精确地查明驾驶员关于所述至少一个目标点的注意力。
在另一种优选的实施方式中，如果所述至少一个目标点在投影到虚拟横截面上时不位于虚拟横截面的侧向边界之内，则将所述至少一个目标点评估为不被驾驶员注意到的。这能实现对与驾驶员的注意力相关的目标点进行简单且快速的评估。
在另一种优选的实施方式中，如果所述至少一个目标点在投影到虚拟横截面上时位于虚拟横截面的侧向边界之内，则将所述至少一个目标点评估为被驾驶员注意到的。因此，借助于所述横截面的侧向边界可以将各目标点划分为：驾驶员由于外部条件完全无法注意到的目标点；和能够被驾驶员至少潜在地注意到的目标点。
在另一种优选的实施方式中，对所述至少一个目标点的评估表征驾驶员注意到所述至少一个目标点的概率。在此，所述概率可以用作对于驾驶员注意到目标点的度量。换句话说，借助于所述概率可以评估驾驶员对目标点的注意。在此，所述概率优选借助于目标点到虚拟横截面上的投影距立体角的中心、特别是中点(例如几何中心)的距离来查明，并且所述概率特别是与该距离成反比，亦即所述投影距立体角的中心的距离越小，所查明的驾驶员感知到目标点的概率越高。由此，可以将驾驶员的视野划分为驾驶员视觉上聚焦的、围绕着视线方向的中央视野和在立体角的边缘上的外围视野。因此，能够动态且差异化地进行对与驾驶员的注意力相关的至少一个目标点的评估。
在另一种优选的实施方式中，基于所输出的与注意力相关的驾驶员状态来控制车辆的功能。优选地，基于所输出的与注意力相关的驾驶员状态来控制一个或多个驾驶员辅助系统，因此在预定的行驶情况中，所述驾驶员辅助系统可以按照相应的驾驶员状态作出不同的反应。由此能够差异化地控制车辆的功能。
本发明的第二方面涉及一种用于查明车辆、特别是机动车的驾驶员的与注意力相关的驾驶员状态的设备，所述设备设置为用于实施按照本发明的第一方面的方法。
本发明的第三方面涉及一种车辆、特别是机动车，其具有按照本发明的第二方面的设备。
在技术上有意义的情况下，惯用本发明的第一方面及其有利的实施方式所描述的特征和优点也适用于本发明的所提到的其他方面及其相应的有利的实施方案以及反之亦然。
附图说明
由后续的结合各附图的描述得出本发明另外的特征、优点和应用可能性，在各附图中，对于本发明的相同或者彼此相对应的元件始终使用同一个附图标记。图中(至少部分示意性地)：
图1示出用于评估驾驶员状态的方法的实施例；
图2示出对于目标点的示例；以及
图3示出对于虚拟横截面的示例。
具体实施方式
图1示出了用于评估关于车辆、特别是机动车的驾驶员的驾驶员状态的方法1的一个实施例。
在检测步骤S1中检测参数，基于所述参数进行驾驶员状态评估。借助于传感器设备、例如安装在车辆的方向盘中的摄像机，可以检测驾驶员的头部姿态、就坐位置、人体结构和/或诸如此类的参数。首先，从这些参数中得出驾驶员的视线方向。
优选通过起始点(例如驾驶员的头部中点或者在驾驶员的两只眼睛之间、例如在鼻根的区域中的点)以及矢量来定义驾驶员的视线方向。所述起始点和所述矢量可以在坐标系、例如车辆坐标系中给出。所述视线方向特别是可以理解为具有定义的方向和定义的起始点的射线。驾驶员的视线方向可以提供对驾驶员的视野的初步的粗略的估计。
在检测步骤S1的子步骤S1a中，通过借助于所述参数来查明紧靠视线方向定向的立体角，进一步精细化驾驶员视野的确定。所述立体角也可以理解为视锥，其中，位于所述立体角之内的目标可以被驾驶员在视觉上感知。以优选的方式查明所述立体角或者说视锥，使得其原点位于视线方向的起始点。
借助于所述参数例如查明立体角的张角、亦即围绕视线方向的角度范围。在此，所述立体角
为了能够按照数学上的方式参照立体角来判断目标点的位置(应当关于该目标来评估驾驶员的注意力)，在检测步骤S1的第二子步骤S1b中，优选地借助于所查明的立体角定义穿过所述立体角的虚拟横截面。在此，所述虚拟横截面以优选的方式垂直于视线方向，并且不仅沿水平方向(亦即沿着车辆的横向轴线)而且沿竖直方向(亦即沿着车辆的竖直轴线)具有有限的延伸尺寸。
在此，水平和竖直的边界可以与所述虚拟横截面距驾驶员、特别是距驾驶员的视线方向的起始点、例如距其头部中点的距离有关。如果虚拟横截面例如被定义在距驾驶员低的距离内，则所述虚拟横截面仅具有小的面积。与此相反地，如果虚拟横截面被定义在距驾驶员较高的距离内，则所述虚拟横截面具有较大的面积。
在此优选地，虚拟横截面的尺寸、特别是虚拟横截面的空间边界给出对于驾驶员视野的尺寸的度量。
虚拟横截面、特别是其空间边界的确定与在立体角区域上传感器式地检测出的参数有关。涉及到查明立体角或定义虚拟横截面中的参数也称为影响驾驶员视野的参数。
从这些影响驾驶员视野的参数、例如驾驶员的人体结构和/或就坐位置得出视野的界限、特别是得出虚拟横截面的水平和/或竖直的边界。备选地或附加地，借助于影响驾驶员视野的参数也确定所述虚拟横截面距驾驶员的距离。
影响驾驶员视野的参数可以涉及在车辆的内部空间中的目标特别是相对于驾驶员的头部的布置结构，所述目标妨碍了驾驶员的从车辆中出来的视线。
对于这样的目标的示例为A、B和/或C柱、后视镜、仪表盘或仪表盘的部分和/或诸如此类。特别是仪表盘或仪表盘的部分形成了水平线，在该水平线之下，驾驶员无法在视觉上感知车辆外部的目标。
影响驾驶员视野的另一个参数可以涉及驾驶员的视力，特别是如果所述视野被助视器水平或竖直地限制，或者如果人体结构上的眼睛位置妨碍所述视野的话。
影响驾驶员视野的另一个参数也可以通过外部的状况给出、亦即发生视野的受心理相关的影响的情况。在车辆速度高的情况下，在驾驶员方面例如可能出现所谓的隧道视野，驾驶员的视野通过所述隧道视野被缩小。因此，在速度较高的情况下，可以更靠近驾驶员的头部定义所述虚拟横截面。
在目标检测步骤S2中检测目标的目标点，所述目标应当与驾驶员的注意力相关地被评估。在此，各目标点定义了相应目标相对于车辆和/或相对于驾驶员、特别是相对于驾驶员的头部的位置。所述目标点例如可以是在车辆坐标系中的点。
通过例如借助于摄像机、雷达传感器、激光雷达传感器、超声波传感器和/或诸如此类传感器式地检测车辆外部的目标来查明车辆外部的目标(例如其他交通参与者)的目标点。
优选在数据库中预留并且在目标检测步骤S2中读取车辆内部的目标(例如车辆内部设施的组件、如方向盘、车辆状态显示器和/或车辆功能操作元件)的目标点。
在映射步骤S3中，查明所检测的目标点关于立体角的方位。为此，可以将所述目标点投影到虚拟横截面上，在此查明所述目标点的投影距横截面的空间边界和/或距横截面的中心(例如横截面与视线方向的交点)的距离。横截面的中心特别是可以为立体角的几何重心。
优选借助于映射矩阵将所述目标点投影到横截面上，所述映射矩阵在应用到目标点上时引起目标点的透视映射。在此，可能必需的是，将目标点从一个坐标系(例如车辆坐标系)转换到另一个坐标系(例如驾驶员的头部或者虚拟横截面的坐标系)中。在此，必要时必须不同地转换不同的目标点、例如车辆外部目标的目标点和车辆内部目标的目标点，例如从车辆周围环境的外部坐标系或者车辆内部空间的内部坐标系进行转换。
在评估步骤S4中，评估所检测的目标点关于立体角的所查明的方位、特别是在虚拟横截面上的所查明的方位。位于立体角之外或其投影位于横截面的空间边界之外的目标点位于驾驶员的视野之外并且因此无法被驾驶员在视觉上感知。将这些目标点评估为未被注意到的。
位于立体角之内或其投影位于横截面的空间边界之内的目标点被评估为位于驾驶员的视野之内，并且因此将其评估为至少潜在地被注意到的。这些目标点能够至少潜在地被驾驶员在视觉上感知。
对驾驶员关于目标点的注意力的评估可以根据目标点的投影距立体角的或虚拟横截面的中心的距离、例如根据距视线方向的距离来进行。与其投影位于虚拟横截面的边缘区域中、亦即位于虚拟横截面的空间边界附近并且因此具有距中心更大的距离的目标点相比，其投影位于中心的附近的目标点以更高的概率被驾驶员感知。
在此，也可以与驾驶员的注意力相关地评估由多个目标点所定义的线和/或面。为此，查明由多个目标点所定义的线和/或面与虚拟横截面的相交长度或面积。于是，根据所述相交长度或面积的大小可以查明驾驶员感知到由多个目标点所定义的线或面的概率。
在图2中示出了在车辆的驾驶室中的目标点2的示例，所述目标点定义了目标在坐标系、例如车辆坐标系中的位置。
可以将所述目标点2划分为两组：通过在车辆本身中或上的目标给出的并且在以下也被称为车辆内部目标点的目标点2；和通过车辆外部的目标给出的并且在以下也被称为车辆外部目标点的目标点2。
通过在车辆本身中或上的目标给出的目标点2可以定义车辆的操作元件3的位置(例如在车辆的仪表盘4上)或者车辆的结构组件6(例如车辆的A柱)。在此，多个目标点2也可以定义如下面5，在所述面中例如给驾驶员显示与车辆状态相关的信息。
车辆内部的目标点优选由车辆、特别是车辆内部空间的线网格模型的节点形成。在此，所述线网格模型可以描述车辆内部空间的轮廓，其中，在所述轮廓上设置有相应于各操作元件的各个目标点2。
车辆外部的目标点通过传感器式地检测车辆周围环境来查明，例如通过借助于一个或多个摄像机、雷达传感器、激光雷达传感器、超声波传感器和/或诸如此类来监视车辆周围环境。
借助于所查明的视线方向和基于该视线方向的立体角或借助于立体角所查明的穿过所述立体角的虚拟横截面7可以评估：确定的目标点2是否位于驾驶员的视野中并且特别是以何种概率被驾驶员感知。
在此，优选评估目标点2相对于虚拟横截面7、特别是相对于虚拟横截面7的中心7a的方位，所述中心例如通过虚拟横截面7与驾驶员的视线方向的交点来定义。
在所示出的示例中，车辆外部目标点2a比车辆内部目标点2b更接近于虚拟横截面7的中心7a，所述车辆外部目标点给出其他车辆在车辆坐标系中的位置，所述车辆内部目标点给出车辆的操作元件在车辆坐标系中的位置。相应地，相比于所述操作元件，驾驶员以更高概率感知所述其他车辆。
在图3中示出了虚拟横截面7的示例，以车辆的驾驶员9的视线方向8和借助于所述视线方向8所查明的立体角10为基础查明了该虚拟横截面。在此，所述虚拟横截面7可以理解为驾驶员9的视野。
为了查明对与目标相关的注意力的评估，所述目标的位置通过目标点2a给出，将该目标的目标点2a投影到虚拟横截面7上。所投影的目标点2a'关于虚拟横截面7、特别是在虚拟横截面7上的方位给出所述目标被驾驶员9感知的概率。
在此，相比于具有相应的目标点2b的、其投影的目标点2b'位于虚拟横截面7的边缘区域中、特别是位于虚拟横截面7的通过立体角10形成的空间边界的区域中的目标，其投影的目标点2a'位于虚拟横截面7的中心7a的区域中、特别是位于虚拟横截面7与视线方向8的交点附近的目标以更高的概率被感知。
通过传感器式地检测或借助于传感器式地检测出的、影响驾驶员9的视野的至少一个参数来查明视线方向8、立体角10和/或虚拟横截面7。在此，影响驾驶员9的视野的所述至少一个参数可以定义立体角10的尺寸或虚拟横截面7的空间边界。
如果例如以提高的速度行驶车辆，则将限制驾驶员9的视野。这在口语上被称为隧道视线。在所示出的示例中，这通过另一虚拟横截面7'表示，其距驾驶员9的头部的距离d'比虚拟横截面7距驾驶员9的头部的距离d更大。在速度提高的情况下可以被理解为驾驶员9的视野的所述另外的虚拟横截面7'在空间上被更小的立体角10'限制。由此，在速度提高的情况下，驾驶员9不再感知具有目标点2b的目标。
附图标记列表
1 用于评估驾驶员状态的方法
2、2a、2b 目标点
2a'、2b' 投影的目标点
3 操作元件
4 仪表盘
5 面
6 车辆内部空间的组件
7、7' 虚拟横截面
7a 虚拟横截面的中心
8 视线方向
9 驾驶员
10 立体角
S1-S4 方法步骤

Claims (17)

1.用于评估关于车辆的驾驶员(9)的驾驶员状态的方法(1)，其中，所述方法具有以下步骤：
检测步骤(S1)，在所述检测步骤中，传感器辅助地检测到相对于车辆而定义的视野中的驾驶员(9)视线方向(8)，以及根据至少一个影响视野的参数来查明紧靠视线方向(8)定向的立体角(10)；以及
评估步骤(S4)，在所述评估步骤中，对驾驶员(9)所处的三维环境的至少一个目标点(2)借助于其关于所查明的立体角(10)的方位来评估，并且根据该评估来确定并且输出与注意力相关的驾驶员状态，
其中，借助于所查明的立体角(10)来定义穿过该立体角(10)的虚拟横截面(7)以及根据该虚拟横截面距驾驶员(9)的距离来定义所述虚拟横截面(7)的侧向边界，其中，所述虚拟横截面距驾驶员的距离借助于所述至少一个影响驾驶员视野的参数确定；并且
对所述至少一个目标点(2)的评估借助于所述目标点关于所查明的立体角(10)的方位以该目标点(2)到虚拟横截面(7)上的数学上的投影为基础进行。
2.按照权利要求1所述的方法(1)，其中，在所述检测步骤中查明所述立体角(10)，使得所述视线方向(8)延伸穿过立体角(10)的中心。
3.按照权利要求1或2所述的方法(1)，其中，所述至少一个影响视野的参数表征驾驶员(9)的就坐位置和/或人体结构特性，并且传感器式地查明或通过接口提供所述至少一个影响视野的参数。
4.按照权利要求1或2所述的方法(1)，其中，根据车辆状态动态地查明所述至少一个影响视野的参数。
5.按照权利要求4所述的方法(1)，其中，所述至少一个影响视野的参数表征车辆的速度。
6.按照权利要求1或2所述的方法(1)，其中，通过车辆的内部空间组件(6)定义所述至少一个影响视野的参数。
7.按照权利要求1或2所述的方法(1)，其中，通过在车辆本身上的预先确定的点给出驾驶员(9)所处的三维环境的所述至少一个目标点(2)。
8.按照权利要求1所述的方法(1)，其中，传感器式地检测一个或多个车辆外部的目标，并且所述检测出的车辆外部的目标中的每个目标定义驾驶员(9)所处的三维环境的至少一个目标点(2)。
9.按照权利要求1所述的方法(1)，其中，如果所述至少一个目标点(2)在投影到虚拟横截面(7)上时不位于虚拟横截面(7)的侧向边界之内，则将所述至少一个目标点(2)评估为不被驾驶员(9)注意到的。
10.按照权利要求1或9所述的方法(1)，其中，如果所述至少一个目标点(2)在投影到虚拟横截面(7)上时位于虚拟横截面(7)的侧向边界之内，则将所述至少一个目标点(2)评估为被驾驶员(9)注意到的。
11.按照权利要求10所述的方法(1)，其中，对所述至少一个目标点(2)的评估表征驾驶员(9)注意到所述至少一个目标点(2)的概率。
12.按照权利要求1或2所述的方法(1)，其中，基于所输出的与注意力相关的驾驶员状态来控制车辆的功能。
13.按照权利要求1所述的方法(1)，其中，所述车辆是机动车。
14.用于查明车辆的驾驶员(9)的与注意力相关的驾驶员状态的设备，所述设备设置为用于实施按照权利要求1至13之一所述的方法(1)。
15.按照权利要求14所述的设备，其中，所述车辆是机动车。
16.具有按照权利要求14或15所述的设备的车辆。
17.按照权利要求16所述的车辆，其中，所述车辆是机动车。
CN201880036410.8A 2017-08-07 2018-07-19 用于评估驾驶员状态的方法和设备以及车辆 Active CN110691726B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017213679.0 2017-08-07
DE102017213679.0A DE102017213679A1 (de) 2017-08-07 2017-08-07 Verfahren und Vorrichtung zur Fahrerzustandsbewertung sowie Fahrzeug
PCT/EP2018/069594 WO2019029966A1 (de) 2017-08-07 2018-07-19 Verfahren und vorrichtung zur fahrerzustandsbewertung sowie fahrzeug

Publications (2)

Publication Number Publication Date
CN110691726A CN110691726A (zh) 2020-01-14
CN110691726B true CN110691726B (zh) 2023-03-28

Family

ID=63042004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036410.8A Active CN110691726B (zh) 2017-08-07 2018-07-19 用于评估驾驶员状态的方法和设备以及车辆

Country Status (4)

Country Link
US (1) US11628845B2 (zh)
CN (1) CN110691726B (zh)
DE (1) DE102017213679A1 (zh)
WO (1) WO2019029966A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213197A1 (de) 2021-11-23 2023-05-25 Volkswagen Aktiengesellschaft Verfahren zum Erfassen von mindestens einem Wahrnehmungsprofil eines Benutzers eines Fahrzeuges, Computerprogrammprodukt, Steuereinheit und Fahrzeug

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
CN102047304B (zh) * 2008-08-05 2013-04-03 松下电器产业株式会社 驾驶注意力程度判定装置、方法
DE102009002979A1 (de) * 2009-05-11 2010-11-18 Robert Bosch Gmbh Projektionsanzeigevorrichtung für Fahrzeuge
WO2013051307A1 (ja) * 2011-10-06 2013-04-11 本田技研工業株式会社 警報装置
US20130169785A1 (en) * 2011-12-30 2013-07-04 Agco Corporation Method of detecting and improving operator situational awareness on agricultural machines
JP5966640B2 (ja) * 2012-06-08 2016-08-10 株式会社豊田中央研究所 漫然運転検出装置及びプログラム
JP2014120111A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
DE102013203925B4 (de) * 2013-03-07 2015-10-22 Ifm Electronic Gmbh Steuersystem für Fahrzeugscheinwerfer
DE102013221526A1 (de) * 2013-10-23 2015-04-23 Robert Bosch Gmbh Steuervorrichtung für ein Fahrzeug, Anzeigevorrichtung und Verfahren zum Betreiben einer Anzeigeeinrichtung in einem Fahrzeug
JP6090129B2 (ja) * 2013-11-27 2017-03-08 株式会社デンソー 視認領域推定装置
JP6398182B2 (ja) * 2013-12-03 2018-10-03 日産自動車株式会社 信号情報提示装置
DE102013021150A1 (de) * 2013-12-13 2015-06-18 Man Truck & Bus Ag Verfahren zur Anzeige von optischen Informationen in Fahrzeugen
DE102014009638A1 (de) * 2014-06-27 2015-12-31 Audi Ag Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug
DE102015207474A1 (de) * 2015-04-23 2016-10-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Veränderung des Blickfelds oder Gesichtsfelds eines Fahrers eines Kraftfahrzeugs
US20180090002A1 (en) * 2015-08-03 2018-03-29 Mitsubishi Electric Corporation Display control apparatus, display device, and display control method
DE102015117610A1 (de) 2015-10-16 2017-04-20 Connaught Electronics Ltd. Verfahren zum Überprüfen einer Wahrnehmung eines visuellen Warnhinweises durch einen Fahrzeugnutzer, Fahrerassistenzsystem und Kraftfahrzeug
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
US10421459B2 (en) * 2016-12-20 2019-09-24 GM Global Technology Operations LLC Contextual-assessment vehicle systems

Also Published As

Publication number Publication date
WO2019029966A1 (de) 2019-02-14
CN110691726A (zh) 2020-01-14
DE102017213679A1 (de) 2019-02-07
US11628845B2 (en) 2023-04-18
US20200189602A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US9802540B2 (en) Process for representing vehicle surroundings information of a motor vehicle
US9947227B1 (en) Method of warning a driver of blind angles and a device for implementing the method
JP4702437B2 (ja) 車両用表示装置
EP2168815B1 (en) Method and device for detecting possibly colliding objects in a blind spot area
US7920070B2 (en) Parking guidance device and method thereof
US10609339B2 (en) System for and method of dynamically displaying images on a vehicle electronic display
US9952058B2 (en) Driver visibility detection system and method for detecting driver visibility
US20090021396A1 (en) Method and Device for Evaluating Distance Measuring Data of a Distance Measuring System of a Motor Vehicle
US10919450B2 (en) Image display device
KR20170000363A (ko) 차량, 특히 상용 차량을 위한 디스플레이 시스템
KR101552444B1 (ko) 시각 시스템
KR20180085718A (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
US20170043720A1 (en) Camera system for displaying an area exterior to a vehicle
JP4760562B2 (ja) 車両用周辺情報提示装置及び車両用周辺情報提示方法
JP7341149B2 (ja) 画像内のバーチャル細長距離目印と、コンピュータプログラム製品と、ディスプレイシステムとによって自動車の環境領域を表示する方法
EP2487666B1 (en) Method and driver assistance system for displaying images in a motor vehicle
KR20190099755A (ko) 차량 및 그 제어 방법
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN108422932B (zh) 驾驶辅助系统、方法和车辆
CN110691726B (zh) 用于评估驾驶员状态的方法和设备以及车辆
KR101826627B1 (ko) 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법
GB2558538A (en) A display system for a vehicle, a vehicle and method
CN110626267A (zh) 用于后视镜显示器的叠加界面
US20230026519A1 (en) Vehicle mirror image simulation
JP4400264B2 (ja) 移動物体危険判定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant