CN115667044A - 用于确定反应能力的方法 - Google Patents

用于确定反应能力的方法 Download PDF

Info

Publication number
CN115667044A
CN115667044A CN202180036497.0A CN202180036497A CN115667044A CN 115667044 A CN115667044 A CN 115667044A CN 202180036497 A CN202180036497 A CN 202180036497A CN 115667044 A CN115667044 A CN 115667044A
Authority
CN
China
Prior art keywords
vehicle
vehicle user
predetermined
user
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180036497.0A
Other languages
English (en)
Inventor
R·拉阿鲁西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of CN115667044A publication Critical patent/CN115667044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Abstract

本发明涉及一种用于依据司机监视摄像头的所采集的图像数据来确定在车辆(1)的自动驾驶中的车辆使用者(2)的反应能力的方法。根据本发明规定，依据车辆侧存在的数字地图数据和/或依据车辆侧采集的传感器数据来确定当前的车辆环境中的至少一个预先确定的相关对象(O)是否位于车辆使用者(2)的视野内；在当前的车辆环境中的至少一个测知的预先确定的相关对象(O)的情况下，依据司机监视摄像头的所采集的图像数据来确定车辆使用者(2)以何种持续时间和/或频繁度将其视线对准测知的至少一个预先确定的相关对象(O)；并且在确定的低于预先确定的最短持续时间的持续时间时和/或在视线游移的确定的低于最小频繁度的频繁度时，车辆使用者(2)的反应能力被评定为无。

Description

用于确定反应能力的方法
技术领域
本发明涉及一种用于依据司机监视摄像头的所采集的图像数据来确定车辆的自动驾驶中的车辆使用者的反应能力的方法。
背景技术
DE 10 2015 001 686 B4公开一种用于识别在机动车的自动驾驶时的司机的反应能力的方法和装置。在此，借助对司机的摄像头监视来进行反应能力的第一评估，其中，通过识别司机对操作单元的操作来进行反应能力的第二评估。当第一评估和/或第二评估已经识别出存在反应能力时，反应能力被分类为有。在借助对司机的摄像头监视实现反应能力的第一评估中，当司机的至少一只眼睛在预先确定的时间间隔的最小部分期间张开时，则被分类为有反应能力。当操作单元的操作由并非司机的人执行或以周期性的方式执行时，则未被分类为有反应能力。
另外，DE 10 2016 011 246 A1描述一种用于监测车辆的至少一位乘客的状态的方法。该方法规定，乘客的头部借助至少一个交替通断的光源被照亮。由乘客的眼睛反射的光借助至少一个传感器被检测，其中，附加地检查反射是否依据光源照明而变化，并且测知乘客的至少一个眼睑活动和/或头部运动。
发明内容
本发明的任务是，说明一种用于确定在车辆的自动驾驶中的车辆使用者的反应能力的方法。
根据本发明，该任务通过一种具有权利要求1所述的特征的方法来完成。
本发明的有利的设计方案是从属权利要求的主题。
根据本发明，一种用于依据司机监视摄像头的所采集的图像数据来确定在车辆的自动驾驶中的车辆使用者的反应能力的方法规定，依据车辆侧存在的数字地图数据和/或依据车辆侧采集的传感器数据来确定，当前的车辆环境中的至少一个预先确定的对象是否位于车辆使用者的视野内。在当前的车辆环境中的至少一个被测知的预先确定的对象的情况下，依据司机监视摄像头的所检测的图像数据来确定，车辆使用者以何种持续时间和/或频繁度将其视线对准测知的至少一个预先确定的对象，并且在确定的低于预先确定的最短持续时间的持续时间时和/或在视线游移的确定的低于最小频繁度的频繁度时，车辆使用者的反应能力被评定为无。
通过使用该方法，在车辆完全执行驾驶任务的自动驾驶期间内的车辆的车辆使用者的反应能力可被确定。在此，车辆使用者是指在人工驾驶中执行车辆的驾驶任务的人员。
尤其查明反应能力以确定车辆使用者是否在由系统决定的与驾驶任务相关的接管请求时能正确地做出反应，并且为此正确掌握当前的状况。对此，状况意识的前提是能看到车辆外的取决于状况的相关对象和/或区域并且也感知它。
在该方法的一个实施方式中，当对象在车辆的人工驾驶中以预先确定的持续时间和/或频繁度位于车辆使用者的视野中时，即当车辆使用者将其视线以预先确定的持续时间和/或频繁度对准该对象时，并且当该对象在车辆控制中被车辆使用者予以考虑时，这种对象被预先确定为相关的。
如果依据拍摄的图像数据检测到车辆使用者的视线根本没有对准或比较短暂地对准预先确定的相关对象，则解读为车辆使用者未感知到预先确定的相关对象并与此相应地至少具有低的反应能力。
在该方法的一个可能的实施方式中，至少一个位于车辆之前、侧面和/或之后的其它车辆、交通标志、光信号设备、警示灯、车道标线、反光柱、引导栏杆、防撞护栏和/或桥墩作为对象在确定车辆使用者的反应能力时被预先确定和/或考虑为相关对象。
因此，这种对象被视为相关的并且被预先确定为能够和/或应该影响车辆控制且进而在车辆的人工驾驶中的车辆使用者的驾驶方式的对象。
该方法的一个改进方案规定，与车辆使用者的视野相关的预先确定的对象的尺寸、可见度、相对位置和/或绝对位置被查明和/或予以考虑。由此可以检测到车辆使用者是否能够从车辆完全看到这种预先确定的对象。
为此，该方法的一个设计规定，车辆使用者的视向作为视线向量被确定，其被推断以确定视野。尤其地，视线向量被推断为朝向车外，并且确定推断的视线向量是否对准预先确定的相关对象，以及预先确定的相关区域因此是否位于车辆使用者的视野内。
尤其地，该方法的另一个可能的设计规定，将车辆使用者的瞳孔之间的中心点预先确定为视线向量的起点。尤其当眼睛在车辆使用者的头部正向取向的情况下笔直前视时，将瞳孔之间的中心点预先确定为起点。视线向量的起点的确定用于将作为区域的预先确定的相关对象尤其投射至挡风玻璃并且依据该区域来查明车辆使用者是否该区域。
在另一个设计中，依据预先确定的相关对象的形状和/或尺寸来限定其周围区域。尤其地，当预先确定的相关对象具有比较复杂的形状和/或尺寸时，其周围区域被限定。限定的区域越小，则可以越精确地实现视线对象配属，从而能够探测预先确定的相关对象是否位于车辆使用者的视野内并且该预先确定的相关对象是否可被车辆使用者识别。
如果测知多个对象，则在一个可能的设计中依据对象的位置、尺寸和/或材料特性来评定与预先确定的相关对象相关的可见度。即，预先确定的相关对象的可见度被检查，从而基本上能确保预先确定的相关对象处于车辆使用者的视野内，而未被另一对象遮挡。即，检查预先确定的相关对象是否可让车辆使用者看到。
在一个可能的改进方案中，依据瞥视行为分析以车辆使用者专属的方式确定感知度和/或状况意识，其中，将车辆使用者的瞥视行为与常见的瞥视行为相比较。所述比较尤其基于车辆使用者在人工驾驶期间的所探测的瞥视行为和在自动驾驶中的瞥视行为，从而可以确定车辆使用者是否在车辆的自动驾驶中已感知预先确定的相关对象、例如交通标志。
如果基于车辆使用者的瞥视行为确定不存在尤其用于接管驾驶任务的反应能力，则在车辆内发出至少一个通知，车辆使用者应该在预定的时间段内对该通知做出应答。
在此，发出该通知以便又生成车辆使用者的反应能力，从而他在接管请求时能够答应请求。
附图说明
以下将结合图来详细解释本发明的实施例，其中：
图1示意性示出具有车辆内的车辆使用者的视线向量的三个视图，
图2示意性示出在两个不同的位置中的车辆使用者以及相应的视线向量，
图3以前视图和侧视图示意性示出车辆使用者和视线向量的标记的起点，
图4示意性示出在两个不同的位置中的车辆使用者和对象至挡风玻璃上的投射区域，
图5示意性示出用于确定在车辆的自动驾驶中的车辆使用者的反应能力的方法过程。
彼此对应的零部件在所有附图中带有相同的附图标记。
具体实施方式
图1示出具有包含两条车道F1、F2的公路段F的三个不同的视图，其中，一台车辆1在右车道F1上行驶，并且该图1示出在图2至4中示出的车辆使用者2(其在人工驾驶中是车辆1的司机)的视线向量V。其它车辆3在上视图和中间视图中也在右车道F1上行驶并且在下视图中在左车道F2上行驶。
车辆使用者2的视线向量V在所有三个视图中是相同的，其中，车辆使用者2相应观看不同的对象O。
在第一视图A1中，视线向量V对准作为对象O的在车辆1前方行驶的其它车辆3。
在第二视图A2中，车辆1意图变道至左车道F2，其中，车辆1已靠边行驶，从而视线向量V对准左车道F2。
在第三视图A3中，其它车辆3在左车道F2上行驶，并且车辆1在右车道F1上行驶，其中，车辆使用者2的视线向量V笔直朝前、即对准右车道F1。
以下描述一种方法，其规定：确定车辆1的自动驾驶中的车辆使用者2的反应能力，其中，车辆使用者2的瞥视行为被测知和分析。
在车辆1中布置未被详细示出的司机监视摄像头，其在驾驶期间(无论是自动或是人工驾驶)连续采集图像数据，其中，该司机监视摄像头的采集区域对准车辆使用者2。
依据司机监视摄像头的所拍摄的图像数据来确定车辆使用者2的视向、即视线向量V。
在图1中，借助三个视图A1～A3尤其示出了，视线向量V不足以识别在车辆1外的、车辆使用者2的视线所对准的对象O和/或区域。
依据视线向量V和车辆1的几何形状数据可以确定车辆使用者2是否例如透过车辆1的挡风玻璃4向车辆1外部看，即其视线对准挡风玻璃4的方向。在此，无法实现下述配属，即，车辆使用者2的视线是否对准车辆1外的特定的对象O和/或特定的区域。
借助该方法，依据车辆使用者2的所确定的视线向量V和在车辆1外探测的对象O及其特性、例如其尺寸和位置来确定车辆使用者2是否看到对象O。
车辆使用者2看到对象O和/或区域是指，车辆使用者2的视线对准该对象O和/或该区域，并且该对象O和/或该区域在最短持续时间内位于车辆使用者2的视野内。
以下描述与由车辆使用者检测对象O相关的方法，其中，借助该方法相似地执行区域的检测。
由于要查明车辆使用者2的视线对准车辆1外的对象O达多长时间，故基本上可以排除的是，车辆使用者2的对状况感知几乎没有乃至完全没有贡献的、无意识的、比较迅速的视线未被予以考虑。
为了查明是否有车辆1外的对象O位于车辆使用者2的视野内，视线向量V被推断为向车辆1外。尤其当推断的视线向量V如图2所示对准对象O时，对象O被车辆使用者2检测和感知。
图2尤其示出处于两个坐姿S1、S2中的车辆使用者2和相应的推断的视线向量V、车辆1的极其简化的挡风玻璃4和车辆1外的两个对象O。在此，车辆使用者2在较低的并且更靠近挡风玻璃4的坐姿S1下看向作为对象O的限速用交通标志5并且在其它的借助虚线所示的另一坐姿S2下看向作为对象的其它车辆3。
车辆使用者2在相应的坐姿下看向另一对象O，其中，其视线关于挡风玻璃4对准一个且相同的点P。
在相应的对象O的比较复杂的形状和/或尺寸的情况下可以限定该对象O周围的区域，如图2所示。根据图2中的本实施例，作为对象O的交通标志5被虚拟矩形R包围。作为其替代，也可以将其它形状设定为限定的包围对象O的区域，其中，该区域越小，视线对象配属越精确。
附加地，尤其当多个对象O位于相同的区域中时，对象O的可见度被检查。例如如果两个对象O从车辆使用者2的视线来看位于其视野内，则车辆使用者2的推断的视线向量V能对准两个对象O。在这种情况下，更远的对象O可能被配属于车辆使用者2的视线的更近的对象O遮挡。
可以使用对象O的位置、大小和/或材料特性来评估对象O的可见度以及该对象被另一对象O的遮挡。
在一个实施方式中，对象O或对象O的区域被投射至尤其挡风玻璃4的表面A1、A2以确定对象O是否位于车辆使用者2的视野内。在此，如图4所示地，“对象O投射至挡风玻璃4的表面A1、A2”取决于许多参数、例如视线向量V的图3所示的起点C、对象O尤其相对于起点C的相对位置以及表面A的几何形状数据。
图3示出视线向量V的起点C的示例性的确定，其中，当眼睛7在头部8正前取向的情况下朝前直视时，起点C被预先确定为车辆使用者2的瞳孔6之间的中心点。
如果起点C的位置由于头部8的定位而变化，例如朝侧向方向变化，则表面A1、A2相应就位在挡风玻璃4上，如图4详细示出的那样。因此缘故，车辆使用者2的身材和坐姿在对象O投射至挡风玻璃4的表面A1、A2上时是无关紧要的。
图4示出处于两个不同的坐姿S1、S2中的车辆使用者2和呈其它车辆3形式的对象O的投射至挡风玻璃4的表面A1、A2上的区域。
图4还示出具有对象O的两个表面A1、A2的挡风玻璃4的前视图。
如果车辆使用者2具有坐姿S1，则呈其它车辆3形式的对象O被投射至挡风玻璃4的表面A1上，而在另一坐姿S2下的对象O被投射至挡风玻璃4的另一表面A2上。因此，对象O尤其与相应的坐姿S1、S2相关地被投射至挡风玻璃4的多个表面A1、A2上。
该方法规定瞥视行为分析，以便因此确定感知度和/或感知质量。为此，将车辆使用者2的瞥视行为与其尤其在车辆1的人工驾驶中的常见的瞥视行为相比较。因此，尤其可以确定在车辆1的自动驾驶中的车辆使用者2是否和/或以何种感知度和/或以何种感知质量感知预先确定的相关对象O、例如特定的交通标志5。为此，在多次执行的人工驾驶期间，车辆使用者2关于预先确定的相关对象O的类别、例如交通标志5的瞥视行为能够与其关于对象O的瞥视行为相比较。
如果例如根本没有检测到瞥视，或检测到看向预先确定的相关对象O的比较短时间的瞥视，尤其是低于最短持续时间的瞥视，则因此可以推导出车辆使用者2未感知到预先确定的相关对象O，和/或感知度和/或感知质量比较低。在此情况下可以规定，在仪表板的显示区域内显示预先确定的相关对象O、尤其是交通标志。
而如果依据瞥视行为分析确定车辆使用者2已经充分感知预先确定的相关对象O，则它未被显示。
也可以想到，常见的瞥视行为不仅以车辆使用者专属的方式被确定，而且也按照地点和/或按照状况被确定。如果车辆使用者2频繁驶过相同的路段，则可以确定在相应的路段的特定的地点处的车辆使用者2的瞥视行为的偏差。
该方法在一个可能的实施方式中规定，在车辆使用者2的某些工作状态和/或状态下执行瞥视行为分析。例如，车辆使用者2的瞥视行为可以在由系统决定地请求车辆使用者2接管驾驶任务的情况下被分析以评定其感知度和/或其感知质量或其状况意识。
相应的结果可以在系统侧在将驾驶责任转交至车辆使用者2时予以考虑。例如，车辆使用者2相对突然地决定执行特定的行动、例如变道。在此，依据尤其瞥视行为分析来确定车辆使用者2未检测到、即看到所有与该行动相关的对象O。例如，车辆使用者2未看到从后方接近的其它车辆3，其中，车辆使用者2与此相关地被通知和/或在系统侧禁止或不支持意图的行动。
另一个实施方式规定，多位车辆使用者2的视线数据用于确定大多数人的瞥视行为。由此可以查明哪些对象O可被预先确定为相关对象O并且大多数的车辆使用者2以何种感知度和/或以何种感知质量观察这些对象O。例如，所述对象O是其它车辆3、交通标志5、光信号设备、警示灯、车道标线、反光柱、防撞护栏、引导栏杆、桥墩等。
因此，依据车辆使用者2的瞥视行为来查明车辆使用者2是否具有足够的感知度和/或足够的感知质量或足够的状况意识。
如果是这种情况，则车辆使用者2的反应能力被评定为有。如果怀疑有降低的感知度和/或降低的感知质量或降低的状况意识，则车辆使用者2的反应能力被评定为无。
尤其地，当车辆使用者2例如未将其视线对准其中一个预先确定的相关对象O或低于与瞥视时间相关的最短持续时间时，反应能力被评定为无。
替代地或附加地，当视线游移的频繁度低于最小频繁度、即视线游移的所确定的频繁度低于预先确定的频繁度阈值时，反应能力被评定为无。视线游移的频繁度被如此确定，使得视线游移于不同的对象O之间的平均的持续时间被确定。该持续时间越短，则视线游移的频繁度越高。
视线游移的比较低的频繁度可以是车辆使用者2的分心的迹象，其中，分心可能源于自动驾驶不允许的额外动作。额外动作对于自动驾驶是不允许的，因为车辆使用者2可能过于专注于额外动作，并且因此将其视线很少乃至没有对准车辆1外的预先确定的相关对象O。
如上所述，预先确定的相关对象O是车辆使用者2在车辆1的人工驾驶中在相似的行车状况下所看到的并且与关于人工驾驶的决策、即车辆控制相关的对象O。
这样的相关对象O在车辆1当前所行驶的公路段上的所处位置是依据车辆侧存在的数字地图数据和/或依据车辆侧采集的传感器数据来确定的。
如果如上所述地确定不存在车辆使用者2的反应能力，则尤其在车辆侧采取措施来重新获得或重新生成反应能力。
待采取的措施是在车辆1内输出通知给车辆使用者2，车辆使用者2必须在预先确定的时间段内应答该通知以确认其反应能力。如果在预先确定的持续时间内并且也在一个或多个可能设定的升级阶段之后没有所需的应答，则车辆使用者2被请求接管驾驶任务。如果车辆使用者2也在预先确定的持续时间内未答应该请求，则将在自动驾驶中的车辆1有针对性地转入安全的停止状态。
当依据司机监视摄像头的所采集的图像数据识别出车辆使用者2打瞌睡时，也以相同方式行事。当车辆使用者2闭合其眼睛7达数秒(微睡眠)或更长时间时，存在打瞌睡。
除了确定车辆使用者2的视线游移的频繁度以外，还可以如此评估司机监视摄像头的所拍摄的图像数据，即确定车辆使用者2是否位于能接管的位置，即，车辆使用者2是否处于车辆使用者2能接管车辆1的驾驶任务的位置。
依据面貌识别，在拍摄的图像数据中识别车辆使用者2的头部8并且检查头部8是否位于预先确定的有效区域内。
另外，依据与拍摄的图像数据相关的图像处理方法来识别错觉
Figure BDA0003949897620000101
例如由图像、玩偶等造成的错觉，以便避免车辆使用者2假装其位于其车座上的误用情况。因此，例如可以基本上排除车辆使用者2离开其车座并且爬入车辆1的后座区域。
如果确定车辆使用者2未处于其车座上或能接管的位置，则结束自动驾驶，或者如果其未被激活，则不允许激活。
还可以规定，如在DE 10 2015 001 686 B4中所描述的那样，车辆使用者2的操作动作被测知并且车辆使用者2的头部8的眨眼和运动的速率被测知，以确定车辆使用者2的活动并且由此推断出其反应能力。
图5示出用于依据司机监视摄像头的所采集的图像数据确定在车辆1的自动驾驶中的车辆使用者2的反应能力的方法的过程概览。
在第一方法步骤V1中，依据车辆侧存在的地图数据和/或依据车辆侧采集的传感器数据来确定在车辆1前方的紧邻环境中是否存在预先确定的相关对象O。
第二方法步骤V2规定，依据司机监视摄像头的图像数据来确定车辆使用者2的视向，其中，在第三方法步骤V3中分类所测知的预先确定的相关对象O，在第四方法步骤V4中进行视线对象配属。尤其如此进行分类，即，确定相关对象O是否是交通标志5、尤其是标牌、即常见的标牌、带有速度说明的交通标志5或带有弯道速度说明的交通标志5或者是前行车辆。在前行车辆的情况下判断其它车辆3是否在车辆1的车道F1上行驶。
如果可以依据车辆使用者2的视向确定预先确定的相关对象O位于车辆使用者2的视野中，那么在第五方法步骤V5中确定是否可以依据车辆使用者2的瞥视行为来检测，车辆使用者2是否已经掌握与预先确定的相关对象O相关的特性。
在车辆1的存储器中存储有车辆使用者2的常见的瞥视行为的数据，这些数据在第六方法步骤V6中被调用，其中，在第七方法步骤V7中确定与所分类的相关对象O相关的车辆使用者2的常见的瞥视行为。
在第八方法步骤V8中，将自动驾驶中的车辆使用者2的当前的瞥视行为与尤其在车辆1的人工驾驶中的常见的瞥视行为相比较。
接着，在第九方法步骤V9中进行感知度和/或感知质量的评估，所述感知度和/或感知质量在第十方法步骤V10中与目标感知度或目标感知质量进行比较。
第十一方法步骤V11规定了，确认关于预先确定的相关对象O的感知，其中，在未实现确认的情况下，车辆使用者2的反应能力被评定为无。

Claims (10)

1.一种用于依据司机监视摄像头的所采集的图像数据来确定在车辆(1)自动驾驶中的车辆使用者(2)的反应能力的方法，其特征是，
-依据车辆侧存在的数字地图数据和/或依据车辆侧采集的传感器数据来确定当前的车辆环境中的至少一个预先确定的相关对象(O)是否位于该车辆使用者(2)的视野内，
-在当前的车辆环境中的至少一个测知的预先确定的相关对象(O)的情况下，依据司机监视摄像头的所采集的图像数据来确定该车辆使用者(2)以何种持续时间和/或频繁度将其视线对准测知的至少一个预先确定的相关对象(O)，并且
-在确定的低于预先确定的最短持续时间的持续时间时和/或在视线游移的确定的低于最小频繁度的频繁度时，该车辆使用者(2)的反应能力被评定为无。
2.根据权利要求1所述的方法，其特征是，当对象(O)在该车辆(1)的人工驾驶中以预先确定的持续时间和/或频繁度位于该车辆使用者(2)的视野中并且该对象(O)在车辆控制中被该车辆使用者(2)予以考虑时，这种对象(O)被预先确定为相关的。
3.根据权利要求1或2所述的方法，其特征是，至少一个位于该车辆(1)前面、侧面和/或后面的其它车辆(3)、交通标志(5)、光信号设备、警示灯、车道标线、反光柱、引导栏杆、防撞护栏和/或桥墩作为对象(O)在确定该车辆使用者(2)的反应能力时被预先确定和/或考虑为相关对象(O)。
4.根据前述权利要求之一所述的方法，其特征是，与该车辆使用者(2)的视野相关的预先确定的对象(O)的尺寸、可见度、相对位置和/或绝对位置被查明和/或考虑。
5.根据前述权利要求之一所述的方法，其特征是，该车辆使用者(2)的视向作为视线向量(V)被确定，该视线向量被推断以确定视野。
6.根据权利要求5所述的方法，其特征是，该车辆使用者(2)的瞳孔(6)之间的中心点被预先确定为该视线向量(V)的起点(C)。
7.根据前述权利要求之一所述的方法，其特征是，依据预先确定的相关对象(O)的形状和/或尺寸来限定其周围区域。
8.根据前述权利要求之一所述的方法，其特征是，在多个被测知的对象(O)的情况下，与预先确定的相关对象(O)相关的可见度依据该对象(O)的位置、尺寸和/或材料特性被评估。
9.根据前述权利要求之一所述的方法，其特征是，依据瞥视行为分析，以车辆使用者专属的方式确定感知度和/或状况意识。
10.根据前述权利要求之一所述的方法，其特征是，在确定该车辆使用者(2)没有反应能力时，在该车辆(1)中输出至少一个通知，该车辆使用者(2)应该在预先确定的时间段内应答该至少一个通知。
CN202180036497.0A 2020-05-19 2021-04-01 用于确定反应能力的方法 Pending CN115667044A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020003018.1A DE102020003018A1 (de) 2020-05-19 2020-05-19 Verfahren zur Ermittlung einer Reaktionsfähigkeit
DE102020003018.1 2020-05-19
PCT/EP2021/058735 WO2021233604A1 (de) 2020-05-19 2021-04-01 Verfahren zur ermittlung einer reaktionsfähigkeit

Publications (1)

Publication Number Publication Date
CN115667044A true CN115667044A (zh) 2023-01-31

Family

ID=75497897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180036497.0A Pending CN115667044A (zh) 2020-05-19 2021-04-01 用于确定反应能力的方法

Country Status (6)

Country Link
US (1) US20230242135A1 (zh)
JP (1) JP2023525895A (zh)
KR (1) KR20230004634A (zh)
CN (1) CN115667044A (zh)
DE (1) DE102020003018A1 (zh)
WO (1) WO2021233604A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230192100A1 (en) * 2021-12-22 2023-06-22 Arriver Software Llc Awareness checker for enhancing collaborative driving supervision
DE102022102002A1 (de) 2022-01-28 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Anpassung des Absicherungsverhaltens eines Fahrers eines Fahrzeugs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084367A1 (de) 2011-10-12 2013-04-18 Bayerische Motoren Werke Aktiengesellschaft Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes
DE102015001686B4 (de) 2015-02-07 2017-03-16 Daimler Ag Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
DE102016011246A1 (de) 2016-09-17 2017-04-13 Daimler Ag Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges
DE102017202194A1 (de) 2017-02-13 2018-08-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
DE112017006982T5 (de) * 2017-03-03 2019-10-31 Mitsubishi Electric Corporation Bedienungseignungsbeurteilungsvorrichtung,bedienungseignungsbeurteilungsverfahren undbedienungseignungsbeurteilungsprogramm
US9904287B1 (en) * 2017-05-04 2018-02-27 Toyota Research Institute, Inc. Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle
DE102017214535A1 (de) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Durchführung einer Fahrerassistenzfunktion eines Fahrzeuges
US10528832B2 (en) 2018-04-17 2020-01-07 GM Global Technology Operations LLC Methods and systems for processing driver attention data
US10849543B2 (en) 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
DE102018217183A1 (de) * 2018-10-09 2020-04-09 Audi Ag Erlernen einer Lichtverteilung für einen Scheinwerfer

Also Published As

Publication number Publication date
US20230242135A1 (en) 2023-08-03
WO2021233604A1 (de) 2021-11-25
DE102020003018A1 (de) 2021-11-25
JP2023525895A (ja) 2023-06-19
KR20230004634A (ko) 2023-01-06

Similar Documents

Publication Publication Date Title
JP6486640B2 (ja) 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
CN105825621B (zh) 用于驱动至少部分自动行驶的汽车的方法和装置
JP6540663B2 (ja) 車両システム
CN111660935B (zh) 车辆显示装置、显示控制方法和后视监视系统
JP6480143B2 (ja) 運転特性診断装置、運転特性診断システム、運転特性診断方法
US10009580B2 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
US10166918B2 (en) Drive assisting apparatus
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6705437B2 (ja) 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
CN112141124A (zh) 用于车辆的辅助驾驶系统及其操作方法
CN110383290B (zh) 用于确定车辆驾驶员注意力的装置，包括这种装置的车载系统以及相关方法
US20080204208A1 (en) Vehicle Surroundings Information Output System and Method For Outputting Vehicle Surroundings Information
JPH08178712A (ja) 漫然運転検出装置
CN112078475B (zh) 鉴于对交通状态而言重要的对象辅助驾驶员的方法和车辆
KR20180072519A (ko) 각막 반사 검출을 이용한 운전자 상태 모니터링
CN115667044A (zh) 用于确定反应能力的方法
US20150124097A1 (en) Optical reproduction and detection system in a vehicle
JP6187155B2 (ja) 注視対象物推定装置
JP6213435B2 (ja) 注意過多状態判定装置及び注意過多状態判定プログラム
JP2017033126A (ja) 安全運転促進装置及び安全運転促進方法
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
JP2017039373A (ja) 車両用映像表示システム
CN114872713A (zh) 一种驾驶员异常驾驶状态监测装置和方法
CN113631411B (zh) 显示控制装置、显示控制方法及记录介质
CN107776578B (zh) 车辆的显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination