CN111806451A - 为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备 - Google Patents

为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备 Download PDF

Info

Publication number
CN111806451A
CN111806451A CN202010264569.4A CN202010264569A CN111806451A CN 111806451 A CN111806451 A CN 111806451A CN 202010264569 A CN202010264569 A CN 202010264569A CN 111806451 A CN111806451 A CN 111806451A
Authority
CN
China
Prior art keywords
fatigue
signal
driver
indicator signal
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010264569.4A
Other languages
English (en)
Inventor
B.施蒂勒
S.赫夫勒
V.勒费尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN111806451A publication Critical patent/CN111806451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road

Abstract

为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备。这里提出的项目涉及一种用于为车辆的驾驶辅助系统识别驾驶员疲劳的方法。在读取步骤中,至少读取第一指示器信号和第二指示器信号,并且可选地读取第三指示器信号,所述第一指示器信号代表由所述车辆的第一疲劳识别设备确定的所述驾驶员的第一疲劳参数,所述第二指示器信号代表由所述车辆的第二疲劳识别设备确定的所述驾驶员的第二疲劳参数,所述第三指示器信号代表由所述车辆的第三疲劳识别设备确定的所述驾驶员的第三疲劳参数。在确定步骤中确定这些指示器信号的有效性。在确定疲劳信号的步骤中使用这些指示器信号和这些有效性确定代表识别到的驾驶员疲劳的疲劳信号。

Description

为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备
技术领域
本项目(Ansatz)从根据独立权利要求的类型的设备或方法出发。计算机程序也是本项目的主题。
背景技术
有不同方法来确定车辆驾驶员的疲劳。
US 2016/0104486 A1和DE 10 2015 010 284 A1分别描述了一种用于操作车辆的辅助设备的方法。
发明内容
在这种背景下,利用这里提出的项目提出了根据独立权利要求的一种用于为车辆的驾驶辅助系统识别驾驶员疲劳的方法,一种使用该方法的控制设备以及最后一种相应的计算机程序。通过从属权利要求中讲述的措施,可以对独立权利要求中说明的设备进行有利的扩展和改进。
利用所提出的项目可以实现的优点在于,创建了特别可靠的驾驶员疲劳识别。
提出了一种用于为车辆的驾驶辅助系统识别驾驶员疲劳的方法。该方法包括读取步骤、确定步骤和确定疲劳信号的步骤。在所述读取步骤中,至少读取第一指示器信号、第二指示器信号以及可选地读取第三指示器信号,所述第一指示器信号代表由所述车辆的第一疲劳识别设备确定的所述驾驶员的第一疲劳参数,所述第二指示器信号代表由所述车辆的第二疲劳识别设备确定的所述驾驶员的第二疲劳参数,所述第三指示器信号代表由所述车辆的第三疲劳识别设备确定的所述驾驶员的第三疲劳参数。在所述确定步骤中,确定所述第一指示器信号的第一有效性、所述第二指示器信号的第二有效性以及可选地确定所述第三指示器信号的第三有效性。在所述确定疲劳信号的步骤中,使用所述第一指示器信号、使用所述第二指示器信号、可选地使用第三指示器信号、使用所述第一有效性、使用所述第二有效性以及可选地使用第三有效性来确定所述疲劳信号,所述疲劳信号代表识别到的驾驶员疲劳。
疲劳参数可以例如表明所述驾驶员的疲劳状态或疲劳程度。例如,疲劳参数可以表明所述驾驶员是否被评估为非常疲劳、有些疲劳或不疲劳。指示器信号的有效性可以表明由所述指示器信号代表的疲劳参数的正确性的概率。各个疲劳参数可能会有所不同,因为它们可以通过不同的方式加以确定。相应地,可以向这些疲劳参数分配不同的有效性。在所述确定步骤中,例如可以使用第一疲劳识别设备、第二疲劳识别设备和附加地或替代地使用第三疲劳识别设备的功能测试来确定所述第一有效性、所述第二有效性以及附加地或替代地确定第三有效性。从而例如当所述功能测试表明这些疲劳识别设备之一有故障时,可以相应地确定该疲劳识别设备的指示器信号的有效性,例如分类为低。在所述功能测试中,例如可以测试疲劳识别设备的照相机的操作功能,并且附加地或替代地可以检查所述照相机的照相机图像的质量。通过这种功能测试可以有利地非常精确地推断出各个疲劳参数的有效性。
在所述确定疲劳信号的步骤中做出关于驾驶员疲劳的最终决定之前,这里提出的方法有利地使用了来自不同疲劳识别设备的多个结果的组合以及对这些结果的验证,也就是对这些结果的有效性进行检查。因此,在所述确定疲劳信号的步骤中识别到的驾驶员疲劳作为经过验证的总体结果是非常有说服力并且可靠的。在此,至少两种,但例如也有三种、四种或更多种方法相互组合。
此外,该方法还可以具有确定所述第一指示器信号以及附加地或替代地确定所述第二指示器信号以及附加地或替代地确定第三指示器信号的步骤。在此过程中,可以使用头部信号来确定这些指示器信号中的第一指示器信号,所述头部信号可以与所述驾驶员的眼睛、脸部和/或头部位置有关。例如,所述头部信号可以代表所述驾驶员的眼睛运动、眼睑张开、眨眼事件、头部位置、观看方向和/或头部取向。附加地或替代地,可以使用代表所述驾驶员或车辆的转向行为的转向信号来确定这些指示器信号中的第二指示器信号。附加地或替代地,可以使用代表环境状况的环境信号来确定这些指示器信号中的第三指示器信号。确定所述第一指示器信号以及附加地或替代地确定第二指示器信号以及附加地或替代地确定第三指示器信号的步骤可以在所述读取步骤之前执行,例如由各自的疲劳识别设备执行。因此,所述第一疲劳识别设备可以被构造为,使用所述驾驶员的眼睛运动来确定所述第一疲劳参数,所述第一疲劳参数可以理解为传感器值或所述第一疲劳识别设备的评估结果。为此,所述第一疲劳识别设备可以具有照相机。所述第二疲劳识别设备可以被构造为,使用转向设置(例如至少一个设置的转向角或至少一个转向角速度)来确定所述第二疲劳参数,所述第二疲劳参数可以理解为传感器值或所述第二疲劳识别设备的评估结果。可以将所述第三疲劳识别设备构造为使用环境状况和/或驾驶员活动来确定所述第三疲劳参数,所述第三疲劳参数可以理解为传感器值或对所述第三疲劳识别设备的评估结果。例如,可以使用诸如环境因素之类的环境状况以及附加地或替代地使用驾驶持续时间以及附加地或替代地使用驾驶员活动来确定所述第三疲劳参数。在此,驾驶员活动可以包括转向、制动、加速、操作按键、按下按钮或拨打电话。
根据一个实施方式,该方法具有接收步骤,在该接收步骤中接收驾驶状况信号,该驾驶状况信号表明自动驾驶操作并且附加地或替代地表明当前驾驶速度以及附加地或替代地表明道路类型,其中,根据所述驾驶状况信号来执行所述确定疲劳信号的步骤。从而可以确保仅在必要时才确定疲劳。
在所述确定疲劳信号的步骤中,可以在所述第一有效性满足第一条件时使用所述第一指示器信号、在所述第二有效性满足第二条件时使用所述第二指示器信号以及在所述第三有效性满足第三条件时使用第三指示器信号来确定所述疲劳信号。可以将用于第一有效性和附加地或替代地用于第二有效性和附加地或替代地用于第三有效性的额定值或阈值理解为所述第一条件和附加地或替代地所述第二条件和附加地或替代地所述第三条件。可以在所述确定疲劳信号的步骤中将该额定值或阈值用于与这些有效性进行比较。从而例如在所述确定疲劳信号的步骤中,可以忽略其有效性偏离所述额定值或者高于或低于所述阈值的指示器信号。换句话说,在所述确定疲劳信号的步骤中,仅考虑那些满足其各自条件的指示器信号,例如处于为其确定的额定范围内或不超过或不低于其阈值。因此,如果根据一个实施方式在所述确定疲劳信号的步骤中仅考虑可靠的指示器信号以及有效性,则可以避免伪造的总体结果。
在所述确定疲劳信号的步骤中,可以使用根据所述第一有效性加权的所述第一指示器信号、使用根据所述第二有效性加权的所述第二指示器信号和使用根据所述第三有效性加权的所述第三指示器信号来确定所述疲劳信号。从而在确定所述疲劳信号时,也可以将被分类为不太有效的那些疲劳参数的权重设置为小于被分类为更有效的那些疲劳参数的权重。因此,作为按照有效性加权的总体结果,识别到的疲劳可以有利地非常有说服力。
然而,在所述确定疲劳信号的步骤中,也可以形成所述第一指示器信号、所述第二指示器信号和所述第三指示器信号的平均值,以便确定所述疲劳信号。可以使用加权的指示器信号来确定该平均值。然而,也可以在所述方法的实施方式中这样来确定该平均值,在该实施方式中不对指示器信号的有效性进行加权,而是在检查指示器信号的有效性之后将这些指示器信号或者用于确定所述疲劳信号或者排除。
附加地或替代地,在所述确定疲劳信号的步骤中,可以使用机器学习的确定规则来确定所述疲劳信号。
此外有利的是,如果在所述确定疲劳信号的步骤中识别出所述识别到的驾驶员疲劳被分类为或已经被分类为危急,则该方法具有发送步骤,在该发送步骤中向所述驾驶员输出警告信号。在此,可以将所述识别到的驾驶员疲劳(例如以经过验证的疲劳参数的形式)与额定疲劳参数或额定疲劳阈值进行比较,并且可以根据比较结果输出所述警告信号。从而在打瞌睡之前就已经可以及时警告驾驶员。
该方法可以例如以软件或硬件或者以软件和硬件的混合形式例如在控制设备中实现。
在此提出的项目还创建了一种控制设备,该控制设备被构造为在相应的装置中执行、操控或实施这里提出的方法的变型的步骤。通过控制设备形式的项目的该实施变型也可以快速和有效地解决该项目所基于的任务。
为此,所述控制设备可以具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元、用于从传感器读取传感器信号或用于向执行器输出控制信号的与所述传感器或所述执行器的至少一个接口以及附加地或者替代地具有至少一个通信接口,用于读取或输出嵌入到通信协议中的数据。所述计算单元可以是例如信号处理器、微控制器等,其中所述存储单元可以是闪存、EPROM或磁存储单元。可以将所述通信接口构造为以无线方式和附加地或替代地以有线方式读取或输出数据,其中可以读取或输出有线数据的通信接口可以例如电地或光学地从相应的数据传输线路中读取这些数据或将这些数据输出到相应的数据传输线路中。
在当前情况下,控制设备可以理解为一种电设备,该电设备处理传感器信号并根据所述传感器信号输出控制信号以及附加地或替代地输出数据信号。该控制设备可以具有可以按照硬件构造并且附加地或替代地按照软件构造的接口。在按照硬件构造的情况下,所述接口可以例如是所谓的系统ASIC的一部分,该系统ASIC包含所述控制设备的各种功能。然而,所述接口也可以是分立的集成电路或至少部分地由分立器件组成。在按照软件构造的情况下,所述接口可以是除其他软件模块之外也例如在微控制器上存在的软件模块。
在有利的构型中,通过所述控制设备控制用于为车辆的驾驶辅助系统识别驾驶员疲劳的方法。为此,所述控制设备可以例如访问传感器信号,如第一指示器信号、第二指示器信号和第三指示器信号。该操控通过执行器使用所述指示器信号及其有效性来进行,所述执行器例如是用于读取指示器信号的读取装置、用于确定所述指示器信号的各自有效性的确定装置以及用于确定代表识别到的驾驶员疲劳的疲劳信号的确定装置。
具有程序代码的计算机程序产品或计算机程序也是有利的,所述程序代码可以存储在诸如半导体存储器、硬盘存储器或光学存储器的机器可读载体或存储介质上,并且用于执行、实施以及附加地或替代地操控根据上述实施方式之一的方法的步骤,特别是在所述程序产品或程序在计算机或设备上执行的情况下。
附图说明
这里提出的项目的实施例在附图中示出并且在下面的描述中加以更详细的解释。
图1示出了根据一个实施例的用于为车辆的驾驶辅助系统识别驾驶员疲劳的控制设备的框图;
图2示出了根据一个实施例的控制设备的框图;
图3示出了根据一个实施例的控制设备的框图;和
图4示出了根据一个实施例的用于为车辆的驾驶辅助系统识别驾驶员疲劳的方法的流程图。
在对本项目的有利实施例的以下描述中,为各图中所示的并且以相似的方式起作用的元件使用相同或相似的附图标记,其中省略了对这些元件的重复描述。
具体实施方式
图1示出了根据一个实施例的用于为车辆110的驾驶辅助系统105识别驾驶员疲劳的控制设备100的框图。
根据该实施例的控制设备100仅示例性地被容纳在车辆110的驾驶辅助系统105中或被实现为驾驶辅助系统105。控制设备100被构造为识别车辆110的驾驶员疲劳。为此,控制设备100至少具有读取装置115、确定装置120和确定装置125。读取装置115被构造为读取第一指示器信号130,该第一指示器信号130代表由车辆110的第一疲劳识别设备135确定的所述驾驶员的第一疲劳参数。此外,读取装置115被构造为读取第二指示器信号140,该第二指示器信号140代表由车辆110的第二疲劳识别设备145确定的所述驾驶员的第二疲劳参数。此外,读取装置115被构造为读取第三指示器信号150,该第三指示器信号150代表由车辆110的第三疲劳识别设备155确定的所述驾驶员的第三疲劳参数。确定装置120被构造为确定第一指示器信号130的第一有效性160、第二指示器信号140的第二有效性165和第三指示器信号150的第三有效性170。确定装置125被构造为使用第一指示器信号130、第二指示器信号140、第三指示器信号150、第一有效性160、第二有效性165和第三有效性170来确定疲劳信号175,该疲劳信号175代表识别到的驾驶员疲劳。根据该实施例,三个疲劳识别设备135、145、155彼此组合。替代地,也可以仅所述疲劳识别设备135、145、155中的两个或多于三个疲劳识别设备135、145、155彼此组合。
根据一个实施例,第一疲劳识别设备135被构造为使用至少一个头部信号180来识别驾驶员疲劳并且以第一指示器信号130的形式提供,该头部信号180代表所述驾驶员的眼睛运动。头部信号180可以从与所述驾驶员的眼睛、脸部和/或头部位置有关的特征中导出。例如,头部信号180表明所述驾驶员的眼睛运动、眼睑张开、观看方向或眨眼事件。附加地或替代地,头部信号180表明所述驾驶员的头部位置和/或头部取向。根据一个实施例,第二疲劳识别设备145被构造为使用至少一个转向信号185来识别驾驶员疲劳并以第二指示器信号140的形式提供,该转向信号185代表所述驾驶员或车辆110的转向行为。根据该实施例,第三疲劳识别设备155被构造为使用代表环境状况的至少一个环境信号190来识别驾驶员疲劳并以第三指示器信号150的形式提供。附加地或替代地,可以使用其他疲劳识别设备。疲劳识别设备135、145、155中的全部或至少一个是控制设备100的一部分。
因此,根据该实施例,第一疲劳识别设备135被构造为使用与所述驾驶员的头部有关的特征来确定所述第一疲劳参数。根据一个实施例,第一疲劳识别设备135为此具有至少一个照相机或至少一个另外的合适传感器,或者被构造为从照相机读取信号。根据该实施例,第二疲劳识别设备145被构造为使用转向设置来确定所述第二疲劳参数,所述转向设置例如是车辆110的至少一个设置的转向角或至少一个转向角速度。根据该实施例,第三疲劳识别设备155被构造为使用诸如环境因素的环境状况和/或一天中的时间和/或驾驶持续时间和/或驾驶员活动来确定所述第三疲劳参数。
根据该实施例,确定装置125被构造为,在第一有效性160满足第一条件时使用第一指示器信号130、在第二有效性165满足第二条件时使用第二指示器信号140以及在第三有效性170满足第三条件时使用第三指示器信号150来确定疲劳信号175。根据该实施例,确定装置125被构造为将第一有效性160与额定值或阈值进行比较,将第二有效性165与额定值或阈值进行比较,并且将第三有效性170与额定值或阈值进行比较。根据一个实施例,这些额定值或阈值被存储在控制设备100中或可由控制设备100读取。根据一个可选的实施例,确定装置125仅使用其有效性160、165、170满足其各自条件的那些指示器信号130、140、150来确定疲劳信号175,所述条件例如是指示器信号处于针对其确定的额定范围内或不超过或不低于其阈值)。
附加地或替代地,根据该实施例的确定装置125被构造为使用根据第一有效性160加权的第一指示器信号130、使用根据第二有效性165加权的第二指示器信号140以及使用根据第三有效性170加权的第三指示器信号150来确定疲劳信号175。根据一个可选的实施例,控制设备100被构造为例如根据分别确定的有效性160、165、170的结果来加权第一有效性160和/或第二有效性165和/或第三有效性170。根据一个实施例,控制设备100在此对由确定装置120确定了其有效性160、165、170为较高有效的那些指示器信号130、140、150加权得比其有效性160、165、170被确定为较低有效的那些指示器信号130、140、150更多。
附加地或替代地,根据一个实施例,确定装置125被构造为形成第一指示器信号130、第二指示器信号140以及第三指示器信号150的平均值,以便确定疲劳信号175。为此可以实施合适的求平均规则。
附加地或替代地,根据该实施例的确定装置125被构造为使用机器学习的确定规则来确定疲劳信号175。为此可以使用已知的人工智能方法。
下面基于一些实施例描述控制设备100的细节和功能:
在此提出的控制设备100组合了依赖于状况的疲劳评估和基于眼睛运动的疲劳评估。如果对准驾驶员的驾驶员脸部的照相机的照相机图像是不值得信任的,则根据一个实施例,控制设备100采用基于转向行为的疲劳评估。
根据一个实施例,控制设备100一起采用疲劳识别设备的以下讲述方法的至少两种任意组合:
- 基于所述驾驶员的转向行为的疲劳评估,例如借助于对方向盘转角的评估,
- 基于照相机图像的疲劳评估,例如借助于对脸部品质或脸部特征的评估,例如所述驾驶员的眼睑张开状态和/或头部姿势和/或观看方向,
- 基于驾驶状况的疲劳评估,例如考虑一天中的时间和/或驾驶持续时间,
- 基于车道位置识别的疲劳评估,例如使用所述车辆上的向前取向的前置照相机,
- 基于其他测量方法(如所述驾驶员的脑电图(EEG)和/或皮肤温度)进行疲劳评估。
与已知的疲劳识别设备不同,这里提出的控制设备100不仅组合了各种疲劳评估的结果,而且还在最终评估中涉及对各个结果的有效性的评估。这很重要,因为各个疲劳识别设备不能在所有可能的场景下同样好地工作。提到的每种方法都有缺点。例如,如果用于部分或高度自动驾驶的驾驶辅助设备是活动的,则基于转向角的疲劳识别解决方案就没有说服力,因为在这种情况下,驾驶员自己根本不会控制所述车辆或使车辆转向。从而该驾驶员可能会受到驾驶辅助设备的支持,于是这可能会导致疲劳识别的不一致,或者该驾驶员可能根本不参与驾驶。从而可能产生不良或伪造的结果。在确定的状况下,例如由于阳光入射、反射、个人脸部品质、对布置在内部空间中的照相机或脸部的遮盖、驾驶员身高、座位位置的原因,对准驾驶员脸部的照相机可能会拍摄劣质图像或存在图像处理问题。从而也可能产生不良或伪造的结果。如果驾驶员疲劳偏离统计平均值,例如在所述驾驶员是夜班工人或专业驾驶员的情况下,则基于状况的疲劳评估可能是错误的。从而也可能产生不良或伪造的结果。如果没有车道标记,则基于车道的疲劳评估会出现问题。从而也可能产生不良或伪造的结果。
由于这个原因,控制设备100有利地被构造为确定结果的有效性,以便在确定最终结果时更少地加权或甚至排除这种不良或伪造的结果。
因此,综上所述,控制设备100在考虑疲劳评估的各个有效性的条件下组合多个疲劳识别设备135、145、155的疲劳评估,以便平衡各个疲劳识别设备135、145、155的弱点,并以疲劳信号175的形式改善疲劳评估的总体结果。
控制设备100基于各个指示器信号130、140、150的个体有效性160、165、170组合至少两种用于疲劳识别设备135、145、155的疲劳识别的方法。在一个实施例中,如果照相机的照相机图像不好,则不考虑将相应的第一和/或第二指示器信号130、150用于确定疲劳信号175,和/或如果驾驶辅助设备是活动的,则不考虑将不再有说服力的第二指示器信号140用于确定疲劳信号175(为此也参见图2)。这使得能够实现特别好的最终结果,因为仅将疲劳识别设备135、145、155的具有最高有效性的那些结果组合在一起。
图2示出了根据实施例的控制设备100的框图。该控制设备可以是基于图1描述的控制设备100。
根据该实施例,控制设备100被构造为接收表明自动驾驶操作和/或当前驾驶速度和/或道路类型的驾驶状况信号200。确定装置125被构造为根据驾驶状况信号200确定疲劳信号175。根据一个实施例,控制设备100从所述车辆的驾驶辅助设备205接收驾驶状况信号200。
根据一个实施例,驾驶辅助设备205也是控制设备100的一部分。
根据一个实施例,如果驾驶状况信号200表明所述车辆的部分自动或高度自动的驾驶操作,则确定装置125在确定疲劳信号175时不考虑第二指示器信号140(转向行为)。附加地或替代地,如果驾驶状况信号200表明速度低于阈值,则确定装置125在确定疲劳信号175时不考虑第二指示器信号140。因此,例如如果驾驶速度对应于步行速度,则不能考虑第二指示器信号140。因此根据该实施例,基于驾驶状况以及所有指示器信号130、140、150的有效性160、165、170来确定疲劳信号175。根据一个实施例,使用线性模型来进行所述组合,其方式例如是由确定装置125确定平均值或加权平均值。根据一个实施例,使用一种或多种选择方法来进行所述组合,其方式例如是如果指示器信号130、140、150中的两个被确定为有效的,则由确定装置125输出警告信号210,该警告信号向所述驾驶员产生可感知的警告。根据一个实施例,使用用于组合这些方法的至少一种机器学习方法来进行所述组合。在此,根据一个实施例,控制设备100获悉所述驾驶状况影响了总体结果或所述驾驶状况如何影响总体结果。
在另一示例性应用中,控制设备100读取第一指示器信号130和第三指示器信号150。当确定装置120确定了所述照相机不提供值得信任的信息时,才读取第二指示器信号140并将该第二指示器信号用于确定疲劳信号175。然而,根据一个实施例,仅当所述驾驶员自己主动控制车辆110、也就是没有设置部分自动或高度自动的驾驶操作时才读取第二指示器信号140。在该应用情况中,基于转向行为的疲劳识别用作保留疲劳识别。这使得在将第一疲劳识别设备135的代表所述驾驶员的眼睛运动的疲劳参数和/或将第三疲劳识别设备155的代表该状况的疲劳参数确定为无效的状况下,能够进行更稳定的疲劳识别。因此,在该应用中,仅当所述照相机有问题时才在确定的驾驶状况下将第二指示器信号140一起用于最终的疲劳确定。
如果已经操纵了疲劳识别设备135、145、155之一,例如停用或封锁了所述照相机,则可以借助于对由疲劳信号175提供的最终结果的分析来识别这里提出的控制设备100的功能。
图3示出了根据一个实施例的控制设备100的框图。该控制设备可以是基于图1或图2描述的控制设备100。还示意性地示出了所述车辆的驾驶员300、环境305、所述车辆的照相机310、所述车辆的转向系统315以及所述车辆的警告装置320。图3示出了用于识别驾驶员300疲劳的信号流的概观。
根据该实施例,照相机310对准驾驶员300的脸部并且被构造为检测脸部信号325,然后脸部信号325可以由第一疲劳设备135以头部信号180的形式读取。转向系统315被构造为检测所述驾驶员的转向行为信号330,然后由第二疲劳设备145以转向信号185的形式读取转向行为信号330。第三疲劳设备155被构造为检测来自驾驶员300的环境信号190,来自驾驶员300的环境信号190例如代表驾驶员活动,和/或检测来自环境305的环境信号190,来自环境305的环境信号190例如代表一天中的时间和/或驾驶持续时间。
根据该实施例,控制设备100被构造为如果所述疲劳信号表明识别到的驾驶员疲劳被分类为或已被分类为危急,则向警告装置320输出警告信号210,警告装置320被构造为响应于警告信号320警告驾驶员300。为此,控制设备100被构造为将疲劳信号的识别到的疲劳与根据实施例存储或读取的危急疲劳值和/或危急阈值进行比较。
图4示出了根据一个实施例的用于为车辆的驾驶辅助系统识别驾驶员疲劳的方法400的流程图。该方法可以是可以由基于前述附图之一描述的控制设备之一执行或操控的方法400。
方法400包括读取步骤405、确定步骤410和确定疲劳信号的步骤415。在读取步骤405中,至少读取第一指示器信号、第二指示器信号和第三指示器信号,所述第一指示器信号代表由所述车辆的第一疲劳识别设备确定的所述驾驶员的第一疲劳参数,所述第二指示器信号代表由所述车辆的第二疲劳识别设备确定的所述驾驶员的第二疲劳参数,所述第三指示器信号代表由所述车辆的第三疲劳识别设备确定的所述驾驶员的第三疲劳参数。在确定步骤410中,确定所述第一指示器信号的第一有效性、所述第二指示器信号的第二有效性以及所述第三指示器信号的第三有效性。在确定疲劳信号的步骤415中,使用所述第一指示器信号、所述第二指示器信号、所述第三指示器信号、所述第一有效性、所述第二有效性和所述第三有效性来确定代表识别到的驾驶员疲劳的疲劳信号。
根据该实施例,方法400还具有确定第一和/或第二和/或第三指示器信号的可选步骤420和/或可选的接收步骤425和/或可选的发送步骤430。在确定第一和/或第二和/或第三指示器信号的步骤420中,使用代表所述驾驶员的眼睛运动的头部信号确定所述第一指示器信号,和/或使用代表所述驾驶员或车辆的转向行为的转向信号确定所述第二指示器信号,和/或使用代表环境状况的环境信号确定所述第三指示器信号。在接收步骤425中,接收表明自动驾驶操作和/或当前驾驶速度和/或道路类型的驾驶状况信号,其中根据所述驾驶状况信号执行确定疲劳信号的步骤415。在发送步骤430中,如果在确定疲劳信号的步骤415中识别出识别到的驾驶员疲劳被分类为危急,则向所述驾驶员输出警告信号。
可以重复这里提出的方法步骤,并以不同于所描述顺序的顺序执行。
如果实施例包括第一特征和第二特征之间的“和/或”连接,则应当将该连接读取为,使得该实施例根据一个实施方式既具有所述第一特征又具有所述第二特征,并且根据另一实施方式或者仅具有所述第一特征或者仅具有所述第二特征。

Claims (11)

1.一种用于为车辆(110)的驾驶辅助系统(105)识别驾驶员(300)疲劳的方法(400),其中所述方法(400)包括以下步骤:
至少读取(405)第一指示器信号(130)和第二指示器信号(140),并且可选地读取(405)第三指示器信号(150),所述第一指示器信号(130)代表由所述车辆(110)的第一疲劳识别设备(135)确定的所述驾驶员(300)的第一疲劳参数,所述第二指示器信号(140)代表由所述车辆(110)的第二疲劳识别设备(145)确定的所述驾驶员(300)的第二疲劳参数,所述第三指示器信号(150)代表由所述车辆(110)的第三疲劳识别设备(155)确定的所述驾驶员(300)的第三疲劳参数;
确定(410)所述第一指示器信号(130)的第一有效性(160)和所述第二指示器信号(140)的第二有效性(165),并且可选地确定(410)所述第三指示器信号(150)的第三有效性(170);和
使用所述第一指示器信号(130)和所述第二指示器信号(140)并且可选地使用所述第三指示器信号(150),以及使用所述第一有效性(160)和所述第二有效性(165)并且可选地使用所述第三有效性(170)来确定(415)代表识别到的驾驶员(300)疲劳的疲劳信号(175)。
2.根据权利要求1所述的方法(400),包括步骤(420):使用与所述驾驶员的眼睛、脸部和/或头部位置有关的头部信号(180)来确定所述第一指示器信号(130),和/或使用代表所述驾驶员(300)或车辆(110)的转向行为转向信号(185)来确定所述第二指示器信号(140),和/或使用代表环境状况和/或驾驶员活动的环境信号(190)来确定所述第三指示器信号(150)。
3.根据前述权利要求中任一项所述的方法(400),包括步骤(425):接收表明自动驾驶操作和/或当前驾驶速度和/或道路类型的驾驶状况信号(200),其中,确定疲劳信号的步骤(415)是根据所述驾驶状况信号(200)来执行的。
4.根据前述权利要求中任一项所述的方法(400),其中,在确定疲劳信号(175)的步骤(415)中,在所述第一有效性(160)满足第一条件时使用所述第一指示器信号(130)、在所述第二有效性(165)满足第二条件时使用所述第二指示器信号(140)以及在所述第三有效性(170)满足第三条件时使用所述第三指示器信号(150)来确定所述疲劳信号(175)。
5.根据前述权利要求中任一项所述的方法(400),其中,在确定疲劳信号(175)的步骤(415)中,使用根据所述第一有效性(160)加权的所述第一指示器信号(130),使用根据所述第二有效性(165)加权的所述第二指示器信号(140)以及使用根据所述第三有效性(170)加权的所述第三指示器信号(150)来确定所述疲劳信号(175)。
6.根据前述权利要求中任一项所述的方法(400),其中,在确定疲劳信号(175)的步骤(415)中,形成所述第一指示器信号(130)、所述第二指示器信号(140)以及所述第三指示器信号(150)的平均值,以确定所述疲劳信号(175)。
7.根据前述权利要求中任一项所述的方法(400),其中,在确定疲劳信号(175)的步骤(415)中,使用机器学习的确定规则来确定所述疲劳信号(175)。
8.根据前述权利要求中任一项所述的方法(400),包括发送步骤(430),在所述发送步骤中如果在确定疲劳信号(175)的步骤(415)中识别出所述识别到的驾驶员(300)疲劳被分类为危急,则向所述驾驶员(300)输出警告信号(210)。
9.一种控制设备(100),其被设计为在相应的单元(115、120、125、135、145、155;200)中执行和/或操控根据前述权利要求中任一项所述的方法(400)的步骤。
10.一种计算机程序,其被设计为执行和/或操控根据权利要求1至8中任一项所述的方法(400)。
11.一种机器可读存储介质,其上存储有根据权利要求10所述的计算机程序。
CN202010264569.4A 2019-04-05 2020-04-03 为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备 Pending CN111806451A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019204892.7 2019-04-05
DE102019204892.7A DE102019204892A1 (de) 2019-04-05 2019-04-05 Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug

Publications (1)

Publication Number Publication Date
CN111806451A true CN111806451A (zh) 2020-10-23

Family

ID=72518497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010264569.4A Pending CN111806451A (zh) 2019-04-05 2020-04-03 为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备

Country Status (3)

Country Link
US (1) US11292478B2 (zh)
CN (1) CN111806451A (zh)
DE (1) DE102019204892A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661345B1 (en) * 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
ATE454849T1 (de) * 2002-10-15 2010-01-15 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
DE10355221A1 (de) * 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
DE102006051930B4 (de) * 2006-11-03 2017-04-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
US9198575B1 (en) * 2011-02-15 2015-12-01 Guardvant, Inc. System and method for determining a level of operator fatigue
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
DE102011117850B4 (de) * 2011-11-08 2020-12-03 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102012024706A1 (de) * 2011-12-22 2013-06-27 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Müdigkeitserkennung
DE102012001741A1 (de) * 2012-01-28 2013-08-01 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Überwachung des Betriebs eines Fahrzeugs und Vorrichtung und Verfahren zur Warnung des Fahrers
CN104540701B (zh) * 2012-08-14 2017-11-07 沃尔沃拉斯特瓦格纳公司 用于确定驾驶员的操作状态的方法
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
AU2013206671B2 (en) * 2013-07-03 2015-05-14 Safemine Ag Operator drowsiness detection in surface mines
JP6552316B2 (ja) * 2015-07-29 2019-07-31 修一 田山 車輌の自動運転システム
DE102015010284A1 (de) * 2015-08-08 2016-03-17 Daimler Ag Verfahren zum Betrieb einer Assistenzvorrichtung eines Fahrzeugs
US9778654B2 (en) * 2016-02-24 2017-10-03 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for advanced resting time suggestion
US10297131B2 (en) * 2017-06-19 2019-05-21 Toyota Motor Engineering & Manufacturing North America, Inc. Providing safe mobility while detecting drowsiness
US10379535B2 (en) * 2017-10-24 2019-08-13 Lear Corporation Drowsiness sensing system
JP2019091281A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
JP7210929B2 (ja) * 2018-08-07 2023-01-24 トヨタ自動車株式会社 運転意識推定装置

Also Published As

Publication number Publication date
DE102019204892A1 (de) 2020-10-08
US20200317211A1 (en) 2020-10-08
US11292478B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN111806451A (zh) 为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备
US9101313B2 (en) System and method for improving a performance estimation of an operator of a vehicle
US20090322506A1 (en) Method and apparatus for driver state detection
US11312384B2 (en) Personalized device and method for monitoring a motor vehicle driver
US11639112B2 (en) Fusion of data of multiple sensors for object identification
CN107405121B (zh) 用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法和装置
JP7212607B2 (ja) 車両can bus信号を利用した機械学習基盤運転者異常感知方法および装置
US20210146939A1 (en) Device and method for controlling a vehicle module
CN112585550A (zh) 基于神经网络的驾驶功能监控
CN108367755B (zh) 用于控制至少一个驾驶员交互系统的方法和设备
US11738773B2 (en) System for controlling autonomous vehicle for reducing motion sickness
US20210237763A1 (en) Operating method for an autonomously operatable device, and an autonomously operatable device
US11453401B2 (en) Closed eye determination device
US11697420B2 (en) Method and device for evaluating a degree of fatigue of a vehicle occupant in a vehicle
CN112689587A (zh) 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法
KR20190134909A (ko) 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
US10891503B2 (en) Method and device for classifying eye opening data of at least one eye of an occupant of a vehicle, and method and device for detecting drowsiness and/or microsleep of an occupant of a vehicle
US10981574B2 (en) Biological information storage system and in-vehicle biological information storage device
US10479303B2 (en) Safety system for a vehicle of a vehicle fleet
JP7368596B2 (ja) 周囲のエリア内で車両を位置特定するための方法およびデバイス
CN116615765A (zh) 驾驶员状态检测方法、装置及存储介质
US20220346684A1 (en) Driver availability detection device and driver availability detection method
CN107273789B (zh) 用于提供警告信号以识别将面临的微睡的方法
CN110466495A (zh) 一种智能自动矢量驾驶执行系统及控制方法
CN117693777A (zh) 用于支持带有传感器单元的车辆的运行的方法、计算机程序产品以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination