CN112867650A - 用于监测车辆操作的设备和方法 - Google Patents

用于监测车辆操作的设备和方法 Download PDF

Info

Publication number
CN112867650A
CN112867650A CN201980069003.1A CN201980069003A CN112867650A CN 112867650 A CN112867650 A CN 112867650A CN 201980069003 A CN201980069003 A CN 201980069003A CN 112867650 A CN112867650 A CN 112867650A
Authority
CN
China
Prior art keywords
gaze
occupant
vehicle
signal
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980069003.1A
Other languages
English (en)
Inventor
安德鲁·费尔格雷夫
保罗·金
丽贝卡·马赛厄斯
约翰·西姆莱特
尼古拉斯·亚科武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Jaguar Land Rover Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jaguar Land Rover Ltd filed Critical Jaguar Land Rover Ltd
Publication of CN112867650A publication Critical patent/CN112867650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B60W60/0055—Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明的实施方式提供了一种用于车辆的控制系统，该车辆(800)能够以至少部分自主的模式和手动模式操作，该控制系统包括：输入装置(291，292)，其用于接收指示车辆(800)的乘员的注视方向的注视信号(211)和指示该车辆的乘员与控制装置之间的物理接触的接触信号(212)；控制装置(250，260，270，280，290)，其被配置成：在至少部分自主的模式中根据注视信号(211)来确定乘员对驾驶任务的注意力的估计，以及确定乘员相对于至少一个成像装置(150，220)何时被至少部分地遮挡，其中，控制装置(250，260，270，280，290)被配置成：当确定乘员被至少部分地遮挡时，根据接触信号来确定该乘员对驾驶任务的注意力的估计。

Description

用于监测车辆操作的设备和方法
技术领域
本公开内容涉及监测车辆操作，并且特别地但是非排他地涉及确定车辆操作是否正在被车辆的乘员监测。本发明的各个方面涉及用于车辆的控制系统、方法、系统、车辆以及计算机软件。
背景技术
车辆正在越来越多地包括自主操作模式，其中车辆控制的一个或更多个方面被自主地处理。针对一些车辆自动化等级，车辆的驾驶员在自主模式中的操作期间必须仍然保持对车辆的驾驶任务的注意。一个示例自动化等级是由国际自动机工程师协会(SAEInternational)限定的自动化等级2，但是可以使用其他这样的限定，其中，驾驶员在车辆的自主操作模式期间需要保持对驾驶任务的注意。
已知的是，通过监测驾驶员与车辆的方向盘之间的物理接触来确定驾驶员在自主操作模式期间是否注意车辆的驾驶任务。然而，这种物理接触的监测可能不是在所有情况下都是合适的。例如，当在越野环境中驾驶车辆时，车辆的速度可能低于需要监测物理接触时的速度。此外，特别地(但是不是非排他地)，在越野驾驶期间，由于方向盘在这种越野场景下的移动，保持与方向盘的物理接触对于驾驶员来说可能是不方便的。例如，越野时可能会遇到较大的转向角，即，方向盘会经历较大的旋转幅度，并且越野时转向角的变化率也可能较低，上述情况中的一者或两者可能使得使用触摸来监测驾驶员对驾驶任务的注意力不方便。
本发明的实施方式的目的是至少减轻现有技术的一个或更多个问题。
发明内容
本发明的各方面和实施方式提供了如所附权利要求书中所要求的一种用于车辆的控制系统、一种方法、一种系统、一种车辆和一种计算机软件。
根据本发明的一方面，提供了一种用于车辆的控制系统，该车辆能够在至少部分自主的模式和手动模式中操作，该控制系统包括一个或更多个控制器，该控制系统被配置成：接收指示车辆的乘员的注视方向的注视信号和指示该车辆的乘员与控制装置之间的物理接触的接触信号；以及根据注视信号和接触信号在至少部分自主的模式中确定乘员对驾驶任务的注意力的估计。所述估计可以选择性地根据注视信号和接触信号来确定。注视信号和接触信号可以根据乘员是否被遮挡来确定。有利地，即使在乘员被遮挡时，也可以确定驾驶员的注意力的估计。
根据本发明的一方面，提供了一种用于车辆的控制系统，该车辆能够以至少部分自主的模式和手动模式操作，该控制系统包括一个或更多个控制器，该控制系统被配置成接收下述信号：指示车辆的乘员的注视方向的注视信号，所述注视信号根据与乘员的至少一部分有关的图像数据来确定，所述图像数据由至少一个成像装置输出；以及指示该车辆的乘员与控制装置之间的物理接触的接触信号；在至少部分自主的模式中根据注视信号来确定乘员对驾驶任务的注意力的估计，并且确定该乘员何时相对于所述至少一个成像装置被至少部分地遮挡，其中，该控制系统被配置成：当确定乘员相对于所述至少一个成像装置被至少部分地遮挡时，根据接触信号来确定该乘员对驾驶任务的注意力的估计；输出信号以用于启动一个或更多个动作，其中，该控制系统被配置成根据驾驶员对驾驶任务的注意力的估计和一个或更多个预定阈值来输出信号。有利地，即使在乘员被遮挡时，也确定驾驶员的注意力的估计。
控制系统可选地被配置成根据指示乘员的注视指向驾驶区域或非驾驶区域的注视信号来确定该乘员对驾驶任务的注意力的估计。有利地，确定乘员正在看与驾驶车辆有关的区域还是非驾驶区域，并且相应地更新所述估计。可以确定乘员的注视指向驾驶区域或非驾驶区域。
控制系统被配置成根据注视信号确定乘员对驾驶任务的注意力的估计可以包括：该控制系统被布置成确定指示该乘员的注视分别指向驾驶区域和非驾驶区域所持续的持续时间的注视持续时间测量。有利地，可以在确定所述估计时考虑乘员的注视指向驾驶区域和非驾驶区域所持续的持续时间。
控制系统可选地被配置成：当乘员相对于所述至少一个成像装置被至少部分地遮挡时，暂停注视持续时间测量的更新。有利地，当乘员被遮挡时，暂停注视持续时间测量，而不是更新或重置注视持续时间测量。
控制系统可选地被配置成：当注视持续时间测量达到预定阈值时输出信号。有利地，当注视持续时间测量达到阈值时采取动作。
控制系统可以被配置成：根据指示驾驶员的注视指向主驾驶区域PDR的注视信号沿第一方向更新注视持续时间测量；根据指示驾驶员的注视指向次驾驶区域SDR的注视信号沿第二方向以第一速率更新注视持续时间测量；以及根据指示驾驶员的注视指向非驾驶区域NDR的注视信号沿第二方向以第二速率更新注视持续时间测量。有利地，当乘员的注视指向与驾驶车辆部分有关的区域即SDR时考虑注视持续时间测量。
第二速率可以大于第一速率。有利地，第二速率说明乘员对驾驶任务的部分注意。
控制系统被配置成根据注视信号确定乘员对驾驶任务的注意力的估计可以包括：该控制系统被配置成确定指示在认为该乘员注意的车辆前方的行驶距离的注视距离测量。有利地，注视距离测量可以说明在一段时间段内行驶相对短的距离的缓慢移动的车辆。
控制系统可以被配置成更新指示乘员的注视分别指向驾驶区域和非驾驶区域的注视距离测量。有利地，可以在确定所述估计时考虑乘员的注视方向指向驾驶区域和非驾驶区域。所述更新可以根据车辆的速度来执行。有利地，关于车辆的行驶距离考虑了车辆的速度。
控制系统可以被配置成根据车辆的速度和预定增益值来更新注视距离测量。有利地，该增益值可以用于控制与车辆的速度有关的更新。
控制系统可选地被配置成：根据指示驾驶员的注视指向主驾驶区域PDR持续预定时间段的注视信号沿第一方向更新注视距离测量；根据指示驾驶员的注视指向次驾驶区域SDR和非驾驶区域NDR之一持续预定时间段的注视信号沿第二方向更新注视距离测量。有利地，当乘员的注视指向与驾驶车辆部分有关的区域即SDR时考虑注视距离测量。
控制系统可以被配置成根据注视持续时间测量和注视距离测量两者达到各自预定阈值来输出信号。有利地，通过考虑两个测量达到各自阈值，可以避免信号的错误输出或意外输出。
根据接触信号确定乘员对驾驶任务的注意力的估计可选地包括：控制系统被配置成：确定至少部分地表示驾驶员对驾驶任务的注意力的估计的接触值；以及根据该接触信号来更新接触值。有利地，该接触值可以用于监测乘员与车辆的控制装置的接触。
可选地，控制系统被配置成根据注视持续时间测量和接触值两者来输出信号。有利地，使用乘员注视的持续时间和该乘员与车辆的控制装置的接触来确定何时输出信号。
控制系统可选地被布置成以周期性的间隔来更新驾驶员对驾驶任务的注意力的估计。有利地，周期性地确定所述估计。
控制系统可以被配置成根据乘员对驾驶任务的注意力的估计和一个或更多个预定阈值输出暂停信号，以启动车辆在自主模式中的操作的至少部分暂停。有利地，可以根据所述估计来启动自主操作的暂停。
可选地，控制系统被配置成根据指示车辆的驾驶员与控制装置之间的物理接触的接触信号输出恢复信号，以恢复车辆在自主模式中的操作。有利地，可以根据所述估计来恢复自主方式的车辆的操作。
车辆在自主模式中的操作的至少部分暂停可以包括：控制系统被布置成减少在控制车辆的横向移动中的辅助。有利地，暂停可以减少输入至车辆的自主转向。
车辆在自主模式中的操作的至少部分暂停包括：控制系统被布置成维持在控制车辆的纵向移动中的辅助。有利地，可以维持车辆的纵向控制，这在一些情况下是有利的，特别是诸如上升或下降。
控制系统可选地被配置成：根据指示车辆的驾驶员与控制装置之间的物理接触的接触信号沿第一方向更新接触值：以及根据指示车辆的驾驶员与控制装置之间不存在物理接触的接触信号沿第二方向更新接触值。有利地，根据接触的存在沿一定方向更新接触值。
根据本发明的一方面，提供了一种用于车辆的方法，该车辆能够在至少部分自主的模式和手动模式中操作，该方法包括：接收指示车辆的乘员的注视方向的注视信号，该注视信号根据与乘员的至少一部分有关的图像数据来确定，所述图像数据由至少一个成像装置输出；接收指示车辆的乘员与控制装置之间的物理接触的接触信号；根据该注视信号在至少部分自主的模式中确定该乘员对驾驶任务的注意力的估计；确定乘员何时相对于所述至少一个成像装置被至少部分地遮挡，并且当确定该乘员相对于所述至少一个成像装置被至少部分地遮挡时，根据接触信号来确定该乘员对驾驶任务的注意力的估计；根据乘员对驾驶任务的注意力的估计和一个或更多个预定阈值来启动一个或更多个动作。
根据注视信号确定乘员对驾驶任务的注意力的估计可以包括：确定指示乘员的注视分别指向驾驶区域和非驾驶区域所持续的持续时间的注视持续时间测量。
可选地，该方法包括：根据指示驾驶员的注视指向主驾驶区域PDR的注视信号沿第一方向更新注视持续时间测量；根据指示驾驶员的注视指向次驾驶区域SDR的注视信号沿第二方向以第一速率更新注视持续时间测量；以及根据指示驾驶员的注视指向非驾驶区域NDR的注视信号沿第二方向以第二速率更新注视持续时间测量。
根据本发明的一方面，提供了一种用于车辆的控制系统，该车辆能够在至少部分自主的模式和手动模式中操作，该控制系统包括一个或更多个控制器，该控制系统被配置成：接收指示车辆的乘员的注视方向的注视信号，其中，所述注视信号指示乘员的注视指向主驾驶区域PDR、次驾驶区域SDR或非驾驶区域NDR；确定指示乘员对驾驶任务的注意力的估计的注意力值，其中，所述注意力值根据指示乘员的注视指向PDR的注视信号沿第一方向改变，所述注意力值根据指示乘员的注视指向SDR的注视信号沿第二方向以第一速率改变，并且所述注意力值根据指示乘员的注视指向NDR的注视信号沿第二方向以第二速率改变；以及根据注意力值等于或超过预定阈值输出信号以引起执行一个或更多个动作。有利地，当乘员的注视指向与驾驶车辆部分有关的区域即SDR时考虑注意力值。
控制系统可选地被布置成根据相应时间段内驾驶员注视的方向来确定针对多个时间段中的每个时间段的注意力值。第二速率可以大于第一速率。
在根据任一前述方面的控制系统的实施方式中，一个或更多个控制器可以共同地包括：至少一个电子处理器，该电子处理器具有用于接收注视信号和/或接触信号的电输入；以及至少一个电子存储器装置，该至少一个电子存储器装置操作性地耦合至该至少一个电子处理器并且具有存储在其中的指令；并且其中，该至少一个电子处理器被配置成访问该至少一个存储器装置并且执行该至少一个存储器装置上的指令，以使该至少一个电子处理器：
根据注视信号，确定在至少部分自主的模式中乘员对驾驶任务的注意力的估计，并且输出信号以用于启动一个或更多个动作；或者
确定指示乘员对驾驶任务的注意力的估计的注意力值，并且根据该注意力值等于或超过预定阈值输出信号以引起执行一个或更多个动作。
根据本发明的另一方面，提供了一种系统，该系统包括：如上所述的控制系统；以及至少一个成像装置，该至少一个成像装置用于提供与车辆的乘员的至少一部分有关的图像数据。
该系统可以包括接触装置，该接触装置用于输出指示车辆的乘员与控制装置之间的物理接触的接触信号。
根据本发明的另一方面，提供了一种车辆，该车辆包括如上所述的控制系统或如上所述的系统。
根据本发明的另外的方面，提供了一种计算机软件，该计算机软件在被执行时被布置成执行如上所述的方法。该计算机软件可以存储在计算机可读介质上。该计算机软件可以有形地存储在计算机可读介质上。计算机可读介质可以是非暂态性的。
根据本发明的另外的方面，提供了一种在其上存储有指令的非暂态性计算机可读存储介质，当所述指令由一个或更多个电子处理器执行时，使一个或更多个电子处理器执行如上所述的方法。
本文描述的任何一个或更多个控制器可以适当地包括具有一个或更多个电子处理器的控制单元或计算装置。因此，系统可以包括单个控制单元或电子控制器，或者替选地，控制器的不同功能可以体现在或托管在不同的控制单元或控制器中。如本文所使用的，术语“控制器”或“控制单元”将被理解为包括单个控制单元或控制器以及共同操作以提供任何陈述的控制功能的多个控制单元或控制器。为了配置控制器，可以提供合适的指令集，该指令集在被执行时使所述控制单元或计算装置实现本文指定的控制技术。指令集可以适当地嵌入在所述一个或更多个电子处理器中。替选地，指令集可以作为保存在与所述控制器相关联的一个或更多个存储器上的软件来提供，以在所述计算装置上执行。第一控制器可以以在一个或更多个处理器上运行的软件来实现。一个或更多个其它控制器可以以在一个或更多个处理器上运行的软件来实现，可选地以与第一控制器相同的一个或更多个处理器上运行的软件来实现。也可以使用其他合适的布置。
在本申请的范围内，明确地旨在在前面段落中、权利要求书中和/或下面的描述和附图中阐述的各个方面、实施方式、示例和替选方案以及特别是其各个特征可以被独立地采用或者以任意组合采用。也就是说，可以以任何方式和/或组合来组合所有实施方式和/或任何实施方式的特征，除非这些特征不兼容。申请人保留更改任何原始提交的权利要求书或者相应地提交任何新的权利要求书的权利，包括对任何原始提交的权利要求书进行修改以从属于任何其他权利要求书的任何特征和/或并入任何其他权利要求书的任何特征的权利，虽然最初并非以该方式要求保护。
附图说明
现在将参照附图仅通过示例的方式描述本发明的一个或更多个实施方式，在附图中：
图1示出根据本发明的实施方式的转向控制装置和成像装置的图示；
图2示出根据本发明的实施方式的包括控制器的系统；
图3示出根据本发明的实施方式的车辆和驾驶区域的内部视图；
图4示出根据本发明的实施方式的注视持续时间监测值；
图5示出根据本发明的实施方式的注视距离监测；
图6示出根据本发明的实施方式的接触监测值；
图7示出根据本发明的实施方式的方法；
图8示出根据本发明的实施方式的车辆；以及
图9示出根据本发明的另一实施方式的方法。
具体实施方式
图1示出了根据本发明的实施方式的车辆的转向控制装置100和成像装置150。转向控制装置100为方向盘100，该方向盘100包括环形圈110和一个或更多个辐条120，辐条120从方向盘100的中央毂部(未示出)向外伸展至圈110，方向盘100围绕该中央毂部旋转以控制车辆的转向。成像装置150被布置成在使用中输出与车辆的乘员的至少一部分有关的图像数据。术语乘员将用于指车辆内的可以在车辆的手动操作模式中控制车辆即驾驶车辆的人。车辆在至少部分地自主操作模式中也是可操作的，其中，车辆的纵向控制和横向控制中的一者或两者是自动化的。在这样的自主模式中，乘员不需要手动地控制车辆。因此，在手动操作模式中，车辆的乘员可以为车辆的驾驶员。乘员需要在自主模式中保持对车辆的驾驶任务的注意。
成像装置150可以为摄像装置150或者例如包括CCD(电荷耦合装置)传感器等其他成像装置150。摄像装置150可以位于方向盘100的平面的前方(相对于车辆)，即，使得方向盘100介于摄像装置150与乘员之间。摄像装置150被布置成提供与车辆乘员的部分有关的图像数据，在该图像数据中，所述部分可以包括乘员的上躯干和头部即乘员的头部和肩部中的一者或二者，或者仅乘员的头部。可能期望图像数据涉及乘员的面部以确定乘员的状况。该状况可以包括乘员的注视方向，其中，该注视方向为其中乘员正在看的方向，如将参照图3特别说明的。注视方向可以相对于车辆来确定。为了提供这样的图像数据，摄像装置150可以位于车辆内的比乘员的头部低的高度处，其中，摄像装置150的这种放置可以有助于检测乘员的眼睛是睁开还是闭合。例如，乘员可以向下查看以观察车辆前方的区域或者车辆的一个或更多个仪表。如此，在某些时间段期间，方向盘100可能相对于摄像装置150至少部分地遮挡乘员。例如，当旋转方向盘100时，如图1中由箭头130所指示的，辐条120可以绕圆移动导致相对于摄像装置150至少部分阻挡乘员的视野，从而至少部分地遮挡乘员。这种情况可能在车辆处于越野环境中时频繁发生，或者与车辆在道路环境中的操作期间相比至少更频繁地发生，这是由于需要期望的更大的转向角来绕过障碍物等。
图2示出了根据本发明的实施方式的系统，通常表示为200。根据本发明的实施方式，系统200包括用于车辆的控制系统210或控制器210。如图2所示，控制系统210由一个控制器210实现。将理解的是，控制系统210可以由用作控制系统210的多个控制器来实现。
系统200还包括：成像装置220，诸如上面参照图1描述的摄像装置150；接触确定装置230，其用于确定车辆的乘员与控制装置之间的物理接触；以及通知装置240，其用于向乘员提供通知，诸如将要说明的视觉通知、听觉通知或触觉通知中的一个或更多个。
控制器210包括输入装置291，输入装置291用于接收指示车辆的乘员的注视方向的注视信号211。控制器210包括输入装置292，输入装置292用于接收指示车辆的乘员与诸如方向盘100的控制装置之间的物理接触的接触信号212。输入装置291、292可以为到控制器210的电输入，用于接收表示注视信号211和接触信号212的一个或更多个电信号。
控制器210包括输出装置293，输出装置293用于将通知信号213输出至通知装置240。通知信号213指示要由通知装置240输出的视觉通知、听觉通知或触觉通知中的一个或更多个。通知装置240可以包括下述中的一个或更多个：一个或更多个视觉输出装置，其例如用于向乘员输出视觉信号或视觉指示；一个或更多个听觉输出装置，其用于向乘员输出听觉信号或听觉指示；以及一个或更多个触觉输出装置，其用于向乘员输出触觉通知或触觉指示。控制器210控制输出装置293输出通知信号213以使得向乘员输出适当的通知，如将参照图7特别说明的。
控制器210可以包括输出装置295，输出装置295用于提供用于控制车辆的操作的控制信号215。控制器210被布置成：控制输出装置291输出用于选择车辆在手动操作模式或自主操作模式中的操作的控制信号215。例如，输出装置295可以输出引起从车辆的自主操作模式向手动操作模式的转变的控制信号215。在一些实施方式中，输出装置295由控制器进行控制以输出用于启动车辆在自主模式中的操作的至少部分暂停的控制信号215。控制器210可以控制输出装置295输出用于引起恢复车辆在自主模式中的操作的控制信号215，如将说明的。可以将控制信号215提供至车辆的自主控制器(图2中未示出)。
控制器210的电输入和电输出可以被提供至车辆的通信总线或网络诸如CAN总线或其他通信网络或者从车辆的通信总线或网络来提供，该通信总线或网络可以例如由诸如以太网的基于互联网协议(IP)的网络或者FlexRay实现。
根据与乘员的至少一部分诸如包括乘员的头部和/或面部有关的图像数据来确定乘员的注视方向。注视方向可以由注视方向模块225和由注视方向模块225提供至控制器210的注视信号211来确定，注视方向模块225被布置成从成像装置220接收图像数据。在其他实施方式中，可以将图像数据提供至控制器210并且由控制器210确定注视方向，即，控制器可以包含注视检测模块225。注视信号211还可以指示何时不能够确定乘员的注视方向，例如由于乘员相对于成像装置220被至少部分地遮挡，其中该遮挡可能是由于方向盘100的一部分被成像装置220诸如摄像装置150阻挡了乘员的视野。
参照图3，在一些实施方式中，注视方向模块225被布置成确定乘员的注视是指向主驾驶区域(PDR)310还是非驾驶区域(NDR)330。在其他实施方式中，注视方向模块225被布置成确定乘员的注视是否指向PDR 310、NDR 330或者一个或更多个次驾驶区域(SDR)320中的一个。注视信号211可以因此指示乘员的注视指向PDR、NDR或SDR。
如图3所示，PDR 310为乘员朝向车辆将在其上行进的、可以呈弧形形状的区域——通常为车辆前方的区域——的注视方向，由此使得车辆能够具有在向前移动时施加的转向。PDR 310可以对应于通过车辆的前窗即车辆的挡风玻璃的视野。
SDR 320对应于用于控制车辆的一个或更多个次要区域。所述一个或更多个区域可以包括下述中的一个或更多个：车辆的一个或两个侧窗即前门窗；镜或显示装置，其提供车辆的外部视野，诸如相对于车辆的后视野或侧视野；仪表组或显示装置，其提供针对车辆的控制信息，例如指示速度、其他车辆即在主乘员车辆旁边的车辆的存在等的信息。图3示出了与车辆的后视镜和仪表组的位置对应的两个SDR 320，这将被理解为是示例而不是限制性的。
NDR 330可以对应于与PDR 310和一个或更多个SDR 320不对应的乘员的任意注视方向。例如，NDR 330为朝向车辆的信息娱乐系统或导航系统、车辆中的不是SDR 320的内部区域的注视方向。
返回参照图2，接触信号212指示车辆的乘员与控制装置诸如方向盘100之间的物理接触。接触信号212指示该乘员是否在物理上触摸方向盘100或者与方向盘100接触。
控制器210包括注视持续时间模块(GDURM)250和注视距离模块(GDISM)260中的一者或两者。GDURM 250和GDISM 260可以并行地即同时地操作，如将说明的。控制器210包括接触模块(CM)270和注意力模块(AM)280。GDURM 250、GDISM 260、CM 270和AM 280可以以硬件模块实现或者实现为软件模块，所述硬件模块或软件模块可以在如图2中的虚线所指示的电子处理器290上可操作地执行。可以将用于在处理器290上实现GDURM 250、GDISM 260、CM 270和AM 280的计算机可读指令存储在处理器290可访问的存储器296中。
AM 280被配置成当车辆在自主模式中操作时确定乘员对驾驶任务的注意力的估计。乘员对驾驶任务的注意力的估计为当车辆在自主模式中操作时乘员正在对驾驶任务给予多少注意力的测量。如将说明的，所述估计根据GDURM 250、GDIS 260和CM 270中的一个或更多个的输出255、265、275来确定。AM 280被布置成：接收注视信号211；以及确定乘员相对于摄像装置220、150何时被至少部分地遮挡。可以根据指示乘员被至少部分地遮挡使得无法确定其注视方向的注视信号211来进行所述确定，或者由AM 280根据由成像装置220诸如摄像装置150提供的图像数据来确定乘员被至少部分地遮挡来进行所述确定。例如，注视检测模块225可以确定无法从图像数据中识别例如与乘员的头部或面部对应的形状，并且因此确定乘员被遮挡，并且注视信号211向AM 280提供乘员被遮挡的指示。在一些实施方式中，注视检测模块225和AM 280中之一可以推断出乘员被遮挡。可以根据指示使得方向盘100的臂120可能遮挡乘员的视野的车辆的转向角的数据来做出这样的推断。
当乘员未被遮挡时，即，可以确定乘员的注视方向时，AM 280被布置成根据GDURM250和GDISM 2600的输出中的一者或两者来确定乘员对驾驶任务的注意力的估计。然而，当AM 280确定乘员被遮挡时，根据接触信号212来确定乘员对驾驶任务的注意力的估计。特别地，在被遮挡时，AM 280将根据CM 270的输出275来确定所述估计。
GDURM 250被布置成确定指示乘员的注视分别指向驾驶区域和非驾驶区域所持续的持续时间的注视持续时间测量。驾驶区域可以对应于PDR 310和非驾驶区域NDR 330，其示例在图3中示出。在一些实施方式中，GDURM 250被布置成确定指示乘员的注视分别指向PDR 310、SDR 320和NDR 330所持续的相应持续时间的注视持续时间测量。GDURM 250可以采用滑动窗口，使得注视持续时间测量指示乘员的注视分别指向PDR310、SDR 320和NDR330所持续的时间在与滑动窗口对应的时间段内的比例。GDURM 250被布置成向AM 280提供指示注视持续时间测量的信号255。
GDISM 260被布置成确定指示在认为乘员进行注意的车辆前方的行驶距离的注视距离测量。可以根据车辆的速度来确定注视距离测量，如将说明的。GDISM 260被布置成向AM 280提供指示注视距离测量的信号265。
将参照图4说明根据本发明的实施方式的GDURM 250的操作。图4示出了根据本发明的实施方式的注视持续时间测量410随时间t的值。图4还示出了下述时间段：乘员的注视指向PDR 310所持续的时间段420；注视指向一个或更多个SDR 320中之一所持续的时间段430；以及指向NDR 330的时间段440。图4还示出了乘员的视野相对于摄像装置150、220被遮挡所持续的时间段450。
作为示例，假定图4从下述开始：乘员的注视指向PDR 420，并且注视测量具有与乘员的最大注意力——即乘员被认为完全注意车辆的驾驶任务——对应的初始值，即使车辆正在自主模式中驾驶也是如此。将理解的是，这些初始状况仅是示例。在图4中，初始值对应于注视持续时间测量的最小值。虽然将假定最小值为零，但是将理解的是可以使用其他值。在其他实施方式中，与乘员的最大注意力对应的注视持续时间测量的值可以为注视持续时间测量的最大值。在这样的实施方式中，将理解的是，在随后的描述中，对增加的参考被减小代替并且对减小的参考被增加代替。
在从t＝0开始的时段420期间，注视持续时间测量没有增加，这是因为乘员被认为是完全注意并且目前正在观察车辆的情况。在一段时间之后，乘员将从通过使他们的注视指向PDR 310来完全观察车辆的情况中脱离，并且将他们的注视指向NDR 330，如在t1处开始的时段440中。GDRUM 250被布置成在乘员的注视指向NDR 330所持续的持续时间内沿与时段420期间相反的方向——在该示例中的增加方向——更新注视持续时间测量410，即，增加注视持续时间测量410的值。在t2处，GDRUM 250确定乘员的注视指向回到PDR 310，GDRUM 250被布置成在乘员的注视指向PDR 310所持续的持续时间内沿该示例中的减小方向更新注视持续时间测量410，即，减小注视持续时间测量410的值。将理解的是，仅减小注视持续时间测量直到达到最小值诸如0为止，然后维持该最小值。例如，可以在每个预定时间段诸如100ms、500ms内由GDRUM 250以单位值增加或减少注视持续时间测量410。在一些实施方式中，在各个方向上，增加率和减小率可以不同。在t3处开始的时间段中，乘员的注视再次指向NDR 330，并且GDURM 250再次增加注视持续时间测量410。当注视持续时间测量达到阈值——该阈值可以为注视持续时间测量410能够采用的最大值时，GDURM 250向AM280输出指示注视持续时间测量达到如由图4中的标志符号460所指示的阈值的注视持续时间信号255。
在乘员的注视指向PDR 310的t4处开始的时段420期间，注视持续时间测量410减小。当注视持续时间测量下降到阈值以下时，可以停止输出注视持续时间信号255。
在t5处开始的时段450期间，无法确定乘员的注视方向，这是因为乘员相对于摄像装置150、220被至少部分地遮挡。在该时段450期间，GDURM 250被配置成：当乘员相对于摄像装置150、220被至少部分地遮挡时，暂停注视持续时间测量410的更新。也就是说，所谓的暂停意味着注视持续时间测量的值被维持在其在该乘员被遮挡紧之前的值，如由表示时段450期间的注视持续时间测量410的线的水平值所指示的。一旦该乘员不再被遮挡，即，可以再次确定该乘员注视的方向，GDURM 250就被配置成恢复注视持续时间测量410的更新。如将在下面说明的，在遮挡的时段450期间，AM 280可以使用CM 270确定乘员对驾驶任务的注意力的估计。
在图4示出的示例中，在t6处开始的时段430中，在一个实施方式中确定乘员的注视指向一个或更多个SDR 320中之一。当指向SDR 320时，在一些实施方式中该乘员被认为部分地但非完全地注意车辆的操作。因此，在一些实施方式中，注视持续时间测量410由GDURM 250但是以不同于乘员的注视指向NDR 330时的速率在本示例中进行增加。与针对NDR 330的速率相比，对应于SDR 320的不同速率可以更低，即，注视持续时间测量410增加，但是增加得更慢。
从将根据上面理解的，在一些实施方式中，GDURM 250被布置成根据指示驾驶员的注视指向PDR 310的注视信号沿第一方向更新注视持续时间测量410。在一些实施方式中，GDURM 250还被配置成：根据指示驾驶员的注视指向次驾驶区域SDR 320的注视信号沿第二方向以第一速率更新注视持续时间测量；以及根据指示驾驶员的注视指向非驾驶区域NDR330的注视信号沿第二方向以第二速率更新注视持续时间测量。第二速率可以大于第一速率。这可以被称为双速率漏桶(leaky bucket)，其中，指向PDR 310的注视表示桶的填充，而指向SDR和NDR的注视方向分别表示所述桶以两种速率之一的排空。
注视持续时间测量410可以允许乘员对驾驶任务的不注意持续一定时段，即，可以允许从完全注意到引起注视持续时间信号255的输出的注视持续时间测量410的预定时间段。该时间段可以对应于在自主模式中车辆以该车辆的最大速度行驶预定距离所持续的时间段。虽然最大速度可以对应于10kmh-1、20kmh-1或30kmh-1，但是将理解的是可以使用其他最大速度值。
GDISM 260被布置成确定指示在认为乘员注意的车辆的前方的行驶距离的注视距离测量。GDISM 260被布置成接收指示乘员的注视方向的注视信号211。GDISM 260被布置成根据乘员的注视方向来更新注视距离测量，以表示在认为该乘员注意即关注的车辆的前方的行驶距离。在一些实施方式中，GDISM 260根据乘员的注视指向PDR 310的持续时间来更新注视距离测量，以表示增加的该乘员注意的车辆的前方的距离。在一些实施方式中，注视距离测量根据车辆的速度而减小。
参照图5(a)，示出了在初始位置处同时在自主模式中沿箭头515的方向驾驶的车辆510。GDISM 260被布置成接收注视信号211，在所描述的示例中，注视信号211指示将乘员的注视指向PDR 310。GDISM 260被布置成：确定乘员的注视指向PDR 310所持续的持续时间；以及将该持续时间与注视距离阈值时段进行比较。在一些实施方式中，注视距离阈值时段可以在1秒与10秒之间。在一些实施方式中，注视距离阈值时段可以小于5秒。在一个实施方式中，注视距离阈值时段可以为约2秒。如果乘员的注视指向PDR 310持续为至少注视距离阈值时段的时间段，则GDISM 260被布置成将注视距离测量更新为指示在车辆510前方的预定距离d。在一些实施方式中，GDISM 260被布置成根据乘员的注视指向PDR 310的持续时间来成比例地更新注视距离测量。也就是说，如果乘员的注视指向PDR 310持续注视距离阈值时段的一部分，则GDSIM 260被布置成更新注视距离测量来表示距离d的相同部分。因此，注视指向PDR 310持续注视距离阈值时段的一半会引起GDSIM 260更新用于表示0.5d的注视方向测量。
如图5(a)所示，线520表示指示GDISM 260确定在乘员注意的车辆510前方的距离的范围的注视距离测量520。如果乘员的注视随后指向NDR 330，则在一些实施方式中，GDISM 260可能不更新注视距离测量。换句话说，注视距离测量可能不更新或增加，以表示车辆510前方的附加距离。随着车辆510在自主模式中继续向前移动，在乘员的注视未指向PDR 310的情况下，车辆510最终到达注视距离测量520的范围，即，车辆到达与线520对应的位置，如图5(b)所示。GDISM 260被布置成当车辆510到达与线520对应的位置时向AM 280输出信号265。
在一些实施方式中，GDISM 260被配置成根据注视信号211来更新指示减小的车辆510前方的距离的注视距离测量520。可以将注视距离测量520更新成指示当注视信号211指示乘员的注视指向一个或更多个SDR 320中之一或者NDR 330时减小的车辆510前方的距离。可以根据车辆510的速度来执行更新。
GDISM 260可以被配置成根据车辆的速度和预定增益值来更新注视距离测量。GDISM 260可以被布置成根据下式来更新注视距离测量：
GDM＝-gv
在上式中，GDM为注视距离测量，g为预定增益值并且v为车辆510的速度。
如上所述，GDURM 250和GDISM 260可以并行地操作以分别同时地确定注视持续时间测量和注视距离测量。将注视持续时间测量和注视距离测量中的每个测量的指示同时提供给AM 280。
CM 270被布置成接收指示车辆的乘员与控制装置之间的物理接触的接触信号212。接触信号212可以指示乘员触摸方向盘100。接触信号212由接触确定装置230输出，接触确定装置230可以为接触检测装置230。乘员与控制装置之间的接触可以通过下述来确定：例如，通过包括电容触摸感测装置的接触检测装置230；或者通过乘员在车辆的控制装置与座椅之间形成一部分传导路径，该传导路径由接触检测装置230进行检测，例如，通过装置230输出和接收经由乘员传导的信号。将理解的是，物理接触可以以其他方式来确定，例如：转矩感测，即，感测由乘员输入至方向盘100的转矩或者乘员对例如通过马达输入至方向盘的转矩的转矩阻力；抓地力感测，即，感测通过施加抓地力引起的对方向盘的压迫或者例如经由压力垫的压迫。将理解的是，该列表不是穷举的。接触检测装置230输出接触信号212，该接触信号212指示乘员与控制装置诸如方向盘100之间的接触。
在一些实施方式中，CM 270被布置成：接收接触信号212；以及维持指示乘员与诸如方向盘100的车辆的控制装置的接触的接触测量。在一些实施方式中，CM 270被配置成确定乘员在大部分时间内与方向盘100接触。也就是说，乘员多数情况下触摸方向盘100，而不是偶尔与方向盘100接触。这与一些现有方法形成对比，现有方法在控制装置的周期性触摸可能是足够的情况下确定乘员了解车辆情况。
在一些实施方式中，CM 270根据漏桶协议来维持接触测量。图6示出了根据本发明的实施方式的由CM 270根据接触信号212维持的接触测量610。在图6的示例中，CM 270被布置成沿指示缺乏乘员与方向盘100之间的接触的第一方向更新接触测量610。第一方向可以对应于接触测量610的增加。CM 270被布置成沿指示在乘员与方向盘100之间的接触的第二方向更新接触测量。第二方向可以对应于接触测量610的值的减小。
如图6所示，在时段620期间，CM 270接收指示缺乏乘员与方向盘100之间的接触的接触信号212，并且CM 270根据接触信号212以第一速率来增加接触测量610。在时段630期间，CM 270接收指示乘员与方向盘100之间的接触的接触信号212，并且CM 270根据接触信号212以第二速率减小接触测量610。在一些实施方式中，第一速率和第二速率可以相等。当接触测量610达到预定接触测量阈值时，CM 270被布置成向AM 280输出指示缺乏乘员与方向盘100之间的物理接触的信号275。
AM 280在第一模式和第二模式中操作以根据乘员相对于成像装置220是否被遮挡来确定乘员对驾驶任务的注意力。在第一模式和第二模式中，利用输入255、265、275的不同组合来确定乘员对驾驶任务的注意力。在第一模式中，当乘员未被遮挡时，AM 280被布置成根据分别由GDURM 250和GDISM 260提供的信号255、265中的一者或两者来确定乘员对驾驶任务的注意力的估计。在一些实施方式中，AM 280被配置成根据下述两者达到各自预定阈值来控制输出装置293、295中的一者或两者输出通知信号213和控制信号215：指示注视持续时间测量的注视持续时间信号255；以及指示注视距离测量的注视距离信号265。在第二模式中，当乘员被至少部分地遮挡时，AM 280被布置成根据由CM 270输出的信号来确定乘员对驾驶任务的注意力的估计。
当确定乘员在自主驾驶模式中未注意车辆的驾驶任务时，在一些实施方式中，当信号255和265两者被提供至AM 280指示乘员未注意时，AM 280被布置成根据信号255和265启动注意力警告方法。
在图7中示出了根据本发明的实施方式的注意力警告方法700。方法700可以由控制器210来实施，特别是由控制器210上可操作地支持的AM 280来实施。方法700可以在AM280的控制下引起由控制器进行的通知信号213和控制信号212中的一者或两者的输出。方法700可以在车辆在自主模式中操作的同时由AM 280连续地实施，即，一旦车辆在自主模式中操作，该方法就开始。
方法700包括确定是否满足一个或更多个预定的注意力警告条件(AW)的步骤710。AW条件可以包括GDURM 250、GDIS 260和CM 270中的一个或更多个的输出255、265、275。AW条件可以包括来自GDURM 250、GDIS 260的如上所述指示乘员没有足够关注驾驶任务的信号255、265两者。替选地，在摄像装置150、220被遮挡的情况下，AW条件可以包括来自CM 270的指示乘员没有维持与方向盘100的足够接触的输出275。
在步骤710中，如果确定存在AW条件，则该方法进行至步骤720、730，在步骤720、730中，向乘员提供对驾驶任务的注意力不足的通知。步骤720、730可以在本发明的实施方式之间变化并且包括向乘员提供的阶段式通知策略。所谓的阶段式意指以升级的方式向乘员提供视觉通知、听觉通知和触觉通知中的一个或更多个。在示出的实施方式中，步骤720包括向乘员提供视觉通知。视觉通知可以包括由视觉显示装置输出的指示。可以提供视觉输出持续至少预定时间段诸如2秒至20秒。在一些实施方式中，在方法进行至步骤730之前，将步骤720维持持续15秒。在步骤730中，向乘员提供听觉通知。听觉通知可以包括由听觉输出装置输出的指示。在一些实施方式中，步骤720可以继续与步骤730并行地执行。步骤730可以执行持续2秒至20秒。在一些实施方式中，将步骤730维持持续15秒。在一些实施方式中，步骤720和730执行总共持续至少20秒。在一个实施方式中，步骤720和730执行持续30秒。如果在步骤720、730中的一者或两者期间确定一个或更多个AW条件停止，则该方法可以返回至步骤710，即，可以根据一个或更多个AW条件停止来停止一个或更多个视觉通知、听觉通知和触觉通知。在车辆继续在自主模式中操作的同时执行步骤720、730。
如果一个或更多个AW条件没有停止，则该方法进行至步骤740，其中，自主模式被至少部分地暂停。所谓的至少部分地暂停意指减少在自主模式中提供的对驾驶车辆的辅助。在步骤740中，可以部分地维持在自主模式中提供的对驾驶车辆的辅助。此外，所谓的暂停意指响应于一个或更多个AW条件停止，可以恢复或增加在自主模式中提供的辅助。例如，可以根据乘员触摸方向盘100或者乘员的注视指向PDR 310来恢复自主模式。在步骤740期间，可以维持步骤720、730，即，在步骤740期间，可以继续输出一个或更多个视觉通知、听觉通知和触觉通知。
步骤740可以包括：AM 280引起暂停信号215的输出，以启动车辆在自主模式中的操作的至少部分暂停。类似地，在步骤740期间，确定已经停止一个或更多个AW条件可能使AM 280输出恢复信号215，以引起车辆在自主模式中的恢复操作。暂停信号215可以被布置成使在自主模式中控制车辆的横向移动的辅助减少。控制车辆的横向移动的辅助减少可以包括自主模式中的转向辅助的减少。在一个实施方式中，辅助的减少可以包括车辆的转向的停止。在一个实施方式中，AM 280被布置成即使在自主模式中的辅助减少时也维持控制车辆的纵向移动的辅助，即，继续控制车辆的速度。有利地，由于车辆可能处于涉及明显的纵向坡度的驾驶情况中，即，上坡或下坡，因此可能不期望在步骤740期间减少控制车辆的纵向移动的辅助，例如，减少制动辅助或者向车辆的一个或更多个车轮提供的转矩。步骤740可以维持持续预定时间段，例如最高达45秒。在一个实施方式中，步骤740可以执行持续30秒。在一个实施方式中，步骤720至步骤740的总持续时间可以为60秒。
在步骤750中，确定一个或更多个AW条件是否已经停止或移除。如果一个或更多个AW条件没有停止或移除，则该方法进行至步骤760。如果一个或更多个AW条件已经停止，则该方法返回至步骤710。将理解的是，在步骤720至740期间可以周期性地或者在一个或更多个其他点处执行步骤750。特别地，将理解的是，虽然步骤750在图7中被示出为跟随步骤740，但是可以在步骤720、步骤730、步骤740中每个步骤之间执行恢复步骤750，以确定一个或更多个AW条件是否已经停止。然而，为了清楚，在图7中仅示出了一个步骤750。
如果该方法到达步骤750，则可以禁用自主模式。禁用自主模式可以包括使车辆停住或停止。步骤750可以包括向车辆的一个或更多个车轮施加制动转矩以使车辆停止。在一些实施方式中，随着方法前进通过步骤720、步骤730、步骤740，可以在一些步骤720、步骤730、步骤740或每个步骤720、步骤730、步骤740处执行车辆速度的减小，使得在步骤760中以较低的车辆速度有利地发生自主模式的暂停。
图8示出了根据本发明的实施方式的车辆800。车辆800为轮式车辆。车辆800可以包括如上所述的控制系统210以及或者如所述的系统200。在一些实施方式中，车辆800可以被布置成执行根据本发明的实施方式的方法，诸如图7或图9中示出的方法。
图9示出了根据本发明的其他实施方式的方法900。方法900可以是根据本发明的实施方式的注意力警告方法900。方法900可以由控制系统210来实施，特别是由控制器210上可操作地支持的AM 280来实施。方法900可以在AM 280的控制下引起由控制器210进行的通知信号213和控制信号215中的一者或二者的输出。方法900可以在车辆在自主模式中操作的同时由AM 280连续地实施，即，一旦车辆在自主模式中操作，该方法就开始。
方法900可以包括接收910指示车辆的乘员的注视方向的注视信号211的步骤。注视信号211可以根据与乘员的至少一部分有关的图像数据来确定。图像数据由如上所述的至少一个成像装置150、220诸如摄像装置150来输出。方法900包括接收920指示车辆的乘员与控制装置之间的物理接触的接触信号212。
在步骤930中，确定乘员相对于至少一个成像装置150、220是否被至少部分地遮挡。如果乘员被遮挡，则方法900移至步骤950。然而，如果乘员未被遮挡，则方法移至步骤940。
在步骤940中，根据注视信号211来确定乘员对驾驶任务的注意力的估计。
在步骤950中，根据接触信号212来确定乘员对驾驶任务的注意力的估计。
步骤960包括根据乘员对驾驶任务的注意力的估计来确定是否有必要采取动作。如上面例如关于图4至图6所描述的，还可以根据一个或更多个预定阈值来进行所述确定。在步骤970中，根据乘员对驾驶任务的注意力的估计来启动一个或更多个动作，所述一个或更多个动作可以包括从控制器210输出一个或更多个信号213、215。
将理解的是，本发明的实施方式可以以硬件、软件或者硬件和软件的组合的形式来实现。任何这样的软件可以以易失性存储装置或非易失性存储装置的形式存储，诸如，例如像ROM的存储装置，无论是否可擦除或可重写，或者以存储器的形式存储，诸如，例如RAM、存储器芯片、装置或集成电路，或者存储在光或磁可读介质，诸如，例如CD、DVD、磁盘或磁带上。将理解的是，存储装置和存储介质是适用于存储一个或更多个程序的机器可读存储装置的实施方式，所述一个或更多个程序在被执行时实施本发明的实施方式。因此，实施方式提供包括用于实现如任一前述权利要求所要求保护的系统或方法的代码的程序以及存储这样的程序的机器可读存储装置。此外，本发明的实施方式可以经由任何介质例如通过有线连接或无线连接承载的通信信号而被电传送，并且实施方式适当地包含这些介质。
在本说明书(包括任何所附权利要求书、摘要和附图)中公开的所有特征以及/或者因此公开的任何方法或过程的所有步骤可以以任何组合结合，除了这些特征和/或步骤中的至少一些特征和/或步骤相互排斥的组合之外。
除非另有明确说明，否则在本说明书(包括任何所附权利要求书、摘要和附图)中公开的每个特征可以由用作相同、等同或类似目的的替选特征代替。因此，除非另有明确说明，否则所公开的每个特征仅是通用系列的等同特征或类似特征的一个示例。
本发明不限于任何前述实施方式的细节。本发明扩展到本说明书(包括任何所附权利要求书、摘要和附图)中公开的特征的任何新颖特征或任何新颖特征组合，或者扩展到因此公开的任何方法或过程的步骤中的任何新颖步骤或任何新颖步骤组合。权利要求书不应当被解释为仅覆盖前述实施方式，而是也覆盖落入权利要求书的范围内的任何实施方式。

Claims (13)

1.一种用于车辆的控制系统，所述车辆(800)能够以手动模式和至少部分自主的模式操作，所述控制系统包括一个或更多个控制器(210)，所述控制系统被配置成：
接收指示所述车辆(800)的乘员的注视方向的注视信号(211)以及指示所述车辆的所述乘员与控制装置之间的物理接触的接触信号(212)，所述注视信号根据与所述乘员的至少一部分有关的图像数据来确定，所述图像数据由至少一个成像装置(150，220)输出；
在所述至少部分自主的模式中根据所述注视信号(211)来确定所述乘员对驾驶任务的注意力的估计，并且确定所述乘员何时相对于所述至少一个成像装置(150，220)被至少部分地遮挡，其中，所述控制系统被配置成：当确定所述乘员相对于所述至少一个成像装置被至少部分地遮挡时，根据所述接触信号来确定所述乘员对所述驾驶任务的注意力的估计；以及
输出信号(213，215)以用于启动一个或更多个动作，
其中，所述控制系统被配置成根据驾驶员对所述驾驶任务的注意力的估计和一个或更多个预定阈值来输出所述信号(213，215)。
2.根据权利要求1所述的控制系统，所述控制系统被配置成根据指示所述乘员的注视指向驾驶区域(310)或非驾驶区域(330)的所述注视信号(211)来确定所述乘员对所述驾驶任务的注意力的估计。
3.根据权利要求2所述的控制系统，其中，所述控制系统被配置成根据所述注视信号(211)确定所述乘员对所述驾驶任务的注意力的估计包括：所述控制系统被布置成确定指示所述乘员的注视分别指向所述驾驶区域(310)和所述非驾驶区域(330)所持续的持续时间的注视持续时间测量(410)。
4.根据权利要求3所述的控制系统，所述控制系统被配置成：根据指示所述驾驶员的注视指向主驾驶区域(310)的所述注视信号沿第一方向更新所述注视持续时间测量(410)；根据指示所述驾驶员的注视指向次驾驶区域(320)的所述注视信号沿第二方向以第一速率更新所述注视持续时间测量(410)；以及根据指示所述驾驶员的注视指向非驾驶区域(330)的所述注视信号沿所述第二方向以第二速率更新所述注视持续时间测量(410)。
5.根据权利要求2至4中任一项所述的控制系统，其中，所述控制系统被配置成根据所述注视信号(211)确定所述乘员对所述驾驶任务的注意力的估计包括：所述控制系统被配置成确定指示在认为所述乘员注意的所述车辆前方的行驶距离的注视距离测量(520)。
6.根据权利要求5所述的控制系统，所述控制系统被配置成：更新指示所述乘员的注视分别指向驾驶区域(310)和非驾驶区域(330)的所述注视距离测量(520)，所述更新根据所述车辆的速度来进行。
7.根据权利要求5或6所述的控制系统，所述控制系统被配置成：根据指示所述驾驶员的注视指向主驾驶区域持续预定时间段的所述注视信号沿第一方向更新所述注视距离测量(520)；根据指示所述驾驶员的注视指向次驾驶区域和非驾驶区域之一持续预定时间段的所述注视信号(211)沿第二方向更新所述注视距离测量(520)。
8.根据任一前述权利要求所述的控制系统，其中，根据所述接触信号(212)确定所述乘员对所述驾驶任务的注意力的估计包括所述控制系统被配置成：确定至少部分地表示所述驾驶员对所述驾驶任务的注意力的估计的接触值(610)；以及根据所述接触信号(212)来更新所述接触值(610)。
9.根据权利要求8或从属于权利要求8的任一权利要求所述的控制系统，所述控制系统被配置成：根据指示所述车辆的所述驾驶员与所述控制装置之间的物理接触的所述接触信号(212)沿第一方向更新所述接触值(610)；以及根据指示在所述车辆(800)的所述驾驶员与所述控制装置之间不存在物理接触的所述接触信号(212)沿第二方向更新所述接触值(610)。
10.一种用于车辆(800)的方法，所述车辆(800)能够以手动模式和至少部分自主的模式操作，所述方法包括：
接收指示车辆的乘员的注视方向的注视信号(910)，所述注视信号根据与所述乘员的至少一部分有关的图像数据来确定，所述图像数据由至少一个成像装置(150，220)输出；
接收指示所述车辆的所述乘员与控制装置之间的物理接触的接触信号(920)；
在所述至少部分自主的模式中根据所述注视信号来确定所述乘员对驾驶任务的注意力的估计(940)；
确定所述乘员何时相对于所述至少一个成像装置(150，220)被至少部分地遮挡，并且当确定所述乘员相对于所述至少一个成像装置被至少部分地遮挡时，根据所述接触信号来确定所述乘员对所述驾驶任务的注意力的估计(950)；
根据所述乘员对所述驾驶任务的注意力的估计和一个或更多个预定阈值来启动一个或更多个动作(960，970)。
11.一种系统，包括：
根据权利要求1至9中任一项所述的控制系统(210)；
至少一个成像装置(150，220)，所述至少一个成像装置(150，220)用于提供与车辆(800)的乘员的至少一部分有关的图像数据；以及
接触装置(230)，所述接触装置(230)用于输出指示所述车辆的所述乘员与控制装置(100)之间的物理接触的接触信号(212)。
12.一种车辆(800)，所述车辆(800)包括根据权利要求1至9中任一项所述的控制系统(210)或根据权利要求11所述的系统。
13.一种计算机软件，所述计算机软件在执行时被布置成实施根据权利要求10所述的方法；可选地，所述计算机软件被存储在非暂态计算机可读介质上。
CN201980069003.1A 2018-09-19 2019-08-22 用于监测车辆操作的设备和方法 Pending CN112867650A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1815230.6 2018-09-19
GB1815230.6A GB2577270B (en) 2018-09-19 2018-09-19 Apparatus and method for monitoring vehicle operation
PCT/EP2019/072523 WO2020057895A1 (en) 2018-09-19 2019-08-22 Apparatus and method for monitoring vehicle operation

Publications (1)

Publication Number Publication Date
CN112867650A true CN112867650A (zh) 2021-05-28

Family

ID=64013224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069003.1A Pending CN112867650A (zh) 2018-09-19 2019-08-22 用于监测车辆操作的设备和方法

Country Status (5)

Country Link
US (2) US11420637B2 (zh)
CN (1) CN112867650A (zh)
DE (1) DE112019004676T5 (zh)
GB (1) GB2577270B (zh)
WO (1) WO2020057895A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220128422A1 (en) * 2020-09-30 2022-04-28 Joyson Safety Systems Acquisition Llc Force sensing seat belt sensor assembly
US11423674B2 (en) * 2020-10-22 2022-08-23 Ford Global Technologies, Llc Vehicle occupant gaze detection
DE102022109811A1 (de) 2022-04-22 2023-10-26 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem und Fahrerassistenzverfahren für ein Fahrzeug
CN115366909B (zh) * 2022-10-21 2023-04-07 四川省公路规划勘察设计研究院有限公司 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
CN104553988A (zh) * 2013-10-15 2015-04-29 沃尔沃汽车公司 车辆驾驶员辅助设备
US9475389B1 (en) * 2015-06-19 2016-10-25 Honda Motor Co., Ltd. System and method for controlling a vehicle display based on driver behavior
US20170108864A1 (en) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Vehicle system and method for enabling a device for autonomous driving
WO2018113857A1 (de) * 2016-12-21 2018-06-28 Continental Teves Ag & Co. Ohg System für ein fahrzeug

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
JP5657809B2 (ja) 2011-10-06 2015-01-21 本田技研工業株式会社 脇見検出装置
WO2015027248A2 (en) * 2013-08-23 2015-02-26 Cellepathy Ltd. Mobile device context aware determinations
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
CN106663377B (zh) 2014-06-23 2019-04-09 株式会社电装 驾驶员的驾驶不能状态检测装置
US9373203B1 (en) * 2014-09-23 2016-06-21 State Farm Mutual Automobile Insurance Company Real-time driver monitoring and feedback reporting system
DE102015201369A1 (de) * 2015-01-27 2016-07-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
US10372132B2 (en) * 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
KR20180070401A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 자율주행차량의 운전 제어권 이양을 판단하는 시스템 및 방법
JP6528787B2 (ja) * 2017-01-17 2019-06-12 トヨタ自動車株式会社 車両の制御装置
JP6809262B2 (ja) * 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
GB2559606B (en) * 2017-02-13 2021-03-10 Jaguar Land Rover Ltd Controlling the operation of a head-up display apparatus
US10365647B2 (en) * 2017-03-29 2019-07-30 Qualcomm Incorporated Ensuring occupant awareness in vehicles
EP3609756A4 (en) * 2017-05-08 2021-01-27 Joyson Safety Systems Acquisition LLC INTEGRATION OF OCCUPANT MONITORING SYSTEMS THROUGH VEHICLE CONTROL SYSTEMS
JP6948559B2 (ja) * 2017-05-09 2021-10-13 オムロン株式会社 運転者監視装置、及び運転者監視方法
US10956759B1 (en) * 2018-04-05 2021-03-23 Ambarella International Lp Age detection in vehicles using computer vision
US10528832B2 (en) * 2018-04-17 2020-01-07 GM Global Technology Operations LLC Methods and systems for processing driver attention data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104553988A (zh) * 2013-10-15 2015-04-29 沃尔沃汽车公司 车辆驾驶员辅助设备
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
US9475389B1 (en) * 2015-06-19 2016-10-25 Honda Motor Co., Ltd. System and method for controlling a vehicle display based on driver behavior
US20170108864A1 (en) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Vehicle system and method for enabling a device for autonomous driving
WO2018113857A1 (de) * 2016-12-21 2018-06-28 Continental Teves Ag & Co. Ohg System für ein fahrzeug

Also Published As

Publication number Publication date
US20210354703A1 (en) 2021-11-18
WO2020057895A1 (en) 2020-03-26
US11420637B2 (en) 2022-08-23
GB2577270B (en) 2021-04-07
GB201815230D0 (en) 2018-10-31
DE112019004676T5 (de) 2021-06-24
US11738758B2 (en) 2023-08-29
US20220396272A1 (en) 2022-12-15
GB2577270A (en) 2020-03-25

Similar Documents

Publication Publication Date Title
US11738758B2 (en) Apparatus and method for monitoring vehicle operation
KR101779823B1 (ko) 자율주행차량의 제어 모드 전환 방법 및 그 장치
US9650058B2 (en) Autonomous driving system for a vehicle and method for carrying out the operation
US11150652B2 (en) Method for operating a driver assistance device of a motor vehicle
US9870001B1 (en) Automated vehicle operator skill evaluation system
US20160185388A1 (en) Lane change control device and control method
US9409554B2 (en) Method for improving the driving stability
US11383730B2 (en) Method and device for assisting a driver during the deactivation of a highly automated driving mode of a vehicle
US11780434B2 (en) Lane change intention estimation of a vehicle
CN111216792B (zh) 一种自动驾驶车辆状态监测系统及方法、汽车
US20150239298A1 (en) Method, control device and system for determining a tread depth of a tread of a tire
KR20190124131A (ko) 차량의 제어권 이양 관리 장치 및 방법
CN110893851B (zh) 用于在道路偏离事件中辅助驾驶员的方法和系统
KR20190040550A (ko) 차량에서의 장애물 검출장치 및 그 제어방법
US20210024097A1 (en) Vehicle controller and control method
JP5018733B2 (ja) 運転支援装置
JPWO2021106159A5 (zh)
GB2572203A (en) Vehicle controller and control method
KR102520242B1 (ko) 차선 유지 제어 시스템 및 그에 의한 조향 제어 방법
KR20160038158A (ko) 운전자 성향 반영 위험 운전 감지 시스템 및 방법
KR20190004039A (ko) 차량의 주행모드 전환 방법 및 장치
CN110901757B (zh) 用于确定驾驶员的转向干预的系统以及方法
GB2591036A (en) Apparatus and method for monitoring vehicle operation
JP2017515715A (ja) 車両制御システム
GB2572208A (en) Vehicle controller and control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination