CN114932917A - 驾驶员提示方法及车辆控制设备 - Google Patents

驾驶员提示方法及车辆控制设备 Download PDF

Info

Publication number
CN114932917A
CN114932917A CN202210561833.XA CN202210561833A CN114932917A CN 114932917 A CN114932917 A CN 114932917A CN 202210561833 A CN202210561833 A CN 202210561833A CN 114932917 A CN114932917 A CN 114932917A
Authority
CN
China
Prior art keywords
driver
driving scene
state information
vehicle
prompting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210561833.XA
Other languages
English (en)
Inventor
肖柏宏
韩亦琦
罗武
顾宇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weilai Automobile Technology Anhui Co Ltd
Original Assignee
Weilai Automobile Technology Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weilai Automobile Technology Anhui Co Ltd filed Critical Weilai Automobile Technology Anhui Co Ltd
Priority to CN202210561833.XA priority Critical patent/CN114932917A/zh
Publication of CN114932917A publication Critical patent/CN114932917A/zh
Priority to EP23174534.0A priority patent/EP4282728A1/en
Priority to US18/321,871 priority patent/US20230373518A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/24—Drug level, e.g. alcohol

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Transmission Device (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明涉及一种驾驶员提示方法，所述方法包括：从驾驶员状态感知系统中接收驾驶员状态信息；确定当前的驾驶场景；以及根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。本发明还涉及一种车辆控制设备、计算机程序产品以及车辆。

Description

驾驶员提示方法及车辆控制设备
技术领域
本发明涉及车辆控制领域，更具体地，涉及一种驾驶员提示方法、车辆控制设备、计算机程序产品以及车辆。
背景技术
目前，行业内对车辆在自动驾驶或人工驾驶时提醒驾驶员接管车辆或者提示信息的方案，更多地采用简单地通过车辆控制端进行语音提醒， 同时不分场景不分驾驶员状态同时采取多个提醒手段的方案，这些方案要么无法起到有效和直接警示或提示驾驶员的作用，要么由于多个设备同时发出警示或提示声音给驾驶员带来不适感，严重时会引起驾驶员的恐慌从而影响驾驶员判断和操作能力，乃至带来安全风险。
因此，希望一种改进的驾驶员提示方案。
发明内容
根据本发明的一方面，提供了一种驾驶员提示方法，所述方法包括：从驾驶员状态感知系统中接收驾驶员状态信息；确定当前的驾驶场景；以及根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。
作为上述方案的补充或替换，在上述方法中，所述驾驶员状态感知系统包括：与车辆互联的智能设备、摄像头传感器以及气味识别系统。
作为上述方案的补充或替换，在上述方法中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：在确定进入自动驾驶场景，并且所述驾驶员状态信息指示驾驶员无接管能力时，通过车机声音、手机和/或可穿戴设备震动以及座椅震动来唤醒驾驶员并驶往安全地点。
作为上述方案的补充或替换，在上述方法中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员正在操作手机时，利用手机震动和声音来向驾驶员发出警示。
作为上述方案的补充或替换，在上述方法中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员注意力集中时，利用车机声音和文字来向驾驶员发出警示。
作为上述方案的补充或替换，在上述方法中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员轻度注意力不足时，利用可穿戴设备震动和声音来向驾驶员发出警示。
作为上述方案的补充或替换，在上述方法中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员重度注意力不足时，利用车机声音、手机和/或可穿戴设备震动以及座椅震动来向驾驶员发出警示。
根据本发明的另一方面，提供了一种车辆控制设备，所述车辆控制设备包括：接收装置，用于从驾驶员状态感知系统中接收驾驶员状态信息；确定装置，用于确定当前的驾驶场景；以及选择装置，用于根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。
作为上述方案的补充或替换，在上述设备中，所述驾驶员状态感知系统包括：与车辆互联的智能设备、摄像头传感器以及气味识别系统。
作为上述方案的补充或替换，在上述设备中，所述选择装置配置成：在所述确定装置确定进入自动驾驶场景，并且所述驾驶员状态信息指示驾驶员无接管能力时，选择车机声音、手机和/或可穿戴设备震动以及座椅震动来唤醒驾驶员。
作为上述方案的补充或替换，在上述设备中，所述选择装置配置成：在所述确定装置确定自动驾驶场景下需要驾驶员接管或在所述确定装置确定自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员正在操作手机时，选择利用手机震动和声音来向驾驶员发出警示。
作为上述方案的补充或替换，在上述设备中，所述选择装置配置成：在所述确定装置确定自动驾驶场景下需要驾驶员接管或在所述确定装置确定自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员注意力集中时，选择利用车机声音和文字来向驾驶员发出警示。
作为上述方案的补充或替换，在上述设备中，所述选择装置配置成：在所述确定装置确定自动驾驶场景下需要驾驶员接管或在所述确定装置确定自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员轻度注意力不足时，选择利用可穿戴设备震动和声音来向驾驶员发出警示。
作为上述方案的补充或替换，在上述设备中，所述选择装置配置成：在所述确定装置确定自动驾驶场景下需要驾驶员接管或在所述确定装置确定自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员重度注意力不足时，选择利用车机声音、手机和/或可穿戴设备震动以及座椅震动来向驾驶员发出警示。
根据本发明的又一方面，提供了一种计算机存储介质，所述介质包括指令，所述指令在运行时执行如前所述的方法。
根据本发明的又一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如前所述的方法。
根据本发明的又一方面，提供了一种车辆，所述车辆包括如前所述的设备。
本发明的实施例的驾驶员提示方案通过驾驶员状态感知系统（也可称为多重感知系统，例如包括摄像头/气味等传感器、和车辆有蓝牙互联的手机或可穿戴设备）感知驾驶员的状态，根据驾驶员的状态结合当前的驾驶场景采取相应的合适的警示或提示，使得驾驶员能够友好地、直接有效地、安全地接收信息，从而采取下一步安全操作。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1示出了根据本发明的一个实施例的驾驶员提示方法的流程示意图；
图2示出了根据本发明的一个实施例的车辆控制设备的结构示意图；
图3示出了根据本发明的一个实施例的驾驶员提示系统的结构示意图；
图4示出了根据本发明的一个实施例的在自动驾驶下驶入安全地点休息的警示方法的流程示意图；
图5示出了根据本发明的一个实施例的在自动驾驶下驾驶员接管的警示方法的流程示意图；以及
图6示出了根据本发明的一个实施例的在自动驾驶或人工驾驶下的信息提示方法的流程示意图。
具体实施方式
在下文中，将参考附图详细地描述根据本发明的各示例性实施例的驾驶员提示方案。
图1示出了根据本发明的一个实施例的驾驶员提示方法1000的流程示意图。如图1所示，驾驶员提示方法1000包括如下步骤：
在步骤S110中，从驾驶员状态感知系统中接收驾驶员状态信息；
在步骤S120中，确定当前的驾驶场景；以及
在步骤S130中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。
“驾驶员状态信息”顾名思义，就是与驾驶员状态相关的信息，用于指明驾驶员怎样和在何种状态下使用汽车控制部件。一般而言，驾驶员状态可从驾驶行为、驾驶风格、车辆特性、环境条件等综合分析，也可以通过生理因素、外部表情和感情因素去推断。
在本发明的上下文中，驾驶员状态信息由驾驶员状态感知系统来获取，该驾驶员状态感知系统也可称为多重感知系统。在一个实施例中，驾驶员状态感知系统或多重感知系统可包括：摄像头、气味感知系统、和车辆控制设备/单元有蓝牙互联的设备（例如智能设备，如手机，以及可穿戴设备，如手环、手表等）。例如，摄像头可用于获取驾驶员的图像，基于该图像可用于发现驾驶员走神（distraction）、疲劳（fatigue）或者打瞌睡（drowsiness），甚至出现无法驾驶的意外情况，比如欺骗辅助驾驶系统用矿泉水代替双手在方向盘上，或者与乘客争吵打架等。作为示例，可以基于驾驶员面部图像处理来研究驾驶员身心状况，例如从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等，检测到驾驶员状态。与疲劳、分心和打瞌睡有关的症状提取包括：1) 与眼部区域有关的症状：闭眼、眼睑之间的距离、眨眼速度快、凝视方向和跳跃运动；2) 与嘴巴区域有关的症状：开/闭；3) 与头部有关的症状：点头、头部姿势和头固定不变；4) 与面部有关的症状：主要是表情。
气味感知系统用于感测驾驶员的气味特征。例如，通过在座椅以及靠背、头枕或车顶放置一个或多个气味传感器，用于检测由人体释放到环境空气中的气味物质，以及内部空间环境气味特征，从而判断驾驶员是否醉驾或酒驾。
作为驾驶员状态感知系统的一部分，和车辆控制设备/单元有蓝牙互联的设备（例如手机）可用于提供与驾驶员是否正在使用手机（例如打电话、发消息等）相关的驾驶员状态信息。可以理解的是，除了蓝牙互联的方式，智能设备（如手机）也可采用其他有线或无线连接方式，包括但不限于，WiFi、RFID等。
在一个或多个实施例中，驾驶员状态可包括：驾驶员无接管能力或接管能力不足（比如极度困乏导致的沉睡或醉酒）、驾驶员正在操作手机（注视或者操作）、驾驶员注意力集中mind on（手放在方向盘上、双眼目视前方）、轻度注意力不足mind off以及重度注意力不足mind off等。
所谓“无接管能力”是指通过气味传感器检测有酒驾状态或者通过摄像头等检测设备检测到驾驶员处于沉睡状态（极度困乏等原因）的情形。在这些情形下，驾驶员并不具备在自动驾驶系统需要人接管时的接管能力。
是否在操作手机（包括注视或者操作），是基于和车辆控制设备连接的手机以及车内摄像头等感知到驾驶员正在操作手机。
驾驶员注意力集中（mind on）的状态可包括手放在方向盘上hands on、双眼目视前方eyes on状态。例如，用车内摄像头等手段识别到驾驶员处于关注车辆行驶的状态，比如手扶着方向盘，目视前方且并未在处理一些和车辆驾驶无关的事情。
重度注意力不足mind off状态是指驾驶员处于难以唤醒的状态，比如睡眠状态（例如利用摄像头等系统可以感知）。
轻度注意力不足则介于驾驶员注意力集中以及重度注意力不足两者之间，即驾驶员并未处于睡眠等状态，但例如可能在和成员聊天或者看书。
驾驶员属性、车辆的设计参数及运行状态以及车辆行驶环境三者相互变化构成了错综复杂的驾驶场景。在本发明的上下文中，准确识别出车辆当前所处的驾驶场景（即当前的驾驶场景）有利于从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。在一个实施例中，当前的驾驶场景为刚进入自动驾驶状态。在另一个实施例中，当前的驾驶场景为已进入自动驾驶模式，但需要驾驶员接管。在又一个实施例中，当前的驾驶场景为自动或人工驾驶场景下有信息须提示。
在一个实施例中，候选提示方式可包括（但不限于）座椅系统的震动、车机声音和文字、手表或手环等可穿戴设备的震动、声音和文字以及手机的震动、声音和文字。
在一个实施例中，步骤S130包括：在确定进入自动驾驶场景，并且所述驾驶员状态信息指示驾驶员无接管能力时，通过车机声音、手机和/或可穿戴设备震动以及座椅震动来唤醒驾驶员并驶往安全地点。由于“无接管能力”是指通过气味传感器检测有酒驾状态或者通过摄像头等检测设备检测到驾驶员处于沉睡状态（极度困乏等原因）的情形。在这些情形下，驾驶员并不具备在自动驾驶系统需要人接管时的接管能力，因而警示其就近驶入安全地点休息。
上述实施例涉及驾驶员无接管能力的情况下的警示方案。在以下的多个实施例中，给出了自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示的多个方案。
具体来说，在一个实施例中，步骤S130包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员正在操作手机时，利用手机震动和声音来向驾驶员发出警示。所谓“驾驶员正在操作手机”是基于和车辆控制设备连接的手机以及车内摄像头等感知到驾驶员正在操作手机（包括注视或者操作）。此时通过手机的震动、声音和文字对驾驶员就是直接、有效的警示或提示方式。
在另一个实施例中，步骤S130包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员注意力集中时，利用车机声音和文字来向驾驶员发出警示。由于驾驶员注意力集中，并未在处理一些和车辆驾驶无关的事情，此时车机的声音和文字提示方式对驾驶员而言已经是有效的警示或提示方式。
在又一个实施例中，步骤S130包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员轻度注意力不足时，利用可穿戴设备震动和声音来向驾驶员发出警示。轻度注意力不足状态是指驾驶员并未处于睡眠等状态，可能在和成员聊天或者看书等。此时仅通过声音提示未必能够有效警示或提示驾驶员，因而在驾驶员佩戴了手表或手环等可穿戴设备时（注：系统/车辆控制设备可感知到是否佩戴），则通过手表或手环的震动、声音（以及文字）对驾驶员进行直接有效的警示或提示。
在又一个实施例中，步骤S130包括：在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员重度注意力不足时，利用车机声音、手机和/或可穿戴设备震动以及座椅震动来向驾驶员发出警示。重度注意力不足是指驾驶员处于难以唤醒的状态，比如睡眠状态（例如通过摄像头等系统可以感知到）。此时需要多个警示或提示方式（手机震动以及声音文字、车机声音文字、手环或手机震动以及声音文字、座椅震动）同时起作用，确保唤醒驾驶员。
在一个或多个实施例中，须提示的信息可包括（但不限于）充电提醒、即将到达目的地提醒、车辆故障提醒以及远程服务提醒等。
另外，本领域技术人员容易理解，本发明的上述一个或多个实施例提供的驾驶员提示方法1000可通过计算机程序来实现。例如，该计算机程序包含在一种计算机程序产品中，该计算机程序被处理器执行时实现本发明的一个或多个实施例的驾驶员提示方法1000。又例如，当存有该计算机程序的计算机存储介质（例如U盘）与计算机相连时，运行该计算机程序即可执行本发明的一个或多个实施例的驾驶员提示方法1000。
参考图2，图2示出了根据本发明的一个实施例的车辆控制设备2000。如图2所示，车辆控制设备2000包括：接收装置210、确定装置220以及选择装置230。其中，接收装置210用于从驾驶员状态感知系统中接收驾驶员状态信息；确定装置220用于确定当前的驾驶场景；以及选择装置230用于根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。
“驾驶员状态信息”顾名思义，就是与驾驶员状态相关的信息，用于指明驾驶员怎样和在何种状态下使用汽车控制部件。一般而言，驾驶员状态可从驾驶行为、驾驶风格、车辆特性、环境条件等综合分析，也可以通过生理因素、外部表情和感情因素去推断。
在本发明的上下文中，驾驶员状态信息由驾驶员状态感知系统来获取，该驾驶员状态感知系统也可称为多重感知系统。在一个实施例中，驾驶员状态感知系统或多重感知系统可包括：摄像头、气味感知系统、和车辆控制设备2000有蓝牙互联的设备（例如智能设备，如手机，以及可穿戴设备，如手环、手表等）。例如，摄像头可用于获取驾驶员的图像，基于该图像可用于发现驾驶员走神（distraction）、疲劳（fatigue）或者打瞌睡（drowsiness），甚至出现无法驾驶的意外情况，比如欺骗辅助驾驶系统用矿泉水代替双手在方向盘上，或者与乘客争吵打架等。作为示例，可以基于驾驶员面部图像处理来研究驾驶员身心状况，例如从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等，检测到驾驶员状态。与疲劳、分心和打瞌睡有关的症状提取包括：1) 与眼部区域有关的症状：闭眼、眼睑之间的距离、眨眼速度快、凝视方向和跳跃运动；2) 与嘴巴区域有关的症状：开/闭；3) 与头部有关的症状：点头、头部姿势和头固定不变；4) 与面部有关的症状：主要是表情。
气味感知系统用于感测驾驶员的气味特征。例如，通过在座椅以及靠背、头枕或车顶放置一个或多个气味传感器，用于检测由人体释放到环境空气中的气味物质，以及内部空间环境气味特征，从而判断驾驶员是否醉驾或酒驾。
作为驾驶员状态感知系统的一部分，和车辆控制设备2000有蓝牙互联的设备（例如手机）可用于提供与驾驶员是否正在使用手机（例如打电话、发消息等）相关的驾驶员状态信息。可以理解的是，除了蓝牙互联的方式，智能设备（如手机）也可采用其他有线或无线连接方式来与车辆控制设备2000连接，包括但不限于，WiFi、RFID等。
在一个或多个实施例中，驾驶员状态可包括：驾驶员无接管能力或接管能力不足（比如极度困乏导致的沉睡或醉酒）、驾驶员正在操作手机（注视或者操作）、驾驶员注意力集中mind on（手放在方向盘上、双眼目视前方）、轻度注意力不足mind off以及重度注意力不足mind off等。
所谓“无接管能力”是指通过气味传感器检测有酒驾状态或者通过摄像头等检测设备检测到驾驶员处于沉睡状态（极度困乏等原因）的情形。在这些情形下，驾驶员并不具备在自动驾驶系统需要人接管时的接管能力。
是否在操作手机（包括注视或者操作），是基于和车辆控制设备2000连接的手机以及车内摄像头等感知到驾驶员正在操作手机。
驾驶员注意力集中（mind on）的状态可包括手放在方向盘上hands on、双眼目视前方eyes on状态。例如，用车内摄像头等手段识别到驾驶员处于关注车辆行驶的状态，比如手扶着方向盘，目视前方且并未在处理一些和车辆驾驶无关的事情。
重度注意力不足mind off状态是指驾驶员处于难以唤醒的状态，比如睡眠状态（例如利用摄像头等系统可以感知）。
轻度注意力不足则介于驾驶员注意力集中以及重度注意力不足两者之间，即驾驶员并未处于睡眠等状态，但例如可能在和成员聊天或者看书。
驾驶员属性、车辆的设计参数及运行状态以及车辆行驶环境三者相互变化构成了错综复杂的驾驶场景。在本发明的上下文中，准确识别出车辆当前所处的驾驶场景（即当前的驾驶场景）有利于从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。在一个实施例中，当前的驾驶场景为刚进入自动驾驶状态。在另一个实施例中，当前的驾驶场景为已进入自动驾驶模式，但需要驾驶员接管。在又一个实施例中，当前的驾驶场景为自动或人工驾驶场景下有信息须提示。
在一个实施例中，候选提示方式可包括（但不限于）座椅系统的震动、车机声音和文字、手表或手环等可穿戴设备的震动、声音和文字以及手机的震动、声音和文字。
在一个实施例中，选择装置230配置成：在确定装置220确定进入自动驾驶场景，并且接收装置210所接收的驾驶员状态信息指示驾驶员无接管能力时，选择车机声音、手机和/或可穿戴设备震动以及座椅震动来唤醒驾驶员并驶往安全地点。由于“无接管能力”是指通过气味传感器检测有酒驾状态或者通过摄像头等检测设备检测到驾驶员处于沉睡状态（极度困乏等原因）的情形。在这些情形下，驾驶员并不具备在自动驾驶系统需要人接管时的接管能力，因而警示其就近驶入安全地点休息。
在另一个实施例中，选择装置230配置成：在确定装置220确定自动驾驶场景下需要驾驶员接管或在所述确定装置220确定自动或人工驾驶场景下有信息须提示，并且接收装置210所接收的驾驶员状态信息指示驾驶员正在操作手机时，选择利用手机震动和声音来向驾驶员发出警示。所谓“驾驶员正在操作手机”是基于和车辆控制设备2000连接的手机以及车内摄像头等感知到驾驶员正在操作手机（包括注视或者操作）。此时通过手机的震动、声音和文字对驾驶员就是直接、有效的警示或提示方式。
在又一个实施例中，选择装置230配置成：在确定装置220确定自动驾驶场景下需要驾驶员接管或在所述确定装置220确定自动或人工驾驶场景下有信息须提示，并且接收装置210所接收的驾驶员状态信息指示驾驶员注意力集中时，选择利用车机声音和文字来向驾驶员发出警示。由于驾驶员注意力集中，并未在处理一些和车辆驾驶无关的事情，此时车机的声音和文字提示方式对驾驶员而言已经是有效的警示或提示方式。
在又一个实施例中，选择装置230配置成：在确定装置220确定自动驾驶场景下需要驾驶员接管或在所述确定装置220确定自动或人工驾驶场景下有信息须提示，并且接收装置210所接收的驾驶员状态信息指示驾驶员轻度注意力不足时，选择利用可穿戴设备震动和声音来向驾驶员发出警示。轻度注意力不足状态是指驾驶员并未处于睡眠等状态，可能在和成员聊天或者看书等。此时仅通过声音提示未必能够有效警示或提示驾驶员，因而在驾驶员佩戴了手表或手环等可穿戴设备时（注：系统/车辆控制设备可感知到是否佩戴），则通过手表或手环的震动、声音（以及文字）对驾驶员进行直接有效的警示或提示。
在又一个实施例中，选择装置230配置成：在确定装置220确定自动驾驶场景下需要驾驶员接管或在所述确定装置220确定自动或人工驾驶场景下有信息须提示，并且接收装置210所接收的驾驶员状态信息指示驾驶员重度注意力不足时，选择利用车机声音、手机和/或可穿戴设备震动以及座椅震动来向驾驶员发出警示。重度注意力不足是指驾驶员处于难以唤醒的状态，比如睡眠状态（例如通过摄像头等系统可以感知到）。此时需要多个警示或提示方式（手机震动以及声音文字、车机声音文字、手环或手机震动以及声音文字、座椅震动）同时起作用，确保唤醒驾驶员。
在一个或多个实施例中，上述车辆控制设备2000可集成在各种类型的车辆中，本发明对此不作限定。
参考图3，它示出了根据本发明的一个实施例的驾驶员提示系统的结构示意图。如图3所示，驾驶员状态感知系统包括手机、摄像头以及气味识别传感器，它们用于感知驾驶员的状态。在驾驶员状态感知系统中，手机与车辆控制设备进行蓝牙连接。
在警示或提示设备中，存在多种候选提示方式，包括座椅系统的震动，车机的声音和文字、手表或手环等可穿戴设备的震动、声音和文字以及手机的震动、声音和文字。其中，可穿戴设备以及手机可与车辆控制设备进行蓝牙连接。基于车辆控制设备的控制，警示/提示设备将震动、声音和/或文字提供给驾驶员以便该驾驶员及时进行相应的操作，例如接管车辆等。
图4示出了根据本发明的一个实施例的在自动驾驶下驶入安全地点休息的警示方法的流程示意图。如图4所示，在步骤S410中，整个流程开始；接着，在步骤S415中，确定进入自动驾驶场景；然后，在步骤S420中，判断驾驶员是否具有接管能力。若有，则继续执行步骤S425，否则返回步骤S415。在步骤S425中，利用车机声音、手环手机震动以及座椅震动来进行提示。最后，在步骤S430中，驾驶员被唤醒，且车辆驶往安全地点。
图5示出了根据本发明的一个实施例的在自动驾驶下驾驶员接管的警示方法的流程示意图。如图5所示，在步骤S510中，整个流程开始；接着，在步骤S515中，确定进入自动驾驶场景；然后，在步骤S520中，判断是否需要警示驾驶员接管。若是，则继续执行步骤S525，否则返回步骤S515。在步骤S525中，识别驾驶员的状态以便后续选择适当的警示方式。在步骤S530中，判断驾驶员是否在操作手机。若是，则执行步骤S535，否则执行步骤S540。在步骤S535中，利用手机震动以及声音来进行警示。在步骤S540中，判断驾驶员是否注意力集中。若是，则执行步骤S545，否则执行步骤S550。在步骤S545中，用车机声音文字进行警示。在步骤S550中，判断驾驶员是否轻度注意力不足。若是，则执行步骤S555，否则执行步骤S560。在步骤S555中，利用手环/手表等可穿戴设备来进行震动和声音警示。在步骤S560中，判断驾驶员是否重度注意力不足。若是，则在步骤S565中，利用车机声音、手环手机震动以及座椅震动来进行警示。最终，在步骤S570中，驾驶员得到警示并相应地接管车辆。
图6示出了根据本发明的一个实施例的在自动驾驶或人工驾驶下的信息提示方法的流程示意图。如图6所示，在步骤S610中，整个流程开始；接着，在步骤S615中，确定进入自动驾驶场景或人工驾驶场景；然后，在步骤S620中，判断是否有信息须提示。若是，则继续执行步骤S625，否则返回步骤S615。在步骤S625中，识别驾驶员的状态以便后续选择适当的警示方式。在步骤S630中，判断驾驶员是否在操作手机。若是，则执行步骤S635，否则执行步骤S640。其中在步骤S635中，利用手机震动以及声音来进行提示。在步骤S640中，判断驾驶员是否注意力集中。若是，则执行步骤S645，否则执行步骤S650。在步骤S645中，用车机声音文字进行提示。在步骤S650中，判断驾驶员是否轻度注意力不足。若是，则执行步骤S655，否则执行步骤S660。在步骤S655中，利用手环/手表等可穿戴设备来进行震动、声音和文字提示。在步骤S660中，判断驾驶员是否重度注意力不足。若是，则在步骤S665中，利用车机声音、手环手机震动以及座椅震动来进行提示。最终，在步骤S670中，驾驶员得到提示并进行下一步操作。
综上，本发明的实施例的驾驶员提示方案通过驾驶员状态感知系统（也可称为多重感知系统，例如包括摄像头/气味等传感器、和车辆有蓝牙互联的手机或可穿戴设备）感知驾驶员的状态，根据驾驶员的状态结合当前的驾驶场景采取相应的合适的警示或提示，使得驾驶员能够友好地、直接有效地、安全地接收信息，从而采取下一步安全操作。
尽管以上说明书只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (10)

1.一种驾驶员提示方法，其特征在于，所述方法包括：
从驾驶员状态感知系统中接收驾驶员状态信息；
确定当前的驾驶场景；以及
根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。
2.如权利要求1所述的方法，其中，所述驾驶员状态感知系统包括：与车辆互联的智能设备、摄像头传感器以及气味识别系统。
3.如权利要求1或2所述的方法，其中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：
在确定进入自动驾驶场景，并且所述驾驶员状态信息指示驾驶员无接管能力时，通过车机声音、手机和/或可穿戴设备震动以及座椅震动来唤醒驾驶员并驶往安全地点。
4.如权利要求1或2所述的方法，其中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：
在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员正在操作手机时，利用手机震动和声音来向驾驶员发出警示。
5.如权利要求1或2所述的方法，其中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：
在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员注意力集中时，利用车机声音和文字来向驾驶员发出警示。
6.如权利要求1或2所述的方法，其中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：
在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员轻度注意力不足时，利用可穿戴设备震动和声音来向驾驶员发出警示。
7.如权利要求1或2所述的方法，其中，根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员包括：
在自动驾驶场景下需要驾驶员接管或在自动或人工驾驶场景下有信息须提示，并且所述驾驶员状态信息指示驾驶员重度注意力不足时，利用车机声音、手机和/或可穿戴设备震动以及座椅震动来向驾驶员发出警示。
8.一种车辆控制设备，其特征在于，所述车辆控制设备包括：
接收装置，用于从驾驶员状态感知系统中接收驾驶员状态信息；
确定装置，用于确定当前的驾驶场景；以及
选择装置，用于根据所述驾驶员状态信息并结合所述驾驶场景，从多种候选提示方式中选择合适的提示方式来提醒或警示驾驶员。
9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种车辆，其特征在于，所述车辆包括如权利要求8所述的车辆控制设备。
CN202210561833.XA 2022-05-23 2022-05-23 驾驶员提示方法及车辆控制设备 Pending CN114932917A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210561833.XA CN114932917A (zh) 2022-05-23 2022-05-23 驾驶员提示方法及车辆控制设备
EP23174534.0A EP4282728A1 (en) 2022-05-23 2023-05-22 Method for prompting driver, and vehicle control device
US18/321,871 US20230373518A1 (en) 2022-05-23 2023-05-23 Method for prompting driver, and vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210561833.XA CN114932917A (zh) 2022-05-23 2022-05-23 驾驶员提示方法及车辆控制设备

Publications (1)

Publication Number Publication Date
CN114932917A true CN114932917A (zh) 2022-08-23

Family

ID=82864956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210561833.XA Pending CN114932917A (zh) 2022-05-23 2022-05-23 驾驶员提示方法及车辆控制设备

Country Status (3)

Country Link
US (1) US20230373518A1 (zh)
EP (1) EP4282728A1 (zh)
CN (1) CN114932917A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3378722B1 (en) * 2015-11-19 2024-02-21 Sony Group Corporation Drive assistance device and drive assistance method, and moving body
US20190367029A1 (en) * 2018-05-30 2019-12-05 International Business Machines Corporation Dynamic speed controller for vehicle
US11772671B2 (en) * 2019-06-03 2023-10-03 Toyota Research Institute, Inc. Systems and methods for predicting control handback
DE102019216161A1 (de) * 2019-10-21 2021-04-22 Robert Bosch Gmbh Verfahren und System zur Fahrerübergabe aus einem automatisierten Fahrbetrieb

Also Published As

Publication number Publication date
EP4282728A1 (en) 2023-11-29
US20230373518A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
CN108205731B (zh) 情境评估车辆系统
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US10908677B2 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
US11027608B2 (en) Driving assistance apparatus and driving assistance method
US11709488B2 (en) Manual control re-engagement in an autonomous vehicle
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US10317900B2 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
KR20200030049A (ko) 차량 제어 디바이스 및 차량 제어 방법
CN110914884A (zh) 车辆控制器和车辆控制方法
WO2018190152A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN113568509A (zh) 便携式电子设备及其操作方法
JP2017157196A (ja) 運転者監視システム
WO2019208450A1 (ja) 運転支援装置、運転支援方法及びプログラム
CN114932917A (zh) 驾驶员提示方法及车辆控制设备
JP2008230280A (ja) 車載制御装置
JP7251524B2 (ja) 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム
JP2019179370A (ja) 車速制御装置
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
JP2023160511A (ja) 運転支援装置
JP2023160506A (ja) 運転支援装置
JP2022020742A (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
CN117831223A (zh) 监控方法、计算机程序产品、监控系统和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination