CN112292081A - 用于自主车辆的乘员意识监视 - Google Patents

用于自主车辆的乘员意识监视 Download PDF

Info

Publication number
CN112292081A
CN112292081A CN201980009590.5A CN201980009590A CN112292081A CN 112292081 A CN112292081 A CN 112292081A CN 201980009590 A CN201980009590 A CN 201980009590A CN 112292081 A CN112292081 A CN 112292081A
Authority
CN
China
Prior art keywords
vehicle
occupant
wireless device
level
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980009590.5A
Other languages
English (en)
Inventor
S·古拉苏巴拉曼尼亚
O·赫罗明
P·瑟多喜斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rivian IP Holdings LLC
Original Assignee
Rivian IP Holdings LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rivian IP Holdings LLC filed Critical Rivian IP Holdings LLC
Publication of CN112292081A publication Critical patent/CN112292081A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/05—Leading to automatic stopping of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明描述了用于监视车辆乘员的意识的系统和方法。一种方法可以包括由所述车辆连接到所述车辆乘员的无线设备，由所述车辆接收来自所述无线设备的指示所述车辆乘员的活动的信号，并处理所述信号以确定所述车辆乘员的意识水平，判定所述车辆乘员的意识水平是否满足阈值，和由所述车辆基于所述车辆乘员的意识水平是否满足阈值来生成报警。

Description

用于自主车辆的乘员意识监视
相关申请的交叉引用
本申请要求2018年1月22日提交的美国专利申请No.15/876,766的优先权，该申请的全部内容通过引用包含在本文中。
技术领域
本公开涉及机动车辆，更特别地涉及车辆驾驶员意识监视系统和方法。
背景技术
取决于车辆的自主性等级，可能要求驾驶员对道路保持指定程度的注意力，以便适当地控制车辆。汽车工程师协会(SAE)定义了已被美国国家公路交通安全管理局采用的五个等级的车辆自主性，从0级(无自动化)到5级(全自动化)。等级越高则允许人类驾驶员的注意力越低。例如，当操作具有1级和2级自主性(分别为驾驶员辅助和部分自动化)的车辆时，驾驶员应始终完全专注，因为这些系统与人类驾驶员是并行工作的。当操作具有3级自主性(有条件自动化)的车辆时，人类驾驶员可以将注意力从驾驶转移开，但是要准备好在车辆请求时重新进行控制。在具有4级自主性(高自动化)的车辆中，车辆完全能够在诸如速度限制或地理约束之类的限制范围内自行行驶，超过这些限制，人类驾驶员必须准备好重新进行控制。在5级自主性(全自动化)下，驾驶员可能根本不驾驶车辆(在这点上可被视为乘客)，并且可能分心，但是可能仍然需要保持清醒，以便对某些情况适当地作出反应。本发明人认识到关于以3级、4级或5级自主性为特征的自主机动车辆的操作，可能需要人为干预的技术问题，并且注意到对监视车辆乘员的意识的技术解决方案的需要。
发明内容
本发明人注意到对监视例如以3级、4级或5级自主性为特征的机动车辆中的车辆乘员的意识的系统和方法的需要。记载在本文中的例证方法可以满足这些需要。
按照一个例子，一种监视车辆乘员的意识的方法可包括由所述车辆连接到所述车辆乘员的无线设备，由所述车辆接收来自所述无线设备的指示所述车辆乘员的活动的信号，并处理所述信号以确定所述车辆乘员的意识水平，判定所述车辆乘员的意识水平是否满足阈值，和由所述车辆基于所述车辆乘员的意识水平是否满足阈值来生成报警。一种用于执行所述例证方法的系统可包括计算机处理系统和包含程序指令的存储器，其中所述计算机处理系统被配置成执行上述步骤。一种用于执行所述例证方法的非临时性计算机可读介质可包含适合于使计算机处理系统执行上述步骤的程序指令。
附图说明
图1图解说明按照本公开的例子的监视车辆乘员意识的方法的例证框架。
图2图解说明按照本公开的例子的监视车辆乘员意识的例证方法的流程图。
具体实施方式
如本文中的例子中所述，本发明的系统和方法提供车辆乘员的意识的监视，以便提高该车辆的操作的安全性。例如，此前已知的驾驶员监视系统(DMS)可以用于1-2级自主车辆。这种DMS可以使用红外传感器和能够通过此类红外传感器进行眼睛跟踪的相机来检测驾驶员是否在注意道路。如果DMS判定驾驶员没有对道路给予足够的注意，那么DMS可以闪光发出警告和产生声音，以引起驾驶员的注意；如果驾驶员没有采取足够的行动，那么DMS可以使车辆自动施加制动。在3级、4级和5级自主车辆中，驾驶员可以安全地部分或完全分心。然而，即使在此类车辆中使用，此前已知的DMS也不足以监视驾驶员(该驾驶员可被视为5级自主车辆中的乘员)是否具有适当的意识水平，以在需要时对车辆进行控制。
如本文中所述，车辆乘员的智能电话机和/或健康监视器和/或其他医疗监视设备可以与车辆配对，并且可以向车辆发送信号，车辆可以使用该信号来监视乘员的意识水平，并基于此采取适当的行动。例如，车辆可以在乘员进入车辆时，自动与乘员的智能电话机和/或健康追踪器配对。智能电话机和/或健康追踪器可以向车辆发送指示车辆乘员的活动的一个或多个信号，由此可以通过处理所述活动数据来确定所述车辆乘员的意识水平。例如，智能电话机可以向车辆发送指示所述乘员的身体活动和/或智能电话的电子使用的一个或多个信号，和/或健康追踪器可以向车辆发送一个或多个信号，所述一个或多个信号指示与乘员的意识相关的乘员的身体特征中的一个或多个，并且按照本公开，这样的信息可以被视为活动数据。包含计算机处理器的车辆上的报警模块可以接收并处理乘员活动数据，以判定活动数据是否满足阈值，从而判定车辆乘员是否足够注意，以便如果有需要，例如归因于外部因素，比如不良天气条件、道路交通或者车辆乘员必须承担作为驾驶员的主要角色的其他条件，负责车辆的驾驶控制。或者，健康追踪器或医疗监视设备可以与智能电话机配对，健康追踪器/监视设备可以向智能电话机发送这样的信号，智能电话机随后可以将这样的信号发送给车辆。可选地，将智能电话机和/或健康追踪器与车辆配对可包括将应用安装到智能电话机和/或健康追踪器和/或医疗监视设备，所述应用使智能电话机和/或健康追踪器和/或医疗监视设备向车辆发送指示乘员的意识水平的适当信号。
在非限制性例子中，可以使可能被要求对车辆进行控制的乘员的智能电话机与车辆处理系统配对，并且智能电话机可包括定期在适当的时间间隔，例如1分钟、2分钟、5分钟等内，检测触摸屏按压和/或击打的次数的功能。这样的智能电话机活动可被传送给车辆处理系统，或者传送给智能电话机本身的处理系统，可以处理活动数据，以判定触摸屏按压和/或击打的次数是否超过阈值，这可以指示乘员的注意力不够。多少智能电话机活动可构成需要报警的分心的阈值水平可能取决于车辆的自主性等级、道路状况、环境状况、交通状况等，车辆处理系统或智能电话机处理系统可以接收关于与车辆的当前位置相关的此类因素的实时信息，以便动态确定适当的阈值水平。通过基于此类状况、真实世界事故数据、政府法规等的适当受控测试，可以确定适当的阈值。作为另一个非限制性例子，如果乘员穿戴有配置成监视心率，并且与乘员的智能电话机配对的健康追踪器或监视设备，那么车辆可以通过健康追踪器、智能电话机和车辆之间的适当信令来监视乘员的心率。基于乘员的心率值和/或乘员心率的变化，车辆可以检测乘员的身体问题，并且可以产生报警，另外视情况可以使车辆停止和/或向第三方发出信号(比如呼叫911)寻求帮助。在其他例子中，车辆可以提示驾驶员完成任务来证明警觉，比如触摸车辆的触摸屏的某些部分，以生成指示乘员的警觉水平的信号。基于车辆接收的一个或多个信号的任何适当组合，以及此类信号与相应阈值的比较，车辆可以检测乘员是否足够警觉，并且如果适当的话，可以安全地靠边停车，且可以呼叫911或者其他第三方寻求帮助。
图1图解说明按照本公开的例证的监视车辆乘员意识的方法的例证框架。框架100包括包含监视和控制系统120和无线设备130的车辆110。监视和控制系统120可被配置成与无线设备130无线通信，并以此为基础控制车辆110。无线设备130可包括智能电话机130'和/或健康追踪器/监视器130”，监视和控制系统120可从智能电话机130'和/或健康追踪器/监视器130”接收指示乘员的意识水平的信号，并且可以基于此类信号采取适当的行动，如在本文中更详细所述。在一些构成中，车辆是自主车辆，比如4级或5级自主车辆。不过应意识到的是本发明的系统和方法可以适当地用于任何类型的车辆，包括0级车辆、1级车辆、2级车辆、3级车辆、4级车辆和/或5级车辆，以及使用不同类别的自动化的车辆，完全非自动化的车辆，或者具有任何适当的自动化水平的车辆。自主车辆可以配置有传感器阵列，包括用于获取障碍物和其他车辆的实时视频图像的LIDAR(光探测和测距)和相机系统113，GPS(全球定位系统)114，用于实时发送和接收关于道路信息和交通的通信的无线通信系统，以及用于应用驾驶规则和以诸如本领域常规已知的方式之类的适当方式基于从前述传感器获取的数据和信息作出驾驶决策的计算机。此外，记载在本文中的功能可以与传统的DMS结合，以同时提供多种模式的监视和检测，比如监视眼睛运动、头部位置和运动等，以及如本文中所述，使用接近车辆乘员(例如，由车辆乘员持有、由车辆乘员支持、由车辆乘员穿戴、连接到车辆乘员等)的一个或多个无线设备监视乘员意识。
在图1中图解所示的例子中，监视和控制系统120包括处理系统121，例如，一个或多个中央处理器(CPU)，和处理系统121所使用的一个或多个存储器，比如随机存取存储器(RAM)122、随机在线存储器(ROM)123和/或非易失性存储器124，以及接口125，通过接口125，车辆可以与乘员、无线设备130和/或第三方通信。非易失性存储器124可包括配置成使处理系统121进行如本文中提供的操作之类的一个或多个操作的程序指令。例如，非易失性存储器124可包括用于乘员监视的程序指令，该程序指令被配置成使处理系统121通过使用接口125中的一个或多个接收的信号来监视车辆110的一个或多个乘员的相应意识水平，和用于控制的程序指令，该程序指令被配置成采取一个或多个动作，比如在确定乘员的意识水平触发不足以使车辆安全运行的阈值时，基于乘员监视通过接口125中的一个或多个产生报警。
在图1中图解所示的例证构成中，监视和控制系统120包括无线收发器126和可选的触摸屏128。无线收发器126可被配置成连接到车辆乘员的无线设备130，例如，乘员所持有的智能电话机130'和/或乘员所穿戴的健康追踪器/监视设备130”，和接收来自无线设备的信号，所述信号指示可用于计算车辆乘员的意识水平的乘员活动。监视和控制系统120可被配置成判定车辆乘员的意识水平是否触发，例如高于或低于阈值。例如，无线收发器126可包括配置成通过蜂窝连接，在车辆110和预定乘客的无线设备130之间提供通信的蜂窝收发器。无线收发器126还可包括配置成通过蓝牙连接，允许与无线设备130通信的蓝牙收发器，和/或配置成通过Wi-Fi连接，允许与无线设备130通信的Wi-Fi收发器。在其中无线设备130包括智能电话机130'的某些构成中，无线收发器126可被配置成接收包含指示智能电话机的运动的值的信号。例如，智能电话机130'可包括加速度计131'，加速度计131'被配置成基于例如响应于乘员对智能电话机的处理(无论是在乘员的手中，在乘员的口袋中，还是以其他方式与乘员充分接触，以便随乘员的运动而移动)的智能电话机的物理移动，生成一个或多个值。再例如，无线收发器可被配置成接收指示乘员对智能电话机的使用的值。在非限制性例子中，可能被要求对车辆进行控制的乘员的智能电话机130'可以通过收发器126与车辆处理系统121配对，智能电话机130'可包括定期在适当的时间间隔，例如1分钟、2分钟、5分钟等内，检测触摸屏按压和/或击打的次数的功能。这样的智能电话机活动可被传送给车辆处理系统121，或者传送给智能电话机本身的处理系统，可以处理活动数据，以判定触摸屏按压和/或击打的次数是否超过阈值，这可以指示乘员的注意力不够。多少智能电话机活动可构成需要报警的分心的阈值水平可能取决于车辆的自主性等级、道路状况、环境状况、交通状况等，车辆处理系统121或智能电话机处理系统可以从后端车辆监视和控制系统或者其他信息源(例如，基于位置的交通、天气、路况和其他信息的任何适当的在线信息源)，无线接收关于与车辆的当前位置相关的此类因素的实时信息，以便动态确定适当的阈值水平。通过基于此类状况、真实世界事故数据、政府法规等的适当受控测试，可以预先确定适当的阈值，车辆处理系统121或智能电话机130'处理系统可基于车辆在给定位置当时所经历的状况，设定给定的阈值水平。在例子中，智能电话机130'可包括使用监视器132'，使用监视器132'被配置成基于乘员对智能电话机的电子特征的使用(例如，基于智能电话机的CPU使用、智能电话机的存储器使用、正在智能电话机上使用的应用的数量等)，生成一个或多个值。
另外，或者另一方面，无线设备130可包括健康监视器130”和/或其他监视设备，比如乘员所穿戴的医疗设备，无线收发器126可被配置成接收来自健康监视器130”的信号，包括指示乘员的意识水平的值。例如，无线收发器126可被配置成直接连接到健康监视器130”并接收信号，或者可被配置成连接到与健康监视器130”无线通信的智能电话机130'，并通过智能电话机130'接收来自健康监视器130”的信号。无线收发器126从健康监视器130”接收(无论是直接地还是通过智能电话机130'间接地接收)的信号可包括任何适当的生物特征值，比如指示乘员的心率、血氧水平或血糖水平的值。例如，健康监视器130”可包括下述中的一个或多个：配置成监视乘员的心率，并生成指示此类心率的值131”(在例示的非限制性例子中64跳/分钟(BPM))的心率监视器；配置成监视乘员的血糖水平，并生成指示此类血糖水平的值132”(在例示的非限制性例子中5.5mmol/L)的血糖监视器；和/或配置成监视乘员的血氧水平，并生成指示此类血氧水平的值133”(在例示的非限制性例子中98％SpO2)的血氧监视器。不过，应意识到的是健康监视器130”可以包括任何适当类型的监视器或者此类监视器的组合。其他例证监视器可以包括呼气测醉器。另外，应意识到的是健康监视器130”可以包括可类似于加速度计131'地工作的加速度计134”。无线收发器126可被配置成在任何适当的时间，例如，连续地或者定期地接收来自无线设备130，例如，智能电话机130'和/或健康追踪器130”的信号。
车辆110被配置成使用从乘员的无线设备130接收的信号来监视乘员的意识，更具体地，使用携带在此类信号之中、并指示乘员的意识水平的值来监视乘员的意识。例如，用于乘员监视的程序指令可被保存在非易失性存储器124中，并且可被配置成使处理系统121从无线收发器126获得由来自无线设备130的信号所携带的值，并基于此类值来评估乘员的意识水平。例如，对于无线收发器126可能从无线设备130接收的每种类型的值，ROM 123和/或非易失性存储器124可以保存一个或多个阈值，接收的值可以与所述一个或多个阈值比较，以便量化乘员的意识水平。例如，乘员监视程序指令可以使处理系统121从无线接收器126获得接收值，和从ROM 123或非易失性存储器124获得相应阈值，并比较接收值和相应阈值，以判定接收值是在指示可接受的意识水平的范围之内，还是在指示不可接受的意识水平的范围之内。
例如，无线设备的运动的阈值可对应于足够警觉的乘员所应有的最少量的物理运动，例如对应于乘员呼吸和/或即使坐着不动，也轻微地运动乘员的肌肉的运动。乘员监视程序指令可以使处理系统121比较从智能电话机130'或健康追踪器130”接收的值和此类阈值，以便量化乘员是否至少运动了所述最少量，从而足够警觉(以便例如基于该车辆的自主性等级，在需要时对车辆进行控制)。再例如，无线设备的使用的阈值可对应于足够警觉的乘员所应有的最少量的电子活动，例如，对应于乘员在指定的一段时间内定期查看其智能电话机消息或者回复消息的活动。乘员监视程序指令可以使处理系统121比较从智能电话机130'接收的值和此类阈值，以便量化乘员是否正在至少所述最少量地使用无线设备，从而足够警觉。
又例如，心率的阈值可对应于足够警觉的乘员所应有的最小心率，足够警觉的乘员所应有的最大心率，和/或足够警觉的乘员所应有的心率的最大变化(例如，增大或减小)之中的一个或多个。乘员监视程序指令可以使处理系统121比较从健康追踪器130”接收的值和此类阈值，以便量化乘员的心率和/或此类心率的变化是否具有足够警觉的乘员所应有的值。又例如，血糖的阈值可对应于足够警觉的乘员所应有的最小血糖，足够警觉的乘员所应有的最大血糖，和/或足够警觉的乘员所应有的血糖的最大变化(例如，增大或减小)之中的一个或多个。乘员监视程序指令可以使处理系统121比较从健康追踪器130”接收的值和此类阈值，以便量化乘员的血糖和/或此类血糖的变化是否具有足够警觉的乘员所应有的值。
又例如，血氧水平的阈值可对应于足够警觉的乘员所应有的最小血氧水平，和/或足够警觉的乘员所应有的血氧水平的最大变化(例如，减小)之中的一个或多个。乘员监视程序指令可被配置成使处理系统121比较从健康追踪器130”接收的值和此类阈值，以便量化乘员的血氧水平和/或此类血氧水平的变化是否具有足够警觉的乘员所应有的值。可以适当地确立、获得和比较其他阈值和值，以便量化乘员是否足够警觉。例如，乘员监视程序指令可以使处理系统121提示用户使用触摸屏128完成任务，并比较用户完成此类任务的能力和适当的阈值，以便量化用户的任务完成能力是否具有足够警觉的乘员所应有的值。
仍然参见图1，监视和控制系统120可被配置成使报警激活接口127基于低于阈值的车辆乘员的意识水平，在车辆内生成可视报警、声音或者振动，或者使无线接收器126向例如乘员的无线设备和/或第三方，比如911接线员发送报警信号。例如，响应于例如基于从无线设备130接收的值和对应阈值，车辆乘员的意识水平触发阈值，例如，低于注意力阈值或者高于分心阈值的乘员监视判定，监视和控制系统120可被配置成使处理系统121控制车辆110恰当地作出反应。例如，监视和控制系统120可被配置成使处理系统121产生任何适当的报警或者报警信号的组合，以便由无线收发器126通过接口125传送给车辆乘员和/或第三方，例如911接线员。另外，例如，监视和控制系统120可被配置成使报警激活接口127生成响应于来自处理系统121的信号的可视报警；这样的可视报警可包括(但不限于)彩色或闪烁的灯光，和/或投射在仪表盘和/或抬头显示器(未具体示出)上或者投射在触摸屏128上的消息。在这方面，报警激活接口127可包括一个或多个集成电路、晶体管电路和开关电路，以便基于诸如来自处理系统121的报警信号的接收，控制适当的指示器。例如，处理系统121可以向报警激活接口127发送适当的报警信号，以触发例如可听的报警，所述可听的报警包括(但不限于)警报音和/或由车辆扬声器(未具体示出)生成的消息。再例如，报警激活接口127可被配置成触发响应于来自处理系统121的信号的振动；这样的振动可包括(但不限于)通过适当的振动致动器，由车辆的座椅和/或方向盘(未具体示出)产生的振动。另外，或者另一方面，处理系统121可以使无线收发器126将信号发送给乘员的无线设备(例如，智能电话机，以便在该设备处引起可视、可听或者振动的指示)或者第三方。例如，可以将消息发送给响应于此类信号的第三方，比如911或者其他紧急援助服务。作为另一种或者备选的选项，监视和控制系统120可被配置成基于触发阈值的车辆乘员的意识水平，使车辆110安全、受控地停止。
图2图解说明按照本公开的例子的监视车辆乘员意识的例证方法的流程图。应意识到的是尽管图2中图解所示的方法200是参考图1中图解所示的框架100说明的，不过，这样的操作可适当地与硬件和软件的任何恰当组合，例如任何非自主或自主车辆，比如3级，4级或5级自主车辆一起使用。乘员可以是车辆的驾驶员或者车辆中的非驾驶乘客(注意在5级自主车辆中，驾驶员可以是非驾驶乘客)。
图2中图解所示的方法200包括在步骤202，通过车辆连接到车辆乘员的无线设备。例如，图1中图解所示的车辆110可被配置成通过无线收发器126，例如通过蓝牙、蜂窝和/或Wi-Fi连接，定期或者连续地连接到无线设备130。无线设备130可包括乘员所持有的智能电话机130'和/或乘员所穿戴的健康监视器。
再次参见图2，方法200可包括在步骤204，由车辆接收来自无线设备的指示车辆乘员的活动的信号，并处理该信号，以确定车辆乘员的意识水平。按照如参考图1所述的方式，来自无线设备的信号可包括指示智能电话机或健康追踪器/监视设备的运动的值，指示乘员对智能电话机的使用的值，指示乘员的心率、血氧水平或血糖水平的值，或者任何其他适当类型的值。
再次参见图2，方法200还可包括在步骤206，由车辆基于低于阈值的车辆乘员的意识水平产生报警。例如，处理系统121可基于接收值和保存的阈值，判定车辆乘员是否警觉到足以操作车辆，并基于车辆乘员不够警觉，向报警模块127发送适当的信号，以产生报警。如参考图1所述，报警可包括车辆内的光或消息、声音、或者振动，和/或可包括发送给第三方的信号，或者发送给乘员的无线设备，以在该设备处呈现可视、可听和/或振动指示的信号。作为另一种选项，车辆可以由自主功能控制，以基于触发阈值的车辆乘员的意识水平，使车辆安全、受控地停止，例如使用收集和接收信息的传感器，比如车辆LIDAR和相机113以及GPS 114，所述信息随后由车辆控制系统处理，以通过适当的致动器控制驱动系统和转向系统。
本说明书说明了本发明的例证实施例，不过其他变更也在本公开的范围之内。例如，系统和方法可包括和利用经由网络(例如局域网、广域网、因特网、它们的组合等)、光纤介质、载波、无线网络等传送的数据信号来与一个或多个数据处理设备通信。所述数据信号可以携带提供给设备或者从设备提供的本文中公开的任意或所有数据。
记载在本文中的方法和系统可以利用包含可由设备处理系统执行的程序指令的程序代码，在许多不同类型的处理设备上实现。软件程序指令可包括源代码、目标代码、机器代码或者任何其它可操作以使处理系统进行本文中所述的方法和操作的存储数据。本领域的技术人员会意识到，可以使用任何适当的计算机语言，比如C、C++、Java等。不过也可以使用其他实现，比如固件，或者甚至适当设计的被配置成实现本文中所述的方法和系统的硬件。
系统和方法的数据(例如，关联、映射、数据输入、数据输出、中间数据结果、最终数据结果等)可以在一种或多种不同类型的计算机实现的数据存储区中存储和实现，比如不同类型的存储设备和编程结构(例如RAM、ROM、闪存、平面文件、数据库、编程数据结构、编程变量、IF-THEN(或类似类型的)语句结构等)。注意，数据结构描述用于组织和将数据存储在数据库、程序、存储器或者供计算机程序使用的其他非临时性计算机可读介质中的格式。
本文中说明的计算机组件、软件模块、函数、数据存储区和数据结构可以直接或间接相互连接，以便允许为它们的操作所需的数据流。还要注意的是模块或处理器包括(但不限于)进行软件操作的代码单元，并且可被实现成例如代码的子例程单元，或者实现成代码的软件功能单元，或者实现成对象(如在面向对象的范例中一样)，或者实现成小程序，或者用计算机脚本语言实现，或者实现成另一种类型的计算机代码。取决于当时的情况，软件组件和/或功能可以位于单个计算机上，或者分布在多个计算机上。
应理解的是在本文的说明中和在随后的权利要求书中所使用的单数形式的含义包括复数引用，除非上下文另有明确规定。另外，在本文的说明中和在随后的权利要求书中所使用的“在…中”的含义包括“在…中”和“在…上”，除非上下文另有明确规定。另外，在本文的说明中和在随后的权利要求书中所使用的“和”以及“或”的含义包括结合和分离两者，并且可以互换使用，除非上下文另有明确规定；词组“异或”可以用于指示其中只有分离的含义才适用的情况。另外，在本文的说明中和在随后的权利要求书中所使用的“大约”和/或“近似”的含义指的是所示量的±10％，除非另有规定。
尽管通过例证实施例说明了本发明，不过，本领域的技术人员会理解可以对例证实施例作出各种修改，而不脱离记载在权利要求书中的本发明的范围。

Claims (20)

1.一种监视车辆乘员的意识的方法，所述方法包括：
由所述车辆连接到所述车辆乘员的无线设备；
由所述车辆接收来自所述无线设备的指示所述车辆乘员的活动的信号，并处理所述信号以确定所述车辆乘员的意识水平；
判定所述车辆乘员的意识水平是否满足阈值；和
由所述车辆基于所述车辆乘员的意识水平是否满足阈值来生成报警。
2.按照权利要求1所述的方法，其中所述车辆是3级、4级或5级自主车辆。
3.按照权利要求1所述的方法，其中所述无线设备包括靠近所述乘员的智能电话机。
4.按照权利要求3所述的方法，其中来自所述无线设备的所述信号包含指示所述智能电话机的运动的值。
5.按照权利要求3所述的方法，其中来自所述无线设备的所述信号包含指示所述乘员对所述智能电话机的使用的值。
6.按照权利要求1所述的方法，其中所述无线设备包括由所述乘员穿戴的健康监视器。
7.按照权利要求6所述的方法，其中来自所述无线设备的所述信号包含指示所述乘员的心率、血氧水平或血糖水平的值。
8.按照权利要求1所述的方法，其中所述报警包括所述车辆内的可视报警、声音报警或振动报警。
9.按照权利要求1所述的方法，其中所述报警包含发送给第三方的信号。
10.按照权利要求1所述的方法，还包括基于所述车辆乘员的意识水平是否满足所述阈值，自主地停止所述车辆。
11.一种监视车辆乘员的意识的系统，所述系统包括：
车辆的无线收发器，所述无线收发器被配置成连接到车辆乘员的无线设备，并接收来自所述无线设备的指示所述车辆乘员的活动的信号；
计算机处理系统，所述计算机处理系统被配置成处理所述车辆乘员的活动数据，并判定基于处理后的活动数据的所述车辆乘员的意识水平是否满足阈值；和
电气接口，所述电气接口被配置成接收基于所述车辆乘员的意识水平是否满足阈值的判定的第一报警信号，所述电气接口被配置成控制报警。
12.按照权利要求11所述的系统，其中所述车辆是3级、4级或5级自主车辆。
13.按照权利要求11所述的系统，其中所述无线设备包括靠近所述乘员的智能电话机。
14.按照权利要求13所述的系统，其中来自所述无线设备的所述信号包含指示所述智能电话机的运动的值。
15.按照权利要求13所述的系统，其中来自所述无线设备的所述信号包含指示所述乘员对所述智能电话机的使用的值。
16.按照权利要求11所述的系统，其中所述无线设备包括由所述乘员穿戴的健康监视器。
17.按照权利要求16所述的系统，其中来自所述无线设备的所述信号包含指示所述乘员的心率、血氧水平或血糖水平的值。
18.按照权利要求11所述的系统，其中所述电气接口包括配置成控制所述车辆内的可视报警、声音报警或振动报警的电路。
19.按照权利要求11所述的系统，其中所述电气接口包括配置成向第三方发送信号的收发器。
20.按照权利要求11所述的系统，其中所述计算机处理系统被配置成基于所述车辆乘员的意识水平是否满足所述阈值，启动所述车辆的受控停止。
CN201980009590.5A 2018-01-22 2019-01-18 用于自主车辆的乘员意识监视 Pending CN112292081A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/876,766 US10717443B2 (en) 2018-01-22 2018-01-22 Occupant awareness monitoring for autonomous vehicles
US15/876,766 2018-01-22
PCT/US2019/014169 WO2019143919A1 (en) 2018-01-22 2019-01-18 Occupant awareness monitoring for autonomous vehicles

Publications (1)

Publication Number Publication Date
CN112292081A true CN112292081A (zh) 2021-01-29

Family

ID=67298418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980009590.5A Pending CN112292081A (zh) 2018-01-22 2019-01-18 用于自主车辆的乘员意识监视

Country Status (4)

Country Link
US (1) US10717443B2 (zh)
CN (1) CN112292081A (zh)
DE (1) DE112019000475T5 (zh)
WO (1) WO2019143919A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11148673B2 (en) * 2020-01-13 2021-10-19 Pony Ai Inc. Vehicle operator awareness detection
US11912307B2 (en) * 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
JP2021195016A (ja) * 2020-06-15 2021-12-27 フォルシアクラリオン・エレクトロニクス株式会社 車両周囲監視装置
US11794772B2 (en) * 2022-01-14 2023-10-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods to increase driver awareness of exterior occurrences
US12005905B2 (en) * 2022-11-07 2024-06-11 Volvo Car Corporation Method of assisting a driver if a passenger encounters a health issue

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050460A1 (en) * 2009-08-31 2011-03-03 Bruns Glenn R Method and apparatus for alerting mobile telephone call participants that a vehicle's driver is occupied
CN102186693A (zh) * 2008-10-30 2011-09-14 福特全球技术公司 车辆以及提醒车辆的驾驶员的方法
CN102745194A (zh) * 2012-06-19 2012-10-24 东南大学 一种高速公路汽车防追尾前车的自适应报警方法
CN103932719A (zh) * 2013-01-18 2014-07-23 袁囡囡 疲劳驾驶检测技术
US20150274036A1 (en) * 2014-03-31 2015-10-01 Eli Arad Smart phone alert system for abandoned infants behind in seats vehicle
CN104966382A (zh) * 2015-05-21 2015-10-07 浙江吉利汽车研究院有限公司 驾驶员生理状态监控及应对系统和方法
CN105799713A (zh) * 2015-01-16 2016-07-27 福特全球技术公司 基于可穿戴装置的触觉车辆警告
CN105825625A (zh) * 2016-04-29 2016-08-03 大连楼兰科技股份有限公司 用于车辆疲劳驾驶提醒的车联网平台
CN206067728U (zh) * 2016-09-12 2017-04-05 赵天定 雷达刹车预警系统
CN106671979A (zh) * 2015-11-09 2017-05-17 现代自动车株式会社 自动车辆控制装置和方法
CN106960481A (zh) * 2017-02-15 2017-07-18 赵立 一种基于警用智能手机监控异常驾驶行为的方法
CN107331115A (zh) * 2017-07-17 2017-11-07 吴江中至高五金电器有限公司 车内监控系统
CN107380164A (zh) * 2016-07-07 2017-11-24 小蚁科技（香港）有限公司 基于计算机视觉的驾驶员辅助系统和支持系统
CN107404570A (zh) * 2017-06-23 2017-11-28 深圳市盛路物联通讯技术有限公司 一种提高行车安全性的方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19983911B4 (de) * 1999-01-27 2018-09-06 Compumedics Sleep Pty. Ltd. Wachsamkeitsüberwachungssystem
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) * 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
EP3117593B1 (en) 2014-03-14 2019-08-21 Excelfore Corporation System and method for monitoring apps in a vehicle or in a smartphone to reduce driver distraction
US20160148507A1 (en) * 2014-11-20 2016-05-26 Blyncsy, Inc. Traffic system for monitoring, analyzing, and modulating traffic patterns
US10146317B2 (en) * 2014-12-12 2018-12-04 Ford Global Technologies, Llc Vehicle accessory operation based on motion tracking
US9501931B1 (en) * 2015-05-13 2016-11-22 Verizon Patent And Licensing Inc. On-demand performance of an action associated with a vehicle
US20180288232A1 (en) * 2017-03-31 2018-10-04 Ford Global Technologies, Llc Vehicular mobile device control
US10595173B2 (en) * 2017-10-24 2020-03-17 Ford Global Technologies, Llc System and method for vehicle paperwork integration

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186693A (zh) * 2008-10-30 2011-09-14 福特全球技术公司 车辆以及提醒车辆的驾驶员的方法
US20110050460A1 (en) * 2009-08-31 2011-03-03 Bruns Glenn R Method and apparatus for alerting mobile telephone call participants that a vehicle's driver is occupied
CN102745194A (zh) * 2012-06-19 2012-10-24 东南大学 一种高速公路汽车防追尾前车的自适应报警方法
CN103932719A (zh) * 2013-01-18 2014-07-23 袁囡囡 疲劳驾驶检测技术
US20150274036A1 (en) * 2014-03-31 2015-10-01 Eli Arad Smart phone alert system for abandoned infants behind in seats vehicle
CN105799713A (zh) * 2015-01-16 2016-07-27 福特全球技术公司 基于可穿戴装置的触觉车辆警告
CN104966382A (zh) * 2015-05-21 2015-10-07 浙江吉利汽车研究院有限公司 驾驶员生理状态监控及应对系统和方法
CN106671979A (zh) * 2015-11-09 2017-05-17 现代自动车株式会社 自动车辆控制装置和方法
CN105825625A (zh) * 2016-04-29 2016-08-03 大连楼兰科技股份有限公司 用于车辆疲劳驾驶提醒的车联网平台
CN107380164A (zh) * 2016-07-07 2017-11-24 小蚁科技（香港）有限公司 基于计算机视觉的驾驶员辅助系统和支持系统
CN206067728U (zh) * 2016-09-12 2017-04-05 赵天定 雷达刹车预警系统
CN106960481A (zh) * 2017-02-15 2017-07-18 赵立 一种基于警用智能手机监控异常驾驶行为的方法
CN107404570A (zh) * 2017-06-23 2017-11-28 深圳市盛路物联通讯技术有限公司 一种提高行车安全性的方法及系统
CN107331115A (zh) * 2017-07-17 2017-11-07 吴江中至高五金电器有限公司 车内监控系统

Also Published As

Publication number Publication date
US10717443B2 (en) 2020-07-21
DE112019000475T5 (de) 2020-10-01
US20190225228A1 (en) 2019-07-25
WO2019143919A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
US11709488B2 (en) Manual control re-engagement in an autonomous vehicle
US11787417B2 (en) Assessing driver ability to operate an autonomous vehicle
US11526165B1 (en) Systems and methods for remotely controlling operation of a vehicle
JP7455456B2 (ja) ハイブリッド運転における運転者の状態に基づいた強化型警告のための方法およびシステム
CN108205731B (zh) 情境评估车辆系统
US10192171B2 (en) Method and system using machine learning to determine an automotive driver's emotional state
US10399575B2 (en) Cognitive load driving assistant
CN112292081A (zh) 用于自主车辆的乘员意识监视
JP2021523427A (ja) ハイブリッド運転における自己認識機能パラメータに基づく運転モード切り替えのための方法およびシステム
JP2024019189A (ja) 車両制御装置及び車両制御方法
JP2018152072A (ja) 車両安全支援装置および方法
CN112424848A (zh) 警告装置、驾驶倾向分析装置、驾驶倾向分析方法以及程序
JP2008282022A (ja) 車両運転手の能力を向上させるための方法及び装置
EP2942012A1 (en) Driver assistance system
US11866073B2 (en) Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle
JP2018055446A (ja) 車両運行管理システム
JP2019131096A (ja) 車両制御支援システムおよび車両制御支援装置
US11912267B2 (en) Collision avoidance system for vehicle interactions
CN115720555A (zh) 用于提高自动驾驶车辆中用户警觉的方法和系统
KR20190093738A (ko) 차량의 제어방식 자동 전환 장치
JP2020170345A (ja) 車両の運転アドバイス提供システム
US12030505B2 (en) Vehicle occupant mental wellbeing assessment and countermeasure deployment
GB2571121A (en) Method for use in a vehicle
KR102569426B1 (ko) 증강 전환 경고를 적응시키기 위한 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination