CN107949504B - 自主车辆安全系统和方法 - Google Patents

自主车辆安全系统和方法 Download PDF

Info

Publication number
CN107949504B
CN107949504B CN201680049853.1A CN201680049853A CN107949504B CN 107949504 B CN107949504 B CN 107949504B CN 201680049853 A CN201680049853 A CN 201680049853A CN 107949504 B CN107949504 B CN 107949504B
Authority
CN
China
Prior art keywords
occupant
autonomous vehicle
driving
sensors
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680049853.1A
Other languages
English (en)
Other versions
CN107949504A (zh
Inventor
I·卢本希克
R·萨克
T·赖德
S·泰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN202111127681.4A priority Critical patent/CN113665528A/zh
Publication of CN107949504A publication Critical patent/CN107949504A/zh
Application granted granted Critical
Publication of CN107949504B publication Critical patent/CN107949504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Abstract

公开了检测和考虑对于潜在危险的乘员反应以建议或合并安全规程的自主车辆安全系统和方法。同样被公开的是基于乘员情绪和其他乘员数据来控制自主车辆以便改善乘员驾驶体验的系统。所公开的实施例可包括获取自主车辆的乘员的乘员数据的乘员监测系统。学习引擎可处理从乘员监测系统接收的乘员数据以基于该乘员数据来标识一个或多个建议驾驶方面。车辆接口可将诸如可提高乘员安全的防御动作之类的一个或多个建议驾驶方面传达给自主车辆。

Description

自主车辆安全系统和方法
技术领域
本文中所描述的各实施例一般涉及自主车辆。更具体地，所公开的实施例涉及自主车辆安全系统和方法。
背景技术
自主(无人驾驶)汽车配备有被设计成精确响应于障碍物、问题以及紧急情况的许多安全系统。这些系统基于使用车载传感器从周围环境收集的直接输入数据。这些目前可用的安全系统，以及这种收集和处理来自周围环境的直接输入数据的方法，在所有车辆都是无人驾驶时都是有效的解决方案并且适用于交通的有效运转。然而，这些系统和这种方法不足以处理具有不一定以与自主汽车相同的方式服从或遵守严格算法和规则的人类参与者(驾驶员)的混合环境。目前可用的自主汽车安全系统不能预测或预期交通中的其他人类参与者将做什么。然而，车辆中的人类(例如，驾驶员和/或其他乘客)有时可直观地分析危险情形并在它发生之前作出反应。例如，另一个车辆的人类驾驶员可能被他或她的手机上的谈话分心。从纯数学的角度来看，不存在问题，并且自主汽车的安全系统可能不具有检测问题的基础或能力，但仍可能存在持续数秒左右的问题。作为另一个示例，另一辆汽车的人类驾驶员可能正驾驶车辆接近交通环岛，并且基于速度、方向、注意力或其他因素，该驾驶员可表现为他或她是否将不停止并且让给其他汽车进入环岛的优先权。再次，从纯数学的角度来看，虽然可能存在足够的时间来刹车或减速，但是自主汽车的目前可用的安全系统可能不具有检测通过环岛的其他驾驶员意图的基础或能力。
由机器而非人类驾驶员控制，自主汽车还引入了新的驾驶体验。取决于该乘员的驾驶偏好和/或风格，这种在控制上的改变可将不同的以及可能不舒适的的体验提供给指定乘员。目前可用的自主控制器系统和方法可提供仅由基于传感器数据输入的算法决定的机械学体验，一种不考虑有关驾驶方面的乘员偏好和情绪的体验。
附图简述
图1A是根据一个实施例的车辆的侧局部剖视图，该车辆包括用于基于乘员参数进行控制的系统。
图1B是图1A中车辆的顶部局部剖视图。
图2是根据一个实施例的用于基于乘员参数进行控制的系统的示意图。
图3是根据一个实施例的用于基于乘员参数进行自主车辆控制的方法的流程图。
具体实施方式
目前可用的自主车辆执行严格的标准，严格遵守算法和规则。一般，车辆检测并响应于外部数据而在外部传感器数据不存在时不考虑内部乘客表现或对内部乘员表现作出反应(例如，那标志着危险)。
虽然从交通数据的角度来看许多情形是“法律上可行的”，但是其会很快演变为危险情形，诸如：驾驶员转向而不打开转向信号或突然转向；驾驶员在接近十字路口、枢纽站或环岛时分心；大型车辆(例如，卡车)正以极快的速度接近；以及某人在路边替换他或她汽车上的轮胎而其他人在你驶过所停汽车和暴露的驾驶员的确切地点赶超你的汽车。存在许多其他类似的情形。
本公开提供用于控制自主车辆的系统和方法。所公开的系统和方法考虑到乘员参数，包括反应、情绪、偏好、模式、历史、情境、生物统计学、反馈等等，以向自主车辆提供建议驾驶方面或以其他方式指导或控制自主车辆的驾驶方面以便改进自主驾驶体验的安全性和/或舒适性。
所公开的实施例可包括将追踪车辆内人员的传感器。被实施例标识为“人类驾驶员”的单一乘员可被追踪，即使那人可能并不积极地参与驾驶。替代地，或附加地，所有乘客可被追踪。所公开的实施例可监测某个乘员参数。当这些参数的一个或多个参数中的异常被检测到时，系统可实行防御性的类人动作，而不危及自主汽车的内置安全设备。示例活动可包括：在枢纽站或环岛内部时减速以避免潜在的碰撞；在右驾驶国家中，如果人类驾驶员看到另一辆汽车从他或她的车道转向并且即将撞上他或她的汽车，则靠右边停车；如果高速路上的突然拥堵被检测到，则提前减速并用应急灯发出信号；如果看到某人驾驶鲁莽，迂回野蛮，则减速，等等；其他防御活动一般包括减速和增加车距。
所公开的实施例可包括传感器和其他信息源以便检测有关驾驶方面的人类情绪并根据那些情绪提供建议驾驶方面。
以下参考所附附图描述示例实施例。许多不同形式和实施例可能不背离本发明的精神和教导，因此本公开不应当被理解为限制于本文所阐述的示例实施例。相反，提供这些示例实施例使得本公开将会详细而完整，并且将会将本发明的范围传达给本领域技术人员。在附图中，组件的尺寸和相关尺寸为了清楚可以被夸大。本文中所使用的术语仅用于描述特定示例实施例的目的而不旨在限制。如本文中所使用的那样，单数形式的“一个”(“a”、“an”)和“该”(“the”)旨在也包括复数形式，除非上下文另外清楚地指示。还将理解，当在本说明书中使用术语“包括”(“comprise”和/或“comprising”)时，其指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除除此之外的一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组的存在。除非另外指定，值的范围在列举时包括范围的上限和下限两者，以及该范围之间的任何子范围。
图1A和1B例示出根据本公开一个实施例的包括用于基于乘员参数进行控制的系统102的自主车辆100。具体地，图1A是车辆100的侧局部剖视图。图1B是车辆100的顶部局部剖视图。
总体上共同参考图1A和1B，车辆100可完全自主，使得它能够驾驶自己到达目的地而无需人类操作者的主动介入。车辆100可以是任何程度的部分自主，使得人类操作者可监测和/或控制驾驶的各方面并且车辆100可在某时或在某种情况下对驾驶的各方面(例如，转向、刹车、发信号、加速等等)采取控制。此外，车辆100可使用人工智能、传感器或全球定位系统坐标来驾驶自己或承担对驾驶的各方面的控制。车辆100包括用于基于乘员参数进行控制的系统102，自主车辆控制器110，一个或多个传感器112a、112b、112c、112d、112e、112f、112g(统称为112)，以及网络接口118。在其他实施例中，用于基于乘员参数进行控制的系统102可包括一个或多个自主车辆控制器110、一个或多个传感器112以及网络接口118。
用于基于乘员参数进行控制的系统102可包括用于获取自主车辆100的乘员10的乘员数据的乘员监测系统，用于处理乘员数据以基于乘员数据标识一个或多个建议驾驶方面的学习引擎，以及用于将建议驾驶方面传达给自主车辆100的车辆接口。系统的这些元件在图2中被示出并在下文参考同一附图更详细地描述。乘员监测系统可包括或以其他方式耦合至一个或更多传感器112。
一个或多个传感器112可包括话筒112a，向内图像捕捉系统112b，向外图像捕捉系统112c，以及一个或多个压力传感器112d、112e、112f、112g。一个或多个传感器112可检测和/或监测可被系统102用于控制以标识一个或多个建议驾驶方面的一个或多个乘员参数。
例如，一个或多个传感器112可检测和/或监测指示对自主车辆100外部的潜在危险的乘员反应的乘员参数。传感器可检测和监测乘员参数，诸如肌肉的突然拉紧或握紧、乘员朝着座椅靠背向后的突然移动、至少一只脚或两个脚的抽动、语言的使用(或诸如尖叫之类的声音的其他使用)、眼睛移动、瞳孔放大、头部移动、心率、呼吸节奏以及呼吸吸入(例如，进气量)中的改变，上述乘员参数中的任何一个或多个是正在观察外部环境并直观地(例如，基于体验，辨别另一车辆的司机的分心状态)预测或预期诸如可由碰撞导致的潜在危险情形和/或所造成的伤害的乘员的自然反应或响应。用于控制的系统102(例如，学习引擎)可处理来自乘员监测系统的一个或多个传感器112的传感器数据并且基于一个或多个乘员参数检测自主车辆100外部的潜在危险。以这种方式，用于控制的系统102可提供实现自主车辆100和/或自主车辆控制器110对乘员参数的考虑的人机接口。
作为另一个示例，一个或多个传感器112可收集有关乘员参数的乘员数据，该乘员数据可被用来检测乘员10的情绪。传感器可检测和监测此类乘员参数，如语音、语调、生物计量(例如，心率和血压)、乘员图像数据(例如，在情感提取方法中使用)以及由声音和/或经由图形用户接口120(例如，触摸屏)产生的响应和/或命令(例如，用于给乘员提供机会表达好恶的反馈机制)。
传感器的一些示例使用可包括以下各项。方向盘20、门把手以及其他乘员把手中的压力传感器112g可检测和监测诸如肌肉的突然拉紧或握紧之类的乘员参数。座位22中的压力传感器112d、112e(例如，座位靠背中的压力传感器112d和/或座位底座中的压力传感器112e)可检测诸如乘员朝座位靠背向后的突然移动之类的乘员参数。底板112f中的传感器可检测诸如至少一只脚的抽动之类的乘员参数。话筒112a可检测诸如声音命令、乘员语言、乘员语言形式的使用和/或语调之类的乘员参数。乘员语言和/或语言形式可包括命令、短语、脏话以及语言的其他使用。其他传感器可检测诸如心率和血压之类的生物计量。
向内图像捕捉系统112b可检测诸如眼睛移动、瞳孔放大以及头部移动之类的乘员参数。更具体地，向内图像捕捉系统112b捕捉车辆100的乘员10(或多个乘员)的图像数据。向内图像捕捉系统112b可包括用于捕捉乘员10图像的成像器或相机。在某个实施例中，向内图像捕捉系统112b可包括一个或多个阵列相机。由向内图像捕捉系统112b捕捉的图像数据可被用于各种目的。该图像数据可被用于标识乘员10以便获得关于乘员10的信息，诸如典型头部位置、健康信息以及其他情境信息。替代地，或此外，图像数据可被用于检测乘员10头部/眼睛的位置(例如，高度、深度、横向距离)，该位置进而被用于检测和/或跟踪乘员10的当前注视。向内图像捕捉系统112b可包括用于检测乘员10眼睛移动参数的眼睛移动跟踪器。眼睛移动跟踪器可包括用于处理自主车辆100乘员10的乘员图像数据的注视跟踪器以确定乘员10中央视觉的当前区域。向内图像捕捉系统112b可包括用于监测瞳孔放大的瞳孔监测器，该瞳孔监测器包括用于处理车辆100乘员10的乘员图像数据的瞳孔跟踪器以确定乘员10瞳孔的尺寸。向内图像捕捉系统112b还可提供乘员图像数据，该乘员图像数据可在情感提取方法中使用以标识一个或多个乘员情绪。
向外图像捕捉系统112c捕捉车辆100前方环境的图像数据，这可帮助收集与乘员10可能正专注于的事物有关的乘员数据和/或参数。可基于注视跟踪和/或视线检测来处理由外部图像捕捉系统112c捕捉的图像数据以标识乘员10将注意力集中于何处(例如，集中于另一车辆的驾驶员，该驾驶员可能正在蜂窝电话上交谈而没有注意到将冲入交通的玩滑板的人)。向外图像捕捉系统112c可包括用于捕捉车辆100外部区域图像的成像器或相机。向外图形捕捉系统112c可包括处于不同角度的多个成像器以捕捉多个视角。向外图像捕捉系统112c还可包括多种类型的成像器，诸如有源红外成像器和可见光谱成像器。一般，向外图像捕捉系统112c捕捉车辆前方或在车辆100行驶方向上车辆100之前的区域。在某些实施例中，向外图像捕捉系统112c可包括一个或多个阵列相机。由向外图像捕捉系统112c捕捉的图像可主要被自主车辆控制器110用于指导和控制自主车辆100的导航。
通过对图1B的具体参考，乘员10的视线152可由向内图像捕捉系统112b的眼睛移动跟踪器确定。使用视线152和由向外图像捕捉系统112c获取的外部图像数据，系统102可确定乘员的关注焦点。在图1B中，乘员10的视线152被指向标志12。如可被理解的，乘员10可在其他情形中关注可能不专心或被移动电话或其他移动设备分心的另一车辆的驾驶员，或者关注行人(例如，小孩、步行者、慢跑者、滑板者、骑行者等等)，该行人可能不专心而几近危险地冲入交通，或诸如在自主车辆100移动时以其他方式进入它的附近区域。
用于控制的系统102可以是提供一个或多个建议驾驶方面的用于自主车辆100的安全系统，一个或多个建议驾驶方面包括增加自主车辆100的乘员安全的一个或多个防御动作。例如，另一个车辆的人类驾驶员可能被他或她电话上的谈话分心。当其他车辆比可预期的更快地接近十字路口时，自主车辆100的乘员10可能看上去会很恐惧。乘员10可能紧握把手或方向盘20并且可能因为潜在的撞击而抵住座位22。例如，系统102接收用于这些乘员参数中一个或多个的传感器数据并且可向主车辆控制器110通知潜在危险和/或提供建议防御动作以增加乘员10的安全。可增加乘员安全的防御动作的示例包括但不限于：减小自主车辆100的行驶速度；发信号或启用应急灯；系紧安全带；关窗；锁门；开门；增加自主车辆100与处于自主车辆100附近的车辆之间的距离；提醒管理者；提醒当前行驶路线；提醒停止距离；发听觉信号；启动被配置成检测潜在危险的一个或多个应急传感器，使得这些传感器可将额外输入提供给自主车辆控制器110。以这种方式，用于控制的系统102可提供人机接口，该人机接口将优质额外决策向量提供给受限指令集。
用于控制的系统102还可基于一个或多个乘员情绪和/或其他乘员数据提供一个或多个建议驾驶方面以便为乘员提供改善的驾驶。换言之，用于控制的系统102可以是用于向自主车辆100建议驾驶方面的系统，并且建议驾驶方面可允许车辆100通过考虑一个或多个乘员情绪、偏好、驾驶模式和/或额外情境提供自适应驾驶体验，由此以更个性化和/或客制化的驾驶体验为目标。机器(即，车辆100)可以更紧密地驾驶使得乘员可期望体验类似于“方向盘”(例如，车辆100的控制)在他们手中或好像“方向盘”在他们手中的驾驶。系统102可使用一个或多个乘员情绪、驾驶历史、情境和/或偏好以便建议甚至控制诸如速度、加速度、路径(例如，转向锐度，路线)之类的驾驶方面，以个性化驾驶体验并且使之适应于乘员需要和/或偏好。以这种方式，用于控制的系统102可提供人机接口，该人机接口将优质额外决策向量提供给受限指令集。系统102允许自主车辆根据乘员情感和意向活动和操作而不是以机器人一样的方式和感觉简单驾驶。
网络接口118被配置成从主车辆100外部的或靠近主车辆100的源接收乘员数据。网络接口118可配备有常规网络连接，诸如例如，以太网(IEEE 802.3)、令牌环网(IEEE802.5)、光纤分布式数据链接口(FDDI)或异步传输模式(ATM)。此外，计算机可被配置成支持各种网络协议，诸如例如，因特网协议(IP)、传输控制协议(TCP)、UDP/TCP上的网络文件系统、服务器消息块(SMB)、
Figure BDA0001583421190000071
通用互联网文件系统(CIFS)、超文本传输协议(HTTP)、直接存取文件系统(DAFS)、文件传输协议(FTP)、实时发布订阅(RTPS)、开放系统互连(OSI)协议、简单邮件传输协议(SMTP)、安全外壳(SSH)、安全套接层(SSL)等等。
网络接口118可提供到无线网络和/或其他无线通信设备的接口。例如，网络接口118可启用到无线传感器(例如，用于获取乘员心率、血压、体温等的生物计量传感器)、乘员移动电话或手持设备或者可穿戴设备(例如，腕带活动追踪器，
Figure BDA0001583421190000072
手表)的无线连接。作为另一个示例，网络接口118可形成与置于车辆100外部的无线网络接入点140的无线数据连接。网络接口118可与耦合至诸如本地局域网(LAN)、广域网(WAN)或因特网之类的网络的无线网络接入点140连接。在某个实施例中，无线网络接入点140位于与因特网隔离的地理局部网络之上或耦合至该地理局部网络。这些经由网络接口118与其他设备和/或网络的无线连接允许获取诸如来自乘员日程表的日程和/或行程信息之类的乘员数据。诸如其他车辆驾驶方面(例如，速度、加速度、转向半径、行驶模式、路线)的统计之类的情境数据也可通过可帮助确定用于自主车辆100的建议驾驶方面的给定扇区或地理区域、乘员医疗信息、(诸如可影响乘员心情的)重大的当前事件以及其他环境数据被获取。
在某个实施例中，无线网络接入点140被耦合至基于云的分布式计算网络的“微云”。微云是表示中间层的计算架构元件(例如，移动设备－微云－云)。微云是分散和广泛散布的因特网基础结构，它的计算周期和存储资源可被邻近移动计算机利用。微云可被视为被设计和配置成带来靠近移动设备(例如，本案例中的自主车辆控制器或系统102)的基于云的分布式计算架构或网络并且可提供能被邻近移动设备利用的计算周期和存储资源的本地“数据中心”。微云可仅具有软状态，这意味着它不能具有任何硬状态，但可以包含来自云的经高速缓存的状态。它还可以缓冲云中在到安全地点途中的源自一个或多个移动设备的数据。微云可拥有足够大的计算能力(即，CPU、RAM等)以便将资源密集的计算从一个或多个移动设备卸载。微云可对云具有极好的连通性(典型地，有线因特网连接)并且一般不受有限电池寿命限制(例如，它被连接至电源输出口)。微云在逻辑上邻近于所关联的移动设备。“在逻辑上邻近”解释为低端到端等待时间和高带宽(例如，单跳Wi-Fi)。在逻辑上邻近可意味着物理接近。微云是自我管理的，仅仅需要功率、因特网连通性以及访问控制或设置。管理的简单可对应于计算资源的装置模型，并在诸如咖啡店或医生办公室之类的商业处所上做简单的部署。在内部，微云可被视为多核计算机的群集，具有千兆比特内部连通性和高带宽无线LAN。
在某个实施例中，无线网络接入点140被耦合至基于云的分布式计算网络的雾。雾可比云更广大。例如，雾可沿道路提供来自ITS(智能交通系统)基础结构的计算能力：例如，在智能十字路口处上传/下载数据。雾可被限制在沿道路的对等连接(即，不将数据发送到云或远程数据中心)中，但可沿整个公路系统被扩展并且车辆可在沿路计算的本地“雾”中参与和脱离。换言之，雾可以是分布式的，相关联的微云网络。
作为另一个示例，雾可通过停车计时器的收集提供分布式计算，其中每个单独计时器可以是雾的边缘并且可与车辆建立对等连接。车辆可通过由每个停车计时器提供的边缘计算的“雾”来行驶。
在某个其他实施例中，网络接口118可从卫星(例如，全球定位系统(GPS)卫星、XM无线电卫星)接收乘员数据。在某个其他实施例中，网络接口118可从蜂窝电话塔接收乘员数据。如可被理解的，其他合适的无线数据连接是可能的。
图1A和1B例示出坐在车辆典型驾驶位置的单个乘员。如可被理解的，系统102可监测额外的或其他的乘员，诸如典型地坐在前排乘客和/或后排乘客所坐位置的乘员。换言之，自主车辆100可不具有方向盘20，而是具有仅有的把手，进而因此可不具有驾驶员座位/位置。此外，系统102可监测多个乘员并可基于多个乘员(例如，车辆中的所有乘员)提供建议驾驶方面。
图2是根据一个实施例的用于基于乘员参数进行控制的系统200的示意图。系统200包括处理设备202，向内图像捕捉系统212b，向外图像捕捉系统212c，作为图像捕捉系统212b、212c的替代或附加的一个或多个传感器212，和/或用于控制自主车辆的导航和其他驾驶方面的自主车辆控制器210。
处理设备202可以与基于图1A和1B的乘员参数控制的系统102相似或类似。处理设备可包括一个或多个处理器226、存储器228、输入/输出接口216以及网络接口218。
存储器228可包括实现系统200各组件所需的信息和指令。例如，存储器228可包括各种模块230和程序数据250。
如本文所使用的，单词“模块”，不管是大写字母还是小写字母，都指的是可在硬件或固件中具体化的逻辑，或指的是用诸如例如C++之类的编程语言写成的可能具有入口点和出口点的软件指令的集合。软件模块可被编译并链接到可执行程序内，该可执行程序包括在动态链接库中，或者可用诸如BASIC之类的解释语言写成。软件模块或程序可以处于可执行状态或被当作是可执行的。“可执行”一般意指程序能够在计算机系统上操作而无需计算机语言解释器的参与。术语“自动地”一般指无需显著的用户介入或只需一些限定的用户介入即可执行的操作。术语“启动”一般指初始化计算机模块或程序的操作。如可被理解的，软件模块可由其他模块或它们自身调用，和/或可响应于检测事件或打断而被调用。软件指令可被嵌入在诸如EPROM之类的固件中。硬件模块可包括诸如门或触发器之类的连接逻辑单元，和/或可包括可编程单元，诸如可编程门阵列或处理器。
可使用硬件、软件、固件和/或其任何组合来实现模块。例如，如示出的，模块230可包括乘员监测系统232、注视跟踪器234和学习引擎236。学习引擎236可包括一个或多个检测模块242、情绪分析器244以及乘员概况分析器246。
模块230可处理处理设备202与诸如自主车辆控制器210和传感器212(包括成像系统212b、212c)之类的系统200中其他元件之间的各种交互。此外，模块230可创建可由存储器228存储的数据。例如，模块230可生成诸如简介记录252之类的程序数据250，简介记录252可包括驾驶方面256和乘员参数258之间的相关性。乘员参数可包括情绪262、生物计量264、历史266、情境268、偏好270、统计272等等。
乘员监测系统232可帮助收集乘员数据以便检测和/或监测乘员参数258。学习引擎236可处理乘员数据和/或乘员参数258以确定或标识用于使用自主车辆的自主车辆控制器210经由车辆接口(例如，输入/输出接口216)被传达到自主车辆的建议驾驶方面256。
检测模块242可处理来自监测一个或多个乘员参数以检测自主车辆外部潜在危险的一个或多个传感器212的传感器数据。该检测基于乘员参数258完成。
情绪分析器244处理乘员数据并检测对于当前驾驶方面256的乘员情绪262，情绪分析器244将当前驾驶方面256连同乘员情绪262与驾驶方面256之间的相关性254一起记录。
乘员概况分析器246保持乘员概况，该乘员概况包括用于乘员和乘员参数258的驾驶方面256的所记录的相关性254，乘员参数258包括情绪262、生物计量264、历史266、情境268、偏好270以及统计272。
如先前所解释的，情绪262和生物计量264可被一个或多个传感器212(包括向内图像捕捉系统212b)和检测模块242检测。生物计量264、历史266、情境268、偏好270以及统计272可被网络接口218获取。
向内图像捕捉系统212b被配置成捕捉车辆乘员的图像数据，在该车辆中，系统200是安装好的和/或可操作的。向内图像捕捉系统212b可包括用于捕捉操作者图像的一个或多个成像器或相机。在某个实施例中，向内图像捕捉系统212b可包括一个或多个阵列相机。由向内图像捕捉系统212b捕捉的图像数据可被用于检测乘员对潜在外部危险的反应、检测乘员的情绪、标识乘员、检测乘员的头部/眼睛位置以及检测和/或跟踪乘员的当前注视。
向外图像捕捉系统212c捕捉车辆前方环境的图像数据。向外图像捕捉系统212c可包括用于捕捉车辆外部区域，一般是车辆前方区域或在车辆行驶方向上车辆之前的区域的图像的一个或多个成像器或相机。在某个实施例中，向外图像捕捉系统212c可包括一个或多个阵列相机。由向外图像捕捉系统212c捕捉的图像数据可被分析或以其他方式用于标识车辆周围(例如，一般是车辆前方，或在车辆行驶方向上车辆之前)环境中的物体以便收集乘员数据。
注视跟踪器234被配置成处理由向内图像捕捉系统212b捕捉的乘员图像数据以确定车辆乘员的当前注视视线。注视跟踪器234可分析图像数据以检测乘员的眼睛并检测眼睛所聚焦的方向。注视跟踪器232可继续处理当前乘员图像数据以检测和/或跟踪当前乘员的注视。在某个实施例中，注视跟踪232基本上可实时地处理乘员图像数据。注视跟踪器可包括用于监测瞳孔放大的瞳孔监测器。瞳孔监测器可包括用于处理车辆乘员的乘员图像数据以确定乘员瞳孔尺寸的瞳孔跟踪器。
驾驶方面256可包括，但不限于，诸如减速、迂回、系紧安全带、关窗、锁门、解锁门、创造更大距离(例如，改变速度和/或方向)、提醒管理者、提醒驾驶路线、提醒停止距离(例如，用于更快减速度的更强制动)、对其他车辆的音频警告或信号(例如，灯光)以及激活用于确定潜在危险并将额外信息/反馈提供给自主车辆的自主车辆控制器的应急传感器(例如，聚焦相机以跟随用户注视)之类的防御动作。驾驶方面256还可包括对自主车辆的一个或多个速度、加速度、转向半径以及行驶路线的调整。
基于例如，语音、生物计量、图像处理以及现场反馈，存储在存储器228中的情绪262的每一个可以是或以其他方式表示乘员态度的确定。经典情绪分析可通过常见文本情绪分析方法、同时使用语音转文本和/或声学模型来通过音调标识情绪，以对于当前驾驶方面来分析乘员情绪。
生物计量264可被整合到情绪分析中，诸如通过捕捉一个或多个乘员的心率、血压和/或体温来理解由自主车辆实际驾驶所导致的遇险等级。例如，生物计量264的突然改变可基于当前驾驶方面发出遇险信号。相比之下，进入车辆的乘员的生物计量等级可被用于检测其他情绪。例如，在进入车辆之后已上升到超过对乘员而言可能正常或典型水平的生物计量可指示压力、焦虑等等。图像处理可包括分析诸如从例如脸部表情、动作等等可显而易见的乘员情感的情感提取方法。现场反馈机制可被用于探索和/或确定乘员的好恶、所检测的情绪、心情、偏好等等。
驾驶历史266可提供乘员在控制车辆时一般驾驶方式的表示。乘员驾驶的方式可以是对自主车辆的该乘员想拥有的驾驶体验类型的强指示。例如，(依法)作出急转向或驾驶尽可能快的一些人将同样期望如此。在可能时延伸他或她的驾驶路径以确保他或她沿海驾驶的一些人将期望由自主车辆选取的相同的风景路线。驾驶历史266可从训练车辆或在自主车辆乘员操作的训练期间被获取。
情境268可包括如乘员年龄、当前医疗状况、心情以及空闲时间(例如，根据日程表或行程系统)之类的信息并且对确定合适的驾驶方面是至关重要的。例如，具有心脏问题的高龄人士可能不欣赏自主车辆急转向或尽可能快地驾驶、甚至受到它不利的影响。类似地，作为乘员的游客可能期望通过显著或特定地标的稍长的路线。
偏好270可由乘员经由可通过无线网络提供可访问数据的图形用户接口或客户端计算设备来输入。
统计272可被如上文所描述的自主车辆收集，或被网络接入点获取。如果通过给定地理扇区的多数车辆(例如，90％)遵循相似的驾驶方面(例如，速度、加速度、转向半径等等)，则这些统计可向自主车辆通知该建议驾驶方面的确定。
图3是根据一个实施例的用于基于乘员参数进行自主车辆控制的方法300的流程图。诸如从传感器、无线网络连接和/或所存储的概况中捕捉或以其他方式在302接收乘员数据。乘员数据可帮助标识乘员参数。乘员数据在304被处理以便基于乘员数据和/或乘员参数来在306标识一个或多个建议驾驶方面。替代地，或此外，检测到的潜在危险可在308被传达至自主车辆。处理乘员数据和/或参数可包括标识乘员诸如对车辆外部潜在危险的反应，以便检测潜在危险并在306建议诸如增加乘员安全性的防御动作之类的驾驶方面。
处理乘员数据和/或参数可包括对于当前驾驶方面检测乘员情绪并在乘员概况中记录检测到的乘员情绪与当前驾驶方面之间的相关性。乘员数据/参数可被处理以便基于将乘员情绪和驾驶方面相关联的乘员概况中的相关性来在306标识建议驾驶方面。建议驾驶方面包括例如基于乘员情绪所确定的建议速度、建议加速度、建议转向控制以及可能符合乘员喜好的建议行驶路线中的一个或多个。
示例实施例
示例可包括主题，诸如方法、用于执行方法动作的装置、至少一个包括指令的机器可读介质，指令在被机器执行时，使机器执行方法、装置或系统的动作。
示例1：用于自主车辆的安全系统，该系统包括：乘员监测系统，用于监测自主车辆的乘员，该乘员监测系统包括监测一个或多个乘员参数的一个或多个传感器；检测模块，用于处理从乘员监测系统的一个或多个传感器接收的传感器数据并基于一个或多个乘员参数来检测自主车辆外部的潜在危险；车辆接口，用于将自主车辆外部潜在危险的检测传达给自主车辆，其中检测模块的检测基于一个或多个乘员参数。
示例2：示例1的系统，其中乘员监测系统被配置成用于监测自主车辆的多个乘员。
示例3：示例1-2中任一项的系统，其中乘员监测系统被配置成用于监测位于自主车辆驾驶员座位上的乘员。
示例4：示例1-3中任一项的系统，其中乘员监测系统被配置成用于监测指示对自主车辆外部的潜在危险的乘员反应的一个或多个乘员参数。
示例5：示例4的系统，其中乘员监测系统被配置成用于监测指示对自主车辆外部的潜在危险的人类乘员响应的一个或多个乘员参数。
示例6：示例1-5中任一项的系统，其中一个或多个乘员参数包括以下各项的一个或多个：肌肉的突然拉紧或握紧；乘员朝座位靠背向后的突然移动；至少一只脚的抽动；语言的使用；眼睛移动；瞳孔放大；头部移动；心率；呼吸节奏；以及呼吸吸入中的改变。
示例7：示例1-6中任一项的系统，其中一个或多个传感器中的每个传感器用于监测一个或多个乘员参数的中的乘员参数。
示例8：示例1-7中任一项的系统，其中一个或多个传感器包括一个或多个压力传感器。
示例9：示例8的系统，其中一个或多个压力传感器被设置在自主车辆的乘客厢内的把手上以便检测乘员拉紧他或她的手部肌肉。
示例10：示例8的系统，其中一个或多个压力传感器被设置在自主车辆的座位内以用于检测相对座位的乘员移动，包括向座位的靠背移动。
示例11：示例8的系统，其中一个或多个压力传感器被设置在自主车辆的乘客厢的底板上以检测乘员至少一只脚的抽动。
示例12：示例8的系统，其中一个或多个压力传感器被设置在自主车辆的座位内以便检测呼吸节奏。
示例13：示例1-12中任一项的系统，其中一个或多个传感器包括使用语言来检测乘员的话筒。
示例14：示例1-13中任一项的系统，其中一个或多个传感器包括用于检测乘员语言的话筒。
示例15：示例1-14中任一项的系统，其中一个或多个传感器包括用于监测乘员眼睛移动参数的眼睛移动跟踪器，眼睛移动跟踪器包括：注视跟踪器，用于处理自主车辆乘员的乘员图像数据以确定乘员中央视觉的当前区域；以及向内图像捕捉系统，用于捕捉自主车辆乘员的乘员图像数据以供注视跟踪器处理。
示例16：示例15的系统，其中注视跟踪器被配置成用于：确定自主车辆乘员的当前注视的视线，基于乘员当前注视的视线来确定乘员的视野，以及在视野内确定乘员的中央视觉的当前区域。
示例17：示例15的系统，其中注视跟踪器包括监测瞳孔放大的瞳孔监测器，该瞳孔监测器包括用于处理车辆乘员的乘员图像数据以确定乘员的瞳孔尺寸的瞳孔跟踪器。
示例18：示例1-17中任一项的系统，其中车辆接口将潜在危险的检测传达给自主车辆的控制器。
示例19：示例1-8中任一项的系统，其中车辆接口通过提供建议驾驶方面将潜在危险的检测传达给自主车辆，建议驾驶方面包括用于增加自主车辆的乘员安全的防御动作。
示例20：示例19的系统，其中用于增加安全的防御动作是以下各项的一个：减小自主车辆的行驶速度；使用应急灯发信号；系紧安全带；关窗；锁门；解锁门；增加自主车辆与处于自主车辆附近的车辆之间的距离；提醒管理者；提醒驾驶路线；提醒停止距离；发听觉信号；启动被配置成用于检测潜在危险的一个或多个应急传感器。
示例21：用于控制自主车辆的方法，该方法包括：接收自主车辆乘员的乘员数据；处理从乘员监测系统接收的乘员数据以便基于乘员数据来标识一个或多个建议驾驶方面；经由车辆接口将一个或多个建议驾驶方面传达给自主车辆。
示例22：示例21的方法，其中乘员数据包括指示乘员对自主车辆外部的潜在危险反应的一个或多个乘员参数，其中处理乘员数据包括基于乘员数据的一个或多个乘员参数来检测自主车辆外部的潜在危险，以及其中一个或多个建议驾驶方面包括用于增加自主车辆乘员安全的防御动作。
示例23：示例22的方法，其中一个或多个乘员参数包括以下各项的一个或多个：肌肉的突然拉紧或握紧；乘员朝座位靠背向后的突然移动；至少一只脚的抽动；语言的使用；眼睛移动；瞳孔放大；头部移动；心率；呼吸频率；以及呼吸吸入中的改变。
示例24：示例22-23中任一项的方法，其中用于增加安全的防御动作是以下各项的一个：减小自主车辆的行驶速度；使用应急灯发信号；系紧安全带；关窗；锁门；开门；增加自主车辆与处于自主车辆附近的其他车辆之间的距离；提醒管理者；提醒驾驶路线；提醒停止距离；发听觉信号；启动被配置成用于检测潜在危险的一个或多个应急传感器。
示例25：示例21-24中任一项的方法，进一步包括标识乘员数据与驾驶方面的相关性的模式，从中标识所述建议驾驶方面。
示例26：示例21-25中任一项的方法，其中所述乘员数据包括以下各项的一个或多个：乘员驾驶的历史驾驶方面；情境数据；以及乘员偏好数据。
示例27：示例21-26中任一项的方法，其中处理所述乘员数据包括：对于当前驾驶方面检测乘员情绪；以及在乘员概况中记录检测到的乘员情绪与当前驾驶方面的相关性，其中处理乘员数据以标识一个或多个建议驾驶方面包括基于将乘员情绪与相关驾驶方面相关联的乘员概况中的相关性来标识一个或多个建议驾驶方面。
示例28：示例27的方法，其中检测乘员情绪包括从检测和监测一个或多个乘员参数的一个或多个传感器中收集传感器数据，其中处理乘员数据包括基于传感器数据来标识乘员情绪。
示例29：示例21-28中任一项的方法，其中所述建议驾驶方面包括以下各项的一个或多个：建议速度；建议加速度；建议转向控制；以及建议行驶路线。
示例30：一种具有存储在其上的指令的非瞬态计算机可读介质，指令在由计算设备执行时，使计算设备执行示例21-29中任一项的方法。
示例31：一种系统，包括用于实现示例21-29中任一项的方法的装置。
示例32：用于控制自主车辆的系统，该系统包括：乘员监测系统，用于获取自主车辆的乘员的乘员数据；学习引擎，用于处理从乘员监测系统接收的乘员数据以便基于乘员数据来标识一个或多个建议驾驶方面；以及车辆接口，用于将一个或多个建议驾驶方面传达给自主车辆。
示例33：示例32的系统，其中乘员监测系统包括用于检测指示对自主车辆外部的潜在危险的乘员反应的一个或多个乘员参数的一个或多个传感器，其中学习引擎处理来自乘员监测系统的一个或多个传感器的传感器数据以便基于一个或多个乘员参数来检测自主车辆外部的潜在危险，以及其中一个或多个建议驾驶方面包括用于增加所述自主车辆的乘员安全的防御动作。
示例34：示例33的系统，其中一个或多个乘员参数包括以下各项的一个或多个：肌肉的突然拉紧或握紧；乘员朝座位靠背向后的突然移动；至少一只脚的抽动；语言的使用；眼睛移动；瞳孔放大；头部移动；心率；呼吸频率；以及呼吸吸入中的改变。
示例35：示例33-34中任一项的系统，其中用于增加安全的防御动作是以下各项的一个：减小自主车辆的行驶速度；使用应急灯发信号；系紧安全带；关窗；锁门；解锁门；增加自主车辆与附近车辆之间的距离；提醒管理者；提醒驾驶路线；提醒停止距离；发听觉信号；启动被配置成用于检测潜在危险的一个或多个应急传感器。
示例36：示例33-35中任一项的系统，其中乘员监测系统的一个或多个传感器中的每一个监测一个或多个乘员参数的中的一个乘员参数。
示例37：示例33-36中任一项的系统，其中一个或多个传感器包括一个或多个压力传感器。
示例38：示例37的系统，其中一个或多个压力传感器被设置在自主车辆的乘客厢内的把手上以用于检测乘员拉紧他或她的手部肌肉。
示例39：示例37的系统，其中一个或多个压力传感器被设置在自主车辆的座位内以用于检测相对座位的乘员移动，包括向座位靠背移动。
示例40：示例37的系统，其中一个或多个压力传感器被设置在自主车辆的乘客厢的底板上以用于检测乘员至少一只脚的抽动。
示例41：示例37的系统，其中一个或多个压力传感器被设置在自主车辆的座位内以用于检测呼吸节奏。
示例42：示例33-41中任一项的系统，其中一个或多个传感器包括用于检测乘员语言的话筒。
示例43：示例33-42中任一项的系统，其中一个或多个传感器包括用于监测乘员眼睛移动参数的眼睛移动跟踪器，眼睛移动跟踪器包括：注视跟踪器，用于处理自主车辆乘员的乘员图像数据以确定乘员中央视觉的当前区域；以及向内图像捕捉系统，用于捕捉自主车辆乘员的乘员图像数据以供注视跟踪器处理。
示例44：示例43的系统，其中注视跟踪器被配置成用于：确定自主车辆乘员的当前注视的视线，基于乘员当前注视的视线来确定乘员的视野，以及在视野内确定乘员的中央视觉的当前区域。
示例45：示例33-44中任一项的系统，其中一个或多个传感器包括用于监测瞳孔放大的瞳孔监测器，该瞳孔监测器包括：瞳孔跟踪器，用于处理车辆乘员的乘员图像数据以确定乘员瞳孔尺寸；以及向内图像捕捉系统，用于捕捉车辆乘员的乘员图像数据以供瞳孔跟踪器处理的。
示例46：示例32-45中任一项的系统，其中车辆接口将一个或多个建议驾驶方面传达给自主车辆的控制器。
示例47：示例32-46中任一项的系统，学习引擎用于接收乘员数据并标识乘员数据与驾驶方面的相关性模式并在存储器中记录该相关性模式以用于标识建议驾驶方面。
示例48：示例47的系统，其中乘员数据包括乘员驾驶的历史驾驶方面。
示例49：示例47-48中任一项的系统，其中乘员数据包括情境数据：
示例50：示例49的系统，其中情境数据包括以下各项的一个或多个：乘员年龄；乘员健康/医疗信息；乘员心情；以及乘员行程信息。
示例51：示例47-50中任一项的系统，其中乘员数据包括乘员偏好数据：
示例52：示例47-51中任一项的系统，其中乘员监测系统包括收集用于给定地理扇区统计数据的统计系统，其中乘员数据包括统计数据。
示例53：示例52的系统，其中统计系统通过与地理扇区内的无线网络接入点形成无线数据连接来收集统计数据。
示例54：示例32-53中任一项的系统，学习引擎包括：情绪分析器，用于处理乘员数据并检测对于当前驾驶方面的乘员情绪，该情绪分析器记录检测到的乘员情绪与当前驾驶方面的相关性；以及乘员概况分析器，用于保持包括乘员情绪与乘员驾驶方面的所记录的相关性的乘员概况，其中学习引擎基于乘员情绪与相关驾驶方面的乘员概况中的相关性标识一个或多个建议驾驶方面。
示例55：示例54的系统，该乘员监测系统包括用于检测和监测一个或多个乘员参数的一个或多个传感器，其中情绪分析器基于来自乘员监测系统的传感器数据来检测乘员情绪。
示例56：示例55的系统，其中一个或多个传感器包括用于捕捉乘员语音的话筒，其中情绪分析器基于该乘员语音来检测乘员情绪。
示例57：示例56的系统，其中情绪分析器使用声学模型来检测乘员情绪以便通过音调标识情绪。
示例58：示例56的系统，其中情绪分析器基于语音转文本分析来检测乘员情绪。
示例59：示例55的系统，其中一个或多个传感器包括用于捕捉用于乘员的一个或多个生物计量的生物计量数据的生物计量传感器，其中学习引擎使用生物计量数据来检测乘员情绪。
示例60：示例59的系统，其中一个或多个乘员生物计量包括以下各项的一个或多个：乘员心率；乘员血压；以及乘员体温。
示例61：示例55-60中任一项的系统，其中一个或多个传感器包括用于捕捉乘员图像数据的成像传感器，其中学习引擎使用乘员的图像数据来检测乘员情绪。
示例62：示例54的系统，其中情绪分析器包括为乘员提供表达偏好机会的反馈系统，该反馈系统被配置成处理乘员的命令以获取乘员所表达的偏好并基于所表达的偏好来检测乘员情绪。
示例63：示例62的系统，其中反馈系统被配置成处理声音命令。
示例64：示例62的系统，其中反馈系统被配置成经由图形用户接口处理所提供的命令。
示例65：示例54的系统，其中建议驾驶方面包括以下各项中的一个或多个：建议速度；建议加速度；建议转向控制；以及建议行驶路线。
示例66：自主车辆中的安全方法，该方法包括：从监测自主车辆乘员的一个或多个乘员参数的乘员监测系统的一个或多个传感器接收传感器数据；基于一个或多个乘员参数检测自主车辆的外部的潜在危险；以及经由车辆接口将潜在危险的检测传达给自主车辆的控制器。
示例67：示例66的方法，其中将潜在危险的检测传达给自主车辆包括提供建议驾驶方面，该建议驾驶方面包括用于增加自主车辆乘员安全的防御动作。
示例68：示例67的方法，其中用于增加安全的防御动作是以下各项的一个：减小自主车辆的行驶速度；使用应急灯发信号；系紧安全带；关窗；锁门；解锁门；增加自主车辆与处于自主车辆附近的其他车辆之间的距离；提醒管理者；提醒驾驶路线；提醒停止距离；发听觉信号；启动被配置成用于检测潜在危险的一个或多个应急传感器。
示例69：一种具有存储在其上的指令的非瞬态计算机可读介质，指令在由计算设备执行所述指令时，使计算设备执行示例66-68中任一项的方法。
示例70：一种系统，包括用于实现示例66-68中任一项的方法的装置。
示例71：用于建议自主车辆的驾驶方面的系统，该系统包括：乘员监测系统，用于监测自主车辆乘员，该乘员监测系统包括监测一个或多个乘员参数的一个或多个传感器；检测模块，用于处理从乘员监测系统接收的乘员数据并检测与自主车辆所执行驾驶的驾驶方面有关的乘员情绪，其中该检测模块基于一个或多个乘员参数来检测乘员情绪；学习引擎，用于接收检测到的乘员情绪和驾驶方面并确定乘员情绪与驾驶方面的相关性；乘员概况分析器，用于保持包括乘员情绪与自主车辆所执行驾驶的驾驶方面的相关性的乘员概况；以及车辆接口，用于基于当前检测到的乘员情绪与乘员概况中乘员情绪的比较将建议驾驶方面传达给自主车辆。
示例72：示例71的系统，其中一个或多个传感器包括一个或多个压力传感器。
示例73：示例72的系统，其中一个或多个压力传感器被设置在自主车辆的乘客厢内的把手上以检测乘员拉紧他或她的手部肌肉。
示例74：示例72的系统，其中一个或多个压力传感器被设置在自主车辆的座位内以便检测相对座位的乘员移动，包括向座位靠背移动。
示例75：示例72的系统，其中一个或多个压力传感器被设置在自主车辆的乘客厢的底板上以检测乘员至少一只脚的抽动。
示例76：示例72的系统，其中一个或多个压力传感器被设置在自主车辆的座位内以便检测呼吸节奏。
示例77：示例71-76中任一项的系统，其中一个或多个传感器包括用于检测乘员语言的话筒。
示例78：示例71-77中任一项的系统，其中乘员监测系统包括被配置成用于收集用于给定地理扇区统计数据的统计系统，其中检测模块处理该统计数据。
示例79：示例78的系统，其中统计系统通过与地理扇区内的无线网络接入点形成无线数据连接来收集统计数据。
示例80：示例71-79中任一项的系统，学习引擎包括：情绪分析器，用于处理乘员数据并检测对于当前驾驶方面的乘员情绪，该情绪分析器记录检测到的乘员情绪与当前驾驶方面的相关性；以及乘员概况分析器，用于保持包括所记录的乘员情绪与乘员驾驶方面的相关性的乘员概况，其中学习引擎基于乘员情绪与相关驾驶方面的乘员概况中的相关性来标识一个或多个建议驾驶方面。
示例81：一种自主车辆，包括：乘员监测系统，用于监测自主车辆乘员，该乘员监测系统包括用于监测一个或多个乘员参数的一个或多个传感器；检测模块，用于处理从乘员监测系统的一个或多个传感器接收的传感器数据并基于一个或多个乘员参数来检测自主车辆外部潜在危险；以及自主车辆控制器，用于基于检测到的潜在危险来确定并使自主车辆执行防御动作。
示例82：一种自主车辆，包括：乘员监测系统，用于获取自主车辆乘员的乘员数据；学习引擎，用于处理从乘员监测系统接收的乘员数据以便基于乘员数据标识一个或多个建议驾驶方面；以及自主车辆控制器，用于提供自主车辆导航和自主车辆控制，其中自主车辆控制器接收一个或多个建议驾驶方面并使自主车辆执行一个或多个建议驾驶方面中的至少一个。
示例83：示例82的自主车辆，其中乘员监测系统包括用于检测指示乘员对自主车辆外部潜在危险反应的一个或多个乘员参数的一个或多个传感器，其中学习引擎处理来自乘员监测系统的一个或多个传感器的传感器数据以便基于一个或多个乘员参数来检测自主车辆外部的潜在危险，以及其中一个或多个建议驾驶方面包括增加自主车辆乘员安全的防御动作。
示例84：示例82-83中任一项的自主车辆，学习引擎包括：情绪分析器，用于处理乘员数据并检测对于当前驾驶方面的乘员情绪，该情绪分析器记录检测到的乘员情绪与当前驾驶方面的相关性；以及乘员概况分析器，用于保持包括所记录的乘员情绪与乘员驾驶方面的相关性的乘员概况，其中学习引擎用于基于乘员情绪与相关驾驶方面的乘员概况中的相关性来标识一个或多个建议驾驶方面。
示例85：示例84的自主车辆，乘员监测系统包括检测模块，该检测模块包括用于检测和监测一个或多个乘员参数的一个或多个传感器，其中情绪分析器基于来自乘员监测系统的传感器数据来检测乘员情绪。
为了本文所描述实施例的详细理解，以上描述提供大量具体细节。然而，本领域技术人员将认识到，具体细节中的一个或多个可被省略，或者其他方法、组件或材料可被使用。在一些情形中，并未详细地示出或描述操作。
而且，所述的特征、操作或特征可以以任何适当方式被组合在一个或多个实施例中。如将对本领域技术人员显而易见的，还将容易理解的是，与所公开实施例有关的所描述方法的步骤或动作的次序可被改变。因此，附图或详细描述中的任何次序仅出于例示的目的，而不旨在暗示所要求的次序，除非指定要求次序。
实施例可包括各种步骤，该步骤可在由通用或专用计算机(或其他电子设备)执行的机器可执行指令中具体化。替代地，步骤可由包括用于执行该步骤的特定逻辑的硬件组件执行，或由硬件、软件和/或固件的组合执行。
实施例还可作为包括计算机可读存储介质的计算机程序产品被提供，该计算机可读介质具有可用于将计算机(或其他电子设备)编程为执行本文所描述过程的存储在其上的指令。计算机可读存储介质可以是非瞬态的。计算机可读存储介质可包括，但不限于：硬盘驱动器、软盘、光盘、CD-ROM、DVD-ROM、ROM、RAM、EPROM、EEPROM、磁卡或光学卡、固态存储设备或适用于存储电子指令的其他类型的介质/机器可读介质。
如本文所使用的，软件模块或组件可包括位于存储设备和/或计算机可读存储介质内的任何类型的计算机指令或计算机可执行代码。例如，软件模块可包括可被组织成执行一个或多个任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等的计算机指令的一个或多个物理或逻辑块。
在某个实施例中，特定软件模块可包括存储在存储设备不同位置的不同指令，这些指令一起实现该模块的所述功能。实际上，模块可包括单个指令或许多指令，并且可在几个不同的代码段上、在不同的程序之间以及跨几个存储器器件分布。一些实施例可在其中由通过通信网络链接的远程处理设备执行任务的分布式计算环境中实现。在分布式计算环境中，软件模块可以位于本地和/或远程存储器存储设备中。此外，数据库记录中一起被连结或呈现的数据可驻留在相同存储器设备中，或横跨若干存储器设备，并且可在跨网络的数据库的记录字段中被链接在一起。
对本领域技术人员将显而易见的是，可对上述实施例的细节进行许多改变，而不背离本发明的基本原则。因此，本发明的范围应当仅由所附权利要求确定。

Claims (23)

1.用于自主车辆的安全系统，所述系统包括：
乘员监测系统，用于监测所述自主车辆的所有乘员，所述乘员包括在所述自主车辆的驾驶位上的乘员和不在所述自主车辆的驾驶位上的乘员，所述乘员监测系统包括用于监测一个或多个乘员参数的一个或多个传感器；
检测模块，用于处理从所述乘员监测系统的所述一个或多个传感器接收的传感器数据并且基于所述一个或多个乘员参数来检测所述自主车辆外部的潜在危险；以及
车辆接口，用于将所述自主车辆外部潜在危险的检测传达给所述自主车辆，其中所述检测模块的检测基于所述一个或多个乘员参数，并且其中所述检测模块的检测基于在所述自主车辆外部捕捉的图像数据，所述图像数据与乘员的关注焦点相关联，所述乘员的关注焦点由在所述自主车辆内部获得的乘员的视线确定。
2.如权利要求1所述的系统，其特征在于，所述乘员监测系统被配置成用于监测指示对所述自主车辆外部的潜在危险的乘员反应的一个或多个乘员参数。
3.如权利要求1所述的系统，其特征在于，所述一个或多个传感器中的每个传感器用于监测所述一个或多个乘员参数中的乘员参数。
4.如权利要求1所述的系统，其特征在于，所述一个或多个传感器包括一个或多个压力传感器。
5.如权利要求1所述的系统，其特征在于，所述一个或多个传感器包括用于使用语言来检测乘员的话筒。
6.如权利要求1所述的系统，其特征在于，所述一个或多个传感器包括用于检测乘员语言的话筒。
7.如权利要求1所述的系统，其特征在于，所述一个或多个传感器包括用于监测所述乘员的眼睛移动参数的眼睛移动跟踪器，所述眼睛移动跟踪器包括：
注视跟踪器，用于处理所述自主车辆的所述乘员的乘员图像数据以确定所述乘员的中央视觉的当前区域；以及
向内图像捕捉系统，用于捕捉所述自主车辆的所述乘员的乘员图像数据以供所述注视跟踪器进行处理。
8.如权利要求7所述的系统，其特征在于，所述注视跟踪器被配置成用于：确定所述自主车辆的所述乘员的当前注视的视线，基于所述乘员当前注视的所述视线来确定所述乘员的视野，以及在所述视野内确定所述乘员的中央视觉的所述当前区域。
9.如权利要求1所述的系统，其特征在于，所述车辆接口将所述潜在危险的检测传达给所述自主车辆的控制器。
10.如权利要求1所述的系统，其中所述车辆接口通过提供建议驾驶方面将所述潜在危险的检测传达给所述自主车辆，所述建议驾驶方面包括用于增加所述自主车辆的乘员安全的防御动作。
11.用于控制自主车辆的系统，所述系统包括：
乘员监测系统，用于获取用于所述自主车辆的所有乘员的乘员数据，所述乘员包括在所述自主车辆的驾驶位上的乘员和不在所述自主车辆的驾驶位上的乘员；
学习引擎，用于处理从所述乘员监测系统接收的乘员数据以便基于所述乘员数据来标识一个或多个建议驾驶方面；以及
车辆接口，用于将所述一个或多个建议驾驶方面传达给所述自主车辆，
其中所述一个或多个建议驾驶方面基于在所述自主车辆外部捕捉的图像数据，所述图像数据与乘员的关注焦点相关联，所述乘员的关注焦点由在所述自主车辆内部获得的乘员的视线确定。
12.如权利要求11所述的系统，其特征在于，所述乘员监测系统包括一个或多个传感器，所述一个或多个传感器用于检测指示对所述自主车辆外部的潜在危险的乘员反应的一个或多个乘员参数，
其中学习引擎处理来自所述乘员监测系统的所述一个或多个传感器的传感器数据以便基于一个或多个乘员参数来检测所述自主车辆外部的潜在危险，以及
其中所述一个或多个建议驾驶方面包括用于增加所述自主车辆的乘员安全的防御动作。
13.如权利要求11所述的系统，其特征在于，所述一个或多个传感器包括一个或多个压力传感器。
14.如权利要求11所述的系统，其特征在于，所述车辆接口将所述一个或多个建议驾驶方面传达给所述自主车辆的控制器。
15.如权利要求11所述的系统，所述学习引擎用于接收乘员数据并标识乘员数据与驾驶方面的相关性的模式，以便标识所述建议驾驶方面。
16.如权利要求15所述的系统，其特征在于，所述乘员数据包括以下各项的一个或多个：
乘员驾驶的历史驾驶方面；
情境数据；以及
乘员偏好数据。
17.根据权利要求11所述的系统，所述学习引擎包括：
情绪分析器，用于处理所述乘员数据并对于当前驾驶方面检测乘员情绪；所述情绪分析器记录所述检测到的乘员情绪与所述当前驾驶方面的相关性；以及
乘员概况，用于保持包括所记录的乘员情绪与用于所述乘员的驾驶方面的相关性的乘员概况，其中所述学习引擎基于乘员情绪与相关驾驶方面的所述乘员概况中的相关性来标识所述一个或多个建议驾驶方面。
18.用于建议自主车辆的驾驶方面的系统，所述系统包括：乘员监测系统，用于监测所述自主车辆的所有乘员，所述乘员包括在所述自主车辆的驾驶位上的乘员和不在所述自主车辆的驾驶位上的乘员，所述乘员监测系统包括用于监测一个或多个乘员参数的一个或多个传感器；
检测模块，用于处理来自乘员监测系统的传感器数据并检测与由所述自主车辆执行的驾驶的驾驶方面有关的乘员情绪，其中所述检测模块基于一个或多个乘员参数来检测所述乘员情绪；
学习引擎，用于接收所述检测到的乘员情绪和驾驶方面并确定乘员情绪与驾驶方面的相关性；
乘员概况，用于保持包括乘员情绪与在自主车辆中所执行的驾驶的驾驶方面的相关性的乘员概况；以及
车辆接口，用于基于当前所检测的乘员情绪与所述乘员概况中的乘员情绪之间的比较将建议驾驶方面传达给所述自主车辆，
其中所述建议驾驶方面基于在所述自主车辆外部捕捉的图像数据，所述图像数据与乘员的关注焦点相关联，所述乘员的关注焦点由在所述自主车辆内部获得的乘员的视线确定。
19.一种自主车辆，包括：
乘员监测系统，用于检测所述自主车辆的所有乘员，所述乘员包括在所述自主车辆的驾驶位上的乘员和不在所述自主车辆的驾驶位上的乘员，所述乘员监测系统包括用于监测一个或多个乘员参数的一个或多个传感器；
检测模块，用于处理来自乘员监测系统的所述一个或多个传感器的传感器数据并基于所述一个或多个乘员参数来检测所述自主车辆的外部的潜在危险，其中所述检测模块的检测基于在所述自主车辆外部捕捉的图像数据，所述图像数据与乘员的关注焦点相关联，所述乘员的关注焦点由在所述自主车辆内部获得的乘员的视线确定；以及
自主车辆控制器，用于确定并基于所检测到的潜在危险使所述自主车辆执行防御动作。
20.一种自主车辆，包括：
乘员监测系统，用于获取用于所述自主车辆的所有乘员的乘员数据，所述乘员包括在所述自主车辆的驾驶位上的乘员和不在所述自主车辆的驾驶位上的乘员；
学习引擎，用于处理来自所述乘员监测系统的乘员数据以便基于所述乘员数据标识一个或多个建议驾驶方面；以及
自主车辆控制器，用于提供所述自主车辆的自主导航或控制，其中所述自主车辆控制器接收所述一个或多个建议驾驶方面并使所述自主车辆执行所述一个或多个建议驾驶方面中的至少一个，
其中所述一个或多个建议驾驶方面基于在所述自主车辆外部捕捉的图像数据，所述图像数据与乘员的关注焦点相关联，所述乘员的关注焦点由在所述自主车辆内部获得的乘员的视线确定。
21.如权利要求20所述的自主车辆，其中所述乘员监测系统包括用于检测指示对于所述自主车辆外部的潜在危险的乘员反应的一个或多个乘员参数的一个或多个传感器，
其中所述学习引擎处理来自所述乘员监测系统的所述一个或多个传感器的传感器数据以便基于所述一个或多个乘员参数检测所述自主车辆外部的潜在危险，以及
其中所述一个或多个建议驾驶方面包括增加所述自主车辆的乘员安全的防御动作。
22.如权利要求20所述的自主车辆，所述学习引擎包括：
情绪分析器，用于处理所述乘员数据并检测对于当前驾驶方面的乘员情绪，所述情绪分析器记录所述检测到的乘员情绪与所述当前驾驶方面的相关性；以及
乘员概况，用于保持包括所记录的乘员情绪与用于所述乘员的驾驶方面的相关性的乘员概况，
其中所述学习引擎基于乘员情绪与相关驾驶方面的所述乘员概况中的相关性来标识所述一个或多个建议驾驶方面。
23.如权利要求22所述的自主车辆，所述乘员监测系统包括检测模块，所述检测模块包括用于检测和监测一个或多个乘员参数的一个或多个传感器，
其中所述情绪分析器基于来自所述乘员监测系统的所述传感器数据检测所述乘员情绪。
CN201680049853.1A 2015-06-26 2016-05-17 自主车辆安全系统和方法 Active CN107949504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111127681.4A CN113665528A (zh) 2015-06-26 2016-05-17 自主车辆安全系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/752,572 2015-06-26
US14/752,572 US20160378112A1 (en) 2015-06-26 2015-06-26 Autonomous vehicle safety systems and methods
PCT/US2016/032866 WO2016209415A1 (en) 2015-06-26 2016-05-17 Autonomous vehicle safety systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111127681.4A Division CN113665528A (zh) 2015-06-26 2016-05-17 自主车辆安全系统和方法

Publications (2)

Publication Number Publication Date
CN107949504A CN107949504A (zh) 2018-04-20
CN107949504B true CN107949504B (zh) 2021-10-15

Family

ID=57585346

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111127681.4A Pending CN113665528A (zh) 2015-06-26 2016-05-17 自主车辆安全系统和方法
CN201680049853.1A Active CN107949504B (zh) 2015-06-26 2016-05-17 自主车辆安全系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111127681.4A Pending CN113665528A (zh) 2015-06-26 2016-05-17 自主车辆安全系统和方法

Country Status (4)

Country Link
US (1) US20160378112A1 (zh)
CN (2) CN113665528A (zh)
DE (1) DE112016002832T5 (zh)
WO (1) WO2016209415A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9649979B2 (en) * 2015-01-29 2017-05-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in view-obstructed environments
US9688271B2 (en) * 2015-03-11 2017-06-27 Elwha Llc Occupant based vehicle control
KR20170015114A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
US10059287B2 (en) * 2016-02-17 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for enhanced comfort prediction
US9791857B2 (en) * 2016-03-10 2017-10-17 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for monitoring and alerting vehicle occupant to operating efficiencies of autonomous driving assistance systems
US10035519B2 (en) * 2016-03-15 2018-07-31 GM Global Technology Operations LLC System and method for autonomous vehicle driving behavior modification
US20170349184A1 (en) * 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10317897B1 (en) * 2016-11-16 2019-06-11 Zoox, Inc. Wearable for autonomous vehicle interaction
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
DE102017201804A1 (de) * 2017-02-06 2018-08-09 Robert Bosch Gmbh Verfahren zum Erfassen von Daten, Verfahren zum Aktualisieren eines Szenarienkatalogs, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium
US10338802B2 (en) * 2017-02-08 2019-07-02 International Business Machines Corporation Monitoring an activity and determining the type of actor performing the activity
US10365653B2 (en) * 2017-06-12 2019-07-30 GM Global Technology Operations LLC Personalized autonomous vehicle ride characteristics
CN107415602A (zh) * 2017-07-06 2017-12-01 上海小蚁科技有限公司 用于车辆的监测方法、设备和系统、计算机可读存储介质
KR102338204B1 (ko) 2017-08-02 2021-12-10 한국전자통신연구원 생체 신호 감지 장치 및 이를 포함하는 생체 신호 감지 시스템
US11225257B2 (en) * 2017-09-26 2022-01-18 Nissan Motor Co., Ltd. Driving assistance method and driving assistance device
DE102017217664A1 (de) * 2017-10-05 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Bestimmung eines Nutzerempfindens eines Nutzers in einem zumindest teilweise autonom fahrenden Fahrzeug
US10802483B2 (en) 2017-10-19 2020-10-13 International Business Machines Corporation Emergency public deactivation of autonomous vehicles
US10829110B2 (en) * 2017-10-26 2020-11-10 Robert Bosch Gmbh Method and device for adapting a driving behavior of a semi, highly or fully automated vehicle
US10809720B2 (en) * 2017-11-14 2020-10-20 Chian Chiu Li Bi-directional autonomous vehicle
DE102017220935A1 (de) * 2017-11-23 2019-05-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erhöhung der Sicherheit und/oder des Komforts eines Fahrerassistenzsystems, sowie ein Fahrerassistenzsystem
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
JP6743072B2 (ja) * 2018-01-12 2020-08-19 本田技研工業株式会社 制御装置、制御装置の動作方法及びプログラム
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
US11847548B2 (en) * 2018-02-23 2023-12-19 Rockwell Collins, Inc. Universal passenger seat system and data interface
US10867218B2 (en) * 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
CN108733962B (zh) * 2018-06-13 2020-05-26 山西大学 一种无人车的拟人驾驶员控制模型的建立方法和系统
JP7139717B2 (ja) * 2018-06-26 2022-09-21 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
US10655978B2 (en) * 2018-06-27 2020-05-19 Harman International Industries, Incorporated Controlling an autonomous vehicle based on passenger behavior
WO2020018394A1 (en) 2018-07-14 2020-01-23 Moove.Ai Vehicle-data analytics
US20200065864A1 (en) * 2018-08-27 2020-02-27 Oath Inc. System and method for determining emotionally compatible content and application thereof
JP7172321B2 (ja) * 2018-09-12 2022-11-16 トヨタ自動車株式会社 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム
DE102018218215A1 (de) * 2018-10-24 2020-04-30 Robert Bosch Gmbh Insassenüberwachungssystem für ein Fahrzeug
CN112997229A (zh) * 2018-11-13 2021-06-18 索尼公司 信息处理装置、信息处理方法和程序
CN109532847B (zh) * 2018-11-19 2020-01-24 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置、服务器、介质
JP7156011B2 (ja) * 2018-12-26 2022-10-19 トヨタ自動車株式会社 情報提示装置
DE102019000060A1 (de) * 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems
US11334090B2 (en) * 2019-02-13 2022-05-17 GM Global Technology Operations LLC Method and system for determining autonomous vehicle (AV) action based on vehicle and edge sensor data
CN110083164B (zh) * 2019-05-20 2022-05-13 阿波罗智联(北京)科技有限公司 控制方法及系统、电子设备、服务器、计算机可读介质
WO2020142112A1 (en) * 2019-07-08 2020-07-09 Futurewei Technologies, Inc. System and method to identify points of interest from within autonomous vehicles
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
DE102019214420A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum zumindest assistierten Überqueren eines Knotenpunkts durch ein Kraftfahrzeug
CN110626352A (zh) * 2019-10-08 2019-12-31 昆山聚创新能源科技有限公司 车辆及其司乘人员焦虑情况的检测方法和装置
JP7358958B2 (ja) * 2019-12-11 2023-10-11 トヨタ自動車株式会社 運転意識推定装置
US11636715B2 (en) * 2019-12-24 2023-04-25 GM Cruise Holdings LLC. Using dynamic triggers in dangerous situations to view sensor data for autonomous vehicle passengers
DE102020100487A1 (de) * 2020-01-10 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs mit Berücksichtigung einer Reaktion von zumindest einem Insassen, Recheneinrichtung sowie Fahrerassistenzsystem
DE102020102107A1 (de) * 2020-01-29 2021-07-29 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur zeitaktuellen Ermittlung von Gefahrenstellen im Straßenverkehr
US11285967B2 (en) * 2020-02-13 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for modifying actions taken by an autonomous vehicle
DE102020202284A1 (de) 2020-02-21 2021-08-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems
KR20210111558A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 운전자 보조 장치 및 그의 경고 방법
CN112026687B (zh) * 2020-07-15 2022-04-08 华人运通(上海)云计算科技有限公司 一种车内身心调适运动前后的状态检测装置及方法
US11685399B2 (en) 2020-11-16 2023-06-27 International Business Machines Corporation Adjusting driving pattern of autonomous vehicle
CN112884942B (zh) * 2021-01-29 2023-07-21 中汽创智科技有限公司 一种数据记录与回放系统及其回放方法
CN114475415A (zh) * 2022-02-17 2022-05-13 重庆金康赛力斯新能源汽车设计院有限公司 一种车灯控制方法、系统、装置、存储介质和车机系统
US11833989B1 (en) * 2022-08-03 2023-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection systems for vehicles and methods of controlling airbags using object detection systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293361B1 (en) * 1998-01-14 2001-09-25 Daimlerchrysler Ag Process and system for braking a vehicle
WO2005021337A1 (de) * 2003-08-23 2005-03-10 Daimlerchrysler Ag Kraftfahrzeug mit einem pre-safe-system
CN101020453A (zh) * 2006-02-13 2007-08-22 株式会社电装 车辆控制系统
CN103370252A (zh) * 2011-02-18 2013-10-23 本田技研工业株式会社 对驾驶员行为进行响应的系统和方法
CN104508729A (zh) * 2012-08-07 2015-04-08 索尼公司 信息处理装置、信息处理方法和信息处理系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6793242B2 (en) * 1994-05-09 2004-09-21 Automotive Technologies International, Inc. Method and arrangement for obtaining and conveying information about occupancy of a vehicle
JP2970384B2 (ja) * 1993-11-24 1999-11-02 トヨタ自動車株式会社 居眠り運転検出装置
JP2002042288A (ja) * 2000-07-26 2002-02-08 Yazaki Corp 運行状態記録装置及びそれを利用した運行管理システム
US6734799B2 (en) * 2001-03-01 2004-05-11 Trw Inc. Apparatus and method for responding to the health and fitness of a driver of a vehicle
EP2140341B1 (en) * 2007-04-26 2012-04-25 Ford Global Technologies, LLC Emotive advisory system and method
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2009096365A (ja) * 2007-10-17 2009-05-07 Fuji Heavy Ind Ltd リスク認識システム
US20100007479A1 (en) * 2008-07-08 2010-01-14 Smith Matthew R Adaptive driver warning methodology
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
DE102010018331A1 (de) * 2010-04-27 2011-10-27 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug
US20130325202A1 (en) * 2012-06-01 2013-12-05 GM Global Technology Operations LLC Neuro-cognitive driver state processing
JP5942761B2 (ja) * 2012-10-03 2016-06-29 トヨタ自動車株式会社 運転支援装置および運転支援方法
EP2848488B2 (en) * 2013-09-12 2022-04-13 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293361B1 (en) * 1998-01-14 2001-09-25 Daimlerchrysler Ag Process and system for braking a vehicle
WO2005021337A1 (de) * 2003-08-23 2005-03-10 Daimlerchrysler Ag Kraftfahrzeug mit einem pre-safe-system
CN101020453A (zh) * 2006-02-13 2007-08-22 株式会社电装 车辆控制系统
CN103370252A (zh) * 2011-02-18 2013-10-23 本田技研工业株式会社 对驾驶员行为进行响应的系统和方法
CN104508729A (zh) * 2012-08-07 2015-04-08 索尼公司 信息处理装置、信息处理方法和信息处理系统

Also Published As

Publication number Publication date
US20160378112A1 (en) 2016-12-29
CN107949504A (zh) 2018-04-20
DE112016002832T5 (de) 2018-03-08
WO2016209415A1 (en) 2016-12-29
CN113665528A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN107949504B (zh) 自主车辆安全系统和方法
JP7424305B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7155122B2 (ja) 車両制御装置及び車両制御方法
EP3759700B1 (en) Method for determining driving policy
US20200207358A1 (en) Contextual driver monitoring system
US20200151479A1 (en) Method and apparatus for providing driver information via audio and video metadata extraction
JP7080598B2 (ja) 車両制御装置および車両制御方法
US20190391581A1 (en) Passenger Health Monitoring and Intervention for Autonomous Vehicles
US9725036B1 (en) Wake-up alerts for sleeping vehicle occupants
CN111989729B (zh) 信息处理装置、移动装置、信息处理系统、方法和程序
EP3067827A1 (en) Driver distraction detection system
JP2022525586A (ja) 自律車両システム
US20190225232A1 (en) Passenger Experience and Biometric Monitoring in an Autonomous Vehicle
WO2017195405A1 (ja) 画像処理装置及び画像処理方法、並びに移動体
JP7329755B2 (ja) 支援方法およびそれを利用した支援システム、支援装置
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2022022350A (ja) 車両制御システム、車両制御方法、およびプログラム
CN112455461B (zh) 自动驾驶车辆的人车交互的方法、自动驾驶系统
KR20190027657A (ko) 차량의 주행을 보조하는 장치 및 방법
JP7331728B2 (ja) 運転者状態推定装置
JP7331729B2 (ja) 運転者状態推定装置
EP3957535A2 (en) In-vehicle acoustic monitoring method and system for driver and passenger
WO2023018433A1 (en) Systems and methods for operating a vehicle based on physiological parameters of an occupant
JP2021097765A (ja) 制御装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant