CN110337396A - 用于基于传感器数据操作车辆的系统及方法 - Google Patents

Abstract

本发明描述一种由电子装置执行的方法。所述方法包含从车辆的内部获得对应于多个乘员的传感器数据。所述方法还包含由处理器基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态。所述方法进一步包含由所述处理器响应于所述至少一个乘员状态而识别至少一个车辆操作。所述方法另外包含由所述处理器至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作。所述方法还包含在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作。

Description

用于基于传感器数据操作车辆的系统及方法

相关申请案

本申请案涉及并主张针对“SYSTEMS AND METHODS FOR OPERATING A VEHICLEBASED ON INTERIOR SENSOR DATA”在2017年3月1日提出申请的美国临时专利申请案第62/465,663号的优先权。

技术领域

本发明大体上涉及电子装置。更具体来说，本发明涉及用于基于传感器数据操作车辆的系统及方法。

背景技术

在过去数十年，电子装置的使用已变得普通。特定来说，电子技术的进步已减少日益复杂且有用的电子装置的成本。成本减少及消费者需求已使电子装置的使用激增，使得其在现代社会中实际上普遍存在。随着电子装置的使用已扩大，因此具有对电子装置的新及改进特征的需求。更具体来说，以后经常追求执行新功能、执行更丰富功能及/或更快、更高效及/或更可靠执行功能的电子装置。

技术的进步已产生较小且较强大的电子装置。举例来说，目前存在多种电子装置，例如蜂窝电话、智能电话、车内仪表中电子器件、膝上型计算机、服务器等等。

用户通常重视车辆的便利性、灵活性及定制体验。然而，车辆功能有限，且可能无法提供方便的体验。从此讨论中可看出，改进用户体验及/或便利可能为有益的。

发明内容

本发明描述一种由电子装置执行的方法。所述方法包含从车辆的内部获得对应于多个乘员的传感器数据。所述方法还包含由处理器基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态。所述方法进一步包含由所述处理器响应于所述至少一个乘员状态识别至少一个车辆操作。所述方法另外包含由所述处理器至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作。所述方法进一步包含在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作。所述方法可包含融合来自所述车辆的所述内部的所述传感器数据与来自所述车辆的外部的传感器数据。

所述传感器数据的所述第一部分可对应于第一乘员且所述传感器数据的所述第二部分可对应于第二乘员。确定是否执行所述至少一个车辆操作可基于所述第二乘员的乘员状态。

确定是否执行所述至少一个车辆操作可基于所述第二乘员的优先级。确定所述第一乘员及所述第二乘员的优先级可包含基于车辆所有权或客人状态中的至少一者优先排序所述第一乘员或所述第二乘员。确定所述第一乘员及所述第二乘员的优先级可至少基于所述第一乘员的状态与所述第一乘员的所期望状态之间的差异。可在所述至少一个车辆操作对应于优先级高于一或多个其他乘员的每一优先级的乘员的状况下确定执行所述至少一个车辆操作。

所述方法可包含在执行对应于具有优先级的乘员的所述车辆操作不违背对应于具有较高优先级的任何其他乘员的任何偏好的状况下确定执行所述至少一个车辆操作。所述方法还可包含在执行对应于具有所述优先级的所述乘员的所述车辆操作违背对应于具有较高优先级的任何其他乘员的任何偏好的状况下确定不执行所述至少一个车辆操作。

获得所述至少一个乘员状态可包含借助机器学习测量乘员状态。获得所述至少一个乘员状态还可包含获得乘员状态命令。获得所述至少一个乘员状态可进一步包含组合所述所测量的乘员状态及所述所获得的乘员状态命令以产生所述乘员状态。获得所述至少一个乘员状态可包含针对所述乘员中的一或多者确定温度舒适度水平、乘坐焦虑水平、安全水平、健康水平、所有物状态、活动或计划状态。

本发明还描述一种电子装置。所述电子装置包含存储器。所述电子装置还包含处理器，其耦合至所述存储器。所述处理器经配置以从车辆的内部获得对应于多个乘员的传感器数据。所述处理器还经配置以基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态。所述处理器经进一步配置以响应于所述至少一个乘员状态而识别至少一个车辆操作。所述处理器另外经配置以至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作。所述处理器还经配置以在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作。

本发明还描述一种存储计算机可执行代码的非暂时性有形计算机可读媒体。所述计算机可读媒体包含用于致使电子装置从车辆的内部获得对应于多个乘员的传感器数据的代码。所述计算机可读媒体还包含用于致使所述电子装置基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态的代码。所述计算机可读媒体进一步包含用于致使所述电子装置响应于所述至少一个乘员状态而识别至少一个车辆操作的代码。所述计算机可读媒体另外包含用于致使所述电子装置至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作的代码。所述计算机可读媒体还包含用于致使所述电子装置在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作的代码。

本发明还描述一种设备。所述设备包含用于从车辆的内部获得对应于多个乘员的传感器数据的装置。所述装置还包含用于基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态的装置。所述设备进一步包含用于响应于所述至少一个乘员状态而识别至少一个车辆操作的装置。所述设备另外包含用于至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作的装置。所述设备还包含用于在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作的装置。

附图说明

图1为绘示其中可实施用于基于传感器数据操作车辆的系统及方法的电子装置的一个实例的框图；

图2为绘示用于基于传感器数据及/或云信息操作车辆的方法的一个配置的流程图；

图3为绘示可在本文中所揭示的系统及方法的一些配置中实施的车辆及各种传感器的实例的图解；

图4为绘示用于基于传感器数据及/或云信息操作车辆的方法的更特定配置的流程图；

图5为绘示基于传感器数据控制车辆操作的方法的实例的框图；

图6为绘示用于基于传感器数据控制车辆操作的另一方法的实例的框图；

图7为绘示用于基于传感器数据操作车辆的方法的实例的流程图；

图8为绘示用于确定乘员状态的功能的实例的框图；

图9为绘示用于确定乘员优先级的功能的实例的框图；

图10为绘示用于确定乘员状态及优先级的功能的实例的框图；

图11为绘示车辆操作控制的实例的线程图；

图12为绘示客户端装置、服务器装置及车辆的实例的图解；且

图13绘示可包含在电子装置内的某些组件。

具体实施方式

本文中所揭示的系统及方法的一些配置可涉及基于传感器数据操作车辆。举例来说，一些配置可经由车厢内情况感知提供虚拟驾驶员。这涉及改进手动驱动车辆、自驾车辆及/或自驾乘坐共享车辆中的乘员(例如，驾驶员及/或一或多个其他乘员)的体验。因此，本文中所揭示的系统及方法的一些配置可由车辆原始设备制造商(OEM)、自驾车辆服务及/或车队监测服务实施。

使用一组传感器，一些配置可在车辆的内部(例如，汽车、卡车等等)创建并维持全面的情境感知。情境感知可包含乘员的状态，其可被用来自动完成一或多个操作，而不是依赖于人驾驶员/司机。举例来说，车辆操作可包含维持乘员的舒适性且基于情况的改变而对行驶计划进行调整。一些配置可使得车辆能够检测乘员状态(例如，乘员状态)及/或情境且相应地采取行动，使得整体体验及驾驶环境为安全及舒适的。结合图中的一或多者提供各种实例。

可使用一或多个传感器来实现全面的情境感知。举例来说，在车辆布局中，可使用一或多个传感器来监测车辆的后备箱、前部、中部(如果适用)及后排座椅，包含地板区域。结合图3给出了车辆中的传感器的实例。应注意，其他设计(例如，某些自驾车辆)可通过经布置以圆形方式而非成行就座来更容易地监测。举例来说，这可使得更容易用相机及传感器阵列来监测整个车内车厢。各种传感器组合为可能的。在多个乘员的状况下，一些配置可交递乘员(例如，从乘客到驾驶员或从驾驶员到乘客等等)之间的状态，及/或例如可经由一些投票选择最合适的乘员来容纳。

本文中所揭示的系统及方法的一些配置可涉及对象检测、对象辨识及/或机器学习。一些配置可在汽车上下文中实施(例如，手动驾驶车辆、驾驶辅助车辆、自驾车辆、车辆服务等等)。一些配置可提供导航、乘员舒适性、安全及/或安全性。举例来说，一些配置可辨识乘员(例如，驾驶员或乘客)已在车辆中留下了某物(例如，所有物、行李等等)。有些配置可监测在父母进入商店时被留在车内的儿童。某些配置可监测乘员健康状况。

虽然本文中所描述的概念中的一些在自驾车辆上下文中可能为有用的，但应注意，概念中的一些在其他上下文中之前可能为有用的(例如，手动驱动的车辆、连网家庭、老年护理等等)。

现在参考图描述各种配置，其中相同参考编号可指示功能上类似的元件。如本文在图中一般性描述及绘示的系统及方法可以广泛各种不同配置来布置及设计。因此，如图中所表示的数种配置的以下更详细的描述并非意图限制所主张的范围，而仅仅为系统及方法的代表。

图1为绘示其中可实施用于基于传感器数据操作车辆的系统及方法的电子装置102的一个实例的框图。电子装置102的实例包含计算机(例如，嵌入式计算机、集成计算机、桌上型计算机、膝上型计算机等等)、服务器、运载工具(例如，汽车、卡车、飞机、机车等等)、汽车、仪表中电子器件、平板装置、智能电话、相机、摄录影机、数字相机、个人相机、动作相机、监视相机、安装式相机、连接式相机、机器人、飞机、游戏控制台、个人数字助理(PDA)等等。电子装置102可包含一或多个组件或元件。组件或元件中的一或多者可以硬件(例如，电路)、硬件与软件的组合(例如，具有指令的处理器)及/或硬件与固件的组合来实施。

在一些配置中，电子装置102可包含处理器112、存储器126、显示器132、一或多个图像传感器104及/或其他传感器122、一或多个光学系统106及/或通信接口108。处理器112可耦合至存储器126、显示器132、图像传感器104、光学系统106、传感器122及/或通信接口108(例如，与其进行电子通信)。应注意，图1中所绘示的元件中的一或多者可为任选的。特定来说，电子装置102可能在一些配置中不包含图1中所绘示的元件中的一或多者。举例来说，电子装置102可或可不包含图像传感器104及/或光学系统106。另外或替代地，电子装置102可或可不包含显示器132。

在一些配置中，电子装置102可在显示器132上呈现用户界面134。举例来说，用户界面134可使得用户能够与电子装置102交互。在一些配置中，显示器132可为触摸屏，所述触摸屏从物理触摸(例如，由手指、触笔或其他工具)接收输入。另外或替代地，电子装置102可包含或耦合至另一输入接口。举例来说，电子装置102可包含面向用户的相机且可检测用户示意动作(例如，手势、手臂姿态、眼睛跟踪、眼睑眨眼等等)。在另一实例中，电子装置102可耦合至鼠标且可检测鼠标单击。在又一实例中，电子装置102可耦合至键盘且可从键盘接收按键输入。在一些配置中，本文中所描述的图像中的一或多者可在显示器132及/或用户界面134上呈现。在一些配置中，可实施额外或替代输入装置。举例来说，电子装置102可包含及/或耦合至一或多个麦克风、按钮、旋钮、拨号盘等等。在一些方法中，麦克风可用于捕获音频信号(例如，语音)，其可经辨识以确定一或多个输入及/或命令。

通信接口108可使得电子装置102能够与一或多个其他电子装置进行通信。举例来说，通信接口108可提供用于有线及/或无线通信的接口。在一些实施中，电子装置102可与服务器装置、客户端装置及/或车辆直接或间接(例如，经由网络)进行通信。在一些配置中，通信接口108可耦合至用于发射及/或接收射频(RF)信号的一或多个天线110。另外或替代地，通信接口108可实现一或多个种类的有线(例如，通用串行总线(USB)、以太网等等)通信。

在一些配置中，可实施及/或使用多个通信接口108。举例来说，一个通信接口108可为蜂窝(例如，3G、长期演进(LTE)、CDMA等等)通信接口108，另一通信接口108可为以太网接口，另一通信接口108可为通用串行总线(USB)接口，且另一通信接口108可为无线局域网(WLAN)接口(例如，电气与电子工程师协会(IEEE)802.11接口)。

在一些配置中，通信接口108可从一或多个远程装置接收云信息。云信息的实例可包含乘员信息(例如，乘员历史、乘员偏好等等)、模板信息(例如，对象检测模板、对象辨识模板、表情检测及/或辨识模板、语音辨识模板、车辆操作规范等等)、基于传感器数据的分析信息(例如，所检测到的对象、所辨识的对象、特征向量、经分类的传感器数据等等)、乘员仲裁信息、乘员优先级信息、车辆操作确定信息等等。举例来说，一或多个操作可被卸载至一或多个远程装置(例如，云装置、服务器等等)。在一些配置中，被描述为由电子装置102执行的功能中的一或多者可替代地由一或多个远程装置执行，所述远程装置可发送指示处理结果的云信息。在一些配置中，可接收一些或全部的乘员历史/偏好144作为云信息。在其他配置中，电子装置102可能不接收及/或使用云信息。

在一些配置中，电子装置102(例如，图像获得器114)可获得一或多个图像(例如，数字图像、图像帧、帧、视频、多视频相机馈送、光达图像、原始雷达数据等等)。一或多个图像(例如，帧)可为场景(例如，车辆的内部、车辆卡车、车辆地面空间、一或多个对象，及/或背景)的图像。在一些配置中，图像可包含车辆的内部的一或多个图像及/或车辆的外部的一或多个图像。车辆的外部的图像可包含车辆的外部的场景(例如，道路、道路标记、一或多个其他车辆、障碍物等等)，且可包含或可不包含车辆本身的图像。举例来说，车辆可包含一或多个图像传感器，用于捕获车辆的内部的图像(其中图像传感器可放置在车辆的内部或外部)及/或车辆的外部的一或多个图像(其中图像传感器可放置在车辆的内部或外部)。举例来说，电子装置102可包含一或多个图像传感器104及一或多个光学系统106(例如，透镜)。光学系统106可将位于光学系统106的视野内的对象的图像聚焦至图像传感器104上。光学系统106可在一些布置下耦合至处理器112及/或由处理器112控制。帧可为一系列图像(例如，视频)中的图像。

相机可包含至少一个图像传感器及至少一个光学系统。因此，在一些实施中，电子装置102可为一或多个相机，可包含一或多个相机，及/或可耦合至一或多个相机。在一些配置中，图像传感器104可捕获一或多个图像(例如，图像帧、视频、静止图像、突发模式图像、立体图像等等)。在一些实施中，电子装置102可包含多个光学系统106及/或多个图像传感器104。在一些方法中，电子装置102可能够创建(例如，车辆的内部的)全部360度视图。相机视图可在一些方法中选择性地提供二维(2D)及/或三维(3D)视图。在一些配置中，一或多个图像传感器104可经实施(例如，放置、安装等等)在车辆的内部。另外或替代地，可在车辆的外部实施(例如，放置、安装等等)一或多个图像传感器104。因此，图像传感器可用于检测车辆内及/或车辆的外部的图像数据。

另外或替代地，电子装置102可从另一装置请求及/或接收一或多个图像(例如，耦合至电子装置102的一或多个外部图像传感器、网络服务器、交通相机，水下相机、车辆相机、网络相机、安全相机、远程相机等等)。在一些配置中，电子装置102可经由通信接口108请求及/或接收一或多个图像。举例来说，电子装置102可或可不包含相机(例如，图像传感器104及/或光学系统106)且可从一或多个远程装置接收图像。

存储器126可存储指令及/或数据。处理器112可存取存储器126(例如，从其读取及/或向其写入)。存储器126可存储的指令及/或数据的实例可包含传感器数据128、乘员状态数据130、乘员历史及/或偏好144、车辆信息136、图像获得器114指令、传感器数据获得器116指令、计算机视觉分析器118指令、车辆操作管理器120指令、车辆操作确定器124指令、乘员仲裁器146指令，及/或用于其他元件的指令等等。在一些配置中，存储器126可接收及/或存储云信息(例如，来自一或多个远程装置、来自网络、来自远程服务器等等的信息)。

乘员历史及/或偏好144可指示关于一或多个乘员偏好及/或历史行为的数据。举例来说，乘员偏好144可指示乘员对于气候舒适度的阈值(例如，检测到乘员舒适的温度范围，由乘员指示的优选温度范围等等)。另外或替代地，乘员历史及/或偏好144可指示关于乘员过去如何行为的数据(例如，乘员是否往往将对象留在车辆中、乘员请求温度改变的温度、乘员是否听从另一乘员进行一或多个车辆操作(例如，温度控制、照明控制、驾驶方法等等)，当大卡车在毗邻车道时乘员是否被检测为不舒适，乘员是否往往花费时间在车内进行阅读、工作或睡觉等等)。应注意，在一些配置中，电子装置102可获得云信息(例如，来自一或多个云(例如，网络)装置的所存储的知识及/或辅助数据)。除了或替代内部传感器数据，还可使用云信息来执行本文中所描述的功能、方法及/或过程中的一或多者。

在一些配置中，电子装置102(例如，存储器126)可包含图像数据缓冲器(未展示)。图像数据缓冲器可缓冲(例如，存储)来自图像传感器104的图像数据(例如，图像帧)。可将所缓冲图像数据提供至处理器112。

在一些配置中，电子装置102可包含相机软件应用程序及/或显示器132。在相机应用程序运行时，位于光学系统106的视野内的场景及/或对象的图像可由图像传感器104捕获。由图像传感器104捕获的图像可在显示器132上呈现。在一些配置中，这些图像可以相当高帧速率快速连续地被显示，使得在任何给定时刻位于光学系统106的视野内的对象被呈现在显示器132上。由电子装置102获得的一或多个图像可为一或多个视频帧及/或一或多个静止图像。在一些配置中，相机数据可以广泛各种视图呈现至显示器132，包含单个相机视图、多相机并排，及/或多相机输入的经处理2D/3D环绕视图组合等等。

处理器112可包含及/或实施传感器数据获得器116、车辆操作管理器120、图像获得器114、传感器数据分析器138、计算机视觉分析器118、机器学习器140、传感器融合器142、乘员仲裁器146及/或车辆操作确定器124。应注意，电子装置102及/或处理器112中所绘示的元件中的一或多者可为任选的。举例来说，图像获得器114及/或计算机视觉分析器118可或可不被包含及/或实施。另外或替代地，处理器112中所绘示的元件中的一或多者可与处理器112分离地实施(例如，在其他电路中、在另一处理器上、在单独电子装置上等等)。应注意，用于传感器融合器142的一般项目编号可是指包含在传感器数据获得器116中的传感器融合器142a，包含在车辆操作确定器124中的传感器融合器142b或两者中的一者。

处理器112可包含及/或实施传感器数据获得器116。传感器数据获得器116可获得传感器数据。传感器数据可指示车辆的内部的一或多个状况。举例来说，传感器数据可包含来自车辆的内部的视觉信息、来自车辆的内部的音频信息、来自车辆的内部的重量信息、来自车辆的内部的无线信号信息、来自车辆的内部的温度信息、来自车辆的内部的超音波信息、来自车辆的内部的红外线(IR)信息、来自车辆的内部的健康(例如，保健)信息、来自车辆的内部的深度信息等等。在一些配置中，传感器数据可另外或替代地指示来自车辆的外部的一或多个条件。举例来说，传感器数据可包含来自车辆的外部的视觉信息、来自车辆的外部的音频信息、来自车辆的外部的无线信号信息、来自车辆的外部的温度信息、来自车辆的外部的深度信息、来自车辆的外部的雷达信息、来自车辆的外部的光达信息等等。在一些实施中，传感器数据获得器116可从一或多个图像传感器104及/或其他传感器122获得传感器数据。可将传感器数据作为传感器数据128的全部或部分存储在存储器126中。

传感器122的实例可包含深度传感器、红外线(IR)传感器、超音波传感器、雷达传感器、光达传感器、声音传感器(例如麦克风)、健康(例如，保健)传感器、重量传感器、运动传感器(例如，加速度计)、位置传感器(例如，全球定位系统(GPS)传感器)及/或无线信号传感器。

深度传感器可指示深度传感器与对象之间的深度数据(例如，接近度)。举例来说，深度传感器可检测深度传感器与乘员或对象之间的距离(例如，车辆的内部距离)(检测乘员存在、乘员所有物及/或其他对象)。在另一实例中，深度传感器可检测车辆与另一对象(例如，另一车辆、障碍物、跟车距离等等)之间的距离。在一些配置中，光达及/或雷达可用作深度传感器。在一些配置中，一或多个深度传感器可被实施(例如，放置、安装等等)在车辆的内部。另外或替代地，可在车辆的外部实施(例如，放置、安装等等)一或多个深度传感器。因此，深度传感器可用于检测车辆内及/或车辆的外部的深度。应注意，在一些配置中，深度传感器可用一或多个图像传感器104来实施。举例来说，可使用立体相机来对车辆的内部及/或外部的对象进行三角测量。

超音波传感器(例如，麦克风)可指示超音波数据。举例来说，可使用超音波数据来检测运动(例如，乘员存在)，检测对象(例如，乘员所有物)，及/或接收信息(例如，来自超音波装置)。

声音传感器(例如，麦克风)可指示声音数据。举例来说，声音数据可包含乘员语音、乘员声音、车辆噪音、媒体(例如，音频)音量等等。

健康传感器可指示健康数据。举例来说，健康传感器可指示心率、乘员温度、乘员运动、血压等等。健康传感器可提供乘员健康状态的指示(例如，一或多个生命征象是否在正常限制(及/或其他阈值限制)内。举例来说，健康传感器数据可指示乘员当前是否正在经历健康问题或紧急情况，乘员是否兴奋，乘员是否在休息等等。

红外线(IR)传感器可指示红外线数据。举例来说，红外线数据可指示可用于确定乘员存在、乘员位置、乘员运动、车厢温度等等的热数据。在一些配置中，一或多个IR传感器可被用作深度传感器(例如，三维测距(ToF)相机)。

重量传感器可指示重量数据。举例来说，一或多个重量传感器可指示乘员或对象(例如，乘员占有)是否放置在座位上、地板上等等。

运动传感器(例如，加速度计)可指示运动数据。举例来说，运动数据可指示用户运动、车辆运动等等。

位置传感器(例如，全球定位系统(GPS)传感器)可指示位置数据。举例来说，位置传感器可指示乘员及/或车辆的位置。

无线信号传感器可指示无线信号。举例来说，可使用无线信号来确定无线装置的位置(例如，经由三角测量)。另外或替代地，无线信号传感器可接收、解码及/或解释无线信号数据。举例来说，无线信号传感器可从智能电话、平板装置及/或计算机等等接收浏览数据。

应注意，一或多个传感器122可被包含在电子装置102中。另外或替代地，一或多个传感器122可与电子装置102分离且可与电子装置102通信。举例来说，重量传感器可集成至车辆座椅中且可经由通信接口108而与电子装置102通信以提供重量传感器数据。

在一些配置中，传感器数据获得器116可包含图像获得器114及/或传感器数据分析器138(其可包含例如计算机视觉分析器118、机器学习器140及/或传感器融合器142a)。举例来说，获得传感器数据可基于(至少一个车辆的内部及/或至少一个车辆的外部的)图像数据及/或基于图像数据的计算机视觉分析。举例来说，电子装置102可获得车辆的内部(例如，车厢、后备箱、地面空间、隔间等等)的一或多个图像(例如，静止图像、突发图像、视频等等)。另外或替代地，电子装置102可获得车辆的外部(例如，前视相机、安装式后视镜相机、罩装式相机、侧视相机、侧视镜安装相机、后视相机等等)的一或多个图像(例如，静止图像、突发图像、视频等等)。

在一些配置中，计算机视觉分析器118可对图像执行计算机视觉分析以确定乘员状态(例如，乘员状态数据)。在一些实施方式中，可将乘员状态数据的一些或全部作为乘员状态数据130存储在存储器126中。另外或替代地，远程装置可获得一或多个图像及/或可执行计算机视觉分析以确定电子装置102可请求及/或接收的乘员状态数据。关于获得图像及/或执行计算机视觉分析的更多细节如下给出，其可由电子装置102及/或一或多个远程装置执行。应注意，处理器112及/或图像获得器114可包含及/或可为用于相机数据的图像信号处理器(ISP)。另外或替代地，处理器112及/或图像获得器114可包含及/或可为雷达处理链及/或光达处理链。

处理器112(例如，传感器数据获得器116)可包含及/或实施图像获得器114。可向图像获得器114提供一或多个图像(例如，图像帧、视频、突发镜头等等)。举例来说，图像获得器114可从一或多个图像传感器104获得图像帧。举例来说，图像获得器114可从一或多个图像传感器104及/或从一或多个外部相机接收图像数据。如上文所描述，图像可从包含在电子装置102中的图像传感器104被捕获，或可从一或多个远程相机被捕获。

在一些配置中，图像获得器114可请求及/或接收图像数据(例如，一或多个图像、图像帧等等)。举例来说，图像获得器114可经由通信接口108从远程装置(例如，外部相机、远程服务器、远程电子装置、车辆等等)请求及/或接收一或多个图像。从相机获得的图像可在一些方法中由电子装置102用于进行计算机视觉分析。

处理器112可包含及/或实施传感器数据分析器138。传感器数据分析器138可分析一或多种的传感器数据。举例来说，传感器数据分析器138可分析传感器数据以确定一或多个车辆乘员的状态(例如，乘员状态)。举例来说，传感器数据分析器138可分析图像数据、声音数据、健康(例如，保健)数据、重量数据、无线信号数据、深度数据、IR数据及/或超音波数据以确定一或多个车辆乘员的状态(例如，乘员状态)。举例来说，确定乘员状态可包含确定温度舒适度水平、乘坐焦虑水平(例如，乘员舒适或不舒适的程度基于车辆驾驶)、安全水平(例如，乘员的安全是否受到另一乘员、车辆外的人员、另一车辆等等的威胁)、健康水平(例如，乘员的生命征象是否在正常范围内)、所有物状态(例如，乘员是否已将所有物留在车辆中)、活动(例如，乘员参与的活动，例如阅读、睡觉、听音乐、看视频、工作、讲电话、与其他乘员交谈等等)及/或计划状态(例如，旅行计划、一或多个所计划的目的地、是否指示计划的改变等等)。在一些配置中，乘员状态可被提供至车辆操作确定器124。

车辆中的传感器(例如，传感器122)可用于创建全面的车内情境感知，包含识别乘员及其位置、行李箱及由乘员带入车辆中的其他对象在车内车厢及后备箱两者中。传感器可另外或替代地检查其他乘员的威胁生命的对象及乘员健康状态。传感器可用于测量车辆内的情境感知，且推荐恰当的行动。

可通过机器学习(ML)确定的乘员状态(例如，身体状态)的一些实例可包含以下各者中的一或多者：面部表情(例如，恐惧、不舒适、烦躁等等)、乘员对驾驶事件(例如，繁忙的浏览电话或睡觉等等)的感知状态、行驶姿态、身体运动、姿势、面部/体温及/或其他标志(例如，倾身偏离交通、颤抖、幽闭恐惧症的迹象等等)，及/或乘员的语音(例如，跟踪关键词或短语，例如“可怕的驾驶”、“这里太黑了”或“这里太热了”等等)。一些配置可具有完全自然语言理解以提示一或多个用户(例如，乘员)的偏好及/或可从一或多个用户获得直接输入以对计划旅程进行调整。可通过机器学习确定的额外状态可包含由不同乘员携带的对象及/或乘员的医疗情况。

状态及对应车辆操作或动作的一些实例可包含以下各者中的一或多者。一些配置可能会检测到一或多位乘员抱怨温度且调整温度控制(例如，暖气、空调、HVAC等等)。一些配置可能会检测到不良的驾驶条件且调整车道或速度。一些配置可能会检测到乘员需要读取并调整车厢内照明。一些配置可检测到乘员忘记其行李箱并警示乘员在离开之前确保乘员拿到其包。一些配置可检测到乘员正在说他们需要基于紧急情况改变其目的地或以其他方式改变计划(例如，将不再及时到达位置、高优先级中断导致计划改变等等)。某些配置可能会导致一名乘员出现紧急医疗情况，并可能重新计划并调用紧急服务(例如，警察、救护车、911等等)。一些配置可辨识情绪(例如，对乘员的恐惧、驾驶员的中性情绪等等)以确定是否采取任何行动(例如，改变车道)。一些配置可检测及/或确定儿童已被留在车辆中。

在一些方法中，传感器融合器142可融合多种数据类型(例如，传感器数据类型、车辆信息及/或云信息)。举例来说，传感器融合器142可融合多个传感器数据类型的分析以确定乘员状态。举例来说，传感器融合器142可使用重量传感器来确定乘员正坐的位置，且可将声音数据分析及/或图像数据分析对准到那个区域以便确定乘员状态。在更特定的实例中，传感器融合器142可确定乘员坐在车辆的侧窗附近。然后，传感器融合器142可接着使用对应于那个乘坐位置的图像数据(例如，倾身偏离车窗)及/或声音数据(例如，乘员说“太亮了”)作为确定乘员因灯光造成不舒适的因素。多种传感器数据类型的融合可用于确定乘员状态及/或车辆操作(例如，关闭窗帘、增加侧窗色调等等)。在一些方法中，传感器融合器142可融合对应于车辆的内部的传感器数据与对应于车辆的外部的传感器数据。举例来说，传感器融合器142可融合倾身偏离车窗的乘员的图像数据与来自车辆的外部的指示毗邻车道中的大卡车的接近度的深度数据以确定乘员状态。

在一些配置中，传感器数据分析器138可包含用于融合传感器数据的传感器融合器142a。另外或替代地，车辆操作确定器124可包含用于在确定一或多个车辆操作中融合传感器数据的传感器融合器142b。举例来说，本文中所描述的传感器数据融合可由包含在传感器数据获得器116中的传感器融合器142a、由包含在车辆操作确定器124中的传感器融合器142b或两者执行。举例来说，确定车辆操作可包含融合一或多种传感器数据128(例如，内部传感器数据及/或外部传感器数据)与车辆信息136。在一些方法中，传感器融合器142可将驾驶操作数据、车辆速度等等与车辆至对象的接近度、车辆跟车距离及指示乘车焦虑水平的数据(例如，图像数据、跟踪数据、表情检测数据等等)融合在一起。举例来说，车辆操作确定器124可响应于升高的乘坐焦虑及/或倾身偏离车窗的乘员状态而确定车辆操作以降低速度、改变车道、延长跟车距离等等。

在一些配置中，处理器112可包含及/或实施机器学习器140。机器学习器140可基于传感器数据执行机器学习，以便确定及/或细化乘员状态确定。

处理器112可包含及/或实施计算机视觉分析器118。计算机视觉分析器118可对图像数据(例如，一或多个图像)执行计算机视觉分析。特定来说，计算机视觉分析器118可执行对象检测、对象辨识、对象跟踪、对象分类、面部检测、面部辨识、光学字符辨识、场景理解、情绪检测、舒适度水平检测、焦虑水平检测及/或光学字符辨识等等。可使用计算机视觉分析来确定乘员状态(例如，状态数据)。举例来说，可使用计算机视觉分析来确定车辆的一或多个乘员(例如，驾驶员及/或乘员)的舒适度水平。

在一些配置中，一或多个相机可具有车辆的内部的视图(例如，座位、地面空间、后备箱、隔间等等)。相机可捕获图像数据(例如，车辆的内部的一或多个图像)。图像数据可被提供至图像获得器114。举例来说，电子装置102可包含可捕获图像数据且将图像数据提供至图像获得器114的相机(例如，图像传感器104及光学系统106)。在另一实例中，车辆中的远程相机可捕获图像数据及/或可将图像数据发送至电子装置102(例如，图像获得器114)。图像获得器114可将图像数据提供至计算机视觉分析器118。在一些状况下，来自一或多个相机的图像数据可被发送(例如，流式处理)至远程装置。这可实现对车辆的内部的远程监测，这可实现对一或多种情况(例如，紧急情况、安全情况等等)的远程监测。

在一些配置中，计算机视觉分析器118可执行对象检测以产生乘员状态数据的全部或部分。举例来说，计算机视觉分析器118可检测面部表情(例如，恐惧、不舒适、烦躁等等)、乘员对驾驶事件(例如，繁忙的浏览电话或睡觉等等)的感知状态、行驶姿态、身体运动、姿势及/或乘员状态的其他指示(例如，倾身偏离交通、颤抖、幽闭恐惧症的迹象等等)。另外或替代地，计算机视觉分析器118可通过检测图像数据中的一或多个对象(例如，在一或多个图像中，在图像的一或多个子集中等等)来检测一或多个乘员所有物。对象检测可基于运动及/或检测模型。举例来说，运动可用来将移动对象与背景分开。另外或替代地，可使用检测模型来搜索一或多个对象的图像数据(例如，一或多个图像及/或一或多个图像的一或多个子集)。举例来说，可比较图像数据的一或多个子集(例如，车窗、滑动车窗位置等等)与检测模型以确定由检测模型表示的对象是否在图像数据中。举例来说，计算机视觉分析器118可将图像数据与检测模型相关联，可确定图像数据与检测模型之间的相似性，及/或可确定图像数据与检测模型之间匹配的概率等等。可使用对象检测来分类一或多个乘员状态(例如，状态)。

在一些方法中，计算机视觉分析器118可辨识一或多个对象(例如，对象、字符、面部等等)以产生乘员状态数据的全部或部分。举例来说，计算机视觉分析器118可从图像数据确定识别数据(例如，一或多个关键点、拐角、边缘及/或特征向量等等)。举例来说，辨识数据可表示一或多个对象的一或多个方面。在一些方法中，计算机视觉分析器118可在图像数据中搜索关键点、拐角、边缘等等。

计算机视觉分析器118可存取对应于一或多个对象的一或多个辨识模型。举例来说，存储器126可存储一或多个辨识模型。辨识模型的实例可包含图像、关键点集合、点云、点模型(例如，可变形模型、不可变形模型)、网格模型、特征向量等等。另外或替代地，计算机视觉分析器118可能产生一或多个识别模型。举例来说，计算机视觉分析器118可检测伴随乘员的一或多个对象。计算机视觉分析器118可开发辨识模型以辨识乘员的对象(例如，所有物)。辨识模型可用于辨识乘员留下的对象(例如，通知乘员遗失的所有物，针对留在车内的废物向乘员收取额外费用等等)。

计算机视觉分析器118可比较辨识数据(例如，关键点、拐角、边缘及/或特征向量等等)与辨识模型以确定辨识数据是否匹配一或多个辨识模型。举例来说，计算机视觉分析器118可将辨识数据与辨识模型相关，可确定辨识数据与辨识模型之间的一或多个距离度量，可确定辨识数据与辨识模型之间的转换，可确定辨识数据与辨识模型之间的匹配概率等等。比较辨识数据与辨识模型可产生一或多个匹配度量，其可指示辨识数据与辨识模型之间的相似(及/或差异)程度。匹配可由匹配度量指示。举例来说，满足阈值(例如，相似性阈值、概率阈值、距离阈值、辨识阈值等等)的匹配度量可指示图像中的对象为对应于辨识模型的对象种类。另外或替代地，满足阈值的匹配度量可指示乘员情绪(例如，焦虑外貌、恐惧外貌、轻松外貌、不舒服外貌等等)。对象辨识可用于对一或多个对象进行分类，确定乘员拥有的所有物，确定对象是否构成安全风险，所有物是否留在车辆中等等。

应注意，在一些配置中，对象辨识可提供与对象检测不同及/或额外信息。举例来说，对象检测可检测到对象(例如，乘员)在图像数据中被指示，而对象辨识可辨识对象(例如，乘员身分、乘员状态等等)。在一些方法中，对象检测可指示对象的存在，而对象辨识可用于分类对象(例如，识别对象类型、识别乘员表情等等)。在其他方法中，可使用对象检测来分类对象(例如，识别对象类型)，而对象辨识可用于辨识对象的一或多个特性。举例来说，对象检测可检测乘员，而对象辨识可确定乘员的状态。应注意，可在本文中所揭示的系统及方法的一些配置中实施及/或采用一或多种机器学习技术。举例来说，可使用机器学习计算机视觉。另外或替代地，基于阈值的计算机视觉可在本文中所揭示的系统及方法的一些配置中实施及/或体现。

另外或替代地，计算机视觉分析器118可执行对象跟踪。举例来说，计算机视觉分析器118可在两个或多于两个帧上跟踪对象。在一些方法中，可通过在随后的帧中搜索在前一帧中检测、辨识及/或跟踪的对象来执行对象跟踪。举例来说，计算机视觉分析器118可跟踪帧之间的对象的关键点、角点、边缘及/或特征向量。光流为可执行的对象跟踪的一个实例。可使用对象跟踪来确定所有物是被留在车辆中还是从车辆带走等等。在一些配置中，可使用对象跟踪来确定对象(例如，乘员)运动。举例来说，对象跟踪可指示乘员是否倾身偏离车窗，操作人员是否已改变了座位，乘员是否已斜依靠等等。

在一些配置中，计算机视觉分析器118可执行分析以产生计算机分析数据(例如，围绕单独物项的边界框、单个物项的分割及/或物项的身分及/或位置的一或多个导出的描述等等)。举例来说，一个对象的中心可从边界框或分段表示中导出。

在一些配置中可实施额外或替代方法以确定乘员状态(例如，状态数据)。举例来说，除了具有计算机视觉的相机之外或替代具有计算机视觉的相机，还可实施其他传感器122。举例来说，重量传感器可位于每一乘员下方及/或其附近。传感器可测量乘员的存在或不存在。一或多个麦克风可捕获音频。处理器112可基于车辆内的语音来执行语音辨识及/或自然语言处理以确定乘员状态数据。无线信号传感器(例如，一或多个通信接口108)可监测无线信号以确定一或多个乘员的存在、位置及/或状态。一或多个保健传感器可指示一或多个乘员的存在及/或状态(例如，兴奋、焦虑、冷静、生气，是否存在健康问题等等)。关于图3给出更多实例。举例来说，传感器数据分析器138可被调用以确定新的状态(例如，乘员状态)。传感器数据分析器138可决定除了计算机视觉之外或替代使用计算机视觉还使用一或多个传感器数据，以便如关于图5所描述而确定状态(例如，乘员状态)。传感器数据分析器138可然后将来自多个模态的信息融合在一起以便确定状态(例如，准确状态、最佳状态、乘员状态等等)。

在一些配置中，处理器112可包含及/或实施车辆操作确定器124。车辆操作确定器124可基于传感器数据确定(例如，识别)一或多个车辆操作。举例来说，车辆操作确定器124可响应于一或多个乘员状态而确定车辆操作。举例来说，如果传感器数据指示乘员由于车厢温度而不舒适，那么车辆操作确定器124可确定加热或冷却调整以改进乘员的舒适度。在一些配置中，车辆操作确定器124可基于传感器数据获得至少一个乘员的至少一个乘员状态。举例来说，车辆操作确定器124可从传感器数据获得器116(例如，传感器数据分析器138、计算机视觉分析器118、机器学习器140及/或传感器融合器142a)接收一或多个乘员状态。另外或替代地，车辆操作确定器124可确定一或多个车辆乘员状态。举例来说，车辆操作确定器124(例如传感器融合器142b)可融合传感器数据以确定一或多个车辆乘员状态。

车辆操作的实例可包含调整温度控制、调整驾驶控制(例如，跟车距离、至另一车辆的接近度、至道路边缘的接近度、至障碍物的接近度、速度、加速度、制动速率等等)、警示遗失所有物(例如，被遗弃的所有物)的用户、重新布置车辆的内部的布局(例如，改变座椅位置)、调整车厢照明、调整目的地计划、调整车窗、调整门锁、打开或关闭门、打开或关闭一或多个车窗、打开或关闭后备箱、联系服务代理、提醒车辆乘员交通状况、驾驶车辆至目的地、驾驶车辆至服务中心、驾驶车辆至医疗设施(例如，医院、诊所等等)、驾驶车辆至紧急服务提供者(例如，警察局、消防站等等)、向远程装置发送信息(例如，电子邮件、文本消息、流式处理图像数据、流式处理视频、拨打电话等等)等等。

在一些方法中，执行车辆操作可包含将图像数据(例如，流式处理视频)发送至一或多个远程装置。举例来说，在电子装置102检测到紧急情况(例如，检测到来自乘员的极度恐惧或困扰、检测到留在车辆中的儿童、检测到偷东西的人、检测到具有医疗紧急情况的乘员、检测到对乘员的可能伤害等等)的状况下，车辆操作确定器124可将信息发送至一或多个远程装置。举例来说，在儿童留在车辆中的情况下，电子装置102(例如，车辆操作确定器124)可以将车辆的内部的通知及/或流视频发送给父母。这可能使父母能够监测情况。另外或替代地，电子装置102(例如，车辆操作确定器124)可激活空调、降低车窗、通知紧急服务(例如，911)，及/或将视频流式处理至紧急服务。另外或替代地，电子装置102可将信息(例如，流视频)发送至一或多个网络(例如，云)装置用于监测。

在一些配置中，车辆操作确定器124可在多个车辆乘员之间仲裁。举例来说，车辆操作确定器124可包含乘员仲裁器146。乘员仲裁器146可在多个乘员之间进行仲裁以确定是否执行一或多个车辆操作。举例来说，车辆操作确定器124可基于传感器数据的多个部分确定是否执行车辆操作。举例来说，传感器数据的第一部分可对应于第一乘员，传感器数据的第二部分可对应于第二乘员。传感器数据的所述部分可用来确定乘员状态及/或乘员优先级。仲裁可基于传感器数据的部分(例如，乘员状态及/或乘员优先级)。在一些配置中，乘员仲裁器146可为多个乘员中的每一者确定车辆乘员优先级(及/或车辆操作优先级)。

车辆操作确定器124可基于优先级确定是否执行车辆操作(及/或例如确定要执行哪个车辆操作)。举例来说，多个乘员之间的仲裁可包含在车辆操作对应于优先级高于一或多个其他乘员的每一优先级的乘员的状况下执行车辆操作。

另外或替代地，多个乘员之间的仲裁可包含在执行对应于具有优先级的成员的车辆操作将不违背对应于具有较高优先级的任何其他成员的任何偏好的状况下确定执行车辆操作。举例来说，如果增加温度不会超过具有较高优先级的另一乘员的偏好阈值(例如，温度舒适阈值)，那么乘员仲裁器146可确定增加乘员的车辆中的温度。在一些方法中，温度可增加高达另一乘员的温度舒适阈值而不超过温度舒适阈值。

另外或替代地，多个乘员之间的仲裁可包含在执行对应于具有优先级的乘员的车辆操作会违背对应于具有较高优先级的任何其他乘员的任何偏好的状况下确定不执行车辆操作。举例来说，如果增加温度将超过具有较高优先级的另一乘员的温度舒适阈值，那么乘员仲裁器146可确定不增加乘员的车辆中的温度。关于图4至5及7至11中的一或多者给出更多实例。

在一些方法中，每一乘员可具有针对所有类型的车辆操作相同的优先级。举例来说，每一乘员对于每一可能车辆操作(例如气候控制、照明、驾驶模式、音乐选择、音乐音量等等)可具有统一优先级。在其他方法中，基于车辆操作类型，不同乘员可具有不同优先级。举例来说，对于气候控制，第一乘员可具有高于第二乘员的优先级，而对于照明，第二乘员可具有高于第一乘员的优先级。因此，乘员仲裁器146可在一些方法中基于可能车辆操作类型确定乘员优先级。

在一些配置中，根据以下方面中的更多或更少方面，电子装置102(例如，处理器112、传感器数据分析器138、车辆操作确定器124、乘员仲裁器146等等)可确定及/或使用乘员优先级。

在一些方法中，电子装置102(例如乘员仲裁器146)可以默认以每一乘员的统一优先级开始。乘员优先级可基于优先级准则及/或决策准则(例如，在重复乘员群组的状况下的历史学习)进行调整。

电子装置102(例如，机器学习器140、传感器融合器142a至b及/或乘员仲裁器146等等)可研究及/或学习群组动态。对于重复的一群组乘员(例如，顾客、客人等等)，电子装置可维持优先级历史及/或反馈(例如，哪个乘员为最终决策的占优势的乘员)。

至每一乘员优先准则的输入的一些例子可包含以下各者中的一或多者。一个实例可包含每一乘员的乘员状态(例如，状态)。举例来说，乘员状态(例如，状态)可指示每一乘员是舒适、中性、轻度不舒适还是强烈不舒适等等。应注意，可使用其他的、更少的、更多的及/或不同种类的乘员状态。在一些配置中，乘员优先级可基于乘员状态与所期望的乘员状态之间的差异。举例来说，可使用乘员状态与所期望的乘员状态(例如，那个乘员)之间的差异来确定是否优先排序乘员。举例来说，假定乘员为第二优先级。如果乘员的状态为轻微不舒适且所期望的乘员状态为中性(例如，一步的差异)，那么乘员优先级可能不会增加。如果乘员的状态为强烈不舒适且所期望的乘员状态为中性(例如，两步的差异)，那么乘员优先级可增加。应注意，所期望的乘员状态可通过预设(例如，中性或舒适)假定，经由用户输入接收(例如，用户设定所期望的乘员状态)及/或基于传感器数据(例如，当乘员表现出满意的表情、表现中性表情及/或不提出改变的请求时的状态)。应注意，可实施及/或使用用于确定是否优先乘员的不同状态差异阈值(例如，一步、两步、三步等等)。

在一些配置中，可基于一或多个偏好阈值(例如，最小及/或最大偏好阈值)确定乘员优先级。举例来说，在一或多个条件跨越一或多个偏好阈值的状况下，可优先排序乘员。举例来说，如果车厢温度超过乘员的最高温度阈值，那么那个乘员的优先级可能会增加。可使用一或多个偏好阈值(例如，照明阈值、音量阈值、驱动接近度阈值、温度阈值等等)来确定优先级。在一些配置中，乘员状态可基于一或多个偏好阈值。举例来说，可使用条件是否超出偏好阈值及/或条件超过偏好阈值的程度来确定乘员状态。在一些情况下，可基于不舒适程度(例如，偏好阈值、舒适阈值及/或不舒适阈值)增加乘员优先级。

另一实例可包含人格因素(例如，乘员是否为顺从的、恭敬的、占优势的、贫穷的、抱怨者等等)。举例来说，电子装置102(例如，处理器112)可包含及/或实施关于传感器数据及历史的算法及处理以对乘员进行分类以理解谁最可能不满意或抱怨。

至优先排序准则的输入的另一例子可能包含层次。在一些方法中，层次可基于乘员是否为车辆所用者。举例来说，优先排序控制(例如，所有权)可给予车辆所有者。举例来说，车辆所有者可优先排序自己，可能希望合意优先级，或可优先排序客人等等。在一些方法中，层次可为预定义层次。举例来说，电子装置102可从用户(例如，所有者、技术人员等等)接收指示一或多个用户(例如，乘员、可能乘员等等)的优先级的输入。在一些方法中，电子装置102可提供(例如，呈现、显示等等)一组先前所识别的乘员。用户输入可指示先前识别的乘员中的一或多者的优先级。

在一些方法中，层次可基于已预订乘坐或正在付费的乘坐共享乘员(例如，乘客)。举例来说，乘坐共享乘员可具有优先排序控制(例如，类似于车辆所有者)。

在一些方法中，层次可基于家庭(例如，家庭结构)。优先排序方案可由父母及/或基于历史数据确定。举例来说，一或多个配偶(例如妻子、丈夫、伴侣等等)可确定(且例如输入)是否存在推迟及/或优先级顺序。

在一些方法中，层次可基于公司动态及/或工作团队。举例来说，电子装置102可检测乘员及/或公司层次。举例来说，层次可优先排序老板或排名最高的乘员。在一些配置中，电子装置102可建立来自传感器122及/或其他数据的工作层次。举例来说，电子装置102可存取来自社交网络网站及/或来自汽车共享服务配置文件等等的标题信息。另外或替代地，电子装置102(例如，传感器数据分析器138)可从图像执行光学资源辨识以确定由乘员佩戴的徽章上的标题及/或语音辨识以确定在对话中使用的一或多个标题。

在一些方法中，层次可基于消费者/主机关系。举例来说，消费者/客户端可优先于主机/供应商。

在一些方法中，层次可基于乘员频率(例如，乘员在车辆中使用或乘坐的频率)。举例来说，可基于哪个乘员更频繁地使用车辆来优先排序乘员。

可实施及/或使用一或多种形式的决策准则。举例来说，取决于车辆为自有车辆还是乘坐共享车辆，决策准则可能不同。在一些方法中，电子装置102(例如，处理器112、传感器数据获得器116、车辆操作确定器124、乘员仲裁器146等等)可使用以下决策准则中的一或多者。一个决策准则可能为合意的最大平均舒适度水平。举例来说，电子装置102可寻求最高的平均满意度及/或舒适度水平。另一决策准则可包含多数准则。举例来说，电子装置102可能大部分支持以最佳平均舒适度为目标。

另一决策准则可包含层次。举例来说，电子装置102可满足由层次及/或优先级准则加权的乘员(例如，消费者)。

另一决策准则可包含使负面体验最小化。举例来说，电子装置102可试图维持所有乘员(例如，乘客)的最低水平的不舒适。

另一决策准则可包含使投诉及/或差评概率(例如在乘坐共享的状况下)最小化。举例来说，电子装置102可评估个性类型，可存取(如果可用)乘客评级历史，及/或可确定哪个乘员被预订及/或最有可能给出乘坐评级反馈。决策准则中可考虑这些因素中的一或多者。举例来说，可优先排序最可能提供反馈的一或多个乘员的舒适度。

在一些配置中，电子装置102可获得及/或存储车辆信息136。车辆信息136可指示车辆的一或多个操作方面。车辆信息136的实例可包含车厢温度、加热、通风及空调(HVAC)操作状态、门锁状态、车窗状态、天窗状态、娱乐系统(例如，音乐系统、视频系统等等)状态、驾驶状态(例如，速度、制动等等)、座椅加热器状态、照明状态等等。在一些配置中，传感器融合器142可将车辆信息136与传感器数据128融合以确定乘员状态及/或确定车辆操作。

处理器112可包含及/或实施车辆操作管理器120。车辆操作管理器120可执行一或多个车辆操作。举例来说，车辆操作管理器120可执行由车辆操作确定器124确定的车辆操作中的一或多者(例如，在车辆操作确定器124确定执行车辆操作的状况下)。在一些配置中，车辆操作确定器124可调整车厢温度、调整车厢照明、调整控制台照明、解锁一或多个门、锁定一或多个门、打开一或多个门、关闭一或多个门、打开一或多个车窗、关闭一或多个车窗、命令换道、命令减速、命令增速、激活或撤销激活音频(例如，音乐)、调整音频音量、激活或撤销激活视频(例如，电影、表演等等)、改变视频音量、调整(例如，显示器132及/或一或多个其他显示器的)显示器亮度、命令路线改变、向车辆乘员(或先前车辆乘员)发送提醒消息(例如，文本消息、电子邮件等等)以记住车辆中的所有物，提示乘员输入，发送信息(例如，将一或多个相机输出流式处理)至远程装置等等。

表1中给出了传感器数据、装置感知(例如，其可能暗示乘员状态)及车辆操作的一些实例，如下文。这些使用状况中的一或多者可根据本文中所揭示的系统及方法的一些配置来实施。

表(1)

在本文中所揭示的系统及方法的一些配置可在确定一或多个车辆操作时考虑以下考虑事项中的一或多者(例如，其他虚拟司机考虑事项)。举例来说，交通状况可能会阻止到达原始目的地达所需要时间。在一些方法中，电子装置102(例如，车辆操作管理器120)可提示乘员关于乘员想要做什么。计划可能会基于乘员输入而进行调整。在另一实例中，车辆可到达目标目的地，但可确定目标目的地不是正确的地点。电子装置102(例如，车辆操作管理器120)可提示乘员额外信息(例如，关于要做什么的输入)。在一些方法中，如果乘员不具有任何想法，那么电子装置102(例如，车辆操作管理器120)可从一或多个远程装置(例如，云、网络装置等等)获得进一步支持。

应注意，在一些方法中，一旦乘员进入车辆，一个目标就可为使用自然语音通信与车内虚拟司机直接进行无缝交互。在一些状况下，这可能为有益的，而非乘员必须经由其电话上的应用程序(例如，蜂窝电话、智能电话等等)或通过用其个人通话打电话给服务中心来使用手动文本及/或触摸用户界面继续交互。

应注意，本文中所揭示的系统及方法的一些配置可针对非自动驾驶汽车应用程序来实施用于全车内情境感知。举例来说，一些配置可在具有驾驶员的车辆服务中实施。检测所有物(例如，行李、钱包或蜂窝电话等等)是否已被留下可能仍然相关。在此状况下，电子装置102(例如，车辆操作管理器120)可警示车辆服务驾驶员及/或对应的乘员。一些配置可在个人汽车中实施。举例来说，电子装置102可维持典型行为的完整上下文感知。举例来说，驾驶员通常是否将其外套留在车内或随其一起携带。这可能有助于理解驾驶员是否忘记大衣或其是否仅仅为预期模式。在一些方法中，电子装置102(例如，车辆操作管理器120)可向乘员(例如，驾驶员或乘客)发送电子邮件，指示其已经将其钱包或钥匙留在座椅中。

在另一实例中，当父母在超市中时，电子装置102可监测留在车内的儿童的状态。在此状况下，电子装置102(例如，车辆操作管理器120)可调整车辆温度(例如，作为第一步骤)。电子装置102(例如，车辆操作管理器120)可联系(例如，电子邮件、文本、呼叫、页面等等)驾驶员及/或父母(例如，作为第二步骤)。电子装置102(例如，车辆操作管理器120)可警示紧急服务(例如，911)(例如，作为第三步骤)。另外或替代地，在儿童留在车辆中的状况下，可在通知一或多个远程方时发送额外信息。举例来说，除了发送通知(例如，发送文本及/或通知紧急服务)之外，电子装置102还可指示车辆中的温度、单独留下儿童的时间长度、流式处理相机数据以展示车辆的内部，及/或其他有用的信息。在一些方法中，电子装置102可允许远程控制一或多个远程方。举例来说，电子装置102可允许远程地降低车窗、启动空调(AC)等等的选项(例如，如果包含适当的安全措施)。在一些配置中，电子装置102可接收指令、文本消息、电子邮件、电话呼叫等等以允许远程控制一或多个车辆操作。

应注意，可对各种传感器执行特征提取。举例来说，特征提取器576可使用计算机视觉从相机提取(例如，第一类型的)特征，且可从麦克风提取(例如，第二特征类型的)特征。融合可基于所述特征来执行。还可执行对乘员优先级的仲裁。

在本文中所揭示的系统及方法的一些配置中，可将一或多个操作卸载至远程装置(例如，网络、云装置等等)。举例来说，电子装置102可获得传感器数据并将传感器数据发送至远程装置。所述远程装置可对传感器数据执行分析(例如，计算机视觉分析、机器学习、传感器融合等等)，可确定一或多个车辆操作，及/或可如关于电子装置102所描述的乘员之间进行仲裁。远程装置可将分析结果(例如，云信息、检测结果、辨识结果、传感器融合结果、可能车辆操作等等)发送到电子装置102。电子装置102可接收分析结果(例如，云信息)且可基于分析结果执行一或多个操作。举例来说，电子装置102可接收检测及/或辨识结果，且可基于结果确定乘员状态。在另一实例中，电子装置102可基于车辆操作接收一或多个车辆操作且可在乘员之间进行仲裁。因此，本文中所描述的操作中的一或多者的部分可被卸载至一或多个云装置。

在本文中所揭示的系统及方法的一些配置中，电子装置102可从远程装置接收信息(例如，传感器数据)，且可对远程装置执行分析。举例来说，远程车辆可将传感器数据发送至电子装置102。电子装置可对传感器数据执行分析(例如，计算机视觉分析、机器学习、传感器融合等等)，可确定一或多个车辆操作，及/或可在乘员之间进行仲裁。电子装置102可将结果发送至远程装置。

应注意，可组合及/或划分电子装置102的元件或组件中的一或多者。举例来说，传感器数据获得器116、图像获得器114、传感器数据分析器138、计算机视觉分析器118、机器学习器140、传感器融合器142、车辆操作确定器124、乘员仲裁器146及/或车辆操作管理器120中的一或多者可组合。另外或替代地，传感器数据获得器116、图像获得器114、传感器数据分析器138、计算机视觉分析器118、机器学习器140、传感器融合器142、车辆操作确定器124、乘员仲裁器146及/或车辆操作管理器120中的一或多者可被划分成执行其操作的子集的元件或组件。

图2为绘示用于基于传感器数据及/或云信息操作车辆的方法200的一个配置的流程图。举例来说，方法200可由与图1相关的电子装置102执行。

电子装置102可从车辆的内部获得202传感器数据。这可如关于图1及3中的一或多者所描述来完成。举例来说，电子装置102可从一或多个从车辆的内部捕获数据的集成传感器及/或远程传感器获得传感器数据。在一些配置中，电子装置102可另外或替代地从车辆的外部获得传感器数据。举例来说，电子装置102可获得指示车辆的外部的信息的传感器数据(例如，视觉信息、音频信息、深度信息、接近度信息、雷达、光达等等)。在一些配置中，电子装置102可另外或替代地获得车辆信息。举例来说，电子装置102可请求及/或接收关于一或多个车辆操作的车辆信息(例如，车辆驾驶、车辆速度、车厢温度控制信息、车厢照明信息、媒体系统信息、车门状态信息、车门控制信息、车窗状态信息、车窗控制信息、天窗状态信息、天窗控制信息、后挡板状态信息、后挡板控制信息等等)。在一些配置中，电子装置102可另外或替代地获得云(例如，网络)信息(例如，来自一或多个云装置中的存储知识及/或辅助数据)。

电子装置102可基于传感器数据确定204(例如，识别)一或多个车辆操作。这可如关于图1、4至7及11中的一或多者所描述来完成。举例来说，电子装置102可对一或多个图像执行计算机视觉分析以确定一或多个乘员的乘员状态。电子装置102可响应于一或多个乘员状态而确定204一或多个车辆操作。另外或替代地，电子装置102可基于来自车辆的外部的传感器数据、车辆信息及/或云信息(除了内部传感器数据之外或替代来自内部传感器数据)确定204一或多个车辆操作。

电子装置102可执行206一或多个车辆操作。这可如关于图1、4、7及11中的一或多者所描述来完成。举例来说，电子装置102可在确定执行一或多个车辆操作中的任一者的状况下执行一或多个车辆操作。举例来说，电子装置102可确定是否执行一或多个车辆操作中的任一者。在仅有单个乘员的状况下，电子装置102可执行206一或多个车辆操作。在一些方法中，电子装置102可在多个乘员之间仲裁。举例来说，电子装置102可执行不违背任何较高优先级乘员的偏好的车辆操作中的任一者。

图3为绘示可在本文中所揭示的系统及方法的一些配置中实施的车辆366及各种传感器的实例的图解。可使用的传感器的实例可包含无线通信天线356、358(例如，无线局域网(WLAN)天线、Wi-Fi天线、个人局域网(PAN)天线、蓝牙天线、无线广域网(WWAN)天线、WWAN蜂窝天线等等)、健康传感器350(例如，附接的保健传感器、健身跟踪器等等)、重量传感器362(例如，集成至车辆366的每一座椅中的重量传感器)、移动装置(例如，智能电话354)、图像传感器352(例如，红绿蓝(RGB)传感器)、红外线(IR)传感器、深度传感器364、超音波传感器、声音传感器(例如，麦克风360)等等。尽管图3中绘示某些类型的传感器的特定布置，但应注意，可根据本文中所揭示的系统及方法来实施不同布置。举例来说，可在车辆366内使用深度传感器(例如，用于检测乘坐情况，检测对象(例如被遗弃的所有物)等等)。另外或替代地，一或多个图像传感器可实施(例如，放置、安装等等)在车辆366的外部上。在一些配置中，深度传感器364可用一或多个图像传感器来实施。另外或替代地，可使用不同数量的一或多种类型的传感器。举例来说，一或多个额外图像传感器可布置在货物区域(例如，后备箱)中。

本文中所揭示的系统及方法的一些配置可提供高级的车内情况感知(例如，完整的车内及乘客感知)。图3绘示在一些实施中可使用的一些硬件及软件组件的实例。

在一些配置中，可使用无线通信信号(例如，Wi-Fi及/或蓝牙等等)来识别及/或定位乘员。举例来说，可通过注册至网络来识别一或多个乘员。另外或替代地，可通过多个天线的三角测量来定位一或多个乘员。

健康传感器(例如，附接的保健传感器)可感测可指示乘员状态的一或多个方面的一或多个类型的信息(例如，心率、温度、运动等等)。在一些配置中，可使用机器学习(ML)(例如，在健康传感器350及/或车辆366中)来基于来自健康传感器350的传感器数据了解乘员状态。重量传感器362可用于检测及/或识别乘员且知道某人是否正在离开或已离开对象(例如，一旦其离开就已忘记了任何事物)。

智能电话354上浏览的内容可用于评估乘员状态。举例来说，车辆366可接收及/或观测智能电话354上的可指示乘员状态的一或多个方面(例如，计划、情绪、健康、安全等等)的操作内容。

在一些配置中，机器学习可用于通过融合可变模态来识别一或多个乘员及/或乘员状态。举例来说，一或多个图像(例如，RGB)传感器、IR传感器、深度传感器、超音波传感器、麦克风及/或健康传感器可用于乘员状态评估。另外或替代地，这些传感器中的一或多者可用于知道乘员是否已将某些东西忘记在车辆中。

蜂窝调制解调器(例如，3G、长期演进(LTE)、5G等)可用于连接至云以便对决策及/或到扩展服务运营商的备份连接提供额外支持。

在一些配置中，可使用一个或其他传感器(例如，深度传感器、图像传感器、雷达、光达等等)。举例来说，可使用一或多个其他传感器来获得内部及/或外部信息。举例来说，可使用传感器(例如，深度传感器、图像传感器、雷达及/或光达)来确定车辆(例如，大型车辆)是否在毗邻于所述车辆的车道中驾驶。另外或替代地，可使用图像数据、雷达及/或雷达来确定与车辆有关的一或多个对象(例如，其他车辆、障碍物等等)的位置及/或接近度。此信息可结合内部感测使用以确定当驾驶靠近大卡车时乘员是否紧张。

图4为绘示用于基于传感器数据及/或云信息操作车辆的方法400的更特定配置的流程图。举例来说，方法400可由关于图1所描述的电子装置102执行。

电子装置102可从车辆的内部获得402对应于多个乘员的传感器数据。这可如关于图1至3及5至11中的一或多者所描述来完成。举例来说，电子装置102可从一或多个集成传感器及/或远程传感器获得传感器数据，这些传感器从车辆的内部捕获对应于多个乘员的数据。举例来说，传感器数据(例如，图像传感器数据、无线通信数据、重量传感器数据、深度传感器数据、健康传感器数据、音频数据、IR数据、超音波数据及/或运动数据等等)可包含可指示乘员状态的一或多个传感器数据类型。传感器数据可对应于多个乘员。举例来说，图像传感器数据可包含两个或多于两个乘员(及/或对应于两个或多于两个乘员的所有物)的图像，重量传感器数据可包含两个或多于两个乘员的重量传感器数据，音频数据可包含关于两个或多于两个乘员的音频传感器(例如，麦克风)数据，及/或健康传感器数据可包含关于两个或多于两个乘员的健康传感器数据等等。另外或替代地，传感器数据可包含对应于不同乘员的不同传感器数据类型。举例来说，传感器数据可包含第一乘员的图像传感器数据及第二乘员的音频传感器数据。在一些配置中，电子装置102可另外或替代地从车辆的外部、车辆信息及/或云信息获得传感器数据。

电子装置102可基于传感器数据确定404(例如，识别)对应于乘员中的至少一者的至少一个车辆操作。这可如关于图1至2、5至7及11中的一或多者所描述来完成。举例来说，电子装置102可对一或多个图像执行分析以确定一或多个乘员的乘员状态。电子装置102可响应于一或多个乘员状态而确定404一或多个车辆操作。另外或替代地，电子装置102可基于来自车辆的外部的传感器数据、车辆信息及/或云信息(除了内部传感器数据之外或替代来自内部传感器数据)确定404一或多个车辆操作。

电子装置102可在多个乘员之间进行仲裁406以确定是否执行至少一个车辆操作。这可如结合图1至2、5、7及9至11中的一或多者所描述来完成。举例来说，电子装置102可确定多个乘员中的每一者的优先级。电子装置102可确定执行对应于乘员的车辆操作是否违背了具有较高优先级的任何其他乘员的偏好。在执行车辆操作不违背较高优先级乘员偏好的状况下，电子装置102可确定执行车辆操作。在执行车辆操作违背较高优先级乘员偏好的状况下，电子装置102可确定不执行车辆操作。

电子装置102可在确定执行至少一个车辆操作的状况下执行408至少一个车辆操作。这可如关于图1至3、7及11中的一或多者所描述来完成。举例来说，电子装置102可执行不违背任何较高优先级乘员的偏好的车辆操作中的任何者。

图5为绘示用于基于传感器数据控制车辆操作的方法的实例的框图。具体来说，图5绘示使用机器学习的状态检测的实例。在一些配置中，关于图5所描述的元件或组件中的一或多者可在结合图1所描述的电子装置102中实施。图5绘示传感器组568及一或多个处理器574。传感器组568可包含多个传感器570a至n。关于图5所描述的传感器570a至n中的一或多者可为关于图1所描述的传感器中的一或多者的实例。另外或替代地，关于图5所描述的处理器574中的一或多者可为关于图1所描述的处理器112的实例。在一些配置中，处理器574可包含及/或实施特征提取器576、分类器580、传感器融合器582及/或车辆操作确定器584。在一些实施中，处理器574可在车辆中包含中央计算处理器(例如，中央处理单元(CPU))。另外或替代地，处理器574可为车辆中的分布式及中央处理的组合(例如，在车辆中及由云中的一或多个远程装置执行的处理的混合)。

在一些配置中，传感器570a至n中的每一者可为不同传感器类型。传感器570a至n可产生原始传感器数据572。原始传感器数据572可被提供至处理器574(例如，提供至特征提取器576)。

特征提取器576可从原始传感器数据572提取一或多个特征(例如，特征向量578)。举例来说，可针对一或多个传感器类型执行特征提取及分类。举例来说，传感器A 570a可为相机，且特征提取器576可包含及/或执行计算机视觉分析以产生一或多个特征向量578。在一些方法中，图像数据的特征提取可包含确定图像数据的一或多个特性(例如，关键点、视觉图案、角落、边缘、形状等等)。在一些方法中，用于音频数据的特征提取可包含确定音频数据的一或多个特性(例如，音高、音高形状、话音活动检测、振幅、能量等等)。特性可表达为特征向量578。一或多个特征向量578可被提供至分类器580。

分类器580(例如，机器学习分类器)可对特征向量578进行分类。举例来说，分类器580可确定每一特征向量578的类别。举例来说，分类器580可将来自图像数据的一组关键点分类为面部、文本(例如，一或多个文本字符)及/或另一种类对象(例如，智能电话、钱包、钥匙、眼镜、书、食物等等)。另外或替代地，分类器580可将音频信号的音高形状、调声、能量等等分类为特定声音、音乐、单词或短语等等。

传感器融合器582可任选地执行传感器类型之间的融合。举例来说，传感器融合器582可将分类特征组合成融合信息。举例来说，融合信息可指示乘员说“冷”，乘员正在颤抖，及/或乘员抱紧其手臂。

在一些配置中，传感器融合器582可采用由不同模态识别的特征且可跨特征加权，特征可被馈送至最终决策中(例如，车辆操作确定)。举例来说，经分类特征中的一或多者可比另一经分类特征加权更重。融合信息可被提供至车辆操作确定器584。

车辆操作确定器584可基于融合信息确定一或多个车辆操作。举例来说，车辆操作确定器584可选择一或多个车辆操作以便处理由融合信息指示的一或多个乘员状态。举例来说，指示乘员感到不舒适的冷的融合信息可映射至增加的车厢温度，指示乘员正在睡觉的融合信息可映射至减少车厢照明，乘员对跟车距离感到不安的融合信息指示可映射至减小车辆速度以增加跟车距离等等。

在一些配置中，可针对一或多个乘员执行图5中所绘示的过程。仲裁还可跨越乘员优先级执行。举例来说，在一些方法中，可执行另一过程以在乘员之间进行仲裁。举例来说，图5中所绘示的过程可针对多个乘员执行，且处理器574可在乘员之间进行仲裁以产生决策。举例来说，传感器融合器582及/或车辆操作确定器584可执行仲裁。

传感器组568及处理器574的操作的实例如下给出。在此例子中，车辆(例如，汽车)正驾驶靠近一辆更大的卡车或障碍物。机器学习可计算每一模态(例如，每一传感器类型)的状态且可融合结果。车辆可确定乘员不舒适。在一些配置中，车辆可询问乘员是否应改变车道。基于乘员响应(例如，口头响应、按钮按压、屏幕敲击、手势检测)，车辆可相应地作出反应(例如，如果指示，那么改变车道)。

在一些配置中，可根据以下的一或多个方面来执行特征提取、分类、传感器融合及/或决策(例如，车辆操作确定)。可针对乘员情绪、健康状况、优先级及/或偏好执行机器学习。通过机器学习操作可获得这些特质测量值中的一或多者。

一或多个特征可被提取(例如，由特征提取器576)及/或从每一传感器570a至n组合。可针对每一模态(例如，由分类器580)执行分类，且然后基于所有传感器输出(例如，原始传感器数据572)(例如，由传感器融合器582)进行融合。基于融合结果，可确定每一所测量的特质(例如，情绪、健康状态及/或优先级偏好)的相应决策结果(例如，车辆操作)。

可使用关于测量特征中的每一者的数据来离线执行训练步骤以学习一或多个模型。学习模型可在线保存以供使用。可用来自训练的所存储离线模型在线执行检测或决策。

可使用深度学习来执行(例如，替换)特征提取、分类及传感器融合器中的一或多者。举例来说，可使用深度学习来执行特征提取、分类及传感器融合的全部或任何组合。举例来说，基于深度学习的技术可仅用作特征提取器，作为特征提取器及分类器，或作为特征提取器、分类器及融合器。

可用一或多个远程装置(例如，使用一或多个网络装置，使用云等等)来更新分类引擎(例如，分类器580、机器学习分类器等)，以在故障是由乘员(例如用户及/或乘客)检测并标记的情况下改进准确度。这可随时间减少故障发生。

图6为绘示用于基于传感器数据控制车辆操作的另一方法的实例的框图。在一些配置中，关于图6所描述的元件或组件中的一或多者可在结合图1所描述的电子装置102中实施。图6绘示传感器组668及一或多个处理器674。传感器组668可包含多个传感器670a至n。传感器670a至n可产生可提供至处理器674的原始传感器数据672。关于图6所描述的传感器670a至n中的一或多者可为关于图1所描述的传感器中的一或多者的实例。另外或替代地，关于图6所描述的处理器674中的一或多者可为关于图1所描述的处理器112的实例。在一些配置中，处理器674可包含及/或实施特征提取器676、特征组合器681、分类器680及/或车辆操作确定器684。在一些实施中，处理器674可在车辆中包含中央计算处理器(例如，中央处理单元(CPU))。另外或替代地，处理器674可为车辆中的分布式及中央处理的组合(例如，在车辆中及由云中的一或多个远程装置执行的处理的混合)。

在一些配置中，可根据以下的一或多个方面来执行传感器(例如，信息)融合。可使用传感器或信息融合来组合来自几个分类引擎及/或传感器670a至n的结果。在一个实例中，传感器融合可作为加权平均来执行，其中权重可以实验方式确定。在另一实例中，传感器融合可作为加权平均来执行，其中可实施及/或使用额外分类引擎来学习组合所有分类器的结果的权重(例如，最佳权重)。在另一实例中，可对特征直接执行传感器融合。举例来说，处理器674可使用特征组合器681来组合或附加来自不同传感器670a至n的特征向量678，且还可使用分类器680(例如，机器学习(ML)分类器)。图6绘示结合图5所描述的方法的替代方法。

图7为绘示用于基于传感器数据操作车辆的方法700的实例的流程图。方法700可由关于图1所描述的电子装置102执行。举例来说，方法700可包含基于传感器数据确定动作(例如，车辆操作)。

电子装置102可获得702传感器数据(例如，传感器输入、听觉输入、手势等等)。这可如关于图1至6中的一或多者所描述来完成。

电子装置102可确定704车辆操作状态。这可如关于图1所描述来完成。举例来说，可使用传感器数据来确定车辆操作的一或多个方面(例如，车厢温度、HVAC设定、车辆速度、跟车距离、车厢照明设定、锁定状态、车窗状态、门状态等等)。

电子装置102可比较706车辆操作状态与一或多个乘员偏好。举例来说，电子装置102可比较车辆操作的一或多个方面与一或多个乘员偏好。举例来说，电子装置102可确定车厢温度是否在乘员偏好的范围内。

在一些配置中，电子装置102可确定每一乘员(例如，乘员1、乘员2、...、乘员n等等)的乘员状态。举例来说，电子装置102(例如，车辆)可获得视频数据且执行计算机视觉处理，所述计算机视觉处理指示乘员中的一者(例如，乘员)寒冷且颤抖且另一乘员为中性。另外或替代地，电子装置102可获得音频数据且执行语音辨识及自然语言处理，以确定另一乘员(例如，驾驶员)感到不舒适地温热(例如，可辨识乘员说“这里很热”的语音。)。在一些配置中，可使用乘员状态确定来确定乘员偏好。举例来说，乘员颤抖的温度可被认为低于乘员的低温偏好阈值。取决于所测量及/或检测的状态(例如，乘员状态及/或车辆操作状态)，一些配置可使得能够执行车辆操作(例如，动作)。

在一些方法中，电子装置102可比较706车辆操作状态与一或多个(例如，多个)乘员偏好。举例来说，电子装置102可确定每一乘员对温度是感到舒适还是不舒适。举例来说，每一乘员可能更偏好特定温度范围。每一乘员可对车辆操作的一或多个方面具有相应的偏好。偏好的实例可包含阈值温度范围、照明偏好、驾驶偏好(例如，跟车距离、至毗邻车道中的车辆的接近度、驾驶速度(例如，相对于速度限制的最大、中等、缓慢等等)等等)、音乐音量等等。

电子装置102可基于比较确定708车辆操作。举例来说，电子装置102可评估是否需要动作(例如，可确定乘员中的每一者的一或多个可能车辆操作)。举例来说，车厢温度低于乘员偏好的指示及/或乘员正在颤抖的指示可映射至确定增加温度的动作(例如，激活加热器或增加加热)。乘员过热的指示可映射至确定降低温度的动作(例如，撤销激活加热器及/或激活空调)。

电子装置102可确定710车辆操作是否违背较高优先级的乘员偏好。举例来说，电子装置102可确定是否可执行车辆操作而不违背较高优先级乘员偏好及/或哪个车辆操作优先。在一些方法中，可指定一或多个乘员具有较高优先级。举例来说，电子装置102可学习特定乘员(例如，乘员2、乘客等等)的舒适度优先于乘员1(例如，驾驶员)的舒适度。举例来说，这可通过较早的观测(例如，乘员2通常设定温度而没有来自乘员1的反对)及/或来自用户设定及/或输入来学习。因此，电子装置102可在要执行操作的乘员之间进行仲裁。

在车辆操作违背较高优先级乘员偏好的状况下(例如，在存在具有因执行车辆操作将违背的对应偏好的较高优先级乘员的状况下)，操作可结束712。举例来说，如果执行车辆操作会使较高优先级的乘员感到不舒适，那么电子装置102可不执行任何操作(例如，拒绝所确定的动作)。举例来说，如果较低优先级的乘员(例如，儿童)想要打开车窗，但这会违背较高优先级乘员(例如，成年人)的偏好，那么电子装置102可确定不执行车辆操作。

在车辆操作并未违背较高优先级乘员偏好(例如，不存在较高优先级乘员及/或执行车辆操作可满足较低优先级乘员而不违背优先级较高乘员的偏好)的状况下，电子装置102可确定714车辆操作是否可能。举例来说，电子装置102可检查周围状况(例如，借助传感器及/或机器学习)以确定改变车道是否可能，以便将车辆与毗邻车道中的大型卡车相隔开。如果另一毗邻车道打开(及/或改变车道不会导致碰撞)，那么车道改变可为可能的。

在车辆操作不可能的状况下(例如，不能增加空调，可能不执行车道改变，不能增加照明等等)，操作可结束712(例如，电子装置102可中止任何改变及/或可不执行车辆操作)。

在动作可能的状况下，电子装置102可执行716车辆操作。举例来说，电子装置102可将所确定的操作命令(例如，操作指令、动作命令等等)发送至控制器(例如，发送至车辆操作管理器)。

电子装置102可确定718是否达到满意度指数(例如，在执行车辆操作时)。举例来说，电子装置102可确定车辆操作状态是否满足一或多个乘员偏好(例如，车厢温度在优选范围内)。另外或替代地，电子装置102可在一段时间之后观测冷乘员是否已经停止颤抖。如果没有达到满意度指数，那么电子装置102可进一步确定708一或多个可能车辆操作(例如，增加更多的热量)。如果达到满意度指数，那么操作可结束720。在一些配置中，电子装置102可继续监测乘员状态以确定是否执行进一步或不同操作。

本文中所揭示的系统及方法的一些配置可提供一或多个操作改变以增加(例如，最大化)乘员(例如，乘客)满意度。为了找到车辆(例如，汽车)内的最佳操作模式，一些方法可找到增加(例如，最大化)所有乘员(例如，乘客)的舒适度同时仍保持优先级顺序的设定。在一些配置中，这可如结合图7所描述来完成。

图8是绘示用于确定乘员(例如乘客)状态831的功能的实例的框图。结合图8所描述的一或多个功能可由结合图1所描述的电子装置102(例如，处理器112、传感器数据获得器116及/或车辆操作确定器124)执行。

电子装置102(例如，处理器112)可获得一或多个输入839。输入839的实例包含如本文中所描述的传感器输入(例如，传感器数据)、听觉输入及/或手势等等。举例来说，传感器组可提供测量数据(例如，所有测量数据)。另外或替代地，可使用一或多个输入接口(例如，触摸屏、语音辨识、按钮等等)来接收用户输入。在一些配置中，传感器组可包含一或多个输入接口。

可使用一或多个输入839来获得835(例如，读取及/或收听等等)乘员状态命令。举例来说，乘员(例如，乘客)的状态(例如，状态)可由乘员输入以更动控制自动决策(例如，根据需要或期望)。

可使用一或多个输入839来借助机器学习测量837乘员状态。在一些配置中，可根据以下方面中的一或多者来确定乘员(例如，驾驶员、乘客等等)状态。可通过使用传感器数据及/或历史来测量每一乘员的各种特质而获得乘员的状态。这些特质可包含情绪及乘员偏好。举例来说，机器学习可用于确定情绪及乘员偏好。

在一些配置中，电子装置102可测量843情绪。关于情绪，例如，机器学习可使用传感器输入来辨识例如恐惧、寒冷、不舒适等等的乘员的情绪。这可如结合图5至6中的一或多者来完成。

关于乘员偏好，例如，可使用一或多种技术来获得乘员优先级。机器学习可随时间学习每一乘员的习惯。这可如结合图5至6中的一或多者所描述来完成。

在一些方法中，可从乘员的历史中获得849(例如，提取)乘员偏好(例如，一旦乘员经辨识)。历史记录可被本地存储及/或远程存储(例如，在远程服务器上，在公共网站处，在社交媒体网站处等等)。另外或替代地，乘员偏好可直接由乘员(例如，乘客或驾驶员)获得845(例如，输入)或直接从乘员配置文件中读取。另外或替代地，可测量847乘员偏好。电子装置102(例如，处理器112、传感器数据获得器116及/或车辆操作确定器124)可执行信息融合841以借助机器学习测量837乘员状态。举例来说，电子装置102可将乘员偏好及乘员情绪融合以测量837乘员状态。

在一些配置中，可实施及/或使用状态组合器833来组合一或多个所获得835的乘员状态及一或多个所测量837的乘员状态。举例来说，所获得835的(例如，所直接输入、所接收的等等)乘员状态可增加或更动控制所测量837的乘员状态。组合一或多个所获得835的乘员状态及一或多个所测量837的乘员状态可产生乘员状态831(例如，最终乘员状态、所确定的乘员状态、输出乘员状态等等)。应注意，乘员状态831可以各种方式来表征(例如，舒适度得分、状态类型等等)。举例来说，乘员(例如，乘客)状态的范围可从舒适至中性、至轻微不舒适、至强烈不舒适等等。

图9为绘示用于确定乘员(例如，乘客)优先级的功能的实例的框图。结合图9所描述的功能中的一或多者可由结合图1所描述的电子装置102(例如，处理器112、传感器数据获得器116及/或车辆操作确定器124)执行。

电子装置102(例如，处理器112)可获得一或多个输入939。输入939的实例包含如本文中所描述的传感器输入(例如，传感器数据)、听觉输入及/或手势等等。举例来说，传感器组可提供测量数据(例如，所有测量数据)。另外或替代地，可使用一或多个输入接口(例如，触摸屏、语音辨识、按钮等等)来接收用户输入。在一些配置中，传感器组可包含一或多个输入接口。

可使用一或多个输入939来获得971(例如，读取及/或收听等等)优先级状态命令。举例来说，乘员(例如，乘客)的优先级(例如，等级)可由乘员输入以更动控制自动决策(例如，根据需要或期望)。举例来说，这可在紧急情况的状况下或在优先级已被放弃的状况下发生。

可利用一或多个输入939来借助机器学习测量973乘员优先级。在一些配置中，乘员(例如，驾驶员、乘客等等)优先级可根据以下方面中的一或多者来确定。可通过使用传感器数据及/或历史来测量每一乘员的各种特质而获得乘员的优先级。这些特质可包含健康状况及乘员优先级关系。举例来说，机器学习可用于确定健康状态及乘员优先级关系。

在一些配置中，电子装置102可测量957健康状态。关于健康状态，例如，机器学习可使用传感器输入来辨识例如疾病或紧急医疗情况(例如，心脏病发作、中风等等)的乘员的健康状态等等。这可如结合图5至6中的一或多者所描述来完成。

关于乘员(例如，乘客)优先级关系，例如，可使用一或多种技术来获得乘员优先级。机器学习可学习不同乘客之间的关系。举例来说，某些个人可优先于其他人。优先级可为系统的或任意的。举例来说，优先级可基于活动(例如，驾驶员与乘客)、年龄、军方等级、每群组或家庭的头衔(例如，丈夫或妻子优先级)等等来确定。这可如结合图5至6中一或多者所描述来完成。

在一些方法中，可从历史(例如，如果辨识多于一个乘员)获得(例如，提取)963与不同乘员的乘员优先级关系。举例来说，可采用人及/或面部辨识来确定乘员中的每一者。历史可本地及/或远程存储。另外或替代地，可由乘员(例如，乘客或驾驶员)直接获得959(例如，输入)乘员优先级关系。举例来说，不同乘员的关系优先级可由乘员直接输入。在一些方法中，可放弃优先级。举例来说，一个个人(例如驾驶员)可放弃对另一个人的权利(例如，驾驶员对乘客、父母对子女、配偶对配偶等等)。另外或替代地，乘员优先级关系可从公用配置文件(例如，远程服务器、社交媒体网站、公用网站等等)获得。另外或替代地，可测量961乘员优先级关系。

在一些配置中，乘员可属于不同类别。举例来说，黄金频繁乘员、白银频繁乘员、第一级、教练等等。举例来说，电子装置102可从直接输入获得965(例如，读取)乘员类别及/或可获得967(例如，提取)乘员类历史(例如，如果乘员经辨识)。类别可从乘员的配置文件及/或历史(例如，本地及/或来自远程装置)确定。

乘员优先级(例如，等级)可经确定为不同乘员之间的等级或重要性。等级越高，乘员将越可能被满足。

电子装置102(例如，处理器112、传感器数据获得器116及/或车辆操作确定器124)可执行信息融合941以借助机器学习测量973乘员优先级。举例来说，电子装置102可融合乘员优先级关系及乘员健康状态以测量973乘员优先级。

在一些配置中，可实施及/或使用优先级组合器975来组合一或多个所获得971的优先级状态及一或多个所测量973的乘员优先级。举例来说，所获得971(例如，直接输入)的乘员优先级可增加或更动控制所测量973的乘员优先级。组合一或多个所获得971的优先级状态及一或多个所测量973的乘员优先级可产生乘员优先级955(例如，最终乘员优先级、所确定的乘员优先级、输出乘员优先级、乘员排名等等)。应注意，乘员优先级955可以各种方式(例如，数值得分、优先级类型等等)来表征。举例来说，乘员(例如，乘客)优先级955的范围可从最高优先级(例如，1)至最低优先级(例如，所有乘员中的最后一个)等等。

图10为绘示用于确定乘员(例如，乘客)状态及优先级1069的功能的实例的框图。在结合图10所描述的实例中，乘员状态及优先级(例如，等级)确定经组合(例如，统合)。举例来说，可以如结合图10所描述的组合方式来确定乘员状态及优先级。结合图10所描述的功能中的一或多者可由结合图1所描述的电子装置102(例如，处理器112、传感器数据获得器116及/或车辆操作确定器124)执行。

电子装置102(例如，处理器112)可获得一或多个输入1039。输入1039的实例包含如本文中所描述的传感器输入(例如，传感器数据)、听觉输入及/或手势等等(例如，测量数据及/或输入接口数据)。

一或多个输入1039可用于获得1035乘员状态及/或优先级命令(例如，读取及/或收听等等)。举例来说，电子装置102可如结合图8至9中的一或多者所描述而获得乘员状态及/或优先级命令。

可使用一或多个输入1039来借助机器学习测量1037乘员状态及/或优先级。在一些配置中，乘员(例如，驾驶员、乘客等等)状态及/或乘员优先级可根据以下方面中的一或多者来确定。可通过使用传感器数据及/或历史来测量每一乘员的各种特质而获得乘员状态及/或乘员优先级。这些特质可包含情绪、乘员偏好、健康状态及/或乘员优先级关系。举例来说，机器学习可用于确定情绪、乘员偏好、健康状态及/或乘员优先级关系。

在一些配置中，电子装置102可测量1043情绪及/或可测量1057健康状态。这可如结合图8至9中的一或多者所描述来完成。

关于乘员(例如，乘客)优先级关系，例如，可使用一或多种技术来获得乘员优先级。这可如结合图9所描述来完成。举例来说，可从历史(例如，如果辨识多于一个乘员)获得1063(例如，提取)与不同乘员的乘员优先级关系。另外或替代地，乘员优先级关系可从公用配置文件(例如，远程服务器、社交媒体网站、公用网站等等)获得。另外或替代地，乘员优先关系可直接由乘员获得1059(例如，输入)。另外或替代地，可测量1061乘员优先级关系。

关于乘员偏好，例如，可使用一或多种技术来获得乘员优先级。这可如结合图8所描述来完成。举例来说，可从乘员的历史(例如，一旦乘员经辨识)获得1049(例如，提取)乘员偏好。历史可本地及/或远程存储。另外或替代地，乘员偏好可由乘员(例如乘员或驾驶员)直接获得1045(例如，输入)或直接从乘员配置文件读取。另外或替代地，可测量1047乘员偏好。

电子装置102可从直接输入获得1065(例如，读取)乘员类别(例如，水平)及/或可获得1067(例如，提取)乘员类别历史(例如，如果乘员经辨识)。这可如结合图9所描述来完成。

电子装置102(例如，处理器112、传感器数据获得器116及/或车辆操作确定器124)可执行信息融合1041以借助机器学习测量1037乘员状态及/或乘员优先级。举例来说，电子装置102可将乘员情绪、健康状态、优先级、偏好及/或类别融合以测量1037乘员状态及/或优先级。

在一些配置中，可实施及/或使用乘员状态及/或优先级组合器1077来组合一或多个所获得1035的乘员及/或优先级状态以及一或多个所测量1037的乘员及/或优先级状态以产生乘员状态及/或优先级1069(例如，最终乘员状态及/或优先级、输出乘员状态及/或优先级等等)。举例来说，所获得1035(例如，直接输入)的乘员状态及/或优先级可增加或更动控制所测量1037的乘员状态及/或优先级。

图11为绘示车辆操作控制(例如，操作模式改变)的实例的线程图。图11绘示分类器1186、优先级确定器1188、乘员仲裁器1190、传感器管理器1192及传感器1194。结合图11所描述的元件中的一或多者可实施在关于图1所描述的电子装置102中。特定来说，结合图11描述两个实例：车辆操作拒绝及车辆操作接受。

如所绘示，可发生触发1102。取决于配置，可以各种方式发生及/或可检测触发1102。举例来说，乘员可有意地触发乘员仲裁器1190、传感器管理器1192及/或传感器1194。举例来说，乘员可按下按钮、点击触摸屏或发出有意的语音命令(例如，“汽车，检查温度”)。另外或替代地，传感器1194可检测触发(例如，无意触发)。举例来说，乘员可倾身偏离汽车车窗，可能会说某事(例如，“很冷”)，或可能打开车门以离开车辆等等。因此，触发器1102可能为故意的(例如，乘员告诉车辆做某事)，或在调用机器学习(ML)之后可观测到。

在触发检测时，传感器管理器1192可查询1104一或多个传感器1194以获得传感器数据。传感器1194可将传感器数据1106提供至传感器管理器1192及/或可将传感器数据1108提供至分类器1186。

分类器1186可分类传感器数据1108。举例来说，分类器可基于传感器数据1108分类一或多个特征向量以产生分类数据1110。分类数据1110可指示乘员状态(例如，乘员是否不舒适、冷、焦虑、兴奋等等)。另外或替代地，分类数据1110可指示车辆操作状态(例如，至另一车辆或障碍物的接近度、跟车距离等等)。可将分类数据1110提供至乘员仲裁器1190。

乘员仲裁器1190可确定1112车辆操作。举例来说，乘员仲裁器1190可确定执行或改变车辆操作是否可改进或满足由分类数据1110指示的乘员状态。在车辆操作可处理(例如，改进、满足等等)乘员状态的状况下，乘员仲裁器可将乘员优先级查询1114发送至优先级确定器1188。

优先级确定器1188可确定一或多个乘员优先级。优先级确定器1188可将一或多个乘员优先级1116提供至乘员仲裁器1190。

乘员仲裁器1190可基于优先级在乘员之间进行仲裁。举例来说，乘员仲裁器1190可执行车辆操作性能确定1118(例如，可确定是否执行车辆操作)。举例来说，乘员仲裁器1190可基于由分类器1186提供的分类数据1110及/或由优先级确定器1188提供的乘员优先级1116做出确定1118。在车辆操作不违背任何较高优先级乘员的偏好的状况下，乘员仲裁器1190可确定执行车辆操作。在车辆操作违背任何较高优先级乘员的偏好的状况下，乘员仲裁器1190可确定不执行车辆操作。

在一个实例中，第二乘员可触发车辆操作确定。在此实例中，第二乘员并不优先于第一乘员。因此，乘员仲裁器1190拒绝执行第二乘员的车辆操作。这可发生是例如因为在考虑下针对车辆操作方面第一乘员优先于第二乘员(及/或因为执行动作可能降低第一乘员的舒适度)。因此，在此实例中拒绝第二乘员触发(例如，请求)。在一些配置中，乘员仲裁器1190可提供拒绝的指示。举例来说，乘员仲裁器1190可指示第二乘员没有进行动作(在显示器上，用口头信号等等)。针对某些状况(例如，仅乘员明确请求动作的状况)，对于所有状况(例如，有意及无意状况)或根本没有状况，可提供指示。

在另一实例中，第二乘员可触发车辆操作确定。在此实例中，第二乘员优先于第一乘员。因此，乘员仲裁器1190接受对第二乘员执行车辆操作。举例来说，这可能发生是因为考虑到车辆操作方面(及/或因为执行所述动作可能不会影响(例如，不显著影响)第一乘员的舒适度)第二乘员优先于第一乘员。因此，在此实例中接受第二乘员触发(例如，请求)。在一些配置中，乘员仲裁者1190可提供接受的指示。举例来说，乘员仲裁器1190可指示第二乘员正在进行的动作(在显示器上，用口头信号等等)。针对某些状况(例如，仅乘员明确请求动作的状况)，对于所有状况(例如，有意及无意状况)或根本没有状况，可提供指示。

图12为绘示客户端装置1201、服务器装置1203及车辆1205的实例的图解。本文中所揭示的系统及方法的一些配置可在客户端装置1201、服务器装置1203及/或车辆1205中实施。举例来说，结合图1所描述的电子装置102可在客户端装置1201、服务器装置1203或车辆1205中实施。另外或替代地，结合图1至11中的一或多者所描述的功能、操作、过程、块、组件、元件中的一或多者可分布在客户端装置1201、服务器装置1203及/或车辆1205之间。客户端设备1201、服务器装置1203及/或车辆1205可直接(与一或多个有线及/或无线链路)通信及/或可经由网络(例如，有线及/或无线地与一或多个介入网络装置(例如，路由器、交换机、集线器、服务器、网关、接入点等等)通信。在一些配置中，车辆1205可经由网络(例如，云)将信息(例如，文本消息、电子邮件、电话呼叫、警示、通知、流式处理视频等等)发送至客户端装置1201。

应注意，结合本文中所描述的一个配置所描述的一或多个方面可与一或多个其他配置的一或多个方面组合。举例来说，结合一个图所描述的一或多个方面可与结合另一图所描述的一或多个方面组合。

图13绘示可被包含在电子装置1302内的某些组件。电子装置1302可为结合图1所描述的电子装置102的实例及/或可根据结合图1所描述的电子装置102实施。电子装置1302可为(或可包含在)相机、视频摄录影机、数字相机、蜂窝电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机等等)、平板装置、媒体播放器、电视、车辆、汽车、监视相机、安装式相机、连网相机、机器人、飞机、无人机、无人航空载具(UAV)、医疗设备、游戏主机、个人数字助理(PDA)、机顶盒等等。电子装置1302包含处理器1327。处理器1327可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP)、图像信号处理器(ISP)等等)、微控制器、硬连线及/或可编程加速器(例如，包含机器学习加速度)、可编程门阵列等等。处理器1327可被称作中央处理单元(CPU)。尽管仅单个处理器1327经展示在电子装置1302中，但在替代配置中，可使用处理器(例如，ARM及DSP)的组合。

电子装置1302还包含存储器1307。存储器1307可为能够存储电子信息的任何电子组件。存储器1307可被体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、同步动态随机存取存储器(SDRAM)、与处理器一起被包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等等，包含其组合。

数据1311a及指令1309a可存储在存储器1307中。指令1309a可由处理器1327执行以实施本文中所描述的方法中的一或多者。执行指令1309a可涉及使用存储在存储器1307中的数据1311a。在处理器1327执行指令1309时，可将指令1309b的各种部分加载至处理器1327上，且可将各种数据1311b片段加载至处理器1327上。

电子装置1302还可包含发射器1315及接收器1317，以允许发射及接收去往及来自电子装置1302的信号。发射器1315及接收器1317可被统称为收发器1319。一或多个天线1321a至b可电耦合至收发器1319。电子装置1302还可包含(未展示)多个发射器、多个接收器、多个收发器及/或额外天线。

电子装置1302可包含数字信号处理器(DSP)1323。电子装置1302还可包含通信接口1325。通信接口1325可实现一或多个种类的输入及/或输出。举例来说，通信接口1325可包含用于将其他装置链接至电子装置1302的一或多个端口及/或通信装置。在一些配置中，通信接口1325可包含发射器1315及/或接收器1317(例如，收发器1319)。另外或替代地，通信接口1325可包含一或多个其他接口(例如，触摸屏、小键盘、键盘、麦克风、相机等等)。举例来说，通信接口1325可使得用户能够与电子装置1302交互。

电子装置1302可包含一或多个输入装置1329。输入装置1329的实例可包含传感器(例如，图像传感器、相机、麦克风、光达、雷达、超音波传感器、重量传感器、健康传感器、无线信号传感器等等)。另外或替代地，输入装置可包含触摸屏、旋钮、按钮、拨号盘、鼠标、指针等等。输入装置1329可接收用于电子装置1302的功能的一或多个输入。

电子装置1302的各种组件可由一或多个总线耦合在一起，所述总线可包含电源总线、控制信号总线、状态信号总线、数据总线等等。为清楚起见，各种总线在图13中经绘示为总线系统1313。

术语“确定”囊括广泛各种动作，且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查明等等。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等等。此外，“确定”可包含解析、选择、挑选、建立等等。

除非另有明确规定，否则短语“基于”并不意指“仅基于”。换句话说，短语“基于”描述“仅基于”及“至少基于”两者。

术语“处理器”应广泛解释为囊括通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等等。在一些情况下，“处理器”可是指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等等。术语“处理器”可是指处理装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其他此类配置。

术语“存储器”应广泛解释为囊括能够存储电子信息的任何电子组件。术语存储器可是指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等等。如果处理器可从存储器读取信息及/或将信息写入至存储器，那么存储器被认为与处理器进行电子通信。与处理器成整体的存储器与处理器进行电子通信。

术语“指令”及“代码”应广泛解释为包含任何类型的计算机可读语句。举例来说，术语“指令”及“代码”可是指一或多个程序、例程、子例程、函数、过程等等。“指令”及“代码”可包括单个计算机可读语句或诸多计算机可读语句。

本文中所描述功能可以由硬件执行的软件或固件实施。功能可作为一或多个指令被存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”是指可由计算机或处理器存取的任何有形存储媒体。作为实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其他光学磁盘存储装置、磁盘存储装置或其他磁性存储装置，或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的其他媒体。如本文中所使用，磁盘及光盘包含紧凑光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及光盘，其中磁盘通常以磁性方式再现数据，而光盘借助激光以光学方式再现数据。应注意，计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)的计算装置或处理器。如本文中所使用，术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。

软件或指令还可经由发射媒体来发射。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其他远程源发射软件，那么所述同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术皆包含于媒体的定义中。在一些配置中，可发射及/或接收经由蜂窝调制解调器的无线(OTA)更新。

本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说，除非所描述的方法的恰当操作需要特定次序的步骤或动作，否则特定步骤及/或动作的次序及/或使用可被修改而不背离权利要求书的范围。

此外，应了解，用于执行本文中所描述的方法及技术的模块及/或其他适当装置可由装置下载及/或以其他方式获得。举例来说，装置可耦合至服务器以促使用于执行本文中所描述方法的装置的转移。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如紧凑光盘(CD)或软盘的物理存储媒体等等)提供，使得装置可在将存储装置耦合或提供至装置时获得各种方法。

如本文中所使用，术语“及/或”应解释为意指一或多个项目。举例来说，短语“A、B及/或C”应解释为意指以下各者中任一者：仅A，仅B，仅C，A及B(但无C)，B及C(但无A)，A及C(但无B)，或A，B及C的全部。如本文中所使用，短语“中的至少一者”应解释为意指一或多个项目。举例来说，短语“A、B及C中的至少一者”或短语“A、B或C中的至少一者”应解释为意指以下各者中的任一者：仅A，仅B，仅C，A及B(但无C)，B及C(但无A)，A及C(但无B)，或A、B及C的全部。如本文中所使用，短语“中的一或多者”应解释为意指一或多个项目。举例来说，短语“A、B及C中的一或多者”或短语“A、B或C中的一或多者”应解释为意指以下各者中的任一者：仅A，仅B，仅C，A及B(但无C)，B及C(但无A)，A及C(但无B)，或A、B及C的全部。

应理解，权利要求书并不限制于上文所说明的精确配置及组件。可在本文中所描述的系统、方法及设备的布置、操作及细节做出各种修改、改变及变化而不会背离权利要求书的范围。

Claims (30)

1.一种由电子装置执行的方法，所述方法包括：

从车辆的内部获得对应于多个乘员的传感器数据；

由处理器基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态；

由所述处理器响应于所述至少一个乘员状态而识别至少一个车辆操作；

由所述处理器至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作；及

在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作。

2.根据权利要求1所述的方法，其中所述传感器数据的所述第一部分对应于第一乘员且所述传感器数据的所述第二部分对应于第二乘员，且其中确定是否执行所述至少一个车辆操作是基于所述第二乘员的乘员状态。

3.根据权利要求2所述的方法，其中确定是否执行所述至少一个车辆操作是基于所述第二乘员的优先级。

4.根据权利要求2所述的方法，其中确定所述第一乘员及所述第二乘员的优先级包括基于车辆所有权或客人状态中的至少一者优先排序所述第一乘员或所述第二乘员。

5.根据权利要求2所述的方法，其中确定所述第一乘员及所述第二乘员的优先级能够至少基于所述第一乘员的状态与所述第一乘员的所期望状态之间的差异。

6.根据权利要求1所述的方法，其中在所述至少一个车辆操作对应于优先级高于一或多个其他乘员的每一优先级的乘员的状况下确定执行所述至少一个车辆操作。

7.根据权利要求1所述的方法，其进一步包括：

在执行对应于具有优先级的乘员的所述车辆操作不违背对应于具有较高优先级的任何其他乘员的任何偏好的状况下确定执行所述至少一个车辆操作；及

在执行对应于具有所述优先级的所述乘员的所述车辆操作违背对应于具有较高优先级的任何其他乘员的任何偏好的状况下确定不执行所述至少一个车辆操作。

8.根据权利要求1所述的方法，其中获得所述至少一个乘员状态包括：

借助机器学习测量乘员状态；

获得乘员状态命令；及

组合所述所测量的乘员状态及所述所获得的乘员状态命令以产生所述乘员状态。

9.根据权利要求1所述的方法，其中获得所述至少一个乘员状态包含针对所述乘员中的一或多者确定温度舒适度水平、乘坐焦虑水平、安全水平、健康水平、所有物状态、活动或计划状态。

10.根据权利要求1所述的方法，其进一步包括融合来自所述车辆的所述内部的所述传感器数据与来自所述车辆的外部的传感器数据。

11.一种电子装置，其包括：

存储器；

处理器，其耦合至所述存储器，其中所述处理器经配置以：

从车辆的内部获得对应于多个乘员的传感器数据；

基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态；

响应于所述至少一个乘员状态而识别至少一个车辆操作；

至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作；及

在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作。

12.根据权利要求11所述的电子装置，其中所述传感器数据的所述第一部分对应于第一乘员且所述传感器数据的所述第二部分对应于第二乘员，且其中所述处理器经配置以基于所述第二乘员的乘员状态确定是否执行所述至少一个车辆操作。

13.根据权利要求12所述的电子装置，其中所述处理器经配置以基于所述第二乘员的优先级确定是否执行所述至少一个车辆操作。

14.根据权利要求12所述的电子装置，其中所述处理器经配置以通过基于车辆所有权或客人状态中的至少一者优先排序所述第一乘员或所述第二乘员确定所述第一乘员及所述第二乘员的所述优先级。

15.根据权利要求12所述的电子装置，其中所述处理器经配置以至少基于所述第一乘员的状态与所述第一乘员的所期望状态之间的差异确定所述第一乘员及所述第二乘员的所述优先级。

16.根据权利要求11所述的电子装置，其中所述处理器经配置以在所述至少一个车辆操作对应于优先级高于一或多个其他乘员的每一优先级的乘员的状况下确定执行所述至少一个车辆操作。

17.根据权利要求11所述的电子装置，其中所述处理器经配置以：

在执行对应于具有优先级的乘员的所述车辆操作不违背对应于具有较高优先级的任何其他乘员的任何偏好的状况下确定执行所述至少一个车辆操作；及

在执行对应于具有所述优先级的所述乘员的所述车辆操作违背对应于具有较高优先级的任何其他乘员的任何偏好的状况下确定不执行所述至少一个车辆操作。

18.根据权利要求11所述的电子装置，其中所述处理器经配置以通过以下操作来获得所述至少一个乘员状态：

借助机器学习测量乘员状态；

获得乘员状态命令；及

组合所述所测量的乘员状态及所述所获得的乘员状态命令以产生所述乘员状态。

19.根据权利要求11所述的电子装置，其中所述处理器经配置以通过针对所述乘员中的一或多者确定温度舒适度水平、乘坐焦虑水平、安全水平、健康水平、所有物状态、活动或计划状态来获得所述至少一个乘员状态。

20.根据权利要求11所述的电子装置，其中所述处理器经配置以融合来自所述车辆的所述内部的所述传感器数据与来自所述车辆的外部的传感器数据。

21.一种存储计算机可执行代码的非暂时性有形计算机可读媒体，其包括：

用于致使电子装置从车辆的内部获得对应于多个乘员的传感器数据的代码；

用于致使所述电子装置基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态的代码；

用于致使所述电子装置响应于所述至少一个乘员状态而识别至少一个车辆操作的代码；

用于致使所述电子装置至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作的代码；及

用于致使所述电子装置在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作的代码。

22.根据权利要求21所述的计算机可读媒体，其中所述传感器数据的所述第一部分对应于第一乘员且所述传感器数据的所述第二部分对应于第二乘员，且其中所述处理器经进一步配置以基于所述第二乘员的乘员状态确定是否执行所述至少一个车辆操作。

23.根据权利要求21所述的计算机可读媒体，其进一步包括用于致使所述电子装置在所述至少一个车辆操作对应于优先级高于一或多个其他乘员的每一优先级的乘员的状况下确定执行所述至少一个车辆操作的代码。

24.根据权利要求21所述的计算机可读媒体，其中所述用于致使所述电子装置获得所述至少一个乘员状态的代码包括：

用于致使所述电子装置借助机器学习测量乘员状态的代码；

用于致使所述电子装置获得乘员状态命令的代码；及

用于致使所述电子装置组合所述所测量的乘员状态及所述所获得的乘员状态命令以产生所述乘员状态的代码。

25.根据权利要求21所述的计算机可读媒体，其进一步包括用于致使所述电子装置融合来自所述车辆的所述内部的所述传感器数据与来自所述车辆的外部的传感器数据的代码。

26.一种设备，其包括：

用于从车辆的内部获得对应于多个乘员的传感器数据的装置；

用于基于所述传感器数据的第一部分获得关于所述乘员中的至少一者的至少一个乘员状态的装置；

用于响应于所述至少一个乘员状态而识别至少一个车辆操作的装置；

用于至少基于所述传感器数据的第二部分确定是否执行所述至少一个车辆操作的装置；及

用于在确定执行所述至少一个车辆操作的状况下执行所述至少一个车辆操作的装置。

27.根据权利要求26所述的设备，其中所述传感器数据的所述第一部分对应于第一乘员且所述传感器数据的所述第二部分对应于第二乘员，且其中所述用于确定是否执行所述至少一个车辆操作的装置是基于所述第二乘员的乘员状态。

28.根据权利要求26所述的设备，其进一步包括用于在所述至少一个车辆操作对应于优先级高于一或多个其他乘员的每一优先级的乘员的状况下确定执行所述至少一个车辆操作的装置。

29.根据权利要求26所述的设备，其中所述用于获得所述至少一个乘员状态的装置包括：

用于借助机器学习测量乘员状态的装置；

用于获得乘员状态命令的装置；及

用于组合所述所测量的乘员状态及所述所获得的乘员状态命令以产生所述乘员状态的装置。

30.根据权利要求26所述的设备，其进一步包括用于融合来自所述车辆的所述内部的所述传感器数据与来自所述车辆的外部的传感器数据的装置。