CN109416733A

CN109416733A - 便携式个性化

Info

Publication number: CN109416733A
Application number: CN201780041686.0A
Authority: CN
Inventors: R.拉奥; T.R.范戈特姆
Original assignee: Crown Audio Inc
Current assignee: Crown Audio Inc
Priority date: 2016-07-07
Filing date: 2017-07-07
Publication date: 2019-03-01
Anticipated expiration: 2037-07-07
Also published as: EP3482344A4; EP3482344A1; US20200114931A1; US11034362B2; CN109416733B; EP3482344B1; WO2018009897A1

Abstract

公开了用于车辆的示例性车内计算系统的实施方案。在一些实施方案中，响应于对所述车辆中的用户的识别，在所述车辆内提供个性化交互体验。可以基于生物特征数据检测来识别所述用户，在一些示例中，所述生物特征数据检测可以包括眼睛跟踪、瞳孔监测和头部跟踪。可以基于所述识别的用户和/或与所述用户有关的习得数据和/或所述车辆的状况来选择性地提供所述车内计算系统的特征。

Description

便携式个性化

相关申请的交叉引用

本申请要求2016年7月7日提交的标题为“PORTABLE PERSONALIZATION”的美国临时申请号62/359,629的优先权，其全部内容出于所有目的据此以引用方式并入。

技术领域

本公开涉及车内计算系统领域。

背景技术

随着计算装置集成在诸如家用电器和车辆等各种产品中，以及个人计算装置的普遍使用，用户可以与不同环境中的多个不同装置进行交互。虽然这些装置中的许多装置可包括将装置连接到网络的通信系统，但装置的互操作性仍然有限。可以为消费者与各种系统和位置的交互提供整体用户体验。例如，智能手机个人助理的激增正在训练最终消费者通过自然对话与数字系统进行交互。在一些示例中，针对不同的环境定制不同的个人助理(例如，包括对应于相关联的环境的专门编程和/或输出)。在家庭和办公室环境中发生的其他物联网(IoT)倡议进一步产生了如下期望：消费者与之交互的所有装置都能够识别他们是谁、能够与其他系统或服务进行通信以完成任务，并且可以使用户以直观的方式参与。本公开提供了允许车辆参与更广泛的生态系统的机制，以在家庭、车辆和个人装置之间实现内容以及控制的平滑过渡。

发明内容

各种车厢内感测元素、预测性学习和交互以及基于云的智能和分析的系统集成可能涉及将这些生态系统捆绑在一起。这些元素可以包括：眼睛/面部/瞳孔识别，其能够进行身份识别和物体识别；上下文和响应式人机交互(HMI)，其结合基于云的深度学习引擎，聚集来自用户交互的输入、多个车辆输入/来自多个车辆的输入以及其他辅助车辆数据，以导出趋势并个性化车内经验；以及会话语音(数字助理)，其简化复杂的交互、学习支持用户的工作方式。所公开的系统和方法还可以包括在汽车、办公室和家庭环境之间搭建桥梁的生产力特征。这些技术的类别包括组件或技术部件和信息技术(IT)或应用程序(App)。

附图说明

通过参考附图来阅读下文对非限制性实施方案的描述，可以更好地理解本公开，附图如下：

图1A示出了根据本公开的一个或多个实施方案的车辆车厢的示例性局部视图；

图1B示出了根据本公开的一个或多个实施方案的图1A的车厢内的一部分的示例性细节图；

图2示出了根据本公开的一个或多个实施方案的示例性车内计算系统；

图3示意性地示出了根据本公开的一个或多个实施方案的示例性摄像头控制系统；

图4示出了根据本公开的一个或多个实施方案的用于利用用户输入控制摄像头的示例性方法的流程图；

图5示出了根据本公开的一个或多个实施方案的数字助理的示例性用户界面；

图6示出了根据本公开的一个或多个实施方案的用于在车辆中提供会话用户界面的示例性方法的流程图；

图7和图8示意性地示出了根据本公开的一个或多个实施方案的用于在车辆中使用多种自然语言服务的示例性场景；并且

图9示出了根据本公开的一个或多个实施方案的用于在车辆中提供用户体验的数据的示例性计算流程。

具体实施方式

本公开描述了可以用于开发系统以收集眼睛跟踪、瞳孔数据和其他生物特征和汽车传感器输出，并且实时处理信息以评估驾驶员的头部位置和指示驾驶员意图的其他因素的技术。数字信号处理器(DSP)可用于过滤和机器学习，以创建关于交互和意图在驾驶情况下如何转换为趋势和预测智能的有意义的度量和模型。所有分析和注释都可以使用深度神经网络(DNN)算法和人类输入的组合。

这些技术可以利用多模态人机界面(HMI)(例如，眼睛注视)的集成，作为与简化用户界面的会话系统的交互方法。这些技术可以将物体识别与眼睛注视跟踪组合为用户界面，以通过实时分割，指定用户试图从多个物体中识别出哪个物体。面部/眼睛识别通过眼动仪测量瞳孔直径，并将光反射与认知负荷分离。深度学习引擎用于通过仪表盘注释和分析各方，这将允许特征接受和个性化。

眼睛/面部识别系统可能大于1DIN(例如，在DIN表示由DNN的卷积层吸收的输入量的深度的情况下)。主要性能输出可包括：“安静”(例如，对驾驶员的驾驶体验打断或中断最小)、直观、协调的HMI，使驾驶变得有趣和高效、车辆通过面部识别进行的对用户的识别，所述面部识别适应配置文件并在其他装置和位置提供持续的用户体验，生产力软件集成，其自动提供车内生产力，以及对车辆的预测性和预防性维护。这些技术可以与车辆乘员建立自然的交互，预测用户需求并简化任务完成。

最终客户可以通过以下方式感知日常使用的改进：个性化体验在驾驶员和汽车之间产生联系；并且汽车可以帮助确保驾驶员最佳地操纵车辆，并且基于驾驶员的日历、活动、个人偏好等，帮助预测驾驶员的需求，并且帮助推荐直观和上下文信息。

图1A示出了用于驾驶员辅助系统的一种类型的环境的示例性局部视图：车辆102的车厢100的内部，驾驶员和/或一个或多个乘客可以坐在车中。图1A所示的车辆102可以是包括驱动轮(未示出)和内燃发动机104的机动车辆。车辆102可以是前车或后车。内燃发动机104可以包括一个或多个燃烧室，所述一个或多个燃烧室可以通过进气通道接收进入的空气，并且通过排气通道排放燃烧气体。车辆102可以是公路汽车，以及其他类型的车辆。在一些示例中，车辆102可以包括混合动力驱动系统，所述混合动力驱动系统包括能量转换装置，所述能量转换装置可操作来从车辆运动和/或发动机吸收能量并且将所吸收的能量转换成适合于由能量存储装置存储的能量形式。车辆102可以包括完全电动车辆，其并入有燃料电池、太阳能捕获元件和/或用于为车辆提供动力的其他能量存储系统。

如图所示，仪表板106可包括车辆102的驾驶员(用户的一个示例)可访问的各种显示器和控件。例如，仪表板106可以包括车内计算系统109(例如，信息娱乐系统)、音频系统控制面板和仪表群的触摸屏108。虽然图1A所示的示例性系统包括音频系统控件，所述音频系统控件可以经由车内计算系统109的用户界面(例如触摸屏108)执行，而没有单独的音频系统控制面板，但是在其他实施方案中，车辆可以包括音频系统控制面板，该音频系统控制面板可以包括用于传统车辆音频系统(例如收音机、光盘播放器、MP3播放器等)的控件。音频系统控件可以包括用于经由车辆扬声器系统的扬声器112来控制音频输出的一个或多个方面的特征。例如，车内计算系统或音频系统控件可控制音频输出的音量、车辆扬声器系统的个别扬声器间的声音分布、音频信号的均衡和/或音频输出的任何其他方面。在另外的示例中，车内计算系统109可以基于直接通过触摸屏108接收的用户输入或者基于通过外部装置150和/或移动装置128接收的有关用户(诸如用户的身体状态和/或环境)的数据来调节无线电台选择、播放列表选择、音频输入的来源(例如，来自收音机或CD或MP3)等。

在一些实施方案中，车内计算系统109的一个或多个硬件元件(诸如触摸屏108、显示屏、各种控制表盘、旋钮和按钮、存储器、处理器和任何界面元件(例如，连接器或端口))可形成安装在车辆的仪表板106中的集成主机单元(head unit)。主机单元可以固定地或可移除地附接在仪表板106中。在额外的或替代性实施方案中，车内计算系统的一个或多个硬件元件可以是模块化的并且可以安装在车辆的多个位置中。

车厢100可包括用于监测车辆、用户和/或环境的一个或多个传感器。例如，车厢100可以包括一个或多个安装在座椅上的压力传感器，所述压力传感器被配置为测量施加到座椅上的压力以确定用户的存在；门传感器，所述门传感器被配置为监测门活动；湿度传感器，所述湿度传感器被配置为测量车厢的湿度含量；麦克风，所述麦克风用于接收语音命令形式的用户输入，以使得用户能够进行电话呼叫，和/或测量车厢100中的环境噪声；摄像头，所述摄像头用于检测车厢中的活动或物体和/或检测车厢外面的活动、交通量、物体等。应理解，上述传感器和/或一个或多个额外的或替代性传感器可以定位于车辆的任何合适位置。例如，传感器可以定位于发动机室中、车辆的外表面上和/或其他合适的位置，用于提供关于车辆操作、车辆环境条件、车辆用户等的信息。也可以从车辆外部/与车辆分离的传感器(即，不是车辆系统的一部分)，例如耦合到外部装置150和/或移动装置128的传感器，接收关于车辆的环境条件、车辆状态或车辆驾驶员的信息，这将在下面更详细地描述。

车厢100可以包括在行驶之前、期间和/或之后存放在车辆中的一个或多个用户物体，例如移动装置128。移动装置128可包括智能电话、平板计算机、膝上型计算机、便携式媒体播放器和/或任何合适的移动计算装置。移动装置128可经由通信链路130连接至车内计算系统。通信链路130可以是有线的(例如，经由通用串行总线[USB]、移动高清链路[MHL]、高清多媒体界面[HDMI]、以太网等)或无线的(例如，经由蓝牙、WIFI、WIFI direct近场通信[NFC]、蜂窝式连接等)，并且被配置来在移动装置与车内计算系统之间提供双向通信。移动装置128可包括用于连接到一个或多个通信链路(例如，上文所述的示例性通信链路中的一个或多个)的一个或多个无线通信接口。无线通信接口可包括一个或多个物理装置(诸如耦合到用于携带传输或接收数据的数据线的天线或端口)和用于根据移动装置中的其他装置操作物理装置的一个或多个模块/驱动器。例如，通信链路130可将传感器和/或控制信号从各种车辆系统(诸如车辆音频系统、气候控制系统等)和触摸屏108提供到移动装置128，并且可将控制和/或显示信号从移动装置128提供到车内系统和触摸屏108。通信链路130还可以从车内电源向移动装置128提供电力，以便为移动装置的内置电池充电。

车内计算系统109还可通信地耦合到由用户操作和/或访问但是位于车辆102外部的额外装置，诸如一个或多个外部装置150。在所描绘的实施方案中，外部装置位于车辆102的外部，但是应理解，在替代实施方案中，外部装置可位于车厢100内。外部装置可包括服务器计算系统、个人计算系统、便携式电子装置、电子腕带、电子头带、便携式音乐播放器、电子活动跟踪装置、计步器、智能手表、GPS系统等。外部装置150可经由通信链路136连接到车内计算系统，该通信链路可以是有线或无线的(如参考通信链路130所讨论的)并且被配置来在外部装置与车内计算系统之间提供双向通信。例如，外部装置150可以包括一个或多个传感器，并且通信链路136可以从外部装置150向车内计算系统109和触摸屏108传输传感器输出。外部装置150还可以存储和/或接收有关情境数据、用户行为/偏好、操作规则等的信息，并且可以从外部装置150向车内计算系统109和触摸屏108传输这类信息。

车内计算系统109可以分析从外部装置150、移动装置128和/或其他输入源接收的输入，并且为各种车内系统(诸如气候控制系统或音频系统)选择设置，通过触摸屏108和/或扬声器112提供输出，与移动装置128和/或外部装置150通信，和/或基于评估来执行其他动作。在一些实施方案中，所述评估的全部或一部分可以由移动装置128和/或外部装置150执行。在一些实施方案中，外部装置150可以包括另一车辆的车内计算装置，因此车辆可以是在车辆102前面的车辆，或者可以是在车辆102后面的车辆。

在一些实施方案中，外部装置150的一个或多个可以间接地通过移动装置128和/或外部装置150中的另一个通信地耦合至车内计算系统109。例如，通信链路136可以将外部装置150通信地耦合至移动装置128，以使得来自外部装置150的输出被转送至移动装置128。接着，可以在移动装置128处将从外部装置150接收的数据与由移动装置128收集的数据聚集起来，所述聚集的数据接着通过通信链路130传输至车内计算系统109和触摸屏108。类似的数据聚集可能发生在服务器系统处，并且接着经由通信链路136/130传输到车内计算系统109和触摸屏108。

图1B示出了图1A的仪表板106的详细视图。如图所示，仪表板106可以包括音频控件138和一个或多个显示器140(例如，其可以包括触摸屏，例如图1A的触摸屏108)。在其他示例中，额外的或替代性部件或部件的布置可以包括在车辆车厢中。

图2示出被配置和/或集成在车辆201内的车内计算系统200的框图。车内计算系统200可以是图1A的车内计算系统109的示例，和/或在一些实施方案中，可以执行本文描述的方法中的一个或多个。在一些示例中，车内计算系统可为车辆信息娱乐系统，其被配置来将基于信息的媒体内容(音频和/或视觉媒体内容，包括娱乐内容、导航服务等)提供到车辆用户，以提高操作员的车内体验。车辆信息娱乐系统可包括或耦合到各种车辆系统、子系统、硬件部件以及软件应用和系统，其被集成或可集成到车辆201中以便提高驾驶员和/或乘客的车内体验。

车内计算系统200可包括一个或多个处理器，其包括操作系统处理器214和界面处理器220。操作系统处理器214可执行车内计算系统上的操作系统，并且控制车内计算系统的输入/输出、显示、播放和其他操作。接口处理器220可以经由车内系统通信模块222与车辆控制系统230进行交互。

车内系统通信模块222可以向其他车辆系统231和车辆控制元件261输出数据，同时还接收来自其他车辆部件和系统231、261的数据输入，例如通过车辆控制系统230。当输出数据时，车内系统通信模块222可以通过总线提供与车辆的任何状态、车辆周围环境或连接到车辆的任何其他信息源的输出相对应的信号。车辆数据输出可以包括例如模拟信号(诸如当前速度)、由各个信息源(诸如时钟、温度计、位置传感器诸如全球定位系统[GPS]传感器等)提供的数字信号、通过车辆数据网络(诸如通过其可以传送与发动机相关的信息的发动机控制器区域网络[CAN]总线，通过其可以传送与气候控制相关的信息的气候控制CAN总线，以及多媒体数据网络，通过该多媒体数据网络，多媒体数据在车辆中的多媒体部件之间通信)传播的数字信号。例如，车内计算系统可以从发动机CAN总线检索以下信息：由轮传感器估计的车辆的当前速度；由车辆的电池和/或配电系统供电的车辆的电力状态；车辆的点火状态等。另外，在不脱离本公开的范围的情况下，还可以使用诸如以太网等其他介接手段。

非易失性存储装置208可包括在车内计算系统200中，以按非易失性形式存储诸如可由处理器214和220执行的指令。存储装置208可存储应用数据，使得车内计算系统200能够运行应用以用于连接到基于云的服务器和/或收集供传输到基于云的服务器的信息。应用可检索由车辆系统/传感器、输入装置(例如，用户界面218)、与车内计算系统通信的装置(例如，经由蓝牙链接连接的移动装置)等收集的信息。车内计算系统200可进一步包括易失性存储器216。易失性存储器216可以是随机存取存储器(RAM)。诸如非易失性存储装置208和/或易失性存储器216等非暂时性存储装置可存储指令和/或代码，所述指令和/或代码当被处理器(例如，操作系统处理器214和/或界面处理器220)执行时，控制车内计算系统200以执行本公开中描述的动作中的一个或多个。

在车内计算系统200中可以包括麦克风202以接收来自用户的语音命令、测量车辆中的环境噪声、确定来自车辆扬声器的音频是否根据车辆的声环境进行调谐等。语音处理单元204可以处理语音命令，诸如从麦克风202接收的语音命令。在一些实施方案中，车内计算系统200还可能够使用车辆的音频系统232中包括的麦克风接收语音命令和样本环境车辆噪声。

一个或多个额外的传感器可包括在车内计算系统200的传感器子系统210中。例如，传感器子系统210可包括摄像头，诸如用于辅助用户车辆的后视摄像头和/或用于识别用户(例如，使用面部识别和/或用户手势)的车厢摄像头。车内计算系统200的传感器子系统210可与各种车辆传感器通信并接收来自各种车辆传感器的输入，并且可进一步接收用户输入。例如，由传感器子系统210接收到的输入可包括传动齿轮位置、传动离合器位置、油门输入、制动器输入、传动选择器位置、车辆速度、发动机速度、通过发动机的大规模气流、环境温度、进气温度等，以及来自气候控制系统传感器的输入(诸如传热流体温度、助冻剂温度、风扇速度、客舱温度、期望的客舱温度、环境湿度等)、检测由用户发布的语音命令的音频传感器的输入、从车辆的钥匙的地理位置/近端接收命令并可选地跟踪车辆的钥匙的地理位置/近端的钥匙传感器的输入等。虽然某些车辆系统传感器可单独与传感器子系统210通信，但是其他传感器可与传感器子系统210和车辆控制系统230二者通信，或可经由车辆控制系统230间接与传感器子系统210通信。车内计算系统200的导航子系统211可产生和/或接收导航信息(诸如位置信息(例如，经由GPS传感器和/或来自传感器子系统210的其他传感器)、路线引导、交通信息、兴趣点(POI)识别)，和/或为驾驶员提供其他导航服务。

车内计算系统200的外部装置接口212可耦合到车辆201外部的一个或多个外部装置240和/或与其通信。虽然外部装置被示出为位于车辆201外部，但应理解，外部装置可能暂时装纳在车辆201中，诸如当用户在操作车辆201的同时操作外部装置时。换句话说，外部装置240并不与车辆201成一体。外部装置240可包括移动装置242(例如，经由蓝牙、NFC、WIFI direct或其他无线连接进行连接)或替代的具备蓝牙功能的装置252。移动装置242可以是移动电话、智能电话、可经由有线和/或无线通信与车内计算系统通信的穿戴式装置/传感器，或其他便携式电子装置。其他外部装置包括外部服务246。例如，外部装置可包括与车辆分开且位于车辆外部的车外装置。再其他的外部装置包括外部存储装置254，诸如固态驱动器、笔式驱动器、USB驱动器等。在不背离本公开的范围的情况下，外部装置240可无线地或经由连接器与车内计算系统200通信。例如，外部装置240可经由外部装置接口212通过网络260、通用串行总线(USB)连接、直接有线连接、直接无线连接和/或其他通信链路与车内计算系统200通信。

外部装置接口212可提供通信接口，使得车内计算系统和与驾驶员的联系人相关联的移动装置通信。例如，外部装置接口212可以使得能够向与驾驶员的联系人相关联的移动装置建立电话呼叫和/或能够发送(例如，经由蜂窝通信网络)文本消息(例如，SMS、MMS等)。外部装置接口212可另外或替代地提供无线通信接口，使得车内计算系统经由WIFIdirect与车辆中的一个或多个装置(例如，驾驶员的移动装置)同步数据，如下文更详细描述。

一个或多个应用244可以在移动装置242上操作。作为示例，移动装置应用244可被操作以聚集有关用户与移动装置交互的用户数据。例如，移动装置应用244可聚集有关移动装置上的用户收听的音乐播放列表、电话呼叫记录(包括用户接受电话呼叫的频率和持续时间)、包括用户常去的位置的位置信息和在每个位置花费的时间量等的数据。应用244可通过网络260将所收集的数据传送到外部装置接口212。另外，可以在移动装置242处从车内计算系统200经由外部装置接口212接收特定的用户数据请求。所述特定数据请求可包括用于确定用户所处的地理位置、用户位置处的环境噪声级和/或音乐流派、用户位置处的环境气候条件(温度、湿度等)等的请求。移动装置应用244可向移动装置242的部件(例如，麦克风等)或其他应用(例如，导航应用)发送控制指令，以便使得所请求的数据能够收集在移动装置上。移动装置应用244接着可以将所收集的信息转发回到车内计算系统200。

同样地，一个或多个应用程序248可能可在外部服务246上操作。作为示例，外部服务应用248可被操作，以聚集和/或分析来自多个数据源的数据。例如，外部服务应用248可聚集来自用户的一个或多个社会媒体账号的数据、来自车内计算系统的数据(例如，传感器数据、日志文件、用户输入等)、来自互联网查询的数据(例如，天气数据、POI数据)等。所收集的数据可被传输到另一装置和/或被应用分析，以确定驾驶员、车辆和环境的情境，并且基于情境执行动作(例如，将数据请求/发送到其他装置)。

车辆控制系统230可包括用于控制涉及不同车内功能的各种车辆系统231的各方面的控件。这些可例如包括控制用于将音频娱乐提供到车辆乘员的车辆音频系统232的方面、用于满足车辆乘员的车厢冷却或加热需求的气候控制系统234的方面以及用于使得车辆乘员与其他人建立电信联动的电信系统236的各方面。

音频系统232可包括一个或多个声学再现装置，其包括诸如扬声器的电磁转换器。车辆音频系统232而可为无源或有源的诸如通过包括功率放大器。在一些示例中，车内计算系统200可仅为声学再现装置的音频源，或可能存在连接到音频再现系统的其他音频源(例如，诸如移动电话的外部装置)。任何此类外部装置到音频再现装置的连接可以是模拟的、数字的或模拟技术和数字技术的任何组合。

气候控制系统234可以被配置为在车辆201的车厢或乘客室内提供舒适的环境。气候控制系统234包括实现受控通气的部件，诸如排气道、加热器、空调、集成加热器和空调系统等。其他链接到加热和空调设备的部件可以包括挡风玻璃除霜和除雾系统，该挡风玻璃除霜和除雾系统能够清理挡风玻璃，和通风过滤器以清洁通过新鲜空气入口进入乘客室的外部空气。

车辆控制系统230还可以包括用于调节与车辆车厢内的发动机和/或辅助元件有关的各种车辆控件261(或车辆系统控制元件)的设置的控件，诸如方向盘控件262(例如，方向盘安装式音频系统控件、巡航控件、挡风玻璃刮水器控件、头灯控件、转向信号控件等)、仪表板控件、麦克风、加速器/制动器/离合器踏板、换挡、定位于驾驶员或乘客门中的门/窗控件、座椅控件、车厢照明控件、音频系统控件、车厢温度控件等。车辆控件261还可以包括内部发动机和车辆操作控件(例如发动机控制器模块、致动器、阀等)，其被配置为经由车辆的CAN总线接收指令以改变发动机、排气系统、变速器和/或其他车辆系统中的一个或多个的操作。控制信号还可控制车辆的音频系统232的一个或多个扬声器处的音频输出。例如，控制信号可调节音频输出特性，诸如音量、均衡化、音频图像(例如，用来产生音频输出的音频信号的配置，所述音频输出在用户看来是源自一个或多个已定义位置)、多个扬声器之间的音频分布等。同样地，控制信号可控制气候控制系统234的通气孔、空调和/或加热器。例如，控制信号可增加冷却空气到车厢的特定区段的递送。

定位在车辆外部的控制元件(例如，用于安全系统的控件)还可诸如经由通信模块222连接到计算系统200。可以将车辆控制系统的控制元件物理地和永久地定位在车辆之上和/或之中以接收用户输入。除了从车内计算系统200接收控制指令之外，车辆控制系统230还可从用户所操作的一个或多个外部装置240(诸如从移动装置242)接收输入。这允许基于从外部装置240接收的用户输入来控制车辆系统231和车辆控件261的各方面。

车内计算系统200可进一步包括天线206。天线206被示出为单根天线，但是在一些实施方案中，可包括一根或多根天线。车内计算系统可经由天线206获得宽带无线互联网接入，并且还可接收广播信号，诸如收音机、电视、天气、交通等。车内计算系统可经由一个或多个天线206接收诸如GPS信号的定位信号。车内计算系统也可通过适当的接收装置经由RF(诸如经由天线206)或者经由红外或其他手段来接收无线命令。在一些实施方案中，天线206可被包括作为音频系统232或电信系统236的一部分。另外，天线206可经由外部装置接口212向外部装置240(诸如向移动装置242)提供AM/FM无线电信号。

车内计算系统200的一个或多个元件可由用户经由用户界面218来控制。用户界面218可以包括在触摸屏(例如图1A的触摸屏108)上呈现的图形用户界面、和/或用户致动的按钮、开关、旋钮、拨号盘、滑块等。例如，用户致动元件可包括方向盘控件、门和/或窗控件、仪表面板控件、音频系统设置、气候控制系统设置等。用户也可经由用户界面218与车内计算系统200和移动装置242的一个或多个应用程序交互。除了在用户界面218上接收用户的车辆设置偏好之外，还可在用户界面218上向用户显示车内控制系统选择的车辆设置。可在用户界面的显示器上向用户显示通知和其他消息(例如，所接收到的消息)以及导航辅助。可经由用户输入向用户界面执行用户偏好/信息和/或对呈现消息的响应。

图3示意性地示出了利用车内计算系统300的部件的示例性摄像头控制系统，其可以包括和/或耦合到车辆304的一个或多个车辆摄像头302。车内计算系统300可以包括和/或包含在图1A的车内计算系统109和/或图2的车内计算系统200中。作为示例，摄像头302可以包括广角摄像头，其视野在306处示意性地示出。在308处示出了示例摄像头视图(例如，基于视野306)。驾驶员310可以通过手势与摄像头进行交互并控制摄像头。例如，驾驶员310可以指向感兴趣物体312，以便请求摄像头聚焦于该物体或以其他方式处理该物体。响应于检测到驾驶员的指向姿势(例如，经由被配置为对车辆304的车厢中的驾驶员、乘客和/或其他物体进行成像的一个或多个面向车厢的摄像头)，车内计算系统300可以向摄像头302发送控制指令和/或以其他方式处理来自摄像头302的图像，以便基于驾驶员的指向来选择摄像头视图。在314处指示通过计算选择(例如，根据诸如来自驾驶员的指向手势的手势)的摄像头视图的示例。示例性最终视图在316处示出，并且可以被发送到车内计算系统300的物体识别模块和/或车外(例如，服务器)计算装置。最终视图316可以包括与驾驶员的指向方向318相交的感兴趣物体312。例如，可以基于驾驶员的指向方向318来选择摄像头的广角视野的子部分320，以生成最终视图316和/或以其他方式命令摄像头聚焦在与驾驶员的指向方向相交的物体上。以这种方式，驾驶员可以在车辆中执行由车内计算系统300解释的动作，以控制摄像头302和/或对由摄像头302捕获的图像的处理。

图4是用于基于用户手势控制摄像头视图的示例性方法400的流程图。方法400可以由车内计算系统(例如图1A的车内计算系统109和/或图2的车内计算系统200)执行。在402处，所述方法包括利用车辆摄像头(例如，图3的摄像头302)捕获图像。捕获的图像可以是形成车辆环境的实时视图的连续的图像流和/或半连续图像流。在404处，所述方法包括在车辆摄像头的第一视图中显示捕获的图像。例如，第一视图可以是全视图，例如示出车辆摄像头的完整视野的视图。

在406处，所述方法包括检测用于改变摄像头视图的指示感兴趣区域(ROI)的用户输入。如408所指示，用户输入可以是指向和/或其他手势(例如，如图3中所示)。在另一示例中，用户输入可以是眼睛姿势，如410所指示。在以上示例中的任一个中，可以分析由指向手势和/或眼睛姿势指示的方向，以确定与车辆摄像头的视野的交叉点。例如，可以延伸从执行指向手势的用户的手指延伸的矢量和/或从执行眼睛姿势的用户的瞳孔延伸的矢量，以与由车辆摄像头成像的环境相交。矢量与环境的交叉点可以被映射到车辆摄像头的视野和/或来自车辆摄像头的捕获的图像(例如，通过执行坐标平移来将指向/眼睛检测机制所使用的坐标系转换为车辆摄像头所使用的坐标系)。可以将感兴趣区域确定为捕获图像中的交叉点的阈值距离内的区域。例如，感兴趣区域可以包括交叉点，并且可以根据选定的形状(例如，圆、椭圆、正方形和/或对应于车辆摄像头视野形状的另一形状)，围绕交叉点延伸。可以基于交叉点的位置来选择和定位选定的形状(例如，如果交叉点靠近车辆摄像头的视野的边缘，则可以移动该形状使得交叉点不居中，而是使得该形状与车辆摄像头的视野边缘对齐)。在其他示例中，感兴趣区域可以仅包括交叉点。

用户输入可以包括语音输入，如412所指示，其可以将所显示的视图中由用户选择的位置识别为感兴趣区域。例如，语音输入可以包括用于网格的小区标识符或用于所显示的第一视图的一部分的另一标识符(例如，“小区A3”或“左上”)。

在414处，所述方法包括对捕获图像的感兴趣区域(例如，在检测到用户输入时捕获的图像和/或随后捕获的图像)执行物体识别。例如，所述方法可以包括执行边缘检测(例如，将捕获的图像变换为二进制或颜色减少的图像以强调边缘)、用于将图像的特征与物体的特征匹配的基于云的机器学习(例如，使用车辆行驶期间遇到的常见物体(例如树木、建筑物、街道标志、行人、其他车辆、道路标记等)的数据库，以比较捕获图像的扫描像素)，和/或以其他方式处理图像以确定感兴趣区域中是否存在物体。在一些示例中，可以通过仅在感兴趣区域中执行物体识别来节省资源(例如，仅将感兴趣区域转换为二进制图像、仅扫描感兴趣区域的像素以与已知物体进行比较等)。

在416处，所述方法包括确定是否在感兴趣区域中检测到至少一个物体。如果在感兴趣区域中未检测到物体(例如，416处的“否”)，则所述方法包括调节车辆摄像头的第一视图以突出显示整个感兴趣区域，如418所指示。在420处，所述方法包括基于调节后的第一视图，在ROI视图中显示正在捕获的图像。例如，ROI视图可以仅包括感兴趣区域，或者可以包括由差分焦点、颜色、亮度和/或其他参数突出显示的感兴趣区域(例如，感兴趣区域与视图的其他区域相比，可以焦点更对准、清晰，感兴趣区域可以是全色，而视图的其他区域是黑白或灰度，感兴趣区域可以比视图的其他区域更亮或更饱和，感兴趣区域可以由框或其他形状包围，等等)。在422处，所述方法包括确定是否检测到指示新感兴趣区域的用户输入。如果未检测到这样的用户输入(例如，在422处为“否”)，则所述方法返回以继续突出显示感兴趣的区域并显示ROI视图。如果检测到指示新感兴趣区域的用户输入(例如，在422处为“是”)，则所述方法返回到416以确定是否已在(新)感兴趣区域中检测到物体。

返回到416，如果在感兴趣区域中检测到至少一个物体(例如，在416处为“是”)，则所述方法包括调节第一视图以突出显示感兴趣区域中的物体，如424所指示。例如，视图可以被缩放和/或平移以仅包括物体和/或使物体居中。作为另一示例，可以用与视图中的其他元素不同的焦点、亮度、颜色和/或其他参数来显示物体。可以使用上述示例的任何组合来突出感兴趣区域中的物体。例如，视图可以仅包括感兴趣区域，并且可以在视图中使检测到的物体居中，并且以比感兴趣区域的每个其他部分更大的焦点、亮度和/或颜色示出。

在426处，所述方法包括基于调节的第一视图(例如，以突出显示物体)在物体视图中显示捕获的图像(例如，正在捕获的图像)。如428所指示，所述方法包括连续调节视图以跟踪检测到的物体。在430处，所述方法包括确定是否检测到指示新感兴趣区域的用户输入。如果未检测到这样的用户输入(例如，在430处为“否”)，则所述方法返回以继续突出显示并跟踪感兴趣的物体区域并显示物体视图。如果检测到指示新感兴趣区域的用户输入(例如，在430处为“是”)，则所述方法返回到416以确定是否已在(新)感兴趣区域中检测到物体。

参考图3和图4所描述的摄像头控制场景提供了可以由车内计算系统执行的眼睛注视/面部/瞳孔跟踪和物体识别的示例。在其他示例中，可以执行这样的眼睛跟踪以提供用户识别和监测，并且可以用于学习用户的行为和偏好。例如，可以测量用户的瞳孔直径，并将其针对与不同用户状态和环境条件相关联的直径进行比较。瞳孔直径可能会基于环境光条件、用户的警觉性、用户的情绪和/或其他条件而改变。因此，这些条件可以与查找表或其他数据库中的不同瞳孔直径相关联。可以基于校准例程和/或由车内计算系统和相关联的传感器和/或由其他计算装置和传感器对用户的持续监测来为不同用户定制直径和用户/环境状态之间的关联。此外，来自其他传感器的数据可用于解释瞳孔跟踪数据。例如，光传感器或其他摄像头可以为用户确定环境光条件，以便将光反射与认知负荷或其他基于用户状态的瞳孔直径变化分开(例如，以区分瞳孔直径变化的原因)。

可以随时间的流逝监测用户的行为和交互，并在用户执行这样的行为和交互时与用户的瞳孔直径的指示一起存储。以这种方式，车内计算系统可以学习与不同瞳孔直径相关联的行为和交互。例如，每当用户的瞳孔低于阈值直径并且环境光高于阈值强度时，用户可以向下翻转遮阳板、戴上太阳镜和/或眯眼以读取显示器上的内容。因此，车内计算系统可以学习这些行为，并在遇到这种情况时触发帮助用户的动作。例如，如果用户在每次瞳孔直径低于阈值并且环境光高于阈值时都眯着眼睛读取显示器上的内容，则车内计算系统可以在满足这些条件时调节显示器亮度、对比度或显示模式，以使用户在明亮的光环境中更容易阅读显示器。作为另一示例，车内计算系统可以确定当瞳孔被用户的眼睑部分遮挡并且环境光低于阈值时，用户经常会驾驶不稳定。因此，当检测到这些状况时，车内计算系统可以采取措施，通过打开用户的喜爱的无线电台、降低车内温度、摇下窗户等来对抗困倦。为帮助用户减少困倦而执行的动作可以基于先前执行的、并且导致该用户的困倦减少和/或用户状态的另一改变的动作(例如，导致瞳孔不再被用户的眼睑部分遮挡和/或在执行先前动作的阈值时间量内或在执行与先前动作相同类型的动作后的阈值次数内不再被用户的眼睑部分遮挡)。

在一些示例中，响应于用户/环境条件而执行的动作可以在被执行之前由用户确认。使用以上示例，车内计算系统可以呈现(例如，在视觉上、听觉上等)窗户将要被降低的指示。车内计算系统可以在接收到来自用户的确认(例如，通过语音、手势、触摸或其他用户输入)之后降低窗户，并且可以在未接收到来自用户的确认之后(例如，接收到拒绝该动作的用户输入和/或在提供该指示的阈值时间量内没有接收到用户输入)之后不降低窗户。由要基于用户/环境条件执行的动作派生的其他动作也可以由用户确认。例如，在检测到用户在高光/小瞳孔直径情况下眯起眼睛达到阈值次数时，车内计算系统可以向用户呈现对显示器的调节(或眯起眼睛的情况)将与检测到的光/瞳孔情况相关联的指示。在接收到来自用户的确认之后，车内计算系统可以更新数据库以反映该关联。例如，基于来自用户的确认，当检测到上述光/瞳孔情况时，车内计算系统可以自动地(例如，无需进一步的用户确认)调节显示器。用户也可以推翻自动执行的动作。在确定情况和动作之间的关联时可以考虑推翻，使得对于给定关联接收到阈值数量的推翻可以导致该关联的移除。例如，如果用户稍后将显示调节反转超过阈值次数，则车内计算系统可能不再响应于上述光/瞳孔情况而自动执行显示器调节。

对用户的生物特征数据的监测还可以用于确定用户对基于用户/环境条件自动触发的动作的反应。例如，快速眼动可指示用户的情绪强烈(例如，兴奋、沮丧、恐惧等)。基于从用户与车内计算系统和/或其他计算装置的交互导出的习得用户行为，车内计算系统可以响应于检测到快速眼动而自动触发使用户平静的动作。例如，触发的动作可以包括将无线电台调谐到用户的喜爱的电台和/或播放先前已被观察到对用户具有镇静作用的歌曲。可以响应于该动作连续地监测用户的眼动，以便确定动作是否已经改变了用户的状态(例如，眼动是否已经减慢)。以这种方式，可以基于用户是否响应触发的动作来触发多层动作。例如，如果用户的眼动不响应于改变车辆中的音乐而减慢，则车内计算系统可以进一步触发另一动作，例如改变车内部灯光，以发出平静的光线色调。可以与用户简档或驾驶员的其他标识符相关联地存储动作层的数量以及层中导致预期效果的动作的组合(例如，使驾驶员平静、减少驾驶员的分心或困倦等)。以这种方式，未来出现用户状态(例如，快速眼动、困倦、分心等)可以触发指示在先前的执行期间成功地改变用户的状态的所存储的动作层的执行。随着接收到越来越多的数据(例如，随着执行越来越多的动作和/或跟踪越来越多的用户状态)，存储的信息可以不断更新。

图5示出了可以在显示器502上显示的数字助理的示例性用户界面500。例如，显示器502可以是车内计算系统(例如，图1A的车内计算系统109和/或图2的200)的显示器和/或仪表板(例如，图1A和1B的仪表板106)的另一显示器。用户界面500可以显示社交网络信息、通信往来(例如，电子邮件、文本消息等)、联系信息和/或其他信息，以帮助用户在车辆环境中与其他用户进行交互。

用户界面500可以表示交互式车内体验的一个或多个特征，其可以基于所识别的用户、与所识别的用户相关联的习得数据和/或用户/车辆的当前状况来调节。例如，可以基于用户的标识来调节用户界面500的颜色、图标布置、主题、应用程序、操作系统和/或其他特征。可以基于对用户的状态和/或用户的环境条件的持续监测来连续地改变用户界面的操作。例如，如果确定用户具有高认知负荷，则可以简化用户界面以显示更少的项目和/或更大的交互框。在一些示例中，可以基于用户/环境条件来调节用户界面接受或请求的用户输入。对用户界面的调节可以基于针对向界面提供输入的用户的习得行为和偏好。

在一些示例中，与电子装置的使用相关的特征使用模式和分段可以用于基于用户与装置和特征的历史交互来为用户定制车内体验。例如，可以确定用户使用的移动电话或移动操作系统的类型，并且可选地将其与关于其他移动电话所使用的无线连接协议的数据进行比较，以便控制车内计算系统的用户界面的部署和/或选择要包含在车内计算系统中的特征。语音识别的使用(例如，语音识别的趋势和/或与语音识别趋势数据相比，用户对语音识别的使用)可以指导语音操作的特征相对于用于进行用户输入的其他机制(例如，手势输入、按钮致动、触摸/悬停输入等)的部署。数据还可以指示故障模式以指导对车内计算系统的升级或更新的部署，以及车内计算系统的预测和预防性维护。例如，连接机制的使用可以指导对通信协议和车内计算系统的相关硬件的升级或更新的部署。可以分析无线电台在给定位置的流行度，以确定电台列表界面中无线电台的优先级和/或车内计算系统的用户界面中无线电台界面元件的存在。

个性化车辆中的用户体验的另一示例包括利用内部车辆控件和会话界面以及外部/第三方个人助理来服务车辆中的用户请求。图6是在车辆中提供会话用户界面的示例性方法600的流程图。可以使用上述装置的任何组合来执行方法600。例如，在方法600中执行的至少一些处理可以由车内计算系统(例如图1A的车内计算系统109和/或图2的车内计算系统200)执行。在602处，所述方法包括检测请求会话界面的输入。例如，输入可以包括对车辆的即按即说界面元件(例如，方向盘或其他车辆仪表板控制元件)的输入，如604所指示。在606处，所述方法包括检测语音输入。

如上所述，方法600可用于在车辆环境中利用个人助理服务。由于一些个人助理服务利用唤醒词来触发服务端点(例如，语音检测单元)以开始收听用户请求，因此所述方法包括在608确定语音输入是否包括唤醒词。尽管被称为唤醒词，但应理解，唤醒词可包括任何合适的语音数据串，其可以是单词、短语、音调或其他预定义声音。例如，唤醒词可以包括个人助理服务的标识符和/或一个或多个其他自然语言问候词(例如，“嘿，弗雷德”)。如果语音输入包括唤醒词(例如，在608处为“是”)，则所述方法包括确定与唤醒词相关联的选定的个人助理服务，如610所指示。例如，车内计算系统可以存储和/或访问唤醒词列表，每个唤醒词都与个人助理服务相关联(例如，每个唤醒词都可以仅与单个个人助理服务相关联，但是每个个人助理服务都可以与多个唤醒词相关联)。如果语音输入包括与上述列表中的唤醒词匹配的语音数据流，则车内计算系统可以确定语音输入包括唤醒词。因此，车内计算系统可以将检测到的唤醒词映射到相关联的个人助理(PA)服务，以将该PA服务指定为选定的PA服务。由于用户可以与提供唤醒词分开提供语音请求，因此所述方法还包括在612处检测语音请求。语音请求可以被包括在606处检测到的语音输入中，或者可以在612处被作为额外的语音输入检测。

返回到608，如果语音输入不包括唤醒词(例如，在608处为“否”)，则所述方法包括将语音输入识别为语音请求并确定语音请求的上下文和/或内容，如614所指示。应理解，在一些示例中，在614处识别的语音请求还可以包括在606处检测到语音输入之后检测到的额外语音数据。在语音输入不包括唤醒词的示例中，系统可以确定用于服务语音请求的合适的个人助理服务。因此，在616处，所述方法包括确定与所确定的上下文相关联的选定的个人助理服务。例如，多个可能的个人助理服务中的每个个人助理服务(例如，上述列表中的每个PA服务)都可以彼此不同，并且可以适合于来自至少一个其他PA服务的不同上下文。作为非限制性示例，第一PA服务可以被配置用于处理基于购物的请求，而第二PA服务可以被配置用于处理基于导航或基于地图的请求，第三PA服务可以被配置用于处理一般的互联网搜索或信息收集请求。

PA服务的配置可以包括不同的分层菜单结构(例如，购物PA服务可以提供过滤选项以帮助用户查找产品，或者被配置为请求关于定价、商店偏好、商品条件等的更多信息。但是PA地图服务可以提供用于使用地址提示[例如，请求状态、接着是城市，然后是街道等]、兴趣点、距离范围等来选择导航目的地的菜单)。PA服务的配置可以另外或替代地包括不同的自然语言数据库(例如，互联网搜索PA服务可以比PA地图服务访问更多/更大的通用词典，PA地图服务可以访问包括城市名称、街道名称、基本方向等的导航相关词典，而PA个人日历服务可以用来自用户的单词[例如，日历约会、消息通信等]来填充词典)。

不同PA服务的配置的差异可能会导致每种类型的PA服务(例如，地图、购物、互联网查询、新闻、多媒体、旅行、个人日历等)提供对同一语音请求的不同响应。例如，包括关键词“牙医”的语音请求可以导致由PA地图服务输出前往最近的牙医的导航指令，PA新闻服务会输出涉及牙医的最近的新闻报道，PA多媒体服务会输出标题或艺术家姓名中包括单词“牙医”的最流行歌曲，或者PA个人日历服务会输出即将到来的去看牙医的指示。因此，确定语音请求的上下文可以通过将请求转发到与请求相关联的PA服务来帮助用户接收预期的输出。使用以上示例，如果语音请求包括指示对约会时间的请求的自然语言成分(例如，“我的下一次去看牙医的预约是在什么时间”，其中“预约”和“什么时间”指示日历上下文)，则可以将该请求转发到PA个人日历服务。替代地，如果语音请求包括指示对牙医诊所的方向的请求的自然语言成分(例如，“最近的牙医诊所在哪里”，其中“哪里”和“最近”指示地图上下文)，则可以将该语音请求转发到PA地图服务。还可以使用其他输入来确定语音请求的上下文。例如，如果用户在进入车辆之前正在阅读关于牙医的新闻文章，则用户可能希望在车辆中继续听到新闻报道。因此，在用户请求关于牙医的更多信息时，关于用户的最近浏览活动的信息可以用作确定上下文的输入。当在614处确定语音请求的上下文并且在616处确定选定的PA服务时，可以查阅多个不同的输入源。在614和616处确定语音请求的上下文和确定选定的PA服务可以在车内计算系统是、在深度学习(或其他基于云的计算)系统上、在移动装置上、和/或上述装置的任何组合上执行。

在618处，所述方法包括确定车内计算系统是否连接到选定的个人助理服务(例如，在610处由唤醒词识别的PA服务或在616处基于语音请求的上下文识别的PA服务)。如果车内计算系统连接到选定的PA服务(例如，在618处为“是”)，则所述方法包括在620处将与语音请求相对应的信息(例如，语音请求的原始语音数据和/或至少部分处理的语音数据[例如，由车内计算系统用本地语音到文本算法翻译]转发到选定的个人助理。在基于语音请求(例如，而不是基于相关联的唤醒词的话语)的上下文选择选定的个人助理的示例中，车内计算系统可以，在一些示例中，将复制与选定的个人助理服务相关联的唤醒词的模拟语音数据转发到选定的个人助理服务，以便激活选定的个人助理服务。选定的个人助理服务可以处理请求，确定响应，并将该响应(例如，部分/关键词响应，包括要填充到车内计算系统的自然语言模板中的单词，或者完整的、已经形成的自然语言响应)发送到车内计算系统。因此，在622处，所述方法包括从选定的个人助理服务接收和输出对语音请求的响应。在一些示例中，响应可以是要求提供更多信息的提示(例如，所请求的提示和/或额外信息基于与选定的个人助理的类型相关联的分层结构)，在这种情况下，所述方法可以是继续收听与请求相对应的语音输入，并将语音输入转发给选定的个人助理。

如果车内计算系统未连接到选定的PA服务(例如，在618处为“否”)，则所述方法包括在624处选择更新的PA服务。例如，更新的PA服务可以是从车内计算系统所连接的已连接的PA服务的列表中选择的另一PA服务，如626所指示。在这样的示例中，更新的PA服务可以是与选定的PA服务的次最接近的PA服务(例如，与选定的PA服务类型相同的PA服务，或者包括服务与选定的PA服务的类型相关联的请求的能力的PA服务)。在其他示例中，更新的PA服务可以包括用于车辆的嵌入式和/或本地语音识别/自然语言响应服务，如628所指示。在630处，所述方法还包括将与语音请求相对应的信息(例如，如上在620处所述的，原始语音数据和/或至少部分处理的语音数据)发送到更新的PA服务。在更新的PA服务是嵌入式/本地服务的示例中，可以在本地处理语音请求(例如，可以在本地处理改变无线电台的请求，并且这些请求可以用于生成控制车辆的无线电调谐器的指令)和/或者将语音请求发送到车外处理服务以解析和/或完成请求(例如，可以在车辆外执行语言处理，而语音请求履行可以在车辆本地处理)。在632处，所述方法包括从更新的PA服务接收和输出对语音请求的响应。在更新的PA服务是嵌入式/本地服务的示例中，输出响应可以包括用于控制车辆系统的控制指令(例如，在上面的示例中控制无线电调谐器)。

图7和图8示出了在车辆环境中响应自然语言请求的示例场景。如图7所示，个人助理服务可以由家用装置702和/或移动装置704使用。例如，与唤醒词1相关联的个人助理服务被示为由家用装置和移动装置天然地使用。在所示示例中，每个描绘的唤醒词都与不同的个人助理服务相关联(例如，唤醒词1与PA服务1相关联，唤醒词2与PA服务2相关联，唤醒词3与PA服务3相关联，唤醒词4与PA服务4相关联，唤醒词5与PA服务5)相关联。如图所示，本公开提供了对车辆706内的每个PA服务的访问。此外，车辆706的车载自然语言系统可以用于车内适用命令，包括调谐无线电台或调节车辆温度。当车辆未连接到个人助理服务时，可以提供这些命令。图8示出了可以基于请求/命令的内容路由到不同PA服务的示例语音命令/请求。例如，PA服务2可以使用唤醒词2来调用，并可以将其用于与个人或与业务相关的命令。PA服务1可以使用唤醒词1来调用，并可以将其用于与购物相关的命令。PA服务3可以使用唤醒词3来调用，并可以将其用于与导航相关的命令。PA服务5可以使用唤醒词5来调用，并可以将其用于与个人或业务相关的电话呼叫。此外，当车辆连接到个人助理服务但是请求/命令与车辆系统相关联时，可以使用车辆的车载语音识别系统。以这种方式，可以选择性地访问每个连接的个人助理服务并将其用于相关联的语音命令/请求。

图9示出了在车辆中提供用户体验(例如，个性化用户体验)的一个或多个上述方法和场景中涉及的数据的示例计算流程。处理部件可以包括基于云的深度学习处理系统902和情境化引擎904。基于云的深度学习处理系统902可以在一个或多个联网服务器(或其他远程/车外)装置中执行。情境化引擎904可以至少部分地包括在车辆(例如，车内计算系统，诸如图1A的车内计算系统109和/或图2的车内计算系统200)中。在一些示例中，一个或多个部件(例如，处理模块，其可以包括存储在一个或多个存储装置上并可由处理装置执行以执行在此描述的方法和过程的一个或多个部分的指令的一些部分)可以分布在或包括在车辆装置(例如，车辆的车内计算系统)、移动装置(例如，在车内并通信连接到车内计算系统)、云计算系统和/或其他计算装置中的一个或多个之中。

情境化引擎904可以包括输出控制逻辑和/或算法906。例如，输出控制逻辑和/或算法可以确定在给定当前上下文(例如，驾驶员状态、车辆状态、检测到的事件等)的情况下，是否要向驾驶员提供信息(例如，经由车辆装置或车内的另一装置输出)。可以基于一个或多个输入908确定当前上下文。图9示出了示例输入的非限制性集合，包括语音系统(例如，语音识别系统、包括麦克风和/或用于检测、解析和/或解释语音输入的部件)。输入908还可以包括用于检测、识别和/或监控驾驶员的各方面(例如，驾驶员行为、身份、情绪、运动、手势或用于与车辆交互的其他输入等)的驾驶员监控系统(例如，包括手势监控系统)。输入908还可以包括通信地连接到车辆和/或车辆系统的移动装置或其他装置。移动装置可以包括一个或多个本机应用程序和/或第三方应用程序，并且可以包括用于管理通信(例如，消息传递)、日程表/日历、web浏览/搜索、导航，个人助理等的应用程序。输入的其他示例908包括车辆状态监控系统和环境监控系统(例如，两者都可以使用高级驾驶员辅助系统(ADAS)来实现)，以及消费者装置(例如，智能家用扬声器、可穿戴装置等)。

输入908可以将数据发送到情境化引擎，以便由输出控制逻辑和/或算法906单独地处理或在深度学习系统902的帮助下进行处理。例如，输出控制逻辑和/或算法906可以从输入908接收数据并评估输入是否指示事件或以其他方式触发输出的可能性。指示事件的输入数据可以包括来自消息传递应用程序的指示接收到车辆驾驶员的消息的输入，来自车辆系统的指示将被传达给驾驶员的车辆状态的输入(例如，可用系统升级的通知、由于车辆装置故障或由于与常规维护项目相关的定时器到期的服务请求的通知、检测到的不安全驾驶(例如超过速度限制、不稳定的转向/制动/加速等)的通知)、来自语音系统或驾驶员监控系统的指示用户输出请求的输入、来自环境监控系统的指示检测到障碍物的信息，等等。以别的方式触发输出的可能性的输入数据可包括来自驾驶员监控系统、车辆状态系统或环境监控系统的输入，当被分析时，该输入指示可传达给驾驶员的值得注意的变化(例如，指示驾驶员的压力水平已增大、指示车辆异常运行、指示环境条件如天气、能见度等的变化)。

输入控制逻辑和/或算法可以利用深度学习系统902来确定和/或确认用于输出信息的可能性的上述指标中的一个或多个。例如，深度学习系统902可以包括机器学习算法，其利用多层非线性处理单元来对输入(瞬时地和历史上)接收到的数据进行特征提取和变换，其中每层都使用来自至少一个其他层(例如，先前层)的输出。机器学习算法可以使用人工神经网络/深度神经网络、命题公式、信用分配路径(例如，从输入到输出的转换链，以描述输入和输出之间的因果关系)、生成模型(例如，深信念网络和深玻尔兹曼机中的节点)来执行模式分析、事件和/或数据分类、对象/图像和/或语音识别、自然语言处理和/或其他处理。例如，可以监测在特定上下文/条件下驾驶员与车内计算系统的交互(例如，响应于输出)，使得上下文/条件的重现可以导致对于驾驶员最相关的输出(或缺少输出)。

作为说明性示例，如果每当车辆低于某一速度时，驾驶员都快速选择对天气变化的通知不予理会，则深度学习系统902和/或输出控制逻辑和/或算法906可以将低速与对天气更新缺乏兴趣相关联。因此，在车辆低于特定速度时，输出控制逻辑和/或算法906可以控制输出以抑制未来的天气更新。深度学习系统902和/或输出控制逻辑和/或算法可以连续地使关联进化，以基于驾驶员响应来调节用于抑制天气更新的阈值速度。此外，深度学习系统902还可以在驾驶员对天气警报的更新不感兴趣和对其他低紧急警报的更新可能不感兴趣之间建立联系。以这种方式，深度学习系统902可以应用驾驶员对一个上下文下的输出的响应，以确定驾驶员对另一相似上下文下的输出的可能响应和/或确定驾驶员对相同上下文下的另一相似输出的可能响应。

输出控制逻辑和/或算法906可以与情境化引擎904的输出编排逻辑和/或算法910进行通信，以指示是否基于检测到的上下文提供输出(例如，基于来自输入908的数据)。在要提供输出的情况下，输出编排逻辑和/或算法910确定输出类型和用于提供输出的机制。输出编排逻辑和/或算法910可以向一个或多个输出912提供指令，以指示一个或多个输出912提供输出和/或根据一个或多个参数(例如，输出的类型、输出持续时间、输出内容等)提供输出。在一些示例中，输出912可以包括车辆的平视显示器、中央显示器和/或集群显示器(例如，图1A的触摸屏108和/或图1B的一个或多个显示器)，用于提供图像或视频/动画输出。在一些示例中，输出912可以另外或替代地包括用于提供音频输出的音频系统(例如，包括诸如图1A的扬声器112的车辆扬声器)。应理解，输出912可以包括上述或替代性示例中的任何其他图像/音频生成、驱动器和/或其他物联网装置。

输出编排逻辑和/或算法910可以利用上面关于深度学习系统902和输出控制逻辑和/或算法906所讨论的一个或多个处理算法，以基于上下文确定要呈现的输出的类型、机制和/或其他参数。例如，驾驶员与某些类型的输出(例如，音频与视频、长与短持续时间等)的先前交互可以与上下文相关联，类似于上面针对确定是否发出输出的场景所描述的。因此，驾驶员的响应于不同类型的输出的动作可以用于确定要为给定的上下文提供的输出的类型。

另一示例提供了车辆的车内计算系统，所述车内计算系统包括显示装置、将车内计算系统通信地连接到一个或多个车辆装置的硬件接口、处理器和存储可由处理器执行的指令的存储装置，指令用于识别车辆中的用户、检测用户的一个或多个行为、基于所识别的用户的一个或多个检测到的行为来调适显示装置和/或一个或多个车辆装置中的至少选定的车辆装置，从而为所识别的用户提供个性化交互体验。在车内计算系统的第一示例中，车内计算系统可以另外或替代地进一步包括被配置为从至少一个传感器接收输入的传感器子系统，并且指令可以另外或替代地进一步可执行以使用来自至少一个传感器的输入，基于眼睛、面部和瞳孔识别中的一项或多项来识别车辆中的用户和/或车辆的其他乘员。车内计算系统的第二示例可选地包括第一示例，并且还包括车内计算系统，其中用户的一个或多个行为包括由用户执行的手势，其中一个或多个车辆装置包括配置为检测车辆环境的摄像头，并且其中指令进一步可执行以经由显示装置显示摄像头的视图，并且检测手势并调节摄像头的操作和/或基于检测到的手势，调节摄像头的显示视图。车内计算系统的第三示例可选地包括第一示例和第二示例中的一个或两个，并且还包括车内计算系统，其中指令进一步可执行以基于检测到的手势对来自摄像头的图像执行物体识别，并且其中调节摄像头的操作和/或调节摄像头的显示视图包括选择摄像头的视野的子部分(该子部分包括与手势指示的方向相交的感兴趣物体)，以及调节显示在显示装置上的摄像头的视图以聚焦在物体上。车内计算系统的第四示例可选地包括第一至第三示例中的一个或多个，并且还包括车内计算系统，其中调节显示在显示装置上的摄像头的视图以聚焦在物体上包括增大显示在显示装置上的摄像头视图的缩放级别，以增大显示在显示装置上的感兴趣物体的大小。车内计算系统的第五示例可选地包括第一至第四示例中的一个或多个，并且还包括车内计算系统，所述车内计算系统还包括适于将车内计算系统通信地耦合到云计算装置和/或一个或多个其他车辆中的一个或多个的通信接口。车内计算系统的第六示例可选地包括第一至第五示例中的一个或多个，并且还包括车内计算系统，其中检测用户的一个或多个行为包括通过结合云计算装置的基于云的深度学习引擎，聚集来自用户交互的输入、多个车辆输入和其他辅助车辆数据来监测用户状态，以导出用户状态的趋势以及对显示装置和/或选定的车辆装置的调适的反应。车内计算系统的第七示例可选地包括第一至第六示例中的一个或多个，并且还包括车内计算系统，其中指令进一步可执行以随时间的流逝监控用户的一个或多个行为，并且基于所监测的一个或多个行为来建立用户偏好的数据库。车内计算系统的第八示例可选地包括第一至第七示例中的一个或多个，并且还包括车内计算系统，其中检测用户的一个或多个行为包括检测来自用户的语音输入，指令进一步可执行以基于语音输入的上下文，选择性地将语音输入转发到多个个人助理服务中的选定的个人助理服务。车内计算系统的第九示例可选地包括第一到第八示例中的一个或多个，并且还包括车内计算系统，其中检测用户的一个或多个行为包括监测用户的瞳孔直径，其中用户的瞳孔直径与用户状态相关联。车内计算系统的第十示例可选地包括第一到第九示例中的一个或多个，并且还包括车内计算系统，其中指令进一步可执行以确定一个或多个当前环境条件，并通过访问包括用户的瞳孔直径和环境条件之间的关联的数据库在考虑一个或多个当前环境条件的情况下来解释瞳孔直径。车内计算系统的第十一示例可选地包括第一至第十示例中的一个或多个，并且还包括车内计算系统，其中指令进一步可执行以提供会话语音助理，该会话语音助理被配置为经由自然语言音频输入识别和自然语言音频输出呈现与用户交互。车内计算系统的第十二示例可选地包括第一至第十一示例中的一个或多个，并且还包括车内计算系统，其中指令进一步可执行以基于所识别的用户的一个或多个检测到的行为，向用户呈现所提议的自动改变，以调适显示装置和/或选定的车辆装置，并且其中显示装置和/或选定的车辆装置响应于接收到确认所提议的自动改变的用户输入而调适，显示装置和/或选定的车辆装置响应于未接收到确认所提议的自动改变的用户输入而不调适。车内计算系统的第十三示例可选地包括第一至第十二示例中的一个或多个，并且还包括车内计算系统，其中所提议的自动改变基于用户的实时生物特征数据、来自车辆的一个或多个传感器的传感器数据以及用户的历史数据中的一项或多项。

另一示例提供了一种用于车内计算系统的方法，所述方法包括识别车辆中的用户、检测用户的一个或多个行为，以及基于所识别用户的一个或多个检测到行为来调适显示装置和/或车辆装置，以便为所识别的用户提供个性化的交互体验。在所述方法的第一示例中，用户的一个或多个行为可以另外或替代地包括由用户执行的手势，并且车辆装置可以另外或替代地包括被配置为检测车辆的环境的摄像头，以及另外或替代地，指令可以进一步可执行以经由显示装置显示摄像头的视图，并且检测手势，基于检测到的手势，调节摄像头的操作和/或调节摄像头的显示视图。所述方法的第二示例可选地包括第一示例，并且还包括方法，其中检测用户的一个或多个行为包括通过结合云计算装置的基于云的深度学习引擎，聚集来自用户交互的输入、多个车辆输入和其他辅助车辆数据来监测用户状态，以导出用户状态的趋势和对显示装置和/或车辆装置的调适的反应。

另一示例提供了车辆的车内计算系统，所述车内计算系统包括显示装置、将车内计算系统通信地连接到一个或多个车辆装置的硬件接口、处理器和存储可由处理器执行的指令的存储装置，指令用于识别车辆中的用户、检测指示用户的状态的用户的一个或多个行为、检测车辆的一个或多个环境条件、访问在不同用户状态和环境条件期间将用户与一个或多个车辆装置的交互相关联的数据库，并基于所识别的用户的一个或多个检测到的行为以及基于数据库中的与所指示的用户状态相关联的选定的用户交互和所检测到的一个或多个环境条件，调适显示装置和/或一个或多个车辆装置中的至少选定的车辆装置。在车内计算装置的第一示例中，一个或多个行为可以另外或替代地包括在环境光高于阈值光水平时瞳孔直径低于阈值直径，并且调适显示装置和/或选定的车辆装置可以另外或替代地包括调节显示装置的亮度、对比度和显示模式中的一项或多项。第二示例可选地包括第一示例，并且还包括车内计算系统，其中指令进一步可执行以基于导致所指示的用户状态的改变的对显示装置和/或选定的车辆装置的先前调适来调适显示装置和/或选定的车辆装置。

另一示例提供了车辆的车内计算系统，所述车内计算系统包括显示装置、将车内计算系统通信地连接到一个或多个车辆装置的硬件接口以及一个或多个外部个人助理服务、处理器和存储可由处理器执行的指令的存储装置，指令用于检测语音输入，确定语音输入是否包括唤醒词，响应于确定语音输入包括唤醒词，从一个或多个外部个人助理服务中识别第一选择的个人助理服务，第一选择的个人助理服务与唤醒词相关联，以及将与用户的语音请求相对应的信息转发到第一选择的个人助理服务，而响应于确定语音输入不包括唤醒词，从一个或多个外部个人助理服务中识别第二选择的个人助理服务，通过将语音输入的上下文与第二选择的个人助理的类型匹配来选择第二选择的个人助理服务，并且将与用户的语音请求相对应的信息转发到第二选择的个人助理服务。在第一示例中，车内计算系统另外或替代地进一步包括可执行以从第一或第二选定个人助理服务之一接收响应并执行与响应相对应的动作的指令。第二示例可选地包括第一示例，并且还包括车内计算系统，其中动作包括控制显示器以输出响应、控制车辆的扬声器以输出响应和控制连接到车内计算系统的装置以执行与响应相关联的动作中的一个或多个。第三示例可选地包括第一和第二示例中的一个或两个，并且还包括车内计算系统，其中语音输入的上下文包括语音输入的内容，提供语音输入的用户的状态，和/或车辆的状态。

另一示例提供了一种方法，所述方法包括，取决于车辆的通信系统是否连接到远程系统(诸如远程服务器或包括车辆外部的基于云的系统的远程网络)，以仅基于车内数据的第一响应来响应用户语音请求；并且当连接到远程系统时，至少基于远程数据，用不同的第二响应来响应同一用户语音请求。在所述方法的第一示例中，所述方法另外或替代地包括当车辆的通信系统未连接到远程系统时用第一响应来响应用户语音请求。

另一示例提供了一种方法，所述方法包括：通过启用(和/或开始进程)，利用基于用户的第一语音请求向用户提供第一提示的第一远程服务来响应用户的第一用户语音请求，以及通过启用(和/或开始进程)，利用基于用户的第二语音请求向用户提供第二不同音频提示的第二不同远程服务来响应第二不同用户语音请求。在所述方法的第一示例中，第一和第二语音请求之间的差异可以另外或替代地包括用户提供不同的服务名称和/或可以基于用户的请求的上下文。

已经出于说明和描述的目的而呈现了对实施方案的描述。可以鉴于以上描述执行或可以通过实践方法获得实施方案的合适的修改和变化。例如，除非另有说明，否则所述方法中的一个或多个可以由合适的装置和/或装置的组合来执行，例如参考图1描述的车内计算系统109和/或参考图2描述的车内计算系统200，结合参考图3描述的计算系统300。可通过用一个或多个逻辑装置(例如，处理器)结合一个或多个额外硬件元件(诸如存储装置、存储器、硬件网络接口/天线、开关、执行器、时钟电路等)执行所存储指令来执行方法。也可以按除了本申请中所描述的顺序之外的各种顺序并行地且/或同时地执行所描述的方法和相关联的动作。所述系统本质上是示例性的，并且可以包括额外元件和/或省略元件。本公开的主题包括所公开的各种系统和配置以及其他特征、功能和/或性质的全部新颖的且非显而易见的组合和子组合。

如本申请中所使用的，以单数形式列举并且前面带有单词“一个”或“一种”的元件或步骤应理解为并不排除多个所述元件或步骤，除非指出这种排除情况。此外，对本公开的“一个实施方案”或“一个示例”的参考并非意图解释为排除也并入了所列举特征的额外实施方案的存在。术语“第一”、“第二”和“第三”等仅用作标签且并非意图对其对象施加数字要求或特定位置顺序。所附权利要求特别指出来自上述公开内容的、被认为是新颖的且非显而易见的主题。

Claims

1.一种车辆的车内计算系统，所述车内计算系统包括：

显示装置；

硬件接口，其通信地将所述车内计算系统连接到一个或多个车辆装置；

处理器；和

存储装置，其存储指令，所述指令可由所述处理器执行以：

识别所述车辆中的用户；

检测所述用户的一个或多个行为；以及

基于针对所述经识别的用户检测到的所述一个或多个行为来调适所述显示装置和/或所述一个或多个车辆装置中的至少选定的车辆装置，以为所述识别的用户提供个性化的交互体验。

2.如权利要求1所述的车内计算系统，其还包括：传感器子系统，所述传感器子系统被配置为从至少一个传感器接收输入，其中所述指令进一步可执行以使用来自所述至少一个传感器的所述输入，基于眼睛、面部和瞳孔识别中的一项或多项来识别所述车辆中的所述用户和/或所述车辆的其他乘员。

3.如权利要求2所述的车内计算系统，其中所述用户的所述一个或多个行为包括由所述用户执行的手势，其中所述一个或多个车辆装置包括被配置为检测所述车辆的环境的摄像头，并且其中指令进一步可执行以经由所述显示装置显示所述摄像头的视图，并检测所述手势，且基于所述检测到的手势，调节所述摄像头的操作和/或调节所述摄像头的所述显示的视图。

4.如权利要求3所述的车内计算系统，其中所述指令进一步可执行以基于所述检测到的手势，对来自所述摄像头的图像执行物体识别，并且其中调节所述摄像头的操作和/或调节所述摄像头的所述显示的视图包括选择所述摄像头的视野的子部分，所述子部分包括与所述手势指示的方向相交的感兴趣物体，并调节显示在所述显示装置上的所述摄像头的视图以聚焦在所述物体上。

5.如权利要求4所述的车内计算系统，其中调节显示在所述显示装置上的所述摄像头的所述视图以聚焦在所述物体上包括增大显示在所述显示装置上的所述摄像头的所述视图的缩放级别，以增大显示在所述显示装置上的所述感兴趣物体的大小。

6.如权利要求2所述的车内计算系统，其还包括通信接口，所述通信接口适于将所述车内计算系统通信地耦合到云计算装置和/或一个或多个其他车辆中的一个或多个。

7.如权利要求6所述的车内计算系统，其中检测所述用户的所述一个或多个行为包括通过结合所述云计算装置的基于云的深度学习引擎，聚集来自用户交互的输入、多个车辆输入和其他辅助车辆数据来监测用户状态，以导出所述用户状态的趋势和对所述显示装置和/或所述选定的车辆装置的调适的反应。

8.如权利要求1所述的车内计算系统，其中所述指令进一步可执行以随时间的流逝监测所述用户的所述一个或多个行为，并且基于所述监测的一个或多个行为来建立用户偏好的数据库。

9.如权利要求8所述的车内计算系统，其中检测所述用户的所述一个或多个行为包括检测来自所述用户的语音输入，所述指令进一步可执行以基于所述语音输入的上下文，选择性地将所述语音输入转发到多个个人助理服务中的选定的个人助理服务。

10.如权利要求1所述的车内计算系统，其中检测所述用户的所述一个或多个行为包括监测所述用户的瞳孔直径，其中所述用户的所述瞳孔直径与用户状态相关联。

11.如权利要求10所述的车内计算系统，其中所述指令进一步可执行以确定一个或多个当前环境条件，并通过访问包括所述用户的瞳孔直径和环境条件之间的关联的数据库在考虑所述一个或多个当前环境条件的情况下来解释瞳孔直径。

12.如权利要求1所述的车内计算系统，其中所述指令进一步可执行以提供会话语音助理，所述会话语音助理被配置为经由自然语言音频输入识别和自然语言音频输出呈现与所述用户进行交互。

13.如权利要求1所述的车内计算系统，其中所述指令进一步可执行以基于针对所述经识别的用户检测到的所述一个或多个行为，向所述用户呈现所提议的自动改变，以调适所述显示装置和/或所述选定的车辆装置，并且其中所述显示装置和/或所述选定的车辆装置响应于接收到确认所述提议的自动改变的用户输入而调适，并且所述显示装置和/或所述选定的车辆装置响应于未接收到确认所述提议的自动改变的用户输入而不调适。

14.如权利要求13所述的车内计算系统，其中所述提议的自动改变基于所述用户的实时生物特征数据、来自所述车辆的一个或多个传感器的传感器数据以及所述用户的历史数据中的一项或多项。

15.一种用于车内计算系统的方法，所述方法包括：

识别所述车辆中的用户；

检测所述用户的一个或多个行为；以及

基于针对所述经识别的用户检测到的所述一个或多个行为来调适显示装置和/或车辆装置，以为所述识别的用户提供个性化的交互体验。

16.如权利要求15所述的方法，其中所述用户的所述一个或多个行为包括由所述用户执行的手势，其中所述车辆装置包括被配置为检测所述车辆的环境的摄像头，并且其中指令进一步可执行以经由所述显示装置显示所述摄像头的视图，并检测所述手势，且基于所述检测到的手势，调节所述摄像头的操作和/或调节所述摄像头的所述显示视图。

17.如权利要求15所述的方法，其中检测所述用户的所述一个或多个行为包括通过结合所述云计算装置的基于云的深度学习引擎，聚集来自用户交互的输入、多个车辆输入和其他辅助车辆数据来监测用户状态，以及导出所述用户状态的趋势和对所述显示装置和/或所述车辆装置的调适的反应。

18.一种车辆的车内计算系统，所述车内计算系统包括：

显示装置；

处理器；和

存储装置，其存储指令，所述指令可由所述处理器执行以：

识别所述车辆中的用户；

检测所述用户的指示用户状态的一个或多个行为；

检测所述车辆的一个或多个环境条件；

访问在不同用户状态和环境条件期间将用户与一个或多个车辆装置的交互相关联的数据库；以及

基于所述识别的用户的所述一个或多个检测到的行为以及基于所述数据库中的与所述指示的用户状态相关联的选定的用户交互和所述检测到的一个或多个环境条件，调适所述显示装置和/或所述一个或多个车辆装置中的至少选定的车辆装置。

19.如权利要求18所述的车内计算系统，其中所述一个或多个行为包括在环境光高于阈值光水平时瞳孔直径低于阈值直径，并且其中调适所述显示装置和/或选定的车辆装置包括调节所述显示装置的亮度、对比度和显示模式中的一项或多项。

20.如权利要求18所述的车内计算系统，其中所述指令进一步可执行以基于导致所述指示的用户状态的改变的对所述显示装置和/或所述选定的车辆装置的先前调适来调适所述显示装置和/或所述选定的车辆装置。