CN111762192A - 用于自动驾驶车辆的可听通信 - Google Patents

Abstract

本公开的各方面提供了从自动驾驶车辆到乘客的通信。例如，可以监视来自车辆的各种系统的消息。可以基于消息中的至少一个消息来识别可听通知。当可听通知具有第一优先级时，可听通知可以包括从第一音乐调选择的第一组音符，并且当可听通知具有第二优先级时，可听通知可以包括从第二音乐调选择的第二组音符。第一音乐调可以与第二音乐调不同，并且第一优先级与第二优先级不同。可以使用车辆的扬声器向乘客播放可听通知。

Description

用于自动驾驶车辆的可听通信

技术领域

本申请涉及用于自动驾驶车辆的可听通信。

背景技术

诸如不需要人类驾驶员的车辆的自动驾驶车辆可用于帮助将乘客或物品从一个位置运输到另一个位置。这种车辆可以在完全自动模式下操作，其中乘客可以提供某一初始输入，例如接载(pickup)或目的地位置，并且车辆自己操纵到该位置。通常包括自动和非自动的车辆可以向乘员提供关于车辆的状态以及在某些情况下关于在车辆外部的物体的状态的音频和/或视觉通知。

发明内容

本公开的各方面提供了用于提供从自动驾驶车辆到乘客的通信的方法。作为示例，一种方法可以包括由一个或多个计算设备监视来自车辆的各种系统的消息，以及由一个或多个计算设备基于消息中的至少一个消息识别可听通知。当可听通知具有第一优先级时，可听通知包括从第一音乐调(musical key)选择的第一组音符，并且其中当可听通知具有第二优先级时，可听通知包括从第二音乐调选择的第二组音符。第一音乐调与第二音乐调不同，并且第一优先级与第二优先级不同。该方法还包括使用车辆的扬声器向乘客播放可听通知。

在一个示例中，第一音乐调是大调(major key)。在此示例中，第一音乐调是E大调。附加地或替选地，第二音乐调是小调(minor key)，并且其中，第一优先级小于第二优先级。附加地或替选地，第二音乐调是E小调。在另一示例中，播放可听通知包括播放第一音乐调的一个或多个音符。在另一示例中，播放可听通知包括重复第一音乐调的一个或多个音符中的一个或多个音符，直到满足预定条件。在该示例中，预定条件是车辆的车门被关闭。在另一示例中，识别可听通知包括基于消息中的至少一个消息的内容来选择多个预定可听通知中的一个预定可听通知。

本公开的另一方面提供一种用于提供从自动驾驶车辆到乘客的通信的系统，该系统包括具有一个或多个处理器的一个或多个计算设备。一个或多个计算设备被配置为监视来自车辆的各种系统的消息以及基于消息中的至少一个消息识别可听通知。当可听通知具有第一优先级时，可听通知包括从第一音乐调选择的第一组音符，并且当可听通知具有第二优先级时，可听通知包括从第二音乐调选择的第二组音符。另外，第一音乐调与第二音乐调不同，并且第一优先级与第二优先级不同。一个或多个计算设备还被配置为使用车辆的扬声器向乘客播放可听通知。

在一个示例中，该系统还包括车辆。在另一示例中，第一音乐调是大调。此外，第一音乐调是E大调。附加地或替选地，第二音乐调是小调，并且其中，第一优先级小于第二优先级。附加地或替选地，第二音乐调是E小调。在另一示例中，一个或多个计算设备还被配置为通过播放第一音乐调的一个或多个音符来播放可听通知。在另一示例中，一个或多个计算设备还被配置为通过重复第一音乐调的一个或多个音符中的一个或多个音符直到满足预定条件，来播放可听通知。在该示例中，预定条件是车辆的车门被关闭。在另一示例中，一个或多个计算设备还被配置为通过基于消息中的至少一个消息的内容选择多个预定可听通知中的一个预定可听通知来识别可听通知。

本公开的另一方面提供一种非暂时性计算机可读记录介质，其上存储有指令。指令在由一个或多个计算设备的一个或多个处理器执行时，使一个或多个计算设备执行用于提供从自动驾驶车辆到乘客的通信的方法。该方法包括监视来自车辆的各种系统的消息以及基于消息中的至少一个消息识别可听通知。当可听通知具有第一优先级时，可听通知包括从第一音乐调选择的第一组音符，并且当可听通知具有第二优先级时，可听通知包括从第二音乐调选择的第二组音符。第一音乐调与第二音乐调不同，并且第一优先级与第二优先级不同。该方法还包括使用车辆的扬声器向乘客播放可听通知。

附图说明

图1是根据本公开的各方面的示例车辆的功能图。

图2是根据本公开的各方面的车辆的示例外部视图。

图3是根据本公开的各方面的示例流程图。

具体实施方式

概述

该技术涉及向自动驾驶车辆的乘客提供视觉和可听通知。例如，可结合完成或确认某些任务在自动驾驶车辆中播放可听声音。这可以包括开始旅程(trip)、确认小汽车接收到目的地的更新、正在调用乘车者辅助、请求(例如，乘车者辅助、另外的或更新的目的地)已被取消等。也可以播放可听声音以吸引乘客的注意力(例如，使人专注于视觉通知的显示)，或另外影响乘客(例如，使乘客放心、告警乘客临近的事件，例如他们的旅程结束)。为了确保乘客能够容易地在较低优先级和较高优先级通知之间进行区分，可以使用不同的调性中心(tonal center)来提供通知。例如，可以使用特定的音乐调或音高(pitch)组来放置每个通知。在一个示例中，对于较低优先级或更常规的可听通知，可以以E大调或与快乐、明亮或另外积极的相关联的其他大调播放或生成调性中心或调。可以以除E大调以外的调播放较高优先级或更严肃的通知。为不同目的改变声音的其他方法包括改变声音的长度和重复性。

为了生成这些可听通知，车辆的车载用户界面系统或计算设备可以监视发送到车辆的各种系统和从车辆的各种系统发送的消息。基于监视，车载用户界面系统或计算设备可以确定是播放适当的声音还是另外生成通知。例如，可以基于监视的消息的内容和分类来从多个预存储的可听通知中识别可听通知。

可以使用音乐大调和音乐小调中的任何一个提供具有不同优先级的通知。这些音乐调中的每一个包含七个音符。可听通知的音乐调和/或长度的差异可用于指示可听通知之间的优先级(例如，低、中等和高)的差异。通过使用不同调的音符组合在低、中等和高优先级可听通知之间进行区分，车辆的乘客可以自动识别不同优先级的可听通知之间的音调的变化，从而识别出可听通知的重要性或紧急性的变化。

本文描述的特征可以允许自动驾驶车辆更好地与车辆的一个或多个乘客通信。例如，通过改变为乘客播放可听声音的调性中心或调，自动驾驶车辆可以在一种情况下抓住乘客的注意力并使乘客放心(例如，做其他事情而不是注意自动驾驶车辆的动作，例如休息、听其他音乐、观看其他媒体)。如此，声音可能导致乘客改变他或她当前的关注，例如，将关注重定向为朝向或离开显示器，或者更加密切注意其他可听通知。这转而也可能增加乘客能够接收视觉通知的可能性、为将来的事件做准备和/或理解引起通知的情况。例如，一旦乘客接收到视觉通知或其他可听通知并理解了通知所提供的信息，则乘客不太可能会感到惊讶、焦虑或压力。此外，因为较低优先级通知是使用与确认和一般环境音调相同或相似的调性中心或调来播放的，因此这可以为乘客提供更舒缓的体验，因为在一切正常时(例如，按预期进行)，他们可能习惯于听到该调性中心或调。

示例系统

如图1所示，根据本公开的一个方面的车辆100包括各种组件。尽管本公开的某些方面关于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于小汽车、卡车、摩托车、公共汽车、大型游艺车(recreational vehicles)等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常在通用计算设备中存在的其他组件的计算设备110。

存储器130存储一个或多个处理器120可访问的信息，包括可由处理器120执行或另外使用的指令132和数据134。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质，或存储可借助于电子设备读取的数据的其他介质，诸如硬盘驱动器、存储器卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

指令132可以是由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储，以供处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的集合或脚本。下面更详细地解释指令的例程、方法和功能。

处理器120可以根据指令132来检索、存储或修改数据134。例如，尽管所要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中，存储在作为具有多个不同字段和记录的表、XML文档或平面文件存储在关系数据库中。数据也可以以任何计算设备可读格式来格式化。

一个或多个处理器120可以是任何传统处理器，诸如商用CPU或GPU。替选地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器可以实际上包括可以存放在同一物理外壳内或可以不存放在同一物理外壳内的多个处理器、计算设备或存储器。例如，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。

计算设备110可以包括通常结合计算设备使用的所有组件，例如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作以显示信息的任何其他电学设备)。在图1的示例中，车辆包括(多个)电子显示器152以及一个或多个扬声器154，以提供信息或音频-视觉体验。显示器152可以沿着车辆的仪表板、中央控制台、座椅靠背定位，投影到挡风玻璃上等。替选地或附加地，可以传输视觉信息以在乘客的个人设备(诸如移动电话、平板PC等)上呈现。一个或多个扬声器154也可以位于车辆的车厢内的各个点，诸如仪表板、一个或多个车门、座椅头枕等。在一个示例中，(多个)扬声器154可以是集成到车辆的显示器152或其他组件中的触觉扬声器。在另一示例中，(多个)扬声器154可以是能够以所选调(例如，E或G)生成一个或多个音调(tone)的换能器(transducer)。替选地或附加地，可以传输可听信息以在乘客的个人设备上呈现。

计算设备110的(多个)显示器152、(多个)扬声器154、(多个)处理器120和其他部分可以形成车载用户界面(UI)系统。在此，由(多个)处理器120驱动的(多个)显示器可以包括视觉UI，而由(多个)处理器120驱动的(多个)扬声器154可以包括听觉UI。由听觉UI产生的声音可以用于补充视觉UI。例如，对于时间敏感通知或其他信息，可以采用一种音调来吸引对显示器的注意。可以采用另一种音调来加强动作或事件，诸如乘车(ride)请求的发起、修改或取消。还可以采用其他音调作为对用户输入的反馈，而不同的音调可以用于关于乘车服务、车辆车队等的品牌意识。下面讨论关于车载UI的另外的方面。

计算设备110还可以包括一个或多个无线网络连接156，以促进与并入车辆100中或从车辆100中移除的其他计算设备通信。无线网络连接可以包括短距离通信协议，诸如蓝牙、低功耗蓝牙(LE)、蜂窝连接、以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP、以及前述各项的各种组合。

自动控制系统176可以包括与计算设备110类似地配置的各种计算设备，其能够与车辆的各种组件进行通信，以便在自动驾驶模式下控制车辆。例如，返回图1，自动控制系统176可以与车辆100的各种系统(诸如，减速系统160、加速系统162、转向系统164、路线(routing)系统166、规划器系统168、定位系统170和感知系统172)通信，以便在自动驾驶模式下根据存储器130的指令134控制车辆100的运动、速度等。

作为示例，自动控制系统176的计算设备可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，转向系统164可以由自动控制系统176使用，以便控制车辆100的方向。例如，如果车辆100被配置用于在道路上使用，诸如小汽车或卡车，则转向系统可以包括控制车轮的角度以使车辆转弯的组件。自动控制系统176也可以使用信号(signaling)系统，以便例如在需要时通过点亮转弯信号或制动灯来向其他驾驶员或车辆发出该车辆的意图的信号。

路线系统166可以由自动控制系统176使用，以便生成到目的地的路线。规划器系统168可以由计算设备110使用，以便遵循路线。在这方面，规划器系统168和/或路线系统166可以存储详细的地图信息，例如，识别道路的形状和高程(elevation)、车道线、交叉路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、靠边停车位(pull overspots)植被或其他此类对象和信息的高度详细的地图。

定位系统170可以由自动控制系统176使用，以便确定车辆在地图上或地球上的相对或绝对位置。例如，定位系统170可以包括GPS接收机，以确定设备的纬度、经度和/或高度位置。其他定位系统(诸如，基于激光的定位系统、惯性辅助GPS或基于相机的定位)也可以用于识别车辆的位置。车辆的位置可以包括诸如纬度、经度和高度的绝对地理位置，以及相对位置信息，诸如相对于紧接其周围的其他小汽车的位置，这通常可以用比绝对地理位置小的噪声来确定。

定位系统170还可以包括与自动控制系统176的计算设备通信的其他设备，诸如加速度计、陀螺仪或另外的方向/速度检测设备，以确定车辆的方向和速度或其变化。仅作为示例，加速设备可以确定其相对于重力方向或垂直于其的平面的俯仰、偏航或滚动(或其变化)。该设备还可以跟踪速度的增加或减少以及这种变化的方向。如本文所述的设备的位置和朝向数据的提供可以被自动地提供给计算设备110、其他计算设备以及前述的组合。

感知系统172还包括用于检测车辆外部的对象(诸如，其他车辆、道路上的障碍物、交通信号、标志、树木等)的一个或多个组件。例如，感知系统172可以包括激光器、声纳、雷达、相机和/或记录数据的任何其他检测设备，这些数据可以由自动控制系统176的计算设备处理。在车辆为乘用车(例如小型货车)的情况下，小型货车可以包括安装在车顶或其他方便位置的激光器或其他传感器。例如，图2是车辆100的示例外部视图。在该示例中，车顶上(roof-top)外壳210和圆顶(dome)外壳212可以包括LIDAR传感器以及各种相机和雷达单元。另外，位于车辆100的前端的外壳220和在车辆的驾驶员侧和乘客侧的外壳230、232可以分别存放LIDAR传感器。例如，外壳230位于驾驶员车门260的前面。车辆100还包括用于也位于车辆100的车顶的雷达单元和/或相机的外壳240、242。可以在车辆100的前端和后端处和/或沿着车顶或车顶上外壳210的其他位置定位附加的雷达单元和相机(未示出)。

自动控制系统176能够与车辆的各种组件通信，以便根据自动控制系统176的存储器的原(primary)车辆控制代码来控制车辆100的运动。例如，返回图1，自动控制系统176可以连接到总线以用于与车辆100的各种系统(诸如，减速系统160、加速系统162、转向系统164、路线系统166、规划器系统168、定位系统170、感知系统172和动力系统174(即，车辆的引擎或马达))通信，以便根据存储器130的指令134控制车辆100的运动、速度等。

车辆的各种系统可以使用自动驾驶车辆控制软件来起作用，以便确定如何控制车辆。作为示例，感知系统172的感知系统软件模块可以使用由自动驾驶车辆的一个或多个传感器(诸如，相机、LIDAR传感器、雷达单元、声纳单元、红外传感器等)生成的传感器数据，以检测并识别对象及其特征。这些特征可以包括位置、类型、走向、朝向、速度、加速度、加速度的变化、大小、形状等。在某些情况下，可以将特征输入到行为预测系统软件模块中，该模块基于对象类型使用各种行为模型以输出针对检测到的对象的预测的将来行为。在其他情况下，可以将特征放入一个或多个检测系统软件模块中，诸如，配置为检测已知交通信号的状态的交通灯检测系统软件模块、配置为从车辆的一个或多个传感器生成的传感器数据检测施工区域的施工区域检测系统软件模块、以及配置为从车辆的传感器生成的传感器数据检测紧急车辆的紧急车辆检测系统。

这些检测系统软件模块中的每个可以使用各种模型来输出施工区域或对象是紧急车辆的可能性。检测到的对象、预测的将来行为、来自检测系统软件模块的各种可能性、识别车辆的环境的地图信息、来自定位系统170的识别车辆的位置和朝向的位置信息、车辆的目的地、以及来自车辆的各种其他系统的反馈可以输入到规划器系统168的规划器系统软件模块中。规划器系统可以使用该输入来生成使车辆基于由路线系统166的路线模块生成的路线在将来的某一短时间段内遵循的轨迹。自动控制系统176的控制系统软件模块可以被配置为例如通过控制车辆的制动、加速和转向来控制车辆的运动，以便遵循轨迹。

自动控制系统176可以通过控制各种组件在自动驾驶模式下控制车辆。例如，通过示例，自动控制系统176可以使用来自详细的地图信息和规划器系统168的数据来完全自动地将车辆导航到目的地位置。自动控制系统176可以使用定位系统170来确定车辆的位置，以及使用感知系统172来在需要时检测对象且对对象做出响应以安全到达该位置。

再次，为了这样做，计算设备110可以生成轨迹，并使车辆遵循这些轨迹，例如，通过使车辆加速(例如，通过由加速系统162向引擎或动力系统174提供燃料或其他能量)、减速(例如，通过由减速系统160减少供应到引擎或动力系统174的燃料、改变档位、和/或通过施加制动)、改变方向(例如，通过由转向系统164转动车辆100的前轮或后轮)、以及用信号通知这种变化(例如，通过点亮转弯信号)。因此，加速系统162和减速系统160可以是动力传动系统(drivetrain)的一部分，其包括在车辆的引擎和车辆的车轮之间的各种组件。再者，通过控制这些系统，自动控制系统176还可以控制车辆的动力传动系统，以便自动地操纵车辆。

在一个示例中，计算设备110可以是并入车辆100中的自动驾驶计算系统的通信系统的一部分。在这方面，通信系统可以包括或可以被配置为发送信号以使可听声音和其他通知通过扬声器154被播放。如本文所述，这种通知可以包括例如关于旅程、车辆状态、附近的外部环境中的对象等的音调(tone)、和弦(chord)、鸣响(chime)、音乐或口头(例如旁白)信息。

尽管本文的示例描述了演奏音符或和弦，但是这些音符或和弦实际上可以是口语语音(speaking voice)。取决于可听通知的优先级(例如，低、中等或高)，口语语音的声音可以对应于不同的调和/或时间长度的音符。一种或多种音调或其他声音可用于呈现时间敏感通知，而语音可用于在乘客可能专注于诸如扣住或解开安全带的某件事时提供特定信息。在某些情况下，对于更高优先级的可听通知，可以播放音乐或其他声音以引起乘客的注意，同时或之后可以播放口头解释。口头解释可以解释可听通知的目的和/或向乘客提供指示。

在这方面，数据134可以存储用于分别经由听觉和/或视觉UI生成可听和/或视觉通知的信息。例如，可听通知可以预先存储为压缩或未压缩的音频文件，诸如WAV、AIFF、MP3、ACC、WMA、FLAC等。在某些情况下，可听通知可以包括人类或计算机生成的语音分段、音乐片段等。在其他情况下，可听通知可以包括一个或多个音符、和弦、或一系列音符和/或和弦。这里，数据134可以存储查找表或其他索引，该查找表或其他索引指示每个可听通知与事件和/或消息的内容之间的对应性，如下面进一步讨论的。例如，事件或事件的类型可以通过查找表或其他索引与可听声音相关联，并且在某些情况下，与要在可听声音之后或与之一起播放的口头或旁白消息相关联。在选择特定的可听通知时，(多个)扬声器154可以生成对应的音符、和弦、或一系列音符和/或和弦。所存储的视觉通知可以包括文本、图标、图形、静止图像以及多个视频帧等。

示例方法

除了上面描述的以及在附图中示出的操作之外，现在将描述本技术的各种操作和功能。应理解，不必以下面描述的精确顺序执行以下方法。反而，可以以不同的顺序或同时处理各个步骤，并且还可以添加或省略步骤。

在为一个或多个乘客提供无人驾驶乘车的自动驾驶车辆中，可能重要的是对乘客给出关于旅程，当前、即将到来或预期的驾驶操作(例如，硬制动或急转弯)、车辆周围环境中的对象(例如，行人、骑行者、其他车辆)、或确认或者加强接收到来自乘客的输入以及成功完成或取消过程或动作的及时和相关信息。通过听觉UI生成的可听通知可以帮助乘客轻松进行其无人驾驶乘车，向乘客确保自动驾驶车辆按预期运行或已接收到来自乘客的输入，提醒(多个)乘客和/或引导他们的注意力，例如引导到车辆内的显示器以得到更多信息。

图3是根据本公开的各方面的示例流程图300，其可以由一个或多个计算设备的一个或多个处理器(诸如，计算设备110的处理器120)执行，以便促进从自动驾驶车辆到自动驾驶车辆的乘客的通信。如在块310所示，可以监视来自车辆的各种系统的消息。可以基于消息中的至少一个来识别可听通知。在块320处，当可听通知具有第一优先级时，可听通知包括从第一音乐调选择的第一组音符，并且当可听通知具有第二优先级时，可听通知包括从第二音乐调选择的第二组音符。第一音乐调与第二音乐调不同，并且第一优先级与第二优先级不同。在块330处，可以使用车辆的扬声器向乘客播放可听通知。

为了生成这些可听通知，车载用户界面(UI)系统或计算设备110可以监视发送到车辆的各种系统和从车辆的各种系统发送的消息。例如，监视可以包括查核发送到自动控制系统176和从自动控制系统176发送的消息以及这些消息的内容。例如，由规划器系统168向加速和减速系统提供的指令、从感知系统172到规划器系统168的消息、来自车辆的各种传感器(例如，车门传感器、光传感器、相机、安全带传感器、压力传感器)的反馈等。

基于监视，车载用户界面(UI)系统或计算设备110可以确定是否播放适当的声音或另外生成通知。例如，可以基于监视的消息的内容和分类从多个预存储的可听通知中识别可听通知。在这方面，单个消息、消息的组合或某个阈值被满足可以触发可听通知。换句话说，每次接收到消息时，可以将消息的内容与前述索引或对应性进行比较，以确定是否需要播放通知和/或识别可听通知之一。在某些情况下，可以跟踪消息以识别如上述索引或对应性中所指示的可触发可听通知的消息或这些消息的内容的组合。

作为示例，如果消息的内容指示旅程正在开始，则这可以对应于例如以E调的开始旅程可听声音，以指示旅程正按预期开始。在另一示例中，可以(例如，在调性上或按自然规律(physically))提供在旅程开始时的可听声音，以将乘客的注意力引到呈现信息(例如，关于旅程、小汽车的环境)的显示屏。类似地，如果消息的内容指示车辆的车门被打开，则这可以对应于打开车门可听通知，该打开车门可听通知使乘客识别出车辆的车门被打开或将乘客的注意力引向提供这种信息的显示屏。作为另一示例，指示过去或将来的加速事件的消息内容可以对应于将满足特定的加速阈值的车辆的物理运动，例如横向和纵向加速度的突然变化。如果满足任何这种阈值，则车载用户界面(UI)系统或计算设备110可以识别可听通知，该可听通知指示加速事件已经发生或将发生(如果有足够的时间这样做)。下面讨论其他示例可听通知。

可以使用24个音乐大调和音乐小调中的任何一个提供具有不同优先级的通知。这些音乐调中的每一个都包含七个音符。音乐调和/或可听通知的长度的差异可用于指示可听通知之间的优先级的差异。例如，低优先级可听通知可以是诸如E大调的非常短的(1-2个音符)音调(例如，铃音或和弦)的短音。或者，可以使用E大调的七个音符(诸如，E、F#、G#、A、B、C#和D#)的音符组合生成通知。

中等优先级可听通知可以是稍长的声音，诸如E大调或一些其他调的单个音符、和弦、旋律，或一系列音符、和弦和/或旋律(例如1-3个小节)。在这方面，可以使用E大调的七个音符或一些其他调的七个音符的音符组合来生成中等优先级通知。在某些情况下，例如，可以在多个循环中重复部分或全部声音，直到解决了可听通知(例如，车门打开)的原因(例如，通过关闭车门)。

例如对时间非常敏感的高优先级通知可以用诸如E小调的小调呈现更长的声音，诸如单个音符、和弦、或一系列音符和/或和弦。在这方面，可以使用E小调(例如，E、F#、G、A、B、C和D)或其他小调的七个音符的音符组合来生成高优先级通知。

通过使用不同调的音符组合在低优先级、中等优先级和高优先级可听通知之间进行区分，车辆的乘客可以自动识别不同优先级的可听通知之间的音调变化，从而认识到可听通知的重要性或紧急性的变化。例如，使用来自E大调的七种音符的音符组合生成的低优先级通知可能会对乘客引起镇定或舒缓的效果，而使用来自E小调的七种音符的音符组合生成的高优先级通知可能会引起更大的刺耳(jarring)效果，因此会更有可能抓住乘客的注意力。而且，通过取决于优先级改变可听通知的音乐调，与对所有可听通知仅使用E小调或E大调的音符组合相反，乘客会更可能注意到变化，因此注意具有不同优先级的不同可听通知之间的区别。

与中等或较低优先级可听通知相比，高优先级可听通知还可以用更高的音量呈现。例如，对于高优先级可听通知，音量可能会在可听通知开始时较高，或者在播放可听通知时随时间增加。如上所述，低优先级通知警报可以播放一次，而要求乘客行动(例如，接受路线更改或关闭车门)的中等优先级可听通知可以重复一次或多次，或者直到乘客执行动作为止。

可以在乘车期间的不同时间点和/或在不同条件下播放各种类型的可听通知。这可以响应于由车载用户界面(UI)系统或计算设备110从自动控制系统176接收到的信息以及来自车辆的各种系统的反馈来完成。例如，当乘车者(rider)或其他乘客上车时，可以播放E大调或一些其他调的一个或多个柔和的鸣响。一旦乘客就座并扣住安全带，车辆准备好开始自动驾驶。在此，乘客可以致动物理的或显示的“开始乘车”按钮以指示车辆行进。或者，乘客可以可听地告诉车辆开始乘车。替选地，车辆可以在开始乘车之前询问乘客或等待预定时间段。此时，可以播放语音消息以指示行驶的方向或目的地。鸣响或其他声音可以在语音消息之前。因此，所有这些可听通知可以是低优先级可听通知的示例。

在乘车期间，乘客可能采取将导致车辆的运行变化的动作。例如，乘客可能决定在乘车途中更改目的地，或者添加中间站，例如为了接载食物、干洗等。在这种情况下，可听通知也可以是低优先级可听通知。如此，UI可以播放令人放心的音调或其他声音(例如，用E大调)，以指示已经接收到目的地更改并且车辆正在前往新的目的地。替选地或附加地，车辆周围的状况可能改变。假使乘客有兴趣查看车辆减速的原因，可以在显示器上显示某些更改，诸如，缓慢移动的车辆或延长的红灯。再者，这样的可听通知可以是低优先级可听通知。

这些仅仅是在乘车期间可以具有可听通知的情况类型的几个示例。其他情况包括乘客请求车辆未到目的地靠边停(pull over short of the destination)或在靠边停之后恢复乘车。乘客还可以请求来自乘车服务支持团队的帮助，或者支持团队可以向车辆发起呼叫以向乘客提供信息。这些情况可能会导致高优先级可听通知，作为对乘客的警报。另一种情况可以是用户在车辆处于运动时按下解锁按钮或解开安全带(unbuckling)。在此，系统可以播放中等或高优先级通知，该通知重复，直到乘客采取适当的补救措施。

提供关于其他变化的可听信息也可以是有帮助的。在此，例如，如果车辆在车辆通常具有路权的地方停下以让行骑行者或行人，则系统可以提供可听通知，从而使乘客知道该情况。在这种情况下，可听通知可以是中等优先级通知。在这方面，与低优先级可听通知的以上示例相比，可听通知可以是更长的声音或一系列声音。

在车辆接近乘客的目的地时，听觉UI可以生成可听通知以给出预先通报。再者，这样的可听通知可以是低或中等优先级可听通知。在没有驾驶员的完全自动操作过程中，听觉UI也可以发出语音，以鼓励乘客收拾他或她的物品，并确保车辆中没有留下任何物品。再者，这也可以是低或中等优先级通知。在到达时，可以发出另一可听通知，以提醒乘客在退出时关闭车门。在这种情况下，可听通知可以是中等优先级通知。在这方面，与低优先级可听通知的以上示例相比，可听通知可以是更长的声音或一系列声音。

可听通知可以在不同但相关的情况之间在音乐上配对。例如，针对乘车开始和到达目的地的可听通知可以是用相同调或不同调的一对上升和下降互补声音。

本文描述的特征可以允许自动驾驶车辆更好地与车辆的一个或多个乘客通信。例如，通过改变向乘客提供可听通知的调性中心或调，这会更可能抓住他们的注意力。如此，乘客可以改变他或她当前的关注，并将其重定向到显示器，或者密切注意任何可听通知。这转而也可以增加乘客能够接收视觉通知的可能性、为将来的事件做准备和/或理解引起通知的情况。例如，一旦乘客接收到视觉通知或专注于可听通知并理解了通知所提供的信息，则乘客可以不太可能感到惊讶、焦虑或压力。此外，因为较低优先级通知是使用相同的调性中心或调播放的，因此这可以为乘客提供更舒缓的体验，因为在一切正常时，他们可能习惯于听到相同的调性中心或调。

除非另有说明，否则前述替选示例不是相互排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不脱离由权利要求限定的主题的情况下利用上述特征的这些和其他变型和组合，因此前述实施例的描述应当作为说明而不是作为由权利要求限定的主题的限制来进行。另外，这里描述的示例的提供以及表述为“诸如”、“包括”等的从句不应被解释为将权利要求的主题限制于特定示例；反而，这些示例仅旨在说明许多可能的实施例中的一个。此外，不同附图中的相同附图标记可以识别相同或相似的要素。

Claims (20)

1.一种提供从自动驾驶车辆到乘客的通信的方法，所述方法包括：

由一个或多个计算设备监视来自车辆的各种系统的消息；

由所述一个或多个计算设备基于所述消息中的至少一个消息识别可听通知，其中当所述可听通知具有第一优先级时，所述可听通知包括从第一音乐调选择的第一组音符，并且其中当所述可听通知具有第二优先级时，所述可听通知包括从第二音乐调选择的第二组音符，其中所述第一音乐调与所述第二音乐调不同并且所述第一优先级与所述第二优先级不同；以及

使用所述车辆的扬声器向所述乘客播放所述可听通知。

2.根据权利要求1所述的方法，其中，所述第一音乐调是大调。

3.根据权利要求2所述的方法，其中，所述第一音乐调是E大调。

4.根据权利要求2所述的方法，其中，所述第二音乐调是小调，并且其中，所述第一优先级小于所述第二优先级。

5.根据权利要求4所述的方法，其中，所述第二音乐调是E小调。

6.根据权利要求1所述的方法，其中，播放所述可听通知包括播放所述第一音乐调的一个或多个音符。

7.根据权利要求1所述的方法，其中，播放所述可听通知包括重复所述第一音乐调的一个或多个音符中的一个或多个音符，直到满足预定条件。

8.根据权利要求7所述的方法，其中，所述预定条件是所述车辆的车门被关闭。

9.根据权利要求1所述的方法，其中，识别所述可听通知包括基于所述消息中的至少一个消息的内容来选择多个预定可听通知中的一个预定可听通知。

10.一种用于提供从自动驾驶车辆到乘客的通信的系统，所述系统包括具有一个或多个处理器的一个或多个计算设备，所述一个或多个计算设备被配置为：

监视来自车辆的各种系统的消息；

基于所述消息中的至少一个消息识别可听通知，其中当所述可听通知具有第一优先级时，所述可听通知包括从第一音乐调选择的第一组音符，并且其中当所述可听通知具有第二优先级时，所述可听通知包括从第二音乐调选择的第二组音符，其中所述第一音乐调与所述第二音乐调不同并且所述第一优先级与所述第二优先级不同；以及

使用所述车辆的扬声器向所述乘客播放所述可听通知。

11.根据权利要求10所述的系统，还包括所述车辆。

12.根据权利要求10所述的系统，其中，所述第一音乐调是大调。

13.根据权利要求12所述的系统，其中，所述第一音乐调是E大调。

14.根据权利要求12所述的系统，其中，所述第二音乐调是小调，并且其中，所述第一优先级小于所述第二优先级。

15.根据权利要求14所述的系统，其中，所述第二音乐调是E小调。

16.根据权利要求10所述的系统，其中，所述一个或多个计算设备还被配置为通过播放所述第一音乐调的一个或多个音符来播放所述可听通知。

17.根据权利要求10所述的系统，其中，所述一个或多个计算设备还被配置为通过重复所述第一音乐调的一个或多个音符中的一个或多个音符直到满足预定条件，来播放所述可听通知。

18.根据权利要求17所述的系统，其中，所述预定条件是所述车辆的车门被关闭。

19.根据权利要求10所述的系统，其中，所述一个或多个计算设备还被配置为通过基于所述消息中的至少一个消息的内容选择多个预定可听通知中的一个预定可听通知来识别所述可听通知。

20.一种非暂时性计算机可读记录介质，其上存储有指令，所述指令在由一个或多个计算设备的一个或多个处理器执行时，使所述一个或多个计算设备执行用于提供从自动驾驶车辆到乘客的通信的方法，所述方法包括：

监视来自车辆的各种系统的消息；

基于所述消息中的至少一个消息识别可听通知，其中当所述可听通知具有第一优先级时，所述可听通知包括从第一音乐调选择的第一组音符，并且其中当所述可听通知具有第二优先级时，所述可听通知包括从第二音乐调选择的第二组音符，其中所述第一音乐调与所述第二音乐调不同并且所述第一优先级与所述第二优先级不同；以及

使用所述车辆的扬声器向所述乘客播放所述可听通知。

Images