CN113287074A - 使用语音交互增加自主运载工具安全性和灵活性的方法和系统 - Google Patents

Abstract

提供了一种执行语音控制系统的运载工具控制系统，该语音控制系统用于促进与驾驶员的基于语音的对话，从而使得驾驶员或自主运载工具能够控制自主运载工具的某些操作方面。使用环境和传感器输入，运载工具控制系统可以选择用于在自主模式下操作运载工具的最佳路线或者选择优选的操作模式。自主运载工具的乘员可以通过在由语音控制系统启用的对话中与运载工具控制系统接合来改变目的地、路线或驾驶模式。

Description

使用语音交互增加自主运载工具安全性和灵活性的方法和 系统

技术领域

本发明涉及用于使用语音交互的自主运载工具安全性的方法和系统。

背景技术

存在运载工具可以操作的各种级别的自主性。汽车工程师协会(SAE)将自主运载工具分类为0至5级，其中0级运载工具是完全手动的，而5级运载工具是完全自主的。所有驾驶方面都是手动控制的0级运载工具占据目前道路上的运载工具的大多数。1级运载工具包括辅助驾驶员的单一自动方面，诸如用于转向、速度或制动控制系统的高级驾驶员辅助系统(ADAS)等。虽然2级运载工具提供自动转向和加速功能，但驾驶员始终保持对运载工具的控制。3级运载工具能够检测环境并做出关于运载工具控制的明智决策，诸如超过速度较慢的运载工具等。在3级运载工具中，如果运载工具确定不能执行所请求的任务，或者如果自主操作失败，则可以要求乘员承担控制。4级运载工具不需要人类交互，因为当存在系统故障时运载工具可以干预，然而如果状况需要，手动超控的选项仍然存在。在5级运载工具中，人类驾驶被完全消除，并且运载工具能够进行适应性的和情境中的驾驶。结果，5级运载工具通常不包括诸如方向盘或油门或制动踏板等的控制装置。

一些常规运载工具包括能够识别运载工具乘员所发出的言语的言语系统。言语表达可以例如包括指向运载工具的一个或多个特征或者指向运载工具可访问的其它系统的查询或命令。

发明内容

如本文所述，提供了一种用于使用语音交互实现自主运载工具中的安全性增加的方法和系统。在一些实施例中，提供了一种方法，该方法用于向运载工具的驾驶员通知自主驾驶模式可用并且运载工具的控制系统在从驾驶员接收到语音命令时将驾驶模式从手动控制改变为自主。该方法包括生成向驾驶员通知自主模式是可能的语音对话的语音控制系统。运载工具的控制系统从驾驶员接收包括言语表达的语音命令，该语音命令指示期望将驾驶模式从手动改变为自主。运载工具的控制系统也可以在接收到命令时将驾驶模式从手动改变为自主。

在一些实施例中，提供了一种方法，该方法使得驾驶员能够询问运载工具是否可以在自主模式下操作。运载工具的控制系统确定沿着到目的地的一个或多个路线自主模式是否是可能的，并且如果自主模式沿着至少一个路线可用，则运载工具的语音控制系统向驾驶员通知可能的路线，并且在从驾驶员接收到语音命令时，运载工具切换到沿着路线的自主模式。

在一些实施例中，运载工具包括运载工具控制系统，该运载工具控制系统控制运载工具的操作，并且生成向驾驶员通知自主模式可用的对话。运载工具还包括用以接收来自驾驶员的语音命令的麦克风，使得语音命令被用于确定是否期望从手动模式改变为自主模式或者从自主模式改变为手动模式。然后，运载工具的控制系统基于来自驾驶员的语音命令改变驾驶模式。

在一些实施例中，提供了一种方法，该方法确定驾驶模式是否必须从自主模式改变为手动模式。如果必须将驾驶模式改变为手动模式，则运载工具的语音控制单元向驾驶员通知需要改变模式，并且在从驾驶员接收到确认改变的语音命令时，运载工具的控制系统将驾驶模式改变为手动模式。

在一些实施例中，提供了一种方法，该方法确定驾驶模式的改变是必要的还是可选的。如果运载工具的控制系统确定改变是必要的，则将向驾驶员通知需要改变驾驶模式，并且在接收到来自驾驶员的语音确认时改变驾驶模式。如果运载工具控制单元确定驾驶模式的改变是可选的，则语音控制单元向驾驶员通知该选项，并且如果驾驶员请求改变或保持在自主模式，则运载工具控制单元向用户提供运载工具可以保持在自主模式的可能路线。

附图说明

下面参考附图描述本发明的各个方面和实施例。应该认识到，这些图不一定是按比例绘制的。出现在多个图中的项在出现该项的各个图中用相同的附图标记表示。在图中：

图1是描绘语音控制系统的实施例的框图；

图2是描绘运载工具控制系统的实施例的框图；

图3是描绘用于向驾驶员通知运载工具的自主操作可用的处理的实施例的流程图；

图4是描绘用于查询运载工具的自主操作是否可用的处理的实施例的流程图；

图5是描绘用于向自主运载工具的驾驶员通知期望转移对运载工具操作的控制的处理的实施例的流程图；以及

图6是描绘用于指定行程的一个或多个详情的处理的实施例的流程图。

具体实施方式

如本文所使用的，“运载工具”可以是能够将物品从一个地理区域运送到不同地理区域的任何机器或机械化设备。运载工具可以是小汽车、公共汽车、卡车、飞机或用于运送人、物品或货物的任何类似手段。

如本文所使用的，“自主运载工具”可以是自主或半自主操作使得自主运载工具使用感官输入来导航并从一个地理区域移动到不同的地理区域的任何运载工具。自主运载工具可以使用诸如雷达、LIDAR、图像传感器或其它类似传感技术等的各种技术来感测其环境。自主运载工具可以使用全球定位系统(GPS)、其它运载工具提供的信息、来自乘员(例如，驾驶员)的输入或其它类似输入来导航。在某些情况下，自主运载工具可以称为自主系统。

如本文所使用的，“言语表达”可以是通过沉默而分界成部分的言语单位。言语表达可以例如包括指向一个或多个运载工具特征或系统，或者指向运载工具可访问的其它系统的查询或命令。

如本文所使用的，“语音交互”和“语音”可能涉及基于言语的任何通信，其可以包括由用户或自主系统生成的言语表达或者言语。

如本文所使用的，“乘员”可以指运载工具内的任何人类或动物，并且可以包括运载工具的驾驶员或操作员。

自主运载工具的乘员可以使用言语表达与自主运载工具交互。通过乘员与自主运载工具之间的语音交互，乘员可以控制自主运载工具的某些操作方面。允许自主运载工具的乘员或用户通过语音交互来控制自主运载工具或与自主运载工具交互促进自主运载工具的操作的安全和灵活操作。

例如，可以使用语音交互来发起控制的转移或警告乘员控制的转移。自主运载工具可以将自主运载工具的操作的控制从乘员(即，驾驶员)转移到自主运载工具的驾驶和控制系统(即，在2至4级运载工具中，自主运载工具可以从由驾驶员手动操作切换到自主操作，或反之亦然)。控制的转移可以是驾驶员发起的或运载工具发起的。当状况和运载工具的能力许可时(例如，当道路条件和环境在运载工具的自主能力的范围内时)，可以由乘员(即，驾驶员)发起控制的转移，或者自主运载工具可以向乘员警示控制的转移。在一个实例中，如果运载工具确定当前或将来的条件在其能力范围之外(诸如当要采用公路出口而在前面检测到交通事故时、当出现不利的天气条件时、传感器故障等)，则运载工具可以向乘员通知控制将从自主转移到手动。通过使用与传统采用的不同的模态、通过在状况需要时紧迫表示、以及通过使用驾驶员和运载工具之间的对话，驾驶员和运载工具之间的语音交互的使用可以促进关于这种控制转移的灵活性和安全性。

在另一示例中，语音交互可以用于与完全自主地操作的运载工具(例如，4至5级运载工具)交互，诸如与由乘坐共享服务操作的“机器人出租车”或由乘员拥有但用于将乘员自主地运送到指定目的地的运载工具等交互。乘员可以通过“虚拟司机”与这些完全自主的运载工具交互，该“虚拟司机”可以获得行程详情，诸如是否在沿着路线的特定点处停止(例如，从ATM机获取资金)、是否识别目的地处的确切停止点、是否慢速驾驶等。这个“虚拟司机”许可乘员通过语音交互实时地指定关于行程的各种详情。

图1所示的是用于控制运载工具的自主操作的系统100的方面。在一些实例中，运载工具可以在各种操作模式(诸如自主模式或手动模式等)下操作。传感器112可以从运载工具内部和外部的环境、从其它运载工具、从运载工具基础设施和/或从任何其它合适的来源捕获信息。这些传感器可以是麦克风113、照相机/注视检测传感器114、照相机/运载工具外部传感器115、地理位置传感器116或能够获得与运载工具内或运载工具外的环境有关的信息的任何其它传感器。

传感器112向自主运载工具操作管理器120提供信息，该自主运载工具操作管理器120控制运载工具的自主操作的各个方面，以完全或部分地帮助乘员操作运载工具。自主运载工具操作管理器120的组件可以包括操作模式管理器122、导航管理器124、运载工具位置管理器126、速度/加速度管理器128、转向/操纵管理器130、道路条件管理器132、路线规划管理器134和运载工具上下文管理器150。由自主运载工具操作管理器120内的某些管理模块生成的信息可能涉及运载工具操作模式、导航、运载工具位置、速度和加速度、转向和操纵、路线规划和道路条件。该信息可以由运载工具操作管理器120内的运载工具上下文管理器150使用以产生和更新运载工具上下文数据，包括当前模式、运载工具的一般状态或条件以及已经发生或可能即将发生的事件。例如，运载工具上下文数据可以指示运载工具的地理地点、运载工具在道路上和/或车道内的位置、另一运载工具相对于该运载工具的位置、运载工具的速度或加速度、运载工具的转向位置或操纵、当前或预测的天气条件、当前路线的导航步骤、已经生成或将要生成的警报或警告信号、运载工具速度的变化、已经或将要进行的转弯、已经或将要进行的车道改变、运载工具可能采取的潜在路线、和/或任何其它合适的运载工具上下文信息。在一些实施例中，可以在一段时间内捕获运载工具上下文信息，并且运载工具上下文信息可以包括与状态、条件或事件相关联的时间戳或序列号，诸如以在诊断过程中提供帮助。

在代表性系统100中，多模态接口102接收(例如，由一个或多个传感器112，诸如麦克风113等提供的)对ASR/NLU 104的语音输入，以及经由其它模态108(诸如经由触摸屏，图1中未示出)的输入。该输入和其它输入(例如，由照相机机/注视检测传感器114和/或部署在运载工具内的其它传感器112提供)以及由自主运载工具操作管理器120提供的信息由语音辅助160处理，以产生和更新乘员上下文模型162。在一些实施例中，乘员上下文模型可以包括涉及乘员对运载工具的操作或在运载工具中行驶的信息，诸如乘员的情绪状态(例如，通过他/她随时间的表达确定)、他/她当前是关注于运载工具操作还是关注于其它任务、他/她是否无行为能力或不能操作运载工具、他/她当前正在说话或以其它方式向运载工具提供输入、他/她正在查看运载工具外部的结构、地点或其它感兴趣点、以及/或者任何其它合适的乘员上下文信息。乘员可以包括运载工具的驾驶员或乘客。

乘员上下文模型162和由自主运载工具操作管理器120接收的信息可以由语音辅助160使用以定义经由TTS 106对乘员的语音输出(例如，意图选项、对话内容、语音质量、语调、表达风格等)。例如，语音辅助160可以访问多个意图、对话、语音质量、语调和/或言语风格选项，基于当前运载工具上下文信息、当前乘员上下文信息和/或两者之间的关联性来选择某些选项，并且使用所选择的选项来产生对乘员的语音输出。然后，ASR/NLU 104可以响应于该语音输出从乘员接收语音输入。在一些实施例中，ASR/NLU 104可以被配置为消除歧义和/或解析包括自由言语的驾驶员命令。以这种方式，语音辅助160可以灵活地使得在乘员和运载工具之间发生语音对话或交流。可以将在与乘员交互期间由语音辅助160收集的信息提供给自主运载工具操作管理器120，以用于控制运载工具的操作，诸如完成经由语音输入指定的动作或任务。

图1中描绘的元件各自可以包括任何合适的组件或被配置为进行上述功能中的一个或多个功能以及/或者其它功能的组件的集合。在这方面，可以使用硬件、软件或其组合来实现各个元件。图2所示的是运载工具控制系统190的实施例，其可以包括被配置为控制运载工具的硬件和软件的任意组合。该运载工具控制系统190可以包括具有一个或多个处理器192、一个或多个网络适配器194和存储装置196的运载工具处理核心198。一个或多个处理器可用于执行进行本文描述的方法和系统的方面的指令或软件。在一些实例中，这些可执行指令或软件可以存储在存储装置196中。例如，语音控制系统100可以由运载工具处理核心198使用传感器112输入和来自运载工具操作管理器120的输入来执行和控制。应当理解，虽然图2示出了运载工具控制系统190内的传感器112，但是传感器112的方面可以安装在运载工具上和运载工具控制系统190的外部。另外，虽然图1将运载工具操作管理器120、传感器112和运载工具控制系统190示出为在语音控制系统100内，但是在一些实例中，这些元件的方面在语音控制系统100外。另外，在一些情况下，运载工具控制系统190仅相对于这些元件(即，运载工具控制系统190、运载工具操作管理器120和传感器112)中的一个或所有元件接收和/或发送信息/数据。此外，语音辅助160和/或多模态接口102的方面可以包括在运载工具控制系统190中。例如，用于执行语音辅助160和/或多模态接口102的方面的软件或可执行指令可以存储在存储装置196中并由一个或多个处理器192执行。

应当理解，虽然图1将ASR/NLU 104和TTS 106描绘为驻留在运载工具内，但是本发明的实施例不限于以这种方式实现。例如，ASR/NLU 104和/或TTS106可以各自定位成远离运载工具、部分地位于运载工具上并且部分地远离运载工具、或者位于运载工具内。可以使用任何合适的实现方式，并且特定实现的选择可以由诸如言语识别精度、延迟和/或其它考虑等因素来驱动。此外，应当理解，用于支持言语识别功能的组件的某些分段或部分可以驻留在与组件的其它分段或部分不同的位置。例如，在一些实施例中，专用于支持涉及自主运载工具操作的言语识别的ASR/NLU 104的分段或部分可以本地驻留在运载工具上(例如，以减少识别涉及自主运载工具操作的命令的延迟)，而支持不涉及自主操作的言语识别功能的ASR/NLU 104的其它分段或部分可以不驻留在运载工具上，或者部分地驻留在运载工具上(例如，如果将这些分段或部分远离运载工具定位可以增加言语识别精度)。多个考虑因素中的任一个可以对语音识别组件的哪些片段或部分位于特定物理地点进行驱动，并且本发明不限于以任何特定方式实现。

使用语音交互以管理控制的转移

本发明的一些实施例是指使用驾驶员/乘员和运载工具之间的语音交互，以促进手动操作和自主操作之间发生控制转移时的灵活性和安全性。例如，驾驶员可以使用包括言语表达的语音命令来请求从手动操作到自主操作的转移，运载工具可以使用语音来向驾驶员通告自主操作是可能的或者通知驾驶员转移到手动操作是优选的。语音控制系统100可以通过解析言语表达并使用自主言语识别或自然语言处理确定驾驶员意图来确定语音命令的意图。

语音的使用可以增加灵活性，使得驾驶员和运载工具之间能够进行对话或交流，并且允许传统方法不能支持的功能。例如，语音交互的使用可以使得驾驶员能够指示他/她意图在某一时间或在将来的事件时承担手动控制，而不是立即采取手动控制，或者可以允许驾驶员请求运载工具确定允许运载工具自主操作最大时间量的路线、或者允许自主操作最快地开始的路线。此外，对话可能会向驾驶员灌输运载工具理解并将根据他/她的命令采取动作的信心和信任，这可以使运载工具操作总体更安全。

图3描绘了代表性处理200，借此自主运载工具可以向驾驶员通知自主操作是可能的，使得驾驶员然后可以发起控制的转移。例如，可以使用处理200以在运载工具进入允许自主操作的区域时通知驾驶员，或者以其它方式主动地向驾驶员通知自主操作是可能的。

在代表性处理200开始时，由运载工具控制系统190确定自主操作可用(步骤210)，使得驾驶员或乘员可以请求运载工具以自主模式操作。运载工具控制系统190以任意数量的方式进行这种确定。例如，确定可以基于根据运载工具和/或地点而变化的约束或标准。在这方面，一些运载工具可能仅能够在具有大于预定阈值的速度限制的公路或路线上自主地操作，并且一些地点(例如，城市)可以指定仅在某些区域中允许自主操作。结果，可以由运载工具上下文管理器150(图1)基于由组件122至132和传感器112提供的关于运载工具的能力和/或运载工具的当前地点的信息来进行确定。

在代表性处理200中，运载工具控制系统190然后前进到动作(步骤220)，使得语音被用于向驾驶员通知自主运载工具操作可用。这可以以多种方式中的任一种来进行。例如，语音辅助160(图1)可以采用TTS 106来产生语音输出。

运载工具控制系统190从运载工具的驾驶员或乘员接收语音命令以转移到自主运载工具操作(步骤230)。该语音命令可以由语音辅助160经由ASR/NLU 104接收。

在一些实施例中，语音辅助160可以使用语音生物识别来确定发起向自主操作的转移的语音命令源自驾驶员而不是源自运载工具的其它乘员。当然，除了语音生物识别之外的技术也可以用于或可替代地用于确定语音命令是否源自驾驶员。例如，如果运载工具包括分散在各处的几个麦克风，则可以使用最靠近说话者的麦克风的位置来确定他/她是驾驶员还是乘员。

然后，运载工具控制系统190确定所接收的语音命令是否指定要发起向自主操作的转移的时间或事件(步骤240)。例如，语音命令可以指定在10秒钟内、在下一个出口处、在弗里蒙特出口处、在到达下一个公路时和/或在任何其它合适时间或事件处将发生自主操作。例如，语音辅助160可以确定经由ASR/NLU 104接收到的语音命令是否指定开始自主操作的时间或事件。

如果确定为语音命令指定要发起自主操作的时间或事件，则运载工具控制系统190检查所指定的时间或事件是否已经发生(步骤250)，并且重复该检查直到所指定的时间或事件发生为止。在某些实例中，该事件可以称为触发事件。例如，如果驾驶员在下午2：20发出语音命令以在下午2：30切换到自主模式，则运载工具控制系统190将进行检查(步骤250)，直到运载工具控制系统190内的时间元件(即，系统时钟、计数器或其它)等于等效于下午2：30的时间值。在另一示例中，如果驾驶员经由语音命令指定一旦运载工具转到特定公路上运载工具就应在自主模式下操作，则运载工具控制系统190将进行检查(步骤250)，直到运载工具内的地理位置应用指示运载工具的位置接近指定公路或在指定公路上。一旦指定的时间或事件已经发生，则运载工具控制系统190处理启用自主操作(步骤260)。例如，语音辅助160(图1)可以指示自主运载工具操作管理器120开始自主操作模式，并且自主运载工具操作管理器120然后可以向运载工具的驱动系统(未示出)发出相应的指令。

在所接收的语音命令(步骤230)没有指定应启用自主模式的时间或事件(步骤240)的情况下，运载工具控制系统190可以继续以启用自主操作(步骤260)。

应当理解，运载工具可以向驾驶员通知自主操作因多种原因中的任何原因是可用的。例如，在本发明的一些实施例中，如果检测到驾驶员嗜睡、无行为能力、分心(例如，由于他/她的电话、由于在后座上打架的儿童等)或以其它方式不能将他/她的全部注意力集中于驾驶，则可以向驾驶员通知自主操作是可用的。发生这种情况时，可能会提示驾驶员发起向自主操作的转移。在某些状况下(例如，在检测到驾驶员已入睡或变得无行为能力时)，可以自动发起转移。因此，本发明的一些实施例可以改善运载工具中驾驶员和乘客的安全性。

图4描绘了代表性处理300，借此驾驶员可以使用语音来询问在向目的地行驶的同时自主操作是否可用。因此，驾驶员不必将注意力从道路移开以与屏幕界面交互。

运载工具控制系统190响应于指示自主模式是优选的环境数据来确定自主运载工具操作或自主模式是可用的，或者响应于来自询问自主操作是否可用的驾驶员或运载工具乘员的语音命令而确定可以进行自主运载工具操作或自主模式(步骤310)。例如，语音命令可以经由ASR/NLU 104由语音辅助160接收。

一旦接收到语音命令(步骤310)，运载工具控制系统190可以识别到目的地的潜在路线(步骤320)，使得可以选择允许自主操作的一个潜在路线。可以以任何适当的方式识别到目的地的潜在路线。例如，语音助理160可以查询路线规划组件134以基于导航管理器124提供的信息来识别到目的地的一个或多个潜在路线。例如，路线规划管理器134可以采用基于规则和/或推理的处理来识别存在的向目的地的潜在路线，确定潜在路线中的哪些允许自主运载工具操作(例如，在允许自主操作的区域中行驶)，根据各种标准评估潜在路线，基于这些标准选择特定路线，等等。

然后，运载工具控制系统190评估可能的路线并确定可能的路线中的哪些许可自主操作(步骤330)。在作出该确定时，运载工具控制系统190可以确定(步骤330)没有潜在路线许可自主操作，或者存在一个或多个潜在路线。这种确定可以以任何合适的方式进行，诸如通过路线规划组件134使用上面刚刚描述的技术进行。当没有自主路线可用时，运载工具控制系统190可以利用语音控制系统100经由语音(例如，使用TTS 106)向驾驶员通知没有到目的地的允许自主运载工具操作的路线(步骤335)。

如果至少一个潜在路线允许自主运载工具操作，则运载工具控制系统190根据一个或多个标准评估可能的路线(步骤340)。该评估例如可以由路线规划管理器134进行。可以使用多个标准中的任一个来评估潜在路线，并且该标准可以是预先确定的和/或动态确定的。例如，可以基于允许运载工具保持自主操作的时间量、允许多久到达目的地、沿着路线是否可以加油、和/或许多其它标准中的任何标准来评估潜在路线。

然后利用语音控制系统100来使用语音向驾驶员通知自主运载工具操作可用(步骤350)，并提供与可以使用自主操作的一个或多个潜在路线有关的信息，使得驾驶员可以选择最适合他/她需求的特定路线。在某些实例中，该语音可以称为基于语音的对话。例如，语音辅助160可以使用由路线规划管理器134和/或自主运载工具操作管理器120的其它组件提供的信息经由TTS106产生语音输出。运载工具控制系统190可以从驾驶员接收向沿着潜在路线之一的自主操作转移的语音命令(步骤360)，然后将运载工具切换到自主模式(步骤370)。

虽然以上参考图3至4的描述涉及由驾驶员发起的控制的转移，但是本发明的一些实施例涉及由运载工具发起的控制的转移。在这些实例中，将言语作为驾驶员和运载工具之间的通信媒介的使用允许识别错误(例如，驾驶员的言语未被正确识别或检测)。这样，一些实施例在必须发生的控制转移(即，驾驶员需要承担运载工具的手动操作，因为自主操作在运载工具的能力之外)和可选的控制转移(即，驾驶员具有承担手动操作的选项，因为出于某种原因手动操作可能比自主操作更优选)之间进行区分。

多种状况中的任一种都可能导致驾驶员需要承担运载工具的手动操作。例如，如果公路即将结束(例如，如果仅在公路行驶时可用自主操作)、天气条件恶化、或前方检测到事故，则驾驶员可能需要承担手动操作。类似地，可能存在许多状况，其中向手动操作的转移是优选的，但不是必要的。例如，如果停留在先前建立的到目的地的路线上意味着切换到手动操作，但是存在其它可用的路线，则转移到手动操作可以是可选的。

无论控制转移是必要的还是可选的，使用语音命令或运载工具发起的与驾驶员的对话以在自主模式或手动模式之间切换可能使运载工具发起的控制转移更安全。在这方面，控制转移的传统方法通常涉及使用屏幕上的图标和蜂鸣声或警报来向驾驶员通知需要承担运载工具的手动控制。使用语音可以更充分地结合驾驶员的其它感官，并且可以允许表达关于控制转移的紧迫性。例如，通过使用利用多风格TTS的“紧迫”言语风格和选择性措辞(例如，“您必须接管控制”而不是“请接管控制”)，当必须进行控制转移时，本发明的一些实施例可以更有效地与驾驶员通信。可以使用语音交互来向驾驶员通信信息以便于安全地转移到运载工具的手动控制。例如，可以使用语音交互来通信运载工具的速度、交通密度、直到需要下一动作为止的时间(例如到出口的时间)、驾驶剩余的时间、和/或驾驶员在承担对运载工具的手动控制之前可能希望知道的其它信息。提供该信息不仅可以促进控制的安全转移，而且还允许驾驶员在某些信息不同于预期的情况下改变他/或她关于控制的转移的想法。

语音的使用还使得能够在驾驶员和运载工具之间发生对话。这不仅允许关于控制转移的更灵活的交互(例如，通过允许驾驶员向运载工具通知他/她在转移发生之前需要更多时间、允许他/她请求关于各种选项的更多信息、允许他/她理解运载工具在请求转移控制背后的原因等)，而且还可以向驾驶员灌输运载工具理解他/她的命令并且将正确地实施的信心和信任，这可以进一步提高运载工具安全性。

作为示例，可以使用语音交互来向驾驶员解释，如果驾驶员经由语音命令指示他们希望承担对运载工具的手动控制，但运载工具仍保持自主操作，则是因为不满足某些要求而不会发生转移。例如，可以使用语音交互来向驾驶员解释，尽管运载工具检测到驾驶员的眼睛在路上并且他们的手在方向盘上，但在可以开始手动操作之前他们的脚也必须在加速踏板上。通过解释运载工具采取(和不采取)特定动作背后的原因，本发明的一些实施例可以增加驾驶员对运载工具的信心，并且使得驾驶员随着时间的推移能够学习如何更有效地操作运载工具，从而使得运载工具安全性增加。使用语音交互解释运载工具采取或不采取动作不限于涉及控制转移的动作。语音交互可以用于对多种类型动作中的任一动作背后的原因进行通信。

在一些实施例中，驾驶员上下文信息(例如，乘员上下文模型162(图1))可以指导或影响驾驶员被运载工具控制系统190通知控制的转移的方式。例如，如果内部照相机(例如，照相机/注视检测传感器114)检测到驾驶员在要宣布控制转移的时间点佩戴耳塞，则可以以比通常更高的音量进行宣布，或者可以使驾驶员座椅振动等，以确保得到驾驶员的注意。这也可以提高运载工具安全性。

图5描绘了使用语音交互以向驾驶员通知控制转移的期望的代表性处理400。可以至少部分地通过运载工具控制系统190来执行处理400，运载工具控制系统190确定为从自主运载工具操作到手动运载工具操作的控制的转移是优选的(步骤410)。该确定可以出于多种原因中的任何原因而得到，诸如，如果确定为为了保持在所选路线上要采用公路出口、在前方检测到交通事故、检测到不利的天气条件、在自主操作故障中使用的传感器、和/或多种其它原因中的任何原因。

然后，运载工具控制系统190确定控制的转移是必要的还是可选的(步骤420)。这种确定也可以以任何适当的方式进行。例如，对于控制的转移是必要的确定可以基于运载工具可用的选项。如果所有可用的选项都在运载工具的能力范围外，则可以确定转移控制是必要的。如果确定为转移控制是必要的(步骤420)，则运载工具控制系统190使用语音向驾驶员通知需要转移到手动运载工具操作(步骤430)。这可以以多种方式中的任一种来进行。例如，语音辅助160(图1)可以采用TTS 106以生成对驾驶员转移运载工具的控制的语音提示。在一些实例中，运载工具控制系统190从驾驶员接收所需模式改变的语音确认(步骤440)。例如，语音确认可以由语音辅助160经由ASR/NLU 104接收。在接收到驾驶员确认时(步骤440)，运载工具控制系统190使运载工具由驾驶员手动操作(步骤450)。例如，语音辅助160可以指示自主运载工具操作管理器120将运载工具切换到手动操作模式。

如果确定控制的转移是可选的(步骤420)，则运载工具控制系统190可以使用语音向驾驶员通知他们具有改变为手动运载工具操作的选项(步骤460)。例如，语音辅助160可以采用TTS 106来向驾驶员通知转移控制的选项。然后，运载工具控制系统190可以从驾驶员接收语音确认以保持在自主模式(步骤470)。例如，语音辅助160可以经由ASR/NLU 104接收语音命令。

在接收到指示运载工具应当保持在自主操作模式的语音命令时(步骤470)，运载工具控制系统190然后确定是否需要新路线(步骤480)，并且如果不需要新路线，则运载工具控制系统190可以引导运载工具沿着原始路线继续导航(步骤485)。该确定可以以多种方式中的任一种作出。例如，如果保持自主操作将导致错过先前计划的公路出口，则可以确定为需要新路线。

如果确定为需要新路线，则运载工具控制系统190可以识别新路线(步骤490)，并且引导运载工具沿着新路线导航(步骤495)。例如，语音辅助160可以指示自主运载工具操作管理器120使用由导航管理器124提供的信息来计算新路线。

示例1

在一个示例中，在自主模式下操作的运载工具被动地向驾驶员通知驾驶员需要在设置的时间段(例如，90秒)内接管对运载工具的手动控制。驾驶员未能注意到从运载工具发出的被动通知，并且仍然分心(例如，看他的电话、阅读、睡觉、观看风景、坐在后座上)。当确定驾驶员仍然分心时，运载工具向驾驶员发出另一通知，该另一通知包括音频和视觉刺激，以告诉驾驶员他们应当触摸运载工具中的显示器以指示他们将接管手动操作。应当理解，运载工具可能需要来自驾驶员的任何形式的肯定输入，该输入指示驾驶员被警示并且确认运载工具的通知。

在预定时间段之后，如果驾驶员未能触摸显示器，则运载工具可以评估一个或多个环境因素以确定驾驶员被警示还是分心。这些环境因素可能包括但不限于，确定驾驶员的眼睛是否朝向道路、识别驾驶员生物反馈、确定驾驶员是否正在睡觉、或者确定噪声或振荡是否阻止驾驶员接收通知。随后，运载工具可以发出一个或多个附加通知或警示以吸引驾驶员，诸如：增加显示器的亮度、闪烁灯、振动座椅、生成音调、降低音量或其它类似的警示或通知。

一旦驾驶员确认他们可以接管手动操作，运载工具控制系统就开始从自主操作切换到手动操作的处理。如果在切换处理期间驾驶员指示他们不能再接管手动操作，则运载工具确定是否需要新路线，并且在识别出道路上更前方的另一出口时，相应地更新路线以许可运载工具继续以自主模式操作，直到驾驶员能够接管手动操作为止。

语音启用的虚拟司机

一些实施例针对可以完全自主操作的运载工具(例如，处于4至5级的运载工具)(诸如由乘坐共享服务操作的“机器人出租车”)，或者由乘员拥有但经常用于将乘员自主地运送到指定目的地的运载工具等。具体地，一些实施例涉及在这种运载工具中提供语音启用的“虚拟司机”能力。如上所述，这样的运载工具可能不具有乘员可以与之交互以指定行程的精细详情的人类驾驶员或者乘员可以提供输入的任何控制仪器。因此，语音启用“虚拟司机”功能可以允许乘员指定关于行程的各种详情，并且实时控制各种导航方面，就像他/她与驾驶员说话一样。

图6描绘了由语音启用“虚拟司机”进行的代表性处理500。在处理500的开始，在运载工具向目的地行驶期间，由运载工具控制系统190从运载工具的乘员接收语音命令以询问问题或设置用于行程的新路线点和/或目的地，然后运载工具响应该问题或行驶到该新路线点或目的地(步骤510)。可以使用各种运载工具组件(例如，在图1中示出的)来实现该处理，如下所述。

例如，如果乘员询问关于行程的问题(诸如询问到目的地的剩余距离、估计到达时间、前方是否存在任何交通阻塞或其它行程详情等)，则接收语音命令或表达(步骤510)可能涉及语音辅助160经由ASR/NLU 104接收该问题、使用乘员上下文模型162和/或由运载工具上下文管理器150提供的信息来处理该问题、并且经由TTS 106响应该问题。

另一示例可能涉及乘员在沿着朝向目的地的路线行驶时设置新路线点。例如，乘员可以指示运载工具在特定点将他/她放下，然后要求运载工具等待直到她完成，或者暂时离开路线点(例如，在乘员指定的时间间隔内)，或者进行绕过拥堵的行程或找到合适的临时停车场。运载工具可以自动地使用自主运载工具操作管理器120(图1)的导航管理器124和路线规划管理器134来规划具有期望时间量的行程或者在附近找到合适的停车点。例如，路线规划管理器134可以识别具有期望时间量的潜在行程，根据各种标准(例如，期望时间量和路线点附近的状况是否使得停车值得或优选，附近是否有合法停车点等)评估潜在行程，选择要采取的特定行程，等等。当运载工具返回时，其可以采用集成的计算机视觉和/或面部识别技术(例如，由照相机/运载工具外部传感器115(图1)提供)以将乘员定位在街道的一侧，并且在乘员可安全地再次登上运载工具的地方停止。

作为另一示例，乘员可能关注到在运载工具外部的建筑物或其它感兴趣点，并且口头描述它(例如，“左侧的红色建筑物”)或通过查看它(例如，“那个建筑物”)，并且要求运载工具在那里将他/她放下。运载工具可以采用注视检测(例如，使用照相机/注视检测114)和运载工具附近的二维或三维表示(例如，使用运载工具自主操作管理器120的运载工具位置管理器126)来识别由乘员所识别的感兴趣点，并将其转换为然后可以(例如，由导航管理器124)用于建立新路线点或目的地的地址。例如，乘员可以通过说出“请在那里将我放下”(例如，通过ASR/NLU 104由语音辅助接收)来指定作为新目的地的感兴趣点，并且运载工具可以识别(例如，使用导航管理器124)最接近的安全地点以让乘员离开运载工具。

在某些情形下，可能不建议允许乘员针对行程设置新路线点和/或新目的地。例如，如果乘员是儿童或无行为能力，则不建议允许乘员设置新路线点或目的地。结果，一些实施例可能涉及语音辅助160采用语音生物识别来确定是否允许请求新路线点或目的地的乘员这样做。可以以任何适当的方式来实现对给定运载工具乘员可用的功能进行定义。例如，一些实施例可以提供当行程中的乘员是儿童或无行为能力时使用的“安全模式”，并且使得授权用户能够登上小汽车成为乘员、设置目的地、并且仅允许乘员在行程期间做出某些改变(例如，改变气候控制、切换无线电上的频道等)。一些实施例可以提供在紧急或不可预见的状况发生的情况下与授权用户建立备用通信计划。例如，一些实施例可以提供如果运载工具在将儿童运送到足球比赛时出现了爆胎，则联系授权用户，使得授权用户可以选择如何处理该情形。作为另一示例，一些实施例可以使得授权用户能够在行程正在进行时进行干预，诸如如果运载工具在将老年人运送到医生的预约点时卡在交通阻塞中，则使得授权用户能够选择或批准替代路线，使得老年人准时到达预约点。

实现详情

根据本文描述的原理操作的技术可以以任何合适的方式实现。上面描述中所包括的是一系列流程图，其示出使用语音交互以使得自主运载工具的成员能够控制运载工具的某些操作方面的各种处理的步骤和动作。以上流程图的处理和决策块表示在执行这些各种处理的算法中可能包括的步骤和动作。从这些处理导出的算法可以实现为与一个或多个单用途或多用途处理器的操作集成并指导该操作的软件、可以实现为功能等效电路、或者可以以任何其它合适的方式实现。应当理解，本文所包括的流程图不描述任何特定电路或任何特定编程语言或编程语言类型的语法或操作。相反，流程图示出了本领域技术人员可以用来制造电路或实现计算机软件算法以进行执行本文描述的技术类型的特定设备的处理的功能信息。还应当理解，除非本文另有说明，否则在各个流程图中描述的步骤和/或动作的特定顺序仅仅是可以实现的算法的图示，并且可以在本文描述的原理的实现和实施例中变化。

因此，在一些实施例中，本文描述的技术可以体现在实现为可以存储在存储装置196中的软件的计算机可执行指令中，并且包括实现为应用软件、系统软件、固件、中间件、嵌入式代码或任何其它合适类型的计算机代码。这种计算机可执行指令可以使用多种合适的编程语言和/或编程或脚本工具中的任一种来编写，并且还可以被编译为在框架或虚拟机上执行的可执行机器语言代码或中间代码。

当本文描述的技术体现为计算机可执行指令时，这些计算机可执行指令可以以任何合适的方式实现，包括作为多个功能设施，各个功能设施提供一个或多个操作以完成根据这些技术操作的算法的执行。然而，“功能设施”是计算机系统的结构组件，当与一个或多个计算机集成并由其执行时使得一个或多个计算机进行特定的操作角色。功能设施可以是软件元素的一部分或整个软件元素。例如，功能设施可以实现为处理的功能，或实现为离散处理，或实现为任何其它合适的处理单元。如果本文描述的技术被实现为多个功能设施，则各个功能设施可以以其自身的方式实现；所有功能设施不需要以相同的方式实施。另外，这些功能设施可以根据需要以并行和/或串行方式执行，并且可以使用它们正在执行的计算机或计算元件上的共享存储器、使用消息传递协议或以任何其它合适的方式在彼此之间传递信息。

通常，功能设施包括进行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。典型地，功能设施的功能可以根据需要组合或分布在它们操作的系统中。在一些实现中，执行本文技术的一个或多个功能设施可以一起形成完整的软件包。在替代实施例中，这些功能设施可适于与其它不相关的功能设施和/或处理交互，以实现软件程序应用。在其它实现中，功能设施可被适配成以形成操作系统的方式与其它功能设施交互，其中操作系统包括可从华盛顿州雷蒙德市的微软(注册商标)公司获得的Windows(注册商标)操作系统。换言之，在一些实现中，功能设施可被替代地实现为操作系统的一部分或操作系统外部。

本文描述了一些用于执行一个或多个任务的示例性功能设施。然而，应当理解，所描述的功能设施和任务的划分仅仅是可以实现本文描述的示例性技术的功能设施的类型的图示，并且实施例不限于以任何特定数量、划分或类型的功能设施来实现。在一些实现中，所有功能可以在单个功能设施中实现。还应当理解，在一些实现中，本文描述的一些功能设施可以与其它功能设施一起实施或与其它功能设施分开实施(即，作为单个单元或单独单元)，或者这些功能设施中的一些功能设施可以不实现。

在一些实施例中，可以在一个或多个计算机可读介质(诸如存储介质196)上编码实现本文描述的技术的计算机可执行指令(当以一个或多个功能设施或以任何其它方式实现时)，以向介质提供功能。计算机可读介质包括诸如硬盘驱动器等的磁介质、诸如紧致盘(CD)或数字多功能盘(DVD)等的光介质、持久或非持久固态存储器(例如，闪速存储器、磁RAM等)或任何其它合适的存储介质。这种计算机可读介质可以以任何合适的方式实现，包括作为下文描述的图2的计算机可读存储介质196(即，作为运载处理核心198的一部分)或作为独立的单独存储介质。如本文所使用的，“计算机可读介质”(也称为“计算机可读存储介质”)是指有形存储介质。有形存储介质是非暂时性的，并且具有至少一个物理结构组件。在如本文所使用的“计算机可读介质”中，至少一个物理、结构组件具有至少一个物理性质，该物理性质可以在创建嵌入有信息的介质的处理、在其上记录信息的处理或者在用信息编码介质的任何其它处理期间以某种方式改变。例如，可以在记录处理期间改变计算机可读介质的物理结构的一部分的磁化状态。

在技术可以体现为计算机可执行指令的一些但不是所有的实现中，这些指令可以在一个或多个合适的计算装置上执行，所述一个或多个合适的计算装置在任何合适的计算机系统中操作，包括图2的示例性控制系统190，或者一个或多个计算装置(或者一个或多个计算装置的一个或多个处理器)可以被编程以执行计算机可执行指令。计算装置或处理器可以被编程为当指令以计算装置或处理器可访问的方式存储(诸如在数据存储(例如，片上高速缓存或指令寄存器、经由总线可访问的计算机可读存储介质、经由一个或多个网络可访问且由装置/处理器可访问的计算机可读存储介质等)中等)时执行指令。包括这些计算机可执行指令的功能设施可以与单个多用途可编程数字计算装置、共享处理能力并共同执行本文描述的技术的两个或更多个多用途计算装置的协调系统、专用于执行本文描述的技术的单个计算装置或计算装置的协调系统(共址或地理分布)、用于执行本文描述的技术的一个或多个现场可编程门阵列(FPGA)、或任何其它合适的系统集成并指导其操作。

已经描述了在电路和/或计算机可执行指令中实现技术的实施例。应当理解，一些实施例可以是提供了至少一个示例的方法的形式。作为方法的一部分进行的动作可以以任何适当的方式来排序。因此，可以构造实施例，其中动作以不同于所示的顺序来进行，这可以包括同时进行一些动作，即使在所示的实施例中示出为顺次动作。

以上描述的实施例的各个方面可以单独使用、组合使用或者以前述描述的实施例中未具体讨论的各种布置使用，并且因此在其应用中不限于在前述描述中阐述或附图中示出的组件的详情和布置。例如，在一个实施例中描述的方面可以以任何方式与在其它实施例中描述的方面组合。

在权利要求中使用诸如“第一”、“第二”、“第三”等序数术语来修改权利要求元素本身并不意味着一个权利要求元素相对于另一个权利要求元素(或者进行方法的动作的时间顺序)的任何优先级、领先或顺序，而是仅用作标签来区分具有特定名称的一个权利要求元素和具有相同名称的另一个元素(但用于使用序数术语)以区分权利要求元素。

此外，本文使用的短语和术语是为了描述的目的，斌给不应被视为限制性的。“包括(including)”、“包括(comprising)”、“具有”、“包含”、“涉及”及其变化的使用意指包括此后列出的项及其等同物以及附加项。

本文使用词语“示例性”意指用作示例、实例或图示。本文将任何实施例、实现、处理、特征等描述为示例性的，因此，应当理解为说明性示例，并且除非另有指示，否则不应当理解为优选或有利的示例。

这样描述了至少一个实施例的几个方面，应当理解，对于本领域技术人员而言将容易发生各种改变、修改和改进。这种改变、修改和改进旨在作为本发明的一部分，并且旨在在本文描述的原理的精神和范围内。因此，前述描述和附图仅作为示例。

Claims (22)

1.一种方法，包括：

由在第一模式下操作的运载工具的语音控制系统生成基于语音的对话，所述基于语音的对话向驾驶员通知能够在第二模式下操作所述运载工具；

由所述运载工具的运载工具控制系统接收来自所述驾驶员的语音命令，其中，所述语音命令包括指示期望将所述运载工具的操作从所述第一模式改变为所述第二模式的言语表达；以及

由所述运载工具控制系统响应于所述语音命令而指示所述运载工具在所述第二模式下操作。

2.根据权利要求1所述的方法，还包括以下步骤：

由所述语音控制系统解析所述言语表达以确定用于切换模式的条件；

由所述运载工具控制系统识别所述条件的发生；以及

由所述运载工具控制系统响应于所述语音命令和条件发生而指示所述运载工具在所述第二模式下操作。

3.根据权利要求2所述的方法，其中，解析所述言语表达以确定所述条件还包括解析所述言语表达以确定包括切换模式的时间的条件。

4.根据权利要求2所述的方法，其中，解析所述言语表达以确定所述条件还包括解析所述言语表达以确定包括切换模式的触发事件的条件。

5.根据权利要求1所述的方法，其中，所述第一模式是手动操作模式，以及所述第二模式是自主操作模式。

6.根据权利要求1所述的方法，还包括以下步骤：

由所述运载工具控制系统确定存在多个路线，其中所述运载工具能够沿着所述多个路线在所述第二模式下操作；

向所述驾驶员通知所述多个路线；

由所述运载工具控制系统接收来自所述驾驶员的语音命令，所述语音命令包括指示期望沿着所述多个路线中的一个路线行驶的言语表达；以及

指示所述运载工具在所述第二模式下沿着所述多个路线中的该一个路线导航。

7.根据权利要求1所述的方法，还包括使用生物识别来确定所述语音命令是否源自所述驾驶员。

8.根据权利要求1所述的方法，还包括使用由被配置为监视所述运载工具的内部的照相机捕获的与所述驾驶员有关的信息来确定向所述驾驶员通知能够在所述第二模式下操作所述运载工具的方式。

9.一种方法，包括：

从驾驶员接收语音命令，所述语音命令包括询问运载工具是否能够在自主模式下操作的言语表达；

由运载工具控制系统识别到目的地的一个或多个可能路线；

评估所述一个或多个可能路线以识别至少一个路线，其中，所述运载工具能够沿着所述至少一个路线在自主模式下操作；

由语音控制系统向所述驾驶员通知所述至少一个路线；以及

响应于第二语音命令，指示所述运载工具沿着所述至少一个路线在所述自主模式下操作。

10.根据权利要求9所述的方法，其中，识别到目的地的一个或多个可能路线还包括：向地理位置应用查询行驶路线的列表。

11.根据权利要求9所述的方法，其中，向所述驾驶员通知所述至少一个路线还包括向所述驾驶员通知两个可能路线。

12.根据权利要求11所述的方法，还包括以下步骤：

从所述驾驶员接收第二语音命令，所述第二语音命令包括指示选择所述两个可能路线之一的言语表达。

13.根据权利要求12所述的方法，其中，指示所述运载工具在自主模式下操作还包括指示所述运载工具沿着所选择的路线在自主模式下操作。

14.一种运载工具，包括：

运载工具控制系统，用于控制所述运载工具的操作；

语音控制系统，其在所述运载工具控制系统内执行以：

生成基于语音的对话，所述基于语音的对话向驾驶员通知所述运载工具能够在自主模式下操作，

从所述运载工具上的麦克风接收语音命令，

使用所述语音命令来确定期望操作改变，以及

指示所述运载工具在自主模式下操作。

15.根据权利要求14所述的运载工具，其中，所述语音命令由所述运载工具的驾驶员生成。

16.根据权利要求14所述的运载工具，其中，所述语音控制系统被配置为解析所接收的语音命令以确定期望操作改变。

17.根据权利要求16所述的运载工具，其中，所述语音控制系统被配置为确定所述操作改变以事件或时间的发生为条件。

18.根据权利要求17所述的运载工具，其中，所述运载工具控制系统被配置为识别所述事件或时间的发生。

19.根据权利要求14所述的运载工具，其中，所述运载工具控制系统被配置为识别多个路线，其中，所述运载工具能够沿着该多个路线在自主模式下操作。

20.一种用于选择运载工具的操作模式的方法，所述运载工具被配置为在自主模式或手动模式下操作，所述方法包括以下步骤：

由运载工具控制系统确定为需要将所述运载工具的操作模式从自主模式改变为手动模式；

由通过所述运载工具控制系统执行的语音控制系统向所述运载工具的驾驶员通知需要改变；

接收用于确认改变的语音命令；以及

由所述运载工具控制系统响应于所述语音命令而指示所述运载工具在手动模式下操作。

21.一种用于选择运载工具的操作模式的方法，所述运载工具被配置为在自主模式或手动模式下操作，所述方法包括以下步骤：

由运载工具控制系统确定为将所述运载工具的操作模式从自主模式改变为手动模式的需求是可选的；

由通过所述运载工具控制系统执行的语音控制系统向驾驶员通知将操作模式改变为自主模式的选项；

接收指示所述运载工具控制系统改变为自主模式的语音命令；

在接收到所述语音命令的情况下，识别优选路线；以及

由所述运载工具控制系统指示所述运载工具沿着所述优选路线在自主模式下操作。

22.根据权利要求21所述的方法，其中，识别所述优选路线还包括：由所述运载工具控制系统确定为需要新路线以在自主模式下操作，以及选择所述新路线作为所述优选路线。

Images