CN110588667A - 始终监听和主动语音辅助及车辆操作 - Google Patents

Abstract

本公开提供了“始终监听和主动语音辅助及车辆操作”。一种车辆包括界面。所述车辆包括控制器，所述控制器被配置为基于车辆的操作参数选择用于生成对问题的回答的主题，以及操作所述界面以向乘员输出所述回答。所述选择响应于源自所述乘员的口头话语并且定义多个不同的主题并以问题结束的输入。

Description

始终监听和主动语音辅助及车辆操作

技术领域

本公开涉及通过主动且始终监听语音辅助来操作车辆。

背景技术

查询系统为调用后提出的问题提供回答。例如，在短语的开头可能会包括调用，诸如“嘿，今天天气怎么样？”在调用“嘿， ”之后，自然语言处理和人工方法被用来寻找问题的回答。这种节奏，其中在问题之前需要调用，可能与所需要的相比需要更多的陈述来提供回答，因为调用之前的对话会被忽略。

发明内容

一种车辆包括界面。所述车辆包括控制器，所述控制器被配置为基于车辆的操作参数选择用于生成对问题的回答的主题，以及操作所述界面以向乘员输出回答。所述选择响应于源自乘员的口头话语并且定义多个不同的主题并以问题结束的输入。

一种由控制器进行的方法包括：响应于源自乘员的口头话语并且定义多个不同的主题并以问题结束的输入，基于车辆的操作参数来选择用于生成对问题的回答的主题。所述方法还包括操作界面以向乘员输出回答。

一种车辆包括控制器，所述控制器被配置为基于车辆的操作参数从口头话语中的一组主题来隔离主题，以及根据由回答算法提供的与相对于标签问题短语的主题相关联的回答来操作车辆。隔离响应于接收到包括标签问题短语的口头话语。

附图说明

图1是具有信息娱乐系统和相关通信能力的车辆的示意图；

图2是车辆控制系统和外围装置的示意图；

图3A是用于始终监听语音系统的算法；和

图3B是用于选择情境的算法。

具体实施方式

这里描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，并且其他实施例可以采用各种替代形式。附图不一定按比例绘制；一些特征可以被放大或最小化以示出特定部件的细节。因此，本文所公开的具体结构细节和功能细节不应被解释为是限制性的，而是仅仅作为教导本领域技术人员以不同方式采用本发明的代表性基础。如本领域的普通技术人员将理解，参考附图中的任一个而示出和描述的各种特征可以与一个或多个其他附图中示出的特征组合以产生未明确地示出或描述的实施例。所示的特征的组合提供用于典型应用的代表性实施例。然而，对于特定应用或实现方式，可能需要根据本公开的教导对这些特征做出各种组合和修改。

车辆乘员进行对话，讨论过去，现在和将来的事件、情况或问题。可以使用反向节奏，而不是使用诸如“嘿，外面的温度是多少”这样需要正向偏置调用的严格节奏。使用反向节奏的问题可以包括标签问题或标签问题短语，并且处理软件可以始终在监听。当潜在问题的主题被组织起来时，所述算法等待调用，诸如，“你认为怎么样？”标签问题是与在陈述之前相反的在陈述之后的任何疑问句。标签问题短语可以包括被提问者的绰号。始终监听和标签问题回答服务提供了反向节奏，其中做出陈述，调用服务，然后提供回答。始终监听服务还可以始终搜索每个主题的回答，使得回答可容易地用于呈现给乘员。

反向节奏的固有问题是对话可能包括多个可回答的主题，并且乘员的期望的回答主题不是特别清楚。下面提供了一个示例对话:

Suzy说，“底特律交响乐团今晚将在底特律演出。”

John说,“我敢打赌，我们有足够的燃料可以到达底特律，但它会非常冷。”“你认为怎么样？”

先前的对话包括至少三个主题1)底特律交响乐团今晚在底特律演出；2)我打赌我们有足够的燃料去底特律；3)它会非常冷。可以基于句法、分类或其他方法来隔离主题。随着时间的推移，主题可能会被提炼出来，并被隔离到特定的情境中。情境可以是可能需要回答的宽泛主题类别。情境也可以呈现给车辆乘员以供选择。还可以经由机器学习来提供选择，使得根据先前选择的主题来选择主题。意味着，乘员可以选择做出的主题选择，并且然后机器学习算法将自动地更新优选情境。在基于情境选择主题之后，车辆可以通过车辆的操作或回答的显示向乘员提供回答或指示。实际上，可以使用始终监听算法来识别需要回答服务的主题，并且在通过标签问题短语进行调用之后自动地提供对主题的回答。

图1示出了包括实现始终监听回答检索算法的车辆102的示例系统100。车辆102可以包括车辆计算系统(VCS)106，车辆计算系统(VCS)106被配置为使用远程信息处理控制单元(TCU)120A通过广域网进行通信。TCU 120A可以具有被配置为通过相应的通信路径和协议进行通信的各种调制解调器122。虽然图1中示出了示例性系统100，但是如图所示的示例性部件不意在限制。实际上，系统100可以具有更多或更少的部件，并且可以使用另外的或替代的部件和/或实现方式。

车辆102可以包括各种类型的汽车、跨界多功能车(CUV)、运动型多功能车(SUV)、卡车、休闲车(RV)、船、飞机或用于运输人或货物的其他移动机械。在许多情况下，车辆102可以由内燃发动机提供动力。作为另一种可能性，车辆102可以是由内燃发动机和一个或多个电动马达两者提供动力的混合动力电动车辆(HEV)，诸如串联式混合动力电动车辆(SHEV)、并联式混合动力电动车辆(PHEV)、或并联/串联式混合动力电动车辆(PSHEV)。由于车辆102的类型和配置可以变化，因此车辆102的能力可以对应地变化。作为一些其他可能性，车辆102可具有关于乘客容量、牵引能力和容量以及存储容量的不同能力。

VCS 106可以被配置成支持驾驶员的语音命令和与驾驶员携带的装置的蓝牙接口，经由各种按钮或其他控件接收用户输入，以及向驾驶员或其他车辆102(一个或多个)乘员提供车辆状态信息。示例性VCS 106可以是由密歇根州迪尔伯恩市的福特汽车公司(FORDMOTOR COMPANY)提供的系统。

VCS 106可以进一步包括各种类型的计算设备，以支持执行本文中描述的VCS 106的功能。在示例中，VCS 106可包括被配置为执行计算机指令的一个或多个处理器以及可保存计算机可执行指令和/或数据的存储介质。计算机可读存储介质(也称为处理器可读介质或存储装置)包括参与提供可由计算机(例如，由处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。大体来说，处理器将例如来自存储装置等的指令和/或数据接收到存储器中，并使用所述数据执行所述指令，从而执行包括本文所述过程中的一个或多个的一个或多个过程。计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序编译或解译，所述编程语言和/或技术包括但不限于(单独地或组合地)：Java、C、C++、C#、Fortran、Pascal、Visual Basic、Python、Java Script、Perl、PL/SQL等。

VCS 106可以被配置为与TCU 120A通信。TCU 120A可以包括能够进行分组交换或电路交换信令的一个或多个调制解调器122。TCU 120A可以控制调制解调器122的操作，从而使用合适的通信路径。调制解调器可以被配置为通过各种通信路径进行通信。路径可以配置有电路交换130、分组交换132、134信令或其组合。分组交换通信132、134路径可以是基于互联网协议(IP)的或者使用基于分组的交换来传输信息。例如，分组交换通信可以是长期演进(LTE)通信。在某些情况下，电路交换130的通信路径可以是SIGTRAN或另一实现方式，通过IP承载电路交换信令信息。然而，基础信令信息仍然在电路交换协议下被格式化。

VCS 106还可以从人机界面(HMI)控件108接收输入，所述人机界面(HMI)控件108被配置成提供乘员与车辆102的交互。例如，VCS 106可以与一个或多个按钮或其他HMI控件108交互，所述一个或多个按钮或其他HMI控件108被配置为调用VCS 106上的功能(例如，方向盘音频按钮、按键通话按钮、仪表板控件等)。VCS 106还可驱动一个或多个显示器110或以其他方式与之进行通信，所述一个或多个显示器110被配置为例如通过视频控制器向车辆乘员提供视觉输出。在一些情况下，显示器110可以是还被配置为经由视频控制器接收用户触摸输入的触摸屏，而在其他情况下，显示器110可以仅是显示器，而没有触摸输入能力。在示例中，显示器110可以是包括在车辆102舱室的中控台区域中的主机单元显示器。在另一示例中，显示器110可以是车辆102的仪表组的屏幕。

VCS 106还可被配置为经由一个或多个车辆中网络112或车辆总线112与车辆102的其他部件进行通信。作为一些示例，车辆中网络112可包括车辆控制器局域网(CAN)、以太网网络以及面向媒体的系统传输(MOST)中的一个或多个。车辆中网络112可允许VCS 106与其他车辆102系统进行通信，所述其他车辆102系统诸如TCU 120A(其可能在某些配置中不存在)的车辆调制解调器、被配置为提供当前车辆102位置和航向信息的全球定位系统(GPS)模块120B以及被配置为与VCS 106进行协作的各种其他车辆ECU。作为一些非限制性可能性，车辆ECU可包括：动力传动系统控制模块(PCM)120C，其被配置为提供对发动机操作部件(例如，怠速控制部件、燃料递送部件、排放控制部件等)的控制和对发动机操作部件(例如，发动机诊断代码的状态)的监测；车身控制模块(BCM)120D，其被配置为管理各种功率控制功能，诸如外部照明、内部照明、无钥匙进入、远程起动和接入点状态验证(例如，车辆102的发动机盖、门和/或行李厢的关闭状态)；无线电收发器模块(RCM)120E，其被配置为与密钥卡或其他本地车辆102装置进行通信；气候控制管理(CCM)120F模块，其被配置为提供对加热和冷却系统部件(例如，压缩机离合器和鼓风机风扇控制、温度传感器信息等)的控制和监测；电池控制模块(BACM)120G，其被配置为监测车辆102的电池104的荷电状态或其他参数。

在示例中，VCS 106可被配置为通过车辆总线112与TCU 120A进行通信来访问TCU120A的通信特征。作为一些示例，车辆总线112可以包括控制器局域网(CAN)总线、以太网总线或MOST总线。在其他示例中，VCS 106可以使用调制解调器122的通信服务经由服务器调制解调器152与服务器150通信。

参考图2，车辆102可以包括发动机113、起动发电机114、电池116和电负载118。控制器网络112可以通过传感器(例如，燃料水平传感器115、机油传感器117)或车辆系统控制器(例如，120A、120B、120C、120D、120E、120F、120G)连接到所有这些车辆系统。例如，控制器网络112可以控制车辆系统以提供自主控制。发动机113可以具有到起动发电机114的直接机械联动装置。起动发电机114可以电连接到电池116和电负载118。电池116可以连接到电负载118。响应于无意中听到上述对话，作为一个非限制性示例，VCS 106可以认识到，如果车辆乘员有足够的汽油，他们希望前往底特律。VCS 106可以从车辆传感器(即，燃料水平传感器115)获取数据，以确定燃料箱中的剩余燃料。然后，VCS 106可以向交响乐团请求车辆102的当前位置的预期燃料消耗。实际上，车辆102可以监听乘员的对话，并且在请求时提供响应，而无需进一步要求重新提问问题或提供附加信息。

参考图3A至图3B，示出了算法300。算法300开始于步骤302。算法300的实现可以包括额外的或更少的步骤，并且可以以不同的顺序执行这些步骤。这些步骤也可以同时或在类似的时间执行。在步骤304中，VCS 106或其他处理器收集口头话语。口头话语可以是可用于通过传声器或传声器阵列124捕获的话语、陈述、话语词或对话。在步骤306中，在口头话语中识别主题。可以基于任何自然语言处理算法来识别主题。可以使用语音的任何部分或其组合(例如，名词、动词)来确定主题。主题被识别为稍后与所提问的问题相关联。主题可以是句子的一部分或整个句子。主题可以由动词-名词关联或其他语法、句法或语义关联形成。

在步骤308中，在口头话语流中检测标签问题。例如，标签问题可能是“你认为怎么样？”标签问题短语可以包括绰号(例如，)。绰号也可以由乘员或所有者自行命名。绰号可以是车辆或VCS 106的制造商或销售商。标签问题短语的识别调用问题回答服务。

在步骤308中接收到标签问题短语之后，算法将基于情境从口头话语中选择已经捕获的主题，如在子算法A 310中所定义的。子算法A 310收集信息以定义情境。情境可以是主题的类别或被配置为表示车辆操作参数的类别的其他逻辑表示。如步骤312所示，子算法A 310识别口头话语中的情境。作为一个示例，情境标识通常可以包括营养信息，而主题识别被缩窄地调整到关于糖果棒中的营养的问题。在步骤314中，情境列表(例如，营养、到目的地的距离、兴趣点、天气)可以针对车辆缩窄地调整，使得通用信息请求不可用(例如，算术回答、单词发音)。意味着，在假设存在车辆或旅行相关问题的情况下，制造商或乘员可以任选地缩窄宽泛的问题检索能力。

类似地，在步骤316中，分析车辆操作参数以提供情境。例如，车辆102可以被配置为使得车辆特定的参数情境可用于问答服务。意味着，与机油寿命、燃料水平、荷电状态、气候状态、发动机温度或其他车辆参数相关联的情境可以通过步骤316中的情境可用。在步骤318中，机器算法或制造商可以选择可用于回答检索的操作参数。例如，油温可以是可用的车辆参数，但是机器学习算法可以确定不应使情境可用，因为很少提问关于发动机油温的问题。车辆参数情境可以被赋予比口头话语情境更大的权重。

在步骤320中，情境被呈现给用户。意味着，用户可以进一步选择其可能期望由回答服务回答哪些情境。可以使用HMI控件108或显示屏110呈现情境。情境可以由系统读取到乘员，并且乘员可以提供对适当的情境选择的确认。例如，车辆可以陈述“第一行：天气”。然后，乘员可以通过说“一”来口头确认第一行是正确的选择。可以呈现情境，使得首先呈现最常用的情境。情境也可以基于已经接收到的口头话语和正在讨论的情境的频率按顺序呈现。例如，如果底特律的天气是沿着道路行程讨论的主题，则天气情境可以作为主要选项呈现给用户。在步骤322中，接收用户情境选择以供在步骤324中使用。可以为情境分配权重，以改善回答服务。例如，与稀疏讨论的油温相比，频繁讨论的天气情境可能被赋予更大的权重。在所有其他条件相同的情况下，在步骤324的主题选择过程中，较重加权的情境将优先于未加权或较低加权的情境来进行主题选择。

在步骤324中，所选择的情境连同所识别的主题是已知的。然后，所述算法可以基于情境来识别要确定的主题。主题选择可以考虑应用于每个主题所驻留的情境的权重。例如，天气情境中的主题可能优先于油温情境中的主题。此外，主题的句法和语义强度可以被加权。例如，可以基于口头话语的条件来确定主题的置信度值。意味着，具有语法连贯性的短语可能属于更大加权的情境，但由于句法或语义得分而被打折扣。此外，接近标签问题短语可以用于进一步加权主题。例如，直接落在标签问题短语之前的主题可以使其得分加倍或乘以因子。意味着，如果主题紧接在标签问题短语之前并且句法和语义得分对于天气主题是低的，则可以在具有高权重的情境之上选择具有低权重的情境。

在步骤326中，将具有最高置信度得分的所选主题发送到服务器150以进行回答。服务器150通过其中的统计和机器学习算法提供最高可能的回答。任何回答服务都可以提供回答，并且回答不需要相对于车辆。例如，回答可能来自诸如Google Now或Cortana的回答服务。在步骤328中，回答可以被发送回车辆102并且被呈现给乘员。然后，在步骤330中，车辆102可以基于回答自动操作车辆102或提示用户选择动作过程。例如，如果选择的主题是“我打赌我们有足够的燃料到达底特律”，车辆102可以为交响乐团准备一条去底特律的路线，并自主地将汽车导航到目的地。

说明书中所使用的措词是用于描述而非限制的措词，并且应理解，可在不脱离本发明的精神和范围的情况下做出各种改变。如先前所述，各种实施例的特征可以组合以形成本发明的可能未明确描述或示出的另外的实施例。例如，可以使用始终监听算法来识别需要回答服务的主题，并在通过标签问题短语进行调用之后自动提供对所述主题的回答，所述回答可以不基于车辆的操作参数。虽然各种实施例可能已经被描述为就一个或多个所期望特性而言相较其他实施例或现有技术实现方式来说提供优点或是优选的，但是本领域的普通技术人员将认识到，一个或多个特征或特性可以折衷以实现期望的总体系统属性，这取决于特定应用和实现方式。这些属性可以包括但不限于：成本、强度、耐久性、生命周期成本、适销性、外观、包装、尺寸、可服务性、重量、可制造性、易组装性等。因此，相对于一个或多个特性描述为不如其他实施例或现有技术实现方式理想的实施例处在本公开的范围内并且对于特定应用来说可能是希望的。

根据本发明，提供了一种车辆，其具有界面；以及控制器，所述控制器被配置为响应于源自定义多个不同主题并且以问题结束的乘员的口头话语的输入，基于车辆的操作参数来选择用于生成对问题的回答的主题中的一者，以及操作所述界面以向乘员输出回答。

根据一个实施例，操作参数的情境和口头话语的情境是相同的。

根据一个实施例，操作参数是车辆的燃料水平。

根据一个实施例，控制器还被配置为根据主题的基于句法、语义和语法得分的置信度得分来选择主题。

根据一个实施例，控制器还被配置为根据主题的基于主题与问题的接近度的置信度得分来选择主题。

根据一个实施例，控制器还被配置为基于回答操作车辆控制系统。

根据一个实施例，所述问题包括疑问句，其中疑问句的对象是绰号。

根据一个实施例，绰号是车辆的制造商、品牌或型号。

根据一个实施例，基于与乘客相关联的情境选择来选择操作参数。

根据一个实施例，基于在回答算法未被调用时所做的陈述来生成情境。

根据一个实施例，情境由用户选择。

根据一个实施例，当主题被识别时，检索回答。

根据本发明，一种方法包括：通过控制器，响应于源自定义多个不同主题并且以问题结束的乘员的口头话语的输入，基于车辆的操作参数来选择用于生成对问题的回答的主题，并操作界面以向乘员输出回答。

根据一个实施例，操作参数的情境和口头话语的情境是相同的。

根据一个实施例，操作参数是车辆的燃料水平。

根据一个实施例，根据主题的基于句法、语义和语法得分的置信度得分来选择主题。

根据一个实施例，根据主题的基于主题与问题的接近度的置信度得分来选择主题。

根据一个实施例，上述发明的特征还在于基于回答操作车辆控制系统。

根据一个实施例，所述问题包括疑问句，其中疑问句的对象是绰号。

根据本发明，提供了一种车辆，其具有控制器，所述控制器被配置为响应于接收到以标签问题短语结束的口头话语，基于车辆的操作参数从口头话语内的一组主题隔离主题，以及根据由回答算法提供的对主题的回答来操作车辆。

Claims (15)

1.一种车辆，其包括：

界面；和

控制器，所述控制器被配置为响应于源自定义多个不同主题并以问题结束的乘员的口头话语的输入，基于所述车辆的操作参数选择用于生成对所述问题的回答的主题中的一者，以及操作所述界面以向所述乘员输出所述回答。

2.如权利要求1所述的车辆，其中所述操作参数的情境和所述口头话语的情境是相同的。

3.如权利要求2所述的车辆，其中所述操作参数是所述车辆的燃料水平。

4.如权利要求2所述的车辆，其中所述控制器还被配置为根据所述主题的基于句法、语义和语法得分的置信度得分来选择所述主题。

5.如权利要求2所述的车辆，其中所述控制器还被配置为根据所述主题的基于所述主题与所述问题的接近度的置信度得分来选择所述主题。

6.如权利要求1所述的车辆，其中所述控制器还被配置为基于所述回答来操作车辆控制系统。

7.如权利要求1所述的车辆，其中所述问题包括疑问句，其中所述疑问句的对象是绰号。

8.如权利要求7所述的车辆，其中所述绰号是所述车辆的制造商、品牌、或型号。

9.如权利要求1所述的车辆，其中基于与所述乘员相关联的情境选择来选择所述操作参数。

10.如权利要求1所述的车辆，其中基于在未调用回答算法时做出的陈述来生成情境。

11.如权利要求10所述的车辆，其中所述情境由用户选择。

12.如权利要求1所述的车辆，其中当识别出所述主题时，检索所述回答。

13.一种方法，其包括：

通过控制器，

响应于源自定义多个不同主题并且以问题结束的乘员的口头话语的输入，基于车辆的操作参数来选择用于生成对问题的回答的主题；以及

操作界面以向所述乘员输出所述回答。

14.如权利要求13所述的方法，其中所述操作参数的情境和所述口头话语的情境是相同的。

15.如权利要求13所述的方法，其中所述操作参数是所述车辆的燃料水平。