CN116830190A - 跨不同种生态系统路由用户命令 - Google Patents

跨不同种生态系统路由用户命令 Download PDF

Info

Publication number
CN116830190A
CN116830190A CN202180092660.5A CN202180092660A CN116830190A CN 116830190 A CN116830190 A CN 116830190A CN 202180092660 A CN202180092660 A CN 202180092660A CN 116830190 A CN116830190 A CN 116830190A
Authority
CN
China
Prior art keywords
command
vehicle
ecosystem
module
nlu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180092660.5A
Other languages
English (en)
Inventor
P·卡斯帕尔
B·A·鲁宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sereni Run Co
Original Assignee
Sereni Run Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sereni Run Co filed Critical Sereni Run Co
Publication of CN116830190A publication Critical patent/CN116830190A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于经由连接管理器将车辆乘客所发出的命令路由到智能家居和/或物联网(IoT)生态系统的系统。所发出的命令使用语音辨识来从话语中获得，并使用自然语言理解和自然语言处理进行分析。使用自然理解分析的输出，连接管理器通过识别目标智能家居和/或IoT生态系统来确定将命令发送到哪里。

Description

跨不同种生态系统路由用户命令
相关申请的交叉引用
本申请要求于2020年12月21日提交的第63/128,293号美国临时申请的权益，该申请的公开内容通过引用整体并入本文。
技术领域
本文公开了用于跨不同种智能家居/IoT生态系统路由用户命令的系统和方法。
背景技术
如今消费者越来越紧密地与他们的环境联系在一起，无论是他们的家居、工作场所还是车辆中。例如，智能家居设备和系统已经变得在家居中无处不在。
在智能家居系统内可以包括多种类型的设备。例如，通常系统可以包括智能扬声器、智能恒温器、智能门铃以及智能摄像头。在这样的系统中，每个设备可以与其他设备交互，并由用户从单个控制点来进行控制。设备之间的连接性和单点控制通常只能在系统内的每个设备由单个制造商制造或以其他方式专门地配置来整合时才能实现。与智能家居系统整合在一起的智能设备可以称为智能家居生态系统或物联网(IoT)生态系统。
IoT生态系统的特征在于在被配置为通过类似的协议或使用类似的应用程序接口来接收和传送数据的设备之间的互操作性。IoT生态系统通常具有共享的集线器，该集线器至少包括用于从设备获得的数据的管理应用程序和数据存储库。另外，这些生态系统通常要求设备在特定的操作系统(诸如或/>操作系统)上执行。
IoT生态系统被设计为约束在生态系统内所允许的设备的类型。例如，Google家居生态系统与Google的Nest产品相整合。终端用户只能在同一家公司生产的设备之间实现互操作性，或者被专门设计为与特定的其他制造商设备一起工作的设备。以这样的方式约束互操作性会降低终端用户选择不同种组成的设备的能力，相反，终端用户必须只购买由同一制造商制造的设备或全部使用相同通信协议和/或控制应用程序或操作系统的设备。
因此，在车辆(诸如汽车)内提供整合平台将是有利的，使得终端用户能够使用单个控制应用程序与他们现有的包括生态系统配置的智能家居生态系统进行交互。
发明内容
本文描述了用于使用连接管理器经由基于云的车辆人工智能来指引由机动车辆助理接收的语音或多模式命令的系统和方法。机动车辆助理或基于云的AI可以基于对话语和/或其他输入的分析来确定将命令路由到哪里。该分析可以包括语音识别和自然语言理解。自然语言理解或自然语言处理可以应用于识别的语音，以确定目的地生态系统。
一旦目标生态系统被识别，机动车辆助理或基于云的AI就可以识别应该通过其传送命令的IoT生态系统，然后传送命令。传送可以包括将命令修改成目标生态系统可接受的格式，和/或使用自然语言理解或自然语言处理来修改命令的内容。
基于云的AI或在基于云的AI内执行的模块可以从目标生态系统接收关于所路由的命令的反馈，并使用所接收到的反馈来修改一个或多个自然语言理解或自然语言处理模型。修改模型可以具有修改与最初接收的命令相关联的目标生态系统列表的效果。
本文描述了一种用于路由命令的系统，其中该系统包括从车辆的主机单元(headunit)接收一个或多个话语的辨识模块。该一个或多个话语可以包括至少一个命令。使用这一命令，辨识模块可以识别目标生态系统，并且连接管理器可以将该至少一个命令发送到该目标生态系统。
辨识模块可以包括自动语音辨识模块，该自动语音辨识模块将一个或多个话语转录成文本。辨识模块包括自然语言理解(NLU)模块，该模块解释一个或多个话语的含义，并基于所解释的含义来识别目标生态系统。NLU模块可以使用由NLU模块访问的一个或多个NLU模型来识别目标生态系统。
连接管理器从目标生态系统接收关于该至少一个命令的反馈，并且NLU模块基于该反馈来更新一个或多个NLU模型。
附图说明
在所附权利要求中具体指出了本公开的实施例。然而，通过结合附图参考以下详细描述，各种实施例的其他特征将变得更加显而易见，并且将被最佳地理解，其中:
图1图示出了用于跨不同种生态系统路由用户命令的路由系统的示例实施例；
图2图示出了用于跨不同种生态系统路由用户命令的路由系统的另一个示例实施例；以及
图3图示出了图1和图2的路由系统的示例过程。
具体实施方式
根据要求，本文公开了本发明的详细实施例；然而，应当理解的是，所公开的实施例仅仅是本发明的示例性实施例，其可以以各种替代形式来实施。附图不必按比例绘制；一些特征可以被扩大或最小化以示出特定组件的细节。因此，本文所公开的具体结构的和功能的细节不应被解释为限制，而是仅作为用于教导本领域技术人员以各种方式来运用本发明的代表性基础。
本文公开了一种系统，用于基于口头话语从多个生态系统中选择目标生态系统，并将该话语传送到所选择的生态系统。在车辆中，用户可能希望控制位于车辆外部的生态系统，诸如个人助理设备、家居自动化系统等。在一些示例中，生态系统可以包括家居和/>生态系统、/>家居系统等。基于该话语和与其相关联的上下文数据，系统可以选择生态系统，将话语或关联的命令传送到该生态系统，并且向车辆内的用户界面返回确认，以向用户指示命令已经被执行。
图1中所图示的是系统10的示例实施例，该系统用于提供使用多种输入模式的车辆助理15来为车辆内的乘客提供服务。系统10可以包括布置在车辆内的主机单元(“HU”)30。系统10还可以包括通信地链接到HU 30的电话或移动设备35。HU 30和/或移动设备35可以与向车辆助理15提供功能的基于云的应用程序20通信。在该基于云的应用程序20内是自然语言理解(“NLU”)模块25、自动语音辨识(“ASR”)模块60、认证模块40、连接模块65和仲裁引擎70。连接模块65可以包括连接管理器50、认证缓存45和案例缓存55。通过“云”进行的通信可以涉及经由广域网络和/或局域网络(诸如互联网、全球定位系统(GPS)、蜂窝网络、Wi-Fi、蓝牙等)的数据传输。此外，这样的通信可以提供车辆与外部或远程服务器和/或数据库以及其他外部应用程序、系统、车辆等之间的通信。该通信网络可以向车辆提供导航、音乐或其他音频、节目内容、营销内容、互联网接入、语音辨识、认知计算、人工智能。虽然基于云的应用程序20被描述为是基于云的，但其他形式的存储和通信也可以考虑。
HU 30和/或移动设备35可以驻留于车辆内，其中车辆可以是能够将人或物从第一地理位置运输到与第一地理位置相隔一定距离的第二不同地理位置的任何机器。车辆可以包括但不限于：机动车或汽车；摩托车；摩托踏板车；两轮或三轮车辆；公共汽车；卡车；电梯轿厢；直升机；飞机；船或者作为运输方式使用的任何其他机器。此外，车辆104可以是自主的、部分自主的、自动驾驶的、无人驾驶的或驾驶员辅助的车辆。车辆104可以是电动车辆(EV)，诸如电池电动车辆(BEV)、插电式混合动力电动车辆(PHEV)、混合动力电动车辆(HEV)等
主机单元30可以是车辆内用于控制车辆操作的控制面板或一组控制装置。HU 30通常包括能够执行计算机可读指令的一个或多个处理器或微处理器。车辆HU 30可用于执行一个或多个应用程序，诸如导航应用程序、音乐应用程序、通信应用程序或辅助应用程序。在一些实例中，HU 30可以与车辆中的一个或多个移动设备35整合。在其他实例中，电话或移动设备35可以操作或提供HU 30的后台应用程序，使得HU 30是移动设备35应用程序投影在其上的虚设终端。在其他实例中，HU 30可以访问由移动设备35提供的数据计划或无线连接，以执行一个或多个基于无线的应用程序。
HU 30可以与车辆助理15通信，车辆助理15可以部分由基于云的应用程序20提供。基于云的应用程序20可以经由车辆助理15或直接到HU 30而向车辆提供一个或多个服务。在一些实例中，基于云的应用程序20可以完全在远程位置执行，而在其他实施例中，基于云的应用程序20的各方面可以被缓存在HU30中，或者在HU30和/或移动设备35上本地执行。在又其他实例中，基于云的应用程序20的多个方面可以嵌入HU 30中并在其上执行。
基于云的应用程序20可以提供自然语言理解(“NLU”)或自动语音辨识(“ASR”)服务。ASR模块60可以提供辨识话语并将其转录成文本所需的语音辨识系统和语言模型。ASR模块60可以完全在基于云的应用程序20的上下文中执行，或者ASR模块60的各方面可以分布在基于云的应用程序20和在HU 30上执行的嵌入式应用程序之间。NLU模块25提供理解与所辨识的话语相关联的意图和含义所需的自然语言理解(NLU)应用程序和自然语言理解(NLU)模型。NLU模块25可以包括专用于车辆助理15或专用于一个或多个IoT生态系统的模型。图2中图示出了示例生态系统82，但一般地可以是被配置为在车辆外部且远离车辆执行命令的非车辆系统，诸如用户家居中的系统等。
在一些实施例中，基于云的应用程序20可以被称为基于云的人工智能20或基于云的AI。基于云的AI 20可以包括人工智能和机器学习，以基于来自目标生态系统的反馈修改ASR和NLU模块60、25。
认证模块40可以被包括在基于云的应用程序20内，并且可以被用于向基于云的应用程序20、车辆助理15或连接的IoT生态系统中的任何一个认证用户或说话者。认证模块40可以使用以下准则中的任何一个来执行认证：车辆的VIN(车辆识别号)；话语的话音生物特征分析；以前所提供的登录凭据；由移动设备35提供给HU 30和/或基于云的应用程序20的一个或多个凭据；或任何其他形式的识别。认证凭据可以缓存在基于云的应用程序20内，或者在IoT生态系统的情况下，缓存在连接模块65内。
连接模块65可以用于提供对车辆助理15和一个或多个IoT生态系统的访问。连接模块65内有连接管理器50，其管理要连接到哪个IoT生态系统。连接管理器50可以访问连接模块65中的数据库，包括认证缓存44的缓存和案例55的缓存。案例55可以是根据指定的时间线和一组上下文来支配应用程序的执行的预定工作流。连接管理器50可以访问缓存45内的案例55，以确定与哪个IoT生态系统连接以及在哪里发送信息。
车辆助理15可以是终端用户(即乘客和/或驾驶员)与之交互的界面以访问智能家居和/或IoT生态系统、向基于云的应用程序20或智能家居或IoT生态系统发送命令或创建自动化案例例程。车辆助理15可以被称为机动车辆助理、助理或CERENCE助理。在一些实例中，车辆助理15可以包括CERENCE驾驶2.0框架，该框架可以包括向车辆提供ASR和NLU服务的一个或多个应用程序。车辆助理15可以是被配置为整合不同产品和应用程序(诸如文本到语音应用程序等)的界面。车辆助理15可以包括在车辆内显示的合成语音界面和/或图形用户界面。
车辆、基于云的应用程序20与目标生态系统之间的通信可以经由云通信来执行，并且可以涉及经由广域网络和/或局域网络(诸如互联网、全球定位系统(GPS)、蜂窝网络、Wi-Fi、蓝牙等)的数据传输。该通信网络可以提供车辆与外部或远程服务器和/或数据库以及其他外部应用程序、系统、车辆等之间的通信。该通信网络可以向车辆提供导航、音乐或其他音频、节目内容、营销内容、互联网接入、语音辨识、认知计算、人工智能。
本文所讨论的“模块”可包括一个或多个计算机硬件处理器，该处理器耦合到一个或多个计算机存储设备，用于执行本文所描述的一个或多个方法的步骤，并可使系统10能够与系统和子系统通信以及交换信息和数据。模块、车辆、云AI、HU 30、移动设备35和车辆助理15以及其他组件可以包括一个或多个处理器，该处理器被配置为执行本文所描述的某些指令、命令和其他例程。还可以包括内部车辆网络，诸如车辆控制器局域网(CAN)、以太网以及媒体导向系统传输(MOST)等。内部车辆网络可以允许处理器与其他车辆系统通信，其他车辆系统诸如车辆调制解调器、被配置为提供当前车辆位置和航向信息的GPS模块和/或全球移动通信系统(GSM)模块以及被配置为与处理器结合的各种车辆电子控制单元(ECU)。
车辆可以包括作为系统10的一部分的各种传感器和输入设备。例如，车辆可以包括至少一个麦克风。麦克风132可以被配置为接收来自车厢内的音频信号，诸如包括来自车辆乘员的口头词语、短语或命令的声学话语。麦克风可以包括音频输入，该音频输入被配置为提供音频信号处理特征，其包括放大、转换、数据处理等。
车辆中还可以包括其他传感器，诸如GPS、乘员检测、车辆安全系统、摄像头、定时器、时钟等。这些系统可以提供与话语相关联的上下文数据，以帮助选择适当的生态系统。
参考图2，系统10包括车辆助理15、基于云的应用程序20以及生态系统应用程序编程接口(API)80。生态系统API 80可以对应于各种生态系统82。如上所述，生态系统82可以包括车辆系统外部的各种智能系统，诸如个人助理设备、家居自动化系统等。在一些示例中，生态系统可以包括家居和/>生态系统、/>家居系统等。基于云的应用程序20可以包括配置管理服务(未示出)，该配置管理服务允许终端用户使用车载IoT生态系统。这些IoT生态系统可以是家居自动化生态系统，也可以是允许支持无线的设备互操作、相互通信以及由单个应用程序或控制点控制的任何其他生态系统。系统10可以为终端用户(即，汽车制造商OEM和/或车主/用户)提供访问多个IoT生态系统的能力。例如，终端用户可以选择访问/>家居和/>生态系统。未来，如果终端用户想要访问/>家居系统，则终端用户可以使用配置管理服务来加载/>家居系统生态系统。例如，这可以通过建立与特定设备和基于云的应用程序20的连接来完成，使得基于云的应用程序20可以与生态系统通信。这可以经由移动设备35上的用户界面或经由车辆内的界面在设置模式下来完成。
在一些实例中，配置管理服务可以包括用于存储配置文件的存储库、用于为终端用户提供车载新生态系统能力的应用程序接口(API)以及用于配置对生态系统的访问的各种后端模块。使生态系统车载并与生态系统建立连接需要访问该生态系统的API或API套件80。基于云的应用程序20包括API访问模块，该API访问模块在基于云的应用程序20与生态系统API 80之间提供接口。
车辆助理15可以是基于云的应用程序20的前端，以便车辆助理15接收话语并将其提供给基于云的程序20进行处理。车辆助理15还可以管理认证。
例如，车辆助理15可以接收话语并将该话语发送到基于云的应用程序20进行处理。在基于云的应用程序20内，ASR模块60使用ASR应用程序和语言模型以将话语翻译成文本。
然后，NLU模块25使用话语的翻译文本和各种其他类型的信息来确定话语的意图。其他类型的信息或话语数据可以是指示车辆或驾驶员的非音频上下文环境下的上下文数据。上下文数据可以包括但不限于：一天中的时间；星期几；月份；天气；温度；车辆的地理位置；车辆距离重要地理位置(诸如驾驶员的家)有多远；车辆中是否有另外的乘员；车辆的识别号；说出话语的人的生物特征标识；说出该话语的人在车内的位置；车辆行驶的速度；驾驶员凝视的方向；驾驶员是否具有升高的心率或其他显著的生物反馈；车辆车厢内的噪声量；或任何其他相关的上下文信息。使用该信息，NLU模块25可以确定话语是否包括命令以及该命令指向哪个生态系统。
例如，机动车的驾驶员可以说“开灯”。车辆助理15可以将该话语发送到基于云的应用程序20，在该应用程序中，ASR模块60将该话语翻译为“开灯”。然后，NLU模块25可以利用现在是晚上五点，距离驾驶员家半英里的事实来获知应该将该命令发送到驾驶员的家居系统。然后，基于云的应用程序20可以将该命令发送到驾驶员的/>家居系统，并从驾驶员的/>家居系统接收对该命令已被接收和执行的确认。基于所接收到的确认，基于云的应用程序20可以更新NLU模块25的NLU/NLP模型，以增加关于以下确定的确定性：当汽车的驾驶员在晚上五点距离他们的房子半英里并且说出短语“开灯”时，该话语意味着基于云的应用程序20应该指示该驾驶员的/>家居系统来打开灯。
在另一个示例中，机动车的驾驶员可以说“锁门”。车辆助理15可以将该话语发送到基于云的应用程序20，在该应用程序中，ASR模块60将该话语翻译为“锁门”。然后，NLU模块25可以利用驾驶员离家超过十英里的事实来确定应向驾驶员的系统发送命令。然后，基于云的应用程序20可以将该命令发送到驾驶员的/>系统，并从驾驶员的/>系统接收对该命令已被接收且未被执行的确认。基于所接收到的确认，基于云的应用程序20可以更新NLU模块25的NLU/NLP模型，使得当接收到“锁门”命令时，该命令不会发送到驾驶员的/>系统。
如上文所述，车辆助理15可以是终端用户(即乘客和/或驾驶员)与之交互的界面以访问IoT生态系统82、向基于云的应用程序20或IoT生态系统82发送命令或创建案例。车辆助理15可以被称为机动车辆助理、助理或CERENCE助理。在一些实例中，车辆助理15可以包括CERENCE驾驶2.0框架18，其可以包括向车辆提供ASR和NLU服务的一个或多个应用程序。车辆助理15可以是被配置为整合不同产品和应用程序(诸如文本到语音应用程序等)的接口。车辆助理15可以包括在车辆内显示的合成语音接口和/或图形用户界面22。
用户界面22可以被配置为显示与目标生态系统有关的信息。例如，一旦该生态系统被选择，用户界面22就可以显示与该生态系统82相关联的图像或图标。用户界面22还可以显示对目标生态系统82接收到命令的确认以及生态系统82何时已执行命令。用户界面22也可以显示生态系统82对命令缺乏响应。
图3图示出了用于图1和图2的路由系统的示例过程300。该过程300可以在步骤302处开始，其中基于云的应用程序20或生态系统82请求访问车辆助理15的许可。这可以经由移动设备35来推进。该请求可以包括用户特定的密信或密钥，以便识别用户和/或应用程序。在步骤304处，车辆辅助15可以经由直接简易信息聚合(DRSS)24返回认证令牌。这可以允许一个云系统与另一个(例如，车辆系统15和基于云的应用程序20)通信。在步骤306处，将认证存储在数据库中，诸如认证数据库45。在步骤308处，将认证确认返回到移动设备35。
一旦通过认证，在框310处，车辆助理15可以在主机单元30处接收到话语。在图3所示的示例中，该话语可以是“开灯”。该命令可以由在车辆内或移动设备35处的扬声器接收。该命令可以由车辆助理15接收，其包括诸如CERENCE驾驶2.0框架之类的语音辨识框架。
在步骤312处，车辆助理15可以将话语转发到基于云的应用程序20内的ASR模块60。在步骤314处，ASR模块60可以处理该话语以将文本转换为语音，并且NLU模块25可以确定话语的意图。同时或几乎同时地，在步骤316处，嵌入式语音辨识器(诸如CERENCE VoConASR引擎)可以在主机单元30处处理语音辨识。在步骤318处，ASR模块60可以将ASR和NLU结果转发给仲裁引擎70。仲裁引擎可以评估话语。这可以包括评估云领域和/或主题概率。这可以包括话语的中间结果。该中间结果可以包括对该话语意图的最佳猜测。例如，中间结果可以指示该话语是系统引导的并且旨在将动作引导到特定设备的命令。在本示例中，该命令就是开灯。
在步骤322处，仲裁引擎70将中间结果返回给ASR模块60。同时，在步骤324处，车辆助理15等待中间结果，直到ASR模块60在步骤326处返回中间结果。在步骤328处，车辆助理15评估该中间结果。
在将中间结果发送给ASR模块60的同时或几乎同时，仲裁引擎70还在步骤330处将ASR和NLU结果转发给连接管理器50或认证模块40。连接管理器50可以是被配置为允许进行云对话的云接口。在步骤332处，连接管理器50可以将ASR结果转发给DRSS24服务。DRSS24服务可以是连接模块65或连接管理器50的一部分。DRSS24服务也可以是单独的通信引擎。
然后，DRSS24服务可以分别在步骤334、336、338处评估使用哪个助理或loT生态系统82、接收必要的认证令牌以及将ASR转换回音频信号。在步骤340处，DRSS24服务可以向车辆助理15发送令牌和音频命令。然后，在步骤342处，车辆助理15可以向DRSS24服务返回音频响应，并且在步骤344处，DRSS24服务可以继而向ASR模块60传送该音频响应。在步骤346处，ASR模块60可以向DRSS24服务返回ASR结果。DRSS24服务然后可以在步骤348处向连接管理器50返回文本到语音(TTS)响应，连接管理器继而可以在步骤350处向ASR模块60发送该TTS响应。在步骤352处，ASR模块60可以将其响应传送回车辆辅助设备15。
本文所描述的计算设备一般地包括计算机可执行指令，其中指令可以由一个或多个计算设备执行，诸如上面列出的那些计算设备。计算机可执行指令，诸如虚拟网络接口应用程序202或虚拟网络移动应用程序208的那些指令，可以从使用各种编程语言和/或技术创建的计算机程序中编译或解释，这些编程语言和/或技术包括但不限于单独或组合的JavaTM、C、C++、C#、Visual Basic、JavaScript、Python、TypeScript、HTML/CSS、Swift、Kotlin、Perl、PL/SQL、Prolog、LISP、Corelet等。大体上，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并执行这些指令，从而执行一个或多个过程，包括本文所描述的过程中的一个或多个。可以使用各种计算机可读介质来存储和传送这样的指令和其他数据。
关于本文所描述的过程、系统、方法、启发法等，应该理解，尽管这些过程等的步骤已被描述为根据特定的有序序列发生，但这些过程可以采用以不同于本文所描述顺序的顺序执行的所描述步骤来实践。还应当理解，某些步骤可以同时执行、可以添加其他步骤或者可以省略本文所描述的某些步骤。换言之，本文中对过程的描述是为了说明某些实施例的目的而提供的，而决不应被领会为限制权利要求。
因此，应理解，上述描述旨在说明而非限制。在阅读以上描述后，除了所提供的实例之外的许多实施例和应用程序将是显而易见的。不应参考上述描述来确定范围，而是应参考所附的权利要求以及这些权利要求所享有的等同物的全部范围来确定范围。所预期并意图的是未来的发展将出现在本文所讨论的技术中，并且本公开的系统和方法将被结合到这样的未来的实施例中。总之，应该理解的是，该应用是能够进行修改和变化的。
除非本文中做出相反的明确指示，否则权利要求中使用的所有术语旨在如熟悉本文所描述的技术的人所理解的给予其最广泛合理的结构及其普通含义。特别是，除非权利要求中有相反的明确限制，否则单数冠词(诸如“一个”、“该”、“所述”等)的使用应理解为叙述所指示元素中的一个或多个。
提供本公开的摘要是为了使读者能够快速明确本技术公开的性质。在提交时即理解本公开的摘要将不会用于解释或限制权利要求的范围或含义。此外，在前面的详细描述中，可以看出，为了简化本公开的目的，在各种实施例中各种特征被分组在一起。该公开的方法不应被解释为反映了所要求保护的实施例需要更多于每个权利要求中明确叙述的特征的意图。相反，如以下权利要求所反映的，本发明的主题不在于单个公开的实施例的所有特征。因此，将以下权利要求从而结合到详细说明中，使每个权利要求独立地作为单独要求保护的主题。
尽管上面描述了示例性实施例，但这些实施例并非旨在描述本发明的所有可能形式。相反，说明书中使用的措辞是描述而非限制的措辞，并且应当理解，在不脱离本发明的精神和范围的情况下可以做出各种改变。另外，各种实现实施例的特征可以被组合以形成本发明的进一步的实施例。

Claims (20)

1.一种用于路由命令的系统，该系统包括:
辨识模块，其包括一个或多个硬件处理器，所述辨识模块被配置为从车辆的主机单元接收包括至少一个命令的一个或多个话语，并识别与所述至少一个命令相关联的目标生态系统；以及
连接管理器，其被配置为将所述至少一个命令传送到所述目标生态系统。
2.如权利要求1所述的系统，其中，所述辨识模块包括自动语音辨识(ASR)模块，所述自动语音辨识(ASR)模块用于将所述一个或多个话语转录为文本。
3.如权利要求1所述的系统，其中，所述辨识模块包括自然语言理解(NLU)模块，所述自然语言理解(NLU)模块解释所述一个或多个话语的含义，并基于所解释的含义来识别所述目标生态系统。
4.如权利要求3所述的系统，其中，所述NLU模块使用由所述NLU模块访问的一个或多个NLU模型来识别所述目标生态系统。
5.如权利要求4所述的系统，其中，所述连接管理器从所述目标生态系统接收关于所述至少一个命令的反馈，并且所述NLU模块基于所述反馈来更新所述一个或多个NLU模型。
6.一种用于将命令路由到目标生态系统的方法，该方法包括：
从车辆的主机单元接收一个或多个话语，所述话语至少包括一个命令；
接收与所述一个或多个话语相关的上下文数据，所述上下文数据指示上下文环境，所述一个或多个话语将在所述上下文环境中被解释；
将所述一个或多个话语翻译成文本，所述文本指示针对多个生态系统中的至少一个生态系统的命令；
基于所述文本和所述上下文数据，从所述命令所针对的所述多个生态系统中确定目标生态系统；以及
将所述文本传送到所述目标生态系统以便所述目标生态系统来执行所述命令。
7.如权利要求6所述的方法，其中，所述上下文数据包括所述车辆的位置和一天中的时间中的至少一个。
8.如权利要求6所述的方法，还包括从所述目标生态系统接收所述命令已被执行的确认。
9.如权利要求8所述的方法，其中，所述确认是经由用户界面呈现的。
10.如权利要求6所述的方法，还包括从所述目标生态系统接收关于所述至少一个命令的反馈。
11.如权利要求10所述的方法，还包括基于关于所述至少一个命令的所述反馈来更新自然语言理解模块。
12.如权利要求6所述的方法，还包括经由自然语言理解模块来解释所述文本的含义。
13.如权利要求6所述的方法，还包括响应于确定所述目标生态系统，指示用户界面显示所述目标生态系统的指示。
14.如权利要求6所述的方法，还包括经由存储在云数据库中的认证令牌来认证所述目标生态系统。
15.如权利要求6所述的方法，其中，所述目标生态系统是非车辆系统，其被配置成在车辆外部且远离车辆执行命令。
16.一种用于将命令从车辆路由到目标生态系统的系统，该系统包括:
辨识模块，其被配置为接收来自车辆乘员的包括至少一个命令的一个或多个话语、处理所述一个或多个话语并且使用与所述至少一个命令相关联的上下文数据来识别所述至少一个命令所针对的目标生态系统，其中，所述目标生态系统是非车辆系统，其被配置为在所述车辆外部且远离所述车辆执行命令；以及
连接管理器，所述连接管理器将所述至少一个命令路由到所述目标生态系统。
17.如权利要求16所述的系统，其中，所述辨识模块包括自动语音辨识模块，所述自动语音辨识模块将所述一个或多个话语转录为文本。
18.如权利要求17所述的系统，其中，所述辨识模块包括自然语言理解(NLU)模块，该自然语言理解(NLU)模块解释所述一个或多个话语的含义，并基于所解释的含义来识别所述目标生态系统。
19.如权利要求18所述的系统，其中，所述NLU模块使用所述NLU模块所访问的一个或多个NLU模型来识别所述目标生态系统。
20.如权利要求19所述的系统，其中，所述连接管理器从所述目标生态系统接收关于所述至少一个命令的反馈，并且所述NLU模块基于所述反馈来更新所述一个或多个NLU模型。
CN202180092660.5A 2020-12-21 2021-12-17 跨不同种生态系统路由用户命令 Pending CN116830190A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063128293P 2020-12-21 2020-12-21
US63/128,293 2020-12-21
PCT/US2021/064030 WO2022140178A1 (en) 2020-12-21 2021-12-17 Routing of user commands across disparate ecosystems

Publications (1)

Publication Number Publication Date
CN116830190A true CN116830190A (zh) 2023-09-29

Family

ID=79686762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180092660.5A Pending CN116830190A (zh) 2020-12-21 2021-12-17 跨不同种生态系统路由用户命令

Country Status (4)

Country Link
US (1) US20220199081A1 (zh)
EP (1) EP4264599A1 (zh)
CN (1) CN116830190A (zh)
WO (1) WO2022140178A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US9734839B1 (en) * 2012-06-20 2017-08-15 Amazon Technologies, Inc. Routing natural language commands to the appropriate applications
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
WO2019213177A1 (en) * 2018-04-30 2019-11-07 Ramaci Jonathan E Vehicle telematic assistive apparatus and system

Also Published As

Publication number Publication date
US20220199081A1 (en) 2022-06-23
WO2022140178A1 (en) 2022-06-30
EP4264599A1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
US9544412B2 (en) Voice profile-based in-vehicle infotainment identity identification
KR102562227B1 (ko) 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
US10839797B2 (en) Dialogue system, vehicle having the same and dialogue processing method
US10266182B2 (en) Autonomous-vehicle-control system and method incorporating occupant preferences
US11037556B2 (en) Speech recognition for vehicle voice commands
EP2586026B1 (en) Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system
US20140297060A1 (en) System for controlling functions of a vehicle by speech
US10990703B2 (en) Cloud-configurable diagnostics via application permissions control
US10861460B2 (en) Dialogue system, vehicle having the same and dialogue processing method
EP3570276A1 (en) Dialogue system, and dialogue processing method
KR20200000604A (ko) 대화 시스템 및 대화 처리 방법
US20220258773A1 (en) Autonomous Vehicle Rider Authentication, Boarding, And Drop Off Confirmation
CN110503947B (zh) 对话系统、包括其的车辆和对话处理方法
US11532303B2 (en) Agent apparatus, agent system, and server device
US11593447B2 (en) Pre-fetch and lazy load results of in-vehicle digital assistant voice searches
KR20220065669A (ko) 온-디바이스 캐시를 이용한 하이브리드 페칭
KR102487669B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US20230317072A1 (en) Method of processing dialogue, user terminal, and dialogue system
JP2021123133A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20220199081A1 (en) Routing of user commands across disparate ecosystems
JP2020154994A (ja) エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム
CN110562260A (zh) 对话系统和对话处理方法
US20220201083A1 (en) Platform for integrating disparate ecosystems within a vehicle
KR20200000621A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
JP2020091647A (ja) 情報処理装置及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination