CN107889533A - 管理对话数据提供者 - Google Patents
管理对话数据提供者 Download PDFInfo
- Publication number
- CN107889533A CN107889533A CN201680034889.2A CN201680034889A CN107889533A CN 107889533 A CN107889533 A CN 107889533A CN 201680034889 A CN201680034889 A CN 201680034889A CN 107889533 A CN107889533 A CN 107889533A
- Authority
- CN
- China
- Prior art keywords
- response
- dialogue
- data set
- user
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 claims abstract description 155
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000013499 data model Methods 0.000 claims description 12
- 238000012797 qualification Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 abstract description 13
- 238000003860 storage Methods 0.000 abstract description 13
- 238000007726 management method Methods 0.000 description 28
- 238000004458 analytical method Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 102000003712 Complement factor B Human genes 0.000 description 5
- 108090000056 Complement factor B Proteins 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000000429 assembly Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
用于管理对话的方法、系统和装置,包括编码在计算机存储介质上的计算机程序。在一个方面中,该方法包括从用户设备接收与任务相关联的请求;将该请求提交给多个不同的数据提供者中的每一个数据提供者;从所述数据提供者中的两个或更多个数据提供者接收多个建议的对话响应;基于一个或多个评分因子,对所述一个或多个建议的对话响应进行评分;基于该评分,确定提供给用户的特定对话响应;以及将所确定的对话响应提供给用户设备。
Description
技术领域
本说明书涉及响应于用户使用用户设备上的界面发出的请求来管理对话的方法和系统。
背景技术
传统的移动设备可以包括用于响应移动设备的用户的话音的软件。话音通常可以包括使移动设备的呼叫电话号码、发文本到电话号码或搜索移动设备或互联网上的信息的指令。该软件可以从移动设备提供确认指令的音频输出。移动设备可以将所接收的话音提供给服务器系统进行处理并且接收识别要执行的操作的信息。
发明内容
本说明书描述涉及包括不同数据提供者之间的调节的管理对话的技术。通常,本说明书中描述的主题的一个创新方面可以体现在包括下述动作的方法中:从用户设备接收与任务相关联的请求;将请求提交给多个不同的数据提供者中的每一个数据提供者;从所述数据提供者中的一个或多个数据提供者接收一个或多个建议的对话响应;基于一个或多个评分因子,对所述一个或多个建议的对话响应进行评分;基于该评分,确定提供给用户的特定对话响应;以及将所选择的对话响应提供给用户设备。更具体地说,所述实施例的方面包括一种用于用户设备的对话管理的方法,包括:在对话系统处从用户设备接收与任务相关联的请求;所述用户设备经由通信网络可通信地耦合到对话系统;由对话系统将请求提交给多个不同的数据提供者中的每一个数据提供者,其中,每个数据提供者根据相应的数据模型,独立地分析该请求;从数据提供者中的两个或更多个数据提供者接收多个建议的对话响应;基于一个或多个评分因子,由对话系统的对话管理引擎对一个或多个建议的对话响应进行评分;基于评分准则,由对话管理引擎确定提供给用户的特定对话响应;以及将所确定的对话响应提供给用户设备。
该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,分别被配置为执行方法的动作。对一个或多个计算机的系统被配置为执行特定操作或动作是指该系统在其上安装软件、固件、硬件或它们的组合,其在运行时,使系统执行操作或动作。对一个或多个计算机程序被配置为执行特定操作或动作是指一个或多个程序包括指令,所述指令当被数据处理装置执行时,使该装置执行操作或动作。
上述和其他实施例分别可选地单独地或组合地包括下述特征中的一个或多个。特别地,一个实施例组合地包括所有下述特征。该方法包括:基于所选择的对话响应,更新对话的状态。所接收的请求是语音输入,并且其中,该方法包括在将请求提交给多个数据提供者之前,将语音输入请求转换为文本。该方法进一步包括确定对话是否需要来自用户设备的进一步的响应,并且响应于确定不需要进一步的响应,完成由用户请求的任务。每个数据提供者根据对应的数据模型,独立地分析请求。响应于确定多个建议的对话响应的相应的得分中没有一个满足阈值量,合成提供给用户设备的响应以判定用户意图。基于评分来确定提供给用户的特定对话响应包括取消具有低于阈值量的得分的建议的对话响应的资格,并且还取消引用该建议的对话响应的所有建议的对话响应的资格。
可以实现本说明书中描述的主题的特定实施例,使得实现一个或多个下述优点。通过在能响应用户输入的不同的数据提供者之间调节来响应任务,改进对话管理。特别地,可以利用具有不同优缺点的不同数据提供者。这允许专门的数据提供者,同时还提供可以解释的用户输入类型的灵活性。此外,对话管理可以允许从不同数据提供者接收并行响应,并且可选地汇总所接收的响应。另外,数据提供者相对于实施方式可以是多样化的,例如,它们可以由不同的供应商生成或者使用不同的技术构建,或者可以通过不同的网络(如本地或远程)访问。只要每个数据提供者使用规定的界面提供数据,系统就可以将他们的数据组合成统一的对话响应。
本说明书中描述的主题的一个或多个实施例的细节在附图和下面的描述中阐述。从说明书、附图和权利要求,主题的其它特征、方面和优点将变得显而易见。
附图说明
图1是用于管理对话的示例系统。
图2是用于管理对话的示例过程的流程图。
各附图中的相同附图标记和标号指示相同的元素。
具体实施方式
用户可以向设备提供语音指令以执行特定任务,例如生成日历项、发出呼叫或文本、或搜索特定信息。由设备或由与设备通信的系统执行任务可以由会话对话来驱动,该会话对话向用户询问针对完成任务所需的一个或多个值的问题,类似于填写表单的字段。
例如,日历任务的示例对话可以是:
用户:[创建闹钟]
设备/系统:你想把闹钟设在什么时间?
用户:[3:00pm]
设备/系统:已经生成下午3点的闹钟。
响应于用户输入创建闹钟的命令,系统将该命令解释为请求将闹钟设定在特定时间的任务。具体地说,用于执行任务的数据提供者可以解释所接收的语音输入,并且将特定的对话引向完成该任务所必需的信息,例如,请求闹钟的时间。
在另一示例对话中,用户可以寻找特定的信息:
用户:[巨人比赛什么时候开始?]
设备/系统:您的意思是旧金山巨人还是纽约巨人?
在此,系统将来自用户的问题理解为比赛排程查询,但是存在对于用户是指哪个“巨人”的歧义。对话响应请求澄清用户所指的哪个“巨人”队。一旦被澄清,对话可以继续提供例如由搜索系统识别的排程信息。
在一些情况下,取决于对话系统如何解释语音输入,用户输入可以从一种类型的任务改变为潜在的另一种类型的任务。例如:
用户:[设置闹钟]
设备/系统:你想把闹钟设在什么时间?
用户:[巨人比赛何时开始?]
在该示例中,取决于语音输入触发哪个数据提供者,可以以一种以上的方式来解释用户的第二响应。例如,任务数据提供者可以解释与创建闹钟相关的语音输入,但不将有关巨人比赛的第二输入视为噪声或无意义的响应,因为它与用于闹钟任务对话的预期输入无关。但是,可以解释比赛相关语音输入的另一数据提供者可以处理巨人比赛排程问题。本说明书描述了用于调节和组合来自多个数据提供者的对话响应的技术。
图1是用于管理对话的示例系统100。系统100包括用户102、用户设备104、对话系统106和多个数据提供者124a、124b至124n。用户设备104和对话系统106通过网络103(例如互联网)进行通信。
用户设备104可以是包括移动设备、可穿戴式计算机、平板计算机、混合体(hybrid)、膝上型计算机、或桌面型计算机的许多合适的设备之一。用户设备104从用户102接收口头(例如语音输入)和非口头的交互。特别地,用户设备104包括被配置为从用户102接收语音输入的麦克风108。用户设备104可以还包括被配置为响应于所接收的用户请求而广播对话问题的一个或多个扬声器。为了清楚起见,仅示出单个用户设备。然而,可以存在与对应的不同用户相关联的许多用户设备。这些用户设备中的每一个可以通过网络103与对话系统106通信。
用户设备104还包括用户界面110。用户界面110可以响应于用户请求向用户呈现包括与对话相关联的一些或全部内容的信息。对话112定义了执行用户所请求的任务所需的多个响应,例如值的问题。对话112的特定问题或其他内容可以例如通过由一个或多个扬声器广播或显示在用户界面110中的音频问题序列以特定顺序呈现给用户。
在一些其他实施方式中,用户设备包括话音分析引擎,以在传输到对话系统106之前,将对麦克风108的接收的语音输入转换成文本。
对话系统106可以是一个或多个计算资源,例如一个或多个计算系统,或在一个或多个计算系统上执行的虚拟机,其通过网络103与用户设备104通信。对话系统106包括对话管理引擎114和话音分析引擎116。
话音分析引擎116可以使用合适的话音到文本过程来将接收的语音输入118转换成文本串。在一些实施方式中,话音分析引擎116还可以发出文本,该文本可以由一个或多个解析器处理以例如通过生成解析树识别一个或多个含义。被转换成文本的音频的含义可由一个或多个数据提供者使用来识别响应于所接收的请求而执行的特定任务。
对话管理引擎114管理与所请求的任务相关联的一个或多个对话。这包括保持对话的状态,例如正在回答什么问题,使得话音分析引擎116可以基于由该状态提供的当前场境,正确地解释与对话相关联的所接收的音频。另外,对话管理引擎114基于对话的状态以及表示数据提供者1、数据提供者2和数据提供者N的数据提供者124a、124b和124n中的一个或多个解释的语音输入,确定对传入语音输入的响应,其中,N是表示可以向对话系统106提供输入的数据提供者的总数的某一整数。
这些数据提供者124a-n中的每一个表示被配置为根据用于该数据提供者的特定数据模型来独立解释语音输入的后端系统。例如,第一数据提供者可以是具有被配置为解释与特定任务有关的语音查询的数据模型的任务提供者,所述特定任务诸如创建日历条目、设置闹钟、发起电话呼叫或生成文本消息。任务数据提供者期望与特定任务相关联的用户输入并且辨识与那些预期用户输入相关联的语音输入。第二数据提供者可以是具有被配置为解释与包括团队和得分的特定比赛主题相关的语音查询的数据模型的比赛提供者。其他数据提供者可以包括专注于特定类型的信息的搜索数据提供者,所述特定类型的信息例如本地企业、社交网络信息或诸如购物机会的商业数据。
响应于从用户设备104接收并且由语音分析引擎116处理的语音输入,数据提供者124中的一个或多个可以解释所接收的输入并且向对话管理引擎114提供对话响应。然后,对话管理引擎114确定向用户设备104提供哪个对话响应。在下文中,将更详细地描述不同的响应方式。
每个数据提供者124a-n根据对应的数据提供者的数据模型,基于所接收的输入的解释来建议对话响应。可以根据特定数据格式,在数据结构中编码对话响应以及诸如来自用户102的预期响应的可选的其他信息。在一些实施方式中,该信息被编码在本说明书中称为DialogTurnIntent(“DTI”)的协议缓冲中。为了方便起见,DTI将被全文使用,但可以使用其他合适的编码数据结构。
例如,在用于撰写电子邮件消息的任务的对话中,对话的一个问题可以是对电子邮件的主题的请求。任务数据提供者可以创建DTI,其中,对用户的问题是对主题的提示。DTI被提供给对话管理引擎114并且被发送到用户设备104,其中可以将该DTI向用户102呈现为例如用户界面中的可视问题,例如“主题是什么”,或呈现为从扬声器发出的音频问题,例如,“你想要主题是什么?”。
对话管理引擎114可以向用户设备102发送120多于一个DTI。特别地,DTI可以不仅包括给用户的当前提示,而且可以包括与完成所请求的任务的对话所必需的其他字段相关的其他DTI。例如,当对话管理引擎114发送“对主题的提示”DTI时,它也可以在对话中发送用于随后的问题的DTI,例如“对消息主体的提示”DTI。
图2是用于管理对话的示例过程200的流程图。为了方便,过程200将被描述为由位于一个或多个位置中并且根据本说明书适当地编程的一个或多个计算机的系统执行。例如,适当编程的对话系统,例如图1的对话系统106,可以执行过程200。
系统接收包括请求的输入(202)。该请求可以作为由用户提供给用户设备的语音输入或对用户设备(例如,图1的用户设备104)的手动输入来接收并且被传送到系统。在一些实施方式中,用户语音输入在被发送到系统前,可以由用户设备转换成文本。该任务可以是例如生成日历项、设置闹钟、生成电子邮件、发出呼叫或文本、或搜索特定信息。
系统将该请求提供给多个数据提供者(204)。每个数据提供者可以被配置为使用特定的数据模型来解释不同类型的请求。因此,取决于根据相应的数据模型如何处理请求,可以由不同的数据提供者不同地解释所接收的请求。
系统从数据提供者中的一个或多个接收建议的对话响应(206)。每个数据提供者根据相应的数据模型独立地分析请求。数据模型可以包括在与特定类型的信息或动作相关联的特定数据集上训练的模型。该请求可以触发多个数据提供者中的一些但不是全部数据提供者的响应。因此,针对棒球比赛排程的语音输入请求可以触发来自经训练以提供体育相关响应的数据提供者的建议的对话响应,但不触发经训练以提供天气信息的数据提供者,因为该语音输入不与和天气信息相关联的预期请求相匹配。在一些实施方式中,数据提供者可以对未辨识的语音输入提供响应,例如,指示输入未被理解,并且要求用户重复响应。
一个或多个数据提供者可以以DTI的形式提供建议的对话响应,该DTI包括提供给用户设备的建议的响应。
在一些实施方式中,每个数据提供者能够查看由其他数据提供者提供的建议的对话响应。作为响应,指定的数据提供者可以基于其他数据提供者的对话响应来修改或添加建议的对话响应。例如,任务数据提供者可以建议基于搜索数据提供者的建议响应的响应,例如建议基于来自提供体育比赛的时间的搜索数据提供者的响应来设置闹钟的时间。另外,在一些实施方式中,每个数据提供者可以提供多个建议的对话响应。例如,每个响应可以基于另一数据提供者的建议的响应的场境以及忽略其他数据提供者的建议的响应。
系统确定选择哪个对话响应(208)。具体来说,系统分析所有建议的对话响应,并且确定哪个建议的对话响应是最适合选择的。在从数据提供者接收所有单独建议之后,但是在将任何对话响应发送给用户设备之前,执行分析。系统可以基于一个或多个因子对每个建议的响应进行评分。可以使用各种因子来对建议的对话响应进行评分以选择包括以下中的一个或多个:可能的用户意图的基于日志的调整、用户个性化模型、指示每个数据提供者的语义解释的可能性的得分、或者确定精心一致和最小化作为对话的一部分而询问的问题的数目之间的平衡的总体对话策略配置。
在一些实施方式中,数据提供者包括置信度得分及其结果。置信度得分可用于确定选择哪个建议的响应。在一些其他实施方式中,其他选择因子可以包括对话会话的长度和对话会话的历史。例如,如果用户多次询问相同的问题,则数据提供者可以不提供用户正在寻找的信息,而是可以选择不同的数据提供者。
在一些实施方式中,选择因子是被考虑的信息是正常用户将感兴趣的东西(而不是秘传)的可能性。例如,如果没有像巨人这样的运动队,应该认为在搜索例如“巨人比赛”之前,误解了用户。
在一些实施方式中,选择因子是正在考虑的信息的质量。质量可以基于例如数据提供者是从例如官方棒球排程服务的结构化来源还是从例如由随机人员的博客的非结构化来源获得信息。
在一些实施方式中,选择因子基于语用学和任务计划。例如,如果系统不知道两个巨人队中的任一个在哪个时候比赛,那么系统就不应该询问用户他们是指哪个巨人,因为答案不会对更广泛的任务产生任何影响。
在一些实施方式中,基于所考虑的信息与用户查询的相关性来得出选择因子。例如,如果“巨人”仅是遥远的国家的不著名的球队,那么系统应该把它们视为不相关。
在一些实施方式中,选择因子基于是否进行查询足够歧义以致系统应当要求用户澄清其意图而不是询问愚蠢/显而易见的问题而烦扰他们的确定。可以例如基于以下来进行确定:关于用户位于何处的地理信息;个性化,例如,讨论旧金山巨人对纽约巨人的用户历史;或场境,例如,两队中的仅一个很快具有比赛排程。
在一些实施方式中,如果基于这些因子,特定建议的对话响应得分低,例如,建议的对话响应不能满足特定的阈值得分,则对话管理引擎可以不仅取消建议的对话响应的资格,而且取消引用建议的对话响应的任何其他建议的对话响应的资格。在一些实施方式中,如果来自两个或更多个数据提供者的得分不能由指定的阈值量来区分,则对话管理引擎可以生成意图消歧问题作为对话响应。
系统向用户设备提供所选择的对话响应(210)并且更新对话的状态(212)。发送给用户设备的对话响应可以包括指示将在用户设备上呈现给用户的响应的所选择的对话响应的DTI。该响应可以被合成为语音响应或者呈现在用户设备的用户界面上。在一些实施方式中,响应与附加信息例如与对话响应相关联的一个或多个搜索结果一起被发送。例如,如果对话响应基于数据提供者的搜索或相关网页,则指向那些网页的链接可以与对话响应一起被提供。
对话的更新状态可用于确定响应于所接收的用户响应来发送的对话的下一部分。另外,对话的更新状态可以向从用户设备接收的后续语音输入的分析提供场境,使得可以正确地解释语音输入。
在完成合适的对话时,系统完成请求(214)。
系统可以确定是否需要附加值或对话是否完成。如果需要附加值,则可以向用户设备发送一个或多个附加的DTI,或者系统可以等待来自用户设备的附加的响应。如果不需要附加值,系统可以例如通过生成日历条目或电子邮件消息,或通过提供特定的请求信息,来完成该任务。完成的任务在执行之前可以发送给用户设备进行审批,也可以自动执行。
存在系统可以基于不同数据提供者的建议和应用的评分来解释输入的多种方式。下文描述了解释用户输入的一些示例情况:
情况1:
用户:[设置闹钟]
系统/设备:你想把闹钟设在什么时间?
用户:[巨人比赛什么时候开始?]
在该示例中,数据提供者可以包括任务提供者、体育提供者和web答案提供者。如果系统确定体育和web数据提供者的对话建议有噪声,那么这些响应应当是不合适的,并且已经被触发的任务提供者应该管理对话。这会导致诸如下述的响应:
系统/设备:对不起,我没明白你说的。你想把闹钟设在什么时间?
情况2:
在这种情况下,用户正在询问侧面问题,因为他们想观看巨人比赛。系统这次对web答案的信心更高,如在对应的建议的对话响应的得分中所反映的,因此,其优于体育提供者和任务提供者被选择以创建混合对话:
用户:[设置闹钟]
系统/设备:你想把闹钟设在什么时间?
用户:[巨人比赛什么时候开始?]
系统/设备:基于以下结果,巨人比赛今天下午3点开始。设置那时的闹钟吗?
情况3:
类似于情况2,除了对话管理引擎合成新的问题以确定用户是否意图改变话题或者他们是否仍然对原始任务感兴趣:
用户:[设置闹钟]
系统/设备:你想把闹钟设在什么时间?
用户:[巨人比赛什么时候开始?]
系统/设备:基于以下结果,巨人比赛今天下午3点开始。你还想要设置那时的闹钟吗?
情况4:
在情况4中,由于用户想要观看巨人比赛,用户正在询问侧面问题。尽管网络答案提供者提供了作为建议答案的时间,但是该系统允许得分更高的体育提供者来澄清歧义并且确认正确的实体。为了保持设置闹钟的意图,下述混合对话发生:
用户:[设置闹钟]
系统/设备:你想把闹钟设在什么时间?
用户:[巨人比赛什么时候开始?]
系统/设备:你是指旧金山巨人还是纽约巨人?
用户:[旧金山巨人]
系统/设备:基于下面的结果,旧金山巨人在下午3点进行比赛。设置那时的闹钟吗?
情况5:
在这种情况下,用户正在改变主题并且不再想要设置闹钟。此时,对话管理引擎有信心web回答提供者识别巨人比赛的时间,其得分高于其他建议的对话响应,并且不建议继续先前任务的闹钟。
用户:[设置闹钟]
系统/设备:你想把闹钟设在什么时间?
用户:[巨人比赛什么时候开始?]
系统/设备:基于下面的结果,巨人比赛今天下午3点开始。
情况6:
在这种情况下,用户正在改变主题并且不再想要设置闹钟。对话管理引擎使用体育数据提供者的最高得分建议来澄清实体,然后web回答者识别时间。不建议闹钟。
用户:[设置闹钟]
系统/设备:你想把闹钟设在什么时间?
用户:[巨人比赛什么时候开始?]
系统/设备:你是指旧金山巨人还是纽约巨人?
用户:[旧金山巨人]
系统/设备:基于以下结果,巨人比赛今天下午3点开始。
情况7:
在这种情况下,对话管理引擎可以合成问题以消除用户是否正在改变主题或询问侧面问题的歧义。这会因为两个或更多个建议的响应得分太接近而无法确定应该支持哪一个发生。
用户:[设置闹钟]
系统/设备:你想把闹钟设在什么时间?
用户:[巨人比赛什么时候开始?]
系统/设备:等等,你想完成设置闹钟,还是你正尝试将闹钟排程在比赛附近?
在这些情况的每一个中,各种数据提供者基于用户输入建议一个或多个对话响应。另外,数据提供者可以基于其他数据提供者的建议的对话响应来建议多个对话响应。
参考上文的示例情况,任务提供者可以提供建议的对话响应“对不起,我没明白你说的。你想把闹钟设在什么时间?”。这对应于上述情况1。
响应于任务提供者意识到由web答案提供者发送建议的对话响应,任务提供者可以生成引用web答案建议的对话响应和附加内容“设置那时的闹钟吗?”的另一建议的对话响应。这对应于上文的情况2。
响应于任务提供者意识到由web答案提供者发送建议的对话响应,任务提供者可以生成引用web答案建议的对话响应和附加内容“你还想要设置闹钟?”的另一建议的对话响应。这对应于上文的情况3。
响应于任务提供者意识到由体育数据提供者发送建议的对话响应以消除该实体的歧义,任务提供者可以生成引用体育答案建议的对话响应和附加内容“设置那时的闹钟吗?”的另一建议的对话响应。这对应于上文的情况4。
根据一个或多个因子对来自每个数据提供者的各种建议的对话响应进行评分。基于该评分,对话管理引擎然后可以选择合适的对话响应。再次参考上文的示例情况,基于相应的得分,对话管理引擎可以:
A)选择任务提供者的建议的对话响应(情况1)
B)选择任务提供者的替选的建议的对话响应,并且还接受web答案提供者的建议的对话响应(情况2)
C)选择任务提供者的替选的建议的对话响应,并且还接受web答案提供者的替选的建议的对话响应(情况3)
D)选择任务提供者的替选的建议的对话响应,并且还接受体育数据提供者的建议的对话响应(情况4)
E)选择web答案提供者的建议的对话响应并且完全放弃闹钟状态(情况5)
F)选择体育数据提供者的建议的对话响应并且完全放弃闹钟状态(情况6)
G)生成全新的建议的对话响应以询问用户的意图(情况7)。例如,如果来自数据提供者的得分不能通过阈值量所区分。
消除建议的对话响应可以级联到引用它的其他建议的对话响应。因此,如果web答案提供者的建议的对话响应具有不合格得分,则不仅消除情况5,而且消除情况2和3。在一些实施方式中,地理信息也可以用于评分。例如,使用地理信息来指示用户所指的是哪个巨人(旧金山vs.纽约),可以抑制体育数据提供者建议的响应以不仅消除情况6,而且消除情况4。
在本说明书中描述的主题和操作的实施例可以在数字电子电路中、或在计算机软件、固件或硬件中实现,包括在本说明书中公开的结构及其结构等同物,或者在它们的一个或多个的组合中实现。在本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序,即,计算机程序指令的一个或多个模块,其编码在计算机存储介质上以用于由数据处理装置执行或控制数据处理装置的操作。替选地或另外地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,其被生成以编码用于传输到合适的接收机设备以由数据处理装置执行的信息。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器阵列或它们中的一个或多个的组合,或者可以被包括在上述中。此外,虽然计算机存储介质不是传播信号,但是计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质还可以是或者包括在一个或多个分立的物理组件或介质(例如,多个CD、盘或其他存储设备)中。
在本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行。
术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备、和机器,例如,包括可编程处理器、计算机、芯片上系统、或者前述的多个或组合。装置可以包括专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外,装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或它们中的一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础设施,诸如web服务、分布式计算和网格计算基础设施。
计算机程序(也称为程序、软件、软件应用、脚本、或代码)可以以任何形式的编程语言编写,包括编译或解释语言、声明性或过程语言,并且它可以以任何形式部署,包括作为独立程序或作为适于在计算环境中使用的模块、组件、子例程、对象或其它单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件(例如,存储在标记语言文档中的一个或多个脚本)的一部分中、专用于所讨论的程序的单个文件中、或者在多个协同文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或在位于一个地点或分布在多个地点并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行,并且装置也可以被实现为专用逻辑电路。
适合于执行计算机程序的处理器包括例如通用和专用微处理器二者,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘,或者计算机可操作地耦合到所述一个或多个大容量存储设备以从其接收数据或向其传送数据。然而,计算机不需要具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、比赛控制台、全球定位系统(GPS)接收器、或便携式存储设备(例如,通用串行总线(USB)闪存驱动器),这里仅举几个例子。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动盘;磁光盘;和CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互,本说明书中描述的主题的实施例可以在具有以下的计算机上实现:显示设备(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器)以用于向用户显示信息,以及键盘和例如鼠标或轨迹球的指示设备(用户可以通过它们向计算机提供输入)。其他类型的设备也可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感觉反馈,例如视觉反馈、听觉反馈、或触觉反馈;并且可以以任何形式接收来自用户的输入,包括声音、话音或触觉输入。此外,计算机可以通过向用户使用的设备发送文档并从其接收文档来与用户进行交互:例如,通过响应于从web浏览器接收的请求,将网页发送到用户的客户端设备上的web浏览器。
在本说明书中描述的主题的实施例可以实现在计算系统中,该计算系统包括例如作为数据服务器的后端组件,或者包括例如应用服务器的中间件组件,或者包括例如具有图形用户界面或Web浏览器的客户端计算机的前端组件,用户可以通过该Web浏览器与本说明书中描述的主题的实施方式交互,或者包括一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、网络间网络(例如,互联网)和对等网络(例如,自组织对等网络)。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施例中,服务器向客户端设备传送数据(例如,HTML页面)(例如,为了向与客户端设备交互的用户显示数据和从该用户接收用户输入的目的)。可以在服务器处从客户端设备接收在客户端设备处生成的数据(例如,用户交互的结果)。
尽管本说明书包含许多具体实施方式细节,但是这些不应被解释为对任何发明或可以要求保护的范围的限制,而是被解释为特定于对特定发明的特定实施例的特征的描述。在分立实施例的场境中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的场境中描述的各种特征也可以在多个实施例中分立地或以任何合适的子组合来实现。此外,虽然特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中去除,并且所要求保护的组合可以针对子组合或子组合的变体。
类似地,虽然在附图中以特定顺序描绘操作,但是这不应被理解为要求这些操作以所示的特定顺序或以依序执行或者所有所图示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统组件的分离不应被理解为在所有实施例中需要这种分离,并且应当理解,所描述的程序组件和系统通常可以集成在单个软件产品中或封装到多个软件产品中。
因此,已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。在一些情况下,权利要求中所记载的动作可以以不同的顺序执行并且仍然实现期望的结果。另外,附图中描绘的过程不一定需要所示的特定顺序或依序以实现期望的结果。在某些实施方式中,多任务和并行处理可能是有利的。
Claims (19)
1.一种方法,包括:
从用户设备接收与任务相关联的请求;
将所述请求提交给多个不同的数据提供者中的每一个数据提供者;
从所述数据提供者中的两个或更多个数据提供者接收多个建议的对话响应;
基于一个或多个评分因子,对所述一个或多个建议的对话响应进行评分;
基于所述评分,确定提供给所述用户的特定对话响应;以及
将所确定的对话响应提供给所述用户设备。
2.如权利要求1所述的方法,包括:
基于所选择的对话响应,更新对话的状态。
3.根据权利要求1所述的方法,其中,所接收的请求是语音输入,并且其中,所述方法包括在将所述请求提交给所述多个数据提供者之前,将所述语音输入请求转换为文本。
4.如权利要求1所述的方法,进一步包括:
确定所述对话是否需要来自所述用户设备的进一步的响应,并且响应于确定不需要进一步的响应,完成由所述用户请求的所述任务。
5.如权利要求1所述的方法,其中,每个数据提供者根据对应的数据模型,独立地分析所述请求。
6.根据权利要求1所述的方法,其中,响应于确定所述多个建议的对话响应的相应的得分中没有一个满足阈值量,合成提供给所述用户设备的响应以判定用户意图。
7.如权利要求1所述的方法,其中,基于所述评分来确定提供给所述用户的特定对话响应包括:取消具有低于阈值量的得分的建议的对话响应的资格,并且还取消引用所述建议的对话响应的所有建议的对话响应的资格。
8.一种系统,包括:
一个或多个计算机,所述一个或多个计算机被配置为执行包括下述的操作:
从用户设备接收与任务相关联的请求;
将所述请求提交给多个不同的数据提供者中的每一个数据提供者;
从所述数据提供者中的两个或更多个数据提供者接收多个建议的对话响应;
基于一个或多个评分因子,对所述一个或多个建议的对话响应进行评分;
基于所述评分,确定提供给所述用户的特定对话响应;以及
将所确定的对话响应提供给所述用户设备。
9.如权利要求8所述的系统,被配置为执行包括下述的操作:基于所选择的对话响应,更新对话的状态。
10.根据权利要求8所述的系统,其中,所接收的请求是语音输入,并且其中,所述方法包括在将所述请求提交给所述多个数据提供者之前,将所述语音输入请求转换为文本。
11.如权利要求8所述的系统,被进一步配置为执行包括下述的操作:
确定所述对话是否需要来自所述用户设备的进一步的响应,并且响应于确定不需要进一步的响应,完成由所述用户请求的所述任务。
12.如权利要求8所述的系统,其中,每个数据提供者根据对应的数据模型,独立地分析所述请求。
13.根据权利要求8所述的系统,其中,响应于确定所述多个建议的对话响应的相应的得分中没有一个满足阈值量,合成提供给所述用户设备的响应以判定用户意图。
14.如权利要求8所述的系统,其中,基于所述评分来确定提供给所述用户的特定对话响应包括:取消具有低于阈值量的得分的建议的对话响应的资格,并且还取消引用所述建议的对话响应的所有建议的对话响应的资格。
15.一个或多个计算机可读存储介质,所述一个或多个计算机可读存储介质编码有指令,所述指令当由一个或多个计算机执行时,使所述一个或多个计算机执行包括下述的操作:
从用户设备接收与任务相关联的请求;
将所述请求提交给多个不同的数据提供者中的每一个数据提供者;
从所述数据提供者中的两个或更多个数据提供者接收多个建议的对话响应;
基于一个或多个评分因子,对所述一个或多个建议的对话响应进行评分;
基于所述评分,确定提供给所述用户的特定对话响应;以及
将所确定的对话响应提供给所述用户设备。
16.如权利要求15所述的一个或多个计算机可读存储介质,编码有使所述一个或多个计算机执行包括下述的操作的指令:基于所选择的对话响应,更新对话的状态。
17.根据权利要求15所述的一个或多个计算机可读存储介质,其中,所接收的请求是语音输入,并且其中,所述方法包括在将所述请求提交给所述多个数据提供者之前,将所述语音输入请求转换为文本。
18.如权利要求15所述的一个或多个计算机可读存储介质,进一步编码有使所述一个或多个计算机执行包括下述的操作的指令:
确定所述对话是否需要来自所述用户设备的进一步的响应,并且响应于确定不需要进一步的响应,完成由所述用户请求的所述任务。
19.如权利要求15所述的一个或多个计算机可读存储介质,其中,每个数据提供者根据对应的数据模型,独立地分析所述请求。
如权利要求15所述的一个或多个计算机可读存储介质,其中,基于所述评分来确定提供给所述用户的特定对话响应包括:取消具有低于阈值量的得分的建议的对话响应的资格,并且还取消引用所述建议的对话响应的所有建议的对话响应的资格。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210121104.2A CN114595316A (zh) | 2015-07-31 | 2016-07-29 | 管理对话数据提供者 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/815,794 US10255921B2 (en) | 2015-07-31 | 2015-07-31 | Managing dialog data providers |
US14/815,794 | 2015-07-31 | ||
PCT/US2016/044864 WO2017023807A1 (en) | 2015-07-31 | 2016-07-29 | Managing dialog data providers |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210121104.2A Division CN114595316A (zh) | 2015-07-31 | 2016-07-29 | 管理对话数据提供者 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107889533A true CN107889533A (zh) | 2018-04-06 |
CN107889533B CN107889533B (zh) | 2022-03-01 |
Family
ID=56616091
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680034889.2A Active CN107889533B (zh) | 2015-07-31 | 2016-07-29 | 管理对话数据提供者 |
CN202210121104.2A Pending CN114595316A (zh) | 2015-07-31 | 2016-07-29 | 管理对话数据提供者 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210121104.2A Pending CN114595316A (zh) | 2015-07-31 | 2016-07-29 | 管理对话数据提供者 |
Country Status (5)
Country | Link |
---|---|
US (4) | US10255921B2 (zh) |
EP (1) | EP3329395A1 (zh) |
CN (2) | CN107889533B (zh) |
RU (1) | RU2690199C1 (zh) |
WO (1) | WO2017023807A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112017672A (zh) * | 2019-05-31 | 2020-12-01 | 苹果公司 | 数字助理系统中的声音识别 |
CN112823360A (zh) * | 2013-05-21 | 2021-05-18 | 幸福公司 | 训练系统和方法-人工智能分类器 |
Families Citing this family (104)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
KR20240132105A (ko) | 2013-02-07 | 2024-09-02 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
KR101772152B1 (ko) | 2013-06-09 | 2017-08-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
DE112014003653B4 (de) | 2013-08-06 | 2024-04-18 | Apple Inc. | Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
CN110797019B (zh) | 2014-05-30 | 2023-08-29 | 苹果公司 | 多命令单一话语输入方法 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10255921B2 (en) | 2015-07-31 | 2019-04-09 | Google Llc | Managing dialog data providers |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10606952B2 (en) | 2016-06-24 | 2020-03-31 | Elemental Cognition Llc | Architecture and processes for computer learning and understanding |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10860628B2 (en) | 2017-02-16 | 2020-12-08 | Google Llc | Streaming real-time dialog management |
US10713289B1 (en) * | 2017-03-31 | 2020-07-14 | Amazon Technologies, Inc. | Question answering system |
US11003839B1 (en) * | 2017-04-28 | 2021-05-11 | I.Q. Joe, Llc | Smart interface with facilitated input and mistake recovery |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
EP3806092B1 (en) * | 2017-05-12 | 2022-07-20 | Apple Inc. | Task delegation of a digital assistant |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179745B1 (en) * | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
CN107967308B (zh) * | 2017-11-16 | 2021-04-23 | 百度在线网络技术(北京)有限公司 | 一种智能交互的处理方法、装置、设备和计算机存储介质 |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US11100146B1 (en) * | 2018-03-23 | 2021-08-24 | Amazon Technologies, Inc. | System management using natural language statements |
US11544303B1 (en) * | 2018-03-23 | 2023-01-03 | Amazon Technologies, Inc. | Responding with unresponsive content |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11037048B2 (en) * | 2018-10-22 | 2021-06-15 | Moveworks, Inc. | Virtual conversation method or system |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11194796B2 (en) * | 2019-02-14 | 2021-12-07 | Microsoft Technology Licensing, Llc | Intuitive voice search |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11140099B2 (en) * | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11438452B1 (en) | 2019-08-09 | 2022-09-06 | Apple Inc. | Propagating context information in a privacy preserving manner |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
US11431658B2 (en) | 2020-04-02 | 2022-08-30 | Paymentus Corporation | Systems and methods for aggregating user sessions for interactive transactions using virtual assistants |
US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
CN113297359B (zh) * | 2021-04-23 | 2023-11-28 | 阿里巴巴新加坡控股有限公司 | 交互信息的方法以及装置 |
US11961516B1 (en) * | 2022-10-24 | 2024-04-16 | Conversation Processing Intelligence, Corp. | System and method for modifying operations of telecommunication devices using conversation processing |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040066401A1 (en) * | 2002-10-03 | 2004-04-08 | Sbc Knowledge Ventures, L.P. | System and method for selection of a voice user interface dialogue |
CN103544219A (zh) * | 2013-09-24 | 2014-01-29 | 北京光年无限科技有限公司 | 一种带智能推荐的问答系统 |
CN103631853A (zh) * | 2012-08-15 | 2014-03-12 | 哈默尔Tlc公司 | 基于相关性的语音搜索和响应 |
CN103995870A (zh) * | 2014-05-21 | 2014-08-20 | 百度在线网络技术(北京)有限公司 | 交互式搜索方法和装置 |
US20140257792A1 (en) * | 2013-03-11 | 2014-09-11 | Nuance Communications, Inc. | Anaphora Resolution Using Linguisitic Cues, Dialogue Context, and General Knowledge |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6144989A (en) * | 1998-06-15 | 2000-11-07 | Dejima, Inc. | Adaptive agent-oriented software architecture |
EP1044416A1 (en) * | 1998-10-09 | 2000-10-18 | Scansoft, Inc. | Automatic inquiry method and system |
US6604075B1 (en) | 1999-05-20 | 2003-08-05 | Lucent Technologies Inc. | Web-based voice dialog interface |
US6990670B1 (en) * | 1999-11-05 | 2006-01-24 | Ianywhere Solutions, Inc. | Interpretation phase for adaptive agent oriented software architecture |
US6615172B1 (en) | 1999-11-12 | 2003-09-02 | Phoenix Solutions, Inc. | Intelligent query engine for processing voice based queries |
US8200485B1 (en) | 2000-08-29 | 2012-06-12 | A9.Com, Inc. | Voice interface and methods for improving recognition accuracy of voice search queries |
US7257537B2 (en) | 2001-01-12 | 2007-08-14 | International Business Machines Corporation | Method and apparatus for performing dialog management in a computer conversational interface |
US7987151B2 (en) * | 2001-08-10 | 2011-07-26 | General Dynamics Advanced Info Systems, Inc. | Apparatus and method for problem solving using intelligent agents |
US20030135582A1 (en) * | 2001-12-21 | 2003-07-17 | Docomo Communications Laboratories Usa, Inc. | Context aware search service |
US8566102B1 (en) | 2002-03-28 | 2013-10-22 | At&T Intellectual Property Ii, L.P. | System and method of automating a spoken dialogue service |
US7716199B2 (en) * | 2005-08-10 | 2010-05-11 | Google Inc. | Aggregating context data for programmable search engines |
US7869998B1 (en) | 2002-04-23 | 2011-01-11 | At&T Intellectual Property Ii, L.P. | Voice-enabled dialog system |
US7398209B2 (en) * | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7209915B1 (en) * | 2002-06-28 | 2007-04-24 | Microsoft Corporation | Method, system and apparatus for routing a query to one or more providers |
US7693720B2 (en) * | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
US20040162724A1 (en) * | 2003-02-11 | 2004-08-19 | Jeffrey Hill | Management of conversations |
EA015549B1 (ru) * | 2003-06-05 | 2011-08-30 | Интертраст Текнолоджис Корпорейшн | Переносимая система и способ для приложений одноранговой компоновки услуг |
US7640160B2 (en) * | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7620549B2 (en) * | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
US7949529B2 (en) * | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
US7962466B2 (en) * | 2006-01-23 | 2011-06-14 | Chacha Search, Inc | Automated tool for human assisted mining and capturing of precise results |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8073681B2 (en) * | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
US8055502B2 (en) * | 2006-11-28 | 2011-11-08 | General Motors Llc | Voice dialing using a rejection reference |
US8140335B2 (en) * | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US20100082652A1 (en) * | 2008-09-29 | 2010-04-01 | Chacha Search, Inc. | Method and system for managing user interaction |
US8126875B2 (en) * | 2009-05-08 | 2012-02-28 | Microsoft Corporation | Instant answers and integrated results of a browser |
US8706172B2 (en) * | 2010-10-26 | 2014-04-22 | Miscrosoft Corporation | Energy efficient continuous sensing for communications devices |
US9858343B2 (en) * | 2011-03-31 | 2018-01-02 | Microsoft Technology Licensing Llc | Personalization of queries, conversations, and searches |
WO2013155619A1 (en) * | 2012-04-20 | 2013-10-24 | Sam Pasupalak | Conversational agent |
KR20130128716A (ko) * | 2012-05-17 | 2013-11-27 | 포항공과대학교 산학협력단 | 어학 학습 시스템 및 학습 방법 |
US9973457B2 (en) * | 2012-06-26 | 2018-05-15 | Nuance Communications, Inc. | Method and apparatus for live chat integration |
US9424233B2 (en) * | 2012-07-20 | 2016-08-23 | Veveo, Inc. | Method of and system for inferring user intent in search input in a conversational interaction system |
US9070366B1 (en) * | 2012-12-19 | 2015-06-30 | Amazon Technologies, Inc. | Architecture for multi-domain utterance processing |
US9805718B2 (en) * | 2013-04-19 | 2017-10-31 | Sri Internaitonal | Clarifying natural language input using targeted questions |
US9431008B2 (en) * | 2013-05-29 | 2016-08-30 | Nuance Communications, Inc. | Multiple parallel dialogs in smart phone applications |
US20150178392A1 (en) * | 2013-12-20 | 2015-06-25 | Chacha Search, Inc. | Method and system of providing a search tool |
US9544310B2 (en) * | 2014-01-27 | 2017-01-10 | Microsoft Technology Licensing, Llc | Discovering and disambiguating identity providers |
US10255921B2 (en) * | 2015-07-31 | 2019-04-09 | Google Llc | Managing dialog data providers |
-
2015
- 2015-07-31 US US14/815,794 patent/US10255921B2/en active Active
-
2016
- 2016-07-29 CN CN201680034889.2A patent/CN107889533B/zh active Active
- 2016-07-29 WO PCT/US2016/044864 patent/WO2017023807A1/en active Application Filing
- 2016-07-29 CN CN202210121104.2A patent/CN114595316A/zh active Pending
- 2016-07-29 EP EP16748460.9A patent/EP3329395A1/en not_active Withdrawn
- 2016-07-29 RU RU2017142336A patent/RU2690199C1/ru active
-
2019
- 2019-04-08 US US16/378,546 patent/US11120806B2/en active Active
-
2021
- 2021-09-13 US US17/473,750 patent/US11727941B2/en active Active
-
2023
- 2023-07-14 US US18/222,325 patent/US12112760B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040066401A1 (en) * | 2002-10-03 | 2004-04-08 | Sbc Knowledge Ventures, L.P. | System and method for selection of a voice user interface dialogue |
CN103631853A (zh) * | 2012-08-15 | 2014-03-12 | 哈默尔Tlc公司 | 基于相关性的语音搜索和响应 |
US20140257792A1 (en) * | 2013-03-11 | 2014-09-11 | Nuance Communications, Inc. | Anaphora Resolution Using Linguisitic Cues, Dialogue Context, and General Knowledge |
CN103544219A (zh) * | 2013-09-24 | 2014-01-29 | 北京光年无限科技有限公司 | 一种带智能推荐的问答系统 |
CN103995870A (zh) * | 2014-05-21 | 2014-08-20 | 百度在线网络技术(北京)有限公司 | 交互式搜索方法和装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112823360A (zh) * | 2013-05-21 | 2021-05-18 | 幸福公司 | 训练系统和方法-人工智能分类器 |
CN112017672A (zh) * | 2019-05-31 | 2020-12-01 | 苹果公司 | 数字助理系统中的声音识别 |
CN112017672B (zh) * | 2019-05-31 | 2024-05-31 | 苹果公司 | 数字助理系统中的声音识别 |
Also Published As
Publication number | Publication date |
---|---|
US12112760B2 (en) | 2024-10-08 |
US20170032791A1 (en) | 2017-02-02 |
EP3329395A1 (en) | 2018-06-06 |
CN107889533B (zh) | 2022-03-01 |
WO2017023807A1 (en) | 2017-02-09 |
RU2690199C1 (ru) | 2019-05-31 |
US11727941B2 (en) | 2023-08-15 |
US10255921B2 (en) | 2019-04-09 |
US20230360654A1 (en) | 2023-11-09 |
US20190304471A1 (en) | 2019-10-03 |
US11120806B2 (en) | 2021-09-14 |
CN114595316A (zh) | 2022-06-07 |
US20210407522A1 (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107889533A (zh) | 管理对话数据提供者 | |
US11948563B1 (en) | Conversation summarization during user-control task execution for assistant systems | |
US20210117214A1 (en) | Generating Proactive Content for Assistant Systems | |
US20220199079A1 (en) | Systems and Methods for Providing User Experiences on Smart Assistant Systems | |
CN104813311B (zh) | 用于多人的虚拟代理推荐的系统和方法 | |
CN107112016A (zh) | 多模态状态循环 | |
US9148394B2 (en) | Systems and methods for user interface presentation of virtual agent | |
CN112270925B (zh) | 用于创建可定制对话系统引擎的平台 | |
US9679300B2 (en) | Systems and methods for virtual agent recommendation for multiple persons | |
US9276802B2 (en) | Systems and methods for sharing information between virtual agents | |
CN107430517B (zh) | 用于增强对话系统的插件的在线市场 | |
US9262175B2 (en) | Systems and methods for storing record of virtual agent interaction | |
US9560089B2 (en) | Systems and methods for providing input to virtual agent | |
CN107493400A (zh) | 向人类操作员的升级 | |
US20140164953A1 (en) | Systems and methods for invoking virtual agent | |
US20140164312A1 (en) | Systems and methods for informing virtual agent recommendation | |
US20140164532A1 (en) | Systems and methods for virtual agent participation in multiparty conversation | |
WO2019022842A1 (en) | SYSTEMS AND METHODS OF DOMAIN ADDING FOR A LANGUAGE UNDERSTANDING SYSTEM | |
US11574634B2 (en) | Interfacing with applications via dynamically updating natural language processing | |
WO2017218369A1 (en) | Systems and methods for building conversational understanding systems | |
CN117099077A (zh) | 具有用户视图上下文和多模态输入支持的支持语音助手的客户端应用 | |
Miyazaki | Discussion Board System with Multimodality Variation: From Multimodality to User Freedom. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |