CN101207586A - 用于实时自动通信的方法和系统 - Google Patents

用于实时自动通信的方法和系统 Download PDF

Info

Publication number
CN101207586A
CN101207586A CNA2007101927378A CN200710192737A CN101207586A CN 101207586 A CN101207586 A CN 101207586A CN A2007101927378 A CNA2007101927378 A CN A2007101927378A CN 200710192737 A CN200710192737 A CN 200710192737A CN 101207586 A CN101207586 A CN 101207586A
Authority
CN
China
Prior art keywords
text
text exchange
voice
server
exchange
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101927378A
Other languages
English (en)
Other versions
CN101207586B (zh
Inventor
W·V·达帕尔玛
B·D·曼戴利亚
V·S·穆尔
W·L·努斯比克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuance Communications Inc
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN101207586A publication Critical patent/CN101207586A/zh
Application granted granted Critical
Publication of CN101207586B publication Critical patent/CN101207586B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本解决方案提供了一种实时自动通信方法。在该方法中，可以在文本交换客户端和语音应用程序之间建立实时通信会话。可以识别包括多个条目的翻译表，每个条目包括文本交换项以及对应的会话翻译项。可以接收输入至文本交换客户端的文本交换消息。与翻译表中的文本交换项匹配的文本交换消息的内容可以利用对应的会话项来替代。翻译的文本交换消息可以作为输入发送至语音服务器。来自语音服务器的输出可以供语音应用程序使用，所述语音应用程序基于所述输出执行自动编程动作。

Description

用于实时自动通信的方法和系统
技术领域
本发明涉及自动语音系统领域，并且更具体地涉及为交互式文本交换而扩展的语音应用环境的方言翻译器，其中所述方言翻译器动态地将包括文本交换俚语和表情的基于文本的输入翻译成可以供语音服务器使用的语音方言。
背景技术
交互式语音应答(IVR)系统通常用于经由通信网络的语音信道提供自动客户服务。IVR系统允许快速、有效且自动地处理日常的客户请求。当请求为非日常请求时或者当呼叫者使用IVR系统有困难时，则可以进行从IVR系统到客户服务代表的转移。即使在需要人工交互时，IVR系统也可以得到必要的初步信息，诸如账户号码和呼叫原由，所述初步信息可以确保将呼叫者路由到适当的人工代理并确保人与人的交互时间最小。IVR系统的成功使用允许最低限度地配备呼叫中心人员，同时向客户提供了耗费在等候队列中的时间较短的高水平服务。
IVR系统尤其是具有自然语言理解(NLU)能力和/或大型上下文无关语法的健壮IVR系统代表巨大的经济和技术投资。该投资包括购买和维护IVR基础设施硬件、IVR基础设施软件以及在该基础设施上执行的语音应用程序的成本。另外的以及重要的重现成本可能涉及维护很多数量的语音质量信道以处理期望的呼叫容量。另外，这些信道的每一个都使用语音服务器的可用端口，而语音服务器具有数量有限的昂贵端口。每个信道还使用在呼叫者和IVR系统之间建立语音质量信道所需的大量带宽。
在标题为″Using an Automated Speech Application Environment toAutomatically Provide Text-Based Interactive Services″的共同未决的美国专利申请No.11/612,996中公开了一种用于扩展IVR基础设施以允许基于文本的交互式服务的解决方案。更具体而言，该共同未决的申请教导了一种称为Chatbot的聊天机器人对象，该对象可以动态地将从文本交换客户端接收的文本转换成可以供语音服务器使用的输入，并可以动态地将语音服务器的输出转换成用于客户端的适当格式编排的文本。从语音服务器的观点来看，与文本交换客户端的基于文本的交互是利用与用于处理基于语音的交互的硬件/软件相同的硬件/软件并且以相同的方式来处理的。
诸如聊天客户端的文本交换客户端和IVR基础设施之间的动态转换可能因文本交换方言而变得复杂。即，文本交换方言已经涉及到不容易转换为可由标准语音识别引擎理解或者可由标准IVR基础设施使用的语音短语。例如，在文本交换通信会话中经常会使用俚语，诸如代表“see you later”的“cu 18r”和代表“be right back”的“brb”。此外，需要处理对于文本交换来讲独特的特定字符序列，诸如像；-)和:-0的表情图标。已知不存在用于将文本交换输入动态转换成能够由语音服务器使用的输入的软件产品，也不存在为此目的的动态处理方言翻译的解决方案。
发明内容
一种用作语音应用环境的预处理器和后处理器的方言翻译器，其中所述语音应用环境已经扩展用于基于文本的交互式服务。语音应用环境还可以包括Chatbot服务器，所述Chatbot服务器管理聊天机器人对象或者Chatbot。Chatbot可以动态地将从文本交换客户端接收的文本转换成可由语音服务器使用的输入，并且将语音标记动态转换成用于所述文本交换客户端的适当格式编排的文本。在该环境中，所述方言翻译器将来自文本交换方言中的文本标准化为相关口语(诸如英语)中的标准文本短语。方言翻译器还可以将从语音服务器的输出中得出的文本输出转换成文本交换用户期望的文本交换方言。
本发明可以根据与此处提供的材料一致的若干方面来实现。例如，本发明的一个方面可以包括一种实时自动通信方法。在该方法中，可以在文本交换客户端和语音应用程序之间建立实时通信会话。可以识别包括多个条目的翻译表，每个条目包括文本交换项以及对应的会话翻译项。可以接收输入至文本交换客户端的文本交换消息。与翻译表中的文本交换项匹配的文本交换消息的内容可以利用对应的会话项来替代。可以将文本交换消息动态地转换成可由语音应用程序使用的语音消息。可以将语音消息传送到基于传送的语音消息来执行自动编程动作的语音应用程序。
本发明的另一方面可以包括一种用于扩展语音服务器以增加文本交换能力的方法。所述方法可以包括在文本交换客户端和Chatbot服务器之间建立实时文本交换连接以及在所述Chatbot服务器和语音应用程序之间建立实时语音连接的步骤。可以在所述文本交换客户端和所述语音应用程序之间通过语音连接以及文本交换连接进行交互对话。在交互对话期间，文本交换交互可以在从文本交换客户端传送到语音应用程序之前动态地、自动地转换成语音交互。文本交换交互中的文本交换专用语言可以动态地转换成包含在语音交换中的会话语言。
本发明的再一方面可以包括一种用于使用语音应用环境来提供文本交换服务的系统。所述系统可以包括文本交换客户端、语音应用环境、Chatbot服务器和方言翻译器。所述文本交换客户端可以通过文本交换信道发送和接收实时文本交换。语音应用环境可以执行允许用户通过语音信道进行实时交互的自动语音应答应用程序。Chatbot服务器可以建立涉及文本交换客户端和自动语音应答系统的通信会话。在通信会话期间，Chatbot服务器可以以对于文本交换客户端和自动语音应答应用程序透明的方式在语音模式和文本交换模式之间动态转换消息。方言翻译器可以动态地检测包括在来自文本交换客户端的消息中的文本交换专用语言。检测的语言可以从文本交换语言转换成对应的会话语言。自动语音应答系统接收的转换消息可以包括会话内容。
应该指出，本发明的各种方面可以实现为用于控制计算设备来实现这里所述功能的程序，或者用于使计算设备能够执行对应于这里公开的步骤的处理的程序。可以通过将该程序存储在磁盘、光盘、半导体存储器、任何其他记录介质中来提供此程序，或者也可以作为经由载波传递的数字化编码信号来提供。描述的程序可以是单个程序或者可以实现为多个子程序，其中的每一个在单个计算设备内交互或者以跨越网络空间的分布式形式交互。
此处描述的方法还可以是响应于服务请求至少部分由服务代理和/或由服务代理操纵的机器来执行的方法。
附图说明
在附图中示出了目前优选的实施例，然而应当理解，本发明并不限于示出的确切布置和装置。
图1是根据此处公开的本发明布置的实施例的系统示意图，所述系统可以在文本交换客户端和语音应用程序之间的动态交互期间双向翻译文本交换语言。
图2是根据此处公开的本发明布置的实施例的处理流程图，所述处理流程图示出了文本交换客户端、Chatbot服务器、语音服务器和应用服务器之间的交互。
图3是根据此处公开的本发明布置的实施例的系统示意图，所述系统用于利用Chatbot服务器提供具有动态方言转换的文本交换服务。
具体实施方式
图1是系统100的示意图，所述系统100可以在文本交换客户端110和语音应用程序119之间的动态交互期间双向翻译文本交换语言。系统100允许文本交换客户端110和支持语音的应用程序119之间的自动交互。
支持语音的应用程序119可以是VoiceXML应用程序，诸如通常在联络中心部署的交互式语音应答系统(IVR)的应用程序。文本交换客户端接口110可以是任何类型文本交换通信，诸如即时消息(IM)通信、聊天通信、使用SAMETIME、TRILLIAN、YAHOO！、MESSENGER的文本消息传送等的接口。
语音服务器118像多数语音服务器一样可以包括文本模式接口106，该文本模式接口106通常由语音识别引擎的训练人员和/或开发人员、系统维护人员使用。例如，一组专用的、受限的或者标准化的(例如，MRCPv2 INTERPRET)应用程序接口(API)可以用于接口106。可以启用在产品环境中通常不可用或者不可访问的这组API来创建文本输入信道，与通常利用在产品环境中操作的语音服务器118而建立的语音信道相比，该文本输入信道使用了相对更少的计算资源。在多数情况下，产品语音服务器118中存在文本模式接口106但是没有利用。可以针对与Chatbot服务器的基于文本的交互而启用接口106。
接口106的使用以对应用服务器108透明的方式来进行，并且因此对于应用程序119没有影响。即，应用程序119和应用服务器108不会意识到语音服务器118正在经过接口106处理文本输入，而不是语音输入。在两种情况下，语音服务器118生成并发送到Chatbot服务器114的输出可以相同。另外，应用服务器108生成并发送到Chatbot服务器114的输出相同。因此，多个通信会话，其中一些是使用接口106的基于文本的会话，另一些是基于语音的会话，可以由应用服务器108并发处理。可以无需对应用服务器108进行基础设施改变(以及假定接口106存在，无需对语音服务器118进行改变)并且无需改变支持语音的应用程序119的代码而实现系统100。即使在应用程序119可能明显缺乏对于文本交换交互的代码支持并且没有此处公开的发明就不能支持这种交互时也是如此。另外，文本交互接口110可以是不需要修改即可如系统100中所示进行操作的任何现成文本交换软件。
在系统100中，Chatbot服务器114可以取121与支持语音的应用程序119关联的语音标记123，其中Chatbot服务器114执行该语音标记。Chatbot服务器114还可以中继来自接口110的文本输入120以发送经过接口106由语音服务器118使用的文本122。在发送文本120之前，Chatbot服务器114中的翻译器115可以针对语音服务器118处理有困难的俚语或者简写检查文本120。可以动态地翻译在表117中发现的任何条目，这将得到文本122。语音服务器118可以对照识别语法来匹配输入122并生成用于Chatbot服务器114的文本输出124。
当Chatbot服务器114在执行该应用程序时，它可以使用该输出124。应用程序119处理该输出，这可以产生应答输出，通常是语音标记段的形式，诸如VoiceXML(其可以进一步利用W3C语音合成标记语言或SSML的使用)。当执行文本交换操作时，可以绕过由语音服务器118执行的正常语音合成操作。Chatbot服务器114可以动态地将应答输出从标记转换为接口110处理的文本输出126。例如，包含在标记标签中的文本内容可以从应用程序119标记中提取(即可以省略标记标签)并包括在文本126消息中。然而，在文本126发送之前，翻译器115可以基于表117将生成的文本自动转换成文本交换语言。
如上所示，Chatbot服务器114能够使用翻译器115来处理文本交换方言与讲话方言之间的动态翻译。翻译器115可以包括使文本交换短语与语音短语相关的翻译表117。表117可以包括用于表情图标、特定字符序列、文本交换俚语等的条目。表117可以允许用户添加、编辑和删除条目。另外，每个表117条目还可以与翻译方向关联。翻译方向包括双向、只从文本交换至语音和只从语音至文本交换。
例如，表117示出了与“I haven′taclue”关联的将仅从文本交换单向翻译成语音的条目“404”。表117中的双向条目包括与“ThankYou”关联的“Ty”和与″You′re welcome.″关联的“Yw”。
在一种布置中，可以允许表格117中的条目过载，其中利用了某种情景的正确条目(或对话上下文)。例如，文本交换输入“:-)”可以翻译成“yes”、“thank you”或者“I am satisfied”。第一条目可以是缺省翻译。随后的翻译在语音服务器118不能理解翻译的应答时按照顺序使用。
例如，语音服务器接收的从“:-)”翻译的“Yes”应答可以使得语音服务器118生成脱离上下文应答(例如，“I do not understand，pleasetry again(我不理解，请重试)”。下一个翻译(如果可以得到的话)被自动提供给语音服务器118，而不是将该脱离上下文应答发送至接口110。例如，可以提供“Thank you”。如果还不能理解，则可以提供“I am satisfied”。仅在没有一个翻译可以被语音服务器118接受后，才将脱离上下文应答发送至接口110。值得注意的是，聊天服务器114和接口110都无需知道用于将利用的该翻译过载能力的给定对话上下文(应用程序119的)的上下文方面允许的条目，这对于系统100以对于服务器118透明的方式进行操作而言是重要的。
图2是根据此处公开的本发明布置的实施例的处理流程图200，该处理流程图示出了文本交换客户端204、Chatbot服务器206、语音服务器208和应用服务器209之间的交互。
语音服务器208可以包括通常由语音识别引擎的训练人员和/或开发人员、系统维护人员使用的文本输入API。可以启用在产品环境中通常不可用或者不可访问的这组API，以允许语音服务器208来直接使用文本，与处理由服务器208通常接收的语音输入所需的计算资源相比，直接使用文本消耗了更少的计算资源。
正如所示，客户端204可以发送请求210至Chatbot服务器206以初始化文本形式信道。Chatbot服务器206可以发送信道初始化消息212至语音服务器208，以建立会话。服务器208可以进行肯定的应答，使得在服务器206和208之间建立信道214。Chatbot服务器206然后就可以与客户端204建立请求的文本信道216。在步骤216之后，Chatbot服务器206可以将请求217发送到应用服务器209，这将使得支持语音的应用程序被实例化。即，应用标记220可以被传送至Chatbot服务器206用于执行。
当Chatbot服务器206执行该支持语音的应用程序119时，可以出现应用启动的提示221。服务器206可以将应用程序119提供的标记222转换成由文本提示224表示的纯文本，该纯文本将被传送至客户端204。例如，可以以标记来书写提示221，并且可以包括：
<prompt>文本内容</prompt>
转换222可以提取文本内容(省略标记标签)。可以对照翻译辞典来比较文本内容。匹配上下文则可以动态翻译。例如，“Thank You”可以翻译成“ty”，“ty”可以在提示224中传送到客户端204。
客户端204可以经由文本信道对提示进行应答226。Chatbot服务器206可以将应答226翻译227成应答228，该应答被发送到语音服务器208。仅仅当翻译辞典中的文本交换短语与语音短语相对应时，才进行翻译。例如，文本交换方言中的″18r″可以翻译成语音服务器208理解的方言中的″later″或者“exit program”。语音服务器208可以经由编程动作230对照语音语法来匹配应答228，这将得到文本结果232。语音服务器208可以将文本结果232传送到Chatbot服务器206。在Chatbot206执行对应用程序119进行执行的应用逻辑243时使用该输出232，这将使得产生标记。Chatbot服务器206可以将包含在生成的标记中的文本内容转换236成文本结果237。文本结果237可以包括可以由Chatbot服务器206处理的文本交换专用翻译(即，正常的英文单词和/或短语可以被翻译成文本交换俚语或者表情)。
可以以这种方式继续交互直到客户端204发送请求238结束通信会话。Chatbot服务器206可以响应性地关闭240它与语音服务器208之间的信道。Chatbot服务器206还可以关闭242它与客户端204之间的文本交换信道，在该点通信会话终止。
图3示出了根据此处公开的本发明布置的实施例的系统示意图，该系统用于使用Chatbot服务器320提供具有动态方言翻译的文本交换服务。翻译器323可以对应于系统100中的翻译器115并且可以与翻译表(未示出)关联。
该系统可以包括网络360，网络360通信地链接通信设备310、Chatbot服务器320、语音服务器330、应用服务器340和企业服务器350。网络360可以包括任何各种有线和/或无线的部件，这些部件一起允许包含在载波内的数字编码的信息从任何通信链接的部件传送到任何其他通信链接的部件。
通信设备310可以是将客户302链接至网络360的任何通信设备。设备310可以包括例如移动电话、基于线路的电话、计算机、笔记本、平板式电脑、个人数字助理(PDA)、可穿带计算设备、娱乐系统、交互式媒体设备等。设备310的具体类别包括文本交换设备312、语音通信设备314和多模式设备316。
文本交换设备312是能够进行实时交互式文本交换的计算设备。这些文本交换包括在线聊天、即时消息传送和文本消息传送。通信设备314可以是能够通过网络360进行实时语音通信的任何设备。实时语音通信包括基于VoIP的通信、传统电路交换通信、双向无线通信等。多模式设备316是能够从事文本交换和语音通信的设备。一些多模式设备316限制于一次一种通信模式，而另一些能够跨过多种模式并发地进行通信。
当执行文本交换时，设备310可以使用接口318。接口318可以示出运行文本对话并且可以包括用以输入新文本的部分。接口318可以是即时消息传送客户端、聊天客户端和/或文本消息传送客户端的接口。
Chatbot服务器320可以是VoiceXML服务器或者将来自设备310的文本交换消息动态转换成可由语音服务器330使用的消息的等同设备。使用使语音服务器330接受文本的文本输入API344可以允许来自设备310的文本直接由语音服务器330使用。Chatbot服务器320还可以动态地将来自语音服务器330的输出转换成可由语音应用程序使用的输出，然后使其可以在接口318中呈现。
对于每个管理的通信会话，Chatbot服务器320可以实例化一个Chatbot对象。Chatbot对象324可以包括SIP servlet和一个或多个解释器，诸如呼叫控制可扩展标记语言解释器(CCXML)、语音可扩展标记语言(VoiceXML)解释器、可扩展超文本标记语言(XML)加语音配置文件(X+V)解释器，语音应用语言标签(SALT)解释器、媒体资源控制协议(MCRP)解释器、定制的标记解释器等。SIP servlet可以将输入的SIP请求映射到适当的解释器。
由Chatbot对象324处理的通信会话可以涉及多个不同的通信信道，诸如信道370和信道372。信道370可以是建立在Chatbot服务器320和设备310之间的通信信道。信道372可以是建立在Chatbot服务器320和语音服务器330之间的通信信道。值得注意的是，应用服务器340并不知道客户302用来与服务器320通信的通信形式和信道类型。可以使用特定的文本输入API344来允许语音服务器330直接使用由Chatbot服务器320所提供的文本输入。
服务器320的转换引擎322可以执行任何需要的转换，以将来自文本交换设备312的输出适应成可由语音服务器330使用的输入。通常，对于供语音服务器330使用的文本并非需要重大的转换，语音服务器330将经由API344提供对于文本模式交互功能的访问。值得注意的是，文本模式交互功能通常在测试和开发阶段由开发人员使用，但是此处在运行时使用以允许语音服务器330来直接处理文本。例如，互联网工程工作组(IETF)标准媒体资源控制协议版本2(MRCPv2)包含有称为INTERPRET for the Speech RecognizerResource(用于语音识别器资源的解释)的文本模式解释功能，该功能将允许语音服务器330直接处理文本。
服务器320的翻译器323可以执行文本交换方言和更容易为IVR应用342理解的语音方言之间的翻译。例如，在通信会话期间，可以自动检测短语、表情和特定特征和/或它们的对应短语并进行彼此替换。例如，接口318中输入的文本交换表示“ty”可以由翻译器323转换成“thank you”，“thank you”通过信道372以语音形式来传送。另外，翻译器323可以检测应用程序342生成的短语“You arewelcome，”，可以将该短语与对应的文本交换短语“Yw”匹配，“Yw”通过信道370传送并在接口318中呈现。
应用服务器340通常将生成语音标记输出，诸如VoicXML输出，语音服务器330将把该语音标记输出转换成音频输出。转换引擎322可以从语音标记中提取文本内容，并且可以将提取的文本通过信道370传送到通信设备310。
应用服务器340可以是利用标准运行平台的模块部件的应用服务器。应用服务器340可以代表多级环境的中间件服务器。运行平台可以提供用于开发分布式多级基于网络应用程序的功能。运行平台还可以包括标准的服务、应用程序接口和协议集。即，运行平台可以允许开发人员创建在多个平台之间可扩展且便携的企业应用。运行平台可以包括描述所需应用程序接口和需要遵循的策略的相关技术规范的集合。
在一个实施例中，运行平台可以是JAVA2平台企业版(J2EE)软件平台。因此，应用服务器340可以是遵循J2EE的应用服务器，诸如来自纽约州阿芒克国际商业机器公司的WEBSPHERE应用服务器、来自加利福尼亚州圣何塞的BEA系统有限公司的BEAWEBLOGIC应用服务器、来自乔治亚州亚特兰大的JBoss有限公司的JBOSS应用服务器、来自Object Web Consortium的JOnAS应用服务器等。运行平台不应解释为仅限于此，此处还可以考虑其他软件平台，诸如.NET软件平台。
IVR应用程序342可以是允许呼叫者与企业服务器350的数据库交互和从其接收信息的应用程序。对于voiceXML服务器320(已经扩展用于Chatbot 320)的访问可以使用按钮拨号信号、语音输入和文本输入来接受用户输入。IVR应用程序342可以以单个VoiceXML应用程序的形式向用户提供信息，VoiceXML应用程序可以供任何形式使用，包括DTMF、语音和聊天。语音标记也可以直接传送至转换引擎322，在此处语音标记被转换成可在接口318中呈现的文本。
IVR应用程序342可以向用户呈现一系列的提示，并根据先前建立的对话菜单接收和处理提示应答。语音处理操作，诸如文本至语音操作、语音至文本操作、呼叫者识别操作和语音授权操作，可由位于远处的语音服务器330来提供。在没有Chatbot服务器320介入的情况下，IVR应用342将不能够与文本交换设备312进行交互，这是由于它缺乏处理文本交换输入/输出的自然编码。
可在硬件、软件或者硬件和软件的组合中实现本发明。可以在一个计算机系统中以集中方式实现本发明，或者以不同元件跨越数个互联的计算机系统分布的分布式方式实现本发明。任意类型的计算机系统或者适用于实现在此描述的方法的其他的装置是适合的。硬件和软件的典型组合可以是具有如下计算机程序的通用计算机系统，当装载并执行该计算机程序时，控制计算机系统以便实现在此所描述的方法。
本发明还可以嵌入在计算机程序产品中，该计算机程序产品包括使得能够实现在此描述的方法的所有特征，并且当在计算机系统中装载该计算机程序产品时能够执行这些方法。本上下文中的计算机程序是指以任何语言、代码或者注释的指令集合的任何表达，其旨在于使得具有信息处理能力系统或者直接地、或者在以下的一个或两个之后来执行特定功能，:a)转换至其他语音、代码或者注释；b)以不同材料形式再现。

Claims (20)

1.一种实时自动通信方法，包括：
在文本交换客户端和支持语音的应用程序之间建立实时通信会话；
识别包括有多个条目的翻译表，每个条目包括文本交换项以及对应的会话翻译项；
接收输入至文本交换客户端的文本交换消息；
在所述文本交换消息中检测至少一个文本交换项，所述至少一个文本交换项对应于包括在所述翻译表中的条目；
在文本交换消息中，以对应的会话翻译项来替代每个检测的文本交换项；以及
将替代消息发送至语音服务器的文本输入接口进行处理，其中以对于文本交换客户端和支持语音的应用程序透明的方式进行所述替代步骤。
2.根据权利要求1所述的方法，其中允许所述文本交换客户端的用户修改所述翻译表的条目。
3.根据权利要求1所述的方法，其中所述翻译表中的文本交换项包括表情图标。
4.根据权利要求1所述的方法，其中所述翻译表中的文本交换项包括文本交换俚语。
5.根据权利要求1所述的方法，其中所述文本交换接口是即时消息传送接口、聊天接口和文本交换接口中的至少一个。
6.根据权利要求1所述的方法，其中所述支持语音的应用程序是缺乏固有文本交换能力的基于VoiceXML的应用程序。
7.根据权利要求1所述的方法，其中所述文本交换接口是现成的未修改的接口，并且其中所述支持语音的应用程序是配置用于在VoiceXML服务器中执行的未修改应用程序。
8.根据权利要求1所述的方法，进一步包括：
语音应用程序生成输出消息；
检测所述输出消息中的至少一个会话翻译项，所述至少一个会话翻译项对应于包括在所述翻译表中的条目；
在文本输出消息中，以对应的文本交换项来替代每个检测的会话翻译项；以及
将所述替代消息发送至所述文本交换客户端。
9.根据权利要求1所述的方法，其中权利要求1的所述步骤由至少一个机器根据至少一个计算机程序来自动执行，所述至少一个计算机程序具有可由所述至少一个机器执行的多个代码部分。
10.一种用于扩展语音服务器以增加文本交换能力的方法，包括：
在文本交换客户端和在VoiceXML服务器中执行的语音应用程序之间建立实时交互对话，其中在交互对话期间，将输入至文本交换客户端且在语法上是文本交换专用语言部分的文本动态翻译成在语法上是会话语言部分的对应文本，并且其中将所述翻译的文本发送至语音服务器进行处理。
11.根据权利要求10所述的方法，其中将由所述语音应用程序产生的并且在语法上是会话语言部分的输出动态翻译成在语法上是文本交换专用语言部分的对应输出文本，并且将翻译的输出文本发送至文本交换客户端。
12.根据权利要求10所述的方法，其中所述文本交换专用语言包括表情图标。
13.根据权利要求10所述的方法，其中所述文本交换专用语言包括文本交换俚语。
14.根据权利要求10所述的方法，其中所述动态翻译基于用户可配置翻译表中的条目。
15.根据权利要求10所述的方法，其中所述语言翻译以对于文本交换客户端和支持语音的应用程序透明的方式进行。
16.根据权利要求10所述的方法，其中所述文本交换接口是现成的未修改的接口，并且其中所述支持语音的应用程序是配置用于在VoiceXML服务器中执行的未修改的应用程序。
17.根据权利要求10所述的方法，其中所述语音应用程序是缺乏固有文本交换能力的基于VoiceXML的应用程序。
18.根据权利要求10所述的方法，其中权利要求10的所述步骤是由至少一个机器根据至少一个计算机程序来自动执行的步骤，所述至少一个计算机程序具有可由所述至少一个机器执行的多个代码部分。
19.一种用于使用语音应用环境提供文本交换服务的系统，包括：
文本交换客户端，配置为通过文本交换信道发送和接收实时文本交换；
语音应用环境，配置为执行允许用户通过语音信道进行实时交互的自动语音应答应用程序；
Chatbo服务器，配置为建立涉及文本交换客户端和自动语音应答应用程序的通信会话；和
方言翻译器，配置用于动态检测来自文本交换客户端的消息中包含的文本交换专用语言，将所述文本交换专用语言转换成对应的会话语言，其中所述自动语音应答系统接收的转换的消息包括会话内容。
20.根据权利要求19所述的系统，其中所述文本交换接口是现成的未修改的接口，并且其中所述自动语音应答应用程序是缺乏固有文本交换能力的基于VoiceXML的未修改的应用程序。
CN2007101927378A 2006-12-19 2007-11-16 用于实时自动通信的方法和系统 Expired - Fee Related CN101207586B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/613,179 US8204182B2 (en) 2006-12-19 2006-12-19 Dialect translator for a speech application environment extended for interactive text exchanges
US11/613,179 2006-12-19

Publications (2)

Publication Number Publication Date
CN101207586A true CN101207586A (zh) 2008-06-25
CN101207586B CN101207586B (zh) 2012-01-11

Family

ID=39528614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101927378A Expired - Fee Related CN101207586B (zh) 2006-12-19 2007-11-16 用于实时自动通信的方法和系统

Country Status (2)

Country Link
US (2) US8204182B2 (zh)
CN (1) CN101207586B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066109A (zh) * 2016-09-10 2017-08-18 上海触乐信息科技有限公司 动态文本即时输入的方法、系统和装置
CN110046360A (zh) * 2013-02-08 2019-07-23 Mz Ip控股有限责任公司 用于多用户多语言通信的系统和方法
CN110111770A (zh) * 2019-05-10 2019-08-09 濮阳市顶峰网络科技有限公司 一种网络多语言社交翻译方法、系统、设备及介质
CN110189742A (zh) * 2019-05-30 2019-08-30 芋头科技（杭州）有限公司 确定情感音频、情感展示、文字转语音的方法和相关装置
CN113660154A (zh) * 2016-05-17 2021-11-16 谷歌有限责任公司 生成用于响应于用户接口输入而呈现的输出，其中输入和/或输出包括聊天语言
US20220067746A1 (en) * 2020-08-31 2022-03-03 Genesys Telecommunications Laboratories, Inc. Systems and methods relating to post-purchase support of customers

Families Citing this family (216)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US9406062B2 (en) * 2001-08-21 2016-08-02 Bookit Oy Ajanvarauspalvelu Authentication method and system
FI118585B (fi) 2006-05-02 2007-12-31 Bookit Oy Ajanvarauspalvelu Menetelmä ja järjestelmä teksti- ja ääniviestin yhdistämistä varten kommunikaatiodialogissa
FI124899B (fi) 2008-07-04 2015-03-13 Bookit Oy Ajanvarauspalvelu Menetelmä ja järjestelmä viestien lähetystä varten
US11004114B2 (en) 2001-08-21 2021-05-11 Bookit Oy Components, system, platform and methodologies for mediating and provisioning services and product delivery and orchestrating, mediating and authenticating transactions and interactions
US9807614B2 (en) 2001-08-21 2017-10-31 Bookit Oy Ajanvarauspalvelu Using successive levels of authentication in online commerce
US10929784B2 (en) 2001-08-21 2021-02-23 Bookit Oy Booking method and system
FI20011680A (fi) 2001-08-21 2003-02-22 Bookit Oy Ajanvarausmenetelmä ja -järjestelmä
US8666380B2 (en) 2001-08-21 2014-03-04 Bookit Oy Ajanvarauspalvelu Communication method and system
FI117663B (fi) * 2005-12-02 2006-12-29 Bookit Oy Ajanvarauspalvelu Menetelmä ja järjestelmä viestien massalähetystä varten
US8737958B2 (en) 2001-08-21 2014-05-27 Bookit Oy Ajanvarauspalvelu Managing recurring payments from mobile terminals
FI118586B (fi) 2006-05-02 2007-12-31 Bookit Oy Ajanvarauspalvelu Menetelmä ja järjestelmä teksti- ja ääniviestien yhdistämistä varten kommunikaatiodialogissa
US10902491B2 (en) 2001-08-21 2021-01-26 Bookit Oy Product/service reservation and delivery facilitation with semantic analysis enabled dialog assistance
US9406032B2 (en) 2001-08-21 2016-08-02 Bookit Oy Ajanvarauspalvelu Financial fraud prevention method and system
US9288315B2 (en) 2001-08-21 2016-03-15 Bookit Oy Ajanvarauspalvelu Method and system for mediating and provisioning services
US8737954B2 (en) 2001-08-21 2014-05-27 Bookit Oy Ajanvarauspalvelu Managing recurring payments from mobile terminals
US8737955B2 (en) 2001-08-21 2014-05-27 Bookit Oy Ajanvarauspalvelu Managing recurring payments from mobile terminals
US9937531B2 (en) 2009-03-10 2018-04-10 Bookit Oy Ajanvarauspalvelu Method and system for delivery of goods
US8737959B2 (en) 2001-08-21 2014-05-27 Bookit Oy Ajanvarauspalvelu Managing recurring payments from mobile terminals
FI119168B (fi) 2006-04-21 2008-08-15 Jukka Tapio Aula Kyselyjen ja kutsujen SMS-jakelumenetelmä ja -järjestelmä
US10469591B2 (en) 2001-08-21 2019-11-05 Bookit Oy Method and system for mediating and provisioning services
US9171307B2 (en) 2002-08-21 2015-10-27 Bookit Oy Ajanvarauspalvelu Using successive levels of authentication in online commerce
US9418361B2 (en) 2001-08-21 2016-08-16 Bookit Oy Ajanvarauspalvelu Managing recurring payments from mobile terminals
US9578022B2 (en) 2001-08-21 2017-02-21 Bookit Oy Ajanvarauspalvelu Multi-factor authentication techniques
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8000969B2 (en) 2006-12-19 2011-08-16 Nuance Communications, Inc. Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20090175422A1 (en) * 2008-01-07 2009-07-09 West Corporation System and method for handling communications presented to a special number answering position
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20090300126A1 (en) * 2008-05-30 2009-12-03 International Business Machines Corporation Message Handling
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US20100082327A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for mapping phonemes for text to speech synthesis
US8712776B2 (en) * 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8731588B2 (en) * 2008-10-16 2014-05-20 At&T Intellectual Property I, L.P. Alert feature for text messages
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US9501775B2 (en) 2009-03-10 2016-11-22 Bookit Oy Ajanvarauspalvelu Managing recurring payments from mobile terminals
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9043407B1 (en) * 2009-06-12 2015-05-26 Avaya Inc. Interactive user interface to communication-enabled business process platforms method and apparatus
US9547642B2 (en) * 2009-06-17 2017-01-17 Empire Technology Development Llc Voice to text to voice processing
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8270575B2 (en) 2009-11-25 2012-09-18 Soundbite Communications, Inc. Managing interactive communications campaigns
US8462918B2 (en) * 2009-11-25 2013-06-11 Soundbite Communications, Inc. Method and system for managing interactive communications campaigns with text messaging
CN101727899B (zh) * 2009-11-27 2014-07-30 北京中星微电子有限公司 一种音频数据处理方法及音频数据处理系统
US8594312B2 (en) 2009-12-02 2013-11-26 Soundbite Communications, Inc. Method and system for managing interactive communications campaigns with call pacing
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US9043474B2 (en) * 2010-01-20 2015-05-26 Microsoft Technology Licensing, Llc Communication sessions among devices and interfaces with mixed capabilities
US8296130B2 (en) * 2010-01-29 2012-10-23 Ipar, Llc Systems and methods for word offensiveness detection and processing using weighted dictionaries and normalization
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US9509521B2 (en) * 2010-08-30 2016-11-29 Disney Enterprises, Inc. Contextual chat based on behavior and usage
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US8996352B2 (en) 2013-02-08 2015-03-31 Machine Zone, Inc. Systems and methods for correcting translations in multi-user multi-lingual communications
US9031829B2 (en) * 2013-02-08 2015-05-12 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US8990068B2 (en) 2013-02-08 2015-03-24 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US9231898B2 (en) 2013-02-08 2016-01-05 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US10650103B2 (en) 2013-02-08 2020-05-12 Mz Ip Holdings, Llc Systems and methods for incentivizing user feedback for translation processing
US9298703B2 (en) 2013-02-08 2016-03-29 Machine Zone, Inc. Systems and methods for incentivizing user feedback for translation processing
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10303762B2 (en) 2013-03-15 2019-05-28 Disney Enterprises, Inc. Comprehensive safety schema for ensuring appropriateness of language in online chat
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
AU2014278595B2 (en) 2013-06-13 2017-04-06 Apple Inc. System and method for emergency calls initiated by voice command
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9672202B2 (en) 2014-03-20 2017-06-06 Microsoft Technology Licensing, Llc Context-aware re-formating of an input
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US20160062987A1 (en) * 2014-08-26 2016-03-03 Ncr Corporation Language independent customer communications
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10162811B2 (en) 2014-10-17 2018-12-25 Mz Ip Holdings, Llc Systems and methods for language detection
US9372848B2 (en) 2014-10-17 2016-06-21 Machine Zone, Inc. Systems and methods for language detection
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US20160224740A1 (en) * 2015-02-03 2016-08-04 Florida Institute For Human And Machine Cognition, Inc. Text Message Based Monitoring and Data Collection System
US11290878B2 (en) 2015-03-04 2022-03-29 Smartcom Labs Oy Components, system, platform and methodologies for mediating and provisioning services and product delivery and orchestrating, mediating and authenticating transactions and interactions
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10262555B2 (en) * 2015-10-09 2019-04-16 Microsoft Technology Licensing, Llc Facilitating awareness and conversation throughput in an augmentative and alternative communication system
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10765956B2 (en) 2016-01-07 2020-09-08 Machine Zone Inc. Named entity recognition on chat data
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10777201B2 (en) 2016-11-04 2020-09-15 Microsoft Technology Licensing, Llc Voice enabled bot platform
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102329127B1 (ko) 2017-04-11 2021-11-22 삼성전자주식회사 방언을 표준어로 변환하는 방법 및 장치
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10943601B2 (en) * 2017-05-31 2021-03-09 Lenovo (Singapore) Pte. Ltd. Provide output associated with a dialect
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10769387B2 (en) 2017-09-21 2020-09-08 Mz Ip Holdings, Llc System and method for translating chat messages
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10951552B2 (en) * 2017-10-30 2021-03-16 International Business Machines Corporation Generation of a chatbot interface for an application programming interface
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
CN110827826B (zh) * 2019-11-22 2022-05-31 维沃移动通信有限公司 语音转换文字方法、电子设备
US11190643B1 (en) 2020-07-30 2021-11-30 Bank Of America Corporation Automated redistribution of queries to underutilized channels
US11153438B1 (en) 2020-08-06 2021-10-19 Bank Of America Corporation Interactive voice response (IVR) for text-based virtual assistance
CN112256232B (zh) * 2020-10-22 2023-08-15 海信视像科技股份有限公司 显示设备与自然语言生成后处理方法
US20220293098A1 (en) * 2021-03-15 2022-09-15 Lenovo (Singapore) Pte. Ltd. Dialect correction and training

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745904A (en) * 1996-01-12 1998-04-28 Microsoft Corporation Buffered table user index
JP3842913B2 (ja) * 1998-12-18 2006-11-08 富士通株式会社 文字通信方法及び文字通信システム
US6560456B1 (en) * 1999-05-24 2003-05-06 Openwave Systems, Inc. System and method for providing subscriber-initiated information over the short message service (SMS) or a microbrowser
US6792086B1 (en) 1999-08-24 2004-09-14 Microstrategy, Inc. Voice network access provider system and method
US20030028380A1 (en) * 2000-02-02 2003-02-06 Freeland Warwick Peter Speech system
US6654722B1 (en) * 2000-06-19 2003-11-25 International Business Machines Corporation Voice over IP protocol based speech system
US6735287B2 (en) 2001-11-16 2004-05-11 Sbc Technology Resources, Inc. Method and system for multimodal presence detection
US6816578B1 (en) * 2001-11-27 2004-11-09 Nortel Networks Limited Efficient instant messaging using a telephony interface
US7136909B2 (en) 2001-12-28 2006-11-14 Motorola, Inc. Multimodal communication method and apparatus with multimodal profile
US7065185B1 (en) * 2002-06-28 2006-06-20 Bellsouth Intellectual Property Corp. Systems and methods for providing real-time conversation using disparate communication devices
FR2844127B1 (fr) 2002-09-04 2004-10-22 France Telecom Systeme d'echange telephonique asynchrone de messages vocaux
US8028023B2 (en) 2002-09-17 2011-09-27 At&T Intellecutal Property I, L.P. Extending functionality of instant messaging (IM) systems
CN1411263A (zh) * 2002-11-14 2003-04-16 嘉兴市中科网络有限公司 通过互联网的语音信息系统
US7003464B2 (en) * 2003-01-09 2006-02-21 Motorola, Inc. Dialog recognition and control in a voice browser
EP1480429A1 (en) * 2003-05-20 2004-11-24 Hewlett-Packard Development Company, L.P. Vocal assistant to provide predefined text messages to a call using text-to-speech converter
US20040267527A1 (en) * 2003-06-25 2004-12-30 International Business Machines Corporation Voice-to-text reduction for real time IM/chat/SMS
KR100561228B1 (ko) 2003-12-23 2006-03-15 한국전자통신연구원 보이스엑스엠엘 문서를 엑스에이치티엠엘플러스보이스문서로 변환하기 위한 방법 및 이를 이용한 멀티모달서비스 시스템
CN101517997A (zh) * 2005-07-13 2009-08-26 格莱珀技术集团公司 为使用sms通信提供移动设备服务的系统和方法
WO2008021512A2 (en) * 2006-08-17 2008-02-21 Neustar, Inc. System and method for handling jargon in communication systems
US7640233B2 (en) * 2006-08-29 2009-12-29 International Business Machines Corporation Resolution of abbreviated text in an electronic communications system
US7921214B2 (en) * 2006-12-19 2011-04-05 International Business Machines Corporation Switching between modalities in a speech application environment extended for interactive text exchanges
US8000969B2 (en) 2006-12-19 2011-08-16 Nuance Communications, Inc. Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US20090175422A1 (en) * 2008-01-07 2009-07-09 West Corporation System and method for handling communications presented to a special number answering position
US8320891B1 (en) * 2009-06-29 2012-11-27 Sprint Communications Company L.P. Text messages for services

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046360A (zh) * 2013-02-08 2019-07-23 Mz Ip控股有限责任公司 用于多用户多语言通信的系统和方法
CN113660154A (zh) * 2016-05-17 2021-11-16 谷歌有限责任公司 生成用于响应于用户接口输入而呈现的输出，其中输入和/或输出包括聊天语言
CN113660154B (zh) * 2016-05-17 2023-11-14 谷歌有限责任公司 生成用于响应于用户接口输入而呈现的输出，其中输入和/或输出包括聊天语言
CN107066109A (zh) * 2016-09-10 2017-08-18 上海触乐信息科技有限公司 动态文本即时输入的方法、系统和装置
CN110111770A (zh) * 2019-05-10 2019-08-09 濮阳市顶峰网络科技有限公司 一种网络多语言社交翻译方法、系统、设备及介质
CN110189742A (zh) * 2019-05-30 2019-08-30 芋头科技（杭州）有限公司 确定情感音频、情感展示、文字转语音的方法和相关装置
CN110189742B (zh) * 2019-05-30 2021-10-08 芋头科技（杭州）有限公司 确定情感音频、情感展示、文字转语音的方法和相关装置
US20220067746A1 (en) * 2020-08-31 2022-03-03 Genesys Telecommunications Laboratories, Inc. Systems and methods relating to post-purchase support of customers

Also Published As

Publication number Publication date
US20080147408A1 (en) 2008-06-19
US20120173225A1 (en) 2012-07-05
US8204182B2 (en) 2012-06-19
CN101207586B (zh) 2012-01-11
US8654940B2 (en) 2014-02-18

Similar Documents

Publication Publication Date Title
CN101207586B (zh) 用于实时自动通信的方法和系统
CN101207656B (zh) 用于动态切换模态的方法和用于提供文本交换服务的系统
US8239204B2 (en) Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US8442563B2 (en) Automated text-based messaging interaction using natural language understanding technologies
CN101207584B (zh) 自动提供文本交换服务的方法和系统
CN1984201B (zh) 语音服务系统和方法
US10382624B2 (en) Bridge for non-voice communications user interface to voice-enabled interactive voice response system
US20120004910A1 (en) System and method for speech processing and speech to text
CN101341532A (zh) 通过标记共享话音应用处理
Ramanarayanan et al. Assembling the jigsaw: How multiple open standards are synergistically combined in the HALEF multimodal dialog system
CN102369568A (zh) 使用语音通信交互式地访问托管服务的系统和方法
CN106409283A (zh) 基于音频的人机混合交互系统及方法
US7451086B2 (en) Method and apparatus for voice recognition
Tsai et al. Dialogue session: management using voicexml
Pargellis et al. A language for creating speech applications.
KR100432373B1 (ko) 독립적 음성처리를 위한 음성인식 시스템
Kurschl et al. Gulliver-A framework for building smart speech-based applications
Georgescu et al. Multimodal ims services: The adaptive keyword spotting interaction paradigm
Demesticha et al. Aspects of design and implementation of a multi-channel and multi-modal information system
US20040258217A1 (en) Voice notice relay service method and apparatus
Dolezal et al. Feasibility Study for Integration ASR Services for Czech with IBM VoiceServer
Hocek VoiceXML and Next-Generation Voice Services
Ju Voice-enabled click and dial system
Kim et al. An implement of speech DB gathering system using voiceXML.
Ångström et al. Royal Institute of Technology, KTH Practical Voice over IP IMIT 2G1325

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NIUAOSI COMMUNICATIONS LIMITED

Free format text: FORMER OWNER: INTERNATIONAL BUSINESS MACHINE CORP.

Effective date: 20090925

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090925

Address after: Massachusetts, USA

Applicant after: Nuance Communications, Inc.

Address before: New York grams of Armand

Applicant before: International Business Machines Corp.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120111

Termination date: 20211116

CF01 Termination of patent right due to non-payment of annual fee