CN106164909A - 自然语言输入的任务完成 - Google Patents

自然语言输入的任务完成 Download PDF

Info

Publication number
CN106164909A
CN106164909A CN201580018656.9A CN201580018656A CN106164909A CN 106164909 A CN106164909 A CN 106164909A CN 201580018656 A CN201580018656 A CN 201580018656A CN 106164909 A CN106164909 A CN 106164909A
Authority
CN
China
Prior art keywords
user
task
intended
candidate
identify
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580018656.9A
Other languages
English (en)
Inventor
K·N·施特拉韦尔特
郭昱廷
A·P·麦戈文
X·魏
G·阿南德
T·林
A·C·卢舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106164909A publication Critical patent/CN106164909A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

提供一个或多个技术和/或系统用于促进任务完成。例如,可以从客户端设备的用户处接收自然语言输入(例如,“我们去哪里吃”)。可以利用用户选择加入以揭露用于促进任务完成的一组用户上下文信号评估自然语言输入,以识别用户任务意图。例如,可以基于表示用户与朋友约好吃墨西哥食物的用户的社交网络发布,来识别查看本地墨西哥餐厅菜单的用户任务意图。可以基于用户任务意图,向所述用户揭露任务完成功能。例如,餐厅应用可以被深启动以显示本地墨西哥餐厅的菜单。

Description

自然语言输入的任务完成
背景技术
许多用户使用计算设备来执行任务。在例子中,用户可以使用移动设备将方向从当前位置映射到游乐园。在另一例子中,用户可以使用平板设备阅读书籍。各种类型的输入可以用于执行任务,例如触摸手势、鼠标输入、键盘输入、语音命令、搜索查询输入等。例如,在执行度假预定任务时,用户可以向搜索引擎中输入搜索查询“Florida度假”,并且搜索引擎可以返回多个度假搜索结果,用户可以使用这些结果来完成度假预定任务。
发明内容
提供该“发明内容”是为了引入将在下文详细描述中进一步描述的简化形式的概念选择。该“发明内容”并不意图识别所要求保护主题的关键特征或必要特征,并且也不意图用于限制所要求保护主题的范围。
此外,本文提供了用于促进任务完成的一个或多个系统和/或技术。在例子中,可以从客户端设备的用户接收自然语言输入(例如,语音命令“我穿什么”)。可以利用与用户相关联的一组用户上下文信号来评估自然语言输入以识别用户任务意图(例如,用户可以采取肯定的动作来提供选择加入同意授权访问各种类型的用户上下文信号,和/或用户可以选择退出以防止访问特定类型的用户上下文信号)。在例子中,时间用户信号(例如,当前时间为6:00pm)、定位用户信号(例如,市区旅馆位置)、电子邮件数据(例如,豪华饭店的晚餐预定电子邮件)、用户社交网络简档(例如,表示用户是女性)和/或其它信息,可以用于识别通过时尚应用查看正式酒会礼服想法的用户任务意图。在识别用户任务意图的例子中,可以基于自然语言输入构造用户意图查询,并且可以查询(例如,由远程服务器托管的)任务意图数据结构,以获得可以使用一组用户上下文信号评估的全局意图候选(例如,在提交了类似用户意图查询的搜索查询之后搜索引擎的用户执行什么任务)以识别用户任务意图。
可以基于用户任务意图,向用户揭露任务完成功能。例如,可以为用户执行时尚应用。在例子中,时尚应用可能被深启动到与用户相关的上下文状态。例如,可以基于用户任务意图识别任务执行上下文(例如,女性服装参数,正装参数和/或其它上下文信息/参数)。基于任务执行上下文,时尚应用可以被深启动到女性服装穿戴购物界面(例如,填充有对应于女性服装参数和正装参数的服装)。这样,可以基于自然语言输入将任务完成功能揭露给用户。
在例子中,可以在客户端设备上实现任务促进器组件以用于促进任务完成(例如,任务促进器组件可以识别和/或局部利用用户上下文信号,这可以促进保存用户数据的隐私)。在另一例子中,可以在远离客户端设备的服务器上实现用户意图提供器组件,以用于促进任务完成(例如,用户意图提供器组件可以接收自然语言输入和/或从自然语言输入导出的用户意图查询,并可以提供全局意图候选和/或指令以向客户端设备揭露任务完成功能)。
为了完成上述和相关目的,后续描述和随附附图阐述了特定的图示方面和实现方式。这些只表示可以采用一个或多个方面的若干方式。当结合随附附图考虑时,根据后续详细描述可以明白本公开的其它方面、优点和新颖特征。
附图说明
图1是示出促进任务完成的示例性方法的流程图。
图2是示出用于促进任务完成的示例性系统的组件框图。
图3是示出用于促进任务完成的示例性系统的组件框图。
图4A是修正用户任务意图的例子的图示。
图4B是修正用户任务意图的例子的图示。
图5A是示出用于促进任务完成并利用用户反馈来训练任务意图模型的示例性系统的组件框图。
图5B是示出用于促进任务完成并利用用户反馈来训练任务意图模型的示例性系统的组件框图。
图6是示出用于促进任务完成的示例性系统的组件框图。
图7是示例性计算机可读介质的图示,其中可以包括计算机可执行指令,其配置为具体实现本文阐述的一个或多个规定。
图8示出了示例性计算环境,其中可以实现本文阐述的一个或多个规定。
具体实施方式
现在参考附图描述所要求保护的主题,其中类似的附图标记通常用于指代全文中的类似元件。在后续描述中,出于解释的目的,阐述了多个具体细节以提供对所要求保护主题的理解。然而,显然的是,可以在不具有这些具体细节的情况下,实践所要求保护的主题。在其它实例中,以框图形式示出结构和设备以便促进描述所要求保护的主题。
本文提供了促进任务完成的一个或多个技术和/或系统。可以评估自然语言输入以语义地和/或从上下文理解执行任务的用户意图。可以基于全局用户信息(例如,在提交了搜索查询之后搜索引擎的各个用户执行什么任务)和/或个性化用户信息(例如,用户当前消费的内容、用户的位置(例如,GPS)、电子邮件、日历约会和/或用户选择加入以提供促进任务完成的其它用户上下文信号),来评估自然语言输入。这样,可以基于全局和/或个性化评估自然语言输入,向用户揭露任务完成功能。例如,应用可以被深启动到与根据用户任务意图识别出的任务执行上下文相关联的上下文状态(例如,基于语音命令“我饿了”和用户上下文信号(例如,用户的位置、社交网络简档兴趣为墨西哥食物,等等),餐厅应用可以被启动到墨西哥餐厅的菜单视图)。
图1的示例性方法100示出了促进任务完成的实施例。在102处,方法开始。在104处,从客户端设备的用户处接收自然语言输入。例如,可以通过移动设备接收语音命令“我想画辆车”。在106处,可以评估自然语言输入。在评估自然语言输入的例子中,可以基于自然语言输入构建用户意图查询(例如,自然语言输入可以被解析为词语,所述词语可以被选择性地使用和/或修改以创建用户意图查询)。可以使用用户意图查询来查询任务意图数据结构(例如,可以将用户意图查询发送给远离客户端设备的包括任务意图数据结构的服务器)以识别全局意图候选。例如,任务意图数据结构可以填充有对将查询映射为任务的意图条目的一个或多个查询(例如,绘画查询可以被映射到执行艺术应用任务;汽车查询可以被映射以查看驾驶视频任务;汽车查询可以被映射以访问汽车评论网站任务;等等)。对意图条目的查询可以源自社区用户搜索日志(例如,在提交了汽车查询之后,用户可能已经查看了驾驶视频;在提交了绘画查询之后,用户可能已经打开了艺术应用;等等)。全局意图候选可以源自对匹配用户意图查询的意图条目的查询(例如,基于选择对艺术应用意图条目的绘画查询为与用户意图查询相关的排列技术,对艺术应用意图条目的绘画查询可以被识别为全局意图候选)。
在例子中,可以使用与用户相关联的一组用户上下文信号,来评估自然语言输入(例如,和/或全局意图候选)以识别用户任务意图。所述一组用户上下文信号可以包括定位(例如,用户在咖啡馆)、时间、执行应用(例如,汽车设计应用)、已安装的应用(例如,艺术绘画应用)、app商店应用(例如,汽车评论应用)、日历数据(例如,创建汽车评论的日历条目)、电子邮件数据、社交网络数据(例如,指示用户为汽车杂志公司工作)、设备形状因子(例如,在工作的台式计算机)、用户搜索日志(例如,用户可能最近访问过汽车摄影网站)、用户消费的内容(例如,汽车照片和/或视频)、自然语言输入的社区用户意图(例如,对应于对艺术应用意图条目的绘画查询的全局意图候选)。所述一组用户上下文信号可以包括用户已经选择加入以出于促进用户任务完成的目的共享的信息。在例子中,可以识别出执行艺术绘画应用并绘制汽车的用户任务意图。
在例子中,可以基于用户任务意图向用户提供用户精化界面(例如,可以询问用户关于用户任务意图是否正确)。可以通过用户精化界面接收用户任务精化输入或用户确认。例如,用户可以表示该用户具有精化的用户任务意图以打开汽车评论应用,并通过绘制汽车来创建汽车评论。因此,可以基于用户任务精化输入修正用户任务意图。
在108处,可以基于用户任务意图向用户揭露任务完成功能。任务完成功能可以包括向用户提供访问文献、应用(例如,执行应用、深启动应用、从app商店下载应用等)、操作系统设置、音乐实体、视频、照片、社交网络简档、地图、搜索结果和/或多种其它目标和/或功能(例如,购买书籍的功能、在餐厅预定座位的功能等)。在例子中,任务完成功能可以包括:基于精化的用户任务意图执行汽车评论应用,以打开汽车评论应用并通过绘制汽车来创建汽车评论。可以基于用户任务意图识别任务执行上下文(例如,可以将汽车评论应用的汽车评论创建界面识别为任务执行上下文)。汽车评论应用可以被深启动到与任务执行上下文相关联的上下文状态(例如,可以指导汽车评论应用以与汽车评论阅读界面相对地显示汽车评论创建界面)。在例子中,任务执行上下文可以包括一个或多个应用参数(例如,显示用于指定汽车绘制界面是否通过汽车评论创建界面显示的汽车绘制界面参数)。汽车评论应用可以填充有对应于一个或多个应用参数的信息(例如,可以显示汽车绘制界面)。这样,自然语言输入可以用于向用户揭露任务完成功能,例如,在上下文相关状态下深启动应用。
在例子中,可以识别针对任务完成功能的用户反馈。例如,用户可以表示用户更愿接收汽车评论创建app的建议,以从app商店下载作为任务完成功能的一部分。可以向服务器提供用户反馈(例如,托管任务意图数据结构的远程服务器),用于训练用于填充任务意图数据结构的任务意图模型(例如,可以创建对意图条目的新的查询,以匹配自然语言输入和/或用户意图查询与预览和下载汽车评论创建应用的任务)。这样,可以改善基于自然语言输入促进任务完成。在110处,方法结束。
图2示出了用于促进任务完成的系统200的例子。系统200包括任务意图训练组件204和/或用户意图提供器组件210。任务意图训练组件204可以配置为评估社区用户搜索日志数据202以训练任务意图模型206。社区用户搜索日志数据202可以包括用户的全局可用的搜索查询和关于在提交搜索查询之后访问的/消耗的内容的上下文信息(例如,用户可能已经提交了搜索查询“我饿了”,并且随后已经访问了餐厅预定服务)。这样,可以基于多个用户(例如,搜索引擎或其它搜索界面(例如,操作系统搜索超级按钮)的用户)的用户活动训练任务意图模型206。任务意图模型206可以用于通过对意图条目的一个或多个查询填充任务意图数据结构208。对意图条目的查询使得查询与用户任务匹配,这可以用于识别任务完成功能以从全局社区角度向用户进行揭露。
用户意图提供器组件210可以配置为从客户端设备接收用户意图查询242。用户意图查询242可以源自在客户端设备上接收到的自然语言输入(例如,对查看假期媒体的用户意图查询可以源自自然语言输入的“显示我的假期”)。用户意图提供器组件210可以利用用户意图查询242查询任务意图数据结构208,以识别全局意图候选214(例如,显示包括与假期相关联的元数据的照片的全局意图候选)。全局意图候选214可以被提供给客户端设备,用于促进与源自自然语言输入的用户任务意图相关联的任务完成(例如,照片查看器应用可以被深启动到显示假期照片的上下文状态)。
图3示出了用于促进任务完成的系统300的例子。系统300包括任务促进器组件306。任务促进器组件306可以与客户端设备302相关联(例如,通过个人助理/推荐应用本地托管于客户端设备302上,或例如通过基于云的推荐服务而远程托管)。任务促进器组件306可以从客户端设备302的用户处接收自然语言输入304。例如,“我饿了”的自然语言输入304可以被接收作为语音命令。可以利用与用户相关联的一组用户上下文信号308来评估自然语言输入304以识别用户任务意图310。在例子中,用户任务意图310可以对应于打开餐厅应用并查看墨西哥餐厅信息的意图,这可以基于表示用户喜欢墨西哥食物的社交网络简档、市区的当前位置、旅行的步行模式和/或其它用户上下文信号(例如,用户选择加入以使得这种信号如本文提供地使用)。在另一例子中,可以基于自然语言输入来构建用户意图查询,并且可以用于查询任务意图数据结构(例如,图2所示的任务意图数据结构208)以识别全局意图候选(例如,表示在提交了类似用户意图查询和/或自然语言输入304的搜索查询之后用户的社区执行什么任务),这可以用于识别用户任务意图310。
任务促进器组件306可以配置为向用户揭露任务完成功能312。例如,任务完成功能312可以对应于深启动餐厅应用314。用户的当前位置可以用于识别对应于用户任务意图310的一组墨西哥餐厅实体候选。可以基于墨西哥餐厅实体候选到用户当前位置的接近度来从一组墨西哥餐厅实体候选中选择墨西哥餐厅实体候选。这样,餐厅应用314可以被深启动,其中与墨西哥餐厅实体候选相关联的信息可以填充到餐厅应用314中(例如,步行方向、菜单等)。这样,基于自然语言输入304和/或一组用户上下文信号308,餐厅应用314被深启动到上下文相关状态。
图4A和4B示出了修正用户任务意图的例子。图4A示出了接收自然语言输入404“George做什么”的任务促进器组件406的例子400。任务促进器组件406可以基于一组用户上下文信号408(例如,社交网络朋友George联系人、工作朋友George联系人、兄弟George联系人等)评估自然语言输入404,以识别用户任务意图414来与名叫George的用户通信。任务促进器组件406可以基于用户任务意图414(例如,因为多个用户叫George)向用户提供410用户精化界面412。用户精化界面412可以请求用户指定联系哪个George。
图4B示出了通过用户精化界面412接收用户任务精化输入422的任务促进器组件406的例子420。用户任务精化输入422可以指定将联系社交网络朋友George。任务促进器组件406可以修正用户任务意图414,并可以基于对用户任务意图414的修正而向用户揭露任务完成功能424。例如,通信应用426可以被深启动到通信中心,以用于联系社交网络朋友George。
图5A和5B示出了用于促进任务完成并利用用户反馈来训练任务意图模型510的系统500的例子。系统500包括任务促进器组件506、用户意图提供器组件508和/或任务意图训练组件514。任务促进器组件506可以从客户端设备502的用户处接收自然语言输入504“电影想法”。任务促进器组件506可以基于自然语言输入504(例如,电影查询)构建用户意图查询。任务促进器组件506可以向用户意图提供器组件508发送用户意图查询。用户意图提供器组件508可以利用用户意图查询来查询任务意图数据结构512,以识别全局意图候选516(例如,用户的社区可以在提交电影类型查询之后播放汽车比赛电影预览)。任务促进器组件506可以利用一组用户上下文信号518评估全局意图候选516(例如,视频播放器应用522可以安装到客户端设备502上),以识别用户任务意图来利用视频播放器应用522播放汽车比赛电影预览。任务促进器组件506可以基于用户任务意图向用户揭露任务完成功能520。例如,可以通过视频播放器应用522来播放汽车比赛电影预览。
图5B示出了接收用户反馈544的任务促进器组件506用于任务完成功能520。例如,用户可以通过用户反馈提交界面542指定用户更愿查看书面评论而不是电影预览。用户反馈544可以被提供到任务意图训练组件514。任务意图训练组件514可以配置为基于用户反馈544训练546任务意图模型510,并且训练过的任务意图模型510可以基于训练546调整任务意图数据结构512(例如,可以添加、移除和/或修改对意图条目的一个或多个查询,例如增加与阅读电影评论任务条目的电影查询相关联的权重,以及减少与播放电影预览任务条目的电影查询相关联的权重)。
图6示出了用于促进任务完成的系统600的例子。系统600包括任务促进器组件606。在例子中,任务促进器组件606可以从用户处接收自然语言输入604“我需要鞋子”。任务促进器组件606可以基于一组用户上下文信号608评估自然语言输入604以识别用户任务意图610。例如,用户任务意图610可以对应于通过可从app商店下载的购物应用614购买尺寸为12的跑鞋的意图,这可以基于用户对跑鞋网站的搜索历史、每六个月购买尺寸12的跑鞋的先前历史并且上一双是在6个月前买的、表示用户是个人马拉松教练的社交网络简档和/或其他用户上下文信号进行识别。任务促进器组件606可以基于用户任务意图610向用户揭露任务完成功能612。例如,任务促进器组件606可以从app商店下载购物应用614(例如,基于用户给出的许可),并可以深启动购物应用614以显示售卖的尺寸12的跑鞋。
另一实施例涉及计算机可读介质,其包括处理器可执行指令,该指令配置为实现本文呈现的一个或多个技术。图7示出了计算机可读介质或计算机可读设备的示例性实施例,其中实现方式700包括计算机可读介质708,例如CD-R、DVD-R、闪速驱动、一盘硬盘驱动等,在其上编码有计算机可读数据706。该计算机可读数据706(例如二进制数据)包括至少一个0或1,其接着包括一组计算机指令704,配置为根据本文阐述的一个或多个原理进行操作。在一些实施例中,处理器可执行计算机指令704配置为执行方法702,例如图1的示例性方法100中的至少一些。在一些实施例中,处理器可执行指令704配置为实现系统,例如,图2的示例性系统200中的至少一些、图3的示例性系统300中的至少一些、图5A和图5B的示例性系统500中的至少一些和/或图6的示例性系统600中的至少一些。许多这种计算机可读介质是由本领域普通技术人员设计出的,其被配置为根据本文呈现的技术进行操作。
虽然已经用专用于结构特征和/或方法动作的语言描述了主题,但是可以理解的是,在随附权利要求中定义的主题不必限于上述具体的特征或动作。而是,将上述具体的特征和动作公开为实现至少一些权利要求的示例性形式。
如在该申请中所使用的,术语“组件”、“模块”、“系统”、“界面”和/或其它一般打算指代计算机相关的实体,无论是硬件、硬件和软件的组合、软件、或执行中的软件。例如,组件可以是但不限于:在处理器上运行的过程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过图示,在控制器上运行的应用和控制器都可以是组件。一个或多个组件可以驻留在执行的过程和/或线程中,并且组件可以位于一个计算机和/或分布在两个或更多计算机之间。
此外,要求保护的主题可以实现为方法、装置或制品,其利用标准的编程和/或工程技术来产生软件、固件、硬件或其任意组合来控制计算机实现所公开的主题。这里所使用的术语“制品”打算涵盖从任意计算机可读设备、载体或介质可访问的计算机程序。自然,可以对该配置进行许多修改,而不背离所要求保护主题的范围或精神。
图8和后续讨论提供了合适的计算环境的简短的一般描述,以实现本文阐述的一个或多个规定的实施例。图8的操作环境仅是合适的操作环境的一个例子,并且不意在建议对操作环境的使用或功能的范围的任何限制。示例计算设备包括但不限于:个人计算机、服务器计算机、手持或膝上型设备、移动设备(例如,移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费者电子设备、迷你计算机、大型计算机、包括上述系统或设备的任一个的分布式计算环境,等等。
虽然未要求,但是实施例在由一个或多个计算设备执行的“计算机可读指令”的一般上下文中描述。可以经由计算机可读介质分布计算机可读指令(下文讨论)。计算机可读指令可以实现为程序模块,例如函数、对象、应用编程接口(API)、数据结构等,其执行特定任务或实现特定的抽象数据类型。一般地,计算机可读指令的功能可以依照要求组合或分布在各种环境中。
图8示出了系统800的例子,其包括被配置为实现本文提供的一个或多个实施例的计算设备812。在一个配置中,计算设备812包括至少一个处理单元816和存储器818。取决于计算设备的准确配置和类型,存储器818可以是易失性的(例如,RAM)、非易失性的(例如,ROM、闪存等)或两者的一些组合。该配置在图8中由虚线814所示出。
在其它实施例中,设备812可以包括额外的特征和/或功能。例如,设备812还可以包括额外的存储设备(例如,可移除的和/或不可移除的),包括但不限于:磁存储设备、光存储设备等。这种额外的存储设备在图8中由存储设备820示出。在一个实施例中,用于实现本文提供的一个或多个实施例的计算机可读指令可以在存储设备820中。存储设备820还可以存储其它计算机可读指令,以实现操作系统、应用程序等。计算机可读指令可以加载到存储器818中,以例如由处理单元816所执行。
如本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括易失性和非易失性、可移除和不可移除的介质,其实现于任意方法或技术中以存储信息,例如计算机可读指令或其它数据。存储器818和存储设备820是计算机存储介质的例子。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光存储设备、磁带盒、磁带、磁盘存储设备或其它磁存储设备、或者可以用于存储期望的信息并可以由设备812访问的任意其它介质。然而,计算机存储介质并不包括传播信号。而是,计算机存储介质排除传播信号。任何这种计算机存储介质可以是设备812的一部分。
设备812还可以包括通信连接826,其允许设备812与其它设备通信。通信连接826可以包括但不限于:调制解调器、网络接口卡(NIC)、集成网络接口、射频发送器/接收器、红外端口、USB连接、或用于将计算设备812连接到其它计算设备上的其它接口。通信连接826可以包括有线连接或无线连接。通信连接826可以发送和/或接收通信介质。
术语“计算机可读介质”可以包括通信介质。通信介质通常实现在“已调数据信号”(例如,载波或其它传输机构)中的计算机可读指令或其它数据,并包括任意信息输送介质。术语“已调数据信号”可以包括其一个或多个特性以信号中编码信息的方式被设定或变化的信号。
设备812可以包括输入设备824,例如,键盘、鼠标、笔、语音输入设备、触摸输入设备、红外摄像机、视频输入设备和/或任意其它输入设备。在设备812中还可以包括输出设备822,例如,一个或多个显示器、扬声器、打印机和/或任意其它输出设备。输入设备824和输出设备822可以经由有线连接、无线连接或其任意组合连接到设备812上。在一个实施例中,来自另一计算设备的输入设备或输出设备可以用作用于计算设备812的输入设备824或输出设备822。
计算设备812的组件可以通过各种互连(例如,总线)连接。这种互连可以包括外围组件互连(PCI)(例如,快速PCI)、通用串行总线(USB)、火线(IEEE 1394)、光总线结构等。在另一实施例中,计算设备812的组件可以通过网络互连。例如,存储器818可以包括位于通过网络互连的不同物理位置的多个物理存储器单元。
本领域技术人员可以认识到用于存储计算机可读指令的存储设备可以跨网络分布。例如,可经由网络828访问的计算设备830可以存储计算机可读指令以实现在本文中提供的一个或多个实施例。计算机设备812可以访问计算设备830并下载部分或全部用于执行的计算机可读指令。替代地,计算设备812可以按照需要下载多条计算机可读指令,或者一些指令可以在计算设备812处执行并且一些指令可以在计算设备830处执行。
本文提供了实施例的各种操作。在一个实施例中,所描述的一个或多个操作可以构成存储于一个或多个计算机可读介质上的计算机可读指令,当被计算设备执行时,所述指令将使得计算设备执行上述操作。描述一些或所有操作的顺序不应该解释为暗示这些操作必须是顺序依赖的。本领域中受益于该描述的技术人员将理解替代的顺序。此外,可以理解的是,不是所有的操作都必须存在于本文提供的每个实施例中。另外,可以理解的是,在一些实施例中不需要所有的操作。
此外,除非另外指出,否则“第一”、“第二”和/或类似并不打算暗示时间方面、空间方面、顺序等。而是,这种术语仅用作特征、元件、项目等的标识符、名称等。例如,第一对象和第二对象一般对应于对象A和对象B或两个不同的或两个相同的对象或同一对象。
此外,本文所使用的“示例性”表示用作例子、实例、图示等,而不必用作优点。如本文所使用的,“或者”打算表示包含性的“或者”而不是排他性的“或者”。另外,在本申请中使用的“一(a)”和“一(an)”一般解释为表示“一个或多个”,除非另有指明或清楚地根据上下文指向单数形式。另外,至少一个A或B和/或类似一般表示A或B或者A和B。此外,就“包括”、“含有”、“具有”、“有”和/或其变型用于详细说明或权利要求中,这种术语打算以类似于术语“包含”的方式是包含性的。
另外,虽然相对一个或多个实现方式示出并描述了本公开,但是本领域技术人员基于阅读和理解该说明书和附图可以想到等价的变型和修改。本公开包括所有这些修改和变型,并且仅受后续权利要求范围的限制。特别地关于上述组件(例如,元件、资源等)所执行的各种功能,除非另有表明,否则用于描述这种组件的术语打算对应于执行所描述组件的指定功能的任何组件(例如,功能等价),即使结构上未等价于公开的结构。另外,虽然本公开的特定特征已经仅相对多种实现方式中的一个进行了公开,但是可如对任意给定或特定应用所期望和有利地,这种特征与其它实现方式的一个或多个其它特征组合。

Claims (10)

1.一种用于促进任务完成的方法,包括:
从客户端设备的用户处接收自然语言输入;
利用与所述用户相关联的一组用户上下文信号评估所述自然语言输入,以识别用户任务意图;以及
基于所述用户任务意图,向所述用户揭露任务完成功能,所述揭露包括:
基于所述用户任务意图识别任务执行上下文,所述任务执行上下文包括应用参数;以及
深启动应用到与所述任务执行上下文相关联的上下文状态,所述应用填充有对应于所述应用参数的信息。
2.根据权利要求1所述的方法,所述深启动应用包括:
向所述用户提供通过所述应用对文献、照片、视频、网站或社交网络数据中的至少一个的访问。
3.根据权利要求1所述的方法,所述评估自然语言输入包括:
基于所述自然语言输入,构建用户意图查询;
利用所述用户意图查询来查询任务意图数据结构,以识别全局意图候选;以及
利用所述一组用户上下文信号评估所述全局意图候选,以识别所述用户任务意图。
4.根据权利要求3所述的方法,所述查询任务意图数据结构包括:
向包括所述任务意图数据结构的服务器发送所述用户意图查询,所述服务器远离所述客户端设备;以及
从所述服务器处接收所述全局意图候选。
5.根据权利要求1所述的方法,所述应用包括个人助理应用。
6.根据权利要求4所述的方法,包括:
识别针对所述任务完成功能的用户反馈;以及
向所述服务器提供所述用户反馈,以训练用于填充所述任务意图数据结构的任务意图模型。
7.根据权利要求1所述的方法,所述深启动应用包括:
识别所述用户的当前位置;
识别对应于所述用户任务意图的一组实体候选;
基于所述实体候选到所述当前位置的接近度,从所述一组实体候选中选择实体候选;以及
在与所述实体候选相关联的信息内填充所述应用。
8.根据权利要求1所述的方法,包括:
基于所述用户任务意图向所述用户提供用户精化界面;
通过所述用户精化界面接收用户任务精化输入;以及
基于所述用户任务精化输入修正所述用户任务意图。
9.一种用于促进任务完成的系统,包括:
任务意图训练组件,其配置为:
评估社区用户搜索日志数据以训练任务意图模型;以及
利用所述任务意图模型来用对意图条目的一个或多个查询填充任务意图数据结构;以及
用户意图提供器组件,其配置为:
从客户端设备处接收用户意图查询,所述用户意图查询源自在所述客户端设备上接收到的自然语言输入;
利用所述用户意图查询来查询所述任务意图数据结构,从而识别全局意图候选;以及
向所述客户端设备提供所述全局意图候选,以深启动应用到与源自所述自然语言输入的用户任务意图相关联的任务完成的上下文状态。
10.根据权利要求9所述的系统,所述任务意图训练组件配置为:
接收针对所述全局意图候选的用户反馈;以及
基于所述用户反馈训练所述任务意图模型。
CN201580018656.9A 2014-04-01 2015-03-27 自然语言输入的任务完成 Pending CN106164909A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/242,394 US20150278370A1 (en) 2014-04-01 2014-04-01 Task completion for natural language input
US14/242,394 2014-04-01
PCT/US2015/022883 WO2015153310A1 (en) 2014-04-01 2015-03-27 Task completion for natural language input

Publications (1)

Publication Number Publication Date
CN106164909A true CN106164909A (zh) 2016-11-23

Family

ID=52829406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580018656.9A Pending CN106164909A (zh) 2014-04-01 2015-03-27 自然语言输入的任务完成

Country Status (12)

Country Link
US (1) US20150278370A1 (zh)
EP (1) EP3127012A1 (zh)
JP (1) JP2017515217A (zh)
KR (1) KR20160140694A (zh)
CN (1) CN106164909A (zh)
AU (1) AU2015241253A1 (zh)
BR (1) BR112016022372A2 (zh)
CA (1) CA2943235A1 (zh)
MX (1) MX2016012643A (zh)
RU (1) RU2016138550A (zh)
TW (1) TW201543240A (zh)
WO (1) WO2015153310A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605076A (zh) * 2016-12-30 2018-09-28 谷歌有限责任公司 用于数据传输的反馈控制器
CN110753918A (zh) * 2017-04-12 2020-02-04 脸谱公司 用于对机器人进行基于意图的搜索的技术
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
WO2020177592A1 (zh) * 2019-03-05 2020-09-10 京东方科技集团股份有限公司 画作问答方法及装置、画作问答系统、可读存储介质
CN111788566A (zh) * 2018-03-08 2020-10-16 索尼公司 信息处理设备、终端装置、信息处理方法和程序
CN115206304A (zh) * 2017-05-12 2022-10-18 苹果公司 低延迟智能自动化助理
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10169447B2 (en) 2014-02-24 2019-01-01 Entefy Inc. System and method of message threading for a multi-format, multi-protocol communication system
US10394966B2 (en) 2014-02-24 2019-08-27 Entefy Inc. Systems and methods for multi-protocol, multi-format universal searching
US20170193009A1 (en) 2015-12-31 2017-07-06 Entefy Inc. Systems and methods for filtering of computer vision generated tags using natural language processing
US11755629B1 (en) 2014-02-24 2023-09-12 Entefy Inc. System and method of context-based predictive content tagging for encrypted data
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10719524B1 (en) 2015-04-15 2020-07-21 Arimo, LLC Query template based architecture for processing natural language queries for data analysis
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10135764B2 (en) * 2015-12-31 2018-11-20 Entefy Inc. Universal interaction platform for people, services, and devices
US10353754B2 (en) 2015-12-31 2019-07-16 Entefy Inc. Application program interface analyzer for a universal interaction platform
CN105760483B (zh) * 2016-02-16 2019-04-19 Oppo广东移动通信有限公司 多媒体文件的保存及其检索方法和系统
US10409876B2 (en) 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
JP6679447B2 (ja) * 2016-09-12 2020-04-15 ヤフー株式会社 変更装置、変更方法、及び変更プログラム
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10397157B2 (en) 2016-10-27 2019-08-27 International Business Machines Corporation Message management in a social networking environment
US10963642B2 (en) 2016-11-28 2021-03-30 Microsoft Technology Licensing, Llc Intelligent assistant help system
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10491690B2 (en) 2016-12-31 2019-11-26 Entefy Inc. Distributed natural language message interpretation engine
US11204787B2 (en) * 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11153411B2 (en) 2017-04-10 2021-10-19 Samsung Electronics Co., Ltd. Method and apparatus for processing user request
KR102380717B1 (ko) * 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10587553B1 (en) 2017-12-29 2020-03-10 Entefy Inc. Methods and systems to support adaptive multi-participant thread monitoring
US11948023B2 (en) 2017-12-29 2024-04-02 Entefy Inc. Automatic application program interface (API) selector for unsupervised natural language processing (NLP) intent classification
US11573990B2 (en) 2017-12-29 2023-02-07 Entefy Inc. Search-based natural language intent determination
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11410075B2 (en) * 2018-01-15 2022-08-09 Microsoft Technology Licensing, Llc Contextually-aware recommendations for assisting users with task completion
KR102059142B1 (ko) * 2018-01-23 2020-02-07 네이버 주식회사 서버 및 사용자 장치의 동작 방법
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11113473B2 (en) * 2018-04-02 2021-09-07 SoundHound Inc. Interpreting expressions having potentially ambiguous meanings in different domains
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11232262B2 (en) * 2018-07-17 2022-01-25 iT SpeeX LLC Method, system, and computer program product for an intelligent industrial assistant
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN109979453A (zh) * 2019-03-29 2019-07-05 客如云科技(成都)有限责任公司 一种面向点餐机器人的智能意图识别人机交互方法
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11244106B2 (en) * 2019-07-03 2022-02-08 Microsoft Technology Licensing, Llc Task templates and social task discovery
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11354500B2 (en) 2019-12-06 2022-06-07 Microsoft Technology Licensing, Llc Artificial intelligence for identifying relevant content related to specific tasks
US11842731B2 (en) * 2020-01-06 2023-12-12 Salesforce, Inc. Method and system for executing an action for a user based on audio input
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11829720B2 (en) 2020-09-01 2023-11-28 Apple Inc. Analysis and validation of language models

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7669142B2 (en) * 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
US20100205180A1 (en) * 2006-08-14 2010-08-12 Inquira, Inc. Method and apparatus for identifying and classifying query intent
CN102004794A (zh) * 2010-12-09 2011-04-06 百度在线网络技术(北京)有限公司 搜索引擎系统及其实现方法
CN102368256A (zh) * 2010-09-30 2012-03-07 微软公司 基于用户意图提供建议
CN102609444A (zh) * 2010-11-08 2012-07-25 微软公司 呈现与实体相关联的动作和提供商
US20120245944A1 (en) * 2010-01-18 2012-09-27 Apple Inc. Intelligent Automated Assistant
CN102750311A (zh) * 2011-03-31 2012-10-24 微软公司 扩充的对话理解体系结构
CN103390194A (zh) * 2012-05-07 2013-11-13 北京三星通信技术研究有限公司 用户意图预测及推荐建议的方法、设备和系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720674B2 (en) * 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US20070192168A1 (en) * 2006-02-15 2007-08-16 Leviathan Entertainment, Llc Map and Inventory-Based On-Line Purchases
US20070297581A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Voice-based phone system user interface
US20080005068A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US20100082398A1 (en) * 2008-09-29 2010-04-01 Yahoo! Inc. System for providing contextually relevant data
US20110082746A1 (en) * 2009-10-06 2011-04-07 Christopher Rice Systems and Methods for Providing Location Based Promotions and Feedback Services
US9263034B1 (en) * 2010-07-13 2016-02-16 Google Inc. Adapting enhanced acoustic models
US20120117051A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Multi-modal approach to search query input
KR101828273B1 (ko) * 2011-01-04 2018-02-14 삼성전자주식회사 결합기반의 음성명령 인식 장치 및 그 방법
US8966440B2 (en) * 2011-08-29 2015-02-24 Salesforce.Com, Inc. Custom application creation in multi-tenant systems
US20130086028A1 (en) * 2011-09-30 2013-04-04 Nuance Communications, Inc. Receiving and processing user-specified queries
US9575963B2 (en) * 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
US10026394B1 (en) * 2012-08-31 2018-07-17 Amazon Technologies, Inc. Managing dialogs on a speech recognition platform
US8645138B1 (en) * 2012-12-20 2014-02-04 Google Inc. Two-pass decoding for speech recognition of search and action requests
EP2941744B8 (en) * 2012-12-30 2018-10-17 Gary Stephen Shuster Global contact synchronization
US20140258260A1 (en) * 2013-03-11 2014-09-11 Sabrina Rayborn Methods for on line dating
WO2014139120A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US9881102B2 (en) * 2013-04-22 2018-01-30 Microsoft Technology Licensing, Llc Aggregating personalized suggestions from multiple sources
US9448992B2 (en) * 2013-06-04 2016-09-20 Google Inc. Natural language search results for intent queries
US20150142607A1 (en) * 2013-11-20 2015-05-21 Cui Yang Shopping mind reader
US20150248216A1 (en) * 2014-02-28 2015-09-03 Microsoft Corporation Information interface generation and/or population

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7669142B2 (en) * 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
US20100205180A1 (en) * 2006-08-14 2010-08-12 Inquira, Inc. Method and apparatus for identifying and classifying query intent
US20120245944A1 (en) * 2010-01-18 2012-09-27 Apple Inc. Intelligent Automated Assistant
CN102368256A (zh) * 2010-09-30 2012-03-07 微软公司 基于用户意图提供建议
CN102609444A (zh) * 2010-11-08 2012-07-25 微软公司 呈现与实体相关联的动作和提供商
CN102004794A (zh) * 2010-12-09 2011-04-06 百度在线网络技术(北京)有限公司 搜索引擎系统及其实现方法
CN102750311A (zh) * 2011-03-31 2012-10-24 微软公司 扩充的对话理解体系结构
CN103390194A (zh) * 2012-05-07 2013-11-13 北京三星通信技术研究有限公司 用户意图预测及推荐建议的方法、设备和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605076A (zh) * 2016-12-30 2018-09-28 谷歌有限责任公司 用于数据传输的反馈控制器
CN110753918A (zh) * 2017-04-12 2020-02-04 脸谱公司 用于对机器人进行基于意图的搜索的技术
CN115206304A (zh) * 2017-05-12 2022-10-18 苹果公司 低延迟智能自动化助理
CN115206304B (zh) * 2017-05-12 2023-07-18 苹果公司 低延迟智能自动化助理
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
CN111788566A (zh) * 2018-03-08 2020-10-16 索尼公司 信息处理设备、终端装置、信息处理方法和程序
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
WO2020177592A1 (zh) * 2019-03-05 2020-09-10 京东方科技集团股份有限公司 画作问答方法及装置、画作问答系统、可读存储介质

Also Published As

Publication number Publication date
AU2015241253A1 (en) 2016-10-06
JP2017515217A (ja) 2017-06-08
RU2016138550A (ru) 2018-03-30
US20150278370A1 (en) 2015-10-01
CA2943235A1 (en) 2015-10-08
EP3127012A1 (en) 2017-02-08
BR112016022372A2 (pt) 2017-08-15
KR20160140694A (ko) 2016-12-07
TW201543240A (zh) 2015-11-16
WO2015153310A1 (en) 2015-10-08
MX2016012643A (es) 2016-12-14
RU2016138550A3 (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN106164909A (zh) 自然语言输入的任务完成
JP2020184363A (ja) 製品、サービスおよび企業の推奨のための技術
US11784951B1 (en) Determining contextually relevant application templates associated with electronic message content
CN107409144B (zh) 使用共享位置数据执行对服务的请求的方法和介质
JP6887485B2 (ja) メッセージングエージェントプラットフォームのための技術
CN104919424B (zh) 用于通过应用间通信来促进任务完成的系统和方法
JP7121052B2 (ja) イメージデータに少なくとも部分的に基づく、アクションを実行するためのエージェントの決定
CN104350497B (zh) 通过开放的动作和/或提供者市场实现的用户任务完成
US11799974B2 (en) User profile aggregation and inference generation
US10331480B2 (en) Contextual application organizer framework for user life events
AU2021200811B2 (en) Method and system for providing contextual electronic content
US20140358958A1 (en) Surfacing direct app actions
KR102276856B1 (ko) 컴퓨팅 디바이스와 상호작용하는 장치 및 방법
CN109074555A (zh) 一步任务完成
CN107395485A (zh) 将可选择应用链接并入与个人助理模块的会话中
US20230359655A1 (en) Enabling exchange of conversational bot skills during conversational chat
US10467237B1 (en) Object relationships and similarities based on user context
US20150242496A1 (en) Local content filtering
US20200364773A1 (en) Efficient task completion via intelligent aggregation and analysis of data
JP2024515795A (ja) タスク決定システム中での提案の生成のためのシステムおよび方法
KR102246611B1 (ko) 인앱 소프트웨어 구매에 대한 마켓에 의한 가격 차별화 기법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161123