CN109074555A - 一步任务完成 - Google Patents

一步任务完成 Download PDF

Info

Publication number
CN109074555A
CN109074555A CN201780020650.4A CN201780020650A CN109074555A CN 109074555 A CN109074555 A CN 109074555A CN 201780020650 A CN201780020650 A CN 201780020650A CN 109074555 A CN109074555 A CN 109074555A
Authority
CN
China
Prior art keywords
information
user
movement
equipment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780020650.4A
Other languages
English (en)
Inventor
A·H·兰比亚
R·J·霍华德三世
J·S·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109074555A publication Critical patent/CN109074555A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

在一步任务完成的实施例中，计算系统包括用于维护与对应于用户的信息相关联的元数据的存储器，其中，然后信息可基于元数据用上下文搜索来确定。对应于用户的信息可以用元数据来确定和标记，所述信息例如与用户帐户和/或用户的活动相关联的信息。计算系统包括个人助理应用，其被实现为接收请求以作为用于定位信息并执行为信息指定的动作的一步指示。然后，个人助理应用可以基于元数据来定位信息，并执行为信息指定的动作。

Description

一步任务完成
背景技术
许多设备用户具有电子和计算设备，例如桌上型计算机、膝上型计算机、移动电话、平板计算机、多媒体设备、可穿戴设备和其他类似设备。这些类型的计算设备用于许多不同的计算应用，例如撰写电子邮件、网上冲浪、编辑文档、与应用交互、在社交媒体上交互以及访问其他资源和文档。在与设备的共同交互中，用户可以开发和保存文档，并且然后在稍后的日子，例如经由电子邮件消息将文档发送给同事。通常，用户然后将需要手动完成多个步骤来发送文档，例如发起新的电子邮件消息、填写地址并撰写电子邮件消息、搜索并附加以前保存的文档，并且然后将电子邮件消息发送给他或她的同事。通常，用户将需要搜索内容，然后解析、识别和/或选择内容，例如通过打开与内容相关联的应用，然后在上下文菜单中发起动作选择或打开文件以便然后完成动作。
发明内容
本概括介绍了(例如，使用自然语言)一步任务完成的特征和构思，其在以上的详细描述中被进一步描述和/或在附图中被示出。本概括不应当被认为描述了所要求保护的主题的基本特征，也不用于确定或限制所要求保护的主题的范围。
描述了一步任务完成。在实施例中，计算系统包括用于维护与对应于用户的信息相关联的元数据的存储器，其中，然后信息可基于元数据用上下文搜索来确定信息。可以用元数据来确定和标记对应于用户的信息，例如与用户帐户和/或用户的活动相关联的信息，并且元数据提供用于上下文搜索的、信息的上下文。该计算系统包括个人助理应用，其被实现为接收请求以作为用于定位信息和执行为信息指定的动作的一步指示。然后，个人助理应用可以基于元数据来定位信息，并执行为信息指定的动作。
在一步任务完成的其他方面中，一步指示是采用“找到+做”格式的多部分式单命令，其具有用于找到信息的第一部分和用于执行指定动作的第二部分。个人助理应用可以接收一步指示以作为采用任何类型格式的自然语言输入，例如音频格式、触觉格式、键入格式或手势格式。然后，个人助理应用可以解析自然语言输入以识别所请求的信息和要执行的动作。还可以实现个人助理应用以确认已经对信息执行的一步指示的动作。例如，可以发起一步指示以找到特定文档并将其发送给接收者。然后，个人助理应用可以找到文档、将其附加到电子邮件、填写去往收件人的电子邮件地址，并发起发送电子邮件。确认可以采用个人助理应用将发起一步指示的用户抄送在电子邮件上的形式，并且/或者个人助理应用可以接收电子邮件递送的确认并将确认转发给用户。
在一步任务完成的其他方面中，对应于用户的信息可以是在浏览器应用中录入的搜索内容。然后，个人助理应用可以定位搜索内容并执行与搜索内容相关联的动作。例如，与用户相关联的信息可以不仅是标记的文档和/或文件，而且可以是任何类型的可搜索内容，以包括笔记本条目、简档信息、点击的感兴趣的项目、浏览器搜索内容和/或已经被标记并可用上下文搜索来确定的任何其他类型的可搜索内容。
在一步任务完成的其他方面中，个人助理应用可以被实现为基于云的服务应用，其可由来自用户客户端设备的请求访问。此外，对应于用户的信息可以被维护为第三方数据，可基于用户帐户从社交媒体站点或第三方数据服务访问。然后，在用户客户端设备上或作为在线应用实现的个人助理应用可以利用用户帐户来访问社交媒体站点或第三方数据服务以定位信息，并访问信息以执行为信息指定的动作。
附图说明
参考以下附图描述了一步任务完成的实施例。可以始终使用相同的数字来引用附图中示出的同样的特征和组件：
图1示出了其中一步任务完成的实施例可以被实现的示例性系统。
图2示出了一步任务完成的实施例中的信息分析的示例。
图3示出了在一步任务完成的实施例中利用信息分析的示例性个人数字助理。
图4示出了根据一个或多个实施例的一步任务完成的示例性方法。
图5示出了具有可以实现一步任务完成的实施例的示例性设备的示例性系统。
图6-17示出了使用自然语言的上下文搜索的示例性设备、系统和方法。
具体实施方式
一步任务完成的实施例被描述，并且可以被实现以响应用户请求，例如作为用于定位信息和执行与信息相关联的动作的一步指示接收的自然语言请求。实现个人数字助理的个人助理应用和/或系统可以接收自然语言请求、基于与信息相关联的元数据来确定信息，并执行与信息相关联的动作。多个步骤或动作可以基于作为一步指示被接收的单个请求来完成，所述一步指示例如用于搜索文档或其他信息并且然后执行如指示中指定的动作的单个陈述。
例如，用户可以以自然语言陈述用于“将我昨天在编辑的演示文稿发送给我的助理”的一步指示。诸如移动电话、平板设备、办公室计算机等的计算系统可以接收和处理语音命令。在设备上实现或基于云的个人助理应用可以执行以下操作：接收请求以作为一步指示；并且基于元数据，定位昨天编辑的演示文稿；确定助理；向助理发起附有演示文稿的电子邮件消息；并且发送电子邮件。采用“定位并执行动作”格式(还被称为“找到+做”)的一步指示的其他示例可以是用于“将我本周末在审阅的电子表格投影在该会议室的屏幕上”或“在游戏控制台上开始夏威夷旅行照片的幻灯片放映”的自然语言陈述。注意到，一步指示可以与用户的活动相关(例如，已经编辑了演示文稿或审阅了电子表格)，或者可以通过用户帐户或其他识别信息相关，例如，如果用户指示“去并对我的配偶已在社交媒体站点上发布的照片‘点赞’”。
在该示例中，用户可以甚至尚未访问或查看照片，但通过具有与社交媒体站点相关联的用户帐户，就可以以自然语言发起一步指示。其他类似的示例可以包括用于“播放来自视频共享站点的有趣视频”的指示或者用于“将我的老板刚刚发给我的演示文稿投影在该会议室中”的一步指示。在该实例中，用户可以已经接收到具有演示文档的附件的电子邮件，但尚未查看文档。然而，系统将演示文档与用户相关联，这是因为文档是在用户的电子邮件中接收到的。
内容可以是与用户相关联的任何信息，例如用户拥有或可以访问的个人内容或文档。这些动作可以是经常在上下文菜单中找到的动作，或者可以是由各种应用和服务提供的其他动作。一步任务完成的实施例允许用户用简单且直接的自然语言命令系统来提高过程的效率。然后，个人助理应用、代理或系统可以代表用户搜索和执行动作，并且用户将开始信任个人助理已经对正确的文档或信息执行了所请求的动作。可以使用反馈来灌输系统中的信任感，所述反馈可以包括：对已经经由电子邮件消息传送的文档或文件进行预览、在发送电子邮件消息之前发起确认步骤、在传出电子邮件消息上自动抄送用户等等。这可以是用户可选择以激活或停用的选项。
在诸如智能手机、平板计算机、可穿戴计算设备、个人计算机(PC)、游戏控制台、基于场所的智能设备、运载工具等的设备上支持的知晓上下文的数字助理是用自然语言接口来实现的，所述自然语言接口使得用户能够使用上下文引用(例如，时间、日期、事件、位置、日程安排、活动、联系人或设备)来启动对内容的搜索。因此，用户可以使用自然语言来表达适用于所寻求的内容的上下文，而不必制定使用特定语法的查询。数字助理可以跨应用(即，第一和第三方应用二者)、设备和服务或这三者的任何组合全面地搜索内容。
因此，当使用设备时，用户可以简单地通过指定要用作搜索标准的上下文来要求数字助理搜索特定内容。例如，当与朋友在地铁上时，用户可以要求数字助理找到在本周早些时候使用平板设备工作的文件。数字助理可以响应用户的自然语言请求而发起搜索，并且在单个集成用户界面(UI)中向用户提供全面的结果，所述单个集成UI例如由数字助理或在设备上运行的操作系统支持的画布。用户可以从搜索结果中选择内容，所述搜索结果可以由数字助理呈现在本地设备上和/或从远程设备和/或服务下载。
使用数字助理来发起上下文搜索通过让用户以放弃严格的语法规则的灵活、直观或自然的方式制定搜索查询来改进用户体验。通过在搜索时使用上下文，与传统搜索方法相比，数字助理可以向用户提供可以被预期为更加细致、有意义、全面且相关的结果。此外，通过跨应用、设备和服务扩展搜索并且然后整合结果，数字助理为用户提供了简单有效的方式来从设备UI上的单个位置找到、访问和管理他们的内容。通过使得用户能够快速且准确地定位来自各种源、服务、应用和位置的特定内容，知晓上下文的数字助理在与设备交互时提高了用户效率。
计算设备和/或基于云的个人助理应用可以被实现为自然语言理解(NLU)系统的组件或部分，所述NLU系统被实现以基于自然语言输入来定位或确定内容(例如，理解组合“找到+做”一步指示的用户意图)并且具有基于自然语言输入来定位或确定内容的能力。NLU系统是健壮的并且“理解”(例如，可以确定)查询表单中的说话方式和变化，并且包括对数据类型的支持、对语言理解模型的改进以支持数据上的更多上下文属性。例如，用户可以指示“找到我昨天编辑/演示/共享/投影/审阅/打印的文档”中的任一者。另外，可以实现NLU系统以支持在上下文菜单中找到的指示，以及对用户内容的应用实现的动作或系统动作。例如，用户可以指示“打印文件”、“共享文件”、“将文件发送给某人”、“投影文件”、“将音乐排队”、“将视频播放到游戏控制台”等中的任一者。另外，可以实现NLU系统以训练自身以理解组合的改进，以允许用户用单个自然语言命令来执行整个找到+做流程。
NLU系统可以包括内容标记组件、生成器、应用等，以用元数据标记对应于用户的信息，使得信息可基于元数据用上下文搜索来确定(例如，信息可以使用上下文搜索来自动识别)。客户端侧和/或服务器侧(例如，基于云的)标记组件、生成器、应用等可以维护与用户相关联的信息和内容，例如位置、日历上相同时间处的事件、与用户一起工作的人、用户对内容执行的动作等等。用元数据标记信息可以由系统整体和/或由每个参与的应用或服务执行。然后，用户可以利用上下文信息来回忆他们选择的内容，其中，需要上下文回忆以使搜索结果精确和准确，而不必求助于要求用户选择一步指示中指定的内容的消歧用户界面(例如，在没有来自用户的用户界面输入的情况下，在后台自动完成对搜索结果的动作)。
与用户相关联的信息可以包括：用户帐户，用户的内容和文档，与用户相关联的存储驱动器，其他数据存储库，与用户相关联的任何内容、文档或搜索活动，社交媒体交互，第三方内容访问或交互，任何类型的索引的数据源，来自应用的内容、网络服务和/或与使用计算或电子设备相关联的任何其他类型的用户信息和活动。系统可以被实现为支持基于网络历史、基于云的在线应用服务以及与第三方服务相关联地在本地索引器上、在基于云的存储驱动器上搜索与用户相关联的信息。其他数据、内容和信息源可以包括插入式USB驱动器、NAS驱动器以及个人助理应用的用户个人简档。可以实现NLU系统以支持跨上下文菜单、网络服务和其他应用可扩展性框架(例如，VCD(语音命令定义文件))使用自然语言。
虽然可以用任何数量的不同设备、系统、网络、环境和/或配置来实现一步任务完成的特征和构思，但是在以下示例性设备、系统和方法的上下文中描述了一步任务完成的实施例。
图1示出了其中一步任务完成的实施例可以被实现的示例性系统100。示例性系统100包括具有处理系统104的计算设备102，所述处理系统104具有一个或多个处理器和设备(例如，CPU、GPU、微控制器、硬件元件、固定逻辑器件等)、一个或多个计算机可读介质106、操作系统108以及驻留在计算机可读介质上并且可由处理系统执行的一个或多个应用110。处理系统104可以从应用110检索和执行计算机程序指令，以向计算设备102提供广泛的功能，包括但不限于游戏、办公室生产力、电子邮件、媒体管理、打印、联网、网络浏览等等。与应用110相关的各种数据和程序文件也可以被包括，所述数据和程序文件的示例包括游戏文件、办公文档、多媒体文件、电子邮件、数据文件、网页、用户简档和/或偏好数据等。
计算设备102可以被体现为任何合适的计算系统和/或设备，例如(作为示例而非限制)游戏系统、桌上型计算机、便携式计算机、平板计算机或板式计算机(slatecomputer)、诸如个人数字助理(PDA)之类的手持设备、手机、机顶盒、可穿戴设备(例如，手表、带、眼镜等)等。例如，如图1所示，计算设备102可以被实现为电视客户端设备112、计算机114和/或连接到显示设备118以显示媒体内容的游戏系统116。替代地，计算设备可以是包括集成显示器122的任何类型的便携式计算机、移动电话或便携式设备120。计算设备还可以被配置为可穿戴设备124，其被设计为由用户穿戴、附接于用户、由用户携带或以其他方式由用户运输。图1中描绘的可穿戴设备124的示例包括眼镜、智能带或手表以及诸如夹式健身设备、媒体播放器或跟踪器之类的pod设备。仅举几个示例，可穿戴设备124的其他示例包括但不限于戒指、一件衣服、手套和手镯。计算设备中的任一者可以用各种组件来实现，例如一个或多个处理器和存储器设备，以及不同组件的任何组合。以下结合图5示出和描述了可以表示包括计算设备102的各种系统和/或设备的计算系统的一个示例。
计算设备102可以包括或利用数字助理126(本文中还被称为个人助理、个人助理应用或个人数字助理)。在示出的示例中，数字助理126被描绘为与操作系统108集成。数字助理126可以替代地被实现为独立应用，或诸如浏览器或消息传送客户端应用之类的不同应用的组件。数字助理126表示可操作以执行所请求的任务、提供所请求的建议和信息和/或调用各种设备服务128以完成所请求的动作的功能单元。数字助理可以利用由系统实现的自然语言处理、知识数据库和人工智能来解释和响应采用各种形式的请求。
例如，请求可以包括通过数字助理的自然语言处理能力解释的口头或书面(例如，键入的文本)数据。数字助理可以解释各种输入和上下文线索以推断用户的意图，将推断的意图转化成可动作的任务和参数，并且然后执行操作并部署设备服务128以执行任务。因此，数字助理126被设计为代表用户行动以产生满足如在用户和数字助理之间的自然语言交互期间表达的用户意图的输出。可以使用客户端-服务器模型来实现数字助理126，其中，至少一些方面经由如以下讨论的数字助理服务组件而被提供。
根据本文描述的技术，数字助理126包括或利用用于处理和处置一步指示的功能，以响应于一步指示而推断对应的用户意图并且采取适当的动作以用于任务完成、设备操作等。用于处理和处置一步指示的功能可以结合消息传送客户端130和分析模块132来实现。消息传送客户端130表示用于实现网络上的各种种类的通信的功能单元，所述通信包括但不限于电子邮件、即时消息传送、语音通信、文本消息传送、聊天等。消息传送客户端130可以表示针对不同类型通信采用的多个单独的桌面或设备应用。消息传送客户端130还可以表示浏览器或其他合适的应用的用于在网络上访问从服务提供者处获得基于网络的消息传送帐户的功能。
分析模块132表示用于通过如本文所述的一步指示来实现用于命令和任务完成的技术的功能单元。分析模块132可以被实现为如所示的独立应用。在该情况下，数字助理126、消息传送客户端130和其他应用110可以调用分析模块132来执行用于分析一步指示的操作。替代地，分析模块132可以被实现为操作系统108、数字助理126、消息传送客户端130或其他应用/服务的集成组件。通常，分析模块132可操作以检查一步指示和与用户帐户相关联的消息，并确定对应于用户的信息，所述信息可基于元数据用上下文搜索来确定。分析模块132还可以分析内容和一步指示以在发起自然语言一步指示时导出用户的意图。分析模块132可以将指示用户信息被分类到其中的类别的标签与用户信息相关联。分析模块132可以基于以各种方式对信息的分类来使得一步指示和动作被执行。用于触发动作的功能可以作为分析模块132的部分被包括。另外或替代地，分析模块132可以被配置为调用数字助理126并与之交互，以通过由数字助理126实现的功能来发起一步指示和动作的执行。
示例性系统100是进一步描绘计算设备102可以经由网络134通信地耦合到服务提供者136的环境，其使得计算设备102能够访问由服务提供者136提供的各种资源138并与之交互。资源138可以包括通常由一个或多个服务提供者在网络上提供的内容和/或服务的任何合适的组合。例如，内容可以包括文本、视频、广告、音频、多媒体流、动画、图像、网页等的各种组合。服务的一些示例包括但不限于：在线计算服务(例如，“云”计算)，认证服务，基于网络的应用，文件存储和协作服务，搜索服务，诸如电子邮件、文本和/或即时消息传送之类的消息传送服务140，以及社交网络服务。
服务还可以包括数字助理服务142，其表示数字助理系统的与由数字助理126表示的客户端侧组件结合操作的服务器侧组件。数字助理服务142使得数字助理客户端能够插接到各种资源138，例如搜索服务、分析、基于社区的知识等。数字助理服务142还可以跨数字助理客户端应用填充更新，例如以更新自然语言处理并使知识数据库保持最新。
图2示出了一步任务完成的实施例中的信息分析的示例200。分析模块132可以被实现为各种应用的组件，其示例包括数字助理126、消息传送客户端130、消息传送服务140或数字助理服务142，如图2中表现的。分析模块132还可以被实现为独立应用，如图1中表现的。如指出的，分析模块132通常可操作以检查与用户和/或用户帐户相关联的一步指示，并识别由用户以自然语言发起的“站到+做”一步指示。分析模块132可以包括指令检测器202、分类器204和标签生成器206。
指令检测器202执行处理以检查一步指示208并识别一步指示的信息和动作。分类器204用于执行进一步处理并表示用于分析一步指示以推断用户意图的功能单元。换言之，分类器204尝试确定用户意图做什么，并解析消息内容和元数据以检测指令的意图。该分析可以包括自然语言处理以理解意图，并且提取词语作为由一步指示的内容指示的命令和标签。然后，分类器204可以确定信息210和要与信息一起执行的动作212。
标签生成器206表示用于创建和指派指示信息分类和相关内容的标签的功能。标签生成器206更新与信息210相关联的元数据。标签还可以包括诸如相关日期、位置、名称、链接、命令、动作词等的信息。标记的信息促进自动检测一步指示208的任务/动作以及任务/动作的完成。标签还实现在适当的时间处基于上下文的、信息的重新呈现，例如当用户以自然语言发起一步指示时。
图3示出了在一步任务完成的实施例中利用信息分析的个人数字助理126(例如，个人助理应用)的示例300。例如，数字助理126可以被设计为响应于一步指示而实现处理和处置一步指示以推断对应的用户意图并且采取适当的动作以用于任务完成、设备操作等。在一个或多个实施方式中，数字助理126包括或利用如本文描述的分析模块132。
为了处理一步指示208以及其他请求，数字助理126可以依赖于用户输入302以及关于当前交互上下文304的信息。一步指示208由用户以自然语言发起，并且对如本文描述的指令的处理可以在设备侧和/或服务器侧发生，以用于网络可访问信息。数字助理126还可以依赖于知识数据库308和用户简档310。知识数据库308表示可以用于搜索、找到问题的答案、促进自然语言处理以及以其他方式实现数字助理126的特征的动态信息仓库。可以在信息分类期间参考知识数据库308，以确定要对不同类别的信息和内容采取的动作。用户简档310表示用户的特定设置、偏好、行为、兴趣、联系人等。用户简档310可以包括用于根据本文讨论的技术处置自关联消息(self-message)的设置和偏好。
在操作中，数字助理126获得一步指示208并经由分析模块132处理指令，并且可以通过用户输入302、交互上下文304、知识数据库308和用户简档310来通知一步指示。可以根据分类来标记信息以生成如关于图2讨论的信息210。数字助理126通过分析模块132还用于以将动作212指派给信息210，并且动作212被设计为实现用于携带一步指示的推断的用户意图的任务和命令。例如，如果信息被分类为指示约会，则数字助理126可以指派并执行与该信息相关的动作。图3表示可以响应于检测到一步指示而被执行的一些说明性的示例性类型的动作212，例如用于组织312信息、调度314、重新呈现316信息的动作、命令318和其他动作320。
根据一步任务完成的一个或多个实施例，参考图4描述示例性方法400。通常，本文描述的组件、模块、方法和操作中的任一者可以使用软件、固件、硬件(例如，固定逻辑电路)、手动处理或其任何组合来实现。可以在存储在计算机可读存储存储器上的可执行指令的一般上下文中描述示例性方法的一些操作，所述计算机可读存储存储器是本地于或远离计算机处理系统的，并且实施方式可以包括软件应用、程序、函数等。替代地或另外地，本文描述的功能中的任一者可以至少部分地由一个或多个硬件逻辑组件执行，所述硬件逻辑组件例如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)等。
图4示出了一步任务完成的示例性方法400。描述方法的顺序不旨在被解释为限制，并且可以以任何顺序执行任何数量或组合的方法操作以便实现方法或替代方法。
在402处，对应于用户的信息用元数据来标记，然后信息可基于元数据用上下文搜索来确定。例如，分析模块132用元数据标记对应于用户的信息，并且然后信息可基于元数据用上下文搜索来确定。
在404处，请求被接收以作为用于定位信息并执行为信息指定的动作的一步指示。例如，个人助理应用(例如，数字助理126)接收请求以作为用于定位信息并执行为信息指定的动作的一步指示。一步指示是多部分式单命令，其具有用于找到信息的第一部分和用于执行动作的第二部分。一步指示可以被接收以作为采用音频格式、触觉格式、键入格式或手势格式中的任一者的自然语言输入，并且个人助理应用解析自然语言输入以识别所请求的信息和要执行的动作。
在406处，信息基于与信息相关联的元数据来定位。例如，个人助理应用(例如，数字助理126)基于与信息相关联的元数据来定位信息。信息可以是在浏览器应用中录入的搜索内容，并且个人助理应用定位搜索内容并执行与搜索内容相关联的动作。信息还可以被维护为第三方数据，其可基于用户帐户从社交媒体站点或第三方数据服务访问。然后，在用户客户端设备上或作为在线应用实现的个人助理应用可以利用用户帐户来访问社交媒体站点或第三方数据服务以定位信息，并且访问信息以执行为信息指定的动作。
在408处，为信息指定的动作被执行。例如，个人助理应用(例如，数字助理126)执行为信息指定的动作。在410处，一步指示的动作被确认为已经对信息执行了。例如，个人助理应用(例如，数字助理126)将一步指示的动作确认为已经对信息执行了。
图5示出了包括示例性设备502的示例性系统500，示例性设备502可以实现一步任务完成的实施例。示例性设备502可以被实现为参考先前图1-4描述的计算设备、用户设备和服务器设备中的任一者，例如：任何类型的移动设备，可穿戴设备，客户端设备，移动电话，平板计算机，计算、通信、娱乐、游戏、媒体回放和/或其他类型的设备。
设备502包括通信设备504，其实现设备数据506的有线和/或无线通信，例如用户信息和一步指示。另外，设备数据可以包括任何类型的音频、视频和/或图像数据。通信设备504还可以包括用于蜂窝电话通信和用于网络数据通信的收发机。
设备502还包括输入/输出(I/O)接口508，例如数据网络接口，其提供本文描述的设备、数据网络、其他设备和运载工具之间的连接和/或通信链路。I/O接口可以用于将设备耦合到任何类型的组件、外围设备和/或附件设备。I/O接口还包括数据输入端口，经由所述端口可以接收任何类型的数据、媒体内容和/或输入，例如对设备的用户输入，以及从任何内容和/或数据源接收的任何类型的音频、视频和/或图像数据。
设备502包括处理系统510，其可以至少部分地用硬件来实现，例如用处理可执行指令的任何类型的微处理器、控制器等。处理系统可以包括集成电路的组件、可编程逻辑器件、使用一个或多个半导体形成的逻辑器件、以及用硅和/或硬件的其他实施方式，例如被实现为片上系统(SoC)的处理器和存储器系统。替代地或另外地，设备可以用软件、硬件、固件或可以用处理和控制电路实现的固定逻辑电路中的任一者或任何组合来实现。设备502还可以包括耦合设备内的各种组件的任何类型的系统总线或其他数据和命令传输系统。系统总线可以包括不同总线结构和架构中的任一者或任何组合以及控制线和数据线。
设备502还包括计算机可读存储存储器512，例如可以由计算设备访问并且提供对数据和可执行指令(例如，软件应用、程序、函数等)的持久存储的数据存储设备。计算机可读存储存储器512的示例包括易失性存储器和非易失性存储器、固定和可移除介质设备以及维护数据以供计算设备访问的任何合适的存储器设备或电子数据存储装置。计算机可读存储存储器可以包括采用各种存储器设备配置的随机存取存储器(RAM)(例如，DRAM和电池支持的RAM)、只读存储器(ROM)、闪速存储器和其他类型的存储介质的各种实施方式。
计算机可读存储存储器512提供对设备数据506和各种设备应用514的存储，例如用计算机可读存储存储器作为软件应用维护并由处理系统510执行的操作系统。在该示例中，设备应用包括实现一步任务完成的实施例的个人助理516(例如，个人助理应用)，例如当示例性设备502被实现为如参考图1-4描述的设备时。
设备502还包括音频和/或视频系统518，其为音频设备520生成音频数据和/或为显示设备522生成显示数据。音频设备和/或显示设备包括处理、显示和/或以其他方式呈现音频、视频、显示和/或图像数据的任何设备。在实施方式中，音频设备和/或显示设备是示例性设备502的集成组件。替代地，音频设备和/或显示设备是示例性设备的外部的外围组件。
在实施例中，针对一步任务完成描述的技术的至少一部分可以在分布式系统中被实现，例如在平台526中的“云”524上实现。云524包括和/或标识用于服务528和/或资源530的平台526。平台526抽象硬件的底层功能，例如服务器设备(例如，被包括在服务528中)和/或软件资源(例如，被包括以作为资源530)，并将示例性设备502与其他设备、服务器、运载工具532等连接。资源530还可以包括在计算处理在远离示例性设备502的服务器上执行的同时可以利用的应用和/或数据。另外，服务528和/或资源530可以促进(例如，互联网、蜂窝网络或Wi-Fi网络上的)订户网络服务。平台526还可以用于抽象和缩放资源以服务于对经由平台实现的资源530的需求，例如在其中功能分布在整个系统500中的互连设备实施例中。例如，功能可以部分地在示例性设备502处以及经由抽象云的功能的平台526来实现。
图6-17示出了使用自然语言的上下文搜索的示例性设备、系统和方法，其可以用于实现如本文描述的一步任务完成的实施例。
图6示出了对用于使用自然语言实现上下文搜索的说明性通信环境600的概述，其中，用户605采用托管数字助理612的设备610。数字助理612通常与由远程服务提供者630支持的服务618交互操作。数字助理612被配置为实现与应用640和服务645的交互。在一些情况下，应用可以包括第一方和第三方应用。服务645可以由可以与本地客户端和/或应用交互的远程服务提供者提供。
示出了使用自然语言的上下文搜索的说明性实施方式的各种细节。图7示出了其中各种用户605采用在通信网络715上进行通信的相应设备610的说明性环境700。每个设备610包括数字助理612的实例。设备610在一些情况下可以支持语音电话功能，并且除了各种其他功能之外，通常还支持诸如互联网浏览和多媒体(例如，音乐或视频)消费之类的数据消费应用。设备610可以包括例如用户设备、移动电话、蜂窝电话、功能电话(featurephone)、平板计算机和智能手机，用户经常采用它们来拨打和接收语音和/或多媒体(即，视频)呼叫、参与消息传送(例如，发短信)和电子邮件通信、使用应用并访问采用数据的服务、浏览万维网等。
然而，在通信环境600内替代类型的电子设备也可以被预期为可用的，只要它们配置有通信能力并且可以连接到通信网络715。这样的替代设备不同地包括手持计算设备、PDA(个人数字助理)、便携式媒体播放器、使用头戴耳机和耳机的设备(例如，蓝牙兼容设备)、平板手机设备(即，组合智能手机/平板计算机设备)、可穿戴计算设备、头戴式显示(HMD)系统、诸如GPS(全球定位系统)系统之类的导航设备、膝上型PC(个人计算机)、桌上型计算机、安装在汽车和其他运载工具中的计算平台、嵌入式系统(例如，安装在家庭或办公室中的嵌入式系统)、多媒体控制台、游戏系统等。在以下的讨论中，使用术语“设备”旨在覆盖配置有通信能力并且能够连接到通信网络615的所有设备。在一些情况下，给定设备可以通过第二设备进行通信，或通过使用第二设备中支持的能力进行通信，以便获得对应用、服务或内容中的一者或多者的访问。
环境700中的各种设备610可以支持不同的特征、功能和能力(本文中被概括地称为“特征”)。给定设备上支持的特征中的一些特征可以类似于其他设备上支持的特征，而其他特征可以是对于给定设备而言独特的。各种设备610上支持的特征之间的重叠程度和/或特殊性可以根据实施方式而不同。例如，一些设备610可以支持触摸控制、手势辨识和语音命令，而其他设备可以实现更有限的UI。一些设备可以支持视频消费和互联网浏览，而其他设备可以支持更有限的媒体处置和网络接口特征。
如所示，设备610可以访问通信网络715以便实现各种用户体验。通信网络可以包括各种网络类型中的任一者和各种组合或子组合中的网络基础设施，所述通信网络包括蜂窝网络、卫星网络、诸如Wi-Fi和以太网之类的IP(互联网协议)网络、公共交换电话网络(PSTN)和/或短程网络，例如网络。例如，移动运营商、企业、互联网服务提供者(ISP)、电话服务提供者、数据服务提供者等可以支持网络基础设施。通信网络715通常包括支持到互联网720的连接的接口，使得移动设备610可以访问由一个或多个内容提供者725提供的内容，并且在一些情况下还访问服务提供者630。还可以在环境700中支持搜索服务735。
通信网络715通常能够支持各种类型的设备对设备通信，包括过顶通信以及不利用常规电话号码的通信，以便提供各方之间的连接。附属设备714(例如，腕带和其它可穿戴设备)还可以存在于环境700中。这样的附属设备714通常适于使用短程通信协议(例如，蓝牙)来与设备610交互操作以支持诸如监测穿戴者的生理机能(例如，心率、所走的步数、燃烧的卡路里)和环境条件(温度、湿度、紫外线(UV)水平)和呈现来自耦合设备610的通知之类的功能。
图8示出了功能800的说明性分类，其通常可以由数字助理612本机地或与应用640或服务645组合地支持。对数字助理612的输入通常可以包括用户输入805、来自内部源810的数据以及来自外部源815的可以包括第三方内容318的数据。例如，来自内部源810的数据可以包括由设备上的GPS(全球定位系统)组件或者某个其他位置感知组件报告的设备610的当前位置。外部源数据815包括例如由外部系统、数据库、服务等(例如，服务提供者630(图6))提供的数据。
各种输入可以单独使用或以各种组合使用，以使得数字助理612能够在其操作时利用上下文数据820。上下文数据可以包括例如时间/日期、用户的位置、语言、日程安排、安装在设备上的应用、用户的偏好、用户的行为(其中，在向用户通知以及用户同意的情况下监测/跟踪这样的行为)、存储的联系人(在一些情况下，包括到本地用户或远程用户的社交图的链接，例如由外部社交网络服务维护的社交图)、呼叫历史、消息传送历史、浏览历史、设备类型、设备能力、其中提供的通信网络类型和/或特征/功能、移动数据计划约束/限制、与通信的其他方相关联的数据(例如，他们的日程安排、偏好)等。
如所示，功能800说明性地包括：与用户交互825(例如，通过自然语言UI和其他图形UI)；执行任务830(例如，记录用户日历中的约会、发送消息和电子邮件)；提供服务835(例如，回答来自用户的问题、绘制到目的地的方向的地图、设置警报、转发通知、阅读电子邮件、新闻、博客)；收集信息840(例如，找到用户请求的关于书或电影的信息、找到最近的意大利餐馆)；操作设备845(例如，设置偏好、调整屏幕亮度、打开和关闭诸如Wi-Fi和蓝牙之类的无线连接、与其他设备通信、控制智能器具)；以及执行各种其它功能850。功能列表800并非旨在穷举，并且其他功能可以由数字助理612和/或应用640提供，如使用自然语言的本上下文搜索的特定实施方式可能需要的。
如图9所示，数字助理612可以采用自然语言接口905，其具有可以从用户605获取语音输入910的用户界面(UI)。语音输入910可以用于调用设备610上的各种动作、特征和功能，向系统和应用程序提供输入，等等。在一些情况下，语音输入910可以独自用于支持特定用户体验，而在其他情况下，语音输入可以与其他非语音输入或诸如在设备上实现物理控件或在UI上实现的虚拟控件或使用手势的虚拟控件的输入之类的输入结合使用(如以下描述的)。
数字助理612还可以采用具有如图10所示的UI的手势辨识系统1005。这里，系统1005可以：感测由用户605执行的手势1010以作为用于调用设备610上的各种动作、特征和功能的输入，向系统和应用提供输入，等等。可以使用诸如光学感测、触摸感测、接近感测等的各种技术来感测用户手势1010。在一些情况下，可以利用语音命令、对手势和现实或虚拟控件的物理操纵的各种组合来与数字助理交互。在一些场景中，可以自动调用数字助理。例如，由于数字助理通常保持对设备状态和其他上下文的知晓，因此数字助理可以通过诸如用户输入、接收的通知或检测的事件之类的特定上下文来调用。
如图11所示，数字助理可以显露有形用户界面1105，其使得用户605能够采用物理交互1110以支持设备610上的用户体验。这样的物理交互可以包括对物理和/或虚拟控件的操纵，所述控件例如按钮、菜单、键盘、使用基于触摸的输入(例如，在触摸屏上轻击、轻拂或拖动)等。数字助理可以被配置为从设备上的任何UI内的任何位置启动，或者从任何当前用户体验内启动。例如，用户605可以在进行电话呼叫、浏览网络、观看视频或听音乐，并且同时从那些体验中的任一者内启动数字助理。在一些情况下，数字助理可以通过操纵物理或虚拟用户控件并且/或者在其他情况下通过语音命令和/或手势来启动。
可以使用自然语言使用当前的上下文搜索来搜索各种类型的内容。内容可以由应用640(图6)和/或服务645提供和/或支持。图12示出了可搜索内容1200的说明性分类。应当注意，可搜索内容可以本地地存储在设备上，或者可以远离设备但仍然可被设备访问地存储。例如，可搜索内容可以存储在云存储库中、可以在诸如局域网之类的网络上获得、使用到另一设备的连接来访问等等。
如图12所示，可搜索内容1200可以包括预先存在的内容和/或先前捕获的内容二者1205(例如，商业可用的内容和/或用户生成的内容(UGC))，以及与直播事件(例如，音乐会、讲座、体育赛事、音频评论/听写、视频日志(vlog))相关联的内容1210。如所示，现有和/或先前捕获的内容1205的说明性示例包括图像1215、音频1220、视频1225、多媒体1230、文件1235、应用1240以及其他内容和/或信息1245。图12所示的可共享内容是说明性的并且并非旨在穷举。所利用的内容类型可以根据特定实施方式的需要而不同。
图13示出了可在执行上下文搜索时使用的说明性上下文引用1305。上下文引用1305可以包括日期/时间1310、事件1315、位置1320、活动1325、联系人1330、设备1335、用户偏好1340或者如上下文搜索的特定实施方式可能需要的其他偏好1345。
图14示出了说明性上下文搜索场景，其中，用户605与在设备610上操作的数字助理612进行交互。在该说明性场景中，数字助理由名称“Cortana”调用。用户首先要求搜索他之前与同事一起工作的文件。这里，数字助理从用户语言中解析出的上下文引用包括日期/时间、联系人和设备。数字助理响应地使用该上下文发起搜索并将搜索结果呈现给用户。然后，用户要求对音乐文件的另一搜索。在该情况下，上下文引用包括位置和活动。因此，数字助理可以检查用户的日历以确定用户何时在特定位置处以便找到所请求的内容。
图15示出了用于操作设备上的数字助理的说明性方法1500的流程图。除非特别声明，否则流程图中示出的和所附文本中描述的方法或步骤不限于特定的顺序或序列。另外，其方法或步骤中的一些方法和步骤可以同时发生或被执行，并且在给定实施方式中不是所有方法或步骤都必须执行(这取决于这样的实施方式的要求)，并且一些方法或步骤可以可选地被利用。
在步骤1505中，数字助理显露用户界面并在步骤1510中从用户接收自然语言输入。在步骤1515中，来自用户的输入被解析以识别上下文引用。数字助理可以在步骤1520中发起搜索与上下文引用匹配的内容。数字助理在步骤1525中提供搜索结果。在一些情况下，结果可以被依序排列并显示适当的上下文引用。
图16示出了可以在包括一个或多个处理器、UI和存储计算机可读指令的存储器设备的设备上执行的说明性方法1600的流程图。在步骤1605中，被配置用于使用UI与用户进行语音交互的数字助理被显露。在步骤1610中，来自用户的语音输入被接收。在步骤1615中，使用来自语音输入的上下文引用的搜索被触发。在步骤1620中，数字助理处置在搜索结果中识别的内容。在步骤1625中，搜索结果被显示在UI上，并且在步骤1630中搜索结果可以使用音频来提供。处置可采用各种合适的形式。例如，数字助理可以提取用于消费的内容，向其他用户、设备、位置、应用或服务提供内容或到内容的链接，存储或复制内容，操纵或转换内容，编辑内容，增加内容等。这样的处置还可以(例如，使用自然语言接口或协议)响应在UI上与用户的交互。
图17示出了可以由支持数字助理的服务执行的说明性方法1700的流程图。在步骤1705中，服务可以从在设备上被实例化的应用和/或服务接收注册。在步骤1710中，与注册的应用和服务的用户交互被监测(通常在通知用户并且在用户同意的情况下)。在步骤1715中，内容用包括时间、日期、事件、位置、日程安排、活动、联系人或设备中的一者或多者的上下文引用标签来标记。在步骤1720中，来自用户的搜索请求被接收，并且在步骤1725中，响应的搜索被执行。在步骤1730中，搜索结果被发送到设备。
尽管已经用特定于特征和/或方法的语言描述了一步任务完成的实施例，但是所附权利要求不必限于所描述的特定特征或方法。而是特定特征和方法被公开为一步任务完成的示例性实施方式，并且其他等同的特征和方法旨在在所附权利要求的范围内。此外，描述了各种不同的实施例，并且应当领会，每个描述的实施例可以独立地实现或者与一个或多个其他描述的实施例结合实现。本文讨论的技术、特征和/或方法的另外的方面涉及以下实施例中的一者或多者。
一种被实现以用于一步任务完成的计算系统，所述系统包括：存储器，其被配置为维护与对应于用户的信息相关联的元数据，所述信息可基于元数据用上下文搜索来确定；用于实现个人助理应用的处理器系统，其被配置为：接收请求以作为用于定位信息并执行为信息指定的动作的一步指示；基于元数据来定位信息；以及执行为信息指定的动作。
替代或附加于以上描述的计算系统，以下各项中的任一者或任何组合：对应于用户的信息用元数据标记，以提供用于上下文搜索的、信息的上下文。一步指示是多部分式单命令，其包括用于找到信息的至少第一部分和用于执行动作的至少第二部分。个人助理应用被配置为确认已对信息执行一步指示的动作。个人助理应用被配置为：接收一步指示以作为自然语言输入；以及解析自然语言输入以识别所请求的信息和要执行的动作。个人助理应用被配置为接收一步指示以作为采用音频格式、触觉格式、键入格式或手势格式之一的自然语言输入。对应于用户的信息是在浏览器应用中录入的搜索内容；以及个人助理应用被配置为定位搜索内容并执行与搜索内容相关联的动作。计算系统包括：用户设备，其包括维护元数据和信息的存储器；以及基于云的计算机系统，其包括被配置为从用户设备接收一步指示的个人助理应用。对应于用户的信息被维护为第三方数据，所述第三方数据可基于用户帐户从社交媒体站点访问；个人助理应用是基于云的服务应用，其被配置为：利用用户帐户来访问社交媒体站点以所述定位信息；以及访问信息以执行为信息指定的动作。对应于用户的信息被维护为第三方数据，所述第三方数据可基于用户帐户从第三方数据服务访问；以及个人助理应用被配置为：利用用户帐户访问第三方数据服务以所述定位信息；以及访问信息以所述执行为信息指定的动作。
一种用于一步任务完成的方法，所述方法包括：接收请求以作为用于定位信息并执行为信息指定的动作的一步指示；基于与信息相关联的元数据来定位信息；以及执行为信息指定的动作。
替代或附加于以上描述的方法，以下各项中的任一者或任何组合：用元数据来标记对应于用户的信息，然后信息可基于元数据用上下文搜索来确定。一步指示是多部分式单命令，其包括用于找到信息的至少第一部分，以及用于执行动作的至少第二部分。确认已对信息执行了一步指示的动作。所述接收一步指示以作为采用音频格式、触觉格式、键入格式或手势格式之一的自然语言输入；以及解析自然语言输入以识别所请求的信息和要执行的动作。信息是在浏览器应用中录入的搜索内容；以及所述定位搜索内容以及所述执行与搜索内容相关联的动作。信息被维护为第三方数据，所述第三方数据可基于用户帐户从社交媒体站点访问；并且所述方法还包括：利用用户帐户来访问社交媒体站点以定位信息；以及访问信息以执行为信息指定的动作。信息被维护为第三方数据，所述第三方数据可基于用户帐户从第三方数据服务访问；并且所述方法还包括：利用用户账户来访问第三方数据服务以定位信息；以及访问信息以执行为信息指定的动作。
一种计算机可读存储存储器，其包括被存储为指令的个人助理应用，所述指令是可执行的，并且响应于由计算设备执行指令，执行包括以下步骤的操作：接收请求以作为用于定位信息和执行与信息相关联的动作的一步指示，所述一步指示被接收以作为自然语言输入；基于与信息相关联的元数据用上下文搜索来定位信息；以及执行为信息指定的动作。替代或附加于以上描述的操作，操作还包括以下步骤：利用用户帐户来访问第三方数据服务，以所述定位由第三方数据服务维护为第三方数据的信息；以及访问信息以所述执行为信息指定的动作。

Claims (15)

1.一种被实现以用于一步任务完成的计算系统，所述系统包括：
存储器，其被配置为维护与对应于用户的信息相关联的元数据，所述信息可基于所述元数据用上下文搜索来确定；
用于实现个人助理应用的处理器系统，其被配置为：
接收请求以作为用于定位所述信息并执行为所述信息指定的动作的一步指示；
基于所述元数据来定位所述信息；以及
执行为所述信息指定的所述动作。
2.如权利要求1所述的计算系统，其中，对应于所述用户的所述信息被用所述元数据标记，以提供用于所述上下文搜索的、所述信息的上下文。
3.如权利要求1所述的计算系统，其中，所述一步指示是多部分式单命令，其包括用于找到所述信息的至少第一部分和用于执行所述动作的至少第二部分。
4.如权利要求1所述的计算系统，其中，所述个人助理应用被配置为确认已对所述信息执行所述一步指示的所述动作。
5.如权利要求1所述的计算系统，其中，所述个人助理应用被配置为：
接收所述一步指示以作为自然语言输入；以及
解析所述自然语言输入以识别所请求的信息和要执行的所述动作。
6.如权利要求5所述的计算系统，其中，所述个人助理应用被配置为接收所述一步指示以作为采用音频格式、触觉格式、键入格式或手势格式之一的所述自然语言输入。
7.如权利要求1所述的计算系统，其中：
对应于所述用户的所述信息是在浏览器应用中录入的搜索内容；以及
所述个人助理应用被配置为定位所述搜索内容并执行与所述搜索内容相关联的所述动作。
8.如权利要求1所述的计算系统，其中，所述计算系统包括：
用户设备，其包括维护所述元数据和所述信息的所述存储器；以及
基于云的计算机系统，其包括被配置为从所述用户设备接收所述一步指示的所述个人助理应用。
9.如权利要求1所述的计算系统，其中：
对应于所述用户的所述信息被维护为第三方数据，所述第三方数据可基于用户帐户从社交媒体站点访问；
所述个人助理应用是基于云的服务应用，其被配置为：
利用所述用户帐户来访问所述社交媒体站点以所述定位所述信息；
以及
访问所述信息以所述执行为所述信息指定的所述动作。
10.如权利要求1所述的计算系统，其中：
对应于所述用户的所述信息被维护为第三方数据，所述第三方数据可基于用户帐户从第三方数据服务访问；以及
所述个人助理应用被配置为：
利用所述用户帐户访问所述第三方数据服务以所述定位所述信息；
以及
访问所述信息以所述执行为所述信息指定的所述动作。
11.一种用于一步任务完成的方法，所述方法包括：
接收请求以作为用于定位信息并执行为所述信息指定的动作的所述一步指示；
基于与所述信息相关联的元数据来定位所述信息；以及
执行为所述信息指定的所述动作。
12.如权利要求11所述的方法，还包括：
用所述元数据来标记对应于用户的所述信息，然后所述信息可基于所述元数据用上下文搜索来确定。
13.如权利要求11所述的方法，其中，所述一步指示是多部分式单命令，其包括用于找到所述信息的至少第一部分和用于执行所述动作的至少第二部分。
14.如权利要求11所述的方法，其中：
所述信息是在浏览器应用中录入的搜索内容；以及
所述定位所述搜索内容以及所述执行与所述搜索内容相关联的所述动作。
15.如权利要求11所述的方法，其中，所述信息被维护为第三方数据，所述第三方数据可基于用户帐户从第三方数据服务访问；并且所述方法还包括：
利用所述用户帐户来访问所述第三方数据服务以定位所述信息；以及访问所述信息以执行为所述信息指定的所述动作。
CN201780020650.4A 2016-03-29 2017-03-24 一步任务完成 Withdrawn CN109074555A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662314987P 2016-03-29 2016-03-29
US62/314,987 2016-03-29
US15/199,758 US20170286133A1 (en) 2016-03-29 2016-06-30 One Step Task Completion
US15/199,758 2016-06-30
PCT/US2017/023931 WO2017172499A1 (en) 2016-03-29 2017-03-24 One step task completion

Publications (1)

Publication Number Publication Date
CN109074555A true CN109074555A (zh) 2018-12-21

Family

ID=59961015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020650.4A Withdrawn CN109074555A (zh) 2016-03-29 2017-03-24 一步任务完成

Country Status (4)

Country Link
US (1) US20170286133A1 (zh)
EP (1) EP3437047A1 (zh)
CN (1) CN109074555A (zh)
WO (1) WO2017172499A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023102762A1 (en) * 2021-12-08 2023-06-15 Citrix Systems, Inc. Systems and methods for intelligent messaging
US11916975B2 (en) 2022-04-26 2024-02-27 Citrix Systems, Inc. Aggregating electronic messages for meetings
US11997063B2 (en) 2021-04-08 2024-05-28 Citrix Systems, Inc. Intelligent collection of meeting background information

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086593B2 (en) 2016-08-26 2021-08-10 Bragi GmbH Voice assistant for wireless earpieces
US10224031B2 (en) 2016-12-30 2019-03-05 Google Llc Generating and transmitting invocation request to appropriate third-party agent
US11388105B2 (en) * 2017-12-08 2022-07-12 Google Llc Content source allocation between computing devices
US11157295B2 (en) 2018-01-02 2021-10-26 Patrick Schur System and method for providing intelligent operant operating interface and intelligent personal assistant as a service on a crypto secure social media and cross bridge service with continuous prosumer validation based on i-operant+198 tags, i-bubble+198 tags, demojis+198 and demoticons+198
EP3881267A1 (en) * 2018-11-13 2021-09-22 Schur, Patrick System and method for providing an intelligent operating interface and intelligent personal assistant as a service on a crypto secure social media and cross bridge service with continuous prosumer validation based on i-operant tags, i-bubble tags, demojis and demoticons
NL2024793B1 (en) * 2020-01-30 2021-09-10 Microsoft Technology Licensing Llc Contextual search in collaborative communications applications
US11615795B2 (en) * 2020-08-03 2023-03-28 HCL America Inc. Method and system for providing secured access to services rendered by a digital voice assistant

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489132B2 (en) * 2005-09-21 2013-07-16 Buckyball Mobile Inc. Context-enriched microblog posting
US8620667B2 (en) * 2005-10-17 2013-12-31 Microsoft Corporation Flexible speech-activated command and control
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8005806B2 (en) * 2006-11-15 2011-08-23 Yahoo! Inc. System and method for information retrieval using context information
US7680067B2 (en) * 2007-03-09 2010-03-16 Palm, Inc. Peer-to-peer data synchronization architecture
US8892560B2 (en) * 2008-08-29 2014-11-18 Adobe Systems Incorporated Intuitive management of electronic files
US9031958B2 (en) * 2011-04-18 2015-05-12 International Business Machines Corporation File searching on mobile devices
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US11138971B2 (en) * 2013-12-05 2021-10-05 Lenovo (Singapore) Pte. Ltd. Using context to interpret natural language speech recognition commands
TWI566107B (zh) * 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11997063B2 (en) 2021-04-08 2024-05-28 Citrix Systems, Inc. Intelligent collection of meeting background information
WO2023102762A1 (en) * 2021-12-08 2023-06-15 Citrix Systems, Inc. Systems and methods for intelligent messaging
US11843572B2 (en) 2021-12-08 2023-12-12 Citrix Systems, Inc. Systems and methods for intelligent messaging
US11916975B2 (en) 2022-04-26 2024-02-27 Citrix Systems, Inc. Aggregating electronic messages for meetings

Also Published As

Publication number Publication date
US20170286133A1 (en) 2017-10-05
WO2017172499A1 (en) 2017-10-05
EP3437047A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
CN109074555A (zh) 一步任务完成
US10547575B2 (en) Apparatus and method for control of access to communication channels
US10559042B2 (en) Capturing information regarding an interaction to a database
RU2754990C2 (ru) Улучшения эффективности в приложениях администрирования задач
JP6887485B2 (ja) メッセージングエージェントプラットフォームのための技術
CN113807806B (zh) 列表累积和提醒触发
CN104541245B (zh) 用于移动应用管理的方法和系统
CN104704797B (zh) 用于电子设备的虚拟代理通信
US20180046985A1 (en) Presenting entity profile information to a user of a computing device
KR101770857B1 (ko) 부가 설명된 정보의 생성 및 전파
US8543928B2 (en) Automatic friends selection and association based on events
KR101687927B1 (ko) 이벤트 리뷰들을 획득하는 방법 및 시스템
US20220245529A1 (en) Distributing a user interface for accessing files
US20140189541A1 (en) Content sharing interface for sharing content in social networks
CN107209624A (zh) 用于设备个性化的用户交互模式提取
US10417206B2 (en) Method and system for associating data from different sources to generate a person-centric space
US9754016B1 (en) Dynamic content discoverability
US11430211B1 (en) Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
AU2018314271A1 (en) Configuring an application feature using event records
KR20140113436A (ko) 관계 모델 매커니즘을 구현한 컴퓨팅 시스템 및 그 작동 방법
CN108885739A (zh) 智能个人助理作为联系人
KR20170116590A (ko) 컴퓨팅 디바이스와 상호작용하는 장치 및 방법
US7844254B2 (en) Method and apparatus for collaboration and media access using mobile communications devices
WO2018052720A1 (en) Uniform resource identifier and image sharing for contextual information display
CN110083284A (zh) 候选信息处理装置、候选信息显示方法、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181221