CN108139849A - 针对用户选择内容的动作建议 - Google Patents

针对用户选择内容的动作建议 Download PDF

Info

Publication number
CN108139849A
CN108139849A CN201680057955.8A CN201680057955A CN108139849A CN 108139849 A CN108139849 A CN 108139849A CN 201680057955 A CN201680057955 A CN 201680057955A CN 108139849 A CN108139849 A CN 108139849A
Authority
CN
China
Prior art keywords
inquiry
action
mobile application
selection
web site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680057955.8A
Other languages
English (en)
Other versions
CN108139849B (zh
Inventor
马修·谢里菲
丹尼尔·拉梅奇
戴维·彼得鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202110558143.4A priority Critical patent/CN113434067A/zh
Publication of CN108139849A publication Critical patent/CN108139849A/zh
Application granted granted Critical
Publication of CN108139849B publication Critical patent/CN108139849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供用于基于移动设备上所显示的内容针对所选择的文本建议动作的系统和方法。一种示例方法能够包括将经由显示设备作出的选择转换成查询，将所述查询提供给动作建议模型，训练该动作建议模型以对给定查询预测动作，每个动作与移动应用相关联，接收一个或多个预测动作，以及发起在所述显示设备上所述一个或多个预测动作的显示。另一种示例方法能够包括从搜索记录中识别web站点高排名的查询，所述web站点是在web站点到移动应用的映射中的多个web站点中的一个。所述方法还能够包括从所识别的查询中生成用于动作建议模型的正向训练示例，并且使用所述正向训练示例来训练所述动作建议模型。

Description

针对用户选择内容的动作建议
相关申请
本申请是于2015年10月1日提交、名称为“ACTION SUGGESTIONS FOR USER-SELECTED CONTENT(针对用户选择内容的动作建议)”的美国申请号14/872,582的继续申请并且要求其优先权。
背景技术
由于使用诸如智能电话和平板型计算机的移动设备，用户与移动应用的交互日益增多。随着用户从基于web的浏览器转向使用移动设备，他们往往无法轻松地从一个移动应用向另一个移动应用传送数据。一般而言，移动应用目的单一并且非常擅长某一特定事物，但在移动应用之间移送信息可能会很繁琐，并且用户可能无法得知何种应用适于给定目的，甚至不知何时寻求应用助其解决问题。
发明内容
多种实施方式在移动应用环境中提供动作建议。这些动作可以是其他移动应用的意图。这些动作是基于使用web站点到移动应用的映射所训练的模型以及web站点高排名的搜索的示例。该模型紧凑并且一经训练便可以被推送到可以使模型个性化的移动设备。个性化可能包括使用存储在移动设备上的搜索记录作为具有更高权重的附加正向示例。在一些实施方式中，该模型可以包括针对“其他”动作的训练示例，它们是查询的反向示例，例如，其中该查询与web站点/移动应用不相关。
所述系统可以使用该模型针对屏幕上所选择的词语或图像预测动作。选择可以缘于用户具体选择文本或者所述系统自动选择一些词语并且提供建议。在一些实施方式中，所述系统可以包括用户界面，该用户界面使得用户能够例如通过打字或说话而提供选择作为查询，使得键入或说出的词语是选择。当选择图像时，所述系统可以使用图像的文本描述或者图像上的实体识别来确定对所选择的图像的查询。所述系统可以包括用户界面，该用户界面使得用户能够修改选择和/或可以提供选择的常见扩展。然后，可以将所选择的文本或查询提供给模型，并且模型可以针对该查询预测一个或多个动作。这些动作可以被呈现为对当前屏幕的覆盖并且可以包括针对每个动作的可选控件(例如，图标)。如果用户选择控件，则可以将所选择的查询与意图发送到对应于所选择控件的应用(例如，搜索意图移动应用)。可以将该查询提供给模型，然后该模型可以针对该查询预测动作。
根据一个方面，本发明提供一种方法，包括：将经由移动设备的显示设备作出的选择转换成查询，将所述查询提供给动作建议模型，所述动作建议模型被训练以对给定查询预测动作，每个动作与移动应用相关联，接收一个或多个预测动作，以及在所述显示设备上发起所述一个或多个预测动作的显示。
所述方法可以进一步包括：接收对所述一个或多个预测动作中的一个的选择；以及对与所述选择相关联的所述移动应用发起使用所述查询的意图。发起所述一个或多个预测动作的显示可以包括针对每个预测动作显示与所述预测动作相关联的所述移动应用的图标。所述一个或多个预测动作的图标可以覆盖所述显示设备上显示的内容。所述选择可以是图像，并且将选择转换成查询可以包括：识别与所述图像有关的文本；以及使用所述文本中的至少一些作为所述查询。所述选择可以是图像，并且将选择转换成查询可以包括：识别所述图像中的实体；以及使用所述实体作为所述查询。所述方法可以进一步包括：从服务器接收所述动作建议模型；识别所述移动设备的用户的搜索记录中的白名单web站点；从包括高排名的白名单web站点的查询中生成训练示例，所述训练示例的权重高于所述白名单web站点在所述搜索记录中的排名；以及使用所述训练示例来训练所述动作建议模型，产生个性化动作建议模型。所述选择可以是语音命令，并且将选择转换成查询可以包括：对所述语音命令执行词语识别；以及使用所识别的词语作为所述查询。将选择转换成查询可以包括：确定所述选择的扩展以生成至少一个扩展查询；将所述扩展查询提供给所述动作建议模型以生成第二预测动作；发起所述至少一个扩展查询的显示；以及响应于接收到对所述扩展查询的选择，发起第二预测动作的显示。所述移动应用中的至少一个可以是未被安装在所述移动设备上。所述方法可以进一步包括：接收对所述预测动作的选择；以及发起所述移动应用在所述移动设备上的安装。
根据本公开的某些方面，一种移动设备包括至少一个处理器、显示设备和存储指令的存储器，所述指令当由所述至少一个处理器执行时促使所述移动设备执行操作。所述操作包括：将经由所述显示设备作出的选择转换成查询，将所述查询提供给动作建议模型，所述动作建议模型被训练以对给定查询预测动作，每个动作与移动应用相关联，接收一个或多个预测动作，以及在所述显示设备上发起所述一个或多个预测动作的显示。
根据本公开的某些方面，一种方法包括：从搜索记录中识别web站点在对应搜索结果中高排名的查询，所述web站点是在web站点到移动应用的映射中的多个web站点中的一个。所述方法还包括：从查询中生成用于动作建议模型的正向训练示例，每个正向训练示例具有查询、web站点、在对于该查询的搜索结果中与所述web站点的排名相对应的权重、和移动应用；以及使用所述正向训练示例来训练所述动作建议模型。
所述方法可以进一步包括：识别第一移动应用的清单中的web站点；以及将所述web站点和所述第一移动应用添加到所述映射中。所述方法可以进一步包括：聚类web商店中的类似移动应用，所述第一移动应用出现在第一聚类中；识别所述web站点高排名的查询；验证由所述第一移动应用所生成的对所述查询的搜索结果类似于由第二移动应用所生成的对所述查询的搜索结果，所述第二移动应用处于所述第一聚类中；以及响应于所述验证，将所述web站点和所述第二移动应用添加到所述映射。所述方法可以进一步包括：基于存储在移动设备上的搜索记录使所述模型个性化。所述方法可以进一步包括：将所述模型推送到客户端设备；以及基于与所述客户端设备的用户相关联的搜索记录而使所述模型个性化。
根据本公开的某些方面，一种方法可以包括：响应于接收到动作建议指示，将经由移动计算设备的显示设备作出的选择转换成查询；使用动作建议模型针对所述查询预测至少一个移动应用，训练所述动作建议模型以对给定查询预测移动应用；以及发起在所述显示设备上显示针对所述至少一个移动应用的可选控件。
所述方法可以进一步包括：接收对所述可选控件的选择；以及向所述移动应用发起使用所述查询的搜索意图。发起可选控件可以包括显示所述移动应用的图标的显示。将选择转换成查询可以包括：确定所述选择的扩展以生成至少一个扩展查询；将所述扩展查询提供给所述动作建议模型以生成第二移动应用；发起所述至少一个扩展查询的显示；以及响应于接收到对所述扩展查询的选择，发起针对所述第二移动应用的可选控件的显示。所述移动应用中的至少一个可以并未被安装在所述移动设备上，并且所述方法可以进一步包括：接收对所述可选控件的选择；以及发起所述移动应用在所述移动设备上的安装。
在一个总体方面，一种在计算机可读存储设备上体现的计算机程序产品包括指令，所述指令当由基板中形成的至少一个处理器执行时促使计算设备执行本公开的方法、操作或过程中的任一个。另一总体方面包括用于检测屏幕上所显示的文本并且提供到意图使用文本选择的移动应用的直接链接的系统和/或方法，其基本上结合至少一个附图来表示和/或描述并且如权利要求更完整地阐述。
本文所述主题的实施方式中的一个或多个能够被实施，以便实现下述优点中的一个或多个。作为一个示例，在用户不知道设备资源的情况下，用户可以更有效地使用设备上可用的资源，诸如应用。例如，改善设备上可用资源的使用可以更快速或更有效地执行任务，因为可以自动选择和使用任务的最有效资源。作为另一示例，这些实施方式可以通过例如用较少几个用户手势帮助用户更快速地执行任务而改善用户体验，由此改善人机交互。作为一个示例，这些实施方式可以为用户提供一种在移动应用之间无缝传输信息的方式，使得用户能够用最少的工作查找附加信息。作为另一示例，即使用户可能不知道应用，这些实施方式也可以通过建议能够帮助用户查找/处理信息的应用而改善用户体验。因此，这些实施方式帮助用户发现更有效或更常用的工具。在一些实施方式中，所建议的动作可以针对移动设备的用户来定制，以便更有可能用户觉得所建议的动作有所帮助。这些实施方式还针对任何所选择的文本提供动作，而不仅是与个人或公共知识图谱中的实体相对应的文本。因此，这些实施方式比基于实体的动作建议系统具有更广泛的实用性。这些实施方式通过预测帮助用户找出更多有关选择的信息的应用并且用最少的用户输入就能使用户导航到应用而改善用户体验。
应领会到，这些方面能够以任何便利形式来实现。例如，这些方面可以通过适当的计算机程序来实现，所述计算机程序可以被承载于适当的载体媒介上，所述载体媒介可以是有形的载体媒介(例如，磁盘)。这些方面也可以使用适用的装置来实现，所述装置可以采取布置用于实现本发明的运行计算机程序的可编程计算机的形式。这些方面能够组合，以便一个方面的上下文中所述的特征可以在另一个方面中实现。在附图和以下描述中阐明一种或多种实施方式的细节。参阅说明书、附图和权利要求书，其他特征将显而易见。
附图说明
图1是图示出根据本公开主题的示例系统的框图。
图2A和图2B是根据本公开主题的移动计算设备的示例显示器。
图3A和图3B是根据本公开主题的移动计算设备的示例显示器。
图4图示出根据本公开实施方式的基于移动计算设备上显示的内容针对文本选择建议动作的示例过程的流程图。
图5图示出根据本公开实施方式的用于生成动作建议模型的示例过程的流程图。
图6A和图6B是根据本公开实施方式的选择增强的移动计算设备的示例显示器。
图7示出能够用来实现所描述的技术的计算设备的示例。
图8示出能够用来实现所描述的技术的分布式计算设备的示例。
各图中相似的附图标记指示相似的元素。
具体实施方式
这些实施方式包括针对屏幕上的选择预测移动应用的系统和方法。选择可以是屏幕上所显示的文本或图像，或者经由文本或语音输入而输入用户界面的查询。如果尚未呈查询形式，则选择可以被转换成查询。该系统可以将查询提供给模型，训练该模型以针对查询预测动作。这些动作可以用于移动应用或者一类移动应用。模型可以基于从搜索记录中获得的信息来训练。模型可以以可选控件的形式针对查询提供一个或多个动作。当用户选择可选控件中的一个时，该系统可以以使用该查询的意图启动对应于控件的移动应用。意图是移动应用支持的动作。搜索意图或共享意图是常见的意图类型。给定查询，搜索意图允许系统链接到处于其搜索状态的移动应用。该系统同样可以使用非标准意图。例如，移动应用可以指示在清单文件中指示意图。这样的非标准意图得到移动应用支持，但未必为操作系统所支持。一般而言，动作可以是能够采取查询作为参数的任何意图。该系统跨移动设备上所用的全部应用操作，使用户体验连贯。因此，动作建议功能不必限于特定的移动应用。动作建议也不限于识别的实体，例如，个人或公共知识库中表示的实体。而且，所建议的动作可以用于用户尚未安装的移动应用，因此能够作为向用户通知有益移动应用的方式。
图1是根据示例实施方式的动作建议系统的框图。系统100可以被使用于针对移动设备上显示的内容的选择或针对由用户输入的选择提供动作。这些动作可以表示移动应用的意图(例如，标准或非标准的意图)，并且能够包括用户尚未安装在移动设备上的移动应用。在一些实施方式中，这些动作还可以启动移动应用的web镜像。由动作表示的移动应用能够被称为目标应用，并且生成用户所选择的内容的移动应用可以被视为源应用。针对特定选择提供的动作可以基于训练的模型，例如训练成给定查询预测一个或多个动作的机器学习模型。因此，该系统可以将选择转换成查询。图1中描述的系统100是客户端-服务器系统，其中一些数据处理发生在服务器110处。然而，也可以使用其他配置和应用。例如，数据处理可以仅发生在客户端设备150上。在一些实施方式中，客户端设备150的用户可以指示在服务器110处执行处理的部分。因此，这些实施方式不限于所示的确切配置。
动作建议系统100可以包括服务器110，该服务器可以是一个或多个采取数个不同设备形式的计算设备，例如，标准服务器、一组这样的服务器或者机架式服务器系统。例如，服务器110可以遍及多个计算设备以分布式方式实现。此外，服务器110可以以例如膝上型计算机的个人计算机实现。服务器110可以是如图7所示的计算机设备700的示例或者如图8所示的系统800。服务器110可以包括基板中形成的一个或多个处理器，它们被配置成执行一个或多个机器可执行指令或者多条软件、固件或其组合。处理器能够基于半导体，也就是说，处理器能够包括能够执行数字逻辑的半导体材料。服务器110还能够包括一个或多个计算机存储器。例如主存储器的存储器可以被配置成暂时性、永久性、半永久性或以其组合方式存储一个或多个数据片段。存储器可以包括以一个或多个处理器能够读取和/或执行的格式存储信息的任何类型的存储设备。存储器可以包括易失性存储器、非易失性存储器或其组合，并且存储当由一个或多个处理器执行时执行某些操作的模块或引擎。在一些实施方式中，模块可以被存储在外部存储设备中并且加载到服务器110的存储器中。
动作建议系统100的模块可以包括动作建议模块120。动作建议模块120可以被配置成基于白名单web站点到移动应用的映射132来生成用于训练动作建议模型130的训练示例。白名单web站点可以是有益于执行操作的web站点。换而言之，web站点可以是包括搜索界面并且提供响应于查询的内容的web站点。这些web站点的非穷举示例包括购物网站、维基百科(Wikis)、预订网站、评级网站、旅行网站、订票网站等。在一些实施方式中，手动策划白名单和白名单web站点的映射并且将其提供给动作建议模块120。在一些实施方式中，意图的类型(例如，搜索、共享等)可以被包括在映射132中。在一些实施方式中，动作建议模块120(或另一个模块)可以生成白名单和映射132。例如，动作建议模块120可以搜索移动应用清单136，以确定清单中所提及的web站点。这样的清单136通常包括关于应用的信息，诸如开发者、图标、描述、版本等。这种信息中的一些可以被使用于帮助用户决定是否安装应用。信息中的一些可能计划用于其他应用开发人员，诸如应用编程接口(API)以及移动应用支持的意图。一些移动应用可以包括非标准意图，并且可以在清单文件136中识别这些意图。因此，清单136可以包含关于移动应用的各种数据，并且有时清单包括对提供与移动应用的功能类似的功能的web站点的引用。这样的web站点有时被称为web镜像。清单136可以由移动应用开发者提交到web商店。动作建议模块120可以将在移动应用清单136中提及的任何web站点视为白名单web站点，并且可以将该web站点映射到移动应用，例如，通过将该web站点和移动应用添加到web站点到移动应用的映射132。如果移动应用支持一个以上意图，则动作建议模块120可以添加将web站点映射到移动应用的多个记录，每个记录具有不同的意图。
在一些实施方式中，动作建议模块120(或另一个模块)可以使用模拟器122在web站点到移动应用映射132中生成条目。模拟器122可以被配置成在批处理环境中模拟客户端设备。换而言之，模拟器122可以被配置成执行移动应用，并且确定由移动应用生成的屏幕内容。在一些实施方式中，模拟器122可以将具有查询的意图发送到移动应用，并且确定移动应用是否返回内容，或换言之，返回查询的结果。在一些实施方式中，内容可以是帧缓冲器中的信息。在一些实施方式中，内容可以是供操作系统用来生成帧缓冲器的信息。当移动应用确实返回内容时，模拟器122可以找到等效web站点，例如，针对查询返回相同或相似结果的web站点。当模拟器122找到等效web站点时，模拟器122可以将web站点和移动应用与意图添加到web站点到移动应用映射132。
动作建议模块120可以使用web站点到移动应用映射132和搜索记录134来生成用于训练动作建议模型130的正向训练示例。例如，动作建议模块120可以针对查询检查具有白名单web站点中的一个(例如，web站点到移动应用映射132中的web站点)的搜索记录134作为高排名的搜索结果。搜索记录134可以包括搜索日志、从查询聚集的聚合数据或者基于查询的任何其他数据。在一些实施方式中，搜索记录134可以由搜索引擎在生成搜索结果的正常过程中生成。高排名的web站点可以是搜索结果的初始页面上的web站点或者查询请求者常选择的web站点。如果搜索记录中的查询包括白名单web站点作为高排名的搜索结果，则动作建议模块120可以使用查询以及例如在web站点到移动应用映射132中被映射到web站点的移动应用作为正向训练示例。换而言之，动作建议模块120可以包括训练示例，该训练示例教导动作建议模型130在给定查询下该移动应用是处理查询的良好候选者。动作建议模块120可以使用搜索记录134来生成大量的训练示例。
在一些实施方式中，动作建议模型130可以通过聚类相似的移动应用来增加示例的数量。例如，动作建议模块120可以例如基于web商店处或移动应用清单136中可用的数据来聚类移动应用，并且可以使用这些聚类来创建附加训练示例。在一些实施方式中，聚类中的移动应用可以被视为一种类型的移动应用，并且web站点到移动应用映射132可以将web站点映射到聚类，例如移动应用的类型，以便聚类中的任何移动应用映射到web站点。在一些实施方式中，动作建议模块120可以使用模拟器122来验证聚类中的移动应用是否对给定查询产生相似的结果。如果聚类中的特定移动应用未提供与聚类中的其他移动应用相似的结果，则可以将该特定移动应用从聚类中移除并且用作反向训练示例。因此，动作建议模型130可以被训练成排除某些应用。类似地，动作建议模块120可以使用搜索记录134和移动应用清单136中的信息来生成其他反向训练示例。例如，如果特定查询缺少移动应用的web镜像，即，动作建议模块120无法在针对查询的高排名web页面与对应的移动应用之间作出良好的匹配，则该查询可以被用作一个或多个移动应用的反向示例。
动作建议模型130可以是任何类型的机器学习算法，诸如长短期记忆(LSTM)神经网络、前馈神经网络、支持向量机(SVM)分类器等，其能够给定查询预测一个或多个动作(例如，移动应用)。在一些实施方式中，动作建议模块120可以训练动作建议模型130以按字符接受查询，并且模型130可以仅当遇到输入字符末尾时才作出预测。在这样的实施方式中，模型130使用非常小的词汇表，使其紧凑并适于在移动设备上存储和执行。在一些实施方式中，模型130可以包括字符嵌入层、两个各自具有64个节点的LSTM层以及softmax分类层。在一些实施方式中，模型130可以被训练成取词语而非字符作为输入。
系统可以将动作建议模型130推送到一个或多个客户端设备，例如，客户端设备150和客户端设备190。客户端设备150可以是任何移动个人计算设备，诸如智能电话或其他手持式计算设备、平板型计算机、可佩戴计算设备等，其在封闭移动环境中操作，而非基于开放式web的常规环境。客户端设备也可以是任何个人计算设备。如图7所示，客户端设备150可以作为计算机设备700的示例。客户端设备150可以是由用户180使用的一个移动设备。用户180也可以具有其他移动设备，诸如客户端设备190。
客户端设备150可以包括基板中形成的一个或多个处理器，它们被配置成执行一个或多个机器可执行指令或者多条软件、固件或其组合。因此，客户端设备150可以包括配置成暂时性、永久性、半永久性或以其组合方式存储一个或多个数据片段的一个或多个计算机存储器。因此，客户端设备150可以包括应用155，其以软件、固件或其组合的形式呈现机器可执行指令。应用155中识别的组件可以是操作系统的一部分。在一些实施方式中，应用155可以是针对移动处理环境开发的移动应用。传统上，移动应用在封闭环境中操作，这意味着用户使用单独的应用来执行通常在基于Web的浏览器环境中所执行的活动。例如，客户端设备150的用户能够使用由bookit.com提供的移动应用155中的一个移动应用来预订酒店，而非去往bookit.com预订酒店。如前所述，移动应用可以具有使移动应用镜像的web页面，例如，提供与移动应用相同或相似的内容。因此，在一些实施方式中，web页面(例如，bookit.com)可以被视为移动应用的web镜像(例如，由bookit.com提供或与其相关联的App)。
应用155可以包括截屏应用160和动作建议应用162。在一些实施方式中，这些应用中的一个或多个可以由客户端设备150的操作系统提供。在一些实施方式中，这些应用中的一个或多个可以由用户下载和安装。
截屏应用160能够包括各种功能。在一些实施方式中，截屏应用160可以被配置成从应用程序接口(API)获得屏幕上表示的文本信息。在一些实施方式中，截屏应用160可以被内置于操作系统中，该操作系统能够确定当前屏幕上显示的文本字段的内容。在一些实施方式中，截屏应用160可以被配置成截取客户端设备150的当前屏幕。截屏应用160可以通过复制或读取设备帧缓冲器的内容来截取屏幕。因此，所截取的屏幕可以是图像并且被称为截屏图像。截屏应用160可以间隔地截取屏幕。间隔可能很小，例如，每半秒或者每秒。在一些实施方式中，截屏应用160可以被配置成每当响应于显式用户请求或命令发生触摸事件时(例如，每当用户触摸屏幕来滚动、缩放、点击链接等时)或者当设备从一个移动应用转换成另一个移动应用时截取屏幕。在一些实施方式中，当屏幕无变化时，截屏应用160可以增大发生截屏的间隔。换而言之，当屏幕处于静态时，截屏应用160可以频率较低地截取图像。截屏应用160可以将截取的屏幕图像和元数据提供给识别引擎，该识别引擎可以位于客户端设备150或者诸如服务器110的服务器上。元数据可以包括时间戳、移动设备类型、移动设备标识符、截取屏幕时运行的移动应用，例如生成屏幕的应用，等等。在一些实施方式中，元数据还可以包括哪些应用是激活的、设备的位置、环境光线、设备的运动等。该系统可以使用这种附加设备信息来辅助内容分析(例如消歧)、建议动作生成(例如，设备正移动时减少建议的数量，决定哪些内容最相关)等。
在一些实施方式中，截屏应用160可以包括索引引擎，该索引引擎被配置成根据图像中识别的文本、实体、图像、标识等来索引截屏图像。因此，例如，索引引擎可以生成截屏图像的索引条目。在一些实施方式中，索引引擎可以位于诸如服务器110的服务器上，并且截屏应用160可以将截屏图像和/或截屏图像中识别的项目提供给服务器。索引可以是倒排索引，其中键值(例如，词语、短语、实体、图像、标识等)与包括键值或者从中识别出键值的图像列表相关联。索引可以包括与列表中的每个截屏图像相关联的元数据(例如，截屏图像上出现键值的位置、图像键值的排名等)。在一些实施方式中，索引还可以包括由时间戳索引的截屏图像的列表。索引引擎可以将索引存储在存储器中，例如存储在截屏索引172中。当然，在一些实施方式中，作为客户端设备150的附加或替选，该系统可以将索引存储在服务器上的用户帐户中。客户端设备150的用户可以控制截屏应用160何时激活。例如，用户可以指定，仅当其他指定的移动应用155正运行时(例如，仅当处于社交媒体移动应用时)，截屏应用160才激活。用户还可以例如经由设置应用手动打开和关闭截屏应用160。在一些实施方式中，用户可以利用也调用动作建议应用162的手势或动作来调用截屏应用160。
客户端设备150也可以包括动作建议应用162。动作建议应用162可以被配置成使用动作建议模型170或者动作建议模型130，根据用户提供的选择来确定查询并且针对查询提供建议的动作。在一些实施方式中，用户180可以具体使用动作建议指示来调用或启动动作建议应用162。在一些实施方式中，动作建议指示也可以调用截屏应用160。在一些实施方式中，手势/动作，即动作建议指示，可以是长按、双指点击或者从菜单(例如，上刷或下刷之后出现的菜单)中选择，其启动使得用户180能够主动选择屏幕一部分的用户界面控件。在一些实施方式中，动作建议指示可以将选择控件拖动到要选择的屏幕部分。在一些实施方式中，动作建议指示可以是隐式的，例如，通过用户执行专用于动作建议应用162的用户界面。例如，用户可以打开用户界面并且可以键入或说出选择。如果用户180选择具有图像的屏幕部分，例如，通过长按图标或图片，则动作建议应用162可以被配置成确定与图像相关联的文本并且使用该文本作为选择。在一些实施方式中，截屏应用160可以对所选择的区域进行识别并且将文本提供给动作建议应用162。动作建议应用162可以使用选择，例如屏幕上当前显示的文本、对用户界面键入或说出的文本，或者与所选择的图像相关联的文本，作为动作建议模型的查询。
在一些实施方式中，动作建议应用162可以响应于该选择提供重写的查询。例如，针对当前查询，或换言之，针对从选择中确定的查询，动作建议应用162可以例如从动作建议模型170、动作建议模型130或者另一个模块中确定常见查询补全或者相关查询。在一些实施方式中，除针对当前查询的建议动作之外，动作建议应用162还可以提供查询补全。如果用户选择重写查询中的一个，则动作建议应用162可以使用所选择的重写查询作为当前查询，并且针对该重写查询提供新建议的动作，如下参照图6A和图6B详述。
动作建议应用162可以使用动作建议模型，诸如动作建议模型170或者动作建议模型130，来确定针对查询的建议动作。在一些实施方式中，动作建议模型170可以是动作建议模型130的副本。在一些实施方式中，动作建议模型170可以是动作建议模型130的个性化副本。例如，客户端设备150可以接收来自服务器110的动作建议模型130或者更新的动作建议模型130，并且可以在客户端设备150上执行对模型的进一步训练。例如，动作建议应用162可以使用用户数据176，其可以包括从客户端设备150提交的查询，或者使用关于使用某些移动应用155的信息，生成或重新加权动作建议模型170的正向训练示例。这些附加训练示例可以使动作建议模型170个性化，以便动作建议应用162提供与用户180更相关的建议动作或预测动作。例如，如果用户180经常使用第一预订移动应用，但从未使用第二预订移动应用，则动作建议应用162可以对模型增加第一预订移动应用的权重，这样动作建议应用162建议第一预订应用，而非第二预订应用。
动作建议模型170被配置或训练成给定查询预测一个或多个动作。例如，动作建议应用162可以向模型170提供查询，并且模型170可以针对该查询提供一个或多个建议动作。这些建议动作采取配置成处理查询的移动应用的形式。动作建议应用162可以提供用户界面，该用户界面以跨移动应用连贯的方式向设备的用户提供建议动作。在一些实施方式中，这些建议动作可以采取可选控件的形式。控件能够是正显示的屏幕上方所显示的覆盖图、正显示的屏幕后方所显示的底图，或者配置成添加到移动设备的显示缓冲区中的当前屏幕的信息。换而言之，建议动作控件表示添加到移动设备处所生成的屏幕的信息，当显示该建议动作控件时将其显示在屏幕上方、屏幕下方或者整合到屏幕中。
建议动作控件可以被配置成检测发起对应动作的选择，例如，以发起意图的形式。因此，建议动作就像基于HTML的文档中的超链接。因为动作建议系统100能够为移动设备上运行的任何移动应用提供建议动作控件，所以动作跨移动应用表现连贯。
虽然动作建议应用162被图示为在客户端设备150上执行，但在一些实施方式中，其可以是在诸如服务器110的服务器上执行的模块。在这样的实施方式中，截屏应用160可以向服务器处的动作建议应用162提供选择，例如，所选择的文本、图像等，并且动作建议应用162可以使用动作建议模型130向截屏应用160提供一个或多个对应动作。在一些实施方式中，截屏应用160可以使用这个或这些对应动作来提供将建议动作与屏幕上的选择整合的界面并且使动作可选。在一些实施方式中，动作建议应用162可以将建议动作控件与对应于选择在截屏图像中的位置的屏幕坐标相关联。这些坐标可以被选择成靠近但并不完全遮蔽选择。
在一些实施方式中，截屏应用160可以将建议动作控件与当前屏幕整合。例如，如果截屏应用160从动作建议应用162接收到选择动作，则截屏应用160可以将选择动作控件与当前显示组合。在一些实施方式中，截屏应用160可以生成覆盖图作为底层，或者可以将建议动作控件与显示缓冲区中的当前屏幕交织。在一些实施方式中，截屏应用160可以被配置成在显示建议动作控件之前验证当前显示的屏幕与截取的屏幕图像足够相似。例如，截屏应用160可以使用用于控件或用于对应选择的坐标从截屏图像中确定视觉提示，并且将该视觉提示与当前显示图像的相同坐标进行比较。在一些实施方式中，截屏应用160可以被配置成针对当前图像中与视觉提示的那些视觉元素相似的视觉元素查找一小段距离。如果找到，则截屏应用160可以调整建议动作控件的坐标以匹配下层屏幕的移动。在一些实施方式中，截屏应用160可以发起显示所截取的图像、所选择的文本或图像以及当前屏幕上方的动作的活动或模式。可以显示先前截取的图像、所选择的文本或图像以及动作，直到用户选择动作或者取消显示(例如，利用“取消”或“返回”命令)。
在一些实施方式中，动作建议应用162可以使用排名引擎来确定显示模型中的哪些建议动作。例如，动作建议应用162可以选择最高排名的数量(例如，3个或4个)，或换言之，最可能的动作，或者概率分数高于指定阈值的任何动作，或者这些的组合。在一些实施方式中，数量或者阈值可以取决于关于设备的元数据，例如，设备正移动时较低数量或者较高阈值。在一些实施方式中，显示建议动作可以呈可滚动状态，例如，以允许用户从比最初显示更多的动作中进行选择。
客户端设备150可以包括存储在客户端设备150的存储器中并且供应用155使用的数据存储区157。在一些实施方式中，数据存储区157可以包括动作建议模型170、截屏索引172和用户数据176。这些数据存储区中的一个或多个可以与用户帐户或者简档相关联。因此，数据存储区也可以驻留于服务器110上。此外，一个或多个数据存储区157可以是存储在服务器110上或者用户指定的另一个位置上的数据的副本或者数据的子集。数据存储区157可以被存储在任何非暂时性存储器上。
客户端设备150可以通过网络140与服务器110通信并且与其他客户端设备190通信。网络140可以例如是因特网，或者网络140能够是例如使用网关设备、网桥、交换机等实现的有线或无线局域网(LAN)、广域网(WAN)等。网络140也可以表示蜂窝通信网络。经由网络140，服务器110可以与客户端设备150和190通信并且向客户端设备150和190/从客户端设备150和190传输数据，并且客户端设备150可以与其他客户端设备190(未示出)通信。
动作建议系统100表示一个示例配置，并且这些实施方式可以涵盖其他配置。例如，一些实施方式可以将模拟器122、动作建议模块120或者动作建议应用162的组件中的一个或多个组合成单个模块或者引擎。类似地，一些实施方式可以将截屏应用160和动作建议应用162中的一个或多个组合成单个模块或者应用。另外，动作建议应用162或者截屏应用160的组件中的一个或多个可以在服务器110处执行，而模拟器122或者动作建议模块120的组件中的一个或多个可以在客户端设备150处执行。作为另一示例，诸如移动应用清单136、搜索记录134、动作建议模型130或者web站点到移动应用映射132的数据存储区中的一个或多个可以被组合成单个数据存储区或者可以遍及多个计算设备分布，或者可以被存储在客户端设备150处。类似地，截屏索引172和用户数据176中的一个或多个可以被存储在服务器110或者用户指定的另一个位置处。
就动作建议系统100采集并存储用户专用数据或者可以使用个人信息方面而言，用户可以有机会控制程序或者功能是否采集用户信息(例如关于用户的社交网络、社交行动或活动、用户偏好或者用户的当前位置的信息)，或者控制是否和/或如何接收可能与用户更相关的内容。此外，在存储或者使用某些数据之前，可以通过一个或多个方式对其进行处理，以致删除个人可识别信息。例如，搜索记录可以被处理成不会确定个人可识别信息，或者用户的地理位置不会被泛化到获得位置信息的位置(诸如城市、邮政编码或者州级)，这样就不会确定用户的特定位置。因此，用户可以控制如何采集有关用户的信息并且供动作建议系统100使用。
图2A和图2B是根据本公开主题的客户端计算设备的示例显示器200a和200b。显示器可以是诸如图1的客户端设备150的移动设备的显示器。在图2A中，用户已对屏幕200a上所显示的内容作出选择205。选择205是通过源程序在屏幕上显示的文本“patio”。选择205可以在视觉上被标记成使其在某方面与周围内容不同。例如，选择205可以被突出，可以具有字体颜色变化，可以具有围绕其的形状等。动作建议应用162可以使用所选择的文本作为查询并且将查询patio发送到动作建议模型170。动作建议模型170可以响应于该查询而提供一个或多个建议动作。图2B图示出建议动作中的一些的示例。例如，动作210可以是表示购物移动应用或者在线市场移动应用的图标。如果用户选择动作210，则动作建议应用162可以利用搜索意图激活购物移动应用(例如，将焦点切换到购物移动应用，或换言之，目标应用)。搜索意图是一种操作系统标准，其以搜索状态，或换言之，搜索用户界面打开应用。搜索意图能够与移动应用和web应用协作。搜索意图可以支持查询参数，以便向移动应用提供查询作为搜索意图的一部分并且打开或激活搜索结果页面或者用户界面。这些实施方式也可以使用能够采取查询作为参数的其他标准意图(即，操作系统支持)或者非标准意图(即，移动应用支持而操作系统不支持)。因此，对动作210的选择可以将查询patio传递给购物移动应用，促使客户端设备打开购物移动应用或者将焦点切换到购物移动应用，并且购物移动应用可以显示查询的结果页面。通过这种方式，动作建议应用162减少执行搜索并切换场境所需的输入，从而改善用户体验。
动作220可以表示餐馆预订移动应用。正如购物移动应用，餐馆预订移动应用也可以包括搜索意图，并且倘若用户选择动作220，则预订移动应用可以响应于查询patio而以搜索结果界面打开。动作230可以是字典移动应用，例如，其提供词语的定义。对动作230的选择可以将词典移动应用的场境切换成具有针对查询patio的搜索结果的界面。动作240可以表示搜索引擎，例如，客户端设备150本地的搜索引擎或者因特网搜索引擎。对动作240的选择可以将搜索引擎的场境切换成针对查询patio的搜索结果页面。当然，图2B中所示的动作仅作示例，并且可以将其他建议动作呈现给用户。图2B中的动作的呈现在覆盖由源应用生成的屏幕内容的以部分的栏中示出。这些实施方式可以包括其他布置，诸如动作的轮播显示、环形显示、菜单显示等。
图3A和图3B是根据本公开主题的移动计算设备的示例显示器。诸如图1的系统100的动作建议系统可以提供图3A和图3B的用户界面300，以供用户例如通过输入查询305而输入特定选择。查询305可以被键入或说出。因此，并非选择是供源应用显示而生成的内容，而是用户界面300可以由动作建议应用本身生成并且使得用户能够直接向动作建议应用提供选择。这样的用户界面300可以被视为动作建议应用的启动栏。该系统可以使用查询305作为对动作建议模型的输入，例如，图1的动作建议模型170。该模型可以向查询提供建议动作。在图3B的示例中，该模型可以建议预订动作310、旅行动作320、帮助动作330和航线动作340。如上所述，每个动作可以与可选控件相关联。可选控件可以是与动作相关联的移动应用所关联的图标。因此，预订动作310可以与预订移动应用的图标相关联，并且对动作310的选择或换言之对动作310的控制可以用搜索意图启动预订应用。搜索意图可以将查询305作为参数。因此，客户端设备可以对具有对查询305的结果响应的搜索结果屏幕启动预订应用310。因此，用户界面300使得用户能够提供特定查询并且向用户提供适合于查询的动作。
在一些实施方式中，用户可能并未安装移动应用中的一个。例如，用户可能并未安装对应于旅行动作320的旅行应用。对动作320的控件的选择可以促使设备发起该应用的下载过程。因此，用户界面300也可以向用户提供其他人认为有益的动作，或换言之，移动应用，即使用户并不知道该移动应用。在一些实施方式中，如果用户并未安装旅行应用，则系统可以将动作转换成因特网搜索移动应用的搜索意图、词典应用、维基百科应用等。图2A、图2B、图3A和图3B适用于任何选择，而不仅是与知识库中的实体相关的选择或者适合实体类型的模板。因此，这些附图的用户界面极大地扩展具有关联动作的选择。而且，尽管动作控件被图示为基于图标，但动作控件可能基于文本或者文本与图像的组合。因此，动作控件被理解为包括基于文本、基于图像或者文本与图像组合的控件。
图4图示出根据本公开实施方式的基于移动计算设备上显示的内容针对文本选择建议动作的示例过程400的流程图。过程400可以由诸如图1的系统100的动作建议系统执行。过程400可以被使用于确定针对查询的建议动作，该查询是从截屏图像或者从动作建议启动的用户界面识别的。过程400可以开始于生成动作建议模型(405)。动作建议模型可以提供建议动作，即具有使用给定查询的意图的移动应用。查询可以基于由移动计算设备的用户作出的选择。意图能够是任何标准或非标准意图中的一个。图5图示出构建动作建议模型的一个示例。尽管未在图4中具体示出，但该系统可以在服务器上构建模型并且将该模型推送到客户端设备。
该系统可以继接收到动作建议指示之后接收选择(410)。选择可以是直接输入到动作建议用户界面的查询的形式。选择也可以是从客户端设备的屏幕上显示的内容中选择的文本或者图像的形式。例如，用户可以提供动作建议指示，其指示选择屏幕上内容的意图。该系统可以向用户提供从屏幕上元素中选择文本、图像或者文本与图像的组合的能力。动作建议指示可以例如是长按、双指轻按，或者用户可以将选择器工具拖动到要选择的屏幕区域上方。在一些实施方式中，用户可能有机会更改选择的边界，例如，以添加补充词语或者缩窄选择。在一些实施方式中，选择也可以是查询扩展。例如，用户可以选择文本，并且该系统可以提供常见扩展作为修改查询(例如，选择)的建议。如果用户选择查询扩展中的一个，则该查询扩展成为选择。
然后，该系统可以将选择转换成查询(415)。如果用户选择屏幕上的文本或者键入查询，则该系统可以直接将选择转换成查询。因此，在图2A的示例中，所选择的文本patio被用作查询。如果用户选择图像，则该系统可以确定与该图像相关联的文本并且使用该文本作为选择。例如，一些图像包括图像标签，其包含图像的文本描述。这样的标签可能在屏幕上不可见，但能够供软件用来帮助视障人士，并且可以供搜索引擎用来索引图像。该系统可以通过使用图像标签中的文本作为查询，将所选择的图像转换成查询。作为另一示例，图像可以包括能够经由文本识别过程确定的文本。该系统可以通过使用图像中所识别的文本作为查询，将所选择的图像转换成查询。作为另一示例，图像可以与知识库中的实体相关联。知识库可以包括图像的文本描述或者标题。该系统可以使用文本描述或标题作为查询。
该系统可以将查询提供给动作建议模型(420)。模型可以是训练成给定查询预测一个或多个动作的机器学习算法。在一些实施方式中，该系统向模型提供一次一个字符的查询，以缩减模型的词汇表。模型可以提供系统可以提供给用户的针对查询的预测或建议动作(425)。例如，该系统可以提供每个动作的可选控制，其使得用户能够选择动作。这些动作表示移动应用的意图，例如，搜索意图或者共享意图。例如，当客户端设备是运行浏览器的膝上型计算机时，这些动作也能够表示web站点的搜索意图。该系统等待用户选择动作(430，是)或者结束动作建议界面(430，否)。如果用户确实选择建议动作(430，是)，则该系统可以利用意图发起执行由该动作表示的移动应用，在该意图中使用查询作为参数(435)。在一些实施方式中，意图是标准意图，诸如搜索意图或者共享意图。因此，客户端设备将场境从当前正执行的任何应用(例如，源应用)切换到由所选择的动作表示的移动应用(例如，目标应用)。在客户端设备并非移动设备的实施方式中，动作可以与使移动应用镜像的特定web站点中的搜索界面相关联，并且该系统可以促使浏览器以使用查询作为参数的搜索意图导航到搜索界面。因此，用户能够自动切换到目标应用(例如，移动应用或者移动应用的web镜像)。
在一些实施方式中，动作可以与未安装在移动设备上的移动应用相关联。发生这种情况时，针对所选择的实体的动作可以是次要动作，其被选择时，将用户引领到用户能够下载和安装该移动应用的界面，或者自动发起该移动应用的安装。因此，应理解到，对动作的选择可以使得用户能够安装移动应用。在一些实施方式中，在成功安装移动应用之后，该系统可以自动发起使用查询作为参数的意图来打开新安装的移动应用。在一些实施方式中，如果用户并未安装特定的移动应用，则该系统可以以对查询的基于浏览器的搜索作为替代。在一些实施方式中，如果没有指定动作，则该系统可以经由用户界面提供默认选项，诸如浏览器搜索或者剪切/复制选项，用于处理查询。
图5图示出根据本公开实施方式用于生成动作建议模型的示例过程500的流程图。过程500可以由诸如图1的系统100的动作建议系统执行。过程500是图4的步骤405的示例，并且可以被使用于构建动作建议动作模型，诸如图1的模型130或模型170。过程500可以开始于获得web站点到移动应用映射(505)。在一些实施方式中，可以提供、例如手动策划映射。在一些实施方式中，该系统可以构建映射。例如，该系统可以使用移动应用清单来确定移动应用的web站点镜像。在一些实施方式中，该系统可以通过将相似的移动应用聚类在一起并且将所有相似的应用映射到web站点镜像来增强映射。例如，可能有几个预订移动应用，例如，用于预订航班、租赁汽车、酒店等，并且可以使用常规的聚类算法将它们聚类在一起。在一些实施方式中，该系统可将聚类中的每个应用映射到web站点镜像。在一些实施方式中，该系统可以使用模拟器来确定web站点映射到哪些移动应用。例如，模拟器可以被配置成从搜索记录中获得查询并且模拟各种移动应用(例如，可通过web商店购得的那些)的执行。模拟器可以确定特定的移动应用是否对给定的相同的查询返回与web站点的那些结果相似的结果。如果是，则模拟器可以将web站点映射到该移动应用。在一些实施方式中，模拟器可以被配置成向移动应用提供查询并且确定该移动应用是否以内容状态结束，或换言之，返回针对该查询的有效搜索结果。如果是，则该系统可以查找web站点镜像，例如，给定相同查询返回相似结果的镜像。通过这些方式中的任一方式，该系统可以构建web站点到移动应用的映射。
该系统可以识别用于训练模型的正向训练示例(510)。可以从搜索记录中提取正向训练示例。搜索记录可以是由因特网搜索引擎的用户提交的匿名查询记录。该系统可以在搜索记录中针对查询选择高排名的结果。当结果与查询具有高度相关性时，或者当结果具有高点击率时，例如该结果经常被查询请求者选择来进一步查看，该结果可以被视为高排名。高排名的web站点被视为查询的正向示例，因此映射到高排名web站点的移动应用很可能表示针对查询的动作。在一些实施方式中，正向训练示例可以具有等于web站点与搜索记录中的查询的相关性的权重。在一些实施方式中，正向训练示例可以具有与点击率成比例的权重。在一些实施方式中，该系统也可以生成反向示例。例如，未映射到高排名的web站点的移动应用可以是反向示例。类似地，当高排名的搜索结果没有对应的移动应用(例如，没有映射)时，任何移动应用都可以被用作该查询的反向示例。
该系统可以使用正向训练示例和反向训练示例来训练动作建议模型(515)。该系统可以将经训练的模型提供给客户端设备(520)。在一些实施方式中，当已安装的动作建议应用或者模型被更新时，可以将模型推送到客户端设备。在一些实施方式中，动作建议应用可以从服务器中拉取模型，例如，作为应用更新的一部分。在客户端设备处，该系统可以确定是否使模型个性化(525)。如果不进行个性化(525，否)，则过程500结束。否则(525，是)，该系统可以从与客户端设备或者与客户端设备的用户相关联的搜索记录中识别正向训练示例(530)。例如，该系统可以使用与用户简档相关联的搜索记录来添加如上所述的补充正向训练示例。附加地或可选地，与客户端设备和/或用户相关联的搜索记录可以被使用于重新加权训练示例。该系统可以使用更新的示例来进一步训练模型(535)。因此，模型可以被训练成预测与用户最相关的动作。然后，方法500结束。
图6A和图6B是根据本公开实施方式的选择增强的移动计算设备的示例显示器。诸如图1的系统100的动作建议系统可以提供图6A和图6B的用户界面600来提供查询增强。在图6A的示例中，用户已经作出选择605，选择文本“Dark Knight”。该系统已经针对选择605提供四个建议动作，即，电影数据库动作620、电影评论动作625、餐饮预订动作630和搜索动作635。除了建议动作620至635之外，该系统还已提供查询扩展610。查询扩展610可以表示类似于或包括其他人已经搜索过的选择605的查询的查询。该系统可以从动作建议模型、搜索记录或者可以在服务器或客户端设备上运行的查询扩展模块中获得查询扩展610。查询扩展模块可以获取从搜索记录中确定的常见查询扩展。在图6A的示例中，“Dark Knight”查询的查询扩展是“Dark Knight trailer”、“Dark Knight reviews”和“Dark Knight showtimes”。在图6B的示例中，用户已经选择“Dark Knight show times”，其成为当前选择615并且被转换成查询dark knight show times(黑暗骑士放映时间)。该系统可以将这个查询提供给动作建议模型，其可以使用重新精细化的查询来重新排名动作。在一些实施方式中，如图6B所示，模型可以提供一组新的建议动作，诸如建议动作640、625和620。动作640可以用于提供本地电影时间的移动应用。动作625和620与参阅图6A所讨论的那些相同，但顺序发生变化，将电影评论动作625置于电影数据库动作620之前。因此，图6A和图6B图示出针对选择建议查询扩展以及查询扩展可能与原始查询具有怎样不同排名的动作和/或不同的建议动作的用户界面。
在此应指出，本文所述的各种实施例也适用于可以提供确定动作的提供是否符合设备屏幕上正显示的图像的内容、布局、功能或其他方面的使用权的功能，并且相应地设置这些功能。例如，可以提供限制可能违反服务条款、内容许可或其他使用限制的内容或者选择的设置。可以手动或自动进行这样的设置，诸如由用户在建立新服务或者设备使用权限时，或者通过应用安装例程等。
图7示出可以作为图1的服务器110和/或客户端150操作的通用计算机设备700的示例，其可以与本文所述的技术配用。计算设备700旨在表示各种示例形式的计算设备，诸如膝上型计算机、桌面型计算机、工作站、个人数字助理、蜂窝电话、智能电话、平板型计算机、服务器以及其他计算设备，包括可佩戴设备。在此所示的组件、它们的连接和关系以及它们的功能意在仅为示例，而非意在限制本文所述和/或所要求保护的本发明的实施方式。
计算设备700包括经由接口708连接的处理器702、存储器704、存储设备706和扩展端口710。在一些实施方式中，计算设备700可以包括经由接口708连接的收发器746、通信接口744和GPS(全球定位系统)接收器模块748等组件。计算设备700可以通过通信接口744进行无线通信，该通信接口酌情可以包括数字信号处理电路。组件702、704、706、708、710、740、744、746和748中的每一个可以被安装在公共母板上或者适当地以其他方式安装。
处理器702能够处理用于在计算设备700内执行的指令，包括存储在存储器704中或者存储设备706上的指令，以在诸如显示器716的外部输入/输出设备上显示GUI的图形信息。显示器716可以是监视器或平面触摸屏显示器。在一些实施方式中，可以适当地使用多个处理器和/或多个总线与多个存储器和多种类型的存储器。此外，可以连接多个计算设备700，每个设备提供所需操作的多个部分(例如，服务器库、刀片服务器组或者多处理器系统)。
存储器704存储计算设备700内的信息。在一种实施方式中，存储器704是一个或多个易失性存储器单元。在另一种实施方式中，存储器704是一个或多个非易失性存储器单元。存储器704也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。在一些实施方式中，存储器704可以包括通过扩展接口提供的扩充存储器。
存储设备706能够为计算设备700提供大容量存储。在一种实施方式中，存储设备706可以是或包括计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或者磁带设备、闪存或其他类似的固态存储器设备或者设备的阵列，包括存储区域网或其他配置中的设备。计算机程序产品能够有形地体现于这样的计算机可读介质中。计算机程序产品也可以包括指令，这些指令当被执行时执行一个或多个方法，诸如上述那些方法。计算机或机器可读介质是存储设备，诸如存储器704、存储设备706或者处理器702上的存储器。
接口708可以是管理计算设备700的带宽密集操作的高速控制器或管理较低带宽密集操作的低速控制器或者这些控制器的组合。可以提供外部接口740，以便启用设备700与其他设备的邻区通信。在一些实施方式中，控制器708可以被耦合至存储设备706和扩展端口714。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的扩展端口可以被耦合至诸如键盘、定点设备、扫描仪的一个或多个输入/输出设备或者例如通过网络适配器的诸如交换机或者路由器的联网设备。
如图所示，计算设备700可以以数种不同形式来实现。例如，它可以实现为标准服务器730或者多次实现于一组这样的服务器。它还可以实现为机架服务器系统324的一部分。此外，它可以实现为诸如膝上型计算机732、个人计算机734或者平板型计算机/智能电话736的计算设备。整个系统可以由彼此通信的多个计算设备700构成。其他配置也可行。
图8示出可以是图1的服务器110的通用计算机设备800的示例，其可以与本文描述的技术配用。计算设备800旨在表示各种示例形式的大型数据处理设备，诸如服务器、刀片服务器、数据中心、大型机以及其他大型计算设备。计算设备800可以是具有多个处理器的分布式系统，可能包括通过一个或多个通信网络互联的网络连接存储节点。在此所示的组件、它们的连接和关系以及它们的功能意在仅作示例，而非意在限制本文所述和/或要求保护的本发明的实施方式。
分布式计算系统800可以包括任意数目的计算设备880。计算设备880可以包括通过局域网或广域网、专用光链路、调制解调器、网桥、路由器、交换机、有线或无线网络等进行通信的服务器或机架服务器、大型机等。
在一些实施方式中，每个计算设备可以包括多个机架。例如，计算设备880a包括多个机架858a至858n。每个机架可以包括一个或多个处理器，诸如处理器852a至852n和862a至862n。处理器可以包括数据处理器、网络附属存储设备以及其他计算机控制的设备。在一些实施方式中，一个处理器可以作为主处理器来操作并且控制调度和数据分布任务。处理器可以通过一个或多个机架交换机858互联，并且一个或多个机架可以通过交换机878连接。交换机878可以处理多个连接的计算设备880之间的通信。
每个机架可以包括诸如存储器854和存储器864的存储器以及诸如856和866的存储区。存储区856和866可以提供大容量存储并且可以包括易失性或非易失性存储器，诸如网络附盘、软盘、硬盘、光盘、磁带、闪存或其他类似固态存储器设备，或者设备阵列，包括存储区域网或其他配置中的设备。存储区856或866可以在多个处理器、多个机架或者多个计算设备之间共享，并且可以包括存储可由一个或多个处理器执行的指令的计算机可读介质。存储器854和864可以例如包括一个或多个易失性存储器单元、一个或多个非易失性存储器单元和/或其他形式的计算机可读介质，诸如磁盘或光盘、闪存、高速缓存、随机存取存储器(RAM)、只读存储器(ROM)及其组合。诸如存储器854的存储器也可以在处理器852a至852n之间共享。诸如索引的数据结构可以例如跨存储区856和存储器854来存储。计算设备880可以包括未示出的其他组件，诸如控制器、总线、输入/输出设备、通信模块等。
诸如系统100的整个系统可以由彼此通信的多个计算设备880组成。例如，设备880a可以与设备880b、880c和880d进行通信，并且这些设备可以被统称为系统100。作为另一示例，图1的系统100可以包括一个或多个计算设备880。计算设备中的一些的位置可能在地理上彼此靠近，而另一些的位置可能在地理上远离。系统800的布局仅作示例，并且该系统可以采取其他布局或配置。
根据本公开的某些方面，一种移动设备包括至少一个处理器、显示设备和存储指令的存储器，所述指令当由至少一个处理器执行时促使移动设备执行操作。这些操作包括：将经由显示设备作出的选择转换成查询；将查询提供给动作建议模型，训练动作建议模型以给定查询预测动作，每个动作与移动应用相关联；接收一个或多个预测动作；以及发起在显示设备上显示一个或多个预测动作。
这方面及其他方面能够包括下述特征中的一个或多个。例如，这些操作还可以包括：接收对一个或多个预测动作中的一个的选择；以及对与选择相关联的移动应用发起使用查询的意图。作为另一示例，发起一个或多个预测动作的显示包括针对每个预测动作显示与预测动作相关联的移动应用的图标。在一些实施方式中，一个或多个预测动作的图标覆盖显示设备上所显示的内容。作为另一示例，选择是图像，并且将选择转换成查询包括：识别与图像有关的文本，以及使用文本中的至少一些作为查询。作为另一示例，选择是图像，并且将选择转换成查询包括：识别图像中的实体，以及使用实体作为查询。
作为另一示例，这些操作还可以包括：从服务器接收动作建议模型；识别移动设备的用户的搜索记录中的白名单web站点；从包括高排名的白名单web站点的查询中生成训练示例，该训练示例的权重高于白名单web站点在搜索记录中的排名；以及使用训练示例来训练动作建议模型，产生个性化动作建议模型。作为另一示例，选择可以是语音命令，并且将选择转换成查询能够包括：对语音命令执行词语识别，以及使用所识别的词语作为查询。作为另一示例，将选择转换成查询能够包括：确定选择的扩展以生成至少一个扩展查询；将扩展查询提供给动作建议模型以生成第二预测动作；发起至少一个扩展查询的显示；以及响应于接收到对扩展查询的选择，发起第二预测动作的显示。作为另一示例，移动设备上并未安装移动应用中的至少一个。
根据本公开的某些方面，一种方法包括：从搜索记录中识别web站点在对应搜索结果中高排名的查询，web站点是在web站点到移动应用的映射中的多个web站点中的一个。该方法还包括：从查询中生成用于动作建议模型的正向训练示例，每个正向训练示例具有查询、web站点、在对于该查询的搜索结果中与web站点的排名相对应的权重，和移动应用；以及使用正向训练示例来训练动作建议模型。
这方面及其他方面能够包括下述特征中的一个或多个。例如，该方法还可以包括：识别第一移动应用的清单中的web站点；以及将web站点和第一移动应用添加到映射中。作为另一示例，该方法还可以包括：聚类web商店中的类似移动应用，第一移动应用出现在第一聚类中；识别web站点高排名的查询；验证由第一移动应用所生成的对查询的搜索结果类似于由第二移动应用所生成的对查询的搜索结果，第二移动应用处于第一聚类中；以及响应于验证，将web站点和第二移动应用添加到映射。作为另一示例，该方法还可以包括：基于存储在移动设备上的搜索记录使模型个性化。作为另一示例，该方法可以包括：将模型推送到客户端设备；以及基于与客户端设备的用户相关联的搜索记录而使模型个性化。
根据本公开的某些方面，一种方法可以包括：响应于接收到动作建议指示，将经由移动计算设备的显示设备作出的选择转换成查询；使用动作建议模型针对查询预测至少一个移动应用，训练动作建议模型以对给定查询预测移动应用；以及发起在显示设备上显示针对至少一个移动应用的可选控件。
这方面及其他方面能够包括下述特征中的一个或多个。例如，该方法还可以包括：接收对可选控件的选择；以及向移动应用发起使用查询的搜索意图。作为另一示例，发起可选控件包括显示移动应用的图标的显示。作为另一示例，将选择转换成查询能够包括：确定选择的扩展以生成至少一个扩展查询；将扩展查询提供给动作建议模型以生成第二移动应用；发起至少一个扩展查询的显示；以及响应于接收到对扩展查询的选择，发起针对第二移动应用的可选控件的显示。作为另一示例，移动设备上可以并未安装移动应用中的至少一个，并且该方法进一步包括：接收对可选控件的选择；以及发起在移动设备上安装移动应用。
根据第一方面，本发明提供一种方法，包括：将经由移动设备的显示设备作出的选择转换成查询；将查询提供给动作建议模型，训练动作建议模型以对给定查询预测动作，每个动作与移动应用相关联；接收一个或多个预测动作；以及发起在显示设备上显示一个或多个预测动作。
根据基于第一方面所述的第二方面，该方法可以进一步包括：接收对一个或多个预测动作中的一个的选择；以及对与选择相关联的移动应用发起使用查询的意图。
根据基于第一方面和第二方面所述的第三方面，发起一个或多个预测动作的显示可以包括：针对每个预测动作，显示与预测动作相关联的移动应用的图标。一个或多个预测动作的图标可以覆盖显示设备上所显示的内容。
根据基于第一方面、第二方面或第三方面所述的第四方面，选择可以是图像，并且将选择转换成查询可以包括：识别与图像有关的文本；以及使用文本中的至少一些作为查询。
根据基于第一方面至第四方面中任一方面所述的第五方面，选择可以是图像，并且将选择转换成查询可以包括：识别图像中的实体；以及使用实体作为查询。
根据基于第一方面至第五方面中任一方面所述的第六方面，该方法可以进一步包括：从服务器接收动作建议模型；识别移动设备的用户的搜索记录中的白名单web站点；从包括高排名的白名单web站点的查询中生成训练示例，训练示例的权重高于白名单web站点在搜索记录中的排名；以及使用训练示例来训练动作建议模型，产生个性化动作建议模型。
根据基于第一方面至第六方面中任一方面所述的第七方面，选择可以是语音命令，并且将选择转换成查询可以包括：对语音命令执行词语识别；以及使用所识别的词语作为查询。
根据基于第一方面至第七方面中任一方面所述的第八方面，将选择转换成查询可以包括：确定选择的扩展以生成至少一个扩展查询；将扩展查询提供给动作建议模型以生成第二预测动作；发起至少一个扩展查询的显示；以及响应于接收到对扩展查询的选择，发起第二预测动作的显示。
根据基于第一方面至第八方面中任一方面所述的第九方面，移动设备上可以并未安装移动应用中的至少一个。该方法可以进一步包括：接收对预测动作的选择；以及发起在移动设备上安装移动应用。
根据本公开的第十方面，一种方法包括：从搜索记录中识别web站点在对应搜索结果中高排名的查询，web站点是在web站点到移动应用的映射中的多个web站点中的一个。该方法还包括：从查询中生成用于动作建议模型的正向训练示例，每个正向训练示例具有查询、web站点、在对于该查询的搜索结果中与web站点的排名相对应的权重，和移动应用；以及使用正向训练示例来训练动作建议模型。
根据基于第十方面所述的第十一方面，该方法可以进一步包括：识别第一移动应用的清单中的web站点；以及将web站点和第一移动应用添加到映射中。
根据基于第十一方面所述的第十二方面，该方法可以进一步包括：聚类web商店中的类似移动应用，第一移动应用出现在第一聚类中；识别web站点高排名的查询；验证由第一移动应用所生成的对查询的搜索结果类似于由第二移动应用所生成的对查询的搜索结果，第二移动应用处于第一聚类中；以及响应于验证，将web站点和第二移动应用添加到映射。
根据基于第十方面至第十二方面中任一方面所述的第十三方面，该方法可以进一步包括：基于存储在移动设备上的搜索记录使模型个性化。
根据基于第十方面至第十三方面中任一方面所述的第十四方面，该方法可以进一步包括：将模型推送到客户端设备；以及基于与客户端设备的用户相关联的搜索记录而使模型个性化。
根据本公开的第十五方面，一种方法可以包括：响应于接收到动作建议指示，将经由移动计算设备的显示设备作出的选择转换成查询；使用动作建议模型来对给定查询预测至少一个移动应用，训练动作建议模型以对给定查询预测移动应用；以及发起在显示设备上显示针对至少一个移动应用的可选控件。
根据基于第十五方面所述的第十六方面，该方法可以进一步包括：接收对可选控件的选择；以及向移动应用发起使用查询的搜索意图。
根据基于第十五方面或第十六方面所述的第十七方面，发起可选控件的显示可以包括显示移动应用的图标。
根据基于第十五方面至第十七方面中任一方面所述的第十八方面，将选择转换成查询可以包括：确定选择的扩展以生成至少一个扩展查询；将扩展查询提供给动作建议模型以生成第二移动应用；发起至少一个扩展查询的显示；以及响应于接收到对扩展查询的选择，发起针对第二移动应用的可选控件的显示。
根据基于第十五方面至第十八方面所述的第十九方面，移动设备上可以并未安装移动应用中的至少一个，并且该方法可以进一步包括：接收对可选控件的选择；以及发起在移动设备上安装移动应用。
根据第二十方面，一种计算机装置包括：至少一个处理器；以及存储计算机可读指令的存储器，所述计算机可读指令当由至少一个处理器执行时促使处理器执行根据第一方面至第十九方面中任一方面所述的方法。
根据第二十一方面，一种计算机可读介质承载计算机可读指令，所述计算机可读指令被布置成促使处理器执行根据第一方面至第十九方面中任一方面所述的方法。
这些各种实施方式可以包括可编程系统上的可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括耦合以从存储系统接收数据和指令并且向存储系统发送数据和指令的、可以是专用或通用的至少一个可编程处理器、存储系统、至少一个输入设备以及至少一个输出设备。
这些计算机程序(也被称作程序、软件、软件应用或者代码)包括用于可编程处理器的机器指令，并且能够以高级程序语言和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所用，术语“机器可读介质”和“计算机可读介质”是指用于将机器指令和/或数据提供给可编程处理器的任意非暂时性计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器(包括读取存储器)、可编程逻辑设备(PLD))。
本文所述的系统和技术能够实现于包括后端组件(例如作为数据服务器)、包括中间件组件(例如应用服务器)、包括前端组件(例如具有用户能够借以与本文所述的系统和技术的实施方式交互的图形用户界面或者web浏览器的客户端计算机)或者这样的后端、中间件或前端组件的任意组合的计算系统中。系统的组件能够通过任何形式的数字数据通信或者媒介来互联(例如，通信网络)。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统能够包括客户端和服务器。客户端与服务器一般彼此远离，并且一般通过通信网络来进行交互。客户端与服务器的关系借助在相应计算上运行并且彼此具有客户端-服务器关系的计算机程序来实现。
本文已对数种实施方式予以描述。然而，在不脱离本发明的精神和范围的情况下，可以作出各种修改。此外，在附图中所描绘的逻辑流程并不必然要求所示的特定次序或者顺序来获得期望的结果。此外，可以提供其他步骤，或者所述流程中可以省略多个步骤，并且可以将其他组件添加到所述系统，或者从所述系统移除其他组件。因此，其他实施方式属于所附权利要求的范围内。
权利要求书(按照条约第19条的修改)
1.一种方法，包括：
将经由移动设备的显示设备作出的选择转换成查询，
将所述查询提供给动作建议模型，所述动作建议模型被使用从搜索记录获得的正向训练示例训练以对给定查询预测动作，每个正向训练示例包括查询以及与针对所述查询的高排名结果相关联的移动应用，每个动作与移动应用相关联，
接收一个或多个预测动作，以及
在所述显示设备上发起所述一个或多个预测动作的显示。
2.根据权利要求1所述的方法，进一步包括：
接收对所述一个或多个预测动作中的一个的选择；以及
对与所述选择相关联的所述移动应用发起使用所述查询的意图。
3.根据权利要求1所述的方法，其中，发起所述一个或多个预测动作的显示包括针对每个预测动作显示与所述预测动作相关联的所述移动应用的图标。
4.根据权利要求3所述的方法，其中，所述一个或多个预测动作的图标覆盖所述显示设备上所显示的内容。
5.根据权利要求1所述的方法，其中，所述选择是图像，并且将所述选择转换成查询包括：
识别与所述图像有关的文本；以及
使用所述文本中的至少一些作为所述查询。
6.根据权利要求1所述的方法，其中，所述选择是图像，并且将所述选择转换成查询包括：
识别所述图像中的实体；以及
使用所述实体作为所述查询。
7.根据权利要求1所述的方法，进一步包括：
从服务器接收所述动作建议模型；
识别所述移动设备的用户的搜索记录中的白名单web站点；
从包括高排名的白名单web站点的查询中生成训练示例，所述训练示例的权重高于所述白名单web站点在所述搜索记录中的排名；以及
使用所述训练示例来训练所述动作建议模型，产生个性化动作建议模型。
8.根据权利要求1所述的方法，其中，所述选择是语音命令，并且将所述选择转换成查询包括：
对所述语音命令执行词语识别；以及
使用所识别的词语作为所述查询。
9.根据权利要求1所述的方法，其中，将所述选择转换成查询包括：
确定用于所述选择的扩展以生成至少一个扩展查询；
将所述扩展查询提供给所述动作建议模型以生成第二预测动作；
发起所述至少一个扩展查询的显示；以及
响应于接收到对所述扩展查询的选择，发起第二预测动作的显示。
10.根据权利要求1所述的方法，其中，所述移动应用中的至少一个并未被安装在所述移动设备上。
11.根据权利要求10所述的方法，进一步包括：
接收对所述预测动作的选择；以及
发起所述移动应用在所述移动设备上的安装。
12.一种方法，包括：
从搜索记录中识别web站点在对应搜索结果中高排名的查询，所述web站点是在web站点到移动应用的映射中的多个web站点中的一个；
从所识别的查询中生成用于动作建议模型的正向训练示例，每个正向训练示例具有所述查询、所述web站点、在对于所述查询的搜索结果中与所述web站点的排名相对应的权重，以及移动应用；以及
使用所述正向训练示例来训练所述动作建议模型。
13.根据权利要求12所述的方法，进一步包括：
识别第一移动应用的清单中的web站点；以及
将所述web站点和所述第一移动应用添加到所述映射中。
14.根据权利要求12所述的方法，进一步包括：
聚类web商店中的类似移动应用，所述第一移动应用出现在第一聚类中；
识别所述web站点高排名的查询；
验证由所述第一移动应用生成的对所述查询的搜索结果类似于由第二移动应用生成的对所述查询的搜索结果，所述第二移动应用处于所述第一聚类中；以及
响应于所述验证，将所述web站点和所述第二移动应用添加到所述映射。
15.根据权利要求12所述的方法，进一步包括：
基于存储在移动设备上的搜索记录而使所述模型个性化。
16.根据权利要求12所述的方法，进一步包括：
将所述模型推送到客户端设备；以及
基于与所述客户端设备的用户相关联的搜索记录而使所述模型个性化。
17.一种方法，包括：
响应于接收到动作建议指示，将经由移动计算设备的显示设备作出的选择转换成查询；
使用动作建议模型针对所述查询预测至少一个移动应用，所述动作建议模型被使用从搜索记录获得的正向训练示例训练以对给定查询预测移动应用，每个正向训练示例包括查询以及与针对所述查询的高排名结果相关联的移动应用；以及
在所述显示设备上发起用于所述至少一个移动应用的可选控件的显示。
18.根据权利要求17所述的方法，进一步包括：
接收对所述可选控件的选择；以及
向所述移动应用发起使用所述查询的搜索意图。
19.根据权利要求17所述的方法，其中，发起所述可选控件的显示包括显示用于所述移动应用的图标。
20.根据权利要求17所述的方法，其中，将所述选择转换成查询包括：
确定用于所述选择的扩展以生成至少一个扩展查询；
将所述扩展查询提供给所述动作建议模型以生成第二移动应用；
发起所述至少一个扩展查询的显示；以及
响应于接收到对所述扩展查询的选择，发起用于所述第二移动应用的可选控件的显示。
21.根据权利要求17所述的方法，其中，所述移动应用中的至少一个并未被安装在所述移动计算设备上，并且所述方法进一步包括：
接收对所述可选控件的选择；以及
发起所述移动应用在所述移动计算设备上的安装。

Claims (21)

1.一种方法，包括：
将经由移动设备的显示设备作出的选择转换成查询，
将所述查询提供给动作建议模型，所述动作建议模型被训练以对给定查询预测动作，每个动作与移动应用相关联，
接收一个或多个预测动作，以及
在所述显示设备上发起所述一个或多个预测动作的显示。
2.根据权利要求1所述的方法，进一步包括：
接收对所述一个或多个预测动作中的一个的选择；以及
对与所述选择相关联的所述移动应用发起使用所述查询的意图。
3.根据权利要求1所述的方法，其中，发起所述一个或多个预测动作的显示包括针对每个预测动作显示与所述预测动作相关联的所述移动应用的图标。
4.根据权利要求3所述的方法，其中，所述一个或多个预测动作的图标覆盖所述显示设备上所显示的内容。
5.根据权利要求1所述的方法，其中，所述选择是图像，并且将所述选择转换成查询包括：
识别与所述图像有关的文本；以及
使用所述文本中的至少一些作为所述查询。
6.根据权利要求1所述的方法，其中，所述选择是图像，并且将所述选择转换成查询包括：
识别所述图像中的实体；以及
使用所述实体作为所述查询。
7.根据权利要求1所述的方法，进一步包括：
从服务器接收所述动作建议模型；
识别所述移动设备的用户的搜索记录中的白名单web站点；
从包括高排名的白名单web站点的查询中生成训练示例，所述训练示例的权重高于所述白名单web站点在所述搜索记录中的排名；以及
使用所述训练示例来训练所述动作建议模型，产生个性化动作建议模型。
8.根据权利要求1所述的方法，其中，所述选择是语音命令，并且将所述选择转换成查询包括：
对所述语音命令执行词语识别；以及
使用所识别的词语作为所述查询。
9.根据权利要求1所述的方法，其中，将所述选择转换成查询包括：
确定用于所述选择的扩展以生成至少一个扩展查询；
将所述扩展查询提供给所述动作建议模型以生成第二预测动作；
发起所述至少一个扩展查询的显示；以及
响应于接收到对所述扩展查询的选择，发起第二预测动作的显示。
10.根据权利要求1所述的方法，其中，所述移动应用中的至少一个并未被安装在所述移动设备上。
11.根据权利要求10所述的方法，进一步包括：
接收对所述预测动作的选择；以及
发起所述移动应用在所述移动设备上的安装。
12.一种方法，包括：
从搜索记录中识别web站点在对应搜索结果中高排名的查询，所述web站点是在web站点到移动应用的映射中的多个web站点中的一个；
从所识别的查询中生成用于动作建议模型的正向训练示例，每个正向训练示例具有所述查询、所述web站点、在对于所述查询的搜索结果中与所述web站点的排名相对应的权重，以及移动应用；以及
使用所述正向训练示例来训练所述动作建议模型。
13.根据权利要求12所述的方法，进一步包括：
识别第一移动应用的清单中的web站点；以及
将所述web站点和所述第一移动应用添加到所述映射中。
14.根据权利要求12所述的方法，进一步包括：
聚类web商店中的类似移动应用，所述第一移动应用出现在第一聚类中；
识别所述web站点高排名的查询；
验证由所述第一移动应用生成的对所述查询的搜索结果类似于由第二移动应用生成的对所述查询的搜索结果，所述第二移动应用处于所述第一聚类中；以及
响应于所述验证，将所述web站点和所述第二移动应用添加到所述映射。
15.根据权利要求12所述的方法，进一步包括：
基于存储在移动设备上的搜索记录而使所述模型个性化。
16.根据权利要求12所述的方法，进一步包括：
将所述模型推送到客户端设备；以及
基于与所述客户端设备的用户相关联的搜索记录而使所述模型个性化。
17.一种方法，包括：
响应于接收到动作建议指示，将经由移动计算设备的显示设备作出的选择转换成查询；
使用动作建议模型针对所述查询预测至少一个移动应用，所述动作建议模型被训练以对给定查询预测移动应用；以及
在所述显示设备上发起用于所述至少一个移动应用的可选控件的显示。
18.根据权利要求17所述的方法，进一步包括：
接收对所述可选控件的选择；以及
向所述移动应用发起使用所述查询的搜索意图。
19.根据权利要求17所述的方法，其中，发起所述可选控件的显示包括显示用于所述移动应用的图标。
20.根据权利要求17所述的方法，其中，将所述选择转换成查询包括：
确定用于所述选择的扩展以生成至少一个扩展查询；
将所述扩展查询提供给所述动作建议模型以生成第二移动应用；
发起所述至少一个扩展查询的显示；以及
响应于接收到对所述扩展查询的选择，发起用于所述第二移动应用的可选控件的显示。
21.根据权利要求17所述的方法，其中，所述移动应用中的至少一个并未被安装在所述移动设备上，并且所述方法进一步包括：
接收对所述可选控件的选择；以及
发起所述移动应用在所述移动设备上的安装。
CN201680057955.8A 2015-10-01 2016-09-30 针对用户选择内容的动作建议 Active CN108139849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110558143.4A CN113434067A (zh) 2015-10-01 2016-09-30 针对用户选择内容的动作建议

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/872,582 2015-10-01
US14/872,582 US10970646B2 (en) 2015-10-01 2015-10-01 Action suggestions for user-selected content
PCT/US2016/055055 WO2017059388A1 (en) 2015-10-01 2016-09-30 Action suggestions for user-selected content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110558143.4A Division CN113434067A (zh) 2015-10-01 2016-09-30 针对用户选择内容的动作建议

Publications (2)

Publication Number Publication Date
CN108139849A true CN108139849A (zh) 2018-06-08
CN108139849B CN108139849B (zh) 2021-05-28

Family

ID=58428007

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110558143.4A Pending CN113434067A (zh) 2015-10-01 2016-09-30 针对用户选择内容的动作建议
CN201680057955.8A Active CN108139849B (zh) 2015-10-01 2016-09-30 针对用户选择内容的动作建议

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110558143.4A Pending CN113434067A (zh) 2015-10-01 2016-09-30 针对用户选择内容的动作建议

Country Status (6)

Country Link
US (1) US10970646B2 (zh)
EP (1) EP3341825A4 (zh)
JP (2) JP6695966B2 (zh)
KR (2) KR102150508B1 (zh)
CN (2) CN113434067A (zh)
WO (1) WO2017059388A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020124377A1 (zh) * 2018-12-18 2020-06-25 西门子股份公司 建模的知识获取方法、装置和系统
CN112219201A (zh) * 2019-05-06 2021-01-12 谷歌有限责任公司 基于推断的意图触发本地扩展
CN112328341A (zh) * 2020-10-23 2021-02-05 前海飞算云创数据科技(深圳)有限公司 模型显示方法，装置，电子设备及存储介质
CN113515633A (zh) * 2021-07-02 2021-10-19 福州大学 基于计算机视觉的屏幕浏览场景分类方法
CN113924565A (zh) * 2019-06-13 2022-01-11 微软技术许可有限责任公司 具有流行链接的屏幕阅读器摘要

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9811352B1 (en) 2014-07-11 2017-11-07 Google Inc. Replaying user input actions using screen capture images
US9965559B2 (en) 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US9940352B1 (en) * 2015-01-05 2018-04-10 Relcy, Inc. Method and system for smart data input relay
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10178527B2 (en) 2015-10-22 2019-01-08 Google Llc Personalized entity repository
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10055390B2 (en) 2015-11-18 2018-08-21 Google Llc Simulated hyperlinks on a mobile device based on user intent and a centered selection of text
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10409488B2 (en) * 2016-06-13 2019-09-10 Microsoft Technology Licensing, Llc Intelligent virtual keyboards
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
US11169660B2 (en) * 2016-12-14 2021-11-09 Microsoft Technology Licensing, Llc Personalized adaptive task framework for user life events
US11237696B2 (en) 2016-12-19 2022-02-01 Google Llc Smart assist for repeated actions
US11695711B2 (en) * 2017-04-06 2023-07-04 International Business Machines Corporation Adaptive communications display window
EP3545413B1 (en) * 2017-04-10 2022-06-01 Samsung Electronics Co., Ltd. Method and apparatus for processing user request
US11170285B2 (en) * 2017-05-05 2021-11-09 Google Llc Virtual assistant configured to recommended actions in furtherance of an existing conversation
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US11263399B2 (en) * 2017-07-31 2022-03-01 Apple Inc. Correcting input based on user context
US10891126B2 (en) * 2017-09-11 2021-01-12 Mx Technologies, Inc. On-device feature and performance testing and adjustment
US10963819B1 (en) * 2017-09-27 2021-03-30 Amazon Technologies, Inc. Goal-oriented dialog systems and methods
CN109814938A (zh) * 2017-11-20 2019-05-28 广东欧珀移动通信有限公司 应用程序预测模型建立、预加载方法、装置、介质及终端
US11481387B2 (en) * 2017-12-28 2022-10-25 Microsoft Technology Licensing, Llc Facet-based conversational search
KR20190102587A (ko) * 2018-02-26 2019-09-04 엘지전자 주식회사 이동 단말기 및 그 동작방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US20190392345A1 (en) * 2018-06-26 2019-12-26 Holland & Hart LLP Automatic action loading based on a data context and a machine-learned model
US10678571B2 (en) * 2018-07-13 2020-06-09 Microsoft Technology Licensing, Llc Image-based skill triggering
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US20220108693A1 (en) * 2019-01-16 2022-04-07 Sony Group Corporation Response processing device and response processing method
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11468881B2 (en) * 2019-03-29 2022-10-11 Samsung Electronics Co., Ltd. Method and system for semantic intelligent task learning and adaptive execution
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
EP3759595B1 (en) 2019-05-06 2021-08-25 Google LLC Proactive caching of transient assistant action suggestions at a feature phone
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN112130714B (zh) * 2019-06-25 2021-08-20 华为技术有限公司 可进行学习的关键词搜索方法和电子设备
US20220291789A1 (en) * 2019-07-11 2022-09-15 Google Llc System and Method for Providing an Artificial Intelligence Control Surface for a User of a Computing Device
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
WO2021242257A1 (en) * 2020-05-29 2021-12-02 Google Llc Generating a selectable suggestion using a provisional machine learning model when use of a default suggestion model is inconsequential
DK202070658A1 (en) 2020-06-01 2022-01-13 Apple Inc Suggesting executable actions in response to detecting events
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11181988B1 (en) 2020-08-31 2021-11-23 Apple Inc. Incorporating user feedback into text prediction models via joint reward planning
US11410653B1 (en) * 2020-09-25 2022-08-09 Amazon Technologies, Inc. Generating content recommendation based on user-device dialogue
CN114995661A (zh) * 2021-02-20 2022-09-02 花瓣云科技有限公司 一种联想词展示方法、终端设备及计算机存储介质
US20220415319A1 (en) * 2021-06-28 2022-12-29 Google Llc On-device generation and personalization of zero-prefix suggestion(s) and use thereof
US11709691B2 (en) * 2021-09-01 2023-07-25 Sap Se Software user assistance through image processing
US11914644B2 (en) * 2021-10-11 2024-02-27 Microsoft Technology Licensing, Llc Suggested queries for transcript search
KR20230103577A (ko) * 2021-12-31 2023-07-07 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20230334073A1 (en) * 2022-04-19 2023-10-19 Microsoft Technology Licensing, Llc Inline search based on intent-detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198418A (zh) * 2013-03-15 2013-07-10 北京亿赞普网络技术有限公司 一种应用推荐方法和系统
CN103995830A (zh) * 2014-04-17 2014-08-20 广东明创软件科技有限公司 基于输入法的快速切换应用程序的方法及其移动终端
CN104239454A (zh) * 2014-09-02 2014-12-24 百度在线网络技术（北京）有限公司 搜索方法及装置
US20150039580A1 (en) * 2013-07-31 2015-02-05 Microsoft Corporation App annotation and facilitaton of user search task and user action
CN104462325A (zh) * 2014-12-02 2015-03-25 百度在线网络技术（北京）有限公司 搜索推荐方法及装置

Family Cites Families (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2566309B2 (ja) 1989-01-26 1996-12-25 松下電工株式会社 樹脂被覆磁気回路部品及びその製造方法
KR100348915B1 (ko) 1994-05-12 2002-12-26 마이크로소프트 코포레이션 텔레비젼프로그램선택방법및그시스템
US5946647A (en) 1996-02-01 1999-08-31 Apple Computer, Inc. System and method for performing an action on a structure in computer-generated data
JPH10105562A (ja) 1996-09-26 1998-04-24 Hitachi Ltd 検索システム
US6662226B1 (en) 2000-01-27 2003-12-09 Inbit, Inc. Method and system for activating and capturing screen displays associated with predetermined user interface events
US8224776B1 (en) 2000-07-26 2012-07-17 Kdl Scan Designs Llc Method and system for hosting entity-specific photo-sharing websites for entity-specific digital cameras
CA2370766C (en) 2000-10-18 2003-09-09 Chipworks Design analysis workstation for analyzing integrated circuits
JP2002197104A (ja) 2000-12-27 2002-07-12 Communication Research Laboratory 情報検索処理装置，情報検索処理方法および情報検索処理プログラムを記録した記録媒体
US7421153B1 (en) 2002-04-05 2008-09-02 Bank Of America Corporation Image and data processing system
WO2003088080A1 (en) 2002-04-05 2003-10-23 At & T Corp. Method and system for detecting and extracting named entities from spontaneous communications
US7054917B1 (en) 2002-08-07 2006-05-30 Propel Software Corporation Method for accelerating delivery of content in a computer network
US7376696B2 (en) 2002-08-27 2008-05-20 Intel Corporation User interface to facilitate exchanging files among processor-based devices
US20050083413A1 (en) 2003-10-20 2005-04-21 Logicalis Method, system, apparatus, and machine-readable medium for use in connection with a server that uses images or audio for initiating remote function calls
KR20120038000A (ko) 2004-01-20 2012-04-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 대화의 주제를 결정하고 관련 콘텐트를 획득 및 제시하는 방법 및 시스템
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US7536382B2 (en) 2004-03-31 2009-05-19 Google Inc. Query rewriting with entity detection
US8078607B2 (en) 2006-03-30 2011-12-13 Google Inc. Generating website profiles based on queries from webistes and user activities on the search results
US7639387B2 (en) 2005-08-23 2009-12-29 Ricoh Co., Ltd. Authoring tools using a mixed media environment
US8745483B2 (en) 2004-10-07 2014-06-03 International Business Machines Corporation Methods, systems and computer program products for facilitating visualization of interrelationships in a spreadsheet
US8812551B2 (en) 2004-11-18 2014-08-19 International Business Machines Corporation Client-side manipulation of tables
US7702611B2 (en) 2005-01-07 2010-04-20 Xerox Corporation Method for automatically performing conceptual highlighting in electronic text
KR101046485B1 (ko) 2005-02-28 2011-07-04 가부시끼가이샤 판다네트 바둑의 대국 시스템
US7702128B2 (en) 2005-03-03 2010-04-20 Cssn Inc. Card Scanning Solutions System and method for scanning a business card from within a contacts address book and directly inserting into the address book database
US7809722B2 (en) 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US20070008321A1 (en) 2005-07-11 2007-01-11 Eastman Kodak Company Identifying collection images with special events
US7752209B2 (en) 2005-09-14 2010-07-06 Jumptap, Inc. Presenting sponsored content on a mobile communication facility
US7548915B2 (en) 2005-09-14 2009-06-16 Jorey Ramer Contextual mobile content placement on a mobile communication facility
US7933897B2 (en) 2005-10-12 2011-04-26 Google Inc. Entity display priority in a distributed geographic information system
US7822759B2 (en) 2005-12-13 2010-10-26 Microsoft Corporation Query-driven sharing and syndication
US8533199B2 (en) 2005-12-14 2013-09-10 Unifi Scientific Advances, Inc Intelligent bookmarks and information management system based on the same
US20070168379A1 (en) 2006-01-17 2007-07-19 Patel Sushma B Method and apparatus for cataloging screen shots of a program
CN101075236A (zh) 2006-06-12 2007-11-21 腾讯科技（深圳）有限公司 一种加快浏览器网页显示的装置和方法
US8347237B2 (en) 2006-06-27 2013-01-01 Palo Alto Research Center Incorporated Method, apparatus, and program product for efficiently detecting relationships in a comprehension state of a collection of information
US7917514B2 (en) 2006-06-28 2011-03-29 Microsoft Corporation Visual and multi-dimensional search
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
JP5223284B2 (ja) 2006-11-10 2013-06-26 株式会社リコー 情報検索装置、方法およびプログラム
US8090222B1 (en) 2006-11-15 2012-01-03 Google Inc. Selection of an image or images most representative of a set of images
CN101201827B (zh) 2006-12-14 2013-02-20 阿里巴巴集团控股有限公司 一种网页显示的方法和系统
US8671341B1 (en) 2007-01-05 2014-03-11 Linguastat, Inc. Systems and methods for identifying claims associated with electronic text
KR101370895B1 (ko) 2007-01-19 2014-03-10 엘지전자 주식회사 콘텐츠 표시 방법 및 이를 이용한 단말기
US8869191B2 (en) 2007-01-23 2014-10-21 Cox Communications, Inc. Providing a media guide including parental information
US8214367B2 (en) 2007-02-27 2012-07-03 The Trustees Of Columbia University In The City Of New York Systems, methods, means, and media for recording, searching, and outputting display information
US20080275701A1 (en) 2007-04-25 2008-11-06 Xiaotao Wu System and method for retrieving data based on topics of conversation
JP2010527066A (ja) 2007-05-07 2010-08-05 フォースウォール・メディア・インコーポレーテッド 個人化されたリソースをオンデマンドで消費者デバイスアプリケーションに広帯域ネットワークを介して提供すること
US8688089B2 (en) 2007-06-26 2014-04-01 Gosub 60, Inc. Methods and systems for providing in-game hot spots
WO2009001138A1 (en) 2007-06-28 2008-12-31 Taptu Ltd Search result ranking
US7921069B2 (en) 2007-06-28 2011-04-05 Yahoo! Inc. Granular data for behavioral targeting using predictive models
US20090228777A1 (en) 2007-08-17 2009-09-10 Accupatent, Inc. System and Method for Search
WO2009026193A2 (en) 2007-08-17 2009-02-26 Accupatent, Inc. System and method for search
US9137377B2 (en) 2007-08-22 2015-09-15 Citrix Systems, Inc. Systems and methods for at least partially releasing an appliance from a private branch exchange
US8594996B2 (en) 2007-10-17 2013-11-26 Evri Inc. NLP-based entity recognition and disambiguation
AU2008312423B2 (en) 2007-10-17 2013-12-19 Vcvc Iii Llc NLP-based content recommender
WO2009054619A2 (en) 2007-10-22 2009-04-30 Moon Key Lee Augmented reality computer device
US9159034B2 (en) 2007-11-02 2015-10-13 Ebay Inc. Geographically localized recommendations in a computing advice facility
US20110246471A1 (en) 2010-04-06 2011-10-06 Selim Shlomo Rakib Retrieving video annotation metadata using a p2p network
US7984004B2 (en) * 2008-01-17 2011-07-19 Microsoft Corporation Query suggestion generation
US8255386B1 (en) 2008-01-30 2012-08-28 Google Inc. Selection of documents to place in search index
JP5336748B2 (ja) 2008-03-06 2013-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ中のアクセシビリティに関する問題箇所を他人へ効果的に伝達するためのコンピュータ、方法、プログラム
US8131066B2 (en) 2008-04-04 2012-03-06 Microsoft Corporation Image classification
US7970808B2 (en) 2008-05-05 2011-06-28 Microsoft Corporation Leveraging cross-document context to label entity
US7962444B2 (en) 2008-05-19 2011-06-14 Qualcomm Incorporated System and method for presenting a contextual action for an indicator
US8630972B2 (en) 2008-06-21 2014-01-14 Microsoft Corporation Providing context for web articles
US20100010987A1 (en) 2008-07-01 2010-01-14 Barry Smyth Searching system having a server which automatically generates search data sets for shared searching
CN101667185B (zh) 2008-09-05 2012-10-17 深圳富泰宏精密工业有限公司 行动装置及其图片快速显示方法
CN101763357B (zh) 2008-11-13 2016-09-14 北京搜狗科技发展有限公司 一种用于浏览器加载互联网资源的方法及系统
EP2380106B1 (en) 2008-12-18 2018-05-30 Koninklijke Philips N.V. Software bug and performance deficiency reporting system
DE202010018601U1 (de) 2009-02-18 2018-04-30 Google LLC (n.d.Ges.d. Staates Delaware) Automatisches Erfassen von Informationen, wie etwa Erfassen von Informationen unter Verwendung einer dokumentenerkennenden Vorrichtung
US8229883B2 (en) 2009-03-30 2012-07-24 Sap Ag Graph based re-composition of document fragments for name entity recognition under exploitation of enterprise databases
WO2010114543A1 (en) 2009-04-01 2010-10-07 Hewlett-Packard Development Company, L.P. Screen capture
US8370762B2 (en) 2009-04-10 2013-02-05 Cellco Partnership Mobile functional icon use in operational area in touch panel devices
JP5911796B2 (ja) 2009-04-30 2016-04-27 サムスン エレクトロニクス カンパニー リミテッド マルチモーダル情報を用いるユーザ意図推論装置及び方法
US8533223B2 (en) 2009-05-12 2013-09-10 Comcast Interactive Media, LLC. Disambiguation and tagging of entities
US20100306249A1 (en) 2009-05-27 2010-12-02 James Hill Social network systems and methods
US20100313141A1 (en) 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
CN101587495A (zh) 2009-07-08 2009-11-25 伍帝州 通过浏览器下载部署应用并提供应用入口的方法及系统
US8571319B2 (en) 2009-07-28 2013-10-29 International Business Machines Corporation Enhanced screen capture for form manipulation
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
EP2473931B1 (en) 2009-08-31 2019-06-19 Google LLC Framework for selecting and presenting answer boxes relevant to user input as query suggestions
CN102597993B (zh) 2009-09-25 2014-03-12 国际商业机器公司 利用统一资源标识符管理应用状态信息
KR101651128B1 (ko) 2009-10-05 2016-08-25 엘지전자 주식회사 이동 단말기 이것의 애플리케이션 실행 제어 방법
US8131786B1 (en) 2009-11-23 2012-03-06 Google Inc. Training scoring models optimized for highly-ranked results
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US8977639B2 (en) * 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US9405772B2 (en) 2009-12-02 2016-08-02 Google Inc. Actionable search results for street view visual queries
US20110145692A1 (en) 2009-12-16 2011-06-16 Peter Noyes Method for Tracking Annotations with Associated Actions
US20110191676A1 (en) 2010-01-29 2011-08-04 Microsoft Corporation Cross-Browser Interactivity Recording, Playback, and Editing
KR20130009754A (ko) 2010-02-01 2013-01-23 점프탭, 인크. 통합형 광고 시스템
US20110225152A1 (en) 2010-03-15 2011-09-15 Microsoft Corporation Constructing a search-result caption
US8799061B1 (en) 2010-04-26 2014-08-05 Google Inc. Classifying users for ad targeting
US8494439B2 (en) 2010-05-04 2013-07-23 Robert Bosch Gmbh Application state and activity transfer between devices
KR101657545B1 (ko) 2010-05-11 2016-09-19 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US9158846B2 (en) 2010-06-10 2015-10-13 Microsoft Technology Licensing, Llc Entity detection and extraction for entity cards
JP2012008771A (ja) * 2010-06-24 2012-01-12 Sony Corp 情報処理装置、情報処理システム、情報処理方法およびプログラム
US8468110B1 (en) 2010-07-22 2013-06-18 Intuit Inc. Real-time user behavior prediction
JP4712118B1 (ja) 2010-08-12 2011-06-29 ヤフー株式会社 携帯端末、アプリケーション選択方法及びプログラム
US8972467B2 (en) 2010-08-31 2015-03-03 Sovanta Ag Method for selecting a data set from a plurality of data sets by means of an input device
US9405848B2 (en) * 2010-09-15 2016-08-02 Vcvc Iii Llc Recommending mobile device activities
US20120083294A1 (en) 2010-09-30 2012-04-05 Apple Inc. Integrated image detection and contextual commands
US20120092286A1 (en) 2010-10-19 2012-04-19 Microsoft Corporation Synthetic Gesture Trace Generator
US9189549B2 (en) 2010-11-08 2015-11-17 Microsoft Technology Licensing, Llc Presenting actions and providers associated with entities
WO2012075315A1 (en) 2010-12-01 2012-06-07 Google Inc. Identifying matching canonical documents in response to a visual query
KR101757870B1 (ko) 2010-12-16 2017-07-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8880555B2 (en) 2010-12-17 2014-11-04 Facebook, Inc. Ranking of address book contacts based on social proximity
KR101741551B1 (ko) 2010-12-20 2017-06-15 엘지전자 주식회사 이동 단말기 및 이것의 애플리케이션 제어 방법
US9542501B2 (en) 2011-01-28 2017-01-10 Radware Ltd. System and method for presenting content in a client/server environment
JP6087899B2 (ja) 2011-03-31 2017-03-01 マイクロソフト テクノロジー ライセンシング，エルエルシー 会話ダイアログ学習および会話ダイアログ訂正
US8341156B1 (en) 2011-04-04 2012-12-25 Google Inc. System and method for identifying erroneous business listings
CN103620592A (zh) 2011-04-19 2014-03-05 诺基亚公司 用于推荐结果的灵活多样化的方法和装置
JP2012252742A (ja) 2011-06-02 2012-12-20 Elpida Memory Inc 半導体装置
US9519726B2 (en) 2011-06-16 2016-12-13 Amit Kumar Surfacing applications based on browsing activity
US9377867B2 (en) 2011-08-11 2016-06-28 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
US8280414B1 (en) 2011-09-26 2012-10-02 Google Inc. Map tile data pre-fetching based on mobile device generated event analysis
US8204966B1 (en) 2011-09-26 2012-06-19 Google Inc. Map tile data pre-fetching based on user activity analysis
US9224100B1 (en) 2011-09-26 2015-12-29 Google Inc. Method and apparatus using accelerometer data to serve better ads
US9305108B2 (en) * 2011-10-05 2016-04-05 Google Inc. Semantic selection and purpose facilitation
US20150212695A1 (en) 2011-10-05 2015-07-30 Google Inc. Suggested action feedback
US20130097507A1 (en) 2011-10-18 2013-04-18 Utc Fire And Security Corporation Filmstrip interface for searching video
EP2587745A1 (en) 2011-10-26 2013-05-01 Swisscom AG A method and system of obtaining contact information for a person or an entity
AU2012332626A1 (en) 2011-11-01 2014-05-22 Google Llc Launching applications from webpages
US20130117252A1 (en) 2011-11-09 2013-05-09 Google Inc. Large-scale real-time fetch service
US9665643B2 (en) 2011-12-30 2017-05-30 Microsoft Technology Licensing, Llc Knowledge-based entity detection and disambiguation
JP6215236B2 (ja) 2012-01-31 2017-10-18 ギブン イメージング リミテッドＧｉｖｅｎ Ｉｍａｇｉｎｇ Ｌｔｄ． 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法
CN104115147B (zh) * 2012-02-16 2018-06-29 微软技术许可有限责任公司 位置感知应用搜索
US10984337B2 (en) 2012-02-29 2021-04-20 Microsoft Technology Licensing, Llc Context-based search query formation
US9171068B2 (en) 2012-03-07 2015-10-27 Ut-Battelle, Llc Recommending personally interested contents by text mining, filtering, and interfaces
US20130263098A1 (en) 2012-03-29 2013-10-03 Pawel Piotr Duda Method and system for testing of mobile web sites
JP2013211616A (ja) * 2012-03-30 2013-10-10 Sony Corp 端末装置、端末制御方法、プログラム、および情報処理システム
US9836545B2 (en) 2012-04-27 2017-12-05 Yahoo Holdings, Inc. Systems and methods for personalized generalized content recommendations
WO2013173940A1 (en) 2012-05-22 2013-11-28 Beijing Baina Info - Tech,Co., Ltd A method and system for providing application data
US9582146B2 (en) 2012-05-29 2017-02-28 Nokia Technologies Oy Causing display of search results
US9075974B2 (en) 2012-07-25 2015-07-07 Google Inc. Securing information using entity detection
US9195645B2 (en) 2012-07-30 2015-11-24 Microsoft Technology Licensing, Llc Generating string predictions using contexts
US8959109B2 (en) * 2012-08-06 2015-02-17 Microsoft Corporation Business intelligent in-document suggestions
US9268462B2 (en) * 2012-08-14 2016-02-23 Google Inc. External action suggestions in search results
US10091552B2 (en) 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
US9165406B1 (en) 2012-09-21 2015-10-20 A9.Com, Inc. Providing overlays based on text in a live camera view
US9274839B2 (en) 2012-09-27 2016-03-01 Intel Corporation Techniques for dynamic physical memory partitioning
US8543397B1 (en) * 2012-10-11 2013-09-24 Google Inc. Mobile device voice activation
US9407824B2 (en) 2012-11-01 2016-08-02 Google Inc. Multi-directional content capture on mobile devices
EP2728481A1 (en) 2012-11-04 2014-05-07 Rightware Oy Evaluation of page load performance of web browser
US20140146200A1 (en) 2012-11-28 2014-05-29 Research In Motion Limited Entries to an electronic calendar
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
US20150178786A1 (en) 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
US20140188956A1 (en) * 2012-12-28 2014-07-03 Microsoft Corporation Personalized real-time recommendation system
US20140188889A1 (en) 2012-12-31 2014-07-03 Motorola Mobility Llc Predictive Selection and Parallel Execution of Applications and Services
US10445786B2 (en) 2013-01-23 2019-10-15 Facebook, Inc. Sponsored interfaces in a social networking system
US20150169701A1 (en) 2013-01-25 2015-06-18 Google Inc. Providing customized content in knowledge panels
US20140250147A1 (en) 2013-03-01 2014-09-04 Quixey, Inc. Generating Search Results Containing State Links to Applications
US20140279013A1 (en) 2013-03-13 2014-09-18 Ebay Inc. Online and offline ecommerce connections
WO2014139120A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
WO2014146265A1 (en) 2013-03-20 2014-09-25 Nokia Corporation Method and apparatus for personalized resource recommendations
CN105164710B (zh) 2013-04-23 2020-02-28 三星电子株式会社 用于提供搜索结果的方法和服务器
US9276883B2 (en) 2013-04-28 2016-03-01 Tencent Technology (Shenzhen) Company Limited Information collection, storage, and sharing platform
US9367625B2 (en) 2013-05-03 2016-06-14 Facebook, Inc. Search query interactions on online social networks
US9786075B2 (en) 2013-06-07 2017-10-10 Microsoft Technology Licensing, Llc Image extraction and image-based rendering for manifolds of terrestrial and aerial visualizations
US9721107B2 (en) 2013-06-08 2017-08-01 Apple Inc. Using biometric verification to grant access to redacted content
KR102136602B1 (ko) 2013-07-10 2020-07-22 삼성전자 주식회사 휴대단말기의 컨텐츠 처리 장치 및 방법
CN103488752B (zh) * 2013-09-24 2017-08-25 沈阳美行科技有限公司 一种poi智能检索的检索方法
US9329692B2 (en) 2013-09-27 2016-05-03 Microsoft Technology Licensing, Llc Actionable content displayed on a touch screen
US9436918B2 (en) 2013-10-07 2016-09-06 Microsoft Technology Licensing, Llc Smart selection of text spans
US10235470B2 (en) 2013-12-06 2019-03-19 Here Global B.V. User retrieval enhancement
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
US20150242760A1 (en) * 2014-02-21 2015-08-27 Microsoft Corporation Personalized Machine Learning System
KR102282487B1 (ko) 2014-05-08 2021-07-26 삼성전자주식회사 애플리케이션 실행 장치 및 방법
US9679078B2 (en) 2014-05-21 2017-06-13 Facebook, Inc. Search client context on online social networks
US9811352B1 (en) 2014-07-11 2017-11-07 Google Inc. Replaying user input actions using screen capture images
US8954836B1 (en) 2014-08-19 2015-02-10 Adlast, Inc. Systems and methods for directing access to products and services
US9965559B2 (en) 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US9424668B1 (en) 2014-08-28 2016-08-23 Google Inc. Session-based character recognition for document reconstruction
US9606716B2 (en) 2014-10-24 2017-03-28 Google Inc. Drag-and-drop on a mobile device
JP2015043236A (ja) 2014-11-17 2015-03-05 富士通株式会社 情報提供装置、情報提供方法及びプログラム
WO2016131207A1 (zh) 2015-02-16 2016-08-25 锤子软件（北京）有限公司 一种控制方法、控制装置及电子设备
US9336483B1 (en) 2015-04-03 2016-05-10 Pearson Education, Inc. Dynamically updated neural network structures for content distribution networks
US9703541B2 (en) 2015-04-28 2017-07-11 Google Inc. Entity action suggestion on a mobile device
US10152488B2 (en) 2015-05-13 2018-12-11 Samsung Electronics Co., Ltd. Static-analysis-assisted dynamic application crawling architecture
US10922094B2 (en) 2015-06-05 2021-02-16 Apple Inc. Systems and methods for proactively providing recommendations to a user of a computing device
US10178527B2 (en) 2015-10-22 2019-01-08 Google Llc Personalized entity repository
US10055390B2 (en) 2015-11-18 2018-08-21 Google Llc Simulated hyperlinks on a mobile device based on user intent and a centered selection of text

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198418A (zh) * 2013-03-15 2013-07-10 北京亿赞普网络技术有限公司 一种应用推荐方法和系统
US20150039580A1 (en) * 2013-07-31 2015-02-05 Microsoft Corporation App annotation and facilitaton of user search task and user action
CN105706052A (zh) * 2013-07-31 2016-06-22 微软技术许可有限责任公司 应用程序注释以及用户搜索任务和用户动作的便利化
CN103995830A (zh) * 2014-04-17 2014-08-20 广东明创软件科技有限公司 基于输入法的快速切换应用程序的方法及其移动终端
CN104239454A (zh) * 2014-09-02 2014-12-24 百度在线网络技术（北京）有限公司 搜索方法及装置
CN104462325A (zh) * 2014-12-02 2015-03-25 百度在线网络技术（北京）有限公司 搜索推荐方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020124377A1 (zh) * 2018-12-18 2020-06-25 西门子股份公司 建模的知识获取方法、装置和系统
CN113168283A (zh) * 2018-12-18 2021-07-23 西门子股份公司 建模的知识获取方法、装置和系统
CN112219201A (zh) * 2019-05-06 2021-01-12 谷歌有限责任公司 基于推断的意图触发本地扩展
CN112219201B (zh) * 2019-05-06 2024-04-23 谷歌有限责任公司 基于推断的意图触发本地扩展
CN113924565A (zh) * 2019-06-13 2022-01-11 微软技术许可有限责任公司 具有流行链接的屏幕阅读器摘要
CN112328341A (zh) * 2020-10-23 2021-02-05 前海飞算云创数据科技(深圳)有限公司 模型显示方法，装置，电子设备及存储介质
CN112328341B (zh) * 2020-10-23 2021-07-23 前海飞算云创数据科技(深圳)有限公司 模型显示方法，装置，电子设备及存储介质
CN113515633A (zh) * 2021-07-02 2021-10-19 福州大学 基于计算机视觉的屏幕浏览场景分类方法
CN113515633B (zh) * 2021-07-02 2023-08-08 福州大学 基于计算机视觉的屏幕浏览场景分类方法

Also Published As

Publication number Publication date
US10970646B2 (en) 2021-04-06
JP2020129388A (ja) 2020-08-27
CN108139849B (zh) 2021-05-28
KR20180058811A (ko) 2018-06-01
CN113434067A (zh) 2021-09-24
EP3341825A1 (en) 2018-07-04
EP3341825A4 (en) 2019-04-24
US20170098159A1 (en) 2017-04-06
KR102150508B1 (ko) 2020-09-01
JP6883132B2 (ja) 2021-06-09
KR102243993B1 (ko) 2021-04-23
KR20200103877A (ko) 2020-09-02
WO2017059388A1 (en) 2017-04-06
JP2018536218A (ja) 2018-12-06
US20210027203A1 (en) 2021-01-28
JP6695966B2 (ja) 2020-05-20

Similar Documents

Publication Publication Date Title
CN108139849A (zh) 针对用户选择内容的动作建议
US10733360B2 (en) Simulated hyperlinks on a mobile device
US20200081609A1 (en) Contextual paste target prediction
CN107438814A (zh) 移动设备上的实体动作建议
US9298855B2 (en) Optimization-based visual context management
US20230013569A1 (en) Combined local and server context menus
WO2012158571A2 (en) Training statistical dialog managers in spoken dialog systems with web data
JP6183099B2 (ja) 入力支援装置、入力支援方法及び入力支援プログラム
CN110462615A (zh) 增强的粘贴板使用的技术
JP2020535570A (ja) 代表イメージの生成
JP6865942B1 (ja) プログラム、方法、情報処理装置、及びシステム
US20240143345A1 (en) Method and system for recognizing user intent and updating a graphical user interface
CN113360741A (zh) 在搜索结果中动态注入相关内容
US12026593B2 (en) Action suggestions for user-selected content
US20240070495A1 (en) Explainability for artificial intelligence-based decisions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant