CN109964457B - 用于上下文信息显示的统一资源标识符和图像共享 - Google Patents

用于上下文信息显示的统一资源标识符和图像共享 Download PDF

Info

Publication number
CN109964457B
CN109964457B CN201780069465.4A CN201780069465A CN109964457B CN 109964457 B CN109964457 B CN 109964457B CN 201780069465 A CN201780069465 A CN 201780069465A CN 109964457 B CN109964457 B CN 109964457B
Authority
CN
China
Prior art keywords
uniform resource
resource identifier
native application
user device
particular environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780069465.4A
Other languages
English (en)
Other versions
CN109964457A (zh
Inventor
I.巴德尔
P.A.邓恩-兰金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202110335776.9A priority Critical patent/CN113127671A/zh
Publication of CN109964457A publication Critical patent/CN109964457A/zh
Application granted granted Critical
Publication of CN109964457B publication Critical patent/CN109964457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，该方法、系统和装置用于响应于独立于本机应用而调用的单个输入操作系统命令，生成包括本机应用的特定环境实例的图像和本机应用的特定环境实例的统一资源标识符的消息，该图像在单个输入操作系统命令时显示。

Description

用于上下文信息显示的统一资源标识符和图像共享
技术领域
本说明书涉及统一资源标识符和图像共享。
背景技术
互联网提供对各种信息的访问。例如，可以通过互联网访问数字图像文件、视频和/或音频文件、以及特定主题或特定新闻文章的网页资源。关于网页资源，这些资源中的许多资源被设计为促进执行特定功能(诸如银行业务、预订酒店预约、购物等)或提供结构化信息(诸如在线百科全书、电影数据库等)。搜索引擎抓取并索引这些资源以促进搜索资源。
此外，随着平板电脑和智能电话的出现，促进通过使用网页资源促进的相同功能的性能的本机应用现在大量提供。另外，没有具有同步内容的网站的本机应用(诸如游戏)在平板电脑和智能手机上也非常流行。因此，搜索引擎现在也促进搜索这些本机应用。
用户可能期望与当前在用户设备上活动的网页资源或本机应用相关的信息。这样的信息被称为“上下文信息(contextual information)”，因为用户期望的信息在活动网页或本机应用的上下文中。
在本机应用的上下文中，用户还可能期望与其他用户共享关于本机应用的信息。一些系统允许用户拍摄本机应用的特定环境实例的屏幕截图，并且向其他用户发送屏幕截图。用户还可以手动输入或选择关于本机应用的信息，并且也向其他用户发送该信息。
发明内容
本说明书涉及与其他用户设备共享第一用户设备上的活动本机应用的上下文信息。
通常，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中，这些动作包括：在用户设备的显示器上显示可以显示多个不同环境实例的本机应用的特定环境实例，其中，本机应用是可操作以生成用于在用户设备上的本机应用内的显示的环境实例的应用，并且独立于可以在用户设备上操作的浏览器应用而操作；当特定环境实例是显示器的活动焦点时，在用户设备处接收单个输入操作系统命令，单个输入操作系统命令是独立于本机应用而调用的命令；响应于单个输入操作系统命令：在显示器上显示包括共享命令和至少一个或多个附加命令的上下文信息卡；响应于对共享命令的选择：确定指定与用户设备分开的接收方设备的接收方地址，生成本机应用的特定环境实例的图像，选择本机应用的特定环境实例的统一资源标识符，生成包括特定环境实例的图像和统一资源标识符的消息，以及向接收方地址发送包括特定环境实例的图像和统一资源标识符的消息。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个计算机系统、装置和计算机程序被配置为执行该方法的上述动作。一个或多个计算机的系统可以被配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定操作或动作，软件、固件、硬件或它们的组合在操作中使得系统执行上述动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，指令在由数据处理装置运行时使得装置执行上述动作。
可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。可以通过使用直观、易于使用的交互模型来共享包括活动本机应用的屏幕截图和在屏幕截图中捕获的本机应用的特定环境实例的统一资源标识符(Uniform ResourceIdentifier，URI)的上下文信息。这使得用户能够快速并有效地与其他用户共享关于本机应用的所期望的信息，并且使得其他用户能够在他们的接收设备上实例化(例如，启动、或安装并启动)本机应用以处理URI并生成屏幕截图中描绘的相同或类似的环境实例。共享的上下文信息表示信息的有效使用，因为不必为了在接收方用户的设备上重新创建环境实例而共享本机应用的运行代码。共享过程中用户之间的网络通信量减少了，并且共享用户的设备(从生成用于共享的信息的角度来看)和接收方用户的设备(从解释和处理接收到的信息的角度来看)上的负载减少了。尽管如此，接收方用户仍然能够容易地确定环境实例的描述，以及本机应用应该被启动、或安装并启动的方式，以生成相同或类似的环境实例。
另外，因为对上下文信息的独立于查询的请求的输入不需要查询输入并且共享命令不需要手动选择URI，所以系统不需要执行文本到话音处理或处理键入输入。这样可以减少输入错误和错误的输入查询。因此，当在聚合中考虑时，避免了数千个错误以及不准确的查询和消息，这反过来提供了对网络资源的更有效使用。这改进了用户之间的搜索处理和信息共享的技术领域，因此是由下面描述的系统和方法实现的另一明显优点。使用与查询无关的请求会产生有效的输入机制，因为与必须处理特定查询的格式或内容以便获得适当的上下文信息的输入机制相比，它减少了要处理的输入的数量。另外，不必为不同情况单独配置对上下文信息的请求的处理，因为请求可以独立于特定环境或本机应用。这进一步提高了可以获得上下文信息的效率。
结合附图和以下描述阐述了本说明书中描述的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得显而易见。
附图说明
图1A和图1B是其中为本机应用提供上下文信息并共享本机应用的屏幕截图和统一资源标识符(URI)的示例环境的框图。
图2是用于共享本机应用的图像和URI的示例过程的流程图。
图3是其中为活动内容提供上下文信息的示例环境的框图。
图4是示例移动计算设备的框图。
各附图中相同的附图标记和名称表示相同的元件。
具体实施方式
实施下面描述的系统和方法的用户设备使得能够捕获活动本机应用的屏幕截图和在屏幕截图中捕获的本机应用的特定环境实例的统一资源标识符。这种信息的捕获和共享是通过使用直观、易于使用的上下文交互模型实现的。
如本文所使用的，本机应用生成用于在本机应用的环境内在用户设备上显示的环境实例，并且独立于用户设备上的浏览器应用操作。本机应用是专门设计用于在特定用户设备操作系统和机器固件上运行的应用。因此，本机应用与基于浏览器的应用和浏览器呈现的资源不同。后者在它们每次被实例化或呈现时需要从网络服务器下载的全部或至少一些元素或指令。此外，基于浏览器的应用和浏览器呈现的资源可以由浏览器内的所有具有网络功能的移动设备处理，因此不特定于操作系统。本机应用的每个特定环境实例由“深度链接”指定，否则其可以被称为统一资源标识符(URI)。URI可以根据特定标准来构造，或者可以是对于特定本机应用唯一的结构。URI使得本机应用实例化指定本机应用的实例。
通过使用单个输入操作系统命令，用户可以接收与本机应用的活动环境实例相关的上下文信息。然后，用户可以选择生成包括本机应用的活动环境实例的屏幕截图的消息的共享命令，以及活动环境实例的“深度链接”，例如，统一资源标识符。然后，该用户可以在单个消息中将屏幕截图和深度链接发送给一个或多个其他用户。在接收时，每个接收用户可以查看屏幕截图。如果查看的用户期望在接收设备上实例化相同的本机应用，则用户可以选择(例如，以某种方式与图像交互的)命令(诸如“长按”)，以在接收设备上实例化本机应用。本机应用然后可以处理URI以生成相同(或类似)的环境实例。
下面更详细地描述这些特征和附加特征。
图1A和图1B是其中为本机应用提供上下文信息并共享本机应用的屏幕截图和统一资源标识符(URI)的示例环境的框图。具体地，图1A描绘了当本机应用的特定环境实例处于活动时请求和接收上下文信息卡。具体地，图1B描绘了共享本机应用的特定环境实例的屏幕截图以及到特定环境实例的深度链接。
参考图1A，用户使用用户设备110来获取本机应用的上下文信息。用户设备110是能够通过网络请求和接收资源的电子设备。示例用户设备110包括移动通信设备(例如，智能电话或平板)，以及可以通过网络发送和接收数据的其他设备。本机应用正在操作，并且特定环境实例112是活动焦点(例如，活动窗口)，并且对在用户设备110的显示器处接收的输入立即作出响应。
用户设备还可以显示其他信息，诸如网络资源。这些可能包括HTML页面、电子文档、图像文件、视频文件、文本消息对话、电子邮件、应用的图形用户接口等。与本机应用环境实例相似，资源也可以是显示器的活动焦点。为简洁起见，活动资源或活动本机应用环境实例称为“活动内容”。
用户设备110检测到用户期望活动内容的上下文信息。例如，用户设备110可以正在显示特定的本机应用环境实例112，并且活动焦点可以在环境实例112上。例如，环境实例112可以包括图形114和文本116。用户可以(例如，通过按压按钮111(例如，“主页”按钮)三秒钟或者根据预定义的点击模式来点击屏幕等)来生成上下文信息的指示。在一些实施方式中，这样的命令是独立于本机应用而调用的单个输入操作系统命令。换句话说，可以在多个不同的本机应用和网络资源中使用相同的命令。
出于说明的目的，假设用户执行长按，该长按指示用户期望特定的本机应用环境实例112的上下文信息。作为响应，用户设备110向上下文信息服务器150提供独立于查询的请求113，以获取特定的本机应用环境实例112的上下文信息。例如，用户设备110可以提供包括特定的本机应用环境实例的屏幕截图、关于本机应用的信息、特定的本机应用环境实例的URI等的请求。
该请求可以被认为是独立于查询的请求，因为用户设备110向上下文信息服务器150提供该请求，而无需用户(无论是口头地、物理地还是一些其他交互)输入查询的术语。例如，在用户设备110检测到用户已经长按按钮之后，用户设备110可以向上下文信息服务器150提供请求，而无需从用户请求附加信息。
响应于向上下文信息服务器150提供请求，然后，用户设备110从上下文信息服务器150接收一个或多个用户接口元素。如图1A所示，接收到的信息是上下文信息卡160。然而，可以使用其他用户接口元素，例如，聊天气泡、可选择的链接注释或脚注等。上下文信息卡160可以包括关于本机应用和/或本机应用的特定环境实例的上下文信息(诸如图像、文本、音频和视频)以及一个或多个命令162。如图1A所示，命令162包括可以在搜索用户接口中调用单独搜索的搜索命令，可以检索本机应用的评论的评论命令，以及可以生成环境实例112的屏幕截图和环境实例的URI、并向另一用户设备发送屏幕截图和URI的共享命令。
图1B描绘了响应于在上下文信息卡160中选择共享命令的过程流程。主要参考图2描述过程流程，图2是用于共享本机应用的图像和URI的示例过程200的流程图。
在图1B中，上下文信息卡160具有用户设备110的活动焦点，因为它在前景中显示。为了进一步强调卡162上的活动焦点，用户设备110上的特定环境实例112可以被遮蔽或显示在略微不透明的层下面，如图像元素的虚线所示。
为了达到图1B中的状态，用户设备首先显示本机应用的特定环境实例(202)，并且在特定环境实例处于活动焦点状态时接收单个输入操作系统命令，单个输入操作系统命令是独立于本机应用而调用的命令(204)。例如，在图1A中，用户设备110显示环境实例112，并且当环境实例112是用户设备的活动焦点时，用户设备接收对主页按钮111的长按。
响应于单个输入操作系统命令，用户设备显示包括共享命令和至少一个或多个附加命令的上下文信息卡(206)。例如，在图1B中，用户设备110接收上下文信息卡160并显示卡160。卡160包括“共享”命令，并且如粗体轮廓所示，已经选择了共享命令。
响应于对共享命令的选择，用户设备生成包括本机应用的特定环境实例112的图像122和特定环境实例的统一资源标识符124的消息(208)。可以通过调用从本机应用的视口数据生成图像的系统命令来生成图像122。
例如，可以从最近使用的统一资源标识符的用户设备高速缓存中选择本机应用的特定环境实例112的统一资源标识符124。例如，用户设备110的操作系统可以在本地历史高速缓存中跟踪由每个本机应用最近选择的统一资源标识符。在该实施方式的变型中，每个本机应用可以被配置为将其处理的统一资源标识符提供给高速缓存。
可选地，可以由用户设备10的操作系统并且从本机应用请求本机应用的特定环境实例112的统一资源标识符124。例如，用户设备10的操作系统可以通过被配置为与本机应用通信的应用编程接口(Application Programing Interface，API)发送请求，并且响应于该请求接收统一资源标识符。
诸如通过用户的选择或默认地址确定接收方地址用于共享。也可以选择多个接收方地址。然后，用户设备110向接收方地址发送包括特定环境实例112的图像122和统一资源标识符124的消息(210)。例如，该消息可以作为文本消息、通知、或者作为由数字助理处理的消息发送。也可以使用其他消息类型。
在一些实施方式中，用户设备110通过将统一资源标识符124嵌入图像122的图像元数据中来生成消息。因此，在由诸如图1B中的用户设备130的用户设备接收时，显示图像122，但是不容易向用户显示统一资源标识符124。在其他实施方式中，用户设备包括统一资源标识符124和图像122作为在用户设备130的显示器中彼此分开显示的单独项。
用户设备130可以响应于消息而处理导航命令。例如，如果统一资源标识符124嵌入在图像122中，则用户设备的用户可以“长按”图像122，或者如果统一资源标识符与图像分开显示，则可以选择统一资源标识符124。
响应于导航命令，用户设备130将在由统一资源标识符124寻址的特定环境实例112处实例化本机应用。这在用户设备130-B中示出，用户设备130-B已经从图像122转换到实际环境实例112。
在一些实施方式中，接收用户设备130中的环境实例112将与发送用户设备110中的环境实例112相同。在本机应用112不需要特定用户信息并且环境实例112中的信息是发布信息(例如，不是通过特定于发送用户的登录过程获得的个人信息)时，就会发生这种情况。统一资源标识符124还可以包括查询参数和本机应用处理以到达特定环境实例112的其他参数。
实例化本机应用的过程涉及启动本机应用并由本机应用处理统一资源标识符124。如果本机应用未安装在用户设备130上，则用户设备可以从本机应用提供商自动安装本机应用作为实例化的一部分，然后，启动本机应用。可选地，可以提示用户确认本机应用的安装。
虽然已经在来自上下文信息卡的共享命令的上下文中描述了环境实例122的图像和对应的统一资源标识符124的共享，但是也可以独立于上下文信息卡而提供对这种信息的共享。例如，另一种类型的单个输入操作系统命令可以被用来生成包括特定环境实例112的图像122和统一资源标识符124的消息，而不需要显示具有共享命令的上下文卡160。这种命令的一个示例是根据预定顺序(例如，两秒钟内四次短击)按压按钮111。
在另一实施方式中，包括图像122和统一资源标识符124的消息还可以包括来自上下文卡160的上下文信息。例如，上下文信息可以是本机应用、评论或其他信息的摘要。在接收到消息时，用户设备130-A可以允许用户将图像122“滑动”到旁边以显露统一资源标识符和上下文信息。然后，用户可以通过选择统一资源标识符来选择启动本机应用(或者安装并启动本机应用)，或者可以改为查看上下文信息并与上下文信息交互。
图3是其中为活动内容提供上下文信息的示例环境的框图。环境300包括用户设备110上的客户端上下文模块310和上下文信息服务器312。上下文信息服务器312包括项目标识引擎320、项目知识图表322、相关性评分引擎330、项目选择引擎340和上下文卡提供商350。
客户端上下文模块310确定用户期望活动内容的上下文信息。响应于确定用户期望活动内容的上下文信息，客户端上下文模块310向上下文信息服务器312生成对活动内容的上下文信息的请求。
客户端上下文模块310可以将关于活动内容的信息包括在请求中。例如，客户端上下文模块310可以生成活动内容的屏幕截图，提供定义当前正在前景中的应用中呈现的内容的基于树的文档对象模型，并且将该模型包括在请求中等。
在一些实施方式中，客户端上下文模块310可以通过另外地或可选地确定关于请求的附加信息并将附加信息包括在请求中，来将关于活动内容的信息包括在请求中。关于请求的附加信息可以包括活动内容的统一资源标识符、描述活动内容的元数据等中的一个或多个。
然后，客户端上下文模块310向项目标识引擎320提供请求，而无需用户输入查询。例如，客户端上下文模块310响应于用户提供用户期望活动内容的上下文信息的指示(例如，三次快速按压按钮、长按按钮或一些其他指示)而向项目标识引擎320提供请求，而无需用户在提供指示之后提供任何进一步信息(例如，查询术语)。
响应于向项目标识引擎320提供请求，客户端上下文模块320接收上下文卡并呈现上下文卡。例如，可以接收和显示图1A和图1B的上下文卡160。
为了生成卡160，项目标识引擎320接收对上下文信息的请求，并且从活动资源中的内容标识一个或多个搜索项。搜索项可以由文本片段(例如，术语或短语)引用，并且搜索项可以彼此区分(例如基于上下文)。例如，搜索项可以是关键字，以及特定实体、专有名称、由知识图表中的节点或边缘建模的实体或关系的实例等。
相关性评分引擎330可以接收由项目标识引擎320标识的搜索项，并且确定搜索项中的每一个的相关性评分。可以使用各种相关性评分过程。例如，相关性评分可以反映搜索项与用户相关的置信度，即，用户希望看到关于搜索项的上下文信息的置信度。相关性评分引擎330还可以基于文本的外观来确定搜索项的相关性评分，搜索项是从文本的外观标识的。例如，相关性评分引擎330可以确定活动内容是文本消息对话，并且作为响应，确定相关性评分，该相关性评分反映从看起来更靠近屏幕底部的文本标识的搜索项的更高置信度，因为该文本可能包括在更加近期的消息中。在另一示例中，相关性评分引擎330可以确定活动内容是申请者实例，作为响应，确定相关性评分，该相关性评分反映从看起来更靠近屏幕顶部的文本标识的搜索项的更高置信度，因为该文本可能与本机应用更相关。也可以使用其他评分技术。
项目选择引擎340根据相关性评分选择搜索项的子集，并将选择搜索项提供给上下文卡提供商350。上下文卡提供商350可以获得包括所选搜索项的上下文信息的上下文卡，并且将上下文卡提供给客户端上下文模块310。例如，上下文卡提供商350可以获得本机应用的描述、以及到本机应用的评论的链接，并且然后生成包括描述和到评论的链接的上下文信息卡160。
在这里讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供机会以控制程序或特征是否收集用户信息(例如，关于用户的社交网络的信息、社交动作或活动、职业、用户的偏好或用户的当前位置)，或控制是否和/或如何从内容服务器接收可能与用户更相关的内容。另外，某些数据可以在其存储或使用之前以一种或多种方式处理，以便移除个人可识别信息。例如，可以处理用户的身份，使得不能确定用户的个人身份信息，或者可以在获得位置信息的地方概括用户的地理位置(诸如城市、ZIP码或州级)，使得不能确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息并由内容服务器使用。
图4是示例移动计算设备的框图。在该图示中，移动计算设备410被描绘为手持移动电话(例如，智能手机或应用电话)，其包括用于向移动计算设备410的用户呈现内容并接收基于触摸的用户输入的触摸屏显示设备412。还可以提供其他视觉、触觉和听觉输出组件(例如，LED灯，用于触觉输出的振动机构，或用于提供音调、语音生成的或记录的输出的扬声器)，以及各种不同的输入组件。
以显示设备412的形式的示例视觉输出机构可以采取具有电阻或电容触摸能力的显示器的形式。显示设备可以用于显示视频、图形、图像和文本，以及用于协调用户触摸输入位置与所显示的信息的位置，使得设备410可以将所显示的项的位置处的用户接触与项相关联。移动计算设备410还可以采取替换形式，包括作为膝上型计算机、平板电脑或平板计算机、个人数字助理、嵌入式系统(例如，汽车导航系统)、台式个人计算机或计算机化工作站。
移动计算设备410可以能够确定与触摸屏显示设备412的物理接触的位置(例如，通过手指或触笔的接触的位置)。使用触摸屏412，可以产生各种“虚拟”输入机构，其中用户通过接触图形用户接口元素与触摸屏512上描绘的图形用户接口元素交互。“虚拟”输入机构的示例是“软件键盘”，其中键盘显示在触摸屏上，并且用户通过按压与每个键相对应的触摸屏412的区域来选择键。
移动计算设备410可以包括机械或触敏按钮418a-d。另外，移动计算设备可以包括用于调整由一个或多个扬声器420输出的音量的按钮，以及用于接通或断开移动计算设备的按钮。麦克风422允许移动计算设备410将可听声音转换为可以被数字编码并存储在计算机可读存储器中，或者传输到另一计算设备的电信号。移动计算设备410还可以包括数字罗盘、加速度计、接近传感器以及环境光传感器。
操作系统可以提供移动计算设备的硬件(例如，输入/输出机制和运行从计算机可读介质检索的指令的处理器)和软件之间的接口。操作系统可以提供用于运行促进计算设备和用户之间的交互的应用程序的平台。
移动计算设备410可以利用触摸屏412呈现图形用户接口。图形用户接口是一个或多个图形接口元素的集合，并且可以是静态的(例如，显示看起来在一段时间内保持相同)，或者可以是动态的(例如，图形用户接口包括在没有用户输入的情况下活动的图形接口元素)。
图形接口元素可以是文本、线条、形状、图像或其组合。例如，图形接口元素可以是显示在桌面上的图标以及图标的相关联文本。在一些示例中，图形接口元素可利用用户输入来选择。例如，用户可以通过按压与图形接口元素的显示相对应的触摸屏的区域来选择图形接口元素。在一些示例中，用户可以操纵轨迹球以将单个图形接口元素突出显示为具有焦点。对图形接口元素的用户选择可以调用移动计算设备的预定义动作。对按钮的用户选择可以调用预定义动作。
移动计算设备410可以包括其他应用、计算子系统以及硬件。语音识别服务472可以接收由移动计算设备的麦克风422接收的语音通信数据，并将语音通信转换成对应的文本数据或执行语音识别。处理后的语音数据可以输入到存储在命令模型数据122中的命令模型，以确定用于生成语音数据的语音输入是否如上所述调用特定应用的特定动作。下面的应用、服务和单元中的一个或多个可以具有由这样的语音命令调用的对应动作。
呼叫处理单元可以接收对呼入电话呼叫的指示并向用户提供应答呼入电话呼叫的能力。媒体播放器可以允许用户收听音乐或播放存储在移动计算设备410的本地存储器中的电影。移动设备410可以包括数字相机传感器、以及对应的图像和视频捕获和编辑软件。互联网浏览器可以使得用户能够通过键入与网页相对应的地址或选择到网页的链接来查看来自网页的内容。
操作基站的网络的服务提供商可以将移动计算设备410连接到网络450，以使得移动计算设备410和提供服务460的其他计算系统之间能够进行通信。虽然可以通过不同的网络(例如，服务提供商的内部网络、公共交换电话网和互联网)提供服务460，但是网络450被示出为单个网络。服务提供商可以操作在移动计算设备410和与服务460相关联的计算系统之间路由信息分组和语音数据的服务器系统452。
网络450可以将移动计算设备410连接到公共交换电话网(Public SwitchedTelephone Network，PSTN)462，以便在移动计算设备410和另一个计算设备之间建立语音或传真通信。例如，服务提供商服务器系统452可以从PSTN 462接收对移动计算设备410的呼入呼叫的指示。相反，移动计算设备410可以使用与可通过PSTN 462访问的设备相关联的电话号码向服务提供商服务器系统452发送通信以发起电话呼叫。
网络450可以将移动计算设备410与通过IP网络而不是PSTN路由语音通信的互联网协议语音(Voice over Internet Protocol，VoIP)服务464连接。例如，移动计算设备410的用户可以调用VoIP应用并使用程序发起呼叫。服务提供商服务器系统452可以将语音数据从呼叫转发到VoIP服务，VoIP服务可以通过互联网将呼叫路由到对应的计算设备，可能使用PSTN进行最后一段连接。
应用商店466可以向移动计算设备410的用户提供浏览远程存储的应用程序列表的能力，用户可以通过网络450下载这些应用程序并将其安装在移动计算设备410上。应用商店466可以用作由第三方应用开发者开发的应用的存储库。安装在移动计算设备410上的应用程序可以能够通过网络450与为应用程序指定的服务器系统通信。例如，可以从应用商店466下载VoIP应用程序，使得用户能够与VoIP服务464通信。
移动计算设备410可以通过网络450访问互联网468上的内容。例如，移动计算设备410的用户可以调用网络浏览器应用，该网络浏览器应用从可在指定的通用资源位置处访问的远程计算设备请求数据。在各种示例中，服务460中的一些可通过互联网访问。
移动计算设备410可以与个人计算机470通信。例如，个人计算机470可以是移动计算设备410的用户的家用计算机。因此，用户可以能够从他的个人计算机470流式传输(stream)媒体。用户还可以查看他的个人计算机470的文件结构，并在计算机化的设备之间传输所选文档。
移动计算设备410可以与社交网络474通信。社交网络可以包括许多成员，其中该许多成员中的一些已同意作为熟人(acquaintance)而相关。移动计算设备410上的应用程序可以访问社交网络474以基于移动计算设备的用户的熟人来检索信息。例如，“地址簿”应用程序可以检索用户的熟人的电话号码。在各种示例中，可以基于从用户到成员的社交网络图表中的其他成员的社交网络距离和连接关系来将内容递送到移动计算设备410。例如，可以基于“靠近”用户的成员(例如，作为“朋友”或“朋友的朋友”的成员)与这样的内容的交互水平，为用户选择广告和新闻文章内容。
移动计算设备410可以通过网络450访问个人联系人集476。每个联系人可以标识个人并包括关于该个人的信息(例如，电话号码、电子邮件地址以及生日)。因为联系人集被远程托管到移动计算设备40，所以用户可以跨多个设备访问和维护联系人476作为公共联系人集。
移动计算设备410可以访问基于云的应用程序478。云计算提供从移动计算设备410远程托管并可以使用网络浏览器或专用程序由设备410访问的应用程序(例如，文字处理器或电子邮件程序)。
地图服务480可以向移动计算设备40提供街道地图、路线规划信息和卫星图像。地图服务480还可以接收查询并返回位置特定的结果。例如，移动计算设备410可以向地图服务480发送移动计算设备的估计位置和对于“披萨店”的用户输入的查询。地图服务480可以返回具有叠加在地图上“标记”的街道地图，该“标记”标识附近的“披萨店”的地理位置。
路线规划(turn-by-turn)服务482可以向移动计算设备410提供到用户提供的目的地的路线规划指引。例如，路线规划服务482可以将设备的估计位置的街道级视图与用于提供指引设备410的用户到目的地的音频命令和叠加箭头的数据一起流式传输到设备410。
移动计算设备410可以请求各种形式的流媒体484。例如，计算设备410可以请求用于预先录制的视频文件、直播电视节目或直播无线电节目的流。
微博服务486可以从移动计算设备410接收不标识帖子的接收方的用户输入的帖子。微博服务486可以将帖子传播给同意订阅用户的微博服务486的其他成员。
搜索引擎488可以从移动计算设备410接收用户输入的文本或口头查询，确定响应于查询的互联网可访问文档的集合，以及向设备410提供信息以显示响应文档的搜索结果列表。在接收到口头查询的示例中，语音识别服务472可以将所接收的音频翻译成发送到搜索引擎的文本查询。
这些和其他服务可以在服务器系统852中实施。服务器系统可以是提供服务或服务的集合的硬件和软件的组合。例如，物理分离并联网的计算机化设备的集合可以一起作为逻辑服务器系统单元操作，以处理向数百个计算设备提供服务所必需的操作。服务器系统在本文也称为计算系统。
在各种实施方式中，如果先前操作不成功(例如，如果未执行确定)，则不执行“响应于”或“由于”另一操作(例如，确定或标识)而执行的操作。“自动”执行的操作是在没有用户干预(例如，干预用户输入)的情况下执行的操作。使用条件语言描述的本文档中的特征可以描述可选的实施方式。在一些示例中，从第一设备“传输”到第二设备包括第一设备将数据放入网络中以由第二设备接收，但是可以不包括接收数据的第二设备。相反，从第一设备“接收”可以包括从网络接收数据，但是可以不包括发送数据的第一设备。
由计算系统“确定”可以包括请求另一设备执行确定并向计算系统提供结果的计算系统。此外，由计算系统“显示”或“呈现”可以包括计算系统发送数据用于使得另一设备显示或呈现所引用的信息。
本说明书中描述的主题和操作的实施例可以在数字电子电路中实施，或者在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中实施，或者在它们中的一个或多个的组合中实施。本说明书中描述的主题的实施例可以实施为编码在计算机存储介质上用于由数据处理装置运行或控制数据处理装置的操作的一个或多个计算机程序，即，计算机程序指令的一个或多个模块。可选地或另外地，程序指令可以编码在被生成以编码信息用于传输到合适的接收器装置用于由数据处理装置运行的人工生成的传播信号上，例如，机器生成的电、光或电磁信号。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合或被包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理组件或介质(例如，多个CD、磁盘或其他存储设备)或被包括在一个或多个单独的物理组件或介质(例如，多个CD、磁盘或其他存储设备)中。
本说明书中描述的操作可以实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
术语“数据处理装置”包含用于处理数据的所有类型的装置、设备和机器，包括例如可编程处理器、计算机、片上系统、或前述中的多个或组合。装置可以包括专用逻辑电路，例如，FPGA(Field Programmable Gate Array，现场可编程门阵列)或ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或它们中的一个或多个的组合的代码。装置和运行环境可以实现各种不同的计算模型基础结构，诸如网络服务、分布式计算和网格计算基础结构。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言、声明或过程语言)编写，并且可以以任何形式(包括作为独立程序或作为适用于计算环境的模块、组件、子例程、对象或其他单元)部署。计算机程序可以但不必与文件系统中的文件相对应。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于所讨论的程序的单个文件中、或者在多个协调文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可以被部署以在一个计算机上、或在位于一个站点处或跨多个站点分布并通过通信网络互连的多个计算机上运行。
本说明书中描述的过程和逻辑流程可以由运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作的一个或多个可编程处理器执行。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以实施为专用逻辑电路。
适合于运行计算机程序的处理器包括例如通用微处理器和专用微处理器两者、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)或可操作地耦合为从用于存储数据的一个或多个大容量存储设备接收数据或向用于存储数据的一个或多个大容量存储设备传送数据或两者。然而，计算机不需要具有这样的设备。此外，计算机可以嵌入另一设备中，例如，移动电话、个人数字助理(Personal Digital Assistant，PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(Global Positioning System，GPS)接收器或便携式存储设备(例如，通用串行总线(Universal Serial Bus，USB)闪存驱动器)，仅举几例。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备(例如，EPROM、EEPROM和闪速存储器设备)；磁盘(例如，内部硬盘或可移动磁盘)；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在具有用于向用户提供信息的显示设备(例如，CRT(Cathode Ray Tube，阴极射线管)或LCD(Liquid CrystalDisplay，液晶显示器)监视器)和用户可以通过其向计算机提供输入的键盘以及定点设备(例如，鼠标或跟踪球)的计算机上实施。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学、话音或触觉输入。另外，计算机可以通过向由用户使用的设备发送文档和从由用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求向用户的用户设备上的网络浏览器发送网页。
本说明书中描述的主题的实施例可以在包括后端组件(例如，作为数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有用户可以通过其与本说明书描述的实施方式交互的图形用户接口或网络浏览器的用户计算机)，或一个或多个这样的后端组件、中间件组件或前端组件的任何组合的计算系统中实施。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(Local Area Network，“LAN”)和广域网(Wide Area Network，“WAN”)、互联网络(例如，互联网)、以及对等网络(例如，ad hoc对等网络)。
计算系统可以包括用户和服务器。用户和服务器通常彼此远离，并且一般通过通信网络交互。用户和服务器的关系借助于在各个计算机上运行并且彼此具有用户-服务器关系的计算机程序而出现。在一些实施例中，服务器将数据(例如，HTML页面)传输给用户设备(例如，为了向与用户设备交互的用户显示数据并从与用户设备交互的用户接收用户输入的目的)。可以从服务器处的用户设备接收在用户设备处生成的数据(例如，用户交互的结果)。
虽然本说明书包含许多具体的实施方式细节，但这些不应被解释为对任何发明或可能要求保护的内容的范围的限制，而是特定于特定发明的特定实施例的特征的描述。单独的实施例的上下文中的在本说明书中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从所要求保护的组合删除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或以先后顺序执行这些操作或者执行所有示出的操作来实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或打包为多个软件产品。
因此，已经描述了主题的特定实施例。其他实施例在以下权利要求的范围内。在一些情况下，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。另外，附图中描绘的过程不一定需要所示的特定顺序或先后顺序来实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (16)

1.一种在用户设备中实施的计算机实施的方法，所述方法包括：
在所述用户设备的显示器上显示可以显示多个不同环境实例的本机应用的特定环境实例，其中，所述本机应用是可操作以生成用于在所述用户设备上的本机应用内显示的环境实例的应用，并且独立于可以在所述用户设备上操作的浏览器应用而操作；
当所述特定环境实例是所述显示器的活动焦点时，在所述用户设备处接收单个输入操作系统命令，所述单个输入操作系统命令是独立于所述本机应用而调用的命令；
响应于所述单个输入操作系统命令：
所述用户设备生成对与本机应用相关的上下文信息的独立于查询的请求；以及
在所述显示器上显示包括共享命令的上下文信息卡，其中，所述上下文信息卡包括从搜索系统接收的上下文信息，并且所述上下文信息响应于对所述上下文信息的独立于查询的请求；
响应于对所述共享命令的选择：
确定指定与所述用户设备分开的接收方设备的接收方地址；
生成所述本机应用的特定环境实例的屏幕截图；
选择在所述屏幕截图中捕获的所述本机应用的特定环境实例的统一资源标识符；
生成包括所述特定环境实例的屏幕截图和所述统一资源标识符的消息；以及
向所述接收方地址发送包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息；
其中，所述统一资源标识符使得接收方设备能够实例化在屏幕截图中捕获的本机应用的特定环境实例。
2.根据权利要求1所述的计算机实施的方法，其中，生成包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息包括将所述统一资源标识符嵌入所述屏幕截图的图像元数据中，其中，在接收所述消息的用户设备处响应于所述屏幕截图上的导航命令，所述用户设备将在由所述统一资源标识符寻址的所述特定环境实例处实例化所述本机应用。
3.根据权利要求1所述的计算机实施的方法，其中，生成包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息包括将所述统一资源标识符和所述屏幕截图包括为分开显示的单独项，并且其中，在接收所述消息的用户设备处响应于所述统一资源标识符上的导航命令，所述用户设备将在由所述统一资源标识符寻址的所述特定环境实例处实例化所述本机应用。
4.根据权利要求1至3中任一项所述的计算机实施的方法，其中，选择所述本机应用的特定环境实例的统一资源标识符包括从最近使用的统一资源标识符的用户设备高速缓存中选择所述统一资源标识符。
5.根据权利要求1至3中任一项所述的计算机实施的方法，其中，选择所述本机应用的特定环境实例的统一资源标识符包括由所述用户设备的操作系统并且从所述本机应用请求所述特定环境实例的统一资源标识符。
6.一种用户设备，包括：
数据处理装置；
显示设备；以及
非暂时性计算机可读存储介质，与所述数据处理装置进行数据通信并且存储可由所述数据处理装置运行的指令，并且在所述指令由所述数据处理装置如此运行时使得所述数据处理装置执行操作，所述操作包括：
在所述用户设备的显示器上显示可以显示多个不同环境实例的本机应用的特定环境实例，其中，所述本机应用是可操作以生成用于在所述用户设备上的本机应用内显示的环境实例的应用，并且独立于可以在所述用户设备上操作的浏览器应用而操作；
当所述特定环境实例是所述显示器的活动焦点时，在所述用户设备处接收单个输入操作系统命令，所述单个输入操作系统命令是独立于所述本机应用而调用的命令；
响应于所述单个输入操作系统命令：
生成对与本机应用相关的上下文信息的独立于查询的请求；以及
在所述显示器上显示包括共享命令的上下文信息卡，其中，所述上下文信息卡包括从搜索系统接收的上下文信息，并且所述上下文信息响应于对所述上下文信息的独立于查询的请求；
响应于对所述共享命令的选择：
确定指定与所述用户设备分开的接收方设备的接收方地址；
生成所述本机应用的特定环境实例的屏幕截图；
选择在所述屏幕截图中捕获的所述本机应用的特定环境实例的统一资源标识符；
生成包括所述特定环境实例的屏幕截图和所述统一资源标识符的消息；以及
向所述接收方地址发送包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息，
其中，所述统一资源标识符使得接收方设备能够实例化在屏幕截图中捕获的本机应用的特定环境实例。
7.根据权利要求6所述的用户设备，其中，生成包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息包括将所述统一资源标识符嵌入所述屏幕截图的图像元数据中，其中，在接收所述消息的用户设备处响应于所述屏幕截图上的导航命令，所述用户设备将在由所述统一资源标识符寻址的所述特定环境实例处实例化所述本机应用。
8.根据权利要求6所述的用户设备，其中，生成包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息包括将所述统一资源标识符和所述屏幕截图的图像元数据包括为分开显示的单独项，并且其中，在接收所述消息的用户设备处响应于所述统一资源标识符上的导航命令，所述用户设备将在由所述统一资源标识符寻址的所述特定环境实例处实例化所述本机应用。
9.根据权利要求6至8中任一项所述的用户设备，其中，选择所述本机应用的特定环境实例的统一资源标识符包括从最近使用的统一资源标识符的用户设备高速缓存中选择所述统一资源标识符。
10.根据权利要求6至8中任一项所述的用户设备，其中，选择所述本机应用的特定环境实例的统一资源标识符包括由所述用户设备的操作系统并且从所述本机应用请求所述特定环境实例的统一资源标识符。
11.一种存储可由用户设备运行的指令的非暂时性计算机可读存储介质，在所述指令由所述用户设备如此运行时使得所述用户设备执行操作，所述操作包括：
在所述用户设备的显示器上显示可以显示多个不同环境实例的本机应用的特定环境实例，其中，所述本机应用是可操作以生成用于在所述用户设备上的本机应用内显示的环境实例的应用，并且独立于可以在所述用户设备上操作的浏览器应用而操作；
当所述特定环境实例是所述显示器的活动焦点时，在所述用户设备处接收单个输入操作系统命令，所述单个输入操作系统命令是独立于本机应用而调用的命令；
响应于所述单个输入操作系统命令：
所述用户设备生成对与本机应用相关的上下文信息的独立于查询的请求；以及
在所述显示器上显示包括共享命令的上下文信息卡，其中，所述上下文信息卡包括从搜索系统接收的上下文信息，并且所述上下文信息响应于对所述上下文信息的独立于查询的请求；
响应于对所述共享命令的选择：
确定指定与所述用户设备分开的接收方设备的接收方地址；
生成所述本机应用的特定环境实例的屏幕截图；
选择在所述屏幕截图中捕获的所述本机应用的特定环境实例的统一资源标识符；
生成包括所述特定环境实例的屏幕截图和所述统一资源标识符的消息；以及
向所述接收方地址发送包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息，
其中，所述统一资源标识符使得接收方设备能够实例化在屏幕截图中捕获的本机应用的特定环境实例。
12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，生成包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息包括将所述统一资源标识符嵌入所述屏幕截图的图像元数据中，其中，在接收所述消息的用户设备处响应于所述屏幕截图上的导航命令，所述用户设备将在由所述统一资源标识符寻址的所述特定环境实例处实例化所述本机应用。
13.根据权利要求11所述的非暂时性计算机可读存储介质，其中，生成包括所述上下文信息、所述特定环境实例的屏幕截图和所述统一资源标识符的消息包括将所述统一资源标识符和所述屏幕截图的图像元数据包括为分开显示的单独项，以及其中，在接收所述消息的用户设备处响应于所述统一资源标识符上的导航命令，所述用户设备将在由所述统一资源标识符寻址的所述特定环境实例处实例化所述本机应用。
14.根据权利要求11至13中任一项所述的非暂时性计算机可读存储介质，其中，选择所述本机应用的特定环境实例的统一资源标识符包括从最近使用的统一资源标识符的用户设备高速缓存中选择所述统一资源标识符。
15.根据权利要求11至13中任一项所述的非暂时性计算机可读存储介质，其中，选择所述本机应用的特定环境实例的统一资源标识符包括由所述用户设备的操作系统并且从所述本机应用请求所述特定环境实例的统一资源标识符。
16.一种计算机程序，其中，当所述计算机程序由处理器执行时，被安排为执行根据权利要求1至5中任一项所述的方法。
CN201780069465.4A 2016-09-19 2017-08-31 用于上下文信息显示的统一资源标识符和图像共享 Active CN109964457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110335776.9A CN113127671A (zh) 2016-09-19 2017-08-31 用于上下文信息显示的统一资源标识符和图像共享

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/269,238 2016-09-19
US15/269,238 US10212113B2 (en) 2016-09-19 2016-09-19 Uniform resource identifier and image sharing for contextual information display
PCT/US2017/049547 WO2018052720A1 (en) 2016-09-19 2017-08-31 Uniform resource identifier and image sharing for contextual information display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110335776.9A Division CN113127671A (zh) 2016-09-19 2017-08-31 用于上下文信息显示的统一资源标识符和图像共享

Publications (2)

Publication Number Publication Date
CN109964457A CN109964457A (zh) 2019-07-02
CN109964457B true CN109964457B (zh) 2021-04-06

Family

ID=59858792

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110335776.9A Pending CN113127671A (zh) 2016-09-19 2017-08-31 用于上下文信息显示的统一资源标识符和图像共享
CN201780069465.4A Active CN109964457B (zh) 2016-09-19 2017-08-31 用于上下文信息显示的统一资源标识符和图像共享

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110335776.9A Pending CN113127671A (zh) 2016-09-19 2017-08-31 用于上下文信息显示的统一资源标识符和图像共享

Country Status (5)

Country Link
US (3) US10212113B2 (zh)
EP (1) EP3516831B1 (zh)
CN (2) CN113127671A (zh)
DE (1) DE202017105336U1 (zh)
WO (1) WO2018052720A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170380B1 (en) 2017-05-26 2021-11-09 Attentive Mobile Inc. Methods and apparatus for mobile device messaging-based communications using custom-generated deeplinks and based on the hyper text transfer protocol (HTTP)
US11165726B2 (en) * 2019-10-23 2021-11-02 Sap Se Contextual sharing for screen share
US11714872B2 (en) * 2021-06-29 2023-08-01 Microsoft Technology Licensing, Llc Efficiently accessing references to recently used resources

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052762A (zh) * 2013-03-11 2014-09-17 腾讯科技（深圳）有限公司 数据共享的方法、装置及系统

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010053968A1 (en) 2000-01-10 2001-12-20 Iaskweb, Inc. System, method, and computer program product for responding to natural language queries
US20130024812A1 (en) * 2011-07-13 2013-01-24 Z124 Foreground/background assortment of hidden windows
US7389181B2 (en) 2004-08-31 2008-06-17 Visre, Inc. Apparatus and method for producing video drive-by data corresponding to a geographic location
US7996419B2 (en) 2004-03-31 2011-08-09 Google Inc. Query rewriting with entity detection
US8606781B2 (en) 2005-04-29 2013-12-10 Palo Alto Research Center Incorporated Systems and methods for personalized search
US7788266B2 (en) 2005-08-26 2010-08-31 Veveo, Inc. Method and system for processing ambiguous, multi-term search queries
US20070060114A1 (en) 2005-09-14 2007-03-15 Jorey Ramer Predictive text completion for a mobile communication facility
KR100828539B1 (ko) 2005-09-20 2008-05-13 후지제롯쿠스 가부시끼가이샤 이차원 코드의 검출 방법, 검출 장치, 및 검출 프로그램을기억한 기억 매체
US7917286B2 (en) 2005-12-16 2011-03-29 Google Inc. Database assisted OCR for street scenes and other images
US20070192734A1 (en) 2006-02-16 2007-08-16 Viktors Berstis Methods and arrangements to control pop-up windows
US7818315B2 (en) 2006-03-13 2010-10-19 Microsoft Corporation Re-ranking search results based on query log
US7818332B2 (en) 2006-08-16 2010-10-19 Microsoft Corporation Query speller
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US8254568B2 (en) * 2007-01-07 2012-08-28 Apple Inc. Secure booting a computing device
US20080270110A1 (en) 2007-04-30 2008-10-30 Yurick Steven J Automatic speech recognition with textual content input
US8407605B2 (en) * 2009-04-03 2013-03-26 Social Communications Company Application sharing
US8321406B2 (en) 2008-03-31 2012-11-27 Google Inc. Media object query submission and response
US8984390B2 (en) 2008-09-15 2015-03-17 Palantir Technologies, Inc. One-click sharing for screenshots and related documents
US8391618B1 (en) 2008-09-19 2013-03-05 Adobe Systems Incorporated Semantic image classification and search
US20100229045A1 (en) * 2009-03-09 2010-09-09 Quantia Communications, Inc. Computer Method and Apparatus Providing Invocation of Device-Specific Application Through a Generic HTTP Link
US20100306249A1 (en) 2009-05-27 2010-12-02 James Hill Social network systems and methods
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US8670597B2 (en) 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8528066B2 (en) * 2009-08-25 2013-09-03 Microsoft Corporation Methods and apparatus for enabling context sharing
US8515185B2 (en) 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US9852156B2 (en) 2009-12-03 2017-12-26 Google Inc. Hybrid use of location sensor data and visual query to return local listings for visual query
US8543675B1 (en) * 2009-12-17 2013-09-24 Amazon Technologies, Inc. Consistent link sharing
US8421766B2 (en) * 2010-02-12 2013-04-16 Acer Incorporated Visualized information conveying system
US9135305B2 (en) 2010-03-24 2015-09-15 Google Inc. Ranking object search results
US8392435B1 (en) 2010-04-14 2013-03-05 Google Inc. Query suggestions for a document based on user history
US8316019B1 (en) 2010-06-23 2012-11-20 Google Inc. Personalized query suggestions from profile trees
US8583795B2 (en) * 2010-08-09 2013-11-12 Mskynet Inc. URI service system and method
US8788434B2 (en) 2010-10-28 2014-07-22 Google Inc. Search with joint image-audio queries
US8473433B2 (en) 2010-11-04 2013-06-25 At&T Intellectual Property I, L.P. Systems and methods to facilitate local searches via location disambiguation
US20120191745A1 (en) 2011-01-24 2012-07-26 Yahoo!, Inc. Synthesized Suggestions for Web-Search Queries
US20120215533A1 (en) 2011-01-26 2012-08-23 Veveo, Inc. Method of and System for Error Correction in Multiple Input Modality Search Engines
US20130055078A1 (en) * 2011-08-24 2013-02-28 Salesforce.Com, Inc. Systems and methods for improved navigation of a multi-page display
WO2013029230A1 (en) * 2011-08-30 2013-03-07 Nokia Corporation Method and apparatus for phonebook-based application sharing
US20130111001A1 (en) 2011-10-31 2013-05-02 Brocade Communications Systems, Inc. System And Method For Creating And Communicating Freely Associated Collection To Share Information
TWI544350B (zh) 2011-11-22 2016-08-01 Inst Information Industry Input method and system for searching by way of circle
US20130207982A1 (en) * 2012-02-14 2013-08-15 Appgyver Oy Method and System for Rendering an Application View on a Portable Communication Device
WO2013134616A1 (en) * 2012-03-09 2013-09-12 RAPsphere, Inc. Method and apparatus for securing mobile applications
KR101899548B1 (ko) 2012-04-16 2018-09-17 삼성전자 주식회사 휴대단말에서 피드 정보 수집 방법 및 장치
US8984012B2 (en) 2012-06-20 2015-03-17 Microsoft Technology Licensing, Llc Self-tuning alterations framework
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US9699271B2 (en) * 2013-01-29 2017-07-04 Blackberry Limited Method and apparatus for suspending screen sharing during confidential data entry
US9116952B1 (en) 2013-05-31 2015-08-25 Google Inc. Query refinements using search data
US9135346B2 (en) * 2013-06-07 2015-09-15 Google Inc. Index data for native applications
US9342567B2 (en) 2013-08-23 2016-05-17 International Business Machines Corporation Control for persistent search results and iterative searching
KR102108069B1 (ko) 2014-01-22 2020-05-08 엘지전자 주식회사 이동단말기 및 그 제어방법
US10430487B2 (en) * 2014-04-04 2019-10-01 Paypal, Inc. System and method to share content utilizing universal link format
CN104978117B (zh) * 2014-04-11 2018-11-09 阿里巴巴集团控股有限公司 一种实现截屏的方法和装置
US9830391B1 (en) 2014-06-24 2017-11-28 Google Inc. Query modification based on non-textual resource context
WO2016057188A1 (en) * 2014-10-09 2016-04-14 Wrap Media, LLC Active receipt wrapped packages accompanying the sale of products and/or services
US10203933B2 (en) 2014-11-06 2019-02-12 Microsoft Technology Licensing, Llc Context-based command surfacing
US20170010790A1 (en) * 2015-07-09 2017-01-12 Quixey, Inc. Multi-State Card Sharing Button
DE112016003352T5 (de) * 2015-07-24 2018-04-12 Max Andaker Reibungslose Benutzeroberfläche für virtuelle Kollaboration, Kommunikation und Cloud-Computing
CN108605049A (zh) * 2015-12-29 2018-09-28 三星电子株式会社 用于用户设备的基于应用状态和卡片的消息共享方法
US10237621B2 (en) * 2016-03-24 2019-03-19 Dish Technologies Llc Direct capture and sharing of screenshots from video programming

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052762A (zh) * 2013-03-11 2014-09-17 腾讯科技（深圳）有限公司 数据共享的方法、装置及系统

Also Published As

Publication number Publication date
DE202017105336U1 (de) 2018-02-14
CN109964457A (zh) 2019-07-02
WO2018052720A1 (en) 2018-03-22
CN113127671A (zh) 2021-07-16
US20180083900A1 (en) 2018-03-22
EP3516831A1 (en) 2019-07-31
US11425071B2 (en) 2022-08-23
US20190140992A1 (en) 2019-05-09
US10880247B2 (en) 2020-12-29
EP3516831B1 (en) 2021-10-06
US10212113B2 (en) 2019-02-19
US20210099410A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
US11386915B2 (en) Remote invocation of mobile device actions
US10270862B1 (en) Identifying non-search actions based on a search query
US11425071B2 (en) Uniform resource identifier and image sharing for contextual information display
US12013846B2 (en) Query composition system
US9275034B1 (en) Exceptions to action invocation from parsing rules
US11671383B2 (en) Natural language service interaction through an inbox
US10645052B2 (en) Service integration into electronic mail inbox

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant