CN107533465A - 具有自动化提取的辅助层 - Google Patents

Abstract

一般而言，本公开涉及通过计算设备输出应用的图形用户界面并用于在与所述计算设备操作性耦合的显示组件处显示的技术。所述计算设备从包括在所述图形用户界面中的内容确定场镜数据。所述计算设备至少部分基于所述场镜数据，进一步确定与所述图形用户界面中包括的内容场镜相关的帮助指示。所述计算设备输出所述帮助指示。

Description

具有自动化提取的辅助层

背景技术

计算设备(例如，智能手机，平板电脑，智能手表，活动跟踪器，平视显示组件等)可以输出屏幕内容用于显示。例如，计算设备可以输出包括一个或多个图形元素的图形用户界面(GUI)。计算设备可以允许用户基于各种不同的输入，例如单点触控和多点触控手势、语音输入、定点设备和键盘，与所述设备上的信息交互。为了帮助用户查找信息或执行各种任务，一些计算设备可以作为自动化的个人助理操作。例如，所述计算设备可以输出建议以便减少定位信息或执行任务所需的用户工作量。然而，一些计算设备可能产生与用户的相关性有限的建议。在这样的情况下，用户可能需要花费额外的工作来定位信息或执行任务。

附图说明

图1是根据本公开的一个或多个方面，示出包括计算设备的示例性系统的概念图，所述计算设备基于显示组件的确定的屏幕场镜提供帮助指示。

图2是根据本公开的一个或多个方面，示出示例性计算设备的框图。

图3是根据本公开的一种或多种技术，示出输出屏幕内容以在远程设备处显示的示例性计算设备的框图。

图4是根据本公开的一个或多个方面，示出包括服务器设备的示例性系统的概念图，所述服务器设备基于远程显示组件的确定的屏幕场镜提供帮助指示。

图5是根据本公开的一个或多个方面，示出实现用于确定帮助指示的技术的计算设备的示例性操作的流程图。

具体实施方式

总的说来，本公开涉及基于由显示组件显示的图形用户界面的屏幕场镜来对用户输出帮助指示的技术。例如，计算设备可以提取或以其他方式确定反映显示组件的当前屏幕内容的屏幕场镜数据，并基于所述屏幕场镜数据生成用于宣告的一个或多个帮助指示。通过从用户立即可见的屏幕内容捕获屏幕场镜数据，本公开的技术可以改善所输出的帮助指示的相关性。也就是说，因为在显示组件处显示的内容可能是用户的主焦点，所以使用这样的内容可以改善帮助指示的场镜相关性。

在操作中，所述计算设备可以包括用操作系统权限执行的模块，所述模块遍历某个应用的视图层次以确定所述应用中的哪个特定视图与图形用户界面中的必要内容相关联。替代地，所述计算设备可以捕获图形用户界面的屏幕截图并通过执行对屏幕截图的图像分析来确定屏幕场镜数据。在一些示例中，所述计算设备可以评估所述图形用户界面的一个或多个用户界面元素以确定该元素的对应值，所述计算设备可以将其用作场镜数据。通过基于所述图形用户界面的屏幕内容确定场镜数据，计算设备可以为用户生成更相关的建议和/或决定更可能的接下来的动作。本公开的技术因此可以减少或消除应用开发者将场镜数据明确地编码到应用本身中以便用于产生帮助指示的需要。以这种方式，本公开的技术可以提供从被输出用于显示的任何图形用户界面获得场镜数据的通用途径。

图1是根据本公开的一个或多个方面，示出包括计算设备的示例系统的概念图，所述计算设备基于显示组件的确定的屏幕场镜提供帮助指示。如下面进一步描述的，至少部分基于从包括在被输出用于显示在显示组件的前台或用户选择的位置中的图形用户界面的内容所确定的场镜数据，计算设备可以确定与图形用户界面中包括的内容场镜地相关的帮助指示。

如图1所示，系统102包括计算设备104。在图1的示例中，计算设备104被描述为移动电话。然而，在一些示例中，计算设备104可以是计算机化手表(例如，智能手表)、计算机化眼镜、计算机化头饰、其他类型的可穿戴计算设备、平板计算机，个人数字助理(PDA)、膝上型计算机、游戏系统、媒体播放器、电子书阅读器、电视平台、汽车导航系统、数字照相机、或被配置成控制显示组件的任何其他类型的移动和/或非移动计算设备。如后面将描述的，所述显示组件可以与计算设备104一体化或远程。

在这种实施方式中，计算设备104包括显示组件106、一个或多个应用108、辅助模块110和场镜模块111。模块108、110和111可以利用在计算设备104中驻留和/或执行的软件、硬件、固件、或硬件、软件和/或固件的混合物来执行在本文中所描述的操作。计算设备104可以用一个或多个处理器执行模块108、110和111。在一些示例中，计算设备104可以将模块108、110和111作为在计算设备104的底层硬件上执行的一个或多个虚拟机执行。模块108、110和111可以作为104的操作系统或计算平台的一个或多个服务或组件执行。模块108、110和111可以作为一个或多个可执行程序在计算设备104的计算平台的应用层上以操作系统权限或者访问计算设备104的运行时库执行。在一些示例中，显示组件106、应用108和/或模块110和111可远程布置到并可远程访问计算设备104，例如，经由计算设备104与一个或多个远程网络设备的交互。

计算设备104的显示组件106可以包括用于计算设备104的相应输入和/或输出组件。在一些示例中，显示组件106可以利用存在敏感型输入组件例如电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投影电容触摸屏、压敏屏、声学脉冲识别触摸屏、或其他显示组件技术来起到输入组件的作用。显示组件106还可以包括可根据本公开的一种或多种技术在图形用户界面中输出内容的显示组件，例如液晶显示设备(LCD)、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水、或能够向计算设备104的用户输出可见信息的类似的单色或彩色显示器。

在一些示例中，显示组件106的存在敏感输入组件从计算设备104的用户接收触觉输入。显示组件106的存在敏感输入组件可以通过检测来自用户的一个或多个手势(例如，用户用手指或触控笔触控或点击显示组件106的一个或多个位置)来接收触觉输入的指示。显示组件106的显示组件可以向用户呈现输出。显示组件106的显示组件可以将所述输出作为图形用户界面(例如，基于通知数据查看警报的用户界面)呈现，其可以与计算设备104提供的功能性相关联。例如，显示组件106的显示组件可以呈现与在计算设备104处执行或可访问的计算平台、操作系统、应用和/或服务(例如，通知服务、电子消息应用、互联网浏览器应用、移动或桌面操作系统等)的功能性相关的各种用户界面。用户可以与在显示组件106处呈现的用户界面交互，以导致计算设备104执行与功能相关的操作。

如图1所示，计算设备104可以包括一个或多个应用108A-108C，其可以由场镜模块111组织或以其他方式构造在应用列表118中。应用列表118可以是应用108的列表、队列、集合等。在一些示例中，应用列表118可以对其中它们可被循环访问(iterated)的应用施加一个顺序以进行显示。为了确定哪些应用当前正在活动和/或存储在存储器中(并且包括在应用列表118中)，场镜模块111可以在用户空间中执行并访问计算设备104上的操作系统的组件，例如进程表或调度器。在其他示例中，场镜模块111可以作为组件包括在操作系统内。在别的其他示例中，场镜模块111可以查询管理应用列表118的单独的管理器模块，以便从应用列表118确定前台应用。正在运行的应用108可以创建和修改用于控制由显示器106显示的图形用户界面的至少一部分的视图层次130。

场镜模块111可以分析每个正在运行的应用108的视图层次，其中所述视图层次可以作为列表或其他合适的数据结构实现。每个视图层次可以包括对图形用户界面的特定屏幕的每个元素的一组引用。例如，应用的视图层次可以包括对显示文本的文本视图对象的引用，使得所述文本视图对象的各种属性(例如，视图对象标识符、视图对象放置等)可被场镜模块111访问。为了说明，用户可以正在与当前渲染第一图形用户界面的第一应用108A进行交互。用户然后可以执行第一动作，并且第一应用108A通过渲染不同的屏幕进行响应。

根据本公开的一种或多种技术，计算设备104的显示组件106可以输出由包括在应用108中的应用108A指导的图形用户界面112。应用108A包括在计算设备104的应用列表118中的一组应用108中。为了说明，在图1的示例中，计算设备104的显示组件106可以输出图形用户界面112，其可以显示关于餐馆、酒吧或事件的用户请求的信息。在图1的示例中，图形用户界面112包括关于位于田纳西州(TN)Nashville的1234Crunch街道的Allison'sBistro餐厅的信息。图形用户界面112上还有将在星期六举行的Miranda Lambert音乐会的宣传。

计算设备104的场镜模块111可以分析显示组件106的图形用户界面112。在这样做时，场镜模块111可以访问视图层次130。如上所述，场镜模块111可以用操作系统权限操作或者在计算设备104的运行时库中实现或访问该运行时库，所述运行时库允许场镜模块111访问视图层次130并且接收关于作为当前显示的图形用户界面112的一部分的视图对象的信息。在一些示例中，视图对象可以是被输出用于由计算设备显示的任何项。视图对象的示例可以包括但不限于文本信息、图像信息、帧信息、线性信息、模式信息或按钮信息，以及其他属性。在图1的示例中，场镜模块111从视图层次130确定存在三块关键内容：内容114A(来自名为“餐馆_名称_文本(restaurant_name_text)”的视图对象)、内容114B(来自名为“餐馆_地址_文本(restaurant_address_text)”的视图对象)和内容114C(来自名为“事件_信息_文本(event_information_text)”的视图对象)。虽然内容114A-14C各自作为文本显示，但内容114A-14C的底层视图对象可以是如上所述的任何类型的视图对象，并且可以含有非文本内容、文本内容或二者。

对确定应用108A的图形用户界面112被输出用于显示在显示组件106的前台中进行响应，计算设备104的场镜模块111可以从包括在图形用户界面112中的内容114A-114C确定场镜数据，并且任选使用相关的视图对象属性以从内容114A-114C确认或提取附加场镜数据。在图1的示例中，场镜模块111可以为所述三个视图对象中的每一个确定场镜数据。例如，场镜模块111可以确定内容114A包括餐馆的名称。场镜模块111可以确定内容114B包括地址。此外，场镜模块111可以确定内容114C包括恰当的名称和日期。

计算设备104的辅助模块110可以至少部分基于上文确定的场镜数据来确定与图形用户界面112中包括的内容114A-114C场镜相关的帮助指示。在一些示例中，帮助指示可以是至少部分基于场镜数据和内容进行的可能的动作。在一些示例中，帮助指示可以是不仅与所显示的屏幕的内容的场镜数据相关而且与任何底层视图对象属性的场镜数据相关的附加信息。帮助指示的示例可以包括但不限于，基于文本内容114A的审阅、更具体地基于包括单词“bistro”和/或相关视图对象名称为“餐馆_名称_文本”的文本内容114A的餐馆审阅，基于包括单词“bistro”和/或相关视图对象名称为“餐馆_名称_文本”的文本内容114A的文本内容114A的预定，文本内容114C的信息更具体地基于相关视图对象名称为“事件_信息_文本”的票务信息，召唤出租车或运输工具将用户带到基于根据文本内容114C被格式化为地址和/或相关视图对象名称为“餐馆_地址_文本”的文本内容114B的位置，基于文本内容114B的位置的方向，基于事件视图对象的文本内容114C的日历事件，或者针对任何文本或图像视图对象的搜索结果，以仅举几例。

为了进一步说明，在图1中，内容114A反映了指示其是餐馆名称的视图对象的文本。基于这种类型的视图对象及其内容，辅助模块110可以确定用户可能喜欢或发现有用的各种帮助形式，包括去网站预定餐馆或查看餐馆的菜单。要注意，由于视图对象指示“Allison's Bistro”是餐馆名称而不是电影名称，辅助模块110可以使用附加场镜数据来确认“Allison's Bistro”的“Bistro”部分是指餐馆。如果内容114A的视图对象的名称是“电影_名称_文本(movie_name_text)”，则辅助模块110可以附加于或代替餐馆预定指示，提供电影院放映时间指示。在另一个示例中，内容114B反映了指示其是餐馆地址的视图对象的文本。基于这种类型的内容和场镜，辅助模块110可以确定用户可能需要地址的方向或请求出租车将他或她带到该位置。作为反例，如果内容114B的视图对象的名称是“电影_地址_文本(movie_address_text)”，则辅助模块110可以附加于或代替导航或出租车请求指示，在显示组件106上显示的地址处提供电影院放映时间的指示。在又一个示例中，内容114C反映了具有事件信息的视图对象文本。基于这种类型的内容，辅助模块110可以确定用户可能或希望去票务购买网站检查所述事件的余票情况。基于所述内容类型，辅助模块110可以确定关于一个或多个关键的114A-114C内容块的帮助指示。

辅助模块110可以利用计算设备104的显示组件106来输出帮助指示。所述帮助指示可以是任何合适的呈现形式，例如屏幕上的覆盖图、屏幕上的内容附近的覆盖图、图形用户界面内的弹出窗口、或音频指示，仅举几例。例如，如上所述，辅助模块110可以基于包含覆盖在图形用户界面112的顶部边缘的用户界面元素的内容114A生成或发布帮助指示116，其包括允许用户基于餐馆名称的文本内容进行预定的网站链接。与帮助指示116交互可以启动预定应用，启动对所述餐馆的网站的互联网浏览应用，或者导致辅助模块110直接向餐馆、例如向餐馆的远程服务器发送预定请求消息。在另一个示例中，辅助模块110可以生成或发布包括用户界面元素的内容114B的帮助指示，其包围或突出显示内容114B并且当选择时启动出租车应用以召唤车辆将用户带到内容114B中的地址。在又一个示例中，辅助模块110可以生成或发布包括用户界面元素的内容114C的帮助指示，其围绕或突出显示内容114C并且当选择时启动日历应用以将所述事件放入用户的电子日历中。

用户可以用各种方式请求辅助模块110输出。例如，用户可以按下键、执行触控手势例如长按、或者提供语音命令来请求辅助模块指示。通过例如按键来循环运行的应用、通过从所选择的窗口或内容块中拖曳和移除来继续初始触控手势、通过在所选择的窗口内或内容块上轻敲执行第二触控手势、或者提供语音命令指示包括使用代词例如“该”或“它”的请求应用或内容块来指示图形用户界面112上的应用或内容块，用户还可以指定对于场镜数据，内容模块111应该检查哪个应用以及任选哪个内容块。辅助模块110可以请求计算设备104的其他模块执行可以辅助用户完成所推断的动作或任务的信息搜索。辅助模块110可以将信息提供给其他模块以完成任务或委托一个或多个其他计算设备执行所述动作以呈现给用户(例如，作为联网计算设备的用户界面)。

如本文中提到的用户“需求”可以基于用户动作体系的观察(例如，动作日志中例如搜索历史、购买历史、应用使用历史和其他场镜历史等)，被定义为在给定场镜中的用户动作的语义分组模式。注意，这仅仅是简单化论述由辅助模块110使用的模型的示例性定义。因此，通过这种示例性定义，所述任务或动作可能不一定是需要，反而所采取的观察动作或所执行的任务可以是辅助模块110可以用其来推断计算设备104的用户的更一般需求的替代值(proxy)。

总之，辅助模块110可以执行一种或多种机器学习技术来获悉计算设备104的用户对于不同场镜的需求。换句话说，因为辅助模块110可能无法通过执行应用直接获悉计算设备104的用户的需求，因此辅助模块110模拟用户需求。辅助模块110可以从场镜模块111接收场镜信息，并将该信息作为输入提供给所述模型，用于训练该模型以获悉用户对于给定场镜的需求。在训练之后，所述模型可以接收特定场镜作为输入，并作为响应，输出指示一个或多个以前由其他用户为特定场镜执行的任务、动作或其他可观察的行动的指示(例如，数据)。辅助模块110可以将计算设备104的当前场镜输入到模型中，利用辅助模块110推断由给出相似场镜的计算设备104的其他用户通常执行的一个或多个动作。简而言之，辅助模块110可以确定为特定场镜执行的任务的可能性(例如，概率，计数等)的程度是否充分超过为更广泛的场镜执行的任务的可能性程度。以这种方式，如果用户可能必须执行的任务对于特定情况来说是特别与众不同的或者独特的，则辅助模块110可以仅输出需求信息。

虽然已经根据对计算设备104的一种或多种操作描述了图1的技术，但辅助模块110的一种或多种操作可以在远程服务器上执行。场镜模块111可以将场镜数据发送到确定可能的帮助指示的远程服务器，然后将其发送到辅助模块110，辅助模块110负责格式化所述结果并以特定形式(例如覆盖图)将所述结果输出到屏幕。

通过基于在显示组件上显示的图形用户界面的内容来确定场镜，计算设备可以对用户可能的接下来动作做出建议，而不依赖于应用开发者从所述应用明确提供场镜信息。以这种方式，本公开的技术可以为移动设备提供用于确定可能的接下来动作的能力，并对计算设备可以运行的任何应用提供帮助指示，而不需要应用开发者包括任何附加代码，从而简化在计算设备上运行的应用的代码。通过从由应用显示的屏幕提取文本信息和/或图像信息，本公开的技术将所述内容提供给辅助模块，辅助模块使用所述场镜，基于图形用户界面112显示的内容而不是应用开发者通过硬编码场镜信息明确提供的内容，来提供关于可能的接下来动作的帮助指示。在为计算设备提供功能性来确定内容和提供场镜中，应用编码被简化，并且可以用可靠的方式在主要开发者应用和第三方应用之间普遍提供帮助。此外，本公开的技术可以允许帮助对于被输出用于显示的屏幕内容更为广泛。

在整个本公开中，描述了如下的示例，其中计算设备和/或计算系统可以仅在计算设备收到用户的许可以分析与所述计算设备相关联的信息时才能分析所述信息(例如，位置，速度等)。例如，在下面讨论的所述计算设备可以收集或者可以利用与用户相关联的信息的情况下，用户可以得到提供输入的机会来控制所述计算设备的程序或特征是否可以收集和利用用户信息(例如，关于用户当前位置、当前速度等的信息)，或者指示所述计算设备是否和/或如何可以接收可能与用户相关的内容。另外，某些数据在它被计算设备和/或计算系统存储或使用之前可以用一种或多种方式处理，从而消除个人身份信息。例如，可以处理用户的身份，使得不能确定关于用户的个人身份信息，或者在获得位置信息(例如城市、邮政编码或州级)的情况下，可以将用户的地理位置笼统化，使得不能确定用户的具体位置。因而，用户可以控制如何收集关于用户并由所述计算设备使用的信息。

图2是根据本公开的一个或多个方面，示出示例性计算设备的框图。图2仅示出了计算设备204的一个特定示例，并且计算设备204的许多其他示例可以用于其他情况下。

如图2的具体示例所示，计算设备204包括一个或多个处理器205、一个或多个输入组件220、一个或多个通信单元222、一个或多个输出组件224、一个或多个存储设备230、一个或多个传感器226，和显示组件206。在图2的示例中，计算设备204包括应用列表208、辅助模块210、场镜模块211、运行时库232、操作系统234和I/O模块236。组件205、206、220、222、224和226各自可以互连(物理性、通信性和/或操作性)以供组件间通信。在一些示例中，通信信道228可以包括系统总线、网络连接、进程间通信数据结构、或用于交流数据的任何其它信道。作为图2中的一个示例，组件205、206、220、222、224和226可以通过一个或多个通信信道228耦合。应用列表208、辅助模块210、场镜模块211、运行时库232、操作系统234和I/O模块236也可以彼此以及与计算设备204中的其他组件交流信息。

在一个示例中，处理器205被配置为实现功能性和/或处理指令以在计算设备204内执行。例如，处理器205可以能够处理存储在存储设备230中的指令。处理器205的示例可以包括微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效的离散或集成逻辑电路中的任何一种或多种。

一个或多个存储设备230可以被配置为在操作期间在计算设备204内存储信息。在一些示例中，存储设备230被描述为计算机可读存储介质。在一些示例中，存储设备230是临时存储器，这意味着存储设备230的主要目的不是长期存储。在一些示例中，存储设备230被描述为易失性存储器，这意味着当计算设备被关闭时，存储设备230不保留存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、和本领域已知的其它形式的易失性存储器。在一些示例中，存储设备230用于存储由处理器205执行的程序指令。在一个示例中，存储设备230由在计算设备204上运行的软件或应用(例如，应用列表208)用来在程序执行期间临时存储信息。

在一些示例中，存储设备230还包括一个或多个计算机可读存储介质。存储设备230可以配置为比易失性存储器存储更大量的信息。存储设备230可以进一步配置用于长期存储信息。在一些示例中，存储设备230包括非易失性存储元件。这种非易失性存储元件的示例包括磁性硬盘、光盘、软盘、闪速存储器、或者电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。

在一些示例中，计算设备204还包括一个或多个通信单元222。在一个示例中，计算设备204利用通信单元222经由一个或多个网络例如一个或多个有线或无线网络与外部设备通信。通信单元222可以是网络接口卡，例如以太网卡、光收发器、射频收发器、或可以发送和接收信息的任何其他类型的设备。这样的网络接口的示例可以包括蓝牙、红外信令、3G、LTE和Wi-Fi无线电以及通用串行总线(USB)和以太网。在一些示例中，计算设备204利用通信单元222与可操作地耦合到计算设备204的另一个计算设备进行无线通信。

在一个示例中，计算设备204还包括一个或多个输入组件220。在一些示例中，输入组件220被配置为通过触觉、音频或视频反馈从用户接收输入。输入组件220的示例包括显示组件、鼠标、键盘、照相机、麦克风、或用于检测来自用户的输入的任何其他类型的设备。在一些示例中，显示组件包括触敏屏幕。

一个或多个输出组件224也可以包括在计算设备204中。在一些示例中，输出组件224被配置为利用触觉、音频或视频刺激向用户提供输出。在一个示例中，输出组件224包括电子显示器、扬声器、或用于将信号转换成人或机器可理解的适当形式的任何其他类型的设备。所述电子显示器可以是触摸屏的LCD或OLED部件，可以是非触屏直视显示组件例如CRT、LED、LCD或OLED。所述显示组件也可以是投影仪而不是直视显示器。

在一些示例中，显示组件206可以包括输入组件220和/或输出组件224和/或显示组件218的功能性。在图2的示例中，显示组件206可以是显示组件。在一些示例中，存在敏感显示器可以检测所述显示组件的屏幕处和/或附近的对象。作为一个示例范围，显示组件可以检测所述显示组件的实体屏幕的2英寸(厘米)内或更近的对象，例如手指或触控笔。所述显示组件可以确定检测到所述对象的所述显示组件的位置(例如，(x，y)坐标)。在另一个示例范围中，显示组件可以检测从所述显示组件的实体屏幕6英寸(厘米)或更近的对象，并且其他示例性的范围也是可能的。所述显示组件可以利用电容、电感和/或光学识别技术来确定由用户的手指选择的所述显示器的位置。在一些示例中，存在敏感显示器利用如对于输出组件224所描述的触觉、音频或视频刺激向用户提供输出。

计算设备204可以包括操作系统234。在一些示例中，操作系统234控制计算设备204的组件的操作。例如，在一个示例中，操作系统234促进应用208、辅助模块210、场镜模块211、运行时库232和I/O模块236与处理器205、通信单元222、存储设备230、输入组件220、输出组件224和显示组件206的通信。包括应用208、辅助模块210、场镜模块211、运行时库232、操作系统234和I/O模块236的存储设备230的一个或多个组件可各自包括可由计算设备204执行的程序指令和/或数据。作为一个示例，显示组件206可以包括导致计算设备204执行一个或多个本公开中描述的操作和动作的指令。在一些示例中，在存储设备230中示出的一个或多个组件可以实现为硬件和/或软件和硬件的组合。

在一些示例中，计算设备204可以包括一个或多个传感器226。一个或多个传感器226可以测量一个或多个被测对象。一个或多个传感器226的示例可以包括一个或多个位置传感器(例如，全球定位系统(GPS)传感器、室内定位传感器等)、一个或多个运动/定向传感器(例如加速度计、陀螺仪等)、光传感器、温度传感器、压力(或握持)传感器、物理开关、接近传感器、以及一个或多个可测量皮肤/血液性质例如酒精、血糖等的生物传感器。

I/O模块236可以接收和解释在显示组件206处检测到的输入(例如，当用户在用户界面被显示的显示组件206的一个或多个位置处提供一个或多个姿势时)和在计算设备204的其他输入组件(例如，麦克风、照相机、传感器、物理按钮等)处检测到的输入。I/O模块236可将关于在计算设备204处检测到的输入的信息中继到在计算设备204处执行的一个或多个相关联的平台、应用和/或服务，以导致计算设备204执行功能。例如，基于所接收的输入，I/O模块236可以启动本文中所描述的技术。在一个示例中，用户可以执行启动图形用户界面中所有内容上的技术的动作。在另一个示例中，用户可以选择在图形用户界面中显示的将为其执行所述技术的特定内容块。

I/O模块236也可以从在计算设备204(例如，辅助模块210等)处执行的一个或多个相关联的平台、应用/或服务接收信息和指令，用于生成图形用户界面或用于提供体感型的用户界面。另外，I/O模块236可以充当在计算设备204处执行的所述一个或多个相关联的平台、操作系统、应用和/或服务与计算设备204的各种输出组件(例如，显示组件206、一个或多个传感器226、存储设备230、扬声器、LED指示器、其他输出组件等)之间的相应中介，以用计算设备204产生输出(例如，图形、闪光、声音、体感响应、触觉响应等)。

根据本公开的一种或多种技术，计算设备204的显示组件206可以将在应用208中包括的应用的图形用户界面(例如图1的图形用户界面112)输出用于显示。所述应用包括在计算设备204的应用列表218中的应用组中。为了说明，在图2的示例中，计算设备204的显示组件206可以输出图形用户界面，其可以显示来自某个联系人讨论周末的可能事件的电子邮件。例如，所述图形用户界面可以包括所述联系人的姓名、时间和机构名称。

计算设备204的场镜模块211可以确定显示该电子邮件的所述应用的图形用户界面被输出以在显示组件206中显示。在这样做时，场镜模块211可以访问由场镜模块211管理的应用列表208。场镜模块211可以确定哪个应用与当前被输出以显示在显示组件206的前台中的图形用户界面212相关联。例如，场镜模块211可以确定应用208A与图形用户界面212相关联或以其他方式生成用于应用208A的图形用户界面212。在一些示例中，当前输出以显示在显示组件206中的图形用户界面212可以与最近查看或访问的应用相关联。如上所述，场镜模块211可以用操作系统权限操作，或者在计算设备204的允许场镜模块211访问视图层次230的运行时库232中实现或可以访问该运行时库232。场镜模块211可以访问当前显示的视图的内容。在一些示例中，视图对象可以是由计算设备输出的任何项目，例如在图形用户界面中的任何项目。视图对象的示例可以包括但不限于文本信息、图像信息、帧信息、线性信息、模式信息或按钮信息，等等。场镜模块211可以识别在图形用户界面中的所述视图层次的视图对象。场镜模块211可以进一步提取所述视图对象的至少一个属性，并且至少部分基于所述至少一个属性来确定所述场镜数据。在图2的示例中，场镜模块211从图形用户界面确定存在三个视图对象：联系人姓名、时间，和机构。

在一些示例中，在确定显示所述电子邮件的所述应用的图形用户界面被输出以显示在显示组件218的前台中时，场镜模块211可以访问在计算设备204处操作的应用的应用列表208，以选择与在显示组件218的前台中的图形用户界面相关联的应用。例如，关于图2的示例，场镜模块211可以访问应用列表208并选择电子邮件应用，这是因为所述电子邮件应用是当前与显示组件218的前台中的图形用户界面相关联的应用，因为它是当前正在显示组件218上显示的应用。场镜模块211可以进一步遍历应用列表208内的应用列表，因为所述应用列表以计算设备204的访问的时间顺序列出在计算设备204上运行的一组应用，其中最近访问的应用在所述层次的一个末端而最久以前访问的应用在另一个末端。

对确定所述电子邮件应用的图形用户界面被输出以在显示组件206的前台中显示进行响应地，计算设备204的场镜模块211可以从图形用户界面中包括的内容确定场镜数据。在图2的示例中，场镜模块211可以确定所述三个关键数据块的每一个上的场镜数据。例如，场镜模块111可以确定内容包括联系人姓名、时间和机构名称。在一些示例中，场镜数据可以是所述内容的确定的一般性描述。场镜数据的示例可以包括但不限于，所述内容是餐馆名称、视频游戏的级别、附近地点的地址、演唱者姓名或日历事件等的确定。

在一些示例中，在确定所述场镜数据时，场镜模块211可以捕获在显示组件218的前台中显示的所述应用的图形用户界面的屏幕截图。场镜模块211可以对所述屏幕截图进行图像分析。至少部分基于所述图像分析，场镜模块211可以确定所述场镜数据。例如，场镜模块211可以对所述屏幕截图执行光学字符识别处理以确定所述屏幕截图中的一个或多个字符，由此至少部分基于所述一个或多个字符来确定场镜数据。在图2的示例中，因为所述应用是电子邮件应用，因此场镜模块211可以对所述电子邮件的屏幕截图执行光学字符识别处理，以确定所述电子邮件的内容，从而可以导出场镜数据。在其他示例中，所述图像分析可以是利用所述图像的网络搜索来确定所述屏幕截图中的图形图像，如以图4的示例所示。

在其他示例中，在确定所述场镜数据时，场镜模块211可以分析应用208的视图层次230。对于包括在视图层次中的视图对象，场镜模块211可以识别视图对象。场镜模块211还可以确定与所识别的视图对象相关联的信息，并且至少部分基于所确定的信息来确定场镜数据。例如，所述图形用户界面的视图层次，对于应用的特定视图或图形用户界面，可以是包括在所述特定视图或图形用户界面中的用户界面元素的结构。基于用户界面元素的这种结构，场镜模块211可以确定内容，例如文本或图像。例如，在图2的示例中，场镜模块211可以遍历显示电子邮件的图形用户界面的视图层次，由此显示用户界面元素，例如应用的背景、电子邮件的发送者、电子邮件的主题和电子邮件的正文。基于这些用户界面元素，可以确定各自的内容。例如，场镜模块211可以基于电子邮件的发送者确定联系人姓名，并且场镜模块211可以基于电子邮件的正文来确定时间和机构。基于该确定的内容，场镜模块211可以确定场镜数据。

计算设备204的辅助模块210可以至少部分基于上面确定的场镜数据，来确定与所述图形用户界面中包括的关键内容场镜相关的帮助指示。帮助指示可以是至少部分基于所述场镜数据和所述内容要进行的可能的动作。帮助指示的示例可以包括但不限于，查看机构的评论、获得机构的预定、获得事件的票据、召唤出租车将用户带到地址、获得地址的方向、搜索某个艺术家的音乐、向日历添加事件、获得对视频游戏的帮助、或者搜索关于人、地点或对象的信息等等。例如，内容可以包括餐馆的联系人姓名。基于这种类型的内容，辅助模块210可以确定用户可能喜欢或发现有用的各种帮助形式，包括在用户和联系人之间显示给定联系人的联系人卡片或最近交换的文本消息的弹出图像。在另一个示例中，内容可以包括所请求的会面时间。基于这种类型的内容，辅助模块210可以确定用户可能会对所请求的时间查看他们的当前日历、将事件添加到你的日历的那个时间、或者检查电视节目表以查看用户因与所述联系人一起参加所述事件可能会错过什么节目。在又一个示例中，内容可以包括机构名称。基于这种类型的内容，辅助模块210可以确定用户可能或希望看到对该机构的评论，如果它是餐馆则查看该机构的菜单，或者看所述机构的位置。

基于内容的类型，并且在包括次要场镜数据的一些示例中，辅助模块210可以确定对一个或多个关键内容块的帮助指示。例如，上述的场镜数据，包括从显示组件218的前台中的内容导出的任何场镜数据，可以被认为是主要场镜数据。在确定所述帮助指示时，辅助模块210可以基于所述主要场镜数据和一组次要场镜数据、或可从所述应用的外部收集的关于内容的任何场镜数据进一步做出所述确定。例如，次要场镜数据可以包括当前位置、当前时间、用户身份、云计算数据、日历信息、联系人信息、在先应用、以及当前时间和在先应用运行的时间之间的时间关系。例如，用户在电子邮件中可以有当前安排在所提出的时间中的事件。辅助模块210可以基于电子邮件中所述时间的主要场镜数据和当前在用户日历中安排的事件的次要场镜数据来确定帮助指示，其包括以备用会面时间回应所述电子邮件，所述备用会面时间与感知到的用户日历中的空闲时间一致。在另一示例中，在访问电子邮件应用之前，用户可能已经使用网络浏览器应用来查看不同的机构。辅助模块210可以基于应用列表显示网页浏览器应用是所述用户访问的在先应用来确定这一点。在当前时间和所述网页浏览器应用运行的时间之间，即用户在所述网页浏览器应用和所述电子邮件应用之间转换的时间，也可能存在小的时间关系(即，几乎是瞬时的)。这可能表明用户正在研究机构以与联系人见面。因此，辅助模块210可以基于电子邮件中所述机构的主要场镜数据以及在网页浏览器应用中包括所述机构的次要场镜数据集以及访问这两个应用之间的时间关系，来确定帮助指示，其包括回应所述联系人，提出备用的机构作为见面场所。

辅助模块210可以利用计算设备204的显示组件206输出帮助指示。所述帮助指示可以是任何合适的呈现形式，例如屏幕上的覆盖图、屏幕上的内容附近的覆盖图、图形用户界面内的弹出窗口、或音频指示等等。

例如，如上所述，为了显示，辅助模块210可以生成对于包括覆盖在图形用户界面的顶部边缘处的用户界面元素的内容的帮助指示，其包括将在给定机构处的该事件添加到用户日历的给定时间的链接。与所述帮助指示交互也可以启动其他应用，包括通迅录应用、餐馆评论应用、电视节目或在线媒体流应用、或可以基于所显示的内容在下一个动作中帮助用户的任何其他应用。

虽然已经根据对计算设备204的一种或多种操作描述了图2的技术，但辅助模块210的一种或多种操作可以在远程服务器上执行。场镜模块211可以向确定可能的帮助指示的远程服务器发送所述场镜数据。所述远程服务器可以发送所述场镜数据到辅助模块210，后者负责格式化所述结果并以特定形式(例如覆盖图)将所述结果输出到屏幕。

图3是根据本公开的一种或多种技术，示出输出屏幕内容以在远程设备处显示的示例性计算设备的框图。通常，屏幕内容可以包括可以输出以供显示的任何视觉信息，例如文本、图像、一组移动图像等。图3所示的示例包括计算设备304、显示组件306、通信单元322、投影仪356、投影屏358、移动设备362和可视显示组件366。虽然在图1和图2中为了示例而分别显示为独立的计算设备104和204，但计算设备例如计算设备304通常可以是包括用于执行软件指令的处理器或其他合适的计算环境的任何组件或系统，并且，例如，不需要包括显示组件。

如图3的示例所示，计算设备304可以是包括如对于图2中的处理器205所描述的功能性的处理器。在这样的示例中，计算设备304可以通过通信信道346A与显示组件306操作性耦合，通信信道346A可以是系统总线或其他合适的连接。计算设备304也可以通过通信信道346B与下面进一步描述的通信单元322操作性耦合，通信信道346B也可以是系统总线或其他合适的连接。虽然图3中作为示例单独显示，但计算设备304可以通过任何数量的一种或多种通信信道与显示组件306和通信单元322操作性耦合。

在其他示例中，例如先前通过图1中的计算设备104和图2中的计算设备204所说明的，计算设备可以是指便携或移动设备例如移动电话(包括智能电话)、膝上型计算机、智能手表等。在一些示例中，计算设备可以是台式计算机、平板计算机、智能电视平台、游戏机、遥控器、电子照相机、个人数字助理(PDA)、服务器、主机等。

显示组件306，像如图1所示的显示组件106，可以包括显示组件340和存在敏感输入组件342。显示组件340可以，例如，从计算设备304接收数据并显示屏幕内容。在一些示例中，存在敏感输入组件342可以利用电容、电感和/或光学识别技术来确定显示组件306处的一个或多个用户输入(例如，连续手势、多点触控手势、单点触控手势等)，并利用通信信道346A向计算设备304发送这样的用户输入的指示。在一些示例中，存在敏感输入组件342可以物理定位在显示组件340的顶部，使得当用户将输入单元定位在由显示组件340显示的图形元素上时，存在敏感输入组件342的位置对应于显示组件340的其中显示图形元素的位置。在其他示例中，存在敏感输入组件342可以远离显示组件340物理定位，并且存在敏感输入组件342的位置可以对应于显示组件340的位置，使得可以在存在敏感输入组件342处完成输入以与在显示组件340的相应位置处显示的图形元素进行交互。

如图3所示，计算设备304也可以包括通信单元322和/或与其操作性耦合。通信单元322可以包括如图2所述的通信单元222的功能性。通信单元322的示例可以包括网络接口卡、以太网卡、光收发器、射频收发器、或可以发送和接收信息的任何其他类型的设备。这样的通信单元的其他示例可以包括蓝牙、3G和Wi-Fi无线电，通用串行总线(USB)接口等。计算设备304也可以包括一个或多个其它设备，例如输入组件、输出组件、存储器、存储设备等和/或与其操作性耦合，所述其他设备为了简洁和说明的目的未在图3中显示。

图3还示出了投影仪356和投影屏358。投影设备的其他这样的示例可以包括电子白板、全息显示组件、和用于显示屏幕内容的任何其它合适的设备。投影仪356和投影屏358可以包括一个或多个通信单元，其使相应的设备能够与计算设备304通信。在一些示例中，所述一个或多个通信单元可以使投影仪356和投影屏358之间能够通信。投影仪356可以从包括屏幕内容的计算设备304接收数据。投影仪356响应于接收所述数据，可以将屏幕内容投影到投影屏358上。在一些示例中，投影仪356可以利用光学识别或其他合适的技术在投影屏处确定一个或多个用户输入(例如，连续手势、多点触控手势、单点触控手势等)，并利用一个或多个通信单元将这样的用户输入指示发送到计算设备304。在这样的示例中，投影屏358可以是不必要的，并且投影仪356可以在任何合适的介质上投影屏幕内容，并利用光学识别或其他这样的适当技术来检测一个或多个用户输入。

在一些示例中，投影屏358可以包括存在敏感显示器360。存在敏感显示器360可以包括如本公开中所述的显示组件106的功能性的子集或全部功能性。在一些示例中，存在敏感显示器360可以包括附加的功能性。投影屏358(例如，电子白板)可以从计算设备304接收数据并显示屏幕内容。在一些示例中，存在敏感显示器360可以利用电容、电感和/或光学识别技术在投影屏358处确定一个或多个用户输入(例如，连续手势、多点触控手势、单点触控手势等)，并利用一个或多个通信单元向计算设备304发送这样的用户输入的指示。

图3还示出了移动设备362和可视显示组件366。移动设备362和可视显示组件366可以各自包括计算和连接能力。移动设备362的示例可以包括电子阅读器设备、可转换笔记本设备、混合平板设备等。可视显示组件366的示例可以包括其他半固定设备例如电视机、计算机监视器等。如图3所示，移动设备362可以包括存在敏感显示器364。可视显示组件366可以包括存在敏感显示器368。存在敏感显示器364、368可以包括如本公开中所述的显示组件306的功能性的子集或全部功能性。在一些示例中，存在敏感显示器364、368可以包括附加的功能性。在任何情况下，存在敏感显示器364，例如，可以从计算设备304接收数据并显示屏幕内容。在一些示例中，存在敏感显示器368可以利用电容、电感和/或光学识别技术在投影屏处确定一个或多个用户输入(例如，连续手势、多点触控手势、单点触控手势等)，并利用一个或多个通信单元向计算设备304发送这样的用户输入的指示。

如上所述，在一些示例中，计算设备304可以输出屏幕内容以在显示组件306处显示，所述显示组件通过系统总线或其他合适的通信信道与计算设备304耦合。计算设备304也可以输出用于在一个或多个远程设备例如投影仪356、投影屏358、移动设备362和可视显示组件366处显示的屏幕内容。例如，根据本公开的技术，计算设备304可以执行一个或多个指令来生成和/或修改屏幕内容。计算设备304可以将包括屏幕内容的数据输出到计算设备304的通信单元，例如通信单元322。通信单元322可以将数据发送到一个或多个远程设备，例如投影仪356、投影屏358、移动设备362和/或可视显示组件366。以这种方式，计算设备304可以输出屏幕内容以在一个或多个远程设备上显示。在一些示例中，一个或多个所述远程设备可以在显示组件处输出屏幕内容，所述显示组件包括在相应的远程设备中和/或与其操作性耦合。

在一些示例中，计算设备304可以不在与计算设备304操作性耦合的显示组件306处输出屏幕内容。在其他示例中，计算设备304可以输出屏幕内容以既在通过通信信道346A与计算设备304耦合的显示组件306处又在一个或多个远程设备处显示。在这样的示例中，所述屏幕内容可以在每个相应设备处基本上同时显示。例如，可以通过通信延迟引入一些延迟，以将包括所述屏幕内容的数据发送到所述远程设备。在一些示例中，由计算设备304生成并输出以在显示组件306处显示的屏幕内容可以不同于被输出用于在一个或多个远程设备上显示的屏幕内容显示。

计算设备304可以利用任何合适的通信技术发送和接收数据。例如，计算设备304可以利用网络链路348A与外部网络350操作性耦合。图3中示出的每个远程设备可以通过相应的网络链路348B、348C和348D之一与外部网络350操作性耦合。外部网络350可以包括网络集线器、网络交换机、网络路由器等，它们操作性互耦，从而提供计算设备304与图3所示的远程设备之间的信息交换。在一些示例中，网络链路348A-348D可以是以太网、ATM或其他网络连接。这样的连接可以是无线和/或有线连接。

在一些示例中，计算设备304可以利用直接设备通信354，与图3中包括的一个或多个所述远程设备操作性耦合。直接设备通信354可以包括计算设备304利用有线或无线通信直接用远程设备发送和接收数据的通信。也就是说，在直接设备通信354的一些示例中，计算设备304发送的数据在远程设备处被接收之前可以不通过一个或多个附加设备转发，反之亦然。直接设备通信354的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外线等。图3所示的一个或多个所述远程设备可以通过通信链路352A-352D与计算设备304操作性耦合。在一些示例中，通信链路352A-352D可以是利用蓝牙、近场通信、通用串行总线、红外线等的连接。这样的连接可以是无线和/或有线连接。

如上所述，计算设备304可以输出应用的图形用户界面用于在显示组件(例如，投影仪356、移动设备362或可视显示组件366)处显示。所述应用可以包括在在所述计算设备处运行的一组应用中。对确定所述应用的图形用户界面被输出以在所述显示组件的前台中显示进行响应，计算设备304可以从图形用户界面中包括的内容确定场镜数据。至少部分基于所述场镜数据，计算设备304可以确定与所述图形用户界面中包括的内容场镜相关的帮助指示。计算设备304可以输出所述帮助指示。

图4是根据本公开的一个或多个方面，示出包括服务器设备的示例系统的概念图，所述服务器设备基于远程显示组件的确定的屏幕场镜提供帮助指示。图4的技术可以由计算设备的一个或多个处理器执行，例如分别在图1和图2中所示的计算设备104和204。为了说明的目的，图4的技术在图1的计算设备104的场镜内描述，然而具有不同于计算设备104的配置的计算设备可以执行图4的技术。

根据本公开的技术，计算设备104的显示组件(例如，显示组件106)可以输出应用的图形用户界面470。在图4的示例中，计算设备104的显示组件106可以输出描绘视频游戏的级别，例如虚构的“跳跃人(Jumping Man)”游戏应用108B的3级的图形用户界面470。

计算设备104的场镜模块111可以确定应用的图形用户界面470被输出以在显示组件118的前台中显示。在这样做时，场镜模块111可以访问由所述应用管理的视图层次。场镜模块111可以确定哪个应用与当前输出的用于在显示组件106中显示的图形用户界面470相关联。例如，场镜模块111可以确定所述应用与所述应用的图形用户界面470相关联或以其他方式生成所述应用的图形用户界面470。如上所述，场镜模块111可以用操作系统权限操作，或者在计算设备104的允许场镜模块111访问所述应用列表的运行时库中实现或可以访问该运行时库，以便确定与前台中的图形用户界面相关联的应用。场镜模块111可以分析当前显示屏幕的视图层次和视图对象以确定内容和场镜数据。在一些示例中，内容可以是由计算设备在例如图形用户界面中输出的任何项目。视图对象的示例可以包括但不限于文本信息、图像信息、帧信息、线性信息、模式信息或按钮信息，等等。

对确定应用108B的图形用户界面470被输出以在显示组件106的前台中显示进行响应，计算设备104的场镜模块111可以从包括在图形用户界面470中的内容确定场镜数据。在一些示例中，场镜数据可以是所述内容的确定的一般性描述。场镜数据的示例可以包括但不限于，所述内容是餐馆名称、视频游戏的级别、附近地点的地址、演唱者姓名或日历事件等的确定。

在图4的示例中，图形用户界面470仅包括图形图像。这样，在确定场镜数据时，计算设备104的场镜模块111可以捕获在显示组件的前台中显示的应用的图形用户界面470的屏幕截图。场镜模块111可以对所述屏幕截图进行图像分析。例如，场镜模块111可以在互联网上执行图像搜索以确定图形用户界面470中正在描绘的内容。在图4的示例中，互联网上的图像搜索可以向场镜模块111提供图像的内容包括虚构游戏“跳跃人”的3级的信息。基于该图像分析，场镜模块111可以确定场镜数据。

辅助模块110可以至少部分基于上面确定的场镜数据来确定与图形用户界面470中包括的内容场镜相关的帮助指示。帮助指示可以是至少部分基于所述场镜数据和所述内容要进行的可能的动作。帮助指示的示例可以包括但不限于，查看机构的评论、获得机构的预定、获得事件的票据、召唤出租车将用户带到地址、获得地址的方向、搜索某个艺术家的音乐、向日历添加事件、获得对视频游戏的帮助、或者搜索关于人、地点或事情的信息等等。

在图4的示例中，辅助模块110可以在远程服务器474上操作。这样，场镜模块111可以将场镜数据发送到远程服务器474，远程服务器474确定所述帮助指示的信息。远程服务器474可以是通过利用有线和/或无线连接的网络与客户的计算设备操作性连接的计算设备。例如，远程服务器474可以是服务器计算设备或台式计算设备。远程服务器474上的辅助模块110可以确定所述帮助指示，并且场镜模块111可以从辅助模块110接收所述帮助指示的信息。

在图4的示例中，所述主要场镜数据可以包括游戏“跳跃人”的3级数据。其他次要场镜数据，如果使用的话，可以包括用户在该应用中的时间量或游戏“跳跃人”的3级的一般难度。基于该场镜数据，辅助模块110可以确定用户将被带到对于如何打赢游戏“跳跃人”的3级的策略指导，或者用户将被带到这个级别的视频演练。

场镜模块111可以利用计算设备104的显示组件106输出帮助指示472。所述帮助指示可以是任何合适的呈现形式，例如屏幕上的覆盖图、屏幕上的内容附近的覆盖图、图形用户界面内的弹出窗口、或音频指示等等。在图4的示例中，帮助指示472是图形用户界面470内的弹出窗口。与帮助指示472的交互可以启动网页浏览应用，其加载了讨论如何打赢游戏“跳跃人”的3级的网站。在其他示例中，与帮助指示472的交互可以启动具有对该特定级的视频教程的视频流应用。

图5是根据本公开的一个或多个方面，示出实现用于确定帮助指示的技术的计算设备的示例性操作的流程图。图5的技术可以由计算设备，例如分别在图1和图2中所示的计算设备104和204的一个或多个处理器执行。为了说明的目的，图5的技术在图1的计算设备104的场镜内描述，然而具有不同于计算设备104的配置的计算设备也可以执行图5的技术。

根据本公开的技术，计算设备104的显示组件(例如，显示组件106)可以输出应用(例如，应用118A)的图形用户界面(例如，图形用户界面112)(582)用于在与计算设备104操作性耦合的显示组件(例如，显示组件118)上显示。场镜模块111可以访问正在运行的应用108的视图层次，并且识别所述视图层次在图形用户界面中表现的视图对象。场镜模块111可以确定哪个应用与当前输出用于在显示组件106的前台中显示的图形用户界面112相关联。例如，场镜模块111可以确定应用108A与用于应用108A的图形用户界面112相关联或以其他方式生成用于应用108A的图形用户界面112。在一些示例中，当前输出以在显示组件106上显示的图形用户界面112可以与最近查看或访问的应用相关联。如上所述，场镜模块111可以用操作系统权限操作，或者在计算设备104的允许场镜模块111访问所述应用列表的运行时库中实现或可以访问该运行时库，以便确定与所述图形用户界面相关联的应用和所述应用的视图层次。场镜模块111可以访问当前显示视图的内容。在一些示例中，内容可以是由计算设备在例如图形用户界面中输出的任何项目。视图对象的示例可以包括但不限于文本信息、图像信息、帧信息、线性信息、模式信息或按钮信息，等等。场镜模块111可以进一步提取所述视图对象的至少一个属性，并且至少部分基于所述至少一个属性来确定场镜数据。

对确定应用108A的图形用户界面112被输出以在显示组件106的前台中显示进行响应，计算设备104的场镜模块111可以从包括在图形用户界面112中的内容(例如，内容114A-114C)确定场镜数据(584)。所述图形用户界面112的内容不仅可以包括屏幕截图可以捕获的类型的可见内容，还可以包括可得自视图对象和视图层次的附加内容。在一些示例中，场镜数据可以是通过以下任一项所确定的内容的确定的一般描述：(i)由显示组件106显示的文本、图标、图像和视频的分析；和/或(b)支持所述可见的文本、图标、图像和视频的视图对象的属性的分析。场镜数据的示例可以包括但不限于，所述内容是餐馆名称、视频游戏的级别、附近地点的地址、演唱者姓名或日历事件等的确定。

计算设备104的辅助模块110可以至少部分基于以上确定的场镜数据来确定与图形用户界面112中包括的内容114A-114C场镜相关的帮助指示(586)。帮助指示可以是至少部分基于所述场镜数据和所述内容要进行的可能的动作。帮助指示的示例可以包括但不限于，查看机构的评论、获得机构的预定、获得事件的票据、召唤出租车将用户带到地址、获得地址的方向、搜索某个艺术家的音乐、向日历添加事件、获得对视频游戏的帮助、或者搜索关于人、地点或事情的信息等等。

辅助模块110可以利用计算设备104的显示组件106输出帮助指示(588)。所述帮助指示可以是任何合适的呈现形式，例如屏幕上的覆盖图、屏幕上的内容附近的覆盖图、图形用户界面内的弹出窗口、或音频指示等等。

虽然已经针对计算设备104上的一种或多种操作描述了图1的技术，但辅助模块110的一种或多种操作可以在远程服务器上执行。场镜模块111可以将场镜数据发送到确定可能的帮助指示的远程服务器，然后将其发送到辅助模块110，辅助模块110负责格式化所述结果并以特定形式(例如覆盖图)将所述结果输出到屏幕。

通过基于在显示组件的前台中显示的图形用户界面的内容来确定场镜，计算设备可以对用户可能的接下来动作做出建议，而不依靠应用开发者在所述应用本身的代码中明确包含场镜信息。以这种方式，本公开的技术可以为移动设备提供确定可能的接下来动作的能力，并为计算设备可以运行的任何应用提供帮助指示而不需要应用开发者包括任何附加代码，从而简化在计算设备上运行的应用的代码。通过从正由所述应用显示的屏幕提取文本和/或图像，本公开的技术将所述内容提供给利用所述场镜的辅助模块，以基于用户在任何可能的应用中所做的内容而不是应用开发者通过硬编码场镜信息明确提供的内容，来提供关于可能的接下来动作的帮助指示。在为计算设备提供功能性来确定内容和提供场镜时，应用编码被简化，并且可以用可靠的方式在主要开发者应用和第三方应用之间普遍提供帮助。此外，本公开的技术可以允许给被输出显示的屏幕内容更为广泛的帮助。

实施例1.一种方法，其包含：通过计算设备并用于在与所述计算设备操作性耦合的显示组件处显示，输出应用的图形用户界面；从包括在所述图形用户界面中的内容确定场镜数据；至少部分基于所述场镜数据，确定与所述图形用户界面中包括的内容场镜相关的帮助指示；以及通过所述计算设备输出所述帮助指示。

实施例2.根据实施例1的方法，其中确定所述场镜数据包含：访问所述计算设备处的视图层次；以及识别所述视图层次在所述图形用户界面中表现的视图对象。

实施例3.根据实施例2的方法，还包含：提取所述视图对象的至少一个属性；以及至少部分基于所述至少一个属性来确定所述场镜数据的至少一部分。

实施例4.根据实施例1-3任一项的方法，其中来自所述图形用户界面中包括的内容的场镜数据是主要场镜数据，并且其中确定所述帮助指示包含：至少部分基于所述图形用户界面的主要场镜数据以及次要场镜数据来确定所述帮助指示，其中所述次要场镜数据包含位置、时间、用户身份、云计算数据、日历信息、联系人信息、在先应用、以及当前时间和所述先前应用运行的时间之间的时间关系中的至少一个。

实施例5.根据实施例1-4任一项的方法，其中确定所述场镜数据包含：捕获所述应用的图形用户界面的屏幕截图；对屏幕截图执行图像分析；以及至少部分基于所述图像分析来确定所述场镜数据。

实施例6.根据实施例5的方法，其中执行所述图像分析包含：对所述屏幕截图执行光学字符识别处理以确定所述屏幕截图中的一个或多个字符；以及至少部分基于所述一个或多个字符确定所述场镜数据。

实施例7.根据实施例1-6任一项的方法，其中确定所述场镜数据包含：分析所述应用的视图层次；对于所述视图层次中包括的视图对象：识别所述视图对象；确定与所识别的视图对象相关联的信息；以及至少部分基于所确定的信息来确定至少一部分所述场镜数据。

实施例8.根据实施例1-7任一项的方法，其中确定所述帮助指示还包含：向远程计算设备发送所述场镜数据，其中所述远程计算设备从所述场镜数据确定用于所述帮助指示的信息；从所述远程计算设备接收用于所述帮助指示的信息；以及至少部分基于所述信息，生成用于宣告的所述帮助指示。

实施例9.一种计算设备，其包含：至少一个处理器；和至少一个模块，其可由所述至少一个处理器操作，用以：输出应用的图形用户界面用于在与所述计算设备操作性耦合的显示组件上显示；从包括在所述图形用户界面中的内容确定场镜数据；至少部分基于所述场镜数据，确定与所述图形用户界面中包括的内容场镜相关的帮助指示；以及输出所述帮助指示。

实施例10.根据实施例9的计算设备，其中所述至少一个模块在所述计算设备上以操作系统权限执行，并且其中所述至少一个模块可由所述至少一个处理器操作，用以：提取所述视图对象的至少一个属性；以及至少部分基于所述至少一个属性来确定至少一部分所述场镜数据。

实施例11.根据实施例9-10任一项的计算设备，其中可由所述至少一个处理器操作的所述至少一个模块可进一步操作，用以：向远程计算设备发送所述场镜数据，其中所述远程计算设备从所述场镜数据确定所述帮助指示的信息；从所述远程计算设备接收用于所述帮助指示的信息；以及至少部分基于所述信息生成用于宣告的所述帮助指示。

实施例12.根据实施例9-11任一项的计算设备，其中来自所述图形用户界面中包括的内容的场镜数据是主要场镜数据，并且其中所述至少一个模块可进一步操作，用以：至少部分基于所述图形用户界面的主要场镜数据以及次要场镜数据来确定所述帮助指示，其中所述次要场镜数据包含位置、时间、用户身份、云计算数据、日历信息、联系人信息、在先应用、以及当前时间和所述先前应用运行的时间之间的时间关系中的至少一个。

实施例13.根据实施例9-12任一项的计算设备，其中所述至少一个模块可由所述至少一个处理器操作，用以：捕获所述图形用户界面的屏幕截图；对所述屏幕截图执行图像分析；以及至少部分基于所述图像分析确定所述场镜数据。

实施例14.根据实施例13的计算设备，其中所述至少一个模块可由所述至少一个处理器操作，用以：在所述屏幕截图上执行光学字符识别处理以确定所述屏幕截图中的一个或多个字符；以及至少部分基于所述一个或多个字符来确定所述场镜数据。

实施例15.根据实施例9-14任一项的计算设备，其中所述至少一个模块可由所述至少一个处理器操作以从所述图形用户界面中包括的内容确定场镜数据，用以：在所述计算设备处分析所述应用的视图层次；识别在所述视图层次中包括的、在所述应用的图形用户界面的当前屏幕图像中表现的视图对象；对于包括在所述视图层次中的视图对象：确定与所述视图对象相关联的信息；以及至少部分基于所确定的信息来确定所述场镜数据。

实施例16.一种用指令编码的计算机可读存储介质，所述指令当执行时，使得计算设备的至少一个处理器：输出应用的图形用户界面用于在与所述计算设备操作性耦合的显示组件处显示；从包括在所述图形用户界面中的内容确定场镜数据；至少部分基于所述场镜数据确定与所述图形用户界面中包括的内容场镜相关的帮助指示；以及输出所述帮助指示。

实施例17.根据实施例16的计算机可读存储介质，其中引起所述至少一个处理器确定所述帮助指示的所述指令包括下述的指令，其当被执行时，引起所述计算设备的所述至少一个处理器：将所述场镜数据发送到远程计算设备，其中所述远程计算设备确定用于所述帮助指示的信息；从所述远程计算设备接收用于所述帮助指示的信息；以及至少部分基于所述信息，从所述场镜数据生成用于宣告的所述帮助指示。

实施例18.根据实施例16-17任一项的计算机可读存储介质，其中引起所述至少一个处理器确定所述场镜数据的指令包括下述的指令，其当被执行时，引起所述计算设备的所述至少一个处理器：访问所述计算设备处的视图层次；识别所述视图层次在所述图形用户界面中表现的视图对象；提取所述视图对象的至少一个属性；以及至少部分基于所述至少一个属性来确定至少一部分所述场镜数据。

实施例19.根据实施例17或18任一项的计算机可读存储介质，其中来自所述图形用户界面中包括的内容的所述场镜数据是主要场镜数据，并且其中引起至少一个处理器确定所述帮助指示的所述指令包含下述的指令，其当被执行时，引起所述计算设备的所述至少一个处理器至少部分基于所述主要场镜数据以及次要场镜数据集来确定所述帮助指示，其中所述次要场镜数据的集包含位置、时间、用户身份、云计算数据、日历信息、联系人信息、在先应用、以及当前时间和所述先前应用运行的时间之间的时间关系中的至少一个。

实施例20.根据实施例17-19任一项的计算机可读存储介质，其中引起所述至少一个处理器确定所述场镜数据的所述指令包含下述的指令，其当被执行时，引起所述计算设备的所述至少一个处理器：捕获所述图形用户界面的屏幕截图；对所述屏幕截图执行图像分析；以及至少部分基于所述图像分析确定所述场镜数据。

在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则所述功能可以作为一个或多个指令或代码存储在计算机可读介质上或经计算机可读介质传送，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于有形介质例如数据存储介质，或通信介质，包括便于将计算机程序例如根据通信协议从一个地方传送到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)有形的计算机可读存储介质，其是非暂时的，或(2)通信介质例如信号或载波。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

实施例21.一种设备，其包含用于执行根据实施例1-8的任何组合的方法的机构。

实施例22.一种用指令编码的计算机可读存储介质，所述指令当被执行时，引起计算设备的至少一个处理器执行根据实施例1-8的任何组合的方法。

在整个本公开中，描述了示例，其中计算设备和/或计算系统可以仅在所述计算设备收到用户的许可分析所述信息时，才能分析与所述计算设备相关联的信息(例如，位置，速度等)。例如，在下面讨论的所述计算设备可以收集或者可以利用与用户相关联的信息的情况下，用户可以得到提供输入的机会来控制所述计算设备的程序或特征是否可以收集和利用用户信息(例如，关于用户当前位置、当前速度等的信息)，或者指示所述计算设备是否和/或如何可以接收可能与用户相关的内容。另外，某些数据在它被计算设备和/或计算系统存储或使用之前可以用一种或多种方式处理，从而消除个人身份信息。例如，可以处理用户的身份，使得不能确定关于用户的个人身份信息，或者在获得位置信息(例如城市、邮政编码或州级)的情况下，可以将用户的地理位置笼统化，使得不能确定用户的具体位置。因而，用户可以控制如何收集关于所述用户并由所述计算设备使用的信息。

作为示例而非限制，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、闪速存储器、或可用于以指令或数据结构的形式存储所需的程序代码并可由计算机访问的任何其它介质。还有，任何连接被适当地称为计算机可读介质。例如，如果利用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术例如红外线、无线电和微波从网站、服务器或其他远程源发送指令，则所述同轴电缆、光纤电缆、双绞线、DSL或无线技术如红外线、无线电和微波都包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时性介质，而是指向非暂时性的有形存储介质。所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字通用光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，术语“处理器”在使用时可以指任何前述的结构或适于实现所述技术的任何其它结构。另外，在一些方面，所描述的功能性可以在专用硬件和/或软件模块内提供。这些技术也可以在一个或多个电路或逻辑元件中完全实现。

本公开的技术可以在多种多样的装置或设备中实现，包括无线手机、集成电路(IC)或IC组(例如，芯片组)。在本公开中描述了各种组件、模块或单元以强调被配置成执行所公开的技术的设备的功能方面，但不一定需要由不同的硬件单元实现。相反，如上所述，各种单元可以组合在硬件单元中、或者由包括如上所述的一个或多个处理器的许多互操作性硬件单元与适当的软件和/或固件相结合来提供。

应当认识到，取决于所述实施例，本文描述的任何方法的某些动作或事件可以按不同的顺序执行，可以添加、合并或完全省略(例如，不是的所有描述动作或事件都是实践所述方法所必要的)。此外，在某些实施方式中，动作或事件可以例如通过多线程处理、中断处理或多个处理器同时执行，而不是依次执行。

在一些示例中，计算机可读存储介质可以包括非暂时性介质。术语“非暂时性”可以指示所述存储介质不包括在载波或传播信号中。在某些示例中，非暂时性存储介质可以存储随时间可以变化的数据(例如，在RAM或高速缓存中)。

已经描述了本公开的各种示例。仔细考虑了所描述的系统、操作或功能的任何组合。这些和其他示例在所附权利要求的范围内。

Claims (15)

1.一种方法，包含：

通过计算设备输出应用的图形用户界面并用于在与所述计算设备操作性耦合的显示组件处显示；

从在被输出用于显示的所述图形用户界面中包括的内容确定场镜数据；

至少部分基于所述场镜数据，确定与在所述图形用户界面中包括的所述内容场镜相关的帮助指示；以及

通过所述计算设备输出所述帮助指示。

2.根据权利要求1所述的方法，其中确定所述场镜数据包含：

访问所述计算设备处的视图层次；以及

识别所述视图层次在所述图形用户界面中表现的视图对象。

3.根据权利要求2所述的方法，还包含：

提取所述视图对象的至少一个属性；以及

至少部分基于所述至少一个属性，确定所述场镜数据的至少一部分。

4.根据权利要求1-3中的任一项所述的方法，其中来自在所述图形用户界面中包括的内容的所述场镜数据是主要场镜数据，并且其中确定所述帮助指示包含：

至少部分基于所述图形用户界面的主要场镜数据和次要场镜数据来确定所述帮助指示，其中所述次要场镜数据包含位置、时间、用户身份、云计算数据、日历信息、联系人信息、在先应用、以及当前时间和所述在先应用被运行的时间之间的时间关系中的至少一个。

5.根据权利要求1-4中的任一项所述的方法，其中确定所述场镜数据包含：

捕获所述应用的图形用户界面的屏幕截图；

对所述屏幕截图进行图像分析；以及

至少部分基于所述图像分析确定所述场镜数据。

6.根据权利要求5所述的方法，其中进行所述图像分析包含：

对所述屏幕截图进行光学字符识别处理以确定所述屏幕截图中的一个或多个字符；以及

至少部分基于所述一个或多个字符确定所述场镜数据。

7.根据权利要求1-6中的任一项所述的方法，其中确定所述场镜数据包含：

分析所述应用的视图层次；

对于所述视图层次中包括的视图对象：

识别所述视图对象；

确定与所识别的视图对象相关联的信息；以及

至少部分基于所确定的信息来确定所述场镜数据的至少一部分。

8.根据权利要求1-7中的任一项所述的方法，其中确定所述帮助指示还包含：

向远程计算设备发送所述场镜数据，其中所述远程计算设备从所述场镜数据确定用于所述帮助指示的信息；

从所述远程计算设备接收用于所述帮助指示的所述信息；以及

至少部分基于所述信息，生成用于宣告的所述帮助指示。

9.一种计算设备，包含：

至少一个处理器；和

至少一个模块，其能够由所述至少一个处理器操作，用以：

输出应用的图形用户界面，用于在与所述计算设备操作性耦合的显示组件处显示；

从包括在所述图形用户界面中的内容确定场镜数据；

至少部分基于所述场镜数据，确定与所述图形用户界面中包括的所述内容场镜相关的帮助指示；以及

输出所述帮助指示。

10.根据权利要求9所述的计算设备，其中所述至少一个模块在所述计算设备上以操作系统权限执行，并且其中所述至少一个模块能够由所述至少一个处理器操作，用以：

提取所述视图对象的至少一个属性；以及

至少部分基于所述至少一个属性来确定所述场镜数据的至少一部分。

11.根据权利要求9或10中的任一项所述的计算设备，其中能够由所述至少一个处理器操作的所述至少一个模块能够进一步操作，用以：

向远程计算设备发送所述场镜数据，其中所述远程计算设备从所述场镜数据确定用于所述帮助指示的信息；

从所述远程计算设备接收用于所述帮助指示的所述信息；以及

至少部分基于所述信息生成用于宣告的所述帮助指示。

12.根据权利要求9-11中的任一项所述的计算设备，其中来自在所述图形用户界面中包括的内容的所述场镜数据是主要场镜数据，并且其中所述至少一个模块能够进一步操作，用以：

至少部分基于所述图形用户界面的主要场镜数据和次要场镜数据来确定所述帮助指示，其中所述次要场镜数据包含位置、时间、用户身份、云计算数据、日历信息、联系人信息、在先应用、以及在当前时间和所述在先应用被运行的时间之间的时间关系中的至少一个。

13.根据权利要求9-12中的任一项所述的计算设备，其中所述至少一个模块能够由所述至少一个处理器操作，用以：

捕获所述图形用户界面的屏幕截图；

对所述屏幕截图进行图像分析；

对所述屏幕截图进行光学字符识别处理以确定所述屏幕截图中的一个或多个字符；以及

至少部分基于所述一个或多个字符来确定所述场镜数据。

14.根据权利要求9-13中的任一项所述的计算设备，其中所述至少一个模块能够由所述至少一个处理器操作以从在所述图形用户界面中包括的内容确定场镜数据，用以：

在所述计算设备处分析所述应用的视图层次；

识别在所述应用的图形用户界面的当前屏幕图像中表现的、在所述视图层次中包括的视图对象；

对于在所述视图层次中包括的所述视图对象：

确定与所述视图对象相关联的信息；以及

至少部分基于所确定的信息来确定所述场镜数据。

15.一种用指令编码的计算机可读存储介质，所述指令当被执行时，引起计算设备的至少一个处理器进行根据权利要求1-8所述的方法中的任一种方法。