CN109997111A - 跨应用的内容处理 - Google Patents

Abstract

提出了一种用于在应用之间传送内容的方法。通常地，在操作中，用户可以选择用户界面上的区域以便覆盖用户想要传送的内容。作为响应，所选择的区域中的内容的类型将被标识。然后基于所标识的类型，在用户界面上提供一个或多个选项，并且每个选项可以链接到一个或多个应用。在用户选择选项之后，启动与所选择的选项相关联的应用以处理内容。以这种方式，可以跨不同的应用有效地并且高效地处理内容，这将显著地改进处理效率和用户体验。

Description

跨应用的内容处理

背景技术

应用通常是被设计为针对用户的利益执行一组坐标函数、任务或活动的计算机程序。应用的示例包括文字处理器、网络浏览器、聊天应用、媒体播放器、照片编辑器、地图应用等等。取决于应用被设计用于的活动，应用可以处理文本、数字、图像、条形码、视频或这些元素的组合。

通常地，存在彼此独立地执行的、被安装在设备上或者以其他方式与其相关联的许多应用。这些应用执行不同的程序，处理不同类型的数据，并且因此生成不同的结果。例如，用户可以打开图像编辑器并且在图像编辑器中画一张图，并且他/她将图片保存在磁盘中并且关闭图像编辑器。然后，用户需要打开电子邮件应用并且将该图片作为电子邮件应用中的附件而发送电子邮件。如此，用户完成了在电子邮件应用中分享由图像编辑器生成的图片的过程。然而，目前，对于用户而言难以执行跨不同的应用的操作。

发明内容

根据本文所描述的主题的实施方式，提出了一种用于在应用之间传送内容的新方法。通常地，在操作中，用户可以选择用户界面上的区域以便覆盖用户想要传送的内容。作为响应，所选择的区域中的内容的类型将被标识。然后基于所标识的类型，在用户界面上提供一个或多个选项，并且每个选项可以链接到一个或多个应用。在用户选择选项之后，与所选择的选项相关联的(多个)应用被启动以处理内容。以这种方式，内容可以跨不同的应用而被有效且高效地处理，这将显著地改进处理效率和用户体验。

将理解，发明内容既不旨在标识本文所描述的主题的实施方式的关键或基本特征，也不旨在被用于限制本文所描述的主题的范围。通过以下描述，本文所描述的主题的其他特征将变得容易理解。

附图说明

在附图和以下描述中，阐述了本文所描述的主题的一个或多个实施方式的细节。从描述、附图和权利要求，本公开的其他特征、方面和优点将变得明显，其中：

图1是适于实现本文所描述的主题的一个或多个实施方式的设备的框图；

图2是图示根据本文所描述的主题的示例实施方式的用于在应用之间传送内容的方法的流程图；

图3A和图3B图示了根据本文所描述的主题的示例实施方式的用于在台式计算设备上的应用之间传送图像和文本块的示例图形用户界面(GUI)；

图4A和图4B图示了根据本文所描述的主题的示例实施方式的用于在移动计算设备上的应用之间传送电子邮件地址和电话号码的示例GUI；

图5图示了根据本文所描述的主题的示例实施方式的用于在应用之间传送地理坐标的示例GUI；

图6A和图6B图示了根据本文所描述的主题的示例实施方式的用于在应用之间传送若干类型的内容的示例GUI；以及

图7图示了根据本文所描述的主题的示例实施方式的用于在一个应用和由用户指定的另一应用之间传送内容的示例GUI。

贯穿附图，相同或者类似附图标记将总是指示相同或者类似元素。

具体实施方式

现在将参考一些示例实施方式描述本文所描述的主题的原理。将理解，描述这些实施方式仅出于说明的目的并且帮助本领域的技术人员理解和实现本文所描述的主题，而不暗示关于本公开的范围的任何限制。本文所描述的本公开可以以除下文所描述的方式之外的各种方式来实现。

如本文所使用的，术语“包括/包含”和其变型将被理解为意味着“包括/包含但不限于”的开放式术语。术语“基于”将被理解为“至少部分地基于”。除非另外指定，否则术语“一个”将被理解为“一个或多个”。术语“一个实施方式”和“实施方式”将被理解为“至少一个实施方式”。术语“另一实施方式”将被理解为“至少一个其他实施方式”。而且，将理解，在本文所描述的主题的上下文中，术语“第一”、“第二”等被用于指示单独的元件或者部件，而不暗示关于这些元件的次序的任何限制。此外，第一元件可以或可以不与第二元件相同。明确的和隐含的其他定义可以被包括在下文。

常规地，不同的应用独立地运行，并且因此，在不同的应用之间传送或者共享内容是不方便的。例如，当用户看到电子邮件应用中的地址时，如果他/她想要查明地址在哪里，则该用户必须启动地图应用或者启动网络浏览器以打开地图服务网站并且然后手动地输入地址或者从剪贴板复制地址。同样地，用户常常必须跨应用传送内容(诸如文本、数字、图像和条形码)。这是不方便的，特别地在具有小屏幕的计算设备上。因此，传统方法和系统通常不能很好地在应用之间传送内容。

根据本文所描述的主题的实施方式，可以跨不同的应用高效地传送并且处理内容。为此目的，允许用户选择覆盖他/她想要处理的内容的区域。所选择的区域中的内容的类型被标识。然后，在用户界面上提供与所标识的类型相对应的一个或多个选项，其中每个选项可以被选择以触发内容的处理。例如，对选项的选择可以启动应用并且使得内容被传送到该应用。以这种方式，用户不再需要手动地在不同的应用之间切换，从而显著地改进内容处理的效率和用户体验。现在将关于图1至图7描述一些示例实施方式。

图1是适于实现本文所描述的主题的一个或多个实施方式的设备100的框图。将理解，设备100不旨在暗示关于本文所描述的主题的使用范围或者功能的任何限制，因为各种实施方式可以被实现在各种各样的通用或者专用计算环境中。设备100的示例包括但不限于膝上型计算机、台式计算机、平板计算机、蜂窝电话、智能电话、平板计算机、个人数字助理(PDA)、可穿戴手表、可穿戴眼镜等。

如所示，设备100包括至少一个处理单元110和存储器120。处理单元110执行计算机可执行指令并且可以是真实或者虚拟处理器。在多处理系统中，多个处理单元执行计算机可执行指令以增加处理能力。存储器120可以是易失性存储器(诸如寄存器、高速缓存、RAM)、非易失性存储器(诸如ROM、EEPROM、闪速存储器)或其某种组合。

在图1中所示的示例中，设备100还包括存储装置130、一个或多个输入设备140、一个或多个输出设备150和一个或多个通信连接160。互连机构(未示出)(诸如总线、控制器或者网络)将设备100的部件相互连接。通常，操作系统软件(未示出)提供用于在设备100中执行的其他软件的操作环境，并且协调设备100的部件的活动。

存储装置130可以是可移除或者不可移除的，并且可以包括计算机可读存储介质(诸如闪速驱动器、磁盘)或者可以被用于存储信息并且可以在设备100内访问的任何其他介质。(多个)输入设备140可以是各种不同的输入设备中的一个或多个。例如，(多个)输入设备140可以包括用户设备(诸如鼠标、键盘、轨迹球等等)。(多个)输入设备140可以实现一个或多个自然用户接口技术(诸如语音识别或者触觉和光笔识别)。作为其他示例，(多个)输入设备140可以包括扫描设备；网络适配器；或者向设备100提供输入的另一设备。(多个)输出设备150可以是显示器、打印机、扬声器、网络适配器或者提供来自设备100的输出的另一设备。(多个)输入设备140和(多个)输出设备150可以被包含在单个系统或者设备(诸如触摸屏或虚拟现实(VR)系统)中。

(多个)通信连接160实现通过网络的通信。此外，设备100的部件的功能可以被实现在单个计算机器或者能够通过THE网络通信的多个计算机器中。网络的示例包括但不限于有线或无线网络(诸如局域网(“LAN”)、城域网“MAN”、广域网(“WAN”)或者因特网、通信网、近场通信连接或其任何组合)。因此，设备100可以使用至一个或多个其他服务器、网络PC或另一共同网络节点的逻辑连接在联网环境中操作。以示例而非限制的方式，经由包括有线或无线联网技术的通信介质实现网络。

根据本文所描述的主题的实施方式，可以在设备100上执行模块125以允许设备100或另一设备的用户在不同的应用之间传送内容。例如，模块125可以是计算机程序或其至少一部分。特别地，在一些实施方式中，模块125可以被集成为设备100的操作系统(OS)中的工具。

当由处理单元160执行时，模块125的至少一部分将被加载到存储器120中。模块125的其他部分(如果有的话)可以被存储在存储装置130或者任何其他非易失性存储介质中。在操作中，模块125可以实施根据本文所描述的主题的实施方式的一个或多个方法/过程。

现在将参考图2描述模块125的功能/操作，图2是图示根据本文所描述的主题的示例实施方式的用于在应用之间传送内容的方法200。

在202处，在设备100的用户界面(UI)上显示区域。例如，在一些实施方式中，用户界面可以是图形用户界面(GUI)。用户可以以各种方式选择UI上的特定区域。例如，用户可以通过在UI上拖曳鼠标、(多个)手指或光笔以定义待选择的区域来指定区域。区域可以是矩形区域、圆形区域和任何其他规则区域或不规则区域。在一些实施方式中，可以从UI的一部分的屏幕截图获得区域，这将在下面参考图3A来详细描述。

在204处，标识被包括在区域中的内容的类型。内容的类型可以通常地被分类为文本、图像和视频。在一些实施方式中，文本还可以被分类为纯文本和可操作文本。可操作文本的示例包括但不限于电话号码、传真号码、地址等。备选地或附加地，图像的类型还可以被划分为不可操作图像和可操作图像。可操作图像的示例包括但不限于条形码图像、QR代码图像等。将理解，以上类型仅是示例，而不暗示关于本文所描述的主题的范围的任何限制。实施方式也适用于任何其他内容类型。

一般地，通过内容识别技术确定内容的类型。例如，可以在所选择的区域上应用光学字符识别(OCR)。如果区域中的所有内容都被识别为字符，则内容的类型将被确定为文本。任何适合的识别技术，不管是当前已知的还是未来待开发的，都可以被应用以标识GUI上的特定区域中的内容的类型。

在一些实施方式中，预设内容的默认类型。举例来说，默认类型可以是图像。即，如果难以或者不能够确切地标识所选择的区域中的内容的特定类型，则区域中的内容将被认为是默认类型。在一些实施方式中，从内容仅标识一个类型。在其他情况下，所选择的区域可以具有各种类型的内容。此时，可以标识来自区域的内容的两种或更多种类型，或者确定区域中的“主要”内容的单个类型。示例将在下文中参考图6A和图6B来详细描述。

在一些实施方式中，可以基于用户的意图的预测来标识内容的类型。即，模块125预测用户想要做和/或可以做什么并且因此标识内容类型。在一些实施方式中，例如，交互上下文可以被用于预测用户的意图。如本文所使用的，短语“上下文”是指可以表征用户与设备的交互的性质。例如，交互上下文可以包括在设备100上由用户执行的一个或多个先前的动作、用户的简档、设备100的简档和/或用户所位于的环境的简档。

用户的简档可以指示关于用户的信息，诸如对习惯、情绪状态、生物生理条件和用户的社会环境(诸如与他人的共处、社会交互、群体动态)和用户的任务(诸如自发性活动、从事的任务和总体目标的了解。设备100的简档可以指示设备的一个或多个性质，诸如网络能力、存储大小、处理能力。同样地，环境的简档描述诸如位置的物理环境、诸如用于计算、通信、任务执行的周围资源的基础设施和诸如噪声、光、压力、空气质量的物理条件。

可以以不管是当前已知的还是未来待开发的任何适合的方式感测交互上下文。然后，在标识由用户所选择的区域中的内容类型时，考虑上下文。例如，在用户选择网络浏览器的UI中的区域之后，模块125可以确定设备100是否被连接到网络。如果是，则模块125可以试图识别所选择的区域中的任何电子邮件地址。否则，模块125仅将区域中的文本(如果有的话)识别为纯文本。

在206处，基于内容的类型，在用户界面上提供一个或多个选项。每个选项可用于用户的选择并且与适于处理所标识的类型的内容的应用相关联。例如，如果所选择的区域中的内容被标识为图像，则可以呈现与能够处理图像的应用(诸如一个或多个图像编辑器、电子邮件应用等)相关联的选项。

在一些实施方式中，例如，一个或多个选项可以被呈现为GUI上的菜单或者应用图标，并且每个菜单可以链接到适于处理所标识的类型的内容的一个或多个应用。在一些实施方式中，与不同的应用相关联的选项可以具有不同的外观，诸如形状、颜色、图案、大小等等。

在存在待提供的多个选项的情况下，可以例如基于所预测的用户意图对选项进行排名。在以下段落中将讨论选项的呈现和操作的示例实施方式。备选地或附加地，在一些实施方式中，可以基于多个选项与内容的类型之间的相关性来对多个选项进行排名，这将在下文中参考图4B来详细描述。

与所呈现的选项相关联的一些应用可以被安装在设备100上并且在其上可执行。备选地，一个或多个选项可以与设备100例如经由网络可访问的远程应用相关联。即，内容可以自动地被传送到远程设备中的相关联的应用。在用户的选择之后，可以启动相关联的应用，并且内容可以被自动地被传递给该应用以用于处理。

在一些实施方式中，应用可以根据默认设置来确定。即，针对每个内容类型，设备100记录适于处理该类型的内容的一个或多个应用。默认设置可以例如被存储在存储装置130中。

在208处，响应于接收到对选项中的一个选项的选择，设备100使得被包括在区域中的内容由与所选择的选项相关联的应用处理。例如，设备100可以启动或者激活应用并且将内容传送到应用以用于处理。可以以任何适合的方式传送内容，合适的方式包括但不限于线程间通信、进程间通信、应用间通信、网络通信、近场通信等。

特别地，被启动以处理内容的应用与渲染UI和内容的应用不同。例如，在一些实施方式中，在网络浏览器应用中渲染UI和内容，而由对选项的选择触发的应用可以是与网络浏览器分离的文字处理应用。即，内容在不同的应用之间被传送。

考虑一个示例，假定被包括在UI中的所选择的区域中的内容被标识为电子邮件地址。传统地，如果用户想要向该地址发送电子邮件，则用户必须选择地址、将其复制到剪贴板、切换到电子邮件应用、创建新电子邮件、并且将所复制的地址从剪贴板粘贴到新电子邮件的接收字段中。不同于如此冗长的过程，根据本文所描述的主题的实施方式，在选择UI上的区域之后，设备100标识所选择的区域中的内容包含电子邮件地址。作为响应，将(例如，在区域旁边)呈现与电子邮件应用相关联的选项。用户可以通过简单地选择(例如点击)该选项来触发电子邮件应用。然后，电子邮件应用将被激活以创建新电子邮件，其中该电子邮件地址被自动地填充到接收字段中。

将理解，虽然可以提供多个选项，但是仅一个选项也可以是可能的。在这种情况下，所提供的一个选项可以不被呈现在GUI上，并且这一个选项将在没有任何用户动作的情况下被自动地选择。换言之，一旦用户选择区域，被包括在区域中的内容就基于内容的类型而自动地被传送到另一应用。在一些实施方式中，如果选项的分数高于阈值，则可以在没有任何用户选择的情况下选择该选项。在一些实施方式中，可以提供一些功能，例如，所选择的内容总是被转换为文本，或者所选择的内容总是被传送到文字处理应用。

在一些实施方式中，如果内容是不可操作的内容，诸如不可操作的图像，则待传送的内容可以是图像本身。此外，如果内容是可操作内容，诸如文本或者条形码，则可以从内容提取文本或者条形码；并且然后所提取的文本或者条形码可以被传送到所选择的应用以用于处理。

同样地，文本、条形码、媒体(诸如视频片段等等)可以被提供给用于后续处理适合的应用。在一些实施方式中，内容本身被传送。备选地，在其他实施方式中，可以提供统一资源标识符(URI)，使得目标应用可以取回内容。

以这种方式，可以高效地启用对所选择的区域中的内容的处理。用户仅需要选择与他/她想要在内容上执行的操作相关联的选项。因此，用户从在不同的应用之间切换中解放出来。

现在将描述如上文所描述的方法300的一些示例实施方式。图3A和图3B图示了根据本文所描述的主题的示例实施方式的用于在台式计算设备上的应用之间传送图像和文本块的示例GUI 300和GUI350。将理解，可以在图1中的设备110中的显示器上显示图3A至图3B中的GUI。这些示例GUI仅出于说明的目的并且帮助本领域的技术人员理解和实现本文所描述的主题而被图示，而不暗示关于本文所描述的主题的范围的任何限制。

在如图3A中所示的GUI 300中，用户正利用台式计算设备中的网络浏览器浏览网页，该网页是中国的长城的介绍。假定用户对GUI300中的长城的图像感兴趣并且想要保存或者分享该图像，并且因此用户选择GUI 300上的区域310。如在图3A中所图示的，区域310覆盖长城的图像。

在一些实施方式中，用户可以截取GUI 310的至少一部分的屏幕截图，并且用户然后可以通过绘制规则或不规则形状来选择区域310。例如，用户然后可以调节屏幕截图的大小以覆盖待传送的内容，并且经调节的屏幕截图将被处理为区域310。以这种方式，使得用户能够选择适当的区域，使得他/她想要处理的内容可以被包括在适当的区域中。将理解，虽然屏幕截图作为示例被提供，但是其他区域选择方法也是可能的。

在一些实施方式中，可以以任何适合的方式截取屏幕截图。例如，可以在UI上提供浮动窗口，并且用户可以通过点击浮动窗口上的菜单项来启用屏幕截图。备选地，用户可以轻叩特定的(多个)键来调用屏幕截图。在另一实施方式中，用户可以例如通过设备100的扬声器说出特定的语音命令以便截取屏幕截图。

在确定GUI 300上的区域310之后，设备100(更特别地，模块125)诸如通过OCR技术来识别310中的内容以便确定内容的类型。在这种情况下，区域310中的内容是长城的图像，并且因此渲染包括与适于处理图像的应用相关联的选项的窗口320。在该示例中，窗口320被显示在区域310附近以便于用户的选择。

如在图3A中所示，窗口320包括与图像编辑器相关联的选项330和指示区域310中的图像可以被传送到另一应用诸如以与他人共享的选项340。将理解，虽然图标被提供为选项的表示，但是其他类型的选项(诸如文本菜单)也可以是可能的。在一些实施方式中，如果用户选择选项340，则用于图像处理的一些新的(多个)子选项可以被呈现以供用户选择。

在如图3B中所示的GUI 350中，假定用户选择GUI 350上的区域360。借助于OCR技术，例如，区域360中的内容被标识为文本，即，“The Great Wall of China is a seriesof fortifications made of stone,brick,tamped earth,wood,and other materials,generally built along an east-to-west line across the historical northernborders”。作为响应，窗口370被显示有对应于文本处理的多个选项。如图3B中所示，窗口370包括指示区域360中的内容可以被处理为文本的选项380以及与图像编辑器相关联的选项390。在该示例中，选项380还包括指示文本可以被复制到剪贴板的子选项382和文本可以被发送到文字处理应用以用于处理的子选项384。

例如，如果用户选择子选项384，则文本将直接地被录入到文字处理应用中而不要求用户手动地复制和粘贴。即，所选择的文本可以在没有用户的手动操作的情况下自动地从一个应用(网络浏览器)被传递到另一应用(文字处理应用)。这样的跨应用的内容传送减少了用户必须做的操作。

作为另一示例，图4A和图4B示出了相对于作为两种特殊的文本内容的电子邮件地址和电话号码的GUI 400和GUI 450。在如图4A中所示的GUI 400中，用户正浏览网页。假定用户选择区域410，该区域410内的内容被识别为文本。更特别地，设备100可以识别区域410中的文本是可操作文本，即，电子邮件“aaa@bbb.ccc”。然后，呈现了包括适于电子邮件地址的选项的窗口420。在这种情况下，窗口420包括指示电子邮件应用可以被启动以向该电子邮件地址发送电子邮件的选项430和指示该电子邮件地址可以被存储在文本应用中的选项440。如果用户选择选项430，则电子邮件应用将被激活以创建新电子邮件，其中电子邮件地址“aaa@bbb.ccc”自动地被填充到接收字段中。如此，用户可以直接地开始编辑电子邮件主体。

在一些实施方式中，如果多个选项被确定用于处理被包括在区域中的内容，则可以对多个选项进行排名。可以基于多个选项与内容的类型之间的相关性完成排名。备选地或附加地，在对选项进行排名时可以考虑交互上下文。现在将参考图4B描述示例。

如在图4B的GUI 450中所示，用户选择区域460并且区域460中的内容被识别为文本。假定设备100是具有电话通信的能力的移动设备，进一步的识别可以被应用以标识文本包含电话号码。此时，电话应用被认为比文本编辑器应用更相关。因此，在所显示的窗口470中，与电话应用相关联的选项480比与文本编辑器相关联的选项490排名更高。如此，用户可以容易地选择选项480以调用电话应用来拨电话号码。另一方面，如果交互上下文示出用户频繁地在编辑器应用中编辑文本内容，则选项490可以被显示在描绘文本被标识为电话号码的选项480之前。

作为另一示例，假定所选择的区域中的内容被识别为图像，并且感测到用户喜欢与他人分享图像。在该示例中，在用户选择区域之后，可以预测用户可能想要在聊天应用和/或电子邮件应用中发送图像。那么这些应用可以被排名得相对高。以这种方式，可以进一步增强用户交互的智能。

图5图示了根据本文所描述的主题的示例实施方式的用于在应用之间传送地理坐标的另一示例GUI 500。在GUI 500中，用户选择包括中国的长城的地理坐标即40.68°N117.23°E的区域510，并且区域510中的内容通常被识别为文本。通过进一步的识别，文本表示地理坐标，并且因此区域510中的内容的类型可以被确定为现实世界的地址。然后，窗口520包括与地图应用相关联的选项530。例如，通过选择选项530，可以调用地图应用以搜索地址40.68°N 117.23°E并且在地图上示出结果。焦点可以被切换到地图应用。或者备选地，在不跳到地图应用的情况下，地图窗口535可以被嵌入到窗口520中。窗口520还包括与文本编辑器相关联的选项540。

在一些实施方式中，所选择的区域中包括多于一种类型的内容。此时，在一些实施方式中，区域中的“主要”内容的类型将被标识为整个区域的内容类型。例如，如果在区域中标识了第一类型的第一内容和不同的第二类型的第二内容，则比较第一内容的大小和第二内容的大小。如果第一内容的大小大于第二内容的大小，则第一内容的第一类型可以被确定为内容的类型，并且反之亦然。换言之，占据区域的较高比例的内容的类型将被认为是区域中的主内容。

特别地，在一些实施方式中，只要第一内容的大小与区域的大小之间的比大于预定阈值，第一内容的第一类型就被确定为区域中的内容的类型。即，第一类型的内容的大小在所选择的区域中足够大。

图6A示出了这样的示例实施方式。在GUI 600中，用户选择区域610，区域610包括图像区域612和文本区域614二者。由于图像区域612占据区域610的大部分，因此区域610中的内容的类型将被标识为图像。因此，呈现了包括对应于图像的选项的窗口620。如在图6A中所示，窗口620包括与图像编辑器相关联的选项630和指示区域610的屏幕截图的图像可以被传送到另一应用的选项640。即，仅提供与所确定的类型相关联的应用。

备选地，在其他实施方式中，标识区域中的所有内容类型并且提供用于处理这些类型的内容的选项是可能的。例如，在以上示例中，可以看到，所选择的区域610实际上包括文本，诸如“长城的示意图”。不同于如参考图6A所讨论的丢弃这样的内容，在如图6B中所示的实施方式中，除选项630和640之外，窗口620还包括与文本应用相关联的选项660。

在一些实施方式中，一个选项可以与适于处理所标识的类型的内容的两个或多于两个的应用相关联。图7中示出了示例实施方式。特别地，在如图7中所示的GUI 700中，用户选择包括中国的长城的图像的区域710。然后，呈现了包括对应于图像的选项的窗口720。特别地，窗口720包括与图像编辑器相关联的选项730、用于将区域710的屏幕截图传送到另一应用的选项740以及可以从其搜索被安装在设备100上或者设备100可访问的多个应用的选项750。

如果用户选项选项750，例如，多个应用的表示作为子选项“应用1”、“应用2”等被呈现在窗口720上。此外，用户可以选择子选项“更多”以察看所有适合的应用。用户可以从用于处理内容的多个应用中选择应用。以这种方式，如果所推荐的应用不被用户期望，则用户可以手动地选择他/她想要使用的应用。在一些实施方式中，所选择的应用将来在用户选择相同或者类似类型的内容时可以被推荐。

出于说明本文所描述的主题的精神和原理的目的，上文已经描述其一些特定实施方式。通过标识在应用之间待传送的内容的类型，适于内容的(多个)应用可以被提供以供用户选择。以这种方式，可以跨不同的应用有效地且高效地处理内容，这将显著地改进处理效率和用户体验。

现在，仅出于说明的目的，下面将列出一些示例实施方式。

在一些实施方式中，本文所描述的主题可以被实现为设备。设备包括处理单元和存储器。存储器被耦合到处理单元并且存储用于由处理单元执行的指令。该指令在由处理单元执行时使得设备执行动作，动作包括：确定被显示在设备的用户界面上的区域；标识被包括在区域中的内容的类型；基于内容的类型，在用户界面上提供至少一个选项，至少一个选项中的每个选项与适于处理所标识的类型的内容的应用相关联；以及响应于接收到对至少一个选项中的一个选项的选择，使得被包括在区域中的内容由与所选择的选项相关联的应用处理。

在一些实施方式中，动作还包括：获得用户的交互上下文，交互上下文指示以下各项中的至少一项：在设备上由用户执行的至少一个先前的动作、用户的简档、设备的简档以及用户所位于的环境的简档；以及至少部分地基于交互上下文，预测用户的意图，该意图将被使用在以下各项中的至少一项中：标识内容的类型，或者提供至少一个选项。

在一些实施方式中，标识被包括在区域中的内容的类型包括：响应于确定第一类型的第一内容和不同的第二类型的第二内容被包括在区域中，将第一内容的大小和第二内容的大小进行比较；响应于第一内容的大小大于第二内容的大小，将第一内容的第一类型确定为内容的类型；以及响应于第一内容的大小小于第二内容的所述大小，将第一内容的第二类型确定为内容的类型。

在一些实施方式中，在用户界面上提供至少一个选项包括：确定用于处理被包括在区域中的内容的多个选项；基于多个选项与内容的类型之间的相关性，对多个选项进行排名；以及根据排名显示多个选项。

在一些实施方式中，使得被包括在区域中的内容由应用处理包括：响应于接收到对来自至少一个选项的选项的第一选择，提供与所选择的选项相关联的多个应用的表示；以及响应于接收到对来自多个应用的应用的第二选择，使得所选择的应用处理内容。

在一些实施方式中，使得被包括在区域中的内容由应用处理包括：从内容中提取文本或者条形码；以及向所选择的应用提供所提取的文本或者条形码以用于处理。

在一些实施方式中，确定被显示在用户界面上的区域包括：获得用户界面的至少一部分的屏幕截图；以及从屏幕截图中确定区域。

在一些实施方式中，从屏幕截图中确定区域包括：将屏幕截图呈现在用户界面上；接收调节屏幕截图的大小的用户输入；以及从经调节的屏幕截图中确定区域。

备选地或附加地，本文所描述的主题可以被实现为计算机实现的方法。该方法包括：确定被显示在设备的用户界面上的区域；标识被包括在区域中的内容的类型；基于内容的类型，在用户界面上提供至少一个选项，至少一个选项中的每个选项与适于处理所标识的类型的内容的应用相关联；以及响应于接收到对至少一个选项中的一个选项的选择，使得被包括在区域中的内容由与所选择的选项相关联的应用处理。

在一些实施方式中，动作还包括：获得用户的交互上下文，交互上下文指示以下各项中的至少一项：在设备上由用户执行的至少一个先前的动作、用户的简档、设备的简档和用户所位于的环境的简档；以及至少部分地基于交互上下文，预测用户的意图，该意图将被使用在以下各项中的至少一项中：标识内容的类型，或者提供至少一个选项。

在一些实施方式中，标识被包括在区域中的内容的类型包括：响应于确定第一类型的第一内容和不同的第二类型的第二内容被包括在区域中，将第一内容的大小和第二内容的大小进行比较；响应于第一内容的大小大于第二内容的所述大小，将第一内容的第一类型确定为内容的类型；以及响应于第一内容的大小小于第二内容的所述大小，将第一内容的第二类型确定为内容的类型。

在一些实施方式中，在用户界面上提供至少一个选项包括：确定用于处理被包括在区域中的内容的多个选项；基于多个选项与内容的类型之间的相关性，对多个选项进行排名；以及根据排名显示多个选项。

在一些实施方式中，使得被包括在区域中的内容由应用处理包括：响应于接收到对来自至少一个选项的选项的第一选择，提供与所选择的选项相关联的多个应用的表示；以及响应于接收到对来自多个应用的应用的第二选择，使得所选择的应用处理内容。

在一些实施方式中，使得被包括在区域中的内容由应用处理包括：从内容中提取文本或者条形码；以及向所选择的应用提供所提取的文本或者条形码以用于处理。

在一些实施方式中，确定被显示在用户界面上的区域包括：获得用户界面的至少一部分的屏幕截图；以及从屏幕截图中确定区域。

在一些实施方式中，从屏幕截图中确定区域包括：将屏幕截图呈现在用户界面上；接收调节屏幕截图的大小的用户输入；以及从经调节的屏幕截图中确定区域。

备选地或附加地，本文所描述的主题可以被实现为包括指令的计算机可读存储介质。该指令在由处理器执行时使得过程执行动作，动作包括：确定被显示在设备的用户界面上的区域；标识被包括在区域中的内容的类型；基于内容的类型，在用户界面上提供至少一个选项，至少一个选项中的每个选项与适于处理所标识的类型的内容的应用相关联；以及响应于接收到对至少一个选项中的一个选项的选择，使得被包括在区域中的内容由与所选择的选项相关联的应用处理。

在一些实施方式中，动作还包括：获得用户的交互上下文，交互上下文指示以下各项中的至少一项：在设备上由用户执行的至少一个先前的动作、用户的简档、设备的简档以及用户所位于的环境的简档；以及至少部分地基于交互上下文，预测用户的意图，该意图将被使用在以下各项中的至少一项中：标识内容的类型，或者提供至少一个选项。

在一些实施方式中，标识被包括在区域中的内容的类型包括：响应于确定第一类型的第一内容和不同的第二类型的第二内容被包括在区域中，将第一内容的大小和第二内容的大小进行比较；响应于第一内容的大小大于第二内容的所述大小，将第一内容的第一类型确定为内容的类型；以及响应于第一内容的大小小于第二内容的大小，将第一内容的第二类型确定为内容的类型。

在一些实施方式中，在用户界面上提供至少一个选项包括：确定用于处理被包括在区域中的内容的多个选项；基于多个选项与内容的类型之间的相关性，对多个选项进行排名；以及根据排名显示多个选项。

在一些实施方式中，使得被包括在区域中的内容由应用处理包括：响应于接收对来自至少一个选项的选项的第一选择，提供与所选择的选项相关联的多个应用的表示；以及响应于接收到对来自多个应用的应用的第二选择，使得所选择的应用处理内容。

在一些实施方式中，使得被包括在区域中的内容由应用处理包括：从内容中提取文本或者条形码；以及向所选择的应用提供所提取的文本或者条形码以用于处理。

在一些实施方式中，确定被显示在用户界面上的区域包括：获得用户界面的至少一部分的屏幕截图；以及从屏幕截图中确定区域。

在一些实施方式中，从屏幕截图中确定区域包括：将屏幕截图呈现在用户界面上；接收调节屏幕截图的大小的用户输入；以及从经调节的屏幕截图中确定区域。

本文所描述的主题的实施方式还可以包括一个或多个计算机程序产品，该一个或多个计算机程序产品有形地被存储在非暂态机器可读介质上并且包括机器可执行指令。该指令在设备上被执行时使得设备执行如上文所描述的一个或多个过程。

通常地，各种示例实施方式可以以硬件或者专用电路、软件、逻辑或其任何组合来实现。一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或者软件来实现。虽然本文所描述的主题的示例实施方式的各方面被图示并且被描述为框图、流程图或者使用某个其他图形表示，但是将理解，作为非限制性示例，本文所描述的框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或者其某种组合来实现。

在本文所描述的主题的上下文中，机器可读介质可以是可以包含或存储程序的任何有形介质，该程序由指令执行系统、装置或设备使用或与执行系统、装置或设备结合。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置、或设备、或前述内容的任何适合的组合。机器可读存储介质的更特定示例将包括：具有一个或多个接线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式压缩光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或者前述内容的任何适合的组合。

用于实施本文所描述的主题的方法的计算机程序代码可以以一个或多个编程语言的任何组合来编写。这些计算机程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得程序代码在由计算机或其他可编程数据处理装置的处理器执行时，使得流程图和/或框图中指定的功能或者操作被实现。计算机代码可以全部地在计算机上执行、部分地在计算机上执行、作为独立软件包执行、部分地在计算机上并且部分地在远程计算机上执行或全部地在远程计算机或服务器上执行。

此外，虽然以特定次序描绘操作，但是这不应该被理解为要求这样的操作以所示的特定次序或者以顺序次序来执行，或者全部所图示的操作被执行以实现期望的结果。在某些情况下，多任务和并行处理可以是有利的。同样地，虽然在以上讨论中包含若干特定的实施方式细节，但是这些不应当被解释为对任何公开或者可以被要求保护的范围的限制，而是相反地作为对可以特定于特定公开的特定实施方式的特征的描述。在本说明书中在分离的实施方式的上下文中所描述的某些特征也可以被实现在单个实施方式的组合中。相反地，在单个实施方式的上下文中所描述的各种特征也可以分离地或者以任何适合的子组合被实现在多个实施方式中。

当结合附图阅读前述描述时，鉴于前述描述，对本公开的前述示例实施方式的各种修改、适应对于相关领域的技术人员可能变得明显。任何和所有修改将仍然落在本公开的非限制性和示例实施方式的范围内。此外，本公开的这些实施方式所属的领域的技术人员将想到本文所阐述的公开的、具有前述描述和附图中呈现的教导的益处的其他实施方式。

因此，将理解，本公开的实施方式将不限于所公开的特定实施方式，并且修改和其他实施方式旨在被包括在所附的权利要求的范围内。虽然特定术语在本文中被使用，但是其仅在一般和描述性意义上并且不出于限制的目的而被使用。

Claims (20)

1.一种设备，包括：

处理单元；以及

存储器，所述存储器被耦合到所述处理单元并且存储用于由所述处理单元执行的指令，所述指令在由所述处理单元执行时使得所述设备执行动作，所述动作包括：

确定被显示在所述设备的用户界面上的区域；

标识被包括在所述区域中的内容的类型；

基于所述内容的所述类型，在所述用户界面上提供至少一个选项，所述至少一个选项中的每个选项与适于处理所标识的所述类型的内容的应用相关联；以及

响应于接收到对所述至少一个选项中的一个选项的选择，使得被包括在所述区域中的所述内容由与所选择的所述选项相关联的所述应用处理。

2.根据权利要求1所述的设备，所述动作还包括：

获得所述用户的交互上下文，所述交互上下文指示以下各项中的至少一项：

在所述设备上由所述用户执行的至少一个先前的动作，

所述用户的简档，

所述设备的简档，以及

所述用户所位于的环境的简档；以及

至少部分地基于所述交互上下文，预测所述用户的意图，所述意图将被使用在以下各项中的至少一项中：标识内容的类型，或者提供至少一个选项。

3.根据权利要求1所述的设备，其中标识被包括在所述区域中的内容的类型包括：

响应于确定第一类型的第一内容和不同的第二类型的第二内容被包括在所述区域中，将所述第一内容的大小和所述第二内容的大小进行比较；

响应于所述第一内容的所述大小超过所述第二内容的所述大小，将所述第一内容的所述第一类型确定为所述内容的所述类型；以及

响应于所述第一内容的所述大小小于所述第二内容的所述大小，将所述第一内容的所述第二类型确定为所述内容的所述类型。

4.根据权利要求1所述的设备，其中在所述用户界面上提供至少一个选项包括：

确定用于处理被包括在所述区域中的所述内容的多个选项；

至少基于所述多个选项与所述内容的所述类型之间的相关性，对所述多个选项进行排名；以及

根据所述排名显示所述多个选项。

5.根据权利要求1所述的设备，其中使得被包括在所述区域中的所述内容由所述应用处理包括：

响应于接收到对来自所述至少一个选项的所述选项的第一选择，提供与所选择的所述选项相关联的多个应用的表示；以及

响应于接收到对来自所述多个应用的所述应用的第二选择，使得所选择的所述应用处理所述内容。

6.根据权利要求5所述的设备，其中使得被包括在所述区域中的所述内容由所述应用处理还包括：

从所述内容中提取文本或者条形码；以及

向所选择的所述应用提供所提取的所述文本或者所述条形码以用于处理。

7.根据权利要求1所述的设备，其中确定被显示在用户界面上的区域包括：

获得所述用户界面的至少一部分的屏幕截图；以及

从所述屏幕截图中确定所述区域。

8.根据权利要求7所述的设备，其中从所述屏幕截图中确定所述区域包括：

将所述屏幕截图呈现在所述用户界面上；

接收调节所述屏幕截图的大小的用户输入；以及

从经调节的所述屏幕截图中确定所述区域。

9.一种方法，包括：

确定被显示在设备的用户界面上的区域；

标识被包括在所述区域中的内容的类型；

基于所述内容的所述类型，在所述用户界面上提供至少一个选项，所述至少一个选项中的每个选项与适于处理所标识的所述类型的内容的应用相关联；以及

响应于接收到对所述至少一个选项中的一个选项的选择，使得被包括在所述区域中的所述内容由与所选择的所述选项相关联的所述应用处理。

10.根据权利要求9所述的方法，还包括：

获得所述用户的交互上下文，所述交互上下文指示以下各项中的至少一项：

在所述设备上由所述用户执行的至少一个先前的动作，

所述用户的简档，

所述设备的简档，以及

所述用户所位于的环境的简档；以及

至少部分地基于所述交互上下文，预测所述用户的意图，所述意图将被使用在以下各项中的至少一项中：标识内容的类型，或者提供至少一个选项。

11.根据权利要求9所述的方法，其中标识被包括在所述区域中的内容的类型包括：

响应于确定第一类型的第一内容和不同的第二类型的第二内容被包括在所述区域中，将所述第一内容的大小和所述第二内容的大小进行比较；

响应于所述第一内容的所述大小超过所述第二内容的所述大小，将所述第一内容的所述第一类型确定为所述内容的所述类型；以及

响应于所述第一内容的所述大小小于所述第二内容的所述大小，将所述第一内容的所述第二类型确定为所述内容的所述类型。

12.根据权利要求9所述的方法，其中在所述用户界面上提供至少一个选项包括：

确定用于处理被包括在所述区域中的所述内容的多个选项；

至少基于所述多个选项与所述内容的所述类型之间的相关性，对所述多个选项进行排名；以及

根据所述排名显示所述多个选项。

13.根据权利要求9所述的方法，其中使得被包括在所述区域中的所述内容由所述应用处理包括：

响应于接收到对来自所述至少一个选项的所述选项的第一选择，提供与所选择的所述选项相关联的多个应用的表示；以及

响应于接收到对来自所述多个应用的所述应用的第二选择，使得所选择的所述应用处理所述内容。

14.根据权利要求13所述的方法，其中使得被包括在所述区域中的所述内容由所述应用处理还包括：

从所述内容中提取文本或者条形码；以及

向所选择的所述应用提供所提取的所述文本或者所述条形码以用于处理。

15.根据权利要求9所述的方法，其中确定被显示在用户界面上的区域包括：

获得所述用户界面的至少一部分的屏幕截图；以及

从所述屏幕截图中确定所述区域。

16.根据权利要求15所述的方法，其中从所述屏幕截图中确定所述区域包括：

将所述屏幕截图呈现在所述用户界面上；

接收调节所述屏幕截图的大小的用户输入；以及

从经调节的所述屏幕截图中确定所述区域。

17.一种计算机可读存储介质，所述计算机可读存储介质包括在由处理器执行时使得所述过程执行动作的指令，所述动作包括：

确定被显示在设备的用户界面上的区域；

标识被包括在所述区域中的内容的类型；

基于所述内容的所述类型，在所述用户界面上提供至少一个选项，所述至少一个选项中的每个选项与适于处理所标识的所述类型的内容的应用相关联；以及

响应于接收到对所述至少一个选项中的一个选项的选择，使得被包括在所述区域中的所述内容由与所选择的所述选项相关联的所述应用处理。

18.根据权利要求17所述的计算机可读存储介质，所述动作还包括：

获得所述用户的交互上下文，所述交互上下文指示以下各项中的至少一项：

在所述设备上由所述用户执行的至少一个先前的动作，

所述用户的简档，

所述设备的简档，以及

所述用户所位于的环境的简档；以及

至少部分地基于所述交互上下文，预测所述用户的意图，所述意图将被使用在以下各项中的至少一项中：标识内容的类型，或者提供至少一个选项。

19.根据权利要求17所述的计算机可读存储介质，其中标识被包括在所述区域中的内容的类型包括：

响应于确定第一类型的第一内容和不同的第二类型的第二内容被包括在所述区域中，将所述第一内容的大小和所述第二内容的大小进行比较；

响应于所述第一内容的所述大小大于所述第二内容的所述大小，将所述第一内容的所述第一类型确定为所述内容的所述类型；以及

响应于所述第一内容的所述大小小于所述第二内容的所述大小，将所述第一内容的所述第二类型确定为所述内容的所述类型。

20.根据权利要求17所述的计算机可读存储介质，其中使得被包括在所述区域中的所述内容由所述应用处理包括：

响应于接收到对来自所述至少一个选项的所述选项的第一选择，提供与所选择的所述选项相关联的多个应用的表示；以及

响应于接收到对来自所述多个应用的所述应用的第二选择，使得所选择的所述应用处理所述内容。