CN107077345A - 用于在当前应用中插入内容的个性化上下文菜单 - Google Patents

Abstract

根据所公开的主题的方面，用于提供对当前执行上下文之外可访问的内容的改进访问的系统和方法。在计算设备上，智能画布被提供为操作系统级别服务。通过将智能画布实施和/或提供为操作系统级别服务，用户与智能画布的交互不要求从当前执行上下文的改变。在接收到与智能画布交互的请求时，智能画布视图被呈现以用于显示。智能画布视图包括多个用户可动作的控件，并且至少一个用户可动作的控件对应于用于导入到当前执行上下文中的内容。此外，至少一个用户可动作的控件的对应内容先行被选择以用于在智能画布视图中呈现。

Description

用于在当前应用中插入内容的个性化上下文菜单

背景技术

大多数计算机用户通常具有运行在设备上的若干app和/或应用。这些app和应用被设计为提供预定集合的服务和功能。经常地，一个应用的服务将包括用作向另一应用的输入的信息或数据。因为app和应用设计者不能合理地预见到第一应用的信息如何可以被用作向另一应用的输入，所以致使计算机用户使用在用户的计算机上可用的任何工具来促进信息的传送。此外，用于将外部数据传送到应用的执行内容中的可用工具仅提供最基本的服务，从而经常致使用户手动地切换应用的执行上下文来访问数据并且将数据传送回到执行上下文。

发明内容

以下概述被提供以简化形式介绍下面在详细描述中进一步描述的概念的选择。本概述不意图识别所要求保护的主题的关键特征或必要特征，也不意图用来限制所要求保护的主题的范围。

根据所公开的主题的方面，提供了用于提供对当前执行上下文之外可访问的内容的改进访问的系统和方法。在计算设备上，智能画布被提供为操作系统级别服务。通过将智能画布实施和/或提供为操作系统级别服务，用户与智能画布的交互不要求从当前执行上下文的改变。在接收到与智能画布交互的请求时，智能画布视图被呈现以用于显示。智能画布视图包括多个用户可动作的控件并且至少一个用户可动作的控件对应于用于导入到当前执行上下文中的内容。此外，至少一个用户可动作的控件的对应内容先行被选择以用于在智能画布视图中呈现。

根据所公开的主题的另外方面，提出了用于提供对当前执行上下文之外可访问的内容的改进访问的另外的系统和方法。在一个实施例中，承载计算机可执行指令的计算机可读介质，这些指令当在计算设备上被执行时执行一种方法，该方法用于提供对当前执行上下文之外可访问的内容的改进访问。在执行中，智能画布被提供为操作系统级别服务。通过将智能画布实施和/或提供为操作系统级别服务，用户与智能画布的交互不要求从当前执行上下文的改变。除了智能画布之外，内容捕获过程也在计算设备上被提供。在操作中，内容捕获过程在计算设备的后台中执行。此外，内容捕获过程被配置为捕获由用户访问的内容，并将所捕获的内容存储为与用户相关联的内容卡索引中的一个或多个内容卡。在接收到与智能画布交互的请求时，智能画布视图被呈现以用于显示。智能画布视图包括多个用户可动作的控件，并且至少一个用户可动作的控件对应于用于导入到当前执行上下文中的内容。此外，至少一个用户可动作的控件的对应内容从内容卡索引中的所捕获的内容中先行被选择，以用于在智能画布视图中呈现。

根据所公开的主题的更进一步的方面，提出了一种用于提供对当前执行上下文之外可访问的内容的改进访问的计算机设备。该计算设备包括处理器和存储器，其中处理器在提供对内容的改进访问时作为另外组件的一部分或连同另外组件一起来执行存储器中存储的指令。另外组件至少包括内容捕获组件和智能剪贴板。内容捕获组件被配置为在计算设备上的后台中操作。内容捕获组件进一步被配置为捕获由计算设备的用户访问的内容并将所捕获的内容存储在内容卡索引中。

更进一步地，根据所公开的主题的各种实施例，提供了一种智能剪贴板。智能剪贴板被配置为操作为计算设备上的操作系统级别服务。一般而言，用户就像他/她将与“典型的”剪贴板那样与智能剪贴板对接/交互，例如经由剪切、复制和粘贴操作，这些用户操作是公知的。然而，与典型的剪贴板不同，智能剪贴板捕获与正被捕获到剪贴板(即，被存储在临时数据存储装置/存储器中用于由剪贴板使用)的数据有关的丰富信息。这一丰富信息包括语义数据、关系、结构组织等。进一步地，在(通常经由复制或剪切操作)将数据捕获到智能剪贴板时，一个或多个内容卡被生成用于所捕获的数据/内容。与智能画布不同，这些动态生成的内容卡不被存储在内容索引中，而是简单地由智能剪贴板维持，只要数据仍然作为智能剪贴板的主题。有利地，当从智能剪贴板粘贴内容时，与所捕获的内容有关的动态生成的内容卡(或者多个内容卡)的丰富信息可以被使用。

附图说明

所公开的主题的前述方面和许多伴随优点，将随着通过在连同以下附图一起对待时参考以下描述来更好地理解它们，而变得更容易被明白，在附图中：

图1是图示了适合被配置为实施所公开的主题的各种方面的计算设备的示例性组件之间的交互的框图；

图2是图示了示例性例程的流程图，该示例性例程用于经由内容捕获过程来捕获用户相关内容，并且生成内容卡并将它们存储和编索引在与计算机用户相对应的内容卡索引中；

图3A-图3D是示意图，它们图示了与计算设备上实施的智能画布的说明性实施例的用户交互；

图4A-图4D是示意图，它们图示了与替换性计算设备上实施的智能画布的说明性实施例的替换性用户交互；

图5是图示了用于在计算设备上实施智能画布的示例性例程的流程图；

图6是图示了用于智能剪贴板的实施方式的示例性剪切/复制例程的流程图；以及

图7是图示了用于智能剪贴板的实施方式的示例性粘贴例程的流程图；

图8是图示了适合被配置有智能画布和增强型剪贴板的示例性计算设备的框图。

具体实施方式

为了清楚的目的，这一文件中的术语“示例性的”应当被解释为用作某事物的例证或示例，并且它不应当被解释为该事物的理想和/或首要的例证。

术语“内容”指代可以被呈现、存储、布置、以及对其作用的项目和/或数据。经常，但不排他地，内容对应于可以经由计算设备向计算机用户呈现的数据/项目。通过说明而不是限制的方式，内容的示例包括数据文件、图像、音频、视频、网页、用户帖子、数据流等、以及它们的部分。术语“用户相关内容”指代被确定为与计算机用户相关的内容。这一确定可以根据与内容的用户交互的性质和/或数量而被做出。当关于与内容的用户交互的性质和/或数量的特定阈值被满足时，该内容可以被看作用户相关内容。例如(通过说明的方式)，对社交网络的用户生成的帖子可以被认为是“用户相关的”，这归因于它由用户生成并张贴的事实。类似地，帖子被做出的整个社交网络线程基于用户向该线程张贴内容的事实而可以被视为“用户相关的”。

术语“捕获”当被使用在“捕获内容”的上下文中时指代创建关于所参考的内容(即，要捕获的内容)的记录。该记录(被称为内容卡)可以包括所参考的内容的副本，或者替换地可以包括对内容的参考，和/或还可以包括所参考的内容的以及对内容的参考的信息的相关元素。更进一步地，该记录可以包括与超出仅该内容的内容有关的另外信息：关于内容的元数据、对内容的用户访问的上下文、识别内容在网络上的位置的URL(统一资源定位符)等。如下面将讨论的，作为捕获内容的一部分，内容的丰富的、鲁棒的信息也被捕获。这一丰富信息包括诸如语义关系、数据结构、以及数据的语义理解之类的信息，等等。

如上面建议的，所公开的主题针对于促进对用户相关内容的捕获和高效地且容易地访问位于目前执行上下文之外的内容。更特别地，根据所公开的主题的第一方面集合，公开了一种捕获用户相关内容的过程。这一过程通常是计算设备的进行中的过程，即，它持续操作，包括在执行后台中操作。这一内容捕获过程根据明确的用户指导来捕获用户相关内容，和/或以自动化方式来捕获内容(例如，当用于确定内容与用户相关的阈值被满足时)。当然，计算机用户也可以明确地指示特定内容应当被捕获(并且因此是用户相关的)。由该过程捕获的内容被视为丰富的或鲁棒的内容，因为所捕获的信息包括与内容的关系的语义理解、内容的数据结构和组织/布置、关于用户对内容的访问以及内容的呈现这两者的上下文信息、与内容有关的元数据，等等。所捕获的信息被组织并布置到内容卡中，并且被存储在与用户相对应且相关联的内容卡存储装置中。如下面将讨论的，内容卡存储装置可以在本地被存储在相关联的用户的计算设备上(在共享的或在线的位置)从而内容卡存储装置可以被使得通过网络容易地被访问，或者作为本地存储装置和网络化存储装置这两者的组合。如本领域的技术人员将明白的，网络存储装置可以包括“在云存储装置中”，即，由第三方或服务为了其订户的权益而维护的网络可访问的存储设备。

除了捕获用户相关内容的进行中过程之外并且根据所公开的主题的另外方面，智能画布被实施以促进对位于计算设备上的当前执行内容之外的内容的访问。智能画布被实施为操作系统级别服务(即，智能画布以与访问操作系统服务相一致的方式被访问，而不管智能画布是否为操作系统的一部分)，从而计算机用户可以与画布容易地交互，以访问仅从计算设备上的当前应用上下文之外可访问的内容(即，将会要求用户切换执行内容，诸如切换到计算机设备上的另一应用，或依赖于操作系统服务来访问内容)。换言之，因为智能画布被提供为操作系统级别服务，所以用户可以保持在当前应用/执行内容中，并且探查并访问否则将会要求一个或多个上下文切换来访问的丰富内容。

根据所公开的主题的更另外的方面，提出了一种智能剪贴板。计算机用户有利地能够临时地捕获计算机用户当前正访问的内容的丰富/鲁棒内容，并且将该丰富/鲁棒内容捕获到剪贴板上(即，将该丰富/鲁棒内容临时存储在与智能剪贴板相关联的数据存储装置中)。更进一步地，不是以多数剪贴板特征的典型的“照原样的”格式维持内容，而是一个或多个内容卡从所捕获的内容被生成。这些一个或多个内容卡可以用来将信息以与来自内容卡的内容从智能画布被应用到应用的相同方式粘贴到应用中(如下面更详细描述的)。

现在转向附图，图1是图示了适合被配置为实施所公开的主题的各种方面的计算设备102的示例性组件之间的交互100的框图。特别地，交互100说明计算设备102上的特定逻辑组件并且发生在它们之间，包括进行中的内容捕获过程104、智能画布106、智能剪贴板108、以及内容卡索引110。

如应当容易明白的，在使用计算机(诸如用户计算机102)的过程中，计算机用户101(或更替换性地，用户101)通常被暴露于大量的内容。当然，内容中的一些内容可以由用户生成，但是一般而言，用户所访问的大多数内容由其他人生成。此外，计算机用户(诸如计算机用户101)可以查看的内容中的一些内容可能对用户具有足够的重要性或相关性，而使得用户可能希望捕获该内容。根据所公开的主题的方面并且如上文建议的，内容捕获过程104分析用户可以访问、查看和/或生成的各种内容项目，并且关于内容是否为用户相关内容从而应当针对且代表用户捕获并存储内容而做出确定。这些确定可以根据用户与内容可能具有的交互的性质、类型、质量和数量、以及根据明确的用户指令而被做出。

关于内容捕获过程104，如所提及的，这一过程通常但不排他地被配置作为用户计算机102上进行中的执行过程。当然，在各种配置(未示出)中，内容捕获过程104可以连同在其他设备上用于计算机用户101的益处而执行的内容捕获过程一起工作。例如，除了在用户的计算机设备(诸如计算设备102)上执行的内容捕获过程104之外，相关的同级(sibling)内容捕获过程(未示出)可以代表用户(或多个用户)在服务器计算机上操作，以识别并捕获用户相关内容。

因为存在许多类型和布置的内容可能被确定为用户相关，所以不是利用可能被捕获的有限的、受限集合的内容类型来编码内容捕获过程104，而是内容捕获过程104替代地包括框架112，框架112使得内容捕获过程能够利用捕获模块(诸如捕获模块114和116)而被更新，其中每个捕获模块可以被配置为捕获特定类型的内容。内容捕获过程104可以被配置为按需地或在更新时从源获得捕获模块，源诸如内容捕获模块的提供者的网页(未示出)。更进一步地，取决于计算设备104的能力，有限集合的捕获模块可以安装到框架112中，并且另一集合的捕获模块(可能大得多)可以被实施在操作相关或同级内容捕获过程的网络可访问的计算设备上。

根据所公开的主题的方面，通过说明而不是限制的方式，由用户访问的内容的源可以包括用户文件、网页、电子邮件、用户帖子、博客、数据流等。当内容被确定为用户相关时，(包括/使用捕获模块的)内容捕获过程捕获该内容，以使得它被记录在一个或多个内容卡(诸如内容卡120)中。每个内容卡对应于内容的特定项目，并且可以包含关于该内容的丰富且鲁棒的信息，该信息包括关于内容、关系、布置和结构、上下文数据等的语义信息。另外，根据所公开的主题的各种非排他的实施例，内容捕获过程104不是针对所访问的内容的特定项目来生成内容卡(诸如内容卡120)，而是内容捕获过程可以利用已更新的、新的、或更为近期的信息来更新已经存在的内容卡。

为了容易地检索每个内容卡(诸如内容卡120)的主题，内容卡的各种元素可以被用作到内容卡索引110中所存储的内容卡的索引中的索引键(index key)。根据一个或多个索引键对信息(诸如内容卡)编索引在本领域中是已知的。如上面提及的，内容卡索引110可以本地存储在用户的计算设备(诸如计算设备102)上、或存储在用于由用户从多个设备访问的共享位置(诸如网络驱动器)、或存储在云存储装置中。

虽然未示出，但是如本领域的技术人员将容易明白的，许多计算机用户通常与多于一个计算设备交互和/或使用多于一个计算设备。例如，典型的计算机用户可以使用安置在他/她的住处的台式计算机，在旅行时使用膝上型和/或平板计算机，以及使用智能电话或所谓的“平板手机”(存在于智能电话与平板计算机之间的设备)。当然，计算机用户可能希望具有对所有的相同内容的访问，而不管当前所采用的计算设备如何。因此，在所公开的主题的方面中，与用户有关的计算设备中的每个计算设备将被配置为能够通过智能画布106访问内容卡索引110。

如图1中还示出的，如下面将更详细阐述的，在计算设备102上操作的智能画布106可以从内容卡索引110访问一个或多个内容卡。当然，通过使用被设计为查阅内容卡索引110中的内容卡的应用或其他服务，计算机用户可以能够将内容卡复制到智能剪贴板108上。更具体地，计算机用户可以阅读内容卡索引110的内容卡，并且在查看内容卡时将内容卡复制到智能剪贴板108上以用于复制和/或粘贴操作，由此使用内容卡索引110中的内容卡的丰富信息。

转向图2，图2是图示了示例性例程200的流程图，示例性例程200用于经由内容捕获过程112来捕获用户相关内容，并且生成内容卡并将它们存储和编索引在与计算机用户相对应的内容卡索引110中。在框202处开始，内容捕获过程104接收捕获用户相关内容的指示或指令。这一指示或指令可以，诸如当计算机用户可能指示特定网页应当被捕获时，根据用以捕获内容的特定项目或集合的明确用户指令而被生成，或者替换地，诸如当计算机用户生成帖子或频繁地查阅特定在线图像时，根据对内容的用户访问的性质、数量和/或频率、以及质量的进行中的分析(其可以是内容捕获过程104的一部分)而被生成。

在框204处，将被捕获的用户相关内容被分析以确定内容的性质，以便识别适合的内容捕获模块，诸如图1的内容捕获模块114或116。根据所公开的主题的方面，通过说明而不是限制的方式，对内容的分析可以关于内容格式、内容的源、与内容有关的元数据等来进行。例如，如果内容是XML(可扩展标记语言)页面，则用于捕获XML文档的内容捕获模块可以被选择来捕获内容。替换地，如果内容是包含来自移动电话销售商的在线账单的电子邮件，则与特定在线账单/移动电话销售商相对应的内容捕获模块可以被选择。对应地，在框206处，内容由所选择的内容捕获模块所捕获。一般而言，内容捕获模块中的每个被配置为捕获内容的相关方面。例如，用于在线账单/移动电话销售商的内容捕获模块可以被配置为捕获账单的金额、开账单的日期、账单的到期日、之前的余额、移动电话销售商名称等。当然，取决于内容的性质，上下文信息可以被捕获(诸如识别用户帖子的社交线程的信息、语义信息、数据之间的关系、结构组织等)。

在框208处，内容卡从所捕获的内容被生成。当然，在捕获内容时，内容捕获模块可以替换地确定内容已经被捕获，并且替代创建内容卡而更新和/或修改已有的内容卡。例如，关于来自移动电话销售商的在线电话账单，内容捕获模块可以确定已经存在与来自移动电话销售商的账单相对应的内容卡。因此，在这一示例中，不是生成新的内容卡，而是内容捕获模块可以替代地更新已有的内容卡中的信息，以使得它反映每一在线电话账单的最新信息。

在框210处，内容卡索引110利用内容卡而被更新。此后，例程200终止。

根据所公开的主题的另外方面并且如上面指出的，智能画布106可以被实施在用户计算机102上。此外，虽然智能画布106可以有利地与内容卡索引110组合地被使用，但是如将看到的，智能画布不这样被限制并且可以与内容卡索引之外的信息一起操作。如上面提及的，智能画布106是操作系统级别服务(不管该服务是由操作系统实施还是来自第三方销售商)，其使得用户能够访问应用的当前执行上下文之外的内容，由此免除计算机用户改变执行上下文的需要。更特别地，智能画布被频繁实施为模态服务，其可以当在特定执行上下文内时(诸如在应用的执行期间)被调用、使得用户能够从一个或多个源(诸如内容卡索引110)查看并选择内容、并且将所选内容导入到执行上下文中。为了更好地说明智能画布如何操作，首先对图3A-图3D进行参考。

图3A-图3D是示意图，它们图示了与计算设备(诸如计算设备102)上实施的智能画布106的说明性实施例的用户交互。为了说明智能画布的操作和优点的目的，这些附图的讨论将关于如下场景进行：计算机用户101正到度假地点旅行并且将投宿在该地点处的酒店。此外，计算机用户101在那里时将需要无尾礼服，并且已经决定了他将在该地点租借无尾礼服。图3A图示了示例性显示视图300，其可以当在他的度假地点争取到无尾礼服租赁时被显示在用户的计算设备102上。自然地，计算机用户将希望使所租借的无尾礼服递送到他正投宿的酒店。因此，显示视图300(在它的当前执行上下文中)正显示与针对租赁无尾礼服302的递送地点有关的货运表格302。不幸的是，如通常的情况那样，计算机用户101凭记忆不知道酒店的具体地址。当然，计算机用户101可以从当前执行上下文(租赁表格302的显示)切换离开到他的酒店的电子邮件确认，以获得递送地址。然而，通过与计算设备102上实施的智能画布106进行交互，用户可以保持在当前执行上下文中。

根据所公开的主题的方面，交互式画布通过触发动作的激活被呈现给计算机用户101而不离开当前执行上下文。触发动作可以对应于任何数目的用户动作，包括(通过说明而不是限制的方式)一个或多个键按压或键按压序列、音频命令、触敏表面上的手势、光感测的手势等。在图3A中，用户动作是在触敏表面(屏幕)上的滑动，但这是说明性的并且不应当被视为限制。更特别地，参考图3A和图3B，随着计算机用户从被指定用于激活智能画布106的位置滑动他的手指，智能画布视图304被呈现在显示视图上。

根据所公开的主题的方面，智能画布106提供用户界面(智能画布视图304)，计算机用户可以通过它来识别/选择可以被导入到当前执行上下文中的内容。更进一步地，虽然未示出，但是智能画布可以包括如下功能：用户可以通过该功能进一步将(作为内容卡)所选择的内容放置到智能剪贴板108上。如可以看到的，所图示的智能画布视图304包括各种可选控件306-314，通过它们，计算机用户可以查看、探查、和/或选择内容以用于当前执行上下文中。

根据所公开的主题的方面，智能画布106一经激活可以被配置为确定当前执行上下文的性质，并且主动地提供在该上下文中将会与用户相关的可能内容。例如，智能画布视图304呈现与地址有关的可选控件306-310，这些地址说明性地从用户的对应内容卡索引被获得。如图3C和图3D中示出的，通过激活控件310(在这一说明性示例中是通过将控件拖动到显示视图300中的租赁表格302上)，计算机用户可以向应用通知当前执行内容，其进而将把由控件310表示的内容卡的相关数据导入到表格中。

应用通常应当支持用以从内容卡接受信息的能力。通常，但不排他地，智能画布106被配置为查询应用/执行上下文以确定应用/执行上下文可以接受的信息的“类型”。如本领域的技术人员将明白的，通过说明而不是限制的方式，信息的“类型”对应于数据结构、语义信息、应用可以接受的数据或信息等的特定格式。例如，在图3A-图3C的示例中所选择的内容卡可以包括与用户将正去旅行的酒店有关的结构性数据。在该示例中，应用能够接受结构化数据(具有对应值/数据的域)并且将信息插入到租赁表格302中。

返回到图3B，除了选择给定应用/执行上下文的当前上下文而主动地被识别为用于使用的潜在选择的多个“所建议的”内容卡(诸如内容卡306-310)之一以外，在计算设备上操作的智能画布106还可以被配置为向计算机用户提供如下的能力：在用户的内容卡索引中浏览可用于用户的所有内容卡。此外，虽然未示出，但是计算机用户还被提供有如下的能力：选择内容卡用于导入到应用/当前执行内容中。例如并且如图3B中示出的，用户可动作的(actionable)控件312提供用户界面控件，通过它，用户可以调用内容索引中的内容卡的浏览能力。

除了浏览/查看用户的对应内容卡索引的内容卡之外，智能画布106可以在智能画布视图304上提供另外的通道，通过它们，用户可以获得存在于当前执行上下文之外和用户的内容卡索引之外的数据。通过示例的方式并且如图3B中示出的，智能画布视图304包括用户可动作的控件314，通过它，用户被提供有如下的能力：搜索Web/互联网以找寻将被导入到当前执行上下文中的内容。通过所有这些特征，计算机用户有利地被提供有如下的工具：这些工具使得用户能够访问当前执行上下文外部的信息而无需从当前执行上下文切换离开。此外，通过内容捕获过程的方式，用户能够在集中化的位置容易地捕获内容(包括与所捕获的内容有关的语义信息)，并且使所捕获的内容通过智能画布而对于后续访问是容易可访问的。这些优点相对于如下的目前方法是显著的改进：(通过保存文件、接收电子邮件等)获得内容并随后需要记得所期望的数据位于何处，并且为了将这种信息导入到当前执行上下文中而切换执行上下文。

现在转向图4A-图4D，这些附图是示意图，它们图示了与替换性计算设备400上实施的智能画布106的说明性实施例的替换性用户交互。更特别地，图4A-图4D图示了与移动计算设备400(诸如智能电话)上说明性地被实施的智能画布的用户交互。通过关于图4A-图4D的示例的方式，计算机用户正处于从在线Web服务购买裤子的过程中，并且回想起用户已经接收到与来自销售商对于免运费的促销有关的电子邮件。当然，用户将想要利用来自销售商的这一促销。在这一场景中并且在没有智能画布的计算机系统上，用户将需要从目前执行上下文(购买裤子的上下文)切换到电子邮件应用，找到包括促销代码的电子邮件，复制促销代码(或记住它)，并且传送回到用户可以将促销代码输入到对应的促销代码域404中的执行上下文。替换地并且有利地，当智能画布在计算设备400上操作时，用户可以发起与智能画布的交互来访问信息而不离开当前/目前执行上下文。确实，如通过图4A中的示例的方式示出的，计算机用户可以从显示屏402的顶部滑下(关于触敏设备的在本领域中已知的手势)来与在计算设备上操作的智能画布服务进行交互。

继续上面关于图4A的示例，一经用户激活智能画布服务106，智能画布视图406被显示给用户。在这一说明性实施例中，智能画布视图406包括先行识别的接触卡(由控件412表示)、以及用于浏览(内容卡索引或其他源，诸如web)的控件408和用于在智能画布中接收音频命令的控件410。在这一示例中，归因于当前执行上下文的性质，智能画布先行识别了与来自用户当前正尝试购买裤子的销售商的电子邮件有关的内容卡(由控件412表示)。

转到图4C，假定用户选择了浏览控件408，一系列的内容卡414-418被显示给用户，从这些内容卡，用户(通过将卡向下拉出智能画布视图406到显示屏402中)选择了内容卡416。当然，这是选择内容卡的一个说明性实施例，并且不应当被视为用户可以选择内容卡的仅有方式。

基于所选择的内容卡中的信息并且根据当前执行上下文的应用可以接受的信息，内容卡的信息被导入到应用中。如图4D中示出的，来自销售商的电子邮件中所包括的促销代码(如内容卡416中表示的)被导入到适当的域中。如上面所建议的，内容卡中的信息可以包括域标签和值这两者，以使得应用可以适当使用所导入的内容—在这一示例中是从内容卡416取回促销代码并且将促销代码放置在促销代码域404中。

虽然如图3A-图3D和图4A-图4D中示出的智能画布106的所图示的实施例关于触敏设备来进行，但是应当明白，这些是智能画布的用户界面的说明性实施例并且不应当被视为仅有的示例。智能画布可以被配置为与任何数目的用户界面交互，诸如(通过说明的方式)：键按压序列；语音命令；指点设备(诸如鼠标、跟踪板等)；物理手势(它们通过光学或无线电三角测量来感测)；设备的移动(如可以通过加速度计或其他运动感测设备来感测)；等等。

现在转向图5，图5是图示了用于在计算设备上实施智能画布106的示例性例程500的流程图。在框502处开始，智能画布被提供在计算设备上。根据所公开的主题的方面，智能画布被提供为操作系统级别服务。关于智能画布，虽然它可以被提供操作系统级别服务，但是应当明白，这意味着操作为当前执行上下文的扩展(即，调用智能画布不引起当前执行上下文中的改变，但被视为对执行上下文的扩展)而不管它是被实施在操作系统级别、被实施为云服务、壳服务(shell service)、浏览器插件、还是类似物。此外，不管它被实施的特定方式如何，与智能画布的调用和交互在计算设备上是相同的。在框504处，对于与智能画布的交互的请求被接收。在框506处，智能画布的用户界面被呈现给进行请求的用户。

在框508处，当前执行上下文/应用的上下文信息可选地被确定。如上面指出的，智能画布106可以使用计算机用户可能希望访问的先行识别内容中的上下文信息。因此，在框510处，给定当前应用/执行上下文，智能画布可选地识别(并呈现)用于用户的预期/可能的内容。

在框512处，智能画布106接收对内容的选择。如上面指出的，对内容的选择可以是从用户的内容卡索引对内容卡的选择，或者可以是从另一源，诸如互联网、用户的电子邮件、计算设备上的文件等。在框514处，关于当前执行上下文可以接受的各种格式或类型而做出确定。在决策框516处，关于智能画布是否需要转换所选内容而做出确定。例如，可以关于智能画布是否必须将所选择的内容卡的内容转换成执行上下文可以接受的格式而做出确定。如果是，则例程500进行到框518，在框518处，智能画布将所选内容转换(或获得所选择的内容的转换)为所请求的格式。应当明白，虽然所选内容的转换可以由应用/当前执行上下文或由智能画布来实施，但是在又另外的实施例中，智能画布可以依赖于在线服务来提供针对所选内容的转换。替换地或在转换所选内容之后，在框520处，内容被提供给当前执行上下文/应用。此后，例程500终止。

虽然上面的讨论关于通过智能画布106(其提供操作系统级别服务以使得用户不被迫从当前执行上下文切换以访问在执行上下文外部的数据)的方式来访问内容卡索引中的内容卡而进行，但是内容卡索引110的内容卡可以被使得由智能剪贴板108可访问，智能剪贴板108即为被提供以查看内容卡索引110中的内容卡并且执行复制操作的界面，该复制操作用以将内容卡临时放置到智能剪贴板108的临时存储装置中。当然，智能剪贴板108通常被实施为，通过使用关于当前所选(或所查看的)内容的剪切或复制操作而将用户当前查看(或选择性地识别)的内容捕获到智能剪贴板的临时存储装置上。

图6是图示了用于实施向智能剪贴板108的复制(或剪切)操作的示例性例程600的流程图。在框602处开始，智能剪贴板从计算机用户接收剪切操作(例如，放置来自当前执行上下文/应用的所选内容，放置到智能剪贴板上，并且从当前执行上下文移除所选内容)或复制操作(例如，将来自当前执行上下文的所选内容放置到智能剪贴板上)的指示。在框604处，智能剪贴板从当前执行上下文/应用获得所选内容。如上面指出的，当获得所选或当前内容时，丰富且鲁棒的信息被获得，包括语义信息、结构关系、上下文数据等。在框606处，智能剪贴板108动态地生成用于所获得的内容的一个或多个内容卡。在框608处，内容卡(或多个内容卡)被存储在智能剪贴板的临时存储装置中。在决策框610处，关于这是复制操作还是剪切操作做出确定。如果该操作是“剪切”操作，则在框612处，所选内容从当前应用被移除。此后，或如果这是复制操作，则例程600终止。

图7是图示了用于实施关于智能剪贴板的“粘贴”操作的示例性例程700的流程图。以框702开始，智能剪贴板108从计算机用户接收执行粘贴操作(即，将当前剪贴板内容复制到当前执行上下文/应用)的指示/指令。在框704处，智能剪贴板108确定当前执行上下文的当前需求—即，当前执行上下文可接受的需求和/或格式。在决策框706处，关于由智能剪贴板保持(作为内容卡)的内容是否必须被转换做出确定。如果是，则在框708处内容被转换。替换地或此后，在框710处，内容被提供给当前执行上下文。此后，例程700终止。

关于上面(关于图2、图5-图7)所描述的例程、以及本文所描述的其他过程，虽然这些例程/过程关于分立步骤而被表达，但是这些步骤应当被视为在性质上是逻辑的，并且可以对应于或可以不对应于特定实施方式的任何实际和/或分立步骤。这些步骤在各种例程和过程中被呈现的顺序不应当被解释为这些步骤可以被执行的仅有顺序。此外，虽然这些例程包括所公开的主题的各种新型特征，但是其他步骤(未列出)也可以在例程的执行时被执行。本领域的技术人员将明白，这些例程的逻辑步骤可以被组合在一起或由多个步骤组成。上面描述的例程的步骤可以并行地或串行地被执行。经常，但不排他地，各种例程的功能被具体化在计算设备(诸如下面关于图8描述的计算设备)上执行的软件(例如，应用、系统服务、库等)中。在各种实施例中，各种例程中的全部或一些也可以被具体化在计算机系统上的可执行硬件模块中，包括但不限于片上系统、专门设计的处理器和/或逻辑电路等。

这些例程/过程通常被实施在可执行代码中，包括例程、函数、循环结构、诸如“如果-则”和“如果-则-否则”语句的选择器、指配、算术计算等。然而，每个例程的可执行语句中的确切实施方式基于各种实施配置和决策，包括编程语言、编译器、目标处理器、操作环境等。本领域的技术人员将容易明白，这些例程中所识别的逻辑步骤可以按任何数目的方式被实施，并且因此，上面阐述的逻辑描述足够使得能够实现类似的结果。

虽然所公开的主题的许多新颖方面被表达在应用(也称为计算机程序)、app(小的、一般是单个或狭窄用途的应用)、和/或方法中具体化的例程中，但是这些方面也可以被具体化为由计算机可读介质(也称为计算机可读存储介质)存储的计算机可执行指令。如本领域的技术人员将认识到的，计算机可读介质可以托管用于稍后取回和执行的计算机可执行指令。当计算机可读存储设备上存储的计算机可执行指令被执行时，它们执行各种步骤、方法和/或功能，包括上面关于各种所说明的例程而描述的那些步骤、方法、以及例程。计算机可读介质的示例包括，但不限于：光存储介质，诸如蓝光盘、数字视频盘(DVD)、紧凑盘(CD)、光盘卡盒等；磁存储介质，包括硬盘驱动器、软盘、磁带等；存储器存储设备，诸如随机访问存储器(RAM)、只读存储器(ROM)、存储器卡、拇指驱动器等；云存储(即，在线存储服务)；等等。然而，为了这一公开的目的，计算机可读介质明确地排除载波和所传播的信号。

现在转向图8，图8是图示了适合被配置有智能画布106和智能剪贴板108的示例性计算设备800的框图。示例性计算设备800包括通过系统总线810的方式被互连的处理器802(或处理单元)和存储器804。如将容易明白的，存储器804通常(但不总是)包括易失性存储器806和非易失性存储器808两者。只要存储器被供电，易失性存储器806就保持或存储信息。相对照地，非易失性存储器808能够存储(或存留)信息，即使在电源不可用时。一般而言，RAM和CPU缓存存储器是易失性存储器806的示例，而ROM、固态存储器设备、存储器存储设备、和/或存储器卡是非易失性存储器808的示例。

处理器802在执行各种功能(特别是关于如上面描述的将内容捕获到内容卡索引中、提供智能画布、和提供智能剪贴板)时，执行从存储器804取回的指令。处理器802可以包括各种可商购的处理器中的任何处理器，诸如单处理器、多处理器、单核单元、以及多核单元。此外，本领域的技术人员将明白，所公开的主题的新颖方面可以利用其他计算机系统配置而被实践，包括但不限于：个人数字助理、可穿戴计算设备、智能电话设备、平板计算设备、平板手机计算设备、膝上型计算机、台式计算机等。

系统总线810提供用于移动设备的各种组件相互通信的接口。系统总线810可以具有可以互连各种组件(包括内部组件和外部组件两者)的若干类型的总线结构中的任何一种。示例性计算系统800进一步包括网络通信组件812，以用于将计算设备800与其他的网络可访问计算机、在线服务、和/或网络实体、以及计算机网络上的其他设备互连。网络通信组件812可以被配置为经由有线连接、无线连接、或两者通过网络(未示出)与各种计算机和设备进行通信。

也被包括在示例性计算设备800中的是内容捕获组件818，其实施上面描述的内容捕获过程104。如上面指出的，内容捕获过程可以被配置为利用框架112，以使得它可以利用各种内容捕获模块(诸如捕获模块816)而被更新。通常，但不排他地，捕获模块816是与内容捕获组件818的框架112对接的软件组件。所捕获的内容被具体化在内容卡索引110中所存储的内容卡中。

也被包括在示例性计算设备800中的是智能画布模块106。如上面阐述的，智能画布模块被实施为操作系统级别服务，其可以由计算设备800的用户访问而无需改变计算设备上的当前执行上下文。智能画布模块106与计算机用户对接，以通过计算设备800的用户I/O子系统822的方式来提供上面描述的功能。更进一步地，示例性计算设备800包括如上面描述的智能剪贴板108。

关于示例性计算设备800的各种组件，本领域的技术人员将明白，这些组件可以被实施为计算设备的存储器中所存储的可执行软件模块、硬件模块(包括SoC—片上系统)、或这两者的组合。此外，各种组件中的每个组件可以被实施为连同一个或多个计算机系统和/或计算设备一起或者在其上操作的独立协作式过程或设备。当然，应当进一步明白，上面关于示例性计算设备800描述的各种组件应当被视为用于执行各种所描述的功能的逻辑组件。如本领域的技术人员将容易明白的，逻辑组件和/或子系统可以与或可以不与实际的分立组件以一对一方式直接对应。在实际的实施例中，每个计算机系统的各种组件可以被组合在一起或跨多个实际组件被分散，和/或被实施为计算机网络上的协作式过程。

虽然所公开的主题的各种新颖方面已经被描述，但是应当明白，这些方面是示例性的并且不应当被解释为限制。对各种方面的变化和变更可以被做出而不偏离所公开的主题的范围。

Claims (10)

1.一种计算机实施的方法，用于提供对当前执行上下文之外可访问的内容的改进访问，所述方法包括在计算设备上实施的以下中的每项：

提供智能画布作为所述计算设备上的服务，所述智能画布被提供为操作系统级别服务，其中与所述智能画布的交互不要求从所述当前执行上下文的改变；

接收与所述智能画布进行交互的请求；以及

呈现智能画布视图以用于在所述计算设备上显示，其中所述智能画布视图包括多个用户可动作的控件，并且其中至少一个用户可动作的控件对应于用于导入到所述当前执行上下文中的内容，并且其中所述至少一个用户可动作的控件的对应内容先行被选择以用于在所述智能画布视图中呈现。

2.根据权利要求1所述的计算机实施的方法，进一步包括：

接收对所述至少一个用户可动作的控件的选择并且向所述当前执行上下文提供所述对应内容；

确定用于向所述当前执行上下文导入内容的内容格式集合；

确定所述对应内容是否以所述格式集合中的一种格式是可用的；以及

以所述内容格式集合中的至少一种格式向所述当前执行上下文提供所述对应内容。

3.根据权利要求2所述的计算机实施的方法，进一步包括：

接收对所述至少一个用户可动作的控件的所述选择并且向所述当前执行上下文提供所述对应内容；

确定所述对应内容当前以所述格式集合中的一种格式是不可用的；

引起所述对应内容向所述内容格式集合中的至少一种格式的转换；以及

以所述内容格式集合中的至少一种格式向所述当前执行上下文提供经转换的所述对应内容。

4.根据权利要求2所述的计算机实施的方法，进一步包括：

执行所述计算设备上的内容捕获过程，其中所述内容捕获过程在所述计算设备的后台中执行，并且其中所述内容捕获过程被配置为：

捕获由用户访问的内容；以及

将捕获到的所述内容存储为与所述用户相关联的内容卡索引中的一个或多个内容卡；并且

其中所述至少一个用户可动作的控件的所述对应内容从所述内容卡索引中的捕获到的所述内容中被选择。

5.根据权利要求4所述的计算机实施的方法，

其中所述多个用户可动作的控件中的第一用户可动作的控件是用于浏览所述内容卡索引中存储的捕获到的所述内容的控件；并且

其中所述多个用户可动作的控件中的第二用户可动作的控件是用于针对内容来浏览网络的控件。

6.根据权利要求1所述的计算机实施的方法，其中所述至少一个用户可动作的控件的所述对应内容根据所述当前执行上下文而先行被选择以用于在所述智能画布视图中呈现。

7.一种承载计算机可执行指令的计算机可读介质，所述计算机可执行指令当在至少包括处理器和存储器的计算设备上被执行时，使得计算设备执行一种方法，所述方法用于提供对当前执行上下文之外可访问的内容的改进访问，所述方法包括上面关于权利要求1-6所阐述的计算机实施的方法中的任一种。

8.一种计算设备，用于提供对当前执行上下文之外可访问的内容的改进访问，所述计算设备包括处理器和存储器，其中所述处理器在提供对内容的改进访问时作为另外组件的一部分或连同另外组件一起来执行所述存储器中存储的指令，所述另外组件包括：

内容捕获组件，被配置为在所述计算设备上的后台中操作，并且进一步被配置为捕获由所述计算设备的用户访问的内容并将捕获到的所述内容存储在内容卡索引中；以及

智能剪贴板，被配置为作为所述计算设备上的操作系统级别服务进行操作，并且进一步被配置为在从用户接收到与所述智能剪贴板交互的请求时，呈现智能画布视图以用于在所述计算设备上显示；

其中所述智能画布视图包括多个用户可动作的控件，并且其中所述多个用户可动作的控件中的至少一个用户可动作的控件对应于用于导入到所述当前执行上下文中的内容，并且其中所述至少一个用户可动作的控件的对应内容从所述内容卡索引中的多个内容卡先行被选择以用于在所述智能画布视图中呈现。

9.根据权利要求8所述的计算设备，其中所述内容捕获组件包括用于动态地集成一个或多个捕获模块的框架，每个捕获模块被配置为捕获特定格式的内容；并且

其中所述计算设备进一步包括多个捕获模块。

10.根据权利要求8所述的计算设备，进一步包括智能剪贴板，其中所述智能剪贴板被配置为访问所述内容卡索引中的内容卡，并且在接收到用户动作时被进一步配置为将所述内容卡索引中存储的内容卡的内容粘贴到所述当前执行上下文中。