CN116225282A - 分层内容选择 - Google Patents

分层内容选择 Download PDF

Info

Publication number
CN116225282A
CN116225282A CN202310238757.3A CN202310238757A CN116225282A CN 116225282 A CN116225282 A CN 116225282A CN 202310238757 A CN202310238757 A CN 202310238757A CN 116225282 A CN116225282 A CN 116225282A
Authority
CN
China
Prior art keywords
content
application
user interface
selection
block portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310238757.3A
Other languages
English (en)
Inventor
S·J·元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN116225282A publication Critical patent/CN116225282A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Abstract

本公开的非限制示例描述了用于内容选择的功能，该功能能够高效地实现从执行的应用中的内容的块复制，即使当内容在该执行的应用中传统上不可选择时也是如此。例如，应用可以在计算设备上执行。可以接收输入，该输入触发对用于内容选择的用户界面的激活。可以基于所接收的输入来呈现应用和用户界面的分层视图。举例而言，分层视图呈现层叠在应用上方的用户界面。可以基于单个动作来选择来自该应用的内容的块部分。除了其他示例之外，单个动作可以是通过用户界面处理的非连续的设备点击或非连续的触摸输入。可以通过用户界面来访问针对内容的所选择的块部分的另外的操作。

Description

分层内容选择
本申请是申请日为2017年11月7日、申请号为201780070292.8的发明专利申请“分层内容选择”的分案申请。
背景技术
新的应用/服务在许多方面提高了生产力。用户通常的希望是能够从一个应用复制内容并将该内容粘贴在另一个应用中。然而，一些应用没有被配置为使得内容能够被直接复制。即使当内容能够从应用中被复制时，用于选择和复制内容的过程也是繁琐的。为了实现对内容的选择，用户需要执行几个动作，例如：第一动作(例如，按住并保持)，其请求显示用于选择内容的选择框；多个动作，其用于点击并且拖动在用户希望选择的内容上方的选择框；以及后续动作，其选择所述内容。由此，本申请的示例涉及与改进对内容的选择的效率相关的一般技术环境。
发明内容
本公开的非限制示例描述了内容选择应用的功能，其高效地实现从执行的应用进行内容的块复制，即使在内容在该执行的应用中传统上不可选择的实例中也是如此。例如，应用可以在计算设备上执行。可以接收输入，该输入触发对用于内容选择的用户界面的激活。作为示例，可以通过计算设备来接收触发对用户界面的激活的输入。可以基于所接收的输入来呈现应用和用户界面的分层视图。作为示例，分层视图显示了分层在应用上方的用户界面。可以基于单个动作来选择来自该应用的内容的块部分。除了其他示例之外，单个动作可以是通过用户界面处理的非连续的设备点击或非连续的触摸输入。可以通过用户界面来访问针对内容的所选择的块部分的另外的动作。
在其他非限制性示例中，可以将用于内容选择的用户界面并入示例性内容选择应用中。例如，可以由计算设备执行第一应用。可以接收触发对第二应用的激活的输入。作为示例，第二应用是示例性内容选择应用。可以基于所接收的输入来呈现第一应用和第二应用的分层视图。作为示例，分层视图呈现了分层在第一应用上方的第二应用。可以基于单个动作来选择来自第一应用的内容的块部分。作为示例，所述单个动作可以由第二应用来处理。可以通过示例性内容选择应用来访问针对内容的所选择的块部分的另外的动作。
提供了该发明内容以用简化形式引入在以下的具体实施方式中进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用来限制所要求保护的主题的范围。示例的另外的方面、特征和/或优点将在随后的描述中被部分阐述并且将部分地从该描述中是显而易见的，或者可以通过对本公开的实践而习得。
附图说明
参考以下附图对非限制和非穷举的示例进行描述。
图1是示出了可以利用其实践本公开的方面的计算设备的示例的框图。
图2A和2B是可以利用其实践本公开的方面的移动计算设备的简化框图。
图3是可以在其中实践本公开的方面的分布式计算系统的简化框图。
图4是示例性方法，其涉及可以在其中实践本公开的方面的内容选择处理。
图5A-5D呈现了用于与示例性内容选择应用相关联的处理的示例性用户界面视图，其中利用所述示例性内容选择应用可以实践本公开的方面。
图6示出了在一个或多个计算设备上可实现的示例性系统，其中本公开的方面可以在所述一个或多个计算设备上实践。
具体实施方式
本公开的非限制性示例描述了内容选择应用的功能，其能够高效地实现从执行的应用进行内容的块复制，即使在内容在该执行的应用中传统上不可选择的实例中也是如此。描述了用于内容选择的示例性用户界面，所述示例性用户界面与其他执行的应用接合，以当尝试选择内容时在不需要执行多个动作(例如，点击/拖动/选择/复制)的情况下能够实现对内容的快速且高效的选择。在本文中所描述的示例中，可以使用单个、非连续的动作来选择内容的块部分。这不仅改进了当尝试复制内容的块部分时与计算设备的用户交互，而且还改进了用于复制内容的块部分的计算设备的处理效率。作为示例，用于内容选择的用户界面可以是内容选择应用的组件。内容选择应用与其他执行的应用接合，以能够实现从另一个执行的应用中复制内容的一个或多个部分，即使在内容的部分不能够从应用中直接选择的情况下也是如此。
示例性内容选择应用被配置为提供用户界面特征，所述用户界面特征标识内容的块部分并且使得用户能够高效地选择内容的一个或多个块部分。在某些示例中，内容的块部分可以包含一个或多个内容片段。内容片段可以包括一个或多个词语/字符/数字/图标等。在另外的示例中，内容片段可以包括其他媒体，所述其他媒体包括图像、视频、音频、手写输入等。在文本部分被选择的示例中，内容的块部分可以包括两个或更多个内容片段。可替代地，内容的块部分可以包括内容类型的任何组合，例如，文本内容片段和媒体内容片段。在一些情况下，当使用不同于示例性内容选择应用的应用时，内容片段可能是不可选择的。在至少一个示例中，内容的块部分(通过示例性内容选择应用选择的)可以包括在不同于内容选择应用的应用中不可选择的至少一个内容片段。
可以在分层视图中呈现用于内容选择的用户界面，其中，(例如，内容选择应用的)用户界面被显示在这样的层中，该层在表示包括内容部分的执行的应用的另一层上方被提供。示例性内容选择应用可以被配置为检测在计算设备的前台中执行的应用(例如，检测到的前台应用)。当内容选择应用被激活时，内容选择应用被分层在检测到的前台应用上方，这为用户提供了在能够访问内容选择应用的功能的同时查看和访问前台应用的内容的能力。还通过示例性内容选择应用提供了对针对所选择的内容的另外动作的快速访问。内容选择应用还被配置为提供用户界面特征，其能够实现对针对所选择的内容的另外动作的快速访问。另外动作的示例包括但不限于：复制、将所选择的内容添加至任务列表、将所选择的内容通过电子邮件来发送、与其他用户/应用共享所选择的内容、编辑所选择的内容，等等。此外，在另外的示例中，示例性内容选择应用可以被配置为将向用户显示的用户界面特征按优先级排序。在至少一个示例中，在内容选择用户界面中显示的一个或多个用户界面特征可以是基于以下中的一个或多个而动态地呈现(或更新)的：所选择的内容(例如类型、格式、上下文等)、内容的相关联的元数据、内容从中选择的应用的类型、以及在客户端计算设备上执行的进行中的过程的类型，等等。例如，内容选择应用可以检测到文本内容的块部分是从网络浏览应用中复制的，并且呈现用于将内容的该块部分粘贴在消息传送应用、电子邮件应用、和/或文字处理应用中的用户界面特征。
由此，本公开提供了多个技术优点，其包括但不限于：以单个、非连续的动作来选择内容的能力，高效地标识和选择内容的块部分的能力，即使在内容从应用中无法直接可选择的情况下也使得内容的部分可选择的能力，用于访问和利用示例性内容选择应用的处理设备的更高效的操作(例如，节约计算循环/计算资源)，改进用户与执行示例性内容选择应用的计算设备之间的用户交互，以及在示例性内容选择应用内集成不同的应用/服务以扩展功能的可扩展性，等等。
图1-3以及相关联的描述提供了对在其中可以实践本发明的示例的多种操作环境的讨论。然而，关于图1-3所示出并讨论的设备和系统是出于示例和说明的目的，而不对可以用来实践在本文中所描述的发明的示例的大量计算设备配置进行限制。
图1是示出了可以利用其实践本公开的示例的计算设备102(例如，移动处理设备)的物理组件的框图。除了其他示例之外，计算设备102可以是被配置为执行示例性内容选择应用/服务的示例性计算设备。在基本配置中，计算设备102可以包括至少一个处理单元104和系统存储器106。取决于计算设备的配置和类型，系统存储器106可以包括但不限于易失性存储单元(例如，随机存取存储器)、非易失性存储单元(例如，只读存储器)、闪速存储器、或者这些存储器的任何组合。系统存储器106可以包括操作系统107以及一个或多个程序模块108，所述一个或多个程序模块108适合于运行诸如IO管理器124、其他工具126、和应用128之类的软件程序/模块120。作为示例，系统存储器106可以存储供执行的指令。系统存储器106的其他示例可以存储与应用相关联的数据。例如，操作系统107可以适用于控制计算设备102的操作。此外，本发明的示例可以结合图形库、其他操作系统、或任何其他应用来实践，并且不限于任何特定的应用或系统。该基本配置是在图1中由虚线122内的那些组件示出的。计算设备102可以具有另外的特征或功能。例如，计算设备102还可以包括例如磁盘、光盘、或磁带之类的另外的数据存储设备(可移动的和/或不可移动的)。这样另外的存储单元是在图1中由可移动存储设备109和不可移动存储设备110示出的。
如上所述，多个程序模块和数据文件可以被存储在系统存储器106中。当在处理单元104上执行时，程序模块108(例如，输入/输出(I/O)管理器124、其他工具126、和应用128)可以执行以下过程，其包括但不限于在该公开通篇中描述的操作的阶段中的一个或多个阶段。可以根据本发明的示例使用的其他程序模块可以包括：电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序、照片编辑应用、创作应用，等等。
此外，本发明的示例可以被实现在包括分立电子元件的电子电路中、包含逻辑门的封装或集成电子芯片中、利用微处理器的电路中、或者包含电子元件或微处理器的单个芯片上。例如，可以经由片上系统(SOC)来实践本发明的示例，其中图1中所示出的每个或许多组件可以被集成到单个集成电路上。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，其全部作为单个集成电路而被集成(或“烧”)到芯片基底上。当经由SOC进行操作时，可以经由在单个集成电路(芯片)上与计算设备102的其他组件集成的专用逻辑来对在本文中所描述的功能进行操作。还可以使用能够执行逻辑操作(例如AND、OR和NOT)的其他技术来实践本公开的示例，所述其他技术包括但不限于机械、光学、流体、和量子技术。另外，可以在通用计算机内或在任何其他电路或系统中实践本发明的示例。
计算设备102还可以具有一个或多个输入设备112，例如键盘、鼠标、笔、声音输入设备、用于语音输入/识别的设备、触摸输入设备等。还可以包括诸如显示器、扬声器、打印机等的输出设备114。前述设备是示例并且可以使用其他设备。计算设备104可以包括允许与其他计算设备118进行通信的一个或多个通信连接116。合适的通信连接116的示例包括但不限于RF发射机、接收机和/或收发机电路；通用串行总线(USB)、并行、和/或串行端口。
如在本文中所使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括以任何用于存储信息(例如，计算机可读指令、数据结构、或程序模块)的方法或技术来实现的易失性的和非易失性的、可移动的和不可移动的介质。系统存储器106、可移动存储设备109、和不可移动存储设备110都是计算机存储介质的示例(即，存储器存储单元)。计算机存储介质可以包括RAM、ROM、电可擦只读存储器(EEPROM)、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储单元、盒式磁带、磁带、磁盘存储器或其他磁存储设备、或者可用于存储信息并且可以由计算机设备102访问的任何其他制品。任何这样的计算机存储介质都可以是计算设备102的一部分。计算机存储介质不包括载波或其他经传播或经调制的数据信号。
通信介质可以由计算机可读指令、数据结构、程序模块、或经调制的数据信号(例如，载波或其他传播机制)中的其他数据来实施，并且包括任何信息传递介质。术语“经调制的数据信号”可以描述具有以关于将信息编码在信号中的方式设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质可以包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声学的、射频(RF)的、红外的、和其他无线介质之类的无线介质。
图2A和2B示出了可以利用其实践本发明的示例的移动计算设备200，例如移动电话、智能电话、个人数据助理、平板个人计算机、平板电话、板式设备(slate)、膝上型计算机等。例如，移动计算设备200可以是被配置为执行示例性内容选择应用/服务的示例性计算设备。应用命令控制可以针对在诸如移动计算设备200之类的计算设备上执行的应用来提供。应用命令控制涉及对命令的呈现和控制以通过用户界面(UI)或图形用户界面(GUI)来与应用一同使用。在一个示例中，应用命令控制可以被专门编程为与单个应用一同工作。在其他示例中，应用命令控制可以被编程为跨多于一个应用工作。参考图2A，示出了用于实现示例的移动计算设备200的一个示例。在基本配置中，移动计算设备200是具有输入元件和输出元件两者的手持式计算机。移动计算设备200通常包括显示器205以及允许用户将信息输入到移动计算设备200中的一个或多个输入按钮210。移动计算设备200的显示器205还可以充当输入设备(例如，触摸屏显示器)。如果被包括，则可选的侧输入元件215允许另外的用户输入。侧输入元件215可以是旋转开关、按钮、或任何其他类型的手动输入元件。在可替代的示例中，移动计算设备200可以包含更多或更少的输入元件。例如，在一些示例中，显示器205可以不是触摸屏。在另一可替代的示例中，移动计算设备200是诸如蜂窝电话之类的便携式电话系统。移动计算设备200还可以包括可选的小键盘235。可选的小键盘235可以是物理小键盘或者在触摸屏显示器上生成的“软”小键盘，或者是任何其他软输入面板(SIP)。在各种示例中，输出元件包括用于示出GUI的显示器205、视觉指示器220(例如，发光二极管)、和/或音频换能器225(例如，扬声器)。在一些示例中，移动计算设备200包含用于向用户提供触觉反馈的振动换能器。在另一示例中，移动计算设备200包含用于将信号发送到外部设备或从外部设备接收信号的输入和/或输出端口，例如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)、以及视频输出(例如，HDMI端口)。
图2B是示出了移动计算设备的一个示例的架构的框图。也就是说，移动计算设备200能够包含用于实现一些示例的系统(即架构)202。在一个示例中，系统202被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏、以及媒体客户端/播放器)的“智能电话”。在一些示例中，系统202被集成为计算设备，例如集成的个人数字助理(PDA)、平板计算机、和无线电话。
一个或多个应用程序266可以被加载到存储器262中并且在操作系统264上运行或者与操作系统264相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统202还包括存储器262内的非易失性存储区域268。非易失性存储区域268可以用于存储如果系统202断电而不应丢失的持久信息。应用程序266可以在非易失性存储区域268中使用并存储信息，例如电子邮件或者由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统202上，并且被编程为与驻留在主计算机上的对应的同步应用进行交互，从而将存储在非易失性存储区域268中的信息与存储在主计算机上的对应的信息保持同步。应当理解的是，其他应用可以被加载到存储器262中并且在本文所描述的移动计算设备(例如，系统202)上运行。
系统202具有电源270，其可以被实现为一个或多个电池。电源270还可以包括外部电源，例如AC适配器或给电池供电或充电的加电对接托架。
系统202可以包括执行促进系统202与一个或多个外围设备之间的连通性的功能的外围设备端口230。往来于外围设备端口230的传输在操作系统(OS)264的控制下进行。换句话说，由外围设备端口230所接收的通信可以经由操作系统264而被散播至应用程序266，并且反之亦然。
系统202还包括执行发送和接收射频通信的功能的无线电接口层272。无线电接口层272经由通信载波或服务提供商来促进系统202与“外部世界”之间的无线连通性。来往于无线电接口层272的传输是在操作系统264的控制下进行的。换句话说，可以将由无线电接口层272所接收的通信经由操作系统264散播至应用程序266，并且反之亦然。
视觉指示器220可以用于提供视觉通知，和/或音频接口274可以用于经由音频换能器225(如在对移动计算设备200的描述中所描述的)产生可听见的通知。在所示出的示例中，视觉指示器220是发光二极管(LED)，而音频换能器225是扬声器。这些设备可以直接地耦合至电源270，以便当被激活时，即使处理器260和其他组件可能关闭以节省电池电量，这些设备也能保持通电并持续由通知机制所指示的一段时间。LED可以被编程为无限期地保持通电，直到用户采取动作来指示设备的通电状态为止。音频接口274用于向用户提供可听见的信号并从用户接收可听见的信号。例如，除了耦合到音频换能器225(如在图2A中所示出的)之外，音频接口274还可以被耦合至麦克风以接收可听见的输入，例如，以促进电话会话。根据本发明的示例，麦克风还可以充当用于促进对通知的控制的音频传感器，如将在下文中所描述的。系统202还包括视频接口276，其使得板载相机230的操作能够记录静止图像、视频流等。
实现系统202的移动计算设备200具有另外的特征或功能。例如，移动计算设备200还可以包括另外的数据存储设备(可移动的和/或不可移动的)，例如磁盘、光盘、或磁带。在图2B中由非易失性存储区域268示出了这样另外的存储单元。
如在上文中所描述的，将由移动计算设备200所生成或捕获的数据/信息以及经由系统202所存储的数据/信息本地地存储在移动计算设备200上，或者将数据存储在可以经由无线电设备272或经由移动计算设备200和与移动计算设备200相关联的分别的计算设备(例如，分布式计算网络(例如，互联网)中的服务器计算机)之间的有线连接由设备来访问的任何数量的存储介质上。应当理解的是，可以经由移动计算设备200、经由无线电设备272、或经由分布式计算网络来访问这样的数据/信息。类似地，根据公知的数据/信息传输和存储方式(包括电子邮件和协同数据/信息共享系统)，这样的数据/信息可以容易地在计算设备之间传输以供存储和使用。
如在上文中所描述的，图3示出了用于提供应用的系统的架构的一个示例，所述应用可靠地访问存储系统上的目标数据并且处理对一个或多个客户端设备的通信故障。图3的系统可以是被配置为执行示例性内容选择应用/服务的示例性系统。与程序模块108和/或应用120以及存储单元/存储器(在图1中所描述的)相关联地访问、交互、或编辑的目标数据可以被存储在不同的通信信道或其他存储类型中。例如，各种文档可以使用目录服务322、门户网站324、邮箱服务326、即时消息传送存储单元328、或社交网络站点330来存储，应用128、IO管理器124、其他工具126、以及存储系统可以使用这些类型的系统等中的任何一个以能够实现数据利用，如在本文中所描述的。服务器320可以提供存储系统以由在通用计算设备102和移动设备200上操作的客户端通过网络315来使用。作为示例，网络315可以包括因特网或者任何其他类型的局域网或广域网，并且客户端节点可以被实现为连接至网络315。客户端节点的示例包括但不限于：以个人计算机、平板计算设备来实施，和/或由移动计算设备200(例如，移动处理设备)来实施的计算设备102。作为示例，客户端节点可以使用无线网络连接(例如，WiFi连接、蓝牙等)连接至网络315。然而，在本文中所描述的示例还可以扩展为经由硬线连接来连接至网络315。客户端计算设备102或200的这些示例中的任何一个可以从存储单元316中获得内容。
图4是示例性方法400，其涉及可以在其中实践本公开的方面的内容选择处理。作为示例，方法400可以由如在图1-3中所示出的示例性处理设备和/或系统来执行。在示例中，方法400可以在包括被配置为存储和执行操作、程序、或指令的至少一个处理器的设备上执行。在方法400中所执行的操作可以与由系统和/或服务所执行的操作相对应，所述系统和/或服务执行计算机程序、应用编程接口(API)、神经网络或机器学习处理，等等。作为示例，在方法400中所执行的处理操作可以由一个或多个硬件组件来执行。在另一个示例中，在方法400中所执行的处理操作可以由一个或多个软件组件来执行。在一些示例中，在方法400中所描述的处理操作可以由与能够访问多个应用/服务、设备、知识资源等的网络服务相关联的一个或多个应用/服务来执行。在替代的示例中，在方法400中所描述的处理操作可以由通过分布式网络连接的一个或多个组件来实现，例如在(图6的)系统600中所描述的。尽管方法400是从客户计算设备的角度来写的，但所要求保护的发明可以扩展到从客户端设备、服务器设备、和/或包括多个计算设备的系统的角度所写的实施例。
方法400在处理操作402处开始，其中一个或多个应用在计算设备上执行。先前已经在对图1-3的描述中提供了计算设备的示例。随后在对图6的描述中提供计算设备的另外的示例(例如，处理设备602)。在一个示例中，计算设备是移动设备，例如移动电话、平板设备、膝上型计算机、可穿戴设备等。
计算设备可以在执行(处理操作402)一个或多个应用/服务。可应用的示例不限制应用/服务的类型，这使得应用/服务可以是包括内容的任何类型的应用，无论该内容是由应用/服务提供者直接提供的，还是从另一资源访问的。应用/服务的示例包括操作系统(OS)服务，例如，其在计算设备的主屏幕上提供OS内容。在一些情况下，应用/服务的内容可能不能够从用于访问该内容的应用/服务内选择。例如，执行的应用/服务可能不具有选择/复制/粘贴功能。
流程可以继续至处理操作404，其中接收到激活示例性内容选择应用的输入。示例性内容选择应用/服务被配置为与其他执行的应用接合，以当尝试选择/复制内容时在不需要执行许多动作(例如，点击/拖动/选择/复制)的情况下能够实现对内容快速且高效的选择。内容选择应用被配置为提供用户界面特征，所述用户界面特征标识内容的块部分，并且使得用户能够高效地选择内容的一个或多个块部分。内容选择应用还被配置为与计算设备(执行内容选择应用和/或其他应用/服务)接合，以改进访问内容选择应用的处理效率。至少在图5A-5D中提供了示例性内容选择应用的示例。
在处理操作404中，对示例性内容选择应用的激活可以包括启动内容选择应用(例如，当尚未激活时)的示例，或者唤回(recall)对内容选择应用的显示(例如，内容选择应用已经在运行)的示例。对用于激活内容选择应用的输入的接收(处理操作404)包括通过与计算设备的交互来检测访问内容选择应用的意图。可以接收的、指示激活内容选择应用的意图的输入的示例包括但不限于：通过触摸或设备输入对内容选择应用的应用/服务图标的选择、对请求访问内容选择应用的说出的话语的接收、对在执行的应用/服务内显示的用户界面插件的选择、以及与计算设备的组件的交互(例如，手势、热键选择、按压按钮)。在一个示例中，例如按下并保持移动计算设备的主页(home)键的动作可以是对内容选择应用的用户界面的激活的触发。例如，示例性内容选择应用可以在OS的后台中执行，其中通过计算设备接收的输入可以触发对内容选择应用的用户界面在OS的前台内的显示。参考图5A和所附描述，其还示出了这样的示例，其中计算设备上的按钮触发对用于内容选择的示例用户界面的显示。在内容选择应用在运行但没有被显示(例如，在操作系统的后台中)的情况下，内容选择应用可以被配置为检测通过计算设备所接收的输入，例如，其中动作触发对内容选择应用的显示。
流程可以继续至处理操作406，其中计算设备显示执行的应用的分层视图。分层视图可以包括对至少一个执行的应用(处理操作402)和内容选择应用的呈现。在分层视图的一个示例中，内容选择应用被显示在这样的层中，该层在表示包括内容部分的执行的应用的另一层上方被提供。为了示例性分层视图的说明性示例来对图5B和图5C进行参考。
在一个示例中，示例性分层视图基于以下处理操作在检测到的前台应用的上方呈现用于内容选择的示例性用户界面。访问并评估检测到的前台应用的用户界面(UI)树。对检测到的前台应用的UI树的评估可以包括标识与检测到的前台应用相关联的多个UI元素。在所标识的UI元素之中，标识出用户最有可能选择的UI元素的子集。在检测用户选择UI元素的可能性时，可以应用建模和/或统计分析，其评估与用户界面元素相关的内容类型，此外还有其他示例。例如，与导航元素、图像按钮等相关联的UI元素可以被忽略，因为这些UI元素将没有高的可能性被用户选择。示例性内容选择应用还可以被配置为在从检测到的前台应用中标识的UI元素的子集中的每个UI元素之上创建交互式UI元素。这使用户能够在保持与检测到的前台应用的UI元素的一致性的同时通过用于内容选择的用户界面来选择内容的特定部分。为了创建交互式UI元素，检测到的前台应用的UI元素的位置和维度被复制，并且被应用至覆盖在检测到的前台应用的UI元素上的交互式UI元素。接着，将交互性添加至交互式UI元素，该交互性可以通过用于内容选择的用户界面被访问。
内容选择应用可以被配置为检测在计算设备的前台执行的应用(即，前台应用)。当内容选择应用被激活时，内容选择应用被分层在检测到的前台应用上方，这为用户提供了在能够访问内容选择应用的功能的同时查看和访问前台应用的内容的能力。示例性内容选择应用可以被配置为与计算设备和/或其他执行应用接合，以检测在计算设备的前台中执行的应用。作为示例，内容选择应用可以采用应用编程接口(API)来检测在计算设备的前台中执行的应用。
在内容选择应用的执行期间(例如，如在分层视图中呈现的)，方法400的流程可以继续至决策操作408，在该操作中，确定是否选择用于从检测到的前台应用中标识内容的一个或多个块部分的用户界面(UI)特征。内容选择应用被配置为提供用户界面特征，该用户界面特性使得能够从检测到的前台应用中标识内容的块部分。在图5B和5D中示出并且随后在本文中描述了用于标识内容的块部分的示例性UI特征的示例。可以以任何方式来进行对用于从前台应用中标识内容的块部分的示例性UI特征的选择，所述方式包括但不限于：轻击手势、经由组件/设备的选择、和对说出的话语的接收，等等。在一个示例中，可以使用轻击手势来选择示例性UI特征，其中轻击手势是单个、非连续的动作(例如，点击)。
内容的块部分可以包含一个或多个内容片段。内容片段可以包括一个或多个词语/字符/数字/图标等。在另外的示例中，内容片段可以包含其他媒体，所述其他媒体包括图像、视频、音频、手写输入等。在文本部分被选择的情况下，内容的块部分可以包括两个或更多个内容片段。可替代地，内容的块部分可以包括内容类型的任何组合，例如文本内容片段和媒体内容片段。在一些情况下，当使用不同于示例性内容选择应用的应用时，内容片段可能是不可选择的。在至少一个示例中，内容的块部分(通过示例性内容选择应用选择的)可以包括在不同于内容选择应用的应用中不可选择的至少一个内容片段。
示例性内容选择应用被配置为执行处理操作以标识内容的块部分。例如，内容选择应用可以被配置为与检测到的前台应用接合，以执行包括以下中的任何一个的操作：访问与检测到的前台应用相关联的程序/源代码、检测在前台应用内(例如，对特定的内容)的关注、解析用于标识内容的部分的程序/源代码(例如，评估内容的类型，分隔符，应用语言理解处理)，标识内容的块部分的大小，标识内容的块部分的边界框的大小，标识边界框元素(例如，其中，多个内容片段被包括在内容的示例性块部分中)，生成(例如，预先绘制)边界框来分隔内容的示例性块部分，以及复制内容的示例性块部分(例如，基于UI特征选择)，等等。
在示例中，可以通过检查提供不可选择的内容的源来标识该内容(例如文本、媒体对象等)。例如，可以执行用于解析/爬取/评估与提供内容相关联的源代码的处理操作来标识内容的部分。在内容被标识为不可选择的情况下，可以在后端上执行另外的处理操作，以使得通过用于内容选择的示例用户界面能够提供内容的部分。例如，可以自动地执行选择/复制/粘贴操作，以在用于内容选择的示例用户界面内呈现内容的块部分。在一些示例中，可以执行处理操作以在通过用于内容选择的用户界面显示内容的部分之前修改内容的所述部分。例如，内容可能是非格式化的，或者包括阻止在前台应用中显示的拼写错误或错误，该内容可以被操控以改进用户在使用示例性内容选择应用时的体验。示例性内容选择应用可以与其他应用/服务接合，以为内容选择应用提供执行以下处理操作的可扩展性，所述处理操作包括用于与检测到的前台应用接合的处理操作，以及从检测到的前台应用中标识不可选择的内容的处理操作，等等。
在没有选择用于标识内容的块部分的UI特征的情况下，流程分支至NO，并且方法400的处理将保持空闲状态直到接收到后续的处理为止。在选择了用于标识内容的块部分的UI特征的情况下，流程分支至YES，并且处理继续至操作410。
在处理操作410中，标识内容的一个或多个块部分。在一个示例中，处理操作410包括在分层视图内标识在前台应用内存在的内容的一个或多个块部分。可以基于对内容选择应用内的UI特征(例如，先前描述的交互式UI特征)的选择来标识内容的块部分。至少在图5C中示出了标识的视觉结果(处理操作410)。通过所描述的用于标识内容的块部分的用户界面特征，示例性内容选择应用将选择内容的整个块部分的处理自动化，而不需要用户手动地输入多个输入并且接着需要计算设备处理这些手动输入。另外地，内容选择被配置为基于选择用于标识内容的块部分的示例性UI特征的单个动作来标识内容的多个块部分。在一个示例中，所述单个动作是非连续的手势/输入(例如，轻击或点击)。
所公开的对内容的块部分的标识提供了超过诸如“选择全部”特征之类的功能的技术优点，这在于其改进了处理效率以及(与内容选择应用的)用户交互。例如，如果使用“选择全部”功能来从应用中选择内容，则将选择全部内容，而不给用户提供将内容分成几个较小的块部分的灵活性。用户可以尝试从前台应用中手动地标识和选择内容的个体部分。然而，如先前所述，该过程很麻烦，并且需要执行较大数量的动作来完成这样的任务。
另外地，在前台执行的应用/服务传统上不能够实现选择/复制/粘贴功能的情况下的例子中，在本文中所描述的用于标识块部分内容(以及随后能够实现对内容的块部分的选择)的功能是有益的。示例性内容选择应用与检测到的前台应用接合，以能够实现对不可选择的内容的选择。此外，示例性内容选择应用与检测到的前台应用接合以扩展选择/复制/粘贴功能，以及在其他应用/服务中可能也不可用的其他特征。此外，在另外的示例中，示例性内容选择应用可以被配置为将显示给用户的用户界面特征按优先级排序。在至少一个示例中，可以基于以下中的一个或多个来动态地呈现(或更新)在内容选择用户界面中显示的一个或多个用户界面特征：选择的内容(例如类型、格式、上下文等)，内容的相关联的元数据，内容从中选择的应用的类型，以及在客户端计算设备上执行的进行中的过程的类型，等等。例如，内容选择应用可以检测到从网络浏览应用中复制了文本内容的块部分，并且呈现用于将该内容的该块部分粘贴在消息传送应用、电子邮件应用、和/或文字处理应用中的用户界面特征。
对内容的示例块部分的标识包括使用边界框来突出显示内容的块部分。如前所述，内容的块部分可以包括多个内容片段。在至少一个示例中，由内容选择应用生成的示例性边界框可以包括一个或多个个体边界框(在内容的块部分的较大边界框内)，其中个体边界框可以与内容片段相关联。在某些示例中，用户可以选取从内容的块部分中选择/复制个体边界框，以引起对个体边界框的选择。这可以帮助用户对内容的块部分的特定部分进行选择，而不需要例如点击内容、拖动该内容周围的边界框、并且接着选择该内容。
流程可以继续至决策操作412，在该操作中，确定是否对内容的块部分进行了选择。如前所述，内容选择应用被配置为从检测到的前台应用中标识内容的块部分。在一个示例中，用户可以通过单个、非连续的动作(例如，轻击手势或点击手势)来选择内容的块部分。例如，用户可以通过轻击内容的所标识的块部分(或块部分的个体边界框)来提供输入，这引起内容选择应用选择内容的块部分。
在可替代的示例中，用户可以选择针对另外的动作(例如，复制、任务、电子邮件共享)的UI特征，这引起对内容的所标识的一个或多个块部分的自动选择。
在另一个可替代的示例中，选择用于标识内容的块部分的示例性UI特征的单个动作可以是连续的单个手势(例如，按下并保持)。在内容选择应用被配置为基于单个动作来标识、选择、和/或复制块内容的部分的情况下，当用户期望访问功能时，可以发生这种情况。例如，与用户执行较长时间量的按住并保持手势的实例相比，在较短时间量保持住用于标识内容的块部分的示例性UI特征可以标识、选择、和/或复制较小数量的内容的块部分。
在没有选择内容的块部分的情况下的实例中，流程分支至NO，并且方法400的处理保持空闲直到接收到后续的处理为止。在选择了内容的块部分的情况下的实例中，流程分支至YES，并且处理进行至操作414。在处理操作414处，内容选择应用例如基于所接收的用户输入来选择内容的示例性块部分。可以关于所选择的内容的块部分来采取后续动作。
对于所选择的内容，流程可以继续至决策操作416，在该操作中，确定是否接收到请求关于所选择的内容的另外动作的输入。在不请求另外动作的情况下的实例中，流程分支至NO，并且方法400的处理保持空闲直到接收到后续处理为止。在接收到请求另外动作的输入的情况下的示例中，流程分支至YES，并且进行至操作418。
在处理操作418中，基于从用户处接收的输入来执行另外的动作。内容选择应用被配置为提供能够实现快速访问针对所选择内容的另外动作的用户界面特征。另外的动作的示例包括但不限于：复制、将所选择的内容添加至任务列表、将所选择的内容通过电子邮件来发送、与其他用户/应用共享所选择的内容、以及编辑所选择的内容，等等。在一个示例中，所执行的另外的动作是：例如基于所接收的用于复制所选择的内容块部分的请求来对所选择的内容块部分进行复制。另外的后续动作可以包括：基于所接收的用于粘贴内容的块部分的输入将内容的块部分粘贴在另一应用中。参考5A-5D以及所附描述，其示出了用于内容选择应用的示例应用命令控制。理解本公开的本领域技术人员应当认识到，用于内容选择的应用命令控制可以有所不同。例如，示例性内容选择应用可以被配置为与另外的资源接合，这可以扩展内容选择应用的功能同时改进访问可扩展功能的处理效率。
图5A-5D呈现了与利用其可以实践本公开的方面的示例性内容选择应用相关联的处理的示例性用户界面视图。在图5A-5D中所示出的用户界面视图是与示例性内容选择应用有关的经添加的用户界面功能以及该内容选择应用与其他应用/服务之间的交互的示例。理解本公开的本领域技术人员应当认识到，在本文中所描述的用户界面元素的呈现可以在保持本公开的精神的同时而有所不同。
图5A示出了用户界面视图500。用户界面视图500是在移动计算设备(例如，移动电话)上执行的文字处理应用502的视图。然而，在本文中所描述的示例适用于所有类型的计算设备。文字处理应用是检测到的在移动计算设备上执行的前台应用的示例。在执行时，文字处理应用502正在呈现包括内容的部分的文档(“Cooking Recipe.doc”)。用户可以利用移动计算设备的主页按钮504来触发对示例性内容选择应用的激活。例如，用户可以按下并保持住主页按钮504，这可以触发将内容选择应用的示例性用户界面显示为示例性分层视图的一部分(如前所述)。在可替代的示例中，在本文中所描述的用户界面功能可以是对另一种类型的应用的插件，其中，所接收的输入可以触发对与内容选择相关联的用户界面特征的显示。在其他可替代的示例中，对与内容选择相关联的用户界面特征的显示可以不需要所接收的输入来触发对在本文中所描述的内容选择功能的呈现。例如，在本文中所描述的内容选择功能可以被包含在诸如网络浏览应用或个人智能助理应用等之类的任何应用内。
图5B示出了用户界面视图520。用户界面视图520呈现了示例性分层视图，其包括分层在文字处理应用502上方的示例性内容选择应用的用户界面。用户界面视图520示出了在移动计算设备上呈现的分层视图。然而，在本文中所描述的示例适用于所有类型的计算设备。内容选择应用包括用于应用命令控制的用户界面(UI)特征，所述UI特征被分层在文字处理应用502上方。例如，菜单522呈现了与用户可以对所选择的内容使用的另外动作相关的多种UI特征。另外地，内容选择应用包括用于标识内容的块部分的UI特征524(例如，“T”)。在用户界面视图540(图5C)中示出了选择用户界面特征524的结果。
图5C示出了用户界面视图540。用户界面视图540呈现了示例性分层视图，其包括分层在文字处理应用502上方的示例性内容选择应用的用户界面。用户界面视图540示出了在移动计算设备上呈现的分层视图。然而，在本文中所描述的示例适用于所有类型的计算设备。用户界面视图540呈现了对在用户界面视图520(图5B)中所示出的UI特征524的选择的示例性结果。对UI特征524的选择会触发对与在文字处理应用502中所呈现的文档相关联的内容的块部分的标识。例如，内容的第一块部分542由基于在方法400中描述的处理操作所生成的第一边界框来标识。内容的第二块部分548由基于在方法400中描述的处理操作所生成的第二边界框来标识。如在用户界面视图540中所示，内容的经标识的块部分可以包括多个个体边界框，所述个体边界框可以标识内容的块部分内的内容片段。作为示例，这样的功能是关于内容的第一块部分542来说明的，该第一块部分至少包括第一个体边界框544和第二个体边界框546。应当认识到的是，所示出的示例在内容的第一块部分542内示出了另外的个体边界框，其中用户可以选择另外的个体边界框以用于选择内容片段。尽管所示出的个体边界框544和546中的每个被示出为包括单行文本，但应当注意的是，这些框中的每个可以包括多行文本(例如，跨多行的句子或段落)。应当认识到的是，内容的第二块部分548也包含多个个体边界框(没有被标出)。用户可以提供指示对内容的一个或多个块部分(或个体边界框)的选择的输入，并且还从内容选择应用的菜单522中选择针对另外动作的UI特征。作为示例，用户选择用于复制内容的所选择的部分的UI特征550。如在先前的示例中所标识的，内容选择应用能够实现同时选择内容的多于一个块部分，同时保持内容的相应块部分的独立性。这还能够实现在不需要连续的手势选择(例如，按下并保持以选择内容的完整块部分，或者执行多个动作来重新复制该内容)的情况下重新选择和/或重新复制内容的个体块部分。在用户界面视图560(图5D)中示出了对用户界面特征550的选择的结果。
图5D示出了用户界面视图560。用户界面视图560是另一示例性分层视图，其呈现了分层于在移动计算设备(例如，移动电话)上执行的消息传送应用562上方的示例性内容选择应用的用户界面。用户界面视图560呈现了对在用户界面视图540(图5C)中所示出的UI特征550的选择的示例性结果。本领域技术人员应当认识到，用户可以采取另外的手动动作来访问消息传送应用562，例如启动或激活消息传送应用。在另一示例中，内容选择应用可以被配置为使得用户能够在关于所选择的内容执行另外的动作时选择应用(例如，消息传送应用562)。用户界面视图560示出了用户在消息传送应用562中执行粘贴操作的结果。如在处理设备视图560中所示出的，从文字处理应用502中选择的内容被粘贴在消息传送应用562中。在一个示例中，可以基于对UI特征564的选择而出现粘贴操作。例如，包括内容选择应用的分层视图可以包括在消息传送应用562上方显示的UI特征564。当内容(例如，从在图5C中所描述的文字处理应用502中)被选择时，在用户界面视图560中对UI特征564的选择可以触发将所选择的内容粘贴到消息传送应用562中的操作。在一些示例中，内容选择应用可以被配置为在将内容粘贴到新的应用中后立即显示内容的特定块部分的边界框。在其他示例中，用户可以提供重新选择内容的块部分的手势，其可以触发对内容的该块部分的边界框的显示。
在一些可替代的示例中，将内容粘贴到另一应用中可以触发对内容的预览的显示。可替代地，当通过内容选择应用提供的内容通过另一应用(例如，消息传送应用562)被发送时，可以生成和显示对内容的块部分的预览。例如，如果用户选择发送包括内容的示例性块部分的消息，则内容的该块部分可以在已发送的消息(例如，文本消息)中作为预览来显示。在一个示例中，用户可以选择预览来显示对内容的块部分的完整表示。
图6示出了能够在一个或多个计算设备上实现的示例性系统600，在所述一个或多个计算设备上可以实践本公开的方面。系统600可以是示例性系统，其用于日志数据评价以及基于所述日志数据评价的结果的随后的处理。系统600的组件可以是硬件组件或者在系统600的硬件组件上实现和/或由所述硬件组件执行的软件。在示例中，系统600可以包括硬件组件(例如，ASIC、用于执行/运行OS的其他设备)以及在硬件上运行的软件组件(例如，应用、应用编程接口、模块、虚拟机、运行时间库等)中的任何组件。在一个示例中，示例性系统600可以提供软件组件运行的环境，遵循操作的约束集合，并且对系统/处理设备的资源或工具进行利用，其中组件可以是在一个或多个处理设备上运行的软件(例如，应用、程序、模块)。例如，软件(例如，应用、操作指令、模块)可以在诸如计算机、移动设备(例如，智能电话/电话、平板设备)和/或任何其他类型的电子设备之类的处理设备上运行。作为处理设备操作环境的示例，参考图1-3的操作环境。系统600中的一个或多个组件可以被配置为执行至少在对图4的描述中所描述的方法400中所描述的和在对图5A-5D的描述中所描述的处理操作中的任何处理操作。在其他示例中，在本文中所公开的系统的组件可以跨多个设备分布。示例性系统600包括应用组件606，其还包括：应用/服务组件608、内容选择组件610、以及平台资源组件612，其中所标识的组件中的每个组件可以包括一个或多个另外的组件。
一个或多个数据存储设备/存储单元或其他存储器可以与系统600相关联。例如，系统600的组件可以具有与之相关联的一个或多个数据存储单元614(如下所述)。与系统600的组件相关联的数据以及由系统600的组件执行的处理操作/指令可以存储在其中。此外，还提出了系统600的应用组件可以与其他应用服务接合。应用服务可以是能够扩展系统600的一个或多个组件的功能的任何资源。应用服务可包括但不限于：个人智能助理服务、生产力应用、网络搜索服务、电子邮件应用、日历、设备管理服务、地址簿服务、信息型服务、商业线(LOB)管理服务、客户关系管理(CRM)服务、错误调试(debug)服务、会计服务、薪酬服务以及由第三方托管或控制的服务和/或网站，等等。应用服务还可以包括由第三方托管的其他网站和/或应用，例如社交媒体网站；照片分享网站；视频和音乐流媒体网站；搜索引擎网站；体育、新闻、或娱乐网站，等等。应用服务还可以与系统600的组件相关联地提供分析、数据编译、和/或存储服务等。
系统600可以包括一个或多个存储单元614，其可以存储与系统600的一个或多个组件的操作相关联的数据。在示例中，存储单元614可以与系统600的其他组件接合。与系统600的任何组件相关联的数据可以被存储在存储单元614中，其中组件可以通过包括云计算平台和基础结构服务在内的分布式网络而连接至存储单元614。示例性存储单元614可以是第一方源、第二方源、和第三方源中的任何一个。存储单元614是任何物理或虚拟存储器空间。存储单元614可以存储针对由系统600的组件所执行的处理操作的任何数据、从处理操作保留的数据、存储的程序、代码或应用编程接口(API)、训练数据、到系统600的内部和外部的资源的链接、以及知识数据等。此外，在示例中，系统600的组件可以在由系统600的组件所进行的处理中利用知识数据。知识可以由系统600的一个或多个组件用来改进任何应用组件606中的任何一个的处理，其中知识数据能够从系统600内部或外部的资源获得。在示例中，知识数据可以被保存在存储单元614中，或者通过知识提取操作从系统600外部的一个或多个资源获取。在示例中(如下所述)，存储单元614可以存储示例性数据程序/服务以及用于以下项的其他类型的数据：执行包括示例性内容选择应用在内的应用/服务、在应用/服务之间接合(例如，内容选择应用和其他执行的应用之间的交互)、对前台中的应用的检测、对与应用/服务相关联的内容的评价、对块内容的标识、对块内容的选择、用于所选择的块内容的后续动作、包括示例性内容选择应用的用户界面特征在内的应用命令控制、与计算设备的交互、对知识数据的获取、用户特定的数据和应用特定的数据，等等。
在图6中，处理设备602可以是包括至少一个处理器和至少一个存储器/存储单元的任何设备。处理设备602的示例可以包括但不限于：诸如台式计算机、服务器、电话、平板设备、平板手机、板式计算机、膝上计算机、可穿戴计算设备之类的处理设备，以及诸如具有一个或多个处理器或电路的设备之类的电气组件的任何其他集合。在一个示例中，处理设备602可以是正在执行应用/服务的用户的设备。在示例中，处理设备602可以经由网络604与应用组件606进行通信。在一个方面中，网络404是诸如互联网之类的分布式计算网络。应用服务可以经由网络604来与应用组件606进行通信。处理设备602可以是如在图1-3的描述中所描述的设备。在一些示例中，处理设备602可以包括多个连接的设备。处理设备602是用户计算设备的示例。
处理设备602可以执行处理操作，所述处理操作包括通过用户帐户来访问应用/服务的能力。在一个示例中，处理设备602可以将经验证的用户连接至示例性应用/服务，该示例应用/服务存储该应用/服务的一个或多个用户的用户数据。示例性存储应用/服务可向处理设备602的用户提供对存储在示例性数据中心中的数据的访问。在一个示例中，处理设备602可以经由能够给用户提供对用户数据的访问的分布式网络来与存储单元614连接。一个或多个租户资源(例如，租户资源A、租户资源B、租户资源C等)可以与处理设备602相关联。租户资源可以是与处理设备和/或分布式网络服务相关联的用户帐户。与租户资源相关联的数据可以被存储在存储单元614上，其中，可以利用租户帐户来访问由处理设备602和/或其他处理设备所存储的数据。
应用组件606是相接合以能够实现对示例性内容选择应用/服务的处理的组件的集合。如上所述，应用组件606可以包括：应用/服务组件608、内容选择组件610、和平台资源组件612。
应用/服务组件608是被配置为执行和管理不同于示例性内容选择应用的应用的组件。内容选择组件610可以与应用/服务组件608接合以检测前台应用，并且呈现包括内容选择应用的示例性分层视图。除了其他示例之外，应用/服务组件608还可以提供对源代码的访问，所述源代码使得内容选择组件610能够标识内容的块部分，所述块部分包括不能够通过应用/服务直接选择的内容的部分。
内容选择组件610是被配置为执行至少在方法400(图4)中所描述的处理操作的组件。在对图5A-5D的描述中描述了内容选择组件610的处理操作的另外的示例。在可替代的示例中，内容选择组件610可以被配置为在其他现有应用中提供功能和/或插件。例如，由内容选择应用所提供的特征可以被并入到其他执行的应用的应用命令控制中。
平台资源组件612是被配置为与内容选择组件610接合以扩展示例性内容选择应用的功能的组件。作为示例，平台资源组件612可以提供应用服务(先前所描述的)，其增强由示例性内容选择应用进行的处理。
在该说明书通篇中对“一个示例”或“示例”的已经进行的引用意味着所描述的特定特征、结构或特性被包括在至少一个示例中。因此，这样的短语的使用可以指代多于仅一个示例。此外，所描述的特征、结构或特性可以在一个或多个示例中以任何合适的方式来组合。
然而，本领域的技术人员应当认识到，示例可以在没有所述具体细节中的一个或多个的情况下被实践，或者利用其他方法、资源、素材等被实践。在其他实例中，没有示出或详细描述公知的结构、资源或操作，仅仅是因为观察到对示例的多个方面的混淆。
尽管已经示出并描述了样本示例和应用，但是要理解的是，示例不限于以上所描述的精确配置和资源。可以对在本文中所公开的方法和系统的布置、操作和细节进行本领域技术人员显而易见的各种修改、改变和变化而不脱离所要求保护的示例的范围。

Claims (20)

1.一种方法，包括：
由计算设备执行包括内容的第一应用；
由所述计算设备接收输入，所述输入触发对用于内容选择应用的用户界面的激活；
基于所接收的输入来显示分层视图，所述分层视图呈现被分层在所述第一应用上方的所述内容选择应用的所述用户界面；
通过所述内容选择应用的所述用户界面呈现所述第一应用的内容的多个块部分，其中，内容的所述多个块部分中的每个块部分分别由边界框标识；
通过所述用户界面接收单个并且非连续的点击动作以选择所述内容的所述多个块部分中的块部分；以及
响应于接收到所述单个并且非连续的点击动作，经由所述内容选择应用选择所述内容的所述块部分。
2.如权利要求1所述的方法，其中，所述单个并且非连续的点击动作是设备输入。
3.如权利要求1所述的方法，其中，所述单个并且非连续的点击动作是触摸输入。
4.如权利要求1所述的方法，还包括：
通过所述内容选择应用接收对用于复制所述内容的所选块部分的用户界面特征的选择；以及
基于对用于复制所述内容的所选块部分的所接收的选择，复制所述内容的所选块部分。
5.如权利要求4所述的方法，还包括：
通过所述内容选择应用接收用于粘贴所述内容的所选块部分的用户界400616-CN-PCD
面选择；以及
基于用于粘贴所述内容的所选块部分的所接收的选择，在另一应用中粘贴所述内容的所述块部分。
6.如权利要求1所述的方法，还包括：
通过所述内容选择应用接收对用于标识所述第一应用内的内容的块部分的用户界面特征的选择，并且其中，内容的所述多个块部分是基于对所述用户界面特征的所接收的选择而呈现在所述用户界面中的。
7.如权利要求1所述的方法，还包括：
经由所述内容选择应用检测与所述第一应用的所述内容相关联的源代码，并且其中，内容的所述块部分是基于对所检测的源代码的分析而从所述第一应用中选择的。
8.一种系统，包括：
至少一个处理器；以及
与存储计算机可执行指令的所述至少一个处理器可操作地连接的存储器，其中，所述计算机可执行指令当由所述至少一个处理器执行时，使得所述至少一个处理器执行方法，所述方法包括：
由计算设备执行包括内容的第一应用；
由所述计算设备接收输入，所述输入触发对用于内容选择应用的用户界面的激活；
基于所接收的输入来显示分层视图，所述分层视图呈现被分层在所述第一应用上方的所述内容选择应用的所述用户界面；
通过所述内容选择应用的所述用户界面呈现所述第一应用的内容的多个块部分，其中，内容的所述多个块部分中的每个块部分分别由边界框标识；
通过所述用户界面接收单个并且非连续的点击动作以选择所述内容的所述多个块部分中的块部分；以及
响应于接收到所述单个并且非连续的点击动作，经由所述内容选择应400616-CN-PCD
用选择所述内容的所述块部分。
9.如权利要求8所述的系统，其中，所述单个并且非连续的点击动作是设备输入。
10.如权利要求8所述的系统，其中，所述单个并且非连续的点击动作是触摸输入。
11.如权利要求8所述的系统，其中，所执行的方法还包括：
通过所述内容选择应用接收对用于复制所述内容的所选块部分的用户界面特征的选择；以及
基于对用于复制所述内容的所选块部分的所接收的选择，复制所述内容的所选块部分。
12.如权利要求11所述的系统，其中，所执行的方法还包括：
通过所述内容选择应用接收用于粘贴所述内容的所选块部分的用户界面选择；以及
基于用于粘贴所述内容的所选块部分的所接收的选择，在另一应用中粘贴所述内容的所述块部分。
13.如权利要求8所述的系统，其中，所执行的方法还包括：
通过所述内容选择应用接收对用于标识所述第一应用内的内容的块部分的用户界面特征的选择，并且其中，内容的所述多个块部分是基于对所述用户界面特征的所接收的选择而呈现在所述用户界面中的。
14.如权利要求8所述的系统，其中，所执行的方法还包括：
经由所述内容选择应用检测与所述第一应用的所述内容相关联的源代码，并且其中，内容的所述块部分是基于对所检测的源代码的分析而从所述第一应用中选择的。
15.一种存储计算机可执行指令的计算机存储非暂时性介质，所述计算机可执行指令当由至少一个处理器执行时，使得所述至少一个处理器执行方法，所述方法包括：
由计算设备执行包括内容的第一应用；
由所述计算设备接收输入，所述输入触发对用于内容选择应用的用户界面的激活；
基于所接收的输入来显示分层视图，所述分层视图呈现被分层在所述第一应用上方的所述内容选择应用的所述用户界面；
通过所述内容选择应用的所述用户界面呈现所述第一应用的内容的多个块部分，其中，内容的所述多个块部分中的每个块部分分别由边界框标识；
通过所述用户界面接收单个并且非连续的点击动作以选择所述内容的所述多个块部分中的块部分；以及
响应于接收到所述单个并且非连续的点击动作，经由所述内容选择应用选择所述内容的所述块部分。
16.如权利要求15所述的计算机存储非暂时性介质，其中，所述单个并且非连续的点击动作是从由以下各项构成的组中选择的一项：设备输入和触摸输入。
17.如权利要求15所述的计算机存储非暂时性介质，其中，所述方法还包括：
通过所述内容选择应用接收对用于复制所述内容的所选块部分的用户界面特征的选择；以及
基于对用于复制所述内容的所选块部分的所接收的选择，复制所述内容的所选块部分。
18.如权利要求17所述的计算机存储非暂时性介质，其中，所述方法还包括：
通过所述内容选择应用接收用于粘贴所述内容的所选块部分的用户界400616-CN-PCD
面选择；以及
基于用于粘贴所述内容的所选块部分的所接收的选择，在另一应用中粘贴所述内容的所述块部分。
19.如权利要求15所述的计算机存储非暂时性介质，其中，所述方法还包括：
通过所述内容选择应用接收对用于标识所述第一应用内的内容的块部分的用户界面特征的选择，并且其中，内容的所述多个块部分是基于对所述用户界面特征的所接收的选择而呈现在所述用户界面中的。
20.如权利要求15所述的计算机存储非暂时性介质，其中，所述方法还包括：
经由所述内容选择应用检测与所述第一应用的所述内容相关联的源代码，并且其中，内容的所述块部分是基于对所检测的源代码的分析而从所述第一应用中选择的。
CN202310238757.3A 2016-11-14 2017-11-07 分层内容选择 Pending CN116225282A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/350,403 2016-11-14
US15/350,403 US10216368B2 (en) 2016-11-14 2016-11-14 Layered content selection
CN201780070292.8A CN109952557B (zh) 2016-11-14 2017-11-07 分层内容选择
PCT/US2017/060262 WO2018089320A1 (en) 2016-11-14 2017-11-07 Layered content selection

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780070292.8A Division CN109952557B (zh) 2016-11-14 2017-11-07 分层内容选择

Publications (1)

Publication Number Publication Date
CN116225282A true CN116225282A (zh) 2023-06-06

Family

ID=60452768

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780070292.8A Active CN109952557B (zh) 2016-11-14 2017-11-07 分层内容选择
CN202310238757.3A Pending CN116225282A (zh) 2016-11-14 2017-11-07 分层内容选择

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780070292.8A Active CN109952557B (zh) 2016-11-14 2017-11-07 分层内容选择

Country Status (17)

Country Link
US (2) US10216368B2 (zh)
EP (1) EP3538981B1 (zh)
JP (1) JP7100637B2 (zh)
KR (1) KR102468164B1 (zh)
CN (2) CN109952557B (zh)
AU (1) AU2017356878B2 (zh)
BR (1) BR112019007342A2 (zh)
CA (1) CA3041079A1 (zh)
CL (1) CL2019001289A1 (zh)
CO (1) CO2019004602A2 (zh)
IL (1) IL266443A (zh)
MX (1) MX2019005357A (zh)
PH (1) PH12019550065A1 (zh)
RU (1) RU2019114199A (zh)
SG (1) SG11201903880UA (zh)
WO (1) WO2018089320A1 (zh)
ZA (1) ZA201902219B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11892988B1 (en) * 2021-01-29 2024-02-06 Splunk Inc. Content pack management

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273509A (ja) * 2000-03-28 2001-10-05 Toshiba Corp 文書画像編集装置及び文書画像編集方法
US7315848B2 (en) 2001-12-12 2008-01-01 Aaron Pearse Web snippets capture, storage and retrieval system and method
US8832577B2 (en) 2010-10-01 2014-09-09 Z124 Universal clipboard
US20050210401A1 (en) 2004-03-18 2005-09-22 Nokia Corporation Method and system for centralized copy/paste functionality
US7885622B2 (en) * 2004-10-27 2011-02-08 Chestnut Hill Sound Inc. Entertainment system with bandless tuning
JP2006155278A (ja) * 2004-11-30 2006-06-15 Canon Software Inc 情報処理装置および情報処理方法およびプログラムおよび記録媒体
US8375293B2 (en) * 2005-01-09 2013-02-12 Apple Inc. Method and apparatus for defining documents
US20060250360A1 (en) 2005-05-05 2006-11-09 International Business Machines Corporation Smart pointer
US7860895B1 (en) * 2005-08-23 2010-12-28 Amazon Technologies, Inc. Method and system for determining interest spaces among online content sources
US8386509B1 (en) * 2006-06-30 2013-02-26 Amazon Technologies, Inc. Method and system for associating search keywords with interest spaces
US20100153968A1 (en) 2008-12-11 2010-06-17 Christof Engel External rendering of clipboard data
US8745581B2 (en) 2010-06-21 2014-06-03 Touch Technologies, Inc. Method and system for selectively copying portions of a document contents in a computing system (smart copy and paste
KR101688150B1 (ko) * 2010-07-12 2017-01-02 엘지전자 주식회사 이동단말기 및 그의 멀티터치를 이용한 객체 표시 제어 방법
JP5664249B2 (ja) * 2011-01-06 2015-02-04 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20130046935A1 (en) * 2011-08-18 2013-02-21 Microsoft Corporation Shared copy cache across networked devices
US9304662B2 (en) * 2011-08-25 2016-04-05 Vmware, Inc. User interface virtualization techniques
CN102436395A (zh) * 2011-11-22 2012-05-02 宇龙计算机通信科技(深圳)有限公司 一种内容选择复制方法和移动终端
US20130346912A1 (en) * 2012-06-20 2013-12-26 Alexander Buening Method And System To Launch And Manage An Application On A Computer System Having A Touch Panel Input Device
US8949729B2 (en) * 2012-06-13 2015-02-03 International Business Machines Corporation Enhanced copy and paste between applications
US9092121B2 (en) * 2012-11-30 2015-07-28 International Business Machines Corporation Copy and paste experience
US20140157169A1 (en) 2012-12-05 2014-06-05 Microsoft Corporation Clip board system with visual affordance
CA2897463A1 (en) 2012-12-12 2014-06-19 Boost Academy, Inc. Systems and methods for interactive, real-time tablet-based tutoring
US9535503B2 (en) * 2013-01-29 2017-01-03 Blackberry Limited Methods and devices for simultaneous multi-touch input
CN105144094B (zh) * 2013-01-30 2018-10-16 谷歌技术控股有限责任公司 用于管理应用当中的导航的系统和方法
JP2014203288A (ja) * 2013-04-05 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN103853611B (zh) * 2014-04-01 2018-03-02 上海斐讯数据通信技术有限公司 将应用程序间的文本进行快捷复制的方法及电子设备
KR102213897B1 (ko) 2014-10-31 2021-02-08 삼성전자주식회사 사용자 입력에 따라 하나 이상의 아이템들을 선택하는 방법 및 이를 위한 전자 장치
US9930162B2 (en) * 2014-12-02 2018-03-27 Facebook, Inc. Techniques for enhancing content on a mobile device
US10496275B2 (en) * 2015-10-12 2019-12-03 Microsoft Technology Licensing, Llc Multi-window keyboard

Also Published As

Publication number Publication date
EP3538981B1 (en) 2023-09-27
BR112019007342A2 (pt) 2019-07-02
AU2017356878B2 (en) 2021-10-28
RU2019114199A (ru) 2020-11-13
US10635268B2 (en) 2020-04-28
CN109952557B (zh) 2023-03-07
SG11201903880UA (en) 2019-05-30
US20190146642A1 (en) 2019-05-16
KR102468164B1 (ko) 2022-11-16
RU2019114199A3 (zh) 2020-12-11
WO2018089320A1 (en) 2018-05-17
ZA201902219B (en) 2020-08-26
PH12019550065A1 (en) 2020-01-20
JP2019536156A (ja) 2019-12-12
CL2019001289A1 (es) 2019-09-13
CA3041079A1 (en) 2018-05-17
JP7100637B2 (ja) 2022-07-13
CO2019004602A2 (es) 2019-05-21
US10216368B2 (en) 2019-02-26
IL266443A (en) 2019-06-30
CN109952557A (zh) 2019-06-28
KR20190084051A (ko) 2019-07-15
AU2017356878A1 (en) 2019-04-18
EP3538981A1 (en) 2019-09-18
US20180136795A1 (en) 2018-05-17
MX2019005357A (es) 2019-07-01

Similar Documents

Publication Publication Date Title
US10666594B2 (en) Proactive intelligent personal assistant
CN108139862B (zh) 多窗口键盘
US9021507B2 (en) Dynamic use of data across multiple programs
CN108369600B (zh) web浏览器扩展
US20140365918A1 (en) Incorporating external dynamic content into a whiteboard
CN110168496B (zh) 用于应用呈现的方法和系统
US10757048B2 (en) Intelligent personal assistant as a contact
US10997253B2 (en) Contact creation and utilization
CN109952557B (zh) 分层内容选择
US10360807B2 (en) Mobile media creation from any content
CN109643215B (zh) 基于手势输入的应用处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination