CN107111491A - 用于将内容捕获到持久性存储装置的通用交互 - Google Patents

用于将内容捕获到持久性存储装置的通用交互 Download PDF

Info

Publication number
CN107111491A
CN107111491A CN201580051251.5A CN201580051251A CN107111491A CN 107111491 A CN107111491 A CN 107111491A CN 201580051251 A CN201580051251 A CN 201580051251A CN 107111491 A CN107111491 A CN 107111491A
Authority
CN
China
Prior art keywords
content
computing device
capture
application
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580051251.5A
Other languages
English (en)
Inventor
M·迪克西特
C·瓦伊山姆帕延
J·V·格奥尔格
N·A·卡姆达
D·A·梅农
S·V·西鲁马莱-阿南丹皮莱
R·S·克哈特拉
黄学东
A·维斯瓦纳桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107111491A publication Critical patent/CN107111491A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/282Hierarchical databases, e.g. IMS, LDAP data stores or Lotus Notes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/543User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

呈现了一种用于计算设备上的增强的内容捕获的系统和方法。在操作中,在计算设备上检测具有将与操作计算设备的计算机用户相关联的内容捕获到内容储存库的意图的用户交互。执行内容捕获服务以将内容捕获到内容储存库,包括以下步骤:通知在计算设备上执行的应用暂停输出以显示与应用相对应的视图;标识并且获得将被捕获到内容储存库的内容;通知在计算设备上执行的应用恢复输出以显示视图;以及将所获得的内容自动存储在与计算机用户相关联的内容储存库中。

Description

用于将内容捕获到持久性存储装置的通用交互
背景技术
计算机用户利用多种在线资源,通常使用很多应用或应用程序来完成各种任务。例如,希望旅行到外国目的地的夫妇可以执行关于期望目的地的多个在线研究活动,包括探索住房选择、餐饮选择、汽车租赁、目的地的景点和活动、护照和/或签证要求、机票选择、货币兑换等。在所有这些中,计算机用户被呈现大量信息,其中一些信息对用户有价值,并且期望将内容捕获到持久性存储装置中以供将来参考。
一般来说,计算机用户通常能够通过当前应用保存期望的内容(以某种形式或另一种形式)。然而,计算机用户必须利用现有的“保存”特征,其可以充分地捕获期望的内容或可以不充分地捕获期望的内容。此外,在现有保存特征下,计算机用户必须在多个数据存储解决方案和选项中进行选择,诸如计算机用户设备上的一个或多个存储设备、云存储解决方案(诸如微软的)、多个文件夹、文件名扩展等,并且这些中的每一个通常呈现用于存储内容的麻烦的方式。此外,存在不同的方式来处理不同类型的数据的存储。这种存储特征的混杂导致计算机用户需要理解如何处理不同类型的存储、以适当的格式的存储、文件命名规则等。显然,当前保持内容的方法显著地增加了计算机用户的认知负荷。此外,当前内容捕获和持久性选项的多样性降低了计算机用户将能够在未来时间点重新调用已保存/持久性内容的概率。
发明内容
提供以下发明内容来以简化的形式介绍将在以下具体实施方式中进一步描述的一些选择的概念。发明内容不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。
根据所公开的主题的各方面,呈现了用于计算设备上的增强的内容捕获的系统和方法。在操作中,在计算设备上检测到用户交互,该用户交互具有将内容捕获到与操作计算设备的计算机用户相关联的内容储存库的意图。执行内容捕获服务以将内容捕获到内容储存库,包括以下步骤:在计算设备上执行的应用被通知定格或暂停输出与应用对应的显示视图;标识并且获得将被捕获到内容储存库的内容;在计算设备上执行的应用被通知恢复输出显示视图;以及自动地将所获得的内容存储在与计算机用户相关联的内容储存库中。
根据所公开的主题的附加方面,呈现了一种用于在计算设备上捕获内容的计算机实现的方法。该方法包括:首先检测计算设备上的用户交互,用户交互指示计算机用户的将内容捕获到与计算机用户相关联的内容储存库的意图。内容捕获服务被执行以将内容捕获到内容储存库。执行内容捕获服务包括通知在计算设备上执行的应用暂停输出于应用对应的显示视图。所通知的应用中的应用的内容被标识为将被捕获到内容储存库的内容。获得内容并且将其存储在内容储存库中。此外,在计算设备上执行的应用被通知恢复输出显示视图。
根据所公开主题的又一方面,呈现了一种用于将内容增强捕获到内容储存库的计算设备。计算设备包括处理器和存储器,其中处理器执行存储在存储器中的指令,作为将内容捕获到内容储存库的附加部件的部分或者与将内容捕获到内容储存库的附加部件相结合。附加部件包括可执行内容捕获部件。在操作中,内容捕获部件检测计算设备上的用户交互,用户交互指示计算机用户的将内容捕获到与计算机用户相关联的内容储存库的意图。另外,内容捕获部件通知在计算设备上执行的一个或多个应用暂停输出与应用对应的显示视图,将所通知的应用中的一个应用的内容标识为将被捕获到内容储存库的内容,以及经由应用编程接口从应用获得所标识的内容。此后,内容捕获部件自动地、在没有计算机用户交互的情况下将所获得的内容存储在与计算机用户相关联的内容储存库中,并且通知在计算设备上执行的一个或多个应用恢复输出显示视图。
在所公开的主题的附加方面中,除了捕获当前执行上下文的所有内容之外,还可以提供用户接口,计算机用户可以通过用户接口标识用户期望捕获的内容的整个本体的一个或多个部分。使用相同的交互来捕获内容,内容所标识的部分被捕获到持久性存储装置。
附图说明
所公开的主题的前述方面和很多伴随的优点将变得更容易理解,因为当结合以下附图时,通过参考以下描述,它们将被更好地理解,在附图中:
图1A和图1B是示出包括内容捕获服务/过程的计算设备的示例性实施例的示意图;
图2是示出用于在计算设备上实现内容捕获服务的示例性例程的流程图;
图3A和图3B是示出示例性计算设备显示器并且用于示出从当前执行上下文捕获内容的示例性用户交互的示意图;
图4A-图4C是示出替代的示例性计算设备显示器并且用于示出从当前执行上下文捕获内容的示例性用户交互的示意图;
图5A-图5B是示出另一替代的示例性计算设备显示器并且用于示出从当前执行上下文捕获内容的示例性用户交互的示意图;以及
图6是示出适当地被配置有内容捕获服务的示例性计算设备的框图。
具体实施方式
为了清楚起见,本文档中的术语“示例性”应当被解释为用作某事物的说明或示例,而不应当被解释为该事物的理想和/或主导说明。
术语“内容”是指可以被呈现、存储、布置和/或动作的项目和/或数据。通常而非排他性地,内容对应于可以经由计算设备呈现给计算机用户的数据/项目。作为说明而非限制,内容的示例包括数据文件、图像、音频、视频、网页、用户帖子、数据流等、以及其部分。内容可以以一种或多种格式被保持/存储。另外,持久性内容可以包括将内容本身存储在数据储存库中和/或将对内容的引用存储在数据储存库中。
当在“捕获内容”的上下文中使用时,术语“捕获(capture)”或“捕获(capturing)”是指在持久性数据储存库中创建记录。记录可以包含内容和/或对内容的引用的一个或多个格式。通常而非排他性地,最鲁棒的内容的版本(格式)(使得可以从鲁棒版本生成其他格式)被记录在持久性数据储存库中。如下面将讨论的,作为捕获内容的部分,还可以捕获内容的元数据并且将其存储在记录中。该元数据包括信息,诸如对内容的语义理解、语义关系和数据结构、内容的来源、保持内容的日期等。
关于术语“应用”和“应用程序”,应用指代被设计为通过应用正在其上执行的计算设备来执行一个或多个操作的大量软件代码/指令。类似地,应用程序也是被设计为通过应用正在其上执行的计算设备来执行一个或多个操作的大量软件代码/指令。通常而非排他性地,应用程序更专注于执行一小组任务,而应用将具有更大的焦点和范围。虽然在本文档中频繁地提及术语应用程序和应用,但是在应用程序和应用之间关于将内容捕获到内容储存库的差异,这样的差异几乎没有意义。因此,尽管术语应用程序和应用可以在公开文档中单独提及(因为它们确实具有一些差异),但是为了将内容捕获到内容储存库(如本文中所公开的)的目的,它们应当被视为同义的。
如上所述,捕获或保持内容是当代计算机用户的重要活动。作为说明而非限制,内容可以包括图像和视频、音频记录、网页、电子邮件消息、文本消息、文件和文档、确认收据等。如上所述,各种内容项目可以是计算机用户正在执行的有意义的、冗长的数字活动的产物并且与其相关(诸如研究旅行到期望目的地的潜力)。或者,期望的内容(计算机用户希望捕获)可能是偶然性的产物:例如,在Web上遇到的计算机用户稍后想要访问或参考的文章。
将容易理解,个体应用通常(但不总是)包括文件保存选项,其中用户必须通过一系列菜单选择来发起文件保存特征。作为典型的文件保存选项的一部分,用户还必须标识关于驱动器卷、文件夹、文件名等的信息。当然,一些应用不提供捕获和/或保存内容的能力。当然,存在可以用于捕获应用的当前显示的应用,但是这样的应用需要用户切换执行上下文,例如,从当前应用切换到“捕获屏幕”应用,以便捕获显示的内容。即使这些应用是有限的:它们不捕获底层信息,而是捕获显示在计算机显示屏上的结果。
与现有解决方案相比,所公开的主题呈现了用于捕获内容的操作系统级服务。有利地,操作系统级服务可以在执行上下文和功能内被访问,而不改变执行上下文。换言之,作为操作系统级服务的内容捕获服务可以在执行应用内使用,而不改变执行上下文(切换到另一应用)。当然,应当理解,所公开的操作系统级服务不需要被实现为计算设备的操作系统的功能,相反,服务可以以相同的方式从所有执行上下文和作为当前执行上下文的扩展的功能来调用,使得执行上下文不变。在各种实施例中,用作操作系统级服务的内容捕获服务以模态方式操作,尽管模态操作不是强制特征。
内容捕获服务实现的另一优点是该服务独立于计算设备上的应用或应用。尽管内容捕获服务可以由第三方或者由操作系统的提供商实现,但是内容捕获服务被实现使得其可以从在计算设备上执行的任何应用来访问,以从在计算设备上执行的任何或所有应用捕获内容。换言之,计算机用户可以通过系统范围的预定义的用户交互(例如,预定手势、预定键击序列、硬件按钮或控件等)来调用内容捕获服务,使得交互独立于任何应用程序/应用上下文。此外,如下面将更详细地讨论的,内容捕获服务通过跨越所有执行上下文的公共用户界面来调用。
根据所公开主题的各方面,内容捕获服务经由应用编程接口(API)与应用程序/应用协商以捕获当前在应用中可访问的丰富内容。作为说明而非限制,该元数据包括文件名、内容源的通用资源定位符(URL)、捕获内容的应用、捕获的内容的格式、来自应用的可用格式、捕获内容的日期等。在一些情况下,向计算机用户提供关于将被捕获的内容的格式或性质的选项。例如,当查看Web位置时,可向计算机用户呈现捕获网页、或网页的URL、或这二者的选项。或者,可以向计算机用户呈现捕获网页的特别相关的片段。类似地,当尝试从显示视频文件的媒体呈现应用捕获内容时,可以向用户呈现捕获以下各项的选项:视频、视频的片段、所显示的视频的快照、视频的名称和来源等。
根据所公开主题的各方面,当捕获内容时,内容捕获服务代表计算机用户在内容储存库中存储/保持捕获的内容。有利地,虽然计算机用户被提供配置内容捕获服务在哪里保持所捕获的内容的元素的能力,但是在捕获内容时,计算机用户不需要规定所捕获的内容的位置——它由内容捕获服务根据先前的配置设置或根据存在于内容中的上下文来自动处理。有利地,内容捕获服务可以被配置为为在网络可访问的位置存储所捕获的内容,使得计算机用户可访问内容,而不管计算机用户当前正在操作的计算设备。
内容捕获服务可以被配置为在内容储存库中创建用于所捕获的内容的条目,或者在一些情况下,更新先前捕获的并且存储在内容储存库中的内容。内容捕获服务可以使用关于所捕获的内容的元数据(诸如文件名、源URL等)来确定是否要将所捕获的内容作为用户的新记录添加在内容储存库中,或者所捕获的内容是否涉及内容储存库中的现有记录并且应当被更新。
为了提供对所捕获的内容的有效的后续访问,内容捕获服务使用来自所捕获的元数据和所捕获的内容二者的关键术语和信息作为关于所捕获的内容的索引中的索引。简言之,在索引中使用关键术语和信息以从内容储存库容易地标识和/或检索所捕获的内容。
如下面将讨论的,当被调用时,内容捕获服务可以使应用程序/应用或多个应用程序/应用的显示定格,使得内容捕获服务可以捕获期望的内容。在各种实施例中,除了定格应用程序/应用的内容的显示之外,内容捕获服务可以被配置为允许用户循环通过z序的所显示的内容,以便从一个或多个应用程序/应用中标识要捕获哪个内容。
现在转到附图,图1A和图1B是示出所公开的主题的示例性实施例的框图。具体地,图1A示出了与被配置有内容捕获服务的计算机用户101相关联的计算设备102的示例性实施例100。尽管计算设备102被示出为平板计算机,但是应当理解,这是一个实施例的说明,而不应当被视为限制所公开的主题。作为说明而非限制,用于实现所公开的主题的各方面的合适的计算设备包括平板计算机、膝上型计算机、台式计算机、小型和大型计算机、智能电话、所谓的“平板手机(phablet)”计算机(即,具有智能电话和平板计算机的组合特征的那些计算机)、包括游戏控制台的控制台计算设备等。
如图所示,示例性计算设备102包括作为操作系统级服务执行的内容捕获服务104。响应于与内容捕获服务104交互的用户命令,内容捕获服务捕获内容106并且将内容存储在内容储存库108中。如图1A所示,内容储存库108可以驻留在计算设备102上,但这是说明性的而不是强制性的配置方面。
图1B呈现了包括与计算机用户101相关联的用户计算机112的替代示例性实施例110。如上所述,用户计算机112包括作为操作系统级过程执行的内容捕获服务104。与图1A相反,内容捕获服务104捕获内容106,并且通过网络120将内容存储在远程定位的内容储存库108中。然而,根据一些实施例,内容储存库可以位于计算设备上,根据替代实施例,通过将内容储存库108定位在远离计算设备112的位置,可以使得内容储存库可用于计算机用户101,而不管诸如计算设备102等特定计算设备是否在线和/或可访问或不可访问。以这种方式,不管计算机用户当前采用的计算设备如何,计算机用户的内容储存库是可访问的——用于存储内容和用于访问存储在内容储存库108中的内容。此外,在另外的实施例(未示出)中,所捕获的内容可以临时地本地存储,直到被异步上传并且存储在远程内容储存库中。
转到图2,图2是用于在诸如计算设备200等计算设备上捕获内容的示例性例程200的流程图。从框202开始,在计算设备上执行的内容捕获服务104检测触发内容捕获操作的开始的用户交互。如下面将更详细地讨论的,触发内容捕获操作的开始的用户交互可以包括任何数目的用户交互。作为说明而非限制,用户交互可以包括在触敏输入设备(诸如平板计算机或智能电话的表面)上的滑动(Swipe)手势、预定按键序列、硬件按钮或控件、音频命令(由将声音转换成一个或多个电子信号的声敏设备检测)、预定鼠标点击(单独地或与按键和/或鼠标按钮按下组合)、光学感测的动作或手势(由将光学感测的活动转换成一个或多个电子信号的光学传感器检测)、物理感测的运动(例如,通过加速度计或其他运动感测装置)等。
在内容捕获服务开始(以捕获内容)之后,在框204处,例程200通知(或发出命令)执行的应用程序和应用在内容捕获服务104捕获计算机用户的内容的同时暂停显示或更新所显示的内容。根据所公开的主题的各方面,通知在计算设备上执行的应用程序和/或应用暂停在显示器上显示或更新内容可以包括实现框,该框禁止应用程序/应用在显示视图上显示内容(或更新内容)。
在框206处,例程200标识将被捕获的内容。根据所公开的主题的方面,可以根据当前执行上下文来标识内容,可以由用户在内容捕获过程开始之后标识内容——通过用户的明确选择或根据上下文(包括执行上下文)的自动选择,等等。作为说明而非限制,计算机用户可以在显示设备或触摸表面上描绘内容的区域,从而定义将被捕获的内容(在描绘区域内)。作为另一非限制性替代,计算机用户可以使用预定义的交互来指示当前执行上下文/应用中的所有内容将被捕获。
在框208处,从在计算设备上执行的应用程序/应用获得或捕获所标识的内容。通常而非排他性地,通过API捕获内容,其中内容捕获过程可以与应用程序或应用交互。例如(作为说明而非限制),内容捕获服务104可以能够从应用程序/应用来确定上下文而无需交互和API,或者具有关于普通的应用程序/应用的预定信息。在框210处,除了捕获内容之外,还捕获关于内容的元数据。作为说明而非限制,该元数据可以包括从中捕获内容的应用、来自应用程序/应用的内容的可用格式、创建内容的日期、标识内容的来源的URL、内容的文件名等。
在捕获内容和元数据之后,在框212处,例程200通知当前正在执行的应用他们可以恢复在计算设备上显示内容。根据所公开主题的方面,这一恢复的通知可以包括释放阻止应用更新其显示屏的框。在框214处,所标识的内容和相关联的元数据被存储在内容储存库108中。
尽管未示出,但是在各种配置和实施例中,可以向计算机用户提供确认所标识的内容是计算机用户意图捕获的内容的机会。进行该计算机用户交互以标识/确认将被捕获的内容,但是没有规定特定位置、文件格式等。因此,与大多数文件保存操作不同,所标识的内容被自动并且没有用户交互地存储在内容存储库中,极大地增强了用户将内容存储在一致的位置的能力,并且进一步增强了计算机用户在未来的时间访问该内容的能力,因为内容被存储在一致的位置并且如下面将讨论的根据所捕获的内容的关键术语、信息和属性来被索引。
除了将所捕获的内容存储在内容储存库108中之外,在框216处,标识关于所捕获的内容和元数据的关键术语和信息。在框218处,然后使用关键术语和信息作为内容索引中的内容的索引以供后续检索。然而,应当理解,尽管示例性内容捕获过程104可以执行关键术语和信息的标识以及将这些术语添加到内容索引,如在框216和218中所标识的,但是这些步骤可以替代地由管理用于计算机用户的内容储存库108的外部协作内容储存库过程来处理。此外,根据所公开的主题的各种实施例,虽然未示出,但是协作内容储存库过程还可以管理多个其他用户的内容储存库。
在将内容添加到内容储存库之后,例程200终止。
关于上述例程200以及本文中描述的其他过程,虽然这些例程/过程关于离散步骤来表达,但是这些步骤应当被视为在本质上是逻辑的,并且可以对应于特定实现的任何实际的和/或离散的步骤或可以不对应于特定实现的任何实际的和/或离散的步骤。在各种例程和过程中呈现这些步骤的顺序不应当被解释为可以执行步骤的唯一顺序。在一些情况下,这些步骤中的一些可以省略。此外,尽管这些例程包括所公开的主题的各种新颖特征,但是其他步骤(未列出)也可以在例程的执行时执行。本领域技术人员将理解,这些例程的逻辑步骤可以组合在一起或由多个步骤组成。上述例程的步骤可以并行或串行地执行。通常而非排他性地,各种例程的功能在计算设备(诸如下面关于图6描述的计算设备)上执行的软件(例如,应用、系统服务、库等)中实施。在各种实施例中,各种例程中的全部或一些也可以在可执行的硬件模块中被实施,包括但不限于计算机系统上的片上系统、专门设计的处理器和/或逻辑电路等。
这些例程/过程通常在可执行代码中被实现,包括例程、函数、循环结构、选择器(诸如if-then和if-then-else语句、赋值、算术计算等)。然而,每个例程的可执行语句中的确切实现基于各种实现配置和决定,包括编程语言、编译器、目标处理器、操作环境和链接。本领域技术人员将容易理解,在这些例程中标识的逻辑步骤可以以任何数目的方式实现,因此,上述逻辑描述足以实现类似的结果。
尽管在应用(也称为计算机程序)、应用(小的,通常是单个或狭窄的目的应用)和/或方法中实施的例程中表达所公开的主题的很多新颖方面,但是这些方面也可以被实施为由计算机可读介质存储的计算机可执行指令,计算机可读介质也称为计算机可读存储介质。如本领域技术人员将认识到的,计算机可读介质可以托管计算机可执行指令,用于稍后检索和执行。当执行存储在计算机可读存储设备上的计算机可执行指令时,这些指令执行各种步骤、方法和/或功能,包括上面关于各种所示例程描述的这些步骤、方法和例程。计算机可读介质的示例包括但不限于:光学存储介质,诸如蓝光光盘、数字视频光盘(DVD)、光盘(CD)、光盘盒等;磁性存储介质,包括硬盘驱动器、软盘、磁带等;存储器存储设备,诸如随机存取存储器(RAM)、只读存储器(ROM)、存储卡、拇指驱动器等;云存储装置(即,在线存储服务);等等。然而,为了本公开的目的,计算机可读介质明确地排除载波和传播信号。
现在转到图3A和3B,这些图是示例性计算机显示器300的示意图,并且用于示出从当前执行上下文捕获内容的示例性用户交互。可以看出,示例性计算机显示器300当前显示计算机用户当前正在观看的内容302,而不改变计算设备上的当前执行上下文。假定计算机用户希望捕获内容,在该说明性示例中,用户触摸显示屏300的侧面304并且向内滑动。触摸屏上的另一触发交互可以包括(再次作为说明而非限制)双击屏幕。作为响应,并且如图3B中示意性地所示,在选项视图306上向计算机用户呈现各种操作系统级选项,包括用于调用内容捕获过程104的捕获选项308。通过选择捕获选项308,内容302被捕获到内容储存库108,选项视图被关闭,并且执行在当前执行上下文中继续。
尽管图3A和图3B示出了用于与内容捕获过程104交互并且如上所述的一个实施例,但是可以存在用于与内容捕获过程交互的任何数目的个体的实现。例如,图4A-图4C示出了与来自智能电话400的内容捕获过程104的交互。在本示例中,并且如图4A所示,智能电话400当前可以正在显示视频402。通过触摸并且从显示区域的边缘404向下滑动,调用内容捕获过程104。根据所公开的主题的方面,在各种实施例中,在调用内容捕获过程104时,定格计算设备上的内容的显示,因此给予用户在不修改、清除或擦除内容的情况下捕获内容的机会。如图4B所示,当调用内容捕获过程104时,定格内容的显示,并且在本示例中,在透明捕获框406中标识内容的显示,以指示将通过该过程捕获什么内容。虽然未示出,但是计算机用户也可以能够标识将被捕获的内容的选择,例如通过“套索”操作——标识将被捕获的内容的区域。
除了捕获框406之外,内容捕获过程104(在本示例中)显示捕获控件410以及配置控件408。通过选择捕获控件410,在捕获框406中显示的内容被存储在内容储存库108中。通常,所捕获的内容格式被默认为内容的最鲁棒版本。然而,如图4C所示,通过配置控制408,可以向计算机用户呈现选择性地标识将被捕获的内容的类型的选项。在所示示例中,计算机用户可以选择性地从捕获正在被呈现的视频内容或者当前显示在捕获框406中的图像的“快照”图像中选择。
在又一示例中,图5A和5B是示出了对包括多个应用视图502-506的计算设备的显示屏500的内容的选择的示意图。为了本示例的目的,计算设备被配置为根据按键序列来触发内容捕获过程。转到图5B,显示屏500的该视图是在计算机用户已经触发内容捕获过程之后。如该说明性示例所示,选择指示符510可以位于各种应用视图之中,以标识将被捕获的内容的源。如上所述,到应用视图502、506的输出被定格,以向计算机用户提供捕获内容或底层内容的特定显示的机会。在本示例中,通过在诸如应用视图506等应用视图上进行定位,在计算设备上执行的内容捕获服务突出显示边界以指示可以捕获什么内容。在各种实施例中,通过在诸如应用视图506等应用视图上释放选择指示符510,指示将被捕获该相应应用的内容。因此,内容捕获服务可以通过用于获得内容和元数据的应用编程接口(API)来与所选择的应用通信。
现在转到图6,图6是示出了适当地配置有内容捕获服务的示例性计算设备600的框图,该内容捕获服务在执行时包括如上所述的内容捕获过程。示例性计算设备600包括通过系统总线610互连的处理器602(或处理单元)和存储器604。容易理解,存储器604通常(但不总是)包括易失性存储器606和非易失性存储器608二者。易失性存储器606保持或存储信息,只要存储器被供电。相比之下,即使当电源不可用时,非易失性存储器608也能够存储(或保持)信息。一般来说,RAM和CPU高速缓存存储器是易失性存储器606的示例,而ROM、固态存储器设备、存储器存储设备和/或存储卡是非易失性存储器608的示例。
处理器602在执行各种功能时执行从存储器604检索的指令,特别是关于将内容捕获到内容卡索引中,提供智能画布,以及提供如上所述的智能剪贴板。处理器602可以由各种商业处理器中的任何组成,诸如单处理器、多处理器、单核单元和多核单元。此外,本领域技术人员将理解,所公开主题的新颖方面可以用其他计算机系统配置来实践,包括但不限于:个人数字助理、可穿戴计算设备、智能电话设备、平板计算设备、智能电话、平板手机计算设备、膝上型计算机、台式计算机等。
系统总线610提供用于移动设备的各种部件进行互通的接口。系统总线610可以是能够互连各种部件(包括内部部件和外部部件)的几种类型的总线结构中的任何一种。示例性计算系统600还包括用于将计算设备600与其他网络可访问计算机、在线服务和/或网络实体以及诸如网络120等计算机网络上的其他设备互连的网络通信部件612。网络通信部件612可以被配置为经由有线连接、无线连接或这二者通过网络(未示出)与各种计算机和设备通信。
在示例性计算设备600中还包括操作系统616以及一个或多个应用程序和/或应用618以及用户I/O子系统614。应当理解,操作系统(在执行时)提供用于操作计算机的基础,包括附加应用程序和/或应用618的执行。操作系统616提供由应用程序或应用使用的服务。一般来说,操作系统级服务是作为应用或应用的服务扩展而操作的服务。通常而非排他性地,操作系统向应用和应用提供与用户I/O(输入/输出)子系统614交互所必需的服务,I/O子系统614包括计算机用户与计算设备上的应用程序和应用交互的机制,并且应用程序/应用能够向计算机用户呈现信息。
示例性计算设备600还包括内容捕获部件620,其在执行时包括上述内容捕获服务104。如上所述,内容捕获服务104被实现为操作系统级服务(但不一定是操作系统的元素),使得利用内容捕获服务104不需要计算设备上的执行上下文的改变,但是被视为应用程序或应用的服务扩展。如上所述,内容捕获服务104在内容储存库108中存储或保持所捕获的内容。根据各种非排他性实施例,内容储存库是索引的内容储存库,使得一个或多个密钥(对应于关键术语和信息)用作用于从内容储存库定位和检索内容的内容索引中的索引。虽然在图6中将内容储存库108示出为存储在计算设备600内的元件,但这是说明性实施例,而不应当被解释为限制所公开的主题。如上所述,内容储存库108可以位于计算设备600外部和/或实现为网络120上的索引的存储服务。
关于示例性计算设备700的各种部件,本领域技术人员将理解,这些部件可以被实现为存储在计算设备的存储器中的可执行软件模块,被实现为硬件模块(包括SoC——片上系统)或这二者的组合。此外,各个部件中的每个可以被实现为结合一个或多个计算机系统和/或计算设备或者在一个或多个计算机系统和/或计算设备上操作的独立的协作过程或设备。当然还应当意识到,上面关于示例性计算设备700描述的各种部件应当被视为用于执行所描述的各种功能的逻辑部件。如本领域技术人员将容易理解的,逻辑部件和/或子系统可以以一对一的方式直接对应于实际的离散部件或可以不以一对一的方式直接对应于实际的离散部件。在实际实施例中,每个计算机系统的各种部件可以组合在一起或者跨多个实际部件分解和/或实现为计算机网络上的协作过程。
尽管已经描述了所公开的主题的各种新颖方面,但是应当理解,这些方面是示例性的,而不应当被解释为限制性的。在不脱离所公开的主题的范围的情况下,可以对各个方面进行变化和改变。

Claims (12)

1.一种用于捕获计算设备上的内容的计算机实现的方法,所述方法包括:
检测计算设备上的用户交互,所述用户交互用以将内容捕获到与操作所述计算设备的计算机用户相关联的内容储存库;以及
执行内容捕获服务以将内容捕获到内容储存库,
其中执行所述内容捕获服务包括:
通知在所述计算设备上执行的应用暂停输出与所述应用对应的显示视图;
将所述计算设备上执行的被通知的所述应用中的一个应用的内容标识为将被捕获到所述内容储存库的内容;
从所述应用获得标识的所述内容;
通知在所述计算设备上执行的所述应用恢复输出显示视图;以及
自动地、在没有用户交互的情况下,将获得的所述内容存储在与所述计算机用户相关联的内容储存库中。
2.根据权利要求1所述的计算机实现的方法,其中所述内容捕获服务是操作系统级服务,并且其中标识的所述内容经由用于获得内容的应用编程接口来获得。
3.根据权利要求2所述的计算机实现的方法,其中所述内容捕获服务在不改变所述计算设备上的当前执行上下文的情况下被执行。
4.根据权利要求1所述的计算机实现的方法,其中执行所述内容捕获服务还包括:获得关于标识的所述内容的元数据,以及将所述元数据与获得的所述内容一起存储在所述内容储存库中。
5.根据权利要求1所述的计算机实现的方法,其中所述计算设备上的检测到的所述用户交互包括以下之一或二者:所述计算设备的触敏表面上的手势,或者所述计算设备上的按键组合。
6.根据权利要求1所述的计算机实现的方法,其中所述计算设备上的检测到的所述用户交互包括由声敏设备检测到的音频命令,所述声敏设备将声音转换成一个或多个电信号。
7.根据权利要求1所述的计算机实现的方法,其中所述计算设备上的检测到的所述用户交互包括由光学传感器检测到的光学感测动作,所述光学传感器将光学感测活动转换成一个或多个电信号。
8.根据权利要求1所述的计算机实现的方法,其中执行所述内容捕获服务还包括确定将从所述应用被获得的期望的内容格式;以及
其中经由用于获得内容的应用编程接口来从所述应用获得标识的所述内容包括:经由应用编程接口以所述期望的内容格式从所述应用获得所述标识的所述内容。
9.一种承载计算机可执行指令的计算机可读介质,所述计算机可执行指令当在包括至少一个处理器的计算设备上执行时,执行根据权利要求1到8所述的方法中的任何方法。
10.一种计算设备,用于增强将内容捕获到内容储存库,所述计算设备包括处理器和存储器,其中作为将内容捕获到内容储存库的附加部件的部分或者与将内容捕获到内容储存库的所述附加部件相结合,所述处理器执行存储在所述存储器中的指令,所述附加部件包括:
可执行内容捕获部件,被配置为:
检测所述计算设备上的用户交互,所述用户交互指示计算机用户的将内容捕获到与操作所述计算设备的所述计算机用户相关联的内容储存库的意图;
通知在所述计算设备上执行的一个或多个应用暂停输出与所述应用对应的显示视图;
将所述计算设备上执行的被通知的所述应用中的一个应用的内容标识为将被捕获到所述内容储存库的内容,并且经由用于获得内容的应用编程接口从所述应用获得标识的所述内容;
通知在所述计算设备上执行的所述一个或多个应用恢复输出显示视图;以及
自动地、在没有计算机用户交互的情况下将获得的所述内容存储在与所述计算机用户相关联的内容储存库中。
11.根据权利要求10所述的计算设备,其中检测到的所述用户交互包括以下中的任一项:
所述计算设备的触敏表面上的手势;
所述计算设备上的按键组合;
由声敏设备检测到的音频命令,所述声敏设备将声音转换成一个或多个电信号;以及
由光学传感器检测到的光学感测动作,所述光学传感器将光学感测活动转换成一个或多个电信号。
12.根据权利要求10所述的计算设备,其中所述可执行内容捕获部件被执行作为所述计算设备上的操作系统级服务,使得所述可执行内容捕获部件在而没有改变所述计算设备上的当前执行上下文的情况下执行。
CN201580051251.5A 2014-09-22 2015-09-17 用于将内容捕获到持久性存储装置的通用交互 Pending CN107111491A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/492,635 2014-09-22
US14/492,635 US20160085840A1 (en) 2014-09-22 2014-09-22 Universal Interaction for Capturing Content to Persistent Storage
PCT/US2015/050542 WO2016048763A1 (en) 2014-09-22 2015-09-17 Universal interaction for capturing content to persistent storage

Publications (1)

Publication Number Publication Date
CN107111491A true CN107111491A (zh) 2017-08-29

Family

ID=54261073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580051251.5A Pending CN107111491A (zh) 2014-09-22 2015-09-17 用于将内容捕获到持久性存储装置的通用交互

Country Status (5)

Country Link
US (2) US20160085840A1 (zh)
EP (1) EP3198408A1 (zh)
KR (1) KR102390688B1 (zh)
CN (1) CN107111491A (zh)
WO (1) WO2016048763A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585940A (zh) * 2018-10-08 2021-03-30 谷歌有限责任公司 为基于人工智能的图像捕获设备提供反馈的系统和方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108325B2 (en) 2014-12-11 2018-10-23 Rdi Technologies, Inc. Method of analyzing, displaying, organizing and responding to vital signals
US10990757B2 (en) * 2016-05-13 2021-04-27 Microsoft Technology Licensing, Llc Contextual windows for application programs
JP6750486B2 (ja) * 2016-12-02 2020-09-02 コニカミノルタ株式会社 情報処理装置、画像形成装置、および制御プログラム
US10762639B1 (en) 2019-01-22 2020-09-01 Rdi Technologies, Inc. Detailed visual inspection of component in periodic motion
US10977800B1 (en) * 2019-01-22 2021-04-13 Rdi Technologies, Inc. Image acquisition and detailed visual inspection of component in periodic motion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815199A (zh) * 2010-04-07 2010-08-25 中兴通讯股份有限公司 一种视频处理方法及终端
US20110058011A1 (en) * 2009-09-10 2011-03-10 Lg Electronics Inc. Terminal and control method thereof
CN102307156A (zh) * 2011-05-16 2012-01-04 北京奇艺世纪科技有限公司 一种视频图片分享并返回播放的方法及装置
CN102799383A (zh) * 2012-07-18 2012-11-28 腾讯科技(深圳)有限公司 移动终端屏幕截图方法、屏幕截图装置
CN103927178A (zh) * 2014-04-18 2014-07-16 长沙裕邦软件开发有限公司 一种截图方法及截图装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833863B1 (en) * 1998-02-06 2004-12-21 Intel Corporation Method and apparatus for still image capture during video streaming operations of a tethered digital camera
US7870479B2 (en) * 1999-07-29 2011-01-11 Electronic Arts Inc. Electronic in-application postcards
JPWO2001098890A1 (ja) * 2000-06-19 2004-01-08 ブラザー工業株式会社 データ処理装置、データ処理方法および記憶媒体
US7734724B2 (en) * 2000-09-06 2010-06-08 Xanboo Inc. Automated upload of content based on captured event
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
JP4517827B2 (ja) * 2004-11-22 2010-08-04 株式会社日立製作所 画面共有システム及び情報処理装置
TW200735662A (en) * 2006-03-08 2007-09-16 Benq Corp Image capture systems and methods
GB0607763D0 (en) * 2006-04-20 2006-05-31 Ibm Capturing image data
US20080282160A1 (en) * 2007-04-06 2008-11-13 James Ian Tonnison Designated screen capturing and automatic image exporting
US20120010995A1 (en) * 2008-10-23 2012-01-12 Savnor Technologies Web content capturing, packaging, distribution
DE112009004063T5 (de) * 2009-04-01 2012-07-12 Hewlett-Packard Development Company, L.P. Bildschirmerfassung
US9104468B2 (en) * 2010-02-17 2015-08-11 Sony Corporation Terminal apparatus and method of controlling terminal apparatus with multi-tasking features
US10631246B2 (en) * 2011-02-14 2020-04-21 Microsoft Technology Licensing, Llc Task switching on mobile devices
US20120311490A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Methods for launching applications with efficient user impression
US8997171B2 (en) * 2011-08-19 2015-03-31 Microsoft Technology Licensing, Llc Policy based application suspension and termination
KR20130085146A (ko) * 2012-01-19 2013-07-29 삼성전자주식회사 애플리케이션 파일 재개와 그를 위한 스크린 캡처 방법 및 장치
US20140022269A1 (en) * 2012-07-18 2014-01-23 Tencent Technology (Shenzhen) Company Limited Method and device for obtaining screenshots from mobile terminals
US20140040035A1 (en) * 2012-08-03 2014-02-06 Elijah Cusack Method and system of using smartphone lockscreens as personal advertising billboards
US20140198054A1 (en) * 2013-01-15 2014-07-17 Sprint Communications Company L.P. Screen freezing for a wireless communication device
US9445154B2 (en) * 2013-07-08 2016-09-13 Glance Networks, Inc. Method for demonstrating interaction with a touch sensitive screen via video
GB2526263B (en) * 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110058011A1 (en) * 2009-09-10 2011-03-10 Lg Electronics Inc. Terminal and control method thereof
CN101815199A (zh) * 2010-04-07 2010-08-25 中兴通讯股份有限公司 一种视频处理方法及终端
CN102307156A (zh) * 2011-05-16 2012-01-04 北京奇艺世纪科技有限公司 一种视频图片分享并返回播放的方法及装置
CN102799383A (zh) * 2012-07-18 2012-11-28 腾讯科技(深圳)有限公司 移动终端屏幕截图方法、屏幕截图装置
CN103927178A (zh) * 2014-04-18 2014-07-16 长沙裕邦软件开发有限公司 一种截图方法及截图装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585940A (zh) * 2018-10-08 2021-03-30 谷歌有限责任公司 为基于人工智能的图像捕获设备提供反馈的系统和方法
US11403509B2 (en) 2018-10-08 2022-08-02 Google Llc Systems and methods for providing feedback for artificial intelligence-based image capture devices

Also Published As

Publication number Publication date
WO2016048763A1 (en) 2016-03-31
KR20170057288A (ko) 2017-05-24
US20200327148A1 (en) 2020-10-15
US20160085840A1 (en) 2016-03-24
EP3198408A1 (en) 2017-08-02
KR102390688B1 (ko) 2022-04-25

Similar Documents

Publication Publication Date Title
US11340752B2 (en) Window management method and electronic device supporting the same
CN107111491A (zh) 用于将内容捕获到持久性存储装置的通用交互
CN105359121B (zh) 使用接收数据的应用远程操作
US11847292B2 (en) Method of processing content and electronic device thereof
US9098183B2 (en) Drag and drop application launches of user interface objects
US20220413695A1 (en) Split-screen display method and electronic device
CN104067211A (zh) 使用直接操纵进行自信的项目选择
US20150378600A1 (en) Context menu utilizing a context indicator and floating menu bar
US20120030275A1 (en) Providing status information for components in a distributed landscape
KR20180026983A (ko) 전자 장치 및 그 제어 방법
US20220107712A1 (en) Systems and methods for providing tab previews via an operating system user interface
JP6178421B2 (ja) コンテンツ選択および拡張コンテンツ選択のためのユーザインタフェース
KR20170119934A (ko) 제스처 입력을 처리하기 위한 전자 장치 및 방법
US20140006967A1 (en) Cross-application transfers of user interface objects
CN105706038B (zh) 具有自动内容分类的两步内容选择
US20160077673A1 (en) Intelligent Canvas
CN108463799A (zh) 电子设备的柔性显示器及其操作方法
CN104820683A (zh) 一种终端
US20220357818A1 (en) Operation method and electronic device
CN108369483A (zh) 用于显示通知对象的电子设备和方法
KR102536148B1 (ko) 전자 장치의 동작 방법 및 장치
WO2019241027A1 (en) Surfacing application functionality for an object
CN104834687A (zh) 一种图片显示方法
CN113535027A (zh) 图标控制方法、装置、电子设备、可读存储介质
KR102569998B1 (ko) 어플리케이션에 대한 알림을 관리하는 방법 및 그 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination