CN105531700B - 通过扩充服务的内容的自动扩充 - Google Patents

通过扩充服务的内容的自动扩充 Download PDF

Info

Publication number
CN105531700B
CN105531700B CN201480044378.XA CN201480044378A CN105531700B CN 105531700 B CN105531700 B CN 105531700B CN 201480044378 A CN201480044378 A CN 201480044378A CN 105531700 B CN105531700 B CN 105531700B
Authority
CN
China
Prior art keywords
entity
content
service
user
augmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480044378.XA
Other languages
English (en)
Other versions
CN105531700A (zh
Inventor
G·阿克塞洛德
D·G·哈迪
P·奇拉卡玛瑞
S·D·德塞
B·S·J·克赫尔米尔
I·W·米库特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105531700A publication Critical patent/CN105531700A/zh
Application granted granted Critical
Publication of CN105531700B publication Critical patent/CN105531700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2117—User registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

一种通过扩充服务自动扩充内容的方法可包括：调用服务来接收基于该内容的实体确定以及包括该内容的对象和该对象的一个或多个属性的实体容器。实体确定和对应的实体容器可被指派为对被剪辑的内容的标记。标记可被用来启用可相关于剪辑或扩充该剪辑的结构化信息来采取的访问和动作。

Description

通过扩充服务的内容的自动扩充
背景
各种网页和用户生成的内容捕捉工具以及它们相关联的收集和管护应用(如微软
Figure GDA0000922638230000011
和
Figure GDA0000922638230000012
笔记本应用)促进了收集内容以供稍后访问、组织、以及修改。“web剪辑器”是一般在客户端处的web浏览器上运行以允许将内容从web浏览器从所显示的网页剪辑。其他工具和输入机制可被用来收集并保存内容。例如，音频或视频可通过话筒和相机捕捉，且某些文本可通过键盘、小键盘、触摸屏或鼠标来捕捉。
当前，内容一般是按原样捕捉的。即，捕捉工具收集完整网页、网页或文档的整个所选部分、照片、屏幕截图、这样的内容的记录或子集。在一些情况下，在剪辑统一资源定位(URL)时，在网页的超文本标记语言(HTML)中找到的指定缩略图或摘录被捕捉。因而，来自网页、文档的内容或由用户直接录入到应用的内容能够被捕捉并存储以供稍后使用。为增强这样的收集，用户可以添加标签并对捕捉的内容加注释；然而，关键字标签可能不是跨各用户统一的或不是对同一用户一致的。
简要概述
描述了对所收集、创作、消费或剪辑的内容的扩充和其他增强。提供扩充的服务的入口点可以例如来自剪辑器、阅读器、文档查看器、文字处理和其他生产力应用、以及收集和管护应用。
描述了向用户提供识别被剪辑或以其他方式捕捉的内容的主题的内容捕捉选项、并提供与所剪辑的主题相关的在剪辑时以其他方式不能对用户立即可用的附加信息的技术。该内容可包括统一资源标识符(URI)(如URL(统一资源定位符))、音频、视频、图像、照片、文字处理文档、超文本标记语言(HTML)文档、演示文档、
Figure GDA0000922638230000013
便携式文档格式(PDF)，等等。
根据一些实现，剪辑器可以识别网页或其他文档上的实体，并通过捕捉服务以所定义的结构将该实体捕捉到存储中，该捕捉服务包括扩充服务或与扩充服务通信。该结构可以是实体容器，从而提供对象和该对象的一个或多个属性。实体容器可进一步包括用于采取与实体相关的动作的服务元素。实体容器可包括来自网页的内容和跨因特网从多个源获得的内容。
实体确定和对应的实体容器可被指派为对被剪辑的内容的标记。标记可被用来启用可相关于剪辑或扩充该剪辑的结构化信息来采取的访问和动作。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图简述
图1解说用于捕捉数据的操作环境。
图2A解说根据一实现的用于捕捉服务的示例过程流程。
图2B解说根据一实现的用于剪辑器的示例过程流程。
图3A和3B解说具有用于一些实现的过程流程的系统架构图。
图4解说根据一实现的用于捕捉服务的示例过程流程。
图5A和5B解说其中web剪辑中的所识别的实体可生成实体容器的示例场景。
图6A-6E解说示例实体指定器。
图7A-7C解说可在具有web浏览器客户端的移动设备上实现的笔记本应用的场景。
图8A-8E解说根据一实现的用于示例场景的过程流程的用户界面。
图9A-9G解说根据一实现的示例场景。
图10是示出在一些实施例中使用的计算设备的各组件的框图。
详细描述
描述了对所收集、创作、消费或剪辑的内容的扩充和其他增强。呈现了可被提供作为捕捉服务的一部分的扩充服务。通过(包括扩充服务的)捕捉服务，来自网页或其他文档的剪辑可取决于被剪辑的事物的性质和/或上下文来按多种方式来处理。在一些实现中，剪辑器可在剪辑期间经由捕捉服务识别网页上的实体，在剪辑时呈现实体的预览，并以结构化方式(可被稍后访问并使用)将实体捕捉到存储中。
被剪辑或以其他方式捕捉的内容可以是例如来自网页或其他文档文件类型(它包括HTML、PDF、微软
Figure GDA0000922638230000031
文档(DOC)、办公开放可扩展标记语言(OOXML)格式(DOCX)等的文件格式)的音频、照片、视频、格式化、样式、布局和/或文本。
在一些情况下，文档理解技术可被用来解析该内容以标识并理解页面上的对象(例如，实体类型确定)。以此方式，理解什么在页面上是可能的，例如内容是否是有关影片、书籍等等的。
实体可以指人、地点、事物、事件、任务、或概念。实体的对象指的是实体的有形形式。如果实体具有至少一个指定属性且不依赖于另一实体，则实体是强实体类型的。例如，“指环王”命名了可以用可包括标题、作者、以及国际标准书号(ISBN)号码的属性来定义的“书籍”实体类型的对象。“书籍”实体可被认为是强实体类型，而“ISBN”依赖于书籍且就不被认为是强实体类型。
在一些方法中，服务根据内容作出实体确定并为所识别的实体创建实体容器。客户端可以用实体容器来接收所确定的实体，从而提供对象和该对象的一个或多个属性(属性元素)。在一些实现中，实体容器还包括服务元素。服务元素可以使用户能够采取与实体相关的动作(例如，购买物品、设定日历事件、共享并推荐物品)。可以从各种在线服务来使得对服务元素可用的服务是可用的。对象的属性可以跨因特网从多个源获得。
在一些实现中，被捕捉用于笔记(或从各位置处的源检索)的页面上的元素可被安排成结构化数据，使得该信息以上下文适当的方式被示出(例如，呈现)。即，用户正在尝试捕捉的事物(即，实体)的经变换的视图可被呈现并存储。这也可针对设备(例如，取决于可用带宽、显示屏尺寸、查看应用、以及其他因客户端而异的特性)来被调整。
有利地，一些实现提供捕捉结构化内容并在捕捉、召回、以及重用的全程维持其语义的能力。这使用户能够捕捉该用户真正感兴趣的事物并以优选的位置和格式来存储它。此外，在召回时，相关信息可在正确的时间和位置处是可访问的。
描述了向用户提供识别所捕捉的内容的主题的内容捕捉选项、并提供与所捕捉的主题相关的在捕捉时以其他方式不能对用户立即可用的附加信息的技术。这一扩充连同其他增强可以是自动的或响应于用户的请求来执行。呈现了可被提供作为捕捉服务(例如，与笔记本应用(如微软或
Figure GDA0000922638230000042
)相关联的服务)的一部分的扩充服务。
经扩充的内容可包括网页或其他文档中提供的内容的更具体和/或相关内容。捕捉服务通过访问与内容相关的附加信息和/或以自定义和方便的方式操纵内容，来促进内容的扩充。
内容的扩充可进一步促进对实体、实体的对象、或对象的属性采取动作。实体容器的一致性结构促进跨平台和向前-向后兼容性。另外，经增强的用户体验可通过理解被收集的主题(实体)来被促进。一些实现对用户的笔记应用结构和语义以增强整个体验。
在一些情况下，扩充发生在收集时(例如，在用户剪辑来自网页的内容时或在将项输入到笔记后)。在一些情况下，扩充可在用户修改或操纵文档(例如，笔记本应用的笔记)中的内容的同时执行。在一些情况下，扩充可以在内容正在被保存到文档中时执行。其他情况也可适用于自动的或用户请求的扩充。
图1解说用于捕捉数据的操作环境。参考图1，捕捉服务115可以促进剪辑或输入到笔记本应用的其他内容的实体确定和扩充，以包括实体相关特征和/或功能。作为实体确定的一部分，实体识别可以相关于被捕捉的内容来执行。这一过程可以在客户端100本地执行或作为捕捉服务115的一部分。
一实施例的捕捉服务115执行一些处理来定制或扩充用于应用的剪辑。捕捉服务115可以提供扩充服务(直接或间接地)且可提供用于扩充服务的应用编程接口。扩充服务可以与捕捉集成在一起提供或独立地提供。
捕捉服务115可以是被主存在云中或由提供笔记本服务和/或捕捉服务的实体的一个或多个所分配服务器运行的web服务。
云服务通常指提供可缩放处理和存储能力的托管服务。云计算通常可包括虚拟化的资源。由云计算呈现的资源本身被提供为服务，其中云计算客户从拥有物理基础结构的第三方提供者租用资源的使用。web服务可由云服务(例如，作为大规模分布式计算环境的一部分)提供和/或主控。web服务是支持通过网络的互操作机器到机器交互并使得软件能够连接到其他软件应用的软件系统。
web服务提供技术标准和协议的集合。例如，web服务提供可由发送和接收消息的软件或硬件代理实现的功能(例如，请求和提供特定服务的计算平台)。应用可经由普遍存在的web协议和数据格式(诸如超文本传输协议(HTTP)、XML、JavaScript对象记法(JSON)以及SOAP(初始是简单对象访问协议的首字母缩略词))来访问web服务。本文描述的系统、应用、以及服务可以根据一个或多个应用编程接口(API)交换通信。
向内容提供扩充的服务的入口点可以例如来自剪辑器、阅读器、文档或图像查看器、文字处理和其他生产力应用、以及收集和管护应用(以及工具)。
客户端100可被用来浏览web并运行应用，所述应用诸如浏览器104，且在一些情况下，阅读器或笔记本应用106。浏览器104的示例包括
Figure GDA0000922638230000051
Internet Explorer、
Figure GDA0000922638230000052
以及Mozilla生产力应用、阅读器以及笔记本应用106的示例包括
Figure GDA0000922638230000054
Office、微软
Figure GDA0000922638230000055
GoogleDriveTM、Reader、
Figure GDA0000922638230000058
OpenOffice、
Figure GDA0000922638230000059
Office、
Figure GDA00009226382300000510
Reeder、以及
剪辑器108可以在客户端100处是可用的。剪辑器108是可被用来为用户收集并捕捉内容(包括经扩充的内容)的在本地运行的应用。通过剪辑器108，用户可以选择剪辑整个页面、整个页面的所提取的各部分、页面的一个或多个区域、和/或页面的所识别的对象/实体(以实体容器的形式)。作为一些示例，剪辑器108可以是web剪辑器、在操作系统上运行的剪辑工具、具有剪辑特征的应用、或笔记本应用的扩充特征。剪辑器108可以或可以不直接关联于内容的目的地应用。
web剪辑器通常剪辑来自网站的内容并将该内容插入到与该剪辑器相关联的笔记或其它应用中。web剪辑器一般在客户端100处的web浏览器104上运行。作为示例，web剪辑器可以用JavaScript来实现，且可与web浏览器104互操作(且在一些情况下与web浏览器104集成在一起)。因为每个web浏览器具有不同的能力，所以web剪辑器可基于web浏览器来配置。
在一些情况下，剪辑器108可包括与计算设备(诸如平板)上的操作系统相关联的可被调用来确定当时屏幕上最优势的实体的软件工具。例如，触摸或非触摸姿势滑扫可被用来调用该工具并获得实体(且在进一步实现中，获得用于优势实体的实体容器)。作为另一示例，键盘按钮(如打印屏幕)可被按下以调用该工具并获得实体。
在一些情况下，剪辑器108被包括作为浏览器104的附件、插件、或书签工具(bookmarklet)来剪辑浏览器104中呈现的内容。书签工具是web浏览器的一种扩展功能，通常是作为web浏览器中的书签存储的JavaScript程序(或网页上的超链接)的形式。在一些情况下，剪辑器可被包括作为操作系统(未示出)的特征来捕捉显示器上呈现的任何内容(类似于打印屏幕功能)。在一些情况下，剪辑器可被包括作为生产力或笔记本应用106的web功能或附件。
在各实施例中，剪辑器108可以收集并捕捉随后被存储在“云”存储110中或另一远程(非本地)目的地处的内容。该内容(以及经扩充内容)可被存储在与特定用户的账户相关联的储存库中。云指的是通过因特网作为托管服务的一部分对用户可用的存储和系统。所捕捉的内容也可被存储在客户端本地。
内容可通过剪辑器108被发送至用户的笔记或其它应用文档。笔记或其它应用文档可被存储在云中(例如，在存储110处的与用户相关联的储存库中)。在一些情况下，笔记或其它应用的本地副本是可用的。笔记或其它应用文档可被运行在客户端上的应用106访问或与应用106相关联。剪辑器108可将内容从浏览器104(或某一其他应用)提供至多个笔记和/或其它应用文档，以及通过捕捉服务115呈现附加功能性和增强。
在使用捕捉服务115来识别来自内容的实体(或一个以上实体)时，捕捉服务115可以，例如通过向云存储110和/或目的地存储提供内容(以及内容的任何增强或扩充)，来与云存储110和/或目的地存储(例如，企业服务器或其他特定远程存储)(未示出)进行对接。在本地运行的应用(例如，剪辑器208)可以(经由API)调用捕捉服务115。
在一些实现中，作为扩充的一部分，捕捉服务可以与web数据服务125通信以获得来自相关结构化内容(也称为“结构化知识”或“知识图”)的数据库130的信息。数据库130可由搜索引擎提供者聚集并主存，如
Figure GDA0000922638230000061
和
Figure GDA0000922638230000071
然而，可以使用可通过因特网、其他网络(私有和/或公共)访问或甚至可在用户的本地机器上访问的其他知识库数据库。在一个实现中，捕捉服务115可以直接从数据库130获得结构化内容。
在一些情况下，相关结构化内容可在现场生成。在一种这样的情况下，捕捉服务115可以与搜索引擎服务通信以执行搜索。搜索引擎服务可以跨因特网检索来自各个源(例如，源140、142、144)的信息。在一些情况下，搜索引擎服务可以是由web数据服务125的同一提供者提供的分开的功能。在其他情况下，搜索引擎服务可以由不同提供者执行。
捕捉服务可包括允许任何应用捕捉页面上的实体、获得实体包、或甚至为指定应用存储实体包(例如在与用户相关联且可由一个或多个应用访问的存储位置或储存库处)的API。在一些情况下，在页面是网页(或网页的一部分)的情况下，捕捉服务可从搜索引擎服务获得卡。捕捉服务可从该卡检测页面的一个或多个实体。
应用或剪辑器可向服务请求是否存在针对页面或文档的可识别的实体。服务可以确定一个或多个优势对象并提供用于该对象的实体容器。
可使用通过网络通信的一个或多个物理和/或虚拟服务器来实现捕捉服务115。在一些情况下，捕捉服务115可将从剪辑器108提供的剪辑的地址存储或维持在存储110中。所捕捉的内容(包括实体容器)可直接从存储110访问或通过捕捉服务115访问，以用于插入不同类型的文档中。在一些实现中，其他客户端和服务器可以与捕捉服务通信以利用可从捕捉服务可用的功能而无需使用剪辑器108。
作为图1中解说的环境的一部分描述和/或示出的各网络可包括但不限于：因特网、内联网、或外联网，并且可以是任何适当通信网络，包括但不限于：蜂窝(例如，无线电话)网络、因特网、局域网(LAN)、广域网(WAN)、WiFi网络、自组织网络或其组合。这样的网络可涉及网络元素(诸如集线器、桥接器、路由器、交换机、服务器以及网关)的连接。网络可包括一个或多个连接的网络(例如，多网络环境)，包括诸如因特网之类的公共网络，和/或诸如安全企业专用网络之类的专用网络。可以通过一个或多个有线或无线接入网络来提供对网络的接入，如本领域的技术人员将理解的。
图2A解说根据一实现的用于捕捉服务的示例过程流程。参考图2A，响应于接收到剪辑或输入到笔记本应用的其他内容(200)，可执行实体确定(210)。
实体可以被自动解决或用户可以选择实体的类型。在一些情况下，组合可能是适当的，例如在不存在足够信息以高于阈值的确信度确定优势对象是特定实体的情况下。
在一些情况下，剪辑包括指示实体类型的标记或标签。在剪辑包括实体类型的指示时，实体确定可包括读取该标签或标记。
在一些情况下，实体确定包括分析剪辑的内容以确定剪辑的实体。文档或网页的实体可以响应于接收到剪辑来被标识。在这种情况下，被标识以供使用的实体是强类型化的实体。可以使用用于标识优势实体的任何合适的技术。例如，分类、图像识别、文本挖掘、语义、以及本体论框架可被用来标识来自串或其他内容格式的优势(以及非优势)实体。
在一些情况下，实体确定涉及联系搜索引擎服务(或其他web数据服务)来请求与URL有关的信息，例如，以“主题卡”(在此定义为与实体有关的结构化和未结构化信息)的形式，它可包括与网页相关联的一个或多个实体的指示。在一些情况下，多个“主题卡”或模型可对URL是可用的。
在确定实体(210)之后，所收集(剪辑)或以其他方式输入到笔记本的内容随后可以按标记的形式与强类型化的实体相关联(215)。虽然这一步骤被示为发生在执行扩充(220)之前，但标记的指派可以在确定实体之后的任何时间执行，包括在执行扩充之后、在存储剪辑时、或甚至在提供剪辑的预览之后。
标记类似于可被存储为文档或页面的元数据的一部分的“标签”。标记可甚至被用作标签。然而，标记可以与文档或页面内的元素或对象以及页面本身的元数据相关联。另外，标记促进专用于可识别实体的附加功能，且在一些情况下包括提供用于被标记的对象的属性的指定结构的模式。即，与标签不同，实体标记呈现如何存储与实体相关的信息的标准模式。尽管任何元数据可被添加以描述页面，但加标签往往不是统一的。
在一些情况下，同一页面上可能存在多个实体。例如，搜索结果页面可具有多种酒水。作为另一示例，博客帖子可包括与作者到访的区域有关的食谱(一个实体)和文章(另一实体)。同一实体类型的多个对象或不同实体类型的多个对象可被识别并按它们对应的结构来存储。
在一些情况下，与内容相关联的实体可各自具有置信度值且内容可以高于某一阈值的置信度值被标记为实体。在一些情况下，多个强实体可存在于页面或文档上。各单独部分可以与它们的对应实体来标记且页面或文档作为整体可以用多个实体来标记。
在其中所捕捉的内容可包括多个实体的一些情况下(或其中基于所捕捉的内容不可能或不能容易地实现将结果缩窄到单个实体的情况)，实体确定可包括输出由捕捉服务理解的可用实体的列表并响应于接收到对可用实体之一的选择来确定实体。在其中对象可按不同实体形式(例如，作为书籍或影片)存在的一些情况下，可包括使用户能够校正或选择所引用的实体的特征。在存在适用于同一通用主题的两个或更多个实体类型时，可发生这一情况。
一旦确定了实体(210)，就可根据该实体执行扩充(220)。扩充可以是创建实体容器、实体相关处理、或这两者的组合。
实体容器指的是具有专用于该实体类型的结构化模式的信息包。实体容器可以响应于接收到来自应用(或剪辑器)的对实体容器的请求来被生成，或响应于接收到剪辑或调用扩充的某一其他指定事件来被自动生成。实体容器基于确定剪辑(它可以是整个页面或页面的区域选择)的一个或多个优势实体来呈现结构化数据集。当在页面上发现多个实体时，每一实体可被标识且它们的对应结构化数据集被呈现(和/或存储)。
强类型化实体容器不仅仅是描述该对象的一个或多个关键字。相反，实体容器提供该事物/实体是“什么”(例如，“书籍”)；提供可对该实体采取的动作(例如，阅读与“书籍”有关的审阅)；启用对实体容器的访问(例如，使得对具有访问“书籍”的许可的第三方可用或提供用于查询的标签)；以及启用要执行的动作(例如，“书籍”可被发送给在线书店的希望列表)。
在一些情况下，实体容器可以根据从搜索引擎服务接收到的一个或多个卡(或“模型”)来生成。该卡可包括实体信息以及与实体的对象相关的各种属性。因为搜索引擎服务已经分析了页面且准备了卡，所以可以省略用于确定与来自本地应用或捕捉服务的所捕捉的内容相关联的实体的附加分析。
在网页的URL被用来向搜索引擎服务请求相关联的实体时，被提供用于指示该实体的卡也可被用来生成实体容器。
对于实体相关处理，剪辑可按多种方式被处理或变换。在一些实现中，各过程可包括从网页的主内容移除广告或查找由页面作者嵌入在页面的HTML中的实体标签。在一些情况下，变换可包括将可阅读文本与所呈现的内容分开以生成来自可阅读文本的图像。在一些情况下，变换可包括提供超链接识别，以使得图像中示出的内部链接可变得“活动”且是可选择的。在一些情况下，变换可包括从所呈现的内容移除重复背景内容。变换可以是以上或其他类型的变换过程的任何组合，包括过滤、文本识别、图像识别、以及加标签。
在一些情况下，根据所选择的区域(或甚至完整页面捕捉)，捕捉服务可以基于数据的可识别方面来处理该数据。例如，主要包含文本的选择可被识别为文章，且各过程可被执行以过滤或移除被系统认为不相关的内容或其他数据，以呈现数据的“干净”视图。“干净”视图可由该实现来定义。“干净”视图的示例是广告和横幅从网页移除的情况。
作为另一示例，在剪辑被识别为文章时，文章的图像或多个页可被取出。
作为另一示例，在剪辑的目的地是阅读器应用时，页面的HTML可被分析以确定页面上是否存在特定量的文本(以将该页面分类成博客、社论、文章，等等)且清洁程序可被应用以移除广告和/或将该文本或其他内容格式化以供阅读。在另一实现中，清洁程序可以标识各部分以保持并从HTML提取这些部分，同时留下广告或任何不想要的信息。作为文章本身的预览的替换或补充，“文章”的识别也可生成用于文章实体的容器的预览。
在一些情况下，捕捉服务所执行的过程包括调用另一web服务或执行处理以确定与网页的内容相关联的元数据。元数据可包括随后可与HTML文件或图像包括在一起以帮助在捕捉网页之后可被执行的搜索或其他过程的主题标签。主题标签包括基于上下文、图像、主题、或其他相关主题与该内容相关的标签。某些标签可基于所识别的实体而被建议或自动提供。例如，如果实体是书籍，则所建议的标签可以是“待读”。
经扩充的剪辑可被存储(230)且可任选地在预览中提供给客户端(240)。
图2B解说根据一实现的用于剪辑器的示例过程流程。参考图2B，剪辑器可以接收剪辑的指示(250)。指示可以通过剪辑器用户界面来接收。实体可以在客户端处(作为在剪辑器处的过程的一部分)或在捕捉服务处被确定。一旦为剪辑解决了实体，就可呈现用户界面的实体相关特征(260)。一个实施例基于所识别的实体来提供定制的窗口窗格。自定义串可被用于不同的实体类型。一些示例在图6A-6E中示出。
可呈现剪辑的预览(270)，且该预览可以示出该剪辑可用的扩充。在通过剪辑器被捕捉时，可在与剪辑器相关联的图形用户界面内呈现该剪辑的预览。预览可以在与该内容分开的窗口或窗格中或在与该内容相同的文档中呈现。
在一些实现中，可基于所识别的实体来呈现定制的视图(或格式)。在一些情况下，具有用于指定属性的适当内容的实体容器结构可以按特定方式来安排。例如，书籍实体类型的演示可包括适合在特定比例的矩形(或其他形状)内的安排，具有在一个位置处的书籍封面的图像、在另一位置处的指定字体的书籍概要、在又一位置处的作者的名字、以及在底部位置处的ISBN号。
在一些情况下，服务元素可被包括在特定位置处。这一服务元素可以是例如用于启动在线书商站点的“立刻购买”请求或用于启动学习指导应用的大纲请求的图形表示。再无其他示例，“影片”可包括用于买票的服务元素，且“机票”可包括显示与飞行状态有关的最新信息的服务元素。
图3A和3B解说具有用于一些实现的过程流程的系统架构图。操作环境可包括客户端300、捕捉服务305、搜索引擎服务(搜索提供者所提供的web数据服务)310、知识库/数据库315、以及用户的存储320。
参考图3A，剪辑322可以从客户端300发送到捕捉服务305。在一些情况下，页面的源整体发送到捕捉服务。在其他情况下，提供源的一部分，且在又一些情况下，发送URL且在服务器处(由捕捉服务305)检索内容。在基本情况下，如情况A所示，捕捉服务可以将不带扩充的剪辑(324)存储在用户的存储320中且在一些实现中预览326可以在客户端300处生成。
情况B、C以及D示出了用于促进扩充的各种配置。在情况B中，扩充可在捕捉服务305处被执行，例如涉及移除广告或格式化文本以供阅读的各种过程。因而，在接收到剪辑322后，剪辑和扩充可被存储(328)且可任选地被提供作为预览330。
在一个实现中，捕捉服务305可包括具有相关联的卡的实体的数据库(或联系具有带相关联的卡的实体的数据库的另一服务)并可从这一数据库检索主题卡。查找表可被用来获得指定实体的对应卡。
例如，在情况C中，实体识别和扩充可由捕捉服务305通过直接访问知识库或数据库315来执行。响应于来自捕捉服务305的通信332，来自知识库/数据库315的数据(334)可被提供给捕捉服务并被用来生成经扩充的剪辑336，它可被存储在用户的存储320中且可任选地被提供用于预览338。
根据一示例实现，捕捉服务305可以调用搜索引擎服务310，例如
Figure GDA0000922638230000121
或搜索引擎服务，使用实体来向
Figure GDA0000922638230000123
或服务请求主题概要或主题卡。
例如，在情况D中，在剪辑是来自网页的内容时，实体识别可能已经由搜索引擎特征执行。在这种情况下，网页的URL可能足以发送到捕捉服务305，捕捉服务305从搜索引擎服务310请求(340)页面上的一个或多个实体。搜索引擎服务310可以访问(342)知识库或数据库(315)(它可以是与同捕捉服务直接通信的知识库或数据库相同或不同的知识库或数据库)以检索网页的主题卡(344)。搜索引擎服务310随后可将卡346(连同可由捕捉服务305请求的任何其他搜索结果)提供给捕捉服务305。经扩充的剪辑348可被存储在用户的存储320处并可任选地被提供作为预览350。
如上所述，在一些情况下，预览可被呈现。在其他情况下，剪辑器收集内容并将内容直接发送到存储(而没有预览)。
剪辑的预览可由捕捉服务提供至客户端和/或在客户端上运行的剪辑器可呈现该预览。预览可以在预览窗格或浏览器中的窗口中呈现。预览窗格可以是剪辑用户界面的一部分，可在该剪辑用户界面中实现编辑、加标签、和其它动作。例如，用户可以经由用户界面向剪辑添加标签或评论。另外，也可在用户界面内配置剪辑的目的地。在一些情况下，下拉菜单或输入域可被用来指示特定目的地。作为示例，用户可以选择笔记本名称或阅读集合。预测的目的地也可被呈现在预览窗格中。例如，使用实体识别和自动加标签，剪辑器或捕捉服务可以确定用户正在寻找房屋且识别网页的与房屋有关的、随后被保存到用户的住房笔记本的元素。类似地，在识别影片的实体时，这样的剪辑可自动去往用户的影片笔记本。
参考图3B，剪辑322可以从客户端300发送到捕捉服务305。如上所述，在一些情况下，页面的源整体发送到捕捉服务。在其他情况下，提供源的一部分，且在又一些情况下，发送URL且在服务器处(由捕捉服务305)检索内容。在图3A所示的基本情况(情况A)下，捕捉服务可以将不带扩充的剪辑(324)存储在用户的存储320中。
情况E、F以及G示出了用于在存储了剪辑(它可以或可以没有已执行扩充)之后促进扩充的各种配置。在用户从用户的存储检索剪辑(如剪辑322)(354)以供在客户端300处查看和/或编辑时，客户端300可联系捕捉服务305以检索所存储的剪辑(经由请求352)。如针对情况E所示，捕捉服务305可在将剪辑提供给客户端300之前自动执行对剪辑的扩充。例如，可执行涉及移除广告或格式化文本以供阅读的各过程。一旦执行了扩充，经扩充的剪辑356可被提供给客户端300并存储(358)在用户的存储320处。
在一个实现中，捕捉服务305可包括具有相关联的卡的实体的数据库(或联系具有带相关联的卡的实体的数据库的另一服务)并可从这一数据库检索主题卡。查找表可被用来获得指定实体的对应卡。
例如，在情况F中，实体识别和扩充可由捕捉服务305通过直接访问知识库或数据库315来执行。响应于来自捕捉服务305的通信360，来自知识库/数据库315的数据(362)可被提供给捕捉服务并被用来生成经扩充的剪辑364，它可被提供给客户端300并被存储(366)在用户的存储320中。
在另一实现中，如在情况G中所示，捕捉服务305可以调用搜索引擎服务310，例如
Figure GDA0000922638230000131
或搜索引擎服务，使用实体来向或
Figure GDA0000922638230000134
服务请求主题概要或主题卡。捕捉服务305可以使用与剪辑相关联的URL来向搜索引擎服务310请求(368)页面上的一个或多个实体。搜索引擎服务310可以访问(370)知识库或数据库(315)(它可以是与同捕捉服务直接通信的知识库或数据库相同或不同的知识库或数据库)以检索网页的主题卡(372)。搜索引擎服务310随后可将卡374(连同可由捕捉服务305请求的任何其他搜索结果)提供给捕捉服务305。捕捉服务可以使用卡374(以及所提供的任何其他数据)来扩充剪辑并将经扩充的剪辑376提供给客户端300且将经扩充的剪辑存储(378)在用户的存储320处。
图4解说根据一实现的用于捕捉服务的示例过程流程。可在捕捉服务处接收(400)网页或其他文档的剪辑以执行扩充。一旦被接收到，就确定页面或其他文档上的内容的一个或多个实体(410)。确定剪辑中的对象的实体可以通过读取来自剪辑的实体标签(412)、分析剪辑的内容(414)、和/或通过将剪辑的URL作为请求的一部分发送给web数据服务420来调用(例如，从搜索引擎提供者可用的)web数据服务(416)。在一些情况下，在分析剪辑的内容(414)时，可通过分析所剪辑的网页(或其他文档)的HTML优势对象模型(DOM)来实现实体确定。在一些情况下，在使用来自web数据服务420的主题卡时，在从web数据服务420接收到一个或多个主题卡(与页面上的一个或多个实体有关的结构化和未结构化信息)时，实体随后可在操作418中被确定。如果捕捉服务接收到实体请求(422)，则在操作410中确定的实体可被提供给作出该请求的应用/设备。
作为扩充过程的一部分，从web数据服务(和/或搜索引擎服务，不论是相同还是不同的提供者)接收到的信息可被用来创建实体容器。来自剪辑本身的信息可被用来填充实体容器且促进实体容器的创建。
实体容器(例如，“扩充”)的创建可以与实体确定并行或串行地执行。在一些情况下，实体确定作为实体容器创建过程的结果或一部分来发生。在一些情况下，实体确定的结果引导实体容器创建过程。
作为示例，在操作416期间，在捕捉服务使用URL调用web数据服务420时，web数据服务420可以提供由URL标识的网页的属性的、存储在web数据服务的数据库中的经高速缓存的版本。实体确定可以从卡读取(418)并且该卡信息可被用来生成实体容器(440)。例如，如果接收到主题卡(442)(因为在操作416期间被请求)，则该卡可被读取以获得适当的数据(443)。实体容器可以是该卡或可以是该卡的由web数据服务提供的经修改的版本。
如果捕捉服务尚未具有主题卡，则捕捉服务可以用URL来调用web数据服务420(444)，并且响应于从web数据服务接收到主题卡，捕捉服务可以读取该卡以获得适当的数据(445)。在一些情况下，卡对于出于某种原因(例如，尚未提供任何URL或没有URL是可用的)而不具有存储在数据库中的经高速缓存的版本的URL或文档(或捕捉服务接收到的其他项)是不可用的。
在没有卡可用的情况下(以及甚至在卡可用的情况下)，捕捉服务可以调用搜索服务(它可由web数据服务的同一提供者来提供)并请求执行搜索(也参见操作444和445)。
例如，在关键字是作曲家的名字时，所管护的卡可包括该作曲家的照片、生日、家庭成员、著名作品，且在一些情况下，包括普遍搜索的或与该作曲家有某一其他关系的其他作曲家。这一类型的所管护的卡读取被用在搜索引擎站点上以增强某些搜索结果；然而，一些实施例可以在搜索引擎网站外部提供这一功能并且不需要用户输入搜索项。
即，捕捉服务确定用户旨在从页面捕捉的实体，作出到搜索服务(它可仅接收关键字)的连接，接收来自搜索服务的卡，并根据该卡以及所请求并跨因特网从各种源接收到的其他信息来生成实体容器。例如，服务元素可被包括在实体容器中且在确定所需和/或可用服务元素(446)之际，实体容器的各字段可被填充适当的数据(447)。扩充还可包括执行实体相关处理(450)。以此方式生成的实体容器可以在用户在实际上任何网页或文档上活动的同时在预览中呈现。
作为依赖于搜索引擎的补充，捕捉服务可以具有自然语言处理和相关统计技术和/或基于试探法的技术来自身标识关键实体。
图5A和5B解说其中web剪辑中的所识别的实体被指派实体容器的示例场景。参考图5A，用户可能正在进行用于学校课程的巴洛克(Baroque)时期的研究。当在查看网页500时，用户可能决定将该页面剪辑到笔记。
根据自动扩充技术的一实现，可为网页500的一个或多个优势实体生成实体容器。在调用捕捉服务时，网页的优势特征可被确定且这一优势特征被关联为强类型化实体(也称为“强实体类型”)。在页面上可识别一个以上实体。
页面500上的优势实体可以是约翰·塞巴斯蒂安·巴赫(Johann SebastianBach)(505)。优势实体的确定可以在剪辑器(在本地)处或在捕捉服务处执行。在一些情况下，用户可以指示感兴趣的实体；而在其他情况下，实体确定是在后台和/或无需用户输入的情况下执行的。
响应于确定页面上的优势实体包括作曲家约翰·塞巴斯蒂安·巴赫，捕捉服务可生成实体容器。剪辑可被捕捉到存储中，具有用于所识别的一个或多个实体的实体容器。实体容器可供用于在剪辑的页面上识别的强实体类型。
图5B中示出的实体容器510可被呈现在用户的设备上作为预览。应当理解，图5B中示出的实体容器仅仅是可以形成实体容器的各元素的说明且不应被解释为需要所示的元素或仅限于所示的元素。参考图5B，实体容器510可包括作曲家的名字属性元素511、概要属性元素512、图像属性元素513、生命跨度属性元素514、关系/配偶属性元素515、子女属性元素517、父母属性元素518、以及“现在收听”服务元素520。
在一些实施例中，剪辑器界面可以指示与浏览器或其他应用的查看窗格中呈现的内容相关的特定实体的识别。例如，如果用户正在查看与书籍相关的网站，则剪辑器界面的布局、文本或其他特征可使它显现为剪辑器识别用户正在查看与书籍相关的网页。
剪辑器可以引导内容呈现，且可任选地向用户提供附加信息。内容呈现可包括所识别的收听的简单描述，例如“书籍”，或网页上的所识别的书籍的实体容器的预览。附加信息可以用例如书籍的有竞争力的价格相关。例如，如果用户正在剪辑来自Amazon.com的信息，经扩充的剪辑器还可自动提供来自其他售书网站的价格。
一旦识别了实体类型——或作为识别剪辑的实体类型的过程的一部分，捕捉服务可以从一个或多个源获得与实体的对象相关的元素(属性元素和服务元素)。
根据各实现，捕捉服务可以按适用于特定实体类型的形式来提供相关信息(元素)。这一形式可以是相关于所标识的事物(即，实体)有意义的元素包。加标签与实体化之间的差异在于确定文档中或网页上的一个或多个实体生成专用于该实体的布局或格式，与简单地提供文件的附加元数据形成对比。文本、音频、图像、以及视频可被应用捕捉且这一内容的主题可被捕捉。
在一些实现中，可根据本体论数据库或目录(如从schema.org—将世界模式化的公共储存库—可用的)来配置实体容器模式。模式可包括与对象相关联的属性的列表。属性的列表随后可被用来获得信息以填充模式。布局模板也可被包括，使得实体容器(具有所填充的属性)的视图可以是一致的，但可为每一客户端或上下文定制(例如，信息如何被呈现在预览窗格中或移动电话上)。
在所描述的实现中的任一者中，服务元素可(例如，作为实体容器的一部分)被包括在扩充中。因为与HTML相对比，所存储的对象的身份是已知的(是实体)，所以操作这样的实体的各应用可以与对象或对象的各方面进行交互或被给予对于对象或对象的各方面的访问。
服务元素的示例是日历事件。日历服务可被实现以基于实体来设置提醒或生成消息。提醒可以与所捕捉的这类信息在上下文上相关。在一些情况下，定位服务可被包括，其中在设备处于距店铺或其他位置的特定距离内时可发送提醒。例如，“当我在书店时提醒我”可通过服务元素被安排，以当用户(用户的设备)处于书店中时提示用户来获得书籍；或“当我在电影院或售票站时提醒我”以提示用户观看影片或买票。
附加功能也可通过服务元素被设置。例如，食谱实体可包括当用户处于杂货店中时生成购物清单的服务元素。
虽然“文章”可能不是强实体，但文章的主题可被确定且通过文章实体容器的一个或多个服务元素启用附加服务。例如，相关新闻可基于常见主题而被检索。作为另一示例，对主题的更新(例如，更加新的文章或对文章的校正)可被呈现或推荐。
通过捕捉服务可用的剪辑的扩充所指派的强实体类型使得能够呈现附加功能。
从笔记本应用，对第三方应用的许可可以基于实体类型是可用的。例如，笔记本应用可被配置成准许阅读器应用访问“书籍”来加标签、阅读、或其他指定动作。代替基于分层结构的许可(例如，专用于页面)，许可可被设置成基于“实体”的许可。这允许访问页面的元素而非作为整体的页面。被访问的各元素是标记为强对象的元素，而不必是页面上的其他信息(除非针对该其他信息的许可被授予和/或页面上的该其他信息是实体的属性)。
因为实体按实体容器的形式被存储，所以访问实体容器(基于对特定实体类型的许可)避免了访问用户的私有信息。相反，来自实体容器的信息是从跨因特网的各个源获得且由搜索引擎生成的公共信息。例如，用户的笔记可以讨论小说中的章节发展。该小说可被标记为“书籍”强类型实体。因为该小说被标记为书籍，所以该小说的实体容器与页面或笔记的页面上的对象一起存储。随后，在被授权访问笔记中的书籍的应用访问该书籍时，该应用接收到的信息是整个容器而非章节发展的讨论或笔记的页面上的其他文本。
下文是与本主题公开的各方面相关联的、相关于计算设备提供的多个屏幕截图。这些屏幕截图仅是示例性的并被提供以图形地描绘本公开的各方面的至少一个实施例。当然，本发明不旨在限于所提供的图形元素的位置或表示，因为存在可实现相同或类似结果的大量其他方式。
应当理解，这些情况示例旨在用于解说一些特征可如何实现且不应被解释为在布局、功能、特征或范围方面是限制性的。
实体相关UI可被呈现。例如，自定义串可被用于不同的实体类型。图6A-6E解说示例实体指定器。一旦从被剪辑的网页识别了优势实体，指定的响应就可被显示给用户。参考图6A，具有优势实体影片的网页605可造成引用剪辑器窗格615中的实体类型“影片”的指定响应610。因而，如果用户剪辑包含所识别的实体影片的内容，所显示的串可指示“观影列表”，如图6A所示。
在图6B中，具有优势实体歌曲的网页620可造成引用剪辑器窗格630中的实体类型“音乐”的指定响应625。例如，“音乐已采样！”可以是针对音乐站点的消息。
在图6C中，具有优势实体书籍的网页635可造成引用剪辑器窗格645中的实体类型“书籍”的指定响应640。如果用户剪辑包含书籍的内容，所显示的串可指示“书籍已上架！”，如图6C所示。
在图6D中，具有优势实体文章的网页650可造成引用剪辑器窗格660中的实体类型“文章”的指定响应655。例如，在内容被确定为文章实体时，“文章已剪辑”可被显示。
在图6E中，具有优势实体酒水的网页665可造成引用剪辑器窗格675中的实体类型“酒水”的指定响应670。例如，在酒水网站处剪辑之后，消息“酒水已尝！”可被显示。
在每一示例中，同一消息被传达——确认站点所涉及的“事物”的身份且该材料已被剪辑并保存。
图7A-7C解说可在具有web浏览器客户端710的移动设备700上实现的笔记本应用的场景。
访问并启动用来共享内容的应用可以通过触摸、鼠标点击、语音请求或其他输入或姿势来执行。在另一情况下，这一应用可通过程序来启动。图7A示出用于通过触摸输入启动用来共享内容的应用的示例用户界面。例如，如图7A所示，移动设备700的用户可在web浏览器客户端710中输入URL并随后选择将网页720共享到笔记(750)。
如图7B所示，预览窗格(或弹出框)760可打开，使得用户可以查看被插入用来共享内容的应用的内容的预览。用来共享内容的应用可以是笔记本应用、阅读器应用、生产力应用或经由捕捉服务可用的任何合适的应用。另外，预览窗格可包括供用户控制内容被指派到何处的特征(例如，笔记的名称、与笔记相关联的账户)。用户可以选择(770)来包括该内容(780)，它被示出在预览窗格760中。诸如按钮、复选框、或其他输入域等选项可被提供给用户以使用户能够选择包括屏幕截图。
在用来共享内容的应用是笔记本应用时，在笔记本应用被打开时，所捕捉的内容可以在笔记中查看。一旦内容780被包括在笔记790中，用户就可以在屏幕截图上注释，如图7C所示。
图8A-8E解说根据一实现的用于示例场景的过程流程的用户界面。在一示例场景中，用户Joy正在浏览在线书店并遇到她想要阅读的书。Joy可以使用剪辑工具将该书信息剪辑到她的笔记本应用中。例如，如图8A所示，Joy可能正在查看网页800以寻找其上可呈现书籍封面801、概要802、版本和价钱803、以及书名和作者804的书籍。书籍可供购买，其中交易可通过购买链接805可用。在Joy选择(S801)(经由剪辑器810)来剪辑页面时。剪辑可以是页面、页面的区域、和/或页面的优势实体的剪辑。
如在图8B和8C中所示，响应于剪辑页面800，因为捕捉服务将页面800的优势实体识别为书籍，剪辑器可以显示指定响应820，指示所识别的实体是书籍。剪辑可从剪辑器内被编辑，例如“编辑剪辑”命令可被选择，或可从预览窗格(例如，预览窗格840)内作出修改。在剪辑页面(或页面的一部分)时，预览窗格840可以或可以不被自动显示。图8D和8E示出了许多另选预览窗格配置中的两个预览窗格配置。图8D示出右面板预览窗格842且图8E示出底面板预览窗格844。
返回图8C，书籍实体容器850可被显示在预览窗格840中。书籍实体容器可以提供各属性，包括但不限于书籍封面860、概要862、作者信息864、价钱866、ISBN 868以及附加信息870。属性的信息中的一些可以从网页内容本身获得。属性的其他信息可以从一个或多个外部源获得。
用户情况序列在图9A-9G中示出。参考图9A，用户可能正在与告诉她一定要阅读某一本书的朋友交谈。所以用户向她的蜂窝电话900讲话以将名称记录(S901)在她的笔记本应用中作为快速笔记。在一些情况下，语音识别文本905可被显示在笔记内。在接收到这一输入后，笔记本应用可以(作为同步过程的一部分、响应于用户的命令、作为通过将内容接收到笔记本应用而激活的某一自动化过程的一部分、或其他原因)访问或调用捕捉服务来请求实体识别。
在这一示例情况下，捕捉服务可以指示该实体可以是书籍或影片，且结果，所记录的名称可具有附加的标记，指示该实体可以是书籍或影片(以及可任选的对应的置信度值)。
随后，参考图9B，在用户打开她的笔记本应用910时，快速标记条目920可出现。因为这一快速标记的内容造成了两种可能的实体类型，所以在该示例中，用户可以选择旨在用于该内容的实体类型，书籍922或影片924。
如图9C所示，用户选择“书籍”(S902)。这一选择可以用实体标记“书籍”来标记快速笔记内容，这可造成容器“书籍”被应用于该内容。容器的应用可包括笔记本应用请求书籍容器来从捕捉服务获得所命名的书籍。对于这一示例，如图9D中所示，当在笔记本应用中识别了“书籍”时，书籍封面925(作为书籍容器的一部分接收到)可被显示且一些功能930可对用户可用，例如该书籍可被指示为能够被移动932到待读书籍的笔记本940。
在一些实现中，“书籍”的标记也可使另一应用(它可以是第三方应用)(如阅读器)能够对笔记本应用中的该内容执行动作。这一动作可以是“待读”，例如以确定在笔记本中命名的书籍并获得来自另一源的文本，使得在用户打开阅读器时，该书籍可供阅读。类似地，学生学习引导应用可以读取笔记本中命名的书籍并向用户呈现小册子样式或大纲。在其中学习引导应用具有访问标记中的“书籍”的许可的一个示例中，在课堂期间在笔记本应用内记笔记的用户可使实体识别自动发生或在用户命令(例如，通过选择笔记本应用的文本或图形用户界面元素)时发生。在从笔记识别了“书籍”实体时(由于可在客户端处或经由客户端与其通信的捕捉服务执行的优势实体确定)，该“书籍”可被存储。“书籍”可与笔记分开存储，或作为笔记的标记或标签来存储
在又一实现中，实体容器也可被获得并存储。因为学习引导应用可以访问“书籍”且也可访问该笔记(具有书籍标记)或该“书籍”(分开地)被存储到的存储空间，所以学习引导应用可以向用户提供该书籍的大纲。这可例如在用户处于课堂中并记笔记或在稍后用户访问学习引导应用时发生。
由于使用强类型化实体对内容进行标记，所以这些扩展的动作可以是可能的。
作为一个示例，书籍推荐应用(例如，与正在讨论的书籍相关的社交网络)可被链接到用户的笔记本应用。当在书籍推荐应用上对书籍进行评级时，这一书籍的书籍实体可被添加到笔记本应用中“我读过的书籍”列表，使得当在笔记本中搜索书籍时，所推荐的书籍可与相关信息一起被自动包括在笔记本中。相反，在书籍被添加到笔记本应用时，该书籍可在书籍推荐应用上被标记为“想读”。
参考图9E，用户可以选择(S903)功能932以将该项移至待读书籍940文件。在菜单950上的“待读书籍”940项被初始选择时(S904)，“待读书籍”预览960可以是可用的，如图9F中示出的过滤器。随后，参考图9G，在用户从菜单950选择(S904)“待读书籍”940时，待读书籍页面被显示且用户可以从菜单970选择所命名的书籍。响应于接收到所命名的书籍选择(S905)，书籍容器980可被显示。容器980可包括书籍的风格、星级评级、以及简要描述，它们在不离开笔记本应用的情况下被全部显示。在一些实现中，可以从笔记对该向采取各个动作。例如，在一些情况下，可链接回一个或多个在线零售商的“购买”按钮也可被包括。在一些情况下，“已读”按钮或其他任务相关选择可被包括，使得用户可以区分已读书籍和待读书籍而不必从笔记本删除数据。书籍容器980可以与图8C中所示的书籍容器预览850相同或相似。
图10是示出在一些实施例中使用的计算设备的各组件的框图。例如，系统1000可被用来实现体现客户端100、500、900等的计算设备。应当理解在此描述的系统的各方面适用于移动和传统台式计算机两者以及服务器计算机和其它计算机系统。因此，相关于系统100所描述的一些方面适用于在其上执行捕捉服务(例如，捕捉服务115、505)的服务器。
例如，系统1000包括根据一个或多个应用程序1010和/或操作系统(OS)1020的指令处理数据的处理器1005。处理器1005可以是或可被包括在片上系统(SOC)中，连同一个或多个其他组件(诸如网络连接组件、传感器、视频显示组件)。
一个或多个应用程序1010可被加载到存储器1015中并在操作系统1020上或与操作系统1020相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、信息管理程序、字处理程序、因特网浏览器程序、消息收发程序、游戏程序、笔记应用等等。其他应用可被加载到存储器1015中且在设备上运行，包括各种客户端和服务器应用。
操作系统的示例包括
Figure GDA0000922638230000221
OS、
Figure GDA0000922638230000222
phone OS、
Figure GDA0000922638230000223
Figure GDA0000922638230000224
OS、
Figure GDA0000922638230000225
以及
Figure GDA0000922638230000226
OS。构想了其它操作系统。
系统1000还可包括执行发射和接收无线电频率通信的功能的无线电/网络接口1035。无线电/网络接口1035通过通信运营商或服务供应商方便了系统1000与“外部世界”之间的无线连接。去往无线电/网络接口1035的传送在操作系统1020的控制下进行，将由无线电/网络接口1035接收的通信传播到应用程序1010，反之亦然。
无线电/网络接口1035允许系统1000通过网络与其他计算设备(包括服务器计算设备和其它客户端设备)通信。
在各实现中，通过系统1000存储的数据/信息可包括本地地存储在设备上的数据高速缓存，或数据可被存储在可由设备通过无线电/网络接口1035或通过设备和与设备相关联的一分开的计算设备(例如，分布式计算网络(诸如因特网)中的服务器计算机)之间的有线连接访问的任何数量的存储介质上。如应理解的，此类数据/信息可通过设备经无线电1035或经分布式计算网络来被访问。类似地，可以在根据熟知的数据/信息转移和存储装置(包括电子邮件和协同数据/信息共享系统)的用于存储和使用的计算设备之间容易地转移此类数据/信息。
音频接口1040可被用于向用户提供听觉信号并从用户接收听觉信号。例如，音频接口1040可被耦合到扬声器以提供听觉输出，并被耦合到话筒以接收听觉输入，诸如便于电话对话。系统1000可进一步包括允许可选相机(未示出)的操作来记录静止图像、视频流等的视频接口1045。视频接口还可被用于捕捉输入的某些图像以输入到自然用户界面(NUI)。
可经由显示器1055来提供视觉输出。显示器1055可呈现图形用户界面(“GUI”)元素、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息收发数据、因特网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息、以及能够以视觉形式呈现的任何其他信息。
显示器1055可以是触摸屏显示器。(可与显示器相关联的或形成显示器的一部分的)触摸屏是被配置成检测触摸的存在和位置的输入设备。触摸屏可以是电阻触摸屏、电容触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声音脉冲识别触摸屏，或者可利用任何其他触摸屏技术。在一些实施例中，触摸屏结合到显示器的顶部作为透明层，以使用户能够使用一个或多个触摸与显示器上所呈现的对象或其他信息交互。
在其他实施例中，触摸垫可结合到不包括显示器的计算设备的表面上。例如，计算设备可具有结合到显示器的顶部的触摸屏以及与显示器相对的表面上的触摸垫。
此处所述的特定技术可以在由一台或多台计算设备执行的诸如程序模块之类的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、和数据结构。
各实施例可被实现为计算机进程、计算系统、或者诸如计算机程序产品或计算机可读介质等制品。在此描述的特定方法和过程可被具体化为软件、代码和/或数据，其可被存储在一个或多个计算机可读介质上。本发明的特定实施例构想了以计算机系统的形式的机器的使用，其中一组指令在执行时，可使得系统执行本文所讨论的任意一种或多种方法的指令集。特定计算机程序产品可以是计算机系统可读并且编码指令的计算机程序以执行计算机进程的一个或多个计算机可读存储介质。
计算机可读介质可以是能由计算机系统访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。虽然相关于通信介质进行了描述，但载波和可包含可被计算机系统使用的数据的其他传播信号不被认为是“计算机可读存储介质”。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。“计算机可读存储介质”决不包括载波或传播信号。
此外，在此描述的方法和过程可被实现在硬件模块中。例如，硬件模块可包括，但不限于应用专用的集成电路(ASIC芯片)、现场可编程门阵列(FPGA)，和其它现在已知或今后开发的可编程逻辑设备。当硬件模块被激活时，硬件模块执行包括在硬件模块内的方法和过程。
本发明的一些方面提供以下非限制性实施例。
示例1。一种通过扩充服务自动扩充内容的方法，包括调用服务来获得基于内容的实体确定；以及接收所确定的实体和包括所述内容的对象和所述对象的一个或多个属性的实体容器。
示例2。如示例1所述的方法，其中调用所述服务包括发送统一资源定位符(URL)，所述内容是所述URL处的网页的至少一部分。
示例3。如示例1或2所述的方法，其中所确定的实体是所述网页的至少一个优势实体。
示例4。如示例1-3中的任一项所述的方法，其中调用所述服务包括将网页的内容发送到所述服务。
示例5。如示例1-4中的任一项所述的方法，其中所述对象的所述一个或多个属性中的至少一者是从与所述内容分开的源获得的。
示例6。如示例1-5中的任一项所述的方法，其中所述内容是音频或包括音频。
示例7。如示例1-6中的任一项所述的方法，其中调用所述服务包括将文档发送到所述服务，所述内容是所述文档的至少一部分。
示例8。如示例1-7中的任一项所述的方法，其中还包括将所确定的实体指派给所述内容作为标记并将所述实体容器存储为所述内容的元数据。
示例9。一种用于自动扩充内容的系统，包括：实现在计算机可读存储介质上的用于在计算设备上执行的剪辑器用户界面，所述剪辑器用户界面被配置成：接收用于收集的内容的指示；基于指派给所述内容的实体来调用捕捉服务以请求扩充；以及接收所述扩充。
示例10。如示例9所述的系统，其中所述扩充是所述内容的阅读格式的文本。
示例11。如示例9或10所述的系统，其中所述扩充包括包含由所述内容描述的对象和至少一个属性的实体容器。
示例12。如示例9-11中的任一项所述的系统，其中所述扩充包括多个实体容器。
示例13。如示例11或12所述的系统，其中所述实体容器还包括与服务相关联的、响应于被选择来调用所述服务的至少一个服务元素。
示例14。如示例13所述的系统，其中所述至少一个服务元素包括用于购买所述对象的链接。
示例15。如示例13或14所述的系统，其中所述至少一个服务元素包括用于设置提醒的链接。
示例16。如示例9-15中的任一项所述的系统，其中所述剪辑器用户界面还被配置成显示所述扩充的预览。
示例17。如示例16所述的系统，其中所述扩充包括所述扩充所基于的实体的标识。
示例18。如示例16或17所述的系统，其中所述扩充的预览包括所述扩充所基于的实体的指示。
示例19。如示例16-18中的任一项所述的系统，其中所述剪辑器用户界面还被配置成从所述捕捉服务接收所述内容中所识别的至少一个实体的指示。
示例20。如示例19所述的系统，其中所述剪辑器用户界面还被配置成呈现所述内容中识别的所述至少一个实体以及接收对所述内容中识别的所述至少一个实体之一的选择以指派给所述内容。
示例21。一种促进内容的自动扩充的方法，包括：确定文档中的对象的实体；生成所述对象的实体容器；以及将所述实体指派为所述文档中的所述对象的标记。
示例22。如示例16所述的方法，其中所述文档包括网页。
示例23。如示例21或22所述的方法，其中确定所述实体包括调用搜索引擎服务来请求主题卡。
示例24。如示例21-23中的任一项所述的方法，还包括：标识所述实体可用的服务元素，其中生成所述对象的所述实体容器包括将至少一个服务元素指派给所述实体容器。
示例25。如示例21-24中的任一项所述的方法，还包括：响应于确定所述文档中的所述对象的实体，对所述文档执行实体相关处理。
示例场景被呈现来提供对于本发明的某些实施例以及其许多益处的更好的理解。本文描述的示例场景仅仅用于说明本发明的实施例的应用和变型中的一些。当然，它们不以任何限制本发明的方式被考虑。
应当理解，在此描述的各示例和实施例仅仅是解说目的，鉴于此各种变化或改变可向本领域技术人员建议，并且被包括在本申请的范围内。

Claims (11)

1.一种通过扩充服务自动扩充内容的方法，包括：
接收对用户选择的内容的指示，所述用户选择的内容包括一个或多个对象；
调用服务来获得基于所述用户选择的内容的实体确定；
从所述服务接收确定的实体和实体容器，所述实体容器包括所述用户选择的内容的所述一个或多个对象中的一个对象，其中，所述实体容器还包括具有基于所确定的实体的结构化模式的信息包，一种类型的所确定的实体的结构化模式不同于另一种类型的所确定的实体的结构化模式，其中，所述结构化模式包括所述一个或多个对象中的所述一个对象的一个或多个属性；
确定与所接收的确定的实体相对应的实体相关的用户界面，所述实体相关的用户界面基于所述确定的实体提供定制的用户界面，针对一种类型的确定的实体的定制的用户界面不同于针对另一种类型的确定的实体的定制的用户界面；
将所述信息包中的信息指派给所述实体相关的用户界面中的位置，其中，每个位置与所述一个或多个属性中的属性相对应，并且与所述属性相对应的所述信息被指派给所述位置；以及
呈现所述实体相关的用户界面。
2.如权利要求1所述的方法，其特征在于，所述对象的所述一个或多个属性中的至少一者是从与所述内容分开的源获得的。
3.如权利要求1所述的方法，其特征在于，调用所述服务包括以下各项中的至少一者：
发送统一资源定位符(URL)，所述内容是所述URL处的网页的至少一部分；
将网页的内容发送到所述服务；以及
将文档发送到所述服务，所述内容是所述文档的至少一部分。
4.一种用于自动扩充内容的系统，包括：
实现在计算机可读存储介质上的用于在计算设备上执行的剪辑器用户界面，所述剪辑器用户界面被配置成：
接收用于收集的用户选择的内容的指示，所述用户选择的内容包括一个或多个对象；
基于指派给所述用户选择的内容的每个相应实体来调用捕捉服务以请求所述内容的扩充；
接收所述扩充，其中，所述扩充包括实体容器，所述实体容器包括所述用户选择的内容的所述一个或多个对象中的一个对象，其中，所述实体容器还包括具有基于所述实体的结构化模式的信息包，一种类型的实体的结构化模式不同于另一种类型的实体的结构化模式，其中，所述结构化模式包括所述一个或多个对象中的所述一个对象的一个或多个属性；
确定与所接收的确定的实体相对应的实体相关的用户界面，所述实体相关的用户界面基于所述确定的实体提供定制的用户界面；
将所述信息包中的信息指派给所述实体相关的用户界面中的位置，其中，每个位置与所述一个或多个属性中的属性相对应，并且与所述属性相对应的所述信息被指派给所述位置；以及
呈现所述实体相关的用户界面的预览。
5.如权利要求4所述的系统，其特征在于，所述扩充是所述内容的阅读格式的文本。
6.如权利要求5所述的系统，其特征在于，所述实体容器还包括与服务相关联的、响应于被选择来调用所述服务的至少一个服务元素。
7.如权利要求6所述的系统，其特征在于，所述至少一个服务元素包括用于购买对象的链接或设置提醒的链接。
8.一种促进内容的自动扩充的方法，包括：
接收用户选择的内容，所述用户选择的内容包括文档中的一个或多个对象；
确定所述用户选择的内容中的所述一个或多个对象中的一个对象的实体；
生成所述一个或多个对象中的所述一个对象的实体容器，其中，所述实体容器包括具有基于所确定的实体的结构化模式的信息包，一种类型的所确定的实体的结构化模式不同于另一种类型的所确定的实体的结构化模式，其中，所述结构化模式包括所述一个或多个对象中的所述一个对象的一个或多个属性；
将所述实体指派为所述文档中的所述一个或多个对象中的所述一个对象的标记；以及
提供所述实体容器的预览，其中，所述实体容器包括与每种类型的确定的实体一致且为每一客户端或上下文定制的布局模板。
9.如权利要求8所述的方法，其特征在于，所述文档包括网页。
10.如权利要求8所述的方法，其特征在于，确定所述实体包括调用搜索引擎服务来请求主题卡。
11.如权利要求8所述的方法，其特征在于，进一步包括：响应于确定所述文档中的所述一个或多个对象中的所述一个对象的实体，对所述文档执行实体相关处理。
CN201480044378.XA 2013-08-07 2014-08-06 通过扩充服务的内容的自动扩充 Active CN105531700B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361863241P 2013-08-07 2013-08-07
US61/863,241 2013-08-07
US14/318,930 US10776501B2 (en) 2013-08-07 2014-06-30 Automatic augmentation of content through augmentation services
US14/318,930 2014-06-30
PCT/US2014/050009 WO2015021200A1 (en) 2013-08-07 2014-08-06 Automatic augmentation of content through augmentation services

Publications (2)

Publication Number Publication Date
CN105531700A CN105531700A (zh) 2016-04-27
CN105531700B true CN105531700B (zh) 2020-02-07

Family

ID=52449550

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480044761.5A Active CN105706080B (zh) 2013-08-07 2014-06-30 扩增并呈现捕获的数据
CN201480044794.XA Pending CN105518662A (zh) 2013-08-07 2014-08-06 对实体扩充内容的访问和管理
CN201480044378.XA Active CN105531700B (zh) 2013-08-07 2014-08-06 通过扩充服务的内容的自动扩充

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201480044761.5A Active CN105706080B (zh) 2013-08-07 2014-06-30 扩增并呈现捕获的数据
CN201480044794.XA Pending CN105518662A (zh) 2013-08-07 2014-08-06 对实体扩充内容的访问和管理

Country Status (5)

Country Link
US (2) US10817613B2 (zh)
EP (3) EP3030988A4 (zh)
CN (3) CN105706080B (zh)
TW (1) TW201506644A (zh)
WO (3) WO2015018244A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817613B2 (en) 2013-08-07 2020-10-27 Microsoft Technology Licensing, Llc Access and management of entity-augmented content
US10255253B2 (en) 2013-08-07 2019-04-09 Microsoft Technology Licensing, Llc Augmenting and presenting captured data
US10075484B1 (en) * 2014-03-13 2018-09-11 Issuu, Inc. Sharable clips for digital publications
KR101631999B1 (ko) * 2014-08-29 2016-06-21 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20160217620A1 (en) 2015-01-23 2016-07-28 Stephen Constantinides Virtual work of expression within a virtual environment
US9910644B2 (en) 2015-03-03 2018-03-06 Microsoft Technology Licensing, Llc Integrated note-taking functionality for computing system entities
US10277601B1 (en) * 2015-05-11 2019-04-30 Google Llc System and method for recursive propagating application access control
US10616727B2 (en) 2017-10-18 2020-04-07 YouMap, Inc. System and method for location-based content delivery and visualization
US10339183B2 (en) 2015-06-22 2019-07-02 Microsoft Technology Licensing, Llc Document storage for reuse of content within documents
US11356817B2 (en) 2015-06-22 2022-06-07 YouMap, Inc. System and method for location-based content delivery and visualization
US11436619B2 (en) 2015-06-22 2022-09-06 You Map Inc. Real time geo-social visualization platform
US11589193B2 (en) 2015-06-22 2023-02-21 You Map Inc. Creating and utilizing services associated with maps
US11138217B2 (en) 2015-06-22 2021-10-05 YouMap, Inc. System and method for aggregation and graduated visualization of user generated social post on a social mapping network
US20170031966A1 (en) 2015-07-29 2017-02-02 International Business Machines Corporation Ingredient based nutritional information
CN105653205A (zh) * 2015-12-25 2016-06-08 浪潮(北京)电子信息产业有限公司 一种用户请求处理方法与系统
US10664466B2 (en) * 2016-03-08 2020-05-26 Microsoft Technology Licensing, Llc. Specific content distribution across documents
US10015244B1 (en) 2016-04-29 2018-07-03 Rich Media Ventures, Llc Self-publishing workflow
US10083672B1 (en) 2016-04-29 2018-09-25 Rich Media Ventures, Llc Automatic customization of e-books based on reader specifications
US9864737B1 (en) 2016-04-29 2018-01-09 Rich Media Ventures, Llc Crowd sourcing-assisted self-publishing
US9886172B1 (en) 2016-04-29 2018-02-06 Rich Media Ventures, Llc Social media-based publishing and feedback
US11036743B2 (en) * 2016-05-23 2021-06-15 Google Llc Methods, systems, and media for presenting content organized by category
US10444946B2 (en) 2016-12-13 2019-10-15 Evernote Corporation Shared user driven clipping of multiple web pages
WO2018184154A1 (en) * 2017-04-05 2018-10-11 Microsoft Technology Licensing, Llc Desktop launcher
US11263588B2 (en) * 2018-12-20 2022-03-01 Microsoft Technology Licensing, Llc Intelligent document management in computing systems
CN110971589A (zh) * 2019-10-31 2020-04-07 杭州来布科技有限公司 一种文件管理方法
US20220309055A1 (en) * 2021-03-23 2022-09-29 Microsoft Technology Licensing, Llc Intelligent assistant for a browser using content and structured data
US20230161962A1 (en) * 2021-11-23 2023-05-25 Microsoft Technology Licensing, Llc System for automatically augmenting a message based on context extracted from the message
US11762898B1 (en) 2022-03-31 2023-09-19 Dropbox, Inc. Generating and utilizing digital media clips based on contextual metadata from digital environments
CN115001780B (zh) * 2022-05-26 2024-09-06 深圳小雨点数字技术有限公司 访问控制方法、装置、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177075A (zh) * 2011-12-30 2013-06-26 微软公司 基于知识的实体检测和消歧

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953720A (en) * 1997-08-15 1999-09-14 Sun Microsystems, Inc. Method and apparatus for a unified chooser for heterogeneous entities
US6088707A (en) 1997-10-06 2000-07-11 International Business Machines Corporation Computer system and method of displaying update status of linked hypertext documents
US7213005B2 (en) 1999-12-09 2007-05-01 International Business Machines Corporation Digital content distribution using web broadcasting services
US20040220926A1 (en) * 2000-01-03 2004-11-04 Interactual Technologies, Inc., A California Cpr[P Personalization services for entities from multiple sources
US7346844B1 (en) 2000-01-21 2008-03-18 International Business Machines, Corporation Method and system for moving content in a content object stored in a data repository
US8589777B1 (en) 2000-01-21 2013-11-19 International Business Machines Corporation Method and system for calculating cost of a compilation of content
US7007034B1 (en) 2000-01-21 2006-02-28 International Business Machines Corporation File structure for storing content objects in a data repository
US8135589B1 (en) 2000-11-30 2012-03-13 Google Inc. Performing speech recognition over a network and using speech recognition results
US20030097640A1 (en) 2001-07-25 2003-05-22 International Business Machines Corporation System and method for creating and editing documents
US10282765B2 (en) 2001-09-27 2019-05-07 Jda Software Group, Inc. Order acceleration through user document storage and reuse
US7143091B2 (en) 2002-02-04 2006-11-28 Cataphorn, Inc. Method and apparatus for sociological data mining
US10664138B2 (en) 2003-03-14 2020-05-26 Comcast Cable Communications, Llc Providing supplemental content for a second screen experience
US20040223649A1 (en) 2003-05-07 2004-11-11 Eastman Kodak Company Composite imaging method and system
US20050108024A1 (en) * 2003-11-13 2005-05-19 Fawcett John Jr. Systems and methods for retrieving data
US20050131778A1 (en) 2003-12-11 2005-06-16 International Business Machines Corporation Customized subscription builder
US20050138033A1 (en) 2003-12-19 2005-06-23 Nokia Corporation Methods, applications and systems for deriving content from network resources
US8150825B2 (en) 2004-03-15 2012-04-03 Yahoo! Inc. Inverse search systems and methods
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7519573B2 (en) * 2004-08-23 2009-04-14 Fuji Xerox Co., Ltd. System and method for clipping, repurposing, and augmenting document content
US20130212463A1 (en) 2004-09-07 2013-08-15 Evernote Corporation Smart document processing with associated online data and action streams
US7949642B2 (en) 2004-10-12 2011-05-24 Wendy W Yang System and method for managing and presenting entity information
KR100707967B1 (ko) * 2004-10-30 2007-04-16 에스케이커뮤니케이션즈 주식회사 속성이 부여된 주제별 분류 객체들간의 편집 및 변화 통보방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록매체
US8219907B2 (en) 2005-03-08 2012-07-10 Microsoft Corporation Resource authoring with re-usability score and suggested re-usable data
US9098597B2 (en) 2005-06-03 2015-08-04 Apple Inc. Presenting and managing clipped content
CA2614233A1 (en) 2005-07-05 2007-01-11 Dictaphone Corporation System and method for auto-reuse of document text
US20070100829A1 (en) 2005-10-26 2007-05-03 Allen J V Content manager system and method
US20070239761A1 (en) 2006-03-28 2007-10-11 Andrew Baio Associating user-defined tags with event records in an events repository
EP1843256A1 (en) 2006-04-03 2007-10-10 British Telecmmunications public limited campany Ranking of entities associated with stored content
WO2007131132A2 (en) * 2006-05-03 2007-11-15 Voxant, Inc. System and method for collecting and distributing content
CN102081645B (zh) 2006-05-10 2014-11-26 谷歌公司 Web笔记本工具
US20080082349A1 (en) 2006-09-29 2008-04-03 Zackrison John W Using information about a financial transaction to augment information in an online social network
US8453066B2 (en) 2006-11-06 2013-05-28 Microsoft Corporation Clipboard augmentation with references
US9064010B2 (en) 2006-12-13 2015-06-23 Quickplay Media Inc. Encoding and transcoding for mobile media
CN101237465B (zh) 2007-01-30 2010-11-03 中国科学院声学研究所 一种基于快速傅里叶变换的网页正文提取方法
WO2008098164A2 (en) 2007-02-09 2008-08-14 Novarra, Inc. Method and server for providing a requested portion of a web page to a mobile device
US20080294981A1 (en) 2007-05-21 2008-11-27 Advancis.Com, Inc. Page clipping tool for digital publications
US9594731B2 (en) 2007-06-29 2017-03-14 Microsoft Technology Licensing, Llc WYSIWYG, browser-based XML editor
US20090113301A1 (en) 2007-10-26 2009-04-30 Yahoo! Inc. Multimedia Enhanced Browser Interface
US8225204B2 (en) 2008-03-27 2012-07-17 Kai Kei Cheng System and method of document reuse
WO2009152499A2 (en) 2008-06-13 2009-12-17 Skribel, Inc. Methods and systems for handling annotations and using calculation of addresses in tree-based structures
US20120010995A1 (en) * 2008-10-23 2012-01-12 Savnor Technologies Web content capturing, packaging, distribution
US20120144315A1 (en) 2009-02-17 2012-06-07 Tagle Information Technology Inc. Ad-hoc electronic file attribute definition
WO2010105246A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
US20100299362A1 (en) 2009-05-24 2010-11-25 Roger Frederick Osmond Method for controlling access to data containers in a computer system
US8370358B2 (en) 2009-09-18 2013-02-05 Microsoft Corporation Tagging content with metadata pre-filtered by context
US9659265B2 (en) 2009-10-12 2017-05-23 Oracle International Corporation Methods and systems for collecting and analyzing enterprise activities
US20110125560A1 (en) 2009-11-25 2011-05-26 Altus Learning Systems, Inc. Augmenting a synchronized media archive with additional media resources
EP2521979A4 (en) 2010-01-08 2014-12-17 Ericsson Telefon Ab L M METHOD AND DEVICE FOR SOCIAL LABELING OF MEDIA FILES
US20110179049A1 (en) 2010-01-19 2011-07-21 Microsoft Corporation Automatic Aggregation Across Data Stores and Content Types
US8930849B2 (en) 2010-03-31 2015-01-06 Verizon Patent And Licensing Inc. Enhanced media content tagging systems and methods
DE202011110880U1 (de) 2010-04-12 2017-01-20 Google Inc. Kollaborative Cursors in einem gehosteten Textverarbeitungsprogramm
JP5467643B2 (ja) 2010-04-28 2014-04-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 文書の類似度を判定する方法、装置及びプログラム。
WO2012018642A2 (en) 2010-07-26 2012-02-09 Invidi Technologies Corporation Universally interactive request for information
WO2012033898A1 (en) 2010-09-08 2012-03-15 Evernote Corporation Site memory processing and clipping control
US10089404B2 (en) 2010-09-08 2018-10-02 Evernote Corporation Site memory processing
US8700987B2 (en) 2010-09-09 2014-04-15 Sony Corporation Annotating E-books / E-magazines with application results and function calls
US8805074B2 (en) 2010-09-27 2014-08-12 Sharp Laboratories Of America, Inc. Methods and systems for automatic extraction and retrieval of auxiliary document content
US8429099B1 (en) 2010-10-14 2013-04-23 Aro, Inc. Dynamic gazetteers for entity recognition and fact association
US20120117093A1 (en) 2010-11-08 2012-05-10 Shilovitsky Oleg Method and system for fusing data
US8639719B2 (en) * 2011-02-02 2014-01-28 Paul Tepper Fisher System and method for metadata capture, extraction and analysis
US8751234B2 (en) * 2011-04-27 2014-06-10 Blackberry Limited Communication device for determining contextual information
US8682989B2 (en) 2011-04-28 2014-03-25 Microsoft Corporation Making document changes by replying to electronic messages
GB201108709D0 (en) 2011-05-24 2011-07-06 Corethree Ltd Core engine
PL395376A1 (pl) 2011-06-22 2013-01-07 Google Inc. Wykonywanie, po stronie klienta, przyblizonych zrzutów ekranu stron sieci web
US9262766B2 (en) * 2011-08-31 2016-02-16 Vibrant Media, Inc. Systems and methods for contextualizing services for inline mobile banner advertising
US20130085893A1 (en) 2011-09-30 2013-04-04 Ebay Inc. Acquisition and use of query images with image feature data
US9152730B2 (en) * 2011-11-10 2015-10-06 Evernote Corporation Extracting principal content from web pages
US20130185252A1 (en) 2012-01-17 2013-07-18 Jeffrey J. Palmucci Document Revision Manager
US10853826B2 (en) 2012-02-07 2020-12-01 Yeast, LLC System and method for evaluating and optimizing media content
US8504583B1 (en) 2012-02-14 2013-08-06 Microsoft Corporation Multi-domain recommendations
US20140143250A1 (en) 2012-03-30 2014-05-22 Xen, Inc. Centralized Tracking of User Interest Information from Distributed Information Sources
US20140304836A1 (en) 2012-04-27 2014-10-09 Intralinks, Inc. Digital rights management through virtual container partitioning
US20130325870A1 (en) * 2012-05-18 2013-12-05 Clipfile Corporation Using content
US8825711B2 (en) 2012-08-13 2014-09-02 Magnet Systems, Inc. Managing cross-correlated data
CN103020619B (zh) 2012-12-05 2016-04-20 上海合合信息科技发展有限公司 一种自动切分电子化笔记本中手写条目的方法
US20150161079A1 (en) 2013-01-30 2015-06-11 David GROSFELD File formats and methods for representing documents
US9256341B2 (en) 2013-03-20 2016-02-09 Microsoft Technology Licensing, Llc Tracking changes in collaborative authoring environment
US20150046260A1 (en) 2013-07-22 2015-02-12 Google Inc. Using entities in content selection
US10817613B2 (en) 2013-08-07 2020-10-27 Microsoft Technology Licensing, Llc Access and management of entity-augmented content
US10255253B2 (en) 2013-08-07 2019-04-09 Microsoft Technology Licensing, Llc Augmenting and presenting captured data
US11238056B2 (en) 2013-10-28 2022-02-01 Microsoft Technology Licensing, Llc Enhancing search results with social labels
WO2015065374A1 (en) 2013-10-30 2015-05-07 Hewlett-Packard Development Company, L.P. Management of the lifecycle of a cloud service modeled as a topology
US9953060B2 (en) 2014-03-31 2018-04-24 Maruthi Siva P Cherukuri Personalized activity data gathering based on multi-variable user input and multi-dimensional schema
US20150378997A1 (en) 2014-06-26 2015-12-31 Hapara Inc. Analyzing document revisions to assess literacy
US10210146B2 (en) 2014-09-28 2019-02-19 Microsoft Technology Licensing, Llc Productivity tools for content authoring
US20160134667A1 (en) 2014-11-12 2016-05-12 Tata Consultancy Services Limited Content collaboration
US9881345B2 (en) 2015-04-11 2018-01-30 International Business Machines Corporation Evaluating an impact of a user's content utilized in a social network
US10339183B2 (en) 2015-06-22 2019-07-02 Microsoft Technology Licensing, Llc Document storage for reuse of content within documents
US10740349B2 (en) 2015-06-22 2020-08-11 Microsoft Technology Licensing, Llc Document storage for reuse of content within documents

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177075A (zh) * 2011-12-30 2013-06-26 微软公司 基于知识的实体检测和消歧

Also Published As

Publication number Publication date
EP3030985A1 (en) 2016-06-15
EP3030988A4 (en) 2017-04-05
WO2015018244A1 (en) 2015-02-12
EP3030984A1 (en) 2016-06-15
TW201506644A (zh) 2015-02-16
WO2015021199A1 (en) 2015-02-12
WO2015018244A8 (en) 2016-03-31
US10776501B2 (en) 2020-09-15
US20150046827A1 (en) 2015-02-12
CN105706080A (zh) 2016-06-22
EP3030988A1 (en) 2016-06-15
US10817613B2 (en) 2020-10-27
CN105706080B (zh) 2020-01-10
US20150046493A1 (en) 2015-02-12
CN105531700A (zh) 2016-04-27
CN105518662A (zh) 2016-04-20
WO2015021200A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
CN105531700B (zh) 通过扩充服务的内容的自动扩充
US11074396B2 (en) Animating edits to documents
US10255253B2 (en) Augmenting and presenting captured data
US10592515B2 (en) Surfacing applications based on browsing activity
US10394949B2 (en) Deconstructing documents into component blocks for reuse in productivity applications
US9069868B2 (en) Computer device for reading e-book and server for being connected with the same
US10430509B2 (en) Note browser
US9183316B2 (en) Providing action links to share web content
US10152538B2 (en) Suggested search based on a content item
WO2013070534A1 (en) Function extension for browsers or documents
US20100306307A1 (en) System and method for social bookmarking/tagging at a sub-document and concept level
US20140136546A1 (en) Social network aware search results with supplemental information presentation
US20100169318A1 (en) Contextual representations from data streams
TW201428515A (zh) 在電子閱讀器環境中基於內容及物件元資料的搜尋
KR20180010116A (ko) 웹페이지 내 문장 기반의 컨텐츠 등록 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant