CN110321469A - 在电子文档的文本中嵌入媒体内容项 - Google Patents

在电子文档的文本中嵌入媒体内容项 Download PDF

Info

Publication number
CN110321469A
CN110321469A CN201811219938.7A CN201811219938A CN110321469A CN 110321469 A CN110321469 A CN 110321469A CN 201811219938 A CN201811219938 A CN 201811219938A CN 110321469 A CN110321469 A CN 110321469A
Authority
CN
China
Prior art keywords
user
text
items
media content
electronic document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811219938.7A
Other languages
English (en)
Inventor
帕特里克·M·科兰杰洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spice Asia Private Ltd
Original Assignee
Spice Asia Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spice Asia Private Ltd filed Critical Spice Asia Private Ltd
Publication of CN110321469A publication Critical patent/CN110321469A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G06F16/94—Hypermedia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

接收可播放媒体内容项。包括文本的电子文档被访问，以及通过自然语言处理分析电子文档的文本的部分，以提取与文本的部分相关联的关键字。基于媒体内容项和与文本的部分相关联的关键字之间的所确定的匹配，来将媒体内容项与文本的部分相关联。通过计算机网络向电子文档的发布者发送该关联，以用于将媒体内容项链接到文本的部分。

Description

在电子文档的文本中嵌入媒体内容项
技术领域
本申请总体上涉及在电子文档中嵌入媒体内容，并且特别地涉及在电子文档的文本中嵌入媒体内容。
背景技术
电子文档通常由媒体内容项(诸如图片、音频记录或视频记录)进行补充。如果电子文档的读者希望查看与文档相关的媒体内容项，则读者通常必须离开文档的上下文，以打开并且在新的网页或新的应用中查看媒体内容项。为了避免这种不便，电子文档的很多发布者将补充媒体内容项嵌入到电子文档中。
提供有电子文档的一种常见类型的媒体内容是视频或图形广告。例如，当用户设备请求网页时，广告被提供给用户设备并且显示在网页内或网页上。发布者通过提供这些广告来从广告商获取收入，通常是通过每次展示费用模型或每次点击费用模型。使用这些模型计算的收入通常与向用户显示的广告的数目相关，并且因此发布者被激励将大量空间(通常称为“不动产”)分配给网页上的广告。
然而，最终用户通常不喜欢电子文档中的广告。从页面的实质内容中获取空间和注意力，这些广告为用户提供的仅仅是挫败感。此外，当通过网络检索文档时，电子文档中的广告增加了由用户设备所消耗的带宽量和所使用的功率。特别是对于移动设备(其通常具有比较大设备更小容量的电池，并且可以通过每月或预付的订金来接收数据，该订金覆盖了由设备可以下载的数据量)，由不需要的广告所使用的功率和数据可以是重大负担。为了避免这些问题，用户可能会在其设备上安装广告拦截器并且决定退出广告生态系统，从而导致发布者的收入损失并且降低了广告商的覆盖面。
发明内容
附图说明
图1A示出了用于在电子文档中嵌入媒体内容项的环境。
图1B是示出用于在电子文档中嵌入媒体内容项的环境的示例实施例的示意图。
图2A是示出由媒体嵌入系统可执行的功能模块的框图。
图2B是示出用户设备的框图。
图3是示出用于将媒体内容项与电子文档中的文本的部分相关联的过程的交互图。
图4是示出用于将媒体内容项嵌入电子文档中的文本的部分的过程的交互图。
图5A-5E示出了包括相关联的媒体内容项并且由用户设备显示的示例电子文档。
图6是示出处理系统的框图。
具体实施方式
本说明书中对“一个实施例”或“实施例”的引用表示结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定都指代同一实施例，也不是与其他实施例互斥的单独或替代实施例。此外，描述了可以由一些实施例而不是由其他实施例呈现的各种特征。类似地，描述了各种要求，这些要求可能是一些实施例的要求而不是其他实施例的要求。
系统概述
媒体嵌入系统将可播放媒体内容项(诸如视频或音频记录)与电子文档(诸如网页)中的文本的部分相关联。基于该关联，在用户查看文档之前，在电子文档中、在文本的部分处，到媒体内容的可选择的链接被生成。当用户在用户设备上查看文档时，用户对链接的选择将导致用户设备在电子文档上显示媒体内容项。当与在用户设备请求电子文档时加载和显示的嵌入式媒体内容(如通过传统技术所做的)相比时，嵌入式的可选择的链接减少了用户设备的功率和数据使用。例如，与文档相匹配的媒体内容项不被请求和显示，直到用户选择与该项目相关联的可选择的链接，。因此，用户可以选择查看媒体内容项，或者在不查看该项目的情况下继续阅读文档。通过不使用外部媒体内容项分散用户的注意力，用户在电子文档上花费的时间量可以增加。此外，当媒体内容项是广告时，发布者和广告商可以准确地确定广告展示何时发生并且从而更容易计算广告预算。
可选择的链接可以在嵌入层内生成，该嵌入层与显示电子文档的应用并行并且对其透明地操作。除了提供可选择的链接之外，嵌入层还可以跟踪和报告由与整个文档的用户交互而产生的事件数据，包括与媒体内容项相关联的文本的部分和与媒体内容项不相关的文本的部分。
图1A示出了根据一个实施例的用于在电子文档中嵌入媒体内容项的环境100。如图1A所示，环境100可以包括：通过网络150通信地耦合的发布者110、媒体内容提供者120、媒体嵌入系统130和用户设备140。环境100可以包括比所示出的更多或更少的组件。例如，环境100可以包括多个发布者110、媒体内容提供者120或用户设备140。
发布者110提供用于由用户设备140显示的电子文档。由发布者110提供的电子文档包括文本，并且可以是通过网络150可传送的各种内容中的任何一种，诸如网页、电子书、或杂志或者应用。除了文本内容之外，每个电子文档还可以包括定义文档的结构和/或在文档内可执行的动作的计算机可读代码。媒体内容项被嵌入到电子文档中的文本的一个或多个部分中。当在用户设备140上显示时，与嵌入的内容相关联的文本的部分可以被选择，以显示所嵌入的内容。发布者110可以通过使用由媒体嵌入系统130分发的软件开发工具包(SDK)生成到其电子文档中的媒体内容项的链接，该软件开发工具包将附加的计算机程序代码并入到用于由发布者110提供的文档的计算机程序代码中。当在用户设备上执行(例如，通过浏览器应用)时，该附加的、并入的代码使得用户设备显示与嵌入的内容相关的一个或多个可操作的用户界面元素，并且使得用户能够与媒体内容项交互。该并入的代码还可以使得用户设备向媒体嵌入系统130报告与文档或媒体内容项相关联的事件数据，以用于分析。
媒体内容提供者120提供要嵌入到电子文档中的媒体内容项。媒体内容项可以是可播放的内容项，诸如数字视频或音频记录。媒体内容提供者120可以包括内容托管平台，该内容托管平台存储媒体内容和分发内容项以显示给用户，或者媒体内容提供者120可以将内容项发送到媒体嵌入系统130，以用于托管。
基于媒体内容项和电子文档的关键字之间的所确定的匹配，媒体嵌入系统130生成媒体内容项与电子文档之间的关联。媒体嵌入系统130可以包括集中式实体，诸如被配置为执行本文中描述的各种操作的一个或多个服务器。附加地或替代地，媒体嵌入系统130可以包括执行去中心化的操作的多个设备。例如，本文中描述为由媒体嵌入系统130存储的数据可以存储在分布在多个计算设备上的区块链中。
媒体嵌入系统130可以为发布者110和媒体内容提供者120的操作者提供仪表板或其他界面，以向媒体嵌入系统130提交电子文档和媒体内容项并且管理与内容嵌入相关的信息。例如，内容提供者仪表板可以向内容提供者120的操作者示出：哪些内容项与电子文档相关联以及阅读文档的用户已经查看内容项多少次。类似地，发布者仪表板可以向发布者110的操作者示出：已经与发布者的文档相关联的内容项。该仪表板还可以允许操作者添加或去除内容项与电子文档之间的特定匹配。当内容提供者120向媒体嵌入系统130提交电子文档时，媒体嵌入系统130可以向内容提供者120发送SDK，以用于将媒体内容项嵌入到文档中。
媒体嵌入系统130还可以保持用于用户设备140的用户的账户。用户的账户信息可以包括由用户明确提供的信息，诸如由用户选择的用户名、与用户相关联的金融信息(例如，信用卡或银行账户号码)和用户的购物地址。用户账户还可以包括基于用户关于电子文档或媒体内容项的活动而自动确定的信息。例如，用户账户可以包括用户与之交互的媒体内容项的计数。
用户设备140接收电子文档和媒体内容项，并且将它们显示给设备140的用户。用户设备140可以是能够显示电子内容并且通过网络150进行通信的任何设备，诸如台式计算机、膝上型或笔记本计算机、移动电话、平板电脑、电子阅读器、电视机或机顶盒。用户设备140还可以包括或耦合到被配置为从用户接收输入的一个或多个输入设备，诸如鼠标、键盘、触摸屏、眼睛运动跟踪器、手势跟踪器或麦克风。
网络150实现发布者110、媒体内容提供者120、媒体嵌入系统130和/或用户设备140之间的通信。网络150可以包括一个或多个局域网(LAN)、广域网(WAN)、城域网(MAN)和/或因特网。
图1B是示出环境100的示例实施例的示意图。如图1B所示，环境100可以包括串联操作的若干层。在最高级别，应用层160可以在用户设备140上执行。应用层160可以向用户显示媒体内容项，并且接收与电子文档和媒体内容项相关的用户输入和动作。用户设备140在执行与诸如网页等电子文档162相关联的计算机可读代码的同时执行应用层160。共识层164将媒体内容项与文档162中的文本的部分进行匹配。数据层166维持用于环境100的数据，包括接收电子文档和媒体内容项，存储用户数据，以及跟踪与媒体内容项的用户交互。共识层164和数据层166中的一个或两个可以由与媒体嵌入系统130相关联的中心化的计算设备(诸如服务器)来执行。或者，一个或两个层可以是去中心化的，其中与层相关联的操作由分布式节点执行，该分布式节点被配置为向区块链168中的块写入数据并且从区块链168中的块中读取数据。最后，仪表板170可以向发布者110和/或媒体内容提供者120提供与媒体内容项和电子文档之间的关联相关的信息。
图2A是示出根据一个实施例的由媒体嵌入系统130可执行的功能模块的框图。图2A所示的模块可以包括：由媒体嵌入系统130的处理器可执行的软件、电子耦合到媒体嵌入系统130的硬件、固件或其任何组合。模块可以是自包含的，也可以不是自包含的。如图2A所示，媒体嵌入系统130可以执行进入模块205、文档处理模块210、内容处理模块215、关联模块220和事件跟踪模块225。可以由媒体嵌入系统130执行的附加的、更少的或不同的模块，并且媒体嵌入系统130的功能可以不同地分布在这些模块之间。
进入模块205接收媒体内容项和电子文档的标识。媒体内容项可以由媒体内容提供者120提供给进入模块205，媒体内容提供者120可以将媒体内容项传输到进入模块205(例如，作为文件)或者向进入模块205发送到由媒体内容提供者120存储的媒体内容项的链接或者其地址。当接收媒体内容项的标识时，进入模块205还可以从媒体内容提供者120接收关于媒体内容项的描述性信息。描述性信息可以描述媒体内容项本身，或者可以描述应当如何分发媒体内容项。例如，描述性信息可以包括描述内容项的主题的一个或多个关键字。作为另一示例，如果内容项是广告，则描述性信息可以包括关于以下各项的信息：内容项应当在何时被将嵌入电子文档中(例如，活动日期或一天中的时间)、内容项应当被嵌入到哪些电子文档中(例如，与电子文档相关联的主题或关键字)以及内容项应当为哪些用户嵌入(例如，诸如人口统计信息或地理区域等目标标准)。
一个或多个发布者110向进入模块205提供电子文档。发布者110可以提供与每个电子文档相关联的链接或地址，诸如网址(例如，统一资源定位符(URL))。或者，发布者110可以向媒体嵌入系统130传输文档，以供进入模块205接收。与电子文档相关联的发布者110可以提供用于电子文档的描述性信息，诸如描述文档的内容的一个或多个关键字。
文档处理模块210处理从发布者110接收的电子文档。文档处理模块215可以通过各种自然语言处理技术中的任何一种来分析文档，这些技术应用计算方法来从文本中分析和合成自然语言和语音。由文档处理模块215使用的自然语言处理技术可以包括：例如神经网络、随机过程、监督或无监督学习、手动创建的分类器或查找表。通常，文档处理模块210可以通过结构提取和标记化(tokenizations)将从文档提取的字符流转换为诸如关键字或句法标记等词汇项序列。基于自然语言处理分析，文档处理模块210可以确定用于文档的一个或多个关键字。文档关键字可以表示对整个文档的分析，诸如最能代表文档的整个文本的主题。一个或多个文档关键字可以附加地或替代地表示文档的部分。例如，文档处理模块210可以选择文档中的一个或多个句子或段落的主题作为文档关键字
当接收到文档时，文档处理模块210可以合并文档中的句子、段落或短语，并且输出描述整个文档的一个或多个关键字。例如，文档处理模块210使用最大边际相关技术或基于图的排序算法来突出显示来自文档的句子的信息子集。
文档处理模块210还可以分析文档的子集，诸如句子，以确定句子的含义，从句子中提取关键字，以及标识句子关键字之间的共性。为了分析文档的句子和其他子集，文档处理模块215可以标识在段落中的句子中使用的单词之间的实体、词性和关系。文档处理模块215可以标识文本中的参数，诸如枚举、位置、日期、时间、数字、联系人、距离或持续时间。词性可以被标记和匹配，例如，将形容词和副词与它们所描述的名词和动词相关联，将介词链接到其对象，并且将代词或回指动词与其先行词相匹配。文档处理模块215还可以标识经命名的实体，诸如公司、人、城市或国家，以搜索名称本身、首字母缩略词、主题标签、电子邮件、统一资源定位符(URL)或与实体相关联的其他标识符。然后，文档处理模块215可以分析所标识的实体之间的预定义或学习的关系。例如，如果文档是讨论软饮料制造商的文章，则文档处理模块215可以标识出简短地提及竞争者的产品的句子不如文档中的其他句子重要，即使讨论竞争者的句子使用诸如“软饮料”或“饮料”等被视为与文档相关的术语。
文档处理模块210还可以通过其他技术来分析段落、句子和短语，诸如词形还原、随机语法分析、复合术语处理、词义消歧或指代消解。词形还原使用语言词典将单词变化减少为根词，诸如将复数名词减少为单数，将动词变形简化为不定式形式，或者分解复合词。随机语法分析通过分析单词之间的关系(诸如句子中的谓词和对象)并且应用概率上下文无关语法来从关系中构建解析树来确定用于句子的分析树。复合术语处理匹配句子中的两个或更多个单词以创建具有可以与单个单词的含义不同的含义的复合词。例如，文档处理模块210应用复合术语处理来标识句子中的复合术语“三垒安打”(“triple base hit”)。词义消歧基于在句子、文档或文档语料库中单词的上下文来选择具有多种可能含义的单词或一系列单词的含义。在一个实施例中，文档处理模块210通过将单词应用于已经使用手动注释文本的语料库训练的词义消歧分类器来选择单词含义。指代消解在文本的部分中标识引用同一对象的两个或更多个单词。例如，在句子“He walked through Mary's housetoward the living room window”中，文件处理模块210确定短语“living room window”用作桥接“Mary's house”和“window”之间的关系的参考表达。
文档处理模块210还可以分析跨文档讨论的主题的情感。情感分析是从文本语料库(诸如目标文档或包括目标文档的一组文档)中提取主观信息以及对语料库中的意义、情绪或意见的极性进行分类。通过分析文档的情感，文档处理模块210可以降低媒体内容项与具有相关语言但不适当的上下文的文档相匹配的可能性。
文档处理模块210还可以从发布者110接收文档关键字。如果发布者110提供关键字，则文档处理模块210可以将所提供的关键字与提取的关键字或整个文档文本进行比较，以验证关键字是否与文档相关。例如，文档处理模块210确定关键字是否出现在文档的文本内，或者确定关键字是否与提取的关键字或文档的文本在语义上相关。
内容处理模块215处理所接收的媒体内容项用于嵌入电子文档中。包括音频文件的媒体内容项(诸如音频记录或视频)可以通过清除音频(例如，以去除背景噪声或调节音量或音调)并且将音频文件转录(transcribe)成文本而被处理。转录文本中的单词可以被加时间戳以供以后参考，并且句子或短语可以被划分以推断转录中的标点符号。内容处理模块215可以分析转录文本以标识文本中的句子或短语，确定文本的语义含义，或者从文本中提取主题。内容处理模块215可以通过与由文档处理模块210用来分析电子文档的技术类似的技术来分析文本。基于对文本的分析，内容处理模块215确定媒体内容项的一个或多个关键字。关键字可以表示对整体内容项的分析，诸如描述整个内容项的主题或者代表内容项文本的句子。关键字可以替代地表示对内容项的部分的分析，诸如表示从转录文本中提取的句子的主题。
内容处理模块215还可以从内容提供者120接收一个或多个关键字。在一些情况下，内容提供者可以在向媒体嵌入系统130提交内容项时为其内容项指定关键字。例如，如果媒体内容项是汽车的视频广告，则与内容项相关联的内容提供者可以在向媒体嵌入系统130发送内容项时提供关键字“汽车”。内容处理模块215可以为媒体内容项选择另外的或不同的关键字。在一个实施例中，内容处理模块215从内容项的转录文本中选择关键字。关键字可以是单个单词，例如表示内容项的主题，或者是多个单词的串，诸如从转录文本中选择的句子。
内容处理模块215可以生成内容项的修改版本。当内容项是视频时，内容处理模块215可以通过从视频中去除内容和/或隔离视频中的重要内容(诸如扬声器)来生成经修改的视频。例如，如果视频示出人说话，则媒体嵌入系统130可以从视频中去除背景内容的至少一部分以隔离视频中的说话者。可以通过将卷积神经网络应用于视频来选择用于去除的内容，以去除视频帧中的背景图像和其他内容。内容处理模块215可以附加地或替代地截短视频或音频记录。例如，内容处理模块215可以标识与文档文本相关的视频或音频的部分，诸如示出说出特定句子的人的部分，并且生成包括相关部分并且不包括这个项目的其他部分的剪辑。
关联模块220将媒体内容项与电子文档中的文本的部分相关联。基于在不同程度的文档和内容项粒度之间确定的相似性，关联模块220可以将媒体内容项与电子文档进行匹配，诸如将句子与句子匹配，将句子与关键字匹配，将关键字与关键字匹配，句子与整个文档或内容项匹配，或者将整个文档与整个内容项匹配。在一个实施例中，如果与媒体内容项相关联的关键字和与文本的部分相关联的关键字相匹配，则关联模块220将媒体内容项与文本的部分相关联。关联模块220可以计算内容项关键字与文档关键字之间的相似性程度，并且如果相似性大于阈值，则确定关键字之间的匹配。例如，如果文档处理模块210为文档中的句子选择关键字“食物”，则关联模块220确定“食物”与内容项关键字“美味”之间的相似性程度，并且如果相似性程度高于指定阈值，则将内容项与句子进行匹配。
在另一实施例中，如果与媒体内容项相关联的关键字本身被包括在文本的部分中，则关联模块220将媒体内容项与文本的部分进行匹配。例如，如果内容项的关键字是“汽车”，则关联模块220标识电子文档中的单词“汽车”的实例，并且将内容项与单词本身、包含该单词的句子或包含单词的段落进行匹配。关联模块220可以使用同义词或主题邻近来将内容项与文档文本进行匹配，例如将媒体内容项与包括“车辆”、“汽车”、“运输”或“驾驶”的文本的部分进行匹配。此外，基于文档文本的自然语言处理分析，关联模块220可以确定文档中的上下文中的单词的语义含义，以改善媒体内容关键字与文本的部分之间的匹配。例如，当它指代操作车辆的人而不是在练习场练习高尔夫挥杆的人时，关联模块220分析语义以将媒体内容关键字“汽车”与单词“驾驶”进行匹配。
如上所述，媒体内容项的关键字可以包括从内容项转录的多个单词，诸如在内容项期间说出的句子。在一个实施例中，如果转录中的阈值数目的连续单词与电子文档的文本中的相应数目的连续单词相匹配，则关联模块220将媒体内容项与文本的部分进行匹配。例如，包含“Gettysburg Address”朗读的媒体内容项可以将短语“Four score and sevenyears ago,our fathers brought forth on this continent”作为关键字。使用六个单词的阈值，如果关联模块220发现文档中连续出现“Four score and seven yearsago”，则关联模块220将媒体内容项与文档中的文本的部分进行匹配，但是不将内容项与在关键字中出现“seven”而没有其他词的单词的实例进行匹配。
在一些实施例中，通过选择与电子文档相关的内容项，关联模块220将内容项与电子文档中的文本的部分进行匹配。文档可以具有一个或多个文档关键字，这些文档关键字可以由发布者110提交或者由文档处理模块210从文档中提取。关联模块220可以通过确定内容项的关键字与文档关键字之间的相似性来将媒体内容项与电子文档进行匹配。一旦选择了内容项，关联模块220就可以将内容项与文档中的文本的部分进行匹配，例如通过如上所述的过程。由关联模块220确定的相似性可以表示内容项与文档之间的匹配程度，并且如果相似性大于指定阈值，则关联模块220可以确定内容项与文档之间存在匹配。对于包括多个单词的关键字，相似性可以表示内容项关键字中单词与文档关键字中的单词相匹配的百分比。例如，如果内容项关键字中的五个单词中的三个也出现在文档关键字中，则内容项和文档的相似性可以被确定为60％。相似性可以附加地或替代地表示内容项关键字与文档关键字之间的语义接近度。为了确定关键字之间的语义相似性，关联模块220可以访问量化单词或概念之间的距离的本体，并且计算内容项关键字中的一个或多个单词与文档关键字中的一个或多个单词之间的距离。
在一些实施例中，关联模块220可以从内容提供者120、发布者110或用户设备140的用户接收媒体内容项与电子文档中的文本的部分之间的匹配，并且可以基于所接收的匹配将内容项与文本的部分相关联。例如，网页提供者可以作为发布者110和媒体内容提供者120两者，并且可以使用视频与页面上的文本的一个或多个部分之间的显式映射来向媒体嵌入系统130发送电子文档(例如，包括新闻文章的网页)和媒体内容项(例如，示出语音的视频)。例如，包括来自国家联盟地址的引用的新闻文章可以提供有语音的视频剪辑，使得文章中的引用可以各自与示出总统说出引用的可播放视频剪辑相关联。或者，发布者110可以选择文本的部分以与媒体内容项相关联，并且关联模块220标识与所选择的部分相匹配的媒体内容项。例如，发布者110选择新闻文章中的文本的三个部分，每个部分与来自国家联盟地址的引用相对应，并且关联模块220搜索视频库以标识示出总统说出每个引用的视频剪辑。
通过将机器学习算法应用于与嵌入式媒体内容项的用户交互相关联的数据，关联模块220可以随着时间而改善媒体内容项与文本的部分之间的匹配。例如，关联模块220获知具有指定关键字的媒体内容项在嵌入某些文档中时会受到更多用户注意，而在嵌入其他文档中时会受到较少关注。作为另一示例，关联模块220获知比其他用户更可能与某些类型的内容项交互的用户的特性。
事件跟踪模块225在设备显示电子文档的同时从用户设备140接收事件数据，并且将事件数据存储在与设备140的用户相关联的用户帐户中。事件数据可以包括用户设备140关于电子文档而执行的任何动作，包括显示文档，滚动文档，在文本的部分处接收与嵌入的媒体内容项相关联的用户输入，或者关闭文档。报告给事件跟踪模块225的事件数据可以与用户或用户设备140的唯一标识符相关联，诸如用户名或媒体访问控制(MAC)地址。用户或设备标识符可以与任何电子文档相关联，该电子文档并入由媒体嵌入系统130分发的SDK的计算机程序指令。因此，事件跟踪模块225可以跟踪用户关于多个电子文档的活动，而没有例如将cookie存储到用户使用的浏览器中。
事件数据还可以包括在显示的媒体内容项处接收的用户输入。在一个实施例中，响应于在显示的媒体内容项处的用户输入，事件跟踪模块225触发与媒体内容项相关的金融交易。例如，响应于用户在媒体内容项上轻击或点击，事件跟踪模块225而触发金融交易，以购买媒体内容项中示出的产品。响应于输入，事件跟踪模块225可以提示用户提供登录凭证，诸如用户名和密码，以登录或创建包括完成金融交易所必需的财务和运送信息的用户帐户。一旦用户登录，事件跟踪模块225可以自动将用户帐户信息与从用户设备140接收的后续事件数据相关联。然后，用户可以通过诸如轻击或点击媒体内容项等单个输入发起金融交易。通过响应于在内容项处的用户输入而触发金融交易，事件跟踪模块225使得用户能够继续查看电子文档，而无需离开文档或等待用户设备140加载另一文档。
响应于指向所显示的媒体内容项的用户输入，可以被触发的其他示例金融交易包括：响应于涉及媒体内容项的用户输入，内容提供者120针对广告展示向发布者110付费，或者内容提供者120或发布者110向用户付费，以用于与媒体内容项进行交互。在一个实施例中，事件跟踪模块225基于其与项目交互的时间量而确定针对用户与媒体内容项的交互的用户的费用。支付金额可以基于用户输入的持续时间来确定。例如，如果用户轻击并且保持文本的部分以查看内容项，则用户的费用可以随着用户持有文本的部分的时间量(并且因此显示内容项的时间量)的增加而增加。用户输入持续时间与支付金额之间的关系可以是例如线性、指数或对数，可选地具有指定的上限，该上限定义用户与内容项交互可以获取的最大金额。随着用户输入的持续时间增加而增加用户的费用可以激励用户更频繁地和更长的时间长度与媒体内容项交互，从而增加用户记住例如广告产品或品牌的可能性。事件跟踪模块225可以确定针对用户与内容项的其他类型的交互的用户的费用。例如，用户可以获取指定金额，以用于购买与内容项相关联的产品、与社交网络连接共享内容项、或者为内容项提供评论或评价。
事件数据还可以包括关于用户设备140的用户的行为的信息，并且事件跟踪模块225可以分析行为信息以确定用户是人还是计算机实现的机器人。行为信息可以包括：例如，用户输入的持续时间、用户输入相对于显示的文档和显示文档的屏幕的位置、用户输入的表面区域、在具有嵌入式媒体内容项的文档中的文本的部分之间的间隔、文档的滚动速率、文档上的辅助输入设备移动、输入设备手势的一致性以及文档被查看的时间量。事件跟踪模块225可以将启发式或机器学习技术(诸如分类器)应用于行为信息以标识用户是人还是机器人。行为信息可以与特定文档相关联，或者，事件跟踪模块225可以随着时间跟踪来自用户设备140的行为，以确定例如跨越多个文档的长时间手势行为和持续使用模式。
图2B是示出根据一个实施例的用户设备140的框图。如图2B所示，用户设备140可以包括硬件240、操作系统245和驱动器250，并且可以执行浏览器应用255和内容嵌入应用260。用户设备140可以包括图2B中未示出的附加组件，包括网络组件。
硬件240包括用户设备140的物理组件，包括处理器、存储器、显示设备以及一个或多个输入设备、以及数据链路、控制器，以及用于操作和启用处理器、存储器、显示设备和输入设备之间的电子通信的其他组件。操作系统245包括由硬件240可执行的软件，这些软件支持用户设备140的基本功能。驱动器250促进操作系统245与用户设备140的各种其他组件(包括输入设备、浏览器应用255和内容嵌入应用260)之间的通信。
浏览器应用255检索电子文档并且将文档显示给用户设备140的用户。浏览器应用255包括由硬件240可执行的软件，并且可以是网络浏览器、移动应用或被配置为使用从发布者110接收的指令重建和显示电子文档的其他应用。例如，浏览器应用255使用由发布者110传输到用户设备140的标记语言构建网页。浏览器应用255还可以促进与电子文档的用户交互，包括阅读文档，与其他用户共享文档，以及查看文档的文本中嵌入的媒体内容。
内容嵌入应用260与浏览器应用255并行并且对其透明地操作，并且使得用户能够与嵌入在电子文档中的媒体内容进行交互。当由硬件240执行时，内容嵌入应用260在电子文档中的文本的部分处显示可选择的链接。如果用户设备140接收指向可选择的链接的用户输入，则内容嵌入应用260检测该用户输入并且检索和显示媒体内容项，例如在与浏览器应用生成的窗口相关联的模态窗口中。此外，当用户查看电子文档和嵌入的媒体内容项并且与之交互时，内容嵌入应用260收集事件数据并且将数据传输到媒体嵌入系统130，以供事件跟踪模块225进行分析。用于内容嵌入应用260的计算机程序代码可以被传输到具有用于电子文档的计算机可读代码的用户设备140。因此，在浏览器应用255显示具有嵌入式媒体内容项的文档的同时，用户设备140可以执行内容嵌入应用260，而在浏览器应用255显示没有嵌入式媒体内容项的文档的同时，内容嵌入应用260可以保持关闭或空闲。内容嵌入应用260的部分可以附加地或替代地包括扩展浏览器应用255的功能的计算机程序代码。例如，内容嵌入应用260可以是在浏览器应用255内操作的浏览器扩展。
在电子文档中嵌入媒体内容项
图3是示出根据一个实施例的用于将媒体内容项与电子文档中的文本的部分相关联的过程300的交互图。如图3所示，过程300包括媒体内容提供者120、媒体嵌入系统130和发布者110之间的交互。过程300的其他实施例可以包括附加的、更少的或不同的步骤，以及可以以不同的顺序执行步骤。
如图3所示，媒体内容提供者120向媒体嵌入系统130上传302一个或多个媒体内容项。通过向媒体嵌入系统130发送文件，或者通过发送由媒体内容提供者120或其他系统存储的媒体内容项的链接、地址或标识符，媒体内容提供者120可以上传302项目。当向媒体嵌入系统130发送媒体内容项时，媒体内容提供者120还可以提供与内容项相关联的描述性信息。该描述性信息可以包括描述内容项的关键字，例如以概括内容项的主题。描述性信息可以附加地或替代地指定内容项应当在何时或如何与电子文档进行匹配。例如，如果媒体内容项是广告，则内容提供者120可以提供活动日期，以指定媒体嵌入系统130可以将内容项与电子文档进行匹配的日期范围。广告还可以与指定用户属性的一个或多个目标标准相关联。当其被满足目标标准的用户请求时，媒体嵌入系统130可以使用目标标准将广告与电子文档相关联，并且当请求用户不满足目标标准时，媒体嵌入系统130可以不将广告与文档相关联。示例目标标准包括用户的人口统计属性(诸如年龄或性别)、用户的位置属性(诸如用户从其访问电子文档的地理区域)、用户访问文档所使用的设备类型、或者访问文档的一天中的时间。可以与广告一起提供的其他描述性信息包括：广告应当与之相关联的电子文档的关键字、或者指示在特定时间段内广告应当与电子文档相关联的次数的广告预算(例如，每天、每月或整个广告系列的预算)。
媒体嵌入系统130从媒体内容提供者120接收媒体内容项，并且处理304内容项。处理304内容项可以包括：将来自内容项的音频转录成文本并且从被转录的文本中提取关键字。处理304还可以包括生成内容项的修改版本。例如，媒体嵌入系统130可以从视频中去除背景内容的至少一部分，以隔离视频中的说话者，或者可以生成音频或视频文件的剪辑。
发布者110向媒体嵌入系统130发送306包括文本的电子文档的标识符。发布者110可以向媒体嵌入系统130发送306与电子文档相关联的地址，诸如文档的网络地址。或者，发布者110可以向媒体嵌入系统130发送306电子文档的内容，诸如来自文档的一些或全部文本。通过允许媒体嵌入系统130在应用被执行时访问应用以使得媒体嵌入系统130能够从应用中提取文本，移动应用的发布者可以发送306文档。发布者可以提供描述其电子文档的内容的关键字，或者可以标识发布者希望与媒体内容项相关联的文本的特定部分。
媒体嵌入系统130访问308由发布者110提供的电子文档并且处理310文档。处理310文档可以包括：索引文档的文本，并且基于自然语言处理分析从文本中提取一个或多个关键字。媒体嵌入系统130还可以从发布者110接收文档的关键字。
基于媒体内容项与文本的部分之间的确定的匹配，媒体嵌入系统130将电子文档中的文本的部分与媒体内容项相关联312。媒体嵌入系统130可以将媒体内容项的部分(诸如句子)与文本的部分进行匹配，将媒体内容项的关键字与文本的部分进行匹配，将文本的部分的关键字与媒体内容项的部分(例如，句子)进行匹配，将文档的文本的部分与整个媒体内容项进行匹配，或者将媒体内容项的部分与整个文档进行匹配。媒体嵌入系统130可以通过例如以下方式来确定媒体内容项与文本的部分之间的匹配：标识具有与内容项的关键字相匹配的关键字的文本的部分，标识包括内容项的关键字的文本的部分，或者标识与内容项关键字在主题或语义上相似的文本的部分。在一个实施例中，通过确定媒体内容项的关键字与文本的部分的关键字之间的匹配，媒体嵌入系统130将文本的部分与媒体内容项相关联312，其中两个关键字是基于相应内容的自然语言处理而选择的。在另一实施例中，媒体嵌入系统130通过使用自然语言处理分析媒体内容项的句子和电子文档的句子并且确定句子之间的匹配来将媒体内容项与文本的部分相关联312。在又一实施例中，通过分析电子文档的大部分或全部(包括除了与媒体内容项相关联的部分之外的文本)并且确定媒体内容项和整个电子文档之间的相似性，媒体嵌入系统130将媒体内容项与文本的部分相关联312。或者，媒体嵌入系统130可以从发布者110或内容提供者120接收媒体内容项与文本的部分之间匹配，并且可以基于所接收的匹配将媒体内容项与文本的部分相关联。
媒体嵌入系统130向发布者110提供314媒体内容项与电子文档的部分之间的关联。可以为由发布者110提交的每个电子文档提供媒体内容项与文本的部分之间的关联，并且关联可以例如包括：将内容项的标识符映射到文档中的文本的相应部分的索引。关联还可以包括媒体内容项的位置，诸如内容提供者120或媒体嵌入系统130存储媒体内容项的地址。发布者110可以使用这些关联来将媒体内容项链接到文本的部分。
图4是示出根据一个实施例的用于将媒体内容项嵌入电子文档中的文本的部分的过程400的交互图。如图4所示，过程400包括媒体内容提供者120、媒体嵌入系统130、发布者110和用户设备140之间的交互。过程400的其他实施例可以包括附加的、更少的或不同的步骤，并且可以以不同的顺序执行步骤。
用户设备140请求402电子文档，诸如网页。利用文档请求，用户设备140可以传输关于设备140的用户的信息。用户信息可以在加密用户的属性、用户的财务信息或者关于用户的其他敏感信息的安全智能合约内发送到媒体嵌入系统130。智能合约定义用于在用户设备140与媒体嵌入系统130之间交换信息的协议，并且可以存储在区块链中以保护用户信息。
响应于请求402，发布者110可以从媒体嵌入系统130请求404媒体内容项与所请求的电子文档之间的关联。发布者110可以利用请求404向媒体嵌入系统130传输用户信息。在另一实施例中，发布者110检索由媒体嵌入系统130先前提供的关联。
媒体嵌入系统130选择406一个或多个媒体内容项，并且向发布者110提供408所选择的媒体内容项与电子文档中的文本的部分之间的关联。在一些情况下，媒体嵌入系统130可以向发布者110发送与文档的部分匹配的任何内容项的关联。在其他情况下，内容项可以部分基于媒体内容项的描述性信息或请求文档的用户的属性来选择。例如，如果内容项与目标标准相关联，则媒体嵌入系统130基于内容项的目标标准与用户的属性之间的匹配来从多个内容项中选择所选择的媒体内容项。在这种情况下，例如，如果多个视频广告与文档中的单词“汽车”相匹配，则媒体嵌入系统130可以在具有中产阶层工资的用户查看文档时选择中等汽车的视频广告，同时当具有更高的薪水用户查看文档时选择奢侈车辆的视频广告。作为另一示例，内容项可以与广告预算相关联，该广告预算指定用于将每个内容项嵌入电子文档中的目标频率。媒体嵌入系统130可以确定在指定的时间段内多个内容项中的每个已经嵌入电子文档中的次数，并且可以选择嵌入频率小于目标频率的内容项。一旦内容项被选择，媒体嵌入系统130就向发布者110发送所选择的媒体内容项与电子文档中的文本的部分之间的关联。
基于这些关联，发布者110在电子文档中生成410可选择的链接。发布者110可以使用由媒体嵌入系统130分发的SDK来生成链接，该SDK将可执行计算机程序指令并入与电子文档相关的指令中。当被执行时，并入的指令可以生成到可以由用户设备140显示的电子文档内的媒体内容项和用户界面层的链接。每个可选择的链接可以包括相应媒体内容项的位置，以使得用户设备140能够在链接被选择时检索和显示媒体内容项。此外，每个链接可以包括由用户设备140可以与电子文档中的文本的部分相关联地显示的用户界面元素。例如，发布者110可以将超链接添加到文档中，并且用超链接的链接文本替换纯文本的部分。或者，发布者110可以向电子文档添加用户界面元素，该用户界面元素与文档文本的部分重叠、相邻或以其他方式与之相关联。链接可以通过例如未用于与媒体内容项不相关联的文档文本的部分的形状、文本颜色、文本大小、字体或字体样式来在视觉上与文档的其他内容区分开。链接还可以包括动画，该动画例如当用户选择链接时、当输入设备位于链接附近时、当用户设备140首次显示电子文档时或者以随机间隔地显示。因为由发布者110执行的SDK可以控制整个文档如何显示，所以动画可以显示在文档页面的任何部分上或与文档页面的任何部分相关联地显示。例如，动画可以包括链接或文本的部分的视觉效果，诸如滚动链接的可视指示符，更改颜色或突出显示文本的部分，或引起链接或文本的部分闪烁和关闭。或者，动画可以包括与整个电子文档相关联的视觉效果，诸如文档背景的颜色变化、文档上的烟花动画或落在文档页面上的流光、或者文档的旋转或缩放。
发布者110向用户设备140发送412具有嵌入式链接的文档，用户设备140向用户显示414文档。图5A示出了由用户设备140显示的示例的电子文档500。在图5A的示例中，文本的部分502与媒体内容项相关联。由发布者110生成的链接可以显示为与文本部分502相关联的可选择的用户界面元素504，诸如文本部分502下方的下划线或者向用户指示链接与文本相关联的任何其他方式。
参考图4和5A，用户设备140在与文档文本的部分相关联的可选择的链接处检测416用户输入。用户输入可以包括例如在所显示的链接处接收的点击或在所显示的链接处接收的触摸输入。响应于用户输入，用户设备140从由可选择的链接指定的位置访问媒体内容项，并且在文档上显示418媒体内容项。媒体内容项可以显示在与显示文档的窗口相关联的模态窗口中，显示在覆盖在文档上的HTML中，或者显示在文档本身中(例如，在用户输入之前隐藏并且响应于用户输入而激活的分割元素中)。在一个实施例中，如果用户输入的特性满足与链接相关联的显示标准，则用户设备140显示媒体内容项。显示标准可以是用户输入的阈值持续时间。例如，如果阈值持续时间是三秒，则如果用户在文本的链接部分上触摸并且保持或点击并且保持至少三秒，则用户设备140显示媒体内容项。或者，用户设备140可以响应于用户输入的开始(例如，轻击或点击)而显示媒体内容项，并且在用户输入的持续时间内继续显示媒体内容项。例如，如果用户触摸并且保持与媒体内容项相关联的文本的部分，则只要触摸输入持续，用户设备140就显示418项目，并且当触摸输入被去除时关闭项目。可以用于确定是否显示媒体内容项的其他示例性显示标准包括：多个用户输入(例如，在指定时间段内至少两次点击或轻击)、或用户输入的方向(例如，在用户设备的显示器上向上移动至少指定距离的滑动)。
图5B示出了响应于链接504的选择而在文档500上显示(例如，叠加在其上)并且播放的示例媒体内容项510。与媒体内容项510相关联的文本502的部分可以以媒体内容项510作为标题512而被强调并且显示。媒体内容项510显示在文档500的上下文中，而无需例如打开显示文档500的应用的新窗口(例如，新的浏览器窗口)。在图5B的示例中，媒体内容项510被示出为覆盖在文档500的文本上，例如在HTML覆盖元素中。然而，不是显示在覆盖图中，而是可以在文档500的文本附近显示媒体内容项510，或者可以在页面上上下移动文档文本，或者向页面的一侧移动文档文本，以实现用于显示媒体内容项510的空间。例如，图5C示出了部分502下方的文本已经在文档页面上向下移动以允许将媒体内容项510与文档文本一致地显示。
当被显示418时，可以自动播放媒体内容项。例如，如果内容项是视频，则视频可以响应于用户输入506而开始播放。此外，由用户设备140显示的媒体内容项可以是由内容提供者提交的项目的修改版本，例如被截短以对应于文本的相关部分或者被修改以与视频的其他内容隔离地示出讲话的人。
与媒体内容项相关联的附加功能可以自动地或响应于第二显示标准而显示。附加功能可以包括：购买与内容项相关联的产品或服务的选项、评论或评价媒体内容项的选项、或社交网络功能(诸如用于共享或喜欢内容项的控件)。第二显示标准可以包括：例如用户输入的持续时间(例如，保持至少三秒)、指定的手势(例如，向上轻扫)或指定数目的用户输入(例如，至少两次点击)。用户设备140还可以使得用户能够提交与所显示的媒体内容项相关的评论或者查看由观看了媒体内容项的其他用户提交的评论。
图5D示出了与媒体内容项一起显示的附加功能的示例。在图5D中，媒体内容项522与文档520中的文本524的部分相关联。响应于第一用户输入(诸如触摸或点击文本524的一部分)，媒体内容项522可以持久地显示，。用户设备140可以响应于在与媒体内容项522相关联的区域之外的第二用户输入而关闭媒体内容项522。在显示媒体内容项522的同时，用户设备140显示：用于共享项目522的按钮526、用于评论项目的按钮528以及用于喜欢项目的按钮530。
图5E示出了与媒体内容项一起显示的附加功能的另一示例。在图5E中，媒体内容项542与文档540中的文本544的部分相关联。响应于第一用户输入(诸如触摸或点击文本544的部分)，媒体内容项542可以而持久地显示。用户设备140可以响应于与媒体内容项542相关联的区域之外的第二用户输入而关闭媒体内容项542。响应于指向媒体内容项542的用户输入，用户设备140可以显示选项屏幕546，以用于选择要购买的产品的特征(诸如与媒体内容项542相关联的鞋子的颜色和尺寸)。
用户设备140可以响应于缺少用户输入而关闭媒体内容项。例如，用户设备140在用户在文本的关联部分处提供连续触摸输入的同时显示媒体内容项，并且在触摸输入被去除时关闭媒体内容项。类似地，用户设备140可以在光标悬停在文本的相关部分上的同时显示媒体内容项，并且当用户将光标移动到文档上的另一位置时关闭项目。替代地，用户设备140可以响应于另一用户输入(诸如轻击或点击媒体内容项510外部的显示器的一部分)，而关闭媒体内容项。关闭媒体内容项可以引起用户设备140恢复文档500的正常显示，而没有任何可见的媒体内容项，例如如图5A所示。
用户设备140可以向媒体嵌入系统130报告420与文档或媒体内容项相关的事件数据。事件数据可以包括：媒体内容项被用户查看的通知、在显示的媒体内容项处的后续用户输入、与媒体内容项相关联的评论的输入、或与电子文档或媒体内容项的其他用户交互。
媒体嵌入系统130分析422事件数据。如果事件数据包括在所显示的媒体内容项处接收的用户输入，则媒体嵌入系统130可以响应于与用户输入相对应的事件数据而触发金融交易。例如，后续用户输入可以引起媒体嵌入系统130触发金融交易，以使得用户能够购买产品或针对与内容项相关的服务进行支付。当电子文档被请求时，媒体嵌入系统130可以从由用户设备140发送的智能合约中解密用户的财务信息，诸如银行账户或信用卡号。如果事件数据包括对由用户提交的媒体内容项的评论，则媒体嵌入系统130可以存储评论并且将其显示给查看媒体内容项的其他用户。
媒体嵌入系统130还可以使用事件数据来跟踪媒体内容项的多个视图。在某些情况下，用户可以接收用于查看内容项的财务支出以激励用户查看项目。因此，媒体嵌入系统130可以保持由用户查看的内容项的数目的计数，并且基于该计数周期性地(例如，每月一次)向用户支付报酬。在其他情况下，媒体内容提供者120可以基于由用户查看的嵌入式媒体内容项的数目来支付媒体嵌入系统130。因此，媒体嵌入系统130可以向内容提供者120报告422内容项视图。例如，如果媒体内容项是广告，则将用户输入作为与广告相关联的展示报告给内容提供者120。在一个实施例中，媒体嵌入系统130分析422事件数据以确定用户输入是由人还是由计算机实现的机器人提供的，并且从而确定内容项是否是由人查看的。如果媒体嵌入系统130基于行为信息确定用户为人，则媒体嵌入系统130可以向内容提供者120报告422媒体内容项的视图。如果媒体嵌入系统130确定用户可能是机器人，则视图可能不会被报告给内容提供者120。
处理系统
图6是示出其中可以实现本文中描述的至少一些操作处理系统600的示例的框图。例如，发布者110、内容提供者120和媒体嵌入系统130中的一个或多个可以实现为示例处理系统600。处理系统600可以包括通信连接到总线616的一个或多个中央处理单元(“处理器”)602、主存储器606、非易失性存储器610、网络适配器612(例如，网络接口)、视频显示器618、输入/输出设备620、控制设备622(例如，键盘和指示设备)、包括存储介质626的驱动单元624和信号生成设备630。总线616被示出为抽象，其表示通过适当的桥、适配器或控制器连接的任何一个或多个单独的物理总线、点对点连接或两者。因此，总线616可以包括例如系统总线、外围组件互连(PCI)总线或PCI-Express总线、HyperTransport或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气和电子工程师协会(IEEE)标准694总线(也称为“Firewire”)。
在各种实施例中，处理系统600作为用户设备的一部分操作，但是处理系统600也可以连接(例如，有线或无线地)到用户设备。在联网部署中，处理系统600可以在客户端服务器网络环境中以服务器或客户端机器的能力操作，或者在对等(或分布式)网络环境中作为对等机器操作。
处理系统600可以是服务器计算机、客户端计算机、个人计算机、平板电脑、膝上型计算机、个人数字助理(PDA)、蜂窝电话、处理器、网络设备、网络路由器、交换机或桥接器、控制台、手持控制台、游戏设备、音乐播放器、网络连接(“智能”)电视、电视连接设备、或能够执行指定要由处理系统600要采取的动作的一组指令(顺序的或其他的)的任何便携式设备或机器。
虽然主存储器606、非易失性存储器610和存储介质626(也称为“机器可读介质”)被示出为单个介质，但术语“机器可读介质”和“存储介质”应当包括存储一组或多组指令628的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”和“存储介质”还应当包括能够存储、编码或携带用于由计算系统执行并且引起计算系统执行当前公开的实施例的任何一种或多种方法的一组指令的任何介质。
通常，被执行以实现本公开的实施例的例程可以被实现为操作系统或特定应用、组件、程序、对象、模块或指令序列(被称为“计算机程序”)的一部分。计算机程序通常包括在计算机中的各种存储器和存储设备中的不同时间设置的并且当由一个或多个处理单元或处理器602读取和执行时引起处理系统600执行操作以执行涉及本公开的各个方面的元素的一个或多个指令(例如，指令604、608、628)。
此外，虽然已经在完全运行的计算机和计算机系统的上下文中描述了实施例，但是本领域技术人员将理解，各种实施例能够以各种形式被分发为程序产品，并且无论用于实际影响分发的特定类型的机器或计算机可读介质如何，本公开均适用。例如，本文中描述的技术可以使用虚拟机或云计算服务来实现。
机器可读存储介质、机器可读介质或计算机可读(存储)介质的其他示例包括但不限于可记录类型介质(诸如易失性和非易失性存储器设备610、软盘和其他可移动磁盘、硬盘驱动器、光盘(例如，光盘只读存储器(CD ROM)、数字通用磁盘(DVD)))和传输类型介质(诸如数字和模拟通信链路)。
网络适配器612使得处理系统600能够通过由处理系统600和外部实体支持的任何已知和/或方便的通信协议与处理系统600外部的实体协调网络614中的数据。网络适配器612可以包括网络适配器卡、无线网络接口卡、路由器、接入点、无线路由器、交换机、多层交换机、协议转换器、网关、桥接器、桥接器路由器、集线器、数字媒体接收器和/或转发器中的一个或多个。
网络适配器612可以包括防火墙，在一些实施例中，防火墙可以支配和/或管理访问/代理计算机网络中的数据的许可，并且跟踪不同机器和/或应用之间的不同级别的信任。防火墙可以是具有硬件和/或软件组件的任何组合的任何数目的模块，这些组件能够在特定的一组机器和应用、机器和机器、和/或应用和应用之间实施预定的一组访问权限，例如，以规范这些不同实体之间的流量和资源共享。另外，防火墙可以管理访问控制列表和/或能够访问访问控制列表，该访问控制列表详述许可，包括例如个人、机器和/或应用对对象的访问和操作权限以及许可权代表的情况。
如上所述，这里介绍的技术由例如可编程电路(例如，一个或多个微处理器)实现，用软件和/或固件编程，完全在专用硬连线(即，不可编程)电路中实现，或者以组合或这样的形式实现。专用电路可以是例如一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等形式。

Claims (30)

1.一种方法，包括：
接收可播放媒体内容项；
访问包括文本的电子文档；
通过自然语言处理分析所述电子文档的所述文本的部分，以选择与文本的所述部分相关联的关键字；
基于所述媒体内容项和与文本的所述部分相关联的所述关键字之间的确定的匹配，来将所述可播放媒体内容项与文本的所述部分相关联；以及
通过计算机网络向所述电子文档的发布者发送所述关联，所述电子文档用于将所述媒体内容项链接到文本的所述部分。
2.根据权利要求1所述的方法，其中所述可播放媒体内容项包括音频，并且其中所述方法还包括：
将所述音频转录为媒体内容文本；
通过自然语言处理分析所述媒体内容文本，以选择与所述媒体内容项相关联的所述关键字；以及
确定与所述媒体内容项相关联的所述关键字和与文本的所述部分相关联的所述关键字之间的匹配。
3.根据权利要求1所述的方法，其中所述可播放媒体内容项包括音频，并且其中所述方法还包括：
将所述音频转录为媒体内容文本；
通过自然语言处理分析所述媒体内容文本的句子；以及
基于所述分析，确定所述媒体内容项的句子和与文本的所述部分相关联的所述关键字和所述电子文档的句子中的至少一项之间的匹配。
4.根据权利要求1所述的方法，还包括：
通过自然语言处理分析除了所述部分之外的所述电子文档的文本；
其中，还基于所述媒体内容项与除了所述部分之外的所述电子文档的所述文本之间的确定的相似性，所述可播放媒体内容项被与文本的所述部分相关联。
5.根据权利要求1所述的方法，其中所述电子文档与文档关键字相关联，并且其中所述方法还包括：
从多个媒体内容项中选择具有与所述文档关键字相匹配的关键字的媒体内容项，所述多个媒体内容项中的每个媒体内容项与关键字相关联；以及
将所选择的媒体内容项与所述电子文档中的文本的所述部分相关联。
6.根据权利要求1所述的方法，还包括：
从用户设备接收访问所述电子文档的请求，所述请求包括所述用户设备的用户的属性；
基于所选择的媒体内容项的目标标准与所述用户的所述属性之间的匹配，从多个媒体内容项中选择媒体内容项，所述多个媒体内容项中的每个媒体内容项与目标标准相关联并且与所述电子文档中的文本的对应部分相关联；以及
通过所述计算机网络，向所述发布者发送所选择的媒体内容项的标识符。
7.根据权利要求1所述的方法，还包括：
从显示所述电子文档的第一用户设备接收与所述媒体内容项相关联的用户评论；以及
向第二用户设备发送所述用户评论，以显示给所述第二用户设备的用户。
8.根据权利要求1所述的方法，还包括：
从显示所述电子文档和所述媒体内容项的用户设备接收指向所显示的媒体内容项的、单个用户输入的指示；以及
响应于接收到所述指示，触发与所述媒体内容项相关的金融交易。
9.根据权利要求8所述的方法，其中所述金融交易包括：给所述发布者的支付。
10.根据权利要求8所述的方法，其中所述金融交易包括：给所述用户设备的用户的支付。
11.根据权利要求1所述的方法，其中所述媒体内容项包括视频，并且其中所述方法还包括：
标识与文本的所述部分相关的、所述视频中的内容；以及
通过从所述视频中去除除了所标识的内容之外的至少一部分内容，生成经修改的媒体内容项。
12.根据权利要求11所述的方法，其中所标识的内容包括：所述视频的第一时间部分，并且除了所标识的内容之外的内容的所述部分包括所述视频的第二时间部分。
13.根据权利要求11所述的方法，其中所述视频包括多个帧，并且其中所标识的内容包括至少一个帧的第一部分，并且除了所标识的内容之外的内容的所述部分包括所述至少一个帧的第二部分。
14.根据权利要求1所述的方法，其中所述电子文档包括移动应用的内容，并且其中访问所述电子文档包括：当所述应用在用户设备上、在运行时间被执行时，从所述移动应用中提取文本。
15.根据权利要求1所述的方法，还包括：
接收关于与所述媒体内容项的一个或多个用户交互的数据；
通过将所接收的数据应用于机器学习算法，分析所述媒体内容项与文本的所述部分之间的所述关联的性能；以及
基于所述性能，将所述媒体内容项与第二电子文档中的文本的所述部分相关联。
16.一种存储程序代码的非暂态存储介质，所述程序代码在用户设备中的执行时使得所述用户设备执行包括以下各项的步骤：
在由在所述用户设备中执行的应用所显示的电子文档中的文本的部分处，显示与可播放视频内容项相关联的可选择的链接；
检测指向所述可选择的链接的第一用户输入；以及
响应于所述用户输入的持续时间大于阈值持续时间，使得所述用户设备在由所述应用显示所述电子文档的窗口上生成模态窗口，并且在所述模态窗口中播放所述视频内容项。
17.根据权利要求16所述的非暂态存储介质，其中所述程序代码在所述用户设备中的执行还使得所述用户设备：
响应于所述用户输入的终止，自动关闭所述模态窗口。
18.根据权利要求16所述的非暂态存储介质，其中所述程序代码在所述用户设备中的执行还使得所述用户设备：
接收指向所显示的视频内容项的单个第二用户输入；以及
响应于所述第二用户输入，触发与所述视频内容项相关的金融交易。
19.根据权利要求16所述的非暂态存储介质，其中所述程序代码在所述用户设备中的执行还使得所述用户设备：
向服务器报告关于与所述电子文档的用户交互的行为信息，所述服务器被配置为基于所述行为信息来确定所述用户是否是计算机实现的机器人。
20.一种方法，包括：
访问包括文本的电子文档；以及
将计算机程序代码并入所述电子文档，所并入的计算机程序代码包括指令，由用户设备执行所述指令将使得所述用户设备在显示所述电子文档的同时：
在所述电子文档中的文本的部分处，显示与可播放视频内容项相关联的可选择的链接；
检测指向所述可选择的链接的第一用户输入；以及
响应于所述第一用户输入的持续时间大于阈值持续时间，使得所述用户设备生成模态窗口以在所述电子文档上显示所述视频内容项。
21.根据权利要求20所述的方法，其中所并入的计算机程序指令在被执行时还使得所述用户设备：
向服务器报告关于与所述电子文档的用户交互的事件数据。
22.根据权利要求21所述的方法，其中所述事件数据包括与用户与所述电子文档的交互相关的行为信息，并且所述服务器被配置为基于所述行为信息来确定所述用户是否是计算机实现的机器人。
23.根据权利要求20所述的方法，其中所并入的计算机程序指令在被执行时还使得所述用户设备显示与所述可选择的链接相关联的动画。
24.根据权利要求20所述的方法，其中所并入的计算机程序指令在被执行时还使得所述用户设备：
在显示所述视频内容项的同时显示与所述视频内容项相关的用户内容，所述用户内容包括：由用户提交的评论、关于所述内容项的用户反馈和购买了与所述视频内容项相关联的项目的用户的标识符中的至少一项。
25.根据权利要求20所述的方法，还包括：
经由计算机网络，接收所述视频内容项与文本的所述部分之间的关联，所述关联已经基于所述视频内容项和与文本的所述部分相关联的关键字之间的匹配而被确定；以及
基于所述关联，生成所述可选择的链接。
26.根据权利要求20所述的方法，其中所并入的计算机程序指令在被执行时还使得所述用户设备：
向服务器传输所述用户设备的用户的金融信息；
接收指向所显示的视频内容项的单个第二用户输入；以及
响应于所述第二用户输入，向所述服务器传输所述第二用户输入的指示，以使用所述金融信息触发与所述视频内容项相关的金融交易。
27.根据权利要求26所述的方法，其中所并入的计算机程序指令使得所述用户设备在从所述用户设备的用户接收登录凭证之前显示所述视频内容项，并且其中所并入的计算机程序指令在被执行时还使得所述用户设备：
从所述用户设备的所述用户接收所述登录凭证；
其中所述金融信息与所述登录凭证相关联地传输到所述服务器。
28.根据权利要求26所述的方法，其中所并入的计算机程序指令在被执行时还使得所述用户设备将所述用户的金融信息写入智能合约中。
29.根据权利要求20所述的方法，其中所并入的计算机程序指令在被执行时还使得所述用户设备：
响应于所述第一用户输入，使得支付被转移到所述用户设备的用户，其中所述支付的金额是基于所述第一用户输入的持续时间而确定的。
30.根据权利要求20所述的方法，还包括：
接收文本的所述部分的标识；以及
搜索转录视频内容项的数据库，以标识包括与文本的所述部分相匹配的文本的视频内容项；
其中所述可选择的链接与所标识的视频内容项相关联。
CN201811219938.7A 2018-03-30 2018-10-19 在电子文档的文本中嵌入媒体内容项 Pending CN110321469A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/942,247 2018-03-30
US15/942,247 US20190303448A1 (en) 2018-03-30 2018-03-30 Embedding media content items in text of electronic documents

Publications (1)

Publication Number Publication Date
CN110321469A true CN110321469A (zh) 2019-10-11

Family

ID=68054409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811219938.7A Pending CN110321469A (zh) 2018-03-30 2018-10-19 在电子文档的文本中嵌入媒体内容项

Country Status (3)

Country Link
US (2) US20190303448A1 (zh)
CN (1) CN110321469A (zh)
WO (1) WO2019190391A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204579A (zh) * 2021-04-29 2021-08-03 北京金山数字娱乐科技有限公司 内容关联方法、系统、装置、电子设备及存储介质
CN113452871A (zh) * 2020-03-26 2021-09-28 庞帝教育公司 用于从视频自动生成课程的系统和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823310B2 (en) * 2018-09-07 2023-11-21 Streem, Llc. Context-aware selective object replacement
US11049042B2 (en) 2018-11-05 2021-06-29 Convr Inc. Systems and methods for extracting specific data from documents using machine learning
US11270213B2 (en) * 2018-11-05 2022-03-08 Convr Inc. Systems and methods for extracting specific data from documents using machine learning
US10860181B1 (en) * 2018-12-13 2020-12-08 Amazon Technologies, Inc. Displaying actionable graphical user interface (GUI) objects on a page with a particular actionable GUI object in a modal window
US11095958B2 (en) * 2019-04-12 2021-08-17 Clipkick, Inc. Systems and methods of universal video embedding
US11699023B2 (en) * 2019-07-02 2023-07-11 Chegg, Inc. Producing automated sensory content and associated markers in HTML document publishing

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7401286B1 (en) * 1993-12-02 2008-07-15 Discovery Communications, Inc. Electronic book electronic links
US20050041014A1 (en) * 2003-08-22 2005-02-24 Benjamin Slotznick Using cursor immobility to suppress selection errors
US20060271440A1 (en) * 2005-05-31 2006-11-30 Scott Spinucci DVD based internet advertising
EP2067102A2 (en) * 2006-09-15 2009-06-10 Exbiblio B.V. Capture and display of annotations in paper and electronic documents
US20090013288A1 (en) * 2007-07-05 2009-01-08 One On One Ads, Inc. Video Promotion for Online Directory Listings and Other Search Engine Websites that List Advertisers
WO2009104829A1 (en) * 2008-02-22 2009-08-27 Logicplant Web browsing environment provider system for multiple users and control method thereof
US9690786B2 (en) * 2008-03-17 2017-06-27 Tivo Solutions Inc. Systems and methods for dynamically creating hyperlinks associated with relevant multimedia content
US9805375B1 (en) * 2009-07-21 2017-10-31 Amazon Technologies, Inc. Content-based price reductions and incentives
US8880623B2 (en) * 2009-12-02 2014-11-04 Redux, Inc. Prioritization in a continuous video playback experience
US9348935B2 (en) * 2010-06-29 2016-05-24 Vibrant Media, Inc. Systems and methods for augmenting a keyword of a web page with video content
US8594931B2 (en) * 2011-03-09 2013-11-26 Window Seat, Inc. Onboard location-based in-flight entertainment and information
WO2014071290A1 (en) * 2012-11-05 2014-05-08 Netnumber, Inc. System and method for anonymous micro-transactions
US9235643B2 (en) * 2012-11-21 2016-01-12 Diwan Software Limited Method and system for generating search results from a user-selected area
US20140164366A1 (en) * 2012-12-12 2014-06-12 Microsoft Corporation Flat book to rich book conversion in e-readers
US20150067017A1 (en) * 2013-08-30 2015-03-05 Qualcomm Mems Techologies, Inc. Method and system for accessing media
US20150073923A1 (en) * 2013-09-11 2015-03-12 Usman Hafeez System and method for providing interactive ebook content annotations and advertisements
US10002396B2 (en) * 2014-03-31 2018-06-19 Monticello Enterprises LLC System and method for transitioning from a first site to a second site
US8997226B1 (en) * 2014-04-17 2015-03-31 Shape Security, Inc. Detection of client-side malware activity
KR20160012410A (ko) * 2014-07-24 2016-02-03 삼성전자주식회사 전자 장치 및 이의 출력 제어 방법
KR102314274B1 (ko) * 2014-08-18 2021-10-20 삼성전자주식회사 컨텐츠 처리 방법 및 그 전자 장치
US20160121348A1 (en) * 2014-11-05 2016-05-05 Kobo Incorporated Providing a scent while a user interacts with an electronic media providing device
US20160239161A1 (en) * 2015-02-12 2016-08-18 Kobo Incorporated Method and system for term-occurrence-based navigation of apportioned e-book content
CN104902309A (zh) * 2015-05-26 2015-09-09 努比亚技术有限公司 移动终端分享多媒体文件的方法和装置
KR102381051B1 (ko) * 2015-07-01 2022-03-31 삼성전자주식회사 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
CN106331878A (zh) * 2016-08-30 2017-01-11 北京奇艺世纪科技有限公司 一种视频片段和电子书片段切换展示方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452871A (zh) * 2020-03-26 2021-09-28 庞帝教育公司 用于从视频自动生成课程的系统和方法
CN113204579A (zh) * 2021-04-29 2021-08-03 北京金山数字娱乐科技有限公司 内容关联方法、系统、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20190303413A1 (en) 2019-10-03
US20190303448A1 (en) 2019-10-03
WO2019190391A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
CN110321469A (zh) 在电子文档的文本中嵌入媒体内容项
US10796093B2 (en) Automatic generation of statement-response sets from conversational text using natural language processing
US9697288B2 (en) Active and passive personalization techniques
Mostafa More than words: Social networks’ text mining for consumer brand sentiments
US20070255702A1 (en) Search Engine
US20070208751A1 (en) Personalized content control
US20140108143A1 (en) Social content distribution network
US20070255621A1 (en) Advertisement generation and optimization
CN103092923A (zh) 搜索引擎的基于菜单的登广告
Finger et al. Ask, measure, learn: using social media analytics to understand and influence customer behavior
US20140025496A1 (en) Social content distribution network
Ren et al. Exploring the subjective nature of crowdfunding decisions
RU2683482C2 (ru) Метод отображения релевантной контекстно-зависимой информации
Chen et al. Who sells knowledge online? An exploratory study of knowledge celebrities in China
Han et al. News comment sections and online echo chambers: The ideological alignment between partisan news stories and their user comments
Sarmento Issues of human computer interaction
Deng et al. Understanding multi-platform Social VR Consumer Opinions: A case study in VRChat using topics modeling of reviews
Perera et al. Predicting twitter hate user behavior using big five personality traits and ensemble machine learning
Chuan et al. Artificial Intelligence, Advertising, and Society
Singh et al. Unboxing the Black Box: Demystifying the Impact of Consumers’ Psychological Motivations on Their Perception of Online Advertising
Roberts Google AdWords as a Network of Grey Surveillance
WO2015042482A1 (en) Social content distribution network
Natarajan et al. Unveiling metaverse sentiments using machine learning approaches
Chen et al. How emotional cues affect the financing performance in rewarded crowdfunding?-an insight into multimodal data analysis
Jingxuan TWITTER DASHBOARD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191011