CN102084358A - 将信息与媒体内容关联 - Google Patents

将信息与媒体内容关联 Download PDF

Info

Publication number
CN102084358A
CN102084358A CN2009801042761A CN200980104276A CN102084358A CN 102084358 A CN102084358 A CN 102084358A CN 2009801042761 A CN2009801042761 A CN 2009801042761A CN 200980104276 A CN200980104276 A CN 200980104276A CN 102084358 A CN102084358 A CN 102084358A
Authority
CN
China
Prior art keywords
media content
media
content
content portion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801042761A
Other languages
English (en)
Inventor
C·鲍尔
蒋文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102084358A publication Critical patent/CN102084358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums

Abstract

将信息与媒体内容关联。当上传媒体内容的一部分时，从该部分得出媒体指纹。媒体指纹包括从媒体内容部分的特征分量得出的媒体内容部分的独特表示。基于得出的媒体指纹将信息与该媒体内容部分关联。当流传输该媒体内容部分时，链接关联信息，并实时地与媒体内容部分一起呈现关联信息。当上传媒体内容部分时，可在上传时间、或者上传之后与呈现时间之前的任何时间从媒体内容部分得出媒体指纹。媒体内容可包括原始内容实例或者原始内容的派生实例。

Description

将信息与媒体内容关联
相关美国申请
本申请要求共同未决的临时美国专利申请No.61/026,444的权益，包括提交优先权，该专利申请由Claus Bauer和Wenyu Jiang于2008年2月5日提交，题目为“Associating Information with MediaContent”，并转让给本发明(Dolby参考号为D07048US01)的受让人，为了一切目的通过引用将其并入，就如同它在本文中被完整阐述一样。
技术领域
本发明总体上涉及媒体。更具体地讲，本发明的实施例涉及将信息与媒体内容关联。
背景技术
音频和视频媒体构成基本上普遍存在的现代行为特征。多媒体内容，例如最现代的电影，包括多于一种类型的媒体，例如其视频内容和音频声道这二者。实际上每种类型的现代企业和来自许多行业的个人以多种独特且相关的方式使用音频和视频媒体内容。娱乐、商务和广告、教育、指导和培训、计算和联网、广播、企业和电信不过是音频和视频媒体内容在其中找到普通使用的少许现代尝试的例子。
音频媒体包括记录在各个压缩盘(CD)或其它存储形式上、通过网络在服务器和客户端计算机之间作为数字文件流传输或者通过模拟和数字电磁信号传输的音乐、讲话和声音。视频媒体的示例包括电影和其它被记录的演出、表演和动画以及它们的部分，这些部分有时称为片段。发现用户在通勤时从在膝上型电脑上播放的数字多功能盘(DVD)观看电影几乎变得与在家里的娱乐系统上或者在影院里观看电影一样常见。流行乐队的音乐会在互联网上被流传输，并作为音频被用户欣赏，以及/或者还在演出的网络播放(webcast)中被观看。极其便携的重量轻、形状规格小、成本低的数字音频文件播放器获得了广泛的普及。现在基本上普遍存在的蜂窝电话以及个人数字助理(PDA)和手持电脑都具有多种功能。不仅仅是电信装置，现代蜂窝电话也可访问互联网和从互联网流传输音频和视频内容，并且发现游戏爱好者玩联网视频游戏和粉丝(fans)通过互联网观看体育赛事不再是不寻常的事。
作为音频和视频媒体的广泛且不断增长的使用的结果，存在大量音频和视频媒体内容。考虑到存在足够的(sheer)量和种类的音频和视频媒体内容，并且该内容随着时间扩大增长，识别内容的能力是有价值的。媒体指纹包括用于识别媒体内容的技术。
媒体指纹是从媒体内容提取或生成的媒体内容的独特标识符。从可通过人类的指纹(比如，从法医学上)独特识别人类的意义来讲，术语“指纹”适用于表示这些媒体内容标识符的独特性。尽管与签名类似，但是媒体指纹可能甚至更密切地、更能识别地与内容对应。音频和视频媒体均可使用与每个媒体对应的媒体指纹来识别。
可用利用声学指纹来识别音频媒体。从特定的音频波形生成作为与该音频波形独特对应的代码的声学指纹。当生成声学指纹时，其后可通过参照对应波形的指纹来识别从其生成指纹的对应波形。可将声学指纹存储在比如数据库中。可访问存储的声学指纹来对与它进行比较的音频样本进行识别、分类或者另外归类。因此，声学指纹可用于识别用户正播放的音乐或者其它被记录的、流传输的或以其它方式传输的音频媒体，管理音效库，监视广播、网络行为和广告，以及从与视频内容(例如电影)相关联的音频内容(例如声道)识别该视频内容。
声学指纹的可靠性和它与特定的音频波形可识别地对应的特异性(specificity)有关。一些音频指纹如此精确地提供识别以至于可依靠它们识别同一音乐的不同演出。而且，由于音频内容被人类心理声学系统感知，所以一些声学指纹基于音频内容。因此，这样的鲁棒的音频指纹使得可在通过基于感知的音频编解码器、甚至涉及有损压缩的编解码器(这样可能趋向于降低音频内容质量)进行压缩、解压缩、译码和对所述内容的其它改变之后识别音频内容。与通过与声学指纹进行比较来识别音频媒体内容类似的是通过数字视频指纹识别视频媒体的能力。
从与视频指纹对应的视频内容生成各视频指纹。访问视频信息序列，比如，视频流或片段，并对其进行分析。从视频序列识别和得出视频序列的分量特征。特征分量可包括亮度、色度、运动描述符和/或人类心理视觉系统可感知的其它特征。将得出的分量压缩成可易于存储和检索的格式。
使用相对有损压缩技术生成视频指纹，这些压缩技术使得指纹数据比其对应的视频内容小。因此，从原始视频内容的对应视频指纹重构原始视频内容通常是不实际的，也是不可行的。如本文所使用的，视频指纹因此表示原始视频内容文件的相对低比特率的表示。然而，存储和访问视频指纹因此更有效率和更经济。
可访问存储的视频指纹以与视频序列的样本进行比较，这使得可精确地识别该序列中的视频内容。因此，视频指纹可用于当视频内容被观看时精确地为用户识别该视频内容、以及有权威地管理版权和验证存储的、流传输的或以其它方式使用的内容的授权版本和实例，以及检测上述内容的未授权版本和实例。而且，与许多声学指纹一样，对视频指纹进行感知编码。因此，可通过基于感知的视频编解码器、甚至涉及有损压缩的编解码器(这样可能趋向于降低视频内容质量)进行压缩、解压缩、译码和对内容的其它改变之后与视频指纹进行比较来精确地识别视频序列的内容。
音频和视频媒体内容可从概念上、商务上或者以其它某种方式与分离的不同的内容实例相关。与音频和视频内容相关的内容可包括，但不限于，其它音频、视频或多媒体内容。例如，某一首歌曲可以以一些概念方式与特定电影相关。其它示例可以是在一些商务背景下与给定的讲话、讲课或音乐片段相关的文本文件或计算机图形。然而，确定可能与特定的媒体内容相关的一些内容的存在可能并不容易，更不用说访问与媒体内容相关联的相关内容。
在这个部分描述的方法是可实行的方法，但是不一定是以前已构思的或实行的方法。因此，除非另有指明，不应该假设：仅仅由于将这个部分所描述的任何方法并入在这个部分中，这些方法就是现有技术。类似地，除非另有指明，不应该基于这个部分假设已在任何现有技术中认识到针对一种或多种方法所认定的问题。
发明内容
以下段落呈现了用于提供本发明实施例的一些方面的基本理解的简明的简化概要。应该指出，这个概要不是实施例的各方面的宽泛概述。而且，应该指出，这个概要的意图不在于被理解为认定实施例的任何特别重要的方面或元素，也不在于被理解为具体描述实施例的任何范围或者从总体上描述本发明。以下简短的概要仅仅以浓缩和简化的形式呈现与示例性实施例相关的一些概念，应该被理解为仅仅是该概要后面的示例性实施例的更详细描述的概念性前序。
将信息与媒体内容关联。当上传媒体内容的一部分时，从该媒体内容部分得出媒体指纹。媒体指纹包括从媒体内容部分的特征分量得出的媒体内容部分的独特表示。基于得出的媒体指纹将信息与该媒体内容部分关联。当流传输该媒体内容部分时，将关联信息与媒体内容部分链接，并与媒体内容部分一起呈现关联信息。当上传媒体内容部分时，可在上传时间、或者上传时间之后和呈现(比如，播出(runout))时间之前的任何时间从该媒体内容部分得出媒体指纹。媒体内容可包括原始内容实例或者原始内容的派生实例。
附图说明
在附图中作为示例而不作为限制示出本发明，在附图中，相同的标号表示类似的元素，其中：
图1描绘根据本发明实施例的示例性过程的流程图；
图2描绘根据本发明实施例的示例性系统；
图3描绘根据本发明实施例的示例性方法的流程图；
图4描绘根据本发明实施例的另一个示例性过程的流程图；
图5描绘可通过其实现本发明实施例的示例性计算机系统平台；
图6描绘根据本发明实施例的又一个示例性过程的流程图；
图7描绘根据本发明实施例的另一个示例性系统。
具体实施方式
本文描述将信息与媒体内容关联。在以下描述中，为了解释的目的，对许多特定细节进行了阐述以提供对本发明的充分理解。然而，将明白的是，没有这些特定细节也可实施本发明。在其它实例中，为了避免不必要地封闭、模糊或混淆本发明，不对公知的结构和装置进行详细的细节描述。
概述
本文所描述的示例性实施例涉及将信息与媒体内容关联。从媒体内容的一部分得出媒体指纹。基于得出的媒体指纹将信息与该媒体内容部分关联。当与关联信息链接时，与媒体内容部分一起呈现关联的信息内容。如本文所使用的，本质上可同义地使用术语“关联信息”、“关联信息内容”和“关联内容”，并且术语“辅助信息”、“辅助关联信息”和“辅助内容”本质上可表示关联的信息。
如本文所使用的，术语“介质”可表示数据和其它信息的储存器或转运容器。如本文所使用的，术语“多媒体”可表示包含多种形式的信息的媒体。多媒体信息文件可以，例如，包含音频、视频、图像、图形、文本、动画和/或其它信息以及它们的各种组合。如本文所使用的，术语“关联信息”可表示以某种方式与信息媒体内容相关的信息。关联信息可包括，例如，辅助内容。
如本文所使用的，术语“媒体指纹”可表示从媒体内容文件的特征分量得出的媒体内容文件的表示。从媒体指纹的相应媒体内容得出(比如，提取、生成等)这些媒体指纹。如本文所使用的，术语“声学指纹”可表示以一定程度的特殊性(particularity)与音频媒体关联的媒体指纹(虽然声学指纹也可与其它媒体关联)。如本文所使用的，术语“视频指纹”可表示以一定程度的特殊性与视频媒体关联的媒体指纹(虽然视频指纹也可与其它媒体关联)。本文实施例中所使用的媒体指纹可与音频、视频、图像、图形、文本、动画、和/或其它媒体信息内容、以及/或者它们的各种组合对应，并且除了可以以一定程度的特殊性与它们关联的媒体之外，还可表示其它媒体。
如本文所描述的媒体指纹本质上与如在共同未决的临时美国专利申请No.60/930,905中所描述的媒体指纹一致，该专利申请由Ragunathan Radhakhrishnan和Claus Bauer于2007年5月17日提交，题目为“Video Fingerprint Comparison Resilient to FrameRate Conversion”，并被转让给本发明的受让人，该专利申请作为附录“B”附到本说明书，并且为了一切目的通过引用将该专利申请并入本文，就如同在本文对其进行了完整阐述一样。
如本文所使用的媒体指纹本质上与如在临时美国专利申请No.60/997,943中所描述的媒体指纹一致，该专利申请由Ragunathan Radhakhrishnan和Claus Bauer于2007年10月5日提交，题目为“Media Fingerprints that Reliably Correspond toMedia Content”，并被转让给本发明的受让人，并且为了一切目的通过引用将该专利申请并入本文，就如同在本文对其进行了完整阐述一样。
声学指纹，例如，可包括使用数字信号处理技术从构成音频媒体内容的音频波形生成的独特代码。此外，例如，视频指纹可包括从视频内容的特征分量得出(比如，生成、写入、提取和/或压缩)其分量的独特数字视频文件。可被压缩以形成与其对应的视频指纹的视频内容的得出的特征分量可包括，但不限于，亮度值、色度值、运动估计值、预测值和补偿值等。因此，尽管本文所描述的媒体指纹代表媒体内容(所述媒体指纹是从所述媒体内容得出的)，但是媒体指纹不包括可与媒体内容关联(比如，添加到媒体内容或者与媒体内容相加)的元数据或其它标签，并且(比如，为了本文描述的目的和在本文描述的背景下)不与这些元数据或其它标签混淆。可以以比从其得出媒体指纹的媒体内容的比特率低的比特率传输各媒体指纹。重要的是，如本文所使用的，术语“得出”、“生成”、“写入”、“提取”和“压缩”等因此可涉及从媒体内容部分获得媒体指纹。因此，这些术语和类似术语可涉及媒体指纹与其源媒体内容或者与其关联的媒体内容的关系。在实施例中，媒体内容部分为媒体指纹的源，并且媒体指纹本质上包括媒体内容的独特分量。例如，可从与视频内容的帧中的色度和/或亮度相关的值得出视频指纹(比如，视频指纹至少部分包括与视频内容的帧中的色度和/或亮度相关的值)。视频指纹还可(或者可供选择地)包括与视频帧中的运动估计、预测或补偿相关的值，例如运动矢量和类似的运动相关描述符。因此，媒体指纹可用于独特地表示、识别、参照或参考从其得出它们的媒体内容部分。随之，本文的这些术语和类似术语可被理解为强调媒体指纹与可为了标示或描述的目的被添加到内容并且随后从该内容提取的元数据、标签和其它描述符截然不同。在与派生媒体内容相关的上下文中，术语“派生”或“衍生”还可与可表示不同于媒体内容的原始实例或者可包括不同于媒体内容的原始实例的媒体内容相关。
如本文所使用的，与多媒体或其它媒体内容文件相关的术语“辅助内容”可表示根据媒体内容文件的某一部分被索引(index)的信息片段。辅助信息本身可以不必与多媒体本身的任何部分相同甚或相似。例如，特定视频文件的某一部分可给某一位置(比如，纽约市)在某一天或某一时间的温度编索引。因此，纽约市温度是视频的该部分的辅助内容。在另一个示例中，给定的视频文件的某一部分可给某一模型和特定的汽车制造商的某一型号的制造年份编索引。
当原始媒体文件(比如，整个电影)被创建时，可进行编索引。然而，实施例提供使得能够在视频片段呈现期间，比如，当播放电影时将视频片段与辅助内容链接的机制。实施例在仅仅多媒体文件的各部分在不同的装置集上、以不同的长度和格式和/或在对视频文件进行各种修改之后回放、呈现的情况下起作用。修改可包括，但不限于，编辑、缩放、译码和创建其派生作品，比如，将该部分插入到其它媒体中。
如本文所使用的，术语“链接”、“链接的”、“衔接”等可表示将到辅助内容的一个或多个指针存储在储存库(例如数据库或媒体指纹列表)中、将包含辅助内容的一个或多个位置的一个或多个统一资源定位符(URL)存储在储存器(例如数据库或媒体指纹列表)中、将包含辅助内容的一个或多个数据库参考存储在储存器(例如数据库或媒体指纹列表)中、等等。如本文所使用的，术语“链接”可表示从存储在储存器(例如数据库或媒体指纹列表)中的一个或多个指针检索辅助内容、从被储存器(例如数据库或媒体指纹列表)引用的一个或多个文件检索辅助内容、使用存储在储存器(例如数据库或媒体指纹列表)中的一个或多个URL检索辅助内容、从存储在储存器(例如数据库或媒体指纹列表)中的一个或多个数据库参考检索辅助内容、等等。
实施例允许当整个媒体产品被创建时，甚至当按部分、序列和修改形式回放文件时识别被分配给媒体文件的特定部分的辅助内容。而且，实施例无需元数据而运行，因此，不要求对与内容或者内容的任何修改相关的元数据进行插入生成或者其它操作。实施例对实际任何类型的媒体起作用，包括视频和音频文件、以及音频和视频文件的多媒体播放等。
将例如辅助内容的信息与媒体内容关联。在实施例中，媒体指纹，例如音频和视频指纹用于识别媒体内容部分。媒体指纹不仅识别整个媒体作品，而且还识别正呈现的(比如，当前正播放的)媒体的精确部分。
在实施例中，对媒体文件的媒体指纹数据库进行维护。另一个数据库将表示某一媒体内容的特定部分的特定媒体指纹映射到关联的辅助内容。当媒体内容被创建时，辅助内容可被分配给特定媒体内容部分。当呈现媒体内容部分时，将与正呈现的部分相应的媒体指纹与映射数据库中的媒体指纹进行比较。本质上可相对于呈现媒体内容部分实时地执行比较。
例如，可在视频相关网页上播放电影部分。本质上实时地从正播放的部分得出与该部分对应的媒体指纹。将媒体指纹与映射数据库中的指纹进行比较。当识别出比如正回放的部分属于映射数据库中的任何电影的哪一部分时，一开始或者以其它方式被分配给电影的该部分的辅助内容就被识别以及链接或检索。
从某种意义上说，实施例允许广告商“购买”视频的场景。因此，卖主或其代理(例如搜索引擎或web服务提供商)可选择将产品、服务等的广告与某一媒体内容部分关联。例如，软饮料公司可识别演员正饮用他们公司的特定产品的场景。软饮料公司或其代理可购买使用与该场景对应的媒体指纹来将他们的广告与该特定媒体内容部分关联的权利。因此，当向观众呈现该场景时，本质上相对于场景播放实时地链接与该媒体内容部分关联的信息，并且呈现软饮料公司的广告。
可紧接着视频场景、与视频场景邻近地呈现广告内容，或者可将广告内容覆盖在视频场景上。每当实际在便于实施的与互联网或者另一个网络连接的任何媒体呈现装置上呈现电影的这个特定部分时，使用媒体指纹技术识别电影的该部分。因此，通知购买者和关联信息回放网页。根据购买者和媒体内容提供商或其它呈现媒体内容的实体之间的交换协议，与对应媒体内容部分实时地或者在呈现对应媒体内容部分之后显示由购买者定义的相关广告。
而且，即使在派生内容(例如预告片、广告或者甚至例如盗版的用于显示在社交网站上的媒体内容的未授权拷贝)中使用对应的媒体内容部分，当呈现对应媒体内容部分时，实施例也忠实地呈现辅助信息或其它关联信息。无论以什么格式呈现媒体内容部分，它都被识别，并与和其关联的信息，例如辅助内容链接。在实施例中，在搜索查询中使用媒体内容的一部分。
在实施例中，计算机系统执行上述一个或多个特征。计算机系统包括一个或多个处理器，并可通过硬件、软件、固件和/或它们的任何组合运行，以执行上述特征中的一个或多个。在执行上述特征中的一个或多个时，计算机系统的处理器和/或其它部件可在计算机可读和可执行指令的指示下运行，可在一个或多个计算机可读存储介质中对这些指令进行编码，并可由计算机系统接收这些指令。
在实施例中，上述特征中的一个或多个在运行于计算机平台上的解码器中执行，解码器可包括硬件、软件、固件和/或它们的任何组合。计算机平台可设有或者部署为电子装置的部件，所述电子装置例如，TV、DVD播放器、游戏机、工作站、台式机、膝上型电脑、手持或其它电脑、能联网的通信装置(例如蜂窝电话、便携式数字助理(PDA)、便携式游戏机)等。可用被构造为执行上述特征中的一个或多个的集成电路(IC)器件来实现这些特征。IC可以是应用特定IC(ASIC)和/或可编程IC装置(例如，现场可编程门阵列(FPGA)或微控制器)。
本发明的实施例通过各种实现方式将信息与媒体内容关联。当上传现存的媒体内容时，本发明的实施例将信息与媒体内容关联。例如，当将现存的视频内容上传到存储上传的媒体内容并允许访问上传的媒体内容的实体(例如TouTubeTM)时，随着将内容上传到YouTube文件中，从媒体内容得出媒体指纹。可在上传时间、或者上传之后与呈现(比如，播出)时间之前的任何时间从媒体内容得出媒体指纹。
当从关联内容进行提取时，将媒体指纹与指纹数据库进行匹配。在找到匹配时，得出正被上传的整个内容的指纹。将指纹与指纹数据库进行匹配，识别被上传的内容的每个部分。创建按照关联信息内容表征上传的媒体文件的元数据，所述关联信息内容可以是辅助内容，例如广告和/或教育材料。重要的是，指纹匹配可识别内容运行时间内将任何辅助内容与上传的多媒体内容关联的精确时间。
创建信息文件，并将该信息文件与多媒体内容关联。例如正被上传到例如YouTube的实体的电影，文件名将会是由该实体给予上传文件的标识符。文件条目包括第一列，第一列包括从零(0)到“movie_length”的时间戳。第一列时间戳索引第二列，第二列包括对与时间戳关联的信息(例如辅助内容，比如，广告、教育材料)的引用。当电影被流传输时，该实体与电影流传输并行地扫描信息文件。然后，该实体显示第二列中的条目所指示的辅助内容。
当上传时(比如，在上传时间、或者在上传之后但是在放出(play out)时间之前)从媒体内容提取媒体指纹使得可关联信息，例如在放出时间之前呈现辅助信息。这阻止了将信息与媒体内容关联时的中断。由于将信息与媒体内容关联时的中断可与错过的与该媒体内容一起呈现辅助信息的机会对应，阻止形成这样的中断可增加广告收入、教育效率，并实现将辅助信息与多媒体内容关联的其它好处。
本文从第二部分和图6开始对在上传内容时提取媒体指纹的情况下将信息与媒体内容关联的示例性实施例进行描述。首先呈现的第一部分与图1至图5，描述在放出时间提取媒体以提供背景的情况下将信息与媒体内容部分关联的示例，以及另外的材料涉及在上传内容时提取媒体指纹的情况下将信息与媒体内容相关的描述。
第一部分
将信息与媒体内容的一部分关联
示例性过程
可执行本文所描述的与将信息与媒体内容的一部分关联相关的示例性过程和方法。可通过比所显示的示例性步骤多或少的步骤和/或按可以与示例性过程的顺序不同的顺序执行的步骤来执行通过实施例实现的过程。示例性过程可在一个或多个计算机系统上，比如，在一个或多个计算机可读存储介质中编码的机器可读指令的控制下执行，或者该过程可在ASIC或可编程IC装置中执行。
图1描绘根据本发明实施例的示例性过程100的流程图。过程100涉及将信息与媒体内容的一部分关联。一开始，呈现媒体内容的一部分，例如唱片或其它歌曲集上的一首歌曲或者一首歌曲的一部分，或者电影的某一部分。例如，当用户正在听歌曲或者观看视频格式的电影时，呈现媒体部分。
在步骤101中，本质上相对于媒体内容部分的呈现实时地从媒体内容部分得出媒体指纹。媒体内容部分可具有特定的时间长度(比如，某一时间持续期间、给定数量的胶片或视频帧等)。在实现中，例如，媒体内容部分可包括六秒长的视频片段。媒体指纹可以是用于音频媒体的声学指纹或者用于视频媒体的视频指纹。在一些情况下，可从视频媒体内容的一部分得出声学指纹，反之亦然；可从音频内容的一部分得出视频指纹。可从其它媒体(例如图像、图形、文本和动画相关媒体)以及从音频和视频媒体得出媒体指纹。在一些情况下，可从多媒体内容的一部分得出多于一种媒体指纹。
在从媒体内容部分提取媒体指纹之前，可发生其它功能。例如，访问正呈现的将从其得出媒体指纹的媒体内容部分。
在步骤102中，基于得出的媒体指纹将信息内容与媒体内容部分关联。信息内容可以是以某种概念或商务方式与媒体内容部分相关的辅助或附属信息。例如，当创建其部分包括分量的原始媒体内容时，可将信息内容索引到媒体内容部分。可将信息内容存储在储存器(例如数据库)中，所述信息内容可包括视频的、音频的、文本的、图形的、触觉的或其它的内容，并可包括与媒体内容部分关联的商务的、广告的、指导的、情报的或其它的内容。为了清晰起见，以下可使用术语“辅助信息”表示与媒体内容部分关联的信息。
在步骤103中，对关联信息进行链接。在将信息与媒体内容部分关联以及链接到关联信息之前，可发生其它功能。例如，可将得出的媒体指纹与储存器(例如多个存储的媒体指纹的数据库)进行比较，与其进行匹配，从而识别得出的媒体指纹。进行信息关联和链接到信息可基于媒体指纹的比较、匹配和相应的识别。
在步骤104中，与媒体内容部分一起呈现与该媒体内容部分关联的信息。例如，可本质上相对于媒体内容部分的呈现实时地呈现关联信息。可结合媒体内容部分呈现关联信息，例如，在与呈现媒体内容部分的显示场相邻(或换句话讲邻近)的显示场中与媒体内容部分协同地呈现关联信息，或者可相对于媒体内容部分覆盖、叠置或插入关联信息。
因此，例如，假设电影(比如，媒体内容)包含这样的场景(比如，内容部分)，在该场景中，明星演员进入某一产品型号赛车并驾驶该赛车，或者饮用特定品牌的饮料。能够将可包括关于该特定产品型号赛车或饮料的广告的辅助信息与这个场景关联。当该场景播放时，提供到广告的链接。呈现场景的媒体播放器从而链接到广告，并在该场景期间在与播放该场景的显示场邻近的显示场中呈现广告，或者可将广告内容叠置在该场景上，该广告内容对于观众可能是有意识地清晰可见的，或者可能是下意识地呈现到该场景上。
除了广告之外，与媒体内容关联的辅助信息可包括其它商务信息。例如，用于工程师、机械师、医生或技术人员的假设培训视频(比如，媒体内容)可包括这样的片段(比如，内容部分)，在该片段中，指导者、教师、教授或解说员展示某一仪器、装置、设备、部件、化学制品、解决方案、工具等的功能。可将可包括与仪器、工具等相关的商务信息的辅助信息与这个片段关联。
而且，与媒体内容关联的辅助信息可包括以某种方式提供信息的内容或者关于媒体内容部分的上下文。例如，假设电影(比如，媒体内容)可以是来自经典文学作品(例如，威廉·莎士比亚的“泰特斯·安德洛尼克斯”或约翰·沃尔夫冈·冯·歌德的“浮士德”)的屏幕改编、或者已在电影艺术中达到经典地位或者其它特殊的重要性的电影或视频(例如，乱世佳人、卡斯布兰卡、或现代启示录)。电影的特定场景(比如，内容部分)可具有一些特殊文学或其它艺术价值。
例如，学者可能认为在“泰特斯·安德洛尼克斯”中人物艾伦在找到他的孩子时的独白具有特别的、可能持久的文学和戏剧(可能甚至精神)的重要性。在假设教育或文学背景(setting)下呈现泰特斯·安德洛尼克斯的电影改编期间，呈现包括艾伦的著名独白部分的场景。辅助信息内容可包括文学、英语或戏剧教授或者戏剧批评家或评论家针对艾伦的独白的基于视频、音频或文本的评论，因此，将该辅助信息与正呈现的场景关联。当将该辅助信息与场景关联并链接到这个辅助信息时，可与场景一起呈现所述评论。
可与场景呈现实时地与关联的辅助信息关联和链接。也可实时地与媒体内容部分邻近地呈现辅助信息。然而，为了阻止观众和听众对如此受称赞的独白被与其相关的评论分散注意力，与其关联的辅助内容的实时呈现可简单地包括表示可获得辅助信息的基于文本或图形的符号。表示可获得辅助信息的符号可允许，比如，当接收到输入时实时地呈现完整的评论。可供选择地，比如，可延迟辅助内容的呈现，以及在呈现场景之后呈现辅助内容，或者可首先使场景与表示可获得评论的符号被观看，然后重复该场景和与其同时呈现的评论。
具有与这样的提供信息的辅助信息关联的部分的媒体内容不限于文学和其它艺术作品，而是可以在实际任何领域中发出声音。例如，媒体内容可包括科学研讨会、课堂讲课、政治运动、演讲、辩论、市政会议、法律诉讼和政府会议等的记录。因此，可与媒体内容关联的辅助信息还可包括指导、教育、美学、上下文和分析信息。这样的辅助关联信息可包括与媒体内容部分相关的评论或批评。例如，在政治运动的上下文中，还可将可供选择的信息与媒体内容部分关联。因此，与这样的媒体内容关联的辅助信息可与媒体内容部分形成对比或者相矛盾，或者可包括与媒体内容部分的比较及其扩展(augmentation)和具体化(substantiation)。
当与媒体内容部分一起呈现关联信息时，过程100可随着呈现或访问另一媒体内容部分而继续(或者重新开始)。可供选择地，当与媒体内容部分一起呈现关联信息时，过程100可结束。
媒体内容部分及其组成部分可包括原始媒体内容。媒体内容部分的一部分还可包括派生内容。可从具有与媒体内容的原始实例无关的内容项的媒体内容部分得出派生内容。派生内容可包括与原始媒体内容相关的媒体序列，例如，取自一首歌曲的一部分的音频样本或者取自视频场景的电影预告片。派生内容可以是原始媒体内容的授权拷贝。
例如，歌曲样本和视频预告片可用于由拥有媒体和/或从事媒体推销的企业分别给音乐和歌曲做广告。然而，本发明的实施例甚至可用于没有被授权的派生内容，例如，盗版的原始内容的未授权拷贝。因此，甚至从盗版的媒体内容部分的未授权拷贝关联和链接辅助信息。
而且，媒体内容及其部分可包括相对于媒体内容的原始实例(比如，版本等)修改的内容。可对媒体内容进行缩放、编辑、译码、缩放转换、重新格式化等，或者可通过这样的修改的组合对媒体内容进行修改。
示例性系统
图2描绘根据本发明实施例的示例性系统200。系统200用于将信息与媒体内容的一部分关联。因此，系统200可运行方法、执行过程或其它功能，以将信息与媒体内容的一部分关联。在实施例中，系统200执行用于将信息与媒体内容的一部分关联的过程，例如以上参照图1描述的过程100。
可通过可在用计算机可读存储介质编码的指令的控制下工作的计算机系统的一个或多个部件来构造系统200的一部分。系统200的一部分还可通过ASIC或可编程IC装置来构造。系统200的部分可设置在可联网的媒体播放器或解码器、以及信息储存器(例如一个或多个数据库)中。一个或多个储存器可设为与系统200的其它部件集成、邻近或远离，所述系统200的其它部件包括媒体播放器或解码器、和/或另一储存器。系统200的一些部件可通过一个或多个网络与它的其它部件连接，所述网络可包括互联网。
系统200具有客户端计算机201。客户端计算机201可以是工作站、个人计算机(PC)或消费电子(CE)装置，CE装置例如TV、DVD播放器、立体声音乐系统、家庭影院系统等。客户端201直接或者通过一个或多个网络299与一个或多个服务器210通信连接。(可供选择地，可用另一个客户端计算机，比如，另一个PC或CE装置来实现服务器210中的一个或多个。)服务器210中的一个或多个可以是互联网服务器。服务器210中的一个或多个可以是数据库服务器。
客户端201访问(比如，从DVD、CD或其它内容记录接收、下载或回放)媒体内容流250。媒体播放器应用203对流250的媒体内容的一部分(比如，6秒的片段)进行解码。媒体播放器应用203在网页或其它能够呈现的显示器202上呈现解码的部分。媒体播放器应用203可相对于作为整体的媒体内容流250依次呈现媒体内容部分，但是可拆散这些部分中的一些部分的解码顺序来呈现这些部分。
媒体播放器应用201具有嵌入式媒体指纹生成器(比如，提取器)205。指纹生成器205周期性地从媒体内容流250提取媒体指纹。在实施例中，对于媒体内容流250中的每一媒体内容部分，相对于该部分的呈现实时地从媒体内容流250得出一个或多个媒体指纹。在实现中，媒体内容部分为六秒长。然而，与媒体指纹相应的媒体内容部分实际上可以是任何时间长度，该时间长度可根据时间持续期间、帧数等来测量，并且从内容流250的一部分的一个片段到另一个片段，该时间长度可不同。
当从流250的该部分进行提取时，将每个媒体指纹与媒体指纹储存器211(例如媒体指纹数据库)中的多个存储的媒体指纹进行比较。(尽管作为示例对视频指纹进行了论述，但是本发明实施例也很好地适用于任何类型的媒体指纹。)指纹储存器211可包括客户端201的数据存储部件、与客户端201邻近或者位于客户端201本地和/或本质上与客户端201直接通信连接的存储部件、或者远离客户端201并通过网络299中的一个或多个与客户端201通信连接的存储储存器。
将从媒体内容流250的一部分得出的媒体指纹与存储在媒体指纹储存器211中的媒体指纹之一进行匹配使得可识别从其得出匹配指纹的媒体内容流250及其部分。将识别的媒体内容部分与储存器212(例如信息内容的数据库)进行比较，所述信息内容包括多个音频、视频、图像、图形、文本、动画文件和多个媒体文件的组合。储存器212可包括储存器211的部件，或者可与储存器211分离或独立，并与储存器211邻近或者位于储存器211本地，或者远离储存器211。
储存器212本质上可直接与储存器211通信连接，或者通过网络299中的一个或多个与储存器211通信连接。相对于彼此，储存器211和212可包括相同、类似或不同的信息存储类型。储存器211和212中的任何一个或者这两个可包括数据库、文件系统、存储区网络(SAN)、网络区存储器(NAS)或者基于网络的虚拟存储器。
当在从流250的一部分得出的识别的媒体指纹和存储在储存器212中的信息内容之间进行比较和寻找匹配时，可找到匹配。将匹配内容作为与流250的一部分相关的辅助信息内容215与流250的该部分关联。媒体播放器应用203链接到关联的辅助内容215。媒体播放器应用203相对于与辅助内容215关联的流250的那部分的呈现实时地呈现辅助内容215。在网页或其它显示器202上与流250的对应部分一起、在流250的对应部分上方、叠置在流250的对应部分上、或者以其它方式与流250的对应部分邻近或结合地显示关联的(比如，辅助的)内容215。
示例性方法
本文所描述的过程和系统可用于进行业务运作，例如可涉及广告和指导的推销和呈现、以及商务和教育信息的呈现。图3描绘根据本发明实施例的示例性方法300的流程图。当媒体内容被创建时，在步骤311中根据媒体内容的一部分对一个或多个广告(“Ad”)编索引。
在步骤312中，与媒体内容部分一起推销与有价对价(例如，酬劳、收益等)交换的广告呈现。例如，可将广告推销给可能想将与他们的产品或服务相关的广告与媒体内容部分关联的实体。在将多于一个广告与单个媒体内容部分关联的情况下，可按顺序将每个广告分等级。
因此，在步骤313中，按基于相对酬劳值的顺序将每个广告分等级，所述相对酬劳值分别为与媒体内容部分一起呈现广告的报价(比如，出价)。例如，第一价格值比第二价格值大。将来自第一实体的第一广告的等级按照顺序设为比来自第二实体的第二广告高，第一实体开出用于将第一广告与媒体内容部分关联的第一价格值，第二实体开出用于将第二广告与媒体内容部分关联的较低的第二价格值。
当呈现媒体内容部分时，在步骤321中从媒体内容部分得出媒体指纹。相对于对应媒体内容部分的呈现实时地得出媒体指纹。在步骤322中，基于从媒体内容部分得出的媒体指纹将一个或多个广告与该媒体内容部分关联。
在步骤323中，基于广告中的一个或多个的各个等级对这些广告进行链接。在步骤324中，本质上相对于媒体内容部分的呈现实时地呈现建立链接的广告。
在步骤325中，确定另一个广告是否与媒体内容部分关联。如果确定另一个广告与媒体内容部分关联，则对其它广告重复步骤324。可基于其它广告的各个等级选择性地或者依次与媒体内容部分一起显示这些广告。
如果没有其它广告与媒体内容部分关联，或者当呈现与媒体内容部分关联的所有其它广告或者给定数量的其它广告时，在步骤330中接收酬劳，比如，当通知已同意将他们的广告与媒体内容一起呈现的实体、给这些实体开具账单、记帐、开发票等时接收酬劳。现在，可结束业务方法300，或者当呈现另一个媒体内容部分时可重复业务方法300。
其它业务方法可涉及提供指导、教育或培训、提供评论论坛、或者提供用于与酬劳交换的商务信息。在这些业务方法中，分别将指导、教育或技术信息、评论、同意、辩论和异议、以及商务信息与媒体内容关联。当呈现某一媒体内容部分时，提供特定的关联(比如，辅助)信息项，因此，交换接收酬劳。
图4描绘根据本发明实施例的另一个示例性过程400的流程图。在步骤401中，媒体内容或者其部分包括输入到搜索引擎的查询。在另一个实施例中，在步骤402中得出媒体指纹以形成查询输入。比如，与使用从其得出媒体指纹的原始媒体内容或者其部分作为查询输入相比，通过媒体指纹输入进行查询可节省带宽。在步骤403中，搜索引擎执行对与媒体指纹或者媒体内容或其部分相关的信息的搜索。因此，可基于从媒体内容或者部分得出的媒体指纹来执行搜索。可跨越多个信息储存器(例如数据库和包括互联网内容的虚拟数据库)执行搜索。在步骤404中，可与响应于查询而返回的搜索结果一起呈现与媒体内容部分关联的辅助信息。
这些实施例中的任何一个均可用于在媒体内容的库、数据库或者其它储存器中搜索特定媒体片段或者媒体内容的其它部分。当响应于包括媒体内容部分或者从媒体内容部分得出的媒体指纹的查询返回搜索结果时，与该搜索结果一起呈现与该媒体内容部分关联的信息。
而且，过程400可涉及另一种业务方法。例如，在步骤405中，用与搜索结果一起返回辅助关联信息作为交换来接收有值对价。可在步骤406中推销交换。可存在辅助关联信息的多个实例。在步骤407中，可将多个实例分等级。在实施例中，可基于酬劳值来分等级，所述酬劳值被协议用于以链接到辅助信息和/或与搜索结果一起提供辅助信息作为交换。在步骤408中，分等级的辅助关联信息可被索引到媒体内容部分和/或搜索结果。
示例性计算机系统平台
图5描绘可用于实现本发明实施例的示例性计算机系统平台500。计算机系统500包括用于传送信息的总线502或其它通信机制、以及与总线502连接的用于处理信息的处理器504。计算机系统500还包括与总线502连接的用于存储将被处理器504执行的信息和指令的主存储器506，例如随机存取存储器(RAM)或其它动态存储装置。主存储器506还可用于存储将被处理器504执行的指令的执行期间的临时变量或其它中间信息。计算机系统500还包括与总线502连接的用于存储用于处理器504的静态信息和指令的只读存储器(ROM)508或其它静态存储装置。提供存储装置510，例如磁盘或光盘，并且存储装置510与总线502连接用于存储信息和指令。
计算机系统500可通过总线502与用于向计算机用户显示信息的显示器512连接，显示器512例如液晶显示器(LCD)、阴极射线管(CRT)等。输入装置514，包括字母数字键和其它键，与总线502连接，用于将信息和命令选择传送到处理器504。另一类型的用户输入装置为光标控制器516，例如，鼠标、轨迹球或用于将方向信息和命令选择传送到处理器504并且控制显示器512上的光标移动的光标方向键。这个输入装置通常具有沿两个轴(即，第一轴(比如，x)和第二轴(比如，y))的两个自由度，这两个自由度允许装置指定平面中的位置。
本发明涉及用于将信息与媒体内容关联的计算机系统500的使用。根据本发明的一个实施例，计算机系统500响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列来提供将信息与媒体内容关联。可将这样的指令从另一个计算机可读介质(例如存储装置510)读入到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文所描述的处理步骤。还可使用按多处理布置的一个或多个处理器来执行包含在主存储器506中的指令序列。在可供选择的实施例中，可使用硬接线电路来代替实现本发明的软件指令或者与实现本发明的软件指令组合。因此，本发明实施例不限于硬件电路和软件的任何特定组合。
本文所使用的术语“计算机可读介质”是指参与将指令提供给处理器504用于执行的任何介质。这样的介质可采取许多形式，包括，但不限于，非易失性介质、易失性介质和传输介质。非易失性介质包括，例如，光盘或磁盘，例如存储装置510。易失性介质包括动态存储器，例如主存储器506。传输介质包括包含构成总线502的布线的同轴电缆、铜线和其它导体和纤维光学器件。传输介质还可采取例如那些在无线电波和红外线数据通信期间生成的声波或光波的形式。
计算机可读介质的常见形式包括，例如，软盘、柔性盘、硬盘、磁带或任何其它磁介质、CD-ROM、任何其它光学介质、打孔卡、纸带、具有孔图案的任何其它旧式介质或其它物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其它存储芯片或盒、如以下所述的载波、或者计算机可从其读取的任何其它介质。
计算机可读介质的各种形式可涉及将一个或多个指令的一个或多个序列承载(carry)到处理器504以用于执行。例如，指令一开始可承载于远程计算机的磁盘上。远程计算机可将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可接收电话线上的数据，并使用红外线发送器将该数据转换为红外线信号。与总线502连接的红外线检测器可接收承载于红外线信号中的数据，并将该数据放置在总线502上。总线502将数据承载到主存储器506，处理器504从主存储器506接收指令并执行这些指令。可选地，可在处理器504执行之前或之后将主存储器506接收的指令存储在存储装置510上。
计算机系统500还包括与总线502连接的通信接口518。通信接口518提供与网络链路520连接的双路数据通信，网络链路520与局域网522连接。例如，通信接口518可以是提供与对应类型的电话线的数据通信连接的综合业务数字网(ISDN)卡或数字用户线(DSL)、线缆或其它调制解调器。作为另一个示例，通信接口518可以是提供与可兼容的LAN的数据通信连接的局域网(LAN)卡。还可实现无线链接。在任何这样的实现中，通信接口518发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光学信号。
网络链路520通常提供通过一个或多个网络与其它数据装置的数据通信。例如，网络链路520可通过局域网522提供与主机524或者由互联网服务提供商(ISP)526运行的数据设备的连接。ISP526继而又通过全球包数据通信网络(现在一般称为“互联网”528)提供数据通信服务。局域网522和互联网528都使用承载数字数据流的电信号、电磁信号或光学信号。承载到计算机系统500的数字数据和来自计算机系统500的数字数据的、通过各种网络的信号以及网络链路520上的通过通信接口518的信号是运送信息的载波的示例性形式。
计算机系统500可通过网络、网络链路520和通信接口518发送消息和接收包括程序代码的数据。在互联网示例中，服务器530可通过互联网528、ISP 526、局域网522和通信接口518发送对应用程序的请求代码。如本文所述，根据本发明，一个这样的下载应用提供将信息与媒体内容关联。
当接收的代码被接收和/或被存储在存储装置510或其它非易失性存储器中以用于后续执行时，处理器504可执行这些接收的代码。以这种方式，计算机系统500可以以载波形式获得应用代码。
第二部分
将信息与媒体内容关联
本发明实施例涉及将信息与媒体内容关联。当上传时(比如，上传时或者上传之后但是放出时间之前)，可得出媒体指纹。可用各种过程、方法和系统来实现本发明实施例。本文中以上第一部分中的描述对在放出时间得出媒体指纹的情况下将信息与媒体内容的一部分关联进行了描述。因此，以上第一部分提供了这样的论述，其提供了与本发明实施例相关的上下文，并描述了通过其可实施本发明实施例(比如，将信息与媒体内容关联)的示例性系统和计算机平台。
示例性过程
可从各种源(包括网站和web服务)容易地访问媒体，例如视频和音频内容。而且，各个实体运行和维护网站，所述网站允许个人上传和存储媒体内容，然后其他人可访问的该媒体内容。例如，YouTubeTM允许个人上传媒体内容，该媒体内容被编索引并被存储，并且使得可用于流传输给可能期望访问该内容的个人。
图6描绘根据本发明实施例的示例性过程600的流程图。在步骤601中，由媒体实体检测媒体内容的上传，所述媒体实体接收媒体上传、存储上传的媒体内容并给上传的媒体内容编索引，并且使得媒体内容可用于流传输。在步骤602中，在上传时间，比如，当内容被上传给实体时，从媒体内容得出媒体指纹。可在上传时间或者在上传之后与呈现(比如，播出)时间之前的任何时间从媒体内容得出媒体指纹。当媒体内容的每个部分上传时，从每个部分实时地得出指纹。
在步骤603中，将得出的媒体指纹与存储的媒体指纹的储存器(例如指纹数据库)进行比较。可相对于从指纹的各个内容部分提取它们实时地将指纹与数据库进行比较，而在成功上传每个部分时本质上没有故意的延迟。在步骤604中，确定在得出的媒体指纹和数据库指纹之间是否检测到匹配。如果检测到匹配，则在步骤605中，识别上传媒体内容。当从每个部分得出与该部分对应的指纹、并且在上传内容的过程期间得出整个内容的指纹时，可分别识别媒体内容的每个部分。
在步骤606中，如果没有检测到匹配，则可选地，可存储得出的指纹，并根据与上传相关的信息给得出的指纹编索引，比如用于后续分析和/或识别。可供选择地，可删除、重写等没有找到匹配的得出的指纹。还可行的是，上传的媒体内容可包括“原始”媒体内容，对于所述“原始”媒体内容没有指纹被编索引。在这种情况下，可选地，可与上传的原始内容相关地执行媒体内容的指纹化及其索引化。
在步骤607中，当基于从上传媒体得出的与数据库指纹匹配的指纹识别该上传媒体时，可将信息与媒体内容关联。所述信息可以是辅助信息，例如广告、教育材料等(比如，如以上在第一部分中所述)。由于可从与媒体内容的每个部分对应的指纹分别识别媒体内容的每个部分，所以可将信息与每个内容部分关联。
在步骤608中，与内容部分关联的信息被索引到所述内容部分。在实施例中，创建元数据，该元数据按照可与上传的媒体文件的每个部分对应的关联信息内容表征该上传的媒体文件。将元数据存储在与内容关联的信息文件中。重要的是，给与内容部分关联的信息编索引识别内容(比如，遍及其整个运行时间)内将辅助内容或其它信息与上传的多媒体内容关联的精确时间。
例如，媒体内容可包括被上传给例如YouTube的实体的电影。信息文件由上传实体创建，并被与示例性电影关联，并被分配标识符(例如文件名)。信息文件内的条目包括第一列(或其它数据格式)，第一列包含从时间“零”(0)到与电影的持续时间对应的时间“movie_length”的时间戳。因此，时间戳用于描述各个内容部分。这些时间戳给第二列(或其它数据格式)编索引，第二列包含可与用第一列的时间戳描述的内容部分(比如，电影间隔)对应的关联信息的引用。
在内容被上传之后，上传实体可使得内容可用于流传输。在步骤609中，检测上传的媒体内容的流传输。在步骤610中，与内容的放出并行地扫描与内容关联的信息的索引。在步骤611中，在与关联信息对应的内容部分的放出期间呈现该关联信息。当内容被流传输时，扫描它的存储信息文件。当到达每个内容部分时，存储在文件的第一列中的时间戳索引第二列，以识别与该部分关联的合适的对应信息。然后，实体显示如第二列中的文件条目所指示的关联信息。例如，可与某一内容部分实时地呈现与该内容部分对应的合适的广告、教育评论等。
实施例可使用与在以上第一部分中所描述的那些方法类似的一种或多种方法来运作工商企业和其它尝试。例如，可对与合适的内容部分一起显示广告收取费用。可基于等级来从几个候选者选择广告，所述等级可涉及以不同的广告费率(rate)收取的费用。类似地，可将教育材料等显示为与特定内容部分关联的辅助信息内容。
当上传时(比如，在上传时间或者在上传之后但是在放出时间之前)从媒体内容提取媒体指纹使得可在放出时间之前关联信息，例如呈现辅助信息。这阻止了将信息与媒体内容关联时的中断。由于将信息与媒体内容关联时的中断可与错过的用于与该媒体内容一起呈现辅助信息的机会对应，所以阻止形成这样的中断可增加广告收益、教育效率和实现将辅助信息与多媒体内容关联的其它利益。
示例性系统
图7描绘根据本发明实施例的示例性系统700。系统700可使用或者包括至少一个计算机系统的一个或多个部件，例如在以上第一部分中所描述的计算机平台500(图5)。系统700很好地适于执行用于将信息与媒体内容关联的过程，例如以上过程600(图6)，在过程600中，当上传时(比如，在上传时间、或者在上传之后但是在放出时间之前)从媒体内容得出媒体指纹。
系统700可通过内容上传、存储和访问实体750来实现。实体750的功能是允许上传媒体内容、存储上传的内容和提供例如通过流传输对上传的内容的访问。实体750可被认为是表示基于网络的系统所使用的或执行的功能，例如，可被各种企业中的任何一种企业部署、运行或维护的功能。这样的企业可包括商业和教育、政府和社会机构。企业可从事提供与媒体内容关联的信息(例如辅助内容)作为与以上第一部分中所描述的类似的或者例如以上第一部分中所描述的可被运行为这些企业的利润或收益生成功能的服务。
例如，从功能意义上讲基本上有些类似的基于web的业务的
Figure BPA00001189575600241
GOOGLE IMAGESTM、
Figure BPA00001189575600242
和其它实体可允许用户上传媒体内容以进行存储和供其他人访问。事实上，他们的功能可以是提供客户端计算机用户能够以低成本或者非常低的成本、可能甚至免费地使用的上传、存储和流传输服务特征。当存储的内容被访问时，实体750还可用于提供与某些内容部分链接的并且可本质上相对于这些内容部分实时地显示的辅助内容。媒体内容可以例如包括电影，辅助内容可包括广告、批评或教育评论等。辅助内容的每个单元可以比如在时间上以及主观地或者在上下文上与媒体内容的某些部分对应。当呈现辅助信息时，业务实体可估计费用。费用可基于例如每个广告呈现实例，或者它们可包括付给用于相对于合适的内容部分实时地、及时地呈现教育信息的在线课程的学费。在实施例中，本文所描述的关于实体750的一个或多个部件的功能可包括在另一个部件的功能中。
实体750与数据通信网络710通信连接。网络710可包括一个或多个网络，所述网络可包括互联网。客户端计算机701和709也与网络710通信连接。客户端701通过网络710将内容702上传到实体750。实体750将内容708流传输到客户端709。
当接收到内容上传702时，上传内容读取器751对内容进行处理。当上传时(比如，在上传时间或者在上传之后但是在放出时间之前)，指纹提取器753从处理的内容提取媒体指纹。指纹比较器754将得出的指纹与那些存储在指纹数据库711中的指纹进行比较，并且基于在得出的指纹和数据库指纹之间检测到的匹配，识别上传内容。索引引擎755对与媒体内容可识别地对应的数据构造(例如文件)进行格式化。
例如，索引引擎755可打开文件，并将文件名分配给识别的上传媒体内容。索引引擎755将例如元数据的信息写入描述媒体内容的文件。元数据包括时间数据，例如时间戳，可用该时间数据识别或描述媒体内容的各个组成部分。在实施例中，时间戳生成器752将部分描述时间元数据写入媒体内容文件的列。
索引引擎755将每个媒体内容部分与存储在辅助信息(“aux.info”)数据库712中的关联信息相关。例如，索引引擎755可根据在时间元数据列中写入的与各个内容部分对应的时间戳给描述存储的辅助信息单元且存储在内容文件的关联信息列中的元数据编索引。
内容存储器799存储上传的(和预存储的)媒体内容。内容存储器799、辅助信息数据库712和/或指纹数据库711可包括单个或多个存储储存器的功能。可供选择地，储存器可以物理或逻辑地设置在多个数据库中，所述数据库可以是联网、映像的、群集的和/或冗余的，并可包括SAN或NAS部件。储存器可以是实体750的部件，或者它们可与实体750通信连接，并设为与实体750邻近或者远离实体750。数据库711和712中的一个或多个的功能可分别基本上复制、模拟、映像或表示如以上第一部分所述的数据库211和212(图2)可执行的类似功能。
当客户端709发起请求时，实体750通过网络710将先前上传的(或预存储的)内容708流传输给客户端709。内容流传输器756从内容储存器799检索内容。内容流传输器799与索引引擎755一起运行，以根据与请求的内容对应的数据文件的文件名识别该数据文件。在流传输内容708的同时，内容流传输器756扫描数据文件。内容流传输器756与索引引擎755一起运行以检索(retrieve)来自辅助信息数据库212的关联信息的实例以及与它们对应的媒体内容部分。因此，与和关联信息对应的媒体内容部分一起实时地提供关联信息。
示例性方法
本发明的示例性实施例可涉及在以下段落中列举的方法描述中的一个或多个。
1、一种将信息与媒体内容关联的方法，包括以下步骤：
当上传媒体内容的一部分时，从该媒体内容部分得出媒体指纹，其中，所述媒体指纹包括从该媒体内容部分的特征分量得出的媒体内容部分的独特表示；
基于得出的媒体指纹将信息与该媒体内容部分关联；
流传输该媒体内容部分；和
相对于关联步骤或流传输步骤中的一个或多个实时地链接到关联信息；
其中，自动实时地与该媒体内容部分一起呈现关联内容。
2、根据列举的示例性实施例1所述的方法，还包括存储上传的媒体内容部分的步骤。
3、根据列举的示例性实施例2所述的方法，还包括表征媒体内容部分的步骤。
4、根据列举的示例性实施例3所述的方法，其中，所述表征步骤包括以下步骤：
生成描述媒体内容部分的元数据；和
与媒体内容部分关联地存储元数据。
5.根据列举的示例性实施例3所述的方法，其中，所述表征步骤包括与和所述部分所属的媒体内容相关的时间方面(temporalaspect)相关地识别媒体内容部分的步骤。
6、根据列举的示例性实施例5所述的方法，其中，所述时间方面与在媒体内容部分所属的媒体内容的持续时间内该部分所对应的时间段有关。
7、根据列举的示例性实施例5所述的方法，其中，所述表征步骤还包括以下步骤：
与关联信息相关地识别媒体内容部分；和
基于时间方面将关联信息索引到媒体内容部分。
8、根据列举的示例性实施例1所述的方法，其中，相对于上传、或者上传之后与播出时间之前实时地执行所述提取步骤。
9、根据列举的示例性实施例1所述的方法，其中，所述媒体内容及其部分包括原始内容或派生内容中的至少一个，并且其中，从具有与媒体内容的原始实例无关的至少一个内容项的媒体内容部分得出派生内容。
10、根据列举的示例性实施例1所述的方法，其中，所述媒体内容及其部分包括相对于媒体内容的原始实例修改的内容；和
其中，通过编辑、缩放或译码中的一个或多个相对于媒体内容的原始实例对修改内容进行修改。
11、根据列举的示例性实施例1所述的方法，还包括以下步骤：
将得出的媒体指纹与存储的多个媒体指纹进行比较；
当执行比较步骤时，将得出的媒体指纹与存储的媒体指纹之一进行匹配；和
基于匹配步骤识别媒体内容部分；
其中，关联步骤或链接步骤中的至少一个基于匹配步骤或识别步骤中的至少一个。
12、根据列举的示例性实施例11所述的方法，其中，相对于流传输步骤本质上实时地呈现关联信息。
13、根据列举的示例性实施例1所述的方法，其中，所述媒体内容包括视频、音频或图像相关媒体内容中的至少一个。
14、根据列举的示例性实施例1所述的方法，其中，所述关联内容包括视频、音频、文本、图形或触觉内容中的至少一个。
15、根据列举的示例性实施例1所述的方法，其中，所述关联内容与广告相关。
16、根据列举的示例性实施例1所述的方法，其中，所述关联内容包括商务信息和指导信息中的至少一个，并且其中，所述指导信息包括与媒体内容部分相关的教育信息、美学信息、上下文信息、分析信息、评论或批评中的一个或多个，或者与媒体内容相关的具有对比、比较、扩展、具体化或矛盾中的至少一个的可供选择的信息。
17、根据列举的示例性实施例15或列举的示例性实施例16所述的方法，还包括以下步骤：
提供关联内容；和
用提供步骤作为交换，接收酬劳对价。
18、一种可在网络中操作以用于将内容相关信息与媒体内容关联的系统，包括：
用于当上传媒体内容的一部分时从该部分得出媒体指纹的装置，其中，所述媒体指纹包括从该媒体内容部分的特征分量得出的媒体内容部分的独特表示；
用于基于得出的媒体指纹将信息与该媒体内容部分关联的装置；
用于流传输该媒体内容部分的装置；和
用于相对于关联步骤或流传输步骤中的一个或多个实时地与关联信息链接的装置；
其中，自动实时地与媒体内容部分一起呈现关联内容。
19、一种计算机可读存储介质，包括指令，所述指令在通过一个或多个处理器执行时使得计算机配置用于将可与内容相关的信息与媒体内容关联的网络可操作系统，包括：
用于当上传媒体内容的一部分时从该部分得出媒体指纹的装置，其中，所述媒体指纹包括从该媒体内容部分的特征分量得出的媒体内容部分的独特表示；
用于基于得出的媒体指纹将信息与媒体内容部分关联的装置；
用于流传输该媒体内容部分的装置；和
用于相对于关联步骤或流传输步骤中的一个或多个实时地与关联信息链接的装置；
其中，实时自动地与媒体内容部分一起呈现关联内容。
20、一种计算机可读存储介质，包括指令，所述指令在通过一个或多个处理器执行时使得计算机系统执行用于将信息与媒体内容关联的步骤，所述步骤包括：
当上传媒体内容的一部分时，从媒体内容部分得出媒体指纹，其中，媒体指纹包括从媒体内容部分的特征分量得出的媒体内容部分的独特表示；
基于得出的媒体指纹将信息与该媒体内容部分关联；
流传输该媒体内容部分；和
相对于关联步骤或流传输步骤中的一个或多个实时地与关联信息链接；
其中，自动实时地与该媒体内容部分一起呈现关联内容。
等同、扩展、备选和其它
如此对将信息与媒体内容关联的示例性实施例进行了描述。在前述说明中，参照可在实现方式与实现方式中不同的许多特定细节对本发明实施例进行了描述。因此，本发明是什么以及申请人认为的本发明的唯一的和排他的表示是本申请所公布的具体形式的权利要求组，包括任何后续修正。本文对这样的权利要求中所包含的术语明确阐述的任何定义应该决定这样的术语在权利要求中所使用的意义。因此，没有在权利要求中明确地引用的限制、元素、性质、特征、优点或属性不应该以任何方式限制这样的权利要求的范围。因此，应该以例示性意义而不是限制性意义来看待本说明书和附图。

Claims (10)

1.一种将信息与媒体内容关联的方法，包括以下步骤：
当上传媒体内容的一部分时，从该媒体内容部分得出媒体指纹，其中，所述媒体指纹包括从该媒体内容部分的特征分量得出的媒体内容部分的独特表示；
基于得出的媒体指纹将信息与该媒体内容部分关联；
流传输该媒体内容部分；和
相对于关联步骤或流传输步骤中的一个或多个实时地链接到关联信息；
其中，自动实时地与该媒体内容部分一起呈现关联内容。
2.根据权利要求1所述的方法，还包括存储上传的媒体内容部分的步骤。
3.根据权利要求2所述的方法，还包括表征媒体内容部分的步骤；
其中，所述表征步骤包括以下步骤：
生成描述媒体内容部分的元数据；和
与媒体内容部分关联地存储元数据。
4.根据权利要求3所述的方法，其中，所述表征步骤包括以下步骤：
与时间方面相关地识别媒体内容部分，所述时间方面是关于媒体内容部分所属的媒体内容的；
其中，所述时间方面与媒体内容部分在该部分所属的媒体内容的持续时间内的对应时间段有关；和
其中，所述表征步骤还包括以下步骤：
与关联信息相关地识别媒体内容部分；和
基于所述时间方面将关联信息索引到媒体内容部分。
5.根据权利要求1所述的方法，其中，相对于上传、或者上传之后与播出时间之前实时地执行所述提取步骤。
6.根据权利要求1所述的方法，其中，所述媒体内容及其部分包括原始内容或派生内容中的至少一个：
其中，从具有与媒体内容的原始实例无关的至少一个内容项的媒体内容部分得出派生内容。
7.根据权利要求1所述的方法，其中，所述媒体内容及其部分包括相对于媒体内容的原始实例修改的内容；和
其中，通过编辑、缩放或译码中的一个或多个相对于媒体内容的原始实例对修改内容进行修改。
8.一种可在网络中操作以用于将内容相关信息与媒体内容关联的系统，包括：
用于当上传媒体内容的一部分时从该部分得出媒体指纹的装置，其中，所述媒体指纹包括从该媒体内容部分的特征分量得出的媒体内容部分的独特表示；
用于基于得出的媒体指纹将信息与该媒体内容部分关联的装置；
用于流传输该媒体内容部分的装置；和
用于相对于关联步骤或流传输步骤中的一个或多个实时地链接关联信息的装置；
其中，自动实时地与该媒体内容部分一起呈现关联内容。
9.一种计算机可读存储介质，包括指令，所述指令在通过一个或多个处理器执行时使得计算机配置用于将可与内容相关的信息与媒体内容关联的网络可操作系统，包括：
用于当上传媒体内容的一部分时从该部分得出媒体指纹的装置，其中，所述媒体指纹包括从该媒体内容部分的特征分量得出的媒体内容部分的独特表示；
用于基于得出的媒体指纹将信息与该媒体内容部分关联的装置；
用于流传输该媒体内容部分的装置；和
用于相对于关联步骤或流传输步骤中的一个或多个实时地链接关联信息的装置；
其中，自动实时地与该媒体内容部分一起呈现关联内容。
10.一种计算机可读存储介质，包括指令，所述指令在通过一个或多个处理器执行时使得计算机系统执行用于将信息与媒体内容关联的步骤，所述步骤包括：
当上传媒体内容的一部分时，从该媒体内容部分得出媒体指纹，其中，所述媒体指纹包括从该媒体内容部分的特征分量得出的媒体内容部分的独特表示；
基于得出的媒体指纹将信息与该媒体内容部分关联；
流传输该媒体内容部分；和
相对于关联步骤或流传输步骤中的一个或多个实时地链接关联信息；
其中，自动实时地与该媒体内容部分一起呈现关联内容。
CN2009801042761A 2008-02-05 2009-02-04 将信息与媒体内容关联 Pending CN102084358A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US2644408P 2008-02-05 2008-02-05
US61/026,444 2008-02-05
PCT/US2009/033011 WO2009100093A1 (en) 2008-02-05 2009-02-04 Associating information with media content

Publications (1)

Publication Number Publication Date
CN102084358A true CN102084358A (zh) 2011-06-01

Family

ID=40566392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801042761A Pending CN102084358A (zh) 2008-02-05 2009-02-04 将信息与媒体内容关联

Country Status (3)

Country Link
US (1) US20110035382A1 (zh)
CN (1) CN102084358A (zh)
WO (1) WO2009100093A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229515A (zh) * 2011-09-26 2013-07-31 恩斯沃尔斯有限责任公司 提供与广播内容有关的内容相关信息的系统和方法
CN103797439A (zh) * 2011-07-22 2014-05-14 谷歌公司 丰富网页生成
CN104041058A (zh) * 2012-01-06 2014-09-10 汤姆逊许可公司 基于社交消息在第二屏幕上提供动态广告的方法和系统
CN105684457A (zh) * 2013-10-28 2016-06-15 微软技术许可有限责任公司 针对目标内容的视频帧选择
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
CN106462618A (zh) * 2014-06-03 2017-02-22 谷歌公司 用于第二设备的动态当前结果
CN108924606A (zh) * 2018-06-21 2018-11-30 中兴通讯股份有限公司 流媒体处理方法、装置、存储介质和电子装置
CN109547847A (zh) * 2018-11-22 2019-03-29 广州酷狗计算机科技有限公司 添加视频信息的方法、装置及计算机可读存储介质
CN113645505A (zh) * 2020-04-27 2021-11-12 西娜媒体有限公司 用于视频内容安全的系统和方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070162761A1 (en) 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
US8010511B2 (en) 2006-08-29 2011-08-30 Attributor Corporation Content monitoring and compliance enforcement
US8738749B2 (en) 2006-08-29 2014-05-27 Digimarc Corporation Content monitoring and host compliance evaluation
US8707459B2 (en) 2007-01-19 2014-04-22 Digimarc Corporation Determination of originality of content
US9179200B2 (en) 2007-03-14 2015-11-03 Digimarc Corporation Method and system for determining content treatment
US8275681B2 (en) 2007-06-12 2012-09-25 Media Forum, Inc. Desktop extension for readily-sharable and accessible media playlist and media
US9684907B2 (en) * 2008-08-21 2017-06-20 Dolby Laboratories Licensing Corporation Networking with media fingerprints
WO2010022303A1 (en) * 2008-08-22 2010-02-25 Dolby Laboratories Licensing Corporation Content identification and quality monitoring
WO2010027847A1 (en) * 2008-08-26 2010-03-11 Dolby Laboratories Licensing Corporation Robust media fingerprints
US20100057527A1 (en) * 2008-08-29 2010-03-04 Disney Enterprises, Inc. System and method for personalized action based on a comparison of delivered content with a content fingerprint database
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
CN102216952B (zh) * 2008-11-17 2013-06-05 杜比实验室特许公司 通过矩不变量的投影可靠地与媒体内容对应的媒体指纹
US8180891B1 (en) * 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US8571255B2 (en) 2009-01-07 2013-10-29 Dolby Laboratories Licensing Corporation Scalable media fingerprint extraction
CN102414683B (zh) 2009-05-08 2014-05-21 杜比实验室特许公司 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹
US8635211B2 (en) 2009-06-11 2014-01-21 Dolby Laboratories Licensing Corporation Trend analysis in content identification based on fingerprinting
US8707182B2 (en) * 2010-01-20 2014-04-22 Verizon Patent And Licensing Inc. Methods and systems for dynamically inserting an advertisement into a playback of a recorded media content instance
US8694533B2 (en) 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
EP2596627A4 (en) * 2010-07-20 2015-04-01 Empire Technology Dev Llc OUTPUT OF CONTENT OF MULTIPLE EQUIPMENT
WO2012051606A2 (en) * 2010-10-14 2012-04-19 Ishlab Inc. Systems and methods for customized music selection and distribution
US20130132842A1 (en) * 2011-11-23 2013-05-23 Live Magic, Inc. Systems and methods for user interaction
US9819974B2 (en) 2012-02-29 2017-11-14 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
US11023520B1 (en) 2012-06-01 2021-06-01 Google Llc Background audio identification for query disambiguation
JP5390669B1 (ja) * 2012-06-29 2014-01-15 楽天株式会社 投稿表示システム、投稿表示方法、及び投稿表示プログラム
US9451308B1 (en) 2012-07-23 2016-09-20 Google Inc. Directed content presentation
US9191291B2 (en) * 2012-09-14 2015-11-17 Salesforce.Com, Inc. Detection and handling of aggregated online content using decision criteria to compare similar or identical content items
US9015163B1 (en) 2013-03-13 2015-04-21 Google Inc. Using cross-matching between users and matching against reference data to facilitate content identification
US9773058B2 (en) * 2013-03-15 2017-09-26 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
US9123330B1 (en) * 2013-05-01 2015-09-01 Google Inc. Large-scale speaker identification
CN103347278B (zh) * 2013-06-25 2016-04-27 百度在线网络技术（北京）有限公司 无线定位中指纹数据库的更新方法及装置
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
EP2840514A1 (en) 2013-08-21 2015-02-25 Thomson Licensing Method and device for assigning time information to a multimedia content
US9141676B2 (en) * 2013-12-02 2015-09-22 Rakuten Usa, Inc. Systems and methods of modeling object networks
GB2534089A (en) * 2014-11-07 2016-07-13 Fast Web Media Ltd A video signal caption system and method for advertising
US9514368B2 (en) 2014-11-14 2016-12-06 Telecommunications Systems, Inc. Contextual information of visual media
US10477287B1 (en) 2019-06-18 2019-11-12 Neal C. Fairbanks Method for providing additional information associated with an object visually present in media content
US11956518B2 (en) 2020-11-23 2024-04-09 Clicktivated Video, Inc. System and method for creating interactive elements for objects contemporaneously displayed in live video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002017135A1 (en) * 2000-08-23 2002-02-28 Koninklijke Philips Electronics N.V. Method of enhancing rendering of a content item, client system and server system
US20050058431A1 (en) * 2003-09-12 2005-03-17 Charles Jia Generating animated image file from video data file frames
US20070250901A1 (en) * 2006-03-30 2007-10-25 Mcintire John P Method and apparatus for annotating media streams

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US7756892B2 (en) * 2000-05-02 2010-07-13 Digimarc Corporation Using embedded data with file sharing
US20020103920A1 (en) * 2000-11-21 2002-08-01 Berkun Ken Alan Interpretive stream metadata extraction
US6813690B1 (en) * 2001-06-12 2004-11-02 Network Appliance, Inc. Caching media data using content-sensitive identifiers
US7461392B2 (en) * 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US7110338B2 (en) * 2002-08-06 2006-09-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for fingerprinting digital media
US7421454B2 (en) * 2004-02-27 2008-09-02 Yahoo! Inc. Method and system for managing digital content including streaming media
EP1779659B1 (en) * 2004-08-12 2020-10-07 Gracenote Inc. Selection of content from a stream of video or audio data
US8145908B1 (en) * 2004-10-29 2012-03-27 Akamai Technologies, Inc. Web content defacement protection system
JP4702743B2 (ja) * 2005-09-13 2011-06-15 株式会社ソニー・コンピュータエンタテインメント コンテンツ表示制御装置およびコンテンツ表示制御方法
US20070180461A1 (en) * 2006-02-02 2007-08-02 Ice, L.L.C. Multiplexed Telecommunication and Commerce Exchange Multimedia Tool
US7774385B1 (en) * 2007-07-02 2010-08-10 Datascout, Inc. Techniques for providing a surrogate heuristic identification interface
US20080274687A1 (en) * 2007-05-02 2008-11-06 Roberts Dale T Dynamic mixed media package
US20090063277A1 (en) * 2007-08-31 2009-03-05 Dolby Laboratiories Licensing Corp. Associating information with a portion of media content
US9177209B2 (en) * 2007-12-17 2015-11-03 Sinoeast Concept Limited Temporal segment based extraction and robust matching of video fingerprints
US8990195B2 (en) * 2008-08-06 2015-03-24 Cyberlink Corp. Systems and methods for searching media content based on an editing file

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002017135A1 (en) * 2000-08-23 2002-02-28 Koninklijke Philips Electronics N.V. Method of enhancing rendering of a content item, client system and server system
US20050058431A1 (en) * 2003-09-12 2005-03-17 Charles Jia Generating animated image file from video data file frames
US20070250901A1 (en) * 2006-03-30 2007-10-25 Mcintire John P Method and apparatus for annotating media streams

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HYOUNG-GOOK KIM等: "Chapter 7:Application", 《MPEG-7 AUDIO AND BEYOND:AUDIO CONTENT INDEXING AND RETRIEVAL》 *
MARCO BERTINI等: "Video Clip Matching Using MPEG-7 Descriptors and Edit Distance", 《IMAGE AND VIDEO RETRIEVAL LECTURE NOTES IN COMPUTER SCIENCE》 *
OLIVER HELLMUTH等: "Using MPEG-7 Audio Fingerprinting in Real-World Applications", 《AUDIO ENGINEERING SOCIETY CONVENTION PAPER》 *
YIJUN LI等: "Matching Commercial Clips from TV Stream Using a Unique,Robust and Compact Signature", 《DIGITAL IMAGE COMPUTING:TECHNIQUES AND APPLICATIONS》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062978A (zh) * 2011-07-22 2018-12-21 谷歌有限责任公司 丰富网页生成
CN103797439A (zh) * 2011-07-22 2014-05-14 谷歌公司 丰富网页生成
CN104025017A (zh) * 2011-07-22 2014-09-03 谷歌公司 链接内容文件
CN110069661B (zh) * 2011-07-22 2023-09-26 谷歌有限责任公司 链接内容文件
CN109062978B (zh) * 2011-07-22 2022-03-18 谷歌有限责任公司 丰富网页生成
US9767202B2 (en) 2011-07-22 2017-09-19 Google Inc. Linking content files
US9990431B2 (en) 2011-07-22 2018-06-05 Google Llc Rich web page generation
CN103797439B (zh) * 2011-07-22 2018-07-24 谷歌有限责任公司 丰富网页生成
CN110069661A (zh) * 2011-07-22 2019-07-30 谷歌有限责任公司 链接内容文件
CN103229515B (zh) * 2011-09-26 2016-08-10 恩斯沃尔斯有限责任公司 提供与广播内容有关的内容相关信息的系统和方法
CN103229515A (zh) * 2011-09-26 2013-07-31 恩斯沃尔斯有限责任公司 提供与广播内容有关的内容相关信息的系统和方法
CN104041058A (zh) * 2012-01-06 2014-09-10 汤姆逊许可公司 基于社交消息在第二屏幕上提供动态广告的方法和系统
US10397661B2 (en) 2013-10-28 2019-08-27 Microsoft Technology Licensing, Llc Video frame selection for targeted content
CN111988662A (zh) * 2013-10-28 2020-11-24 微软技术许可有限责任公司 针对目标内容的视频帧选择
CN105684457A (zh) * 2013-10-28 2016-06-15 微软技术许可有限责任公司 针对目标内容的视频帧选择
CN106462618A (zh) * 2014-06-03 2017-02-22 谷歌公司 用于第二设备的动态当前结果
CN106462618B (zh) * 2014-06-03 2019-12-20 谷歌有限责任公司 用于第二设备的动态当前结果
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
CN108924606A (zh) * 2018-06-21 2018-11-30 中兴通讯股份有限公司 流媒体处理方法、装置、存储介质和电子装置
CN109547847A (zh) * 2018-11-22 2019-03-29 广州酷狗计算机科技有限公司 添加视频信息的方法、装置及计算机可读存储介质
CN113645505A (zh) * 2020-04-27 2021-11-12 西娜媒体有限公司 用于视频内容安全的系统和方法

Also Published As

Publication number Publication date
US20110035382A1 (en) 2011-02-10
WO2009100093A1 (en) 2009-08-13

Similar Documents

Publication Publication Date Title
CN102084358A (zh) 将信息与媒体内容关联
US20240119086A1 (en) Media comsumption history
US20090063277A1 (en) Associating information with a portion of media content
US10235025B2 (en) Various systems and methods for expressing an opinion
CN101981576A (zh) 使用媒体内容中识别出的对象将信息与媒体内容相关联
AU2009257626B2 (en) Measuring exposure to media
CN101517550B (zh) 大众传媒的社会性和交互式应用
US20090307061A1 (en) Measuring Exposure To Media
CN109033149B (zh) 信息推荐方法、装置、服务器及存储介质
CN102216945B (zh) 通过媒体指纹进行联网
CN103797482A (zh) 进行接收到的数据的比较并基于比较提供后续服务的方法和系统
CN104756503A (zh) 通过经由社交媒体向最感兴趣的时刻中提供深度链接来帮助发现节目内容
CN101981574A (zh) 分布式媒体指纹储存库
JP2003157288A (ja) 情報関連付け方法、端末装置、サーバ装置、プログラム
CN104487964A (zh) 监视媒体呈现的方法和设备
CN103310663B (zh) 一种智能点读方法、设备及系统
KR101492249B1 (ko) 사용자 맞춤형 광고 및 콘텐츠 제공 시스템
CN104685899A (zh) 动态媒体片段定价
WO2020042376A1 (zh) 用于输出信息的方法和装置
CN104104999A (zh) 音视频信息推荐方法及设备
US8775321B1 (en) Systems and methods for providing notification of and access to information associated with media content
US20130247085A1 (en) Method for generating video markup data on the basis of video fingerprint information, and method and system for providing information using same
KR101486924B1 (ko) 소셜 네트워크 서비스를 이용한 미디어 콘텐츠 추천 방법
KR101108584B1 (ko) 멀티미디어 콘텐츠의 내용에 기반하는 광고 제공 시스템 및그 광고 제공 방법
US9947040B2 (en) Method for providing electronic video files related to products of interest

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110601