CN101589383B - 用于视频标注的方法和系统 - Google Patents

用于视频标注的方法和系统 Download PDF

Info

Publication number
CN101589383B
CN101589383B CN200780050525.4A CN200780050525A CN101589383B CN 101589383 B CN101589383 B CN 101589383B CN 200780050525 A CN200780050525 A CN 200780050525A CN 101589383 B CN101589383 B CN 101589383B
Authority
CN
China
Prior art keywords
mark
fragment
media file
feature set
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780050525.4A
Other languages
English (en)
Other versions
CN101589383A (zh
Inventor
M·达塔尔
A·加格
V·米塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN101589383A publication Critical patent/CN101589383A/zh
Application granted granted Critical
Publication of CN101589383B publication Critical patent/CN101589383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种用于传送与媒体文件相关联的标注的系统和方法。将与媒体文件相关联的标注索引到该媒体文件的第一实例。通过比较媒体文件的第一实例与该媒体文件的第二实例的特征，在这两个实例之间创建映射。可以使用所述第一实例与第二实例之间的映射，来将所述标注索引到第二实例。可以基于对于第二实例的索引来处理(显示、存储或者修改)所述标注。

Description

用于视频标注的方法和系统
技术领域
所公开的实施方式总体上涉及视频标注的创作和显示，并且涉及通过网络对标注进行协作共享和编辑。
背景技术
标注提供了一种利用有用信息补充视频的机制。例如，标注可以包括元数据，其描述视频的内容、小标题或者附加音轨。标注可以是各种数据类型，包括文本、音频、图像或者其他形式。为了使其内容是有意义的，标注通常与特定的视频或者与视频的特定部分相关联。
一种可以交换包含在标注中的有用信息的方法是，通过网络来传送已标注视频。然而，通过网络传送视频导致了多种障碍。首先，通常视频文件非常长，并且传送视频需要大量的带宽，还需要可以支持所需带宽和存储需求的主机和接收方计算机。其次，很多视频文件很可能是受版权保护的，或者在不支付费用的情况下禁止分发。服从版权约束需要附加的软件和硬件投资以便禁止未授权的拷贝。第三，由于已标注视频的接收方可能已经具有了视频的未标注副本，所以从数据效率的角度来说，将传送视频的已标注副本传送至该接收方将不必要地消耗带宽和存储设备两者。
由此，通过传送视频的完整拷贝来交换已标注视频是一种不适当的方案。
发明内容
与媒体文件相关联的标注独立于所关联的媒体文件而在设备之间传送，同时维护该标注与该媒体文件的任何片段之间适当的时间或者空间关系。将与媒体文件相关联的标注索引到该媒体文件的第一实例。通过比较媒体文件的第一实例与媒体文件的第二实例的特征，在这两个实例之间创建映射。可以使用所述第一和第二实例之间的映射来将标注索引到第二实例。可以基于对第二实例的索引来显示、存储或者修改标注。
比较实例的特征允许将标注一致地索引到媒体文件的多个独立获取的实例。标注的一致性索引支持标注的共享，并且允许标注作者、修改者和消费者的协作团体。标注可以包括广告或者额外付费的内容。提交、编辑或者查看标注的权限可以这样来提供：在订阅的基础上销售、免费、或者与媒体文件的购买进行捆绑。
根据一个实施方式，第一用户向标注服务器提交标注，该标注被索引到媒体文件的该第一用户的实例。标注服务器将该媒体文件的第一用户的实例映射至该媒体文件的标准实例，并且存储索引到媒体文件的标准实例的已提交标注。第二用户请求标注，并且标注服务器将该媒体文件的第二用户的实例映射至该媒体文件的标准实例。标注服务器向第二用户发送被索引到该媒体文件的第二用户的实例的标注。
在发明内容以及下文具体说明书中描述的特征和优点并非包罗万象。参考其中的附图、说明书和权利要求书，多种附加特征和优点对于本领域技术人员来说是易见的。
附图说明
图1示出了连接消费者和视频提供者的团体的网络；
图2示出了视频的帧以及对一个或者多个帧的标注的索引；
图3示出了两个视频实例的帧；
图4(a)示出了索引到视频的标准实例的标注；
图4(b)示出了将视频的客户端实例映射至视频的标准实例；
图5示出了用于存储视频和标注的一个实施方式；
图6是与视频相关联的标注的修改和显示的事件踪迹；
图7(a)示出了用于查看、创建和编辑标注的用户界面；
图7(b)示出了用于创建新标注的用户界面；
图8示出了用于确定将显示哪个标注的方法。
附图仅出于示出目的而描述了本发明的各种实施方式。从下文的说明书中，本领域技术人员容易理解，在不脱离在此描述的本发明的原理的情况下，可以使用在此示出的结构和方法的备选实施方式。
具体实施方式
图1示出了连接消费者和视频提供者的团体的网络。图1示出了一个实施方式，多个用户可以通过该实施方式来交换视频和标注。在此，视频用作可以与标注相关联的媒体文件的示例。选择该示例是为了说明之目的，而并非作为限制。与标注相关联的其他类型的媒体文件可以包括但不限于：音频节目、Flash、电影(以任何编码格式)、幻灯片演示、照片集、动画节目、以及其他文档。在不脱离本发明的范围的情况下，其他示例对于本领与技术人员来说是易见的。
用户使用客户端104来查看、创作和编辑标注。标注可以是有益于补充媒体文件的任何数据。例如，标注可以是音频或者文本注释、翻译、广告或者摘要、根据预定标度(1-5星)的分级、元数据、或者如何显示媒体文件的命令。客户端104包括用于显示视频的软件和硬件。例如，客户端104可以实现为电视、个人计算机、数字视频记录集(DVR)、个人数字助理(PDA)、蜂窝电话、或者具有或连接至显示设备的其他设备；软件包括适用于解码视频文件(诸如，MPEG-2、MPEG-4、QuickTime、VCD，或者当前或者今后的任何其他视频格式)的任何视频播放器。在不脱离本发明的范围的情况下，客户端的其他示例对于本领域技术人员来说是易见的，在此参考附图7(a)和图7(b)来描述根据一个实施方式的、由客户端104使用的图形用户界面。
客户端104连接至网络105。网络105可以实现为可传送标注内容的任何电子介质。客户端104可以通过网络105来发送数据，以及从其他客户端104接收数据。网络105可以是全球性网络(例如，因特网)、区域网络、广域网或者局域网。
视频服务器106在电子介质上存储视频集。响应于客户端104针对特定视频(或者针对匹配于特定标准的视频集)的请求，视频服务器106通过网络105将视频传送到客户端104。视频服务器106可以配置用于针对向客户端提供视频的服务而进行收费，或者其可以提供免费视频。视频服务器106例如可以实现为点播内容服务、在线存储或者流式传送视频服务器。在不脱离本发明范围的情况下，视频服务器的其他示例对于本领域技术人员是易见的。
某些客户端104还连接至视频源102。视频源102是向客户端提供视频的设备。例如，视频源102可以是线缆盒、电视天线、数字视频记录机、视频带播放器、照相机、游戏控制台、数字视频盘(DVD)单元、或者能够以客户端104可读格式生成视频输出的任何其他设备。在不脱离本发明范围的情况下，视频源102的其他示例对于本领域技术人员是易见的。
根据本发明的一个实施方式，客户端104可以通过网络105发送视频。例如，客户端104B可以从视频源102B接收视频，并且将其通过网络传送至其他客户端，诸如客户端104D。客户端104还可以通过网络105来向视频服务器106发送视频。从客户端104发送至视频服务器106的视频可以存储在电子介质上，并且可用于其他客户端104。
标注服务器110连接至网络105。标注服务器110在电子介质上存储标注。响应于来自客户端104的针对与特定媒体文件相关联的标注的请求，标注服务器110通过网络105向客户端104发送与媒体文件相关联的一个或者多个标注。响应于客户端104发出与媒体文件相关联的一个或者多个标注，标注服务器110存储所述一个或者多个标注，使之与媒体文件相关联。标注服务器110存储被索引到一个或者多个媒体文件的实例或其部分的标注。根据本发明的各种实施方式，在此参考附图4-6而描述了由标注服务器110使用的方法。
可选地，视频服务器108以本地方式或者通过网络105来可通信地连接至标注服务器110。视频服务器108可以具有与在此参考视频服务器106描述的功能相同的功能。视频服务器108可以通过网络105向客户端104传送视频。在一个实施方式中，标注服务器110和视频服务器108相结合地向客户端104传送已标注视频。在另一实施方式中，视频服务器108存储视频的标准实例，如参考附图5所述。
如在附图中所示，任何给定的客户端可以访问来自各种源的视频。例如，客户端104A可以直接从视频源102A接收视频，或者经由网络105从视频服务器106接收视频。有时候，不同的客户端可以访问不同的视频源。例如，类似于客户端104A，客户端104B可以经由网络105来从视频服务器106接收视频，但是与客户端104A相反，客户端104B对视频源102B而不是视频源102A进行直接访问。
尽管客户端潜在地可以从广泛范围的视频源获取视频，本发明允许从标注服务器110发送至客户端的标注与特定媒体文件或其部分一致地关联，而不考虑该视频的客户端副本从哪个源获得的。标注与媒体文件的一致关联有利于在具有给定媒体文件的多个实例(或者副本)的用户之间交换标注。本发明对用于客户端媒体文件的各种实例的标注进行重新索引，从而支持在多个客户端之间共享和交互标注。例如，标注服务器110发送被索引到客户端104A的视频实例的标注，并且发送被索引到客户端104B的视频实例的标注，而不考虑两个客户端的视频副本是从不同源获取的这一事实。标注服务器110有益地提供了标注，该标注不但适用于由客户端104来显示的视频，而且适用于客户端104正在显示的特定视频实例，如参考附图4所述。
现在参考附图2，其中示出了如何将标注与视频文件及其一个或者多个帧在时间和/或空间上进行关联的概念图。图2示出了一系列视频帧，从帧200至帧251。客户端104显示三个帧，并且还可以暂停、回退、快进、跳过、或者对正在播放帧的顺序或者速度进行调整。
出于说明目的，下文的说明书将视频称作由帧构成。有时候，视频作为帧块、字段、宏块或者不完整帧的部分(section)来进行存储和传送。当在此参考由由帧构成的视频时，应当理解，在中间步骤中，视频实际上可以以各种其他格式中的任何一种进行存储。为清楚起见，在此使用的术语“帧”并不限于用来存储或显示视频的任何特定格式或惯例。
某些帧具有与之相关联的标注，这些标注由特定的用户提供。在示出的示例中，以较大比例示出了帧201，以便详细示出其相关联的某些标注。如附图中所示，标注可以与帧的特定空间位置相关联，或者可以与整个帧相关联。例如，标注1与帧201左上角中的矩形块相关联。与之不同，标注4与整个帧相关联。
标注还可以与重叠的空间位置相关联。例如，标注1与矩形块相关联，而该矩形块与同标注2相关联的不同矩形块相重叠。在一个实施方式中，标注可以与由闭合形式形状所定义的空间位置相关联。例如，如图2中所示，标注3可以与由椭圆形装定义的空间位置相关联。
标准列表280维护标注的空间定义与标注内容之间的关联。与帧1中的矩形块相关联的标注1包括文本“副总统”。标注1是一个标注的示例，该标注可用于高亮显示帧的特定部分或者向其添加补充信息。标注4与整个帧201相关联，并且包含文本“国情咨文”。标注4是一个标注的示例，该标注用于概括帧的内容。标注5与整个帧201相关联，并且包含某些音频，其中在此情况下是法语音频翻译。标注5是一个标注的示例，该标注用于提供补充音频内容。
标注还可以具有与媒体文件或者其任何部分的时间关联。例如，标注可以与特定帧或者特定范围的帧相关联。在图2中，例如，标注2可以与帧200至帧251相关联，而标注5仅与帧201相关联。与标注相关联的空间定义还可以随时间而变化。例如，标注1可以在帧201中与第一区域相关联，而在帧202中与第二区域相关联。依赖于时间和空间的标注关联对于提供关于运动对象的补充信息来说非常有用，并且如在附图中示出的示例所示，可以适应于美国副总统的动作。可以通过帧号、时间编码或者任何其他索引基础来定义时间关联。作为一个表的标注列表280的图示并不意味着限制所使用的底层存储格式；可以使用任何格式或者组织的标注信息，包括降低存储需求和/或提高检索速度的优化格式。
在媒体文件的回放期间，客户端104适于显示与文件帧相关联的标注。例如，标注可以显示为叠加在视频帧上的文本、显示在帧旁边的图形、或者作为与视频同步再现的音频；标注还可以出现在邻近该视频的单独窗口或者帧中。标注还可以包括关于如何显示与该标注相关联的媒体文件的命令。显示命令标注可以包括按照标注的指引来显示视频。例如，响应于标注，客户端104可以跳过视频中的不同位置，以慢动作显示视频的部分，或者完全跳转至不同的视频。
客户端104能够显示可用标注的子集。例如，观看图2中视频的用户可以通过规定各种标准来选择客户端104显示哪些标注。用户可以选择仅接收特定类型的标注(例如，注释、文本、图像、音频)，或者仅接收由特定显示区域定义的标注。用户可以选择仅接收特定语言的标注、匹配于特定搜索标准(诸如，关键字)的标注、或者由特定用户创作的标注。作为另一示例，当在用户的协作体中编写并编辑标注时，用户可以选择仅接收由具有特定阈值以上声誉的用户所创作的标注，或者仅接收具有特定阈值以上等级的标注。用户还可以对标注进行搜索，并且基于标注搜索的结果而获取相关联的视频。
可以对某些标注给出优先权，该优先权不允许用户禁止显示该标注。例如，标注可以包括广告，其可以被如此配置：不显示其他标注，除非显示的也是广告标注。此类配置禁止用户在避免对广告标注付费的同时查看特定标注。在此参考附图8描述了一种确定显示哪些标注的方法。
用户还可以使用客户端104来编辑标注。例如，观看图2中所示标注的用户可能对标注1不满意。该用户使用连接至客户端104的输入设备，将标注文本“副总统”变为“美国副总统”。今后标注的显示(对此用户或者可能是对其他用户)将包括修改后的文本“美国副总统”。作为另一选项，用户可以改变与标注相关联的时间或者空间定义。例如，敏感的用户可以认识到，在帧右侧示出的文档实际上是从15USC§§78dd-1中摘录，并且宪法(尽管其几乎被总统的位置完全遮挡)在帧的左侧几乎不可见。由此，用户例如可以通过使用连接至客户端104的输入设备将空间定义拖拽(例如，在示出视频帧的直接操纵用户界面中进行拖拽)到不同位置，来改变标注3相关联的时间定义。
出于说明目的，图2所示的标注列表280是作为客户可以如何组织标注及其相关联帧的一个示例。标注列表280有助于管理和显示与帧或者帧范围相关联的标注，然而，各种客户端可以在不脱离本发明的范围的情况下以不同方式组织标注。
如图1中所示，客户端有时候访问相同视频的多个实例，并且不同客户端频繁地访问各种不同实例。图3示出了构成相同视频的两个实例的帧序列。例如，视频实例302可以是从有线频道接收的视频的副本，而视频实例304是从在线视频存储接收的相同视频的副本。作为另一示例，视频实例302可以是由第一用户的数字视频录像机录制的、从第一广播台接收信号的视频副本，而视频实例304是由第二用户的数字视频录像机录制的、从第二广播台接收信号的相同视频副本。
由于视频实例302的获取独立于视频实例304，很可能出现如下情况：两个副本并不是时间同步的、和/或具有不同的长度。例如，视频实例302可能是从Zurich频道录制的电视，该电视以其准时和良好品味而著称。另一方面，视频实例304可能是从Tulsa电视台录制的电视，而该电视制作草率并且定时粗略。由此，如图3中所示，第一实例的帧未必对应于第二实例的帧。另外，在给出的节目或者广播的不同实例之间，可能出现多种其他类型的差异。这些差异包括但不限于：编码参数(例如，分辨率、帧率)的差异以及文件格中的差异。
在示出的示例中，视频实例302的帧306关于视频实例304的帧308而发生时间偏移。帧308的第一帧包括与帧306的第三帧相同的内容。当用户将标注与特定的视频帧相关联时，理想的是，尽管存在各视频实例之间的时间偏移的可能性，但在向其他用户显示该视频帧时，所述标注与该视频帧一起显示。还应该注意，视频实例302具有6个帧，而视频实例304具有4个帧。
标注服务器110对帧的时间偏移加以考虑，从而使标注可以与各视频实例一起适当地显示。例如，假定一个标注描述了一个进入帧306中第三帧的司机。如果此标注是关于帧306而被索引的，则标注服务器110将此索引转换至关于帧308的索引，从而使该标注可以与视频实例304一起适当地显示。标注服务器110通过将一个视频实例映射至另一个视频实例来转换标注索引。
现在参考附图4(a)，标注404被索引到视频的标准实例406。出于说明目的，把具有索引到其的标注的视频实例称作标准实例，并且把将在客户端显示的视频实例称作客户端实例。根据一个实施方式，可以在两个或者更多客户端之间的多个方向上共享标注。由此，可能不存在确定的标准视频实例。应该理解，术语“标准实例”是表示视频实例在标注交换的一种情况下所起的作用，而未必表示在视频分发系统中或者在标注帧总体中的视频副本的状态。
视频服务器108可以以区块(chunk)方式存储视频内容。在以下专利申请中公开了一种用于以区块方式存储视频的系统和方法：美国专利申请序列号11/428,319，该申请标题为“DynamicMediaServingInfrastructure”，发明人为ManishGupta等人，律师卷号为24207-11584，申请日为2006年6月30日；以及美国临时专利申请序列号60,756,787，该申请标题为“DiscontinuousDownloadofMediaArticles”，发明人为MichaelYu等人，律师卷号为24207-11081，申请日为2006年1月6日，在此通过引用将上述两个申请全部引入于此。图4(a)示出了标准视频实例406，其作为区块402A和区块402B来存储。区块是用于存储视频的数据元素。将视频存储于区块中有益于对视频进行有效索引和传送，并且允许按照更为可控的大小来操作视频数据。
如参考附图2所述，标注可以与视频中的特定帧相关联。可以将标注索引到该视频的特定实例中的帧，从而存储标注与特定帧之间的关联。例如，标注404A被索引到视频的标准实例406中的帧，在此情况下是区块402A中的帧。
另外，如参考附图2所述，标注可以与视频中一定范围的帧相关联。有时，将一个或者多个帧的集合称作视频片段。例如，标注404D被索引到视频的标准实例406中的视频片段，在此情况下是包括区块402B的一个或者多个帧的片段。
客户端接收来自视频源或者服务器(诸如，在此参考附图1所述的一个)的视频，并且将副本存储为视频的客户端实例408。当客户端显示视频时，客户端周期性地从标注服务器请求与将要显示的视频帧相关联的标注。为了确保可以在充分时间内请求、检索、传送和接收该标注以便与其相关联的帧一起显示，客户端在将要显示帧之前的某个时间请求与该帧相关联的标注。
为了提高效率，客户端可以将针对与特定帧相关联标注的请求结合到针对与视频片段相关联的标注的请求中。例如，请求可以进行查找以检索与给定视频相关联的所有标注。在所示示例中，客户端请求与视频片段409相关联的标注。针对标注的请求将返回与片段中各帧相关联的标注、或者与该片段中的帧的超集或者子集相关联的标注。例如，客户端可以请求与视频片段409精确关联的标注、与视频片段409的各帧相关联的标注、或者与整个视频相关联的标注。
现在参考附图4(b)，标注服务器110将客户端视频实例408映射至视频的标准实例406。映射412描述了视频的客户端实例408的帧与该视频的标准实例406中的帧之间的对应关系。标注服务器110可以使用各种技术将视频的客户端实例408映射至视频的标准实例406。根据本发明的一个实施方式，客户端针对标注的请求包括视频的客户端实例408的特征。特征是类似的一个或者多个视频帧内容的简洁表示。例如，标注服务器110可以将帧分组为逻辑单元，诸如场景或者镜头。标注服务器110可以使用场景检测算法来自动地组织帧。在NaphadeM.R.等人的“AHigh-PerformanceShotBoundaryDetectionAlgorithmUsingMultipleCues”(1998InternationalConferenceonImageProcessing(Oct4-71998)，vol.1，pp.884-887)一文中描述了一种场景检测算法，在此通过引用将其引入于此。
由此，标注服务器110可以为属于相同场景的所有帧计算一个特征集。例如，该特征可以是时间域、空间域或者频率域中特性的描述。例如，客户端可以请求与特定帧相关联的标注，并且可以通过其时间域、位置域和频率域特性来描述该帧。客户端可以使用用于确定视频特征的任何技术，诸如在如下文档中描述的技术：由ZabihR.、MilerJ.以及MaiK.所著的“Feature-BasedAlgorithmsforDetectingandClassifyingSceneBreaks”(Proc.ACMMultimedia95，SanFrancisco，CA(Nov.1993)，pp.189-200)、以及ArmanF.、HsuA.和ChiuM-Y.所著的“ImageProcessingonEncodedVideoSequences”(MultimediaSystems(1994)，vol.1，no.5，pp211-219)、以及FordR.M.等人所著的“MetricsforShotBoundaryDetectioninDigitalVideoSequences”(MultimediaSystems(2000)，vol.8，pp.37-46)，在此通过引用将上述全部引入于此。本领域普通技术人员将会理解用于确定视频特征的各种技术。
通常，在特征的总体样本上定义距离函数，其捕获底层帧集的相近性。当标注服务器110接收到针对帧标注的请求及其特征集时，服务器首先尝试将请求中的帧映射至视频的标准实例406中最为相近的帧。标注服务器110使用视频的客户端实例408中帧的时间位置(特征集中的特征之一)来缩窄标准视频406中帧的集合(其可以潜在地映射至此帧)，这例如是通过将候选集限制为所选帧之前以及之后固定量的时间或者帧以内的帧。对于候选集中的所有帧，标注服务器110计算来自客户端408的帧的特征集与来自标准视频406的帧的特征集之间的距离。来自标准视频406的具有最短距离的帧被称作匹配帧。接着，将客户端帧映射至该匹配帧。如果对于最接近帧的距离大于特定阈值，则指示不存在良好匹配，不返回标注。用于创建映射的、由特征描述的成分可以驻留于正在针对其而请求标注的视频片段之中，但这不是必需的。类似地，由特征描述的成分可以驻留在标注被索引到的视频片段中，也可以不在其中。
例如，特征可以表示为字符串，这允许标注服务器110使用从特征字符串到帧的已转换索引来搜索特征。标注服务器110还可以这样来搜索特征：在特征集上定义距离度量，并且选择具有最小距离的候选帧。此类映射可以在服务器110接收客户端请求时进行，或者标注服务器110可以进行预计算并且在离线过程中维护距离。
通过使用映射412，标注服务器110确定了视频的标准实例中视频的对应片段414。如上所述，视频的对应片段414具有的内容接近地匹配于视频片段409的内容。在理想情况下，视频的对应片段414包括与视频片段409相同的帧的实例。标注服务器110将客户端视频408中的每个帧(其映射至视频的标准实例中的帧)与帧号相关联，并且维护用于每个帧映射的帧号的列表。在一个示例中，帧号列表的长度等于客户端视频实例408中的帧号，其中每个条目将对应的帧映射至视频的标准实例406中的帧。
标注服务器确定被索引到视频的对应片段414(或者视频的对应片段414的超集或者子集)的标注。如附图4(b)所示出的示例，标注404D被索引到落入视频的对应片段414之中的视频片段。响应于针对片段409的标注的请求，标注服务器110向客户端传送标注404D。
可选地，标注服务器还可以传送如下信息，该信息描述与标注相关联的视频片段。例如，使用特征作为参考点，标注服务器可以描述关于该参考点的帧(或者一定范围的帧)。
图5示出了视频和标注的组织。附图5示出了如何将标注索引到标注服务器中的视频的标准实例。
根据一个实施方式，标准存储在标注库中。视频的标准实例存储在视频库中。标注和库可以被包括在相同的服务器中，或者它们可以被包括在不同的服务器中。例如，标注可以存储在标注服务器110中，而视频可以存储在视频服务器108中。
标注包括对视频片段的引用。例如，标注404D包括时间定义501D。时间定义指定视频的标准实例的一个或者多个帧。在示出的示例中，时间定义501D涉及视频的标准实例406的一个或者多个帧504。作为另一示例，标注404F包括时间定义510F。时间定义510F涉及视频的标准实例406的一定范围的帧。可以使用各种标度来描述时间定义，包括但不限于文档标识符、帧标识符、时间码、以帧为单位的长度、以毫秒为单位的长度、以及各种其他组合。
时间定义是标注如何与视频片段相关联的一个示例。在不脱离本发明范围的情况下，对于本领域技术人员而言，用于将标注与视频片段相关联的其他方法是易见的。
标注还包括标注内容511。标注内容例如可以包括：音频、文本、元数据、命令或者可用于与媒体文件相关联的任何其他数据。标注可以可选地包括空间定义509，其指定与标注相关联的帧的区域。空间定义509的使用是用于将标注与帧上的特定空间位置相关联的一种示例性方法。
作为示例，假定视频的对应片段414包括帧504。视频的对应片段414可以定义为一定范围的时间码。标注服务器通过搜索引用如下时间码的标注来检索标注，其中该时间码处于定义视频的对应片段414的时间码范围之内、或者与之重叠。标注服务器检索标注404D(包括标注内容511D)。标注服务器将标注内容511D(或者标注404D，其包括标注内容511D)传送至客户端，而客户端显示该标注内容511D。
图6是根据本发明一个实施方式的、对与视频相关联的标注进行显示和修改的事件踪迹。客户端104从视频服务器106或者视频源102接收视频片段，并且存储副本以作为视频的客户端实例。客户端使用特征检测算法来处理片段，并且基于视频的第一片段来确定特征(步骤602)。客户端向标注服务器110发送针对与该视频的第二片段相关联的标注的请求，该请求包括特征。
视频的第一片段可以包括与视频的第二片段相同的特定帧，但这不是必需的。针对与视频的第二片段相关联的标注的请求中所包括的特征还可以包括来自与视频的第二片段相邻的片段的特征。
请求还可以包括描述视频的内容或者标题的元数据，从而使标注服务器可以检索适当的标注。例如，从在线商店购买的视频可能具有视频标题，其可以用来过滤可用标注的集合。作为另一示例，针对从广播电视或者有线连接获取的视频而发送至标注服务器的元数据可以包括获取视频的时间和频道的描述。标注服务器可以使用此时间和频道信息来确定适当的视频，并取回与该视频相关联的标注。
标注服务器110接收针对标注的请求。标注服务器110在视频的标准实例中搜索该请求中所包括的特征，并且在视频的客户端实例和视频的标准实例之间建立映射。在一个实施方式中，针对标注的请求包括元数据，该元数据指示针对其检索标注的特定视频，并且标注服务器110在此元数据所指示的视频的标准实例中搜索特征(步骤604)。
标注服务器110在标注库中搜索与视频相关联的标注(步骤608)，并且返回该标注。例如，视频服务器110可以搜索被索引到视频的标准实例的标注。通过在两个实例之间进行映射，标注服务器110可以将对视频的标准实例的索引转换为对视频的客户端实例的索引。
标注服务器110将与视频相关联的标注传送至客户端。根据一个实施方式，标注还包括索引信息，该索引信息定义了与标注相关联的一个或者多个帧的集合。标注服务器110例如可以通过关于特征的关联来确定与标注相关联的帧。
客户端104接收并且显示标注(步骤610)。客户端104还可以处理标注的索引信息，从而使标注与客户端视频实例一起适当地显示。
可选地，客户端从用户接收对于标注的改变(步骤612)。例如，用户可以编辑文本、重新录制音频、修改在标注内容中包括的元数据、或者改变标注命令。客户端104向标注服务器110传送已修改的标注，或者备选地，向标注服务器110传送修改的描述。
标注服务器110接收已修改的标注。标注服务器110存储已修改的标注，并且将所述已修改的标注索引到视频的标准实例(步骤614)。标注服务器110可以使用各种方法来将已修改标注索引到视频的标准实例。例如，标注服务器110可以使用先前建立的映射来来转换对视频的客户端实例的索引。作为另一示例，客户端104可以包括具有已修改标注的特征，并且标注服务器110可以在视频的客户端实例与视频的标准实例之间建立新的映射。
出于说明目的，示出了从客户端104流向标注服务器110的特征。然而，为了在视频的客户端实例与视频的标准实例之间建立映射，特征可以沿任一方向流动。标注服务器110基于由客户端104发送特征来维护此映射，这是为了说明之目的而给出的，而不是限制性的。在另一实施方式中，客户端例如基于由标注服务器110发送给客户端104的视频的标准实例的特征，来维护视频的客户端实例与视频的标准实例之间的映射。在另一实施方式中，第三方通过从标注服务器110和客户端两者接收特征来维护视频的客户端实例与视频的标准实例之间的映射。
客户端104还用于提交新的标注。例如，用户可以创建标注内容并且将其与视频相关联。用户还可以指定新标注的空间定义，并且选择标注将被索引到的、视频的客户端实例的帧的范围。客户端104向标注服务器110传送新的标注以便存储。
现在参考附图7(a)，用户可以使用图形用户界面来搜索、创建或者编辑标注。在示出的示例中，用于标注的图形用户界面集成至视频播放器图形用户界面702之中。视频播放器图形用户界面702是可以在客户端104的设备上显示的界面示例。视频播放器图形用户界面702包括：显示区域，用于呈现媒体文件(在所示出的示例中是视频)；以及控制按钮，用于选择、播放、暂停、快进和回退媒体文件。视频播放器图形用户界面702还可以包括广告，诸如用于如图7(a)中所示的国家档案与记录管理局的广告。
视频播放器图形用户界面702呈现视频的帧。与视频帧一起示出的是标注定义704。标注定义704以图形化方式示出了标注的空间定义和/或时间定义。例如，图7(a)中示出的标注定义704描绘了与标注相关联的帧的子集。作为另一示例，标注定义704可以描绘与标注相关联的一定范围的帧。尽管在图7(a)中示出了单一的标注定义704，但是视频播放器图形用户界面702可以包括多个标注定义704，这并不脱离本发明的范围。
可以响应于用户选择、或者作为现有标注显示的一部分，来显示标注定义704。例如，用户可以使用输入设备来选择将要与新标注相关联的帧的区域，并且响应于该选择，视频播放器图形用户界面702显示由用户创建的标注定义704。作为另一示例，视频播放器图形用户界面702可以显示视频以及相关联的标注，并且可以与相关联的标注相结合地显示标注定义704。
视频播放器图形用户界面702还可以包括标注控制按钮706，其允许用户控制标注的显示和内容。例如，视频播放器图形用户界面702可以包括用于搜索标注的按钮。响应于选择该搜索标注按钮，客户端搜索与标注定义704(或者类似的定义)相关联的标注、或者与关键字相关联的标注。继而，可以在视频播放器图形用户界面702上显示搜索结果。作为另一示例，视频播放器图形用户界面702可以包括用于编辑标注的按钮。响应于选择编辑标注按钮，视频播放器图形用户界面702显示与标注定义704相关联的一个或者多个标注，并且允许用户修改所述一个或者多个标注。作为另一示例，视频播放器图形用户界面702可以包括用于创建新标注的按钮。响应于选择新标注按钮，视频播放器图形用户界面702显示诸如图7(b)所示的选项。
现在参考附图7(b)，标注控制按钮706指示：已经选择了创建新标注按钮。视频播放器图形用户界面702包括用于接收新标注内容的用户输入的显示区域。在示出的示例中，新标注内容包括某些新的标注文本708。如图7(b)中所示，随着用户输入描述“GeneralMacArthur(麦克阿瑟将军)”，新标注文本708被显示。响应于指示创作标注内容完成的其他用户选择，提交新标注(例如向标注服务器110提交)，并且在视频播放器图形用户界面702中显示该新标注。
作为创作标注内容的示例，示出了新标注文本708的输入。视频播放器图形用户界面702还可以适于接收其他类型的标注内容。例如，标注内容可以包括音频，而视频播放器图形用户界面702可以包括按钮，用于开始通过麦克风录制音频，或者用于从存储介质上的位置选择音频文件。在不脱离本发明范围的情况下，接收用户发出的其他类型的标注和类似方法对于本领与技术人员是易见的。
图8示出了用于确定要显示哪些标注的方法。在一个实施方式中，客户端104仅显示接收到的某些标注。客户端104执行诸如图8中所示的方法，以确定要显示哪些标注而不显示哪些标注。
客户端104接收标注(步骤802)。客户端确定该标注是否具有高优先权(步骤804)。显示高优先权标注，而不考虑标注显示的用户设置。高优先权例如可以包括：广告、紧急广播消息、或者其重要性超过本地用户设置的其他通信。
如果客户端104确定标注具有高优先级(步骤804)，则客户端显示该标注(步骤812)。如果客户端104确定标注不具有高优先级(步骤804)，则客户端确定是否激活该标注(步骤806)。例如，可以通过对标注显示模式的用户选择来启用或者禁用标注。如果用户已经选择禁用标注，则客户端104不显示该标注(步骤810)。如果用户已经选择启用标注，则客户端104确定该标注是否匹配于用户定义的标准(步骤808)。
如在此所述，客户端104允许用户基于各种标准来选择要显示的标注。在一个实施方式中，可以在针对标注的请求中描述用户定义的标准，从而限制标注服务器110所发送的标注。在另一实施方式中，只要在客户端104处接收到了标注，则可以使用用户定义的标准来限制将要显示哪些标注。用户定义的标注例如可以基于语言、标注内容、特定作者或者作者群、或者其他标注属性来确定要显示哪些标注。
如果客户端104确定标注符合用户定义的标准(步骤808)，则客户端104显示该标注(步骤812)。如果客户端104确定标注不符合用户定义的标注(步骤808)，则客户端104不显示该标注(步骤810)。
附图8示出了客户端104如何确定显示哪些标注的一个示例。在不脱离本发明的范围的情况下，用于对由标注提供者和标注消费者建立的标注优先权进行仲裁的其他方法对于本领域技术人员是易见的。
现在转到在此公开的视频的标准实例，视频的标准实例可以按照根据各种实施方式的各种方式来实现。在某些情况下，在提交新的标注之前，标注服务器110已经选择了视频的标准实例。客户端104可以发送特征，以促进将新的标注索引到视频的标准实例。在其他情况下，例如，当标注是与特定视频相关联的第一个标注时，标注服务器110可能尚未标识视频的标准实例。标注服务器110存储被索引到视频的客户端实例的标注，并且建立视频的客户端实例作为视频的标准实例，以供将来的标注事务使用。
根据本发明的一个实施方式，存储标注，其被索引到由提交该标注的客户端使用的视频实例的特征。可以在没有视频的任何底层标准实例的情况下存储和检索标注。例如，每个标注可以被索引到其自身的“视频的标准实例”，该视频的标准实例是指提交者的视频实例。这一方法对于如下情况特别有益：标注服务器110并不维护或者访问视频副本自身。重要的是，标注服务器110可以充当标注的盲中介(blindbroker)，其将标注从作者传送至消费者，而并不传送那些标注所关联的视频副本自身。
例如，当视频内容是受版权保护的、私有的或者其他保密情况时，内容无关的(content-blind)的标注服务器是有益的。例如，一位骄傲的母亲可能希望对他儿子的第一次洗礼的录像进行标注，但是可能并不向中央标注服务器提交甚至是引用视频的实例。内容无关的标注服务器存储被索引到这位母亲的视频实例的标注，而并不访问其自己的实例。当具有该视频实例的姨妈、叔父或者其他受信用户请求标注时，将其实例的特征与随同标注的提交而接收到的母亲的实例的特征进行比较，从而将其实例映射至那位母亲的实例。可以按照一种不易被反向的方法来确定特征，从而找到帧的内容，由此保护视频的私密性。
标注服务器和客户端的情况仅仅是可以有效地使用本发明来共享和分发视频标注的一个示例。对于本领域技术人员而言易见的是，在不脱离本发明范围的情况下，在此描述的用于传送标注的方法而不需要传送相关联视频的方法具有各种其他用途。例如，在此描述的特征可以用于在线社区，其中用户可以协作式地创作、编辑、查看、公布以及观看标注，而不存在直接传送或者容纳视频的负担。在不违背与标注相关联的视频的版权保护的情况下，此类社区可以允许开源方式的标注生成。
作为附加特征，此类社区中的用户还可以积累声誉，这例如是基于其他用户对于该用户的先前创作或者编辑的质量的评论。希望查看标注的用户可以选择：忽略来自其声誉低于特定阈值的用户的标注，或者搜索声誉极高的用户的标注。作为另一示例，用户可以仅选择查看来自特定用户或者特定用户群的标注。
如在此所述，标注还可以包括描述如何显示视频的命令，例如，指示显示设备在该视频中向前跳跃、或者完全跳转至另一视频的命令。用户可以创作跳转命令标注的串，这可以有效地提供将视频片段结合到较大视频中的建议。作为示例，可以使用命令标注来根据一个或者多个其他影片的组成部分中创建新的影片。标注服务器向客户端提供标注，客户端需要由标注指定的各种片段，并且对这些片段进行组合以便向用户显示。
本发明可以适用于各种主控模型中的任意一种，包括但不局限于对等、分布式主控、wiki式主控、中央化服务或者用于通过网络共享数据的其他已知方法。
在此描述的标注框架提供了用于多种收益模型的机会。作为示例，标注服务器的所有者可以针对在标注中包括广告而收取费用。标注服务器可以基于各种因素来将用户作为广告标注的目标。例如，标注服务器可以基于如下内容来选择向客户端传送的广告，如基于客户端正在显示的视频的标题和目录、关于用户的已知事实、近期标注搜索请求(诸如，关键字搜索)、针对视频先前提交的其他标注、客户端的地理位置、或者用于有效指引广告的其他标准。
可以在订阅基础上提供对标注的访问，或者标注可以与视频内容自身捆绑销售。例如，从在线视频商店购买视频的用户可以获得查看、编辑、创作标注的许可，其中所述标注与该视频或者其他视频相关联。在线视频商店可以进行促销，例如，若用户在一个月之中购买特定数量的视频，则在该月内给予该用户对标注服务器的权限。
备选的是，从在线视频商店对视频的购买可以与创建、编辑或者查看与该视频相关联的标注的权限相结合。如果特定标注服务器对于用户特别流行，则对该标注服务器进行受控访问将有助于保护视频的版权。例如，在允许用户查看、编辑或者创作标注之前，该用户可能必须证明他具有经认证的合法获得的视频副本。这一要求可以降低非法获得视频副本的可用性或者愿望。
出于示意性而并非限制性目的而给出了这些收益模型的示例。在不脱离本发明的范围的情况下，其他应用和潜在有意使用对于本领域技术人员是易见的。
在说明书中，对于“一个实施方式”或者“一个实施方式”的引用意味着，在本发明的至少一个实施方式中包括结合所述实施方式描述的特定特征、结构或者特性。在说明书中各处出现的短语“在一个实施方式中”并非全部指向相同的实施方式。
应该注意，本发明的处理步骤和指令可以以软件、固件或者硬件来实现，并且当由软件实现时，其可被下载以便在由各种操作系统使用的不同平台之上驻留和操作。
本发明还涉及一种用于执行在此描述的操作的设备。所述设备可以专门构造用于所需目的，或者所述设备可以包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算机。此类计算机程序可以存储在计算机可读存储介质之中，诸如但不限于任何类型的盘，包括：软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机访问存储器(RAM)、EPROM、EEPROM、磁性或者光性卡、专用集成电路(ASIC)，或者适用于存储电子指令并各自耦合至计算机系统总线的任何类型的介质。例如，在说明书中引用的计算机可以包括单一处理器，或者可以是使用设计用于增强计算性能的多处理器的架构。
在此给出的算法和显示并非本质上与任何特定计算机或者其他设备相关。根据在此给出的教导，还可以与程序一起使用各种通用系统，或者可以证明便于构造更多的专用设备来执行所需方法的步骤。对于所述各种系统所需的结构将从下文的说明书中变得易见。另外，没有引用任何特定编程语言来描述本发明。应该理解，可以使用各种编程语言来实现在此所述的本发明的教导，并且下文中对于特定语言的任何引用提供用于公开本发明的最佳模式和支持。
尽管已经参考优选实施方式以及多个备选实施方式来具体示出和描述了本发明，相关领域技术人员应该理解，在不脱离本发明的精神和范围的情况下，可以进行各种形式和细节上的改变。
最后，应该理解，主要出于可读性和指示性目的而选择了在说明书中使用的语言，而其并非选择用于描绘或者限制创造性主题。由此，对于本发明的范围而言，本发明的公开旨在于示意性，而并非限制性，在下文的权利要求书中阐明本发明的范围。

Claims (31)

1.一种用于检索标注的方法，所述方法包括：
从客户端设备接收针对与媒体文件的第一实例的片段相关联的标注的请求，所述媒体文件的所述第一实例在所述客户端设备处显示，所述请求包括所述媒体文件的所述第一实例的所述片段的特征集，所述特征集包括所述第一实例的所述片段的特征；
基于所述特征集中的特征从所述媒体文件的第二实例的多个片段中，识别可潜在地映射至所述第一实例的所述片段的所述第二实例的片段的候选集，所述媒体文件的所述第二实例存储在位于所述客户端设备远程的主机设备处；
基于所述第一实例的所述片段的所述特征集与所述第二实例的相应片段的特征集之间的距离，创建所述媒体文件的所述第一实例的所述片段与被包括在所述候选集中的所述媒体文件的所述第二实例的所述相应片段之间的映射；
检索与所述媒体文件的所述第二实例的所述相应片段相关联的标注；以及
将所述标注传送至所述客户端设备，以便在其上进行处理。
2.根据权利要求1所述的方法，其中所述媒体文件包括视频。
3.根据权利要求1所述的方法，其中所述标注包括音频片段。
4.根据权利要求1所述的方法，其中所述标注包括对所述媒体文件的描述。
5.根据权利要求1所述的方法，其中所述标注包括广告。
6.根据权利要求1所述的方法，其中所述标注包括命令。
7.根据权利要求1所述的方法，其中所述第一实例的所述片段的所述特征集中的所述特征是所述第一实例的所述片段的时间位置，并且所述方法还包括：
针对所述候选集中的每个片段，计算所述第一实例的所述片段的所述特征集与所述候选集中的所述片段的特征集之间的距离；以及
基于所述第一实例的所述片段的所述特征集与所述相应片段的所述特征集之间的所述距离是所计算距离中最短的，选择所述第二实例的所述相应片段。
8.一种用于处理与媒体文件相关联的标注的方法，所述方法包括：
确定所述媒体文件的第一实例的片段的特征集，所述特征集包括所述第一实例的特征；
从服务器请求与所述媒体文件相关联的标注，所述请求包括所述特征集，以便所述服务器基于所述特征集中的特征从所述媒体文件的第二实例的多个片段中识别可潜在地映射至所述第一实例的所述片段的所述第二实例的片段的候选集，以基于所述第一实例的所述片段的所述特征集与所述第二实例的相应片段的特征集之间的距离，创建所述媒体文件的所述第一实例的所述片段与被包括在所述候选集中的所述媒体文件的所述第二实例的所述相应片段之间的映射；
从所述服务器接收对所述请求的响应，所述响应包括与所述媒体文件的所述第二实例的所述相应片段相关联的标注；以及
处理所述标注。
9.根据权利要求8所述的方法，其中所述媒体文件包括视频。
10.根据权利要求8所述的方法，其中所述媒体文件的所述第一实例的所述片段包括第一帧，并且其中所述媒体文件的所述第二实例的所述相应片段包括第二帧。
11.根据权利要求8所述的方法，其中所述标注包括音频片段。
12.根据权利要求8所述的方法，其中所述标注包括对所述媒体文件的描述。
13.根据权利要求8所述的方法，其中所述标注包括广告。
14.根据权利要求8所述的方法，其中所述标注包括命令。
15.根据权利要求8所述的方法，其中所述第一实例的所述片段的所述特征集中的所述特征是所述第一实例的所述片段的时间位置，并且所述服务器如下创建所述映射：
针对所述候选集中的每个片段，计算所述第一实例的所述片段的所述特征集与所述候选集中的所述片段的特征集之间的距离；以及
基于所述第一实例的所述片段的所述特征集与所述相应片段的所述特征集之间的所述距离是所计算距离中最短的，选择所述第二实例的所述相应片段。
16.根据权利要求8所述的方法，其中处理所述标注包括：与所述媒体文件的所述第一实例的所述片段相结合地显示所述标注。
17.一种用于存储标注的方法，包括：
从第一客户端设备接收与媒体文件的第一实例的片段相关联的第一标注以及所述媒体文件的所述第一实例的所述片段的特征集，所述媒体文件的所述第一实例在所述第一客户端设备处被显示，所述特征集包括所述第一实例的特征；
基于所述特征集中的特征从所述媒体文件的第二实例的多个片段中，识别可潜在地映射至所述第一实例的所述片段的所述第二实例的片段的候选集，所述媒体文件的所述第二实例存储在位于所述客户端设备远程的主机设备处；
基于所述第一实例的所述片段的所述特征集与第二实例的相应片段的特征集之间的距离，来创建所述媒体文件的所述第一实例的所述片段与被包括在所述候选集中的所述媒体文件的所述第二实例的所述相应片段之间的映射；以及
存储所述第一标注，其中所述第一标注被索引到所述媒体文件的所述第二实例的所述相应片段。
18.根据权利要求17所述的方法，其中所述媒体文件包括视频。
19.根据权利要求17所述的方法，其中所述第一标注包括音频片段。
20.根据权利要求17所述的方法，其中所述第一标注包括对所述媒体文件的描述。
21.根据权利要求17所述的方法，其中所述第一标注包括广告。
22.根据权利要求17所述的方法，其中所述第一标注包括命令。
23.根据权利要求17所述的方法，进一步包括：
从第二客户端设备接收第二标注；以及
存储所述第二标注，其中所述第二标注被索引到所述媒体文件的所述第二实例的所述相应片段。
24.根据权利要求17所述的方法，其中所述第一实例的所述片段的所述特征集中的所述特征是所述第一实例的所述片段的时间位置，并且所述方法还包括：
针对所述候选集中的每个片段，计算所述第一实例的所述片段的所述特征集与所述候选集中的所述片段的特征集之间的距离；以及
基于所述第一实例的所述片段的所述特征集与所述相应片段的所述特征集之间的所述距离是所计算距离中最短的，选择所述第二实例的所述相应片段。
25.一种用于检索标注的系统，所述系统包括：
用于从客户端设备接收针对与媒体文件的第一实例的片段相关联的标注的请求的装置，所述媒体文件的所述第一实例在所述客户端设备处显示，所述请求包括所述媒体文件的所述第一实例的所述片段的特征集，所述特征集包括所述第一实例的特征；
用于基于所述特征集中的特征从所述媒体文件的第二实例的多个片段中，识别可潜在地映射至所述第一实例的所述片段的所述第二实例的片段的候选集的装置，所述媒体文件的所述第二实例存储在位于所述客户端设备远程的主机设备处；
用于基于所述第一实例的所述片段的所述特征集与所述第二实例的相应片段的特征集之间的距离，创建所述媒体文件的所述第一实例的所述片段与被包括在所述候选集中的所述媒体文件的所述第二实例的所述相应片段之间的映射的装置；
用于检索与所述媒体文件的所述第二实例的所述相应片段相关联的标注的装置；以及
用于将所述标注传送至所述客户端设备以便在其上处理的装置。
26.根据权利要求25所述的系统，其中所述第一实例的所述片段的所述特征集中的所述特征是所述第一实例的所述片段的时间位置，并且所述系统进一步包括：
用于针对所述候选集中的每个片段而计算所述第一实例的所述片段的所述特征集与所述候选集中的所述片段的特征集之间的距离的装置；以及
用于基于所述第一实例的所述片段的所述特征集与所述相应片段的所述特征集之间的所述距离是所计算距离中最短的来选择所述第二实例的所述相应片段的装置。
27.一种用于处理与媒体文件相关联的标注的系统，包括：
用于确定所述媒体文件的第一实例的片段的特征集的装置，所述特征集包括所述第一实例的特征；
用于从服务器请求与所述媒体文件相关联的标注的装置，所述请求包括所述特征集，以便所述服务器基于所述特征集中的特征从所述媒体文件的第二实例的多个片段中识别可潜在地映射至所述第一实例的所述片段的所述第二实例的片段的候选集，以基于所述第一实例的所述片段的所述特征集与所述第二实例的相应片段的特征集之间的距离，创建所述媒体文件的所述第一实例的所述片段与被包括在所述候选集中的所述媒体文件的所述第二实例的所述相应片段之间的映射；
用于从所述服务器接收对所述请求的响应的装置，所述响应包括与所述媒体文件的所述第二实例的所述相应片段相关联的标注；以及
用于处理所述标注的装置。
28.根据权利要求27所述的系统，其中所述第一实例的所述片段的所述特征集中的所述特征是所述第一实例的所述片段的时间位置，并且所述服务器如下创建所述映射：
针对所述候选集中的每个片段，计算所述第一实例的所述片段的所述特征集与所述候选集中的所述片段的特征集之间的距离；以及
基于所述第一实例的所述片段的所述特征集与所述相应片段的所述特征集之间的所述距离是所计算距离中最短的，选择所述第二实例的所述相应片段。
29.根据权利要求27所述的系统，进一步包括：
用于与所述媒体文件的所述第一实例的所述片段相结合地显示所述标注的装置。
30.一种用于存储标注的系统，包括：
用于从第一客户端设备接收与媒体文件的第一实例的片段相关联的第一标注以及所述媒体文件的所述第一实例的所述片段的特征集的装置，所述媒体文件的所述第一实例在所述第一客户端设备处被显示，所述特征集包括所述第一实例的特征；
用于基于所述特征集中的特征从所述媒体文件的第二实例的多个片段中识别可潜在地映射至所述第一实例的所述片段的所述第二实例的片段的候选集的装置，所述媒体文件的所述第二实例存储在位于所述客户端设备远程的主机设备处；
用于基于所述第一实例的所述片段的所述特征集与第二实例的相应片段的特征集之间的距离，来创建所述媒体文件的所述第一实例的所述片段与被包括在所述候选集中的所述媒体文件的所述第二实例的所述相应片段之间的映射的装置；以及
用于存储所述第一标注的装置，其中所述第一标注被索引到所述媒体文件的所述第二实例的所述相应片段。
31.根据权利要求30所述的系统，其中所述第一实例的所述片段的所述特征集中的所述特征是所述第一实例的所述片段的时间位置，并且所述系统进一步包括：
用于针对所述候选集中的每个片段而计算所述第一实例的所述片段的所述特征集与所述候选集中的所述片段的特征集之间的距离的装置；以及
用于基于所述第一实例的所述片段的所述特征集与所述相应片段的所述特征集之间的所述距离是所计算距离中最短的，选择所述第二实例的所述相应片段的装置。
CN200780050525.4A 2006-12-22 2007-12-19 用于视频标注的方法和系统 Active CN101589383B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/615,771 2006-12-22
US11/615,771 US7559017B2 (en) 2006-12-22 2006-12-22 Annotation framework for video
PCT/US2007/088067 WO2008079850A2 (en) 2006-12-22 2007-12-19 Annotation framework for video

Publications (2)

Publication Number Publication Date
CN101589383A CN101589383A (zh) 2009-11-25
CN101589383B true CN101589383B (zh) 2016-04-27

Family

ID=39544384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780050525.4A Active CN101589383B (zh) 2006-12-22 2007-12-19 用于视频标注的方法和系统

Country Status (9)

Country Link
US (8) US7559017B2 (zh)
EP (2) EP2126730B1 (zh)
JP (1) JP4774461B2 (zh)
KR (1) KR100963179B1 (zh)
CN (1) CN101589383B (zh)
AU (2) AU2007336947B2 (zh)
BR (1) BRPI0720366B1 (zh)
CA (2) CA2672757C (zh)
WO (1) WO2008079850A2 (zh)

Families Citing this family (222)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7823058B2 (en) 2002-12-30 2010-10-26 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive point-of-view authoring of digital video content
US7580867B2 (en) 2004-05-04 2009-08-25 Paul Nykamp Methods for interactively displaying product information and for collaborative product design
US9275052B2 (en) 2005-01-19 2016-03-01 Amazon Technologies, Inc. Providing annotations of a digital work
US9648281B2 (en) 2005-05-23 2017-05-09 Open Text Sa Ulc System and method for movie segment bookmarking and sharing
US8141111B2 (en) 2005-05-23 2012-03-20 Open Text S.A. Movie advertising playback techniques
US8724969B2 (en) 2005-05-23 2014-05-13 Open Text S.A. Method, system and computer program product for editing movies in distributed scalable media environment
US8145528B2 (en) 2005-05-23 2012-03-27 Open Text S.A. Movie advertising placement optimization based on behavior and content analysis
WO2007109162A2 (en) * 2006-03-17 2007-09-27 Viddler, Inc. Methods and systems for displaying videos with overlays and tags
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US10003781B2 (en) 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
US20080031590A1 (en) * 2006-08-04 2008-02-07 Kulas Charles J Digital video recording of multiple associated channels
US8412021B2 (en) 2007-05-18 2013-04-02 Fall Front Wireless Ny, Llc Video player user interface
US8656282B2 (en) * 2007-01-31 2014-02-18 Fall Front Wireless Ny, Llc Authoring tool for providing tags associated with items in a video playback
US20080066107A1 (en) 2006-09-12 2008-03-13 Google Inc. Using Viewing Signals in Targeted Video Advertising
US9672533B1 (en) 2006-09-29 2017-06-06 Amazon Technologies, Inc. Acquisition of an item based on a catalog presentation of items
US8725565B1 (en) 2006-09-29 2014-05-13 Amazon Technologies, Inc. Expedited acquisition of a digital item following a sample presentation of the item
US7559017B2 (en) 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US7865817B2 (en) 2006-12-29 2011-01-04 Amazon Technologies, Inc. Invariant referencing in digital works
US20080184117A1 (en) * 2007-01-30 2008-07-31 Awaremedia, Inc. D/B/A/ Panjea Method and system of media channel creation and management
US7903904B1 (en) * 2007-02-16 2011-03-08 Loeb Enterprises LLC. System and method for linking data related to a set of similar images
US8762327B2 (en) * 2007-02-28 2014-06-24 Red Hat, Inc. Synchronizing disributed online collaboration content
US8683342B2 (en) 2007-02-28 2014-03-25 Red Hat, Inc. Automatic selection of online content for sharing
KR101316743B1 (ko) * 2007-03-13 2013-10-08 삼성전자주식회사 컨텐츠 비디오 영상 중 일부분에 관한 메타데이터를제공하는 방법, 상기 제공된 메타데이터를 관리하는 방법및 이들 방법을 이용하는 장치
US7904825B2 (en) * 2007-03-14 2011-03-08 Xerox Corporation Graphical user interface for gathering image evaluation information
US7716224B2 (en) 2007-03-29 2010-05-11 Amazon Technologies, Inc. Search and indexing on a user device
US9665529B1 (en) 2007-03-29 2017-05-30 Amazon Technologies, Inc. Relative progress and event indicators
US20080276266A1 (en) * 2007-04-18 2008-11-06 Google Inc. Characterizing content for identification of advertising
US8667532B2 (en) 2007-04-18 2014-03-04 Google Inc. Content recognition for targeting video advertisements
US20080259211A1 (en) * 2007-04-23 2008-10-23 Nokia Corporation Using Subtitles for Other Purposes
US8990215B1 (en) 2007-05-21 2015-03-24 Amazon Technologies, Inc. Obtaining and verifying search indices
US9710553B2 (en) * 2007-05-25 2017-07-18 Google Inc. Graphical user interface for management of remotely stored videos, and captions or subtitles thereof
US8433611B2 (en) * 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
US9609260B2 (en) * 2007-07-13 2017-03-28 Gula Consulting Limited Liability Company Video tag layout
WO2009018168A2 (en) * 2007-07-27 2009-02-05 Synergy Sports Technology, Llc Using a website containing video playlists as input to a download manager
US9064024B2 (en) 2007-08-21 2015-06-23 Google Inc. Bundle generation
US9170997B2 (en) 2007-09-27 2015-10-27 Adobe Systems Incorporated Commenting dynamic content
US8364020B2 (en) * 2007-09-28 2013-01-29 Motorola Mobility Llc Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording
US8285121B2 (en) * 2007-10-07 2012-10-09 Fall Front Wireless Ny, Llc Digital network-based video tagging system
US8640030B2 (en) * 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
US8661096B2 (en) * 2007-11-05 2014-02-25 Cyberlink Corp. Collaborative editing in a video editing system
US20090132935A1 (en) * 2007-11-15 2009-05-21 Yahoo! Inc. Video tag game
KR20090063528A (ko) * 2007-12-14 2009-06-18 엘지전자 주식회사 이동 단말기 및 이동 단말기의 데이터 재생 방법
US8099662B2 (en) * 2008-01-17 2012-01-17 Seiko Epson Corporation Efficient image annotation display and transmission
US20110191809A1 (en) 2008-01-30 2011-08-04 Cinsay, Llc Viral Syndicated Interactive Product System and Method Therefor
US8312486B1 (en) 2008-01-30 2012-11-13 Cinsay, Inc. Interactive product placement system and method therefor
US11227315B2 (en) 2008-01-30 2022-01-18 Aibuy, Inc. Interactive product placement system and method therefor
US8181197B2 (en) 2008-02-06 2012-05-15 Google Inc. System and method for voting on popular video intervals
US9824372B1 (en) 2008-02-11 2017-11-21 Google Llc Associating advertisements with videos
US20090210778A1 (en) * 2008-02-19 2009-08-20 Kulas Charles J Video linking to electronic text messaging
US8112702B2 (en) * 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US8151179B1 (en) * 2008-05-23 2012-04-03 Google Inc. Method and system for providing linked video and slides from a presentation
US8321784B1 (en) 2008-05-30 2012-11-27 Adobe Systems Incorporated Reviewing objects
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US9070106B2 (en) * 2008-07-14 2015-06-30 International Business Machines Corporation System and method for dynamic structuring of process annotations
BRPI0916331A2 (pt) * 2008-07-23 2019-09-24 Google Inc métodos e sistema para promover o conteúdo de video em sítio de hospedagem de vídeos e produto de programa de computador
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
US20100037149A1 (en) * 2008-08-05 2010-02-11 Google Inc. Annotating Media Content Items
US8843974B2 (en) * 2008-08-27 2014-09-23 Albert John McGowan Media playback system with multiple video formats
US8892630B1 (en) 2008-09-29 2014-11-18 Amazon Technologies, Inc. Facilitating discussion group formation and interaction
US8504587B2 (en) * 2008-09-30 2013-08-06 Yahoo! Inc. Content access and annotation system and method
US9083600B1 (en) 2008-10-29 2015-07-14 Amazon Technologies, Inc. Providing presence information within digital items
US8706685B1 (en) * 2008-10-29 2014-04-22 Amazon Technologies, Inc. Organizing collaborative annotations
US9141860B2 (en) 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
CN101414307A (zh) * 2008-11-26 2009-04-22 阿里巴巴集团控股有限公司 提供图片搜索的方法和服务器
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US20100131856A1 (en) * 2008-11-26 2010-05-27 Brian Joseph Kalbfleisch Personalized, Online, Scientific Interface
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9087032B1 (en) * 2009-01-26 2015-07-21 Amazon Technologies, Inc. Aggregation of highlights
US20130124242A1 (en) * 2009-01-28 2013-05-16 Adobe Systems Incorporated Video review workflow process
US8930843B2 (en) 2009-02-27 2015-01-06 Adobe Systems Incorporated Electronic content workflow review process
US9292481B2 (en) 2009-02-27 2016-03-22 Adobe Systems Incorporated Creating and modifying a snapshot of an electronic document with a user comment
US8826117B1 (en) 2009-03-25 2014-09-02 Google Inc. Web-based system for video editing
US8132200B1 (en) 2009-03-30 2012-03-06 Google Inc. Intra-video ratings
US8832584B1 (en) 2009-03-31 2014-09-09 Amazon Technologies, Inc. Questions on highlighted passages
US8554848B2 (en) * 2009-04-16 2013-10-08 At&T Intellectual Property 1, L.P. Collective asynchronous media review
US8769421B2 (en) * 2009-04-30 2014-07-01 Apple Inc. Graphical user interface for a media-editing application with a segmented timeline
JP5449859B2 (ja) * 2009-05-18 2014-03-19 任天堂株式会社 ゲームプログラム，ゲーム装置およびゲームシステム
US8943431B2 (en) * 2009-05-27 2015-01-27 Adobe Systems Incorporated Text operations in a bitmap-based document
US8943408B2 (en) * 2009-05-27 2015-01-27 Adobe Systems Incorporated Text image review process
US8887190B2 (en) * 2009-05-28 2014-11-11 Harris Corporation Multimedia system generating audio trigger markers synchronized with video source data and related methods
US20110035683A1 (en) * 2009-08-07 2011-02-10 Larry Stead Method and apparatus for synchronous, collaborative media consumption
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US8692763B1 (en) 2009-09-28 2014-04-08 John T. Kim Last screen rendering for electronic book reader
JP5714812B2 (ja) * 2009-11-20 2015-05-07 ソニー株式会社 情報処理装置、ブックマーク設定方法およびプログラム
CN102074030B (zh) * 2009-11-25 2016-03-09 新奥特（北京）视频技术有限公司 一种获取、编辑自定义图形的方法和字幕图形制作系统
US8970694B2 (en) * 2009-12-10 2015-03-03 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US8363109B2 (en) 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
US8717436B2 (en) * 2009-12-10 2014-05-06 Harris Corporation Video processing system providing correlation between objects in different georeferenced video feeds and related methods
US8933961B2 (en) 2009-12-10 2015-01-13 Harris Corporation Video processing system generating corrected geospatial metadata for a plurality of georeferenced video feeds and related methods
US9152708B1 (en) 2009-12-14 2015-10-06 Google Inc. Target-video specific co-watched video clusters
US20110145240A1 (en) * 2009-12-15 2011-06-16 International Business Machines Corporation Organizing Annotations
US9477667B2 (en) * 2010-01-14 2016-10-25 Mobdub, Llc Crowdsourced multi-media data relationships
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US10324605B2 (en) 2011-02-16 2019-06-18 Apple Inc. Media-editing application with novel editing tools
US9113215B1 (en) * 2010-07-30 2015-08-18 Lincoln Berry, III Interactive advertising and marketing system
US10674230B2 (en) * 2010-07-30 2020-06-02 Grab Vision Group LLC Interactive advertising and marketing system
US8744239B2 (en) 2010-08-06 2014-06-03 Apple Inc. Teleprompter tool for voice-over tool
KR20120026762A (ko) * 2010-09-10 2012-03-20 삼성전자주식회사 사용자 단말 장치, 서버 및 그 디스플레이 방법 및 정보 제공 방법
US9495322B1 (en) 2010-09-21 2016-11-15 Amazon Technologies, Inc. Cover display
US20120072845A1 (en) * 2010-09-21 2012-03-22 Avaya Inc. System and method for classifying live media tags into types
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US9343110B2 (en) * 2010-11-23 2016-05-17 Levels Beyond Dynamic synchronization tool
US20120159527A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Simulated group interaction with multimedia content
EP2466492A1 (en) * 2010-12-20 2012-06-20 Paul Peter Vaclik A method of making text data associated with video data searchable
US20130334300A1 (en) * 2011-01-03 2013-12-19 Curt Evans Text-synchronized media utilization and manipulation based on an embedded barcode
US9099161B2 (en) 2011-01-28 2015-08-04 Apple Inc. Media-editing application with multiple resolution modes
US8799300B2 (en) * 2011-02-10 2014-08-05 Microsoft Corporation Bookmarking segments of content
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US9026909B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Keyword list view
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US9251130B1 (en) 2011-03-31 2016-02-02 Amazon Technologies, Inc. Tagging annotations of electronic books
US9342516B2 (en) * 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
WO2013016596A2 (en) * 2011-07-28 2013-01-31 Scrawl, Inc. System for annotating documents served by a document system without functional dependence on the document system
US20130031455A1 (en) 2011-07-28 2013-01-31 Peter Griffiths System for Linking to Documents with Associated Annotations
US9443518B1 (en) 2011-08-31 2016-09-13 Google Inc. Text transcript generation from a communication session
CN107979772B (zh) * 2011-09-12 2021-10-29 英特尔公司 共用和个人装置协作提供个性化用户功能的方法和设备
KR101500913B1 (ko) * 2011-09-12 2015-03-09 인텔 코오퍼레이션 비디오 콘텐츠의 주석부기 및/또는 추천 방법 및 장치
US9240215B2 (en) 2011-09-20 2016-01-19 Apple Inc. Editing operations facilitated by metadata
US9536564B2 (en) 2011-09-20 2017-01-03 Apple Inc. Role-facilitated editing operations
US10079039B2 (en) * 2011-09-26 2018-09-18 The University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
JP5781418B2 (ja) * 2011-10-18 2015-09-24 株式会社ドワンゴ コンテンツ視聴装置、コメント配信サーバ装置、コンテンツ視聴装置の動作方法、およびプログラム
US9158741B1 (en) 2011-10-28 2015-10-13 Amazon Technologies, Inc. Indicators for navigating digital works
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
US9032020B2 (en) 2011-12-29 2015-05-12 Google Inc. Online video enhancement
US10171522B1 (en) * 2012-01-13 2019-01-01 Google Llc Video commentary
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
WO2013134854A1 (en) * 2012-03-13 2013-09-19 Cognilore Inc. Method of navigating through digital content
US9262420B1 (en) 2012-04-23 2016-02-16 Google Inc. Third-party indexable text
US9195840B2 (en) 2012-04-23 2015-11-24 Google Inc. Application-specific file type generation and use
US9148429B2 (en) 2012-04-23 2015-09-29 Google Inc. Controlling access by web applications to resources on servers
US20130283143A1 (en) * 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
US9367745B2 (en) 2012-04-24 2016-06-14 Liveclips Llc System for annotating media content for automatic content understanding
US20130308922A1 (en) * 2012-05-15 2013-11-21 Microsoft Corporation Enhanced video discovery and productivity through accessibility
US9781388B2 (en) * 2012-05-28 2017-10-03 Samsung Electronics Co., Ltd. Method and system for enhancing user experience during an ongoing content viewing activity
US9002180B2 (en) * 2012-06-01 2015-04-07 At&T Intellectual Property I, L.P. Media recorder
US9208819B1 (en) 2012-06-20 2015-12-08 Google Inc. Dynamic split-frame preview of video editing effects
US9317709B2 (en) 2012-06-26 2016-04-19 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage
US9483109B2 (en) * 2012-07-12 2016-11-01 Spritz Technology, Inc. Methods and systems for displaying text using RSVP
CA2822217A1 (en) * 2012-08-02 2014-02-02 Iwatchlife Inc. Method and system for anonymous video analytics processing
US10152467B2 (en) * 2012-08-13 2018-12-11 Google Llc Managing a sharing of media content among client computers
US8984582B2 (en) * 2012-08-14 2015-03-17 Confidela Ltd. System and method for secure synchronization of data across multiple computing devices
US8612211B1 (en) 2012-09-10 2013-12-17 Google Inc. Speech recognition and summarization
US9264584B2 (en) * 2012-09-19 2016-02-16 Tata Consultancy Services Limited Video synchronization
US20140089813A1 (en) * 2012-09-21 2014-03-27 Darius Vahdat Pajouh Ranking of user feedback based on user input device tracking
US9288121B2 (en) * 2012-10-03 2016-03-15 Google Technology Holdings LLC System and method for associating online content to a second indexed content
US9529785B2 (en) 2012-11-27 2016-12-27 Google Inc. Detecting relationships between edits and acting on a subset of edits
US11455664B2 (en) * 2012-12-12 2022-09-27 Saankhya Labs Private Limited System and method for enabling and performing services and functionalities across device types and service providers within a communication device
WO2014113071A1 (en) * 2013-01-15 2014-07-24 Viki, Inc. System and method for captioning media
US9424347B2 (en) * 2013-01-16 2016-08-23 Hewlett-Packard Development Company, L. P. Techniques pertaining to document creation
EP2767910A1 (en) * 2013-02-19 2014-08-20 Alcatel Lucent Device for controlling sychronisation of a set of data contents with a multimedia content, and device for retrieving said data contents for an equipment
US20140232813A1 (en) * 2013-02-20 2014-08-21 Sprint Communications Company L.P. Using metadata for video message modifications among wireless communication devices
US10783319B2 (en) * 2013-03-11 2020-09-22 Coachmyvideo.Com Llc Methods and systems of creation and review of media annotations
GB2514753A (en) * 2013-03-14 2014-12-10 Buzzmywords Ltd Subtitle processing
US9653116B2 (en) 2013-03-14 2017-05-16 Apollo Education Group, Inc. Video pin sharing
US9430578B2 (en) 2013-03-15 2016-08-30 Google Inc. System and method for anchoring third party metadata in a document
WO2014160934A1 (en) 2013-03-28 2014-10-02 Google Inc. System and method to store third-party metadata in a cloud storage system
US10489501B2 (en) * 2013-04-11 2019-11-26 Google Llc Systems and methods for displaying annotated video content by mobile computing devices
US9438947B2 (en) 2013-05-01 2016-09-06 Google Inc. Content annotation tool
EP2813983A1 (en) * 2013-06-11 2014-12-17 Alcatel Lucent Method and system for managing social interactions in a social multimedia content stream
EP2813984A1 (en) * 2013-06-11 2014-12-17 Alcatel Lucent Method and System for Summarizing Multimedia Content
US10001904B1 (en) 2013-06-26 2018-06-19 R3 Collaboratives, Inc. Categorized and tagged video annotation
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US9971752B2 (en) 2013-08-19 2018-05-15 Google Llc Systems and methods for resolving privileged edits within suggested edits
CN104427351B (zh) * 2013-08-30 2017-11-21 北京计算机技术及应用研究所 用于视频监控的时间重叠视频流的快速定位方法及系统
US9348803B2 (en) 2013-10-22 2016-05-24 Google Inc. Systems and methods for providing just-in-time preview of suggestion resolutions
KR101524379B1 (ko) * 2013-12-27 2015-06-04 인하대학교 산학협력단 주문형 비디오에서 인터랙티브 서비스를 위한 캡션 교체 서비스 시스템 및 그 방법
US9635108B2 (en) 2014-01-25 2017-04-25 Q Technologies Inc. Systems and methods for content sharing using uniquely generated idenifiers
US9832538B2 (en) * 2014-06-16 2017-11-28 Cisco Technology, Inc. Synchronizing broadcast timeline metadata
US10140379B2 (en) 2014-10-27 2018-11-27 Chegg, Inc. Automated lecture deconstruction
US9754624B2 (en) * 2014-11-08 2017-09-05 Wooshii Ltd Video creation platform
CN104391960B (zh) * 2014-11-28 2019-01-25 北京奇艺世纪科技有限公司 一种视频标注方法及系统
CN104333776B (zh) * 2014-11-28 2018-03-23 北京奇艺世纪科技有限公司 一种视频标注关联信息的显示方法和系统
US10521672B2 (en) * 2014-12-31 2019-12-31 Opentv, Inc. Identifying and categorizing contextual data for media
US20160212487A1 (en) * 2015-01-19 2016-07-21 Srinivas Rao Method and system for creating seamless narrated videos using real time streaming media
US9418296B1 (en) * 2015-03-17 2016-08-16 Netflix, Inc. Detecting segments of a video program
US10599758B1 (en) * 2015-03-31 2020-03-24 Amazon Technologies, Inc. Generation and distribution of collaborative content associated with digital content
US10083160B1 (en) 2015-03-31 2018-09-25 Amazon Technologies, Inc. Distribution of user-generated annotations associated with digital content
AU2016251812B2 (en) 2015-04-20 2021-08-05 Snap Inc. Interactive media system and method
US9607224B2 (en) * 2015-05-14 2017-03-28 Google Inc. Entity based temporal segmentation of video streams
CN104936034B (zh) * 2015-06-11 2019-07-05 三星电子（中国）研发中心 基于视频的信息录入方法及装置
WO2017012123A1 (en) * 2015-07-23 2017-01-26 Wizr Video processing
CN105100920B (zh) * 2015-08-31 2019-07-23 北京奇艺世纪科技有限公司 一种视频预览的方法和装置
AU2015224398A1 (en) 2015-09-08 2017-03-23 Canon Kabushiki Kaisha A method for presenting notifications when annotations are received from a remote device
EP3354015A1 (en) * 2015-09-23 2018-08-01 Edoardo Rizzi Communication device and method
US9697198B2 (en) * 2015-10-05 2017-07-04 International Business Machines Corporation Guiding a conversation based on cognitive analytics
CN108781311B (zh) 2015-12-13 2021-04-06 优工作室公司 用于媒体分发和管理平台的视频播放器框架
CN107018451B (zh) * 2016-01-28 2020-03-06 深圳市音波传媒有限公司 时基超媒体事件的调度方法、装置及系统
US10460023B1 (en) * 2016-03-10 2019-10-29 Matthew Connell Shriver Systems, methods, and computer readable media for creating slide presentations for an annotation set
KR102177455B1 (ko) * 2016-04-04 2020-11-11 한국전자통신연구원 비디오 어노테이션 장치 및 방법
CN106873971B (zh) * 2016-12-29 2020-08-04 武汉斗鱼网络科技有限公司 一种flash应用的多语言展示方法和系统
US10395693B2 (en) 2017-04-10 2019-08-27 International Business Machines Corporation Look-ahead for video segments
US10721503B2 (en) * 2017-06-09 2020-07-21 Sony Interactive Entertainment LLC Systems and methods for operating a streaming service to provide community spaces for media content items
US10990241B2 (en) * 2017-06-28 2021-04-27 Buxton Technology Enterprises Inc. Rich media icon system
US10299013B2 (en) * 2017-08-01 2019-05-21 Disney Enterprises, Inc. Media content annotation
US10878851B2 (en) 2017-08-18 2020-12-29 BON2 Media Services LLC Embedding interactive content into a shareable online video
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
CN109033394B (zh) * 2018-08-01 2022-02-11 浙江深眸科技有限公司 用于图片视频标注数据的客户端
CN109688484A (zh) * 2019-02-20 2019-04-26 广东小天才科技有限公司 一种教学视频学习方法及系统
CN109889879A (zh) * 2019-03-25 2019-06-14 联想(北京)有限公司 信息控制方法及电子设备
US11724171B2 (en) * 2019-05-03 2023-08-15 New York University Reducing human interactions in game annotation
CN110602527B (zh) * 2019-09-12 2022-04-08 北京小米移动软件有限公司 视频处理方法、装置及存储介质
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US11190689B1 (en) * 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112527374B (zh) * 2020-12-11 2024-08-27 北京百度网讯科技有限公司 标注工具生成方法、标注方法、装置、设备以及存储介质
US11843820B2 (en) 2021-01-08 2023-12-12 Sony Interactive Entertainment LLC Group party view and post viewing digital content creation
EP4380170A1 (en) * 2021-11-09 2024-06-05 Samsung Electronics Co., Ltd. Electronic device and method for automatically generating edited video
CN118075409B (zh) * 2024-04-19 2024-06-25 贵州联广科技股份有限公司 多级别用户端的数据融合方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069218A1 (en) * 2000-07-24 2002-06-06 Sanghoon Sull System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US20030196164A1 (en) * 1998-09-15 2003-10-16 Anoop Gupta Annotations for multiple versions of media content

Family Cites Families (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0526064B1 (en) 1991-08-02 1997-09-10 The Grass Valley Group, Inc. Video editing system operator interface for visualization and interactive control of video material
JPH05197573A (ja) * 1991-08-26 1993-08-06 Hewlett Packard Co <Hp> タスク指向パラダイムによるタスク管理システム
GB2270242A (en) * 1992-08-29 1994-03-02 Ibm A method of editing for an object oriented computer system
US5339393A (en) 1993-04-15 1994-08-16 Sony Electronics, Inc. Graphical user interface for displaying available source material for editing
US5996121A (en) 1993-07-28 1999-12-07 Harris; Eunice Convertible coat
US5664216A (en) 1994-03-22 1997-09-02 Blumenau; Trevor Iconic audiovisual data editing environment
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US5812642A (en) 1995-07-12 1998-09-22 Leroy; David J. Audience response monitor and analysis system and method
US5708845A (en) 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
US5966121A (en) 1995-10-12 1999-10-12 Andersen Consulting Llp Interactive hypervideo editing system and interface
US5732184A (en) 1995-10-20 1998-03-24 Digital Processing Systems, Inc. Video and audio cursor video editing system
US6570587B1 (en) 1996-07-26 2003-05-27 Veon Ltd. System and method and linking information to a video
US20030093790A1 (en) 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US20020120925A1 (en) 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6956573B1 (en) * 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US6006241A (en) 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US7111009B1 (en) * 1997-03-14 2006-09-19 Microsoft Corporation Interactive playlist generation using annotations
US6546405B2 (en) * 1997-10-23 2003-04-08 Microsoft Corporation Annotating temporally-dimensioned multimedia content
US6173287B1 (en) * 1998-03-11 2001-01-09 Digital Equipment Corporation Technique for ranking multimedia annotations of interest
US6295092B1 (en) 1998-07-30 2001-09-25 Cbs Corporation System for analyzing television programs
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6956593B1 (en) 1998-09-15 2005-10-18 Microsoft Corporation User interface for creating, viewing and temporally positioning annotations for media content
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US20020059218A1 (en) 1999-01-26 2002-05-16 Katherine Grace August System and method for obtaining real time survey information for media programming using input device
EP1185106A4 (en) * 1999-01-29 2006-07-05 Mitsubishi Electric Corp METHOD FOR ENCODING IMAGE CHARACTERISTICS AND IMAGE SEARCHING METHOD
KR100326400B1 (ko) 1999-05-19 2002-03-12 김광수 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치
US6415438B1 (en) 1999-10-05 2002-07-02 Webtv Networks, Inc. Trigger having a time attribute
US7490292B2 (en) * 1999-12-17 2009-02-10 International Business Machines Corporation Web-based instruction
US7343617B1 (en) * 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
WO2001069438A2 (en) * 2000-03-14 2001-09-20 Starlab Nv/Sa Methods and apparatus for encoding multimedia annotations using time-synchronized description streams
JP2003529877A (ja) * 2000-04-05 2003-10-07 ソニー・ユナイテッド・キングダム・リミテッド 識別、記録及び再生情報システム
EP1947649A3 (en) * 2000-04-05 2014-07-09 Sony United Kingdom Limited Audio/video reproducing apparatus and method
US7055168B1 (en) * 2000-05-03 2006-05-30 Sharp Laboratories Of America, Inc. Method for interpreting and executing user preferences of audiovisual information
US6965646B1 (en) * 2000-06-28 2005-11-15 Cisco Technology, Inc. MPEG file format optimization for streaming
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
JP2002163143A (ja) 2000-07-28 2002-06-07 Any One Wireless Co Ltd 無線サイトのコンテンツ・リフォーマッティング・システム及びその方法
US20020065678A1 (en) 2000-08-25 2002-05-30 Steven Peliotis iSelect video
US20020078446A1 (en) * 2000-08-30 2002-06-20 Jon Dakss Method and apparatus for hyperlinking in a television broadcast
KR20020059706A (ko) * 2000-09-08 2002-07-13 요트.게.아. 롤페즈 저장 매체상에 저장된 정보 신호를 재생하는 장치
US8020183B2 (en) * 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
US6774908B2 (en) 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
US7254605B1 (en) 2000-10-26 2007-08-07 Austen Services Llc Method of modulating the transmission frequency in a real time opinion research network
US20020108112A1 (en) * 2001-02-02 2002-08-08 Ensequence, Inc. System and method for thematically analyzing and annotating an audio-visual sequence
US7032178B1 (en) 2001-03-30 2006-04-18 Gateway Inc. Tagging content for different activities
US7080139B1 (en) * 2001-04-24 2006-07-18 Fatbubble, Inc Method and apparatus for selectively sharing and passively tracking communication device experiences
CN1332556A (zh) 2001-04-27 2002-01-23 清华大学 地面数字多媒体电视广播系统中的信道传输方法
US20040138946A1 (en) * 2001-05-04 2004-07-15 Markus Stolze Web page annotation systems
US20020188630A1 (en) 2001-05-21 2002-12-12 Autodesk, Inc. Method and apparatus for annotating a sequence of frames
AU2002314309A1 (en) 2001-06-11 2002-12-23 C-Burn Systems Ltd Selecting tracks from a jukebox via a wireless communications device
CN1647070A (zh) * 2001-06-22 2005-07-27 诺萨·欧莫贵 用于知识检索、管理、交付和表示的系统和方法
TW520602B (en) 2001-06-28 2003-02-11 Ulead Systems Inc Device and method of editing video program
US20030018668A1 (en) * 2001-07-20 2003-01-23 International Business Machines Corporation Enhanced transcoding of structured documents through use of annotation techniques
WO2003019325A2 (en) 2001-08-31 2003-03-06 Kent Ridge Digital Labs Time-based media navigation system
WO2003027893A1 (en) * 2001-09-27 2003-04-03 The Trustees Of Columbia University In The City Of New York Method and system for annotating audio/video data files
US7343487B2 (en) 2001-10-10 2008-03-11 Nokia Corporation Datacast distribution system
US7203380B2 (en) * 2001-11-16 2007-04-10 Fuji Xerox Co., Ltd. Video production and compaction with collage picture frame user interface
US7180623B2 (en) * 2001-12-03 2007-02-20 Canon Kabushiki Kaisha Method and apparatus for print error recovery
US20030107592A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. System and method for retrieving information related to persons in video programs
US20030112276A1 (en) * 2001-12-19 2003-06-19 Clement Lau User augmentation of content
US7137062B2 (en) * 2001-12-28 2006-11-14 International Business Machines Corporation System and method for hierarchical segmentation with latent semantic indexing in scale space
US20040205482A1 (en) 2002-01-24 2004-10-14 International Business Machines Corporation Method and apparatus for active annotation of multimedia content
US6835311B2 (en) * 2002-01-31 2004-12-28 Koslow Technologies Corporation Microporous filter media, filtration systems containing same, and methods of making and using
JP3982295B2 (ja) * 2002-03-20 2007-09-26 日本電信電話株式会社 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
US7243301B2 (en) 2002-04-10 2007-07-10 Microsoft Corporation Common annotation framework
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US6988245B2 (en) 2002-06-18 2006-01-17 Koninklijke Philips Electronics N.V. System and method for providing videomarks for a video program
US7149755B2 (en) * 2002-07-29 2006-12-12 Hewlett-Packard Development Company, Lp. Presenting a collection of media objects
US7257774B2 (en) 2002-07-30 2007-08-14 Fuji Xerox Co., Ltd. Systems and methods for filtering and/or viewing collaborative indexes of recorded media
JP4025185B2 (ja) * 2002-12-10 2007-12-19 株式会社東芝 メディアデータ視聴装置及びメタデータ共有システム
US7536713B1 (en) * 2002-12-11 2009-05-19 Alan Bartholomew Knowledge broadcasting and classification system
JP2004193979A (ja) * 2002-12-11 2004-07-08 Canon Inc 映像配信システム
AU2003297193A1 (en) * 2002-12-13 2004-07-09 Applied Minds, Inc. Meta-web
US6993347B2 (en) * 2002-12-17 2006-01-31 International Business Machines Corporation Dynamic media interleaving
US7823058B2 (en) * 2002-12-30 2010-10-26 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive point-of-view authoring of digital video content
US8307273B2 (en) * 2002-12-30 2012-11-06 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive network sharing of digital video content
US7131059B2 (en) * 2002-12-31 2006-10-31 Hewlett-Packard Development Company, L.P. Scalably presenting a collection of media objects
ATE292433T1 (de) 2003-01-17 2005-04-15 Link Waldemar Gmbh Co Hüftprothese mit einem in den markkanal des oberschenkelknochens zu verankernden schaft
US7904797B2 (en) * 2003-01-21 2011-03-08 Microsoft Corporation Rapid media group annotation
US7383497B2 (en) * 2003-01-21 2008-06-03 Microsoft Corporation Random access editing of media
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
US7739597B2 (en) * 2003-02-24 2010-06-15 Microsoft Corporation Interactive media frame display
US20040181545A1 (en) * 2003-03-10 2004-09-16 Yining Deng Generating and rendering annotated video files
US8392834B2 (en) 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
US20040205547A1 (en) * 2003-04-12 2004-10-14 Feldt Kenneth Charles Annotation process for message enabled digital content
KR101032073B1 (ko) 2003-06-02 2011-05-02 디즈니엔터프라이지즈,인크. 대화형 비디오 재생 시스템 및 방법
US8321470B2 (en) * 2003-06-20 2012-11-27 International Business Machines Corporation Heterogeneous multi-level extendable indexing for general purpose annotation systems
US7418656B1 (en) * 2003-10-03 2008-08-26 Adobe Systems Incorporated Dynamic annotations for electronics documents
US20050132401A1 (en) 2003-12-10 2005-06-16 Gilles Boccon-Gibod Method and apparatus for exchanging preferences for replaying a program on a personal video recorder
US7383487B2 (en) 2004-01-10 2008-06-03 Broadcom Corporation IPHD (iterative parallel hybrid decoding) of various MLC (multi-level code) signals
US20050203892A1 (en) * 2004-03-02 2005-09-15 Jonathan Wesley Dynamically integrating disparate systems and providing secure data sharing
JP2007529822A (ja) 2004-03-15 2007-10-25 ヤフー！ インコーポレイテッド 信頼性ネットワークからのユーザ注釈を一体化したサーチシステム及び方法
KR101312190B1 (ko) * 2004-03-15 2013-09-27 야후! 인크. 사용자 주석이 통합된 검색 시스템 및 방법
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US20050229227A1 (en) * 2004-04-13 2005-10-13 Evenhere, Inc. Aggregation of retailers for televised media programming product placement
KR20050115713A (ko) 2004-06-04 2005-12-08 현익근 천연과일과 채소류를 원료로한 아이스크림과어름과자제작방법
JP2005352933A (ja) * 2004-06-14 2005-12-22 Fuji Xerox Co Ltd 表示装置、システムおよび表示方法
US20050289469A1 (en) 2004-06-28 2005-12-29 Chandler Roger D Context tagging apparatus, systems, and methods
US7890327B2 (en) * 2004-06-28 2011-02-15 International Business Machines Corporation Framework for extracting multiple-resolution semantics in composite media content analysis
US8438157B2 (en) * 2004-06-28 2013-05-07 International Business Machines Corporation System and method for previewing relevance of streaming data
US20060041564A1 (en) * 2004-08-20 2006-02-23 Innovative Decision Technologies, Inc. Graphical Annotations and Domain Objects to Create Feature Level Metadata of Images
US20060059120A1 (en) * 2004-08-27 2006-03-16 Ziyou Xiong Identifying video highlights using audio-visual objects
US20070118794A1 (en) * 2004-09-08 2007-05-24 Josef Hollander Shared annotation system and method
WO2006039196A2 (en) 2004-09-20 2006-04-13 Lean Forward Media, Llc Playing an audiovisual work with dynamic choosing
EP1797722B1 (en) 2004-10-05 2019-05-29 Vectormax Corporation Adaptive overlapped block matching for accurate motion compensation
US8443279B1 (en) * 2004-10-13 2013-05-14 Stryker Corporation Voice-responsive annotation of video generated by an endoscopic camera
US7472341B2 (en) * 2004-11-08 2008-12-30 International Business Machines Corporation Multi-user, multi-timed collaborative annotation
JP4353083B2 (ja) 2004-11-30 2009-10-28 日本電信電話株式会社 視聴者間コミュニケーション方法及び装置及びプログラム
JP4353084B2 (ja) 2004-11-30 2009-10-28 日本電信電話株式会社 映像再生方法及び装置及びプログラム
JP2006155384A (ja) * 2004-11-30 2006-06-15 Nippon Telegr & Teleph Corp <Ntt> 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US7577902B2 (en) * 2004-12-16 2009-08-18 Palo Alto Research Center Incorporated Systems and methods for annotating pages of a 3D electronic document
US20060161838A1 (en) 2005-01-14 2006-07-20 Ronald Nydam Review of signature based content
US8131647B2 (en) 2005-01-19 2012-03-06 Amazon Technologies, Inc. Method and system for providing annotations of a digital work
US9275052B2 (en) 2005-01-19 2016-03-01 Amazon Technologies, Inc. Providing annotations of a digital work
US20060218590A1 (en) * 2005-03-10 2006-09-28 Sbc Knowledge Ventures, L.P. System and method for displaying an electronic program guide
US20060286536A1 (en) 2005-04-01 2006-12-21 Sherman Mohler System and method for regulating use of content and content styles in a distributed learning system
US7769819B2 (en) * 2005-04-20 2010-08-03 Videoegg, Inc. Video editing with timeline representations
US7636883B2 (en) * 2005-05-18 2009-12-22 International Business Machines Corporation User form based automated and guided data collection
US20080005064A1 (en) 2005-06-28 2008-01-03 Yahoo! Inc. Apparatus and method for content annotation and conditional annotation retrieval in a search context
WO2007002820A2 (en) 2005-06-28 2007-01-04 Yahoo! Inc. Search engine with augmented relevance ranking by community participation
JP5404038B2 (ja) 2005-07-01 2014-01-29 ソニック ソリューションズ リミテッド ライアビリティー カンパニー マルチメディア信号エンコーディングに使用される方法、装置およびシステム
KR20070004153A (ko) 2005-07-04 2007-01-09 주식회사 다음커뮤니케이션 사용자 선호 컨텐츠 제공 시스템 및 방법, 개인 선호컨텐츠 분석 시스템 및 방법, 그룹 선호 컨텐츠 분석시스템 및 방법
US8141036B2 (en) * 2005-07-07 2012-03-20 Oracle International Corporation Customized annotation editing
KR100690819B1 (ko) 2005-07-21 2007-03-09 엘지전자 주식회사 콘텐츠 서비스의 북마크 기능을 갖는 휴대 단말기 및 그동작 방법
EP1758398A1 (en) 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
US8181201B2 (en) 2005-08-30 2012-05-15 Nds Limited Enhanced electronic program guides
US20070061703A1 (en) * 2005-09-12 2007-03-15 International Business Machines Corporation Method and apparatus for annotating a document
US20070067707A1 (en) * 2005-09-16 2007-03-22 Microsoft Corporation Synchronous digital annotations of media data stream
US7644364B2 (en) * 2005-10-14 2010-01-05 Microsoft Corporation Photo and video collage effects
US7962847B2 (en) * 2005-10-20 2011-06-14 International Business Machines Corporation Method for providing dynamic process step annotations
JP2007151057A (ja) 2005-10-25 2007-06-14 Dainippon Printing Co Ltd 評価感想情報を利用した映像コンテンツ閲覧システム
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US20070099684A1 (en) 2005-11-03 2007-05-03 Evans Butterworth System and method for implementing an interactive storyline
US8155446B2 (en) * 2005-11-04 2012-04-10 Eyetracking, Inc. Characterizing dynamic regions of digital media data
JP2007142750A (ja) 2005-11-17 2007-06-07 National Agency For The Advancement Of Sports & Health 映像閲覧システム、コンピュータ端末並びにプログラム
US7945653B2 (en) 2006-10-11 2011-05-17 Facebook, Inc. Tagging digital media
US7761436B2 (en) * 2006-01-03 2010-07-20 Yahoo! Inc. Apparatus and method for controlling content access based on shared annotations for annotated users in a folksonomy scheme
WO2007082169A2 (en) 2006-01-05 2007-07-19 Eyespot Corporation Automatic aggregation of content for use in an online video editing system
US8214516B2 (en) 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
US7528066B2 (en) * 2006-03-01 2009-05-05 International Business Machines Corporation Structure and method for metal integration
WO2007115224A2 (en) 2006-03-30 2007-10-11 Sri International Method and apparatus for annotating media streams
JP2007274090A (ja) 2006-03-30 2007-10-18 Toshiba Corp コンテンツ再生装置、方法およびプログラム
JP2007293980A (ja) 2006-04-24 2007-11-08 Hitachi Global Storage Technologies Netherlands Bv 磁気ディスク装置およびロード／アンロード方法
US8701005B2 (en) 2006-04-26 2014-04-15 At&T Intellectual Property I, Lp Methods, systems, and computer program products for managing video information
US7954049B2 (en) * 2006-05-15 2011-05-31 Microsoft Corporation Annotating multimedia files along a timeline
US20070271331A1 (en) 2006-05-17 2007-11-22 Steve Muth System of archiving and repurposing a complex group conversation referencing networked media
WO2007135688A2 (en) 2006-05-22 2007-11-29 P.S.G Group A method for interactive commenting on media files
JP4769635B2 (ja) 2006-05-22 2011-09-07 日本電信電話株式会社 サーバ装置とそのクライアント装置及びプログラム
JP2007317123A (ja) 2006-05-29 2007-12-06 Daisuke Yamamoto 動画像管理サーバ
US20080028323A1 (en) 2006-07-27 2008-01-31 Joshua Rosen Method for Initiating and Launching Collaboration Sessions
WO2008014408A1 (en) 2006-07-28 2008-01-31 Blue Lava Technologies Method and system for displaying multimedia content
US8296803B2 (en) 2006-08-10 2012-10-23 Panasonic Corporation Program recommendation system, program view terminal, program view program, program view method, program recommendation server, program recommendation program, and program recommendation method
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US8850464B2 (en) 2006-10-09 2014-09-30 Verizon Patent And Licensing Inc. Systems and methods for real-time interactive television polling
US20080109841A1 (en) * 2006-10-23 2008-05-08 Ashley Heather Product information display and product linking
US20080109851A1 (en) * 2006-10-23 2008-05-08 Ashley Heather Method and system for providing interactive video
US7559017B2 (en) 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US7953736B2 (en) 2007-01-04 2011-05-31 Intersect Ptp, Inc. Relevancy rating of tags
US7707162B2 (en) 2007-01-08 2010-04-27 International Business Machines Corporation Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification
US7739304B2 (en) * 2007-02-08 2010-06-15 Yahoo! Inc. Context-based community-driven suggestions for media annotation
US20080250331A1 (en) 2007-04-04 2008-10-09 Atul Tulshibagwale Method and System of a Voting Based Wiki and Its Application to Internet Topic Directories
US8744869B2 (en) 2007-06-07 2014-06-03 Agile Sports Technologies, Inc. Interactive team portal system
US8230458B2 (en) 2007-06-29 2012-07-24 At&T Intellectual Property I, L.P. System and method of providing video content commentary
JP2010541415A (ja) 2007-09-28 2010-12-24 グレースノート インコーポレイテッド マルチメディアイベントのプレゼンテーションの合成
US20090150947A1 (en) 2007-10-05 2009-06-11 Soderstrom Robert W Online search, storage, manipulation, and delivery of video content
US8640030B2 (en) 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
US8209223B2 (en) 2007-11-30 2012-06-26 Google Inc. Video object tag creation and processing
US20090172745A1 (en) * 2007-12-28 2009-07-02 Motorola, Inc. Method and Apparatus Regarding Receipt of Audio-Visual Content Information and Use of Such Information to Automatically Infer a Relative Popularity of That Content
US8181197B2 (en) 2008-02-06 2012-05-15 Google Inc. System and method for voting on popular video intervals
US8112702B2 (en) 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US9113214B2 (en) 2008-05-03 2015-08-18 Cinsay, Inc. Method and system for generation and playback of supplemented videos
US8566353B2 (en) 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
WO2009152576A1 (en) 2008-06-18 2009-12-23 Political Media (Australia) Limited Assessing ditigal content across a communications network
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
US8713618B1 (en) 2008-11-06 2014-04-29 Google Inc. Segmenting video based on timestamps in comments
US8554848B2 (en) 2009-04-16 2013-10-08 At&T Intellectual Property 1, L.P. Collective asynchronous media review
WO2013051014A1 (en) 2011-06-10 2013-04-11 Tata Consultancy Services Limited A method and system for automatic tagging in television using crowd sourcing technique
US20130238995A1 (en) 2012-03-12 2013-09-12 sCoolTV, Inc Apparatus and method for adding content using a media player
KR102042265B1 (ko) 2012-03-30 2019-11-08 엘지전자 주식회사 이동 단말기

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030196164A1 (en) * 1998-09-15 2003-10-16 Anoop Gupta Annotations for multiple versions of media content
US20020069218A1 (en) * 2000-07-24 2002-06-06 Sanghoon Sull System and method for indexing, searching, identifying, and editing portions of electronic multimedia files

Also Published As

Publication number Publication date
US8151182B2 (en) 2012-04-03
CA2672757A1 (en) 2008-07-03
US20120166930A1 (en) 2012-06-28
CA2866548A1 (en) 2008-07-03
KR20090084976A (ko) 2009-08-05
US9805012B2 (en) 2017-10-31
US20090249185A1 (en) 2009-10-01
BRPI0720366B1 (pt) 2019-03-06
EP2126730A2 (en) 2009-12-02
US7559017B2 (en) 2009-07-07
US20140115440A1 (en) 2014-04-24
US8775922B2 (en) 2014-07-08
US20180052812A1 (en) 2018-02-22
JP2010515120A (ja) 2010-05-06
CN101589383A (zh) 2009-11-25
CA2866548C (en) 2017-05-09
US20220398375A1 (en) 2022-12-15
AU2007336947A1 (en) 2008-07-03
AU2010249316A1 (en) 2011-01-06
AU2010249316B2 (en) 2012-07-26
US20080154908A1 (en) 2008-06-26
AU2007336947B2 (en) 2010-09-30
US10853562B2 (en) 2020-12-01
KR100963179B1 (ko) 2010-06-15
EP3324315A1 (en) 2018-05-23
WO2008079850A3 (en) 2008-10-02
US11423213B2 (en) 2022-08-23
US10261986B2 (en) 2019-04-16
US11727201B2 (en) 2023-08-15
BRPI0720366A2 (pt) 2013-12-24
EP2126730A4 (en) 2012-06-20
CA2672757C (en) 2014-12-16
JP4774461B2 (ja) 2011-09-14
US20210081603A1 (en) 2021-03-18
WO2008079850A2 (en) 2008-07-03
EP2126730B1 (en) 2018-03-14
US20190243887A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
CN101589383B (zh) 用于视频标注的方法和系统
KR101557494B1 (ko) 비디오 인터벌 주석
US8307286B2 (en) Methods and systems for online video-based property commerce
US9396193B2 (en) Method and system for managing playlists
US20070263984A1 (en) Methods and systems for handling montage video data
US9330721B2 (en) Streaming-based media system
US20160085814A1 (en) Information processing apparatus, information processing method, and program
JP6199929B2 (ja) 動画再生コントローラー
AU2012244141B2 (en) Annotation framework for video
US20140369669A1 (en) Electronic device and value exchange method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder