CN1820511A - 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备 - Google Patents

用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备 Download PDF

Info

Publication number
CN1820511A
CN1820511A CNA2004800197391A CN200480019739A CN1820511A CN 1820511 A CN1820511 A CN 1820511A CN A2004800197391 A CNA2004800197391 A CN A2004800197391A CN 200480019739 A CN200480019739 A CN 200480019739A CN 1820511 A CN1820511 A CN 1820511A
Authority
CN
China
Prior art keywords
fingerprint
media signal
time point
section
triggered time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800197391A
Other languages
English (en)
Inventor
J·C·乌斯特维恩
W·R·T·藤卡特
A·J·M·丹尼森
D·K·罗伯茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34042942&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1820511(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1820511A publication Critical patent/CN1820511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及一种使一个或多个触发动作与多媒体信号相关的设备和方法，以及相应的探测多媒体信号中的一个或多个触发动作的方法和设备。在每个触发时间点，根据多媒体信号的一段生成一个指纹。将所生成的指纹存储到数据库中并且将其传送到播放设备。在播放期间，生成多媒体信号的指纹并且相对数据库中的指纹匹配。如果匹配，那么就检索关联的触发动作。触发时间点被确定为使指纹匹配的多媒体信号的一段附近或其处的时间点。这样，可以实现一种在不改变多媒体信号的情况下探测触发动作的触发标记的简单而可靠的方式。

Description

用于生成并探测多媒体信号中 起到触发标记作用的指纹的方法和设备
本发明涉及一种探测多媒体信号中的触发时刻/信息的方法和相应的设备。本发明还涉及一种使触发信息和多媒体信号相关联的方法和相应的设备。而且，本发明涉及一种其上存储有使得一个或多个处理单元执行根据本发明的方法的指令的计算机可读取介质。
当前的趋势是通过创建互动性更强的节目和/或收听体验、或者通过将外部动作与一段视频和/或音频内容“连接”到一起，从而在给定播放设备上增强被动电视观看和/或音乐收听。作为一个简单的实例，可通过嵌入到具有进一步信息的web网站的URL来增强该广告，其中可以由播放设备提取并检索该URL。为了便于实现这种功能，必须可以可靠地探测电视节目、电影、音乐段等等中的时间点，其中这样的额外信息是相关的。
下面就描述了其中与广播节目相关的这样的额外信息是有用的或者引入注意的示例性情况：
-触发和链接：(参见例如W.ten Kate等人所著的“Trigg&link-A new dimension in television program making(触发和连接-电视节目制作中的新方面)”，Computer Science中的讲稿，vol.1242，pp51-65，Springer，1997年)触发和链接使得电视节目具有互动性。除了正常的节目之外，观众还可以通过不同的发行渠道获取关于该节目的特定段的额外信息。在与增强(额外信息)相关的给定段的起始处，显示了一图标，该图标提醒观者可以在他的电视上观看额外信息。例如，当电影中出现某个演员时，可以获得该演员的个人信息数据。在用户终端(例如机顶盒等等)中，一些图标在相关的时刻覆盖到视频上，由此要求在视频流中指示出这些时刻。
-本地插播：在进行国家广播期间，在某些地区可能会用本地区的节目替换该国家广播节目中的特定部分。例如，某些广告会被当地商店的广告所代替，或者在播出新闻时，某些地区将会播出当地的天气预报而不是播出国家天气预报。国家节目制片商可以指示哪些段适用于这样的本地插播。在本地重新发行地点(例如在电缆头端)处，可以用本地内容替换被指示出的这些段。
在上述这两种情况下，都必需在视频流中标记或关联可以获得额外信息的特定时刻。在这些时刻，接收机应该被触发以便执行或提供某类动作。可以通过例如MPEG/DVB中的DSM-CC的机制来完成上述这种触发。但是，这就需要广播者提供合作来插入这些触发，因此这会使得增强服务提供者依赖于广播者。
在视频流中做时间标记的一种以前公知的方式例如是使用MPEG传输流结构的域，可以将该域用于保持标记信息。
另一种以前公知的方式是使用消隐期。在模拟发行中，可以将标记信息嵌入到垂直消隐期或非活动视频线中。
上述这两种公知的方式都需要广播链中的所有参与者的合作，以便确保在信号到达它的目的地之前这些标记信息不会被破坏。例如，如果使用MPEG解决方案，那么重新复用操作就可以容易地除去被写入到流中的用户数据域中的信息。而且，每个解码和随后的重新编码步骤都不一定会保留这种信息。如果将垂直消隐用于承载触发信息，那么这种情形就更为困难，因为广播链中的参与者可能会在同一个位置写入其它信息(垂直消隐被用于实现许多事并且关于通过使用消隐期进行控制也没有统一规定)。另外，广播链中的标准转换器(例如PAL-NTSC)和其它设备可能也不会保留垂直消隐期中的所有信息。
还有一种方式法是使用水印。可以在相关的时刻将水印嵌入到视频帧中。在市场上出售的Philips Watercast System等等就是用于实现此目的。水印的一种劣势在于它必需改变视频/音频。
本发明的目的之一是提供一种可以解决上述问题的使一个或多个触发动作与多媒体信号相关的方法和相应的设备，以及相应的探测多媒体信号中的一个或多个触发动作的方法和设备。本发明的另一个目的是以简单而有效的方式提供上述方法和设备。另一个目的是使得能够简单、可靠而准确地对多媒体信号的给定部分进行定位。又一个目的是在不改变该多媒体信号的情况下探测触发动作。
通过一种使一个或多个触发动作与多媒体信号相关的方法(和相应的设备)从而实现了上述目的，该方法包含以下步骤：
-提供至少一个触发时间点并且为每个触发点提供至少一个相关触发动作的至少一个表示，其中每个触发时间点指示了多媒体信号的时间点，在播放该多媒体信号期间对于该时间点将获得至少一个相关触发动作，以及
-根据多媒体信号的一段，针对每个给定的触发时间点得出指纹，其中多媒体信号的该段明显地与该给定的触发时间点相关，
-以及一种探测多媒体信号中的一个或多个触发动作的方法(以及相应的设备)，该方法包含以下步骤：
-根据多媒体信号生成指纹流，
-比较指纹流的一段与存储在第二数据库中的一个或多个指纹，以便确定该段与该第二数据库中的指纹之间是否存在匹配，该第二数据库针对每个所存储的指纹还包含至少一个相关动作的至少一种表示，以及
-如果存在匹配，那么检索与该匹配指纹相关的至少一个相关动作的至少一个表示。
这样，就可以获得处理针对给定动作的多媒体信号中的时间标记的简单而有效的方式。由此，指纹起到了与多媒体信号的特定时间点相关的特定动作、事件等的触发器的作用。而且，这是在不需要修改多媒体信号的情况下实现的。另外，时间标记探测并不依赖于时间，因为它仅依赖于多媒体信号的特定内容，由此，如果电视节目等的多媒体信号被延迟，也避免问题。
多媒体对象/内容/信号的指纹是所讨论的对象/内容/信号部分的可感知特性的表示。有时也将这些指纹称作“(鲁棒)无用信息(hashes)”。更具体地，一段音频或视频的指纹是通过对该段音频或视频进行计算从而得到的标识符，并且即使所涉及的内容随后被转换代码、滤波或否则被修改，该指纹也不会发生变化。
优选地，得到的指纹是一种音频和/或视频指纹。可替换地，将动画和/或流文本等用作生成指纹的源。
在从属权利要求中规定了根据本发明的方法和设备的优选实施例。
而且，本发明还涉及计算机可读取介质，具有其上存储了用于用于使一个或多个处理单元执行根据本发明的方法的指令。
图1a示意性地示出根据本发明生成被用作一个或多个触发标记的一个或多个指纹。
图1b示意性地示出根据本发明探测和使用被用作一个或多个触发标记的一个或多个指纹。
图2示出根据本发明的指纹生成设备的示意性框图。
图3示出根据本发明的探测和使用指纹的播放设备的示意性框图。
图4示出根据本发明的表/记录的一个实例。
图1a示意性地示出根据本发明生成被用作一个或多个触发标记的一个或多个指纹。
示出一种数字或模拟多媒体信号(101)，其包含视频和/或音频信息/内容，其中在某些给定的“触发”时间点(前面所述的时间点)处使一个或多个“触发”动作(前面所述的动作)与多媒体信号(101)关联/相关。在播放设备进行播放期间的给定的特定的时间点(Tn；Tn+1)处，将获得(即触发)与每个时间点关联的一个或多个动作。用“(Tn；Tn+1)”表示给定的时间点代表了该时间点可以是示出的时间点Tn或示出的时间点Tn+1，或者通常可以是信号(101)的任意适当(未示出的)时间点。多个时间点的相关动作可以是相同的、不同的和/或它们的混合。
在给定时间点被呈现/触发的动作可以例如包含：检索并在显示器上显示额外信息(例如呈现在多媒体信号中出现的演员的个人信息数据，呈现可选择的、包含有额外信息的web网站的URL等等)，检索并通过扬声器播放额外信息，在预定的或可变时间周期播放另一种多媒体信号(例如本地天气预报、本地广告等等)而不是播放所述多媒体信号(101)等等。这些动作的例子例如还有停止/暂停、例如暂时地显示/播放、执行其它控制命令，和/或使得系统准备好用户输入，例如一旦执行完触发动作后，系统(在一段时间内)等待用户的特定动作。如果未执行触发动作，那么用户输入将不会具有任何影响。例如，在互动游戏当中，仅在执行了触发动作之后用户才能提交他的答案。
根据多媒体信号(101)的一部分、一段等(前面表示的段)针对每个时间点(Tn；Tn+1)生成指纹(102)，其中多媒体信号(101)的该段明显地与给定时间点(Tn；Tn+1)相关。优选地，通过使多媒体信号(101)的该段基本上在给定时间点(Tn；Tn+1)处结束从而使多媒体信号(101)的该段明显地与给定时间点(Tn；Tn+1)相关。在可替换的实施例中，多媒体信号(101)的该段基本上在给定的时间点(Tn；Tn+1)处开始，多媒体信号(101)的该段基本上在给定触发时间点(Tn；Tn+1)之前或之后的预定间隔处开始或结束，或者该给定时间点(Tn；Tn+1)可以位于多媒体信号(101)的该段的起始和结束处之间的预定时间点。
该指纹和/或段的大小可以是预先确定的固定大小或可替换地可变大小。
欧洲专利申请01200505.4中描述了一种用于计算鲁棒指纹的方法，尽管当然也可以使用任何用于计算鲁棒指纹的方法。
欧洲专利申请01200505.4描述了一种生成针对多媒体内容、例如音频剪辑的鲁棒指纹的方法，其中该音频剪辑被分为连续的(优选地是重叠的)时间段。对于每个时间段，频谱被分为多个波段。计算每个波段的鲁棒属性(例如能量)并且用各自的指纹位表示该属性。
因此，用包含串联的二进制值的指纹表示了多媒体内容，并且一个二进制值对应于每个时间段。并不需要通过整个多媒体内容计算指纹，而是当已接收到一定长度的一部分多媒体内容时就可以计算指纹。因此，对于一个多媒体内容可能会有多个指纹，而这依赖于将哪部分用于计算指纹。
而且，例如通过下述公开可以知道视频指纹算法：Job Oostveen、Ton Kalker、Jaap Haitsma：“Feature Extraction and a DatabaseStrategy for Video Fingerprinting(用于视频指纹的特征提取和数据库策略)”，117-128.IN：Shi-Kuo Chang、Zhe Chen、Suh-YinLee(Eds.)：Recent Advance in Visual Information Systems(视觉信息系统的新发展)，第五届国际会议，VISUAL 2002 Hsin Chu，台湾，2002年3月11-13日，Proceedings.Lecture Notes in ComputerSciencO 2314 Springer 2002。
根据本发明，在特定时间点处或该特定时间点附近，根据多媒体信号(101)的给定段生成每个时间点的指纹(102)。
这样，给定的指纹(102)就是触发标记，它使得可以非常准确和精确地确定信号(101)的给定时间点的位置，这种定位是使用信号(的一段)而不是使用特定时间点实现的。而且，这种定位是在不改变信号的情况下实现的。对于视频指纹来说，至少只要视频信号的畸变不是很严重，那么定位通常可以实现准确到帧。
在已生成指纹(102)之后，可以将其存储在数据库、存储器、存储装置等等中以用于以后的使用。
将多媒体信号(101)的指纹(102)存储在数据库而不是存储在多媒体信号自身当中会带来几个方面的好处。例如：对数据库的存储器/存储装置的要求降低了。
指纹的比较与比较多媒体信号自身更有效，因为指纹基本上比信号短。
在数据库中搜索匹配指纹比搜索整个多媒体信号更有效，因为搜索匹配指纹时涉及匹配较短的项目。
搜索匹配指纹更有可能成功，因为多媒体信号的小变化(例如按照另一种格式进行编码或改变比特率)并不影响指纹。
可替换地，如果多媒体内容是以不止单个信号的形式出现，例如单独的音频信号和单独的视频信号，那么可以根据这两个信号中的一个(音频或视频)或者这两个信号生成指纹(102)。
然后，根据本发明，通过互联网或在广播频道的副频道(side-channel)中，或者通过某些其它渠道或其它方式，将存储在数据库中的所生成的指纹(102)分发给该播放设备以供播放时使用。其它分发的例子是例如在存储介质上的物理分发，或者按照非电子的方式进行的分发，例如要求用户通过人工方式将指纹和动作输入到播放设备中。
在优选的实施例中，在数据库中还存储了每个指纹的相关联的动作的表示。优选地，也将这些表示优选地发送到播放设备。在可替换的实施例中，当生成指纹时，并不在数据库中存储这些表示或者根本不使用这些表示。然后，另一方可以向相关播放设备提供这些表示以及每个指纹和它的相关动作之间的关系。
图1b示意性地示出根据本发明探测和使用作为一个或多个触发标记的一个或多个指纹。图中示出数字或模拟多媒体信号(101)，其包含视频和/或音频信息/内容，其中由适当的播放设备播放该信号(101)。图中还示出根据多媒体信号(101)连续地或基本上连续地生成的指纹流(104)。可替换地，按照段生成指纹流(104)。将指纹流(104)(或者多个段)与存储在数据库中的指纹(102)进行比较。如结合图1a所解释的那样，在产生地点生成所存储的指纹(102)。该数据库还优选地包含对于每个所存储的指纹(102)的一个或多个关联的动作(105)的表示。例如，通过互联网或在广播频道的副频道中，或者通过某些其它渠道或其它方式从分发地点接收所存储的指纹(102)。也可以按照类似的方式接收相关动作(105)的表示。在可替换的实施例中，由另一方提供这些表示以及每个指纹和它的关联动作(105)之间的关系。
如果发现指纹流(104)的一段和数据库中给定的指纹(102)之间匹配，那么就检索该特定指纹(102)的相关动作(105)的表示，并且在适当的时间点(Tn；Tn+1)执行该动作。如果如结合图1a所解释的那样已生成了指纹(102)，那么当指纹流(104)的一段和数据库中的指纹(102)之间匹配时，也就可以确定适当的时间点(Tn；Tn+1)。优选地，通过使匹配指纹最初(根据图1a)在生成期间已基于的多媒体信号(101)的段基本上在给定的时间点(Tn；Tn+1)处结束来确定给定的时间点(Tn；Tn+1)。在可替换的实施例中，多媒体信号(101)的段基本上在给定的时间点(Tn；Tn+1)处开始，并且多媒体信号(101)的段在给定的触发时间点(Tn；Tn+1)之前或之后的预定时间间隔处开始或结束，或者给定的时间点(Tn；Tn+1)位于多媒体信号(101)的段的开始和结束处之间的预定时间点。播放设备简单地需要知道给定的指纹和生成指纹期间所使用的给定时间点之间的关系。
当确定了匹配指纹(102)时，也检索到相关的一个或多个动作。然后，播放设备执行这些动作或者将它们呈现给用户，例如在执行这些动作之前等待用户确认。
上述欧洲专利申请01200505.4描述了用于将为音频剪辑计算得到的指纹和存储在数据库中的指纹进行匹配的各种匹配策略。
另外，欧洲专利申请01202720.7描述了一种将表示未知信息信号的指纹与存储在数据库中的多个识别的信息信号的指纹匹配以便识别该未知信号的有效方法。该方法使用了所提取的指纹位的可靠性信息。通过计算信息信号的特征并且计算所述特征的阈值从而确定这些指纹位以便获得指纹位。如果特征的值与该阈值非常接近，那么信号的小变化就会导致指纹位具有相反的值。特征值和阈值之间差别的绝对值被用作将每个指纹位标记为可靠还是不可靠的。随后，将这些可靠性用于改善实际匹配过程。
本发明的另一个优势在于，如果由于某种原因，广播发生了延迟，那么指纹匹配就可以确保触发动作仍然可以出现在广播中正确的对应时刻，因为本发明不依赖于时间，而依赖于内容。
图2示出根据本发明的指纹生成设备的示意性框图。图中示出指纹生成设备(200)，它包含在一个或多个微处理器(未示出)的控制下通过总线(205)等等进行通信的多媒体信号输入模块(201)、指纹模块(202)、数据库存储器等等(203)。在一种实施例中，指纹生成设备(200)还可以有选择地包含用于通过有线和/或无线网络(例如互联网)与其它系统、设备等进行通信的发射机和接收机(204)。
多媒体信号输入模块(201)接收到例如模拟或数字音频和/或视频信号形式的多媒体内容，并且将该多媒体内容馈送到指纹模块(202)。指纹模块(202)根据接收到的多媒体内容计算指纹。可以得出整个内容或内容的一部分的指纹。可替换地，可以分别从不同的部分中得到多个指纹中。根据本发明，每当需要触发动作时，即对于每个时间点(Tn；Tn+1)得到指纹，如结合图1a所解释的那样。时间点的表示也被提供到指纹模块(202)。
然后，优选地，指纹模块(202)将计算得到的指纹连同每个指纹的关联的一个或多个动作提供给数据库(203)。如图4中所示，数据库(203)包含指纹“FP1”、“FP2”、“FP3”、“FP4”、“FP5”等，以及各自的相关动作“A1”、“A2”、“A3”、“A4”、“A2，A1”等。
可以按照多种方式组织数据库(203)从而优化查询时间和/或数据组结。当设计数据库(203)中的表时，应该将指纹模块(202)的输出考虑在内。在图4中所示的实施例中，数据库(203)包含具有多个条目(记录)的单个表，其中每个条目包含各自的指纹和关联的(多组)动作。
图3示出根据本发明的探测和使用指纹的播放设备的示意性框图。图中示出播放设备(300)，它包含在一个或多个微处理器(未示出)的控制下通过总线(205)等进行通信的多媒体信号接收机(301)、指纹探测器(302)、显示/播放电路(303)、数据库、存储器等(203’)。在一个实施例中，播放设备(300)还可以有选择地包含用于通过有线和/或无线网络(例如互联网)与其它系统、设备等进行通信的发射机和接收机(204)。
多媒体信号接收机(301)从广播电缆、天线、卫星反射器等等结构(未示出)接收到例如模拟或数字音频和/或视频信号形式的要被显示和/或播放的多媒体内容。然后，将接收到的多媒体信号馈送到指纹探测器(302)，该探测器得出指纹流或指纹流的段，然后如结合图1b所解释的那样确定这些指纹是否与存储在数据库中的指纹匹配。如果找到匹配，那么也检索关联动作的表示。如上所述，通过匹配指纹就可以给出关联动作的适当时间点。
由显示/播放电路(303)显示和/或播放接收到的多媒体信号，并且在适当的时间点，执行关联的动作或者将它们呈现给用户，例如在执行这些动作之前等待用户确认。
优选地，数据库(203’)的数据格式如图4中所示。
播放设备(300)还可以包含一种缓冲机制(未示出)，用于在显示/播放多媒体信号之前缓冲该多媒体信号的一部分。
图4示出根据本发明的表/记录的一个例子。图中示出表，它包含指纹(102)“FP1”、“FP2”、“FP3”、“FP4”、“FP5”等，以及各自的关联动作(105)“A1”、“A2”、“A3”、“A4”、“A2，A1”等。为每个指纹(102)都存储了一个或多个动作(105)。给定的指纹(102)仅在表中被存储一次。
在权利要求中，位于括号内的所有参考符号都不应被理解为限制本发明的权利要求。“包含”并不排除存在除权利要求中所列举的元件或步骤之外的其它元件或步骤。元件前面的“一”或“一个”并不排除存在多个这种元件。
可以通过包含几种不同元件的硬件实现本发明，并且可以通过适当编程的计算机实现本发明。在列举了几种装置的设备权利要求中，可以仅通过同一个硬件项来实现这些装置中的几个。实际上某些措施被单独描述在相互不同的从属权利要求中并不表示不能有利地使用这些措施的组合。

Claims (21)

1.一种使一个或多个触发动作与多媒体信号(101)相关的方法，该方法包含以下步骤：
-提供至少一个触发时间点(Tn；Tn+1)并且为每个触发时间点(Tn；Tn+1)提供至少一个关联的触发动作(105)的至少一个表示，其中每个触发时间点(Tn；Tn+1)指示了多媒体信号(101)的时间点，在播放该多媒体信号(101)期间对于该时间点可得到至少一个关联的触发动作，以及
-根据该多媒体信号(101)的一段得出每个给定的触发时间点(Tn；Tn+1)的指纹(102)，其中该多媒体信号(101)的该段明显地与该给定的触发时间点(Tn；Tn+1)相关。
2.根据权利要求1所述的方法，其特征在于该方法进一步包含在第一数据库(203)中为每个所获得的触发时间点(Tn；Tn+1)存储得到的指纹(102)和至少一个关联的触发动作(105)的至少一个表示。
3.根据权利要求1和2所述的方法，其特征在于通过互联网或在广播频道的副频道中、或者通过其它渠道或方式将多媒体信号(101)的一个或多个得到的指纹(102)和/或至少一个关联的触发动作(105)的至少一个表示发送到播放设备(300)。
4.根据权利要求1到3所述的方法，其特征在于根据下述内容，所述多媒体信号(101)的段明显地与给定的触发时间点(Tn；Tn+1)相关：
-多媒体信号(101)的段基本上在给定触发时间点(Tn；Tn+1)处结束，
-多媒体信号(101)的段基本上在给定触发时间点(Tn；Tn+1)处开始，
-多媒体信号(101)的段在给定触发时间点(Tn；Tn+1)之前或之后的预定时间间隔处开始或结束，或
-给定触发时间点(Tn；Tn+1)位于多媒体信号(101)的段的开始和结束之间的预定时间点。
5.一种探测多媒体信号(101)中的一个或多个触发动作的方法，该方法包含以下步骤：
-根据多媒体信号(101)生成指纹流(104)，
-比较指纹流(104)的一段与存储在第二数据库(203’)中的一个或多个指纹(102)，以便确定在该段与该第二数据库(203’)中的指纹(102)之间是否存在匹配，该第二数据库(203’)还包含针对每个所存储的指纹(102)的至少一个关联动作(105)的至少一个表示，以及
-如果存在匹配，那么检索与该匹配指纹(102)关联的至少一个关联动作(105)的至少一个表示。
6.根据权利要求5所述的方法，其特征在于所述方法进一步包含以下步骤：在适当的触发时间点(Tn；Tn+1)执行与匹配指纹(102)关联的至少一个关联动作(105)。
7.根据权利要求6所述的方法，其特征在于通过与在生成匹配指纹(102)期间使用的多媒体信号(101)的一段明显地相关来给出该适当的触发时间点(Tn；Tn+1)。
8.根据权利要求1到4或权利要求5到7所述的方法，其特征在于所述多媒体信号(101)是音频信号、视频信号或者合并的音频/视频信号。
9.根据权利要求1到4或权利要求5到8所述的方法，其特征在于从以下组中选出所述至少一个关联的触发动作(105)：
-检索并在显示器上显示额外信息，
-检索并通过扬声器播放额外信息，
-在预定或可变的时间期间播放另一个多媒体信号，而不是播放所述多媒体信号(101)。
-停止/暂停，例如暂时地显示/播放，
-执行其它控制命令，和/或
-使得系统准备好接收用户输入。
10.根据权利要求1到4或权利要求5到9所述的方法，其特征在于得到的指纹(102)和/或第二数据库(203’)中的指纹(102)是音频和/或视频指纹(102)。
11.一种用于使一个或多个触发动作与多煤体信号(101)相关的多媒体设备(200)，该设备包含：
-装置(202；204)，用于提供至少一个触发时间点(Tn；Tn+1)并且针对每个触发点(Tn；Tn+1)提供至少一个关联的触发动作(105)的至少一个表示，其中每个触发点(Tn；Tn+1)指示了多媒体信号(101)的时间点，在播放该多媒体信号(101)期间对于该时间点可得到至少一个关联的触发动作，以及
-指纹生成器(202)，适于根据多媒体信号(101)的一段得出每个给定的触发时间点(Tn；Tn+1)的指纹(102)，其中多媒体信号(101)的该段明显地与该给定的触发时间点(Tn；Tn+1)相关。
12.根据权利要求11所述的设备，其特征在于该设备进一步包含为每个所获得的触发时间点(Tn；Tn+1)存储得到的指纹(102)和至少一个关联的触发动作(105)的至少一个表示的第一数据库(203)。
13.根据权利要求11和12所述的设备，其特征在于该设备进一步包含发射机(204)，用于通过互联网或在广播频道的副频道中、或者通过其它渠道或方式将多媒体信号(101)的一个或多个得到的指纹(102)和/或至少一个关联的触发动作(105)的至少一个表示发送到播放设备(300)。
14.根据权利要求11到13所述的设备，其特征在于根据下述内容，所述多媒体信号(101)的段明显地与给定的触发时间点(Tn；Tn +1)相关：
-多媒体信号(101)的段基本上在给定触发时间点(Tn；Tn+1)处结束，
-多媒体信号(101)的段基本上在给定触发时间点(Tn；Tn+1)处开始，
-多媒体信号(101)的段在给定触发时间点(Tn；Tn+1)之前或之后的预定时间间隔处开始或结束，或
-给定触发时间点(Tn；Tn+1)位于多媒体信号(101)的段的开始和结束之间的预定时间点。
15.一种用于探测多媒体信号(101)中的一个或多个触发动作的音频和/或视频播放设备(300)，该设备包含：
-装置(302)，用于根据多媒体信号(101)生成指纹流(104)，
-装置(302)，用于比较指纹流(104)的段与存储在第二数据库(203’)中的一个或多个指纹(102)，以便确定在该段与该第二数据库(203’)中的指纹(102)之间是否存在匹配，该第二数据库(203’)还包含针对每个所存储的指纹(102)的至少一个关联动作(105)的至少一个表示，以及
-装置(302)，用于如果存在匹配，那么检索与该匹配指纹(102)关联的至少一个关联动作(105)的至少一个表示。
16.根据权利要求15所述的设备，其特征在于所述设备进一步包含：装置(303)，用于在适当的触发时间点(Tn；Tn+1)执行与匹配指纹(102)关联的至少一个关联动作(105)。
17.根据权利要求16所述的设备，其特征在于通过与在生成匹配指纹(102)期间使用的多媒体信号(101)的一段明显地相关来给出所述适当的触发时间点(Tn；Tn+1)。
18.根据权利要求11到14或权利要求15到17所述的设备，其特征在于所述多媒体信号(101)是音频信号、视频信号或者合并的音频/视频信号。
19.根据权利要求11到14或权利要求15到18所述的设备，其特征在于从以下组中选出所述至少一个关联的触发动作(105)：
-检索并在显示器上显示额外信息，
-检索并通过扬声器播放额外信息，
-在预定或可变时间期间播放另一个多媒体信号，而不是播放所述多媒体信号(101)。
-停止/暂停，例如暂时地显示/播放，
-执行其它控制命令，和/或
-使得系统准备好接收用户输入。
20.根据权利要求11到14或权利要求15到19所述的设备，其特征在于所得到的指纹(102)和/或第二数据库(203’)中的指纹(102)是音频和/或视频指纹(102)。
21.一种计算机可读介质，具有其上存储的用于使得一个或多个处理单元执行根据权利要求1到4中的任何一个或权利要求5到10中的任何一个所述的方法的指令。
CNA2004800197391A 2003-07-11 2004-07-05 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备 Pending CN1820511A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03102116.5 2003-07-11
EP03102116 2003-07-11

Publications (1)

Publication Number Publication Date
CN1820511A true CN1820511A (zh) 2006-08-16

Family

ID=34042942

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800197391A Pending CN1820511A (zh) 2003-07-11 2004-07-05 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备

Country Status (5)

Country Link
US (11) US8020000B2 (zh)
EP (1) EP1647144A1 (zh)
JP (1) JP2007528144A (zh)
CN (1) CN1820511A (zh)
WO (1) WO2005006758A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置
CN103563393A (zh) * 2011-07-20 2014-02-05 索尼公司 用于触发器紧凑性的信息提供装置、方法、计算机程序和接收装置
CN106375848A (zh) * 2015-07-23 2017-02-01 无锡天脉聚源传媒科技有限公司 一种视频播放提示方法及装置
CN106412715A (zh) * 2016-09-14 2017-02-15 华为软件技术有限公司 一种信息检索方法、终端以及服务器
CN107211174A (zh) * 2015-02-09 2017-09-26 三星电子株式会社 显示设备及其信息提供方法
CN108900890A (zh) * 2018-06-29 2018-11-27 北京优屏科技服务有限公司 互动广告播放方法及系统

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702995B2 (en) 2000-04-24 2010-04-20 TVWorks, LLC. Method and system for transforming content for execution on multiple platforms
US8936101B2 (en) 2008-07-17 2015-01-20 Halliburton Energy Services, Inc. Interventionless set packer and setting method for same
US8296792B2 (en) 2000-04-24 2012-10-23 Tvworks, Llc Method and system to provide interactivity using an interactive channel bug
US9788058B2 (en) 2000-04-24 2017-10-10 Comcast Cable Communications Management, Llc Method and system for automatic insertion of interactive TV triggers into a broadcast data stream
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
WO2004044820A1 (en) * 2002-11-12 2004-05-27 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
US8020000B2 (en) 2003-07-11 2011-09-13 Gracenote, Inc. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
CN100592789C (zh) 2004-08-12 2010-02-24 皇家飞利浦电子股份有限公司 从视频或音频数据流选择内容
US8631130B2 (en) * 2005-03-16 2014-01-14 Adaptive Computing Enterprises, Inc. Reserving resources in an on-demand compute environment from a local compute environment
KR100803206B1 (ko) * 2005-11-11 2008-02-14 삼성전자주식회사 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
US8307403B2 (en) 2005-12-02 2012-11-06 Microsoft Corporation Triggerless interactive television
JP2009521169A (ja) * 2005-12-23 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツストリームから決定されたフィンガープリントを使用したスクリプト同期
JP5461176B2 (ja) * 2006-06-13 2014-04-02 コーニンクレッカ フィリップス エヌ ヴェ ビデオを識別及び同期させるためのフィンガープリント、装置及び方法
JP4935468B2 (ja) 2007-04-03 2012-05-23 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8044363B2 (en) 2007-04-30 2011-10-25 Kimberly-Clark Worldwide, Inc. UV detection devices and methods
US8171030B2 (en) 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
EP2188997A2 (en) * 2007-07-06 2010-05-26 AMBX UK Limited A method for synchronizing a content stream and a script for outputting one or more sensory effects in a multimedia system
US8295363B2 (en) * 2007-09-14 2012-10-23 Yahoo! Inc. Restoring program information for clips of broadcast programs shared online
WO2009112803A1 (en) * 2008-03-14 2009-09-17 Ambx Uk Limited Processing a sequence of frames
US8935796B2 (en) * 2008-03-14 2015-01-13 Microsoft Corporation Segment based digital content protection
US8347408B2 (en) * 2008-06-30 2013-01-01 Cisco Technology, Inc. Matching of unknown video content to protected video content
US8259177B2 (en) * 2008-06-30 2012-09-04 Cisco Technology, Inc. Video fingerprint systems and methods
US20090327334A1 (en) * 2008-06-30 2009-12-31 Rodriguez Arturo A Generating Measures of Video Sequences to Detect Unauthorized Use
WO2010022303A1 (en) * 2008-08-22 2010-02-25 Dolby Laboratories Licensing Corporation Content identification and quality monitoring
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US8941779B2 (en) 2012-03-21 2015-01-27 Sony Corporation Non-closed caption data transport in standard caption service
US9615140B1 (en) 2010-05-27 2017-04-04 Edward Malinowski Method and device for delivery of subtitle synchronized with a media stream
EP2464114A1 (en) * 2010-12-13 2012-06-13 Alcatel-Lucent España, S.A. Procedure and device for the transport of markers
CN103283251A (zh) 2010-12-26 2013-09-04 Lg电子株式会社 广播服务发送方法、广播服务接收方法和广播服务接收设备
NL2006291C2 (en) 2011-02-24 2012-08-27 Civolution B V Broadcasting an information signal having special content for triggering an appropriate action in user device.
US9742736B2 (en) 2011-04-19 2017-08-22 Nagravision S.A. Ethernet decoder device and method to access protected content
US8737679B2 (en) * 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking
US8935719B2 (en) 2011-08-25 2015-01-13 Comcast Cable Communications, Llc Application triggering
TWI528749B (zh) 2011-09-06 2016-04-01 Sony Corp A signal receiving device, a signal receiving method, an information processing program and an information processing system
JP6071184B2 (ja) * 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、プログラム、及び情報処理システム
US9113230B2 (en) 2011-12-21 2015-08-18 Sony Corporation Method, computer program, and reception apparatus for delivery of supplemental content
US9936231B2 (en) 2012-03-21 2018-04-03 Saturn Licensing Llc Trigger compaction
KR101404596B1 (ko) 2012-05-03 2014-06-11 (주)엔써즈 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
US10104447B2 (en) 2012-06-19 2018-10-16 Saturn Licensing Llc Extensions to trigger parameters table for interactive television
EP2690593A1 (en) 2012-07-24 2014-01-29 Nagravision S.A. Method for marking and transmitting a content and method for detecting an identifyier of said content
EP2712203A1 (en) * 2012-09-25 2014-03-26 Nagravision S.A. Method and system for enhancing redistributed audio / video content
US9317471B2 (en) * 2012-11-02 2016-04-19 Google Inc. Bookmarking prospective media content on computer network
US9344759B2 (en) * 2013-03-05 2016-05-17 Google Inc. Associating audio tracks of an album with video content
US9414114B2 (en) 2013-03-13 2016-08-09 Comcast Cable Holdings, Llc Selective interactivity
US9542488B2 (en) 2013-08-02 2017-01-10 Google Inc. Associating audio tracks with video content
KR101463864B1 (ko) * 2013-08-07 2014-11-21 (주)엔써즈 직접 반응 광고 검출 및 분류 시스템 및 방법
US10318579B2 (en) 2013-09-06 2019-06-11 Gracenote, Inc. Inserting information into playing content
US11076205B2 (en) 2014-03-07 2021-07-27 Comcast Cable Communications, Llc Retrieving supplemental content
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US10264329B2 (en) * 2014-10-28 2019-04-16 Disney Enterprises, Inc. Descriptive metadata extraction and linkage with editorial content
US10299012B2 (en) * 2014-10-28 2019-05-21 Disney Enterprises, Inc. Descriptive metadata extraction and linkage with editorial content
US10097882B2 (en) 2015-08-11 2018-10-09 Arris Enterprises Llc Back-end content analysis system to initiate second-screen confirmation
US10397663B2 (en) * 2016-04-08 2019-08-27 Source Digital, Inc. Synchronizing ancillary data to content including audio
US11043206B2 (en) 2017-05-18 2021-06-22 Aiqudo, Inc. Systems and methods for crowdsourced actions and commands
US11056105B2 (en) 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
US10838746B2 (en) 2017-05-18 2020-11-17 Aiqudo, Inc. Identifying parameter values and determining features for boosting rankings of relevant distributable digital assistant operations
US11340925B2 (en) 2017-05-18 2022-05-24 Peloton Interactive Inc. Action recipes for a crowdsourced digital assistant system
US11234060B2 (en) 2017-09-01 2022-01-25 Roku, Inc. Weave streaming content into a linear viewing experience
US11418858B2 (en) 2017-09-01 2022-08-16 Roku, Inc. Interactive content when the secondary content is server stitched
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data
WO2019152511A1 (en) 2018-01-30 2019-08-08 Aiqudo, Inc. Personalized digital assistant device and related methods
US11245959B2 (en) * 2019-06-20 2022-02-08 Source Digital, Inc. Continuous dual authentication to access media content
WO2021201868A1 (en) 2020-04-02 2021-10-07 Google Llc Methods, systems, and media for synchronizing video streams

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711564B2 (en) 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US6637032B1 (en) 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
AU4851300A (en) 1999-05-19 2000-12-05 Digimarc Corporation Methods and systems for controlling computers or linking to internet resources from physical and electronic objects
US7302574B2 (en) * 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US7185201B2 (en) * 1999-05-19 2007-02-27 Digimarc Corporation Content identifiers triggering corresponding responses
US6785815B1 (en) * 1999-06-08 2004-08-31 Intertrust Technologies Corp. Methods and systems for encoding and protecting data using digital signature and watermarking techniques
US6216462B1 (en) 1999-07-19 2001-04-17 The United States Of America As Represented By The Administrator Of The Environmental Protection Agency High efficiency, air bottoming engine
US7444353B1 (en) * 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7412462B2 (en) * 2000-02-18 2008-08-12 Burnside Acquisition, Llc Data repository and method for promoting network storage of data
KR100920320B1 (ko) * 2000-02-19 2009-10-07 디지맥 코포레이션 워터마크 인코더 및 디코더를 작동시키는 소프트웨어
AU2001247457A1 (en) * 2000-03-18 2001-10-03 Digimarc Corporation Transmarking, watermark embedding functions as rendering commands, and feature-based watermarking of multimedia signals
ITSV20000017A1 (it) * 2000-04-17 2001-10-17 Esaote Spa Metodo e macchina per il rilevamento d'immagini in risonanza magnetica nucleare
KR100865249B1 (ko) 2000-07-20 2008-10-27 디지맥 코포레이션 파일 공유에 임베딩된 데이터의 사용
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6748360B2 (en) * 2000-11-03 2004-06-08 International Business Machines Corporation System for selling a product utilizing audio content identification
US7085613B2 (en) * 2000-11-03 2006-08-01 International Business Machines Corporation System for monitoring audio content in a video broadcast
AU2002232817A1 (en) * 2000-12-21 2002-07-01 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US6959143B2 (en) * 2000-12-26 2005-10-25 Eloda Inc. Advertising extracting system
WO2002065782A1 (en) 2001-02-12 2002-08-22 Koninklijke Philips Electronics N.V. Generating and matching hashes of multimedia content
GB2375907A (en) 2001-05-14 2002-11-27 British Broadcasting Corp An automated recognition system
US7016968B2 (en) * 2001-06-22 2006-03-21 International Business Machines Corporation Method and apparatus for facilitating the providing of content
US6741684B2 (en) 2001-06-26 2004-05-25 Koninklijke Philips Electronics N.V. Interactive TV using remote control with built-in phone
US6968337B2 (en) * 2001-07-10 2005-11-22 Audible Magic Corporation Method and apparatus for identifying an unknown work
FR2832580B1 (fr) 2001-11-16 2004-01-30 Thales Sa Signal de programme de diffusion avec commande, systemes d'inscription et de lecture de commande, chaine de production et de diffusion associes
US20030120923A1 (en) * 2001-12-21 2003-06-26 Avaya Technology Corp. Secure data authentication apparatus
US7064796B2 (en) * 2001-12-21 2006-06-20 Eloda Inc. Method and system for re-identifying broadcast segments using statistical profiles
US6959865B2 (en) * 2002-03-28 2005-11-01 Hand Held Products, Inc. Customizable optical reader
EP1349405A1 (de) * 2002-03-28 2003-10-01 Siemens Aktiengesellschaft Verfahren zum Laden eines Softwareprogramms auf ein mobiles Kommunikationsendgerät
BR0309598A (pt) * 2002-04-25 2005-02-09 Shazam Entertainment Ltd Método para a caracterização de um relacionamento entre uma primeira e uma segunda amostras de áudio, produto de programa de computador e sistema de computador
US20050177738A1 (en) * 2002-05-10 2005-08-11 Koninklijke Philips Electronics N.V. Watermark embedding and retrieval
US6766523B2 (en) * 2002-05-31 2004-07-20 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US7461392B2 (en) * 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
GB0304663D0 (en) * 2003-02-28 2003-04-02 Ncipher Corp Ltd A method and system of securely enforcing a computer policy
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US20040194130A1 (en) * 2003-03-07 2004-09-30 Richard Konig Method and system for advertisement detection and subsitution
KR20060002942A (ko) * 2003-03-28 2006-01-09 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 지문에 의한 데이터 블록 검출 시스템 및 방법
US8020000B2 (en) 2003-07-11 2011-09-13 Gracenote, Inc. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
US20050226601A1 (en) * 2004-04-08 2005-10-13 Alon Cohen Device, system and method for synchronizing an effect to a media presentation
US20060015855A1 (en) * 2004-07-13 2006-01-19 Kumamoto Danny N Systems and methods for replacing NOP instructions in a first program with instructions of a second program
JP2008205979A (ja) * 2007-02-22 2008-09-04 Hitachi Ltd 放送データ変換装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103563393A (zh) * 2011-07-20 2014-02-05 索尼公司 用于触发器紧凑性的信息提供装置、方法、计算机程序和接收装置
CN103563393B (zh) * 2011-07-20 2018-05-29 索尼公司 用于触发器紧凑性的信息提供装置、方法、计算机程序和接收装置
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置
CN107211174A (zh) * 2015-02-09 2017-09-26 三星电子株式会社 显示设备及其信息提供方法
CN106375848A (zh) * 2015-07-23 2017-02-01 无锡天脉聚源传媒科技有限公司 一种视频播放提示方法及装置
CN106412715A (zh) * 2016-09-14 2017-02-15 华为软件技术有限公司 一种信息检索方法、终端以及服务器
CN108900890A (zh) * 2018-06-29 2018-11-27 北京优屏科技服务有限公司 互动广告播放方法及系统

Also Published As

Publication number Publication date
US9479831B2 (en) 2016-10-25
US20210360299A1 (en) 2021-11-18
US9066114B2 (en) 2015-06-23
US20170289590A1 (en) 2017-10-05
US20060190776A1 (en) 2006-08-24
US11641494B2 (en) 2023-05-02
JP2007528144A (ja) 2007-10-04
US11109074B2 (en) 2021-08-31
EP1647144A1 (en) 2006-04-19
WO2005006758A1 (en) 2005-01-20
US20190045240A1 (en) 2019-02-07
US10045054B2 (en) 2018-08-07
US20190327502A1 (en) 2019-10-24
US10595053B2 (en) 2020-03-17
US20120016876A1 (en) 2012-01-19
US20150189380A1 (en) 2015-07-02
US10250916B2 (en) 2019-04-02
US20140130077A1 (en) 2014-05-08
US8660267B2 (en) 2014-02-25
US9712853B2 (en) 2017-07-18
US9407962B2 (en) 2016-08-02
US20170013291A1 (en) 2017-01-12
US8020000B2 (en) 2011-09-13
US20160269780A1 (en) 2016-09-15
US20200322653A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN1820511A (zh) 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备
CA2924065C (en) Content based video content segmentation
JP5001362B2 (ja) カスタマイズされたマルチメディア・セグメントを作成しかつ視聴するための方法と装置
JP6903653B2 (ja) 共通メディアセグメントの検出
US20150007218A1 (en) Method and apparatus for frame accurate advertisement insertion
US11803589B2 (en) Systems, methods, and media for identifying content
US20160196631A1 (en) Hybrid Automatic Content Recognition and Watermarking
KR20200138710A (ko) 보조 데이터로서 좌표
JP2005051716A (ja) 視聴調査システム、方法、視聴調査用プログラム、視聴調査端末およびサーバー
KR101930488B1 (ko) 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
EP2642408A1 (en) Information processing apparatus and information processing method
EP3043572A1 (en) Hybrid automatic content recognition and watermarking
US11979624B1 (en) Correcting ad markers in media content
CN105933761B (zh) 一种新型视听节目广告投播方法
EP3044728A1 (en) Content based video content segmentation
CN103475903A (zh) 一种音视频节目单及节目包的生成方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20060816

C20 Patent right or utility model deemed to be abandoned or is abandoned