CN101427580A - 使用从内容流确定的指纹进行脚本同步 - Google Patents

使用从内容流确定的指纹进行脚本同步 Download PDF

Info

Publication number
CN101427580A
CN101427580A CNA2006800486511A CN200680048651A CN101427580A CN 101427580 A CN101427580 A CN 101427580A CN A2006800486511 A CNA2006800486511 A CN A2006800486511A CN 200680048651 A CN200680048651 A CN 200680048651A CN 101427580 A CN101427580 A CN 101427580A
Authority
CN
China
Prior art keywords
script
fingerprint
content stream
content
receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800486511A
Other languages
English (en)
Other versions
CN101427580B (zh
Inventor
W·A·H·伯克文斯
M·H·弗伯克特
J·B·A·M·霍斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN101427580A publication Critical patent/CN101427580A/zh
Application granted granted Critical
Publication of CN101427580B publication Critical patent/CN101427580B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)
  • Traffic Control Systems (AREA)

Abstract

在多媒体系统中对内容流(60)和脚本(50)进行同步以输出一个或多个感官效果。从内容流(60)的一部分计算指纹(22)。确定与所述指纹对应的时间值。所述时间值可以存储在指纹数据库(24)中，可以利用指纹访问所述指纹数据库并由此检索所述时间值。脚本时钟(26)与所述时间值同步并因此与内容流(60)的所述部分同步。利用同步的脚本时钟(26)，内容流(60)的所述部分与脚本得以同步呈现。所述脚本(50)被用于产生一个或多个感官效果，所述感官效果在用于效果控制器(34)的效果信号(32)中输出。所述效果信号(32)与内容流(14)的所述部分的呈现同步产生。

Description

使用从内容流确定的指纹进行脚本同步
本发明系统涉及多媒体系统领域，特别涉及与感官元件和内容流相关的脚本同步。
随着以计算机技术的加速演进为基础的家庭娱乐系统的蓬勃发展，渴望通过开发冲击用户感官知觉的效果以便在实际输出中产生更大的用户投入，例如，这些效果包括变化的光线、振动、温度、风、声音、气味。这种需求源自于许多主题公园用以吸引游客的大规模乘坐装置(ride)以及在家庭中开展诸如与大屏幕电视、高清电视、音频体验和视频游戏相关的这些生动效果的可能。
随着新技术变得可用，用户观看电视的体验正在迅速的改变着。第一个迹象已经可以在高端电视中看到了，在该高端电视中增加灯以增强电视体验。目前，诸如包括色彩输出和时间行为的灯效的这些效果的控制是基于对内容所进行的实时分析，这需要复杂的程序和专门的设备。
一种可能的解决方案是针对部分实际的内容流(如视频和/或音频)制定预定义脚本。然而，问题是无论是广播或事先录制(如在DVD上)，这都需要内容提供者对流内容进行新的标准化活动(如MPEG、MP3)，而且对所有已标准化的流类型都需要该标准化。
由WIPO进行国际公布的，飞利浦电子公司Koninklijke的题为“A Real-WorldRepresentation System and Language”的WO 02/092183和Eves等人的题为“Dynamic Markup Language”的WO 03/100548其公开了按照一种标记语言的描述驱动和操作设备以便为用户呈现真实世界体验的装置以及从片段中生成标记语言文档的装置，所述文献的全部内容通过引用结合于此，就好像它们在此阐述了一样。
Limaye的美国专利US 6,642,966公开了一种依靠在多媒体内容的帧中所嵌入的关键字(key)对视频内容的播放控制和/或控制数据中所包含指令的执行进行同步的装置，所述文献的全部内容通过引用结合于此，就好像它们在此阐述了一样。当控制数据文件要随着视频内容被播放时，所述关键字提供用于检索控制数据和相关文件的地址以及始于包含所述关键字的当前帧的未来时间的指示。换句话说，所述关键字指定了控制数据中所包括的指令将在未来何时被执行(被播放)。连同指示当前时间的时钟一并使用未来时间来确定何时应当播放数据。然而，由于时常随机访问播放视频内容，如暂停、倒退、快进等，因此使用在未来什么时间播放关于未来帧的数据的指示存在问题。因此，没有什么方式来确保未来的帧实际上将会在所述关键字数据所指定的未来时间播放。另外，在内容中嵌入关键字需要修改原始内容。
Mihcak等人的题为“Robust Recognizer of Perceptually Similar Content”的美国专利申请公开US 2005/0022004，公开了如何在内容项目中应用指纹。该参考文献提及了将哈希算法技术用于同步，但未能提供任何用于同步的方法和设备。
本系统的一个目标是克服现有技术中的这些和其他缺点。
本发明系统与内容流相关联地提供预定义脚本，用于驱动/控制感官设备，如照亮电视周围的灯，以替代使用与视频/音频内容相关的派生脚本的实时分析。该脚本可以与实际的内容流(如视频或音频)一起编码。在另一个实施例中，该脚本可以从不同于所述内容流的源分发和/或获得，或者仅仅从相同的源获得但是与内容流相分离。
本系统采用诸如指纹技术之类的技术从内容流中辨别信息来帮助实现内容流和脚本流的同步。所述脚本流可以用于控制光线、送风机等，以增强用户消费内容(如看电视、听音乐等)时的体验。
简而言之，由接收器接收内容流，在所述接收器中依照给定算法从所述内容流的一部分计算出指纹值。在视频流中，所述视频流的该部分可以是一个或多个给定的帧。利用该指纹值访问作为查找表的指纹数据库来检索与该指纹相对应的内容流的特定时间位置，并且该指纹值由此也对应于所述内容流中的时间位置。该特定时间位置接着被输入到脚本时钟中，所述脚本时钟将所述时间位置与时钟值相关联。所述时钟值接着被输入到脚本输出发生器中。所述脚本流可以由该脚本发生器从脚本服务器中检索。与所述时钟值对应的所述脚本流的一部分在与所述内容流的相应部分同步呈现时被提供给呈现设备。
为了调整由于脚本输出发生器的处理时间所导致的潜在延迟，所述内容流可以被输入到内容缓冲器中，所述内容缓冲器调整到内容呈现设备(如重放设备)的内容流输出。例如，缓冲时间可以等于访问指纹数据库的处理时间与脚本输出发生器的处理时间之和，以使得到效果呈现设备(如效果控制器)的效果信号与内容流的呈现同步。这样，所述接收器利用脚本流产生一个或多个感官效果，所述感官效果与内容流呈现同步地在用于效果控制器的效果信号中输出。在一些实施例中，可能无法对内容流进行缓冲。(在我们恰好收听内容流但是不处于内容流的路径中的情况下)内容流的呈现可以不处于用户系统的控制之下。所以，在一些实施例中内容流可以被延迟。在其他实施例中，内容的呈现不能被延迟，可以利用内容因子(△时间)来调整时间位置。根据内容流路径和指纹及脚本输出发生器路径的延迟差，所述△时间可以是正值或负值。
提供了一种系统和方法，用于对多媒体系统中用于输出一个或多个感官效果的脚本流和内容流进行同步。所述系统和方法包括从内容流中确定指纹，其中在所述内容流的预定时间间隔或顺序间隔中确定至少一个指纹。指纹信息被输入到指纹数据库中，在所述指纹数据库中检索对应的时间位置。然后所述时间位置被输入到将时钟值与所述时间位置相关联的时钟中。接收器检索与所述时钟值和内容流相对应的脚本流部分。所述脚本流被用于产生一个或多个在用于效果控制器的效果信号中输出的感官效果。所述效果信号与内容流的呈现同步地产生。
在一个实施例中，指纹数据库从内容流的指纹产生脚本标识符。接收器可以从该数据库中提取所述脚本标识符，所述脚本标识符被用于检索与所述脚本标识符相对应的特定脚本流和特定指纹与时间值对的表。时钟值被用于定位利用内容流所识别的脚本流。另一个实施例中，可以通过向远程服务器(例如，脚本识别数据库)发送内容流的指纹来找到脚本标识符，所述远程服务器利用该指纹搜索具有来自所有脚本化的内容的全部指纹的大型数据库，并且如果有匹配，则可以返回脚本标识符。通过脚本标识符还可以检索所识别文本所需的指纹与时间值对的表。
下面将描述示例性的实施例，当结合以下附图时，所述实施例展示了上述提到的特征和优点以及其它的特征和优点。在以下描述中，出于解释而不是限制的目的，阐述了具体细节，诸如特定体系结构、接口、技术等以便进行说明。然而，对本领域普通技术人员来说显而易见的是，脱离这些具体细节的其它实施例仍然被理解为处于所附权利要求的范围之内。此外，为了清楚的目的，省略了对公知设备、电路和方法的详细描述，以免对本系统的描述造成混淆。
应该清楚理解的是，所包含的附图是为了说明的目的而并非表示本系统的范围。在附图中，不同附图中类似附图标记代表相似的元件。
图1图示了依据本系统实施例的利用指纹信息对内容流和脚本流进行同步的装置；和
图2是依据本系统实施例的内容流和相应脚本流的示例。
在图1和2中图示了脚本/内容同步的本系统10，他将在这里进行描述。参考图1，(如由广播公司、DVD生产者/播放器等所提供的)内容流12被输入到接收器11中。所述内容流被输入到指纹计算器22中，所述指纹计算器22在的所述内容流的选择帧间隔(见图2)、时间间隔、关键帧等处确定、计算(等)指纹FT0、FT1、FT2、FT3、...FTN。这样，每个指纹对应于内容流各部分的特定开始时间(例如，时间T0、T1、T2、T3、...TN)。
通过对内容流中的信息(如数字、模拟等)进行操作而从所述内容流确定、计算(等)指纹。可以以任何方式来确定指纹，包括对内容流数据的选定部分执行哈希函数以获得哈希值。
另一种确定指纹的例子是通过在单个帧内的视频材料的两部分之间以及不同帧之间计算(确定)亮度差。依据亮度差是正(更亮)或负(较不亮)，将表示所述亮度差的位设置为1或0。该结果可以被用作指纹。当然，也可以适当利用其他技术。
下面详细描述内容流60和对应的脚本流50的同步方式。如图所示，内容流60被分成内容部分。如图2中通过内容流60和脚本50之间的箭头所指示的，所述内容部分与预定要与所述内容部分同步执行的脚本部分相对应。换句话说，当呈现内容流60对应于开始时间T0的开始部分时，与所述内容部分开始时间对应的脚本部分、片断等开始并同步执行。对于内容流60和脚本流50的每个部分都按照上述同样的方式执行。
为了促进依照本系统的操作，在上述内容和脚本的同步呈现之前建立指纹数据库24。指纹数据库24可以包含指纹与时间值对。当指纹计算器22在本系统的操作过程中确定指纹时，采用同样的方式(例如，利用同样的算法)并且以同样的帧间隔、时间间隔等从内容确定(例如，计算、测量等)在指纹数据库中保存的指纹与时间值对。所述时间值为指纹从中导出的内容部分提供相对于内容流开始的相对时间。例如，对于从将在从内容流开始的时间T2开始连续呈现(如播放)的内容流部分导出的指纹而言，该时间值为T2。然后，本系统可利用该时间值来识别与内容流的该时间相对应的脚本流的部分的开始时间，下面将进一步讨论。对于该示例，指纹数据库24包含多个指纹与时间值对，如FT0，T0；FT1，T1；FT2，T2；FT3，T3；...FTN，TN。指纹数据库24可以从包括脚本服务器、内容流源等的任何源接收多个指纹与时间值对。指纹与时间值对可以由内容或脚本提供者来确定和提供。不论来源如何，典型地，指纹数据库24是在接收内容流12之前保存所接收到的指纹与时间对。所保存的指纹与时间值对的数量与确定指纹的采样率相关。用于导出指纹的采样率控制所存储的用于给定内容流的指纹与时间值对的数量。
当内容流12随后由系统10接收时，因为是由指纹计算器22对每个内容流部分进行采样，所以对应的指纹(如FT0、FT1、FT2、FT3、...FTN)得以确定并被输出到指纹数据库24中。每个指纹被用作在指纹数据库24进行搜索以确定相应的时间值的关键字。所述搜索的结果是对应的时间值，所述时间值接着可以被用来调整时钟26。所调整的时钟26随后被用来将脚本输出发生器30与内容呈现进行同步。这样，作为示例，访问具有所确定指纹FT2的内容部分以进行呈现，无论用户对其进行连续访问或随机访问(如快进、重放等)，要在该时间被启动的脚本部分(例如，对应于开始时间T2所示的脚本部分)被脚本输出发生器30访问，并可以被提供给效果控制器34以用于呈现与内容部分的呈现同步的效果。
在图2中，可在接收内容流期间接收商业广告部分，它被示为插入在内容60中。指纹计算器22将依照对内容流所确定的相同方式从所述商业广告部分确定指纹。然而，所述商业广告部分的指纹在指纹数据库24中可能没有相对应的时间值对。因此，对于商业广告部分而言，脚本输出发生器30将不从脚本服务器28检索用于所述商业广告部分的脚本部分。但是，所述商业广告部分将被提供到内容重放设备18(诸如电视)以进行没有脚本部分呈现的内容呈现。这样，当具有所确定指纹FT3的内容部分T3(下面所示的商业广告部分)被访问时，要在该时间被启动的脚本部分(例如，所示的对应于开始时间T3的脚本部分)被脚本输出发生器28检索并可以被提供给效果控制器34，以便呈现与内容部分T3的呈现相同步的效果。
可以通过包括通过广播信道、互连网的分发/传输信道，通过光学媒体(诸如数字通用磁盘(DVD))等来分发内容流12。而脚本流、指纹与时间值对可以由脚本服务器28提供，在一个实施例中，所述脚本服务器28通过与内容流相同的分发系统(诸如通过互连网)来分发脚本流和指纹与时间值对。脚本流和指纹与时间值对可以与内容流一起分发，也可以与内容流分开分发，并且可以由其他源提供，例如为内容提供所设计的脚本的源。例如，内容可以由诸如电视信道之类的广播信道提供，所述广播信道也可以用于分发脚本流和指纹与时间值对。可替换地，当服务器28通过互连网提供脚本流和指纹与时间值对时，可以通过广播信道提供内容。在又另一个实施例中，服务器28可以仅仅是包含脚本流和指纹与时间值对的DVD。该DVD可以被本地DVD播放器或用户本地的支持媒体功能的个人计算机所访问。依照本系统，不论怎样接收内容流、脚本流、和指纹与时间值对，本系统都能够与脚本流同步播放内容流。
在示例性的实施例中，预定义脚本和指纹与时间值对可以由脚本服务器28提供。指纹与时间值对存储在指纹数据库24中。脚本流用于驱动效果控制器34。依照本系统的脚本流具有如下优点：由于脚本流不必唯一基于内容资料，而是可以基于专业脚本设计者的艺术创造力，所以它们能够比实时内容分析支持更高级的效果。
应当清楚地理解的是，由脚本流所控制的效果可以涉及声音、温度、风、振动等，仅受限于设计者的想象和用户可用的效果设备。按照本系统，在脚本流控制之下，由效果控制器34将适当的效果与内容流同步地呈现。没有进一步示出，效果控制器34可以为适当的效果产生设备提供控制信号。
可以在内容流12的源和内容呈现设备18之间使用适当的内容缓冲器设备16。缓冲器设备16可以被用于调整内容或脚本呈现的时间以与脚本呈现时间一致，所述脚本呈现时间会由于与指纹确定、指纹数据库访问和脚本处理相关的处理延迟而有所延迟。必要时，脚本输出发生器30可以输出调整信号38以调整内容缓冲器16的延迟。
在指纹数据库中没有指纹与所确定的指纹相对应的情况下(诸如当检测到商业广告部分时)，系统可以进入没有感官效果的模式，如产生光效果，或者感官效果可以基于内容部分的本地实时内容分析。
使用所确定的指纹访问指纹数据库以识别对应的时间值还具有一个好处，即一个脚本流可以被用于内容的多个部分不同的版本。例如，当内容的另一个被编辑的版本有些部分被删除时，所述内容的一个版本可以是完整的版本。为所述完整版本建立的脚本流仍然可以适当地用于被编辑的版本，但是本系统只是不访问对应于被删除内容的脚本部分。
本系统还使得能够呈现要与内容同步传送的多个潜在脚本之一。例如，所传送的内容可以具有包含在内容传送中的基本脚本。该脚本可以按照此处所描述的进行操作。然而，可以通过分离的信道得到和/或通过付费得到增强的脚本(例如，具有附加和/或增强效果的脚本)。按照本系统，不管怎样和在哪里得到和/或传送该附加脚本，还可以与内容同步呈现该附加脚本而不是基本脚本。
另外，选择脚本用于与内容相对应可以任凭用户进行选择。在一个实施例中，由于指纹可以被唯一地确定，如可以利用哈希函数建立，因此从内容部分所确定的指纹还可以被脚本输出发生器用来识别内容(内容ID)。这样，脚本输出发生器可以利用内容ID从潜在的多个脚本中识别在脚本服务器20中可用的对应脚本，所述多个脚本中的一些可以与其他内容相对应。响应于内容ID，本系统可以为用户提供选项来潜在地从多个脚本(例如，基本脚本、额外脚本等)中选择和/或购买可从脚本服务器获得并与所述内容对应的脚本。此外，内容ID可以简单地被用来方便访问和搜索指纹数据库。在另一个实施例中，内容ID可以被例如广播设备或其他内容创造者嵌入到内容中。例如，可以利用水印将内容ID嵌入到内容流中，所述水印是可以被检测到的，但在内容流的消费中一般不会被用户所察觉。由此可以如上所述使用内容ID。
另外，可以将商业广告部分与其他内容部分相同对待。这样，效果可以与商业广告部分同步呈现以增强商业广告部分的呈现。
为了加快指纹数据库24的搜索，在一个实施例中，如果发现一对相邻的指纹是相同内容中的一部分，则系统可以使用该信息来缩小/限制在数据库中对于随后时间值的搜索。在进一步的实施例中，随后的指纹可以以这样的方式存储在指纹数据库以使得如指纹数据库的访问特征所确定的那样加速连续访问。
在另一个实施例中，在从内容流误算了指纹的情况下，诸如由于内容流中的伪像而发生的，下一时间值(例如，先前所识别指纹的时间值之后的时间值)可以被插入到脚本输出发生器中。在指纹丢失的情况下，比如如果从内容流的关键帧中确定指纹而关键帧被指纹计算器22丢失，下一时间值也可以被插入到脚本输出发生器中。在这些实施例中，时间值可以以便于识别和访问下一时间值的方式存储在指纹数据库24中。
虽然指纹数据库24已经被说明性地描述为存储指纹与时间值对，但是也可以适当地使用用于访问与指纹关联的时间值的其它配置。例如，在一个实施例中，可以以与地址对应的方式来确定指纹。例如，这可以通过利用如哈希函数确定由预定位数所表示的唯一地址来确定指纹的方式来完成，所述位数可用于直接访问指纹数据库，例如作为指纹数据库的寻址位。在这个实施例中，对应的时间值被存储在所述唯一地址所访问的存储器位置。
在另一个实施例中，指纹可以被直接用于识别脚本流的各部分。这样，不需要数据库，并且指纹自身可以用来决定要发送到效果控制器的脚本部分。例如，对应于指纹的脚本部分可以存储在能够被指纹访问的存储器位置。在其他实施例中，脚本部分可以以其他方式直接与指纹相关联。
本系统可以用于脚本流、音频流等与内容流(例如，音频、视频)的同步以增强用户的体验。本系统可以用于各种呈现设备中，包括用于光或其它增强可以耦合到其它感官信息流的音频、视频、音/视频和文本呈现设备。虽然示意性地使用术语脚本流来说明，但本领域普通技术人员很容易明白，其他脚本部分或类型也同样适用，如脚本文件和通用数据。
在一些实施例中，时间值可以仅仅被偶尔计算一次，并且其中该时间值被用于调整时钟。在该实施例中，所述时钟的时钟运行(tick)在脚本流的末端触发部分。这样，即使在某些时间没有检索到时间值(例如，这可能由于系统的处理器负载，或丢失/误算指纹)该系统也能够继续产生效果，。
这些实施例也应当被理解为处于本权利要求的范围之内。
在解释附加的权利要求时，应该理解：
a)词语“包括”不排除存在给定权利要求中列举的之外的元件或操作；
b)元件之前的词语“一个”不排除存在多个这样的元件；
c)权利要求中的任何附图标记都不限制其范围；
d)几个“装置”可以由同样的项目或硬件或软件所实现的结构或功能来表示。
e)所公开的任何元件可以由硬件部分(例如，包括分立和集成电子电路)、软件部分(例如，计算机程序)及其任意结合所组成；
f)硬件部分可以由模拟和数字部分之一或其二者组成；
g)除非另外明确说明，所公开的任何设备或其部分都可以组合在一起或进一步分成几部分；和
h)除非特别说明，预定将不要求操作或步骤具有特定的顺序。

Claims (17)

1.一种用于在多媒体系统中对内容流(60)和脚本(50)进行同步以输出一个或多个感官效果的方法，所述方法包括操作：
从所述内容流的一部分计算(22)指纹；
确定(24)与所述指纹相对应的时间值；
将与所述时间值相对应的脚本(32)和内容流(14)的所述部分进行同步，所述脚本(50)表示要在效果信号(32)中输出到效果控制器(34)的一个或多个感官效果。
2.如权利要求1所述的方法，包括操作：将内容流(60)的所述部分传送到内容呈现设备(18)以和所述脚本(32)同步呈现。
3.如权利要求2所述的方法，包括操作：延迟所述内容流(60)的传送，直到脚本(50)准备好被呈现。
4.如权利要求2所述的方法，包括操作：延迟或转发脚本(50)，直到内容流(60)准备好被呈现。
5.如权利要求2所述的方法，包括操作：
如果没有时间值与指纹相关联，则分析内容流(60)的所述部分；和
基于内容流(60)所分析的部分提供一个或多个感官效果。
6.如权利要求1所述的方法，包括操作：
确定与指纹相关联的脚本标识符；和
从脚本服务器(28)检索所述脚本(50)。
7.如权利要求1所述的方法，其中，对于每个内容流(60)具有多个可用的脚本(50)，所述方法包括操作：选择所述多个可用脚本中的一个用于检索。
8.如权利要求1所述的方法，包括操作：为用户提供选项以选择多个可用脚本中的一个用于检索。
9.一种用于在多媒体系统中对所接收到的内容流(12)和脚本进行同步以输出一个或多个感官效果的接收器，所述接收器包括：
用于从所述内容流的一部分计算指纹的装置(22)；
用于确定与所述指纹相对应的时间值的装置(24)；
用于将与所述时间值相对应的脚本(50)和内容流(60)的所述部分进行同步的装置，所述脚本(50)表示要在效果信号(32)中输出到效果控制器(34)的一个或多个感官效果。
10.如权利要求9所述的接收器，其中，如果没有时间值与所述指纹相对应，则用于同步脚本(30)的装置被配置为不提供脚本。
11.如权利要求9所述的接收器，其中，如果没有时间值与所述指纹相对应，则用于同步脚本(30)的装置被配置为分析内容流(60)的所述部分并且基于所述内容流(60)的所分析部分提供脚本。
12.如权利要求9所述的接收器，包括：
用于确定与所述指纹相对应的脚本标识符(24)的装置；和
用于检索与所述脚本标识符相对应的脚本(30)的装置。
13.如权利要求9所述的接收器，其中，对于每个内容流(60)具有多个可用脚本，并且其中用于同步脚本(30)的装置被配置为选择所述多个可用脚本中的一个用于检索。
14.如权利要求9所述的接收器，其中，对于每个内容流(12)具有多个可用脚本(50)，并且其中用于同步脚本(30)的装置被配置为向用户提供选项以选择所述多个可用脚本中的一个用于检索。
15.如权利要求9所述的接收器，其中，用于同步脚本(30)的装置被配置为提供向外输出以控制从光线、声音、振动、温度、风和气味的组中所选择的一个或多个感官效果。
16.如权利要求9所述的接收器，其中，脚本同步装置(30)被配置为从脚本服务器(28)检索所述脚本。
17.如权利要求9所述的接收器，包括指纹数据库(24)，其被配置为存储时间值，其中用于确定时间值的装置(22)被配置为从所述指纹数据库(24)检索时间值。
CN2006800486511A 2005-12-23 2006-12-13 使用从内容流确定的指纹进行脚本同步 Expired - Fee Related CN101427580B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05112887.4 2005-12-23
EP05112887 2005-12-23
PCT/IB2006/054809 WO2007072326A2 (en) 2005-12-23 2006-12-13 Script synchronization using fingerprints determined from a content stream

Publications (2)

Publication Number Publication Date
CN101427580A true CN101427580A (zh) 2009-05-06
CN101427580B CN101427580B (zh) 2011-08-24

Family

ID=38016492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800486511A Expired - Fee Related CN101427580B (zh) 2005-12-23 2006-12-13 使用从内容流确定的指纹进行脚本同步

Country Status (7)

Country Link
US (1) US20080263620A1 (zh)
EP (1) EP1967005B1 (zh)
JP (1) JP2009521169A (zh)
CN (1) CN101427580B (zh)
AT (1) ATE457112T1 (zh)
DE (1) DE602006012123D1 (zh)
WO (1) WO2007072326A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737678A (zh) * 2011-04-12 2012-10-17 上海广茂达光艺科技股份有限公司 一种灯光场景多媒体文件格式及其存储、同步播放方法
CN103257620A (zh) * 2012-02-20 2013-08-21 Cj4Dplex有限公司 利用了影像与摇摆之间时间同步的摇摆控制系统及其方法
CN107066860A (zh) * 2017-03-16 2017-08-18 广东欧珀移动通信有限公司 一种指纹识别方法及移动终端
WO2018095003A1 (zh) * 2016-11-22 2018-05-31 包磊 多媒体数据的实时传输方法及装置
CN108290289A (zh) * 2015-11-16 2018-07-17 迪宝克技术公司 用于使振动运动效果与虚拟现实会话同步的方法和系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008140704A1 (en) 2007-05-10 2008-11-20 Thomson Licensing Fault detection using embedded watermarks
US20100225810A1 (en) * 2007-07-06 2010-09-09 Ambx Uk Limited Method for synchronizing a content stream and a script for outputting one or more sensory effects in a multimedia system
US7822732B2 (en) * 2007-08-13 2010-10-26 Chandra Bodapati Method and system to enable domain specific search
GB2467075B (en) * 2007-11-14 2012-07-04 Ambx Uk Ltd Pause/stop detection
WO2009112803A1 (en) * 2008-03-14 2009-09-17 Ambx Uk Limited Processing a sequence of frames
WO2010035156A2 (en) * 2008-09-26 2010-04-01 Koninklijke Philips Electronics N.V. Methods and devices for communications between two devices
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
JP2012524452A (ja) * 2009-04-15 2012-10-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
WO2010127268A1 (en) * 2009-05-01 2010-11-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US9094714B2 (en) 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US8769584B2 (en) 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US9615140B1 (en) 2010-05-27 2017-04-04 Edward Malinowski Method and device for delivery of subtitle synchronized with a media stream
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US10515523B2 (en) 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
CA2841802C (en) 2010-07-21 2018-08-28 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
RU2594000C2 (ru) 2011-08-05 2016-08-10 Сони Корпорейшн Приемное устройство, способ приема, носитель записи и система обработки информации
US8924345B2 (en) 2011-09-26 2014-12-30 Adobe Systems Incorporated Clustering and synchronizing content
US9292894B2 (en) * 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
US8874924B2 (en) * 2012-11-07 2014-10-28 The Nielsen Company (Us), Llc Methods and apparatus to identify media
JP6360281B2 (ja) * 2013-01-07 2018-07-18 日本放送協会 同期情報生成装置およびそのプログラム、同期データ再生装置およびそのプログラム
WO2015039891A1 (en) * 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
ES2796873T3 (es) 2013-09-20 2020-11-30 Koninklijke Kpn Nv Correlacionar información de línea de tiempo entre flujos de medios
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10075757B2 (en) * 2014-09-19 2018-09-11 Foundation Partners Group, Llc Multi-sensory environment room
CN108337925B (zh) 2015-01-30 2024-02-27 构造数据有限责任公司 用于识别视频片段以及显示从替代源和/或在替代设备上观看的选项的方法
EP4375952A3 (en) 2015-04-17 2024-06-19 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
CA2992529C (en) 2015-07-16 2022-02-15 Inscape Data, Inc. Prediction of future views of video segments to optimize system resource utilization
CA2992519C (en) 2015-07-16 2024-04-02 Inscape Data, Inc. Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
CA2992319C (en) 2015-07-16 2023-11-21 Inscape Data, Inc. Detection of common media segments
AU2018250286C1 (en) 2017-04-06 2022-06-02 Inscape Data, Inc. Systems and methods for improving accuracy of device maps using media viewing data
WO2019052985A1 (en) 2017-09-18 2019-03-21 Signify Holding B.V. METHOD AND SYSTEM FOR CREATING A LIGHT SCRIPT FOR A VIDEO
JP7362649B2 (ja) * 2017-12-22 2023-10-17 ネイティブウェーブス ゲーエムベーハー 追加信号を一次信号に同期させる方法
EP4046387A4 (en) * 2019-10-17 2023-11-15 D-Box Technologies Inc. METHOD AND SYSTEM FOR SYNCHRONIZING A VIEWER EFFECT SIGNAL OF MULTIMEDIA CONTENT WITH A MULTIMEDIA SIGNAL OF THE MULTIMEDIA CONTENT

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960004813B1 (ko) * 1992-10-06 1996-04-13 엘지전자주식회사 향기 발생용 티브이(tv) 방송 송수신 장치
US5949522A (en) * 1996-07-03 1999-09-07 Manne; Joseph S. Multimedia linked scent delivery system
US6024783A (en) * 1998-06-09 2000-02-15 International Business Machines Corporation Aroma sensory stimulation in multimedia
US6628204B1 (en) * 1998-06-23 2003-09-30 Ito Engineering Inc. Odor communication system in multimedia
WO2001042852A1 (en) * 1999-12-07 2001-06-14 Schermerhorn James G Olfactory special effects system
US6642966B1 (en) * 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
DE10064624A1 (de) * 2000-12-22 2002-06-27 Ruetz Stefan Verfahren und Vorrichtung zur Ausbringung von Düften
US6996273B2 (en) * 2001-04-24 2006-02-07 Microsoft Corporation Robust recognizer of perceptually similar content
GB0111431D0 (en) * 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
US7020304B2 (en) * 2002-01-22 2006-03-28 Digimarc Corporation Digital watermarking and fingerprinting including synchronization, layering, version control, and compressed embedding
JP2005523612A (ja) * 2002-04-22 2005-08-04 インテロシティ ユーエスエー，インコーポレイテッド データ受信器と制御装置の方法及び装置
GB0211897D0 (en) * 2002-05-23 2002-07-03 Koninkl Philips Electronics Nv Dynamic markup language
WO2005006758A1 (en) * 2003-07-11 2005-01-20 Koninklijke Philips Electronics N.V. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
CN100596208C (zh) * 2004-01-06 2010-03-24 皇家飞利浦电子股份有限公司 环境光脚本命令编码和动态控制环境光源的方法
JP2005229153A (ja) * 2004-02-10 2005-08-25 Sony Corp 調光システムおよび調光方法、配信装置および配信方法、受信装置および受信方法、記録装置および記録方法、ならびに、再生装置および再生方法
US20050226601A1 (en) * 2004-04-08 2005-10-13 Alon Cohen Device, system and method for synchronizing an effect to a media presentation
US20050278772A1 (en) * 2004-06-01 2005-12-15 Tetsuya Hiramoto Program effect creating device, a receiving device, a program effect creating program, and a computer-readable recording medium
GB2420465B (en) * 2004-11-17 2006-10-11 Richard Gillon The smelly-vision
US7948557B2 (en) * 2005-06-22 2011-05-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a control signal for a film event system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737678A (zh) * 2011-04-12 2012-10-17 上海广茂达光艺科技股份有限公司 一种灯光场景多媒体文件格式及其存储、同步播放方法
CN102737678B (zh) * 2011-04-12 2016-12-07 上海广茂达光艺科技股份有限公司 一种灯光场景多媒体文件格式及其存储、同步播放方法
CN103257620A (zh) * 2012-02-20 2013-08-21 Cj4Dplex有限公司 利用了影像与摇摆之间时间同步的摇摆控制系统及其方法
CN103257620B (zh) * 2012-02-20 2016-03-16 Cj4Dplex有限公司 利用了影像与摇摆之间时间同步的摇摆控制系统及其方法
CN108290289A (zh) * 2015-11-16 2018-07-17 迪宝克技术公司 用于使振动运动效果与虚拟现实会话同步的方法和系统
CN108290289B (zh) * 2015-11-16 2022-02-25 迪宝克技术公司 用于使振动运动效果与虚拟现实会话同步的方法和系统
WO2018095003A1 (zh) * 2016-11-22 2018-05-31 包磊 多媒体数据的实时传输方法及装置
CN107066860A (zh) * 2017-03-16 2017-08-18 广东欧珀移动通信有限公司 一种指纹识别方法及移动终端
CN107066860B (zh) * 2017-03-16 2019-08-30 Oppo广东移动通信有限公司 一种指纹识别方法及移动终端

Also Published As

Publication number Publication date
EP1967005B1 (en) 2010-02-03
JP2009521169A (ja) 2009-05-28
CN101427580B (zh) 2011-08-24
DE602006012123D1 (de) 2010-03-25
EP1967005A2 (en) 2008-09-10
WO2007072326A3 (en) 2007-09-27
WO2007072326A2 (en) 2007-06-28
ATE457112T1 (de) 2010-02-15
US20080263620A1 (en) 2008-10-23

Similar Documents

Publication Publication Date Title
CN101427580B (zh) 使用从内容流确定的指纹进行脚本同步
US20080297654A1 (en) Script Synchronization By Watermarking
US9066114B2 (en) Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
JP5145032B2 (ja) 放送コンテンツと対応するネットワークコンテンツとの同期化
US7000245B1 (en) System and method for recording pushed data
US20090083029A1 (en) Retrieving apparatus, retrieving method, and computer program product
CN110024412A (zh) 一种视频直播的方法、装置和系统
JP5919325B2 (ja) コメント表示装置、コメント配信装置、コメント表示システム、コメント表示方法及びプログラム
KR20070001240A (ko) 실행중인 방송 또는 저장 콘텐츠를 캐치-업하기 위한 방법및 장치
JP2006523418A (ja) インタラクティブコンテンツ同期化装置及び方法
KR20050086942A (ko) 오디오 신호의 증대 방법 및 시스템
US20070011279A1 (en) System and method for providing and displaying multimedia content in correlation with music files in an audio disc
US20090083227A1 (en) Retrieving apparatus, retrieving method, and computer program product
KR100908144B1 (ko) 멀티미디어 편집/재생 시스템 및 그 동작방법
US20030072558A1 (en) Method and apparatus for reproducing television broadcast program digest
CN102486779A (zh) 字幕生成方法及播放器
CN117319765A (zh) 视频处理方法、装置、计算设备及计算机存储介质
KR101520788B1 (ko) 동영상 동기화 재생 방법
KR20010110946A (ko) 멀티미디어 파일에 확장 컨텐츠를 삽입·재생하는 방법 및시스템
JP2010140428A (ja) コンテンツ制作サーバ及びコンテンツ制作プログラム
US9084011B2 (en) Method for advertising based on audio/video content and method for creating an audio/video playback application
JP2009065416A (ja) 動画抽出システム
KR20070098395A (ko) 미디어 파일 포맷, 미디어 파일 재생 방법, 및 미디어 파일재생 장치
JP2009194598A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP5284007B2 (ja) 再生装置、再生方法およびコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110824

Termination date: 20131213