CN100379294C - 视听节目同步系统和方法 - Google Patents

视听节目同步系统和方法 Download PDF

Info

Publication number
CN100379294C
CN100379294C CNB038152657A CN03815265A CN100379294C CN 100379294 C CN100379294 C CN 100379294C CN B038152657 A CNB038152657 A CN B038152657A CN 03815265 A CN03815265 A CN 03815265A CN 100379294 C CN100379294 C CN 100379294C
Authority
CN
China
Prior art keywords
audiovisual material
recognition
content
recognition element
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038152657A
Other languages
English (en)
Other versions
CN1666533A (zh
Inventor
劳伦特·勒塞内
弗雷德里克·帕斯奎尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN1666533A publication Critical patent/CN1666533A/zh
Application granted granted Critical
Publication of CN100379294C publication Critical patent/CN100379294C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/16—Arrangements for broadcast or for distribution of identical information repeatedly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/38—Arrangements for distribution where lower stations, e.g. receivers, interact with the broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronizing For Television (AREA)

Abstract

一种视听节目同步系统和方法。该同步系统包括：指定单元，用于指定和视听节目相关联的同步信号，该视听节目包括视听内容和控制信息；识别单元，用于通过识别视听内容的至少一个提取部分，来在通过广播网络传输的、携带该视听节目的流中，识别这些同步信号；以及启动单元，在检测这些信号的情况下，该启动单元触发一个动作。指定单元制备识别元素，并把识别元素传输给识别单元，识别元素使获得该提取部分成为可能，该识别元素包括用于从由识别单元先前通过广播网络收到的视听节目的至少一个流中提取内容的部分的指令。在变型中，可以和指定单元无关地，获得识别元素。应用于交互式电视和自动记录。

Description

视听节目同步系统和方法
技术领域
本发明涉及用于视听节目的同步系统和方法，以及相关的设备和方法。本发明尤其涉及用于识别和指定同步信号的单元和方法。
背景技术
交互式电视允许观众在传输期间作出动作。因此，他能够和交互式服务进行交互作用。为此，大量销售的交互式终端被连接到双重通信网络上：
点对点型的双向网络(调制解调器返回路径、电缆等)，尤其是例如电话网，该双向网络实现一个或多个点对点服务器，以及
单向分布网络，尤其是例如地面网、电缆或卫星电视传输网，该单向分布网络实现一个或多个广播服务器；措辞“广播”被理解成，表示把相同数据传输给一组目的地，与该传输是通过无线电广播、通过电缆还是通过因特网来执行的无关。
所考虑的终端包括，例如电视接收机、DVB(数字视频广播)解码器或因特网解码器。一般，经由单向网络、通过广播把交互式服务下载到终端中。换句话说，交互式服务由可以通过电话网访问的服务器来主持。然后，通过作为视听节目的附加物被传输的参考地址或环球网地址(也被称为URL(通用资源定位符)或通用地址)，来访问这些服务。它们确定终端应该寻址到哪个服务器，以及确定要在该服务器上调用的服务。然后，通过“增强的节目”，来指定与服务或服务的URL同时传输的视听节目。
实际上，周知的交互式电视技术依靠以下的操作。以与视听节目同步的方式、通过广播中心或“广播装置”(单向网络)，来传输来源于服务操作装置的交互式服务。为此，把与该服务有关的数据嵌入该节目所特有的视听信号中。当交互式终端收到这样获得的增强节目时，交互式终端把视听节目(画面和声音)传输到屏幕，并解释交互式服务的数据。然后，交互式终端典型地以视频上重叠的图形或文本显示的形式，同步地放映交互式服务数据和视听节目。
然后，观众能够与交互式服务进行交互作用，这种交互作用有可能导致建立服务器和服务操作装置的连接(双向网络)。
交互式电视的本质方面之一涉及建立和管理节目与交互式服务数据之间的同步。尤其是，一般规定在相关联的视听节目期间、在回路(传送带)中传输交互式内容或其URL。广播装置的两项设备通常用于同步：
通信系统，该通信系统生成包括时间信息(开始时间和结束时间)、对象信息(要驱动的装置)和操作信息(要执行的命令)的事件执行列表(“播放列表”)；以及
自动化系统，该自动化系统管理执行列表，以便驱动和命令广播装置的传输设备(视频服务器、视频记录器、加字幕设备等)。
通信系统使得有可能在明显改变节目的时间组织的情况下，对执行列表进行修改。自动化系统能够在最后一刻的微小变化的情况下重新调整执行列表，并且如果需要随之发生的更多修改，自动化系统能够把执行列表重新送往通信系统。
通过把广播服务器(用作交互式应用的服务器)集成在自动化系统要驱动的装置中，来获得交互式服务和节目之间的同步。假定服务操作装置永久地连接到广播装置的传输服务器，以便被告知已编制的内容的有效传输。这涉及TCP-IP(传输控制协议/网际协议)等类型的链路，可以把特殊应用程序包的层配置在该链路上。在一个方向上，该链路用于根据位于服务操作装置上的管理应用程序来规划传输服务器，在一个方向上，该链路用于向服务操作装置通知，尤其是传输服务器的状态、内容传输的进展和任何事件。
由此，避免了节目的传输和相关联的交互式内容的传输之间的不同步。特别是，如果视听节目被延迟或被提前，则广播装置更新执行列表。这样，所使用的、包括传输服务器的装置在适当的时刻触发。
然而，这种技术需要广播装置的介入，广播装置必须修改其事件执行列表，来考虑与交互式服务的传输有关的事件。而且，需要广播装置与服务操作装置之间的一致，使得它们关于和这种服务的传输有关的命令，同时发生。
已经有各种方法被提出，其中同步信号被插入到视听节目自身中。专利文献WO-01/50764描述了一种利用交互式数字电视传输的计算机的方法，其中与“同步脉冲”序列相对应的服务信号被检测，由此导致多媒体应用程序的下载。在美国专利No.5,818,440中，把交互式应用程序下载到交互式电视网络中，并且一旦检测到被并入视频节目中的应用程序令牌，就自动地启动该应用程序。
这种实施例同样需要服务提供商的传输器的介入，该传输器用来插入适当的同步信号的流，因此这种实施例具有入侵性质。
通过专利文献WO-01/91462中公开的介入方法，来解决这些困难。该在前专利文献描述了一种使已传输的视听节目与补充信息同步的设备。该设备包括用于检测画面和/或声音的组件，该组件能够从当前正在传输的视听节目的内容中提取至少一个语义元素。该设备还包括用于识别这些语义元素的单元，该单元连接到节目指南，该节目指南包括和视听节目相关联的、按时间顺序排序的信息集列表。预先训练的识别单元选择最有可能和这些语义元素相关的信息集。然后合成模块使视听节目与选定的信息集同步。
然而，该发明需要复杂的装置，并需要参考节目指南。
专利申请WO-02/21840提出了一种使客户机与媒体信号同步的方法。根据该方法的一个实施例，接收与视听信号(媒体信号)相对应的一个或多个动作，确定用于执行该动作(例如通过对动作信息的句法分析一或语法分析)的立用程序，并且由该应用程序来触发该动作的启动。在所描述的例子中，操作者定义他分派给服务器的动作，服务器自己通过经由因特网广播，来把该动作传输给客户。一旦收到被分派的动作，就必须执行该动作，或者被分配的动作伴随有时间信息，该时间信息使确定要执行该动作的时刻成为可能。
该方法的缺点在于，它需要较复杂的同步操作，该同步操作或者以操作者在需要时介入的形式，或者以预先制备的形式，该预先制备的形式能够在恰当时机触发分派该动作。
专利文献WO-01/82623公开了，把交互式电视触发消息(“触发器”)自动地插入视听数据的流中。该插入尤其能够基于对诸如数据库中存储的音频/视频样本的、流中的特殊元素的识别。而且，可以在广播流之前或之后，触发该插入。其说明书还提及了标记表的使用，该标记表包括一方面要找到的样本和另一方面交互式元素及关联属性之间的关系，该关联属性是诸如电台号。
然而，这种很灵活的技术预先假定了，预先获取识别元素，该识别元素必须可用于自动插入系统。但是，在前专利文献WO-01/82623没有描述获取这些元素的方式。则设法实施这种获取的本领域技术人员可以设想几种方法。
第一种获取方法将适用于插入广播的上行触发器的情况。操作者将预先观看所关心的节目，选择要识别的重要元素，并把这些元素记录在自动插入系统可以直接访问的库(base)中。然而，这种类型的实施例受限于在广播之前插入触发器，并涉及了操作者和广播装置之间的紧密(tight)通信。
第二种获取方法是，把识别元素记录在诸如盒式磁带、硬盘或DVD(数字通用盘)的便携式存储介质中，然后使自动插入系统的用户可以得到该存储介质。与第一种方法相比，该方法的优点在于，该方法可应用于更广的范围中，并且在理论上不仅能够被广播装置使用，该广播装置不必受益于对操作者所共有的存储资源的直接访问，而且该方法也能够被视频解码器的最终用户使用。然而，该方法把存储介质限制于具体的传输，并且不允许灵活地修改识别元素。因此结果是，其实际应用领域也相当受限。
第三种获取方法是，经由通信网络、通过远程传输，来传输识别元素。该解决方法提供了较大的灵活性，并且使得有可能利用广播的上行和下行自动插入系统，然而，该方法的不利之处在于传输资源需求。实际上，为了有意义，在多数情况下，识别元素都冒着具有较大容量的危险，涉及到视听内容的部分。则识别元素的传输需要较高的带宽成本，这侵占了通信资源。例如，为了在模拟电视环境下传输完整的画面，只有几十k字节/秒的带宽可以利用。
文献WO-01/60061描述了一种用于在为记录预先定义的时刻之前和之后记录节目的技术。为此，根据与要记录的发射的节目相关的视频信号产生一个或者多个‘签名’。对这些签名的处理能够确定要被记录的节目的开始和结束。可以依据下面描述的两种具体实施例来使用这些签名，其中这两种具体的实施例可以相关联。
在第一实施例中，用户定义或者获得一个或者多个参考元素(elements)，然后将该参考元素与接收的视频信号的签名相比较。当签名与元素一致时，触发记录或者停止记录。在第二实施例中，周期地计算并变更接收的视频信号的签名。当观察到签名的变化时，就可以推断节目出现了变更，因此触发记录或者停止记录。
鉴于要预先获得识另元素，第一实施例导致出现了上述的困难。另一方面，第二实施例需要实时对签名进行周期的计算，从而在复杂度和计算成本方面有局限性。而且，考虑到决定触发记录的开始或者结束的签名不匹配的问题时，这种技术不可避免地需要不确定的裕量。
发明内容
本发明涉及一种使视听节目和交互式服务同步的系统和方法，该系统和方法能够使关于广播装置和服务操作装置的完全非入侵性成为可能，同时允许简单和可靠的实施，并避免了求助于节目指南。本发明的系统和方法使大量应用成为可能，使得可以灵活地修改节目广播的上行和下行传输，以及没有牺牲通信带宽方面的资源。
本发明的同步系统和方法也适用于与视听节目有关的其它类型同步，尤其是电影或传输的自动记录，或视听节目内容的自动替代(例如，用户能够借助子从几个传输资源中的选择，来预先决定用另一类节目代替某一类节目的屏幕)。更甚者，它们也涉及无线电广播。随后并为简明起见，在本发明的定义中包括，表达式“视听节目”包含音频和/或视频节目。
本发明的主题也是用于指定和识别同步信号的单元和方法，该单元和方法，该单元和方法可用于本发明的同步系统，并且能够提供上述优点。
本发明也包括广播中心(广播装置)，服务操作装置，用于接收视听节目的终端(交互式的或非交互式的)，和软件，该广播中心、服务操作装置、终端和软件与本发明的上述主题的至少之一相关联。
为此，本发明的主题是识别单元，该识别单元用于在收到的至少一个视听节目中识别同步信号，所述视听节目包括预期要传输给用户的视听内容(也就是以视觉或听觉形式实施的)和控制信息。
因此，本发明的识别单元能够在不对视听节目进行任何修改的情况下，通过直接分析传输给用户的视听内容(例如画面、声音、声音的部分或它们的组合)，来检测同步信号。因此，和介入事件执行列表的入侵过程相比，不需要修改这些列表。这样，尤其降低了与视听节目不一致地传输交互式服务的风险。特别是，由于识别涉及内容，因此发生错误的可能性小，而对于以上过程，由于对识别实体的操作，以及第三方提供了无法被服务操作装置证实的信息(节目的标识符)，使得这些风险大大增加了。
而且，与依靠对并入已传输视听节目的流中的特定检测信号的识别的技术对比，不需要对携带这些节目的信号采取动作。
更甚者，相对于在专利申请WO-01/91462中公开的技术，识别元素预先被传送给识别单元，由此使得有可能避免求助于和节目指南关联的复杂识别技术。
而且，本发明的识别单元和在前专利文献WO-01/82623的教导的不同之处在于，获得识别元素的方式。虽然该文献没有提到要实施的获取手段，并且虽然本领域技术人员将采用上述解决方法之一，但是本发明的识别单元能够通过广播网络预先传输视听节目。然后，用于接收已传输的流的模块被用作用于接收识别元素的模块的一部分。
因此，要传输的、特别是供获取视听内容的部分之用的信息，可以被简化为和提取这些部分的程序有关的补充数据(频道、日期、数据类型等)。因此，识别单元能够聚集大范围的应用、灵活性和小量的所需带宽。
然而，本发明的实施预先假定，在要被锁定同步的节目之前，在视听节目中传输所使用的内容部分。看上去具有相当限制性的该约束实际上在绝大多数情况下都是可证实的。特别是，尤其可以从周期传输的传输片头或连续剧片头、或者广告模式(例如广告标语)中，提取内容部分。此外，要记录的画面或声音的获取时刻的精确性一般不是最重要的。事实上，在上述的通常情况下，需要附加一个确定的序列，该序列具有能够进行触发的任何提取部分。
而且，本发明的识别单元有利地包括超时设定能力(以下描述)，该超时设定能力使得，有可能在检测节目中的内容部分的时刻之后的预定持续时间之后，触发动作。因此，在可以设定该传输的确定初始时刻的范围内(或者在该传输之前的更早时刻)，该传输的无论任何时刻都可以形成同步化操作的主题。
关于似乎在逻辑上比较适用于获取识别元素的周知技术和方法，利用先前通过广播网络传输的节目显得尤其令人吃惊。人们实际上将期望，可以以特定的和分组的方式，来获得为检测同步信号所需的整个信息集，包括要识别的内容部分。相反，在此不传送内容的部分，或者不能显式地、专门地访问内容的部分，而是通过并非专用于同步的传输，来顺便地、隐含地访问内容的部分。
在识别单元的定义中，如同本申请的其余部分中一样，应该在功能的意义上来理解“单元”和“模块”，因此“单元”和“模块”不限于特定实施例。因而，尤其是可以把“单元”和“模块”集中到一个和相同部件或一个和相同软件中，或者相反，可以把“单元”和“模块”分配到各个部件中。此外，可以把识别单元安装在传输方(典型地在广播装置中)、服务操作装置方，或者以嵌入的形式安装在用于接收视听节目的、优选地为交互式的终端中。
收到的识别元素和/或提取的部分可以应用于同时或接连传输的一个或多个节目。例如，节目按时地、周期性地发生，获取画面仅仅一次，就足以有效地对同步进行编制。
根据识别单元所使用的、用于给定类型的检测的提取指令的各个程序：
指令和完整画面有关，必须据此来执行检测；
指令和子画面有关；则识别元素包含要检测的区域的坐标；在存储器和检测所需的处理时间两方面，该解决方法所需的资源都比前一种方法少；
指令和一组画面或一组画面部分有关；例如，动作的触发取决于组的所有实体的检测，或者相反，取决于组的实体的至少之一的检测；
指令和在确定的持续时间内传输的一组声音有关。
一般，内容的每一个部分优选地包括以下部分的至少之一：画面，声音，以及这些部分的至少两个的任何组合。
优选地，用于接收识别元素的模块被设计成接收触发消息(触发器)，并且记录模块被设计成，一旦收到所述触发消息就提取并记录先前收到的流的部分。这种触发器的使用尤其有效，并且易于实施。而且，触发器有利地是特定类型的触发消息，指示要提取的内容部分的类型和预期的频道。在变型中，该信息已经预先被分派。如上所指示，一般不需要这种部分记录的同步的高精确性。
根据识别单元的改进实施例，用于接收识别元素的模块也被设计成，在识别元素之中接收提取部分的至少一个标识符，并且检测模块能够从存储空间检索先前记录的、与所述标识符相关联的提取部分，以便在收到的视听节目的内容中识别该提取部分。
尤其是，该实施例尤其是使得有可能，在曾经已完成获取该部分的初始步骤之后，避免多个提取操作(节约本地资源)或一个和相同提取部分的多个传输操作(节约带宽)。而且，包括单独使用提取部分的情况，该实施例使得有可能预期随后的识别指令。特别是，有可能碰巧，相对于检测有意义的序列在节目中被传输，而还没有精确地建立随后将要进行的精确使用(例如，还不知道关于交互性的利用过程)。
指定记录的部分的应用的识别元素包括，尤其诸如时隙的识别数据，传输频道和/或布尔算子，有可能伴有动作信息和/或超时信息。从而，有利地在至少两个连续步骤中，获得完整的识别元素：用于提取内容的部分的指令，接着是用于利用这些部分的指令(在接收利用指令期间可能已经获得这些部分，或者可能还没有获得这些部分)。
以具有部分标识符的该实施例的特殊形式，接收和记录模块能够接收并存储可用于几种不同类型检测的提取部分。然后，通过可以被各种类型检测利用的一对一的部分标识符，来指定每个部分或部分的组。检测类型的这种多样性能够以简单的方式，一次同时提供同步操作的灵活性和复杂性。
有利地，用于接收识别元素的模块也能够直接在识别元素之中接收提取的部分，并且记录模块被设计成，把该提取部分记录在存储空间中。
当不可能预先从已传输的节目进行提取时，用替换解决方法，来结合可能花费带宽的该功能性。特别是，在某些情况下，没有证实有可能预先识别任何已传输的节目，考虑到期望的后面检测，将有可能从该已传输的节目提取适当的模式。该选项的存在提供了非常有利的全局系统，通过其自己的能力来包含所有的情况的集合，同时保持(对于许多这些情况)所需带宽的相当可观的减少。
如果在终端中实施例识别单元，或者更一般地，把大规模通信网络的下行传输设计成支持提取部分的传输，则结合的后面这些优点是尤其有益的。
根据优选实施例，识别单元集合了上述的三种类型的获取内容部分的能力：
根据识别元素中包括的提取指令，从由流接收模块先前收到的视听节目的至少一个流中提取内容的部分；
把识别元素中包括的内容部分直接传输给识别单元；有利地，由特定单元(诸如以下定义的“指定单元”)来传输提取的部分；以及
根据识别元素中包括的提取部分标识符，在存储空间中检索内容部分。
优选地，识别单元也包括，在传输模块的动作指令的分派之前的超时模块。
当在视听节目中检测到同步信号时，超时模块在动作指令的传输之前，引入延迟。该延迟的使用尤其有益，它使得有可能把同步锁定到预期的事件上，然后计量该同步和一个或多个合适时刻之间的时间不匹配，以便在这些时刻触发要同步的动作。而且，延迟的利用非常有利于，根据先前传输的节目来获取内容部分。特别是，它使得有可能锁定被设计成要在连续传输期间重复的序列，诸如片头。
因而，尤其是，在实况传输之前一般有广告，乃至实况传输不时地被广告打断，有可能把检测锁定到在广告标语结尾的片头(先前根据早一些的传输记录的)，以及有可能调节超时，使得在传输开始之后，使交互式服务显示例如10分钟(为说明起见，发起人宣告与他的电视机交互作用的可能性所花的时间)。
该技术可能尤其允许服务操作装置来管理同步操作，包括关于实况传输的传输，而不必请求电台把要成为主动方的传输传送给这些操作。实际上，对于电台而言，足以提供获得诸如广告标语画面的样本的方式，以及用于触发诸如交互性显现的期望动作的近似定时。该实施例尤其允许交互式服务与视听节目的传输同步，该视听节目被设计为没有任何交互性的先验知识。
对于同步元素的给定检测，有可能对应定义连续时刻的几个超时。则超时和传输模块能够把检测时刻用作参考时间，超时模块根据该参考时间来确定用于触发动作指令的分派的几个时刻。在复杂的型式中，超时模块能够把比单一检测时刻更复杂的信息和预先定义的持续时间结合起来，来确定这些触发时刻。这种信息尤其可以包括：
几个检测时刻(例如两个检测时刻用于指定至少三个用于触发指令分派的时刻)；
算子(operator)，该算子和检测的同步信号有关(例如，截然不同的提取部分分别和各组延迟相关联)；
检测时隙(例如，如果在后面的时隙期间执行检测，则延迟更短)；
或者以上信息的任何组合。
优选地，识别单元中的用于接收识别元素的模块和用于记录识别元素的模块被设计成，也分别接收和记录至少一个超时延迟，并且超时模块被设计成使用该延迟。根据其它实施例，延迟被预先定义，或者由用户在本地确定。
有利地，用于接收识别元素的模块、用于记录识别元素的模块和用于传输动作指令的模块被设计成，分别接收、记录和传输与要触发的动作有关的标识符。因此，一次地同时指定识别判据和要执行的动作。
在动作标识符传送的优选形式下，识别元素和动作标识符以成对的形式连带地被接收，每一对包括一组识别元素和关联的动作标识符。
在另一些实施例中，动作标识符被分别接收，并被应用于随后利用连续传输的识别元素执行的所有检测。在其它实施例中，预先定义要触发的操作，或者由用户和识别操作无关地决定要触发的操作。
在识别元素的第一有利形式下，识别元素包括至少一个布尔算子。检测模块被设计成，检测内容的至少两个部分连同布尔算子(诸如，尤其是“与”或“或”)，并且传输模块被设计成，在这种检测的情况下传输动作指令。
例如，以以下方式来组合和动作标识符关联的识别：
如果(画面1检测“与”画面2检测)，则触发动作1，
如果(画面3检测“或”画面4检测)，则触发动作2。
在识别元素的第二有利形式下，识别元素包括至少一个时间信息项。则检测模块被设计成，检测内容的部分连同该时间信息项，并且传输模块被设计成，在这种检测的情况下传输动作指令。优选地，该时间信息项包括从检测日期和检测时隙中选择的至少一个信息项。
例如，把内容部分的检测和当前日期的测试相结合：
如果(画面1检测“与”画面2检测)，则触发服务1，
如果(画面3检测“与”current_data()＝＝06092002)，则触发记录。
携带时间信息的识别元素的尤其有益实施例涉及，界定内容部分的检测的启动周期。
例如，为每个检测指出检测开始日期/时间和结束日期/时间，由此使得有可能，为收到的每个识别元素限制要执行的比较次数。该技术尤其有益于交互式服务的传输。特别是，一般知道，视听节目的传输时间在几分钟内，并且同时一次只传输单一服务，使得在给定时刻编制单一检测，足以触发该服务的传输。
根据其它特征(有利地组合)：
在根据提取指令获取部分之后，立即开始搜索，并且在识别元素中所指示的某一日期停止搜索；
在开始触发器的作用下开始搜索，并且在结束触发器的作用下停止搜索，这些开始和结束触发器优选地借助于至少一个提取部分的标识符，来参考预期的检测的类型；
和/或者通过检测至少一个辅助内容部分，来启动和/或撤销搜索；该辅助部分可以被选择成比主内容部分小得多(例如广告标识语)，由此使该解决方法比较有益于限制所需的CPU(中央处理器)操作。
在识别元素的第三有利形式下，识别元素包括至少一个频道参考。则检测模块被设计成，检测内容的部分连同该频道参考，并且传输模块被设计成在这种检测的情况下传输动作指令。
通过传输关于应该对其进行检测的电台的信息项，当在当前电台上没有对检测进行编制时，避免了不必要地调用识别单元。该额外的信息项也使得有可能，尤其是在电台上对检测进行编制，要检测的识别元素有可能是几个电台上的广播-例如广告休息。默认地、并且没有关于电台的任何信息，优选地永久地、并且不区分电台地启动检测。
在有利的实施例中，同步信号的检测依靠对内容的几个部分的识别，或者依靠对这种部分的识别和其它类型信息(电台，诸如当前日期的系统变量，有可能节目指南，等等)的交叉检验。因此，在关于节目内容的不确定性的情况下，或者在为了增加检测节目的可能性的情况下，有利地使用几个画面，画面之一的检测触发动作程序。
本发明也涉及指定单元，该指定单元用于指定和至少一个视听节目关联的同步信号，所述视听节目包括预期要传输给用户的视听内容和控制信息，并且同步信号预期要在通过广播网络传输的、携带所述视听节目的至少一个已传输流中被检测，并由此触发至少一个动作。
根据本发明，指定单元包括：
制备模块，用于制备识别元素，该识别元素使获得视听节目的内容的至少一个提取部分成为可能，以及
传输模块，用于和视听节目的传输无关地，把识别元素传输给至少一个识别单元，该识别单元预期通过在视听节目的内容中识别提取部分，来在携带视听节目的已传输流中检测同步信号。
所述指定单元的制备模块和传输模块分别被设计成，在由识别单元先前通过广播网络收到的视听节目的至少一个流中，制备和传输用于提取内容的部分的提取指令，所述部分是从先前接收的视听节目中提取的。
优选地，该指定单元能够和本发明的识别单元的任何一个实施例合作。
优选地，该指定单元的制备和传输模块分别被设计成，在检测同步信号的情况下，制备和传输与要触发的动作有关的标识符。
则动作标识符有利地涉及以下动作的至少之一：交互式服务的传输、交互式服务的触发、交互式服务更新的触发、视听节目记录和连接到网站的触发。第一动作特别用于在广播装置的级别或者在服务操作装置的级别，检测同步信号，而最后三个动作典型地适用于以下情况：在用于接收视听节目的终端中执行识别(例如嵌入式服务的触发，有可能是其显现的触发)。
根据与提取部分的获得有关的有利实施例：
制备和传输模块能够使识别元素包括该提取部分；
和/或者制备和传输模块能够使识别元素包括先前被记录在存储空间中的该提取部分的至少一个标识符。
本发明也适用于同步系统，该同步系统包括：指定单元，用于指定同步信号；识别单元，用于识别同步信号；以及启动单元，该启动单元被设计成，在识别单元检测同步信号的情况下触发至少一个动作。
识别单元和/或指定单元优选地根据本发明的实施例的任何之一。
本发明的主题还是广播中心、服务操作装置、和用于接收视听节目的终端，它们包括根据本发明的实施例的任何之一的指定模块、识别模块和/或同步系统。
在识别单元位于接收端中的情况下，根据有利的实施，有利地预先把识别元素和关联的交互式服务传输给终端。例如，当没有向观众提供交互性时，这使得有可能增加能够提供交互性的电视的比例。则终端优选地具有用于把识别元素、提取部分和交互式服务存储在永久性存储器中的装置，该永久性存储器例如是闪存类型的。该实施例使编制与终端的断开和接通的连续同步成为可能。这样，尽管系统的完全临时关闭，提供交互性的可能性也增大了。
在把识别元素和关联服务分派给包括识别单元的终端的第一方式下，优选地通过广播，连带地(预先)传输识别元素组和相应的交互式服务组的一个或多个联合。通过传送与元素组关联的动作标识符，来完成预期被并行地利用的该类型的几个联合的分派，这些标识符指出哪些服务是要发起的服务。
在把识别元素和关联服务分派给包括识别单元的终端的第二方式下，把识别元素的分派和服务的分派分开。则，把动作标识符附加到识别元素上，以便使识别元素对应于要发起的服务。
本发明也涉及通过在收到的至少一个视听节目中识别同步信号来启动的方法。优选地通过根据本发明的任何一种形式的识别单元，来实施该识别方法。
此外，本发明涉及一种用于指定同步信号的指定方法，和同步方法。优选地，分别通过根据本发明的任何一种形式的指定单元和同步系统，来实施这些方法。
本发明的主题也是计算机程序产品，其特征在于，该计算机程序产品包括程序代码指令，当该程序在计算机上被执行时，该程序代码指令执行根据本发明的方法之一的步骤。应该把措辞“计算机程序产品”理解为表示这样的计算机程序固定物，该计算机程序固定物不仅能够包括包含程序的存储空间，诸如磁盘或盒式磁带，而且能够包括信号，诸如电信号或光信号。
附图说明
借助于以下参考附图给出的、完全非限制性的示范性实施例和实施，将更好地理解和阐明本发明，在附图中：
图1是根据本发明的同步系统的原理图；
图2描述了图1的同步系统的指定单元；
图3描述了图1的同步系统的识别单元；
图4描述了图1的同步系统的启动单元；
图5图解地显示了通信网络，该通信网络包括和传输服务器一起的广播中心(或广播装置)、和点对点服务器一起的服务操作装置、以及大量销售的终端，该终端是交互式的或非交互式的；
图6显示了服务的传送带传输的时间曲线；
图7显示了图5的通信系统中的图1的同步系统的第一实施方式，同步系统位于服务操作装置中；
图8显示了图5的通信系统中的图1的同步系统的第二实施方式，指定单元位于服务操作装置中，并且识别单元和启动单元位于广播装置中；
图9显示了图5的通信系统中的图1的同步系统的第三实施方式，指定单元位于广播装置中，并且识别单元和启动单元位于终端中；以及
图10显示了相对于图9的实施方式的，终端中的识别和启动单元的设置的图解形式。
具体实施方式
同步系统5(图1)被设计成，使视听节目15和交互式服务S同步。同步系统5包括同步信号指定单元1，该同步信号指定单元1能够在通过网络传输节目15之前，从视听节目15和用户执行的选择操作，来制备由一组识别元素11和一组动作标识符12组成的对(pair)10。在每一对10中，识别元素11包括：节目15的内容的至少一个提取部分，该提取部分用作同步信号(至少部分地)；或者提取指令，该提取指令用于在必须经受同步的节目15之前传输的节目中提取该部分。每一对10的动作标识符12包含这样的信息，该信息和在携带节目15的流中检测这种同步信号的情况下的动作执行有关。
识别单元2被设计成：记录来自于同步信号指定单元1的对10，一旦收到携带节目15的流就使用对10，以便识别节目中的内容的部分；以及在由识别元素11的组所定义的条件下，识别同步的发生。识别单元2也用于，在检测和这些动作相对应的识别信号的情况下，传输动作标识符12，来触发这些动作。
启动单元3被设计成：接收来自于识别单元2的动作标识符12；以及触发适当的动作A。
以下将分别参考图2、3和4，来详述同步系统的三个单元1、2和3。指定单元1(图2)包括：输入模块31，用于视听节目15或者同步用的关联视听节目；以及模块32，用于控制到这些节目的内容16的操作者的传输。为此，可以为负责编程同步系统5的操作者，预先获得这些节目，或者这些节目的至少大部分(画面、声音、标语颜色等)。通常，同步系统5具有可用的盒式磁带或DVD上的记录，或者预期要插入到传输中的序列。操作者能够，例如逐个画面地观看节目之一，或者收听某些段的声音。
指定单元1的用户接口33允许操作者输入命令17连同该受到控制的传输。它允许操作者选择画面、声音、部分画面，或内容的这些部分的组合，以便在识别元素11中包括：
或者这些部分自己，
或者用于从在节目15之前传输的一个(或几个)视听节目提取这些部分的指令，
或者这些部分的标识符。
接口33还允许操作者，根据组合或替换(分别是：要识别的几个部分，或几个部分中的至少一个部分)、时间判据(日期、时隙)或电台(station)，来定义更复杂的识别判据。接口33还允许操作者定义：与识别元素11相关联的动作标识符12，诸如已识别的交互式服务的触发或传输；以及在同步信号的检测与相应动作的触发之间的超时延迟。这种延迟：
或者以延迟13的形式分别被传输，用于指定在识别单元2的检测与动作标识符12到启动单元3的传输之间的超时，
或者被并入动作标识符12中，用于指定在启动单元3的接收与相应动作A之间的超时。
也有可能联合使用这两种类型延迟。
制备模块34把对(pair)10和延迟13建立为操作者的命令的函数，并且把对10和延迟13传送给传输模块37，用于传输给识别单元2。尤其是，该制备模块34包括：子模块35，用于从观看的节目中提取选定的部分；以及子模块36，用于定义动作标识符12。
识别单元2(图3)包括：接收模块21，用于接收视听节目(尤其是节目15)；以及接收模块24，用于接收来自于指定单元1的信息，包括对(pair)10和超时延迟13。记录模块25使自动地把该信息记录在存储空间20中成为可能。
识别单元2还包括同步信号检测模块22，同步信号检测模块尤其用于对节目15的内容和借助于识别元素11获得的、并存储在存储空间20中的内容部分，进行比较。检测模块22和能够用作选择判据识别的信息源，例如在时间判据(日期、时间间隔)的情况下提供时间信息的时钟28，连在一起。检测模块22被设计成，当动作标识符12和相关的超时延迟13处在同步信号检测的情况下，通过超时模块26把动作标识符12和超时延迟13传送给用于传输指令的传输模块23。超时模块26的功能是，在存在超时延迟13的情况下，可能设定传输的超时，而传输模块23实际上用于把动作标识符12传输给启动单元3。
如上所述，指定单元1的接口33和制备模块34允许操作者制备在识别元素11中包含的信息，该识别元素11允许识别单元2通过用于接收视听节目的模块21，来识别和获得内容的一部分。
该信息尤其可以包括频道和时间表，该时间表有可能被即时选择指示器代替。可以以触发器的形式来分派该信息，该触发器被设计成，在识别单元2级别触发对预定部分的提取和记录。在内容部分的获取的一种变型中，在给定频道上和确定的时隙中传输的节目中存在一种模式(声音和/或画面)，使得能够在预先定义的延迟之后触发提取和记录操作。
例如，某人希望实现自动地记录连续剧的所有情节。但是，在该连续剧之前始终有相同的片头，该片头持续大约1分钟。在广告画面结束之后，连续剧的第一段情节大约放映3分钟，其代表性画面部分已经被存储作为参考。最初，通过准确地确定电台(station)和时隙，以及通过设想在检测广告画面部分之后触发记录2分钟(为保险起见)，来这样实现第一段情节的记录。
在该相同检测之后，某人并行地触发，提取和记录电台传输的画面长达3分钟30秒。然后，构成连续剧的片头的一部分(验证是可能的)的该画面自身被用作提取的参考部分，用于后面情节的检测。因此，一旦在传输频道检测到该画面，就触发对一段情节的持续系统记录。根据变型或改进的型式(version)：
情节片头的结尾用于触发记录的结束；
来自开幕片头的、随时间交错的几个画面，用于验证记录的触发，以便降低由片尾造成的记录的风险；
用节目指南来交叉检验画面识别，以便限制准备时期，以及降低不合时宜地记录的风险。
然后，识别单元2的记录模块25能够继续记录提取的部分，作为由指定单元1传输的信息的函数，而这些部分不必在指定单元1和识别单元2之间传输。
启动单元3(图4)包括：接收模块41，用于接收动作标识符12；模块42，用于从这些标识符12中提取动作信息，以及通过超时模块43把动作指令18和超时延迟19，即便有的话，传输给动作触发模块44。超时模块43的功能实际上是，根据超时延迟19来设定动作指令18的传输的超时。触发模块44的任务是，一旦收到动作指令18，就触发作为动作指令18的目标的动作A。
现在将在涉及通信网络(图5)的交互式电视的几个实际应用中来描述同步系统5，该通信网络包括广播装置50、服务操作装置(service operator)60和大量销售的交互式终端70。广播装置50通过单向网络81(射频、电缆或卫星电视传输网络)，连接到终端70类型的终端。服务操作装置60可以或者不必，通过诸如电话网络的点对点型双向网络82(调制解调器返回路径、电缆等)，连接到终端70。广播装置50和服务操作装置60例如通过TCP-IP(传输控制协议/网际协议)型的链路83彼此连接，在该链路83上，使用按照CORBA(公共对象请求代理体系)标准的总线。
设想广播装置50在关联视听节目15的期间，在回路(传送带)中传输交互式内容或它们的URL，简称为交互式服务S。在操作例子(图6)中，广播装置50在时间t的期间，在回路中传输连同相应的增强节目PG1、PG2和PG3一起的服务S1、S2和S3，直到服务S的可用性FS1、FS2和FS3结束时为止。
在第一实施例(图7)中，同步系统5被安装在服务操作装置60的计算机62中，并且由操作者61通过网络84来控制。当执行内容部分的提取的操作时，可以执行以下步骤：
步骤1：通过锁定视听节目要在节目15之前被发往的电台(station)，并包括相同的参考模式，或者锁定和该电台(station)的节目有关的信息(例如节目指南)，来规划同步系统5的指定单元1；定义要检测的、和该模式相关联的的画面和/或声音，并指定识别元素11和要分派的动作标识符12，该识别元素11包括用于提取这些画面和/或声首的指令；
步骤2：由广播装置50传输前面的视听节目，由同步系统5接收该节目，应用用于从该节目提取要检测的画面和/或声音的提取指令，并记录：
步骤3：当传输节目15的时刻已经到来，广播装置50的视频服务器或视频记录器就开始传输视听节目15；
步骤4：单独传输视听节目15(通过传输中继器56)；
步骤5：然后，同步系统5接收必须和交互式服务S同步的视听节目15画面，并分析这些画面；
步骤6：当检测到编制的画面和/或声音，同步系统5通知广播装置50的传输服务器，然后该传输服务器能够触发交互式服务S和视听节目15的同时传输；
步骤7：同时传输交互式服务S和视听节目15。
对于服务操作装置60，不直接记录要检测的画面和/或声音的好处在于，为了对同步进行编程，足以为服务操作装置60提供关于在节目15传输之前设想的传输的部分信息。
在第二实施例(图8)中，指定单元1被安装在服务操作装置60中，如图7的第一实施例中一样，但是识别单元2和启动单元3被安装在广播装置50的传输服务器中。其余部分的操作步骤的过程和第一实施例类似。
在第三实施例(图9)中，指定单元1现在被安装在广播装置50中，并且识别单元2和启动单元3被嵌入到终端70中。更明确地说(图10)，终端70包括用于检索已传输信号的模块71(涉及操作系统和驱动程序)，模块71被设计成，接收识别元素11的组和动作标识符12的组的对10，以及交互式服务S。该模块71被设计成，把识别元素11传送给识别单元2，并把交互式服务S传送给交互性或显示引擎72。
当操作时，执行以下步骤：
步骤1：由广播装置50的操作者，通过挑选同步用的画面和/或声音，并预先传输包括用于从先前传输的节目中提取这些画面和/或声音的指令的识别元素11(更一般地说：对10的识别元素11)、以及一旦被检测到就要被执行的交互式服务S，来编程同步系统5的识别单元2；
步骤2：由识别单元2根据识别元素11中包括的提取指令，来在广播装置50传输的节目中提取和记录要检测的画面和/或声音；
步骤3：当传输节目15的时刻已经到来，广播装置50的视频服务器或视频记录器开始传输视听节目15；
步骤4：单独传输视听节目15；
步骤5：然后，嵌入终端70中的识别单元2接收必须和交互式服务S同步的视听节目15画面，并分析这些画面；
步骤6：当检测到编程的画面和/或声音，识别单元2通过启动单元3通知交互性引擎72，然后引擎72能够触发交互式服务S的执行；在变型中，要触发的动作是，在终端70上显示或更新交互式服务；
步骤7：同时呈现交互式服务S和视听节目15。
与第一和第二实施例相比，第三实施例的优点在于，避免了视听节目15的传输时刻和交互式服务S被插入到视听节目15中的时刻之间的偏移。然而，第三实施例需要在终端70中包括可观的资源(CPU、存储器等)。
根据未示出的第四实施例，同步系统5全部被集成到终端中。因此，例如用户能够着眼于记录节目，来定义同步过程。
在变型的实施例中，指定单元1被设计成，首先允许识别单元2获得分别与一对一的部分标识符相关联的几个提取部分。因此，在把每个内容部分存储在存储空间20中的期间，记录模块25也存储相应的部分标识符。在随后的指定作为目标的检测的步骤期间，指定单元1只需把部分标识符分派在对10的识别元素11中。然后，这些标识符起关键的作用，使得有可能连接提取部分的呈现和其它参数的呈现，该其它参数尤其是，例如超时延迟13或19和/或要触发的动作。
例如，在前的获得提取部分的步骤定义了，分别与3个内容部分POR1、POR2和POR3关联的三个标识符ID1、ID2和ID3(表1)，然后，随后的给定用于同步动作的指令的传输步骤定义了，分别和标识符ID2和ID1相关联的延迟以及动作A′和A″(表2)。
表1-记录部分和关联的标识符
  部分标识符   提取的部分
  ID1   POR1
  ID2   POR2
  ID3   POR3
表2-用于同步动作的指令
  部分标识符   延迟   动作
  ID2   8   A′
  ID1   10   A″
在该变型的特殊实施例中，检测作为目标的指定也包括检测时隙。如果识别单元2检测到当前时间在这些时隙之外，则识别单元2不执行对已传输内容的分析。在相反的情况下，检测模块被启动。而且，几个识别时隙可以重叠。例如，标识符ID1和ID2分别与检测“每周五下午三点到4点之间”和“除周末以外的每天的中午12点到下午4点之间”相关联。
现在，将分别按照ATVEF(高级电视增强论坛)标准和DVB标准，来开发同步系统5在模拟和数字世界的应用。它们涉及识别单元2和启动单元3在终端70中的集成(图9)。
A-模拟世界的应用：ATVEF
区分三个主要步骤：
预先指出要检测的至少一个画面；因此终端70必须获取并保存该画面；
一旦在检测期间检测到该画面，就触发一个动作或几个动作；以及
向终端70指示检测周期的结束。
A1-指示一个或多个要检测的画面
根据第一例子，检测完整的画面。因而，在节目传输期间分派触发器，来向终端70指示应该保存当前收到的画面，用于随后的检测。
触发器具有例如以下形式：
    <lid://PictureStorage/Picture 1>[name:″Picture1 Acquisition″]
                 [PNAME＝Picture 1][ACQUIRE＝yes]
其中：
    《PictureStorage》字段向终端70指示应该把当前画面存储在名称《Picture1》下；
《name》字段是任选的，该字段给出了触发器的描述；
《PNAME》字段指定了随后将被参考的画面的名称；以及
《ACQUIRE》字段通过信号通知触发器应该触发画面获取。
根据第二例子，检测画面的子部分。则ATVEF触发器具有例如以下形式：
    <lid://PictureStorage/Picture1>[name:″Picture1 Acquisition″]
[ACQUIRE＝yes][PNAME＝picture 1][tlc＝25，30][brc＝150，200]
其中：
《tlc》(《左上角》)字段给出了要检测的矩形的左上角的坐标；
《brc》(《右下角》)是任选的，该字段给出了要检测的矩形的右下角的坐标；如果该字段不存在，则利用画面的右下角来定义矩形。
A2-指示检测周期的开始
根据有利的实施例，分派某个特定的触发器，用来向终端70指示终端70应该发起搜索先前获得的画面，并且分派另一个特定的搜索结束触发器。例如，通过参考画面标识符，来完成对预期画面的指定。
则触发器可以具有以下形式：
 <lid://service_url/servicename.html>[name:″Picture1 Detection″]
         [PNAME＝picture1][DETECT＝yes][tlc＝25，30]
其中：
《service_url/servicename》字段指定，一旦检测到先前获取的画面就要触发的动作；
《PNAME》字段指定要检测的画面(Picture 1)；
《DETECT》字段通过信号通知触发器被设计成触发检测；以及
《tlc》字段指定要考虑的画面的区域(左上角)。
A3-指示检测周期的结束
把触发器分派给终端70，以便向终端70指示画面检测周期已经终止。
在所考虑的例子中，在收到以下触发器的期间，画面Picture1的检测的停止这样生效：
<lid://PictureStorage/Picture 1>[name:″Picture 1 Stop Detection″]
                    [PNAME＝picture 1][DETECT＝no]
其中：
《PictureStorage》字般向终端70指出，画面被存储在何处，以及被存储在什么名称下；
《name》字段是任选的，该字段给出了触发器的描述；以及
《DETECT》字段指定，触发器被设计成触发画面检测的停止。
B-数字世界的应用：DVB
SI(《系统信息》)表提供了包括诸如《短事件描述符》(见ETSI-《欧洲典型标准协会》-标准EN 300-468 V.1.4.1，§6.2.33)的事件描述符的可能性。这种描述符指出所考虑的事件的名称，并以文本格式(对于在此使用的事件类型，最多256字符)给出所考虑的事件的描述。
一般来说，它采用以下的句法形式：
    short_event_descriptor()
    {
    descriptor_tag              //8位
    descriptor_length           //8位
    ISO 639-2[3]_language_code   //24位
    event_name_length           //8位或最多256字符
    for(i＝0；i＜event_name_length；i++)
    {
         event_name_char
         }
          text_length    //8位或最多256字符
    for(i＝0；i＜text_length；i++)
    {
         text_char
     }
    }
 其中：
《descriptor_tag》字段提供识别标签；在所考虑的实施中，该字段用于指定某人正在处理画面存储(《PICTURE_STORAGE》)，检测周期的开始(《PICTURE_START_DETECTION》)，或检测周期的停止(《PICTURE_STOP_DETECTION》)；
《descriptor_length》字段给出了描述符的长度；
《language_code》字段包括指示语言代码(例如《fre》)的三个字符；
《event_name_length》字段给出了事件名称的字节长度；
《event_name_char》字段是识别事件的字符串；在此它可能涉及画面获取(《Picture1_Acquistion》)、检测开始(《Picture1_Start_Detection》)，或检测结束(《Picture1_Stop_Detection》)；
《text_length》字段给出了事件描述的字节长度；以及
《text_char》是描述事件的字符串；在所考虑的例子中，它由《PNAME＝Picture1》组成。
更明确地说，ETSI标准EN 300-468 V1.4.1的表12指出，用于descripto_tag字段的用户标签(《tags》)在从0x80到0xFE的范围内变化，根据所述表12定义表3中指示的对应关系
表3-descriptor_tag字段的值
  描述符   值
  0x80   PICTURE_STORAGE
  0x81   PICTURE_START_DETECTION
  0x82   PICTURE_Stop_DETECTION
表4、5和6中分别给出了以下的信令例子：指示终端70应该把画面存储在名称《Picture1》下的信令的例子；指示终端70应该开始该画面的检测周期；以及指示终端70应该停止该画面的检测周期。
表4-用于存储画面的信令
  描述符   值
  descriptor_tag   0x80
  descriptor_length   //Sum to be calculated！
  ISO 639-2[3]_language_code   Fre
  event_name_length   20
  event_name_char   Picture1_Acquisition
  text_length   14
  text_char   PNAME＝Picturel
表5-用于开始检测周期的信令
  描述符   值
  descriptor_tag   0x81
  descriptor_length   //Sum to be calculated！
  ISO 639-2[3]_language_code   Fre
  event_name_length   24
  event_name_char   Picture1_Start_Detection
  text_length   14
  text_char   PNAME＝Picture1
表6-用于结束检测周期的信令
  描述符   值
  descriptor_tag   0x82
  descriptor_length   //Sum to be calculated！
  ISO 639-2[3]_language_code   Fre
event_name_length 23
  event_name_char   Picturel_Stop_Detection
text_length 14
  text_char   PNAME＝Picturel

Claims (18)

1.一种用于在收到的至少一个视听节目(15)中识别同步信号的识别单元(2)，所述视听节目(15)包括控制信息和要传输给用户的视听内容，所述识别单元(2)包括：
用于接收识别元素的接收模块和记录模块(25)，所述记录模块(25)用于把识别元素(11)记录在存储空间(20)中，所述识别元素(11)使获得所述视听节目(15)的内容的至少一个提取部分成为可能，
流接收模块(21)，用于通过广播网络(81)，来接收携带所述视听节目(15)的至少一个传输流，
检测模块(22)，用于借助于在所述存储空间(20)中存储的所述识别元素(11)、通过在所述视听节目(15)的内容中识别所述至少一个提取部分，来在收到的所述视听节目(15)中检测所述同步信号，以及
传输模块(23)，用于在所述视听节目(15)中检测所述同步信号的情况下，传输动作指令，所述指令被设计成触发至少一个动作，
其特征在于，用于接收识别元素(11)的接收模块被设计成，在所述识别元素(11)之中，接收用于从由流接收模块(21)先前收到的视听节目的至少一个流中提取所述至少一个提取部分的指令，所述至少一个提取部分是从先前接收到的所述视听节目中提取的，以及，所述记录模块(25)被设计成，直接根据所述提取指令来提取所述流的所述至少一个提取部分，并把所述至少一个提取部分记录在存储空间(20)中。
2.根据权利要求1所述的识别单元(2)，其特征在于，用于接收识别元素(11)的接收模块被设计成接收触发消息，以及，记录模块(25)被设计成，一旦收到所述触发消息，就提取并记录所述先前收到的流的所述至少一个提取部分。
3.根据权利要求1或2之一所述的识别单元(2)，其特征在于，用于接收识别元素(11)的接收模块(24)也被设计成，在所述识别元素(11)之中接收所述至少一个提取部分的至少一个标识符，以及，所述检测模块(22)能够从存储空间(20)检索与所述标识符相关联的所述先前被记录的提取部分，以便在所述视听节目(15)的内容中识别收到的所述至少一个提取部分。
4.根据权利要求1或2所述的识别单元(2)，其特征在于，用于接收识别元素(11)的接收模块(24)也被设计成，在所述识别元素(11)之中直接接收所述至少一个提取部分，以及记录模块(25)被设计成，把所述至少一个提取部分记录在存储空间(20)中。
5.根据权利要求1或2所述的识别单元(2)，其特征在于，在传输模块(23)分派所述动作指令之前，识别单元(2)也包括超时模块(26)。
6.根据权利要求1或2所述的识别单元(2)，其特征在于，用于接收识别元素(11)的接收模块(24)、用于记录识别元素(11)的记录模块(25)、以及用于传输动作指令的传输模块(23)分别被设计成，接收、记录和传输与要触发的所述动作有关的标识符(12)。
7.根据权利要求1或2所述的识别单元(2)，其特征在于，内容的每一个所述至少一个提取部分包括以下部分的至少一个：画面、画面的一块、声音、以及至少两个所述部分的任何组合。
8.根据权利要求1或2所述的识别单元(2)，其特征在于，所述识别元素(11)包括至少一个布尔算子，所述检测模块(22)被设计成，根据所述布尔算子检测内容的至少两个所述至少一个提取部分，以及传输模块(23)被设计成，在这种检测的情况下传输所述动作指令。
9.根据权利要求1或2所述的识别单元(2)，其特征在于，所述识别元素(11)包括至少一个时间信息项，所述检测模块(22)被设计成，根据所述时间信息项检测内容的所述至少一个提取部分，以及传输模块(23)被设计成，在这种检测的情况下传输所述动作指令。
10.根据权利要求9所述的识别单元(2)，其特征在于，所述时间信息项包括从检测日期和检测时隙之中选择的至少一个信息项。
11.根据权利要求1或2所述的识别单元(2)，其特征在于，所述识别元素(11)包括至少一个频道参考，所述检测模块(22)被设计成，根据所述频道参考检测内容的所述至少一个提取部分，以及传输模块(23)被设计成，在这种检测的情况下传输所述动作指令。
12.一种用于指定与至少一个视听节目(15)相关联的同步信号的指定单元(1)，所述视听节目(15)包括控制信息和要传输给用户的视听内容，以及所述同步信号要在通过广播网络(81)传输的、携带所述视听节目(15)的至少一个流中被检测，并由此触发至少一个动作，
其特征在于，所述指定单元(1)包括：
制备模块(34)，用于制备识别元素(11)，所述识别元素(11)使获得所述视听节目(15)的内容的至少一个提取部分成为可能，
以及传输模块(37)，用于与所述视听节目(15)的传输无关地，把所述识别元素(11)传输给至少一个识别单元(2)，所述识别单元(2)通过在所述视听节目(15)的内容中识别所述至少一个提取部分，来在携带所述视听节目(15)的已传输的所述流中检测所述同步信号，
以及，所述指定单元(1)的制备模块(34)和传输模块(37)分别被设计成，在由识别单元(2)先前通过广播网络(81)收到的视听节目的至少一个流中，制备和传输用于提取内容的所述至少一个提取部分的提取指令，所述至少一个提取部分是从先前接收到的所述视听节目中提取的。
13.根据权利要求12所述的指定单元(1)，其特征在于，所述指定单元(1)的制备模块(34)和传输模块(37)分别被设计成，在检测所述同步信号的情况下，制备和传输与要触发的所述动作有关的标识符(12)。
14.根据权利要求13所述的指定单元(1)，其特征在于，所述动作标识符(12)涉及以下动作的至少一个：交互式服务(S)的传输、交互式服务(S)的触发、交互式服务(S)更新的触发、所述视听节目(15)记录和连接到网站的触发。
15.一种同步系统(5)，包括：
指定单元(1)，用于指定与至少一个视听节目(15)相关联的同步信号，所述视听节目(15)包括控制信息和要传输给用户的视听内容，
识别单元(2)，用于通过在收到的视听节目(15)中识别所述视听节目(15)的内容的至少一个提取部分，来在通过广播网络(81)传输的、携带所述视听节目(15)的至少一个流中，识别所述同步信号，以及
启动单元(3)，所述启动单元(3)被设计成，在识别单元(2)检测所述同步信号的情况下触发至少一个动作，
其特征在于，指定单元(1)被设计成，制备识别元素(11)、并把识别元素(11)传输给识别单元(2)，所述识别元素(11)使获得所述至少一个提取部分成为可能，所述识别元素(11)包括用于从由识别单元(2)先前通过广播网络(81)收到的视听节目的至少一个流中提取内容的所述至少一个提取部分的指令，所述至少一个提取部分是从先前接收到的所述视听节目中提取的，以及，识别单元(2)被设计成，根据所述提取指令直接提取所述流的所述至少一个提取部分，并记录所述至少一个提取部分。
16.一种用于通过在收到的包括控制信息和要传输给用户的视听内容的至少一个视听节目(15)中识别同步信号来进行启动的方法，所述方法包括以下步骤：
通过广播网络(81)，接收携带所述视听节目(15)的至少一个已传输流，
通过在所述视听节目(15)的内容中识别至少一个提取部分，来在借助于识别元素(11)收到的、并被存储在存储空间(20)中的所述视听节目(15)中，检测所述同步信号，所述识别元素(11)使获得所述视听节目内容(15)的内容的至少一个提取部分成为可能，
以及在检测所述视听节目(15)中的所述同步信号的情况下，触发至少一个动作，
其特征在于，所述识别元素(11)包括用于通过从先前接收到的所述视听节目中提取所述至少一个提取部分来从先前收到的视听节目的至少一个流中提取所述至少一个提取部分的指令，直接根据所述提取指令来提取所述先前收到的流的所述至少一个提取部分，以及所述至少一个提取部分被记录在存储空间(20)中。
17.一种用于指定与至少一个视听节目(15)相关联的同步信号的指定方法，所述视听节目(15)包括控制信息和要传输给用户的视听内容，以及所述同步信号要在通过广播网络(81)传输的、携带所述视听节目(15)的至少一个流中被检测，并由此触发至少一个动作，
其特征在于，所述指定方法包括以下步骤：
制备识别元素(11)，所述识别元素(11)使获得所述视听节目(15)的内容的至少一个提取部分成为可能，
与所述视听节目(15)的传输无关地传输所述控制信息，以便通过在所述视听节目(15)的内容中识别所述至少一个提取部分，来在携带所述视听节目(15)的已传输流中检测所述同步信号，
以及在由识别单元(2)先前通过广播网络(81)收到的视听节目的至少一个流中，传输用于通过从先前接收到的所述视听节目中提取所述至少一个提取部分来提取内容的所述至少一个提取部分的提取指令。
18.一种同步方法，包括以下步骤：
指定与至少一个视听节目(15)相关联的同步信号，所述视听节目(15)包括控制信息和要传输给用户的视听内容，在该步骤中，为检测而指定识别元素(11)，所述识别元素(11)使获得所述视听节目(15)的内容的至少一个提取部分成为可能，
在通过广播网络(81)传输的、携带所述视听节目(15)的至少一个流中，检测所述同步信号，在该步骤中，通过在所述视听节目(15)的内容中识别所述至少一个提取部分，来在收到的所述视听节目中检测所述同步信号，
以及在检测所述同步信号的情况下，触发至少一个动作，
其特征在于，所述识别元素(11)包括用于通过从先前接收到的所述视听节目中提取所述至少一个提取部分来从由识别单元(2)先前通过广播网络(81)收到的视听节目的至少一个流中提取内容的所述至少一个提取部分的指令，所述识别元素(11)被制备、并被传输给识别单元(2)，以及，根据所述提取指令，来直接提取所述流的所述至少一个提取部分，以及记录所述至少一个提取部分。
CNB038152657A 2002-06-28 2003-06-27 视听节目同步系统和方法 Expired - Fee Related CN100379294C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0208091A FR2841724A1 (fr) 2002-06-28 2002-06-28 Systeme et procede de synchronisation pour programmes audiovisuels, dispositifs et procedes associes
FR02/08091 2002-06-28

Publications (2)

Publication Number Publication Date
CN1666533A CN1666533A (zh) 2005-09-07
CN100379294C true CN100379294C (zh) 2008-04-02

Family

ID=29724976

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB038152657A Expired - Fee Related CN100379294C (zh) 2002-06-28 2003-06-27 视听节目同步系统和方法
CN03813592A Expired - Fee Related CN100586192C (zh) 2002-06-28 2003-06-27 视听节目的同步系统和方法、相关设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN03813592A Expired - Fee Related CN100586192C (zh) 2002-06-28 2003-06-27 视听节目的同步系统和方法、相关设备和方法

Country Status (11)

Country Link
US (2) US8612544B2 (zh)
EP (2) EP1537747B1 (zh)
JP (2) JP4852243B2 (zh)
KR (2) KR101004124B1 (zh)
CN (2) CN100379294C (zh)
AU (2) AU2003251726A1 (zh)
DE (2) DE60327081D1 (zh)
ES (2) ES2260656T3 (zh)
FR (1) FR2841724A1 (zh)
MX (2) MXPA04012944A (zh)
WO (2) WO2004004360A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7479555B2 (en) 1999-07-21 2009-01-20 Ceres, Inc. Polynucleotides having a nucleotide sequence that encodes a polypeptide having MOV34 family activity
FR2826224B1 (fr) * 2001-06-15 2003-09-26 Thomson Licensing Sa Procede de synchronisation de diffusion de programmes et d'incorporation de contenus de diffusion, dispositif et produits correspondants
FR2855705A1 (fr) * 2003-05-28 2004-12-03 Thomson Licensing Sa Procede de navigation pour la selection de documents associes a des identificateurs, et recepteur mettant en oeuvre le procede.
EP1566838A3 (en) * 2004-02-20 2010-09-01 LG Electronics, Inc. Organic electro-luminescence display device and fabricating method thereof
US8307403B2 (en) * 2005-12-02 2012-11-06 Microsoft Corporation Triggerless interactive television
KR100755713B1 (ko) * 2006-03-10 2007-09-05 삼성전자주식회사 시각화 이미지 제공 장치 및 방법
CN103283220B (zh) * 2010-12-26 2016-08-10 Lg电子株式会社 发送广播服务的方法、接收广播服务的方法和接收广播服务的设备
US9602854B2 (en) 2010-12-29 2017-03-21 Telecom Italia S.P.A. Method and system for syncronizing electronic program guides
US8646023B2 (en) 2012-01-05 2014-02-04 Dijit Media, Inc. Authentication and synchronous interaction between a secondary device and a multi-perspective audiovisual data stream broadcast on a primary device geospatially proximate to the secondary device
WO2014145657A2 (en) * 2013-03-15 2014-09-18 Timeflash Llc Scalable navigation slider
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4230990A (en) * 1979-03-16 1980-10-28 Lert John G Jr Broadcast program identification method and system
US5485518A (en) * 1993-09-30 1996-01-16 Yellowstone Environmental Science, Inc. Electronic media program recognition and choice
WO2001060061A2 (en) * 2000-02-07 2001-08-16 Koninklijke Philips Electronics N.V. Methods and apparatus for recording programs prior to or beyond a preset recording time period
WO2001072040A2 (en) * 2000-03-21 2001-09-27 Koninklijke Philips Electronics N.V. System and method for automatic content enhancement of multimedia output device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5886995A (en) * 1996-09-05 1999-03-23 Hughes Electronics Corporation Dynamic mapping of broadcast resources
US6637032B1 (en) * 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
EP0866616A1 (en) * 1997-03-21 1998-09-23 CANAL+ Société Anonyme Method of and apparatus for transmitting data
US5818440A (en) 1997-04-15 1998-10-06 Time Warner Entertainment Co. L.P. Automatic execution of application on interactive television
US6460180B1 (en) * 1999-04-20 2002-10-01 Webtv Networks, Inc. Enabling and/or disabling selected types of broadcast triggers
US6415438B1 (en) * 1999-10-05 2002-07-02 Webtv Networks, Inc. Trigger having a time attribute
CN1371567A (zh) 1999-08-27 2002-09-25 西门子公司 便携式电话
WO2001022729A1 (en) * 1999-09-20 2001-03-29 Tivo, Inc. Closed caption tagging system
FR2799023B1 (fr) * 1999-09-24 2003-04-18 France Telecom Procede de classification thematique de documents, module de classification thematique et moteur de recherche incorporant un tel module
KR20020064888A (ko) * 1999-10-22 2002-08-10 액티브스카이 인코포레이티드 객체 지향형 비디오 시스템
FR2803472B1 (fr) 2000-01-03 2003-05-16 Nptv Procede informatique pour l'exploitation d'une emission de television numerique interactive
EP1286541B1 (en) 2000-04-14 2012-05-02 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
US9788058B2 (en) * 2000-04-24 2017-10-10 Comcast Cable Communications Management, Llc Method and system for automatic insertion of interactive TV triggers into a broadcast data stream
MXPA02011594A (es) 2000-05-25 2003-03-27 Thomson Licensing Sa Dispositivo y proceso para la sincronizacion de programas audiovisuales difundidos y de informaciones complementarias.
WO2002021840A2 (en) * 2000-09-08 2002-03-14 Webchoice. Com Synchronizing a client with a media signal
US7216170B2 (en) * 2002-05-22 2007-05-08 Microsoft Corporation Systems and methods to reference resources in a television-based entertainment system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4230990A (en) * 1979-03-16 1980-10-28 Lert John G Jr Broadcast program identification method and system
US4230990C1 (en) * 1979-03-16 2002-04-09 John G Lert Jr Broadcast program identification method and system
US5485518A (en) * 1993-09-30 1996-01-16 Yellowstone Environmental Science, Inc. Electronic media program recognition and choice
WO2001060061A2 (en) * 2000-02-07 2001-08-16 Koninklijke Philips Electronics N.V. Methods and apparatus for recording programs prior to or beyond a preset recording time period
WO2001072040A2 (en) * 2000-03-21 2001-09-27 Koninklijke Philips Electronics N.V. System and method for automatic content enhancement of multimedia output device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hyperlinked Video. Dakss J ET AL.Proceedings of the SPIE,SPIE,Bellingham,VA,US,ISSN:0277-786X,Vol.3528 . 1999 *

Also Published As

Publication number Publication date
AU2003251726A1 (en) 2004-01-19
EP1535473A1 (en) 2005-06-01
CN1666533A (zh) 2005-09-07
US8626872B2 (en) 2014-01-07
KR20050016941A (ko) 2005-02-21
JP2005536090A (ja) 2005-11-24
KR101004124B1 (ko) 2010-12-27
CN100586192C (zh) 2010-01-27
MXPA04012789A (es) 2005-02-24
JP4846235B2 (ja) 2011-12-28
ES2260656T3 (es) 2006-11-01
AU2003251727A8 (en) 2004-01-19
US20050243206A1 (en) 2005-11-03
US8612544B2 (en) 2013-12-17
EP1537747B1 (fr) 2006-03-08
JP2005537697A (ja) 2005-12-08
WO2004004336A2 (fr) 2004-01-08
FR2841724A1 (fr) 2004-01-02
EP1535473B1 (en) 2009-04-08
KR101011140B1 (ko) 2011-01-26
KR20050016944A (ko) 2005-02-21
CN1659892A (zh) 2005-08-24
EP1537747A2 (fr) 2005-06-08
AU2003251727A1 (en) 2004-01-19
ES2324990T3 (es) 2009-08-21
DE60303948D1 (de) 2006-05-04
DE60303948T2 (de) 2006-11-23
US20060117339A1 (en) 2006-06-01
MXPA04012944A (es) 2005-05-16
DE60327081D1 (de) 2009-05-20
WO2004004360A1 (en) 2004-01-08
JP4852243B2 (ja) 2012-01-11
WO2004004336A3 (fr) 2004-02-19

Similar Documents

Publication Publication Date Title
US9654842B2 (en) Method and system for contextual advertisement replacement utilizing automatic content recognition
JP4782013B2 (ja) 放送信号に同期した拡充メディアを動的に生成配信するためのシステム及び方法
CN202282838U (zh) 接收设备、发送设备及广播系统
US8321890B2 (en) Device and terminal for inserting commercial image data in distribution content and method thereof
CN101681371B (zh) 多媒体内容搜索和记录安排系统
CN104081759A (zh) 接收设备，接收方法和程序
MX2015004659A (es) Aparato y metodo para procesar un servicio interactivo.
KR100967829B1 (ko) Ｔｖ-애니타임 ｃｒｉｄ들의 개선된 통신
CN100379294C (zh) 视听节目同步系统和方法
CN104662925A (zh) 处理交互服务的设备和方法
KR100989063B1 (ko) Ｐｍｃｐ 확장 메타데이터, 이를 이용한 데이터 스트림생성 장치, 디지털 데이터 방송 송출시스템 및 디지털데이터 방송 송출방법
US20080292277A1 (en) Apparatus and Method for Activating an Interactive Application
US7015972B2 (en) Device and method for synchronizing broadcast audio-visual programs and complementary data
JP2001333333A (ja) 番組案内情報生成送出システムとその構成装置
KR20070022620A (ko) Ｐｍｃｐ 확장 메타데이터, 이를 이용한 데이터 스트림생성 장치, 디지털 데이터 방송 송출시스템 및 디지털데이터 방송 송출방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080402

Termination date: 20170627

CF01 Termination of patent right due to non-payment of annual fee