CN1602628A - 根据比特流内容而对来自比特流的呈现进行同步的设备和方法 - Google Patents

根据比特流内容而对来自比特流的呈现进行同步的设备和方法 Download PDF

Info

Publication number
CN1602628A
CN1602628A CNA028246683A CN02824668A CN1602628A CN 1602628 A CN1602628 A CN 1602628A CN A028246683 A CNA028246683 A CN A028246683A CN 02824668 A CN02824668 A CN 02824668A CN 1602628 A CN1602628 A CN 1602628A
Authority
CN
China
Prior art keywords
stream
content
equipment
information
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028246683A
Other languages
English (en)
Other versions
CN1316819C (zh
Inventor
A·贾内维斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1602628A publication Critical patent/CN1602628A/zh
Application granted granted Critical
Publication of CN1316819C publication Critical patent/CN1316819C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus

Abstract

具有实质相同的可再现内容并且相互远离的多个数字比特流的内容被一致回放。首先通过回放相应流而在参与同步观看会话的处理器之间同步时间。其次通过倒回或快进而在内容上对准所述回放,从而从整体上实现精确同步的呈现。内容上的对准是借助于包含表征发送方比特流的信息的处理器之间的状态消息来实现的。如果任何一个参与方执行控制功能(例如倒回、快进、停止),那么所有其它参与方都会同步跟随。在这里将发起会话的处理器视为发起方,也就是其后由最后执行控制功能的参与方所承担的角色。发起方在会话开始时、执行了每个控制功能的时候以及周期性地指引所有会话参与方将其回放同步于发起方的回放,由此对所有回放进行同步并且保持同步。

Description

根据比特流内容而对来自比特流的呈现进行同步的设备和方法
发明背景
1.发明领域
本发明一般涉及数字图像回放,尤其涉及那些基于流的可再现内容而对两个或更多数字流的回放进行同步的技术。
2.相关技术描述
个人录像机(PVR)是视频记录设备,这种设备不但可以与几乎每一种广播系统(例如电缆,数字电缆,卫星,天线或其组合)结合使用,而且还可用于从VHS、DVD、因特网源及其它设备中进行记录。通过对PVR进行编程,所述PVR可以自动发现并记录用户喜爱的一个或多个电视节目,由此用户可以在他或她希望观看那些他或她想要观看的节目的时候观看所述节目。通常,PVR包含了相当大的存储器并且能够记录三十小时以上的广播节目。用户由此可以随意检索和查看所记录的广播节目。
当前的PVR技术允许用户对正在记录的节目内容(通常是电视广播)进行时移。换句话说,用户可以记录一个电视广播节目并且在若干小时乃至数天之后观看该节目。作为选择,用户可以决定记录一个节目并在节目开始之后的预定时间观看所述节目,这样一来,用户可以跳过那些分散在节目各处的广告片。因此,用户会在与观看现场直播的人的实际上相同的时间里观看所述节目。然而假如能够跳过广告片,那么PVR用户会在较短时间里观看与其它人观看的节目相同的节目。
虽然PVR具有上述优点,但是也存在着与其应用相关联的缺点。例如,很多人即使实际处于不同位置也喜欢同时观看多种节目(例如运动竞赛、谈话节目或戏剧)。这些人彼此之间经常会在节目中借助电话或因特网之类的其它通信装置来进行通信。因此,他们能随着事件的实现来讨论所述节目。然而,由于人们对节目进行时移,因此他们失去了在处于各自位置的时候同时“一起”观看演出的能力。不可避免的是,这两个用户会在同步丢失的情况下观看同一节目,因此,举例来说,其中一个用户会在另一个用户之前知道戏剧场景或运动竞赛的结果。
2001年6月28日提交并转让给本申请的受让人的共同未决美国专利申请09/894,060公开了一个系统,其中一个PVR是通过向另一个PVR发送状态消息而与另一个PVR同步的,该申请的名称是“Synchronized Personal Video Recorders(同步个人视频记录器)”,所述申请在此引入作为参考,其中在这里并不由于背景技术中记载所述申请而承认所述申请为现有技术。所述消息在发起方PVR用户实施启动、快进或倒回之类的PVR功能的时候发布,以使消息接收方能够执行对应功能,从而保持这两个PVR上的呈现同步。为了对同步进行更新,所述消息还是周期性发送的。该消息内部是一个正在观看或将要观看的节目的标识符,一个观看模式(例如正常播放,快进,暂停等等)的指示符以及进入节目的时间或帧。所述时间或帧允许接收方PVR将消息中的时间或帧与其自身的当前时间或帧进行比较,从而将其重放同步于发送方PVR的重放。
在对这种通过从发送方PVR向接收方PVR发送时间或帧来同步发送方PVR与接收方PVR的概念进行详细说明的过程中,出于描述本发明的目的,一开始先假设这两个PVR都在回放相应和相同的视频拷贝。发送方PVR的帧是处于存储介质保存的比特流中的发送方视频拷贝的一部分。同样,接收方PVR的视频拷贝的帧处于接收方存储介质保存的比特流中。
此外还在一开始假设,当一个PVR的视频计时器作为输出呈现与另一个PVR视频计时器的相同时间的时候,在内容方面,相应的视频播放在其相应的回放中处于同一点。当任何一个PVR快进或倒回的时候,这会相应并同步提升或回退其相应视频计时器的时间计数。
举例来说,如果在目的地PVR从发送方PVR接收到一个输出时间戳为1小时1分2秒(依照发送方PVR的视频计时器来进行设定)的消息时,目的地PVR的视频计时器显示1小时1分1秒,那么这表明目的地PVR的回放比发送方PVR的回放落后一秒。举例来说,这有可能是这样一种情况,根据单个基准时钟定时,目的地PVR是在发送方PVR开始回放之后一秒才开始进行回放的。基于这个假定,目的地PVR可以通过执行校正操作来补偿这个大小为一秒的时差。具体地说,如果可以忽略消息的传送时间,例如在时差为1秒的时候消息传送时间为1毫秒,那么可以依靠整个一秒的时差来采取校正操作,以便在PVR上对相应的回放进行同步。举例来说,目的地PVR会“快进”其节目的本地拷贝整个一秒并将其视频计时器递增1秒。借助于这个操作,目的地回放会在内容方面赶上发送方的回放,并且发送方和目的地PVR各自的视频计时器将会同步。
然而,如果不能忽略传送时间,那么有必要在对输入消息的输出时间戳和接收方PVR接收消息的时间进行比较的过程中顾及所述传送时间,以使恰当应用的校正补偿能够反映相应的视频计时器丢失同步的程度,以及相应地,相应回放在内容方面丢失同步的程度。
然而,上述技术不会总是独自同步视频呈现,也就是同时进行相应回放中的相应帧的回放。以上关于在任何一个PVR上呈现的内容在任何任选的公共视频计时器时间全都相同的假设并没有得到严格地保持。举例来说,对于在视频中它们分别开始的实际点来说,记录在这两个PVR上的节目始于同一标称视频开始时间,但可能略微相差一秒左右。因此,如果要一起观看这两个回放,那么其中一个回放将会滞后另一个回放。这样一来,即使这两个相应PVR的视频计时器完全同步,所述视频的相应放映也有可能丢失同步。
同样,即使这两个回放一开始是同步的,但是所述呈现也有可能会在前进的时候进行漂移失去同步。例如,相应的PVR回放其各自视频拷贝的速度可以是不同的。如果这两个PVR在快进或倒回模式中具有不同的实际速度,那么这些差别将会变得非常显著并且有可能致使所述观看在其中一个PVR快进或倒回之后丢失同步,命令另一方同时和同步地跟随。
举例来说,由于这两个回放中的不同的广告片以及由此带来的不同的广告时段,因此有时也会出现缺乏同步。举例来说,这两个观众可以观看相同的网络,例如国家广播公司(NBC),但是通过不同的电缆或卫星供应商,例如RCN或Time Warner。
另一方面,如果消息中传递的是当前帧而不是当前时间,那么仍旧需要顾及这个不可忽略的传送时间,以便对呈现进行同步。举例来说,如果源PVR向目的地PVR发送一个表明帧编号“n”当前正在源PVR上进行播放的消息,并且如果传送时间不可忽略,那么在接收消息时播放的帧编号与消息中指示的帧编号进行比较的过程中,目的地PVR需要知道所述传送时间。
在基于帧的技术中,即使回放同步或者通过计及传送时间来同步回放,所述PVR也可以使用那些采用不同压缩方案的不同服务供应商。与另一个方案相比,其中一个方案可以通过包含更多的帧来提供更高的图像质量;因此不能严格依赖于以上关于发送方视频拷贝与接收方拷贝相同的假设。此外,自适应技术常用于改变帧数,以便根据图像中的运动量来随时间捕获一个运动图像。对相应的视频内容来说,帧编号的不同致使基于帧编号的同步出现了问题。
对多种情况而言,这些同步误差只具有非常小的幅度,以至于相应回放的观众不会注意到它们。
然而存在这样的查看配置,其中“同步丢失”效应非常明显并且影响了查看乐趣。此外举例来说,在某些情况下,相互远离的人们联合起来同时执行一个任务,例如使用视频形式的手动先期录制来修理一个大型联机系统,而电话消息的精密同步、呈现以及基于消息和/或呈现的操作有可能是必要的。
为了实现精密同步,本发明对将要同步的视频回放对的相应内容或“陆标”进行比较,确定陆标对之间的视频重放“距离”,并且根据这些距离来放慢或加快选定的回放。
作为参考,在这里引入了授予Dimitrova等人(“Dimitrova”)的名为“Video Retrieval of MPEG Compressed Sequences Using DCand Motion Signatures(使用DC和运动签名的MPEG压缩序列的视频检索)”的美国专利5,870,754,所述专利将查询视频剪辑的“DC+M签名”与数据库中的DC+M签名相比较,以便检索一个内容近似于查询视频剪辑的视频序列,其中将视频序列定义为一系列的图像帧。
在一个Dimitrova实施例中,来自I帧的DC系数信息以及来自后续帧的运动矢量信息将会组合,以便形成一个数字签名,因此为术语“DC+M签名”。
根据MPEG(运动图像专家组)压缩标准,“I帧”是帧内编码帧,它是运动图像单个快照的编码。在I帧之间交替的则是帧间编码帧,所述帧间编码帧是由那些只表示运动图像当前状态与先前时刻存在的运动图像基准状态之间的差别的信息组成的。
所述签名包含了它所代表的帧的特征,但是使用了较少数据。查询视频剪辑中的相应I帧签名将会与数据库视频剪辑中的相应I帧签名进行比较。计算查询剪辑签名与数据库剪辑签名之间的总的汉明距离。(总的汉明距离即为当前查询剪辑与数据库剪辑的查询/数据库帧对的相应签名之间的汉明距离的总和,其中如Dimoitrova中所述,两个签名之间的汉明距离基于签名之间的逐个比特的比较)。
具体地说,所述方法沿着数据库跌代移动,以便定义一个当前数据库视频剪辑,同时随着每一次迭代而向剪辑中添加数据库帧(I帧)以及丢弃数据库帧(I帧)。在每一次迭代上都会重新计算总的汉明距离,并且在全部迭代上,最小汉明距离标识的是与查询视频剪辑最相似的数据库视频剪辑。
使用Dimitrova签名的一个优点是可以在没有完全解压缩图像比特流所需开销的情况下导出所述签名。因此,通过对霍夫曼或算术编码进行解码,可以将比特流维持在局部解码的形式,这样一来,如在Dimitrova中更全面描述的那样,在没有进一步解压缩的情况下,可以在形成签名的过程中使用离散余弦变换(DCT)之类的图像变换的DC系数这样的频率分量。
在上述Dimitrova实施例中,如果在Dimitrova处理之前的视频序列中没有识别出关键帧,则将I帧用作“典型帧”,也就是为之导出签名的帧。而关键帧则是处于镜头(shot)边界的帧,其中镜头是场景的视频序列。通常,在一部影片中存在一千个或是更多的镜头。在另一个实施例中,Dimitrova则将所有的帧全都用作典型帧。
本发明具有一个类似于Dimitrova的比较两个视频流特征的目标,只不过本发明使用所述比较来对所述流的可再现内容的呈现进行同步,而Dimitrova仅仅搜索一个与查询视频剪辑相似的视频剪辑。为使Dimitrova适配适合于本发明,在这里并不像Dimitrova中那样相对于数据库帧来对查询帧进行比较,而是相对于参与方的视频拷贝中的帧来进行比较,由此可以使得发起方与参与方的视频呈现同步。同样,出于处理速度的考虑,较为优选的是通过将一个主要对应于单个帧的单独查询签名传送到参与方来进行比较,而不是传送各自主要对应于一个单独帧的Dimitrova查询视频剪辑的所有签名。这样一来,由于在每一次迭代中都将单个查询签名与单独的候选参与方的帧相比较,因此将对这对帧的签名之间的汉明距离进行计算。由此消除了“总的汉明距离”计算的开销。
发明概述
本发明提供了一个系统,该系统允许两个或更多具有个人录像机(PVR)的人精确同步其时移观看。
在一个方面,本发明针对的是一种设备,用于对处于相应存储介质中的两个数字比特流的可再现内容的呈现进行同步。这里使用的可再现内容是指那些能以用户可以感知的形式呈现的内容,例如视觉或听觉形式。所述设备包括一个流特征单元,用于导出表征其中一个所述流的内容的信息并且将所述信息与表征另一个流的内容的信息进行比较。其中一个流的内容是通过在一个流中向前进展而回放的。而呈现则是通过根据比较来修改所述进展而被同步的。
在另一个方面,本发明旨在对处于相应存储介质中的两个或更多数字比特流的可再现内容的呈现进行同步。在这里将会接收其中一个流,并且将会导出表征所接收的流的内容的信息,此外还将所述信息引入一个输出信号。在接收到该信号的时候,所述信号的特征信息将会与表征一个或更多个其它数字比特流的内容的相应信息进行比较。基于所述比较,修改这两个或更多个流的相应回放中的向前进展,可以对这两个或更多个数字比特流的呈现进行同步。
本发明的其它目标和特征将从以下结合附图考虑的详细说明中变得清楚。然而应该理解的是,设计这些附图仅仅是出于说明目的并且不应该将这些附图当作限制本发明的定义,其中对所述定义而言,应该参考的是附加的权利要求。此外还应该理解,这些附图不必按比例描绘,除非另外指明,否则它们仅仅是在概念上对这里描述的结构和过程加以说明。
附图简述
在附图中,相同的参考数字表示的是这几个附图中的相似或相同的部件:
图1是可以与本发明结合使用的同步观看系统的一个例示;
图2是依照本发明的个人录像机(PVR)结构的图示;
图3是依照本发明的PVR组件的图示;
图4是一个论证依照本发明的同步技术的消息流图示;
图5是图4中显示的消息的消息格式;
图6是依照本发明来参加正在进行的会话的处理的流程图;
图7A和7B是依照本发明的时间同步的流程图;以及
图8是描述依照本发明的帧同步的流程图。
优选实施例详述
参考图1,其中显示了依照本发明的同步PVR观看系统110的一个实例。如图1所示,来自网络A的电视节目的广播112a、b是按照本领域技术人员已知的任何通信方式来进行的,例如电缆、数字电缆、卫星、天线、经由因特网或是这些方式的组合。诸如特定棒球比赛之类的相同网络作品将传送到房屋1和房屋2中的每一个房屋。在广播112a、b分别进入房屋1和房屋2的时候,它们是由各个相应PVR114a、b内部的接收机113a、b接收的。在下文中,在一个同步观看会话中,后缀“a”指的是“发起方”,后缀“b”则是指“参与方”。最初,“发起方”即为启动会话的PVR,但是所述职责将会切换到任何一个按照用户指引而执行控制功能(例如停止、暂停、快进、倒回)的PVR。而参与会话的所有其它PVR都是“参与方”。根据上下文,发起方PVR的用户称为“发起方”,而参与方PVR的用户则称为“参与方”。由于用户接收了广播112a、b,因此用户可以将广播112a、b记录在PVR114a、b上。所述广播可以在处于机顶盒、DVD播放器、VHS播放器、个人计算机、电视等设备内部的接收器中得到接收,然后则路由到PVR114a、b。用户可以沿着输入广播信号带宽而在PVR114a、b中记录多种不同节目。此外,由于分别将广播信号路由到了每一个房屋,因此每一个房屋都可以独立开启或关闭所述广播信号。PVR114a、b具有一个与电视122a、b上的输入端相连的输出端,由此用户可以在电视122a、b上观看所记录的节目。
遥控器116a、b通常与个人录像机114a、b相关联,以使用户能够远程操作个人录像机114a、b。通常,所述遥控器116a、b被配置成向电视122a、b发送一个红外信号。
优选地,系统110具有与之关联的两个通信网络。第一个网络是因特网网络118,它互连的是位于两个不同位置(例如房屋1和房屋2)的PVR114a、b。因特网118提供了用于在PVR114a、b之间传递信息的装置119,以便实现同步。第二通信网络则是一个公用交换电话网(PSTN)或专用网络之类的电话网络120,所述网络提供了一个供两个用户在同时观看所记录的节目112a、b时进行通信的通信装置。作为选择,其中任何一个或两个通信网络也可以包括因特网和/或电话组件。
为了实现系统110,举例来说,其中一个用户,例如来自房屋1的用户1将会呼叫另一个用户,也就是来自房屋2的用户2,相应的用户同意在他们各自的电视上同时并同步观看一个预先录制的广播。在这里,所述预先录制的广播旨在包括那些缓存了一个延迟周期的直播,其中某些接收机有能力进行这种操作,由此所述广播可以在一个没有广告片的交错时间帧中连续重放。在用户同意同步观看一个节目之后,其中一个用户将会带头启动该系统。
假定用户1带头作为“发起方”,用户1将会借助遥控器116,PVR114a自身控制装置或是电视上显示并由键盘或遥控器之类的输入设备激活的控制命令来激活一个用于在PVR114a上进行同步观看的菜单。用户1将会做出响应并且发送所述菜单。而最终得到的其它菜单则发送到用户2。这些用户各自通过其相应的响应来向他们接收的菜单表明他们是否将参与所述会话。根据所述响应,一个同步观看会话将被建立,以便在一个双方商定的时间开始进行。双方商定的时间可以是9:00P.M.这样的格林威治时间,也可以是5分钟以内这样的相对时间。在上述美国专利申请09/894,060中论述了一系列用于建立观看会话的菜单。优选地,存储设备与处理器处于PVR 114a、b之中,也可以处于与系统110相关联的其它设备中的一个设备之中。优选地,与系统110相关联的程序代码是在存储设备中并由处理器来进行处理。
两个以上的用户可以参与一个同步的观看会话;举例来说,位于三个或三个以上的远端位置中的用户可以通过电话、菜单、电子邮件、因特网聊天等等来进行相互安排,以便同时观看一个特定节目。在会话期间,观众既可以放弃会话,也可以被添加到会话中。当任何一个会话参与方执行控制功能(例如开始、暂停、倒退、快进)的时候,所述参与方的PVR114b广播一个关于这个功能的命令,所述命令直接传递并在每一个参与方的PVR114b中实现,以便保持呈现的同步。为确保参与会话的PVR114a、b保持同步,“发起方”,即启动会话的PVR114a将会周期性地发送一个状态消息。所述状态消息也是与响应于参与方执行控制功能而被广播的每一个命令一起发送的。该状态消息包含了一个正被观看的节目的指示,当前观看模式(例如正常播放、快进、暂停),一个进入节目的时间的指示以及表征数字比特流内容的信息,其中回放是从所述数字比特流中产生给消息发送方的。通过在消息接收方的PVR 114b上把矛头直接指向在正在观看的相似内容上,可以使用所述特征信息来对同步进行“精密调整”。
图2提供了对于依照本发明的示范性PVR114a的更详细的考察。尽管在这里显示了发起方PVR并且由此使用了后缀“a”,但是由于发起方的角色会在会话中切换到执行控制功能的最晚的PVR,因此任何一个参与方PVR通常都会具有相同的结构。PVR114a包括一个接收机113a和一个视频处理单元201,所述视频处理单元包括微处理器202、遥控传感器204以及数字存储器206。微处理器202包括图像或视频播放器208、流特征单元210、视频计时器212以及周期计时器213。数字存储器206则包括同步寄存器214、签名处理工作区216、视频块218、状态缓冲器220以及杂项存储器222。遥控传感器204接收一个来自电视122a的用户或观众所操作的遥控器116a的信号,并且将一个相应信号传送到微处理器202。所述微处理器202则对数字存储器206进行读写。
图3更详细地显示了数字存储器206的一个示范性结构。同步寄存器214是左移和非圆形的,其中包含了条目302、304、306以及用点表示的其它插入条目。视频块218包括一个具有视频帧K、K+L、N、N+M以及用点表示的引导和插入帧的节目或视频308。介于帧K与N之间的某些帧包括对应于当前存在于寄存器214之中的相应条目。因此举例来说,条目302包括一个指向帧K的指针K以及一个对应于帧K播放时间的时间戳K。条目304包括一个指向帧K+L的指针K+L和一个对应于帧K+L播放时间的时间戳K+L。介于帧K与K+L之间的点则表示存在插入帧;然而在同步寄存器214中并没有对应条目。缺乏对应的原因则是帧K和K+L都是“ I帧”,而插入帧K与K+L之间的帧都不是“I帧”。
同步寄存器214中的所有条目都属于I帧,也就是说,每一个指针和相关时间戳都涉及视频308中的一个I帧。条目306包括一个指向帧N的指针N,其中所述帧是一个I帧,此外该条目还包括一个对应于帧N播放时间的时间戳N。每一个条目都是通过同步寄存器214左移条目长度而被创建的,这个条目长度对所有条目来说都是相同的,在播放条目所引用的帧(也就是I帧)的时候,条目是从右边加载到寄存器214中的。视频308的呈现跨越了与包含一个指向视频308的帧的指针的条目中的时间戳相对应的所有时间。所述状态缓存器220包含关于回放状态的当前数据。处于杂项存储器222中的则是处理过程中需要的任何数据,例如出现在菜单屏幕保护字段的数据、错误消息等等。
图4描述的是本发明中的一种可能的消息流设计,用于确定两个PVR114a、b的视频计时器212的相应定时中的未对准(如果存在的话),以便能对这些计时器进行同步。为了简化描述,以下论述集中在会话发起方与单个参与方之间的同步上,因为发起方是通过执行相同处理来对每一个参与方进行同步并由此对所有参与方进行同步的。如上所述,“发起方”可以在会话中发生改变。每次在参与方改变观看模式,即执行一个控制功能(倒回、快进等等)的时候,参与方都会向所有其它参与方(包括当前“发起方”)广播一个命令并且由此变成新的发起方。
时间同步可以通过多种不同的已知方式实现。网络中的分布式处理器(节点)可以通过周期性地广播其相应的时钟值来保持同步。参见“Fault-Tolerant Clock Synchronization for DistributedSystems with High Message Delay Variation(用于具有高消息延迟变化的分布式系统的容错时钟同步)”,Azevedo、Marcelo Moraesde等人,Irvine,加利福尼亚(1995)。在源和目的地处理器之间可以中继同步消息,其中中继节点丢弃失那些识别为来自故障节点的消息。参见“Communication Protocols for Fault-Tolerant ClockSynchronization in Not Completely Connected Networks”,Pfluegl、Manfred J.等人,Irvine,加利福尼亚(1992)。
在这里描述的实施例中,时间同步是由发起方PVR114a单独与每一个参与方PVR114b执行的,其中包括将一个始发同步消息402从发起方PVR114a发送到参与方PVR114b,以及将一个应答同步消息404从参与方PVR114b发送到发起方PVR114a.假设从发起方PVR114a到参与方PVR114b以及从参与方PVR114b到发起方PVR114a的传送时间是可变的。此外还假设应答消息404的传送时间近似等于应答消息所应答的始发消息402的传送时间。如下所述,相应的传送时间之间的差是通过基于发起方和参与方的相应数字比特流内容的当前创新的“精密调整”对准来解决的。
在图4中用“情况1”标记的计时器或时间同步的第一示范性情况中,发起方PVR114a将一个始发同步消息402发送到参与方PVR114b。所述消息402是依照发起方PVR114a的视频计时器212而在0时0分2秒的时间A发送的。消息402则是在参与方PVR114b的视频计时器212标明0时0分3秒的时间B到达参与方PVR114b的。参与方PVR114 b在参与方PVR114b的视频计时器212标明0时0分4秒的时间C回送一个应答同步消息404。在发起方PVR1114a的视频计时器212标明0时0分5秒的时间D,所述消息404由发起方PVR114a所接收。
发起方与参与方PVR114a、b的相应视频计时器212之间的时间失调(misregistration)TM是由以下公式给出的:
TM=1/2[(A+D)-(C+B)]                  (1)
在第一情况中,时间失调为1/2[(2+5)-(4+3)]=0秒,也就是说,这两个计时器212是完全同步的,对消息402和404中的每一个消息而言,大小为一秒的传送时间导致这个情况中的定时。
在情况2中,始发同步消息402是从发起方发送到参与方PVR114b的,应答同步消息404则是从参与方发送到发起方PVR114a的。在情况2中,时间失调是1/2[(2+3)-(4+3)]=-1秒。在这里,发起方的视频计时器212滞后参与方的计时器212,传送时间可以忽略并且定时差几乎完全是由这两个视频计时器212之间的失调造成的。时间失调的大小是一秒。而时间失调的符号则表示发起方是否滞后参与方,反之亦然。如果像当前情况那样符号为负,那么发起方滞后参与方;如果符号为正,那么参与方滞后发起方。
在情况3中,始发同步消息402是从始发端发送到参与方PVR114b的,应答同步消息404则是从参与方PVR114b发送到发起方PVR114a的。在情况3中,时间失调是1/2[(2+6)-(4+3)]=1/2秒;事实上,传送时间是1/2秒并且参与方滞后发起方1/2秒。也就是说,当发起方PVR114a的视频计时器212标明
Figure A0282466800171
秒时,消息402到达参与方PVR114b,与此同时,参与方PVR114b的视频计时器212标明为3秒,这个 3 1 2 - 3 = 1 / 2 的第二差值表示的是值为1/2的第二时间失调大小。因此在一秒之后,当发起方PVR114a的计时器212标明
Figure A0282466800173
秒时,参与方发送应答消息404,所述消息将会在一个
Figure A0282466800174
秒的传送时间之后并在发起方PVR114a的计时器212标明6秒的时候到达。
图5描述的是本发明中用于执行时间同步的消息格式的一个实例。回过来参考图4中的情况1、2或3中的任何一个,如图4中的第一格式所示,在发起方PVR114a传送始发消息402时,所述始发消息402具有一个包括时间戳A(对应于图4中的时间A)的字段510。一旦到达参与方PVR114b,则如第二格式所示,包括时间戳B的字段520将被添加给所述始发消息402。在将应答消息404回送给发起方PVR114a之前,如第三格式所示,参与方PVR114b还添加了一个包括时间戳C的字段530,以便将始发消息402转换成应答消息404。发起方PVR114a在时间D(如图4)接收应答消息404,基于公式(1)来计算时间失调TM,并且将计算得到的时间失调540放入状态消息550,此外发起方还将节目标识符560、观看模式570,查询签名580以及查询时间戳590插入所述消息。节目标识符560标识当前播放的视频308。如下文进一步论述的那样,观看模式570是用于控制PVR114a、b的处理的控制信息并且表示PVR114a、b的状态。
查询签名580是表征数字比特流的内容的信息,其中发起方从所述数字比特流中重放它自己的视频308的拷贝。这个信息与基于参与方视频308的拷贝而导出的签名相比较,以便对参与方回放其视频308的拷贝以及发起方回放视频308的拷贝的同步进行精密调整。
在本发明中,在本发明第一次迭代中与查询签名580(也就是I帧签名,因为查询帧是一个I帧)进行比较的签名即为时间戳最接近查询帧时间戳590的参与方PVR114b的I帧的签名。带有最近时间戳的候选参与方的帧(也是I帧,因为所有候选参与方的帧都是I帧)即为参与方的第一个候选帧。随着每一次迭代而在参与方比特流中逐渐增进的后续候选参与方的帧逐一与查询帧进行比较。对每一个候选参与方的帧来说,在候选参与方的帧与查询帧的签名之间进行了相应的汉明距离计算。本发明中的签名是通过Dimitrova中公开的技术来计算的。通过确定所有迭代上的最小汉明距离,来识别那些在内容上最类似查询帧的参与方的帧,并且累积的帧将会下移参与方的图像帧序列,以便到达所识别的帧,对应于发起方回放与参与方回放之间的“帧失调”估计。在下文中使用“帧失调”来指示这两个回放在内容上的不重合。在估计了帧失调的时候,参与方于是通过快进或倒回其视频308的拷贝来补偿帧失调。
有这样一种情况,其中参与方在没有估计帧失调的情况下执行快进,这种情况出现在参与方新近加入一个正在进行的会话的时候。由于新的参与方通常需要大规模快进其回放来赶上发起方的,因此,除非新的参与方的回放首先前进到对发起方的视频时间进行近似的“视频时间”中的某个点,否则对帧失调所进行的估计将会变得非常麻烦。
首先,为了加入一个当前活动的同步观看会话,可能的参与方PVR114b的用户经由电话124或是菜单屏幕来请求征得当前参与方PVR114a、b的用户的同意,然后则借助菜单屏幕来进行签名。如果当前参与方PVR114a、b的用户同意,则可能参与方PVR114b变成一个新的参与方PVR114b,以便与发起方PVR114a进行同步。
如图6中正在进行的会话参加处理所示,新的参与方PVR114b向发起方PVR114a告知它正在加入当前会话(步骤S602)。作为响应,发起方PVR114a向新的参与方PVR114b发送一个始发同步消息402(步骤S604)。一旦进行了接收,则新的参与方PVR114b提升其视频计时器212的时间计数,以使时间计数值匹配于消息402中包含的时间戳A,相应地,对其视频308的拷贝执行快进(步骤S606)。在回放中通过快进到达一个点,该点对应于提升的时间计数的值,所以新参与方的回放在内容上赶上了发起方回放。然后,新参与方PVR114b向发起方PVR114a传送一个参加请求消息(步骤S608),以便借助帧同步之后的时间同步来对其与发起方PVR114a的同步继续进行精密调整。
图7A和7B是依照本发明的时间同步实例的流程图描述。在当前实例中存在五种同步处理的可能触发事件:(1)开始一个会话,(2)发起方的周期计时器213终止,(3)控制功能启动,(4)接收到重试请求消息,或者(5)接收到一个参加请求消息(步骤S701)。发起方的周期计时器213在发起方再次对会话参与方进行同步之前对时间间隔进行计数。重试请求消息则是在尝试进行帧同步失败的时候由参与方发布给发起方的,所述消息请求在预定时段之后重新尝试与参与方进行同步。
对步骤S701中的五种事件中的前三种事件来说,发起方PVR114a同步于所有参与方PVR114b;而对后两种事件来说,发起方PVR114a只与其中一个参与方PVR114b同步,在这种情况下,由于所同步的仅仅是一个单独的参与方PVR114b,因此发起方PVR114a的周期计时器213并不复位。在步骤S702中将会对是否触发事件是后两种事件之一进行检查。如果不是的话,则发起方复位其周期计时器(步骤S703)。
接下来,发起方PVR114a的微处理器202检查其视频计时器212,并将其时间计数作为时间戳A放入始发同步消息402的字段510,以及发送所述消息402(步骤S704)。一旦接收到消息402,则参与方PVR114b的处理器202对其视频计时器212进行检查并将时间计数作为时间戳B保存在消息402的字段520中。参与方的PVR114b还对始发同步消息402进行扩充,由此通过创建字段530以及将来自参与方视频计时器212的时间戳C放入消息402的字段530而将所述始发同步消息402变换成应答同步消息404。然后,参与方PVR114b立即将应答消息404发送到发起方PVR114a(步骤S705)。一旦接收到应答消息404,则发起方微处理器202在视频计时器212中检查接收时间,也就是时间D,此外发起方微处理器202还将所述时间D与消息404的字段中的时间戳结合使用,以便根据公式(1)来确定时间失调540,也就是TM。
在计算时间失调之前或同时,发起方微处理器202选择一个查询帧。优选地,所述查询帧是发起方刚刚播放或最近播放的帧,这样一来,查询帧内容及其相应时间戳表示的是所述回放在特定时间时在内容中所在的位置,其中所述特定时间即为当前。在任何情况下,选定的查询帧仍表示为发起方同步寄存器214中的条目,所述寄存器在其回放过程中不断移出(非循环移位寄存器通过移出数据来删除数据)条目。流特征单元210则为查询帧计算查询签名550(步骤S706)。
发起方微处理器202从查询时间戳590中减去时间失调TM,以便从查询时间戳590中后退所计算的时间失调540(如果存在的话)(步骤S708),其中所述查询时间戳590即为沿着指向查询帧的指针驻留的同步寄存器条目中的时间戳。退出(back out)时间失调540将会标准化一个对内容上最类似查询帧的参与方的帧进行搜索的范围布局和大小。因此,尽管向时间计数中添加了时间失调540(步骤S714),但是将会从查询时间戳590中减去所述时间失调。
然后,发起方的微处理器202从状态缓冲器220中检索节目标识符560以及观看模式570,并且将其与时间失调540、查询签名580以及经过修改的查询时间戳590一起存入状态消息550。然后,发起方的微处理器202将状态消息550发送到参与方(步骤S710)。
一旦接收到消息550,则参与方微处理器202对消息中的节目标识符560及其状态缓冲器220中其自身的节目标识符560进行比较,以确保参与方的用户与发起方的用户当前正在观看的视频相同(步骤S712)。如果不同的话(步骤S714),那么由于在同步观看会话中所有参与方意图同时观看同一节目,因此参与方微处理器将会从杂项存储器222中检索一个错误消息并将这个消息发送给发起方(S716)。否则,如果参与方正在观看同一节目,那么参与方微处理器将会检查消息550中的观看模式570(S718)。如果所述模式匹配于参与方状态缓冲器220中的当前观看模式,则继续进行处理。如果不匹配,则参与方微处理器202向其PVR114b发布一个控制功能,以便立即转换其当前观看模式,从而匹配于在消息550中接收的观看模式,也就是例如响应于发起方的快进或倒回而进行快进或倒回(步骤S720)。此外,参与方微处理器202在其状态缓冲器220中也在观看模式方面进行了相应变化。
在任何情况下,如果参与方与发起方的节目标识符匹配,那么如果时间失调为正,则参与方微处理器202通过将其视频计时器212的时间计数提升时间失调的大小来补偿时间失调,如果时间失调为负,则所述微处理器通过将其视频计时器212的时间计数反转时间失调的大小来补偿所述时间失调(步骤S722到S728)。(时间计数的提升或反转是在未曾对视频308的播放执行任何相应的快进或倒回操作的情况下执行的,在后续的帧补偿中,取而代之的是关注这些后面的功能),优选地,时间失调补偿(或“时间补偿”)(如果有的话)是在参与方响应于消息550而对观看模式方面做出改变(如果有的话)的同时由所述参与方来执行的。
在一个替换实施例中,发起方可以与参与方共享时间补偿任务。特别地,除了发起方之外,如果会话只包括一个参与方,那么所述发起方完全可以承担时间失调补偿并且消除状态消息550中用于保持时间失调字段540的开销。对所述发起方来说,另一个选择是仅仅承担快进或是倒回任务并向参与方委派其它任务,也就是快进或倒回。作为一种进一步的增强,如果计算得到的时间失调TM超出预定阈值,则发起方与参与方可以同时桥接间隙,其中一个倒回而另一个快进,以便更快地实现同步。
此外,无论如何,本发明都不局限于任何特定的时间同步方法。
在时间补偿之后,参与方继续确定帧失调,如果存在帧失调,则通过对所述帧失调进行补偿来实现帧同步。在图8中继续进行的流程中更全面地详细描述了用于确定帧失调与响应补偿的示范性处理。首先是初始化迭代过程中的变量(步骤S802)。MINOFF是所考虑的任何候选帧的最小偏移。MINOFF与ITERATION COUNT则设定为0。MINDIST表示的是查询帧与经过检查的参与方的帧之间的当前最小汉明距离,所述MINDIST初始化为K,其中将K设定成大到足以在第一次迭代开始时表明仍未发现匹配。
“搜索范围”定义的是参与方比特流中的候选帧范围。而SEARCHRANGE则设定为预定数目“N”,也就是搜索范围中的I帧数目。此外还确定了搜索范围(步骤S802),以使关联于最接近时间戳并与作为同步寄存器214中条目的时间戳处在一起的帧指针指向搜索范围中间的帧。“N”可以根据预期的帧失调程度而发生变化;越大的“N”则提供越广阔的搜索,由此顾及了响应于已确定的失调的更大补偿。
值“N”也可以根据始发消息402及其对应的应答消息404的传送时间中预期的不同而变化,这是因为这种不同将会导致计算得到的时间失调失真,相应地,所述不同还导致从查询时间戳中退出的时间量失真。由于所述退出过程标准化了搜索范围的布局,因此越大的“N”为补偿失真提供的搜索范围也就越大。如上所述,本发明的方法假设这两个传送时间相等,但是借助于上述机制,本发明的方法也能对这种不等加以补偿。
OFFSET是与当前候选帧所在的SEARCH RANGE中心之间的偏移。由于当前候选帧一开始与具有最早时间戳的帧都处于搜索范围末端,因此将OFFSET初始化为-N/2。
在步骤S803,参与方将查询时间戳590与其同步寄存器214中的每一个时间戳进行比较,以便确定最接近的时间戳。作为一种对寄存器214中的每一个时间戳进行比较的替换方案,所述比较可以在查询时间戳与任何一个比较中的时间戳之间的差低于预定阈值的时候终止,因此将其视为代表匹配。
在开始迭代的时候,CURRENT FRAME(当前帧)被设定成指向中心帧之前的帧N/2I帧,也就是在时间上处于搜索范围最早端(开端)(步骤S804)。当前帧与查询帧的签名之间的汉明距离是由参与方微处理器202借助于Dimitrova中描述的技术来计算的(步骤S806)。所述汉明距离表示的是当前帧与查询帧之间内容的相似程度;较小的汉明距离表示较高的相似性,而较大的距离则表示较小的相似性。所述计算使用的是在签名处理工作区216中提供的存储器。
如果由变量HAMMING DISTANCE表示的当前汉明距离小于MINDIST(步骤S808),则对MINDIST以及MINOFF进行更新(步骤S810)。最终,MINOFF对应于在快进或倒回中遇到的I帧数目,从而对帧序列失调进行校正。
一旦更新了最小距离MINDIST以及最小偏移MINOFF,则将OFFSET以及ITERATION COUNT递增1,并且将下一个I帧指定成为另一次迭代准备的CURRENT FRAME(步骤S812)。如果ITERATION COUNT小于SEARCH RANGE(步骤S814),则执行另一次迭代。否则将MINDIST与K进行比较(步骤S816)。如果MINDIST小于K,则表明已经发现匹配,那么参与方将会快进,也就是说,与正常播放视频中的移动(步骤S820)相比,参与方会快进,也就是更快地在视频308前进正值MINOFF(步骤S822);或者倒回,也就是在视频中后退(步骤S824)一个负值MINOFF(步骤S826),在其视频比特流中后退|MINOFF|个I帧来补偿帧失调,其中|MINOFF|表示的是MINOFF的绝对值或是大小。因此在回放视频308的过程中,尽管参与方视频播放器208是通过前进其视频流来回放流的内容的,但是所述处理将会分别根据MINOFF的符号和大小而对方向和大小加以修改,其表示的是在参与方特征信息与发起方的相应比特流之间的比较。需要注意的是,一种倒回的替换方案是减速视频播放器208的前进或是在一个基于|MINOFF|的时段暂停视频播放器208的前进,如果|MINOFF|很小,那么这将是一种可行的技术。作为另一种选择,通过实现视频播放器208,可以在视频308中继续前进或后退一个以MINOFF的值为基础的“视频时间”量。视频时间的递增或递减可以从MINOFF引用的表格中加以确定,也可以通过算术方式来对其进行计算。作为选择,视频时间中的前向和/或后向移动可以由一个预定指令的复合集合来指示,诸如一个宏,例如前进时间X或后退一个I帧。
另一方面,如果MINDIST仍旧等于K,则确定没有发现查询帧的匹配。结果,参与方PVR114b启动其周期计时器,所述计时器会在一个预定时段之后终止。在周期计时器终止时,参与方PVR114b向发起方发送一个重试请求消息(步骤S828)。
与时间补偿的情况一样,在替换实施例中,帧补偿任务可以在发起方与参与方之间得到共享。
举例来说,在操作中,视频308的可能观众例如借助电话124a或是使用遥控器116a来操纵并完成一个出现在电视122a上的菜单,由此与其它可能观众安排一个特定视频开始时间。举例来说,菜单模板处于杂项存储器222中。然后,充当同步观看会话发起方的可能观众借助一个启动菜单来调度会话,从而在视频开始时间启动。举例来说,每一个会话参与方的视频计时器212都在0时0分0秒启动,以便播放其各自的视频308的本地拷贝。视频308的每一个本地拷贝实质是相同的;但是举例来说,这些拷贝在压缩技术、所用参数、精确控制功能速度以及视频节目中的精确起点方面也可以是不同的。
在时间补偿之后,参与方PVR114b补偿帧失调,这个操作有可能需要对回放执行倒回或快进操作,并且这时将会中止向同步寄存器214中添加条目。如果所述补偿需要执行倒回,则在回放进行到条目不再预先存在于寄存器214之中的点的时候,恢复向寄存器214中添加条目;如果需要执行快进,则条目的添加将会随着快进的目的地帧而恢复。
优选地,为了保持呈现同步,时间和帧同步是周期性执行的。还优选的是,所述时间和帧同步是使用PVR114a、b发布的每一个功能控制命令来加以实现的,所述发布是例如作为观看呈现的用户对PVR114a、b的输入装置执行的改变观看模式的交互操作的结果。在后一种情况中,用户的PVR114a、b变成新的发起方PVR114a,其中所有参与方PVR114b与之保持同步,直到另一个参与方PVR114b通过广播一个其它参与方PVR114b遵循其控制功能的命令而承担发起方PVR114a的角色为止。因此,接收到一个改变观看模式的命令的发起方PVR114a知道它不再是发起方PVR114a,而发布该命令的参与方PVR114b则知道现在它是发起方PVR114a。
这里公开的实施例仅仅是本发明的例证。举例来说,当观看模式发生变化的时候,节目标识符560和观看模式570可以在没有伴随的时间失调540、查询签名580以及查询时间戳590的情况下得到广播,由此所有接收方PVR将会更快地实施新的观看模式。作为选择,举例来说,只有在选定观看模式转换成快进或倒回的情况下才能够无伴随地传送观看模式570。事实上,无论观看模式是否变化,查询签名580和查询时间戳590都可以与时间失调540、节目标识符560以及观看模式570分离发送;也就是说,可以以异步方式来计算和补偿时间失调以及帧失调。
尽管为了简化说明,附图和部分说明书描述或引用了一个用于对两个比特流的呈现进行同步的会话,但是应该理解,本发明的范围适用于对多个比特流的呈现进行同步。因此,举例来说,在显示或引用了一个发起方PVR和一个参与方PVR的情况下,所述实施例是结合了一个发起方PVR以及多个参与方PVR来进行操作的。
在这里将发起方PVR114a描述为接收和响应那些来自发出请求的参与方的重试请求消息,但是作为选择,任何其它参与方也可以接收和响应所述重试请求消息。
尽管这里将视频308的拷贝描述为是从广播中记录的,但这并不是一种限制。从服务供应商那里可以下载所述视频拷贝或是将包含视频拷贝的光盘插入相应的PVR。同步回放的视频拷贝既不必处于远端,也不必在本地处于其相应的PVR中。
在上述实施例中,在确定帧失调的过程中只对I帧加以考虑。与Dimitrova中一样,在本发明中也可以将关键帧而不是I帧用作典型帧。对每一个参与方来说,不管使用何种压缩技术,关键帧的集合大致都是相同的,由此提供了精确的帧序列失调判定,并且由此提供了精确的同步。作为选择,在这里可以将所有帧视为典型帧,其中签名判定则遵循Dimitrova中规定的过程。
本发明的范围并不局限于Dimitrova签名。在授予Lord等人的名为“Method for Confirming the Integrity of an Image Transmittedwith a Loss(用于确认有损失地发送的图像的完整性的方法)”的美国专利6,266,429中论述了用于创建签名的其它技术,所述专利在此全部引入作为参考。
这个发明通常适用于对两个或更多数字比特流的可再现内容的呈现进行同步。所述呈现可以只是可视或可听的,也可以是既是可视又是可听的。所述比特流不必包含图像和音频数据。因此,特征信息可以表征看得见的图像或是听得到的声音。此外特征信息不必包含签名。举例来说,可以适当地使用图像和/或音频变换系数来表征比特流的内容。
如以上实施例所述,签名是在在必要的时候“动态(on the fly)”导出的,但是作为选择,更快的同步处理是在例如PVR114接收到一个稍后时间将要重播的广播的同时通过预先计算签名来实现的。在接收时可以通过部分解压缩所广播的数字比特流来导出签名,其中所述签名是由数字比特流中嵌入的相应标签保存和引用的。在回放过程中,每一个标签都被用于召集相应的查询或候选帧签名。因此,在形成查询同步消息和/或匹配候选帧签名以及输入查询签名的过程中将会免除采取“动态”导出的需要。
此外,本发明可以通过使用水印或文本标签而不是签名来实现。所述水印故意将噪声周期性地引入内容中,其中举例来说,所述周期可以是一秒。文本标签则是一个文本形式的标识符。流特征单元从包含视频308的数字比特流中导出水印或标签,以此作为表征比特流内容的信息。在经过时间同步之后,内容上的对准是通过将每一个水印或标签关联于一个相应时间来实现的。
因此,虽然在这里示出、描述和指出了应用于本发明优选实施例的本发明的基础新颖特征,但是应该理解,本领域技术人员可以在不脱离本发明实质的情况下对所描述的设备的形式和细节及其操作进行不同的省略、替换和改变。举例来说,这些部件和/或通过使用实质相同的方式来执行实质相同功能,进而实现相同结果的方法步骤都处于本发明范围以内。此外应该承认的是,作为常规设计选择,结合本发明的任何公开形式或实施例所示出和/或描述的结构和/或部件和/或方法步骤可以引入任何其它公开、描述或建议的形式或实施例。因此,本发明仅仅由附加于此的权利要求的范围表示。

Claims (27)

1.一种用于对至少两个处于相应存储介质中的数字比特流的可再现内容的呈现进行同步的设备,其中所述设备包括:
一个流特征单元(210),用于导出表征所述流之一的内容的信息;
用于接收一个携带表征其它流的内容的信息的信号的装置;
用于将所述一个流的所述信息与其它流的所述信息进行比较的装置;
一个播放器(208),用于在所述一个流中向前进展,以便回放所述一个流的内容;以及
通过根据所述比较装置进行的所述比较来修改所述进展以便同步所述呈现的装置。
2.权利要求1的设备,其中所述流包括图像数据并且所述呈现至少部分可视。
3.权利要求1的设备,其中所述流包括音频数据并且所述呈现至少部分可听。
4.权利要求1的设备,其中所述呈现跨越第一时间和第二时间,并且所述一个流的所述内容以及所述其它流的所述内容在所述第一时间属于所述流的相应的第一部分,并且在所述第二时间属于所述流的相应的第二部分。
5.权利要求1的设备,其中所述信号包含用于控制所述其它流的处理来实现所述同步的控制信息(570)。
6.权利要求1的设备,还包括输入装置,所述输入装置被配置成导致由用户响应于所述其它流的再现而通过所述输入装置的交互操作发布一个功能控制命令,其中所述命令会导致产生表征所述其它流的内容的所述信息。
7.权利要求1的设备,其中所述播放器(208)将所述内容作为从所述一个流中导出的可观看图像来进行回放,所述回放与在另一个显示器(122a)上回放从所述其它流中导出的可观看图像同步地在显示器(122b)上产生所述可观看图像。
8.权利要求1的设备,其中所述一个流包括图像数据并且在经由图像变换而进行解压缩之前具有部分解压缩的形式,其中所述图形变换对图像数据的频率分量进行操作,所述导出是在没有进一步解压缩的情况下基于所述部分解压缩形式的所述流而被执行的。
9.权利要求1的设备,其中所述导出是在所述存储所述一个流之前进行的,并且其中所述存储的流具有嵌入的标签,该标签引用的是所述特征信息的相应部分。
10.权利要求1的设备,其中所述设备包括个人录像机(114b)。
11.权利要求1的设备,还包括:
一个第二流特征单元(210),用于导出表征其它流的内容的所述信息;
用于从第二流特征单元导出的所述信息中形成所述信号的装置;以及
用于输出所述信号的装置。
12.权利要求11的设备,还包括:
一个第三流特征单元(210),用于导出表征具有可再现内容并且处于第三存储介质中的第三数字比特流内容的信息;
用于接收一个携带表征所述其它流内容的信息的信号的装置;
用于对第三流的所述信息以及其它流的所述信息进行比较的装置;
一个播放器(208),用于在所述第三流中向前进展,以便回放所述第三流的内容;以及
基于对第三流的所述信息进行比较的所述装置所进行的所述比较来对所述第三流中的所述前进进行修改从而同步所述呈现的装置。
13.权利要求1的设备,其中所述特征信息是水印。
14.权利要求1的设备,其中所述特征信息是文本标签。
15.权利要求1的设备,其中所述特征信息是数字签名。
16.权利要求1的设备,其中所述修改包括修改所述进展的方向。
17.权利要求1的设备,其中所述修改包括修改所述基站的大小。
18.权利要求1的设备,其中所述比较装置进行的所述比较的一个输出是帧内编码帧的一个计数。
19.权利要求1的设备,还包括一个播放器,用于在所述其它流中向前进展,以便回放所述其它流的内容;
其中用于同步所述呈现的所述装置根据所述比较装置进行的所述比较来修改所述其它流中的所述进展。
20.权利要求1的设备,其中所述修改快进所述回放。
21.权利要求20的设备,还包括一个视频计时器(212),该计时器保持一个与所述回放相一致的时间计数,其中所述快进是达到所述回放中的对应于所述时间计数的预定值的一个点。
22.权利要求1的设备,其中所述修改倒回所述回放。
23.权利要求1的设备,其中所述修改暂停所述回放。
24.权利要求1的设备,其中所述修改包含从由以下操作组成的组中选择的修改的组合:快进、倒回、减慢和暂停所述回放。
25.一种用于对至少两个处于相应存储介质中的数字比特流的可再现内容的呈现进行同步的方法,其特征在于所述方法包括以下步骤:
导出表征所述流之一的内容的信息;
将所述信息与表征其它流的内容的信息进行比较;
在所述一个流中向前进展,以便回放所述一个流的内容;以及
根据所述比较装置进行的所述比较来修改所述进展,从而同步所述呈现。
26.一种用于对两个或更多处于相应存储介质中的数字比特流的可再现内容的呈现进行同步的方法,所述内容是通过在所述两个或更多流中向前进展而被回放的,其特征在于所述方法包括以下步骤:
接收所述数字比特流中的一个;
导出表征所述接收到的流的内容的信息;
输出一个携带所导出的信息的信号;
接收所述信号;
将所述接收到的信号中的特征信息与表征不同于所述接收到的流的一个或多个所述数字比特流的内容的相应信息进行比较;以及
根据所述一个或多个比较来修改所述相应回放的所述进展,以便同步所述呈现。
27.一种计算机程序,用于对至少两个处于相应存储介质中的数字比特流的可再现内容的呈现进行同步,其特征在于所述程序包括:
导出表征其中所述流中的一个流的内容的信息的指令装置;
用于将所述信息与表征其它流的内容的信息进行比较的指令装置;
用于在所述一个流中向前进展,以便回放所述一个流的内容的指令装置;以及
基于用于比较的所述指令装置所进行的所述比较来修改所述进展从而同步所述呈现的指令装置。
CNB028246683A 2001-12-11 2002-11-20 根据比特流内容而对来自比特流的呈现进行同步的设备和方法 Expired - Fee Related CN1316819C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/014,225 US7269338B2 (en) 2001-12-11 2001-12-11 Apparatus and method for synchronizing presentation from bit streams based on their content
US10/014,225 2001-12-11

Publications (2)

Publication Number Publication Date
CN1602628A true CN1602628A (zh) 2005-03-30
CN1316819C CN1316819C (zh) 2007-05-16

Family

ID=21764208

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028246683A Expired - Fee Related CN1316819C (zh) 2001-12-11 2002-11-20 根据比特流内容而对来自比特流的呈现进行同步的设备和方法

Country Status (10)

Country Link
US (1) US7269338B2 (zh)
EP (1) EP1491042B1 (zh)
JP (1) JP4870330B2 (zh)
KR (1) KR100923910B1 (zh)
CN (1) CN1316819C (zh)
AT (1) ATE478521T1 (zh)
AU (1) AU2002347525A1 (zh)
DE (1) DE60237403D1 (zh)
ES (1) ES2351035T3 (zh)
WO (1) WO2003051046A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502111B (zh) * 2005-04-15 2011-03-30 微软公司 同步化媒体体验
CN107093100A (zh) * 2009-09-14 2017-08-25 TiVo解决方案有限公司 多功能多媒体装置

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366398B2 (en) * 2002-06-25 2008-04-29 International Business Machines Corporation Personal video recording with storage space requirement checking
US7433582B2 (en) 2002-06-25 2008-10-07 International Business Machines Corporation Personal video recording with machine learning for messaging
US7532809B2 (en) * 2002-06-25 2009-05-12 International Business Machines Corporation Personal video recording with pools and groups
US8867904B2 (en) * 2002-06-25 2014-10-21 Google Inc. Personal video recording with apportioned loans of storage space
US7529471B2 (en) * 2002-06-25 2009-05-05 International Business Machines Corporation Personal video recording with storage space loans
US8417781B2 (en) * 2002-06-25 2013-04-09 International Business Machines Corporation Personal video recording with messaging
US7295753B2 (en) * 2002-06-25 2007-11-13 International Business Machines Corporation Personal video recording with further compression of recorded shows
US7474832B2 (en) * 2002-11-21 2009-01-06 International Business Machines Corporation Personal video recording with storage space distributed among remote personal video recorders
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US8321534B1 (en) 2003-10-15 2012-11-27 Radix Holdings, Llc System and method for synchronization based on preferences
JP4227509B2 (ja) * 2003-12-15 2009-02-18 キヤノン株式会社 通信端末装置及びその制御方法
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8190680B2 (en) * 2004-07-01 2012-05-29 Netgear, Inc. Method and system for synchronization of digital media playback
MX2007002071A (es) * 2004-08-18 2007-04-24 Nielsen Media Res Inc Metodos y aparatos para generar firmas.
HUE053882T2 (hu) * 2004-10-05 2021-07-28 Vectormax Corp Eljárás és rendszer multimédia adat adatszórására
US7870589B2 (en) * 2004-11-23 2011-01-11 Palo Alto Research Center Incorporated Method for providing commentary audio and additional or replacement video content
US7818771B2 (en) * 2004-11-23 2010-10-19 Palo Alto Research Center Incorporated Methods, apparatus, and program products for controlling presentation of an experiential data stream responsive to conversations in a shared social space
US7673064B2 (en) * 2004-11-23 2010-03-02 Palo Alto Research Center Incorporated Methods, apparatus, and program products for presenting commentary audio with recorded content
US7814517B2 (en) * 2004-11-23 2010-10-12 Palo Alto Research Center Incorporated Method and apparatus for associating commentary audio with a position in an experiential data stream
US20060112343A1 (en) * 2004-11-23 2006-05-25 Palo Alto Research Center Incorporated Methods, apparatus, and program products for aligning presentation of separately recorded experiential data streams
EP3713244A3 (en) * 2004-11-23 2021-01-06 III Holdings 6, LLC Methods, apparatus and program products for presenting supplemental content with recorded content
US7818770B2 (en) * 2004-11-23 2010-10-19 Palo Alto Research Center Incorporated Methods, apparatus, and program products to support a shared viewing experience from remote locations
US7814518B2 (en) * 2004-11-23 2010-10-12 Palo Alto Research Center Incorporated Methods, apparatus, and program products for presenting replacement content instead of a portion of a recorded content
US7424545B2 (en) * 2004-11-23 2008-09-09 Palo Alto Research Center Incorporated Methods, apparatus, and program products for providing supplemental content to a recorded experiential data stream
US7882530B2 (en) * 2004-11-23 2011-02-01 Palo Alto Research Center Incorporated Method, apparatus, and program products for socially synchronizing an experiential data stream
US7873983B2 (en) * 2004-11-23 2011-01-18 Palo Alto Research Center Incorporated Method and apparatus for controlling an experiential data stream in a social space
US8230456B2 (en) * 2005-01-05 2012-07-24 Yahoo! Inc. Framework for delivering a plurality of content and providing for interaction with the same in a television environment
JP2006270634A (ja) * 2005-03-24 2006-10-05 Victor Co Of Japan Ltd デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム
KR100638138B1 (ko) * 2005-05-24 2006-10-24 주식회사 픽스트리 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법
JP4285444B2 (ja) * 2005-05-31 2009-06-24 ソニー株式会社 再生システム、再生装置、受信再生装置、再生方法
ES2687277T3 (es) * 2005-10-21 2018-10-24 Telefonaktiebolaget Lm Ericsson (Publ) Técnica para realizar un procedimiento de acceso aleatorio sobre una interfaz radio
JP4216308B2 (ja) * 2005-11-10 2009-01-28 シャープ株式会社 通話装置および通話プログラム
WO2007055614A1 (en) * 2005-11-14 2007-05-18 Intel Corporation Structural content filtration of hypotheses in a cognitive control framework
JP5301425B2 (ja) * 2006-03-17 2013-09-25 ソニー株式会社 グループコンテンツプレゼンテーション、およびグループコンテンツプレゼンテーション中のグループ通信を編成するためのシステムおよび方法
US8074251B2 (en) * 2006-06-05 2011-12-06 Palo Alto Research Center Incorporated Limited social TV apparatus
US8082571B2 (en) * 2006-06-05 2011-12-20 Palo Alto Research Center Incorporated Methods, apparatus, and program products to close interaction loops for social tv
KR100825775B1 (ko) * 2006-08-16 2008-04-29 삼성전자주식회사 비디오 데이터 저장 시스템 및 비디오 데이터 저장 방법
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US9071729B2 (en) 2007-01-09 2015-06-30 Cox Communications, Inc. Providing user communication
US20090063994A1 (en) * 2007-01-23 2009-03-05 Cox Communications, Inc. Providing a Content Mark
US8789102B2 (en) 2007-01-23 2014-07-22 Cox Communications, Inc. Providing a customized user interface
US8869191B2 (en) 2007-01-23 2014-10-21 Cox Communications, Inc. Providing a media guide including parental information
US8806532B2 (en) 2007-01-23 2014-08-12 Cox Communications, Inc. Providing a user interface
US9135334B2 (en) 2007-01-23 2015-09-15 Cox Communications, Inc. Providing a social network
US7698263B2 (en) * 2007-01-23 2010-04-13 Cox Communications, Inc. Providing a lateral search
US8189749B2 (en) * 2007-04-17 2012-05-29 At&T Intellectual Property I, Lp Techniques for handling messages in a messaging system
US20080317439A1 (en) * 2007-06-22 2008-12-25 Microsoft Corporation Social network based recording
US8407750B2 (en) * 2007-07-11 2013-03-26 Hewlett-Packard Development Company, L.P. Enabling users of peer to peer clients to socially interact while viewing videos
US8917646B2 (en) * 2007-10-19 2014-12-23 International Business Machines Corporation Detecting and processing corrupted video recordings
US8244102B2 (en) 2007-10-19 2012-08-14 Internationa Business Machines Corporation Detecting and processing corrupted video recordings
US20090204630A1 (en) * 2008-02-13 2009-08-13 Yung-Hsiao Lai Digital video apparatus and related method for generating index information
US20100083324A1 (en) * 2008-09-30 2010-04-01 Microsoft Corporation Synchronized Video Playback Among Multiple Users Across A Network
US8233530B2 (en) * 2008-10-28 2012-07-31 International Business Machines Corporation Video scene matching on return from virtual rendering in a consumer digital video recording device
US20100104258A1 (en) 2008-10-28 2010-04-29 International Business Machines Corporation User-specified event-based remote triggering of a consumer digital video recording device
US8218939B2 (en) 2009-01-14 2012-07-10 International Business Machines Corporation Intelligent synchronization of portable video devices
US9245583B2 (en) * 2009-02-06 2016-01-26 International Business Machines Corporation Group control and messaging for digital video playback sessions
US8428421B2 (en) * 2009-02-06 2013-04-23 International Business Machines Corporation Playback of damaged video media using downloaded content
US8195035B2 (en) 2009-02-06 2012-06-05 International Business Machines Corporation Link-based DVR scheduling with conflict resolution
JP5284534B2 (ja) * 2009-03-16 2013-09-11 コニンクリジケ ケーピーエヌ エヌブィー 変更されたストリーム同期
US8391680B2 (en) * 2009-03-20 2013-03-05 International Business Machines Corporation Genre-based video quota management
JP4878060B2 (ja) * 2009-11-16 2012-02-15 シャープ株式会社 ネットワークシステムおよび管理方法
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US8973049B2 (en) 2009-12-04 2015-03-03 Cox Communications, Inc. Content recommendations
US8832749B2 (en) 2010-02-12 2014-09-09 Cox Communications, Inc. Personalizing TV content
US20110239114A1 (en) * 2010-03-24 2011-09-29 David Robbins Falkenburg Apparatus and Method for Unified Experience Across Different Devices
FR2959372A1 (fr) * 2010-04-23 2011-10-28 Orange Vallee Procede et systeme de gestion d'une session de diffusion en continu d'un flux video affiche en direct
US9167302B2 (en) 2010-08-26 2015-10-20 Cox Communications, Inc. Playlist bookmarking
US8789117B2 (en) 2010-08-26 2014-07-22 Cox Communications, Inc. Content library
US8364013B2 (en) 2010-08-26 2013-01-29 Cox Communications, Inc. Content bookmarking
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
US8782150B2 (en) * 2010-11-09 2014-07-15 Sony Corporation Method and apparatus for enabling device communication and control using XMPP
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US8848024B2 (en) * 2011-03-08 2014-09-30 CSC Holdings, LLC Virtual communal television viewing
JP2012222503A (ja) * 2011-04-06 2012-11-12 Sony Corp 情報処理装置及び方法、並びにプログラム
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
KR20130003544A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 단말 장치들 사이의 콘텐츠 동기화 방법 및 시스템
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
CN103843356B (zh) * 2011-09-30 2018-06-08 英特尔公司 用于多流音频/视频同步的系统、方法和计算机可读存储介质
US20130110900A1 (en) * 2011-10-28 2013-05-02 Comcast Cable Communications, Llc System and method for controlling and consuming content
US9654821B2 (en) 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US10715973B2 (en) 2013-05-29 2020-07-14 Sonos, Inc. Playback queue control transition
US9684484B2 (en) 2013-05-29 2017-06-20 Sonos, Inc. Playback zone silent connect
CN103491317B (zh) * 2013-09-06 2017-01-25 艾迪普(北京)文化科技股份有限公司 一种三维图形图像多屏同步播放方法、设备及系统
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US10104025B2 (en) * 2016-05-23 2018-10-16 Oath Inc. Virtual chat rooms
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
CN106507202B (zh) * 2016-11-11 2019-12-17 传线网络科技(上海)有限公司 播放控制方法及装置
CN116112721A (zh) * 2018-04-24 2023-05-12 谷歌有限责任公司 多个设备上的同步媒体内容回放的方法、系统和介质
CN109348280B (zh) * 2018-10-23 2021-11-09 深圳Tcl新技术有限公司 网络电视节目切换方法、智能电视及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787082A (ja) * 1993-09-14 1995-03-31 N T T Data Tsushin Kk 情報再生方式
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
JPH09275549A (ja) * 1996-04-05 1997-10-21 Omron Corp 画像表示制御方法および装置
US6266429B1 (en) 1998-09-23 2001-07-24 Philips Electronics North America Corporation Method for confirming the integrity of an image transmitted with a loss
KR100317303B1 (ko) * 2000-01-10 2001-12-22 구자홍 방송 프로그램 녹화 및 재생시 a/v와 데이터간 동기화장치
JP2003530030A (ja) * 2000-03-31 2003-10-07 ユナイテッド ビデオ プロパティーズ, インコーポレイテッド ホーム監視供給を有するパーソナルビデオ記録システム
US7127477B2 (en) * 2001-11-06 2006-10-24 Everyware Solutions Inc. Method and system for access to automatically synchronized remote files

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502111B (zh) * 2005-04-15 2011-03-30 微软公司 同步化媒体体验
US8006274B2 (en) 2005-04-15 2011-08-23 Microsoft Corporation Synchronized media experience
CN107093100A (zh) * 2009-09-14 2017-08-25 TiVo解决方案有限公司 多功能多媒体装置
US10805670B2 (en) 2009-09-14 2020-10-13 Tivo Solutions, Inc. Multifunction multimedia device
CN107093100B (zh) * 2009-09-14 2021-01-15 TiVo解决方案有限公司 多功能多媒体装置
US11653053B2 (en) 2009-09-14 2023-05-16 Tivo Solutions Inc. Multifunction multimedia device

Also Published As

Publication number Publication date
EP1491042A2 (en) 2004-12-29
KR100923910B1 (ko) 2009-10-28
JP2005512467A (ja) 2005-04-28
JP4870330B2 (ja) 2012-02-08
CN1316819C (zh) 2007-05-16
ES2351035T3 (es) 2011-01-31
WO2003051046A3 (en) 2003-12-31
KR20040071715A (ko) 2004-08-12
AU2002347525A8 (en) 2003-06-23
EP1491042B1 (en) 2010-08-18
ATE478521T1 (de) 2010-09-15
WO2003051046A2 (en) 2003-06-19
US7269338B2 (en) 2007-09-11
DE60237403D1 (de) 2010-09-30
US20030156827A1 (en) 2003-08-21
AU2002347525A1 (en) 2003-06-23

Similar Documents

Publication Publication Date Title
CN1316819C (zh) 根据比特流内容而对来自比特流的呈现进行同步的设备和方法
US11368732B2 (en) Synchronizing program presentation
EP2351372B1 (en) Stream synchronization for live video encoding
US7633551B2 (en) Compressed timing indicators for media samples
US11729235B2 (en) System and method for synchronizing transmission of media content using timestamps
US20080124052A1 (en) Systems and methods to modify playout or playback
US20080122986A1 (en) Method and system for live video production over a packeted network
JP2008005265A (ja) メタデータ生成装置
JP2008199557A (ja) ストリーム同期再生システム、ストリーム同期再生装置、同期再生方法、及び同期再生用プログラム
JP2005510145A (ja) コマンド付きの放送番組信号、関連コマンド書込み及び読取りシステム、制作及び放送チャネル
WO2007110822A1 (en) Method and apparatus for synchronising recording of multiple cameras
KR102445069B1 (ko) 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법
US20140226956A1 (en) Method and apparatus for changing the recording of digital content
JP2003264815A (ja) 映像情報送受信映像処理方法
KR20000016034A (ko) 압축된 정보 스트림을 스플라이싱하는 방법및 장치
EP1781033A1 (en) Smart-Access Media Transmission System
WO2002062062A1 (en) Method and arrangement for creation of a still shot video sequence, via an apparatus, and transmission of the sequence to a mobile communication device for utilization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070516

Termination date: 20171120

CF01 Termination of patent right due to non-payment of annual fee