CN102349307B - 拼接系统 - Google Patents

拼接系统 Download PDF

Info

Publication number
CN102349307B
CN102349307B CN201080011054.8A CN201080011054A CN102349307B CN 102349307 B CN102349307 B CN 102349307B CN 201080011054 A CN201080011054 A CN 201080011054A CN 102349307 B CN102349307 B CN 102349307B
Authority
CN
China
Prior art keywords
audio
video sequence
video
live
demultiplexing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080011054.8A
Other languages
English (en)
Other versions
CN102349307A (zh
Inventor
L·桑迪
Y·米尔斯基
A·曾特纳
Y·魏因巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synamedia Ltd
Original Assignee
NDS Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NDS Ltd filed Critical NDS Ltd
Publication of CN102349307A publication Critical patent/CN102349307A/zh
Application granted granted Critical
Publication of CN102349307B publication Critical patent/CN102349307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种用于从第一(14)音频/视频序列切换到第二(16)音频/视频序列的系统，第二序列(16)包括拼接点时间戳(12)，该系统包括：存储第一序列的磁盘(18)、将第二序列作为直播音频/视频进行接收的接收机、对来自所述磁盘(18)的第一序列(14)中的至少一些和来自接收机的第二序列(16)中的至少一些进行解复用的解复用器排列(24)(其中，对第一序列进行足够快的解复用，使得第二序列(16)的解复用能够在所述拼接点时间戳(12)之前的多个帧开始)、用于从解复用器排列(24)接收第一序列(14)的解复用的音频/视频和第二序列(16)的至少一部分的解复用的音频/视频以进行存储的缓冲器(28、30)、以及对缓冲器(28、30)中存储的解复用的音频/视频进行解码(其包括对第一序列(14)进行解码，随后从拼接点时间戳(12)对第二序列(16)进行解码)的解码器(34、36)。此外，还描述了有关的装置和方法。

Description

拼接系统
发明内容
本发明在其某些实施例中，寻求提供改善的拼接系统。
本发明在其某些实施例中，在单一视频解码器和/或单一音频解码器环境中，提供视频和/或音频流的无缝拼接。
因此，根据本发明的一个实施例，提供了一种用于从第一音频/视频序列切换到第二音频/视频序列的系统，所述第二音频/视频序列包括拼接点时间戳，所述系统包括多个操作性连接的单元，这些单元包括：磁盘，用于在其中存储包括所述第一音频/视频序列的内容；直播接收机，用于将所述第二音频/视频序列作为直播音频/视频进行接收；解复用器排列，用于对来自所述磁盘的第一音频/视频序列中的至少一些和来自所述直播接收机的第二音频/视频序列中的至少一些进行解复用，所述解复用器排列用于对所述第一音频/视频序列进行足够快的解复用，使得所述第二音频/视频序列的解复用能够在所述拼接点时间戳之前的多个帧开始；缓冲器，用于从所述解复用器排列接收所述第一音频/视频序列的解复用的音频/视频和所述第二音频/视频序列的至少一部分的解复用的音频/视频，以在其中进行存储；解码器，用于对所述缓冲器中存储的解复用的音频/视频进行解码，其包括对所述第一音频/视频序列进行解码，随后从所述拼接点时间戳开始对所述第二音频/视频序列进行解码。
此外，根据本发明的一个实施例，所述第二音频/视频序列的解复用的音频/视频包括不想要的数据，所述不想要的数据从所述拼接点时间戳之前的多个帧开始，直到在所述拼接点时间戳之前为止，所述缓冲器用于丢弃所述第二音频/视频序列的不想要的数据，使得所述解码器不接收所述不想要的数据来进行解码。
此外，根据本发明的一个实施例，所述系统包括布置在所述解复用器排列和所述缓冲器之间的预过滤器，所述预过滤器用于从所述解复用器排列接收所述第一音频/视频序列的解复用的音频/视频和所述第二音频/视频 序列的解复用的音频/视频，所述第二音频/视频序列的解复用的音频/视频包括不想要的数据，所述不想要的数据从所述拼接点时间戳之前的多个帧开始，直到在所述拼接点时间戳之前为止，其中，所述缓冲器用于从所述预过滤器接收解复用的音频/视频以在其中进行存储，其中该解复用的音频/视频包括所述第一音频/视频序列的解复用的音频/视频和所述第二音频/视频序列的解复用的音频/视频，不包括由所述预过滤器过滤的不想要的数据)，。
此外，根据本发明的另一个实施例，还提供了一种用于在预先确定的拼接点时间戳处，从第一音频/视频序列切换到第二音频/视频序列的系统，所述预先确定的拼接点时间戳是从广播前端接收的，所述系统包括多个操作性连接的单元，这些单元包括：解复用器排列，用于对所述第一音频/视频序列中的至少一些和所述第二音频/视频序列中的至少一些进行解复用，所述第二音频/视频序列的解复用在所述预先确定的拼接点时间戳之前的多个帧开始；缓冲器，用于从所述解复用器排列接收所述第一音频/视频序列的解复用的音频/视频和所述第二音频/视频序列的解复用的音频/视频，以在其中进行存储，所述第二音频/视频序列的解复用的音频/视频包括不想要的数据，所述不想要的数据从所述预先确定的拼接点时间戳之前的多个帧开始，直到在所述预先确定的拼接点时间戳之前为止；解码器，用于对所述缓冲器中存储的解复用的音频/视频进行解码，其包括对所述第一音频/视频序列进行解码，随后从所述预先确定的拼接点时间戳开始对所述第二音频/视频序列进行解码，其中，所述缓冲器用于丢弃所述第二音频/视频序列的不想要的数据，使得所述解码器不接收所述不想要的数据来进行解码。
此外，根据本发明的另一个实施例，还提供了一种用于从第一音频/视频序列切换到第二音频/视频序列的系统，所述第二音频/视频序列包括拼接点时间戳，所述系统包括多个操作性连接的单元，这些单元包括：解复用器排列，用于对所述第一音频/视频序列中的至少一些和所述第二音频/视频序列中的至少一些进行解复用，所述第二音频/视频序列的解复用在所述拼接点时间戳之前的多个帧开始；预过滤器，用于从所述解复用器排列接收所述第一音频/视频序列的解复用的音频/视频和所述第二音频/视频序列的解复用的音频/视频，所述第二音频/视频序列的解复用的音频/视频包括不想 要的数据，所述不想要的数据从所述拼接点时间戳之前的多个帧，直到在所述拼接点时间戳之前为止；缓冲器，用于从所述预过滤器接收解复用的音频/视频以在其中进行存储，其中该解复用的音频/视频包括所述第一音频/视频序列的解复用的音频/视频和所述第二音频/视频序列的解复用的音频/视频，不包括由所述预过滤器过滤的不想要的数据，所述预过滤器布置在所述解复用器排列和所述缓冲器之间；解码器，用于对所述缓冲器中存储的解复用的音频/视频进行解码，其包括对所述第一音频/视频序列进行解码，随后从所述时间戳开始对所述第二音频/视频序列进行解码。
另外，根据本发明的一个实施例，所述解码器用于在所述第一音频/视频序列的解码和所述第二音频/视频序列的解码之间进行无缝拼接，使得在所述第一音频/视频序列和所述第二音频/视频序列之间将不存在明显的收听/观看间隙。
此外，根据本发明的一个实施例，所述解复用器排列包括第一解复用器和第二解复用器，所述第一解复用器用于对所述第一音频/视频序列进行解复用，所述第二解复用器用于对所述第二音频/视频序列进行解复用。
此外，根据本发明的另一个实施例，还提供了一种用于在预先确定的拼接点时间戳处，从第一音频/视频序列切换到第二音频/视频序列的方法，所述方法包括：从广播前端接收所述预先确定的拼接点时间戳；对所述第一音频/视频序列中的至少一些和所述第二音频/视频序列中的至少一些进行解复用，所述第二音频/视频序列的解复用在所述预先确定的拼接点时间戳之前的多个帧开始，所述第二音频/视频序列的解复用的音频/视频包括不想要的数据，所述不想要的数据从所述预先确定的拼接点时间戳之前的多个帧开始，直到在所述预先确定的拼接点时间戳之前为止；丢弃所述第二音频/视频序列的不想要的数据，使得不对所述不想要的数据进行解码；对所述第一音频/视频序列进行解码，随后从所述预先确定的拼接点时间戳开始对所述第二音频/视频序列进行解码。
此外，根据本发明的另一个实施例，还提供了一种用于从第一音频/视频序列切换到第二音频/视频序列的方法，所述第二音频/视频序列包括拼接点时间戳，所述方法包括：对来自磁盘的所述第一音频/视频序列中的至少一些和来自直播接收机的所述第二音频/视频序列中的至少一些进行解复 用，所述第一音频/视频序列的解复用足够快，使得所述第二音频/视频序列的解复用能够在所述拼接点时间戳之前的多个帧开始；对所述第一音频/视频序列进行解码，随后从所述拼接点时间戳开始对所述第二音频/视频序列进行解码。
此外，根据本发明的一个实施例，所述解码在所述第一音频/视频序列的解码和所述第二音频/视频序列的解码之间进行无缝拼接，使得在所述第一音频/视频序列和所述第二音频/视频序列之间将不存在明显的收听/观看间隙。
此外，根据本发明的另一个实施例，还提供了一种包括多个操作性连接的单元的系统，这些单元包括：磁盘，用于在其中存储包括第一音频/视频序列的内容；直播接收机，用于接收包括下面内容的直播流：第二音频/视频序列、包括多个授权控制消息和/或交互式应用数据的数据；第一解复用器排列，用于对来自所述磁盘的第一音频/视频序列中的至少一些进行解复用；第二解复用器，用于对来自所述直播接收机的第二音频/视频序列中的至少一些进行解复用，并用于对所述授权控制消息和/或所述交互式应用数据进行过滤，以便由所述系统使用；缓冲器，用于从所述第一解复用器接收所述第一音频/视频序列的解复用的音频/视频，从所述第二解复用器接收所述第二音频/视频序列的至少一部分的解复用的音频/视频，以在其中进行存储，所述缓冲器用于在任何一个时间接收来自于所述第一解复用器或者所述第二解复用器的输出，其中，在所述缓冲器正在接收来自于所述第一解复用器的输出的时间的至少一部分，所述第二解复用器仍用于对来自所述直播流的所述授权控制消息和/或所述交互式应用数据进行过滤，以便由所述系统使用，即使所述第二解复用器没有在对所述第二音频/视频序列进行过滤；解码器，用于对所述缓冲器中存储的解复用的音频/视频进行解码。
此外，根据本发明的另一个实施例，还提供了一种用于在拼接点时间戳处，从第一音频/视频序列切换到第二音频/视频序列的系统，所述系统包括多个操作性连接的单元，这些单元包括：解复用器排列，用于对所述第一音频/视频序列中的至少一些进行解复用；缓冲器，用于从所述解复用器排列接收所述第一音频/视频序列的解复用的音频/视频，以在其中进行存 储；中间件，用于控制所述单元；解码器驱动器，用于：检测所述拼接点时间戳何时进入所述缓冲器，并当所述拼接点时间戳进入所述缓冲器时，向所述中间件发送通知，其中，所述中间件用于：接收所述通知，并随后基于所述通知，从向所述缓冲器输出所述第一音频/视频序列切换到向所述缓冲器输出所述第二音频/视频序列的至少一部分；所述解复用器排列用于对所述第二音频/视频序列中的至少一些进行解复用，所述第二音频/视频序列的解复用在所述拼接点时间戳之前的多个帧开始；所述缓冲器用于从所述解复用器排列接收所述第二音频/视频序列中的至少一部分，以在其中进行存储；解码器，用于对所述缓冲器中存储的解复用的音频/视频进行解码，其包括对所述第一音频/视频序列进行解码，随后从所述预先确定的拼接点时间戳开始对所述第二音频/视频序列进行解码。
附图说明
通过下面结合附图给出的详细描述，将能够更加全面地理解和明白本发明，其中： 
图1是根据本发明的一个实施例构造和操作的拼接系统的部分图示、部分框图的视图；
图2是根据本发明的一个替代实施例构造和操作的拼接系统的部分图示、部分框图的视图；
图3是一种部分图示、部分框图的视图，其示出了用于在图1的系统中在内容之间进行转换的时间线；
图4是在图1的系统中的直播到磁盘(live to disk)转换(transition)之前，进行直播提交和回顾(review)缓冲器记录的部分图示、部分框图的视图；
图5是示出用于在图1的系统中的直播到磁盘转换之前，准备回放广告以进行解复用的部分图示、部分框图的视图；
图6是示出在图1的系统中的直播到磁盘转换之后，速率缓冲器的状态的部分图示、部分框图的视图；
图7是图1的系统中，在拼接离开(splice out)期间的时间线的部分图示、部分框图的视图；
图8是示出在图1的系统中的磁盘到直播转换之前，回放广告的提交的部分图示、部分框图的视图；
图9是示出在图1的系统中的磁盘到直播转换之后，速率缓冲器的状态的部分图示、部分框图的视图；
图10是示出在图1的系统中的磁盘到磁盘转换之前，记录的广播内容的提交的部分图示、部分框图的视图；
图11是示出在图1的系统中的磁盘到磁盘转换之后，速率缓冲器的状态的部分图示、部分框图的视图；
图12是示出在图1的系统中的第二磁盘到磁盘转换之前，替代广告的提交的部分图示、部分框图的视图；
图13是示出在图1的系统中的第二磁盘到磁盘转换之后，速率缓冲器的状态的部分图示、部分框图的视图；
图14是图1的系统中的直播视频帧的部分图示、部分框图的视图；
图15是图1的系统中的记录的视频帧的部分图示、部分框图的视图。
具体实施方式
现参照图1，该图是根据本发明的一个实施例构造和操作的拼接系统10的部分图示、部分框图的视图。 
贯穿本说明书和权利要求书使用的、具有所有其语法形式的术语“编码的”，指代任意类型的数据流编码，其包括(例如，但不限制该定义的范围)公知类型的编码，例如，但不限于：MPEG-2编码、H.264编码、VC-1编码和诸如可缩放矢量图形(SVG)和LASER(ISO/IEC 14496-20)之类的合成编码等等。应当理解的是，与没有编码的数据流相比，编码的数据流通常需要更多的处理和一般更多的时间来读取。编码的数据的接收者(无论该编码的数据的接收者是否是预期接收者)，至少潜在地能够在无需密码分析的情况下读取编码的数据。应当理解的是，编码可以在几个阶段中执行，并且其可以包括多个不同的过程，这些过程包括，但不必需限于：对数据进行压缩；将数据转换为其它形式；使数据更加稳健(例如，对数据进行复制或者使用纠错机制)。
贯穿本说明书和权利要求书使用的、具有所有其语法形式的术语“压 缩的”，指代任意类型的数据流压缩。压缩通常是编码的一部分，并且其可以包括图像压缩和运动补偿。一般情况下，数据的压缩减少了包括该数据的比特的数量。由于压缩是编码的一个子集，因此贯穿本说明书和权利要求书，术语“编码的”和“压缩的”(具有所有其语法形式)通常可互换使用。
类似地，贯穿本说明书和权利要求书使用的、具有所有其语法形式的术语“解码的”和“解压缩的”，指代具有所有其语法形式的“编码的”和“压缩的”的反义。
贯穿本说明书和权利要求书，可互换使用的、具有所有其语法形式的术语“加扰的”和“加密的”，指代用于对数据流进行加扰和/或加密的任何适当的加扰和/或加密方法，和/或用于旨在使数据流对于其预期接收者之外无法理解的任何其它适当方法。公知类型的加扰或者加密包括，但不限于：DES、3DES和AES。类似地，贯穿本说明书和权利要求书使用的、具有所有其语法形式的术语“解扰的”和“解密的”，指代具有所有其语法形式的“加扰的”和“加密的”的反义。
根据上述定义，使用术语“编码的”、“压缩的”以及术语“加扰的”和“加密的”来指代不同的和专有类型的处理。因此，特定的数据流可以是，例如：编码的，但不是加扰的也不是加密的；压缩的，但不是加扰的也不是加密的；加扰的或者加密的，但不是编码的；加扰的或者加密的，但不是压缩的；编码的，且是加扰的或者加密的；或者压缩的，且是加扰的或加密的。
同样，一方面使用术语“解码的”和“解压缩的”，另一方面使用术语“解扰的”和“解密的”，来指代不同的和专有类型的处理。
本领域普通技术人员应当理解的是，贯穿本申请，仅通过示例的方式来使用机顶盒，并且本发明并不限于特定类型的内容提交设备，而是包括任何适当的设备。
本领域普通技术人员应当理解的是，贯穿本申请，仅通过示例的方式来使用替代广告(substitute advertisement)，并且本发明并不限于特定类型的替代内容，而是包括任何适当的替代内容。
一般情况下，拼接系统10包括多个操作性连接的单元，其包括直播接 收机20、磁盘18、解复用器排列24、回顾缓冲器26、音频速率缓冲器28、视频速率缓冲器30、中间件集合32、单一音频解码器34和单一视频解码器36。
直播接收机20用于接收包括直播音频和/或视频的直播流16。一般情况下，直播流16还包括其它数据，例如但不限于：节目特定信息(PSI)、服务信息(SI)、授权控制消息(ECM)、授权管理消息(EMM)和交互式应用(iApp)数据。一般情况下，直播接收机20包括调谐器(没有示出)和解调器(没有示出)。直播接收机20的配置通常取决于直播流16向直播接收机20传输的方式，例如，但不限于：从广播前端通过卫星、电缆、因特网协议和/或陆地通信进行传输。直播流16通常包括多个直播节目40和直播广告42。
一般情况下，磁盘18用于在其中存储任何适当的内容，其包括替代广告14以及直播节目40和直播广告42的记录。
一般情况下，解复用器排列24包括用于对音频和/或视频流进行解复用的一个或多个解复用器38(DEMUX0、DEMUX1和DEMUX2)。DEMUX0通常用于对直播流16的音频和/或视频数据进行过滤，以存储在回顾缓冲器26中，如下面所更详细描述的。DEMUX1通常用于根据需要对直播流16音频/视频序列进行解复用，其包括对来自直播流16的节目特定信息(PSI)、服务信息(SI)、授权控制消息(ECM)、授权管理消息(EMM)、交互式应用(iApp)数据进行过滤，以便由拼接系统10进行使用。DEMUX2通常用于对替代广告14音频/视频序列进行解复用。
回顾缓冲器26是一种存储设备，其通常用于在直播流16进行之中时就对其进行存储，使得观看者可以使用“特技模式(trick mode)”或者“特技播放”来重放所存储的直播流16。当回顾缓冲器26满或者快满时，通常将最旧的内容删除，以腾出空间来存储新内容。
在解复用器24所解复用的内容分别由音频解码器34和视频解码器36进行解码之前，音频速率缓冲器28和视频速率缓冲器30先存储这些内容。一般情况下，缓冲器28、30用于在任何一个时间从DEMUX1或者DEMUX2接收输出。
一般情况下，中间件32用于控制和协调拼接系统10的各个单元的操作。
作为介绍，在仅仅单一视频解码器可用的传统机顶盒（STB）中，停止对一个流进行解码以便开始对另一个流进行解码，通常导致STB在显示设备（没有示出）上呈现视频时的短时间白屏（blank screen）或者帧静止（freeze frame）。换言之，一个流和另一个流之间的拼接不是一种无缝过程。
如上所述，直播流16包括直播节目40和直播广告42。直播广告42可以由替代广告14进行代替。下面的说明书描述了在替代广告14的结束处，从替代广告14切换回直播流16。
根据本发明的一个实施例，通常通过呈现时间戳（PTS）来发送呈现域中的拼接点12。拼接点12通常在内容提供商（例如，但不限于：广播前端）处进行预先确定。一般情况下，预先确定的拼接点12被包括在直播流16或者另一个适当的流（例如，但不限于：元数据流）中。拼接点12通常由直播接收机20进行接收。当从诸如替代广告14之类的内容片段切换回直播流16时，需要在切换返回拼接点12稍许之前对直播流16进行缓冲，以便确保对直播流16中的所有相关分组进行了缓冲以进行解码。本领域普通技术人员应当理解的是，可以使用任何适当的时间码或者时间戳来替代PTS。
提到直播收听/观看必须在显示域中从时间t继续，则在压缩域中，与时间t处的显示相对应的分组是时间t之前的多个帧（例如，但不限于：20个帧）。应当注意的是，也可以参照音频输出来理解术语“显示域”。
当回放来自磁盘18的替代广告14时，通过解复用器排列24来与实时相比更快地推送替代广告14，直到针对替代广告14，不再有需要从磁盘18读取的进一步数据为止。替代广告14的数据在速率缓冲器28、30中是可用的，以便分别由音频解码器34和视频解码器36进行解码。因此，速率缓冲器28、30现在可以从DEMUX1接收数据，以便能够足够早的接收直播流16，如上所述。
所以，当对来自速率缓冲器28、30的替代广告14的数据进行解码时，就在时间t之前的多个帧开始或者更早时间，将直播流16解复用到速率缓冲器28、30，以便能在时间t实现从替代广告14到直播流16的无缝切换。
因此，解复用器排列24通常用于根据需要，对来自磁盘18的替代广告14和来自直播接收机20的直播流16进行解复用，以分别生成替代广告14的音频/视频序列的解复用的音频/视频和直播流16的音频/视频序列的解复用的音频/视频。一般情况下，解复用器排列24用于对替代广告14的音频/视频序列进行足够快的解复用，使得直播流16的音频/视频序列的解复用可以在拼接点时间戳12之前的多个帧就开始。
一般情况下，速率缓冲器28、30用于从解复用器排列24接收数据，以便在其中存储：替代广告14的解复用的音频/视频和直播流16的至少一部分的解复用的音频/视频。
本领域普通技术人员应当理解的是，速率缓冲器28、30通常具有足够的容量来存储替代广告14和直播流16音频/视频序列的所需要的数据。一般情况下，与通常对直播广播进行解码所使用的缓冲器相比，速率缓冲器28、30更大。此外，速率缓冲器28、30还公知为音频/视频比特缓冲器或者压缩图像缓冲器或者解码器缓冲器，用于解复用器排列24和解码器34、36之间。
一般情况下，直播流16音频/视频序列的解复用的音频/视频包括不想要的数据44(例如，直播广告42的结尾部分)，以及想要的直播节目40的直播数据(在直播广告42之后)。不想要的数据44从拼接点时间戳12之前的多个帧开始，直到在该拼接点时间戳12之前为止(通常，直到拼接点12之前的一个视频/音频帧为止)。
换言之，由于缓冲的分组中的一些与依据PTS的拼接点12之前的直播内容(例如，直播流16中的直播广告42)有关，因此需要从速率缓冲器28、30中过滤掉不想要的数据44的分组，并且不对其进行解码。仅仅举例而言，可以通过基于时间戳(例如，但不限于：PTS)来删除/丢弃来自速率缓冲器28、30的分组，或者通过解码器只选择具有特定的时间戳(例如，但不限于：PTS)的分组，来执行该过滤操作。本领域普通技术人员应当理解的是，该过滤操作取决于系统10的约束条件。
因此，速率缓冲器28、30用于丢弃直播流16音频/视频序列的不想要的数据44，使得解码器34、36不接收不想要的数据44来进行解码。
解码器34、36用于在替代广告14的音频/视频序列的解码和直播流16的音频/视频序列的解码之间进行无缝拼接，使得在替代广告14的音频/视 频序列和直播流16的音频/视频序列之间不存在明显的收听/观看间隙。
当拼接点处于随机接入点，画面组(GOP)关闭时，拼接系统10的实现通常更加容易。但是，本领域普通技术人员应当理解的是，即使当拼接点不处于随机接入点(RAP)和/或GOP没有关闭时，也可以实现拼接系统10。
上面的说明书描述了从替代广告14到直播流16的转换。本领域普通技术人员应当理解的是，上面的关于不想要的数据44的场景，可以应用于如下面参照图1-图15所描述的直播到磁盘转换或者磁盘到磁盘转换。例如，不想要的数据44可以存在于直播到磁盘转换和/或磁盘到磁盘转换中。
对于磁盘到直播转换来说，将音频/视频序列与实时相比更快地推送通过解复用器排列24是特别有用的。但是，本领域普通技术人员应当理解的是，在磁盘到磁盘转换中，也可以将音频/视频序列与实时相比更快地推送通过解复用器排列24。
通常，拼接系统10用于从对第一音频/视频序列(例如，但不限于：替代广告14或者任何其它适当的音频和/或视频序列)进行解码，切换到对第二音频/视频序列(例如，但不限于：直播流16或者任何其它适当的音频和/或视频序列)进行解码，或者进行相反的切换。
当缓冲器28、30正在接收来自DEMUX2的输出时，对于该时间的至少一部分，以及通常对于该时间的全部来说，DEMUX1仍用于对来自直播流16的节目特定信息(PSI)和/或服务信息(SI)和/或授权控制消息(ECM)和/或授权管理消息(EMM)和/或交互式应用(iApp)数据进行过滤，以便由系统10进行使用，即使在该时间期间，不由DEMUX1对直播流16的音频/视频序列进行过滤。
一般情况下，中间件32用于控制解复用器排列24、音频速率缓冲器28、30和解码器34、36，并且特别是DEMUX1和DEMUX2之间的切换输出、解复用的速度、以及丢弃/清除来自速率缓冲器28、30的数据。
为了简单起见，图2-图15仅示出了单一速率缓冲器和单一解码器。该单一速率缓冲器和单一解码器可以表示：音频速率缓冲器28和音频解码器34；和/或视频速率缓冲器30和视频解码器36。
现参见图2，该图是根据本发明的一个替代实施例构造和操作的拼接系 统46的部分图示、部分框图的视图。 
拼接系统46与拼接系统10基本相同，除了拼接系统46包括预过滤器48之外。
概括来说，预过滤器48通常基于时间戳(例如，PTS)，对不想要的数据44进行过滤。预过滤器48通常布置在解复用器排列24之后，速率缓冲器28、30之前，使得不想要的数据44的分组可能到不了速率缓冲器28、30。
随后，解码器34、36能够从时间t开始对直播流16进行解码。
因此，预过滤器48通常用于从解复用器排列24接收替代广告14的解复用的音频/视频序列和直播流16的解复用的音频/视频序列。一般情况下，直播流16音频/视频序列包括不想要的数据44。
预过滤器48用于对不想要的数据44进行过滤，使得速率缓冲器28、30能够从预过滤器48接收解复用的音频/视频(其包括替代广告14的音频/视频序列的解复用的音频/视频和直播流16的音频/视频序列的解复用的音频/视频，但不包括由预过滤器48过滤掉的不想要数据44)，以在其中进行存储。
通常，拼接系统46用于从对第一音频/视频序列(例如，但不限于：替代广告14或者任何其它适当的音频和/或视频序列)进行解码，切换到对第二音频/视频序列(例如，但不限于：直播流16或者任何其它适当的音频和/或视频序列)进行解码，或者进行相反的切换。
再次参见图1。
本领域普通技术人员应当理解的是，拼接系统10和拼接系统46(图2)可以基于任何适当的视频广播标准(例如，但不限于：DSS或者MPEG-2)来实现。
可以将替代广告14以未加密或者加密的方式存储在磁盘18中。
参照图3来更详细描述了，拼接系统10通常在发送的时间替代所述替代广告14。当回放替代广告14时，通常提交替代广告14的所有帧。但是，在特技模式中，可以跳过一些帧。
观看者进行的信道改变动作，通常可能发生在被替代的可用广告期间的任何时间，并且其通常导致对于替代广告14的任何回放的终止，并调谐 到被请求的直播信道。
在回顾缓冲器回放或者来自磁盘18的记录的广播节目的回放时，通常将相同的替代广告14作为相同节目的直播观看进行示出。一般情况下，替代广告14在回放时间进行替代。如果用户在替代广告14期间暂停，则拼接系统10可以显示替代广告14的帧静止。如果观看者在替代广告14期间的暂停之后继续回放，则拼接系统10通常从该暂停位置继续回放替代广告14，并当相关时，在要在可用广告中替代的最后广告点(spot)的结束处返回到回顾缓冲器回放。一般情况下，在替代广告14中可以进行倒带。在直播暂停期间，通常允许替代广告14中的快进以到达这样的程度：在可用广告的结束处，并没有预期有直播节目40，并且不显示通常隐藏的直播广告42。
一般情况下，直播流16由DEMUX1进行解复用，并且替代广告14由DEMUX2进行解复用。此外，回放广播内容还通常由DEMUX2进行解复用。根据本发明的一个替代实施例，可以使用同一解复用器对直播流16和替代广告14进行解复用。在该情况下，对解复用器的输入进行切换，且不输入到速率缓冲器28、30。根据本发明的另一个替代实施例，回放广播内容和替代广告14可以使用不同的解复用器。
当对速率缓冲器28、30的源进行切换时，通常不刷新速率缓冲器28、30。
现参见图3，该图是示出用于图1的系统10中的内容之间的转换的时间线的部分图示、部分框图的视图。
图3的时间线描绘了用户正在观看直播流16(直播或者回放)。被包括在调谐的服务中的私有分组ID(PID)上的出点到达信号50，指示广告替代可能发生在出点52。将出点52的PTS和广告休息的持续时间发送给拼接系统10。对于回放来说，还知道该回放中的出点52的时间偏移量。当视频和/或音频的提交到达出点52时，终止直播流16的提交，并且从磁盘18(图1)开始替代广告14(图1)的回放。到广告休息的结束为止，可选地存在一些额外信令(入点到达信号54)，以便向拼接系统10通知直播流16中的入点56的PTS。对于回放来说，还知道该回放中的入点56的时间偏移量。拼接系统10及时地重新加入直播流16，以便在入点56进行解码和 提交。
为了拼接系统10在信号50、54处进行动作并且以无缝方式执行广告替代，足够提前地在直播流16中对出点到达信号50和入点到达信号54进行广播。通过非限制性示例的方式，出点到达信号可以提前出点52四秒或者更多。
一般情况下，出点到达信号50传送出点52的PTS和替代的持续时间。此外，出点到达信号50还可以包括关于什么内容或者内容类型应当用作为替代内容的信息。使用出点52的PTS、持续时间和帧速率，拼接系统10通常能够计算入点56的PTS。或者，拼接系统10可以提供入点到达信号54，以便发送入点56的PTS。
当记录具有广告替代的节目时，拼接系统10通常用于确定对发送的入点56和出点52进行记录的位置。
对于以相反方向回放节目来说，入点56成为出点，反之亦然。
参照图4-图7的说明书，描述了从提交直播流16转换到提交来自磁盘18的替代广告14。
现参见图4，该图是在图1的系统10中的直播到磁盘转换之前，进行直播提交和回顾缓冲器记录的部分图示、部分框图的视图。
图4示出了拼接系统10正在提交直播流16的直播节目40，并可选地在回顾缓冲器26中记录直播流16。此外，还参见图3。
当调谐到直播流16时，拼接系统10检测到出点到达信号50。将广告机会的标识发送给拼接系统10，使得可以确定适当的替代广告14。
拼接系统10检测到(音频和视频流)中的出点52，其中在该出点52，拼接系统10通常停止提交来自直播流16的内容，并切换到提交来自磁盘18的替代广告14。解码器34、36的驱动器(没有示出)用于向中间件32通知何时到达出点52。为了避免解码器饥饿(starvation，即缓冲器欠载运行)，驱动器通常用于只要出点52处的分组进入速率缓冲器28、30，就向中间件32通知，并且在进行通知之前不等待这些要进行解码的分组。
通常，无论执行直播到磁盘、或者磁盘到直播，还是磁盘到磁盘转换，解码器驱动器都用于：检测拼接点时间戳(在该情况下是出点52)何时进入速率缓冲器28、30；并当拼接点时间戳进入速率缓冲器28、30时，向中 间件32发送通知。中间件32用于：接收该通知；并随后基于该通知，从向速率缓冲器28、30输出一个音频/视频序列切换到输出另一个音频/视频序列。
现参见图5，该图是示出用于在图1的系统10中的直播到磁盘转换之前，准备替代广告14以进行解复用的部分图示、部分框图的视图。
在检测到出点到达信号50(图3)之后，中间件32通过从磁盘18读取替代广告14中的一些块并将这些块(其中这些块还没输出到速率缓冲器28、30)写入到DEMUX2的块输入缓冲器58(其还称为解复用器输入缓冲器)，来准备替代广告14以进行提交。一般情况下，写入到块输入缓冲器58的替代广告14中的第一数据块包括间断标记(discontinuity marker)60，其后跟着替代广告14的起始。间断标记60是插入到解复用器排列24的标记，其用于传送已插入到解复用器排列24中的替代广告14和在该标记60之前的其它内容之间的不连续性。或者，可以在适当的时间，将间断标记60插入到速率缓冲器28、30中。
现参见图6，该图是示出在图1的系统10中的直播到磁盘转换之后，速率缓冲器28、30的状态的部分图示、部分框图的视图。
当中间件32接收到出点52已到达速率缓冲器28、30的通知时，DEMUX1停止向速率缓冲器28、30输出数据，并且DEMUX2开始向速率缓冲器28、30输出，以便开始回放。参见图7来更详细地描述视频和音频出点52之间的关系。
速率缓冲器28、30和块输入缓冲器58的内容，通常不受到速率缓冲器28、30的源的切换的影响。
随后，中间件32通常向DEMUX2指示：开始处理来自块输入缓冲器58的数据。
根据在执行从直播流16到替代广告14的切换时的延迟，以及是否对从直播流16的切换进行延迟以适应音频帧的到达，在DEMUX1停止向速率缓冲器28、30输出之前，来自直播广告42的内容中的一些可以由DEMUX1进行处理。因此，速率缓冲器28、30通常包括来自直播广告42的不需要被解码或者显示的数据。
一般情况下，解码器34、36从当前读指针62进行解码，直到中间件 32发送的出点52为止。
一般情况下，中间件32指示速率缓冲器28、30：丢弃从发送的出点52开始的所有数据，直到间断标记60为止。
一般情况下，中间件32调整系统时钟(STC)(没有示出)，以适应直播流16的PTS和替代广告14的PTS之间的值的差异。
一般情况下，解码器34、36从间断标记60开始，在替代广告14中向前解码。
应当注意的是，可以在任何适当的时间，丢弃从发送的出点52开始，直到间断标记60为止的数据。
现参见图7，该图是图1的系统10中的在拼接离开(splice out)期间的时间线的部分图示、部分框图的视图。
当从直播流16切换到替代广告14时(图1)，存在着一些影响该切换的时间的因素，如下所述。
检测和通知出点52到达的越早，中间件32必须执行该切换的时间越多。如果当对出点52的分组进行解码时才通知了该出点52(或者更糟的是当对其进行了提交时才进行通知)，则可能发生视频解码器饥饿。 
如果在所述解码阶段之前就通知了该PTS，则该PTS和节目时钟参考(PCR)之间的差也可能是很显著的。越大的差值针对中间件32(图1)执行所述切换提供越多的时间。该差值的幅度可以根据流编码类型和GOP大小而变化。仅仅举例而言，用于视频的差值的典型值在200ms和800ms之间，尽管该上限可以增加到数秒的值。
影响切换的时间的另一个因素是分量层面拼接相对于节目层面拼接。考虑具有视频分量64和音频分量66的典型服务，如图7所示。每一个分量64、66包括表示为PTS值的出点52，其定义了分别从分量64、66提交的最后的视频帧和最后的音频采样。该流中的视频出点52的出现位置标记为x，并且该流中的音频出点52的出现位置标记为y。该流中的PCR在时间z、拼接点PCR 68到达出点52的PTS值。现在，用于音频y的出点52落后于视频x的出点52。根据视频编码和音频编码的类型，给定服务上的y-x的典型值在几百毫秒到几秒之间。音频出点y的邻近程度接近实际PCR拼接点z。z-y的典型值在50和150毫秒之间。
一种可能实现是只要检测到视频出点x，就拼接离开直播流16，其产生最佳可能视频拼接，但通常可能使音频在拼接点之前的时段中丢失(在x和y之间携带的音频)。音频丢失的持续时间，取决于音频出点和视频出点之间的差。
一种替代方法是在拼接离开直播流16之前，等待将要通知的音频和视频出点52(x和y两者)。但是，虽然确保一直到拼接点的所有音频都被提交，但视频拼接很可能受到包括视频解码器(图1)饥饿的影响。
另一种方法是在视频出点x和音频出点y的到达之间的某个时间，拼接离开直播流16。一般情况下，该最佳时间是基于产生最佳整体拼接体验的经验测试的。
现参见图8，该图示出了在图1的系统10中的磁盘到直播转换之前，回放广告14的提交的部分图示、部分框图的视图。
观看者正在观看使用DEMUX2从磁盘18回放的替代广告14。回顾缓冲器26可以在后台进行记录，使用DEMUX0。此外，通常在DEMUX1上执行数据(例如，但不限于：来自直播流16的节目特定信息(PSI)、服务信息(SI)、授权控制消息(ECM)、授权管理消息(EMM)、交互式应用(iApp)数据)的过滤，使得即使当观看者正在观看替代广告14时，PSI、SI、交互式应用数据、ECM和EMM也可使用。直播流16的音频和视频当前不是由DEMUX1进行过滤的，而DEMUX2仍然向速率缓冲器28、30进行输出。
块输入缓冲器58中的替代广告14的数据由DEMUX2按非常高的比特速率进行处理，而速率缓冲器28、30中的数据由解码器34、36按较低的速率进行处理(其满足解码的速率)。因此，一旦DEMUX2处理替代广告14的最后块，DEMUX1就开始对直播流16的音频和视频进行过滤，并输出到速率缓冲器28、30，即使解码器34、36和显示管理器(没有示出)仍然涉及对替代广告14的结尾进行解码和提交。换言之，在图3的入点56之前的某个时间，所有的替代广告14数据已被DEMUX2进行了处理。一般情况下，该确切时间取决于芯片组(chipset)、播放的内容的类型和播放速度。参照图9来更详细地讨论对替代广告14的解复用的完成和提交替代广告14的最后帧的时间之间的时间。
现参见图9，该图是示出在图1的系统10中的磁盘到直播转换之后，速率缓冲器28、30的状态的部分图示、部分框图的视图。
在替代广告14的结束处，中间件32将间断标记70添加到DEMUX2输入中。
一旦DEMUX2处理完所有替代广告14数据，速率缓冲器28、30就准备接收来自DEMUX1的输出。
由于在DEMUX1上连续地对ECM进行过滤，因此连续地生成用于对直播流16进行解扰所需要的控制字(CW)，并因此其立即可用。
中间件32向解码器34、36通知入点56的PTS值。
在入点56的到达之前，开始直播流16的过滤。因此，预期的是，在对入点56进行解复用之前，DEMUX1就对来自直播广告42的一些内容进行过滤，并将其累积在速率缓冲器28、30中。在切换回直播流时，速率缓冲器28、30需要被充分耗尽，以避免缓冲器溢出，如上所述。
解码器34、36从当前读指针62开始进行解码，直到间断标记70为止。一般情况下，中间件32基于直播流16的PTS和间断标记70中包括的替代广告14的PTS之间的差值，来调整系统时钟(STC)(没有示出)。中间件32指示速率缓冲器28、30从间断标记70开始丢弃数据，直到入点56的PTS为止。随后，从入点56开始，解码器34、36开始进行解码，显示管理器进行提交。应当注意的是，可以在任何适当的时间，丢弃从间断标记70开始，直到入点56的PTS为止的数据。
通常足够早地执行直播流16的返回，使得可能对直播流16进行解复用、解密和提交，以便从定义的入点56进行输出。一般情况下，视频流中发现的PTS-PCR差值的最大值，确定了拼接系统10必须在期望的入点56之前重新加入直播流16的最大时间。
由于针对直播流16和替代广告14使用同一速率缓冲器28、30，因此一般情况下，足够早地执行来自磁盘18的替代广告14的解复用，使得速率缓冲器28、30可用于接收来自直播流16的输出，并遵循上面所描述的约束条件。
现参见图10，该图是示出在图1的系统10中的磁盘到磁盘转换之前，记录的广播节目74的提交的部分图示、部分框图的视图。
观看者使用DEMUX2来观看来自磁盘18的记录的广播节目74。回顾缓冲器26可以使用DEMUX0在后台进行记录。一般情况下，解码器34、36的驱动器向中间件32通知具有出点52(图3)的PTS的视频和音频何时到达。为了确保干净的拼接，一般情况下，只要具有出点52的PTS的分组进入速率缓冲器28、30，这些驱动器就通知中间件32，并在通知中间件32之前，不等待具有出点52的PTS的分组被解码。
现参见图11，该图是示出在图1的系统10中的磁盘到磁盘转换之后，速率缓冲器28、30的状态的部分图示、部分框图的视图。
当中间件32接收到出点52已到达速率缓冲器28、30的通知时，记录的广播节目74的流不再进入块输入缓冲器58。DEMUX2重新配置为用于来自磁盘18的替代广告14的回放。块输入缓冲器58填充有替代广告14的起始，其之前为间断标记76。中间件32指示DEMUX2开始处理块输入缓冲器58中的数据。
由于一般情况下，在接收出点52的通知和停止回放时存在一些延迟，因此可以预期的是，在停止回放之前，DEMUX2对与记录的广播节目74一起记录的所记录广播广告78的一部分进行处理。因此，速率缓冲器28、30可以包括不需要被解码或者显示的、来自记录的广播广告78的数据。
中间件32向解码器34、36发送信号，以便从当前读指针62开始进行解码，直到出点52为止。中间件32指示速率缓冲器28、30丢弃从出点52开始的所有数据，直到间断标记76为止。一般情况下，中间件32调整STC，以适应记录的广播节目74的PTS和替代广告14的PTS之间的值的差异。解码器34、36从间断标记76开始向前解码。应当注意的是，可以在任何适当的时间，丢弃从出点52开始，直到间断标记76为止的数据。
现参见图12，该图是示出在图1的系统10中的第二磁盘到磁盘转换之前，替代广告14的提交的部分图示、部分框图的视图。
使用DEMUX2来回放来自磁盘18的替代广告14。当DEMUX2处理了替代广告14的最后块时，DEMUX2变得可用，即使解码器34、36和显示管理器(没有示出)仍然涉及对替代广告14的最后帧进行解码和提交。
现参见图13，该图是示出在图1的系统10中的第二磁盘到磁盘转换之后，速率缓冲器28、30的状态的部分图示、部分框图的视图。
DEMUX2重新配置为用于来自磁盘18的记录的广播节目74的回放。应用对记录的广播节目74进行解密所需要的CW。中间件32将间断标记80插入到DEMUX2输入中。从该回放应当继续的适当点开始，块输入缓冲器58填充有记录的广播节目74。中间件32指示DEMUX2开始处理块输入缓冲器58中的数据。
写入到块输入缓冲器58的记录的广播节目74的第一块与入点56的PTS出现的RAP相对齐，通常是不现实的。替代地，可以预期的是，第一块可以包括在第一GOP之前要被进行解码和提交的数据，并且因此速率缓冲器28、30可以包括不需要被解码或显示的来自回放的数据(例如，记录的广播广告78的结尾)。
解码器34、36从当前读指针62开始解码，直到间断标记80为止。一般情况下，中间件32调整STC，以适应记录的广播节目74的PTS和间断标记80中包括的替代广告14的PTS之间的值的差异。一般情况下，中间件32指示速率缓冲器28、30丢弃从间断标记80开始的数据，直到入点56为止。随后，从入点56继续进行解码和提交。可以在任何适当的时间，丢弃从间断标记80开始，直到入点56为止的数据。
现参见图14，该图是图1的系统10中的直播视频帧82的部分图示、部分框图的视图。
下面描述直播流16的典型流格式。但是，本领域普通技术人员应当理解的是，可以使用任何适当的流格式。
为了实现更佳的系统性能，从发送可用广告的时间开始，直到该可用广告的结束为止，不应当存在PCR间断。服务中的基本流(ES)可以是正常的(clear)或者加扰/加密的。一般情况下，视频ES中的瞬时解码刷新(IDR)接入单元(没有示出)和音频ES中的音频帧(其遵循ANSI/SCTE 35[1]拼接信息段(splice_info_section())中所指定的预期拼接点)(并且其可以是来自网络的拼接或者拼接到该网络)，是分组化基本流(PES)分组(其通常以TS分组开始)。一般情况下，TS分组携带具有均被设置为‘1’的随机接入指示符(random_access_indicator)和基本流优先级指示符(elementary_stream_priority_indicator)的适配字段。一般情况下，携带IDR接入单元(H264)或者I-帧(MPEG 2)的PES分组包括PTS。MPEG系统 规范通过设置拼接点标志(splicing_point_flag)和在传输分组的适配字段中包括拼接倒计数(splice_countdown)字段，来实现传输域中的拼接点的通知。在拼接系统10中，针对在包括GOP的开始(其表示拼接点)的分组之前紧接的视频PID的传输流分组，通常将拼接倒计数字段设置为“0x00”。
在MPEG-2和MPEG-4视频ES中，直播流16中的出点52通常是不应当显示的直播流16的第一幅图。一般情况下，当返回到直播流16时，直播流16中的入点56是应当显示的直播流16的第一幅图。一般情况下，直播流中的入点56在该流中的RAP处。
在MPEG-1第2层音频ES中，音频电平通常在拼接点附近下降到零，使得其音频静音在直播流16中的视频出点52之前(仅仅举例而言，比方说300毫秒)，并跟在直播流16中的视频入点56之后。
在AC-3音频ES中，AC-3通常不对广播中的音频施加限制。
现参见图15，该图是图1的系统10中的多个记录的视频帧84的部分图示、部分框图的视图。
下面描述记录的替代广告14的典型流格式。但是，本领域普通技术人员应当理解的是，可以使用任何适当的流格式。
一般情况下，每一个替代广告14以视频RAP和闭合GOP开始。每一个替代广告14通常是自包含记录。替代广告14可以是加密的或者正常的。一般情况下，每一个替代广告14的记录以广告14的第一帧84开始，换言之，其不具有前导(leader)。仅举例而言，记录的替代广告14可以包括DVB字幕、图文字幕或者字幕关闭。
为了实现增强的拼接性能，磁盘18(图1)中存储的替代广告14通常具有与该替代广告14所替代的直播流16相类似的编码特性。
本领域普通技术人员应当理解的是，一些广播商可能不愿产生广播和存储多个广告实例的费用，在该情况下，拼接系统10可能需要在同一文件中存储的不同广告之间进行转换，其可能导致非优化的拼接，并可能观测到视频和/或音频不一致。
可以相继地提交不同扫描类型(逐行式或者隔行式)的相邻内容。不需要相邻内容使用相同的PID。相邻内容通常具有相同的视频编码类型，例如，但不限于：均为MPEG-2或者均为H.264-AVC。一般情况下，相邻内 容具有相同的长宽比(4∶3或者16∶9)和视频分辨率。但是，本领域普通技术人员应当理解的是，相邻内容可以具有不同的视频编码类型、长宽比、扫描模式和视频分辨率。
一般情况下，相邻内容具有相同的音频编码类型，例如，但不限于：均为MPEG-1层2或者均为AC-3。但是，本领域普通技术人员应当理解的是，可以使用不同的音频编码类型。
对于AC-3音频来说，相邻音频内容通常具有：相同数量的信道(5.1相对于立体声)、相同的数据速率和相同的采样速率。但是，本领域普通技术人员应当理解的是，相邻音频内容可以具有不同数量的信道、数据速率和采样速率。
应当理解的是，如果期望的话，本发明的软件组件可以以ROM(只读存储器)形式来实现。如果期望的话，这些软件组件通常可以使用传统技术，以硬件来实现。此外，还应当理解的是，可以将软件组件例示为例如计算机程序产品；实现在有形介质上；或者可由适当计算机解释的信号。
应当理解的是，为了清楚说明起见而在不同的实施例的背景下描述的本发明的各个特征，还可以结合单一实施例来提供。相反，为了简化起见而在单一实施例的背景下描述的本发明的各个特征，还可以单独地或者以任何适当的子组合来提供。
本领域普通技术人员应当理解的是，本发明并不受到上面具体示出和描述的内容的限制。而是，本发明的保护范围由所附权利要求书及其等同物进行界定。

Claims (5)

1.一种用于从第一音频/视频序列切换到直播音频/视频序列的系统，所述直播音频/视频序列包括拼接点时间戳，所述系统包括多个操作性连接的单元，其包括：
磁盘，用于在其中存储包括所述第一音频/视频序列的内容；
直播接收机，用于接收所述直播音频/视频序列；
解复用器排列，用于对来自所述磁盘的所述第一音频/视频序列中的至少一些和随后对来自所述直播接收机的所述直播音频/视频序列中的至少一些进行解复用；
缓冲器，用于从所述解复用器排列接收所述第一音频/视频序列的解复用的音频/视频和随后接收所述直播音频/视频序列的至少一部分的解复用的音频/视频，以在其中进行存储；以及
解码器，用于对所述缓冲器中存储的解复用的音频/视频进行解码，其包括对所述第一音频/视频序列进行解码，并且随后从所述拼接点时间戳开始对所述直播音频/视频序列进行解码；
其中：
所述解复用器排列用于与实时相比较快地推送从所述磁盘通过所述解复用器排列到所述缓冲器中的所述第一音频/视频序列，使得在所述第一音频/视频序列正由所述解码器从所述缓冲器中解码的同时，在所述拼接点时间戳之前的多个帧开始将所述直播音频/视频序列解复用到所述缓冲器。
2.根据权利要求1所述的系统，其中：
所述直播音频/视频序列的解复用的音频/视频包括不想要的数据，所述不想要的数据从所述拼接点时间戳之前的多个帧开始，直到在所述拼接点时间戳之前为止；并且
所述缓冲器用于丢弃所述直播音频/视频序列的所述不想要的数据，使得所述解码器不接收所述不想要的数据来进行解码。
3.根据权利要求1所述的系统，还包括：
布置在所述解复用器排列和所述缓冲器之间的预过滤器，所述预过滤器用于从所述解复用器排列接收所述第一音频/视频序列的解复用的音频/视频和所述直播音频/视频序列的解复用的音频/视频，所述直播音频/视频序列的解复用的音频/视频包括不想要的数据，所述不想要的数据从所述拼接点时间戳之前的多个帧开始，直到在所述拼接点时间戳之前为止，并且其中，所述缓冲器用于从所述预过滤器接收解复用的音频/视频以在其中进行存储，其中该解复用的音频/视频包括所述第一音频/视频序列的解复用的音频/视频和所述直播音频/视频序列的解复用的音频/视频，不包括由所述预过滤器过滤的所述不想要的数据。
4.一种用于从第一音频/视频序列切换到直播音频/视频序列的方法，所述直播音频/视频序列包括拼接点时间戳，所述方法包括：
对来自磁盘的所述第一音频/视频序列中的至少一些和随后对来自直播接收机的所述直播音频/视频序列中的至少一些进行解复用，以便存储在缓冲器中；
对来自所述缓冲器的所述第一音频/视频序列进行解码；并且随后
从所述拼接点时间戳开始对来自所述缓冲器的所述直播音频/视频序列进行解码；
其中：
与实时相比较快地推送所述第一音频/视频序列，使得在所述第一音频/视频序列正被从所述缓冲器中解码的同时，在所述拼接点时间戳之前的多个帧开始将所述直播音频/视频序列解复用到所述缓冲器。
5.根据权利要求4所述的方法，其中，所述解码在所述第一音频/视频序列的解码和所述直播音频/视频序列的解码之间进行无缝拼接，使得在所述第一音频/视频序列和所述直播音频/视频序列之间将不存在明显的收听/观看间隙。
CN201080011054.8A 2009-05-13 2010-04-08 拼接系统 Active CN102349307B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US21607109P 2009-05-13 2009-05-13
US61/216,071 2009-05-13
PCT/IB2010/051528 WO2010131128A1 (en) 2009-05-13 2010-04-08 Splicing system

Publications (2)

Publication Number Publication Date
CN102349307A CN102349307A (zh) 2012-02-08
CN102349307B true CN102349307B (zh) 2015-10-21

Family

ID=42262651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080011054.8A Active CN102349307B (zh) 2009-05-13 2010-04-08 拼接系统

Country Status (5)

Country Link
US (1) US8755669B2 (zh)
EP (1) EP2430834A1 (zh)
CN (1) CN102349307B (zh)
AU (1) AU2010247117B2 (zh)
WO (1) WO2010131128A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110082744A1 (en) * 2008-06-17 2011-04-07 Hiromi Iida Optical disk reproducing device and reproducing method
GB2476031A (en) * 2009-12-02 2011-06-15 Nds Ltd Splicing stored media with a live media stream time slot using timecodes
WO2011155099A1 (ja) * 2010-06-11 2011-12-15 三菱電機株式会社 映像表示装置
US9301020B2 (en) * 2010-11-30 2016-03-29 Google Technology Holdings LLC Method of targeted ad insertion using HTTP live streaming protocol
GB2491574B (en) 2011-06-02 2013-11-20 Nds Ltd Content insertion in adaptive streams
US20130054825A1 (en) * 2011-08-23 2013-02-28 General Instrument Corporation Content streaming in communication system
US8819476B2 (en) * 2011-09-26 2014-08-26 Imagine Communications Corp. System and method for disaster recovery
JP2013110477A (ja) * 2011-11-17 2013-06-06 Onkyo Corp コンテンツ再生システム
WO2013113583A2 (en) * 2012-01-31 2013-08-08 Domlex Limited A system and a method of broadcasting and displaying of an advertisement during the interval of switching between dvb channels or services
CN103458271A (zh) * 2012-05-29 2013-12-18 北京数码视讯科技股份有限公司 音视频文件拼接方法和装置
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
US9338521B2 (en) 2013-02-22 2016-05-10 Microsoft Technology Licensing, Llc Overwriting existing media content with viewer-specific advertisements
US9860458B2 (en) * 2013-06-19 2018-01-02 Electronics And Telecommunications Research Institute Method, apparatus, and system for switching transport stream
JP5725235B1 (ja) * 2014-04-22 2015-05-27 ソニー株式会社 受信装置及び受信方法、並びに、送信装置及び送信方法
CA2963765C (en) 2014-10-20 2022-12-13 Sony Corporation Receiving device, transmitting device, and data processing method
CA2964714C (en) 2014-10-28 2021-06-15 Sony Corporation Reception device, transmission device, and data processing method
US20160234528A1 (en) * 2015-02-09 2016-08-11 Arris Enterprises, Inc. Carriage of video coding for browsers (vcb) video over mpeg-2 transport streams
EP3304330A4 (en) 2015-06-01 2018-11-07 Benjamin Aaron Miller Content segmentation and time reconciliation
US10431208B2 (en) 2015-06-01 2019-10-01 Sinclair Broadcast Group, Inc. Content presentation analytics and optimization
CA2988108C (en) 2015-06-01 2023-10-10 Benjamin Aaron Miller Break state detection in content management systems
EP3185564A1 (en) * 2015-12-22 2017-06-28 Harmonic Inc. Video stream splicing of groups of pictures (gop)
US10855765B2 (en) 2016-05-20 2020-12-01 Sinclair Broadcast Group, Inc. Content atomization
WO2018093354A1 (en) * 2016-11-15 2018-05-24 Google Llc Systems and methods for reducing download requirements
CN108737886B (zh) * 2017-04-25 2021-02-26 澜至电子科技（成都）有限公司 数字节目的快速切换系统、方法及数字机顶盒
TW202415077A (zh) * 2017-09-08 2024-04-01 美商開放電視股份有限公司 用於內容呈現之位元率及管線保留技術
CN108259987A (zh) * 2017-12-19 2018-07-06 湖北鸿云科技股份有限公司 移动端低延时流媒体播放器及播放方法
US10771865B2 (en) * 2019-02-11 2020-09-08 Netflix, Inc. Techniques for advancing playback of interactive media titles in response to user selections
WO2020231817A1 (en) * 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
FR3101744B1 (fr) * 2019-10-04 2023-07-21 Enensys Tech Procédé de signalisation d’une substitution à un terminal, procédé de substitution par un terminal, produits programme d'ordinateur, système et terminal correspondants
US11647259B2 (en) * 2020-06-17 2023-05-09 Yieldmo, Inc. Method for serving interactive digital advertising content within a streaming platform
US11956482B2 (en) * 2020-07-16 2024-04-09 Comcast Cable Communications, Llc Systems and methods for storing and delivering content assets
EP4142294A1 (en) * 2021-08-27 2023-03-01 Thomson Licensing Substitution method of at least one portion of a video stream and video receiver implementing the method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227567A (zh) * 2006-10-26 2008-07-23 三洋电机株式会社 数字广播接收装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724091A (en) 1991-11-25 1998-03-03 Actv, Inc. Compressed digital data interactive program system
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
US6029045A (en) 1997-12-09 2000-02-22 Cogent Technology, Inc. System and method for inserting local content into programming content
WO2000069163A2 (en) * 1999-05-10 2000-11-16 Expanse Networks, Inc. Advertisement subgroups for digital streams
US7068719B2 (en) 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
US20040160974A1 (en) * 2003-02-13 2004-08-19 Read Christopher Jensen Method and system for rapid channel change within a transport stream
US20050238320A1 (en) * 2003-05-15 2005-10-27 Segone, Inc. System and method for controlling transmission of video and audio signals to at least one display device
WO2005001626A2 (en) 2003-06-05 2005-01-06 Seachange International, Inc. Content/service handling and delivery
US20060253864A1 (en) 2005-03-15 2006-11-09 Optical Entertainment Network, Inc. System and method for household-targeted advertising
EP1911278A2 (en) * 2005-08-04 2008-04-16 Nds Limited Advanced digital tv system
KR100774168B1 (ko) * 2005-11-16 2007-11-08 엘지전자 주식회사 타임 쉬프트 기능을 갖는 영상표시 장치 및 그 제어방법
US20070136742A1 (en) * 2005-12-13 2007-06-14 General Instrument Corporation Method, apparatus and system for replacing advertisements in recorded video content
US8949886B2 (en) 2007-06-18 2015-02-03 Alcatel Lucent Targeted advertisement insertion with interface device assisted switching

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227567A (zh) * 2006-10-26 2008-07-23 三洋电机株式会社 数字广播接收装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Switching facilitiles in MPEG-2:Necessary but not sufficient;WEISS ET AL;《SMPTE JOURNAL》;19951201;第104卷(第12期);第788-802页 *

Also Published As

Publication number Publication date
WO2010131128A1 (en) 2010-11-18
AU2010247117B2 (en) 2013-08-15
US8755669B2 (en) 2014-06-17
AU2010247117A1 (en) 2011-08-11
EP2430834A1 (en) 2012-03-21
CN102349307A (zh) 2012-02-08
US20120099022A1 (en) 2012-04-26

Similar Documents

Publication Publication Date Title
CN102349307B (zh) 拼接系统
AU2005295772B2 (en) Speeding up channel change
US20080155586A1 (en) Method and device for processing video stream in digital video broadcasting systems
US20070234395A1 (en) Speeding up channel change
US20080170687A1 (en) Device for and a Method of Processing an Encrypted Data Stream
US20040160974A1 (en) Method and system for rapid channel change within a transport stream
US20040194134A1 (en) Method and system for rapid channel change providing stored images of current channel programs
US20060277581A1 (en) Local entity and a method for providing media streams
KR20090107000A (ko) 방송 신호 수신 방법 및 방송 신호 수신 장치
US20130339997A1 (en) Fast Channel Change Via a Mosaic Channel
GB2490659A (en) Fast channel change using channel packs comprising independently decodable frame segments having differing qualities
EP2504991B1 (en) Splicing of content
EP3135037A2 (en) Digital media splicing system and method
US8331763B2 (en) Apparatus and method for synchronizing reproduction time of time-shifted content with reproduction time of real-time content
US20140173649A1 (en) Fast Service Change
KR20170084046A (ko) 미디어 컨텐츠 수신 및 재생 제어
AU2001266732B2 (en) System and method for providing multi-perspective instant replay
CN103139641A (zh) 在实时数字电视时移播放中实现音视频无缝切换的方法及装置
EP3386194A1 (en) Method of delivery audiovisual content and corresponding device
US20100201890A1 (en) Television channel switching method and apparatus
EP1999952B1 (en) Video substitution system
EP4142294A1 (en) Substitution method of at least one portion of a video stream and video receiver implementing the method
US10567703B2 (en) High frame rate video compatible with existing receivers and amenable to video decoder implementation
KR101533474B1 (ko) 비디오 데이터 패킷 수신 장치 및 방법
KR101672287B1 (ko) 방송 신호 수신 방법 및 방송 신호 수신 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1163410

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1163410

Country of ref document: HK