CN101621663B - 预调节用于数字程序插入的广告内容的方法 - Google Patents

预调节用于数字程序插入的广告内容的方法 Download PDF

Info

Publication number
CN101621663B
CN101621663B CN200910151526.9A CN200910151526A CN101621663B CN 101621663 B CN101621663 B CN 101621663B CN 200910151526 A CN200910151526 A CN 200910151526A CN 101621663 B CN101621663 B CN 101621663B
Authority
CN
China
Prior art keywords
image
content
sequence
stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200910151526.9A
Other languages
English (en)
Other versions
CN101621663A (zh
Inventor
爱德华·A·克劳斯
彼得·蒙塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagination communication common carrier
Original Assignee
RGB MEDIA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RGB MEDIA Inc filed Critical RGB MEDIA Inc
Publication of CN101621663A publication Critical patent/CN101621663A/zh
Application granted granted Critical
Publication of CN101621663B publication Critical patent/CN101621663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供用于插入广告或类似内容及/或用以对视频、音频及/或数据流执行修饰功能的方法。在网络流中接收视频编程。在内容流中接收例如广告的交替内容。预调节所述内容流以在其中提供用于将所述网络流拼接到所述内容流的入口点。还可对所述内容流执行预调节以在所述交替内容(例如，广告)已终结时提供用于拼接回到所述网络流的出口点。

Description

预调节用于数字程序插入的广告内容的方法
相关申请案交叉参考
本申请案主张标题为“Preconditioning Ad Content for Digital Program Insertion(预调节用于数字程序插入的广告内容)”且在2008年6月30日提出申请的第61/133,614号美国临时专利申请案的优先权及权益，所述申请案以全文引用的方式并入本文中。 
技术领域
本发明涉及数字视频通信，且更明确地说，涉及将广告及类似内容插入到数字视频流中。本发明还适用于对数字视频流的修饰，例如用于重组来自一个或一个以上源的选定的程序。 
背景技术
将广告插入到视频编程中的过程在从模拟视频转变到经压缩数字格式(例如MPEG-1及MPEG-2)之后变得更加复杂。不是从一个信号到另一信号地替代模拟波形(或数字化像素)，而是必须首先在第一经压缩数字流中识别适合的出口点且接着将此出口点与进入到第二经压缩数字流中的适合入口点对准。另外，需要添加、修改或替换许多参数以在拼接转变期间维持无缝连续性。实际上，当今存在的大多数数字拼接产品将不仅修改这些参数，还将重新产生整个流。这样做旨在确保所产生的流的数据速率保持在用于将信号从拼接器传送到一个或一个以上接收装置的通信信道的限制内。此数据速率修改过程通常称为速率转换。拼接与速率转换能力的组合不仅在针对广告插入还在针对修饰而设计的产品中尤其有利。 
修饰是指对来自一个或一个以上源的选定的程序的重组。修饰是通常依据速率转换将所述选定的程序的组合速率与所述通信信道的数据速率匹配的应用程序。在此情况下，如果对程序的选择做出改变，或如果将广告插入到这些选定的程序中的一者或一者以上中，则速率转换过程将自动地确保绝不超过所述通信信道的容量。 
在某些应用中，使用速率转换可为不合理的或甚至不可能的。例如，速率转换不可应用于经加密的数字程序。在其它情况下，所述程序可以是明码的(未经加密)且所述数据速率可以是恒定的且预先知道的。此外，可知道所述通信信道的容量足以容纳固定数目的这些恒定位速率程序。通常，在此类情形下，假设不存在对速率转换的需要将是安全的。然而，问题在于，当将替代内容替代到一个或一个以上程序中时，可引入数据速率峰值，即使所述新内容的数据速率可以是恒定的且与其替换的内容具 有相同速率。为理解这些瞬态速率变化，将存在于用于对视频及音频信号进行解码及重现的接收装置中的缓冲器的满度建模是有用的。 
图1A显示接收器缓冲器在接收第一流10时的满度且图1B显示缓冲器在接收第二流12时的满度。图1C显示在拼接器实施从第一流10到第二流12的转变之后的所产生的缓冲器满度。如可看出，所述转变起始于所述第一流(“流1”)的结束处且以所述第二流(“流2”)的开始继续。应注意，所述缓冲器在拼接发生之后立即变空，从而致使解码器缺乏数据，如组合流14的交叉阴影线区域所指示。结果是视频(或音频)的呈现的中断。在此情况下，这是由于所述缓冲器在流1的结束处的几乎空状态、紧接其后的在流2的开始处开始的缓冲器输出处的高漏极速率所致。 
速率转换原本可通过恰在拼接点之前降低流1的数据速率且通过在执行所述拼接之后立即继续降低流2的数据速率来防止此中断。然而，适用于高级压缩格式的速率转换实施方案的成本可为相当高，且即使在其中流是明文的且仍存在速率转换选项的情况下也避免此成本将是有利的。此高级压缩格式的实例是H.264视频压缩标准，其等效于MPEG-4部分10或MPEG-4 AVC(即高级视频译码)。MPEG代表运动影像专家组，其已颁布在此项技术中所熟知的用于压缩数字视频及音频数据的一组标准。 
提供非常适于涉及将广告插入到经加密的程序中的应用的速率转换的替代方案将是有利的。提供涉及预调节交替内容(例如，广告)且可在编码器处内容始发时或在使用独立离线过程的稍后时间应用的此类系统及方法将进一步是有利的。如果一旦处理则可对交替内容(例如，广告)进行加密(如果必要)将仍是有利的。如果交替内容将插入到其中的网络流(例如，视频编程)不需要修改且可假设为被加密，则也将是有利的。本发明提供具有这些及其它优点的系统及方法。 
发明内容
提供一种用于将内容插入到视频编程中的方法，其中在第一视频流中接收所述视频编程且在第二视频流中接收将插入的内容(一个或一个以上广告)。预调节所述第二视频流以在所述第二视频流中提供用于将所述第一视频流拼接到所述第二视频流的入口点。 
在所图解说明的实施例中，当所述内容包括多个连续图像时，所述预调节步骤限制所述内容的第一图像的最大大小。所述预调节将更通常限制所述内容的图像序列的最大大小。 
所述图像序列可包括所述第二视频流中按预定解码次序的一组连贯图像。可依据按呈现次序显示所述序列所需的图像显示间隔“T”的数目及用于传输所述序列的可用数据速率“r”确定所述图像序列的最大大小。在每一连续图像之后更新所述序列的所述最大大小且通过压缩所述序列的所述下一图像来予以实行。 
一旦接收所述内容的缓冲器的占有层级积累到可能在后续处理期间避免下溢及 溢出条件中的至少一者的层级，即可暂停所述预调节步骤。 
所述内容可包括多个连续图像，其中每一连续图像是帧内译码(I)图像、预测(P)图像或双向(B)图像中的一者。所述预调节步骤可包括以下步骤：将至少一个B图像转换为在所述入口点处的第一I图像后面的P图像；及限制所述内容的图像序列的所述最大大小，其中所述序列包含所述第一I图像及从所述B图像转换的所述I图像。通常，多个B图像将被转换为在所述第一I图像后面的P图像。 
在另一实施例中，替代在所述预调节步骤期间将B图像转换为P图像，编码器可经配置以在内容流的开始处产生P图像而非B图像。 
当所述内容包括(举例来说)电视广告(“商业广告”)时，通常将在返回到网络视频编程之前插入多个内容流。在此情况下，所述第二视频流可包括一系列不同的内容流。 
还提供一种用于将内容插入到视频编程中而不修改所述视频编程的方法。在第一视频流中接收所述视频编程，在第二视频流中接收所述内容，且在所述第二视频流中提供出口点。明确地说，将所述第一视频流拼接到所述第二视频流以用所述内容(例如，广告)替代所述视频编程(例如，电视程序)。预调节所述第二视频流以提供所述出口点。接着在所述出口点处将所述第二视频流拼接到所述第一视频流以在所述内容的终结时返回到所述视频编程。 
将所述拼接的视频流传送到接收器，所述接收器将来自所述拼接的视频流的数据暂时存储于缓冲器中。所述预调节步骤可基于足以在开始解码所述第二视频流将要拼接到的所述第一视频流的第一图像之前刚好用所述内容的结束部分大致填充所述缓冲器的时间量建立所述出口点。将所述第二视频流拼接到以经解码的第一图像开始的第一视频流。在一个实施例中，将被认为足以大致填充所述缓冲器的“时间量”约束为不超过预定最大值。 
所述预调节步骤还可包含确定所述内容的所述结束部分是否可能在开始所述解码之前使所述缓冲器发生溢出。如果可能，则重新压缩所述内容的所述结束部分以将其中的数据量减小到将不使所述缓冲器发生溢出的量。 
通常，将在返回到所述第一视频流中的所述视频编程之前插入多个内容流(例如，一连串商业广告)。在此情况下，所述第二流可包括多个不同的内容流。 
刚刚描述的方法还可包含预调节所述第二视频流以在其中提供用于将所述第一视频流拼接到所述第二视频流的入口点的步骤。 
附图说明
图1A是图解说明接收器缓冲器在接收第一数据流时的满度的图示； 
图1B是图解说明接收器缓冲器在接收第二数据流时的满度的图示； 
图1C是图解说明在拼接器实施从第一数据流到第二数据流的转变之后的所产生 的缓冲器满度的图示； 
图2是显示拼接到第二流(例如，广告流)的第一流(例如，网络流)以及表示接收器缓冲器满度层级的视频缓冲器验证器(VBV)模型的图示； 
图3是显示拼接到第二流的第一流以及表示接收器缓冲器满度层级的视频缓冲器验证器(VBV)模型的图示，其中所述第二流经处理以在拼接之前将B图像转换为P图像； 
图4是显示拼接到第二流的第一流以及表示接收器缓冲器满度层级的视频缓冲器验证器(VBV)模型的图示，其中来自所述第一流的出口相对于图3中所示的出口点延迟一个图像间隔； 
图5是显示拼接到第二流的第一流以及表示接收器缓冲器满度层级的视频缓冲器验证器(VBV)模型的图示，其中第一流出口点相对于图3中所示的出口点延迟两个图像间隔； 
图6是显示从第一流到第二流的拼接以及表示在所述第一流的传输期间的接收器缓冲器满度层级的视频缓冲器验证器(VBV)模型的图示； 
图7是可用于实施本发明的设备的框图； 
图8是详述可用于(例如)结合图7的设备实施本发明的软件的实例的第一流程图； 
图9是详述可用于实施本发明的软件的实例的第二流程图；及 
图10是详述可用于实施本发明的软件的实例的第三流程图。 
具体实施方式
虽然本发明是多次参照广告插入的过程来加以描述，但应认识到，解决方案同样适用于其中在由有限或无限持续时间的任意无关视频内容组成的视频流之间发生拼接的修饰应用。 
根据本发明的一个实施例，针对第二视频流的插入来调节第一视频流中的入口点。通常，所述第二流将包括将与由所述第一流携载的视频程序(例如，电视程序)一起显示的一个或一个以上广告(“商业广告”)或类似内容。在将插入多个广告或类似内容时，所述第二视频流可(举例来说)包括一系列不同的内容流。在此实施例中，所述不同的内容流中的每一者可对应于不同商业广告。 
图2表示根据本发明用于流1到流2的拼接的“入口点调节”的实例。在图2的数字数据流(例如，视频及/或音频)拼接实例中，将流20(“流1”)拼接到流22(“流2”)。所述拼接的流在图顶部处按解码次序(P、B、B、P、B、B、I0、P3、B1、B2、P6、B4、B5)且在下面按呈现次序(B、B、P、B、B、P、I0、B1、B2、P3、B4、B5、P6)显示。所述解码次序与传输经压缩影像的次序相同，而呈现次序反映对解码器处的某些帧进行重排序以恢复所显示影像的原始序列。应注意，在B图像 的情况下，呈现时间(由图中的箭头指示)与解码时间相同，而I及P图像的呈现时间被延迟以与序列中下一I或P图像的解码时间对准。还应注意，可解码B图像并在同一时刻予以显示的假设是理想化的且实际上在解码开始之后可发生呈现之前将始终存在某一延迟。在MPEG-2的情况下，实行此理想化且约束编码器以基于解码时间导出用于I、P及B图像的呈现时间，如图2中所示。在H.264的情况下，通常使呈现时间延迟额外帧间隔。然而，以下论述并不依据是否考虑此额外延迟。 
图2的底部处显示用于接收所述拼接的位流的缓冲器的满度。与图1中所示的缓冲器满度影像不同，此版本图解说明假设为表示调谐到同一信号的所有接收器且在针对顺应性接收器中的溢出或下溢进行测试时所依赖的视频缓冲器验证器(VBV)模型。所述模型假设在由对应解码时间戳(DTS)规定的一瞬间从缓冲器整个地移除每一图像(存取单位)。此即缓冲器满度的瞬时降低以规则间隔发生的原因。每一瞬时降低的大小由特定图像的经压缩表示的大小确定。一般来说，I图像不像P及B图像那么有效地被压缩且因此将与最大缓冲器调整相关联。 
I图像或“帧内译码图像”实际上是全规定型图像。P图像及B图像仅保存影像信息的一部分，因此其比I图像需要更少的存储空间且因此改进视频压缩速率。明确地说，P图像或“预测图像”仅保存来自先前图像的影像的改变。B图像或“双向图像”通过使用当前图像与前面及后面图像两者之间的差异来规定其内容而节省甚至更多的空间。用作用于预测其它图像的参考的图像称为参考图像。术语I图像、P图像及B图像在此项技术中通常分别称为I帧、P帧及B帧。 
如果我们假设已独立地将流1及流2压缩为相同目标位速率，则将需要以可在不冒VBV缓冲器的下溢的风险的情况下将流2插入到任何流中的方式约束流2的属性。应注意，并不需要考虑溢出，因为拼接器能够在需要溢出预防时延迟流化。虽然我们假设我们并不知道流1的属性中的任何属性(可对其进行加密)，但我们还假设我们仍可以获得解码及呈现时间戳。解码时间戳(DTS)及呈现时间戳(PTS)的参数描述于(举例来说)所属领域的技术人员所熟知的MPEG-2规范中。简单地说，所述PTS是MPEG-2运输流中用于帮助解码器按时地以正确速度且同步地呈现程序的元数据字段。所述PTS周期性地将程序呈现时间与也在运输流中传输的程序时钟参考(“PCR”)进行比较(且重新调整，如果必要)。所述DTS指示应立即从接收器缓冲器移除数据并对其进行解码的时间。 
虽然对用于流2的内容的每一可能选择将产生不同VBV占有层级，但仍可断定如果未发送流2，则VBV缓冲器将在对应于流1的最后一个图像的DTS的一瞬间变空。在图2中，此瞬间在t＝0时发生，如在时间线24上所见。因此，最坏情况假设将是缓冲器恰在t＝0之前为满。虽然此假设并不实际且替代地可对此最后一个B图像的大小强加合理界限，但接受此最坏情况假设以简化本发明的说明。如果做出在t＝0时所述占有层级从满转变为空的假设，则还可假设流2的传输将被延迟到此时间，且因此既然已解决开始条件则可开始对所述VBV缓冲器的分析。 
在从t＝0到t＝T的间隔期间，其中T是图像显示间隔(举例来说，1/30秒)，接收器将显示流1的最后一个B图像。在从t＝T到t＝2T的下一间隔期间，所述接收器将显示流1的最后一个图像(在此情况下，无序地传输的P图像)。如从图2中看出，直到t＝2T才显示流2第一个图像(I0)。与B图像一样，可假设其中一接收到整个影像即可开始显示的理想化。明显地，如果可在从t＝0到t＝2T的间隔期间传输整个图像I0，则其将及时地到达以防止缓冲器发生下溢。如果假设可用于传输信号的数据速率是r，则图像I0(NI0)的最大大小变得受限，如下： 
(1)NI0≤2Tr 
如果将流2压缩为平均数据速率r，则此将是平均图像大小的两倍。然而，由于在不使用运动补偿帧间预测的情况下压缩I图像，因此其将往往比平均图像大得多。在许多情况下，其将往往比平均图像大小的两倍大，且因此将需要增加压缩比以确保满足此约束。此可在预处理步骤期间实行。 
将显示的下一图像是B1；然而，B1不仅依赖图像I0作为参考图像还依赖P3。此意味着必须在于时间3T处显示B1之前解码P3及B1两者。因此，对必须在从t＝0到t＝3T的间隔期间进行解码的三个图像的组合大小强加约束，即： 
(2)NI0+NP3+NB1≤3Tr 
所述约束在此之后变得更容易： 
(3)NI0+NP3+NB1+NB2≤4Tr 
(4)NI0+NP3+NB1+NB2+NP6+NB4≤6Tr 
(5)NI0+NP3+NB1+NB2+NP6+NB4+NB5≤7Tr 
可通过重新压缩序列的下一图像来实行每一连续约束。一旦缓冲器占有层级积累到其中其原本已在原始编码假设下的同一点，则不需要进一步调整。在几乎所有情况下，缓冲器层级的此相等性到已完成第一图像群组(GOP)时发生。GOP的概念定义在MPEG-2规范中，且为所属领域的技术人员所熟知。一般来说，GOP是MPEG译码视频流内的连续图像群组。 
依据以上约束(1)及(2)，可看出必须在从t＝2T到t＝3T的间隔期间传输两个额外图像。意图是在t＝3T时显示B1；然而，不可在不首先重构参考图像P3的情况下重构B1。如果遵循MPEG-2的规则且假设B1将不用作用于其它图像的参考，则可得出以下结论：为重现B1而消耗的位在考虑尽可能快地恢复完全视频质量的目标时将不具有价值。通常，当可能将额外位分配给为重构B图像而依赖的参考帧时，使用B图像是非常合理的。然而，由于约束(1)、且明确地说约束(2)，第一参考帧(I0及P3)的质量将发生稍微降级。 
出于此原因，且为放宽约束(2)所强加的要求，将I帧后面的第一图像转换为简单的P图像是有利的，如图3中所示。图3图解说明如何沿时间线34将视频编程流 30(“流1”)拼接到内容流32(“流2”)。在此实例中，已将图2的B1转换为P1且已将B2转换为P2。还已重新产生P3以依据P2作为参考来替代I0。这些P图像中的每一者将在视频重现准确性中引入递增的改进。在以下列出的新约束中，应注意，(2B)、(3B)及(4B)不仅比先前约束(2)及(3)更适于此递增的改进策略，其还更易于实现。 
(1B)NI0≤2Tr 
(2B)NI0+NP1≤3Tr 
(3B)NI0+NP1+NP2≤4Tr 
(4B)NI0+NP1+NP2+NP3≤5Tr 
(5B)NI0+NP1+NP2+NP3+NP6+NB4≤6Tr 
(6B)NI0+NP1+NP2+NP3+NP6+NB4+NB5≤7Tr 
先前实例已假设其中M(一加上参考图像对之间的B图像的数目)等于3的简单GOP结构。此为在实际中最常使用的设定。然而，M可任意地增加或减小到值2，且此将不影响约束的形式或满足所述约束的能力。如果M＝1(根本无B图像)，则不需要紧化所述约束，只要从编码器输入到解码器输出的总等待时间保持相同即可。应注意，所述等待时间不可在不牺牲从所述M＝1设定无缝地转变到其中引入B图像的其它设定的能力的情况下减少。先前参照图3提供了M＝1与M＝3的设定之间的无缝转变的实例。 
还应注意，在某些情况下，将图像编码为字段而非帧。有时，此在不改动所述GOP结构的情况下实现。举例来说，参考可由编码为字段的两个图像构成且每一参考对之间可存在四个B图像(两组字段对)。此并不影响本文所阐述的分析或结论。 
修改所述GOP结构的另一原因是容纳随机存取点。随机存取点是指流中其中可执行拼接的点。I帧必须始终存在于拼接入口点处。虽然对出口点的要求并不那么严格，但始终安全的是假设在随机存取点前面的一瞬间可存在清洁出口。 
图4显示沿时间线44从视频编程流40(“流1”)到内容流42(“流2”)的转变。如可看出，来自流1的出口已相对于图3中的出口点延迟一个图像间隔。在此情况下，流1的最后一个图像从B图像改变为P图像，因为我们不可跨越拼接点使用向后预测。如前所述，我们假设VBV缓冲器在对应于流1的最后一个图像的DTS的时间处为空。此时刻在必须显示流1的第一个图像(I0)之前的两个显示间隔处发生。因此，发送流1时的缓冲器占有层级将与在图3的实例中观察到的层级保持相同且相同约束(1B)到(6B)将保持有效。 
图5图解说明其中出口点已相对于图3中的出口点延迟两个图像间隔的实例。在此情况下，通过在视频编程流50(“流1”)的结束处从M＝3切换到M＝2来容纳额外图像。应注意，在流1的传输期间的VBV缓冲器分析保持不受此改变的影响，且 相同约束(1B)到(6B)继续适用。所述图中还显示内容流52(“流2”)及时间线54。 
必须不仅在从网络流(例如，视频编程流)拼接到交替内容(例如，广告)时还在从所述交替内容返回到所述网络流时防止VBV缓冲器发生下溢。如前所述，可通过预调节所述交替内容来确保此要求，而所述网络内容保持不受约束。 
图6中显示从广告流60(“流1”)回到网络流62(“流2”)的拼接的实例。在此情况下，所述广告是流1而所述网络是流2。如前所述，我们假设将解码流2的第一图像(I0)且在时间线64上所示的时间t＝0处显示所述图像。因此，拼接器必须及时完成发送流1并开始发送流2以到时间t＝0时整个地递送图像I0。同样，我们可确保通过假设最坏情况条件来满足此约束。具体来说，我们可假设图像I0足够大以填满整个VBV缓冲器。如果我们可在I0的解码时间之前成功填充所述缓冲器，则我们可假设我们的定时等于或先于所述网络流的原始定时。因此，将不需要额外约束。 
如果TSTART是当从空状态开始时填充所述缓冲器所需的时间，则： 
(1)TSTART＝NVBV/r 
其中NVBV是VBV缓冲器的最大大小且r是用于传输此程序的可用数据速率。实际上，通常对在首先将存取单位插入到所述VBV缓冲器中时开始且在移除所述存取单位时结束的最大延迟强加限制。如果此限制存在且规定为TMAX，则以上约束(1)变为受到以下额外约束： 
(2)TSTART≤TMAX
一旦确定TSTART的值，则可通过确保到时间t＝-TSTART时完全传输流1的最后一个图像来实行所述约束。 
从图6中注意到，对缓冲器占有层级的调整在于t＝-TSTART处开始发送流2之后周期性地发生。此继续进行直到在时间t＝-2T处从VBV缓冲器移除流1的最后一个图像。然而，由于随着层级因流2的传输而积累流1的最后图像可存在于所述缓冲器中，因此预处理器应确保此额外数据不致使所述VBV缓冲器过早变满。虽然此可能性因从t＝-2T到t＝0的长间隔而是微小的，但容易执行检查，且流1的这些最后图像的大小可通过重新压缩而减小(如果必要)。 
一般来说，可能在对视频质量具有最小影响的情况下施加约束(1)TSTART＝NVBV/r(受到约束(2)TSTART≤TMAX)。虽然可需要增加广告内容的压缩比以确保满足此约束，但影响通常可分布于大多数广告持续时间上。实现此约束的最先步骤中的一者是废弃可增加完成发送流1所需要的时间的任何空包。然而，存在对可重新压缩的广告内容的量或可在试图满足约束(1)或(2)时废弃的空包的数目的限制。如果对广告的一部分的进一步压缩将致使VBV缓冲器变满或超过最大延迟TMAX，则不存在重新压缩所述广告中在此点之前的任何部分的原因。而是，重新压缩应局限于所述广告的后面部分。 
从入口点调节产生的视频降级通常局限于序列的最先三个图像。幸而，人类视觉 系统在紧接在景物改变之后的间隔期间对视频保真度相对不敏感。此效应称作时间掩蔽，其更详细地描述于Digital Video Image Quality and Perceptual Coding，Wu and Rao，page 558(《数字视频影像质量及知觉译码》，吴及拉奥，第558页)中。还可参见B.Girod，The information theoretical significance of spatial and temporal masking in videosignals Proc.SPIE International Conference on Human Vision，Visual Processing，andDigital Display，vol.1077，1989，pp.178-187(B.杰罗德，《视频信号中空间及时间掩蔽的信息理论性意义》，人类视觉、视觉处理及数字显示器SPIE国际会议的会议记录，第1077卷，1989年，第178-187页)。实验显示，全视觉敏感度直到景物改变发生之后的至少100毫秒才恢复，且到此时，完全质量将通过预处理而几乎恢复是相当可能的。 
通常，广告内容将以从黑色到可见影像的慢速淡变开始。在此类情况下，将需要重新压缩影像中的任一者以满足入口点预调节要求是不可能的，且因此将不发生影像降级。不以从黑色的淡变开始的大多数其它广告将往往使第一影像保持静态，同时人类视觉系统调整到新景物。在此时间期间，运动预测过程将尤其有效，从而允许准确重现在相对短的时间周期中积累。 
从出口点调节产生的增加的压缩比是极细微的且通常分布于大多数广告内容上。因此，据信，因出口点预调节所致的视频质量的任何降级是不重要的。 
还存在改进预调节过程期间的视频译码效率的机会且此可有助于取消由重新压缩所致的视频保真度的任何损失。举例来说，可使用H.264编码或速率转换软件进一步压缩广告同时维持全影像保真度。由于不存在实时重新编码要求，因此可用最有效H.264译码工具可与高度最佳化的译码决策组合且作为多遍过程应用于广告流内容。还存在同时修改所述广告内容以更好地将特定观众或个人作为目标的机会。举例来说，可通过引入不同覆盖来形成不同广告版本。此广告修改过程可在使用最佳化软件离线执行时更加经济地且以优越视频质量来实施。 
图7是显示用于实施本发明的设备的组件的框图。在所述图中所示的实例中，网络流(“流1”)作为输入经由路径70提供给广告拼接器75。来自广告分布器的广告经由路径72携载到广告预处理器74。由所述广告预处理器如以上所描述预处理(入口点调节及/或出口点调节)所述广告，且将经处理的广告存储于广告服务器76中。当需要时，经预处理的广告由广告服务器76经由路径78(“流2”)提供给广告拼接器75。所述广告拼接器如以上详细描述将流1拼接到流2，且将所述拼接的流作为输出提供给(例如)传输器(未显示)。 
图8到10是图解说明可用于实施本发明的软件的实例的流程图。应理解，可根据本发明开发用于实施本文所教示的方法的许多其它软件例程。 
图8的流程图提供描述第一组入口点调节约束的例程。所述例程在框80处开始，且在框82处将参数“i”设定为一且将旗标“refpic”(即，参考图像)设定为零。在框84处，做出关于是否已到达流2文件的结束(“EOF”)的确定。如果到达，则在 框86处停止所述例程。否则，在框88处检索下一图像。如果refpic旗标如框90处所确定等于一，则做出关于是否满足约束(i)的确定。如果满足，则在框108处使i递增一，且所述例程循环回到框84。否则，在框96处做出关于在框88处检索到的图像是否为B图像的确定。如果为B图像，则重新压缩当前及先前图像以满足约束(i)，如框104处所指示。接着在框106处将refpic设定为零，在框108处递增i且所述例程循环回到框84。 
如果在框96处确定当前图像不是B图像，则仅重新压缩先前图像以满足约束(i)，如框102处所示。接着在框108处递增参数i，且所述例程循环回到框84。 
在框90处，如果确定refpic不等于一，则做出关于当前图像是否为B图像的确定，如框94处所指示。如果为B图像，则所述例程继续到框100，在框100中做出关于是否满足约束(i)的确定。如果满足所述约束，则在框112处使i递增一，且所述例程循环回到框84。否则，在框110处重新压缩当前图像以满足约束(i)，在框112处使i递增一，且所述例程循环回到框84。 
如果当前图像如在框94处所确定不是B图像，则在框98处将refpic设定为一且所述例程循环回到框84。 
图9的流程图描述第二(B)组入口点约束(例如，以上所提及的约束1B、2B、…6B)。例程在框120处开始，且在框122处将i设定为一并将refpic设定为零。在框124处，做出关于是否已到达EOF的确定。如果已到达，则所述例程在框126处停止。否则，在框128处检索下一图像。如果在刚刚检索到的图像中refpic等于一，则做出关于是否满足约束(iB)的确定。如果满足，则在框136处使i递增一。否则，在框134处重新压缩先前图像以满足约束(iB)，且接着在框136处使i递增一。 
在已在框136处递增i之后，或如果在框130处确定refpic不等于一，则在框138处做出关于当前图像是否为B图像的确定。如果不是B图像，则在框144处将refpic设定为一且所述例程循环回到框124。然而，如果当前图像是B图像，则将其转换为P图像且对其进行压缩以满足约束(iB)，如框140处所指示。接着，使i递增一，将refpic设定为零，且所述例程循环回到框124。 
图10的流程图描述出口点约束。在于框150处开始之后，在框152处确定开始发送下一流的最迟时间(TSTART)。接着，在框154处，检验当前流以确定完成发送当前流的时间(TEND)。如果如框156处所确定TEND≤TSTART，则所述例程在框178处结束。否则，将变量“k”设定为当前流中的图像的数目，如框158处所指示。接着在框160处做出关于图像k是否包含空包的确定。如果包含空包，则如框162处所示废弃所述空包，在框164处更新TEND，且在框166处再次确定是否TEND≤TSTART。如果TEND现在小于或等于TSTART，则所述例程在框178处结束。否则，如框168处所指示略微增加用于图像k的压缩比，且在框170处更新TEND。接着，在框172处，做出关于是否TEND≤TSTART的新确定。如果TEND≤TSTART，则所述例程在框178处结束。否则，在框174处做出关于VBV缓冲器是否为满的确定。如果为满，则所述 例程循环回到框158。如果VBV缓冲器未满，则在框176处使k递减一，且所述例程循环回到框160。 
现在应了解，本发明提供用于预调节内容(例如，广告)及用于修饰用于插入到网络流及携载数字视频程序的类似内容中的数字视频流的方法。应注意，上文对本发明具体实施例的说明是出于图解及说明的目的而呈现。其并非打算作为穷尽性说明或将本发明限定为所揭示的精确形式，且鉴于以上教示可做出各种修改及调适。因此，本发明并不打算局限于本文所揭示的特定实施例，而是本发明包含归属于所附权利要求书的范围内的所有实施例。 

Claims (14)

1.一种用于将内容插入到视频编程中的方法，其包括：
在第一视频流中接收所述视频编程；
在第二视频流中接收所述内容；及
预调节所述第二视频流以在所述第二视频流中提供用于将所述第一视频流拼接到所述第二视频流的入口点；
其中执行所述拼接无需预调节所述第一视频流。
2.如权利要求1所述的方法，其中：
所述内容包括多个连续图像；且
所述预调节步骤包括限制所述内容的第一图像的最大大小。
3.如权利要求2所述的方法，其中：
所述预调节步骤包括限制所述内容的图像序列的最大大小。
4.如权利要求3所述的方法，其中：
所述图像序列包括所述第二视频流中按预定解码次序的一组连贯图像。
5.如权利要求4所述的方法，其中：
依据按呈现次序显示所述序列所需的图像显示间隔“T”的数目及用于传输所述序列的可用数据速率“r”确定所述图像序列的所述最大大小。
6.如权利要求5所述的方法，其中：
在每一连续图像之后更新所述序列的所述最大大小且通过压缩所述序列的下一图像予以实行。
7.如权利要求6所述的方法，其中：
一旦接收所述内容的缓冲器的占有层级积累到可能避免下溢及溢出条件中的至少一者的层级，即暂停所述预调节步骤。
8.如权利要求1所述的方法，其中：
所述内容包括多个连续图像；
所述连续图像中的每一者是帧内译码I图像、预测P图像或双向B图像中的一者；且
所述预调节步骤包括以下步骤：
将至少一个B图像转换为在所述入口点处的第一I图像后面的P图像；及
限制所述内容的图像序列的最大大小，其中所述序列包含所述第一I图像及从所述B图像转换的所述P图像。
9.如权利要求8所述的方法，其包括：
将多个B图像转换为在所述第一I图像后面的P图像。
10.如权利要求9所述的方法，其中：
依据按呈现次序显示所述序列所需的图像显示间隔“T”的数目及用于传输所述序列的可用数据速率“r”确定所述图像序列的所述最大大小。
11.如权利要求10所述的方法，其中：
在每一连续图像之后更新所述序列的所述最大大小且通过压缩所述序列的下一图像予以实行。
12.如权利要求11所述的方法，其中：
一旦接收所述内容的缓冲器的占有层级积累到可能避免下溢及溢出条件中的至少一者的层级，即暂停所述预调节步骤。
13.如权利要求1所述的方法，其中：
从在所述内容的开始处产生预测P图像而非双向B图像的编码器接收所述第二视频流。
14.如权利要求1所述的方法，其中：
所述第二视频流包括一系列不同的内容流。
CN200910151526.9A 2008-06-30 2009-06-30 预调节用于数字程序插入的广告内容的方法 Active CN101621663B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13361408P 2008-06-30 2008-06-30
US61/133,614 2008-06-30
US12/487,130 2009-06-18
US12/487,130 US8904426B2 (en) 2008-06-30 2009-06-18 Preconditioning ad content for digital program insertion

Publications (2)

Publication Number Publication Date
CN101621663A CN101621663A (zh) 2010-01-06
CN101621663B true CN101621663B (zh) 2013-08-21

Family

ID=41449275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910151526.9A Active CN101621663B (zh) 2008-06-30 2009-06-30 预调节用于数字程序插入的广告内容的方法

Country Status (3)

Country Link
US (1) US8904426B2 (zh)
CN (1) CN101621663B (zh)
IL (1) IL199521A0 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606073B2 (en) 2010-05-12 2013-12-10 Woodman Labs, Inc. Broadcast management system
CN102045588B (zh) * 2010-12-31 2012-07-11 深圳市鼎盛威电子有限公司 数字电视广告视频点播综合系统
EP2472866A1 (en) 2011-01-04 2012-07-04 Alcatel Lucent Method for providing an HTTP adaptive streaming service
US20130042100A1 (en) * 2011-08-09 2013-02-14 Nokia Corporation Method and apparatus for forced playback in http streaming
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
US11102549B2 (en) 2017-09-27 2021-08-24 Wurl Inc. Selective video overlay
US10609427B2 (en) * 2017-10-25 2020-03-31 Wurl Inc. Graphic overlay insertion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
CN1553710A (zh) * 2003-06-05 2004-12-08 浙江南望图像信息产业有限公司 一种视频会议中的流转换系统和方法
CN1636403A (zh) * 2001-06-01 2005-07-06 通用仪表公司 数字视频传输流的拼接
US6983015B1 (en) * 1999-08-26 2006-01-03 Sony United Kingdom Limited Signal processor

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69841897D1 (de) * 1997-07-25 2010-10-28 Sony Corp Bearbeitungsanlage, bearbeitungsverfahren, spleissungsanlage, spleissungsverfahren, kodieranlage und kodierverfahren
US7031348B1 (en) * 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
US7139241B1 (en) * 1998-09-14 2006-11-21 Optibase Ltd. Method for preventing buffer underflow during digital transport stream transmission, multiplexing and splicing
JP2000165803A (ja) * 1998-11-26 2000-06-16 Sony Corp 映像信号記録再生装置
US6909743B1 (en) * 1999-04-14 2005-06-21 Sarnoff Corporation Method for generating and processing transition streams
US7254175B2 (en) * 1999-07-02 2007-08-07 Crystalmedia Technology, Inc. Frame-accurate seamless splicing of information streams
GB2353655B (en) * 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
US6993081B1 (en) * 1999-11-23 2006-01-31 International Business Machines Corporation Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream
US20030001977A1 (en) * 2001-06-28 2003-01-02 Xiaoling Wang Apparatus and a method for preventing automated detection of television commercials
US7096488B1 (en) * 2001-10-19 2006-08-22 Cisco Technology, Inc. Methods and apparatus for facilitating network splicing
US7962640B2 (en) * 2007-06-29 2011-06-14 The Chinese University Of Hong Kong Systems and methods for universal real-time media transcoding
US8335266B2 (en) * 2007-06-29 2012-12-18 Cisco Technology, Inc. Expedited splicing of video streams
US8069464B2 (en) * 2007-07-27 2011-11-29 Cisco Technology, Inc. Architecture for scaling just-in-time placement of advertising content
US9918123B2 (en) * 2007-11-16 2018-03-13 Alcatel Lucent Thwarting removal of a commercial in an IPTV network
JP2011511554A (ja) * 2008-01-30 2011-04-07 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ビデオデータをストリーミングするための方法
US8260950B1 (en) * 2008-06-11 2012-09-04 Sprint Communications Company L.P. Real-time transport protocol ad cue extensions
US8781003B2 (en) * 2008-07-17 2014-07-15 Cisco Technology, Inc. Splicing of encrypted video/audio content
EP2308187B1 (en) * 2008-07-30 2018-09-05 Visible World Inc. Systems and methods for dynamic bandwdith allocation for addressable content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
US6983015B1 (en) * 1999-08-26 2006-01-03 Sony United Kingdom Limited Signal processor
CN1636403A (zh) * 2001-06-01 2005-07-06 通用仪表公司 数字视频传输流的拼接
CN1553710A (zh) * 2003-06-05 2004-12-08 浙江南望图像信息产业有限公司 一种视频会议中的流转换系统和方法

Also Published As

Publication number Publication date
IL199521A0 (en) 2010-05-17
CN101621663A (zh) 2010-01-06
US20090328096A1 (en) 2009-12-31
US8904426B2 (en) 2014-12-02

Similar Documents

Publication Publication Date Title
US6038256A (en) Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics
CN101621663B (zh) 预调节用于数字程序插入的广告内容的方法
AU756355B2 (en) Video encoder and encoding method with buffer control
DE69838869T2 (de) Vorrichtung und Verfahren zum Spleißen von codierten Datenströmen sowie Vorrichtung und Verfahren zur Erzeugung von codierten Datenströmen
CA2185704C (en) Method, rate controller, and system for preventing overflow and underflow of a decoder buffer
EP1397918B1 (en) Splicing of digital video transport streams
US6154496A (en) Video buffer for seamless splicing of MPEG streams
US6396875B1 (en) Method of switching of coded video sequences and corresponding device
US6252873B1 (en) Method of ensuring a smooth transition between MPEG-2 transport streams
CN102461195B (zh) 用于拼接压缩数据流的方法和装置
US6351564B1 (en) Method of switching of coded video sequences and corresponding device
JP6313704B2 (ja) 受信装置およびその同期処理方法
KR20060024416A (ko) 압축된 비디오의 고속 채널 변경을 가능하게 하기 위한인코딩 방법 및 장치
CN101606389A (zh) 用于视频流拼接的方法及装置
EP2695390A2 (en) Fast channel change for hybrid device
US8170401B2 (en) Optimizing ad insertion by removing low information frames
US20170048564A1 (en) Digital media splicing system and method
GB2369518A (en) Switching or splicing compressed video bitstreams
US20050094965A1 (en) Methods and apparatus to improve the rate control during splice transitions
US20060239563A1 (en) Method and device for compressed domain video editing
AU766738B2 (en) Data compression unit control for alignment of output signal
JP2001036827A (ja) デジタルテレビジョン番組を切り替える処理及び装置
EP0871337A2 (en) Method and apparatus for modifying a digital data stream
Weiss Switching facilities in mpeg-2: Necessary but not sufficient
DE112011101955B4 (de) Videoanzeigevorrichtung

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151012

Address after: American Texas

Patentee after: Imagination communication common carrier

Address before: American California

Patentee before: RGB Media Inc.