CN104519370A - 一种视频流的拼接方法和系统 - Google Patents

一种视频流的拼接方法和系统 Download PDF

Info

Publication number
CN104519370A
CN104519370A CN201310454295.5A CN201310454295A CN104519370A CN 104519370 A CN104519370 A CN 104519370A CN 201310454295 A CN201310454295 A CN 201310454295A CN 104519370 A CN104519370 A CN 104519370A
Authority
CN
China
Prior art keywords
delay
cpb
removal
splicing
dpb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310454295.5A
Other languages
English (en)
Other versions
CN104519370B (zh
Inventor
陈杲
张长学
赵旭泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201310454295.5A priority Critical patent/CN104519370B/zh
Publication of CN104519370A publication Critical patent/CN104519370A/zh
Application granted granted Critical
Publication of CN104519370B publication Critical patent/CN104519370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Abstract

本发明公开了一种视频流的拼接方法和系统。包括：解析拼接码流中的SEI消息；根据SEI消息计算拼接后码流从CPB中移出的延迟时间值，并替换SEI消息中携带的从CPB中移出的延迟时间值，以根据该SEI消息进行解码，其中，SEI消息携带的从CPB中移出的延迟时间值是根据拼接前的码流得到的。本发明有效解决了拼接码流的HRD兼容一致性问题。

Description

一种视频流的拼接方法和系统
技术领域
本发明涉及视频编解码领域，并更具体地涉及一种视频流的拼接方法和系统。
背景技术
随着H.264/AVC（Advanced Video Coding，高级视频编码）视频编码标准在工业界的普遍使用，与H.264/AVC相关的视频处理技术需求越来越多，其中视频流拼接处理经常被用于视频编辑、PVR（Personal VideoRecorder，个人视频录像机）、广告视频插入等应用场景。视频流拼接处理的关键技术就是视频压缩码流拼接技术。
视频压缩码流拼接操作可以简单定义为两个互相独立的视频压缩流进行的串联操作（Concatenation），而且要求串联后的视频压缩流与原来的视频流兼容。一般来说，视频压缩流拼接操作可以分为两类：一类是无缝拼接，另一类是非无缝拼接。引用MPEG-2系统层标准对拼接的定义说明如下。
无缝拼接不包含解码不连续（Decoding Discontinuity），拼接后的新码流第一个访问单位的解码时间与旧码流位于拼接点前的访问单位的解码时间一致。即新码流第一个访问单元的解码时间等于旧码流在保持连续情况下的后继访问单元的解码时间；非无缝拼接导致解码不连续，例如，非无缝拼接新码流的第一个访问点的解码时间比无缝拼接解码的解码时间大（或小）。在后面提到拼接操作时都是指的无缝拼接。
对于H.264/AVC视频压缩流拼接来说，最具挑战性的问题之一是如何保证拼接后的码流仍然满足H.264/AVC标准在附录C中定义的HRD（Hypothetical Reference Decoder，假想参考解码器）兼容一致性。HRD是属于MPEG/ITU H.264/AVC标准中规范性的一部分，任何符合该标准的压缩流都内在要求满足HRD要求。但是针对H.264/AVC标准中的HRD模型，不能保证两段HRD兼容压缩码流经过简单的剪切-粘贴操作的拼接码流也满足HRD要求。
具体来说，H.264/AVC视频流拼接导致的HRD兼容性问题包括下面三个方面：
1.拼接后的cpb_reamoval_delay不正确
根据HRD模型，访问单元n移出CPB（Coded Picture Buffer，编码图像缓冲区）的时刻有下述公式计算：
tr,n(n)=tr,n(nb)+tc×cpb_removal_delay(n)
其中，tr,n(n)表示设定单元n从CPB的移出时间（或时刻），之所以“设定”，表示这个时间是按HRD模型计算的时间，不是“实际”解码过程中的时间（下面用tr(n)表示）；
当访问单元n是当前缓冲周期的第一个单元时，tr,n(nb)为前一个缓冲周期的第一个访问单元的移出时刻；当访问单元n不是当前缓冲周期的第一个单元时，tr,n(nb)为当前缓冲周期的第一个访问单元的移出时刻；
tc是一个时钟记号，为H.264标准的预定义值；
cpb_removal_delay(n)为图像从CPB中移出的延迟时间值，是H.264码流中的语法元素取值，是访问单元n相关的图像定时SEI（Supplemental Enhancement Information，补充的增强信息）中规定的cpb_removal_delay值。
根据tr,n(n)的定义可以知道，为了设置拼接点的cpb_removal_delay，需要知道前一个缓冲周期长度。如果拼接操作只是简单地将两段H.264/AVC码流拼接起来，不考虑前一个缓冲周期长度，那么拼接点所在的存取单元的原始cpb_removal_delay将导致该存取单位CPB规定移出时间计算错误。
例如，假设有名为stream1和stream2的两段独立H.264/AVC视频码流，其中stream1包含A、B两段，stream2包含C、D两段，而且每段视频只有开始的存取单元才有缓冲周期SEI信息。stream2的D段码流的cpb_removal_delay取值本来是根据stream2的C码流来计算，但是，如果将stream1的A段和stream2的D段简单拼接在一起，那么D段码流中的cpb_removal_delay取值需要根据stream1的A段的长度进行调整，导致计算错误，即拼接后的cpb_reamoval_delay不正确。
2.拼接后的初始dpb_output_delay不匹配
图像n从DPB（Decoded Picture Buffer，解码图像缓冲区）输出的时间计算公式如下：
to，dpb(n)=tr(n)+tc×dpb_output_delay(n)
其中，to，dpb(n)表示从DPB输出的时间；
tr(n)表示单元n从CPB中移出的实际时间；
H.264/AVC码流中的第一个访问单元的dpb_output_delay称为初始dpb_output_delay，可以理解为第一幅图像的显示时间。
根据HRD模型，初始dpb_output_delay的取值必须保证正常的解码和显示关系。初始dpb_output_delay的取值取决于整个序列的图像重排序关系。然而拼接后的序列的图像重排关系不同了，所以，拼接后的初始dpb_output_delay不匹配。
3.拼接后的码流违反HRD模型中定义的C-15等式和C-16等式
对于每一与缓冲周期SEI消息相关的访问单元n，n>0，有Δtg,90(n)参数，其规定如下：
Δtg，90(n)=90000×(tr，n(n)-taf(n-1))
其中，Δtg，90(n)是标准中的定义值，表示图像n的规定移出时间与前一副图像（n-1）的最终移出时间之差。这里taf(n-1)表示拼接点n前一个访问单元移出CPB的时间。
HRD模型对一个缓冲周期SEI消息内的initial_cpb_removal_delay限制如下：
如果cbr_flag[SchedSelIdx]等于0，且
initial_cpb_removal_delay[SchedSeIIdX]≤Ceil(Δtg，90(n))(c-15）
否则，即cbr_flag[SchedSelIdx]等于1，
Floor(Δtg,90(n))≤initial_cpb_removal_delay[SchedSelIdx]≤Ceil(Δtg,90(n))  (c-16)
这些公式都是H.264标准中的公式，即，比特流中的HRD参数必须满足的条件。其中，initial_cpb_removal_delay为SEI消息中的语法值，表示图像n从CPB中移出的初始时间值，其值采用90KHz时钟单位。拼接前的比特流中的HRD参数都是独立计算，符合原始比特流的一致性，而拼接后的比特流，如果不对参数进行调整，显然不满足上述公式。因此，对于拼接码流很容易违反上述约定。
发明内容
鉴于以上，本发明提出一种视频流的拼接方法和系统，以解决现有技术存在的至少一个问题。
根据本发明一方面，提出一种视频流的拼接方法，包括：解析拼接码流中的SEI消息；根据SEI消息计算拼接后码流从CPB中移出的延迟时间值，并替换SEI消息中携带的从CPB中移出的延迟时间值，以根据该SEI消息进行解码，其中，SEI消息携带的从CPB中移出的延迟时间值是根据拼接前的码流得到的。
优选地，根据该SEI消息进行解码之后，进行假想参考解码器（HRD）验证，以验证HRD兼容一致性。
优选地，拼接后码流的cpb_removal_delay为：
cpb_removal_delay
=(initial_cpb_removal_delay[SchedSelIdX]÷90000+taf(ns-1)-tr，n(nb))÷tc。
其中，tc是一个时钟记号；
initial_cpb_removal_delay[SchedSelIdx]是与访问单元n相关的缓冲周期SEI消息中所定义的，表示在HRD初始化后的第一个缓冲周期，第SchedSelIdx个CPB的时间延迟；
taf(ns-1)表示拼接点ns前一个访问单元移出CPB的时间；
当访问单元n是当前缓冲周期的第一个单元时，tr,n(nb)为前一个缓冲周期的第一个访问单元的移出时刻；当访问单元n不是当前缓冲周期的第一个单元时，tr,n(nb)为当前缓冲周期的第一个访问单元的移出时刻。
优选地，拼接后码流的cpb_removal_delay为：
cpb_removal_delay=DelayOffset=
Cei;((initial_cpb_removal_delay[SchedSedSelIx]÷90000+taf(ns-1)-tr,n(nb))÷tc),
其中，DelayOffset为偏移量，Ceil表示向上取整。
优选地，拼接后码流的cpb_removal_delay为：
cpb_removal_delay=
Max(DelayOffset,cpb_removal_delayorig),
其中，cpb_removal_delayorig表示第一段原始码流在拼接点后的第一个存取单元的cpb_removal_delay值。
优选地，解析拼接码流中的SEI消息，根据SEI消息计算拼接后码流从DPB中移出的延迟时间值，并替换SEI消息中携带的从DPB中移出的延迟时间值，以根据该SEI消息进行显示，其中，SEI消息携带的从DPB中移出的延迟时间值是根据拼接前的码流得到的；其中，当插入流的dpb_output_delay小于原始流对应值，则将拼接后的码流的initial_dpb_output_delay修改为大于等于所有码流的initial_dpb_output_delay；当插入流的dpb_output_delay小于原始流对应值，则将插入流的dpb_output_delay修改为原始流的对应值。
根据本发明另一方面，还提出一种视频流的拼接系统，该系统包括拼接器，该拼接器包括：消息过滤器，解析拼接码流中的SEI消息；时间计算器，根据SEI消息计算拼接后码流从CPB中移出的延迟时间值，并替换SEI消息中携带的从CPB中移出的延迟时间值，以根据该SEI消息进行解码，其中，SEI消息携带的从CPB中移出的延迟时间值是根据拼接前的码流得到的。
优选地，该拼接器还包括验证器，根据该SEI消息进行解码之后，进行假想参考解码器（HRD）验证，以验证HRD兼容一致性。
优选地，拼接后码流的cpb_removal_delay为：
cpb_removal_delay
=(initial_cpb_removal_delay[SchedSelIdX]÷90000+taf(ns-1)-tr，n(nb))÷tc。
其中，tc是一个时钟记号；
initial_cpb_removal_delay[SchedSelIdx]是与访问单元n相关的缓冲周期SEI消息中所定义的，表示在HRD初始化后的第一个缓冲周期，第SchedSelIdx个CPB的时间延迟；
taf(ns-1)表示拼接点ns前一个访问单元移出CPB的时间；
当访问单元n是当前缓冲周期的第一个单元时，tr,n(nb)为前一个缓冲周期的第一个访问单元的移出时刻；当访问单元n不是当前缓冲周期的第一个单元时，tr,n(nb)为当前缓冲周期的第一个访问单元的移出时刻。
优选地，拼接后码流的cpb_removal_delay为：
cpb_removal_delay=DelayOffset=
Ceil((initial_cpb_removal_delay[SchedSelIdx]÷90000+taf(ns-1)-tr,n(nb))÷tc),
其中，DelayOffset为偏移量，Ceil表示向上取整。
优选地，拼接后码流的cpb_removal_delay为：
cpb_removal_delay=
Max(DelayOffset,cpb_removal_delayorig),
其中，cpb_removal_delayorig表示第一段原始码流在拼接点后的第一个存取单元的cpb_removal_delay值。
优选地，时间计算器根据SEI消息计算拼接后码流从DPB中移出的延迟时间值，并替换SEI消息中携带的从DPB中移出的延迟时间值，以根据该SEI消息进行显示，其中，SEI消息携带的从DPB中移出的延迟时间值是根据拼接前的码流得到的；其中，当插入流的dpb_output_delay小于原始流对应值，则将拼接后的码流的initial_dpb_output_delay修改为大于等于所有码流的initial_dpb_output_delay；当插入流的dpb_output_delay小于原始流对应值，则将插入流的dpb_output_delay修改为原始流的对应值。
本发明不需要在H.264/AVC压缩码流中插入拼接SEI消息，也不需要对H.264/AVC标准中的HRD模型进行修改，就可以解决独立编码的H.264/AVC码流拼接后的HRD兼容问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为本发明提出的一种视频流的拼接方法的实施例的示意图。
图2所示为本发明提出的一种视频流的拼接方法的另一实施例的示意图。
图3所示为本发明提出的一种视频流的拼接系统的实施例的示意图。
图4所示为本发明中H.264/AVC视频流拼接cpb_removal_delay的调整示意图。
图5所示为本发明中H.264/AVC视频流拼接dpb_output_delay的调整示意图。
图6所示为本发明中H.264/AVC视频流拼接器的示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
现有技术在码流中插入自定义的拼接SEI消息，并要求解码器识别该自定义的SEI消息以进行拼接操作，导致拼接码流不符合HRD模型一致性的要求。
针对上述拼接码流的HRD兼容问题，本发明提出了一种H.264/AVC视频流拼接的方法和系统。在拼接器上对码流进行相应的处理，不需要在H.264/AVC压缩码流中插入拼接SEI消息，也不需要对H.264/AVC标准中的HRD模型进行修改，就可以解决独立编码的H.264/AVC码流拼接后的HRD兼容问题。
本发明根据HRD模型对H.264/AVC码流的要求，在拼接器上对拼接后的码流中的cpb_removal_delay和dpb_output_delay取值进行重新计算，并将计算结果反映到相应的SEI消息中，即，将cpb_reamoval_delay和dpb_output_delay写入到图像定时SEI消息中，这要求拼接器对拼接后的码流中的所有SEI消息进行修改。
具体来说，上述的HRD兼容性的第一和第二方面可以通过重新计算cpb_removal_delay和dpb_output_delay的值，并改变拼接后的码流中的图像定时SEI消息和缓冲周期SEI消息。而HRD兼容性问题的第三方面是由initial_cpb_removal_delay导致，如果仅仅减少其取值可能导致缓冲区下溢以及后继图像的最后到达时间延迟。这最终又将导致后继的缓冲区周期产生新的HRD C-15/C-16等式冲突。这是由initial_cpb_removal_delay本身取值的物理意义决定的，其值规定了图像从CPB中移出的时间，如果减少，表示移出时间提前，缓冲区被占用，所以导致下溢（即缓存区空）。一旦缓冲区提前变空，解码器只能等待后继图像比特流到来才能解码。为解决C-15/C-16等式冲突的问题，采取的办法是延长拼接点后的码流中的第一个存取单元规定的离开时间，即通过调整其cpb_removal_delay取值来完成。
具体算法按照对cpb_removal_delay和dpb_output_delay的调整详细说明如下：
一，拼接后码流的cpb_removal_delay调整
由于cpb_removal_delay不仅需要调节拼接后的取值，还需要保证拼接后initial_cpb_removal_delay不违反HRD模型中的C-15/C-16等式，所以其值需要进行两次调整：
1、替换原始视频压缩流中的cpb_removal_delay
根据HRD模型（H.264/AVC标准附录C）的规定，对应拼接点ns,也就是缓冲周期第一个存取单元的规定移出时间tr,n(ns)的计算如下：
tr,n(ns)=tr,n(nb)+tc×cpb_removal_delay(n)  (2-1)
这里tr,n(n，)表示前一个缓冲周期中的第一个存取单元的规定移出时间，cpb_removal_delay(n)是存取单元所携带的图像定时SEI信息的语法值。语法值是表示这个语法元素是经过编码存储在视频码流中的，即其值是比特流经过解码获得的。
经过拼接后，对于拼接点后的第一个存取单元而言，其前一个缓冲周期是拼接后的码流，所以需要记录下拼接点前最后一个缓冲周期长度：
cpb_removal_delay=cpb_removal_delayorig  (2-2)
这里cpb_removal_delayorig表示第一段原始码流在拼接点后的第一个存取单元的cpb_removal_delay值。
2、调整cpb_removal_delay取值，确保拼接后码流不违反HRD模型中的C-15/C-16等式
具体调整方法描述如下：
首先，定义偏移量DelayOffset如下：
DelayOffset=
Ceil((initial_cpb_removal_delay[SchedSelIdx]÷90000+taf(ns-1)-tr,n(nb))÷tc)  (2-3)
这里taf(ns-1)表示拼接点ns前一个访问单元移出CPB的时间。
initia!cpb_remova!delay[SchedSelIdx]是与访问单元n相关的缓冲周期SEI消息中所定义的。表示在HRD初始化后的第一个缓冲周期，第SchedSelIdx个CPB的时间延迟，这个延迟是从与该缓冲周期SEI消息相关联的访问单元中的编码数据的第一个比特到达，到其数据从CPB中删除的时间间隔。initial_cpb_removal_delay[SchedSelIdx]单位是90kHz的时钟（即1/90000秒）。
然后，定义：
cpb_removal_delay=
Max(DelayOffset,cpb_remova!l_elayorig)  (2-4)
即定义cpb_removal_delay的取值为（2-2）和（2-3）的最大值，这样可以确保拼接操作不违反HRD的C-15/C-16等式。
这一点可以证明如下：
假设（2-4）的取值是DelayOffset，即cpb_removal_delay取值为（2-3），我们不进行向上取整（Ceil）操作，直接取DelayOffset的值为：(initial_cpb_removal_delay[SchedSelIdx]÷90000+taf(ns-1)-tr,n(nd)÷tc，并将其代入公式(2-1)计算tr,n(ns)取值：
tr,n(ns)=tr,n(nb)+tc×cpb_removal_delay(n)
=(initial_cpb_removal_delay[SchedSelIdX]÷90000+taf(ns-1))  (2-5)
此时的
Δtg，90(ns)=90000×(tr,n(ns)-taf(ns-4))=initial_cpb_removal_delay[SchedSelIdx]
其中，Atg，90(ns)是标准中的定义值，表示图像ns的规定移出时间与前一副图像ns-1的最终移出时间之差。
这就证明了经过（2-4）取值，可以保证实际采用的Δtg,90(ns)大于或等于initial_cpb_removal_delay[SchedSelIdx]。因为C-15和C-16要求Ceil(Δtg,90(n))取值大于initial_cpb_removal_delay[SchedSelIdx]，这显然保证了拼接码流不违反HRD模型中的等式C-15/C-16，即保证了拼接码流的HRD兼容一致性。
二，拼接后码流的dpb_output_delay调整
根据插入视频流的GOP（Group of Pictures，画面组）结构，可以分成两种情况进行处理：
1、插入流的dpb_output_delay大于原始流对应值
拼接是出现图像帧重叠或者空白图像帧的解决办法：对于多码流拼接，则调整方式是使得拼接后的码流的initial_dpb_output_delay大于等于所有码流的initial_dpb_output_delay。
因为缓冲周期中的每个访问单元都包含图像定时（Picture Timing）SEI消息，所以拼接器需要对码流中的每个存取单元的dpb_output_delay做调整。其中，可以根据码流类型判断插入流的dpb_output_delay是否大于原始流对应值，例如，当包含B帧时，认为插入流的dpb_output_delay小于原始流对应值。
2、插入流的dpb_output_delay小于原始流对应值
这种情况下，只需要调整插入流的dpb_output_delay为原始流的对应值即可。
本发明对拼接码流的HRD相关参数进行调整，即对从CPB中移出的延迟时间值（cpb_removal_delay）和从DPB中移出的延迟时间值（dpb_output_delay）进行修改，不仅有效保证了拼接码流满足HRD兼容一致性问题，还不需要在解码器上修改cpb_removal_delay和dpb_output_delay的解析功能，也不需要采用自定义的拼接消息，保证了H.264/AVC标准定义的HRD模型在编码器端和解码器端的一致性。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1所示为本发明提出的一种视频流的拼接方法的实施例的示意图。该方法包括以下步骤：
步骤11，解析拼接码流中的SEI消息。
步骤12，根据SEI消息计算拼接后码流从CPB中移出的延迟时间值（cpb_removal_delay），并替换SEI消息中携带的从CPB中移出的延迟时间值，以根据该SEI消息进行解码，其中，SEI消息携带的从CPB中移出的延迟时间值是根据拼接前的码流得到的。
还如图1所示，在本发明的另一实施例中，还包括以下步骤：
步骤13，根据该SEI消息进行解码之后，进行假想参考解码器（HRD）验证，以验证HRD兼容一致性。
在本发明的另一实施例中，拼接后码流的cpb_removal_delay为：
cpb_removal_delay
=(initial_cpb_removal_delay[SchedSelIdX]÷90000+taf(ns-1)-tr，n(nb))÷tc
其中，tc是一个时钟记号；
initial_cpb_removal_delay[SchedSelIdx]是与访问单元n相关的缓冲周期SEI消息中所定义的，表示在HRD初始化后的第一个缓冲周期，第SchedSelIdx个CPB的时间延迟；
taf(ns-1)表示拼接点ns前一个访问单元移出CPB的时间；
当访问单元n是当前缓冲周期的第一个单元时，tr,n(nb)为前一个缓冲周期的第一个访问单元的移出时刻；当访问单元n不是当前缓冲周期的第一个单元时，tr,n(nb)为当前缓冲周期的第一个访问单元的移出时刻。
在本发明的另一实施例中，拼接后码流的cpb_removal_delay为：
cpb_removal_delay=DelayOffset=
Ceil((initial_cpb_removal_delay[SchedSelIdx]÷90000+taf(ns-1)-tr,n(nb))÷tc),
其中，DelayOffset为偏移量，Ceil表示向上取整。
在本发明的另一实施例中，拼接后码流的cpb_removal_delay为：
cpb_removal_delay=
Max(DelayOffset,cpb_removal_delayorig),
其中，cpb_removal_delayorig表示第一段原始码流在拼接点后的第一个存取单元的cpb_removal_delay值。
图2所示为本发明提出的一种视频流的拼接方法的另一实施例的示意图。该方法包括以下步骤：
步骤21，解析拼接码流中的SEI消息。
步骤22，根据SEI消息计算拼接后码流从DPB中移出的延迟时间值（dpb_output_delay），并替换SEI消息中携带的从DPB中移出的延迟时间值，以根据该SEI消息进行显示，其中，SEI消息携带的从DPB中移出的延迟时间值是根据拼接前的码流得到的。
其中，当插入流的dpb_output_delay小于原始流对应值，则将拼接后的码流的initial_dpb_output_delay修改为大于等于所有码流的initial_dpb_output_delay；
当插入流的dpb_output_delay小于原始流对应值，则将插入流的dpb_output_delay修改为原始流的对应值。
图3所示为本发明提出的一种视频流的拼接系统的实施例的示意图。该系统包括拼接器，如图3所示的实施例中，该系统包括拼接器和解码器，此外，该系统还可以包括编码器。其中，该拼接器包括：消息过滤器和时间计算器。
消息过滤器，解析拼接码流中的SEI消息。
时间计算器，根据SEI消息计算拼接后码流从CPB中移出的延迟时间值，并替换SEI消息中携带的从CPB中移出的延迟时间值，以根据该SEI消息进行解码，其中，SEI消息携带的从CPB中移出的延迟时间值是根据拼接前的码流得到的。
还如图3所示，本发明的另一系统实施例，拼接器还包括：
验证器，根据该SEI消息进行解码之后，进行假想参考解码器（HRD）验证，以验证HRD兼容一致性。
在本发明的另一实施例中，拼接后码流的cpb_removal_delay为：
cpb_removal_delay
=(initial_cpb_removal_delay[SchedSelIdX]÷90000+taf(ns-1)-tr，n(nb))÷tc
其中，tc是一个时钟记号；
initia!cpb_remova!delay[SchedSelIdx]是与访问单元n相关的缓冲周期SEI消息中所定义的，表示在HRD初始化后的第一个缓冲周期，第SchedSelIdx个CPB的时间延迟；
taf(ns-1)表示拼接点ns前一个访问单元移出CPB的时间；
当访问单元n是当前缓冲周期的第一个单元时，tr,n(nb)为前一个缓冲周期的第一个访问单元的移出时刻；当访问单元n不是当前缓冲周期的第一个单元时，tr，n(nb)为当前缓冲周期的第一个访问单元的移出时刻。
在本发明的另一实施例中，拼接后码流的cpb_removal_delay为：
cp_removal_delay=DelayOffset=
Ceil((initial_cpb_removal_delay[SchedSelIdx]÷90000+taf(ns-1)-tr,n(nb))÷tc),
其中，DelayOffset为偏移量，Ceil表示向上取整。
在本发明的另一实施例中，拼接后码流的cpb_removal_delay为：
cpb_removal_delay=
Max(DelayOffset,cpb_removal_delayorig),
其中，cpb_removal_delayorig表示第一段原始码流在拼接点后的第一个存取单元的cpb_removal_delay值。
在本发明的另一实施例中，还包括：
时间计算器根据SEI消息计算拼接后码流从DPB中移出的延迟时间值，并替换SEI消息中携带的从DPB中移出的延迟时间值，以根据该SEI消息进行显示，其中，SEI消息携带的从DPB中移出的延迟时间值是根据拼接前的码流得到的。
其中，当插入流的dpb_output_delay小于原始流对应值，则将拼接后的码流的initial_dpb_output_delay修改为大于等于所有码流的initial_dpb_output_delay；
当插入流的dpb_output_delay小于原始流对应值，则将插入流的dpb_output_delay修改为原始流的对应值。
下面通过具体实施例和附图对本发明作进一步的描述。
本实例中的拼接器接收stream1、stream2两段独立的H.264/AVC压缩视频流作为输入，在指定的拼接位置将stream1的A段与stream2的D段拼接在一起成为新的H.264/AVC压缩视频流stream3作为输出。拼接流stream3由stream1的A段和stream2的D段构成，同时其满足H.264/AVC标准的HRD要求。
本实例使用的拼接器包括：消息过滤器、CPB/DPB时间计算器和HRD兼容验证器。其中，消息过滤器包括序列消息过滤器、图像信息过滤器和缓冲周期信息过滤器。
序列消息过滤器通过对码流中的H.264/AVC序列参数集信息进行解析获取输入码流的缓冲区大小和比特率信息。
图像信息过滤器通过对码流中的H.264/AVC图像参数集信息进行解析获取图像大小信息。
缓冲周期信息过滤器通过对码流中的H.264/AVC图像缓冲SEI信息进行解析获取图像移出时间延迟信息。
消息过滤器用来解析码流中的SEI消息，解析出来的值就是上面提及的语法值。HRD信息是码流中SEI信息携带的语法值。因此，通过上述三个过滤器获取输入视频流的HRD信息，并传递给CPB/DPB时间计算器和HRD兼容验证器，其使用上述的公式（2-2～2-5）进行cpb_removal_delay和dpb_output_delay取值的计算和HRD验证，获取到HRD兼容的取值。
图4所示为本发明中H.264/AVC视频流拼接cpb_removal_delay的调整示意图。
如图4所示，将H.264视频流stream1和stream2拼接在一起，且对于stream1，拼接点前后的视频分别用A和B表示，对于stream2，拼接点前后的视频分别用C和D表示。
拼接后的视频可以表示为：A+D。
如图4的下部所示，进行拼接前，D视频的第一个缓冲周期的cpb_removal_delay值是根据拼接前的C视频计算的。而拼接后的视频为A+D，所以D视频的cpb_removal_delay取值应该等于B视频的cpb_removal_delay值。因为拼接完成后，D视频是与A视频拼接在一起，所以D视频的cpb_removal_delay取值需要根据A视频来计算，即B视频的cpb_removal_delay取值。
在本实例中，表示stream1的B段的第一个存取单元的cpb_removal_delay值。
图5所示为本发明H.264/AVC视频流拼接dpb_output_delay的调整示意图。
如图5所示，以原始流为“I P P P P P……P”，插入流为“I B P BP……B P”为例，此时会在插入点遇到显示间隔，插出点遇到输出时间重叠的问题。对于插入点不需要处理，对于插出点，需要对整段码流中的dpb_output_delay取值进行调整。
如图5中的第一个视频，即原始流“I P P P……P”，解码时间和显示时间没有延迟，所以解码时间和显示时间是一一对应的。
图5中的第二个视频，即原始流“I P B P B……B”，因为存在B帧，所以由图5可知，解码时间和显示时间有重排关系。
当“I P P P……P”和“I P B P B……B”拼接在一起后，如图5中的第三个视频，在拼接点的P图像和I图像的显示时间和解码时间对应关系需要修改。即，本发明通过修改cpb_removal_delay来调整解码时间，通过修改dpb_output_delay来调整显示时间。从而，使得输出的码流更加平滑，减少了卡机、黑屏等现象。
图6所示为本发明中H.264/AVC视频流拼接器的示意图。
拼接器接收编码器1和编码器2输出的H.264/AVC码流，经过拼接处理，输出的拼接流满足H.264/AVC标准的HRD兼容一致性，标准的解码器可以进行解码，不需要对解码器进行任何修改。
和现有技术相比，本发明对H.264/AVC码流的处理都是在拼接器上完成，对终端解码系统不需要进行任何修改。
对拼接码流从CPB中移出的延迟时间值（cpb_removal_delay）和从DPB中移出的延迟时间值（dpb_output_delay）的调整，本身就是拼接操作的一部分，将其定位于拼接器功能，满足拼接器的功能定位。并且，本发明不需要定义额外的拼接点SEI消息，也不需要对解码器进行修改。
至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (12)

1.一种视频流的拼接方法，其特征在于：
解析拼接码流中的补充的增强信息（SEI）消息；
根据SEI消息计算拼接后码流从编码图像缓冲区（CPB）中移出的延迟时间值（cpb_removal_delay），并替换SEI消息中携带的从CPB中移出的延迟时间值，以根据该SEI消息进行解码，其中，SEI消息携带的从CPB中移出的延迟时间值是根据拼接前的码流得到的。
2.根据权利要求1所述视频流的拼接方法，其特征在于：
根据该SEI消息进行解码之后，进行假想参考解码器（HRD）验证，以验证HRD兼容一致性。
3.根据权利要求1或2所述视频流的拼接方法，其特征在于：
拼接后码流的cpb_removal_delay为：
cpb_removal_delay＝(initial_cpb_removal_delay[SchedSelIdX]÷90000+taf(ns-1)-tr，n(nb))÷tc
其中，tc是一个时钟记号；
initial_cpb_removal_delay[SchedSelIdx]是与访问单元n相关的缓冲周期SEI消息中所定义的，表示在HRD初始化后的第一个缓冲周期，第SchedSelIdx个CPB的时间延迟；
taf(ns-1)表示拼接点ns前一个访问单元移出CPB的时间；
当访问单元n是当前缓冲周期的第一个单元时，tr，n(nb)为前一个缓冲周期的第一个访问单元的移出时刻；当访问单元n不是当前缓冲周期的第一个单元时，tr，n(nb)为当前缓冲周期的第一个访问单元的移出时刻。
4.根据权利要求3所述视频流的拼接方法，其特征在于：
拼接后码流的cpb_removal_delay为：
cpb_removal_delay=DelayOffset=
ceil((initial_cpb_removal_delay[SchedSelIdx÷90000+taf(ns-1)-tr,n(nb))÷tc)，
其中，DelayOffset为偏移量，Ceil表示向上取整。
5.根据权利要求4所述视频流的拼接方法，其特征在于：
拼接后码流的cpb_removal_delay为：
cpb_removal_delay=Max(DelayOffset,cpb_removal_delayorig
其中，cpb_removal_delayorig表示第一段原始码流在拼接点后的第一个存取单元的cpb_removal_delay值。
6.根据权利要求1或2所述视频流的拼接方法，其特征在于：
根据SEI消息计算拼接后码流从解码图像缓冲区（DPB）中移出的延迟时间值（dpb_output_delay），并替换SEI消息中携带的从DPB中移出的延迟时间值，以根据该SEI消息进行显示，其中，SEI消息携带的从DPB中移出的延迟时间值是根据拼接前的码流得到的；
其中，当插入流的dpb_output_delay小于原始流对应值，则将拼接后的码流的initial_dpb_output_delay修改为大于等于所有码流的initial_dpb_output_delay；
当插入流的dpb_output_delay小于原始流对应值，则将插入流的dpb_output_delay修改为原始流的对应值。
7.一种视频流的拼接系统，该系统包括拼接器，其特征在于，该拼接器包括：
消息过滤器，解析拼接码流中的SEI消息；
时间计算器，根据SEI消息计算拼接后码流从CPB中移出的延迟时间值，并替换SEI消息中携带的从CPB中移出的延迟时间值，以根据该SEI消息进行解码，其中，SEI消息携带的从CPB中移出的延迟时间值是根据拼接前的码流得到的。
8.根据权利要求7所述视频流的拼接系统，其特征在于，该拼接器还包括：
验证器，根据该SEI消息进行解码之后，进行假想参考解码器（HRD）验证，以验证HRD兼容一致性。
9.根据权利要求7或8所述视频流的拼接系统，其特征在于：
拼接后码流的cpb_removal_delay为：
cpb_removal_delay
=(initial_cpb_removal_delay[SchedSeIIdX]÷90000+taf(ns-1)-tr，n(nb))÷tc。
其中，tc是一个时钟记号；
initial_cpb_removal_delay[SchedSelIdx]是与访问单元n相关的缓冲周期SEI消息中所定义的，表示在HRD初始化后的第一个缓冲周期，第SchedSelIdx个CPB的时间延迟；
taf(ns-1)表示拼接点ns前一个访问单元移出CPB的时间；
当访问单元n是当前缓冲周期的第一个单元时，tr,n(nb)为前一个缓冲周期的第一个访问单元的移出时刻；当访问单元n不是当前缓冲周期的第一个单元时，tr,f(nb)为当前缓冲周期的第一个访问单元的移出时刻。
10.根据权利要求9所述视频流的拼接系统，其特征在于：
拼接后码流的cpb_removal_delay为：
cpb_removal_delay=DelayOffset=
ceil((initial_cpb_removal_delay[SchedSelIdx]÷90000+taf(ns-1)-tr,n(nb))÷tc),
其中，DelayOffset为偏移量，Ceil表示向上取整。
11.根据权利要求10所述视频流的拼接系统，其特征在于：
拼接后码流的cpb_removal_delay为：
cpb_removal_delay=Max(DelayOffset,cpb_removal_delayorig),
其中，cpb_removal_delayorig表示第一段原始码流在拼接点后的第一个存取单元的cpb_removal_delay值。
12.根据权利要求7或8所述视频流的拼接系统，其特征在于：
时间计算器根据SEI消息计算拼接后码流从DPB中移出的延迟时间值，并替换SEI消息中携带的从DPB中移出的延迟时间值，以根据该SEI消息进行显示，其中，SEI消息携带的从DPB中移出的延迟时间值是根据拼接前的码流得到的；
其中，当插入流的dpb_output_delay小于原始流对应值，则将拼接后的码流的initial_dpb_output_delay修改为大于等于所有码流的initial_dpb_output_delay；
当插入流的dpb_output_delay小于原始流对应值，则将插入流的dpb_output_delay修改为原始流的对应值。
CN201310454295.5A 2013-09-29 2013-09-29 一种视频流的拼接方法和系统 Active CN104519370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310454295.5A CN104519370B (zh) 2013-09-29 2013-09-29 一种视频流的拼接方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310454295.5A CN104519370B (zh) 2013-09-29 2013-09-29 一种视频流的拼接方法和系统

Publications (2)

Publication Number Publication Date
CN104519370A true CN104519370A (zh) 2015-04-15
CN104519370B CN104519370B (zh) 2018-06-08

Family

ID=52793994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310454295.5A Active CN104519370B (zh) 2013-09-29 2013-09-29 一种视频流的拼接方法和系统

Country Status (1)

Country Link
CN (1) CN104519370B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107690803A (zh) * 2015-06-08 2018-02-13 高通股份有限公司 用于高动态范围及广色域视频译码的自适应常量照度方法
US10666957B2 (en) 2015-06-08 2020-05-26 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375535A (zh) * 2005-12-29 2009-02-25 诺基亚公司 调谐时间减少
CN101606389A (zh) * 2007-01-08 2009-12-16 汤姆森特许公司 用于视频流拼接的方法及装置
WO2010021665A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Hypothetical reference decoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375535A (zh) * 2005-12-29 2009-02-25 诺基亚公司 调谐时间减少
CN101606389A (zh) * 2007-01-08 2009-12-16 汤姆森特许公司 用于视频流拼接的方法及装置
WO2010021665A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Hypothetical reference decoder

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107690803A (zh) * 2015-06-08 2018-02-13 高通股份有限公司 用于高动态范围及广色域视频译码的自适应常量照度方法
US10284863B2 (en) 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
CN107690803B (zh) * 2015-06-08 2019-08-23 高通股份有限公司 用于高动态范围及广色域视频译码的自适应常量照度方法
US10666957B2 (en) 2015-06-08 2020-05-26 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding

Also Published As

Publication number Publication date
CN104519370B (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
JP5114495B2 (ja) ビデオストリームのスプライシングのための方法及び装置
KR101229942B1 (ko) 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 ｓｅｉ 메시지 삽입
CA2747106C (en) Method and device for overlaying 3d graphics over 3d video
KR101657123B1 (ko) 방송 수신기 및 ３ｄ 자막 데이터 처리 방법
CN102292992B (zh) 信息处理设备、信息处理方法、回放设备、回放方法及记录介质
EP3105938B1 (en) Embedding encoded audio into transport stream for perfect splicing
CA2910306C (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
CN103458271A (zh) 音视频文件拼接方法和装置
US8724710B2 (en) Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
CN104717509A (zh) 一种视频解码方法及装置
WO2023226915A1 (zh) 视频传输方法、系统、设备及存储介质
CN104519370A (zh) 一种视频流的拼接方法和系统
US20090296741A1 (en) Video processor and video processing method
US20220132140A1 (en) Methods and apparatus of bitstream verifying and decoding
CN117597925A (zh) 视频编解码中元数据消息传送的优先级处理顺序的信令
STANDARD Mapping a VC-2 Stream into the MXF Generic Container
WO2024076494A1 (en) Enhanced signalling of preselection in a media file
JP2013078135A (ja) 符号化装置および符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant