CN101184230A

CN101184230A - 在视频序列中插入切换帧的方法

Info

Publication number: CN101184230A
Application number: CNA2006101497905A
Authority: CN
Inventors: 陈睿; 郭晓强; 宋立锋; 王宁; 于培松
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-11-13
Filing date: 2006-11-27
Publication date: 2008-05-21

Abstract

本发明公开了一种在视频序列中插入切换帧的方法，步骤如下：在视频序列中插入切换帧的方法，步骤如下：在视频码流中选取插入切换帧的时刻；提取对应的原始图像帧或者重建图像帧；将原始图像帧或者重建图像帧按照视频编码方法进行帧内编码，得到切换帧；对视频序列进行编码时，在视频码流中插入切换帧。本发明方法可以在不明显降低视频编码效率的条件下，实现解码器端的快速视频切换，与原有的根据视频序列的I帧进行视频切换相比，切换时间被缩短。

Description

在视频序列中插入切换帧的方法

技术领域

本发明涉及一种图像信息的传输和处理技术，具体说，涉及一种在视频序列中插入切换帧的方法。

背景技术

随着有线宽带网络和无线网络的发展和用户需求的驱动，多媒体技术和相关的应用得到了越来越多的关注。特别是数字视频技术得到了广泛的应用，例如IPTV、手机电视、数字电视、会议电视、激光视盘等。其中一个常见的用户操作是进行视频切换，即用户端从一个正在播放的视频序列切换到另外一个视频序列。

对于数字视频而言，由于现有的数字视频编码方法都采取了图像帧编码的方式，视频序列的切换无法快速完成。这些图像帧含有帧内编码帧(I帧)和非帧内编码帧，其中非帧内编码帧有预测帧(P帧)和双向预测帧(B帧)。I帧是可以独立解码的帧，不需要其它图像帧作为参考图像。而P帧是前向预测帧，需要用当前解码的P帧图像之前的图像作为参考帧，B帧是双向预测帧，需要用当前解码的B帧之前和之后的图像作为参考图像。

在传统的视频序列切换方法中，如果视频切换位置的图像帧是帧内编码模式(I帧)，从切换位置开始可以立即进行标准的视频解码处理。解码图像可以进行显示，并作为后续编码视频码流的参考图像。

如图1所示，如果视频切换位置的图像帧不是帧内编码模式，例如P帧或者B帧。由于P帧或者B帧需要使用前向或/和后向的重建图像作为参考帧，不能立即进行视频解码处理。在t+i时刻进行视频切换时，由于此时的编码图像帧不是帧内编码，需要参考前向或/和后向的重建图像帧进行解码。在这种情况下，视频解码器必须暂停，等待至下一个帧内编码图像帧才能开始进行视频解码，需要等待至t+n时刻，接收到帧内编码图像才能恢复解码。因此在传统的视频切换方法中，视频切换的等待时延为n-i。

由于视频码流中只有I帧能够独立解码，因此一段视频码流必须以I帧作为起始帧。在进行频道切换时，需要等待视频码流的I帧正确接收后，才能进行解码和显示。

因此为了实现视频码流的切换，需要在编码的视频码流中插入I帧编码图像。但是由于I帧的编码效率远低于P帧或者B帧的编码效率，在编码视频码流中频繁插入I帧会造成编码效率降低，从而影响用户观看的图像质量。

发明内容

本发明所解决的技术问题是提供一种在视频序列中插入切换帧的方法，通过插入切换帧，能够对不同的视频序列进行快速切换。

技术方案如下：

在视频序列中插入切换帧的方法，步骤如下：

a、在视频码流中选取插入切换帧的时刻；

b、提取对应的原始图像帧或者重建图像帧；

c、将原始图像帧或者重建图像帧按照视频编码方法进行帧内编码，得到切换帧；

d、对视频序列进行编码时，在视频码流中插入切换帧。

进一步，步骤(a)中：相邻切换帧之间的间隔小于相邻I帧之间的间隔。

进一步，步骤(c)具体为：

(c1)选定缩放系数，对所述原始图像帧或者重建图像帧进行缩放处理；

(c2)对缩放处理后的原始图像帧或者重建图像帧进行帧内编码，得到切换帧。

进一步，当进行图像的缩放时，如果缩放系数小于1，表示对图像进行缩小；如果缩放系数大于1，表示对图像进行放大；如果缩放系数等于1，表示图像保持原有大小。

技术效果如下：

本发明方法可以在不明显降低视频编码效率的条件下，实现解码器端的快速视频切换，与原有的根据视频序列的I帧进行视频切换相比，切换时间被缩短。

由于切换帧是对普通的视频图像帧进行了缩放后再进行帧内编码，而且在对切换帧进行编码时，采取了提高压缩比的方法，例如粗量化、更有效的熵编码方法、更有效的帧内预测方法等，切换帧的编码后数据量远小于普通的I帧编码。在这种情况下，当编码视频码流的相邻普通I帧之间相隔较远时，通过在相邻的普通I帧之间插入多个切换帧，从而可以在解码端实现快速的视频序列切换，而且插入的切换帧不会明显增加编码后的视频码流数据量。

本发明在不需要视频切换的情况下，插入的切换帧只是作为附加的无效数据，不影响视频解码器正常解码；在需要视频切换的情况下，插入的切换帧可以独立解码，无需参考其它解码图像，新的视频序列可以从切换帧位置开始进行视频解码，从而实现快速的视频序列切换。

附图说明

图1是现有技术中的视频切换方法示意图；

图2是本发明中使用切换帧的视频切换方法示意图；

图3是本发明中插入切换帧后的两个视频序列示意图；

图4是本发明中基于切换帧的视频切换过程示意图。

具体实施方式

下面参考附图，对本发明的优选实施例作详细描述。

视频序列的切换整体上包括视频编码器的编码过程和视频解码器的解码过程两个部分。

1、视频编码器的编码过程。

第一步，对需要编码的视频序列按照标准的视频编码方法进行编码。视频编码可以采取H.261、H.263、H.264、AVS、MPEG4、MPEG2等方法，编码的图像帧类型可以是I帧、P帧或者B帧，为了提高编码效率，相邻的I帧之间可以有任意大间隔。

第二步，在标准的编码视频码流中插入切换帧。

参照图2所示，在进行视频编码的过程中，除了标准的帧内编码图像帧，在视频码流中插入了另外一种帧内编码的图像帧-切换帧。

切换帧的实现方法包括如下几个步骤：

(1)选定插入切换帧的时刻。

例如，选定j时刻或者k时刻，作为切换帧的插入时刻。切换帧的位置可以根据实际需要确定，一般来说切换帧的频率大于视频码流中的I帧频率，即相邻切换帧之间的间隔小于相邻I帧之间的间隔。

(2)在切换帧时刻j或者k处，提取出对应的原始图像帧或者重建图像帧，记为F_j或者F_k。

(3)将F_j或者F_k按照预先给定的缩放系数(scale)，经过滤波器(Filter1)处理，得到一个缩放后的图像，记为Scaled_F_j或者Scaled_F_k。

在对F_j或者F_k进行缩放时，若缩放系数小于1，表示对图像进行缩小；若缩放系数大于1，表示对图像进行放大；若缩放系数等于1，表示图像保持原有大小。

(4)对Scaled_F_j或者Scaled_F_k按照标准的视频编码方法进行帧内编码，得到切换帧，记为Switch_F_j或者Switch_F_k。

在对Switch_F_j或者Switch_F_k进行帧内编码时，为了降低切换帧的编码数据量，可以采取适当的提高压缩比的策略，例如粗量化、更有效的熵编码方法、更有效的帧内预测方法等。

在j时刻插入了切换帧后，原有的非帧内编码图像F_j后增加了一个切换帧。若在i时刻进行视频切换时，由于此时的编码图像帧不是帧内编码，需要参考前向或者后向的重建图像帧进行解码。在这种情况下，视频解码器必须暂停，等待至下一个帧内编码图像帧或者切换帧才能开始进行视频解码。由于在n时刻之前的j时刻有切换帧存在，因此，解码器不需要等待至n时刻，接收到帧内编码图像才能恢复解码。而是在j时刻，接收到切换帧后就开始进行解码。因此在加入切换帧的视频切换方法中，视频切换的等待时延为j-i，与原有的在n时刻进行切换比较，切换时延缩短了n-j。

由于切换帧的是对普通的视频图像帧进行了缩放后再进行帧内编码，而且在对切换帧进行编码时，采取了提高压缩比的方法，例如粗量化、更有效的熵编码方法、更有效的帧内预测方法等，切换帧的编码后数据量远小于普通的I帧编码。在这种情况下，当编码视频码流的相邻普通I帧之间相隔较远，在相邻的普通I帧之间插入多个切换帧，从而可以在解码端实现快速的视频序列切换，而且插入的切换帧不会明显增加编码后的视频码流数据量。

2、视频解码器的解码过程。

(1)检测是否接收到视频切换请求。

第一种情况，如果没有接收到视频切换请求，则进行下列步骤：

a、对接收的视频码流进行判断。

如果接收的视频码流为普通图像帧，例如I帧、P帧或者B帧，则按照标准的视频解码处理；如果接收的视频码流为切换帧，则不进行解码处理。

b、解码过程结束，将解码图像作为后续视频图像解码的参考帧，并将其发送至显示终端。

c、进入下一时刻解码处理。

第二种情况，如果接收到视频切换请求，则进行下列步骤。

I、对接收的视频码流进行判断。

如果接收的视频码流为普通图像帧，且为非帧内编码模式，例如P帧或者B帧，则不进行解码处理，视频解码器处于等待状态；如果接收的视频码流为普通图像帧，且为帧内编码模式，例如I帧，则进行标准的解码处理；如果接收的视频码流含有视频切换帧，例如Switch_F_j，则进行切换帧的视频解码处理，得到解码图像Scaled_F_j，然后对Scaled_F_j按照缩放系数scale进行上采样滤波处理得到恢复的图像帧F_j‘，上采样滤波通过上采样滤波器Filter2完成，得到切换参考图像。

II、将切换参考图像作为后续视频图像解码的参考帧，并将其发送至显示终端。

III、进入下一时刻解码处理。

参照图3所示，序列1是正在播放的序列，序列2是准备切换的序列。

在两个插入切换帧后的视频编码序列中，序列1和序列2都是CIF格式(352象素×288象素)，所以序列中的I帧和P帧都是CIF格式，分别记为I(seq，t)和P(seq，t)，其中seq表示序列编号，t表示时刻。在本实施例中，切换帧的缩放系数取0.5，即切换帧的格式为SQCIF，大小为(176象素×144象素)。

对于序列1，选定在t+2时刻插入切换帧，记为S(seq1，t+2)。S(seq1，t+2)是通过P(seq1，t+2)缩小为QCIF格式后，再采取帧内编码得到。

在t+2时刻序列1插入切换帧的具体步骤如下：

(1)选定插入切换帧的时刻t+2。

在t+2时刻P帧是CIF格式，记为P(seq1，t+2)。

(2)在切换帧时刻t+2处，提取出对应的原始图像帧或者重建图像帧。

(3)将提取的原始图像帧或者重建图像帧按照预先给定的缩放系数(scale＝0.5)经过滤波器(Filter1)处理，得到一个缩放后的图像。

(4)对缩放后的图像按照标准的视频编码方法进行帧内编码，得到切换帧，记为记为S(seq1，t+2)。

对于序列2，选定在t+4时刻插入切换帧，记为S(seq2，t+4)。S(seq2，t+4)是通过P(seq2，t+4)缩小为QCIF格式后，再采取帧内编码得到。

在t+4时刻序列2插入切换帧的具体步骤如下：

(1)选定插入切换帧的时刻t+4。

在t+4时刻P帧是CIF格式，记为P(seq2，t+4)。

(2)在切换帧时刻t+4处，提取出对应的原始图像帧或者重建图像帧。

(4)对缩放后的图像按照标准的视频编码方法进行帧内编码，得到切换帧，记为记为S(seq2，t+4)。

参照图4所示，在图3所示情况下，当需要在t+2时刻从视频序列1切换到视频序列2时，此时视频序列2的解码端视频切换处理过程如下。

t+2时刻：从t+2时刻开始，终端开始接收序列2的视频码流，表示为P，P，P，S，P，P，I，P，P，...。

t+2时刻，非帧内编码图像P(t+2)无法用前面的重建图像作为参考帧，P(t+2)不能进行解码操作。

t+3时刻：帧内编码图像P(t+3)无法用前面的重建图像作为参考帧，P(t+3)不能进行解码操作。

t+4时刻：非帧内编码图像P(t+4)无法用前面的重建图像作为参考帧，P(t+4)不能进行解码操作。但是在t+4时刻，存在一个使用帧内编码方式编码的切换帧S(t+4)。因此，终端的解码器对切换帧S(t+4)进行解码，得到一个QCIF格式的解码图像。然后将这个QCIF格式图像通过上采样滤波器处理，得到一个CIF格式的切换参考图像F’(t+4)。

在t+4时刻视频解码器解码的具体过程如下：

(1)视频解码器检测是否接收到视频切换请求。

如果没有接收到视频切换请求，则进行下列步骤：

a、对接收的视频码流进行判断。

c、进入下一时刻解码处理。

如果接收到视频切换请求，则对接收的视频码流进行判断，并进行下列步骤：

如果接收到的视频码流为普通图像帧，且为非帧内编码模式，例如P帧或者B帧，则不进行解码处理，视频解码器处于等待状态；如果接收的视频码流为普通图像帧，且为帧内编码模式，例如I帧，则进行标准的解码处理。

如果接收的视频码流中含有视频切换帧S(t+4)，则进行切换帧S(t+4)的视频解码处理，得到解码图像，然后对解码图像按照缩放系数(scale＝0.5)进行上采样滤波处理，得到一个QCIF格式的解码图像。然后将这个QCIF格式图像通过上采样滤波器处理，得到一个CIF格式的切换参考图像F’(t+4)，该切换参考图像F’(t+4)作为后续图像解码的参考帧。

t+5时刻：非帧内编码图像P(t+5)利用从切换帧S(t+4)得到的切换参考图像F’(t+4)作为参考帧，进行标准的视频解码处理，得到t+5时刻的解码图像。

t+6时刻：非帧内编码图像P(t+6)利用从P(t+5)的解码图像作为参考帧，进行标准的视频解码处理，得到t+6时刻的解码图像。

t+7时刻：帧内编码图像P(t+7)不需要利用前面的参考帧，可以进行标准的视频解码，得到t+7时刻的解码图像。

t+8时刻之后的视频解码过程与标准的视频序列解码过程一样。

在IPTV、手机电视、数字电视等基于数字视频的应用中，视频序列的切换是一种非常重要的客户端操作。由于数字视频切换的过程中等待至帧内编码图像才能进行视频解码，因此在客户端进行视频切换需要较长的等待时间。本发明提出了一种在编码视频码流中插入可以独立解码的切换帧方法。一方面，在不进行视频切换时，不会影响终端对正常视频码流的解码和播放；另一方面，在进行视频切换时，终端可以从切换帧位置实现快速视频切换，从而缩短用户在观看视频节目时的视频切换时间。

Claims

1.一种在视频序列中插入切换帧的方法，步骤如下：

a、视频码流中选取插入切换帧的时刻；

b、提取对应的原始图像帧或者重建图像帧；

d、对视频序列进行编码时，在视频码流中插入切换帧。

2.根据权利要求1所述的在视频序列中插入切换帧的方法，其特征在于，步骤(a)中：相邻切换帧之间的间隔小于相邻I帧之间的间隔。

3.根据权利要求1所述的在视频序列中插入切换帧的方法，其特征在于，步骤(c)具体为：

4.根据权利要求3所述的在视频序列中插入切换帧的方法，其特征在于，当进行图像的缩放时，如果缩放系数小于1，表示对图像进行缩小；如果缩放系数大于1，表示对图像进行放大；如果缩放系数等于1，表示图像保持原有大小。