CN1291598C - 基于帧内编码图象检索的视频快进快退及恢复常速的方法 - Google Patents

Abstract

本发明涉及一种基于帧内编码图象检索的视频快进快退及恢复常速的方法，属于计算机多媒体应用技术领域。首先设视频流中的快进或快退速度为n倍速，停止播放音频；根据设定的快进或快退速度，对视频下一帧进行处理，使快进或快退延迟，以控制快进或快退的速度。本发明的视频恢复常速的方法，首先设视频流中的播放速度为正常速度；恢复播放音频；根据正常速度，得到下一帧视频；对下一帧视频进行处理直至播放完所有数据。利用本发明方法，快进快退时视频画面清晰，控制视频快进快退速度的算法简单，视频的快进快退速度稳定，而且速度能够随视频长度自适应快速变化。用户可以利用本发明方法提供的快进快退功能对视频节目进行快速浏览。

Description

基于帧内编码图象检索的视频快进快退及恢复常速的方法

技术领域  本发明涉及一种基于帧内编码图象检索的视频快进快退及恢复常速的方法，属于计算机多媒体应用技术领域，尤其涉及视频播放技术领域。

背景技术  通常一个多媒体播放器播放媒体文件需要经过的流程主要是：配置解码器->读取每一帧数据->选用合适的解码器解码->显示播放。

由于音视频数据的大小一般来说是十分巨大的，因此音视频的压缩编码/解码也是十分重要的。所以对于播放器来说，对于不同压缩格式的媒体文件，应该选择合适的解码器对数据进行解码，然后再进行显示和播放。

对于运动图象专家组标准(以下简称MPEG)视频流，其采用三种类型的图像：帧内图(以下简称I帧)、预测图(以下简称P帧)和差补图即双向预测图(以下简称B帧)。I帧可提供随机存取的存放位置，但压缩比不大，是一幅清晰的静态画面；P帧可以由I帧或前面的P帧进行预测，压缩比大于I帧；B帧是通过先前和后继的信息进行预测，因此压缩效果最显著。一个视频流序列沿时间轴方向可以按如下顺序进行排列：I B B PB B I B B P B B……

快进快退前进或后退所跳到的那一帧是必须保证为I帧的，如果跳到的是P帧或是B帧，因为P帧和B帧的解码都依赖于时序上的前一帧而不能单独解码，用户所看到的将是一幅马赛克画面，直到跳到I帧之后才重新恢复清晰。从用户的需求出发，显然马赛克是用户最难以接受的。因此，在快进快退时使用I帧检索技术，使新的起始时间点必须是I帧，才可以保证播放的时候用户看到的是一幅幅清晰的画面。

快进快退是盒式磁带录象机(以下简称VCR)中很重要的一项功能，对于一个多媒体播放器，实现稳定快速的快进快退技术是满足用户需求的重要保证。比如用户如果对当前的节目不是很感兴趣，则可以通过快进快退直接跳到节目的其他时间点上去。这使得用户变得更加的主动，可以选择收看节目的任意一部分。快进快退是多媒体播放中经常应用到的一项功能。目前的多媒体播放器所支持的快进快退技术一般是在拖动的基础上进行的改进。用户点击一次按钮，快进或快退一定的时间，这个时间可以由用户事先设定，然后从新的时间点的下一个I帧进行播放，这实际上和拖动操作的原理是一样的。这样避免了拖动的随机性，使用户可以一步步的快进快退到想看的时间点上。但是这种方法也是有一定的局限性：

1、用户只能一步一步的手动操作使视频快进快退，比较繁琐。

2、每次前进的步长虽然可设置，但快进快退过程中仍是固定不变的。

3、由于跳跃可能会错过一些关键帧，用户浏览的效果不佳。

4、由于是手动操作，每跳一步都要花费较长时间，快进快退速度受限制。

发明内容  本发明的目的是提出一种基于帧内编码图象检索的视频快进快退及恢复常速的方法，利用已有计算机中的视频播放技术，解决视频播放时的自动快进快退中操作繁琐、步长固定等问题，给用户提供播放多媒体文件自动快进快退的VCR功能，利用I帧检索技术改善快进快退的效果，以提高用户浏览视频的视觉效果。

本发明提出的基于帧内编码图象检索的视频快进快退的方法，包括以下步骤：

(1)设视频流中的快进或快退速度为n倍速，即每次向前或向后跳n个I帧；

(2)停止播放音频；

(3)根据上述设定的快进或快退速度，判断得到的视频下一帧是否为I帧，若不是I帧，则进行以下步骤(4)，若是，则对I帧计数器加1，并判断I帧计数是否到达设定的倍数n，若已到达，进行以下步骤(6)，若不到达，则进行以下步骤(4)；

(4)若为快进状态，则跳到后一视频帧，若为快退状态，则跳回前一视频帧，并返回步骤(3)；

(5)使快进或快退延迟，以控制快进或快退的速度；

(6)对步骤(3)中检索到的I帧视频进行解码，并显示该帧数据；

(7)重复上述步骤(3)～(6)，以实现所有视频的自动快进或快退。

上述方法中，控制快进或快退速度的方法包括以下步骤：

(1)视频向前或向后跳一帧之后，利用下式计算使快进或快退延迟的时间：

延时时间＝(最大跳跃时间-本次I帧跳跃时间+C1)×C2/最大视频时间，

上式中，C1、C2分别为两个相同或不相同的时间常数；

(2)对上述计算的延时时间进行判断，若超过本次I帧跳跃时间，则将延迟时间设成本次I帧跳跃时间，若没有超过本次I帧跳跃时间，则维持计算的延时时间不变。

本发明提出的基于帧内编码图象检索的视频恢复常速的方法，包括以下步骤：

(1)设视频流中的播放速度为正常速度；

(2)恢复播放音频；

(3)根据上述正常速度，得到下一帧视频；

(4)对下一帧视频进行解码，将解码后的数据存储，在播放时间到来时播放该数据；

(5)重复步骤(3)和(4)，直至播放完所有数据。

本发明提出的基于帧内编码图象检索的视频快进快退及恢复常速的方法，其优点是：

1、快进快退时视频画面清晰，没有马赛克。

2、控制视频快进快退速度的算法简单，计算复杂度小，运算快速。

3、视频的快进快退速度稳定，而且速度能够随视频长度自适应快速变化。

4、用户可以根据自己的需要，通过配置参数，控制视频的快进快退速度。

5、本发明方法不仅适用于本地多媒体文件，同时也能扩展应用于远程VOD点播中。

6、用户可以利用本发明方法提供的快进快退功能对视频节目进行快速浏览。

附图说明

图1为本发明提出的自动快进快退的流程框图。

图2为本发明提出的恢复正常速度播放的流程框图。

具体实施方式

本发明提出的基于帧内编码图象检索的视频快进快退的方法，其流程如图1所示：

(1)设视频流中的快进或快退速度为n倍速，即每次向前或向后跳n个I帧；

(2)停止播放音频；

(3)根据上述设定的快进或快退速度，判断得到的视频下一帧是否为I帧，若不是I帧，则进行以下步骤(4)，若是，则对I帧计数器加1，并判断I帧计数是否到达设定的倍数n，若已到达，进行以下步骤(6)，若不到达，则进行以下步骤(4)；

(4)若为快进状态，则跳到后一视频帧，若为快退状态，则跳回前一视频帧，并返回步骤(3)；

(5)使快进或快退延迟，以控制快进或快退的速度；

(6)对步骤(3)中检索到的I帧视频进行解码，并显示该帧数据；

(7)重复上述步骤(3)～(6)，以实现所有视频的自动快进或快退。

上述方法中，控制快进或快退速度的方法，首先视频向前或向后跳一帧之后，利用下式计算使快进或快退延迟的时间：

延时时间＝(最大跳跃时间-本次I帧跳跃时间+C1)×C2/最大视频时间，

上式中，C1、C2分别为两个相同或不相同的时间常数；

然后对上述计算的延时时间进行判断，若超过本次I帧跳跃时间，则将延迟时间设成本次I帧跳跃时间，若没有超过本次I帧跳跃时间，则维持计算的延时时间不变。

本发明提出的基于帧内编码图象检索的视频恢复常速的方法，其流程如图2所示，包括以下步骤：

(1)设视频流中的播放速度为正常速度；

(2)恢复播放音频；

(3)根据上述正常速度，得到下一帧视频；

(4)对下一帧视频进行解码，将解码后的数据存储，在播放时间到来时播放该数据；

(5)重复步骤(3)和(4)，直至播放完所有数据。

本发明提供了一种自动向前向后检索I帧并在I帧间跳跃的快进快退方式给用户使用。用户点击一次快进快退按钮后，节目自动在I帧上跳跃前进或后退，使用户可以方便的浏览节目，并且也使节目可以快速的快进快退到新的时间点，直到用户浏览到自己想看的节目时间点后，可以随时恢复正常播放，进行观看。对于这种方式，用户也可以根据自身的需求选择不同的快进快退速度。将这种方法应用到计算机多媒体播放上，可以满足用户更多的需求。在快进快退中我们必须要用到检索I帧的技术。

自动快进快退是通过在I帧之间进行向前向后的连续跳跃，实现快进快退的功能。由于可以设定间隔n个I帧显示一次，但每个I帧间的间隔又是不定的，因此n个I帧显示一次并不就等于正常播放速度的n倍。为此只能近似定义每间隔n个I帧显示一次作为n倍速的快进快退。用户在n倍快进(快退)的基础上点击一次快进(快退)按钮，则快进(快退)速度增为n+1倍；在n倍快进(快退)的基础上点击一次快退(快进)按钮，则快进(快退)速度减为n-1倍。

快进快退处理中，音频不需快进快退，仍按正常速度解码，但是不播放出来设置成静音。

快进快退处理中，由于只播放视频，因此将不进行音视频同步处理。另外，正常时解码后解码数据需缓冲到播放时刻再显示，但快进快退不按正常速度处理，等到缓冲再显示则显示的速度会远远落后于快进快退的速度，因此，解码后必须立即显示。

用户在快进快退过程中，当浏览到自己想看的时间点之后，可以选择恢复常速播放。这可以通过点击播放按钮或是通过点击与当前快进快退状态相反的按钮将快进快退速度降至0来实现。

在自动快进快退方法中，如果不设置延迟，连续地快速在I帧间跳跃检索，则快进快退的速度会相当的快，用户会来不及浏览到显示出来的每一个I帧。因此需要在找到I帧之后延迟一定的时间再显示出来。但这段时间如果设成固定的，则无法同时满足不同长度的节目。例如这段延迟时间较长，对于较长长度的节目，则会使用户等待很久。若延迟时间较短，对于较短长度的节目，用户还没来得及就很快会浏览完毕。因此，在控制延迟时间时需考虑实际的电影长度。另外每次I帧跳跃的时间也不是固定不变的，有时两个I帧间间隔很小，一下就跳到了；有时却间隔相当远，需要很长时间才跳跃到。这会给用户造成画面跳跃的速度不一致。为此，本发明方法采取的策略是，若本次跳跃的时间过长，接下来延迟的时间就尽可能短些，使得每次跳跃+延迟的总时间能维持在一个稳定的时间范围里。这样给用户的感觉就是画面以比较稳定的速度快进快退了。为此，所采取的算法如下：

定义：

maxtime：最大电影长度。单位秒

max_skiptime：最大跳跃时间，单位毫秒，这里设为10000毫秒即10秒

skiptime：本次I帧跳跃时间，即当前I帧同上一次所显示I帧之间的间隔时间。若此时间大于(max_skiptime)10秒，则作为10秒进行处理。单位毫秒

delay：所需计算的延迟时间。单位毫秒

算法：

delay＝(max_skiptime-skiptime+C1)×C2/maxtime)；C1，C2为常数，这里都取作1000。

如果电影节目过短，这样有可能造成delay的时间很长，甚至超过了每次跳跃的实际时间，这样就失去了快进快退的意义，因此如果延迟的时间超过了跳跃的时间，就将延迟的时间设成两帧间实际播放的时间间隔，作为最大的延迟。如下：

if(delay＞skiptime)

delay＝skiptime；

本发明所依据的原理是对I帧的检索与显示。这是利用用户所希望的宁可看到一幅静止清晰的画面也不愿意看一段时间的马赛克。为此，在快进快退时，利用I帧作为关键帧的特性进行检索，使得每次显示的帧都为I帧，这样就可以避免马赛克的画面。

下面介绍本发明的一个实施例：

本实施例通过播放本地mp4媒体文件来完成，所有操作皆由播放器完成。

播放器配置

CPU：Intel PIII 800MHz

内存：256M

操作系统：Windows2000Professional

播放器：LSMP Media Player

参数设置

播放节目：mummy750a128.mp4(一部电影)

视频长度：7483191毫秒

本实施例的播放器快进快退实现方法，只需用户在界面上点击相应快进快退钮即可。

本实施例实现自动快进快退的方法具体测试数据如下：

快进		快退
				设定速度	1	设定速度	1
快进前视频最后一帧时间(ms)	2641820	快退前视频最后一帧时间(ms)	5333680
				快进前音频最后一帧时间(ms)	2641989	快退前音频最后一帧时间(ms)	5333786
所跳I帧数	6	所跳I帧数	6
				恢复后视频第一帧时间(ms)	2684229	恢复后视频第一帧时间(ms)	5321837
跳帧所花总时间(ms)	1613	跳帧所花时间(ms)	310
				延迟所花总时间(ms)	2304	延迟所花总时间(ms)	6315
快进所花总时间(ms)	4507	快退所花总时间(ms)	7140

每次I帧跳跃的数据如下：

快进：

跳跃次数	1	2	3	4	5	6
							跳过时间(ms)	9716	＞10000	＞10000	4253	6047	8716
跳帧时间(ms)	381	361	250	140	241	240
							延迟时间(ms)	171	133	133	901	661	305
总时间(ms)	552	494	383	1041	902	545

快退：

跳跃次数	1	2	3	4	5	6
							跳过时间(ms)	2835	1876	3086	2668	1126	709
跳帧时间(ms)	10	50	110	80	30	30
							延迟时间(ms)	1091	1219	1057	1113	1126	709
总时间(ms)	1101	1269	1167	1193	1156	739

从上面的数据可以看出：

由于延迟的作用，一方面保证了快进快退的速度不会过快，另一方面使速度更加平均，因为跳帧时间越少的延迟一般越大，这样总时间就会更趋于平均。

另外，从快退处理时可以看到两个I帧间间隔很小，此时计算的延迟也更大，这使得一般情况下总跳跃时间大概能保持在1秒钟左右。用户也能收到较好的视觉效果。

由于跳帧的快速，一般总时间还是比跳过的时间小很多的，除非跳过时间很小，使得计算延迟时间小于跳过的时间(如快退的5，6)，但由于加了保护，使总的时间不会大过跳过时间很多。

Claims (3)

1、一种基于帧内编码图象检索的视频快进快退的方法，其特征在于该方法包括以下步骤：

(1)设视频流中的快进或快退速度为n倍速，即每次向前或向后跳n个I帧；

(2)停止播放音频；

(3)根据上述设定的快进或快退速度，判断得到的视频下一帧是否为I帧，若不是I帧，则进行以下步骤(4)，若是，则对I帧计数器加1，并判断I帧计数是否到达设定的倍数n，若已到达，进行以下步骤(6)，若不到达，则进行以下步骤(4)；

(4)若为快进状态，则跳到后一视频帧，若为快退状态，则跳回前一视频帧，并返回步骤(3)；

(5)使快进或快退延迟，以控制快进或快退的速度；

(6)对步骤(3)中检索到的I帧视频进行解码，并显示该帧数据；

(7)重复上述步骤(3)～(6)，以实现所有视频的自动快进或快退。

2、如权利要求1所述的方法，其特征在于，步骤(5)中所述的控制快进或快退速度，包括以下步骤：

(1)视频向前或向后跳一帧之后，利用下式计算使快进或快退延迟的时间：延时时间＝(最大跳跃时间-本次I帧跳跃时间+C1)×C2/最大视频时间，上式中，C1、C2分别为两个相同或不相同的时间常数；

(2)对上述计算的延时时间进行判断，若超过本次I帧跳跃时间，则将延迟时间设成本次I帧跳跃时间，若没有超过本次I帧跳跃时间，则维持计算的延时时间不变。

3、一种基于帧内编码图象检索的视频恢复常速的方法，其特征在于该方法包括以下步骤：

(1)设视频流中的播放速度为正常速度；

(2)恢复播放音频；

(3)根据上述正常速度，得到下一帧视频；

(4)对下一帧视频进行解码，将解码后的数据存储，在播放时间到来时播放该数据；

(5)重复步骤(3)和(4)，直至播放完所有数据。