CN101079993A - 视频播放中的静态丢帧方法 - Google Patents

Abstract

本发明公开了一种视频播放中的静态丢帧方法，用于对视频播放过程中视频终端所接收视频帧的选择性丢弃，包括：利用基准测试码流预测视频终端的视频解码能力；对视频终端所接收的输入视频帧序列进行分析，估计视频帧序列的解码复杂度；计算目标播放帧频；判断是否需要进行静态丢帧，若需要则执行下一步，否则，结束操作；计算丢帧百分比；利用丢帧百分比确定视频终端中的静态丢帧滤波器中的丢帧频率M；实施静态丢帧过程。本发明的优点在于：整体降低了视频播放的复杂度；平衡整个播放过程的解码压力；避免了视频播放的不连续，减少视频显示停顿；确保视频播放和显示的流畅度。

Description

视频播放中的静态丢帧方法

技术领域

本发明涉及视频播放终端，特别涉及到多媒体处理能力有限的视频播放终端。

背景技术

目前视频播放系统所播放的视频帧分为I帧、P帧和B帧，其中I帧和P帧是参考帧，B帧为非参考帧。在参考帧中，I帧是关键帧，P帧是普通参考帧。在对视频帧做解码时，I帧依靠本身所包含的信息即可实现解码，P帧需要一个I帧或一个其他P帧的信息才能实现对它的解码，B帧需要一个I帧和一个P帧，或两个P帧才能实现对它的解码。

在视频播放系统中，经常会遇到这样的问题：输入到播放终端的视频序列的平均解码复杂度超出了终端的处理能力，当解码器解码完几帧视频图像之后，系统的当前时间便滞后于视频帧的正常显示时间，如果继续进行逐帧解码，则会进一步加剧视频图像显示的滞后，造成用户看到的是慢速播放的视频。

目前处理这种问题的方法一般有两种：一是对输入的视频序列进行尽力解码，如果当前的系统时间已经滞后于要解码的输入视频帧，则丢弃该视频帧，不进行解码；二是在方法一的基础上增加对帧类型的考虑，即如果丢弃的帧为B帧，则后续帧继续解码，如果丢弃的是I帧或B帧，则连续丢弃后续的帧直到下一个I帧到来。这两种方法能尽量保持被解码的视频图像的显示时间接近视频图像要求的显示时间，已被普遍用于目前常用的播放器中，如Windows Media Player，Real Player等。但是，如果采用方法一，则当丢弃的帧是参考帧时，会造成后续帧解码出现误差，解码后视频质量降低；如果采用方法二，存在需要连续丢弃多个视频帧的情况，容易造成播放的不连续和停顿，影响用户的观看效果。于是，如何在终端处理能力受限的情况下减轻视频解码的压力，避免不均匀丢帧造成的显示停顿，便具有实际应用价值。

发明内容

本发明的目的在于：克服现有技术在多媒体处理能力不足的终端上，进行视频播放时连续丢帧造成画面经常停顿，影响用户观看的弊端，减轻终端的视频解码压力，提高视频播放的流畅度，改善用户的观看效果；从而提供了一种用于对视频播放过程中视频终端所接收视频帧的选择性丢弃的方法。

为了实现上述目的，本发明提供了一种视频播放中的静态丢帧方法，用于对视频播放过程中视频终端所接收视频帧的选择性丢弃，包括以下步骤：

1)、利用基准测试码流预测视频终端的视频解码能力，得到基准帧长、基准帧宽、基准帧频三个参数；

2)、对视频终端所接收的输入视频帧序列进行分析，估计视频帧序列的解码复杂度，得到输入帧长、输入帧宽、输入帧频三个参数；

3)、根据步骤1)得到的视频解码能力和步骤2)得到的视频帧序列的解码复杂度，计算目标播放帧频；

4)、比较目标播放帧频和输入帧频，判断是否需要进行静态丢帧，若输入帧频大于目标播放帧频，则做静态丢帧操作，执行下一步，否则，结束操作；

5)、根据步骤3)得到的目标播放帧频计算丢帧百分比；

6)、利用丢帧百分比确定静态丢帧滤波器中的丢帧频率M；

7)、在视频终端设置一个计数器，该计数器的初始值为0；

8)、视频终端接收视频帧序列，并将所述计数器的值与所述静态丢帧滤波器中的丢帧频率M做比较；

若计数器的值小于M，则不丢弃当前的输入帧，直接把输入视频帧发送到解码器中进行解码；

若计数器的值等于M，则判断当前输入帧的类型，若输入帧为B帧，则丢弃该帧，并把计数器的值清零，若为I帧或P帧，则不丢弃该帧，并将计数器的加一；

若计数器的值大于M，判断输入帧的类型，若输入帧为B帧，则丢弃该帧，并把计数器的值置为计数器的值与M的差值，若为I帧或P帧，则不丢弃该帧，并将计数器的加一。

上述技术方案中，在所述的步骤3)中，所述的目标播放帧频的计算为：

目标播放帧频＝基准帧长×基准帧宽×基准帧频/输入帧长/输入帧宽。

在所述的步骤5)中，所述的丢帧百分比的计算为：

丢帧百分比＝1-目标播放帧频/输入帧频。

在所述的步骤6)中，所述的丢帧频率M取整数，并且应当同时满足公式：

|丢帧百分比×M-1|＜|丢帧百分比×(M-1)-1|

|丢帧百分比×M-1|＜＝|丢帧百分比×(M+1)-1|。

本发明的视频播放中的静态丢帧方法具有以下优点：

(1)本发明整体降低了视频播放的复杂度；

(2)本发明充分考虑终端的解码能力和输入视频解码复杂度，平衡整个播放过程的解码压力；

(3)本发明避免了视频播放的不连续，减少视频显示停顿；

(4)本发明依照丢帧滤波器和视频帧类型进行的丢帧实施既整体保持了丢帧百分比，又保证了丢弃帧的独立性，不对其余帧的解码造成影响，确保视频播放和显示的流畅度。

附图说明

图1为本发明的机顶盒应用场景示意图；

图2为静态丢帧滤波器在视频播放器中的位置；

图3为静态丢帧滤波器的确定过程；

图4为本发明的视频播放中的静态丢帧方法中的静态丢帧实施过程的流程图；

图5为本发明的视频播放中的静态丢帧方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的描述。

本发明的视频播放中的静态丢帧方法可应用在如图1所示的场景中。机顶盒通过宽带网络向流媒体服务器发出视频服务请求，流媒体服务器响应该请求，并通过网络向机顶盒发送视频数据，机顶盒接受到视频数据后进行解码，然后送到电视机进行显示。在本场景中，网络带宽能够满足视频流的传送需求，机顶盒的网络接收模块也有足够的能力进行数据接收，但机顶盒的视频解码能力不足，无法满足对视频流的全部数据进行实时解码。本发明的静态丢帧方法正适用于这种视频终端解码能力不足的情况。

为了达到视频流畅播放的效果，在机顶盒的视频播放器中采用本发明提出的静态丢帧方法。所述的静态丢帧方法主要通过静态丢帧滤波器实现，静态丢帧滤波器在视频播放器中的位置如图2所示：压缩视频序列首先通过静态丢帧滤波器进行处理，然后送到视频解码器，得到解码视频序列，解码视频序列经过图形渲染之后形成显示视频序列。

如图5所示，本实施例的静态丢帧方法具体包含以下步骤：

1、预测视频终端的解码能力，利用基准测试码流测试机顶盒的视频播放能力，并把测试码流的视频帧长、视频帧宽、机顶盒全力播放时所达到的帧频分别设为：基准帧长、基准帧宽、基准帧频。视频终端的解码能力可由上述三个参数体现。例如，通过基准码流的测试，本实施例中采用的机顶盒的解码能力参数为：352×288×30，即基准帧长为352，基准帧宽为288，基准帧频为30。

2、对机顶盒接收到的输入视频帧序列进行分析，估计视频帧序列的解码复杂度。通过对视频帧序列的分析，可以知道输入帧长、输入帧宽、输入帧频。例如，本实施例中播放的视频序列的参数为：512×384×25，即输入帧长为512，输入帧宽为384，输入帧频为25。

3、利用步骤1得到的视频终端的解码能力和步骤2得到的视频序列帧的解码复杂度，计算输入序列的目标播放帧频。目标播放帧频的计算如公式(1)所示：

目标播放帧频＝基准帧长×基准帧宽×基准帧频/输入帧长/输入帧宽  (1)

代入本实施例中的各参数，则

目标播放帧频＝352×288×30/512/384＝15.5

4、比较目标播放帧频和输入帧频，判断是否需要进行静态丢帧。在本实施例中，由于目标播放帧频(15.5)小于输入帧频(25)，所以，需要进行静态丢帧。

5、由步骤3得到的目标播放帧频计算丢帧百分比，所述丢帧百分比的计算公式如公式(2)所示：

丢帧百分比＝1-目标播放帧频/输入帧频                           (2)

在本实施例中，丢帧百分比＝1-15.5/25＝38％

6、利用丢帧百分比确定静态丢帧滤波器中的丢帧频率M，M表示每输入M帧需要丢弃一帧。为了便于丢帧的实施，M必须取整数，并且应当同时满足公式(3)和公式(4)：

|丢帧百分比×M-1|＜|丢帧百分比×(M-1)-1|                      (3)

|丢帧百分比×M-1|＜＝|丢帧百分比×(M+1)-1|                    (4)

M值的确定可以采用枚举法，从数值1开始，把数值从1到(输入帧频-1)逐个代入上面的式子，遇到满足式(3)和(4)的数值或者数值为(输入帧频-1)时停止，并把该值确定为M。

在本实施例中，把丢帧百分比(38％)代入(3)(4)，并利用上述枚举法可求得满足的M值为3。

7、设置一个计数器，该计数器的初值为0，计数器的值随着视频帧的输入而增加。

8、将计数器的值与本实施例中的M值3进行比较，如图4所示，分三种情况：

1)、若计数器的值小于3，则不丢弃输入帧，直接把输入视频帧发送到解码器中进行解码；

2)、若计数器的值等于3，则判断输入帧的类型，若输入帧为B帧，则丢弃该帧，并把计数器的值清零，若为I帧或P帧，则不丢弃该帧，并将计数器的加一；

3)、若计数器的值大于3，判断输入帧的类型，若输入帧为B帧，则丢弃该帧，并把计数器的值置为计数器的值与M的差值，若为I帧或P帧，则不丢弃该帧，并将计数器的加一。

Claims (4)

1、一种视频播放中的静态丢帧方法，包括以下步骤：

1)、利用基准测试码流预测视频终端的视频解码能力，得到基准帧长、基准帧宽、基准帧频三个参数；

2)、对视频终端所接收的输入视频帧序列进行分析，估计视频帧序列的解码复杂度，得到输入帧长、输入帧宽、输入帧频三个参数；

3)、根据步骤1)得到的视频解码能力和步骤2)得到的视频帧序列的解码复杂度，计算目标播放帧频；

4)、比较目标播放帧频和输入帧频，判断是否需要进行静态丢帧，若输入帧频大于目标播放帧频，则做静态丢帧操作，执行下一步，否则，结束操作；

5)、根据步骤3)得到的目标播放帧频计算丢帧百分比；

6)、利用丢帧百分比确定视频终端中的静态丢帧滤波器中的丢帧频率M；

7)、在视频终端设置一个计数器，该计数器的初始值为0；

8)、视频终端接收视频帧序列，并将所述计数器的值与所述静态丢帧滤波器中的丢帧频率M做比较；

若计数器的值小于M，则不丢弃当前的输入帧，直接把输入视频帧发送到解码器中进行解码；

若计数器的值等于M，则判断当前输入帧的类型，若输入帧为B帧，则丢弃该帧，并把计数器的值清零，若为I帧或P帧，则不丢弃该帧，并将计数器的加一；

若计数器的值大于M，判断输入帧的类型，若输入帧为B帧，则丢弃该帧，并把计数器的值置为计数器的值与M的差值，若为I帧或P帧，则不丢弃该帧，并将计数器的加一。

2、根据权利要求1中所述的视频播放中的静态丢帧方法，其特征在于，在所述的步骤3)中，所述的目标播放帧频的计算为：

目标播放帧频＝基准帧长×基准帧宽×基准帧频/输入帧长/输入帧宽。

3、根据权利要求2中所述的视频播放中的静态丢帧方法，其特征在于，在所述的步骤5)中，所述的丢帧百分比的计算为：

丢帧百分比＝1-目标播放帧频/输入帧频。

4、根据权利要求3中所述的视频播放中的静态丢帧方法，其特征在于，在所述的步骤6)中，所述的丢帧频率M取整数，并且应当同时满足公式：

|丢帧百分比×M-1|＜|丢帧百分比×(M-1)-1|

|丢帧百分比×M-1|＜＝|丢帧百分比×(M+1)-1|。

Images