CN104254018B - 多媒体播放中的视频帧处理方法和装置 - Google Patents

Abstract

本发明提供了一种多媒体播放中的视频帧处理方法和装置。所述方法包括：获取平台硬件性能信息和多媒体文件信息；根据所述平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率；获取所述多媒体文件的视频帧率；根据所述实际显示动态帧率和获取的视频帧率丢弃视频帧，以得到与所述实际显示动态帧率相符的视频帧序列。所述装置包括：包括：信息获取模块、动态运算模块、视频帧率获取模块和序列生成模块。采用本发明能保证多媒体文件在硬件处理性能不足的平台中得到较佳播放效果。

Description

多媒体播放中的视频帧处理方法和装置

技术领域

本发明涉及计算机应用技术，特别是涉及一种多媒体播放中的视频帧处理方法和装置。

背景技术

随着移动设备的普及与发展，人们对资讯、娱乐以及社交沟通已不再仅仅满足于文字信息，而是延伸到了语音、视频等各种多媒体领域。在对多媒体文件进行播放的过程中，由于所在的平台硬件性能千差万别以及多媒体文件的多样性，同一媒体文件在不同平台上的播放效果也不尽相同，因此也导致了多媒体文件在硬件处理性能较低的平台上的播放效果不尽人意。

在对多媒体文件进行播放的平台硬件处理性能不足的情况下，所做的处理不外乎两种：（1）暂停音频播放，等待视频时间戳与音频时间戳一致时重新启动音频的播放；（2）连续播放音频，当视频比音频延后一定时间后，直接丢弃一段视频数据。

但是，这两种处理方式将使得多媒体文件在硬件处理性能不足的平台中播放时存在着播放效果不佳的缺陷。

发明内容

基于此，有必要针对多媒体文件在硬件处理性能不足的平台中播放时存在的播放效果不佳的技术问题，提供一种保证多媒体文件在硬件处理性能不足的平台中得到较佳播放效果的多媒体播放中的视频帧处理方法。

此外，还有必要提供一种保证多媒体文件在硬件处理性能不足的平台中得到较佳播放效果的多媒体播放中的视频帧处理装置。

一种多媒体播放中的视频帧处理方法，包括如下步骤：

获取平台硬件性能信息和多媒体文件信息；

根据所述平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率；

获取所述多媒体文件的视频帧率；

根据所述实际显示动态帧率和获取的视频帧率丢弃视频帧，以得到与所述实际显示动态帧率相符的视频帧序列。

在其中一个实施例中，所述根据所述平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率的步骤包括：

根据所述平台硬件性能信息和多媒体文件信息设定初始处理帧率；

随着多媒体文件的播放获取播放视频帧所需时间和当前播放的帧数，根据所述播放视频帧所需时间和当前播放的帧数统计所述多媒体文件播放时的平均帧率；

由所述平均帧率和初始处理帧率运算得到与所述平台硬件性能信息和多媒体文件信息相匹配的实际显示动态帧率。

在其中一个实施例中，所述根据所述实际显示动态帧率和获取的视频帧率丢弃视频帧，以得到与所述实际显示动态帧率相符的视频帧序列的步骤包括：

求取所述实际显示动态帧率和获取的视频帧率之间互为质数的对应数值，即实际显示动态帧率所对应的第一数值和视频帧率所对应的第二数值；

根据所述第一数值和第二数值得到丢弃帧数，并判断所述第一数值是否小于丢弃帧数，若为否，则

根据所述第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列；

若为是，则将第一数值和丢弃帧数进行数值对调，并返回所述根据所述第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列的步骤；

将所述得到的视频帧序列中标记为丢弃的视频帧调换为播放处理的视频帧，将标记为播放处理的视频帧调换为丢弃的视频帧。

在其中一个实施例中，所述根据所述第一数值和第二数值得到丢弃帧数，根据所述第一数值和丢弃帧数在初始视频帧序列中得到丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列的步骤包括：

由所述第一数值和丢弃帧数计算得到与实际显示动态帧率相对应的视频帧块数量以及视频帧块中拥有的视频帧数量；

在所述初始视频帧序列中按照所述视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列，所述被丢弃的视频帧是平均分布于所述初始视频帧序列中的。

在其中一个实施例中，所述在所述初始视频帧序列中按照所述视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列的步骤包括：

根据所述视频帧块数量划分初始视频帧序列以得到若干个视频帧块；

按照所述视频帧块中拥有的视频帧数量逐一在每一视频帧块中标记将进行播放处理的视频帧，并将所述视频帧块中未标记播放处理的视频帧标记为丢弃，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

一种多媒体播放中的视频帧处理装置，包括：

信息获取模块，用于获取平台硬件性能信息和多媒体文件信息；

动态运算模块，用于根据所述平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率；

视频帧率获取模块，用于获取所述多媒体文件的视频帧率；

序列生成模块，用于根据所述实际显示动态帧率和获取的视频帧率丢弃视频帧，以得到与所述实际显示动态帧率相符的视频帧序列。

在其中一个实施例中，所述动态运算模块包括：

初始设定单元，用于根据所述平台硬件性能信息和多媒体文件信息设定初始处理帧率；

统计单元，用于随着多媒体文件的播放获取播放视频帧所需时间和当前播放的帧数，根据所述播放视频帧所需时间和当前播放的帧数统计所述多媒体文件播放时的平均帧率；

实际显示动态帧率运算单元，用于由所述平均帧率和初始处理帧率运算得到与所述平台硬件性能信息和多媒体文件信息相匹配的实际显示动态帧率。

在其中一个实施例中，所述序列生成模块包括：

数值求取单元，用于求取所述实际显示动态帧率和获取的视频帧率之间互为质数的对应数值，即实际显示动态帧率所对应的第一数值和视频帧率所对应的第二数值；

判断单元，用于根据所述第一数值和第二数值得到丢弃帧数，并判断所述第一数值是否小于丢弃帧数，若为否，则通知选取单元，若为是，则通知数值对调单元；

所述选取单元用于根据所述第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列；

所述数值对调单元用于将第一数值和丢弃帧数进行数值对调，并通知所述选取单元；

调换单元，用于将所述得到的视频帧序列中标记为丢弃的视频帧调换为播放处理的视频帧，将标记为播放处理的视频帧调换为丢弃的视频帧。

在其中一个实施例中，所述选取单元包括：

视频帧块运算单元，用于由所述第一数值和丢弃帧数计算得到与实际显示动态帧率相对应的视频帧块数量以及视频帧块中拥有的视频帧数量；

初始序列处理单元，用于在所述初始视频帧序列中按照所述视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列，所述被丢弃的视频帧是平均分布于所述初始视频帧序列中的。

在其中一个实施例中，所述初始序列处理单元包括：

划分子单元，用于根据所述视频帧块数量划分初始视频帧序列以得到若干个视频帧块；

标记子单元，用于按照所述视频帧块中拥有的视频帧数量逐一在每一视频帧块中标记将进行播放处理的视频帧，并将所述视频帧块中未标记播放处理的视频帧标记为丢弃，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

上述多媒体播放中的视频帧处理方法和装置，在进行多媒体文件播放时将获取平台硬件性能信息和多媒体文件信息，以根据平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率，获取播放的多媒体文件所对应的视频帧率，根据实际显示动态帧率和获取的视频帧率丢弃视频帧，得到与实际显示动态帧率相符的视频帧序列，进而使视频帧序列是与当前所在平台的硬件性能相适应的，因此即便在平台的硬件处理性能不足的情况下仍然能够得到较佳的播放效果。

附图说明

图1为一个实施例中多媒体播放中的视频帧处理方法的流程图；

图2为图1中根据平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率的方法流程图；

图3为图1中根据实际显示动态帧率和获取的视频帧率丢弃视频帧，以得到与实际显示动态帧率相符的视频帧序列的方法流程图；

图4为图3中根据第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列的方法流程图；

图5为图4中在初始视频帧序列中按照视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列，被丢弃的视频帧是平均分布于初始视频帧序列中的的方法流程图；

图6为一个实施例中多媒体文件播放中的视频帧处理装置的结构示意图；

图7为图6中动态运算模块的结构示意图；

图8为图6中序列生成模块的结构示意图；

图9为图8中选取单元的结构示意图；

图10为图9中初始序列处理单元的结构示意图。

具体实施方式

如图1所示，在一个实施例中，一种多媒体播放中的视频帧处理方法，包括如下步骤：

步骤S10，获取平台硬件性能信息和多媒体文件信息。

本实施例中，平台硬件性能信息指的是当前进行多媒体文件播放的平台所对应的硬件性能情况，例如，平台硬件性能信息可以是CPU（Central Processing Unit，中央处理器）处理性能信息，即CPU主频。多媒体文件信息则是当前所播放的多媒体文件对应的相关信息，例如，视频帧率、分辨率和编码格式等。

步骤S30，根据平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率。

本实施例中，多媒体文件的播放将包括了视频帧的播放和音频帧的播放，而视频帧的播放将占据了平台中硬件的绝大部分处理能力，因此将根据对视频帧的处理情况来动态评估平台的处理能力。

实际显示动态帧率为平台中适应其硬件性能播放多媒体文件所对应的帧率，是区别于多媒体文件中设定的视频帧率的，例如，在平台硬件性能较差的情况下，实际显示动态帧率将小于多媒体文件中设定的视频帧率；而在平台硬件性能较佳的情况下，实际显示动态帧率将等于多媒体文件中设定的视频帧率。

具体的，随着多媒体文件的播放，将根据平台硬件性能信息和多媒体文件信息对实际显示动态帧率进行动态调整，以得到与当前的平台硬件性能相匹配的实际显示动态帧率，进而为多媒体文件在各种硬件性能的平台中播放的较佳视觉效果和流畅性提供了前提条件。

步骤S50，获取多媒体文件的视频帧率。

本实施例中，多媒体文件的视频帧率为多媒体文件本身所固有的属性，是产生多媒体文件时设定的。

步骤S70，根据实际显示动态帧率和获取的视频帧率丢弃视频帧，以得到与实际显示动态帧率相符的视频帧序列。

本实施例中，以实际显示动态帧率和由多媒体文件获取的视频帧率为依据，对多媒体文件中的初始视频帧序列进行筛选，以确定初始视频帧序列中进行播放的视频帧和丢弃的视频帧，进而在单位时间的多媒体文件播放过程中通过不完全播放初始视频帧序列中的视频帧来满足当前进行动态调整所得到的实际显示动态帧率，以适应所在平台的硬件性能。

在得到与实际显示动态帧率相符的视频帧序列之后，将对视频帧序列中确定进行播放的视频帧顺次播放，使得多媒体文件的播放能够动态适应各种不同硬件性能的平台，避免了平台播放多媒体文件时出现音频和视频时间戳不一致的情况发生，极大地提高了平台播放多媒体文件的视觉效果和流畅性。

如图2所示，在一个实施例中，上述步骤S30包括：

步骤S310，根据平台硬件性能信息和多媒体文件信息设定初始处理帧率。

本实施例中，在开始播放多媒体文件之前，将根据平台硬件性能信息和多媒体文件信息设置初始处理帧率，平台将以设置的初始处理帧率启动多媒体文件的播放，也就是说，在对多媒体文件的播放帧率，即实际显示动态帧率进行动态调整之前，所进行的初始值设置也是以平台硬件性能信息和多媒体文件信息为依据的，极大的保证了实际显示动态帧率进行动态调整的准确性。

具体的，根据当前平台硬件性能以及多媒体文件的情况，当CPU主频小于500M时，设定初始处理帧率为12；CPU主频大于500M且小于1G，并且多媒体文件中视频编码格式为AVC时，设定初始处理帧率为14；其它情况下将设定初始处理帧率为16。

步骤S330，随着多媒体文件的播放获取播放视频帧所需时间和当前播放的帧数，根据播放视频帧所需时间和当前播放的帧数统计多媒体文件播放时的平均帧率。

本实施例中，多媒体文件由设定的初始处理帧率启动播放，并且随着多媒体文件的播放将不断进行播放过程中平均帧率的动态统计，以得到每一初始视频帧序列的选帧操作所需要的平均帧率。

在多媒体文件的播放过程中，将获取播放每一视频帧所需要的时间，即播放视频帧所需时间，以及当前所播放的帧数，以根据播放视频帧所需时间和当前播放的帧数不断进行平均帧率的动态统计，该平均帧率即为平台当前所能处理的视频帧对应的帧率平均值。

具体的，定义动态统计所得到的平均帧率为Fr_n，则所进行的平均帧率动态统计可通过如下公式实现，即：

Fr_n=(1000*∑Dt_n)/Fc_n

其中，Dt_n为处理第n帧时所需要时间，Fc_n为当前处理视频帧的帧数。

步骤S350，由平均帧率和初始处理帧率运算得到与平台硬件性能信息和多媒体文件信息相匹配的实际显示动态帧率。

本实施例中，以根据平台硬件性能信息和多媒体文件信息设定的初始处理帧率作为运算的初始值，并根据动态统计所得到的平均帧率进行实际显示动态帧率的计算。

具体的，实际显示动态帧率的计算将通过如下公式实现，即：

F_delta=Fr_n-Fr，Fr+=F_delta/2

其中，Fr的初始值为初始处理帧率，Fr_n为动态统计所得到的平均帧率，Fr+F_delta/2的值即为当前的实际显示动态帧率。

通过如上所述的动态评估过程得到与当前平台的硬件性能相适应的实际显示动态帧率，进而使得多媒体文件播放过程中所得到的实际显示动态帧率均是与当前平台的硬件性能相适应的。

如图3所示，在一个实施例中，上述步骤S70包括：

步骤S710，求取实际显示动态帧率和获取的视频帧率之间互为质数的对应数值，即实际显示动态帧率所对应的第一数值和视频帧率所对应的第二数值。

本实施例中，在依据实际显示动态帧率所进行的视频帧筛选过程中，将求取实际显示动态帧率和获取的视频帧率的质数，以将初始视频帧序列中视频帧的筛选问题演变为从视频帧率所对应的第二数值个视频帧中平均选择实际显示动态帧率所对应的第一数值的视频帧的过程。

其中，第一数值和第二数值互为质数，为求取第一数值和第二数值，将根据从多媒体文件中获取到的视频帧率和实际显示动态帧率计算其最大公约数，即Fr_g=GCD(Fr_m,Fr)，其中，Fr_m为获取到的视频帧率，Fr为实际显示动态帧率。

然后分别计算出实际显示动态帧率所对应的第一数值Fr_y和视频帧率所对应的第二数值Fr_x，即Fr_y=Fr/Fr_g，Fr_x=Fr_m/Fr_g。

通过第一数值和第二数值的计算，将使得视频帧在初始视频帧序列中的筛选被划分成Fr_g次进行，例如，若从多媒体文件中获取得到的视频帧率为16，实际显示动态帧率为12，则计算得到Fg=4，Frx=4，Fry=3，即视频帧的筛选变为从初始视频帧序列中划分为4次进行，从每4帧中选取3帧进行播放，且每秒执行4次这样的选帧操作，余下的1帧则为丢弃的视频帧，进而将丢帧产生的视频画面抖动在每秒内平均到4次操作中。

步骤S730，根据第一数值和第二数值得到丢弃帧数，并判断第一数值是否小于丢弃帧数，若为否，则进入步骤S750，若为是，则进入步骤S770。

本实施例中，由第一数据值和第二数值之间的差值得到丢弃帧数，即Fr_dis=Fr_x-Fr_y，其中，Fr_dis为丢弃帧数，Fr_y为第一数值，Fr_x为第二数值，将对第一数值和丢弃帧数之间的大小关系进行判断，若判断到第一数值并不小于丢弃帧数，即第一数值大于或者等于丢弃帧数，则直接进行初始视频帧序列中的选帧操作，若判断到第一数值小于丢弃帧数，则需要对第一数值和丢弃帧数进行数值对调处理。

步骤S750，根据第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

本实施例中，在判断到第一数值不小于丢弃帧数时，将根据第一数值和丢弃帧数在初始视频帧序列中进行视频帧的处理，其中，当前所进行视频帧处理的初始视频帧序列将是由一秒钟内播放的视频帧组成的，也就是说，播放的多媒体文件包括了若干个初始视频帧序列，一初始视频帧序列即为播放多媒体文件的过程中某一秒所播放的内容。

步骤S770，将第一数值和丢弃帧数进行数值对调，并进入步骤S750。

本实施例中，若判断到第一数值小于丢弃帧数，则需要将第一数值和丢弃帧数所对应的数值进行对调，然后再通过步骤S750对初始视频帧序列进行视频帧的选取，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

步骤S790，将得到的视频帧序列中标记为丢弃的视频帧调换为播放处理的视频帧，将标记为播放处理的视频帧调换为丢弃的视频帧。

本实施例中，由于判断到第一数值小于丢弃帧数而对第一数值和丢弃帧数进行了数值上的对调，因此，在得到标记了播放处理的视频帧和标记了丢弃的视频帧的视频帧序列之后，需要将得到的视频帧序列中标记为丢弃的视频帧标记为播放处理，将标记为播放处理的视频帧标记为丢弃，然后再对这一视频帧中标记为播放处理的视频帧进行顺次播放。

如图4所示，在一个实施例中，上述步骤S750包括：

步骤S751，由第一数值和丢弃帧数计算得到与实际显示动态帧率相对应的视频帧块数量以及视频帧块中拥有的视频帧数量。

本实施例中，视频帧块数量即为丢弃帧数Fr_dis，计算第一数值和丢弃帧数之间的倍数x和余数y，即=Fr_y/Fr_dis,y=Fr_y%Fr_dis，也就是说，Fr_y=x*Fr_dis+y，且y<Fr_dis。

通过如上所述的计算，将要处理的初始视频帧序列划分为Fr_dis块，每块包含了x帧视频帧，且最后余下y帧视频帧需要进行处理。

步骤S753，在初始视频帧序列中按照视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列，被丢弃的视频帧是平均分布于初始视频帧序列中的。

本实施例中，在划分的每一视频帧块中，将与视频帧块中拥有的视频帧数量个视频帧标记为播放处理，然后将视频帧块中余下的视频帧标记为丢弃，即视频帧块中每标记x帧视频帧为播放处理时才能选择丢弃一帧。

对初始视频帧序列循环处理Fr_dis次，以使得需要丢弃视频帧的帧序列处理完毕，且被丢弃的视频帧是平均分布于视频帧块中的。

完成x*Fr_dis帧视频帧的播放处理标记和丢弃标记之后，还需对y帧进行处理，以完成整个初始视频帧块的选帧操作。

此时，相当于在Fr_dis个帧序列中，需要处理y帧，丢弃(Fr_dis-y)帧,此时令Fr_y=y，Fr_dis=Fr_dis-y，如果Fr_y>=Fr_dis，则通过步骤S750，即步骤S751至步骤S753进行处理，直至y=1。

在执行至y=1时，说明仅剩下最后一帧视频帧需要进行处理，因此，只需要将序列中最后一帧视频帧标记为播放处理即可。

如图5所示，在一个实施例中，上述步骤S753的具体过程为：

步骤S7531，根据视频帧数量划分初始视频帧序列以得到若干个视频帧块。

本实施例中，按照计算得到的视频帧数量将初始视频帧序列划分为若干个视频帧块。

步骤S7533，按照视频帧块中拥有的视频帧数量逐一在每一视频帧块中标记将进行播放处理的视频帧，并将视频帧块中未标记播放处理的视频帧标记为丢弃，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

本实施例中，在每一视频帧块中对视频帧进行顺次标记，以标记与计算得到的视频帧块中拥有的视频帧数量相一致的视频帧，余下的未标记的视频帧即被标记为丢弃，进而得到了播放于当前平台的视频帧序列，该视频帧序列所进行的播放将是对标记为播放处理的视频帧的顺序播放。

此外，在实际的初始视频帧序列的选帧操作中，也可不进行预先进行视频帧块的划分，而是在初始视频帧序列中顺次按照视频帧块中拥有的视频帧数量标记视频帧为播放处理，然后将下一视频帧标记为丢弃，如此循环处理，直至执行与视频帧数量相一致的次数。

进一步的，可将进行播放处理的视频帧标记为1，将丢弃的视频帧标记为0，进而根据视频帧序列中的1和0的标记即可获知所播放的视频帧，以进行视频帧的播放。

例如，若Fr_x=11，Fr_y=7，Fr_dis=4，则所得到的视频帧序列的标记为：

1

1

0

1

1

0

1

1

0

1

0

若Fr_y=7，Fr_dis=18，则所得到的视频帧序列的标记为：

0

0

0

1

0

0

1

0

0

0

1

0

0

1

0

0

0

1

0

0

1

0

0

0

1

上述多媒体播放中的视频帧处理方法将是在平台本地实现，也就是说，通过如上所述的多媒体播放中的视频处理方法将使得各种硬件性能的平台，例如各种移动设备或者终端设备均可进行多媒体文件的顺畅、平滑播放。

如图6所示，在一个实施例中，一种多媒体播放中的视频帧处理装置，包括信息获取模块10、动态运算模块30、视频帧率获取模块50和序列生成模块70。

信息获取模块10，用于获取平台硬件性能信息和多媒体文件信息。

本实施例中，平台硬件性能信息指的是当前进行多媒体文件播放的平台所对应的硬件性能情况，例如，平台硬件性能信息可以是CPU处理性能信息，即CPU主频。多媒体文件信息则是当前所播放的多媒体文件对应的相关信息，例如，视频帧率、分辨率和编码格式等。

动态运算模块30，用于根据平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率。

本实施例中，多媒体文件的播放将包括了视频帧的播放和音频帧的播放，而视频帧的播放将占据了平台中硬件的绝大部分处理能力，因此动态运算模块30将根据对视频帧的处理情况来动态评估平台的处理能力。

实际显示动态帧率为平台中适应其硬件性能播放多媒体文件所对应的帧率，是区别于多媒体文件中设定的视频帧率的，例如，在平台硬件性能较差的情况下，实际显示动态帧率将小于多媒体文件中设定的视频帧率；而在平台硬件性能较佳的情况下，实际显示动态帧率将等于多媒体文件中设定的视频帧率。

具体的，随着多媒体文件的播放，动态运算模块30将根据平台硬件性能信息和多媒体文件信息对实际显示动态帧率进行动态调整，以得到与当前的平台硬件性能相匹配的实际显示动态帧率，进而为多媒体文件在各种硬件性能的平台中播放的较佳视觉效果和流畅性提供了前提条件。

视频帧率获取模块50，用于获取多媒体文件的视频帧率。

本实施例中，多媒体文件的视频帧率为多媒体文件本身所固有的属性，是产生多媒体文件时设定的。

序列生成模块70，用于根据实际显示动态帧率和获取的视频帧率丢弃视频帧，以得到与实际显示动态帧率相符的视频帧序列。

本实施例中，序列生成模块70以实际显示动态帧率和由多媒体文件获取的视频帧率为依据，对多媒体文件中的初始视频帧序列进行筛选，以确定初始视频帧序列中进行播放的视频帧和丢弃的视频帧，进而在单位时间的多媒体文件播放过程中通过不完全播放初始视频帧序列中的视频帧来满足当前进行动态调整所得到的实际显示动态帧率，以适应所在平台的硬件性能。

在得到与实际显示动态帧率相符的视频帧序列之后，将对视频帧序列中确定进行播放的视频帧顺次播放，使得多媒体文件的播放能够动态适应各种不同硬件性能的平台，避免了平台播放多媒体文件时出现音频和视频时间戳不一致的情况发生，极大地提高了平台播放多媒体文件的视觉效果和流畅性。

如图7所示，在一个实施例中，上述动态运算模块30包括初始设定单元310、统计单元330和实际显示动态帧率运算单元350。

初始设定单元310，用于根据平台硬件性能信息和多媒体文件信息设定初始处理帧率。

本实施例中，在开始播放多媒体文件之前，初始设定单元310将根据平台硬件性能信息和多媒体文件信息设置初始处理帧率，平台将以设置的初始处理帧率启动多媒体文件的播放，也就是说，在对多媒体文件的播放帧率，即实际显示动态帧率进行动态调整之前，初始设定单元310所进行的初始值设置也是以平台硬件性能信息和多媒体文件信息为依据的，极大的保证了实际显示动态帧率进行动态调整的准确性。

具体的，初始设定单元310根据当前平台硬件性能以及多媒体文件的情况，当CPU主频小于500M时，设定初始处理帧率为12；CPU主频大于500M且小于1G，并且多媒体文件中视频编码格式为AVC时，设定初始处理帧率为14；其它情况下将设定初始处理帧率为16。

统计单元330，用于随着多媒体文件的播放获取播放视频帧所需时间和当前播放的帧数，根据播放视频帧所需时间和当前播放的帧数统计多媒体文件播放时的平均帧率。

本实施例中，多媒体文件由设定的初始处理帧率启动播放，并且统计单元330随着多媒体文件的播放将不断进行播放过程中平均帧率的动态统计，以得到每一初始视频帧序列的选帧操作所需要的平均帧率。

在多媒体文件的播放过程中，统计单元330将获取播放每一视频帧所需要的时间，即播放视频帧所需时间，以及当前所播放的帧数，以根据播放视频帧所需时间和当前播放的帧数不断进行平均帧率的动态统计，该平均帧率即为平台当前所能处理的视频帧对应的帧率平均值。

具体的，定义动态统计所得到的平均帧率为Fr_n，则统计单元330所进行的平均帧率动态统计可通过如下公式实现，即：

Fr_n=(1000*∑Dt_n)/Fc_n

其中，Dt_n为处理第n帧时所需要时间，Fc_n为当前处理视频帧的帧数。

实际显示动态帧率运算单元350，用于由平均帧率和初始处理帧率运算得到与平台硬件性能信息和多媒体文件信息相匹配的实际显示动态帧率。

本实施例中，实际显示动态帧率运算单元350以根据平台硬件性能信息和多媒体文件信息设定的初始处理帧率作为运算的初始值，并根据动态统计所得到的平均帧率进行实际显示动态帧率的计算。

具体的，实际显示动态帧率的计算将通过如下公式实现，即：

F_delta=Fr_n-Fr，Fr+=F_delta/2

其中，Fr的初始值为初始处理帧率，Fr_n为动态统计所得到的平均帧率，Fr+F_delta/2的值即为当前的实际显示动态帧率。

通过如上所述的动态评估过程得到与当前平台的硬件性能相适应的实际显示动态帧率，进而使得多媒体文件播放过程中所得到的实际显示动态帧率均是与当前平台的硬件性能相适应的。

如图8所示，在一个实施例中，上述序列生成模块70包括数值求取单元710、判断单元730、选取单元750、数值对调单元770和调换单元790。

数值求取单元710，用于求取实际显示动态帧率和获取的视频帧率之间互为质数的对应数值，即实际显示动态帧率所对应的第一数值和视频帧率所对应的第二数值。

本实施例中，在依据实际显示动态帧率所进行的视频帧筛选过程中，数值求取单元710将求取实际显示动态帧率和获取的视频帧率的质数，以将初始视频帧序列中视频帧的筛选问题演变为从视频帧率所对应的第二数值个视频帧中平均选择实际显示动态帧率所对应的第一数值的视频帧的过程。

其中，第一数值和第二数值互为质数，为求取第一数值和第二数值，数值求取单元710将根据从多媒体文件中获取到的视频帧率和实际显示动态帧率计算其最大公约数，即Fr_g=GCD(Fr_m,Fr)，其中，Fr_m为获取到的视频帧率，Fr为实际显示动态帧率。

然后分别计算出实际显示动态帧率所对应的第一数值Fr_y和视频帧率所对应的第二数值Fr_x，即Fr_y=Fr/Fr_g，Fr_x=Fr_m/Fr_g。

通过第一数值和第二数值的计算，将使得视频帧在初始视频帧序列中的筛选被划分成Fr_g次进行，例如，若从多媒体文件中获取得到的视频帧率为16，实际显示动态帧率为12，则计算得到Fg=4，Frx=4，Fry=3，即视频帧的筛选变为从初始视频帧序列中划分为4次进行，从每4帧中选取3帧进行播放，且每秒执行4次这样的选帧操作，余下的1帧则为丢弃的视频帧，进而将丢帧产生的视频画面抖动在每秒内平均到4次操作中。

判断单元730，用于根据第一数值和第二数值得到丢弃帧数，并判断第一数值是否小于丢弃帧数，若为否，则通知选取单元750，若为是，则通知数值对调单元770。

本实施例中，判断单元730由第一数据值和第二数值之间的差值得到丢弃帧数，即Fr_dis=Fr_x-Fr_y，其中，Fr_dis为丢弃帧数，Fr_y为第一数值，Fr_x为第二数值，将对第一数值和丢弃帧数之间的大小关系进行判断，若判断单元730判断到第一数值并不小于丢弃帧数，即第一数值大于或者等于丢弃帧数，则通知选取单元750直接进行初始视频帧序列中的选帧操作，若判断单元730判断到第一数值小于丢弃帧数，则通知数值对调单元770需要对第一数值和丢弃帧数进行数值对调处理。

选取单元750，用于根据第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

本实施例中，在判断到第一数值不小于丢弃帧数时，选取单元750将根据第一数值和丢弃帧数在初始视频帧序列中进行视频帧的处理，其中，当前所进行视频帧处理的初始视频帧序列将是由一秒钟内播放的视频帧组成的，也就是说，播放的多媒体文件包括了若干个初始视频帧序列，一初始视频帧序列即为播放多媒体文件的过程中某一秒所播放的内容。

数值对调单元770，用于将第一数值和丢弃帧数进行数值对调，并通过选取单元750。

本实施例中，若判断到第一数值小于丢弃帧数，则需要数值对调单元770将第一数值和丢弃帧数所对应的数值进行对调，然后再通过步骤S750对初始视频帧序列进行视频帧的选取，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

调换单元790，用于将得到的视频帧序列中标记为丢弃的视频帧调换为播放处理的视频帧，将标记为播放处理的视频帧调换为丢弃的视频帧。

本实施例中，由于判断到第一数值小于丢弃帧数而对第一数值和丢弃帧数进行了数值上的对调，因此，在得到标记了播放处理的视频帧和标记了丢弃的视频帧的视频帧序列之后，需要调换单元790将得到的视频帧序列中标记为丢弃的视频帧标记为播放处理，将标记为播放处理的视频帧标记为丢弃，然后再对这一视频帧中标记为播放处理的视频帧进行顺次播放。

如图9所示，在一个实施例中，上述选取单元750包括视频帧块运算单元751和初始序列处理单元753。

视频帧块运算单元751，用于由第一数值和丢弃帧数计算得到与实际显示动态帧率相对应的视频帧块数量以及视频帧块中拥有的视频帧数量。

本实施例中，视频帧块数量即为丢弃帧数Fr_dis，视频帧块运算单元751计算第一数值和丢弃帧数之间的倍数x和余数y，即=Fr_y/Fr_dis,y=Fr_y%Fr_dis，也就是说，Fr_y=x*Fr_dis+y，且y<Fr_dis。

通过如上所述的计算，视频帧块运算单元751将要处理的初始视频帧序列划分为Fr_dis块，每块包含了x帧视频帧，且最后余下y帧视频帧需要进行处理。

初始序列处理单元753，用于在初始视频帧序列中按照视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列，被丢弃的视频帧是平均分布于初始视频帧序列中的。

本实施例中，在划分的每一视频帧块中，初始序列处理单元753将与视频帧块中拥有的视频帧数量个视频帧标记为播放处理，然后将视频帧块中余下的视频帧标记为丢弃，即视频帧块中每标记x帧视频帧为播放处理时才能选择丢弃一帧。

初始序列处理单元753对初始视频帧序列循环处理Fr_dis次，以使得需要丢弃视频帧的帧序列处理完毕，且被丢弃的视频帧是平均分布于视频帧块中的。

完成x*Fr_dis帧视频帧的播放处理标记和丢弃标记之后，还需对y帧进行处理，以完成整个初始视频帧块的选帧操作。

此时，相当于在Fr_dis个帧序列中，需要处理y帧，丢弃(Fr_dis-y)帧,此时令Fr_y=y，Fr_dis=Fr_dis-y，如果Fr_y>=Fr_dis，则通过步骤S750，即步骤S751至步骤S753进行处理，直至y=1。

在执行至y=1时，说明仅剩下最后一帧视频帧需要进行处理，因此，只需要将序列中最后一帧视频帧标记为播放处理即可。

如图10所示，在一个实施例中，上述初始序列处理单元753包括划分子单元7531和标记子单元7533。

划分子单元7531，用于根据视频帧块数量划分初始视频帧序列以得到若干个视频帧块。

本实施例中，划分子单元7531按照计算得到的视频帧数量将初始视频帧序列划分为若干个视频帧块。

标记子单元7533，用于按照视频帧块中拥有的视频帧数量逐一在每一视频帧块中标记将进行播放处理的视频帧，并将视频帧块中未标记播放处理的视频帧标记为丢弃，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

本实施例中，标记子单元7533在每一视频帧块中对视频帧进行顺次标记，以标记与计算得到的视频帧块中拥有的视频帧数量相一致的视频帧，余下的未标记的视频帧即被标记为丢弃，进而得到了播放于当前平台的视频帧序列，该视频帧序列所进行的播放将是对标记为播放处理的视频帧的顺序播放。

此外，在实际的初始视频帧序列的选帧操作中，也可不进行预先进行视频帧块的划分，而是在初始视频帧序列中顺次按照视频帧块中拥有的视频帧数量标记视频帧为播放处理，然后将下一视频帧标记为丢弃，如此循环处理，直至执行与视频帧数量相一致的次数。

进一步的，可将进行播放处理的视频帧标记为1，将丢弃的视频帧标记为0，进而根据视频帧序列中的1和0的标记即可获知所播放的视频帧，以进行视频帧的播放。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种多媒体播放中的视频帧处理方法，包括如下步骤：

获取平台硬件性能信息和多媒体文件信息；

根据所述平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率；

获取所述多媒体文件的视频帧率；

根据所述实际显示动态帧率和获取的视频帧率对多媒体文件中的初始视频帧序列进行筛选，丢弃视频帧，以得到与所述实际显示动态帧率相符的视频帧序列，包括：

求取所述实际显示动态帧率和获取的视频帧率之间互为质数的对应数值，即实际显示动态帧率所对应的第一数值和视频帧率所对应的第二数值；

根据所述第一数值和第二数值得到丢弃帧数，并判断所述第一数值是否小于丢弃帧数，若为否，则

根据所述第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列；

若为是，则将第一数值和丢弃帧数进行数值对调，并返回所述根据所述第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列的步骤；

将所述得到的视频帧序列中标记为丢弃的视频帧调换为播放处理的视频帧，将标记为播放处理的视频帧调换为丢弃的视频帧。

2.根据权利要求1所述的方法，其特征在于，所述根据所述平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率的步骤包括：

根据所述平台硬件性能信息和多媒体文件信息设定初始处理帧率；

随着多媒体文件的播放获取播放视频帧所需时间和当前播放的帧数，根据所述播放视频帧所需时间和当前播放的帧数统计所述多媒体文件播放时的平均帧率；

由所述平均帧率和初始处理帧率运算得到与所述平台硬件性能信息和多媒体文件信息相匹配的实际显示动态帧率。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一数值和第二数值得到丢弃帧数，根据所述第一数值和丢弃帧数在初始视频帧序列中得到丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列的步骤包括：

由所述第一数值和丢弃帧数计算得到与实际显示动态帧率相对应的视频帧块数量以及视频帧块中拥有的视频帧数量；

在所述初始视频帧序列中依据所述视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列，所述丢弃的视频帧是平均分布于所述初始视频帧序列中的。

4.根据权利要求3所述的方法，其特征在于，所述在所述初始视频帧序列中按照所述视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列的步骤包括：

根据所述视频帧块数量划分初始视频帧序列以得到若干个视频帧块；

按照所述视频帧块中拥有的视频帧数量逐一在每一视频帧块中标记将进行播放处理的视频帧，并将所述视频帧块中未标记播放处理的视频帧标记为丢弃，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。

5.一种多媒体播放中的视频帧处理装置，其特征在于，包括：

信息获取模块，用于获取平台硬件性能信息和多媒体文件信息；

动态运算模块，用于根据所述平台硬件性能信息和多媒体文件信息得到匹配的实际显示动态帧率；

视频帧率获取模块，用于获取所述多媒体文件的视频帧率；

序列生成模块，用于根据所述实际显示动态帧率和获取的视频帧率对多媒体文件中的初始视频帧序列进行筛选，丢弃视频帧，以得到与所述实际显示动态帧率相符的视频帧序列，包括：

数值求取单元，用于求取所述实际显示动态帧率和获取的视频帧率之间互为质数的对应数值，即实际显示动态帧率所对应的第一数值和视频帧率所对应的第二数值；

判断单元，用于根据所述第一数值和第二数值得到丢弃帧数，并判断所述第一数值是否小于丢弃帧数，若为否，则通知选取单元，若为是，则通知数值对调单元；

所述选取单元用于根据所述第一数值和丢弃帧数在初始视频帧序列中选取进行播放处理和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列；

所述数值对调单元用于将第一数值和丢弃帧数进行数值对调，并通知所述选取单元；

调换单元，用于将所述得到的视频帧序列中标记为丢弃的视频帧调换为播放处理的视频帧，将标记为播放处理的视频帧调换为丢弃的视频帧。

6.根据权利要求5所述的装置，其特征在于，所述动态运算模块包括：

初始设定单元，用于根据所述平台硬件性能信息和多媒体文件信息设定初始处理帧率；

统计单元，用于随着多媒体文件的播放获取播放视频帧所需时间和当前播放的帧数，根据所述播放视频帧所需时间和当前播放的帧数统计所述多媒体文件播放时的平均帧率；

实际显示动态帧率运算单元，用于由所述平均帧率和初始处理帧率运算得到与所述平台硬件性能信息和多媒体文件信息相匹配的实际显示动态帧率。

7.根据权利要求5所述的装置，其特征在于，所述选取单元包括：

视频帧块运算单元，用于由所述第一数值和丢弃帧数计算得到与实际显示动态帧率相对应的视频帧块数量以及视频帧块中拥有的视频帧数量；

初始序列处理单元，用于在所述初始视频帧序列中依据所述视频帧块数量、视频帧块中拥有的视频帧数量得到播放过程中处理的视频帧和丢弃的视频帧，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列，所述丢弃的视频帧是平均分布于所述初始视频帧序列中的。

8.根据权利要求7所述的装置，其特征在于，所述初始序列处理单元包括：

划分子单元，用于根据所述视频帧块数量划分初始视频帧序列以得到若干个视频帧块；

标记子单元，用于按照所述视频帧块中拥有的视频帧数量逐一在每一视频帧块中标记将进行播放处理的视频帧，并将所述视频帧块中未标记播放处理的视频帧标记为丢弃，以得到标记了播放处理的视频帧和丢弃的视频帧的视频帧序列。