CN102104775A - 一种帧率调整方法和装置 - Google Patents

Abstract

本发明涉及视频处理领域，特别是关于一种帧率调整和装置，所述方法包括将初始帧作为第一输出帧直接输出；将所述第一输出帧的时间戳作为第一参考帧的时间戳与第一输入帧的时间戳进行比较；若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第一输入帧进行第一跳帧处理并获得第一跳帧长度；若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第一跳帧长度之和，则将所述第一输入帧输出。本发明实施例的有益效果在于，通过将时间下采样和跳帧技术的结合，可以解决现有技术中帧间隔不均匀的问题，使得图像播放连贯。

Description

一种帧率调整方法和装置

技术领域

本发明涉及视频处理领域，特别是关于一种帧率调整方法和装置。

背景技术

在移动电视(Mobile TV)等应用场景中，由于码率较低，通常会采用降帧率技术手段来达到节省码率的目的。视频时间下采样(即降帧率)和跳帧技术是降低帧率的两种有效方法。

虽然，两者都是降低帧率的有效方法，但其意义有明显不同。视频时间下采样是一种固定的帧率转换，与图像内容无关；而跳帧技术是根据图像的运动复杂程度和缓冲区充满度等因素来决定跳帧与否，不是一种固定的帧率转换。一般地，可以认为固定帧率转换适合大幅度降帧率场合，跳帧技术适合对帧率做微调。

视频时间下采样通常有两种做法：一种是简单的抽取帧，另一种是采用帧间插值的方法。然而，两种方法都有明显的缺点，前一种方法在不是整数倍时间下采样时，帧时间间隔不均匀，后一种方法虽然可以解决前一种方法的问题，但是算法复杂、运算量大。在业界中，前一种方法应用更多。

跳帧技术最常见的是与码率控制联系在一起的，作为码率控制的一种实现手段。跳帧的策略一般取决于图像内容本身特性(如：运动复杂程度，前后帧图像相关性等)和编码器的缓冲区充满度两个条件。现有的跳帧技术不能很好的解决跳帧后对视频主观体验的不利影响。

在现有的跳帧技术中单纯的依赖运动矢量，不能很好的反映图像的内容，在一些复杂或者特殊场景如：场景切换、同一图像内有两个相反运动方向的物体等等场景，运动矢量判断方法可能会产生判断错误，帧输出具有时间间隔不均匀，造成了明显感觉到跳帧，降低了视频的主观体验。

发明内容

本发明实施例提供一种帧率调整方法和装置，用于解决现有技术中降帧后帧间隔不均匀的缺点。

本发明提供了一种帧率调整方法，包括：

将初始帧作为第一输出帧直接输出；

将所述第一输出帧的时间戳作为第一参考帧的时间戳与第一输入帧的时间戳进行比较；

若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第一输入帧进行第一跳帧处理并获得第一跳帧长度；

若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第一跳帧长度之和，则将所述第一输入帧输出。

本发明实施例还提供了一种帧率调整装置，包括：

初始帧输出单元，用于将初始帧作为第一输出帧直接输出；

第一比较单元，用于将第一输出帧的时间戳作为第一参考帧的时间戳与第一输入帧的时间戳进行比较；

第一跳帧长度获取单元，用于若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第一输入帧进行第一跳帧处理并获得第一跳帧长度；

第一输出单元，用于若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第一跳帧长度之和，则将所述第一输入帧输出。

通过本发明实施例，通过将时间下采样和跳帧技术的结合，可以解决现有技术中帧间隔不均匀的问题，使得图像播放连贯。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明实施例一种帧率调整方法流程图；

图2a所示为本发明实施例帧率调整方法具体流程图；

图2b所示为本发明实施例接收第二输入帧的流程图；

图3a所示为本发明实施例第一跳帧判决方法流程图；

图3b所示为本发明实施例第二跳帧判决方法流程图；

图4所示的本发明实施例图像运动方向示意图；

图5所示为本发明实施例帧率调整装置结构示意图；

图6a所示为本发明实施例第一跳帧长度获取单元结构示意图；

图6b所示为本发明实施例第二跳帧长度获取单元结构示意图；

图7所示为本发明实施例帧率调整时序图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明实施例一种帧率调整方法流程图。

步骤101，将初始帧作为第一输出帧直接输出。

步骤102，将所述第一输出帧的时间戳作为第一参考帧的时间戳与第一输入帧的时间戳进行比较。

步骤103，若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第一输入帧进行第一跳帧处理并获得第一跳帧长度。

步骤104，若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第一跳帧长度之和，则将所述第一输入帧输出。

作为本发明的一个实施例，在上述步骤104之后的循环中，将输出的第一输入帧的时间戳作为第二参考帧的时间戳与第二输入帧的时间戳进行比较；

若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第二输入帧进行第二跳帧处理并获得第二跳帧长度；

若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第二跳帧长度之和，则将所述第二输入帧输出。

作为本发明的一个实施例，在步骤103中，若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值包括：如果第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限，则接收第二输入帧。

作为本发明的一个实施例，在步骤104中，若第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限和第一跳帧长度之和，则在所述第一参考帧的时间戳的基础上加上所述第一跳帧长度以更新所述第一参考帧的时间戳；或者若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第二跳帧长度之和中包括：若第二输入帧时间戳与所述第二参考帧的时间戳的时间间隔小于所述时间间隔门限和第二跳帧长度之和，则在所述第二参考帧的时间戳的基础上加上所述第二跳帧长度以更新所述第二参考帧的时间戳。

作为本发明的一个实施例，在步骤103中，所述第一跳帧处理可以包括：

计算所述第一输入帧和第一参考帧的属性信息；

判断所述第一输入帧与第一参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述跳帧长度为0；

如果所述第一输入帧为场景切换帧，则所述第一跳帧长度为第一预定值；

如果所述第一输入帧相对于所述第一参考帧为静止帧，则所述第一跳帧长度为第二预定值；

如果所述第一输入帧相对于所述第一参考帧为运动趋势变化缓慢帧，则所述第一跳帧长度为第三预定值；或者

所述跳帧处理包括：

计算所述第二输入帧和第二参考帧的属性信息；

判断所述第二输入帧与第二参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述跳帧长度为0；

如果所述第二输入帧为场景切换帧，则所述第二跳帧长度为第一预定值；

如果所述第二输入帧相对于所述第二参考帧为静止帧，则所述第二跳帧长度为第二预定值；

如果所述第二输入帧相对于所述第二参考帧为运动趋势变化缓慢帧，则所述第二跳帧长度为第三预定值。

作为本发明的一个实施例，在计算第一输入帧属性信息中包括：计算第一输入帧I帧和P帧的编码复杂度、第一输入帧的运动向量方向和运动向量幅值，并计算第一输入帧直方图光影变换信息；

所述第一输入帧为场景切换帧包括：如果第一输入帧的I帧和P帧编码复杂度的比例关系大于一预定编码复杂度门限值，并且所述第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第一跳帧长度为第一预定值；其中，所述预定编码复杂度门限值可以为略大于1的数值。

所述第一输入帧相对于所述第一参考帧为静止帧包括：如果第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第一跳帧长度为第二预定值；

所述第一输入帧相对于所述第一参考帧为运动趋势变化缓慢帧包括：如果第一输入帧的运动向量主方向与第一参考帧的运动向量主方向相比较发生变化，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第一跳帧长度为第三预定值；

其中，所述第一输入帧的运动向量主方向是指第一输入帧图像中超过一预定比例的图像块的运动向量方向为所述运动向量主方向。

在计算第二输入帧属性信息中包括：计算第二输入帧I帧和P帧的编码复杂度、第二输入帧的运动向量方向和运动向量幅值，并计算第二输入帧直方图光影变换信息；

所述第二输入帧为场景切换帧包括：如果第二输入帧的I帧和P帧编码复杂度的比例关系大于一预定编码复杂度门限值，并且所述第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第二跳帧长度为第一预定值；

所述第二输入帧相对于所述第二参考帧为静止帧包括：如果第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第二跳帧长度为第二预定值；

所述第二输入帧相对于所述第二参考帧为运动趋势变化缓慢帧包括：如果第二输入帧的运动向量主方向与第二参考帧的运动向量主方向相比较发生变化，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第二跳帧长度为第三预定值；

其中，所述第二输入帧的运动向量主方向是指第二输入帧图像中超过一预定比例的图像块的运动向量方向为所述运动向量主方向。

通过上述实施例，通过将时间下采样和跳帧技术的结合，可以解决现有技术中帧间隔不均匀的问题，使得图像播放连贯。

如图2a所示为本发明实施例帧率调整具体流程图。

步骤201，接收初始帧，确定参考帧和时间间隔门限，不对该帧做处理直接输出，并将该帧置为第一参考帧，该第一参考帧的时间戳置为参考时间戳(refPts)，计算输出帧率的时间间隔门限(frame_time)，其中所述frame_time就是指每帧图像持续时间，即：帧率的倒数。

步骤202，接收一帧图像，作为第一输入帧。

步骤203，计算第一输入帧的时间戳(PTS)与第一参考时间戳(refPts)的差，将其与时间间隔门限(fram_time)比较大小，如果大于所述fram_time，则进行步骤204，否则返回步骤202，继续接收第二输入帧。

步骤204，进行第一跳帧处理，获得跳帧长度(deltaPts)，并将当前帧置为第一参考帧，用于计算第二输入帧的运动向量等信息。其中，第一跳帧处理可以采用现有技术中的跳帧判决方法，也可以采用如图3所示的跳帧判决方法，本发明并不对跳帧判决方法进行限定。

步骤205，计算第一输入帧的时间戳与第一参考时间戳的差是否大于或等于所述时间间隔门限与第一跳帧长度之和，即PTS-fram_time是否大于或者等于refPts+deltaPts。如果大于或者等于则进入步骤207，否则进入步骤206。

步骤206，更新第一参考帧的时间戳，在第一参考帧的时间戳的基础上加上第一跳帧长度，即：refPts＝refPts+deltaPts，进入步骤208。

步骤207，输出第一输入帧，并更新第一参考帧的时间戳，在第一参考帧时间戳的基础上加上第一跳帧长度和时间间隔门限，即：refPts＝refPts+deltaPts+fram_time。

步骤208，判断是否已经处理完所有帧，如果未处理完则返回步骤202，继续接收第二输入帧，否则进入步骤209。

步骤209，处理结束。

在上述返回步骤202后，继续接收第二输入帧的流程如图2b所示，

步骤201’，将输出的第一输入帧的时间戳作为第二参考帧的时间戳与第二输入帧的时间戳进行比较，如果所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则进入步骤202’，否则返回步骤201’继续接收下一帧。

步骤202’，对所述第二输入帧进行第二跳帧处理并获得第二跳帧长度。

步骤203’，判断所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第二跳帧长度之和，如果大于或者等于则进入步骤205’，否则进入步骤204’。

步骤204’，更新第二参考帧的时间戳，在第二参考帧的时间戳的基础上加上第二跳帧长度，进入步骤206’。

步骤205’，将所述第二输入帧输出，并更新第二参考帧的时间戳，在第二参考帧时间戳的基础上加上第二跳帧长度和时间间隔门限。

步骤206’，判断是否已经处理完所有帧，如果未处理完则返回步骤201’，继续接收第二输入帧，否则进入步骤207’。

步骤207’，处理结束。

如图3a所示为本发明实施例第一跳帧判决方法流程图。

步骤301，计算第一输入帧I帧和P帧的编码复杂度，计算第一输入帧的运动向量主方向和主方向运动向量平均幅值，并计算第一参考帧的运动向量主方向和主方向运动向量平均幅值。

所述第一参考帧可以取自图2a所示方法的步骤202或步骤204，或者单独进行本实施例中的跳帧判决方法时，将接收的第一输入帧进行存储，以作为下一次接收帧的参考帧，当接收的是第一输入帧时，则设置该第一输入帧为第一参考帧，等到接收第二输入帧时该第一输入帧就为第一参考帧。

步骤302，计算第一输入帧和第一参考帧直方图光影变换信息。

上述的I帧和P帧的编码复杂度、运动向量主方向、运动向量平均幅值和直方图光影变换信息统称为属性信息。

步骤303，判断所述第一输入帧与第一参考帧的属性信息是否为以下3种情况之一，如果不属于下述三种情况之一，则置deltaPts为0。

步骤304，如果第一输入帧的I帧和P帧编码复杂度的比例关系小于一预定编码复杂度门限值，并且所述第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息变化大于一预定光影变换门限值，则置所述第一跳帧长度为第一预定值。其中，场景切换是I帧编码复杂度和P帧编码复杂度较为接近，但I帧和P帧编码复杂度的比例关系接近1(略大于1)，但不是场景切换时要远大于1。

例如给定编码复杂度门限值为1.5，所述预定光影变换门限值为20％，所述第一预定值取值范围为40ms至50ms，直接计算第一输入帧I帧的编码复杂度，利用第一输入帧和第一参考帧的P帧计算当前帧的P帧编码复杂度，将第一输入帧I帧的编码复杂度除以第一输入帧P帧的编码复杂度结果大于1.5时(该预定编码复杂度门限值可以根据实际环境进行设定)，并且第一输入帧与第一参考帧相比较有超过20％的像素发生光影变换，则所述第一跳帧长度为45ms。

步骤305，如果第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息变化小于所述预定光影变换门限值，并且第一输入帧的各运动方向的向量幅值小于第一预定运动向量幅值门限值，则置所述第一跳帧长度为第二预定值。

例如该预定光影变换门限值为20％，所述第一预定运动向量幅值门限值为0，所述第二预定值取值范围为20ms至25ms，第一输入帧与第一参考帧相比较有不超过20％的像素发生光影变换，并且第一输入帧的各运动方向的向量幅值为0，则所述第一跳帧长度为22ms。

步骤306，如果第一输入帧的运动向量主方向与第一参考帧的运动向量主方向不同，并且第一输入帧的主方向的运动向量平均幅值小于第二预定运动向量幅值门限值，则置所述第一跳帧长度为第三预定值。

例如，所述运动向量主方向如图4所示的本发明实施例图像运动方向示意图，根据第一输入帧的图像运动向量不同，将其分为9个不同运动方向，幅值为零的运动向量为方向零，运动向量的方向分布在方向N范围内(方向一至方向八)，则为运动向量的方向N。一幅图像中块数最多的方向，则为第一输入帧的运动向量主方向。第一输入帧的主方向的运动向量幅值小于第二预定运动向量幅值门限值，则第一输入帧的运动趋势变化较缓慢，则所述第一跳帧长度为10ms。其中，第一输入帧的主方向的运动向量幅值的单位例如为1/4像素或者1/2像素，所述第一输入帧的运动趋势变化较缓慢例如是指第一输入帧的主方向的运动向量平均幅值小于2个像素，即小于5个1/4像素单位的幅值。

如图3b所示为本发明实施例第二跳帧判决方法流程图。

步骤301’，计算第二输入帧I帧和P帧的编码复杂度，计算第二输入帧的运动向量主方向和主方向运动向量平均幅值，并计算第二参考帧的运动向量主方向和主方向运动向量平均幅值。

所述第二参考帧可以取自图2b所示方法的步骤201’，或者单独进行本实施例中的跳帧判决方法时，将接收的第二输入帧进行存储，以作为下一次接收帧的第二参考帧，当接收的是第二输入帧时，则设置该第二输入帧为第二参考帧，等到接收第三输入帧时该第二输入帧就为参考帧。

步骤302’，计算第二输入帧和第二参考帧直方图光影变换信息。

上述的I帧和P帧的编码复杂度、运动向量主方向、运动向量平均幅值和直方图光影变换信息统称为属性信息。

步骤303’，判断所述第二输入帧与第二参考帧的属性信息是否为以下3种情况之一，如果不属于下述三种情况之一，则置deltaPts为0。

步骤304’，如果第二输入帧的I帧和P帧编码复杂度的比例关系小于一预定编码复杂度门限值，并且所述第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息变化大于一预定光影变换门限值，则置所述第二跳帧长度为第一预定值。其中，场景切换是I帧编码复杂度和P帧编码复杂度较为接近，但I帧和P帧编码复杂度的比例关系接近1(略大于1)，但不是场景切换时要远大于1。

例如给定编码复杂度门限值为1.5，所述预定光影变换门限值为20％，所述第一预定值取值范围为40ms至50ms，直接计算第二输入帧I帧的编码复杂度，利用第二输入帧和第二参考帧的P帧计算第二输入帧的P帧编码复杂度，将第二输入帧I帧的编码复杂度除以第二输入帧P帧的编码复杂度结果大于1.5时(该预定编码复杂度门限值可以根据实际环境进行设定)，并且第二输入帧与第二参考帧相比较有超过20％的像素发生光影变换，则所述第二跳帧长度为45ms。

步骤305’，如果第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息变化小于所述预定光影变换门限值，并且第二输入帧的各运动方向的向量幅值小于第一预定运动向量幅值门限值，则置所述第二跳帧长度为第二预定值。

例如该预定光影变换门限值为20％，所述第一预定运动向量幅值门限值为0，所述第二预定值取值范围为20ms至25ms，第二输入帧与第二参考帧相比较有不超过20％的像素发生光影变换，并且第二输入帧的各运动方向的向量幅值为0，则所述第二跳帧长度为22ms。

步骤306’，如果第二输入帧的运动向量主方向与第二参考帧的运动向量主方向不同，并且第二输入帧的主方向的运动向量平均幅值小于第二预定运动向量幅值门限值，则置所述第二跳帧长度为第三预定值。

例如，所述运动向量主方向如图4所示的本发明实施例图像运动方向示意图，根据第二输入帧的图像运动向量不同，将其分为9个不同运动方向，幅值为零的运动向量为方向零，运动向量的方向分布在方向N范围内(方向一至方向八)，则为运动向量的方向N。一幅图像中块数最多的方向，则为第二输入帧的运动向量主方向。第二输入帧的主方向的运动向量幅值小于第二预定运动向量幅值门限值，则第二输入帧的运动趋势变化较缓慢，则所述第二跳帧长度为10ms。其中，第二输入帧的主方向的运动向量幅值的单位例如为1/4像素或者1/2像素，所述第二输入帧的运动趋势变化较缓慢例如是指第二输入帧的主方向的运动向量平均幅值小于2个像素，即小于5个1/4像素单位的幅值。

通过上述实施例，能正确的检测并跳过那些对视觉来说不敏感的帧，从而可以提高其它非跳过帧的图像质量，避免图像播放的不连贯。

如图5所示为本发明实施例帧率调整装置结构示意图。

包括初始帧输出单元501，用于将初始帧作为第一输出帧直接输出。

第一比较单元502，用于将第一输出帧的时间戳作为第一参考帧的时间戳与第一输入帧的时间戳进行比较。

第一跳帧长度获取单元503，用于当所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第一输入帧进行第一跳帧处理并获得第一跳帧长度。

第一输出单元504，用于当所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第一跳帧长度之和，则将所述第一输入帧输出。

通过上述实施例，通过将时间下采样和跳帧技术的结合，可以解决现有技术中帧间隔不均匀的问题，使得图像播放连贯。

以下实施例与图5所示实施例基本类似，相同之处不再赘述。

还包括，第二比较单元505，用于将输出的第一输入帧的时间戳作为第二参考帧的时间戳与第二输入帧的时间戳进行比较。

第二跳帧长度获取单元506，用于若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第二输入帧进行第二跳帧处理并获得第二跳帧长度；

第二输出单元507，用于当所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第二跳帧长度之和，则将所述第二输入帧输出。

作为本发明实施例的一个方面，所述第一跳帧长度获取单元503还用于当所述第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限，则接收第二输入帧。

第一跳帧长度获取单元503还用于当第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限和第一跳帧长度之和，则在所述第一参考帧的时间戳的基础上加上所述第一跳帧长度以更新所述第一参考帧的时间戳。

第二跳帧长度获取单元506，还用于若第二输入帧时间戳与所述第二参考帧的时间戳的时间间隔小于所述时间间隔门限和第二跳帧长度之和，则在所述第二参考帧的时间戳的基础上加上所述第二跳帧长度以更新所述第二参考帧的时间戳。

第二输出单元507还用于判断是否处理完所有帧，如果没有处理完所有帧则第二比较单元505继续接收下一帧。

如图6a所示为本发明实施例第一跳帧长度获取单元结构示意图。

包括：

第一计算模块601，用于计算所述第一输入帧和第一参考帧的属性信息。

第一判断模块602，用于判断所述第一输入帧与第一参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述跳帧长度为0；

如果所述第一输入帧为场景切换帧，则所述第一跳帧长度为第一预定值；

如果所述第一输入帧相对于所述第一参考帧为静止帧，则所述第一跳帧长度为第二预定值；

如果所述第一输入帧相对于所述第一参考帧为运动趋势变化缓慢帧，则所述第一跳帧长度为第三预定值。

第二跳帧长度获取单元如图6b所示，包括，

第二计算模块601’用于计算所述第二输入帧和第二参考帧的属性信息；

第二判断模块602’用于判断所述第二输入帧与第二参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述跳帧长度为0；

如果所述第二输入帧为场景切换帧，则所述第二跳帧长度为第一预定值；

如果所述第二输入帧相对于所述第二参考帧为静止帧，则所述第二跳帧长度为第二预定值；

如果所述第二输入帧相对于所述第二参考帧为运动趋势变化缓慢帧，则所述第二跳帧长度为第三预定值。

通过上述实施例，能正确的检测并跳过那些对视觉来说不敏感的帧，从而可以提高其它非跳过帧的图像质量，避免图像播放的不连贯。

以下实施例与图6所示实施例基本类似，相同之处不再赘述。

第一计算模块601，进一步用于计算第一输入帧I帧和P帧的编码复杂度、第一输入帧的运动向量方向和运动向量幅值，并计算第一输入帧直方图光影变换信息。

第一判断模块602，进一步用于：判断如果第一输入帧的I帧和P帧编码复杂度的比例关系大于一预定编码复杂度门限值，并且所述第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第一跳帧长度为第一预定值；其中，场景切换是I帧编码复杂度和P帧编码复杂度较为接近，但I帧和P帧编码复杂度的比例关系接近1(略大于1)，但不是场景切换时要远大于1。

判断如果第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第一跳帧长度为第二预定值；

判断如果第一输入帧的运动向量主方向与第一参考帧的运动向量主方向相比较发生变化，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第一跳帧长度为第三预定值。

其中，其中，所述第一输入帧的运动向量主方向是指第一输入帧图像中超过一预定比例的图像块的运动向量方向为所述运动向量主方向。

所述第二计算模块601’进一步用于计算第二输入帧I帧和P帧的编码复杂度、第二输入帧的运动向量方向和运动向量幅值，并计算第二输入帧直方图光影变换信息；

所述第二判断模块602’进一步用于：判断如果第二输入帧的I帧和P帧编码复杂度的比例关系大于一预定编码复杂度门限值，并且所述第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第二跳帧长度为第一预定值；

判断如果第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第二跳帧长度为第二预定值；

判断如果第二输入帧的运动向量主方向与第二参考帧的运动向量主方向相比较发生变化，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第二跳帧长度为第三预定值；

其中，所述第二输入帧的运动向量主方向是指第二输入帧图像中超过一预定比例的图像块的运动向量方向为所述运动向量主方向。

如图7所示为本发明实施例帧率调整时序图。

接收第一帧，在本例中第一帧为0，计算时间间隔门限，在本例中为100ms，参考时间戳为0。

接收下一帧(时序上为40ms的帧)，计算当前帧时间戳与参考时间戳的差，即40-0＝40ms，将所述计算结果与时间间隔门限进行比较，在本例中当前帧时间戳与参考时间戳的差小于时间间隔门限，继续接收下一帧(时序上为80ms的帧)，其比较结果仍然为小于时间间隔门限，继续接收下一帧(时序上为120ms的帧)，其比较结果为大于时间间隔门限。

假设在本步骤中的跳帧长度为0ms，比较当前帧的时间戳(时序上为120ms的帧)与参考时间戳的差，即120-0＝120ms，时间间隔门限与跳帧长度的和，即100+0＝100ms，由于当前帧的时间戳与参考时间戳的差大于所述时间间隔门限与跳帧长度的和，所以输出当前帧(时序上为120ms的帧)，参考时间戳更新为refPts+deltaPts+fram_time＝100ms，由于还没有处理完所有的帧，所以继续接收下一帧(时序上为160ms的帧)。

计算当前帧(时序上为160ms的帧)时间戳与参考时间戳的差，即160-100＝60ms，将所述计算结果与时间间隔门限进行比较，在本例中当前帧时间戳与参考时间戳的差小于时间间隔门限，继续接收下一帧(时序上为200ms的帧)，其比较结果为等于时间间隔门限。

假设在本步骤中的跳帧长度为40ms，比较当前帧的时间戳(时序上为200ms的帧)与参考时间戳的差，即200-100＝100ms，时间间隔门限与跳帧长度的和，即100+40＝140ms，由于当前帧的时间戳与参考时间戳的差小于所述时间间隔门限与跳帧长度的和，所以更新参考时间戳为refPts+deltaPts＝100+40＝140ms，由于还没有处理完所有的帧，所以继续接收下一帧(时序上为240ms的帧)。

计算当前帧(时序上为240ms的帧)时间戳与参考时间戳的差，即240-140＝100ms，将所述计算结果与时间间隔门限进行比较，在本例中当前帧时间戳与参考时间戳的差等于时间间隔门限。

假设在本步骤中的跳帧长度为0ms，比较当前帧的时间戳(时序上为240ms的帧)与参考时间戳的差，即240-140＝100ms，时间间隔门限与跳帧长度的和，即100+0＝100ms，由于当前帧的时间戳与参考时间戳的差等于所述时间间隔门限与跳帧长度的和，所以输出当前帧(时序上为240ms的帧)，参考时间戳更新为refPts+deltaPts+fram_time＝240ms，由于还没有处理完所有的帧，所以继续接收下一帧(时序上为280ms的帧)。后面的处理方法与前述类似，在此不再赘述。

作为本发明实施例的有益效果在于，通过将时间下采样和跳帧方法的结合使得在降帧时帧时间间隔均匀，并且通过本发明实施例的跳帧方法，能正确的检测并跳过那些对视觉来说不敏感的帧，从而可以提高其它非跳过帧的图像质量，避免图像播放的不连贯。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种帧率调整方法，其特征在于包括：

将初始帧作为第一输出帧直接输出；

将所述第一输出帧的时间戳作为第一参考帧的时间戳与第一输入帧的时间戳进行比较；

若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第一输入帧进行第一跳帧处理并获得第一跳帧长度；

若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第一跳帧长度之和，则将所述第一输入帧输出。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将输出的第一输入帧的时间戳作为第二参考帧的时间戳与第二输入帧的时间戳进行比较；

若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第二输入帧进行第二跳帧处理并获得第二跳帧长度；

若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第二跳帧长度之和，则将所述第二输入帧输出。

3.根据权利要求2所述的方法，其特征在于，若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值包括：如果第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限，则接收第二输入帧。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：若第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限和第一跳帧长度之和，则在所述第一参考帧的时间戳的基础上加上所述第一跳帧长度以更新所述第一参考帧的时间戳。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若第二输入帧时间戳与所述第二参考帧的时间戳的时间间隔小于所述时间间隔门限和第二跳帧长度之和，则在所述第二参考帧的时间戳的基础上加上所述第二跳帧长度以更新所述第二参考帧的时间戳。

6.根据权利要求4所述的方法，其特征在于，所述第一跳帧处理包括：

计算所述第一输入帧和第一参考帧的属性信息；

判断所述第一输入帧与第一参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述第一跳帧长度为0；

如果所述第一输入帧为场景切换帧，则所述第一跳帧长度为第一预定值；

如果所述第一输入帧相对于所述第一参考帧为静止帧，则所述第一跳帧长度为第二预定值；

如果所述第一输入帧相对于所述第一参考帧为运动趋势变化缓慢帧，则所述第一跳帧长度为第三预定值。

7.根据权利要求5所述的方法，其特征在于，所述第二跳帧处理包括：计算所述第二输入帧和第二参考帧的属性信息；

判断所述第二输入帧与第二参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述第二跳帧长度为0；

如果所述第二输入帧为场景切换帧，则所述第二跳帧长度为第一预定值；

如果所述第二输入帧相对于所述第二参考帧为静止帧，则所述第二跳帧长度为第二预定值；

如果所述第二输入帧相对于所述第二参考帧为运动趋势变化缓慢帧，则所述第二跳帧长度为第三预定值。

8.根据权利要求6所述的方法，其特征在于，在计算第一输入帧属性信息中包括：计算第一输入帧I帧和P帧的编码复杂度、第一输入帧的运动向量方向和运动向量幅值，并计算第一输入帧直方图光影变换信息；

所述第一输入帧为场景切换帧包括：如果第一输入帧的I帧和P帧编码复杂度的比例关系大于预定编码复杂度门限值，并且所述第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第一跳帧长度为第一预定值；

所述第一输入帧相对于所述第一参考帧为静止帧包括：如果第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第一跳帧长度为第二预定值；

所述第一输入帧相对于所述第一参考帧为运动趋势变化缓慢帧包括：如果第一输入帧的运动向量主方向与第一参考帧的运动向量主方向相比较发生变化，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第一跳帧长度为第三预定值；

其中，所述第一输入帧的运动向量主方向是指第一输入帧图像中超过一预定比例的图像块的运动向量方向为所述运动向量主方向。

9.根据权利要求7所述的方法，其特征在于，所述在计算第二输入帧属性信息中包括：计算第二输入帧I帧和P帧的编码复杂度、第二输入帧的运动向量方向和运动向量幅值，并计算第二输入帧直方图光影变换信息；

所述第二输入帧为场景切换帧包括：如果第二输入帧的I帧和P帧编码复杂度的比例关系大于一预定编码复杂度门限值，并且所述第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第二跳帧长度为第一预定值；

所述第二输入帧相对于所述第二参考帧为静止帧包括：如果第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第二跳帧长度为第二预定值；

所述第二输入帧相对于所述第二参考帧为运动趋势变化缓慢帧包括：如果第二输入帧的运动向量主方向与第二参考帧的运动向量主方向相比较发生变化，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第二跳帧长度为第三预定值；

其中，所述第二输入帧的运动向量主方向是指第二输入帧图像中超过一预定比例的图像块的运动向量方向为所述运动向量主方向。

10.一种帧率调整装置，其特征在于包括：

初始帧输出单元，用于将初始帧作为第一输出帧直接输出；

第一比较单元，用于将第一输出帧的时间戳作为第一参考帧的时间戳与第一输入帧的时间戳进行比较；

第一跳帧长度获取单元，用于若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第一输入帧进行第一跳帧处理并获得第一跳帧长度；

第一输出单元，用于若所述第一输入帧的时间戳与所述第一参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第一跳帧长度之和，则将所述第一输入帧输出。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

第二比较单元，用于将输出的第一输入帧的时间戳作为第二参考帧的时间戳与第二输入帧的时间戳进行比较；

第二跳帧长度获取单元，用于若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或等于设定的时间间隔门限值，则对所述第二输入帧进行第二跳帧处理并获得第二跳帧长度；

第二输出单元，用于若所述第二输入帧的时间戳与所述第二参考帧的时间戳的时间间隔大于或者等于所述时间间隔门限值与所述第二跳帧长度之和，则将所述第二输入帧输出。

12.根据权利要求11所述的装置，其特征在于，所述第一跳帧长度获取单元还用于当所述第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限，则接收第二输入帧。

13.根据权利要求11所述的装置，其特征在于，所述第一跳帧长度获取单元还用于当第一输入帧时间戳与所述第一参考帧的时间戳的时间间隔小于所述时间间隔门限和第一跳帧长度之和，则在所述第一参考帧的时间戳的基础上加上所述第一跳帧长度以更新所述第一参考帧的时间戳。

14.根据权利要求13所述的装置，其特征在于，所述第二跳帧长度获取单元还用于若第二输入帧时间戳与所述第二参考帧的时间戳的时间间隔小于所述时间间隔门限和第二跳帧长度之和，则在所述第二参考帧的时间戳的基础上加上所述第二跳帧长度以更新所述第二参考帧的时间戳。

15.根据权利要求11所述的装置，其特征在于，所述第一跳帧长度获取单元包括：

第一计算模块，用于计算所述第一输入帧和第一参考帧的属性信息；

第一判断模块，用于判断所述第一输入帧与第一参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述第一跳帧长度为0；

如果所述第一输入帧为场景切换帧，则所述第一跳帧长度为第一预定值；

如果所述第一输入帧相对于所述第一参考帧为静止帧，则所述第一跳帧长度为第二预定值；

如果所述第一输入帧相对于所述第一参考帧为运动趋势变化缓慢帧，则所述第一跳帧长度为第三预定值。

16.根据权利要求15所述的装置，其特征在于，所述第二跳帧处理单元包括：

第二计算模块，用于计算所述第二输入帧和第二参考帧的属性信息；

第二判断模块，用于判断所述第二输入帧与第二参考帧的属性信息是否为以下3种情况之一，如果不为以下3种情况之一，则所述第二跳帧长度为0；

如果所述第二输入帧为场景切换帧，则所述第二跳帧长度为第一预定值；

如果所述第二输入帧相对于所述第二参考帧为静止帧，则所述第二跳帧长度为第二预定值；

如果所述第二输入帧相对于所述第二参考帧为运动趋势变化缓慢帧，则所述第二跳帧长度为第三预定值。

17.根据权利要求15所述的装置，其特征在于，所述第一计算模块进一步用于计算第一输入帧I帧和P帧的编码复杂度、第一输入帧的运动向量方向和运动向量幅值，并计算第一输入帧直方图光影变换信息；

所述第一判断模块进一步用于：判断如果第一输入帧的I帧和P帧编码复杂度的比例关系大于一预定编码复杂度门限值，并且所述第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第一跳帧长度为第一预定值；

判断如果第一输入帧的直方图光影变换信息比第一参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第一跳帧长度为第二预定值；

判断如果第一输入帧的运动向量主方向与第一参考帧的运动向量主方向相比较发生变化，并且第一输入帧的运动向量幅值比第一参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第一跳帧长度为第三预定值；

其中，所述第一输入帧的运动向量主方向是指第一输入帧图像中超过一预定比例的图像块的运动向量方向为所述运动向量主方向。

18.根据权利要求16所述的装置，其特征在于，所述第二计算模块进一步用于计算第二输入帧I帧和P帧的编码复杂度、第二输入帧的运动向量方向和运动向量幅值，并计算第二输入帧直方图光影变换信息；

所述第二判断模块进一步用于：判断如果第二输入帧的I帧和P帧编码复杂度的比例关系大于一预定编码复杂度门限值，并且所述第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息大于一预定光影变换门限值，则所述第二跳帧长度为第一预定值；

判断如果第二输入帧的直方图光影变换信息比第二参考帧的直方图光影变换信息小于所述预定光影变换门限值，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第一预定运动向量幅值门限值，则所述第二跳帧长度为第二预定值；

判断如果第二输入帧的运动向量主方向与第二参考帧的运动向量主方向相比较发生变化，并且第二输入帧的运动向量幅值比第二参考帧的运动向量幅值小于第二预定运动向量幅值门限值，则所述第二跳帧长度为第三预定值；

其中，所述第二输入帧的运动向量主方向是指第二输入帧图像中超过预定比例的图像块的运动向量方向为所述运动向量主方向。

Images