CN101448157A - 一种视频编码方法和视频编码器 - Google Patents

Abstract

本发明公开了一种视频编码方法，包括：设置编码器的目标帧率的初始值；预测编码器所编码的视频图像将要跳帧的数目；根据所述预测的跳帧数目调整所述编码器的目标帧率。本发明还公开了一种视频编码器。本发明的技术方案使得目标帧率能够自适应网络，编码输出帧率的波动变得平缓，提高了视频图像质量。

Description

一种视频编码方法和视频编码器

技术领域

本发明涉及多媒体通信技术领域，尤指一种视频编码方法和一种视频编码器。

背景技术

多媒体通信技术在实际当中得到了越来越广泛的应用，给人们的生活和工作增添了色彩。

然而在多媒体通信系统中，以下因素会直接影响视频图像的质量：

(1)视频编码器过高的输出码率会导致网络拥塞和丢包，从而造成图像质量急剧下降；相反，过低的输出码率也会导致图像质量的下降和对网络资源的浪费。

(2)帧率波动的大小，也会直接影响到图像效果的主观感受。图1是现有方案中编码器输出帧率剧烈变化的时间坐标示意图，如图1所示，横坐标为时间(单位：秒)，纵坐标为实际输出帧率(单位：帧/秒)，可以看出最大帧率和最小帧率的变化非常剧烈，如此连贯性不一致的现象会造成图像中运动的人或物体跳动和闪烁的主观感受。

因此，在复杂的网络环境中，最终为获得质量较高的视频图像，不仅要使编码器的输出码率尽可能的有效利用网络带宽资源，还要考虑输出图像帧率的波动。

图2是现有技术中的视频编码系统的原理框图。如图2所示，编码器的码率控制参数包括：目标帧率和目标码率。目标码率和目标帧率是视频编码器实际想到达到的输出码率和帧率。在图2中，根据实际可用的网络带宽资源，更新编码器的目标码率，使得编码器调整输出码率，以适应网络环境，防止码率过大而造成的网络拥塞，以及网络环境良好时带宽资源的浪费。而控制输出帧率波动所采用的方法是：通过对场景变换的检测，实现图像在场景变换较小时时候进行跳帧，以便给场景变换较大时，分配较多比特进行编码，保证图像质量和连贯性。这里，图像序列帧间图像内容变化即为场景变化，场景变换检测就是针对场景变换程度的大小进行检测。

但是在图2所示的方案中，目标帧率在一次通信过程中是固定的，而跳帧数只用来决定哪些帧是否需要编码，对编码器控制参数中的目标帧率无影，因此，图2所示的方案存在如下缺点：

(1)当场景持续大运动量变化时，虽然某一瞬时的场景变化较小，但是由于持续时间过短，而没有可用来跳过的帧，最终导致该算法会失效；

(2)实际网络的状况会存在可用网络带宽资源不恒定的情况，而该方案没有考虑目标帧率自适应网络的问题。

综上所述，在现有的视频编码方案中，目标帧率不能自适应网络，使得实际编码输出的帧率波动剧烈，图像质量差。

发明内容

本发明提供了一种视频编码方法，该方法使得编码输出帧率的波动变得平缓，提高了视频图像质量。

本发明还提供了一种视频编码器，该视频编码器得编码输出帧率的波动变得平缓，提高了视频图像质量。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明公开了一种视频编码方法，该方法包括：

设置编码器的目标帧率的初始值，使得编码器根据所述设置的目标帧率初始值进行视频编码处理；

预测编码器所编码的视频图像将要跳帧的数目；

根据所述预测的跳帧数目逐级调整所述编码器的目标帧率，使得编码器根据所述调整后的目标帧率进行视频编码处理。

本发明还公开了一种视频编码器，该编码器包括：编码模块、跳帧数预测模块和目标帧率调整模块，其中，

编码模块，用于根据目标帧率调整模块发送的目标帧率进行视频编码处理；

跳帧数预测模块，用于预测编码模块所编码的视频图像将要跳帧的数目，并发送给目标帧率调整模块；

目标帧率调整模块，用于设置目标帧率的初始值并发送给编码模块，用于根据所接收的跳帧数目逐级调整目标帧率的值后发送给编码模块。

由上述技术方案可见，本发明这种设置编码器的目标帧率的初始值，预测视频图像将要跳帧的数目，根据所述预测的跳帧数目调整所述编码器的目标帧率的技术方案，使得目标帧率能够自适应网络，提高了视频图像的质量。

附图说明

图1是现有方案中编码器输出帧率剧烈变化的时间坐标示意图；

图2是现有技术中的视频编码系统的原理框图；

图3是本发明实施例一种视频编码方法的流程图；

图4是本发明实施例一种视频编码系统的原理示意图；

图5是本发明实施例中编码器输出帧率变化的时间坐标图；

图6是本发明实施例中调整目标帧率的流程图；

图7是本发明实施例一种视频编码器的组成结构框图。

具体实施方式

图3是本发明实施例一种视频编码方法的流程图。如图3所示，包括以下步骤：

步骤301，设置编码器的目标帧率的初始值，使得编码器根据所述设置的目标帧率初始值进行视频编码处理。

步骤302，预测编码器所编码的视频图像将要跳帧的数目。

步骤303，根据所述预测的跳帧数目逐级调整所述编码器的目标帧率，使得编码器根据所述调整后的目标帧率进行视频编码处理。

在图3所示的方案中，目标帧率可以根据编码器输出视频的单位时间内的跳帧数而改变，使得视频图像的目标帧率更加适应于实际网络状况，实际编码输出的帧率波动变得平缓，视频变得流畅，得到更好的图像质量。

为使本发明的目的、技术方案及优点更加清楚明白，以下对本发明进一步详细说明。

图4是本发明实施例一种视频编码系统的原理示意图。如图4所示，包括以下步骤：

步骤401，预测当前网络可用带宽资源。即预测编码器输出视频码流的可用传输带宽。

本步骤中，预测当前网络可用带宽资源可以采用现有的常用手段实现，这里不再详述。

步骤402，根据预测的可用的带宽资源，设置编码器的初始码率控制参数，包括目标帧率和目标码率和每帧的目标码流等。

本步骤中，可以将目标码率设置成与可用带宽相等，或者小于可用带宽，以预留冗余保证可靠性。而目标帧率则可以综合可用带宽、编码器性能和想要达到的图像质量等因素进行设置，一般可以取经验值。

这里每帧的目标码流等于每帧编码所需的比特(bit)数，例如，目标码率为1Mbps，目标帧率为25帧/秒，则每帧的目标码流为(1/25Mbit)/帧。

本实施例中，编码器目标码率的控制部分与现有技术相同，具体可以根据实际可用的网络带宽资源，更新编码器的目标码率，使得编码器调整输出码率，以适应网络环境，防止码率过大而造成的网络拥塞，以及网络环境良好时带宽资源的浪费。后续对目标码率的控制不再进行描述。

步骤403，预测编码器所编码的视频图像将要跳帧的数目。

本步骤中，可以根据现有的技术方案，如根据编码器的输入图像复杂度或编码器输出视频码流的大小等情况预测图像将要跳帧的数目。例如，编码器当前输入的图像比较复杂，用了较多的比特进行编码，那么为了保证实际输出码率不超过目标码率，则需要对下一时刻的帧进行跳帧处理，且当前输入的图像用越多的比特进行编码，则下一时刻跳帧的数目越多。同样，如果编码器输出视频码流较大，则表示当前输出帧用了较多比特进行编码，需要进行跳帧处理。

步骤404，根据当前可用网络带宽资源以及跳帧的数目获得需要调整的目标帧率级数，这里目标帧率被分为若干级，便于逐级调整，根据需要调整的帧率级数获取需要更新的目标帧率。

本步骤中，设置大小不同的多级目标帧率；其中，所述多级目标帧率中的最大值不超过所述编码器输出视频码流的可用传输带宽所承受的范围，至于分级多少级以及各级之间的间隔这里不做限定。然后根据预测的跳帧数对当前的目标帧率进行调整，当跳帧数较大时将目标帧率进行下调，当跳帧数较小时将目标帧率进行上调。

步骤405，将更新后的目标帧率反馈给编码器作为码率控制参数。

下面分析图4所示的方案所能达到的效果：假设初始目标码率为1Mbps，初始帧率为25帧/秒，则初始时的每帧的目标帧流为(1/25Mbit)/帧。假设某一秒的第1帧图像比较复杂需要用5/25Mbit，则由于目标码率是1Mbps，为了使实际输出码率不超过1Mbps，需要跳四帧，即第2、3、4和5帧被跳过，如果第6帧仍比较复杂需要用5/25Mbit，则需要再跳四帧，即第7、8、9和10帧被跳过。而根据本发明的上述方案，预测到第1帧图像比较复杂需要用5/25Mbit，根据初始的目标帧率需要跳四帧，该跳帧数目较大，将目标帧率下调至20帧/秒，则此时每帧的目标帧流为(1/20Mbit)/帧，此时第1帧用5/25Mbit编码后，为了不使输出码率超过1Mbps，要跳三帧，即第2、3和4帧被跳过，对第5帧进行编码，如果第5帧比较复杂需也要用5/25Mbit，则需要再跳三帧，即第6、7和8帧被跳过。通过比较可以看出，利用现有方案需要一次跳四帧，而根据本方面的方案下调目标帧率后，一次跳帧会减少至三帧，即一次大的跳帧数被分配到一段时间内进行多次跳帧。那么假设按现有的方案2秒内跳10帧，而这10帧均在第1秒内连续被跳过，第二秒没有跳帧，则第1秒和第2秒的帧率的差别将会很大；而根据本发明的方案一次大的跳帧数被分配到一段时间内进行多次跳帧，结果是第1秒内跳4帧，第2秒内跳6帧，则第1秒和第2秒的帧率差别不会太大。这显然可以减轻图像中运动的人或物体跳动和闪烁的主观感受。

上述步骤404中提到，根据当前可用网络带宽资源以及跳帧的数目获得需要调整的目标帧率级数。这里当前可用网络带宽资源对目标帧率调整的影响是间接的，主要是可用网络带宽资源影响目标码率，而目标码率会影响跳帧数，跳帧数影响目标帧率的调整。例如，在上述说明本发明的方案将一次大的跳帧数分配到一段时间内进行多次跳帧的例子中，如果当前可用网络带宽资源减少，目标码率变为0.8Mbps，则跳帧数会进一步增加，需要进一步降低目标帧率。

通过图4所示的方案使得：在网络状况较差时，逐级降低编码器的目标帧率，这相当于将一次大的跳帧数均匀地分配到一段时间内，以获得输出帧率的平稳，并且分配给每帧图像的目标码率增多，提高了图像的质量。在网络状况较好时，不仅可以进行逐步提高目标码率，而且对目标帧率进行逐级向上调整。这样输出帧率就不会像图1所示那样剧烈波动，相反，在场景持续地大运动量变换时，经过目标帧率的自适应可以达到图5所示的情况。图5是本发明实施例中编码器输出帧率变化的时间坐标图。参见图5，可以看出，本发明的方案可以使得编码器输出帧率的波动变得平缓，从而避免图像忽快忽慢以及闪烁跳跃的现象，使得视频图像变得流畅。

在上述步骤404中提到，设置大小不同的多级目标帧率，根据每次预测的跳帧数只上调或下调一级目标帧率。此外，还可以在连续预测若干次跳帧数后根据若干次预测的结果去调整目标帧率的级数。这样可以使得对目标帧率的调整更加符合网络状况的趋势。

图6是本发明实施例中调整目标帧率的流程图。如图6所示，包括以下步骤：

步骤601，初始时，根据网络可用带宽资源设置目标帧率的初始值。

本实施例中，假设目标帧率最大为25帧/秒，每隔一帧为一级，则目标帧率可以为、25、23、21、19、17、......，单位为：帧/秒。步骤601中，假设初始目标帧率为19帧/秒。

步骤602，获取连续N次预测的跳帧数。

本步骤中，N为自然数，可以为1、2、3、4、.....，本实施例中设N＝3。例如，编码器输出的第1帧图像比较复杂，占用了较多的比特进行编码，接下来需要跳2帧图像；跳2帧之后第4帧的图像仍复杂，占用了较多的比特进行编码，需要跳1帧；跳1帧之后第6帧的图像更加复杂，需要跳3帧；则3次预测的跳帧数依次为2、1和3帧。

步骤603，判断所述连续N次预测的跳帧数是否均大于第一预设值，是则执行步骤606，否则执行步骤604。

本实施例中所述第一预设值取4。

步骤604，判断所述连续N次预测的跳帧数是否均小于第二预设值，是则执行步骤607，否则执行步骤605。

本实施例中所述第一预设值取2。

步骤605，保持当前目标帧率不变，执行步骤608。

本步骤中，目标帧率仍保持19帧/秒。

步骤606，将目标帧率下调一级，执行步骤608。

本步骤中，目标帧率从19帧/秒调至17帧/秒。

步骤607，将目标帧率上调一级，执行步骤608。

本步骤中，目标帧率从19帧/秒调至21帧/秒。

步骤608，将调整后的目标帧率输出给编码器，执行步骤602。

当然除了上述根据N次预测的跳帧数是否均大于或者小于预设值来进行判断并逐级调整外，还可以有其他算法来进行逐级调整，比如说N次预测后所得到的平均值是否大于或者小于预设值等等。上述N次预测也可以不是连续进行的。

图7是本发明实施例一种视频编码器的组成结构框图。如图7所示，该编码器包括：编码模块701、跳帧数预测模块702和目标帧率调整模块703，其中，

编码模块701，用于根据目标帧率调整模块703发送的目标帧率进行视频编码处理；

跳帧数预测模块702，用于预测编码模块所编码的视频图像将要跳帧的数目，并发送给目标帧率调整模块702；

目标帧率调整模块703，用于设置目标帧率的初始值并发送给编码模块701，用于根据所接收的跳帧数目逐级调整目标帧率的值后发送给编码模块701。

在图7中，目标帧率调整模块703，用于预测编码器输出视频码流的可用传输带宽，根据所述预测的可用传输带宽设置编码器的目标帧率的初始值。

在图7中，跳帧数预测模块702用于，用于根据编码模块的输入视频图像复杂度和输出视频码流大小，预测视频图像将要跳帧的数目。

在图7中，跳帧数预测模块702，用于N次预测视频图像将要跳帧的数目，并发送给目标帧率调整模块，N为自然数；

目标帧率调整模块703包括：帧率等级设置子模块704和目标帧率确定子模块705，其中，

帧率等级设置子模块704，用于设置大小不同的多级目标帧率，并通知目标帧率确定子模块704；其中，所述多级目标帧率中的最大值不超过所述编码模块输出视频码流的可用传输带宽所承受的范围；

目标帧率确定子模块704，用于接收跳帧数预测模块702发送的N次预测的跳帧数；当所述N次预测的跳帧数均大于第一预设值时，将目标帧率下调一级后发送给编码模块701；当所述N次预测的跳帧数均小于第二预设值时，将目标帧率上调一级后发送给编码模块701；当所述N次预测的跳帧不满足上述两种条件时，保持当前目标帧率不变。

综上所述，本发明这种设置编码器的目标帧率的初始值，预测编码器所编码视频图像将要跳帧的数目，根据所述预测的跳帧数目调整所述编码器的目标帧率的技术方案，使得目标帧率能够自适应网络，提高了视频图像的质量

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种视频编码方法，其特征在于，该方法包括：

设置编码器的目标帧率的初始值，使得编码器根据所述设置的目标帧率初始值进行视频编码处理；

预测编码器所编码的视频图像将要跳帧的数目；

根据所述预测的跳帧数目逐级调整所述编码器的目标帧率，使得编码器根据所述调整后的目标帧率进行视频编码处理。

2、如权利要求1所述的方法，其特征在于，所述将编码器的目标帧率设置为初始值包括：

预测编码器输出视频码流的可用传输带宽，根据所述预测的可用传输带宽设置编码器的目标帧率的初始值。

3、如权利要求1所述的方法，其特征在于，所述预测编码器所编码的视频图像将要跳帧的数目包括：根据编码器输入视频图像的复杂度或输出视频码流大小，预测视频图像将要跳帧的数目。

4、如权利要求1、2或3所述的方法，其特征在于，所述预测视频图像将要跳帧的数目为：N次预测视频图像将要跳帧的数目，N为自然数。

5、如权利要求4所述的方法，其特征在于，根据所述根据预测的跳帧数目逐级调整所述编码器的目标帧率包括：

设置大小不同的多级目标帧率；其中，所述多级目标帧率中的最大值不超过所述编码器输出视频码流的可用传输带宽所承受的范围；

当所述N次预测的跳帧数均大于第一预设值时，将编码器的目标帧率下调一级；

当所述N次预测的跳帧数均小于第二预设值时，将编码器的目标帧率上调一级；

当所述N次预测的跳帧数不满足上述两种条件时，保持编码器的当前目标帧率不变。

6、一种视频编码器，其特征在于，该编码器包括：编码模块、跳帧数预测模块和目标帧率调整模块，其中，

编码模块，用于根据目标帧率调整模块发送的目标帧率进行视频编码处理；

跳帧数预测模块，用于预测编码模块所编码的视频图像将要跳帧的数目，并发送给目标帧率调整模块；

目标帧率调整模块，用于设置目标帧率的初始值并发送给编码模块，用于根据所接收的跳帧数目逐级调整目标帧率的值后发送给编码模块。

7、如权利要求6所述的视频编码器，其特征在于，

所述目标帧率调整模块，用于预测编码器输出视频码流的可用传输带宽，根据所述预测的可用传输带宽设置编码器的目标帧率的初始值。

8、如权利要求6所述的视频编码装置，其特征在于，

所述跳帧数预测模块用于，根据编码模块的输入视频图像复杂度或输出视频码流的大小，预测视频图像将要跳帧的数目。

9、如权利要求6、7或8所述的视频编码装置，其特征在于，

所述跳帧数预测模块，用于N次预测视频图像将要跳帧的数目，并发送给目标帧率调整模块，N为自然数。

10、如权利要求9所述视频编码装置，其特征在于，所述目标帧率调整模块包括：帧率等级设置子模块和目标帧率确定子模块，其中，

帧率等级设置子模块，用于设置大小不同的多级目标帧率，并通知目标帧率确定子模块；其中，所述多级目标帧率中的最大值不超过所述编码模块输出视频码流的可用传输带宽所承受的范围；

目标帧率确定子模块，用于接收跳帧数预测模块发送的N次预测的跳帧数；当所述N次预测的跳帧数均大于第一预设值时，将目标帧率下调一级后发送给编码模块；当所述N次预测的跳帧数均小于第二预设值时，将目标帧率上调一级后发送给编码模块；当所述N次预测的跳帧不满足上述两种条件时，保持当前目标帧率不变。

Images