CN107360424B

CN107360424B - 一种基于视频编码器的码率控制方法、装置及视频服务器

Info

Publication number: CN107360424B
Application number: CN201710632656.9A
Authority: CN
Inventors: 朱力
Original assignee: Arashi Vision Co Ltd
Current assignee: Insta360 Innovation Technology Co Ltd
Priority date: 2017-07-28
Filing date: 2017-07-28
Publication date: 2019-10-25
Anticipated expiration: 2037-07-28
Also published as: JP7009610B2; JP2020528242A; US20210092400A1; EP3661205A1; CN107360424A; EP3661205A4; US11190773B2; WO2019019931A1

Abstract

本发明适用于视频领域，提供了一种基于视频编码器的码率控制方法、装置及视频服务器。所述方法包括以下步骤：在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改；将修改时间戳后的帧传送给视频编码器；对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳。本发明不会出现因为编码中断而造成的卡顿，切换过程非常平滑。

Description

一种基于视频编码器的码率控制方法、装置及视频服务器

技术领域

本发明属于视频领域，尤其涉及一种基于视频编码器的码率控制方法、装置及视频服务器。

背景技术

在直播应用中，推送直播流时，由于网络带宽存在波动，根据当前带宽实时控制视频编码器输出码率，从而自动适应带宽尤为重要。目前存在多种算法，主要方向在于进行更准确的带宽估算以及更优的码率控制策略，但是却没有研究，当需要切换输出码率时，应该如何使视频编码器完成码率的切换，并且保证编码不被中断。

目前各类直播平台各类视频编码器，在编码参数控制上，一般提供恒定码率编码(Constant Bit Rate，CBR)或可变码率编码(Variable Bit Rate，VBR)，恒定码率编码的编码输出码率基本不变，可变码率编码会根据内容进行变化。但不论哪种方式，都不能在编码过程中，由软件实时修改和控制编码码率。

所以目前动态码率控制的常见方案是，关闭原有视频编码器实例，再重新创建新视频编码器实例，配置新视频编码器的码率为需要切换的码率，通过新创建的视频编码器组件来实现新码率参数的应用。

然而，这种方式存在的问题是，在资源有限的平台上，视频编码器实例并不能任意创建，这时，必须先关闭原有视频编码器，再创建配置启动新的视频编码器，这个过程需要执行以下步骤：

1.等待原来的视频编码器所有编码帧完成编码并输出；

2.关闭原来的视频编码器；

3.创建并配置和启动新的视频编码器；

4.将最新要编码的数据传送到新视频编码器上，开始应用新码率编码。

由于上述过程中不能进行编码，将造成切换码率时，待编码的帧只能等待新视频编码器初始化完成，因此输出视频流会卡顿。如果实时待编码帧无法暂存或暂存空间无效，在切换期间，这些帧只能被丢弃，那么最终编码画面会出现跳帧。

发明内容

本发明的目的在于提供一种基于视频编码器的码率控制方法、装置及视频服务器，旨在解决目前先关闭原有视频编码器，再创建配置启动新的视频编码器的动态码率控制方案，导致输出视频流会卡顿，且实时待编码帧在切换期间可能被丢弃，使编码画面会出现跳帧的问题。

第一方面，本发明提供了一种基于视频编码器的码率控制方法，包括以下步骤：

在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改；

将修改时间戳后的帧传送给视频编码器；

对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳。

第二方面，本发明提供了一种基于视频编码器的码率控制装置，所述装置包括：

修改模块，用于在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改；

传送模块，用于将修改时间戳后的帧传送给视频编码器；

恢复模块，用于对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于视频编码器的码率控制方法的步骤。

第三方面，本发明提供了一种视频服务器，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的基于视频编码器的码率控制方法的步骤。

在本发明中，由于在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改；对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳，从而控制视频编码器的输出帧的实际码率。不需要关闭原来的视频编码器，创建和配置新视频编码器，不会因为重开过程，造成编码中断，在直播等实时性强的应用场景中，不会出现因为编码中断而造成的卡顿，切换过程非常平滑。

附图说明

图1是本发明实施例一提供的基于视频编码器的码率控制方法流程图。

图2是本发明实施例二提供的基于视频编码器的码率控制装置的示意图。

图3是本发明实施例四提供的视频服务器的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的基于视频编码器的码率控制方法包括以下步骤：

S101、在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改。

在本发明实施例一中，S101具体为：

在视频播放的过程中，当需要将第一码率切换至第二码率时，将第一码率对应的第一相邻帧时间戳间隔修改为第二码率对应的第二相邻帧时间戳间隔，其中，第二码率与第一码率的比例和第二相邻帧时间戳间隔与第一相邻帧时间戳间隔的比例相等；

根据已经传送给视频编码器的最近一帧的实际时间戳和第二相邻帧时间戳间隔修改当前帧的时间戳。

在本发明实施例一中，S101之前，所述方法还包括以下步骤：

在视频编码器初始化阶段，配置固定的帧率和码率，按照正确的时间戳传送帧给视频编码器进行编码；

视频编码器按照配置的码率进行编码，输出视频，输出的视频码率和配置的码率一致。

正确的时间戳是指相邻帧时间戳间隔与帧率对应，这时视频编码器输出的视频码率和配置的码率一致

S102、将修改时间戳后的帧传送给视频编码器；

S103、对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳。

在本发明实施例一中，S103具体可以包括以下步骤：

创建正确的时间戳和修改后的时间戳的映射表；

将进行修改的帧的原始时间戳和修改后的时间戳相应添加到所述映射表；

对于视频编码器输出的每帧，根据接收到的帧标记的时间戳，从所述映射表中查找，找到对应的原始时间戳；

将输出帧的时间戳恢复为原始时间戳。

由于传送给视频编码器的每帧实际时间戳发生改变，造成实际传送给视频编码器的帧率发生改变，最终视频编码器的码率控制被影响。

下面举例说明如下：

假设刚开始需要编码帧率30帧/秒，输出码率2Mbps的视频。在中间某个阶段，需要将输出码率由2Mbps切换至4Mbps。

1.创建视频编码器，配置帧率30帧/秒(相应的，相邻帧时间戳间隔是33.33ms)，码率2Mbps；

2.开始传送帧给视频编码器，相邻帧时间戳间隔必须与帧率对应，例如第一帧时间为0ms，第二帧是33.33ms，第三帧是66.66ms，依次类推，这时视频编码器输出的视频码率和配置的码率一致，为2Mbps；

3.当需要将输出码率切换至4Mbps时，按照相邻帧时间戳间隔为66.66ms的方式，修改传送给视频编码器的每帧的时间戳。比如，已经传送给视频编码器的最近一帧的实际时间戳是2000ms，正常情况，下一帧的时间戳为2033.33ms(帧间隔33.33ms)，但为了使帧间隔达到66.66ms，修改当前帧的时间戳为2066.66ms，传送给视频编码器；

4.创建正确的时间戳和修改后的时间戳的映射表；

5.将进行修改的帧的原始时间戳和修改后的时间戳相应添加到所述映射表；

6.对于视频编码器输出的每帧，根据接收到的帧标记的时间戳，从所述映射表中查找，找到对应的原始时间戳；

7.将输出帧的时间戳恢复为原始时间戳。

由于传送给视频编码器的帧，相邻帧时间戳间隔变成了66.66ms，在视频编码器看来，输入帧序列变成了，每秒15帧，之前分配给30帧的输出字节总数(2M bit)，现在分配给15帧，为了保证每秒字节数不变，平均每帧的大小将被增大为原来2倍。

通过上面的方法，可以在编码过程中，任意阶段，控制视频编码器的实际输出码率为实际码率。

在本发明实施例一中，由于在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改；对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳，从而控制视频编码器的输出帧的实际码率。不需要关闭原来的视频编码器，创建和配置新视频编码器，不会因为重开过程，造成编码中断，在直播等实时性强的应用场景中，不会出现因为编码中断而造成的卡顿，切换过程非常平滑。

实施例二：

请参阅图2，本发明实施例二提供的基于视频编码器的码率控制装置包括：

修改模块11，用于在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改；

传送模块12，用于将修改时间戳后的帧传送给视频编码器；

恢复模块13，用于对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳。

在本发明实施例二中，修改模块11具体可以包括：

第一修改子模块，用于在视频播放的过程中，当需要将第一码率切换至第二码率时，将第一码率对应的第一相邻帧时间戳间隔修改为第二码率对应的第二相邻帧时间戳间隔，其中，第二码率与第一码率的比例和第二相邻帧时间戳间隔与第一相邻帧时间戳间隔的比例相等；

第二修改子模块，用于根据已经传送给视频编码器的最近一帧的实际时间戳和第二相邻帧时间戳间隔修改当前帧的时间戳。

在本发明实施例二中，恢复模块13具体可以包括：

创建模块，用于创建正确的时间戳和修改后的时间戳的映射表；

添加模块，用于将进行修改的帧的原始时间戳和修改后的时间戳相应添加到所述映射表；

查找模块，用于对于视频编码器输出的每帧，根据接收到的帧标记的时间戳，从所述映射表中查找，找到对应的原始时间戳；

恢复子模块，用于将输出帧的时间戳恢复为原始时间戳。

实施例三：

本发明实施例三还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的基于视频编码器的码率控制方法的步骤。

实施例四：

图3示出了本发明实施例四提供的视频服务器的具体结构框图，一种视频服务器，包括：

一个或多个处理器101；

存储器102；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，处理器101执行所述计算机程序时实现如本发明实施例一提供的基于视频编码器的码率控制方法的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视频编码器的码率控制方法，其特征在于，包括以下步骤：

将修改时间戳后的帧传送给视频编码器；

对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳；

所述在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改具体为：

2.如权利要求1所述的方法，其特征在于，所述在视频播放的过程中，当需要切换码率时，将切换过程中传送给视频编码器的帧的时间戳进行修改之前，所述方法还包括：

3.如权利要求2所述的方法，其特征在于，所述正确的时间戳是指相邻帧时间戳间隔与帧率对应，使视频编码器输出的视频码率和配置的码率一致。

4.如权利要求1所述的方法，其特征在于，所述对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳具体包括：

创建正确的时间戳和修改后的时间戳的映射表；

将输出帧的时间戳恢复为原始时间戳。

5.一种基于视频编码器的码率控制装置，其特征在于，所述装置包括：

传送模块，用于将修改时间戳后的帧传送给视频编码器；

恢复模块，用于对于视频编码器输出的每帧，将输出帧的时间戳恢复为原始时间戳；

6.如权利要求5所述的装置，其特征在于，所述恢复模块具体包括：

恢复子模块，用于将输出帧的时间戳恢复为原始时间戳。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于视频编码器的码率控制方法的步骤。

8.一种视频服务器，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于视频编码器的码率控制方法的步骤。