CN112822505B

CN112822505B - 音视频丢帧方法、装置、系统、存储介质和计算机设备

Info

Publication number: CN112822505B
Application number: CN202011637767.7A
Authority: CN
Inventors: 程文波; 葛天杰; 张�林; 孟环宇
Original assignee: Hangzhou Xingxi Technology Co ltd
Current assignee: Hangzhou Xingxi Technology Co ltd
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2023-03-03
Anticipated expiration: 2040-12-31
Also published as: CN112822505A

Abstract

本发明公开了一种音视频丢帧方法、装置、系统、存储介质和计算机设备，用于提高视频接收端的视频质量；本发明通过对不同类型帧设置相应权重系数，根据设置的权重系数、以及对应队列的队列容量，计算出作为丢帧判断依据的丢帧判断阈值，在任一类型帧的发送时刻，计算队列中该类型帧中两帧时间戳的最大时间间隔差值，再将最大时间间隔差值与该类型帧对应的丢帧判断阈值进行比较，若最大时间间隔差值大于丢帧判断阈值，则执行丢帧操作。

Description

音视频丢帧方法、装置、系统、存储介质和计算机设备

技术领域

本发明涉及音视频丢帧技术领域，特别涉及一种音视频丢帧方法、装置、系统、存储介质和计算机设备。

背景技术

视频直播是指利用互联网及流媒体技术进行直播，视频因融合了图像、文字、声音等丰富元素，声形并茂，效果极佳，逐渐成为互联网的主流表达方式。

在网络条件不理想的情况下，视频直播画面可能会出现卡顿，造成观众的体验不佳；在现有技术中，为了改善观众端的视频质量，一般采取对音视频数据进行丢帧处理，丢帧策略比较单一笼统，可能对视频质量影响较大。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种音视频丢帧方法、装置、系统、存储介质和计算机设备，通过对不同音视频帧进行权重配比，在进行丢帧处理时，根据权重对帧数据进行丢弃，降低对视频接收端视频质量的影响。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种音视频丢帧方法，所述方法包括：

确定音视频流中的每个类型帧对应的权重系数；

根据每个类型帧的权重系数、对应队列的队列容量，计算出每个类型帧对应的丢帧判断阈值；

在任一类型帧的发送时刻，若队列中该类型帧中两帧时间戳的最大时间间隔差值大于该类型帧对应的丢帧判断阈值，则执行丢帧操作。

可优选的，所述类型帧至少包括第一类型帧以及第二类型帧，所述丢帧操作包括：

若所述第一类型帧的权重系数大于所述第二类型帧的权重系数，则将队列中第二类型帧按照时间戳由大到小进行依次丢弃。

可优选的，所述类型帧至少包括第一类型帧以及第二类型帧，第二类型帧根据重要程度排序设立二级权重，所述丢帧操作包括：

若所述第一类型帧的权重系数大于所述第二类型帧的权重系数，则将队列中第二类型帧按照二级权重由小到大进行依次丢弃。

可优选的，所述方法针对至少包括第一类型帧和第二类型帧的重要度不同，设计出至少两个队列容器，将第一类型帧、第二类型帧、以及其他类型帧分开计算以降低丢帧判断的计算量。

可优选的，所述方法还包括：

在每执行一次丢帧操作之后，重复计算队列中所丢类型帧中当前两帧时间戳的最大时间间隔差值，再与该类型帧对应的丢帧判断阈值进行比较，直至队列中该类型帧中两帧时间戳的最大时间间隔差值不大于该类型帧对应的丢帧判断阈值时停止丢帧操作。

可优选的，所述方法还包括：

计算队列中每个类型帧的堆积比，所述堆积比为任一类型帧中当前两帧时间戳的最大时间间隔差值与该类型帧丢帧判断阈值的比值；

根据堆积比与回置窗口高度之间预设的对应关系确定每个类型帧对应的回置窗口高度；

在每执行一次丢帧操作之后，重复计算队列中所丢类型帧中当前两帧时间戳的最大时间间隔差值，若所述最大时间间隔差值小于该类型帧对应的丢帧判断阈值与回置窗口高度的差值时，则停止丢帧操作。

回置窗口高度随着堆积比动态调整的逻辑如下：

当堆积比小于等于1时，回置窗口高度为0；

当堆积比大于1、且多出部分介于N倍丢帧阶梯系数至N+1倍丢帧阶梯系数之间，则回置窗口高度为N+1倍丢帧阶梯系数，N取0,1,2，……。

第二方面，本申请提供了一种音视频丢帧装置，所述音视频丢帧装置包括：

确定模块，用于确定音视频流中的每个类型帧对应的权重系数；

计算模块，用于根据每个类型帧的权重系数、队列的队列容量，计算出每个类型帧对应的丢帧判断阈值；

丢帧模块，用于在任一类型帧的发送时刻，若队列中该类型帧中两帧时间戳的最大时间间隔差值大于该类型帧对应的丢帧判断阈值，则执行丢帧操作。

第三方面，本申请提供了一种音视频丢帧装置，所述音视频丢帧装置包括：

外部动态参数设置器，用于设置音频帧和视频帧的权重系数、以及设置丢帧判断阈值参数；

参数收集器，用于将丢帧判断相关的参数进行收集，参数包括权重系数、队列容量、丢帧判断阈值参数；

参数计算器，用于将收集到的参数根据计算规则得到各类型帧的丢帧判断阈值；

丢帧判定器，用于先寻找该类型帧丢帧判断阈值，再计算队列中该类型帧中两帧时间戳的最大时间间隔差值，根据丢帧判定原则对最大时间间隔差值与丢帧判断阈值进行比较判断；

丢帧执行器，用于当丢帧判定器判断出进行丢帧操作，则将队列中该类型帧按照时间戳由大到小进行依次丢弃，每丢弃一次该类型帧将反馈给参数计算器和丢帧判定器，重复计算队列中所丢类型帧中当前两帧时间戳的最大时间间隔差值并进行丢帧判定。

第四方面，本申请提供了一种应用上述音视频丢帧装置的丢帧系统，所述丢帧系统包括依次电连接的编码器输出装置、帧接收装置、音视频丢帧装置、发送装置。

第五方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现上述第一方面任一所述的音视频丢帧方法步骤。

第五方面，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述第一方面任一所述的音视频丢帧方法步骤。

综上所述，本发明对比于现有技术的有益效果为：对音视频帧中的不同类型帧进行权重设计，依据上述丢帧方法的弃帧顺序逻辑，权重越低的帧越先被丢弃，并且可进一步对第二类型帧设立二级权重，丢帧的时候能够做到更加精细化；或者队列中时间戳越大的帧(后入队列的)会被先丢弃；其中，丢帧判断加入回置窗口高度，整体丢帧操作执行来看，由于增加了回置窗口，丢帧时间位于阈值临界点附近时的丢帧抖动现象能被大大消除，应对网络波动的情况，基本上一次丢帧就能覆盖一次网络波动时间；并且从丢帧数量与网络波动的匹配关系来看，由于丢帧时丢帧数量参照堆积比，即回置窗口高度取决于堆积比，将网络的状态与丢帧操作进行了很好的匹配，使得该丢帧数量的大小衡量更加精确，总体上呈现网络拥塞情况越严重,丢帧数量增大；网络拥塞较轻，丢帧数量减小的状态。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为实施例中音视频丢帧方法流程图；

图2为实施例中丢帧操作示意图；

图3为实施例中丢帧系统的系统框架图；

图4为实施例中音视频丢帧装置的框架图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。说明书中的“实施例”或“实施方式”既可表示一个实施例或一种实施方式，也可表示一些实施例或一些实施方式的情况。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种音视频丢帧方法、装置、系统、存储介质和计算机设备。

需要说明的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面对本发明中所涉及的技术术语进行简单描述，以便相关人员更好的理解本方案。

一种音视频丢帧方法，参照图1所示，所述音视频丢帧方法包括：

S101，确定音视频流中的每个类型帧对应的权重系数；

类型帧至少包括第一类型帧和第二类型帧，存在着两种丢帧操作方法。

丢帧操作方法一：

丢帧操作方法二：

第二类型帧根据重要程度排序设立二级权重；

上述类型帧至少包括第一类型帧以及第二类型帧，在现有的设计中，但不局限于此种设计方式，例如，第一类型帧设计为音频帧、第二类型帧设计为视频帧，音频帧的权重系数大于视频帧的权重系数；又例如，第一类型帧设计为视频帧、第二类型帧设计为编码帧，编码帧具体分为P帧、I帧、B帧，I帧的权重系数大于P帧的权重系数。进一步地，每一组GOP图像中的P帧还可以再进行重要程度排序，如设立二级权重，按照二级权重由小到大进行依次丢弃P帧，使丢帧更加精细化。

S102，根据每个类型帧的权重系数、对应队列的队列容量，计算出作为丢帧判断依据的每个类型帧的丢帧判断阈值。

丢帧判断阈值的设计参考了设计的权重系数，队列的队列容量，计算出作为丢帧判断依据的每个类型帧的丢帧判断阈值，丢帧判断阈值计算的同时会加入丢帧判断阈值参数。

可选的，丢帧判断阈值可通过上述权重系数、队列容量、丢帧判断阈值参数三者的乘积获得。

S103，在任一类型帧的发送时刻，若队列中该类型帧中两帧时间戳的最大时间间隔差值大于该类型帧对应的丢帧判断阈值，则执行丢帧操作。

上述该类型帧中两帧时间戳的最大时间间隔差值可为最靠后的该类型帧时间戳与最靠前的该类型帧时间戳的差值，也可为队列中靠后位置的该类型帧的时间戳差值，即可为队列中该类型帧不同位置的时间戳差值，具体根据实际情况设计得到。

在每进行一次丢帧操作之后，重复计算队列中所丢类型帧中当前两帧时间戳的最大时间间隔差值，再与丢帧判断阈值进行比较，判定是得到该类型帧发送操作指令或该类型帧丢帧操作指令，直至队列中该类型帧中两帧时间戳的最大时间间隔差值不大于该类型帧对应的丢帧判断阈值时停止丢帧操作。

值得说明的是，在执行丢帧过程中，先对权重系数最低的类型帧进行丢帧操作，直至所丢类型帧中当前两帧时间戳的最大时间间隔差值不大于该类型帧对应的丢帧判断阈值。若此时网络仍然存在拥塞情况，则对权重系数次低的类型帧进行丢帧操作。这样，以帧类型的权重系数为第一优先条件、各类型帧对应的丢帧判断阈值为第二优先条件进行丢帧判断并执行丢帧操作，可以减少丢帧对视频质量的影响。

示例地，在本实施例中，类型帧包括P帧、I帧，其中I帧的权重系数大于P帧的权重系数，则在网络拥塞的情况下，可以先对P帧进行丢帧判断并执行丢帧操作，在P帧满足两帧时间戳的最大时间间隔差值不大于P帧对应的丢帧判断阈值，且网络仍然存在拥塞情况时，才对I帧进行丢帧判断并执行丢帧操作，直至I帧满足两帧时间戳的最大时间间隔差值不大于I帧对应的丢帧判断阈值。

另外，为应对网络波动的情况，及位于阈值临界点附近时的丢帧抖动现象，丢帧判断引入了回置窗口高度，由此延伸出两种回置窗口高度应用逻辑，分别为回置窗口高度固定和动态调整。

回置窗口高度固定：单纯引入一个回置窗口高度，时间戳差值与丢帧判断阈值进行比较，直到时间戳差值小于丢帧判断阈值与回置窗口高度的差值得到对应类型帧发送操作指令。

回置窗口高度动态调整：回置窗口高度可根据队列中该类型帧中两帧时间戳的最大时间间隔差值与丢帧判断阈值的实际情况进行动态调整，直到队列中该类型帧中两帧时间戳的最大时间间隔差值小于丢帧判断阈值与回置窗口高度的差值得到对应类型帧发送操作指令；

目前设计出一套判定逻辑，但不局限于此，即回置窗口高度随着堆积比动态调整，堆积比为队列中该类型帧中两帧时间戳的最大时间间隔差值与丢帧判断阈值的比值；具体的判定逻辑如下：

当堆积比小于等于1时，回置窗口高度为0；

根据上述描述设计逻辑和描述内容，具体的音视频帧的设计过程如下：

1、权重表设计

音视频流媒体发送主要包含音频流与视频流，音频流主要包含音频帧，视频流常用的编码方式为H.264，主要包含P帧、I帧、B帧。

本方案将音频帧与视频帧统一纳入帧权重表，给定不同的权重系数；按照经验，音频帧由于人耳对于断续的音频流极为敏感、包数据量较小等特点，给予较高的权重系数；I帧作为关键帧，能独立解码，且作为P帧、B帧的解码参考，重要程度也相对较高，也给予较高的权重系数，按照经验得出弱网下推流效果较好的帧权重表参考如表1所示：

音/视频帧	帧类型	权重系数a(0-10)
			音频	音频帧	8
视频	I帧	6
			视频	P帧	3

表1

2、丢帧判断阈值的确定

本发明使用丢帧判断阈值作为丢帧判断依据，对网络拥塞情况描述更加直白、准确、灵敏。

丢帧判断阈值T的设计考虑帧权重系数a、队列容量n(n通常≥200)、丢帧判断阈值参数p，设计计算公式如下：T＝p*a*n。

丢帧判断阈值参数p的经验值通常为0.002左右，此时，帧权重表更新如下述表2所示。

表2

3、缓冲队列

基于本方案的丢帧策略，音频帧往往重要度较高、不容易被丢弃，设计两个队列容器，一个作为音频帧发送缓冲，一个作为视频帧发送缓冲，如此可以大大降低丢帧判断算法的计算量。

缓冲队列可以采取的形式包括但不限于数组、列表、队列、链表等数据结构，通常采用先进先出的FIFO；如此，在每次计算丢帧判定时，可以将音频帧与视频帧分开计算。

4、丢帧判断与丢帧操作，整个丢帧过程可参考图2所示

在任一帧的发送时刻，先进行该类型帧的丢帧判定策略执行，具体的判定逻辑如下：

1、根据该帧类型，在表中寻找丢帧判断阈值T；

2、根据音视频帧类型，统计对应队列中该类型帧的总时长S；

总时长S的计算方法为：寻找队列中最靠前的该类型时间戳F1与队列中最靠后的该类型时间戳F2，计算两帧时间戳的时间间隔Δ值即为S，S＝F2-F1；

3、将计算所得的总时长S与丢帧判断阈值T做比较，若S≥T,则发生丢帧操作，丢帧的执行逻辑为按照队列中该类型帧的时间顺序从后往前进行依次丢弃，每丢弃一次重复计算当前总时长S,再和丢帧判断阈值T进行比较，直到S满足S＜T-M。

其中，M为回置窗口高度，M的大小直接反映了该丢帧的数量，同时，M在一定程度上取决于S与T的比值，即堆积比Q，堆积比计算方法为Q＝S/T。

现引入丢帧阶梯系数step，用于动态调整M的大小，以下举例但不限定，见表3。

堆积比Q	回置窗口高度M
		≤1	M＝0，不丢帧
1＜Q≤1+step	M＝step，丢帧到(1-M)
		1+step＜Q≤1+2*step	M＝2*step，丢帧到(1-M)
依次类推	……

表3

基于上述本申请内容，创新点可总结如下：

1、采用帧权重系数表来描述音视频帧的重要程度、丢帧优先级、计算丢帧容限度阈值，采取了帧权重系数、丢帧判断阈值参数p、丢帧阶梯系数step、回置窗口高度M、丢帧判断阈值T等量化系数来精确描述丢帧操作；

2、基于本方案的丢帧策略，音频帧往往重要度较高、不容易被丢弃，设计两个队列容器，一个作为音频帧发送缓冲，一个作为视频帧发送缓冲，如此可以大大降低丢帧判断算法的计算量；

3、使用丢帧判断阈值作为丢帧判断依据，对网络拥塞情况描述更加直白、准确、灵敏，且丢帧时，能立即刷新当前总时长并与丢帧判断阈值再次比较，控制反应速度极快；

4、丢帧时，丢帧数量参照堆积比，能更加准确的衡量该丢帧数量的大小，将网络的状态与丢帧操作进行了很好的匹配，对于不同网络的拥塞程度具备较好的自适应性；网络拥塞情况越严重，丢帧数量增大，网络拥塞较轻，丢帧数量减小；

5、基于丢帧判断阈值，执行丢帧操作时使用回置窗口的设计，每次丢帧后留有一定余量，能大大减少丢帧操作反复进行的情况；

6、帧权重、丢帧判断阈值参数能动态调整，算法具备较好的适应性。

在其中一个实施例中，提供了一种音视频丢帧装置，音视频丢帧装置包括：

在其中一个实施例中，提供了一种音视频丢帧装置，参照图4所示，音视频丢帧装置包括：

外部动态参数设置器1401，用于设置音频帧和视频帧的权重系数、以及设置丢帧判断阈值参数；

参数收集器1402，用于将丢帧判断相关的参数进行收集，参数包括权重系数、队列容量、丢帧判断阈值参数；

参数计算器1403，用于将收集到的参数根据计算规则得到各类型帧的丢帧判断阈值；

丢帧判定器1404，用于先寻找该类型帧丢帧判断阈值，再计算队列中该类型帧中两帧时间戳的最大时间间隔差值，根据丢帧判定原则对最大时间间隔差值与丢帧判断阈值进行比较判断；

丢帧执行器1405，用于当丢帧判定器判断出进行丢帧操作，则将队列中该类型帧按照时间戳由大到小进行依次丢弃，每丢弃一次该类型帧将反馈给参数计算器和丢帧判定器，重复计算队列中所丢类型帧中当前两帧时间戳的最大时间间隔差值并进行丢帧判定。

在其中一个实施例中，提供了一种应用上述音视频丢帧装置的丢帧系统，参照图3所示，丢帧系统包括依次电连接的编码器输出装置120、帧接收装置130、音视频丢帧装置140、发送装置150。

在其中一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现上述任一的音视频丢帧方法。

在其中一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一的音视频丢帧方法。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种音视频丢帧方法，其特征在于，所述方法包括：

确定音视频流中的每个类型帧对应的权重系数；

根据每个类型帧的权重系数、队列的队列容量，计算出每个类型帧对应的丢帧判断阈值；

在任一类型帧的发送时刻，若队列中该类型帧中两帧时间戳的最大时间间隔差值大于该类型帧对应的丢帧判断阈值，则执行丢帧操作；

丢帧判断以类型帧的权重系数为第一优先条件、各类型帧对应的丢帧判断阈值为第二优先条件进行。

2.根据权利要求1所述的一种音视频丢帧方法，其特征在于，所述类型帧至少包括第一类型帧以及第二类型帧，所述丢帧操作包括：

3.根据权利要求1所述的一种音视频丢帧方法，其特征在于，所述类型帧至少包括第一类型帧以及第二类型帧，第二类型帧根据重要程度排序设立二级权重，所述丢帧操作包括：

4.根据权利要求1-3中任一项所述的一种音视频丢帧方法，其特征在于，所述方法还包括：

5.根据权利要求1-3中任一项所述的一种音视频丢帧方法，其特征在于，所述方法还包括：

6.一种音视频丢帧装置，其特征在于，所述音视频丢帧装置包括：

丢帧模块，用于在任一类型帧的发送时刻，若队列中该类型帧中两帧时间戳的最大时间间隔差值大于该类型帧对应的丢帧判断阈值，则执行丢帧操作；

7.一种音视频丢帧装置，其特征在于，所述音视频丢帧装置包括：

丢帧判断以类型帧的权重系数为第一优先条件、各类型帧对应的丢帧判断阈值为第二优先条件进行；

丢帧执行器，用于当丢帧判定器判断出执行丢帧操作，则将队列中该类型帧按照时间戳由大到小进行依次丢弃，每丢弃一次该类型帧将反馈给参数计算器和丢帧判定器，重复计算队列中所丢类型帧中当前两帧时间戳的最大时间间隔差值并进行丢帧判定。

8.一种应用权利要求6或7所述的音视频丢帧装置的丢帧系统，其特征在于，所述丢帧系统包括依次电连接的编码器输出装置、帧接收装置、音视频丢帧装置、发送装置。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一权利要求所述的方法步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一权利要求所述的方法步骤。