CN115802074B

CN115802074B - 一种多路视频传输方法、装置、设备及介质

Info

Publication number: CN115802074B
Application number: CN202211405441.0A
Authority: CN
Inventors: 李兴林; 陈礼波; 李世稳
Original assignee: China United Network Communications Group Co Ltd; China Information Technology Designing and Consulting Institute Co Ltd
Current assignee: China United Network Communications Group Co Ltd; China Information Technology Designing and Consulting Institute Co Ltd
Priority date: 2022-11-10
Filing date: 2022-11-10
Publication date: 2024-03-29
Anticipated expiration: 2042-11-10
Also published as: CN115802074A

Abstract

本申请涉及视频传输领域，尤其涉及一种多路视频传输方法、装置、设备及介质。该方法包括：对多路视频图像分别进行编码处理得到多路视频编码；将多路视频图像的I帧图像数据压入第一缓冲队列，将多路视频编码包括的P帧图像数据和B帧图像数据压入第二缓冲队列；将第一缓冲队列中的图像数据与第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列；其中第三缓冲队列对应多个时间片，预设时间片分配比例用于指示预设的第一缓冲队列与第二缓冲队列占用的时间片的比例；按照先入先出的原则顺序传输第三缓冲队列内的图像数据。使用本方法进行多路视频传输，可以减轻I帧碰撞在接收端导致的画面卡顿、马赛克等影响观看体验的现象。

Description

一种多路视频传输方法、装置、设备及介质

技术领域

本申请涉及视频传输领域，尤其涉及一种多路视频传输方法、装置、设备及介质。

背景技术

随着互联网和通信技术的发展，视频传输在各个行业得到了广泛的应用，在不同设备上进行视频传输也越来越普遍。同时随着运营商提供的网络带宽的增加以及图像采集技术的发展，越来越多的使用者会进行多路视频传输。

多路视频传输过程中，每一路视频编码的不确定性将会导致I帧碰撞的产生；然而由于现阶段的视频传输都是在有限带宽的条件下进行的，带宽资源受限。在带宽资源受限的时候，发生I帧碰撞会导致长时间的网络拥塞，从而造成长时间的花屏、卡顿、马赛克等现象。现有技术对于I帧碰撞大多着手于去改变视频质量，并没有关注多路视频编码的传输过程，这种处理方式过于粗糙，并没有合理的利用视频传输的特性。

发明内容

本申请提供一种多路视频传输方法、装置、设备及介质，能够改善I帧碰撞导致的长时间的网络拥塞。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种多路视频传输方法，该方法包括：

对多路视频图像分别进行编码处理得到多路视频编码；其中一路视频编码包括：I帧图像数据、P帧图像数据和B帧图像数据；

将多路视频图像的I帧图像数据压入第一缓冲队列，将多路视频编码包括的P帧图像数据和B帧图像数据压入第二缓冲队列；

将第一缓冲队列中的图像数据与第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列；

其中第三缓冲队列对应多个时间片，预设时间片分配比例用于指示预设的第一缓冲队列与第二缓冲队列占用的时间片的比例；

按照先入先出的原则顺序传输第三缓冲队列内的图像数据。

结合上述第一方面，将第一缓冲队列中的图像数据与第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列，包括：

基于预设时间片分配比例，将多个时间片分为多个第一时间片与多个第二时间片；

按照多个时间片的时间先后顺序，交替将第一缓冲队列中的图像数据和第二缓冲队列中的图像数据压入第三缓冲队列；其中，在第一时间片内优先将第一缓冲队列中的图像数据压入第三缓冲队列；在第二时间片内优先将第二缓冲队列中的图像数据压入第三缓冲队列。

结合上述第一方面，基于预设时间片分配比例，将多个时间片分为多个第一时间片与多个第二时间片，包括：

获取多路视频编码中的最高帧率；

基于最高帧率、多路视频编码的路数、以及K值确定第三缓冲队列对应的一个时间片的时长，K为大于或等于1的整数；K值根据设备的数据处理能力确定；

基于一个时间片的时长以及第三缓冲队列对应的预设传输时长，划分预设传输时长得到多个时间片

结合上述第一方面，在第一时间片内优先将第一缓冲队列中的图像数据压入第三缓冲队列，包括：

检测第一缓冲队列是否为空；

若第一缓冲队列不为空，则从第一缓冲队列取一帧图像数据压入第三缓冲队列；

若第一缓冲队列为空，则检测第二缓冲队列是否为空，若第二缓冲队列不为空，则从第二缓冲队列取一帧图像数据压入第三缓冲队列；若第二缓冲队列为空，则第一时间片无数据压入第三缓冲队列。

结合上述第一方面，在第二时间片内优先将第二缓冲队列中的图像数据压入第三缓冲队列，包括：

检测第二缓冲队列是否为空；

若第二缓冲队列不为空，则从第二缓冲队列取一帧图像数据压入第三缓冲队列；

若第二缓冲队列为空，则检测第一缓冲队列是否为空，若第一缓冲队列不为空，则从第一缓冲队列取一帧图像数据压入第三缓冲队列；若第一缓冲队列为空，则第二时间片无书压入第三缓冲队列。

结合上述第一方面，按照先入先出的原则顺序传输第三缓冲队列内的图像数据包括：

基于丢包率得到传输第三缓冲队列内的图像数据的速率；

基于速率按照先入先出的原则顺序传输第三缓冲队列内的图像数据。

第二方面，本申请提供一种多路视频传输装置，该装置包括：

编码模块，用于对多路视频图像分别进行编码处理得到多路视频编码；其中，一路视频编码包括：I帧图像数据、P帧图像数据和B帧图像数据；

数据缓存模块，用于将多路视频图像的I帧图像数据压入第一缓冲队列，将多路视频编码包括的P帧图像数据和B帧图像数据压入第二缓冲队列；将第一缓冲队列中的图像数据与第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列；其中，第三缓冲队列对应多个时间片，预设时间片分配比例用于指示预设的第一缓冲队列与第二缓冲队列占用的时间片的比例；

数据缓存模块，还用于按照先入先出的原则顺序传输第三缓冲队列内的图像数据。

第三方面，本申请提供一种多路视频采集与传输装置，该装置包括：至少两个视频采集模块以及本申请第二方面提供的一种多路视频传输装置

第四方面，本申请提供了一种多路视频传输设备，该设备包括：处理器和通信接口；通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的一种多路视频传输方法。

第五方面，本申请提供一种多路视频传输系统，包括至少两个视频采集设备以及至少一个本申请第四方面提供的多路视频传输设备。

第六方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的一种多路视频传输方法。

第七方面，本申请实施例提供一种包含指令的计算机程序产品，当计算机程序产品在一种多路视频传输装置上运行时，使得一种多路视频传输装置执行如第一方面和第一方面的任一种可能的实现方式中所描述的一种多路视频传输方法。

第八方面，本申请实施例提供一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的一种多路视频传输方法。

具体的，本申请实施例中提供的芯片还包括存储器，用于存储计算机程序或指令。

本申请提供的技术方案至少带来以下有益效果：

本申请通过预设的时间片分配比例可以延迟传输少量的I帧编码数据，优先保证传输网络的通畅；并可以减小发生I帧碰撞时，瞬时传输的I帧的数据量，从数据传输的角度去解决I帧碰撞导致的网络拥塞，可减少因为多路视频I帧碰撞在接收端导致的画面卡顿、马赛克等影响观看体验的现象。

附图说明

图1为本申请实施例提供的一种视频传输场景示意图；

图2为本申请实施例提供的一种多路视频传输方法的流程图；

图3为本申请实施例提供的一种多路视频传输方法的示意图；

图4为本申请实施例提供的一种多路视频传输装置的结构示意图；

图5为本申请实施例提供的另一种多路视频传输装置的结构示意图；

图6为本申请实施例提供的芯片结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的多路视频传输方法、装置、设备及介质进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

图1为可适用于本申请实施例的一种视频传输场景的示意图，该视频传输系统可以包括一个或多个发送端100(图中仅示出一个)和接收端101(图中仅示出一个)；发送端100与接收端101通过广域网或局域网进行连接；可以理解的是，发送端100与接收端101也可以通过，诸如以太网、RAN、无线局域网(wireless local area networks，WLAN)等进行数据的传递。

一种示例性的发送端100结构如图1中所示，包括：多个采集设备1001a、1001b、编码设备1002和发送设备1003；一种示例性的接收端101结构如图中所示，包括：接收设备1011、解码设备1012和播放设备1013；

可以理解的时，图1中的各组成(例如发送端100和接收端101等)可以由一个设备实现，也可以由多个设备共同实现，还可以是一个设备内的一个功能模块，本申请实施例对此不作具体限定。可以理解的是，上述功能既可以是硬件设备中的网络元件，也可以是在专用硬件上运行的软件功能，或者是平台(例如，云平台)上实例化的虚拟化功能。

需要说明的是，发送端100中对于采集设备1001a、采集设备1001b、编码设备1002和发生设备的划分，以及接收端101中对于接收设备1011、解码设备1012和播放设备1013的划分是根据其功能进行的；例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个设备中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

在实际应用中，上述发送端100的采集设备1001a可以与编码设备1002集成在一个设备中，编码设备1002也可以与发送设备1003集成在一个设备中，采集设备1001a、编码设备1002与发送设备1003三者也可以集成在一个设备中；同样的，上述接收端101的接收设备1011可以与解码设备1012集成在一个设备中，解码设备1012也可以与播放设备1013集成在一个设备中，接收设备1011、解码设备1012与播放设备1013三者也可以集成在一个设备中。基于此，上述对发送端100与接收端101的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。同样，可以理解的是为满足不同的使用需求，在一个发送端100中可以有多个采集设备1001a、1001b、多个编码设备1002与多个发送设备1003，以及在一个接收端101中同样也可以有多个播放设备1013、多个解码设备1012、多个接收设备1011。上述播放设备1013可以是，液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等，上述多个采集设备1001a、1001b可以是，网络摄像机(IP Camera，IPC)、摄像头、视频采集卡(Video Capture card)、视频采集器、摄像机、电荷耦合元件(Charge Coupled Device，CCD)传感器、互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)传感器等。

需要说明的是，图1仅为本申请可以使用的场景的一种示意图，并不构成对本申请提供的技术方案的适用场景的限定。

以下，对本申请实施例中所涉及的一些相关术语和技术进行解释说明。

1)、视频编码

视频编码就是指通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式。视频流传输中最为重要的编解码标准有国际电联(InternationalTelecommunication Union，ITU)制定的标准：H.261、H.263、H.264、H.265(HEVC)，和国际标准化组织(International Organization for Standardization，ISO)的运动图像专家组(Moving Picture Expert Group，MPEG)的MPEG系列标准：MPEG-2、MPEG-4、MPEG-4AVC、以及中国提出的AVS(Audio Video coding Standard)标准；其中以H.264标准应用最为广泛，H.264是ITU与ISO两个组织联合组建的联合视频组(Joint Video Team，JVT)共同组件发布的，并且他是MPEG-4标准的第10部分。因此，不论是，MPEG-4AVC、MPEG-4Part10，还是ISO/IEC14496-10，都是指H.264。

以H.264等协议为代表的主流视频编码协议，通过对视频图像进行压缩编码达到降低视频数据大小、方便存储和传输的目的。视频图像进行压缩编码后，视频图像帧的类型分为三类：I帧、P帧和B帧。

I帧：帧内编码帧(intra picture)，又称全帧压缩编码帧，同时也称关键帧或帧内帧，仅由帧内预测的宏块组成。I帧通常是每个画面组(Group of Pictures，GOP)的第一个帧，经过适度地压缩，作为随机访问的参考点，可以当成静态图像。

P帧：前向预测编码帧(predictive-frame)，通常将图像序列中前面已经编码帧的时间冗余信息充分去除来压缩传输数据量的编码图像，也称为预测帧。

B帧：双向预测内插编码帧(bi-directional interpolated prediction frame),既考虑源图像序列前面的已编码帧，又顾及源图像序列后面的已编码帧之间的时间冗余信息，来压缩传输数据量的编码图像，也称为双向预测帧。

基于以上对I帧、P帧和B帧的定义，以下从解码的角度来理解I帧、P帧和B帧。I帧：自身可以通过视频解压算法解压成一张单独的完整视频画面，所以I帧去掉的是视频帧在空间维度上的冗余信息。P帧：需要参考前面的I帧或者P帧来解码成一张完整的视频画面。P帧也称为预测帧，除帧内空域预测以外，它还可以通过时域预测来进行压缩。B帧：需要参考前一个I帧或者P帧及其后面的一个P帧来生成一张完整的视频画面，所以P帧与B帧去掉的是视频帧在时间维度上的冗余信息。I帧的解码无需其他帧辅助。P帧需要I帧或其之前的P帧辅助才能正确解码。B帧需要B帧前后的I帧或P帧辅助才能正确解码。

一种视频传输时网络拥塞的多发场景包括多路视频并发的场景，即发送端100包括的多个采集设备1001a、1001b将采集到的视频数据发送给编码设备1002，编码设备1002将多路视频数据进行编码处理后，通过发送设备1003向接收端101发送多路视频数据对应的多路视频编码。在多路视频并发场景时，多路视频因为自身编码的随机性，会存在来自多路视频的多个I帧在同一时刻传输(称之为I帧碰撞)就会导致网络拥塞；I帧拥塞会造成视频卡顿、花屏等现象，严重时甚至会存在视频丢失、视频画面长时间静止等，这种现象严重的影响了用户的使用体验。

2)、I帧碰撞

I帧碰撞时指在多路视频传输的场景中，多路视频因为自身编码的随机性会导致在某时间段内产生大量的I帧；同时因为I帧的压缩比最低，相比于没有产生I帧碰撞时视频编码的数据量急剧增大，进行视频数据传输的网络接收到超过自身传输带宽的数据，会导致网络拥塞，轻则会导致丢包延迟升高，重则会导致网络崩溃、瘫痪；同时因为I帧为视频编码中的“关键帧”，P帧、B帧的解码均需要I帧的辅助，因此即使是对I帧少量丢失，也会造成接收端用户看到的画面、卡顿、马赛克，甚至黑屏等影响观看体验的现象。

通常情况下，相较原始图像，I帧、P帧和B帧可实现7倍、20倍、50倍左右的压缩比。因为压缩比不同，视频数据在网络上传输是会形成巨大波动。例如传输单路720P(1280×720)视频图像，通常需要2Mbit/s-4Mbit/s的平均带宽。然而，传输I帧图像时瞬时带宽可能达到28Mbit/s的峰值速率。又例如，传输双路720P(1280×720)视频图像，通常需要4Mbit/s-8Mbit/s的平均带宽。然而，发生I帧碰撞时，传输I帧图像时瞬时带宽可能达到56Mbit/s的峰值速率，这会给网络造成很大的冲击，造成网络拥塞；严重的甚至会造成网络的崩溃。当同时传输多路视频时，尤其是发生I帧碰撞的情况下，常常导致卡顿、花屏、马赛克现象。

3)、网络拥塞

网络拥塞(congestion)是指在分组交换网络中传送分组的数目太多时，由于存储转发节点的资源有限而造成网络传输性能下降的情况。当网络发生拥塞时，一般会出现数据丢失，时延增加，吞吐量下降，严重时甚至会导致“拥塞崩溃”。通常情况下，当网络中负载过度增加致使网络性能下降时，就会发生网络拥塞。

网络拥塞产生的原因通常包括：1、存储空间限制在每个输出端口有存储空间，若一个输出端口被几个输入数据流共同使用，输入流的数据包就会在该存储空间内排队等待输出。当端口转发数据的速率低于数据包的到达速率时，会造成存储空间占满的情况，后面到达的数据包会被丢弃。2、带宽容量的限制低速链路难以应对高速数据流的输入，从而发生网络拥塞。依据香农理论，信源的发送速率必须小于或等于信道容量。因此，当源端带宽远大于链路带宽形成带宽瓶颈时，导致数据包在网络节点排队等待，造成网络拥塞。3、处理器性能限制路由器CPU主要执行缓存区排队、更新路由表、进行路由选择等功能，如果其工作效率不能满足高速链路的需求，就会造成网络拥塞。在实际应用中，复杂的网络结构和不合理的路由原则也会造成网络拥塞现象的发生。

发生网络拥塞时，随着发送给网络的数据量的增加，网络传输的速率急剧下降，延时、丢包率急剧升高；并且瞬时发给网络的数据量越大，网络拥塞的恢复时间就越慢，网络质量的下降也越多，因此为了避免网络拥塞或缓解网络拥塞，就需要减少瞬时发送给网络的数据量。

随着互联网和通信技术的发展，视频传输在各个行业得到了广泛的应用，在不同设备上进行视频传输也越来越普遍。同时随着网络带宽的变化以及图像采集技术的发展，越来越多的使用者进行多路视频传输。

在多路视频传输过程中，因为每一路视频编码的不确定性对导致I帧碰撞的产生；然而由于现阶段的视频传输都是在有限带宽的条件下进行的，带宽资源受限。在带宽资源受限的时候，容易因为视频流I帧碰撞而导致长时间的花屏、卡顿、马赛克等现象。现有技术中对I帧碰撞的解决方法大多为通过复杂的算法去预测或检测I帧碰撞的产生，并在I帧碰撞发生前或I帧碰撞发生时去调节视频的码率，调节视频的清晰度。即现有技术中去解决I帧碰撞的出发点大多为从视频产生的源头上去改变视频数据的大小去，并没有基于视频编码协议的底层逻辑对视频的传输方式进行改良。这种解决I帧碰撞的方式牺牲了视频质量，同时算法的复杂程度高，需要占用很多的计算资源。

为了解决现有技术中，对I帧碰撞的方式的处理牺牲了视频质量，同时，算法复杂程度高，需要很多计算资源的问题。本申请提供一种多路视频传输方法，可以从视频传输的角度去缓解I帧碰撞导致的网络拥塞，在不降低视频质量的同时去缓解I帧碰撞导致的网络拥塞，可减小因为多路视频I帧碰撞在接收端导致的画面卡顿、马赛克等影响观看体验的现象。

如图2所示，本申请实施例提供一种多路视频传输方法，该方法包括：

S100.对多路视频图像分别进行编码处理得到多路视频编码；

其中一路视频编码包括：I帧图像数据、P帧图像数据和B帧图像数据。

可以理解的是，在对多路视频图像分别进行编码处理时可以使用相同的编码协议，也可以使用不同的编码协议。例如，可以对多路视频图像中的其中一路视频采用H.264编码、另一路采用H.265编码得到多路视频编码。

S200.将多路视频图像的I帧图像数据压入第一缓冲队列，将多路视频编码包括的P帧图像数据和B帧图像数据压入第二缓冲队列；

S300.将第一缓冲队列中的图像数据与第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列；

可以理解的是，本申请实施例中的压入是表明数据传输的方向的一个词句，例如将A数据压入B，只是表明A数据传输给B，并由B存储；在实际使用中也可以被表述成将A数据存入B、将A数据放入B、将A数据推入B、将A数据输入B等等。如图3所示，图中的实现表示的是I帧图像数据传输的方向、虚线表示的是P帧和B帧图像数据传输的方向。

可以理解的是，在实际应用中，图中的第一缓冲队列、第二缓冲队列、第三缓冲队列可以为各自独立的具有数据存储功能的存储器件，也可以为在一个或多个存储器件划分成的三个虚拟的存储模块。以及，上述第一缓冲队列、第二缓冲队列、第三缓冲队列的大小可以根据实际使用需要灵活配置。存储器件可以为易失性存储器或非易失性存储器，可以根据实际使用需要灵活选取。

其中，第三缓冲队列对应多个时间片，预设时间片分配比例用于指示第一缓冲队列与第二缓冲队列占用的时间片的比例。预设的时间片分配比例设定为X:Y，其中X为大于等于0的整数，Y为大于等于0的整数；时间片分配比例与所传输的视频编码相关可以根据实际的使用需求进行调整，例如可以统计已经完成传输的多路视频编码中I帧、P帧和B帧的数量，并基于I帧、P帧和B帧的数量对时间片分配比例进行在线或者离线调整，或基于网络状态进行在线或离线调整。本申请实施例中预设的时间片分配比例可以为2:1、3:1、3:2。

基于预设的时间片分配比例可以延迟传输少量的I帧编码数据，优先保证传输网络的通畅，并可以减小瞬时传输的I帧的数据量，从数据传输的角度提供了一种缓解及解决I帧碰撞的方案；可减小因为多路视频I帧碰撞在接收端导致的画面卡顿、马赛克等影响观看体验的现象。

其中，时间片用于指示第三缓冲队列的工作模式，也就是第一缓冲队列或第二缓冲队列内部的数据压入方向。第三缓冲队列在一个时间片持续的时间内只有一个缓冲队列(第一缓冲队列、第二缓冲队列)的数据压入第三缓冲队列。通过多个时间片可以控制第一缓冲队列、第二缓冲队列内部的数据有序的交替进入第三队列，使得第一缓冲队列、第二缓冲队列内部的数据可以有序的传输。

可以理解的是，第三缓冲队列的工作模式可以包括：不接收数据、接收来自第一缓冲队列内部的数据、接收来自第二缓冲队列内部的数据、优先接收来自第一缓冲队列内部的数据、优先接收来自第二缓冲队列内部的数据。同时，本申请实施例中的第一缓冲队列、第二缓冲队列、第三缓存队列中的数据进出规则均为先入先出，即先进入缓存队列的数据先发送。

在实际应用中，如果发生I帧碰撞，就会把大量的I帧全部通过网络发送；同时因为I帧的压缩比很低，数据量很大；将大量的I帧全部通过网络发送，这会造成网络的拥塞，导致网络的带宽会降低、延时会增高、丢包率也会增高；然而本申请实施例提供的方法，如发生I帧碰撞，即第一缓冲队列中的数据比较多、第二缓冲队列中的数据比较少；然而因为第一缓冲队列与第二缓冲队列中的数据是基于预设时间片分配比例交替压入第三缓冲队列的，I帧碰撞产生的大量I帧并不会在同一时段全部经过第三缓冲队列进行发送，而是通过预设的时间片分配比例，重新分配后经过第三缓冲队列进行发送，可以减少I帧碰撞时，瞬时传输的I帧的数据量。

本申请通过对多路视频的传输方式进行优化，通过第一缓冲队列、第二缓冲队列，给不同编码的视频帧进行归类并单独设置缓冲通道，并交替的通过第三缓冲队列发送；本申请从视频传输的角度去缓解和解决I帧碰撞，使用本方法进行多路视频传输，可以减小因为I帧碰撞导致的花屏、卡顿、马赛克等现象的影响时间。

在一种可能的实施方式中，将第一缓冲队列中的图像数据与第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列，包括：

按照多个时间片的时间先后顺序，交替将第一缓冲队列中的图像数据和第二缓冲队列中的图像数据压入第三缓冲队列；

其中，在第一时间片内优先将第一缓冲队列中的图像数据压入第三缓冲队列；在第二时间片内优先将第二缓冲队列中的图像数据压入第三缓冲队列。

可以理解的是，本申请实施例可以基于预设时间片分配比例对多个时间片进行划分，划分为多个第一时间片与多个第二时间片；通过第一时间片与第二时间片可以有序的将在第一缓冲队列中的图像数据与第二缓冲队列中的图像数据汇聚至第三缓冲队列，可以使来自第一缓冲队列种的图像数据与来自第二缓冲队列种的图像数据均可以通过第三缓冲队列进行稳定的传输。

在一种可能的实施方式种，基于预设时间片分配比例，将多个时间片分为多个第一时间片与多个第二时间片，包括：

获取多路视频编码中的最高帧率；

基于最高帧率、多路视频编码的路数、以及K值确定第三缓冲队列对应的一个时间片的时长，K为大于或等于1的整数；K值根据设备的数据处理能力确定，K值的大小与设备的数据处理能力成正比，优选的K∈[2,4]；

基于一个时间片的时长以及第三缓冲队列对应的预设传输时长，划分预设传输时长得到多个第一时间片与多个第二时间片。

可以理解的，记预设传输时长为T，T为大于零的常数；多路视频编码中的最高帧率记为Z，多路视频编码的路数记为N，一个时间片的时长为t，则：

可以理解的是，本申请实施例中的T可以为一个固定值，例如1s、100ms等，可以根据实际的使用需求、视频数据的编码协议进行调整。

例如，在三路视频传输的场景下，三路视频中最高的帧率为Z，预设传输时长为1s，K预设为2，预设时间片分配比例为2:1，则一个时间片的时长t＝1/(2*4*20)＝6.25ms。则预设传输时长1s内共有160个时间片，根据预设的时间片分配比例得到，107个第一时间片与53个第二时间片。

得到的多个第一时间片多个第二时间片如表1所示：

表1

6.25ms

12.5ms

18.75ms

25ms

……

987.5ms

993.75ms

1000ms

①

②

①

②

①

表中“①”表示第一时间片，“②”表示第二时间片。

作为一种可能的实施方式，在第一时间片内优先将第一缓冲队列中的图像数据压入第三缓冲队列，包括：

检测第一缓冲队列是否为空；

作为一种可能的实施方式，在第二时间片内优先将第二缓冲队列中的图像数据压入第三缓冲队列，包括：

检测第二缓冲队列是否为空；

若第二缓冲队列为空，则检测第一缓冲队列是否为空，若第一缓冲队列不为空，则从第一缓冲队列取一帧图像数据压入第三缓冲队列；若第一缓冲队列为空，则第二时间片无数据压入第三缓冲队列。

例如，在三路视频传输时，记第一路视频编码得到的I帧、P帧、B帧编码数据为I₁、P₁、B₁；记第二路视频编码得到的I帧、P帧、B帧编码数据为I₂、P₂、B₂；记第三路视频编码得到的I帧、P帧、B帧编码数据为I₃、P₃、B₃；其中，T0-T8表示九个相邻且相等的时间段。

三路视频在T3、T4时间段发送I帧碰撞，即第一路视频、第二路视频编码、第三路视频编码后均产生了大量的I帧编码数据。

产生I帧碰撞时的数据如表2所示：

表2

t

T0

T1

T2

T3

T4

T5

T6

T7

T8

第一路

I₁

P₁

B₁

P₁

第二路

I₂

P₂

I₂

P₂

B₂

第三路

P₃

I₃

B₃

I₃

B₃

P₃

在现有技术中，由于产生了I帧碰撞，在T3、T4时，会将来自T3时段三路视频的全部I帧编码数据(I₁ I₂ I₃)在很短的时间内(例如使用一个数据窗口)一起全部发送，以及将来自T4时段三路视频的(I₁ I₂ I₃)也在很短的时间内(例如使用一个数据窗口)一起全部发送；由于I帧编码数据的压缩比比较低，在T3时段和T4时段均发送来自三路视频的I帧编码数据这会导致网络产生严重的拥塞，从而不仅导致T3时段、T4时段的数据传输受到影响(速率减小、卡顿等)。还会导致后续T5时段、T6时段的数据传输也受到影响，严重的甚至会导致，更长时段的数据传输受到影响。这会给接收端用户造成画面长时间卡顿、马赛克、花屏等不好的观看体验。

然而在本申请实施例中，例如，在预设时间片分配比例为2:1时，T3、T4时段产生的I帧编码数据压入第一缓冲队列，当T3、T4时段的I帧编码数据从第一缓冲队列压入第三缓冲队列时；因为预设的时间片分配比例为2:1，并不会将来自T3时段的三路视频的全部I帧编码数据(I₁ I₂ I₃)在很短的时间内(例如使用一个数据窗口)一起全部发送，而是会平衡为(I₁ I₂Q)，其中Q为来自其他时段其他路的P帧或B帧编码数据；可以为表1中T5时段的P₁或B₃，也可以为T2时段的B₃，具体需要根据第一缓冲队列、第二缓冲队列的大小，以及第一路、第二路、第三路编码的生成时间确定；可见使用本申请提出的方法可以有效的缩小发生I帧碰撞时发送I帧图像数据的峰值速率大小，可以降低发生I帧碰撞时，发送视频编码对网络的冲击；虽然会打乱编码数据的传输顺序，或将一些I帧编码数据延迟传输，但是这种乱序传输或延迟传输对接收端用户观看体验的影响较小，仅仅为几帧图片不清晰、卡顿等。同时现阶段，接收端可以通过一些技术手段(例如：设置缓冲区，并在缓冲区内将视频编码数据匹配)等去消除上述乱序传输或延迟传输对观看体验的影响。

综上，本申请实施例提供的技术方案，可以在不降低视频质量的前提下，从视频数据传输的角度去解决I帧碰撞导致的网络拥塞；可以减少因为多路视频I帧碰撞在接收端导致的画面卡顿、马赛克等影响观看体验的现象。

S400.按照先入先出的原则顺序传输第三缓冲队列内的图像数据。

在一种可能的实施方式中，传输第三缓冲队列内的图像数据的速率可以基于丢包率得到，丢包率越大，速率越小。

假设发送端与接收端之间用于传输视频数据的网络带宽为B，传输第三缓冲队列内的图像数据的速率记为mB。0<m<1。m的取值与丢包率r有关，其函数是：

其中，丢包率为反应网络性能的一个参数，丢包率越大意味着网络的性能越差，反之意味着网络的性能越好；通过丢包率去调整第三缓冲队列的速率，可以使第三缓冲队列可以根据网络环境自适应调整发送的数据量；在网络性能不好时减少数据发送的数据，在网络性能好时多发送数据；根据网络性能对发发送数据进行调整，可以合理的使用网络，提升视频数据的传输质量，提升接收端用户观看视频时的观看体验。

本申请实施例可以根据上述方法示例对一种多路视频传输装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图4所示，为本申请实施例提供的一种多路视频传输装置的结构示意图，该装置包括：

编码模块201，用于对多路视频图像分别进行编码处理得到多路视频编码；

其中，一路视频编码包括：I帧图像数据、P帧图像数据和B帧图像数据；

数据缓存模块202，用于将多路视频图像的I帧图像数据压入第一缓冲队列，将多路视频编码包括的P帧图像数据和B帧图像数据压入第二缓冲队列；将第一缓冲队列中的图像数据与第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列；

其中，第三缓冲队列对应多个时间片，预设时间片分配比例用于指示预设的第一缓冲队列与第二缓冲队列占用的时间片的比例；

数据缓存模块202，还用于按照先入先出的原则顺序传输第三缓冲队列内的图像数据。

在通过硬件实现时，本申请实施例中的数据缓存模块202可以集成在通信接口上，编码模块201可以集成在处理器上。具体实现方式如图4所示。

图5示出了上述实施例中所涉及的一种多路视频传输装置的又一种可能的结构示意图。该一种多路视频传输装置包括：处理器302和通信接口303。处理器302用于对一种多路视频传输装置的动作进行控制管理，例如，执行上述编码模块201执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口303用于支持一种多路视频传输装置与其他网络实体的通信，例如，执行上述数据缓存模块202执行的步骤。一种多路视频传输装置还可以包括存储器301和总线304，存储器301用于存储一种多路视频传输装置的程序代码和数据。

其中，存储器301可以是一种多路视频传输装置中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

上述处理器302可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线304可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

图6是本申请实施例提供的芯片170的结构示意图。芯片170包括一个或两个以上(包括两个)处理器1710和通信接口1730。

可选的，该芯片170还包括存储器1740，存储器1740可以包括只读存储器和随机存取存储器，并向处理器1710提供操作指令和数据。存储器1740的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

在一些实施方式中，存储器1740存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

在本申请实施例中，通过调用存储器1740存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。

其中，上述处理器1710可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

存储器1740可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

总线1720可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线1720可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行上述方法实施例中的一种多路视频传输方法。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得该计算机执行上述方法实施例所示的方法流程中的一种多路视频传输方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本发明的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行如图2中的一种多路视频传输方法。

由于本发明的实施例中的一种多路视频传输装置、计算机可读存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims

1.一种多路视频传输方法，其特征在于，所述方法包括：

对多路视频图像分别进行编码处理得到多路视频编码；其中一路所述视频编码包括：I帧图像数据、P帧图像数据和B帧图像数据；

将所述多路视频编码的I帧图像数据压入第一缓冲队列，将所述多路视频编码包括的P帧图像数据和B帧图像数据压入第二缓冲队列；

按照多个时间片的时间先后顺序，交替将所述第一缓冲队列中的图像数据和所述第二缓冲队列中的图像数据压入第三缓冲队列；其中，在所述第一时间片内优先将所述第一缓冲队列中的图像数据压入所述第三缓冲队列；在所述第二时间片内优先将所述第二缓冲队列中的图像数据压入所述第三缓冲队列；其中所述第三缓冲队列对应多个时间片，所述预设时间片分配比例用于指示预设的所述第一缓冲队列与所述第二缓冲队列占用的时间片的比例；

按照先入先出的原则顺序传输所述第三缓冲队列内的图像数据。

2.根据权利要求1所述的一种多路视频传输方法，其特征在于，所述基于所述预设时间片分配比例，将所述多个时间片分为多个第一时间片与多个第二时间片，包括：

获取所述多路视频编码中的最高帧率；

基于所述最高帧率、所述多路视频编码的路数、以及K值确定所述第三缓冲队列对应的一个时间片的时长，所述K为大于或等于1的整数；所述K值根据设备的数据处理能力确定；

基于所述一个时间片的时长以及所述第三缓冲队列对应的预设传输时长，划分所述预设传输时长得到所述多个第一时间片与多个第二时间片。

3.根据权利要求1所述的一种多路视频传输方法，其特征在于，所述在所述第一时间片内优先将所述第一缓冲队列中的图像数据压入所述第三缓冲队列，包括：

检测所述第一缓冲队列是否为空；

若所述第一缓冲队列不为空，则从所述第一缓冲队列取一帧图像数据压入所述第三缓冲队列；

若所述第一缓冲队列为空，则检测所述第二缓冲队列是否为空，若所述第二缓冲队列不为空，则从所述第二缓冲队列取一帧图像数据压入所述第三缓冲队列；若所述第二缓冲队列为空，则所述第一时间片无数据压入第三缓冲队列。

4.根据权利要求1所述的一种多路视频传输方法，其特征在于，所述在所述第二时间片内优先将第二缓冲队列中的图像数据压入第三缓冲队列，包括：

检测所述第二缓冲队列是否为空；

若所述第二缓冲队列不为空，则从所述第二缓冲队列取一帧图像数据压入所述第三缓冲队列；

若所述第二缓冲队列为空，则检测所述第一缓冲队列是否为空，若所述第一缓冲队列不为空，则从所述第一缓冲队列取一帧图像数据压入所述第三缓冲队列；若所述第一缓冲队列为空，则所述第二时间片无数据压入第三缓冲队列。

5.根据权利要求1-4任一项中所述的一种多路视频传输方法，其特征在于，所述按照先入先出的原则顺序传输所述第三缓冲队列内的图像数据包括：

基于丢包率得到传输所述第三缓冲队列内的图像数据的速率；

基于所述速率按照先入先出的原则顺序传输所述第三缓冲队列内的图像数据。

6.一种多路视频传输装置，其特征在于，包括：

编码模块，用于对多路视频图像分别进行编码处理得到多路视频编码；其中，一路所述视频编码包括：I帧图像数据、P帧图像数据和B帧图像数据；

数据缓存模块，用于将所述多路视频图像的I帧图像数据压入第一缓冲队列，将所述多路视频编码包括的P帧图像数据和B帧图像数据压入第二缓冲队列；将所述第一缓冲队列中的图像数据与所述第二缓冲队列中的图像数据，基于预设时间片分配比例交替压入第三缓冲队列；其中，所述第三缓冲队列对应多个时间片，所述预设时间片分配比例用于指示预设的所述第一缓冲队列与所述第二缓冲队列占用的时间片的比例；

所述数据缓存模块，还用于按照先入先出的原则顺序传输所述第三缓冲队列内的图像数据；

所述数据缓存模块，还用于基于所述预设时间片分配比例，将所述多个时间片分为多个第一时间片与多个第二时间片；

按照多个时间片的时间先后顺序，交替将所述第一缓冲队列中的图像数据和所述第二缓冲队列中的图像数据压入所述第三缓冲队列；其中，在所述第一时间片内优先将所述第一缓冲队列中的图像数据压入所述第三缓冲队列；在所述第二时间片内优先将所述第二缓冲队列中的图像数据压入所述第三缓冲队列。

7.一种多路视频采集与传输装置，其特征在于，包括：至少两个视频采集模块以及权利要求6所述的一种多路视频传输装置。

8.一种多路视频传输设备，其特征在于，包括：处理器和通信接口；所述通信接口和所述处理器耦合，所述处理器用于运行计算机程序或指令，以实现如权利要求1-5任一项中所述的一种多路视频传输方法。

9.一种多路视频传输系统，其特征在于，包括至少两个视频采集设备以及权利要求8所述的一种多路视频传输设备。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当计算机执行该指令时，该计算机执行上述权利要求1-5任一项中所述的一种多路视频传输方法。