CN108322773A - 一种基于多卡绑定的自适应网络带宽实时数据流传输方法 - Google Patents

Abstract

本发明公开一种基于多卡绑定的自适应网络带宽实时数据流传输方法，包括以下步骤，与服务端连接,建立传输子通道；根据总带宽,自适应调整需发送的数据流大小；将数据流拆分成若干适合网络传输的数据包,并写入到发送窗口中；检测被调度的子通道是否为空闲状态，若为空闲状态,从发送窗口中取一个数据包传输，否则判断是否发送超时,若超时,由其他子通道优先发送该数据包，否则继续发送；检测当前子通道是否满载,若满载,则调度下一个传输子通道，直至调度完所有的子通道。本发明采用多卡进行传输，减小网络拥塞,提高网络带宽利用率，具有低延时、高流畅度、高清晰的画面传输效果，提高了视频播放的效果。

Description

一种基于多卡绑定的自适应网络带宽实时数据流传输方法

技术领域

本发明属于网络传输技术领域，涉及到一种基于多卡绑定的自适应网络带宽实时数据流传输方法。

背景技术

随着人工智能的发展,尤其是基于图像识别的AI应用,低分辨率及低码率的视频源已不能满足当前发展需求.视频数据将会向着大分辨率,高清晰,低延时的方向发展.使用传统的实时视频传输方法,由于视频数据量较大,考虑到当前带宽的局限性,尤其是基于无线移动蜂窝网络的连接,带宽非常有限,网络状况非常复杂,连接质量波动较大,因此高清晰低延时的视频质量无法得到满足。

由于流媒体传输具有实时性,流畅性和完整性等特点，实时性要求流媒体数据源产生的数据在指定的时间内传输到接收方；流畅性要求流媒体数据必须按照一定的顺序依次进行处理(解码/传输)；完整性是指在整个网络传输过程中不能存在丢包现象,流媒体数据从产生到接收使用过程中,必须是可靠传输，而当前的移动蜂窝网络不稳定,存在着掉线率高、时延大、网络稳定性差等局限性,这些特性严重制约了流媒体数据的传输效果,现有的基于移动蜂窝网络数据传输的方法,为了最大限度的利用网络带宽,使用非可靠传输方案,这类方案容易受移动蜂窝网络性能波动的影响,造成高丢包率,大延时的后果,引起解码错误从而导致显示画面图像破碎等现象，甚至可能引起解码器程序崩溃。

目前的互联网主要是一个“尽力而为”的网络，其信道行为如带宽、时延和丢包率等具有一定的动态性和不可预测性，无法提供流媒体传输所需要的服务质量(QoS)保证。即使最大限度的利用当前网络带宽,亦有无法满足流媒体传输性能的情况,即当前带宽与流媒体数据的需求严重不匹配的现象，常见的针对这种不匹配现象的适应性传输控制机制主要有联播、转码和可伸缩编码等，然而联播仅适用于服务器而无法用于中间节点，且无法实现任意码率的切换；实时转码的计算复杂度较高，且涉及到对流媒体数据包的重新组包和拆包等，大大增加了应用程序管理的复杂性；可伸缩编码需要采用新的编码技术和标准，无法适用于现有大量存在的非可伸缩性编码标准。

发明内容

本发明的目的在于提供一种基于多卡绑定的自适应网络带宽实时数据流传输方法，解决了现有视频数据量大，单路移动蜂窝网络的视频传输无法满足视频数据传输的带宽要求的问题，以及移动蜂窝网络的掉线率高、时间延时长、网络稳定性差严重制约了流媒体数据的传输效果和易出现丢包现象，进而导致画面的清晰度差和流畅度差的问题。

本发明的目的可以通过以下技术方案实现：

一种基于多卡绑定的自适应网络带宽实时数据流传输方法，包括以下步骤：

S1、根据客户端设备可用的网口数量,分别与服务端创建连接,建立起传输子通道,并根据建立连接的先后顺序进行排序；

S2、根据客户端设备的总带宽,自适应调整将要发送的数据流大小,并将调整后的数据流写入负载均衡器；

S3、负载均衡器将数据流拆分成若干个适合网络传输大小的数据包,并写入到发送窗口中；

S4、随机选取一个传输子通道作为起始调度通道；

S5、对步骤S4中被调度的子通道进行空闲状态检测，若该被调度的子通道处于空闲状态,进入步骤S6，若该被调度的子通道处于忙碌状态，否则进入步骤S7；

S6、被调度的子通道从发送窗口中取一个IP数据包进行传输；

S7、判断所发送的IP数据包是否超过预设的超时时间,若超时,则回写到发送窗口中,由其他子通道优先发送该数据包，若没有超时,则继续发送；

S8、在数据包传输的过程中，检测被调度的子通道与服务器是否处于断开状态，若处于断开状态，检测数据包是否完全发送完，若未完全发送完，则回写到发送窗口中，由其他子通道优先发送该数据包，同时，将该子通道标记为断开状态，并重新连接服务器；

S9、若当前被调度的子通道处于满载状态，继续调度下一个传输子通道，重复执行步骤S5、S6、S7和S8，直至调度完所有的子通道。

S10、负载均衡器根据GOP时长为统计周期进行带宽统计,并计算出当前的带宽值,负载均衡器根据统计出的带宽值及各个子通道的延时情况,动态调节发送窗口的大小。

进一步地，所述步骤S2中，根据客户端设备的总带宽,自适应调整要发送的数据流大小,具体包括以下步骤：

a.根据当前传输的视频参数,计算出最小和最大的帧率码率组合,对应的传输带宽分别为Bmin,Bmax；

b.根据Bmin,Bmax,设定一个目标码率Tb,其中，Bmin<Tb<Bmax；

c.根据上一GOP时长的带宽统计结果,计算出系统实时传输带宽Rr；

d.若Rr<＝Bmin,则执行丢帧策略；

e.若Rr>＝Bmax,则设置为目标帧率码率；

f.若Bmin<Rr<Bmax,根据最近三次的Gop时长内统计的带宽,以Tb与Rr为参考量,通过自适应帧码率调节算法,调整帧率码率以适配当前的网络带宽。

进一步地，所述步骤d中丢帧策略包括以下步骤：

a.以GOP为单位,对数据量及发送周期进行统计,并计算出当前的传输带宽Rr；

b.对GOP中的各个帧按解码顺序进行排序,序号分别为P.1,P.2,P.3,.....；

c.根据当前传输带宽的传输能力及待发送的GOP各帧数据分布情况,计算出可发送的视频帧数目N；

d.若以流畅度优先策略进行传输,先发送序号为奇数的帧再发送序号为偶数的帧,根据客户端设备传输能力,在GOP时间周期内发送,对于超出GOP发送周期的视频帧,则选择丢弃；

e.若以清晰度优先策略进行传输,在GOP时间周期内优先发送P.1,P.2,...,P.N,对于超出发送周期的帧,则选择丢弃。

本发明的有益效果：

本发明采用多卡绑定进行可靠传输，可自动均衡负载,采用拆分数据流进行发送,最大限度的减小网络拥塞,提高网络带宽利用率；通过实时监测当前网络传输质量,使用自定义调节算法,准确的计算出适合当前网络的视频帧率码率等参数,并及时控制数据源进行编码采集,实现低延时,高流畅度,高清晰的画面传输效果，并通过选择性丢帧，丢弃对视频解码影响不大的帧，以最大限度提高了接收端解码画面的清晰度及流畅度，该方法具有实时性好、简单易行的特点，大大提高了视频播放的效果。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种基于多卡绑定的自适应网络带宽实时数据流传输系统，包括客户端和服务端，客户端是包含多个网络接口的嵌入式LINUX设备,网络接口的类型包括移动蜂窝网络、WIFI无线网络、有线网络；所述服务端是指可监听并接受客户端连接的服务器。

本发明为一种基于多卡绑定的自适应网络带宽实时数据流传输方法，包括以下步骤：

S1、根据客户端设备可用的网口数量,分别与服务端创建连接,建立起传输子通道,并根据建立连接的先后顺序进行排序；

S2、根据客户端设备的总带宽,自适应调整将要发送的数据流大小,并将调整后的数据流写入负载均衡器；

S3、负载均衡器将数据流拆分成若干个适合网络传输大小的数据包,并写入到发送窗口中；

S4、随机选取一个传输子通道作为起始调度通道；

S5、对步骤S4中被调度的子通道进行空闲状态检测，若该被调度的子通道处于空闲状态,进入步骤S6，若该被调度的子通道处于忙碌状态，否则进入步骤S7；

S6、被调度的子通道从发送窗口中取一个IP数据包进行传输；

S7、判断所发送的IP数据包是否超过预设的超时时间,若超时,则回写到发送窗口中,由其他子通道优先发送该数据包，若没有超时,则继续发送；

S8、在数据包传输的过程中，检测被调度的子通道与服务器是否处于断开状态，若处于断开状态，检测数据包是否完全发送完，若未完全发送完，则回写到发送窗口中，由其他子通道优先发送该数据包，同时，将该子通道标记为断开状态，并重新连接服务器；

S9、若当前被调度的子通道处于满载状态，继续调度下一个传输子通道，重复执行步骤S5、S6、S7和S8，直至调度完所有的子通道。

S10、负载均衡器根据GOP时长为统计周期进行带宽统计,并计算出当前的带宽值,负载均衡器根据统计出的带宽值及各个子通道的延时情况,动态调节发送窗口的大小。

根据客户端设备的总带宽,自适应调整要发送的数据流大小,具体包括以下步骤：

a.根据当前传输的视频参数,计算出最小和最大的帧率码率组合,对应的传输带宽分别为Bmin,Bmax；

b.根据Bmin,Bmax,设定一个合理的目标码率Tb,其中，Bmin<Tb<Bmax；

c.根据上一GOP时长的带宽统计结果,计算出客户端系统实时传输带宽Rr；

d.若Rr<＝Bmin,则执行丢帧策略；

e.若Rr>＝Bmax,则设置为目标帧率码率；

f.若Bmin<Rr<Bmax,根据最近三次的Gop时长内统计的带宽,以Tb与Rr为参考量,利用自适应帧码率调节算法,调整帧率码率为合适的值,用来匹配当前的网络带宽。

所述丢帧策略的具体步骤如下:

a.以GOP时长为单位对发送成功的数据量进行统计,计算出当前的传输带宽Rr，其中，在H.264中图像以GOP图像组为单位进行组织，一个GOP图像组是一段图像编码后的数据流，以I帧开始，到下一个I帧结束，GOP时长是指两个I帧之间的间隔。

b.对GOP中的各个帧按解码顺序进行排序,序号为P.1,P.2,P.3,.....,其中P.1为关键帧；

c.根据当前传输带宽的传输能力及待发送的GOP各帧数据分布情况,计算出可发送的视频帧数目N；

d.若以流畅度优先策略进行传输,先发送P.1,P.3,P.5,....等奇数帧再发送P.2,P.4,P.6...等偶数帧,根据客户端设备传输能力,在GOP时间周期内发送,对于超出GOP发送周期的视频帧,则选择丢弃；

e.若以清晰度优先策略进行传输,在GOP时间周期内优先发送P.1,P.2,...,P.N,对于超出发送周期的帧,则选择丢弃。

所述自适应帧码率调节算法:

1、以GOP时长为周期进行帧码率调节控制,根据上一周期内的带宽统计结果,计算出客户端系统实时传输带宽Rr及各个传输子通道中的缓存数据总和Bc,则总的缓存时长Tc＝Bc/Rr，记录下上一周期内目标码率Tlb；

2、若0<＝Tc<＝100ms,则将当前周期内的目标码率Tcb设置为(1+0.4)*Tlb；

3、若100<Tc<＝200ms,则将当前周期内的目标码率Tcb设置为(1+0.2)*Tlb；

4、若200<Tc<＝300ms,则将当前周期内的目标码率Tcb设置为(1+0.1)*Tlb；

5、若300<Tc<＝600ms,则将当前周期内的目标码率Tcb设置为Tlb；

6、若600<Tc<＝700ms,则将当前周期内的目标码率Tcb设置为(1-0.1)*Tlb；

7、若700<Tc<＝800ms,则将当前周期内的目标码率Tcb设置为(1-0.2)*Tlb；

8、若800<Tc<＝900ms,则将当前周期内的目标码率Tcb设置为(1-0.3)*Tlb；

9、若900<Tc<＝1000ms,则将当前周期内的目标码率Tcb设置为(1-0.4)*Tlb；

10、若1000<Tc,则将当前周期内的目标码率Tcb设置为当前视频参数下的最小码率Bmin；

11、对于以上各个步骤计算出的目标码率值Tcb,若Tcb<Bmin,则将Tcb设置为Bmin；若Tcb>Bmax,则将Tcb设置为Bmax；

12、根据计算出的目标码率值Tcb及用户设置的流畅度优先级,设置相应的目标帧率Tcf。

本发明采用多卡绑定进行可靠传输，可自动均衡负载,采用拆分数据流进行发送,最大限度的减小网络拥塞,提高网络带宽利用率；通过实时监测当前网络传输质量,使用自定义调节算法,准确的计算出适合当前网络的视频帧率码率等参数,并及时控制数据源进行编码采集,实现低延时,高流畅度,高清晰的画面传输效果，并通过选择性丢帧，丢弃对视频解码影响不大的帧，以最大限度提高了接收端解码画面的清晰度及流畅度，该方法具有实时性好、简单易行的特点，大大提高了视频播放的效果。

以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (3)

1.一种基于多卡绑定的自适应网络带宽实时数据流传输方法，其特征在于，包括以下步骤：

S1、根据客户端设备可用的网口数量,分别与服务端创建连接,建立起传输子通道,并根据建立连接的先后顺序进行排序；

S2、根据客户端设备的总带宽,自适应调整将要发送的数据流大小,并将调整后的数据流写入负载均衡器；

S3、负载均衡器将数据流拆分成若干个适合网络传输大小的数据包,并写入到发送窗口中；

S4、随机选取一个传输子通道作为起始调度通道；

S5、对步骤S4中被调度的子通道进行空闲状态检测，若该被调度的子通道处于空闲状态,进入步骤S6，若该被调度的子通道处于忙碌状态，否则进入步骤S7；

S6、被调度的子通道从发送窗口中取一个IP数据包进行传输；

S7、判断所发送的IP数据包是否超过预设的超时时间,若超时,则回写到发送窗口中,由其他子通道优先发送该数据包，若没有超时,则继续发送；

S8、在数据包传输的过程中，检测被调度的子通道与服务器是否处于断开状态，若处于断开状态，检测数据包是否完全发送完，若未完全发送完，则回写到发送窗口中，由其他子通道优先发送该数据包，同时，将该子通道标记为断开状态，并重新连接服务器；

S9、若当前被调度的子通道处于满载状态，继续调度下一个传输子通道，重复执行步骤S5、S6、S7和S8，直至调度完所有的子通道。

S10、负载均衡器根据GOP时长为统计周期进行带宽统计,并计算出当前的带宽值,负载均衡器根据统计出的带宽值及各个子通道的延时情况,动态调节发送窗口的大小。

2.根据权利要求1所述的一种基于多卡绑定的自适应网络带宽实时数据流传输方法，其特征在于：所述步骤S2中，根据客户端设备的总带宽,自适应调整要发送的数据流大小,具体包括以下步骤：

a.根据当前传输的视频参数,计算出最小和最大的帧率码率组合,对应的传输带宽分别为Bmin,Bmax；

b.根据Bmin,Bmax,设定一个目标码率Tb,其中，Bmin<Tb<Bmax；

c.根据上一GOP时长的带宽统计结果,计算出系统实时传输带宽Rr；

d.若Rr<＝Bmin,则执行丢帧策略；

e.若Rr>＝Bmax,则设置为目标帧率码率；

f.若Bmin<Rr<Bmax,根据最近三次的Gop时长内统计的带宽,以Tb与Rr为参考量,通过自适应帧码率调节算法,调整帧率码率以适配当前的网络带宽。

3.根据权利要求2所述的一种基于多卡绑定的自适应网络带宽实时数据流传输方法，其特征在于：所述步骤d中丢帧策略包括以下步骤：

a.以GOP为单位,对数据量及发送周期进行统计,并计算出当前的传输带宽Rr；

b.对GOP中的各个帧按解码顺序进行排序,序号分别为P.1,P.2,P.3,.....；

c.根据当前传输带宽的传输能力及待发送的GOP各帧数据分布情况,计算出可发送的视频帧数目N；

d.若以流畅度优先策略进行传输,先发送序号为奇数的帧再发送序号为偶数的帧,根据客户端设备传输能力,在GOP时间周期内发送,对于超出GOP发送周期的视频帧,则选择丢弃；

e.若以清晰度优先策略进行传输,在GOP时间周期内优先发送P.1,P.2,...,P.N,对于超出发送周期的帧,则选择丢弃。