CN106454414A - 一种多径网络实时视频传输方法 - Google Patents

Abstract

本发明提供一种多径网络实时视频传输方法，所述多径网络包括至少两条从发送端到接收端的视频流传输子路径，所述多径网络实时视频传输方法包括：1)发送端对原始视频流数据进行打包并在包头中按顺序添加标签，得到多径传输数据，然后将所述多径传输数据包发送到不同的所述视频流传输子路径传输；2)接收端接收并解析所述多径传输数据包，再根据包头中的标签复原出原始视频数据流。本发明能够充分利用传输路径两端的出口和入口带宽；能够有效地提高实施视频传输的稳定性，提升用户体验。

Description

一种多径网络实时视频传输方法

技术领域

本发明涉及实时数据传输技术领域，具体地说，本发明涉及一种多径网络实时视频传输方法。

背景技术

随着互联网的迅速发展，网络实时视频传输系统得到越来越广泛的应用，如体育赛事网络直播，视频会议系统，视频通讯工具等等。现有技术中，实时视频传输方式通常分为两类：

一是点对点传输，即在两个终端之间直接建立网络连接进行视频数据传输，这种方式通常应用在视频通讯工具中，例如FaceTime,Skype等；二是流媒体服务器转发方式，该转发方式下，视频发送端先与媒体服务器建立连接，把视频数据传输到媒体服务器，再经由媒体服务器把视频数据传输到视频接收端，这种方式通常应用在网络直播等一对多的应用场景下。

图1示出了一种典型的视频传输网络拓扑结构，它主要由发送端，接收端，流媒体服务器和路由器这四种角色组成，每种角色都可以抽象成一个网络节点，两个节点之间的连接线称为网络边，表示了两个节点之间的网络连接以及视频数据的传输方向，两点之间的传输能力通常用网络带宽来表示。网络带宽指在一个固定时间内(通常是一秒)，端到端之间能通过的最大位数据量，通常以bps为表示单位，bps全称为bits per second，即比特率，它是数据传输速率的常用单位。

图1中，发送端表示视频数据的发送者。接收端表示视频数据的接收者。流媒体服务器是在流媒体服务器转发方式中起到数据中转的作用的网络节点。路由器是连接各个网络并实现信号的传输的路由节点，图1中R101,R111,R112,R121,R122,R123,R201等均表示路由器。

在点对点传输场景中，通常根据最短路径优先规则从发送端到接收端传输数据，在图1的示例中，点对点传输下，会通过(发送端->R101->R111->R112->R201->接收端)这条路径传输实时视频，以下简称这条路径为P1。在流媒体服务器转发方式中，数据先从发送端传输到流媒体服务器，即经过(发送端->R101->R121->R122->流媒体服务器)这条路径，然后再从流媒体服务器转发到接收端，即经过(流媒体服务器->R122->R123->R201->接收端)这条路径，这两条路径组成发送端至接收端的完整路径，以下简称这条完整路径为P2。

不论是点对点传输方式，还是流媒体服务器转发方式，发送端到接收端之间的网络带宽都是由整条路径中最小的一条网络边决定。例如图1所示的网络，发送端的出口带宽和接收端的入口带宽都达到10Mbps，但是路径P1中最小的网络边是(R111->R112)，网络边(R111->R112)的带宽是2Mbps，因此路径P1的带宽只有2Mbps，路径P2中最小的网络边是(R121->R122),网络边(R121->R122)的带宽只有8Mbps，因此路径P1的带宽只有8Mbps。可以看出，不论是传统的点对点传输方式，还是流媒体服务器转发方式，均无法充分利用发送端的出口带宽和接收端的入口带宽。并且，在现实的互联网环境中，网络中的带宽是由大量用户共享的，而这些用户在进行数据传输时可能会经过某些共同的网络边，在某些时刻，这些网络边承载的数据传输量会达到极限，导致发送网络拥塞，造成数据传输不稳定，而在实时视频传输应用中，这种不稳定性引将造成视频的缓冲或视频马赛克的出现，严重影响用户体验。

因此，当前迫切需要能够充分利用出口和入口带宽利用率，能够有效提高传输稳定性的实时视频传输解决方案。

发明内容

因此，本发明的任务是提供一种能够克服上述缺陷的实时视频传输解决方案。

本发明提供了一种多径网络实时视频传输方法，所述多径网络包括至少两条从发送端到接收端的视频流传输子路径，所述多径网络实时视频传输方法包括下列步骤：

1)发送端对原始视频流数据进行打包并在包头中按顺序添加标签，得到多径传输数据，然后将所述多径传输数据包发送到不同的所述视频流传输子路径传输；

2)接收端接收并解析所述多径传输数据包，再根据包头中的标签复原出原始视频数据流。

其中，所述视频流传输子路径包括点对点传输方式连接的传输子路径和中转服务方式连接的传输子路径。

其中，所述步骤1)中，所述多径传输数据包的包头包括视频传输子路径ID，所述发送端通过对所述视频传输子路径ID的设置来分配发送到不同视频传输子路径的数据量。

其中，所述步骤1)中，所述发送端根据不同视频传输子路径的历史带宽数据来按比例分配各个视频传输子路径的传输任务量。

其中，所述步骤1)中，所述多径传输数据包的包头还包括：子路径中的多径传输数据包序列号，多径传输数据包的总序列号，下一站的IP地址，以及接收端的IP地址和端口。

其中，所述步骤1)中，所述发送端根据实时测量的视频传输子路径带宽，动态调节各个视频传输子路径的传输任务量。

其中，所述步骤1)中，所述多径传输数据包的包头还包括：本地时间戳。

其中，所述步骤1)中，将所述点对点传输方式直接连接的传输子路径作为主要子路径，所述主要子路径每秒所需要传输的多径传输数据包数目N₀为：

其中，PS为单个多径传输数据包的大小，SBR₀为所述主要子路径的当前带宽。

其中，所述步骤1)中，对于除所述主要子路径外的其余子路径，每秒需传输的多径传输数据包数目N_i为：

其中，i为视频传输子路径ID，SBR_i为第i个视频传输子路径的当前带宽，M为每秒钟产生的所需发出的多径传输数据包数目，n为除主要子路径外的其余视频传输子路径的数目。

其中，所述步骤2)还包括：接收端根据所接收的多径传输数据包中携带的时间戳，以及该多径传输数据包的接收时刻，计算相应视频传输子路径的带宽，然后将所述相应视频传输子路径的带宽反馈给发送端。

其中，所述步骤2)还包括：所述接收端在计算出相应视频传输子路径的带宽后，构建携带所计算带宽信息的反馈信息数据包，然后将反馈信息数据包回传给发送端。

其中，所述步骤2)中，所述反馈信息数据包通过所述主要子路径回传给发送端，所述主要子路径是点对点传输方式直接连接的传输子路径。

其中，所述步骤2)中，计算视频传输子路径的带宽的方法包括：

21)对于任意一条视频传输子路径，接收端计算滑动时间窗口内的多径传输数据包的平均接收时间抖动DJ；

22)当DJ小于门限DJ_thres时，增加该视频传输子路径的带宽；

23)当DJ大于门限DJ_thres时，减少该视频传输子路径的带宽。

其中，所述步骤21)还包括：对于任一一条视频传输子路径，接收端维护滑动时间窗口内所有多径传输数据包的接收时间抖动{J₀,...J_i,...J_N}，J_i表示滑动时间窗口内该视频传输子路径的第i个多径传输数据包的接收时间抖动，N表示滑动时间窗口内收到的该视频传输子路径的多径传输数据包的数目，计算所述平均接收时间抖动DJ：

其中，所述步骤22)中，当DJ小于门限DJ_thres时，将带宽在前一时间窗口所计算的带宽的基础上提高一定百分比。

其中，所述步骤23)中，当DJ大于门限DJ_thres时，将带宽R_new更新为

其中，R为前一时间窗口所计算的带宽，TW为滑动时间窗口的时间长度，RBUF表示接收端的最大缓冲时间，其中NLP为当前滑动时间窗口内的丢包数总和，NRP为当前滑动时间窗口内接收到的数据包总和。

与现有技术相比，本发明具有下列技术效果：

1、本发明能够充分利用传输路径两端的出口和入口带宽。

2、本发明能够有效地提高实施视频传输的稳定性，提升用户体验。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1示出了一种典型的视频传输网络拓扑结构；

图2示出了本发明一个实施例的多径网络实时视频传输方法的流程图；

图3示出了本发明一个实施例中单个子路径中多径传输数据包传输过程在时间轴上的示意图。

具体实施方式

根据本发明的一个实施例，提供了一种多径网络实时视频传输方法。其中多径网络是指从发送端到接收端至少存在两条传输路径的视频传输网络。本实施例中，同时使用多条路径完成视频传输，从而提升传输路径两端出口和入口带宽的利用率，并有效地提高实施视频传输的稳定性。

图1所示的视频传输网络拓扑结构中，在发送端到接收端之间存在一条支持点对点传输方式的P1路径，同时还存在一条支持流媒体服务器转发方式的P2路径，因此图1的视频传输网络拓扑结构可以直接构成本实施例所需的多径网络。本实施例中，将图1中的流媒体服务器替换为转发服务器，专门用于实现视频转发功能。当然，由于流媒体服务器本身具有视频转发功能，因此也可以保留原先的流媒体服务器，并将其直接作为一种特殊的转发服务器。

在多径网络中，要同时使用多条路径完成视频传输，就是要将发送端的数据分散到多条路径中进行传输。图2示出了本实施例的多径网络实时视频传输方法的流程图，如图所示，该实时视频传输方法包括：

步骤1：发送端对原始视频流数据进行打包，包头中按顺序添加标签。通常地，视频流数据在传输层进行传输，因此原始的视频流数据按照一定的大小分为一个个的数据段，为每个数据段按照固定格式进行打包并按顺序添加标签形成数据包。为便于描述，本发明中将原始视频数据流打包后的数据包称为多径传输数据包。

在一个实施例中，多径传输数据包的包头数据格式如表1所示。

表1

其中，MagicNumber是用来标识多径传输数据包，避免网络中存在无效数据包时接收端解析错误；ChannelID是多径传输数据包所要使用的传输子路径ID；SubSequenceNo是每条子路径中的多径传输数据包序列号，它按照该子路径中的数据包数目递增；MajorSequenceNo是多径传输数据包的总序列号，它按照原始视频数据流的数据分段数目递增，本实施例中，MajorSequenceNo实际上就是前文中所述的在包头中按顺序添加的标签，在接收端，利用这个标签即可复原出原始视频流；SessionID是会话的唯一标识，用来区分不同的视频传输会话；Timestamp是当前的系统时间，即多径传输数据包发送时的本地时间戳。NextHopAddr是下一站的IP地址，如果子路径是经过中转服务器的路径，则NextHopAddr域先被填充为中转服务器的地址，在到达目的中转服务器后，目的中转服务器会将该域再修改成更下一站的中转服务器地址，直至最后一站。在最后一站时NextHopAddr域与最终目的地址DestinationAddr相同。DestinationAddr为最终目的IP地址，即接收端的IP地址。DestinationPort为最终目的端口，即接收端用于接收多径传输数据包的端口。

步骤2：将多径传输数据包分散到多径网络中不同的路径传输。通常地，视频数据在传输层进行传输，因此本实施例中多径传输数据包通过传输层协议进行传输，传输层协议既可以是TCP协议，也可以是UDP协议。本步骤中，基于多径传输数据包的ChannelID即可将视频数据发送到不同的子路径中，实现视频数据的分散传输。在传输过程中，如果所使用的是点对点子路径，直接按现有的点对点传输方式即可将多径传输数据包传输到接收端。如果所使用的是中转服务子路径，则每个中转服务器接收到数据包后，只需要把多径传输数据包的NextHopAddr域进行更改为下一站的IP地址，然后将多径传输数据包转发到下一站，直至到达目的地址，即到达接收端。

步骤3：接收端接收多径传输数据包后，对数据包进行解析，再根据标签复原成原始视频数据流。本步骤中，接收端可以根据多径传输数据包的SubSequenceNo域对每条子路径的数据完整性进行分别校验，然后再根据各个多径传输数据包的MajorSequenceNo的顺序依次把视频数据还原成原始的序列，形成视频流数据。

在一个实施例中，多径网络初始化过程如下：发送端由用户配置可能利用到的下一站中转服务器地址；在中转服务器端以最终目的IP地址与端口组合作为索引为每一路视频流配置下一站中转服务器地址；发送端先与接收端建立两端之间的直接子路径，该直接子路径的ChannelID标识为0，同时随机生成SessionID，以下将该直接子路径称为主要子路径。然后依次与用户配置的各个下一站中转服务器建立连接，ChannelID依次累加，形成多个中转服务子路径，这样就完成了多径网络的初始化。当然，上述初始化方法并不是唯一的，比如在另一个实施例中，下一站中转服务器的地址不是通过用户配置，而是通过中心服务器自动获取。再比如，在又一个实施例中，发送端通过初始带宽测试后自动获取下一站中转服务器的地址。不论多径网络使用什么样的初始化方法，最终本质都是通过生成多条子路径来进行数据传输。

发送端在打包时，通过为不同的原始视频数据段分配不同的ChannelID，来控制视频数据的传输子路径，这样，只要按比例分配ChannelID，即可实现不同子路径上的传输数据量的分配。在一个实施例中，可以按照不同子路径的历史带宽数据，来按比例分配各个子路径的传输任务量，即各个子路径单位时间所需传输的多径传输数据包数目。

在另一个实施例中，根据实时测量的带宽，动态调节各个子路径的传输任务量。这样能够更高效地利用各个子路径的带宽，进一步提高视频传输的稳定性。该实施例中，各子路径任务量的分配算法如下：假设用户在发送端设定的编码码率为TBR bps，各子路径的带宽假设为SBR_i，i为子路径的ChannelID，除掉主要子路径以外的子路径总数目为n。则每秒钟产生的视频数据包数目PS为单个多径传输数据包的大小，单位为字节，通常取固定值。用N_i表示第i子路径每秒需要传输的多径传输数据包数目，则主要子路径每秒所需要传输的多径传输数据包数目为：

其余子路径每秒需传输的多径传输数据包为：

在所述步骤1中，发送端将多径传输数据包轮流分配给各个子路径传输，并对每个子路径每秒内已经传输的多径传输数据包进行计数，当计数等于该秒内所需传输的多径传输数据包数目(即N_i)后，停止给该子路径分配多径传输数据包，直至下一秒重新开始。

更进一步地，在一个优选实施例中，还给出了一种实现获取各个子路径的带宽并动态调节各个子路径的传输任务量的方案。其中，接收端根据所接收的多径传输数据包中携带的时间戳，以及该多径传输数据包的接收时刻，计算相应子路径的带宽，然后接收端按照固定时间间隔生成反馈信息数据包，并通过主要子路径回传给发送端。

反馈信息数据包格式如表2所示。

表2

其中，MagicNumber用来标识反馈数据包，Version为版本号信息，ACKNo为反馈包序列号。Type表示Payload的类型。在一个例子中，Type为0时payload表示子路径的估算带宽。ChannelID表示子路径标识。Length表示Payload长度。Payload表示反馈信息负载，在反馈信息数据包中，Payload携带子路径的估算带宽。Type，ChannelID，Length，Payload4个域组合为单个子路径的反馈信息，它们可以多次出现在同一个反馈信息数据包中，即一个反馈信息数据包中可以同时包含多个子路径的反馈信息。

本优选实施例中，N₀初始值设置为M，在收到接收端每次反馈的主要子路径的带宽计算反馈信息后，根据所反馈的带宽更新N₀，然后将N_i的值设为

其中，i＝[1,n]。

所述步骤1中，在打包阶段，根据当前的N₀和N_i值将相应数目的多径传输数据包分配到相应的子路径上，即可实现视频数据的分散传输。

进一步地，在一个优选实施例中，还进一步给出了一种接收端动态计算每条路径的网络带宽的方法。图3示出了本发明一个实施例中单个子路径中多径传输数据包传输过程在时间轴上的示意图。图3中，i表示多径传输数据包在子路径中的编号。T_i表示多径传输数据包P_i的发送时间，该时间值是发送端记录的该包发送时刻的本地时间，并通过包头Timestamp域传输；t_i表示P_i的接收时间，该时间值是接收端记录的该包接收时刻的本地时间；TW表示一个滑动时间窗口(其时间单位为ms)，在本实施例中，滑动时间窗口TW取值为最大接收缓冲时间的一半或1/4；TS表示滑动时间窗口数据统计的更新间隔，一般取值为TW/2。

接收端维护滑动时间窗口TW内所有包的接收时间抖动J_i，J_i＝(t_i-t₀)-(T_i-T₀)，假设某个TW时间周期内收到的包为N个，则{J₀,...J_i,...J_N}记录了该窗口内的接收时间抖动，

则

假设R为子路径的当前接收码率，S_i表示多径传输数据包P_i的数据量。

当DJ小于门限DJ_thres(一般取值为)时，则该子路径的带宽增加10％，更新为1.1倍R；R为前一时间窗口所计算的带宽。

当DJ大于门限DJ_thres时，该子路径的带宽更新为

其中L表示该时间窗口内丢失包的比率，假设该时间窗口内的丢包数总和为NLP，接收到的数据包总和为NRP，则RBUF表示接收端的最大缓冲时间，RBUF的取值一般可以作为接收端配置参数由用户设置。

需要说明的是，上述计算子路径实时带宽的方法并不是唯一的，本发明也可以通过其它方法来动态地得出子路径的带宽。

在上述实施例中，发送端以两端之间直接建立的点对点子路径为首要的优先传输通道，如果这条子路径带宽不够传输实际的视频码率，则把不足的那些数据通过其他由中转服务器建立的子路径进行传输。这种机制的优势是可以最大程度的利用点对点子路径的带宽资源，降低中转服务器的数据流量，从而降低整体传输成本。

本发明可以避免现有视频传输方法中容易受到中间网络节点的影响，提高视频传输的稳定度，并在大部分情况下，可以增大两端之间的视频传输码率，从而提高视频质量，尤其是能够提高视频传输的稳定性。

在实际测试中，通过互联网从台湾传输8Mbps的视频到荷兰的节目制作中心。台湾的上行带宽和荷兰的下行带宽都为50Mbps，但是使用现有单径传输方法中点对点的方式从台湾直接传输到荷兰的带宽只能传输3Mbps的视频；从台湾传输到香港服务器再转发到荷兰也只能传输6Mbps的视频，而且这两种方式都在不同的时间点出现因为网络拥塞导致传输中断故障。而使用本发明的技术方案，利用两条路径同时传输，则可以稳定的传输8Mbps的视频。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (12)

1.一种多径网络实时视频传输方法，所述多径网络包括至少两条从发送端到接收端的视频流传输子路径，所述多径网络实时视频传输方法包括下列步骤：

1)发送端对原始视频流数据进行打包并在包头中按顺序添加标签，得到多径传输数据，然后将所述多径传输数据包发送到不同的所述视频流传输子路径传输；

2)接收端接收并解析所述多径传输数据包，再根据包头中的标签复原出原始视频数据流。

2.根据权利要求1所述的多径网络实时视频传输方法，其特征在于，所述视频流传输子路径包括点对点传输方式连接的传输子路径和中转服务方式连接的传输子路径。

3.根据权利要求2所述的多径网络实时视频传输方法，其特征在于，所述步骤1)中，所述多径传输数据包的包头包括视频传输子路径ID，所述发送端通过对所述视频传输子路径ID的设置来分配发送到不同视频传输子路径的数据量。

4.根据权利要求3所述的多径网络实时视频传输方法，其特征在于，所述步骤1)中，所述发送端根据不同视频传输子路径的历史带宽数据来按比例分配各个视频传输子路径的传输任务量。

5.根据权利要求3所述的多径网络实时视频传输方法，其特征在于，所述步骤1)中，所述多径传输数据包的包头还包括：子路径中的多径传输数据包序列号，多径传输数据包的总序列号，下一站的IP地址，以及接收端的IP地址和端口，以及本地时间戳。

6.根据权利要求3所述的多径网络实时视频传输方法，其特征在于，所述步骤1)中，所述发送端根据实时测量的视频传输子路径带宽，动态调节各个视频传输子路径的传输任务量。

7.根据权利要求6所述的多径网络实时视频传输方法，其特征在于，所述步骤1)中，将所述点对点传输方式直接连接的传输子路径作为主要子路径，所述主要子路径每秒所需要传输的多径传输数据包数目N₀为：

$N_0=\frac{{\mathrm{SBR}}_0}{8\×PS},$

其中，PS为单个多径传输数据包的大小，SBR₀为所述主要子路径的当前带宽。

8.根据权利要求7所述的多径网络实时视频传输方法，其特征在于，所述步骤1)中，对于除所述主要子路径外的其余子路径，每秒需传输的多径传输数据包数目N_i为：

$N_i=\frac{{\mathrm{SBR}}_i}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{SBR}}_j}(M-N_0)$

其中，i为视频传输子路径ID，SBR_i为第i个视频传输子路径的当前带宽，M为每秒钟产生的所需发出的多径传输数据包数目，n为除主要子路径外的其余视频传输子路径的数目。

9.根据权利要求6所述的多径网络实时视频传输方法，其特征在于，所述步骤2)还包括：接收端根据所接收的多径传输数据包中携带的时间戳，以及该多径传输数据包的接收时刻，计算相应视频传输子路径的带宽，然后将所述相应视频传输子路径的带宽反馈给发送端。

10.根据权利要求9所述的多径网络实时视频传输方法，其特征在于，所述步骤2)还包括：所述接收端在计算出相应视频传输子路径的带宽后，构建携带所计算带宽信息的反馈信息数据包，然后将反馈信息数据包回传给发送端。

11.根据权利要求10所述的多径网络实时视频传输方法，其特征在于，所述步骤2)中，计算视频传输子路径的带宽的方法包括：

21)对于任意一条视频传输子路径，接收端计算滑动时间窗口内的多径传输数据包的平均接收时间抖动DJ；

22)当DJ小于门限DJ_thres时，增加该视频传输子路径的带宽；

23)当DJ大于门限DJ_thres时，减少该视频传输子路径的带宽。

12.根据权利要求11所述的多径网络实时视频传输方法，其特征在于，所述步骤21)还包括：对于任一一条视频传输子路径，接收端维护滑动时间窗口内所有多径传输数据包的接收时间抖动{J₀,...J_i,...J_N}，J_i表示滑动时间窗口内该视频传输子路径的第i个多径传输数据包的接收时间抖动，N表示滑动时间窗口内收到的该视频传输子路径的多径传输数据包的数目，计算所述平均接收时间抖动DJ：

$DJ=\sqrt{\frac{1}{N}\underset{i=0}{\overset{N}{\Σ}}{(J_i-AJ)}^2},AJ=\frac{1}{N}\underset{i=0}{\overset{N}{\Σ}}{J}_i.$

所述步骤22)中，当DJ小于门限DJ_thres时，将带宽在前一时间窗口所计算的带宽的基础上提高一定百分比。

所述步骤23)中，当DJ大于门限DJ_thres时，将带宽R_new更新为

$R_{new}=R*(1-\frac{L*TW}{RBUF-TW})$

其中，R为前一时间窗口所计算的带宽，TW为滑动时间窗口的时间长度，RBUF表示接收端的最大缓冲时间，其中NLP为当前滑动时间窗口内的丢包数总和，NRP为当前滑动时间窗口内接收到的数据包总和。