CN105656774B - 一种网络实时视频会话媒体数据多径混合冗余传输方法 - Google Patents

Abstract

本发明提供一种网络实时视频会话媒体数据多径混合冗余传输方法，该方法为视频发送端将捕获的实时视频会话媒体数据按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行封装，经由多条不完全相交的网络传输路径进行多径混合冗余传输，其中对实时视频会话媒体数据的关键帧数据采用冗余传输方式，同时发送至多条不完全相交的传输路径上，对非关键帧数据采用分发传输方式，分配到多条路径传输；视频接收端对接收到的不同传输路径的数据包分组进行冗余剔除和重组操作，得到按序排列的实时视频媒体数据包，并按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据。

Description

一种网络实时视频会话媒体数据多径混合冗余传输方法

技术领域

本发明属于网络通信技术领域，具体涉及一种网络实时视频会话媒体数据多径混合冗余传输方法。

背景技术

3GPP将网络通信业务划分为4种基本类型：流类、交互类、背景类和会话类，其中流类和会话类视频业务成为了主流网络应用。然而会话类视频业务对实时性约束和传输带宽等方面的要求极高，技术滞后，发展缓慢。目前IP通信终端视频媒体传输通常采用RTP和UDP协议进行传输控制，采用没有服务质量(QoS)保证的端到端缺省路由路径(单一路径)进行传输，端到端路径环节中不确定拥塞引起的数据丢包和时延抖动常常造成视频媒体数据无法重组和解码，严重影响实时视频会话业务的品质。因此，改进实时视频会话业务的媒体传输方式，提升业务体验质量是当今网络媒体通信承载网络亟待解决的重要问题。

发明内容

针对现有通信网络的技术缺陷，本发明提供一种网络实时视频会话媒体数据多径混合冗余传输方法，包括：所述视频发送端将捕获的实时视频会话媒体数据按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行封装，经由多条不完全相交的网络传输路径进行多径混合冗余传输，其中对实时视频会话媒体数据的关键帧数据采用冗余传输方式，同时发送至多条不完全相交的传输路径上，对非关键帧数据采用分发传输方式，分配到多条路径传输；

所述视频接收端对接收到的不同传输路径的数据包分组进行冗余剔除和重组操作，得到按序排列的实时视频媒体数据包，并按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据。

所述多条不完全相交的传输路径是基于应用层路由的重叠网络构建的，包括：一条基于缺省路由的默认路径和多条不完全相交的应用层路由路径。一种网络实时视频会话媒体数据多径混合冗余传输方法，包括以下步骤：

步骤1：网络实时视频会话的发送端和接收端在多径混合冗余传输过程中，通过带外信令服务器和中继服务系统对业务类型和QoS参数的约束条件进行信令交互，获取n条不完全相交的传输路径、视频编解码格式和应用层网络传输协议；

步骤2：视频发送端根据获取的n条不完全相交的传输路径的跳数和QoS性能指标获得冗余路径集合和非冗余路径集合，并根据冗余路径集合和非冗余路径集合的路径条数确定冗余系数和非冗余系数，从而得到冗余传输路径和分发传输路径；

步骤2.1：视频发送端根据n条不完全相交的传输路径建立路径集合P＝{P₁，P₂…P_i…P_n}；

步骤2.2：设置路径最大跳数门限MaxHop，若路径集合P中的各条路径中，跳数Hop＞MaxHop的路径条数不等于0，则执行步骤2.3，否则执行步骤2.8；

步骤2.3：判断是否路径P_i的跳数Hop_i≤MaxHop，若是，执行步骤2.4，否则执行步骤2.6；

步骤2.4：将P_i置于路径子集P_a中，且并按路径跳数由小到大排序，得到冗余路径集合P_a＝{P_a1，P_a2…P_av}，v为Hop_i≤MaxHop的路径条数；

步骤2.5：根据冗余路径集合P_a的路径条数确定冗余系数R，且1＜R≤v，在冗余路径集合P_a中按跳数由小到大得到R条冗余传输路径，得到冗余传输路径集合P_r＝{P_r1，P_r2…P_rR}，执行步骤2.10；

步骤2.6：将P_i置于路径子集P_b中，且并按路径跳数由小到大排序，得到非冗余路径集合P_b＝{P_b1，P_b2…P_bv′}，v′为Hop_i＞MaxHop的路径条数；

步骤2.7：根据非冗余路径集合P_b的路径条数确定非冗余系数R′，且1≤R′≤v′，在非冗余路径集合P_b中按跳数由小到大得到R′条分发传输路径，得到分发传输路径集合P_r′＝{P_r′1，P_r′2…P_r′R′}，执行步骤2.10；

步骤2.8：计算路径P_i的QoS性能指标Perf_i，将路径集合P按Perf_i由大到小的顺序重新排序，得到集合P_p＝{P_p1，P_p2…P_pi….P_pn}；

所述的路径P_i的QoS性能指标Perf_i的计算公式如下：

其中，α为影响因子系数，min BandWidth(L_i)为当前查找路径P_i上链路L_i最小可用带宽，0＜L_i≤L_i.Max，L_i.Max为路径P_i上的链路长度的最大值，Delay(L_i)为链路L_i的时延。

步骤2.9：根据路径集合P_P中n条不完全相交的传输路径确定冗余系数R和非冗余系数R′，且2＜R+R′≤n，在集合P_p中按Perf_i由大到小得到R条冗余传输路径，得到冗余传输路径集合P_r＝{P_r1，P_r2…P_rR}，在集合P_p中按照Perf_i由大到小得到R′条分发传输路径，得到分发传输路径集合P_r′＝{P_r′1，P_r′2…P_r′R′}，

步骤2.10：创建并初始化子流发送缓冲区。

步骤3：视频发送端将捕获的视频媒体数据按照视频编解码格式和应用层网络传输协议进行封装；

步骤4：视频发送端将封装的视频媒体数据包进行I帧提取和冗余传输操作，将提取的I帧数据包发送至冗余传输路径；

步骤4.1：视频发送端创建并初始化发送缓冲区和I帧冗余缓冲区，将待发送的实时视频媒体数据包存储至发送缓冲区；

步骤4.2：视频发送端对发送缓冲区的视频媒体数据包进行I帧提取，并将提出的I帧数据包存储至I帧冗余缓冲区；

所述的视频发送端对发送缓冲区的视频媒体数据包进行I帧提取具体为：

所述视频发送端解析发送缓冲区中的实时视频媒体数据包，对应用层数据包头域的负载类型进行分析，得到视频编解码格式，根据视频编解码格式，对应用层数据包的负载部分进行格式分析，解析出数据包负载部分的帧类型，若该帧为I帧，则存储至I帧冗余缓冲区。

步骤4.3：视频发送端对I帧冗余缓冲区进行与冗余系数相等次数的读取操作，并将该数据采用多径传输协议封装成I帧多径传输数据包，将其发送至冗余传输路径的子流发送缓冲区，并利用传输层网络传输协议发送至网络中。

步骤5：视频发送端将封装的视频媒体数据包的非关键帧进行分发操作，将分发的数据包发送至分发传输路径；

步骤5.1：视频发送端创建并初始化非关键帧发送缓冲区，并将非关键帧数据包存储至非关键帧发送缓冲区中；

步骤5.2：视频发送端对非关键帧发送缓冲区进行读取操作，每次只读取一个非关键帧数据包，并将该数据采用多径传输协议封装成非关键帧多径传输数据包，采用轮询方式，发送至分发传输路径的子流发送缓冲区，并利用传输层网络传输协议发送至网络中；

步骤6：视频接收端对接收到的不同传输路径的数据包分组进行冗余剔除和重组操作，得到按序排列的实时视频媒体数据包，并按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据；

步骤6.1：视频接收端创建子流接收缓冲区和重组缓冲区；

步骤6.2：视频接收端监听接收Socket，接收不同传输路径的实时视频数据分组，解析实时视频数据分组，对实时视频数据分组的合法性进行验证，将合法的实时视频数据分组存储至相应路径的子流接收缓冲区中；

步骤6.3：视频接收端采用轮询方式查找每个子流接收缓冲区，提取实时视频数据分组，对实时视频数据分组进行冗余剔除操作，并将冗余剔除后的实时视频数据分组存储至重组缓冲区，进行重组操作，并对重组后的视频数据分组进行回调解码，得到原始的视频媒体数据。

步骤6.3.1：视频接收端采用轮询的方式查询每个子流接收缓冲区，判断该子流缓冲区是否为空，若是，执行步骤6.3.6，否则提取实时视频数据分组i的序号FSN_i，执行步骤6.3.2；

步骤6.3.2：将实时视频数据分组的序号FSN_i与重组缓冲区大小N_j进行模运算，得到数值m，即m＝FSN_i mod N_j，查询重组缓冲区中m位置存储的实时视频数据分组的序号B_m。

步骤6.3.3：若B_m＝-1，则该重组缓冲区为空，则令B_m＝FSN_i，将实时视频数据分组i存储到重组缓冲区m位置中，返回步骤6.3.1；

步骤6.3.4：若B_m≠-1且FSN_i＞B_m，则令B_m＝FSN_i，将实时视频数据分组i存储到重组缓冲区m位置中，令i＝i+1，返回步骤6.3.1；

步骤6.3.5：若B_m≠-1且FSN_i≤B_m，则舍弃序号为FSN_i的实时视频数据分组，令i＝i+1，返回步骤6.3.1；

步骤6.3.6：对存储在重组缓冲区的数据包利用多径传输协议格式街封装，并按照实时视频会话双方协商的视频编解码格式和网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据；

步骤6.3.6.1：访问重组缓冲区并判断重组缓冲区是否为空，若不为空，执行步骤6.3.6.2，否则执行步骤6.3.6.3；

步骤6.3.6.2：在重组缓冲区中查找序号为FSN_i的实时视频媒体数据包，剔除其多径混合冗余传输协议首部，并按照视频编解码格式和应用层网络协议对其解码，并令FSN_i＝FSN_i+1，返回步骤6.3.6.1；

步骤6.3.6.3：停止查找，回调解码结束，得到原始的视频媒体数据。

本发明的有益效果：

本发明提出一种网络实时视频会话媒体数据多径混合冗余传输方法，该方法的视频媒体数据的发送端将捕获的视频媒体数据按照实时视频会话双方协商的视频编解码格式和网络传输协议封装，将实时视频媒体数据的关键帧作为冗余单元，采用冗余传输方式同时发送至多条不完全相交的传输路径上，并将携带非关键帧的视频媒体数据分割成多个数据分组，实现分发传输，进而完成实时视频媒体数据多径混合冗余传输；在视频媒体数据的接收端对接收的来自不同传输路径的视频媒体数据分组进行冗余剔除和重组操作，并按照实时视频会话双方协商的视频编解码格式和网络传输协议还原成原始视频数据。由此，通过对于实时视频媒体数据采用多径混合冗余传输可以有效地避免单点拥塞造成的丢包、抖动、乱序等现象，从机制上提高了传输可靠性，并且采用关键帧冗余传输和非关键帧分发传输的机制，有效地降低了高带宽需求的视频媒体数据对每条传输路径的带宽需求，大大提升了传输效率和业务的体验质量。

附图说明

图1为本发明具体实施方式中实时视频会话业务多径混合冗余传输系统结构示意图；

图2为本发明具体实施方式中网络实时视频会话媒体数据多径混合冗余传输方法的流程图；

图3为本发明具体实施方式中提供网络实施视频会话媒体数据多径混合冗余传输服务的软件定义重叠网络系统层次图；

图4为本发明具体实施方式中确定冗余传输路径和分发传输路径的方法流程图；

图5为本发明具体实施方式中网络实时视频会话媒体数据多径混合冗余传输方法的视频发送端发送缓冲区的设置框图；

图6为本发明具体实施方式中实时视频会话业务多径混合冗余传输系统多径传输协议封装格式示意图；

图7为本发明具体实施方式中网络实时视频会话媒体数据多径混合冗余传输方法的视频接收端接收缓冲区的设置框图；

图8为本发明具体实施方式中视频接收端对实时视频数据分组进行冗余剔除操作和重组操作的流程图。

具体实施方式

下面结合附图对本发明具体实施方式加以详细的说明。

本实施方式中，基于重叠网络构建的多径传输系统：实时视频会话业务多径混合冗余传输系统，如图1所示，实时视频会话业务多径混合冗余传输系统包括：用户代理、信令服务器和中继服务系统。

用户代理包括：发送端用户代理和接收端用户代理。

信令服务器为带外信令服务器。

中继服务系统包括：业务重叠网络传输服务控制器和媒体中继服务器。

本实施方式中，视频发送端即发送端用户代理，视频接收端即接收端用户代理。

本实施方式中，业务重叠网络传输服务控制器用于管理和维护媒体中继服务系统的网络拓扑和中继行为，负责中继传输路径的分配。

本实施方式中，媒体中继服务器，负责中继传输路径的建立和媒体数据分组的接收和转发。

本实施方式中，带外信令服务器具有多路径传输会话协商能力，一方面用于接收来自发送端用户代理和接收端用户代理的媒体协商消息，将协商后的编解码格式和网络传输协议告知发送端用户代理和接收端用户代理，从而使得用户代理完成特定编解码格式和网络传输协议的封装。另一方面，信令服务器还负责接收来自发送端用户代理和接收端用户代理的多径传输会话建立请求，并向业务重叠网络传输服务控制器请求分配中继传输路径，业务重叠网络传输服务控制器和媒体中继服务系统协商完成中继路径的分配和建立，并向信令服务器返回中继传输路径的分配信息。

视频发送端将捕获的实时视频会话媒体数据按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行封装，经由多条不完全相交的网络传输路径进行多径混合冗余传输，其中对实时视频会话媒体数据的关键帧数据采用冗余传输方式，同时发送至多条不完全相交的传输路径上，对非关键帧数据采用分发传输方式，分配到多条路径传输。

视频接收端对接收到的不同传输路径的数据包分组进行冗余剔除和重组操作，得到按序排列的实时视频媒体数据包，并按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据。

多条不完全相交的传输路径是基于应用层路由的重叠网络构建的，包括：一条基于缺省路由的默认路径和多条不完全相交的应用层路由路径。

一种网络实时视频会话媒体数据多径混合冗余传输方法，如图2所示，包括以下步骤：

步骤1：网络实时视频会话的发送端和接收端在多径混合冗余传输过程中，通过带外信令服务器和中继服务系统对业务类型和QoS参数的约束条件进行信令交互，获取n条不完全相交的传输路径、视频编解码格式和应用层网络传输协议。

步骤1.1：视频发送端向信令服务器发起多径传输会话建立请求，信令服务器与视频接收端协商是否与视频发送端建立多径传输会话，若协商成功，信令服务器向视频发送端和视频接收端公布协商结果。

步骤1.2：信令服务器向业务重叠网络传输服务控制器请求分配中继传输路径，信令服务器等待中继传输路径分配结果的反馈，得到中继传输路径的分配信息，信令服务器向视频发送端和视频接收端公布路径分配结果。

步骤1.3：业务重叠网络传输服务控制器与中继服务系统协商中继路径的分配和建立，并向信令服务器返回中继传输路径的分配信息。

步骤1.4：视频发送端和视频接收端接收到路径分配信息，获取n条不完全相交的传输路径、视频编解码格式和应用层网络传输协议。

本实施方式中，n＝4条不完全相交的传输路径包括一条基于缺省路由的默认路径三条不完全相交的应用层路由路径。

视频发送端和视频接收端之间建立4条不完全相交的传输路径，除了通过信令服务器协商收发双方的路径请求，并通过中继服务系统和业务重叠网络传输服务控制器的路径建立和分配，完成多径传输之外，还可以直接由视频发送端向业务重叠网络传输服务控制器提出分配路径请求，业务重叠网络传输服务控制器再与媒体中继服务系统协商中继路径的分配和建立，进而实现多径传输。

实时视频会话双方通过信令协商已经获得不完全相交的传输路径4条，该4条路径是按照发送端和接收端对业务类型和QoS参数的约束条件协商得到的，因此是满足多径混合冗余传输条件的传输路径。

QoS参数约束条件主要指带宽和时延。对于实时视频会话业务，用一维矩阵(s，d，B，D)来表示发送端和接收端之间的带宽约束条件和时延约束条件，s为视频发送端源节点，d为视频接收端目的节点，B为实时视频会话业务的带宽约束条件，D为实时视频会话业务的时延约束条件，那么满足以下条件的路径即为满足QoS约束条件的路径：1)当前查找的路径P_i上的链路L_i最小可用带宽大于或等于实时视频会话业务的带宽约束条件B如式(1)和(2)所示：

min BandWidth(L_i)≥B (1)

0＜L_i≤L_i.Max (2)

其中，min BandWidth(L_i)为当前查找路径P_i上的链路L_i最小可用带宽，L_i.Max为路径P_i上的链路长度的最大值。

2)当前查找的路径P_i的所有链路时延之和小于或等于所述实时视频会话业务的时延约束条件如式(3)所示：

其中，Delay(L_i)为链路L_i的时延。

本实施方式中，基于重叠网络技术，在视频发送端和视频接收端的应用层和传输层之间构建业务重叠网络传输层，在业务重叠网络传输层实现实时视频会话业务的端到端多径混合冗余传输，提供网络实施视频会话媒体数据多径混合冗余传输服务的软件定义重叠网络系统层次图如图3所示。

步骤2：视频发送端根据获取的n条不完全相交的传输路径的跳数和QoS性能指标获得冗余路径集合和非冗余路径集合，并根据冗余路径集合和非冗余路径集合的路径条数确定冗余系数和非冗余系数，从而得到冗余传输路径和分发传输路径，如图4所示。

步骤2.1：视频发送端根据n条不完全相交的传输路径建立路径集合P＝{P₁，P₂…P_i…P_n}。

路径集合P＝{P₁，P₂…P_i…P_n}表示在实时视频会话开始之前，满足传输条件的所有路径信息，在该集合中选择进行混合冗余传输的路径。

步骤2.2：设置路径最大跳数门限MaxHop，若路径集合P中的各条路径中，跳数Hop＞MaxHop的路径条数不等于0，则执行步骤2.3，否则执行步骤2.8。

本实施方式中，路径最大跳数门限选择MaxHop＝3。

步骤2.3：判断是否路径P_i的跳数Hop_i≤MaxHop，若是，执行步骤2.4，否则执行步骤2.6。

步骤2.4：将P_i置于路径子集P_a中，且并按路径跳数由小到大排序，得到冗余路径集合P_a＝{P_a1，P_a2…P_av}，v为Hop_i≤MaxHop的路径条数。

步骤2.5：根据冗余路径集合P_a的路径条数确定冗余系数R，且1＜R≤v，在冗余路径集合P_a中按跳数由小到大得到R条冗余传输路径，得到冗余传输路径集合P_r＝{P_r1，P_r2…P_rR}，执行步骤2.10。

步骤2.6：将P_i置于路径子集P_b中，且并按路径跳数由小到大排序，得到非冗余路径集合P_b＝{P_b1，P_b2…P_bv′}，v′为Hop_i＞MaxHop的路径条数。

步骤2.7：根据非冗余路径集合P_b的路径条数确定非冗余系数R′，且1≤R′≤v′，在非冗余路径集合P_b中按跳数由小到大得到R′条分发传输路径，得到分发传输路径集合P_r′＝{P_r′1，P_r′2…P_r′R′}，执行步骤2.10。

步骤2.8：计算路径P_i的QoS性能指标Perf_i，将路径集合P按Perf_i由大到小的顺序重新排序，得到集合P_p＝{P_p1，P_p2…P_pi…P_pn}。

路径P_i的QoS性能指标Perf_i如式(4)所示：

其中，α为影响因子系数。

对于实时视频会话业务而言，主要影响其传输性能的QoS有时延Delay和带宽Width，而且其传输性能与时延Delay成反比，与带宽Width成正比。

步骤2.9：根据路径集合P_P中n条不完全相交的传输路径确定冗余系数R和非冗余系数R′，且2＜R+R′≤n，在集合P_p中按Perf_i由大到小得到R条冗余传输路径，得到冗余传输路径集合P_r＝{P_r1，P_r2·P_rR}，在集合P_p中按照Perf_i由大到小得到R′条分发传输路径，得到分发传输路径集合P_r′＝{P_r′1，P_r′2…P_r′R′}，

步骤2.10：创建并初始化子流发送缓冲区。

步骤3：视频发送端将捕获的视频媒体数据按照视频编解码格式和应用层网络传输协议进行封装。

本实施方法中，实时视频会话双方协商的视频编解码格式为H.264，并采用实时传输协议RTP进行封装，得到负载类型为H.264的RTP数据包。

步骤4：视频发送端将封装的视频媒体数据包进行I帧提取和冗余传输操作，将提取的I帧数据包发送至冗余传输路径。

步骤4.1：视频发送端创建并初始化发送缓冲区和I帧冗余缓冲区，将待发送的实时视频媒体数据包存储至发送缓冲区。

本实施方式中，网络实时视频会话媒体数据多径混合冗余传输方法的视频发送端发送缓冲区的设置框图如图5所示，包括发送缓冲区、I帧冗余缓冲区、非关键帧发送缓冲区和子流发送缓冲区。

本实施方式中，创建并初始化发送缓冲区：发送缓冲区的各个存储位置为空，发送缓冲区的大小根据路径的时延、抖动、吞吐量、丢包率、带宽等QoS参数动态调整，然后将视频媒体数据包作为负载数据部分，封装在MPTP多径传输数据包中，并按递增顺序存储在发送缓冲区。

创建并初始化I帧冗余缓冲区：I帧冗余缓冲区的各个存储位置为空，I帧冗余缓冲区用于存储待发送的I帧数据包，待发送的I帧数据包已经按照实时视频会话双方协商的视频编解码格式和网络传输协议进行封装好，但由于仅有I帧，而无其他填充单元，则I帧冗余缓冲区中的网络传输协议序列号是不连续的，但是是由小到大排列的。

步骤4.2：视频发送端对发送缓冲区的视频媒体数据包进行I帧提取，并将提取出的I帧数据包存储至I帧冗余缓冲区。

本实施方式中，视频发送端解析发送缓冲区中的实时视频媒体数据包，对应用层数据包的头域的负载类型进行分析，得到视频编解码格式，根据视频编解码格式，对应用层数据包的负载部分进行格式分析，解析出数据包负载部分的帧类型，若该帧为I帧，则存储至I帧冗余缓冲区。

步骤4.3：视频发送端对I帧冗余缓冲区进行与冗余系数相等次数的读取操作，并将该数据采用多径传输协议封装成I帧多径传输数据包，将其发送至冗余传输路径的子流发送缓冲区，并利用传输层网络传输协议发送至网络中。

本实施方式中，多径传输协议(MPTP)如图6所示，多径传输协议各字段的具体意义如下：

版本号：2bit，当前版本为1；

类型：1bit，用于说明视频媒体数据分组的类型(媒体数据分组或者控制数据分组)；

填充位：1bit，指示是否有非有效载荷的填充数据；

面向特殊应用的MPTP类型：4bit，指示该类数据分组的特定应用；

业务类型：4bit，指明不同的业务种类的传输需求；

保留字段：4bit，置0，为新增功能预留；

子流序列号：16bit，用于标识媒体数据分组在某条路径中的传输序号；

路径标识符；32bit，用于标识一条传输路径，以区分多条不完全相交的传输路径，标识媒体数据分组所在接收缓冲区；

流序列号；32bit，用于唯一标识实时音视频媒体会话中媒体数据分组，表示视频发送端发送媒体数据分组时，每发送一个媒体数据分组，序列号加1，接收端重组数据分组还原成原始媒体数据时，也是根据该标识；

负载数据；即为待传输的媒体数据分组，通常情况下，负载数据为经过特定协议封装后的音频或视频数据包，如：负载数据可以是经过RTP协议封装后的H.264编解码格式的视频媒体数据包。

本实施方式中，子流序列号和传输序列号按序递增，分别用于标识不同传输路径上数据包的传输顺序和数据包的全局传输顺序。

步骤5：视频发送端将封装的视频媒体数据包的非关键帧进行分发操作，将分发的数据包发送至分发传输路径。

步骤5.1：视频发送端创建并初始化非关键帧发送缓冲区，并将非关键帧数据包存储至非关键帧发送缓冲区中。

本实施方式中，创建并初始化非关键帧发送缓冲区，初始化非关键帧发送缓冲区的各个存储位置为空，用于存储经过I帧提取操作之后，未被识别为I帧的视频媒体数据分组。

步骤5.2：视频发送端对非关键帧发送缓冲区进行读取操作，每次只读取一个非关键帧数据包，并将该数据采用多径传输协议封装成非关键帧多径传输数据包，采用轮询方式，发送至分发传输路径的子流发送缓冲区，并利用传输层网络传输协议发送至网络中。

本实施方式中，根据路径的时延、抖动、吞吐量、丢包率、带宽等QoS参数，对非关键帧发送缓冲区进行读取，并将存放在非关键帧发送缓冲区的实时视频数据发送至用于分发传输的分发传输路径的子流缓冲区。

步骤6：视频接收端对接收到的不同传输路径的数据包分组进行冗余剔除和重组操作，得到按序排列的实时视频媒体数据包，并按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据。

步骤6.1：视频接收端创建子流接收缓冲区和重组缓冲区。

本实施方式中，网络实时视频会话媒体数据多径混合冗余传输方法的视频接收端接收缓冲区的设置框图如图7所示，包括子流接收缓冲区和重组缓冲区。

本实施方式中，创建子流接收缓冲区，在视频接收端创建一个或多个子流接收缓冲区，初始化子流接收缓冲区的各个存储位置为空，用于接收相应路径的实时视频数据包。

本实施方式中，创建重组缓冲区，初始化重组缓冲区的各个存储位置为空，重组缓冲区用于存储按序排列的实时视频媒体数据包，并完成数据重组。

步骤6.2：视频接收端监听接收Socket，接收不同传输路径的实时视频数据分组，解析实时视频数据分组，对实时视频数据分组的合法性进行验证，将合法的实时视频数据分组存储至相应路径的子流接收缓冲区中。

步骤6.3：视频接收端采用轮询方式查找每个子流接收缓冲区，提取实时视频数据分组，对实时视频数据分组进行冗余剔除操作，并将冗余剔除后的实时视频数据分组存储至重组缓冲区，进行重组操作，并对重组后的视频数据分组进行回调解码，得到原始的视频媒体数据，如图8所示。

步骤6.3.1：视频接收端采用轮询的方式查询每个子流接收缓冲区，判断该子流缓冲区是否为空，若是，执行步骤6.3.6，否则提取实时视频数据分组i的序号FSN_i，执行步骤6.3.2。

本实施方式中，轮询的方式查询具体为：视频接收端定期统计每个子流接收缓冲区中的实时视频数据分组的接收情况，得到不同传输路径对应的子流接收缓冲区的轮询优先级序列，视频接收端根据轮询优先级序列查询每个子流接收缓冲区。

步骤6.3.2：将实时视频数据分组的序号FSN_i与重组缓冲区大小N_j进行模运算，得到数值m，即m＝FSN_i mod N_i，查询重组缓冲区中m位置存储的实时视频数据分组的序号B_m。

本实施方式中，m表示的是接收缓冲区中的m位置，即第m个存储空间。

步骤6.3.3：若B_m＝-1，则该重组缓冲区为空，则令B_m＝FSN_i，将实时视频数据分组i存储到重组缓冲区m位置中，返回步骤6.3.1。

步骤6.3.4：若B_m≠-1且FSN_i＞B_m，则令B_m＝FSN_i，将实时视频数据分组i存储到重组缓冲区m位置中，令i＝i+1，返回步骤6.3.1。

步骤6.3.5：若B_m≠-1且FSN_i≤B_m，则舍弃序号为FSN_i的实时视频数据分组，令i＝i+1，返回步骤6.3.1。

步骤6.3.6：对存储在重组缓冲区的数据包利用多径传输协议格式街封装，并按照实时视频会话双方协商的视频编解码格式和网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据。

步骤6.3.6.1：访问重组缓冲区并判断重组缓冲区是否为空，若不为空，执行步骤6.3.6.2，否则执行步骤6.3.6.3。

步骤6.3.6.2：在重组缓冲区中查找序号为FSN_i的实时视频媒体数据包，剔除其多径混合冗余传输协议首部，并按照视频编解码格式和应用层网络协议对其解码，并令FSN_i＝FSN_i+1，返回步骤6.3.6.1。

步骤6.3.6.3：停止查找，回调解码结束，得到原始的视频媒体数据。

综上所述，本发明通过对于实时视频媒体数据采用多径混合冗余传输可以有效地避免单点拥塞造成的丢包、抖动、乱序等现象，从机制上提高了传输可靠性，并且采用关键帧冗余传输和非关键帧分发传输的机制，有效地降低了高带宽需求的视频媒体数据对每条传输路径的带宽需求，大大提升了传输效率和业务的体验质量。

Claims (9)

1.一种网络实时视频会话媒体数据多径混合冗余传输方法，包括：

所述视频发送端将捕获的实时视频会话媒体数据按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行封装，经由多条不完全相交的网络传输路径进行多径混合冗余传输，其中对实时视频会话媒体数据的关键帧数据采用冗余传输方式，同时发送至多条不完全相交的传输路径上，对非关键帧数据采用分发传输方式，分配到多条路径传输；

所述视频接收端对接收到的不同传输路径的数据包分组进行冗余剔除和重组操作，得到按序排列的实时视频媒体数据包，并按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据；

其特征在于，包括以下步骤：

步骤1：网络实时视频会话的发送端和接收端在多径混合冗余传输过程中，通过带外信令服务器和中继服务系统对业务类型和QoS参数的约束条件进行信令交互，获取n条不完全相交的传输路径、视频编解码格式和应用层网络传输协议；

步骤2：视频发送端根据获取的n条不完全相交的传输路径的跳数和QoS性能指标获得冗余路径集合和非冗余路径集合，并根据冗余路径集合和非冗余路径集合的路径条数确定冗余系数和非冗余系数，从而得到冗余传输路径和分发传输路径；

步骤3：视频发送端将捕获的视频媒体数据按照视频编解码格式和应用层网络传输协议进行封装；

步骤4：视频发送端将封装的视频媒体数据包进行I帧提取和冗余传输操作，将提取的I帧数据包发送至冗余传输路径；

步骤5：视频发送端将封装的视频媒体数据包的非关键帧进行分发操作，将分发的数据包发送至分发传输路径；

步骤6：视频接收端对接收到的不同传输路径的数据包分组进行冗余剔除和重组操作，得到按序排列的实时视频媒体数据包，并按照实时视频会话双方协商的视频编解码格式和应用层网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据。

2.根据权利要求1所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述多条不完全相交的传输路径是基于应用层路由的重叠网络构建的，包括：一条基于缺省路由的默认路径和多条不完全相交的应用层路由路径。

3.根据权利要求1所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1：视频发送端根据n条不完全相交的传输路径建立路径集合P＝{P₁，P₂...P_i...P_n}；

步骤2.2：设置路径最大跳数门限MaxHop，若路径集合P中的各条路径中，跳数Hop＞MaxHop的路径条数不等于0，则执行步骤2.3，否则执行步骤2.8；

步骤2.3：判断是否路径P_i的跳数Hop_i≤MaxHop，若是，执行步骤2.4，否则执行步骤2.6；

步骤2.4：将P_i置于路径子集P_a中，且并按路径跳数由小到大排序，得到冗余路径集合P_a＝{P_a1，P_a2...P_av}，v为Hop_i≤MaxHop的路径条数；

步骤2.5：根据冗余路径集合P_a的路径条数确定冗余系数R，且1＜R≤v，在冗余路径集合P_a中按跳数由小到大得到R条冗余传输路径，得到冗余传输路径集合P_r＝{P_r1，P_r2...P_rR}，执行步骤2.10；

步骤2.6：将P_i置于路径子集P_b中，且并按路径跳数由小到大排序，得到非冗余路径集合P_b＝{P_b1，P_b2...P_bv，}，v′为Hop_i＞MaxHop的路径条数；

步骤2.7：根据非冗余路径集合P_b的路径条数确定非冗余系数R′，且1≤R′≤v′，在非冗余路径集合P_b中按跳数由小到大得到R′条分发传输路径，得到分发传输路径集合P_r′＝{P_r＇1，P_r′2...P_r′R′}，执行步骤2.10；

步骤2.8：计算路径P_i的QoS性能指标Perf_i，将路径集合P按Perf_i由大到小的顺序重新排序，得到集合P_p＝{P_p1，P_p2...P_pi...P_pn}；

步骤2.9：根据路径集合P_P中n条不完全相交的传输路径确定冗余系数R和非冗余系数R′，且2＜R+R′≤n，在集合P_p中按Perf_i由大到小得到R条冗余传输路径，得到冗余传输路径集合P_r＝{P_r1，P_r2...P_rR}，在集合P_p中按照Perf_i由大到小得到R′条分发传输路径，得到分发传输路径集合P_r′＝{P_r′1，P_r′2…P_r′R′}，

步骤2.10：创建并初始化子流发送缓冲区。

4.根据权利要求1所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述的步骤4包括以下步骤：

步骤4.1：视频发送端创建并初始化发送缓冲区和I帧冗余缓冲区，将待发送的实时视频媒体数据包存储至发送缓冲区；

步骤4.2：视频发送端对发送缓冲区的视频媒体数据包进行I帧提取，并将提取出的I帧数据包存储至I帧冗余缓冲区；

步骤4.3：视频发送端对I帧冗余缓冲区进行与冗余系数相等次数的读取操作，并将该数据采用多径传输协议封装成I帧多径传输数据包，将其发送至冗余传输路径的子流发送缓冲区，并利用传输层网络传输协议发送至网络中。

5.根据权利要求1所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述的步骤5包括以下步骤：

步骤5.1：视频发送端创建并初始化非关键帧发送缓冲区，并将非关键帧数据包存储至非关键帧发送缓冲区中；

步骤5.2：视频发送端对非关键帧发送缓冲区进行读取操作，每次只读取一个非关键帧数据包，并将该数据采用多径传输协议封装成非关键帧多径传输数据包，采用轮询方式，发送至分发传输路径的子流发送缓冲区，并利用传输层网络传输协议发送至网络中。

6.根据权利要求1所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述的步骤6包括以下步骤：

步骤6.1：视频接收端创建子流接收缓冲区和重组缓冲区；

步骤6.2：视频接收端监听接收Socket，接收不同传输路径的实时视频数据分组，解析实时视频数据分组，对实时视频数据分组的合法性进行验证，将合法的实时视频数据分组存储至相应路径的子流接收缓冲区中；

步骤6.3：视频接收端采用轮询方式查找每个子流接收缓冲区，提取实时视频数据分组，对实时视频数据分组进行冗余剔除操作，并将冗余剔除后的实时视频数据分组存储至重组缓冲区，进行重组操作，并对重组后的视频数据分组进行回调解码，得到原始的视频媒体数据。

7.根据权利要求2所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述的路径P_i的QoS性能指标Perf_i的计算公式如下：

其中，α为影响因子系数，min BandWidth(L_i)为当前查找路径P_i上链路L_i最小可用带宽，0＜L_i≤L_i.Max，L_i.Max为路径P_i上的链路长度的最大值，Delay(L_i)为链路L_i的时延。

8.根据权利要求3所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述的视频发送端对发送缓冲区的视频媒体数据包进行I帧提取具体为：

所述视频发送端解析发送缓冲区中的实时视频媒体数据包，对应用层数据包头域的负载类型进行分析，得到视频编解码格式，根据视频编解码格式，对应用层数据包的负载部分进行格式分析，解析出数据包负载部分的帧类型，若该帧为I帧，则存储至I帧冗余缓冲区。

9.根据权利要求6所述的网络实时视频会话媒体数据多径混合冗余传输方法，其特征在于，所述的步骤6.3包括以下步骤：

步骤6.3.1：视频接收端采用轮询的方式查询每个子流接收缓冲区，判断该子流缓冲区是否为空，若是，执行步骤6.3.6，否则提取实时视频数据分组i的序号FSN_i，执行步骤6.3.2；

步骤6.3.2：将实时视频数据分组的序号FSN_i与重组缓冲区大小N_j进行模运算，得到数值m，即m＝FSN_imod N_j，查询重组缓冲区中m位置存储的实时视频数据分组的序号B_m；

步骤6.3.3：若B_m＝-1，则该重组缓冲区为空，则令B_m＝FSN_i，将实时视频数据分组i存储到重组缓冲区m位置中，返回步骤6.3.1；

步骤6.3.4：若B_m≠-1且FSN_i＞B_m，则令B_m＝FSN_i，将实时视频数据分组i存储到重组缓冲区m位置中，令i＝i+1，返回步骤6.3.1；

步骤6.3.5：若B_m≠-1且FSN_i≤B_m，则舍弃序号为FSN_i的实时视频数据分组，令i＝i+1，返回步骤6.3.1；

步骤6.3.6：对存储在重组缓冲区的数据包利用多径传输协议格式街封装，并按照实时视频会话双方协商的视频编解码格式和网络传输协议进行实时视频数据分组回调解码操作，得到原始的视频媒体数据；

步骤6.3.6.1：访问重组缓冲区并判断重组缓冲区是否为空，若不为空，执行步骤6.3.6.2，否则执行步骤6.3.6.3；

步骤6.3.6.2：在重组缓冲区中查找序号为的实时视频媒体数据包，剔除其多径混合冗余传输协议首部，并按照视频编解码格式和应用层网络协议对其解码，并令FSN_i＝FSN_i+1，返回步骤6.3.6.1；

步骤6.3.6.3：停止查找，回调解码结束，得到原始的视频媒体数据。