CN103338410B - 多路径并行传输下基于svc的实时流媒体重组算法 - Google Patents

Abstract

本发明将视频文件经SVC编码并分成一个基本层和一个增强层文件，则可通过具有较高网络保障性的3G网络来传输重要性等级最高的基本层文件，而由具有高速率的WLAN网络来承担增强层文件的传输，这样可满足较高清实时视频的观看需求，而单单靠3G网络是无法达到如此高的传输速率。同时当用户移动到WLAN网络覆盖范围之外时，由于3G网络具有较高的移动性，可保证终端能不间断地下载基本层文件，这样即使增强层数据无法到达，根据SVC编解码的弹性性能，依然能够在终端观看到视频。而当用户重新回到WLAN覆盖区时，可继续下载增强层文件，终端通过SVC实时重组算法重组两路的接收文件后可恢复高清的画质。

Description

多路径并行传输下基于SVC的实时流媒体重组算法

技术领域

本发明涉及H.264SVC编解码及异构网络下的多路径并行传输领域，特别涉及一种多路径并行传输下基于SVC的实时流媒体重组算法。

背景技术

未来的通信网络将是一个包含多种不同接入技术的异构网络，由于异构网络中各用户终端设备不同，链路带宽不同，导致接收视频数据的能力不同，根据不同用户需要设定不同的传输码流速率，故需要一种可伸缩编解码技术来根据链路带宽动态调整码流速率，而H.264SVC编解码技术正好可以满足不同终端对同一业务的不同需求。

同时随着视频业务量的急剧增长，高清视频业务的出现大大增加了网络的负担，一些单独的网络已不足以提供如此高的传输速率来满足实时高清视频的需求（例3G网络，联通3G网络一般只能达到200K/S的下行速率），而多路径传输可大幅度提高多模终端的下载速率，例通过3G和WLAN网络同时下载视频可较流畅地观看到较高清画质的视频，而H.264SVC编码技术同时又将视频文件按重要性分成不同等级，基本层文件具有最高级，而后依次为各增强层文件，第k层增强层文件的解码需要从1到k-1层所有文件和第k层基本层文件的支持。借助这种基于SVC可分级编解码技术可间接解决多路径并行传输下的文件丢失问题，即传统编码格式视频文件在传输过程中大量丢失数据的情况下是无法解码，而SVC格式视频即使在增强层文件全部丢失的情况下视频依然能流畅播放，同时基于SVC可分级技术还间接解决了多路径切换时的拥塞问题，普通编码格式视频为了保证文件的完整性需要将断开的路径业务量全部切换到其他正常工作的路径，而基于SVC格式视频的正常播放即使是在增强层路径断开的情况下也无需将任何增强层数据切换到其他路径。

“计算机应用”期刊2009年12月刊登了一篇文章“MIMO系统中的H.264/SVC数据流抽取和重组算法”（文章编号：1001-9081（2009）12-3307-03），公开了一种便于在MIMO无线网络的不同子信道上传输的一种SVC数据流抽取和重组算法。该算法利用SVC数据流的分层结构，将其中的基本层和增强层抽取为多个子数据流，并保持基本层子数据流能够独立解码，在接收端该算法将接收到的子数据流重组成可解码的SVC数据流，该方法也属于多路径并行传输，但是该方法的不足之处在于并未考虑多路径并行传输情况下两路发送速率不匹配的重组问题以及增强层路径拥塞断开及重新恢复正常工作情况下的重组问题，并且不是从实时播放需求的角度设计重组算法。

发明内容

为了克服上述现有技术的不足，本发明提供了一种多路径并行传输下基于SVC的实时流媒体重组算法，目的在于（1）为了在接收端实现一种基于H.264SVC格式的基本层和增强层数据的实时分帧重组算法，以达到多路径并行传输下终端视频播放的流畅性以及根据网络状况好坏动态调整视频分辨率；（2）为了从实时播放需求和帧的角度优化H.264SVC格式的流媒体业务实时重组算法，以提高视频播放的性能；（3）为了解决两条路径发送速率不匹配时的重组问题。本发明所采用的技术方案包括以下步骤：多路径并行传输下基于SVC的实时流媒体重组算法，其包括信号发送端及信号接收端，其包括以下步骤：

（1）在信号发送端，将一个视频流媒体业务按H.264SVC标准格式编码并拆分存储为基本层数据文件和增强层数据文件；从所述基本层数据文件和增强层数据文件中分别提取基本层数据帧和增强层数据帧，将所述基本层数据帧通过3G网络传输，所述增强层数据帧通过WLAN网络进行传输；

（2）当信号接收端收到基本层数据帧时，执行步骤（2a）；当信号接收端收到增强层数据帧时，执行步骤（2b）；

（2a）将所述基本层数据帧存入基本层缓存文件末尾，转步骤（3）；

（2b）将所述增强层数据帧存入增强层缓存文件末尾，转步骤（2）；

（3）判断信号接收端已接收到基本层数据文件的最后一帧或最近一时刻信号接收端收到的基本层数据帧帧号减去从基本层缓存文件开始位置读取的基本层帧号是否大于或等于预设的阈值，若是，转步骤（4），否则转回步骤（2）；

（4）从基本层缓存文件开始位置读取基本层帧号，并将从基本层缓存文件开始位置读取的一帧基本层数据帧写入重组文件，并将已读取的一帧基本层数据帧从基本层缓存文件中删除；

（5）判断增强层缓存文件是否为空，是则转步骤（6），否则从增强层缓存文件开始位置读取增强层帧号，并对读取的基本层帧号和增强层帧号大小进行判断：

若基本层帧号小于增强层帧号,转步骤（6）；

若基本层帧号等于增强层帧号，转步骤（5a）；

若基本层帧号大于增强层帧号，转步骤（5b）；

（5a）将从增强层缓存文件开始位置读取的一帧增强层数据帧写入重组文件，并将已读取的一帧增强层数据帧从增强层缓存文件中删除，转步骤（6）；

（5b）删除从增强层缓存文件开始位置读取的一帧增强层数据帧，转步骤（5）；

（6）判断是否已重组到基本层缓存文件最后一帧，若是，终止整个重组算法，否则转步骤（3）。

在上述技术方案的基础上，步骤（2）中当超过10秒未接收到新的基本层数据帧，则终止整个重组算法。

在上述技术方案的基础上，执行步骤（3）、（4）、（5）、（6）时信号接收端等待并接收所述基本层数据帧和所述增强层数据帧，并将收到的基本层数据帧和增强层数据帧分别写入基本层缓存文件与增强层缓存文件末尾。

在上述技术方案的基础上，步骤（3）所述的预设的阈值所带来的额外时延T可以按以下式子计算，

$T=\frac{\mathrm{\γ}}{X}*1000,$

式中T为额外延时，单位ms，γ为预设的阈值，X为视频帧数，其中T小于400ms。

在上述技术方案的基础上，步骤（4）所述的重组文件为信号接收端收到的基本层数据帧和增强层数据帧经重组算法重组后产生的新文件。

在上述技术方案的基础上，步骤（5）中当所述的基本层帧号大于增强层帧号时，则执行增强层帧号跳跃，其包括：设当前重组算法已重组到基本层第m帧数据，且WLAN网络在重组到基本层第m帧数据前一直断开，当重组基本层第m帧数据时，信号接收端接收到增强层第m-k到m+1帧数据，此时重组算法可跳过增强层第m-k到m-1帧数据并从增强层第m帧数据开始重组。

与现有的技术比，本发明的有益之处在于：（1）在SVC格式流媒体业务的基本层和增强层数据分别经不同路径并行传输的情况下，本发明从视频实时播放和帧的角度优化了接收端的实时分帧重组算法，并通过滑动窗机制（即前期满足条件：最近一时刻信号接收端收到的基本层数据帧帧号减去从基本层缓存文件开始位置读取的基本层帧号是否大于或等于预设的阈值才能执行基本层和增强层数据的重组算法）间断锁住重组进度以解决多路径并行传输情况下路径间的速率不匹配导致的重组问题。

（2）利用3G、WLAN分别传输基本层和增强层数据，这样即使传输增强层数据的WLAN路径严重拥塞或断开时接收端在只接收到基本层数据的情况下依然能观看到视频，保证了视频业务的连续性；而当WLAN路径恢复正常工作时，接收端从两条路径分别接收到基本层数据和增强层数据并执行重组算法，最终接收端能呈现较路径断开时更为清晰的视频画质，这样充分利用了WLAN资源，提高了用户体验，同时又利用3G网络的移动性保证了视频的流畅播放。综上所述，借助H.264SVC编解码技术可实现根据不同时刻传输增强层数据的网络质量好坏动态调整视频的分辨率。

附图说明

图1为本发明重组算法的操作示意图；

图2为重组算法流程图。

具体实施方式

下面结合附图1、2对本发明应用作进一步说明。

如图1所示，视频服务器先将视频按H.264SVC格式进行编码，并通过《计算机应用》2009年12月刊登了一篇文章“MIMO系统中的H.264/SVC数据流抽取和重组算法”（文章编号：1001-9081（2009）12-3307-03）中的SVC抽取算法将视频文件拆分为一个基本层和一个增强层文件，服务器将基本层文件通过低速率、高可靠性的3G网络进行传输，同时将增强层文件通过高速率、低可靠性的WLAN网络进行传输，执行多路径并行传输。

如图2所示，多路径并行传输下基于SVC的实时流媒体重组算法，其包括信号发送端及信号接收端，其包括以下步骤：

（1）在信号发送端，将一个视频流媒体业务按H.264SVC标准格式编码并拆分存储为基本层数据文件和增强层数据文件；从所述基本层数据文件和增强层数据文件中分别提取基本层数据帧和增强层数据帧，将所述基本层数据帧通过3G网络传输，所述增强层数据帧通过WLAN网络进行传输；

（2）当信号接收端收到基本层数据帧时，执行步骤（2a）；当信号接收端收到增强层数据帧时，执行步骤（2b）；

（2a）将所述基本层数据帧存入基本层缓存文件末尾，转步骤（3）；

（2b）将所述增强层数据帧存入增强层缓存文件末尾，转步骤（2）；

同时，步骤（2）中当超过10秒未接收到新的基本层数据帧，则终止整个重组算法。

（3）判断信号接收端已接收到基本层数据文件的最后一帧或最近一时刻信号接收端收到的基本层数据帧帧号减去从基本层缓存文件开始位置读取的基本层帧号是否大于或等于预设的阈值，若是，转步骤（4），否则转回步骤（2）；

当新接收到基本层数据帧时，最近一时刻信号接收端收到的基本层数据帧帧号会发生变化；而当重组算法删除从基本层缓存文件开始位置读取的一帧基本层数据时，从基本层缓存文件开始位置读取的基本层帧号会发生变化，所以重组条件中，最近一时刻信号接收端收到的基本层数据帧帧号减去从基本层缓存文件开始位置读取的基本层帧号是否大于或等于预设的阈值这一条件实际上为一个滑动窗，这一窗口锁住了重组的进度，这样解决了当两条路径传输速率不匹配情况下发生的重组问题，即若增强层数据帧比基本层数据帧晚到k帧（0<k<预设的阈值，k为整数），如果不靠窗口锁住重组进程并等待晚到k帧的增强层数据帧，会导致晚到的增强层数据帧均无法重组到重组文件中。

预设的阈值所带来的额外时延T可以按以下式子计算，

$T=\frac{\mathrm{\&gamma;}}{X}*1000,$

式中T为额外延时，单位ms，γ为预设的阈值，X为视频帧数，其中T小于400ms。

（4）从基本层缓存文件开始位置读取基本层帧号，并将从基本层缓存文件开始位置读取的一帧基本层数据帧写入重组文件，并将已读取的一帧基本层数据帧从基本层缓存文件中删除；

重组文件为信号接收端收到的基本层数据帧和增强层数据帧经重组算法重组后产生的新文件。

（5）判断增强层缓存文件是否为空，是则转步骤（6），否则从增强层缓存文件开始位置读取增强层帧号，并对读取的基本层帧号和增强层帧号大小进行判断：

若基本层帧号小于增强层帧号，转步骤（6）；

若基本层帧号等于增强层帧号，转步骤（5a）；

若基本层帧号大于增强层帧号，转步骤（5b）；

（5a）将从增强层缓存文件开始位置读取的一帧增强层数据帧写入重组文件，并将已读取的一帧增强层数据帧从增强层缓存文件中删除，转步骤（6）；

（5b）删除从增强层缓存文件开始位置读取的一帧增强层数据帧，转步骤（5）；

当所述的基本层帧号大于增强层帧号时，则执行增强层帧号跳跃，其包括：设当前重组算法已重组到基本层第m帧数据，且WLAN网络在重组到基本层第m帧数据前一直断开，当重组基本层第m帧数据时，接收端接收到增强层第m-k到m+1帧数据，此时重组算法可跳过增强层第m-k到m-1帧数据并从增强层第m帧数据开始重组。

（6）判断是否已重组到基本层缓存文件最后一帧，若是，终止整个重组算法，否则转步骤（3）。

在执行步骤（3）、（4）、（5）、（6）时所述接收端等待并接收所述基本层数据帧和所述增强层数据帧，并将收到的基本层数据帧和增强层数据帧分别写入基本层缓存文件与增强层缓存文件末尾。

下面结合具体程序进行说明。初始情况，终端缓存文件为空，设置当前实时接收到的基本层帧号recv_frame_base=-1，当前从基本层缓存文件开始位置读取出的下一个基本层帧号frame_base_current=-1；当前从增强层缓存文件开始位置读取出的下一个增强层帧号frame_enhance_current=-1；标记基本层文件还未接收完毕，记recv_base_completed=false，预设的阈值为10。

每当终端从3G网络接收到基本层数据帧时，都会写入本地的基本层缓存文件末尾，并将当前接收到的基本层数据帧帧号赋值给recv_frame_base，并且判断是否接收为最后一帧，若是赋值recv_base_completed=true。

每当终端从WLAN网络接收到增强层数据时，写入本地增强层缓存文件末尾，此时增强层缓存文件不为空。

当基本层文件接收到第9帧时，frame_base_current一直为-1，此时recv_frame_base-frame_base_current正好等于10，即重组条件刚好满足，则读取基本层缓存文件开始位置的基本层帧号，此时为0，即将基本层第0帧数据写入重组文件中，并设置frame_base_current=0，同时删除已读取的基本层数据帧，从增强层缓存文件开始位置读取增强层帧号，赋值给frame_enhance_current，为0，此时frame_base_current==frame_enhance_current，即将第frame_enhance_current帧增强层数据写入重组文件，删除已读取的增强层数据帧，此时基本层第0帧数据和增强层第0帧数据就重组完毕。重新判断重组条件是否满足，满足，则继续重组文件；否则继续等待基本层数据帧。

下文假设重组条件均满足。

若某时刻重组到第99帧，此时增强层丢失10帧，只接收到100-104、115-119帧数据。而基本层接收到100-119帧的所有数据，此时前104帧基本层和增强层文件均会写入重组文件，重组第105帧时，把105帧基本层文件写入重组文件中后，此时frame_base_current=105，而此时从增强层文件开始位置读出的增强层帧号frame_enhance_current=115，此时frame_base_current<frame_enhance_current，一直只将105-114帧基本层文件写入重组文件，而当写入第115帧基本层文件后，frame_base_current==frame_enhance_current，将第115帧增强层文件写入重组文件，之后重组算法恢复把每帧基本层和增强层数据对应写入重组文件。

若某时刻WLAN路径断开，假设增强层文件只接收到第300帧，而基本层文件全接收到，则算法重组到第301帧时，将第301帧基本层数据写入重组文件，frame_base_current=301，,同时从增强层缓存文件开始位置读取的增强层帧号frame_enhance_current为300，frame_base_current>frame_enhance_current。增强层缓存文件为空，则重新跳回到判断重组条件，成功，则继续写入基本层第302帧文件，视频在播放到第301帧时开始变模糊。

若某时刻WLAN路径恢复正常，重新接收到增强层文件，此时假设已重组到550帧，则frame_base_current=550，而frame_enhance_current仍为300，frame_base_current>frame_enhance_current，但此时增强层缓存文件不为空，则执行帧号跳跃，直到跳到第550帧增强层数据时，frame_base_current等于frame_enhance_current，则把第550帧增强层文件写入重组文件，之后恢复往重组文件中同时写入基本层和增强层数据，视频在播放到第550帧时恢复高清。

若某时刻接收到基本层最后一帧，则标记recv_base_completed=true，此时重组算法不再受recv_frame_base-frame_base_current>=10限制，一直重组到最后一帧，之后整个重组过程结束。

若中途出现基本层路径严重拥塞或断开，此时可能出现接收端等待基本层数据帧超过10秒，会导致整个算法终止。

请再次参考图1，应用场景中加入重组算法后呈现出的效果如下所述：当用户携带3G、WLAN多模终端同时处于3G基站、WLANAP1覆盖区域并行下载视频时，多模终端同时从3G、WLAN路径接收基本层和增强层文件并经过实时重组算法重组后视频显示为清晰画面；而用户从WLANAP1覆盖区域移动到WLANAP2覆盖区域的过程中WLAN路径有段时间会发生中断，增强层文件无法到达用户端，此时视频呈现较为模糊画面；当用户进入WLANAP2覆盖区域或重新回到WLANAP1覆盖区域时WLAN路径恢复正常，视频又可恢复高清画质。

本发明将视频文件经SVC编码并分成一个基本层和一个增强层文件，则可通过具有较高网络保障性的3G网络来传输重要性等级最高的基本层文件，而由具有高速率的WLAN网络来承担增强层文件的传输，这样可满足较高清实时视频的观看需求，而单单靠3G网络是无法达到如此高的传输速率。同时当用户移动到WLAN网络覆盖范围之外时，由于3G网络具有较高的移动性，可保证终端能不间断地下载基本层文件，这样即使增强层数据无法到达，根据SVC编解码的弹性性能，依然能够在终端观看到视频，只是视频画质较差而已。而当用户重新回到WLAN覆盖区时，可继续下载增强层文件，终端通过SVC实时重组算法重组两路的接收文件后可恢复高清的画质。

Claims (6)

1.多路径并行传输下基于SVC的实时流媒体重组算法，其特征在于，其包括以下步骤：

(1)在信号发送端，将一个视频流媒体业务按H.264SVC标准格式编码并拆分存储为基本层数据文件和增强层数据文件；从所述基本层数据文件和增强层数据文件中分别提取基本层数据帧和增强层数据帧，将所述基本层数据帧通过3G网络传输，所述增强层数据帧通过WLAN网络进行传输；

(2)当信号接收端收到基本层数据帧时，执行步骤(2a)；当信号接收端收到增强层数据帧时，执行步骤(2b)；

(2a)将所述基本层数据帧存入基本层缓存文件末尾，转步骤(3)；

(2b)将所述增强层数据帧存入增强层缓存文件末尾，转步骤(2)；

(3)判断信号接收端已接收到基本层数据文件的最后一帧或最近一时刻信号接收端收到的基本层数据帧帧号减去从基本层缓存文件开始位置读取的基本层帧号是否大于或等于预设的阈值，若是，转步骤(4)，否则转回步骤(2)；

(4)从基本层缓存文件开始位置读取基本层帧号，并将从基本层缓存文件开始位置读取的一帧基本层数据帧写入重组文件，并将已读取的一帧基本层数据帧从基本层缓存文件中删除；

(5)判断增强层缓存文件是否为空，是则转步骤(6)，否则从增强层缓存文件开始位置读取增强层帧号，并对读取的基本层帧号和增强层帧号大小进行判断：

若基本层帧号小于增强层帧号,转步骤(6)；

若基本层帧号等于增强层帧号，转步骤(5a)；

若基本层帧号大于增强层帧号，转步骤(5b)；

(5a)将从增强层缓存文件开始位置读取的一帧增强层数据帧写入重组文件，并将已读取的一帧增强层数据帧从增强层缓存文件中删除，转步骤(6)；

(5b)删除从增强层缓存文件开始位置读取的一帧增强层数据帧，转步骤(5)；

(6)判断是否已重组到基本层缓存文件最后一帧，若是，终止整个重组算法，否则转步骤(3)。

2.根据权利要求1所述的多路径并行传输下基于SVC的实时流媒体重组算法，其特征在于：步骤(2)中当超过10秒未接收到新的基本层数据帧，则终止整个重组算法。

3.根据权利要求1所述的多路径并行传输下基于SVC的实时流媒体重组算法，其特征在于：执行步骤(3)、(4)、(5)、(6)时信号接收端等待并接收所述基本层数据帧和所述增强层数据帧，并将收到的基本层数据帧和增强层数据帧分别存入基本层缓存文件与增强层缓存文件末尾。

4.根据权利要求1所述的多路径并行传输下基于SVC的实时流媒体重组算法，其特征在于，步骤(3)所述的预设的阈值所带来的额外时延T可以按以下式子计算，

$T=\frac{\mathrm{\&gamma;}}{X}*1000,$

式中T为额外延时，单位ms，γ为预设的阈值，X为视频帧数，其中T小于400ms。

5.根据权利要求1所述的多路径并行传输下基于SVC的实时流媒体重组算法，其特征在于，步骤(4)所述的重组文件为信号接收端收到的基本层数据帧和增强层数据帧经重组算法重组后产生的新文件。

6.根据权利要求1所述的多路径并行传输下基于SVC的实时流媒体重组算法，其特征在于，步骤(5)中当所述的基本层帧号大于增强层帧号时，则执行增强层帧号跳跃，其包括：设当前重组算法已重组到基本层第m帧数据，且WLAN网络在重组到基本层第m帧数据前一直断开，当重组基本层第m帧数据时，信号接收端接收到增强层第m-k到m+1帧数据，此时重组算法可跳过增强层第m-k到m-1帧数据并从增强层第m帧数据开始重组。