CN100531210C - 一种用于移动流媒体传输的无缝切换的方法 - Google Patents

Abstract

一种用于无线移动网中的移动流媒体传输的无缝切换方法，采用多路自适应传输速率调节实现传输层的无缝切换，即按照多路径的无线接入并发传输中的各个路径性能，对流媒体的分层多描述视频编码策略进行动态调整，对多路径传输视频码流进行调度，以便最大可能地利用接收端的可用带宽，实现移动流媒体在传输层的稳定传输与平滑切换。该方法提高了带宽和传输可靠性，切实有效地减少了网络切换延时，降低了丢包率，并解决了影响移动流媒体视频观看质量的抖动问题。本发明充分利用了现有的无线网络资源且容易实施，可以作为融合下一代异构无线接入网的一种有效方法。

Description

一种用于移动流媒体传输的无缝切换的方法

技术领域

本发明涉及一种用于无线移动网中的移动流媒体传输的无缝切换方法，确切地说，涉及一种将多路径无线接入并发传输和视频流媒体分层多描述编码进行有效结合，实现移动流媒体在传输层的平滑切换的方法，可称为采用多路自适应传输速率的调节实现传输层无缝切换的方法Matra-TraSH(Multi-PathAdaptive Transmission Rate Adjustment for Transport layer Seamless Handover)，在无线移动网络的切换过程中，本发明能有效保障移动终端的流媒体接收质量，并为下一代异构无线接入网的融合提供了有效途径，属于移动通信技术领域。

背景技术

移动流媒体技术是一种将连续的图像/音频信息经过压缩处理后放到流媒体服务器上，让用户通过移动终端一边下载一边观看、收听的技术。它涉及到流媒体数据的采集、压缩、存储、传输和网络通信等多项技术。流媒体业务对实时性要求较高，当移动终端从一个小区切换到另一个小区继续流媒体业务时，由于切换延迟较大，常常造成流媒体播放卡壳、延迟、视频质量抖动剧烈等不良情况，给用户的欣赏带来不良影响。对于跨越不同无线技术的接入网，切换延迟会更加明显，所以，解决好用户接收视频服务的质量问题对于流媒体应用极为重要。

影响用户接收视频流服务质量的因素主要有：

(1)可用带宽：主要衡量用户从网络取得流媒体应用数据的能力；

(2)延时：流媒体应用是实时性业务，移动终端播放器的缓存能力有限，当延迟超出缓存能力时，迟到的包将被播放器丢弃，从而影响视频质量；

(3)丢包：由于媒体数据相互关联，并且不同的数据包对于重构视频的重要性不同，即使少量基本层数据的丢包，也可能引起解码器主动丢弃其他相关的数据包，引起质量下降；

(4)抖动：一般媒体播放器都是针对稳定的码流，当前后数据包之间的到达时间差异过大时，会导致解码器主动丢包，引起图像质量下降。

移动流媒体对图像信息采用的分层视频编码技术，是将视频内容编码为两个子码流：基本层和增强层，其中基本层码流的传输速率一般较低，可以单独解码而提供一个基本的视频质量。增强层码流只能和基本层一起进行编/解码，作为补充信息，可以提供更优的视频质量。

精细粒度可扩展编码FGS(Fine Granularity Scalability)是MPEG-4标准中用于网络视频流应用的主要压缩编码方案。FGS增强层采用了比特平面编码，可以根据需要任意截断，即FGS码流可以在一个较宽的传输速率范围内自由调整，使传输速率与网络带宽相匹配，因此，它能够动态适应网络带宽的变化。

多描述编码MDC(Multiple Description Coding)可以对FGS增强层码流作进一步拆分，按分割信号的不同区域生成基于区域的多个描述子码流，在不同比特率的路径上分别传输。各个增强层的子码流不相互依赖，但对视频质量贡献的能力则有大小区别。多描述编码技术可以利用正确接收到的任何一个描述符重构出有用的原始信号，随着接收到的描述符数量的增加，解码出来的图像质量也逐步提高。采用多描述视频编码算法，还可以利用其他描述符中未受损害的帧对本描述符中受损的帧进行修复。具备NEWPRED功能的MPEG-4V2、具备RPS功能的H.263V2和H.264/AVC等视频编码标准的增强层都支持多描述视频编码。

在移动IP协议中，每个移动节点MN在家乡链路上都有一个唯一的家乡地址。当移动节点离开家乡链路时，它要向家乡链路上的某个路由器注册自己的一个转交地址COA(Care-ofAddress)，并要求该路由器作为自己的家乡代理。移动节点的家乡地址和转交地址的关联叫做移动节点的绑定。当移动节点接入异地网络后，经过服务点与本地网络的路由协商，获得异地网络的转交地址后。移动节点向家乡代理发送“绑定更新”消息，更新转交地址。这样，通过家乡代理的转发功能，能够实现通信节点和移动节点的移动通信。

新的移动IP协议的基本功能之一是采用了路由优化技术，以获得更优的转发路由。其主要思想是通信节点直接将数据包传送给移动节点，无须经过移动节点的家乡代理。移动IP的路由优化技术使得移动节点同时向通信节点发送绑定更新报文，告知其自己的转交地址；并让通信节点缓存移动节点的绑定信息，以便通信节点根据该信息将数据包通过隧道直接传送给移动节点，不再经由家乡代理，减少无效路径；允许隧道到原来外地代理的数据报转发给新转交地址。

在无线移动网络的发展过程中，各种无线接入技术层出不穷。随着网络融合的提出，越来越多的移动终端希望能通过最适宜的接入方式访问网络资源，因此出现一个移动性管理的问题。移动IP技术试图在网络层解决这个问题，但是本质上存在着两大缺陷：性能受限并且增加了网络结构的复杂性，在MAC层实现的软切换很难实现于跨异构接入网的环境下。

为了克服上述缺陷，并希望在传输层中实现IP移动性，人们提出了流传输控制协议SCTP(IETF RFC2960)。虽然该协议最初用于在IP网络中传输信令，但它本身具有多宿性，这使得SCTP具有了支持传输层切换的功能，使之可以成为传输层的一种移动性管理协议。

流传输控制协议SCTP支持每个端点(Endpoint)可以有多个IP地址，SCTP选择这一关联(Association)中的某个IP地址为主地址，在正常情况下所有数据都发送到该目的地址-主地址。当主地址不可用后，则从备用地址中选择一个可用地址作为新的主地址，重新传输发送失败的数据。这种机制提高了传输的可靠性，省去了新路径的建立延时，从而在一定程度上降低了切换时延。但是随着移动通信系统的发展，各种接入网络重叠覆盖的现象越来越广泛，这样一方面导致位置区的混合划分问题，另一方面也造成了传输层切换更加频繁，影响了流媒体的传输性能，严重影响终端用户的实际业务体验。另外，对于切换过程中路径差异可能引起的拥塞或丢包问题，现有的SCTP协议和其他切换机制仍然没很好解决之。因此，业内人员非常关注如何尽快解决该问题。

在中国专利申请《移动IP中移动节点实现无缝切换的方法》(公开号为CN1596023)中，提出一种移动IP中移动节点实现无缝切换的方法。但是，该方法只是提出一个移动IP的改进措施，属于网络层的切换方法。

在中国专利申请《基于移动IP中移动节点实现无缝切换的方法》(公开号为1556662)中，同样提出一种移动IP中移动节点实现无缝切换的方法。该方法减少了切换的信令开销，但是仅适用于移动终端处于微移动情况下，属于会话层的信令切换。上述两个专利都不适用于流媒体业务的传输，都不适用于在传输层保证移动流媒体业务的无缝切换。

期刊《宇航学报》中的文章《基于多描述可分级编码的网络自适应视频传输》(出版于2005年5月)提出了一种视频流的多路径鲁棒传输方案。但该方法并不适用无线移动网络切换的情况。

所以，迄今为止，如何在无线移动网络中实现移动流媒体业务的无缝切换仍然是一个急切需要解决的技术难题。

发明内容

有鉴于此，本发明的目的是提供一种用于无线移动网中的移动流媒体传输的无缝切换方法，以便有效减少网络切换延时和解决影响移动流媒体视频观看质量的抖动问题。本发明采用多路径无线接入并发传输和视频流媒体分层多描述编码的有效结合，实现了移动流媒体在传输层的平滑切换。本发明充分利用了现有的无线网络资源，可以作为融合下一代异构无线接入网的一种有效方法。

为了达到上述目的，本发明提供了一种用于无线移动网中的移动流媒体传输的无缝切换方法，其特征在于：该方法采用多路自适应传输速率调节实现传输层的无缝切换，即按照多路径的无线接入并发传输中的各个路径性能，对流媒体的分层多描述视频编码策略进行动态调整，对多路径传输视频码流进行调度，以便最大可能地利用接收端的可用带宽，实现移动流媒体在传输层的稳定传输与平滑切换；所述方法包括下列操作步骤：

(1)当流媒体接收端移动到一个新小区时，流媒体发送端和该接收端分别通过网络层的移动性管理获得该接收端一个新的转交地址COA；

(2)在流媒体发送端和接收端的路径关联中添加该转交地址COA，流媒体发送端向关联的各条路径同时发送媒体流；

(3)根据路径和媒体流速率的变化情况，流媒体发送端周期性地调整视频编码方案，并对步骤(2)中的媒体流发送策略进行动态调整；

(4)接收端从关联的各条路径中同时接收视频数据，经过重组解码后播放；

(5)当流媒体接收端完全离开该小区时，网络层分别触发通知流媒体接收端和发送端：删除上述关联中该路径的转交地址COA。

所述方法进一步包括初始化准备步骤：对支持多路径连接的流传输控制协议SCTP进行改进，以实现多路并发传输；同时要求移动通信网络和终端全面支持移动IP协议，且支持路由优化和多地址绑定功能。

所述初始化准备步骤中对SCTP协议的改进内容包括：设定SCTP关联中的各个移动接收端的转交地址COA都是平等的，没有主次之分，每个COA代表一条传输路径，共同承担数据传输功能，即去掉原协议中设定主路径的操作SetPrimary，保留增加路径AddIP和删除路径DelIP操作；在SCTP发送机制中加入并发多路传输功能，即支持设置待发数据包的目的地址为关联内的多个IP地址。

所述步骤(1)进一步包括下列操作内容：

(11)移动流媒体接收端移动到一个新小区，移动网络分配给该接收端一个新的转交地址COA；在蜂窝移动通信系统中，该COA由网关GPRS支持节点GGSN分配给接收端的全球转交地址GCOA和由基站分配的本地转交地址LCOA共同组成，用作分级地址寻址方式下接收端的唯一标识；在无线局域网中，COA直接采用IP地址表示；

(12)通过网络层的路由优化技术，移动网络把接收端的新转交地址COA告知发送端。

所述步骤(2)进一步包括下列操作内容：

(21)在接收端的路径关联中增加新转交地址COA；

(22)在发送端的路径关联中增加新转交地址COA，并把该新转交地址COA所代表的新路径加入“训练集”，训练集内的路径都处于训练阶段；对于一新的视频传输，关联中的所有路径初始都加入“训练集”；

(23)发送端向关联的各条路径同时开始发送媒体流，其中，对于训练阶段的路径采用原视频码流作为探测数据进行发送，经过速率控制的慢启动和拥塞避免阶段后，各条路径的发送速率逐步加快，一旦超过基本层码率，即把该路径变换为稳定状态，转入“稳定集”；对于稳定阶段的路径，则采用分层多描述视频编码后的码流进行发送；

(24)发送端使用包括传输层流量控制或拥塞控制的各种网络测量技术，实时检测各路径的包括带宽、误码率的性能指标，更新路径管理模块的数据；

(25)当某条路径的传输速率低于基本层码率时，需要把该路径重新变换成训练状态，转回“训练集”。

所述步骤(3)进一步包括下列操作内容：

(31)流媒体发送端的视频编码模块周期性地根据路径管理模块中所有稳定状态路径的性能指标-当前的网络状况，按照“分层多描述视频编码算法”，设置各个视频子码流的编码速率，通过分层编码器和多描述编码器对视频数据进行实际编码，即通过分层编码器设置基本层，并安排处于稳定状态的所有路径进行重复发送，保证视频业务的可达性；

(32)流发送调度模块选择各子码流对应的传输路径进行视频并行传输。

所述步骤(31)中“分层多描述视频编码算法”是根据当前的网络状况对各条子视频流中的剩余视频码流速率进行分割和路径选择调度，具体方法如下：按照路径传输完基本层以外的剩余带宽对处于稳定状态的所有路径进行降序排列，当第一条路径的剩余带宽大于剩余视频码流速率时，即表示路径传输能力相对富裕，选择增强层重复分割的方案；否则，如果所有路径的剩余带宽之和小于剩余视频码流速率时，即表示路径传输能力严重不足时，选择增强层多描述的方案；其他情况，即路径传输能力相对不足时，选择增强层反复多描述的方案；

所述增强层重复分割方案是直接利用精细粒度可扩展编码FGS技术对剩余视频码流进行精细分割：选择每条路径，如果剩余视频码流速率大于该路径剩余带宽，根据该路径剩余带宽分割FGS增强层，否则，根据原剩余视频码流速率分割FGS增强层；

所述增强层多描述方案是：先利用FGS技术根据所有路径的剩余带宽之和对剩余视频码流进行精细分割，获得增强层，再选择每条路径，根据该路径剩余带宽设置该路径所对应的多描述编码MDC技术描述子码流速率，即通过MDC技术把增强层分成多个MDC子码流；

所述增强层反复多描述方案是：按区域分割描述完增强层后，路径仍有剩余传输能力时，再次通过MDC分割原增强层视频，直到利用完路径可用带宽为止，并把这些MDC描述子码流分别发送到各自路径上，最大限度地传输原有增强层的可用数据；其具体操作步骤为：

(311)先利用FGS技术对剩余视频码流速率进行精细分割，获得增强层；

(312)根据第一条路径的剩余带宽，通过MDC技术从增强层中分割出一个MDC子码流，获得剩余增强层码流速率，并标记该条路径已用完；

(313)取下一条路径，如果成功，则执行后续步骤；否则，表明稳定集内路径已用完，结束该流程；

(314)如果该条路径的剩余带宽小于剩余增强层码流速率，则根据该条路径的剩余带宽从剩余增强层中分割出新的MDC子码流，再更新剩余增强层码流速率，并标记该条路径已用完，转至执行步骤(313)；如果该条路径的剩余带宽大于剩余增强层码流速率，则根据剩余增强层码流速率分割出新的MDC子码流，然后计算该条路径的新的剩余带宽，并把该条路径设定为第一条路径，转至执行步骤(312)。

所述步骤(4)进一步包括下列操作内容：

(41)流媒体接收端同时接收各条路径上的数据，并把接收到的可用的流媒体数据进行缓存；

(42)多描述解码器对缓存中的视频数据进行多描述解码，再交由分层解码器进行分层解码处理，然后进行译码播放；

(43)路径管理模块将至少包括数据传播延迟的传输参数通过反馈路径传送给流媒体发送端，以供流媒体发送端计算各路径的性能指标。

所述流媒体发送端为流媒体服务器，流媒体接收端为移动终端；当该方法应用于可视终端间的视频通话时，可视终端同时作为流媒体发送端和接收端。

本发明的有益效果在于：

提高了带宽和传输可靠性：通过多路径无线接入并发传输，提高了系统整体的传输带宽，同时路径的冗余性也保证了负载均衡和高效的故障恢复。

减少了切换延时：通过对多路径的自适应动态加入、删除，以及按实际传输速率分层多描述编码等机制，使得移动流媒体在不同接入小区切换时，能够实现媒体流在传输层的稳定传输，从而减少甚至消除网络切换引起的延时。本发明还借助区分各条路径分别位于“训练集”和“稳定集”的不同状态，采用稳定状态路径参与分层多描述编码，降低了训练状态路径因频繁加入和退出系统对传输性能的影响；具有良好的可扩展性，很好地实现了多路径的稳定传输和切换过程的和谐统一。

降低了丢包率：多路并行传输方式解决了传统切换情况下可能出现的丢包问题，并且采用STCP协议传输媒体数据比采用RTP/UDP方式进一步提高了传输的可靠性。

减少、避免抖动：影响抖动的因素通常和网络的拥塞程度相关，网络切换过程中，由于不同网络间的带宽差异经常在新路径上造成网络拥塞。本发明的切换方法，实现了各路径间传输带宽差异的平滑过渡，减少了抖动现象的发生。

便于实施：切换操作通过端到端的传输层完成，无需干涉到移动IP网络的基础设施，便于实施；在支持移动IP以及路由优化的网络环境下，能够方便地实现异构接入网络之间的切换。

附图说明

图1是本发明方法所采用的移动流媒体多路并发传输的示意图。

图2是本发明方法所采用的各连接路径的状态转换示意图。

图3(A)、(B)、(C)分别是移动流媒体多路并发传输的三种框架：增强型重复分割传输、增强型多描述传输和增强型反复多描述传输的示意图。

图4是一种流媒体发送端的实施例结构组成示意图。

图5是一种流媒体接收端的实施例结构组成示意图。

图6是一种流媒体实施例—可视电话终端-的结构组成示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

本发明是一种用于无线移动网中的移动流媒体传输的无缝切换方法，它是采用多路自适应传输速率调节实现传输层的无缝切换，即按照多路径的无线接入并发传输中的各个路径的性能，分别对视频流媒体分层多描述的编码策略进行动态调整，对多路径传输视频码流进行调度，以便最大可能地利用接收端的可用带宽，实现移动流媒体在传输层的平滑切换。

使用本发明之前，需要进行必要的准备：传输层支持多路径连接，这样可以在流媒体发送端和接收端之间建立多个连接同时传输，考虑到SCTP协议是现有支持多个路径连接的主流技术，借助其多宿多流的特点，可以简化实施难度。但是现有的SCTP协议不进行数据的多路径同时传输，资源利用率偏低，切换效果不够平滑。因此，本发明要对SCTP进行如下两方面的改进：

先设定SCTP关联中的各个移动接收端的转交IP地址COA都是平等的，没有主次之分，每个COA代表一条传输路径，共同承担数据传输功能，因而去掉原SCTP的设定主路径的操作(SetPrimary)，保留原SCTP的增加路径(AddIP)和删除路径(DelIP)操作；另外，在原有SCTP发送机制中，加入并发多路传输功能，即支持设置待发数据包的目的地址为关联内多个IP地址。再者，本发明需要移动通信网络和终端全面支持移动IP协议，且支持路由优化技术和多地址绑定功能。

下面具体介绍本发明方法的各个操作步骤：

(1)当流媒体接收端移动到一个新小区，流媒体发送端和该接收端分别通过网络层的移动性管理获得该接收端一个新的转交地址COA。

移动接收端移动到一个新小区，网络分配给该接收端一个新的转交地址COA。下一代移动网络的移动性管理都是基于移动IP机制的，在蜂窝移动通信系统中，COA由网关GPRS支持结点GGSN分配给接收端的全球GCOA和由基站分配的本地LCOA共同组成，作为对接收端寻址的唯一标识，在无线局域网中，COA直接用IP地址表示。然后，通过网络层路由优化技术，移动网络把接收端新的转交地址通知给发送端。

(2)在流媒体发送端和接收端的路径关联中添加该转交地址COA，流媒体发送端向关联的各条路径同时发送媒体流(参见图1，该图展示了本发明的无缝切换方法：其中移动终端处于蜂窝无线通信(如3G网络)中的三个基站(NodeB)的覆盖范围之内，同时又处于无线局域网(如WLAN)的一个接入点(AP)的覆盖范围之内，该终端同时有四条无线接入信号(图中用粗实线表示)对其进行多路并发传输)。该步骤包括下述详细操作内容：

(21)在接收端的路径关联中增加新转交地址COA；

(22)在发送端的路径关联中增加新转交地址COA，并把该新转交地址COA所代表的新路径加入“训练集”，训练集内的路径都处于训练阶段；

(23)发送端向关联的各条路径同时开始发送媒体流，其中，对于训练阶段的路径是用原视频码流作为探测数据进行发送，经过速率控制的慢启动和拥塞避免阶段后，各条路径的发送速率逐步加快，一旦超过基本层码率，即把该路径变换为稳定状态，转入“稳定集”；对于稳定阶段的路径，则采用分层多描述视频编码后的码流进行发送，即采用步骤(3)所述分割的子码流按路径带宽选择对应的路径进行视频并行传输的操作；

(24)发送端使用包括但不限于传输层流量控制或拥塞控制的各种网络测量技术，实时检测各路径的至少包括带宽、误码率的性能指标，更新路径管理模决的数据；

(25)当某条路径的传输速率低于传输基本层视频码流的最低速率时，需要把该路径重新变换成训练状态，转回“训练集”。

参见图2，本发明将终端的连接路径根据其带宽情况分为训练阶段和稳定阶段，其中训练阶段是指路径带宽还未知的新路径和带宽低于基本层码率的老路径，稳定阶段是指带宽高于基本层码率的所有路径；该图2说明了连接路径的相关条件变化会触发路径状态的改变。

(3)根据路径和媒体流速率的变化情况，流媒体发送端周期性地调整视频编码方案，并对步骤(2)中的媒体流的发送传输策略不断进行动态调整。该步骤包括下述详细操作内容：

(31)流媒体发送端的视频编码模块周期性地根据路径管理模块中所有稳定状态路径的性能指标-当前的网络状况，按照“分层多描述视频编码算法”，设置各个视频子码流的编码速率，通过分层编码器FGS和多描述编码器MDC对视频数据进行实际编码，即通过分层编码器FGS设置基本层，并安排稳定集内的所有路径进行重复发送，保证视频业务的可达性；

(32)流发送调度模块选择各子码流对应的传输路径进行视频并行传输。

上述步骤(31)中“分层多描述视频编码算法”是根据当前的网络状况对各条子视频流中的剩余视频码流速率进行分割和路径选择调度，具体方法是：

按照路径传输基本层以外的剩余带宽对稳定集内的所有路径进行降序排列，当第一条路径的剩余带宽大于剩余视频码流速率时，表示路径传输能力相对富裕，选择增强层重复分割的方案(参见图3(A))；否则，如果所有路径的剩余带宽之和小于剩余视频码流速率时，表示路径传输能力严重不足，选择增强层多描述的方案(参见图3(A))；其他情况，即路径传输能力相对不足时，选择增强层反复多描述的方案(参见图3(C))。

增强层重复分割方案是直接利用精细粒度可扩展编码FGS技术对剩余视频码流进行精细分割：选择每条路径，如果剩余视频码流速率大于该路径剩余带宽，根据该路径剩余带宽分割FGS增强层，否则，根据原剩余视频码流速率分割FGS增强层。

增强层多描述方案是：先利用FGS技术根据所有路径的剩余带宽之和对剩余视频码流进行精细分割，获得增强层，再选择每条路径，根据该路径剩余带宽设置该路径所对应的多描述编码MDC技术描述子码流速率，然后通过MDC技术把增强层分成多个MDC子码流。

增强层反复多描述方案是：按区域分割描述完增强层后，路径仍有剩余传输能力时，再次通过MDC分割原增强层视频，直到利用完路径可用带宽为止，并把这些MDC描述码流分别发送到各自路径上，最大限度地传输原有增强层的可用数据)。

下面结合附图举例具体说明本发明按照“分层多描述视频编码算法”，设置各个视频子码流的编码速率，再通过分层编码器FGS和多描述编码器MDC对视频数据进行实际编码的方法：

一个MPEG4视频文件码率为120kbps，分割基本层码率为20kbps，剩余视频码流速率还有100kbps，设有三个方案可以稳定传输视频文件：

方案A：三条路径的传输带宽分别为140kps、120kps、100kps，在传输基本层后可用带宽分别为120kps，100kps，80kps。FGS分割三个增强层为100kps(增强层1)，100kps(增强层2)，80kps(增强层3)，如图3(A)所示。

方案B：三条路径的传输带宽分别为60kps、50kps、40kps，在传输基本层后可用带宽分别为40kps、30kps、20kps。按三条路径的可用带宽之和90kps不足以传输完整的视频流，只能用FGS分割增强层速率为90kps。然后通过MDC技术把增强层分成三个MDC子码流速率分别为40kps(子码流1)，30kps(子码流2)，20kps(子码流3)，如图3(B)所示。

方案C：三条路径的传输带宽分别为100kps、80kps、60kps，在传输基本层后可用带宽分别为80kps、60kps、40kps。按三条路径的可用带宽之和大于剩余视频码流速率，用FGS分割增强层速率为100kps。然后通过MDC技术，按路径1和路径2把该增强层分成两个MDC子码流，速率分别为80kps(子码流1)，20kps(子码流2)；考虑到路径2和路径3仍有带宽可以利用，再按路径2的剩余带宽和路径3把增强层重新分成另外两个MDC子码流，速率分别为40kps(子码流3)，40kps(子码流4)，如图3(C)所示。

需要说明的是：在对视频流进行分割的过程中，会产生额外的少量附加数据开销，在前面的算法中，为了便于对算法的说明，忽略掉了这些附加数据开销所占用的带宽。

(4)接收端从关联的各条路径中同时接收视频数据，经过重组解码后播放。该步骤包括下述详细操作内容：

(41)流媒体接收端同时接收各条路径上的数据，并把接收到的可用的流媒体数据进行缓存；

(42)多描述解码器MDC对缓存中的视频数据进行多描述解码，再交由分层解码器FGS进行分层解码处理，然后进行译码播放；

(43)路径管理模块将包括数据传播延迟等传输参数通过反馈路径传送给流媒体发送端，以供流媒体发送端计算各路径的性能指标。

(5)当流媒体接收端完全离开该小区时，网络层分别触发通知流媒体接收端和发送端：删除上述关联中该路径的转交地址COA。

本发明方法的典型应用场景包括流媒体服务器和移动终端之间的视频通信，这里的流媒体服务器为流媒体发送端，移动终端为流媒体接收端；还有可视终端间的视频通话，这里的可视终端既为流媒体发送端又兼作接收端。

下面按照流媒体服务器和移动终端进行视频通信的场景，给出具体应用的实施方案，这里的流媒体发送端是流媒体服务器，流媒体接收端是移动终端。

在现有的移动流媒体服务器上要新增加路径管理、视频编码、流发送调度三个功能模块，如图4所示，各个模块的功能说明如下：

路径管理模块：主要用于实现对各连接路径的增加、删除、更新和查询等管理功能，同时支持对连接路径两种不同状态集合的转换(参见图2)。把连接路径根据其带宽情况分为训练集和稳定集两个集合，训练集包括带宽未知的新路径和带宽低于基本层码率的老路径，稳定集包括带宽高于基本层码率的所有路径。

训练集管理：当终端进入新小区时，服务器从移动IP的网络层获得终端的一个新转交地址COA时，路径管理模块利用AddIP操作，在SCTP的关联中动态增加该COA所代表的新路径；对新加入的路径，需要经过训练阶段，利用原视频码流作为探测发送数据；速率控制单元采用“慢启动”和“拥塞避免”策略逐步加大发送拥塞窗口，并实时探测计算其发送速率，一旦超过了基本层码率，即把该路径变换为稳定状态；当终端完全离开某小区时，网络层会触发路径管理模块删除该路径的COA地址连接，同时利用DelIP操作，在SCTP的关联中删除该路径的COA地址；

稳定集管理：处于稳定阶段的各个路径的带宽基本稳定，以此为参考作为分层视频编码的策略选择。对于发生拥塞超时的路径，会降低发送速率；当路径的传输速率低于传输基本层视频码流的最低速率时，需要把该路径重新变换成训练状态。

视频编码模块：用于根据路径管理模块中所有可用的路径的性能指标，按照“分层多描述视频编码算法”，设置增强层的码流编码速率，然后对移动流媒体进行分层编码，并保证误码率较低的路径传输较重要的增强层。

流发送调度模块：其功能包括：1)对每条路径独立进行速率控制；2)根据速率控制单元和移动终端的反馈信息，更新路径管理模块中路径的性能指标(如带宽，误码率等)；3)设置基本层数据包的目的地址为该SCTP关联的所有可用路径的地址，设置增强层数据包的目的地址为与其相匹配路径的COA；4)对各条路径加入TCP-Friendly友好机制，以便更好地保证整个网络的性能。针对流媒体业务，推荐采用TCP-Friendly Rate Control(TFRC RFC3448)拥塞控制机制来实现更平滑的视频传输。

在现有的移动终端上要增加路径管理，流接收控制，同步重组三个功能模块，如图5所示，各个模块说明如下：

路径管理模块：用于支持对各连接路径的增加、删除等管理功能。终端进入新小区时，移动IP网络层通过确定终端登记消息实现同步绑定，在新小区和终端之间增加一个新绑定，获得一个新的IP地址。路径管理模块利用AddIP操作，在SCTP的关联中动态增加新IP地址所代表的新路径；当终端完全离开该小区时，网络层会触发路径管理模块删除该IP地址连接，同时利用DelIP操作，在SCTP的关联中删除该IP地址；

流接收调度模块：其功能包括：1)对每条路径独立进行速率控制，并加入TCP-Friendly机制保证整个网络的性能。针对流媒体业务，推荐采用TCP-Friendly Rate Control(TFRC RFC3448)来实现。2)由于各条路径传输特性不同，需要加入统一的反馈机制，向流媒体服务器报告各路径的性能指标(带宽，误码率等)，以避免发生路径拥塞和乱序问题。3)将从网络层接收到数据包，按子码流分别进行缓存，丢弃重复的数据包，并且只针对基本层的丢包情况安排重传。4)MDC解码器按照所正确接收的描述子码流，进行相应的MDC解码恢复处理。

同步重组模块：对解码后的媒体数据进行同步重组处理，并通过FGS解码后播放。

此外，可视终端间的视频通话也是本发明中流媒体通信的典型应用场景。这里的可视电话相当于集成了流媒体发送端和接收端的功能，如图6所示。具体的模块功能可参考流媒体服务器和移动终端的相应模块。另外，在可视电话的显示屏幕通常主要显示对方图像，也利用小尺寸显示自己的图像。所以从摄像头等采集单元获取的视频数据在发送给对方的同时，也发给本机译码播放单元，并和从对方接收到的视频数据合成发送给显示器播放。

最后说明的是：以上实施例仅用以说明而非限制本发明的技术思想，不脱离本发明的精神实质和方法范围的任何修改或局部替换，其均涵盖在本发明的权利要求范围当中。

Claims (9)

1、一种用于无线移动网中的移动流媒体传输的无缝切换方法，其特征在于：该方法采用多路自适应传输速率调节实现传输层的无缝切换，即按照多路径的无线接入并发传输中的各个路径性能，对流媒体的分层多描述视频编码策略进行动态调整，对多路径传输视频码流进行调度，以便最大可能地利用接收端的可用带宽，实现移动流媒体在传输层的稳定传输与平滑切换；所述方法包括下列操作步骤：

(1)当流媒体接收端移动到一个新小区时，流媒体发送端和该接收端分别通过网络层的移动性管理获得该接收端一个新的转交地址COA；

(2)在流媒体发送端和接收端的路径关联中添加该转交地址COA，流媒体发送端向关联的各条路径同时发送媒体流；

(3)根据路径和媒体流速率的变化情况，流媒体发送端周期性地调整视频编码方案，并对步骤(2)中的媒体流发送策略进行动态调整；

(4)接收端从关联的各条路径中同时接收视频数据，经过重组解码后播放；

(5)当流媒体接收端完全离开该小区时，网络层分别触发通知流媒体接收端和发送端：删除上述关联中该路径的转交地址COA。

2、根据权利要求1所述的移动流媒体传输的无缝切换方法，其特征在于：所述方法进一步包括初始化准备步骤：对支持多路径连接的流传输控制协议SCTP进行改进，以实现多路并发传输；同时要求移动通信网络和终端全面支持移动IP协议，且支持路由优化和多地址绑定功能。

3、根据权利要求2所述的移动流媒体传输的无缝切换方法，其特征在于：所述初始化准备步骤中对SCTP协议的改进内容包括：设定SCTP关联中的各个移动接收端的转交地址COA都是平等的，没有主次之分，每个COA代表一条传输路径，共同承担数据传输功能，即去掉原协议中设定主路径的操作SetPrimary，保留增加路径AddIP和删除路径DelIP操作；在SCTP发送机制中加入并发多路传输功能，即支持设置待发数据包的目的地址为关联内的多个IP地址。

4、根据权利要求1所述的移动流媒体传输的无缝切换方法，其特征在于：所述步骤(1)进一步包括下列操作内容：

(11)移动流媒体接收端移动到一个新小区，移动网络分配给该接收端一个新的转交地址COA；在蜂窝移动通信系统中，该COA由网关GPRS支持节点GGSN分配给接收端的全球转交地址GCOA和由基站分配的本地转交地址LCOA共同组成，用作分级地址寻址方式下接收端的唯一标识；在无线局域网中，COA直接采用IP地址表示；

(12)通过网络层的路由优化技术，移动网络把接收端的新转交地址COA告知发送端。

5、根据权利要求1所述的移动流媒体传输的无缝切换方法，其特征在于：所述步骤(2)进一步包括下列操作内容：

(21)在接收端的路径关联中增加新转交地址COA；

(22)在发送端的路径关联中增加新转交地址COA，并把该新转交地址COA所代表的新路径加入“训练集”，训练集内的路径都处于训练阶段；对于一新的视频传输，关联中的所有路径初始都加入“训练集”；

(23)发送端向关联的各条路径同时开始发送媒体流，其中，对于训练阶段的路径采用原视频码流作为探测数据进行发送，经过速率控制的慢启动和拥塞避免阶段后，各条路径的发送速率逐步加快，一旦超过基本层码率，即把该路径变换为稳定状态，转入“稳定集”；对于稳定阶段的路径，则采用分层多描述视频编码后的码流进行发送；

(24)发送端使用包括传输层流量控制或拥塞控制的各种网络测量技术，实时检测各路径的包括带宽、误码率的性能指标，更新路径管理模块的数据；

(25)当某条路径的传输速率低于基本层码率时，需要把该路径重新变换成训练状态，转回“训练集”。

6、根据权利要求1所述的移动流媒体传输的无缝切换方法，其特征在于：所述步骤(3)进一步包括下列操作内容：

(31)流媒体发送端的视频编码模块周期性地根据路径管理模块中所有稳定状态路径的性能指标--当前的网络状况，按照“分层多描述视频编码算法”，设置各个视频子码流的编码速率，通过分层编码器和多描述编码器对视频数据进行实际编码，即通过分层编码器设置基本层，并安排处于稳定状态的所有路径进行重复发送，保证视频业务的可达性；

(32)流发送调度模块选择各子码流对应的传输路径进行视频并行传输。

7、根据权利要求6所述的移动流媒体传输的无缝切换方法，其特征在于：所述步骤(31)中“分层多描述视频编码算法”是根据当前的网络状况对各条子视频流中的剩余视频码流速率进行分割和路径选择调度，具体方法如下：按照路径传输完基本层以外的剩余带宽对处于稳定状态的所有路径进行降序排列，当第一条路径的剩余带宽大于剩余视频码流速率时，即表示路径传输能力相对富裕，选择增强层重复分割的方案；否则，如果所有路径的剩余带宽之和小于剩余视频码流速率时，即表示路径传输能力严重不足时，选择增强层多描述的方案；其他情况，即路径传输能力相对不足时，选择增强层反复多描述的方案；

所述增强层重复分割方案是直接利用精细粒度可扩展编码FGS技术对剩余视频码流进行精细分割：选择每条路径，如果剩余视频码流速率大于该路径剩余带宽，根据该路径剩余带宽分割FGS增强层，否则，根据原剩余视频码流速率分割FGS增强层；

所述增强层多描述方案是：先利用FGS技术根据所有路径的剩余带宽之和对剩余视频码流进行精细分割，获得增强层，再选择每条路径，根据该路径剩余带宽设置该路径所对应的多描述编码MDC技术描述子码流速率，即通过MDC技术把增强层分成多个MDC子码流；

所述增强层反复多描述方案是：按区域分割描述完增强层后，路径仍有剩余传输能力时，再次通过MDC分割原增强层视频，直到利用完路径可用带宽为止，并把这些MDC描述子码流分别发送到各自路径上，最大限度地传输原有增强层的可用数据；其具体操作步骤为：

(311)先利用FGS技术对剩余视频码流速率进行精细分割，获得增强层；

(312)根据第一条路径的剩余带宽，通过MDC技术从增强层中分割出一个MDC子码流，获得剩余增强层码流速率，并标记该条路径已用完；

(313)取下一条路径，如果成功，则执行后续步骤；否则，表明稳定集内路径已用完，结束该流程；

(314)如果该条路径的剩余带宽小于剩余增强层码流速率，则根据该条路径的剩余带宽从剩余增强层中分割出新的MDC子码流，再更新剩余增强层码流速率，并标记该条路径已用完，转至执行步骤(313)；如果该条路径的剩余带宽大于剩余增强层码流速率，则根据剩余增强层码流速率分割出新的MDC子码流，然后计算该条路径的新的剩余带宽，并把该条路径设定为第一条路径，转至执行步骤(312)。

8、根据权利要求1所述的移动流媒体传输的无缝切换方法，其特征在于：所述步骤(4)进一步包括下列操作内容：

(41)流媒体接收端同时接收各条路径上的数据，并把接收到的可用的流媒体数据进行缓存；

(42)多描述解码器对缓存中的视频数据进行多描述解码，再交由分层解码器进行分层解码处理，然后进行译码播放；

(43)路径管理模块将至少包括数据传播延迟的传输参数通过反馈路径传送给流媒体发送端，以供流媒体发送端计算各路径的性能指标。

9、根据权利要求1所述的移动流媒体传输的无缝切换方法，其特征在于：所述流媒体发送端为流媒体服务器，流媒体接收端为移动终端；当该方法应用于可视终端间的视频通话时，可视终端同时作为流媒体发送端和接收端。

Images