CN105306888A - 基于丢包区分的移动视频监控带宽自适应方法 - Google Patents

Abstract

本发明公开了一种基于丢包区分的移动视频监控带宽自适应方法。本方法包括数据传输连接建立、数据传输丢包区分和数据传输带宽自适应三个过程。数据传输连接发起时，客户端与服务端通过RTSP协议完成一系列连接建立命令。连接建立完成后，进入数据传输阶段，服务端将视频数据进行RTP打包处理，并通过RTCP协议对网络状态进行检测和反馈，根据反馈的信息在服务端采用丢包区分算法对丢包类型进行判断，分离出拥塞丢包，统计丢包率，对当前网络负载状况进行判断。在带宽自适应机制上根据相邻I帧的差别判断当前画面动态程度并分为静态和动态画面分别进行码流调整，并根据不同的网络负载状况采用适应的帧率、分辨率等，从而保证视频播放的流畅性。

Description

基于丢包区分的移动视频监控带宽自适应方法

技术领域

本发明属于无线传输技术领域，特别涉及一种基于丢包区分的移动视频监控带宽自适应方法。

背景技术

随着移动互联网的快速发展，视频监控行业正在经历着一次蜕变，视频监控业务正从传统的固网模式发展到现在的无线网络模式，用户对以手持终端作为视频监控客户端的需求也变得愈加强烈。

无线网络环境复杂，容易出现网络拥塞，而视频传输对网络拥塞、丢包等比较敏感，一旦出现网络拥塞、带宽不足，视频播放就会不流畅，出现马赛克，严重影响用户体验。因此，在移动视频监控系统中，如何保障在移动网络环境中数据发送的实时性，避免拥塞，实现客户端播放的流畅性，是设计者需要考虑的问题。

目前主流的流媒体传输协议有RTP(Real-timeTransportProtocol实时传输协议)、RTCP(Real-timeTransportControlProtocol实时传输控制协议)。RTP对数据进行封包，提供端到端的数据传输功能，RTCP获取丢包、时延对RTP传输提供服务质量的保证。但RTP、RTCP是针对有线网络设计的，有线网络丢包类型只有拥塞丢包，而无线网络有拥塞丢包和无线链路丢包两种类型。如果在无线网络中仅将丢包归结于网络拥塞，当发生丢包时降低传输速率，而丢包状况没有解决，就会不断降低传输速率，使得传输速率维持在一个较低水平，严重降低网络吞吐量，信道利用率也下降。目前无线流媒体传输的丢包算区分法主要有两类：基于网关的代理方法和基于端到端的方法。基于网关代理的方法需要在基站或接入点保存大量流信息，造成网络结构改变，工作负担加重；而基于端到端的方法未对网络进行改变，没有额外的网络设施，比较适用。目前，主流的基于端到端的丢包区分算法有：Biaz、Spike、ZigZag等，Biaz算法是根据相邻两个数据包的间隔区分丢包类型，当相邻两个数据包间隔大于阈值时，判断为拥塞丢包反之无线链路丢包；而Spike、ZigZag算法是根据ROTT(RelativeOnewayTripTime，单向传输时延)，ROTT比阈值大的时候判为拥塞丢包，反之为无线丢包，这几种算法存在的问题是：阈值确定比较单一、采用单个ROTT进行判别容易造成误判。

移动视频监控带宽自适应方法的设计需要考虑网络带宽、丢包区分和用户需求等多种因素，针对不同的网络环境设计自适应的控制机制。无线网络中丢包有拥塞丢包和由于多径效应、码间串扰引起的无线链路丢包，而传统的流媒体传输协议不具备丢包区分、带宽自适应等。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种基于丢包区分的移动视频监控带宽自适应方法，在无线网络不稳定的环境下，准确推断出拥塞丢包的丢包率，进而进行码流控制，保障客户端视频播放的流畅性。

为达到上述目的，本发明的构思是：针对无线视频传输丢包类型有拥塞丢包和无线链路丢包两种类型及根据丢包状况进行带宽自适应而发明，发明引入了丢包区分算法和带宽自适应机制。

根据上述发明构思，本发明采用下述技术方案：

一种基于丢包区分的移动视频监控带宽自适应方法，包含数据传输机制连接建立、数据传输丢包区分和数据传输带宽自适应三个过程，具体步骤如下：

a.所述数据传输机制连接建立包含的实现步骤：

(a-1)、移动视频监控服务端初始化阶段，对指定端口进行监听等待新的连接的到来，客户端在访问时向指定端口发送请求即可；

(a-2)、客户端发起包含有URL的DESCRIBE请求；

(a-3)、服务端解析DESCRIBE请求，分析出所请求的资源，如果资源存在则以SDP(SessionDescriptionProtocol，会话描述协议)协议的形式生成媒体资源的信息，以文本形式附加在DESCRIBE请求的应答消息之后；

(a-4)、客户端收到服务端发来的应答消息后，发起SETUP请求，请求会话建立并准备传输，SETUP命令包含了RTP的传输协议，传输方式等信息；

(a-5)、服务端收到客户端的SETUP请求后，生成一个会话序列号，将SETUP应答消息发送至客户端；

(a-6)、客户端收到服务端发来的SETUP应答消息后，客户端将发出PLAY请求，目的是请求播放视频；

(a-7)、服务端收到客户端的PLAY请求后，会向RTP模块发出消息，RTP模块将视频数据封装成RTP数据包，根据SETUP时指定的传输协议发送，同时RTCP也进入工作状态；

(a-8)、客户端收到RTP数据包后，进行解码播放，如果客户端要结束会话，则向服务端发出TEARDOWN请求。

b.所述数据传输丢包区分的实现步骤：

(b-1)、服务端记录上次发送的SR(sendreport)包，并接收客户端发来的RR(receiverreport)包，并判断当前是否有丢包事件发生；

(b-2)、根据SR、RR包，提取RTP包时间戳，计算RTT(i)＝T_arrive(i)-T_send(i)；其中RTT(i)表示第i个包的双向传输时延，T_arrive(i)为第i个包到达时间，T_send(i)为第i个包发送时间；

(b-3)、对RTT(i)做平滑处理，计算RTT(i)＝(1-γ)*RTT(i)+γ*RTT(i-1)，其中γ为平滑因子；

(b-4)、根据公式计算B_start、B_end，B_start＝RTT_min+α*(RTT_max-RTT_min)、B_end＝RTT_min+β*(RTT_max-RTT_min)；其中RTT_min和RTT_max分别为统计时间内RTT最小值和最大值，α和β为调节因子；

(b-5)、当检测到丢包事件时，判断RTT(i)与阈值的关系，如果大于B_start则判断为拥塞丢包，如果小于B_end则判为无线链路丢包，如果介于B_start、B_end之间则处于待定区；

(b-6)、当检测到当前RTT(i)为待定区时，需要进一步做RTT变化趋势判断，计算RTT(i)与RTT(i-1)大小关系，如果RTT(i)>RTT(i-1)，判为拥塞丢包，反之判为无线链路丢包；

(b-7)根据丢包类型判断，统计丢包率，并根据丢包率判断当前网络状况为轻载、满载和过载。

c.所述数据传输带宽自适应的实现步骤：

c-1.根据相邻I帧之间的差别，判断为静态视频后带宽自适应的实现步骤：

(c-1-1)、根据步骤2所述，依据丢包率大小判断当前网络负载状态，分别为网络过载、网络轻载和网络满载；

(c-1-2)、判断为网络过载时，需要进一步判断是否满帧，如果满帧则降低30％帧率，反之丢弃下一个GOP区间内的所有I帧、P帧、B帧；

(c-1-3)、判断为网络轻载时，需要进一步判断是否是最高分辨率，如果不是，则提高一级分辨率，反之保持参数不变；

(c-1-4)、判断为网络满载时，保持参数不变。

c-2.根据相邻I帧之间的差别，判断为动态视频后带宽自适应的实现步骤：

(c-2-1)、根据步骤2所述，依据丢包率大小判断当前网络负载状态，分别为网络过载、网络轻载和网络满载；

(c-2-2)、判断为网络过载时，需要进一步判断是否是最高分辨率，如果是则降低一级分辨率，反之减小P帧增加B帧，降低传输速率；

(c-2-3)、判断为网络轻载时，需要进一步判断是否满帧，如果满帧则进一步判断是否最高分辨率，如果是最高分辨率则参数不变，反之提高一级分辨率；如果不满帧，则提高帧数至满帧状态；

(c-2-4)、判断为网络满载时，保持参数不变。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

本方法在网络状况不稳定的情况下，尽可能保持视频播放的流畅性，与以往的流媒体传输的带宽自适应方法相比，本发明方法引入了改进的Spike的丢包区分算法，能区别出拥塞丢包和无线链路丢包，进而准确根据丢包率判断当前网络负载状况。本发明方法在带宽自适应机制上根据相邻I帧的差别判断当前画面动态程度并分为静态和动态分别进行码流调整，并根据不同的网络负载状况采用适应的帧率、分辨率等；本发明方法具有准确度高、带宽适应性强等特点，是一种有效的应用于移动视频监控系统中的带宽自适应方法。

附图说明

图1为一种基于丢包区分的移动视频监控带宽自适应方法总体框架图。

图2为本发明数据传输建立阶段。

图3为本发明数据传输丢包区分流程图。

图4为本发明网络负载状况图。

图5为静态视频带宽自适应机制流程图。

图6为动态视频带宽自适应机制流程图。

具体实施方式

本发明的优选实施例结合附图详述如下：

根据图1描述总体框架图，可以看出，在经过RTSP控制层的身份认证并完成RTSP交互后，服务端才开始将采集编码后的数据经过RTP打包处理发给客户端。RTCP处理模块的主要作用是提供和处理反馈信息，因为客户端在接收处理RTP包的同时，会统计出当前RTP包的接收情况，等到下一个RTCP间隔到达时发送接收者报告RR包，服务端则可以计算出当前第i个RTP包的RTT，根据丢包区分算法区分出拥塞丢包，判断当前网络状况，采用带宽自适应机制改变码流，从而可以很好地改善网络拥塞状况，并保证客户端视频播放流畅。

基于丢包区分的移动视频监控带宽自适应包含数据传输连接建立、数据传输丢包区分和数据传输带宽自适应三个过程。

在连接建立阶段如图2所示，移动视频监控服务端首先进行初始化，对指定端口进行监听等待新的连接的到来，客户端在访问时向指定端口发送请求即可；客户端发起包DESCRIBE请求包含有媒体的名字，解码类型，视频分辨率等描述；服务端解析DESCRIBE请求，分析出所请求的资源，如果资源存在则以SDP协议的形式生成媒体资源的信息，以文本形式附加在DESCRIBE请求的应答消息之后；客户端收到服务端发来的应答消息后，发起SETUP请求，请求会话建立并准备传输，SETUP命令包含了RTP的传输协议、传输方式等信息；服务端收到客户端的SETUP请求后，生成一个会话序列号，将SETUP应答消息发送至客户端，应答消息包括传输服务端的端口号和会话序列号；客户端收到服务端发来的SETUP应答消息后，客户端将发出PLAY请求，目的是请求播放视频；服务端收到客户端的PLAY请求后，会向RTP模块发出消息，RTP模块将视频数据封装成RTP数据包，根据SETUP时指定的传输协议发送，同时RTCP也进入工作状态；客户端收到RTP数据包后，进行解码播放，如果客户端要结束会话，则向服务端发出TEARDOWN请求。

当网络出现丢包时，移动视频监控服务端进行丢包区分。

如图3所示，服务端记录上次发送的SR包，并接收客户端发来的RR包，并判断当前是否有丢包事件发生；根据SR、RR包，提取RTP包时间戳，计算RTT(i)＝T_arrive(i)+T_send(i)；RTT(i)表示第i个包的双向传输时延，T_arrive(i)为第i个包到达时间，T_send(i)为第i个包发送时间。对RTT(i)做平滑处理，计算RTT(i)＝(1-γ)*RTT(i)+γ*RTT(i-1)，γ为平滑因子，实施中一般取γ为0.8，即每个新估计值的80％来自于前一个估计值，而20％依赖于新的测量；根据公式计算B_start、B_end，B_start＝RTT_min+α*(RTT_max-RTT_min)、B_end＝RTT_min+β*(RTT_max-RTT_min)；其中RTT_min和RTT_max分别为统计时间内RTT最大值和最小值，α和β为调节因子；当检测到丢包事件时，判断ROTT(i)与阈值的关系，如果大于B_start则判断为拥塞丢包，如果小于B_end则判为无线链路丢包，如果介于B_start、B_end之间则处于待定区；当检测到当前ROTT(i)为待定区时，需要进一步做ROTT变化趋势判断，计算ROTT(i)与ROTT(i-1)大小关系，如果ROTT(i)>ROTT(i-1)，判为拥塞丢包，反之判为无线链路丢包。根据丢包类型判断，统计丢包率，并根据丢包率判断当前网络状况为轻载、满载和过载，如图4所示，实施中取S％为2％，T％为4％。

根据网络负载状况及相邻I帧之间的差别M，分为静态和动态分别实现带宽自适应控制。

当M<10％时判断为静态视频后带宽自适应控制，如图5所示。依据丢包率大小判断当前网络负载状态，分为网络过载、网络轻载和网络满载；判断为网络过载时，需要进一步判断是否满帧，如果满帧则降低30％帧率，反之丢弃下一个GOP区间内的所有I帧、P帧、B帧；判断为网络轻载时，需要进一步判断是否是最高分辨率，如果不是，则提高一级分辨率，反之保持参数不变；判断为网络满载时，保持参数不变。

当M>10％时判断为动态视频后带宽自适应控制，如图6所示。依据丢包率大小判断当前网络负载状态，分为网络过载、网络轻载和网络满载；判断为网络过载时，需要进一步判断是否是最高分辨率，如果是则降低一级分辨率，反之减小P帧增加B帧，降低传输速率；判断为网络轻载时，需要进一步判断是否满帧，如果满帧则进一步判断是否最高分辨率，如果是最高分辨率则参数不变，反之提高一级分辨率；如果不满帧，则提高帧数至满帧状态；判断为网络满载时，保持参数不变。

Claims (1)

1.一种基于丢包区分的移动视频监控带宽自适应方法，包含数据传输机制连接建立、数据传输丢包区分和数据传输带宽自适应三个过程，其特征在于，具体步骤如下：

a.所述数据传输机制连接建立包含的实现步骤为：

(a-1)、移动视频监控服务端初始化阶段，对指定端口进行监听等待新的连接的到来，客户端在访问时向指定端口发送请求；

(a-2)、客户端发起包含有URL的DESCRIBE请求；

(a-3)、服务端解析DESCRIBE请求，分析出所请求的资源，如果资源存在，则以SDP协议的形式生成媒体资源的信息，以文本形式附加在DESCRIBE请求的应答消息之后；

(a-4)、客户端收到服务端发来的应答消息后，发起SETUP请求，请求会话建立并准备传输，SETUP命令包含了RTP的传输协议，传输方式信息；

(a-5)、服务端收到客户端的SETUP请求后，生成一个会话序列号，将SETUP应答消息发送至客户端，应答消息包括传输服务端的端口号和会话序列号；

(a-6)、客户端收到服务端发来的SETUP应答消息后，客户端将发出PLAY请求，目的是请求播放视频；

(a-7)、服务端收到客户端的PLAY请求后，会向RTP模块发出消息，RTP模块将视频数据封装成RTP数据包，根据SETUP时指定的传输协议发送，同时RTCP也进入工作状态；

(a-8)、客户端收到RTP数据包后，进行解码播放，如果客户端要结束会话，则向服务端发出TEARDOWN请求；

b.所述数据传输丢包区分的实现步骤为：

(b-1)、服务端记录上次发送的SR包，并接收客户端发来的RR包，判断当前是否有丢包事件发生；

(b-2)、根据SR、RR包，提取RTP包时间戳，计算RTT(i)＝T_arrive(i)-T_send(i)；其中RTT(i)表示第i个包的双向传输时延，T_arrive(i)为第i个包到达时间，T_send(i)为第i个包发送时间；

(b-3)、对RTT(i)做平滑处理，计算RTT(i)＝(1-γ)*RTT(i)+γ*RTT(i-1)，其中γ为平滑因子；

(b-4)、根据公式计算B_start、B_end，B_start＝RTT_min+α*(RTT_max-RTT_min)、B_end＝RTT_min+β*(RTT_max-RTT_min)；其中RTT_min和RTT_max分别为统计时间内RTT最小值和最大值，α和β为调节因子；

(b-5)、当检测到丢包事件时，判断RTT(i)与阈值的关系，如果大于B_start则判断为拥塞丢包，如果小于B_end则判为无线链路丢包，如果介于B_start、B_end之间则处于待定区；

(b-6)、当检测到当前RTT(i)为待定区时，需要进一步做RTT变化趋势判断，计算RTT(i)与RTT(i-1)大小关系，如果RTT(i)>RTT(i-1)，判为拥塞丢包，反之判为无线链路丢包；

(b-7)根据丢包类型判断，统计丢包率，并根据丢包率判断当前网络状况为轻载、满载和过载；

c.所述数据传输带宽自适应的实现步骤为：

c-1.根据相邻I帧之间的差别，判断为静态视频后带宽自适应的实现步骤为：

(c-1-1)、根据步骤b所述，依据丢包率大小判断当前网络负载状态，分为网络过载、网络轻载和网络满载；

(c-1-2)、判断为网络过载时，需要进一步判断是否满帧，如果满帧则降低30％帧率，反之丢弃下一个GOP区间内的所有I帧、P帧、B帧；

(c-1-3)、判断为网络轻载时，需要进一步判断是否是最高分辨率，如果不是，则提高一级分辨率，反之保持参数不变；

(c-1-4)、判断为网络满载时，保持参数不变；

c-2.根据相邻I帧之间的差别，判断为动态视频后带宽自适应的实现步骤为：

(c-2-1)、根据步骤b所述，依据丢包率大小判断当前网络负载状态，分为网络过载、网络轻载和网络满载；

(c-2-2)、判断为网络过载时，需要进一步判断是否是最高分辨率，如果是则降低一级分辨率，反之减小P帧增加B帧，降低传输速率；

(c-2-3)、判断为网络轻载时，需要进一步判断是否满帧，如果满帧则进一步判断是否最高分辨率，如果是最高分辨率则参数不变，反之提高一级分辨率；如果不满帧，则提高帧数至满帧状态；

(c-2-4)、判断为网络满载时，保持参数不变。