CN103354615A - 基于信号强度的直播视频数据传输差错控制方法 - Google Patents

Abstract

一种基于信号强度的直播视频数据传输差错控制方法，通过计算视频数据包未按时到达移动终端的比率，将移动终端的网络状态分为波动和突发大量丢包两种，针对不同网络状态，采用不同的差错控制机制；当移动终端网络处于波动状态时，采用基于信号强度的动态FEC（前向纠错编码）策略；当移动终端网络处于突发大量丢包状态时，基于信号强度，采用延迟约束可选择性混合自动重传请求策略；本发明可以充分有效地减少直播视频数据在传输过程中的丢包，提升移动终端用户对直播视频的视觉体验。

Description

基于信号强度的直播视频数据传输差错控制方法

技术领域

本发明属于移动网络视频直播领域，涉及到视频数据的编解码以及传输技术，特别是涉及到一种基于信号强度的直播视频数据传输差错控制方法。

背景技术

随着智能移动终端，特别是智能手机的迅猛发展、3G和4G移动网络的全方位覆盖与服务提升，移动网络视频直播变得越来越实用和普遍。但是由于移动网络的不稳定性，视频数据在传输过程中容易产生错误和出现丢包，所以移动终端用户的直播视频播放体验较差。为了改善这一状况，移动网络视频直播领域急需一种有效的数据传输差错控制方法。

据申请人检索和查新，目前还没有与本发明相关的属于移动网络视频直播领域的专利，与差错控制相关的发明专利有以下几篇：

1.发明专利201110127328.6，差错控制的方法、接收端、发送端和系统；

2.发明专利01819459.1，用于移动通信系统的差错控制方法；

3.发明专利201010232605.5，一种视频传输的差错控制方法及系统；

在上述发明专利1中，发明人公开了一种差错控制的方法、接收端、发送端和系统，属于通信领域。该发明通过网络状况的变化情况使用不同的差错控制方法，并综合使用多种差错控制方法，提高对通信网络的有效利用，达到了在较高通信网络利用率下有更好的抗丢包效果。

在上述发明专利2中，发明人提出了一种应用于CDMA通信系统分组数据业务的一种新的RCPT/II型HARQ方法即RCPT/CPC HARQ方法。通过该方法，能使译码复杂性和译码时延降低，简化了系统设计，又能达到全IR性能。

在上述发明专利3中，发明人公开了一种视频传输的差错控制方法及系统，所述方法包括误码掩盖过程。该发明优化了视频传输图像解码质量，改善了视频解码效果。

上述相关发明专利存在的共同问题是：没有考虑移动终端的接收信号强度，不能很好的判断当前移动终端的网络状态，采取有针对性的差错控制方法，尽可能的纠正视频数据在移动网络传输过程中产生的错误并减少丢包。

发明内容

本发明的目的在于提供一种基于信号强度的直播视频数据传输差错控制方法，在充分有效利用移动网络带宽的同时，尽可能地纠正直播视频数据在移动网络传输过程中的错误，减少传输过程中的丢包，提升移动终端用户对直播视频的视觉体验。

为了实现上述目的，本发明采用的技术方案是：

一种基于信号强度的直播视频数据传输差错控制方法，根据计算视频数据包未按时到达移动终端的比率，将移动终端的网络状态分为波动和突发大量丢包两种，针对不同网络状态，采用不同的差错控制机制：当移动终端网络处于波动状态时，采用基于信号强度的动态前向纠错编码（FEC）策略；当移动终端网络处于突发大量丢包状态时，基于信号强度，采用延迟约束可选择性混合自动重传请求策略。

所述波动和突发大量丢包两种网络状态的认定步骤如下：

Step1：数据转发中心(DTU)采用实时传输协议(Real-time Transport protocol，RTP)直接向移动终端发送前向纠错（Forward error correction，FEC）编码好的视频数据包；

Step2：移动终端用一个队列标记当前最近N个视频数据包的按时到达情况，统计未按时到达视频数据包个数n，计算当前的包未按时到达率Nar=n/N，当Nar<NAR时，移动终端认为当前网络处于波动状态，否则认为当前网络处于突发大量丢包状态，其中N为设置的表示最近应到达视频数据包个数的固定值，NAR为设置的视频数据包未按时到达率阈值；

Step3：移动终端获取当前的接收信号强度值Rssi；

Step4：移动终端将Rssi和Nar值反馈给DTU；

Step5：DTU保存移动终端反馈回的Rssi和Nar值，并保留原Rssi值；

Step6：同样地，DTU根据反馈回的Nar值对当前网络状况进行判断，当Nar<NAR时，DTU认为当前网络处于波动状态，否则认为当前网络处于突发大量丢包状态。

采用基于信号强度的动态前向纠错编码（FEC）策略的具体步骤如下：

Step1：当Rssi>RSSI时，FEC编码冗余度值R=R₀+Nar*Pw；当Rssi≤RSSI时，R=R₀+Nar*Pw-ΔRssi*Rw，其中RSSI为设定的阈值，R₀为基础冗余值，Nar为当前未按时到达率，Pw为对应未按时到达率的权重，ΔRssi为新旧Rssi值之差，Rw为对应的权重；

Step2：DTU设置R值，并使用R值对直播视频进行FEC编码。

采用延迟约束可选择性混合自动重传请求策略的具体步骤如下：

Step1：DTU将FEC编码的冗余度R设为基础冗余值R₀，并采用该值进行直播视频的FEC编码；

Step2：移动终端根据RTP包头序号字段的值判断哪些包丢失；

Step3：移动终端估计丢包的重传到达时间T=Tcur+RTT+Ds，若T<Tdeadline，则移动终端发送重传请求，否则不发送，其中Tcur为当前时间，RTT为最新的往返时间，Ds为松弛时间，Tdeadline为视频数据按时到达截止时间；

Step4：当DTU接收到移动终端对序号X数据包的重传请求后，再次估计该包重传到达时间

若T′>Tdeadline，则不再重传该包，否则执行下一步；

Step5：若Rssi>RSSI则DTU重传该丢包；若Rssi<RSSI，则判断该包是否为关键帧，若是则重传，否则不再重传。

与现有技术相比，本发明的优点是：针对移动网络，对不同网络状态，采用不同的差错控制机制；基于移动终端的接收信号强度，实现动态FEC策略以及延迟约束可选择性混合自动重传请求策略。

附图说明

图1为本发明基于信号强度的直播视频数据传输差错控制方法流程图。

具体实施方式

下面结合附图与系统实施对本发明做进一步详细说明。

如附图1所示，基于信号强度的直播视频数据传输差错控制方法，首先是视频数据包的发送和接收；接着，判断当前网络状态；最后，DTU根据不同网络状态，采用不同的差错控制机制：当移动终端网络处于波动状态时，采用基于信号强度的动态FEC策略；当移动终端网络处于突发大量丢包状态时，基于信号强度，采用延迟约束可选择性混合自动重传请求策略。

下面分步骤对本发明的技术方案进行详细叙述。

1、视频数据包的发送和接收

具体步骤如下：

Step1：直播端将采集的视频数据进行编码，发送给DTU；

Step2：DTU接收到数据包后，将数据包放入缓存队列中；

Step3：DTU从缓存队列中取出数据并进行FEC编码；

Step4：DTU采用RTP协议将FEC编码好的音视频数据直接发给移动终端；

Step5：DTU检查当前网络状态，若为突发大量丢包状态，则将该数据包放入重传缓存队列中，以备重传；

Step6：移动终端接收到数据包后将其放入缓存队列中。

其中，FEC编码的具体步骤如下：

Step1：将原始数据基本码流ES（Elementary Streams）流根据需要分成长度不等的数据包,并加上包头就形成了打包的基本码流PES（PacketisedElementary Streams）流；

Step2：针对每K个PES流数据包，经过RS(Reed-Solomon)编码，得到M个TS（Transport Stream）流数据包，其中M-K即为编码后产生的冗余数据包数量，TS流数据包即为经过FEC编码后的数据包。

2、判断当前网络状态

2.1 移动终端向DTU反馈信息并判断当前网络状态

具体步骤如下：

Step1：移动终端用一个队列标记当前最近N个视频数据包的按时到达情况，统计未按时到达视频数据包个数n,计算当前的包未按时到达率Nar=n/N；

Step2：移动终端获取当前的接收信号强度值Rssi；

Step3：移动终端将Rssi和Nar值反馈给DTU；

Step4：当Nar<NAR（NAR为设置的视频数据包未按时到达率阈值）时，移动终端认为当前网络处于波动状态，否则认为当前网络处于突发大量丢包状态；

其中，在android的操作系统下，移动终端获取当前接收信号强度值Rssi的具体步骤如下：

Step1：在AndroidManfest.xml文件中添加允许访问网络状态信息的语句<uses-permission

android:name=″android.permission.CHANGE_NETWORK_STATE″/>；

Step2：编写监听类，该类继承android操作系统PhoneStateListener类，重写其onSignalStrengthsChanged(SignalStrength signalStrength)方法；

Step3：创建监听类对象实例TListener；

Step4：获取系统TelephonyManager类对象；

Step5：设置TelephonyManager类对象的监听实例为TListener；

Step6：当移动终端的接收信号强度发生变化时，操作系统会以信号强度值为参数，调用重写的onSignalStrengthsChanged(SignalStrength signalStrength)方法；

Step7：在重写的onSignalStrengthsChanged(SignalStrength signalStrength)方法中，若signalStrength.getCdmaDbm()值不等于-1，则Rssi=signalStrength.getCdmaDbm()，否则Rssi=-113+2*signalStrength.getGsm SignalStrength()；

2.2 DTU根据反馈信息判断当前网络状态

具体步骤如下：

Step1：DTU保存移动终端反馈回的Rssi和Nar值，并保留原先Rssi值；

Step2：同样地，DTU根据反馈回的Nar值对当前网络状况进行判断，当Nar<NAR时，认为当前网络处于波动状态，否则认为当前网络处于突发大量丢包状态。

3、当移动终端网络处于波动时，采用基于信号强度的动态前向纠错编码（FEC）策略

具体步骤如下：

Step1：当Rssi>RSSI(RSSI为设定的阈值)时，计算FEC编码冗余度值R=R₀+Nar*Pw（R₀为基础冗余值，Nar为当前未按时到达率，Pw为对应未按时到达率的权重），否则R=R₀+Nar*Pw-ΔRssi*Rw（R₀为基础冗余值，Nar为当前未按时到达率，Pw为对应未按时到达率的权重，ΔRssi为新旧Rssi值之差，Rw为对应的权重）；

Step2：DTU设置R值，并使用该值对直播视频进行FEC编码。

4、当移动终端网络处于突发大量丢包状态时，基于信号强度，采用延迟约束可选择性混合自动重传请求策略

具体步骤如下：

Step1：DTU将FEC编码的冗余度R设为基础冗余值R₀，并采用该值进行直播视频的FEC编码；

Step2：移动终端根据RTP包头序号字段的值判断哪些包丢失；

Step3：移动终端估计丢包的重传到达时间T=Tcur+RTT+Ds（Tcur为当前时间，RTT为最新的往返时间，Ds为松弛时间），若T<Tdeadline（Tdeadline为视频数据按时到达截止时间），则移动终端发送重传请求，否则不发送；

Step4：当DTU接收到移动终端对序号X数据包的重传请求后，再次估计该包重传到达时间（Tcur为当前时间,RTT为最新的往返时间，Ds为松弛时间）；若T>Tdeadline，则不再重传该包，否则执行下一步；

Step5：若Rssi>RSSI则DTU重传该丢包；若Rssi<RSSI，则判断该包是否为关键帧，若是则重传，否则不再重传。

其中，移动终端根据RTP包序列号字段的值判断哪些包丢失，具体步骤如下：

Step1：移动终端接收到RTP数据包后，根据包头序列号字段，将数据包放入循环缓存队列的相应位置；

Step2：从队列头部开始搜索未到达数据包，如果搜索到未到达数据包，则进入下一步；否则返回-1，表示当前没有丢包；

Step3：启动计时器，当计时器计数值t>T(T为设定的阈值）时，终端认为该包丢失，标记当前队列位置，参考前面数据包的序号值，返回所丢包的序号值，否则搜索下一个未到达数据包，开启计时器；

Step4：再次搜索未到达数据包时，从标记位置开始搜索，方法同上。

判断该数据包是否为关键帧的具体步骤如下：

Step1：DTU接收到数据包后，从编码视频数据中提取并保存结构体x264_nal_t的i_type值；

Step2：DTU在添加RTP协议包头时将i_type值赋给payload字段的NRI位；

Step3：移动终端将RTP协议中payload的NRI值与H264中的NAL_SLICE_IDR值比较，若两值相等，则判断为关键帧，否则为非关键帧。

Claims (4)

1.一种基于信号强度的直播视频数据传输差错控制方法，其特征在于，根据计算视频数据包未按时到达移动终端的比率，将移动终端的网络状态分为波动和突发大量丢包两种，针对不同网络状态，采用不同的差错控制机制：当移动终端网络处于波动状态时，采用基于信号强度的动态前向纠错编码（FEC）策略；当移动终端网络处于突发大量丢包状态时，基于信号强度，采用延迟约束可选择性混合自动重传请求策略。

2.根据权利要求1所述基于信号强度的直播视频数据传输差错控制方法，其特征在于，所述波动和突发大量丢包两种网络状态的认定步骤如下：

Step1：数据转发中心(DTU)采用实时传输协议(Real-time Transport protocol，RTP)直接向移动终端发送前向纠错（Forward error correction，FEC）编码好的视频数据包；

Step2：移动终端用一个队列标记当前最近N个视频数据包的按时到达情况，统计未按时到达视频数据包个数n，计算当前的包未按时到达率Nar=n/N，当Nar<NAR时，移动终端认为当前网络处于波动状态，否则认为当前网络处于突发大量丢包状态，其中N为设置的表示最近应到达视频数据包个数的固定值，NAR为设置的视频数据包未按时到达率阈值；

Step3：移动终端获取当前的接收信号强度值Rssi；

Step4：移动终端将Rssi和Nar值反馈给DTU；

Step5：DTU保存移动终端反馈回的Rssi和Nar值，并保留原Rssi值；

Step6：同样地，DTU根据反馈回的Nar值对当前网络状况进行判断，当Nar<NAR时，DTU认为当前网络处于波动状态，否则认为当前网络处于突发大量丢包状态。

3.根据权利要求1所述基于信号强度的直播视频数据传输差错控制方法，其特征在于，采用基于信号强度的动态前向纠错编码（FEC）策略的具体步骤如下：

Step1：当Rssi>RSSI时，FEC编码冗余度值R=R₀+Nar*Pw；当Rssi≤RSSI时，R=R₀+Nar*Pw-ΔRssi*Rw，其中RSSI为设定的阈值，R₀为基础冗余值，Nar为当前未按时到达率，Pw为对应未按时到达率的权重，ΔRssi为新旧Rssi值之差，Rw为对应的权重；

Step2：DTU设置R值，并使用R值对直播视频进行FEC编码。

4.根据权利要求1所述基于信号强度的直播视频数据传输差错控制方法，其特征在于，采用延迟约束可选择性混合自动重传请求策略的具体步骤如下：

Step1：DTU将FEC编码的冗余度R设为基础冗余值R₀，并采用该值进行直播视频的FEC编码；

Step2：移动终端根据RTP包头序号字段的值判断哪些包丢失；

Step3：移动终端估计丢包的重传到达时间T=Tcur+RTT+Ds，若T<Tdeadline，则移动终端发送重传请求，否则不发送，其中Tcur为当前时间，RTT为最新的往返时间，Ds为松弛时间，Tdeadline为视频数据按时到达截止时间；

Step4：当DTU接收到移动终端对序号X数据包的重传请求后，再次估计该包重传到达时间

若T′>Tdeadline，则不再重传该包，否则执行下一步；

Step5：若Rssi>RSSI则DTU重传该丢包；若Rssi<RSSI，则判断该包是否为关键帧，若是则重传，否则不再重传。