CN105430532A - 一种视频数据传输自适应调整的控制方法及其系统 - Google Patents

Abstract

本发明提供了一种视频数据传输自适应调整的控制方法及其系统，通过在接收端利用所述kalman滤波预测出下一数据包传输的延时时间，给发送端提供建议发送码率，同时发送端将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，推算出数据包发送的调整码率。所述方法及其系统，通过利用kalman滤波预测下一数据包的发送码率，发送端根据接收端数据的接收情况，动态调整适配各种网络状况下的通话质量，在网络状况好时提升画面流畅度，在网络状况差时可以降低画面流畅度，达到了实时拥塞控制的目的，减少了卡顿等异常状况发生的概率。

Description

一种视频数据传输自适应调整的控制方法及其系统

技术领域

本发明涉及信息传输控制技术领域，尤其涉及的是一种视频数据传输自适应调整的控制方法及其系统。

背景技术

智能电视已占据了市场的主流，越来越多的人通过网络收看节目的同时，逐渐关注到了其他的多样化应用，视频聊天便是其中一个，画面够大，流量也不像手机一样受限制。但是目前电视上的视频聊天技术除受自身硬件处理能力的限制，还需面对网络波动带来的影响，通常一个好的视频聊天软件需要具备如下的能力：在网络状况好的时候需要提高流畅度，提升画面质量，充分利用优质畅通的带宽，网络状况差的情况下降低流畅度及画面质量，以减少网络数据拥堵，这就需要一个好的数据拥塞检测及控制方法，能够充分了解当前网络状况并给出合适的数据码率及帧率，而目前这两点在技术上存在如下问题：

对当前网络是否拥塞的指标通常有丢包率和网络延时，由于网络状况通常是突发变化，对一定时间内统计的丢包率通常不能反应当前的状况，另外由于重传包的存在，使得丢包率这一指标变得不准确。如果是低延时网络，能基本反映实时的状态，但如果是高延时甚至是随机的高延时网络，则网络延时只能反应若干秒前的状态，通常也不能作为当前码率调试的依据。目前有不少的码率调整方法都是基于这两个离散的指标，所进行的调试通常会导致发送码率的较大波动，反而不利于数据的发送。

因此，现有技术有待于进一步的改进。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种视频数据传输自适应调整的控制方法及其系统，克服现有技术中由于网络波动造成视频数据传输过程出现数据拥塞的缺陷。

本发明解决技术问题所采用的技术方案如下：

一种视频数据传输自适应调整的控制方法，其中，包括：

接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，并将所述接收时间差与所述发送时间差入kalman滤波，通过所述kalman滤波预测出下一数据包传输的延时时间；

将所述延时时间与预设时间阈值进行比对，并根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率；

发送端获取所述建议发送码率和数据包的丢包率，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率；

计算所述最终发送码率所对应的发送帧率，并以所述发送帧率发送下一数据包。

所述视频数据传输自适应调整的控制方法，其中，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率的步骤包括：

当丢包率未超出第一丢包阈值，则将所述建议发送码率提高预定数值，并将提高预定数值后的建议发送码率作为数据包的最终发送码率；

否则，判断丢包率是否超出第二丢包阈值，若未超出，则以此时发送端的发送码率作为最终发送码率；

若超出，则根据预定规则降低建议发送码率；将降低后的建议发送码率与运用tfrc算法计算出的发送码率进行比较，取其中数值较大者作为数据包的最终发送码率。

所述视频数据传输自适应调整的控制方法，其中，所述预定规则为当丢包率大于第二丢包阈值时，则按照公式：

发送码率=建议发送码率×(1-0.5×丢包率),计算出发送码率，并将计算出的发送码率作为新的建议发送码率。

所述视频数据传输自适应调整的控制方法，其中,根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率的步骤包括：

当所述延时时间大于预设时间阈值，则按照预定缩小指数降低接收码率，以降低后的接收码率为建议发送码率；

当所述延时时间小于预设时间阈值，则按照预定放大指数提高接收码率，以提高后的接收码率为建议发送码率；

当所述延时时间等于预设时间阈值，则不对接收码率进行调整，以接收码率为建议发送码率。

一种视频数据传输自适应调整的控制系统，其中，包括：

延时获取模块，用于接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，并将所述接收时间差与所述发送时间差传入kalman滤波，通过所述kalman滤波预测出下一数据包传输的延时时间；

第一计算模块，用于将所述延时时间与预设时间阈值进行比对，并根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率；

第二计算模块，用于发送端获取所述建议发送码率和数据包的丢包率，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率；

调整执行模块，用于计算所述最终发送码率所对应的发送帧率，并以所述发送帧率发送下一数据包。

所述视频数据传输自适应调整的控制系统，其中，所述第二计算模块包括：

第一判定单元，用于当丢包率未超出第一丢包阈值，则将所述建议发送码率提高预定数值，并将提高预定数值后的建议发送码率作为数据包的最终发送码率；

第二判定单元，用于当丢包率超出第一丢包阈值后，判断丢包率是否超出第二丢包阈值，若未超出，则以此时发送端的发送码率作为最终发送码率；若超出，则根据预定规则降低建议发送码率；将降低后的建议发送码率与运用tfrc算法计算出的发送码率进行比较，取其中数值较大者为数据包的最终发送码率。

所述视频数据传输自适应调整的控制系统，其中，所述预定规则为当丢包率大于第二丢包阈值时，则按照公式：

发送码率=建议发送码率×(1-0.5×丢包率),计算出发送码率，并将计算出的发送码率作为新的建议发送码率。

所述视频数据传输自适应调整的控制系统，其中，所述第一计算模块包括：

降低调整单元，用于当所述延时时间大于预设时间阈值，则按照预定缩小指数降低接收码率，以降低后的接收码率为建议发送码率；

提高调整单元，用于当所述延时时间小于预设时间阈值，则按照预定放大指数提高接收码率，以提高后的接收码率为建议发送码率；

不调整单元，用于当所述延时时间等于预设时间阈值，则不对接收码率进行调整，直接以接收码率为建议发送码率。

有益效果，本发明提供了一种视频数据传输自适应调整的控制方法及其系统，获取接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，通过所述kalman滤波预测出下一数据包传输的延时时间；将所述延时时间与预设时间阈值进行比对，并根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率；发送端获取所述建议发送码率，同时判断数据包的丢包率，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，推算出数据包发送的调整码率；根据所述调整码率计算对应的发送帧率，并以所述发送帧率发送下一数据包。所述方法及其系统，通过利用kalman滤波预测下一数据包的发送码率，根据接收端数据包的接收情况，动态适配调整各种网络状况下的数据传输，在网络状况好时提升画面流畅度，在网络状况差时可以降低画面流畅度，达到了实时拥塞控制的目的，减少了卡顿等异常状况发生的概率。

附图说明

图1是本发明的一种视频数据传输自适应调整的控制方法步骤流程图。

图2是本发明所述方法中接收端数据控制的方法步骤流程图。

图3是本发明所述方法中发送端数据控制的方法步骤流程图。

图4是本发明的一种视频数据传输自适应调整的控制系统原理结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明提供了一种视频数据传输自适应调整的控制方法，如图1所示，所述方法包括：

S1、接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，并将所述接收时间差与所述发送时间差传入kalman滤波，通过所述kalman滤波预测出下一数据包传输的延时时间。

为了获取网络状态下当前视频数据的接收情况，在本步骤中首先获取接收端接收到数据包的接收帧率，将其与发送端在发送该数据包时该数据包的发送帧率进行比较，由于在网络状态一般的情况下，发送端的视频帧的发送帧率与接收端的接收帧率理论上应该是一致的，若接收帧率小于发送帧率，那么说明网络出现了拥塞，如果接收帧率大于等于发送帧率，那么说明网络极为通畅，将之前可能出现拥塞的数据都一并发送到的接收端。因此通过获取接收帧率和发送帧率获取网络状况。

具体的，在本步骤中，通过获取接收端接收数据包中相邻帧之间的时间差和获取该数据包在发送端发出时其相邻帧之间的时间差，并将获取到的接收帧率和发送帧率传入kalman滤波，通过kalman滤波判断在该网络状态下，下一数据包传输的可能延时时间，从而通过实时的真实数据，反应网络状态。

S2、将所述延时时间与预设时间阈值进行比对，并根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率。

将上述步骤S1中kalman滤波计算出的延时时间与预先设置的时间阈值进行比对，若该延时时间超过预设时间阈值，则说当前网络状态较差，有视频数据拥塞的情况，则需要对当前从接收端接收到的建议发送码率进行调整，降低该建议发送码率。

根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率的步骤包括：

当所述延时时间大于预设时间阈值，则按照预定缩小指数降低接收码率，以降低后的接收码率为建议发送码率；

当所述延时时间小于预设时间阈值，则按照预定放大指数提高接收码率，以提高后的接收码率为建议发送码率；

当所述延时时间等于预设时间阈值，则不对接收码率进行调整，以接收码率为建议发送码率。

上述方法即是：若延时时间小于预定时间阈值，则说明网络状态较好，可以增大发送端的发送码率，若延时时间大于预定时间阈值，则说明网络状态差，需要降低发送端的发送码率，若延时时间与预定时间阈值等同，则可以不对接收码率进行调整，即直接使用当时的接收码率作为建议发送码率给到发送端，因此可以通过上述比对结果和当前接收数据包的接收码率，计算出适宜接收码率，并将该适宜的接收码率作为建议发送码率发送给发送端，则发送端可以参考该建议发送码率，对其发送数据包的帧率给予调整。

S3、发送端获取所述建议发送码率和数据包的丢包率，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率。

在本步骤中，发送端在建议发送码率的基础上，综合考虑丢包率，对下一数据包发送的发送码率进行调整，具体的将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率的步骤包括：

预先设置第一丢包阈值和第二丢包阈值，第二丢包阈值大于第一丢包阈值。

当丢包率未超出第一丢包阈值（比如2%），则将所述建议发送码率提高预定数值，并将提高预定数值后的建议发送码率作为数据包的最终发送码率；否则，判断丢包率是否超出第二丢包阈值（比如10%），若未超出，则以此时发送端的发送码率作为最终发送码率；若超出，则根据预定规则降低建议发送码率；将降低后的建议发送码率与运用tfrc算法计算出的发送码率进行比较，取其中数值较大者作为数据包的最终发送码率。

在上述步骤中所述预定规则为当丢包率大于第二丢包阈值时，则按照公式：

发送码率=建议发送码率×(1-0.5×丢包率),计算出发送码率，并将计算出的发送码率作为新的建议发送码率。

S4、计算所述最终发送码率所对应的发送帧率，并以所述发送帧率发送下一数据包。

当上述步骤S3确定出最终的发送码率后，根据所述最终发送码率计算对应的发送帧率，根据所述发送帧率对下一数据包进行发送。

下面分别针对接收端和发送端的控制方法步骤流程对对上述方法做进一步的说明。

如图2所示，接收端首先接收数据包，即rtp包，然后从接收到的rtp包中获取第i帧发送时间戳和第i-1帧发送时间戳，将第i帧发送时间戳与第i-1帧的发送时间戳相减后得到两帧间的发送间隔t_send，得到发送帧率。

根据rtp包的到达时间，计算第i帧与第i-1帧的到达时间间隔t_receive（一帧由多个rtp包组成，这里的时间则取的是组成一帧的rtp包序列中的第一个），得到接收帧率。

将发送时间差（即t_send）与接收时间差（即t_receive）作为参数传入kalman滤波，通过kalman滤波对接收到下一数据包的延时时间进行预测。

在具体实施时，可以每隔预定时间，如1s，从滤波器中获取等待时间预测，将该预测延时时间与预设时间阈值th比较，若大于th，则网络拥塞，若小于th，则网络正常且带宽有余量可以利用。

根据得到的当前接收码率，以及当前网络的状况（拥塞/空余）（即上述比较结果），如果拥塞，则在原有发送码率的基础上乘上因子0.95，如果空余，则在原有码率的基础上增加一个平均包大小，得到调整后的建议发送码率，并将所述建议发送码率反馈到发送端。

如图3所述，发送端将收到的反馈rtcp包中的建议发送码率记录下来，并将其限制在预先设定好的发送码率的范围内，然后发送端记录rtcp的rr包中的丢包率及回环时间rtt。每25ms进行一次预测，考虑到如下情况：

当丢包率很小时，如小于2%，说明网络状况畅通，此时可以增加发送码率，如：在原有基础上增加5%；当丢包率大于10%时，则说明网络存在一定的拥塞，此时需减少发送码率，按照公式：

发送码率=建议发送码率×(1-0.5×丢包率)进行计算，即当丢包率5%时，则是原有码率的95%，当丢包率为50%时，则是原有码率的50%，同时考虑原有的tfrc预测结果，取其中较大的值作为最终的预测结果。

本发明所述方法在接收端使用数据包的接收时间差进行kalman滤波，将延时时间作为预测目标，从统计学的角度描述当前的网络状态，依此进行传输码率的统计预测。发送端在原有的tfrc（基于丢包率及回环时间等因子）预测基础上，综合考虑接收端反馈回来的建议发送码率进行最终预测码率的调整，调整亦不会跨度很大，前后两次的调整是在一定的范围内进行的，不会出现码率大起大落加重网络负担的情况，并且本发明并不单纯的依赖随机性很大的丢包率及网络延时来进行补救式的带宽控制，而是使用统计方法进行拥塞检测，并能在统计意义上预测下一时刻的拥塞趋势，对网络状况的描述准确性高，进而能够“提前”给出带宽调整方案，提高了整体通话质量。

在上述方法的基础上，本发明还提供了一种视频数据传输自适应调整的控制系统，如图4所示，所述系统包括：

延时获取模块110，用于接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，并将所述接收时间差与所述发送时间差传入kalman滤波，通过所述kalman滤波预测出下一数据包传输的延时时间；其功能如上述步骤S1所述。

第一计算模块120，用于将所述延时时间与预设时间阈值进行比对，并根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率；其功能如上述步骤S2所述。

第二计算模块130，用于发送端获取所述建议发送码率和数据包的丢包率，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率；其功能如上述步骤S3所述。

调整执行模块140，用于计算所述最终发送码率所对应的发送帧率，并以所述发送帧率发送下一数据包，其功能如上述步骤S4所述。

所述第二计算模块包括：

第一判定单元，用于当丢包率未超出第一丢包阈值，则将所述建议发送码率提高预定数值，并将提高预定数值后的建议发送码率作为数据包的最终发送码率；

第二判定单元，用于当丢包率超出第一丢包阈值后，判断丢包率是否超出第二丢包阈值，若未超出，则以此时发送端的发送码率作为最终发送码率；若超出，则根据预定规则降低建议发送码率；将降低后的建议发送码率与运用tfrc算法计算出的发送码率进行比较，取其中数值较大者为数据包的最终发送码率。

所述预定规则为当丢包率大于第二丢包阈值时，则按照公式：

发送码率=建议发送码率×(1-0.5×丢包率),计算出发送码率，并将计算出的发送码率作为新的建议发送码率。

所述第一计算模块包括：

降低调整单元，用于当所述延时时间大于预设时间阈值，则按照预定缩小指数降低接收码率，以降低后的接收码率为建议发送码率；

提高调整单元，用于当所述延时时间小于预设时间阈值，则按照预定放大指数提高接收码率，以提高后的接收码率为建议发送码率；

不调整单元，用于当所述延时时间等于预设时间阈值，则不对接收码率进行调整，直接以接收码率为建议发送码率。

本发明提供了一种视频数据传输自适应调整的控制方法及其系统，获接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，通过所述kalman滤波预测出下一数据包传输的延时时间，从而给到发送端提供一个建议发送码率，发送端同时将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，推算出数据包发送的调整码率，并根据所述调整码率计算对应的发送帧率，使用所述发送帧率发送下一数据包。所述方法及其系统，通过利用kalman滤波预测下一数据包的发送码率，根据接收端数据包的接收情况，动态适配调整各种网络状况下的数据传输，在网络状况好时提升画面流畅度，在网络状况差时可以降低画面流畅度，达到了实时拥塞控制的目的，减少了卡顿等异常状况发生的概率。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种视频数据传输自适应调整的控制方法，其特征在于，包括：

接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，并将所述接收时间差与所述发送时间差传入kalman滤波，通过所述kalman滤波预测出下一数据包传输的延时时间；

将所述延时时间与预设时间阈值进行比对，并根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率；

发送端获取所述建议发送码率和数据包的丢包率，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率；

计算所述最终发送码率所对应的发送帧率，并以所述发送帧率发送下一数据包。

2.根据权利要求1所述视频数据传输自适应调整的控制方法，其特征在于，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率的步骤包括：

当丢包率未超出第一丢包阈值，则将所述建议发送码率提高预定数值，并将提高预定数值后的建议发送码率作为数据包的最终发送码率；

否则，判断丢包率是否超出第二丢包阈值，若未超出，则以此时发送端的发送码率作为最终发送码率；若超出，则根据预定规则降低建议发送码率；将降低后的建议发送码率与运用tfrc算法计算出的发送码率进行比较，取其中数值较大者作为数据包的最终发送码率。

3.根据权利要求2所述视频数据传输自适应调整的控制方法，其特征在于，所述预定规则为当丢包率大于第二丢包阈值时，则按照公式：

发送码率=建议发送码率×(1-0.5×丢包率),计算出发送码率，并将计算出的发送码率作为新的建议发送码率。

4.根据权利要求1所述视频数据传输自适应调整的控制方法，其特征在于,根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率的步骤包括：

当所述延时时间大于预设时间阈值，则按照预定缩小指数降低接收码率，以降低后的接收码率为建议发送码率；

当所述延时时间小于预设时间阈值，则按照预定放大指数提高接收码率，以提高后的接收码率为建议发送码率；

当所述延时时间等于预设时间阈值，则不对接收码率进行调整，以接收码率为建议发送码率。

5.一种视频数据传输自适应调整的控制系统，其特征在于，包括：

延时获取模块，用于接收端接收数据包中相邻帧之间的接收时间差和获取该数据包在发送端发出时其相邻帧之间的发送时间差，并将所述接收时间差与所述发送时间差传入kalman滤波，通过所述kalman滤波预测出下一数据包传输的延时时间；

第一计算模块，用于将所述延时时间与预设时间阈值进行比对，并根据比对结果及当前接收数据包的接收码率，计算出数据包发送的建议发送码率；

第二计算模块，用于发送端获取所述建议发送码率和数据包的丢包率，将丢包率、建议发送码率和tfrc算法计算出的发送码率相结合，计算出适配下一数据包的最终发送码率；

调整执行模块，用于计算所述最终发送码率所对应的发送帧率，并以所述发送帧率发送下一数据包。

6.根据权利要求5所述视频数据传输自适应调整的控制系统，其特征在于，所述第二计算模块包括：

第一判定单元，用于当丢包率未超出第一丢包阈值，则将所述建议发送码率提高预定数值，并将提高预定数值后的建议发送码率作为数据包的最终发送码率；

第二判定单元，用于当丢包率超出第一丢包阈值后，判断丢包率是否超出第二丢包阈值，若未超出，则以此时发送端的发送码率作为最终发送码率；若超出，则根据预定规则降低建议发送码率；将降低后的建议发送码率与运用tfrc算法计算出的发送码率进行比较，取其中数值较大者为数据包的最终发送码率。

7.根据权利要求6所述视频数据传输自适应调整的控制系统，其特征在于，所述预定规则为当丢包率大于第二丢包阈值时，则按照公式：

发送码率=建议发送码率×(1-0.5×丢包率),计算出发送码率，并将计算出的发送码率作为新的建议发送码率。

8.根据权利要求6所述视频数据传输自适应调整的控制系统，其特征在于，所述第一计算模块包括：

降低调整单元，用于当所述延时时间大于预设时间阈值，则按照预定缩小指数降低接收码率，以降低后的接收码率为建议发送码率；

提高调整单元，用于当所述延时时间小于预设时间阈值，则按照预定放大指数提高接收码率，以提高后的接收码率为建议发送码率；

不调整单元，用于当所述延时时间等于预设时间阈值，则不对接收码率进行调整，直接以接收码率为建议发送码率。