CN103916716A - 一种无线网络下视频实时传输的码率平滑方法 - Google Patents

Abstract

本发明提出一种无线网络下视频实时传输的码率平滑方法，该方法包括：周期性的统计视频帧的传输时延，当传输时延变小时，通过快进调小播放缓存，当传输时延变大时，通过慢放调大播放缓存，所述快进和所述慢放的调整步长由传输时延变化、播放缓存深度以及时间戳信息共同决定。本发明能够统计视频帧传输时延，根据时延信息来感知无线网络状态，进而根据实际网络状况找到最小的视频时延来达到平滑效果，实现了视频流在实时性和流畅性之间的平衡。

Description

一种无线网络下视频实时传输的码率平滑方法

技术领域

本发明涉及无线通信领域，尤其涉及一种无线网络下视频实时传输的码率平滑方法。

背景技术

目前对于视频会议等实时性要求高的应用，通常会采用接收到视频帧后直接播放的方法。该方法着重于实时性，然而在无线网络进行视频传输时，由于一些视频帧（例如I帧）较大，瞬时码率可能会变成平均码率的2倍甚至更多，突发数据大容易导致网络拥塞，传输这些帧所需的时间就相对很长，导致视频帧传输时出现明显抖动，在这种情况下，如果在接收端仍使用收到视频帧就显示的方法，就会出现视频定时卡顿的现象，严重影响了视频的流畅性，影响主观视频感受。

为了克服无线信道变化等原因造成的不稳定性，传统流媒体系统会采用缓存帧的方法，用一定的时延来换取视频的流畅性。该方法使用一个播放缓冲区来缓存收到的媒体数据，在播放流媒体时，先将收到的媒体数据放到缓冲区中，当缓冲区中的数据量到达一定阈值后开始按照时间戳信息播放媒体。如果信道条件变差，缓冲区发生了下溢出，那么就暂停媒体播放，等待缓冲区数据量到达指定的阈值后继续播放。显然的，如果缓存较多的数据，这种数据缓存的方法可以有效减少客户端因为包丢失、包延时、抖动等产生的播放中断。但该方法无法统计网络延时状况，不能对缓存大小进行动态调节，由于存入读出数据速率的不一致，容易导致缓冲区变动较大，会出现缓存区存满或者播空的现象，造成视频播放的不流畅。即在时延小网络状况好的时候，无法调小缓冲区，导致引入不必要的缓存时间，在播放时产生相对大的时延，很难保证视频传输的实时性；在网络状况差的时候，不能动态调大缓存区，容易导致缓冲区空，播放停顿，影响用户体验，很难保证视频传输的流畅性。此外，对于嵌入式系统，若无法动态调整缓冲区大小，可能会造成设备存储空间的浪费。

发明内容

为了解决既要保证视频传输的实时性，又要尽量提升其传输质量、保证其流畅性的问题，本发明提出了一种无线网络下视频实时传输的码率平滑方法，在播放缓存机制的基础上，通过周期统计视频帧的传输时延来动态感知无线网络的变化情况，从而动态调节播放缓存的大小，尽量避免不必要的缓存时间，以较小的代价使得视频传输在实时性和流畅性之间更好的进行平衡，即在保证流畅性的前提下，在网络状态好的情况时，使用相对小的时延，而在网络状态差的情况下，则使用相对大的时延。该方法具体如下：

周期性的统计视频帧的传输时延，当传输时延变小时，说明网络状况较好，则调小播放缓存，以减少视频时延；当传输时延变大时，说明网络状况较差，则调大播放缓存，以防止缓存区播空造成视频停顿。由于播放缓存的大小由写入和读出缓存区数据量之差决定，读出速度可控，可以进行快进或慢放，因此本发明通过快进和慢放来调整播放缓存的大小，快进和慢放的调整步长由传输时延变化、播放缓存深度以及时间戳信息共同决定。这样的调整不仅考虑到了传输时延变化的因素，同时还考虑到了播放缓存深度的因素：播放缓存大小越大，表明当前缓存区越接近最大缓存值，越需要进行快放，以保证缓存区能够有足够空间容纳后续数据；反之，播放缓存越小，表明缓存区越接近空，应该尽量慢放，以保证缓冲区非空。

本发明方法首先需要周期性的统计视频帧的传输时延。优选的，每次周期性统计时可以采用以下的方法：将最近T时间内每个视频帧的传输时延加权平均得到传输时延的统计值为D_i为最近时间T内到来的每个视频帧的传输时延，a_i(i＝1,2,...,N)为权重因子，N为该最近时间T内总共到来的视频帧的个数，T为预先设置的统计窗口的大小。也可以采用其它的方法来统计视频帧的传输时延，只要能反映网络的变化情况即可。

本方法在每个周期统计出传输时延后，可以利用当前周期统计的传输时延D_curr与上一个周期统计的传输时延D_last来估计下一个周期到来前的无线网络的状态。比较当前调整周期的D_curr和D_last值，若前者较大，说明传输时延变大，网络有变坏的趋势，则需要动态调大播放缓存；若后者较大，说明传输时延变小，网络有变好的趋势，故动态调小播放缓存，以尽量降低视频的时延。当然，也可以采用其它常见的方法来判断传输时延的变化情况，例如，采用前K个周期统计的传输时延进行比较判断等。

为了更好的满足主观视频感受，可以通过小颗粒度的慢放和快进来分别增大和减小播放缓存。根据经验值，人眼的视觉特性在25%播放时间间隔范围内变化时，不会感觉出速度的变化，所以，优选的，快进和所述慢放速度保持在按时间戳播放速度的25%的范围内变化，即慢放的速度r_slow范围为（0.75r_normal，r_normal），快放的速度r_fast范围为（r_normal，1.25r_normal），r_normal为按照发送时间戳信息播放时的速度。当然，也可以根据实际情况在更大或更小的百分比范围内变化。

在上述25%的调整范围内，进一步的，慢放的速度为r_slow=(1-0.25pq_slow)r_normal；快放的速度为r_fast=(1+0.25pq_fast)r_normal。其中，p为反映传输时延变化的因子， $p=\left\{\begin{array}{c}\left|\frac{D_{\mathrm{curr}}-D_{\mathrm{last}}}{D_{\mathrm{last}}}\right|,|D_{\mathrm{curr}}-D_{\mathrm{last}}|<D_{\mathrm{last}}\\ 1,|D_{\mathrm{curr}}-D_{\mathrm{last}}|\&GreaterEqual;D_{\mathrm{last}}\end{array}\right.;$ q为反映播放缓存深度的因子，考虑到缓存大小对快进慢放的影响，反映慢放缓存深度的因子为反映快放缓存深度的因子为buffer_num为当前播放缓存的大小，buffer_max为预定的最大播放缓存的大小，buffer_max的设置需要综合考虑帧率、缓存时间、存储空间等因素，缓存区过大会导致播放延时过大，影响视频播放的实时性，过小则会导致缓存的效果不明显，因而需合理设置buffer_max大小。

优选的，上述快进和慢放可以细化到调整相邻两帧的播放间隔。例如，假设按照时间戳播放时相邻两帧的播放间隔为ΔT_ts，则进行快进慢放调整时，对于25%的调整范围，每帧调整的幅度为0.25pqΔT_ts。

本发明适应于所有的视频帧，尤其适用于I帧，可以对I帧形成的较大时延进行平滑，解决由I帧的传输时延造成的视频卡顿问题，提高了视频播放的流畅性。

与现有技术相比，本发明的优点在于：1，能够统计视频帧传输时延，根据时延信息来感知无线网络状态，进而根据实际网络状况找到最小的视频时延来达到平滑效果，实现了视频流在实时性和流畅性之间的平衡；2，采用小颗粒度慢放或快进机制，其步长由传输时延变化、缓存深度及时间戳信息动态控制，能快速调整缓存而不影响视频显示效果；3，对于嵌入式系统，通过适时调小播放缓存区，能够更好的节省设备的存储空间。

附图说明

图1是本发明实施例的接收端设备B进行解码存储的流程图；

图2是本发明实施例的视频帧定时显示过程的流程图。

具体实施方式

下面结合附图，通过具体实施例对本发明做进一步详细说明。

本实施例以无线网络下视频实时传输的I帧平滑为例，该实施例中通信设备A向通信设备B进行实时视频传输，在接收端设备B处进行处理，具体过程为：

（1）通信设备A对采集编码后的码流进行打包并发送，每个包带有每帧的时间戳信息；

（2）通信设备B开始进行接收，初始化播放缓存，统计每个I帧的传输时延D_i，对接收到的包重排序，再进行解码，如图1所示；

（3）用环形缓存来存储解码完的视频帧，刚解码完需缓存的帧从尾部进入，指针为tail，待播放的帧从环形缓存的头部输出，指针为head。一帧解码完后，先判断缓存是否已满，若满则tail指针不变，该帧无法存入，否则将该帧放入缓存，设置指向该帧的指针为tail；

（4）设置大小为时间T的滑动窗口，用于对最近T时间内每个I帧传输时延加权平均得到时延值为a_i(i＝1,2，...,N)为权重因子。

（5）设置启动播放阈值，当缓存内的帧数首次到达该阈值时，显示开始，同时记录第一帧显示时的本地时间T_{local_base}及第一帧的发送时间戳T_{ts_base}，以此为基准，进行后面帧的显示时间的控制。

（6）快进慢放的调整周期可以设置，最小为一个视频帧间隔。本实施例将快进慢放的调整周期设置为T1，则每隔T1时间统计一次滑动窗口内的传输时延值，用这次调整周期统计的加权时延值D_curr与上一个调整周期统计的加权时延值D_last来估计下一个调整周期到来前的无线网络的状态。比较当前时刻D_curr值和上一个周期的D_last值，若前者较大，说明I帧时延变大，网络有变坏的趋势，故需要动态调大播放缓存，以应对网络中大的波动；若后者较大，说明网络有变好的趋势，故可以动态调小播放缓存，以尽量降低缓存的时延。

（7）每隔T1时间进行一次快进慢放调整，通过小颗粒度的慢放或快进来增大或减小播放缓存，慢放或快进的步长由I帧传输时延变化、缓存深度及时间戳信息共同决定。本实施例通过调整第一帧显示时的本地时间T_{local_base}来调整每一帧的播放间隔，即慢放时每一帧进行如下调整：T_{local_base_new}=T_{local_base}+0.25pq_slow·ΔT_ts，快放时每一帧进行如下调整：T_{local_base_new}=T_{local_base}-0.25pq_fast·ΔT_ts。其中， $p=\left\{\begin{array}{c}\left|\frac{D_{\mathrm{curr}}-D_{\mathrm{last}}}{D_{\mathrm{last}}}\right|,|D_{\mathrm{curr}}-D_{\mathrm{last}}|<D_{\mathrm{last}}\\ 1,|D_{\mathrm{curr}}-D_{\mathrm{last}}|\&GreaterEqual;D_{\mathrm{last}}\end{array}\right.;$ 为反映I帧传输时延变化的因子；为慢放时反映缓存深度的因子；为快放时反映缓存深度的因子；ΔT_ts为按照时间戳播放时相邻两帧的播放间隔。

（8）进行显示的判断。如图2所示，在显示线程中设置一定时器，定时查询显示的时刻。在每个定时周期计算：当前时间与快进慢放调整后的第一帧显示时本地时间T_{local_base_new}的差值Δt，以及当前帧的发送时间戳与第一帧的时间戳的差值Δts，当Δt>Δts时进行该帧的显示，同时将后一帧的指针设为head。

需要说明是：1，定时器的定时间隔设置需小于相邻两帧的时间戳的间隔，定时间隔设置越小，显示时间精度越高，但同时会在更短时间内唤醒定时器进行查询以显示，消耗更多的CPU资源。2，显示基准帧（即第一帧）是可变的。在画面切换等情况下，当缓存为空后，可以重新进行基准帧的设定，以降低定时的累积误差。

本实施例通过动态调节缓存的大小，可以平滑I帧传输时延的变化，并且能够满足时延大的时候加大缓存以尽量防止缓冲区播空，在时延小的时候，降低缓存，以保证该帧能较快的播放。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种无线网络下视频实时传输的码率平滑方法，其特征在于，该方法包括：

周期性的统计视频帧的传输时延，当传输时延变小时，通过快进调小播放缓存，当传输时延变大时，通过慢放调大播放缓存，所述快进和所述慢放的调整步长由传输时延变化、播放缓存深度以及时间戳信息共同决定。

2.根据权利要求1所述的方法，其特征在于，所述传输时延统计为：其中，N为最近时间T内到来的视频帧的个数，D_i为最近时间T内到来的每个视频帧的传输时延，a_i(i＝1,2,...,N)为权重因子，T为预先设置的统计时间窗口的大小。

3.根据权利要求1所述的方法，其特征在于，比较当前周期统计的传输时延值和上一个周期统计的传输时延值，若后者较大，说明传输时延变小，则调小播放缓存；若后者较小，说明传输时延变大，则调大播放缓存。

4.根据权利要求1所述的方法，其特征在于：所述快进和所述慢放的速度在按时间戳播放速度的25%的范围内变化。

5.根据权利要求4所述的方法，其特征在于：所述慢放的速度为r_slow=(1-0.25pq_slow)r_normal；所述快放的速度为r_fast=(1+0.25pq_fast)r_normal，其中 $p=\left\{\begin{array}{c}\left|\frac{D_{\mathrm{curr}}-D_{\mathrm{last}}}{D_{\mathrm{last}}}\right|,|D_{\mathrm{curr}}-D_{\mathrm{last}}|<D_{\mathrm{last}}\\ 1,|D_{\mathrm{curr}}-D_{\mathrm{last}}|\&GreaterEqual;D_{\mathrm{last}}\end{array}\right.,$ $q_{\mathrm{slow}}=1-\frac{\mathrm{buffer}\_\mathrm{num}}{\mathrm{buffer}\_\max },$ $q_{\mathrm{fast}}=\frac{\mathrm{buffer}\_\mathrm{num}}{\mathrm{buffer}\_\max },$ D_curr为当前周期统计的传输时延，D_last为上一个周期统计的传输时延，buffer_num为当前播放缓存大小，buffer_max为预定的最大播放缓存大小，r_normal为按时间戳播放的速度。

6.根据权利要求1所述的方法，其特征在于：所述快进和所述慢放细化到调整相邻两帧的播放间隔。

7.根据权利要求1所述的方法，其特征在于：所述视频帧为I帧。