CN101510998A

CN101510998A - 用于无线视频监控系统数据传输的自适应流量控制方法

Info

Publication number: CN101510998A
Application number: CN 200910014707
Authority: CN
Inventors: 袁东风; 陈飞; 赵恺; 魏斌; 种衍林; 管章玉; 苗全
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2009-02-24
Filing date: 2009-02-24
Publication date: 2009-08-19
Anticipated expiration: 2029-02-24
Also published as: CN101510998B

Abstract

本发明公开了一种用于无线视频监控系统数据传输的自适应流量控制方法，包括以下步骤(1)初始化视频压缩芯片；(2)启动数据帧维护线程，通过缓冲区的溢出情况估计物理信道的状况，从而调整丢帧量值；(3)启动用户终端反馈信息接收处理线程，监听并接受用户终端反馈回来的网络状况信息，从而调整丢帧量值；(4)启动自适应流量控制线程，根据一段时间内的丢帧量值自适应的调整终端的目标码率；(5)启动发送线程。本发明通过对监控端控制芯片缓冲区利用率的检测和用户端关于网络传输中产生的丢包信息的反馈来计算丢帧量值，衡量码率变化的必要性和码率调整的步长，自适应地选择最大的数据传输速率，获得最好的视频质量。

Description

用于无线视频监控系统数据传输的自适应流量控制方法

技术领域

本发明涉及一种用于无线视频监控系统中，综合发送端的信道容量估计和客户端网络状况反馈来进行流量控制以实现自适应地选择既充分利用无线网络又保证高质量可靠传输的码率的方法，属移动通信技术领域。

背景技术

监控设备一直有着广泛和稳定的客户群体。随着人们对信息自动化的进一步需求和无线网络的迅速发展，尤其是3G网络的建成带来的数据容量的大幅提升，无线监控设备凭借其有线监控不能比拟的独特优势成为监控市场的发展趋势。相对有线监控设备，无线监控在铺设成本、监控场所的广泛性、组网的灵活性和可扩展性、功能的多样性和易维护性等各方面优势明显，特别地当以手机作为监控终端时可以实现任何时间、任何地点对目标场景的监控，并可以进行反向控制、双向通话。

无线监控系统的基本构架由视频压缩模块、主控模块和无线传输模块组成。视频压缩模块将摄像头采集到的原始视频数据进行特定格式的压缩后交与主控模块进行网络层协议的封装并组帧缓存传送给传输模块，然后通过智能天线经由无线网络发送到公网基站，进而传送到目标客户端进行解压和译码。压缩模块的输出码率越高，画面就越清晰，细节也越丰富，当然需要传输的数据量也就越大。虽然人们希望尽可能的提升压缩芯片的输出码率以得到更高质量的视频图像，但是输出码率必须考虑主控模块的处理能力和无线信道的容量。若输出码率过高以至于超过了主控模块的处理能力，或者输出码率大于无线信道的容量，就会导致发送端本地缓冲区溢出而造成大量的丢帧。而众所周知，无线网络存在不稳定性。某一终端用户在某一小区上所能使用的带宽在不同的时段下存在差异，因此若采用固定的传输速率，无线视频监控系统的传输速率只能取决于恶劣传输条件下的最慢传输速率，而这种策略导致了无线网络条件较好时频谱资源的严重浪费。另外，当视频压缩数据的封包到达公网基站后，再传送到客户端所经过的网络环境对于发送端来说是不可知的。若输出码率过高，很可能在公网基站到达客户端的网络传输过程中造成严重的数据包丢失、延迟和错序等问题，导致客户端译码错误，图像质量急剧下降。可见，从压缩芯片输出码率的角度考虑，若想在保证视频可靠传输的前提下得到最佳的视频质量，必须同时考虑数据传输中两个重要的因素：一是监控端主控模块的处理能力和无线信道的容量；二是客户端所在网络的环境。因此，设计一种根据当前网络环境以及处理器能力，自动的选择最佳传输速率以得到最优视频图像质量的自适应流量控制方法在无线视频监控领域有着重要的意义。

发明内容

本发明针对现有无线视频监控技术存在的浪费频谱资源等不足，提供一种用于无线视频监控系统数据传输的自适应流量控制方法，该方法根据发送端自身处理能力和无线信道的容量以及用户端反馈的网络信息，在保证视频可靠传输的条件下自适应地选择最大视频传输速率，应用这种自适应控制方法来选择当前传输条件下的最佳码率。

本发明基于无线监控整个传输过程中造成数据丢帧和丢包的两个原因，联合考虑物理层和网络层对整个无线监控系统性能上的影响，引入一个标志丢帧程度的数值——丢帧量值，根据其大小来衡量丢帧、丢包对视频质量的影响程度。该丢帧量值是两个造成丢帧或丢包的因素分别与其权重相乘后的加和，即丢帧量值的计算公式为：丢帧量值＝无线信道丢帧量值*无线信道加权+网络丢帧量值*网络加权。其中，无线信道丢帧量值用来衡量压缩模块输出码率与无线信道容量的匹配程度，该值在每次监控端缓冲区溢出时加一；网络丢帧量值用来衡量压缩模块输出码率是否与客户端所在网络环境匹配，该值在每次收到客户端反馈的丢包信息时加一。无线信道加权+网络加权＝1。二者的具体值根据客户端所在网络环境来设定。当客户端所在网络环境较好时，如有线网络，则网络加权设置的较小，取值为0.3~0.5。当客户端所在网络环境较差时，如无线网络，则网络加权设置的较大，取值为0.5~0.7。

根据丢帧量值的数值和当前缓冲区的使用程度来判断是否需要改变码率。以具体设定的门限作为提高或降低码率的依据，并根据丢帧量值的大小设定码率调整的步长，以更快的收敛到最佳码率。另用一标志位表示是否刚刚进行过码率的调整，防止码率在某一数值上下震荡，即码率在某一边界数值上下不断地进行调整。当处理器接收到一定数目的数据帧时进行丢帧量值的判断，并根据丢帧量值的情况调整视频压缩芯片的码率参数，重新进行视频压缩芯片的初始化从而达到自适应的选择码率的目的。

本发明主要涉及四个线程：数据帧维护线程，其对缓冲区的情况进行判断并相应的改变丢帧量值；用户终端反馈信息接收处理线程，主要是通过接受用户端对网络丢包的反馈信息进行相应丢帧量值的调整；自适应流量控制线程，根据丢帧量值自适应地调整压缩芯片的输出码率；发送线程，将数据帧通过发送模块发送到公网基站。

本发明的用于无线视频监控系统数据传输的自适应流量控制方法包括以下步骤：

(1)初始化视频压缩芯片；

(2)启动数据帧维护线程，通过缓冲区的溢出情况估计物理信道的状况，从而调整丢帧量值；

(3)启动用户终端反馈信息接收处理线程，监听并接受用户终端反馈回来的网络状况信息，从而调整丢帧量值；

(4)启动自适应流量控制线程，根据一段时间内的丢帧量值自适应的调整终端的目标码率；

(5)启动发送线程。

步骤(2)的具体实现步骤如下：

(a)取出视频压缩芯片中的视频压缩数据，判断丢弃标志位是否置位，如果是，丢弃数据，转向下一条；如果否，保存数据，转向下一条；

(b)判断是否是一帧的开头，如果是，转向下一条；否则转向步骤(a)；

(c)当前帧是否已经保存，如果是，将这一帧对应的发送标志位置位，通知发送线程发送；

(d)帧计数器加一；判断帧计数器是否达到上限，如果是，转向下一条；否则转向步骤(f)；

(e)唤醒流量控制线程，并将帧计数器清零；

(f)开始接收下一帧，判断是否有空闲缓冲区，如果是，初始化缓冲区，转向步骤(a)；如果否，置丢弃标志位，并将无线信道丢帧量值加一，转向步骤(a)。

以上数据帧维护线程引入的无线信道丢帧量值是本发明实现的关键之一。由于无线物理信道受时段、周围环境的影响很大，再加上处理器处理能力上可能存在的差异，很容易造成视频压缩模块的输出码率与无线物理信道容量的不匹配。如果输出码率大于无线物理信道的容量，发送模块的发送能力跟不上缓冲区中帧的增长速度，数据帧维护线程将产生很多丢帧。当一帧结束时如果缓冲区内没有足够存储下一帧数据的剩余空间，就将无线信道丢帧量值加一。所以若一段时间内缓冲区始终没有空闲，即压缩芯片输出的码率大于物理信道的容量，无线信道丢帧量值会很大，此时应该考虑降低码率；反之，若无线信道丢帧量值小，则表明无线信道的容量还有剩余，可以参考网络状况适当提高码率。

步骤(3)的具体实现步骤如下：

(a)是否有用户终端数据，如果是，转向下一条；如果否，继续本步骤；

(b)解析用户终端的数据包，是否是丢帧通知？如果是，网络丢帧量值加一，转向步骤(a)；否则转向下一条；

(c)其他用户终端指令处理，转向步骤(a)。

以上用户终端反馈信息接收处理线程引入的网络丢帧量值直接反映了数据传输过程中的网络状况。如果网络丢帧量值大，说明网络中由于时延，丢包等原因造成的丢包严重，即使监控端物理信道支持更大速率的数据传输，也应当降低码率；反之，如果网络状况良好，则可以参考物理信道状况适当提升码率。

步骤(4)的具体实现步骤如下：

(a)等待被唤醒；

(b)计算丢帧量值，计算公式为：丢帧量值＝无线信道丢帧量值*无线信道加权+网络丢帧量值*网络加权，其中，无线信道丢帧量值用来衡量压缩模块输出码率与无线信道容量的匹配程度，该值在每次监控端缓冲区溢出时加一；网络丢帧量值用来衡量压缩模块输出码率是否与客户端所在网络环境匹配，该值在每次收到客户端反馈的丢包信息时加一，无线信道加权+网络加权＝1，二者的具体值根据客户端所在网络环境来设定，当客户端所在网络环境较好时，则网络加权取值为0.3~0.5，当客户端所在网络环境较差时，取值为0.5~0.7；

(c)丢帧量值是否大于设定的码率降低门限，如果是，转到下一条，否则转到步骤(e)；

(d)根据丢帧量值的数值降低相应的码率，生成新的初始化包，重新初始化视频压缩芯片，并将码率降低标志位置位，然后转到步骤(h)；

(e)丢帧量值是否为零并且码率降低标志位没有置位，如果是，转到下一条，否则转到步骤(h)；

(f)当前剩余缓冲区是否大于设定的剩余缓冲区门限，如果是，转到下一条，否则转到步骤(h)；

(g)根据剩余缓冲区的大小适当提升码率，生成新的初始化包，重新初始化视频压缩芯片；

(h)将无线信道丢帧量值和网络丢帧量值清零，转到步骤(a)。

以上所述的自适应流量控制线程综合考虑了网络丢帧量值和无线信道丢帧量值，计算出丢帧量值的大小，并根据设定的门限判断是否需要调整码率。其中码率降低门限设定了系统能容忍的最大丢帧率，丢帧量值的值超过此门限则需要降低码率，并根据设定好的码率与丢帧量值大小的对照表找出最合适的自适应码率调整的步长以尽快达到最佳码率，同时设置码率降低标志位以防止码率调整的震荡；剩余缓冲区门限是设定的当丢帧量值为零时允许进行码率提升的最小的缓冲区剩余空间大小，即一旦丢帧量值为零并且判定有足够的剩余缓冲区空间，则增加码率以提高视频图像的质量。

本发明同时考虑了数据传输过程中的无线物理信道环境和网络环境，对物理层和网络层进行联合估计计算出一段时间内的丢帧量值，结合当前监控端缓冲区的大小自适应的调整监控端的目标码率，并且根据丢帧量值的大小改变码率自适应调整的步长，以加速收敛并防止震荡。具有以下特点：(1)综合监控端物理上的发送信息和网络上的传输信息的反馈进行流量控制；(2)自适应地进行码率的调整；(3)根据设定的丢帧量值的值进行码率调整步长的选择，以更快地得到收敛的最佳码率。

附图说明

图1为本发明的总体框图；

图2为监控端数据存储及流量监控的算法流程；

图3为监控端接收并处理客户端反馈的算法流程；

图4为监控端自适应流量控制的算法流程；

具体实施方式

以一个实际的无线监控系统为例，整个系统由监控端和客户端组成。监控端对监控现场采集到的视频数据进行压缩封装处理，通过无线网络发送到基站，进而传送到客户端；客户端经过解压译码还原出监控现场的图像，并根据接受情况对监控端进行信息反馈。由于本发明主要集中在监控端，下面将结合附图对监控端的功能模块和实施方案做进一步详细的说明。

监控端在功能上可分为视频压缩模块，主控模块和发送模块。首先，系统完成对所有模块的初始化，如图1所示，并且在主控模块中开启了四个线程，共同配合完成压缩视频数据的接收，封装、发送功能并且以之为基础，在其中嵌入了本发明的流量控制算法。初始化工作具体流程如下：

(1)初始化视频压缩芯片，主控模块，发送模块；

(4)启动自适应流量控制线程，根据一段时间内丢帧量值的大小自适应的调整终端的目标码率；

(5)启动发送线程。

完成初始化工作后，各个模块和步骤通过主控模块的调度协调进行工作。首先，监控端将通过摄像头采集到的原始视频数据送入压缩模块(本例中采用了Wis Go7007sb视频压缩模块，支持MPEG4等多种格式的压缩)完成某种格式的压缩，如MPEG4，H.264等。主控模块可以采用ARM9等处理器，调用数据帧维护线程，通过中断、轮询等方式与压缩模块进行通信，随时通过二者之间的接口如HPI、USB等取出视频压缩数据，然后在主控模块中按照所采用的压缩格式的帧结构完成帧重组工作，将每一帧存入中央模块中对应缓冲区内，为下一步的发送任务做好准备。如图2所示，上述步骤(2)中数据帧维护线程的具体流程如下：

(a)取出视频压缩芯片中的视频压缩数据，判断丢弃标志位是否置位？如果是，丢弃数据，转向下一条；如果否，保存数据，转向下一条；

(b)判断是否是一帧的开头？如果是，转向下一条；否则转向步骤(a)；

(c)上一帧是否已经保存？如果是，将这一帧对应的发送标志位置位，通知发送线程发送；

(d)帧计数器加一；判断帧计数器是否达到上限？如果是，转向下一条；否则转向步骤(f)

(e)唤醒流量控制线程，并将帧计数器清零；

(f)开始接收下一帧，判断是否有空闲缓冲区？如果是，初始化缓冲区，转向步骤(a)；如果否，置丢弃标志位，并将无线信道丢帧量值加一，转向步骤(a)。

发送任务不断检测缓冲区内帧是否已满，即发送标志位是否置位，按帧序将已满的帧取出，经过网络协议的封装后送到发送模块，经由无线网络(如GPRS，CDMA1x等运营商提供的无线数据业务网络)发送到公网的基站，进而传送到后台客户端。

客户端在接收到视频压缩数据的封包后经过帧重组、解压和译码还原出监控端采集到的图像，并将客户端的丢帧情况以及用户发出的控制命令反馈给监控端。如图3所示，监控端接收客户端反馈信息的具体流程如下：

(a)是否有用户终端数据？如果是，转向下一条；如果否，继续本步骤；

(b)解析用户终端的数据包，是否是丢帧通知？如果是，网络丢帧量值加一，转向(a)；否则转向下一条；

(c)其他用户终端指令处理，转向(a)。

在以上所述的步骤中，数据帧维护线程中引入的无线信道丢帧量值和用户终端反馈信息接收处理线程中引入的网络丢帧量值在本发明中有很关键的作用，前者在很大程度上衡量了数据传输过程中无线物理信道的状况，而后者则直接反映了网络层状况的好坏，是流量调整的重要依据。在数据帧维护线程中的计数器到达一个上限之后(比如计数500帧)，数据帧维护线程会唤醒自适应流量控制线程，以无线信道丢帧量值和网络丢帧量值作为改变码率的参考。如图4所示，自适应流量控制线程具体流程如下：

(a)等待被唤醒；

(b)计算丢帧量值，计算公式为：丢帧量值＝无线信道丢帧量值*无线信道加权+网络丢帧量值*网络加权；

(c)丢帧量值是否大于码率降低门限？如果是，转到下一条，否则转到步骤(e)；

(d)根据丢帧量值的数值降低相应的码率，生成新的初始化包，重新初始化视频压缩芯片；并将码率降低标志位置位，然后转到步骤(h)；

(e)丢帧量值是否为零并且码率降低标志位没有置位？如果是，转到下一条，否则转到步骤(h)；

(f)当前剩余缓冲区是否大于剩余缓冲区门限？如果是，转到下一条。否则转到步骤(h)；

(h)将无线信道丢帧量值和网络丢帧量值清零，转到步骤(a)；

本例中采用的相关参数如下：

无线信道丢帧量值与网络丢帧量值乘以各自的权值然后相加得到丢帧量值，以此作为码率调整的依据。以本实施方案计数500帧进行一次码率调整为例，自适应流量控制线程中相关参数设定为：码率降低门限为10，剩余缓冲区门限为总缓冲区大小的25％，无线信道加权为0.7，网络加权为0.3，码率调整步长与丢帧量值的对照表如下：

丢帧量值范围码率调整步长(kbps)

10~15 10

15~25 20

>25 30

码率调整步长与剩余缓冲区容量的对照表如下：

剩余缓冲区容量(所占缓冲区总容量的百分比) 码率调整步长(kbps)

25％~50％ 10

>50％ 20

如果丢帧量值大于码率降低门限，则根据丢帧量值大小与码率的对照表修改码率参数以降低码率，同时将码率降低标志位置位，这样在码率降低之后的一段时间内码率不会再提高，以防止码率调整的震荡。自适应流量控制线程中的计数器到达设定的上限后，码率降低标志位清零，重新允许码率的上调。本例中该计数器上限设定为5。如果丢帧量值为零，并且码率降低标志位没有置位，则根据剩余缓冲区容量的大小提高一定的码率，码率调整的步长参考剩余缓冲区容量与码率调整步长的对照表。如果以上所述提高码率和降低码率的条件都不满足，则维持当前码率。最后清空无线信道丢帧量值和网络丢帧量值，在下一次被唤醒时重新计算丢帧量值。

通过以上所述的方法，监控终端能够根据发送端自身处理能力、无线信道的容量以及网络条件状况，在保证可靠传输的条件下自适应的调节流量，以选择最大的适合传输速率。应用这种自适应算法可以在接收端得到质量尽可能好的监控视频画面。

Claims

1.一种用于无线视频监控系统数据传输的自适应流量控制方法，其特征在于，包括以下步骤：

(1)初始化视频压缩芯片，主控模块，发送模块；

(5)启动发送线程。

2.如权利要求1所述的用于无线视频监控系统数据传输的自适应流量控制方法，其特征在于，所述步骤(2)的具体实现步骤如下：

(e)唤醒流量控制线程，并将帧计数器清零；

3.如权利要求1所述的用于无线视频监控系统数据传输的自适应流量控制方法，其特征在于，所述步骤(3)的具体实现步骤如下：

(c)其他用户终端指令处理，转向步骤(a)。

4.如权利要求1所述的用于无线视频监控系统数据传输的自适应流量控制方法，其特征在于，所述步骤(4)的具体实现步骤如下：

(a)等待被唤醒；

(c)丢帧量值是否大于码率降低门限，如果是，转到下一条，否则转到步骤(e)；

(e)丢帧量值是否为零，并且码率降低标志位没有置位，如果是，转到下一条，否则转到步骤(h)；

(f)当前剩余缓冲区是否大于剩余缓冲区门限，如果是，转到下一条，否则转到步骤(h)；

(g)根据剩余缓冲区的大小适当提升码率，生成新的初始化包，重新初始化视频压缩芯片；(h)将无线信道丢帧量值和网络丢帧量值清零，转到步骤(a)。