CN100556137C - 一种多路径无线视频传输方法和系统 - Google Patents

Abstract

多路径无线视频传输方法，通过设有无线视频终端、视频发布服务器和多种类型的客户端组成无线视频传输系统；无线视频终端具有视频采集、视频压缩和无线发送；无线视频终端首先对摄像机采集的视频信号进行压缩编码形成视频流；视频发布服务器重建接收的多路视频流、视频的错误隐藏处理和管理客户端的信息，对登录到服务器的客户端提供相应视频服务；客户端接收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能。对于编码器的选择，考虑到移动终端的计算能力和实时性的要求，系统采用H.264协议，发送端和接收端各开辟2个缓冲区对双路信号进行缓存；合并后码流由解码器解码，在解码器中采用相应的差错隐藏方法。

Description

一种多路径无线视频传输方法和系统

一、技术领域；

本发明属于通信网络技术领域，更具体地，涉及在公用移动通信网络环境中的实现多路信道无线视频传输的方法和系统

二、背景技术

随着移动通信和多媒体技术的发展，基于无线移动网络的视频传输越来越受到人们的关注，在视频电话，视频会议以及视频监控系统领域得到广泛应用。无线移动网络的共同特点是带宽相对较窄且波动性较大，误码率高，传输时延大，丢包率大，而无线实时视频传输又要求传输网络具有高传输带宽、高可靠性和低时延等，因此，在无线通信环境下，构建实时无线视频传输系统提供具有一定QoS服务质量保证的视频流，面临着诸多困难和挑战。

目前，我国先后建立了GSM、GPRS、CDMA-1X、以及EDGE网络，后三者的网络理论峰值带宽分别可达171.2Kbps，307.2kbps和473.6Kbps。但是，无线移动网络的实际传输带宽与理论峰值差距很大，传输带宽最高的EDGE网络实测只能达到80K左右的上行传输速率，远不能满足高质量实时视频传输的要求。因此，现有基于公共移动通信网络的无线视频传输方案一般采用单路GPRS或CDMA1X信道进行传输，受信道限制带宽影响，很难达到高质量的实时视频图像。

三、发明内容

本发明的目的是在限制带宽和高误码率的公用移动通信网络上获得高质量的实时视频传输，公开了一种基于双路EDGE信道的无线视频传输方法和系统。本发明以高性能的DSP为核心设计了无线视频终端；利用双路增强型数据业务(EDGE，Enhanced Data rate for GSM Evolution)传输信道提供较高的传输带宽，提出了基于双路缓冲区判断的发送机制和双路传输的错误隐藏方法。

本发明的技术方案是：多路径无线视频传输方法，由无线视频终端、视频发布服务器和多种类型的客户端组成无线视频传输系统；无线视频终端具有视频采集、视频压缩和无线发送；无线视频终端首先对摄像机采集的视频信号进行压缩编码形成视频流，然后采用多发送缓冲区的判断机制，将压缩视频流经多路EDGE信道发送到INETERNET网上的视频发布服务器。视频发布服务器负责重建接收的多路视频流、视频的错误隐藏处理和管理客户端的信息，对登录到服务器的客户端提供相应的视频服务；客户端接收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能。对于编码器的选择，考虑到移动终端的计算能力和实时性的要求，系统可以选择H.264基本档次(Baseline Profile)编码器。发送端和接收端各开辟2个缓冲区对双路信号进行缓存。发送控制单元根据双路缓冲区的检测判断，对已编码好的码流进行发送控制，依据双路发送策略分配视频数据流至相应的发送缓冲区，然后经双路EDGE信道进行发送。接收端对双路缓冲区数据进行合并，判断数据包的丢失，并标记出丢失数据范围及类型。合并后的码流送由解码器解码，根据双路传输的特点以及丢帧类型，在解码器中采用相应的差错隐藏方法。

双路无线视频传输系统框架如图1所示。系统由无线视频终端、视频发布服务器和多种类型的客户端组成。其中，无线视频终端具有视频采集、视频压缩和无线发送等功能。无线视频终端首先对摄像机采集的视频信号进行压缩编码形成视频流，然后采用多发送缓冲区的判断机制，将压缩视频流经多路EDGE信道发送到INETERNET网上的视频发布服务器。视频发布服务器负责重建接收的多路视频流、视频的错误隐藏处理和管理客户端的信息，对登录到服务器的客户端提供相应的视频服务。客户端接收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能。

系统处理流程如图2所示，主要包括四个处理单元：编码器单元、发送控制单元、数据合并单元，及解码和差错隐藏单元。

对于编码器的选择，考虑到移动终端的计算能力和实时性的要求，系统可以选择H.264基本档次(Baseline Profile)编码器。发送端和接收端各开辟2个缓冲区对双路信号进行缓存。发送控制单元根据双路缓冲区的检测判断，对已编码好的码流进行发送控制，依据双路发送策略分配视频数据流至相应的发送缓冲区，然后经双路EDGE信道进行发送。

接收端对双路缓冲区数据进行合并，判断数据包的丢失，并标记出丢失数据范围及类型。合并后的码流送由解码器解码，根据双路传输的特点以及丢帧类型，在解码器中采用相应的差错隐藏方法。

(b)基于双路缓冲区判断的发送策略

H.264基本档次支持I帧和P帧。I帧采用帧内模式编码，编码效率较低但无需参考帧，可以独立恢复出全部图像信息且能有效阻止由于包丢失而引起的错误扩散。P帧采用帧间模式编码，利用帧间预测和运动补偿来消除时域冗余，只传输当前帧和参考帧的差值，编码效率高，但需要参考帧并且容易造成错误扩散。

针对I帧和P帧的特点，采取如图3所示的不同发送策略。其中，I帧是H.264码流中的关键帧，采取双路重复发送的方法。对于P帧采取双路交替发送的策略。P帧按奇偶间隔平均的分配给双路信道。

系统为2个发送模块各开辟一个发送缓冲区，每一个缓冲区对应一个无线发送模块。在双路信道数据发送过程中，无线信道的不稳定性势必会造成发送缓冲区的波动，因此需要针对双路发送缓冲区的剩余空间状况进行监测，进而判断并选择相对应的发送控制。

设W_A与W_B分别表示双路缓冲区剩余空间，其公式定义如下：

W_A＝Buffer_A-(P_WR_A-P_RD_A)

W_B＝Buffer_B-(P_WR_B-P_RD_B)

其中，Buffer_A和Buffer_B分别表示双路缓冲区大小，P_WR_A、P_RD_A和P_WR_B、P_RD_B分别为双路缓冲区读写指针。缓冲区读写指针起始于同一位置，当读写指针相同时，表示缓冲区为空。读写指针的差即为缓冲区占用空间。

依据缓冲区的剩余空间，分为4种状态：

S1：(W_A＞当前帧长且W_B＞当前帧长)即双路空间均有足够缓存空间。

S2：(W_A＞当前帧长且W_B＜当前帧长)即A路径缓冲区空间足够，但B路径空间不够。

S3：(W_A＜当前帧长且W_B＞当前帧长)即B路径缓冲区空间足够，但A路径空间不够。

S4：(W_A＜当前帧长且W_B＜当前帧长)即两路缓冲区均无足够空间。

系统每次编码完成一帧后，并不直接送去缓冲区发送，而是先行判断当前帧类型和发送缓冲区状态，然后选择相应的发送机制：

S1：I帧采取双路重复发送；P帧根据路径标志单路发送，随后将路径标志修改为另一路。

S2：对于I帧，进行A路发送，在下一帧数据编码完成前，保持对B路缓冲区状态检测，若B路缓冲区空间足够，则进行B路发送。对于P帧，进行A路发送，并将路径标志修改为B。

S3：与S2状态处理类同。

S4：系统启动错误计数器，对于后续P帧主动丢弃，不进入发送进程，直至下一个I帧到达。错误计数器计数连续未发送的I帧个数，若超过3个则发出系统错误信号，提示信道阻塞。计数期间，若状态转换，则将错误计数器清空。

(c)接收与差错隐藏处理

接收端首先对正确接收的数据进行排序合并。对于双路重复发送的I帧，接收端选取正确接收的一路数据，主动丢弃另一路数据。其自身设定一个定时器，如果规定时间内没有收到对应的包则认为该包丢失。由于无线信道的不可靠性，接收端还需要进行一定的差错隐藏，针对双路发送的特点，I帧和P帧采用不同的差错隐藏方法，如图4所示。I帧采用邻近像素线性内插算法进行差错隐藏而P帧采用前帧替代法和双向预测补偿法进行差错隐藏。

●I帧错误隐藏

系统在发送端采用双路信道冗余发送关键的I帧，目的在于尽可能地降低I帧的出错概率。一旦I帧传输出错，解码端将采用邻近像素线性内插算法进行差错隐藏。如图5所示，通过对丢失宏块周围像素值取加权平均来代替丢失宏块，权值与插值像素和参考像素的距离成反比。

图5邻近像素线性内插示意图

对于丢失宏块N内任意像素g(x，y)，其像素值由下式确定：

g(x，y)＝[(N-dx)·(N-dy)·b_L(x，y)+(N-dx)·dy·b_B(x，y)

+dx·(N-dy)·b_T(x，y)+dx·dy·b_R(x，y)]/(2N)

其中dx，dy，N-dx，N-dy分别为g(x，y)到b_L(x，y)，b_T(x，y)，b_R(x，y)，b_B(x，y)的距离，N为宏块的大小。

●P帧错误隐藏

P帧采用帧间编码消除时间冗余，编码效率高。一帧图像的数据量往往小于一个基本网络传输单元，在这种情况下，当网络传输中出现数据包丢失时，则往往导致整帧图像内容的丢失，因此本系统对于P帧的差错隐藏考虑是整帧丢失的差错隐藏处理。最简单的整帧差错隐藏方法就是前帧替代法，前帧替代法对相对静止的视频序列能取得较好的错误隐藏效果，但对运动的视频序列却会产生较大的失真。考虑到本系统中P帧是双路交替发送，能够较有效地避免连续帧出错，因此，当接收端的P帧非连续出错时，则采用双向预测补偿的方法；对于P帧连续出错，则采用前帧替代法。

如图6所示，对于P_n+2、P_n+3帧，由于出现了连续丢帧错误，所以采取前帧替代的方法，实验表明这种情况较少。对于P_n帧，采用双向预测补偿的方法。

设P_n-1帧参考P_n-2帧以及P_n+1帧参考P_n帧的运动矢量集合分别为：{MV_n-1|P_n-1→P_n-2}，{MV_n+1|P_n+1→P_n}。设M_n-1，i为P_n-1中的第i个宏块，其运动矢量为MV_n-1，i。根据物体运动线性理论，则P_n中同样位置的宏块M_n，i前向预测运动矢量MV_n，i ¹∈{MV_n ¹|P_n→P_n-1}为： ${{\mathrm{MV}}_{n,i}}^1=\frac{D_n}{D_{n-1}}{\mathrm{MV}}_{n-1,i}---\left(1\right)$

其中D_n-1，D_n分别表示P_n-2与P_n-1，P_n-1与P_n之间的时间距离。同理，M_n，i后向预测运动矢量MV_n，i ²∈{MV_n ²|P_n→P_n-1}为： ${{\mathrm{MV}}_{n,i}}^2=\frac{-D_n}{D_{n+1}}{\mathrm{MV}}_{n+1,i}---\left(2\right)$

根据(1)(2)两式，通过运动补偿就可以分别得到两个预测宏块M_n，i ¹，M_n，i ²，并加权平均后得到最终掩盖宏块 ${M_{n,i}}^{*}=\frac{1}{2}({M_{n,i}}^1+{M_{n,i}}^2).$

本发明是有益效果是：提出了一种基于双路EDGE信道的无线视频传输方法和系统，通过双路EDGE获得较高的传输带宽，发送端采用双路缓冲区判断的发送机制，接收端采用对应的合并和错误隐藏方法，在有限带宽和高误码率的公用移动通信网络上获得高质量的实时视频传输。

四、附图说明

图1本发明无线视频传输系统框架图

图2无线视频传输系统处理流程框图

图3双路信道发送策略示意图

图4接收端错误隐藏处理示意图

图5邻近像素线性内插示意图

图6P帧差错隐藏示意图

图7无线终端硬件框图

五、具体化实施方式

无线视频终端是双路无线视频传输系统的核心部分，如图6所示，可以选用专用数字信号处理器TMS320DM642作为核心单元。外围功能模块还包括音视频解码单元，时钟单元，SDRAM，Flash，UART控制，无线EDGE模块等。TMS320DM642时钟高达600MHz，处理能力达4800MIPS，具有3个视频端口(VP0-VP3)，支持多种分辨率和标准。通过外部内存接口(EMIF)控制单元可直接与外部的SDRAM，FLASH进行连接，并可扩展实现ATA硬盘接口，UART接口和数字IO接口等。

无线视频终端采用VP0端口与视频解码芯片(A/D)相连实现视频采集，配置EMIF端口为2路UART接口，并通过串口驱动芯片与EDGE无线传输模块相连，实现双路无线数据传输。

在解码器中采用差错隐藏方法：解码器的错误隐藏，根据双路传输的特点以及丢帧类型：I帧和P帧分别采用不同的差错隐藏方法。I帧采用邻近像素线性内插法进行差错隐藏；而P帧的错误隐藏方法还要进一步细分，当接收端的P帧非连续出错时，则采用双向预测补偿的方法；对于P帧连续出错，则采用前帧替代法。

Claims (1)

1、多路径无线视频传输方法，其特征是设有无线视频终端、视频发布服务器和多种类型的客户端组成无线视频传输系统；无线视频终端具有视频采集、视频压缩和无线发送；无线视频终端首先对摄像机采集的视频信号进行压缩编码形成视频流，将压缩视频流经双路EDGE信道发送到INETERNET网上的视频发布服务器；视频发布服务器重建接收的多路视频流、视频的错误隐藏处理和管理客户端的信息，对登录到服务器的客户端提供相应的视频服务；客户端接收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能；对于编码器的选择，考虑到无线视频终端的计算能力和实时性的要求，系统采用H.264基本档次编码器；无线视频终端和视频发布服务器各开辟2个缓冲区对双路信号进行缓存；无线视频终端发送控制单元根据双路缓冲区的检测判断，对已编码好的码流进行发送控制，依据双路发送策略分配视频数据流至相应的发送缓冲区，然后经双路EDGE信道进行发送，其中所述的发送策略为，对于I帧采取双路重复发送方法，对于P帧采取按奇偶间隔平均分配给双路信道的双路交替发送方法；视频发布服务器对双路缓冲区数据进行合并，判断数据包的丢失，并标记出丢失数据范围及类型；合并后的码流送由解码器解码，根据双路传输的特点以及丢帧类型，在解码器中采用相应的差错隐藏方法，其中对I帧采用邻近像素线性内插法进行差错隐藏，对P帧的错误隐藏方法还要进一步细分，当P帧非连续出错时，采用双向预测补偿的方法，当P帧连续出错时，则采用前帧替代法。

Images