CN101304537B - 3g-ip无线视频传输系统 - Google Patents
3g-ip无线视频传输系统 Download PDFInfo
- Publication number
- CN101304537B CN101304537B CN 200810102518 CN200810102518A CN101304537B CN 101304537 B CN101304537 B CN 101304537B CN 200810102518 CN200810102518 CN 200810102518 CN 200810102518 A CN200810102518 A CN 200810102518A CN 101304537 B CN101304537 B CN 101304537B
- Authority
- CN
- China
- Prior art keywords
- data
- bit
- network
- rate
- fec
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种3G-IP无线视频传输系统(框架),包括数据发送端和数据接收端,其所采用的下层协议是建立在UDP上的RTP协议,所述数据发送端通过编码器将视频文件编码,并经RCPC编码和奇偶校验FEC编码后将数据分成等长包通过无线网络进行传输;数据接收端经数据解包、FEC解码以及Viterbi译码,然后送到视频解码器中进行视频信号重建,同时利用RTCP协议携带反馈信息,得到比特错误率和网络丢包率,根据比特错误率调节RCPC编码,根据网络丢包率调节奇偶校验FEC编码。实验表明其在各种网络条件下,具有更高的系统性能,可以获得高质量的接收图像。
Description
技术领域
本发明涉及无线网络视频传输技术,具体涉及一种新的3G-IP无线视频传输框架及网络自适应的拥塞控制方法。
背景技术
过去二十年,对于二维表示的静止图像和活动图像的存储和传输,一系列国际标准相应出台,如JPEG(JPEG2000)、H.26x系列、MPEG系列等,它们在多媒体应用的各个领域都得到了广泛的应用。与此同时,由于无线通信的飞速发展,各种无线技术被应用于无线通信中,如GSM-GPRS、CDMA 1X、UMTS、CDMA-2000、WLAN802.11a/b/g、UWB等,使无线网络渐渐已经成为数据通信的重要手段之一。现有的无线网络中,基于手机2.5G和3G的用户量最大,其上的各种无线网络的多媒体应用层出不穷,多媒体信息服务、移动流媒体点播、移动视频监控、移动可视电话、移动电视广播等已经开始应用。对于3G无线网络通信中对于视频质量造成很大影响的几个因素有比特误码率、网络带宽、数据延时、数据丢包、终端处理的复杂度等。
一般而言,通过无线网络来传输数据的可用带宽是有限的,用户则希望他们使用无线网络所付出的代价与其低带宽是成正比的。因此,低码流很适合大众,在移动环境的视频编码标准的成功取决于压缩效率。由于H.264高效率压缩特性,使H.264成为了无线系统的视频出数的首选。
除此之外,移动网络由于受地理环境、天气以及多用户冲突等因素的影响,造成网络波动较大。信道变化的频率依赖环境、用户的位置、用户移动的速度和信号载波的频率。通过信号统计进行长代码的平衡是可以充分实现的,因此传输策略可以根据长时间的数据测试来进行制订。在3G系统中采用宽带接入、空时编码、多天线系统、功率控制、交织以及Turbo码前向错误恢复等多种技术使高度复杂的链路情况得以优化。然而,这些技术只是对快速移动的用户和可以容忍相对较大时延的应用来说可以忽略比特错误和丢包率。一般对于在低时延的应用里面必须要抵抗由于信道不稳定的原因出现的错误,因此,除了高压缩效率和合理的复杂性,适用于无线环境下的视频编码标准必须具有较高的抗误码的能力。H.26采用了多种错误恢复及适合网络传输NAL的特点适合于3G无线网络视频传输。
参数集
参数集是H.264标准的一个新概念,是一种通过改进视频码流结构增强错误恢复能力的方法。H.264的参数集又分为序列参数集和图像参数集。其中,序列参数集包括一个图像序列的所有信息,即两个IDR图像间的所有图像信息。图像参数集包括一个图像的所有分片的所有相关信息,包括图像类型、序列号等,解码时某些序列号的丢失可用来检验信息包的丢失与否。多个不同的序列和图像参数集存储在解码器中,编码器依据每个编码分片的头部的存储位置来选择适当的参数集,图像参数集本身也包括使用的序列参数集参考信息。
参数集具体实现的方法也是多样化的:通过带外传输,这种方式要求参数集通过可靠的协议,在首个片编码到达之前传输到解码器;通过带内传输,这需要为参数集提供更高级别的保护,例如发送复制包来保证至少有一个到达目标;在编码器和解码器采用硬件处理参数集。
片、片组和FMO(Flexible Macroblock Ordering)
一幅图像由若干片组成,每片包含一系列的宏块(MB)。MB的排列可按光栅扫描顺序,也可不按扫描顺序。每个片独立解码,只有相同片的宏块可以用于当前片预测参考。因此,不同片之间不会存在误码扩散。
灵活的宏块排序FMO适用于H.264的基本档次和扩展档次的应用。图像内部预测机制,例如帧内预测或运动矢量预测,仅允许用同一片组里的空间相邻的宏块。FMO通过宏块分配映射技术,把每个宏块分配到不按扫描顺序的片中。FMO模式划分图像的模式各种各样,有棋盘模式、矩形模式等。当然FMO模式也可以使一帧中的宏块顺序分割,使得分割后的片的大小适合无线网络的MTU尺寸,经过FMO模式分割后的图像数据分开进行传输。
如图1所示所有的MB被分成了片组0和片组1,相应地分别采用灰色和白色表示。当白片丢失时,因为其周围的宏块都属于其他片的宏块,利用邻域相关性,灰片宏块的某种加权可用来代替白片相应宏块。这种错误隐藏机制可以明显提高抗误码性能。实验证明,在CIF图像的视频会议中,在丢包率达10%时,视频失真低到需要训练有素的眼睛才能识别。使用FMO的代价是稍微降低了编码效率(因为它打破了原先非邻居MB之间的预测),而且在高度优化的情况下,有较高的时延。
数据分割
通常情况下,一个宏块的数据是存放在一起而组成片的,数据划分使得一个片中的宏块数据重新组合,把宏块语义相关的数据组成一个划分,由划分来组装片。H.264视频编码标准使用了三种不同类型的数据分割。
①A型分割
A型分割是头信息划分,包括宏块类型、量化参数和运动矢量,这个都是最重要的信息。
②B型分割
B型分割是帧内信息划分,包括帧内CBPs和帧内系数。帧内信息可以阻止错误的传播,该型数据分割要求给定分片的A型分割有效,相对于帧间信息,帧内信息能更好地阻止失真积累,因此它比帧间分割更为重要。
③C型分割
C型分割是帧间信息划分,包括帧间CBPs和帧间系数,一般情况下它是编码分片的最大分区。帧间分割是最不重要的,它的使用要求A型分割有效。
当使用数据分割时,源编码器把不同类型的分割安排在3个不同的缓冲器中,同时分片的尺寸必须进行调整以保证小于MTU长度,因此是由编码器而不是由NAL来实现数据分割。在解码器上,所有分割用于信息重建。采用分割方式,如果帧内或帧间信息丢失了,有效的帧头信息仍然能用来提高错误隐藏效率,即有效的宏块类型和运动矢量,保留了宏块的基本特征,从而仍可获得一个相当高的信息重构质量,而仅仅丢失了细节信息。
冗余片方法
H.264中参考图像的选择与以前在H.263中的一样,在基于反馈的系统中,解码器接收到丢失或被破坏的图像信息时,选择参考图像序列中正确的参考宏块,来进行错误恢复;而对于无反馈的系统,H.264提出了冗余分片编码。
冗余分片允许编码器把在同一个码流中添加同一MB的一个或更多冗余表示。需要注意的是这些冗余片的编码参数与非冗余片的编码参数不同,例如主片可用低QP(高质量)来编码,而冗余信息中能用一个高QP(低质量)的方式来编码,这样质量粗糙一些但码率更低。解码器在重构时,首先使用主片,如果它可用就抛弃冗余片;而如主片丢失(比如因为包的丢失)冗余片也能被用于重构。
帧内编码
H.264中帧内编码大体上类似于以往的视频编码标准,但也进行了重要的改进,主要体现在:
(1)H.264中帧内预测宏块的参考宏块可以是帧间编码宏块,帧内预测宏块并不像H.263中的帧内编码一样,而采用预测的帧内编码比非预测的帧内编码有更好的编码效率,但降低了帧内编码的重同步性能,可以通过设置限制帧内预测标记来恢复这一性能。
(2)只包含帧内宏块的片有两种,一种是帧内片(I Slice),一种是立即刷新片(IDR Slice)。立即刷新片需存在于立即刷新图像(IDR Picture)中。与短期参考图像相比,立即刷新图像有更强壮的重同步性能。
为了更适用无线IP网络环境中的应用,H.264通过采用率失真优化编码和设置帧内预测标志,来提高帧内图像的重同步性能。
NAL(network adaptation layer)单元
每个NAL单元是一个一定语法元素的可变长字节字符串,包括包含一个字节的头信息(用来表示数据类型),以及若干整数字节的负荷数据。一个NAL单元可以携带一个编码片、A/B/C型数据分割或一个序列或图像参数集。H.264采用NAL接入单元,不仅使H.264可自适应于多种网络,而且进一步提高其抗误码能力。序列号的设置可发现丢的是哪一个VCL单元,冗余编码图像使得即使基本编码图像丢失,仍可得到较“粗糙”的图像。
虽然H.264采用了多种错误恢复提高了接收视频质量,但由于3G网络的高误码率及Internet的丢包特性对接收视频质量影响仍然很大。文献[Stockhammer,T.,Wiegand,T.,Oelbaum,T.,and F.Obermeier,Videocoding and transport layer techniques for H.264/AVC-based transmission overpacket-lossy networks,IEEE International Conference on Image Processing (ICIP2003),Barcelona,Spain,Sep.2003.]对网络丢包情况下采用宏块帧内编码、片结构、前向错误恢复、多参考帧和反馈的错误恢复方式进行了仿真。文献[S.H.Kang and A.Zakhor,Packet scheduling algorithm for wireless videostreaming,Packet Video 2002,Pittsburgh,Apr.2002.]提出了在无线视频流传输中根据视频包的重要性设定不同的回传门槛,而数据包的重要性由GOP和运动纹理内容来决定。文献[D.H.Tian,X.H.Li,G Al-Regib,Y.Altunbasak and J.R.Jackson,Optimal packet scheduling for wireless video streamingwith error-prone feedback,in Proc.IEEE Wireless Communications and NetworkingConference(WCNC),Atlanta,GA,Mar.2004.]提出了在不能精确获得无线网络接收状态下,通过估计接收状态,采用最佳的封包策略降低接收失真。文献[J.Y.Chung,M.Y.Alias,F.Guo,and L.Hanzo,LDPC and turbo codingcoding assisted space-time block coded OFDM for H.26L compressed wireless videotelephony.14th IEEE Proceedings on Personal,Indoor and Mobile RadioCommunications.Vol.3,2003,pp.2702-2706.]对无线网络H.26L视频传输信道编码采用LDPC(Low-Density Parity-Check Codec)和Turbo码进行了比较,采用LDPC和Turbo码对原码流进行信道编码可降低误码率,但会增加接收端解码复杂度。文献[D.G Sachs,R.Anand,and K.Ramchandran,Wireless image transmission using multiple-description basedconcatenated codes.Proceedings DCC 2000.Snowbird,UT,USA,2000.]中系统采用串行信道编码,包括采用RS擦除码字的非均衡错误保护列信道编码和采用基于CRC错误检测的RCPC信道编码的行信道编码。文献[P.Cosman,J.Rogers,P.G.Sherwook,Image transmission over channels with biterrors and packet erasures.32ST ASILOMAR CONFERENCE ON SIGNALS,SYSTEMS,AND COMPUTERS Monterey,California,Nov.1998.]对于嵌入式图像在具有数据丢包和比特噪声的信道中传输特别设计了一个复合的图像编码器,这个编码器结合了信道编码和数据封装零数小波编码。
发明内容
本发明的目的在于提供一种新的3G-IP视频传输系统(框架),其能具有更高的系统性能,可以获得高质量的接收图像。
本发明的3G-IP无线视频传输系统,包括数据发送端和数据接收端,其所采用的下层协议是建立在UDP上的RTP协议,所述数据发送端通过编码器将视频文件编码,并经RCPC编码和奇偶校验FEC编码后将数据分成等长包通过无线网络进行传输;数据接收端经数据解包、FEC解码以及Viterbi译码,然后送到视频解码器中进行视频信号重建,同时利用RTCP协议携带反馈信息,得到比特错误率和网络丢包率,根据比特错误率调节RCPC编码,根据网络丢包率调节奇偶校验FEC编码。
由于在3G-IP网络中比特错误信道和数据包丢失导致视频质量下降,本发明采用删除型卷积码(Rate-compatible puncturedconvolutional codecs,RCPC)和异或前向纠错(Forward ErrorCorrection,FEC)来抵御比特错误和数据包的丢失。
删除型卷积码
目前应用最为广泛的变速率信道编码技术就是删除型卷积码,也称作率适配打孔卷积码,它能够通过对卷积码的输出进行周期性打孔实理较大范围内可变的多种信道编码效率。RCPC最早于1988年由Hagenauer提出,在后来的十几年中得到了非常广泛的应用。
具体实现方法见图2所示,设码率R=1/2的卷积码,M=2,打孔周期P=4。打孔表可以用N×P的矩阵表示,其中的0表示该比特不予传送。例如,
则最终码率为4/5,对于更低码率的打孔表,比如4/6,4/7,4/8,其打孔表分别为:
它们和a(1)之间满足率适配关系,因为高码率码字中传输的比特位,在低码率表格中也被传输。
综上所述,RCPC码族是由码率R=1/N,存储长度为M的母码打孔得来。母码的生成矩阵表示为
设打孔周期为P,打孔后的码率R和P的关系为:
变化范围为P/(P+1)到1/N,在母码上的打孔矩阵为:
率适配的限制可以表述为:如果aij(l0)=1,则对所有的1≥l0≥1,aij(l)=1。
采用Viterbi译码的卷积码纠错能力主要取决于它的自由距离df,和距离谱分布Ad、Cd。其中df为所有错误路径与全零路径之间的最小码距,Ad为码距为d的所有错误路径,Cd是码距为d错误路径上的总误比特数(d≥df)。删除型卷积码的df、Ad和cd与删除码元位置和删除个数有很大关系。通常具有最佳df、Ad和Cd的删除型卷积码都通过计算机穷尽搜索得到。通过搜索得到的最佳删除型卷积码具有和同等k/n码率的最佳卷积码非常相近的纠错性能。
RCPC号码可以按照最佳自由距离和最佳距离谱分布的原则通过计算机穷尽搜索得到。基本的搜索过程如下:
A)选择具有最佳距离谱1/n码率的母码,并定义一个n×p维的全1矩阵;
B)按最佳距离谱的准则在矩阵中搜索第一个删除码元的最佳位置。在大多数情况下,距离谱的计算并不需要得到所有的df和cd值,只需要计算前几个值就可以得到比较结果;
C)保存搜索到的最佳删除矩阵,并以此为起点,按照b)步骤重新搜索下一个删除码元的最佳位置以得到最高码率的最佳RCPC码;
D)当删除矩阵中只有p+1个1时,搜索结束。
由于在生成删除型卷积码的过程中,必须按照一定的删除规则,并非真正意义上的穷尽搜索,因此删除型卷积码属于准最优化码。另外在上述计算机搜索中,可以由低速率向高速率搜索进行,也可以反向先得到最优高速率码,再搜索得到低速率码。由于速率匹配规则的限制,由低到高搜索得到的高速率码的准最优化程度要稍差,同样有高到低搜索时低速率码的准最优化程度要稍差。本发明所使用的母码的生成矩阵为:
打孔矩阵分别为:
系统中对于打孔矩阵的使用分配依据不同的比特误码率ρbit分配如下:
前向纠错
很多存在包丢失而不能应用重传包的情况下采用前向纠错FEC,虽然在应用层使用端到端FEC比在链路层使用基于FEC的数据保护效率低(特别在不同的传输路径时链路有不同的特性),但是在一些应用中应用层的端到端FEC是必不可少的。特别在高丢包率下,采用包FEC将提供更好的性能。RFC2733提供了在存在包丢失环境下端到端应用层的基本用法。对于不同数据包相同位置的比特进行异或操作产生二进制的前向纠错编码。
这个二进制编码可以用参数(n,k)来表示,k为在传输中的数据包数,n为所发送的总包数,k个数据包产生n-k个奇偶校验包。当在RFC2733框架下进行(n,k)编码可知如下特性:
a)如果应用在单RTP包时,RFC2733仅提供包重复。
b)RFC2733在使用异或编码时数据包等长有最高的比特效率。
c)在相同的包丢失概率p,对于固定的k,n值越大剩余的错误概率越小。例如,对于包丢失概率为10%时,k=1,n=2,剩余的错误概率大约为1%,当n=3,剩余的错误概率大约为0.1%。
d)在相同包丢失概率p和固定编码率k/n时,n的数值越大,剩余的错误概率越小。例如,在丢包率p=10%,k=1,n=2,剩余的错误概率大约为1%,但是采用扩展的Golay编码k=12,n=24时,剩余的错误概率大约为0.01%[31]。
本发明综合考虑采用FEC传输效率、延时及计算复杂度,采用以下的奇偶校验包FEC方式:
a)高丢包率下p≥10%,采用下面所示(2,1)加FEC包方式。采用此方式可能够恢复出突发的连续两个丢包。
a b c d e <--数据流
f(a,b) f(b,c) f(c,d) f(d,e) <--FEC流
b)低丢包率下p<10%,采用(k+1,k)加FEC包方式。此方式可以恢复出k包中有一个丢包的情况。
a b c d <--媒体流
f(a,b) f(c,d) <--FEC流
K的取值如下:
网络自适应拥塞控制
本发明系统采用的拥塞控制模块,用于使视频发送速率和网络可用带宽相匹配,
如果(AvailBW≥currate)
Muli=(now-lastchange)/RTT
限制multi取值从1到2
currate=currate+(PacketSize/RTT)×multi
否则
currate=β×AvailBW+(1-β)×currate
其中AvailBW表示发送端网络可用带宽,now表示发送端接收到反馈数据包的时刻,currate是当前传送的视频速率,currate是更新的传送速率,lastchange是前一次更新的时刻,PacketSize是发送数据包的长度,RTT为预测的网络返回时间,β是为加权系数,优选取值为0.75。
通过大量仿真实验表明,本发明3G-IP视频传输系统(框架)在各种网络条件下,具有更高的系统性能,可以获得高质量的接收图像。
附图说明
图1是FMO模式分割示意图;
图2是删除型卷积码示意图;
图3是3G-IP视频传输框架示意图;
图4是用户平台协议栈分包示意图;
图5是64kbps和9.3e-3比特错误率下的实验结果;
图6是64kbps和2.9e-3比特错误率下的实验结果;
图7是64kbps和5.1e-4比特错误率下的实验结果;
图8是64kbps和1.7e-4比特错误率下的实验结果;
图9是128kbps和5.0e-4比特错误率下的实验结果;
图10是128kbps和2.0e-4比特错误率下的实验结果。
具体实施方式
下面结合附图进一步说明本发明。应当理解,以下实施例仅用于说明本发明,而不能作为本发明的限制,在不背离本发明精神和实质的前提下,进行的修改或替换,均属于本发明的范围。
实施例1 3G-IP视频传输系统(框架)
如图3所示,本发明所采用的下层协议是建立在UDP上的RTP协议,同时利用RTCP协议携带反馈信息方便网络模块跟踪网络情况,得到比特错误率和网络丢包率。在传输层中的拥塞控制主要是根据网络丢包率调节奇偶校验FEC编码,比特错误率调节RCPC编码,将数据分成等长包通过无线网络进行传输。接收端经过数据解包、FEC解码及Viterbi译码,然后送到视频解码器中进行视频信号重建。同时,接收端网络监控模块记录一些统计信息,例如数据丢包率、比特错误率、传输延时等。通过这些信息反馈回发送端进行编码控制及网络可用带宽估计。这样可根据网络的不同状况进行调节,使接收端得到最佳的视频质量。
信道编码算法
由于在3G-IP网络中比特错误信道和数据包丢失导致视频质量下降,在本章中采用删除型卷积码(Rate-compatible puncturedconvolutional codecs,RCPC)和异或前向纠错(Forward ErrorCorrection,FEC)来抵御比特错误和数据包的丢失。
删除型卷积码
本例中所使用的母码的生成矩阵为:
打孔矩阵分别为:
系统中对于打孔矩阵的使用分配依据不同的比特误码率ρbit分配如下:
前向纠错
本例中采用以下的奇偶校验包FEC方式:
a)高丢包率下p≥10%,采用下面所示(2,1)加FEC包方式。采用此方式可能够恢复出突发的连续两个丢包。
a b c d e <--数据流
f(a,b) f(b,c) f(c,d) f(d,e) <--FEC
b)低丢包率下p<10%,采用(k+1,k)加FEC包方式。此方式可以恢复出k包中有一个丢包的情况。
a b c d <--媒体流
f(a,b) f(c,d) <--FEC流
K的取值如下:
网络自适应的拥塞控制
本例中所采用的拥塞控制模块,其目的是尽量使视频发送速率和网络可用带宽匹配起来,能够和因特网中其它应用公平的享用网络带宽。在这里,我们实现的算法借鉴自文献[32]。
根据接收反馈数据包,发送端可以对当前网络往返时间预测进行调整:
RTT=α×RTT+(1-α)×(now-ST1-ΔRT)。
预测的网络往返时间RTT由两部分α加权组成(在这里设为0.75),其中一部分表示的是上次所统计的网络往返时间RTT,另外一部分表示的是接收到反馈包时计算得到网络往返时间。这个即时值都是由发送端的时钟来计算的:ST1是发送端初始发送数据包的时刻,ΔRT表示的是接收端在接收到数据包后进行统计以及发送反馈包所花费的时间,now表示发送端接收到反馈数据包的时刻。因此即时网络往返时间等于(now-ST1-ΔRT)。
经过上个阶段,在发送端网络可用带宽可估计为:
其中PacketSize是发送数据包的长度,PL是网络丢包率,TO表示的是数据包重发需要等待的间隔(TO的计算类似于文献[33]描述的TCP模型)。
预测了可用网络带宽,发送端可以相应地调整视频的发送速率。在现在的TCP协议中,典型的拥塞控制是基于加性增长/乘性下降的策略(Additive Increase/Multiplication Decrease,AIMD),和网络丢包率是不相关的。考虑到当前网络丢失率,我们相应地调整了传输速率方案如下:
如果(AvailBW>currate)
Muli=(now-lastchange)/RTT
限制multi取值从1到2
currate=currate+(PacketSize/RTT)×multi
否则
currate=β×AvailBW+(1-β)×currate
其中currate是当前传送的视频速率,currate更新的传送速率,lastchange是前一次更新的时刻,β是一个加权系数(设定为0.75)。经过上述基于网络带宽预测的拥塞控制,能够做到视频发送速率尽可能的平滑,不会在发送端就由于速率控制而造成系统初始视频质量抖动,并且对网络中的数据包丢失不敏感。
率失真优化模型
正如前面提到的,前向纠错的思想就是通过传送冗余的数据包便于接收端重建丢失的信息。为了补偿信道编码使用的网络带宽,我们必须相应地减少信源的码率,从而在发送端就导入了视频质量下降。然而,利用这些冗余校验数据包,视频解码端会接收到比没有纠错时候低的数据包丢失率,从而可以获得较好的重建视频质量。所以关键在于在已知可用带宽下如何使发送端发送的编码视频失真最小。
首先,考虑在没有发送不考虑网络带宽时,针对丢包情况下的编码端失真最小求取。
对于视频序列n(n=1,...,N)帧的第m(m=1,...,M)宏块的点i(i=1,...,I),设初始像素点值为sn,m,i,在丢包情况下,网络信道C传输第n帧定义为二进制序列{0,1}π(n),π(n)为传输1,...,n帧编码所需包数。0表示接收到正确的包,1表示丢包。我们定义对于随机信道传输n帧π(n)长的序列表示为Cπ(n)。通过此信道传输后相应的解码值为我们定义每点失真dn,m,i为此点误差的平方。
(3-17)
解码值取决于编码端选择编码模式,信道传输特性C,以及解码端错误隐藏。
虽然在视频传输系统中可以应用反馈,但反馈通常不是实时的,有延时的信道Cπ(n-d)当编码第n帧时在编码端d时间收到反馈,d≥1。我们假设d>>1即编码端不知道信道特性。
在H.264视频编码的最优化模式选择中,代价函数是码率和失真的函数。对于每一个宏块的可选择编码方式为O,模块能选择的宏块模式为M。我们假设在序列的开始传输一个I帧,其余都为P帧。宏块模式包括两个子集,一个是时间预测MP,一个为空间预测MI。显然,I帧宏块模式仅能从MI中选择。H.264中支持多参考帧R,对于P帧宏块所有可选择的模块模式集合O={MI,MP×R}。因此,对于率失真优化的拉格朗日公式为:
其中o为宏块选择编码模式,Rn,m(o)为此时宏块编码码率,Dn,m(o)为宏块编码产生失真。余下的问题就是计算失真Dn,m(o)和码率Rn,m(o)在编码模式o和选定拉格朗日系数的最优化。编码速率通过编码模式o和量化系数获得,在无错误发送时宏块失真可表示为
码率约束条件
前面已经介绍了对网络带宽的估计,在本系统中对编码端要发送的码率要根据带宽进行控制。同时由于发送端针对无线的比特错误和网络的丢包加入了冗余编码,下面给出对码率的约束条件。
在加入RTCP反馈可得到网络往返时间RTT,比特错误率ρbit,丢包率ρpacket,再由3.3.3的网络带宽自适应可求出当前可用带宽为WDcur,由公式3-13和公式3-14可分别得到RCPC和奇偶校验的效率,可给出下面的码率约束条件。
Rs×RRCPC(ρbit)+Rs×(1+RFEC(ρpacket))≤WDcur
其中RN为n帧的总码流,f为每秒的编码帧数,Rs为每秒的帧率。WDcur为预测的当前可用带宽。
估计解码失真
下面我们考虑如何计算宏块失真Dn,m(o)。下面我们认为每种编码模式下对失真的计算相同,而不考虑编码模式o。显而易见,只要知道每像素失真dn,m,i就可求出宏块内所有点的平均失真。每像素的失真dn,m,i是未知的,它取决于解码端重建的像素值和信道特性。我们重点研究我们假设编码已知Cπ(n)的期望值,我们给出编码端估计解码器重建值对应的失真期望为:
假设在编码端有K个不同随机可变信道的模型为Cπ(n)(k)。另外,假设随机变量Cπ(n)(k),k=1,...,K是一致的和独立分配的。当k→∞,根据大数法则
的概率为1。公式左边即为对dn,m,i的估计公式。在编码端K个不同随机变化信道和解码器被运行。像素点的重建值依赖于Cπ(n)(k)和解码器的错误隐藏方法。K个信道和解码过程是独立的。如果K足够大的话,解码失真期望能配准确估计。显然,对于算法的复杂度和对内存的需求依赖于K的次数。但是,由于简单、鲁棒和灵活以及很好的收敛特性,采用恰当的K值即可得到期望值。
拉格朗日系数的确定
如果率失真函数D(R)为凸函数则函数J(R)=D(R)+λR也必定为凸函数。假设D(R)是可微分的,函数J(R)的最小值为导数为0时。即
我们假设编码源失真DS(R)是码率的函数
Ds(R)=β·2-αR
这里β是一个与源有关的可变常数。在具有丢包环境下的失真必须考虑错误隐藏,我们在拉格朗日乘子的选择中加入相应的参数,D(R)被估计为:
D(R)=(1-p)pcDs(R)+pD(ec)+(1-p)(1-pc)D(ep) (2)
其中p为当前宏块的丢失率,pc为参考帧图像为正确的可能概率,D(ec)为当前宏块丢失产生的错误隐藏失真,D(ep)为当前宏块正确接收但由于参考帧错误导致错误传播下的失真。
与[35]相同假设失真与量化之间存在相应的关系,给出量化间隔与失真的函数
其中Δ为量化步长。由式(3-27)(3-28)(3-29)可得到R(Δ)为
合并公式(3-30)和(3-29)到(3-26)中得到:
在本系统中p认为等于ρpacket,参数pc不能直接得到,但是pc与图像接收的正确率有关,降低帧内编码的可以降低pc,同时pc也依赖于p。从公式可看出当p增加λ降低,码率在模式选择中权重降低。
率失真优化模式选择
将前面得到的解码失真和拉格朗日系数应用到编码端模式选择中。由公式(2)可以看出宏块失真期望值Dn,m(o)有三个部分组成,没有错误传输的失真Ds定义为Dn,m (ef)(o),错误隐藏失真Dn,m (ec)(o)和错误传播失真Dn,m (ep)(o)。这里Dn,m (ef)(o)和Dn,m (ep)(o)依赖于编码模式o,错误隐藏失真不依赖于编码模式Dn,m (ec)(o)=Dn,m (ec)。可得到如下率失真模型公式:
这望为第n帧m宏块在模式o是期望失真,由公式(1)来在不同模式o下求得。pc这里采用一种简单的模型,假设运动矢量为0同时在选用帧内模式是错误传播停止。假设此宏块过去r个参考帧采用帧间编码模式,在n-r-1帧采用帧内编码模式,pc=(1-p)r。得出最终的率失真模型公式:
实验结果与分析
本例给出了大量的仿真结果来验证本发明提出的方法在无线网络传输情况下的性能,仿真实验条件及实验结果如下。
实验环境与参数设置
采用文献[36]给出的测试条件及软件,进行3G无线信道的仿真。3GPP和2GPP2对于UMTS和CDMA-2000的移动终端和基站使用相同的平台协议,图4给出了协议栈对应用包的分包过程。
表3-1测试序列
序列 | 图像尺寸 | 帧率(f/s) | RTP包尺寸(字节) | 物理层数率(kbits/sec) |
Foreman | QCIF | 7.5 | 500 | 64 |
Paris | CIF | 15 | 500 | 128 |
表2比特错误模式
序号 | 文件名 | 比特率 | 长度 | BER | RLCPDU尺寸 | 移动速度 |
1 | 18681.3 | 64kbps | 60s | 9.3e-3 | 640bits | 3km/h |
2 | 18681.4 | 64kbps | 60s | 2.9e-3 | 640bits | 3km/h |
3 | Wcdma_64kb_3kph_5e-04.bin | 64kbps | 180s | 5.1e-4 | 640bits | 3km/h |
4 | Wcdma_64kb_50kph_2e-04.bin | 64kbps | 180s | 1.7e-4 | 640bits | 50km/h |
序号 | 文件名 | 比特率 | 长度 | BER | RLCPDU尺寸 | 移动速度 |
5 | Wcdma_128kb_3kph_5e-04.bin | 128kbps | 180s | 5.0e-4 | 640bits | 3km/h |
6 | Wcdma_128kb_50kph_2e-04.bin | 128kbps | 180s | 2.0e-4 | 640bits | 50km/h |
仿真使用视频序列和比特流定义见表1,比特错误模式见表2。每次仿真使用不同的10次起始位置见表3-3,起始位置是随机产生的,实验结果由10次平均得到。
表3不同比特错误模式的仿真起始点位置
序号 | 仿真起始位置(in bytes) |
1 | 227200,259840,128000,348800,81920,79360,392320,56960,440960,458880 |
2 | 227200,259840,128000,348800,81920,79360,392320,56960,440960,458880 |
3 | 551040,251840,613120,609920,616000,57600,1313120,1248640,273920,1366400 |
4 | 551040,251840,613120,609920,616000,57600,1313120,1248640,273920,1366400 |
5 | 1143200,410240,2480000,561920,2135840,1954560,283520,730880,698720,154368 |
6 | 1143200,410240,2480000,561920,2135840,1954560,283520,730880,698720,154368 |
采用文献[37]给出的测试条件及软件,进行网络丢包信道的仿真。平均丢包率分0%,3%,5%,10%和20%,每次仿真使用不同的10次起始位置,实验结果由10次平均得到。
共测试了四种方案:(1)对原编码数据直接进行3G-IP传输;(2)对原编码数据采用RCPC编码后,进行3G-IP传输;(3)对原编码数据采用奇偶校验FEC编码后,进行3G-IP传输;(4)对原编码数据采用RCPC和奇偶校验FEC编码后,进行3G-IP传输。
实验结果及分析
图5和图6给出高无线比特错误率(BER大于10e-3)时,不同的网络丢包率下,采用不同方案所得到的平均PSNR。在实验中,由于高BER导致的网络丢包率最高达到30%以上,在此时针对无线比特错误的RCPC可以有效地降低比特错误引起的丢包,采用方案2具有比方案3更好的性能,而本发明提出的方案4可以得到更佳的性能。
图7和8给出低无线比特错误率(BER低于10e-3)时,不同的网络丢包率下,采用不同方案所得到的平均PSNR。在实验中,网络丢包率(PLR)的增加对系统性能影响加大,在低网络丢包率情况下,采用方案2能有效地提高系统性能,在高网络丢包率情况下,采用方案3能有效地提高系统性能,而采用本发明提出的方案4可以在不同的PLR得到更佳的性能。
图9和10给出在128k带宽下,低无线比特错误率(BER低于10e-3)时,不同的网络丢包率下,对Paris编码数据传输时的实验结果。Paris序列相比Formane序列运动的复杂度低、背景复杂高,在采用本发明提出的方案4进行传输是,同样可以得到较好的性能。
通过对上面的实验结果进行分析,得出以下的结论:
1)采用RCPC编码可以有效地抵抗由于无线比特错误导致的丢包,提高接收图像质量。
2)采用奇偶校验FEC编码可以有效地抵抗网络丢包,提高接收图像质量。
3)采用本文将RCPC和奇偶校验FEC相结合的编码,可以在3G-IP环境中得到更佳的接收图像质量。
Claims (3)
1.一种3G-IP无线视频传输系统,包括数据发送端和数据接收端,其所采用的下层协议是建立在UDP上的RTP协议,所述数据发送端通过编码器将视频文件编码,并经RCPC编码和奇偶校验FEC编码后将数据分成等长包通过无线网络进行传输;数据接收端经数据解包、FEC解码以及Viterbi译码,然后送到视频解码器中进行视频信号重建,同时利用RTCP协议携带反馈信息,得到比特误码率和网络丢包率,根据比特误码率调节RCPC编码,根据网络丢包率调节奇偶校验FEC编码,
其中,RCPC编码所使用的母码的生成矩阵为:
按照不同的比特误码率选择打孔矩阵分别为:
当RC=2/3时,
当RC=4/7时,
当RC=1/2时,
当RC=4/11,
当RC=1/3时,
系统中对于打孔矩阵的使用分配依据不同的比特误码率ρbit分配如下:
其中,奇偶校验FEC编码采用如下方式:
a)高丢包率下p≥10%,采用下面(2,1)加FEC包方式:
a b c d e <--数据流
f(a,b) f(b,c) f(c,d) f(d,e) <--FEC流;
b)低丢包率下p<10%,采用(k+1,k)加FEC包方式:
a b c d <--媒体流
f(a,b) f(c,d) <--FEC
其中,K的取值如下:
其中,p表示丢包率。
2.如权利要求1所述的无线视频传输系统,其特征在于所述系统还包括一拥塞控制模块,用于使视频发送速率和网络可用带宽相匹配,
如果(AvailBW>currate)
Muli=(now-lastchange)/RTT
限制multi取值从1到2
currate=currate+(PacketSize/RTT)×multi
否则
currate=β×AvailBW+(1-β)×currate
其中AvailBW表示发送端网络可用带宽,now表示发送端接收到反馈数据包的时刻,currate是当前传送的视频速率,currate是更新的传送速率,lastchange是前一次更新的时刻,PacketSize是发送数据包的长度,RTT为预测的网络返回时间,β是为加权系数。
3.如权利要求2所述的系统,其特征在于所述β的值为0.75。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810102518 CN101304537B (zh) | 2008-03-24 | 2008-03-24 | 3g-ip无线视频传输系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810102518 CN101304537B (zh) | 2008-03-24 | 2008-03-24 | 3g-ip无线视频传输系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101304537A CN101304537A (zh) | 2008-11-12 |
CN101304537B true CN101304537B (zh) | 2010-06-09 |
Family
ID=40114207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200810102518 Expired - Fee Related CN101304537B (zh) | 2008-03-24 | 2008-03-24 | 3g-ip无线视频传输系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101304537B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8825886B2 (en) * | 2010-07-28 | 2014-09-02 | Hong Kong Applied Science and Technology Research Institute Company Limited | System and method for evaluating network transport effects on delivery of media content |
CN102572385B (zh) * | 2010-12-07 | 2015-09-16 | 中国电信股份有限公司 | 视频信号的传输方法、无线视频服务器及视频监控系统 |
TWI505672B (zh) | 2012-07-24 | 2015-10-21 | Nec Corp | Communication systems and methods and programs |
CN103686055B (zh) * | 2012-09-24 | 2017-05-10 | 中兴通讯股份有限公司 | 电视会议系统中丢包补偿的处理方法及装置 |
CN103269458B (zh) * | 2013-05-16 | 2016-01-20 | 杭州巨峰科技有限公司 | 一种针对窄带网络情况下视频传输的调节控制方法 |
CN105704580B (zh) * | 2016-01-21 | 2018-09-11 | 深圳比特新技术有限公司 | 一种视频传输方法 |
CN107306361B (zh) * | 2016-04-22 | 2020-09-18 | 华为技术有限公司 | 码流传输方法、装置及网络摄像头 |
CN107666366B (zh) * | 2016-07-28 | 2020-02-14 | 华为技术有限公司 | 一种调整编码速率的方法、装置及系统 |
US10756844B2 (en) * | 2017-06-16 | 2020-08-25 | Mediatek Inc. | Devices and method for wirelessly broadcasting media packets |
CN110049357B (zh) * | 2019-05-29 | 2021-10-15 | 安徽讯飞皆成软件技术有限公司 | 一种带宽预估方法、装置、设备及存储介质 |
CN110545161B (zh) * | 2019-08-13 | 2021-10-08 | 河北远东通信系统工程有限公司 | 一种具有冗余的多媒体数据实时传输方法 |
CN111954028B (zh) * | 2020-10-19 | 2021-03-02 | 深圳乐播科技有限公司 | 音频数据的投屏方法、装置、设备及存储介质 |
CN115549860B (zh) * | 2022-09-13 | 2023-08-29 | 北京天融信网络安全技术有限公司 | 数据恢复方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1263422A (zh) * | 1998-11-02 | 2000-08-16 | 三星电子株式会社 | 视频数据收发装置及其收发方法 |
GB2368760A (en) * | 1997-01-14 | 2002-05-08 | Samsung Electronics Co Ltd | Error prevention method for multimedia data packets |
CN1423449A (zh) * | 1997-01-14 | 2003-06-11 | 三星电子株式会社 | 多媒体数据的防错方法和防错设备 |
-
2008
- 2008-03-24 CN CN 200810102518 patent/CN101304537B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2368760A (en) * | 1997-01-14 | 2002-05-08 | Samsung Electronics Co Ltd | Error prevention method for multimedia data packets |
CN1423449A (zh) * | 1997-01-14 | 2003-06-11 | 三星电子株式会社 | 多媒体数据的防错方法和防错设备 |
EP1499058A2 (en) * | 1997-01-14 | 2005-01-19 | Samsung Electronics Co., Ltd. | Error prevention method for multimedia |
CN1263422A (zh) * | 1998-11-02 | 2000-08-16 | 三星电子株式会社 | 视频数据收发装置及其收发方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101304537A (zh) | 2008-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101304537B (zh) | 3g-ip无线视频传输系统 | |
US8331445B2 (en) | Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques | |
US8505059B2 (en) | Channel capacity estimation and prediction method and apparatus for rate adaptive wireless video | |
CN103051981B (zh) | 用于视频多跳传输的自适应帧长计算方法 | |
Wang et al. | Low-delay and error-robust wireless video transmission for video communications | |
CN108966259B (zh) | 一种基于网络编码的抗干扰传输方法 | |
US8774220B2 (en) | Method of packetizing encoded symbols and apparatus using the same | |
Baruffa et al. | Adaptive error protection coding for wireless transmission of motion JPEG 2000 video | |
Zhai et al. | Joint source-channel coding and power allocation for energy efficient wireless video communications | |
Zhai et al. | A rate-distortion optimized error control scheme for scalable video streaming over the internet | |
Qu et al. | On the effects of path correlation in multi-path video communications using FEC over lossy packet networks | |
Hamidouche et al. | Optimal resource allocation for Medium Grain Scalable video transmission over MIMO channels | |
Chen et al. | A qoe-based app layer scheduling scheme for scalable video transmissions over multi-rat systems? | |
Barreira et al. | Impact of the IEEE 802.11 n frame aggregation mechanisms on video streaming quality | |
Ho et al. | QoS-supporting video streaming system with minimum data service cost over heterogeneous wireless networks | |
Bouabdallah et al. | Evaluation of cross-layer reliability mechanisms for satellite digital multimedia broadcast | |
Lin et al. | Joint source and space-time block coding for MIMO video communications | |
Qu et al. | Source-adaptive FEC/UEP coding for video transport over bursty packet loss 3G UMTS networks: a cross-layer approach | |
Vilei et al. | A novel unbalanced multiple description scheme for video transmission over wlan | |
Zhao et al. | RD-Based Adaptive UEP for H. 264 Video Transmission in Wireless Networks | |
Nejati et al. | Wireless video transmission: A distortion-optimal approach | |
Girod et al. | Compressed video over networks | |
Yu et al. | Rate efficient wireless image transmission using MIMO-OFDM | |
Hueda et al. | H. 263-based wireless video transmission in multicode CDMA systems | |
Al-Jobouri et al. | Channel coding with packet duplication for video streaming over a broadband wireless link |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 Termination date: 20120324 |