CN103260033A - 一种联合端系统和中继节点网络编码的鲁棒视频传输方法 - Google Patents

一种联合端系统和中继节点网络编码的鲁棒视频传输方法 Download PDF

Info

Publication number
CN103260033A
CN103260033A CN2013101503751A CN201310150375A CN103260033A CN 103260033 A CN103260033 A CN 103260033A CN 2013101503751 A CN2013101503751 A CN 2013101503751A CN 201310150375 A CN201310150375 A CN 201310150375A CN 103260033 A CN103260033 A CN 103260033A
Authority
CN
China
Prior art keywords
video
matrix
network
expanding element
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101503751A
Other languages
English (en)
Other versions
CN103260033B (zh
Inventor
张兴军
景翠萍
董小社
吴玉星
岑松
崔华力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shi Jin
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201310150375.1A priority Critical patent/CN103260033B/zh
Publication of CN103260033A publication Critical patent/CN103260033A/zh
Application granted granted Critical
Publication of CN103260033B publication Critical patent/CN103260033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种联合端系统和中继节点网络编码的鲁棒视频传输方法:设计可伸缩视频编码的不平等保护算法,可伸缩码流优先级划分方法,视频流交织打包算法,以及视频质量失真模型,并通过对视频质量失真模型优化求解得到最优的冗余分配方案;发送端在待传输的压缩信源码流中通过随机线性网络编码添加适当冗余,从端系统角度保证视频传输的可靠性;中继节点通过随机线性网络编码减少了网络带宽资源消耗,并且提高了视频传输的效率和抗差错性能。本发明保证了接收端按可伸缩码流重要性顺序获得分层码流,提高了视频传输质量,并能够适应网络中不同终端的带宽、计算能力和分辨率的需求。

Description

一种联合端系统和中继节点网络编码的鲁棒视频传输方法
技术领域
本发明将随机线性网络编码技术应用于可伸缩视频传输的不平等保护,通过在端系统和中继节点设计合理的网络编码策略,以解决网络丢包对视频传输带来的不利影响,从而提高视频传输的可靠性和效率。
背景技术
随着网络技术的发展,一方面,网络上的视频应用越来越受到人们的喜爱和关注,而另一方面,大多数网络却工作在丢包环境,且没有服务质量保证;而视频传输的一个关键问题是需要将视频服务质量维持在一个可以接受的级别,因此,如何在不可靠的网络上提供可靠、高效以及具有伸缩性的实时视频流传输,意义重大且面临诸多挑战。
对于实时视频流传输,传统基于重传的ARQ方法不是一个切实可行的方案,一方面由于重传需要额外的时间开销,不能满足实时需要;另一面,如果采用ARQ方法,在视频多播通信中会引起反馈风暴问题。利用网络编码(Network Coding,NC)技术可以有效地避免以上问题,缩减重发的数据包数目,提高网络链路带宽利用率、降低网络延迟、提高网络吞吐量。在端系统通过网络编码添加冗余的方法可以解决视频传输的可靠性问题;中继节点通过随机线性网络编码来提高视频传输的抗差错性能和网络带宽利用率,可以解决视频传输的效率问题。申请人经过查新,未检索本发明相关的专利。但是找到相似的几篇文献,分别是:
[1]Thomos N,Frossard P.Raptor network video coding[C],Proceedings ofthe International workshop on mobile video,2007:19-24.
[2]Thomos N,Frossard P.Network coding of rateless video in streamingoverlays[J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(12):1834-1847.
[3]Fujimura A,Oh SY,Gerla M.Network coding vs.erasure coding:reliablemulticast in ad hoc networks[C].IEEE Military CommunicationsConference(MILCOM),2008:1-7.
[4]Wang H,Kuo CCJ,Robust video multicast with joint network coding andAL-FEC[C].IEEE International Symposium on Circuits and Systems,Seattle:IEEE,2008:2062-2065.
[5]Matsuda T and Takine T.Multicast communications with reedsolomon/network joint coding in wireless multihop networks[J].Journal ofCommunications,2009,4(11):856-864.
目前,针对联合端系统和中继节点的编码来提供可靠、高效的视频传输的理论和实践方面,国内外关注的重点不同。到目前为止,大多数对端系统和中继节点的联合编码的研究只是一个简单的叠加过程。文献[1][2]对联合端系统前向纠错码(Packet Level Forward Error Control,PL_FEC)和中继节点网络编码的视频传输方案与只在端系统或中继节点编码的方案进行比较,证明了联合端系统和中继节点编码的方案性能更优,但没有考虑端系统PL_FEC和中继节点网络编码的相互干扰,只是对两种编码简单叠加后的性能进行比较。文献[3][4][5]针对网络编码和应用层FEC应用到视频多播通信中的联合设计方法进行探索,将FEC和网络编码分别实现在端系统和中继节点,接收端根据由RS编码的校验矩阵和线性网络编码解码矩阵两次解码完成对源视频的恢复,提高了视频传输的可靠性,但没有考虑编码的复杂度、优化、变化的服务质量等问题。
发明内容
本发明的目的在于提供一种联合端系统和中继节点网络编码的鲁棒视频传输方法。
为达到上述目的,本发明采用了以下技术方案。
第一步:发送端按视频质量失真模型优化求解出冗余分配方案,然后按照冗余分配方案对可伸缩视频流排序、建立可伸缩视频流交织打包格式、构造编码包并生成冗余包,然后将编码包和冗余包发送到网络上;
所述视频质量失真模型是基于可伸缩视频流特性和网络编码约束的视频传输优化模型,如下式所示:
D overall = Σ i = 0 T - 1 Σ j = 0 Q - 1 σ i , j · ρ i , j ( w i , j )
W = w 0,0 w 0,1 . . . w 0 , Q - 1 w 1 , 0 w 1,1 . . . w 1 , Q - 1 . . . . . . . . . . . . w T - 1,0 w T - 1,1 . . . w T - 1 , Q - 1
,优化的目标是考虑可伸缩视频流自身特性、编码特性以及网络容量限制,合理的安排可伸缩视频流的冗余分配,从而保证视频质量失真最小,如下式所示:
min{Doverall(W)}
s.t.
Σ i = 0 T - 1 Σ j = 0 Q - 1 h i , j + H ≤ M
wi,j≤wi+1,j,i=0,1,......,T-2,j=0,1,......,Q-1
wi,j≤wi,j+1,i=0,1,......,T-1,j=0,1,......,Q-2
Σ i = 0 T - 1 Σ j = 0 Q - 1 h i , j · ( N + r ) ≤ B tot
其中,
Doverall是视频传输总的失真;
W是分层码流的宽度,用可扩展单元宽度分配矩阵表示,优化的目地就是确定一个最优的W,使得视频质量失真最小;
H是分层码流的高度,由数据缓冲区的大小和码流的数据量决定;
M是数据包的长度;
wi,j为一个GOP中可扩展单元SU(i,j)的宽度,wi,j直接决定可扩展单元SU(i,j)分配的冗余量;
ρi,j(wi,j)为可扩展单元SU(i,j)的宽度为wx,j时数据包丢失的概率;
σi,j为可扩展单元SU(i,j)的重要程度;
hi,j为一个GOP中可扩展单元SU(i,j)的高度;
T和Q分别为时间层和质量层;
N为可伸缩码流排序后生成的总的数据包数目;
r为添加的冗余包数目;
Btot为分配给一个GOP的总的码流;
第二步:网络中继节点执行随机线性网络编码生成编码包;
第三步:接收端对从网络中继节点接收的编码包采用高斯-约旦消元法分层解码得到视频数据包,从视频数据包中提取视频数据,利用视频数据恢复出原始的可伸缩视频流。
所述建立可伸缩视频流交织打包格式包括如下具体步骤:
1)求解视频传输优化模型,得到可伸缩码流中最优的分层码流的高度和宽度,根据最优的分层码流的高度和宽度将不同层的码流划分成不同大小的数据块;
2)采用交织读取的方式提取数据块,计算数据块在数据包中的填充位置,然后将数据块填充到对应的数据包位置中。
所述构造编码包并生成冗余包包括以下步骤:用最优的分层码流的宽度除以缓存区总的宽度,求解出冗余包的添加比例,然后对填充好的数据包执行随机线性网络编码,生成编码包和冗余包。
网络中继节点执行随机线性网络编码的流程包括如下步骤:
1)中继节点从输入链路接收来自同一组的数据包,然后将来自同一条输入链路的数据包存储到同一个缓存;
2)缓存中的数据包个数大于编码最小上限时,在有限域中随机的选择编码系数构成编码矩阵并对缓存中的数据包进行线性组合生成新的编码包;
3)将生成的新的编码包发送到该中继节点的输出链路;
所述编码矩阵是基于梯形分割的下三角全局编码矩阵,当第i-1层的码流不能正确解码时,不采用将第i-1层的码流直接丢失,而是等待第i层码流到达后继续解码。
根据最优的分层码流的高度和宽度,确定编码矩阵的行数和列数,然后用有限域中的基本运算构建基于梯形分割的下三角全局编码矩阵,该矩阵是一种稀疏矩阵,矩阵从左到右依次存放重要程度递增的码流,重要的码流存放在矩阵的靠右的部分,不重要的码流存放在矩阵的靠左的部分,这样可以提高重要的码流参与网络编码的概率;提取基于梯形分割的下三角全局编码矩阵编码向量,用编码向量乘以同组数据包的数据构成的矩阵生成编码包。
用高斯-约旦消元法分层解码的过程为:
1)接收端从输入链路上接收编码包,对于同一组中的编码包,根据可扩展单元的高度和宽度提取收到的编码包中的可扩展单元的编码块和编码向量,并分别存储到编码包缓存和编码向量缓存中;
2)在有限域中计算可扩展单元的编码向量构成的矩阵的秩,当该矩阵的秩等于可扩展单元的宽度,即可扩展单元的编码向量构成的矩阵满秩时,在有限域中用高斯-约旦消元法求解出可扩展单元的编码向量构成的矩阵的逆矩阵M;
3)用逆矩阵M乘以可扩展单元编码块矩阵解码出原始的可扩展单元,按码流重要性顺序,即根据可扩展单元中时间层和质量层ID号循环完成下一个可扩展单元的解码过程。
本发明与现有技术主要有以下几方面的不同:
1)为实施基于网络编码的视频流不平等保护策略,现有的视频失真模型没有考虑中继节点的网络编码对源视频数据包的丢失概率的影响,而本发明方法建立了基于网络编码的视频质量失真模型。
2)现有技术对端系统和中继节点的联合编码的研究只是一个简单的叠加过程,接收端需要两次解码完成对源视频的恢复;而本发明方法将端系统和中继节点的网络编码过程统一,接收端只需要一次解码即可恢复源视频。
3)在端系统和中继节点网络编码的联合设计方面,现有技术没有明确给出端系统如何构造有效的冗余包方法
本发明的有益效果为:本发明公开了一种联合端系统和中继节点网络编码的鲁棒视频传输方法,主要解决如何在不可靠的网络上提供可靠、高效以及具有伸缩性的视频流传输。该方法包括:设计可伸缩视频编码的不平等保护算法,可伸缩码流优先级划分方法,视频流交织打包算法,以及视频质量失真模型,并通过对视频质量失真模型优化求解得到最优的冗余分配方案;发送端在待传输的压缩信源码流中通过随机线性网络编码添加适当冗余,从端系统角度保证视频传输的可靠性;中继节点通过随机线性网络编码减少了网络带宽资源消耗,并且提高了视频传输的效率和抗差错性能。本发明保证了接收端按可伸缩码流重要性顺序获得分层码流,提高了视频传输质量,并能够适应网络中不同终端的带宽、计算能力和分辨率的需求。
附图说明
图1为本发明的总流程图;
图2为可伸缩视频流交织打包格式示意图;
图3为可伸缩视频流交织打包子流程图;
图4为建立视频质量失真模型子流程图;
图5为三种基于UEP策略的网络编码矩阵示意图;其中图5a为块对角全局编码矩阵BDGCM,图5b为梯形全局编码矩阵LGCM,图5c为本发明基于梯形分割的下三角全局编码矩阵LTGCM;M表示视频数据,k表示数据的宽度,r表示数据的冗余度。
图6为中继节点随机线性网络编码子流程图;
图7为接收端网络解码子流程图;
图8为在不同的丢包率和不同的网络编码策略的情况下视频重建质量仿真图;其中,图8(a)为利用只在端系统编码(RNC)方法、一般的随机线性网络编码方法(RLNC)和本发明方法(R2NC)分别对coastguard视频序列进行仿真得到的峰值信噪比仿真图;图8(b)为利用只在端系统编码(RNC)方法、一般的随机线性网络编码方法(RLNC)和本发明方法(R2NC)分别对Forman视频序列进行仿真得到的峰值信噪比仿真图;
图9为在丢包率为15%的情况下,采用不同的网络编码策略,接收端收到的主观视频质量;其中,图9(a)为原始视频图像;图9(b)为利用本发明方法对coastguard_qcif视频序列进行仿真得到的主观视频质量;图9(c)为利用只在端系统编码的方法对coastguard_qcif视频序列进行仿真得到的主观视频质量;图9(d)为利用一般的随机线性网络编码方法对coastguard_qcif视频序列进行仿真得到的主观视频质量。
具体实施方式
下面结合附图对本发明作进一步的详细描述。
本发明将网络编码应用于可伸缩视频传输保护,通过在端系统和中继节点设计合理的网络编码策略,以解决网络丢包对视频传输带来的不利影响,从而提高视频传输的可靠性和效率。参照图1,本发明联合端系统和中继节点网络编码的鲁棒视频传输方法,包括如下步骤:
第一步:发送端对可扩展视频流排序、打包,再构造编码包并按视频质量失真模型优化求解后的冗余分配方案生成冗余包:
(1)合理的安排可伸缩视频流可以有效的降低网络丢包对接收端视频质量的影响;
(2)设计基于网络编码的不平等保护策略,对不同重要性的码流打包,实施不同程度的保护。
基于可扩展单元的可伸缩视频流交织打包格式如图2所示:其中可伸缩码流被分为T个时间层和Q个质量层,根据时间层和质量层将视频流组成一个可扩展单元。图中白色部分的数据EPSU(i,j)为对可伸缩视频流的可扩展单元SU(i,j)进行网络编码后的编码包,而灰色部分的数据RPSU(i,j)为对SU(i,j)通过网络编码添加的冗余包,总的编码包数目为N个,而冗余包数目为r个。其中hi,j为可扩展单元SU(i,j)的高度,而wi,j为可扩展单元SU(i,j)的宽度。接收端根据可扩展单元的宽度解码,当接收端收到wi,j以上个数的数据包后,可扩展单元SU(i,j)可以解码。其中重要性高的可扩展单元由较少的数据包组成,即可扩展单元的宽度较小时可以获得更多的保护,接收端只需要较少数量的数据包就可以完成解码,从而保证在接收端可以获得更高的解码概率。
基于可扩展单元的可伸缩视频流交织打包流程如图3所示,包括如下步骤:
a)求解视频传输优化模型,得到可伸缩码流中最优的分层码流的高度H和宽度W。根据最优的分层码流的高度H和宽度W将不同层的码流划分成不同大小的数据块;
b)采用交织读取的方式提取数据块,计算数据块在数据包中的填充位置,然后将数据块填充到对应的数据包位置中;
c)根据最优的分层码流的高度H和宽度W,用最优的分层码流的宽度W处以缓存区总的宽度,求解出冗余包的添加比例,然后对填充好的数据包执行随机线性网络编码,生成编码包和冗余包。
(3)建立基于可伸缩视频流特性和网络编码约束的视频传输优化模型,优化的目标是考虑可伸缩视频流自身特性、编码特性以及链路容量限制,合理的安排可伸缩视频码流和端系统的冗余分配,从而保证视频质量失真最小。其中建立视频质量失真模型的流程如图4所示,包括如下步骤:
(a)端系统通过实验预测的方法获得可伸缩视频流可扩展单元SU丢失后的视频PSNR值,再计算出可扩展单元丢失造成的视频流PSNR下降值,用来确定该可扩展单元的重要性δi,j
(b)通过实验仿真计算出接收端收不到该视频流可扩展单元SU的概率,即得到可扩展单元丢失的概率表达式;
(c)当获得一个GOP中所有可扩展单元的以上两项值后,构建总体视频质量失真模型Doverall
所述视频质量失真模型是基于可伸缩视频流特性和网络编码约束的视频传输优化模型,建立的视频质量失真模型优化的目标是通过寻找最优的冗余分配和码流安排方法使得视频质量失真最小。对于可伸缩视频传输系统,采用端到端系统性能优化判据主要以接收端重建视频的峰值信噪比PSNR值度量。为建立视频质量失真模型,将可伸缩码流分为T个时间层和Q个质量层,根据时间层和质量层将视频流组成一个可扩展单元。用i代表时间层编号,j代表质量层编号,其中i取值从0到T-1,j取值0到Q-1,每个可扩展单元SU(i,j)的宽度为wi,j,可扩展单元的高度为hi,j,如下式所示:
D overall = Σ i = 0 T - 1 Σ j = 0 Q - 1 σ i , j · ρ i , j ( w i , j )
W = w 0,0 w 0,1 . . . w 0 , Q - 1 w 1 , 0 w 1,1 . . . w 1 , Q - 1 . . . . . . . . . . . . w T - 1,0 w T - 1,1 . . . w T - 1 , Q - 1
,优化的目标是考虑可伸缩视频流自身特性、编码特性以及网络容量限制,合理的安排可伸缩视频流的冗余分配,从而保证视频质量失真最小,如下式所示:
min{Doverall(W)}
s.t.
Σ i = 0 T - 1 Σ j = 0 Q - 1 h i , j + H ≤ M
wi,j≤wi+1,j,i=0,1,......,T-2,j=0,1,......,Q-1
wi,j≤wi,j+1,i=0,1,......,T-1,j=0,1,......,Q-2
Σ i = 0 T - 1 Σ j = 0 Q - 1 h i , j · ( N + r ) ≤ B tot
其中,
Doverall是视频传输总的失真,即一个GOP中总体可扩展单元丢失造成的视频质量下降值;
W是分层码流的宽度,用可扩展单元宽度分配矩阵表示,优化的目地就是确定一个最优的W,使得视频质量失真最小;
H是分层码流的高度,由数据缓冲区的大小和码流的数据量决定;
M是数据包的长度;
wi,j为一个GOP(画面组)中可扩展单元SU(i,j)的宽度,wi,j直接决定可扩展单元SU(i,j)分配的冗余量;
ρi,j(wi,j)为可扩展单元SU(i,j)的宽度为wi,j时数据包丢失的概率,即考虑应用网络编码对视频传输进行保护时可扩展单元SU(i,j)丢失的概率,而此概率同源端使用随机线性网络编码时为SU(i,j)视频数据所添加的冗余量直接相关;
σi,j为一个GOP中可扩展单元SU(i,j)的重要程度;
hi,j为一个GOP中可扩展单元SU(i,j)的高度,与具体的视频内容和编码方式有关;
T和Q分别为时间层和质量层;
N为可伸缩码流排序后生成的总的数据包数目;
r为添加的冗余包数目;
Btot为分配给一个GOP的总的码流;
第二步,考虑可伸缩码流特性,设计网络中继节点的网络编码策略:
(1)设计一种梯形全局编码矩阵用于中继节点的网络编码策略;
设计了一种基于梯形分割的下三角全局编码矩阵(LTGCM)如图5(c)所示,该编码矩阵不但保证了图5(b)矩阵的优势,当第i-1层的码流不能正确解码时,不采用将第i-1层的码流直接丢失,而是等待第i层码流到达后继续解码,而且需要更少的冗余,编码向量之间具有很高的线性无关性,提高了接收端的解码概率。
所述基于梯形分割的下三角全局编码矩阵的构造方法为:
根据最优的分层码流的高度H和宽度W,确定编码矩阵的行数和列数,然后用有限域中的基本运算构建基于梯形分割的下三角全局编码矩阵,该矩阵是一种稀疏矩阵,矩阵从左到右依次存放重要程度递增的码流,重要的码流存放在矩阵的靠右的部分,不重要的码流存放在矩阵的靠左的部分,这样可以提高重要的码流参与网络编码的概率。
(2)中继节点执行随机线性网络编码的流程如图6所示,包括如下步骤:
(a)中继节点从输入链路接收来自同一组的数据包,并将来自同一条输入链路的数据包存储到同一个缓存;
(b)缓存中的数据包个数大于编码最小上限时,在有限域中随机的选择编码系数构成编码向量,使之符合基于梯形分割的下三角全局编码矩阵的形式,然后对缓存中的数据包进行线性组合生成新的编码包;线性组合的过程为:提取基于梯形分割的下三角全局编码矩阵编码向量,用编码向量乘以同组数据包的数据构成的矩阵生成编码包。
(c)将生成的编码包发送到该中继节点的输出链路。
第三步:接收端对收到的编码包采用高斯-约旦消元法分层解码并将其恢复成原始的视频序列,流程图如图7所示,包括如下步骤:
Step1、接收端对同一组中的数据包,根据可扩展单元的高度和宽度,提取编码块和编码向量;
Step2、在有限域中计算可扩展单元的编码向量构成的矩阵的秩,当矩阵满秩时,在有限域中用高斯-约旦消元法求解出可扩展单元的编码向量构成的矩阵的逆矩阵M;
Step3、用全局编码矩阵的逆矩阵M乘以可扩展单元编码块矩阵解码出原始的可扩展单元;
Step4、按码流重要性顺序,循环完成下一个可扩展单元的解码过程。
本发明的效果可以通过以下对Forman序列和Coastguard序列的仿真结果进一步说明:
(1)利用不同网络编码方法在丢包率为0~0.35的情况下,对峰值信噪比值进行仿真,其结果如图8中所示,图8表明,采用本发明方法与其他两种网络编码方法相比,接收端收到的视频的平均峰值信噪比值最高。随着网络丢包率的增加,本发明方法在接收端收到的视频质量缓慢下降,并不随着丢包率增大而显著下降。可见本发明方法的抗差错性能最强。
(2)在丢包率为15%的情况下,采用不同的网络编码策略,接收端收到的第187帧coastguard_qcif视频图像如图9所示。图9表明,在丢包率为15%的情况下,利用本发明方法与其他两种编码方法相比,接收端收到的coastguard_qcif视频图像比较清晰。
以上所述仅为本发明的较佳实例而已,并不构成对本发明的限制,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种联合端系统和中继节点网络编码的鲁棒视频传输方法,其特征在于:包括如下步骤:
第一步:发送端按视频质量失真模型优化求解出冗余分配方案,然后按照冗余分配方案对可伸缩视频流排序、建立可伸缩视频流交织打包格式、构造编码包并生成冗余包,然后将编码包和冗余包发送到网络上;
所述视频质量失真模型是基于可伸缩视频流特性和网络编码约束的视频传输优化模型,如下式所示:
D overall = Σ i = 0 T - 1 Σ j = 0 Q - 1 σ i , j · ρ i , j ( w i , j )
W = w 0,0 w 0,1 . . . w 0 , Q - 1 w 1,0 w 1,1 . . . w 1 , Q - 1 . . . . . . . . . . . . w T - 1,0 w T - 1,1 . . . w T - 1 , Q - 1
,优化的目标是考虑可伸缩视频流自身特性、编码特性以及网络容量限制,合理的安排可伸缩视频流的冗余分配,从而保证视频质量失真最小,如下式所示:
min{Doverall(W)}
s.t.
Σ i = 0 T - 1 Σ j = 0 Q - 1 h i , j + H ≤ M
wi,j≤wi+1,j,i=0,1,......,T-2,j=0,1,......,Q-1
wi,j≤wi,j+1,i=0,1,......,T-1,j=0,1,......,Q-2
Σ i = 0 T - 1 Σ j = 0 Q - 1 h i , j · ( N + r ) ≤ B tot
其中,
Doverall是视频传输总的失真;
W是分层码流的宽度;
H是分层码流的高度;
M是数据包的长度;
wi,j为一个GOP中可扩展单元SU(i,j)的宽度;
ρi,j(wi,j)为可扩展单元SU(i,j)的宽度为wi,j时数据包丢失的概率;
σi,j为可扩展单元SU(i,j)的重要程度;
hi,j为一个GOP中可扩展单元SU(i,j)的高度;
T和Q分别为时间层和质量层;
N为可伸缩码流排序后生成的总的数据包数目;
r为添加的冗余包数目;
Btot为分配给一个GOP的总的码流;
第二步:网络中继节点执行随机线性网络编码生成编码包;
第三步:接收端对从网络中继节点接收的编码包采用高斯-约旦消元法分层解码得到视频数据包,从视频数据包中提取视频数据,利用视频数据恢复出原始的可伸缩视频流。
2.根据权利要求1所述一种联合端系统和中继节点网络编码的鲁棒视频传输方法,其特征在于:所述建立可伸缩视频流交织打包格式包括如下具体步骤:
1)求解视频传输优化模型,得到可伸缩码流中最优的分层码流的高度和宽度,根据最优的分层码流的高度和宽度将不同层的码流划分成不同大小的数据块;
2)采用交织读取的方式提取数据块,计算数据块在数据包中的填充位置,然后将数据块填充到对应的数据包位置中。
3.根据权利要求1所述一种联合端系统和中继节点网络编码的鲁棒视频传输方法,其特征在于:所述构造编码包并生成冗余包包括以下步骤:用最优的分层码流的宽度除以缓存区总的宽度,求解出冗余包的添加比例,然后对填充好的数据包执行随机线性网络编码,生成编码包和冗余包。
4.根据权利要求1所述一种联合端系统和中继节点网络编码的鲁棒视频传输方法,其特征在于:网络中继节点执行随机线性网络编码的流程包括如下步骤:
1)中继节点从输入链路接收来自同一组的数据包,然后将来自同一条输入链路的数据包存储到同一个缓存;
2)缓存中的数据包个数大于编码最小上限时,在有限域中随机的选择编码系数构成编码矩阵并对缓存中的数据包进行线性组合生成新的编码包;
3)将生成的新的编码包发送到该中继节点的输出链路;
所述编码矩阵是基于梯形分割的下三角全局编码矩阵。
5.根据权利要求4所述一种联合端系统和中继节点网络编码的鲁棒视频传输方法,其特征在于:根据最优的分层码流的高度和宽度,确定编码矩阵的行数和列数,然后用有限域中的基本运算构建基于梯形分割的下三角全局编码矩阵,该矩阵是一种稀疏矩阵,矩阵从左到右依次存放重要程度递增的码流;提取基于梯形分割的下三角全局编码矩阵编码向量,用编码向量乘以同组数据包的数据构成的矩阵生成编码包。
6.根据权利要求1所述一种联合端系统和中继节点网络编码的鲁棒视频传输方法,其特征在于:用高斯-约旦消元法分层解码的过程为:
1)接收端从输入链路上接收编码包,对于同一组中的编码包,根据可扩展单元的高度和宽度提取收到的编码包中的可扩展单元的编码块和编码向量,并分别存储到编码包缓存和编码向量缓存中;
2)在有限域中计算可扩展单元的编码向量构成的矩阵的秩,当该矩阵的秩等于可扩展单元的宽度,即可扩展单元的编码向量构成的矩阵满秩时,在有限域中用高斯-约旦消元法求解出可扩展单元的编码向量构成的矩阵的逆矩阵;
3)用逆矩阵乘以可扩展单元编码块矩阵解码出原始的可扩展单元,按码流重要性顺序,即根据可扩展单元中时间层和质量层ID号循环完成下一个可扩展单元的解码过程。
CN201310150375.1A 2013-04-26 2013-04-26 一种联合端系统和中继节点网络编码的鲁棒视频传输方法 Active CN103260033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310150375.1A CN103260033B (zh) 2013-04-26 2013-04-26 一种联合端系统和中继节点网络编码的鲁棒视频传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310150375.1A CN103260033B (zh) 2013-04-26 2013-04-26 一种联合端系统和中继节点网络编码的鲁棒视频传输方法

Publications (2)

Publication Number Publication Date
CN103260033A true CN103260033A (zh) 2013-08-21
CN103260033B CN103260033B (zh) 2017-02-08

Family

ID=48963693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310150375.1A Active CN103260033B (zh) 2013-04-26 2013-04-26 一种联合端系统和中继节点网络编码的鲁棒视频传输方法

Country Status (1)

Country Link
CN (1) CN103260033B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592540A (zh) * 2016-07-07 2018-01-16 腾讯科技(深圳)有限公司 一种视频数据处理方法及装置
CN109525936A (zh) * 2018-01-15 2019-03-26 四川中电昆辰科技有限公司 多频点位置数据回传系统
CN109618170A (zh) * 2018-12-04 2019-04-12 嘉兴国电通新能源科技有限公司 基于网络编码的d2d实时视频流传输方法
CN110211146A (zh) * 2019-05-16 2019-09-06 中国人民解放军陆军工程大学 视交叉仿真的视频前景分割方法及装置
CN110521150A (zh) * 2017-04-10 2019-11-29 高通股份有限公司 用于极性码的高效交织器设计
CN108432202B (zh) * 2015-11-03 2021-05-28 巴科股份有限公司 用于电信网络中的数据流的优化路由的方法和系统
WO2022051897A1 (zh) * 2020-09-08 2022-03-17 华为技术有限公司 编码方法及装置
CN114390565A (zh) * 2022-02-23 2022-04-22 重庆邮电大学 基于稀疏网络编码的密度优化的解码方法
CN115378548A (zh) * 2022-08-17 2022-11-22 中国人民解放军63892部队 一种面向无连接的二元叠加确定线性网络编码传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202264A (zh) * 2011-06-01 2011-09-28 中国人民解放军信息工程大学 无线协作中继网络可靠组播传输方法和系统
JP2011239341A (ja) * 2010-05-13 2011-11-24 Mitsubishi Electric Corp 通信システムおよび経路選択方法
CN102811120A (zh) * 2012-08-03 2012-12-05 西安电子科技大学 基于网络编码的双向中继harq控制系统与方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239341A (ja) * 2010-05-13 2011-11-24 Mitsubishi Electric Corp 通信システムおよび経路選択方法
CN102202264A (zh) * 2011-06-01 2011-09-28 中国人民解放军信息工程大学 无线协作中继网络可靠组播传输方法和系统
CN102811120A (zh) * 2012-08-03 2012-12-05 西安电子科技大学 基于网络编码的双向中继harq控制系统与方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CUIPING JING ET AL: "R2NC:Redundant and Random Network Coding for Robust H.264/SVC Transmission", 《2011 INTERNATIONAL CONFERENCE ON NETWORK-BASED INFORMATION SYSTEMS》, 31 December 2011 (2011-12-31), pages 1 *
刘洪等: "无线网络中节点均匀分布的解码转发机会中继性能分析", 《北京大学学报(自然科学版)》, 31 March 2012 (2012-03-31), pages 183 - 192 *
杨林等: "网络编码的研究进展", 《计算机研究与发展》, 31 December 2008 (2008-12-31), pages 400 - 407 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108432202B (zh) * 2015-11-03 2021-05-28 巴科股份有限公司 用于电信网络中的数据流的优化路由的方法和系统
CN107592540B (zh) * 2016-07-07 2020-02-11 腾讯科技(深圳)有限公司 一种视频数据处理方法及装置
CN107592540A (zh) * 2016-07-07 2018-01-16 腾讯科技(深圳)有限公司 一种视频数据处理方法及装置
US10652580B2 (en) 2016-07-07 2020-05-12 Tencent Technology (Shenzhen) Company Limited Video data processing method and apparatus
CN112039636A (zh) * 2017-04-10 2020-12-04 高通股份有限公司 用于极性码的高效交织器设计
US11558149B2 (en) 2017-04-10 2023-01-17 Qualcomm Incorporated Efficient interleaver design for polar codes
US11996940B2 (en) 2017-04-10 2024-05-28 Qualcomm Incorporated Efficient interleaver design for polar codes
CN110521150B (zh) * 2017-04-10 2020-10-09 高通股份有限公司 用于极性码的高效交织器设计
CN110521150A (zh) * 2017-04-10 2019-11-29 高通股份有限公司 用于极性码的高效交织器设计
CN109525936A (zh) * 2018-01-15 2019-03-26 四川中电昆辰科技有限公司 多频点位置数据回传系统
CN109525936B (zh) * 2018-01-15 2024-03-19 四川中电昆辰科技有限公司 多频点位置数据回传系统
CN109618170A (zh) * 2018-12-04 2019-04-12 嘉兴国电通新能源科技有限公司 基于网络编码的d2d实时视频流传输方法
CN109618170B (zh) * 2018-12-04 2021-10-01 嘉兴国电通新能源科技有限公司 基于网络编码的d2d实时视频流传输方法
CN110211146A (zh) * 2019-05-16 2019-09-06 中国人民解放军陆军工程大学 视交叉仿真的视频前景分割方法及装置
WO2022051897A1 (zh) * 2020-09-08 2022-03-17 华为技术有限公司 编码方法及装置
CN114390565A (zh) * 2022-02-23 2022-04-22 重庆邮电大学 基于稀疏网络编码的密度优化的解码方法
CN114390565B (zh) * 2022-02-23 2023-07-18 重庆邮电大学 基于稀疏网络编码的密度优化的解码方法
CN115378548A (zh) * 2022-08-17 2022-11-22 中国人民解放军63892部队 一种面向无连接的二元叠加确定线性网络编码传输方法

Also Published As

Publication number Publication date
CN103260033B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN103260033A (zh) 一种联合端系统和中继节点网络编码的鲁棒视频传输方法
CN101478373B (zh) 一种信源信道编码联合优化的自适应差错控制方法
CN101902296B (zh) 一种喷泉码的编解码方法和装置
CN104159166B (zh) 基于移动网络丢包状态的直播视频数据传输差错控制方法
CN102694636B (zh) 采用喷泉码的harq技术的发送、接收方法及系统
CN101895376B (zh) 用于实现多跳无线网络中数据广播的传输方法
CN101826937B (zh) 适用于下一代移动互联网的链路层差错控制系统及其方法
CN103023813B (zh) 抖动缓冲器
CN109510687A (zh) 一种基于卫星通信的喷泉码编码方法
Hamdoun et al. Performance benefits of network coding for HEVC video communications in satellite networks
CN1845611A (zh) 基于h.264的视频传输保护方法
CN103051981A (zh) 用于视频多跳传输的自适应帧长计算方法
Khalaf et al. Improving video transmission over heterogeneous network by using ARQ and FEC error correction algorithm
CN103354615B (zh) 基于信号强度的直播视频数据传输差错控制方法
CN103354479A (zh) 一种基于lt码的空间dtn传输方法
CN103338412A (zh) 结合无线自适应调制与编码的自适应视频编码系统
Tsai et al. An adaptive packet and block length forward error correction for video streaming over wireless networks
CN103051424A (zh) 一种不等错误保护喷泉码的无线传输方法
CN104104727B (zh) 一种基于Raptor码的大文件传输方法
CN104852788A (zh) 基于最大-最小网络编码的数据广播arq方法
CN108667557A (zh) 一种基于媒体内容的自适应fec编码矩阵设计方法
Razzaq et al. Layered video transmission using wireless path diversity based on grey relational analysis
CN106230560A (zh) 无线网络中协作多媒体多播数据传输方法
CN106533618A (zh) 基于LDPC编译码的空间DTN 网络Bundle前向纠错方法
Hu et al. Channel condition ARQ rate control for real-time wireless video under buffer constraints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220811

Address after: 712000 No. 172, building B9, No. 016, east section of Century Avenue, Fengdong new town, Xixian New District, Xi'an City, Shaanxi Province

Patentee after: Shi Jin

Address before: 710049 No. 28 West Xianning Road, Shaanxi, Xi'an

Patentee before: XI'AN JIAOTONG University