CN102231837B

CN102231837B - 基于子画面群的前向纠错实时视频传输方法

Info

Publication number: CN102231837B
Application number: CN2011101700676A
Authority: CN
Inventors: 肖继民; 罗天明
Original assignee: Xian Jiaotong Liverpool University
Current assignee: Xian Jiaotong Liverpool University
Priority date: 2011-06-23
Filing date: 2011-06-23
Publication date: 2013-06-12
Anticipated expiration: 2031-06-23
Also published as: CN102231837A

Abstract

本发明公开了一种基于子画面群的前向纠错实时视频传输方法，其特征在于所述方法中视频采用（N，K）Reed-Solomon编码器进行编码，包括以下步骤：（1）视频发送端将视频画面群中所有单幅影像画面的帧依次序划分成若干个子画面群；采用（N，K）Reed-Solomon编码器以子画面群为编码单位将视频单幅影像画面的帧编码生成数据包立即放入网络传送，并在每个子画面群数据包的最后一帧基于整个子画面群产生校验包，将生成的校验包放入网络传输；（2）视频接受端接受到数据包后立即解码，如果数据包未丢失，则无需处理；如果丢失的数据包小于N-K时，进行数据包恢复，重新解码。该方法不会造成任何时延，实现了实时通信。

Description

基于子画面群的前向纠错实时视频传输方法

技术领域

本发明属于视频编码技术领域，具体涉及一种基于子画面群的前向纠错实时视频传输方法。

背景技术

与H.263、MPEG2视频编码标准相比，H.264/AVC视频编码标准提供了更高的编码效率和更强的网络适应性。但是，与以往的视频压缩标准相同的是，H.264/AVC是建立在混合编码方法基础上的融合运动补偿预测算法的变换编码。因此，经过H.264编码的视频码留在丢包网络中传输时会受到误差扩散的影响，并由此产生严重的漂移现象。

目前，各种抗误码技术已经被广泛应用，使得不可靠网络传送视频信号变得可行。这些技术包括帧内宏块刷新(Intra Macroblock Refreshment)，自动重传请求(ARQ)，基于反馈的参考帧选择(RPS)，冗余图像编码(使用相同或低于原图像质量的冗余)和多描述编码(MDC)，以及前向纠错(FEC)编码技术。在这些抗误码技术中，帧内宏块刷新，冗余图像编码和多描述编码不会产生额外延时，因此更适合实时视频通信。但是，就帧内宏块刷新技术而言，由于帧内编码效率远低于帧间的编码效率，导致整体编码效率显著降低。在冗余图像编码和多描述编码中，当冗余版本替代了最初版本或者当一些描述在传输过程中被丢失时，就会造成失配误差。而失配误差将会传播至整个画面群(GOP)。

由于网络往返时延，自动重传请求和参考帧选择(RPS)技术都会产生较长延时。因此，这两种技术都无法实践于实时视频通信中。而在前向纠错技术(FEC)中，时延的长短取决于FEC编码数据块的大小。在E.Baccaglini，T.Tillo，and G.Olmo.Slice sorting for unequal loss protection ofvideo streams.Signal Processing Letters，IEEE，2008.中，Reed-Solomon编码块包含了整个画面群，并且产生了一个图片群的延时。在X.Yang，Ce Zhu，Zheng Guo Li，Xiao Lin，and Nam Ling.An unequalpacket loss resilience scheme for video over the internet.Multimedia，IEEE Transactions on，7(4)：753-765，2005.中，RS编码块包含了1个子画面群的帧，因此延迟取决于子画面群的长度。在N.Thomos，S.Argyropoulos，N.V.Boulgouris，and M.G.Strintzis.Robust transmission of h.264/avc video using adaptive slice groupingand unequal error protection.In Multimedia and Expo，2006IEEEInternational Conference on，pages 593-596，2006.中，RS编码应用在每一帧中，因此没有产生前向纠错编码延时。然而，当RS编码块只包含一帧的数据包时，由于数据包数量太少，RS保护的效率并不高。

RS编码已被广泛应用在前向纠错编码中，以此来减少数据包在丢包网络中丢失所带来的影响。在RS(N，K)编码中，在K个源数据包中引入N-K个校验包来保护源数据包。只要接收端接收到N个数据包中的K个，所有的源数据包就可以被还原。就RS编码而言，对于相同的编码率K/N，增加K的值会提高RS编码的性能。但是，高K值会造成大的RS编码块，并因此导致长时延。对于视频会议这样的实时应用，这样的时延是不可接受的。

发明内容

本发明目的在于提供一种基于子画面群的前向纠错实时视频传输方法，解决了现有技术中，当视频编码基于每帧进行校验纠错导致纠错性能低，同时当以整个画面组进行校验纠错时，时延大的问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于子画面群的前向纠错实时视频传输方法，其特征在于所述方法中视频采用(N，K)Reed-Solomon编码器进行编码，包括以下步骤：

(1)视频发送端将视频画面群中所有单幅影像画面的帧依次序划分成若干个子画面群；采用(N，K)Reed-Solomon编码器以子画面群为编码单位将视频单幅影像画面的帧编码生成数据包立即放入网络传送，并在每个子画面群数据包的最后一帧基于整个子画面群产生校验包，将生成的校验包放入网络传输；

(2)视频接受端接受到数据包后立即解码，如果数据包未丢失，则无需处理；如果丢失的数据包小于N-K时，进行数据包恢复，重新解码。

优选的，所述方法中当视频接受端尚未接受到子画面群的校验包时，采用错误掩盖技术处理丢失的数据包。

优选的，所述方法中当丢失的数据包大于N-K时，放弃解码。

优选的，所述方法中当视频接受端尚接受到子画面群的校验包时，使用RS解码器恢复该子画面群中丢失的所有数据包，并重新解码整个子画面群，并更新参考帧缓存。

优选的，所述方法步骤(1)中通过贪婪算法依次确定所有校验包中每个校验包在视频单幅影像画面的帧的位置，根据校验包的位置确定子画面群的分配情况。

优选的，所述方法中所述贪婪算法是根据校验包放在单幅影像画面帧的不同的位置，获得不同子画面组分配造成的误差期望；当形成最小误差期望时，所放置的单幅影像画面的位置为该校验包的位置；然后继续寻找下一个校验包的位置。

优选的，所述方法中校验包的数量等于系统RS(N，K)编码中参数N和K的差值。

具体的，视频发送端根据贪婪算法先进行子画面组的多少、大小分配以及RS校验包位置和多少的分配；子画面组确定后，开始进行第一个子画面组(Sub-GOP)的视频编码(每一帧图像进行编码)，检查编码所在的帧是否是子画面组(Sub-GOP)的最后一帧。当编码所在的帧是子画面组(Sub-GOP)的最后一帧时，编码当前帧的所有视频数据包，并生成的当前子画面组的校验包；当编码所在的帧不是Sub-GOP的最后一帧时，编码当前帧的所有视频包，把这些包直接放入RS编码块中。然后进行下一个子画面组(Sub-GOP)的视频编码，直到所有子画面组(Sub-GOP)编码完毕。当最后子画面组的最后一帧编码完毕时，结束视频发送端编码过程。

具体的，视频接收端从网络上接收视频数据包和校验包；一旦接收完一个数据包，检查数据包是否是某一子画面组的最后一帧。当数据包不是某一子画面组的最后一帧时，解码当前的视频包，对于丢失的包使用错误掩盖技术恢复；当数据包是某一子画面组的最后一帧时，尝试使用接收到的RS校验包恢复所有的数据包，并使用恢复的数据包重新解码整个子画面组，更新参考帧缓存。当接收的数据包不是视频(GOP)的最后一帧时，继续进行下一个数据包的接收和解码。当接收的数据包是视频(GOP)的最后一帧时，结束所有视频的解码。

本发明技术方案采用(N，K)RS编码器进行编码，特别是在发送端采用了系统RS编码，源数据包并未改变，因此视频编码器生成的数据包将立即放入网络传送，而子画面群的最后一帧后产生基于整个子画面组的校验包在最后一帧的数据包后也放入网络传送；在接收端，对于子画面群中的非最后一帧数据包，接收到数据包后立即解码，对于丢失的数据包，使用错误掩盖技术处理；同时，当子画面群中的最后一帧的校验包到达时，尝试使用RS解码器恢复该子画面群中丢失的所有数据包，并重新解码整个子画面群，并更新参考帧缓存。

本发明使用系统RS码(systematic Reed-Solomon code)来保护视频包。为了增加RS编码块的大小以提高RS码的性能，本发明采用了子画面群(通常多于1帧)作为RS编码块，同时，由于使用了系统RS码，所以不会造成任何编码时延。在编码端，数据包在进行系统RS编码时并未改变，而是在子画面群末尾增加了校验包，因此不会产生编码时延。另外，在解码端，视频解码器解码和显示一帧图片只需要与此帧相关的数据包。如果这一帧中的某些包在传输过程中丢失，误码掩盖技术将会被用来掩盖丢失包。这样，解码器就不需要等待所有属于这个子画面群的包。因此，解码端也不会产生时延。之后，当这个子画面群中所有的包都传输完毕，RS解码器会尝试还原丢失包。如果这个子画面群中的丢失包少于(N-K)，RS解码器可以还原子画面群的所有数据包。视频解码器将会利用接受到的数据包和还原的数据包对这个子画面群进行重新解码并更新参考帧，所以误码掩盖失真不会传播到之后的帧。

本发明使用基于子画面组的RS保护比基于每帧的RS保护要效果更好，但是如何划分子画面组并分配RS校验包还需确定。K是编码前数据包的数量，N-K是校验包的数量。一方面，如果子画面组包括了太少的帧，RS编码中K的值不足够大，RS效率不高；另一方面，如果子画面组包括了太多的帧，解码端需到子画面组的最后才能使用RS包，这样使得子画面组中前面部分帧的质量比较差，所以需要合理的设置子画面组的大小。针对这个问题提出了基于贪婪算法的解决方案：假设在一个画面组中有L个帧，RS校验包的数量是R，贪婪算法的基本思想是每次只分配一个RS校验包，并确保这次分配的结果是局部最优的。对于每个RS校验包，算法将尝试把它放在可能的L个位置，放在每个不同的位置将导致不同子画面组分配，造成的误差期望也将不同，贪婪算法将选择造成最小误差期望的位置放入该RS校验包，并针对每个RS校验包执行同样的操作。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明实施例子画面群的前向纠错实时视频传输方法原理图；

图2为本发明实施例视频发送端的流程图；

图3为本发明实施例视频接收端的流程图；

图4为两个子画面组(Sub-GOP)和RS校验包分配的示意图，其中每个帧有5个分片；

图5为两个子画面组(Sub-GOP)和RS校验包分配的示意图，其中每个帧有10个分片；

图6为Foreman测试序列PSNR-码率曲线；

图7为Bus测试序列PSNR-码率曲线。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例子画面组的前向纠错实时视频传输实施例

本实施例采用了H.264JM软件来生成视频流，在生成视频包的时候采用了固定包长度的方式(Fixed Slice Length)，考虑到了无线网络的最大包长度(MTU)，将目标视频包大小设成了400Byte，每个分片(Slice)放在一个网络包中传送。在H.264预测编码过程中只使用一个编码参考帧。H.264画面组(GOP)的结构为IPPP…，也就是说在一个画面组中除了第一帧是I帧外，其他的帧都为P帧。测试所用的视频序列为标准的CIF格式Foreman和Bus序列。

如图1所示进行视频的子画面群的划分原理图。通过贪婪算法进行划分子画面群。贪婪算法的步骤如下所示：

其中L为一个画面组中P帧的数量，R(i)为帧i中分配的校验包数量。

如图1所示，划分得到三个子画面组，第一个子画面组包含了P帧1、P帧2和P帧3共3幅帧，后面二个画面组各包含了2幅帧，所有的RS包都放在子画面组的最后。

如图2所示，视频发送端根据贪婪算法先进行子画面组的多少、大小分配以及RS校验包位置和多少的分配；子画面组确定后，开始进行第一个子画面组(Sub-GOP)的视频编码(每一帧图像进行编码)，检查编码所在的帧是否是子画面组(Sub-GOP)的最后一帧。当编码所在的帧是子画面组(Sub-GOP)的最后一帧时，编码当前帧的所有视频数据包，并生成的当前子画面组的校验包；当编码所在的帧不是Sub-GOP的最后一帧时，编码当前帧的所有视频包，把这些包直接放入RS编码块中。然后进行下一个子画面组(Sub-GOP)的视频编码，直到所有子画面组(Sub-GOP)编码完毕。当最后子画面组的最后一帧编码完毕时，结束视频发送端编码过程，发送当前的视频(GOP)的所有视频数据包和校验包。

如图3所示，视频接收端从网络上接收视频数据包和校验包；一旦接收完一个数据包，检查数据包是否是某一子画面组的最后一帧。当数据包不是某一子画面组的最后一帧时，解码当前的视频包，对于丢失的包使用错误掩盖技术恢复；当数据包是某一子画面组的最后一帧时，尝试使用接收到的RS校验包恢复所有的数据包，并使用恢复的数据包重新解码整个子画面组，更新参考帧缓存。当接收的数据包不是视频(GOP)的最后一帧时，继续进行下一个数据包的接收和解码。当接收的数据包是视频(GOP)的最后一帧时，结束所有视频的解码。

如图1中第一个画面组，如果在帧1和帧2中存在丢包，由于该系统是实时的，此时第一个画面组的RS校验包并未到达，所以不能尝试利用RS包复原所丢失的包，即只能使用错误掩盖技术。当第三帧和RS包到达接受端后，RS解码器会尝试复原所有丢失的包。对于该子画面群，使用了三个RS校验包，因此可以复原三个网络丢包。如果RS校验包能够复原所有的丢包，视频解码器会利用接收到的数据包和复原的数据包重新解码该子画面组，这样P帧三中就不存在丢包误差，同时帧一和帧二的丢包误差也不扩散到后面的帧中。

所述子画面群的数目根据贪婪算法形成的，把整个子画面组作为编码单元进行RS编码，例子中是以子画面组为单元进行RS编码的，如图1中，第五帧下面的校验包是用来保护第四和第五帧的。这里第四和第五帧就是一个子画面组。

后面两个子画面组包含了两个帧，假如每个帧将生成5个数据包。RS编码的冗余率是20％，这也意味着对于这个子画面组的10个数据包，将使用2个RS校验包，也就是使用(12，10)RS编码。在一个子画面组中，当视频编码器编码完第一个帧，实时通信系统马上发送生成的5个数据包。由于网络丢包，假设这5个包中的2个在传送过程中丢失。当这3个数据包成功到达接收端时，接收端解码并显示该帧，对于丢失的2个包，接收端将使用错误掩盖技术。这说明在接收端没有任何解码和显示时延。接下来，第二个帧也将产生5个数据包，同时由于第二帧是这个子画面组的最后一个帧，系统将基于这个子画面组的10个数据包生成2个RS校验包。假设这次5个数据包和2个RS校验包都顺利地到达接收端，在接收端RS(12，10)解码器将能够复原第一帧丢失的2个数据包。然后视频解码器将接收到的和复原的数据包重新解码，并更新参考帧。在该情况下，这个子画面组的第二帧将没有任何误差，同时也没有任何误差将传播到后面的帧中。

现有技术为了达到视频的实时传输，往往给每个帧都加RS校验包，对于同样的冗余率20％，每个帧将使用RS(6，5)编码，这意味着对于第一帧，RS码就不能够复原丢失的2个数据包，最终掩盖误差将扩散到第二帧以及后面的所有帧中，严重影响整个画面组的视频质量。基于子画面组的RS保护和基于每帧的RS保护都没有造成任何时延，也就是实现了实时通信，但基于子画面组的RS保护能够有效的阻止误差扩散，效果明显。

传输子画面群时，未接受校验包时，采用复制前面帧相同位置像素值的办法进行错误掩盖，这种方法是非常普遍使用的错误掩盖方法(TemporalReplacement)；数据包的恢复过程就是RS的解码过程，也是个标准的过程。

在图4和图5给出了两个子画面组(Sub-GOP)和RS校验包分配的例子，在实例中假设丢包率p为5％，一个GOP中有30个P帧，RS包冗余率为20％，图4中假设每个帧有5个分片(slice)，图3中假设每个帧有10个分片。可以看出，使用该算法分配具有以下特点，在画面组的前面分配较多的RS校验包，而在画面组的后面部分分配较少的RS校验包。这是因为误差扩散时候，位于画面组前面部分的误差会扩散到后面的帧中。同时，可以发现画面组前面部分分配的子画面组比较大，后面部分子画面组比较小，这同样也是由于前面部分的帧误差扩展路径较长，需要使用较大的子画面群来更加有效的切断误差传播。

在图6和图7中，把本实施例和平均分配RS包FEC方案和RS-MDC[T.Tillo，M.Grangetto，and G.Olmo.Redundant slice optimal allocationfor h.264multiple description coding.Circuits and Systems for VideoTechnology，IEEE Transactions on，18(1)：59-70，2008.]进行了PSNR性能对比，其中Y轴显示的是PSNR，X轴是数据码率。为了公平的比较，选用的平均分配RS包FEC方案和RS-MDC都具有实时的效果。可以看出在相同码率的情况下，本实施例基于子画面组的FEC方案可以提供更高的PSNR，也就是更好的视频质量。图6为Foreman测试序列PSNR-码率曲线，网络丢包率为5％，校验包率20％。图7为Bus测试序列PSNR-码率曲线，网络丢包率为5％，校验包率20％。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于子画面群的前向纠错实时视频传输方法，其特征在于所述方法中视频采用（N，K）Reed-Solomon编码器进行编码，包括以下步骤：

（1）视频发送端将视频画面群中所有单幅影像画面的帧依次序划分成若干个子画面群；采用（N，K）Reed-Solomon编码器以子画面群为编码单位将视频单幅影像画面的帧编码生成数据包立即放入网络传送，并在每个子画面群的最后一帧基于整个子画面群产生校验包，将生成的校验包放入网络传输；其中通过贪婪算法依次确定所有校验包中每个校验包在视频单幅影像画面的帧的位置，根据校验包的位置确定子画面群的分配情况；

（2）视频接受端接受到数据包后立即解码，如果数据包未丢失，则无需处理；如果丢失的数据包小于N-K时，进行数据包恢复，重新解码。

2.根据权利要求1所述的方法，其特征在于所述方法中当视频接受端尚未接受到子画面群的校验包时，采用错误掩盖技术处理丢失的数据包。

3.根据权利要求1所述的方法，其特征在于所述方法中当视频接受端接受到子画面群的校验包时，使用RS解码器恢复该子画面群中丢失的所有数据包，并重新解码整个子画面群，并更新参考帧缓存。

4.根据权利要求1所述的方法，其特征在于所述方法中所述贪婪算法是根据校验包放在单幅影像画面帧的不同的位置，获得不同子画面群分配造成的误差期望；当形成最小误差期望时，所放置的单幅影像画面的位置为该校验包的位置；然后继续寻找下一个校验包的位置。

5.根据权利要求1所述的方法，其特征在于所述方法中校验包的数量等于系统RS(N,K)编码中参数N和K的差值。