CN102710943A

CN102710943A - 基于前向纠错编码窗口扩张的实时视频传输方法

Info

Publication number: CN102710943A
Application number: CN2012101699527A
Authority: CN
Inventors: 罗天明; 肖继民
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-05-29
Filing date: 2012-05-29
Publication date: 2012-10-03
Anticipated expiration: 2032-05-29
Also published as: CN102710943B

Abstract

本发明公开了 一种基于前向纠错编码窗口扩张的实时视频传输方法，所述方法中视频信号采用前向纠错码编码器（FEC）进行编码，具有以下特点：（1）前向纠编码器(FEC)在编码当前图像帧数据的时候，编码器将使用当前画面群（GOP）中当前帧之前的所有视频数据（包括当前帧视频数据）作为编码数据，来生成校验数据包。（2）为了最大可能的增加该系统纠错的性能，每次进行前向纠错编码之前，所使用的视频数据包将与某个变换矩阵相乘。这样可以最大可能的使得解码线性方程组线性无关，从而可以最大限度地正确解码。（3）变换矩阵的一种实现就是重新排列视频数据包，关于重新排列视频数据包的方法，本发明提出了一种通过随机函数获得的方法，这样可以保证不同帧使用了不同的随机顺序，同时，这些额外信息也必须通知视频接收端（视频解码端）。

Description

基于前向纠错编码窗口扩张的实时视频传输方法

技术领域

本发明属于视频编码和传输技术领域，具体涉及一种基于前向纠错编码（FEC）窗口扩张的实时视频传输方法。

背景技术

无论是H.263、MPEG2视频编码标准，还是H.264/AVC视频编码标准，都是建立在混合编码方法基础上的融合运动补偿预测算法的变换编码。因此，经过编码后的视频数据在INTERNET等不可靠网络中传输时会受到误差扩散的影响，即一个很小的视频丢包将导致非常严重的接收端视频质量下降。

目前，各种视频容错编码技术（error-resilient techniques）已经被广泛应用，使得在不可靠网络传送视频信号变得可行。这些视频容错编码技术包括帧内宏块刷新（Intra Macroblock Refreshment）、自动重传请求(ARQ)、基于反馈的参考帧选择(RPS)、冗余图像编码（使用相同或低于原图像质量的冗余）和多描述编码（MDC）以及前向纠错（FEC）编码技术。在这些容错视频编码技术中，帧内宏块刷新、冗余图像编码和多描述编码不会产生额外延时，因此能够适合实时视频通信的要求。但是，就帧内宏块刷新技术而言，由于帧内（Intra）编码效率远低于帧间（Inter）的编码效率，导致整体编码效率显著降低。在冗余图像编码和多描述编码中，当冗余图像版本替代了原始版本或者当一些描述在传输过程中被丢失时，就会造成失配误差（Mismatch Error）。而失配误差将会传播至整个画面群（GOP）。

由于网络往返时延（RTT），自动重传请求（ARQ）和参考帧选择（RPS）技术都会产生较长延时。因此，这两种技术都无法实践于实时视频通信系统中。而在前向纠错技术（FEC）中，时延的长短取决于FEC编码数据块的大小。在“E.Baccaglini，T.Tillo，and G.Olmo，Slice sorting for unequalloss protection of video streams，IEEE Signal Processing Letters，2008”中，Reed-Solomon编码块包含了整个画面群，因此，该方案将产生了一个画面群的延时。在“X.Yang，C.Zhu，Z.Li，X.Lin，and N.Ling，Anunequal packet loss resilience scheme for video over the internet，IEEETransactions on Multimedia，2005”中，Reed-Solomon编码块包含了1个子画面群的帧，因此延迟取决于子画面群的长度。在“N.Thomos，S.Argyropoulos，N.V.Boulgouris，and M.G.Strintzis，Robust transmissionof h.264/AVC video using adaptive slice grouping and unequal errorprotection，in IEEE International Conference on Multimedia and Expo，2006”中，Reed-Solomon编码应用在每一帧中，因此没有产生前向纠错编码延时。然而，当Reed-Solomon编码块只包含一帧的数据包时，由于数据包数量太少，RS保护的效率并不高。

Reed-Solomon（RS）编码已被广泛应用在前向纠错编码（Forward ErrorCorrection Code）中，以此来减少数据包在丢包网络中丢失所带来的影响，可以说Reed-Solomon（RS）编码是多种FEC实现技术中最普遍使用的一种技术。在RS(N，K)编码中，在K个源数据包中引入N-K个校验包来保护源数据包。只要接收端接收到N个数据包中的K个，所有的源数据包就可以被还原。就RS编码而言，对于相同的编码率K/N，增加K的值会提高RS编码的性能。但是，高K值会造成大的RS编码块，并因此导致长时延。对于视频会议这样的实时视频应用，这样的时延是不可接受的。

发明内容

本发明目的在于提供一种基于前向纠错编码窗口扩张的实时视频传输方法，解决了现有技术中实时视频传输方法中由于前向纠错编码导致比较长的时延等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于前向纠错编码窗口扩张的实时视频传输方法，所述前向纠错编码窗口包括当前画面群（GOP）中当前帧数据包和当前帧之前帧的所有数据包，其特征在于所述方法包括以下步骤：

（1）视频发送端作为视频编码端,采集并视频编码当前画面群（GOP）中的当前帧，以形成当前帧的视频数据包；并将生成的视频数据包和之前帧的视频数据包进行RS编码，生成相应的校验数据包后，立即向视频接收端发送该帧视频数据包和校验数据包，如此循环直到当前画面群（GOP）中所有的帧都已经编码并发送完成；

（2）视频接收端作为视频解码端接收到当前画面群（GOP）中当前帧的视频数据包和与当前帧相应的校验数据包时，通过RS校验矩阵生成关于当前帧的RS解码方程组，与该GOP所有之前帧的RS解码方程组形成联合方程组，并通过解该联合方程组，尝试恢复丢失的数据包；如果通过解该方程组能恢复出之前帧中的某个丢失数据包，利用该新恢复的之前帧视频数据包，在解码和播放当前帧之前，重新视频解码之前帧的视频数据并更新参考帧；如果通过解该方程组能恢复出当前帧中的丢失的数据包，新恢复的数据包将和接收到的数据包一起视频解码并显示出来；如此重复以上解码过程，直到当前画面群（GOP）中所有的帧都已经解码并显示完成。

优选的，所述方法步骤（1）中如果当前画面群（GOP）中的当前帧为当前画面群（GOP）中的第一帧，则第一帧采集完成并完成视频编码时，直接将该帧生成的视频数据包进行RS编码，生成相应的校验数据包后，立即发送该帧视频数据包和校验数据包。

优选的，所述方法步骤（1）中当前画面群（GOP）中当前帧和之前帧的视频数据包生成RS校验数据包时，当前帧和之前帧的视频数据包需要乘上一个变换矩阵；同时，编码端将变换矩阵信息告知视频解码端。

该变换矩阵的一个简单例子就是根据特定的随机顺序重新排列数据包，这样可以保证不同的RS编码使用了不同的随机顺序,以保证RS解码时校验方程组最大程度的线性无关。

优选的，所述方法步骤（2）中当接收到视频数据包和校验包为当前画面群（GOP）中第一帧的视频数据包和校验包时，通过RS校验矩阵生成关于第一帧的RS解码方程组，并通过解该方程组，尝试恢复丢失的视频数据包。

优选的，所述方法步骤（2）中当接收到视频数据包和校验包不是当前画面群（GOP）中第一帧的视频数据包和校验包时，通过RS校验矩阵生成关于当前帧的RS解码方程组，然后加入该GOP所有之前帧的RS解码方程组形成联合方程组，并通过解该联合方程组，进行尝试恢复丢失的视频数据包。

本发明提供一种基于前向纠错编码（FEC）窗口扩张的实时视频传输方法，解决了现有技术中当视频编码基于每帧进行校验纠错导致纠错性能差，同时当以整个画面组进行校验纠错时，导致纠错编码时延的问题。

本发明具体的基于前向纠错编码（FEC）窗口扩张的实时视频传输方法，包括以下步骤：

（1）在视频发送端：

1）首先在视频编码端，当前画面群（GOP）中的第一个帧已经采集完成并进行完视频编码时，将生成的视频数据包进行RS编码，生成相应的校验数据包后，立即发送该帧视频数据包和校验数据包。

2）当前画面群（GOP）中的第二个帧已经采集完成并完成视频编码时，将根据第一帧和第二帧的视频数据包来进行RS编码，并生成相应的校验数据包，发送第二帧的数据包和校验数据包。

3）在上述步骤2）中，在生成第一帧和第二帧的视频数据包的RS校验数据包时，第一帧和第二帧的数据包需要乘上一个变换矩阵，该变换矩阵的一个简单例子就是根据特定的随机顺序重新排列数据包，这样可以保证不同的RS编码使用了不同的随机顺序,以保证RS解码时校验方程组最大程度的线性无关。同时，编码端将对应每帧的随机次序告知视频解码端。

4）当前画面群（GOP）中的第三个帧已经采集完成并完成视频编码时，将根据第一、二、三帧的视频数据包来进行RS编码，并生成相应的校验数据包，发送第三帧的数据包和校验数据包。

5）在上述步骤（4）中，在生成1-3帧的视频数据包的RS校验数据包时，1-3帧的数据包需要乘上一个变换矩阵，该变换矩阵的一个简单例子就是根据特定的随机顺序重新排列数据包，这样可以保证不同的RS编码使用了不同的随机顺序,以保证RS解码时校验方程组最大程度的线性无关。同时，编码端将对应每帧的随机次序告知视频解码端。

6）重复以上过程，只到当前画面群（GOP）中所有的帧都已经编码并发送完成。

所述方法中视频发送端作为视频编码端，以当前画面群（GOP）为单位进行编码的，其中前向纠错编码窗口将包括当前画面群（GOP）中当前帧数据包和当前帧之前的所有数据包。

（2）在视频接收端：

1）当接收到当前画面群（GOP）中第一帧的数据包和第一帧的校验包时，通过RS校验矩阵生成关于第一帧的RS解码方程组。通过解该方程组，尝试恢复丢失的数据包。

2）当接收到当前画面群（GOP）中第二帧的数据包和第二帧的校验包时，通过RS校验矩阵生成关于第二帧的RS解码方程组。将该方程组合并第一帧的RS解码方程组，生成新的解码方程组，通过解该联合方程组，尝试恢复丢失的数据包。如果通过解该方程组可以恢复出第一帧中的某个丢失数据包，利用该新恢复的第一帧数据包，在解码和播放第二帧之前，需要重新视频解码第一帧视频数据，以用来更新参考帧。

3）当接收到当前画面群（GOP）中第三帧的数据包和第三帧的校验包时，通过RS校验矩阵生成关于第三帧的RS解码方程组。将该方程组合并1-2帧的RS解码方程组，生成新的解码方程组，通过解该方程组，尝试恢复丢失的数据包。如果通过解该方程组可以恢复出第1-2帧中的某个丢失数据包，利用这些新恢复的数据包，在解码和播放第三帧之前，重新视频解码1-2帧视频数据，以用来更新参考帧。

4）重复以上过程，只到当前画面群（GOP）中所有的帧都已经解码并显示完成。

在上述编码和解码过程中，并没有造成任何的编码时延，可以适用于实时的多媒体传输系统。

相对于现有技术中的方案，本发明的优点是：

本发明提供了一种基于前向纠错编码窗口扩张的实时视频传输方法，所述方法中视频信号采用前向纠错码编码器（FEC）进行编码，具有以下特点：（1）前向纠编码器(FEC)在编码当前图像帧数据的时候，编码器将使用当前画面群（GOP）中当前帧之前的所有视频数据（包括当前帧视频数据）作为编码数据，来生成校验数据包。（2）为了最大可能的增加该系统纠错的性能，每次进行前向纠错编码时候，所使用的视频数据包需要乘上一个变换矩阵，该变换矩阵的一个简单例子就是根据特定的随机顺序重新排列数据包，这样可以保证不同的RS编码使用了不同的随机顺序,以保证RS解码时校验方程组最大程度的线性无关，从而可以最大限度地正确解码。同时，编码端将对应每帧的随机次序告知视频解码端。（3）关于重新排列视频数据包的方法，本文提出了一种通过随机函数获得的方法，这样可以保证不同帧使用了不同的随机顺序，同时，这些额外信息也必须通知视频接收端（视频解码端）。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为基于前向纠错编码（FEC）窗口扩张的实时视频传输方法的原理示意图；

图2为基于前向纠错编码（FEC）窗口扩张的实时视频传输方法与传统未进行前向纠错编码（FEC）窗口扩张的实时视频传输方法的每帧PSNR对照图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

本实施例基于前向纠错编码（FEC）窗口扩张的实时视频传输方法按照如下步骤进行：

（1）在视频发送端：

3）在上述步骤2）中，在生成第一帧和第二帧的视频数据包的RS校验数据包时，第一帧和第二帧的数据包顺序将通过随机函数生成，同时随机顺序也将告知视频解码端。

5）在上述步骤（4）中，在生成1-3帧的视频数据包的RS校验数据包时，1-3帧的数据包顺序将通过随机函数生成，同时随机顺序也将告知视频解码端。

所述方法视频发送端作为视频编码端，以当前画面群（GOP）为单位进行编码的，其中前向纠错编码窗口将包括当前画面群（GOP）中当前帧数据包和当前帧之前的所有数据包。

（2）在视频接收端：

2）当接收到当前画面群（GOP）中第二帧的数据包和第二帧的校验包时，通过RS校验矩阵生成关于第二帧的RS解码方程组。将该方程组合并第一帧的RS解码方程组，生成新的解码方程组，通过解该方程组，尝试恢复丢失的数据包。如果通过解该方程组可以恢复出第一帧中的某个丢失数据包，利用该新恢复的第一帧数据包，在解码和播放第二帧之前，需要重新视频解码第一帧视频数据，以用来更新参考帧。

本实施例以图1中前三个帧为例说明本方案的具体实施方式。在该示例中，为了简化过程，本发明假设每个视频帧生成四个数据包。Reed-Solomon编码在Galois Field（2^4）中进行。同时本发明假设在每个帧后面都生成一个RS校验数据包，这种情况下RS编码的冗余率就是25%。

(1)对于第一个视频帧，由于只有4个数据包，并且RS编码只生成一个校验数据包，因此，本实施例将采用RS(5，4)进行编码。在Galois Field（2^4）有限域中，RS(5，4)编码器可以通过RS(15，14)来实现，这只需要在RS编码过程中，在4个数据包后面再添加10个0数据包即可。

由于RS（15，14）的校验矩阵为：

H=[1，α，…，α^13，α^14];

在Galois Field（2^4）有限域中：

α=2；

α^2=4；

α^3=8；

α^4=3；

α^5=6；

α^6=12；

α^7=11；

α^8=5；

α^9=10；

α^10=7；

α^11=14；

α^12=15；

α^13=13；

α^14=9；

因此：

H=[1 2 4 8 3 6 12 11 5 10 7 14 15 13 9]，

本发明用X1，X2，X3，X4和Y1来表示四个数据包和一个校验包，可以得到第一个帧的校验方程（组）：

X1+α*X2+α^2*X3+α^3*X4+α^14*Y1=0(1)；

即：

X1+2*X2+4*X3+8*X4+9*Y1=0(1)；

（2）对于第二个视频帧，本发明将使用第一帧和第二帧的数据包1-8来生成校验包。由于此时已经有了8个数据包，只需要添加6个0数据包即可。对于这个14个数据包，本发明使用随机函数来重新排序。关于随机顺序的获得，可以通过matlab的randperm()函数获得，并将获得的随机顺序植入到相应的软硬件环境中。

为了方便例子，假设本发明使用的randperm()函数生成的随机顺序是[63 11 7 14 8 5 1 2 4 13 9 10 12]，这相当于使用原始数据乘上如下变化矩阵矩阵H：

H = (\begin{matrix} 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \end{matrix})

此时，原始数据[X1 X2 X3 X4 X5 X6 X7 X8 0 0 0 0 0 0]经过随机顺序调换后变为：[X6 X3 0 X7 0 X8 X5 X1 X2 X4 0 0 0 0].因此，本发明将为第二个帧生成校验方程（组）如下：

X6+α*X3+α^3*X7+α^5*X8+α^6*X5+α^7*X1+α^8*X2+α^9*X4+α^14*Y2=0(2)；

即：

X6+2*X3+8*X7+6*X8+12*X5+11*X1+5*X2+10*X4+9*Y2=0(2)；

此时，在第二帧的视频解码过程中，恢复1-2帧中的丢失数据包可以通过解（1）（2）联合方程组来实现。

为了显示算法的优越性，本发明假设在第一和第二视频帧中，视频数据包1和3丢失了。那么在第一帧的解码过程中，由于方程组（1）只包含了一个方程，该方程将不能恢复这两个数据包。但在第二个帧的解码时间，由于X1，X3的系数矩阵[14;112]的秩（determinant）为2，通过解方程组（1）（2）可以恢复出视频数据包1和3。此时，本发明可以重新视频解码第一帧数据，更新参考帧（reference buffer），这样在第二帧中，将没有任何由于错误掩盖（error concealment）造成的误差，也不会有任何错误掩盖误差往后传播。

(3)同样的，对于第三个视频帧，本发明将生成新的随机顺序来重新排列原始数据包[X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 0 0]；并为该帧生成校验方程组（3），错误恢复过程将通过解联合方程组（1）（2）（3）来实现。

值得一提的是，在整个过程中，任何算术运算都是在Galois Field（2^4）中进行的。同时，如果本发明在第n帧才能恢复出第m帧的数据包，并且n>m，那么视频解码器将需要使用新恢复的第m帧数据包重新解码帧m到帧n中所以视频帧，并更新编码参考帧（reference buffer），以达到降低误差传播(error propagation)的目的。

实验结果

该实验采用Foreman测试序列，使用QP=24编码生成视频序列，每个视频slice大小(视频数据包大小)为400Byte，目标冗余率为40%，网络丢包为10%的随机丢包。GOP的结构为IPPP，长度为30帧，Reed-Solomon编码在Galois Field(2^10)中进行。本发明比较了所提出的方案（expandingFEC）和没有使用扩展窗口的FEC方案（Evenly FEC），该两个方案都是实时的系统，不会造成任何编码时延。从图2中的每帧PSNR可以看出该方案的优越性。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于前向纠错编码窗口扩张的实时视频传输方法，所述前向纠错编码窗口包括当前画面群（GOP）中当前帧数据包和当前帧之前帧的所有数据包，其特征在于所述方法包括以下步骤：

（1）在视频发送端，视频编码器进行当前画面群（GOP）中的当前帧采集，采集完成后进行视频编码，形成当前帧的视频数据包；将生成的视频数据包和该GOP中之前帧的视频数据包进行Reed-Solomon（RS）编码，生成相应的校验数据包后，立即向视频接收端发送该帧视频数据包和校验数据包，如此循环直到当前画面群（GOP）中所有的帧都已经编码并发送完成；

（2）视频接收端作为视频解码端接收到当前画面群（GOP）中当前帧的视频数据包和与当前帧相应的校验数据包时，通过RS校验矩阵生成关于当前帧的RS解码方程组，并与该GOP中所有之前帧的RS解码方程组形成联合方程组，并通过解该联合方程组，尝试恢复丢失的数据包；如果通过解该方程组能恢复出之前帧中的某个丢失数据包，利用该新恢复的之前帧视频数据包，在解码和播放当前帧之前，重新视频解码之前帧的视频数据并更新参考帧；如果通过解该方程组能恢复出当前帧中的丢失的数据包，新恢复的数据包将和接收到的数据包一起视频解码并显示出来；如此循环直到当前画面群（GOP）中所有的帧都已经解码并显示完成。

2.根据权利要求1所述的方法，其特征在于所述方法步骤（1）中如果当前画面群（GOP）中的当前帧为当前画面群（GOP）中的第一帧，则第一帧采集完成并完成视频编码时，直接将该帧生成的视频数据包进行RS编码，生成相应的校验数据包后，立即发送该帧视频数据包和校验数据包。

3.根据权利要求1所述的方法，其特征在于所述方法步骤（1）中当前画面群（GOP）中当前帧和之前帧的视频数据包生成RS校验数据包时，当前帧和之前帧的视频数据包需要乘上变换矩阵；同时，视频编码端将对应帧视频数据包的变换矩阵信息告知视频解码端。

4.根据权利要求1所述的方法，其特征在于所述方法步骤（2）中当接收到视频数据包和校验包为当前画面群（GOP）中第一帧的视频数据包和校验包时，通过RS校验矩阵生成关于第一帧的RS解码方程组，并通过解该方程组，尝试恢复丢失的视频数据包。

5.根据权利要求1所述的方法，其特征在于所述方法步骤（2）中当接收到视频数据包和校验包不是当前画面群（GOP）中第一帧的视频数据包和校验包时，通过RS校验矩阵生成关于当前帧的RS解码方程组，然后加入该GOP所有之前帧的RS解码方程组形成联合方程组，并通过解该联合方程组，进行尝试恢复丢失的视频数据包。