CN102523448A - 一种基于旋转的多描述视频编解码方法、装置及系统 - Google Patents

Abstract

本发明公开了一种基于旋转的多描述视频编解码方法、装置及系统，编码方法包括以下步骤：提取视频序列中的一帧f；对帧f进行对称变换，再进行H.264编码，得到描述1；对原始帧f直接进行H.264编码，得到描述2；本发明还进一步提出了冗余调节编码方法及相应解码装置、系统。本发明可用于多媒体信息在误码多发的环境中信号编解码。

Description

一种基于旋转的多描述视频编解码方法、装置及系统

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种基于旋转的多描述视频编解码方法、装置及系统。

背景技术

近年来，随着INTERNET和各种无线终端的普及推广，多媒体信息在误码多发的环境中的传输问题越来越受到重视。当前的互联网是一种“尽力而为”的网络，其中存在着信道干扰、网络拥塞和路由选择延迟等问题，这些将导致数据错误及分组丢失等现象。而无线通信信道的随机比特错误和连续的突发性差错等问题进一步恶化了信道条件，导致所传输的多媒体数据部分比特流失效或彻底丢失。在H.264/AVC和MPEG等一系列视频编码标准中，由于运动估计和运动补偿的使用，单个包的丢失经常对随后多帧造成影响。这些问题成为限制网络实时多媒体通信的瓶颈。

多描述编码(Multiple description coding，MDC)是一种行之有效的解决上述问题的方法。多描述编码假设在信源和信宿之间存在多个独立信道，假设每个信道发生错误的概率为p，那么n各个信道同时出错的概率将为pⁿ。通过生成多个同等重要、可独立解码的同一信源的多个描述，从而保证在其中一些描述丢失的时候，仍可以得到可接受的重建质量，而随着收到描述的增加，信源的重建质量也随之提高。为了统一，其中每一个描述的解码都称之为边路解码，而所有的描述都收到时将调用中心路解码器。由于使用部分的信息就可以重建出一个质量可接受的图像，因此多描述编码在语音编码、图像编码、视频编码、多分布的存储系统以及低延时的系统中将有着非常重要的应用。与分层编码相比，多描述编码没有基本层和增强层之分，各个描述同等重要，非常适合在非优先保护的网络环境中应用；与基于差错保护的FEC和带有自动重传(ARQ)机制的容错编码方案相比，多描述编码具有较好的实时性要求。

众所周知，传统的视频编码利用邻近帧之间的时间相关性来提高数据压缩能力，因而大多数的视频编码是基于运动估计和运动补偿的，这在应用到多描述编码方案中不可避免地涉及到误匹配(Mismatch)的问题，即由于信道错误导致解码端(边路或者中心路解码器)所用的参考块与编码端所使用的参考块不一致而产生的问题。最简单的误匹配控制方法是每个描述使用单独的预测环路进行编码和重建视频。常见的两描述编码是把视频序列按照奇数帧和偶数帧抽样为两个子序列，分别进行预测、编码、传输和重建。当只接收到一个描述时，通过运动补偿和相邻帧的时间插值重建丢失帧；当两路描述全部收到时，对收到的奇偶帧进行重新组合重建视频序列。与此类似，还有空间域的抽样方法。这类算法具有易于实现和且可以直接应用到传统的单描述方案中，但是在冗余调节方面不是很灵活，而且由于时间、空间或者频率域上的抽样，相邻帧或对应块上的相关性变小，增大了预测残差，降低了压缩效率。Vaishampayan采用分别在两个预测环内联合量化预测误差的方法以避免误匹配误差，然而由于两个边路的量化过于粗糙导致编码效率较低。另一类失配控制算法是增加失配编码过程，也就是把中心路预测和边路预数据包抽样模块，用于对H.264残差编码模块输出数据经奇偶抽样；

描述3模块，用于存储数据包抽样模块奇抽样；

描述4模块，用于存储数据包抽样模块偶抽样。

8.一种基于旋转的多描述视频解码装置，其特征在于：包括以下模块：

判断模块，用于判断两个描述中对应同一视频内容的数据包有没有全部丢失；

重建模块，若两个描述中对应同一视频内容的数据包没有全部丢失，使用未丢失的数据包的重建代替丢失部分，解码端的显示的视频为两者的平均，两个描述使用原描述作为参考帧；若对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建，而解码端的显示仍然使用两路描述的平均，两路描述都使用平均帧作为参考。

9.如权利要求8所述一种基于旋转的多描述视频解码装置，其特征在于，进一步包括以下模块：

残差解码模块，用于对残差解码；

相加模块，用于将残差解码和描述1、描述2解码结果相加。

10.一种基于旋转的多描述视频解码系统，其特征在于，包括由权利要求6或7所述的编码装置和权利要求8或9所述的解码装置。

a、获得描述1的重建帧f’并进行反向对称变换，与描述2的重建帧f”平均；

b、将上述平均值与原始视频帧f进行做差得到残差值；

c、对残差值进行H.264编码；

d、然后对H.264残差编码进行奇偶抽样得到描述3和描述4。

本发明还提供了一种基于旋转的多描述视频解码方法，包括以下步骤：

a、若两个描述中对应同一视频内容的数据包没有全部丢失，使用未丢失的数据包的重建代替丢失部分，解码端的显示的视频为两者的平均，两个描述使用原描述作为参考帧；

b、若对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建，而解码端的显示仍然使用两路描述的平均，两路描述都使用平均帧作为参考。

进一步，作为优选方案，在解码端，每路描述的描述1、描述2仍然按照上述的方式进行解码；对于描述3、描述4，直接将残差的解码结果与描述1、描述2解码的结果进行相加完成重建。

本发明还提供了一种基于旋转的多描述视频编码装置，包括以下模块：

帧存储模块，用于存储序列中的每一帧f；

对称变换模块，用于对每一帧f进行对称变换；

H.264模块，用于对原始帧或对称变换后的帧进行H.264变换；

描述1模块，用于存储经H.264变换后的描述1；

描述2模块，用于存储经H.264变换后的描述2。

进一步，作为一种优选方案，还包括以下模块：

重建帧f’模块，用于对描述1进行重建；

反对称变换模块，用于对重建帧f’进行反对称变换；

重建帧f”模块，用于对描述2进行重建；

平均模块，用于对重建帧f’反变换后和重建帧f”求平均；

求差模块，对平均模块输出和原始帧存储模块输出求残差；

H.264残差编码模块，用于对残差进行H.264编码；

数据包抽样模块，用于对H.264残差编码模块输出数据经奇偶抽样；

描述3模块，用于存储数据包抽样模块奇抽样；

描述4模块，用于存储数据包抽样模块偶抽样。

本发明还提供了一种基于旋转的多描述视频解码装置，包括以下模块：

判断模块，用于判断两个描述中对应同一视频内容的数据包有没有全部丢失；

重建模块，若两个描述中对应同一视频内容的数据包没有全部丢失，使用未丢失的数据包的重建代替丢失部分，解码端的显示的视频为两者的平均，两个描述使用原描述作为参考帧；若对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建，而解码端的显示仍然使用两路描述的平均，两路描述都使用平均帧作为参考。

进一步，作为优选方案，进一步包括以下模块：

残差解码模块，用于对残差解码；

相加模块，用于将残差解码和描述1、描述2解码结果相加。

本发明还提供了一种基于旋转的多描述视频解码系统，包括上述所述的编码装置和解码装置。

本发明实由于采用对称变换的多描述算法，使两个描述每一帧的每一个宏块使用不同的参考块作为预测，这样形成的残差也必然不同，具有系统简单、性能好特点。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1基于旋转的多描述系统编码端示意图；

图2残差调节冗余的多描述编码端示意图；

图3对称变换后数据包对应示意图；

图4同一视频内容对应的两个描述只有一个丢失解码示意图；

图5同一视频内容对应的两个描述同时丢失解码示意图；

图6边路和中心路多描述编码结果比较示意图；

图7不同丢包率条件下多描述系统编码结果比较示意图。

具体实施方式

以下参照图1-7对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

图1所示为基于旋转的多描述系统编码端示意图，以下所有的操作都是针对视频序列中的每一帧进行。为了方便，下面对每个描述分别进行介绍。视频序列中的每一帧经正常的H.264编码形成一路描。同时，每一帧经旋转180度处理后，进行正常的H.264编码形成另一路描述。

这种旋转方式形成多描述编码的基本思想是尽量使两个描述每一帧的每一个宏块使用不同的参考块作为预测，这样形成的残差也必然不同，所以这里的旋转180度只是其中的一种方式，其它类似镜像或者上下倒置等方式也可以用来形成多描述系统。最后当两路描述全部收到的时候，使用像素域平均的方式重建中心路描述。那么两路描述的残差值越是接近不相关或负相关，中心路就可以取得越大的增益。其理论模型如下，设f为原始视频帧，

知

为两个边路描述的重建值，P表示预测部分，Q表示量化部分，e表示量化误差部分。那么两个边路描述有如下形式，即对于当前帧f的每一个宏块，两路描述分别使用了不同的参考帧或参考块，导致两者产生了不同的残差部分，最终经过量化产生了不同的量化误差e₁(n)和e₂(n)。

$f\left(n\right)=P\left({\hat{f}}_1\left(m\right)\right)+Q\{f\left(n\right)-P\left({\hat{f}}_1\left(m\right)\right)\}+e_1\left(n\right)={\hat{f}}_1\left(n\right)+e_1\left(n\right),m\≤n$

$f\left(n\right)=P\left({\hat{f}}_2\left(k\right)\right)+Q\{f\left(k\right)-P\left({\hat{f}}_2\left(k\right)\right)\}+e_2\left(n\right)={\hat{f}}_2\left(n\right)+e_2\left(n\right),k\≤n$

与此对应的中心路重建形式如下

$\hat{f}\left(n\right)=0.5({\hat{f}}_1\left(n\right)+{\hat{f}}_2\left(n\right))=f\left(n\right)-0.5(e_1\left(n\right)+e_2\left(n\right))$

那么e₁(n)和e₂(n)越是不相关或接近负相关，

便可以以较小的误差重建。

当一路描述的部分数据包丢失时，该系统将使用另一路描述的对应视频重建作为代替。因为两路描述所使用的码率相同，产生的误差的均值和方差也几乎相等，因此在替换的过程中产生的误匹配将会大大降低。图3给出了正常图像和旋转后图像的打包示意图，正常图像包(15，16，17)对应旋转后图像包(18，19，20)，由于这种打包方式保证了内容的互相对应，因此当一个描述的某个数据包丢失时，可以使用另一路描述的视频重建包作为替代。

解码端解码分为以下两种情况，如图4所示，第一种情况为两个描述中对应同一视频内容的数据包没有全部丢失，其中，包15和包20表示丢失数据包，包16、17、18和19为正常包，此时使用未丢失的数据包的重建代替丢失部分；解码端的显示24的视频为包15、16、17以及包18、19、20旋转23后通过求和22的平均，这样用户端可以得到较高的重建质量，但是两个描述还是使用原描述作为参考帧，也即通过包15、16、17得到参考帧包25、26、27，通过包18、19、20得到参考帧包28、29、30，这样避免了误匹配现象(即编码端使用的参考块和解码端使用的参考块不一致的情况)。如图5所示，第二种情况为对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建；而解码端的显示31仍然使用两路描述(15，16，17)和描述(18，19，20)旋转23后求和22的平均，两路描述都使用平均帧作为参考(32，33，34，35，36，37)，因为此时使用两个描述的平均帧作为参考(32，33，34，35，36，37)将更加接近原始的解码重建帧，可以进一步减小误匹配误差。

一种基于旋转的多描述视频编码方法，包括以下步骤：

a、提取视频序列中的一帧f；

b、对帧f进行对称变换，再进行H.264编码，得到描述1；

c、对原始帧f直接进行H。264编码，得到描述2。

本发明还提供了一种基于旋转的多描述视频解码方法，包括以下步骤：

a、若两个描述中对应同一视频内容的数据包没有全部丢失，使用未丢失的数据包的重建代替丢失部分，解码端的显示的视频为两者的平均，两个描述使用原描述作为参考帧；

b、若对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建，而解码端的显示仍然使用两路描述的平均，两路描述都使用平均帧作为参考。

对应的本发明还提供了一种基于旋转的多描述视频编码装置，包括以下模块：

帧存储模块1，用于存储序列中的每一帧f；

对称变换模块2，用于对每一帧f进行对称变换；

H.264模块(3，5)，用于对原始帧或对称变换后的帧进行H.264变换；描述1模块4，用于存储经H.264变换后的描述1；

描述2模块6，用于存储经H.264变换后的描述2。

本发明还提供了一种基于旋转的多描述视频解码装置，包括以下模块：

判断模块，用于判断两个描述中对应同一视频内容的数据包有没有全部丢失；

重建模块，若两个描述中对应同一视频内容的数据包没有全部丢失，使用未丢失的数据包的重建代替丢失部分，解码端的显示的视频为两者的平均，两个描述使用原描述作为参考帧；若对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建，而解码端的显示仍然使用两路描述的平均，两路描述都使用平均帧作为参考。

实施例2：

为了进一步进行冗余调节，对两路描述的重建帧进行像素域平均模块平均后，与原始视频帧进行做差得到残差值。对形成的残差信号再进行H.264编码，然后按照奇偶数据包进行抽样形成两路描述的第二部分。整个新的多描述编码系统如图2所示。在解码端，每路描述的第一部分仍然按照以前的方式进行解码；对于每路描述的第二部分，直接将残差的解码结果与第一部分解码的结果进行相加完成重建。

在每路描述的总码率固定的前提下，当传输信道的条件较好时，整个系统将以较大的概率保证两路描述同时收到，此时残差信号占用较多的码率，整个编码方案倾向于提供较好的双路性能。而当信道条件较差是，整个系统大部分时间仅能收到两路描述中的一路，此时残差信号可以分配相对较少的码率。在极端情况下，如果两路信道都是完全可靠的，那么系统退化为对视频进行H.264编码，然后将数据包交替地在两个信道中进行传输，即每个描述仅包含图2中描述3和描述4部分。与此对应的是当信道传输相对不可靠时，图2中的系统退化为仅包含描述的描述1和描述2，此时可以提供相对较大的冗余抵抗丢包。

进一步，作为优选方案，一种基于旋转的多描述视频编码方法进一步包括以下步骤：

a、获得描述1的重建帧f’并进行反向对称变换，与描述2的重建帧f”平均；

b、将上述平均值与原始视频帧f进行做差得到残差值；

c、对残差值进行H.264编码；

d、然后对H.264残差编码进行奇偶抽样得到描述3和描述4。

进一步，作为一种优选方案，一种基于旋转的多描述视频编码装置，还包括以下模块：

重建帧f’模块7，用于对描述1进行重建；

反对称变换模块9，用于对重建帧f’进行反对称变换；

重建帧f”模块8，用于对描述2进行重建；

平均模块10，用于对重建帧f’反变换后和重建帧f”求平均；

求差模块11，对平均模块输出和原始帧存储模块输出求残差；

H.264残差编码模块12，用于对残差进行H.264编码；

数据包抽样模块13，用于对H.264残差编码模块输出数据经奇偶抽样；

描述3模块14，用于存储数据包抽样模块奇抽样；

描述4模块15，用于存储数据包抽样模块偶抽样。

进一步，作为优选方案，一种基于旋转的多描述视频解码装置，每路描述的描述1、描述2仍然按照以前的方式进行解码；对于描述3、描述4，直接将残差的解码结果与描述1、描述2解码的结果进行相加完成重建。

实施例3：

本发明还提供了一种基于旋转的多描述视频解码系统，包括上述所述的编码装置和解码装置。

实施例4：

本实施例采用H.264JM软件来生成视频流，在生成视频包的时候采用了固定宏块个数的方式，为了简单可以采取一行作为一个视频包的方式，这样可以保证正常编码的视频包和经过旋转后编码的视频包包含相同的视频内容。H.264图像组(GOP)的结构为IPPP...，即在一个图像组中除了第一帧是I帧外，其它的帧都为P帧。测试所用的视频序列为标准的CIF格式Foreman序列。

图6给出了收到一路描述的边路PSNR和两路描述全部收到时的中心路PSNR结果，为了进行比较，这里同时给出了基于冗余片的多描述编码方案(RS-MDC)的实验结果。两者的GOP大小都设置为45。可以看到，X1、X2、X3、X4分别代表旋转中心路描述、RS-MDC中心路描述、旋转边路描述、RS-MDC边路描述，基于旋转的多描述编码系统的结果远远好于RS-MDC方案，由于后者是目前所有已知多描述方案中效果比较好的一种，因此，这也就说明基于旋转的多描述编码系统好于目前所有已知方案。

图7给出了在不同丢包率和不同GOP条件下基于旋转方案和RS-MDC方案实验结果的对比图。其中的GOP大小分别为11，21和45；丢包率分别为1％，5％和10％。X5、X6、X7、X8、X9、X10、X11、X12分别代表：旋转多路描述(p＝0.01，N＝45)、RS-MDC多路描述(p＝0.01，N＝45)、旋转多路描述(p＝0.05，N＝21)、RS-MDC多路描述(p＝0.05，N＝21)、旋转多路描述(p＝0.10，N＝11)、RS-MDC多路描述(p＝0.10，N＝11)，这些参数的设置是为了与RS-MDC进行比较。可以看到基于旋转的多描述编码系统要好于RS-MDC方案。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (10)

1.一种基于旋转的多描述视频编码方法，其特征在于：包括以下步骤：

a、提取视频序列中的一帧f；

b、对帧f进行对称变换，再进行H.264编码，得到描述1；

c、对原始帧f直接进行H.264编码，得到描述2。

2.如权利要求1所述一种基于旋转的多描述视频编码方法，其特征在于：所述对称变换为以图像中心点为对称点的中心对称变换或以图像左右中心轴为对称轴的轴对称变换或以图像上下中心线为对称轴的对称变换。

3.如权利要求1所述一种基于旋转的多描述视频编码方法，其特征在于：进一步包括以下步骤：

a、获得描述1的重建帧f’并进行反向对称变换，与描述2的重建帧f”平均；

b、将上述平均值与原始视频帧f进行做差得到残差值；

c、对残差值进行H.264编码；

d、然后对H.264残差编码进行奇偶抽样得到描述3和描述4。

4.一种基于旋转的多描述视频解码方法，其特征在于：包括以下步骤：

a、若两个描述中对应同一视频内容的数据包没有全部丢失，使用未丢失的数据包的重建代替丢失部分，解码端的显示的视频为两者的平均，两个描述使用原描述作为参考帧；

b、若对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建，而解码端的显示仍然使用两路描述的平均，两路描述都使用平均帧作为参考。

5.如权利要求4所述一种基于旋转的多描述视频解码方法，其特征在于：在解码端，每路描述的描述1、描述2仍然按照权利要求4的方式进行解码；对于描述3、描述4，直接将残差的解码结果与描述1、描述2解码的结果进行相加完成重建。

6.一种基于旋转的多描述视频编码装置，其特征在于：包括以下模块：

帧存储模块，用于存储序列中的每一帧f；

对称变换模块，用于对每一帧f进行对称变换；

H.264模块，用于对原始帧或对称变换后的帧进行H.264变换；

描述1模块，用于存储经H.264变换后的描述1；

描述2模块，用于存储经H.264变换后的描述2。

7.如权利要求6所述一种基于旋转的多描述视频编码装置，其特征在于：还包括以下模块：

重建帧f’模块，用于对描述1进行重建；

反对称变换模块，用于对重建帧f’进行反对称变换；

重建帧f”模块，用于对描述2进行重建；

平均模块，用于对重建帧f’反变换后和重建帧f”求平均；

求差模块，对平均模块输出和原始帧存储模块输出求残差；

H.264残差编码模块，用于对残差进行H.264编码；

数据包抽样模块，用于对H.264残差编码模块输出数据经奇偶抽样；

描述3模块，用于存储数据包抽样模块奇抽样；

描述4模块，用于存储数据包抽样模块偶抽样。

8.一种基于旋转的多描述视频解码装置，其特征在于：包括以下模块：

判断模块，用于判断两个描述中对应同一视频内容的数据包有没有全部丢失；

重建模块，若两个描述中对应同一视频内容的数据包没有全部丢失，使用未丢失的数据包的重建代替丢失部分，解码端的显示的视频为两者的平均，两个描述使用原描述作为参考帧；若对应同一视频内容的数据包全部丢失，此时丢失的数据包使用H.264解码端的错误隐藏技术进行恢复重建，而解码端的显示仍然使用两路描述的平均，两路描述都使用平均帧作为参考。

9.如权利要求8所述一种基于旋转的多描述视频解码装置，其特征在于，进一步包括以下模块：

残差解码模块，用于对残差解码；

相加模块，用于将残差解码和描述1、描述2解码结果相加。

10.一种基于旋转的多描述视频解码系统，其特征在于，包括由权利要求6或7所述的编码装置和权利要求8或9所述的解码装置。

Images