CN103533330B - 一种基于数据重用的多视点多描述视频编码方法 - Google Patents

Abstract

本发明为一种基于数据重用的多视点多描述视频编解码方法，根据多视点视频序列经空间水平和垂直下采样后产生的四个子序列非常相近的特点，将这四个子序列两两组合形成两个描述，编码时对每个描述中的一个子序列直接用标准的多视点视频编码器进行编码，另一子序列的各宏块则根据其性质不同，采用三种不同的数据重用方式进行预测编码；本发明所提出的方法简单易行，在提高多视点视频编码容错能力的同时，保持了较高的编码效率并大大降低了编码的计算复杂度。

Description

一种基于数据重用的多视点多描述视频编码方法

技术领域

本发明涉及视频通信中的视频编解码领域，尤其涉及一种基于数据重用的多视点多描述视频编码方法，可应用于不可靠信道中的视频通信。

背景技术

随着移动宽带4G时代的到来，互联网和无线信道将成为多视点视频的主要传输信道。而无线信道传输中的数据错误、由互联网中的信道干扰、网络拥塞和路由选择延迟引起的数据到达时间过度延迟和数据包丢失等问题，将严重影响多视点视频图像的重建质量。现有的多视点视频编码（Multi-viewVideoCoding，MVC）标准采用的是HHI提出的基于分层B帧的视点间/时间混合预测结构，它不仅采用了帧内与视点内的帧间预测，还引入了视点间的预测。这样的预测结构导致即使是一个数据包出现误码，也会影响到与其关联的若干个数据包视频信息的重建，造成严重的“误码扩散”，使重建视频图像的质量严重下降。因此，抗干扰和差错恢复能力对多视点视频编码尤为重要。

虽然差错控制技术在2D视频编码中已得到广泛的应用，但由于多视点视频数据量庞大、预测编码结构复杂、计算复杂度非常高，如果采用现有的差错恢复编码技术将进一步增加编码复杂度和冗余率。由于错误隐藏技术不需要增加编码端的开销，所以目前对MVC差错控制的研究主要集中在基于时空域相关性的错误隐藏技术，特别是双目立体视频的错误隐藏；对多视点视频编码差错控制的研究进展不大。如何提高多视点视频编解码的容错能力，有待进一步研究。

发明内容

本发明的目的在于克服现有多视点视频编码方法的不足，提供一种基于数据重用的多视点多描述视频编解码方法，该方法简单易行，能更好地提高多视点视频编码的容错能力。

本发明提供一种基于数据重用的多视点多描述视频编解码方法，其中，

在编码端，对输入的多视点视频的每一个图像组实施如下步骤：

步骤11、对输入的多视点视频图像组中每个视点的每一帧进行水平下采样和垂直下采样，得到ABCD四个相同分辨率的子帧，然后分别将每个视点内空间位置一样的各子帧按序组合，形成该视点的ABCD四个视频子序列；再把各个视点的相对位置一样的视频子序列的集合作为一个多视点视频子序列，形成ABCD四个多视点视频子序列，把这四个多视点视频子序列两两组合形成两个描述，设为A+B和C+D；

步骤12、采用标准的多视点视频编码器（即JMVC编码器），直接对上述每个描述中的一个多视点视频子序列进行编码，设两多视点视频子序列分别为A和C，称为直接编码子序列，并保存该直接编码子序列各宏块的最佳预测模式和预测矢量；

步骤13、设上述每个描述中的另一个多视点视频子序列分别为B和D，称为间接编码子序列，对间接编码子序列B和D的每一个宏块而言，如果同一描述中直接编码子序列的对应宏块即处于同一视点、同一时间和同一空间位置的宏块的最佳预测模式是帧内模式，则转步骤13-1进行处理；如果最佳预测模式属于帧间P8x8，即8x8，8x4,4x8,4x4中的任一种模式，则转步骤13-2进行处理；否则，最佳预测模式属于SKIP或帧间大模式，即16x16,16x8,8x16中的任一种，不需要编码，转步骤13处理下一宏块，直至所有宏块处理完毕转步骤14；

步骤13-1、直接复制同一描述中直接编码子序列对应宏块的最佳预测模式，对当前宏块进行帧内预测编码，转步骤13处理下一宏块；

步骤13-2、直接复制同一描述中直接编码子序列对应宏块的最佳预测模式和预测向量，即运动矢量或视差矢量，对当前宏块进行帧间预测编码，转步骤13处理下一宏块；

步骤14、将两个描述的输出码流分别打包送入两个相互独立的信道进行传输；

在解码端，对接收的多视点视频的每一个图像组进行重建，实施如下步骤：

步骤21、如果能正确接收信道1的信号，接收直接编码子序列的码流并用标准的多视点视频解码器对接收到的码流进行解码，重建描述1的直接编码子序列1，转步骤22重建间接编码子序列1；否则，转步骤23对描述2进行解码；

步骤22、顺序重建描述1的间接编码子序列1的每一个宏块，如果当前宏块在直接编码子序列1的对应宏块的最佳预测模式是帧内模式，转步骤22-1重建当前宏块；如果最佳预测模式属于帧间P8x8中的任一种模式，转步骤22-2重建当前宏块；否则，最佳预测模式属于SKIP或帧间大模式，以直接编码子序列1的对应宏块的重建值作为当前宏块的重建值，转步骤22重建下一宏块，直至所有宏块重建完毕后转步骤23；

步骤22-1、从信道1接收当前宏块的预测误差，并以直接编码子序列1的对应宏块的最佳预测模式为当前宏块的预测模式，重建当前宏块，转步骤22重建下一宏块；

步骤22-2、从信道1接收当前宏块的预测误差，并以直接编码子序列1的对应宏块的最佳预测模式和预测向量为当前宏块的预测模式和预测向量，重建当前宏块；转步骤22重建下一宏块；

步骤23、如果能正确接收信道2的信号，接收直接编码子序列的码流并用标准的多视点视频解码器对接收到的码流进行解码，重建描述2的直接编码子序列2，转步骤24重建间接编码子序列2；否则，转步骤25重建原始的多视点视频；

步骤24、顺序重建描述2的间接编码子序列的每一个宏块，如果当前宏块在直接编码子序列2的对应宏块的最佳预测模式是帧内模式，转步骤24-1重建当前宏块；如果最佳预测模式属于帧间P8x8中的任一种模式，转步骤24-2重建当前宏块；否则，最佳预测模式属于SKIP或帧间大模式，以直接编码子序列2的对应宏块的重建值作为当前宏块的重建值，转步骤24重建下一宏块，直至所有宏块重建完毕后转步骤25；

步骤24-1、从信道2接收当前宏块的预测误差，并以直接编码子序列2的对应宏块的最佳预测模式为当前宏块的预测模式，重建当前宏块，转步骤24重建下一宏块；

步骤24-2、从信道2接收当前宏块的预测误差，并以直接编码子序列2的对应宏块的最佳预测模式和预测向量为当前宏块的预测模式和预测向量，重建当前宏块，转步骤24重建下一宏块；

步骤25、原始的多视点视频的图像组重建：如果能同时接收到来自信道1和2的信号，转步骤25-1进行中心重建；如果只能接收到来自信道1的信号，转步骤25-2进行边重建；如果只能接收到来自信道2的信号，转步骤25-3进行边重建；否则，没有接收到任何信号，所有帧均复制前一图像组的最后一帧，结束该图像组的重建；

步骤25-1、合并两个描述的4个视频子序列，重建多视点视频的当前图像组，结束该图像组的重建；

步骤25-2、对重建的描述1的每一帧，通过插值重建多视点视频图像组的每一帧，结束该图像组的重建；

步骤25-3、对重建的描述2的每一帧，通过插值重建多视点视频图像组的每一帧，结束该图像组的重建。

本发明的主要优点是：

1、每个描述只需要对其中一个子序列进行模式选择和运动估计/视差估计，所以计算复杂度远低于标准的多视点视频编码算法；

2、把间接编码子序列的宏块分为3种类型，对不同类型的宏块采用不同的数据重用方式，无需传输不必要的预测模式、运动向量和预测误差，大幅度降低多描述编码引入的冗余，有效地提高了编码效率；

3、各描述独立预测，在理想多描述信道下不发生误匹配。

附图说明

图1为本发明视频序列的空间多相变换示意图；

图2为本发明的流程示意图。

以下结合附图和实施例对本发明作进一步详述。

具体实施方式

如图1、图2所示，本发明提出一种基于数据重用的多视点多描述视频编解码方法，其中，

在编码端，对输入的多视点视频的每一个图像组（GroupofPicture，GOP）实施如下步骤：

步骤11、对输入的多视点视频图像组每个视点的每一帧进行水平下采样和垂直下采样，得到相同分辨率的F_1p,F_1d,F_2p,F_2d四个子帧，然后分别将每个视点的F_1p、F_1d、F_2p和F_2d按帧顺序组合，形成该视点的四个视频子序列V_1p,V_1d,V_2p和V_2d；再把各个视点的视频子序列V_1p的集合作为多视点视频子序列X_1p的当前图像组，把各个视点的视频子序列V_1d的集合作为多视点视频子序列X_1d的当前图像组，把各个视点的视频子序列V_2p的集合作为多视点视频子序列X_2p的当前图像组，把各个视点的视频子序列V_2d的集合作为多视点视频子序列X_2d的当前图像组，其中，X_1p和X_1d的组合X₁构成描述1，X_2p和X_2d的组合X₂构成描述2，下面的步骤12和步骤13分别实现对描述1和描述2当前图像组的编码；

步骤12、对描述1的当前图像组进行编码：其中步骤12-1对X_1p的当前图像组进行编码，步骤12-2对X_1d的当前图像组进行编码，将X_1p和X_1d的码流打包后经信道1传输，形成描述1；

步骤12-1、采用标准的多视点视频编码器直接对X_1p的当前图像组进行编码后经信道1输出，并保存其各宏块的最佳预测模式和预测矢量；

步骤12-2、对X_1d的当前图像组进行编码，若已完成对X_1d当前图像组所有宏块的编码，转步骤13对描述2进行编码，否则，转步骤12-3对X_1d的下一宏块进行编码；由于对间接编码子序列X_1d的编码方法是在标准的多视点视频编码方法的基础上经裁减得到的，故称其编码器为类MVC编码器；

步骤12-3、输入X_1d的下一宏块，并读入X_1p中对应宏块的最佳预测模式和预测矢量，如果最佳预测模式是帧内模式，转步骤12-3-1；如果最佳预测模式属于帧间P8x8，即8x8，8x4,4x8,4x4中的任一种模式，转步骤12-3-2；若最佳预测模式属于SKIP或帧间大模式（即16x16,16x8,8x16中的任一种），则不需要编码，转步骤12-2处理X_1d的下一宏块；

步骤12-3-1、直接复制多视点视频子序列X_1p中对应宏块的最佳预测模式对X_1d的当前宏块进行帧内预测，对预测误差进行编码后经信道1输出，转步骤12-2处理X_1d的下一宏块；

步骤12-3-2、直接复制多视点视频子序列X_1p中对应宏块的的最佳预测模式和预测向量(运动矢量或视差矢量)，然后对多视点视频子序列X_1d的当前宏块进行帧间预测，对预测误差进行编码后经信道1输出，转步骤12-2处理X_1d的下一宏块；

步骤13、对描述2的当前图像组进行编码，其中步骤13-1对X_2p的当前图像组进行编码，步骤13-2对X_2d的当前图像组进行编码，将X_2p和X_2d的码流打包后经信道2传输，形成描述2；

步骤13-1、采用标准的多视点视频编码器直接对X_2p的当前图像组进行编码后经信道2输出，并保存其各宏块的最佳预测模式和预测矢量；

步骤13-2、对X_2d的当前图像组进行编码，若已完成对X_2d当前图像组所有宏块的编码，转步骤14，否则，转步骤13-3对X_2d的下一宏块进行编码；

步骤13-3、输入X_2d的下一宏块，并读入X_2p中对应宏块的最佳预测模式和预测矢量，如果最佳预测模式是帧内模式，转步骤13-3-1；如果最佳预测模式属于帧间P8x8，转步骤13-3-21；若最佳预测模式属于SKIP或帧间大模式，则不需要编码，转步骤13-2处理X_2d的下一宏块；

步骤13-3-1、直接复制多视点视频子序列X_2p中对应宏块的最佳预测模式对X_2d的当前宏块进行帧内预测，对预测误差进行编码后经信道2输出，转步骤13-2处理X_2d的下一宏块；

步骤13-3-2、直接复制多视点视频子序列X_2p中对应宏块的的最佳预测模式和预测向量，然后对多视点视频子序列X_2d的当前宏块进行帧间预测，对预测误差进行编码后经信道1输出，转步骤13-2处理X_2d的下一宏块；

步骤14、结束对多视点视频X当前图像的编码；

在解码端，对接收的多视点视频的每一个图像组进行重建，实施如下步骤：

步骤21、如果正确接收到来自信道1的信号，进入步骤22进行描述1的重建；否则转步骤23进行描述2的重建；

步骤22、描述1的重建：

步骤22-1、采用标准的多视点视频解码器对接收到的直接编码子序列的码流进行解码，重建的当前图像组，并保存其各宏块的最佳预测模式和预测矢量，转步骤22-2；

步骤22-2、重建的当前图像组，若已完成当前图像组所有宏块的重建，转步骤23进行描述2的重建；否则，转步骤22-2-1；

步骤22-2-1、读入当前宏块在中对应宏块的最佳预测模式和预测矢量，如果最佳预测模式是帧内模式，转步骤22-2-2重建的当前宏块；如果最佳预测模式属于帧间P8x8中的任一种模式，转步骤22-2-3重建的当前宏块；若最佳预测模式属于SKIP或帧间大模式，则以中对应宏块的重建值作为当前宏块的重建值，转步骤22-2重建的下一宏块；

步骤22-2-2、从信道1接收当前宏块的预测误差，并以中对应宏块的最佳预测模式为其预测模式，重建的当前宏块，转步骤22-2重建的下一宏块；

步骤22-2-3、从信道1接收当前宏块的预测误差，并以中对应宏块的最佳预测模式和预测向量为预测模式和预测向量，重建的当前宏块，转步骤22-2重建的下一宏块；

步骤23、描述2的重建：如果能正确接收到来自信道2的信号，转步骤23-1重建的当前图像组，否则转步骤24；

步骤23-1、采用标准的多视点视频解码器对接收到的直接编码子序列2的码流进行解码，重建的当前图像组，并保存其各宏块的最佳预测模式和预测矢量，转步骤23-2重建的当前图像组；

步骤23-2、如果已完成对当前图像组所有宏块的重建，转步骤24；否则，转步骤23-2-1重建的当前宏块；

步骤23-2-1、读入当前宏块在中对应宏块的最佳预测模式和预测矢量，如果最佳预测模式是帧内模式，转步骤23-2-2重建的当前宏块；如果最佳预测模式属于帧间P8x8中的任一种模式，转步骤23-2-3重建的当前宏块；若最佳预测模式属于SKIP或帧间大模式，则以中对应宏块的重建值作为当前宏块的重建值，转步骤23-2重建的下一宏块；

步骤23-2-2、从信道2接收当前宏块的预测误差，并以中对应宏块的最佳预测模式为其预测模式，重建的当前宏块；转步骤23-2重建的下一宏块；

步骤23-2-3、从信道2接收当前宏块的预测误差，并以中对应宏块的最佳预测模式和预测向量为预测模式和预测向量，重建的当前宏块，转步骤23-2重建的下一宏块；

步骤24、重建多视点视频X的当前图像组：如果能同时接收到来自信道1和2的信号，转步骤24-1进行中心重建；如果只能接收到来自信道1的信号，转步骤24-2进行边重建；如果只能接收到来自信道2的信号，转步骤24-3进行边重建；如果没有接收到任何信息，则所有帧均复制前一图像组的最后一帧，转步骤25；

步骤24-1、合并重建的的图像组，重建多视点视频的当前图像组，转步骤25；

步骤24-2、从重建的和的图像组，通过插值重建多视点视频的当前图像组，转步骤25；

步骤24-3、从重建的和的图像组，通过插值重建多视点视频的当前图像组，转步骤25；

步骤25、结束多视点视频当前图像组的重建。

本发明中描述1和描述2的编码可以顺序执行，也可以并行执行，同理，描述1和描述2的解码可以顺序执行，也可以并行执行。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种基于数据重用的多视点多描述视频编解码方法，其特征在于：

在编码端，对输入的多视点视频的每一个图像组实施如下步骤：

步骤11、对输入的多视点视频图像组中每个视点的每一帧进行水平下采样和垂直下采样，得到ABCD四个相同分辨率的子帧，然后分别将每个视点内空间位置一样的各子帧按序组合，形成该视点的ABCD四个视频子序列；再把各个视点的相对位置一样的视频子序列的集合作为一个多视点视频子序列，形成ABCD四个多视点视频子序列，把这四个多视点视频子序列两两组合形成两个描述，设为描述A+B和C+D；

步骤12、采用标准的多视点视频编码器直接对上述每个描述中的一个多视点视频子序列进行编码，设为多视点视频子序列A和C，称为直接编码子序列，并保存该直接编码子序列各宏块的最佳预测模式和预测矢量；

步骤13、设上述每个描述中的另一个多视点视频子序列为B和D，称为间接编码子序列，对间接编码子序列B和D的每一个宏块而言，如果同一描述中直接编码子序列的对应宏块的最佳预测模式是帧内模式，则转步骤13-1进行处理；如果最佳预测模式属于帧间P8x8，即8x8，8x4,4x8,4x4中的任一种模式，则转步骤13-2进行处理；否则，最佳预测模式属于SKIP或帧间大模式，即SKIP、16x16、16x8、8x16中的任一种模式，不需要编码，转步骤13处理下一宏块，直至所有宏块处理完毕转步骤14；

步骤13-1、直接复制同一描述中直接编码子序列对应宏块的最佳预测模式，对当前宏块进行帧内预测编码，转步骤13处理下一宏块；

步骤13-2、直接复制同一描述中直接编码子序列对应宏块的最佳预测模式和预测向量，即运动矢量或视差矢量，对当前宏块进行帧间预测编码，转步骤13处理下一宏块；

步骤14、将两个描述的输出码流分别打包送入两个相互独立的信道进行传输；

在解码端，对接收的多视点视频的每一个图像组进行重建，实施如下步骤：

步骤21、如果能正确接收信道1的信号，接收直接编码子序列1的码流并用标准的多视点视频解码器对接收到的码流进行解码，重建描述1的直接编码子序列1，转步骤22；否则，转步骤23对描述2进行解码；

步骤22、顺序重建描述1的间接编码子序列1的每一个宏块，若所有宏块重建完毕，转步骤23；如果描述1的间接编码子序列1的当前宏块在直接编码子序列1的对应宏块的最佳预测模式是帧内模式，转步骤22-1重建当前宏块；如果最佳预测模式属于帧间P8x8中的任一种模式，转步骤22-2重建当前宏块；否则，最佳预测模式属于SKIP或帧间大模式，以直接编码子序列1的对应宏块的重建值作为描述1的间接编码子序列1当前宏块的重建值，转步骤22重建下一宏块；

步骤22-1、从信道1接收描述1的间接编码子序列1当前宏块的预测误差，并以直接编码子序列1的对应宏块的最佳预测模式为当前宏块的预测模式，重建描述1的间接编码子序列1当前宏块，转步骤22重建下一宏块；

步骤22-2、从信道1接收描述1的间接编码子序列1当前宏块的预测误差，并以直接编码子序列1的对应宏块的最佳预测模式和预测向量为当前宏块的预测模式和预测向量，重建描述1的间接编码子序列1当前宏块；转步骤22重建下一宏块；

步骤23、如果能正确接收信道2的信号，接收直接编码子序列2的码流并用标准的多视点视频解码器对接收到的码流进行解码，重建描述2的直接编码子序列2，转步骤24，否则，转步骤25重建原始的多视点视频；

步骤24、顺序重建描述2的间接编码子序列的每一个宏块，若所有宏块重建完毕，转步骤25；如果当前宏块在直接编码子序列2的对应宏块的最佳预测模式是帧内模式，转步骤24-1重建当前宏块；如果最佳预测模式属于帧间P8x8中的任一种模式，转步骤24-2重建当前宏块；否则，最佳预测模式属于SKIP或帧间大模式，以直接编码子序列2的对应宏块的重建值作为当前宏块的重建值，转步骤24重建下一宏块；

步骤24-1、从信道2接收当前宏块的预测误差，并以直接编码子序列2的对应宏块的最佳预测模式为当前宏块的预测模式，重建当前宏块，转步骤24重建下一宏块；

步骤24-2、从信道2接收当前宏块的预测误差，并以直接编码子序列2的对应宏块的最佳预测模式和预测向量为当前宏块的预测模式和预测向量，重建当前宏块，转步骤24重建下一宏块；

步骤25、原始的多视点视频的图像组重建：如果能同时接收到来自信道1和2的信号，转步骤25-1进行中心重建；如果只能接收到来自信道1的信号，转步骤25-2进行边重建；如果只能接收到来自信道2的信号，转步骤25-3进行边重建；否则，没有接收到任何信号，所有帧均复制前一图像组的最后一帧，结束该图像组的重建；

步骤25-1、合并两个描述的4个视频子序列，重建多视点视频的当前图像组，结束该图像组的重建；

步骤25-2、对重建的描述1的每一帧，通过插值重建多视点视频图像组的每一帧，结束该图像组的重建；

步骤25-3、对重建的描述2的每一帧，通过插值重建多视点视频图像组的每一帧，结束该图像组的重建。