CN102572440A - 一种基于深度图和分布式视频编码的多视点视频传输方法 - Google Patents

Abstract

本发明属于视频传输领域，涉及一种基于深度图和分布式视频编码的多视点视频传输方法，包括：首先从多个视点中提取深度图视频序列，对深度图视频序列进行编码压缩后，采用信道编码进行保护，再投入有损信道传输；对于视点图信息则采用DVC编码方式，对于DVC编码中的K帧采用传统的帧内编码方式并将所有编码后的数据流直接进行网络传输，对于W帧则进行DCT变换并量化，将量化系数熵编码后投入有损信道，根据解码器的反馈请求发送校验码作迭代纠错解码。本发明能够提高多视点视频编码传输系统的可靠性。

Description

一种基于深度图和分布式视频编码的多视点视频传输方法

技术领域

本发明涉及视频传输领域，更具体的是一种多视点视频传输方法。

背景技术

随着网络多媒体相关领域技术的快速发展和交互式多媒体的广泛应用，人们已经不满足于单一视点的视频节目源，服务商和用户对于多视点视频系统的关注越来越多。对多视点视频而言，传输是连接多视点采集和显示的重要环节。随着多视点视频的发展，如何在有限的带宽内传输高质量的多视点视频，即实现对多视点视频的有效压缩成为了多视点视频传输的关键。

目前主流的视频编码压缩标准，如H.26X和MPEGX系列等，都是采用基于离散余弦变换(DCT)和运动估计帧间预测技术的混合编码框架，即在编码端使用运动估计，充分发掘视频信号的冗余信息。在通常情况下，编码复杂度一般是解码复杂度的5到10倍。而在越来越多的多媒体应用如多媒体传感器网络等场合，其编码端的计算能力、内存容量和耗电量等都受限，但解码端多为具有很高计算能力的中心服务器。

发明内容

本发明的目的是克服现有技术的上述不足，提供一种能够减少多视点视频数据的传输量，降低编码端的运算复杂度，并能提高多视点视频经过网络的抗错误性能的多视点视频传输方法。本发明提出的方法对视点图和深度图使用H.264进行信源压缩编码，并采用不平等的错误保护机制，能够提高多视点视屏编码传输系统的可靠性，获得较高的视频图片质量的多视点视频传输方法。本发明的技术方案如下：

一种基于深度图和分布式视频编码的多视点视频传输方法，包括下列几个方面：

(1)首先从多个视点中提取深度图视频序列，对深度图视频序列进行编码压缩后，采用信道编码进行保护，再投入有损信道传输；

(2)对于视点图信息则采用DVC编码方式，对于DVC编码中的K帧(关键帧)采用传统的帧内编码方式并将所有编码后的数据流直接进行网络传输，对于W帧(Wyner-Ziv帧)则进行DCT变换并量化，将量化系数熵编码后投入有损信道，根据解码器的反馈请求发送校验码作迭代纠错解码；此外，对模式信息和变换系数采用不等差错保护措施，与此同时对量化系数进行反量化，并再次粗量化后经Turbo编码器编码送入有损信道；

(3)解码时，根据解码端反馈的丢包信息，相对增加Turbo码编码器输出的校验数据传输速率，或通过增加信道编码的复杂度增加对运动信息和变换系数的保护等级，对于视点图信息进行DVC解码，并根据相应的深度图和分布式视频解码规则，将视点图信息和深度图信息结合，实现多视点立体视频的解码。

本发明的基于Depth-map和DVC的多视点视频的不等差错保护传输方法，能够根据数据的重要性进行不等差错保护，加强对重要数据的保护，从而提高了数据传输的可靠性。同时，由于采用了分布式视频编码和深度图，大大减少了多视点视频数据的传输量，降低了编码短的运算复杂度。实验表明，本发明所提出的传输技术能够提高多视点视频编码传输系统的可靠性，获得较高的视频图像质量。鉴于本发明是根据三个较成熟的算法综合而成，具有很高的可实施性和实际价值。另一方面，多视点立体视频具有广泛的应用前景，该专利能够获得较高的市场价值。

附图说明

图1系统整体框图。

图2固定丢包率下多视点视频序列的编码性能曲线。(a)5％丢包率下Exit视频的编码性能曲线；(b)5％丢包率下Ballroom视频的编码性能曲线；(c)10％丢包率下Exit视频的编码性能曲线；(d)10％丢包率下Ballroom视频的编码性能曲线。

具体实施方式

分布式视频编码是一种新的编码框架，它的编码复杂度低、抗误码性能好，适用于多终端多视点视频编码。。而在分布式视频编码中，采用分布式信源编码，其理论基础是Slepian和Wolf提出的一种针对相关信源的无损分布式信源编码理论，只要求传输传输速率：

R_X≥H(X|Y)                                   (1)

R_X+R_Y≥H(X，Y)                               (2)

就有可能得到信息的无损传输。此外，由于其在编码端不需要进行运动估计和帧间预测，编码端的复杂度大大降低。

由于多视点视频的数据量巨大，传输全部视点会给网络带来很大的负担。基于深度图的多视点视频处理系统与传统的多视点视频处理系统相比具有更大的优越性，包括与现有的数字视频广播兼容性更好，压缩能力更高，可以摆脱立体显示器的特性和用户观看条件的制约，消除立体摄像机和显示器之间的相互制约，具有更为灵活的适应性等。然而，因为深度视频序列是由多个视点通过深度视频生成算法得到的，深度视频序列中包含了更多的信息。因此，深度视频序列不仅在重建其它视点的视差估计算法中很重要，而且，对网络传输中可能发生的错误也更加敏感。

本发明基于分布式视频编码和深度图的多视点视频处理系统的优势，另一方面考虑到深度视频序列的重要性，提出一种结合深度图(Depth map)和分布式视频编码(DVC)的多视点视频传输方法，并在视频编码过程中引入UEP的方法，对重要程度不同的信息进行不同的差错保护，从而克服多视点视频传输数据量大和对误差敏感的问题。

本发明的系统整体框图如图1所示，本通信系统由立体视频读取，深度图提取，信源编码，信道编码，传输，信道解码，信源解码，立体视频合成显示等部分组成。本发明发明通过如下技术方案实现：

1)基于Depth-map和DVC的联合编码

基于Depth-map和DVC的多视点视频传输综合了深度图和分布式视频编码技术。基于Depth-map编码方案，本发明首先将深度图信息与视点信息分离，并投入不同信道。由于深度图信息能够被视作灰度视频，因而能够得到高效的压缩。在解码端就能够根据视差估计算法生成其它视点，这样大大减少了多视点视频数据的传输量。另一方面，独立信道传输加强了对深度图信息的保护。在得到了深度图的基础上，综合分布式多视点视频编码技术，对每个单独的视点使用DVC编码技术：对于关键帧(K帧)直接用H.264/AVC进行传统的帧内编码，对于W帧则进行DCT量化，在本发明中，和传统的DVC编码技术相比，增加了对W帧的DCT量化、反量化，最后再次粗量化的过程。经过粗量化的量化系数具有更高可压缩性，同时也加强了对用于DVC编码的校验码的保护，降低了编码端的运算复杂度。此外，由于在分布式视频编码中使用了信道编码，这也在一定程度上提高了多视点视频经过网络传输的抗错误性能。

2)不平等的错误保护传输机制

在视点图经过H.264视频编码压缩的数据流中，各部分数据对于解码端的重要性不同，本发明对不同重要性的数据采用不同的错误保护方法。进一步加强了压缩码流的抗错误性能。

传统的分布式多视点视频编码采用平等的错误保护机制(EEP)，为了增加码流的抗误码能力，本发明对视点图和深度图使用H.264进行信源压缩编码，并采用不平等的错误保护机制(UEP)。主要基于：一是在生成其他视点的视差估计算法中，深度图较视点图更为重要，故对编码压缩后的深度图的全部数据都采用信道编码进行保护，在本发明中采用了Turbo码编码器，再进行网络传输。二是在H.264视频压缩编码中，模式信息和变换系数对整个视频的解码至关重要，与普通数据相比，这些重要信息数据的丢失将对整个视频的解码产生更大的影响，在本发明中，为了增强系统的鲁棒性，对(1)中提到的经过粗量化后得到的量化系数进行信道编码保护，具体地说，即Turbo码编码。在尽量减少传输数据的前提下增强对于量化系数的保护。

3)解码

解码过程可以看做编码的逆过程，同样融合了DVC和depth-map解码的特点。每一帧的丢包率根据已经接收到的视频信息进行估计，然后通过实时传输控制协议RTCP反馈包发送给编码端的Turbo码编码器。通过反馈的信道丢包率，编码端的两个Turbo码编码器调整当前帧输出的校验数据速率。本发明采用的方法是，当丢包率增加时，保证网络传输总体数据量不变，减少其它数据流的传输速率，相对增加Turbo码编码器输出的校验数据传输速率。或者加强对于运动信息和变换系数的保护等级。

下面结合具体的实施例对本发明进行说明

一、立体视频的读取和深度图获取

本实施例采用两个多视点视频序列分别是运动比较缓慢的Exit视频和运动比较快速的Ballroom视频，均为八视点视频，250帧，帧率为30fps，分辨率为640*480，分别将丢包率设为5％和10％。首先利用MPEG-C Depth-map Generation软件对多视点视频的多个视点序列进行处理获得深度视频序列。并利用H.264视频编码，基于EEP和DVC的多视点视频编码，和基于UEP和DVC的多视点视频编码，三种编码技术分别对视频源进行编码以达到对比效果。

二、不平等的错误保护(UDP)机制

由于深度图较视点图更为重要，故对编码压缩后的深度图的全部数据都采用信道编码进行保护，再进行网络传输。而对于视点图，采用DVC编码方式，并在其中引入UDP保护机制，在H.264视频压缩编码以后，根据各部分数据流的重要性不同，采用不同的错误保护方法：对于所有编码后的数据流，直接进行网络传输；对于比较重要的模式信息和变换系数，前者直接进行Turbo码编码，传输其校验位，权衡了重要信息的保护和码流的节省。和后者则先进行反量化和粗量化，再进行Turbo码编码，传输其校验位。从而达到了划分错误保护等级的目的。

三、解码端处理

解码端利用由有损信道传输的数据进行解码。一方面，对于校验信息利用分布式解码器进行解码，得到由模式信息和变换系数构成的辅助信息，这些辅助信息可以被应用于H.264解码器的运动补偿不分而作为纠错信息，增加了信息的准确性和可靠性。另一方面，根据已经收到的视频信息对每一帧的丢包率进行估计，当实施时使用实时传输协议(RTP)时，通过在RTP头部检查序列数据即可获知丢包情况。然后通过RTCP反馈包发送给编码段的Turbo码编码器。通过反馈的信道丢包率，编码段的两个Turbo码编码器可以调整当前帧输出的校验数据速率。本发明使用的Turbo码编码器利用删余机制来删除输出的部分校验比特以达到一定的输出数据速率。最后，结合经过解码的深度视频序列和视点序列，根据视差估计算法生成其它所需视点。

从图2的各个图可看出，本发明的传输方法，具有比其他两种方法更高的峰值信噪比(PSNR)。

Claims (1)

1.一种基于深度图和分布式视频编码的多视点视频传输方法，包括下列几个方面：

(1)首先从多个视点中提取深度图视频序列，对深度图视频序列进行编码压缩后，采用信道编码进行保护，再投入有损信道传输；

(2)对于视点图信息则采用DVC编码方式，对于DVC编码中的K帧(关键帧)采用传统的帧内编码方式并将所有编码后的数据流直接进行网络传输，对于W帧(Wyner-Ziv帧)则进行DCT变换并量化，将量化系数熵编码后投入有损信道，根据解码器的反馈请求发送校验码作迭代纠错解码；此外，对模式信息和变换系数采用不等差错保护措施，与此同时对量化系数进行反量化，并再次粗量化后经Turbo编码器编码送入有损信道；

(3)解码时，根据解码端反馈的丢包信息，相对增加Turbo码编码器输出的校验数据传输速率，或通过增加信道编码的复杂度增加对运动信息和变换系数的保护等级，对于视点图信息进行DVC解码，并根据相应的深度图和分布式视频解码规则，将视点图信息和深度图信息结合，实现多视点立体视频的解码。