CN101867816A - 一种基于人眼视觉特性的立体视频非对称压缩编码方法 - Google Patents

Abstract

一种基于人眼视觉特性的立体视频非对称压缩编码方法，针对传统非对称视频编码中，一个视点具有较高质量而另一个视点具有较低质量的问题进行了改进。该方法将人眼视觉特性应用到立体视频压缩编码中，采用非对称编码方法，在联合多视点视频编码模型中以图像组GOP为单位间隔进行分辨率切换，对输入图像交替的进行下采样，使得每个视点都交叉地包含高质量和低质量的输入图像，再进行视点内的运动补偿预测编码、视点间的视差补偿预测编码以及运动补偿预测和视差补偿预测相结合的联合补偿预测编码，选取预测误差较小的一种作为预测方式，改善了低质量视点如果不是观察者占主导地位的视点，则视觉掩盖效应将不起作用的情况。

Description

一种基于人眼视觉特性的立体视频非对称压缩编码方法

技术领域

本发明涉及到立体视频的编码压缩方法，尤其是针对人眼主观视觉特性提出了一种新的非对称压缩编码方法，针对联合多视点视频编码模型中的编码结构，将降质过程平均分配到两个视点中去。

背景技术

立体视频一般由两个或两个以上的视频通道组成，在播放时通过显示从略微不同的角度采集到的同一场景的两个视图，分别对应人的两只眼睛，形成双目视差，并依靠人的大脑将这些图像融合成一幅有意义的三维图像，从而形成立体感。随着计算机、通信及网络技术的发展，立体视频的应用前景已经越来越广泛，包括立体电视、自由视点视频、远程医疗等等，它能够提供更生动的动态场景表示，是下一代家庭影院、广播电视以及流媒体应用的新媒体类型。然而，用两个相机对活动场景同时记录会产生很大的数据量，处理复杂程度也会成倍增加。为了有效存储信息并在带宽受限的信道上传输视频，必须充分利用空间、时间和两个通道的信息冗余，采用运动补偿预测、视差补偿预测技术，对立体视频数据进行压缩。因此，在不影响视频质量的前提下，减少带宽需求是立体视频走向应用的重要问题。

为了提高压缩效率，可以采用两种技术进行立体视频编码。一种技术是利用左右视点间的信息冗余。由于立体视频是通过双目同时得到物体的两幅图像而使用户产生深度的感觉，或者说，双目所得到的图像是同一场景、同一对象在同一时刻的左右眼图像，其信息具有高度的相关性。除了单目视频信息所具有的时间相关、空间相关等相关性之外，更为重要的是视点间存在双目视差。于是，便可对左右视点视频图像采用分层编码的思想和具体不同的编码策略，如对左眼得到的图像(或称左视点图像)采用传统的基于运动补偿预测的帧间预测编码和帧内变换编码相结合的混合编码技术来处理，并将左视点信息作为基本层码流；而对右眼得到的图像(或称右视点图像)采用传统的混合编码和消除视差相关性编码的联合补偿预测编码技术，并将右视点信息作为增强层码流，同时使得左右视点码流很容易做到与H.264编码标准兼容，从而大大减少立体视频信息之间的冗余，使得立体视频信息压缩编码后具有实际应用的价值。虽然对右视点图像序列采用联合补偿预测的编码模式进行编码，但最终形成的立体视频数据量相对于现有网络带宽而言还是很大。另一种压缩技术是利用人眼视觉特性减少其中一个单目视频输入的信息量。这个技术是基于视觉心理学的研究，在立体视觉中，一只眼睛所看到的模糊的降质图像可以被另一只眼睛看到的清晰图像所掩盖，两只眼睛融合的图像主观质量接近与两只眼睛的平均质量。同时视觉心理学还指出高分辨率图像能够抑制低分辨率图像中的模糊部分，而不会影响感知深度，这就是人眼抑制理论。因此，只要其中一个视点具有高质量，人眼视觉系统(HVS)就可以感知高质量的3D视频。可以利用这种视觉心理冗余来提高立体视频的传输效率，通过非对称编码双目视频，其中一个视点传输完整的视频质量，而另一个视点，通过降低空-时分辨率或减少比特率进行降质处理，这就是传统的立体视频非对称压缩编码方案。然而，在传统的立体视频非对称编码中，始终用降质图像表示一个视点，其观看效果取决于各个观看者，因为这个降质的视点可能是观看者占主导地位的视点，在这种情况下，模糊的掩盖效果不容乐观甚至不起作用。一种自然的解决方法就是对左右两个视点视频的每帧图像交替降质，使得在时间上每个视点的视频质量分布均匀。然而，取决于图像质量的非对称程度，视点间频繁交替的图像质量在观看时会产生不好的闪烁现象。为了克服这个问题，可以利用场景切换时视觉掩盖效应。也就是，在场景切换时进行交替降质，保证时间上每个眼睛所观看的图像质量平均，并且交替降质产生的闪烁现象不可见，从而大大减少带宽。

基于以上所述的理论和技术，本发明采用一种新的立体视频非对称压缩算法来降低立体视频的数据量。

发明内容

技术问题：本发明所要解决的技术问题是提供一种立体视频信号编码压缩方法，充分利用左右视点视频序列的相关性以及人眼主观视觉特性，在不降低主观视频质量的同时，提高编码的效率。

技术方案：本发明的一种基于人眼视觉特性的立体视频非对称压缩编码方法将人眼视觉特性应用到立体视频压缩编码中，采用非对称编码方法，在联合多视点视频编码模型中以图像组GOP为单位间隔进行分辨率切换，对输入图像交替的进行下采样，使得每个视点都交叉地包含高质量和低质量的输入图像，再进行视点内的运动补偿预测编码、视点间的视差补偿预测编码以及运动补偿预测和视差补偿预测相结合的联合补偿预测编码，选取预测误差较小的一种作为预测方式，该编码方法包括以下步骤：

步骤1：在编码端，对输入的立体视频序列，先以图像组为单位交替进行下采样，使得左右视点序列中包含不同分辨率的图像组，当左视点序列中某个图像组保持高分辨率时，同一时刻右视点序列中相应的图像组进行下采样得到低分辨率图像，反之亦然，

步骤2：对于左视点视频序列，在联合多视点视频编码模型中采用基于H.264的多模式多参考帧编码方案进行编码，并且重建；编码时，由于各个图像组之间具有不同的分辨率，首先应当判断当前编码帧的参考帧是否为图像组的边缘，并且判断当前帧的参考帧是否用作前一个图像组的参考，若是，则调用上、下采样模块，用来实现左视点的运动补偿预测，

步骤3：对于右视点视频序列，采用如下三种预测编码方式，分别为视差补偿预测、运动补偿预测或联合补偿预测，选择预测误差较小的一种作为右视点视频序列的编码方法；由于编码帧的参考帧不仅来自右视点，还来自左视点，因此在读取参考帧时，先进行参考帧视点的判断；若参考帧来自右视点，参考帧的修改方法与左视点类似，只是调用的上、下采样模块与左视点相反；若参考帧来自左视点，再判断当前帧所在的图像组GOP为奇数还是偶数，以此决定对参考帧进行上采样或是下采样；当参考帧和当前帧具有相同分辨率后，再进行联合预测补偿编码，

步骤4：在解码端，对解码后的重建帧按照与编码端的相反方式进行上、下采样，进行播放。

有益效果：本发明针对立体视频的高数据量和复杂度，提出了基于人眼主观视觉特性的非对称编码框架，将降质过程平均分配到两个视点中去，改善了低质量视点不是观看者占主导地位视点的情况，修改了联合多视点视频编码模型中的编码结构。

与现有技术相比，本发明的优点在于充分利用了人眼的主观视觉特性，通过以图像组为单位交替进行下采样的方式，降低了立体视频的编码数据量，同时保证了观看者两个视点具有较为平均的视频质量，在码率和主观质量上是一种折中。

附图说明

图1立体视频非对称编码框架，

图2联合多视点视频编码模型(JMVM)中原始预测结构，

图3传统的非对称立体视频预测结构，

图4基于人眼视觉特性的非对称立体视频预测结构，

图5基于人眼视觉特性的非对称立体视频编码器结构，

图6左视点编码，

图7右视点编码。

具体实施方式

①在编码的初始，先对输入的视频序列以图像组为单位间隔进行下采样，交替降低每个视点中各个图像组图像的分辨率，当左视点序列中某个图像组保持高分辨率时，同一时刻右视点序列中相应的图像组进行下采样得到低分辨率图像，反之亦然。保持同一时刻左右视点分辨率的非对称特性，而在一段时间内，左右视点视频质量平均。②对左视点序列采用基于H.264多模式多参考帧编码方案进行编码，并且进行重建，用作右视点序列编码的参考。其中，由于输入序列各个图像组图像的分辨率已经交替改变，编码时，需要判断当前编码帧的参考帧是否为图像组的边缘，并且判断是否用于前一个图像组的后向估计，以此来决定调用上、下采样模块，使得参考帧与当前编码帧具有相同分辨率，进行运动补偿预测编码。③对于右视点序列采用联合补偿预测编码，充分利用左右视点视频序列的相关性，编码时，除了类似左视点进行运动补偿预测估计，还需要考虑视点间视差估计。编码时，若读取的参考帧来自左视点，还需调用上、下采样模块使得参考帧和当前编码帧具有相同分辨率，再进行联合预测补偿编码。④为了用于立体显示，对解码重建后的yuv格式的左右视点视频序列文件，需按输入编码时下采样的方式，对应进行上采样，使两个视点中各个图像组图像恢复相同的分辨率，再利用分色显示原理进行显示。

图1为提出的立体视频非对称编码框架。在编码端，立体视频图像序列在进行联合补偿预测编码前，先以图像组(GOP)为单位交替进行下采样，得到不同分辨率的图像组图像。在左视点保持高分辨率时，右视点进行下采样得到低分辨率图像，反之亦然。在解码端，经过下采样的图像需要经过上采样过程，恢复原始分辨率大小，和另一个视点的高分辨率图像进行立体显示。上采样过程和下采样过程相同，都是以一个图像组为单位交替进行。虽然下采样过程会损失一部分高频分量，但相应的另一个视点的高分辨率图像会掩盖这种失真。这样的非对称编码使得编码复杂度和带宽大大下降。

图2为联合多视点视频编码模型(JMVM)中的预测结构。所谓的图像组(GOP)，是由关键帧和等级B图像组成，等级B图像位于当前图像组的关键帧和前一个图像组的关键帧之间。图中，用一组4帧图像来说明等级预测结构。关键帧采用帧内编码，或者采用帧间编码，它使用另一个视点的关键帧作为参考进行视差补偿预测。视频序列的第一帧图像总是采用帧内编码作为IDR(瞬时解码重建)帧，它表示一个特殊的图像组(GOP)，只由一帧图像构成。一个图像组(GOP)的其他图像采用等级预测结构。例如，中间帧由两边关键帧作为参考预测得到，它只取决于关键帧，表示和关键帧相比的下一个更高的时间分辨率。

图3为传统的立体视频非对称编码预测结构。利用视觉掩盖特性，对其中一个视点进行下采样处理，降低视频序列的图像分辨率。但是这种方法取决于各个观察者，降质的视点可能是观察者占主导地位的视点。在这种情况下，掩盖效应不容乐观甚至不起作用。

图4为基于人眼视觉特性的立体视频非对称预测结构，它对左右视点视频的各个图像组图像交替降质，使得在时间上每个视点的视频质量分布均匀。图中以图像组大小等于4为例。实际中，取决于图像质量的非对称程度，视点间图像质量频繁的交替变化会产生不好的闪烁现象。为了克服这个问题，可以利用场景切换时视觉掩盖效应，也就是，在场景切换时进行分辨率切换。基于联合多视点视频编码模型中的编码结构，由于可以认为一个图像组中的图像相关性较强，可以把质量的切换处选择为每个图像组的边缘，为了避免频繁的切换造成的闪烁现象，可以把图像组的大小设为12或16等比较大的值，也可以隔两三个图像组进行切换。本发明以图像组大小等于4作为图例说明，实际采用图像组大小等于12，且每隔一个图像组切换一次分辨率。

图5为基于人眼视觉特性的立体视频非对称编码器结构，由于输入的两个视点视频图像的分辨率已经做了修改，必须重新修改编码器进行联合补偿预测编码。参考图4，以左视点的第4帧为例，当它用来预测本视点前一个图像组中的其他帧时(如第2帧)，需要将它在解码图像缓存(DPB)中的重建图像进行下采样，保证与前一个图像组的分辨率相同；当它用来预测当前图像组中其他帧时(如第6帧)，由于分辨率相同，则不需要调用上下采样模块。改进的编码器结构，在左、右视点中，分别加入了图像组边缘判断模块，用来判断当前帧的参考帧是否为图像组边缘，并且判断是否用作前一个图像组的参考，若是，则调用上、下采样模块，用来实现视点内不同分辨率时的补偿预测。同样，在视点间的视差补偿预测中，由于同一时刻左右视点每一帧分辨率都不同，也加入了一个上、下采样模块用作视点间参考。

图6为左视点编码步骤。

首先定义GOP边缘的判断条件，用uiFrame来表示当前编码帧号，GOPsize表示GOP的大小。

式(1)用来判断是否为GOP边缘。用SizeChange位来标识调用上采样还是下采样模块。

式(2)中uiFrame/GOPsize表示当前编码帧属于第几个GOP，对2取余后将GOP分为奇、偶号，各视点编码时根据SizeChange位的不同分别处理，选择对应的上、下采样模块。

对于左视点编码，其参考帧都来自本视点，按以下步骤进行判断：

1.读取参考帧列表时，首先根据式(1)判断参考帧是否为图像组边缘；

2.若是，则判断参考帧是否来自list1(后向估计列表)，若是，则表示该参考帧用于前一个图像组的后向估计，若否，则表示用于当前图像组的前向估计，不需要进行上、下采样；

3.当参考帧用于前一个图像组的后向估计时，需要根据式(2)判断SizeChange位，由图4的结构可知，若为偶数，则需要对参考帧进行下采样，若为奇数，则进行上采样。参考帧与当前帧具有相同分辨率后，再继续下面的运动补偿预测编码。

另外，图中，RefId为参考帧的ID号，CurrId为当前编码帧的ID号，在联合多视点视频编码模型中，当参考帧的ID号大于当前编码帧的ID号时，表示此时进行后向估计，等价于参考帧来自list1(后向估计列表)。

图7为右视点编码步骤。右视点编码时，它每一帧的参考帧不仅来自右视点，还来自左视点。因此在读取参考帧时，先进行参考帧视点的判断。ViewId表示视点号。若视点号等于1，表示读取的参考帧来自本视点，参考帧的修改方法与左视点类似，只是在判断SizeChange为奇数或偶数时，调用的上、下采样模块与左视点相反。若视点号等于0，表示读取的参考帧来自左视点，只需判断SizeChange的奇偶特性，决定对其进行上采样或是下采样。当参考帧和当前编码帧具有相同分辨率后，再进行联合补偿预测编码。

本发明采用联合多视点视频编码模型(JMVM)2.3作为测试平台，编码的基本配置如表1所示，选取的上、下采样滤波器如表2所示。

表1配置参数

特性	参数
		熵编码	CABAC
参考图像	最大3
		GOP大小	12
IntraPeriod	12
		编码帧数	25
basicQP	30

表2滤波器

滤波器	抽头系数
		下采样滤波器	{0，2，0，-4，-3，5，19，26，19，5，-3，-4，0，2，0，64}
上采样滤波器	{0，0，1，0，-5，0，20，32，20，0，-5，0，1，0，0，64}
		色度上采样滤波器	{0，0，0，0，0，0，16，32，16，0，0，0，0，0，0，64}

Puppy序列的实验结果如表3所示。

表3Puppy序列实验结果比较

从表中可以看出，采用本发明提出的编码结构后，左视点的码率有了较多的下降，而右视点码率有所升高。这是由于在编码右视点的关键帧时，由于左视点的参考图像是由低分辨率图像上采样得到的，因此视差估计会不准确，有较大的误差，造成了码率的升高。而联合多视点视频编码模型中，由于两个视点分辨率相同，左视点的I帧直接用作右视点的参考图像，准确度高，节省了将近一半I帧所用的比特数。因此，在联合多视点视频编码模型中，右视点的码率总是比左视点低。

本发明提出的编码结构在总码率上还是有所降低，对于场景固定内容简单的序列，码率降低在15％以上；而对于场景运动剧烈的序列，降低的不是很明显；对于场景固定运动程度较为平缓的序列，码率降低在10％-15％之间。然而，对解码后的图像上采样，和原始图像比较计算PSNR，本发明方案两个视点视频序列在时间上的PSNR比较平均，而对比单视点降低分辨率的方案中，右视点的PSNR要比左视点普遍低5-7dB。本发明方案两个视点视频序列PSNR的方差较小。

综上所述，与现有技术相比，本发明的优点就是利用了人眼主观视觉特性，改进了立体视频的非对称压缩编码结构，使得两个视点的视频质量较为平均，克服了单视点下采样左右视点质量相差过大的不利影响，是码率和主观视频质量的折中。

Claims (1)

1.一种基于人眼视觉特性的立体视频非对称压缩编码方法，其特征在于该方法将人眼视觉特性应用到立体视频压缩编码中，采用非对称编码方法，在联合多视点视频编码模型中以图像组GOP为单位间隔进行分辨率切换，对输入图像交替的进行下采样，使得每个视点都交叉地包含高质量和低质量的输入图像，再进行视点内的运动补偿预测编码、视点间的视差补偿预测编码以及运动补偿预测和视差补偿预测相结合的联合补偿预测编码，选取预测误差较小的一种作为预测方式，该编码方法包括以下步骤：

步骤1：在编码端，对输入的立体视频序列，先以图像组为单位交替进行下采样，使得左右视点序列中包含不同分辨率的图像组，当左视点序列中某个图像组保持高分辨率时，同一时刻右视点序列中相应的图像组进行下采样得到低分辨率图像，反之亦然，

步骤2：对于左视点视频序列，在联合多视点视频编码模型中采用基于H.264的多模式多参考帧编码方案进行编码，并且重建；编码时，由于各个图像组之间具有不同的分辨率，首先应当判断当前编码帧的参考帧是否为图像组的边缘，并且判断当前帧的参考帧是否用作前一个图像组的参考，若是，则调用上、下采样模块，用来实现左视点的运动补偿预测，

步骤3：对于右视点视频序列，采用如下三种预测编码方式，分别为视差补偿预测、运动补偿预测或联合补偿预测，选择预测误差较小的一种作为右视点视频序列的编码方法；由于编码帧的参考帧不仅来自右视点，还来自左视点，因此在读取参考帧时，先进行参考帧视点的判断；若参考帧来自右视点，参考帧的修改方法与左视点类似，只是调用的上、下采样模块与左视点相反；若参考帧来自左视点，再判断当前帧所在的图像组GOP为奇数还是偶数，以此决定对参考帧进行上采样或是下采样；当参考帧和当前帧具有相同分辨率后，再进行联合预测补偿编码，

步骤4：在解码端，对解码后的重建帧按照与编码端的相反方式进行上、下采样，进行播放。

Images