CN101262606A - 一种多视点视频的处理方法 - Google Patents

Abstract

本发明公开了一种多视点视频的处理方法，由于本发明方法将颜色校正处理过程嵌入到多视点视频编码处理过程中，与典型的先进行颜色校正再进行视点视频编码的方法相比，大大提高了多视点视频编码的编码性能；由于本发明是利用宏块的编码模式信息来进行前背景分离处理，与现有的利用视差估计或区域分割进行前背景分离的方法相比，本发明方法的前背景分离处理快速而又精确；此外，本发明利用背景信息来进行颜色校正，与在全局的图像间或在最相似的区域间进行颜色传递的方法相比，有利于获得一致的参考平面，更加符合相机的成像原理，提高了多视点视频颜色校正的精度。

Description

一种多视点视频的处理方法

技术领域

本发明涉及一种视频的处理方法，尤其是涉及一种多视点视频的处理方法。

背景技术

在真实世界中，观察者所看到的视觉内容取决于观察者相对于被观察对象的位置，观察者可以自由地选择各个不同的角度去观察和分析事物。在传统的视频系统中，真实的场景相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景。这些单方向上的视频序列只能反映真实世界场景的一个侧面。自由视点视频系统可以使用户自由地选择视点去观看真实世界场景中的一定范围内的任意侧面，被国际标准组织MPEG(Moving Picture Experts Group，运动图像专家组)称为下一代视频系统的发展方向。

多视点视频技术是自由视点视频技术中的一个核心环节，它能提供所拍摄场景的不同角度的视频信息。图1为多视点平行相机系统成像示意图，其中n+1个相机(或摄像机)被平行地放置以拍摄多视点视频。利用多视点视频信号中多个视点的信息可以合成用户所选择的任意视点的视频信息，达到自由切换任意视点视频的目的。但是多视点视频信号的数据量随着视点数目的增加而成倍增加，因此需要相应的多视点视频编码压缩技术来减少其庞大的数据量，以节省多视点视频信号传送的带宽和存储的空间。另一方面，由于在采集过程中各相机的场景光照、相机CCD噪声、快门速度和曝光等要素不一致，会导致不同相机采集的视频图像的颜色值差别很大，降低了后续多视点视频编码的性能和虚拟视点绘制的质量。

针对上述存在的问题，目前提出了一种典型的多视点视频的处理方法，如图2所示，在服务端，首先对多个相机采集得到的多视点视频进行颜色校正，然后对校正后的视频进行多视点视频编码，编码后的视频通过网络进行传输；在客户端，对接收到的编码后的视频进行解码，并在解码的视点间绘制虚拟视点视频图像。

现有的多视点颜色校正方法通常在全局的图像间或在图像最相似的区域间建立颜色映射关系，区域间的颜色映射需要将目标图像和源图像进行聚类分割，在最相似的区域间建立颜色映射关系，并以此映射关系对源图像进行校正。但这种颜色校正方法的精度较低。而目前，在现有的颜色校正过程中利用的前背景信息通常是采用视差估计或区域分割前背景分离手段来实现的，前背景分离的精度与视差估计或区域分割的计算能力有关，对于这两种前背景分离方法来讲，要提高精度需耗费大量的计算能力。

针对多视点视频编码，目前JVT(Joint Video Team，联合视频编码组)开发的JMVM(Joint Multiview Video Model，联合多视点视频模型)，推荐采用亮度补偿方法。该方法通过对编码宏块加权预测来补偿视差估计和补偿预测残差，从而来提高编码压缩效率，但采用这种方法，其解码后的多视点视频图像的颜色仍然不能达到一致性，并且亮度补偿对编码性能的提高并不是很大。

发明内容

本发明所要解决的技术问题是提供一种能够有效地保证解码后的多视点视频图像的颜色一致性，同时提高多视点视频的编码性能的多视点视频的处理方法。

本发明解决上述技术问题所采用的技术方案为：一种多视点视频的处理方法，它的处理过程为：对由具有n+1个相机的多视点相机系统在同一时刻拍摄的多视点视频在进行多视点视频编码处理过程中进行视频颜色校正处理，再将处理后的多视点视频通过网络传输，最后在解码的视点间绘制虚拟视点视频图像。

所述的在进行多视点视频编码处理过程中进行视频颜色校正处理的具体步骤为：

(1)将由具有n+1个相机的多视点相机系统在同一时刻拍摄的多视点视频，在时域上以帧组为编码单元进行处理，根据设定的编码预测结构，将一帧组内I帧所处的视点定义为参考视点，记为R，其他的视点定义为源视点，记为S；

(2)判断需编码的当前帧组是否为第一个帧组，如果是，则根据设定的编码预测结构，对参考视点的参考视点视频和源视点的源视点视频在时域上和空域上进行编码预测，并执行步骤(5)；否则，继续执行；

(3)利用前一个帧组的参考视点和源视点的前背景分离信息，对当前帧组的源视点视频进行颜色校正；

(4)根据设定的编码预测结构，对参考视点视频和颜色校正后的源视点视频在时域和空域上进行编码预测；

(5)根据当前帧组内的每帧中的每个宏块采用的编码模式信息，分别对参考视点和源视点进行前背景分离处理，得到当前帧组的参考视点和源视点的前背景分离信息；

(6)判断当前帧组是否为最后一个帧组，如果是，则结束；否则，跳转步骤(3)对下一个帧组进行处理。

所述的步骤(5)中的前背景分离处理包括以下步骤：

a.统计同一视点的不同位置的宏块，在帧组内的每帧中采用P帧或B帧编码的编码模式，如果一宏块在所有帧中的编码模式都为SKIP模式，则确定该宏块属于背景；否则，确定该宏块属于前景，得到初始的前背景分离信息；

b.对初始的前背景分离信息进行平滑，如果当前宏块属于前景，且与其相邻的左宏块、右宏块、上宏块和下宏块中至少有三个宏块属于背景，则确定该当前宏块为孤立的前景宏块，修改该当前宏块使其属于背景；如果当前宏块属于背景，且与其相邻的左宏块、右宏块、上宏块和下宏块中至少有三个宏块属于前景，则确定该当前宏块为孤立的背景宏块，修改该当前宏块使其属于前景，得到平滑的前背景分离信息。

所述的步骤(3)中的对当前帧组的源视点视频进行颜色校正的具体过程为：利用前一个帧组的参考视点和源视点的前背景分离信息，获取参考视点的每帧参考图像的第1个分量Y，第2个分量U和第3个分量V在背景区域的均值和标准差，以及源视点的每帧源图像的第1个分量Y，第2个分量U和第3个分量V在背景区域的均值和标准差，然后对源图像的Y，U和V各分量分别进行颜色校正， $I_i^C(x,y)=\frac{{\mathrm{\σ}}_i^R}{{\mathrm{\σ}}_i^S}(I_i^S(x,y)-{\mathrm{\μ}}_i^S)+{\mathrm{\μ}}_i^R,$ 其中I_i ^S(x，y)为源图像的第i个分量的颜色值，I_i ^C(x，y)为颜色校正后的校正图像的第i个分量的颜色值，μ_i ^R为参考图像的第i个分量在背景区域的均值，σ_i ^R为参考图像的第i个分量在背景区域的标准差，μ_i ^S为源图像的第i个分量在背景区域的均值，σ_i ^S为源图像的第i个分量在背景区域的标准差，i＝1，2，3。

与现有技术相比，本发明所提供的一种多视点视频的处理方法的优点在于：

1)本发明方法将颜色校正处理过程嵌入到多视点视频编码处理过程中，与典型的先进行颜色校正再进行视点视频编码的方法相比，大大提高了多视点视频的编码性能；

2)本发明利用宏块的编码模式信息来进行前背景分离处理，与现有的利用视差估计或区域分割进行前背景分离的方法相比，本发明方法的前背景分离处理快速而又精确；

3)本发明利用背景信息来进行颜色校正，与在全局的图像间或在最相似的区域间进行颜色传递的方法相比，有利于获得一致的参考平面，更加符合相机的成像原理，提高了多视点视频颜色校正的精度。

附图说明

图1为多视点平行相机系统成像示意图；

图2为典型的多视点视频的处理流程示意图；

图3为本发明多视点视频的处理方法的流程图；

图4为本发明采用的HBP编码框架示意图；

图5a为“flamenco1”多视点测试集的参考视点视频图像背景标记示意图；

图5b为“flamenco1”多视点测试集的源视点视频图像背景标记示意图；

图6a为“golf2”多视点测试集的参考视点视频图像背景标记示意图；

图6b为“golf2”多视点测试集的源视点视频图像背景标记示意图；

图7a为“flamenco1”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的Y分量编码率失真性能曲线比较示意图；

图7b为“flamenco1”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的U分量编码率失真性能曲线比较示意图；

图7c为“flamenco1”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的V分量编码率失真性能曲线比较示意图；

图8a为“golf2”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的Y分量编码率失真性能曲线比较示意图；

图8b为“golf2”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的U分量编码率失真性能曲线比较示意图；

图8c为“golf2”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的V分量编码率失真性能曲线比较示意图；

图9a为“flamenco1”多视点测试集经JMVM不采用亮度补偿编码方法处理后再解码的参考视点视频图像；

图9b为“flamenco1”多视点测试集经JMVM不采用亮度补偿编码方法处理后再解码的源视点视频图像；

图9c为“flamenco1”多视点测试集经JMVM采用亮度补偿编码方法处理后再解码的源视点视频图像；

图9d为“flamenco1”多视点测试集经本发明方法编码处理后再解码的源视点视频图像；

图10a为“golf2”多视点测试集经JMVM不采用亮度补偿编码方法处理后再解码的参考视点视频图像；

图10b为“golf2”多视点测试集经JMVM不采用亮度补偿编码方法处理后再解码的源视点视频图像；

图10c为“golf2”多视点测试集经JMVM采用亮度补偿编码方法处理后再解码的源视点视频图像；

图10d为“golf2”多视点测试集经本发明方法编码处理后再解码的源视点视频图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

下面首先描述本发明所采用的前背景分离的概念和通过背景信息进行颜色校正的过程。

目前多视点视频编码主要采用JVT(Joint Video Team，联合视频编码专家组)开发的JMVM(Joint Multiview Video Model，联合多视点视频模型)，JMVM的宏块编码模式主要包括SKIP，Motion SKIIP，16×16，16×8，8×16，8×8，Intra16，Intra8，Intra4等编码模式。其中，SKIP编码模式的特征是：如果当前宏块的运动矢量为0，并且像素的残差也为0，则可以确认该当前宏块为SKIP类型的宏块，当前宏块的像素重构值可以直接从前一帧对应宏块位置拷贝得到。SKIP类型的宏块为运动视频中的静止宏块，可以确认为是背景区域的宏块，从而为快速的前背景分离提供了理论依据。

本发明采用的前背景分离包括以下步骤：

a.统计同一视点的不同位置的宏块，在帧组内的每帧中采用P帧或B帧编码的编码模式，如果一宏块在所有帧中的编码模式都为SKIP模式，则确定该宏块属于背景；否则，确定该宏块属于前景，得到初始的前背景分离信息；

b.对初始的前背景分离信息进行平滑，如果当前宏块属于前景，且与其相邻的左宏块、右宏块、上宏块和下宏块中至少有三个宏块属于背景，即与当前宏块的分类不一致，则确定该当前宏块为孤立的前景宏块，修改该当前宏块使其属于背景；如果当前宏块属于背景，且与其相邻的左宏块、右宏块、上宏块和下宏块中至少有三个宏块属于前景，即与当前宏块的分类不一致，则确定该当前宏块为孤立的背景宏块，修改该当前宏块使其属于前景，这样就消除了一些孤立的前景宏块或背景宏块，得到平滑的前背景分离信息。

根据相机成像的原理，相机采集的颜色值是场景中对象的光学特性、场景光照和相机传感器三个因素共同作用的结果，多视点成像与单视点成像的区别在于多视点成像随着视点数目的增加，对三个因素的一致性控制也就越困难。不同相机的快门速度、曝光时间、相机噪声等很难调整到完全一致，同一光源对不同位置视点的作用也会不一致，对于不规则的场景对象表面，光谱反射系数随空间位置的微小变化会产生很大变化。而根据背景成像一致性原则，在成像过程中背景对光照、光谱反射系数的影响相对稳定，将背景与前景进行分离，相当于获得不同视点一致的参考平面，因此本发明方法中采用的颜色校正的具体过程可描述为：利用前一个帧组的参考视点和源视点的前背景分离信息，获取参考视点的每帧参考图像的第1个分量Y，第2个分量U和第3个分量V在背景区域的均值和标准差，以及源视点的每帧源图像的第1个分量Y，第2个分量U和第3个分量V在背景区域的均值和标准差，然后对源图像的Y，U和V各分量分别进行颜色校正， $I_i^C(x,y)=\frac{{\mathrm{\σ}}_i^R}{{\mathrm{\σ}}_i^S}(I_i^S(x,y)-{\mathrm{\μ}}_i^S)+{\mathrm{\μ}}_i^R,$ 其中I_i ^S(x，y)为源图像的第i个分量的颜色值，I_i ^C(x，y)为颜色校正后的校正图像的第i个分量的颜色值，μ_i ^R为参考图像的第i个分量在背景区域的均值，σ_i ^R为参考图像的第i个分量在背景区域的标准差，μ_i ^S为源图像的第i个分量在背景区域的均值，σ_i ^S为源图像的第i个分量在背景区域的标准差，i＝1，2，3。

在上述前背景分离和基于背景信息进行颜色校正的基础上，结合图3本发明的多视点视频的处理方法具体步骤如下：

(1)首先将由具有n+1个相机的多视点相机系统在同一时刻拍摄的多视点视频，在时域上以帧组为编码单元进行处理，根据设定的编码预测结构，将一帧组内I帧所处的视点定义为参考视点，记为R，其他的视点定义为源视点，记为S；在本实施例中设定的编码预测结构采用JVT推荐的可分级B帧(Hierarchical B-Picture，HBP)编码预测结构，如图4所示，HBP编码预测结构在时间参考和视点间参考间做了比较好的均衡，使其不论是对时间相关性强的序列还是对空间相关强的序列都表现出了较高的编码性能；

(2)判断需编码的当前帧组是否为第一个帧组，如果是，则根据设定的编码预测结构，对参考视点的参考视点视频和源视点的源视点视频在时域上和空域上进行编码预测，并执行步骤(5)；否则，继续执行；

(3)利用前一个帧组的参考视点和源视点的前背景分离信息，对当前帧组的源视点视频进行颜色校正；

(4)根据设定的编码预测结构，对参考视点视频和颜色校正后的源视点视频在时域和空域上进行编码预测；

(5)根据当前帧组内的每帧中的每个宏块采用的编码模式信息，分别对参考视点和源视点进行前背景分离处理，得到当前帧组的参考视点和源视点的前背景分离信息；

(6)判断当前帧组是否为最后一个帧组，如果是，则结束；否则，跳转步骤(3)对下一个帧组进行处理；

(7)将经过上述颜色校正和多视点视频编码处理后的多视点视频通过网络传输，最后在解码的视点间绘制虚拟视点视频图像。

以下就本发明进行多视点视频编码的编码性能及解码图像的主观性能进行比较。

对由KDDI公司提供的“flamenco1”，“glof2”两组多视点视频测试集采用本发明的多视点视频的处理方法。图5a和图5b分别给出了“flamenco1”多视点测试集的参考视点视频图像和源视点视频图像背景标记示意图，图6a和图6b分别给出了“golf2”多视点测试集的参考视点视频图像和源视点视频图像背景标记示意图，“flamenco1”和“glof2”多视点测试集的参考视点视频图像和源视点视频图像的图像尺寸均为320×240，YUV(4:2:0)格式。从图5a和图5b，及图6a和图6b中可以看出，图5a和图6a所示参考视点视频图像和图5b和图6b所示的源视点视频图像的颜色外表明显不一致，对图5b和图6b所示的源视点视频进行颜色校正就显得十分必要，并且采用本发明的前背景分离方法处理，能够较精确地提取出背景信息。

将采用本发明方法的编码性能，与JMVM不采用亮度补偿的编码性能与JMVM采用亮度补偿的编码性能进行比较，设定量化步长baseQP＝22，27，32，37，帧组的尺寸为15，也即时域上需要编码的帧数为15。图7a、图7b和图7c分别给出了“flamenco1”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的Y分量、U分量及V分量编码率失真性能曲线比较示意图，图8a、8b和8c分别给出了“golf2”多视点测试集的源视点视频经本发明颜色校正处理后与经JMVM不采用亮度补偿编码方法及JMVM采用亮度补偿编码方法处理后的Y分量、U分量及V分量编码率失真性能曲线比较示意图，编码的数据格式为YUV(4:2:0)。对于“flamenco1”多视点测试集，采用本发明方法的Y分量率失真性能，与JMVM采用亮度补偿编码的率失真性能基本一致，而与JMVM不采用亮度补偿编码在相同码率下相比提高了0.1dB；采用本发明方法的U分量率失真性能与JMVM采用亮度补偿编码及JMVM不采用亮度补偿编码在相同码率下相比提高了0.2～0.3dB；采用本发明方法的V分量率失真性能在相同码率下提高了0.25dB；对于“glof2”多视点测试集，采用本发明方法的Y分量率失真性能，与JMVM采用亮度补偿编码及JMVM不采用亮度补偿编码的率失真性能基本一致；采用本发明方法的U分量率失真性能与JMVM采用亮度补偿编码及JMVM不采用亮度补偿编码在相同码率下相比提高了0.6～0.7dB，采用本发明方法的V分量率失真性能与JMVM采用亮度补偿编码及JMVM不采用亮度补偿编码在相同码率下相比提高了0.3dB。综上所述可以看出，采用本发明方法处理后，大大提高多视点视频的编码性能，说明本发明方法中采用的颜色校正方法是有效的。

“flamenco1”和“golf2”多视点测试集经JMVM不采用亮度补偿编码后再解码的参考视点视频图像和源视点视频图像分别如图9a、图9b及图10a、图10b所示，“flamenco1”和“golf2”多视点测试集经JMVM采用亮度补偿编码后再解码的源视点视频图像如图9c和图10c所示，“flamenco1”和“golf2”多视点测试集采用本发明方法编码后再解码的源视点视频图像如图9d和图10d所示，此处的量化步长baseQP＝22，从图中可以看出，采用本发明方法中的颜色校正方法，解码的源视点视频图像的颜色与解码的参考视点视频图像非常接近，更加适合于后续的虚拟视点绘制。

Claims (4)

1、一种多视点视频的处理方法，其特征在于它的处理过程为：对由具有n+1个相机的多视点相机系统在同一时刻拍摄的多视点视频在进行多视点视频编码处理过程中进行视频颜色校正处理，再将处理后的多视点视频通过网络传输，最后在解码的视点间绘制虚拟视点视频图像。

2、如权利要求1所述的一种多视点视频的处理方法，其特征在于所述的在进行多视点视频编码处理过程中进行视频颜色校正处理的具体步骤为：

(1)将由具有n+1个相机的多视点相机系统在同一时刻拍摄的多视点视频，在时域上以帧组为编码单元进行处理，根据设定的编码预测结构，将一帧组内I帧所处的视点定义为参考视点，记为R，其他的视点定义为源视点，记为S；

(2)判断需编码的当前帧组是否为第一个帧组，如果是，则根据设定的编码预测结构，对参考视点的参考视点视频和源视点的源视点视频在时域上和空域上进行编码预测，并执行步骤(5)；否则，继续执行；

(3)利用前一个帧组的参考视点和源视点的前背景分离信息，对当前帧组的源视点视频进行颜色校正；

(4)根据设定的编码预测结构，对参考视点视频和颜色校正后的源视点视频在时域和空域上进行编码预测；

(5)根据当前帧组内的每帧中的每个宏块采用的编码模式信息，分别对参考视点和源视点进行前背景分离处理，得到当前帧组的参考视点和源视点的前背景分离信息；

(6)判断当前帧组是否为最后一个帧组，如果是，则结束；否则，跳转步骤(3)对下一个帧组进行处理。

3、如权利要求2所述的一种多视点视频的处理方法，其特征在于所述的步骤(5)中的前背景分离处理包括以下步骤：

a.统计同一视点的不同位置的宏块，在帧组内的每帧中采用P帧或B帧编码的编码模式，如果一宏块在所有帧中的编码模式都为SKIP模式，则确定该宏块属于背景；否则，确定该宏块属于前景，得到初始的前背景分离信息；

b.对初始的前背景分离信息进行平滑，如果当前宏块属于前景，且与其相邻的左宏块、右宏块、上宏块和下宏块中至少有三个宏块属于背景，则确定该当前宏块为孤立的前景宏块，修改该当前宏块使其属于背景；如果当前宏块属于背景，且与其相邻的左宏块、右宏块、上宏块和下宏块中至少有三个宏块属于前景，则确定该当前宏块为孤立的背景宏块，修改该当前宏块使其属于前景，得到平滑的前背景分离信息。

4、如权利要求2所述的一种多视点视频的处理方法，其特征在于所述的步骤(3)中的对当前帧组的源视点视频进行颜色校正的具体过程为：利用前一个帧组的参考视点和源视点的前背景分离信息，获取参考视点的每帧参考图像的第1个分量Y，第2个分量U和第3个分量V在背景区域的均值和标准差，以及源视点的每帧源图像的第1个分量Y，第2个分量U和第3个分量V在背景区域的均值和标准差，然后对源图像的Y，U和V各分量分别进行颜色校正， $I_i^C(x,y)=\frac{{\mathrm{\σ}}_i^R}{{\mathrm{\σ}}_i^S}(I_i^S(x,y)-{\mathrm{\μ}}_i^S)+{\mathrm{\μ}}_i^R,$ 其中I_i ^S(x，y)为源图像的第i个分量的颜色值，I_i ^C(x，y)为颜色校正后的校正图像的第i个分量的颜色值，μ_i ^R为参考图像的第i个分量在背景区域的均值，σ_i ^R为参考图像的第i个分量在背景区域的标准差，μ_i ^S为源图像的第i个分量在背景区域的均值，σ_i ^S为源图像的第i个分量在背景区域的标准差，i＝1，2，3。

Images