CN104038752B - 基于三维高斯混合模型的多视点视频直方图颜色校正 - Google Patents

Abstract

本发明基于三维高斯混合模型的多视点视频直方图颜色校正，具体指一种基于局部的三维高斯混合模型的多视点视频直方图颜色校正方法，涉及多视点视频图像处理技术领域。本发明通过对源图像和目标图像的定义；获取源图像和目标图像三通道的直方图的峰值个数；对源图像和目标图像进行聚类分析，获取中心矢量；源图像和目标图像中的各像素值进行区域划分；匹配源图像和目标图像的对应区域；获取源图像和目标图像各匹配区域的三通道直方图H_I(x)及采用基于直方图的颜色校正方法进行局部校正等步骤，克服了现有技术存在的算法较复杂，计算量过大，过度校正等缺陷，具有简洁、方便、快速、经济的特点。

Description

基于三维高斯混合模型的多视点视频直方图颜色校正

技术领域

本发明涉及多视点视频图像处理技术领域，具体指一种基于局部的三维高斯混合模型的多视点视频直方图颜色校正方法。

背景技术

随着计算机图形学与视觉技术的发展，传统的二维图像已经很难满足人们对于视频质量及内容多样性的追求。三维立体视频通过摆放在不同角度的摄像机对同一场景的内容进行采集，获取同一场景不同视点的相同内容信息。但是随着摄像机数目的增加，摄像机阵列所采集到的信息量也在成倍的增加，限制了其传输与存储。同时，在采集过程中，由于物体表面的反射性、噪声环境以及成像设备本身的特性(包括电荷耦合器件CCD噪声，抖动，快门速度以及曝光时间等)都会导致获取的视点间的视频颜色不一致，这将影响到视频处理中的视察估计以及虚拟视点绘制，从而无法消除视点间的冗余信息，也就无法达到满意的压缩效率并严重影响传输以及观看质量。现有的一些校正方法，如“基于尺寸可变块匹配的多视点视频颜色校正方法”提出了一种尺寸可变块匹配的校正方法，但由于需要根据块的可靠性判断是否要继续分割重新搜索，所以算法复杂；而“Histogram-basedprefilteringforluminanceandchrominancecompensationofmultiviewvideo”中的方法虽然比较简单，但为了满足整幅图像的校正效果，校正参数不宜过大，会出现个别区域校正效果不理想的情况，当参数过大时还会引起校正过度的情况等。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种结合高斯混合模型以及直方图校正的多视点视频颜色校正方法。

其基于通过平滑滤波源图像和目标图像的各通道直方图，再利用计算直方图的梯度值的自动检测算法来获得各通道直方图的峰值个数。结合数学中的独立统计思想，即各通道直方图的峰值个数体现的是三原色像素值在图像出现的最高频次，峰值个数的乘积体现的正是三原色相互组合后在源图像和目标图像中的主要颜色区域个数，基于这种排列组合思想，利用高斯混合模型对源图像和目标图像聚类分割的个数等于各通道峰值个数的乘积。利用聚类获取的中心矢量，计算图像每个像素点距离各个聚类中心的最小欧几里得距离，从而对源图像和目标图像划分区域，进行局部直方图校正。在对应区域中构建匹配函数，将目标图像中各区域依次校正到源图像的对应区域上。

本发明基于三维高斯混合模型的多视点视频直方图颜色校正，包括以下步骤：

A.将拍摄于同一场景不同时刻的多视点图像中的其中一个视点定义为源图像，将其他视点的图像定义为待校正的目标图像。

B.分别计算源图像和目标图像三通道的直方图H_I(x)，并根据获取的直方图通过算法获取三通道直方图中的峰值个数， $H_I\left(x\right)=\frac{1}{w\·h}\·\underset{m=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{w-1}{\mathrm{\Σ}}}\mathrm{\δ}(x,I(m,n)),$ 其中w,h为图像的宽和高，I为三通道对应点像素值。

C.根据计算获取到的各通道的直方图的峰值个数结合高斯混合模型将目标图像和源图像进行聚类分析，获取中心矢量。

D.分别计算目标图像和源图像中的各像素值与中心矢量的欧几里得距离，从而对两图像进行分区域划分。

E.对源图像和目标图像中的各个区域进行匹配。

F.分别获取目标图像和源图像各匹配区域的三通道直方图，采用基于直方图的颜色校正方法进行局部校正； $H_I\left(x\right)=\frac{1}{w\·h}\·\underset{m=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{w-1}{\mathrm{\Σ}}}\mathrm{\δ}(x,I(m,n)),$ 其中w,h为图像的宽和高，I为三通道对应点像素值。

G.在源图像和目标图像对应的匹配区域之间构建映射关系，并确定映射关系的各个系数，然后进行基于直方图的颜色校正。

所述获取源图像和目标图像三通道直方图的峰值个数的算法是通过对其直方图进行平滑处理并计算其梯度值得到的，其中x,y为直方图的横纵坐标，z代表RGB三通道。

所述运用高斯混合模型对源图像和目标图像进行聚类分析时，利用了独立统计学的原理，将图像中显示的主要颜色区域块视为图像各通道直方图的峰值的相互组合，以利用排列组合的思想将获取到的各通道的峰值个数的乘积作为高斯混合模型聚类的个数，进而获取聚类中心矢量。

所述对源图像和目标图像对应区域进行匹配时，为了减少复杂度，这里不再计算目标图像和源图像的中心矢量的匹配，直接将源图像经过三维高斯混合模型处理后的中心矢量作为目标图像的中心矢量，便于后面的区域匹配。

所述在对源图像和目标图像进行区域划分时，采用欧几里得距离公式来计算图像各个像素值与各个中心矢量的最小距离Min(D(x))，根据最小距离划分从属区域，即：两图像中的像素点距离哪个中心矢量最近，则该像素点就从属于以此中心矢量为中心的区域；其中，N为聚类个数，I(x)代表图像中的像素矢量，V_k(x)表示图像中第k个区域的中心矢量，D(x)代表各像素点距离中心矢量的欧几里得距离。

所述在源图像和目标图像的匹配区域之间构建映射关系I_ref(x,y)＝a_j·I_tar(x,y)+b_j，通过对应区域的直方图来确定各区域的映射系数，其中，I_ref(x,y)，I_tar(x,y)分别代表源图像区域与目标图像区域的像素，a_j代表由相机灵敏度等因素引起的三维乘性差异，bj代表由相机元件暗电流产生的三维加性差异，乘性差异决定了直方图分布的疏密程度，加性差异决定了直方图的位置关系。

与现有的技术相比，本发明提出的基于三维高斯混合模型的多视点视频直方图颜色校正方法的优点在于：

通过平滑处理直方图再计算其梯度值的自动算法来获取源图像和目标图像各通道直方图的峰值个数。

考虑到高斯混合模型用于语音、图像识别等方面平滑地近似任意形状的密度分布，得到了不错的效果，且基于全局的直方图校正方法会有过度校正的缺陷，本发明采用二者相结合的方法对多视点视频图像进行局部的校正，从而获取更好地校正效果。

考虑到彩色视频图像中的各个主要颜色区域，均是由RGB三原色的相互独立的融合显示的，主要的颜色区域在各通道直方图中体现的是峰值区域的组合，所以本发明采用排列组合的思想，将三通道的直方图的峰值个数的乘积作为高斯混合模型聚类分析的个数，使多视点视频图像达到更恰当地划分。

为了简便算法，便于源图像和目标图像的对应区域进行匹配，在对源图像和目标图像进行区域划分时采用的都是源图像的中心矢量。

对于源图像和目标图像的区域划分，本发明采用计算图像各个像素点距离中心矢量的最小欧几里得距离对两图像中的像素点进行从属划分，即两图像中的像素点距离哪个中心矢量最近，则该像素点就从属于以此中心矢量为中心的区域。

在最终确定源图像和目标图像对应匹配区域直接的映射关系时，根据乘性差异决定了直方图分布的疏密程度，加性差异决定了直方图的位置这一发现来匹配源图像和目标图像对应区域各通道的直方图形状，从而确定映射系数。

附图说明

图1为本发明基于三维高斯混合模型的多视点视频直方图颜色校正流程框图。

具体实施方式

以下结合附图和实施例对本发明作进一步的描述

实施例采用KDDI公司提供的大小为640*480的race1序列0、1视点图像，flamenco2序列0、1视点图像以及objects2序列的0、1视点图像在MATLAB软件环境下进行，其包括以下步骤：

A.定义三个序列的1视点中的任一帧，如第9帧图像为源图像，则0视点中的对应帧，第9帧图像为目标图像。

B.MATLAB软件上读取源图像和目标图像的像素值，然后根据直方图公式计算获取各个实例的两图像直方图，其中w,h为图像的宽和高，I为三通道对应点像素值。再对获取的直方图进行平滑处理，根据公式计算直方图的梯度值获取三通道直方图中的峰值个数，其中x,y为直方图的横纵坐标，z代表RGB三通道。

C.利用排列组合的思想将获取到的各通道的峰值个数的乘积作为高斯混合模型聚类的个数，对源图像和目标图像进行基于高斯混合模型的聚类分析，进而获取聚类中心矢量，其中高斯混合模型的构建中图像的概率密度函数为：

$P\left(x_i\right)=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\α}}_j{N}_j(x_i;{\mathrm{\μ}}_j,{\mathrm{\Σ}}_j)$

${\mathrm{\α}}_j=\frac{\exp (-\frac{{(I\left(x\right)-{\mathrm{\μ}}_j)}^2}{2{\left({\mathrm{\Σ}}_j\right)}^2})}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\exp (-\frac{{(I\left(x\right)-{\mathrm{\μ}}_k)}^2}{2{\left({\mathrm{\Σ}}_k\right)}^2})}$

其中，α_j,j＝1,···N代表了N个高斯分布区域的的加权函数且有μ_j与Σ_j分别代表了聚类区域的平均值(利用三维高斯混合模型EM迭代获得的)与标准差，N_j(x_i；μ_j,Σ_j)表示第j个高斯分布的概率密度函数，x_i与I(x)均代表三通道对应点的像素值。

D.目标图像采用源图像的中心矢量，分别计算三个实例的目标图像和源图像中的各像素值与中心矢量的最小欧几里得距离其中，N为聚类个数，I(x)代表图像中的像素矢量，V_k(x)表示图像中第k个区域的中心矢量，D(x)代表各像素点距离中心矢量的欧几里得距离，根据最小距离划分两图像中像素点的从属区域，即：两图像中的像素点距离哪个中心矢量最近，则该像素点就从属于以此中心矢量为中心的区域。

E.在进行区域划分时，目标图像采用源图像的中心矢量，所以匹配目标图像和源图像对应区域时，利用相同的聚类中心划分后的两图像的区域即为匹配区域。

F.在MATLAB上用公式分别获取目标图像和源图像各匹配区域的三通道直方图。

G.采用基于直方图的颜色校正方法在目标图像和源图像匹配区域之间进行局部校正，即在源图像和目标图像的匹配区域之间构建映射关系I_ref(x,y)＝a_j·I_tar(x,y)+b_j，其中，I_ref(x,y)，I_tar(x,y)分别代表源图像区域和目标图像区域的像素，a_j代表由相机灵敏度等因素引起的三维乘性差异，b_j代表由相机元件暗电流产生的三维加性差异。通过调节系数a_j和b_j观察两图像对应区域的直方图是否基本相似来确定各区域的映射系数，其中乘性差异决定了直方图分布的疏密程度，加性差异决定了直方图的位置关系。

实验结果与采用直方图的全局性校正相比，race1视频序列中，0视点目标图像经过本方法校正后的背景与基于全局的直方图方法相比绿色更浅，亮度更接近1视点的源图像；flamenco2序列中，采用本发明方法校正后，经过校正的0视点目标图像中的地板颜色没有采用基于全局的直方图方法校正后的颜色那么红，更接近1视点源图像的颜色；同样在objects2序列中采用本发明校正后的目标图像中墙壁的粉红色和地板的黄色都更接近源图像，观看效果更好些。

综上所述，通过对源图像和目标图像的定义；获取源图像和目标图像三通道的直方图的峰值个数；对源图像和目标图像进行聚类分析，获取中心矢量；源图像和目标图像中的各像素值进行区域划分；匹配源图像和目标图像的对应区域；获取源图像和目标图像各匹配区域的三通道直方图H_I(x)；采用基于直方图的颜色校正方法进行局部校正等步骤，克服了现有技术存在的算法较复杂，计算量过大，过度校正等缺陷，具有简洁、方便、快速、经济的特点。

Claims (7)

1.一种基于三维高斯混合模型的多视点视频直方图颜色校正方法，其特征在于，包括以下步骤：

A.定义源图像和目标图像；

B.获取源图像和目标图像三通道的直方图的峰值个数；

C.采用高斯混合模型对源图像和目标图像进行聚类分析，源图像和目标图像的聚类个数N为源图像和目标图像各通道直方图的峰值个数的乘积；

D.源图像和目标图像中的各像素值进行区域划分；

E.匹配源图像和目标图像的对应区域；

F.获取源图像和目标图像各匹配区域的三通道直方图H_I(x)；

G.在源图像和目标图像的匹配区域之间构建映射关系I_ref(x,y)＝a_j·I_tar(x,y)+b_j，通过对应区域的直方图来确定各区域的映射系数，其中，I_ref(x,y)，I_tar(x,y)分别代表源图像区域与目标图像区域的像素，a_j代表由相机灵敏度等因素引起的三维乘性差异，b_j代表由相机元件暗电流产生的三维加性差异。

2.如权利要求1所述的基于三维高斯混合模型的多视点视频直方图颜色校正方法，其特征在于，所述A步骤，拍摄于同一场景不同时刻的多视点图像中的其中一个视点为源图像，其他视点的图像待校正的为目标图像。

3.如权利要求1所述的基于三维高斯混合模型的多视点视频直方图颜色校正方法，其特征在于，所述B步骤，首先对源图像和目标图像三通道的直方图进行平滑处理，然后计算其梯度值

4.如权利要求1所述的基于三维高斯混合模型的多视点视频直方图颜色校正方法，其特征在于，所述D步骤，采用欧几里得距离公式计算源图像和目标图像各个像素值与各个中心矢量的最小距离Min(D(x))，根据最小距离划分从属区域，即两图像中的像素点距离哪个中心矢量最近，则该像素点就从属于以此中心矢量为中心的区域；

其中，N为聚类个数，I(x)代表源图像和目标图像中的像素矢量，V_k(x)表示源图像和目标图像中第k个区域的中心矢量，D(x)代表源图像和目标图像中各像素点距离中心矢量的欧几里得距离。

5.如权利要求1所述的基于三维高斯混合模型的多视点视频直方图颜色校正方法，其特征在于，所述E步骤，源图像和目标图像对应区域的匹配，目标图像采用源图像的中心矢量。

6.如权利要求1所述的基于三维高斯混合模型的多视点视频直方图颜色校正方法，其特征在于，所述F步骤，其中其中w,h为图像的宽和高，I为三通道对应点像素值。

7.如权利要求3所述的基于三维高斯混合模型的多视点视频直方图颜色校正方法，其特征在于，所述B步骤，通过公式：

得到梯度值其中x,y为直方图的横纵坐标，z代表RGB三通道。