CN102868891A

CN102868891A - 基于支持向量回归多视角视频色差校正方法

Info

Publication number: CN102868891A
Application number: CN2012103451988A
Authority: CN
Inventors: 金雪松; 李恩临; 张立志; 马炳鹏; 孙华东; 潘庆和; 李云
Original assignee: Harbin University of Commerce
Current assignee: Harbin University of Commerce
Priority date: 2012-09-18
Filing date: 2012-09-18
Publication date: 2013-01-09
Anticipated expiration: 2032-09-18
Also published as: CN102868891B

Abstract

基于支持向量回归多视角视频色差校正方法，属于图像处理领域，本发明为解决现有的多视角视频编码系统采用的算法不能很好的校正不同视角之间的颜色差异，编码效率很低的问题。本发明方法取参考视角第一帧图像为参考图像，待校正视角第一帧图像为待校正图像，每个待校正图像都以参考图像为标准校正自身色差，每个待校正视角的视频色差校正过程均采用基于支持向量回归多视角视频色差校正方法，在不同视角之间进行全局运动估计建立匹配关系，匹配区域划分固定大小的匹配宏块对，利用一定的判别方法选择合适的匹配宏块对，建立训练样本集合，变换色彩空间变换色彩表示方式，分量颜色分量分别训练各自的支持向量回归模型，以此来校正视角之间颜色差异。

Description

基于支持向量回归多视角视频色差校正方法

技术领域

本发明涉及基于支持向量回归多视角视频色差校正方法，属于图像处理领域。

背景技术

多视角视频序列一般是由多个摄像机按照特定的排列方式采集得到的，包括了同一场景不同角度的视觉信息。多视角视频编码方案中最为主要的是由联合视频组JVT(JointVideo Team)提出的基于H.264/AVC的多视角视频编码系统JMVM(Joint Multi-view videomodel)。在多视角视频采集过程中，由于带噪声环境(各种照明条件不同)及硬件的变化(不同的相机具有不同的辐射特征，产生的颜色也不同)是客观存在的，多视角视频序列不同视角的颜色差异是不可避免的。这些差异会降低视角间去相关效果，从而影响多视角视频序列编码效率。JMVM采用预测结构去除帧间相关性，帧中某一块可由同一视角前后帧或相邻视角帧的块进行预测，预测残差进入后续的处理过程中。而现有的多视角视频编码系统采用的算法不能很好的校正不同视角之间的颜色差异，编码效率很低。

发明内容

本发明目的是为了解决现有的多视角视频编码系统采用的算法不能很好的校正不同视角之间的颜色差异，编码效率很低的问题，提供了一种基于支持向量回归多视角视频色差校正方法。

本发明所述基于支持向量回归多视角视频色差校正方法，多视角序列中包括一个参考视角和n个待校正视角，参考视角的第一帧图像为参考图像，待校正视角的第一帧图像为待校正图像，每个待校正图像都以参考图像为标准校正自身色差，视频色差校正过程相同，每个待校正视角的视频色差校正过程均采用基于支持向量回归多视角视频色差校正方法，该方法包括以下步骤：

步骤一、计算参考图像与待校正图像之间的全局视差矢量，寻找二者之间的全局匹配区域；

步骤二、在参考图像和待校正图像的全局匹配区域都划分固定大小的宏块，并把位于参考图像和待校正图像中位置相同的宏块作为一组宏块对；

步骤三、计算参考图像和待校正图像中的每一个宏块的方差，提取满足条件的宏块对，并把满足条件的宏块对中每一组宏块对的像素灰度值均值作为训练数据加入训练集合S；

其中，A(i)，i＝1，2，...，m为参考图像中的宏块，m为参考图像中宏块的数量，

B(i)，i＝1，2，...，m为待校正图像中的宏块，

A(i)和B(i)为一组宏块对，

为参考图像的宏块A(i)的方差，

为待校正图像的宏块B(i)的方差，

T为阈值，且T＝0～0.2；

步骤四、将步骤三获取的训练集合S中训练数据由YUV色彩空间转换为RGB，然后转换为CIELAB空间；

步骤五、将步骤四获取的CIELAB空间的训练集合S中的训练数据分成L、a和b三个分量，形成三个子集S_L、S_a和S_b，将三个子集分别训练成三个SVR模型SVR_L、SVR_a和SVR_b；

步骤六、将待校正图像的每一个像素值转换到CIELAB空间，所得的三个分量L、a和b分别用对应的SVR模型进行变换，将变换后的L、a和b三值通过色彩逆变换，生成校正图像对应像素值的Y、U和V分量，进而获取校正图像。

步骤一、计算参考图像与待校正图像之间的全局视差矢量，寻找二者之间的全局匹配区域的过程为：

通过公式

DV ({\hat{d}}_{x}, {\hat{d}}_{y}) = \arg \min_{d_{x}, d_{y}} {MSE}_{global} (d_{x}, d_{y})

获得参考图像与待校正图像之间的视角差异，

其中：d_x为参考图像与待校正图像之间的水平方向视差估计值，

为参考图像与待校正图像之间的水平方向视差，

d_y为参考图像与待校正图像之间的垂直方向视差估计值，

为参考图像与待校正图像之间的垂直方向视差，

MSE_global(d_x，d_y)为参考图像与待校正图像之间的使残差能量，且按公式

{MSE}_{global} (d_{x}, d_{y}) = \frac{1}{(M - d_{x}) (N - d_{y})} Σ_{y = 0}^{N - d_{y} - 1} Σ_{x = 0}^{M - d_{x} - 1} {[R (x, y) - P (x - d_{x}, y - d_{y})]}^{2}

获取，

其中：R(x，y)为参考图像的全局匹配区域中坐标为(x，y)的像素值，x＝1，2，...，M，y＝1，2，...，N，

P(x-d_x，y-d_y)为待校正图像的全局匹配区域中坐标为(x-d_x，y-d_y)的像素值。

步骤四中将步骤三获取的训练集合S中训练数据由YUV色彩空间转换为RGB，然后转换为CIELAB空间的过程为：

利用公式

[\begin{matrix} R \\ G \\ B \end{matrix}] [\begin{matrix} 1 & 0 & 1.4075 \\ 1 & - 0.3455 & - 0.7169 \\ 1 & 1.779 & 0 \end{matrix}] [\begin{matrix} Y \\ U - 128 \\ V - 128 \end{matrix}]

将YUV色彩空间转换为RGB，

再利用公式

[\begin{matrix} X \\ Y \\ Z \end{matrix}] = [\begin{matrix} 0.4306 & 0.3415 & 0.1784 \\ 0.2220 & 0.7067 & 0.0713 \\ 0.0202 & 0.1295 & 0.9394 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

将RGB转换为CIELAB空间，CIELAB空间中的L分量为：

CIELAB空间中的a分量为：a＝500(f(X/X_n)-f(Y/Y_n))；

CIELAB空间中的b分量为：b＝200(f(Y/Y_n)-f(Z/Z_n))；

其中，这里的X_n，Y_n和Z_n是参照白点的CIE XYZ三色刺激值，且X_n＝96.4221，Y_n＝100.00和Z_n＝82.5221，

此式中t为X/X_n、Y/Y_n或Z/Z_n。

本发明的优点：本发明的方法是在不同视角之间进行全局运动估计建立匹配关系，匹配区域划分固定大小的匹配宏块对，利用一定的判别方法选择合适的匹配宏块对，建立训练样本集合，变换色彩空间变换色彩表示方式，分量颜色分量分别训练各自的支持向量回归模型(SVR，Support Vector Regression)，以此来校正视角之间颜色差异。

为了验证本文所提出颜色校正算法对整个序列编码性能的影响。本文采JVT提供的多视角编码校验模型JMVM8.0对颜色校正前后序列进行比较分析。实验中，GOP的长度采用12。量化步长QP分别采用37，35，33，31，29，根据解码视频获得解码视频的平均PSNR。图3、4分别给出了race1序列和objects2序列颜色校正前后编码质量比较图。从图中可以看出，经过颜色校正，相同码率下编码质量均有所提升。在相同解码质量的情况下，经过校正的race1序列比较原序列压缩节省大约1～2％，而objects2序列节省大约3～4％。由于race1序列视角间颜色差异较小，经过颜色校正编码质量提升较小。而对于颜色差异较大的objects2序列，编码质量提升较大，与残差均值分析得到的结论一致。实验结果表明，对于颜色差异较大的多视角视频序列，本文所提出的颜色校正算法可以明显提升系统编码效率。

附图说明

图1是本发明所述基于支持向量回归多视角视频色差校正方法流程图；

图2是实施例为race1原序列八个视角的第一帧图像，其中第一个视角为参考视角，其它七个视角为待校正视角；

图3是图2的校正视角的第一帧图像；

图4是实施例为objects2原序列八个视角的第一帧图像，其中第五个视角为参考视角，其它七个视角为待校正视角；

图5是图4的校正视角的第一帧图像；

图6是实施例为race1序列颜色校正前后编码质量比较图；

图7是实施例为objects2序列颜色校正前后编码质量比较图。

具体实施方式

具体实施方式一：下面结合图1说明本实施方式，本实施方式所述基于支持向量回归多视角视频色差校正方法，本实施方式的方法是在不同视角之间进行全局运动估计建立匹配关系，匹配区域划分固定大小的匹配宏块对，利用一定的判别方法选择合适的匹配宏块对，建立训练样本集合，变换色彩空间变换色彩表示方式，分量颜色分量分别训练各自的支持向量回归模型(SVR，Support Vector Regression)，以此来校正视角之间颜色差异。

具体技术方案为：多视角序列中包括一个参考视角和n个待校正视角，n为正整数，参考视角的第一帧图像为参考图像，待校正视角的第一帧图像为待校正图像，每个待校正图像都以参考图像为标准校正自身色差，视频色差校正过程相同，每个待校正视角的视频色差校正过程均采用基于支持向量回归多视角视频色差校正方法，该方法包括以下步骤：

步骤三、计算参考图像和待校正图像中的每一个宏块的方差，提取满足条件

的宏块对，并把满足条件的宏块对中每一组宏块对的像素灰度值均值作为训练数据加入训练集合S；

B(i)，i＝1，2，...，m为待校正图像中的宏块，

A(i)和B(i)为一组宏块对，

为参考图像的宏块A(i)的方差，

为待校正图像的宏块B(i)的方差，

T为阈值，且T＝0～0.2；

步骤六中所述的色彩逆变换，就是将CIELAB空间转换为YUV色彩空间，过程与步骤四正好相反，在此不再赘述。

步骤五中的三个模型SVR_L、SVR_a和SVR_b随编码过程进行动态更新。

具体实施方式二：本实施方式对实施方式一作进一步说明，步骤一、计算参考图像与待校正图像之间的全局视差矢量，寻找二者之间的全局匹配区域的过程为：

通过公式

DV ({\hat{d}}_{x}, {\hat{d}}_{y}) = \arg \min_{d_{x}, d_{y}} {MSE}_{global} (d_{x}, d_{y})

获得参考图像与待校正图像之间的视角差异，

为参考图像与待校正图像之间的水平方向视差，

d_y为参考图像与待校正图像之间的垂直方向视差估计值，

为参考图像与待校正图像之间的垂直方向视差，

{MSE}_{global} (d_{x}, d_{y}) = \frac{1}{(M - d_{x}) (N - d_{y})} Σ_{y = 0}^{N - d_{y} - 1} Σ_{x = 0}^{M - d_{x} - 1} {[R (x, y) - P (x - d_{x}, y - d_{y})]}^{2}

获取，

具体实施方式三：本实施方式对实施方式一或二作进一步说明，步骤二中的宏块的大小为8×8、16×8、8×16或16×16。

具体实施方式四：本实施方式对实施方式一、二或三作进一步说明，步骤四中将步骤三获取的训练集合S中训练数据由YUV色彩空间转换为RGB，然后转换为CIELAB空间的过程为：

利用公式

[\begin{matrix} R \\ G \\ B \end{matrix}] [\begin{matrix} 1 & 0 & 1.4075 \\ 1 & - 0.3455 & - 0.7169 \\ 1 & 1.779 & 0 \end{matrix}] [\begin{matrix} Y \\ U - 128 \\ V - 128 \end{matrix}]

将YUV色彩空间转换为RGB，

再利用公式

[\begin{matrix} X \\ Y \\ Z \end{matrix}] = [\begin{matrix} 0.4306 & 0.3415 & 0.1784 \\ 0.2220 & 0.7067 & 0.0713 \\ 0.0202 & 0.1295 & 0.9394 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}]

将RGB转换为CIELAB空间，CIELAB空间中的L分量为：

CIELAB空间中的a分量为：a＝500(f(X/X_n)-f(Y/Y_n))；

CIELAB空间中的b分量为：b＝200(f(Y/Y_n)-f(Z/Z_n))；

此式中t为X/X_n、Y/Y_n或Z/Z_n。

具体实施方式五：参照图2至图7对本发明所述方法进行性能验证，分别对race1、object2多视角视频序列进行了颜色校正，图2为race1序列八个视角的第一帧图像，图4是实施例为objects2序列八个视角的第一帧图像，两个序列由KDDI公司提供，分辨率为640×480。实验中，race1序列的第一视角为参考视角，其他视角为待校正视角；objects2序列的第五视角为参考视角，其他视角为待校正视角。我们分别提取出race1序列和objects2序列每一个视角的第一帧图像做比较。从图2和图4的图像中我们可以看到，原始序列中，每个视角间的颜色并不统一。尤其objects2序列，视角间颜色差异非常大。从颜色校正色彩对比图中可以看到，通过本文提出的颜色校算法对原始图像进行校正，各视角间颜色差异明显减小，如图3和图5所示。

经过视差补偿视角滤波后，要对匹配宏块的残差值进行编码。减小匹配宏块的残差值可以提高视角间的压缩效率。表1、2分别对race1序列和objects2序列匹配宏块残差均值进行了比较。实验中，分别以参考视角为基准，对其它视角进行宏块匹配并计算残差均值。残差可以使用SAD(summation of the absolute differences)表示，SAD的计算式子为：

SAD = \frac{1}{M \times N} {Σ_{x = 0}^{M - 1} Σ_{y = 0}^{N - 1} | Y_{r} (x, y) - Y_{p} (x + {\hat{d}}_{x}, y + {\hat{d}}_{y}) |

+ Σ_{x = 0}^{(M / 2) - 1} Σ_{y = 0}^{(N / 2) - 1} | U_{r} (x, y) - U_{p} (x + {\hat{d}}_{x} / 2, y + {\hat{d}}_{y} / 2) |

+ Σ_{x = 0}^{(M / 2) - 1} Σ_{y = 0}^{(N / 2) - 1} | V_{r} (x, y) - V_{p} (x + {\hat{d}}_{x} / 2, y + {\hat{d}}_{y} / 2) |}

其中，Y_r、U_r和V_r为参考图像的三个颜色分量，Y_p、U_p和V_p待校正图像的三个颜色分量，

为参考图像和待校正图像之间的全局视差矢量；图像Y分量的分辨率为M×N，U和V(M/2)×(N/2)

从图中可以看出，经过颜色校正，视角间匹配宏块残差明显降低。

表1race1待校正视角与参考视角SAD值

表2ojbects2待校正视角与目标视角SAD值

为了验证本文所提出颜色校正算法对整个序列编码性能的影响。本文采JVT提供的多视角编码校验模型JMVM8.0对颜色校正前后序列进行比较分析。实验中，GOP的长度采用12。量化步长QP分别采用37，35，33，31，29，根据解码视频获得解码视频的平均PSNR。图6和图7分别给出了race1序列和objects2序列颜色校正前后编码质量比较图。从图中可以看出，经过颜色校正，相同码率下编码质量均有所提升。在相同解码质量的情况下，经过校正的race1序列比较原序列压缩节省大约1～2％，而objects2序列节省大约3～4％。由于race1序列视角间颜色差异较小，经过颜色校正编码质量提升较小。而对于颜色差异较大的objects2序列，编码质量提升较大，与残差均值分析得到的结论一致。实验结果表明，对于颜色差异较大的多视角视频序列，本文所提出的颜色校正算法可以明显提升系统编码效率。

Claims

1.基于支持向量回归多视角视频色差校正方法，多视角序列中包括一个参考视角和n个待校正视角，参考视角的第一帧图像为参考图像，待校正视角的第一帧图像为待校正图像，每个待校正图像都以参考图像为标准校正自身色差，视频色差校正过程相同，其特征在于，每个待校正视角的视频色差校正过程均采用基于支持向量回归多视角视频色差校正方法，该方法包括以下步骤：