CN101179745A - 一种多视点图像的预处理方法 - Google Patents

Abstract

本发明公开了一种多视点图像的预处理方法，通过尺度不变特征变换算法在尺度空间对目标图像和源图像进行极值检测，提取目标图像和源图像关键点的尺度不变特征变换特征向量，利用特征匹配算法获得源图像和目标图像精确匹配的关键点对集合，并通过计算关键点对的乘性误差和加性误差对源图像进行颜色校正，通过在关键点对之间建立仿射变换关系，对颜色校正后的校正图像进行几何标定，优点在于本发明在保证多视点图像颜色校正和几何标定精确性的前提下，大大提高了颜色校正的鲁棒性和映射的精度，降低了几何标定的计算复杂度，提高了多视点图像的编码性能。

Description

一种多视点图像的预处理方法

技术领域

本发明涉及一种多视点图像的处理方法，尤其是涉及一种多视点图像的预处理方法。

背景技术

在真实世界中，观察者所看到的视觉内容取决于观察者相对于被观察对象的位置，观察者可以自由地选择各个不同的角度去观察和分析事物。在传统的视频系统中，真实的场景相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景。这些单方向上的视频序列只能反映真实世界场景的一个侧面。自由视点视频系统可以使用户自由地选择视点去观看真实世界场景中的一定范围内的任意侧面，被国际标准组织MPEG(Moving Picture Experts Group：运动图像专家组)称为下一代视频系统的发展方向。

多视点视频图像技术是自由视点视频技术中的一个核心环节，它能提供所拍摄场景的不同角度的视频图像信息。图1为多视点平行相机系统成像示意图，其中n+1个相机(或摄像机)被平行地放置以拍摄多视点视频图像。利用多视点视频信号中多个视点的信息可以合成用户所选择的任意视点的图像信息，达到自由切换任意视点图像的目的。但是由于在采集过程中各相机的基线不在同一水平轴，场景光照、相机CCD噪声、快门速度和曝光等要素不一致，会导致不同相机采集的图像的颜色值差别很大，并且在垂直方向会发生几何位置的偏移，给后续的视频编码、虚拟视点绘制和多视点视频三维显示带来了极大的困难。

针对上述存在的问题，目前提出了一种典型的多视点图像处理的方法，如图2所示，对多个相机采集得到的多视点图像，先进行预处理操作，包括颜色校正和几何标定，然后对预处理后的图像再进行编码，最后在解码的视点间绘制虚拟视点图像。

区域匹配或直方图匹配是通常采用的颜色校正手段，区域匹配通过将目标图像和源图像进行聚类分割，在最相似的区域间建立颜色映射关系，并以此映射关系对源图像进行校正；直方图匹配通过计算目标图像和源图像的累计直方图，只要满足源图像和目标图像具有相同的直方图分布，就可以将目标图像的直方图映射到源图像。但如果多视点图像发生旋转、尺度缩放、视角变换、光照变换等变化，或由于遮挡、噪声等因素的影响，区域匹配和直方图匹配就不能保持良好的可匹配性，映射精度低。

几何标定通常需要获取相机的内部参数和外部参数来实现坐标系的变换，从而达到几何位置一致的目的，但采用这种几何标定的方法计算复杂度比较高。

发明内容

本发明所要解决的技术问题是提供一种能够有效地保证各视点图像的颜色和几何位置一致，同时提高多视点图像的编码性能的多视点图像颜色校正和几何标定方法。

本发明解决上述技术问题所采用的技术方案为：一种多视点图像的预处理方法，它包括以下步骤：

(1)将同一时刻由多视点相机系统拍摄的多视点图像中的一个视点图像定义为目标图像，记为T，而将其它视点图像定义为源图像，记为S，从目标图像中提取的目标图像关键点集合记为{^(T)P}，从源图像中提取的源图像关键点集合记为{^(S)P}，定义目标图像的平面坐标系为x′y′唑标系，定义源图像的平面坐标系为xy坐标系；

(2)通过尺度不变特征变换算法在尺度空间对目标图像和源图像进行极值检测，提取目标图像关键点集合{^(T)P}和源图像关键点集合{^(S)P}中各关键点的尺度不变特征变换特征向量；

(3)根据尺度不变特征变换特征向量，通过特征匹配算法得到源图像关键点^(S)P(x₁，y₁)在目标图像上的最佳候选匹配关健点^(T)P(x₁′，y₁′)，并在源图像上获取目标图像关键点^(T)P(x₁′，y₁′)的最佳候选匹配关键点^(S)P(x₂，y₂)，然后通过双向校验确定关键点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的关键点对；

(4)将目标图像和源图像数据从RGB颜色空间转化为CIEXYZ颜色空间，再从CIEXYZ颜色空间转化为CIELAB颜色空间，CIELAB颜色空间的三个分量的第1个分量为亮度分量记为L、第2个分量为第一颜色分量记为a和第3个分量为第二颜色分量记为b；

(5)对目标图像和源图像所有匹配的关键点对构成的关键点对集合{^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))}，通过对L、a和b各个分量的绝对差之和进行最小化处理，计算 $(a_i,e_i)=\arg \underset{a_i,e_i}{\min }\underset{(x_1,y_1),({x_1}^{\′},{y_1}^{\′})\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{abs}{(}^{\left(T\right)}{I}_i({x_1}^{\′},{y_1}^{\′})-({a_i\·}^{\left(S\right)}{I}_i(x_1,y_1)+e_i))$ 得到L、a和b各个分量的乘性误差a_i和加性误差e_i，其中，Ω为关键点对集合，^(S)I_i(x₁，y₁)为源图像第i个分量的颜色值，^(T)I_i(x₁′，y₁′)为目标图像第i个分量的颜色值，i＝1，2，3；

(6)以L、a和b各个分量的乘性误差a_i和加性误差e_i对源图像的每个像素点的L、α和b各个分量进行颜色校正，^(C)I_i(x₁，y₁)＝a_i·^(S)I_i(x₁，y₁)+e_i，其中，^(C)I_i(x₁，y₁)为颜色校正后的校正图像第i个分量的颜色值，i＝1，2，3，并将校正图像转化到RGB颜色空间；

(7)建立从校正图像的像素点到目标图像的像素点的仿射变换为 $X^{\′}=\left(\begin{array}{c}{x_1}^{\′}\\ {y_1}^{\′}\end{array}\right)=\begin{array}{}\end{array}\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)=\mathrm{AX}+B,$ 在关键点对集合{(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))}中选择三对欧氏距离最小的关键点对的位置作为初始值，计算得到旋转矩阵A和平移向量B；

(8)以旋转矩阵A和平移向量B对校正图像的像素点(x₁，y₁)通过y₃＝a₂₁x₁+a₂₂y₁+b₂在y方向上进行几何标定，得到几何标定后图像的像素点(x₁，y₃)。

所述的尺度不变特征变换特征向量的提取，包括对目标图像和源图像特征向量的提取，源图像特征向量的提取包括以下步骤：

a.通过尺度不变特征变换在尺度空间对源图像的像素点，通过双高斯差算子D(x₁，y₁，σ)＝(G(x₁，y₁，kσ)-G(x₁，y₁，σ))*I(x，y)，计算得到源图像的像素点在尺度空间不同尺度下的双高斯差算子的响应值，再根据响应值得到特征尺度轨迹曲线，在特征尺度轨迹曲线上检测到所有的局部极值点，然后根据局部极值点确定源图像初步关键点的位置及所处位置的尺度大小，其中，σ为尺度空间因子，二维高斯函数 $G(x_1,y_1,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-({x_1}^2+{y_1}^2)/{2\mathrm{\σ}}^2},$ k为乘积因子，x₁＝(x₁，y₁，σ)^T为极值点位置记为

b.通过拟合三维二次函数，确定源图像最终关键点的位置及所处位置的尺度大小，并且判断该关键点的主曲率是否小于设定的主曲率阈值，如果是，则确定该关键点为不稳定的边缘响应点，并去除该不稳定的边缘响应点；否则，将该关键点的极值点位置代入尺度空间函数 $D\left({\hat{x}}_1\right)=D+\frac{1}{2}\frac{{\∂D}^T}{{\∂x}_1}{\hat{x}}_1$ 得到尺度空间函数值

判断

是否小于设定的尺度空间阈值，如果是，则确定该关键点为低对比度关键点，并去除该低对比度关键点；

c.根据源图像关键点的尺度空间L(x₁，y₁，σ)＝G(x₁，y₁，σ)*I(x₁，y₁)，通过源图像关键点邻域像素的方向分布特征确定去除不稳定的边缘响应点和低对比度关键点后的每个关键点的方向参数，源图像方向参数包括梯度的大小m(x₁，y₁)和方向θ(x₁，y₁)， $m(x_1,y_1)=\sqrt{{(L(x_1+1,y_1)-L(x_1-1,y_1))}^2+{(L(x_1,y_1+1)-L(x_1,y_1-1))}^2},$ θ(x₁，y₁)＝tan^-1((L(x₁，y₁+1)-L(x₁，y₁-1))/(L(x₁+1，y₁)-L(x₁-1，y₁)))。

对目标图像特征向量的提取，在x′y′平面坐标系采用与源图像特征向量的提取相同的操作。

所述的特征匹配算法为：在目标图像和源图像匹配的关键点对集合{(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))}中，对于源图像关键点^(S)P(x₁，y₁)，首先在最大水平和垂直视差搜索范围内，搜索目标图像上的最相似关键点^(T)P(x₁′，y₁′)和次相似关键点^(T)P(x₂′，y₂′），然后计算以源图像和目标图像关键点为中心的N×N窗口内的欧氏距离，若欧氏距离满足 $\frac{\underset{N}{\mathrm{\&Sigma;}}E{(}^{\left(S\right)}P(x_1,y_1)-{{\mathrm{\&mu;}}_1,}^{\left(T\right)}P({x_1}^{\&prime;},{y_1}^{\&prime;})-{{\mathrm{\&mu;}}_1}^{\&prime;}{)}^2}{\underset{N}{\mathrm{\&Sigma;}}E{(}^{\left(S\right)}P(x_1,y_1)-{{\mathrm{\&mu;}}_1,}^{\left(T\right)}P({x_2}^{\&prime;},{y_2}^{\&prime;})-{{\mathrm{\&mu;}}_2}^{\&prime;}{)}^2}<{\mathrm{\&tau;}}^2,$ 其中，μ₁为源图像关键点^(S)P(x₁，y₁)在N×N窗口内的均值，μ₁′为目标图像关键点^(T)P(x₁′，y₁′)在N×N窗口内的均值，μ₂′为目标图像关键点^(T)P(x₂′，y₂′)在N×N窗口内的均值，N为窗口的大小，τ为设定的阈值，则认为最相似关键点^(T)P(x₁′，y₁′)为源图像关键点^(S)P(x₁，y₁)在目标图像上的最佳候选匹配；对于目标图像关键点^(T)P(x₁′，y₁′)通过计算欧氏距离得到在源图像上的最佳候选匹配^(S)P(x₂，y₂)；将从源图像到目标图像的视差记为d_sou→tar，d_sou→tar＝(x₁′-x₁，y₁′-y₁)，从目标图像到源图像的视差记为d_tar→sou，d_tar→sou＝(x₂-x₁′，y₂-y₁′)，对d_sou→tar和d_tar→sou进行双向校验，若|d_sou→tar+d_tar→sou|＜2，则确定关键点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的关键点对。

与现有技术相比，本发明所提供的一种多视点图像颜色校正和几何标定方法的优点在于：

1)基于尺度不变特征变换算法，通过提取对旋转、尺度缩放、视角变换、光照变换等因素保持不变性的尺度不变特征变换特征向量，可实现差异较大的两幅多视点图像之间特征的匹配，与现有的以区域或直方图来描述图像特征的操作相比，大大提高了颜色校正的鲁棒性；

2)根据尺度不变特征变换特征向量，通过特征匹配算法确定目标图像与源图像所有匹配的关键点对，大大提高了映射的精度；

3)利用乘性误差a_i和加性误差e_i对源图像的每个像素点的L、a和b各个分量进行颜色校正，更加符合相机的成像原理，提高了多视点图像颜色校正的精度；

4)本发明定义的仿射变换，对于刚性运动的相机来说，不需要预先获取相机的内部参数和外部参数，这样大大降低了多视点图像几何标定的计算复杂度；

5)对多视点图像进行颜色校正和几何标定预处理后，提高了对多视点图像进行编码的编码性能，并降低了运动估计和补偿过程中的预测误差。

附图说明

图1为多视点平行相机系统成像示意图；

图2为多视点图像处理流程示意图；

图3为多视点图像的编码结构示意图；

图4为本发明多视点图像的预处理方法的流程图；

图5a为“flamenco1”多视点测试集的目标图像；

图5b为“flamenco1”多视点测试集的源图像；

图5c为“golf2”多视点测试集的目标图像；

图5d为“golf2”多视点测试集的源图像；

图6a为“flamenco1”多视点测试集的目标图像初始的特征向量示意图；

图6b为“flamenco1”多视点测试集的源图像初始的特征向量示意图；

图6c为“golf2”多视点测试集的目标图像初始的特征向量示意图；

图6d为“golf2”多视点测试集的源图像初始的特征向量示意图；

图7a为“flamenco1”多视点测试集的目标图像经特征匹配后的关键点示意图；

图7b为“flamenco1”多视点测试集的源图像经特征匹配后的关键点示意图；

图7c为“golf2”多视点测试集的目标图像经特征匹配后的关键点示意图；

图7d为“golf2”多视点测试集的源图像经特征匹配后的关键点示意图；

图8a为“flamenco1”多视点测试集的比较示意图，左图为目标图像，右图为校正图像；

图8b为“golf2”多视点测试集的比较示意图，左图为目标图像，右图为校正图像；

图9a为“flamenco1”多视点测试集颜色校正前后的源图像与目标图像的色差比较结果示意图；

图9b为“golf2”多视点测试集颜色校正前后的源图像与目标图像的色差比较结果示意图；

图10a为“flamenco1”多视点测试集的比较示意图，左图为目标图像，右图为经几何标定后的图像；

图10b为“golf2”多视点测试集的比较示意图，左图为目标图像，右图为经几何标定后的图像；

图11a为“flamenco1”多视点测试集的源图像与经颜色校正和几何标定预处理后源图像Y分量编码率失真性能曲线比较示意图；

图11b为“flamenco1”多视点测试集的源图像与经颜色校正和几何标定预处理后源图像U分量编码率失真性能曲线比较示意图；

图11c为“flamenco1”多视点测试集的源图像与经颜色校正和几何标定预处理后源图像V分量编码率失真性能曲线比较示意图；

图12a为“golf2”多视点测试集的源图像与经颜色校正和几何标定预处理后源图像Y分量编码率失真性能曲线比较示意图；

图12b为“golf2”多视点测试集的源图像与经颜色校正和几何标定预处理后源图像U分量编码率失真性能曲线比较示意图；

图12c为“golf2”多视点测试集的源图像与经颜色校正和几何标定预处理后源图像V分量编码率失真性能曲线比较示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

下面首先描述本发明所采用的尺度不变特征变换的概念和通过特征匹配求取最佳候选匹配关键点的问题。

尺度不变特征变换SIFT(Scale Invariant Feature Transform)算法首先在尺度空间进行极值检测，然后提取对旋转、尺度缩放、视角变换、光照变换等因素保持不变性的SIFT特征向量，SIFT特征向量主要包括关键点的位置、关键点所处位置的尺度大小和关键点的方向参数。

一副多视点图像的SIFT特征向量的提取包括对目标图像和源图像特征向量的提取，源图像特征向量的提取包括以下步骤：

a.通过尺度不变特征变换在尺度空间对源图像的像素点，通过双高斯差算子D(x₁，y₁，σ)＝(G(x₁，y₁，kσ)-G(x₁，y₁，σ))*I(x，y)，计算得到源图像的像素点在尺度空间不同尺度下的双高斯差算子的响应值，再根据响应值得到特征尺度轨迹曲线，在特征尺度轨迹曲线上检测到所有的局部极值点，然后根据局部极值点确定源图像初步关键点的位置及所处位置的尺度大小，其中，σ为尺度空间因子，二维高斯函数 $G(x_1,y_1,\mathrm{\&sigma;})=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}{e}^{-({x_1}^2+{y_1}^2)/{2\mathrm{\&sigma;}}^2},$ k为乘积因子，x₁＝(x₁，y₁，σ)^T为极值点位置记为

b.通过拟合三维二次函数，确定源图像最终关键点的位置及所处位置的尺度大小，并且判断该关键点的主曲率是否小于设定的主曲率阈值，如果是，则确定该关键点为不稳定的边缘响应点，并去除该不稳定的边缘响应点；否则，将该关键点的极值点位置

代入尺度空间函数 $D\left({\hat{x}}_1\right)=D+\frac{1}{2}\frac{{\&PartialD;D}^T}{{\&PartialD;x}_1}{\hat{x}}_1$ 得到尺度空间函数值

判断是否小于设定的尺度空间阈值，如果是，则确定该关键点为低对比度关键点，并去除该低对比度关键点；

c.根据源图像关键点的尺度空间L(x₁，y₁，σ)＝G(x₁，y₁，σ)＝G(x₁，y₁，σ)*I(x₁，y₁)，通过源图像关键点邻域像素的方向分布特征确定去除不稳定的边缘响应点和低对比度关键点后的每个关键点的方向参数，源图像方向参数包括梯度的大小m(x₁，y₁)和方向θ(x₁，y₁)， $m(x_1,y_1)=\sqrt{{(L(x_1+1,y_1)-L(x_1-1,y_1))}^2+{(L(x_1,y_1+1)-L(x_1,y_1-1))}^2},$ θ(x₁，y₁)＝tan^-1((L(x₁，y₁+1)-L(x₁，y₁-1))/(L(x₁+1，y₁)-L(x₁-1，y₁)))。

对目标图像特征向量的提取，在x′y′平面坐标系采用与源图像特征向量的提取相同的操作。

在本实施例中设定的主曲率阈值取10，设定的尺度空间阈值取0.03。

然而，提取的目标图像和源图像的SIFT特征向量之间并不存在必然的联系，为了获得源图像关键点^(S)P(x₁，y₁)在目标图像上的最佳候选匹配，首先在从源图像到目标图像最大水平和垂直视差搜索范围内，搜索目标图像上的最相似关键点^(T)P(x₁′，y₁′)和次相似关键点^(T)P(x₂′，y₂′)，然后计算以源图像和目标图像关键点为中心的N×N窗口内的欧氏距离，如果与目标图像的最相似关键点最相似关键点^(T)P(x₁′，y₁)和次相似关键点^(T)P(x₂′，y₂′)的欧氏距离满足 $\frac{\underset{N}{\mathrm{\&Sigma;}}E{{(}^{\left(S\right)}P(x_1,y_1)-{{\mathrm{\&mu;}}_1,}^{\left(T\right)}P({x_1}^{\&prime;},{y_1}^{\&prime;})-{{\mathrm{\&mu;}}_1}^{\&prime;})}^2}{\underset{N}{\mathrm{\&Sigma;}}E{{(}^{\left(S\right)}P(x_1,y_1)-{{\mathrm{\&mu;}}_1,}^{\left(T\right)}P({x_2}^{\&prime;},{y_2}^{\&prime;})-{{\mathrm{\&mu;}}_2}^{\&prime;})}^2}<{\mathrm{\&tau;}}^2,$ 其中，μ₁为源图像关键点^(S)P(x₁，y₁)在N×N窗口内的均值，μ₁′为目标图像关键点^(T)P(x₁′，y₁′)在N×N窗口内的均值，μ₂′为目标图像关键点^(T)P(x₂′，y₂′)在N×N窗口内的均值，N为窗口的大小，τ为设定的阈值，则认为最相似关键点^(T)P(x₁′，y₁′)为源图像关键点^(S)P(x₁，y₁)在目标图像上的最佳候选匹配关键点，从源图像到目标图像的视差d_sou→tar＝(x₁′-x₁，y₁′-y₁)；对于目标图像关键点^(T)P(x₁′，y₁′），在从目标图像到源图像最大水平和垂直视差搜索范围内，通过计算欧氏距离同样可以在源图像上得到最佳候选匹配关键点^(S)P(x₂，y₂)，从目标图像到源图像的视差d_tar→sou＝(x₂-x₁′，y₂-y₁′)。对视差d_sou→tar和d_tar→sou进行双向校验，如果|d_sou→tar+d_tar→sou|＜2，则确定^(S)P(x₁，y₁)与^(T)P(x₁′，y₁′)是一对匹配的关键点对。在本实施例中，窗口大小N与目标图像和源图像匹配的关键点对的质量有关，过大或过小都不能获得较精确的匹配，经实验表明当以当前关键点为中心，两边各为3个像素点，即N＝7时效果最好；阈值τ从理论上来说介于[0，1]之间，τ大小与目标图像和源图像匹配的关键点对的质量和数量有关，当τ＝1时，所有的关键点都是匹配的，其匹配的质量降低，当τ＝0时，所有的关键点都是不匹配的，因此选取τ时应综合考虑，经实验表明τ＝0.8时是效果最好。

在上述尺度不变特征变换算法和通过特征匹配求取最佳候选匹配关键点的基础上，结合图4本发明的多视点图像的预处理方法步骤如下：

首先将不同相机同一时刻由多视点相机系统拍摄的多视点图像中的一个视点图像作为目标图像，其它视点图像作为源图像，从目标图像提取的目标图像关键点集合记为{^(T)P}，从源图像提取的源图像关键点集合记为{^(S)P}，定义目标图像的平面坐标系为x′y′坐标系，定义源图像的平面坐标系为xy坐标系。

通过SIFT在尺度空间对目标图像和源图像进行极值检测，提取出目标图像关键点集合{^(T)P}＝{^(T)P⁽¹⁾，^(T)P⁽²⁾，…，^(T)P^(M)}和源图像关键点集合{^(S)P}＝{^(S)P⁽¹⁾，^(S)P⁽²⁾，…，^(S)P^(N)}中各关键点的SIFT特征向量，包括关键点的位置、关键点所处位置的尺度大小及关键点的方向参数，其中，M和N分别为目标图像和源图像的关键点数目。

根据上述提取的SIFT特征向量，在目标图像关键点集合{^(T)P}和源图像关键点集合{^(S)P}之间进行特征匹配，将所有匹配的关键点对构成的关键点对集合表示为{(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))}。

将目标图像和源图像的数据从RGB颜色空间转换到CIELAB颜色空间，CIELAB颜色空间的三个分量的第1个分量为亮度分量记为L、第2个分量为第一颜色分量记为a和第3个分量为第二颜色分量记为b。CIELAB颜色空间是在CIEXYZ颜色空间的基础上得到的，从RGB颜色空间到CIELAB颜色空间的变换，首先需要从RGB颜色空间变换到CIEXYZ颜色空间，然后再从CIEXYZ颜色空间变换到CIELAB颜色空间。CIEXYZ以标准白光D65作为光源，从RGB颜色空间到CIEXYZ的变换表示为 $\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.412453& 0.357580& 0.180423\\ 0.212671& 0.715160& 0.072169\\ 0.019334& 0.119193& 0.950227\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right],$ 其中[R，G，B]范围在[0，1]。CIEXYZ颜色空间到CIELAB颜色空间的变换表示为L＝116f(Y/Y_n)-16，a＝500[f(X/X_n)-f(Y/Y_n)]，b＝200[f(Y/Y_n)-f(Z/Z_n)]，其中，

X_n，Y_n，Z_n为三刺激值，X_n＝95.047，Y_n＝100.000，Z_n＝108.883。L的动态范围为[0，100]，a的动态范围为[-120，120]，b的动态范围为[-120，120]。

定义乘性误差a_i和加性误差e_i来描述图像间颜色的差异，乘性误差主要由视觉系统的光谱特性引起的，而加性误差由颜色值的漂移引起的。对目标图像和源图像匹配的关键点对集合{(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))}，通过对L、a和b各个分量的绝对差之和进行最小化处理，计算 $(a_i,e_i)=\arg \underset{a_i,e_i}{\min }\underset{(x_1,y_1),({x_1}^{\&prime;},{y_1}^{\&prime;})\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{abs}{(}^{\left(T\right)}{I}_i({x_1}^{\&prime;},{y_1}^{\&prime;})-({a_i\&CenterDot;}^{\left(S\right)}{I}_i(x_1,y_1)+e_i))$ 得到L、a和b各个分量的乘性误差a_i和加性误差e_i，这里Ω为目标图像和源图像匹配的关键点对集合，^(S)I_i(x₁，y₁)为源图像第i个分量的颜色值，^(T)I_i(x₁′，y₁′)为目标图像第i个分量的颜色值，i＝1，2，3；

在得到L、a和b各个分量的乘性误差a_i和加性误差e_i后，对源图像的每个像素点的L、a和b各个分量分别进行颜色校正操作，^(C)I_i(x₁，y₁)＝a_i·^(S)I_i(x₁，y₁)+e_i，其中，^(C)I_i(x₁，y₁)为颜色校正后的校正图像第i个分量的颜色值，^(S)I_i(x₁，y₁)为源图像第i个分量的颜色值，i＝1，2，3，然后将CIELAB颜色空间的校正图像转化到RGB颜色空间。从CIELAB颜色空间到RGB颜色空间的转换，首先需要从CIELAB颜色空间变换到CIEXYZ颜色空间，然后再从CIEXYZ颜色空间变换到RGB颜色空间。从CIELAB颜色空间到CIEXYZ的变换表示为：首先定义f_y＝(L+16)/116，f_x＝f_y+a/500，f_z＝f_y-b/200，如果f_y＞δ， $Y=Y_n\&CenterDot;{f_y}^3,$ 否则Y＝(f_y-16/116)·3δ²·Y_n；如果f_x＞δ， $X=X_n\&CenterDot;{f_x}^3,$ 否则X＝(f_x-16/116)·3δ²·X_n；如果f_z＞δ， $Z=Z_n\&CenterDot;{f_z}^3,$ 否则Z＝(f_z-16/116)·3δ²·Z_n，其中δ＝6/29，X_n，Y_n，Z_n为三刺激值，X_n＝95.047，Y_n＝100.000，Z_n＝108.883。从CIEXYZ颜色空间到RGB颜色空间的变换表示为 $\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}3.240479& -1.537150& -0.498535\\ -0.969256& 1.875992& 0.041556\\ 0.055648& -0.204043& 1.057311\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right].$

在校正图像转化到RGB颜色空间后，建立从校正图像的像素点到目标图像的像素点的仿射变换为 $X^{\&prime;}=\left(\begin{array}{c}{x_1}^{\&prime;}\\ {y_1}^{\&prime;}\end{array}\right)=\begin{array}{}\end{array}\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)=\mathrm{AX}+B,$ 在关键点对集合{(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))}中选择三对欧氏距离最小的关键点对的位置作为初始值，计算得到旋转矩阵A和平移向量B。

最后以旋转矩阵A和平移向量B对校正图像的像素点(x₁，y₁)通过y₃＝a₂₁x₁+a₂₂y₁+b₂在y方向上进行几何标定，得到几何标定后图像的像素点(x₁，y₃)。

多视点图像经过上述颜色校正和几何标定预处理操作后，再对多视点图像进行编码，降低了视差估计和补偿的预测误差，提高了编码性能。

以下就本发明进行多视点图像颜色校正和几何标定预处理的主观和客观性能及编码性能进行比较。

对由KDDI公司提供的“flamenco1”，“glof2”两组多视点视频测试集采用本发明的多视点图像预处理方法。图5a、图5b分别为“flamenco1”多视点测试集的目标图像和源图像，图5c、图5d分别为“glof2”多视点测试集的目标图像和源图像，目标图像和源图像尺寸均为320×240。从图中可以看出，目标图像与源图像的颜色外表明显不一致，并且在垂直方向上有微小的位置偏移，对其进行颜色校正和几何标定就显得十分必要。对“flamenco1”和“glof2”的目标图像和源图像，采用SIFT算法提取“flamenco1”和“glof2”的目标图像初始的特征向量和源图像初始的特征向量如图6a、图6b、图6c和图6d所示，视点间由于遮挡、暴露的影响，在有些特征向量之间并不存在匹配关系；采用本发明的特征匹配算法后提取“flamenco1”和“glof2”的目标图像和源图像的关键点如图7a、图7b、图7c和图7d所示，目标图像关键点和源图像关键点的匹配关系十分明确，基本消除了误匹配的关键点，图7a、图7b、图7c和图7d中块的尺寸表示关键点所处位置的尺度大小。

采用本发明对“flamenco1”和“glof2”的源图像进行颜色校正后的校距图像如图8a的右图和图8b的右图所示，从图像的主观效果可以看出，与“flamenco1”的目标图像图8a的左图和“glof2”的目标图像图8b的左图相比，采用本方法颜色校正后的图像其颜色外表与目标图像非常接近，特别是“flamenco1”的地板、“glof2”的草地，效果十分明显。

“flamenco1”和“glof2”采用本发明方法校正后的源图像与目标图像的色差，与未经过校正的源图像与目标图像的色差进行比较，其比较结果示意图分别如图9a和图9b所示，以CIEDE2000色差来表示颜色的差异，分别计算每一对匹配的关键点对的色差，从图9a和图9b中可以看出，采用本发明的颜色校正方法，关键点对的色差有了明显的下降，说明采用本发明校正后校正图像与目标图像的相似性更强。

采用本发明几何标定后的图像如图10a的右图和10b的右图所示，对“flamenco1”，“glof2”的校正图像进行几何标定，与图10a左图和10b左图所示的目标图像的基线(EpipolarLine)是完全水平的，说明本发明的几何标定方法是有效的。

对颜色校正和几何标定预处理操作后的图像进行编码，所采用的编码结构如图3所示，所采用的编码结构只在视点间进行预测，预测结构为I-P-P-P，即第一个视点采用I帧编码，其他视点都由前一个视点预测得到，对每个时刻都采用相同的预测结构。对经过预处理后的源图像与未经预处理的源图像的编码性能进行比较，图11a、11b和11c分别给出了“flamenco1”多视点测试集的Y分量、U分量及V分量编码率失真性能曲线的比较结果，图12a、12b和12c分别给出了“glof2”多视点测试集的Y分量、U分量及V分量编码率失真性能曲线的比较结果，编码的数据格式为YUV(4:2:0)。对于“flamenco1”多视点测试集，预处理后图像的率失真性能，Y分量在相同码率下提高了0.3dB，U分量在相同码率下提高了0.3dB，V分量相差不是很大，在高码率端有0.1～0.3dB的下降；对于“glof2”多视点测试集，Y分量在相同码率下有0～0.1dB下降，而U分量在相同码率下提高了0.6～0.7dB，V分量在相同码率下提高了0.4～0.5dB。从总体的编码结果可以看出，采用本发明的颜色校正和几何标定预处理后，能大大提高多视点图像的编码性能，说明本发明的颜色校正和几何标定预处理是有效的。

Claims (3)

1.一种多视点图像的预处理方法，其特征在于它包括以下步骤：

(1)将同一时刻由多视点相机系统拍摄的多视点图像中的一个视点图像定义为目标图像，记为T，而将其它视点图像定义为源图像，记为S，从目标图像中提取的目标图像关键点集合记为{^(T)P}，从源图像中提取的源图像关键点集合记为{^(S)P}，定义目标图像的平面坐标系为x′y′坐标系，定义源图像的平面坐标系为xy坐标系；

(2)通过尺度不变特征变换算法在尺度空间对目标图像和源图像进行极值检测，提取目标图像关键点集合{^(T)P}和源图像关键点集合{^(S)P}中各关键点的尺度不变特征变换特征向量；

(3)根据尺度不变特征变换特征向量，通过特征匹配算法得到源图像关键点^(S)P(x₁，y₁)在目标图像上的最佳候选匹配关健点^(T)Px₁′，y₁′)，并在源图像上获取目标图像关键点^(T)P(x₁′，y₁′)的最佳候选匹配关键点^(S)P(x₂，y₂)，然后通过双向校验确定关键点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的关键点对；

(4)将目标图像和源图像数据从RGB颜色空间转化为CIEXYZ颜色空间，再从CIEXYZ颜色空间转化为CIELAB颜色空间，CIELAB颜色空间的三个分量的第1个分量为亮度分量记为L、第2个分量为第一颜色分量记为a和第3个分量为第二颜色分量记为b；

(5)对目标图像和源图像所有匹配的关键点对构成的关键点对集合{(^(T)P(x₁′，y₁′），^(S)P(x₁，y₁))}，通过对L、a和b各个分量的绝对差之和进行最小化处理，计算 $(a_i,e_i)=\arg \underset{a_i,e_i}{\min }\underset{(x_1,y_1),({x_1}^{\&prime;},{y_1}^{\&prime;})\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{abs}{(}^{\left(T\right)}{I}_i({x_1}^{\&prime;},{y_1}^{\&prime;})-({a_i\&CenterDot;}^{\left(S\right)}{I}_i(x_1,y_1)+e_i))$ 得到L、a和b各个分量的乘性误差a_i和加性误差e_i，其中，Ω为关键点对集合，^(S)I_i(x₁，y₁)为源图像第i个分量的颜色值，^(T)I_i(x₁′,y₁′)为目标图像第i个分量的颜色值，i＝1，2，3；

(6)以L、a和b各个分量的乘性误差a_i和加性误差e_i对源图像的每个像素点的L、a和b各个分量进行颜色校正，^(C)I_i(x₁，y₁)＝a_i·^(S)I_i(x₁，y₁)+e_i，其中，^(C)I_i(x₁，y₁)为颜色校正后的校正图像第i个分量的颜色值，i＝1，2，3，并将校正图像转化到RGB颜色空间；

(7)建立从校正图像的像素点到目标图像的像素点的仿射变换为 $X^{\&prime;}=\left(\begin{array}{c}{x_1}^{\&prime;}\\ {y_1}^{\&prime;}\end{array}\right)=\begin{array}{}\end{array}\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)=\mathrm{AX}+B,$ 在关键点对集合{(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁)}中选择三对欧氏距离最小的关键点对的位置作为初始值，计算得到旋转矩阵A和平移向量B；

(8)以旋转矩阵A和平移向量B对校正图像的像素点(x₁，y₁)通过y₃＝a₂₁x₁+a₂₂y₁+b₂在y方向上进行几何标定，得到几何标定后图像的像素点(x₁，y₃)。

2.如权利要求1所述的尺度不变特征变换特征向量的提取，包括对目标图像和源图像特征向量的提取，源图像特征向量的提取包括以下步骤：

a.通过尺度不变特征变换在尺度空间对源图像的像素点，通过双高斯差算子D(x₁，y₁，σ)＝(G(x₁，y₁，kσ)-G(x₁，y₁，σ))*I(x，y)，计算得到源图像的像素点在尺度空间不同尺度下的双高斯差算子的响应值，再根据响应值得到特征尺度轨迹曲线，在特征尺度轨迹曲线上检测到所有的局部极值点，然后根据局部极值点确定源图像初步关键点的位置及所处位置的尺度大小，其中，σ为尺度空间因子，二维高斯函数 $G(x_1,y_1,\mathrm{\&sigma;})=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}{e}^{-({x_1}^2+{y_1}^2)/{2\mathrm{\&sigma;}}^2},$ k为乘积因子，x₁＝(x₁，y₁，σ)^T为极值点位置记为

b.通过拟合三维二次函数，确定源图像最终关键点的位置及所处位置的尺度大小，并且判断该关键点的主曲率是否小于设定的主曲率阈值，如果是，则确定该关键点为不稳定的边缘响应点，并去除该不稳定的边缘响应点；否则，将该关键点的极值点位置

代入尺度空间函数 $D\left({\hat{x}}_1\right)=D+\frac{1}{2}\frac{{\&PartialD;D}^T}{{\&PartialD;x}_1}{\hat{x}}_1$ 得到尺度空间函数值

判断

是否小于设定的尺度空间阈值，如果是，则确定该关键点为低对比度关键点，并去除该低对比度关键点；

c.根据源图像关键点的尺度空间L(x₁，y₁，σ)＝G(x₁，y₁，σ)*I(x₁，y₁)，通过源图像关键点邻域像素的方向分布特征确定去除不稳定的边缘响应点和低对比度关键点后的每个关键点的方向参数，源图像方向参数包括梯度的大小m(x₁，y₁)和方向θ(x₁，y₁)， $m(x_1,y_1)=\sqrt{{(L(x_1+1,y_1)-L(x_1-1,y_1))}^2+{(L(x_1,y_1+1)-L(x_1,y_1-1))}^2},$ θ(x₁，y₁)＝tan^-1((L(x₁，y₁+1)-L(x₁，y₁-1))/(L(x₁+1，y₁)-L(x₁-1，y₁)))。

对目标图像特征向量的提取，在x′y′平面坐标系采用与源图像特征向量的提取相同的操作。

3.如权利要求1所述的一种多视点图像的预处理方法，其特征在于所述的特征匹配算法为：在目标图像和源图像匹配的关键点对集合{(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))}中，对于源图像关键点^(S)P(x₁，y₁)，首先在最大水平和垂直视差搜索范围内，搜索目标图像上的最相似关键点^(T)P(x₁′，y₁′)和次相似关键点^(T)P(x₂′，y₂′)，然后计算以源图像和目标图像关键点为中心的N×N窗口内的欧氏距离，若欧氏距离满足

$\frac{\underset{N}{\mathrm{\&Sigma;}}E{{(}^{\left(S\right)}P(x_1,y_1)-{{\mathrm{\&mu;}}_1,}^{\left(T\right)}P({x_1}^{\&prime;},{y_1}^{\&prime;})-{{\mathrm{\&mu;}}_1}^{\&prime;})}^2}{\underset{N}{\mathrm{\&Sigma;}}E{{(}^{\left(S\right)}P(x_1,y_1)-{{\mathrm{\&mu;}}_1,}^{\left(T\right)}P({x_2}^{\&prime;},{y_2}^{\&prime;})-{{\mathrm{\&mu;}}_2}^{\&prime;})}^2}<{\mathrm{\&tau;}}^2,$ 其中，μ₁为源图像关键点^(S)P(x₁，y₁)在N×N窗口内的均值，μ₁′为目标图像关键点^(T)P(x₁′，y₁′)在N×N窗口内的均值，μ₂′为目标图像关键点^(T)P(x₂′，y₂′)在N×N窗口内的均值，N为窗口的大小，τ为设定的阈值，则认为最相似关键点^(T)P(x₁′，y₁′)为源图像关键点^(S)P(x₁，y₁)在目标图像上的最佳候选匹配；对于目标图像关键点^(T)P(x₁′，y₁′)通过计算欧氏距离得到在源图像上的最佳候选匹配^(S)P(x₂，y₂)；将从源图像到目标图像的视差记为d_sou→tar，d_sou→tar＝(x₁′-x₁，y₁′-y₁)，从目标图像到源图像的视差记为d_tar→sou，d_tar→sou＝(x₂-x₁′，y₂-y₁′)，对d_sou→tar和d_tar→sou进行双向校验，若|d_sou→tar+d_tar→sou|＜2，则确定关键点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的关键点对。

Images