CN103997637A - 一种平行相机阵列多视点图像校正方法 - Google Patents

Abstract

本发明属于三维图像处理技术领域，提出一种平行相机阵列获取的多视点图像的校正方法。包括：标定各个相机，得到相机阵列各相机实际内部矩阵、旋转矩阵、平移矩阵；平行相机阵列理想旋转矩阵计算；平行相机阵列各相机理想光心位置计算；平行相机阵列理想内部矩阵计算；实际多视点图像与理想图像单应性矩阵(校正矩阵)计算；利用校正矩阵校正平行相机阵列多视点图像。本发明能够有效地校正平行相机阵列拍摄的多视点图像。

Description

一种平行相机阵列多视点图像校正方法

技术领域

本发明属于三维图像校正技术领域，具体涉及一种针对平行相机阵列拍摄的多视点图像的校正方法。

背景技术

多视点视频能够为观看者提供多个视点，使观看者在一定范围内能够自由的切换视点和视向，为观看者带来良好的立体感和沉浸感。在多视点视频制作时，由于支架形变、相机内部感光元件存在差异及手动调节存在误差等原因，会造成相邻视点间图像存在垂直视差且水平视差不相等，严重影响了系统后端合成的立体图像质量。因此，进行多视点图像校正在多视点视频制作过程中至关重要。

在计算机视觉领域，图像校正研究有了较长的发展历史，但是目前多存在的图像校正方法大多是针对双目相机、三目相机的双视点、三视点图像的校正方法。针对平行相机阵列的多视点图像校正方法还很少。一种切实有效地通过校正实际平行相机阵列所拍摄的多视点图像，达到理想平行相机阵列所拍摄图像的观看效果的方法，至今尚未出现。

发明内容

本发明所要解决的技术问题是：提供一种针对平行相机阵列所拍摄的多视点图像的校正方法，从而能够有效消除多视点图像的垂直视差并且能够均一化相邻图像间的水平视差，能够使较真图像达到理想平行相机阵列的拍摄效果，满足人们的观看需求。本发明的技术解决方案如下：

一种平行相机阵列多视点图像校正方法，包括下列步骤：

1)从平行相机阵列中选取参考相机camera1，以参考相机camera1的坐标系为世界坐标系，对各个平行相机进行标定，得到平行相机阵列中各相机内部矩阵 $K_i=\left[\begin{array}{ccc}{f}_{i,x}& s& p_{i,x}\\ 0& f_{i,y}& p_{i,y}\\ 0& 0& 1\end{array}\right],$ i＝1,2,3…N，N为平行相机阵列中相机个数，f_i,x、f_i,y代表焦距像素坐标，p_i,x、p_i,y代表主心像素坐标，s代表倾斜因子，以及各相机相对于参考相机的旋转矩阵om_i1、平移矩阵T_i1；

2)利用遍态历经法，根据各相机旋转矩阵(分别代表camerai相对于camera1在方向所成角度)计算得到平行相机阵列最优相机旋转矩阵作为平行相机阵列理想旋转矩阵，如(1)：

${\mathrm{om}}_{\mathrm{ideal}}=[\stackrel{\→}{x_{\mathrm{ideal}}},\stackrel{\→}{y_{\mathrm{ideal}}},\stackrel{\→}{z_{\mathrm{ideal}}}]=\underset{\stackrel{\→}{x}\∈a,\stackrel{\→}{y}\∈b,\stackrel{\→}{z}\∈c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(\stackrel{\→}{x}-\stackrel{\→}{x_i})}^2+{(\stackrel{\→}{y}-\stackrel{\→}{y_i})}^2+{(\stackrel{\→}{z}-\stackrel{\→}{z_i})}^2}$ $\left(1\right)$

其中a代表到的区间，b代表到的区间，c代表到的区间；

3)设平行相机阵列各相机光心为c₁、c₂、c₃…c_N，相邻相机理想间距设利用遍态历经法求取的camera1理想光心c_1-ideal如(2)，然后根据c_1-ideal求的其他相机理想光心位置如(3)，进而求的各相机理想平移矩阵如(4)：

$c_{1\_\mathrm{ideal}}=\underset{x\∈a^{\′},y\∈b^{\′},z\∈c^{\′}}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x-{x_i}^{,})}^2+{(y-{y_i}^{,})}^2+{(z-{z_i}^{,})}^2}---\left(2\right)$

$c_{i\_\mathrm{ideal}}=c_{1\_\mathrm{ideal}}+(i-1)\×\stackrel{\→}{d}---\left(3\right)$

T_{i1_ideal}＝-R_idealc_{i_ideal}，R_ideal是om_ideal的Rodrigues变换，   (4)

其中a′代表坐标轴min(x₁’,x₂’，x₃’...x_N’)到max(x₁’,x₂’,x₃’...x_N’)的区间；b′代表min(y₁’,y₂’,y₃’...y_N’)到max(y₁’,y₂’,y₃’...y_N’)的区间；c′代表min(z₁’,z₂’,z₃’...z_N’)到max(z₁’,z₂’,z₃’...z_N’)的区间；

4)排除与相机焦距均值方差大于二倍于均方差的相机，利用剩余相机的焦距，计算平均值，作为理想相机焦距f_ideal＝[f_ideal,x,f_ideal,y]；利用同样的方法,排除与相机主心坐标均值方差大于二倍于均方差的相机，利用剩余相机的主心坐标，计算平均值，作为理想相机主心坐标p_ideal＝[p_ideal,x,p_ideal,y]；相机倾斜因子s取值为零，从而得到相机理想内部矩阵 $K_{\mathrm{ideal}}=\left[\begin{array}{ccc}{f}_{\mathrm{ideal},x}& 0& p_{\mathrm{ideal},x}\\ 0& f_{\mathrm{ideal},y}& p_{\mathrm{ideal},y}\\ 0& 0& 1\end{array}\right];$

5)根据平行相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算平行相机阵列各相机理想投影矩阵P_ideal,i＝K_ideal[R_ideal|T_{i1_ideal}]；

6)计算实际图像与理想图像的校正矩阵H_i，如(5)：

其中表示平行相机阵列中第i个相机实际投影矩阵p_i的伪拟矩阵。

7)利用校正矩阵校正平行相机阵列拍摄的多视点图像。

本发明优点在于：能够有效的消除平行相机阵列拍摄的多视点图像存在的垂直视差，并且能够使得各相邻图像间水平视差保持一致，使得校正后的多视点图像达到理想水平相机阵列的拍摄效果，从而满足人们的观看需求。并且一旦计算得到平行相机阵列各相机的校正矩阵后，在CPU3GHZ，内存为3G的计算机上进行实验，利用该校正矩阵校正图像耗时0.024s，这说明每秒能校正40余帧图像，能够实现实时校正的目的。

附图说明

通过参照附图来详细地描述本发明的实施方式，本发明的以上特征和优点对于本领域的技术人员将易于变得明显，其中：

图1是平行相机阵列投影模型示意图；

图2是平行相机阵列多视点图像校正流程图；

图3实际平行相机阵列示意图；

图4理想平行相机阵列示意图；

图5平行相机阵列光心投影示意图；

图6实际平行相机阵列多视点图像到理想平行相机阵列多视点图像的转化示意图；

图7平行相机阵列拍摄的原始图像序列；

图8原始图像序列合成图像；

图9校正后图像序列；

图10校正后图像序列合成图像。

具体实施方式

现在将在下文中参照附图更加详细地描述本发明的实施方式。然而，可以通过不同的形式来具体实施本发明并且不应将本发明解释为限于这里所阐述的实施方式。更准确地说，提供这些实施方式是为了使公开全面并且完整，而且将全面地向本领域的技术人员传达本发明的观念。

本发明只针对平行相机阵列多视点图像校正的研究。如图2平行相机阵列多视点图像校正流程图，本发明利用传统相机标定方法(CameraCalibrationToolboxforMatlab)标定相机，得到平行相机阵列各相机的内部参数、旋转矩阵和平移矩阵；利用遍态历经法求得平行相机阵列的理想旋转矩阵与平移矩阵，同时对相机内部矩阵进行优化处理得到理想内部矩阵，进而得到平行相机阵列各相机的理想投影矩阵；利用平行相机阵列各相机的实际投影矩阵与理想投影矩阵，计算实际图像与理想图像的单应性矩阵(校正矩阵)；利用校正矩阵，校正多视点图像。具体实施步骤如下：

(1)相机标定

立体相机标定物方法的主要是在世界坐标系、相机坐标系和图像坐标系间建立转换关系模型(如图1)。本发明基于传统的双目相机标定方法，选取平行相机阵列中左端相机作为参考相机，以参考相机的相机坐标系作为世界坐标系，利用传统的双目相机标定方法(CameraCalibrationToolboxforMatlab)分别标定平行相机阵列中各个相机(具体过程可参见以下文章和网站)，得到平行相机阵列中各个相机的内部参数矩阵及相对于参考相机的旋转矩阵与平移矩阵。

[1]Z.Y.Zhang,AFlexibleNewTechniqueforCameraCalibration,PatternAnalysisandMachineIntelligence,IEEETransactionson,Vol.22,No.11,pp.1330-1334,2000.

[2]http://www.vision.caltech.edu/bouguetj/calib_doc/

(2)计算平行相机阵列相机理想旋转矩阵

图3所示为实际平行相机阵列示意图，本发明利用遍态历经法，根据各相机旋转矩阵计算得到平行相机阵列最优相机旋转矩阵作为平行相机阵列理想旋转矩阵(如图4)。设a代表)到max的区间，b代表到的区间，c代表到的区间。在a，b，c组成的三维空间内利用公式(1)寻找与实际相机旋转矩阵最接近的矩阵作为理想旋转矩阵，结合下文相机理想光心的求得，达到校正后图像形变量最小的目的。

$\begin{array}{c}{\mathrm{om}}_{\mathrm{ideal}}=[\stackrel{\→}{x_{\mathrm{ideal}}},\stackrel{\→}{y_{\mathrm{ideal}}},\stackrel{\→}{z_{\mathrm{ideal}}}]\\ =\underset{\stackrel{\→}{x}\∈a,\stackrel{\→}{y}\∈b,\stackrel{\→}{z}\∈c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(\stackrel{\→}{x}-\stackrel{\→}{x_i})}^2+{(\stackrel{\→}{y}-\stackrel{\→}{y_i})}^2+{(\stackrel{\→}{z}-\stackrel{\→}{z_i})}^2}\end{array}----\left(1\right)$

(3)计算平行相机阵列各相机理想光心

如图5，c₁、c₂、c₃…c_N代表平行相机阵列实际光心位置，设相邻相机理想间距设(i＝1,2,3…N)。设a′代表坐标轴min(x₁’，x₂’,x₃’...x_N’)到max(x₁’,x₂’,x₃’...x_N’)的区间；b′代表min(y₁’,y₂’,y₃’...y_N’)到max(y₁’,y₂’,y₃’...y_N’)的区间；c′代表min(z₁’,z₂’,z₃’...z_N’)到max(z₁’,z₂’,z₃’...z_N’)的区间。由a′，b′，c′构成的三维区域内，依据公式(2)，计算camera1理想光心c_1-ideal，然后根据公式(3)得到其他理想相机光心，进而利用公式(4)求的各相机理想平移矩阵。

$c_{1\_\mathrm{ideal}}=\underset{x\∈a^{\′},y\∈b^{\′},z\∈c^{\′}}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x-{x_i}^{,})}^2+{(y-{y_i}^{,})}^2+{(z-{z_i}^{,})}^2}---\left(2\right)$

$c_{i\_\mathrm{ideal}}=c_{1\_\mathrm{ideal}}+(i-1)\×\stackrel{\→}{d},(i=\mathrm{1,2,3}...N)---\left(3\right)$

T_{i1_ideal}＝-R_idealc_{i_ideal}(R_ideal是om_ideal的Rodrigues变换)   (4)

(4)计算平行相机阵列相机理想内部矩阵

设s相机焦距均方差，s'为相机主心均方差。根据公式(5)、(6)分别计算相机理想焦距、理想主心位置，根据理想焦距和理想主心确定理想相机内部矩阵如式(7)：

f_ideal＝[f_ideal,x,f_ideal,y]＝aveΣ(f_i)＝aveΣ([f_i,x,f_i,y])’

$f_i=[f_{i,x},f_{i,y}]\∈\{f_i=[f_{i,x},f_{i,y}\left]\right|{(f_i-\stackrel{\‾}{f})}^2={\left(\right[f_{i,x},f_{i,y}]-[\stackrel{\‾}{f_x},\stackrel{\‾}{f_y}\left]\right).}^2\≤2\mathrm{\σ}---\left(5\right)$

P_ideal＝[P_ideal,x,P_ideal,y]＝aveΣ(P_i)＝aveΣ([P_i,x,P_i,y])’

$P_j=[P_{j,x},P_{j,y}]\∈\{P_j=[P_{j,x},P_{j,y}\left]\right|(P_j-\stackrel{\‾}{P})={\left(\right[P_{j,x},P_{j,y}]-[\stackrel{\‾}{P_x},\stackrel{\‾}{P_y}\left]\right).}^2\≤2{\mathrm{\σ}}^{\′}---\left(6\right)$

$K_{\mathrm{ideal}}=\left[\begin{array}{ccc}{f}_{\mathrm{ideal},x}& s& p_{\mathrm{ideal},x}\\ 0& f_{\mathrm{ideal},y}& p_{\mathrm{ideal},y}\\ 0& 0& 1\end{array}\right]---\left(7\right)$

其中倾斜因子s一般取值为零。

(5)计算平行相机阵列理想相机投影矩阵

根据平行相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算平行相机阵列各相机理想投影矩阵P_ideal,i，如式(8)：

P_ideal,i＝K_ideal[R_ideal|T_{i1_ideal}]，(i＝1,2…N)   (8)

(6)计算图像校正矩阵

计算实际图像与理想图像的单应性矩阵(图像校正矩阵)H_i，如(9)：

其中表示平行相机阵列中第i个相机实际投影矩阵p_i的伪拟矩阵。

(7)如图6，利用校正矩阵校正平行相机阵列拍摄的多视点图像。

为了验证本发明，利用不同相机间距、不同相机个数的平行相机阵列做了大量的实验。其中如图7，是通过相机间距为65mm的八视点平行相机阵列拍摄的分辨率为800*600的一组原始图像序列；图8为原始图像序列的合成后图像。图9是通过本算法校正后的图像序列，图10为校正后图像序列的合成图像。为了对校正效果进行数值分析，通过SURF算法分别对各相机所拍摄图像与参考相机所拍摄图像进行特征点检测与匹配(实现过程参考以下文章)，选取30对匹配特征点，并利用RANSAC检测并剔除奇异值。利用选取的匹配特征点纵坐标绝对差的平均值，作为各图像相对参考图像的垂直视差。得到平行相机阵列多视点图像校正前、后垂直视差的数值比较如表1；计算水平视差的方法与计算垂直的方法大体相同，我们采用SURF算法依次对相邻图像对进行特征点检测与匹配，并利用RANSAC检测并剔除奇异值。利用选取的匹配特征点横坐标差值的平均值，作为相邻图像对的水平视差。最后计算多视点图像水平视差的均方差作为多视点图像水平视差差异性的评价指标，表2为平行相机阵列多视点图像校正前、后水平视差差异性比较。

[3]C.Evans,Notesontheopensurflibrary,UniversityofBristol,Tech.Rep.CSTR-09-001,2009.

表1平行相机阵列多视点图像校正前、后垂直视差比较

表2平行相机阵列多视点图像校正前、后水平视差差异性比较

本发明所提出平行相机阵列多视点图像校正算法,能够有效的消除多视点图像的垂直视差以及水平视差差异性，而且能够达到实时校正的目的，使校正后图像能够满足人们的观看需求。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (1)

1.一种平行相机阵列多视点图像校正方法，包括下列步骤：

1)从平行相机阵列中选取参考相机camera1，以参考相机camera1的坐标系为世界坐标系，对各个平行相机进行标定，得到平行相机阵列中各相机内部矩阵 $K_i=\left[\begin{array}{ccc}{f}_{i,x}& s& p_{i,x}\\ 0& f_{i,y}& p_{i,y}\\ 0& 0& 1\end{array}\right],$ i＝1,2,3…N，N为平行相机阵列中相机个数，f_i,x、f_i,y代表焦距像素坐标，p_i,x、p_i,y代表主心像素坐标，s代表倾斜因子，以及各相机相对于参考相机的旋转矩阵om_i1、平移矩阵T_i1；

2)利用遍态历经法，根据各相机旋转矩阵分别代表camerai相对于camera1在方向所成角度，计算得到平行相机阵列最优相机旋转矩阵作为平行相机阵列理想旋转矩阵，如(1)：

$\begin{array}{c}{\mathrm{om}}_{\mathrm{ideal}}=[\stackrel{\→}{x_{\mathrm{ideal}}},\stackrel{\→}{y_{\mathrm{ideal}}},\stackrel{\→}{z_{\mathrm{ideal}}}]\\ =\underset{\stackrel{\→}{x}\∈a,\stackrel{\→}{y}\∈b,\stackrel{\→}{z}\∈c}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(\stackrel{\→}{x}-\stackrel{\→}{x_i})}^2+{(\stackrel{\→}{y}-\stackrel{\→}{y_i})}^2+{(\stackrel{\→}{z}-\stackrel{\→}{z_i})}^2}\end{array}----\left(1\right)$

其中a代表到的区间，b代表到的区间，c代表到的区间；

3)设平行相机阵列各相机光心为c₁、c₂、c₃…c_N，相邻相机理想间距设利用遍态历经法求取的camera1理想光心c_1-ideal如(2)，然后根据c_1-ideal求的其他相机理想光心位置如(3)，进而求的各相机理想平移矩阵如(4)：

$c_{1\_\mathrm{ideal}}=\underset{x\∈a^{\′},y\∈b^{\′},z\∈c^{\′}}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x-{x_i}^{,})}^2+{(y-{y_i}^{,})}^2+{(z-{z_i}^{,})}^2}---\left(2\right)$

$c_{i\_\mathrm{ideal}}=c_{1\_\mathrm{ideal}}+(i-1)\×\stackrel{\→}{d}---\left(3\right)$

T_{i1_ideal}＝-R_idealc_{i_ideal}，R_ideal是om_ideal的Rodrigues变换，   (4)

其中a′代表坐标轴min(x₁’,x₂’,x₃’...x_N’)到max(x₁’,x₂’,x₃’...x_N’)的区间；b′代表min(y₁’,y₂’,y₃’...y_N’)到max(y₁’,y₂’,y₃’...y_N’)的区间；c′代表min(z₁’,z₂’,z₃’...z_N’)到max(z₁’,z₂’,z₃’...z_N’)的区间；

4)排除与相机焦距均值方差大于二倍于均方差的相机，利用剩余相机的焦距，计算平均值，作为理想相机焦距f_ideal＝[f_ideal,x,f_ideal,y]；利用同样的方法,排除与相机主心坐标均值方差大于二倍于均方差的相机，利用剩余相机的主心坐标，计算平均值，作为理想相机主心坐标p_ideal＝[p_ideal，x,p_ideal,y]；相机倾斜因子s取值为零，从而得到相机理想内部矩阵 $K_{\mathrm{ideal}}=\left[\begin{array}{ccc}{f}_{\mathrm{ideal},x}& 0& p_{\mathrm{ideal},x}\\ 0& f_{\mathrm{ideal},y}& p_{\mathrm{ideal},y}\\ 0& 0& 1\end{array}\right];$

5)根据平行相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算平行相机阵列各相机理想投影矩阵P_ideal,i＝K_ideal[R_ideal|T_{i1_ideal}]；

6)计算实际图像与理想图像的校正矩阵H_i，如(5)：

其中表示平行相机阵列中第i个相机实际投影矩阵p_i的伪拟矩阵。

7)利用校正矩阵校正平行相机阵列拍摄的多视点图像。