CN103632334B - 一种基于平行光轴结构摄像机的无穷远图像对齐方法 - Google Patents

Abstract

本发明公开了一种基于平行光轴结构摄像机的无穷远图像对齐方法，包括如下步骤，S1设定垂直于摄像机光轴方向的平面，从该平面上均匀选取匹配点，S2利用匹配点，求解描述基于该平面关系的单应矩阵，S3利用单应矩阵和双线性插值算法，求解基于该平面对齐的坐标映射表，S4设置一个垂直于摄像机光轴方向的等效无穷远的平面，计算无穷远平面上对应点的视差，平移坐标映射表，转换为基于无穷远平面对齐的坐标映射表。本发明的优势在于不需要通过摄像机的标定获得摄像机的内参矩阵和旋转矩阵，就能实现两张图像的公共区域在无穷远平面的对齐。

Description

一种基于平行光轴结构摄像机的无穷远图像对齐方法

技术领域

本发明涉及图像配准领域，具体涉及一种基于平行光轴结构摄像机的无穷远图像对齐方法。

背景技术

图像配准是图像合成中的关键步骤，现阶段的配准方法主要有直接配准和分部配准。其中分部配准的方法通常是首先进行极线矫正(或投影矫正)，将两幅图像的对应点坐标矫正到同一水平线上，从而降低搜索维度，有些文献将满足这一关系图像对称作满足扫描线特性，然后在再采用一维方向上的搜索策略，完成对应点间的匹配。

极线矫正可以使用投影变换的方法进行，对两张图像分别进行投影变换，或者仅对一张图像进行。投影变换的常用工具是单应矩阵（简称H矩阵），因此计算单应矩阵的方法将是重要步骤。

无穷远图像对齐针对的是H_∞矩阵的计算，多几何视觉中，H_∞描述的是两个视角关于无穷远平面的映射关系。有如下公式描述：

$H_{\∞}=\underset{d\→\∞}{{\lim }^H}=K^{\′}R{K}^{-1}$

如图2所示，其中K′和K分别是第一视角1和第二视角2的内参矩阵，R是第一视角1到第二视角2的旋转矩阵。因此，需要首先对第一视角1和第二视角2的摄像机进行标定，分别计算其内参矩阵，然后再计算两台摄像机之间的旋转矩阵，这种方法计算步骤较为繁琐，由于步骤多，使得精度往往难以保证。

另外，可以通过DLT直接线性变换算法计算H_∞。由于无穷远平面需要距离摄像机较远，则难以找到分布均匀且足够数量的匹配点，同时匹配点坐标的精度也难以保证。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于平行光轴结构摄像机的无穷远图像对齐方法。

本发明提供一种计算等效H_∞的方法，用于实现无穷远平面的图像对齐。

本发明采用如下技术方案：

一种基于平行光轴结构摄像机的无穷远图像对齐方法，包括如下步骤：

S1设定一个垂直于摄像机光轴方向的平面，然后从该平面上均匀选取匹配点；

S2利用匹配点，求解描述基于该平面关系的单应矩阵；

S3利用单应矩阵和双线性插值算法，求解基于该平面对齐的坐标映射表；

S4设置一个垂直于摄像机光轴方向的等效无穷远平面，利用投影变换、计算无穷远平面上对应点的视差，平移S3得到的坐标映射表，然后得到无穷远平面对齐的坐标映射表。

所述步骤S1包括如下步骤：

S1.1设置两台具有平行光轴，且并排放置的摄像机；

S1.2设定垂直于摄像机光轴方向的平面，并在该平面上张贴棋盘格纸；

S1.3以棋盘格的角点作为特征点，两台摄像机获取图像，分别记为左图和右图，然后从左图和右图中均匀选取匹配点，所述匹配点对数为至少4对。

所述步骤S2包括如下步骤：

S2.1对匹配点进行归一化处理，将匹配点坐标对记作P_l和P_r，对应的归一化后的坐标记作和其中P_l表示左图匹配点的坐标，P_r表示右图匹配点的坐标；

S2.2利用通过整理得到Ah=0的齐次方程形式；

S2.3将S2.1得到的归一化坐标代入S2.2得到的系数矩阵A，通过SVD分解，得到h矩阵的近似解；

S2.4通过反归一化处理，求解描述P_l和P_r映射关系的H矩阵。

所述步骤S3具体包括如下步骤：

S3.1根据右图或左图图像大小，建立离散坐标映射表；

S3.2利用双线性差值及离散坐标映射表，得到完整的图像的坐标映射表。

所述步骤S4具体包括：

S4.1设置一个距离摄像机的等效无穷远平面，该平面与S1所述平面平行，利用S3得到的坐标映射表，计算左图或右图的投影变换图像；

S4.2比较其中一张投影变换图像与另一张原始图像在等效无穷远平面的视差值；

S4.3利用视差值平移S3得到的坐标映射表，得到无穷远平面对齐的坐标映射表。

所述S3.1根据右图或左图图像大小，建立坐标映射表，具体如下：

建立一张与右图图像大小相同的坐标映射表，然后遍历该图横纵坐标均能被4或8或16整除的点P_r(i,j)，利用单应矩阵H计算其映射坐标P_l(i,j)，其中i,j均为4或8或16的倍数，并对该映射坐标进行定点化处理，乘以64或128，然后四舍五入取整，获取离散坐标映射表。

所述S4.1中所述等效无穷远平面与摄像机之间的距离是两个摄像机之间基线的100倍以上。

本发明的有益效果：

本发明避免了摄影机定标的繁琐步骤，提出了利用一个平面和DLT（直接线性变换方法）求取基于平面的图像对齐，在通过平移，得到等效无穷远对齐的坐标映射表或等效H_∞矩阵；通过无穷远平面对齐，可用于实现立体图像的快速配准，以及深度图像的获取。

附图说明

图1是本发明的方法流程图；

图2是本发明现有技术中具有平行光轴结构摄像机的第一视角及第二视角的结构示意图；

图3是本发明具体实施方式棋盘格平面示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例：

如图1所示，一种基于平行光轴结构摄像机的无穷远图像对齐方法，包括如下步骤：

S1设定一个垂直于摄像机光轴方向的平面，然后从该平面上均匀选取匹配点；

设置两台具有平行光轴结构的摄像机，且并排放置，在摄像机的正前方，设定一个垂直于摄像机光轴方向的平面，并张贴上棋盘格纸，棋盘格图纸的设计可以参照图3所示，但又不仅限于此。棋盘格要尽可能的占满两台摄像机的图像，选择棋盘格的角点作为特征点，两台摄像机分别获取一张图像，记为左图像和右图像（原始图像），然后从中均匀选取匹配点对，所述匹配点对数至少4对，例如20对匹配点，分别是P_l和P_r，P_l表示左图的匹配点，P_r表示右图的匹配点，并记录下来。

S2利用匹配点，求解描述基于该平面关系的单应矩阵；具体包括如下步骤：

S2.1对匹配点坐标进行归一化。

设P_l和P_r是其中一对匹配点坐标，和分别是P_l、P_r归一化后的坐标。

现对左图坐标点进行归一化采用如下公式：

$P_l^{\′}=T_l{P}_l$

P_l=[X_l,Y_l,1]^T

$T_l=\left(\begin{array}{ccc}1/D_l& 0& -E\left(X_l\right)\\ 0& 1/D_l& -E\left(Y_l\right)\\ 0& 0& 1\end{array}\right)$

$D_l=\sqrt{\frac{\underset{i=1}{\overset{20}{\mathrm{\Σ}}}({(X_l\left(i\right)-E\left(X_l\right))}^2+{(Y_l\left(i\right)-E\left(Y_l\right))}^2)}{20}}$

$E\left(X_l\right)=\underset{i=1}{\overset{20}{\mathrm{\Σ}}}\frac{X\left(i\right)}{20}$

其中，T_l是归一化矩阵，D_l是归一化前左图坐标点的标准差，E(X_l)和E(Y_l)是归一化前坐标点的期望，对右图坐标P_r进行相同的归一化处理得到

S2.2利用归一化坐标建立Ah=0齐次方程的公式：

假设垂直于摄像机光轴方向的平面上任意点p，在左、右两图像中的投影点归一化后的坐标分别是X_i′和X_i；

$\left[\begin{array}{ccc}{0}^T& -w_i^{\′}{X}_i^T& y_i^{\′}{X}_i^T\\ w_i^{\′}{X}_i^T& 0^T& -x_i^{\′}{X}_i^T\\ -y_i^{\′}{X}_i^T& x_i^{\′}{X}_i^T& 0^T\end{array}\right]\left[\begin{array}{c}{h}_1\\ h_2\\ h_3\end{array}\right]=0$

其中， $h=\left[\begin{array}{c}{h}_1\\ h_2\\ h_3\end{array}\right],$ $X_i^{\′}=\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ w_i^{\′}\end{array}\right],$ $X_i=\left[\begin{array}{c}{x}_i\\ y_i\\ w_i\end{array}\right],$ 和w_i为1，h₁、h₂、h₃均为三维列向量。将20对归一化坐标点和依次带入上述方程的系数矩阵A，构成9行60列的矩阵。其中i表示第i对匹配点坐标，i不超过匹配点对数。

S2.3将S2.1得到的归一化坐标代入S2.2得到的系数矩阵A，通过SVD分解，得到h矩阵的近似解，也就是描述归一化坐标之间的单应矩阵h；

具体为：

公式如下：A=UDV^T

对A矩阵进行SVD分解，h由矩阵V的最后一列构成，并将其整理成3*3的形式：

$h^{*}=\left[\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right]$

S2.4通过反归一化处理，求解描述原始图像匹配点坐标映射关系的单应矩阵，具体为通过反归一化，计算直接描述P_l和P_r映射关系的H矩阵公式如下：

$P_l^{\′}=h^{*}{P}_r^{\′}$

T_lP_l=kh^*T_rP_r

$P_l={\mathrm{kT}}_l^{-1}{h}^{*}{T}_r{P}_r$

k是比例系数，保证了三维向量的第三个分量为1，将单应矩阵记作H，令

$H={\mathrm{kT}}_l^{-1}{h^{*}T}_r$

得到左图映射点和右图映射点的关系式如下：

P_l=HP_r

通过该H矩阵，即可建立起基于S1所述平面的图像对齐。

S3利用单应矩阵和双线性插值算法，求解基于该平面对齐的坐标映射表；

S3.1计算原始图像的离散坐标映射表，具体为：

假设计算右图坐标点对应的映射坐标，建立一张坐标映射表，以右图图像坐标系为基准，一般取8*8的方框(前提是图像的长、宽均能被8整除)覆盖满整个右图。根据不同的精度要求，方框也可以选择4*4或16*16。在每个8*8的方框顶点P_r(i,j)使用S2.4求解出的H矩阵计算出映射坐标P_l(i,j)。其中i,j均为8的倍数，并对该坐标进行定点化处理，乘以64或128，然后四舍五入取整，获取离散的坐标映射表。

S3.2计算完整的坐标映射表，步骤如下：

通过S3.1得到右图P_r(i,j)（其中i,j均为8的倍数）的映射坐标，对于右图其他位置的点，需要用插值方法来计算。

采用双线性插值方法，按照8*8的方框逐个进行。在每一个方框内部，利用如下公式计算出四条边上坐标点的映射坐标。

f(k)=(f(1)*(8-k)+f(2)*k)/8; (0<k<8)

利用如下公式计算出方框的内部区域坐标点的映射坐标。

f(x,y)=(f(1)*(8-x)*(8-y)+f(2)*(x)*(8-y)+f(3)*(8-x)*(y)+f(4)*x*y)/64

(0<x,y<7)

其中f(1)，f(2)，f(3)，f(4)分别为方框四个顶点位置的映射坐标。遍历整张右图内的每一个方框，都使用上述插值方法，即可得到一张完整图像的坐标映射表。

S4设置一个垂直于摄像机光轴方向的等效无穷远平面，利用投影变换、计算无穷远平面上对应点的视差，平移S3得到坐标映射表，然后得到无穷远平面对齐的坐标映射表。

所述等效无穷远平面与S1中的平面平行，均垂直于摄像机光轴方向，且等效无穷远平面距离摄像机的距离是两摄像机之间基线距离的100倍以上，上面两个条件是为了保证经过投影变换后，无穷远平面上的点存在相同的视差；同时对距离的规定，保证了可以等效到无穷远。如两台摄相机之间的基线距离为0.1m，则要求无穷远平面的距离为10m以上。

S4.1设置一个垂直摄像机光轴方向的等效无穷远平面，利用S3得到的坐标映射表和双线性插值算法，计算左图的投影变换图像即PT图像；

具体为：

首先为PT图像申请与右图等大小的图像空间，遍历PT图像上每一个像素位置，利用步骤S3得到的坐标映射表，确定该点在左图上位置，利用周围最近的四个像素点，通过双线性插值算法，计算出映射表指向位置的颜色值，填充到新建的这张图像上，即为PT图像。

S4.2在等效无穷远平面上，找到多个PT图像与右图的对应点，计算其水平方向视差的均值即坐标值之差，并记录下来。

Offset=abs(P_r-HP_l)

由于摄像机之间具有平行光轴结构并排摆放，PT图像与右图对应点之间，即P_r和HP_l之间仅存在水平视差，故这里只计算水平方向的视差。

等效无穷远平面与S1所述平面平行，且均垂直于光轴方向，使得等效无穷远平面上的任意点到摄像机位置的深度是相等的。因为深度相等，故P_r和HP_l之间的视差是一个定值。

S4.3利用视差值平移S3.2得到的坐标映射表，得到无穷远平面对齐的坐标映射表即H_∞矩阵。

H矩阵的第一行第三列元素(即H₁₃)的作用是控制水平方向的平移，也可通过加减该参数，来求取H_∞矩阵。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于平行光轴结构摄像机的无穷远图像对齐方法，其特征在于，包括如下步骤：

S1设定垂直于摄像机光轴方向的平面，然后从该平面上均匀选取匹配点；

所述步骤S1包括如下步骤：

S1.1设置两台具有平行光轴，且并排放置的摄像机；

S1.2设定垂直于摄像机光轴方向的平面，并在该平面上张贴棋盘格纸；

S1.3将两台摄像机获取图像分别记为左图和右图，以棋盘格上的角点作为特征点，然后从左图和右图中均匀选取匹配点，所述匹配点对数为至少4对；

S2利用匹配点，求解描述基于该平面关系的单应矩阵；

S3利用单应矩阵和双线性插值算法，求解基于该平面对齐的坐标映射表；

S4设置一个垂直于摄像机光轴方向的等效无穷远平面，利用投影变换、计算无穷远平面上对应点的视差，平移S3得到的坐标映射表，得到无穷远平面对齐的坐标映射表；

所述步骤S2包括如下步骤：

S2.1对匹配点进行归一化处理，将匹配点坐标对记作P_l和P_r，对应的归一化后的坐标记作P_l'和P′_r，其中P_l表示左图匹配点的坐标，P_r表示右图匹配点的坐标；

S2.2利用P_l'*hP′_r＝0，通过整理得到Ah＝0的齐次方程形式；

S2.3将S2.1得到的归一化坐标代入S2.2得到的系数矩阵A，通过SVD分解，得到h矩阵的近似解；

S2.4通过反归一化处理，求解描述P_l和P_r映射关系的H矩阵。

2.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括如下步骤：

S3.1根据右图或左图图像大小，建立离散坐标映射表；

S3.2利用双线性差值及离散坐标映射表，得到完整的图像的坐标映射表。

3.根据权利要求1所述的方法，其特征在于，所述步骤S4具体包括：

S4.1设置一个距离摄像机的等效无穷远平面，该平面与S1所述平面平行，利用S3得到的坐标映射表，计算左图或右图的投影变换图像；

S4.2比较其中一张投影变换图像与另一张原始图像在等效无穷远平面的视差值；

S4.3利用视差值平移S3得到坐标映射表，得到无穷远平面对齐的坐标映射表。

4.根据权利要求2所述的方法，其特征在于，所述S3.1根据右图或左图图像大小，建立离散坐标映射表，具体如下：

建立一张与右图或左图图像大小相同的坐标映射表，然后遍历该图横纵坐标均能被4或8或16整除的点P_r(i,j)，利用单应矩阵H计算其映射坐标P_l(i,j)，其中i,j均为4或8或16的倍数，并对该映射坐标进行定点化处理，乘以64或128，然后四舍五入取整，获取离散坐标映射表。

5.根据权利要求3所述的方法，其特征在于，所述S4.1中所述等效无穷远平面与摄像机之间的距离是两个摄像机之间基线的100倍以上。