CN104240229A - 一种红外双目相机自适应极线校正方法 - Google Patents

Abstract

本发明公开了一种红外双目相机自适应极线校正方法，仅需两幅红外图像作为输入，首先对红外双目图像进行预处理以实现对比度增强；对两幅红外图像分别提取SIFT特征点，并匹配得到匹配点；在处理误匹配时，采用改进的基于近邻度的离群点检测思想去除误匹配点；利用引入混沌优化思想和遗传算法中杂交思想的改进粒子群算法，进行全局寻优，得到两个变换矩阵；对两幅红外图像分别根据对应的变换矩阵进行像素映射，即可得到校正后的双目图像。实验证明，该方法能适应绝大多数场景，具有很高的校正精度和自适应性。

Description

一种红外双目相机自适应极线校正方法

技术领域

本发明属于计算机视觉领域，具体涉及一种红外双目相机自适应极线校正方法。 

背景技术

双目立体视觉技术广泛应用在机器人车辆导航和目标检测领域。随着红外成像技术的成熟，所获得的红外图像质量越来越高，红外波段的立体视觉技术也越来越受到关注。在满足极线约束的理想状态下，双目图像平面的极线互相平行，因此在立体匹配时，搜索只需要沿着水平方向，大大提高了匹配效率。然而在实际应用中，双目相机的光轴通常处于非平行模式下，甚至可能误差很大，得到的双目图像即不满足极线约束。极线校正的目的就是通过变换矩阵，将非理想的双目图像变换成满足极线约束的理想立体图像对。 

立体图像极线校正分为有相机标定和无相机标定两种方法。文献(Fusiello A,Trucco E,Verri A.A compact algorithm for rectification of stereo pairs[J].Machine Vision and Applications,2000,12(1):16-22)提出一种简单的有相机标定方法，精度和速度都比较好，但是依赖于标定得到的相机参数。相机标定一般利用已知形状、尺寸的标定物(如棋盘格)作为拍摄对象，但在红外图像中场景纹理特征很少，标定物中的点、线等细节缺失，常规方法下根本无法进行标定。因此红外双目极线校正需利用无相机标定方法。文献(Hartley R I.Theory and practice of projective rectification[J].International Journal of Computer Vision,1999,35(2):115-127)总结了极线校正的理论，将其中一个变换矩阵近似为刚体变换，剩余的自由度通过变换后对应点视差最小得到。文献(Loop C,Zhang Z.Computing rectifying homographies for stereo vision[C].Computer Vision and Pattern Recognition,1999.IEEE Computer Society Conference on.IEEE,1999,1)提出了基于基本矩阵分解的立体图像极线校正方法，但该方法过分依赖于基本矩阵的精度，稳定性得不到保证。文献(Isgro F,Trucco E.Projective rectification without epipolar geometry[C].Computer Vision and Pattern Recognition,1999.IEEE Computer Society Conference on.IEEE,1999,1.)提出了一种无需基本矩阵的极线校正方法，该方法只依赖于对应点的坐标，但在校正过程中非线性优化选取的初始值缺乏可信度，采用金字塔结构的优化过程计算量很大。 

发明内容

本发明针对红外双目相机标定困难的问题，提出了一种适用于无相机标定的红外双 目相机极线校正方法，在校正过程中，只需要两幅红外双目图像作为输入，不需要使用者参与中间过程，自适应性强，精度高。 

为解决上述技术问题，本发明一种红外双目相机自适应极线校正方法，包括以下步骤： 

步骤一：计算投影变换矩阵H₁、H₂的具体形式，这里采用Gluckman的极线校正模型(详见文献Gluckman J,Nayar S K.Rectifying transformations that minimize resampling effects[C].Computer Vision and Pattern Recognition,2001.CVPR2001.Proceedings of the2001IEEE Computer Society Conference on.IEEE,2001,1:I-111-I-117vol.1)。 

步骤二：为解决红外图像对比度差、噪声大的缺点，对两幅红外双目图像分别进行直方图均衡化预处理，以实现图像增强。预处理之后的红外双目图像为I₁、I₂。 

步骤三：对两幅红外图像分别提取SIFT特征点，并进行特征点匹配。匹配时采用最短欧氏距离匹配法。为满足该发明自适应的要求，通过多次试验，确定统一的距离比例阈值th。 

步骤四：去除误匹配点。匹配过程中误匹配很难避免，而哪怕是一对误匹配的出现，对校正结果也有很大的影响。本发明提供一种改进的基于近邻度的离群点检测思想，来去除误匹配。得到的N对匹配点为(m_1i,m_2i)，i＝1,…,N。 

步骤五：根据校正后双目图像的极线方程，利用引入混沌优化思想和遗传算法中杂交思想的改进粒子群算法(详见文献柏连发,韩静,张毅,等.采用改进梯度互信息和粒子群优化算法的红外与可见光图像配准算法[J].红外与激光工程,2012,41(1):248-254.)，进行全局寻优，计算两个变换矩阵的值；得到变换矩阵后，分别对两幅图像进行像素位置映射，即可得到极线校正后的红外双目图像。 

本发明与现有技术相比，其显著优点：(1)本发明首次实现了红外双目立体视觉系统的极线校正技术，弥补了这一空白，解决了红外双目系统标定困难、匹配时不能沿单一水平方向搜索的问题；(2)针对匹配时存在的误匹配问题，在分析了不同误匹配点对校正效果的影响后，提出一种非常简单有效的误匹配去除方法：对传统基于近邻度的离群点检测方法提出改进，只保留k均值平均距离最小的部分匹配点，保留比例为P，并通过实验观察得出了P的最佳取值；(3)将投影变换矩阵的求解问题转化为一个最小化平方和问题，并采用粒子群算法来进行求解，粒子群算法简单、速度快，但存在容易陷入局部极值的问题，为提高粒子群算法全局寻优能力，引入混沌优化思想和遗传算法中杂交思 想。本发明方法既能跟好地解决误匹配问题，具有较高的鲁棒性，又能适应绝大多数的红外场景，在校正过程中不需要使用者参与，自适应性强，同时还能降低极线校正过程的计算量，提高校正速度。 

附图说明

图1是本发明方法流程图。 

图2是待校正的红外双目立体视觉系统拍摄得到的双目图像，(a)为左图，(b)为右图。 

图3是预处理后的红外双目图像，(a)为左图，(b)为右图。 

图4是分别对两幅红外图像提取SIFT特征点，并按照最短欧式距离匹配法得到的匹配点情况。 

图5是去除误匹配后的结果。 

图6是校正之后的红外双目图像，(a)为校正后左图，标出了匹配点的位置，(b)为校正后右图，画出了每个匹配点出的极线。 

图7是校正后图像变形程度度量。 

具体实施方式

由于红外图像分辨率低、噪声大，与可见光图像相比更容易出现误匹配，本发明利用改进的近邻度离群点检测思想来去除误匹配点，避免现有方法中的迭代过程。同时Gluckman的极线校正模型未知参数个数少，计算过程简单，利用改进粒子群算法即可达到全局寻优的目的。 

本发明方法包括以下步骤： 

步骤一：根据Gluckman的极线校正模型，求解投影变换矩阵H₁、H₂的具体形式；在Gluckman的极线校正模型中，双目图像的极线校正过程可以分为4个步骤，每个步骤实际上也是对投影变换矩阵的分解，因此投影变换矩阵H₁、H₂的具体形式可以由这4个步骤得出： 

步骤1：将两幅图像的坐标原点平移到图像中心点。由于实际使用的是两个型号参数一致的红外相机，因此可以认为得到的两幅图像大小一致，即对双目图像而言，它们的平移变换矩阵相同，表示为： 

$T=\left[\begin{array}{ccc}1& 0& x_0\\ 0& 1& y_0\\ 0& 0& 1\end{array}\right]$

其中(x₀,y₀)为图像中心点的坐标，为了简化投影变换矩阵的复杂度，可以假设图像 坐标原点位于图像中心，即(x₀,y₀)＝(0,0)。 

步骤2：将双目图像的对极点旋转到水平位置。设旋转角度为α和β，旋转后极点坐标变为(f₁,0,1)^T和(f₂,0,1)^T(齐次坐标)，则旋转矩阵分别为： 

$R_1=\left[\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ -\sin \mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right],R_2=\left[\begin{array}{ccc}\cos \mathrm{\β}& \sin \mathrm{\β}& 0\\ -\sin \mathrm{\β}& \cos \mathrm{\β}& 0\\ 0& 0& 1\end{array}\right]$

步骤3：对极点映射到无穷远处。将已经在x轴上的对极点映射到无穷远点(f₁,0,0)^T和(f₂,0,0)^T后，所有的对极线都平行于水平线，并且彼此之间互相平行。此变换矩阵分别为： 

$K_1=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -1/f_1& 0& 1\end{array}\right],K_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -1/f_2& 0& 1\end{array}\right]$

步骤4：将不在同一条水平线上的对极线平移到同一条水平线上。经过步骤3变换之后的对极线互相平行，但是不在同一条水平线上，因此需要将其中一幅图像在垂直方向平移t。本文中只对第一幅图像垂直平移，垂直平移矩阵为： 

$G=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& t\\ 0& 0& 1\end{array}\right]$

两幅图像投影变换矩阵分别为： 

$H_1={\mathrm{GK}}_1{R}_{1}T=\left[\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ -t\cos \mathrm{\α}/f_1-\sin \mathrm{\α}& -t\sin \mathrm{\α}/f_1+\cos \mathrm{\α}& t\\ -\cos \mathrm{\α}/f_1& -\sin \mathrm{\α}/f_1& 1\end{array}\right]---\left(1\right)$

$H_2=K_2{R}_{2}T=\left[\begin{array}{ccc}\cos \mathrm{\β}& \sin \mathrm{\β}& 0\\ -\sin \mathrm{\β}& \cos \mathrm{\β}& 0\\ -\cos \mathrm{\β}/f_2& -\sin \mathrm{\β}/f_2& 1\end{array}\right]$

其中待求的参数有f1、f2、α、β、t共5个。 

步骤二：由于红外相机和可见光相机成像器件不同，红外图像反映的是场景中所有 物体向外界发送辐射能量的差异，是真实场景图像和多种复杂噪声以及成像干扰组成的集合体。红外图像与可见光图像相比，具有噪声大、分辨率低、对比度低、纹理信息缺失等特点。因此需要对红外立体图像对进行预处理，以降低噪声、提高对比度。这里预处理操作采用直方图均衡化。预处理之后的红外双目图像为I₁、I₂。 

步骤三：采用SIFT特征描述子分别提取两幅红外图像的SIFT特征点。经典SIFT特征描述子在尺度空间下，利用特征点领域图像窗口内梯度的方向统计直方图来构造特征描述向量，窗口大小一般取16×16，此时每个特征点可以产生4×4×8＝128维的特征向量。两个SIFT特征描述子之间的匹配采用最短欧式距离匹配法。设红外立体图像对左图特征点的集合为Fl＝{l₁,l₂,…,l_P}，右图特征点的集合为F_r＝{r₁,r,…,r_Q}，P、Q分别为左右图特征点的个数，每个特征点用128维特征向量表示。欧式距离公式表示为： 

$d(F_l,F_r)=\sqrt{{\underset{i=1}{\overset{128}{\mathrm{\Σ}}}({\left(l\right)}_i-{\left(r\right)}_i)}^2}$

对于左图中某一特征点，在右图所有特征点中，离该点最近的距离为d₁，次近的距离为d₂，计算距离比例ratio＝d₁/d₂。如果ratio小于某一阈值th，则认为这对点是匹配点，显然th值越小，匹配点对数越少；th值越大，匹配点对数越多，误匹配概率越高。本发明选取了数十个不同场景以观察红外双目图像特征点匹配情况，对于有多个目标、细节较多的一般场景，th的值取0.5；如果系统要在比较极端的场景下使用，可以适当增大th到0.6。对匹配得到的N对初始匹配点为(n_1i,n_2i)，i＝1,…,N。 

步骤四：去除误匹配点。匹配过程中误匹配很难避免，而哪怕是一对误匹配的出现，对校正结果也有很大的影响。本发明利用改进的基于近邻度的离群点检测思想去除误匹配点。 

具体方法为：对图像I₁、I₂进行SIFT特征点匹配得到的初始匹配点中某对匹配点的垂直视差计算方法为Δy＝|(n₁)_y-(n₂)_y|，记所有匹配点的垂直视差集合为ΔY＝{Δy₁,…,Δy_N}。误匹配点表现为垂直视差和别的点很不一样，那么误匹配去除问题就演变成为集合ΔY中离群点检测问题。利用近邻度的离群点检测思想，计算ΔY中每个点的近邻度。计算方法为：对集合ΔY中每一个点，计算其余所有点到该点的距离，把得到的距离从小到大排序，取其中最小的k个距离，求这k个距离的平均值，即为该点的k近邻平均距离，记为该点的近邻度。显然近邻度越大，是误匹配的可能性越大；然 后把所有点按照近邻度由小到大排序，近邻度过大的点直接抛弃，只保留近邻度较小的部分，保留比例为P，保留下来的部分应该都是正确匹配点。本发明经过大量实验发现，对于一般红外场景，SIFT特征点误匹配率都远低于20％，本发明中k的取值为6-10，P的取值为80％。得到的M对匹配点为(m_1i,m_2i)，i＝1,…，M。 

步骤五：校正后红外双目图像的极线方程为其中m₁、m₂为步骤四中得到的某一对匹配点，为校正后红外双目图像的基本矩阵，固定为： 

$\stackrel{\‾}{F}=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\\ 0& -1& 0\end{array}\right]$

极线校正算法本质就是求解满足校正后红外双目图像的极线方程的变换矩阵H₁、H₂。 

由步骤一可知，待求参数只有f1、f2、α、β、t，共5个参数。一般的解决方法是，在给定了有限对匹配点的情况下，使下式最小： 

$S=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left[{\left(H_2{m}_{2i}\right)}^T\stackrel{\‾}{F}\left(H_1{m}_{1i}\right)\right]}^2---\left(2\right)$

式中，M为红外双目图像的匹配点对数，m_1i、m_2i为第i对匹配点的齐次坐标。式(2)即为优化函数，这是一个典型的最小化平方和问题，待优化的参数共有5个，粒子群算法以其并行性好、算法简单，可以有效解决这类问题。但粒子群算法存在容易陷入局部极值的问题，因此本发明在传统粒子群算法中引入混沌优化思想和遗传算法中杂交思想，改进包括两个方面：(1)当某次迭代中，粒子速度小于变异阈值时，下次迭代中对粒子的速度和位置进行变异，速度变异为可行空间的一个随机值，位置变异为当前全局最优解混沌优化后的最优可行解；(2)每次迭代后，找到占粒子总数10％的适应度最小的粒子，并用适应度更高的粒子代替。求解得到变换矩阵H₁、H₂的具体数值后，通过像素映射即可得到极线校正后的红外双目图像，映射方法为： 

$\stackrel{\‾}{p_1}=H_1{p}_1,\stackrel{\‾}{p_2}=H_2{p}_2$

其中p₁、p₂分别为红外双目图像左右图中某像素点的齐次坐标，分别为该像素点校正后的齐次坐标。 

本发明的效果可以通过以下仿真实验作进一步说明： 

图2表示待校正的红外双目立体视觉系统拍摄得到的双目图像。拍摄条件是夜晚，场景温度较低，噪声比较大，双目相机的红外阵列响应函数也存在差异。 

图3表示预处理后的红外双目图像，图像对比度有了较大的提高，细节和能更加清楚，但是仍有少量非均匀性噪声。 

图4表示分别对两幅红外图像提取SIFT特征点，并按照最短欧式距离匹配法得到的匹配点情况。很容易看出，匹配结果中明显存在多对误匹配点，如果不去除，会对算法的校正精度产生很大的影响。 

图5表示采用直接舍弃对校正精度影响最明显的垂直视差过大的匹配点的方法去除误匹配后的结果。 

图6表示预处理之后的红外双目图像，经过改进粒子群算法对优化函数进行全局寻优后的得到的变换矩阵进行像素映射后的双目图像。为达到更好的显示效果，图6中左图标出了匹配点的位置，右图画出了匹配点所在的极线。 

图7表示校正后图像变形大小度量指标正交性Ortho和纵横比AspRt，校正后图像两个对边中点连线AC和BD的夹角即为正交性Ortho的值，设校正前后AC和BD的长度比值分别为t₁、t₂，则纵横比

为表明本发明的校正效果的好坏，用以下参数来说明：校正后双目图像特征点的平均垂直视差e_rec、校正后图像的正交性Ortho和校正后图像的纵横比AspRt。平均垂直视差e_rec表示了极线校正的精度，计算方法为校正后图像的正交性Ortho和纵横比AspRt表示了校正后图像的变形程度，正交性Ortho的值即为校正后图像两个对边中心连线的夹角，纵横比AspRt的值为校正后图像两个对边中心连线长度的比值。在理想情况下e_rec＝0，Ortho＝90，AspRt＝1。图6所示校正结果的以上3个参数分别为e_rec＝0.5701，Ortho＝89.9444，AspRt＝0.9986。由此可见，本发明校正精度高，校正后图像变形小，是一种较好的红外双目相机自适应极线校正方法。 

Claims (3)

1.一种红外双目相机自适应极线校正方法，其特征在于，包括以下步骤：

步骤一，根据Gluckman的极线校正模型，计算投影变换矩阵的具体形式；

步骤二，对采集得到的红外双目图像，分别进行直方图均衡化预处理操作，预处理得到的红外双目图像分别为I₁、I₂；

步骤三，对图像I₁、I₂分别提取SIFT特征点，并进行特征点匹配，匹配时采用最短欧式距离匹配法，其距离比例阈值取th；

步骤四，针对匹配过程中产生的误匹配点，利用改进的基于近邻度的离群点检测思想去除误匹配点，去除误匹配后得到M对匹配点为(m_1i,m_2i)，i＝1,…,M；

步骤五，根据校正后双目图像的极线方程，利用引入混沌优化思想和遗传算法中杂交思想的改进粒子群算法，进行全局寻优，计算两个变换矩阵的值；得到变换矩阵后，分别对两幅图像进行像素位置映射，即可得到极线校正后的红外双目图像。

2.如权利要求1所述的红外双目相机自适应极线校正方法，其特征在于：所述步骤四中利用改进的基于近邻度的离群点检测思想去除误匹配点的具体方法为：对图像I₁、I₂进行SIFT特征点匹配得到N对初始匹配点为(n_1i,n_2i)，i＝1,…,N，其中采用Δy＝|(n₁)_y-(n₂)_y|计算每一对匹配点的垂直视差，记所有匹配点的垂直视差集合为ΔY＝{Δy₁,…,Δy_N}；对ΔY中每个点，计算该点的k近邻平均距离，记为该点的近邻度，近邻度越大的点是误匹配点的可能性越大；把所有点按照近邻度由小到大排序，近邻度过大的点直接抛弃，只保留近邻度较小的部分，保留比例为P，保留下来的部分都是正确匹配点；k的取值为6-8，P的取值为80％。

3.如权利要求1所述的红外双目相机自适应极线校正方法，其特征在于：所述步骤三中th的取值为0.5-0.6。