CN101650178A - 序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法 - Google Patents

Abstract

本发明公开了一种序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法，其首先在采集到的序列图像中选择控制特征点；并对控制特征点进行跟踪，作为最终关键帧图像的同名特征点，以解算出关键帧图像间的相对几何关系；根据跟踪获得的已配准控制特征点，计算待匹配点最优局部单应，利用最优局部单应预测待匹配点在另一序列图像上的同名特征点位置，在预测位置进行匹配定位。本发明可应用于无人机对地三维测量和空间目标三维结构恢复，也可用于序列图像对场景的测量。同时，本发明能够使得序列图像的关键帧之间的同名特征点匹配具备准确性高、抗干扰能力强、密集匹配速度快的优势。

Description

序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法

技术领域

本发明涉及摄像测量、三维重建、空间导航等技术领域，进一步是在基于序列图像的地形地貌或空间目标的三维结构重建中，利用像机对地面场景或者空间目标连续拍摄获得序列图像，通过序列图像中连续帧图像的控制特征点跟踪获取关键帧同名特征点的方法以及利用控制特征点计算最优局部单应并引导密集特征点匹配的方法。

背景技术

对地面场景及空间目标连续拍摄形成序列图像进行测量是摄像测量中一类重要的测量方式，从序列图像快速可靠地获取目标的三维结构、形貌是飞行器对地测量和对空间目标结构估计的迫切需求。通常情况下，目标形貌与三维结构的测量要经过像机的外参数标定和事后处理完成，这对于飞行导航中地形重建以及空间飞行器的目标识别、交会、导航任务是不能满足要求的。由于序列图像是摄像机对同一地面场景或空间目标的不同位置、视角的连续成像，用于解算的关键帧图像之间存在成像角度、光照、遮挡等条件变化，导致基于关键帧图像的三维解算实时性差，自动化程度低，制约了这一技术的应用。国外相关的研究是采用高性能的处理器硬件设备，以及离线状态完成导航中的大量计算与数据准备。我国目前尚没有稳定、可靠的基于序列图像的地形以及空间目标三维重建的实时、全自动测量方法。因此，结合序列图像的特性，提供一种自动化、实时性的序列图像对地形和空间目标的三维重建方法将具有重要的应用价值。

发明内容

针对上述现有技术，本发明旨在提供一种序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法，能够保证序列图像关键帧图像的可靠、自动、实时的特征点匹配和目标三维重建，能应用于无人机对地三维测量和飞行器空间目标三维结构恢复，也可用于其他基于序列图像的三维场景测量。

本发明采取的具体技术方案是：一种序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法，包括如下步骤：

1)在采集到的序列图像中选择控制特征点；

2)在连续采集到的序列图像中对控制特征点进行跟踪得到成功跟踪的特征点，且将其作为最终关键帧图像的同名特征点；

3)根据上述得到的同名特征点得到关键帧图像间的相对几何关系；

4)根据跟踪获得的已配准同名特征点，计算待匹配点所属的最优局部单应，利用最优局部单应预测待匹配点在另一序列图像上的同名特征点位置，在预测位置邻域进行搜索匹配。

进一步优选方式为，所述步骤1)中控制特征点的选择采用准均匀选择方法，指的是：待测图像由I×J个网格均匀划分为I×J区域，在每个区域的图像上用Forstner算法提取兴趣值最大的前n个点作为控制特征点，最终形成全图的控制特征点，共I×J×n个。

进一步优选方式为，所述步骤2)中连续图像中特征点的跟踪方法为：对第一个关键帧图像上的每一个控制特征点在连续序列图像中下一幅图像上用最小二乘进行匹配定位，序列图像之间采用Kalman滤波进行预测，实现控制特征点的跟踪。

进一步优选方式为，所述步骤4)中最优局部单应的选择方法为：首先识别待匹配点附近的图像控制特征点所在的多个候选局部平面，获得候选局部平面组，用每一个局部平面所确定的单应(称为局部单应)预测待匹配点的同名特征点，根据得到的预测点与待匹配点的局部区域图像的相关系数作为当前局部单应的有效性的度量，选择具有最大有效性的局部单应作为该待匹配点的最优局部单应。

本发明的工作详细描述如下：所述序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法包括如下两大部分：

1.基于序列图像控制特征点跟踪的关键帧图像同名特征点获取

在序列图像中选择控制特征点，在连续的图像中对于控制特征点进行跟踪，将得到的成功跟踪的特征点作为最终关键帧图像的同名特征点，以用于关键帧图像间相对几何关系的解算。

2.局部最优局部单应引导的关键帧图像密集点匹配

根据跟踪获得的已配准控制特征点，计算待匹配点所属的最优局部单应，利用最优局部单应预测待匹配点在另一幅图上的同名特征点位置，在预测位置进行匹配定位。该方法可对待测的大量密集点实现快速、可靠的匹配。

综上所述，本发明利用序列图像连续帧之间重叠度高、图像内容变化缓慢的特点，通过对序列图像控制特征点的可靠、自动、实时跟踪获得关键帧之间的同名特征点，根据跟踪获得的同名特征点进行关键帧之间的相对几何关系解算；利用跟踪的控制特征点估计成像场景的最优局部单应，通过最优局部单来引导待重建密集兴趣点的可靠、快速匹配，最后实现实时的目标三维重建。本发明采用成熟的序列图像特征点跟踪技术，可靠性高；通用性强，可应用于航空飞行器基于序列图像的对地测量，空间飞行器视觉导航的目标三维结构估计等。

以下结合附图和具体实施例对上述发明进行进一步的描述：

附图说明

图1为实施例所述方法中准均匀选择控制特征点方法的示意图；

图2为实施例所述方法中最优局部单应引导的匹配点搜索方法示意图。

在上述附图中，I表示图像横方向划分的网格数，J表示图像竖方向划分的网格数；Y，Y′分别表示第一和第二关键帧图像，C₁、C₂分别表示第一和第二关键帧图像的成像光心。π与π_i表示两个空间平面，其对应的单应分别用H和H_i表示。p为图像Y上的像点，P为像点p与光心C₁确定的光线与空间平面π的交点，P′_i为像点p与光心C₁确定的光线与空间平面π_i的交点。X₁、X₂、X₃、X₄、X₅、X₆表示空间点，其在图像Y和Y′上的对应像点分别用x₁、x₂、x₃、x₄、x₅、x₆和x′₁、x′₂、x′₃、x′₄、x′₅、x′₆表示。l、l′分别为像点p确定的对极线，e和e′分别为对极点。

具体实施方式

本实施例将本发明所述序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法运用于无人机对地序列成像的地形地貌三维重建。

具体实施步骤为：

第一步，控制特征点选择

三维重建中图像的控制特征点需要分布比较均匀。在本步骤，将无人机平台像机对地拍摄序列图像的第一帧作为当前关键帧，对当前关键帧进行控制特征点选择，为了避免兴趣点提取算法对图像直接处理会出现特征点分布不均匀的问题，采用本发明提出的区域控制的特征点提取算法，如图1所示，是控制特征点的选择方法说明，I×J个网格是图像上均匀分布的区域，在每个区域的图像上用已知的Forstner算法提取兴趣值最大的前n个点作为控制特征点，最终形成全图的控制特征点，共I×J×n个。

Forstner特征提取算法通过计算各像素的梯度和像素(c，r)为中心的灰度协方差矩阵，在图像中寻找具有尽可能小而且接近于圆的误差椭圆的点作为特征点。步骤如下：

①计算各像素的梯度

$g_u=\frac{\∂g}{\∂u}=g_{i+1,j+1}-g_{i,j}---\left(1\right)$

$g_v=\frac{\∂g}{\∂v}=g_{i,j+1}-g_{i+1,j}$

②计算l×l窗口中灰度的协方差矩阵

$Q=N^{-1}={\left[\begin{array}{cc}\mathrm{\Σ}{g}_u^2& \mathrm{\Σ}{g}_u{g}_v\\ \mathrm{\Σ}{g}_v{g}_u& \mathrm{\Σ}{g}_v^2\end{array}\right]}^{-1}---\left(2\right)$

③计算兴趣值q与w

$q=\frac{4\mathrm{DetN}}{{\left(\mathrm{trN}\right)}^2}---\left(3\right)$

$w=\frac{1}{\mathrm{trQ}}=\frac{\mathrm{DetN}}{\mathrm{trN}}---\left(4\right)$

q即像素(c，r)对应的误差椭圆的圆度。

④确定待选点

如果兴趣值大于给定阈值，则该像素为待选点。阈值T_q，T_w为经验值，参考确定值为下式，其中w为均值，w_c为中值。当q＞T_q同时w＞T_w时，该像素为待选点。

T_q＝0.5～0.75

$T_w=\left\{\begin{array}{cc}f\stackrel{\‾}{w}& (f=0.5~1.5)\\ {\mathrm{cw}}_c& (c=5)\end{array}\right.---\left(5\right)$

⑤以w为依据，选定窗口内最大待选点作为特征点。

第二步，控制特征点的跟踪，关键帧图像的选择

对无人机序列图像当前关键帧图像上的每一个控制特征点在连续序列的下一幅图像上用最小二乘进行匹配定位，序列图像之间采用Kalman滤波进行预测，实现控制特征点的跟踪。直到选择下一个关键帧图像时停止跟踪，此时成功跟踪的控制特征点作为这两个关键帧图像的同名特征点，用于相对几何关系解算，求解关键帧之间的基础矩阵F。

第三步，利用最优局部单应引导对两个关键帧图像需要重建的密集点或兴趣结构点进行匹配。首先识别待匹配点附近的图像控制特征点所在的多个候选局部平面，获得候选局部平面组。用每一个局部平面对应的单应，即局部单应来预测待匹配点的同名特征点，根据预测点与待匹配点的局部区域图像的相关系数作为当前局部单应的有效性的度量。选择具有最大有效性的局部单应作为该待匹配点的最优局部单应。以第一幅图像待匹配点区域为模板，计算其在第二幅图上最优局部单应确定的预测点；对预测点3×3邻域范围内每一个点为中心的局部图像，计算其与第一幅图的待匹配点区域局部图像相关系数，如果预测点对应于该邻域的相关系数极大值，则采用相关系数拟合确定精确定位点；如果不是极大值点，则以新的相关系数极大值点为中心，计算其邻域相关系数，并进行相关系数拟合精确定位。

如图2所示，最优局部单应引导的匹配点搜索方法为：第一幅图像Y上的待匹配点p，其最邻近的点组(x₁，x₂，x₃，x₄)及(x₁，x₂，x₅，x₆)分别位于空间平面π和π_i，称为局部平面控制特征点组，而(x₁，x₂，x₃，x₅)或(x₁，x₂，x₃，x₆)等点组由于不共面，因而不是局部平面控制特征点组。计算所有的局部平面控制特征点组确定的单应在第二图上的预测同名特征点，将预测点附近局部区域图像与第一幅图上待匹配点局部图像进行相关计算，将相关系数作为当前局部单应的有效性的度量，选择具有最大有效性的局部平面作为待匹配点p的最优局部平面。

具体过程为：①对于匹配点p，计算局部单应H对该点的同名特征点的预测点p′，计算局部单应H_i将该点的同名特征的预测点p′_i；②计算预测点p′所在的图像局部区域与点p所在图像局部区域的相关系数r，计算预测点p′_i所在的图像局部区域与点p所在图像局部区域的相关系数r_i；③比较两个相关系数，取较大相关系数对应的单应作为最优局部单应，并且将最优局部单应对应的做为最优预测点，对该预测点3×3邻域范围内每一个点为中心的局部图像，计算其与待匹配点p区域局部图像相关系数，如果预测点对应于该邻域的相关系数极大值，则采用相关系数拟合确定精确定位点；如果不是极大值点，则以新的相关系数极大值点为中心，计算其邻域相关系数，并进行相关系数拟合精确定位。

Claims (4)

1、一种序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法，其特征是，包括如下步骤：

1)在采集到的序列图像中选择控制特征点；

2)在连续采集到的序列图像中对控制特征点进行跟踪得到成功跟踪的特征点，且将其作为最终关键帧图像的同名特征点；

3)根据上述得到的同名特征点得到关键帧图像间的相对几何关系；

4)根据跟踪获得的已配准同名特征点，计算待匹配点所属的最优局部单应，利用最优局部单应预测待匹配点在另一序列图像上的同名特征点位置，在预测位置邻域进行搜索匹配。

2、根据权利要求1所述序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法，其特征是，所述步骤1)中控制特征点的选择采用准均匀选择方法，指的是：待测图像由I×J个网格均匀划分为I×J区域，在每个区域的图像上用Forstner算法提取兴趣值最大的前n个点作为控制特征点，最终形成全图的控制特征点，共I×J×n个。

3、根据权利要求1或2所述序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法，其特征是，所述步骤2)中连续图像中特征点的跟踪方法为：对第一个关键帧图像上的每一个控制特征点在连续序列图像中下一幅图像上用最小二乘进行匹配定位，各序列图像之间采用Kalman滤波进行预测，实现控制特征点的跟踪。

4、根据权利要求1或2所述序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法，其特征是，所述步骤4)中最优局部单应的选择方法为：首先识别待匹配点附近的图像控制特征点所在的多个候选局部平面，获得候选局部平面组，用每一个局部平面确定的单应来预测待匹配点的同名特征点，根据得到的预测点与待匹配点相应的局部区域图像的相关系数作为当前局部单应的有效性的度量，选择具有最大有效性的局部单应作为该待匹配点的最优局部单应。

Images