CN109671110B - 一种局部几何结构约束的城区宽基线影像特征点匹配方法 - Google Patents

Abstract

本发明属于影像处理技术领域，一种局部几何结构约束的城区宽基线影像特征点匹配方法，包括如下步骤：S1、提取点特征和直线特征，获取特征点局部几何结构信息；S2、构建特征点支撑区域；S3、获取特征区域和特征描述符；S4、基于特征描述符相似性进行初匹配，获取初匹配集合和立体像对之间的基础矩阵；S5、对于未匹配成功且具有至少两个几何结构方向的特征点进行二次匹配；S6、对仍未成功匹配的特征点进行特征点匹配扩展；S7、合并所有匹配的匹配集合，剔除匹配集合中的错误匹配，获取最终匹配集合；本发明解决了现有技术存在的对于位于视差不连续处特征点产生错误匹配，以及难以获得可靠的初匹配集合导致最终匹配集合不可靠的问题。

Description

一种局部几何结构约束的城区宽基线影像特征点匹配方法

技术领域

本发明属于影像处理技术领域，具体涉及一种局部几何结构约束的城区宽基线影像特征点匹配方法。

背景技术

影像匹配是摄影测量影像处理领域的关键科学问题之一。经过数十年的发展，研究人员提出了许多适用于不同类型影像的匹配方法。现有影像匹配方法大体上可分为两类：基于灰度的匹配方法和基于特征的匹配方法。

对于传统的下视航空影像，因俯仰、横滚角较小，且平台飞行相对航高较稳定，影像之间不存在明显的尺度、旋转、透视投影变形等几何差异，基于灰度的匹配方法能够获得较高的匹配精度。在基于灰度的匹配方法中，影像相关类方法因算法简单，易于理解和实现，得到了广泛应用。通过改善匹配策略可进一步提高影像相关的稳定性和可靠性，如金字塔匹配、最小二乘匹配、松弛匹配等。虽然基于灰度的匹配方法能够获得较高的匹配精度，但这类方法难以处理城区宽基线影像之间严重的几何变形和视差不连续问题。

相对于基于灰度的匹配方法，基于特征的匹配方法通过构造适用于不同影像变换的特征描述符来实现同名点匹配，能够在一定程度上克服基于灰度的匹配方法的不足。其中，SIFT(Scale Invariant Feature Transform)算法的应用最广泛。随着SIFT算法的成功，这类方法被广泛应用到遥感影像匹配中。然而已有研究发现，随着影像视角变化增大，这类方法的匹配性能将大幅下降。针对这个问题，研究人员提出了一类仿射不变区域检测方法，并在仿射不变区域内计算特征描述符提高匹配效果。但是，这类区域检测算子在影像上检测到的特征数量较少，并且对影像视角变化的鲁棒性仍然较低。另一类方法通过模拟影像仿射或投影空间，并在模拟空间进行特征点匹配，获得了较好的匹配集合，但这类方法时间效率较低，难以适用于大数据量的影像匹配。

在摄影测量领域，高精度POS数据通常被作为辅助信息，在特征点匹配之前对影像进行粗纠正，整体上降低影像视角变化的影响，再采用传统方法进行特征点匹配。这类方法能够在一定程度上改善影像匹配的效果，但由于全局纠正难以准确描述影像之间的局部几何变形，使得匹配效果的改善比较有限。针对这个问题，将整幅影像分成多个子区域，分别对子区域进行特征点检测和匹配，可以克服全局影像几何纠正的不足，增加匹配点的个数。对于无高精度POS数据的情况，可通过初匹配获取一定数量的匹配点来计算立体像对之间的几何变换模型，进而对影像进行粗纠正。

基于影像粗纠正的方法虽然能够改善影像匹配效果，但仍然存在以下问题：

(1)影像纠正只能在一定程度上缓解平面场景的几何变形，对于位于视差不连续处的特征点(如建筑物角点或边缘附近的特征点)，无论经过影像全局几何纠正还是分区域处理，都难以在同名点之间获得影像内容一致的特征区域，进而产生错误匹配；

(2)通过影像初匹配进行几何粗纠正的方法依赖于初始匹配集合，对于存在大视角变化的城区宽基线影像，现有方法难以获得可靠的初匹配集合，导致最终匹配集合不可靠。

发明内容

为了解决现有技术存在的上述问题，本发明提供一种局部几何结构约束的城区宽基线影像特征点匹配方法，解决现有技术存在的对于位于视差不连续处的特征点产生错误匹配，以及难以获得可靠的初匹配集合导致最终匹配集合不可靠的问题。

本发明所采用的技术方案为：

一种局部几何结构约束的城区宽基线影像特征点匹配方法，包括如下步骤：

S1：提取参考影像和搜索影像的点特征和直线特征，并根据其获取每个特征点的局部几何结构信息；

S2：根据局部几何结构信息，构建特征点支撑区域；

S3：根据特征点支撑区域，获取特征区域，并根据其获取特征描述符；

S4：根据特征描述符，使用改进的最邻近距离比值NNDR方法，进行特征点初匹配，并结合随机抽样一致RANSAC方法，获取初匹配集合和立体像对之间的基础矩阵；

S5：对于步骤S4中未匹配成功且具有至少两个几何结构方向的特征点，根据立体像对之间的基础矩阵估计核线几何关系，构建双重核线约束的结构自适应特征点匹配方法进行二次匹配，获取二次匹配集合；

S6：根据步骤S4和S5获得的初匹配集合和二次匹配集合，对仍未成功匹配的特征点进行特征点匹配扩展，获取扩展匹配集合；

S7：合并初匹配集合、二次匹配集合以及扩展匹配集合，并使用RANSAC方法剔除所有匹配集合的错误匹配，获取最终匹配集合。

作为优选，步骤S1包括如下步骤：

S1-1：以当前特征点为中心，确定局部邻域，并提取与局部邻域相交的非平行的直线特征；

S1-2：以当前特征点为原点，选择与步骤S1-1中提取的邻域直线特征平行的方向向量作为该特征点的几何结构方向；

S1-3：在每个几何结构方向上，选择方向与当前几何结构方向一致且最长的直线特征，将该直线特征的长度作为该几何结构方向的向量长度，得到当前特征点的局部几何结构信息；

S1-4：遍历每个特征点，得到每个特征点的局部几何结构信息。

作为优选，步骤S2中，若当前特征点具有三个及以上几何结构方向，选择其中任意两个满足夹角要求α∈[θ,π-θ]的几何结构方向，其中，θ为夹角阈值，并在对应的几何结构方向上寻找显著点；将对应两个几何结构方向上的显著点和特征点构成的平行四边形区域，作为特征点支撑区域；若在一个几何结构方向上存在多个显著点，则每个显著点分别用于构建特征点支撑区域，得到多个特征点支撑区域；

若当前特征点具有两个几何结构方向，在对应的几何结构方向上寻找显著点，以特征点为中心，在当前几何结构方向的反方向寻找显著点的对称点作为虚拟显著点，并根据显著点、虚拟显著点和特征点构建特征点支撑区域；

若当前特征点具有少于两个几何结构方向，输出无法构建特征点支撑区域。

作为优选，步骤S3包括如下步骤：

S3-1：遍历所有特征点，提取存在多个特征点支撑区域的特征点，将其拆分成不同的特征点并对应分配一个特征点支撑区域；

S3-2：将每个特征点的平行四边形的特征点支撑区域归一化得到正方形的特征区域；

S3-3：将特征区域划分为16个子区域，并在每个子区域内计算8个方向的梯度方向直方图，得到128维特征描述符，并对特征描述符进行归一化处理。

作为优选，步骤S4包括如下步骤：

S4-1：计算参考影像上每个特征点的特征描述符与搜索影像上所有特征点的特征描述符的欧氏距离；

S4-2：对当前参考影像特征点，在搜索影像上寻找与其特征描述符的欧氏距离最近的特征点，并记录对应的最近欧氏距离；

S4-3：根据最近欧氏距离，计算初匹配距离阈值；

S4-4：从所有搜索影像特征点中寻找与当前参考影像特征点的特征描述符的距离小于初匹配距离阈值的特征点，若所有满足初匹配距离阈值约束的特征点对应于相同的搜索影像坐标，则将该搜索影像坐标对应的特征点视为当前参考影像特征点的匹配点；

S4-5：遍历所有参考影像特征点，重复步骤S4-2到S4-4，得到初匹配集合；

S4-6：使用RANSAC方法，剔除初匹配集合中的外点，得到更新后的初匹配集合和立体像对之间的基础矩阵。

作为优选，步骤S4-3中，初匹配距离阈值的计算公式为：

T_d＝d_min/T_ratio

式中，T_d为初匹配距离阈值；d_min为最近欧氏距离；T_ratio为传统的NNDR方法中的比值阈值。

作为优选，步骤S5包括如下步骤：

S5-1：根据初匹配集合，选择参考影像上未匹配且具有两个及以上几何结构方向的特征点，构建新的参考影像特征点集合；

S5-2：对参考影像上当前特征点，提取其几何结构方向的终点，根据特征点及其任意两个满足夹角约束α∈[θ,π-θ]的几何结构方向的终点，其中，θ为夹角阈值，构建特征点平行四边形支撑区域；

S5-3：根据基础矩阵，计算参考影像上当前特征点和步骤S5-2中所述的用于构建当前特征点平行四边形支撑区域的两个几何结构方向终点在搜索影像上对应的核线；

S5-4：提取搜索影像上到参考影像上当前特征点对应的核线的距离小于核线距离阈值且具有两个及以上几何结构方向的特征点，得到候选匹配点集合；

S5-5：根据候选匹配点的几何结构方向与参考影像上当前特征点的几何结构方向终点对应的核线之间的关系，构建候选匹配点的特征点支撑区域；

S5-6：根据参考影像上当前特征点及其候选匹配点的特征点支撑区域，获取特征区域和特征描述符，并根据NNDR方法从候选匹配点集合中找到最终的匹配点；

S5-7：遍历新的参考影像特征点集合中的所有特征点，并重复步骤S5-2到S5-6，得到二次匹配集合。

作为优选，步骤S5-5中，候选匹配点的特征点支撑区域构建方法为：

对当前候选匹配点，取其任意两个满足夹角约束的几何结构方向，分别计算几何结构方向与当前参考影像特征点的用于构建特征点支撑区域的两个几何结构方向终点对应的核线的交点，分别在两个交点邻域内计算显著点，并由显著点与当前候选匹配点确定一个平行四边形区域，作为候选匹配点的特征点支撑区域。

对每个交点邻域内任意像素，像素显著性的计算公式为：

式中，S(g_k)为像素显著性；

和

分别为以点g_k为中心，且沿对应的几何结构方向左右即l和r两侧N个像素的集合；I_average()表示像素集合的灰度值均值；

每个交点邻域中显著性值最大的像素即为显著点。

作为优选，步骤S6包括如下步骤：

S6-1：遍历参考影像上所有未匹配的特征点，根据未匹配的特征点是否位于已获得的特征点匹配集合中已匹配的特征点的特征点支撑区域内，将参考影像上所有未匹配的特征点分为两类，即第一类特征点和第二类特征点，得到第一类特征点集合和第二类特征点集合；

第一类特征点为位于已获得的特征点匹配集合中已匹配的特征点的特征点支撑区域内的特征点；

第二类特征点为不位于已获得的特征点匹配集合中任何已匹配的特征点的特征点支撑区域内的特征点；

S6-2：对第一类特征点集合中的每个特征点，使用几何约束为其寻找候选匹配点，并根据特征描述符相似性从候选匹配点中寻找匹配点，得到第一类特征点的特征点匹配集合；

S6-3：根据所有已获得的匹配集合中的匹配点，估计立体像对之间的单应性变换矩阵；

S6-4：对第二类特征点集合中的每个特征点，基于单应性变换矩阵进行特征匹配，得到第二类特征点的特征点匹配集合；

S6-5：将第一类特征点的特征点匹配集合以及第二类特征点的特征点匹配集合合并，得到扩展匹配集合。

本发明的有益效果为：

(1)本发明挖掘城区影像点特征与直线特征的几何关系，定义了特征点几何结构方向信息，特征点几何结构方向信息能够在影像视角变化情况下有效描述特征点局部邻域各向异性的结构特征，对影像几何变形比传统方法具有更强的适应性，为后续构建不变特征描述符和实现可靠匹配奠定了基础；

(2)本发明在特征点几何结构方向信息基础上，构建了结构自适应的特征区域和特征描述符，无论特征点位于平面区域或是视差不连续区域，都能够在同名特征之间获得影像内容一致的特征区域，生成的同名特征描述符具有较强的相似性；

(3)本发明针对特征点几何结构方向信息不同，分别设计了不同的匹配策略，有助于获得更多的正确匹配点；

(4)本发明能够较好地处理因影像视角变化导致的几何变形问题，对存在大视角变化的城区宽基线影像能够获得较好的匹配结果。

附图说明

图1是局部几何结构约束的城区宽基线影像特征点匹配方法流程图；

图2是步骤S1方法流程图；

图3是步骤S3方法流程图；

图4是步骤S4方法流程图；

图5是步骤S5方法流程图；

图6是步骤S6方法流程图；

图7是初匹配步骤中几何结构方向显著点确定示意图；

图8是初匹配步骤中特征点支撑区域示意图一；

图9是初匹配步骤中特征点支撑区域示意图二；

图10是二次匹配步骤中参考影像特征点支撑区域示意图；

图11是二次匹配步骤中核线约束的搜索影像特征点支撑区域示意图一；

图12是二次匹配步骤中核线约束的搜索影像特征点支撑区域示意图二；

图13是匹配扩展步骤中参考影像第一类未匹配特征点支撑区域示意图；

图14是匹配扩展步骤中搜索影像第一类未匹配特征点支撑区域示意图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

实施例1：

如图1所示，一种局部几何结构约束的城区宽基线影像特征点匹配方法，包括如下步骤：

S1：提取参考影像和搜索影像的点特征和直线特征，并根据其获取每个特征点的局部几何结构信息，如图2所示，包括如下步骤：

S1-1：以当前特征点p_i为中心，确定大小为m×m的局部邻域R_i，并提取与局部邻域R_i相交的非平行的直线特征

其中N_i为非平行直线特征的数量，l_j表示第j条直线特征；

S1-2：以当前特征点p_i为原点，选择与步骤S1-1中提取的邻域直线特征l_j,(j＝1,...,N_i)平行的方向向量作为该特征点的几何结构方向；

S1-3：在每个几何结构方向上，选择方向与当前几何结构方向一致且最长的直线特征，将该直线特征的长度作为该几何结构方向的向量长度，得到当前特征点的局部几何结构信息；

S1-4：遍历每个特征点，得到每个特征点的局部几何结构信息；

S2：根据局部几何结构信息，构建特征点支撑区域；

若当前特征点具有三个及以上几何结构方向，选择其中任意两个满足夹角要求α∈[θ,π-θ]的几何结构方向，其中，θ为夹角阈值，并在对应的几何结构方向上寻找显著点；在每个几何结构方向上寻找显著点的方法如图7所示，p_i为特征点，

表示对应于特征点邻域内直线特征l_j几何结构方向，为

确定一个向量支撑区域，其中参数s用于控制向量支撑区域的尺寸，如果向量支撑区域内存在直线特征且与该几何结构方向的交点也位于向量支撑区域内，则认为该交点是该几何结构方向上的一个显著点，如图7中所示的空心圆点；

将对应两个几何结构方向上的显著点和特征点构成的平行四边形区域，作为特征点支撑区域，如图8所示；若在一个几何结构方向上存在多个显著点，则每个显著点分别用于构建特征点支撑区域，得到多个特征点支撑区域；

若当前特征点具有两个几何结构方向，在对应的几何结构方向上寻找显著点，以中心特征点为中心，在当前几何结构方向的反方向寻找显著点的对称点作为虚拟显著点，并根据显著点、虚拟显著点和特征点构建特征点支撑区域，如图9所示；

若当前特征点具有少于两个几何结构方向，输出无法构建特征点支撑区域；

S3：根据特征点支撑区域，获取特征区域，并根据其获取特征描述符，如图3所示，包括如下步骤：

S3-1：遍历所有特征点，提取存在多个特征点支撑区域的特征点，将其拆分成不同的特征点并对应分配一个特征点支撑区域；

S3-2：将每个特征点的平行四边形的特征点支撑区域归一化得到正方形的特征区域；

在特征点支撑区域归一化时，为所有特征点设置相同的特征区域尺寸T_r×T_r，并分别将特征点支撑区域中的特征点及其对角线顶点映射到正方形特征区域的左下角和右上角顶点，由特征点支撑区域与特征区域四个顶点的对应关系计算单应性矩阵进行特征区域归一化；

S3-3：将特征区域划分为16个子区域，并在每个子区域内计算8个方向的梯度方向直方图，得到128维特征描述符，并对特征描述符进行归一化处理；

S4：根据特征描述符，使用改进的最邻近距离比值NNDR方法，进行特征点初匹配，并结合随机抽样一致RANSAC方法，获取初匹配集合和立体像对之间的基础矩阵，如图4所示，包括如下步骤：

S4-1：计算参考影像上每个特征点的特征描述符与搜索影像上所有特征点的特征描述符的欧氏距离；

S4-2：对当前参考影像特征点，在搜索影像上寻找与其特征描述符的欧氏距离最近的特征点，并记录对应的最近欧氏距离d_min；

S4-3：根据最近欧氏距离，计算初匹配距离阈值；

初匹配距离阈值的计算公式为：

T_d＝d_min/T_ratio

式中，T_d为初匹配距离阈值；d_min为最近欧氏距离；T_ratio为传统的NNDR方法中的比值阈值；

S4-4：从所有搜索影像特征点中寻找特征描述符满足初匹配距离阈值的特征点，若所有满足初匹配距离阈值的特征点对应于相同的搜索影像坐标，则将该搜索影像坐标对应的特征点视为当前参考影像特征点的匹配点；

S4-5：遍历所有参考影像特征点，重复步骤S4-2到S4-4，得到初匹配集合；

S4-6：使用RANSAC方法，剔除初匹配集合中的外点，得到更新后的初匹配集合MSet₁和立体像对之间的基础矩阵F；

S5：对于步骤S4中未匹配成功且具有至少两个几何结构方向的特征点，根据立体像对之间的基础矩阵估计核线几何关系，构建双重核线约束的结构自适应特征点匹配方法进行二次匹配，获取二次匹配集合MSet₂，如图5所示，包括如下步骤：

S5-1：根据初匹配集合，选择参考影像上未匹配且具有两个及以上几何结构方向的特征点，构建新的参考影像特征点集合；

S5-2：对参考影像上当前特征点，提取其几何结构方向的终点，根据特征点p_i及其任意两个满足夹角约束α∈[θ,π-θ]的几何结构方向的终点s₁和s₂，其中，θ为夹角阈值，构建特征点平行四边形支撑区域，如图10所示；

S5-3：根据基础矩阵F，计算参考影像上当前特征点p_i和及其几何结构方向终点在搜索影像上对应的核线；

计算公式为：

式中，

分别为特征点p_i、终点s₁和s₂对应的核线；F为基础矩阵；

S5-4：提取搜索影像上到参考影像上当前特征点p_i对应的核线e_pi的距离小于核线距离阈值T_e且具有两个及以上几何结构方向的特征点，得到候选匹配点集合

S5-5：根据候选匹配点的几何结构方向与参考影像上当前特征点p_i的几何结构方向终点对应的核线之间的关系，构建候选匹配点的特征点支撑区域；

候选匹配点的特征点支撑区域构建方法为：

对候选匹配点

取其任意两个夹角β∈[θ,π-θ]的几何结构方向，其中，θ为夹角阈值，分别计算几何结构方向与核线

的交点Q_s1和Q_s2，由点q_j、Q_s1和Q_s2为q_j确定一个平行四边形支撑区域，由于在匹配之前特征点p_i和q_j的几何结构方向对应关系未知，本发明方法在计算交点Q_s1和Q_s2时分别考虑如图11和图12所示的两种情况，构建两个相应的支撑区域，避免由错误的几何结构方向对应关系造成同名特征点支撑区域不一致的问题，此外，鉴于核线估计存在误差导致计算的交点不可靠，本发明方法在交点Q_s1和Q_s2的邻域内(邻域大小为2T_e)计算显著点来代替Q_s1和Q_s2作为支撑区域顶点；

对交点邻域内任意像素，像素显著性的计算公式为：

式中，S(g_k)为像素显著性；

和

分别为以点g_k为中心，且沿对应的几何结构方向左右即l和r两侧N个像素的集合；I_average()表示像素集合的灰度值均值；

交点邻域中显著性值最大的像素即为显著点；

S5-6：根据参考影像上当前特征点及其候选匹配点的特征点支撑区域，获取特征区域和特征描述符，并根据NNDR方法从候选匹配点集合中找到最终的匹配点；

S5-7：遍历新的参考影像特征点集合中的所有特征点，并重复步骤S5-2到S5-6，得到二次匹配集合；

S6：根据步骤S4和S5获得的初匹配集合和二次匹配集合，对仍未成功匹配的特征点进行特征点匹配扩展，得到扩展匹配集合MSet₃，如图6所示，包括如下步骤：

S6-1：遍历参考影像上所有未匹配的特征点，根据未匹配的特征点是否位于已获得的特征点匹配集合中已匹配的特征点的特征点支撑区域内，将参考影像上所有未匹配的特征点分为两类：第一类特征点和第二类特征点，得到第一类特征点集合和第二类特征点集合；

第一类特征点为位于已获得的特征点匹配集合中已匹配的特征点的特征点支撑区域内的特征点；

第二类特征点为不位于已获得的特征点匹配集合中任何已匹配的特征点的特征点支撑区域内的特征点；

S6-2：对第一类特征点集合中的每个特征点，使用几何约束为其寻找候选匹配点，并根据特征描述符相似性从候选匹配点中寻找匹配点，得到第一类特征点的特征点匹配集合，包括如下步骤：

A-1：对第一类特征点集合中的特征点，根据基础矩阵计算其在搜索影像上对应的核线，提取搜索影像上到第一类特征点集合中当前特征点对应的核线的距离小于核线距离阈值的未匹配的特征点，得到第一类特征点集合中当前特征点的候选匹配点集合；

A-2：根据第一类特征点集合中当前特征点所位于的已匹配的特征点的特征点支撑区域，进一步约束精简候选匹配点集合：

如图13和图14共同所示，若X为第一类特征点集合中的当前特征点，(p_i,q_i)为一对已匹配的特征点，图中实线构成的平行四边形区域为其特征点支撑区域，若X位于特征点p_i支撑区域内，则其同名特征点Y应位于特征点q_i的支撑区域内的，此外，由于特征点支撑区域是基于直线特征确定的局部区域，可以近似为平面区域，由仿射几何可知，若特征点X与特征点Y为一对同名点，则|XA|/|XB|＝|YE|/|YF|，且|XC|/|XD|＝|YG|/|YH|；

考虑到各类误差的存在，本发明方法将步骤A-1获得的候选匹配点集合中位于特征点q_i的支撑区域内，且同时满足abs[(|XA|/|XB|)/(|YE|/|YF|)-1]<τ以及abs[(|XC|/|XD|)/(|YG|/|YH|)-1]<τ的特征点视为X的候选匹配点，得到更新后的候选匹配点集合；其中τ为仿射不变量阈值；

A-3：确定第一类特征点集合中当前特征点的特征点支撑区域：

如图13所示，根据第一类特征点集合中当前特征点X在特征点p_i的特征点支撑区域中的位置确定X的特征点支撑区域：如果|XA|≤|XB|，则点B被视作一个显著点，否则点A被视作显著点；如果|XC|≤|XD|，则点D被视作第二个显著点，否则点C被视作第二个显著点，由X与两个显著点共同确定特征点X的特征点支撑区域；

A-4：确定第一类特征点集合中当前特征点的每个候选匹配点的特征点支撑区域：

如图13和图14共同所示，基于步骤A-3中确定的显著点，并根据显著点的对应关系(A→E、B→F、C→G和D→H)，确定候选匹配点对应的显著点及特征点支撑区域；

A-5：采用步骤S3所述方法计算第一类特征点集合中当前特征点X及其候选匹配点的特征区域和特征描述符；

A-6：计算第一类特征点集合中当前特征点X与所有候选匹配点的相似性度量值Sim(X,Y)，并寻找最相似的候选匹配点，如果最相似的候选匹配点对应的相似性度量值大于阈值T_sim，则认为该候选匹配点与第一类特征点集合中当前特征点X为一对匹配点；

相似性度量值的计算公式为：

式中，Sim(X,Y)为相似性度量值；Desc_X和Desc_Y分别为特征点X及其候选匹配点Y的特征描述符；

A-7：遍历第一类特征点集合中的所有特征点，重复步骤A-1到A-6，得到第一类特征点的特征点匹配集合；

S6-3：根据所有已获得的匹配集合中的匹配点，估计立体像对之间的单应性变换矩阵；

S6-4：对第二类特征点集合中的每个特征点，基于单应性变换矩阵进行特征匹配，得到第二类特征点的特征点匹配集合，包括如下步骤：

B-1：为参考影像上第二类特征点集合中的每个特征点确定以特征点为中心的正方形特征区域，根据单应性变换矩阵，使用单应变换为搜索影像上所有未匹配特征点确定以特征点为中心的四边形特征区域，并将四边形特征区域归一化为正方形特征区域；

B-2：采用步骤S3所述方法计算参考影像上第二类特征点集合中每个特征点的特征描述符以及搜索影像上所有未匹配特征点的特征描述符；

B-3：在核线约束下使用NNDR方法得到第二类特征点的特征点匹配集合；

S6-5：将第一类特征点的特征点匹配集合与第二类特征点的特征点匹配集合合并，得到扩展匹配集合MSet₃；

S7：合并初匹配集合MSet₁、二次匹配集合MSet₂，以及扩展匹配集合MSet₃，并使用RANSAC方法剔除所有匹配集合中的错误匹配，获取最终匹配集合MSet_out。

本发明提供了一种局部几何结构约束的城区宽基线影像特征点匹配方法，解决了现有技术存在的对于位于视差不连续处的特征点产生错误匹配，以及难以获得可靠的初匹配集合导致最终匹配集合不可靠的问题。

Claims (8)

1.一种局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于：包括如下步骤：

S1：提取参考影像和搜索影像的点特征和直线特征，并根据其获取每个特征点的局部几何结构信息；

S2：根据局部几何结构信息，构建特征点支撑区域；

S3：根据特征点支撑区域，获取特征区域，并根据其获取特征描述符；

S4：根据特征描述符，使用改进的最邻近距离比值NNDR方法，进行特征点初匹配，并结合随机抽样一致RANSAC方法，获取初匹配集合和立体像对之间的基础矩阵；

S5：对于步骤S4中未匹配成功且具有至少两个几何结构方向的特征点，根据立体像对之间的基础矩阵估计核线几何关系，构建双重核线约束的结构自适应特征点匹配方法进行二次匹配，获取二次匹配集合；

S6：根据步骤S4和S5获得的初匹配集合和二次匹配集合，对仍未成功匹配的特征点进行特征点匹配扩展，获取扩展匹配集合；

S7：合并初匹配集合、二次匹配集合以及扩展匹配集合，并使用RANSAC方法剔除所有匹配集合的错误匹配，获取最终匹配集合；

所述步骤S2中，若当前特征点具有三个及以上几何结构方向，选择其中任意两个满足夹角要求α∈[θ,π-θ]的几何结构方向，其中，θ为夹角阈值，并在对应的几何结构方向上寻找显著点；将对应两个几何结构方向上的显著点和特征点构成的平行四边形区域，作为特征点支撑区域；若在一个几何结构方向上存在多个显著点，则每个显著点分别用于构建特征点支撑区域，得到多个特征点支撑区域；若当前特征点具有两个几何结构方向，在对应的几何结构方向上寻找显著点，以特征点为中心，在当前几何结构方向的反方向寻找显著点的对称点作为虚拟显著点，并根据显著点、虚拟显著点和特征点构建特征点支撑区域；若当前特征点具有少于两个几何结构方向，输出无法构建特征点支撑区域。

2.根据权利要求1所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S1包括如下步骤：

S1-1：以当前特征点为中心，确定局部邻域，并提取与局部邻域相交的非平行的直线特征；

S1-2：以当前特征点为原点，选择与步骤S1-1中提取的邻域直线特征平行的方向向量作为该特征点的几何结构方向；

S1-3：在每个几何结构方向上，选择方向与当前几何结构方向一致且最长的直线特征，将该直线特征的长度作为该几何结构方向的向量长度，得到当前特征点的局部几何结构信息；

S1-4：遍历每个特征点，得到每个特征点的局部几何结构信息。

3.根据权利要求2所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S3包括如下步骤：

S3-1：遍历所有特征点，提取存在多个特征点支撑区域的特征点，将其拆分成不同的特征点并对应分配一个特征点支撑区域；

S3-2：将每个特征点的平行四边形的特征点支撑区域归一化得到正方形的特征区域；

S3-3：将特征区域划分为16个子区域，并在每个子区域内计算8个方向的梯度方向直方图，得到128维特征描述符，并对特征描述符进行归一化处理。

4.根据权利要求3所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S4包括如下步骤：

S4-1：计算参考影像上每个特征点的特征描述符与搜索影像上所有特征点的特征描述符的欧氏距离；

S4-2：对当前参考影像特征点，在搜索影像上寻找与其特征描述符的欧氏距离最近的特征点，并记录对应的最近欧氏距离；

S4-3：根据最近欧氏距离，计算初匹配距离阈值；

S4-4：从所有搜索影像特征点中寻找与当前参考影像特征点的特征描述符的距离小于初匹配距离阈值的特征点，若所有满足初匹配距离阈值约束的特征点对应于相同的搜索影像坐标，则将该搜索影像坐标对应的特征点视为当前参考影像特征点的匹配点；

S4-5：遍历所有参考影像特征点，重复步骤S4-2到S4-4，得到初匹配集合；

S4-6：使用RANSAC方法，剔除初匹配集合中的外点，得到更新后的初匹配集合和立体像对之间的基础矩阵。

5.根据权利要求4所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S4-3中，初匹配距离阈值的计算公式为：

T_d＝d_minT_ratio

式中，T_d为初匹配距离阈值；d_min为最近欧氏距离；T_ratio为传统的NNDR方法中的比值阈值。

6.根据权利要求5所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S5包括如下步骤：

S5-1：根据初匹配集合，选择参考影像上未匹配且具有两个及以上几何结构方向的特征点，构建新的参考影像特征点集合；

S5-2：对参考影像上当前特征点，提取其几何结构方向的终点，根据特征点及其任意两个满足夹角约束α∈[θ,π-θ]的几何结构方向的终点，其中，θ为夹角阈值，构建特征点平行四边形支撑区域；

S5-3：根据基础矩阵，计算参考影像上当前特征点和步骤S5-2中所述的用于构建当前特征点平行四边形支撑区域的两个几何结构方向终点在搜索影像上对应的核线；

S5-4：提取搜索影像上到参考影像上当前特征点对应的核线的距离小于核线距离阈值且具有两个及以上几何结构方向的特征点，得到候选匹配点集合；

S5-5：根据候选匹配点的几何结构方向与参考影像上当前特征点的几何结构方向终点对应的核线之间的关系，构建候选匹配点的特征点支撑区域；

S5-6：根据参考影像上当前特征点及其候选匹配点的特征点支撑区域，获取特征区域和特征描述符，并根据NNDR方法从候选匹配点集合中找到最终的匹配点；

S5-7：遍历新的参考影像特征点集合中的所有特征点，并重复步骤S5-2到S5-6，得到二次匹配集合。

7.根据权利要求6所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S5-5中，候选匹配点的特征点支撑区域构建方法为：

对当前候选匹配点，取其任意两个满足夹角约束的几何结构方向，分别计算几何结构方向与当前参考影像特征点的用于构建特征点支撑区域的两个几何结构方向终点对应的核线的交点，分别在两个交点邻域内计算显著点，并由显著点与当前候选匹配点确定一个平行四边形区域，作为候选匹配点的特征点支撑区域；

对每个交点邻域内任意像素，像素显著性的计算公式为：

式中，S(g_k)为像素显著性；

和

分别为以点g_k为中心，且沿对应的几何结构方向左右即l和r两侧N个像素的集合；I_average()表示像素集合的灰度值均值；

每个交点邻域中显著性值最大的像素即为显著点。

8.根据权利要求7所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S6包括如下步骤：

S6-1：遍历参考影像上所有未匹配的特征点，根据未匹配的特征点是否位于已获得的特征点匹配集合中已匹配的特征点的特征点支撑区域内，将参考影像上所有未匹配的特征点分为两类，即第一类特征点和第二类特征点，得到第一类特征点集合和第二类特征点集合；

所述第一类特征点为位于已获得的特征点匹配集合中已匹配的特征点的特征点支撑区域内的特征点；

所述第二类特征点为不位于已获得的特征点匹配集合中任何已匹配的特征点的特征点支撑区域内的特征点；

S6-2：对第一类特征点集合中的每个特征点，使用几何约束为其寻找候选匹配点，并根据特征描述符相似性从候选匹配点中寻找匹配点，得到第一类特征点的特征点匹配集合；

S6-3：根据所有已获得的匹配集合中的匹配点，估计立体像对之间的单应性变换矩阵；

S6-4：对第二类特征点集合中的每个特征点，基于单应性变换矩阵进行特征匹配，得到第二类特征点的特征点匹配集合；

S6-5：将第一类特征点的特征点匹配集合以及第二类特征点的特征点匹配集合合并，得到扩展匹配集合。

Images