CN107464257A - 宽基线匹配方法及装置 - Google Patents

Abstract

本发明适用于计算机视觉与图像处理技术领域，提供了一种宽基线匹配方法及装置，所述方法包括：对输入图像进行线段检测，获得所述输入图像的直线集合；对所述直线集合进行平行直线聚类，获得所述输入图像的平行直线分组；从不同的平行直线分组中任意选取两条直线；根据选取的直线获得所述输入图像的非平行直线交点；确定各个所述非平行直线交点的特征尺度；根据各个所述特征尺度确定特征点主方向；根据所述特征点主方向和预设匹配方法进行宽基线匹配。本发明对于图像噪声和光照变化具有较强的鲁棒性，并对图像旋转、一定的视点及尺度变化具有不变性，为复杂光照条件下，结构化场景的匹配提供了一种可行方法。

Description

宽基线匹配方法及装置

技术领域

本发明属于计算机视觉与图像处理技术领域，尤其涉及一种宽基线匹配方 法及装置。

背景技术

图像匹配指寻找同一空间点在不同视点处图像上的对应点，是图像处理、 计算机视觉等领域的基础技术之一，在图像拼接与融合、立体视觉、图像识别、 目标跟踪等方面具有广泛的应用。根据匹配点的稠密程度，可将图像匹配分为 稀疏匹配方法和稠密匹配方法。稠密匹配逐点进行匹配，所获得的匹配点对是 稠密的，稠密匹配适合于窄基线匹配，即待匹配图像之间的视点、旋转和尺度 变化较小。待匹配图像一般经过极线校正，即候选匹配点对位于同一水平线上。 而稀疏匹配方法所获得的匹配点对是稀疏的，一般首先从图像中提取特征，然 后以特征点、直线等为基元进行匹配。稀疏匹配方法对图像遮挡、畸变等视差 不连续性问题具有较强的鲁棒性，获得了广泛的应用，适合于宽基线匹配。宽 基线匹配指待匹配图像之间存在较大的旋转和尺度变化以及视点变化，因此宽 基线匹配比窄基线匹配更困难，但宽基线匹配方法应用更为广泛，如场景识别、 智能监控、图像检索等，因而宽基线匹配获得了广泛的关注。

当前宽基线匹配方法大多基于局部特征，结构化场景，如建筑、家具、车 辆等，图像纹理较为单一，无法提取足够的特征进行匹配，基于局部特征的匹 配方法对结构化场景图像的匹配效果较差。结构化场景中通常包括丰富的直线， 并且复杂形状物体的边界可以用多组直线段来近似。为了解决结构化场景图像 的匹配问题，提出了多种基于直线特征的匹配方法。但是现有结构化场景图像 的宽基线匹配以直线整体作为匹配基元，受线段端点检测误差和图像透视畸变 的影响较大，无法直接估计极线几何，并且匹配数目通常较少，极线几何估计 精度较低。

发明内容

有鉴于此，本发明实施例提供了一种宽基线匹配方法及装置，以解决现有 结构化场景图像的宽基线匹配问题。

本发明实施例的第一方面，提供了一种宽基线匹配方法，包括：

对输入图像进行线段检测，获得所述输入图像的直线集合；

对所述直线集合进行平行直线聚类，获得所述输入图像的平行直线分组；

从不同的平行直线分组中任意选取两条直线；

根据选取的直线获得所述输入图像的非平行直线交点；

确定各个所述非平行直线交点的特征尺度；

根据各个所述特征尺度确定特征点主方向；

根据所述特征点主方向和预设匹配方法进行宽基线匹配。

本发明实施例的第二方面，提供了一种宽基线匹配装置，包括：

线段检测模块，用于对输入图像进行线段检测，获得所述输入图像的直线 集合；

直线聚类模块，用于对所述直线集合进行平行直线聚类，获得所述输入图 像的平行直线分组；

直线选取模块，用于从不同的平行直线分组中任意选取两条直线；

直线交点获得模块，用于根据选取的直线获得所述输入图像的非平行直线 交点；

特征尺度确定模块，用于确定各个所述非平行直线交点的特征尺度；

特征点主方向确定模块，用于根据各个所述特征尺度确定特征点主方向；

宽基线匹配模块，用于根据所述特征点主方向和预设匹配方法进行宽基线 匹配。

与现有技术相比，本发明实施例的有益效果为：本发明宽基线匹配方法及 装置，采用直线交点特征为匹配基元，结合了直线特征的鲁棒性和点特征的独 特性，更适合于结构化场景图像的匹配。由于结构化场景图像通常包括大量的 直线和局部近似直线，因此可获得大量可靠的特征点，与一般点特征相比，本 发明实施例具有更强的稳定性。与基于直线特征的匹配方法相比，本发明实施 例可直接得到的匹配点对，特征点的数量众多，对极几何估计精度更高。而且 本发明实施例确定了各个非平行直线交点的特征尺度，可实现匹配时的尺度不 变性。本发明实施例确定了特征点主方向，可实现匹配时的旋转不变性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的宽基线匹配方法流程图；

图2是本发明一个实施例中提供的线段邻近性约束示意图一；

图3是本发明一个实施例中提供的线段邻近性约束示意图二；

图4是本发明一个实施例中提供的交点与直线近端端点的距离示意图；

图5是本发明一个实施例中提供的直线被拟合为多条不同直线的示意图；

图6是本发明一个实施例中提供的多重邻近交点产生示意图；

图7是本发明实施例二提供的基于图1所示方法一个具体示例中宽基线匹 配方法流程图；

图8是本发明实施例三提供的宽基线匹配装置的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术 之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当 清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中， 省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节 妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

图1示出了本发明实施例一提供的宽基线匹配方法的实现流程。如图所示 该方法可以包括以下步骤：

步骤S101，对输入图像进行线段检测，获得所述输入图像的直线集合。

这里，可以根据实际需要选择线段检测方法对输入图像进行线段检测，例 如采用LSD(Line Segment Detector，线段检测器)直线检测算法对输入图像进 行直线检测，得到输入图像的单像素宽度直线集合。

步骤S102，对所述直线集合进行平行直线聚类，获得所述输入图像的平行 直线分组。

具体地，利用平行线段相交于消失点的特性，将上述直线集合进行分类， 得到输入图像的平行直线分组。可以采用Tardif提出的基于多实例模型稳健估 计的消失点检测与线段分类算法，将输入直线集合分类。

步骤S103，从不同的平行直线分组中任意选取两条直线。

这里，由于同组平行直线分组中直线相互平行，从不同平行直线分组中选 取直线相当于选取的是不平行直线，可以抑制平行直线交点。

步骤S104，根据选取的直线获得所述输入图像的非平行直线交点。

具体地，假设得到的线段l₁和l₂的向量表示形式分别为(a1,b1,c1)和 (a2,b2,c2)，这两个矢量的叉积为：其中cross表示矢 量的叉积，P_insect为1×3向量，由此可得到这两条直线的交点坐标(x,y)： 其中P_insect(1)，P_insect(2)，P_insect(3)分别表示 向量P_insect的三个元素。

步骤S105，确定各个所述非平行直线交点的特征尺度。

这里，尺度因子决定了特征邻域的大小，如SURF(Speeded Up Robust Features，加速稳健特征)算法构建主方向时邻域为半径为6s的圆，描述符在 20s×20s的正方形邻域内计算。

步骤S106，根据各个所述特征尺度确定特征点主方向。

具体地，在获得特征尺度之后，可以采用SURF算法构建主方向的方法确 定特征点主方向。特征点主方向也可称为特征点局部邻域的归一化方向。

步骤S107，根据所述特征点主方向和预设匹配方法进行宽基线匹配。

这里，完成特征点的提取和描述后，可以构造8扇区SURF描述符，采用 基于RANSAC(Random Sample Consensus，随机抽样一致)和对极几何的匹配 策略，即可实现特征匹配。

从以上描述可知，本发明实施例宽基线匹配方法，采用直线交点特征为匹 配基元，结合了直线特征的鲁棒性和点特征的独特性，更适合于结构化场景图 像的匹配。由于结构化场景图像通常包括大量的直线和局部近似直线，因此可 获得大量可靠的特征点，与一般点特征相比，具有更强的稳定性。与基于直线 特征的匹配方法相比，可直接得到的匹配点对，特征点的数量众多，对极几何 估计精度更高。而且本发明实施例确定了各个非平行直线交点的特征尺度，可 实现匹配时的尺度不变性。本发明实施例确定了特征点主方向，可实现匹配时 的旋转不变性。

此外，在一个具体示例中，所述宽基线匹配方法还包括：

判断目标非平行直线交点是否为异面直线交点，所述目标非平行直线交点 为各个所述非平行直线交点中的任意一个交点。

确定各个所述非平行直线交点的特征尺度包括：

当判定所述目标非平行直线交点不是异面直线交点时，确定所述目标非平 行直线交点的特征尺度。

当没有可用三维空间信息时，很难从单张图像进行精确的线段共面判断， 仅能够在先验假设的基础上，利用线段之间的几何和拓扑关系进行共面性猜想 或者估计。虽然通过平行直线聚类，避免了平行线段相交的情况，但当相交直 线夹角较小时，相交直线接近平行，交点位置不稳定，容易受到噪声的影响。 为此，判断目标非平行直线交点是否为异面直线交点， 当判定不是异面直线交 点时，计算目标非平行直线交点的特征尺度。

此外，在一个具体示例中，所述判断目标非平行直线交点是否为异面直线 交点包括：

当||p_r ²-p_t ²||₂＞s₁×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)且 ||p_r ²-p_t ²||₂＜s₂×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)时判定所述目标非平行直线交点不是异面 直线交点，其中||p_r ¹-p_t ¹||₂＜||p_r ²-p_t ²||₂，|| ||₂表示计算距离，p_r ¹表示第一直线的第 一端点，p_r ²表示所述第一直线的第二端点，p_t ¹表示第二直线的第一端点，p_t ²表 示所述第二直线的第二端点，所述第一直线和所述第二直线的非平行直线交点 为所述目标非平行直线交点，表示第一预设距离阈值，表示第二预设角度 阈值，s₁表示预设缩放因子下限，s₂表示预设缩放因子上限。

具体地，定义：给定非平行直线l_r和l_t，其端点分别为p_r ¹、p_r ²和p_t ¹、p_t ²， 交点为p^s，并假设p_r ¹和p_t ¹为距离较近端点，p_r ²和p_t ²为距离较远端点，当以下 条件得到满足时，判断两直线的交点p^s不是异面直线交点。即：

||p_r ²-p_t ²||₂＞s₁×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)且 ||p_r ²-p_t ²||₂＜s₂×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)，以图2和图3为例，对以上四个条件进行 说明。其中保证了相交直线端点的邻近性，当端点p_r ¹和p_t ¹二者距 离小于给定阈值时，满足邻近约束，否则不满足，该条件也保证了交点与端 点的邻近性。因此参数的选择至关重要，其直接决定了相交直线是否共面。 将的选择与相交直线的长度相关联，如下式所示。当相交直线长度较长时， 直线受噪声和误差影响较小，故适当放大该阈值；反之，当相交直线较短时， 适当缩小该阈值。其中k为常数项，可在区间[0.1,0.5] 之间选择。减小k的取值，候选特征数目将降低，但特征的鲁棒性增加；增加k 的取值，候选特征的数目将增加，但候选特征鲁棒性将降低。实际使用时，可 根据图像背景和受噪声影响情况选择。

对相交直线夹角施θ加了约束，如图2所示，当较小时，夹 角θ变小，相交直线接近平行，故通过控制相交直线近平行情况。当较大 时，二者的夹角变大，但是阈值不能过大，否则就可能出现图3所示情况。为 避免出现夹角过小接近0，或者过大接近π的情况，进一步施加了条件 ||p_r ²-p_t ²||₂＞s₁×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)和条件||p_r ²-p_t ²||₂＜s₂×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)。 三角形一边长度小于其余两边之和，假设||p_r ²-p_t ²||₂＝s′×(||p^rt-p_r ²||₂+||p^rt-p_t ²||₂)， s′为缩放因子，s′越大，角度θ越接近于π，为了避免出现夹角过小接近0，或 者过大接近π的情况，这里对缩放倍率进行了限制，取其下限为s₁，上限为s₂。 由上述分析可知，参数s₁和s₂主要是为了限制相交直线夹角，保证交点特 征的鲁棒性。

此外，在一个具体示例中，确定各个所述非平行直线交点的特征尺度包括：

根据表达式r₁＝min{||p_r ¹-p^s||₂,||p_t ¹-p^s||₂}确定最小半径r₁，其中 ||p_r ¹-p_t ¹||₂<||p_r ²-p_t ²||₂，min{}表示计算最小值，|| ||₂表示计算距离，p_r ¹表示第一 直线的第一端点，p_r ²表示所述第一直线的第二端点，p_t ¹表示第二直线的第一端 点，p_t ²表示所述第二直线的第二端点，所述第一直线和所述第二直线的非平行 直线交点为p^s，p^s为各个所述非平行直线交点中的任意一个交点；

根据表达式确定特征尺度s，其中r′表示预设半径阈值，s′表 示预设最小特征尺度，q表示预设特征比值。

这里，尺度因子s决定了特征邻域的大小，如SURF算法构建主方向时邻 域为半径为6s的圆，描述符在20s×20s的正方形邻域内计算。传统的尺度不变特 征检测算法通过搜索尺度空间中的极大值点作为特征点，其所对应的尺度即为 特征的尺度。该方法需要构建尺度空间金字塔，计算量较大，适合于纹理丰富 图像，而人工环境中的结构化场景，图像灰度单一，欠缺纹理信息。为此，需 要采用一种新的尺度计算方法。

如图4所示，以直线交点p^s为中心，以交点分别到与直线最邻近端点的距 离p^sp_r ¹和p^sp_t ¹为半径做圆C1、C2。显然，圆所覆盖区域反映了特征点局部邻 域的特性，由于直线交点往往出现在边缘等视差不连续处，因此这里选择较小 圆C1的半径r₁来估计特征点的尺度。

这里可以采用改进8扇区SURF描述符对LIFS特征进行描述，其特征邻域 为圆形，半径为10s，将半径r₁与特征邻域的实际大小相关联，定义其实际尺度 为s＝r₁/10。考虑到交点与端点重合的情况，按照下式定义交点的尺度s： 其中半径r₁可以按照下式计算：r₁＝min{||p_r ¹-p^s||₂,||p_t ¹-p^s||₂}。

上式所示分段函数的主要目的是限制特征点的最小尺度，参考SURF以及 SIFT算法最小特征尺度的设置，这里将最小特征尺度设置为1.6。以上分析基 于匹配特征点之间具有相同的边缘结构信息，即某特征点所对应的相交直线与 对应点所对应的相交直线具有相似性，并在图像尺度变化时保持不变。

此外，在一个具体示例中，上述宽基线匹配方法还包括：

根据各个所述特征尺度对各个所述非平行直线交点进行局部非极大值抑 制。

由于数字图像的离散本质，图5所示，一条直线经常被拟合为多条不同的 直线，导致检测到多重彼此相互重叠或邻近的交点，降低了交点的独特性，图 6为多重邻近交点产生示意图。由于存在直线检测误差，相交直线l_r和l_t中的任 意一条均有可能被量化为或者错误判定为两条甚至多条线段，从而产生多个直 线交点。因此需要对各个非平行直线交点进行局部非极大值抑制。

此外，在一个具体示例中，对各个所述非平行直线交点进行局部非极大值 抑制包括：

分别构造各个所述特征尺度对应的交点响应函数；

当目标交点响应函数存在多个非平行直线交点时，保留所述目标交点响应 函数的最小特征尺度对应的非平行直线交点，所述目标交点响应函数为各个所 述交点响应函数中的任意一个函数。

由于直线交点没有定义响应函数，因此为了进行局部非极大值抑制，应首 先定义交点响应函数，作为极大值判别的度量。由图6可知，当存在多重交点 的情况下，相交直线最邻近端点较远时，交点定位不精确，容易受到边缘检测 误差的影响。因此采用直线交点特征的尺度构造交点响应函数，当存在彼此重 叠或邻近的交点时，保留具有最小特征尺度的直线交点，可通过下式得到最小 尺度因子s_i及其对应的序号i，其中s_j表示多重邻近直线交点对应的尺度因子， m表示多重邻近交点的数目，[s_i,i]＝min(s_j,j＝1,2,...m)。

实施例二

为了更好地理解上述方法，以下详细阐述一个本发明宽基线匹配方法的应 用实例。

如图7所示，本应用实例可以包括：

步骤S701，采用LSD算法对输入图像进行线段检测，得到以端点表示的 单像素宽度直线集合Ls＝{p₁(x₁ ⁱ,y₁ ⁱ),p₂(x₂ ⁱ,y₂ ⁱ),i＝1,2,...,m}。LSD是一种局部线段 检测算法，运算速度快、精度高。

步骤S702，利用平行线段相交于消失点的特性，将线段集合Ls分类，得到 线段分组Ls＝{Ls^j，j＝1,2,...,N}，其中Ls^j表示线段集合的第j个子集 Ls^j＝{p_j1(x_j1 ⁱ,y_j1 ⁱ),p_j2(x_j2 ⁱ,y_j2 ⁱ),i＝1,2,...,m}。采用Tardif提出的基于多实例模型稳 健估计的消失点检测与线段分类算法，将输入线段分类。

步骤S703，直线相交隐含的假定相交直线非平行，因此计算交点时，应进 行平行性判断。通过从不同子类Ls^j中选取直线，抑制平行直线交点。从集合Ls 中任取两条直线l_r和l_t，要求直线l_r和l_t分属于不同的子集，即l_r∈Ls^r，l_t∈Ls^t， 且r≠t，避免相交直线为平行线段情况。

步骤S704，根据选取的直线计算上述输入图像的非平行直线交点。

步骤S705，判断目标非平行直线交点是否为异面直线交点，所述目标非平 行直线交点为各个所述非平行直线交点中的任意一个交点。

这里，当没有可用三维空间信息时，很难从单张图像进行精确的线段共面 判断，仅能够在先验假设的基础上，利用线段之间的几何和拓扑关系进行共面 性猜想或者估计。虽然通过平行直线聚类，避免了平行线段相交的情况，但当 相交直线夹角较小时，相交直线接近平行，交点位置不稳定，容易受到噪声的 影响。为此，判断目标非平行直线交点是否为异面直线交点，当判定不是异面 直线交点时，计算目标非平行直线交点的特征尺度。

具体地，定义：给定非平行直线l_r和l_t，其端点分别为p_r ¹、p_r ²和p_t ¹、p_t ²， 交点为p^s，并假设p_r ¹和p_t ¹为距离较近端点，p_r ²和p_t ²为距离较远端点，当以下 条件得到满足时，判断两直线的交点p^s不是异面直线交点。即：

||p_r ²-p_t ²||₂＞s₁×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)且 ||p_r ²-p_t ²||₂＜s₂×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)，以图2和图3为例，对以上四个条件进行 说明。其中保证了相交直线端点的邻近性，当端点p_r ¹和p_t ¹二者距 离小于给定阈值时，满足邻近约束，否则不满足，该条件也保证了交点与端 点的邻近性。因此参数的选择至关重要，其直接决定了相交直线是否共面。 将的选择与相交直线的长度相关联，如下式所示。当相交直线长度较长时， 直线受噪声和误差影响较小，故适当放大该阈值；反之，当相交直线较短时， 适当缩小该阈值。其中k为常数项，可在区间[0.1,0.5] 之间选择。减小k的取值，候选特征数目将降低，但特征的鲁棒性增加；增加k 的取值，候选特征的数目将增加，但候选特征鲁棒性将降低。实际使用时，可 根据图像背景和受噪声影响情况选择，后续实验中，k取0.3。

对相交直线夹角施θ加了约束，如图2所示，当较小时，夹 角θ变小，相交直线接近平行，故通过控制相交直线近平行情况。当较大 时，二者的夹角变大，但是阈值不能过大，否则就可能出现图3所示情况。为 避免出现夹角过小接近0，或者过大接近π的情况，进一步施加了条件 ||p_r ²-p_t ²||₂＞s₁×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)和条件||p_r ²-p_t ²||₂＜s₂×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)。 三角形一边长度小于其余两边之和，假设||p_r ²-p_t ²||₂＝s′×(||p^rt-p_r ²||₂+||p^rt-p_t ²||₂)， s′为缩放因子，s′越大，角度θ越接近于π，为了避免出现夹角过小接近0，或 者过大接近π的情况，这里对缩放倍率进行了限制，取其下限为s₁，上限为s₂。 由上述分析可知，参数s₁和s₂主要是为了限制相交直线夹角，保证交点特 征的鲁棒性，这里分别取为1.2，0.3和0.8。

步骤S706，当判定上述目标非平行直线交点不是异面直线交点时，计算上 述目标非平行直线交点的特征尺度。

这里，尺度因子s决定了特征邻域的大小，如SURF算法构建主方向时邻 域为半径为6s的圆，描述符在20s×20s的正方形邻域内计算。传统的尺度不变特 征检测算法通过搜索尺度空间中的极大值点作为特征点，其所对应的尺度即为 特征的尺度。该方法需要构建尺度空间金字塔，计算量较大，适合于纹理丰富 图像，而人工环境中的结构化场景，图像灰度单一，欠缺纹理信息。为此，需 要采用一种新的尺度计算方法。

如图4所示，以直线交点p^s为中心，以交点分别到与直线最邻近端点的距 离p^sp_r ¹和p^sp_t ¹为半径做圆C1、C2。显然，圆所覆盖区域反映了特征点局部邻 域的特性，由于直线交点往往出现在边缘等视差不连续处，因此这里选择较小 圆C1的半径r₁来估计特征点的尺度。

这里可以采用改进8扇区SURF描述符对LIFS特征进行描述，其特征邻域 为圆形，半径为10s，将半径r₁与特征邻域的实际大小相关联，定义其实际尺度 为s＝r₁/10。考虑到交点与端点重合的情况，按照下式定义交点的尺度s： 其中半径r₁可以按照下式计算：r₁＝min{||p_r ¹-p^s||₂,||p_t ¹-p^s||₂}。

上式所示分段函数的主要目的是限制特征点的最小尺度，参考SURF以及 SIFT算法最小特征尺度的设置，这里将最小特征尺度设置为1.6。以上分析基 于匹配特征点之间具有相同的边缘结构信息，即某特征点所对应的相交直线与 对应点所对应的相交直线具有相似性，并在图像尺度变化时保持不变。

步骤S707，根据计算得到的各个特征尺度对各个所述非平行直线交点进行 局部非极大值抑制。

由于数字图像的离散本质，图5所示，一条直线经常被拟合为多条不同的 直线，导致检测到多重彼此相互重叠或邻近的交点，降低了交点的独特性，图 6为多重邻近交点产生示意图。由于存在直线检测误差，相交直线l_r和l_t中的任 意一条均有可能被量化为或者错误判定为两条甚至多条线段，从而产生多个直 线交点。由于直线交点没有定义响应函数，因此为了进行局部非极大值抑制， 应首先定义交点响应函数，作为极大值判别的度量。由图6可知，当存在多重 交点的情况下，相交直线最邻近端点较远时，交点定位不精确，容易受到边缘 检测误差的影响。因此采用直线交点特征的尺度构造交点响应函数，当存在彼此重叠或邻近的交点时，保留具有最小特征尺度的直线交点，可通过下式得到 最小尺度因子s_i及其对应的序号i，其中s_j表示多重邻近直线交点对应的尺度因 子，m表示多重邻近交点的数目，[s_i,i]＝min(s_j,j＝1,2,...m)。

步骤S708，构造8扇区SURF描述符，采用SURF算法构建主方向的方法 确定特征点主方向。

构造8扇区SURF描述符的方法如下：

获得尺度因子之后，采用SURF算法构建主方向的方法确定LIFS特征的主 方向。

步骤S709，完成特征点的提取和描述，采用基于RANSAC和对极几何的 匹配策略，即可实现特征匹配。

从以上描述可知，本实施例采用直线交点特征为匹配基元，结合了直线特 征的鲁棒性和点特征的独特性，更适合于结构化场景图像的匹配。由于结构化 场景图像通常包括大量的直线和局部近似直线，因此可获得大量可靠的特征点， 与一般点特征相比，具有更强的稳定性。与基于直线特征的匹配方法相比，可 直接得到的匹配点对，而无需进行交点计算和判别，并且特征点的数量更多， 对极几何估计精度更高。因此采用本实施例在宽基线情况下，可更好的实现建 筑物、室内环境、车辆等人造结构化场景图像的匹配。本实施例为直线交点特 征计算了尺度因子，因此可实现匹配时的尺度不变性。该尺度因子计算方法利 用了交点特征局部邻域内的几何特性，与传统多尺度特征检测方法相比，更加 简单。本实施例为直线交点特征构造了8扇区SURF描述符，为每个特征点分 配了统一的主方向，因此可实现匹配时的旋转不变性。8扇区SURF描述符与 原SURF描述符相比，维数更低，计算量更小。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后， 各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施 过程构成任何限定。

实施例三

对应于上文实施例所述的宽基线匹配方法，图8示出了本发明实施例提供 的宽基线匹配装置的结构框图，为了便于说明，仅示出了与本实施例相关的部 分。

参照图8，该装置包括线段检测模块801、直线聚类模块802、直线选取模 块803、直线交点获得模块804、特征尺度确定模块805、特征点主方向确定模 块806和宽基线匹配模块807。

线段检测模块801，用于对输入图像进行线段检测，获得所述输入图像的 直线集合。

这里，可以根据实际需要选择线段检测方法对输入图像进行线段检测，例 如采用LSD直线检测算法对输入图像进行直线检测，得到输入图像的单像素宽 度直线集合。

直线聚类模块802，用于对所述直线集合进行平行直线聚类，获得所述输 入图像的平行直线分组。

具体地，利用平行线段相交于消失点的特性，将上述直线集合进行分类， 得到输入图像的平行直线分组。可以采用Tardif提出的基于多实例模型稳健估 计的消失点检测与线段分类算法，将输入直线集合分类。

直线选取模块803，用于从不同的平行直线分组中任意选取两条直线。

直线交点获得模块804，用于根据选取的直线获得所述输入图像的非平行 直线交点。

特征尺度确定模块805，用于确定各个所述非平行直线交点的特征尺度。

特征点主方向确定模块806，用于根据各个所述特征尺度确定特征点主方 向。

具体地，在获得特征尺度之后，可以构造8扇区SURF描述符，采用SURF 算法构建主方向的方法确定特征点主方向。

宽基线匹配模块807，用于根据所述特征点主方向和预设匹配方法进行宽 基线匹配。

这里，完成特征点的提取和描述后，可以采用基于RANSAC和对极几何的 匹配策略，即可实现特征匹配。

如图8所示，在一个具体示例中，所述宽基线匹配装置还包括：

异面直线交点判断模块808，用于判断目标非平行直线交点是否为异面直 线交点，所述目标非平行直线交点为各个所述非平行直线交点中的任意一个交 点；

所述特征尺度确定模块805，用于当判定所述目标非平行直线交点不是异 面直线交点时，确定所述目标非平行直线交点的特征尺度。

此外，在一个具体示例中，异面直线交点判断模块808，用于当 ||p_r ²-p_t ²||₂＞s₁×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)且 ||p_r ²-p_t ²||₂＜s₂×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)时判定所述目标非平行直线交点不是异面 直线交点，其中||p_r ¹-p_t ¹||₂＜||p_r ²-p_t ²||₂，|| ||₂表示计算距离，p_r ¹表示第一直线的第 一端点，p_r ²表示所述第一直线的第二端点，p_t ¹表示第二直线的第一端点，p_t ²表 示所述第二直线的第二端点，所述第一直线和所述第二直线的非平行直线交点 为所述目标非平行直线交点，表示第一预设距离阈值，表示第二预设角度 阈值，s₁表示预设缩放因子下限，s₂表示预设缩放因子上限。

此外，在一个具体示例中，所述特征尺度确定模块805，用于根据表达式 r₁＝min{||p_r ¹-p^s||₂,||p_t ¹-p^s||₂}确定最小半径r₁，其中||p_r ¹-p_t ¹||₂＜||p_r ²-p_t ²||₂，min{}表 示计算最小值，|| ||₂表示计算距离，p_r ¹表示第一直线的第一端点，p_r ²表示所述 第一直线的第二端点，p_t ¹表示第二直线的第一端点，p_t ²表示所述第二直线的第 二端点，所述第一直线和所述第二直线的非平行直线交点为p^s，p^s为各个所述 非平行直线交点中的任意一个交点；

根据表达式确定特征尺度s，其中r′表示预设半径阈值，s′表 示预设最小特征尺度，q表示预设特征比值。

如图8所示，在一个具体示例中，上述宽基线匹配装置还包括：

局部非极大值抑制模块809，用于根据各个所述特征尺度对各个所述非平 行直线交点进行局部非极大值抑制。

此外，在一个具体示例中，局部非极大值抑制模块809对各个所述非平行 直线交点进行局部非极大值抑制包括：

分别构造各个所述特征尺度对应的交点响应函数；

当目标交点响应函数存在多个非平行直线交点时，保留所述目标交点响应 函数的最小特征尺度对应的非平行直线交点，所述目标交点响应函数为各个所 述交点响应函数中的任意一个函数。

由于直线交点没有定义响应函数，因此为了进行局部非极大值抑制，应首 先定义交点响应函数，作为极大值判别的度量。由图6可知，当存在多重交点 的情况下，相交直线最邻近端点较远时，交点定位不精确，容易受到边缘检测 误差的影响。因此采用直线交点特征的尺度构造交点响应函数，当存在彼此重 叠或邻近的交点时，保留具有最小特征尺度的直线交点，可通过下式得到最小 尺度因子s_i及其对应的序号i，其中s_j表示多重邻近直线交点对应的尺度因子， m表示多重邻近交点的数目，[s_i,i]＝min(s_j,j＝1,2,...m)。

从以上描述可知，本发明实施例宽基线匹配装置，利用图像中的直线交点 作为候选匹配特征，并通过共面非平行约束和空间邻近性约束提高直线交点的 定位精度和鲁棒性，然后计算特征尺度，构造8扇区SURF描述符进行匹配， 从而解决宽基线情况下，结构化场景图像的匹配问题。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上 述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上 述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不 同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功 能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬 件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模 块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上 述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程， 在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通 过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如， 所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的 划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些 特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦 合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以 是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的 形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明 实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存 储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务 器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所 述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存 储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照 前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其 依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特 征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发 明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种宽基线匹配方法，其特征在于，包括：

对输入图像进行线段检测，获得所述输入图像的直线集合；

对所述直线集合进行平行直线聚类，获得所述输入图像的平行直线分组；

从不同的平行直线分组中任意选取两条直线；

根据选取的直线获得所述输入图像的非平行直线交点；

确定各个所述非平行直线交点的特征尺度；

根据各个所述特征尺度确定特征点主方向；

根据所述特征点主方向和预设匹配方法进行宽基线匹配。

2.根据权利要求1所述的宽基线匹配方法，其特征在于，还包括：

判断目标非平行直线交点是否为异面直线交点，所述目标非平行直线交点为各个所述非平行直线交点中的任意一个交点；

确定各个所述非平行直线交点的特征尺度包括：

当判定所述目标非平行直线交点不是异面直线交点时，确定所述目标非平行直线交点的特征尺度。

3.根据权利要求2所述的宽基线匹配方法，其特征在于，所述判断目标非平行直线交点是否为异面直线交点包括：

当||p_r ²-p_t ²||₂＞s₁×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)且||p_r ²-p_t ²||₂＜s₂×(||p_r ²-p_r ¹||₂+||p_t ²-p_t ¹||₂)时判定所述目标非平行直线交点不是异面直线交点，其中||p_r ¹-p_t ¹||₂＜||p_r ²-p_t ²||₂，||||₂表示计算距离，p_r ¹表示第一直线的第一端点，p_r ²表示所述第一直线的第二端点，p_t ¹表示第二直线的第一端点，p_t ²表示所述第二直线的第二端点，所述第一直线和所述第二直线的非平行直线交点为所述目标非平行直线交点，表示第一预设距离阈值，表示第二预设角度阈值，s₁表示预设缩放因子下限，s₂表示预设缩放因子上限。

4.根据权利要求1所述的宽基线匹配方法，其特征在于，确定各个所述非平行直线交点的特征尺度包括：

根据表达式r₁＝min{||p_r ¹-p^s||₂,||p_t ¹-p^s||₂}确定最小半径r₁，其中||p_r ¹-p_t ¹||₂<||p_r ²-p_t ²||₂，min{}表示计算最小值，||||₂表示计算距离，p_r ¹表示第一直线的第一端点，p_r ²表示所述第一直线的第二端点，p_t ¹表示第二直线的第一端点，p_t ²表示所述第二直线的第二端点，所述第一直线和所述第二直线的非平行直线交点为p^s，p^s为各个所述非平行直线交点中的任意一个交点；

根据表达式确定特征尺度s，其中r′表示预设半径阈值，s′表示预设最小特征尺度，q表示预设特征比值。

5.根据权利要求1所述的宽基线匹配方法，其特征在于，还包括：

根据各个所述特征尺度对各个所述非平行直线交点进行局部非极大值抑制。

6.根据权利要求5所述的宽基线匹配方法，其特征在于，对各个所述非平行直线交点进行局部非极大值抑制包括：

分别构造各个所述特征尺度对应的交点响应函数；

当目标交点响应函数存在多个非平行直线交点时，保留所述目标交点响应函数的最小特征尺度对应的非平行直线交点，所述目标交点响应函数为各个所述交点响应函数中的任意一个函数。

7.一种宽基线匹配装置，其特征在于，包括：

线段检测模块，用于对输入图像进行线段检测，获得所述输入图像的直线集合；

直线聚类模块，用于对所述直线集合进行平行直线聚类，获得所述输入图像的平行直线分组；

直线选取模块，用于从不同的平行直线分组中任意选取两条直线；

直线交点获得模块，用于根据选取的直线获得所述输入图像的非平行直线交点；

特征尺度确定模块，用于确定各个所述非平行直线交点的特征尺度；

特征点主方向确定模块，用于根据各个所述特征尺度确定特征点主方向；

宽基线匹配模块，用于根据所述特征点主方向和预设匹配方法进行宽基线匹配。

8.根据权利要求7所述的宽基线匹配装置，其特征在于，还包括：

异面直线交点判断模块，用于判断目标非平行直线交点是否为异面直线交点，所述目标非平行直线交点为各个所述非平行直线交点中的任意一个交点；

所述特征尺度确定模块，用于当判定所述目标非平行直线交点不是异面直线交点时，确定所述目标非平行直线交点的特征尺度。

9.根据权利要求7所述的宽基线匹配装置，其特征在于，所述特征尺度确定模块，用于根据表达式r₁＝min{||p_r ¹-p^s||₂,||p_t ¹-p^s||₂}确定最小半径r₁，其中||p_r ¹-p_t ¹||₂＜||p_r ²-p_t ²||₂，min{}表示计算最小值，||||₂表示计算距离，p_r ¹表示第一直线的第一端点，p_r ²表示所述第一直线的第二端点，p_t ¹表示第二直线的第一端点，p_t ²表示所述第二直线的第二端点，所述第一直线和所述第二直线的非平行直线交点为p^s，p^s为各个所述非平行直线交点中的任意一个交点；

所述特征尺度确定模块，还用于根据表达式确定特征尺度s，其中r′表示预设半径阈值，s′表示预设最小特征尺度，q表示预设特征比值。

10.根据权利要求7所述的宽基线匹配装置，其特征在于，还包括：

局部非极大值抑制模块，用于根据各个所述特征尺度对各个所述非平行直线交点进行局部非极大值抑制。