CN105809678B - 一种短基线条件下两视图间线段特征全局匹配方法 - Google Patents

Abstract

一种短基线条件下两视图间线段特征全局匹配方法。其从两幅视图中提取特征点及线段特征，基于空间相邻性的几何约束确定线段的初始匹配，分别利用点线相邻性、单应矩阵模型等几何约束以及0‑1规划方法实现线段特征匹配的过滤与唯一性筛选。本发明优点：①将线段特征全局匹配问题转化为了0‑1规划问题，通过求解该问题获得线段的“一对一”匹配结果，解决了现有方法易出现的“多对多”匹配问题。②无需计算线段附近的颜色信息，对光照变化的鲁棒性更强。③借助于短基线条件下两幅视图的空间相邻性特点进行线段初始匹配的查找，有助于找到更多潜在的匹配线段。④利用多种几何约束对线段匹配进行过滤和筛选，使线段匹配的准确性更高，鲁棒性更强。

Description

一种短基线条件下两视图间线段特征全局匹配方法

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种短基线条件下两视图间线段特征全局匹配方法。

背景技术

特征匹配是计算机视觉领域所研究的核心问题之一。其中特征点的匹配方法已经比较成熟可靠，如SIFT、SURF等。与特征点相比，在同样的噪声条件下，视图中的线特征受噪声影响更小，且对光照条件和阴影不敏感。然而，线段端点位置的不准确、遮挡、断裂等因素使得线段特征的匹配更具挑战性。

近年来，许多学者致力于解决线段特征的匹配问题。整体上线段匹配方法可分为两大类：个体匹配和组匹配。在个体匹配方法中，线段邻域的梯度信息和颜色信息常用来作为线段的特征描述。然而，基于颜色或梯度信息的线段匹配方法受光照影响比较大，且不适用于场景中线特征的颜色信息很相似的情形。另一类个体匹配方法利用了多种几何约束信息，如Schmid等利用不同视图间线段端点的对极几何约束，借助点对应的相关性作为衡量线段间相似性的标准来进行线段特征匹配。然而，该方法的准确性不高。Min Chen等利用单应矩阵约束实现了遥感视图中的线段特征匹配。李俊瑶等结合极线约束和单应矩阵约束进行线段特征匹配。目前，在线段特征个体匹配方法中比较成功的是Fan等提出的基于点对应的线特征匹配方法。该方法将不同视图间线段邻域内的点对应作为衡量线段之间相似性的度量，是一种具有较高准确性的线段匹配方法。然而，该方法存在以下问题：当场景中缺少特征点时，很多真实存在的线段对应无法被找到；点对应的匹配错误可能会导致相应的线段对应的匹配错误。线段的组匹配方法将视图中的多条线段看成一个整体，线段间的相对位置关系可以为线段的匹配提供一定的几何约束。然而，该类方法具有较高的计算复杂度，且容易受到线段端点位置不准确的影响。

另外，线段因遮挡、断裂以及端点提取不准确等因素而容易造成线段特征匹配时出现“多对多”匹配的问题。为了获得线段的“一对一”匹配，现有方法绝大多数在匹配阶段采用相似度最大原则，即匹配时取相似度最大的一对线段作为匹配结果。然而，在线段相似度接近的场景中上述方法容易发生错配。而且相似度最大原则实质上是一种局部最优匹配，而并未考虑线段匹配的全局最优。

发明内容

为了解决上述问题，本发明的目的在于提供一种短基线条件下两视图间线段特征全局匹配方法。

为了达到上述目的，本发明提供的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下列步骤：

(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配；

(2)分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并；

(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集；

(4)基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合；

(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集；

(6)基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配。

在步骤(1)中，所述的分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配的方法是：基于SIFT算法对上述两幅视图中的SIFT特征点进行提取和初始匹配。

在步骤(2)中，所述的分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并的方法是：首先，基于LSD算法提取每幅视图中的线段，删除其中所有长度小于某一设定长度阈值T_l的线段，然后对临近的线段按近邻约束和倾角约束进行合并。

在步骤(3)中，所述的利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集的方法是：首先基于基本矩阵利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后，基于空间相邻性对上述步骤(2)中获得且经过合并的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集。

在步骤(4)中，所述的基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合的方法是：在步骤(3)获得的初始匹配线段中，以第一幅视图中的线段以及第二幅视图中的线段为中心各自构建一个矩形邻域和对于每一对匹配线段的SIFT特征点(p_i,p′_i)，如果SIFT特征点p_i位于邻域内并且SIFT特征点p′_i位于邻域内，则线段和之间的相似度增加；最后，对于第一幅视图中的每一条线段，在第二幅视图中将所有相似度大于某一相似度阈值T_s的线段都保留作为与第一幅视图中该线段匹配的线段，而将小于该相似度阈值T_s的所有线段从线段初始匹配集中删除，由此获得匹配线段集合。

在步骤(5)中，所述的基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集的方法是：基于RANSAC框架，首先，从上述匹配线段集合中随机选择四组匹配线段组成随机样本，根据归一化DLT算法求得单应矩阵H；然后对假设的每组匹配线段计算映射之后的欧式距离d_⊥，如果欧式距离d_⊥小于某一距离阈值T_d，则该组匹配线段为内点，否则为外点；最后，选择获得内点数目最多的单应矩阵H作为真实值，并利用所有内点集重新优化估计单应矩阵H，由此获得匹配线段的候选解集。

在步骤(6)中，所述的基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配的方法是：以匹配线段的候选解集作为该部分的输入，计算候选解集中待匹配线段的相似度，利用基于分组策略的两阶段求解算法对该问题进行求解，获得相似度之和最大的线段集合，从而达到线段特征的“一对一”全局精确匹配。

所述的长度阈值T_l、相似度阈值T_s、距离阈值T_d的确定方法为：长度阈值T_l为经验值，取值为5～10个像素值；相似度阈值T_s为经验值，取值范围为0.6≤T_s≤1.0；距离阈值T_d的取值为其中σ为视图坐标具有的高斯噪声的标准差。

本发明提供的短基线条件下两视图间线段特征全局匹配方法是首先从两幅视图中提取特征点及线段特征，然后基于空间相邻性的几何约束确定线段的初始匹配，最后分别利用点线相邻性、单应矩阵模型等几何约束以及0-1规划方法实现线段特征匹配的过滤与唯一性筛选。

本发明与现有技术相比，具有以下优点：①本发明方法将线段特征全局匹配问题转化为了0-1规划问题，通过求解该问题获得线段的“一对一”匹配结果，解决了现有方法易出现的“多对多”匹配的问题。②本发明方法无需计算线段附近的颜色信息，对光照变化的鲁棒性更强。③本发明方法借助于短基线条件下两幅视图的空间相邻性特点进行线段初始匹配的查找，有助于找到更多潜在的匹配线段。④本发明方法利用多种几何约束对线段匹配进行过滤和筛选，使线段匹配的准确性更高，鲁棒性更强。

附图说明

图1是线段特征匹配示意图；

图2是本发明提供的短基线条件下两视图间线段特征全局匹配方法流程图；

图3是线段合并方法示意图；

图4是点-线相邻性示意图；

图5是基于分组策略的两阶段线段匹配求解示例；

图6是线段匹配的实验结果.

具体实施方式

下面结合附图和具体实施例对本发明提供的短基线条件下两视图间线段特征全局匹配方法进行详细说明。

基线是指相机在不同位置采集视图时相机中心的连线。当基线较短时称为短基线。三维空间中的同一线段在以不同视角采集的两幅视图中所呈现的投影线段称为一组匹配线段。然而，由于线段提取过程中线段端点位置的不确定性，以及线段遮挡和断裂等因素均会导致匹配难度较大。本发明所要解决的是短基线条件下两视图间线段特征匹配问题。这里的线段特征匹配是指：

定义1：线段特征匹配：两幅视图中的一对线段特征，如果该对线段特征在三维空间中共线并且有重合，则称该对线段特征是一对匹配的线段特征。

如图1所示，F₁和F₂分别为两幅视图，l和l'分别为视图F₁和F₂中的两条线段，线段l和l'的端点分别为a、b和c、d，线段l和l'对应的三维空间中的线段分别为AB和CD，且AB与CD共线，则称线段l和l'特征是一对匹配的线段特征。

为了能够准确地描述本发明所要研究的问题，首先定义如下符号：

F₁：第一幅视图

F₂：第二幅视图

从视图F_k(k＝1,2)中提取的第i条线段

Ω^k：从视图F_k(k＝1,2)中提取的线段集合

第一二幅视图F₁和F₂中的一对匹配线段

L：两幅视图中所有匹配线段的集合

基于上述符号定义，本发明所研究问题的定义如下：

定义2：对于短基线条件下的第一幅视图F₁和第二幅视图F₂，提取线段特征并对其进行一一对应的匹配，从而获得第一幅视图F₁和第二幅视图F₂中所有匹配线段的集合L。

如图2所示，本发明提供的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下列步骤：

(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配

首先，利用SIFT算法分别对两幅视图中的SIFT特征点进行提取，然后对两幅视图中的SIFT特征点进行初始匹配，由此获得SIFT特征点初始匹配集。上述SIFT特征点初始匹配的的具体方法为：假设从第一幅视图F₁检测到的SIFT特征点集合为从第二幅视图F₂检测到的SIFT特征点集合为定义待匹配样本集为E，通过以SIFT特征点集合B构建k-d树，基于深度优先搜索方法在待匹配样本集E中获得SIFT特征点集合A与SIFT特征点集合B的近邻匹配；如果下面式(1)中条件满足，则称待匹配样本集E的一个样本点的最近邻样本点为即和为一对匹配点。

其中，表示两样本点间的欧式距离。

(2)分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并

本发明方法选取Goio等人于2010年提出的线段检测算法(Line SegmentDetector,LSD)进行线段特征提取。LSD是一种线性时间的具有较高检测精度的线段检测方法。该方法出现的误检测较少且不需要任何参数选取与设置。在完成线段提取之后，需要对提取结果进行进一步处理以提高线段提取的鲁棒性。

首先，删除上述每一幅视图中所有长度小于某一设定长度阈值T_l的线段，此长度阈值T_l为经验值，一般取值范围为5～20个像素值，然后对临近的线段进行合并。同时满足以下两个条件的线段需要进行合并：1)两条线段的倾角差小于某一设定倾角阈值T_θ；2)两条线段相对位置小于设定的位置阈值T_loc。为了提高线段匹配的精确度和线段匹配数量，同时降低运算维度，倾角阈值T_θ的取值范围为2°～5°。具体做法为：如果两条线段的倾角差小于某一倾角阈值T_θ，则假设两条线段可能需要合并，计算线段合并后生成的线段的倾角θ_m：

其中，为线段的倾角，为线段的长度。式(2)是以线段的长度作为权值对待合并线段的倾角做加权平均。

对于符合条件1)中关于倾角约束的线段，需要继续进行条件2)的判断。根据上述计算出的合并后线段的倾角θ_m构建新的坐标系，如图3所示，该坐标系中的一个坐标轴u_m的倾角与合并后线段的倾角θ_m基本相等，另一个坐标轴v_m与坐标轴u_m相垂直。将待合并的线段分别向坐标轴v_m进行投影，记两条线段端点投影后在坐标轴v_m上的最大和最小坐标值分别为v_max和v_min，如果满足下面的式(3)，则上述线段将最终被合并。

|v_max-v_min|<T_loc (3)

其中，T_loc>0为一设定的位置阈值，同样也是个经验值，取值范围为5～10个像素值。

为了计算合并后的线段，首先计算合并后线段所在直线。定义合并后线段所在直线为 和分别为线段的两个端点，则可通过最小化下面的代价函数来估计

其中，d_⊥(·)表示点到直线的距离。

确定了合并线段所在直线后，将两条待合并线段向该直线投影，取距离最远的两个端点的投影作为合并后线段的端点。

(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集

由于摄像机在采集相邻视图时距离较近，摄像机平移量较小。而如果在没有旋转变化的情况下，较小的摄像机平移变化所引起的特征在视图中的变化较小。因此，本步骤首先基于基本矩阵模型利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，具体方法为：在RANSAC框架下，每次随机选择8对步骤(1)中获得的经过初始匹配的SIFT特征点，利用归一化的DLT算法计算基本矩阵F的初始值，然后利用该基本矩阵F计算每一对匹配点的特征点Sampon误差，如果该误差大于某个误差阈值T_e，则认为该对匹配点相对当前的基本矩阵F为外点；否则，则认为该对匹配点为内点。误差阈值T_e的取值为其中σ为视图坐标具有的高斯噪声的标准差。多次迭代上述过程，取内点数最多的基本矩阵F作为真实的基本矩阵值，保留所有符合该基本矩阵模型的内点作为特征点匹配结果，所有的外点将被删除。最后，基于所有内点，通过优化下列代价函数来重新估计基本矩阵F：

其中，和为一对匹配的SIFT特征点的观测值，和为该匹配的SIFT特征点的估计值，为基本矩阵F的估计值，d(·)表示两SIFT特征点间的几何距离。

然后，通过下式对基本矩阵F的估计值进行分解，从而获得摄像机在两幅视图之间的旋转变换。

F＝(K)^-T[t]_×RK^-1 (6)

其中，K为摄像机的内参数矩阵，可通过标定获得。R和t分别为两幅视图之间摄像机的旋转矩阵及平移向量。符号[·]_×为叉乘运算的斜对称矩阵表示。

然后通过对第二幅视图F₂施加该旋转变换矩阵的逆变换而使其与第一幅视图F₁之间只有平移变换。

在消除了两幅视图间的旋转差异后，位于两幅视图中的两条线段被认为是匹配线段的充分必要条件是：线段中点在视图中的距离小于中点阈值T_md，相对于视图原点坐标的距离，一般采用极坐标形式表示，如下所述，计算视图空间原点距离两条线段和所在直线的距离分别为和则几何位置约束为：

T_md为经验值，一般取值范围为0～40个像素值。并且线段的方向差小于方向差阈值T_direction，方向差阈值T_direction由线段的倾角确定，一般取值范围为2°～5°。最后，基于空间相邻性对上述步骤(2)中获得且经过合并的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集。该线段初始匹配集中可能会出现“多对多”的关系，即第一幅视图F₁中的一条线段在第二幅视图F₂中可能存在多条与之匹配的线段，反之亦然。此步为线段的初始匹配，目的是找到尽可能多的潜在匹配线段，其中不可避免地会存在错误匹配及“多对多”匹配的情况，本发明方法将在下面的步骤中利用多种几何约束对此处的初始匹配结果进行过滤和优化。

(4)基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合

在步骤(3)获得的初始匹配线段中，以第一幅视图F₁中的线段以及第二幅视图F₂中的线段为中心各自构建一个矩形邻域和对于每一对匹配线段的SIFT特征点(p_i,p′_i)，如果SIFT特征点p_i位于邻域内并且SIFT特征点p′i位于邻域内，则线段和之间的相似度加1。如图4所示，每对位于线段邻域内的匹配点为这两条线段的相似性加1。最后，对于第一幅视图F₁的每一条线段，在第二幅视图F₂中将所有相似度大于某一相似度阈值T_s的所有线段都保留作为与第一幅视图F₁中该线段匹配的线段，而将小于该相似度阈值T_s的所有线段从线段初始匹配集中删除，由此获得匹配线段集合。相似度阈值T_s为经验值，一般取值范围为0.6≤T_s≤1.0。

(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集

在步骤(4)中获得的匹配线段集合的基础上，基于RANSAC算法确定单应矩阵以及符合该单应矩阵模型的匹配线段。在摄像机只有旋转运动的情况下，所采集的视图对应特征间满足单应矩阵模型。本发明所研究的是短基线条件下两视图间线段特征匹配，由于摄像机在采集两幅视图时距离较近且平移量较小，因而与场景中特征距离摄像机的距离相比该平移量可近似忽略。因此，两幅视图中匹配的线段特征应近似满足同一个单应矩阵模型。本发明基于RANSAC框架，首先，从上述匹配线段集合中随机选择四组匹配线段组成随机样本，根据归一化DLT算法求得单应矩阵H；然后对假设的每组匹配线段计算映射之后的欧式距离d_⊥，如果欧式距离d_⊥小于某一距离阈值T_d，则该组匹配线段为内点，否则为外点；距离阈值T_d的取值为其中σ为视图坐标具有的高斯噪声的标准差。最后，选择获得内点数目最多的单应矩阵H作为真实值，并利用所有内点集重新优化估计单应矩阵H，由此获得匹配线段的候选解集。通过单应矩阵模型可进一步过滤掉线段初始匹配集中的错误匹配。

(6)基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配

根据上面的步骤可以从两幅视图中找到包含所有可能的匹配线段的候选解集。在该候选解集中，任意一条线段可能存在多个与之匹配的线段，即存在“多对多”的匹配关系。而在实际中，一条线段在另一幅视图中最多只能与一条线段进行匹配。因此，需要从候选解集中的“多对多”匹配关系中寻找出最终的“一对一”匹配结果。本步骤将讨论如何从所有可能的候选解中选择合适的匹配线段，使其满足上述要求。

1)问题建模

对于候选解集中的每对匹配线段，可以通过计算一个相似度来衡量该对匹配线段的匹配程度。相似度越大，表明该对匹配线段的匹配性越好。这样，上述线段特征全局匹配问题的实质就可以描述为：以候选解集为操作数据集，在满足上述匹配约束的前提下，使匹配结果的相似度之和最大。

定义为根据上面步骤处理后得到的候选解集，其中为其中的一对匹配线段。定义匹配线段的相似度函数为该函数的具体形式将在后文给出。定义线段是否与线段匹配的变量为x_i,j，如果线段为线段的匹配线段，则变量x_i,j的值为1，否则为0，即

上述线段全局匹配问题可被定义为如下0-1规划问题：

需要满足如下约束条件：

式(9)中的约束条件保证了一条线段在另一幅视图中最多有一条线段与之匹配。

相似度函数的定义为线段邻域内匹配的SIFT特征点的密度，即

其中，表示位于两条线段邻域内的匹配的SIFT特征点的个数，Area(Ne(l))为线段l邻域的面积。

2)问题求解

由于两幅视图中存在的线段较多，导致式(8)中优化变量非常多，直接求解式(8)中的大规模0-1规划问题将非常耗时，甚至无法求出结果。在上面的候选解集确定以及带几何约束的匹配线段筛选过程中，已经去除了大量不可能的匹配，即已令大量的变量x_i,j＝0，从而使优化变量的数量大大减少。但通过实验我们发现剩余的待优化变量数量仍然较大，为了减少运算量，本发明提出了基于分组策略的两阶段求解算法。

首先，基于K-Means算法对候选解集Μ中第一幅视图F₁中的线段进行聚类分组，使其分为m个元素距离相近的线段子集。具体做法为：首先从属于候选解集Μ的第一幅视图F₁中的线段中任意选择m个对象作为初始聚类中心；而对于剩下的其它线段，则根据它们与这些初始聚类中心的相似度(此处为线段中点的距离)，分别将它们分配给与其最相似的聚类而获得新聚类；然后再计算每个新聚类中所有线段中点的几何中心并以该几何中心作为该聚类的聚类中心；不断重复这一过程直到标准测度函数开始收敛为止。此处，以线段距离聚类中心的均方差作为标准测度函数。

根据上述聚类，将候选解集Μ分解为m个子集。然后，分两个阶段对线段全局匹配问题进行求解。在第一阶段，分别利用式(8)对每个子集进行求解。由于每个子集的优化变量数量较少，所以可采用分枝定界算法求解。每个子集求解后，对于子集内部的线段会得到“一对一”的匹配关系。在第二阶段，将所有子集求解的结果合并，保留仍然具有“一对一”匹配关系的线段作为最终的匹配结果。对于剩下的那部分，因子集求解结果的合并而出现的“一对多”匹配的线段，重新利用式(8)对其进行求解。此时，由于剩余线段较少，所以问题规模大幅降低。

下面举个例子进行说明。如图5所示，线段的候选解集Μ为：

基于K-Means算法将候选解集Μ分为两组，分组过程以第一幅视图F₁中线段的空间位置作为聚类依据。从图5中可以看出，分组使第一幅视图F₁中的线段分为不重叠的两组，而与之对应的第二幅视图F₂中线段的分组可能会出现重叠。分组后，分别对两组中的候选解集Μ利用式(8)进行求解，获得的匹配结果分别为：匹配线段和合并该匹配结果发现，匹配线段和使得线段有两条与之匹配的线段，需要进一步优化。而余下的匹配线段和已经满足“一对一”约束，可以作为最终匹配结果。因此，在第二阶段针对合并后的匹配集，候选解集Μ中剩余的未确定的候选解中包含匹配线段 对上述剩余的候选解再次进行0-1规划，从而获得最终的“一对一”线段全局匹配结果。

本发明方法之所以能够按照上述方式对候选解集进行聚类分组，主要是因为根据本发明方法中候选解的确定方法，只有位置相邻的线段才可能具有相同的候选匹配。因此，上述聚类分组方法具有合理性。另外，由于本发明方法采用了基于分组策略的两阶段线段匹配求解算法，因此分组及合并的过程可能会导致无法获得全局最优解。然而，对于线段全局匹配问题，具有较低计算代价的近似最优解也是可以接受的。

本发明提供的短基线条件下两视图间线段特征全局匹配方法的效果可以通过以下实验结果进一步说明。本发明人共采集了6组不同场景(4个校园建筑物场景、1个室内走廊场景、1个办公室场景)的视图对本发明方法进行验证。实验中，所需参数的取值为：T_s＝0.80，T_direction＝2°，T_md＝40。

6组视图的线段匹配结果如图6所示，其中同一行的两幅视图一组，其中具有相同标号的线段为一组匹配的线段。实验的统计结果如表1所示。从表1可以看出，匹配的正确率基本在95％以上。由于第6组视图的拍摄对象为显示器，其本身的发光会导致线段提取、特征点匹配等环节受到干扰，因此匹配的正确率相对较低。

表1：线段匹配结果统计

本发明与现有技术相比，解决了线段因遮挡、断裂以及端点提取不准确等而造成的线段特征匹配困难，特别是面向线段个体匹配时容易出现“多对多”匹配的问题。同时，由于基于多种几何约束而不依靠线段邻域内的颜色信息，可使本发明方法对光照的敏感度降低、鲁棒性更高。

Claims (10)

1.一种短基线条件下两视图间线段特征全局匹配方法，其特征在于：所述的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下列步骤：

(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配；

(2)分别从两幅视图中提取出线段特征，删除其中所有长度小于某一设定长度阈值T_l的线段，然后对临近的线段进行合并；

(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集；

(4)基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合；

(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集；

(6)基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配。

2.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：在步骤(1)中，所述的分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配的方法是：基于SIFT算法对上述两幅视图中的SIFT特征点进行提取和初始匹配。

3.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：在步骤(2)中，所述的分别从两幅视图中提取出线段特征，删除其中所有长度小于某一设定长度阈值T_l的线段，然后对临近的线段进行合并的方法是：首先，基于LSD算法提取每幅视图中的线段，删除其中所有长度小于某一设定长度阈值T_l的线段，然后对临近的线段按近邻约束和倾角约束进行合并。

4.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：在步骤(3)中，所述的利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集的方法是：首先基于基本矩阵利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后，基于空间相邻性对上述步骤(2)中获得且经过合并的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集。

5.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：在步骤(4)中，所述的基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合的方法是：在步骤(3)获得的初始匹配线段中，以第一幅视图中的线段以及第二幅视图中的线段为中心各自构建一个矩形邻域和对于每一对匹配线段的SIFT特征点(p_i,p′_i)，如果SIFT特征点p_i位于邻域内并且SIFT特征点p′_i位于邻域内，则线段和之间的相似度增加；最后，对于第一幅视图中的每一条线段，在第二幅视图中将所有相似度大于某一相似度阈值T_s的线段都保留作为与第一幅视图中该线段匹配的线段，而将小于该相似度阈值T_s的所有线段从线段初始匹配集中删除，由此获得匹配线段集合。

6.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：在步骤(5)中，所述的基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集的方法是：基于RANSAC框架，首先，从上述匹配线段集合中随机选择四组匹配线段组成随机样本，根据归一化DLT算法求得单应矩阵H；然后对假设的每组匹配线段计算映射之后的欧式距离d_⊥，如果欧式距离d_⊥小于某一距离阈值T_d，则该组匹配线段为内点，否则为外点；最后，选择获得内点数目最多的单应矩阵H作为真实值，并利用所有内点集重新优化估计单应矩阵H，由此获得匹配线段的候选解集。

7.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：在步骤(6)中，所述的基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配的方法是：以匹配线段的候选解集作为该部分的输入，计算候选解集中待匹配线段的相似度，利用基于分组策略的两阶段求解算法对该问题进行求解，获得相似度之和最大的线段集合，从而达到线段特征的“一对一”全局精确匹配。

8.根据权利要求3所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：所述的长度阈值T_l为经验值，取值为5～10个像素值。

9.根据权利要求5所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：所述的相似度阈值T_s为经验值，取值范围为0.6≤T_s≤1.0。

10.根据权利要求6所述的短基线条件下两视图间线段特征全局匹配方法，其特征在于：所述的距离阈值T_d的取值为其中σ为视图坐标具有的高斯噪声的标准差。