CN112967217B - 一种基于直线特征匹配及约束的图像拼接方法 - Google Patents

Abstract

本发明涉及计算机视觉图像拼接领域，提供一种基于直线特征匹配及约束的图像拼接方法，包括步骤100，将两幅图像划分为目标图像和参考图像，提取并匹配两幅图像中的特征点，筛选正确的匹配点，提取两幅图像中的特征直线；步骤200，利用点线不变量匹配两幅图像中的特征直线，根据几何关系重构匹配直线邻域内的特征点以增加匹配特征点的数量，最后筛选正确的匹配点；步骤300，估计全局单应性矩阵；步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。本发明能够在保持全局直线的同时大幅度减少拼接图像的失真情况。

Description

一种基于直线特征匹配及约束的图像拼接方法

技术领域

本发明涉及计算机视觉图像拼接领域，尤其涉及一种基于直线特征匹配及约束的图像拼接方法。

背景技术

图像拼接是将多幅图像组合成更大视场的一种方法，是计算机视觉系统中非常重要的应用之一，其广泛应用于摄影测量、机器人导航、无人机视觉和智能手机全景图合成等。在图像拼接过程中，特别是对于大视差的图像拼接，解决伪影失真问题的同时保护图像的直线结构信息是一个巨大的挑战。

最早的图像拼接算法由Automatic Panoramic Image Stitching usingInvariant Features(AutoStitch)开启，它为每个输入图像估计一个最优的全局变换，但是它只适用于理想的近平面场景，同时产生的图像往往会受到局部伪影和投影畸变的影响。在此之后，As-Projective-As-Possible(APAP)将图像划分为密集网格，每个网格都用一个单应性矩阵对齐，叫做局部单应性，但是仍然存在失真、直线结构无法保持等现象。Natural Image Stitching with the Global Similarity(GSP)通过直线对齐约束确定全局相似矩阵的角度选择，用APAP的方法初始化网格，约束项方面同时使用局部相似约束和全局相似约束，多图拼接性能和观感自然度提升，但是拼接过程中直线结构会出现大幅度弯曲现象。Single-Perspective Warps in Natural Image Stitching(SPW)同时强调了单视角变换的不同特征，能量函数包括点对齐项，畸变保护项和显著直线项，但是无法处理局部失真和全局直线保护之间的关系。除此之外还有一些基于拼接缝的图像拼接算法，但是在大视差图像拼接时，都会出现严重的失真现象。

发明内容

为了克服现有图像拼接方法在非重叠区域的失真问题和直线结构保持性较差的问题，本发明提供了一种基于直线特征匹配及约束的图像拼接方法，它可以根据几何关系重构图像中的匹配点，并利用局部直线和全局直线的关系对图像中的显著直线加以保护，丰富了图像的特征，减少拼接图像失真的同时保护了其直线结构，保证了拼接图像的自然性。

本发明提供的一种基于直线特征匹配及约束的图像拼接方法，包括以下过程：

步骤100，将两幅图像划分为目标图像和参考图像，利用SURF方法提取并匹配两幅图像中的特征点，利用RANSAC方法筛选正确的匹配点，利用LSD方法提取两幅图像中的直线；

步骤200，利用点线不变量匹配两幅图像中的直线，然后根据几何映射关系寻找匹配直线对应的邻域内的特征点以增加特征点的数量，最后使用RANSAC方法筛选正确的匹配特征点对，具体过程如下：

步骤201，从步骤100输出的直线中，根据直线的长度为每条直线划分邻域，然后计算目标图像直线和参考图像直线对应的左邻域和右邻域的相似度，根据邻域相似度得到最终的匹配直线集；

步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点；

步骤300，利用步骤200获得的所有匹配特征点和匹配直线，估计目标图像和参考图像之间的单应矩阵H；

步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；所述约束项包括点线对齐项、畸变抑制项、局部及全局直线保护项；

步骤401，构建目标图像的均匀网格；

步骤402，从步骤201输出的匹配直线、从步骤202输出的匹配点，构造点线对齐项；从步骤300输出的全局单应矩阵H，估计目标图像的旋转角，在目标图像上划分等距水平直线簇和垂直直线簇，在非重叠区和重叠区构造畸变抑制项；

步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，据此构造显著直线保护项；

步骤404，通过最小化能量函数计算扭曲网格的顶点坐标；

步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。

优选的，在步骤201中，计算目标图像直线和参考图像直线对应的左邻域和右邻域的邻域相似度，具体包括：

记从步骤100输出的目标图像中的直线集为参考图像中的直线集为/>在所有/>和/>中直线上选取两个关键点，记某直线l的关键点分别为/>和/>根据直线长度为每条直线划分左邻域和右邻域，在目标图像和参考图像中，任取一对左邻域或右邻域，若该对邻域中含有4对以下匹配点，则认为邻域间相似度为0；若该对邻域中含有5对以上匹配点，则由下列公式计算邻域间的相似度：

设两邻域对应的直线为l和l′，其关键点分别为和/>对于邻域内的匹配点集{P_i}_{i＝1,2,…,N}和{P′_i}_{i＝1,2,…,N}，选定一对点为基点记作P₁和P′₁，从剩余的匹配点中随机选取两对点记作P₂和P′₂、P₃和P′₃，每对基点共有N种选法，选定基点后对于两对随机点共有/>种选法；计算邻域中每对基点的相似度，然后通过N组基点计算邻域的相似度；记/>为点P_i和P_j连接形成的直线、/>为直线/>和/>的交点，则可以用匹配点/>和/>计算用于构造三角形特征数的点{V,P₁,M,N,P₃,W}的坐标信息：

并按照上述方法构造{V′,P′₁,M′,N′,P′₃,W′}；其中，点T为构造三角形特征数的过程点；上述五对点构建的三角形特征数，记作CN_i(r)和CN′_i(r)，

一组三角形特征数的相似度为：

基点P_i和P′_i的相似度用组三角形特征数的相似度的中值计算：

该邻域的相似度用N组基点的相似度的最大值计算：

S＝max{S(P_i,P′_i)},i＝1,2,…,N；

对于两条直线，若其左右邻域的相似度均互为所有直线中的最大值，则认为这两条直线匹配。

优选的，步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点，具体包括：

记从步骤201输出的匹配直线集为{L_j}_{j＝1,2,…,M}和{L′_j}_{j＝1,2,…，M}，{L_j}_{j＝1,2，…,M}表示目标图像中的直线集，{L′_j}_{j＝1,2,…,M}表示参考图像中的直线集；由步骤201可知，匹配直线间的某对应邻域内必然存在5对以上匹配点，因此可以分别构造第j条匹配直线的左匹配邻域和右匹配邻域内的三角形特征数，构造过程同步骤201；

以第j条匹配直线的左邻域为例，在目标图像中对应邻域中随机选定一对点为基点后，从剩余的匹配点中随机选取两对点作为一组，以此法一共可以构造组特征三角形，其中{V,W,M,N}为特征三角形边上的点，U为特征三角形的顶点，上述五个点均满足射影不变性。每组特征三角形在参考图像中均可以构造对应的特征三角形，因此可以将这五个点及其对应点作为匹配点加入待匹配点集。最终使用RANSAC算法筛选待匹配点集中正确的匹配点，以此增加匹配点的数量。

优选的，步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，具体包括：

记从步骤100输出的目标图像中的特征直线集为{l_j}_{j＝1,2,…,M}，在特征直线集为{l_j}中，若任意两直线l₁和l₂满足以下约束，则合并这两条直线并将其加入{l_j}；为了防止重复合并的情况，每次合并时需要将待合并直线l₁和l₂做上标记，以后遍历{l_j}时不再访问直线l₁和l₂；合并完成后，按照长度将所有直线划分为局部直线和全局直线/>

记两直线的斜率分别为k(l₁)和k(l₂)、两直线端点分别为和/>点/>到直线l₂的距离记作/>点/>到点/>的距离记作/>若满足以下三个条件则可以合并直线：

在合并直线的循环中，我们对每条直线引入flag变量，默认所有直线初始状态flag变量均为0；若直线l_m和l_n的flag均为0，才可以参与合并；合并后将l_m和l_n的flag变量置为1；防止后续发生死循环的问题；

根据局部直线集和全局直线集/>构造显著直线保护项。

优选的，在步骤500之后，还包括：

步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果。

优选的，步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果，具体包括：

记从步骤201输出的匹配直线集为{L_j}和{L′_j}，{L_j}表示目标图像中的直线集，{L′_j}表示参考图像中的直线集；

残差项E_err用来评估匹配直线的线性保持效果；在直线{L_j}_{j＝1,2,…，T}上均匀采样特征点，记作记网格变换后的所有特征点/>为/>

对于某直线L_j，其变换后的采样点为用最小二乘法将这些点拟合成直线/>则残差项E_err为：

距离项E_dis用来评估匹配直线的平均距离；在直线{L_j}_{j＝1,2,…,T}上均匀采样特征点，记作则/>和/>表示该直线的首尾端点，计算变换后的两端点/>和/>到L′_j的平均距离；则距离项E_dis为：

方向项E_dir用来评估匹配直线的平行性；在直线{L_j}_{j＝1,2,…,T}上均匀采样特征点，记作则/>和/>表示该直线的首尾端点，记以/>和/>为端点的直线为/>计算两直线/>和L′_j方向向量的外积；则方向项E_dir为：

利用残差项E_err、距离项E_dis、方向项E_dir，评估拼接图像的直线性保护情况。

有益效果：本发明提出的一种基于直线特征匹配及约束的图像拼接方法，它可以根据几何关系重构图像中的匹配点，丰富了图像的特征，并利用局部直线和全局直线的关系对图像中的显著直线加以保护，尤其是较长的全局直线，直线性保护效果明显，减少拼接图像失真的同时保护了其直线结构，保证了拼接图像的自然性。

附图说明

图1是本发明提供的基于直线特征匹配及约束的图像拼接方法的工作流程图；

图2是利用点线不变量重构六对匹配点的示意图；

图3是重构匹配点效果的示意图；

图4是展示将局部直线合并为全局直线的示意图；

图5是设置显著直线保护项效果的示意图；

图6是残差项、距离项和方向项三种参数用于评估图像直线性的示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1是本发明提供的基于直线特征匹配及约束的图像拼接方法的工作流程图。如图1所示，本发明提供一种基于直线特征匹配及约束的图像拼接方法，包括以下过程：

步骤100，将两幅图像划分为目标图像和参考图像，利用SURF方法提取并匹配两幅图像中的特征点，利用RANSAC方法筛选正确的匹配点，利用LSD方法提取两幅图像中的直线；

其中，SURF(Speeded Up Robust Features，高速稳健特征点检测)方法是一种特征点提取算法。RANSAC(Random Sample Consensus，随机抽样一致)方法用于去除SURF方法中存在错误情况的匹配点，使目标图像中每个特征点在参考图像中有且仅有一个特征点与之对应。LSD(Line Segment Detector，特征直线段检测)方法是一种提取图像中特征直线的算法。

步骤200，利用点线不变量匹配两幅图像中的直线，然后根据几何映射关系寻找匹配直线对应的邻域内的特征点以增加特征点的数量，最后使用RANSAC方法筛选正确的匹配特征点对，具体过程如下：

步骤201，从步骤100输出的直线中，根据直线的长度为每条直线划分邻域，然后计算目标图像直线和参考图像直线对应的左邻域和右邻域的相似度，根据邻域相似度得到最终的匹配直线集。

步骤201中，计算目标图像直线和参考图像直线对应的左邻域和右邻域的邻域相似度，具体包括：

记从步骤100输出的目标图像中的直线集为参考图像中的直线集为/>在所有/>和/>中直线上选取两个关键点，记某直线l的关键点分别为/>和/>根据直线长度为每条直线划分左邻域和右邻域，在目标图像和参考图像中，任取一对左邻域或右邻域，若该对邻域中含有4对以下匹配点，则认为邻域间相似度为0；若该对邻域中含有5对以上匹配点，则由下列公式计算邻域间的相似度：

设两邻域对应的直线为l和l′，其关键点分别为和/>对于邻域内的匹配点集{P_i}_{i＝1,2,…,N}和{P′_i}_{i＝1,2,…,N}，选定一对点为基点记作P₁和P′₁，从剩余的匹配点中随机选取两对点记作P₂和P′₂、P₃和P′₃，每对基点共有N种选法，选定基点后对于两对随机点共有/>种选法。计算邻域中每对基点的相似度，然后通过N组基点计算邻域的相似度。记/>为点P_i和P_j连接形成的直线、/>为直线/>和/>的交点，则可以用匹配点/>和/>计算用于构造三角形特征数的点{V,P₁,M,N,P₃,W}的坐标信息：

并按照上述方法构造{V′,P′₁,M′,N′,P′₃,W′}；其中，点T为构造三角形特征数的过程点。上述五对点构建的三角形特征数，记作CN_i(r)和CN′_i(r)，

一组三角形特征数的相似度为：

基点P_i和P′_i的相似度用组三角形特征数的相似度的中值计算：

该邻域的相似度用N组基点的相似度的最大值计算：

S＝max{S(P_i,P′_i)},i＝1,2,…,N。

对于两条直线，若其左右邻域的相似度均互为所有直线中的最大值，则认为这两条直线匹配。

步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点，具体包括：

记从步骤201输出的匹配直线集为{L_j}_{j＝1,2,…，M}和{L′_j}_{j＝1,2,…,M}，{L_j}_{j＝1,2,…,M}表示目标图像中的直线集，{L′_j}_{j＝1,2,…,M}表示参考图像中的直线集；由步骤201可知，匹配直线间的某对应邻域内必然存在5对以上匹配点，因此可以分别构造左匹配邻域和右匹配邻域内的三角形特征数，构造过程同步骤201。

以第j条匹配直线的左邻域为例，在目标图像中对应邻域中随机选定一对点为基点后，从剩余的匹配点中随机选取两对点作为一组，以此法一共可以构造组特征三角形，其中{V,W,M,N}为特征三角形边上的点，U为特征三角形的顶点，上述五个点均满足射影不变性。每组特征三角形在参考图像中均可以构造对应的特征三角形，因此可以将这五个点及其对应点作为匹配点加入待匹配点集。最终使用RANSAC算法筛选待匹配点集中正确的匹配点，以此增加匹配点的数量。步骤300，利用步骤200获得的所有匹配特征点和匹配直线估计目标图像和参考图像之间的单应矩阵H。

步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；所述约束项包括点线对齐项、畸变抑制项、局部及全局直线保护项；具体包括步骤401至步骤404：

步骤401，构建目标图像的均匀网格。

步骤402，从步骤201输出的匹配直线、从步骤202输出的匹配点，构造点线对齐项；从步骤300输出的全局单应矩阵H，估计目标图像的旋转角，在目标图像上划分等距水平直线簇和垂直直线簇，在非重叠区和重叠区构造畸变抑制项。

步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，。

图4展示了局部直线由于光照、目标物等原因的局限性，存在若干局部直线需要合并成全局直线来处理的情况。本步骤中，记从步骤100输出的目标图像中的特征直线集为{l_j}_{j＝1,2,…,M}，在特征直线集为{l_j}中，若任意两直线l₁和l₂满足以下约束，则合并这两条直线并将其加入{l_j}。为了防止重复合并的情况，每次合并时需要将待合并直线l₁和l₂做上标记，以后遍历{l_j}时不再访问直线l₁和l₂。合并完成后，按照长度将所有直线划分为局部直线和全局直线/>

记两直线的斜率分别为k(l₁)和k(l₂)、两直线端点分别为和/>点/>到直线l₂的距离记作/>点/>到点/>的距离记作/>若满足以下三个条件则可以合并直线：

在合并直线的循环中，我们对每条直线引入flag变量，默认所有直线初始状态flag变量均为0。若直线l_m和l_n的flag均为0，才可以参与合并。合并后将l_m和l_n的flag变量置为1。防止后续发生死循环的问题。

然后根据局部直线集和全局直线集/>构造显著直线保护项，该能量项对长直线的保持效果如图5所示。

步骤404，通过最小化能量函数计算扭曲网格的顶点坐标。

设目标图像为I，参考图像为I′。在I中，记网格变形前的顶点坐标为V，变形后的顶点坐标为构造关于/>的能量函数/>通过最小化能量函数，在若干约束条件下，求解最合适的变形后顶点坐标/>

其中，表示显著直线保护项，/>表示点线对齐项，/>表示畸变抑制项。

步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。

步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果。具体包括：

记从步骤201输出的匹配直线集为{L_j}和{L′_j}，{L_j}表示目标图像中的直线集，{L′_j}表示参考图像中的直线集；

残差项E_err用来评估匹配直线的线性保持效果；在直线{L_j}_{j＝1,2,…,T}上均匀采样特征点，记作记网格变换后的所有特征点/>为/>

对于某直线L_j，其变换后的采样点为用最小二乘法将这些点拟合成直线/>则残差项E_err为：

距离项E_dis用来评估匹配直线的平均距离；在直线{L_j}_{j＝1,2,…,T}上均匀采样特征点，记作则/>和/>表示该直线的首尾端点，计算变换后的两端点/>和/>到L′_j的平均距离；则距离项E_dir为：

方向项E_dir用来评估匹配直线的平行性；在直线{L_j}_{j＝1,2,…,T}上均匀采样特征点，记作则/>和/>表示该直线的首尾端点，记以/>和/>为端点的直线为/>计算两直线/>和L′_j方向向量的外积；则方向项E_dir为：

利用残差项E_err、距离项E_dis、方向项E_dir，可以有效地评估拼接图像的直线性保护情况，是衡量拼接图像效果的重要参数。

如图6所示，直线L_j表示目标图像中的一条特征直线，L′_j表示直线L_j的匹配直线，表示由L_j上的等距采样点{P^j}经网格变换后的/>拟合成的直线。左下方的图表示了残差项E_err的构造过程，右上方的图表示了距离项E_dis的构造过程，右下方的图表示了方向项E_dir的构造过程。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于直线特征匹配及约束的图像拼接方法，其特征在于，包括以下过程：

步骤100，将两幅图像划分为目标图像和参考图像，利用SURF方法提取并匹配两幅图像中的特征点，利用RANSAC方法筛选正确的匹配点，利用LSD方法提取两幅图像中的直线；

步骤200，利用点线不变量匹配两幅图像中的直线，然后根据几何映射关系寻找匹配直线对应的邻域内的特征点以增加特征点的数量，最后使用RANSAC方法筛选正确的匹配特征点对，具体过程如下：

步骤201，从步骤100输出的直线中，根据直线的长度为每条直线划分邻域，然后计算目标图像直线和参考图像直线对应的左邻域和右邻域的相似度，根据邻域相似度得到最终的匹配直线集；

步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点；

步骤300，利用步骤200获得的所有匹配特征点和匹配直线，估计目标图像和参考图像之间的单应矩阵H；

步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；所述约束项包括点线对齐项、畸变抑制项、局部及全局直线保护项；

步骤401，构建目标图像的均匀网格；

步骤402，从步骤201输出的匹配直线、从步骤202输出的匹配点，构造点线对齐项；从步骤300输出的全局单应矩阵H，估计目标图像的旋转角，在目标图像上划分等距水平直线簇和垂直直线簇，在非重叠区和重叠区构造畸变抑制项；

步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，据此构造显著直线保护项；

步骤404，通过最小化能量函数计算扭曲网格的顶点坐标；

步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。

2.根据权利要求1所述的一种基于直线特征匹配及约束的图像拼接方法，其特征在于，在步骤201中，计算目标图像直线和参考图像直线对应的左邻域和右邻域的邻域相似度，具体包括：

记从步骤100输出的目标图像中的直线集为参考图像中的直线集为在所有/>和/>中直线上选取两个关键点，记某直线l的关键点分别为/>和/>根据直线长度为每条直线划分左邻域和右邻域，在目标图像和参考图像中，任取一对左邻域或右邻域，若该对邻域中含有4对以下匹配点，则认为邻域间相似度为0；若该对邻域中含有5对以上匹配点，则由下列公式计算邻域间的相似度：

设两邻域对应的直线为l和l′，其关键点分别为和/>对于邻域内的匹配点集{P_i}_{i＝1，2，...，N}和{P′_i}_{i＝1，2，...，N}，选定一对点为基点记作P₁和P′₁，从剩余的匹配点中随机选取两对点记作P₂和P′₂、P₃和P′₃，每对基点共有N种选法，选定基点后对于两对随机点共有/>种选法；计算邻域中每对基点的相似度，然后通过N组基点计算邻域的相似度；记为点P_i和P_j连接形成的直线、/>为直线/>和/>的交点，则可以用匹配点和/>计算用于构造三角形特征数的点{V，P₁，M，N，P₃，W}的坐标信息：

并按照上述方法构造{V′，P′₁，M′，N′，P′₃，W′}；其中，点T为构造三角形特征数的过程点；上述五对点构建的三角形特征数，记作CN_i(r)和CN′_i(r)，

一组三角形特征数的相似度为：

基点P_i和P′_i的相似度用组三角形特征数的相似度的中值计算：

该邻域的相似度用N组基点的相似度的最大值计算：

S＝max{S(P_i，P′_i)}，i＝1，2，...，N；

对于两条直线，若其左右邻域的相似度均互为所有直线中的最大值，则认为这两条直线匹配。

3.根据权利要求2所述的一种基于直线特征匹配及约束的图像拼接方法，其特征在于，步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点，具体包括：

记从步骤201输出的匹配直线集为{L_j}_{j＝1，2，...，M}和{L′_j}_{j＝1，2，...，M}，{L_j}_{j＝1，2，...，M}表示目标图像中的直线集，{L′_j}_{j＝1，2，...，M}表示参考图像中的直线集；由步骤201可知，匹配直线间的某对应邻域内必然存在5对以上匹配点，因此可以分别构造第j条匹配直线的左匹配邻域和右匹配邻域内的三角形特征数，构造过程同步骤201：

以第j条匹配直线的左邻域为例，在目标图像中对应邻域中随机选定一对点为基点后，从剩余的匹配点中随机选取两对点作为一组，以此法一共可以构造组特征三角形，其中{V，W，M，N}为特征三角形边上的点，U为特征三角形的顶点，上述五个点均满足射影不变性。每组特征三角形在参考图像中均可以构造对应的特征三角形，因此可以将这五个点及其对应点作为匹配点加入待匹配点集，最终使用RANSAC算法筛选待匹配点集中正确的匹配点，以此增加匹配点的数量。

4.根据权利要求1所述的一种基于直线特征匹配及约束的图像拼接方法，其特征在于，步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，具体包括：

记从步骤100输出的目标图像中的特征直线集为{l_j}_{j＝1，2，...，M}，在特征直线集为{l_j}中，若任意两直线l₁和l₂满足以下约束，则合并这两条直线并将其加入{l_j}；为了防止重复合并的情况，每次合并时需要将待合并直线l₁和l₂做上标记，以后遍历{l_j}时不再访问直线l₁和l₂；合并完成后，按照长度将所有直线划分为局部直线和全局直线/>

记两直线的斜率分别为k(l₁)和k(l₂)、两直线端点分别为和/>点/>到直线l₂的距离记作/>点/>到点/>的距离记作/>若满足以下三个条件则可以合并直线：

在合并直线的循环中，我们对每条直线引入flag变量，默认所有直线初始状态flag变量均为0；若直线l_m和l_n的flag均为0，才可以参与合并；合并后将l_m和l_n的flag变量置为1；防止后续发生死循环的问题；

根据局部直线集和全局直线集/>构造显著直线保护项。

5.根据权利要求1所述的一种基于直线特征匹配及约束的图像拼接方法，其特征在于，在步骤500之后，还包括：

步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果。

6.根据权利要求5所述的一种基于直线特征匹配及约束的图像拼接方法，其特征在于，步骤600，根据残差项、距离项和方向项，评估图像的直线性结构保护效果，具体包括：

记从步骤201输出的匹配直线集为{L_j}和{L′_j}，{L_j}表示目标图像中的直线集，{L′_j}表示参考图像中的直线集；

残差项E_err用来评估匹配直线的线性保持效果；在直线{L_j}_{j＝1，2，...，T}上均匀采样特征点，记作记网格变换后的所有特征点/>为/>

对于某直线L_j，其变换后的采样点为用最小二乘法将这些点拟合成直线/>则残差项E_err为：

距离项E_dis用来评估匹配直线的平均距离；在直线{L_j}_{j＝1，2，...，T}上均匀采样特征点，记作则/>和/>表示该直线的首尾端点，计算变换后的两端点/>和/>到L′_j的平均距离；则距离项E_dis为：

方向项E_dir用来评估匹配直线的平行性；在直线{L_j}_{j＝1，2，...，T}上均匀采样特征点，记作则/>和/>表示该直线的首尾端点，记以/>和/>为端点的直线为/>计算两直线/>和L′_j方向向量的外积；则方向项E_dir为：

利用残差项E_err、距离项E_dis、方向项E_dir，评估拼接图像的直线性保护情况。