CN115346058B - 一种直线特征匹配方法、系统、电子设备及介质 - Google Patents

一种直线特征匹配方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN115346058B
CN115346058B CN202211276432.6A CN202211276432A CN115346058B CN 115346058 B CN115346058 B CN 115346058B CN 202211276432 A CN202211276432 A CN 202211276432A CN 115346058 B CN115346058 B CN 115346058B
Authority
CN
China
Prior art keywords
straight line
matching
feature
pair
line pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211276432.6A
Other languages
English (en)
Other versions
CN115346058A (zh
Inventor
陈敏
黎雯
朱庆
陈学业
郭晗
聂可
方通
徐博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Planning And Natural Resources Data Management Center Shenzhen Spatial Geographic Information Center
Southwest Jiaotong University
Original Assignee
Shenzhen Planning And Natural Resources Data Management Center Shenzhen Spatial Geographic Information Center
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Planning And Natural Resources Data Management Center Shenzhen Spatial Geographic Information Center, Southwest Jiaotong University filed Critical Shenzhen Planning And Natural Resources Data Management Center Shenzhen Spatial Geographic Information Center
Priority to CN202211276432.6A priority Critical patent/CN115346058B/zh
Publication of CN115346058A publication Critical patent/CN115346058A/zh
Application granted granted Critical
Publication of CN115346058B publication Critical patent/CN115346058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及遥感影像处理中的影像匹配技术领域，其目的在于提供一种直线特征匹配方法、系统、电子设备及介质。基于本发明中的直线特征匹配方法，包括：在得到更新后候选匹配直线对集合M c3 后，先通过可靠性验证，从更新后候选匹配直线对集合M c3 中找到可靠匹配直线对和待确认匹配直线对，并得到对应的可靠匹配集合M f1 和待确认匹配集合M p ，再基于可靠匹配集合M f1 中的可靠匹配直线对为待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，以判断待确认匹配集合M p 中待确认匹配直线对的可靠性，以便进一步获取待确认匹配集合M p 中的可靠匹配直线对，由此提升直线特征匹配的效果。

Description

一种直线特征匹配方法、系统、电子设备及介质
技术领域
本发明涉及遥感影像处理中的影像匹配技术领域，特别是涉及一种直线特征匹配方法、系统、电子设备及介质。
背景技术
现有基于影像的三维重建方法得到的三维模型目标的边缘处容易出现变形、缺失或粘连等问题。鉴于城市场景影像中，人工目标边缘能提取大量的直线特征，而直线特征又具有丰富的语义信息和几何信息，能表达目标的边缘结构特征。因此，利用直线特征构建约束条件来辅助三维重建，提高三维模型边缘轮廓的精度是目前的研究热点之一。在此过程中，直线特征匹配是一个关键问题。
根据是否需要点匹配作为先验信息，可将现有的直线特征匹配方法分为仅基于直线特征的匹配方法和点线特征联合的匹配方法，具体如下：
（1）仅基于直线特征的匹配方法
在仅基于直线特征的匹配方法中，又可根据线段的组织方式不同进一步细分为基于单直线的匹配方法、基于直线对的匹配方法，以及基于直线特征组的匹配方法，分别如下：
①基于单直线的匹配方法
基于单直线的匹配方法通常利用直线特征的几何信息和邻域的辐射信息来获得同名直线。其中，几何信息包括长度、方向和距离等，在窄基线影像对或影像序列之间具有一定的不变性；邻域辐射信息包括强度、梯度或色彩信息等，对局部影像变换不敏感。因此，可以根据上述信息来约束匹配。其匹配的核心思想与点匹配相似：首先构建直线特征区域；然后通过计算特征区域内像素的梯度方向、梯度幅值、方差等信息，统计信息直方图得到直线的特征描述符；最后计算参考影像与搜索影像直线特征描述符的相似性，通常用欧氏距离衡量描述符的相似度。
然而，基于单直线的匹配方法由于可利用的几何关系少，难以构建对影像视角变化鲁棒的几何约束条件，导致此类方法难以在具有明显视角变化的宽基线影像之间获得好的匹配效果。
②基于直线对的匹配方法
针对基于单直线的方法鲁棒性不强的问题，研究人员以直线对来替代单直线作为匹配基元，通过直线对内部及与相邻直线段之间的相互位置关系构建对视角变化鲁棒的几何约束和特征描述符，以提高直线特征匹配性能。基于直线对的匹配方法是将影像中的符合一定条件的相邻两条线段组成一个直线对，在匹配过程中将每个直线对视为一个匹配基元。其匹配的核心思想为：首先利用几何关系确定候选同名直线特征对的搜索范围，随后对搜索范围内的直线特征对确定特征区域并计算特征描述符，最后进行相似性度量得到直线特征对的匹配结果，并基于直线对的匹配结果和构成直线对的单直线之间的相对位置关系得到一一对应的直线匹配。
基于直线对的方法相比于单直线的匹配方法，由于可构建更复杂有力的几何约束条件，往往能获得更好的匹配效果。但是在构建特征区域时，现有方法要么采用以直线对交点为中心的对称特征区域，要么采用以直线对交点为顶点的平行四边形特征区域。因此，该方法不能兼顾影像视角变化与弱纹理现象，使得匹配效果的提升受限。
③基于直线特征组的匹配方法
基于直线特征组的匹配方法与基于直线对的方法的不同之处在于每组直线包含三条或三条以上的线段。基于邻近直线特征之间的相对位置关系在局部影像变换下保持稳定的原则，构建直线组内部直线特征的几何结构，通过计算直线组特征描述向量，实现直线组之间的匹配，从而得到线段间的匹配。由于每个直线组内所含直线段数量比基于直线对的方法更多，因而能够构建更复杂更强的几何约束条件，使得采用此方法在大多数影像上能获得较好的匹配结果。但是，这种几何约束在具有相似几何结构的影像区域可区分性不强，容易产生误匹配的问题，并且随着各直线组的线段数增加，构建局部几何结构的复杂度将会显著增加。
（2）点线特征联合的匹配方法
在影像特征匹配领域，针对点特征匹配的研究远比直线特征匹配的研究深入，已有如SIFT（Scale-invariant feature transform，尺度不变特征变换）等方法可以在影像的像对之间获得不错的匹配效果。因此，一些研究将点匹配视为直线特征匹配的先验信息，尤其是对于具有明显视角变化的宽基线影像，直接进行直线特征匹配难度较大，此时可挖掘直线特征与点特征之间的几何关系来构建仿射不变量，进而提高宽基线影像的直线特征匹配效果。但是，这类方法的匹配效果受匹配点的数量、可靠性以及几何分布等的影响较大。且在基于直线对的匹配方法中，匹配点也可被用来辅助构建仿射不变量约束候选匹配搜索范围或构建仿射不变特征区域生成对视角变化鲁棒的特征描述符，进而提高直线特征匹配效果。
将上述各直线特征匹配方法进行对比可知，在现有直线特征匹配方法中，基于直线对的匹配方法具有更优的综合性能。然而，这类方法仍存在前文所述的不能兼顾影像同时存在的视角变化与弱纹理区域的瓶颈问题，直线特征匹配性能较差。
发明内容
本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种直线特征匹配方法、系统、电子设备及介质。
本发明采用的技术方案是：
第一方面，本发明提供了一种直线特征匹配方法，包括：
分别从输入的参考影像和待匹配的搜索影像上提取直线特征，得到参考影像直线特征和搜索影像直线特征，并分别对所述参考影像直线特征和所述搜索影像直线特征进行直线特征组对，得到参考影像直线对和搜索影像直线对；
为每个所述参考影像直线对确定其在所述搜索影像上的候选匹配直线对，得到候 选匹配直线对集合M c1 ；其中，所述候选匹配直线对集合M c1 包括多对候选匹配直线对（
Figure 125233DEST_PATH_IMAGE001
，
Figure 410721DEST_PATH_IMAGE002
），
Figure 678891DEST_PATH_IMAGE001
表示所述参考影像直线对，
Figure 733435DEST_PATH_IMAGE002
表示所述搜索影像直线对中与
Figure 179591DEST_PATH_IMAGE001
对应的候选匹 配直线对；
对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ；
对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中；
基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对设定为可靠匹配直线对，再将其存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
本发明的直线特征匹配性能佳；具体地，基于上述步骤，本发明在实施过程中，得到更新后候选匹配直线对集合M c3 后，先通过可靠性验证，从更新后候选匹配直线对集合M c3 中找到可靠匹配直线对和待确认匹配直线对，并得到对应的可靠匹配集合M f1 和待确认匹配集合M p ，再基于可靠匹配集合M f1 中的可靠匹配直线对为待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，以判断待确认匹配集合M p 中待确认匹配直线对的可靠性，以便进一步获取待确认匹配集合M p 中的可靠匹配直线对，由此提升直线特征匹配的效果，具备推广应用的价值。
在一个可能的设计中，对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ，包括：
对所述候选匹配直线对集合M c1 中的候选匹配直线对进行初步筛选，得到初步更新后候选匹配直线对集合M c2 ；
对所述初步更新后候选匹配直线对集合M c2 中的候选匹配直线对进行二次筛选，得到更新后候选匹配直线对集合M c3 ;
其中，对所述初步更新后候选匹配直线对集合M c2 中的候选匹配直线对进行二次筛选，得到更新后候选匹配直线对集合M c3 ，包括：
根据所述初步更新后候选匹配直线对集合M c2 中的每对候选匹配直线对（
Figure DEST_PATH_IMAGE003
，
Figure 952375DEST_PATH_IMAGE002
）， 分别构建与所述参考影像直线对
Figure 289815DEST_PATH_IMAGE003
对应的第一非对称特征区域
Figure 402127DEST_PATH_IMAGE004
，以及与所述候 选匹配直线对
Figure 534032DEST_PATH_IMAGE002
对应的第二非对称特征区域
Figure 43379DEST_PATH_IMAGE005
；
分别在所述第一非对称特征区域
Figure 122194DEST_PATH_IMAGE004
和所述第二非对称特征区域
Figure 151329DEST_PATH_IMAGE005
内 计算特征描述符，得到所述参考影像直线对
Figure 657397DEST_PATH_IMAGE003
的第一特征描述符
Figure DEST_PATH_IMAGE006
，以及所 述候选匹配直线对
Figure 139194DEST_PATH_IMAGE002
的第二特征描述符
Figure 818437DEST_PATH_IMAGE007
；
计算所述第一特征描述符
Figure 452812DEST_PATH_IMAGE006
以及所述第二特征描述符
Figure 129781DEST_PATH_IMAGE007
之间的相似度，并剔除所述初步更新后候选匹配直线对集合M c2 中相似度小 于第一相似度阈值
Figure DEST_PATH_IMAGE008
的候选匹配直线对，得到更新后候选匹配直线对集合M c3 。
在一个可能的设计中，对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中，包括：
根据所述更新后候选匹配直线对集合M c3 中的每对候选匹配直线对（
Figure 98874DEST_PATH_IMAGE001
，
Figure 581808DEST_PATH_IMAGE009
），分 别获取以所述参考影像直线对
Figure 319957DEST_PATH_IMAGE001
中两条直线段的交点为中心的第一对称特征区域
Figure DEST_PATH_IMAGE010
，以及以所述候选匹配直线对
Figure 43910DEST_PATH_IMAGE011
中两条直线段的交点为中心的第二 对称特征区域
Figure DEST_PATH_IMAGE012
；其中，所述第一对称特征区域
Figure 234720DEST_PATH_IMAGE010
包 括与所述参考影像直线对
Figure 255766DEST_PATH_IMAGE001
对应的第一非对称特征区域
Figure 317263DEST_PATH_IMAGE013
和与所述第一非对称特 征区域
Figure 867193DEST_PATH_IMAGE004
合并后可构成对称特征区域的第一扩展特征区域
Figure DEST_PATH_IMAGE014
,所述第二对称特 征区域
Figure 358348DEST_PATH_IMAGE015
包括与所述候选匹配直线对
Figure 917506DEST_PATH_IMAGE002
对应的第二非对称特征区域
Figure 630247DEST_PATH_IMAGE016
和与所述第二非对称特征区域
Figure DEST_PATH_IMAGE017
合并后可构成对称特征区域的第二扩展特 征区域
Figure 600345DEST_PATH_IMAGE018
；
将所述第一扩展特征区域
Figure 31327DEST_PATH_IMAGE019
划分为三个与所述第一非对称特征区域
Figure 331858DEST_PATH_IMAGE013
大小相同的子区域，并将所述第二扩展特征区域
Figure 430264DEST_PATH_IMAGE018
划分为三个与所述第二非 对称特征区域
Figure 790838DEST_PATH_IMAGE016
大小相同的子区域；
分别在每个与第一扩展特征区域
Figure DEST_PATH_IMAGE020
对应的子区域内以及每个与第二扩展特 征区域
Figure 443537DEST_PATH_IMAGE018
对应的子区域内计算特征描述符，再分别合并三个特征描述符，得到所述参 考影像直线对
Figure 360808DEST_PATH_IMAGE001
在第一扩展特征区域
Figure 251404DEST_PATH_IMAGE021
的第三特征描述符
Figure 845196DEST_PATH_IMAGE022
以及所 述候选匹配直线对
Figure 188453DEST_PATH_IMAGE002
在第二扩展特征区域
Figure 893104DEST_PATH_IMAGE018
的第四特征描述符
Figure DEST_PATH_IMAGE023
；
计算所述第三特征描述符
Figure 169364DEST_PATH_IMAGE022
以及所述第四特征描述符
Figure 183325DEST_PATH_IMAGE023
之间的相似度，将所述更新后候选匹配直线对集合M c3 中相似度不小于第二 相似度阈值
Figure 13878DEST_PATH_IMAGE024
的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存 储到可靠匹配集合M f1 中，同时将所述更新后候选匹配直线对集合M c3 中相似度小于第二相 似度阈值
Figure 522220DEST_PATH_IMAGE024
的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对 存储到待确认匹配集合M p 中。
在一个可能的设计中，基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 ，包括：
根据所述待确认匹配集合M p 中的每对所述待确认匹配直线对（
Figure 121828DEST_PATH_IMAGE003
，
Figure 57423DEST_PATH_IMAGE002
），分别以 所述参考影像直线对
Figure 375272DEST_PATH_IMAGE003
中两条直线段为坐标轴构成第一坐标系，以及与所述候选匹配直 线对
Figure 687305DEST_PATH_IMAGE002
中两条直线段为坐标轴构成第二坐标系，在所述第一坐标系或所述第二坐标系中， 以对应两条直线段所夹区域为第一象限，并按顺时针方向依次确定当前坐标系的第二象 限、第三象限和第四象限；
遍历所述可靠匹配集合M f1 中每对所述可靠匹配直线对中的参考影像直线对
Figure 141420DEST_PATH_IMAGE003
， 并计算其在所述第一坐标系中的象限编号，以象限编号作为向量元素，得到所述参考影像 直线对
Figure 998649DEST_PATH_IMAGE003
的拓扑描述符向量；
遍历所述可靠匹配集合M f1 中每对所述可靠匹配直线对中的候选匹配直线对
Figure 803794DEST_PATH_IMAGE002
， 并计算其在所述第二坐标系中的象限编号，以象限编号作为向量元素，得到所述候选匹配 直线对
Figure 653938DEST_PATH_IMAGE002
的拓扑描述符向量；
计算所述参考影像直线对
Figure 228139DEST_PATH_IMAGE003
的拓扑描述符向量与所述候选匹配直线对
Figure 505536DEST_PATH_IMAGE002
的拓 扑描述符向量之间的欧氏距离，并剔除所述待确认匹配集合M p 中欧氏距离大于第二距离阈 值T td 的待确认匹配直线对，认定所述待确认匹配集合M p 中欧氏距离不大于第二距离阈值T td 的待确认匹配直线对验证通过，再将验证通过的待确认匹配直线对存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
在一个可能的设计中，得到更新后可靠匹配直线对集合M f2 后，所述直线特征匹配方法还包括：
根据所述更新后可靠匹配直线对集合M f2 中每对可靠匹配直线对中两条直线段的相对关系，确定一一对应的直线特征匹配，得到第一直线特征匹配集合LineM1；
根据所述参考影像直线特征和所述搜索影像直线特征，以及所述第一直线特征匹 配集合LineM1中的直线特征，得到所述参考影像和所述搜索影像上仍未匹配的直线特征， 构成参考影像未匹配直线特征集合
Figure 797978DEST_PATH_IMAGE025
和搜索影像未匹配直线特征集合
Figure 186234DEST_PATH_IMAGE026
；
基于所述更新后可靠匹配直线对集合M f2 ，构建自适应控制区域的局部单应约束， 以对所述参考影像未匹配直线特征集合
Figure 614941DEST_PATH_IMAGE027
和所述搜索影像未匹配直线特征集合
Figure 578086DEST_PATH_IMAGE026
中的直线特征进行匹配，得到第二直线特征匹配集合LineM2，再将所述第一直 线特征匹配集合LineM1与所述第二直线特征匹配集合LineM2合并，得到最终的直线特征匹 配集合LineM final 。
在一个可能的设计中，基于所述更新后可靠匹配直线对集合M f2 ，构建自适应控制 区域的局部单应约束，以对所述参考影像未匹配直线特征集合
Figure DEST_PATH_IMAGE028
和所述搜索影像 未匹配直线特征集合
Figure 888982DEST_PATH_IMAGE029
中的直线特征进行匹配，得到第二直线特征匹配集合LineM2，再将所述第一直线特征匹配集合LineM1与所述第二直线特征匹配集合LineM2合 并，得到最终的直线特征匹配集合LineM final ，包括：
分别获取所述更新后可靠匹配直线对集合M f2 中的每对可靠匹配直线对（
Figure 18612DEST_PATH_IMAGE001
，
Figure 629722DEST_PATH_IMAGE002
） 的所述参考影像直线对
Figure 983343DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 984797DEST_PATH_IMAGE002
对应的控制区域；
根据所述参考影像直线对
Figure 731167DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 931204DEST_PATH_IMAGE002
对应的控制区域之 间的对应关系，获取所述参考影像直线对
Figure 658989DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 210056DEST_PATH_IMAGE002
对应的控制 区域之间的局部单应变换H ij ；
判断所述参考影像未匹配直线特征集合
Figure 681489DEST_PATH_IMAGE030
中未匹配的直线特征
Figure 1612DEST_PATH_IMAGE031
， 是否与所述更新后可靠匹配直线对集合M f2 中任一可靠匹配直线对（
Figure 165877DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE033
）的参考影像 直线对
Figure 193788DEST_PATH_IMAGE032
对应的控制区域存在交集，如是，则将当前未匹配的直线特征
Figure 265649DEST_PATH_IMAGE034
按当前可靠 匹配直线对（
Figure 643541DEST_PATH_IMAGE032
，
Figure 775445DEST_PATH_IMAGE033
）对应的局部单应变换H xy 映射到所述搜索影像，得到映射直线段
Figure DEST_PATH_IMAGE035
，然后进入下一步；
判断所述搜索影像未匹配直线特征集合
Figure 769945DEST_PATH_IMAGE026
中是否存在一直线特征
Figure 396230DEST_PATH_IMAGE036
满足将其投射到所述映射直线段
Figure 425366DEST_PATH_IMAGE035
所在的直线后，投影直线段与所述映射直线 段
Figure 931434DEST_PATH_IMAGE035
的重叠像素大于0，且该直线特征
Figure DEST_PATH_IMAGE037
的两个端点到所述映射直线段
Figure 413230DEST_PATH_IMAGE035
的 距离与所述映射直线段
Figure 92474DEST_PATH_IMAGE035
的两个端点到该直线特征
Figure 179378DEST_PATH_IMAGE037
的距离的平均距离
Figure 167932DEST_PATH_IMAGE038
小于第三距离阈值T H ，如是，则将该直线特征
Figure 340287DEST_PATH_IMAGE036
视为与当前未匹配的直线特征
Figure 557642DEST_PATH_IMAGE034
对 应的匹配直线特征，并将直线特征
Figure 764632DEST_PATH_IMAGE037
与直线特征
Figure 674819DEST_PATH_IMAGE034
作为匹配结果；
遍历所述参考影像未匹配直线特征集合
Figure 334471DEST_PATH_IMAGE030
中所有的未匹配的直线特征
Figure 355516DEST_PATH_IMAGE031
，得到存储有所有匹配结果的第二直线特征匹配集合LineM2；
将所述第一直线特征匹配集合LineM1与所述第二直线特征匹配集合LineM2合并，得到最终的直线特征匹配集合LineM final 。
在一个可能的设计中，判断所述参考影像未匹配直线特征集合
Figure 151434DEST_PATH_IMAGE030
中未匹 配的直线特征
Figure 983255DEST_PATH_IMAGE034
，是否与所述更新后可靠匹配直线对集合M f2 中任一可靠匹配直线对（
Figure 130203DEST_PATH_IMAGE032
，
Figure 954939DEST_PATH_IMAGE033
）的参考影像直线对
Figure DEST_PATH_IMAGE039
对应的控制区域存在交集时，如否，则认为当前未匹配的 直线特征
Figure 667680DEST_PATH_IMAGE034
在所述搜索影像上没有匹配直线特征。
第二方面，本发明提供了一种直线特征匹配系统，用于实现如上述任一项所述的直线特征匹配方法；所述直线特征匹配系统包括：
直线对获取模块，用于分别从输入的参考影像和待匹配的搜索影像上提取直线特征，得到参考影像直线特征和搜索影像直线特征，并分别对所述参考影像直线特征和所述搜索影像直线特征进行直线特征组对，得到参考影像直线对和搜索影像直线对；
直线对匹配模块，与所述直线对获取模块通信连接，用于为每个所述参考影像直 线对确定其在所述搜索影像上的候选匹配直线对，得到候选匹配直线对集合M c1 ；其中，所述 候选匹配直线对集合M c1 包括多对候选匹配直线对（
Figure 388512DEST_PATH_IMAGE001
，
Figure 22755DEST_PATH_IMAGE040
），
Figure 369292DEST_PATH_IMAGE001
表示所述参考影像直线 对，
Figure 467698DEST_PATH_IMAGE040
表示所述搜索影像直线对中与
Figure 562693DEST_PATH_IMAGE001
对应的候选匹配直线对；
直线对筛选模块，与所述直线对匹配模块通信连接，用于对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ；
第一可靠性验证模块，与所述直线对筛选模块通信连接，用于对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中；
第二可靠性验证模块，与所述第一可靠性验证模块通信连接，用于基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对设定为可靠匹配直线对，再将其存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
第三方面，本发明提供了一种电子设备，包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的直线特征匹配方法的操作。
第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的直线特征匹配方法的操作。
附图说明
图1是本发明中直线特征匹配方法的流程图；
图2是本发明中构建的第一非对称特征区域
Figure 746549DEST_PATH_IMAGE004
的结构示意图；
图3是本发明中构建的第二非对称特征区域
Figure DEST_PATH_IMAGE041
的结构示意图；
图4是本发明中第二非对称特征区域
Figure 929400DEST_PATH_IMAGE041
存在的四种情况的结构示意图；
图5是本发明中构建的第一对称特征区域
Figure 351154DEST_PATH_IMAGE042
的结构示意图；
图6是本发明中直线特征匹配系统的模块框图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况。
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。
实施例1：
本实施例第一方面提供了一种直线特征匹配方法，可以但不限于由具有一定计算资源的计算机设备或虚拟机执行，例如由个人计算机、智能手机、个人数字助理或可穿戴设备等电子设备执行，或者由虚拟机执行，以便提高直线特征匹配性能。
如图1所示，一种直线特征匹配方法，可以但不限于包括有如下步骤：
S1.分别从输入的参考影像和待匹配的搜索影像上提取直线特征，得到参考影像直线特征和搜索影像直线特征，并分别对所述参考影像直线特征和所述搜索影像直线特征进行直线特征组对，得到参考影像直线对和搜索影像直线对；应当理解的是，每个直线对中均包括两条直线段；具体地，进行直线特征组对时，步骤如下：分别以每一个直线特征为中心直线段，设置一个以其为中心的组对直线段搜索区域，任一与组对直线段搜索区域有交集且与当前中心直线段的夹角大于夹角阈值T θ 的直线段都被视为该中心直线段的组对直线段，该中心直线段和对应的组对直线段则构成一个直线对。
S2.为每个所述参考影像直线对确定其在所述搜索影像上的候选匹配直线对，得 到候选匹配直线对集合M c1 ；其中，所述候选匹配直线对集合M c1 包括多对候选匹配直线对（
Figure 882630DEST_PATH_IMAGE003
，
Figure 288203DEST_PATH_IMAGE002
），
Figure 992854DEST_PATH_IMAGE003
表示所述参考影像直线对，
Figure 737956DEST_PATH_IMAGE002
表示所述搜索影像直线对中与
Figure 751917DEST_PATH_IMAGE003
对应的候 选匹配直线对。
具体地，对于任意参考影像直线对
Figure 379208DEST_PATH_IMAGE001
中的每条直线段，计算其两个端点在所述搜 索影像上对应的两条核线，然后将这两条核线所夹区域确定为搜索区域，由此可为参考影 像直线对
Figure 825233DEST_PATH_IMAGE001
在所述搜索影像上确定两个搜索区域
Figure 487158DEST_PATH_IMAGE043
和
Figure 360436DEST_PATH_IMAGE044
，两个搜索区域
Figure 475023DEST_PATH_IMAGE043
和
Figure 272209DEST_PATH_IMAGE044
分别与直线对
Figure 991903DEST_PATH_IMAGE001
中的两条直线段对应。对于所述搜索影像上的任意直线对
Figure 832820DEST_PATH_IMAGE009
，如果构成
Figure 700282DEST_PATH_IMAGE009
的两条直线段的其中一条直线段与搜索区域
Figure 488109DEST_PATH_IMAGE045
存在交集，而另一条直线段与搜索区 域
Figure 859048DEST_PATH_IMAGE044
存在交集，则认为所述搜索影像直线对
Figure 114274DEST_PATH_IMAGE011
是参考影像直线对
Figure 203453DEST_PATH_IMAGE001
的一个候选匹配 直线对。按此方法，遍历参考影像和搜索影像上所有直线对，可得到候选匹配直线对集合M c1 。
对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 。
具体地，对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ，包括：
S3.对所述候选匹配直线对集合M c1 中的候选匹配直线对进行初步筛选，得到初步更新后候选匹配直线对集合M c2 。需要说明的是，通过该初步筛选过程，可尽可能地剔除所述候选匹配直线对集合M c1 中的错误匹配。
本实施例中，基于直线对中两条直线段的交点到核线的距离对所述候选匹配直线 对集合M c1 中的候选匹配直线对进行初步筛选。初步筛选的步骤如下：根据所述候选匹配直 线对集合M c1 中的每对候选匹配直线对（
Figure 794971DEST_PATH_IMAGE001
，
Figure 285996DEST_PATH_IMAGE002
），分别获取所述参考影像直线对
Figure 671978DEST_PATH_IMAGE001
在所 述搜索影像上对应的核线e i ，并计算所述参考影像直线对
Figure 514032DEST_PATH_IMAGE001
中两条直线段的交点到对应 核线e i 的距离，然后剔除距离不小于第一距离阈值T d 的候选匹配直线对，即只有该距离小于 第一距离阈值T d 时，该候选匹配（
Figure 643662DEST_PATH_IMAGE001
，
Figure 739925DEST_PATH_IMAGE002
）才被保留，按此方法遍历所述候选匹配直线对集 合M c1 中的所有候选匹配直线对，得到初步更新后候选匹配直线对集合M c2 。
S4.对所述初步更新后候选匹配直线对集合M c2 中的候选匹配直线对进行二次筛选，得到更新后候选匹配直线对集合M c3 。
需要说明的是，初步筛选与二次筛选中采用不同的约束条件，可以剔除不同类型的错误匹配，本实施例中，对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，采用步骤S3和步骤S4依次进行筛选，可便于最大化程度地剔除所述候选匹配直线对集合M c1 中的错误匹配。
具体地，本实施例中，步骤S4包括：
S401.根据所述初步更新后候选匹配直线对集合M c2 中的每对候选匹配直线对（
Figure 562387DEST_PATH_IMAGE001
，
Figure 626158DEST_PATH_IMAGE002
），分别构建与所述参考影像直线对
Figure 559479DEST_PATH_IMAGE001
对应的第一非对称特征区域
Figure 759516DEST_PATH_IMAGE004
，以及 与所述候选匹配直线对
Figure 752880DEST_PATH_IMAGE002
对应的第二非对称特征区域
Figure 303947DEST_PATH_IMAGE046
；其中，所述第一非对称特 征区域
Figure 821385DEST_PATH_IMAGE004
以所述参考影像直线对
Figure 79191DEST_PATH_IMAGE001
中两条直线段的交点为顶点，所述第二非对称 特征区域
Figure 305773DEST_PATH_IMAGE046
以所述候选匹配直线对
Figure 16240DEST_PATH_IMAGE002
中两条直线段的交点为顶点；具体地，构建与 所述参考影像直线对
Figure 353681DEST_PATH_IMAGE003
对应的第一非对称特征区域
Figure 731572DEST_PATH_IMAGE013
时，如图2所示，对于所述参 考影像直线对
Figure 863476DEST_PATH_IMAGE003
，选用构成所述参考影像直线对
Figure 874289DEST_PATH_IMAGE003
的两条直线段l c 和l p 的端点来构建其 非对称特征区域
Figure 687524DEST_PATH_IMAGE004
：分别从两条直线段上选择距离交点p t 更远的一个端点p 1 和p 2 ，由 算式
Figure DEST_PATH_IMAGE047
得到点p x ,四边形区域p t p 1 p x p 2 即为参考影像直线对
Figure 716660DEST_PATH_IMAGE003
的特征区 域
Figure 19465DEST_PATH_IMAGE013
；构建与所述候选匹配直线对
Figure 970104DEST_PATH_IMAGE002
对应的第二非对称特征区域
Figure 649347DEST_PATH_IMAGE046
时，计算 点p 1 和p 2 在搜索影像上的核线e 1 和e 2 ，如图3所示，由构成直线对
Figure 736252DEST_PATH_IMAGE002
的两条直线段
Figure 724805DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE049
与核线e 1 和e 2 相交得到交点q 1 和q 2 ，再由算式
Figure 428319DEST_PATH_IMAGE050
得到点q x ,四边形区域q t q 1 q x q 2 即为搜索影像直线对
Figure 645674DEST_PATH_IMAGE002
的特征区域
Figure DEST_PATH_IMAGE051
。进一步需要说明的是，由于核线e 1 会 分别与直线段
Figure 649402DEST_PATH_IMAGE048
和
Figure 779163DEST_PATH_IMAGE049
相交，核线e 2 也会分别与直线段
Figure 438814DEST_PATH_IMAGE048
和
Figure 459860DEST_PATH_IMAGE049
相交，那么q 1 和q 2 都存在 两种选择，进而导致第二非对称特征区域
Figure 318094DEST_PATH_IMAGE046
会存在图4所示的四种情况，本实施例只 将如图4所示的
Figure 336866DEST_PATH_IMAGE046
位于直线段
Figure 546130DEST_PATH_IMAGE048
和
Figure 42971DEST_PATH_IMAGE049
所夹区域内的情况作为
Figure 270559DEST_PATH_IMAGE002
的特征区域。
S402.分别在所述第一非对称特征区域
Figure 460232DEST_PATH_IMAGE004
和所述第二非对称特征区域
Figure 156792DEST_PATH_IMAGE052
内计算特征描述符，得到所述参考影像直线对
Figure 457324DEST_PATH_IMAGE001
的第一特征描述符
Figure 24571DEST_PATH_IMAGE053
， 以及所述候选匹配直线对
Figure 447462DEST_PATH_IMAGE040
的第二特征描述符
Figure DEST_PATH_IMAGE054
；本实施例中，第一特征描 述符
Figure 116472DEST_PATH_IMAGE053
和第二特征描述符
Figure 955115DEST_PATH_IMAGE055
的计算方法相同，具体地，以第一 特征描述符
Figure 642448DEST_PATH_IMAGE053
的计算为例：将第一非对称特征区域
Figure 236241DEST_PATH_IMAGE004
划分为2×2的子 区域，在每个子区域中构建一个八方向的梯度方向直方图，然后将4个子区域的梯度方向直 方图串联起来得到一个32维的特征向量，该特征向量即为直线对
Figure 579497DEST_PATH_IMAGE001
的特征描述符
Figure 284148DEST_PATH_IMAGE006
。
S403.计算所述第一特征描述符
Figure 346694DEST_PATH_IMAGE006
以及所述第二特征描述符
Figure 845809DEST_PATH_IMAGE007
之间的相似度，并剔除所述初步更新后候选匹配直线对集合M c2 中相似度小 于第一相似度阈值
Figure DEST_PATH_IMAGE056
的候选匹配直线对，得到更新后候选匹配直线对集合M c3 。
本实施例中，所述第一特征描述符
Figure 473099DEST_PATH_IMAGE006
以及所述第二特征描述符
Figure 653545DEST_PATH_IMAGE007
之间的相似度为：
Figure 315470DEST_PATH_IMAGE057
；
其中，║x║表示x的范数。
S5.对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中。
本实施例中，步骤S5包括：
S501.根据所述更新后候选匹配直线对集合M c3 中的每对候选匹配直线对（
Figure 1798DEST_PATH_IMAGE001
，
Figure 319646DEST_PATH_IMAGE002
），分别获取以所述参考影像直线对
Figure 366100DEST_PATH_IMAGE001
中两条直线段的交点为中心的第一对称特征区 域
Figure 85794DEST_PATH_IMAGE042
，以及以所述候选匹配直线对
Figure 192290DEST_PATH_IMAGE002
中两条直线段的交点为中心的第 二对称特征区域
Figure 794173DEST_PATH_IMAGE015
；其中，所述第一对称特征区域
Figure 582000DEST_PATH_IMAGE042
包括与所述参考影像直线对
Figure 202207DEST_PATH_IMAGE001
对应的第一非对称特征区域
Figure 479604DEST_PATH_IMAGE013
和与所述第一非对称 特征区域
Figure 506466DEST_PATH_IMAGE004
合并后可构成对称特征区域的第一扩展特征区域
Figure 894722DEST_PATH_IMAGE020
,所述第二对称 特征区域
Figure 385746DEST_PATH_IMAGE015
包括与所述候选匹配直线对
Figure 771728DEST_PATH_IMAGE002
对应的第二非对称特征区域
Figure 364515DEST_PATH_IMAGE046
和与所述第二非对称特征区域
Figure 494145DEST_PATH_IMAGE046
合并后可构成对称特征区域的第二扩展特 征区域
Figure 839675DEST_PATH_IMAGE018
；具体地，以第一对称特征区域
Figure 662138DEST_PATH_IMAGE042
为例，第一对称特征区 域
Figure 725909DEST_PATH_IMAGE042
的结构示意图如图5所示。
S502.将所述第一扩展特征区域
Figure 393651DEST_PATH_IMAGE020
划分为三个与所述第一非对称特征区域
Figure 859267DEST_PATH_IMAGE013
大小相同的子区域，并将所述第二扩展特征区域
Figure 852631DEST_PATH_IMAGE018
划分为三个与所述第二非 对称特征区域
Figure 387386DEST_PATH_IMAGE046
大小相同的子区域。
S503.分别在每个与第一扩展特征区域
Figure 124398DEST_PATH_IMAGE020
对应的子区域内以及每个与第二 扩展特征区域
Figure 444521DEST_PATH_IMAGE018
对应的子区域内计算特征描述符，再分别合并三个特征描述符，得到 所述参考影像直线对
Figure 343207DEST_PATH_IMAGE003
在第一扩展特征区域
Figure 381570DEST_PATH_IMAGE021
的第三特征描述符
Figure 656693DEST_PATH_IMAGE058
以及所述候选匹配直线对
Figure 831323DEST_PATH_IMAGE002
在第二扩展特征区域
Figure 166489DEST_PATH_IMAGE018
的第四特征描述符
Figure DEST_PATH_IMAGE059
；具体地，以第一扩展特征区域
Figure 911722DEST_PATH_IMAGE020
中为例,将其对应的子区域划分为2 ×2的次子区域，再在每个次子区域中构建一个八方向的梯度方向直方图，计算一个32维的 特征向量，即为特征描述符，最后将三个子区域内得到的32维特征向量连接起来，实现三个 特征描述符的合并，即得到一个96维的特征向量作为所述参考影像直线对
Figure 52854DEST_PATH_IMAGE003
在第一扩展 特征区域
Figure 285252DEST_PATH_IMAGE020
的第三特征描述符
Figure 588057DEST_PATH_IMAGE060
。
S504.计算所述第三特征描述符
Figure 335434DEST_PATH_IMAGE022
以及所述第四特征描述符
Figure 952360DEST_PATH_IMAGE061
之间的相似度，将所述更新后候选匹配直线对集合M c3 中相似度不小于第二 相似度阈值
Figure 350849DEST_PATH_IMAGE024
的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存 储到可靠匹配集合M f1 中，同时将所述更新后候选匹配直线对集合M c3 中相似度小于第二相 似度阈值
Figure 762239DEST_PATH_IMAGE024
的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对 存储到待确认匹配集合M p 中。
本实施例中，所述第三特征描述符
Figure 996911DEST_PATH_IMAGE022
以及所述第四特征描述符
Figure 417528DEST_PATH_IMAGE061
之间的相似度为：
Figure 421256DEST_PATH_IMAGE062
。
S6.基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对设定为可靠匹配直线对，再将其存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
本实施例中，步骤S6包括：
S601.根据所述待确认匹配集合M p 中的每对所述待确认匹配直线对（
Figure 269126DEST_PATH_IMAGE001
，
Figure 991095DEST_PATH_IMAGE002
），分 别以所述参考影像直线对
Figure 949823DEST_PATH_IMAGE001
中两条直线段为坐标轴构成第一坐标系，以及与所述候选匹 配直线对
Figure 824370DEST_PATH_IMAGE002
中两条直线段为坐标轴构成第二坐标系，在所述第一坐标系或所述第二坐标 系中，以对应两条直线段所夹区域为第一象限，并按顺时针方向依次确定当前坐标系的第 二象限、第三象限和第四象限。
S602.遍历所述可靠匹配集合M f1 中每对所述可靠匹配直线对中的参考影像直线对
Figure 843141DEST_PATH_IMAGE001
，并计算其在所述第一坐标系中的象限编号，以象限编号作为向量元素，得到所述参考 影像直线对
Figure 786826DEST_PATH_IMAGE001
的拓扑描述符向量。
需要说明的是，假设可靠匹配集合M f1 中有N对可靠匹配直线对，即可靠匹配直线对 集合中有匹配的N个参考影像直线对和N个搜索影像直线对，那么根据可靠匹配集合M f1 中的 N个参考影像直线对在待确认匹配直线对（
Figure 549246DEST_PATH_IMAGE001
，
Figure 527566DEST_PATH_IMAGE002
）的所述参考影像直线对
Figure 717239DEST_PATH_IMAGE001
确定的第 一坐标系中的象限编号作为向量元素，可以给所述参考影像直线对
Figure 413800DEST_PATH_IMAGE001
生成一个1*N维的向 量，即为它的拓扑描述符向量，同样地，由可靠匹配集合M f1 中的N个搜索影像直线对，待确认 匹配直线对
Figure 979910DEST_PATH_IMAGE002
也得到一个1*N维的向量作为拓扑描述符向量。
S603.遍历所述可靠匹配集合M f1 中每对所述可靠匹配直线对中的候选匹配直线对
Figure 750420DEST_PATH_IMAGE002
，并计算其在所述第二坐标系中的象限编号，以象限编号作为向量元素，得到所述候选 匹配直线对
Figure 440157DEST_PATH_IMAGE002
的拓扑描述符向量。
S604.计算所述参考影像直线对
Figure 296118DEST_PATH_IMAGE001
的拓扑描述符向量与所述候选匹配直线对
Figure 197078DEST_PATH_IMAGE002
的拓扑描述符向量之间的欧氏距离，并剔除所述待确认匹配集合M p 中欧氏距离大于第 二距离阈值T td 的待确认匹配直线对，认定所述待确认匹配集合M p 中欧氏距离不大于第二距 离阈值T td 的待确认匹配直线对验证通过，再将验证通过的待确认匹配直线对存储到可靠匹 配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
需要说明的是，如果在所述待确认匹配集合M p 中存在一参考影像直线对
Figure 149990DEST_PATH_IMAGE003
对应 有多个候选匹配直线对
Figure 681466DEST_PATH_IMAGE002
，则计算其相似度，并保留相似度最大的候选匹配直线对
Figure 368930DEST_PATH_IMAGE002
。
本实施例的直线特征匹配性能佳；具体地，基于步骤S1-步骤S6，本实施例在实施过程中，得到更新后候选匹配直线对集合M c3 后，先通过可靠性验证，从更新后候选匹配直线对集合M c3 中找到可靠匹配直线对和待确认匹配直线对，并得到对应的可靠匹配集合M f1 和待确认匹配集合M p ，再基于可靠匹配集合M f1 中的可靠匹配直线对为待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，以判断待确认匹配集合M p 中待确认匹配直线对的可靠性，以便进一步获取待确认匹配集合M p 中的可靠匹配直线对，由此提升直线特征匹配的效果，具备推广应用的价值。
本实施例中，基于步骤S6得到更新后可靠匹配直线对集合M f2 后，所述直线特征匹配方法还包括：
S7.根据所述更新后可靠匹配直线对集合M f2 中每对可靠匹配直线对中两条直线段的相对关系，确定一一对应的直线特征匹配，得到第一直线特征匹配集合LineM1。
具体地，在更新后可靠匹配直线对集合M f2 中，给匹配的参考影像直线对和搜索影像直线对分别建立第一坐标系和第二坐标系，参考影像直线对第一坐标系中第一、二象限所夹的直线段与搜索影像直线对第二坐标系中第一、二象限所夹的直线段为一对直线特征匹配，参考影像直线对第一坐标系中第一、四象限所夹的直线段与搜索影像直线对第二坐标系中第一、四象限所夹的直线段为另一对直线特征匹配。由此，每对可靠匹配直线对可以确定两对一一对应的直线特征匹配。
S8.根据步骤S1中得到的所述参考影像直线特征和所述搜索影像直线特征，以及 步骤S7得到的所述第一直线特征匹配集合LineM1中已匹配的直线特征，得到所述参考影像 和所述搜索影像上仍未匹配的直线特征，构成参考影像未匹配直线特征集合
Figure 11264DEST_PATH_IMAGE027
和 搜索影像未匹配直线特征集合
Figure 818683DEST_PATH_IMAGE029
。
S9.基于步骤S6得到的所述更新后可靠匹配直线对集合M f2 ，构建自适应控制区域 的局部单应约束，以对所述参考影像未匹配直线特征集合
Figure 317797DEST_PATH_IMAGE028
和所述搜索影像未匹 配直线特征集合
Figure 945088DEST_PATH_IMAGE029
中的直线特征进行匹配，得到第二直线特征匹配集合LineM2， 再将所述第一直线特征匹配集合LineM1与所述第二直线特征匹配集合LineM2合并，得到最 终的直线特征匹配集合LineM final 。
本实施例中，步骤S9包括：
S901.分别获取所述更新后可靠匹配直线对集合M f2 中的每对可靠匹配直线对（
Figure 391113DEST_PATH_IMAGE001
，
Figure 567885DEST_PATH_IMAGE002
）的所述参考影像直线对
Figure 237901DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 290170DEST_PATH_IMAGE002
对应的控制区域。
S902.根据所述参考影像直线对
Figure 602203DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 321897DEST_PATH_IMAGE002
对应的控制 区域之间的对应关系，获取所述参考影像直线对
Figure 428393DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 967959DEST_PATH_IMAGE002
对应 的控制区域之间的局部单应变换H ij 。
具体地，局部单应变换的说明如下：对于由所述参考影像直线对
Figure 303257DEST_PATH_IMAGE001
以及所述候选 匹配直线对
Figure 939774DEST_PATH_IMAGE002
各自的控制区域，无论是由AFR确定的控制区域还是由AFR∪CFR确定的控制 区域，这两个控制区域是两个平行四边形，由两个对应的平行四边形可以得到四对对应的 顶点。由上述四对对应点，可以计算一个单应变换。由于这个单应变换是由这对对应控制区 域的四对对应点计算的，因此这个单应变换只适用于这对对应控制区域，所以称为局部单 应变换。
S903.判断所述参考影像未匹配直线特征集合
Figure 686014DEST_PATH_IMAGE030
中未匹配的直线特征
Figure 40772DEST_PATH_IMAGE031
，是否与所述更新后可靠匹配直线对集合M f2 中任一可靠匹配直线对（
Figure 412716DEST_PATH_IMAGE032
，
Figure 903740DEST_PATH_IMAGE033
）的参 考影像直线对
Figure 289722DEST_PATH_IMAGE032
对应的控制区域存在交集，如是，则将当前未匹配的直线特征
Figure 866197DEST_PATH_IMAGE034
按当 前可靠匹配直线对（
Figure 995827DEST_PATH_IMAGE032
，
Figure 606937DEST_PATH_IMAGE033
）对应的局部单应变换H xy 映射到所述搜索影像，得到映射直线 段
Figure 163820DEST_PATH_IMAGE035
，然后进入下一步；如否，则认为当前未匹配的直线特征
Figure 978324DEST_PATH_IMAGE034
在所述搜索影像上 没有匹配直线特征。
S904.判断所述搜索影像未匹配直线特征集合
Figure 911644DEST_PATH_IMAGE026
中是否存在一直线特征
Figure 377261DEST_PATH_IMAGE036
满足将其投射到所述映射直线段
Figure 105045DEST_PATH_IMAGE063
所在的直线后，投影直线段与所述映射直线 段
Figure 656112DEST_PATH_IMAGE063
的重叠像素大于0，且该直线特征
Figure 393124DEST_PATH_IMAGE037
的两个端点到所述映射直线段
Figure 447668DEST_PATH_IMAGE063
的 距离与所述映射直线段
Figure 392359DEST_PATH_IMAGE063
的两个端点到该直线特征
Figure 696302DEST_PATH_IMAGE037
的距离的平均距离
Figure 315633DEST_PATH_IMAGE038
小于第三距离阈值T H ，如是，则将该直线特征
Figure 427945DEST_PATH_IMAGE036
视为与当前未匹配的直线特征
Figure 825429DEST_PATH_IMAGE034
对 应的匹配直线特征，并将直线特征
Figure 23192DEST_PATH_IMAGE037
与直线特征
Figure 164323DEST_PATH_IMAGE031
作为匹配结果；需要说明的是， 如果在所述搜索影像未匹配直线特征集合
Figure 131142DEST_PATH_IMAGE064
中存在多条直线特征满足该平均距 离约束，则将最小平均距离对应的直线特征作为当前未匹配的直线特征
Figure 433947DEST_PATH_IMAGE034
对应的匹配 直线特征。
S905.遍历所述参考影像未匹配直线特征集合
Figure 436451DEST_PATH_IMAGE030
中所有的未匹配的直线 特征
Figure 53377DEST_PATH_IMAGE031
，得到存储有所有匹配结果的第二直线特征匹配集合LineM2。
S906.将所述第一直线特征匹配集合LineM1与所述第二直线特征匹配集合LineM2合并，得到最终的直线特征匹配集合LineM final 。
需要说明的是，基于步骤S7-步骤S9，本实施例对所述参考影像未匹配直线特征集 合
Figure 202598DEST_PATH_IMAGE030
和所述搜索影像未匹配直线特征集合
Figure 879567DEST_PATH_IMAGE064
中的直线特征进行匹配，并 得到最终的直线特征匹配集合LineM final ，可进一步提升直线特征匹配效果。
具体地，本实施例针对现有直线特征匹配方法在确定特征区域中未同时顾及影像视角变化及弱纹理区域，导致直线特征匹配方法在同时存在显著视角变化和弱纹理区域的影像之间匹配效果差的问题，提出了一种基于自适应特征区域选择的直线特征匹配方法。具体地，本实施例先将直线对的特征区域分为以直线对交点为顶点的非对称特征区域AFR和以直线对交点为中心的对称特征区域AFR∪CFR；鉴于在影像视角变化情况下，在视差不连续区域的同名直线对的AFR区域相似但CFR区域不相似，而在视差连续的弱纹理区域的同名直线对不仅AFR区域相似而且CFR区域也相似，但直线对的AFR区域的独特性低于CFR区域的事实，本实施例先基于特征区域AFR∪CFR计算特征描述符，并进行相似性度量来得到部分可靠匹配直线对，然后基于可靠匹配直线对为待确认匹配直线对构建拓扑几何约束，并结合特征区域AFR计算的特征描述符的相似性来判断待检查的匹配直线对的可靠性，由此既能匹配视角变化影像上位于视差不连续区域的同名直线特征，也能匹配位于弱纹理区域的同名直线特征，能够显著提升显著直线特征匹配方法的匹配性能。
实施例2：
本实施例提供一种直线特征匹配系统，用于实现实施例1中直线特征匹配方法；如图6所示，所述直线特征匹配系统包括：
直线对获取模块，用于分别从输入的参考影像和待匹配的搜索影像上提取直线特征，得到参考影像直线特征和搜索影像直线特征，并分别对所述参考影像直线特征和所述搜索影像直线特征进行直线特征组对，得到参考影像直线对和搜索影像直线对；
直线对匹配模块，与所述直线对获取模块通信连接，用于为每个所述参考影像直 线对确定其在所述搜索影像上的候选匹配直线对，得到候选匹配直线对集合M c1 ；其中，所述 候选匹配直线对集合M c1 包括多对候选匹配直线对（
Figure 114240DEST_PATH_IMAGE001
，
Figure 331594DEST_PATH_IMAGE002
），
Figure 273005DEST_PATH_IMAGE001
表示所述参考影像直线 对，
Figure 933925DEST_PATH_IMAGE002
表示所述搜索影像直线对中与
Figure 593576DEST_PATH_IMAGE001
对应的候选匹配直线对；
直线对筛选模块，与所述直线对匹配模块通信连接，用于对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ；
第一可靠性验证模块，与所述直线对筛选模块通信连接，用于对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中；
第二可靠性验证模块，与所述第一可靠性验证模块通信连接，用于基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对设定为可靠匹配直线对，再将其存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
实施例3：
在实施例1或2的基础上，本实施例公开了一种电子设备，该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等，电子设备包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如实施例1中任一所述的直线特征匹配方法的操作。
实施例4：
在实施例1至3任一项实施例的基础上，本实施例公开了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如实施例1所述的直线特征匹配方法的操作。
需要说明的是，所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种直线特征匹配方法，其特征在于：包括：
分别从输入的参考影像和待匹配的搜索影像上提取直线特征，得到参考影像直线特征和搜索影像直线特征，并分别对所述参考影像直线特征和所述搜索影像直线特征进行直线特征组对，得到参考影像直线对和搜索影像直线对；
为每个所述参考影像直线对确定其在所述搜索影像上的候选匹配直线对，得到候选匹 配直线对集合M c1 ；其中，所述候选匹配直线对集合M c1 包括多对候选匹配直线对（
Figure 439336DEST_PATH_IMAGE001
，
Figure 437116DEST_PATH_IMAGE002
），
Figure 440844DEST_PATH_IMAGE001
表示所述参考影像直线对，
Figure 819873DEST_PATH_IMAGE002
表示所述搜索影像直线对中与
Figure 479525DEST_PATH_IMAGE001
对应的候选匹配直线 对；
对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ；
对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中；
基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对设定为可靠匹配直线对，再将其存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
2.根据权利要求1所述的一种直线特征匹配方法，其特征在于：对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ，包括：
对所述候选匹配直线对集合M c1 中的候选匹配直线对进行初步筛选，得到初步更新后候选匹配直线对集合M c2 ；
对所述初步更新后候选匹配直线对集合M c2 中的候选匹配直线对进行二次筛选，得到更新后候选匹配直线对集合M c3 ；
其中，对所述初步更新后候选匹配直线对集合M c2 中的候选匹配直线对进行二次筛选，得到更新后候选匹配直线对集合M c3 ，包括：
根据所述初步更新后候选匹配直线对集合M c2 中的每对候选匹配直线对（
Figure 234991DEST_PATH_IMAGE001
，
Figure 109537DEST_PATH_IMAGE003
），分 别构建与所述参考影像直线对
Figure 925047DEST_PATH_IMAGE001
对应的第一非对称特征区域
Figure 71994DEST_PATH_IMAGE004
，以及与所述候选 匹配直线对
Figure 631151DEST_PATH_IMAGE003
对应的第二非对称特征区域
Figure 547155DEST_PATH_IMAGE005
；
分别在所述第一非对称特征区域
Figure 799145DEST_PATH_IMAGE004
和所述第二非对称特征区域
Figure 433388DEST_PATH_IMAGE006
内计算 特征描述符，得到所述参考影像直线对
Figure 797503DEST_PATH_IMAGE001
的第一特征描述符
Figure 630330DEST_PATH_IMAGE007
，以及所述候 选匹配直线对
Figure 990904DEST_PATH_IMAGE003
的第二特征描述符
Figure 909181DEST_PATH_IMAGE008
；
计算所述第一特征描述符
Figure 810141DEST_PATH_IMAGE007
以及所述第二特征描述符
Figure 700737DEST_PATH_IMAGE008
之 间的相似度，并剔除所述初步更新后候选匹配直线对集合M c2 中相似度小于第一相似度阈值
Figure 45262DEST_PATH_IMAGE009
的候选匹配直线对，得到更新后候选匹配直线对集合M c3 。
3.根据权利要求1所述的一种直线特征匹配方法，其特征在于：对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中，包括：
根据所述更新后候选匹配直线对集合M c3 中的每对候选匹配直线对（
Figure 185256DEST_PATH_IMAGE010
，
Figure 93169DEST_PATH_IMAGE003
），分别获 取以所述参考影像直线对
Figure 635009DEST_PATH_IMAGE010
中两条直线段的交点为中心的第一对称特征区域
Figure 399703DEST_PATH_IMAGE011
，以及以所述候选匹配直线对
Figure 230255DEST_PATH_IMAGE003
中两条直线段的交点为中心的第二 对称特征区域
Figure 722286DEST_PATH_IMAGE012
；其中，所述第一对称特征区域
Figure 384211DEST_PATH_IMAGE011
包 括与所述参考影像直线对
Figure 257489DEST_PATH_IMAGE010
对应的第一非对称特征区域
Figure 637655DEST_PATH_IMAGE013
和与所述第一非对称特 征区域
Figure 418529DEST_PATH_IMAGE004
合并后可构成对称特征区域的第一扩展特征区域
Figure 138223DEST_PATH_IMAGE014
，所述第二对称特 征区域
Figure 995452DEST_PATH_IMAGE012
包括与所述候选匹配直线对
Figure 597335DEST_PATH_IMAGE003
对应的第二非对称特征区域
Figure 385162DEST_PATH_IMAGE015
和与所述第二非对称特征区域
Figure 21680DEST_PATH_IMAGE015
合并后可构成对称特征区域的第二扩展特 征区域
Figure 236760DEST_PATH_IMAGE016
；
将所述第一扩展特征区域
Figure 60360DEST_PATH_IMAGE017
划分为三个与所述第一非对称特征区域
Figure 963463DEST_PATH_IMAGE013
大 小相同的子区域，并将所述第二扩展特征区域
Figure 392170DEST_PATH_IMAGE018
划分为三个与所述第二非对称特征 区域
Figure 840469DEST_PATH_IMAGE019
大小相同的子区域；
分别在每个与第一扩展特征区域
Figure 620206DEST_PATH_IMAGE020
对应的子区域内以及每个与第二扩展特征区 域
Figure 812153DEST_PATH_IMAGE018
对应的子区域内计算特征描述符，再分别合并三个特征描述符，得到所述参考影 像直线对
Figure 95367DEST_PATH_IMAGE001
在第一扩展特征区域
Figure 980146DEST_PATH_IMAGE021
的第三特征描述符
Figure 981600DEST_PATH_IMAGE022
以及所述候 选匹配直线对
Figure 462391DEST_PATH_IMAGE002
在第二扩展特征区域
Figure 662429DEST_PATH_IMAGE016
的第四特征描述符
Figure 921372DEST_PATH_IMAGE023
；
计算所述第三特征描述符
Figure 941280DEST_PATH_IMAGE022
以及所述第四特征描述符
Figure 678292DEST_PATH_IMAGE024
之 间的相似度，将所述更新后候选匹配直线对集合M c3 中相似度不小于第二相似度阈值
Figure 998415DEST_PATH_IMAGE025
的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹 配集合M f1 中，同时将所述更新后候选匹配直线对集合M c3 中相似度小于第二相似度阈值
Figure 897101DEST_PATH_IMAGE025
的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待 确认匹配集合M p 中。
4.根据权利要求1所述的一种直线特征匹配方法，其特征在于：基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 ，包括：
根据所述待确认匹配集合M p 中的每对所述待确认匹配直线对（
Figure 919152DEST_PATH_IMAGE001
，
Figure 256593DEST_PATH_IMAGE003
），分别以所述 参考影像直线对
Figure 368905DEST_PATH_IMAGE001
中两条直线段为坐标轴构成第一坐标系，以及与所述候选匹配直线对
Figure 500809DEST_PATH_IMAGE003
中两条直线段为坐标轴构成第二坐标系，在所述第一坐标系或所述第二坐标系中，以对 应两条直线段所夹区域为第一象限，并按顺时针方向依次确定当前坐标系的第二象限、第 三象限和第四象限；
遍历所述可靠匹配集合M f1 中每对所述可靠匹配直线对中的参考影像直线对
Figure 760889DEST_PATH_IMAGE001
，并计 算其在所述第一坐标系中的象限编号，以象限编号作为向量元素，得到所述参考影像直线 对
Figure 839704DEST_PATH_IMAGE001
的拓扑描述符向量；
遍历所述可靠匹配集合M f1 中每对所述可靠匹配直线对中的候选匹配直线对
Figure 885151DEST_PATH_IMAGE003
，并计 算其在所述第二坐标系中的象限编号，以象限编号作为向量元素，得到所述候选匹配直线 对
Figure 125640DEST_PATH_IMAGE003
的拓扑描述符向量；
计算所述参考影像直线对
Figure 138595DEST_PATH_IMAGE001
的拓扑描述符向量与所述候选匹配直线对
Figure 755521DEST_PATH_IMAGE003
的拓扑描 述符向量之间的欧氏距离，并剔除所述待确认匹配集合M p 中欧氏距离大于第二距离阈值T td 的待确认匹配直线对，认定所述待确认匹配集合M p 中欧氏距离不大于第二距离阈值T td 的待 确认匹配直线对验证通过，再将验证通过的待确认匹配直线对存储到可靠匹配集合M f1 中， 得到更新后可靠匹配直线对集合M f2 。
5.根据权利要求1所述的一种直线特征匹配方法，其特征在于：得到更新后可靠匹配直线对集合M f2 后，所述直线特征匹配方法还包括：
根据所述更新后可靠匹配直线对集合M f2 中每对可靠匹配直线对中两条直线段的相对关系，确定一一对应的直线特征匹配，得到第一直线特征匹配集合LineM1；
根据所述参考影像直线特征和所述搜索影像直线特征，以及所述第一直线特征匹配集 合LineM1中的直线特征，得到所述参考影像和所述搜索影像上仍未匹配的直线特征，构成 参考影像未匹配直线特征集合
Figure 904743DEST_PATH_IMAGE026
和搜索影像未匹配直线特征集合
Figure 112870DEST_PATH_IMAGE027
；
基于所述更新后可靠匹配直线对集合M f2 ，构建自适应控制区域的局部单应约束，以对 所述参考影像未匹配直线特征集合
Figure 285226DEST_PATH_IMAGE026
和所述搜索影像未匹配直线特征集合
Figure 23287DEST_PATH_IMAGE027
中的直线特征进行匹配，得到第二直线特征匹配集合LineM2，再将所述第一直 线特征匹配集合LineM1与所述第二直线特征匹配集合LineM2合并，得到最终的直线特征匹 配集合LineM final 。
6.根据权利要求5所述的一种直线特征匹配方法，其特征在于：基于所述更新后可靠匹 配直线对集合M f2 ，构建自适应控制区域的局部单应约束，以对所述参考影像未匹配直线特 征集合
Figure 292594DEST_PATH_IMAGE028
和所述搜索影像未匹配直线特征集合
Figure 937202DEST_PATH_IMAGE029
中的直线特征进行匹 配，得到第二直线特征匹配集合LineM2，再将所述第一直线特征匹配集合LineM1与所述第 二直线特征匹配集合LineM2合并，得到最终的直线特征匹配集合LineM final ，包括：
分别获取所述更新后可靠匹配直线对集合M f2 中的每对可靠匹配直线对（
Figure 144323DEST_PATH_IMAGE001
，
Figure 103052DEST_PATH_IMAGE002
）的 所述参考影像直线对
Figure 226866DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 245638DEST_PATH_IMAGE002
对应的控制区域；
根据所述参考影像直线对
Figure 923744DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 748480DEST_PATH_IMAGE030
对应的控制区域之间的 对应关系，获取所述参考影像直线对
Figure 664483DEST_PATH_IMAGE001
以及与所述候选匹配直线对
Figure 165741DEST_PATH_IMAGE003
对应的控制区域 之间的局部单应变换H ij ；
判断所述参考影像未匹配直线特征集合
Figure 799985DEST_PATH_IMAGE031
中未匹配的直线特征
Figure 897254DEST_PATH_IMAGE032
，是否与 所述更新后可靠匹配直线对集合M f2 中任一可靠匹配直线对（
Figure 261239DEST_PATH_IMAGE033
，
Figure 621813DEST_PATH_IMAGE034
）的参考影像直线对
Figure 25244DEST_PATH_IMAGE033
对应的控制区域存在交集，如是，则将当前未匹配的直线特征
Figure 191783DEST_PATH_IMAGE032
按当前可靠匹配直 线对（
Figure 879116DEST_PATH_IMAGE033
，
Figure 410591DEST_PATH_IMAGE034
）对应的局部单应变换H xy 映射到所述搜索影像，得到映射直线段
Figure 816165DEST_PATH_IMAGE035
，然 后进入下一步；
判断所述搜索影像未匹配直线特征集合
Figure 504504DEST_PATH_IMAGE036
中是否存在一直线特征
Figure 249606DEST_PATH_IMAGE037
满 足将其投射到所述映射直线段
Figure 14300DEST_PATH_IMAGE035
所在的直线后，投影直线段与所述映射直线段
Figure 844853DEST_PATH_IMAGE035
的重叠像素大于0，且该直线特征
Figure 87615DEST_PATH_IMAGE038
的两个端点到所述映射直线段
Figure 15120DEST_PATH_IMAGE035
的距离与所 述映射直线段
Figure 888398DEST_PATH_IMAGE035
的两个端点到该直线特征
Figure 753717DEST_PATH_IMAGE038
的距离的平均距离
Figure 800170DEST_PATH_IMAGE039
小于第三 距离阈值T H ，如是，则将该直线特征
Figure 519865DEST_PATH_IMAGE037
视为与当前未匹配的直线特征
Figure 626361DEST_PATH_IMAGE032
对应的匹配 直线特征，并将直线特征
Figure 165927DEST_PATH_IMAGE038
与直线特征
Figure 16071DEST_PATH_IMAGE040
作为匹配结果；
遍历所述参考影像未匹配直线特征集合
Figure 636277DEST_PATH_IMAGE026
中所有的未匹配的直线特征
Figure 851358DEST_PATH_IMAGE041
， 得到存储有所有匹配结果的第二直线特征匹配集合LineM2；
将所述第一直线特征匹配集合LineM1与所述第二直线特征匹配集合LineM2合并，得到最终的直线特征匹配集合LineM final 。
7.根据权利要求6所述的一种直线特征匹配方法，其特征在于：判断所述参考影像未匹 配直线特征集合
Figure 206116DEST_PATH_IMAGE026
中未匹配的直线特征
Figure 328793DEST_PATH_IMAGE032
，是否与所述更新后可靠匹配直线 对集合M f2 中任一可靠匹配直线对（
Figure 23079DEST_PATH_IMAGE042
，
Figure 205799DEST_PATH_IMAGE043
）的参考影像直线对
Figure 533006DEST_PATH_IMAGE033
对应的控制区域存在 交集时，如否，则认为当前未匹配的直线特征
Figure 662636DEST_PATH_IMAGE032
在所述搜索影像上没有匹配直线特征。
8.一种直线特征匹配系统，其特征在于：用于实现如权利要求1至7中任一项所述的直线特征匹配方法；所述直线特征匹配系统包括：
直线对获取模块，用于分别从输入的参考影像和待匹配的搜索影像上提取直线特征，得到参考影像直线特征和搜索影像直线特征，并分别对所述参考影像直线特征和所述搜索影像直线特征进行直线特征组对，得到参考影像直线对和搜索影像直线对；
直线对匹配模块，与所述直线对获取模块通信连接，用于为每个所述参考影像直线对 确定其在所述搜索影像上的候选匹配直线对，得到候选匹配直线对集合M c1 ；其中，所述候选 匹配直线对集合M c1 包括多对候选匹配直线对（
Figure 8167DEST_PATH_IMAGE010
，
Figure 627367DEST_PATH_IMAGE003
），
Figure 628821DEST_PATH_IMAGE010
表示所述参考影像直线对，
Figure 358880DEST_PATH_IMAGE003
表示所述搜索影像直线对中与
Figure 67904DEST_PATH_IMAGE010
对应的候选匹配直线对；
直线对筛选模块，与所述直线对匹配模块通信连接，用于对所述候选匹配直线对集合M c1 中的候选匹配直线对进行筛选，得到更新后候选匹配直线对集合M c3 ；
第一可靠性验证模块，与所述直线对筛选模块通信连接，用于对所述更新后候选匹配直线对集合M c3 中的所有候选匹配直线对进行可靠性验证，然后将验证通过的候选匹配直线对设定为可靠匹配直线对，并将所述可靠匹配直线对存储到可靠匹配集合M f1 中，同时将验证未通过的候选匹配直线对设定为待确认匹配直线对，并将所述待确认匹配直线对存储到待确认匹配集合M p 中；
第二可靠性验证模块，与所述第一可靠性验证模块通信连接，用于基于所述可靠匹配集合M f1 中的可靠匹配直线对为所述待确认匹配集合M p 中的待确认匹配直线对构建拓扑几何约束，对所述待确认匹配集合M p 中所述待确认匹配直线对进行可靠性验证，并将验证通过的所述待确认匹配直线对设定为可靠匹配直线对，再将其存储到可靠匹配集合M f1 中，得到更新后可靠匹配直线对集合M f2 。
9.一种电子设备，其特征在于：包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如权利要求1至7中任一项所述的直线特征匹配方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，其特征在于：所述计算机程序指令被配置为运行时执行如权利要求1至7中任一项所述的直线特征匹配方法的操作。
CN202211276432.6A 2022-10-19 2022-10-19 一种直线特征匹配方法、系统、电子设备及介质 Active CN115346058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276432.6A CN115346058B (zh) 2022-10-19 2022-10-19 一种直线特征匹配方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276432.6A CN115346058B (zh) 2022-10-19 2022-10-19 一种直线特征匹配方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115346058A CN115346058A (zh) 2022-11-15
CN115346058B true CN115346058B (zh) 2022-12-20

Family

ID=83956921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276432.6A Active CN115346058B (zh) 2022-10-19 2022-10-19 一种直线特征匹配方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115346058B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521597A (zh) * 2011-12-14 2012-06-27 武汉大学 一种基于分级策略的影像直线特征匹配方法
CN106709870A (zh) * 2017-01-11 2017-05-24 辽宁工程技术大学 一种近景影像直线段匹配方法
CN107025449A (zh) * 2017-04-14 2017-08-08 西南交通大学 一种视角不变局部区域约束的倾斜影像直线特征匹配方法
CN111461032A (zh) * 2020-04-03 2020-07-28 西南交通大学 局部结构与拓扑几何约束的倾斜影像直线特征匹配方法
CN112150358A (zh) * 2020-08-03 2020-12-29 武汉大学 一种抗大几何畸变的影像特征匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5494330B2 (ja) * 2010-07-26 2014-05-14 富士ゼロックス株式会社 画像処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521597A (zh) * 2011-12-14 2012-06-27 武汉大学 一种基于分级策略的影像直线特征匹配方法
CN106709870A (zh) * 2017-01-11 2017-05-24 辽宁工程技术大学 一种近景影像直线段匹配方法
CN107025449A (zh) * 2017-04-14 2017-08-08 西南交通大学 一种视角不变局部区域约束的倾斜影像直线特征匹配方法
CN111461032A (zh) * 2020-04-03 2020-07-28 西南交通大学 局部结构与拓扑几何约束的倾斜影像直线特征匹配方法
CN112150358A (zh) * 2020-08-03 2020-12-29 武汉大学 一种抗大几何畸变的影像特征匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
局部结构约束下的宽基线影像直线特征匹配;严少华 等;《测绘通报》;20200531;第51-54页 *
结合几何约束和梯度描述子的直线段匹配;王竞雪等;《测绘通报》;20180525(第05期);第29-33页 *

Also Published As

Publication number Publication date
CN115346058A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN111028277B (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
Li et al. Hierarchical line matching based on line–junction–line structure descriptor and local homography estimation
CN105205781B (zh) 输电线路航拍图像拼接方法
CN101216895B (zh) 一种复杂背景图像中椭圆图像特征的自动提取方法
CN108921895B (zh) 一种传感器相对位姿估计方法
CN112163622B (zh) 全局与局部融合约束的航空宽基线立体像对线段匹配方法
CN103400384A (zh) 结合区域匹配和点匹配的大视角图像匹配方法
CN109035207B (zh) 密度自适应的激光点云特征检测方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN110111375B (zh) 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置
CN109711321B (zh) 一种结构自适应的宽基线影像视角不变直线特征匹配方法
CN106682700A (zh) 一种基于关键点描述算子的分块快速匹配算法
CN104240231A (zh) 基于局部结构二进制模式的多源图像配准
CN102663733B (zh) 基于特征组对的特征点匹配方法
CN106709870B (zh) 一种近景影像直线段匹配方法
CN102446356A (zh) 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
CN104050675A (zh) 基于三角形描述的特征点匹配方法
Li et al. 4FP-structure: A robust local region feature descriptor
Jia et al. Line matching based on line-points invariant and local homography
Li et al. Robust line matching based on ray-point-ray structure descriptor
Li et al. Joint point and line segment matching on wide-baseline stereo images
Cui et al. Global propagation of affine invariant features for robust matching
CN106651756B (zh) 一种基于sift和验证机制的图像配准方法
Chen et al. An improved image matching method based on SURF algorithm
CN115346058B (zh) 一种直线特征匹配方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant