CN115984592A - 基于SuperPoint+SuperGlue的点线融合特征匹配方法 - Google Patents

基于SuperPoint+SuperGlue的点线融合特征匹配方法 Download PDF

Info

Publication number
CN115984592A
CN115984592A CN202310013511.6A CN202310013511A CN115984592A CN 115984592 A CN115984592 A CN 115984592A CN 202310013511 A CN202310013511 A CN 202310013511A CN 115984592 A CN115984592 A CN 115984592A
Authority
CN
China
Prior art keywords
picture
pixel
point
characteristic
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310013511.6A
Other languages
English (en)
Inventor
郑凯
张智惠
姚登科
石阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310013511.6A priority Critical patent/CN115984592A/zh
Publication of CN115984592A publication Critical patent/CN115984592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种基于SuperPoint+SuperGlue的点线融合特征匹配方法，属于图像特征提取与匹配领域，包括：输入初始图片，通过LSD线特征提取算法对图片中的线段进行描述得到特征线段；将得到特征线段的图片输入magicpoint base detector以获得特征点；输出与原图片相同size的heatmap以及特征真值；对heatmap每一个像素处的值进行NMS处理，得到稀疏特征点；对真实图片进行单应变换，将检测到的特征点投影到原始图片上，合成特征点真值；学习半稠密描述子，通过插值算法得到完整描述子，利用L2正则化得到真实长度的单位描述；剔除错误特征并进行特征匹配。

Description

基于SuperPoint+SuperGlue的点线融合特征匹配方法
技术领域
本发明属于图像特征提取与匹配领域，涉及一种基于SuperPoint+SuperGlue的点线融合特征匹配方法。
背景技术
移动机器人的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是移动机器人在其自身位置不确定的条件下，在完全未知环境中根据自身的位姿估计和传感器观测数据创建地图。SLAM最早由Smith,Self和Cheeseman提出，它解决了从移动机器人得到一系列观测值从而构建未知关键地图的问题。
在机器人技术领域，视觉里程计和同步定位与地图构建(SimultaneousLocalization and Mapping,SLAM)一直是长期研究的主题，视觉里程计是指通过相机拍摄连续图像序列信息来估计机器人的运动位姿过程的方法。SLAM是指配置了某种特定传感器的机器人，在没有事先确定环境信息的条件下，能够实时运动建立周围模型的同时，还能估计自身实时运动的位姿的方法。近年来，由于传感器技术的提升和计算机视觉的快速发展，摄像机和雷达的成本大幅降低，因此SLAM技术也被应用于无人机、无人驾驶、AR、机器人等诸多领域。而图像匹配，就是SLAM技术中特别重要的一环。
基于所使用的传感器不同，SLAM又可以被分为激光SLAM和视觉SLAM，相比于摄像头，雷达可以直接获取周围环境的点云信息，系统可以通过获取的点云信息匹配来推测激光雷达所在环境地图中的位置以及位姿变化。但一个好的雷达动辄上万，价格过于高昂，且只能获取二维平面中的环境信息，应用场景较为有限。视觉SLAM使用相机作为收集周围环境图像信息的传感器，根据每一帧特征点(线)的变化来估计机器人此时的位姿，它具有成本低，功耗小，体积小等有点，因此视觉SLAM渐渐成为了主流的SLAM技术研究方向。
针对计算机视觉中大量的多视图集合问题，现有技术采用了一种训练特征点检测器和描述子的自监督框架。与其他基于补丁的神经网络不同，此全卷积模型在全尺寸上运行，并在一次向前传递中联合计算像素级特征点位置和相关描述子。
卷积神经网络已经被证实在几乎所有需要图像作为输入的任务中其效果都惠优于传统手工设计的算法，其根本原因在于传统手工设计的算法难以对输入图片进行全覆盖，因此提取的特征点也就相对较少。
发明内容
有鉴于此，本发明的目的在于提供一种基于SuperPoint+SuperGlue的点线融合特征匹配方法，提供更高精度点线特征提取和匹配。
为达到上述目的，本发明提供如下技术方案：
一种基于SuperPoint+SuperGlue的点线融合特征匹配方法，包括以下步骤：
S1：输入初始图片，通过LSD线特征提取算法对图片中的线段进行描述得到特征线段；
S2：将得到特征线段的图片输入magicpoint base detector以获得特征点；
S3：通过magicpoint detector处理后，输出与原图片相同size的heatmap以及特征真值；对heatmap每一个像素处的值进行NMS(非极大值抑制)处理，得到稀疏特征点；
S4：对真实图片进行单应变换，将检测到的特征点投影到原始图片上，合成特征点真值；
S5：描述子部分，学习半稠密描述子，而后通过插值算法得到完整描述子，最后利用L2正则化得到真实长度的单位描述；
S6：利用superglue算法剔除错误特征并进行特征匹配。
进一步，步骤S1中，所述通过LSD线特征提取算法对图片中的线段进行描述得到特征线段，是将同一梯度中相近的像素点进行合并，具体包括以下步骤：
S11：对图像进行缩放；
S12：在2x2的模板上计算图像梯度，给定2x2的模板：
i(x,y) i(x+1,y)
i(x,y+1) i(x+1,y+1)
其中的i(x,y)是像素在(x,y)处的灰度值，i(x+1,y)是像素在(x+1,y)处的灰度值，i(x,y+1)是像素在(x,y+1)处的灰度值，i(x+1,y+1)是像素在(x+1,y+1)处的灰度值，图像的梯度计算如下式：
Figure BDA0004038520150000021
Figure BDA0004038520150000022
根据像素点在x，y轴的像素梯度gx(x,y)，gy(x,y)得到梯度幅值G(x,y)和梯度方向LLA：
Figure BDA0004038520150000023
Figure BDA0004038520150000031
S13：进行梯度排序，像素计算的梯度幅值G(x,y)越大表明像素点越显著，更适合作为特征线段的种子点。
进一步，步骤S2中，magicpoint的结构是传统VGG-style网络的encoder-decoder结构，其将输入边长降为原始的1/8，同时增加64个通道，在encoder部分先做通道之间的softmax，舍弃多余信息，再做reshape，得到原始size张量。
进一步，步骤S4中，对MS-COCO数据集的每一张图片做n种单应变换，得到n张变换后的图像，在这些图像上利用magicpoint模型分别提取特征点，得到n个特征点的heatmap，把得到的heatmap叠加到一起得到最终的heatmap，然后通过阈值截取获得每个位置上的特征点真值。
进一步，步骤S5中，将两张单应变换的图片作为输入，利用这两张图片的特征点之间的关系来约束描述子，首先学习半稠密的描述子，然后通过插值算法得到完整的描述子，最后使用L2正则化得到真实长度的单位描述。
本发明的有益效果在于：本发明可以提供比传统手工设计算法(如ORB,SIFT)更可靠，更丰富的特征信息，从而提高图像特征提取和匹配的精度。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为步骤S3处理流程图；
图2为对真实图片进行单应变换流程图；
图3为通过多次单应变换迭代优化magicpoint在HPatches上的性能提升效果图；
图4为Superpoint+Superglue+LSD点线融合匹配效果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
一种基于SuperPoint+SuperGlue的点线融合的特征匹配方法，包括以下步骤：
S1，输入初始图片，通过LSD线特征提取算法对图片中的线段进行描述得到特征线段。通过LSD线特征提取算法提取图片中的特征线段，其核心思路是将同一梯度中相近的像素点进行合并。方法步骤为：
(1)、图像缩放，目的是为了解决图片边缘出现锯齿状，导致提取出的特征线段出现断裂的现象。
(2)、梯度计算，图像梯度是在2x2的模板上进行计算的，如：给定
i(x,y) i(x+1,y)
i(x,y+1) i(x+1,y+1)
表中的i(x,y)是像素在(x,y)处的灰度值，图像的梯度可通过下述式子计算
Figure BDA0004038520150000041
Figure BDA0004038520150000042
根据像素点在x，y轴的像素梯度gx(x,y)，gy(x,y)可得梯度幅值G(x,y)和梯度方向LLA。
Figure BDA0004038520150000043
Figure BDA0004038520150000051
(3)梯度排序：像素计算的梯度幅值G(x,y)越大表明像素点越显著，更适合作为特征线段的种子点。
S2，将得到特征线段的图片输入magicpoint base detector以获得特征点，magicpoint的结构是传统的VGG-style网络的encoder-decoder结构，其将输入边长降为原始的1/8，同时增加64个通道，在encoder部分先做通道之间的softmax，舍弃多余信息，再做reshape，得到原始size张量。
S3，通过magicpoint detector处理后，输出与原图片相同size的heatmap以及特征真值。对heatmap每一个像素处的值进行NMS(非极大值抑制)处理，得到稀疏特征点，如图1所示。
S4，如图2所示，对真实图片进行单应变换，将检测到的特征点投影到原始图片上，合成特征点真值。
Magicpoint只是根据基本形状元素的图像训练的，对于一般的图像提取效果可能不够好，这里是对MS-COCO数据集的每一张图片做n种单应变换，得到n张变换后的图像，在这些图像上利用magicpoint模型分别提取特征点，可以得到n个特征点的heatmap，把得到的heatmap叠加到一起得到最终的heatmap，然后通过阈值截取获得每个位置上的特征点真值。通过多次单应变换迭代优化magicpoint在HPatches上的性能提升效果如图3所示。
S5，描述子部分，学习半稠密描述子，而后通过插值算法得到完整描述子，最后利用L2正则化得到真实长度的单位描述。目前通过前面的步骤已经获取图像对应的特征点的真值了，但同特征点一样，描述子也存在真值问题。于是这里用两张单应变换的图片作为输入(点的匹配是已知的)用这两张图片的特征点之间的关系，来约束描述子。在描述子部分是先学习半稠密的描述子(不使用稠密的方式是为了减少计算量)，然后通过插值算法得到完整的描述子，最后使用L2正则化得到真实长度的单位描述。
S6，利用superglue算法剔除错误特征并进行特征匹配，如图4所示。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于SuperPoint+SuperGlue的点线融合特征匹配方法，其特征在于：包括以下步骤：
S1：输入初始图片，通过LSD线特征提取算法对图片中的线段进行描述得到特征线段；
S2：将得到特征线段的图片输入magicpoint base detector以获得特征点；
S3：通过magicpoint detector处理后，输出与原图片相同size的heatmap以及特征真值；对heatmap每一个像素处的值进行非极大值抑制处理，得到稀疏特征点；
S4：对真实图片进行单应变换，将检测到的特征点投影到原始图片上，合成特征点真值；
S5：描述子部分，学习半稠密描述子，而后通过插值算法得到完整描述子，最后利用L2正则化得到真实长度的单位描述；
S6：利用superglue算法剔除错误特征并进行特征匹配。
2.根据权利要求1所述的基于SuperPoint+SuperGlue的点线融合特征匹配方法，其特征在于：步骤S1中，所述通过LSD线特征提取算法对图片中的线段进行描述得到特征线段，是将同一梯度中相近的像素点进行合并，具体包括以下步骤：
S11：对图像进行缩放；
S12：在2x2的模板上计算图像梯度，给定2x2的模板：
其中的i(x,y)是像素在(x,y)处的灰度值，i(x+1,y)是像素在(x+1,y)处的灰度值，i(x,y+1)是像素在(x,y+1)处的灰度值，i(x+1,y+1)是像素在(x+1,y+1)处的灰度值，图像的梯度计算如下式：
Figure FDA0004038520140000011
Figure FDA0004038520140000012
根据像素点在x，y轴的像素梯度gx(x,y)，gy(x,y)得到梯度幅值G(x,y)和梯度方向LLA：
Figure FDA0004038520140000013
Figure FDA0004038520140000014
S13：进行梯度排序，像素计算的梯度幅值G(x,y)越大表明像素点越显著，更适合作为特征线段的种子点。
3.根据权利要求1所述的基于SuperPoint+SuperGlue的点线融合特征匹配方法，其特征在于：步骤S2中，magicpoint的结构是传统VGG-style网络的encoder-decoder结构，其将输入边长降为原始的1/8，同时增加64个通道，在encoder部分先做通道之间的softmax，舍弃多余信息，再做reshape，得到原始size张量。
4.根据权利要求1所述的基于SuperPoint+SuperGlue的点线融合特征匹配方法，其特征在于：步骤S4中，对MS-COCO数据集的每一张图片做n种单应变换，得到n张变换后的图像，在这些图像上利用magicpoint模型分别提取特征点，得到n个特征点的heatmap，把得到的heatmap叠加到一起得到最终的heatmap，然后通过阈值截取获得每个位置上的特征点真值。
5.根据权利要求1所述的基于SuperPoint+SuperGlue的点线融合特征匹配方法，其特征在于：步骤S5中，将两张单应变换的图片作为输入，利用这两张图片的特征点之间的关系来约束描述子，首先学习半稠密的描述子，然后通过插值算法得到完整的描述子，最后使用L2正则化得到真实长度的单位描述。
CN202310013511.6A 2023-01-05 2023-01-05 基于SuperPoint+SuperGlue的点线融合特征匹配方法 Pending CN115984592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310013511.6A CN115984592A (zh) 2023-01-05 2023-01-05 基于SuperPoint+SuperGlue的点线融合特征匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310013511.6A CN115984592A (zh) 2023-01-05 2023-01-05 基于SuperPoint+SuperGlue的点线融合特征匹配方法

Publications (1)

Publication Number Publication Date
CN115984592A true CN115984592A (zh) 2023-04-18

Family

ID=85966540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310013511.6A Pending CN115984592A (zh) 2023-01-05 2023-01-05 基于SuperPoint+SuperGlue的点线融合特征匹配方法

Country Status (1)

Country Link
CN (1) CN115984592A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664643A (zh) * 2023-06-28 2023-08-29 哈尔滨市科佳通用机电股份有限公司 基于SuperPoint算法的铁路列车图像配准方法及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664643A (zh) * 2023-06-28 2023-08-29 哈尔滨市科佳通用机电股份有限公司 基于SuperPoint算法的铁路列车图像配准方法及设备

Similar Documents

Publication Publication Date Title
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN108242079B (zh) 一种基于多特征视觉里程计和图优化模型的vslam方法
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
CN111311666B (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
WO2019029099A1 (zh) 基于图像梯度联合优化的双目视觉里程计算方法
CN102722697B (zh) 一种无人飞行器视觉自主导引着陆的目标跟踪方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
Qian et al. Robust visual-lidar simultaneous localization and mapping system for UAV
CN112465021B (zh) 基于图像插帧法的位姿轨迹估计方法
CN112183675B (zh) 一种基于孪生网络的针对低分辨率目标的跟踪方法
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN112580683B (zh) 一种基于互相关的多传感器数据时间对齐系统及其方法
CN113850189A (zh) 一种应用于机动平台的嵌入式孪生网络实时跟踪方法
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN112686952A (zh) 一种图像光流计算系统、方法及应用
CN115984592A (zh) 基于SuperPoint+SuperGlue的点线融合特征匹配方法
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
CN114812558A (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN108109118B (zh) 一种无控制点的航拍图像几何校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination