CN112862803B - 基于边缘和特征点融合的红外成像slam方法和装置 - Google Patents

基于边缘和特征点融合的红外成像slam方法和装置 Download PDF

Info

Publication number
CN112862803B
CN112862803B CN202110220229.6A CN202110220229A CN112862803B CN 112862803 B CN112862803 B CN 112862803B CN 202110220229 A CN202110220229 A CN 202110220229A CN 112862803 B CN112862803 B CN 112862803B
Authority
CN
China
Prior art keywords
tracking
edges
edge
current frame
characteristic points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110220229.6A
Other languages
English (en)
Other versions
CN112862803A (zh
Inventor
陈骁
干哲
范梅梅
何其芳
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pla 93114
Original Assignee
Pla 93114
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pla 93114 filed Critical Pla 93114
Priority to CN202110220229.6A priority Critical patent/CN112862803B/zh
Publication of CN112862803A publication Critical patent/CN112862803A/zh
Application granted granted Critical
Publication of CN112862803B publication Critical patent/CN112862803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于边缘和特征点融合的红外成像SLAM方法和装置，所述基于边缘和特征点融合的红外成像SLAM方法，包括以下步骤：提取当前帧的特征点和边缘；跟踪特征点和边缘，得到特征点和边缘的跟踪结果；融合所述跟踪结果，估计当前帧的位姿；判断是否插入新的关键帧；在插入新的关键帧情况下，对所述新的关键帧依次进行特征点局部建图、回环检测。由此，该方法通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。

Description

基于边缘和特征点融合的红外成像SLAM方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于边缘和特征点融合的红外成像SLAM方法和装置。
背景技术
相比于可见光相机，红外相机的优点在于它可以在无光照或者雾霾等场景中工作，因而在很多场景，尤其是军事应用中具有不可替代的作用。但由于红外图像质量较差，国内外对红外成像SLAM(Simultaneous localization and mapping，即时定位与地图构建)的研究起步较晚。目前大部分对红外成像SLAM的研究均使用基于特征点的方法。这主要是因为特征点的红外成像SLAM比较成熟，对相机的成像质量和标定精度要求不高。但是，由于红外图像纹理很弱，对比度低，这类方法经常难以找到足够数量的特征点匹配，从而导致跟踪失败，限制了其鲁棒性和精度。
发明内容
本发明旨在至少从一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于边缘和特征点融合的红外成像SLAM方法，该方法通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
本发明的第二个目的在于提出一种基于边缘和特征点融合的红外成像SLAM装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种基于边缘和特征点融合的红外成像SLAM方法，包括以下步骤：提取当前帧的特征点和边缘；跟踪所述特征点和所述边缘，得到所述特征点和所述边缘的跟踪结果；融合所述跟踪结果，估计当前帧的位姿；判断是否插入新的关键帧；在插入新的关键帧情况下，对所述新的关键帧依次进行特征点局部建图、回环检测。
根据本发明实施例的基于边缘和特征点融合的红外成像SLAM方法，先提取当前帧的特征点和边缘，并跟踪特征点和边缘，得到特征点和边缘的跟踪结果，然后，融合跟踪结果，估计当前帧的位姿，最后，判断是否插入新的关键帧，并在插入新的关键帧情况下，对新的关键帧依次进行特征点局部建图、回环检测。由此，该方法通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
另外，根据本发明上述实施例提出的基于边缘和特征点融合的红外成像SLAM方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述跟踪所述特征点和所述边缘，得到所述特征点和所述边缘的跟踪结果，包括：对所述特征点进行粗跟踪；在所述特征点粗跟踪成功的情况下，对所述特征点和所述边缘进行精跟踪；对所述特征点和所述边缘进行组合定位，得到所述特征点和边缘的跟踪结果。
根据本发明的一个实施例，所述跟踪特征点和边缘，得到特征点和边缘的跟踪结果之后，还包括：根据所述当前帧的边缘，对上一个关键帧中的边缘进行初始化或更新；对所述上一个关键帧中所有边缘进行重整化；将所述上一个关键帧中的边缘信息，传递到所述新的关键帧；对所述上一个关键帧、所述当前帧、所述新的关键帧上的边缘，进行一致性校验。
根据本发明的一个实施例，所述提取当前帧的特征点和边缘之前，还包括：对所述当前帧进行预处理。
为达到上述目的，本发明第二方面实施例提出了一种基于边缘和特征点融合的红外成像SLAM装置，包括：提取模块，用于提取当前帧的特征点和边缘；跟踪模块，用于跟踪所述特征点和所述边缘，得到所述特征点和所述边缘的跟踪结果；融合模块，用于融合所述跟踪结果，估计当前帧的位姿；判断模块，用于判断是否插入新的关键帧；控制模块，用于在插入新的关键帧情况下，对所述新的关键帧依次进行特征点局部建图、回环检测。
根据本发明实施例的基于边缘和特征点融合的红外成像SLAM装置，通过提取模块提取当前帧的特征点和边缘，通过跟踪模块跟踪特征点和边缘得到特征点和边缘的跟踪结果，通过融合模块融合跟踪结果估计当前帧的位姿，通过判断模块判断是否插入新的关键帧，控制模块在插入新的关键帧情况下，对新的关键帧依次进行特征点局部建图、回环检测。由此，该装置通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
另外，根据本发明上述实施例提出的基于边缘和特征点融合的红外成像SLAM装置还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述跟踪模块，包括：第一跟踪单元，用于对所述特征点进行粗跟踪；第二跟踪单元，用于在所述特征点粗跟踪成功的情况下，对所述特征点和所述边缘进行精跟踪；获取单元，用于对所述特征点和所述边缘进行组合定位，得到所述特征点和边缘的跟踪结果。
进一步地，上述的基于边缘和特征点融合的红外成像SLAM装置，还包括：初始化模块，用于根据所述当前帧的边缘，对上一个关键帧中的边缘进行初始化或更新；重整化模块，用于对所述上一个关键帧中所有边缘进行重整化；传递模块，用于将所述上一个关键帧中的边缘信息，传递到所述新的关键帧；校验模块，用于对所述上一个关键帧、所述当前帧、所述新的关键帧上的边缘，进行一致性校验。
进一步地，上述的基于边缘和特征点融合的红外成像SLAM装置，还包括：预处理模块，用于对所述当前帧进行预处理。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述的基于边缘和特征点融合的红外成像SLAM方法。
本发明实施例的计算机设备，通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
为达到上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于边缘和特征点融合的红外成像SLAM方法。
本发明实施例的非临时性计算机可读存储介质，通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于边缘和特征点融合的红外成像SLAM方法的流程图；
图2是根据本发明一个实施例的基于边缘和特征点融合的红外成像SLAM方法的框架图；
图3是根据本发明一个实施例的红外图像预处理与特征提取的流程图；
图4是根据本发明一个实施例的边缘建图的流程图；
图5是根据本发明一个实施例的边缘与特征点融合定位的流程图；
图6是根据本发明一个实施例的边缘与特征点融合定位的逻辑关系图；
图7是根据本发明一个实施例的边缘与特征点融合的红外成像SLAM方法的原理示意图；以及
图8是根据本发明实施例的基于边缘和特征点融合的红外成像SLAM装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于边缘和特征点融合的红外成像SLAM方法和装置。
相比于可见光相机，红外相机的优点在于它可以在无光照或者雾霾等场景中工作，因而在很多场景，尤其是军事应用中具有不可替代的作用。但由于红外图像质量较差，国内外对红外成像SLAM的研究起步较晚。目前大部分对红外成像SLAM的研究均使用基于特征点的方法。这主要是因为特征点的红外成像SLAM比较成熟，对相机的成像质量和标定精度要求不高。但是，由于红外图像纹理很弱，对比度低，这类方法经常难以找到足够数量的特征点匹配，从而导致跟踪失败，限制了其鲁棒性和精度。
在红外图像中，边缘匹配能力强于特征点，并且边缘数量远多于特征点。所以红外成像SLAM中，边缘可以提供更可靠的视觉信息。此外，使用边缘还可以建立半稠密地图，更适合人类理解。但是，边缘数量过多不容易实时优化。而且，边缘匹配只能提供边缘法向方向的观测，受运动方向影响较大。而特征点(角点特征)容易储存、管理、数量较少方便优化，此外还不受运动方向的影响。将特征点和边缘点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升红外成像SLAM的性能。因此，本发明提出一种基于边缘和特征点融合的红外成像SLAM方法。
图1是根据本发明实施例的基于边缘和特征点融合的红外成像SLAM方法的流程图。如图1所示，本发明实施例的基于边缘和特征点融合的红外成像SLAM方法，包括以下步骤：
S1，提取当前帧的特征点和边缘。
其中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。
边缘是图像中特性(如像素灰度、纹理等)分布的不连续处，图像周围特性有阶跃变化或屋脊状变化的那些像素集合，以及图像周围像素灰度变化不连续的那些像素的集合。
S2，跟踪特征点和边缘，得到特征点和边缘的跟踪结果。
S3，融合跟踪结果，估计当前帧的位姿。
S4，判断是否插入新的关键帧。
S5，在插入新的关键帧情况下，对新的关键帧依次进行特征点局部建图、回环检测。
根据本发明的一个实施例，跟踪特征点和边缘，得到特征点和边缘的跟踪结果，包括：对特征点进行粗跟踪；在特征点粗跟踪成功的情况下，对特征点和边缘进行精跟踪；对特征点和边缘进行组合定位，得到特征点和边缘的跟踪结果。
具体地，基于边缘和特征点融合的红外成像SLAM方法的框架如图2，其主要分为四个线程：(1)跟踪线程；(2)特征点局部建图线程；(3)边缘点建图线程；(4)回环检测线程。
在跟踪线程中，首先对输入的图像提取特征点，如ORB(Oriented Fast andRotated Brief)特征点以及边缘。这里，ORB特征点和边缘提取在两个线程中同时进行，以节省时间。之后，使用ORB-SLAM中的方法对特征点进行粗跟踪。在粗跟踪完成后，进行特征点精跟踪和边缘精跟踪。在精跟踪完成后，将边缘和特征点的跟踪结果融合，估计当前帧的位姿。最后，判定是否插入新的关键帧。若是，则将其送入特征点局部建图线程以及回环检测线程，回环检测可以大幅度提高定位的精度。
根据本发明的一个实施例，得到特征点和边缘的跟踪结果之后，还包括：根据当前帧的边缘，对上一个关键帧中的边缘进行初始化或更新；对上一个关键帧中所有边缘进行重整化；将上一个关键帧中的边缘信息，传递到新的关键帧；对上一个关键帧、当前帧、新的关键帧上的边缘，进行一致性校验。
具体地，结合图2，在跟踪完毕后，开启边缘建图线程。用当前帧的边缘，对上一个KF中的边缘进行初始化或者更新。然后对KF中的所有边缘进行重整化。如果当前帧被设为KF，则将旧KF中的边缘信息传递到新KF中。在红外成像SLAM结束后，对所有KF上的边缘点进行一致性校验，进一步剔除野值。
在红外成像SLAM方法中，边缘跟踪和建图分别在两个线程中交替运行，特征点的跟踪和建图分别在两个线程中同时进行。
进一步地，根据本发明的一个实施例，在提取当前帧的特征点和边缘之前，还包括：对当前帧进行预处理。
具体地，由于红外图像的纹理较弱，在接收到图像后，首先对其进行预处理，然后再提取特征，其流程如图3。具体地，图像预处理时，使用直方图均衡的方式提高图像的对比度。不过，直方图均衡也放大了图像的噪声。因此，将均衡后的图像和原图进行加权平均，并进行低通滤波，从而在增强图像细节的同时，将噪声维持在较低的水平，这样便可得到增强后的图像检测特征点和边缘。之后，使用增强后的图像检测特征点和边缘定位与建图。
举例说明，在预处理前，图像中共检测到763个特征点和5537个边缘点。而在预处理后，图像中分别检测到了1003个特征点和7898个边缘点。另外，经过预处理，不仅检测到的特征点的数量更多，而且其分布也更加均匀。由此，这说明本发明的预处理能够提升图像的质量，使得视觉特征的提取更加容易，从而在图像质量不佳时降低定位失败的概率。并且，边缘和特征点的融合可以从图像中提取更多的信息，以提高本发明实施例的基于边缘和特征点融合的红外成像SLAM方法的鲁棒性和精度。
下面对边缘的建图进行介绍。
在SLAM运行时，需要对图像中的边缘进行建图，即估计边缘的深度，把图像中的二维边缘重建成空间中的三维边缘，其流程如图4。当新的一帧图像跟踪完毕后，算法首先遍历KF中的所有边缘点，在新图像中寻找匹配。如果找到匹配，则对KF中边缘点的深度进行初始化或者更新。遍历结束后，对KF中的所有边缘点进行重整化，即根据邻域点深度的一致性，进行野值剔除和平滑滤波。
如果新的一帧被设为KF，则将老KF有深度信息的边缘点投影到新KF中，对新KF中的边缘点进行初始化。最终，在SLAM结束时，对所有KF的边缘点进行帧间深度一致性校验，进一步剔除边缘深度的野值。
下面对边缘深度初始化进行介绍。
在相机移动时，图像中会出现新的边缘。这些边缘无深度信息，需要根据两幅图像的运动关系，通过三角化测出深度。
在建图前，已经完成了对当前图像的跟踪，因此可以根据跟踪时观测到的特征点和边缘点深度，估算极线搜索的深度范围。此外，当前帧的位姿在跟踪成功后成为已知参数。那么，当前帧同上一个KF的相对位姿TFK也可以轻易求出。
下面对边缘深度更新进行介绍。
在建图时，KF中的部分边缘点在之前已经完成了初始化。对这些点仍然使用极线搜索法，在当前帧中寻找匹配。不过，因为这些边缘点包含了逆深度及其标准差的信息，所以搜索区间比上一节小很多，因此速度更快，匹配结果更准。
如果找到匹配，则使用增量式非线性最小二乘法，对KF中边缘点的逆深度和标准差进行更新。如果在本应出现匹配的位置没找到匹配，则跟踪丢失次数+1。如果某个点跟踪丢失次数多于阈值，则认为这个边缘点的深度估计有误，重设其深度信息，等待再次初始化。
下面对边缘深度重整化进行介绍。
在图像的边缘中，相邻的点很可能来自于空间中同一条边缘。因此，它们的深度应当接近。算法在使用当前图像对KF的边缘进行初始化和更新后，再进行重整化操作，即根据邻域关系对边缘深度进行野值剔除和平滑滤波。
如果某个边缘点N-邻域的点中，有M个点的深度在其深度误差的3σ范围内，则认为该点的深度是可靠的。这时，使用它和这M个邻域点的深度对该点深度进行平滑。否则，该点被判定为野值，重设其深度信息。
重整化可以降低边缘深度的波动，使地图更加精确和美观。
下面对边缘传递进行介绍。
如果当前帧被设为了KF，则将上一个KF边缘点的深度和方差传递到新的KF中，对新KF的边缘点进行初始化。由于在建图时，使用当前图像对旧KF进行边缘深度初始化和更新，所以之前的操作已经得到了新旧边缘点之间的匹配关系。因此，在信息传递时，无需再次匹配，只将深度和方差根据几何关系变换到新图像中即可。
下面对边缘的一致性校验进行介绍。
在整个SLAM运行完毕后，对所有KF上的边缘点进行一致性校验，剔除野值，以提高地图的精度。在校验前，先对所有的KF和特征点进行全局优化。之后，对所有KF进行遍历：
1)对第i个关键帧Ki，找出与它共视关系最好的N个KF。
2)将Ki中的所有边缘点投影到这些KF中，并搜索匹配的边缘点。
3)如果Ki中某个边缘点pj在某KF中寻找到了匹配的边缘点，并和匹配点的深度没有矛盾，则pj的匹配数量+1。
4)搜索完毕后，如果pj的匹配数量大于阈值，则保留这个观测。否则认为这个观测是野值。
去除所有野值，即得到最终的边缘地图。可见，经过一致性校验的地图中的噪声更少，更适合可视化显示。
下面具体对边缘-特征点融合定位进行介绍。
边缘-特征点融合定位的流程图如图5。在接收到新的图像后，分别在两个线程中对图像提取特征点和边缘。然后按照ORB-SLAM中的方法，对特征点进行跟踪。如果特征点跟踪成功，则对图像中的所有边缘进行跟踪。否则，先对部分边缘进行匹配，获得当前帧位姿的粗估计值，然后再对所有边缘进行精跟踪。如果边缘跟踪成功，则利用边缘和特征点的跟踪结果，估算当前帧的位姿。
边缘、特征点跟踪的逻辑关系如图6。只有当特征点和边缘全部跟踪失败时，整个SLAM才会出现定位失败。否则，特征跟踪或者边缘跟踪，均可独立工作。因此，两种特征互为备份，提高了本发明实施例的基于边缘和特征点融合的红外成像SLAM方法的精度和鲁棒性。
在边缘跟踪时，首先需要获得当前帧相对于KF的位姿TFK。它可以由基于特征点的跟踪得到。如果特征点跟踪没有成功，则对部分边缘点对TFK进行初始化。
在获得TFK后，使用公式PF＝π(TFK(K-1pK/ρ))，将KF中所有带有深度信息的边缘点投影到当前帧中，然后在其邻域内搜索匹配。搜索时，首先找到候选网格，然后再对其中的边缘点进行匹配。匹配时，首先排除法向方向差异过大的点，再排除描述子差异过大的点，最后对边缘进行匹配。
如果基于特征点的匹配失败，则使用边缘对TFK进行初始化。算法首先在KF的边缘点中，选择深度标准差最小的N个点，然后再在其中随机选择M个点。将这些点按照恒速模型预估的TFK投影到当前帧中，然后以较大的半径搜索匹配。在完成匹配后，使用优化的方法，估计当前帧的位姿。
对上述随机选点-匹配-优化的操作迭代若干次，每一次都缩小匹配时的搜索范围。最终，算法会收敛到一个最优的位姿上，并获得最多的匹配数量。迭代结束后，如果正确的匹配数量大于阈值，则认为粗跟踪成功。这里，不使用全部边缘点参与初始化由于多次迭代的计算量很大，为了提高运算速度，算法只选择少量边缘点参与计算。
如果特征点和边缘点均跟踪成功，则根据特征点匹配结果和边缘匹配结果构造代价函数。并对代价函数进行优化，即可得到当前帧相对于KF的位姿。经过变换，即可得到当前帧在世界坐标中的位姿。
本发明实施例的边缘与特征点融合的红外成像SLAM方法的原理如图7所示。假设空间中有边缘E＝{E1,···,Em}和特征点P＝{P1,···,Pn}(图中只显示了一条边缘Ei和一个特征点Pj)。当相机从ξ1移动到ξ2时，拍摄了图像I1和I2。Ei和Pj在I1和I2中的投影分别为和/>
在传统的间接法SLAM中，只利用特征点p进行定位和建图。而本文为了从图像中提取更多、更稳定的信息，将边缘和特征点的观测融合，以发挥两者的优点，提升SLAM的性能。
在SLAM建图时，假设定位结果ξ1和ξ2为已知量，这时T12已知。这样，本发明可以通过恢复出Ei，通过/>恢复出Pj。
在SLAM定位中，假设Ei和Pj为已知量，然后将它们根据当前帧的粗估计值投影到图像I2中，得到/>和/>然后，在I2图像中搜索它们的匹配，得到/>和/>而/>与/> 与/>的差异，包含了位姿估计值/>和真实值ξ2的差异信息。通过优化匹配误差，本发明的方法可以得到当前帧位姿的估计结果，从而实现定位。
在SLAM后端，算法通过BA技术，对P和ξ进行联合优化，以获取更高的定位和建图精度(本发明考虑到计算量的问题，不对E的深度进行优化)。后端优化的代价函数可以为：其中，/>为边缘的观测权重，sρi,k为边缘投影位置的标准差，/>为特征点的观测权重，slj,k为特征点尺度因子。当特征点数量多，或者边缘深度估计不准确时，本发明的方法主要利用特征点的观测信息。反之，则主要利用边缘的观测。
根据本发明实施例的基于边缘和特征点融合的红外成像SLAM方法，先提取当前帧的特征点和边缘，并跟踪特征点和边缘，得到特征点和边缘的跟踪结果，然后，融合跟踪结果，估计当前帧的位姿，最后，判断是否插入新的关键帧，并在插入新的关键帧情况下，对新的关键帧依次进行特征点局部建图、回环检测。由此，该方法通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
图8是根据本发明实施例的基于边缘和特征点融合的红外成像SLAM装置的方框示意图。如图8所示，本发明实施例的基于边缘和特征点融合的红外成像SLAM装置，包括：提取模块81、跟踪模块82、融合模块83、判断模块84和控制模块85。
其中，提取模块81用于提取当前帧的特征点和边缘，跟踪模块82用于跟踪特征点和边缘得到特征点和边缘的跟踪结果，融合模块83用于融合跟踪结果，估计当前帧的位姿，判断模块84用于判断是否插入新的关键帧，控制模块85用于在插入新的关键帧情况下，对新的关键帧依次进行特征点局部建图、回环检测。
在本发明的一个实施例中，跟踪模块82，包括：第一跟踪单元、第二跟踪单元和获取单元。其中，第一跟踪单元，用于对特征点进行粗跟踪；第二跟踪单元，用于在特征点粗跟踪成功的情况下，对特征点和边缘进行精跟踪；获取单元，用于对特征点和边缘进行组合定位，得到特征点和边缘的跟踪结果。
在本发明的一个实施例中，上述的装置，还包括：初始化模块、重整化模块、传递模块和校验模块。其中，初始化模块用于根据当前帧的边缘，对上一个关键帧中的边缘进行初始化或更新，重整化模块用于对上一个关键帧中所有边缘进行重整化，传递模块用于将上一个关键帧中的边缘信息，传递到新的关键帧，校验模块用于对上一个关键帧、当前帧、新的关键帧上的边缘，进行一致性校验。
在本发明的一个实施例中，上述的装置，还包括：预处理模块，用于对当前帧进行预处理。
需要说明的是，本发明实施例的基于边缘和特征点融合的红外成像SLAM装置中未披露的细节，请参考本发明实施例的基于边缘和特征点融合的红外成像SLAM方法中所披露的细节，具体这里不再详述。
根据本发明实施例的基于边缘和特征点融合的红外成像SLAM装置，通过提取模块提取当前帧的特征点和边缘，通过跟踪模块跟踪特征点和边缘得到特征点和边缘的跟踪结果，通过融合模块融合跟踪结果估计当前帧的位姿，通过判断模块判断是否插入新的关键帧，控制模块在插入新的关键帧情况下，对新的关键帧依次进行特征点局部建图、回环检测。由此，该装置通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述的基于边缘和特征点融合的红外成像SLAM方法。
本发明实施例的计算机设备，通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
为达到上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于边缘和特征点融合的红外成像SLAM方法。
本发明实施例的非临时性计算机可读存储介质，通过将边缘和特征点融合，可以结合两者的优点，从图像中提取更多的有效信息，提升了红外成像SLAM的性能、鲁棒性和精度。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于边缘和特征点融合的红外成像SLAM方法，其特征在于，包括以下步骤：
提取当前帧的特征点和边缘；
跟踪所述特征点和所述边缘，得到所述特征点和所述边缘的跟踪结果；
融合所述跟踪结果，估计当前帧的位姿；
判断是否插入新的关键帧；
在插入新的关键帧情况下，对所述新的关键帧依次进行特征点局部建图、回环检测；
其中，所述跟踪所述特征点和所述边缘，得到所述特征点和所述边缘的跟踪结果，包括：
基于ORB-SLAM算法，对所述特征点进行粗跟踪；
如果对所述特征点粗跟踪成功，则对所述特征点进行细跟踪，并在对所述特征点细跟踪成功后，再对所述当前帧中所有的所述边缘进行精跟踪，否则，对所述当前帧中部分的所述边缘进行粗跟踪后，再对所述当前帧中所有的所述边缘进行精跟踪；
如果对所述当前帧中所有的所述边缘精跟踪成功，则对所述特征点和所述边缘进行组合定位，得到所述特征点和边缘的跟踪结果；
其中，在所述跟踪所述特征点和所述边缘，得到所述特征点和所述边缘的跟踪结果之后，还包括：
根据所述当前帧的边缘，对上一个关键帧中的边缘进行初始化或更新；
对所述上一个关键帧中所有边缘进行重整化；
将所述上一个关键帧中的边缘信息，传递到所述新的关键帧；
对所述上一个关键帧、所述当前帧、所述新的关键帧上的边缘，进行一致性校验。
2.根据权利要求1所述的方法，其特征在于，所述提取当前帧的特征点和边缘之前，还包括：
对所述当前帧进行预处理。
3.一种基于边缘和特征点融合的红外成像SLAM装置，其特征在于，包括：
提取模块，用于提取当前帧的特征点和边缘；
跟踪模块，用于所述跟踪特征点和所述边缘，得到所述特征点和所述边缘的跟踪结果；
融合模块，用于融合所述跟踪结果，估计当前帧的位姿；
判断模块，用于判断是否插入新的关键帧；
控制模块，用于在插入新的关键帧情况下，对所述新的关键帧依次进行特征点局部建图、回环检测；
其中，所述跟踪模块，包括：
第一跟踪单元，用于基于ORB-SLAM算法，对所述特征点进行粗跟踪；
第二跟踪单元，用于在对所述特征点粗跟踪成功时，对所述特征点进行细跟踪，并在对所述特征点细跟踪成功后，再对所述当前帧中所有的所述边缘进行精跟踪，否则，对所述当前帧中部分的所述边缘进行粗跟踪后，再对所述当前帧中所有的所述边缘进行精跟踪；
获取单元，用于在对所述当前帧中所有的所述边缘精跟踪成功时，对所述特征点和所述边缘进行组合定位，得到所述特征点和边缘的跟踪结果；
其中，所述装置，还包括：
初始化模块，用于根据所述当前帧的边缘，对上一个关键帧中的边缘进行初始化或更新；
重整化模块，用于对所述上一个关键帧中所有边缘进行重整化；
传递模块，用于将所述上一个关键帧中的边缘信息，传递到所述新的关键帧；
校验模块，用于对所述上一个关键帧、所述当前帧、所述新的关键帧上的边缘，进行一致性校验。
4.根据权利要求3所述的装置，其特征在于，还包括：
预处理模块，用于对所述当前帧进行预处理。
5.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1或2所述的基于边缘和特征点融合的红外成像SLAM方法。
6.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1或2所述的基于边缘和特征点融合的红外成像SLAM方法。
CN202110220229.6A 2021-02-26 2021-02-26 基于边缘和特征点融合的红外成像slam方法和装置 Active CN112862803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110220229.6A CN112862803B (zh) 2021-02-26 2021-02-26 基于边缘和特征点融合的红外成像slam方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110220229.6A CN112862803B (zh) 2021-02-26 2021-02-26 基于边缘和特征点融合的红外成像slam方法和装置

Publications (2)

Publication Number Publication Date
CN112862803A CN112862803A (zh) 2021-05-28
CN112862803B true CN112862803B (zh) 2023-09-26

Family

ID=75990362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110220229.6A Active CN112862803B (zh) 2021-02-26 2021-02-26 基于边缘和特征点融合的红外成像slam方法和装置

Country Status (1)

Country Link
CN (1) CN112862803B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958466A (zh) * 2017-12-01 2018-04-24 大唐国信滨海海上风力发电有限公司 一种Slam算法优化基于模型的跟踪方法
CN108986037A (zh) * 2018-05-25 2018-12-11 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统
EP3644015A1 (en) * 2018-10-26 2020-04-29 Fujitsu Limited Position estimation system and position estimation method
CN111707281A (zh) * 2020-06-30 2020-09-25 华东理工大学 一种基于光度信息和orb特征的slam系统
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474230B1 (en) * 2017-10-18 2020-07-22 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958466A (zh) * 2017-12-01 2018-04-24 大唐国信滨海海上风力发电有限公司 一种Slam算法优化基于模型的跟踪方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN108986037A (zh) * 2018-05-25 2018-12-11 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
EP3644015A1 (en) * 2018-10-26 2020-04-29 Fujitsu Limited Position estimation system and position estimation method
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统
CN111707281A (zh) * 2020-06-30 2020-09-25 华东理工大学 一种基于光度信息和orb特征的slam系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Demo: Edge-SLAM: Edge-Assisted Visual Simultaneous Localization and Mapping;Ali J. Ben Ali 等;《ACM》;878-880 *
Integration of Low-Cost GNSS and Monocular Cameras for Simultaneous Localization and Mapping;Xiao Chen 等;《Sensors》;全文 *
一种结合ORB特征和视觉词典的RGB-D SLAM算法;张震;郑宏;周璇;张生群;;计算机工程与应用(12);全文 *
基于关键帧的视觉惯性SLAM闭环检测算法;张玉龙 等;《计算机科学与探索 》;全文 *
基于语义信息和边缘一致性的鲁棒SLAM算法;姚二亮;张合新;宋海涛;张国良;;机器人(06);全文 *
融合特征法与直接法的RGB-D稠密视觉SLAM算法;胡章芳;张杰;程亮;;半导体光电(04);全文 *

Also Published As

Publication number Publication date
CN112862803A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN110533587B (zh) 一种基于视觉先验信息和地图恢复的slam方法
CN108986037B (zh) 基于半直接法的单目视觉里程计定位方法及定位系统
CN112461230B (zh) 机器人重定位方法、装置、机器人和可读存储介质
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
KR101532864B1 (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN101826206B (zh) 一种相机自定标的方法
CN114862949A (zh) 一种基于点线面特征的结构化场景视觉slam方法
CN110599545B (zh) 一种基于特征的构建稠密地图的系统
US10460471B2 (en) Camera pose estimating method and system
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN112418288A (zh) 一种基于gms和运动检测的动态视觉slam方法
CN112752028A (zh) 移动平台的位姿确定方法、装置、设备和存储介质
CN109978919B (zh) 一种基于单目相机的车辆定位方法及系统
CN109711321A (zh) 一种结构自适应的宽基线影像视角不变直线特征匹配方法
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN107392898B (zh) 应用于双目立体视觉中的像素点视差值计算方法及装置
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN112862803B (zh) 基于边缘和特征点融合的红外成像slam方法和装置
CN116147618B (zh) 一种适用动态环境的实时状态感知方法及系统
CN117036447A (zh) 基于多传感器融合的室内场景稠密三维重建方法及装置
CN116563352A (zh) 融合深度视觉信息的单线激光雷达回环检测方法及系统
Veld et al. A novel confidence measure for disparity maps by pixel-wise cost function analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant