CN117671299A - 一种回环检测方法、装置、设备及存储介质 - Google Patents
一种回环检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117671299A CN117671299A CN202311667129.3A CN202311667129A CN117671299A CN 117671299 A CN117671299 A CN 117671299A CN 202311667129 A CN202311667129 A CN 202311667129A CN 117671299 A CN117671299 A CN 117671299A
- Authority
- CN
- China
- Prior art keywords
- matching
- image
- pairs
- loop detection
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 138
- 238000012549 training Methods 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及回环检测方法、装置、设备及存储介质，属于图像处理技术领域。本发明包括：获取多张训练图像；将每两张训练图像组成一个样本对；对所述样本对进行匹配，得到对应的匹配关键点对；根据所述样本对的匹配关键点对，生成对应的二进制掩码图像；将所有样本对及对应的二进制掩码图像输入深度网络模型，对所述深度网络模型进行优化，得到优化后的回环检测模型；根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果。通过本发明，有助于解决现有技术中传统视觉回环检测方法可能会对相似的物体进行误匹配，导致检测效果较差的问题。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及回环检测方法、装置、设备及存储介质。
背景技术
随着移动机器人的日益发展，视觉SLAM(Simultaneous Localization andMapping，同时定位与制图)也有了长足的进步，与传统激光SLAM相比，视觉SLAM的感知以及重定位能力更强。
视觉SLAM框架包括传感器数据、前端、后端、回环检测和建图，其中回环检测是SLAM系统中重要的组成部分，又称闭环检测，是指机器人识别曾到达某场景，使得地图闭环的能力。
在SLAM建图过程中，视觉里程计(VO)仅考虑相邻时间上的关键帧，在这期间产生的误差会逐步累积，形成累积误差。通过回环检测方法，识别机器人曾经经过的地方，可以发现潜在的回环，修正漂移误差，构建全局一致的轨迹和地图。所以，在同时定位与制图(Simultaneous Localization and Mapping，简称SLAM)领域，回环检测对消除累积误差有着非常重要的作用，对于SLAM系统的稳定性、鲁棒性以及最终精度至关重要。
传统的回环检测方法，往往使用基于外观的方法，最为典型的就是词袋模型，但对相似性较高的场景，多样性的光影效果和纹理特性使得很多物体展现出相似的视觉特征，这种情况下，传统视觉回环检测方法可能会对这些相似的物体进行误匹配，导致检测效果较差。例如，如果当前视野中物体表面的纹理、颜色或照明等视觉特征与机器人已经经过的物体表面的视觉特征过于相似，传统视觉回环检测系统可能会将当前位置错误地标识为之前曾经经过的位置，导致机器人识别曾到达场景时，地图闭环的误差放大。
对于不能有效处理高度相似物体表面的传统视觉回环检测，这种复杂性、相似度较高的物体表面，容易导致误匹配，对当前环境的识别产生误导，使得回环检测的准确率降低，更可能扭曲全局建模，甚至破坏SLAM系统的稳定性和精度。
发明内容
有鉴于此，本发明的目的在于提供一种回环检测方法、装置、设备及存储介质，以解决现有技术中传统视觉回环检测方法可能会对相似的物体进行误匹配，导致检测效果较差的问题。
根据本发明实施例的第一方面，提供一种回环检测方法，包括：
获取多张训练图像；
将每两张训练图像组成一个样本对；
对所述样本对进行匹配，得到对应的匹配关键点对；
根据所述样本对的匹配关键点对，生成对应的二进制掩码图像；
将所有样本对及对应的二进制掩码图像输入深度网络模型，对所述深度网络模型进行优化，得到优化后的回环检测模型；
根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果。
优选地，所述对所述样本对进行匹配，得到对应的匹配关键点对，包括：
对所述样本对中的两张训练图像分别进行关键点检测，得到对应的关键点；
根据所述样本对中的两张训练图像的关键点，对所述样本对进行关键点匹配，得到对应的匹配关键点对。
优选地，所述根据所述样本对的匹配关键点对，生成对应的二进制掩码图像，包括：
根据所述样本对的匹配关键点对，分别确定所述样本对的两张图像中的匹配关键点位置；
将所述样本对的两张图像中的匹配关键点位置处的像素设为1，其余像素设为0，生成对应的二进制掩码图像。
优选地，所述对所述样本对进行匹配，得到对应的匹配关键点对，之后，所述方法还包括：
对所述匹配关键点对进行异常检测，得到异常匹配关键点对；
将所述异常匹配关键点对进行过滤。
优选地，所述根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果，包括：
实时获取历史图像；
将所述待检测图像和各历史图像输入优化后的回环检测模型，得到对应的匹配概率；
根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配；
根据所述待检测图像与所有历史图像的匹配结果，对回环检测结果进行判断，若存在历史图像与所述待检测图像的匹配结果为匹配，判定检测结果为存在回环。
优选地，所述根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配，包括：
若所述匹配概率大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为匹配，若所述匹配概率不大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为不匹配。
优选地，所述样本对包括正样品对和负样本对，其中同一位置的两张不同训练图像为正样本对，两张不同位置的训练图像为负样本对。
根据本发明实施例的第二方面，提供一种回环检测装置，包括：
样本获取模块，用于获取多张训练图像；
样本对获取模块，用于将每两张训练图像组成一个样本对；
图像匹配模块，用于对所述样本对进行匹配，得到对应的匹配关键点对；
二进制掩码获取模块，用于根据所述样本对的匹配关键点对，生成对应的二进制掩码图像；
模型优化模块，用于将所有样本对及对应的二进制掩码图像输入深度网络模型，对所述深度网络模型进行优化，得到优化后的回环检测模型；
回环检测模块，用于根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果。
根据本发明实施例的第三方面，提供一种回环检测设备，包括：
存储器，其上存储有可执行程序；
处理器，用于执行所述存储器中的所述可执行程序，以实现上述任一项所述方法的步骤。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述任一项所述方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
通过获取多张训练图像，将每两张训练图像组成一个样本对，对每个样本对进行匹配，得到对应的匹配关键点对，根据样本对的匹配关键点对，生成对应的二进制掩码图像，将所有样本对及对应的二进制掩码图像输入深度网络模型，对深度网络模型进行优化，得到优化后的回环检测模型，由于优化后的回环检测模型经过大量训练图像进行优化，具有多样性，并且为深度网络模型，能有效区别环境中存在的相似性较高的场景，提高了回环检测的准确性，根据优化后的回环检测模型，对待检测图像进行回环检测时，能更准确识别相似的物体或场景，得到的回环检测结果更加准确，有效修正SLAM建图过程中的累积误差，提高SLAM系统的稳定性、鲁棒性和最终精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种回环检测方法的流程示意图；
图2是根据一示例性实施例示出的一种回环检测装置的框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明提供了一种回环检测方法，参见图1，图1是根据一示例性实施例示出的一种回环检测方法的流程示意图，该方法包括：
步骤S11，获取多张训练图像；
步骤S12，将每两张训练图像组成一个样本对；
步骤S13，对所述样本对进行匹配，得到对应的匹配关键点对；
步骤S14，根据所述样本对的匹配关键点对，生成对应的二进制掩码图像；
步骤S15，将所有样本对及对应的二进制掩码图像输入初始回环检测模型，对所述初始回环检测模型进行优化，得到优化后的回环检测模型；
步骤S16，根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果。
具体的，获取训练图像，训练图像的获取可以为机器人或无人机在不同环境、不同场景下获取的多张图像。其中对于环境可以选取具有高度对称或重复结构的环境，增加疑似物体表面的训练样本。并在多个环境中进行遍历，捕获大量图像，确保捕获的图像来自不同时间、不同天气状况和不同照明条件，以增加训练样本的多样性和广泛性。这些训练图像中包含同一位置不同拍摄视角的图像，还包含视觉上较相似但不是同一位置的图像，例如视觉上较相似但来自物体的不同面的两个图像。
由于现实环境中存在大量不同位置的图像，但是对于同一位置或同一场景的不同视角的图像并不多，在创建训练图像时，可以将拍摄到的训练图像进行翻转，得到与其视觉上相似但并非同一位置的训练图像，以增加样本的多样性。
将上述获取到的训练图像进行两两组合，每两张组成一个样本对，并使用Labelbox、VGG Image Annotator等专门的图像标注工具，对每个样本对中的两个训练图像进行标签标注，当样本对中的两个训练图像为不同位置或不同物体时，两个训练图像为不匹配，将该样本对标记为负样本对；当样本对中的两个训练图像为相同位置的不同视角时，两个训练图像匹配，将该样本对标记为正样本对。
对于上述训练图像两两组合后形成的样本对，对每个样本对进行关键点检测，并通过检测到的关键点进行匹配，得到对应的匹配关键点对。即，一个样本对，进行匹配之后，得到一组对应的匹配关键点对。
根据上述匹配的到的样本对的匹配关键点对，与该样本对中的两个训练图像，生成对应的二进制掩码图像。
对于任意一个样本对，均生成其对应的二进制掩码图像，将所有样本对及对应的二进制掩码图像输入深度网络模型，利用大量的样本对对深度网络模型进行优化，得到优化后的回环检测模型。由于深度网络模型的输入中包含有样本对对应的二进制掩码图像，包含了匹配关键点对，可以使得深度网络模型更好地理解局部特征以及全局和图像级别的信息，从而提高优化后的回环检测模型的识别准确率。
其中，深度网络模型为分类器，包含三个残差块、一个平均池化层和一个全连接层。输入数据为上述所有的样本对和对应的二进制掩码图像。对于每一个样本对，它们的训练图像(每个图像3个通道)和相应的二进制掩码图像(每个图像2个通道)被合并成一个10通道的输入张量(6个通道来自两个训练图像，4个通道来自两个二进制掩码图像)。通过所设计的多层结构，深度网络模型能够从图像中提取出深层次的特征，这些特征不仅包含了物体的基本形状和纹理信息，还包括了更为复杂的空间结构关系。这样的特征对于消除视觉歧义，特别是在高度相似物体表面的情境下，具有关键作用。并且，所有的处理步骤都在一个统一的框架下完成，大大减少了中间步骤的误差传播，确保了对回环检测的检测结果的准确性。
深度网络模型通过计算，得到每个样本对中的两张训练图像的匹配概率。其中匹配概率表示该样本对中的两张训练图像为同一位置的概率。判断匹配概率是否大于预设阈值，当大于预设阈值时，判定该样本对的两张训练图像的匹配结果为匹配，即来自同一位置。将深度网络模型识别得到匹配结果跟标注的标签进行对比，当识别得到的匹配结果与标注的标签一致时，认为深度网络模型的识别结果为正匹配，当识别得到的匹配结果与标注的标签不一致时，认为深度网络模型的识别结果为负匹配。
将所有的样本对及其对应的二进制掩码图像输入深度网络模型进行训练，得到深度网络模型的正匹配概率，其中正匹配概率为深度网络模型的识别结果为正匹配的概率。
使用Adam优化器对上述深度网络模型进行训练优化，并设置其训练参数，例如，设置初始学习率为5×10^-4，并从第5个epoch开始线性衰减学习率，直到在第10个epoch时达到5×10^-6。这种学习率的调整策略有助于深度网络模型在训练初期就快速收敛，并在后期对深度网络模型的性能进行细化。
使用焦点损失(focal loss)函数来优化上述深度网络模型，焦点损失是交叉熵损失的一个变种，特别适用于不平衡的分类问题，可以更关注难以分类的样本，适宜于表面较相似的场景的识别。当焦点损失函数收敛时，得到优化后的回环检测模型。通过平衡正负样本对的分布，并赋予难以分类的样本对更多的权重，提高了优化的性能。
当机器人或无人机识别曾经经过的地方时，实时获取待检测图像，待检测图像即为机器人或无人机当前所获取到的场景的图像。机器人或无人机中保存有曾经经过的地方的图像，将其称为历史图像。
将待检测图像和任意一个历史图像组成样本对，经过上述步骤S13-步骤S14的方法操作后，生成对应的二进制掩码图像，将待检测图像与历史图像及二进制掩码图像输入上述优化后的回环检测模型，通过回环检测模型对待检测图像进行回环检测，得到待检测图像与所有历史图像的匹配结果。当存在历史图像与待检测图像匹配时，确定检测结果为存在回环；当所有历史图像与待检测图像都不匹配时，确定检测结果为不存在回环。
需要说明的是，在将训练图像组成样本对之前，还可以对所有训练图像进行预处理，比如进行旋转、缩放、裁剪、亮度调整和对比度调整等，既能增加样本的多样性，还有助于对训练图像中的特征进行精准识别。
可以理解的是，本实施例提供的技术方案，通过获取多张训练图像，将每两张训练图像组成一个样本对，对每个样本对进行匹配，得到对应的匹配关键点对，根据样本对的匹配关键点对，生成对应的二进制掩码图像，将所有样本对及对应的二进制掩码图像输入深度网络模型，对深度网络模型进行优化，得到优化后的回环检测模型，由于优化后的回环检测模型经过大量训练图像进行优化，具有多样性，并且为深度网络模型，能有效区别环境中存在的相似性较高的场景，提高了回环检测的准确性，根据优化后的回环检测模型，对待检测图像进行回环检测时，能更准确识别相似的物体或场景，得到的回环检测结果更加准确，有效修正SLAM建图过程中的累积误差，提高SLAM系统的稳定性、鲁棒性和最终精度。
优选地，步骤S13中，所述对所述样本对进行匹配，得到对应的匹配关键点对，包括：
对所述样本对中的两张训练图像分别进行关键点检测，得到对应的关键点；
根据所述样本对中的两张训练图像的关键点，对所述样本对进行关键点匹配，得到对应的匹配关键点对。
具体的，对样本对进行匹配时，对样本对中的两张训练图像进行关键点检测，分别得到两张训练图像对应的关键点。其中关键点最能表现图像中物体的特征，每张训练图像中的关键点的个数为最少一个。
根据样本对中的两张训练图像的所有关键点，进行关键点一一匹配，将其中一张训练图像中的所有关键点，与另一张训练图像中的所有关键点，进行一一匹配，将相匹配的两个关键点组成匹配关键点对，从而得到两张训练图像对应的所有的匹配关键点对。
在一具体示例中，对两个训练图像组成的样本对(Ia,Ib)，进行关键点检测，将训练图像Ia的检测得到的关键点记为{ka}，
其中，为第i个关键点的像素位置，Na为训练图像Ia中关键点的个数。
同样的方式，检测得到训练图像Ib的关键点{kb}。将关键点记{ka}与关键点{kb}进行一一匹配，经过匹配之后，从中选出相匹配的，得到训练图像Ia与训练图像Ib的匹配关键点对。
优选地，所述步骤S14中，所述根据所述样本对的匹配关键点对，生成对应的二进制掩码图像，包括：
根据所述样本对的匹配关键点对，分别确定所述样本对的两张图像中的匹配关键点位置；
将所述样本对的两张图像中的匹配关键点位置处的像素设为1，其余像素设为0，生成对应的二进制掩码图像。
具体的，上述获取到样本对中两张训练图像的匹配关键点对之后，可以根据样本对的匹配关键点对，分别确定两张训练图像中的匹配关键点位置，其中匹配关键点位置为匹配关键点对中的关键点分别在两张训练图像中的位置。
对于样本对中的两张训练图像中的其中一张图像，找出匹配关键点中在该图像中的关键点对应的位置，将该图像中的此位置处的像素设为1，其余位置的像素都设为0，如此生成一个对应的二进制掩码图像。相同的方式，对于样本对中的两外一张训练图像，生成一个对应的二进制掩码图像。
优选地，其中步骤S13中，所述对所述样本对进行匹配，得到对应的匹配关键点对，之后，所述方法还包括：
对所述匹配关键点对进行异常检测，得到异常匹配关键点对；
将所述异常匹配关键点对进行过滤。
具体的，对于一个样本对，上述得到对应的匹配关键点对之后，对所有的匹配关键点对进行异常检测，通过估计匹配关键点对之间的单应性矩阵H，验证每一个匹配关键点对的几何一致性，将不符合要求的匹配关键点对作为异常匹配关键点对，将异常匹配关键点对过滤掉，得到剩下的匹配关键点对，利用剩下的匹配关键点对生成样本对中的两个训练图像对应的二进制掩码图像。
需要说明的是，进行异常检测时，可以使用RANSAC算法估计基础矩阵，得到异常匹配关键点对，并将异常匹配关键点对过滤掉。
优选地，所述步骤S16中，所述根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果，包括：
实时获取历史图像；
将所述待检测图像和各历史图像输入优化后的回环检测模型，得到对应的匹配概率；
根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配；
根据所述待检测图像与所有历史图像的匹配结果，对回环检测结果进行判断，若存在历史图像与所述待检测图像的匹配结果为匹配，判定检测结果为存在回环。
具体的，上述训练优化后得到的回环检测模型，可以用来检测是否存在回环。
当机器人或无人机识别曾经经过的地方时，实时获取待检测图像，待检测图像即为机器人或无人机当前所获取到的场景的图像。机器人或无人机中保存有曾经经过的地方的图像，将其称为历史图像。
将待检测图像和任意一个历史图像，生成对应的二进制掩码图像，将待检测图像与历史图像及二进制掩码图像输入上述优化后的回环检测模型，得到待检测图像与任意一个历史图像的匹配概率。
根据得到的匹配概率，判定待检测图像与该历史图像的匹配结果为匹配或不匹配。根据待检测图像与所有历史图像的匹配结果，对回环检测结果进行判断，当存在历史图像与待检测图像的匹配结果为匹配时，判定检测结果为存在回环。当所有历史图像与待检测图像都不匹配时，确定检测结果为不存在回环，有效识别机器人或无人机是否曾经经过某个历史位置。
优选地，所述根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配，包括：
若所述匹配概率大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为匹配，若所述匹配概率不大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为不匹配。
具体的，当得到待检测图像与任意一个历史图像的匹配概率时，将匹配概率与预设阈值进行对比，当匹配概率大于预设阈值时，判定该待检测图像与该历史图像的匹配结果为匹配，当匹配概率不大于预设阈值时，判定该待检测图像与该历史图像的匹配结果为不匹配。
优选地，所述样本对包括正样品对和负样本对，其中同一位置的两张不同训练图像为正样本对，两张不同位置的训练图像为负样本对。
具体的，对于上述的样本对，样本对中包括正样品对和负样本对，其中正样本对为同一位置的两张不同训练图像，即两张训练图像可能为同一位置的不同视角或者同一位置的同一视角。其中负样本对为不同位置的训练图像，即两张训练图像为不同位置的图像，可能为同一物体的不同侧面的图像。
可以理解的是，本实施例提供的技术方案，通过获取多张训练图像，将每两张训练图像组成一个样本对，对每个样本对进行匹配，得到对应的匹配关键点对，根据样本对的匹配关键点对，生成对应的二进制掩码图像，将所有样本对及对应的二进制掩码图像输入深度网络模型，对深度网络模型进行优化，得到优化后的回环检测模型，由于优化后的回环检测模型经过大量训练图像进行优化，具有多样性，并且为深度网络模型，能有效区别环境中存在的相似性较高的场景，提高了回环检测的准确性，根据优化后的回环检测模型，对待检测图像进行回环检测时，能更准确识别相似的物体或场景，得到的回环检测结果更加准确，有效修正SLAM建图过程中的累积误差，提高SLAM系统的稳定性、鲁棒性和最终精度。
本发明提供了一种回环检测装置，参见图2，图2是根据一示例性实施例示出的一种回环检测装置的框图示意图，包括：
样本获取模块21，用于获取多张训练图像；
样本对获取模块22，用于将每两张训练图像组成一个样本对；
图像匹配模块23，用于对所述样本对进行匹配，得到对应的匹配关键点对；
二进制掩码获取模块24，用于根据所述样本对的匹配关键点对，生成对应的二进制掩码图像；
模型优化模块25，用于将所有样本对及对应的二进制掩码图像输入深度网络模型，对所述深度网络模型进行优化，得到优化后的回环检测模型；
回环检测模块26，用于根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果。
优选地，所述对所述样本对进行匹配，得到对应的匹配关键点对，包括：
对所述样本对中的两张训练图像分别进行关键点检测，得到对应的关键点；
根据所述样本对中的两张训练图像的关键点，对所述样本对进行关键点匹配，得到对应的匹配关键点对。
优选地，所述根据所述样本对的匹配关键点对，生成对应的二进制掩码图像，包括：
根据所述样本对的匹配关键点对，分别确定所述样本对的两张图像中的匹配关键点位置；
将所述样本对的两张图像中的匹配关键点位置处的像素设为1，其余像素设为0，生成对应的二进制掩码图像。
优选地，所述对所述样本对进行匹配，得到对应的匹配关键点对，之后，所述方法还包括：
对所述匹配关键点对进行异常检测，得到异常匹配关键点对；
将所述异常匹配关键点对进行过滤。
优选地，所述根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果，包括：
实时获取历史图像；
将所述待检测图像和各历史图像输入优化后的回环检测模型，得到对应的匹配概率；
根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配；
根据所述待检测图像与所有历史图像的匹配结果，对回环检测结果进行判断，若存在历史图像与所述待检测图像的匹配结果为匹配，判定检测结果为存在回环。
优选地，所述根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配，包括：
若所述匹配概率大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为匹配，若所述匹配概率不大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为不匹配。
优选地，所述样本对包括正样品对和负样本对，其中同一位置的两张不同训练图像为正样本对，两张不同位置的训练图像为负样本对。
可以理解的是，本实施例提供的技术方案，由于通过上述实施例提及的获取多张训练图像，将每两张训练图像组成一个样本对，对每个样本对进行匹配，得到对应的匹配关键点对，根据样本对的匹配关键点对，生成对应的二进制掩码图像，将所有样本对及对应的二进制掩码图像输入深度网络模型，对深度网络模型进行优化，得到优化后的回环检测模型，由于优化后的回环检测模型经过大量训练图像进行优化，具有多样性，并且为深度网络模型，能有效区别环境中存在的相似性较高的场景，提高了回环检测的准确性，根据优化后的回环检测模型，对待检测图像进行回环检测时，能更准确识别相似的物体或场景，得到的回环检测结果更加准确，有效修正SLAM建图过程中的累积误差，提高SLAM系统的稳定性、鲁棒性和最终精度。
本发明还提供了一种回环检测设备，包括：
存储器，其上存储有可执行程序；
处理器，用于执行所述存储器中的所述可执行程序，以实现上述任一项所述方法的步骤。
此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述任一项所述方法的步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种回环检测方法，其特征在于，包括：
获取多张训练图像；
将每两张训练图像组成一个样本对；
对所述样本对进行匹配，得到对应的匹配关键点对；
根据所述样本对的匹配关键点对，生成对应的二进制掩码图像；
将所有样本对及对应的二进制掩码图像输入深度网络模型，对所述深度网络模型进行优化，得到优化后的回环检测模型；
根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述样本对进行匹配，得到对应的匹配关键点对，包括：
对所述样本对中的两张训练图像分别进行关键点检测，得到对应的关键点；
根据所述样本对中的两张训练图像的关键点，对所述样本对进行关键点匹配，得到对应的匹配关键点对。
3.根据权利要求1所述的方法，其特征在于，所述根据所述样本对的匹配关键点对，生成对应的二进制掩码图像，包括：
根据所述样本对的匹配关键点对，分别确定所述样本对的两张图像中的匹配关键点位置；
将所述样本对的两张图像中的匹配关键点位置处的像素设为1，其余像素设为0，生成对应的二进制掩码图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述样本对进行匹配，得到对应的匹配关键点对，之后，所述方法还包括：
对所述匹配关键点对进行异常检测，得到异常匹配关键点对；
将所述异常匹配关键点对进行过滤。
5.根据权利要求1所述的方法，其特征在于，所述根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果，包括：
实时获取历史图像；
将所述待检测图像和各历史图像输入优化后的回环检测模型，得到对应的匹配概率；
根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配；
根据所述待检测图像与所有历史图像的匹配结果，对回环检测结果进行判断，若存在历史图像与所述待检测图像的匹配结果为匹配，判定检测结果为存在回环。
6.根据权利要求5所述的方法，其特征在于，所述根据所述匹配概率，确定所述待检测图像与所述历史图像的匹配结果为匹配或不匹配，包括：
若所述匹配概率大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为匹配，若所述匹配概率不大于预设阈值，判定所述待检测图像与所述历史图像的匹配结果为不匹配。
7.根据权利要求1所述的方法，其特征在于，所述样本对包括正样品对和负样本对，其中同一位置的两张不同训练图像为正样本对，两张不同位置的训练图像为负样本对。
8.一种回环检测装置，其特征在于，包括：
样本获取模块，用于获取多张训练图像；
样本对获取模块，用于将每两张训练图像组成一个样本对；
图像匹配模块，用于对所述样本对进行匹配，得到对应的匹配关键点对；
二进制掩码获取模块，用于根据所述样本对的匹配关键点对，生成对应的二进制掩码图像；
模型优化模块，用于将所有样本对及对应的二进制掩码图像输入深度网络模型，对所述深度网络型进行优化，得到优化后的回环检测模型；
回环检测模块，用于根据所述优化后的回环检测模型，对待检测图像进行回环检测，得到检测结果。
9.一种回环检测设备，其特征在于，包括：
存储器，其上存储有可执行程序；
处理器，用于执行所述存储器中的所述可执行程序，以实现权利要求1～7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1～7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311667129.3A CN117671299A (zh) | 2023-12-06 | 2023-12-06 | 一种回环检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311667129.3A CN117671299A (zh) | 2023-12-06 | 2023-12-06 | 一种回环检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117671299A true CN117671299A (zh) | 2024-03-08 |
Family
ID=90086026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311667129.3A Pending CN117671299A (zh) | 2023-12-06 | 2023-12-06 | 一种回环检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117671299A (zh) |
-
2023
- 2023-12-06 CN CN202311667129.3A patent/CN117671299A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Haurum et al. | A survey on image-based automation of CCTV and SSET sewer inspections | |
| US11080559B2 (en) | Product onboarding machine | |
| Mishra et al. | Segmenting “simple” objects using RGB-D | |
| EP3844669A1 (en) | Method and system for facilitating recognition of vehicle parts based on a neural network | |
| CN111696118B (zh) | 动态场景下基于语义分割与图像修复的视觉回环检测方法 | |
| EP3742399A1 (en) | Systems and methods for image registration and camera calibration using learned error functions | |
| CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
| CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
| Feng et al. | Fine-grained change detection of misaligned scenes with varied illuminations | |
| CN111445526A (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| CN113159043B (zh) | 基于语义信息的特征点匹配方法及系统 | |
| CN106447701A (zh) | 用于图像相似性确定、对象检测和跟踪的方法和装置 | |
| CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN110110793A (zh) | 基于双流卷积神经网络的双目图像快速目标检测方法 | |
| US10049454B2 (en) | Active triangulation calibration | |
| Lecca et al. | Comprehensive evaluation of image enhancement for unsupervised image description and matching | |
| Yang et al. | Vehicle detection from low quality aerial LIDAR data | |
| WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| Wietrzykowski et al. | Stereo plane R-CNN: Accurate scene geometry reconstruction using planar segments and camera-agnostic representation | |
| CN117671299A (zh) | 一种回环检测方法、装置、设备及存储介质 | |
| CN114926508A (zh) | 视野分界线确定方法、装置、设备及存储介质 | |
| van de Wouw et al. | Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences | |
| CN114399532A (zh) | 一种相机位姿确定方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |