CN113780319A - 闭环检测方法及装置、计算机可存储介质 - Google Patents

闭环检测方法及装置、计算机可存储介质 Download PDF

Info

Publication number
CN113780319A
CN113780319A CN202011033982.6A CN202011033982A CN113780319A CN 113780319 A CN113780319 A CN 113780319A CN 202011033982 A CN202011033982 A CN 202011033982A CN 113780319 A CN113780319 A CN 113780319A
Authority
CN
China
Prior art keywords
video frame
local feature
dimension
local
loop detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011033982.6A
Other languages
English (en)
Inventor
安山
蔚栋
周芳汝
车广富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011033982.6A priority Critical patent/CN113780319A/zh
Publication of CN113780319A publication Critical patent/CN113780319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及闭环检测方法及装置、计算机可存储介质，涉及计算机技术领域。闭环检测方法包括：利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列，所述多个视频帧包括多个历史视频帧和当前视频帧；对每个视频帧的局部特征序列进行降维，得到降维局部特征序列；从所述多个历史视频帧中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧；对于每个候选视频帧，利用所述当前视频帧的降维局部特征序列和所述每个候选视频帧的降维局部特征序列，判断所述当前视频帧与所述每个候选视频帧是否匹配；根据判断结果，确定闭环检测结果。

Description

闭环检测方法及装置、计算机可存储介质
技术领域
本公开涉及计算机技术领域，特别涉及闭环检测方法及装置、计算机可存储介质。
背景技术
无人驾驶技术在蓬勃发展，同步定位与地图创建技术(Simulta neousLocalization And Mapping，SLAM)是无人驾驶和机器人领域的基础问题。移动机器人应该有探索未知场景以及同时构建环境的可信地图的能力，也称为SLAM。在SLAM中，一个主要的问题是闭环检测(Loop Closure Detection，LCD)，即机器人必须决定是否回到之前探索过的区域。随着计算能力增加，移动机器人不仅可以使用激光测距仪、雷达、声呐，还可以使用单摄像头或双目摄像头。利用单摄像头或双目摄像头的视觉信息来检测已访问区域的过程被称作视觉闭环检测。
相关技术中，利用SURF(Speeded Up Robust Features，加速稳健特征)算法提取视频帧的SURF局部特征，并根据SURF局部特征进行闭环检测。
发明内容
发明人认为：相关技术中，SURF特征的维度较高，计算量大，闭环检测效率低。
针对上述技术问题，本公开提出了一种解决方案，可以提高闭环检测的效率。
根据本公开的第一方面，提供了一种闭环检测方法，包括：利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列，所述多个视频帧包括多个历史视频帧和当前视频帧；对每个视频帧的局部特征序列进行降维，得到降维局部特征序列；从所述多个历史视频帧中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧；对于每个候选视频帧，利用所述当前视频帧的降维局部特征序列和所述每个候选视频帧的降维局部特征序列，判断所述当前视频帧与所述每个候选视频帧是否匹配；根据判断结果，确定闭环检测结果。
在一些实施例中，所述每个视频帧的局部特征序列包括多个局部特征，对每个视频帧的局部特征序列进行降维，得到降维局部特征序列包括：对于每个视频帧，生成每个局部特征的筛选评估值，每个局部特征的筛选评估值大于或等于0；从所述每个视频帧的局部特征序列中，删除筛选评估值小于或等于筛选评估阈值的至少一个局部特征，得到目标局部特征序列；对所述目标局部特征序列进行降维，得到降维局部特征序列。
在一些实施例中，生成每个局部特征的筛选评估值包括：利用注意力模型训练筛选评估值函数，生成每个局部特征的筛选评估值，所述注意力模型包括第一卷积层和第二卷积层，第一卷积层的激活函数为修正线性单元RELU激活函数，第二卷积层的激活函数为softplus激活函数。
在一些实施例中，对目标局部特征序列进行降维包括：对目标局部特征序列进行第一归一化；利用主成分分析PCA算法，对第一归一化后的目标局部特征序列进行降维；对降维后的目标局部特征序列进行第二归一化。
在一些实施例中，利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列包括：利用卷积神经网络模型，获取每个视频帧的特征图；根据每个视频帧的特征图，确定所述每个视频帧的全局特征和局部特征序列。
在一些实施例中，利用卷积神经网络模型，获取每个视频帧的特征图包括：根据第一缩放比例和第二缩放比例，对每个视频帧分别进行尺度变换，得到第一视频帧和第二视频帧，所述第二缩放比例大于所述第一缩放比例，所述第二缩放比例大于1，利用卷积神经网络模型，获取每个第一视频帧的第一特征图和每个第二视频帧的第二特征图；根据每个视频帧的特征图，确定所述每个视频帧的全局特征和局部特征序列包括：对与每个视频帧对应的第一视频帧的第一特征图进行全局平均池化，得到所述每个视频帧的全局特征，根据与所述每个视频帧对应的第二视频帧的第二特征图，确定所述每个视频帧的局部特征序列。
在一些实施例中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧包括：根据所述多个视频帧的全局特征，构建分层的可导航小世界HNSW图；利用K邻近算法，在所述HNSW图中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧。
在一些实施例中，所述候选视频帧不属于预配置的先入先出队列中的多个视频帧，所述先入先出队列包括在所述图像传感器连续拍摄的情况下所述当前视频帧的前N个历史视频帧，N为正整数。
在一些实施例中，所述每个视频帧的局部特征序列包括多个局部特征，利用所述当前视频帧的降维局部特征序列和所述每个候选视频帧的降维局部特征序列，判断所述当前视频帧与所述每个候选视频帧是否匹配包括：从多个候选视频帧的多个降维局部特征序列中，选择与所述当前视频帧的降维局部特征序列之间的相似度最大的两个降维局部特征序列；对于所述当前视频帧的降维局部特征序列和所述两个降维局部特征序列进行二值比率测试，得到二值比率值；在所述二值比率值小于或等于二值比率阈值的情况下，对于与所述两个降维局部特征序列对应的候选视频帧中的每个候选视频帧，估计所述当前视频帧与该候选视频帧之间的基础矩阵、以及所述当前视频帧多个局部特征与该候选视频帧的多个局部特征之间相匹配的局部特征数量；在所述基础矩阵存在且所述局部特征数量大于或等于预设数量阈值的情况下，判断所述当前视频帧与该候选视频帧匹配。
在一些实施例中，根据判断结果，确定闭环检测结果包括：在判断所述当前视频帧与所述两个候选视频帧中的至少一个匹配的情况下，判断在所述图像传感器连续拍摄的情况下所述当前视频帧与所述当前视频帧的前M个历史视频帧是否匹配，M为大于或等于0的整数；在所述当前视频帧与所述前M个历史视频帧匹配的情况下，确定所述闭环检测结果为所述当前视频帧与所述两个候选视频帧中的至少一个满足闭环条件。
根据本公开第二方面，提供了一种闭环检测装置，包括：特征提取模块，被配置为利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列，所述多个视频帧包括多个历史视频帧和当前视频帧；降维模块，被配置为对每个视频帧的局部特征序列进行降维，得到降维局部特征序列；选择模块，被配置为从所述多个历史视频帧中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧；判断模块，被配置为对于每个候选视频帧，利用所述当前视频帧的降维局部特征序列和所述每个候选视频帧的降维局部特征序列，判断所述当前视频帧与所述每个候选视频帧是否匹配；确定模块，被配置为根据判断结果，确定闭环检测结果。
根据本公开第三方面，提供了一种闭环检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的闭环检测方法。
根据本公开的第四方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的闭环检测方法。
在上述实施例中，可以提高闭环检测的效率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的闭环检测方法的流程图；
图2是示出根据本公开一些实施例的对每个视频帧的局部特征序列进行降维的流程图；
图3是示出根据本公开一些实施例的闭环检测装置的框图；
图4是示出根据本公开另一些实施例的闭环检测装置的框图；
图5是示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是示出根据本公开一些实施例的闭环检测方法的流程图。
如图1所示，闭环检测方法包括步骤S110-步骤S150。
在步骤S110中，利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列。多个视频帧包括多个历史视频帧和当前视频帧。例如，图像传感器为单目摄像头。单目摄像头成本低。在一些实施例中，卷积神经网络模型为Resnet50模型。通过利用同一个卷积神经网络模型同时获取到全局特征和局部特征序列，可以提高闭环检测的效率。
在一些实施例中，利用卷积神经网络模型，获取每个视频帧的特征图；并根据每个视频帧的特征图，确定每个视频帧的全局特征和局部特征序列。
例如，通过如下方式实现利用卷积神经网络模型，获取每个视频帧的特征图。
首先，根据第一缩放比例和第二缩放比例，对每个视频帧分别进行尺度变换，得到第一视频帧和第二视频帧。第二缩放比例大于第一缩放比例，第二缩放比例大于1。在一些实施例中，第一缩放比例为0.5，第二缩放比例为1.4。
然后，利用卷积神经网络模型，获取每个第一视频帧的第一特征图和每个第二视频帧的第二特征图。不同尺度的第一视频帧和第二视频帧可以构成一个小型的图像金字塔，作为卷积神经网络的输入。
例如，通过如下方式实现根据每个视频帧的特征图，确定每个视频帧的全局特征和局部特征序列。
首先，对与每个视频帧对应的第一视频帧的第一特征图进行全局平均池化，得到每个视频帧的全局特征。例如，将w×h×c的第一特征图转化为1×1×c的张量，以这个1×1×c的张量作为全局特征，w、h、c均为正整数。
然后，根据与每个视频帧对应的第二视频帧的第二特征图，确定每个视频帧的局部特征序列。例如，将第二特征图在空间维度上的每个像素看成一个局部网格，那么整个第二特征图就是局部网格的密集采样。把每个网格所在的所有通道构成的张量看作一个局部特征。这些局部特征所对应的关键点为局部特征所在的像素坐标。这个像素坐标即为第二特征图的感受野中心。
在上述实施例中，利用较大尺度的视频帧得到局部特征序列，利用较小尺度的视频帧得到全局特征序列，可以提取更加具有代表性和鲁棒性的特征，提高特征提取的准确性，从而提高闭环检测的准确性。
在步骤S120中，对每个视频帧的局部特征序列进行降维，得到降维局部特征序列。通过对局部特征序列进行降维操作，可以减少闭环检测的计算量，从而可以提高闭环检测的效率。
例如，通过如图2所示的方式实现如图1所示的步骤S120。
图2是示出根据本公开一些实施例的对每个视频帧的局部特征序列进行降维的流程图。
如图2所示，对每个视频帧的局部特征序列进行降维得到降维局部特征序列包括步骤S121-步骤S123。
在步骤S121中，对于每个视频帧，生成每个局部特征的筛选评估值。每个局部特征的筛选评估值大于或等于0。在一些实施例中，筛选评估值为得分。通过控制局部特征的筛选评估值为正数，能够提高局部特征筛选的准确性，从而提高闭环检测的准确性。
在一些实施例中，利用注意力模型训练筛选评估值函数，生成每个局部特征的筛选评估值。注意力模型包括第一卷积层和第二卷积层。第一卷积层的激活函数为RELU(Rectified Linear Unit，修正线性单元)激活函数。第二卷积层的激活函数为softplus激活函数。softplus激活函数可以确保局部特征的筛选评估值非负。注意力模型的第一卷积层和第二卷积层均为1×1的卷积模型，各个局部特征的筛选评估值可以构成一个w×h×1的得分图。
在步骤S122中，从每个视频帧的局部特征序列中，删除筛选评估值小于或等于筛选评估阈值的至少一个局部特征，得到目标局部特征序列。筛选评估值越大，局部特征在闭环检测中所具有的正向作用越大。通过删除局部特征序列中的筛选评估值小于或等于筛选评估阈值的至少一个局部特征，可以进一步降低闭环检测的计算量，提高局部特征序列的质量，减少不必要局部特征对闭环检测的干扰，从而提高闭环检测的准确性和效率。
在步骤S123中，对目标局部特征序列进行降维，得到降维局部特征序列。
例如，通过如下方式实现步骤S123。
首先，对目标局部特征序列进行第一归一化。
然后，利用PCA(principal components analysis，主成分分析)算法，对第一归一化后的目标局部特征序列进行降维。例如，可以将第一归一化后的目标局部特征序列降维到40维。
最后，对降维后的目标局部特征序列进行第二归一化。
返回图1，在步骤S130中，从多个历史视频帧中，选择全局特征与当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧。在一些实施例中，多个历史视频帧的数量可以预先设定。例如，通过计算全局特征之间的余弦距离，确定多个历史视频帧的全局特征与当前视频帧的全局特征之间的相似度。余弦距离越小，相似度越大。
在一些实施例中，全局特征之间的相似性通过归一化标量集来计算，也就是计算矢量间角度的余弦值(又称为余弦距离)。余弦值的计算公式为：
Figure BDA0002704642780000081
spq是视频帧Ip和视频帧Iq之间的相似度，Xp和Xq是视频帧的全局特征矢量。
Figure BDA0002704642780000082
是矢量X的L2范数。
例如，可以根据多个视频帧的全局特征，构建HNSW(Hierarchical NavigableSmall World，分层的可导航小世界)图；并利用K邻近(KNN，K-Nearest Neighbor)算法，在HNSW图中，选择全局特征与当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧。在一些实施例中，候选视频帧不属于预配置的先入先出队列中的多个视频帧。先入先出队列包括在图像传感器连续拍摄的情况下当前视频帧的前N个历史视频帧，N为正整数。配置先入先出队列，考虑了视频帧为依序获取，相邻视频帧之间具有较高的相似度的特征，可以提高闭环检测的效率和准确性。
例如，首先确定摄像头帧率φ和一个时间常数ψ，该时间常数ψ可以人为设定；然后根据摄像头帧率φ和一个时间常数ψ确定N。在一些实施例中，N可以为ψ×φ，φ和ψ为正数。也就是说，如果进入先入先出队列的图像帧数超过ψ×φ，才进行HNSW图的插入、搜索过程，否则图像会先输入到先入先出队列中。在这种情况下，当使用当前视频帧的全局特征作为搜索特征时，仅搜索P-ψ×φ的数据库内容，其中，P表示所有视频帧的总数量，P为正整数。
在上述实施例中，HNSW图是一种完全基于图的增量k最近邻搜索结构。它基于可导航小世界模型，在图的路由上可以实现对数或多重对数的扩展性。在移动机器人的移动过程中，图片(视频帧)的全局特征被插入图数据库。整个过程是在线和增量的，避免了预构建数据的需求，使用HNSW可以使得机器人能够在不同环境中工作，提高闭环检测的普适性和效率。
在步骤S140中，对于每个候选视频帧，利用当前视频帧的降维局部特征序列和每个候选视频帧的降维局部特征序列，判断当前视频帧与每个候选视频帧是否匹配。
在一些实施例中，每个视频帧的局部特征序列包括多个局部特征。可以通过如下方式实现利用当前视频帧的降维局部特征序列和每个候选视频帧的降维局部特征序列，判断当前视频帧与每个候选视频帧是否匹配。
首先，从多个候选视频帧的多个降维局部特征序列中，选择与当前视频帧的降维局部特征序列之间的相似度最大的两个降维局部特征序列。例如，利用暴力匹配算法来选择与当前视频帧的降维局部特征序列之间的相似度最大的两个降维局部特征序列。在上述实施例中，局部特征维数较少，可以减少耗时而且可以得到更准确的最近邻。
其次，对于当前视频帧的降维局部特征序列和两个降维局部特征序列进行二值比率测试，得到二值比率值。二值比率值通过公式
Figure BDA0002704642780000101
计算得到。dh(·)表示欧式距离计算。La是当前视频帧Ia的降维局部特征序列，
Figure BDA0002704642780000102
和
Figure BDA0002704642780000103
是在候选视频帧Ib的与当前视频帧的降维局部特征序列之间的相似度最大的两个降维局部特征序列。
然后，在二值比率值小于或等于二值比率阈值的情况下，对于与两个降维局部特征序列对应的候选视频帧中的每个候选视频帧，估计当前视频帧与该候选视频帧之间的基础矩阵、以及当前视频帧多个局部特征与该候选视频帧的多个局部特征之间相匹配的局部特征数量。例如，利用RANSAC(Random Sample Consensus，随机采样一致性)算法估计当前视频帧与该候选视频帧之间的基础矩阵、以及当前视频帧多个局部特征与该候选视频帧的多个局部特征之间相匹配的局部特征数量。局部特征数量也叫做内点数。二值比率阈值可以表示为ε，基础矩阵可以表示为T。
最后，在基础矩阵存在且局部特征数量大于或等于预设数量阈值的情况下，判断当前视频帧与该候选视频帧匹配。在基础矩阵不存在或者局部特征数量小于预设数量阈值的情况下，闭环检测结束。预设数量阈值可以表示为参数τ。
在步骤S150中，根据判断结果，确定闭环检测结果。
例如，在判断当前视频帧与两个候选视频帧中的至少一个匹配的情况下，判断在图像传感器连续拍摄的情况下当前视频帧与当前视频帧的前M个历史视频帧是否匹配，M为大于或等于0的整数。在当前视频帧与前M个历史视频帧匹配的情况下，确定闭环检测结果为当前视频帧与两个候选视频帧中的至少一个满足闭环条件。这里所说的两个候选视频帧中的至少一个指的是与当前视频帧匹配的候选视频帧。该过程为时域一致性校验。
图3是示出根据本公开一些实施例的闭环检测装置的框图。
如图3所示，闭环检测装置3包括特征提取模块31、降维模块32、选择模块33、判断模块34和确定模块35。
特征提取模块31被配置为利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列，例如执行如图1所示的步骤S110。多个视频帧包括多个历史视频帧和当前视频帧。
降维模块32被配置为对每个视频帧的局部特征序列进行降维，得到降维局部特征序列，例如执行如图1所示的步骤S120。
选择模块33被配置为从多个历史视频帧中，选择全局特征与当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧，例如执行如图1所示的步骤S130。
判断模块34被配置为对于每个候选视频帧，利用当前视频帧的降维局部特征序列和每个候选视频帧的降维局部特征序列，判断当前视频帧与每个候选视频帧是否匹配，例如执行如图1所示的步骤S140。
确定模块35被配置为根据判断结果，确定闭环检测结果，例如执行如图1所示的步骤S150。
图4是示出根据本公开另一些实施例的闭环检测装置的框图。
如图4所示，闭环检测装置4包括存储器41；以及耦接至该存储器41的处理器42。存储器41用于存储执行闭环检测方法对应实施例的指令。处理器42被配置为基于存储在存储器41中的指令，执行本公开中任意一些实施例中的闭环检测方法。
图5是示出用于实现本公开一些实施例的计算机系统的框图。
如图5所示，计算机系统50可以通用计算设备的形式表现。计算机系统50包括存储器510、处理器520和连接不同系统组件的总线500。
存储器510例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行闭环检测方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器520可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线500可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统50还可以包括输入输出接口530、网络接口540、存储接口550等。这些接口530、540、550以及存储器510和处理器520之间可以通过总线500连接。输入输出接口530可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口540为各种联网设备提供连接接口。存储接口550为软盘、U盘、SD卡等外部存储设备提供连接接口。
这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
通过上述实施例中的闭环检测方法及装置、计算机可存储介质，可以提高闭环检测的效率。
至此，已经详细描述了根据本公开的闭环检测方法及装置、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (13)

1.一种闭环检测方法，包括：
利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列，所述多个视频帧包括多个历史视频帧和当前视频帧；
对每个视频帧的局部特征序列进行降维，得到降维局部特征序列；
从所述多个历史视频帧中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧；
对于每个候选视频帧，利用所述当前视频帧的降维局部特征序列和所述每个候选视频帧的降维局部特征序列，判断所述当前视频帧与所述每个候选视频帧是否匹配；
根据判断结果，确定闭环检测结果。
2.根据权利要求1所述的闭环检测方法，其中，所述每个视频帧的局部特征序列包括多个局部特征，对每个视频帧的局部特征序列进行降维，得到降维局部特征序列包括：
对于每个视频帧，生成每个局部特征的筛选评估值，每个局部特征的筛选评估值大于或等于0；
从所述每个视频帧的局部特征序列中，删除筛选评估值小于或等于筛选评估阈值的至少一个局部特征，得到目标局部特征序列；
对所述目标局部特征序列进行降维，得到降维局部特征序列。
3.根据权利要求2所述的闭环检测方法，其中，生成每个局部特征的筛选评估值包括：
利用注意力模型训练筛选评估值函数，生成每个局部特征的筛选评估值，所述注意力模型包括第一卷积层和第二卷积层，第一卷积层的激活函数为修正线性单元RELU激活函数，第二卷积层的激活函数为softplus激活函数。
4.根据权利要求2所述的闭环检测方法，其中，对目标局部特征序列进行降维包括：
对目标局部特征序列进行第一归一化；
利用主成分分析PCA算法，对第一归一化后的目标局部特征序列进行降维；
对降维后的目标局部特征序列进行第二归一化。
5.根据权利要求1所述的闭环检测方法，其中，利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列包括：
利用卷积神经网络模型，获取每个视频帧的特征图；
根据每个视频帧的特征图，确定所述每个视频帧的全局特征和局部特征序列。
6.根据权利要求5所述的闭环检测方法，其中，利用卷积神经网络模型，获取每个视频帧的特征图包括：
根据第一缩放比例和第二缩放比例，对每个视频帧分别进行尺度变换，得到第一视频帧和第二视频帧，所述第二缩放比例大于所述第一缩放比例，所述第二缩放比例大于1，
利用卷积神经网络模型，获取每个第一视频帧的第一特征图和每个第二视频帧的第二特征图；
根据每个视频帧的特征图，确定所述每个视频帧的全局特征和局部特征序列包括：
对与每个视频帧对应的第一视频帧的第一特征图进行全局平均池化，得到所述每个视频帧的全局特征，
根据与所述每个视频帧对应的第二视频帧的第二特征图，确定所述每个视频帧的局部特征序列。
7.根据权利要求1所述的闭环检测方法，其中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧包括：
根据所述多个视频帧的全局特征，构建分层的可导航小世界HNSW图；
利用K邻近算法，在所述HNSW图中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧。
8.根据权利要求7所述的闭环检测方法，其中，所述候选视频帧不属于预配置的先入先出队列中的多个视频帧，所述先入先出队列包括在所述图像传感器连续拍摄的情况下所述当前视频帧的前N个历史视频帧，N为正整数。
9.根据权利要求1所述的闭环检测方法，其中，所述每个视频帧的局部特征序列包括多个局部特征，利用所述当前视频帧的降维局部特征序列和所述每个候选视频帧的降维局部特征序列，判断所述当前视频帧与所述每个候选视频帧是否匹配包括：
从多个候选视频帧的多个降维局部特征序列中，选择与所述当前视频帧的降维局部特征序列之间的相似度最大的两个降维局部特征序列；
对于所述当前视频帧的降维局部特征序列和所述两个降维局部特征序列进行二值比率测试，得到二值比率值；
在所述二值比率值小于或等于二值比率阈值的情况下，对于与所述两个降维局部特征序列对应的候选视频帧中的每个候选视频帧，估计所述当前视频帧与该候选视频帧之间的基础矩阵、以及所述当前视频帧多个局部特征与该候选视频帧的多个局部特征之间相匹配的局部特征数量；
在所述基础矩阵存在且所述局部特征数量大于或等于预设数量阈值的情况下，判断所述当前视频帧与该候选视频帧匹配。
10.根据权利要求1所述的闭环检测方法，其中，根据判断结果，确定闭环检测结果包括：
在判断所述当前视频帧与所述两个候选视频帧中的至少一个匹配的情况下，判断在所述图像传感器连续拍摄的情况下所述当前视频帧与所述当前视频帧的前M个历史视频帧是否匹配，M为大于或等于0的整数；
在所述当前视频帧与所述前M个历史视频帧匹配的情况下，确定所述闭环检测结果为所述当前视频帧与所述两个候选视频帧中的至少一个满足闭环条件。
11.一种闭环检测装置，包括：
特征提取模块，被配置为利用卷积神经网络模型，对来自图像传感器的多个视频帧进行特征提取，得到每个视频帧的全局特征和局部特征序列，所述多个视频帧包括多个历史视频帧和当前视频帧；
降维模块，被配置为对每个视频帧的局部特征序列进行降维，得到降维局部特征序列；
选择模块，被配置为从所述多个历史视频帧中，选择全局特征与所述当前视频帧的全局特征之间的相似度最大的多个历史视频帧，作为候选视频帧；
判断模块，被配置为对于每个候选视频帧，利用所述当前视频帧的降维局部特征序列和所述每个候选视频帧的降维局部特征序列，判断所述当前视频帧与所述每个候选视频帧是否匹配；
确定模块，被配置为根据判断结果，确定闭环检测结果。
12.一种闭环检测装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至10任一项所述的闭环检测方法。
13.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至10任一项所述的闭环检测方法。
CN202011033982.6A 2020-09-27 2020-09-27 闭环检测方法及装置、计算机可存储介质 Pending CN113780319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011033982.6A CN113780319A (zh) 2020-09-27 2020-09-27 闭环检测方法及装置、计算机可存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011033982.6A CN113780319A (zh) 2020-09-27 2020-09-27 闭环检测方法及装置、计算机可存储介质

Publications (1)

Publication Number Publication Date
CN113780319A true CN113780319A (zh) 2021-12-10

Family

ID=78835085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011033982.6A Pending CN113780319A (zh) 2020-09-27 2020-09-27 闭环检测方法及装置、计算机可存储介质

Country Status (1)

Country Link
CN (1) CN113780319A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160133002A1 (en) * 2014-11-07 2016-05-12 Samsung Electronics Co., Ltd. Method and device to determine landmark from region of interest of image
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
CN107157717A (zh) * 2016-03-07 2017-09-15 维看公司 用于向盲人提供视觉信息的物体检测、分析及提示系统
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN108961245A (zh) * 2018-07-06 2018-12-07 西安电子科技大学 基于双通道深度并行卷积网络的图像质量分类方法
CN109101865A (zh) * 2018-05-31 2018-12-28 湖北工业大学 一种基于深度学习的行人重识别方法
CN110442749A (zh) * 2019-07-18 2019-11-12 腾讯音乐娱乐科技（深圳）有限公司 视频帧处理方法及装置
CN110996123A (zh) * 2019-12-18 2020-04-10 广州市百果园信息技术有限公司 一种视频处理方法、装置、设备及介质
CN111402217A (zh) * 2020-03-10 2020-07-10 广州视源电子科技股份有限公司 一种图像分级方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160133002A1 (en) * 2014-11-07 2016-05-12 Samsung Electronics Co., Ltd. Method and device to determine landmark from region of interest of image
CN107157717A (zh) * 2016-03-07 2017-09-15 维看公司 用于向盲人提供视觉信息的物体检测、分析及提示系统
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN109101865A (zh) * 2018-05-31 2018-12-28 湖北工业大学 一种基于深度学习的行人重识别方法
CN108961245A (zh) * 2018-07-06 2018-12-07 西安电子科技大学 基于双通道深度并行卷积网络的图像质量分类方法
CN110442749A (zh) * 2019-07-18 2019-11-12 腾讯音乐娱乐科技（深圳）有限公司 视频帧处理方法及装置
CN110996123A (zh) * 2019-12-18 2020-04-10 广州市百果园信息技术有限公司 一种视频处理方法、装置、设备及介质
CN111402217A (zh) * 2020-03-10 2020-07-10 广州视源电子科技股份有限公司 一种图像分级方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李卓;刘洁瑜;周伟;: "基于几何约束的视觉闭环检测和位姿优化", 电光与控制, no. 05 *

Similar Documents

Publication Publication Date Title
EP1975879B1 (en) Computer implemented method for tracking object in sequence of frames of video
CN106846361B (zh) 基于直觉模糊随机森林的目标跟踪方法及装置
CN109977912B (zh) 视频人体关键点检测方法、装置、计算机设备和存储介质
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN107862680A (zh) 一种基于相关滤波器的目标跟踪优化方法
CN111523463A (zh) 基于匹配-回归网络的目标跟踪方法及训练方法
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN113298146A (zh) 一种基于特征检测的图像匹配方法、装置、设备及介质
Zhang et al. Weighted smallest deformation similarity for NN-based template matching
Mathias et al. Occlusion aware underwater object tracking using hybrid adaptive deep SORT-YOLOv3 approach
Zhang et al. An efficient center-based method with multilevel auxiliary supervision for multiscale SAR ship detection
CN110956131B (zh) 单目标追踪方法、装置及系统
WO2023231355A1 (zh) 图像识别方法及装置
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113780319A (zh) 闭环检测方法及装置、计算机可存储介质
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
CN111652246B (zh) 一种基于深度学习的图像自适应稀疏化表征方法及装置
Guo et al. A hybrid framework based on warped hierarchical tree for pose estimation of texture-less objects
KR20180012638A (ko) 누적 채널 특징점을 이용한 영상 인식에서의 객체 검출 방법 및 장치
Jun et al. Two-view correspondence learning via complex information extraction
Ruan et al. Combining scene coordinate regression and absolute pose regression for visual relocalization
Qin et al. Target tracking method based on interference detection
Zheng et al. A fast 3D object recognition pipeline in cluttered and occluded scenes
Matsui et al. Automatic feature point selection through hybrid metaheauristics based on Tabu search and memetic algorithm for augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination