CN112797976A - 定位检测方法、装置、计算机设备以及可读存储介质 - Google Patents

定位检测方法、装置、计算机设备以及可读存储介质 Download PDF

Info

Publication number
CN112797976A
CN112797976A CN202110062077.1A CN202110062077A CN112797976A CN 112797976 A CN112797976 A CN 112797976A CN 202110062077 A CN202110062077 A CN 202110062077A CN 112797976 A CN112797976 A CN 112797976A
Authority
CN
China
Prior art keywords
robot
positioning
real
image vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110062077.1A
Other languages
English (en)
Inventor
潘晶
苏至钒
夏知拓
金宇赢
陆斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Timi Robot Co ltd
Original Assignee
Shanghai Timi Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Timi Robot Co ltd filed Critical Shanghai Timi Robot Co ltd
Priority to CN202110062077.1A priority Critical patent/CN112797976A/zh
Publication of CN112797976A publication Critical patent/CN112797976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种定位检测方法、装置、计算机设备以及可读存储介质，一种定位检测方法，应用于机器人定位中，定位检测方法包括：获取机器人运行区域的视觉地图，视觉地图中包括各位置处的准确定位信息以及对应的图像向量；获取机器人的实时定位信息与实时图像向量；根据实时定位信息在视觉地图中查找符合预设条件的校验图像向量；基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况。上述方法，可以根据机器人的实时定位信息，在预先建立的视觉地图中查找可以用于校验的图像向量，再通过校验图像向量与机器人拍摄的实时图像向量的匹配结果，判断机器人当前的定位情况，从而在丢失定位时能够及时发现，有效提高了机器人定位的准确性。

Description

定位检测方法、装置、计算机设备以及可读存储介质
技术领域
本发明实施例涉及机器人技术，尤其涉及一种定位检测方法、装置、计算机设备以及存储介质。
背景技术
在控制机器人运行的过程中，需要对机器人所在的位置进行实时定位，目前机器人一般会使用激光雷达进行实时定位，但由于雷达精度或者设备发生故障等因素，机器人的激光雷达定位可能会出现定位丢失等情况。传统的机器人定位方法中，一般无法准确检测到定位丢失等情况，导致定位的准确性受到影响。
发明内容
基于此，针对上述技术问题，本发明提供一种定位检测方法、装置、计算机设备及可读存储介质，可以对机器人的定位状态进行检测，提高定位的准确度。
第一方面，本发明实施例提供了一种定位检测方法，应用于机器人定位中，所述方法包括：
获取机器人运行区域的视觉地图，所述视觉地图中包括各位置处的准确定位信息以及对应的图像向量；
获取所述机器人的实时定位信息与实时图像向量；
根据所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量；
基于所述实时图像向量以及所述校验图像向量，判断所述机器人定位的丢失情况。
上述定位检测方法，可以根据机器人的实时定位信息，在预先建立的视觉地图中查找可以用于校验的图像向量，再通过校验图像向量与机器人拍摄的实时图像向量的匹配结果，判断机器人当前的定位情况，从而在机器人丢失定位时能够及时发现，有效提高了机器人定位的准确性。
在其中一个实施例中，所述机器人运行区域的视觉地图的建立方法包括：
获取机器人运行区域的栅格地图；
通过激光雷达进行自适应蒙特卡洛定位获取所述栅格地图各位置处的准确定位信息；
将所述栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量；
将所述栅格地图各位置处的准确定位信息与图像向量进行匹配，以得到所述视觉地图。
在其中一个实施例中，所述将所述栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量的步骤包括：
通过卷积神经网络提取所述原始图像的局部特征向量；
通过VLAD神经网络将所述局部特征向量进行聚合，以得到所述图像向量。
在其中一个实施例中，所述根据所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量的步骤包括：
在所述视觉地图中查找与所述实时定位信息的距离小于预设距离的准确定位信息；
将查找到的准确定位信息对应的图像向量作为所述校验图像向量。
在其中一个实施例中，所述基于所述实时图像向量以及所述校验图像向量，判断所述机器人定位的丢失情况的步骤包括：
计算所述实时图像向量与所述校验图像向量的图像匹配值；
若所述图像匹配值满足预设匹配阈值，则判断所述机器人未丢失定位。
在其中一个实施例中，所述校验图像向量的数量为多个，所述基于所述实时图像向量以及所述校验图像向量，判断所述机器人的定位情况的步骤包括：
分别计算所述实时图像向量与多个所述校验图像向量的图像匹配值；
若多个图像匹配值中满足预设匹配阈值的图像匹配值所占比例超过第一预设比例阈值，则判断所述机器人未丢失定位。
在其中一个实施例中，在所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量的步骤之后，所述方法还包括：
若所述视觉地图中不存在符合预设条件的校验图像向量，则判断所述机器人丢失定位。
在其中一个实施例中，所述方法还包括：
分别判断运行区域中预设数量位置处的机器人定位情况；
若预设数量位置中所述机器人丢失定位的位置所占比例超过第二预设比例阈值，则判断所述机器人发生定位故障。
第二方面，本发明实施例还提供了一种定位检测装置，应用于机器人定位中，所述装置包括：
地图模块，用于获取机器人运行区域的视觉地图，所述视觉地图中包括各位置处的准确定位信息以及对应的图像向量；
获取模块，用于获取所述机器人的实时定位信息与实时图像向量；
查找模块，用于根据所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量；
判断模块，用于基于所述实时图像向量以及所述校验图像向量，判断所述机器人定位的丢失情况。
上述定位检测装置，可以根据机器人的实时定位信息，在预先建立的视觉地图中查找可以用于校验的图像向量，再通过校验图像向量与机器人拍摄的实时图像向量的匹配结果，判断机器人当前的定位情况，从而在机器人丢失定位时能够及时发现，有效提高了机器人定位的准确性。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的定位检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的定位检测方法。
附图说明
图1为一个实施例中定位检测方法的流程示意图；
图2为一个实施例中机器人运行区域的视觉地图的建立方法的流程示意图；
图3为一个实施例中步骤将栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量的流程示意图；
图4为一个实施例中步骤根据实时定位信息在视觉地图中查找符合预设条件的校验图像向量的流程示意图；
图5为一个实施例中步骤基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况的流程示意图；
图6为另一个实施例中步骤基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况的流程示意图；
图7为另一个实施例中定位检测方法的流程示意图；
图8为一个实施例中定位检测装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为一个实施例中定位检测方法的流程示意图，如图1所示，在一个实施例中，一种定位检测方法，定位检测方法具体可以包括：
步骤S120：获取机器人运行区域的视觉地图，视觉地图中包括各位置处的准确定位信息以及对应的图像向量。
具体地，在进行机器人定位检测前，首先需要调取当前环境的视觉地图，该视觉地图为预先根据机器人所处环境建立的，视觉地图的区域范围可以根据机器人实际的工作移动范围确定，在建立视觉地图时，其中各个位置均保存有准确定位信息以及图像向量。其中，每个位置的准确定位信息可以是通过激光雷达等设备获取的，定位信息中具体可以包括位置数据以及方向数据，位置数据为所在区域内的空间坐标，方向数据为当前运动的航向角度。每个位置的图像向量可以是通过摄像头等设备获取该位置的实际图像，再将该图像转换为图像向量。获取完地图区域中各个位置的准确定位信息以及图像向量后，将每个位置的准确定位信息以及图像向量做为一组相对应的数据进行保存。
步骤S140：获取机器人的实时定位信息与实时图像向量。
步骤S160：根据实时定位信息在视觉地图中查找符合预设条件的校验图像向量。
具体地，在机器人的运行过程中，可以通过激光雷达等设备获取机器人的实时定位信息，定位信息中具体可以包括机器人当前的位置坐标以及航向角度等数据，然后再通过摄像头等设备获取机器人所在位置的实时图像，然后根据实时图像的图像特征将其转换为实时图像向量。在获取机器人的实时定位信息与实时图像向量之后，可以根据机器人的实时定位信息在上述步骤获取的视觉地图中进行查找校验图像向量，校验图像向量的数量可以为一个或多个，查找校验图像向量的预设条件可以根据实际检测需求确定，例如可以选择与实时定位信息相同的准确定位信息对应的图像向量作为校验图像向量，或者也可以选择实时定位信息周围一定范围内的准确定位信息对应的图像向量作为校验图像向量。
步骤S180：基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况。
具体地，在查找到符合预设条件的校验图像向量后，可以将该校验图像向量与实时图像向量进行匹配或对比等处理，实时图像向量为机器人当前所在位置的视觉图像，而校验图像向量则为该位置的准确定位信息对应或周围的视觉图像，因此若实时图像向量与校验图像向量的相似程度比较高，说明机器人的实时定位信息与该位置的准确定位信息较为接近，则当前机器人未发生丢失定位的情况，而若实时图像向量与校验图像向量的相似程度比较低，说明机器人的实时定位信息与该位置的准确定位信息差别较大，则当前机器人可能发生了丢失定位的情况。
通过采用视觉重定位的方法进行定位检测，使用实时定位信息作为参考，将此信息在视觉地图中提取该位置点对应或周围的全局特图像向量进行查找匹配，而无需在所有的图像向量中进行查找与当前图像特征匹配的，这样避免大量占用内存，同时对搜索算法和算力的要求也较低，从而在机器人这类性能较低的边缘计算平台上也可以实现实时检测。
上述定位检测方法，可以根据机器人的实时定位信息，在预先建立的视觉地图中查找可以用于校验的图像向量，再通过校验图像向量与机器人拍摄的实时图像向量的匹配结果，判断机器人当前的定位情况，从而在机器人丢失定位时能够及时发现，有效提高了机器人定位的准确性。
图2为一个实施例中机器人运行区域的视觉地图的建立方法的流程示意图，在上述实施例的基础上，机器人运行区域的视觉地图可以为预先建立的，如图2所示，在一个实施例中，机器人运行区域的视觉地图的建立方法可以包括：
步骤S112：获取机器人运行区域的栅格地图。
步骤S114：通过激光雷达进行自适应蒙特卡洛定位获取栅格地图各位置处的准确定位信息。
步骤S116：将栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量。
步骤S118：将栅格地图各位置处的准确定位信息与图像向量进行匹配，以得到视觉地图。
具体地，为得到机器人运行区域的视觉地图，首先通过可以利用机器人的激光雷达以及其他机身传感器结合，利用同步定位与建图(Simultaneous Localization AndMapping，简称SLAM)技术对周围环境区域进行建图，建立的栅格地图中按照设定的精度划分为空间坐标，根据自适应蒙特卡洛定位(Adaptive Monte Carlo Localization，简称AMCL)方法，通过AMCL粒子滤波获取获取每个空间坐标的准确定位信息，定位信息中具体可以包括位置数据以及航向数据。
再通过摄像头等获取栅格地图中每个空间坐标处的原始图像，将得到的原始图像通过NetVlad神经网络提取图像特征，从而转换为图像向量，再将每个空间坐标的得到的准确定位信息与图像向量进行匹配，匹配的过程具体可以为将准确定位信息与图像向量进行软同步，建立一个线程，将每个空间坐标对应的图像向量与准确定位信息作为一组数据保存在地图数据结构中，例如可以将其保存在对象简谱(JavaScript Object Notation,简称JSON)文件中，从而得到机器人运行区域的视觉地图。
图3为一个实施例中步骤将栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量的流程示意图，在上述实施例的基础上，如图3所示，在一个实施例中，上述定位检测方法的步骤S126具体可以包括：
步骤S1262：通过卷积神经网络提取原始图像的局部特征向量。
步骤S1264：通过VLAD神经网络将局部特征向量进行聚合，以得到图像向量。
具体地，将原始图像通转换为图像向量的NetVlad神经网络包括卷积神经网络(Convolutional Neural Networks,简称CNN)层与VLAD(Vector of Locally AggregatedDescriptors)神经网络层。卷积神经网络提取摄像头获取的原始图像的局部特征向量，卷积神经网络的种类可以根据实际需求确定，例如VGG16网络或VGG19网络等，本实施例中由于机器人平台计算能力有限，因此可以采用适合移动平台的轻量级卷积网络模型MobileNetV2，在损失精度较小的情况下极大提高了运算速度。卷积神经网络提取原始图像的局部特征向量后，将得到的局部特征向量输入VLAD神经网络中。VLAD神经网络将这些局部特征向量进行聚集，构造成一个原始图像的全局特征向量，将该全局特征向量作为原始图像的图像向量。
进一步地，上述VLAD神经网络具体的聚合过程如下：
将卷积神经网络提取的N个D维局部图像特征向量xi作为输入，K个聚类中心ck作为VLAD的参数，输出为K×D维的图像特征向量如下所示：
Figure BDA0002903076970000091
其中，xi(j)和ck(j)分别表示第i个局部特征向量和第k个聚类中心的第j个特征值。ak(xi)为第i个局部特征向量属于第k个聚类的权重，如果是为1，否则为0。
为解决ak(xi)可微问题，将上述的ak(xi)替换为
Figure BDA0002903076970000092
其中α是一个正常数，是一个衰减系数，让其为正无穷时，该公式等价于取值0或1。对公式进行展开，获得wk＝2αck以及bk＝-α||ck||2。最终整理获得如下公式：
Figure BDA0002903076970000101
其中对于每一个聚类中心k，{wk}，{bk}，{ck}都是需要训练的参数且相互独立。
图4为一个实施例中步骤根据实时定位信息在视觉地图中查找符合预设条件的校验图像向量的流程示意图，在上述实施例的基础上，如图4所示，在一个实施例中，上述定位检测方法的步骤S160具体可以包括：
步骤S162：在视觉地图中查找与实时定位信息的距离小于预设距离的准确定位信息。
步骤S164：将查找到的准确定位信息对应的图像向量作为校验图像向量。
具体地，查找校验图像向量的预设条件具体可以为符合预设距离，例如在视觉地图中查找与实时定位信息的坐标位置距离在预设距离以内的准确定位信息，将这些准确定位信息的图像向量做为校验图像向量，其中预设距离的数值可以根据实际检测需求确定。可以理解的是，预设条件的种类并不限定于本实施例中的情况，在其他实施例中，查找校验图像向量的预设条件还可以为符合预设数量，例如在视觉地图中查找与实时定位信息的坐标位置距离最近的预设数量的准确定位信息，将这些准确定位信息的图像向量做为校验图像向量，其中预设数量的具体数值可以根据实际检测需求确定。
图5为一个实施例中步骤基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况的流程示意图，在上述实施例的基础上，如图4所示，在一个实施例中，上述定位检测方法的步骤S180具体可以包括：
步骤S182：计算实时图像向量与校验图像向量的图像匹配值。
步骤S184：若图像匹配值满足预设匹配阈值，则判断机器人未丢失定位。
具体地，对于定位情况的判断具体可以通过计算实时图像向量与校验图像向量的匹配值实现，将获取到的符合条件的校验图像向量与机器人的实时图像向量相乘，将得到的乘积作为图像匹配值。将该图像匹配值与预先设定的阈值进行对比，如果图像匹配值超过预设匹配阈值，说明实时图像与视觉地图中符合条件位置的图像匹配程度较高，则可以判断当前机器人未丢失定位。而如果图像匹配值未超过预设匹配阈值，说明实时图像与视觉地图中符合条件位置的图像匹配程度较低，则可以判断当前机器人发生丢失定位的情况。
需要说明的是，在本实施例中以校验图像向量和实时图像向量的乘积作为图像匹配值，但并不以此为限，在其他实施例中，也可以计算校验图像向量和实时图像向量的欧式距离或者余弦值，将欧式距离或者余弦值作为图像匹配值，相应的，预设匹配阈值可以根据图像匹配值的计算方式来进行设定。
图6为另一个实施例中步骤基于实时图像向量以及校验图像向量，如图6所示，在一个实施例中，校验图像向量的数量为多个，基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况的步骤包括：
S282：分别计算所述实时图像向量与多个所述校验图像向量的图像匹配值；
S284：若多个图像匹配值中满足预设匹配阈值的图像匹配值所占比例超过第一预设比例阈值，则判断所述机器人未丢失定位。
具体地，在视觉地图中查找到的校验图像向量的数量为多个，校验图像向量的具体数量可以根据实际检测需求确定，将多个校验图像向量分别与实时图像向量进行计算，计算方法可以与上述实施例中相同，计算得到多个图像匹配值。分别将多个图像匹配值与预先设定的图像匹配阈值进行对比，如果满足预设匹配阈值的图像匹配值所占比例超过第一预设比例阈值，说明实时图像与视觉地图中符合条件位置的图像匹配程度较高，则可以判断当前机器人未丢失定位。而如果满足预设匹配阈值的图像匹配值所占比例未超过第一预设比例阈值，说明实时图像与视觉地图中符合条件位置的图像匹配程度较低，则可以判断当前机器人发生丢失定位的情况。其中，第一预设比例阈值的具体数值可以根据实际检测需求确定，例如在一个具体的实施例中，第一预设比例阈值可以为三分之二，即若存在超过三分之二的图像匹配值满足预设匹配阈值，则判断机器人未丢失定位。
图7为另一个实施例中定位检测方法的流程示意图，如图7所示，在一个实施例中，定位检测方法包括步骤S220、S240、S260与S280，其分别可以与上述实施例中的相应步骤相同，在本实施例中，在步骤S260之后，定位检测方法还可以包括：
步骤S270：若视觉地图中不存在符合预设条件的校验图像向量，则判断机器人丢失定位。
具体地，若视觉地图中未查找到符合预设条件的校验图像向量，例如，当预设条件为符合预设距离时，如果在视觉地图中不存在与实时定位信息的坐标位置距离在预设距离以内的准确定位信息，这种情况下说明机器人的实时定位信息与地图区域中的准确定位信息的偏差较远，可以判断机器人发生了丢失定位的情况。
在一个实施例中，在上述实施例的基础上，本实施例中的定位检测方法还可以包括：
步骤S292：分别判断运行区域中预设数量位置处的机器人定位情况。
步骤S294：若预设数量位置中机器人丢失定位的位置所占比例超过第二预设比例阈值，则判断机器人发生定位故障。
具体地，可以控制机器人在当前区域中进行多个位置的定位检测，以对机器人的整体定位情况进行判断，在进行预设数量的定位判断后，筛选出其中定位丢失的情况，若定位丢失情况的数量占检测总数量的比例超过第二预设比例阈值，说明机器人定位发生丢失的情况较为普遍，说明机器人可能发生了定位故障，可以对机器人的激光雷达等部分进行检查，以校正机器人的定位功能。其中第二预设比例阈值的具体数值可以根据检测需求确定，例如在一个具体的实施例中，第二预设比例阈值可以为三分之二，即若存在超过三分之二的检测中发生定位丢失，则可以判断发机器人发生定位故障。
在一个实施例中，在上述实施例的基础上，在机器人发生丢失定位的情况下，机器人进行重定位以获取准确的实时定位信息。
图8为一个实施例中定位检测装置的结构示意图，如图8所示，在一个实施例中，一种定位检测装置500，应用于机器人定位中，定位检测装置500包括：地图模块520，用于获取机器人运行区域的视觉地图，视觉地图中包括各位置处的准确定位信息以及对应的图像向量；获取模块540，用于获取机器人的实时定位信息与实时图像向量；查找模块560，用于根据实时定位信息在视觉地图中查找符合预设条件的校验图像向量；判断模块580，用于基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况。
具体地，在进行机器人定位检测前，地图模块520首先调取当前环境的视觉地图，该视觉地图为预先根据机器人的运行区域建立的，视觉地图中包括机器人运行区域各个位置的准确定位信息以及图像向量，地图模块520将视觉地图发送给查找模块560。在机器人的运行过程中，获取模块540可以通过激光雷达等设备获取机器人的实时定位信息，定位信息中具体可以包括机器人当前的位置坐标以及航向角度等数据，获取模块540海通过摄像头等设备获取机器人所在位置的实时图像，然后根据实时图像的图像特征将其转换为实时图像向量，获取模块540将实时定位信息发送给查找模块560，并将实时图像向量发送给判断模块580。
查找模块560根据所述接收的实时定位信息在视觉地图中根据预设条件查找相应的校验图像向量，例如查找模块560可以选择与实时定位信息相同或者实时定位信息周围一定范围内的准确定位信息，并将该准确定位信息对应的图像向量作为校验图像向量发送给判断模块580。判断模块580将所接收的实时图像向量与校验图像向量进行匹配或对比等处理，若实时图像向量与校验图像向量的相似程度比较高，说明机器人的实时定位信息与该位置的准确定位信息较为接近，则判断模块580可以判断当前机器人未发生丢失定位的情况；若实时图像向量与校验图像向量的相似程度比较低，说明机器人的实时定位信息与该位置的准确定位信息差别较大，则判断模块580可以判断当前机器人发生丢失定位的情况。
上述定位检测装置500，可以根据机器人的实时定位信息，在预先建立的视觉地图中查找可以用于校验的图像向量，再通过校验图像向量与机器人拍摄的实时图像向量的匹配结果，判断机器人当前的定位情况，从而在机器人丢失定位时能够及时发现，有效提高了机器人定位的准确性。
在一个实施例中，在上述实施例的基础上，定位检测装置500还可以包括建立模块，建立模块用于获取机器人运行区域的栅格地图，通过激光雷达进行自适应蒙特卡洛定位获取栅格地图各位置处的准确定位信息，再将栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量，具体可以通过卷积神经网络提取原始图像的局部特征向量，再通过VLAD神经网络将局部特征向量进行聚合，以得到图像向量。然后将栅格地图各位置处的准确定位信息与图像向量进行匹配，以得到视觉地图。
在一个实施例中，在上述实施例的基础上，查找模块560具体可以包括位置查找单元以及向量确定单元，其中，位置查找单元用于在视觉地图中查找与实时定位信息的距离小于预设距离的准确定位信息；向量确定单元用于将查找到的准确定位信息对应的图像向量作为校验图像向量。
在一个实施例中，在上述实施例的基础上，判断模块580具体可以包括计算单元以及判断单元，其中，计算单元用于计算实时图像向量与校验图像向量的图像匹配值，若图像匹配值超过预设匹配阈值，则判断单元判断机器人未丢失定位。在另一个实施例中，校验图像向量的数量为多个，则计算单元用于分别计算实时图像向量与多个校验图像向量的图像匹配值，若多个图像匹配值中满足预设匹配阈值的图像匹配值所占比例超过第一预设比例阈值，则判断单元判断机器人未丢失定位。
在一个实施例中，若查找模块560在视觉地图中未查找到符合预设条件的校验图像向量，则判断模块580判断机器人丢失定位。
在一个实施例中，判断模块580分别判断运行区域中预设数量位置处的机器人定位情况。若预设数量位置中机器人丢失定位的位置所占比例超过预设比例阈值，则判断模块580判断机器人发生定位故障。
可以理解的是，本发明实施例所提供的定位检测装置可执行本发明任意实施例所提供的定位检测方法，具备执行方法相应的功能模块和有益效果。上述实施例中定位检测装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
在一个实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可以在处理器上运行的计算机程序。处理器在运行该程序时可以执行如下步骤：获取机器人运行区域的视觉地图，视觉地图中包括各位置处的准确定位信息以及对应的图像向量；获取机器人的实时定位信息与实时图像向量；根据实时定位信息在视觉地图中查找符合预设条件的校验图像向量；基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况。
可以理解的是,本发明实施例所提供的一种计算机设备,其处理器执行存储在存储器上的程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的定位检测方法中的相关操作。
进一步地，上述计算机中处理器的数量可以是一个或多个，处理器与存储器可以通过总线或其他方式连接。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一个实施例中，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时可以使得处理器执行如下步骤：获取机器人运行区域的视觉地图，视觉地图中包括各位置处的准确定位信息以及对应的图像向量；获取机器人的实时定位信息与实时图像向量；根据实时定位信息在视觉地图中查找符合预设条件的校验图像向量；基于实时图像向量以及校验图像向量，判断机器人定位的丢失情况。
可以理解的是,本发明实施例所提供的一种包含计算机程序的计算机可读存储介质,其计算机可执行的程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的定位检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中所述的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的较佳实施例及所运用技术原理，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明专利的保护范围由所附的权利要求范围决定。

Claims (11)

1.一种定位检测方法，应用于机器人定位中，其特征在于，所述方法包括：
获取机器人运行区域的视觉地图，所述视觉地图中包括各位置处的准确定位信息以及对应的图像向量；
获取所述机器人的实时定位信息与实时图像向量；
根据所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量；
基于所述实时图像向量以及所述校验图像向量，判断所述机器人定位的丢失情况。
2.根据权利要求1所述的方法，其特征在于，所述机器人运行区域的视觉地图的建立方法包括：
获取机器人运行区域的栅格地图；
通过激光雷达进行自适应蒙特卡洛定位获取所述栅格地图各位置处的准确定位信息；
将所述栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量；
将所述栅格地图各位置处的准确定位信息与图像向量进行匹配，以得到所述视觉地图。
3.根据权利要求2所述的方法，其特征在于，所述将所述栅格地图各位置处的原始图像通过NetVlad神经网络转换为图像向量的步骤包括：
通过卷积神经网络提取所述原始图像的局部特征向量；
通过VLAD神经网络将所述局部特征向量进行聚合，以得到所述图像向量。
4.根据权利要求1所述的方法，其特征在于，所述根据所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量的步骤包括：
在所述视觉地图中查找与所述实时定位信息的距离小于预设距离的准确定位信息；
将查找到的准确定位信息对应的图像向量作为所述校验图像向量。
5.根据权利要求1所述的方法，其特征在于，所述基于所述实时图像向量以及所述校验图像向量，判断所述机器人定位的丢失情况的步骤包括：
计算所述实时图像向量与所述校验图像向量的图像匹配值；
若所述图像匹配值满足预设匹配阈值，则判断所述机器人未丢失定位。
6.根据权利要求1所述的方法，其特征在于，所述校验图像向量的数量为多个，所述基于所述实时图像向量以及所述校验图像向量，判断所述机器人定位的丢失情况的步骤包括：
分别计算所述实时图像向量与多个所述校验图像向量的图像匹配值；
若多个图像匹配值中满足预设匹配阈值的图像匹配值所占比例超过第一预设比例阈值，则判断所述机器人未丢失定位。
7.根据权利要求1所述的方法，其特征在于，在所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量的步骤之后，所述方法还包括：
若所述视觉地图中不存在符合预设条件的校验图像向量，则判断所述机器人丢失定位。
8.根据权利要求1所述的方法，其特征在于，还包括：
分别判断运行区域中预设数量位置处的机器人定位情况；
若预设数量位置中所述机器人丢失定位的位置所占比例超过第二预设比例阈值，则判断所述机器人发生定位故障。
9.一种定位检测装置，应用于机器人定位中，其特征在于，所述装置包括：
地图模块，用于获取机器人运行区域的视觉地图，所述视觉地图中包括各位置处的准确定位信息以及对应的图像向量；
获取模块，用于获取所述机器人的实时定位信息与实时图像向量；
查找模块，用于根据所述实时定位信息在所述视觉地图中查找符合预设条件的校验图像向量；
判断模块，用于基于所述实时图像向量以及所述校验图像向量，判断所述机器人定位的丢失情况。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任意一项所述的定位检测方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任意一项所述的定位检测方法。
CN202110062077.1A 2021-01-18 2021-01-18 定位检测方法、装置、计算机设备以及可读存储介质 Pending CN112797976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110062077.1A CN112797976A (zh) 2021-01-18 2021-01-18 定位检测方法、装置、计算机设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110062077.1A CN112797976A (zh) 2021-01-18 2021-01-18 定位检测方法、装置、计算机设备以及可读存储介质

Publications (1)

Publication Number Publication Date
CN112797976A true CN112797976A (zh) 2021-05-14

Family

ID=75810140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110062077.1A Pending CN112797976A (zh) 2021-01-18 2021-01-18 定位检测方法、装置、计算机设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN112797976A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113783945A (zh) * 2021-08-25 2021-12-10 深圳拓邦股份有限公司 移动机器人的地图同步方法、装置以及移动机器人
CN114440858A (zh) * 2022-01-25 2022-05-06 中国人民解放军总医院第一医学中心 移动机器人定位丢失检测方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN108759844A (zh) * 2018-06-07 2018-11-06 科沃斯商用机器人有限公司 机器人重定位与环境地图构建方法、机器人及存储介质
CN110146080A (zh) * 2019-04-24 2019-08-20 佛山科学技术学院 一种基于移动机器人的slam回环检测方法及装置
CN110781790A (zh) * 2019-10-19 2020-02-11 北京工业大学 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN111795701A (zh) * 2020-07-09 2020-10-20 上海有个机器人有限公司 机器人远程恢复定位方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN108759844A (zh) * 2018-06-07 2018-11-06 科沃斯商用机器人有限公司 机器人重定位与环境地图构建方法、机器人及存储介质
CN110146080A (zh) * 2019-04-24 2019-08-20 佛山科学技术学院 一种基于移动机器人的slam回环检测方法及装置
CN110781790A (zh) * 2019-10-19 2020-02-11 北京工业大学 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN111795701A (zh) * 2020-07-09 2020-10-20 上海有个机器人有限公司 机器人远程恢复定位方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113783945A (zh) * 2021-08-25 2021-12-10 深圳拓邦股份有限公司 移动机器人的地图同步方法、装置以及移动机器人
CN114440858A (zh) * 2022-01-25 2022-05-06 中国人民解放军总医院第一医学中心 移动机器人定位丢失检测方法、系统、设备及存储介质
CN114440858B (zh) * 2022-01-25 2023-12-19 中国人民解放军总医院第一医学中心 移动机器人定位丢失检测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108846826B (zh) 物体检测方法、装置、图像处理设备及存储介质
CN107332240B (zh) 基于优化模型的电力系统静态电压稳定域边界搜索的方法
CN110703797B (zh) 无人机及其飞行轨迹的生成方法、计算机可读存储介质
CN112797976A (zh) 定位检测方法、装置、计算机设备以及可读存储介质
CN110969649A (zh) 一种激光点云与地图的匹配评价方法、介质、终端和装置
CN107169557A (zh) 一种对布谷鸟优化算法进行改进的方法
CN109931943B (zh) 无人船舶全局路径规划方法及电子设备
CN109766905B (zh) 基于自组织特征映射网络的目标分群方法
CN112651490A (zh) 人脸关键点检测模型的训练方法及设备、可读存储介质
CN111026917B (zh) 一种基于卷积神经网络的数据包分类方法及系统
Li et al. FC-SLAM: Federated learning enhanced distributed visual-LiDAR SLAM in cloud robotic system
CN111707262A (zh) 基于最近点向量投影的点云匹配方法、介质、终端和装置
CN114597970A (zh) 一种基于图卷积网络的主动配电网分区方法
CN112862730B (zh) 点云特征增强方法、装置、计算机设备和存储介质
CN106909552A (zh) 图像检索服务器、系统、相关检索及排错方法
CN114397894B (zh) 一种模仿人类记忆的移动机器人目标搜索方法
WO2022127573A1 (zh) 一种用户轨迹定位方法、电子设备及计算机存储介质
CN115424046A (zh) 无人机群的航迹追踪方法、装置、设备和介质
CN112446952B (zh) 三维点云法向量的生成方法、装置、电子设备及存储介质
CN114723043A (zh) 基于超图模型谱聚类的卷积神经网络卷积核剪枝方法
CN110309599B (zh) 一种方位测量融合与多目标定位方法
CN109960144B (zh) 风力发电机组偏航控制的方法、设备和系统
CN112633078A (zh) 目标跟踪自校正方法、系统、介质、设备、终端及应用
CN109919998A (zh) 卫星姿态确定方法、装置和终端设备
Li et al. Improving Heu-ristic Functions in A* Algorithm Path Planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination