CN112214629B - 基于图像识别的回环检测方法及可移动设备 - Google Patents

基于图像识别的回环检测方法及可移动设备 Download PDF

Info

Publication number
CN112214629B
CN112214629B CN201910631045.1A CN201910631045A CN112214629B CN 112214629 B CN112214629 B CN 112214629B CN 201910631045 A CN201910631045 A CN 201910631045A CN 112214629 B CN112214629 B CN 112214629B
Authority
CN
China
Prior art keywords
image
object information
identified
historical
information included
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910631045.1A
Other languages
English (en)
Other versions
CN112214629A (zh
Inventor
洪泽
吴育宏
聂玉庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910631045.1A priority Critical patent/CN112214629B/zh
Publication of CN112214629A publication Critical patent/CN112214629A/zh
Application granted granted Critical
Publication of CN112214629B publication Critical patent/CN112214629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及回环检测技术领域，具体涉及一种基于图像识别的回环检测方法及可移动设备，通过获取可移动设备拍摄到的待识别图像，对待识别图像进行识别以得到待识别图像包括的物体信息，根据待识别图像包括的物体信息从第一链表中确定目标历史图像，从第二链表中获取目标历史图像中包括的物体信息，以及根据目标历史图像包括的物体信息和待识别图像包括的物体信息判断目标历史图像与待识别图像是否匹配，并匹配时根据待识别图像和目标历史图像对可移动设备的位姿以及地图信息进行校正以完成回环检测，并能有效提升回环检测的效率，有效保障回环检测的准确性，从而有效提升可移动设备的可靠性。

Description

基于图像识别的回环检测方法及可移动设备
技术领域
本发明涉及图像处理技术领域，特别地涉及一种基于图像识别的回环检测方法及可移动设备。
背景技术
目前，自动驾驶、移动机器人等高科技产品，大都会使用回环检测算法，利用摄像头、陀螺仪、加速度计等惯性测量单元(IMU，inertial measurement uint)，进行角度、速度、距离等参数的测量，确认当前位姿，建立地图，从而进一步进行自主导航、路径规划等智能操作，并提供长时间运行的可靠性。使用当前采集到的图像数据与之前记录的图像数据进行比较、计算，在历史帧中找到与当前帧最匹配的一帧，利用两帧之前的位移关系，优化当前帧的位姿信息，并对全局地图进行优化，进一步缩小系统的误差。
发明人经研究发现，目前采用的回环检测算法，通常是使用词袋模型，将之前的历史帧(关键帧)的特征点等信息都记录下来，后续采集的图像与每个关键帧进行特征点进行查询匹配以判断后续采集到的图像是否与关键帧对应。但是采用现有的方式，在系统运行时间越久、保存数据越多的情况下，会存在效率越来越低下，查找对应的历史关键帧耗时会越来越久的问题。
发明内容
本发明提供一种基于图像识别的回环检测方法及可移动设备，通过基于存储有多个物体信息和每个物体信息对应的历史图像的第一链表，以及存储有多个历史图像和每个历史图像对应的物体信息的第二链表查找与待识别图像匹配的目标历史图像，以基于该目标历史图像和待识别图像对可移动设备的位姿进行校正，从而有效提高回环检测的效率和准确性。
本发明提供一种基于图像识别的回环检测方法，所述方法包括：
获取可移动设备拍摄到的待识别图像，对所述待识别图像进行识别以得到该待识别图像包括的物体信息；
根据所述待识别图像包括的物体信息从第一链表中确定目标历史图像，其中，所述第一链表存储有多个物体信息和每个物体信息对应的历史图像；
从第二链表中获取所述目标历史图像中包括的物体信息，其中，所述第二链表存储有多个历史图像和每个历史图像对应的物体信息；
根据所述目标历史图像包括的物体信息和所述待识别图像包括的物体信息，判断所述目标历史图像与所述待识别图像是否匹配；
当所述目标历史图像与所述待识别图像匹配时，根据所述待识别图像和所述目标历史图像对所述可移动设备的位姿进行校正以完成回环检测。
可选的，在上述基于图像识别的回环检测方法中，根据所述待识别图像包括的物体信息从第一链表中确定目标历史图像的步骤包括：
针对所述待识别图像包括的每个物体信息，从所述第一链表中查找与该物体信息对应的历史图像，以得到所述待识别图像包括的每个物体信息分别对应的历史图像；
统计查找到的所有历史图像中相同的历史图像查找到的次数，将查找到的次数最多的历史图像作为目标历史图像。
可选的，在上述基于图像识别的回环检测方法中，根据所述目标历史图像包括的物体信息和所述待识别图像包括的物体信息，判断所述目标历史图像与所述待识别图像是否匹配的步骤包括：
获得所述目标历史图像包括的物体信息中与所述待识别图像包括的物体信息为相同的物体信息的数量作为第一数量，统计所述目标历史图像包括的物体信息的数量作为第二数量，在所述第一数量与所述第二数量的比值大于第一预设阈值时，对所述目标历史图像与所述待识别图像进行相似度计算，并判断计算得到的相似度是否大于第二预设阈值，其中，在所述相似度大于所述第二预设阈值时，所述目标历史图像与所述待识别图像匹配；或者
获得所述目标历史图像包括的物体信息中与所述待识别图像包括的物体信息为相同的物体信息的数量作为第一数量，统计所述待识别图像包括的物体信息的数量作为第三数量，在所述第一数量与所述第三数量的比值大于第三预设阈值时，对所述目标历史图像与所述待识别图像进行相似度计算，并判断计算得到的相似度是否大于第二预设阈值，其中，在所述相似度大于所述第二预设阈值时，所述目标历史图像与所述待识别图像匹配。
可选的，在上述基于图像识别的回环检测方法中，根据所述待识别图像和所述目标历史图像对所述可移动设备的位姿进行校正以完成回环检测的步骤包括：
计算所述待识别图像与所述目标历史图像之间的位移关系；
根据所述位移关系校正可移动设备的当前位姿信息和地图信息，以完成回环检测。
可选的，在上述基于图像识别的回环检测方法中，在执行获取可移动设备拍摄到的待识别图像的步骤之前，所述方法还包括：
获取多个样本图像及每个样本图像包括物体信息，采用神经网络对多个样本图像及每个样本图像包括的物体信息进行训练得到物体识别算法；
对所述待识别图像进行识别以得到该待识别图像包括的物体信息的步骤包括：
对所述待识别图像采用所述物体识别算法进行识别以得到该待识别图像中包括的物体信息。
可选的，在上述基于图像识别的回环检测方法中，在执行获取可移动设备拍摄到的待识别图像，对所述待识别图像进行识别以得到该待识别图像包括的物体信息的步骤之前，所述方法还包括：
建立第一链表和第二链表；
获取场景图像，对所述场景图像进行识别，当识别得到该场景图像中包括物体信息时将所述场景图像作为历史图像，将每个历史图像中包括的物体信息保存至所述第一链表中，以及将每个物体信息对应的历史图像保存至所述第二链表中。
可选的，在上述基于图像识别的回环检测方法中，在执行判断所述目标历史图像与所述待识别图像是否匹配的步骤之后，所述方法还包括：
当所述目标历史图像与所述待识别图像不匹配时，将所述待识别图像作为新的历史图像，根据该历史图像中包括的物体信息建立各所述物体信息与该历史图像之间的对应关系，并保存至所述第一链表中，以及将该历史图像及该历史图像对应的物体信息保存至第二链表中。
可选的，在上述基于图像识别的回环检测方法中，在执行根据所述待识别图像包括的物体信息从第一链表中确定目标历史图像的步骤之前，所述方法还包括：
判断所述待识别图像包括的物体信息是否存在为动物信息的物体信息，若是，则将所述待识别图像中为动物信息的物体信息删除。
本发明还提供一种可移动设备，包括处理器、存储器和图像采集设备，所述处理器、所述存储器和所述图像采集设备通过通信总线连接；
所述图像采集设备，用于采集图像，其中，该图像包括待识别图像和历史图像；
所述存储器，用于存储用于实现如权利要求1至8中任意一项所述的基于图像识别的回环检测方法的程序代码；
所述处理器，用于读取所述存储器中存储的程序代码。
可选的，在上述可移动设备中，所述可移动设备还包括惯性测量单元，所述惯性测量单元与所述处理器通过总线连接，并用于获取所述可移动设备的当前位姿信息。
本发明提供的基于图像识别的回环检测方法及可移动设备，与现有技术相比，至少具备有以下有益效果：
本发明提供的基于图像识别的回环检测方法，通过基于存储有多个物体信息和每个物体信息对应的历史图像的第一链表，以及存储有多个历史图像和每个历史图像对应的物体信息的第二链表查找与待识别图像匹配的目标历史图像，以基于该目标历史图像和待识别图像对可移动设备的位姿进行校正，从而有效提高回环检测的效率和准确性。
本发明提供的可移动设备，由于该设备能够执行上述的方法，因此也具备有上述的有益效果。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。
图1为本发明实施例提供的一种可移动设备的连接框图。
图2为本发明实施例提供的一种基于图像识别的回环检测方法的流程示意图。
图3为图2中步骤S120的流程示意图。
图4为图2中步骤S150的流程示意图。
图5为本发明实施例提供的一种基于图像识别的回环检测方法的另一流程示意图。
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
附图标记：
10-可移动设备；11-图像采集设备；12-存储器；13-处理器；14-惯性测量单元。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
请结合参阅图1和图2，本发明提供一种基于图像识别的回环检测方法，该方法可以应用于可应用于可移动设备10中的处理器13，且该方法应用于该可移动设备10中的处理器13时执行步骤S110-步骤S150。
步骤S110：获取可移动设备10拍摄到的待识别图像，对所述待识别图像进行识别以得到该待识别图像包括的物体信息。
其中，所述可移动设备10还包括图像采集设备11，所述图像采集设备11是指具有图像或视频采集功能的设备。获取可移动设备10拍摄到的待识别图像的方式可以是所述处理器13获取所述图像采集设备11采集到的待识别图像，也可以是所述图像采集设备11在采集到待识别图像时，将该待识别图像发送至所述处理器13，在此不作具体限定，根据实际需求进行设置即可。
对所述待识别图像进行识别的方式可以是，采用聚类的方式对所述待识别图像进行识别，也可以是采用神经网络分类算法对所述待识别图像进行识别，也可以是采用几何分类算法对所述待识别图像进行识别，还可以是采用基于概率统计的Bayes分类算法对待识别图像进行分类识别，在此不做具体限定，根据实际需求进行设置即可。
在本实施例中，对所述待识别图像进行识别的方式可以是采用神经网络分类算法对所述待识别图像进行识别，具体的，在执行步骤S110之前，所述方法还包括：获取多个样本图像及每个样本图像包括物体信息，采用神经网络对多个样本图像及每个样本图像包括的物体信息进行训练得到物体识别算法，上述步骤S110中，对所述待识别图像进行识别以得到该待识别图像包括的物体信息的步骤包括：对所述待识别图像采用所述物体识别算法进行识别以得到该待识别图像中包括的物体信息。
其中，所述样本图像可以包括床、沙发、桌子、书柜、衣柜、花瓶、电视、洗衣机、冰箱、灯等家用设备中的一个或多个图像，也可以包括电脑、打印机、投影仪等办公设备中的一个或多个图像，根据所述可移动设备10具体的应用场景进行设置即可，在此不做具体限定。其中，当所述样本图像中包括多个图像时，该样本图像包括物体信息也为多个。
通过采用神经网络对多个样本图像及每个样本图像包括的物体信息进行训练获得的图像识别算法进行图像识别，得到的物体信息可靠性高，且识别效率高。
步骤S120：根据所述待识别图像包括的物体信息从第一链表中确定一目标历史图像。
其中，所述第一链表存储有多个物体信息和每个物体信息对应的历史图像。
需要说明的是，在本实施例中，所述历史图像为任意具有图像采集功能的图像采集器或设备采集到的与所述待识别图像场景相同或相似的图像，在本实施例中，所述历史图像由所述可移动设备10的图像采集设备11拍摄得到。
为避免所述待识别图像中存在动物，例如猫，狗等，对后续的回环检测造成影响，在本实施例中，在执行步骤S120之前，所述方法还可以包括：判断所述待识别图像包括的物体信息是否存在为动物信息的物体信息，若是，则将所述待识别图像中为动物信息的物体信息删除。
上述步骤S120可以是，针对所述待识别图像包括的每个物体信息，从所述第一链表中查找与该物体信息对应的历史图像，并统计查找到的所有历史图像中，相同历史图像出现次数为最多的历史图像作为目标历史图像，也可以是相同历史图像出现次数大于预设次数的历史图像作为目标历史图像，还可以是将历史图像出现次数从大到小排序为前N个对应的历史图像作为目标历史图像，其中N为大于等于一的整数。
请结合图3，可选的，在本实施例中上述步骤S120可以包括步骤S122-S124。
步骤S122：针对所述待识别图像包括的每个物体信息，从所述第一链表中查找与该物体信息对应的历史图像，以得到所述待识别图像包括的每个物体信息分别对应的历史图像。
通过上述步骤查找得到的历史图像为多个，且当不同的物体信息对应查找到的历史图像可能为相同，即查找到的历史图像中可能包括多个相同的历史图像。
步骤S124：统计查找到的所有历史图像中相同的历史图像查找到的次数，将查找到的次数为最多的历史图像作为目标历史图像。
步骤S130:从第二链表中获取所述目标历史图像中包括的物体信息。
其中，所述第二链表存储有多个历史图像和每个历史图像对应的物体信息。
步骤S140：根据所述目标历史图像包括的物体信息和所述待识别图像包括的物体信息，判断所述目标历史图像与所述待识别图像是否匹配。
其中，上述步骤S140具体可以是，获得所述目标历史图像包括的物体信息中与所述待识别图像包括的物体信息为相同的物体信息的数量作为第一数量，统计所述目标历史图像包括的物体信息的数量作为第二数量，在所述第一数量与所述第二数量的比值大于第一预设阈值时，对所述目标历史图像与所述待识别图像进行相似度计算，并判断计算得到的相似度是否大于第二预设阈值，其中，在所述相似度大于所述第二预设阈值时，所述目标历史图像与所述待识别图像匹配。
上述步骤S140也可以是：获得所述目标历史图像包括的物体信息中与所述待识别图像包括的物体信息为相同的物体信息的数量作为第一数量，统计所述待识别图像包括的物体信息的数量作为第三数量，在所述第一数量与所述第三数量的比值大于第三预设阈值时，对所述目标历史图像与所述待识别图像进行相似度计算，并判断计算得到的相似度是否大于第二预设阈值，其中，在所述相似度大于所述第二预设阈值时，所述目标历史图像与所述待识别图像匹配。
上述步骤S140还可以是：获得所述目标历史图像包括的物体信息中与所述待识别图像包括的物体信息为相同的物体信息的数量作为第一数量，将所述待识别图像包括的物体信息的数量与所述目标历史图像中包括的物体信息的数量的累加值作为第三数量，在所述第一数量与所述第三数量的比值大于第四预设阈值时，对所述目标历史图像与所述待识别图像进行相似度计算，并判断计算得到的相似度是否大于第二预设阈值，其中，在所述相似度大于所述第二预设阈值时，所述目标历史图像与所述待识别图像匹配。
步骤S150：当所述目标历史图像与所述待识别图像匹配时，根据所述待识别图像和所述目标历史图像对所述可移动设备10的位姿进行校正以完成回环检测。
需要说明的是，当所述目标历史图像与所述待识别图像匹配时，则判断所述可移动设备10出现回环，在判断出现回环之后，可以对所述目标历史图像和所述待识别图像进行回环处理以校正所述可移动设备10的当前位姿信息和地图信息从而完成回环检测。
请参阅图4，在本实施例中，上述步骤S150包括：
步骤S152：计算所述待识别图像与所述目标历史图像之间的位移关系。
其中，上述步骤具体可以是，采用图像配准法或回环处理的方式计算所述待识别图像与所述目标历史图像之间的位移关系。
步骤S154：根据所述位移关系校正可移动设备10的当前位姿信息和地图信息，以完成回环检测。
本申请通过执行上述步骤S110-S150，有效提高了回环检测的效率和回环检测的准确性，避免了现有技术中存在的，使用词袋模型，将之前的历史帧(关键帧)的特征点等信息都记录下来，后续采集的图像与每个关键帧进行特征点进行查询匹配以判断后续采集到的图像是否与关键帧对应存在的在系统运行时间越久、保存数据越多的情况下，会存在效率越来越低下，查找对应的历史关键帧耗时会越来越久的问题。
在本实施例中，在执行步骤S140之后，所述方法还包括：当所述目标历史图像与所述待识别图像不匹配时，将所述待识别图像作为新的历史图像，根据该历史图像中包括的物体信息建立各所述物体信息与该历史图像之间的对应关系，并保存至所述第一链表中，以及将该历史图像及该历史图像对应的物体信息保存至第二链表中。
通过上述设置，以实现进一步扩充所述第一链表和第二链表，进而保障后续进行回环检测的准确性。
请结合图5，在本实施例中，在执行步骤S110之前，所述方法还包括步骤S170-S180：
步骤S170：建立第一链表和第二链表。
其中，所述第一链表和第二链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为结点)组成，结点可以在运行时动态生成。每个结点包括两个部分：一个是存储数据元素的数据域，另一个是存储下一个结点地址的指针域。使用链表可以充分利用计算机内存空间，实现灵活的内存动态管理。
步骤S180：获取场景图像，对所述场景图像进行识别，当识别得到该场景图像中包括物体信息时将所述场景图像作为历史图像，将每个历史图像中包括的物体信息保存至所述第一链表中，以及将每个物体信息对应的历史图像保存至所述第二链表中。
需要说明的是，获取的场景图像为多张，例如，具体可以是，所述可移动设备10在开始运行至运行到达预设时长获取到的所有图像均作为场景图像。对所述场景图像进行识别的方式也可以是采用上述采用神经网络训练得到的物体识别算法进行识别。
将每个历史图像中包括的物体信息保存至所述第一链表中的方式可以是，针对每个历史图像，将该历史图像存储所述第二链表中的指针域，将该历史图像对应的物体信息保存至该指针域对应的数据域进行保存。将该物体信息对应的历史图像作为该指针域对应的数据域进行保存的方式可以是，针对每个历史图像，将该历史图像存储至所述第二链表中的指针域，将该历史图像对应的物体信息存储至与该指针域对应的数据域中。
在上述基础上，请再次参阅图1，本发明还提供一种可移动设备10，包括图像采集设备11、存储器12和处理器13，所述图像采集设备11、存储器12和处理器13通过通信总线连接。
所述图像采集设备11是用于采集图像，其中，该图像包括待识别图像、历史图像以及场景图像，所述存储器12用于存储用于实现如上述的基于图像识别的回环检测方法的程序代码，所述处理器13用于读取所述存储器12中存储的程序代码，以实现本实施例中的基于图像识别的回环检测方法。
其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
所述处理器13可以是一种集成电路芯片，具有信号处理能力。所述处理器13可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器13等。
所述图像采集设备11可以是摄像机、摄像头等，且所述摄像机可以为云台摄像机、球机、网络摄像机等。
所述可移动设备10可以是机器人，例如，扫地机器人，也可以是自动驾驶汽车等设备，在此不做具体限定。
在本实施例中，所述可移动设备10还包括惯性测量单元14，所述惯性测量单元14与所述处理器13通过总线连接，并用于获取所述可移动设备10的当前位姿信息。
其中，所述惯性测量单元14为用于测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态的传感设备。
综上，本发明提供的一种基于图像识别的回环检测方法及可移动设备10，通过获取可移动设备10拍摄到的待识别图像，对所述待识别图像进行识别以得到该待识别图像包括的物体信息，根据所述待识别图像包括的物体信息从第一链表中确定目标历史图像，从第二链表中获取所述目标历史图像中包括的物体信息，以及根据所述目标历史图像包括的物体信息和所述待识别图像包括的物体信息，判断所述目标历史图像与所述待识别图像是否匹配，并在所述目标历史图像与所述待识别图像匹配时，根据所述待识别图像和所述目标历史图像对所述可移动设备10的位姿以及地图信息进行校正以完成回环检测，有效提升回环检测的效率，并能够有效保障回环检测的准确性，从而有效提升可移动设备10的可靠性。
虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (8)

1.一种基于图像识别的回环检测方法，其特征在于，所述方法包括：
获取可移动设备拍摄到的待识别图像，对所述待识别图像进行识别以得到该待识别图像包括的物体信息；
根据所述待识别图像包括的物体信息从第一链表中确定目标历史图像，包括：针对所述待识别图像包括的每个物体信息，从所述第一链表中查找与该物体信息对应的历史图像，以得到所述待识别图像包括的每个物体信息分别对应的历史图像；统计查找到的所有历史图像中相同的历史图像查找到的次数，将查找到的次数最多的历史图像作为目标历史图像；其中，所述第一链表存储有多个物体信息和每个物体信息对应的历史图像；
从第二链表中获取所述目标历史图像中包括的物体信息，其中，所述第二链表存储有多个历史图像和每个历史图像对应的物体信息；
根据所述目标历史图像包括的物体信息和所述待识别图像包括的物体信息，判断所述目标历史图像与所述待识别图像是否匹配，包括：获得所述目标历史图像包括的物体信息中与所述待识别图像包括的物体信息为相同的物体信息的数量作为第一数量，统计所述目标历史图像包括的物体信息的数量作为第二数量，在所述第一数量与所述第二数量的比值大于第一预设阈值时，对所述目标历史图像与所述待识别图像进行相似度计算，并判断计算得到的相似度是否大于第二预设阈值，其中，在所述相似度大于所述第二预设阈值时，所述目标历史图像与所述待识别图像匹配；或者获得所述目标历史图像包括的物体信息中与所述待识别图像包括的物体信息为相同的物体信息的数量作为第一数量，统计所述待识别图像包括的物体信息的数量作为第三数量，在所述第一数量与所述第三数量的比值大于第三预设阈值时，对所述目标历史图像与所述待识别图像进行相似度计算，并判断计算得到的相似度是否大于第二预设阈值，其中，在所述相似度大于所述第二预设阈值时，所述目标历史图像与所述待识别图像匹配；
当所述目标历史图像与所述待识别图像匹配时，根据所述待识别图像和所述目标历史图像对所述可移动设备的位姿进行校正以完成回环检测。
2.根据权利要求1所述的基于图像识别的回环检测方法，其特征在于，根据所述待识别图像和所述目标历史图像对所述可移动设备的位姿进行校正以完成回环检测的步骤包括：
计算所述待识别图像与所述目标历史图像之间的位移关系；
根据所述位移关系校正可移动设备的当前位姿信息和地图信息，以完成回环检测。
3.根据权利要求1所述的基于图像识别的回环检测方法，其特征在于，在执行获取可移动设备拍摄到的待识别图像的步骤之前，所述方法还包括：
获取多个样本图像及每个样本图像包括物体信息，采用神经网络对多个样本图像及每个样本图像包括的物体信息进行训练得到物体识别算法；
对所述待识别图像进行识别以得到该待识别图像包括的物体信息的步骤包括：
对所述待识别图像采用所述物体识别算法进行识别以得到该待识别图像中包括的物体信息。
4.根据权利要求1所述的基于图像识别的回环检测方法，其特征在于，在执行获取可移动设备拍摄到的待识别图像，对所述待识别图像进行识别以得到该待识别图像中包括的物体信息的步骤之前，所述方法还包括：
建立第一链表和第二链表；
获取场景图像，对所述场景图像进行识别，当识别得到该场景图像中包括物体信息时将所述场景图像作为历史图像，将每个历史图像中包括的物体信息保存至所述第一链表中，以及将每个物体信息对应的历史图像保存至所述第二链表中。
5.根据权利要求1所述的基于图像识别的回环检测方法，其特征在于，在执行判断所述目标历史图像与所述待识别图像是否匹配的步骤之后，所述方法还包括：
当所述目标历史图像与所述待识别图像不匹配时，将所述待识别图像作为新的历史图像，根据该历史图像中包括的物体信息建立各所述物体信息与该历史图像之间的对应关系，并保存至所述第一链表中，以及将该历史图像及该历史图像对应的物体信息保存至第二链表中。
6.根据权利要求1所述的基于图像识别的回环检测方法，其特征在于，在执行根据所述待识别图像包括的物体信息从第一链表中确定目标历史图像的步骤之前，所述方法还包括：
判断所述待识别图像包括的物体信息是否存在为动物信息的物体信息，若是，则将所述待识别图像中为动物信息的物体信息删除。
7.一种可移动设备，其特征在于，包括处理器、存储器和图像采集设备，所述处理器、所述存储器和所述图像采集设备通过通信总线连接；
所述图像采集设备，用于采集图像，其中，该图像包括待识别图像和历史图像；
所述存储器，用于存储用于实现如权利要求1至6中任意一项所述的基于图像识别的回环检测方法的程序代码；
所述处理器，用于读取所述存储器中存储的程序代码。
8.根据权利要求7所述的可移动设备，其特征在于，所述可移动设备还包括惯性测量单元，所述惯性测量单元与所述处理器通过总线连接，并用于获取所述可移动设备的当前位姿信息。
CN201910631045.1A 2019-07-12 2019-07-12 基于图像识别的回环检测方法及可移动设备 Active CN112214629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910631045.1A CN112214629B (zh) 2019-07-12 2019-07-12 基于图像识别的回环检测方法及可移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910631045.1A CN112214629B (zh) 2019-07-12 2019-07-12 基于图像识别的回环检测方法及可移动设备

Publications (2)

Publication Number Publication Date
CN112214629A CN112214629A (zh) 2021-01-12
CN112214629B true CN112214629B (zh) 2024-01-26

Family

ID=74048216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631045.1A Active CN112214629B (zh) 2019-07-12 2019-07-12 基于图像识别的回环检测方法及可移动设备

Country Status (1)

Country Link
CN (1) CN112214629B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591865B (zh) * 2021-07-28 2024-03-26 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备
CN113670293A (zh) * 2021-08-11 2021-11-19 追觅创新科技(苏州)有限公司 地图构建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084377A (ja) * 1999-09-14 2001-03-30 Mitsubishi Electric Corp 画像処理装置
WO2017193735A1 (zh) * 2016-05-13 2017-11-16 腾讯科技（深圳）有限公司 用于视频监控系统的行踪轨迹的获取方法和装置
CN108133496A (zh) * 2017-12-22 2018-06-08 北京工业大学 一种基于g2o与随机蕨类的稠密地图创建方法
CN109308463A (zh) * 2018-09-12 2019-02-05 北京奇艺世纪科技有限公司 一种视频目标识别方法、装置及设备
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084377A (ja) * 1999-09-14 2001-03-30 Mitsubishi Electric Corp 画像処理装置
WO2017193735A1 (zh) * 2016-05-13 2017-11-16 腾讯科技（深圳）有限公司 用于视频监控系统的行踪轨迹的获取方法和装置
CN108133496A (zh) * 2017-12-22 2018-06-08 北京工业大学 一种基于g2o与随机蕨类的稠密地图创建方法
CN109308463A (zh) * 2018-09-12 2019-02-05 北京奇艺世纪科技有限公司 一种视频目标识别方法、装置及设备
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置

Also Published As

Publication number Publication date
CN112214629A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN108985199B (zh) 商品取放操作的检测方法、装置及存储介质
US11321966B2 (en) Method and apparatus for human behavior recognition, and storage medium
CN101271333B (zh) 移动机器人的定位方法
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN111512317A (zh) 一种多目标实时跟踪方法、装置及电子设备
CN112445929B (zh) 视觉定位方法及相关装置
CN112214629B (zh) 基于图像识别的回环检测方法及可移动设备
US20190171910A1 (en) Best Image Crop Selection
US20230038000A1 (en) Action identification method and apparatus, and electronic device
JPWO2018235219A1 (ja) 自己位置推定方法、自己位置推定装置および自己位置推定プログラム
CN112101156A (zh) 一种目标识别的方法、装置和电子设备
CN113723157A (zh) 一种农作物病害识别方法、装置、电子设备及存储介质
CN112001948A (zh) 一种目标跟踪处理方法及装置
WO2021233058A1 (zh) 监控货架上的物品的方法、计算机和系统
CN113256683B (zh) 目标跟踪方法及相关设备
CN106920255B (zh) 一种针对图像序列的运动目标提取方法及装置
CN112036269A (zh) 跌倒检测方法、装置、计算机设备和存储介质
CN112634395B (zh) 一种基于slam的地图构建方法及装置
CN109389089B (zh) 基于人工智能算法的多人行为识别方法及装置
CN113361341A (zh) 行李再识别方法、装置、设备及可读存储介质
CN115049731B (zh) 一种基于双目摄像头的视觉建图和定位方法
CN111866468A (zh) 对象跟踪分配方法、装置、存储介质及电子装置
CN112528078B (zh) 一种图像归档方法、装置及设备
CN111898462B (zh) 对象属性的处理方法、装置、存储介质以及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant