CN111060101A - 视觉辅助的距离slam方法及装置、机器人 - Google Patents

视觉辅助的距离slam方法及装置、机器人 Download PDF

Info

Publication number
CN111060101A
CN111060101A CN201811203021.8A CN201811203021A CN111060101A CN 111060101 A CN111060101 A CN 111060101A CN 201811203021 A CN201811203021 A CN 201811203021A CN 111060101 A CN111060101 A CN 111060101A
Authority
CN
China
Prior art keywords
visual data
data frame
frame
current
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811203021.8A
Other languages
English (en)
Other versions
CN111060101B (zh
Inventor
熊友军
蒋晨晨
白龙彪
毕占甲
刘志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN201811203021.8A priority Critical patent/CN111060101B/zh
Priority to US16/228,792 priority patent/US20200116498A1/en
Publication of CN111060101A publication Critical patent/CN111060101A/zh
Application granted granted Critical
Publication of CN111060101B publication Critical patent/CN111060101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种视觉辅助的距离SLAM方法，该方法包括：获取多个距离数据帧及多个视觉数据帧，每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的；利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；若找到匹配视觉数据帧，则计算所述当前视觉数据帧和匹配视觉数据帧之间的相对位姿；利用相对位姿对当前视觉数据帧和匹配视觉数据帧之间帧的位姿数据进行回环优化。本发明还公开了一种视觉辅助的距离SLAM装置、机器人和可读存储介质。通过上述方式，本发明能够提高建图精度/实现快速重定位。

Description

视觉辅助的距离SLAM方法及装置、机器人
技术领域
本发明涉及电机领域，特别是涉及一种视觉辅助的距离SLAM方法及装置、机器人、可读存储介质。
背景技术
同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)是指在通过对载体(例如机器人、无人飞行器等)上各种传感器数据进行采集和计算，生成对载体自身位置姿态(简称位姿)的定位和场景地图信息的技术。
常见的SLAM一般有两种：基于距离的SLAM和基于视觉的SLAM。基于距离的SLAM(距离SLAM)，例如基于激光雷达的SLAM(激光SLAM)，使用距离传感器对载体周围的物体进行测距，采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点，被称为点云，通过对不同时刻两片点云的匹配与比对，计算距离传感器相对运动的距离和姿态的改变(相对位姿)，也就完成了对载体自身的定位。
SLAM中第n帧的位姿是基于第n-1帧的位姿和两帧之间的相对位姿计算得到的，若第n-1帧的位姿存在误差，这一误差会传递到第n帧及其之后的所有帧，从而导致累计误差。为此可以使用回环检测，通过判断不同帧的数据的相似度是否满足要求来判断这两帧是否是在同样的场景采集的，若检测到第i帧和第j帧是在同样的场景采集的，则可对第i至第j帧的位姿进行优化。
对于距离SLAM，由于点云包括的信息量较小，不同帧的点云的相似度并不能准确的反应对应的场景的相似度，特别是在空旷的场景，回环检测难度高，难以消除累计误差，影响长期估计的可靠性。同样由于点云包括的信息量较小，在载体刚开机/定位过程中跟踪丢失的情况下，很难根据当期的点云数据在整幅地图中找到匹配的部分，难以完成全局重定位。
发明内容
本发明主要解决的技术问题是提供一种视觉辅助的距离SLAM方法及装置、机器人、可读存储介质，能够解决现有技术中距离SLAM难以消除累计误差/完成全局重定位的问题。
为了解决上述技术问题，本发明提供了一种视觉辅助的距离SLAM方法，该方法包括：获取多个距离数据帧及多个视觉数据帧，每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的；利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；若找到匹配视觉数据帧，则计算所述当前视觉数据帧和匹配视觉数据帧之间的相对位姿；利用相对位姿对当前视觉数据帧和匹配视觉数据帧之间帧的位姿数据进行回环优化。
为了解决上述技术问题，本发明提供了一种视觉辅助的距离SLAM方法，该方法包括：获取当前视觉数据；在存储的多个视觉数据帧中对当前视觉数据进行回环检测以寻找定位视觉数据帧；若找到定位视觉数据帧，则计算当前视觉数据和定位视觉数据帧之间的相对位姿；利用相对位姿及定位视觉数据帧对应的位姿数据计算当前位姿。
为了解决上述技术问题，本发明提供了一种视觉辅助的距离SLAM装置，该装置包括至少一个处理器，单独或协同工作，处理器用于执行指令以实现前述的视觉辅助的距离SLAM方法。
为了解决上述技术问题，本发明提供了一种机器人，该机器人包括处理器、距离传感器和视觉传感器，处理器分别连接距离传感器和视觉传感器，处理器用于执行指令以实现前述的视觉辅助的距离SLAM方法。
为了解决上述技术问题，本发明提供了一种可读存储介质，存储有指令，指令被执行时实现前述的视觉辅助的距离SLAM方法。
本发明的有益效果是：通过获取多个距离数据帧及多个视觉数据帧，每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的；利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；若找到匹配视觉数据帧，则计算所述当前视觉数据帧和匹配视觉数据帧之间的相对位姿；利用相对位姿对当前视觉数据帧和匹配视觉数据帧之间帧的位姿数据进行回环优化，由于视觉数据相比于距离数据包含更多的信息，视觉数据的回环检测成功率更高，利用视觉数据的回环检测结果对距离SLAM进行辅助，可以消除累计误差，提高长期估计的可靠性从而提高建图精度。
此外，利用视觉数据的回环检测结果对距离SLAM进行辅助定位，可以实现快速全局重定位。
附图说明
图1是本发明视觉辅助的距离SLAM方法第一实施例的流程示意图；
图2是本发明视觉辅助的距离SLAM方法第二实施例的流程示意图；
图3是本发明视觉辅助的距离SLAM方法第三实施例的流程示意图；
图4是本发明视觉辅助的距离SLAM方法一具体实施例中视觉辅助的激光SLAM的整体方案示意图；
图5是本发明视觉辅助的距离SLAM方法第四实施例的流程示意图；
图6是本发明视觉辅助的距离SLAM装置第一实施例的结构示意图；
图7是本发明机器人第一实施例的结构示意图；
图8是本发明可读存储介质第一实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以下各实施例中不冲突的可以相互结合。
如图1所示，本发明视觉辅助的距离SLAM方法第一实施例包括：
S1：获取多个距离数据帧及多个视觉数据帧。
距离数据帧是利用距离传感器获取的，视觉数据帧是利用视觉传感器获取的。距离传感器可以为激光雷达、超声波测距传感器、红外测距传感器等。视觉传感器可以包括RGB相机和/或深度相机。RGB相机可以获取图像数据，深度相机可以获取深度数据，若视觉传感器仅包括RGB相机，RGB相机的数量可以大于一，例如两个RGB相机组成双目相机，从而可以利用至少两个RGB相机的图像数据计算深度数据。可以将视觉传感器得到的图像数据和/或深度数据直接作为视觉数据帧，或者从图像数据和/或深度数据提取特征数据作为视觉数据帧以节省存储空间，特征数据可以包括从图像数据和/或深度数据提取的地图点数据。完成提取特征数据后原始的图像数据和/或深度数据可以删除。例如，可以对图像数据进行特征点检测，结合深度数据生成特征点对应的3D地图点，计算特征点的描述子，将特征数据(包括特征点、3D地图点、描述子)作为视觉数据帧。
每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的，且载体处于同一位姿下。距离数据帧和视觉数据帧可以是一一对应的，也可以不是。若距离数据帧和视觉数据帧不是一一对应的，部分距离数据帧可以没有对应的视觉数据帧。
每个距离数据帧和每个视觉数据帧都有一个ID。相对应的视觉数据帧和距离数据帧的ID可以相匹配以便于处理，例如，相对应的视觉数据帧和距离数据帧的ID可以相同。
同一帧内的视觉数据帧和距离数据帧的获取先后顺序并无限制。例如可以在激光雷达扫描得到距离数据帧后向视觉传感器发送信号以获取对应的视觉数据帧，或者在激光雷达扫描过程中控制视觉传感器获取对应的视觉数据帧，或者控制视觉传感器获取视觉数据帧之后激光雷达开始扫描。
S2：利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧。
当前视觉数据帧是指正在处理的视觉数据帧，并不一定是当前时刻获取的视觉数据帧。一般而言，回环检测是基于图像的相似度。匹配视觉数据帧和当前视觉数据帧采集于相同或相近似的场景。若回环检测成功，匹配视觉数据帧的数量可以为一个或者更多个。
S3：若找到匹配视觉数据帧，则计算当前视觉数据帧和匹配视觉数据帧之间的相对位姿。
S4：利用相对位姿对当前视觉数据帧和匹配视觉数据帧之间帧的位姿数据进行回环优化。
若最早的匹配视觉数据帧对应的匹配距离数据帧为第a帧，当前视觉数据帧对应的当前距离数据帧为第b帧，回环优化的对象可以包括第a-b帧中至少部分帧的位姿数据。除位姿信息外，还可以对至少部分地图点数据进行回环优化。回环优化完成后，可以将回环优化后的位姿数据存入地图数据。
回环优化完成后或未找到匹配视觉数据帧的情况下，可以将另一视觉数据帧作为当前数据帧跳转至S2以执行S2及后续步骤。
通过本实施例的实施，利用视觉数据的回环检测结果对距离SLAM进行优化，由于视觉数据相比于距离数据包含更多的信息，视觉数据的回环检测成功率更高，可以消除累计误差，提高长期估计的可靠性从而提高建图精度。
如图2所示，本发明视觉辅助的距离SLAM方法第二实施例，是在本发明视觉辅助的距离SLAM方法第一实施例的基础上，S2具体包括：
S21：在多个候选视觉数据帧中寻找与当前视觉数据帧之间的相似度大于预设阈值的候选视觉数据帧作为匹配视觉数据帧。
每个候选视觉数据帧都在当前视觉数据帧之前，且与当前视觉数据帧之间的帧间距属于预设范围内，帧间距是指两个帧之间序号的间距。预设范围的最大值可以与距离数据帧率正相关。
S22：对当前视觉数据帧及匹配帧进行校验以去除不合格的匹配视觉数据帧。
一般的，回环检测可能主要基于外观特征的相似度而没有考虑几何信息，回环检测得到的匹配视觉数据帧可能包括虚假匹配视觉数据帧。虚假匹配视觉数据帧与当前视觉数据帧的外观相似，但并不是在同一场景获取的，如果基于虚假匹配视觉数据帧进行回环优化，可能影响建图/定位的精度，因此可以进行校验以去除不合格的匹配视觉数据帧，即虚假匹配视觉数据帧。匹配帧可以包括匹配视觉数据帧和/或匹配视觉数据帧对应的匹配距离数据帧。
可选的，可以对当前视觉数据帧的地图点数据与匹配视觉数据帧的地图点数据进行随机采样一致性筛选以去除不合格的匹配视觉数据帧。例如，对于一个匹配视觉数据帧，可以将该匹配视觉数据帧的地图点数据的特征点与当前视觉数据帧的地图点数据中的特征点进行点对匹配，完成点对匹配后，随机采用一些点对估计这两帧之间的位姿，然后用剩余的点对去验证该位姿的正确性，满足此位姿的点对为内点，否则为离群点，记录内点的数量；不断重复以上步骤若干次，选择内点最多的位姿作为位姿结果；若最后得到的位姿结果对应的内点数量小于阈值，则该匹配视觉数据帧不合格，否则该匹配视觉数据帧合格。对每个匹配视觉数据帧执行上述过程，从而筛选出合格的匹配视觉数据帧。不合格的匹配视觉数据帧可以被删除。若找到的匹配视觉数据帧都是不合格的，则可以认为当前视觉数据帧没有匹配视觉数据帧。可选的，若合格的匹配视觉数据帧的数量大于一，可以只保留其中对应的内点数量最大的一个用于后续的回环优化。
如图3所示，本发明视觉辅助的距离SLAM方法第三实施例，是在本发明视觉辅助的距离SLAM方法第一实施例的基础上，进一步包括：
S5：获取当前视觉数据。
当前视觉数据是利用视觉传感器获取的。
S6：在多个视觉数据帧中对当前视觉数据进行回环检测以寻找定位视觉数据帧。
当前视觉数据的格式与视觉数据帧的格式应当一致。例如，若存储的视觉数据帧为提取的特征数据，则当前视觉数据应为提取的特征数据。回环检测的具体描述可参考前述实施例的相关内容，在此不再重复。
S7：若找到定位视觉数据帧，则计算当前视觉数据和定位视觉数据帧之间的相对位姿。
S8：利用相对位姿及定位视觉数据帧对应的位姿数据计算当前位姿。
本实施例描述的是刚开机/定位过程中跟踪丢失的情况下，利用回环检测快速确定当前位姿，完成全局重定位的过程。
在本发明一具体实施例中，视觉辅助的激光SLAM的整体方案如图4所示。本实施例中各帧的位姿数据均是由激光数据帧计算得到的，回环检测之后计算得到的当前帧和匹配帧之间的相对位姿仅用于对已经计算出的位姿数据进行校正，不涉及到位姿数据的初始计算。也就是说，视觉辅助与激光SLAM是解耦的，不需要对激光SLAM算法进行大幅修改。
如图5所示，本发明视觉辅助的距离SLAM方法第四实施例包括：
S10：获取当前视觉数据。
当前视觉数据是利用视觉传感器获取的。视觉传感器可以包括RGB相机和/或深度相机。RGB相机可以获取图像数据，深度相机可以获取深度数据，若视觉传感器仅包括RGB相机，RGB相机的数量可以大于一，例如两个RGB相机组成双目相机，从而可以利用至少两个RGB相机的图像数据计算深度数据。可以将视觉传感器得到的图像数据和/或深度数据直接作为视觉数据帧，或者从图像数据和/或深度数据提取特征数据作为当前视觉数据。
S20：在存储的多个视觉数据帧中对当前视觉数据进行回环检测以寻找定位视觉数据帧。
当前视觉数据的格式与视觉数据帧的格式应当一致。例如，若存储的视觉数据帧为提取的特征数据，则当前视觉数据应为提取的特征数据。回环检测的具体描述可参考前述实施例的相关内容，在此不再重复。
S30：若找到定位视觉数据帧，则计算当前视觉数据和定位视觉数据帧之间的相对位姿。
S40：利用相对位姿及定位视觉数据帧对应的位姿数据计算当前位姿。
本实施例描述的是刚开机/定位过程中跟踪丢失的情况下，利用回环检测快速确定当前位姿，完成全局重定位的过程。
通过本实施例的实施，利用视觉数据的回环检测结果对距离SLAM进行辅助定位，由于视觉数据相比于距离数据包含更多的信息，视觉数据的回环检测成功率更高，可以快速确定当前位姿，完成全局重定位。
如图6所示，本发明视觉辅助的距离SLAM装置第一实施例包括：处理器110。图中只画出了一个处理器110，实际数量可以更多。处理器110可以单独或者协同工作。
处理器110控制视觉辅助的距离SLAM装置的操作，处理器110还可以称为CPU(Central Processing Unit，中央处理单元)。处理器110可能是一种集成电路芯片，具有信号序列的处理能力。处理器110还可以是通用处理器、数字信号序列处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理器110用于执行指令以实现本发明视觉辅助的距离SLAM方法任一实施例以及不冲突的组合所提供的方法。
如图7所示，本发明机器人第一实施例包括：处理器210、距离传感器220和视觉传感器230，处理器210分别连接距离传感器220和视觉传感器230。
处理器210控制机器人的操作，处理器210还可以称为CPU(Central ProcessingUnit，中央处理单元)。处理器210可能是一种集成电路芯片，具有信号序列的处理能力。处理器210还可以是通用处理器、数字信号序列处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理器210用于执行指令以实现本发明视觉辅助的距离SLAM方法任一实施例以及不冲突的组合所提供的方法。
如图8所示，本发明可读存储介质第一实施例包括存储器310，存储器310存储有指令，该指令被执行时实现本发明视觉辅助的距离SLAM方法任一实施例以及任意不冲突的组合所提供的方法。
存储器310可以包括只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、闪存(Flash Memory)、硬盘、光盘等。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种视觉辅助的距离SLAM方法，其特征在于，包括：
获取多个距离数据帧及多个视觉数据帧，每个所述视觉数据帧对应一个所述距离数据帧，相对应的所述视觉数据帧和所述距离数据帧是同一帧获取的；
利用所述多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；
若找到所述匹配视觉数据帧，则计算所述当前视觉数据帧和所述匹配视觉数据帧之间的相对位姿；
利用所述相对位姿对所述当前视觉数据帧和所述匹配视觉数据帧之间帧的位姿数据进行回环优化。
2.根据权利要求1所述的方法，其特征在于，
所述利用所述多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧包括：
在多个候选视觉数据帧中寻找与所述当前视觉数据帧之间的相似度大于预设阈值的候选视觉数据帧作为所述匹配视觉数据帧，每个所述候选视觉数据帧都在所述当前视觉数据帧之前，且与所述当前视觉数据帧之间的帧间距属于预设范围内。
3.根据权利要求2所述的方法，其特征在于，
所述利用所述多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧进一步包括：
对所述当前视觉数据帧及匹配帧进行校验以去除不合格的匹配视觉数据帧。
4.根据权利要求3所述的方法，其特征在于，
所述对所述当前视觉数据帧及匹配帧进行校验以去除不合格的匹配视觉数据帧包括：
对所述当前视觉数据帧的地图点数据与匹配视觉数据帧的地图点数据进行随机采样一致性筛选以去除所述不合格的匹配视觉数据帧。
5.根据权利要求2所述的方法，其特征在于，
所述预设范围的最大值与距离数据帧率正相关。
6.根据权利要求1所述的方法，其特征在于，进一步包括：
将回环优化后的所述位姿数据存入地图数据。
7.根据权利要求6所述的方法，其特征在于，进一步包括：
获取当前视觉数据；
在所述多个视觉数据帧中对所述当前视觉数据进行回环检测以寻找定位视觉数据帧；
若找到所述定位视觉数据帧，则计算所述当前视觉数据和所述定位视觉数据帧之间的相对位姿；
利用所述相对位姿及所述定位视觉数据帧对应的位姿数据计算当前位姿。
8.一种视觉辅助的距离SLAM方法，其特征在于，包括：
获取当前视觉数据；
在存储的多个视觉数据帧中对所述当前视觉数据进行回环检测以寻找定位视觉数据帧；
若找到所述定位视觉数据帧，则计算所述当前视觉数据和所述定位视觉数据帧之间的相对位姿；
利用所述相对位姿及所述定位视觉数据帧对应的位姿数据计算当前位姿。
9.一种视觉辅助的距离SLAM装置，其特征在于，包括至少一个处理器，单独或协同工作，所述处理器用于执行指令以实现如权利要求1-8中任一项所述的方法。
10.一种机器人，其特征在于，包括处理器、距离传感器和视觉传感器，所述处理器分别连接所述距离传感器和视觉传感器，所述处理器用于执行指令以实现如权利要求1-8中任一项所述的方法。
11.根据权利要求10所述的机器人，其特征在于，所述距离传感器为激光雷达，所述视觉传感器包括RGB相机和/或深度相机。
12.一种可读存储介质，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-8中任一项所述的方法。
CN201811203021.8A 2018-10-16 2018-10-16 视觉辅助的距离slam方法及装置、机器人 Active CN111060101B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811203021.8A CN111060101B (zh) 2018-10-16 2018-10-16 视觉辅助的距离slam方法及装置、机器人
US16/228,792 US20200116498A1 (en) 2018-10-16 2018-12-21 Visual assisted distance-based slam method and mobile robot using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811203021.8A CN111060101B (zh) 2018-10-16 2018-10-16 视觉辅助的距离slam方法及装置、机器人

Publications (2)

Publication Number Publication Date
CN111060101A true CN111060101A (zh) 2020-04-24
CN111060101B CN111060101B (zh) 2022-06-28

Family

ID=70159862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811203021.8A Active CN111060101B (zh) 2018-10-16 2018-10-16 视觉辅助的距离slam方法及装置、机器人

Country Status (2)

Country Link
US (1) US20200116498A1 (zh)
CN (1) CN111060101B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112461228A (zh) * 2020-11-03 2021-03-09 南昌航空大学 一种相似环境下基于imu和视觉的二次回环检测定位方法
CN113744236A (zh) * 2021-08-30 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 回环检测方法、装置、存储介质及计算机程序产品
WO2022121640A1 (zh) * 2020-12-07 2022-06-16 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN116105721A (zh) * 2023-04-11 2023-05-12 深圳市其域创新科技有限公司 地图构建的回环优化方法、装置、设备及存储介质
CN116425088A (zh) * 2023-06-09 2023-07-14 未来机器人（深圳）有限公司 货物搬运方法、装置及机器人
WO2024037299A1 (zh) * 2022-08-17 2024-02-22 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11960297B2 (en) * 2019-05-03 2024-04-16 Lg Electronics Inc. Robot generating map based on multi sensors and artificial intelligence and moving based on map
KR20210061842A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 이동 로봇 장치 및 이의 제어 방법
CN111578956A (zh) * 2020-04-30 2020-08-25 上海谦尊升网络科技有限公司 一种基于深度学习的视觉slam定位方法
CN111862162B (zh) * 2020-07-31 2021-06-11 湖北亿咖通科技有限公司 回环检测方法及系统、可读存储介质、电子设备
CN112052862A (zh) * 2020-09-11 2020-12-08 重庆邮电大学 基于k-svd字典学习的移动机器人视觉slam回环检测方法
CN112099505B (zh) * 2020-09-17 2021-09-28 湖南大学 一种低复杂度的移动机器人视觉伺服编队控制方法
CN113763466A (zh) * 2020-10-10 2021-12-07 北京京东乾石科技有限公司 一种回环检测方法、装置、电子设备和存储介质
CN114529603B (zh) * 2020-11-23 2023-05-19 新疆大学 一种基于激光slam与单目视觉slam融合的里程计方法
CN112595322B (zh) * 2020-11-27 2024-05-07 浙江同善人工智能技术有限公司 一种融合orb闭环检测的激光slam方法
CN112665575B (zh) * 2020-11-27 2023-12-29 重庆大学 一种基于移动机器人的slam回环检测方法
CN112595323A (zh) * 2020-12-08 2021-04-02 深圳市优必选科技股份有限公司 机器人及其建图方法和装置
CN115049731B (zh) * 2022-06-17 2023-04-21 感知信息科技(浙江)有限责任公司 一种基于双目摄像头的视觉建图和定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101647370B1 (ko) * 2014-11-26 2016-08-10 휴앤에스(주) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107796397A (zh) * 2017-09-14 2018-03-13 杭州迦智科技有限公司 一种机器人双目视觉定位方法、装置和存储介质
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101647370B1 (ko) * 2014-11-26 2016-08-10 휴앤에스(주) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107796397A (zh) * 2017-09-14 2018-03-13 杭州迦智科技有限公司 一种机器人双目视觉定位方法、装置和存储介质
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIN LEONG HO等: "Detecting Loop Closure with Scene Sequences", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
梁潇: "基于激光与单目视觉融合的机器人室内定位与制图研究", 《中国优秀硕士学位论文全文数据库•信息科技辑》 *
洪亮等: "基于RGB-D相机数据的SLAM算法", 《电子设计工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112461228A (zh) * 2020-11-03 2021-03-09 南昌航空大学 一种相似环境下基于imu和视觉的二次回环检测定位方法
CN112461228B (zh) * 2020-11-03 2023-05-09 南昌航空大学 一种相似环境下基于imu和视觉的二次回环检测定位方法
WO2022121640A1 (zh) * 2020-12-07 2022-06-16 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN113744236A (zh) * 2021-08-30 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 回环检测方法、装置、存储介质及计算机程序产品
WO2024037299A1 (zh) * 2022-08-17 2024-02-22 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN116105721A (zh) * 2023-04-11 2023-05-12 深圳市其域创新科技有限公司 地图构建的回环优化方法、装置、设备及存储介质
CN116105721B (zh) * 2023-04-11 2023-06-09 深圳市其域创新科技有限公司 地图构建的回环优化方法、装置、设备及存储介质
CN116425088A (zh) * 2023-06-09 2023-07-14 未来机器人（深圳）有限公司 货物搬运方法、装置及机器人
CN116425088B (zh) * 2023-06-09 2023-10-24 未来机器人（深圳）有限公司 货物搬运方法、装置及机器人

Also Published As

Publication number Publication date
US20200116498A1 (en) 2020-04-16
CN111060101B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN111060101B (zh) 视觉辅助的距离slam方法及装置、机器人
US10970864B2 (en) Method and apparatus for recovering point cloud data
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
US8306273B1 (en) Method and apparatus for LIDAR target identification and pose estimation
CN109613543B (zh) 激光点云数据的修正方法、装置、存储介质和电子设备
US20150379766A1 (en) Generation of 3d models of an environment
JP2009266224A (ja) リアルタイム・ビジュアル・オドメトリの方法およびシステム
JP2016081525A (ja) 車両用画像認識システム、及び対応法
CN111380510B (zh) 重定位方法及装置、机器人
CN111512317A (zh) 一种多目标实时跟踪方法、装置及电子设备
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
US20210004978A1 (en) Method for acquiring depth information of target object and movable platform
CN111080784B (zh) 一种基于地面图像纹理的地面三维重建方法和装置
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
JPWO2018235219A1 (ja) 自己位置推定方法、自己位置推定装置および自己位置推定プログラム
US20200349349A1 (en) Human Body Recognition Method And Apparatus, And Storage Medium
US10242453B2 (en) Simultaneous localization and mapping initialization
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
WO2022147655A1 (zh) 定位方法、空间信息获取方法、装置、拍摄设备
US9958868B2 (en) Moving object controller, moving object control method, and integrated circuit
CN112689234A (zh) 室内车辆定位方法、装置、计算机设备和存储介质
US9245343B1 (en) Real-time image geo-registration processing
Brandao et al. On stereo confidence measures for global methods: evaluation, new model and integration into occupancy grids
CN113014899B (zh) 一种双目图像的视差确定方法、装置及系统
CN112506182A (zh) 扫地机器人定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant