CN109556596A - 基于地面纹理图像的导航方法、装置、设备及存储介质 - Google Patents

基于地面纹理图像的导航方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109556596A
CN109556596A CN201811220749.1A CN201811220749A CN109556596A CN 109556596 A CN109556596 A CN 109556596A CN 201811220749 A CN201811220749 A CN 201811220749A CN 109556596 A CN109556596 A CN 109556596A
Authority
CN
China
Prior art keywords
frame
pose
present frame
image
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811220749.1A
Other languages
English (en)
Inventor
王迎春
纪彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Geekplus Technology Co Ltd
Beijing Jizhijia Technology Co Ltd
Original Assignee
Beijing Jizhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jizhijia Technology Co Ltd filed Critical Beijing Jizhijia Technology Co Ltd
Priority to CN201811220749.1A priority Critical patent/CN109556596A/zh
Publication of CN109556596A publication Critical patent/CN109556596A/zh
Priority to JP2020560540A priority patent/JP6921341B2/ja
Priority to PCT/CN2019/098089 priority patent/WO2020078064A1/zh
Priority to US16/920,440 priority patent/US11644338B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种基于地面纹理图像方法、装置、设备及存储介质，其中，所述方法包括：将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定所述当前帧的第一位姿；判断所述当前帧是否满足创建关键帧的预设条件，若是，则执行如下步骤：将所述当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧；将所述当前帧和所述回环关键帧进行基于变换域的图像配准，确定所述当前帧的第二位姿；根据所述当前帧的第一位姿和第二位姿，确定累积误差，并根据所述累积误差修正所述地图，以便根据修正后的地图进行导航。本发明实施例可通过基于变换域的图像配准计算位姿，进而确定并修正累积误差，提高SLAM导航时精度。

Description

基于地面纹理图像的导航方法、装置、设备及存储介质
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于地面纹理图像的导航方法、装置、设备及存储介质。
背景技术
随着信息技术、自动控制技术的发展，机器人已逐步进入人们日常生活，能够在复杂环境下代替人类工作，且具有自主规划、自组织、自适应能力，例如基于SLAM导航的仓储AGV机器人，可通过SLAM导航完成货物的搬运。
现有技术中，机器人进行视觉SLAM导航主要通过ORB算法检测特征点的方式实现同时定位与构建地图。然而对于复杂场景的图像，特征位置的复杂度较高，特征的选择和提取较为困难，使得依赖图像特征信息进行SLAM导航的精度较低。另一方面，简单场景的图像，特征点偏少，可靠性降低，从而影响SLAM导航的精度。
发明内容
本发明实施例提供了一种基于地面纹理图像的导航方法、装置、设备及存储介质，以解决现有技术中机器人依赖图像特征信息进行SLAM导航时精度较低技术问题。
第一方面，本发明实施例提供了一种基于地面纹理图像的导航方法，包括：
将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定所述当前帧的第一位姿；
判断所述当前帧是否满足创建关键帧的预设条件，若是，则执行如下步骤：
将所述当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧；
将所述当前帧和所述回环关键帧进行基于变换域的图像配准，确定所述当前帧的第二位姿；
根据所述当前帧的第一位姿和第二位姿，确定累积误差，并根据所述累积误差修正所述地图，以便根据修正后的地图进行导航。
第二方面，本发明实施例还提供了一种基于地面纹理图像的导航装置，包括：
第一配准模块，用于将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定所述当前帧的第一位姿；
第一判断模块，用于判断所述当前帧是否满足创建关键帧的预设条件，若是，则将判断结果输出至构图与回环检测模块；
构图与回环检测模块，接收所述第一判断模块输入的可表征当前帧的信息，将所述当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧；
第二配准模块，用于将所述当前帧和所述回环关键帧进行基于变换域的图像配准，确定所述当前帧的第二位姿；
修正模块，用于根据所述当前帧的第一位姿和第二位姿，确定累积误差，并根据所述累积误差修正所述地图，以便根据修正后的地图进行导航。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的基于地面纹理图像的导航方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于地面纹理图像的导航方法。
本发明实施例还提供了基于地面纹理图像的导航方法、装置、设备及存储介质，基于地面纹理图像进行SLAM导航时，通过基于变换域的图像配准方式实现SLAM的跟踪，确定第一位姿，并在判定当前帧满足创建关键帧条件时，在地图中添加关键帧同时进行闭环检测，根据闭环检测确定的回环关键帧并基于变换域的图像配准方式计算第二位姿。根据所述第一位姿和第二位姿确定累积误差，以便根据该累积误差进行地图修正，可实现复杂环境下导航的精准度。
附图说明
图1是现有的货物拣选系统的系统结构示意图；
图2是本发明实施例一提供的基于地面纹理图像的导航方法的流程示意图；
图3是本发明实施例二提供的基于地面纹理图像的导航方法的流程示意图；
图4是本发明实施例三提供的基于地面纹理图像的导航方法的流程示意图；
图5是本发明实施例四提供的基于地面纹理图像的导航装置的结构示意图；
图6是本发明实施例五提供的电子设备的结构图。
具体实施方式
请参阅图1所示的货物拣选系统的系统结构示意图，货物拣选系统包括：至少一个机器人10，例如自动导引运输车(Automated Guided Vehicle，AGV)，控制系统20、存储区30以及至少一个拣选站40。其中，存储区30设置有多个仓储容器31，仓储容器31上放置有各种货物。仓储容器31是可容纳货物的容器，其可以是货架、托盘或者货箱。图1以货架为例，货架可以如同超市中放置有各种物品的货架一样，多个货架之间排布成货架阵列形式。每个拣选站40中有拣货人员41或拣选设备(如，机械手)进行拣选作业，同时，拣选站40中配置有播种墙，其中，播种墙上设有用于存放拣选货物的周转箱50。
控制系统20为在服务器上运行的、具有数据存储和信息处理能力的软件系统，可通过无线或有线与搬运机器人10、硬件输入系统以及其它软件系统连接。控制系统20可以包括一个或多个服务器，可以为集中式控制架构或者分布式计算架构。服务器具有处理器201和存储器202，在存储器202中可以具有订单池203。
控制系统20与机器人10进行无线通信，工作人员通过操作台60使控制系统20工作，机器人10在控制系统20的控制下，执行货物搬运任务。例如，控制系统20根据搬运任务为机器人10规划移动路径，机器人10根据移动路径沿货架阵列中的空着的空间(机器人10通行通道的一部分)自动导航行驶。为实现便捷地为机器人10规划移动路径，预先将机器人10的工作区域(该工作区域至少包括货架区30以及拣选站40所在区域)划分为若干个子区域(即单元格)，机器人10逐个子区域地进行移动从而形成运动轨迹。而为了实现机器人自主的且快速准确的运动到目标位置，提出了本发明基于地面纹理图像的导航方法，提高导航的精准度。
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图2是本发明实施例一提供的基于地面纹理图像的导航方法的流程图，本实施例可适用于机器人基于SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)导航的情况，该方法可以由基于地面纹理图像的导航装置来执行，并可集成于电子设备中，例如机器人。其中，该基于地面纹理图像的导航方法主要包括如下步骤：
S110、将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定当前帧的第一位姿。
在本发明中，基于地面纹理特征进行SLAM导航时，主要包括跟踪、构图、重定位和回路检测。其中，跟踪环节也即是实时定位，主要是通过上一帧纹理图像计算当前帧图像的位姿，因此，在进行跟踪环节前对机器人进行初始化，即确定初始位置处的全局坐标的初始值，示例性的，可在初始位置，通过识别采集到的二维码信息，确定全局坐标的初始值。完成初始化，计算当前帧位姿时，示例性的，可将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，以此确定当前帧的第一位姿，第一位姿包括当前帧运动的旋转角和平移量。
具体实现时，可按照如下步骤进行图像配准：(1)将获取的上一帧图像f1和当前帧图像f2进行傅里叶变换，得到F1和F2。(2)应用高通滤波器消除低频噪声。(3)将经过滤波后的图像由直角坐标系转换到对数极坐标形式。(4)在对数极坐标下对图像f1和f2进行傅里叶变换。(5)基于步骤(4)的变换结果和互能量谱的计算公式，确定上一帧图像f1和当前帧图像f2在对数极坐标下的互能量谱R1。(6)对求得的能量谱R1进行傅里叶逆变换，得到傅里叶逆变换结果IR1。(7)确定傅里叶逆变换结果IR1的峰值最大值所对应的坐标，得到缩放因子和旋转因子。(8)根据所得的缩放因子和旋转因子对当前帧图像f2进行逆变换得到新图像f3。(9)对图像f1和f3进行快速傅里叶变换，得到F1和F3，基于能量谱计算公式，计算F1和F3的能量谱R2，对R2进行傅里叶逆变换，得到傅里叶逆变换结果IR2。(10)确定到傅里叶逆变换IR2的峰值最大值所对应的坐标，即为平移参数，根据所述平移参数即可确定当前帧图像的第一位姿。
S120、判断当前帧是否满足创建关键帧的预设条件，若是，则执行步骤S130-S150。若否，则继续执行步骤S110。
由于在SLAM技术中，跟踪和构建地图是同步进行的，因此在获取到当前帧时，还需判断当前帧是否满足创建关键帧的预设条件，如果不满足，则继续执行跟踪的环节；如果满足，则需要执行如步骤S130-S150中的构建地图并进行回环检测。其中，创建关键帧需满足的预设条件包括：地图构建处于空闲状态，且当前帧与上一个关键帧之间的图像帧数量大于预先设定的第一阈值，示例性的，第一阈值为20；和当前帧与上一个关键帧之间的全局坐标距离差大于预先设定的第二阈值，其中，当前帧与上一个关键帧之间的全局坐标距离差是指两者之间的偏移距离，可根据当前帧和上一个关键帧各自对应的全局坐标通过数学公式计算得到的，而当前帧和上一个关键帧各自的全局坐标是根据其各自对应的位姿和全局坐标的初始值确定的。
S130、将当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧。
判断当前帧满足创建关键帧的预设条件时，将当前帧作为关键帧插入地图中，以构建地图。示例性的，通过将关键帧作为节点，以及由各帧之间约束关系相连接构成的边共同组成地图。同时为了保证估计的机器人移动轨迹和构建的地图在长时间下的准确性，需要有效的检测出机器人相机经过同一个地方的事件，因此需要在创建关键帧的同时进行闭环检测。根据闭环检测结果，确定回环关键帧，该回环关键帧可以是构成一个回环的所有关键帧中与当前帧最相似的一个关键帧。
S140、将当前帧和回环关键帧进行基于变换域的图像配准，确定该当前帧的第二位姿。
在确定回环关键帧之后，将当前帧和回环关键帧进行基于变换域的图像配准，确定当前帧的第二位姿。其中，该第二位姿包括当前帧运动的旋转角和平移量。具体的图像配准过程可参考步骤S110的描述，在此不再赘述。
S150、根据所述当前帧的第一位姿和第二位姿，确定累积误差，并根据累积误差修正地图，以便根据修正后的地图进行导航。
在本发明中，由于SLAM技术中根据上一帧图像计算当前帧的位姿，即后一帧的位姿依赖于前一帧的位姿，一段时间后不可避免的会产生累积误差，影响构建的地图的准确性。
因此进行闭环检测并确定第二位姿，根据当前帧的第一位姿和第二位姿，确定累积误差。根据累积误差修正回环中各关键帧之间的变换矩阵，以及修正构建的地图。
在本发明中，构建完地图后，在机器人移动过程中，通过传感器实时获取周围环境的信息，与已构建完地图进行匹配，确定机器人在周围环境中的位置，进而进行导航移动。
在本发明实施例中，基于地面纹理图像进行SLAM导航时，通过基于变换域的图像配准方式实现SLAM的跟踪，确定第一位姿，并在判定当前帧满足创建关键帧条件时，在地图中添加关键帧同时进行闭环检测，根据闭环检测确定的回环关键帧并基于变换域的图像配准方式计算第二位姿。根据第一位姿和第二位姿确定累积误差，以便根据累积误差进行地图修正，可实现复杂环境下导航的精准度。
实施例二
图3为本发明实施例二提供的基于地面纹理图像的导航方法的流程示意图。本实施例是在上述实施例的基础上进行优化，该方法包括：
S210、将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定当前帧的第一位姿。
S220、判断当前帧是否满足创建关键帧的预设条件，若是，则执行步骤S230-S270。若否，则继续执行步骤S210。
S230、计算当前帧分别与地图中其他所有关键帧的相似度，并将相似度大于第三阈值的关键帧添加到候选集合中。
在本发明中，当有新的关键帧添加地图之后，要进行闭环检测。首先筛选可能是(形成)闭环的关键帧，其中闭环是指机器人从某一位置移动一段时间后又回到该位置。示例性的，可以根据地图中其他关键帧与当前帧的相似度进行筛选。而计算当前帧分别与地图中其他所有关键帧的相似度可通过如下两种方法：方法1，利用SIFT(Scale InvariantFeature Transform，尺度不变特征变换)特征计算当前帧与地图中所有关键帧的相似度，具体的可根据匹配的点数作为相似度的计算结果。方法2，由于在基于变换域的图像配准算法中，旋转和平移在进行相位相关算法后得到离散时间单位冲激函数序列，而相关的峰值代表两幅图像的配准点，相关峰值直接反应两幅图像间的一致程度。因此依次将当前帧与各关键帧进行基于变换域的图像配准，根据配准结果中旋转和平移所得到的相关峰值可作为相似度计算值。在利用上述任一方法确定相似度后，可通过判断相似度是否大于设定的第三阈值，若是则可作为候选关键帧，并添加到候选集合中。需要说明的是，本实施例中，当前帧与各个关键帧相似度的计算方法不限于通过上面两种方法来计算，还可通过其他类似算法进行计算，在此不做限定。
S240、从候选集合中选择满足回环条件的至少三个关键帧，根据至少三个关键帧与当前帧的相似度，并按照相似度由高到低的顺序对至少三个关键帧进行排序，并将排序第一的关键帧作为候选关键帧。
由于候选集合中可能存在多个回环，针对任一回环从候选集合中选择满足该回环条件的至少三个关键帧，由步骤S230可知，候选集合中的每个关键帧都各自对应一个相似度，而为了检测大(尺度)闭环，需使用最接近的关键帧，即使用相似度最大的关键帧。因此根据至少三个关键帧与当前帧的相似度值的大小，按照相似度由高到低的顺序对至少三个关键帧进行排序，并将排序第一的关键帧作为候选关键帧。
S250、判断候选关键帧与当前帧之间的全局坐标距离差是否小于第四阈值，若是则将候选关键帧作为回环关键帧。
在确定一个候选关键帧之后，还需对其进行进一步的验证，判断其是否可以作为回环关键帧。示例性的，由于经过图像配准后每个关键帧都对应存放有其对应的平移参数，因此可通过计算候选关键帧与所述当前帧之间的全局坐标距离差，若距离差小于设定的第四阈值，则将所述候选关键帧作为回环关键帧。
若候选关键帧与当前帧之间的全局坐标距离差大于或等于第四阈值，则该候选关键帧不能作为回环关键帧，还需重新从另一个回环中选择候选关键帧，并继续判断候选关键帧是否可以作为回环关键帧。
S260、将当前帧和回环关键帧进行基于变换域的图像配准，确定当前帧的第二位姿。
S270、根据当前帧的第一位姿和第二位姿，确定累积误差，并根据累积误差修正地图，以便根据修正后的地图进行导航。
本发明实施例中，基于地面纹理图像进行SLAM导航时，通过基于变换域的图像配准方式实现SLAM的跟踪和闭环检测，进而确定累积误差，以便根据所述累积误差进行地图修正，以提高导航的精度。除此，在闭环检测时，为了检测大(尺度)闭环，使用最接近的关键帧，引入了关键帧与当前帧相似度的计算，弥补了基于变换域进行图像配准时没有考虑两帧图像之间相似度的不足。
实施例三
图4为本发明实施例三提供的基于地面纹理图像的导航方法的流程示意图。本实施例在上述实施例的基础上进行优化，该方法还包括：
S310、如果上一帧图像不是地面纹理图像，选出预设数量的关键帧分别与当前帧进行特征点匹配，并根据匹配结果确定至少一个备选匹配帧。
在本发明中，如果遇到遮挡或是突然运动的情况，导致采集的上一帧图像不是地面纹理图像，即特征跟丢的情况，则需要进行全局重定位。示例性的，可通过加大搜索范围，选出预设数量的关键帧分别与当前帧进行特征点匹配，并根据匹配结果确定备选匹配帧，即找出与当前帧相似的关键帧作为备选关键帧。最后，基于匹配情况对相机位置进行优化，若有效数据足够多，则跟踪程序将持续执行。
S320、根据至少一个备选匹配帧分别计算当前帧的第三位姿。
基于筛选出的至少一个备选关键帧，基于变换域的图像配准方式，依次计算当前帧的第三位姿，其中，第三位姿包括当前帧运动的旋转角和平移量。
S330、基于第三位姿，判断任一备选匹配帧与当前帧之间的全局坐标距离差是否小于第五阈值，若是，则根据所述当前帧计算下一帧新图像的位姿。
在本实施例中，基于不同的备选关键帧，计算出的当前帧的第三位姿不同，因此通过判断某个备选匹配帧与该当前帧之间的全局坐标距离差小于第五阈值，则进一步判断该备选匹配帧与当前帧的相似度，在满足相似度要求时，则继续执行跟踪环节，也即是则根据所述当前帧计算下一帧新图像的位姿。
若备选匹配帧与当前帧之间的全局坐标距离差大于或等于第五阈值，则判断下一个备选匹配帧与当前帧之间的全局坐标距离差，以此类推。
本发明实施例中，在遇到遮挡或是突然运动等导致特征跟丢的情况，通过确定备选匹配帧基于变换域的图像配准确定当前帧的第三位姿，并在备选匹配帧与当前帧之间的全局坐标距离差和备选匹配帧与当前帧相似度均满足预设条件时，继续执行SLAM的跟踪环节，即继续根据当前帧计算下一帧新图像的位姿，由此保证跟踪环节的持续进行，确保导航的精准度。
实施例四
图5是本发明实施例四提供的基于地面纹理图像的导航装置的结构示意图，如图5所示，所述装置包括：
第一配准模块410，用于将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定当前帧的第一位姿。
第一判断模块420，用于判断当前帧是否满足创建关键帧的预设条件，若是，则将判断结果输出至构图与回环检测模块；
构图与回环检测模块430，接收所述第一判断模块输入的可表征当前帧的信息，将当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧。
第二配准模块440，用于将当前帧和回环关键帧进行基于变换域的图像配准，确定当前帧的第二位姿。
修正模块450，用于根据当前帧的第一位姿和第二位姿，确定累积误差，并根据累积误差修正地图，以便根据修正后的地图进行导航。
在本发明实施例中，通过第一配准模块确定第一位姿后，并在判定当前帧满足创建关键帧条件时，构图与回环检测模块在地图中添加关键帧同时进行闭环检测，根据闭环检测确定的回环关键帧，以便第二配准模块确定第二位姿。修正模块根据第一位姿和第二位姿确定累积误差，并根据累积误差进行地图修正，以可实现复杂环境下导航的精准度。
在上述实施例的基础上，创建关键帧的预设条件，包括：
地图构建处于空闲状态，且所述当前帧与上一个关键帧之间的图像帧数量大于预先设定的第一阈值；和
当前帧与上一个关键帧之间的全局坐标距离差大于预先设定的第二阈值。
在上述实施例的基础上，构图与回环检测模块，包括：
相似度计算单元，用于计算当前帧分别与地图中其他所有关键帧的相似度，并将相似度大于第三阈值的关键帧添加到候选集合中；
候选单元，用于从候选集合中选择满足回环条件的至少三个关键帧，根据至少三个关键帧与当前帧的相似度，并按照相似度由高到低的顺序对至少三个关键帧进行排序，并将排序第一的关键帧作为候选关键帧；
判断单元，用于判断候选关键帧与当前帧之间的全局坐标距离差是否小于第四阈值，若是则将候选关键帧作为回环关键帧。
在上述实施例的基础上，该基于地面纹理图像的导航装置还包括：
匹配模块，用于如果上一帧图像的特征跟丢，选出预设数量的关键帧分别与当前帧进行特征点匹配，并根据匹配结果确定至少一个备选匹配帧；
第三配准模块，用于根据至少一个备选匹配帧分别计算当前帧的第三位姿；
第二判断模块，用于基于第三位姿，判断任一备选匹配帧与当前帧之间的全局坐标距离差是否小于第五阈值，若是，继续执行跟踪任务。若否，则判断下一个备选匹配帧与当前帧之间的全局坐标距离差。
在上述实施例的基础上，当前帧的第一位姿、第二位姿或第三位姿包括当前帧运动的旋转角和平移量。
在上述实施例的基础上，该基于地面纹理图像的导航装置还包括：
初始化模块，用于在初始位置，通过识别采集到的二维码信息，确定全局坐标的初始值。
本发明实施例所提供的基于地面纹理图像的导航装置可执行本发明任意实施例所提供的基于地面纹理图像的导航方法，具备执行方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备12的框图，其中电子设备可以是机器人或其它设备。图6显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，系统存储器28，连接不同系统组件(包括系统存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32(简称高速缓存)。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于地面纹理图像的导航方法：
将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定当前帧的第一位姿；
判断当前帧是否满足创建关键帧的预设条件，若是，则执行如下步骤：
将当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧；
将当前帧和回环关键帧进行基于变换域的图像配准，确定当前帧的第二位姿；
根据当前帧的第一位姿和第二位姿，确定累积误差，并根据累积误差修正地图，以便根据修正后的地图进行导航。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的基于地面纹理图像的导航方法：
将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定当前帧的第一位姿；
判断当前帧是否满足创建关键帧的预设条件，若是，则执行如下步骤：
将当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧；
将当前帧和所述回环关键帧进行基于变换域的图像配准，确定当前帧的第二位姿；
根据当前帧的第一位姿和第二位姿，确定累积误差，并根据所述累积误差修正所述地图，以便根据修正后的地图进行导航。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于地面纹理图像的导航方法，其特征在于，由机器人执行，所述机器人设置有可采集地面纹理图像的采集器，所述方法包括：
将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定所述当前帧的第一位姿；
判断所述当前帧是否满足创建关键帧的预设条件，若是，则执行如下步骤：
将所述当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧；
将所述当前帧和所述回环关键帧进行基于变换域的图像配准，确定所述当前帧的第二位姿；
根据所述当前帧的第一位姿和第二位姿，确定累积误差，并根据所述累积误差修正所述地图，以便根据修正后的地图进行导航。
2.根据权利要求1所述的方法，其特征在于，创建关键帧的预设条件，包括：
地图构建处于空闲状态，且所述当前帧与上一个关键帧之间的图像帧数量大于预先设定的第一阈值；和
所述当前帧与上一个关键帧之间的全局坐标距离差大于预先设定的第二阈值。
3.根据权利要求1所述的方法，其特征在于，将所述当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧，包括：
计算所述当前帧分别与所述地图中其他所有关键帧的相似度，并将相似度大于第三阈值的关键帧添加到候选集合中；
从所述候选集合中选择满足回环条件的至少三个关键帧，根据所述至少三个关键帧与所述当前帧的相似度，并按照相似度由高到低的顺序对所述至少三个关键帧进行排序，并将排序第一的关键帧作为候选关键帧；
判断所述候选关键帧与所述当前帧之间的全局坐标距离差是否小于第四阈值，若是则将所述候选关键帧作为回环关键帧。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果上一帧图像不是地面纹理图像，选出预设数量的关键帧分别与当前帧进行特征点匹配，并根据匹配结果确定至少一个备选匹配帧；
根据所述至少一个备选匹配帧分别计算所述当前帧的第三位姿；
基于所述第三位姿，判断任一所述备选匹配帧与所述当前帧之间的全局坐标距离差是否小于第五阈值，若是，则根据所述当前帧计算下一帧新图像的位姿。
5.根据权利要求1或4所述的方法，其特征在于，所述当前帧的第一位姿、第二位姿或第三位姿包括当前帧运动的旋转角和平移量。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在初始位置，通过识别采集到的二维码信息，确定全局坐标的初始值。
7.一种基于地面纹理图像的导航装置，其特征在于，所述装置包括：
第一配准模块，用于将获取到的当前帧图像与上一帧图像进行基于变换域的图像配准，确定所述当前帧的第一位姿；
第一判断模块，用于判断所述当前帧是否满足创建关键帧的预设条件，若是，则将判断结果输出至构图与回环检测模块；
构图与回环检测模块，接收所述第一判断模块输入的可表征当前帧的信息，将所述当前帧作为关键帧插入地图中，并进行闭环检测，确定回环关键帧；
第二配准模块，用于将所述当前帧和所述回环关键帧进行基于变换域的图像配准，确定所述当前帧的第二位姿；
修正模块，用于根据所述当前帧的第一位姿和第二位姿，确定累积误差，并根据所述累积误差修正所述地图，以便根据修正后的地图进行导航。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
初始化模块，用于在初始位置，通过识别采集到的二维码信息，确定全局坐标的初始值。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的基于地面纹理图像的导航方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于地面纹理图像的导航方法。
CN201811220749.1A 2018-10-19 2018-10-19 基于地面纹理图像的导航方法、装置、设备及存储介质 Pending CN109556596A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811220749.1A CN109556596A (zh) 2018-10-19 2018-10-19 基于地面纹理图像的导航方法、装置、设备及存储介质
JP2020560540A JP6921341B2 (ja) 2018-10-19 2019-07-29 地面テクスチャ画像に基づくナビゲーション方法、装置、デバイス、および記憶媒体
PCT/CN2019/098089 WO2020078064A1 (zh) 2018-10-19 2019-07-29 基于地面纹理图像的导航方法、装置、设备及存储介质
US16/920,440 US11644338B2 (en) 2018-10-19 2020-07-03 Ground texture image-based navigation method and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811220749.1A CN109556596A (zh) 2018-10-19 2018-10-19 基于地面纹理图像的导航方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109556596A true CN109556596A (zh) 2019-04-02

Family

ID=65865010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811220749.1A Pending CN109556596A (zh) 2018-10-19 2018-10-19 基于地面纹理图像的导航方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US11644338B2 (zh)
JP (1) JP6921341B2 (zh)
CN (1) CN109556596A (zh)
WO (1) WO2020078064A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796118A (zh) * 2019-11-12 2020-02-14 深圳创维数字技术有限公司 获取运输设备的姿态调整参数方法、运输设备及存储介质
WO2020078064A1 (zh) * 2018-10-19 2020-04-23 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
CN111145634A (zh) * 2019-12-31 2020-05-12 深圳市优必选科技股份有限公司 一种校正地图的方法及装置
CN111325712A (zh) * 2020-01-20 2020-06-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置
CN111415390A (zh) * 2020-03-18 2020-07-14 上海懒书智能科技有限公司 一种基于地面纹理的定位导航方法及装置
CN111444852A (zh) * 2020-03-27 2020-07-24 深圳市银星智能科技股份有限公司 一种回环检测方法、装置及机器人
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111951198A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接优化的方法、装置和存储介质
CN111950597A (zh) * 2020-07-15 2020-11-17 重庆邮电大学 机器人基于原图光照不变图词袋模型改进的闭环检测方法
CN112070810A (zh) * 2020-08-31 2020-12-11 上海爱观视觉科技有限公司 定位方法、可移动设备及计算机可读存储介质
CN112462784A (zh) * 2020-12-03 2021-03-09 上海擎朗智能科技有限公司 机器人位姿确定方法、装置、设备和介质
CN112634395A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN112815923A (zh) * 2019-11-15 2021-05-18 华为技术有限公司 视觉定位方法和装置
CN113029168A (zh) * 2021-02-26 2021-06-25 杭州海康机器人技术有限公司 基于地面纹理信息的地图构建方法和系统及移动机器人
WO2021147549A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 闭环检测方法及系统、多传感器融合slam系统及机器人、介质
CN113503883A (zh) * 2021-06-22 2021-10-15 北京三快在线科技有限公司 采集用于构建地图的数据的方法、存储介质及电子设备
CN113763466A (zh) * 2020-10-10 2021-12-07 北京京东乾石科技有限公司 一种回环检测方法、装置、电子设备和存储介质
CN113835422A (zh) * 2020-06-08 2021-12-24 杭州海康机器人技术有限公司 一种视觉地图构建方法和移动机器人
CN113884025A (zh) * 2021-09-16 2022-01-04 河南垂天智能制造有限公司 增材制造结构光回环检测方法、装置、电子设备和存储介质
CN114299192A (zh) * 2021-12-23 2022-04-08 北京百度网讯科技有限公司 定位建图的方法、装置、设备和介质
CN114577195A (zh) * 2020-11-30 2022-06-03 广东博智林机器人有限公司 防水卷机器人的铺贴方法、装置、电子设备及存储介质
CN114845137A (zh) * 2022-03-21 2022-08-02 南京大学 一种基于图像配准的视频光路重建方法及其装置
CN115700507A (zh) * 2021-07-30 2023-02-07 北京小米移动软件有限公司 地图更新方法及其装置
CN116758058A (zh) * 2023-08-10 2023-09-15 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018219602A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Verfahren zum Erkennen von Kartenfehlern
JP7220591B2 (ja) * 2019-03-07 2023-02-10 三菱重工業株式会社 自己位置推定装置、自己位置推定方法及びプログラム
CN112686933B (zh) * 2020-12-29 2024-03-08 中国科学院长春光学精密机械与物理研究所 基于改进互功率谱的星上图像配准叠加增强方法及系统
CN112668653A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于激光雷达地图的回环检测方法、装置、设备及介质
CN113298014B (zh) * 2021-06-09 2021-12-17 安徽工程大学 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备
KR20230013883A (ko) * 2021-07-20 2023-01-27 삼성전자주식회사 Slam 기반의 전자 장치 및 그 동작 방법
CN114415698B (zh) * 2022-03-31 2022-11-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备
CN114742884B (zh) * 2022-06-09 2022-11-22 杭州迦智科技有限公司 一种基于纹理的建图、里程计算、定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154579A1 (en) * 2010-12-20 2012-06-21 International Business Machines Corporation Detection and Tracking of Moving Objects
CN104848858A (zh) * 2015-06-01 2015-08-19 北京极智嘉科技有限公司 二维码以及用于机器人的视觉-惯性组合导航系统及方法
CN106996777A (zh) * 2017-04-21 2017-08-01 合肥井松自动化科技有限公司 一种基于地面图像纹理的视觉导航方法
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
CN107909612A (zh) * 2017-12-01 2018-04-13 驭势科技（北京）有限公司 一种基于3d点云的视觉即时定位与建图的方法与系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5147015B1 (zh) 1969-03-20 1976-12-13
JP3752251B2 (ja) * 2004-07-01 2006-03-08 シャープ株式会社 自走式移動車
CN100541121C (zh) * 2007-01-18 2009-09-16 上海交通大学 基于地面纹理的智能车视觉装置及其全局定位方法
JP5147015B2 (ja) * 2008-10-24 2013-02-20 清水建設株式会社 移動体位置検出システム
JP2010117847A (ja) * 2008-11-12 2010-05-27 Toyota Motor Corp 移動体、移動体制御システム及び移動体の制御方法
JP6323439B2 (ja) * 2015-12-17 2018-05-16 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
TW201727418A (zh) * 2016-01-26 2017-08-01 鴻海精密工業股份有限公司 分析地面紋理並結合資料記錄的自動行走建議系統及方法
CN106996781A (zh) * 2016-01-26 2017-08-01 鸿富锦精密工业（深圳）有限公司 分析地面纹理并结合资料记录的自动行走建议系统及方法
CN107662875B (zh) * 2016-07-29 2021-07-06 奥的斯电梯公司 乘客运输机的梯级与梳齿板的啮合状态监检测
CN106485744B (zh) * 2016-10-10 2019-08-20 成都弥知科技有限公司 一种同步定位与地图构建方法
CN107392964B (zh) * 2017-07-07 2019-09-17 武汉大学 基于室内特征点和结构线结合的室内slam方法
CN108108764B (zh) * 2017-12-26 2021-12-24 东南大学 一种基于随机森林的视觉slam回环检测方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
US10636114B2 (en) * 2018-08-04 2020-04-28 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for scan-matching oriented visual slam
CN109556596A (zh) * 2018-10-19 2019-04-02 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154579A1 (en) * 2010-12-20 2012-06-21 International Business Machines Corporation Detection and Tracking of Moving Objects
CN104848858A (zh) * 2015-06-01 2015-08-19 北京极智嘉科技有限公司 二维码以及用于机器人的视觉-惯性组合导航系统及方法
CN106996777A (zh) * 2017-04-21 2017-08-01 合肥井松自动化科技有限公司 一种基于地面图像纹理的视觉导航方法
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
CN107909612A (zh) * 2017-12-01 2018-04-13 驭势科技（北京）有限公司 一种基于3d点云的视觉即时定位与建图的方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁洁琼: "基于RGB-D的SLAM算法研究", 《中国优秀硕士学位论文全文数据库》 *
洪亮: "基于深度相机的移动机器人SLAM 算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020078064A1 (zh) * 2018-10-19 2020-04-23 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
US11644338B2 (en) 2018-10-19 2023-05-09 Beijing Geekplus Technology Co., Ltd. Ground texture image-based navigation method and device, and storage medium
CN111951198B (zh) * 2019-05-16 2024-02-02 杭州海康威视数字技术股份有限公司 一种无人机航拍图像拼接优化的方法、装置和存储介质
CN111951198A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接优化的方法、装置和存储介质
CN112634395B (zh) * 2019-09-24 2023-08-25 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN112634395A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN110796118A (zh) * 2019-11-12 2020-02-14 深圳创维数字技术有限公司 获取运输设备的姿态调整参数方法、运输设备及存储介质
CN110796118B (zh) * 2019-11-12 2022-06-10 深圳创维数字技术有限公司 获取运输设备的姿态调整参数方法、运输设备及存储介质
CN112815923A (zh) * 2019-11-15 2021-05-18 华为技术有限公司 视觉定位方法和装置
CN111145634B (zh) * 2019-12-31 2022-02-22 深圳市优必选科技股份有限公司 一种校正地图的方法及装置
CN111145634A (zh) * 2019-12-31 2020-05-12 深圳市优必选科技股份有限公司 一种校正地图的方法及装置
WO2021147549A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 闭环检测方法及系统、多传感器融合slam系统及机器人、介质
CN111325712A (zh) * 2020-01-20 2020-06-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置
CN111325712B (zh) * 2020-01-20 2024-01-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置
CN111415390B (zh) * 2020-03-18 2023-05-09 上海懒书智能科技有限公司 一种基于地面纹理的定位导航方法及装置
CN111415390A (zh) * 2020-03-18 2020-07-14 上海懒书智能科技有限公司 一种基于地面纹理的定位导航方法及装置
CN111444852A (zh) * 2020-03-27 2020-07-24 深圳市银星智能科技股份有限公司 一种回环检测方法、装置及机器人
CN113835422B (zh) * 2020-06-08 2023-09-29 杭州海康机器人股份有限公司 一种视觉地图构建方法和移动机器人
CN113835422A (zh) * 2020-06-08 2021-12-24 杭州海康机器人技术有限公司 一种视觉地图构建方法和移动机器人
CN111882494B (zh) * 2020-06-28 2024-05-14 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111950597B (zh) * 2020-07-15 2022-10-18 重庆邮电大学 机器人基于原图光照不变图词袋模型改进的闭环检测方法
CN111950597A (zh) * 2020-07-15 2020-11-17 重庆邮电大学 机器人基于原图光照不变图词袋模型改进的闭环检测方法
CN112070810B (zh) * 2020-08-31 2024-03-22 安徽爱观视觉科技有限公司 定位方法、可移动设备及计算机可读存储介质
CN112070810A (zh) * 2020-08-31 2020-12-11 上海爱观视觉科技有限公司 定位方法、可移动设备及计算机可读存储介质
CN113763466A (zh) * 2020-10-10 2021-12-07 北京京东乾石科技有限公司 一种回环检测方法、装置、电子设备和存储介质
CN114577195A (zh) * 2020-11-30 2022-06-03 广东博智林机器人有限公司 防水卷机器人的铺贴方法、装置、电子设备及存储介质
CN112462784A (zh) * 2020-12-03 2021-03-09 上海擎朗智能科技有限公司 机器人位姿确定方法、装置、设备和介质
WO2022179519A1 (zh) * 2021-02-26 2022-09-01 杭州海康机器人技术有限公司 基于地面纹理信息的地图构建方法和系统及移动机器人
CN113029168A (zh) * 2021-02-26 2021-06-25 杭州海康机器人技术有限公司 基于地面纹理信息的地图构建方法和系统及移动机器人
CN113503883A (zh) * 2021-06-22 2021-10-15 北京三快在线科技有限公司 采集用于构建地图的数据的方法、存储介质及电子设备
CN115700507A (zh) * 2021-07-30 2023-02-07 北京小米移动软件有限公司 地图更新方法及其装置
CN115700507B (zh) * 2021-07-30 2024-02-13 北京小米移动软件有限公司 地图更新方法及其装置
CN113884025A (zh) * 2021-09-16 2022-01-04 河南垂天智能制造有限公司 增材制造结构光回环检测方法、装置、电子设备和存储介质
CN113884025B (zh) * 2021-09-16 2024-05-03 河南垂天智能制造有限公司 增材制造结构光回环检测方法、装置、电子设备和存储介质
CN114299192B (zh) * 2021-12-23 2022-12-27 北京百度网讯科技有限公司 定位建图的方法、装置、设备和介质
CN114299192A (zh) * 2021-12-23 2022-04-08 北京百度网讯科技有限公司 定位建图的方法、装置、设备和介质
CN114845137A (zh) * 2022-03-21 2022-08-02 南京大学 一种基于图像配准的视频光路重建方法及其装置
CN116758058A (zh) * 2023-08-10 2023-09-15 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质
CN116758058B (zh) * 2023-08-10 2023-11-03 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质

Also Published As

Publication number Publication date
JP6921341B2 (ja) 2021-08-18
US11644338B2 (en) 2023-05-09
JP2021509215A (ja) 2021-03-18
US20200333162A1 (en) 2020-10-22
WO2020078064A1 (zh) 2020-04-23

Similar Documents

Publication Publication Date Title
CN109556596A (zh) 基于地面纹理图像的导航方法、装置、设备及存储介质
Ulrich et al. Appearance-based place recognition for topological localization
David et al. Softposit: Simultaneous pose and correspondence determination
US20180137644A1 (en) Methods and systems of performing object pose estimation
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
Goncalves et al. A visual front-end for simultaneous localization and mapping
Prince et al. Augmented reality camera tracking with homographies
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
WO2012023593A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN110263713A (zh) 车道线检测方法、装置、电子设备及存储介质
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN113822996A (zh) 机器人的位姿估计方法及装置、电子设备、存储介质
Zingaretti et al. Appearance based robotics
Shao A Monocular SLAM System Based on the ORB Features
Ababsa et al. Robust camera pose estimation combining 2D/3D points and lines tracking
Ruan et al. Performance of monocular and stereo camera in indoor environment for Visual SLAM using ORB method
CN117537803B (zh) 机器人巡检语义-拓扑地图构建方法、系统、设备及介质
CN113642565B (zh) 对象检测方法、装置、设备及计算机可读存储介质
Yin et al. Robotic grasp detection for parallel grippers: A review
Zhang et al. ARCargo: Multi-Device Integrated Cargo Loading Management System with Augmented Reality
CN113609985B (zh) 物体位姿检测方法、检测设备、机器人及可存储介质
Restelli et al. Murea: a multi-resolution evidence accumulation method for robot localization in known environments
Lifshits et al. Image-based wafer navigation
Deretey Visual Localization in Underground Mines and Indoor Environments Using PnP.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100020 No. 1 Building, No. 36 Chuangyuan Road, Chaoyang District, Beijing 101

Applicant after: Beijing jizhijia Technology Co.,Ltd.

Address before: 100020 No. 1 Building, No. 36 Chuangyuan Road, Chaoyang District, Beijing 101

Applicant before: Beijing Geekplus Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402

RJ01 Rejection of invention patent application after publication