CN112288803A - 一种针对计算设备的定位方法以及装置 - Google Patents

一种针对计算设备的定位方法以及装置 Download PDF

Info

Publication number
CN112288803A
CN112288803A CN201910676351.7A CN201910676351A CN112288803A CN 112288803 A CN112288803 A CN 112288803A CN 201910676351 A CN201910676351 A CN 201910676351A CN 112288803 A CN112288803 A CN 112288803A
Authority
CN
China
Prior art keywords
information
target
key frame
computing device
target computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910676351.7A
Other languages
English (en)
Inventor
张明明
陈一鸣
李名杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910676351.7A priority Critical patent/CN112288803A/zh
Publication of CN112288803A publication Critical patent/CN112288803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种针对计算设备的定位方法以及装置，该方法包括：以目标计算设备摄取的图像信息、目标计算设备的位移数据以及惯性测量数据作为目标计算设备的传感器数据，根据该三种数据获得当前关键帧，并获得上一个关键帧相对于目标地图的第一参考信息以及目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据，根据第一参考信息和相对位移数据，获得目标计算设备的第一位置信息。该方法实现各种传感器数据之间的互补，使得位置估计的参数信息更加完善、位置估计的过程更加稳定、位置估计的结果更加准确，有效避免相对定位过程中造成的长时间累计定位误差大的问题，以及避免绝对定位过程中出现的影响移动机器人实时定位的问题。

Description

一种针对计算设备的定位方法以及装置
技术领域
本申请涉及自主定位技术领域，具体涉及一种针对计算设备的定位方法。本申请同时涉及一种针对计算设备的定位装置以及一种电子设备。
背景技术
随着计算机技术和传感器技术的不断发展，移动机器人向着自主化和智能化方向发展。移动机器人自主化和智能化的重要标志之一即为移动机器人能够自主完成导航任务。
移动机器人自主定位功能是机器人完成自主导航任务最基本环节，自主定位的准确性和可靠性直接决定了移动机器人能否正确完成导航任务。在自主定位的过程中，移动机器人需要实时知道自身相对于外部世界的位置和姿态。因此，自主定位是移动机器人的一项重要的基本功能。
现有的移动机器人自主定位技术分为相对定位方法和绝对定位方法。相对定位方法是通过计算相邻两时刻移动机器人位姿变化来确定移动机器人的当前位置，例如惯性定位，其特点是短时间定位精度高，但长时间累计定位误差大；绝对定位则通过测量移动机器人的绝对位置来实现移动机器人的定位，例如视觉定位方法，然而该方法容易受到噪声、信号，环境等外部因素的影响，短期波动较大，使得定位过程的鲁棒性较差，影响移动机器人实时定位。
发明内容
本申请提供一种针对计算设备的定位方法，以解决现有的相对定位方法的长时间累计定位误差大、绝对定位方法影响移动机器人实时定位的问题。本申请另外提供一种针对计算设备的定位装置以及一种电子设备。
本申请提供一种针对计算设备的定位方法，包括：
获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；
根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；
获得上一个关键帧相对于目标地图的第一参考信息；
获取所述目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；
根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息。
可选的，所述根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧，包括：
获得当前时间点的图像信息中的视觉特征信息；
根据所述目标计算设备的惯性测量数据，获得所述视觉特征信息的跟踪信息；
获取目标计算设备在摄取上一个关键帧时刻至当前时刻的目标位移数据；
根据所述视觉特征信息的跟踪信息和所述目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧；
如果是，则将所述图像信息作为当前关键帧。
可选的，所述视觉特征信息的跟踪信息表示所述视觉特征信息在所述图像信息中的变化幅度；
所述根据所述视觉特征信息的跟踪信息和所述目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧，包括：
如果所述视觉特征信息在所述图像信息中的变化幅度达到或超过预定阈值，则确定当前时间点需产生新的关键帧；或者，
如果所述目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧；或者，
如果所述视觉特征信息在所述图像信息中的变化幅度达到或超过预定阈值，并且所述目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧。
可选的，所述第一参考信息为所述上一个关键帧中的视觉特征信息与所述目标地图中的预定路标信息之间的对应关系信息。
可选的，所述获得上一个关键帧相对于目标地图的第一参考信息，包括：
根据获得的所述目标计算设备在所述目标地图中的位置信息的状态，获得所述上一个关键帧相对于所述目标地图的第一参考信息。
可选的，所述根据所述目标计算设备在所述目标地图中的位置信息的状态，获得所述上一个关键帧相对于所述目标地图的第一参考信息，包括：
获得所述上一个关键帧中的视觉特征信息的特征向量；
根据上一个关键帧对应的所述目标计算设备在所述目标地图中的位置信息的状态，确定目标特征区域；
将所述视觉特征信息的特征向量在所述目标特征区域中进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
可选的，所述根据上一个关键帧对应的所述目标计算设备在所述目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在所述上一个关键帧所对应的时间点未获得所述目标计算设备在所述目标地图中的位置信息，则将所述目标地图的全局区域确定为所述目标特征区域；
对应的，所述将所述视觉特征信息的特征向量在所述目标特征区域中进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息，包括：
将所述视觉特征信息的特征向量与所述目标地图的全局区域中的特征向量进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
可选的，所述根据上一个关键帧所对应的所述目标计算设备在所述目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在所述上一个关键帧所对应的时间点获得所述目标计算设备在所述目标地图中的位置范围，则将所述目标地图的位置范围内的区域确定为所述目标特征区域；
对应的，所述将所述视觉特征信息的特征向量在所述目标特征区域中进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的位对应关系信息，包括：
将所述视觉特征信息的特征向量与所述目标地图的位置范围内的区域中的特征向量进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
可选的，所述根据获得的所述目标计算设备在所述目标地图中的位置信息的状态，获得所述上一个关键帧相对于所述目标地图的第一参考信息，包括：
如果已获得在所述上一个关键帧所对应的时间点之前的上一个时间点、所述目标计算设备在所述目标地图中的位置信息，则执行如下操作：
获得所述上一个关键帧中的视觉特征信息的特征向量；
获得所述目标地图的预定路标信息的特征向量；
将所述目标地图的预定路标信息的特征向量投影到所述上一个关键帧所对应的成像平面上；
在所述成像平面上对所述视觉特征信息的特征向量和所述预定路标信息的特征向量进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
可选的，还包括：
如果根据所述视觉特征信息的跟踪信息和所述目标位移数据中的至少一种，确定当前时间点无需产生新的关键帧，则将所述图像信息确定为非关键帧；
根据所述上一个关键帧对应的、所述目标计算设备的第二位置信息和所述非关键帧的时间戳信息，获得所述非关键帧对应的、所述目标计算设备的位置信息。
可选的，所述根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息，包括：
采用最小二乘算法对所述第一参考信息和所述相对位移数据进行最小化处理，获得与所述当前关键帧相对应的、所述目标计算设备的第一位置信息。
可选的，还包括：
获得所述当前关键帧相对于所述目标地图的第二参考信息，所述第二参考信息为所述当前关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
可选的，所述目标计算设备为移动机器人，所述目标计算设备的位移数据为所述移动机器人的底盘编码器数据，所述目标计算设备的惯性测量数据为所述移动机器人的IMU数据。
可选的，所述目标计算设备为安装有导航装置的轮椅或者安装有导航装置的汽车。
本申请还提供一种针对计算设备的定位装置，包括：
数据获得单元，用于获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；
当前关键帧获得单元，用于根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；
第一参考信息获得单元，用于获得上一个关键帧相对于目标地图的第一参考信息；
相对位移数据获得单元，用于获取所述目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；
第一位置信息获得单元，用于根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储针对计算设备的定位程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；
根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；
获得上一个关键帧相对于目标地图的第一参考信息；
获取所述目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；
根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息。
本申请还提供一种定位方法，包括：
获得对应于目标计算设备的图像信息；
获取对应于所述目标计算设备的位移数据；
根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧；
获取上一个关键帧相对于目标地图的参考信息；
根据所述参考信息和所述位移数据，获得与所述当前关键帧相对应的所述目标计算设备的当前位置信息。
可选的，所述根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧，包括：
如果所述目标计算设备在摄取上一关键帧时刻至当前时刻的相对位移数据达到或超过预定位移阈值，则将所述图像信息中的当前时刻所对应的图像信息作为当前关键帧。
本申请还提供一种定位装置，包括：
图像信息获得单元，用于获得对应于目标计算设备的图像信息；
位移数据获得单元，用于获取对应于所述目标计算设备的位移数据；
当前关键帧获得单元，用于根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧；
参考信息获得单元，用于获取上一个关键帧相对于目标地图的参考信息；
当前位置信息获得单元，用于根据所述参考信息和所述位移数据，获得与所述当前关键帧相对应的所述目标计算设备的当前位置信息。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储定位程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得对应于目标计算设备的图像信息；
获取对应于所述目标计算设备的位移数据；
根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧；
获取上一个关键帧相对于目标地图的参考信息；
根据所述参考信息和所述位移数据，获得与所述当前关键帧相对应的所述目标计算设备的当前位置信息。
本申请还提供一种定位方法，包括：
按照第一定位方法对目标计算设备进行定位，获得第一定位结果；
在达到预定条件时，启动第二定位方法对所述目标计算设备进行定位，获得第二定位结果；所述第二定位方法包括：获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；获得上一个关键帧相对于目标地图的第一参考信息；获取所述目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第二定位结果；
根据所述第二定位结果对所述第一定位结果进行纠偏。
与现有技术相比，本申请具有以下优点：
本申请提供的针对计算设备的定位方法，以目标计算设备摄取的图像信息、目标计算设备的位移数据以及惯性测量数据作为目标计算设备的传感器数据，根据该三种数据获得当前关键帧，并获取目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据，在后续位置估计的过程中，根据上述第一参考信息和相对位移数据，获得目标计算设备的第一位置信息。该方法通过对图像信息、位移数据以及惯性测量数据的综合利用，实现各种传感器数据之间的互补，使得后续用于进行位置估计的参数信息更加完善，从而使得后续位置估计的过程更加稳定，位置估计的结果更加准确，有效避免相对定位过程中造成的长时间累计定位误差大的问题，以及避免绝对定位过程中出现的影响移动机器人实时定位的问题，并且，本申请提供的定位方法简化了定位过程的复杂度，可降低定位过程中所产生的能耗。。
附图说明
图1是本申请第一实施例提供的针对计算设备的定位方法流程图；
图2是本申请第一实施例提供的获得当前关键帧的方法流程图；
图3是本申请第一实施例提供的移动机器人自主定位的场景示意图；
图4是本申请第一实施例提供的移动机器人与移动机器人的处理器的远程设置示意图；
图5是本申请第二实施例提供的移动机器人定位方法流程图；
图6是本申请第三实施例提供的针对计算设备的定位装置单元框图；
图7是本申请第四实施例提供的电子设备的逻辑结构示意图；
图8是本申请第五实施例提供的定位方法流程图；
图9是本申请第五实施例提供的定位场景示意图；
图10是本申请第六实施例提供的定位装置单元框图；
图11是本申请第七实施例提供的电子设备的逻辑结构示意图；
图12是本申请第八实施例提供的定位方法的流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
移动机器人自主定位功能是机器人完成自主导航任务最基本环节，自主定位的准确性和可靠性直接决定了移动机器人能否正确完成导航任务。在自主定位的过程中，移动机器人需要实时知道自身相对于外部世界的位置和姿态。
针对移动机器人的自主定位场景，常见的定位方法包括相对定位和绝对定位，相对定位依靠车载里程计或惯性传感器等获得传感器数据，其通过计算相邻两时刻移动机器人的位姿变化来确定移动机器人的当前位置，其特点是短时间定位精度高，对于短期运动预测精度较好，不会受到运动状态突然发生变化的影响，但长时间累计定位误差大，因此不适于长时间精确定位。
绝对定位通过测量移动机器人的绝对位置来实现移动机器人的定位，典型的绝对定位法是视觉定位法，其利用摄像机摄取包含视觉特征信息的图像信息，经图像处理提取并识别出视觉特征信息，根据视觉特征信息的先验知识，计算出摄像机在环境中的位姿，该过程中摄像机与移动机器人的位置关系已知，因此可相应获得移动机器人在环境中的位姿数据，通过对该位姿数据的实时计算，移动机器人即可实现在移动状态下的自主定位。上述视觉定位法的测量误差在时间和空间上相互独立，不会随时间累积，然而其容易受到噪声、信号，环境等外部因素的影响，短期波动较大，影响移动机器人实时定位。
针对移动机器人的自主定位场景，为了提高定位过程的鲁棒性和稳定性，本申请提供了一种针对计算设备的定位方法、与该方法相对应的针对计算设备的定位装置以及电子设备。以下提供实施例对所述方法、装置以及电子设备进行详细说明。
本申请第一实施例提供一种针对计算设备的定位方法，该方法的实施主体可以为设置于计算设备上的、用于对该计算设备进行定位的计算设备应用，图1为本申请第一实施例提供的针对计算设备的定位方法流程图，以下结合图1对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。
如图1所示，本实施例提供的针对计算设备的定位方法包括如下步骤：
S101，获得目标计算设备摄取的图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据。
针对计算设备进行定位的过程即为依靠传感器数据确定计算设备当前所处位置的过程。本步骤用于获得目标计算设备的传感器数据，该传感器数据包括目标计算设备摄取的图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据。
目标计算设备指的是具有自主导航定位功能、能够获取自身相对于外部世界的位置信息的计算设备，例如安装有导航装置的轮椅、安装有导航装置的汽车、移动机器人以及其它智能设备。该目标计算设备可利用承载于自身的视觉传感器获取外部世界的图形信息，例如，目标计算设备通过与自身具有固定位置关系的摄像机摄取图像信息，该图像信息在经图像处理、视觉特征提取等操作后，可作为获取该目标计算设备位置信息的关键信息。目标计算设备的位移数据指的是该目标计算设备在预定时间间隔内的实际位移距离，包含直线位移数据和角位移数据。例如目标计算设备在摄取相邻两帧图像信息所对应的时间间隔内、目标计算设备发生移动的距离，或者在摄取预定数量的图像信息的起始时间点和终止时间点所对应的时间间隔内，目标计算设备发生移动的距离。目标计算设备的惯性测量数据指的是目标计算设备的加速度和角速度数据。
在本实施例中，优选的目标计算设备为具有自主定位功能的移动机器人。目标计算设备的位移数据为移动机器人的底盘编码器数据，目标计算设备的惯性测量数据为移动机器人的IMU(惯性测量单元)数据。
移动机器人的编码器用于测量移动机器人的位移大小，例如设置于移动机器人底部的底盘编码器，其通过对码盘上的各个位置所设计的特定编码，可以输出转动轴的绝对位置信息，或者根据转动轴的转动提供相应数量的脉冲，通过测量脉冲的数量可以得到转动轴旋转的角度，从而获得移动机器人的位移数据。
IMU用于测量移动机器人在三维空间中的角速度和加速度，其包含三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测移动机器人在坐标系中三个轴向的加速度数据，陀螺仪检测移动机器人相对于导航坐标系的角速度数据，其可应用于检测移动机器人的姿态信息。
S102，根据上述图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据，获得当前关键帧。
在上述步骤获得移动机器人所摄取的图像信息、移动机器人的位移数据以及移动机器人的惯性测量数据之后，本步骤用于根据上述图像信息、位移数据以及惯性测量数据获得当前关键帧，具体为根据当前时间点所对应的图像信息、位移数据以及惯性测量数据获得当前关键帧。
如图2所示，在本实施例中，根据上述图像信息、位移数据以及惯性测量数据获得当前关键帧的过程包括如下子步骤：
S1021，获得当前时间点的图像信息中的视觉特征信息。
获得视觉特征信息的方式为对当前时间点所摄取的图像信息进行特征提取和识别，特征提取是指提取图像信息中属于特征性的信息的方法及过程，例如，从图像信息中提取出合适的描绘性特征，这些描绘性特征不仅能够区分图像信息中的目标对象和背景，而且对目标对象的尺度伸缩、目标对象的形状变化、目标对象被遮挡等情况均具有鲁棒性。常用的描绘性特征包括颜色特征、灰度特征、纹理特征、轮廓特征、光流特征、角点特征等。特征提取的过程为通过对图像中的像素点进行检查、以确定该像素点是否能够表示一个描绘性特征的过程。在本实施例中，视觉特征信息包括从图像信息中提取的新的视觉特征信息和之前已有的视觉特征信息。
S1022，根据目标计算设备的惯性测量数据，获得上述视觉特征信息的跟踪信息。
该过程具体为：通过移动机器人的IMU数据对上述图像信息中的视觉特征信息进行视觉跟踪，视觉跟踪是指对图像序列中的目标对象进行检测、提取、识别和跟踪，从而获得目标对象的位置、速度、加速度和运动轨迹等运动参数的过程。
常用的跟踪算法有以下几种：基于目标对象的运动特征的跟踪算法，如：帧差分法、基于光流的跟踪方法等，其中，基于光流的跟踪方法是利用图像序列中的像素点在时间域上的变化以及相邻帧之间的相关性来获得上一帧图像跟当前图像之间存在的对应关系，从而计算出特征信息在相邻帧图像之间的运动信息的一种方法；基于图像序列前后相关性的目标跟踪算法，如：基于模板的相关跟踪算法、基于特征点的相关跟踪算法等；基于目标特征参数的跟踪算法，如基于轮廓的跟踪算法、基于特征点的跟踪算法等。
在本实施例中，视觉特征信息的跟踪信息指的是相对于之前摄取的图像信息、上述视觉特征信息在当前时间点所摄取的图像信息中的变化幅度，例如，上一预定时间点所摄取的图像信息中包含10个视觉特征信息，对该10个视觉特征信息进行跟踪，确定当前时间点所摄取的图像信息中包含上述10个视觉特征信息中的5个视觉特征信息，因此可确定视觉特征信息在图像信息中的变化幅度为：丢失5个视觉特征信息。在本实施例中，该变化幅度可根据目标计算设备的IMU数据获得。
S1023，获取目标计算设备在摄取上一个关键帧时刻至当前时刻的目标位移数据。
具体的，以摄取上一个关键帧的时间点为初始时间点，以当前时间点为终止时间点，在该起始时间点和终止时间点之间、移动机器人发生移动的距离即为目标位移距离。例如，从摄取上一个关键帧的时间点到当前时间点，通过移动机器人的底盘编码器数据得知该移动机器人发生的位移为20CM，则该20CM即为相对于上一个关键帧、该移动机器人的目标位移数据。
S1024，根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧。
在针对移动机器人进行位姿估计的过程中，如果针对每一帧图像信息分别进行图像处理，则需要进行大量计算，生成大量冗余信息，导致系统效率降低，不具备实时性，因此，在位姿估计的过程中，将关键帧作为主要的处理对象。选取关键帧的方式会影响后续位姿估计的准确性，如果选取的关键帧数量太多，则同样会生成大量冗余信息；若选取的关键帧数量太少，前后两个关键帧相隔太远，导致关键帧之间的匹配信息过少，造成匹配不准确。因此，新的关键帧与上一个关键帧之间的匹配信息应当能够保证匹配效果，并且两个关键帧之间的距离应当足够，以减少不必要的冗余信息。同时，关键帧中的视觉特征信息的数量应当避免新的关键帧与上一个关键帧之间由于视觉特征信息太少而无法进行匹配，并且，新的关键帧与上一个关键帧之间需有足够的图像信息上的变化。
视觉特征信息的跟踪信息表示视觉特征信息在所述图像信息中的变化幅度，上述根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧，具体可采用以下三种方式实现：
方式一：如果视觉特征信息在图像信息中的变化幅度达到或超过预定阈值，则确定当前时间点需产生新的关键帧；
方式二：如果目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧；
方式三：如果视觉特征信息在图像信息中的变化幅度达到或超过预定阈值，并且目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧。
在本实施例中，采用方式三实现上述过程，即，如果视觉特征信息在所述图像信息中的变化幅度达到或超过预定阈值，并且目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧。例如，图像信息中丢失的视觉特征信息达到或超过预定比例，并且移动机器人发生的位移达到或超过预定的位移数值，则确定当前时间点需产生新的关键帧。
S1025，如果当前时间点需产生新的关键帧，则将上述图像信息确定为当前关键帧。
需要说明的是，上述过程中还可预先设定图像信息中的变化幅度的范围以及位移数据的范围，如果图像信息中的变化幅度过大，超出预设的变化幅度范围的最大值，或者目标位移数据过大，超出位移数据范围的最大值，则放弃后续步骤。例如，对于某些突发场景，图像之间变化幅度过大，或者目标计算设备移动速度过快，短时间内进行远距离移动，在该种情况下，获得当前关键帧已无法满足当前导航需求，因此需重新进行路径规划，并且重新开启导航。同样的，如果图像信息中的变化幅度过小或者图像信息未发生变化，低于预设的变化幅度范围的最小值，则同样放弃后续步骤。例如，当前所处环境为大海中或者无任何参照的狭长密道中、或者被大雪覆盖的草原上，摄像机摄取的每一帧图像信息均无明显区别，在该种环境下获取关键帧或者获取位移数据对于导航定位并无实际意义，因此可关闭导航。
S103，获得上一个关键帧相对于目标地图的第一参考信息。
上一个关键帧相对于目标地图的第一参考信息指的是在生成上一个关键帧时，目标计算设备在目标地图中的全局位置信息，目标地图为预定的与目标计算设备的移动范围相对应的地图。
在本实施例中，第一参考信息为所述上一个关键帧中的视觉特征信息与所述目标地图中的预定路标信息之间的对应关系信息。获得上一个关键帧相对于目标地图的第一参考信息。该过程具体包括如下内容：
首先，获得上一个关键帧中的视觉特征信息的特征向量；针对上一个关键帧中的视觉特征信息的特征提取的过程包括对图像信息中的关键视觉特征信息进行检测与描述两个过程，检测过程用于确定满足特征标准的位置点，描述过程用于描述该位置点及其周围的图像信息，构成该位置点的特征向量，用于进行特征匹配。
其次，根据上一个关键帧对应的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域。例如，如果在摄取上一个关键帧时未获得移动机器人在目标地图中的位置信息，则将目标地图的全局区域确定为目标特征区域；如果在摄取上一个关键帧时获得移动机器人在目标地图中的位置范围，则将目标地图的位置范围内的区域确定为目标特征区域。
最后，将视觉特征信息的特征向量在目标特征区域中进行匹配，获得上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。特征匹配是进行位置计算的基础，其目的在于寻找图像之间的对应关系。特征匹配结果的准确性对后续位置估计、建模精度有较大影响。
例如，如果上述将目标地图的全局区域确定为目标特征区域，则将所述视觉特征信息的特征向量与目标地图的全局区域中的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息；如果上述将目标地图的位置范围内的区域确定为目标特征区域，则将视觉特征信息的特征向量与目标地图的位置范围内的区域中的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
需要说明的是，除了上述根据目标特征区域的方式获得上一个关键帧相对于目标地图的第一参考信息，还可通过如下局部追踪的方法获得第一参考信息：
如果在摄取上一个关键帧之前的上一个时间点、移动机器人在目标地图中的位置信息，则执行如下操作：获得上一个关键帧中的视觉特征信息的特征向量；获得目标地图的预定路标信息的特征向量；将目标地图的预定路标信息的特征向量投影到上一个关键帧所对应的成像平面上，例如，将世界坐标系的三维路标信息利用上一个关键帧的位置信息投影到相机的成像平面上，得到二维的像素点坐标；在该成像平面上对视觉特征信息的特征向量和预定路标信息的特征向量进行匹配，例如，将上述三维路标信息对应的特征向量与上述二维像素点坐标周围的二维特征点对应的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
S104，获取目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据。
由于在上述步骤S102中根据图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据，已获得当前关键帧，因此，目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据即为S1023中所获取的目标计算设备的目标位移数据，在此不再赘述。
S105，根据相对位移数据和第一参考信息，获得目标计算设备的第一位置信息。
在上述步骤获得相对位移数据和第一参考信息之后，本步骤用于根据相对位移数据和上一个关键帧相对于目标地图的第一参考信息，获得目标计算设备的第一位置信息。
在本实施例中，获得目标计算设备的第一位置信息的方式为：采用最小二乘算法对第一参考信息和相对位移数据进行最小化处理，获得与当前关键帧相对应的、目标计算设备的第一位置信息，以此实现位置估计的过程。
需要说明的是，在上述位置估计的基础上结合当前关键帧的局部视觉特征信息以及目标计算设备的IMU数据，可实现目标计算设备的位姿估计，获得目标计算设备的位姿信息，可在位姿估计器中完成上述位姿估计过程，具体的，位姿估计的过程采用最小二乘算法对第一参考信息、相对位移数据、当前关键帧的局部视觉特征信息以及目标计算设备的IMU数据进行最小化处理，其具体描述如下：
假设在tk时刻，需要优化的代价函数ck(xk,fk)为:
Figure BDA0002143407340000141
其中ηk-1和∑k-1分别是上一时刻tk-1位姿估计得到信息向量和信息矩阵，
Figure DA00021434073436028
是对xk的先验估计，||a||∑k＝aT∑ka，fk是参与本次优化的局部视觉特征信息集合，Si,j是局部视觉特征信息和当前关键帧的对应关系，ri,j是局部视觉特征信息重投影误差向量，βi是移动机器人的IMU数据和相对位移数据所对应的位姿估计信息。
其中，
Figure BDA0002143407340000142
zi,j表示与位姿i对应的局部视觉特征信息的视觉观测信息，RC是视觉观测信息矩阵，h(.)表示相机的投影模型。
在本实施例中，位姿估计器以预定数目的关键帧及其参数信息(参考信息、位移数据、局部视觉特征信息以及IMU数据)作为用于进行位姿估计的先验信息。当所摄取的图像信息不清晰、移动机器人运行速度较快或移动机器人所处环境特征较为单一时，采用单一的关键帧可能出现无法匹配的问题，因此，采用多个关键帧进行匹配，使得针对移动机器人的定位过程更加稳定可靠。例如，位姿估计器中始终存储与当前时间点最接近的10个关键帧的参数信息，以使位姿估计器中的计算量保持稳定，避免增加新的数据而增大计算量。因此，还需针对位姿估计器进行边缘化处理，具体为将位姿估计器中存在时间最长的关键帧及其参数信息进行删除，例如，从滑动窗口中去除该存在时间最长的关键帧及其参数信息。在本实施例中，边缘化操作的具体步骤如下:
将
Figure BDA0002143407340000151
针对ck(xk,fk)的梯度和Hessian矩阵定义为ψ和Ω：
Figure BDA0002143407340000152
其中ψm和Ωmm分别对应于位姿估计器中存储时间最长的关键帧和该关键帧对应的视觉观测信息，ψr和Ωrr分别对应需要保留在滑动窗口里的关键帧，Ωmr是二者的耦合信息矩阵，通过进行如下计算：
Figure BDA0002143407340000153
可以把存储时间最长的关键帧和该关键帧对应的视觉观测信息去除，从而产生针对下一个关键帧进行的位姿估计时的先验信息，继续运行上述最小二乘算法。
需要说明的是，在上述步骤S1024后，如果根据上述视觉特征信息的跟踪信息和目标位移数据，确定当前时间点无需产生新的关键帧，例如视觉特征信息在图像信息中的变化幅度未达到预定阈值，或者移动机器人的目标位移数据未达到预定位移数值，则将上述图像信息确定为非关键帧，并且，根据上一个关键帧对应的、移动机器人的第二位置信息和非关键帧所对应的时间戳信息，获得该非关键帧对应的、移动机器人的当前位置信息。
在获得目标计算设备的第一位置信息之后，还需获得当前关键帧相对于目标地图的第二参考信息，该第二参考信息为所述当前关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
在本实施例中，可根据获得的目标计算设备在所述目标地图中的位置信息的状态，获得当前关键帧相对于目标地图的第二参考信息。该过程具体包括如下内容：
首先，获得当前关键帧中的视觉特征信息的特征向量；针对当前关键帧中的视觉特征信息的特征提取的过程包括对图像信息中的关键视觉特征信息进行检测与描述两个过程，检测过程用于确定满足特征标准的位置点，描述过程用于描述该位置点及其周围的图像信息，构成该位置点的特征向量，用于进行特征匹配。
其次，根据当前时间点获得的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域。例如，如果在所述当前时间点未获得移动机器人在目标地图中的位置信息，则将目标地图的全局区域确定为目标特征区域；如果在当前时间点获得移动机器人在目标地图中的位置范围，则将目标地图的位置范围内的区域确定为目标特征区域。
最后，将所述视觉特征信息的特征向量在所述目标特征区域中进行匹配，获得所述当前关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。特征匹配是进行运动姿态计算的基础，其目的在于寻找图像之间的对应关系。特征匹配结果的准确性对后续姿态估计、建模精度有较大影响。
例如，如果上述将目标地图的全局区域确定为所述目标特征区域，则将所述视觉特征信息的特征向量与目标地图的全局区域中的特征向量进行匹配，获得当前关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息；如果上述将目标地图的位置范围内的区域确定为目标特征区域，则将所述视觉特征信息的特征向量与所述目标地图的位置范围内的区域中的特征向量进行匹配，获得所述当前关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
需要说明的是，除了上述根据目标特征区域的方式获得当前关键帧相对于目标地图的第二参考信息，还可通过如下局部追踪的方法获得第二参考信息：
如果已获得在当前时间点之前的上一个时间点、移动机器人在目标地图中的位置信息，则执行如下操作：获得当前关键帧中的视觉特征信息的特征向量；获得目标地图的预定路标信息的特征向量；将目标地图的预定路标信息的特征向量投影到当前关键帧所对应的成像平面上，例如，将世界坐标系的三维路标信息利用当前关键帧的位置信息投影到相机的成像平面上，得到二维的像素点坐标；在该成像平面上对视觉特征信息的特征向量和预定路标信息的特征向量进行匹配，例如，将上述三维路标信息对应的特征向量与上述二维像素点坐标周围的二维特征点对应的特征向量进行匹配，获得当前关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
通过上述方式获得当前关键帧相对于目标地图的第二参考信息之后，可根据该第二参考信息以及下一个关键帧的参数信息获得与该下一个关键帧相对应的、移动机器人的位置信息。
本实施例提供的针对计算设备的定位方法，如图3所示，移动机器人的处理器以移动机器人摄取的图像信息以及编码器提供的位移数据以及IMU提供的惯性测量数据等与运动相关的数据作为移动机器人的传感器数据，根据上述与运动相关的数据和图像信息获得当前关键帧，并在后续位置估计的过程中，根据目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据和上一关键帧对应位置信息(上一个关键帧相对于目标地图的第一参考信息)，计算获得移动机器人的第一位置信息。该方法通过对图像信息、位移数据以及惯性测量数据的综合利用，实现各种传感器数据之间的互补，使得后续用于进行位置估计的参数信息更加完善，从而使得后续位置估计的过程更加稳定，位置估计的结果更加准确，有效避免相对定位过程中造成的长时间累计定位误差大的问题，以及避免绝对定位过程中出现的影响移动机器人实时定位的问题。并且，本方案通过相对位移数据和上一个关键帧相对于目标地图的第一参考信息进行计算的方式进行关键帧时刻的定位，在非关键帧时刻根据时间戳和关键帧时刻的位置信息进行定位，简化了定位过程的复杂度，可降低定位过程中所产生的能耗。相对于现有的定位方式，本方案可节约50％的能耗。
需要说明的是，上述移动机器人的处理器可设置于该移动机器人本体上，也可作为该移动机器人的远程控制端而独立于该移动机器人进行设置，如图4所示，移动机器人的处理器接收来自移动机器人的图像信息、移动机器人的位移数据以及惯性测量数据，通过本实施例提供的定位方法获得移动机器人的第一位置信息之后，可将该第一位置信息返回给移动机器人，以此实现移动机器人的自主定位。
本申请第二实施例提供了一种移动机器人定位方法，请参考图5理解该实施例。如图5所示，本实施例提供的移动机器人定位方法包括如下步骤：
S301，获得移动机器人摄取的图像信息、移动机器人的位移数据以及移动机器人的惯性测量数据。
S302，获得图像信息中的视觉特征信息、该视觉特征信息的跟踪信息以及相对于上一个关键帧、移动机器人的目标位移数据。
S303，根据视觉特征信息的跟踪信息和目标位移数据，判断是否产生当前关键帧。
S304，如果经步骤S303判断后未产生当前关键帧，即上述图像信息为非关键帧，则根据上一个关键帧对应的移动机器人的第二位置信息和非关键帧所对应的时间戳信息，获得该非关键帧对应的移动机器人的当前位置信息。
S305，获得上一个关键帧相对于目标地图的第一参考信息。
S306，如果经步骤S303判断后未产生当前关键帧，则将上述图像信息确定为当前关键帧，获得移动机器人在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据，并结合上一个关键帧相对于目标地图的第一参考信息进行位置估计，获得移动机器人的第一位置信息。
S307，根据获得的移动机器人在目标地图中的位置信息的状态，获得当前关键帧相对于目标地图的第二参考信息。
S308，获得移动机器人的下一个关键帧及其参数信息(移动机器人在摄取下一个关键帧时刻至当前时刻的位移数据、移动机器人在摄取下一个关键帧时刻的惯性测量数据)。
S309，基于第二参考信息和下一个关键帧及其参数信息，获得与下一个关键帧对应的、移动机器人的第三位置信息。
上述第一实施例提供了一种针对计算设备的定位方法，与之相对应的，本申请第三实施例还提供了一种针对计算设备的定位装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图6理解该实施例，图6为本实施例提供的装置的单元框图，如图6所示，本实施例提供的装置包括：
数据获得单元401，用于获得目标计算设备摄取的图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据；
当前关键帧获得单元402，用于根据图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据，获得当前关键帧；
第一参考信息获得单元403，用于获得上一个关键帧相对于目标地图的第一参考信息；
相对位移数据获得单元404，用于获得目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；
第一位置信息获得单元405，用于根据相对位移数据和第一参考信息，获得目标计算设备的第一位置信息。
可选的，根据图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据，获得当前关键帧，包括：
获得当前时间点的图像信息中的视觉特征信息；
根据目标计算设备的惯性测量数据，获得视觉特征信息的跟踪信息；
获取目标计算设备在摄取上一个关键帧时刻至当前时刻的目标位移数据；
根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧；
如果是，则将图像信息作为当前关键帧。
可选的，视觉特征信息的跟踪信息表示视觉特征信息在图像信息中的变化幅度；
根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧，包括：
如果视觉特征信息在图像信息中的变化幅度达到或超过预定阈值，则确定当前时间点需产生新的关键帧；或者，
如果目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧；或者，
如果视觉特征信息在图像信息中的变化幅度达到或超过预定阈值，并且目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧。
可选的，第一参考信息为上一个关键帧中的视觉特征信息与目标地图中的预定路标信息之间的对应关系信息。
可选的，获得上一个关键帧相对于目标地图的第一参考信息，包括：
根据获得的目标计算设备在目标地图中的位置信息的状态，获得上一个关键帧相对于目标地图的第一参考信息。
可选的，根据目标计算设备在目标地图中的位置信息的状态，获得上一个关键帧相对于目标地图的第一参考信息，包括：
获得上一个关键帧中的视觉特征信息的特征向量；
根据上一个关键帧对应的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域；
将视觉特征信息的特征向量在目标特征区域中进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，根据上一个关键帧对应的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在上一个关键帧所对应的时间点未获得目标计算设备在目标地图中的位置信息，则将目标地图的全局区域确定为目标特征区域；
对应的，将视觉特征信息的特征向量在目标特征区域中进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息，包括：
将视觉特征信息的特征向量与目标地图的全局区域中的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，根据上一个关键帧所对应的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在上一个关键帧所对应的时间点获得目标计算设备在目标地图中的位置范围，则将目标地图的位置范围内的区域确定为目标特征区域；
对应的，将视觉特征信息的特征向量在目标特征区域中进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的位对应关系信息，包括：
将视觉特征信息的特征向量与目标地图的位置范围内的区域中的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，根据获得的目标计算设备在目标地图中的位置信息的状态，获得上一个关键帧相对于目标地图的第一参考信息，包括：
如果已获得在上一个关键帧所对应的时间点之前的上一个时间点、目标计算设备在目标地图中的位置信息，则执行如下操作：
获得上一个关键帧中的视觉特征信息的特征向量；
获得目标地图的预定路标信息的特征向量；
将目标地图的预定路标信息的特征向量投影到上一个关键帧所对应的成像平面上；
在成像平面上对视觉特征信息的特征向量和预定路标信息的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，还包括：如果根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，确定当前时间点无需产生新的关键帧，则将图像信息确定为非关键帧；根据上一个关键帧对应的、目标计算设备的第二位置信息和非关键帧的时间戳信息，获得非关键帧对应的、目标计算设备的位置信息。
可选的，根据相对位移数据和第一参考信息，获得目标计算设备的第一位置信息，包括：
采用最小二乘算法对第一参考信息和相对位移数据进行最小化处理，获得与当前关键帧相对应的、目标计算设备的第一位置信息。
可选的，还包括：
获得当前关键帧相对于目标地图的第二参考信息，第二参考信息为当前关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，目标计算设备为移动机器人，目标计算设备的位移数据为移动机器人的底盘编码器数据，目标计算设备的惯性测量数据为移动机器人的IMU数据。
可选的，所述目标计算设备为安装有导航装置的轮椅或者安装有导航装置的汽车。
在上述的实施例中，提供了一种针对计算设备的定位方法以及一种针对计算设备的定位装置，此外，本申请第四实施例还提供一种电子设备，该电子设备实施例如下：
请参考图7理解本实施例，图7为本实施例提供的电子设备的示意图。
如图7所示，电子设备包括：处理器501；存储器502；
存储器502，用于存储针对计算设备的定位程序，程序在被处理器读取执行时，执行如下操作：
获得目标计算设备摄取的图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据；
根据图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据，获得当前关键帧；
获得上一个关键帧相对于目标地图的第一参考信息；
获得目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；
根据相对位移数据和第一参考信息，获得目标计算设备的第一位置信息。可选的，根据图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据，获得当前关键帧，包括：
获得当前时间点的图像信息中的视觉特征信息；
根据目标计算设备的惯性测量数据，获得视觉特征信息的跟踪信息；
获取目标计算设备在摄取上一个关键帧时刻至当前时刻的目标位移数据；
根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧；
如果是，则将图像信息作为当前关键帧。
可选的，视觉特征信息的跟踪信息表示视觉特征信息在图像信息中的变化幅度；
根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧，包括：
如果视觉特征信息在图像信息中的变化幅度达到或超过预定阈值，则确定当前时间点需产生新的关键帧；或者，
如果目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧；或者，
如果视觉特征信息在图像信息中的变化幅度达到或超过预定阈值，并且目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧。
可选的，第一参考信息为上一个关键帧中的视觉特征信息与目标地图中的预定路标信息之间的对应关系信息。
可选的，获得上一个关键帧相对于目标地图的第一参考信息，包括：
根据获得的目标计算设备在目标地图中的位置信息的状态，获得上一个关键帧相对于目标地图的第一参考信息。
可选的，根据目标计算设备在目标地图中的位置信息的状态，获得上一个关键帧相对于目标地图的第一参考信息，包括：
获得上一个关键帧中的视觉特征信息的特征向量；
根据上一个关键帧对应的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域；
将视觉特征信息的特征向量在目标特征区域中进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，根据上一个关键帧对应的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在上一个关键帧所对应的时间点未获得目标计算设备在目标地图中的位置信息，则将目标地图的全局区域确定为目标特征区域；
对应的，将视觉特征信息的特征向量在目标特征区域中进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息，包括：
将视觉特征信息的特征向量与目标地图的全局区域中的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，根据上一个关键帧所对应的目标计算设备在目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在上一个关键帧所对应的时间点获得目标计算设备在目标地图中的位置范围，则将目标地图的位置范围内的区域确定为目标特征区域；
对应的，将视觉特征信息的特征向量在目标特征区域中进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的位对应关系信息，包括：
将视觉特征信息的特征向量与目标地图的位置范围内的区域中的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，根据获得的目标计算设备在目标地图中的位置信息的状态，获得上一个关键帧相对于目标地图的第一参考信息，包括：
如果已获得在上一个关键帧所对应的时间点之前的上一个时间点、目标计算设备在目标地图中的位置信息，则执行如下操作：
获得上一个关键帧中的视觉特征信息的特征向量；
获得目标地图的预定路标信息的特征向量；
将目标地图的预定路标信息的特征向量投影到上一个关键帧所对应的成像平面上；
在成像平面上对视觉特征信息的特征向量和预定路标信息的特征向量进行匹配，获得上一个关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，还包括：如果根据视觉特征信息的跟踪信息和目标位移数据中的至少一种，确定当前时间点无需产生新的关键帧，则将图像信息确定为非关键帧；根据上一个关键帧对应的、目标计算设备的第二位置信息和非关键帧的时间戳信息，获得非关键帧对应的、目标计算设备的位置信息。
可选的，根据相对位移数据和第一参考信息，获得目标计算设备的第一位置信息，包括：
采用最小二乘算法对第一参考信息和相对位移数据进行最小化处理，获得与当前关键帧相对应的、目标计算设备的第一位置信息。
可选的，还包括：获得当前关键帧相对于目标地图的第二参考信息，第二参考信息为当前关键帧中的视觉特征信息与目标地图的预定路标信息之间的对应关系信息。
可选的，目标计算设备为移动机器人，目标计算设备的位移数据为移动机器人的底盘编码器数据，目标计算设备的惯性测量数据为移动机器人的IMU数据。
可选的，所述目标计算设备为安装有导航装置的轮椅或者安装有导航装置的汽车。
本申请第五实施例提供一种定位方法，请参考图8理解该实施例，本实施例中的目标计算设备可以为具有自主定位功能的移动机器人。如图8所示，本实施例提供的定位方法包括如下步骤：
S601，获得对应于目标计算设备的图像信息。
例如，获得移动机器人在预定时间区间内所摄取的图像信息，该预定时间区间可以为产生上一个关键帧所对应的时间点到当前时间点的时间区间。
S602，获取对应于目标计算设备的位移数据。
例如，通过对设置于移动机器人上的底盘编码器数据进行采集，获得该移动机器人从生成上一个关键帧所对应的时间点到当前时间点的时间区间内的直线位移数据和角位移数据。
S603，根据目标计算设备的位移数据，从图像数据中，获得当前关键帧。
例如，如果目标计算设备在摄取上一关键帧时刻至当前时刻的相对位移数据达到或超过预定位移阈值，则将上述获取的图像信息中的当前时刻所对应的图像信息作为当前关键帧。
S604，获取上一个关键帧相对于目标地图的参考信息。
该参考信息指的是在摄取上一个关键帧时，目标计算设备在目标地图中的全局位置信息，其可以为上一个关键帧中的视觉特征信息与目标地图中的预定路标信息之间的对应关系信息。请参考本申请第一实施例的步骤S103理解本步骤，在此不再赘述。
S605，根据上述参考信息和位移数据，获得与当前关键帧相对应的目标计算设备的当前位置信息。
例如，将移动机器人在摄取上一个关键帧的时间点至当前时间点的时间区间内所产生的直线位移数据和角位移数据作为增量信息，在上一个关键帧相对于目标地图的参考信息的基础上进行计算，获得该移动机器人的当前位置信息。
如图9所示，移动机器人的处理器获取移动机器人摄取的图像信息，并从设置于移动机器人底部的编码器获得移动机器人的位移数据，根据该位移数据从摄取的图像信息中获得当前关键帧，并在后续位置估计的过程中，根据该当前关键帧和上一个关键帧相对于目标地图的第一参考信息，计算获得移动机器人的当前位置信息，具体根据移动机器人在摄取上一个关键帧时刻至当前关键帧时刻的位移数据作为增量信息，结合第一参考信息，计算获得移动机器人的当前位置信息。该方法通过对图像信息和位移数据进行综合利用，使得后续位置估计的过程更加简单且稳定，位置估计的结果更加准确，增强了位置估计的鲁棒性。
上述第五实施例提供了一种定位方法，与之相对应的，本申请第六实施例还提供了一种定位装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图10理解该实施例，图10为本实施例提供的装置的单元框图，如图10所示，本实施例提供的装置包括：
图像信息获得单元701，用于获得对应于目标计算设备的图像信息；
位移数据获得单元702，用于获取对应于目标计算设备的位移数据；
当前关键帧获得单元703，用于根据目标计算设备的位移数据，从图像数据中，获得当前关键帧；
参考信息获得单元704，用于获取上一个关键帧相对于目标地图的参考信息；
当前位置信息获得单元705，用于根据参考信息和位移数据，获得与当前关键帧相对应的目标计算设备的当前位置信息。
在上述的实施例中，提供了一种定位方法以及一种定位装置，此外，本申请第七实施例还提供一种电子设备，该电子设备实施例如下：
请参考图11理解本实施例，图11为本实施例提供的电子设备的示意图。
如图11所示，电子设备包括：处理器801；存储器802；
存储器802，用于存储定位程序，程序在被处理器读取执行时，执行如下操作：
获得对应于目标计算设备的图像信息；获取对应于目标计算设备的位移数据；根据目标计算设备的位移数据，从图像数据中，获得当前关键帧；获取上一个关键帧相对于目标地图的参考信息；根据参考信息和位移数据，获得与当前关键帧相对应的目标计算设备的当前位置信息。
本申请第八实施例还提供一种定位方法，该方法可作为针对现有的定位方法进行纠偏的辅助方法，如图12所示，该方法包括如下步骤：
S901，按照第一定位方法对目标计算设备进行定位，获得第一定位结果。
在本实施例中，该第一定位方法可以为基于计算机视觉的图像识别方式进行定位的方法或者GPS定位方法。
S902，在达到预定条件时，启动第二定位方法对目标计算设备进行定位，获得第二定位结果。第二定位方法包括：获得目标计算设备摄取的图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据；根据图像信息、目标计算设备的位移数据以及目标计算设备的惯性测量数据，获得当前关键帧；获得上一个关键帧相对于目标地图的第一参考信息；获取目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；根据相对位移数据和第一参考信息，获得目标计算设备的第二定位结果。
例如，在预先设定的需要对移动机器人的定位结果进行纠偏的时间点、或者在移动机器人行走到预设的特殊区域时，启动如本申请第一实施例提供的定位方法进行定位，获得第二定位结果。
S903，根据第二定位结果对第一定位结果进行纠偏。
在本实施例提供的定位方法中，将本申请第一实施例提供的定位方法作为现有定位方法的辅助方法，在需要对现有定位方法进行纠偏的时刻启动第一实施例提供的定位方法，在纠偏完成后关闭第一实施例提供的定位方法。例如，通过已有的基于计算机视觉的图像识别方式或GPS定位方式获得当前位置信息，再辅以本申请第一实施例提供的定位方法获得纠偏位置信息，可将该纠偏位置信息作为当前位置信息的核对信息，增强定位过程的准确性和可靠性。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (21)

1.一种针对计算设备的定位方法，其特征在于，包括：
获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；
根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；
获得上一个关键帧相对于目标地图的第一参考信息；
获取所述目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；
根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧，包括：
获得当前时间点的图像信息中的视觉特征信息；
根据所述目标计算设备的惯性测量数据，获得所述视觉特征信息的跟踪信息；
获取目标计算设备在摄取上一个关键帧时刻至当前时刻的目标位移数据；
根据所述视觉特征信息的跟踪信息和所述目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧；
如果是，则将所述图像信息作为当前关键帧。
3.根据权利要求2所述的方法，其特征在于，所述视觉特征信息的跟踪信息表示所述视觉特征信息在所述图像信息中的变化幅度；
所述根据所述视觉特征信息的跟踪信息和所述目标位移数据中的至少一种，判断当前时间点是否需产生新的关键帧，包括：
如果所述视觉特征信息在所述图像信息中的变化幅度达到或超过预定阈值，则确定当前时间点需产生新的关键帧；或者，
如果所述目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧；或者，
如果所述视觉特征信息在所述图像信息中的变化幅度达到或超过预定阈值，并且所述目标位移数据达到或超过预定位移数值，则确定当前时间点需产生新的关键帧。
4.根据权利要求1所述的方法，其特征在于，所述第一参考信息为所述上一个关键帧中的视觉特征信息与所述目标地图中的预定路标信息之间的对应关系信息。
5.根据权利要求1所述的方法，其特征在于，所述获得上一个关键帧相对于目标地图的第一参考信息，包括：
根据获得的所述目标计算设备在所述目标地图中的位置信息的状态，获得所述上一个关键帧相对于所述目标地图的第一参考信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标计算设备在所述目标地图中的位置信息的状态，获得所述上一个关键帧相对于所述目标地图的第一参考信息，包括：
获得所述上一个关键帧中的视觉特征信息的特征向量；
根据上一个关键帧对应的所述目标计算设备在所述目标地图中的位置信息的状态，确定目标特征区域；
将所述视觉特征信息的特征向量在所述目标特征区域中进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
7.根据权利要求6所述的方法，其特征在于，所述根据上一个关键帧对应的所述目标计算设备在所述目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在所述上一个关键帧所对应的时间点未获得所述目标计算设备在所述目标地图中的位置信息，则将所述目标地图的全局区域确定为所述目标特征区域；
对应的，所述将所述视觉特征信息的特征向量在所述目标特征区域中进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息，包括：
将所述视觉特征信息的特征向量与所述目标地图的全局区域中的特征向量进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
8.根据权利要求6所述的方法，其特征在于，所述根据上一个关键帧所对应的所述目标计算设备在所述目标地图中的位置信息的状态，确定目标特征区域，包括：
如果在所述上一个关键帧所对应的时间点获得所述目标计算设备在所述目标地图中的位置范围，则将所述目标地图的位置范围内的区域确定为所述目标特征区域；
对应的，所述将所述视觉特征信息的特征向量在所述目标特征区域中进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的位对应关系信息，包括：
将所述视觉特征信息的特征向量与所述目标地图的位置范围内的区域中的特征向量进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
9.根据权利要求5所述的方法，其特征在于，所述根据获得的所述目标计算设备在所述目标地图中的位置信息的状态，获得所述上一个关键帧相对于所述目标地图的第一参考信息，包括：
如果已获得在所述上一个关键帧所对应的时间点之前的上一个时间点、所述目标计算设备在所述目标地图中的位置信息，则执行如下操作：
获得所述上一个关键帧中的视觉特征信息的特征向量；
获得所述目标地图的预定路标信息的特征向量；
将所述目标地图的预定路标信息的特征向量投影到所述上一个关键帧所对应的成像平面上；
在所述成像平面上对所述视觉特征信息的特征向量和所述预定路标信息的特征向量进行匹配，获得所述上一个关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
10.根据权利要求2所述的方法，其特征在于，还包括：
如果根据所述视觉特征信息的跟踪信息和所述目标位移数据中的至少一种，确定当前时间点无需产生新的关键帧，则将所述图像信息确定为非关键帧；
根据所述上一个关键帧对应的、所述目标计算设备的第二位置信息和所述非关键帧的时间戳信息，获得所述非关键帧对应的、所述目标计算设备的位置信息。
11.根据权利要求1所述的方法，其特征在于，所述根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息，包括：
采用最小二乘算法对所述第一参考信息和所述相对位移数据进行最小化处理，获得与所述当前关键帧相对应的、所述目标计算设备的第一位置信息。
12.根据权利要求1所述的方法，其特征在于，还包括：
获得所述当前关键帧相对于所述目标地图的第二参考信息，所述第二参考信息为所述当前关键帧中的视觉特征信息与所述目标地图的预定路标信息之间的对应关系信息。
13.根据权利要求1-12中任一项所述的方法，其特征在于，所述目标计算设备为移动机器人，所述目标计算设备的位移数据为所述移动机器人的底盘编码器数据，所述目标计算设备的惯性测量数据为所述移动机器人的IMU数据。
14.根据权利要求1-12中任一项所述的方法，其特征在于，所述目标计算设备为安装有导航装置的轮椅或者安装有导航装置的汽车。
15.一种针对计算设备的定位装置，其特征在于，包括：
数据获得单元，用于获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；
当前关键帧获得单元，用于根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；
第一参考信息获得单元，用于获得上一个关键帧相对于目标地图的第一参考信息；
相对位移数据获得单元，用于获取所述目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；
第一位置信息获得单元，用于根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息。
16.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储针对计算设备的定位程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；
根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；
获得上一个关键帧相对于目标地图的第一参考信息；
获取所述目标计算设备在摄取上一关键帧时刻至当前关键帧时刻的相对位移数据；
根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第一位置信息。
17.一种定位方法，其特征在于，包括：
获得对应于目标计算设备的图像信息；
获取对应于所述目标计算设备的位移数据；
根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧；
获取上一个关键帧相对于目标地图的参考信息；
根据所述参考信息和所述位移数据，获得与所述当前关键帧相对应的所述目标计算设备的当前位置信息。
18.根据权利要求17所述的方法，其特征在于，所述根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧，包括：
如果所述目标计算设备在摄取上一关键帧时刻至当前时刻的相对位移数据达到或超过预定位移阈值，则将所述图像信息中的当前时刻所对应的图像信息作为当前关键帧。
19.一种定位装置，其特征在于，包括：
图像信息获得单元，用于获得对应于目标计算设备的图像信息；
位移数据获得单元，用于获取对应于所述目标计算设备的位移数据；
当前关键帧获得单元，用于根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧；
参考信息获得单元，用于获取上一个关键帧相对于目标地图的参考信息；
当前位置信息获得单元，用于根据所述参考信息和所述位移数据，获得与所述当前关键帧相对应的所述目标计算设备的当前位置信息。
20.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储定位程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得对应于目标计算设备的图像信息；
获取对应于所述目标计算设备的位移数据；
根据所述目标计算设备的位移数据，从所述图像数据中，获得当前关键帧；
获取上一个关键帧相对于目标地图的参考信息；
根据所述参考信息和所述位移数据，获得与所述当前关键帧相对应的所述目标计算设备的当前位置信息。
21.一种定位方法，其特征在于，包括：
按照第一定位方法对目标计算设备进行定位，获得第一定位结果；
在达到预定条件时，启动第二定位方法对所述目标计算设备进行定位，获得第二定位结果；所述第二定位方法包括：获得目标计算设备摄取的图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据；根据所述图像信息、所述目标计算设备的位移数据以及所述目标计算设备的惯性测量数据，获得当前关键帧；获得上一个关键帧相对于目标地图的第一参考信息；获取所述目标计算设备在摄取上一个关键帧时刻至当前关键帧时刻的相对位移数据；根据所述相对位移数据和所述第一参考信息，获得所述目标计算设备的第二定位结果；
根据所述第二定位结果对所述第一定位结果进行纠偏。
CN201910676351.7A 2019-07-25 2019-07-25 一种针对计算设备的定位方法以及装置 Pending CN112288803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910676351.7A CN112288803A (zh) 2019-07-25 2019-07-25 一种针对计算设备的定位方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910676351.7A CN112288803A (zh) 2019-07-25 2019-07-25 一种针对计算设备的定位方法以及装置

Publications (1)

Publication Number Publication Date
CN112288803A true CN112288803A (zh) 2021-01-29

Family

ID=74418829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910676351.7A Pending CN112288803A (zh) 2019-07-25 2019-07-25 一种针对计算设备的定位方法以及装置

Country Status (1)

Country Link
CN (1) CN112288803A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN107907131A (zh) * 2017-11-10 2018-04-13 珊口（上海）智能科技有限公司 定位系统、方法及所适用的机器人
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN108871311A (zh) * 2018-05-31 2018-11-23 北京字节跳动网络技术有限公司 位姿确定方法和装置
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN107907131A (zh) * 2017-11-10 2018-04-13 珊口（上海）智能科技有限公司 定位系统、方法及所适用的机器人
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN108871311A (zh) * 2018-05-31 2018-11-23 北京字节跳动网络技术有限公司 位姿确定方法和装置
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Similar Documents

Publication Publication Date Title
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
CN108955718B (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10762643B2 (en) Method for evaluating image data of a vehicle camera
CN111445526B (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR102016551B1 (ko) 위치 추정 장치 및 방법
US10307910B2 (en) Apparatus of recognizing position of mobile robot using search based correlative matching and method thereof
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN109993113A (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN112419374B (zh) 一种基于图像配准的无人机定位方法
EP2901236B1 (en) Video-assisted target location
CN111354043A (zh) 一种基于多传感器融合的三维姿态估计方法及装置
CN108780577A (zh) 图像处理方法和设备
Zhang et al. Vision-aided localization for ground robots
CN114693754B (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与系统
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
US20160055646A1 (en) Method for estimating the angular deviation of a mobile element relative to a reference direction
WO2021189783A1 (zh) 一种场景建立方法、系统、装置及自移动机器人
CN111220155A (zh) 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
US10977810B2 (en) Camera motion estimation
Li et al. RD-VIO: Robust visual-inertial odometry for mobile augmented reality in dynamic environments
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN115290073A (zh) 一种矿山井下非结构化特征下的slam方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination