CN110246182A - 基于视觉的全局地图定位方法、装置、存储介质和设备 - Google Patents
基于视觉的全局地图定位方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN110246182A CN110246182A CN201910459404.XA CN201910459404A CN110246182A CN 110246182 A CN110246182 A CN 110246182A CN 201910459404 A CN201910459404 A CN 201910459404A CN 110246182 A CN110246182 A CN 110246182A
- Authority
- CN
- China
- Prior art keywords
- map
- image
- pose
- global
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本公开涉及一种基于视觉的全局地图定位方法、装置、存储介质和设备，涉及无线定位技术领域，该方法包括：根据当前时刻终端采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿，根据第一初始位姿确定第一图像是否为关键帧，若第一图像为关键帧，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。通过将SLAM地图中得到的初始位姿作为全局地图定位的初始值，使得终端能够快速、准确地确定在全局地图中的位姿。
Description
技术领域
本公开涉及无线定位技术领域，具体地，涉及一种基于视觉的全局地图定位方法、装置、存储介质和设备。
背景技术
随着终端技术的不断发展，机器人已经进入到许多技术领域，以帮助人们完成各种作业任务。对于需要在工作过程中不断移动的机器人来说，为了更好的完成作业任务，需要获得准确的定位。若机器人在较小的区域内活动时，可以进行SLAM(英文：SimultaneousLocalization and Mapping，中文：即时定位与地图构建)，以得到机器人在SLAM地图中的位姿，若机器人在较大的区域内活动时，仅利用SLAM地图得到的位姿准确度较低，不利于使用，因此需要借助精度更高的全局地图来获取终端的准确定位。其中，全局地图存储在云端服务器中，云端服务器对全局地图进行维护、更新，机器人可以按照需求从云端服务器获取全局地图。现有技术中，终端在全局地图的定位，需要处理大量的数据，定位效率低，不利于在需要实时定位的应用场景中使用。
发明内容
本公开的目的是提供一种基于视觉的全局地图定位方法、装置、存储介质和设备，用以解决现有技术中全局地图定位效率低的问题。
为了实现上述目的，根据本公开实施例的第一方面，提供一种基于视觉的全局地图定位方法，所述方法包括：
根据当前时刻终端采集的第一图像，按照预设的SLAM算法确定所述终端在SLAM地图中的第一初始位姿；
根据所述第一初始位姿确定所述第一图像是否为关键帧；
若所述第一图像为关键帧，根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿。
可选地，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，包括：
根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第二初始位姿；
若所述全局地图中存在与所述第一图像匹配的目标图像，根据所述目标图像确定局部地图，所述全局地图包括所述局部地图；
根据所述局部地图和预设的视觉优化算法对所述第二初始位姿进行优化，以获取所述目标位姿。
可选地，所述全局地图包括多个按照预设顺序排列的地图图像，所述若所述全局地图中存在与所述第一图像匹配的目标图像，根据所述目标图像确定局部地图，包括：
若第一地图图像包含的特征信息，与所述第一图像包含的特征信息匹配，确定所述第一地图图像为所述目标图像，第一地图图像为所述多个地图图像中的任一地图图像，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种；
根据所述第一地图图像，和在所述第一地图图像之前，和/或之后的预设数量个地图图像，生成所述局部地图。
可选地，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，还包括：
根据所述目标位姿与所述第一初始位姿，更新所述转换关系。
可选地，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，还包括：
若所述全局地图中不存在与所述第一图像匹配的目标图像，将所述第二初始位姿作为所述目标位姿。
可选地，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，还包括：
若所述全局地图中不存在与所述第一图像匹配的目标图像，根据所述第二初始位姿和所述第一图像包含的特征信息，更新所述全局地图，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种。
可选地，所述方法还包括：
若所述第一图像不为关键帧，根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第三初始位姿；
根据历史局部地图和预设的优化算法对所述第三初始位姿进行优化，以获取所述目标位姿，所述历史局部地图为所述当前时刻的上一时刻确定的局部地图。
根据本公开实施例的第二方面，提供一种基于视觉的全局地图定位装置，所述装置包括：
SLAM定位模块，用于根据当前时刻终端采集的第一图像，按照预设的SLAM算法确定所述终端在SLAM地图中的第一初始位姿；
确定模块，用于根据所述第一初始位姿确定所述第一图像是否为关键帧；
全局定位模块，用于若所述第一图像为关键帧，根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿。
可选地，所述全局定位模块包括：
转换子模块，用于根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第二初始位姿；
确定子模块，用于若所述全局地图中存在与所述第一图像匹配的目标图像，根据所述目标图像确定局部地图，所述全局地图包括所述局部地图；
优化子模块，用于根据所述局部地图和预设的视觉优化算法对所述第二初始位姿进行优化，以获取所述目标位姿。
可选地，所述全局地图包括多个按照预设顺序排列的地图图像，所述确定子模块用于：
若第一地图图像包含的特征信息，与所述第一图像包含的特征信息匹配，确定所述第一地图图像为所述目标图像，第一地图图像为所述多个地图图像中的任一地图图像，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种；
根据所述第一地图图像，和在所述第一地图图像之前，和/或之后的预设数量个地图图像，生成所述局部地图。
可选地，所述全局定位模块还包括：
第一更新子模块，用于根据所述目标位姿与所述第一初始位姿，更新所述转换关系。
可选地，所述全局定位模块还包括：
定位子模块，用于若所述全局地图中不存在与所述第一图像匹配的目标图像，将所述第二初始位姿作为所述目标位姿。
可选地，所述全局定位模块还包括：
第二更新子模块，用于若所述全局地图中不存在与所述第一图像匹配的目标图像，根据所述第二初始位姿和所述第一图像包含的特征信息，更新所述全局地图，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种。
可选地，所述装置还包括：
转换模块，用于若所述第一图像不为关键帧，根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第三初始位姿；
所述全局定位模块，还用于根据历史局部地图和预设的优化算法对所述第三初始位姿进行优化，以获取所述目标位姿，所述历史局部地图为所述当前时刻的上一时刻确定的局部地图。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面提供的基于视觉的全局地图定位方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面提供的基于视觉的全局地图定位方法的步骤。
通过上述技术方案，本公开首先根据当前时刻采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿，之后根据第一初始位姿判断第一图像是否为关键帧，当第一图像为关键帧时，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。通过将SLAM地图中得到的初始位姿作为全局地图定位的初始值，使得终端能够快速、准确地确定在全局地图中的位姿。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种基于视觉的全局地图定位方法的流程图；
图2是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图；
图3是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图；
图4是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图；
图5是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图；
图6是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图；
图7是根据一示例性实施例示出的一种基于视觉的全局地图定位装置的框图；
图8是根据一示例性实施例示出的另一种基于视觉的全局地图定位装置的框图；
图9是根据一示例性实施例示出的另一种基于视觉的全局地图定位装置的框图；
图10是根据一示例性实施例示出的另一种基于视觉的全局地图定位装置的框图；
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的基于视觉的全局地图定位方法、装置、存储介质和设备之前，首先对本公开各个实施例所涉及应用场景进行介绍。该应用场景中的终端可以是任一种需要进行全局地图定位的机器人、无人机、车辆等，该终端上可以设置有多种信息采集设备，来获取终端所处物理环境的环境信息。其中信息采集设备例如可以包括：图像采集装置和IMU(英文：Inertial Measurement Unit，中文：惯性测量单元)。其中，图像采集装置例如可以是摄像头或相机，IMU中可以包括：陀螺仪、加速度计等传感器。在本实施例中，涉及两种地图：SLAM地图和全局地图，其中，SLAM地图为终端根据信息采集设备实时采集到的环境信息绘制出的地图，可以理解为以终端本身作为SLAM地图中的坐标系的原点。全局地图为一个或多个终端采集到的多个SLAM地图，按照一定的规则进行整合得到的，包含了较大区域，精度较高的全局地图，全局地图可以存储在服务器中，并由服务器对全局地图进行维护和更新，终端可以在需要进行定位之前从服务器中获取全局地图，服务器也可以按照预设的周期将最新的全局地图发送至终端，其中，服务器可以是具有物理实体的服务器，也可以是云端服务器。
图1是根据一示例性实施例示出的一种基于视觉的全局地图定位方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，根据当前时刻终端采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿。
举例来说，在终端进行全局地图定位时，首先通过终端上设置的图像采集单元采集当前时刻终端所处物理环境的第一图像，还可以进一步通过IMU采集当前时刻终端对应的运动信息(例如：终端的方位、位置、速度、偏置量)。再按照预设的SLAM算法对第一图像进行处理，以定位终端，即获得终端在当前时刻确定的SLAM地图，和终端在该SLAM地图中的第一初始位姿。预设的SLAM算法可以是V-SLAM(英文：Visual-SLAM)或VI-SLAM(英文：VisualInertial-SLAM)中的任一种算法，例如：MSCKF(英文：Multi-State Constraint KalmanFilter，中文：多状态约束卡尔曼滤波器)、ROVIO(英文：Robust Visual InertialOdometry，中文：鲁棒视觉惯性里程计)算法、VINS-Mono(英文：Monocular Visual-Inertial State Estimator)算法等。其中，SLAM地图中的坐标系是以终端为原点的，第一初始位姿为SLAM地图中的位置(坐标值)和方位(角度)。
步骤102，根据第一初始位姿确定第一图像是否为关键帧。
示例的，根据第一图像是否为关键帧，确定终端在全局地图中的位姿的方式可以分为两大类。可以理解为，若第一图像为关键帧，表示当前时刻终端所处物理环境相比于上一时刻发生了较大的改变，需要结合SLAM地图和全局地图之间的位置关系，来确定终端在全局地图中的位姿。若第一图像不为关键帧，表示当前时刻所处物理环境与上一时刻比较接近，因此可以直接利用上一时刻的终端在全局地图中的位姿来确定当前时刻终端在全局地图中的位姿。
判断第一图像是否为关键帧，可以将第一初始位姿与上一关键帧时刻获取的图像对应的位姿进行比较，当位置的变化量超过了预设的距离阈值，和/或方位的变化量超过了预设的角度阈值，那么确定该第一图像为关键帧。
步骤103，若第一图像为关键帧，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。
进一步的，当第一图像为关键帧时，根据第一初始位姿和预设的转换关系，将SLAM地图中的第一初始位姿转为全局地图中的位姿，之后再结合第一图像中包含的特征信息(例如：特征点、特征点的描述子和路标点等)更新全局地图，并从全局地图中选取第一图像对应的局部地图。最后按照第一图像和局部地图中所包含的视觉约束关系对该位姿进行优化，以得到目标位姿。相比于现有技术中直接根据全局地图对终端进行定位，本公开中将SLAM地图中的初始位姿作为全局地图定位的初始值，能够快速、准确地确定终端在全局地图中的位姿。
其中，转换关系为SLAM地图和全局地图之间的转换关系，可以是预先确定的。例如终端按照步骤101的方式以一定的时间间隔采集图像，并根据采集到的图像确定终端的初始位姿，同时终端将采集到图像，与全局地图中的所有关键帧比较。若t时刻终端采集到的图像与全局地图中某个关键帧匹配，表示终端在t时刻发生了重定位，此时能够得到两个位姿：t时刻终端在SLAM地图中的初始位姿Xt SLAM，和t时刻终端在全局地图的位姿Xt MAP，因此可以确定SLAM地图和全局地图之间的转换关系X＝Xt MAP*(Xt SLAM)-1。
综上所述，本公开首先根据当前时刻采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿，之后根据第一初始位姿判断第一图像是否为关键帧，当第一图像为关键帧时，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。通过将SLAM地图中得到的初始位姿作为全局地图定位的初始值，使得终端能够快速、准确地确定在全局地图中的位姿。
图2是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图，如图2所示，步骤103的实现方式可以包括：
步骤1031，根据第一初始位姿和转换关系，确定终端在全局地图中的第二初始位姿。
举例来说，以第一初始位姿为转换关系为X来举例，那么首先确定终端在全局地图中的第二初始位姿之后，根据全局地图中是否存在与第一图像匹配的目标图像，有两种确定目标位姿的方式。若全局地图中存在与第一图像匹配的目标图像，表示终端在当前时刻与全局地图发生了重定位，可以理解为终端所处物理环境为已知环境(即全局地图中涵盖的环境)。若全局地图中不存在目标图像，表示终端在当前时刻与全局地图没有发生重定位，可以理解为终端所处物理环境为未知环境(即全局地图中未涵盖的环境)。
步骤1032，若全局地图中存在与第一图像匹配的目标图像，根据目标图像确定局部地图，全局地图包括局部地图。
具体的，判断全局地图中是否存在与第一图像匹配的目标图像的实现方式可以是：
1)以全局地图中包括多个按照预设顺序排列的地图图像(每个地图图像均为关键帧)，其中预设顺序可以是获取地图图像的时间先后顺序。例如可以通过DBoW(英文：Distributed Bag Of Words，中文：离散词袋模型)算法来检测多个地图图像中是否存在与第一图像匹配的第一地图图像。可以理解为第一地图图像包含的特征信息，与第一图像包含的特征信息匹配，且第一地图图像包含的位姿与第一初始位姿匹配，此时可以确定第一地图图像为目标图像，其中特征信息包括特征点、特征点的描述子、路标点中的至少一种，还可以包括特征点与路标点的对应关系。其中，特征点可以是多个图像中满足预设条件的点，例如每个特征点与相邻像素点之间的亮度差值大于预设的亮度阈值的点。
进一步的，由于全局地图中包含的数据量很大，如果直接根据全局地图对第二初始位姿进行优化，相应的运算量也会很大，耗时很长，因此可以从全局地图中选取一部分数据作为局部地图来对第二初始位姿进行优化。生成局部地图的方式可以是：
2)根据第一地图图像，和在第一地图图像之前，和/或之后的预设数量个地图图像，生成局部地图。
示例的，第一地图图像与第一图像匹配，表示第一地图图像中涵盖了当前时刻终端所处的物理环境，因此，可以选择全局地图中的第一地图图像，和第一地图图像附近的预设数量个地图图像生成局部地图，局部地图能够涵盖终端所处的物理环境，和该物理环境附近的物理环境。例如，可以选择第一地图图像、第一地图图像之前的5帧地图图像，和第一地图图像之后的5帧地图图像来生成局部地图。
步骤1033，根据局部地图和预设的视觉优化算法对第二初始位姿进行优化，以获取目标位姿。
举例来说，在确定局部地图和第二初始位姿之后，可以利用局部地图对第二初始位姿进行BA(英文：Bundle Adjustment，中文：光束法平差)优化，以获得目标位姿。可以理解为利用局部地图中包含的视觉约束关系优化第二初始位姿，将视觉反投影误差最小时对应的位姿作为目标位姿。
图3是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图，如图3所示，步骤103还可以包括：
步骤1034，根据目标位姿与第一初始位姿，更新转换关系。
示例的，由于终端在定位过程中一直在移动，SLAM地图和全局地图之间的转换关系可能会有误差，因此还可以根据目标位姿和第一初始位姿来更新转换关系。以目标位姿为第一初始位姿为为例，那么更新后的转换关系更新后的转换关系既可以用于当前时刻的定位，也可以用于当前时刻之后的定位
图4是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图，如图4所示，步骤103还可以包括：
步骤1035，若全局地图中不存在与第一图像匹配的目标图像，将第二初始位姿作为目标位姿。
示例的，如果全局地图中不存在目标图像(即终端所处物理环境为未知环境)，那么可以直接将步骤1031中确定的第二初始位姿作为目标位姿。相比于现有技术中，终端遇到未知环境会无法定位的问题，本实施例能够利用SLAM地图中的初始位姿和转换关系，得到目标位姿，从而为终端提供具有参考价值的定位。
图5是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图，如图5所示，步骤103还可以包括：
步骤1036，若全局地图中不存在与第一图像匹配的目标图像，根据第二初始位姿和第一图像包含的特征信息，更新全局地图，特征信息包括特征点、特征点的描述子、路标点中的至少一种。
进一步的，如果终端所处物理环境为未知环境，还可以将终端采集的第一图像和第二初始位姿，存入全局地图中，以更新全局地图，使得终端下一次处于相同位置时，能够获得更准确的定位。
图6是根据一示例性实施例示出的另一种基于视觉的全局地图定位方法的流程图，如图6所示，该方法还可以包括：
步骤104，若第一图像不为关键帧，根据第一初始位姿和转换关系，确定终端在全局地图中的第三初始位姿。
步骤105，根据历史局部地图和预设的优化算法对第三初始位姿进行优化，以获取目标位姿，历史局部地图为当前时刻的上一时刻确定的局部地图。
举例来说，若第一图像不为关键帧，表示当前时刻所处物理环境与上一时刻比较接近，可以先根据第一初始位姿和转换关系，确定第三初始位姿，然后再利用当前时刻的上一时刻确定的局部地图对第三初始位姿进行BA优化，以获得目标位姿。
需要说明的是，本公开中各个实施例所涉及的全局地图，可以是由云端服务器预先确定，并存储在终端中，还可以通过步骤1036在终端中进行更新，即全局地图的维护可以分为离线维护和在线维护两部分。其中，在线维护是在终端上进行的(例如图5所示的实施例)，离线维护可以是终端在结束定位之后，将整个定位过程中采集到的多个图像中的多个关键帧对应的位姿、关键帧包含的特征信息存储为多个SLAM地图，并将多个SLAM地图发送至云端服务器，由云端服务器将多个SLAM地图进行融合，以得到全局地图。云端服务器对多个SLAM地图进行融合，可以通过以下步骤来实现：
首先，将多个SLAM地图进行重新三角化、BA优化、回环检测优化，并去除冗余的关键帧，以得到优化后的多个SLAM地图。
之后，根据优化后的多个SLAM地图中每个SLAM地图之间的公共区域，计算每个SLAM地图之间的相对位置，从而将多个SLAM地图拼接为一个全局地图。
然后，对全局地图中的公共区域进行BA优化，对全局地图中的回环区域进行回环检测优化，以得到初步优化的全局地图。
最后，去除初步优化的全局地图中冗余的关键帧，得到高精度的全局地图。
综上所述，本公开首先根据当前时刻采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿，之后根据第一初始位姿判断第一图像是否为关键帧，当第一图像为关键帧时，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。通过将SLAM地图中得到的初始位姿作为全局地图定位的初始值，使得终端能够快速、准确地确定在全局地图中的位姿。
图7是根据一示例性实施例示出的一种基于视觉的全局地图定位装置的框图，如图7所示，该装置200包括：
SLAM定位模块201，用于根据当前时刻终端采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿。
确定模块202，用于根据第一初始位姿确定第一图像是否为关键帧。
全局定位模块203，用于若第一图像为关键帧，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。
图8是根据一示例性实施例示出的另一种基于视觉的全局地图定位装置的框图，如图8所示，全局定位模块203可以包括：
转换子模块2031，用于根据第一初始位姿和转换关系，确定终端在全局地图中的第二初始位姿。
确定子模块2032，用于若全局地图中存在与第一图像匹配的目标图像，根据目标图像确定局部地图，全局地图包括局部地图。
优化子模块2033，用于根据局部地图和预设的视觉优化算法对第二初始位姿进行优化，以获取目标位姿。
可选地，确定子模块2032可以用于执行以下步骤：
1)若第一地图图像包含的特征信息，与第一图像包含的特征信息匹配，确定第一地图图像为目标图像，第一地图图像为多个地图图像中的任一地图图像，特征信息包括特征点、特征点的描述子、路标点中的至少一种。
2)根据第一地图图像，和在第一地图图像之前，和/或之后的预设数量个地图图像，生成局部地图。
图9是根据一示例性实施例示出的另一种基于视觉的全局地图定位装置的框图，如图9所示，全局定位模块203还可以包括：
第一更新子模块2034，用于根据目标位姿与第一初始位姿，更新转换关系。
进一步的，全局定位模块203还可以包括：
定位子模块2035，用于若全局地图中不存在与第一图像匹配的目标图像，将第二初始位姿作为目标位姿。
第二更新子模块2036，用于若全局地图中不存在与第一图像匹配的目标图像，根据第二初始位姿和第一图像包含的特征信息，更新全局地图，特征信息包括特征点、特征点的描述子、路标点中的至少一种。
图10是根据一示例性实施例示出的另一种基于视觉的全局地图定位装置的框图，如图10所示，该装置200还可以包括：
转换模块204，用于若第一图像不为关键帧，根据第一初始位姿和转换关系，确定终端在全局地图中的第三初始位姿。
全局定位模块203，还用于根据历史局部地图和预设的优化算法对第三初始位姿进行优化，以获取目标位姿，历史局部地图为当前时刻的上一时刻确定的局部地图。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先根据当前时刻采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿，之后根据第一初始位姿判断第一图像是否为关键帧，当第一图像为关键帧时，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。通过将SLAM地图中得到的初始位姿作为全局地图定位的初始值，使得终端能够快速、准确地确定在全局地图中的位姿。
图11是根据一示例性实施例示出的一种电子设备300的框图。如图11所示，该电子设备300可以包括：处理器301，存储器302。该电子设备300还可以包括多媒体组件303，输入/输出(I/O)接口304，以及通信组件305中的一者或多者。
其中，处理器301用于控制该电子设备300的整体操作，以完成上述的基于视觉的全局地图定位方法中的全部或部分步骤。存储器302用于存储各种类型的数据以支持在该电子设备300的操作，这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该电子设备300与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件305可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于视觉的全局地图定位方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于视觉的全局地图定位方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器302，上述程序指令可由电子设备300的处理器301执行以完成上述的基于视觉的全局地图定位方法。
综上所述，本公开首先根据当前时刻采集的第一图像，按照预设的SLAM算法确定终端在SLAM地图中的第一初始位姿，之后根据第一初始位姿判断第一图像是否为关键帧，当第一图像为关键帧时，根据第一初始位姿和预设的转换关系，确定终端在全局地图中的目标位姿。通过将SLAM地图中得到的初始位姿作为全局地图定位的初始值，使得终端能够快速、准确地确定在全局地图中的位姿。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (16)
1.一种基于视觉的全局地图定位方法，其特征在于，所述方法包括：
根据当前时刻终端采集的第一图像，按照预设的SLAM算法确定所述终端在SLAM地图中的第一初始位姿；
根据所述第一初始位姿确定所述第一图像是否为关键帧；
若所述第一图像为关键帧，根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，包括：
根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第二初始位姿；
若所述全局地图中存在与所述第一图像匹配的目标图像，根据所述目标图像确定局部地图，所述全局地图包括所述局部地图；
根据所述局部地图和预设的视觉优化算法对所述第二初始位姿进行优化，以获取所述目标位姿。
3.根据权利要求2所述的方法，其特征在于，所述全局地图包括多个按照预设顺序排列的地图图像，所述若所述全局地图中存在与所述第一图像匹配的目标图像，根据所述目标图像确定局部地图，包括：
若第一地图图像包含的特征信息，与所述第一图像包含的特征信息匹配，确定所述第一地图图像为所述目标图像，第一地图图像为所述多个地图图像中的任一地图图像，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种；
根据所述第一地图图像，和在所述第一地图图像之前，和/或之后的预设数量个地图图像，生成所述局部地图。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，还包括：
根据所述目标位姿与所述第一初始位姿，更新所述转换关系。
5.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，还包括：
若所述全局地图中不存在与所述第一图像匹配的目标图像，将所述第二初始位姿作为所述目标位姿。
6.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿，还包括：
若所述全局地图中不存在与所述第一图像匹配的目标图像，根据所述第二初始位姿和所述第一图像包含的特征信息，更新所述全局地图，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
若所述第一图像不为关键帧，根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第三初始位姿；
根据历史局部地图和预设的优化算法对所述第三初始位姿进行优化，以获取所述目标位姿，所述历史局部地图为所述当前时刻的上一时刻确定的局部地图。
8.一种基于视觉的全局地图定位装置，其特征在于，所述装置包括：
SLAM定位模块，用于根据当前时刻终端采集的第一图像，按照预设的SLAM算法确定所述终端在SLAM地图中的第一初始位姿；
确定模块，用于根据所述第一初始位姿确定所述第一图像是否为关键帧；
全局定位模块，用于若所述第一图像为关键帧，根据所述第一初始位姿和预设的转换关系，确定所述终端在全局地图中的目标位姿。
9.根据权利要求8所述的装置，其特征在于，所述全局定位模块包括：
转换子模块，用于根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第二初始位姿；
确定子模块，用于若所述全局地图中存在与所述第一图像匹配的目标图像，根据所述目标图像确定局部地图，所述全局地图包括所述局部地图；
优化子模块，用于根据所述局部地图和预设的视觉优化算法对所述第二初始位姿进行优化，以获取所述目标位姿。
10.根据权利要求9所述的装置，其特征在于，所述全局地图包括多个按照预设顺序排列的地图图像，所述确定子模块用于：
若第一地图图像包含的特征信息，与所述第一图像包含的特征信息匹配，确定所述第一地图图像为所述目标图像，第一地图图像为所述多个地图图像中的任一地图图像，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种；
根据所述第一地图图像，和在所述第一地图图像之前，和/或之后的预设数量个地图图像，生成所述局部地图。
11.根据权利要求9或10所述的装置，其特征在于，所述全局定位模块还包括：
第一更新子模块，用于根据所述目标位姿与所述第一初始位姿，更新所述转换关系。
12.根据权利要求9或10所述的装置，其特征在于，所述全局定位模块还包括：
定位子模块，用于若所述全局地图中不存在与所述第一图像匹配的目标图像，将所述第二初始位姿作为所述目标位姿。
13.根据权利要求9或10所述的装置，其特征在于，所述全局定位模块还包括：
第二更新子模块，用于若所述全局地图中不存在与所述第一图像匹配的目标图像，根据所述第二初始位姿和所述第一图像包含的特征信息，更新所述全局地图，所述特征信息包括特征点、特征点的描述子、路标点中的至少一种。
14.根据权利要求8-13中任一项所述的装置，其特征在于，所述装置还包括：
转换模块，用于若所述第一图像不为关键帧，根据所述第一初始位姿和所述转换关系，确定所述终端在所述全局地图中的第三初始位姿；
所述全局定位模块，还用于根据历史局部地图和预设的优化算法对所述第三初始位姿进行优化，以获取所述目标位姿，所述历史局部地图为所述当前时刻的上一时刻确定的局部地图。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
16.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910459404.XA CN110246182B (zh) | 2019-05-29 | 2019-05-29 | 基于视觉的全局地图定位方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910459404.XA CN110246182B (zh) | 2019-05-29 | 2019-05-29 | 基于视觉的全局地图定位方法、装置、存储介质和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110246182A true CN110246182A (zh) | 2019-09-17 |
| CN110246182B CN110246182B (zh) | 2021-07-30 |
Family
ID=67885343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910459404.XA Active CN110246182B (zh) | 2019-05-29 | 2019-05-29 | 基于视觉的全局地图定位方法、装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110246182B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784776A (zh) * | 2020-08-03 | 2020-10-16 | Oppo广东移动通信有限公司 | 视觉定位方法及装置、计算机可读介质和电子设备 |
| CN112004196A (zh) * | 2020-08-24 | 2020-11-27 | 唯羲科技有限公司 | 定位方法、装置、终端及计算机存储介质 |
| WO2021051361A1 (zh) * | 2019-09-19 | 2021-03-25 | 深圳市大疆创新科技有限公司 | 高精度地图定位方法、系统、平台及计算机可读存储介质 |
| CN112634395A (zh) * | 2019-09-24 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 一种基于slam的地图构建方法及装置 |
| CN112734850A (zh) * | 2021-01-22 | 2021-04-30 | 北京华捷艾米科技有限公司 | 一种协同slam方法、装置、计算机设备及存储介质 |
| CN112785700A (zh) * | 2019-11-08 | 2021-05-11 | 华为技术有限公司 | 虚拟物体显示方法、全局地图更新方法以及设备 |
| CN113063426A (zh) * | 2020-01-02 | 2021-07-02 | 北京初速度科技有限公司 | 一种位置信息确定方法及装置 |
| CN113514058A (zh) * | 2021-04-23 | 2021-10-19 | 北京华捷艾米科技有限公司 | 融合msckf和图优化的视觉slam定位方法及装置 |
| CN113607160A (zh) * | 2021-08-24 | 2021-11-05 | 湖南国科微电子股份有限公司 | 视觉定位恢复方法、装置、机器人和可读存储介质 |
| CN115952248A (zh) * | 2022-12-20 | 2023-04-11 | 阿波罗智联(北京)科技有限公司 | 终端设备的位姿处理方法、装置、设备、介质及产品 |
| CN116518961A (zh) * | 2023-06-29 | 2023-08-01 | 煤炭科学研究总院有限公司 | 大规模固定视觉传感器全局位姿的确定方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101008566A (zh) * | 2007-01-18 | 2007-08-01 | 上海交通大学 | 基于地面纹理的智能车视觉装置及其全局定位方法 |
| US20160231121A1 (en) * | 2007-05-31 | 2016-08-11 | Trx Systems, Inc. | Crowd sourced mapping with robust structural features |
| CN107438752A (zh) * | 2016-12-23 | 2017-12-05 | 深圳前海达闼云端智能科技有限公司 | 定位方法、终端和服务器 |
| CN206714898U (zh) * | 2016-09-30 | 2017-12-08 | 深圳市镭神智能系统有限公司 | 一种导航避障轮椅 |
| CN108759833A (zh) * | 2018-04-25 | 2018-11-06 | 中国科学院合肥物质科学研究院 | 一种基于先验地图的智能车辆定位方法 |
| CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN109141437A (zh) * | 2018-09-30 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 一种机器人全局重定位方法 |
-
2019
- 2019-05-29 CN CN201910459404.XA patent/CN110246182B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101008566A (zh) * | 2007-01-18 | 2007-08-01 | 上海交通大学 | 基于地面纹理的智能车视觉装置及其全局定位方法 |
| US20160231121A1 (en) * | 2007-05-31 | 2016-08-11 | Trx Systems, Inc. | Crowd sourced mapping with robust structural features |
| CN206714898U (zh) * | 2016-09-30 | 2017-12-08 | 深圳市镭神智能系统有限公司 | 一种导航避障轮椅 |
| CN107438752A (zh) * | 2016-12-23 | 2017-12-05 | 深圳前海达闼云端智能科技有限公司 | 定位方法、终端和服务器 |
| CN108759833A (zh) * | 2018-04-25 | 2018-11-06 | 中国科学院合肥物质科学研究院 | 一种基于先验地图的智能车辆定位方法 |
| CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN109141437A (zh) * | 2018-09-30 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 一种机器人全局重定位方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021051361A1 (zh) * | 2019-09-19 | 2021-03-25 | 深圳市大疆创新科技有限公司 | 高精度地图定位方法、系统、平台及计算机可读存储介质 |
| CN112634395B (zh) * | 2019-09-24 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 一种基于slam的地图构建方法及装置 |
| CN112634395A (zh) * | 2019-09-24 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 一种基于slam的地图构建方法及装置 |
| CN112785700A (zh) * | 2019-11-08 | 2021-05-11 | 华为技术有限公司 | 虚拟物体显示方法、全局地图更新方法以及设备 |
| WO2021088497A1 (zh) * | 2019-11-08 | 2021-05-14 | 华为技术有限公司 | 虚拟物体显示方法、全局地图更新方法以及设备 |
| CN113063426A (zh) * | 2020-01-02 | 2021-07-02 | 北京初速度科技有限公司 | 一种位置信息确定方法及装置 |
| CN113063426B (zh) * | 2020-01-02 | 2022-12-13 | 北京魔门塔科技有限公司 | 一种位置信息确定方法及装置 |
| CN111784776A (zh) * | 2020-08-03 | 2020-10-16 | Oppo广东移动通信有限公司 | 视觉定位方法及装置、计算机可读介质和电子设备 |
| CN111784776B (zh) * | 2020-08-03 | 2023-09-26 | Oppo广东移动通信有限公司 | 视觉定位方法及装置、计算机可读介质和电子设备 |
| CN112004196A (zh) * | 2020-08-24 | 2020-11-27 | 唯羲科技有限公司 | 定位方法、装置、终端及计算机存储介质 |
| CN112004196B (zh) * | 2020-08-24 | 2021-10-29 | 唯羲科技有限公司 | 定位方法、装置、终端及计算机存储介质 |
| CN112734850A (zh) * | 2021-01-22 | 2021-04-30 | 北京华捷艾米科技有限公司 | 一种协同slam方法、装置、计算机设备及存储介质 |
| CN113514058A (zh) * | 2021-04-23 | 2021-10-19 | 北京华捷艾米科技有限公司 | 融合msckf和图优化的视觉slam定位方法及装置 |
| CN113607160A (zh) * | 2021-08-24 | 2021-11-05 | 湖南国科微电子股份有限公司 | 视觉定位恢复方法、装置、机器人和可读存储介质 |
| CN113607160B (zh) * | 2021-08-24 | 2023-10-31 | 湖南国科微电子股份有限公司 | 视觉定位恢复方法、装置、机器人和可读存储介质 |
| CN115952248A (zh) * | 2022-12-20 | 2023-04-11 | 阿波罗智联(北京)科技有限公司 | 终端设备的位姿处理方法、装置、设备、介质及产品 |
| CN116518961A (zh) * | 2023-06-29 | 2023-08-01 | 煤炭科学研究总院有限公司 | 大规模固定视觉传感器全局位姿的确定方法和装置 |
| CN116518961B (zh) * | 2023-06-29 | 2023-09-01 | 煤炭科学研究总院有限公司 | 大规模固定视觉传感器全局位姿的确定方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110246182B (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246182A (zh) | 基于视觉的全局地图定位方法、装置、存储介质和设备 | |
| CN110118554B (zh) | 基于视觉惯性的slam方法、装置、存储介质和设备 | |
| CN107748569B (zh) | 用于无人机的运动控制方法、装置及无人机系统 | |
| CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
| Wu et al. | A Square Root Inverse Filter for Efficient Vision-aided Inertial Navigation on Mobile Devices. | |
| JP6100380B2 (ja) | 特に装置に係る視覚ベースの位置決めに使用される画像処理方法 | |
| CN104501814B (zh) | 一种基于视觉和惯性信息的姿态与位置估计方法 | |
| US20130162785A1 (en) | Method and system for fusing data arising from image sensors and from motion or position sensors | |
| US20060155466A1 (en) | Mobile terminal with navigation function | |
| CN110160542A (zh) | 车道线的定位方法和装置、存储介质、电子装置 | |
| EP3852065A1 (en) | Data processing method and apparatus | |
| KR101985344B1 (ko) | 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| CN109059907A (zh) | 轨迹数据处理方法、装置、计算机设备和存储介质 | |
| CN108871311A (zh) | 位姿确定方法和装置 | |
| CN111959495A (zh) | 车辆的控制方法、装置及车辆 | |
| CN109186596A (zh) | Imu测量数据生成方法、系统、计算机装置及可读存储介质 | |
| CN112945227A (zh) | 定位方法和装置 | |
| CN114120301A (zh) | 一种位姿确定方法、装置及设备 | |
| CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
| CN109798889A (zh) | 基于单目vins系统的优化方法、装置、存储介质及电子设备 | |
| CN111783611B (zh) | 无人车的定位方法、装置、无人车及存储介质 | |
| CN107993247B (zh) | 追踪定位方法、系统、介质和计算设备 | |
| CN114299192B (zh) | 定位建图的方法、装置、设备和介质 | |
| CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN113063424B (zh) | 一种商场内导航方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210302 Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai Applicant after: Dalu Robot Co.,Ltd. Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai Patentee after: Dayu robot Co.,Ltd. Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai Patentee before: Dalu Robot Co.,Ltd. |
|
| CP03 | Change of name, title or address |