CN112233180B - 基于地图的slam快速初始化方法、装置和电子设备 - Google Patents
基于地图的slam快速初始化方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112233180B CN112233180B CN202011149701.3A CN202011149701A CN112233180B CN 112233180 B CN112233180 B CN 112233180B CN 202011149701 A CN202011149701 A CN 202011149701A CN 112233180 B CN112233180 B CN 112233180B
- Authority
- CN
- China
- Prior art keywords
- video
- map
- frame
- points
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011423 initialization method Methods 0.000 title claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
- G09B29/005—Map projections or methods associated specifically therewith
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了基于地图的SLAM快速初始化方法、装置和电子设备，该方法包括：对第一视频进行帧间位姿估计，提取第一视频的关键点、关键帧、地图点和位姿信息，进而生成第一地图，并加载第一地图；根据第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到第二视频与第一地图的关键帧之间的联系信息、第二视频的视频帧与第一地图的地图帧之间的相似度关系和第二视频的优化位姿信息；根据第一地图的关键帧之间的联系信息、第二视频的关键帧与第一地图的地图帧之间的相似度关系和第二视频的优化位姿信息完成初始化。本发明可以实现SLAM的快速初始化，提升地图复用能力，减少SLAM系统初始化资源消耗。
Description
技术领域
本发明实施例涉及即时定位与地图构建(Simultaneous Localization AndMapping，SLAM)领域，具体涉及基于地图的SLAM快速初始化方法、装置和电子设备。
背景技术
随着计算机视觉技术的发展，SLAM技术被广泛应用，如AR，自动驾驶以及机器人或者无人机的定位导航等领域。
SLAM中关键的问题包括传感器依据环境信息准确的估计自身状态。而SLAM系统中尤为关键的一步即是进行SLAM系统初始化。对于视觉SLAM来说，初始化工作即是利用环境信息建立相机初始位姿的旋转与平移位姿信息，初始化过程往往耗费较大资源，并且由于SLAM系统采用随机初始化策略，每次初始化坐标系都不同。如何进行减少SLAM系统初始化资源消耗是一种亟待解决的问题。
发明内容
本发明实施例的目的在于提供基于地图的SLAM快速初始化方法、装置和电子设备，用以解决现有SLAM系统初始化速度慢、消耗资源多的问题。
为实现上述目的，本发明实施例主要提供如下技术方案：
第一方面，本发明实施例提供了一种基于地图的SLAM快速初始化方法，包括：
对第一视频进行帧间位姿估计，提取所述第一视频的关键点、关键帧、地图点和位姿信息，根据所述第一视频的关键点、关键帧、地图点和位姿信息，以及所述第一视频生成第一地图，并加载所述第一地图；
根据所述第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息；
根据所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的关键帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息完成初始化；
其中，所述第一地图的地图帧为包括所述第一地图的地图点的视频帧。
根据本发明的一个实施例，所述对第一视频进行帧间位姿估计，提取所述第一视频的关键点、关键帧、地图点和位姿关系，根据所述第一视频的关键点、关键帧、地图点和位姿信息，以及所述第一视频生成第一地图，包括：
获取所述第一视频的第一帧图像的特征点，并获取所述第一视频的相邻两帧图像之间的特征点的描述子；
根据所述第一视频的相邻两帧图像之间的特征点的描述子，采用三角化的方式将所述第一视频的二维点重投影为三维的地图点；
将所述第一视频中具有共视关系的特征点作为路标点，根据所述路标点得到所述位姿信息；
将所述路标点作为关键点，将所述路标点所在的视频帧作为关键帧，根据所述第一视频、所述关键点、所述关键帧、所述地图点和所述位姿信息生成所述第一地图。
根据本发明的一个实施例，所述根据所述第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的关键帧与所述第一地图的地图帧之间的相似度关系和所述第二地图的优化位姿信息，包括：
提取所述第二视频的图像特征与所述第一地图进行特征点匹配，匹配成功后得到所述第二视频与所述第一地图的关键帧之间的联系信息；
对所述第二视频进行地点识别与回环检测，得到所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系；
计算所述第二视频的视频帧的词袋模型BOW，然后对所述第二视频进行当前地图的匹配重定位；
根据所述匹配重定位的结果对所述第二视频进行优化估计得到所述第二视频的初始优化位姿信息。
根据本发明的一个实施例，在得到所述第二视频的初始优化位姿信息之后，还包括：
根据第二视频的初始优化位姿信息对所述第二视频的每个关键帧进行重投影误差优化，得到所述第二视频的最终优化位姿信息。
第二方面，本发明实施例还提供一种基于地图的SLAM快速初始化装置，包括：
获取模块，用于获取第一视频和第二视频；
控制处理模块，用于对所述第一视频进行帧间位姿估计，提取所述第一视频的关键点、关键帧、地图点和位姿信息，根据所述第一视频的关键点、关键帧、地图点和位姿信息，以及所述第一视频生成第一地图，并加载所述第一地图；所述控制处理模块还用于根据所述第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息；所述控制处理模块还用于根据所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的关键帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息完成初始化；其中，所述第一地图的地图帧为包括所述第一地图的地图点的视频帧。
根据本发明的一个实施例，所述控制处理模块具体用于提取所述第一视频的第一帧图像的特征点，并提取所述第一视频的相邻两帧图像之间的特征点的描述子；根据所述第一视频的相邻两帧图像之间的特征点的描述子，采用三角化的方式将所述第一视频的二维点重投影为三维的地图点；将所述第一视频中具有共视关系的特征点作为路标点，根据所述路标点得到所述位姿信息；将所述路标点作为关键点，将所述路标点所在的视频帧作为关键帧，根据所述第一视频、所述关键点、所述关键帧、所述地图点和所述位姿信息生成所述第一地图。
根据本发明的一个实施例，所述控制处理模块还用于提取所述第二视频的图像特征与所述第一地图进行特征点匹配，匹配成功后得到所述第二视频与所述第一地图的关键帧之间的联系信息；对所述第二视频进行地点识别与回环检测，得到所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系；计算所述第二视频的视频帧的BOW，然后对所述第二视频进行当前地图的匹配重定位；根据所述匹配重定位的结果对所述第二视频进行优化估计得到所述第二视频的初始优化位姿信息。
根据本发明的一个实施例，所述控制处理模块还用于在得到所述第二视频的初始优化位姿信息之后，根据第二视频的初始优化位姿信息对所述第二视频的每个关键帧进行重投影误差优化，得到所述第二视频的最终优化位姿信息。
第三方面，本发明实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的基于地图的SLAM快速初始化方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于被执行如第一方面所述的基于地图的SLAM快速初始化方法。
本发明实施例提供的技术方案至少具有如下优点：
本发明实施例提供的基于地图的SLAM快速初始化方法、装置和电子设备，建立一个SLAM系统地图，进行地图加载与复用，可以实现SLAM的快速初始化，减少SLAM系统初始化资源消耗。
附图说明
图1为本发明实施例的基于地图的SLAM快速初始化方法的流程图。
图2为本发明实施例的基于地图的SLAM快速初始化装置的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
在本发明的描述中，需要理解的是，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
图1为本发明实施例的基于地图的SLAM快速初始化方法的流程图。如图1所示，本发明实施例的基于地图的SLAM快速初始化方法，包括：
S1：对第一视频进行帧间位姿估计，提取第一视频的关键点、关键帧、地图点和位姿信息，根据第一视频的关键点、关键帧、地图点和位姿信息，以及第一视频生成第一地图，并加载第一地图。其中，第一视频为用户输入的，用于进行处理建立一个SLAM系统地图，以便进行地图的加载和复用。
在本发明的一个实施例中，步骤S1包括：
S1-0：获取第一视频的摄像头参数与ORB字典数据，进行初步初始化。
ORB是Oriented Fast and Rotated Brief的简称，可以用来对图像中的关键点快速创建特征向量，这些特征向量可以用来识别图像中的对象。其中，Fast和Brief分别是特征检测算法和向量创建算法。ORB首先会从图像中查找特殊区域，称为关键点。关键点即图像中突出的小区域，比如角点，比如它们具有像素值急剧的从浅色变为深色的特征。然后ORB会为每个关键点计算相应的特征向量。ORB算法创建的特征向量只包含1和0，称为二元特征向量。1和0的顺序会根据特定关键点和其周围的像素区域而变化。该向量表示关键点周围的强度模式，因此多个特征向量可以用来识别更大的区域，甚至图像中的特定对象。ORB的特点是速度超快，而且在一定程度上不受噪点和图像变换的影响，例如旋转和缩放变换等。
S1-1：获取第一视频的第一帧图像的特征点，并获取第一视频的相邻两帧图像之间的特征点的描述子。
S1-2：根据第一视频的相邻两帧图像之间的特征点的描述子，采用三角化的方式将第一视频的二维点重投影为三维的地图点。其中，特征丰富的点为地图点。
S1-3：将第一视频中具有共视关系的特征点作为路标点，对路标点利用PNP算法进行位姿估计，得到位姿信息。其中，对第一视频的每两帧相邻图像均会计算位姿，最后汇总得到上述位姿信息。相机的位姿包括旋转R和平移t，也就是所谓的相机外参。R和t可以组成外参矩阵T＝[R|t]，通过T可以将点P从世界坐标系变换到相机坐标系:P'＝TP。
S1-4：将路标点作为关键点，将路标点所在的视频帧作为关键帧，根据第一视频的关键点、关键帧、地图点和位姿信息，以及第一视频生成第一地图。
S1-5：加载第一地图。读取第一地图中存储的关键点，关键帧，地图点，相机位姿，以及各部分之间的数据关联。
S2：根据第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到第二视频与第一地图的关键帧之间的联系信息、第二视频的视频帧与第一地图的地图帧之间的相似度关系、第二视频的优化位姿信息。
在本发明的一个实施例中，步骤S2包括：
S2-1：提取第二视频的图像特征与第一地图进行特征点匹配，匹配成功后得到第二视频与第一地图的关键帧之间的联系信息。其中，第二视频的某个视频帧中包含了第一地图的某个视频帧中的关键点和关键帧。
S2-2：对第二视频进行地点识别与回环检测，得到第二视频的视频帧与第一地图的地图帧之间的相似度关系，从而判断第二视频的当前帧是否有与第一地图的地图帧中相似的场景。其中，第一地图的地图帧为包括第一地图的地图点的视频帧。
S2-3：计算第二视频的视频帧的词袋模型BOW，然后对第二视频进行当前地图的匹配重定位。首先计算当前帧的BOW，然后挑选关键帧(按照步骤S1的策略挑选关键帧)，逐个比较当前帧和关键帧搜索BOW进行匹配。
S2-4：根据匹配重定位的结果对第二视频用PNP算法进行优化估计得到第二视频的初始优化位姿信息。
S2-5：根据第二视频的初始优化位姿信息对第二视频的每个关键帧进行重投影误差优化(BA)，得到第二视频的最终优化位姿信息。
S3：根据第二视频与第一地图的关键帧之间的联系信息、第二视频的关键帧与第一地图的地图帧之间的相似度关系和第二视频的优化位姿信息完成初始化。
本发明实施例提供的基于地图的SLAM快速初始化方法，建立一个SLAM系统地图，进行地图加载与复用，可以实现SLAM的快速初始化，减少SLAM系统初始化资源消耗。
图2为本发明实施例的基于地图的SLAM快速初始化装置的结构框图。如图2所示，本发明实施例的基于地图的SLAM快速初始化装置，包括：获取模块100和控制处理模块200。
其中，获取模块100用于获取第一视频和第二视频。
控制处理模块200用于对第一视频进行帧间位姿估计，提取第一视频的关键点、关键帧、地图点和位姿信息，根据第一视频的关键点、关键帧、地图点和位姿信息，以及第一视频生成第一地图，并加载第一地图。控制处理模块200还用于根据第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到第二视频与第一地图的关键帧之间的联系信息、第二视频的视频帧与第一地图的地图帧之间的相似度关系和第二视频的优化位姿信息。控制处理模块200还用于根据第二视频与第一地图的关键帧之间的联系信息、第二视频的关键帧与第一地图的地图帧之间的相似度关系和第二视频的优化位姿信息完成初始化。其中，第一地图的地图帧为包括第一地图的地图点的视频帧。
在本发明的一个实施例中，控制处理模块200具体用于提取第一视频的第一帧图像的特征点，并提取第一视频的相邻两帧图像之间的特征点的描述子；根据第一视频的相邻两帧图像之间的特征点的描述子，采用三角化的方式将第一视频的二维点重投影为三维的地图点；将第一视频中具有共视关系的特征点作为路标点，根据路标点得到位姿信息；将路标点作为关键点，将路标点所在的视频帧作为关键帧，根据第一视频、关键点、关键帧、地图点和位姿信息生成第一地图。
在本发明的一个实施例中，控制处理模块200还用于提取第二视频的图像特征与第一地图进行特征点匹配，匹配成功后得到第二视频与第一地图的关键帧之间的联系信息；对第二视频进行地点识别与回环检测，得到第二视频的视频帧与第一地图的地图帧之间的相似度关系；计算第二视频的视频帧的BOW，然后对第二视频进行当前地图的匹配重定位；根据匹配重定位的结果对第二视频进行优化估计得到第二视频的初始优化位姿信息。
在本发明的一个实施例中，控制处理模块200还用于在得到第二视频的初始优化位姿信息之后，根据第二视频的初始优化位姿信息对第二视频的每个关键帧进行重投影误差优化，得到第二视频的最终优化位姿信息。
需要说明的是，本发明实施例的基于地图的SLAM快速初始化装置的具体实施方式与本发明实施例的基于地图的SLAM快速初始化方法的具体实施方式类似，具体参见基于地图的SLAM快速初始化方法部分的描述，为了减少冗余，不做赘述。
另外，本发明实施例的基于地图的SLAM快速初始化装置的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。
本发明实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的基于地图的SLAM快速初始化方法。
本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的基于地图的SLAM快速初始化方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (8)
1.一种基于地图的SLAM快速初始化方法，其特征在于，包括：
对用户输入的第一视频进行帧间位姿估计，提取所述第一视频的关键点、关键帧、地图点和位姿信息，根据所述第一视频的关键点、关键帧、地图点和位姿信息，以及所述第一视频生成第一地图，并加载所述第一地图；具体包括：
S1-0：获取第一视频的摄像头参数与ORB字典数据，进行初步初始化；
S1-1：获取第一视频的第一帧图像的特征点，并获取第一视频的相邻两帧图像之间的特征点的描述子；
S1-2：根据第一视频的相邻两帧图像之间的特征点的描述子，采用三角化的方式将第一视频的二维点重投影为三维的地图点；
S1-3：将第一视频中具有共视关系的特征点作为路标点，对路标点利用PNP算法进行位姿估计，得到位姿信息；其中，对第一视频的每两帧相邻图像均会计算位姿，最后汇总得到所述位姿信息；相机的位姿包括旋转R和平移t，组成外参矩阵T=[R|t]，通过T将点P从世界坐标系变换到相机坐标系：P'=TP；
S1-4：将路标点作为关键点，将路标点所在的视频帧作为关键帧，根据第一视频的关键点、关键帧、地图点和位姿信息，以及第一视频生成第一地图；
S1-5：加载第一地图：读取第一地图中存储的关键点、关键帧、地图点、相机位姿、以及各部分之间的数据关联；
根据所述第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系、所述第二视频的优化位姿信息；所述第二视频的某个视频帧中包含了第一地图的某个视频帧中的关键点和关键帧；
根据所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的关键帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息完成初始化；
其中，所述第一地图的地图帧为包括所述第一地图的地图点的视频帧。
2.根据权利要求1所述的基于地图的SLAM快速初始化方法，其特征在于，所述根据所述第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的关键帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息，包括：
提取所述第二视频的图像特征与所述第一地图进行特征点匹配，匹配成功后得到所述第二视频与所述第一地图的关键帧之间的联系信息；
对所述第二视频进行地点识别与回环检测，得到所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系；
计算所述第二视频的视频帧的词袋模型BOW，然后对所述第二视频进行当前地图的匹配重定位；
根据所述匹配重定位的结果对所述第二视频进行优化估计得到所述第二视频的初始优化位姿信息。
3.根据权利要求2所述的基于地图的SLAM快速初始化方法，其特征在于，在得到所述第二视频的初始优化位姿信息之后，还包括：
根据第二视频的初始优化位姿信息对所述第二视频的每个关键帧进行重投影误差优化，得到所述第二视频的最终优化位姿信息。
4.一种基于地图的SLAM快速初始化装置，其特征在于，包括：
获取模块，用于获取第一视频和第二视频；所述第一视频为用户输入的；
控制处理模块，用于对所述第一视频进行帧间位姿估计，提取所述第一视频的关键点、关键帧、地图点和位姿信息，根据所述第一视频的关键点、关键帧、地图点和位姿信息，以及所述第一视频生成第一地图，并加载所述第一地图；具体包括：
S1-0：获取第一视频的摄像头参数与ORB字典数据，进行初步初始化；
S1-1：获取第一视频的第一帧图像的特征点，并获取第一视频的相邻两帧图像之间的特征点的描述子；
S1-2：根据第一视频的相邻两帧图像之间的特征点的描述子，采用三角化的方式将第一视频的二维点重投影为三维的地图点；
S1-3：将第一视频中具有共视关系的特征点作为路标点，对路标点利用PNP算法进行位姿估计，得到位姿信息；其中，对第一视频的每两帧相邻图像均会计算位姿，最后汇总得到所述位姿信息；相机的位姿包括旋转R和平移t，组成外参矩阵T=[R|t]，通过T将点P从世界坐标系变换到相机坐标系：P'=TP；
S1-4：将路标点作为关键点，将路标点所在的视频帧作为关键帧，根据第一视频的关键点、关键帧、地图点和位姿信息，以及第一视频生成第一地图；
S1-5：加载第一地图：读取第一地图中存储的关键点、关键帧、地图点、相机位姿、以及各部分之间的数据关联；
所述控制处理模块还用于根据所述第一地图对第二视频进行地点识别回环检测、匹配重定位和位姿优化得到所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息；所述第二视频的某个视频帧中包含了第一地图的某个视频帧中的关键点和关键帧；
所述控制处理模块还用于根据所述第二视频与所述第一地图的关键帧之间的联系信息、所述第二视频的关键帧与所述第一地图的地图帧之间的相似度关系和所述第二视频的优化位姿信息完成初始化；其中，所述第一地图的地图帧为包括所述第一地图的地图点的视频帧。
5.根据权利要求4所述的基于地图的SLAM快速初始化装置，其特征在于，所述控制处理模块还用于提取所述第二视频的图像特征与所述第一地图进行特征点匹配，匹配成功后得到所述第二视频与所述第一地图的关键帧之间的联系信息；对所述第二视频进行地点识别与回环检测，得到所述第二视频的视频帧与所述第一地图的地图帧之间的相似度关系；计算所述第二视频的视频帧的词袋模型BOW，然后对所述第二视频进行当前地图的匹配重定位；根据所述匹配重定位的结果对所述第二视频进行优化估计得到所述第二视频的初始优化位姿信息。
6.根据权利要求5所述的基于地图的SLAM快速初始化装置，其特征在于，所述控制处理模块还用于在得到所述第二视频的初始优化位姿信息之后，根据第二视频的初始优化位姿信息对所述第二视频的每个关键帧进行重投影误差优化，得到所述第二视频的最终优化位姿信息。
7.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和至少一个存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-3任一项所述的基于地图的SLAM快速初始化方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-3任一项所述的基于地图的SLAM快速初始化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011149701.3A CN112233180B (zh) | 2020-10-23 | 2020-10-23 | 基于地图的slam快速初始化方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011149701.3A CN112233180B (zh) | 2020-10-23 | 2020-10-23 | 基于地图的slam快速初始化方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112233180A CN112233180A (zh) | 2021-01-15 |
| CN112233180B true CN112233180B (zh) | 2024-03-15 |
Family
ID=74109504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011149701.3A Active CN112233180B (zh) | 2020-10-23 | 2020-10-23 | 基于地图的slam快速初始化方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233180B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112989999B (zh) * | 2021-03-11 | 2024-08-09 | 深圳银星智能集团股份有限公司 | 基于视觉回环的扫地机定位方法、装置、设备及介质 |
| CN113326769B (zh) * | 2021-05-28 | 2022-11-29 | 北京三快在线科技有限公司 | 高精地图生成方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887053A (zh) * | 2019-02-01 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种slam地图拼接方法及系统 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN110533587A (zh) * | 2019-07-03 | 2019-12-03 | 浙江工业大学 | 一种基于视觉先验信息和地图恢复的slam方法 |
| CN110827395A (zh) * | 2019-09-09 | 2020-02-21 | 广东工业大学 | 一种适用于动态环境的即时定位与地图构建方法 |
| CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam系统 |
-
2020
- 2020-10-23 CN CN202011149701.3A patent/CN112233180B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN109887053A (zh) * | 2019-02-01 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种slam地图拼接方法及系统 |
| CN110533587A (zh) * | 2019-07-03 | 2019-12-03 | 浙江工业大学 | 一种基于视觉先验信息和地图恢复的slam方法 |
| CN110827395A (zh) * | 2019-09-09 | 2020-02-21 | 广东工业大学 | 一种适用于动态环境的即时定位与地图构建方法 |
| CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112233180A (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233180B (zh) | 基于地图的slam快速初始化方法、装置和电子设备 | |
| WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
| CN110222703B (zh) | 图像轮廓识别方法、装置、设备和介质 | |
| CN112966725B (zh) | 匹配模板图像的方法、装置及终端设备 | |
| CN112037142B (zh) | 一种图像去噪方法、装置、计算机及可读存储介质 | |
| CN111986261B (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
| CN111191492A (zh) | 信息估计、模型检索和模型对准方法和装置 | |
| CN111767965B (zh) | 图像匹配方法、装置、电子设备及存储介质 | |
| CN114998856B (zh) | 一种多相机图像的3d目标检测方法、装置、设备及介质 | |
| CN109190662A (zh) | 一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质 | |
| US20240078284A1 (en) | Two-way descriptor matching on deep learning accelerator | |
| CN109002776A (zh) | 人脸识别方法、系统、计算机设备和计算机可读存储介质 | |
| CN105389812A (zh) | 基于计算机视觉的车载信息终端功能自动测试方法 | |
| CN112329916A (zh) | 模型训练方法、装置、计算机设备及存储介质 | |
| CN116563840A (zh) | 基于弱监督跨模态对比学习的场景文本检测与识别方法 | |
| US11030754B2 (en) | Computer implemented platform, software, and method for drawing or preview of virtual images on a real world objects using augmented reality | |
| CN116863170A (zh) | 一种图像匹配方法、设备及存储介质 | |
| CN113033578B (zh) | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 | |
| CN112926585B (zh) | 一种基于再生核希尔伯特空间的跨域语义分割方法 | |
| CN112541418B (zh) | 用于图像处理的方法、装置、设备、介质和程序产品 | |
| CN113902890A (zh) | 用于视觉概念检测的自监督数据增强方法、系统、设备 | |
| CN109816709A (zh) | 基于单目摄像头的深度估计方法、装置及设备 | |
| CN114170315A (zh) | 一种动态场景的智能车定位方法及系统 | |
| CN108388859B (zh) | 物体检测方法、网络训练方法、装置和计算机存储介质 | |
| CN112464753A (zh) | 图像中关键点的检测方法、检测装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |