CN114234959B - 机器人、vslam初始化方法、装置和可读存储介质 - Google Patents
机器人、vslam初始化方法、装置和可读存储介质 Download PDFInfo
- Publication number
- CN114234959B CN114234959B CN202111578877.5A CN202111578877A CN114234959B CN 114234959 B CN114234959 B CN 114234959B CN 202111578877 A CN202111578877 A CN 202111578877A CN 114234959 B CN114234959 B CN 114234959B
- Authority
- CN
- China
- Prior art keywords
- frame
- image data
- motion
- sensor
- initial pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011423 initialization method Methods 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 190
- 230000008859 change Effects 0.000 claims abstract description 93
- 230000005484 gravity Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000008878 coupling Effects 0.000 claims abstract description 20
- 238000010168 coupling process Methods 0.000 claims abstract description 20
- 238000005859 coupling reaction Methods 0.000 claims abstract description 20
- 230000001360 synchronised effect Effects 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims description 62
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
一种VSLAM初始化方法，包括：将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到特征点对应的地图点；根据滑动窗口内预设帧数的图像数据中的特征点和特征点对应的地图点，迭代优化预设帧数的图像数据对应于视觉类传感器的位姿，得到视觉类传感器的初始位姿；通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算预设帧数的每一帧图像数据对应的速度和重力方向作为运动类传感器的初始位姿。本申请的技术方案避免了纯视觉初始化鲁棒性不足，而且有利于运动类传感器在平面运动以及匀速运动等运动自由度受限的工作环境下，仍能达到快速且鲁棒的初始化效果。
Description
技术领域
本发明涉及机器人领域，特别涉及一种机器人、VSLAM初始化方法、装置和可读存储介质。
背景技术
视觉同步定位和建图(Visual Simultaneous Localization And Mapping，VSLAM)是一种依靠相机等视觉设备进行定位和建图的方法，目前广泛应用于机器人等智能体。对于一个VSLAM系统，如何初始化至关重要，因为这涉及是否能够为VSLAM系统提供稳定的状态初值。现有的VSLAM初始化方法基本以纯视觉的初始化方案为主，即，位姿的初值只是源于对视觉设备获取的图像数据进行解算得到，这种初始化方法在面对弱纹理等视觉约束薄弱的环境时，初始化结果的表现往往比较欠佳，因而影响VSLAM系统在后续运行的精度。
发明内容
本申请提供一种机器人、VSLAM初始化方法、装置和可读存储介质，以克服现有技术在面对弱纹理等视觉约束薄弱的环境时VSLAM初始化结果比较欠佳等缺陷。
一方面，本申请提供了一种机器人，所述机器人包括：
存储器，所述存储器存储有可执行程序代码；
处理器，与所述存储器连接，所述处理器调用所述存储器中存储的可执行程序代码时执行如下步骤：
将所述视觉类传感器获取的图像数据与所述运动类传感器获取的运动数据同步；
根据所述同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到所述特征点对应的地图点；
根据所述特征点和所述地图点，迭代优化所述预设帧数的图像数据对应于视觉类传感器的位姿，得到所述视觉类传感器的初始位姿；
通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算所述预设帧数的每一帧图像数据对应的速度和重力方向作为所述运动类传感器的初始位姿，所述第一初始位姿变化为所述运动类传感器的初始位姿的帧间变化值，所述第二初始位姿变化为所述视觉类传感器的初始位姿的帧间变化值。
另一方面，本申请提供了一种VSLAM初始化装置，所述装置包括：
同步模块，用于将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；
三角化模块，用于根据所述同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到所述特征点对应的地图点；
优化模块，用于根据所述特征点和所述地图点，迭代优化所述预设帧数的图像数据对应于视觉类传感器的位姿，得到所述视觉类传感器的初始位姿；
解算模块，用于通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算所述预设帧数的每一帧图像数据对应的速度和重力方向作为所述运动类传感器的初始位姿，所述第一初始位姿变化为所述运动类传感器的初始位姿的帧间变化值，所述第二初始位姿变化为所述视觉类传感器的初始位姿的帧间变化值。
第三方面，本申请提供了一种VSLAM初始化方法，所述方法包括：
将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；
根据所述同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到所述特征点对应的地图点；
根据所述特征点和所述地图点，迭代优化所述预设帧数的图像数据对应于视觉类传感器的位姿，得到所述视觉类传感器的初始位姿；
通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算所述预设帧数的每一帧图像数据对应的速度和重力方向作为所述运动类传感器的初始位姿，所述第一初始位姿变化为所述运动类传感器的初始位姿的帧间变化值，所述第二初始位姿变化为所述视觉类传感器的初始位姿的帧间变化值。
第四方面，本申请提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序用于被处理器执行时实现上述VSLAM初始化方法。
从上述本申请提供的技术方案可知，视觉类传感器的初始位姿计算的数据来源不仅包括视觉类传感器获取的图像数据，还包含运动类传感器获取的运动数据，在得到视觉类传感器获取的图像数据之后，通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算得到运动类传感器的初始位姿，不仅提供绝对的尺度矫正，而且利用运动类传感器获取的角速度计算机器人旋转运动，避免了纯视觉初始化鲁棒性不足，而且有利于运动类传感器在平面运动以及匀速运动等运动自由度受限的工作环境下，仍能达到快速且鲁棒的初始化效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的机器人的结构示意图；
图2是本申请实施例提供的VSLAM初始化方法的流程图；
图3是本申请实施例提供的将各传感器采集的数据对齐的示意图；
图4是本申请实施例提供的VSLAM初始化装置的结构示意图；
图5是本申请实施例提供的设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
在本说明书中，为了便于描述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
请参阅附图1，本申请一实施例提供的机器人的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。该机器人可包括：
存储器10和处理器20，处理器20为机器人的运算和控制核心，是信息处理、程序运行的最终执行单元。存储器10例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。
存储器10中存储有可执行程序代码；与存储器10耦合的处理器20调用存储器10中存储的所述可执行程序代码，执行如下VSLAM初始化方法：将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到特征点对应的地图点；根据特征点和地图点，迭代优化预设帧数的图像数据中视觉类传感器的位姿，得到视觉类传感器的初始位姿；通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算预设帧数的每一帧图像数据对应的速度和重力方向作为运动类传感器的初始位姿，其中，第一初始位姿变化为视觉类传感器的初始位姿的帧间变化值，第二初始位姿变化为运动类传感器的初始位姿的帧间变化值。
参阅图2，是本申请实施例提供的一种VSLAM初始化方法，主要包括步骤S201至步骤S204，说明如下：
步骤S201：将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步。
由于不同的传感器，即使硬件同步以后也存在采样频率不一致的差异，因此，必然存在视觉类传感器获取的图像数据与运动类传感器获取的运动数据在时间戳上不同步的问题。以运动类传感器包含惯性测量单元和轮式里程计为例，如图3所示，假设惯性测量单元在ti时刻获取的机器人运动数据为Dti，理想状态下是轮式里程计也能够在ti时刻获取机器人运动数据，然而，由于惯性测量单元的采样频率与轮式里程计的采样频率不一致等原因，轮式里程计只能在tl'i时刻获取到机器人运动数据Dl'i，即传感器之间数据没有对齐；对于视觉类传感器，例如相机采集的图像数据也同样存在数据不对齐的情形，即由于视觉类传感器的采样频率与惯性测量单元的采样频率不一致等原因，惯性测量单元在ti时刻获取机器人运动数据为Dti时，视觉类传感器只能在t'xi时刻获取到图像数据D'xi。对于上述情形，需要将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步即数据对齐。
在本申请一个实施例中，当运动类传感器包括惯性测量单元和轮式里程计时，将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步可以是：使用惯性测量单元在与视觉类传感器获取的当前帧图像数据前后相邻时间戳获取的机器人运动数据对机器人运动数据进行插值，以使插值后所得机器人运动数据与视觉类传感器获取的当前帧图像数据对齐；以及使用轮式里程计在与视觉类传感器获取的当前帧图像数据前后相邻时间戳获取的机器人运动数据对机器人运动数据进行插值，以使插值后所得机器人运动数据与当前帧图像数据对齐。仍然以图3为例，使用惯性测量单元在与当前帧图像数据前后相邻时间戳获取的机器人运动数据，即，使用ti-1时刻机器人运动数据D'ti-1与ti时刻机器人运动数据Dti对机器人运动数据进行插值，得到t'xi时刻的机器人运动插值数据从图3可以看出，经过上述插值操作，机器人运动插值数据/>与当前帧图像数据D'xi已经对齐。同样地，使用轮式里程计在与视觉类传感器获取的当前帧图像数据前后相邻时间戳获取的机器人运动数据，即，使用t'li时刻机器人运动数据D'li与t'li+1时刻机器人运动数据D'li+1对机器人运动数据进行插值，得到t'xi时刻的机器人位置插值数据/>从图3可以看出，经过上述插值操作，机器人运动插值数据/>与视觉类传感器获取的当前帧图像数据D'xi已经对齐。
在本申请另一实施例中，当运动类传感器包括惯性测量单元和轮式里程计时，将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步也可以是：采用惯性测量单元获取的机器人运动数据和轮式里程计获取的机器人运动数据互相插值的方式，以使惯性测量单元获取的机器人运动数据与轮式里程计获取的机器人运动数据对齐，得到运动类传感器的机器人对齐位姿数据；使用与视觉类传感器获取的当前帧图像数据前后相邻时间戳的机器人对齐位姿数据对机器人对齐位姿数据进行插值，以使插值后所得机器人对齐位姿数据与视觉类传感器获取的当前帧图像数据对齐。本实施例中，使用与视觉类传感器获取的当前帧图像数据前后相邻时间戳的机器人对齐位姿数据对机器人对齐位姿数据进行插值，以使插值后所得机器人对齐位姿数据与视觉类传感器获取的当前帧图像数据对齐，其原理与图3实施例中使用惯性测量单元在与视觉类传感器获取的当前帧图像数据前后相邻时间戳获取的机器人运动数据对机器人姿态数据进行插值，以使插值后所得机器人运动数据与环境物的当前帧图像数据对齐；或者其原理与图3实施例中使用轮式里程计在与视觉类传感器获取的当前帧图像数据前后相邻时间戳获取的机器人运动数据对机器人运动数据进行插值，以使插值后所得机器人运动数据与视觉类传感器获取的当前帧图像数据对齐的原理相同，可参阅前述实施例的相关说明，此处不做赘述。需要说明的是，本实施例中，所谓采用惯性测量单元获取的机器人运动数据和轮式里程计获取的机器人运动数据互相插值的方式，指的是可以使用轮式里程计在与机器人当前运动数据前后相邻时间戳获取的机器人运动数据，对轮式里程计获取的移动机器人位置数据进行插值，以使插值后所得机器人位置数据与惯性测量单元获取的机器人当前运动数据对齐，或者，也可以使用惯性测量单元在与机器人当前运动数据前后相邻时间戳获取的机器人运动数据，对惯性测量单元获取的机器人运动数据进行插值，以使插值后所得移动机器人运动数据与轮式里程计获取的机器人当前运动数据对齐。
步骤S202：根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到该特征点对应的地图点。
在本申请实施例中，滑动窗口(Sliding Window)的尺寸即能够容纳的图像数据的帧数可以根据实际需要设定，例如，可以将其设置为10，即滑动窗口内预设帧数为10帧图像数据；滑动窗口内预设帧数的图像数据中的特征点是从视觉类传感器获取的帧图像数据提取的特征点，例如，Harris角点，这些Harris角点包括关键点及其描述符。作为本申请一个实施例，当视觉类传感器包括相机时，根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到该特征点对应的地图点可以是：对同步后的运动数据进行预积分，得到滑动窗口内各帧的位姿；根据滑动窗口内各帧的位姿，先后三角化滑动窗口内末帧至第i帧中的特征点以及滑动窗口内首帧至第i-1帧中的特征点，得到滑动窗口内预设帧数的图像数据中的特征点对应的地图点，其中，第i-1帧为与末帧存在共视关系并且与末帧之间相机中心基线(baseline)大于预设阈值的一帧图像数据。这里各帧的位姿指各帧数据中机器人的位姿。上述实施例中，在根据滑动窗口内各帧的位姿，先后三角化滑动窗口内末帧至第i帧中的特征点以及滑动窗口内首帧至第i-1帧中的特征点之前，提取视觉类传感器获取的图像数据当前帧中的特征点(例如，Harris角点)，该特征点包括关键点及其描述符；将这些图像数据当前帧中关键点的描述符与图像数据当前帧之前一个关键帧中关键点的描述符匹配；若匹配成功，则建立图像数据当前帧与其他各帧图像数据的共视关系，其中，图像数据当前帧中关键点的描述符与图像数据当前帧之前一个关键帧中关键点的描述符的匹配过程可以是将图像数据当前帧中关键点和图像数据当前帧之前一帧中关键点的描述符均向量化，然后，通过余弦相似度计算两个向量的相似度，若相似度超过预设阈值，则两者匹配成功。
作为本申请一个实施例，根据滑动窗口内各帧的位姿，先后三角化滑动窗口内末帧至第i帧中的特征点以及滑动窗口内首帧至第i-1帧中的特征点可以是：根据滑动窗口内各帧的位姿，三角化滑动窗口内末帧和第i帧中存在共视关系的特征点以及末帧至第i帧之间其他帧中的特征点；然后，根据滑动窗口内各帧的位姿，三角化滑动窗口内首帧和第i-1帧中存在共视关系的特征点以及首帧至第i-1帧之间其他帧中的特征点。需要说明的是，滑动窗口内存在共视关系的特征点是存在共视关系的两帧图像数据中的特征点，而两帧图像数据存在共视关系，是指视觉类传感器处于两帧图像数据中记录的位姿时，视觉类传感器观测到的同一地图点(即三维空间中的某个点)的数量。按照图像数据之间共视关系的定义，两帧图像数据的共视关系在将一帧图像数据中关键点的描述符与该帧图像数据当之前一帧图像数据中关键点的描述符匹配时就已经确定。至于三角化滑动窗口内末帧和第i帧中存在共视关系的特征点以及末帧至第i帧之间其他帧中的特征点，实际是先三角化滑动窗口内末帧和第i帧中存在共视关系的特征点，然后，三角化滑动窗口内末帧和末帧至第i帧之间与末帧存在共视关系的一帧图像数据中的特征点，直至将滑动窗口内末帧和第i帧中存在共视关系的特征点以及末帧至第i帧之间其他帧中的特征点全部三角化。类似地，三角化滑动窗口内首帧和第i-1帧中存在共视关系的特征点以及首帧至第i-1帧之间其他帧中的特征点，实际也是先三角化滑动窗口内首帧和第i-1帧中存在共视关系的特征点，然后，三角化滑动窗口内首帧和首帧至第i-1帧之间与首帧存在共视关系的一帧图像数据中的特征点，直至将滑动窗口内首帧和第i-1帧中存在共视关系的特征点以及首帧至第i-1帧之间其他帧中的特征点全部三角化。
需要说明的是，上述实施例中，所谓三角化特征点，是指通过在两帧图像数据中找出匹配的关键点对，计算出这些匹配关键点对对应的地图点的3D位姿信息，例如，地图点的3D坐标、旋转角、朝向等。
步骤S203：根据特征点和特征点对应的地图点，迭代优化滑动窗口内预设帧数的图像数据对应于视觉类传感器的位姿，得到视觉类传感器的初始位姿。
具体地，步骤S203的实现可以是根据特征点对应的地图点，求取滑动窗口内预设帧数的图像数据中的帧间运动估计误差；以特征点对应的地图点的重投影误差和帧间运动估计误差为优化目标，联合优化滑动窗口内预设帧数的图像数据中视觉类传感器的位姿。所谓地图点的重投影误差，是指将像素坐标(即视觉类传感器观测到的地图点的投影)与地图点按照当前估计的视觉类传感器位姿进行投影得到的位置相比较得到的误差。考虑n个三维空间点P(地图点在三维空间的位置)和视觉类传感器观测到它们的投影p，假设某个空间点Pi的三维坐标为Pi＝[Xi，Yi，Zi]T，像素坐标(即视觉类传感器观测到的投影)为ui＝[ui，vi]T，则该点的像素坐标和其三维坐标的关系如下：
其中，ξ^是李代数表示的视觉类传感器的位姿的估计值，上述像素坐标和其三维坐标的关系写成矩阵形式即：siui＝Kexp(ξ^)Pi。
由于视觉类传感器的位姿未知以及观测点的噪声，上述等式存在一个误差，这个误差也就是地图点的重投影误差，将误差求和，构建最小二乘问题，然后寻找视觉类传感器的最好位姿使该重投影误差最小化：
步骤S204：通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算滑动窗口内预设帧数的每一帧图像数据对应的速度和重力方向作为运动类传感器的初始位姿，其中，第一初始位姿变化为视觉类传感器的初始位姿的帧间变化值，第二初始位姿变化为运动类传感器的初始位姿的帧间变化值。
作为本申请一个实施例，步骤S204的实现可以是：根据视觉类传感器的初始位姿，计算滑动窗口内各帧之间的帧间旋转Rc；通过手眼标定(eye in hand)，根据帧间旋转Rc解算惯性测量单元的角速度上的bias参数；以惯性测量单元和轮式里程计联合构建的多帧运动变化大小与视觉类传感器的初始位姿得到的多帧之间的运动变化大小相等为约束，根据帧间旋转Rc和惯性测量单元的角速度上的bias参数，多帧联合求解得到预设帧数的每一帧图像数据对应惯性测量单元的速度和重力方向。具体而言，首先判断是否需要进行运动类传感器、视觉类传感器之间的外参标定，若需要进行，则首先进行旋转外参的手眼标定，以视觉类传感器获取的图像数据和惯性测量单元获取的运动数据为例，根据视觉类传感器的初始位姿，计算滑动窗口内各帧之间的帧间旋转Rc，通过对惯性测量单元获取的运动数据预积分，可以得到惯性测量单元计算的帧间旋转外参Ri。假设视觉类传感器和惯性测量单元之间的旋转外参为Rci，则满足手眼标定公式：
Rc*Rci＝Rci*Ri
转化成四元数形式并令虚部相等，使用多帧数据SVD解方程，求解出旋转外参为Rci。
(Qc*Qci)xyz＝(Qci*Qi)xyz
类似地，继续使用手眼标定的原理求出惯性测量单元的角速度上的bias参数，构建公式Qc*Qci＝Qci*(Qi*0.5*wbias*Δt)
其中，Δt表示两帧图像数据之间的时间间隔，wbias表示惯性测量单元的角速度上的bias参数；同样构建多帧约束，SVD解方程求解。
然后，松耦合对齐各个传感器数据，即，惯性测量单元和轮式里程计联合构建的多帧运动变化大小与视觉类传感器的初始位姿得到的多帧之间的运动变化大小应该相等，进一步精炼重力方向和惯性测量单元的速度方向，如以下公式：
其中，表示对第k+1帧到第k帧图像数据之间惯性测量单元的运动数据进行预积分得到的平移数据，/>表示对第k帧到k+1帧图像数据之间轮式里程计的运动数据进行预积分得到的平移数据，Pbo表示惯性测量单元和轮式里程计之间的平移外参，ΔRik表示对第k+1帧到第k帧图像数据之间的运动数据进行预积分得到的旋转数据，/>表示两帧图像数据初始化计算的惯性测量单元坐标系下的旋转变化，/>表示第一帧图像数据时重力加速度向量的方向，Δtk表示第k帧与第k+1帧之间的时间间隔，I是3*3的单位矩阵，B是由两个模长为1的互相正交的方向向量组成的3*2的矩阵，Δg表示重力方向的修正量，/>表示惯性测量单元坐标系下第k帧的速度；通过多帧联合求解的方式求，解算其他各帧的应惯性测量单元的速度和重力方向。
从上述附图2示例的VSLAM初始化方法可知，视觉类传感器的初始位姿计算的数据来源不仅包括视觉类传感器获取的图像数据，还包含运动类传感器获取的运动数据，在得到视觉类传感器获取的图像数据之后，通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算得到运动类传感器的初始位姿，不仅提供绝对的尺度矫正，而且利用运动类传感器获取的角速度计算机器人旋转运动，避免了纯视觉初始化鲁棒性不足，而且有利于运动类传感器在平面运动以及匀速运动等运动自由度受限的工作环境下，仍能达到快速且鲁棒的初始化效果。
请参阅图4，是本申请实施例提供的一种VSLAM初始化装置，该装置可以是机器人的中央处理单元或者其中的功能模块，该装置可以包括同步模块401、三角化模块402、优化模块403和解算模块404，详述如下：
同步模块401，用于将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；
三角化模块402，用于根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到特征点对应的地图点；
优化模块403，用于根据滑动窗口内预设帧数的图像数据中的特征点和特征点对应的地图点，迭代优化预设帧数的图像数据对应于视觉类传感器的位姿，得到视觉类传感器的初始位姿；
解算模块404，用于通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算预设帧数的每一帧图像数据对应的速度和重力方向作为运动类传感器的初始位姿，其中，第一初始位姿变化为视觉类传感器的初始位姿的帧间变化值，第二初始位姿变化为运动类传感器的初始位姿的帧间变化值。
从附图4示例的装置可知，视觉类传感器的初始位姿计算的数据来源不仅包括视觉类传感器获取的图像数据，还包含运动类传感器获取的运动数据，在得到视觉类传感器获取的图像数据之后，通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算得到运动类传感器的初始位姿，不仅提供绝对的尺度矫正，而且利用运动类传感器获取的角速度计算机器人旋转运动，避免了纯视觉初始化鲁棒性不足，而且有利于运动类传感器在平面运动以及匀速运动等运动自由度受限的工作环境下，仍能达到快速且鲁棒的初始化效果。
图5是本申请一实施例提供的设备的结构示意图。如图5所示，该实施例的设备5可以是一种机器人或者其中的模块，主要包括：处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52，例如VSLAM初始化方法的程序。处理器50执行计算机程序52时实现上述VSLAM初始化方法实施例中的步骤，例如图2所示的步骤S201至S204。或者，处理器50执行计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图5所示同步模块401、三角化模块402、优化模块403和解算模块404的功能。
示例性地，VSLAM初始化方法的计算机程序52主要包括：将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到特征点对应的地图点；根据滑动窗口内预设帧数的图像数据中的特征点和特征点对应的地图点，迭代优化预设帧数的图像数据中视觉类传感器的位姿，得到视觉类传感器的初始位姿；通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算预设帧数的每一帧图像数据对应的速度和重力方向作为运动类传感器的初始位姿，其中，第一初始位姿变化为视觉类传感器的初始位姿的帧间变化值，第二初始位姿变化为运动类传感器的初始位姿的帧间变化值。计算机程序52可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器51中，并由处理器50执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序52在设备5中的执行过程。例如，计算机程序52可以被分割成同步模块401、三角化模块402、优化模块403和解算模块404(虚拟装置中的模块)的功能，各模块具体功能如下：同步模块401，用于将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；三角化模块402，用于根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到特征点对应的地图点；优化模块403，用于根据滑动窗口内预设帧数的图像数据中的特征点和特征点对应的地图点，迭代优化预设帧数的图像数据中视觉类传感器的位姿，得到视觉类传感器的初始位姿；解算模块404，用于通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算预设帧数的每一帧图像数据对应的速度和重力方向作为运动类传感器的初始位姿，其中，第一初始位姿变化为视觉类传感器的初始位姿的帧间变化值，第二初始位姿变化为运动类传感器的初始位姿的帧间变化值。
设备5可包括但不仅限于处理器50、存储器51。本领域技术人员可以理解，图5仅仅是设备5的示例，并不构成对设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器51可以是设备5的内部存储单元，例如设备5的硬盘或内存。存储器51也可以是设备5的外部存储设备，例如设备5上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器51还可以既包括设备5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及设备所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即，将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，VSLAM初始化方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到特征点对应的地图点；根据滑动窗口内预设帧数的图像数据中的特征点和特征点对应的地图点，迭代优化预设帧数的图像数据中视觉类传感器的位姿，得到视觉类传感器的初始位姿；通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算预设帧数的每一帧图像数据对应的速度和重力方向作为运动类传感器的初始位姿，其中，第一初始位姿变化为视觉类传感器的初始位姿的帧间变化值，第二初始位姿变化为运动类传感器的初始位姿的帧间变化值。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，非临时性计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种机器人，所述机器人搭载有视觉类传感器和运动类传感器，其特征在于，所述运动类传感器包括惯性测量单元和轮式里程计，所述机器人包括：
存储器，所述存储器存储有可执行程序代码；
处理器，与所述存储器连接，所述处理器用于调用所述存储器中存储的可执行程序代码时执行如下步骤：
将所述视觉类传感器获取的图像数据与所述运动类传感器获取的运动数据同步；
根据同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到所述特征点对应的地图点；
根据所述特征点和所述地图点，迭代优化所述预设帧数的图像数据对应于视觉类传感器的位姿，得到所述视觉类传感器的初始位姿；
通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算所述预设帧数的每一帧图像数据对应的速度和重力方向作为所述运动类传感器的初始位姿，所述第一初始位姿变化为所述视觉类传感器的初始位姿的帧间变化值，所述第二初始位姿变化为所述运动类传感器的初始位姿的帧间变化值，包括：根据所述视觉类传感器的初始位姿，计算所述滑动窗口内各帧之间的帧间旋转Rc；通过手眼标定，根据所述帧间旋转Rc解算所述惯性测量单元的角速度上的bias参数；以所述惯性测量单元和轮式里程计联合构建的多帧运动变化大小与所述视觉类传感器的初始位姿得到的多帧之间的运动变化大小相等为约束，根据所述帧间旋转Rc和所述惯性测量单元的角速度上的bias参数，多帧联合求解得到所述预设帧数的每一帧图像数据对应惯性测量单元的速度和重力方向，满足如下关系：
其中，表示对第k+1帧到第k帧图像数据之间惯性测量单元的运动数据进行预积分得到的平移数据，/>表示对第k帧到k+1帧图像数据之间轮式里程计的运动数据进行预积分得到的平移数据，Pbo表示惯性测量单元和轮式里程计之间的平移外参，ΔRik表示对第k+1帧到第k帧图像数据之间的运动数据进行预积分得到的旋转数据，/>表示两帧图像数据初始化计算的惯性测量单元坐标系下的旋转变化，/>表示第一帧图像数据时重力加速度向量的方向，Δtk表示第k帧与第k+1帧之间的时间间隔，I是3*3的单位矩阵，B是由两个模长为1的互相正交的方向向量组成的3*2的矩阵，Δg表示重力方向的修正量，/>表示惯性测量单元坐标系下第k帧的速度。
2.如权利要求1所述的机器人，其特征在于，所述将所述视觉类传感器获取的图像数据与所述运动类传感器获取的运动数据同步的步骤包括：
使用所述惯性测量单元在与所述视觉类传感器获取的当前帧图像数据前后相邻时间戳获取的机器人运动数据对所述机器人运动数据进行插值，以使插值后所得机器人运动数据与所述视觉类传感器获取的当前帧图像数据对齐；以及
使用所述轮式里程计在与所述视觉类传感器获取的当前帧图像数据前后相邻时间戳获取的机器人运动数据对所述机器人运动数据进行插值，以使插值后所得机器人运动数据与所述视觉类传感器获取的当前帧图像数据对齐。
3.如权利要求1所述的机器人，其特征在于，所述将所述视觉类传感器获取的图像数据与所述运动类传感器获取的运动数据同步的步骤包括：
采用所述惯性测量单元获取的机器人运动数据和所述轮式里程计获取的机器人运动数据互相插值的方式，以使所述惯性测量单元获取的机器人运动数据与所述轮式里程计获取的机器人运动数据对齐，得到所述运动类传感器的机器人对齐位姿数据；
使用与所述视觉类传感器获取的当前帧图像数据前后相邻时间戳的机器人对齐位姿数据对所述机器人对齐位姿数据进行插值，以使插值后所得机器人对齐位姿数据与所述视觉类传感器获取的当前帧图像数据对齐。
4.如权利要求1所述的机器人，其特征在于，所述视觉类传感器包括相机；所述根据所述同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到所述特征点对应的地图点的步骤包括：
对所述同步后的运动数据进行预积分，得到所述滑动窗口内各帧的位姿；
根据所述滑动窗口内各帧的位姿，先后三角化所述滑动窗口内末帧至第i帧中的特征点以及所述滑动窗口内首帧至第i-1帧中的特征点，得到所述滑动窗口内预设帧数的图像数据中的特征点对应的地图点，所述第i-1帧为与所述末帧存在共视关系并且与所述末帧之间相机中心基线大于预设阈值的一帧图像数据。
5.如权利要求4所述的机器人，其特征在于，所述根据所述滑动窗口内各帧的位姿，先后三角化所述滑动窗口内末帧至第i帧中的特征点以及所述滑动窗口内首帧至第i-1帧中的特征点的步骤包括：
根据所述滑动窗口内各帧的位姿，三角化所述滑动窗口内所述末帧和第i帧中存在共视关系的特征点以及所述末帧至第i帧之间其他帧中的特征点；
根据所述滑动窗口内各帧的位姿，三角化所述滑动窗口内所述首帧和第i-1帧中存在共视关系的特征点以及所述首帧至第i-1帧之间其他帧中的特征点。
6.如权利要求4所述的机器人，其特征在于，所述处理器用于调用所述存储器中存储的可执行程序代码时：在所述根据所述滑动窗口内各帧的位姿，先后三角化所述滑动窗口内末帧至第i帧中的特征点以及所述滑动窗口内首帧至第i-1帧中的特征点的步骤之前，还执行如下步骤：
提取所述图像数据当前帧中的特征点，所述特征点包括关键点及其描述符；
将所述图像数据当前帧中关键点的描述符与所述图像数据当前帧之前一帧中关键点的描述符匹配；
若匹配成功，则建立所述图像数据当前帧与其他各帧图像数据的共视关系。
7.一种VSLAM初始化装置，其特征在于，所述装置包括：
同步模块，用于将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；所述运动类传感器包括惯性测量单元和轮式里程计；
三角化模块，用于根据所述同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到所述特征点对应的地图点；
优化模块，用于根据所述特征点和所述地图点，迭代优化所述预设帧数的图像数据对应于视觉类传感器的位姿，得到所述视觉类传感器的初始位姿；
解算模块，用于通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算所述预设帧数的每一帧图像数据对应的速度和重力方向作为所述运动类传感器的初始位姿，所述第一初始位姿变化为所述视觉类传感器的初始位姿的帧间变化值，所述第二初始位姿变化为所述运动类传感器的初始位姿的帧间变化值，包括：根据所述视觉类传感器的初始位姿，计算所述滑动窗口内各帧之间的帧间旋转Rc；通过手眼标定，根据所述帧间旋转Rc解算所述惯性测量单元的角速度上的bias参数；以所述惯性测量单元和轮式里程计联合构建的多帧运动变化大小与所述视觉类传感器的初始位姿得到的多帧之间的运动变化大小相等为约束，根据所述帧间旋转Rc和所述惯性测量单元的角速度上的bias参数，多帧联合求解得到所述预设帧数的每一帧图像数据对应惯性测量单元的速度和重力方向，满足如下关系：
其中，表示对第k+1帧到第k帧图像数据之间惯性测量单元的运动数据进行预积分得到的平移数据，/>表示对第k帧到k+1帧图像数据之间轮式里程计的运动数据进行预积分得到的平移数据，Pbo表示惯性测量单元和轮式里程计之间的平移外参，ΔRik表示对第k+1帧到第k帧图像数据之间的运动数据进行预积分得到的旋转数据，/>表示两帧图像数据初始化计算的惯性测量单元坐标系下的旋转变化，/>表示第一帧图像数据时重力加速度向量的方向，Δtk表示第k帧与第k+1帧之间的时间间隔，I是3*3的单位矩阵，B是由两个模长为1的互相正交的方向向量组成的3*2的矩阵，Δg表示重力方向的修正量，/>表示惯性测量单元坐标系下第k帧的速度。
8.一种VSLAM初始化方法，其特征在于，所述方法包括：
将视觉类传感器获取的图像数据与运动类传感器获取的运动数据同步；所述运动类传感器包括惯性测量单元和轮式里程计；
根据所述同步后的运动数据，对滑动窗口内预设帧数的图像数据中的特征点三角化，得到所述特征点对应的地图点；
根据所述特征点和所述地图点，迭代优化所述预设帧数的图像数据对应于视觉类传感器的位姿，得到所述视觉类传感器的初始位姿；
通过松耦合对齐第一初始位姿变化和第二初始位姿变化，解算所述预设帧数的每一帧图像数据对应的速度和重力方向作为所述运动类传感器的初始位姿，所述第一初始位姿变化为所述视觉类传感器的初始位姿的帧间变化值，所述第二初始位姿变化为所述运动类传感器的初始位姿的帧间变化值，包括：根据所述视觉类传感器的初始位姿，计算所述滑动窗口内各帧之间的帧间旋转Rc；通过手眼标定，根据所述帧间旋转Rc解算所述惯性测量单元的角速度上的bias参数；以所述惯性测量单元和轮式里程计联合构建的多帧运动变化大小与所述视觉类传感器的初始位姿得到的多帧之间的运动变化大小相等为约束，根据所述帧间旋转Rc和所述惯性测量单元的角速度上的bias参数，多帧联合求解得到所述预设帧数的每一帧图像数据对应惯性测量单元的速度和重力方向，满足如下关系：
其中，表示对第k+1帧到第k帧图像数据之间惯性测量单元的运动数据进行预积分得到的平移数据，/>表示对第k帧到k+1帧图像数据之间轮式里程计的运动数据进行预积分得到的平移数据，Pbo表示惯性测量单元和轮式里程计之间的平移外参，ΔRik表示对第k+1帧到第k帧图像数据之间的运动数据进行预积分得到的旋转数据，/>表示两帧图像数据初始化计算的惯性测量单元坐标系下的旋转变化，/>表示第一帧图像数据时重力加速度向量的方向，Δtk表示第k帧与第k+1帧之间的时间间隔，I是3*3的单位矩阵，B是由两个模长为1的互相正交的方向向量组成的3*2的矩阵，Δg表示重力方向的修正量，/>表示惯性测量单元坐标系下第k帧的速度。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于被处理器执行时实现权利要求8所述的VSLAM初始化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111578877.5A CN114234959B (zh) | 2021-12-22 | 2021-12-22 | 机器人、vslam初始化方法、装置和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111578877.5A CN114234959B (zh) | 2021-12-22 | 2021-12-22 | 机器人、vslam初始化方法、装置和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114234959A CN114234959A (zh) | 2022-03-25 |
| CN114234959B true CN114234959B (zh) | 2024-02-20 |
Family
ID=80761029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111578877.5A Active CN114234959B (zh) | 2021-12-22 | 2021-12-22 | 机器人、vslam初始化方法、装置和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114234959B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767470A (zh) * | 2019-01-07 | 2019-05-17 | 浙江商汤科技开发有限公司 | 一种跟踪系统初始化方法及终端设备 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN112240768A (zh) * | 2020-09-10 | 2021-01-19 | 西安电子科技大学 | 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法 |
| CN112862768A (zh) * | 2021-01-28 | 2021-05-28 | 重庆邮电大学 | 一种基于点线特征的自适应单目vio初始化方法 |
| CN112880687A (zh) * | 2021-01-21 | 2021-06-01 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
| CN113223161A (zh) * | 2021-04-07 | 2021-08-06 | 武汉大学 | 一种基于imu和轮速计紧耦合的鲁棒全景slam系统和方法 |
-
2021
- 2021-12-22 CN CN202111578877.5A patent/CN114234959B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN109767470A (zh) * | 2019-01-07 | 2019-05-17 | 浙江商汤科技开发有限公司 | 一种跟踪系统初始化方法及终端设备 |
| CN112240768A (zh) * | 2020-09-10 | 2021-01-19 | 西安电子科技大学 | 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法 |
| CN112880687A (zh) * | 2021-01-21 | 2021-06-01 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
| CN112862768A (zh) * | 2021-01-28 | 2021-05-28 | 重庆邮电大学 | 一种基于点线特征的自适应单目vio初始化方法 |
| CN113223161A (zh) * | 2021-04-07 | 2021-08-06 | 武汉大学 | 一种基于imu和轮速计紧耦合的鲁棒全景slam系统和方法 |
Non-Patent Citations (4)
| Title |
|---|
| Robust Tightly Coupled Pose Measurement Based on Multi-Sensor Fusion in Mobile Robot System;Gang Peng等;《sensors》;第21卷(第16期);第1-19页 * |
| 单目相机-IMU外参自动标定与在线估计的视觉-惯导SLAM;潘林豪等;《仪器仪表学报》;第40卷(第6期);第56-67页 * |
| 多模融合的室内定位算法研究;刘运航;《中国优秀硕士学位论文全文数据库信息科技辑》(第5期);第I138-1249页 * |
| 结合轮速传感器的紧耦合单目视觉惯性SLAM;陆泽早;《中国优秀硕士学位论文全文数据库信息科技辑》(第1期);第I140-501页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114234959A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246147B (zh) | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 | |
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN112797897B (zh) | 物体几何参数的测量方法、装置和终端 | |
| Kumar et al. | Simple calibration of non-overlapping cameras with a mirror | |
| CN111354042A (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| US20220319050A1 (en) | Calibration method and apparatus, processor, electronic device, and storage medium | |
| JP7280385B2 (ja) | 視覚的ポジショニング方法および関連装置、機器並びにコンピュータ可読記憶媒体 | |
| CN110276774B (zh) | 物体的绘图方法、装置、终端和计算机可读存储介质 | |
| CN110660098A (zh) | 基于单目视觉的定位方法和装置 | |
| WO2022156755A1 (zh) | 一种室内定位方法、装置、设备和计算机可读存储介质 | |
| CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
| CN112652020B (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
| CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
| CN113587934A (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
| CN110567484B (zh) | 标定imu与刚体姿态的方法、设备以及可读存储介质 | |
| Huttunen et al. | A monocular camera gyroscope | |
| CN114234959B (zh) | 机器人、vslam初始化方法、装置和可读存储介质 | |
| He et al. | Three-point-based solution for automated motion parameter estimation of a multi-camera indoor mapping system with planar motion constraint | |
| CN116721166A (zh) | 双目相机和imu旋转外参在线标定方法、装置及存储介质 | |
| CN113159197A (zh) | 一种纯旋转运动状态判定方法及装置 | |
| CN115601419A (zh) | 同步定位与建图后端优化方法、装置及存储介质 | |
| CN112348865B (zh) | 一种回环检测方法、装置、计算机可读存储介质及机器人 | |
| CN112880687B (zh) | 一种室内定位方法、装置、设备和计算机可读存储介质 | |
| Joubert et al. | Scene reconstruction from uncontrolled motion using a low cost 3D sensor | |
| Neumann et al. | A Structure From Motion Pipeline for Orthographic Multi-View Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |