CN111983636A - 位姿融合方法、系统、终端、介质以及移动机器人 - Google Patents

位姿融合方法、系统、终端、介质以及移动机器人 Download PDF

Info

Publication number
CN111983636A
CN111983636A CN202010807193.7A CN202010807193A CN111983636A CN 111983636 A CN111983636 A CN 111983636A CN 202010807193 A CN202010807193 A CN 202010807193A CN 111983636 A CN111983636 A CN 111983636A
Authority
CN
China
Prior art keywords
pose
fusion
information
posterior
prior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010807193.7A
Other languages
English (en)
Inventor
尤越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huaxin Information Technology Co Ltd
Original Assignee
Shenzhen Huaxin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huaxin Information Technology Co Ltd filed Critical Shenzhen Huaxin Information Technology Co Ltd
Priority to CN202010807193.7A priority Critical patent/CN111983636A/zh
Publication of CN111983636A publication Critical patent/CN111983636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请提供一种位姿融合方法、系统、终端、介质以及移动机器人，包括：将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，获得用于环境地图构建的融合位姿信息。解决了通过激光雷达SLAM得出的位姿与通过视觉得出的位姿由于环境和传感器特性，常常会有偏离。并二者的输出频率及计算量也有所不同，且两种位姿的输出也是非同步的。进而使利用以上两种方式得到的环境地图出现了不一致的情况，进而令所述移动机器人的定位及导航工作效率降低的问题。本申请为了将由激光雷达以及机器人视觉分别得到的位姿融合起来，使用了基于EKF的算法融合框架得到融合后的位姿，使得获得的环境地图更加准确，进而令所述移动机器人的定位及导航工作效率升高。

Description

位姿融合方法、系统、终端、介质以及移动机器人
技术领域
本申请涉及一种导航定位领域，特别是涉及一种位姿融合方法、系统、终端、介质以及移动机器人。
背景技术
随着计算机技术的迅速发展，机器人研究的深入以及人们对机器人需求的扩大，能自主导航与智能移动的机器人成为研究的热点和重点。
对于已知环境中的机器人自主定位和已知机器人位置的地图创建已经有了一些实用的解决方法。然而在很多环境中，机器人不能利用全局定位系统进行定位，而且事先获取机器人工作环境的地图也比较有难度。这时机器人需要在自身位置不确定的条件下，在完全未知环境中创建地图,同时利用地图进行自主定位和导航。而SLAM(同步定位与地图构建)技术，即是被认为目前实现真正全自主移动机器人的核心和关键技术。
随着激光雷达以及机器人视觉等技术的发展，多传感器融合融合技术已经成为地面移动机器人导航与定位的发展趋势。但是通过激光雷达SLAM得出的位姿Tl与通过视觉得出的位姿Tv由于环境和传感器特性，常常会有偏离。二者的输出频率也有所不同，激光雷达SLAM的运算速度更快，理论上能达到的帧率更高，但常常被激光雷达传感器的转速所限制；摄像头的帧率较高，但视觉算法的计算量更高，主要受到计算平台的限制。两种位姿的输出也是非同步的。进而使利用以上两种方式得到的环境地图出现了不一致的情况，进而令所述移动机器人的定位及导航工作效率降低。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种位姿融合方法、系统、终端、介质以及移动机器人，用于解决通过激光雷达SLAM得出的位姿Tl与通过视觉得出的位姿T由于环境和传感器特性，常常会有偏离。二者的输出频率也有所不同，激光雷达SLAM的运算速度更快，理论上能达到的帧率更高，但常常被激光雷达传感器的转速所限制；摄像头的帧率较高，但视觉算法的计算量更高，主要受到计算平台的限制。两种位姿的输出也是非同步的。进而使利用以上两种方式得到的环境地图出现了不一致的情况，进而令所述移动机器人的定位及导航工作效率降低的问题。
为实现上述目的及其他相关目的，本申请提供一种位姿融合方法，包括：将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，获得用于环境地图构建的融合位姿信息。
于本申请的一实施例中，所述方法包括：根据所述第一位姿信息与所述第二位姿信息预测当前状态的先验值和先验方差矩阵；根据所述第一位姿信息与所述第二位姿信息预测当前状态的后验值和后验方差矩阵；根据所述先验值、先验方差矩阵、后验值以及后验方差矩阵获得融合位姿信息。
于本申请的一实施例中，所述方法还包括：根据所述融合位姿信息获得定位信息，以用于构建环境地图。
于本申请的一实施例中，所述激光雷达获得所述第一位姿信息的方式包括：获得障碍物点信息以及IMU数据；基于SLAM算法获得第一位姿信息。
于本申请的一实施例中，所述视觉摄像头获得所述第二位姿信息的方式包括：
获得拍摄的连续图像；提取角点及计算描述子并与上一帧图像进行匹配；根据匹配结果计算获得第二位姿信息。。
为实现上述目的及其他相关目的，本申请提供一种位姿融合系统，包括：处理模块，用于将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，得到用于获得更准确的定位的融合位姿信息。
于本申请的一实施例中，所述处理模块包括：先验单元，用于根据所述第一位姿信息与所述第二位姿信息预测当前状态的先验值和先验方差矩阵；后验单元，用于根据所述第一位姿信息与所述第二位姿信息预测当前状态的后验值和后验方差矩阵；融合位姿获得单元，连接所述先验单元且连接于所述后验单元，用于根据所述先验值、先验方差矩阵、后验值以及后验方差矩阵获得融合位姿信息。
为实现上述目的及其他相关目的，本申请提供一种位姿融合终端，包括：存储器，用于存储计算机程序；处理器，运行所述计算机程序，以执行所述位姿融合方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被运行时实现所述位姿融合方法。
为实现上述目的及其他相关目的，本申请提供一种移动机器人，包括：一或多个所述位姿融合终端。
如上所述，本申请的位姿融合方法、系统、终端、介质以及移动机器人，具有以下有益效果：本申请为了将由激光雷达以及机器人视觉分别得到的位姿融合起来，使用了基于EKF的算法融合框架得到融合后的位姿，使得获得的环境地图更加准确，进而令所述移动机器人的定位及导航工作效率升高。
附图说明
图1显示为本申请一实施例中位姿融合方法的流程示意图。
图2显示为本申请一实施例中位姿融合方法的流程示意图。
图3显示为本申请一实施例中位姿融合系统的结构示意图。
图4显示为本申请一实施例中处理模块的结构示意图。
图5显示为本申请一实施例中位姿融合终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本申请提供一种位姿融合方法，解决了通过激光雷达SLAM得出的位姿Tl与通过视觉得出的位姿Tv由于环境和传感器特性，常常会有偏离。二者的输出频率也有所不同，激光雷达SLAM的运算速度更快，理论上能达到的帧率更高，但常常被激光雷达传感器的转速所限制；摄像头的帧率较高，但视觉算法的计算量更高，主要受到计算平台的限制。两种位姿的输出也是非同步的。进而使利用以上两种方式得到的环境地图出现了不一致的情况，进而令所述移动机器人的定位及导航工作效率降低的问题。本申请为了将由激光雷达以及机器人视觉分别得到的位姿融合起来，使用了基于EKF的算法融合框架得到融合后的位姿，使得获得的环境地图更加准确，进而令所述移动机器人的定位及导航工作效率升高。
所述方法包括：
将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，获得用于环境地图构建的融合位姿信息。
下面以附图1为参考，针对本申请得实施例进行详细说明，以便本申请所述技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示一实施例中位姿融合方法的流程示意图，即经过以下步骤；
步骤S11：将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，获得用于环境地图构建的融合位姿信息。
可选的，如图2所示为位姿融合方法在本实施例中的方法流程示意图，可以实现图1所述位姿融合方法的功能，所述位姿融合的方法包括：
步骤S21：根据所述第一位姿信息与所述第二位姿信息预测当前状态的先验值和先验方差矩阵。
可选的，将机器人各时刻的位姿记为x1，...，xk，其中k是离散时间下标。则系统运动和观测方程可表达为
Figure BDA0002629567490000041
其中，f为运动方程，g为观测方程，yk为激光雷达或视觉输出的第一位姿信息或第二位姿信息，uk为控制输入，wk为输入噪声，nk为观测噪声。一般我们将各个变量分布假设为高斯分布，并将系统在工作点附近线性化，得到
Figure BDA0002629567490000042
其中，A，C为状态转移矩阵，Qk，Rk为噪声的协方差矩阵
步骤S22：根据所述第一位姿信息与所述第二位姿信息预测当前状态的后验值和后验方差矩阵；
可选的，用
Figure BDA0002629567490000051
分别表示x的后验概率和先验概率，我们需要求的即最大后验概率(MAP)根据贝叶斯法则可化简为：
Figure BDA0002629567490000052
该式的递推解可由下面的公式得到：
Figure BDA0002629567490000053
Figure BDA0002629567490000054
Figure BDA0002629567490000055
Figure BDA0002629567490000056
Figure BDA0002629567490000057
其中Pk为xk的协方差矩阵。
由此可以得到先验值、先验值方差矩阵、后验值以及后验方差矩阵获得融合位姿信息
步骤S23：根据所述先验值、先验方差矩阵、后验值以及后验方差矩阵获得融合位姿信息。
可选的，所述位姿融合方法利用卡尔曼滤波器获得融合位姿信息。
可选的，根据所述融合位姿信息获得定位信息，进而构建环境地图。
可选的，所述激光雷达获得所述第一位姿信息的方式包括：获得障碍物点信息以及IMU数据；基于SLAM算法获得第一位姿信息。
举例来说，使用3D激光雷达或是2D激光雷达来获得所述第一位姿信息；通过激光雷达获得的障碍物点信息与IMU数据，算法在建立地图的同时，计算出一个激光雷达位姿即第一位姿信息；激光雷达SLAM分为两个线程。在前端线程，激光数据点通过两帧之间IMU测量值计算出相对移动的初值，在对局部地图进行匹配之后，得到修正过的当前位姿。在后端线程，每过一段时间就更新地图信息，并对地图进行优化，提升地图的精度。
可选的，所述视觉摄像头获得所述第一位姿信息的方式包括：获得拍摄的多帧障碍物的图像；将不同帧的图像进行对比并计算获得第二位姿信息。
举例来说，视觉SLAM使用单目或者双目系统，分别对应一个摄像头或两个摄像头。通过对比前后两帧图像，计算出视觉位姿即第二位姿信息。其中视觉SLAM分为三个线程。前端线程计算图像的特征点，并与前一帧图像进行匹配。对匹配上的特征点进行三角化，从而获得3D的点云。后端线程对机器人位姿与3D点云一同进行优化，推测机器人的最新位姿，并调整局部的位姿和点云。回环线程检查当前场景是否与地图中的历史场景一致，在触发回环之后进行全局地图的修正。
与上述实施例原理相似的是，本申请提供一种位姿融合
处理模块，用于将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，得到用于获得更准确的定位的融合位姿信息。
以下结合附图提供具体实施例：
如图3所示展示本申请实施例中的一种位姿融合系统的结构示意图。
所述系统包括：
所述处理模块31，用于将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，得到用于获得更准确的定位的融合位姿信息。
可选的，如图4显示所述实施例中的一种处理模块40，其中处理模块可以实现如图3所述的所述处理模块31，所述处理模块40包括：
先验单元41，用于根据所述第一位姿信息与所述第二位姿信息预测当前状态的先验值和先验方差矩阵；
后验单元42，用于根据所述第一位姿信息与所述第二位姿信息预测当前状态的后验值和后验方差矩阵；
融合位姿获得单元43，连接所述先验单元且连接于所述后验单元，用于根据所述先验值、先验方差矩阵、后验值以及后验方差矩阵获得融合位姿信息。
可选的，所述先验单元41以及所述后验单元42根据所述第一位姿信息与所述第二位姿信息预测当前状态的先验值和先验方差矩阵；根据所述第一位姿信息与所述第二位姿信息预测当前状态的后验值和后验方差矩阵的方式包括：将机器人各时刻的位姿记为x1，...，xk，其中k是离散时间下标。则系统运动和观测方程可表达为
Figure BDA0002629567490000061
其中，f为运动方程，g为观测方程，yk为激光雷达或视觉输出的第一位姿信息或第二位姿信息，uk为控制输入，wk为输入噪声，nk为观测噪声。一般我们将各个变量分布假设为高斯分布，并将系统在工作点附近线性化，得到
Figure BDA0002629567490000071
其中，A，C为状态转移矩阵，Qk，Rk为噪声的协方差矩阵
用
Figure BDA0002629567490000072
分别表示x的后验概率和先验概率，我们需要求的即最大后验概率(MAP)根据贝叶斯法则可化简为：
Figure BDA0002629567490000073
该式的递推解可由下面的公式得到：
Figure BDA0002629567490000074
Figure BDA0002629567490000075
Figure BDA0002629567490000076
Figure BDA0002629567490000077
Figure BDA0002629567490000078
其中Pk为xk的协方差矩阵。
由此可以得到先验值、先验值方差矩阵、后验值以及后验方差矩阵，再根据所述融合位姿获得单元43获得融合位姿信息。
可选的，所述位姿融合系统还包括卡尔曼滤波器，用于获得融合位姿信息。
可选的，所述处理模块31还根据所述融合位姿信息获得定位信息，进而构建环境地图。
可选的，所述激光雷达获得所述第一位姿信息的方式包括：获得障碍物点信息以及IMU数据；基于SLAM算法获得第一位姿信息。
举例来说，使用3D激光雷达或是2D激光雷达来获得所述第一位姿信息；通过激光雷达获得的障碍物点信息与IMU数据，算法在建立地图的同时，计算出一个激光雷达位姿即第一位姿信息；激光雷达SLAM分为两个线程。在前端线程，激光数据点通过两帧之间IMU测量值计算出相对移动的初值，在对局部地图进行匹配之后，得到修正过的当前位姿。在后端线程，每过一段时间就更新地图信息，并对地图进行优化，提升地图的精度。
可选的，所述视觉摄像头获得所述第一位姿信息的方式包括：获得拍摄的多帧障碍物的图像；将不同帧的图像进行对比并计算获得第二位姿信息。
举例来说，视觉SLAM使用单目或者双目系统，分别对应一个摄像头或两个摄像头。通过对比前后两帧图像，计算出视觉位姿即第二位姿信息。其中视觉SLAM分为三个线程。前端线程计算图像的特征点，并与前一帧图像进行匹配。对匹配上的特征点进行三角化，从而获得3D的点云。后端线程对机器人位姿与3D点云一同进行优化，推测机器人的最新位姿，并调整局部的位姿和点云。回环线程检查当前场景是否与地图中的历史场景一致，在触发回环之后进行全局地图的修正。
如图5所示，展示本申请实施例中的位姿融合终端50的结构示意图。
所述电子装置50包括：存储器51及处理器52所述存储器51用于存储计算机程序；所述处理器52运行计算机程序实现如图1所述的位姿融合方法。
可选的，所述存储器51的数量均可以是一或多个，所述处理器52的数量均可以是一或多个，所而图5中均以一个为例。
可选的，所述电子装置50中的处理器52会按照如图1述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器51中，并由处理器52来运行存储在存储器51中的应用程序，从而实现如图1所述位姿融合方法中的各种功能。
可选的，所述存储器51，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器51，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器52可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的位姿融合方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本申请位姿融合方法、系统、终端、介质以及移动机器人，解决了解决了通过激光雷达SLAM得出的位姿T_L与通过视觉得出的位姿T_v由于环境和传感器特性，常常会有偏离。二者的输出频率也有所不同，激光雷达SLAM的运算速度更快，理论上能达到的帧率更高，但常常被激光雷达传感器的转速所限制；摄像头的帧率较高，但视觉算法的计算量更高，主要受到计算平台的限制。两种位姿的输出也是非同步的。进而使利用以上两种方式得到的环境地图出现了不一致的情况，进而令所述移动机器人的定位及导航工作效率降低的问题。本申请为了将由激光雷达以及机器人视觉分别得到的位姿融合起来，使用了基于EKF的算法融合框架得到融合后的位姿，使得获得的环境地图更加准确，进而令所述移动机器人的定位及导航工作效率升高。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种位姿融合方法，其特征在于，所述方法包括：
将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，获得用于环境地图构建的融合位姿信息。
2.根据权利要求1所述的位姿融合方法，其特征在于，所述方法包括：
根据所述第一位姿信息与所述第二位姿信息预测当前状态的先验值和先验方差矩阵；
根据所述第一位姿信息与所述第二位姿信息预测当前状态的后验值和后验方差矩阵；
根据所述先验值、先验方差矩阵、后验值以及后验方差矩阵获得融合位姿信息。
3.根据权利要求2所述的位姿融合方法，其特征在于，所述方法还包括：根据所述融合位姿信息获得定位信息，以用于构建环境地图。
4.根据权利要求1所述的位姿融合方法，其特征在于，所述激光雷达获得所述第一位姿信息的方式包括：
获得障碍物点信息以及IMU数据；
基于SLAM算法获得第一位姿信息。
5.根据权利要求1所述的位姿融合方法，其特征在于，所述视觉摄像头获得所述第二位姿信息的方式包括：
获得拍摄的连续图像；
提取角点及计算描述子并与上一帧图像进行匹配；
根据匹配结果计算获得第二位姿信息。
6.一种位姿融合系统，其特征在于，包括：
处理模块，用于将由激光雷达获得的第一位姿信息与由视觉摄像头获得的第二位姿信息进行位姿融合，得到用于获得更准确的定位的融合位姿信息。
7.根据权利要求6所述的位姿融合系统，其特征在于，所述处理模块包括：
先验单元，用于根据所述第一位姿信息与所述第二位姿信息预测当前状态的先验值和先验方差矩阵；
后验单元，用于根据所述第一位姿信息与所述第二位姿信息预测当前状态的后验值和后验方差矩阵；
融合位姿获得单元，连接所述先验单元且连接于所述后验单元，用于根据所述先验值、先验方差矩阵、后验值以及后验方差矩阵获得融合位姿信息。
8.一种位姿融合终端，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述计算机程序，以执行如权利要求1至5中任一项所述的位姿融合方法。
9.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序运行时实现如权利要求1至5中任一项所述的位姿融合方法。
10.一种移动机器人，其特征在于，包括：
一或多个如权利要求8所述的位姿融合终端。
CN202010807193.7A 2020-08-12 2020-08-12 位姿融合方法、系统、终端、介质以及移动机器人 Pending CN111983636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010807193.7A CN111983636A (zh) 2020-08-12 2020-08-12 位姿融合方法、系统、终端、介质以及移动机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010807193.7A CN111983636A (zh) 2020-08-12 2020-08-12 位姿融合方法、系统、终端、介质以及移动机器人

Publications (1)

Publication Number Publication Date
CN111983636A true CN111983636A (zh) 2020-11-24

Family

ID=73433888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010807193.7A Pending CN111983636A (zh) 2020-08-12 2020-08-12 位姿融合方法、系统、终端、介质以及移动机器人

Country Status (1)

Country Link
CN (1) CN111983636A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311452A (zh) * 2021-05-26 2021-08-27 上海新纪元机器人有限公司 一种基于多传感器的定位方法及其系统
CN113850911A (zh) * 2021-09-29 2021-12-28 平安科技（深圳）有限公司 一种地图构建方法、装置、计算机设备及存储介质
CN114111775A (zh) * 2021-12-20 2022-03-01 国汽(北京)智能网联汽车研究院有限公司 一种多传感器融合定位方法、装置、存储介质及电子设备
CN114624688A (zh) * 2022-03-15 2022-06-14 电子科技大学 一种基于多传感器联合的跟踪定位方法
CN117032027A (zh) * 2023-08-15 2023-11-10 广东美的智能科技有限公司 视觉控制系统及其控制方法、视觉运动控制器和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351216A (zh) * 2015-10-05 2018-07-31 日本先锋公司 估计装置、控制方法、程序以及存储介质
CN108759833A (zh) * 2018-04-25 2018-11-06 中国科学院合肥物质科学研究院 一种基于先验地图的智能车辆定位方法
CN108830191A (zh) * 2018-05-30 2018-11-16 上海电力学院 基于改进emm及orb算法的移动机器人slam方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110645974A (zh) * 2019-09-26 2020-01-03 西南科技大学 一种融合多传感器的移动机器人室内地图构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351216A (zh) * 2015-10-05 2018-07-31 日本先锋公司 估计装置、控制方法、程序以及存储介质
CN108759833A (zh) * 2018-04-25 2018-11-06 中国科学院合肥物质科学研究院 一种基于先验地图的智能车辆定位方法
CN108830191A (zh) * 2018-05-30 2018-11-16 上海电力学院 基于改进emm及orb算法的移动机器人slam方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110645974A (zh) * 2019-09-26 2020-01-03 西南科技大学 一种融合多传感器的移动机器人室内地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈慧岩 等: "《移动机器人技术基础与制作》", 哈尔滨工业大学出版社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311452A (zh) * 2021-05-26 2021-08-27 上海新纪元机器人有限公司 一种基于多传感器的定位方法及其系统
CN113850911A (zh) * 2021-09-29 2021-12-28 平安科技（深圳）有限公司 一种地图构建方法、装置、计算机设备及存储介质
CN113850911B (zh) * 2021-09-29 2024-09-24 平安科技（深圳）有限公司 一种地图构建方法、装置、计算机设备及存储介质
CN114111775A (zh) * 2021-12-20 2022-03-01 国汽(北京)智能网联汽车研究院有限公司 一种多传感器融合定位方法、装置、存储介质及电子设备
CN114111775B (zh) * 2021-12-20 2024-03-29 国汽(北京)智能网联汽车研究院有限公司 一种多传感器融合定位方法、装置、存储介质及电子设备
CN114624688A (zh) * 2022-03-15 2022-06-14 电子科技大学 一种基于多传感器联合的跟踪定位方法
CN114624688B (zh) * 2022-03-15 2023-04-07 电子科技大学 一种基于多传感器联合的跟踪定位方法
CN117032027A (zh) * 2023-08-15 2023-11-10 广东美的智能科技有限公司 视觉控制系统及其控制方法、视觉运动控制器和存储介质

Similar Documents

Publication Publication Date Title
CN112179330B (zh) 移动设备的位姿确定方法及装置
CN111983636A (zh) 位姿融合方法、系统、终端、介质以及移动机器人
US11313684B2 (en) Collaborative navigation and mapping
Rosinol et al. Incremental visual-inertial 3d mesh generation with structural regularities
CN108279670B (zh) 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
CN111337947A (zh) 即时建图与定位方法、装置、系统及存储介质
CN112634451A (zh) 一种融合多传感器的室外大场景三维建图方法
CN112784873B (zh) 一种语义地图的构建方法及设备
CN108592919B (zh) 制图与定位方法、装置、存储介质和终端设备
Jia et al. A Survey of simultaneous localization and mapping for robot
CN112327326A (zh) 带有障碍物三维信息的二维地图生成方法、系统以及终端
CN112802096A (zh) 实时定位和建图的实现装置和方法
CN113313763A (zh) 一种基于神经网络的单目相机位姿优化方法及装置
Indelman et al. Incremental light bundle adjustment for robotics navigation
WO2023226154A1 (zh) 自主定位方法、装置、设备及计算机可读存储介质
Pire et al. Real-time dense map fusion for stereo SLAM
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
Mumuni et al. Bayesian cue integration of structure from motion and CNN-based monocular depth estimation for autonomous robot navigation
CN114565670A (zh) 一种位姿优化方法及装置
CN116883586B (zh) 一种基于双目相机的地形语义地图构建方法、系统及产品
CN118067108A (zh) 一种基于激光雷达-惯导-视觉融合的建图和定位方法及系统
Qayyum et al. Imu aided rgb-d slam
Ding et al. Stereo vision SLAM-based 3D reconstruction on UAV development platforms
Li et al. An SLAM algorithm based on laser radar and vision fusion with loop detection optimization
Zhong et al. A factor graph optimization mapping based on normaldistributions transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124