CN116698046B - 一种物业室内服务机器人建图定位和回环检测方法及系统 - Google Patents

一种物业室内服务机器人建图定位和回环检测方法及系统 Download PDF

Info

Publication number
CN116698046B
CN116698046B CN202310973554.9A CN202310973554A CN116698046B CN 116698046 B CN116698046 B CN 116698046B CN 202310973554 A CN202310973554 A CN 202310973554A CN 116698046 B CN116698046 B CN 116698046B
Authority
CN
China
Prior art keywords
representing
coordinate system
laser radar
constraint
imu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310973554.9A
Other languages
English (en)
Other versions
CN116698046A (zh
Inventor
丁延超
荆颖
刘玉敏
马育林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Guanrui Automobile Technology Co ltd
Original Assignee
Suzhou Guanrui Automobile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Guanrui Automobile Technology Co ltd filed Critical Suzhou Guanrui Automobile Technology Co ltd
Priority to CN202310973554.9A priority Critical patent/CN116698046B/zh
Publication of CN116698046A publication Critical patent/CN116698046A/zh
Application granted granted Critical
Publication of CN116698046B publication Critical patent/CN116698046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种物业室内服务机器人建图定位和回环检测方法，涉及机器人图像定位检测技术领域，包括：采集机器人摄像前端数据并进行预处理；构建相邻状态量之间的约束关系，加入后端状态估计优化中；进行最优匹配优化姿态约束，获取回环检测结果。本发明提供的物业室内服务机器人建图定位和回环检测方法通过激光雷达和视觉耦合的回环检测，有效修正系统的轨迹偏移，使地图具有更好的一致性。融合点云信息以保证机器人在复杂室内环境下的可靠定位，且在定位异常时能及时报警，并可以实时或离线建图，要求回环正常、无重影，且回环异常时可手动纠正。

Description

一种物业室内服务机器人建图定位和回环检测方法及系统
技术领域
本发明涉及机器人图像定位检测技术领域，具体为一种物业室内服务机器人建图定位和回环检测方法。
背景技术
随着科学技术的发展，服务机器人逐渐进入大众视野，应用范围主要涉及维护保养、运输、清洗、保安以及救援等工作。智能化与网联化机器人成为未来发展的趋势。
目前，现有机器人在日常生活应用中，存在的问题主要有：目标的定位技术在复杂的室内环境下，成功率较低，可靠性不高，适用范围较小；
其次，机器人工作时需要与云端传输信息，对网络有硬性需求，在离线时不能正常工作；
最后，环境发生变化时，机器人适应性差，智能化水平低，在动态环境中，如有人来人往的大楼内，机器人需要在快速变化的环境中进行定位和建图，这对机器人的处理速度和计算精确性产生了极大的影响。
因此亟需一种物业室内服务机器人建图定位和回环检测方法，保证机器人在复杂室内环境下的可靠定位，且在定位异常时能及时报警，实时或离线建图，要求回环正常、无重影，且回环异常时可手动纠正。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的机器人图像定位方法存在成功率低，适用范围小，适应性差以及如何在离线情况下进行建图的优化问题。
为解决上述技术问题，本发明提供如下技术方案：一种物业室内服务机器人建图定位和回环检测方法，包括：
采集机器人摄像前端数据并进行预处理；
构建相邻状态量之间的约束关系，加入后端状态估计优化中；
进行最优匹配优化姿态约束，获取回环检测结果。
作为本发明所述的物业室内服务机器人建图定位和回环检测方法的一种优选方案，其中：所述采集机器人摄像前端数据并进行预处理包括获取机器人激光雷达摄像信息在激光雷达点云中提取结构特征信息，计算激光雷达里程计，以第一帧激光雷达坐标系为基准构建一个局部地图坐标系使第一帧激光雷达坐标系与/>系的转换关系为单位矩阵，将/>设为激光雷达里程计坐标系，后续的点云帧的最新姿态在/>系下进行表示；
基于每个点在所属环的曲率信息在一帧点云中提取平面点psurf和边缘点pedge，曲率小于预设阈值的平坦点被视为平面点，曲率大于阈值的点被视为边缘点，若当前特征点相邻环的邻近点不属于平面特征，当前特征点也不视为平面点；
以IMU推算姿态作为帧到局部地图匹配的初值，将当前帧与局部地图进行配准，得到激光雷达里程计位姿li表示第i帧激光雷达坐标系。
作为本发明所述的物业室内服务机器人建图定位和回环检测方法的一种优选方案，其中：所述构建相邻状态量之间的约束关系包括完成视觉姿态计算后，接收激光雷达里程计结果，使用关键帧之间的激光雷达相对变化量以匀速模型计算载体在关键帧之间的相对运动速度和相对位移δp，并将/>和δp作为相对约束加入后端状态估计优化中，限制由视觉求解出来的速度和位置状态量，同时δp会与视觉里程计求解出来姿态进行对齐，恢复尺度信息，表示为：
其中，i，j为相邻两组关键帧，为激光雷达配准得到的相对位姿，/>为激光雷达配准时间，/>为相机配准得到的相对位姿，/>为激光雷达到相机坐标系的外参，/>为转换矩阵，/>为图像估算得到的带有尺度的平移信息，/>为激光雷达到相机坐标系的时间，s为待优化的尺度量，完成坐标系转换后进行积分项替换。
作为本发明所述的物业室内服务机器人建图定位和回环检测方法的一种优选方案，其中：所述加入后端状态估计优化中包括后端状态估计模块采用紧耦合的滑窗优化算法，通过IMU、激光雷达与视觉的观测约束联合优化，在后端中维护的状态量表示为：
其中，表示IMU在滑窗内的第k个状态向量，n表示总共有k个状态向量，包含IMU坐标系在世界坐标系下的位置/>速度/>姿态/>以及IMU本身的偏置误差ba和bg，λj表示的在滑窗内检测到第j个视觉特征点的逆深度，m为滑窗内所有待优化的特征点的个数；后端状态估计整体的优化模型表示为：
其中，X*为最优状态量，X为滑窗内的所有状态量，表示IMU约束，bk表示第k帧数，为bk到bk+1帧之间的IMU约束，/>表示第k个视觉特征点在约束帧中的观测值，/>为激光雷达里程计的观测值，/>表示IMU约束下观测值与待优化状态量之间的残差，/>表示IMU视觉约束下观测值与待优化状态量之间的残差，/>表示IMU激光雷达约束下观测值与待优化状态量之间的残差；带有噪声的加速度/>和角速度的IMU自身坐标系表示为：
其中，表示转换矩阵，/>和/>分别为加速度和角速度的真值。
作为本发明所述的物业室内服务机器人建图定位和回环检测方法的一种优选方案，其中：所述积分项替换包括：对恢复尺度信息进行积分项替换，得到位置，速度和姿态的预积分量，表示为：
其中，为位置预积分量，/>为速度预积分量，/>为姿态预积分量，/>表示差乘，/>表示转换矩阵，t表示从第k到第k+1的时间，/>和/>分别是以随机游走方式建模的加速度和角速度偏置，/>和/>分别表示为IMU自身坐标系的带有噪声的加速度和角速度，/>表示为IMU坐标系在世界坐标系下的姿态。
k为当前时刻，k+1时刻系统状态量的估计值表示为：
分别表示IMU坐标第k+1时刻系在世界坐标系下的位置、速度、姿态，/>分别为IMU坐标系第k时刻在世界坐标系下的位置、速度、姿态，Δtk表示时间差，gw表示在世界坐标系下的重力加速度向量，表示k时间由b坐标系到w坐标系之间的转换矩阵，na和ng分别表示采用高斯白噪声进行建模的加速度和角速度IMU测量噪声。
作为本发明所述的物业室内服务机器人建图定位和回环检测方法的一种优选方案，其中：所述构建视觉重投影残差约束包括计算特征点残差与雅可比矩阵，计算特征点归一化坐标的实际值与理论值差值，表示为：
其中，1表示特征点pk在第k帧图像归一化平面上的坐标，/>是特征点在第j帧图像上理论归一化平面坐标，/>和/>是特征点在第i和j帧图像上实际测量得到的归一化平面坐标，/>为视觉重投影残差方程，/>表示深度信息，i表示首次被观测到的帧序列号，/>和/>表示状态量估值，/>和/>表示相机与IMU的外参，/>和分别表示状态实际值。
完成残差求解后，求解雅克比矩阵，表示为：
其中，表示雅克比矩阵求解结果，x表示与当前视觉重投影约束的状态量，rc表示IMU视觉约束下观测值与待优化状态量之间的残差。
将姿态从特殊欧式群T∈SE(3)分解为特殊正交群R∈SO(3)和平移向量t∈R3，表示为：
其中，rL表示IMU激光雷达约束下观测值与待优化状态量之间的残差，i和j为相邻两组关键帧的序列号，和/>为IMU到相机坐标系之间的转换矩阵，表示旋转矩阵到代数之间的转换，/>表示激光雷达里程计位姿，/>和/>表示IMU在滑窗内下的第j个平移位置和观测位置。
完成残差计算后，对i时刻的旋转矩阵以及j时刻的旋转矩阵和位置求导，表示为：
其中，和/>分别表示特殊正交群SO(3)下在φ处的右雅可比和左雅克比，I3×3表示单位矩阵。
作为本发明所述的物业室内服务机器人建图定位和回环检测方法的一种优选方案，其中：所述进行最优匹配优化姿态约束包括将最新关键帧中通过光流追踪上的特征点计算出描述子，并在历史帧中进行匹配，并剔除和当前帧处于时间或者距离阈值外的历史帧，获取剩余历史帧数据的姿态数据，通过PnP算法优化得到当前帧与历史帧之间的位置关系，激光雷达里程计在存储的历史关键帧中根据最小距离原则进行匹配，完成后根据视觉回环提供的初值进行匹配，获取回环检测结果。
本发明的另外一个目的是提供一种物业室内服务机器人建图定位和回环检测系统，其能通过激光雷达和视觉耦合的回环检测，解决了现有技术系统的轨迹偏移，使地图具有更好的一致性。
一种物业室内服务机器人建图定位和回环检测系统，其特征在于：包括，数据预处理模块、约束关系构建模块、匹配约束优化模块；
所述数据预处理模块用于获取机器人的激光雷达摄像信息，提取激光雷达点云中的结构特征信息，计算激光雷达里程计，构建一个基于第一帧激光雷达坐标系的局部地图坐标系；
所述约束关系构建模块用于使用关键帧之间的激光雷达相对变化量计算载体在关键帧之间的相对运动速度和相对位移，并将相对约束加入后端状态估计优化中；
所述匹配约束优化模块用于进行最优匹配优化姿态约束，获取回环检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现物业室内服务机器人建图定位和回环检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现物业室内服务机器人建图定位和回环检测方法的步骤。
本发明的有益效果：本发明提供的物业室内服务机器人建图定位和回环检测方法通过激光雷达和视觉耦合的回环检测，有效修正系统的轨迹偏移，使地图具有更好的一致性。融合点云信息以保证机器人在复杂室内环境下的可靠定位，且在定位异常时能及时报警，并可以实时或离线建图，要求回环正常、无重影，且回环异常时可手动纠正。与激光雷达里程计环节相耦合，无需对点云采取额外的特征提取或拟合操作，可减少系统资源的占用，在保证系统实时性的基础上优化视觉特征点的深度信息。本发明在一致性、可靠性、适用性方面都取得更加良好的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例提供的一种物业室内服务机器人建图定位和回环检测方法的整体流程图。
图2为本发明第二个实施例提供的一种物业室内服务机器人建图定位和回环检测方法的节点误差示意图。
图3为本发明第二个实施例提供的一种物业室内服务机器人建图定位和回环检测方法的定位运行时间比较图。
图4为本发明第二个实施例提供的一种物业室内服务机器人建图定位和回环检测方法的定位误差率比较图。
图5为本发明第二个实施例提供的一种物业室内服务机器人建图定位和回环检测方法的多尺度定位轨迹还原示例图。
图6为本发明第三个实施例提供的一种物业室内服务机器人建图定位和回环检测系统的整体流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的一个实施例，提供了一种物业室内服务机器人建图定位和回环检测方法，包括：
S1：采集机器人摄像前端数据并进行预处理。
更进一步的，采集机器人摄像前端数据并进行预处理包括获取机器人激光雷达摄像信息在激光雷达点云中提取结构特征信息，计算激光雷达里程计，以第一帧激光雷达坐标系为基准构建一个局部地图坐标系使第一帧激光雷达坐标系与/>系的转换关系为单位矩阵，将/>设为激光雷达里程计坐标系，后续的点云帧的最新姿态在/>系下进行表示。
基于每个点在所属环的曲率信息在一帧点云中提取平面点psurf和边缘点pedge，曲率小于预设阈值的平坦点被视为平面点，曲率大于阈值的点被视为边缘点，若当前特征点相邻环的邻近点不属于平面特征，当前特征点也不视为平面点。
以IMU推算姿态作为帧到局部地图匹配的初值，将当前帧与局部地图进行配准，得到激光雷达里程计位姿li表示第i帧激光雷达坐标系。
应说明的是，激光雷达点云特征提取的方式继承自LOAM系列，激光里程计部分维护了一个小范围的局部地图(local map)，在完成对点云的特征提取特征后，以IMU推算姿态作为帧-局部地图匹配的初值，将当前帧与局部地图进行配准；单目视觉里程计中，对特征点深度进行有尺度的估计，若对特征点的观测次数较少或者视差不足，则深度估计会带有很大的噪声，在多模态传感器融合框架下，可以利用激光雷达点云优化视觉特征点的深度信息，从而提升视觉惯性里程计的鲁棒性和精度；激光雷达里程计中，激光雷达点云进行特征提取，用于与局部地图匹配输出里程计信息。
S2：构建相邻状态量之间的约束关系，加入后端状态估计优化中。
更进一步的，构建相邻状态量之间的约束关系包括完成视觉姿态计算后，接收激光雷达里程计结果，使用关键帧之间的激光雷达相对变化量以匀速模型计算载体在关键帧之间的相对运动速度和相对位移δp，并将/>和δp作为相对约束加入后端状态估计优化中，限制由视觉求解出来的速度和位置状态量，同时δp会与视觉里程计求解出来姿态进行对齐，恢复尺度信息，表示为：
其中，i，j为相邻两组关键帧，为激光雷达配准得到的相对位姿，/>为激光雷达配准时间，/>为相机配准得到的相对位姿，/>为激光雷达到相机坐标系的外参，/>为转换矩阵，/>为图像估算得到的带有尺度的平移信息，/>为激光雷达到相机坐标系的时间，s为待优化的尺度量，完成坐标系转换后进行积分项替换。
应说明的是，在相邻关键帧之间，IMU观测通过预积分操作构建独立的预积分因子，约束了速度，位置，姿态和偏置状态量，激光雷达里程计提供了为关键帧提供了相对位姿的约束信息，同时，对于滑窗内观测到的视觉特征点，若其已经完成了深度信息的恢复，那么观测到该特征点的其他图像，可以与首次观测到该特征点的图像构建视觉重投影约束，从而对该帧的位置和姿态构建相应的约束。
还应说明的是，为了节约系统的计算资源，避免在优化流程中对相邻关键帧内的IMU数据多次积分，对IMU传感器采用了预积分的处理方式，即单独将相邻关键帧内的所有IMU数据预先积分，得到一组单独的约束条件，在后续的优化流程中，这组约束条件仅和IMU的加速度和角速度偏置有关，从而与相关状态量实现了解耦。
更进一步的，积分项替换包括：对恢复尺度信息进行积分项替换，得到位置，速度和姿态的预积分量，表示为：
其中，为位置预积分量，/>为速度预积分量，/>为姿态预积分量，/>表示差乘，/>表示转换矩阵，t表示从第k到第k+1的时间，/>和/>分别是以随机游走方式建模的加速度和角速度偏置，/>和/>分别表示为IMU自身坐标系的带有噪声的加速度和角速度，/>表示为IMU坐标系在世界坐标系下的姿态。
k为当前时刻，k+1时刻系统状态量的估计值表示为：
分别表示IMU坐标第k+1时刻系在世界坐标系下的位置、速度、姿态，/>分别为IMU坐标系第k时刻在世界坐标系下的位置、速度、姿态，Δtk表示时间差，gw表示在世界坐标系下的重力加速度向量，表示k时间由b坐标系到w坐标系之间的转换矩阵，na和ng分别表示采用高斯白噪声进行建模的加速度和角速度IMU测量噪声。
应说明的是，状态估计后端接收来自前端预处理的数据，在接收到最新帧的图像后，预处理部分会对图像进行光流跟踪，并保留跟踪质量较高特征点。跟踪次数大于阈值的点会使用三角化进行深度估计，并根据激光雷达数据对深度值进行进一步优化，带有深度值的特征点会进行后端，构建视觉重投影残差约束。
还应说明的是，设滑窗中拥有N个符合要求的特征点数据，这些特征点的深度信息寄存在滑窗内首次观测到该特征的状态量中，遍历所有符合要求的特征点，对于某个特征点pk，设其首次被观测到的帧序列号为i，其深度信息为同时还被第j帧观测到，其中i≠j，那么此次观测就可以在第i帧和第j帧中构建重投影约束，通过深度信息恢复pk在i帧相机坐标系下的坐标值/>并通过状态量估值/>以及相机与IMU的外参/>将其转换到j时刻的相机坐标系上，再对深度进行归一化后可以得到特征点归一化坐标的理论值，计算残差，即为特征点归一化坐标的实际值与理论值之差。
构建视觉重投影残差约束包括计算特征点残差与雅可比矩阵，计算特征点归一化坐标的实际值与理论值差值，表示为：
其中，1表示特征点pk在第k帧图像归一化平面上的坐标，/>是特征点在第j帧图像上理论归一化平面坐标，/>和/>是特征点在第i和j帧图像上实际测量得到的归一化平面坐标，/>为视觉重投影残差方程，/>表示深度信息，i表示首次被观测到的帧序列号，/>和/>表示状态量估值，/>和/>表示相机与IMU的外参，/>和/>分别表示状态实际值。
完成残差求解后，求解雅克比矩阵，表示为：
其中，表示雅克比矩阵求解结果，x表示与当前视觉重投影约束的状态量，rc表示IMU视觉约束下观测值与待优化状态量之间的残差。
将姿态从特殊欧式群T∈SE(3)分解为特殊正交群R∈SO(3)和平移向量t∈R3，表示为：
其中，rL表示IMU激光雷达约束下观测值与待优化状态量之间的残差，i和j为相邻两组关键帧的序列号，和/>为IMU到相机坐标系之间的转换矩阵，表示旋转矩阵到代数之间的转换，/>表示激光雷达里程计位姿，/>和/>表示IMU在滑窗内下的第j个平移位置和观测位置。
完成残差计算后，对i时刻的旋转矩阵以及j时刻的旋转矩阵和位置求导，表示为：
其中，和/>分别表示特殊正交群SO(3)下在φ处的右雅可比和左雅克比，I3×3表示单位矩阵。
更进一步的，设计了失效检测机制，除了保证由激光雷达获取的姿态与IMU获取的姿态保持在一定的误差范围内，还加入了速度约束机制，即在两组关键帧之间通过匀速模型约束载体相对运动的距离，从而保证各类传感器获取的数据是在合理范围内。
S3：进行最优匹配优化姿态约束，获取回环检测结果。
更进一步的，加入后端状态估计优化中包括后端状态估计模块采用紧耦合的滑窗优化算法，通过IMU、激光雷达与视觉的观测约束联合优化，在后端中维护的状态量表示为：
其中，表示IMU在滑窗内的第k个状态向量，n表示总共有k个状态向量，包含IMU坐标系在世界坐标系下的位置/>速度/>姿态/>以及IMU本身的偏置误差ba和bg，λj表示的在滑窗内检测到第j个视觉特征点的逆深度，m为滑窗内所有待优化的特征点的个数；后端状态估计整体的优化模型表示为：
其中，X*为最优状态量，X为滑窗内的所有状态量，表示IMU约束，bk表示第k帧数，/>为bk到bk+1帧之间的IMU约束，/>表示第k个视觉特征点在约束帧中的观测值，/>为激光雷达里程计的观测值，/>表示IMU约束下观测值与待优化状态量之间的残差，/>表示IMU视觉约束下观测值与待优化状态量之间的残差，/>表示IMU激光雷达约束下观测值与待优化状态量之间的残差；带有噪声的加速度/>和角速度的IMU自身坐标系表示为：
其中，表示转换矩阵，/>和/>分别为加速度和角速度的真值。
应说明的是，进行最优匹配优化姿态约束包括将最新关键帧中通过光流追踪上的特征点计算出描述子，并在历史帧中进行匹配，并剔除和当前帧处于时间或者距离阈值外的历史帧，获取剩余历史帧数据的姿态数据，通过PnP(perspective-n-point)算法优化得到当前帧与历史帧之间的位置关系，由于视觉特征点深度信息精度较低，此时的回环是一个低精度的约束信息，为了提升回环约束的精度，我们将视觉回环的当前帧相对于历史帧的姿态信息作为初值发送给激光雷达里程计当中激光雷达里程计在存储的历史关键帧中根据最小距离原则进行匹配，完成后根据视觉回环提供的初值进行匹配，获取回环检测结果。
实施例2
参照图2-图6，为本发明的一个实施例，提供了一种物业室内服务机器人建图定位和回环检测方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
为验证建图定位算法可靠性，选取江苏大学耒耜楼地下车库、镇江市吾悦广场购物中心地下停车场以及汽车工程研究院地下二层停车场作为实验场景，应用试验车辆平台作为实验数据采集平台和算法验证平台。实验过程中主要用到卷尺与激光测距仪来测量地图的真实尺寸和实验平台移动的真实距离。
在起点处设置固定标志作为地图坐标系原点。从车库的一端出发，每2米采集一组双目图像作为地图节点图像。用手持激光测距仪与卷尺测量部分节点位姿作为建图结果的对比组，将图像数据导入建图算法进行处理并制作地图的三个层级，完成多层级地图的原始数据采集与构建。
在依托实验车辆平台作为实验数据采集平台和算法验证平台的基础上，采用PRM算法来进行全局路径规划与导航，该算法是一种基于离散采样的路径规划算法，在地图中利用随机采样节点构造概率路径图，在路径图中使用搜索算法进行检索可以得出最优或近似最优路径。
在地图构建中，进行了两个多边形区域的地图构建，吾悦广场测试轨迹数量15，汽车工程研究院测试轨迹数量10，耒耜楼测试轨迹数量5。通过实际测量得到构建吾悦广场区域A的总长度为423米，通过节点坐标层计算得到的总长度为415米，建图的准确率为98％，汽车工程研究院区域B的总长度实际测量为386米，计算结果为394米，建图准确率为98％，在江苏大学耒耜楼地下停车场中进行了一个区域C的地图构建，实际测量长度为130米，计算结果为128米，建图准确率为99％。
本发明对所构建地图进行回环检测，降低系统在长时间的工作下的轨迹误差，以提升回环检测的准确性。在回环检测中，通过对建图区域的定性分析，所构建地图无重影。考虑到点云的重影误差不易进行定量分析，因此实验通过对回环检测中的点云叠加进行节点位置反推，即利用节点误差描述重影误差。实验选取了100个不同的节点对节点误差进行描述，节点误差示意图如图2所示，由图可以看出，多数节点误差在6cm以内，最大节点误差不超过10cm。具体而言，节点的平均误差为3.1cm，因此本方法在单节点误差中具有较高的测量精度。
在完成多层级地图构建的停车场区域内进行多尺度定位的验证。因为地下停车场中实时的得到车辆的定位的真值是困难的。我们通过定位算法得到车辆一段行驶轨迹的计算长度，和实际测量得到的车辆行驶距离相比较，以此来替代对每一个待定位点的定位结果进行确认的方案。
比较所有计算得到轨迹与对应真值，其中最大误差2.3米。平均误差为1.3米，平均误差率为7.3％。结果如表1所示。
表1三个区域的定位结果表
/>
/>
对定位算法中使用不同的特征提取方法进行验证，取一条随机轨迹中所有的待定位点，对比待定位点距离各自匹配节点的真实距离与定位算法计算距离的误差，结果如表2所示。
表2定位结果对比表
/>
如图3和图4所示为本发明与常用KFNet定位算法的运行时间和定位精度做出比较，可以明显看出，定位时间平均值相近，但是定位精度却有很大差别，我方发明定位精度明显更高。
如图5所示，为本发明的物体轨迹和预判轨迹示意图，预判轨迹与实际的轨迹基本一致。
定位频率为：25.9661ms、33.1023ms、24.1611ms、32.5199ms、27.5053ms、33.8992ms、26.7212ms、23.4283ms、35.2528ms。平均定位时间约为35ms，频率达到28.5Hz。当定位失败时，系统可进行弹窗提醒，若连续3帧定位失败，则物业机器人自动停止。海量实验表明，当机器人停止后3s内，即可完成重新定位，使得物业机器人正常行驶。
如表3指标效果表在与提前设定的目标技术指标对比分析后，建图重影误差在40mm，激光雷达建图累计误差1％，经验证实际误差为31mm,满足要求；同时，融合点云/视觉信息，定位精度±10cm，点云/视觉融合定位精度±5cm，实际精度在4.6cm，定位更新频率为28.5Hz。
表3指标效果表
实施例3
参照图6，为本发明的一个实施例，提供了一种物业室内服务机器人建图定位和回环检测系统，包括：数据预处理模块、约束关系构建模块、匹配约束优化模块。
数据预处理模块用于获取机器人的激光雷达摄像信息，提取激光雷达点云中的结构特征信息，计算激光雷达里程计，构建一个基于第一帧激光雷达坐标系的局部地图坐标系。
约束关系构建模块用于使用关键帧之间的激光雷达相对变化量计算载体在关键帧之间的相对运动速度和相对位移，并将相对约束加入后端状态估计优化中。
匹配约束优化模块用于进行最优匹配优化姿态约束，获取回环检测结果。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种物业室内服务机器人建图定位和回环检测方法，其特征在于，包括：
采集机器人摄像前端数据并进行预处理；
构建相邻状态量之间的约束关系，加入后端状态估计优化中；
进行最优匹配优化姿态约束，获取回环检测结果；
所述采集机器人摄像前端数据并进行预处理包括获取机器人激光雷达摄像信息在激光雷达点云中提取结构特征信息，计算激光雷达里程计，以第一帧激光雷达坐标系为基准构建一个局部地图坐标系使第一帧激光雷达坐标系与/>系的转换关系为单位矩阵，将设为激光雷达里程计坐标系，后续的点云帧的最新姿态在/>系下进行表示；
基于每个点在所属环的曲率信息在一帧点云中提取平面点psurf和边缘点pedge，曲率小于预设阈值的平坦点被视为平面点，曲率大于阈值的点被视为边缘点，若当前特征点相邻环的邻近点不属于平面特征，当前特征点也不视为平面点；
以IMU推算姿态作为帧到局部地图匹配的初值，将当前帧与局部地图进行配准，得到激光雷达里程计位姿li表示第i帧激光雷达坐标系；
积分项替换包括：对恢复尺度信息进行积分项替换，得到位置，速度和姿态的预积分量，表示为：
其中，为位置预积分量，/>为速度预积分量，/>为姿态预积分量，/>表示差乘，/>表示b坐标系下由t到k时间的转换矩阵，t表示从第k到第k+1的时间，/>和/>分别是以随机游走方式建模的加速度和角速度偏置，/>和/>分别表示为IMU自身坐标系的带有噪声的加速度和角速度，/>为IMU坐标系在世界坐标系下的姿态；
k为当前时刻，k+1时刻系统状态量的估计值表示为：
分别表示IMU坐标第k+1时刻系在世界坐标系下的位置、速度、姿态，/>分别为IMU坐标系第k时刻在世界坐标系下的位置、速度、姿态，Δtk表示时间差，gw表示在世界坐标系下的重力加速度向量，/>表示k时间由b坐标系到w坐标系之间的转换矩阵，na和ng分别表示采用高斯白噪声进行建模的加速度和角速度IMU测量噪声；构建视觉重投影残差约束包括计算特征点残差与雅可比矩阵，计算特征点归一化坐标的实际值与理论值差值，表示为：
其中，1表示特征点pk在第k帧图像归一化平面上的坐标，/>是特征点在第j帧图像上理论归一化平面坐标，/>和/>是特征点在第i和j帧图像上实际测量得到的归一化平面坐标，/>为视觉重投影残差方程，/>表示深度信息，i表示首次被观测到的帧序列号，/>和/>表示状态量估值，/>和/>表示相机与IMU的外参，/>和/>分别表示状态实际值；
完成残差求解后，求解雅克比矩阵，表示为：
其中，表示雅克比矩阵求解结果，x表示与当前视觉重投影约束的状态量，rc表示IMU视觉约束下观测值与待优化状态量之间的残差；
将姿态从特殊欧式群T∈SE(3)分解为特殊正交群R∈SO(3)和平移向量t∈R3，表示为：
其中，rL表示IMU激光雷达约束下观测值与待优化状态量之间的残差，i和j为相邻两组关键帧的序列号，和/>为IMU到相机坐标系之间的转换矩阵，/>表示旋转矩阵到代数之间的转换，/>为激光雷达在i时间配准得到的里程计相对位姿，/>为激光雷达在j时间配准得到的里程计相对位姿，/>和/>表示IMU在滑窗内下的第j个平移位置和观测位置，为激光雷达在i时间配准得到的里程计相对位姿；
完成残差计算后，对i时刻的旋转矩阵以及j时刻的旋转矩阵和位置求导，表示为：
其中，和/>分别表示特殊正交群SO(3)下在φ处的右雅可比和左雅克比，I3×3表示单位矩阵。
2.如权利要求1所述的物业室内服务机器人建图定位和回环检测方法，其特征在于：所述构建相邻状态量之间的约束关系包括完成视觉姿态计算后，接收激光雷达里程计结果，使用关键帧之间的激光雷达相对变化量以匀速模型计算载体在关键帧之间的相对运动速度和相对位移δp，并将/>和δp作为相对约束加入后端状态估计优化中，限制由视觉求解出来的速度和位置状态量，同时δp会与视觉里程计求解出来姿态进行对齐，恢复尺度信息，表示为：
其中，i，j为相邻两组关键帧，为激光雷达配准得到的相对位姿，/>为激光雷达配准时间，/>为相机配准得到的相对位姿，/>为激光雷达到相机坐标系的外参，/>为转换矩阵，/>为图像估算得到的带有尺度的平移信息，/>为激光雷达到相机坐标系的时间，s为待优化的尺度量，完成坐标系转换后进行积分项替换。
3.如权利要求2所述的物业室内服务机器人建图定位和回环检测方法，其特征在于：所述加入后端状态估计优化中包括后端状态估计模块采用紧耦合的滑窗优化算法，通过IMU、激光雷达与视觉的观测约束联合优化，在后端中维护的状态量表示为：
其中，表示IMU在滑窗内的第k个状态向量，n表示总共有k个状态向量，包含IMU坐标系在世界坐标系下的位置/>速度/>姿态/>以及IMU本身的偏置误差ba和bg，λj表示的在滑窗内检测到第j个视觉特征点的逆深度，m为滑窗内所有待优化的特征点的个数；
后端状态估计整体的优化模型表示为：
其中，X*为最优状态量，X为滑窗内的所有状态量，表示IMU约束，bk表示第k帧数，/>为bk到bk+1帧之间的IMU约束，/>表示第k个视觉特征点在约束帧中的观测值，/>为激光雷达里程计的观测值，/>表示IMU约束下观测值与待优化状态量之间的残差，表示IMU视觉约束下观测值与待优化状态量之间的残差，/>表示IMU激光雷达约束下观测值与待优化状态量之间的残差；
带有噪声的加速度和角速度/>的IMU自身坐标系表示为：
其中，表示转换矩阵，/>和/>分别为加速度和角速度的真值。
4.如权利要求3所述的物业室内服务机器人建图定位和回环检测方法，其特征在于：所述进行最优匹配优化姿态约束包括将最新关键帧中通过光流追踪上的特征点计算出描述子，并在历史帧中进行匹配，并剔除和当前帧处于时间或者距离阈值外的历史帧，获取剩余历史帧数据的姿态数据，通过PnP算法优化得到当前帧与历史帧之间的位置关系，激光雷达里程计在存储的历史关键帧中根据最小距离原则进行匹配，完成后根据视觉回环提供的初值进行匹配，获取回环检测结果。
5.一种采用如权利要求1～4任一所述的物业室内服务机器人建图定位和回环检测方法的系统，其特征在于：包括，数据预处理模块、约束关系构建模块、匹配约束优化模块；
所述数据预处理模块用于获取机器人的激光雷达摄像信息，提取激光雷达点云中的结构特征信息，计算激光雷达里程计，构建一个基于第一帧激光雷达坐标系的局部地图坐标系；
所述约束关系构建模块用于使用关键帧之间的激光雷达相对变化量计算载体在关键帧之间的相对运动速度和相对位移，并将相对约束加入后端状态估计优化中；
所述匹配约束优化模块用于进行最优匹配优化姿态约束，获取回环检测结果。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202310973554.9A 2023-08-04 2023-08-04 一种物业室内服务机器人建图定位和回环检测方法及系统 Active CN116698046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310973554.9A CN116698046B (zh) 2023-08-04 2023-08-04 一种物业室内服务机器人建图定位和回环检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310973554.9A CN116698046B (zh) 2023-08-04 2023-08-04 一种物业室内服务机器人建图定位和回环检测方法及系统

Publications (2)

Publication Number Publication Date
CN116698046A CN116698046A (zh) 2023-09-05
CN116698046B true CN116698046B (zh) 2023-12-01

Family

ID=87829676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310973554.9A Active CN116698046B (zh) 2023-08-04 2023-08-04 一种物业室内服务机器人建图定位和回环检测方法及系统

Country Status (1)

Country Link
CN (1) CN116698046B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340295A (zh) * 2021-06-16 2021-09-03 广东工业大学 一种多个测距传感器的无人艇近岸实时定位与建图方法
CN114419147A (zh) * 2021-11-16 2022-04-29 新兴际华集团有限公司 一种救援机器人智能化远程人机交互控制方法及系统
CN114966734A (zh) * 2022-04-28 2022-08-30 华中科技大学 一种结合多线激光雷达的双向深度视觉惯性位姿估计方法
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN115880364A (zh) * 2023-02-09 2023-03-31 广东技术师范大学 基于激光点云和视觉slam的机器人位姿估计方法
CN116182837A (zh) * 2023-03-16 2023-05-30 天津大学 基于视觉激光雷达惯性紧耦合的定位建图方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243179B1 (ko) * 2019-03-27 2021-04-21 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN111258313B (zh) * 2020-01-20 2022-06-07 深圳市普渡科技有限公司 多传感器融合slam系统及机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340295A (zh) * 2021-06-16 2021-09-03 广东工业大学 一种多个测距传感器的无人艇近岸实时定位与建图方法
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN114419147A (zh) * 2021-11-16 2022-04-29 新兴际华集团有限公司 一种救援机器人智能化远程人机交互控制方法及系统
CN114966734A (zh) * 2022-04-28 2022-08-30 华中科技大学 一种结合多线激光雷达的双向深度视觉惯性位姿估计方法
CN115880364A (zh) * 2023-02-09 2023-03-31 广东技术师范大学 基于激光点云和视觉slam的机器人位姿估计方法
CN116182837A (zh) * 2023-03-16 2023-05-30 天津大学 基于视觉激光雷达惯性紧耦合的定位建图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于多传感融合的室内建图和定位算法;纪嘉文;杨明欣;;成都信息工程大学学报(04);全文 *
基于激光雷达的移动机器人三维建图与定位;殷江;林建德;孔令华;邹诚;游通飞;易定容;;福建工程学院学报(04);全文 *

Also Published As

Publication number Publication date
CN116698046A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN112014857B (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN109682382B (zh) 基于自适应蒙特卡洛和特征匹配的全局融合定位方法
US20200160061A1 (en) Automatic ship tracking method and system based on deep learning network and mean shift
US11092444B2 (en) Method and system for recording landmarks in a traffic environment of a mobile unit
CN109186610B (zh) 一种auv地形匹配导航的鲁棒bslam方法
CN114526745B (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
EP2410395B1 (en) System and method for real-time mapping of an indoor environment using mobile robots with limited sensing
CN110032965B (zh) 基于遥感图像的视觉定位方法
CN112085003A (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
CN114323033B (zh) 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
KR20180087519A (ko) 레이저 거리 센서의 측정 거리에 대해 추정된 거리 유형의 신뢰성을 평가하는 방법 및 이를 이용한 이동 로봇의 위치 추정 방법
CN111429515A (zh) 基于深度学习的机器人避障行为的学习方法
D’Adamo et al. Registration of three‐dimensional scanning LiDAR sensors: An evaluation of model‐based and model‐free methods
CN116543283B (zh) 一种考虑模态不确定性的多模态目标检测方法
CN116698046B (zh) 一种物业室内服务机器人建图定位和回环检测方法及系统
CN117490688A (zh) 相机-imu-二维码融合的车间agv导航方法
US20230304802A1 (en) Passive combined indoor positioning system and method based on intelligent terminal sensor
Alliez et al. Indoor localization and mapping: Towards tracking resilience through a multi-slam approach
CN116524116A (zh) 一种多传感器数据融合的排水管道三维模型构建系统
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法
CN113790726B (zh) 一种融合相机、轮速计和单uwb信息的机器人室内定位方法
CN112344966B (zh) 一种定位失效检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant