CN111665842B - 一种基于语义信息融合的室内slam建图方法及系统 - Google Patents
一种基于语义信息融合的室内slam建图方法及系统 Download PDFInfo
- Publication number
- CN111665842B CN111665842B CN202010519139.2A CN202010519139A CN111665842B CN 111665842 B CN111665842 B CN 111665842B CN 202010519139 A CN202010519139 A CN 202010519139A CN 111665842 B CN111665842 B CN 111665842B
- Authority
- CN
- China
- Prior art keywords
- semantic
- indoor
- map
- information
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000013507 mapping Methods 0.000 title claims description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 62
- 238000001514 detection method Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 abstract description 9
- 238000000605 extraction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于室内地图构建领域，提供了一种基于语义信息融合的室内SLAM建图方法及系统。其中，基于语义信息融合的室内SLAM建图方法包括基于激光雷达信息构建室内环境平面栅格地图；获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算所有空间物体的三维包围盒；将所有空间物体的包围盒投影到平面栅格地图上，构建出室内SLAM语义地图。
Description
技术领域
本发明属于室内地图构建领域，尤其涉及一种基于语义信息融合的室内SLAM建图方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着机器人技术的逐渐发展和完善，机器人正在逐渐从一开始的从事繁重工作变成了能够自主智能的实现一些目标要求，人们期望机器人能够具有对周围的环境进行分析的能力，能够根据对环境的认知而自主的做出决策从而完成所需要的任务。要实现这样的要求，就希望机器人首先能够辨识周围环境，并建立周围地图模型，进而对机器人位置进行定位以及对机器人的路径进行规划。对于室外的定位和导航可以考虑使用GPS，然而对于室内的环境，由于其复杂程度较高，GPS并不能对室内的复杂环境做出相应的判断。
为了实现室内环境下机器人的地图构建，SLAM技术渐渐从大量的解决方案中脱颖而出。SLAM(Simultaneous Localization and Mapping，即时定位与建图)算法主要用于解决移动机器人在未知环境中运行时的定位与地图构建的问题。随着越来越多的人加入到SLAM的研究，如今SLAM已经成为智能机器人的基本功能，在室内的环境下，依靠自身的传感器对环境信息进行采集，通过信息匹配和信息融合对机器人自身的位置和姿态信息进行估计以完成定位，同时可以增量式的构建环境地图，进而使用获得的环境地图来指导智能机器人的运动轨迹。
发明人发现，对于智能机器人来说，依靠SLAM算法得到的环境地图只有环境的基本信息，即只知道环境中障碍物有或者没有，而并不知道这个障碍物是什么。当移动机器人的任务要求需要对环境信息有一个更充足的了解的时候，仅仅依靠二维的占用栅格地图是不足以提供足够的信息。
发明内容
为了解决上述问题，本发明提供了一种基于语义信息融合的室内SLAM建图方法及系统，其能够建立一个包含环境中物体的语义信息以及位置大小信息的平面地图，使得移动机器人可以获得的足够的物体信息，能够更好地指导移动机器人的运动。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于语义信息融合的室内SLAM建图方法。
一种基于语义信息融合的室内SLAM建图方法，包括：
基于激光雷达信息构建室内环境平面栅格地图；
获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算所有空间物体的三维包围盒；
将所有空间物体的包围盒投影到平面栅格地图上，构建出室内SLAM语义地图。
本发明的第二个方面提供一种基于语义信息融合的室内SLAM建图系统。
一种基于语义信息融合的室内SLAM建图系统，包括：
平面栅格地图构建模块，其用于基于激光雷达信息构建室内环境平面栅格地图；
三维包围盒计算模块，其用于获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算所有空间物体的三维包围盒；
语义地图构建模块，其用于将所有空间物体的包围盒投影到平面栅格地图上，构建出室内SLAM语义地图。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于语义信息融合的室内SLAM建图方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于语义信息融合的室内SLAM建图方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明通过室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算出所有空间物体的三维包围盒，将所有空间物体的包围盒投影到平面栅格地图上，实现了室内环境平面栅格地图以及环境中物体的种类，位置和大小信息的融合，构建出了带有物体语义标签和物体位置大小的语义地图，可以为移动机器人提供更多地环境信息，满足智能移动机器人对复杂环境应用的需要，进而对移动机器人的室内导航提供指导。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于语义信息融合的室内SLAM建图方法原理图；
图2是本发明实施例FAST算法特征点周围信息；
图3是本发明实施例两个边框的交并集；
图4是本发明实施例计算机仿真的基于语义信息融合的室内SLAM建图系统的框架；
图5是本发明实施例仿真的Turtlebot机器人；
图6是本发明实施例仿真实验构建的语义地图；
图7是本发明实施例的基于语义信息融合的室内SLAM建图系统结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
图1给出了本实施例的基于语义信息融合的室内SLAM建图方法原理图。
如图1所示，本实施例的基于语义信息融合的室内SLAM建图方法，包括：
S101：基于激光雷达信息构建室内环境平面栅格地图。
在具体实施中，采用基于粒子滤波的Gmapping激光SLAM算法构建室内环境平面栅格地图。Gmapping算法基于滤波SLAM框架，同时集成了Rao-Blackwellized粒子滤波算法，将定位与建图过程分离。在小场景中计算量小，精度高，鲁棒性高。同时对激光雷达的频率要求低。
Gmapping算法引入RBpf算法来将定位与建图两个过程分离，即先求机器人的位姿信息，再根据机器人的位姿信息进行建图，但PBpf算法也存在缺点，由于每个粒子都要携带一幅地图，当粒子数较多时多需要的计算量和内存消耗也很大。频繁执行重采样会出现粒子退化现象，造成正确的粒子被丢弃和粒子多样性减少。因此Gmapping在RBpf算法的基础上进行选择性的重采样，减少了粒子个数，防止粒子退化。
此处需要说明的是，也可采用其他算法，比如Hector算法或Cartographer算法构建室内环境平面栅格地。Hector基于优化，使用最小二乘方法求解机器人位姿，但对于雷达频率要求较高(40Hz)，且要求测量噪声小，其初值的选择会对建图结果产生很大的影响。
Cartographer基于图网络优化，通过获得的每一帧激光雷达数据来生成并维护一系列的子图(submap)，当出现新的激光雷达数据时，Scan Matching会将其插入到最佳的位置，当子图构建完成不再更新时，将这个子图加入到闭环检测中来消除累积误差，Cartographer建图效果很好但是计算量偏大。
本实施例针对室内小场景的建图，此时，Gmapping不需要特别多的粒子参与计算，相对于Cartographer需要进行回环检测来说实际的计算量要更小，同时Gmapping在小场景下的建图精度也有保证。
S102：获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算所有空间物体的三维包围盒。
本实施例采用RGB-D摄像头获取环境图像的三维点云信息。RGB-D摄像头除了可以向普通相机一样获取环境的RGB图像信息，还可以通过红外结构光、TOF等获取图像中物体的深度信息，可以满足SLAM算法对于环境信息的要求。
可以理解的是，在其他实施例中，也可采用单目摄像头或双目摄像头来获取室内环境的三维点云信息。其中，单目摄像头即使用一个摄像头完成SLAM地图的构建，这种方法结构简单、适用性强，但是实现的复杂度较高，而且只能在运动状态下才能根据三角测量等原理感知距离，在静止状态下无法得到环境的距离信息；双目摄像头在运动状态和静止状态下都能感知到物体的距离信息，但是需要额外消耗计算机资源才能获取较为精确的三维点云。
在具体实施中，室内环境中存在的物体的类别语义标签、空间位置及大小的获取过程为：
接收室内环境图像，通过预设目标检测模型获得物体的种类信息，同时获得物体的二维边界框。
此处需要说明的是，目标检测模型分为两个系列：(1)two-stage：先区分候选区域再进行CNN分类(RCNN系列)，(2)one-stage：通过对输入图像进行计算同时输出类别和相应的位置信息(YOLO系列)。
在本实施例中，采用YOLO算法来作为目标检测模型，其具有很高的检测速率和丰富的检测类别，同时能够输出检测到的目标物体的位置和大小信息，能够满足实时目标检测的要求。
S103：将所有空间物体的包围盒投影到平面栅格地图上，构建出室内SLAM语义地图。
在具体实施中，计算所有空间物体的三维包围盒的过程为：
对两帧或多帧图像中物体进行追踪，匹配不同图像上同一物体的边界框；
联立同一物体连续两帧的二维边界框所对应的坐标方程，获得三维包围盒的顶点坐标。
当再次进入相同区域发现新类别的物体时，将新类别的物体类别、位置及大小信息投影到原来的语义地图上。
具体地，由于我们的目标是在激光雷达平面上实现语义信息融合，我们实际所需要的是检测出来的物体的长宽信息。我们建立一个假设，空间中物体的三维包围框与图片中对应检测到的二维框紧密耦合，根据假设可知空间中物体的三位包围框的八个顶点一定会落到二维包围框的边界上。因此可以建立一个模型，通过二维边界框的边和三维包围盒的顶点之间的约束关系来对三维物体的位姿及物体尺度信息作出判断。令[umax，umin，vmax，vmin]表示物体对应二维框在图片上行和列的最大值和最小值，那么可以建立三维包围框和二维包围框之间的约束，约束式如下：
umin＝H((p0-probot)+Rrobot -1RθA1d)
umax＝H((p0-probot)+Rrobot -1RθA2d)
vmin＝H((p0-probot)+Rrobot -1RθA3d)
vmax＝H((p0-probot)+Rrobot -1RθA4d) (1)
p0和probot分别表示为物体和机器人在空间中的中心位置：
p0＝[px0，py0，pz0]T
probot＝[px，py，pz]T (2)
Rrobot和Rθ分别表示为机器人在空间中的旋转矩阵和物体在空间中的位姿，并假定需要加入语义地图中的物体是水平放置在空间中的，且只保留yaw轴的值θ，抛弃pitch和roll轴的值。
欧拉角到旋转矩阵的转换公式可以写为：
R＝Rz(yaw)Ry(pitch)Rx(roll) (3)
其中Rx(θ)，Ry(θ)，Rz(θ)的计算公式如下：
d＝[px，py，pz]T为物体的尺寸，A1A2A3A4是四个对称矩阵，用来描述物体中心坐标与三维包围盒顶点之间的关系。
H(p0-probot)+Rrobot -1RθAxd用来表示对应三维框四个顶点的坐标，函数H(.)用来描述图像上的二维点和空间中三维点的对应关系，用来把空间中的三维点投影到二维成像平面，并根据点的索引取对应的横坐标或纵坐标的值，这种对应关系即为小孔成像模型：
Pz＝d
式中的d表示为二维框中心点的深度值，PxPyPz用来表示空间点的三维坐标，ximg和yimg分别表示为三维点投影到二维图像上对应的点，cx和cy分别表示为相机的光心，fx和fy表示为相机焦距。
为了求解公式(1)，需要获取连续两帧或更多帧的图像中二维框对应坐标。在本文中我们设定机器人每移动超过10cm或这旋转角度大于5度便获取一张新的图像，并使用YOLO识别新的图像中的物体获取对应的二维边界框。并将最新一帧图像中二维框的四个点的坐标和当前机器人位姿联立第一帧或之前帧中的等式约束，建立最新等式约束，求解公式(1)中未知数p0、Rθ、d，得到一组可行解，并对可行解求均值，得到对应物体的位姿和尺寸。
用三维物体包围盒近似表示三维物体在空间中的位置和尺寸信息，通过公式(1)我们可以获得三维物体包围盒的顶点坐标，将顶点坐标变换到建好的平面地图中即可完成语义地图的构建。通过这种方法把复杂的三维目标检测问题转化为YOLO的二维目标检测问题，避免了三维模型识别的复杂运算，这种基于二维图像的目标检测更易于训练同时也具有更高的精度和更强的鲁棒性。
通过二维边界框估算三维包围盒的算法，在这个算法中，我们需要同一物体连续两帧或多帧的目标检测二维边界框联立获得三维包围盒的顶点坐标，为了获得同一个目标的两个边界框，就需要两帧带有同一目标的二维图像，为了解决判断这两帧图像中的边界框是同一个物体的问题，本实施例使用了一种物体追踪算法，包括特征点的提取、描述子的计算和特征点的匹配三个步骤。
其中，特征点的提取可采用SIFT，SURF，ORB算法。
SIFT，尺度不变特征变换(Scale-invariant feature transform)，作为里程碑意义的特征提取算法，SIFT通过构建尺度空间，在高斯差分空间(Difference of Gaussian，DOG)计算极值点，通过二次曲线插值来获得亚像素精度的特征点，同时去除低对比度点，消除边缘响应点，来获得物体的特征信息。为了实现特征值提取的旋转不变性，SIFT通过统计特征点16*16邻域内像素点的灰度直方图，选择处在直方图的峰值的像素点作为特征点的主方向，然后将坐标轴旋转至主方向，梯度计算128维特征描述子来对物体的特征进行描述。SIFT算法特征点提取稳定，同时当图像发生旋转平移缩放时提取特征点的鲁棒性也较强。
SURF(speeded-up robust feature)对SIFT算法进行了改进，SURF改变Box滤波器的尺度来得到不同的尺度空间，并计算Hessian矩阵行列式的特征值，由特征值的符号来确定极值。为了描述特征点的信息，并获得较好的旋转不变性，SURF算法依靠计算像素在x、y方向上的Harr小波响应来确定极值点方向，采用扇形区域扫描来得到64维或128维的特征描述子。相对于SIFT算法，SURF特征点提取模型运算速率更快，提取速度可以达到SIFT算法的三倍，但是容易受到光照形变这种干扰的影响，对环境的要求较高。
ORB(Oriented FAST and Rotated BRIEF)算法由两部分构成，分别是特征点提取算法与特征点描述算法。特征点检测算法基于FAST(Features from Accelerated SegmentTest)算法并对FAST算法进行了改进，特征点描述算法则是基于BRIEF(Binary RobustIndependentElementary Features)特征描述算法并进行了改进，ORB将优化后的FAST的检测子(detector)和BRIFE的描述子(descriptor)结合起来。ORB特征提取算法兼具FAST算法的高检测速度和BRIFE算法的二进制串的描述形式(节约储存空间进而缩短了匹配的时间)。
三种特征值提取算法的特征点检测数量对比是：SURF>ORB>SIFT；特征点检测速度对比是：ORB>SURF>SIFT。为了更好地满足目标检测和特征提取的实时性，本实施例采用ORB特征值提取算法来进行目标物体的判断。
首先对于特征点的提取，由于ORB的特征点检测算法是在FAST算法的基础上对FAST算法改进得到的，想要理解ORB的特征点检测方法就要对FAST的特征点检测方法有一个了解。FAST算法检测特征点基于特征点周围的灰度值不同，通过检测特征点周围半径为3，一共16个像素块的灰度值，如图2所示，如果圆周上有连续的N个(一般设置N＝12)像素块的灰度值比P点的灰度值大或者小，则认为P点为特征点。为了加快特征点的提取，FAST算法先检测1、9、5、13这几个位置的灰度值，如果P是特征点那么这四个像素块周围都会有3个或者3个以上的灰度值都大于或者小于P点的灰度值，否则P点不为特征点。
然而FAST提取出的特征点具有尺度不变性，在这次的实验要求中，由于获得两幅图片时机器人位置发生了变化，其相对于目标物体的距离也有变化，这就导致了检测到的物体大小不同，如果继续使用FAST算法则会导致两张图无法匹配到相对应的特征点。而ORB算法在FAST算法的基础上进行了改进，通过使用图片的尺度金字塔允许在不同的比例尺度上计算FAST特征点，具体做法是人为的对图像进行放缩：设置一个比例系数(scalefactor，通常为1.2)，逐次按比例系数进行缩小，缩小成n个图像，(通常n取8)，对每一个图像都进行FAST运算得到所有的特征点作为原图像的特征总和来加入到和其他图片特征点的对比上去。
在通过改进的FAST算法得到了图像上的一系列特征点后，就需要对这些特征点的属性进行描述。ORB采用BRIEF算法来对特征点进行描述，其计算方法是在特征点的邻域里面选择n对像素点ai和bi(i∈{1，2，...，n})然后比较其灰度值，如果灰度值ai>bi则在生成的二进制串中写入一个1，否则写入一个0，二进制串的长度即为选取的邻域内像素块的对数，通常为256。
ORB在使用BRIEF描述子时对BRIEF算法进行了改进，BRIEF算法以特征点为坐标原点以水平位x轴建立坐标系，当图像在经过角度变化后图像的特征点周围的点对位置也会发生变化，使得点对很难识别。为此，ORB将原来BRIEF算法以特征点为坐标原点以水平方向为x轴竖直方向为y轴的坐标系转变成了以特征点位原点以特征点和选取区域的形心方向为x轴的坐标系，这样就保证了当截取的图像旋转后所取得像素块是相同的。
针对最初的问题，我们已知两个特征点A和B，由于其描述子是n位二进制的形式，令
即可通过计算C中1的个数(记为m)与描述子点对的比值来
判断AB两个特征点的相似程度。当o大于某一系统预设的阈值时即可记为AB两个特征点相匹配，同时当一个物体的特征点和另一个物体相匹配的特征点数量与全部特征点的比值大于某一阈值，则表明不同帧中的两个物体是同一物体。
由上面的描述可知，通过ORB算法可以实现目标追踪的要求，同时ORB特征值提取算法能够满足当图片出现旋转放缩之后的特征点对比的要求，同时能够保证较快的特征点提取速率以及较高的精度(充足的特征点的数量)。可以实现两帧或多帧图像中物体的追踪，确定同一个物体在多个二维图像中的边界框的信息。
本实施例通过同一物体两帧连续的二维边界框来估算三维包围盒的算法，并引出了物体追踪算法来匹配不同图像上同一物体的边界框，能够获得三维物体信息，且误差较低。
通过将不同位置的两帧YOLO得到的目标检测边框图数据代入到公式(1)，现在直接将bounding box顶点坐标映射到占据栅格地图中。为此对地图的定义进行了扩展：令M＝(P，O，C)，其中：
1)P：表示平面地图中每个网格的位置坐标信息；
2)O：O＝{v，p，w}来表示对象的标签及占用信息。其中v∈V，V定义为所有可能由目标检测算法检测得到的对象标签，因而v用来表示当前网格对应的所有物体的种类信息；w∈{0，1}，当p∈[ul，ur，vl，vr]，表明前栅格在物体的矩形投影下，此时，w＝1，否则w＝0；
3)C：涂色函数，当w＝1时，读取v中的语义标签信息并根据读取的标签信息来为网格涂色，当w＝0时，不对网格颜色进行设置。
由于占据栅格地图每个网格都是独立的，只要对每个网格进行信息的导入计算即可得到整个地图上物体的语义、位置以及大小信息。
机器人再次进入同一区域的问题可以分为以下几种情况：(1)再次进入相同区域发现新的类别的物体；(2)再次进入相同区域没有检测到之前的物体(3)再次进入相同区域发现之前的物体位置发生了变化。下面将分别针对每一种情况进行讨论：
(1)当再次进入相同区域发现新类别的物体时，将新类别的物体类别、位置及大小信息投影到原来的语义地图上。
(2)当再次进入相同区域没有检测到之前的物体时，且物体未发生移动时，将原来的语义地图上的对应物体存在概率降低，当相应物体存在概率低到预设阈值时，即判断该物体不再存在于当前位置。
(3)当再次进入相同区域发现之前的物体位置发生了变化时，对原来的语义地图进行位置更新。
对于再次进入相同区域发现之前的物体位置发生了变化的情况，假定原先的物体的投影矩形框是A，再次进入获得的投影矩形框是B，为了判断哪一个投影框是物体的真实位置，需要计算投影框的交并比IOU(Intersection over Union)如图3所示。
AB两个投影框的交并比计算方法下式所示：
当IOU的值高于系统预设的阈值R时，认为该物体并为发生移动，此时将不改动A投影框的位置，同时不在地图上显示B投影框；当IOU的值低于阈值R时，认为物体发生了移动，则将原来地图上的A删除留下物体B的投影框。这样便可解决机器人重复进入同一位置的语义地图构建问题。
本实施例针对机器人再次进入同一位置时的三种情况分别作出响应，使得建图效果更加完善。
实验采用计算机仿真的形式，整个系统的框架如图4所示，机器人系统搭载激光雷达、轮式里程计以及RGB-D摄像机用以采集数据，Gmapping订阅激光雷达以及里程计的输出信息来建立占用栅格地图；另一边RGB-D摄像机对周围环境的拍摄结果传送到目标检测算法YOLO中，YOLO通过对二维图像进行检测来确定物体的种类以及物体边界框的位置信息，三维物体估计模型通过对不同位置机器人拍摄的同一目标的不同图像边界框的位置信息进行处理，得到物体三维模型信息，重复多次取平均值作为实际物体的三维包围盒的位置。通过坐标变换将三维包围盒投影到平面上，同时获得平面的投影坐标，将其直接映射到占据栅格地图上，进而建立语义地图。
实验使用Gazebo创建虚拟环境，将几种COCO数据集中常见的几种家具加入到虚拟环境中模拟环境中的障碍物信息，进而操纵机器人在虚拟环境中运行，以此来完成建图。Turtlebot机器人搭载了轮式里程计、激光雷达和RGBD相机，通过在模拟环境中的运动来获取环境数据，以此完成机器人在虚拟环境中进行语义建图。Turtlebot机器人，如图5所示。
仿真实验目标是建立带有环境中物体语义标签及其位置大小信息的平面地图，从而为智能移动机器人提供更多地环境信息，能够指导移动机器人的室内导航避障。从图6中可以看出移动机器人周围环境中的物体以矩形框的形式被标注在平面地图上，并带有语义信息，移动机器人在导航时能够依据类别做出运动路径的判断，由此可见基本完成了目标要求。
实施例二
如图7所示，本实施例的基于语义信息融合的室内SLAM建图系统，包括：
(1)平面栅格地图构建模块，其用于基于激光雷达信息构建室内环境平面栅格地图。
在具体实施中，采用基于粒子滤波的Gmapping激光SLAM算法构建室内环境平面栅格地图。Gmapping算法基于滤波SLAM框架，同时集成了Rao-Blackwellized粒子滤波算法，将定位与建图过程分离。在小场景中计算量小，精度高，鲁棒性高。同时对激光雷达的频率要求低。
(2)三维包围盒计算模块，其用于获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算所有空间物体的三维包围盒。
本实施例采用RGB-D摄像头获取环境图像的三维点云信息。RGB-D摄像头除了可以向普通相机一样获取环境的RGB图像信息，还可以通过红外结构光、TOF等获取图像中物体的深度信息，可以满足SLAM算法对于环境信息的要求。
可以理解的是，在其他实施例中，也可采用单目摄像头或双目摄像头来获取室内环境的三维点云信息。其中，单目摄像头即使用一个摄像头完成SLAM地图的构建，这种方法结构简单、适用性强，但是实现的复杂度较高，而且只能在运动状态下才能根据三角测量等原理感知距离，在静止状态下无法得到环境的距离信息；双目摄像头在运动状态和静止状态下都能感知到物体的距离信息，但是需要额外消耗计算机资源才能获取较为精确的三维点云。
在具体实施中，室内环境中存在的物体的类别语义标签、空间位置及大小的获取过程为：
接收室内环境图像，通过预设目标检测模型获得物体的种类信息，同时获得物体的二维边界框。
此处需要说明的是，目标检测模型分为两个系列：(1)two-stage：先区分候选区域再进行CNN分类(RCNN系列)，(2)one-stage：通过对输入图像进行计算同时输出类别和相应的位置信息(YOLO系列)。
在本实施例中，采用YOLO算法来作为目标检测模型，其具有很高的检测速率和丰富的检测类别，同时能够输出检测到的目标物体的位置和大小信息，能够满足实时目标检测的要求。
(3)语义地图构建模块，其用于将所有空间物体的包围盒投影到平面栅格地图上，构建出室内SLAM语义地图。
在具体实施中，计算所有空间物体的三维包围盒的过程为：
对两帧或多帧图像中物体进行追踪，匹配不同图像上同一物体的边界框；
联立同一物体连续两帧的二维边界框所对应的坐标方程，获得三维包围盒的顶点坐标。
当再次进入相同区域发现新类别的物体时，将新类别的物体类别、位置及大小信息投影到原来的语义地图上。
机器人再次进入同一区域的问题可以分为以下几种情况：(1)再次进入相同区域发现新的类别的物体；(2)再次进入相同区域没有检测到之前的物体(3)再次进入相同区域发现之前的物体位置发生了变化。下面将分别针对每一种情况进行讨论：
(1)当再次进入相同区域发现新类别的物体时，将新类别的物体类别、位置及大小信息投影到原来的语义地图上。
(2)当再次进入相同区域没有检测到之前的物体时，且物体未发生移动时，将原来的语义地图上的对应物体存在概率降低，当相应物体存在概率低到预设阈值时，即判断该物体不再存在于当前位置。
(3)当再次进入相同区域发现之前的物体位置发生了变化时，对原来的语义地图进行位置更新。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的基于语义信息融合的室内SLAM建图方法中的步骤。
实施例四
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的基于语义信息融合的室内SLAM建图方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于语义信息融合的室内SLAM建图方法，其特征在于，包括：
基于激光雷达信息，采用基于粒子滤波的Gmapping激光SLAM算法构建室内环境平面栅格地图；
获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算所有空间物体的三维包围盒；
将所有空间物体的包围盒投影到平面栅格地图上，构建出室内SLAM语义地图；
当再次进入相同区域发现新类别的物体时，将新类别的物体类别、位置及大小信息投影到原来的语义地图上；
当再次进入相同区域没有检测到之前的物体时，且物体未发生移动时，将原来的语义地图上的对应物体存在概率降低，当相应物体存在概率低到预设阈值时，即判断该物体不再存在于当前位置；
当再次进入相同区域发现之前的物体位置发生了变化时，对原来的语义地图进行位置更新。
2.如权利要求1所述的基于语义信息融合的室内SLAM建图方法，其特征在于，室内环境中存在的物体的类别语义标签、空间位置及大小的获取过程为：
接收室内环境图像，通过预设目标检测模型获得物体的种类信息，同时获得物体的二维边界框。
3.如权利要求2所述的基于语义信息融合的室内SLAM建图方法，其特征在于，计算所有空间物体的三维包围盒的过程为：
对两帧或多帧图像中物体进行追踪，匹配不同图像上同一物体的边界框；
联立同一物体连续两帧的二维边界框所对应的坐标方程，获得三维包围盒的顶点坐标。
4.一种基于语义信息融合的室内SLAM建图系统，其特征在于，包括：
平面栅格地图构建模块，其用于基于激光雷达信息，采用基于粒子滤波的Gmapping激光SLAM算法构建室内环境平面栅格地图；
三维包围盒计算模块，其用于获取室内环境的三维点云信息以及室内环境中存在的物体的类别语义标签、空间位置及大小，计算所有空间物体的三维包围盒；
语义地图构建模块，其用于将所有空间物体的包围盒投影到平面栅格地图上，构建出室内SLAM语义地图；
当再次进入相同区域发现新类别的物体时，将新类别的物体类别、位置及大小信息投影到原来的语义地图上；
当再次进入相同区域没有检测到之前的物体时，且物体未发生移动时，将原来的语义地图上的对应物体存在概率降低，当相应物体存在概率低到预设阈值时，即判断该物体不再存在于当前位置；
当再次进入相同区域发现之前的物体位置发生了变化时，对原来的语义地图进行位置更新。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的基于语义信息融合的室内SLAM建图方法中的步骤。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一项所述的基于语义信息融合的室内SLAM建图方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010519139.2A CN111665842B (zh) | 2020-06-09 | 2020-06-09 | 一种基于语义信息融合的室内slam建图方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010519139.2A CN111665842B (zh) | 2020-06-09 | 2020-06-09 | 一种基于语义信息融合的室内slam建图方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111665842A CN111665842A (zh) | 2020-09-15 |
| CN111665842B true CN111665842B (zh) | 2021-09-28 |
Family
ID=72386448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010519139.2A Active CN111665842B (zh) | 2020-06-09 | 2020-06-09 | 一种基于语义信息融合的室内slam建图方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111665842B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327329A (zh) * | 2020-12-15 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 基于三维模型的室内投影方法、装置及系统 |
| CN112465987A (zh) * | 2020-12-17 | 2021-03-09 | 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) | 一种视觉融合信息三维重建的导航地图构建方法 |
| CN112833892B (zh) * | 2020-12-31 | 2022-12-16 | 杭州自适应科技有限公司 | 一种基于轨迹对齐的语义建图方法 |
| CN112936288B (zh) * | 2021-03-19 | 2022-09-27 | 之江实验室 | 机器人动作安全检测方法和装置、电子设备、存储介质 |
| CN112991436B (zh) * | 2021-03-25 | 2022-09-06 | 中国科学技术大学 | 基于物体尺寸先验信息的单目视觉slam方法 |
| CN113238554A (zh) * | 2021-05-08 | 2021-08-10 | 武汉科技大学 | 一种基于激光与视觉融合slam技术的室内导航方法及系统 |
| CN113052152B (zh) * | 2021-06-02 | 2021-07-30 | 中国人民解放军国防科技大学 | 一种基于视觉的室内语义地图构建方法、装置及设备 |
| CN113744397B (zh) * | 2021-07-30 | 2023-10-24 | 中南大学 | 一种实时的物体级语义地图构建和更新方法及装置 |
| CN114061564B (zh) * | 2021-11-01 | 2022-12-13 | 广州小鹏自动驾驶科技有限公司 | 一种地图数据的处理方法和装置 |
| CN114376726B (zh) * | 2022-02-08 | 2024-03-29 | 西安科悦医疗技术有限公司 | 经颅磁刺激导航过程的路径规划方法及相关装置 |
| CN114384920B (zh) | 2022-03-23 | 2022-06-10 | 安徽大学 | 一种基于局部栅格地图实时构建的动态避障方法 |
| CN114937083B (zh) * | 2022-05-27 | 2024-04-02 | 山东大学 | 一种应用于动态环境的激光slam系统及方法 |
| CN117611762B (zh) * | 2024-01-23 | 2024-04-30 | 常熟理工学院 | 一种多层级地图构建方法、系统及电子设备 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101093503A (zh) * | 2006-06-20 | 2007-12-26 | 三星电子株式会社 | 在移动机器人中建立网格地图的方法、设备和介质 |
| EP2144131A2 (en) * | 2008-07-07 | 2010-01-13 | Samsung Electronics Co., Ltd. | Apparatus and method of building map for mobile robot |
| CN104898660A (zh) * | 2015-03-27 | 2015-09-09 | 中国科学技术大学 | 一种提高机器人路径规划效率的室内地图构建方法 |
| CN106067191A (zh) * | 2016-05-25 | 2016-11-02 | 深圳市寒武纪智能科技有限公司 | 一种家用机器人建立语义地图的方法及系统 |
| CN106970614A (zh) * | 2017-03-10 | 2017-07-21 | 江苏物联网研究发展中心 | 改进的栅格拓扑语义环境地图的构建方法 |
| CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
| WO2018142395A1 (en) * | 2017-01-31 | 2018-08-09 | Arbe Robotics Ltd | A radar-based system and method for real-time simultaneous localization and mapping |
| CN108775901A (zh) * | 2018-07-20 | 2018-11-09 | 山东大学 | 一种实时slam场景地图构建系统、导航系统及方法 |
| CN108830220A (zh) * | 2018-06-15 | 2018-11-16 | 山东大学 | 基于深度学习的视觉语义库构建及全局定位方法 |
| JP2018206004A (ja) * | 2017-06-02 | 2018-12-27 | 村田機械株式会社 | 自律走行台車の走行制御装置、自律走行台車 |
| CN109272554A (zh) * | 2018-09-18 | 2019-01-25 | 北京云迹科技有限公司 | 一种识别目标的坐标系定位和语义地图构建的方法及系统 |
| CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
| CN109857123A (zh) * | 2019-03-21 | 2019-06-07 | 郑州大学 | 一种基于视觉感知和激光探测的室内slam地图的融合方法 |
| CN110111414A (zh) * | 2019-04-10 | 2019-08-09 | 北京建筑大学 | 一种基于三维激光点云的正射影像生成方法 |
| CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
| CN110928972A (zh) * | 2019-11-22 | 2020-03-27 | 珠海格力电器股份有限公司 | 一种语义地图构建方法、系统、装置、存储介质及机器人 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9037396B2 (en) * | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
| CN111179426A (zh) * | 2019-12-23 | 2020-05-19 | 南京理工大学 | 基于深度学习的机器人室内环境三维语义地图构建方法 |
-
2020
- 2020-06-09 CN CN202010519139.2A patent/CN111665842B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101093503A (zh) * | 2006-06-20 | 2007-12-26 | 三星电子株式会社 | 在移动机器人中建立网格地图的方法、设备和介质 |
| EP2144131A2 (en) * | 2008-07-07 | 2010-01-13 | Samsung Electronics Co., Ltd. | Apparatus and method of building map for mobile robot |
| CN104898660A (zh) * | 2015-03-27 | 2015-09-09 | 中国科学技术大学 | 一种提高机器人路径规划效率的室内地图构建方法 |
| CN106067191A (zh) * | 2016-05-25 | 2016-11-02 | 深圳市寒武纪智能科技有限公司 | 一种家用机器人建立语义地图的方法及系统 |
| WO2018142395A1 (en) * | 2017-01-31 | 2018-08-09 | Arbe Robotics Ltd | A radar-based system and method for real-time simultaneous localization and mapping |
| CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
| CN106970614A (zh) * | 2017-03-10 | 2017-07-21 | 江苏物联网研究发展中心 | 改进的栅格拓扑语义环境地图的构建方法 |
| JP2018206004A (ja) * | 2017-06-02 | 2018-12-27 | 村田機械株式会社 | 自律走行台車の走行制御装置、自律走行台車 |
| CN108830220A (zh) * | 2018-06-15 | 2018-11-16 | 山东大学 | 基于深度学习的视觉语义库构建及全局定位方法 |
| CN108775901A (zh) * | 2018-07-20 | 2018-11-09 | 山东大学 | 一种实时slam场景地图构建系统、导航系统及方法 |
| CN109272554A (zh) * | 2018-09-18 | 2019-01-25 | 北京云迹科技有限公司 | 一种识别目标的坐标系定位和语义地图构建的方法及系统 |
| CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
| CN109857123A (zh) * | 2019-03-21 | 2019-06-07 | 郑州大学 | 一种基于视觉感知和激光探测的室内slam地图的融合方法 |
| CN110111414A (zh) * | 2019-04-10 | 2019-08-09 | 北京建筑大学 | 一种基于三维激光点云的正射影像生成方法 |
| CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
| CN110928972A (zh) * | 2019-11-22 | 2020-03-27 | 珠海格力电器股份有限公司 | 一种语义地图构建方法、系统、装置、存储介质及机器人 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视觉SLAM的物体实例识别与语义地图构建;吴皓等;《华中科技大学学报（自然科学版）》;20190930;第47卷(第9期);第48-54页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111665842A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN111798475B (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
| US11971726B2 (en) | Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform | |
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| US9286538B1 (en) | Adaptive 3D to 2D projection for different height slices and extraction of robust morphological features for 3D object recognition | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| WO2022188663A1 (zh) | 一种目标检测方法及装置 | |
| CN110599489A (zh) | 一种目标空间定位方法 | |
| Zhuang et al. | Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking | |
| GB2610410A (en) | Incremental dense 3-D mapping with semantics | |
| Liu et al. | Comparison of 2D image models in segmentation performance for 3D laser point clouds | |
| CN111179271B (zh) | 一种基于检索匹配的物体角度信息标注方法及电子设备 | |
| CN114353779B (zh) | 一种采用点云投影快速更新机器人局部代价地图的方法 | |
| CN115393538A (zh) | 基于深度学习的室内动态场景的视觉slam方法及系统 | |
| CN114972491A (zh) | 视觉slam方法、电子设备、存储介质及产品 | |
| CN112766100A (zh) | 一种基于关键点的3d目标检测方法 | |
| Romero-Manchado et al. | Application of gradient-based edge detectors to determine vanishing points in monoscopic images: Comparative study | |
| Su | Vanishing points in road recognition: A review | |
| Meng et al. | PROB-SLAM: Real-time Visual SLAM Based on Probabilistic Graph Optimization | |
| Masoud et al. | Monitoring weaving sections | |
| CN117593650B (zh) | 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 | |
| Zheng et al. | Robust and fast visual tracking for a ball and plate control system: design, implementation and experimental verification | |
| CN117949942B (zh) | 基于雷达数据和视频数据融合的目标跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |