CN111609852A - 语义地图构建方法、扫地机器人及电子设备 - Google Patents
语义地图构建方法、扫地机器人及电子设备 Download PDFInfo
- Publication number
- CN111609852A CN111609852A CN201910138171.3A CN201910138171A CN111609852A CN 111609852 A CN111609852 A CN 111609852A CN 201910138171 A CN201910138171 A CN 201910138171A CN 111609852 A CN111609852 A CN 111609852A
- Authority
- CN
- China
- Prior art keywords
- map
- information
- dimensional
- semantic
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 120
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 241001417527 Pempheridae Species 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000003062 neural network model Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种语义地图构建方法、扫地机器人及电子设备，应用于机器人技术领域。该方法包括：获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息，并基于各个深度图信息与激光点云数据构建环境空间的三维地图，以及通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，继而基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图，即本申请构建的是环境空间的三维语义地图，与仅根据激光雷达构建的环境空间的二维地图相比，提升了构建的环境空间的地图包含信息的丰富性与构建的地图的准确性。
Description
技术领域
本申请涉及机器人技术领域，具体而言，本申请涉及一种语义地图构建方法、扫地机器人及设备。
背景技术
扫地机器人作为一种能够自动对待清扫区域进行清扫的智能电器，可以代替人对地面进行清扫，减少了人的家务负担，越来越受到人们的认可。扫地机器人的应用环境空间的地图构建是扫地机器人执行清扫工作的基础，如何构建扫地机器人的应用环境空间的地图成为一个关键问题。
同时定位与建图(Simultaneous Localization and Mapping，SLAM)技术要解决的问题是：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出与此环境完全一致的地图。目前，扫地机器人的应用环境空间的地图的构建是通过基于激光雷达的SLAM技术实现的，即仅根据通过扫地机器人的激光雷达得到的激光点云数据进行建图。然而，现有的仅基于激光雷达的SLAM建图方法，激光雷达仅能探测2D平面的障碍物信息，探测不到障碍物的垂直方向的信息，构建的地图为二维地图，所提供的环境空间的信息有限，且对于一些特殊的障碍物(如镂空结构的桌椅等)，则不能通过激光雷达进行有效探测处理。因此，现有仅基于激光雷达的SLAM建图方法，存在构建的地图提供的信息少且建图准确性低的问题。
发明内容
本申请提供了一种语义地图构建方法、扫地机器人及电子设备，用于提升构建的环境空间的地图包含的信息的丰富性以及提升构建的地图的准确性，本申请采用的技术方案如下：
第一方面，本申请提供了一种语义地图构建方法，该方法包括：
获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息；
基于各个深度图信息与激光点云数据构建环境空间的三维地图；
通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息；
基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
可选地，基于各个深度图信息与激光点云数据构建环境空间的三维地图，包括：
步骤A，基于获取的激光点云数据通过相应的点云匹配算法确定扫地机器人在当前位置的位姿信息；
步骤B，基于确定的扫地机器人在当前位置的位姿信息与扫地机器人在当前位置的深度图信息构建环境空间的三维子地图；
步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对构建的各个三维子地图进行融合处理得到合并三维地图；
循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。
可选地，通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，包括：
分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的障碍物语义信息。
进一步地，该方法还包括：
基于三维语义地图进行扫地机器人的路径规划，路径包括扫地机到达清扫目标区域的路线和/或扫地机对清扫目标区域进行清扫的路线。
可选地，基于三维语义地图进行扫地机器人的路径规划，包括：
基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式确定扫地机的路径规划。
可选地，三维语义地图还包括各个障碍物的三维信息，基于三维语义地图进行扫地机的路径规划，包括：
基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式确定扫地机的路径规划。
其中，障碍物的语义信息包括以下至少一项：类型、形状。
第二方面，提供了一种扫地机器人，该扫地机器人包括：深度相机、激光雷达传感器、构建装置；
深度相机，用于获取扫地机器人在环境空间中的多个位置处的图像信息，图像信息包括深度图信息与RGB图信息；
激光雷达传感器，用于获取扫地机器人在环境空间中的多个位置处的激光点云数据；
构建装置包括：
构建模块，用于基于深度相机获取的各个深度图信息与激光雷达传感器获取的各个激光点云数据构建环境空间的三维地图；
识别模块，用于通过预训练的神经网络识别模型识别确定获取模块获取的各个RGB图中障碍物的语义信息；
融合模块，用于基于各个RGB图与三维地图的映射关系，对构建模块构建的三维地图与识别模块识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
可选地，构建模块包括第一确定单元、构建单元、控制单元与循环单元；
第一确定单元，用于基于获取的激光点云数据通过相应的点云匹配算法确定扫地机器人在当前位置的位姿信息；
构建单元，用于基于确定的扫地机器人在当前位置的位姿信息与扫地机器人在当前位置的深度图信息构建环境空间的三维子地图；
控制单元，用于控制扫地机器人移动至符合预定条件的下一位置，执行第一确定单元与构建单元的执行过程，并对构建的各个三维子地图进行融合处理得到合并三维地图；
循环单元，用于循环执行控制单元的执行过程，直至得到的合并三维地图为环境空间的全局三维地图。
可选地，识别模块包括分割单元与识别单元；
分割单元，用于分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
识别单元，用于通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的障碍物语义信息。
进一步地，构建装置还包括规划模块；
规划模块，用于基于三维语义地图进行扫地机器人的路径规划，路径包括扫地机到达清扫目标区域的路线和/或扫地机对清扫目标区域进行清扫的路线。
可选地，规划模块包括第二确定单元与第三确定单元；
第二确定单元，用于基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第三确定单元，用于基于确定的通过各个障碍物的方式确定扫地机的路径规划。
可选地，三维语义地图还包括各个障碍物的三维信息，规划模块包括第四确定单元与第五确定单元；
第四确定单元，用于基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第五确定单元，用于基于确定的通过各个障碍物的方式确定扫地机的路径规划。
其中，障碍物的语义信息包括以下至少一项：类型、形状。
第三方面，本申请提供了一种电子设备，该电子设备包括：处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行如本申请的第一方面的任一实施方式中所示的语义地图的构建方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请的第一方面的任一实施方式中所示的语义地图的构建方法。
本申请提供了一种语义地图构建方法、扫地机器人及电子设备，与现有技术仅基于激光雷达进行SLAM相比，本申请通过获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息，并基于各个深度图信息与激光点云数据构建环境空间的三维地图，以及通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，继而基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于获取的深度图信息与激光点云数据构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的仅基于激光雷达构建的二维地图包含了更多的环境空间的信息，与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种语义地图的构建方法的流程示意图；
图2为本申请实施例提供的一种扫地机器人的结构示意图；
图3为本申请实施例提供的另一种扫地机器人的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请的一个实施例提供了一种语义地图的构建方法，如图1所示，该方法主要可以包括：
步骤S101，获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息；
对于本申请实施例，扫地机器人配置有激光雷达传感器与深度相机传感器，其中，该激光雷达传感器可以是单线激光雷达也可以是多线激光雷达，其中，深度相机可以是RGB-D深度相机，通过RGB-D深度相机可以获得一个RGB图和一个深度图，其中，深度图中每个像素值是传感器距离物体的实际距离。
具体地，可以控制扫地机器人移动至不同位置或进行原地旋转，从而得到不同位置的环境空间的图像信息与激光点云数据，其中，不同位置也可以是不同的方位。
步骤S102，基于各个深度图信息与激光点云数据构建环境空间的三维地图；
对于本申请实施例，同时定位与建图(Simultaneous Localization andMapping，SLAM)问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图。
具体地，可以通过同时定位与建图SLAM算法，对得到的各个位置处的深度图信息与激光点云数据进行相应处理，以构建环境空间的三维地图，其中，该三维地图是虚拟的三维地图，其可以是点云数据。
步骤S103，通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息；
对于本申请实施例，通过预训练的神经网络模型分别对各个RGB图进行识别，得到RGB图中各个障碍物的语义信息；其中，可以基于相应的图像检测方法对RGB图进行筛选处理，将不包含障碍物的RGB图进行去除，确保预训练的神经网络模型识别的RGB图中包含障碍物。
步骤S104，基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
对于本申请实施例，各个RGB图与构建的三维地图对应有相应的映射关系，可以基于各个映射关系将各个障碍物的语义信息与三维地图中的各个障碍物进行关联，得到环境空间的三维语义地图。
本申请实施例提供了一种语义地图的构建方法，与现有技术仅基于激光雷达进行SLAM相比，本申请实施例通过获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息，并基于各个深度图信息与激光点云数据构建环境空间的三维地图，以及通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，继而基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于获取的深度图信息与激光点云数据构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的仅基于激光雷达构建的二维地图包含了更多的环境空间的信息，与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供了一种可能的实现方式，具体地，步骤S102包括：
步骤S1021(图中未示出)，基于获取的激光点云数据通过相应的点云匹配算法确定扫地机器人在当前位置的位姿信息；
具体地，可以通过相应的点云匹配算法对获取的激光点云数据进行相应的匹配处理，进而确定扫地机器人在当前位置的位姿信息。
其中，相应的点云匹配算法可以是基于迭代最近邻算法或基于概率模型的相关性匹配算法。
其中，基于迭代最近邻算法(Iterative Closest Point，ICP)确定扫地机器人在当前位置的位姿的过程可以是：1、分别对获取的两帧相邻激光点云数据进行特征提取；2、对相邻两帧激光点云数据进行关联特征点配对；3、采用分部迭代的方法求解相邻两帧激光点云数据的整体匹配参数旋转矩阵R和平移矩阵T；4、计算扫地机器人在相邻采样周期内的运动增量，确定扫地机器人在当前位置的位姿。其中，可以设置匹配阈值，滤除无效关联特征，以精确求取变换参数(R、T)。
步骤S1022(图中未示出)，基于确定的扫地机器人在当前位置的位姿信息与扫地机器人在当前位置的深度图信息构建环境空间的三维子地图；
具体地，深度信息可以是通过扫地机器人配置的深度相机获取的深度图，其中，深度图中的各个像素点对应探测到的环境空间中障碍物的一个点，可以根据确定的扫地机器人的位姿信息，确定各个深度信息中各个像素点在世界坐标体系中的对应位置，从而构建出扫地机器人在当前位置处的三维子地图。
步骤S1023(图中未示出)，控制扫地机器人移动至符合预定条件的下一位置，执行步骤S1021与步骤S1022，并对构建的各个三维子地图进行融合处理得到合并三维地图；
其中，当扫地机器人被放置于一个未知的环境中时，尚未有环境空间的地图，其初始符合预定条件的位置可以是随机确定的，可以是移动一定阈值距离到达的位置或移动一定阈值时间所到达的位置；待扫地机器人构建了相应的三维子地图或合并三维地图后，扫地机器人的后续符合预定条件位置可以根据构建的三维子地图或合并三维地图来确定的。
具体地，可以将构建的当前位置的三维子地图，与之前构建的各个三维子地图进行融合处理，得到合并三维地图；也可以将当前位置构建的三维子地图与之前融合处理得到的合并三维地图进行融合处理得到当前合并三维地图。其中，融合处理可以是对待融合处理的三维子地图进行拼接，其中，拼接过程中可以对重叠的地图部分进行删除。
步骤S1024(图中未示出)，循环执行步骤S1023，直至得到的合并三维地图为环境空间的全局三维地图。
对于本申请实施例，循环执行步骤S1023，直至得到的合并三维地图为环境空间的全局三维地图。其中，判断成功构建全局三维地图的方法：可以是基于相应的三维子地图或合并三维子地图，没有相应的符合预定条件的位置，也可以是在当前位置构建的三维子地图与之前构建的合并三维子地图或三维子地图完全重叠，还可以是基于前述两种方法的结合来综合判定是否成功构建全局三维地图。
对于本申请实施例，根据获取的激光点云数据通过相应的点云匹配算法确定扫地机器人的位姿信息，并根据确定的各个位置处的位姿信息构建各个位置处的三维子地图，然后对构建的各个三维子地图进行合并处理，得到环境空间的三维地图，从而解决了环境空间的三维地图的构建问题。
本申请实施例提供了一种可能的实现方式，具体地，步骤103包括：
步骤S1031(图中未示出)，分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
具体地，可以通过相应的图像分割方法，如可以是基于阈值的分割方法或基于区域的分割方法或基于边缘的分割方法，也可以是基于神经网络的分割方法，对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物。
步骤S1032(图中未示出)，通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的障碍物语义信息。
具体地，将得到的各个分割区域输入至预训练的神经网络识别模型，得到各个RGB图中包含的各个障碍物的障碍物语义信息。
对于本申请实施例，通过预训练的神经网络识别模型得到各个RGB图中各个障碍物的障碍物语义信息，解决了环境空间中的障碍物的语义信息的确定问题，为进一步构建环境空间的语义地图提供了基础。
本申请实施例提供了一种可能的实现方式，进一步地，该方法还包括：
步骤S105(图中未示出)，基于三维语义地图进行扫地机器人的路径规划，路径包括扫地机到达清扫目标区域的路线和/或扫地机对清扫目标区域进行清扫的路线。
具体地，可以根据接收到的清扫指令，可以根据构建的环境空间的三维语义地图进行扫地机器人的路径规划，其中，该路径规划包括扫地机器人到达清扫区域的路径规划和/或扫地机器人对清扫目标区域如何进行清扫的路径规划。
对于本申请实施例，基于构建的三维语义地图，进行扫地机器人的路径规划，解决了扫地机器人行进的导航问题。
本申请实施例提供了一种可能的实现方式，步骤S105中的基于三维语义地图进行扫地机器人的路径规划，包括：
步骤S1051(图中未示出)，基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；具体地，基于各个障碍物的语义信息确定通过各个障碍物的方式，如当根据某一障碍物的语义信息确定可直接越过该障碍物时，可确定通过该障碍物的方式为越过障碍物，当根据某一障碍物的语义信息确定无法直接越过该障碍物时，可确定通过该障碍物的方式为绕过障碍物。
步骤S1052(图中未示出)，基于确定的通过各个障碍物的方式确定扫地机器人的路径规划。
具体地，可以根据确定的通过各个障碍物的方式确定扫地机器人的路径规划，如当通过障碍物的方式为越过障碍物时，不需对相应的行进路径进行调整，当通过障碍物的方式为绕过障碍物时，制定相应的绕过路线，对行进路径进行调整。
对于本申请实施例，根据通过各个障碍物的方式确定扫地机器人的路径规划，解决了如何规划扫地机器人的行进路径的问题。
本申请实施例提供了一种可能的实现方式，其中，三维语义地图还包括各个障碍物的三维信息，步骤S105中的基于三维语义地图进行扫地机器人的路径规划，包括：
步骤S1053(图中未示出)，基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
步骤S1054图中未示出)，基于确定的通过各个障碍物的方式确定扫地机器人的路径规划。
对于本申请实施例，三维语义地图包括各个障碍物的三维信息，具体地可以结合各个障碍物的语义信息与三维信息确定通过各个障碍物的方式，如可以根据某一障碍物的语义信息以及该障碍物的高度等信息确定通过该障碍物的方式，并进一步根据确定的通过各个障碍物的方式确定扫地机器人的路径规划。
对于本申请实施例，根据障碍物的三维信息与障碍物的语义信息确定通过障碍物的方式，从而提升了确定的通过障碍物的方式的准确性。
其中，障碍物的语义信息包括但不限于：类型、形状。
其中，障碍物的语义信息可以包括障碍物的类型(如拖鞋、书等)，形状(如圆形、方形等)。
对于本申请实施例，障碍物的语义信息包括但不限于障碍物的类型与形状，解决了障碍物具体是什么的问题，从而提升了确定的扫地机器人通过障碍物的方式的准确性，进而提升了扫地机器人导航的准确性。
本申请实施例还提供了一种扫地机器人，如图2所示，该扫地机器人20可以包括：深度相机201、激光雷达传感器202以及构建装置203；
深度相机201，用于获取扫地机器人在环境空间中的多个位置处的图像信息，图像信息包括深度图信息与RGB图信息；
激光雷达传感器202，用于获取扫地机器人在环境空间中的多个位置处的激光点云数据；
构建装置203包括：
构建模块2031，用于基于深度相机201获取的各个深度图信息与激光雷达传感器202获取的各个激光点云数据构建环境空间的三维地图；
识别模块2032，用于通过预训练的神经网络识别模型识别确定获取模块获取的各个RGB图中障碍物的语义信息；
融合模块2033，用于基于各个RGB图与三维地图的映射关系，对构建模块构建的三维地图与识别模块识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
本实施例提供了一种扫地机器人，与现有技术仅基于激光雷达进行SLAM相比，本申请实施例通过获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息，并基于各个深度图信息与激光点云数据构建环境空间的三维地图，以及通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，继而基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于获取的深度图信息与激光点云数据构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的仅基于激光雷达构建的二维地图包含了更多的环境空间的信息，与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本实施例的扫地机器人可执行本申请上述实施例中提供的一种语义地图的构建方法，其实现原理相类似，此处不再赘述。
本申请实施例提供了另一种扫地机器人，如图3所示，本实施例的装置30包括：深度相机301、激光雷达传感器302以及构建装置303；
深度相机301，用于获取扫地机器人在环境空间中的多个位置处的图像信息，图像信息包括深度图信息与RGB图信息；
其中，图3中的深度相机301与图2中的深度相机201的功能相同或者相似。
激光雷达传感器302，用于获取扫地机器人在环境空间中的多个位置处的激光点云数据；
其中，图3中的激光雷达传感器302与图2中的激光雷达传感器202的功能相同或者相似。
构建装置303包括：
构建模块3031，用于基于深度相机301获取的各个深度图信息与激光雷达传感器302获取的各个激光点云数据构建环境空间的三维地图；
其中，图3中的构建模块3031与图2中的构建模块2031的功能相同或者相似。
识别模块3032，用于通过预训练的神经网络识别模型识别确定获取模块获取的各个RGB图中障碍物的语义信息；
其中，图3中的识别模块3032与图2中的识别模块2032的功能相同或者相似。
融合模块3033，用于基于各个RGB图与三维地图的映射关系，对构建模块构建的三维地图与识别模块识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
其中，图3中的融合模块3033与图2中的融合模块2033的功能相同或者相似。
本申请实施例提供了一种可能的实现方式，具体地，构建模块3031包括第一确定单元30311、构建单元30312、控制单元30313与循环单元30314；
第一确定单元30311，用于基于获取的激光点云数据通过相应的点云匹配算法确定扫地机器人在当前位置的位姿信息；
构建单元30312，用于基于确定的扫地机器人在当前位置的位姿信息与扫地机器人在当前位置的深度图信息构建环境空间的三维子地图；
控制单元30313，用于控制扫地机器人移动至符合预定条件的下一位置，执行第一确定单元30311与构建单元30312的执行过程，并对构建的各个三维子地图进行融合处理得到合并三维地图；
循环单元30314，用于循环执行控制单元30313的执行过程，直至得到的合并三维地图为环境空间的全局三维地图。
对于本申请实施例，根据获取的激光点云数据通过相应的点云匹配算法确定扫地机器人的位姿信息，并根据确定的各个位置处的位姿信息构建各个位置处的三维子地图，然后对构建的各个三维子地图进行合并处理，得到环境空间的三维地图，从而解决了环境空间的三维地图的构建问题。
本申请实施例提供了一种可能的实现方式，具体地，识别模块3032包括分割单元30321与识别单元30322；
分割单元30321，用于分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
识别单元30322，用于通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的障碍物语义信息。
对于本申请实施例，通过预训练的神经网络识别模型得到各个RGB图中各个障碍物的障碍物语义信息，解决了环境空间中的障碍物的语义信息的确定问题，为进一步构建环境空间的语义地图提供了基础。
本申请实施例提供了一种可能的实现方式，进一步地，构建装置303还包括规划模块3034；
规划模块3034，用于基于三维语义地图进行扫地机器人的路径规划，路径包括扫地机到达清扫目标区域的路线和/或扫地机对清扫目标区域进行清扫的路线。
对于本申请实施例，基于构建的三维语义地图，进行扫地机器人的路径规划，解决了扫地机器人行进的导航问题。
本申请实施例提供了一种可能的实现方式，具体地，规划模块3034包括第二确定单元30341与第三确定单元30342；
第二确定单元30341，用于基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第三确定单元30342，用于基于确定的通过各个障碍物的方式确定扫地机的路径规划。
对于本申请实施例，根据通过各个障碍物的方式确定扫地机器人的路径规划，解决了如何规划扫地机器人的行进路径的问题。
本申请实施例提供了一种可能的实现方式，具体地，三维语义地图还包括各个障碍物的三维信息，规划模块3034包括第四确定单元30343与第五确定单元30344；
第四确定单元30343，用于基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第五确定单元30344，用于基于确定的通过各个障碍物的方式确定扫地机的路径规划。
对于本申请实施例，根据障碍物的三维信息与障碍物的语义信息确定通过障碍物的方式，从而提升了确定的通过障碍物的方式的准确性。
其中，障碍物的语义信息包括但不限于以下至少一项：类型、形状。
对于本申请实施例，障碍物的语义信息包括但不限于障碍物的类型与形状，解决了障碍物具体是什么的问题，从而提升了确定的扫地机器人通过障碍物的方式的准确性，进而提升了扫地机器人导航的准确性。
本申请实施例提供了一种扫地机器人，与现有技术仅基于激光雷达进行SLAM相比，本申请实施例通过获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息，并基于各个深度图信息与激光点云数据构建环境空间的三维地图，以及通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，继而基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于获取的深度图信息与激光点云数据构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的仅基于激光雷达构建的二维地图包含了更多的环境空间的信息，与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供的扫地机器人适用于上述方法实施例，在此不再赘述。
本申请实施例提供了一种电子设备，如图4所示，图4所示的电子设备40包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。进一步地，电子设备40还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备400的结构并不构成对本申请实施例的限定。
其中，处理器4001应用于本申请实施例中，用于实现图2或图3所示的深度相机、激光雷达传感器以及构建装置的功能。收发器4004包括接收机和发射机。
处理器4001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI总线或EISA总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现图2或图3所示实施例提供的扫地机器人的功能。
本申请实施例提供了一种电子设备适用于上述方法实施例。在此不再赘述。
本申请实施例提供了一种电子设备，与现有技术仅基于激光雷达进行SLAM相比，本申请实施例通过获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息，并基于各个深度图信息与激光点云数据构建环境空间的三维地图，以及通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，继而基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于获取的深度图信息与激光点云数据构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的仅基于激光雷达构建的二维地图包含了更多的环境空间的信息，与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中所示的方法。
本申请实施例提供了一种计算机可读存储介质，与现有技术仅基于激光雷达进行SLAM相比，本申请实施例通过获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，图像信息包括深度图信息与RGB图信息，并基于各个深度图信息与激光点云数据构建环境空间的三维地图，以及通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，继而基于各个RGB图与三维地图的映射关系，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于获取的深度图信息与激光点云数据构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的仅基于激光雷达构建的二维地图包含了更多的环境空间的信息，与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例。在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种语义地图的构建方法，其特征在于，包括：
获取扫地机器人在环境空间中的多个位置处的图像信息与激光点云数据，所述图像信息包括深度图信息与RGB图信息；
基于各个所述深度图信息与激光点云数据构建环境空间的三维地图；
通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息；
基于各个RGB图与所述三维地图的映射关系，对所述三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
2.根据权利要求1所述的方法，其特征在于，所述基于各个所述深度图信息与激光点云数据构建环境空间的三维地图，包括：
步骤A，基于获取的激光点云数据通过相应的点云匹配算法确定扫地机器人在当前位置的位姿信息；
步骤B，基于确定的所述扫地机器人在当前位置的位姿信息与所述扫地机器人在当前位置的深度图信息构建环境空间的三维子地图；
步骤C，控制所述扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对构建的各个三维子地图进行融合处理得到合并三维地图；
循环执行步骤C，直至得到的合并三维地图为所述环境空间的全局三维地图。
3.根据权利要求1所述的方法，其特征在于，所述通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，包括：
分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的障碍物语义信息。
4.根据权利要求1-3所述的方法，其特征在于，该方法还包括：
基于所述三维语义地图进行所述扫地机器人的路径规划，所述路径包括所述扫地机到达清扫目标区域的路线和/或所述扫地机对清扫目标区域进行清扫的路线。
5.根据权利要求4所述的方法，其特征在于，所述基于所述三维语义地图进行所述扫地机器人的路径规划，包括：
基于各个所述障碍物的语义信息确定通过各个障碍物的方式，所述通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式确定所述扫地机器人的路径规划。
6.根据权利要求4所述的方法，其特征在于，所述三维语义地图还包括各个障碍物的三维信息，所述基于所述三维语义地图进行所述扫地机器人的路径规划，包括：
基于各个障碍物的所述三维信息与所述语义信息确定通过各个障碍物的方式，所述通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式确定所述扫地机器人的路径规划。
7.根据权利要求1所述的方法，其特征在于，所述障碍物的语义信息包括以下至少一项：类型、形状。
8.一种扫地机器人，其特征在于，该扫地机器人包括：深度相机、激光雷达传感器、构建装置；
所述深度相机，用于获取扫地机器人在环境空间中的多个位置处的图像信息，所述图像信息包括深度图信息与RGB图信息；
所述激光雷达传感器，用于获取扫地机器人在环境空间中的多个位置处的激光点云数据；
所述构建装置包括：
构建模块，用于基于所述深度相机获取的各个所述深度图信息与所述激光雷达传感器获取的各个所述激光点云数据构建环境空间的三维地图；
识别模块，用于通过预训练的神经网络识别模型识别确定所述获取模块获取的各个RGB图中障碍物的语义信息；
融合模块，用于基于各个RGB图与所述三维地图的映射关系，对所述构建模块构建的所述三维地图与所述识别模块识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
9.一种电子设备，其特征在于，其包括处理器和存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行上述权利要求1-7中任一项所述的语义地图的构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述权利要求1-7中任一项所述的语义地图的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138171.3A CN111609852A (zh) | 2019-02-25 | 2019-02-25 | 语义地图构建方法、扫地机器人及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138171.3A CN111609852A (zh) | 2019-02-25 | 2019-02-25 | 语义地图构建方法、扫地机器人及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111609852A true CN111609852A (zh) | 2020-09-01 |
Family
ID=72202840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910138171.3A Pending CN111609852A (zh) | 2019-02-25 | 2019-02-25 | 语义地图构建方法、扫地机器人及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111609852A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015187A (zh) * | 2020-09-11 | 2020-12-01 | 北京洛必德科技有限公司 | 一种用于智能移动机器人的语义地图构建方法及系统 |
| CN112258618A (zh) * | 2020-11-04 | 2021-01-22 | 中国科学院空天信息创新研究院 | 基于先验激光点云与深度图融合的语义建图与定位方法 |
| CN112506182A (zh) * | 2020-10-29 | 2021-03-16 | 久瓴(江苏)数字智能科技有限公司 | 扫地机器人定位方法、装置、计算机设备和存储介质 |
| CN112716375A (zh) * | 2020-12-25 | 2021-04-30 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN112783156A (zh) * | 2020-12-25 | 2021-05-11 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN113156419A (zh) * | 2021-02-24 | 2021-07-23 | 清华大学 | 一种基于雷达与视觉多模态融合的具身语言导航方法 |
| CN113256716A (zh) * | 2021-04-21 | 2021-08-13 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| CN113534821A (zh) * | 2021-09-14 | 2021-10-22 | 深圳市元鼎智能创新有限公司 | 多传感器融合的扫地机器人运动避障方法、装置及机器人 |
| CN114494267A (zh) * | 2021-11-30 | 2022-05-13 | 北京国网富达科技发展有限责任公司 | 一种变电站和电缆隧道场景语义构建系统和方法 |
| CN114872056A (zh) * | 2022-04-21 | 2022-08-09 | 美智纵横科技有限责任公司 | 房屋地图生成方法和装置、清洁组件和清洁设备 |
| WO2023020174A1 (zh) * | 2021-08-17 | 2023-02-23 | 科沃斯机器人股份有限公司 | 一种结构光模组及自移动设备 |
| WO2023173243A1 (zh) * | 2022-03-14 | 2023-09-21 | 罗伯特·博世有限公司 | 二维激光雷达扫描图的语义标注生成 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106067191A (zh) * | 2016-05-25 | 2016-11-02 | 深圳市寒武纪智能科技有限公司 | 一种家用机器人建立语义地图的方法及系统 |
| CN106681330A (zh) * | 2017-01-25 | 2017-05-17 | 北京航空航天大学 | 基于多传感器数据融合的机器人导航方法及装置 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
| TW201825037A (zh) * | 2016-11-24 | 2018-07-16 | 南韓商Ｌｇ電子股份有限公司 | 移動式清掃機器人及其控制方法 |
| CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
| CN108958250A (zh) * | 2018-07-13 | 2018-12-07 | 华南理工大学 | 多传感器移动平台及基于已知地图的导航与避障方法 |
| CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
-
2019
- 2019-02-25 CN CN201910138171.3A patent/CN111609852A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106067191A (zh) * | 2016-05-25 | 2016-11-02 | 深圳市寒武纪智能科技有限公司 | 一种家用机器人建立语义地图的方法及系统 |
| TW201825037A (zh) * | 2016-11-24 | 2018-07-16 | 南韓商Ｌｇ電子股份有限公司 | 移動式清掃機器人及其控制方法 |
| CN106681330A (zh) * | 2017-01-25 | 2017-05-17 | 北京航空航天大学 | 基于多传感器数据融合的机器人导航方法及装置 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
| CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
| CN108958250A (zh) * | 2018-07-13 | 2018-12-07 | 华南理工大学 | 多传感器移动平台及基于已知地图的导航与避障方法 |
| CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015187B (zh) * | 2020-09-11 | 2023-10-20 | 北京洛必德科技有限公司 | 一种用于智能移动机器人的语义地图构建方法及系统 |
| CN112015187A (zh) * | 2020-09-11 | 2020-12-01 | 北京洛必德科技有限公司 | 一种用于智能移动机器人的语义地图构建方法及系统 |
| CN112506182A (zh) * | 2020-10-29 | 2021-03-16 | 久瓴(江苏)数字智能科技有限公司 | 扫地机器人定位方法、装置、计算机设备和存储介质 |
| CN112258618A (zh) * | 2020-11-04 | 2021-01-22 | 中国科学院空天信息创新研究院 | 基于先验激光点云与深度图融合的语义建图与定位方法 |
| CN112716375A (zh) * | 2020-12-25 | 2021-04-30 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN112783156A (zh) * | 2020-12-25 | 2021-05-11 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN113156419A (zh) * | 2021-02-24 | 2021-07-23 | 清华大学 | 一种基于雷达与视觉多模态融合的具身语言导航方法 |
| CN113256716A (zh) * | 2021-04-21 | 2021-08-13 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| WO2022222490A1 (zh) * | 2021-04-21 | 2022-10-27 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| CN113256716B (zh) * | 2021-04-21 | 2023-11-21 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| WO2023020174A1 (zh) * | 2021-08-17 | 2023-02-23 | 科沃斯机器人股份有限公司 | 一种结构光模组及自移动设备 |
| CN113534821A (zh) * | 2021-09-14 | 2021-10-22 | 深圳市元鼎智能创新有限公司 | 多传感器融合的扫地机器人运动避障方法、装置及机器人 |
| CN114494267A (zh) * | 2021-11-30 | 2022-05-13 | 北京国网富达科技发展有限责任公司 | 一种变电站和电缆隧道场景语义构建系统和方法 |
| WO2023173243A1 (zh) * | 2022-03-14 | 2023-09-21 | 罗伯特·博世有限公司 | 二维激光雷达扫描图的语义标注生成 |
| CN114872056A (zh) * | 2022-04-21 | 2022-08-09 | 美智纵横科技有限责任公司 | 房屋地图生成方法和装置、清洁组件和清洁设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111609852A (zh) | 语义地图构建方法、扫地机器人及电子设备 | |
| CN111679661A (zh) | 基于深度相机的语义地图构建方法及扫地机器人 | |
| CN109541634B (zh) | 一种路径规划方法、装置和移动设备 | |
| CN108319655B (zh) | 用于生成栅格地图的方法和装置 | |
| US10031231B2 (en) | Lidar object detection system for automated vehicles | |
| EP3520076B1 (en) | Computer vision systems and methods for detecting and modeling features of structures in images | |
| US11747477B2 (en) | Data collecting method and system | |
| CN108550318B (zh) | 一种构建地图的方法及装置 | |
| CN111220993B (zh) | 目标场景定位方法、装置、计算机设备和存储介质 | |
| CN104536445B (zh) | 移动导航方法和系统 | |
| Holz et al. | Sancta simplicitas-on the efficiency and achievable results of SLAM using ICP-based incremental registration | |
| CN112000754A (zh) | 地图构建方法、装置、存储介质及计算机设备 | |
| Broggi et al. | Terrain mapping for off-road autonomous ground vehicles using rational b-spline surfaces and stereo vision | |
| CN111679664A (zh) | 基于深度相机的三维地图构建方法及扫地机器人 | |
| CN109163722B (zh) | 一种仿人机器人路径规划方法及装置 | |
| WO2022188663A1 (zh) | 一种目标检测方法及装置 | |
| CN111380510B (zh) | 重定位方法及装置、机器人 | |
| CN111609853A (zh) | 三维地图构建方法、扫地机器人及电子设备 | |
| CN111198378B (zh) | 基于边界的自主探索方法和装置 | |
| CN112880694B (zh) | 确定车辆的位置的方法 | |
| CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
| CN111665826A (zh) | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 | |
| CN112526993A (zh) | 栅格地图更新方法、装置、机器人及存储介质 | |
| CN111714028A (zh) | 清扫设备的禁区脱困方法、装置、设备及可读存储介质 | |
| CN111609854A (zh) | 基于多个深度相机的三维地图构建方法及扫地机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |