CN111679661A - 基于深度相机的语义地图构建方法及扫地机器人 - Google Patents
基于深度相机的语义地图构建方法及扫地机器人 Download PDFInfo
- Publication number
- CN111679661A CN111679661A CN201910138178.5A CN201910138178A CN111679661A CN 111679661 A CN111679661 A CN 111679661A CN 201910138178 A CN201910138178 A CN 201910138178A CN 111679661 A CN111679661 A CN 111679661A
- Authority
- CN
- China
- Prior art keywords
- map
- dimensional
- obstacle
- semantic
- sweeping robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 149
- 238000010276 construction Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 19
- 230000004807 localization Effects 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 241001417527 Pempheridae Species 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 description 11
- 238000004140 cleaning Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Abstract
本申请提供了一种基于深度相机的语义地图构建方法及扫地机器人，应用于机器人技术领域。该方法包括：通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图，并基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，以及通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息，继而对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图，即本申请构建的是环境空间的三维语义地图，与根据激光雷达构建的环境空间的二维地图相比，提升了构建的环境空间的地图包含信息的丰富性与构建的地图的准确性，以及扩展扫地机器人的有效工作空间范围。
Description
技术领域
本申请涉及机器人技术领域，具体而言，本申请涉及一种基于深度相机的语义地图构建方法及扫地机器人。
背景技术
扫地机器人作为一种能够自动对待清扫区域进行清扫的智能电器，可以代替人对地面进行清扫，减少了人的家务负担，越来越受到人们的认可。扫地机器人的应用环境空间的地图构建是扫地机器人执行清扫工作的基础，如何构建扫地机器人的应用环境空间的地图成为一个关键问题。
同时定位与建图(Simultaneous Localization and Mapping，SLAM)技术要解决的问题是：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出与此环境完全一致的地图。目前，扫地机器人的应用环境空间的地图的构建是通过基于激光雷达的SLAM技术实现的，即仅根据通过扫地机器人的激光雷达得到的激光数据进行建图。然而，现有的仅基于激光雷达的SLAM建图方法，激光雷达仅能探测2D平面的障碍物信息，探测不到障碍物的垂直方向的信息，构建的地图为二维地图，所提供的环境空间的信息有限，且对于一些特殊的障碍物(如镂空结构的桌椅等)，则不能通过激光雷达进行有效探测处理，此外，由于激光雷达必须被配置在具有一定的高度的位置才能有效工作，导致扫地机器人无法做到超薄，使得扫地机器人无法进入垂直距离较小的空间执行工作。因此，现有的仅基于激光雷达的SLAM建图方法，存在构建的地图提供的信息少且建图准确性低的问题，以及存在扫地机器人无法做到超薄、工作空间受限的问题。
发明内容
本申请提供了一种基于深度相机的语义地图构建方法及扫地机器人，用于提升构建的环境空间的地图包含的信息的丰富性以及提升构建的地图的准确性，以及扩展扫地机器人的有效工作空间，本申请采用的技术方案如下：
第一方面，本申请提供了一种基于深度相机的语义地图构建方法，该方法包括：
通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图；
基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图；
通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息；
对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
可选地，基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，包括：
步骤A，基于扫地机器人获取到的两帧相邻深度图确定扫地机器人在当前位置的位姿信息，两帧相邻深度图包括扫地机器人在当前位置处获取到深度图；
步骤B，基于确定的当前位置的位姿信息与扫地机器人在当前位置的深度图构建环境空间的三维子地图；
步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维子地图；
循环执行步骤C，直至得到的合并三维子地图为环境空间的三维地图。
可选地，基于扫地机器人获取到的两帧相邻深度图确定扫地机器人在当前位置的位姿信息，包括：
分别对两帧相邻深度图进行特征提取；
基于提取到的两帧相邻深度图的特征进行关联特征配对；
基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
可选地，通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，包括：
分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的语义信息。
进一步地，该方法还包括：
基于三维语义地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
可选地，基于三维语义地图规划扫地机器人的工作，包括：
基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式规划扫地机器人的工作路径。
可选地，三维语义地图还包括各个障碍物的三维信息，基于三维语义地图规划扫地机的工作路径，包括：
基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式规划扫地机器人的工作路径。
其中，障碍物的语义信息包括以下至少一项：类型、形状。
第二方面，提供了一种扫地机器人，该扫地机器人包括：深度相机与构建装置；
所述深度相机，用于获取扫地机器人在所处的环境空间的多个位置的图像，所述图像包括RGB图与深度图；
所述构建装置包括：
构建模块，用于基于深度相机获取的各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图；
识别模块，用于通过预训练的神经网络识别模型对通过深度相机获取的各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息；
融合模块，用于对构建模块构建的三维地图与识别模块识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
可选地，构建模块包括第一确定单元、构建单元、控制单元以及循环单元；
第一确定单元，用于基于扫地机器人获取到的两帧相邻深度图确定扫地机器人在当前位置的位姿信息，两帧相邻深度图包括扫地机器人在当前位置处获取到深度图；
构建单元，用于基于第一确定单元确定的当前位置的位姿信息与扫地机器人在当前位置的深度图构建环境空间的三维子地图；
控制单元，用于控制扫地机器人移动至符合预定条件的下一位置，执行第一确定单元与构建单元的执行过程，并对获取到的各个三维子地图进行拼接处理得到合并三维子地图；
循环单元，用于循环执行控制单元的执行过程，直至得到的合并三维子地图为环境空间的三维地图。
可选地，第一确定单元具体用于分别对两帧相邻深度图进行特征提取，以及用于基于提取到的两帧相邻深度图的特征进行关联特征配对，以及用于基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
可选地，识别模块包括分割单元与识别单元；
分割单元，用于分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
识别单元，用于通过预训练的神经网络识别模型分别对分割单元分割处理得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的语义信息。
进一步地，构建装置还包括规划模块；
规划模块，用于基于三维语义地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
可选地，规划模块包括第二确定单元与第三确定单元；
第二确定单元，用于基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第三确定单元，用于基于第二确定单元确定的通过各个障碍物的方式规划扫地机器人的工作路径。
可选地，三维语义地图还包括各个障碍物的三维信息，规划模块包括第四确定单元与第五确定单元；
第四确定单元，用于基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第五确定单元，用于基于第四确定单元确定的通过各个障碍物的方式规划扫地机器人的工作路径。其中，障碍物的语义信息包括以下至少一项：类型、形状。
第三方面，本申请提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行第一方面的任一实施方式中所示的基于深度相机的语义地图构建方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请的第一方面的任一实施方式中所示的基于深度相机的语义地图构建方法。
本申请提供了一种基于深度相机的语义地图构建方法及扫地机器人，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图，并基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，以及通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息，继而对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于通过深度相机获取的图像构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间；再者，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种基于深度相机的语义地图构建方法的流程示意图；
图2为本申请实施例提供的一种扫地机器人的结构示意图；
图3为本申请实施例提供的另一种扫地机器人的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请的一个实施例提供了一种基于深度相机的语义地图构建方法，如图1所示，该方法包括：
步骤S101，通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图；
对于本申请实施例，扫地机器人配置有深度相机传感器，其中，该深度相机传感器可以是RGB-D深度相机，通过RGB-D深度相机可以获得一个RGB图和一个深度图，其中，深度图中每个像素值是传感器距离物体的实际距离。
具体地，可以控制扫地机器人移动至不同位置或进行原地旋转，从而得到扫地机器人在所处的环境空间的不同位置的图像，其中，不同位置也可以是同一位置的不同的方位。
步骤S102，基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图；
对于本申请实施例，同时定位与建图(Simultaneous Localization andMapping，SLAM)问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全一致的地图。
具体地，通过同时定位与建图SLAM算法，对得到的各个位置处的深度图进行相应处理，以构建环境空间的三维地图；其中，还可以是通过对RGB图与深度图进行融合处理来构建三维地图，其中，该三维地图是虚拟的三维地图，其可以是点云数据。
步骤103，通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息；
对于本申请实施例，通过预训练的神经网络模型分别对各个RGB图进行识别，得到RGB图中各个障碍物的语义信息；其中，可以基于相应的图像检测方法对RGB图进行筛选处理，将不包含障碍物的RGB图进行去除，确保预训练的神经网络模型识别的RGB图中包含障碍物；其中，该预训练的神经网络模型可以是基于卷积神经网络(Convolutional NeuralNetworks，CNN)的神经网络模型，也可以是基于RCNN、Fast-RCNN、Faster-RCNN、R-FCN等网络的神经网络模型，此处不做限定。
步骤S104，对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
对于本申请实施例，各个RGB图与构建的三维地图对应有相应的映射关系，可以基于各个映射关系将各个障碍物的语义信息与三维地图中的各个障碍物进行关联，得到环境空间的三维语义地图。
本申请实施例提供了一种基于深度相机的语义地图的构建方法，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请实施例通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图，并基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，以及通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息，继而对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于通过深度相机获取的图像构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间；再者，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供了一种可能的实现方式，具体地，步骤S102包括：
步骤S1021(图中未示出)，步骤A，基于扫地机器人获取到的两帧相邻深度图确定扫地机器人在当前位置的位姿信息，两帧相邻深度图包括扫地机器人在当前位置处获取到深度图；
具体地，可以基于获取到的两帧相邻图像，通过相应的点云匹配算法，如基于迭代最近邻算法(Iterative Closest Point，ICP)、基于基于概率模型的相关性匹配算法，确定扫地机器人在当前位置的位姿信息。
步骤S1022(图中未示出)，步骤B，基于确定的当前位置的位姿信息与扫地机器人在当前位置的深度图构建环境空间的三维子地图；
具体地，图像的各个像素对应探测到的环境空间中障碍物的一个点，可以根据扫地人机器人的位姿信息，确定各个图像中各个点对应的在世界坐标体系中的位置，从而构建各个位置处的三维子地图。
步骤S1023(图中未示出)，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维子地图；
其中，当扫地机器人被放置于一个未知的环境中时，尚未有环境空间的地图，其初始符合预定条件的位置可以是随机确定的，可以是移动一定阈值距离到达的位置或移动一定阈值时间所到达的位置；待扫地机器人构建了相应的三维子地图或合并三维子地图后，扫地机器人的后续符合预定条件位置可以根据构建的三维子地图或合并三维子地图来确定的，具体的，可以是根据构建的三维子地图或合并三维子地图确定扫地机器人的移动方向与移动距离控制扫地机器人移动所到达的位置，也可以是通过其他方式来确定的。其中，扫地机器人在符合预定条件的位置处将通过配置的深度相机获取环境空间的图像，在扫地机器人到达符合预定条件位置的过程中，也可以获取相应的图像，具体地可以是在距离符合预定条件位置一定阈值距离时获取相应的图像。
步骤S1024(图中未示出)，循环执行步骤C，直至得到的合并三维子地图为环境空间的三维地图。
具体地，循环执行步骤C，直至得到的合并三维子地图为环境空间的三维地图；其中，该三维地图为与环境空间一致的全局三维地图；其中，判断成功构建全局三维地图的方法：可以是基于相应的三维子地图或合并三维子地图，没有相应的符合预定条件的位置，也可以是在当前位置构建的三维子地图与之前构建的合并三维子地图或三维子地图重叠，还可以是基于前述两种方法的结合来判定是否成功构建全局三维地图。
对于本申请实施例，根据确定的各个位置处的位姿信息构建各个位置处的三维子地图，然后对构建的各个三维子地图进行合并处理，得到环境空间的三维地图，从而解决了环境空间的三维地图的构建问题。
本申请实施例提供了一种可能的实现方式，具体地，步骤S1021包括：
步骤S10211(图中未示出)，分别对两帧相邻深度图进行特征提取；
具体地，通过相应的特征提取方法，如基于模型的特征提取方法，分别对两帧相邻深度图进行特征提取，其中，边缘、角、点、区域等都可以作为特征来表示深度图中的元素。
步骤S10212(图中未示出)，基于提取到的两帧相邻深度图的特征进行关联特征配对；
具体地，可以利用点到点的欧式距离或其他距离，进行两帧相邻深度图的特征的关联特征配对。
步骤S10213(图中未示出)，基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
具体地，可以根据得到的关联特征信息，得到两帧相邻深度图的整体匹配参数的旋转矩阵和平移矩阵，并计算两帧相邻深度图采样周期内的运动增量，从而确定扫地机器人的位姿信息。
对于本申请实施例，通过对两帧相邻深度图的特征进行关联特征配对，并基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息，解决了扫地机器人在当前位置的位姿信息的确定问题。
本申请实施例提供了一种可能的实现方式，具体地，步骤S103包括：
步骤S1031(图中未示出)，分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
具体地，可以通过相应的图像分割方法，如可以是基于阈值的分割方法或基于区域的分割方法或基于边缘的分割方法，也可以是基于神经网络的分割方法，对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物。
步骤S1032(图中未示出)，通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的语义信息。
具体地，将得到的各个分割区域输入至预训练的神经网络识别模型，得到各个RGB图中包含的各个障碍物的障碍物语义信息；其中，如果是通过基于神经网络的分割方法对各个RGB图进行区域分割，该预训练的神经网络识别模型为一个网络层。
对于本申请实施例，通过预训练的神经网络识别模型得到各个RGB图中各个障碍物的障碍物语义信息，解决了环境空间中的障碍物的语义信息的确定问题，为进一步构建环境空间的语义地图提供了基础。
本申请实施例提供了一种可能的实现方式，进一步地，该方法还包括：
步骤S105(图中未示出)，基于三维语义地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
具体地，可以根据接收到的清扫指令，可以根据构建的环境空间的三维语义地图规划扫地机器人的工作路径，其中，该工作路径包括但不限于扫地机器人到达清扫区域的路线、扫地机器人对清扫目标区域如何进行清扫的路线。
对于本申请实施例，基于构建的三维语义地图，进行扫地机器人的路径规划，解决了扫地机器人行进的导航问题。
本申请实施例提供了一种可能的实现方式，具体地，步骤S105的基于三维语义地图进行扫地机器人的路径规划，包括：
步骤S1051(图中未示出)，基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
具体地，基于各个障碍物的语义信息确定通过各个障碍物的方式，如当根据某一障碍物的语义信息确定可直接越过该障碍物时，可确定通过该障碍物的方式为越过障碍物，当根据某一障碍物的语义信息确定无法直接越过该障碍物时，可确定通过该障碍物的方式为绕过障碍物。
步骤S1052(图中未示出)，基于确定的通过各个障碍物的方式规划扫地机器人的工作路径。
具体地，可以根据确定的通过各个障碍物的方式确定扫地机器人的路径规划，如当通过障碍物的方式为越过障碍物时，不需对相应的行进路径进行调整，当通过障碍物的方式为绕过障碍物时，制定相应的绕过路线，对行进路径进行调整。
对于本申请实施例，根据通过各个障碍物的方式确定扫地机器人的路径规划，解决了如何规划扫地机器人的行进路径的问题。
本申请实施例提供了一种可能的实现方式，三维语义地图还包括各个障碍物的三维信息，步骤S105包括：
步骤S1053(图中未示出)，基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
步骤S1054(图中未示出)，基于确定的通过各个障碍物的方式规划扫地机器人的工作路径。
对于本申请实施例，三维语义地图包括各个障碍物的三维信息，具体地可以结合各个障碍物的语义信息与三维信息确定通过各个障碍物的方式，如可以根据某一障碍物的语义信息以及该障碍物的高度等信息确定通过该障碍物的方式，并进一步根据确定的通过各个障碍物的方式确定扫地机器人的路径规划。
对于本申请实施例，根据障碍物的三维信息与障碍物的语义信息确定通过障碍物的方式，从而提升了确定的通过障碍物的方式的准确性。
其中，障碍物的语义信息包括以下至少一项：类型、形状。
其中，障碍物的语义信息可以包括障碍物的类型(如拖鞋、书等)，形状(如圆形、方形等)。
对于本申请实施例，障碍物的语义信息包括但不限于障碍物的类型与形状，解决了障碍物具体是什么的问题，从而提升了确定的扫地机器人通过障碍物的方式的准确性，进而提升了扫地机器人导航的准确性。
本申请实施例还提供了一种扫地机器人，如图2所示，该扫地机器人20可以包括：深度相机201与构建装置202；
所述深度相机201，用于获取扫地机器人在所处的环境空间的多个位置的图像，所述图像包括RGB图与深度图；
所述构建装置包括：
构建模块2021，用于基于深度相机201获取的各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图；
识别模块2022，用于通过预训练的神经网络识别模型对通过深度相机201获取的各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息；
融合模块2023，用于对构建模块2021构建的三维地图与识别模块2022识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
本申请实施例提供了一种扫地机器人，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请实施例通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图，并基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，以及通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息，继而对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于通过深度相机获取的图像构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间；再者，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本实施例的扫地机器人可执行本申请上述实施例中提供的一种基于深度相机的语义地图的构建方法，其实现原理相类似，此处不再赘述。
本申请实施例提供了另一种扫地机器人，如图3所示，本实施例的扫地机器人30包括：深度相机301与构建装置302；
所述深度相机301，用于获取扫地机器人在所处的环境空间的多个位置的图像，所述图像包括RGB图与深度图；
其中，图3中的深度相机301与图2中的深度相机201的功能相同或者相似。
所述构建装置302包括：
构建模块3021，用于基于深度相机301获取的各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图；
识别模块3022，用于通过预训练的神经网络识别模型对通过深度相机301获取的各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息；
融合模块3023，用于对构建模块3021构建的三维地图与识别模块3022识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
本申请实施例提供了一种可能的实现方式，具体地，构建模块3021包括第一确定单元30211、构建单元30212、控制单元30213及循环单元30214；
第一确定单元30211，用于基于扫地机器人获取到的两帧相邻深度图确定扫地机器人在当前位置的位姿信息，两帧相邻深度图包括扫地机器人在当前位置处获取到深度图；
构建单元30212，用于基于第一确定单元30211确定的当前位置的位姿信息与扫地机器人在当前位置的深度图构建环境空间的三维子地图；
控制单元30213，用于控制扫地机器人移动至符合预定条件的下一位置，执行第一确定单元30211与构建单元30212的执行过程，并对获取到的各个三维子地图进行拼接处理得到合并三维子地图；
循环单元30214，用于循环执行控制单元30213的执行过程，直至得到的合并三维子地图为环境空间的三维地图。
对于本申请实施例，根据确定的各个位置处的位姿信息构建各个位置处的三维子地图，然后对构建的各个三维子地图进行合并处理，得到环境空间的三维地图，从而解决了环境空间的三维地图的构建问题。
本申请实施例提供了一种可能的实现方式，具体地，第一确定单元具体用于分别对两帧相邻深度图进行特征提取，以及用于基于提取到的两帧相邻深度图的特征进行关联特征配对，以及用于基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
对于本申请实施例，通过对两帧相邻深度图的特征进行关联特征配对，并基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息，解决了扫地机器人在当前位置的位姿信息的确定问题。
本申请实施例提供了一种可能的实现方式，具体地，识别模块3022包括分割单元30221与识别单元30222；
分割单元30221，用于分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
识别单元30222，用于通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的障碍物语义信息。
对于本申请实施例，通过预训练的神经网络识别模型得到各个RGB图中各个障碍物的障碍物语义信息，解决了环境空间中的障碍物的障碍物语义信息的确定问题，为进一步构建环境空间的语义地图提供了基础。
本申请实施例提供了一种可能的实现方式，进一步地，构建装置302还包括规划模块3024；
规划模块3024，用于基于三维语义地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
对于本申请实施例，基于构建的三维语义地图，进行扫地机器人的路径规划，解决了扫地机器人行进的导航问题。
本申请实施例提供了一种可能的实现方式，具体地，规划模块3024包括第二确定单元30241与第三确定单元30242；
第二确定单元30241，用于基于各个障碍物的语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第三确定单元30242，用于基于第二确定单元确定的通过各个障碍物的方式规划扫地机器人的工作路径。
对于本申请实施例，根据通过各个障碍物的方式确定扫地机器人的路径规划，解决了如何规划扫地机器人的行进路径的问题。
本申请实施例提供了一种可能的实现方式，具体地，三维语义地图还包括各个障碍物的三维信息，规划模块3024包括第四确定单元30243与第五确定单元30345；
第四确定单元30243，用于基于各个障碍物的三维信息与语义信息确定通过各个障碍物的方式，通过各个障碍物的方式包括越过障碍物或绕过障碍物；
第五确定单元30245，用于基于第四确定单元确定的通过各个障碍物的方式规划扫地机器人的工作路径。
对于本申请实施例，根据障碍物的三维信息与障碍物的语义信息确定通过障碍物的方式，从而提升了确定的通过障碍物的方式的准确性。
其中，障碍物的语义信息包括但不限于以下至少一项：类型、形状。
对于本申请实施例，障碍物的语义信息包括但不限于障碍物的类型与形状，解决了障碍物具体是什么的问题，从而提升了确定的扫地机器人通过障碍物的方式的准确性，进而提升了扫地机器人导航的准确性。
本申请实施例提供了一种扫地机器人，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请实施例通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图，并基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，以及通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息，继而对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于通过深度相机获取的图像构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间；再者，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供的扫地机器人适用于上述方法实施例，在此不再赘述。
本申请实施例提供了一种电子设备，如图4所示，图4所示的电子设备40包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。进一步地，电子设备40还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备400的结构并不构成对本申请实施例的限定。
其中，处理器4001应用于本申请实施例中，用于实现图2或图3所示的深度相机以及构建装置的功能。收发器4004包括接收机和发射机。
处理器4001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI总线或EISA总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现图2或图3所示实施例提供的扫地机器人的功能。
本申请实施例提供了一种电子设备适用于上述方法实施例。在此不再赘述。
本申请实施例提供了一种电子设备，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请实施例通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图，并基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，以及通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息，继而对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于通过深度相机获取的图像构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间；再者，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中所示的方法。
本申请实施例提供了一种计算机可读存储介质，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请实施例通过深度相机获取扫地机器人在所处的环境空间的多个位置的图像，图像包括RGB图与深度图，并基于各个深度图通过同时定位与建图SLAM算法构建环境空间的三维地图，以及通过预训练的神经网络识别模型对各个RGB图进行语义识别，得到环境空间中各个障碍物的语义信息，继而对三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。即本申请基于通过深度相机获取的图像构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间；再者，通过预训练的神经网络模型识别得到环境空间中障碍物的语义信息，并将识别得到的语义信息与构建的三维地图进行融合处理得到三维语义地图，进一步提升了构建的环境空间的地图包含信息的丰富性。
本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例。在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种基于深度相机的语义地图的构建方法，其特征在于，包括：
通过深度相机获取所述扫地机器人在所处的环境空间的多个位置的图像，所述图像包括RGB图与深度图；
基于各个所述深度图通过同时定位与建图SLAM算法构建所述环境空间的三维地图；
通过预训练的神经网络识别模型对各个所述RGB图进行语义识别，得到环境空间中各个障碍物的语义信息；
对所述三维地图与得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
2.根据权利要求1所述的方法，其特征在于，所述基于各个所述深度图通过同时定位与建图SLAM算法构建所述环境空间的三维地图，包括：
步骤A，基于所述扫地机器人获取到的两帧相邻所述深度图确定所述扫地机器人在当前位置的位姿信息，所述两帧相邻所述深度图包括扫地机器人在当前位置处获取到深度图；
步骤B，基于确定的当前位置的所述位姿信息与所述扫地机器人在当前位置的所述深度图构建环境空间的三维子地图；
步骤C，控制所述扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维子地图；
循环执行步骤C，直至得到的合并三维子地图为所述环境空间的三维地图。
3.根据权利要求2所述的方法，其特征在于，所述基于所述扫地机器人获取到的两帧相邻所述深度图确定所述扫地机器人在当前位置的位姿信息，包括：
分别对两帧相邻所述深度图进行特征提取；
基于提取到的两帧相邻所述深度图的特征进行关联特征配对；
基于得到的关联特征信息确定所述扫地机器人在当前位置的位姿信息。
4.根据权利要求1所述的方法，其特征在于，所述通过预训练的神经网络识别模型识别确定各个RGB图中障碍物的语义信息，包括：
分别对各个RGB图进行区域分割，以使得各个分割区域仅包括一个障碍物；
通过预训练的神经网络识别模型分别对得到的各个分割区域进行语义识别，得到各个RGB图中各个障碍物的语义信息。
5.根据权利要求1-4所述的方法，其特征在于，该方法还包括：
基于所述三维语义地图规划所述扫地机器人的工作路径，所述工作路径包括所述扫地机器人到达清扫目标区域的路线和/或所述扫地机器人对清扫目标区域进行清扫的路线。
6.根据权利要求5所述的方法，其特征在于，所述基于所述三维语义地图规划所述扫地机器人的工作，包括：
基于各个所述障碍物的语义信息确定通过各个障碍物的方式，所述通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式规划所述扫地机器人的工作路径。
7.根据权利要求5所述的方法，其特征在于，所述三维语义地图还包括各个障碍物的三维信息，所述基于所述三维语义地图规划所述扫地机的工作路径，包括：
基于各个障碍物的所述三维信息与所述语义信息确定通过各个障碍物的方式，所述通过各个障碍物的方式包括越过障碍物或绕过障碍物；
基于确定的通过各个障碍物的方式规划所述扫地机器人的工作路径。
8.一种扫地机器人，其特征在于，该扫地机器人包括：深度相机与构建装置；
所述深度相机，用于获取扫地机器人在所处的环境空间的多个位置的图像，所述图像包括RGB图与深度图；
所述构建装置包括：
构建模块，用于基于所述深度相机获取的各个所述深度图通过同时定位与建图SLAM算法构建所述环境空间的三维地图；
识别模块，用于通过预训练的神经网络识别模型对通过所述深度相机获取的各个所述RGB图进行语义识别，得到环境空间中各个障碍物的语义信息；
融合模块，用于对所述构建模块构建的所述三维地图与所述识别模块识别得到的各个障碍物的语义信息进行融合处理得到三维语义地图。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至7任一项所述的基于深度相机的语义地图构建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的基于深度相机的语义地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138178.5A CN111679661A (zh) | 2019-02-25 | 2019-02-25 | 基于深度相机的语义地图构建方法及扫地机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910138178.5A CN111679661A (zh) | 2019-02-25 | 2019-02-25 | 基于深度相机的语义地图构建方法及扫地机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111679661A true CN111679661A (zh) | 2020-09-18 |
Family
ID=72433187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910138178.5A Pending CN111679661A (zh) | 2019-02-25 | 2019-02-25 | 基于深度相机的语义地图构建方法及扫地机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111679661A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112336254A (zh) * | 2020-10-29 | 2021-02-09 | 久瓴(江苏)数字智能科技有限公司 | 扫地机器人清洁策略生成方法、装置、计算机设备和介质 |
| CN112652012A (zh) * | 2020-12-31 | 2021-04-13 | 北京百度网讯科技有限公司 | 挖掘机智能控制方法、装置、设备、存储介质和挖掘机 |
| CN112716375A (zh) * | 2020-12-25 | 2021-04-30 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN112783156A (zh) * | 2020-12-25 | 2021-05-11 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN113156419A (zh) * | 2021-02-24 | 2021-07-23 | 清华大学 | 一种基于雷达与视觉多模态融合的具身语言导航方法 |
| WO2022095060A1 (zh) * | 2020-11-09 | 2022-05-12 | 深圳市大疆创新科技有限公司 | 路径规划方法、路径规划装置、路径规划系统和介质 |
| CN114494267A (zh) * | 2021-11-30 | 2022-05-13 | 北京国网富达科技发展有限责任公司 | 一种变电站和电缆隧道场景语义构建系统和方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473785A (zh) * | 2013-09-29 | 2013-12-25 | 哈尔滨工业大学 | 一种基于三值化图像聚类的快速多目标分割方法 |
| CN104732587A (zh) * | 2015-04-14 | 2015-06-24 | 中国科学技术大学 | 一种基于深度传感器的室内3d语义地图构建方法 |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN106067191A (zh) * | 2016-05-25 | 2016-11-02 | 深圳市寒武纪智能科技有限公司 | 一种家用机器人建立语义地图的方法及系统 |
| CN106296693A (zh) * | 2016-08-12 | 2017-01-04 | 浙江工业大学 | 基于3d点云fpfh特征实时三维空间定位方法 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
| CN108038849A (zh) * | 2017-12-07 | 2018-05-15 | 梁金凤 | 一种识别性能优良的机器人视觉系统 |
| CN108073167A (zh) * | 2016-11-10 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种基于深度相机与激光雷达的定位与导航方法 |
| TW201825037A (zh) * | 2016-11-24 | 2018-07-16 | 南韓商Ｌｇ電子股份有限公司 | 移動式清掃機器人及其控制方法 |
| CN108346160A (zh) * | 2017-12-22 | 2018-07-31 | 湖南源信光电科技股份有限公司 | 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法 |
| CN108416385A (zh) * | 2018-03-07 | 2018-08-17 | 北京工业大学 | 一种基于改进图像匹配策略的同步定位与建图方法 |
| CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
-
2019
- 2019-02-25 CN CN201910138178.5A patent/CN111679661A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473785A (zh) * | 2013-09-29 | 2013-12-25 | 哈尔滨工业大学 | 一种基于三值化图像聚类的快速多目标分割方法 |
| CN104732587A (zh) * | 2015-04-14 | 2015-06-24 | 中国科学技术大学 | 一种基于深度传感器的室内3d语义地图构建方法 |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN106067191A (zh) * | 2016-05-25 | 2016-11-02 | 深圳市寒武纪智能科技有限公司 | 一种家用机器人建立语义地图的方法及系统 |
| CN106296693A (zh) * | 2016-08-12 | 2017-01-04 | 浙江工业大学 | 基于3d点云fpfh特征实时三维空间定位方法 |
| CN108073167A (zh) * | 2016-11-10 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种基于深度相机与激光雷达的定位与导航方法 |
| TW201825037A (zh) * | 2016-11-24 | 2018-07-16 | 南韓商Ｌｇ電子股份有限公司 | 移動式清掃機器人及其控制方法 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
| CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
| CN108038849A (zh) * | 2017-12-07 | 2018-05-15 | 梁金凤 | 一种识别性能优良的机器人视觉系统 |
| CN108346160A (zh) * | 2017-12-22 | 2018-07-31 | 湖南源信光电科技股份有限公司 | 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法 |
| CN108416385A (zh) * | 2018-03-07 | 2018-08-17 | 北京工业大学 | 一种基于改进图像匹配策略的同步定位与建图方法 |
Non-Patent Citations (2)
| Title |
|---|
| 任坤，等: "基于Kinfu算法关键点提取的三维重建", 《西南科技大学学报》, vol. 32, no. 3, pages 77 - 82 * |
| 吕宪伟: "基于RGB-D数据的SLAM算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 02, pages 138 - 3710 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112336254A (zh) * | 2020-10-29 | 2021-02-09 | 久瓴(江苏)数字智能科技有限公司 | 扫地机器人清洁策略生成方法、装置、计算机设备和介质 |
| CN112336254B (zh) * | 2020-10-29 | 2022-06-28 | 久瓴(江苏)数字智能科技有限公司 | 扫地机器人清洁策略生成方法、装置、计算机设备和介质 |
| WO2022095060A1 (zh) * | 2020-11-09 | 2022-05-12 | 深圳市大疆创新科技有限公司 | 路径规划方法、路径规划装置、路径规划系统和介质 |
| CN112716375A (zh) * | 2020-12-25 | 2021-04-30 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN112783156A (zh) * | 2020-12-25 | 2021-05-11 | 北京小狗吸尘器集团股份有限公司 | 扫地机器人及其清扫任务规划方法和装置 |
| CN112652012A (zh) * | 2020-12-31 | 2021-04-13 | 北京百度网讯科技有限公司 | 挖掘机智能控制方法、装置、设备、存储介质和挖掘机 |
| CN113156419A (zh) * | 2021-02-24 | 2021-07-23 | 清华大学 | 一种基于雷达与视觉多模态融合的具身语言导航方法 |
| CN114494267A (zh) * | 2021-11-30 | 2022-05-13 | 北京国网富达科技发展有限责任公司 | 一种变电站和电缆隧道场景语义构建系统和方法 |
| CN114494267B (zh) * | 2021-11-30 | 2022-11-04 | 北京国网富达科技发展有限责任公司 | 一种变电站和电缆隧道场景语义构建系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111609852A (zh) | 语义地图构建方法、扫地机器人及电子设备 | |
| CN111679661A (zh) | 基于深度相机的语义地图构建方法及扫地机器人 | |
| US20220028163A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
| CN104536445B (zh) | 移动导航方法和系统 | |
| KR102192791B1 (ko) | 이동 로봇 및 이동 로봇의 제어방법 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101618030B1 (ko) | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 | |
| CN109186606B (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
| JP4942733B2 (ja) | 物体認識及び認識された物体を含む周辺環境情報に基づいたロボットの自己位置推定方法 | |
| US8498472B2 (en) | Image-based localization feature point registration apparatus, method and computer-readable medium | |
| CN111679664A (zh) | 基于深度相机的三维地图构建方法及扫地机器人 | |
| WO2022188663A1 (zh) | 一种目标检测方法及装置 | |
| US20200300639A1 (en) | Mobile robots to generate reference maps for localization | |
| CN111609853A (zh) | 三维地图构建方法、扫地机器人及电子设备 | |
| CN111665826A (zh) | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 | |
| CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
| KR101333496B1 (ko) | 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법 | |
| CN111609854A (zh) | 基于多个深度相机的三维地图构建方法及扫地机器人 | |
| CN111830985A (zh) | 一种多机器人定位方法、系统及集中式通信系统 | |
| Majdik et al. | New approach in solving the kidnapped robot problem | |
| An et al. | Ceiling vision-based active SLAM framework for dynamic and wide-open environments | |
| CN111679663A (zh) | 三维地图构建方法、扫地机器人及电子设备 | |
| Missura et al. | Polygonal perception for mobile robots | |
| CN115855086A (zh) | 基于自旋转的室内场景自主重建方法、系统及介质 | |
| CN115981305A (zh) | 机器人的路径规划和控制方法、装置及机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |