CN111679664A - 基于深度相机的三维地图构建方法及扫地机器人 - Google Patents

基于深度相机的三维地图构建方法及扫地机器人 Download PDF

Info

Publication number
CN111679664A
CN111679664A CN201910138853.4A CN201910138853A CN111679664A CN 111679664 A CN111679664 A CN 111679664A CN 201910138853 A CN201910138853 A CN 201910138853A CN 111679664 A CN111679664 A CN 111679664A
Authority
CN
China
Prior art keywords
sweeping robot
map
dimensional
information
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910138853.4A
Other languages
English (en)
Inventor
潘俊威
魏楠哲
栾成志
刘坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201910138853.4A priority Critical patent/CN111679664A/zh
Publication of CN111679664A publication Critical patent/CN111679664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本申请提供了一种基于深度相机的三维地图构建方法及扫地机器人，应用于机器人技术领域。该方法包括：步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图，循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图，即本申请构建的是三维地图，提升了构建的环境空间的地图包含信息的丰富性，以及扩展了扫地机器人的有效工作空间。

Description

基于深度相机的三维地图构建方法及扫地机器人
技术领域
本申请涉及机器人技术领域，具体而言，本申请涉及一种基于深度相机的三维地图构建方法及扫地机器人。
背景技术
扫地机器人作为一种能够自动对待清扫区域进行清扫的智能电器，可以代替人对地面进行清扫，减少了人的家务负担，越来越受到人们的认可。扫地机器人的应用环境空间的地图构建是扫地机器人执行清扫工作的基础，如何构建扫地机器人的应用环境空间的地图成为一个关键问题。
同时定位与建图(Simultaneous Localization and Mapping，SLAM)技术要解决的问题是：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出与此环境完全一致的地图。目前，扫地机器人的应用环境空间的地图的构建是通过基于激光雷达的SLAM技术实现的，即仅根据通过扫地机器人的激光雷达得到的激光数据进行建图。然而，现有的仅基于激光雷达的SLAM建图方法，激光雷达仅能探测2D平面的障碍物信息，探测不到障碍物的垂直方向的信息，构建的地图为二维地图，所提供的环境空间的信息有限，且对于一些特殊的障碍物(如镂空结构的桌椅等)，则不能通过激光雷达进行有效探测处理，此外，由于激光雷达必须被配置在具有一定的高度的位置才能有效工作，导致扫地机器人无法做到超薄，使得扫地机器人无法进入垂直距离较小的空间执行工作。因此，现有的仅基于激光雷达的SLAM建图方法，存在构建的地图提供的信息少且建图准确性低的问题，以及存在扫地机器人无法做到超薄、工作空间受限的问题。
发明内容
本申请提供了一种基于深度相机的三维地图构建方法及扫地机器人，用于提升构建的环境空间的地图包含的信息的丰富性以及提升构建的地图的准确性，以及扩展扫地机器人的工作空间范围，本申请采用的技术方案如下：
第一方面，本申请提供了一种基于深度相机的三维地图构建方法，该方法包括：
步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息；
步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图；
步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图；
循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。
可选地，基于获取的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，包括：
确定扫地机器人在当前位置的当前帧深度图与前一帧深度图；
分别对当前帧深度图与前一帧深度图进行特征提取；
基于提取到的当前帧深度图与前一帧深度图的特征进行关联特征配对；
基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
可选地，控制扫地机移动至符合预定条件的下一位置，包括：
基于三维子地图或合并三维地图确定扫地机器人的移动信息，移动信息包括移动方向信息与移动距离信息；
基于确定的移动信息控制扫地机器人移动至符合预定条件的下一位置。
进一步地，该方法还包括：
基于全局三维地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
可选地，全局三维地图包括各个障碍物和/或悬崖的三维信息，基于全局三维地图规划扫地机器人的工作路径，包括：
基于各个障碍物和/或悬崖的三维信息确定通过各个障碍物和/或悬崖的方式；
基于确定的通过各个障碍物和/或悬崖的方式规划扫地机器人的工作路径。
第二方面，提供了一种扫地机器人，该扫地机器人包括：深度相机以及构建装置；
所述深度相机，用于获取扫地机器人在相应位置的深度图；
所述构建装置包括：
确定模块，用于基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息；
构建模块，用于基于确定模块确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图；
控制模块，用于控制扫地机器人移动至符合预定条件的下一位置，执行确定模块与构建模块的执行过程，并对获取到的各个三维子地图进行拼接处理得到合并三维地图；
循环模块，用于循环执行控制模块的执行过程，直至得到的合并三维地图为环境空间的全局三维地图。
可选地，确定模块包括第一确定单元、提取单元、配对单元以及第二确定单元；
第一确定单元，用于确定扫地机器人在当前位置的当前帧深度图与前一帧深度图；
提取单元，用于分别对第一确定单元确定的当前帧深度图与前一帧深度图进行特征提取；
配对单元，用于基于提取单元提取到的当前帧深度图与前一帧深度图的特征进行关联特征配对；
第二确定单元，用于基于配对单元得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
可选地，控制模块包括第三确定单元以及控制单元；
第三确定单元，用于基于三维子地图或合并三维地图确定扫地机器人的移动信息，移动信息包括移动方向信息与移动距离信息；
控制单元，用于基于第三确定单元确定的移动信息控制扫地机器人移动至符合预定条件的下一位置。
进一步地，构建装置还包括规划模块；
规划模块，用于基于全局三维地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
可选地，全局三维地图包括各个障碍物和/或悬崖的三维信息，规划模块包括第四确定单元与规划单元；
第四确定单元，用于基于各个障碍物和/或悬崖的三维信息确定通过各个障碍物和/或悬崖的方式；
规划单元，用于基于第四确定单元确定的通过各个障碍物和/或悬崖的方式规划扫地机器人的工作路径。
第三方面，本申请提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行第一方面的任一实施方式中所示的基于深度相机的三维地图构建方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请的第一方面的任一实施方式中所示的基于深度相机三维地图构建方法。
本申请提供了一种基于深度相机的三维地图构建方法及扫地机器人，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请通过步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图，循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。即本申请基于通过深度相机获取的深度图构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种基于深度相机的三维地图构建方法的流程示意图；
图2为本申请实施例提供的一种扫地机器人的结构示意图；
图3为本申请实施例提供的另一种扫地机器人的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请的一个实施例提供了一种基于深度相机的三维地图构建方法，如图1所示，该方法包括：
步骤S101，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息；
具体地，扫地机器人配置有深度相机，其中该深度相机可以是基于ToF的深度相机、RGB双目深度相机、结构光深度相机以及双目结构光深度相机中的任一种，此处不做限定；具体地，可以控制扫地机器人在相应位置360度旋转和/或控制扫地机器人移动至相应其他位置，从而可以获取扫地机器人在不同位置的深度图和/或同一位置不同方位的深度图。
其中，同时定位与建图(Simultaneous Localization and Mapping，SLAM)问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全一致的地图。其中，SLAM算法可以包含多方面的算法，如定位相关的算法、建图相关算法、路径规划相关算法等；其中，定位相关算法中可以包括相应的点云匹配算法，点云匹配是通过计算得到完美的坐标变换，将处于不同视角下的点云数据经过旋转平移等刚性变换统一整合到指定坐标系之下的过程。换而言之，进行配准的两个点云，它们彼此之间可以通过旋转平移等这种位置变换完全重合，因此这两个点云属于刚性变换即形状大小是完全一样的，只是坐标位置不一样而已，点云配准就是求出两个点云之间的坐标位置变换关系。
具体地，可以通过SLAM算法中的相应点云匹配算法，对获取到的两帧深度图进行相应的匹配处理，得到扫地机器人在当前位置的位姿信息；其中，该点云匹配算法可以是基于迭代最近邻算法(Iterative Closest Point，ICP)，也可以是基于基于概率模型的相关性匹配算法。
步骤S102，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图；
具体地，深度图中的各个像素点对应探测到的环境空间中障碍物的一个点，可以根据确定的扫地机器人在当前位置的位姿信息，确定获取到的扫地机器人在当前位置的深度图中各个像素点在世界坐标体系中的对应位置，从而构建出扫地机器人在当前位置处的三维子地图。
步骤S103，控制扫地机器人移动至符合预定条件的下一位置，执行步骤S101与步骤S102，并对获取到的各个三维子地图进行拼接处理得到合并三维地图；
其中，当扫地机器人被放置于一个未知的环境中时，尚未有环境空间的地图，其初始符合预定条件的位置可以是随机确定的，可以是移动一定阈值距离到达的位置或移动一定阈值时间所到达的位置；待扫地机器人构建了相应的三维子地图或合并三维地图后，扫地机器人的后续符合预定条件位置可以根据构建的三维子地图或合并三维地图来确定的。
具体地，可以将构建的当前位置的三维子地图，与之前构建的各个三维子地图进行融合处理，得到合并三维地图；也可以将当前位置构建的三维子地图与之前融合处理得到的合并三维地图进行融合处理得到当前合并三维地图。其中，融合处理可以是对待融合处理的三维子地图进行拼接，其中，拼接过程中可以对重叠的地图部分进行删除。
步骤S104，循环执行步骤S103，直至得到的合并三维地图为环境空间的全局三维地图。
对于本申请实施例，循环执行步骤S103，直至得到的合并三维地图为环境空间的全局三维地图。其中，判断成功构建全局三维地图的方法：可以是基于相应的三维子地图或合并三维子地图，没有相应的符合预定条件的位置，也可以是在当前位置构建的三维子地图与之前构建的合并三维子地图或三维子地图完全重叠，还可以是基于前述两种方法的结合来综合判定是否成功构建全局三维地图。
本申请实施例提供了一种基于深度相机的三维地图构建方法，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请通过步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图，循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。即本申请基于通过深度相机获取的深度图构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间。
本申请实施例提供了一种可能的实现方式，具体地，步骤S101包括：
步骤S1011(图中未示出)，确定扫地机器人在当前位置的当前帧深度图与前一帧深度图；
具体地，确定通过深度相机在当前位置或当前位置的某一方位获取的深度图为当前帧深度图，确定通过深度相机在当前位置或当前位置的某一方位之前获取的深度图为前一帧深度图；其中，通过深度相机在当前位置或当前位置的某一方位之前获取的深度图可能有多帧候选前一帧深度图，可以对候选前一帧深度图进行预处理，将筛选出的与当前帧深度图包含预设阈值数量关联特征的候选前一帧深度图确定为前一帧深度图。
步骤S1012(图中未示出)，分别对当前帧深度图与前一帧深度图进行特征提取；
具体地，通过相应的特征提取方法，如基于模型的特征提取方法，分别对当前帧深度图与前一帧深度图进行特征提取，其中，边缘、角、点、区域等都可以作为特征来表示深度图中的元素。
步骤S1013(图中未示出)，基于提取到的当前帧深度图与前一帧深度图的特征进行关联特征配对；
具体地，可以利用点到点的欧式距离或其他距离，进行当前帧深度图与前一帧深度图的特征的关联特征配对。
步骤S1014(图中未示出)，基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
具体地，可以根据得到的关联特征信息，得到当前帧深度图与前一帧深度图的整体匹配参数的旋转矩阵和平移矩阵，并计算两帧深度图采样周期内的运动增量，从而确定扫地机器人的位姿信息。
对于本申请实施例，通过对当前帧深度图与前一帧深度图的特征进行关联特征配对，并基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息，解决了扫地机器人在当前位置的位姿信息的确定问题。
本申请实施例提供了一种可能的实现方式，具体地，步骤S103包括：
步骤S1031(图中未示出)，基于三维子地图或合并三维地图确定扫地机器人的移动信息，移动信息包括移动方向信息与移动距离信息；
步骤S1032(图中未示出)，基于确定的移动信息控制扫地机器人移动至符合预定条件的下一位置。
其中，该符合预定条件的下一位置可以是根据构建的三维子地图或合并三维地图与扫地机器人配置的深度相机的有效探测范围确定的，如深度相机的有效探测范围是3m，可以确定扫地机器人当前方向2米的位置为符合预定条件的下一位置。
其中，也可以基于构建的三维子地图或合并三维地图，在相应的扫地机器人可到达但尚未到达的区域中确定的相应位置，如从当前已构建的地图中当前位置2米处存在相应的扫地机器人可通行的拐角，可在拐角区域确定相应的符合预定条件的下一位置。
具体地，可以根据构建的三维子地图或合并三维地图确定扫地机器人的移动信息，并基于该移动信息控制扫地机器人移动至符合预定条件的下一位置。
对于本申请实施例，解决了扫地机器人如何到达符合预定条件的下一位置，为构建该符合预定条件的下一位置处的三维子地图提供了基础。
本申请实施例提供了一种可能的实现方式，进一步地，该方法还包括：
步骤S105(图中未示出)，基于全局三维地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
具体地，可以根据接收到的清扫指令，可以根据构建的环境空间的全局三维地图规划扫地机器人的工作路径，其中，该工作路径可以包括扫地机器人到达清扫区域的路线和/或扫地机器人对清扫目标区域如何进行清扫的路线。
对于本申请实施例，基于构建的全局三维地图，规划扫地机器人的工作路径，解决了扫地机器人行进的导航问题。
本申请实施例提供了一种可能的实现方式，具体地，全局三维地图包括各个障碍物和/或悬崖的三维信息，步骤S105包括：
步骤S1051(图中未示出)，基于各个障碍物和/或悬崖的三维信息确定通过各个障碍物和/或悬崖的方式；
具体地，可以基于各个障碍物的三维信息确定通过各个障碍物的方式，如当根据某一障碍物的三维信息(如障碍物的高度为3厘米)确定可直接越过该障碍物时，确定通过该障碍物的方式为越过障碍物，当根据某一障碍物的语义信息(如障碍物的高度为10厘米)确定无法直接越过该障碍物时，可确定通过该障碍物的方式为绕过障碍物。
具体地，可以基于各个悬崖的三维信息确定通过各个悬崖的方式，如可根据悬崖的深度与宽度信息确定通过悬崖的方式为越过悬崖或回避悬崖。
步骤S1052(图中未示出)，基于确定的通过各个障碍物和/或悬崖的方式规划扫地机器人的工作路径。
具体地，可以根据确定的通过各个障碍物和/或悬崖的方式规划扫地机器人的工作规划，如当通过障碍物的方式为越过障碍物时，不需对相应的行进路径进行调整，当通过障碍物的方式为绕过障碍物时，制定相应的绕过路线，对行进路径进行调整。
对于本申请实施例，根据通过各个障碍物和/或悬崖的方式规划扫地机器人的工作路径，解决了如何规划扫地机器人的行进路径的问题。
本申请实施例还提供了一种扫地机器人，如图2所示，该扫地机器人20可以包括：深度相机201以及构建装置202；
所述深度相机201，用于获取扫地机器人在相应位置的的深度图；
所述构建装置202包括：
确定模块2021，用于基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息；
构建模块2022，用于基于确定模块2021确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图；
控制模块2023，用于控制扫地机器人移动至符合预定条件的下一位置，执行确定模块2021与构建模块2022的执行过程，并对获取到的各个三维子地图进行拼接处理得到合并三维地图；
循环模块2024，用于循环执行控制模块2023的执行过程，直至得到的合并三维地图为环境空间的全局三维地图。
本申请实施例提供了一种扫地机器人，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请通过步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图，循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。即本申请基于通过深度相机获取的深度图构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间。
本实施例的扫地机器人可执行本申请上述实施例中提供的一种基于深度相机的三维地图的构建方法，其实现原理相类似，此处不再赘述。
本申请实施例提供了另一种扫地机器人，如图3所示，本实施例的扫地机器人30包括：深度相机301以及构建装置302；
所述深度相机301，用于获取扫地机器人在相应位置的的深度图；
其中，图3中的深度相机301与图2中的深度相机201的功能相同或者相似。
所述构建装置302包括：
确定模块3021，用于基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息；
构建模块3022，用于基于确定模块3021确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图；
控制模块3023，用于控制扫地机器人移动至符合预定条件的下一位置，执行确定模块3021与构建模块3022的执行过程，并对获取到的各个三维子地图进行拼接处理得到合并三维地图；
循环模块3024，用于循环执行控制模块3023的执行过程，直至得到的合并三维地图为环境空间的全局三维地图。
本申请实施例提供了一种可能的实现方式，具体地，确定模块3021包括第一确定单元30211、提取单元30212、配对单元30213以及第二确定单元30214；
第一确定单元30211，用于确定扫地机器人在当前位置的当前帧深度图与前一帧深度图；
提取单元30212，用于分别对第一确定单元30211确定的当前帧深度图与前一帧深度图进行特征提取；
配对单元30213，用于基于提取单元30212提取到的当前帧深度图与前一帧深度图的特征进行关联特征配对；
第二确定单元30214，用于基于配对单元30213得到的关联特征信息确定扫地机器人在当前位置的位姿信息。
对于本申请实施例，通过对当前帧深度图与前一帧深度图的特征进行关联特征配对，并基于得到的关联特征信息确定扫地机器人在当前位置的位姿信息，解决了扫地机器人在当前位置的位姿信息的确定问题。
本申请实施例提供了一种可能的实现方式，具体地，控制模块3023包括第三确定单元30231以及控制单元30232；
第三确定单元30231，用于基于三维子地图或合并三维地图确定扫地机器人的移动信息，移动信息包括移动方向信息与移动距离信息；
控制单元30232，用于基于第三确定单元30231确定的移动信息控制扫地机器人移动至符合预定条件的下一位置。
对于本申请实施例，解决了扫地机器人如何到达符合预定条件的下一位置，为构建该符合预定条件的下一位置处的三维子地图提供了基础。
本申请实施例提供了一种可能的实现方式，进一步地，构建装置还包括规划模块3025；
规划模块3025，用于基于全局三维地图规划扫地机器人的工作路径，工作路径包括扫地机器人到达清扫目标区域的路线和/或扫地机器人对清扫目标区域进行清扫的路线。
对于本申请实施例，基于构建的全局三维地图，规划扫地机器人的工作路径，解决了扫地机器人行进的导航问题。
本申请实施例提供了一种可能的实现方式，具体地，全局三维地图包括各个障碍物和/或悬崖的三维信息，规划模块3025包括第四确定单元30251与规划单元30252；
第四确定单元30251，用于基于各个障碍物和/或悬崖的三维信息确定通过各个障碍物和/或悬崖的方式；
规划单元30252，用于基于第四确定单元确定的通过各个障碍物和/或悬崖的方式规划扫地机器人的工作路径。
对于本申请实施例，根据通过各个障碍物和/或悬崖的方式规划扫地机器人的工作路径，解决了如何规划扫地机器人的行进路径的问题。
本申请实施例提供了一种扫地机器人，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请通过步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图，循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。即本申请基于通过深度相机获取的深度图构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间。
本申请实施例提供的扫地机器人适用于上述方法实施例，在此不再赘述。
本申请实施例提供了一种电子设备，如图4所示，图4所示的电子设备40包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。进一步地，电子设备40还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备400的结构并不构成对本申请实施例的限定。
其中，处理器4001应用于本申请实施例中，用于实现图2或图3所示的深度相机以及构建装置的功能。收发器4004包括接收机和发射机。
处理器4001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI总线或EISA总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现图2或图3所示实施例提供的扫地机器人的功能。
本申请实施例提供了一种电子设备适用于上述方法实施例。在此不再赘述。
本申请实施例提供了一种电子设备，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请通过步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图，循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。即本申请基于通过深度相机获取的深度图构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中所示的方法。
本申请实施例提供了一种计算机可读存储介质，与现有技术基于激光雷达构建环境空间的二维地图相比，本申请通过步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，步骤B，基于确定的扫地机器人在当前位置的位姿信息与获取到的扫地机器人在当前位置的深度图构建三维子地图，步骤C，控制扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图，循环执行步骤C，直至得到的合并三维地图为环境空间的全局三维地图。即本申请基于通过深度相机获取的深度图构建环境空间的三维地图，较构建的二维地图相比三维地图包含了障碍物在垂直方向的信息，因此三维地图较现有的基于激光雷达构建的二维地图包含了更多的环境空间的信息；与此同时，通过获取空间环境的图像信息的深度相机，能够探测到镂空结构的桌椅等通过激光雷达不能探测到的障碍物的信息，从而提升了构建的环境空间的地图的准确性；此外，深度相机不需要像激光雷达一样被配置在一定的高度也能有效工作，从而扫地机器人可以做到超薄，扩展了扫地机器人的有效工作空间。
本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例。在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于深度相机的三维地图构建方法，其特征在于，包括：
步骤A，基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息；
步骤B，基于确定的所述扫地机器人在当前位置的位姿信息与获取到的所述扫地机器人在当前位置的深度图构建三维子地图；
步骤C，控制所述扫地机器人移动至符合预定条件的下一位置，执行步骤A与步骤B，并对获取到的各个三维子地图进行拼接处理得到合并三维地图；
循环执行步骤C，直至得到的合并三维地图为所述环境空间的全局三维地图。
2.根据权利要求1所述的方法，其特征在于，所述基于获取的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息，包括：
确定所述扫地机器人在当前位置的当前帧深度图与前一帧深度图；
分别对所述当前帧深度图与所述前一帧深度图进行特征提取；
基于提取到的所述当前帧深度图与所述前一帧深度图的特征进行关联特征配对；
基于得到的关联特征信息确定所述扫地机器人在当前位置的位姿信息。
3.根据权利要求1所述的方法，其特征在于，所述控制所述扫地机移动至符合预定条件的下一位置，包括：
基于所述三维子地图或所述合并三维地图确定所述扫地机器人的移动信息，所述移动信息包括移动方向信息与移动距离信息；
基于确定的移动信息控制所述扫地机器人移动至符合预定条件的下一位置。
4.根据权利要求1-3所述的方法，其特征在于，该方法还包括：
基于所述全局三维地图规划所述扫地机器人的工作路径，所述工作路径包括所述扫地机器人到达清扫目标区域的路线和/或所述扫地机器人对清扫目标区域进行清扫的路线。
5.根据权利要求4所述的方法，其特征在于，所述全局三维地图包括各个障碍物和/或悬崖的三维信息，所述基于所述全局三维地图规划所述扫地机器人的工作路径，包括：
基于所述各个障碍物和/或悬崖的三维信息确定通过各个障碍物和/或悬崖的方式；
基于确定的通过各个障碍物和/或悬崖的方式规划所述扫地机器人的工作路径。
6.一种扫地机器人，其特征在于，该扫地机器人包括：深度相机以及构建装置；
所述深度相机，用于获取扫地机器人在相应位置的深度图；
所述构建装置包括：
确定模块，用于基于通过深度相机获取到的深度图通过同时定位与建图SLAM算法确定扫地机器人在当前位置的位姿信息；
构建模块，用于基于所述确定模块确定的所述扫地机器人在当前位置的位姿信息与获取到的所述扫地机器人在当前位置的深度图构建三维子地图；
控制模块，用于控制所述扫地机器人移动至符合预定条件的下一位置，执行所述确定模块与所述构建模块的执行过程，并对获取到的各个三维子地图进行拼接处理得到合并三维地图；
循环模块，用于循环执行所述控制模块的执行过程，直至得到的合并三维地图为所述环境空间的全局三维地图。
7.根据权利要求6所述的扫地机器人，其特征在于，所述确定模块包括第一确定单元、提取单元、配对单元以及第二确定单元；
所述第一确定单元，用于确定所述扫地机器人在当前位置的当前帧深度图与前一帧深度图；
所述提取单元，用于分别对所述第一确定单元确定的所述当前帧深度图与所述前一帧深度图进行特征提取；
配对单元，用于基于所述提取单元提取到的所述当前帧深度图与所述前一帧深度图的特征进行关联特征配对；
所述第二确定单元，用于基于所述配对单元得到的关联特征信息确定所述扫地机器人在当前位置的位姿信息。
8.根据权利要求6所述的扫地机器人，其特征在于，所述控制模块包括第三确定单元以及控制单元；
所述第三确定单元，用于基于所述三维子地图或所述合并三维地图确定所述扫地机器人的移动信息，所述移动信息包括移动方向信息与移动距离信息；
所述控制单元，用于基于所述第三确定单元确定的移动信息控制所述扫地机器人移动至符合预定条件的下一位置。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至5任一项所述的基于深度相机的三维地图构建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至5中任一项所述的基于深度相机的三维地图构建方法。
CN201910138853.4A 2019-02-25 2019-02-25 基于深度相机的三维地图构建方法及扫地机器人 Pending CN111679664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910138853.4A CN111679664A (zh) 2019-02-25 2019-02-25 基于深度相机的三维地图构建方法及扫地机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910138853.4A CN111679664A (zh) 2019-02-25 2019-02-25 基于深度相机的三维地图构建方法及扫地机器人

Publications (1)

Publication Number Publication Date
CN111679664A true CN111679664A (zh) 2020-09-18

Family

ID=72433179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910138853.4A Pending CN111679664A (zh) 2019-02-25 2019-02-25 基于深度相机的三维地图构建方法及扫地机器人

Country Status (1)

Country Link
CN (1) CN111679664A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286185A (zh) * 2020-10-14 2021-01-29 深圳市杉川机器人有限公司 扫地机器人及其三维建图方法、系统及计算机可读存储介质
CN113808023A (zh) * 2021-09-23 2021-12-17 安克创新科技股份有限公司 一种地图数据存储方法、装置、清洁机器人及存储介质
WO2022111723A1 (zh) * 2020-11-30 2022-06-02 深圳市普渡科技有限公司 道路边缘检测方法及机器人
CN114636416A (zh) * 2022-05-07 2022-06-17 深圳市倍思科技有限公司 机器人绘图方法、装置、机器人及存储介质
CN114683270A (zh) * 2020-12-30 2022-07-01 深圳乐动机器人有限公司 一种基于机器人的构图信息采集方法及机器人系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任坤等: "基于kinfu算法关键点提取的三维重建", 《西南科技大学学报》, pages 80 - 85 *
詹文强等: "基于深度相机的机器人室内定位技术研究", 信息通信, no. 01, pages 25 - 26 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286185A (zh) * 2020-10-14 2021-01-29 深圳市杉川机器人有限公司 扫地机器人及其三维建图方法、系统及计算机可读存储介质
WO2022111723A1 (zh) * 2020-11-30 2022-06-02 深圳市普渡科技有限公司 道路边缘检测方法及机器人
CN114683270A (zh) * 2020-12-30 2022-07-01 深圳乐动机器人有限公司 一种基于机器人的构图信息采集方法及机器人系统
CN113808023A (zh) * 2021-09-23 2021-12-17 安克创新科技股份有限公司 一种地图数据存储方法、装置、清洁机器人及存储介质
CN114636416A (zh) * 2022-05-07 2022-06-17 深圳市倍思科技有限公司 机器人绘图方法、装置、机器人及存储介质
CN114636416B (zh) * 2022-05-07 2022-08-12 深圳市倍思科技有限公司 机器人绘图方法、装置、机器人及存储介质

Similar Documents

Publication Publication Date Title
US11204247B2 (en) Method for updating a map and mobile robot
JP6896077B2 (ja) 車両自動パーキングシステム及び方法
CN111609852A (zh) 语义地图构建方法、扫地机器人及电子设备
CN111679664A (zh) 基于深度相机的三维地图构建方法及扫地机器人
US11747477B2 (en) Data collecting method and system
CN104536445B (zh) 移动导航方法和系统
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Davison et al. MonoSLAM: Real-time single camera SLAM
CN111679661A (zh) 基于深度相机的语义地图构建方法及扫地机器人
Yue et al. Fast 3D modeling in complex environments using a single Kinect sensor
CN111609853A (zh) 三维地图构建方法、扫地机器人及电子设备
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
CN111665826A (zh) 基于激光雷达与单目相机的深度图获取方法及扫地机器人
CN111609854A (zh) 基于多个深度相机的三维地图构建方法及扫地机器人
Fiala et al. Robot navigation using panoramic tracking
Birk et al. Simultaneous localization and mapping (SLAM)
CN111679663A (zh) 三维地图构建方法、扫地机器人及电子设备
CN109389677B (zh) 房屋三维实景地图的实时构建方法、系统、装置及存储介质
CN115981305A (zh) 机器人的路径规划和控制方法、装置及机器人
CN114459483B (zh) 基于机器人导航用地标导航地图构建与应用方法、系统
Blaer et al. Two stage view planning for large-scale site modeling
Baligh Jahromi et al. Layout slam with model based loop closure for 3d indoor corridor reconstruction
Norouzi et al. Recursive line extraction algorithm from 2d laser scanner applied to navigation a mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination