CN111678522A

CN111678522A - 一种针对目标物的清扫方法、装置、可读介质及电子设备

Info

Publication number: CN111678522A
Application number: CN202010559710.3A
Authority: CN
Inventors: 檀冲; 张书新; 霍章义; 王颖; 李欢欢; 王磊
Original assignee: Xiaogou Electric Internet Technology Beijing Co Ltd
Current assignee: Xiaogou Electric Internet Technology Beijing Co Ltd
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2020-09-18

Abstract

本发明公开了一种针对目标物的清扫方法、装置、可读介质及电子设备，包括：根据控制指令确定目标空间内的目标物；利用图像采集模组获取所述目标空间的三维图像；根据所述三维图像，和预先确定的所述目标空间的空间地图，确定所述目标空间对应的语义地图；在所述语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径；控制所述智能设备移动到所述目标物的位置，并对所述目标物进行清扫；由此使得扫地机器人能够自动针对特定目标物进行清洁。

Description

一种针对目标物的清扫方法、装置、可读介质及电子设备

技术领域

本发明涉及智能设备技术领域，尤其涉及一种针对目标物的清扫方法、装置、可读介质及电子设备。

背景技术

随着科学技术的进步和社会发展，人们希望更多地从繁琐的家庭日常清洁事务中解脱出来。所以近年来，扫地机器人俨然成为了智能家居行业的代表产品。在扫地机器人的产品领域当中，合理、准确的路线规划和导航，对于清洁效果能够起到决定性作用。

在现有技术中，扫地机器人的路线规划和导航通常是基于“全屋清洁”模式。也就是，根据全空间设计清扫路线并完成清扫。但是在一些场景下，用户则只需要针对特定的局部区域，或者特定的目标物进行清洁。目前的产品中并无相应的解决方案。

发明内容

本发明提供一种针对目标物的清扫方法、装置、可读介质及电子设备，通过建立语义地图，实现针对目标物的导航，从而完成针对目标物的清扫。

第一方面，本发明提供了一种针对目标物的清扫方法，包括：

根据控制指令确定目标空间内的目标物；

在语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径；

控制所述智能设备移动到所述目标物的位置，并对所述目标物进行清扫。

优选地，在语义地图中确定所述目标物的位置信息之前，还包括：

利用图像采集模组获取所述目标空间的三维图像；

根据所述三维图像，和预先确定的所述目标空间的空间地图，确定所述目标空间对应的语义地图。

优选地，所述图像采集模组包括，结构光组件和摄像头；则所述利用图像采集模组获取所述目标空间的三维图像包括：

利用所述结构光组件获取所述目标物的结构光坐标；

利用所述摄像头拍摄所述目标空间的待测图像；

通过预设的图像分析模型，在待测图像中确定所述目标物的类型和像素坐标；

根据所述目标物的类型、结构光坐标和像素坐标，确定所述三维图像。

优选地，所述对所述目标物进行清扫包括：

根据所述目标物的类型确定相应的清扫策略，根据所述清扫策略对所述目标物进行清扫。

优选地，所述根据所述三维图像，和预先确定的所述目标空间的空间地图，确定目标空间对应的语义地图包括：

根据所述三维图像中所述目标物的结构光坐标，确定所述目标物在所述空间地图中的空间坐标；

根据所述目标物的空间坐标，确定所述语义地图。

优选地，在所述语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径包括：

在所述语义地图中确定所述目标物的空间坐标，以作为所述目标物的位置信息；

根据所述智能设备的当前位置以及所述目标物的位置信息，确定所述智能设备的导航路径。

优选地，所述根据所述智能设备的当前位置以及所述目标物的位置信息，确定所述智能设备的导航路径还包括：

利用所述摄像头获取地面图像，根据所述地面图像判断所述导航路径上是否存在障碍物；

当所述导航路径上存在障碍物，根据所述障碍物的位置信息修正所述导航路径。

优选地，还包括：

确定所述目标空间对应的语义地图之前，预先建立所述目标空间的空间地图。

第二方面，本发明提供了一种针对目标物的清扫装置，包括：

目标物确定模块，用于根据控制指令确定目标空间内的目标物；

导航模块，用于在语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径；

控制模块，用于控制所述智能设备移动到所述目标物的位置，并对所述目标物进行清扫。

第三方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的针对目标物的清扫方法。

第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的针对目标物的清扫方法。

本发明提供了一种针对目标物的清扫方法、装置、可读介质及电子设备，通过三维图像和空间地图确定了语义地图，实现了对于目标物在地图中的定位，为针对目标物的清扫提供了前提条件；根据目标物的位置信息确定了扫地机器人的导航路径，使扫地机器人完成对所述目标物进行清扫；由此使得扫地机器人能够自动针对特定目标物进行清洁。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种针对目标物的清扫方法的流程示意图；

图2为本发明一实施例提供的另一种针对目标物的清扫方法的流程示意图；

图3为本发明一实施例提供的一种针对目标物的清扫装置的结构示意图；

图4为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在现有技术中，扫地机器人的路线规划和导航通常是基于“全屋清洁”模式。也就是，根据全空间设计清扫路线并完成清扫。但是在一些场景下，用户则只需要针对特定的局部区域，或者特定的目标物进行清洁。例如当用户在餐桌区域就餐之后，可能只需要对此区域进行局部清洁，其他区域则不需要一同清扫。目前的产品中，可以通过遥控，或者手动的将扫地机器人放置于该区域，然后令其清洁附近范围。不过显然的是，上述方式在操作上十分不便，没有实现自动化。目前的产品中，并无自动针对特定目标物进行清洁的解决方案。

因此，本发明提供一种针对目标物的清扫方法及装置，通过建立语义地图，实现针对目标物的导航，从而完成针对目标物的清扫。

参见图1所示，为本发明提供的针对目标物的清扫方法的具体实施例。本实施例中，所述方法具体包括以下步骤：

步骤101、根据控制指令确定目标空间内的目标物。

在本实施例中，目标空间可以只扫地机器人所处的物理空间，具体可以是某个室内空间。目标物清扫所针对的对象，其本质上是目标空间中特定的物体，如桌子、椅子、沙发、地毯等；目标物亦可指代物体关联的某些空间范围，例如地毯铺设的范围、餐桌下方的空当范围、或者沙发周边范围等等。上述空间范围以物体为核心而形成，并且可被扫地机器人进行清扫。

在用户需要进行特定的局部清扫时，首先需要输入对应的控制指令，并通过控制指令确定目标空间内的目标物，即清扫的对象。

步骤102、在语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径。

本实施例中所述的语义地图，通常是在空间地图的基础上添加了各种物体的空间位置，从而建立的语义地图。具体来说，可以是全局语义地图(即表明了空间内所有物体位置的语义地图)，也可以是局部语义地图(即表明了空间内部分物体位置的语义地图)。

本实施例中语义地图优选的为局部语义地图，其建立过程在本实施例中可参考如下方式：利用图像采集模组获取所述目标空间的三维图像；根据所述三维图像，和预先确定的所述目标空间的空间地图，确定所述目标空间对应的语义地图。

要针对目标物进行清扫，则必须首先完成对于目标物的定位。为了实现对于目标物的定位，本实施例中将利用扫地机器人通常会配备的图像采集模组获取所述目标空间的三维图像。

具体来说，所述图像采集模组包括结构光组件。结构光组件是一种能够实现光学测距的组件，其原理是发射结构光线，并接收结构光线经物体反射形成的结构光信号，从而探测到物体的距离。目前扫地机器人的防撞和路线导航等功能均与之相关，在此不赘述。

本实施例中，将利用所述结构光组件目标物的结构光坐标。也就是说，本实施例中将通过结构光组件对目标物进行测距，确定其在目标空间内的位置，即确定其结构光坐标。由此根据目标物的结构光坐标确定所述三维图像。三维图像，即明确了目标物与智能设备(即扫地机器人)之间的位置关系。

目标空间的空间地图，是指目标空间在空置(不放置任何物体)情况下的地图。空间地图可以通过SLAM(simultaneous localization and mapping，即同步定位建图)建立，亦可人工绘制，或通过手动输入尺寸参数绘制，本实施例中不做限定。优选的，需要在确定所述目标空间对应的语义地图之前，预先建立所述目标空间的空间地图。

本实施例中将三维图像与空间地图相结合，即实现了在地图层面上“将目标物摆放到空置的目标空间当中”。也就是由此确定了目标空间中目标物的位置信息，得到了语义地图。由此本实施例中实现了对于目标物在地图中的定位，为后续针对目标物的清扫提供了前提条件。

本实施例中，智能设备即是指扫地机器人。在控制指令中指定了特定目标物之后，即可在语义地图中确定出目标物，并获得目标物的位置信息。明确了目标物的位置信息之后，即可根据扫地机器人的当前位置以及目标物的位置进行导航路径的规划。

步骤103、控制所述智能设备移动到所述目标物的位置，并对所述目标物进行清扫。

在确定了导航路径之后，即可根据控制指令使智能设备移动到所述目标物的位置，并对所述目标物进行清扫。由此，本实施例中实现了自动的针对目标物进行清扫。

通过以上技术方案可知，本实施例存在的有益效果是：通过三维图像和空间地图确定了语义地图，实现了对于目标物在地图中的定位，为针对目标物的清扫提供了前提条件；根据目标物的位置信息确定了扫地机器人的导航路径，使扫地机器人完成对所述目标物进行清扫；由此使得扫地机器人能够自动针对特定目标物进行清洁。

图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。

如图2所示，为本发明所述针对目标物的清扫方法的另一个具体实施例。本实施例在前述实施例的基础上，结合优选技术方案进行进一步的叙述。本实施例中，所述方法具体包括以下步骤：

步骤201、根据控制指令确定目标空间内的目标物。

本步骤与上述实施例内容一致，不重复叙述。

步骤202、利用图像采集模组获取所述目标空间的三维图像。

在本步骤中，图像采集模组具体包括结构光组件和摄像头。一方面，本实施例中通上述实施例同样利用所述结构光组件获取目标物的结构光坐标。

另一方面，同时利用所述摄像头拍摄所述目标空间的待测图像；通过预设的图像分析模型，在待测图像中确定目标物的类型和像素坐标。从待测图像中分析确定目标物的过程，可利用预设的图像分析模型实现。通常图像分析模型可基于神经网络技术搭建，当然也可根据需要采用其他技术，本实施例中对此不做限定。图像分析模型需预先针对特定的目标物进行训练。具体的，即以大量的针对目标物进行标注的样本图片作为样本集，并利用样本集对图像分析模型进行训练，使之可以对待测图像进行分析，从而定待测图像中是否包括特定种类的目标物。进一步的，还可以确定目标物的具体位置，即目标物在待测图像中的像素坐标范围。

通过结构光组件确定目标物的结构光坐标，能够得知目标物的位置，即目标物到结构光组件的距离。但仅仅通过结构光无法确定目标物的类型究竟是“桌子”、“柜子”或“床”等。而通过对待测图像进行分析，能够确定目标物的类型。并通过像素坐标和结构光坐标间的相互印证，确定目标物的类型和位置信息。也就是说，本实施例中可以根据目标物的类型、结构光坐标和像素坐标，确定所述三维图像。

步骤203、根据所述三维图像中所述目标物的结构光坐标，确定所述目标物在所述空间地图中的空间坐标。

在确定了三维图像之后，可以将三维图像中目标物的结构光坐标转换到空间地图所在的坐标系中，得到目标物的空间坐标。上述的坐标转换过程为本领域的常规手段，在此不赘述。

步骤204、根据所述目标物的空间坐标，确定所述语义地图。

在确定了目标物的空间坐标之后，即完成了“将目标物摆放到空置的目标空间当中”，得到语义地图，并确定了目标物在语义地图中的位置信息。

步骤205、根据所述目标物的类型确定相应的清扫策略。

根据控制指令可以确定出目标物，并且本实施例中同时能够确定出目标物的类型。针对不同类型目标物的特定，可以设置相对应的清扫策略，以实现更理想的清扫效果。例如，例如对于饭桌，其周围油污通常较多，因此清洗时可以开启强力拖地去污策略；对于书桌附近，其周围通常不会有油污，因此清洗时可以开启强力吸尘策略；对于衣柜附近，通常不会有油污，且灰尘较少，因此清洗时可以开启普通吸尘策略。

步骤206、在所述语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径。

本实施例中，可在所述语义地图中确定所述目标物的空间坐标，以作为所述目标物的位置信息。进而，可以根据所述智能设备的当前位置以及所述目标物的位置信息，确定所述智能设备的导航路径。

步骤207、利用所述摄像头获取地面图像，根据所述地面图像判断所述导航路径上是否存在障碍物。

步骤208、当所述导航路径上存在障碍物，根据所述障碍物的位置信息修正所述导航路径。

在实际情况下，由于目标空间中往往并非只有目标物一个物体，还可能存在更多其他的物体。一些其他物体处于步骤206中确定的导航路径上形成阻碍，即为障碍物。因此扫地机器人在移动到目标物的位置时，可能无法做到“两点一线”的直接移动。

在本实施例中，语义地图为局部语义地图，只包括了目标物的位置信息，而不包括其他物体的位置信息。所以在一些存在障碍物的场景当中，步骤206中确定的导航路径，并不能够排除障碍物的阻碍和影响。此时便需要通过其他优选的技术方案排除障碍物的影响，规划出能够绕过障碍物到达位置的路径。

所以在步骤207～步骤208中，将利用所述摄像头获取地面图像，根据所述地面图像进行图像分析，判断所述导航路径上是否存在障碍物。当导航路径上不存在障碍物，即可按照导航路径继续移动。反之若导航路径上存在障碍物，则需要进一步的修改导航路径，以便于规避障碍物，顺利到达目标物位置。

当所述导航路径上存在障碍物，则可利用结构光组件确定障碍物的位置信息。进一步的还可以通过图像确定障碍物的类型，以便于根据类型确定规避障碍物的方案，为“绕行”或者“下方通过”。然后根据所述障碍物的位置信息，以及障碍物的类型和规避方案，即可修正所述导航路径。根据修正后的导航路径重新控制智能设备向目标物的位置移动，避免障碍物的影响。

步骤209、控制所述智能设备移动到所述目标物的位置，根据所述清扫策略对所述目标物进行清扫。

扫地机器人到达目标物的位置处，即可按照设定的清扫策略进行清扫，以实现针对目标物的清洁。

通过以上技术方案可知，本实施例在图1所示实施例的基础上，进一步存在的有益效果是：通过待测图像确定目标物的类型，从而针对设置清扫策略，提高了清扫效果；通过根据障碍物的位置进一步修正导航路径，使智能设备能够绕过其他目标物到达目标物位置，提高了导航的准确性。

如图3所示，为本发明所述针对目标物的清扫装置的一个具体实施例。本实施例所述装置，即用于执行图1～2所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：

目标物确定模块301，用于根据控制指令确定目标空间内的目标物。

导航模块302，用于在语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径。

控制模块303，用于控制所述智能设备移动到所述目标物的位置，并对所述目标物进行清扫。

另外在图3所示实施例的基础上，优选地，还包括：

三维图像确定模块304，用于利用图像采集模组获取所述目标空间的三维图像。

语义地图确定模块305，用于根据所述三维图像，和预先确定的所述目标空间的空间地图，确定所述目标空间对应的语义地图。

所述图像采集模组包括，结构光组件和摄像头；则所述三维图像确定模块304包括：

结构光坐标获取单元341，用于利用所述结构光组件获取所述目标物的结构光坐标。

待测图像获取单元342，用于利用所述摄像头拍摄所述目标空间的待测图像。

图像分析单元343，通过预设的图像分析模型，在待测图像中确定所述目标物的类型和像素坐标。

三维图像确定单元344，用于根据所述目标物的类型、结构光坐标和像素坐标，确定所述三维图像。

所述语义地图确定模块305包括：

空间坐标确定单元351，用于根据所述目标物的结构光坐标，确定所述目标物在所述空间地图中的空间坐标。

语义地图确定单元352，用于根据所述目标物的空间坐标，确定所述语义地图。

所述导航模块302包括：

位置信息确定单元321，用于在所述语义地图中确定所述目标物的空间坐标，以作为所述目标物的位置信息。

路径规划单元322，用于根据所述智能设备的当前位置以及所述目标物的位置信息，确定所述智能设备的导航路径。

路径修正单元323，用于利用所述摄像头获取地面图像，根据所述地面图像判断所述导航路径上是否存在障碍物；并在所述导航路径上存在障碍物时，根据所述障碍物的位置信息修正所述导航路径。

所述控制模块303包括：

类型确定单元331，用于确定所述目标物的类型。

策略确定单元332，用于根据所述目标物的类型确定相应的清扫策略。

清扫控制单元333，用于根据所述清扫策略对所述目标物进行清扫。

优选的，还包括：

绘图模块306，用于在确定所述目标空间对应的语义地图之前，预先建立所述目标空间的空间地图。

图4是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成针对目标物的清扫装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的针对目标物的清扫方法。

上述如本发明图3所示实施例提供的针对目标物的清扫装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本发明任一实施例中提供的针对目标物的清扫方法，并具体用于执行如图1或图2所示的方法。

前述各个实施例中所述的电子设备可以为计算机。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种针对目标物的清扫方法，其特征在于，包括：

根据控制指令确定目标空间内的目标物；

2.根据权利要求1所述方法，其特征在于，在语义地图中确定所述目标物的位置信息之前，还包括：

利用图像采集模组获取所述目标空间的三维图像；

3.根据权利要求2所述方法，其特征在于，所述图像采集模组包括，结构光组件和摄像头；则所述利用图像采集模组获取所述目标空间的三维图像包括：

利用所述结构光组件获取所述目标物的结构光坐标；

利用所述摄像头拍摄所述目标空间的待测图像；

4.根据权利要求3所述方法，其特征在于，所述对所述目标物进行清扫包括：

5.根据权利要求3所述方法，其特征在于，所述根据所述三维图像，和预先确定的所述目标空间的空间地图，确定目标空间对应的语义地图包括：

根据所述目标物的空间坐标，确定所述语义地图。

6.根据权利要求5所述方法，其特征在于，在所述语义地图中确定所述目标物的位置信息，并根据所述位置信息确定智能设备的导航路径包括：

7.根据权利要求6所述方法，其特征在于，所述根据所述智能设备的当前位置以及所述目标物的位置信息，确定所述智能设备的导航路径还包括：

8.根据权利要求1-7任意一项所述方法，其特征在于，还包括：

9.一种针对目标物的清扫装置，其特征在于，包括：

10.一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如权利要求1至8中任一权项所述的针对目标物的清扫方法。

11.一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1至8中任一权项所述的针对目标物的清扫方法。