CN111643010A - 清洁机器人控制方法、装置、清洁机器人和存储介质 - Google Patents

Abstract

本申请涉及一种清洁机器人控制方法、装置、清洁机器人和存储介质。所述方法包括：获取待清洁区域对应的待检测图像；调用图像检测模型，根据所述图像检测模型对所述待检测图像进行目标检测，得到所述图像检测模型输出的检测结果；当所述检测结果包括目标对象时，获取所述目标对象对应的轮廓信息；根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；当所述对象类型属于目标类型时，控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。采用本方法能够有效的提高清洁机器人的清洁效率。

Description

清洁机器人控制方法、装置、清洁机器人和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种清洁机器人控制方法、装置、清洁机器人和存储介质。

背景技术

随着科学技术的发展，越来越多的智能产品出现并应用在日常生活中，清洁机器人就是多种智能产品中的一种。清洁机器人又称扫地机器人，能够自动在房间内完成地板清理工作。在传统方式中，清洁机器人通常是在自动移动过程中，采用刷扫和吸尘的方式将地面杂物吸纳进自身的垃圾收纳盒，以此实现地面清洁。

但是，当地面存在体积较大的垃圾时，由于清洁机器人以及垃圾收纳盒大小的限制，清洁机器人无法将垃圾吸纳进垃圾收纳盒中，只能够提示用户人工清理体积较大的垃圾，导致清洁机器人的清洁效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高清洁机器人的清洁效率的清洁机器人控制方法、装置、清洁机器人和存储介质。

一种清洁机器人控制方法，所述方法包括：

获取待清洁区域对应的待检测图像；

调用图像检测模型，根据所述图像检测模型对所述待检测图像进行目标检测，得到所述图像检测模型输出的检测结果；

当所述检测结果包括目标对象时，获取所述目标对象对应的轮廓信息；

根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；

当所述对象类型属于目标类型时，控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。

在其中一个实施例中，所述控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置包括：

获取所述目标对象对应的当前位置，以及与所述对象类型对应的目标位置；

检测所述待清洁区域对应的至少一种地面材质；

根据所述地面材质生成从所述当前位置至所述目标位置的目标移动路线；

控制所述清洁机器人根据所述目标移动路线，将所述目标对象从所述当前位置移动至所述目标位置。

在其中一个实施例中，所述检测所述待清洁区域对应的至少一种地面材质包括：

向所述待清洁区域发射超声波信号；

获取所述待清洁区域返回的超声波反射信号；

解析所述超声波反射信号，得到所述超声波反射信号对应的波宽；

根据所述波宽确定所述待清洁区域所对应的地面材质。

在其中一个实施例中，在所述控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置之后，所述方法还包括：

获取所述目标对象对应的对象移动路线；

根据所述对象移动路线生成目标清洁区域；

根据所述对象类型确定所述目标清洁区域对应的清洁策略，控制所述清洁机器人根据所述清洁策略对所述目标清洁区域进行清洁。

在其中一个实施例中，所述检测结果还包括环境对象，所述方法还包括：

根据所述环境对象生成对象组矩阵；

提取所述对象组矩阵所对应的对象组特征；

根据所述对象组特征进行分类处理，得到所述待清洁区域对应的场景信息；

根据所述场景信息、所述检测结果以及所述轮廓信息确定所述对象类型。

在其中一个实施例中，所述方法还包括：

获取预设时间段内所述待清洁区域对应的多张环境图像；

对所述环境图像进行目标检测，得到所述环境图像中的动态对象，以及所述动态对象对应的对象位置；

根据多张所述环境图像中的所述对象位置，确定所述动态对象对应的行为轨迹；

根据所述行为轨迹生成对象活动区域，控制所述清洁机器人对所述对象活动区域进行清洁。

一种清洁机器人控制装置，所述装置包括：

图像获取模块，用于获取待清洁区域对应的待检测图像；

图像检测模块，用于调用图像检测模型，根据所述图像检测模型对所述待检测图像进行目标检测，得到所述图像检测模型输出的检测结果；

类型确定模块，用于当所述检测结果包括目标对象时，获取所述目标对象对应的轮廓信息；根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；

移动控制模块，用于当所述对象类型属于目标类型时，控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。

在其中一个实施例中，所述移动控制模块还用于获取所述目标对象对应的当前位置，以及与所述对象类型对应的目标位置；检测所述待清洁区域对应的至少一种地面材质；根据所述地面材质生成从所述当前位置至所述目标位置的目标移动路线；控制所述清洁机器人根据所述目标移动路线，将所述目标对象从所述当前位置移动至所述目标位置。

一种清洁机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述清洁机器人控制方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述清洁机器人控制方法的步骤。

上述清洁机器人控制方法、装置、清洁机器人和存储介质，通过获取待清洁区域对应的待检测图像，调用图像检测模型对待检测图像进行目标检测，得到图像检测模型输出的检测结果。当检测结果包括目标对象时，获取目标对象对应的轮廓信息，根据检测结果和轮廓信息确定目标对象对应的对象类型，保证了确定对象类型的准确性。当对象类型属于目标类型时，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置，以此对无法吸入收纳盒的目标对象进行有效清洁，有效的提高了清洁机器人的清洁效率。

附图说明

图1为一个实施例中清洁机器人的结构示意图；

图2为一个实施例中清洁机器人控制方法的流程示意图；

图3为一个实施例中控制清洁机器人将目标对象移动至与对象类型相对应的目标位置的步骤的流程示意图；

图4为另一个实施例中清洁机器人控制方法的流程示意图；

图5为又一个实施例中清洁机器人控制方法的流程示意图；

图6为一个实施例中清洁机器人控制装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的清洁机器人控制方法，可以应用于如图1所示的清洁机器人中。如图1所示，清洁机器人100可以包括但不限于传感器102、控制器104以及执行组件106。控制器104可以根据该清洁机器人控制方法，控制清洁机器人执行对应的操作。清洁机器人100在移动或者进行清洁的过程中，获取传感器102采集的待清洁区域对应的待检测图像，调用图像检测模型，根据图像检测模型对待检测图像进行目标检测，得到图像检测模型输出的检测结果。当驾车呢结果包括目标对象时，获取目标对象对应的轮廓信息，根据检测结果和轮廓信息确定目标对象对应的对象类型。当对象类型属于目标对象时，清洁机器人100将目标对象移动至与对象类型相对应的目标位置。其中，传感器102是设置在清洁机器人中的传感设备，具体可以包括但不限于视觉传感器、激光传感器、超声波传感器、摄像机以及深度相机等。控制器104具体可以包括但不限于中央处理器(CPU，central processing unit)、存储器以及控制电路等。执行组件106具体可以包括但不限于移动组件以及清洁组件等。

在一个实施例中，如图2所示，提供了一种清洁机器人控制方法，以该方法应用于图1中的清洁机器人100为例进行说明，包括以下步骤：

步骤202，获取待清洁区域对应的待检测图像。

待清洁区域是指清洁机器人进行清洁工作所需要清洁的区域，待清洁区域可以与清洁机器人所处的环境相对应的。例如，当清洁机器人应用于用户房屋中时，待清洁区域可以是用户房屋对应的区域范围。其中，用户是指清洁机器人的所有者或者使用者。在其中一个实施例中，用户可以对房屋进行分区。待清洁区域可以是房屋中的部分区域，也可以是整个房屋区域。

待清洁区域可以是清洁机器人视觉范围内的需要清洁区域。例如，清洁机器人可以在清洁过程中，采集清洁方向的视觉范围内的区域图像，得到待清洁区域对应的待检测图像。待清洁区域具体还可以是完整的需要清洁的区域。例如，清洁机器人在通过清洁组件进行清洁之前，可以在待清洁区域内移动，从而采集完整的待清洁区域对应的待检测图像。

在其中一个实施例中，清洁机器人可以获取完整的待清洁区域对应的待检测图像，将整个待清洁区域中对象类型属于目标类型的目标对象移动至与对象类型相对应的目标位置之后，再对待清洁区域进行清洁，从而避免移动目标对象的过程中对已清洁的区域造成污染，有效的提高了清洁机器人的清洁效率。

待检测图像是指用于检测待清洁区域是否包括目标对象的图像数据。清洁机器人可以通过设置的传感器采集待检测区域对应的待检测图像。当用于采集待检测图像的传感器对应的传感器类型不同时，通过传感器采集的待检测图像的图像类型也可以是不同的。举例说明，传感器可以包括摄像头。清洁机器人可以在清洁过程中，通过摄像头采集视觉范围内的视频数据。清洁机器人可以从视频数据中提取图像帧作为待检测图像。清洁机器人也可以通过摄像头直接采集视觉范围内的图像数据作为待检测图像。

清洁机器人用于采集待检测图像的传感器还可以是激光传感器，根据激光传感器采集的待检测图像具体可以是点云图像。具体的，清洁机器人可以通过激光传感器向待清洁区域发射探测信号。探测信号具体可以是激光束等。清洁机器人可以接收待清洁区域中的地面或者物体等反射回的信号，将反射回的信号与探测信号进行比对，得到待清洁区域对应的点云数据。清洁机器人可以对点云数据进行数据清理、点云分割以及点云投影等处理，得到待清洁区域对应的点云图像。

步骤204，调用图像检测模型，根据图像检测模型对待检测图像进行目标检测，得到图像检测模型输出的检测结果。

图像检测模型可以是预先建立并且经过训练后配置在清洁机器人中的，以便清洁机器人调用图像检测模型进行目标检测。图像检测模型是基于目标检测算法建立的目标检测模型，用于对待检测图像进行目标检测。其中，目标检测算法具体可以是YOLO、Faster-RCNN、CornerNet、MobileNet或者SSD(Single Shot Multi Box Detector)等多种目标检测算法中的任意一种或者多种的组合。多种可以表示两种或者两种以上。

清洁机器人可以调用图像检测模型，将待检测图像输入至图像检测模型，根据图像检测模型对待检测图像进行目标检测，得到图像检测模型输出的检测结果。根据不同目标检测算法建立的图像检测模型，所对应的具体检测过程是不同的。例如，图像检测模型具体可以根据待检测图像生成多个候选框，每个候选框所框出的图像内容是不同的。清洁机器人可以对候选框中的图像进行分类，根据NMS(Non-Maximum Suppression，非极大值抑制)对多个候选框进行筛选，输出待检测图像对应的检测结果。清洁机器人还可以根据图像检测模型将待检测图像进行特征提取后，对待检测图像对应的图像特征进行分类和回归处理，得到待检测图像对应的检测结果。

图像检测模型输出的检测结果可以包括从待检测图像中检测出的对象，以及对象的描述信息。对象可以是待检测图像中的前景物体，描述信息可以包括物体对应的物体名称以及物体位置等信息。图像检测模型输出的检测结果可以是待检测图像以及对应的多个检测框，每个检测框对应一种物体。其中，检测框具体可以是矩形框。例如，待检测图像中检测出的对象具体可以包括但不限于需要清洁的垃圾，以及不需要清洁的茶几、沙发、凳子、电视柜或者桌子等。

步骤206，当检测结果包括目标对象时，获取目标对象对应的轮廓信息。

清洁机器人可以获取图像检测模型输出的检测结果，判断检测结果中是否包括目标对象。目标对象是指清洁机器人需要对其进行清洁的物体，目标对象具体可以是待清洁区域中需要进行清洁的垃圾。当清洁机器人通过待检测图像检测出待检测区域内包括目标对象时，清洁机器人可以获取目标对象对应的轮廓信息。在其中一个实施例中，当检测结果不包括目标对象时，清洁机器人可以确定待清洁区域内不存在需要清洁的垃圾，清洁机器人可以按照预先的清洁策略继续对待清洁区域进行清洁。

当检测结果包括目标对象时，清洁机器人可以通过激光传感器获取目标对象对应的轮廓信息。具体的，激光传感器包括发射组件和接收组件。当确定待清洁区域中包括目标对象时，清洁机器人可以根据检测结果中的检测框坐标确定目标对象对应的对象位置，通过发射组件向目标对象发射激光束。发射组件可以发射多个方向的激光束。例如，发射组件可以水平发射激光束，也可以让激光束与水平面之间存在夹角，从而获取竖直方向上的信息。在其中一个实施例中，激光传感器可以包括多个发射组件，不同发射组件所发射的激光角度之间可以是相同的，也可以是不同的。

清洁机器人可以通过接收组件接收由目标对象返回的激光信号，通过激光传感器获取目标对象对应的轮廓信息。在其中一个实施例中，清洁机器人还可以通过移动，获取目标对象在多个角度分别对应的轮廓信息。轮廓信息具体可以包括目标对象对应的体积以及轮廓形状等。清洁机器人通过图像检测确定待清洁区域包括目标对象时，才调用激光传感器针对性的检测目标对象对应的轮廓信息，不需要激光传感器持续工作，避免采集不必要的环境信息，有效的节省了清洁机器人的运行资源。

步骤208，根据检测结果和轮廓信息确定目标对象对应的对象类型。

清洁机器人可以根据待检测图像对应的检测结果，以及检测到的目标对象对应的轮廓信息，确定目标对象对应的对象类型。具体的，对象类型可以包括目标对象在多个分类维度各自对应的分类类型。例如，根据对象体积维度进行分类，可以包括能够吸入垃圾收纳盒的垃圾和不能够吸入垃圾收纳盒的垃圾。根据垃圾分类标准进行分类，可以包括可回收垃圾、厨余垃圾、有害垃圾以及其它垃圾等。

清洁机器人通过图像检测模型对目标对象进行分类检测，可以得到目标对象对应多种物体的置信度。置信度可以用于表示目标对象为对应物体的可能性，置信度可以通过小数或者百分数等形式表示。检测结果可以包括目标对象对应的多种物体的置信度。例如，图像检测模型可以将目标对象对应的多个置信度进行排序，从大到小确定预设数量的置信度作为检测结果输出。预设数量可以是根据实际需求预先设置的整数。例如，预设数量可以设置为5个。图像检测模型还可以将多个置信度与预设阈值进行比对，确定大于或者等于预设阈值的置信度作为检测结果输出。预设阈值可以是根据实际需求预先设置的，比如预设阈值可以设置为50％。

清洁机器人可以根据目标对象对应的轮廓信息对检测结果中的置信度进行调整，结合轮廓信息和检测结果确定目标对象对应的对象类型。例如，当目标对象为牛奶盒时，清洁机器人可以确定目标对象属于不能够吸入垃圾收纳盒的可回收垃圾。当目标对象为泥沙时，清洁机器人可以确定目标对象属于能够吸入垃圾收纳盒的其他垃圾。目标对象相较于其本身形状可能会发生形变，导致根据图像检测得到的检测结果存在误差，通过结合目标对象对应的轮廓信息和检测结果，能够更加准确的确定目标对象对应的对象类型，有效的提高了识别目标对象的对象类型的准确性。

步骤210，当对象类型属于目标类型时，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置。

目标类型是指清洁机器人不能够吸入垃圾收纳盒的垃圾类型。当对象类型属于目标类型时，可以获取与对象类型相对应的目标位置，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置。其中，与对象类型对应的目标位置可以是用户预先设置的，目标位置可以是预设的与对象类型一一对应的位置。例如，可回收垃圾、厨余垃圾、有害垃圾以及其它垃圾可以分别对应设置不同的摆放位置。清洁机器人可以将目标对象移动至与对象类型相对应的目标位置。例如，当检测到目标对象为发生形变的牛奶盒或者易拉罐时，确定目标对象对应的对象类型为不能够吸入垃圾收纳盒的可回收垃圾，清洁机器人可以将发生形变的牛奶盒或者易拉罐推至预先设置的目标位置，有助于清洁机器人对应的用户对同一对象类型的目标对象进行统一分类处理。

在其中一个实施例中，当清洁机器人无法将目标对象移动至对应的目标位置时，例如，当目标对象的重量较大时，清洁机器人可以获取目标对象对应的当前位置，将目标对象对应的对象类型、当前位置等信息发送孩子清洁机器人对应的用户终端，以此提示用户对目标对象进行清理。

在其中一个实施例中，当对象类型不属于目标类型时，清洁机器人可以根据与对象类型对应的清洁策略，对目标对象进行清洁处理。例如，当目标对象为泥沙时，清洁机器人可以将泥沙吸入垃圾收纳盒中。

在本实施例中，通过获取待清洁区域对应的待检测图像，调用图像检测模型对待检测图像进行目标检测，通过基于清洁机器人视觉的图像检测，得到待检测图像对应的检测结果。当检测结果包括目标对象时，获取目标对象对应的轮廓信息，不需要激光传感器进行不必要的检测，节省了清洁机器人的运行资源。通过检测结果和轮廓信息确定目标对象对应的对象类型，避免因目标对象发生形变导致确定对象类型时产生误差，提高了确定对象类型的准确性。当对象类型属于目标类型时，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置，相较于传统方式，不需要人工逐一清理分布在多个位置的目标对象，用户可以在目标位置对目标对象进行统一清理，有效的提高了清洁机器人的清洁效率。

在一个实施例中，图像检测模型可以是通过训练数据对建立的标准检测模型进行训练后得到的。为了节省清洁机器人的运算资源，图像检测模型的训练可以是由清洁机器人对应的服务器进行的，服务器将训练得到的图像检测模型配置在清洁机器人中。其中，服务器可以用独立的服务器或者多个服务器组成的服务器集群来实现。

具体的，标准检测模型可以是基于深度学习网络MobileNet V1(efficientconvolutional neural networks for mobile vision application，用于移动视觉应用的高效卷积神经网络)建立的TFLite(TensorFlow Lite，一种用于设备端推断的开源深度学习框架)类型的模型，标准检测模型也可以是基于其他深度学习网络建立的。例如，标准检测模型具体可以基于VGG、ResNet(Residual Neural Network，残差神经网络)、RetinaNet、CornerNet-lite、YOLO或者SSD等网络建立。在其中一个实施例中，标准检测模型具体还可以是基于MobileNet-SSD算法建立的模型。MobileNet-SSD算法是通过MobileNet进行图像特征提取，用SSD框架来完成对象框检测的目标检测算法，通过深度可分离卷积提取图像特征，有效的提高了卷积网络的计算效率。

训练数据可以是模型训练人员根据实际训练需求收集的图像数据，也可以是训练数据库中的图像数据。例如，用于模型训练的图像数据具体可以是TensorFlow(一个开放源代码的数据库)中包括需要识别的对象的图像数据。需要识别的对象包括清洁机器人所处环境中的物体对象，可以包括沙发、茶几、餐桌、电视柜以及地面上的垃圾等，垃圾具体可以包括纸团、面巾纸、泥沙、布条、牛奶盒以及易拉罐等。获取到用于训练的图像数据之后，可以将图像数据转化为TFRecord(一种二进制数据格式)格式数据，将TFRecord格式数据作为训练数据输入标准检测模型进行模型训练。在其中一个实施例中，用于对标准检测模型进行训练的数据具体可以包括训练数据、验证数据以及测试数据。

根据训练图像可以对标准检测模型进行循环训练，直到训练收敛，得到训练后的图像检测模型。例如，可以采用Fine-Tune(模型微调)的方式进行迁移学习，训练预设数量个Epoch(每个Epoch表示使用全部训练数据训练一次)，比如3万个Epoch，将检测模型的损失值(loss)降低至预设值时，确定训练收敛。其中，预设值可以是根据实际需求预先设置的参数值，比如预设值可以设置为0.2。训练结束之后，可以通过模型转化算法对训练收敛的标准检测模型进行转化，将标准检测模型转化为能够在清洁机器人中运行，以此对传感器采集的环境图像进行检测的预设格式的图像检测模型。例如，图像检测模型具体可以是TFLite类型的检测模型。

在本实施例中，根据目标检测算法建立标准检测模型，通过与待清洁区域的检测需求相对应的训练图像对标准检测模型进行训练，将训练后的图像检测模型转化后配置在清洁机器人中，便于清洁机器人调用图像检测模型对待检测图像进行目标检测，有利于清洁机器人基于视觉准确的检测待清洁区域内包括的物体对象。

在一个实施例中，如图3所示，上述控制清洁机器人将目标对象移动至与对象类型相对应的目标位置的步骤包括：

步骤302，获取目标对象对应的当前位置，以及与对象类型对应的目标位置。

步骤304，检测待清洁区域对应的至少一种地面材质。

步骤306，根据地面材质生成从当前位置至目标位置的目标移动路线。

步骤308，控制清洁机器人根据目标移动路线，将目标对象从当前位置移动至目标位置。

清洁机器人可以获取目标对象对应的当前位置，以及与对象类型对应的目标位置，从而将目标对象从当前位置移动至目标位置。具体的，清洁机器人可以通过多种方式获取目标对象对应的当前位置。清洁机器人可以移动至目标对象处，确定清洁机器人自身所处的位置作为目标对象对应的当前位置。清洁机器人还可以获取检测结果中包括的环境对象，环境对象是指清洁机器人所处环境中的静态对象，环境对象通常是不经常移动的物体。例如，环境对象具体可以包括但不限于茶几、桌子、沙发、电视、以及电视柜等物体。清洁机器人可以获取环境对象对应的环境对象位置，根据待检测图像中目标对象与环境对象之间的相对位置关系，以及环境对象对应的环境对象位置，确定目标对象所对应的当前位置。

在其中一个实施例中，目标对象对应的当前位置以及目标位置具体可以是清洁环境地图中的位置坐标。清洁环境地图是指清洁机器人需要进行清洁的区域地图。例如，清洁环境地图可以是用户房屋对应的房屋平面图。清洁机器人可以在首次进行清洁时，或者根据用户进行的地图生成操作，探测当前所处的周围环境，根据采集到的环境信息生成清洁环境地图。

清洁机器人可以检测待清洁区域对应的地面材质，待清洁区域对应的地面可以包括一种或者多种地面材质。例如，待清洁区域对应的地面具体可以包括地毯、瓷砖、木地板以及水泥地等中的至少一种。清洁机器人可以通过对待检测图像进行图像检测确定待清洁区域的地面材质，也可以获取用户预先配置的地面材质信息，还可以通过超声波传感器确定待清洁区域对应地面的地面材质。

不同材质的地面与目标对象之间的摩擦系数是不一样的。对应的，清洁机器人在不同材质的地面上移动目标对象的难易程度也是不同的。例如，当目标对象为牛奶盒时，在瓷砖地上移动牛奶盒相较于在地毯上移动牛奶盒的难度较低。清洁机器人可以根据待清洁区域对应的地面材质，根据目标对象对应的对象类型生成目标移动路线，该目标移动路线从目标对象对应的当前位置指向对象类型对应的目标位置。目标移动路线是综合了移动距离以及移动难度的路线。例如，当目标对象为容易留下残留物的物体，且最短路线需要经过地毯区域时，清洁机器人可以增加部分移动距离，绕开待清洁区域中的地毯区域，以免在地毯上留下残留物。清洁机器人可以根据生成的目标移动路线，将目标对象从当前位置移动至目标位置。

在本实施例中，通过获取目标对象对应的当前位置和目标位置，检测待清洁区域对应的地面材质，根据地面材质生成从当前位置指向目标位置的目标移动路线，目标移动路线综合考虑了清洁机器人的移动距离和移动难度。清洁机器人根据目标移动路线将目标对象从当前位置移动至目标位置，不需要用户人工清理多个位置的垃圾，便于在目标位置进行统一处理，增加了清洁机器人对于属于目标类型的目标对象的清洁方式，有效的提高了清洁机器人的清洁效率。

在一个实施例中，上述检测待清洁区域对应的至少一种地面材质的步骤包括：向待清洁区域发射超声波信号；获取待清洁区域返回的超声波反射信号；解析超声波反射信号，得到超声波反射信号对应的波宽；根据波宽确定待清洁区域所对应的地面材质。

清洁机器人上可以设置有超声波传感器，清洁机器人可以调用超声波传感器对待清洁区域的地面进行检测，得到待清洁区域对应地面的地面材质。为了便于描述，将清洁机器人检测的地面记作待测地面。具体的，清洁机器人可以控制超声波传感器根据预设角度向待测地面发出超声波信号。预设角度可以是根据实际需求预先设置的超声波发射角度。例如，超声波传感器可以以垂直的角度向待测地面发射超声波信号，超声波信号的方向与待测地面垂直。

待测地面接收到超声波信号后，会反射超声波信号。超声波传感器可以接收待测地面反射回的超声波信号，将待测地面返回的信号记作超声波反射信号。其中，当超声波传感器发射的超声波信号为周期性信号时，超声波传感器接收到的超声波反射信号也是周期性信号。

清洁机器人可以对超声波传感器接收到的超声波反射信号进行解析，得到超声波反射信号对应的波宽。具体的，超声波传感器接收到的超声波反射信号为模拟信号，清洁机器人可以对超声波反射信号进行模数转换，将模拟信号的超声波反射信号转换为对应的数字信号。清洁机器人可以分析数字信号的时域的回波能量，根据回波能量的能量覆盖范围确定数字信号的波宽。回波能量的能量覆盖范围通常与数字信号的波宽呈正向线性相关。清洁机器人可以根据超声波反射信号对应的波宽确定待测地面对应的地面材质。

超声波反射信号对应的波宽与地面材质之间存在一一对应的映射关系，波宽与地面材质之间的映射关系可以是预先配置在清洁机器人中的。例如，当地面材质为瓷砖地面等硬质地面时，地面所反射的超声波反射信号较强，对应的波宽较大。当地面材质为地毯或者泡沫等软质地面时，对超声波信号具有一定的吸波作用，因此反射的超声波反射信号较弱，对应的波宽较小。清洁机器人可以根据映射关系，确定与波宽对应的待清洁区域所对应的地面材质。

在本实施例中，通过超声波传感器向待清洁区域发射超声波信号，获取待清洁区域返回的超声波反射信号，通过解析超声波反射信号对应的波宽，从而准确的根据波宽确定待清洁区域所对应的地面材质，有效的提高了检测地面材质的准确性，准确的检测出地面材质有利于清洁机器人生成更加合理的目标移动路线。

在一个实施例中，在上述控制清洁机器人将目标对象移动至与对象类型相对应的目标位置的步骤之后，上述方法还包括：获取目标对象对应的对象移动路线；根据对象移动路线生成目标清洁区域；根据对象类型确定目标清洁区域对应的清洁策略，控制清洁机器人根据清洁策略对目标清洁区域进行清洁。

清洁机器人在将目标对象移动至目标位置的过程中，可以记录实际的移动路线。清洁机器人可以将实际移动目标对象的路线记作对象移动路线，对象移动路线可以表示清洁机器人实际移动目标对象的过程。清洁机器人可以根据对象移动路线生成目标清洁区域。

具体的，清洁机器人可以对对象移动路线进行扩展，将对象移动路线横向扩展预设的扩展距离，得到与对象移动路线相对应的目标清洁区域。其中，扩展距离可以是根据实际应用需求预先设置的距离长度。例如，扩展距离具体可以设置为20厘米。清洁机器人可以基于对象移动路线中的多个位置，垂直于对象移动路线的移动方向左右横向分别扩展20厘米，得到对象移动路线对应的区域，即清洁机器人位于该扩展区域内移动目标对象。清洁机器人可以确定扩展出的区域作为需要清洁的目标清洁区域。

清洁机器人可以根据目标对象对应的对象类型，确定目标清洁区域对应的清洁策略，根据清洁策略控制清洁机器人对目标清洁区域进行清洁。清洁策略是指预先为清洁机器人设置的清洁规则，清洁机器人可以包括多种不同的清洁策略，以此适应不同类型的清洁区域。清洁策略具体可以包括清洁机器人进行的清洁时间、清洁模式、清洁次数以及清洁频率等。对于不同对象类型的目标对象，在移动过程中产生的污染程度是不一致的。例如，对于牛奶盒和易拉罐等目标对象，在移动过程中可能会在目标清洁区域内洒落液体，需要对采用拖擦等清洁模式对目标清洁区域进行多次清洁。而对于纸团等目标对象，在移动过程中可能产生的污染程度较低，可以采用刷扫模型对目标清洁区域进行一次清洁。可以根据对象类型确定对应的清洁策略，控制清洁机器人根据与对象类型相对应的清洁策略对目标清洁区域进行针对性的清洁。

在本实施例中，通过获取目标对象对应的对象移动路线，根据对象移动路线生成目标清洁区域，根据对象类型确定目标清洁区域对应的清洁策略，根据清洁策略对目标清洁区域进行清洁，将移动目标对象的过程中对目标清洁区域可能造成的脏污进行针对性的清洁，有效的提高了清洁机器人的清洁效果。

在一个实施例中，如图4所示，检测结果还包括环境对象，上述方法还包括：

步骤402，根据环境对象生成对象组矩阵。

步骤404，提取对象组矩阵所对应的对象组特征。

步骤406，根据对象组特征进行分类处理，得到待清洁区域对应的场景信息。

步骤408，根据场景信息、检测结果以及轮廓信息确定对象类型。

图像检测模型输出的检测结果中，除了包括目标对象，还包括与目标对象对应的环境对象。环境对象与待清洁区域对应的场景存在关联关系，清洁机器人可以根据环境对象确定待清洁区域所对应的场景信息。场景信息可以包括待清洁区域对应的场景类型，例如，待检测图像中的待清洁区域具体可以对应房屋中的客厅、卫生间、阳台、厨房、饭厅或者卧室等场景类型。当环境对象包括浴缸时，清洁机器人可以根据关联关系确定待清洁区域对应的场景类型为卫生间。

具体的，清洁机器人可以将检测出的环境对象进行组合，得到多个对象组，每个对象组可以包括一个或者多个环境对象。当对象组包括两个或者两个以上环境对象时，有利于更加准确的表达环境对象与场景类型之间的关系。清洁机器人可以将生成的多个对象组按照矩阵队形排列，生成对象组矩阵。并且，对生成的对象组矩阵进行特征提取，得到对象组矩阵所对应的对象组特征。

清洁机器人可以根据对象组特征，对待检测图像对应的待清洁区域进行分类处理，得到待清洁区域对应的场景信息。具体的，清洁机器人可以通过预先设置的分类器对对象组特征进行分类处理，得到待清洁区域对应的场景信息。其中，分类器具体可以包括但不限于SVM(Residual Network，支持向量机)、DT(Decision Tree，决策树)或者NBM(NaiveBayesian Model，朴素贝叶斯模型)等。清洁机器人还可以将对象组特征输入分类网络，通过分类网络对对象组特征进行分类得到场景信息。其中，分类网络具体可以是全连接网络，全连接网络可以有一层或者多层。

待清洁区域对应的场景信息可以表示对应目标对象在该场景中出现的可能性。例如，在卫生间中出现易拉罐的可能性较低，而在厨房或者客厅出现易拉罐的可能性较高。清洁机器人可以通过待清洁区域对应的场景信息对目标对象所属类型的权重进行调整，综合考虑待清洁区域对应的场景信息、待检测图像对应的检测结果以及目标对象对应的轮廓信息，以此确定目标对象所对应的对象类型。

在本实施例中，根据检测结果中包括的环境对象生成对象组矩阵，提取对象组矩阵所对应的对象组特征，通过对象组特征能够更加准确的反映环境对象与场景信息之间的关联关系。通过对象组特征进行分类处理，得到待清洁区域对应的场景信息，根据场景信息、检测结果以及轮廓信息确定目标对象对应的对象类型，避免因目标对象发生形变而导致确定的对象类型出现误差，有效的提高了确定对象类型的准确性。

在一个实施例中，如图5所示，上述方法还包括：

步骤502，获取预设时间段内待清洁区域对应的多张环境图像。

步骤504，对环境图像进行目标检测，得到环境图像中的动态对象，以及动态对象对应的对象位置。

步骤506，根据多张环境图像中的对象位置，确定动态对象对应的行为轨迹。

步骤508，根据行为轨迹生成对象活动区域，控制清洁机器人对对象活动区域进行清洁。

环境图像是指清洁机器人所在的周围环境的图像数据。待检测图像也可以属于环境图像。环境图像可以是预设时间段内的图像数据，预设时间段可以是根据实际应用需求设置的，用于检测对象活动范围的时间长度。例如，预设时间段可以设置为两周、一个月、三个月或者半年等。在其中一个实施例中，清洁机器人可以对传感器采集到的环境图像进行缓存，以便于清洁机器人从缓存数据中读取多张环境图像。

清洁机器人可以调用图像检测模型，通过图像检测模型对多张环境图像分别进行目标检测，得到环境图像中的动态对象。在其中一个实施例中，一些环境图像中可以不包括动态对象。动态对象是指清洁机器人周围环境中能够自行移动的对象。例如，动态对象可以是待清洁区域中的宠物，具体可以包括宠物猫、宠物狗以及宠物兔等。对象位置是指对应环境图像中动态对象在环境中的位置。在不同的环境图像中，动态对象所对应的对象位置可以是相同的，也可以是不同的。

在其中一个实施例中，清洁机器人可以获取周围环境对应的环境信息，环境信息可以是预先配置在清洁机器人中的，也可以是清洁机器人在工作过程中自动探测所处的周围环境得到的。环境信息具体可以包括但不限于清洁机器人所处环境的清洁环境地图、周围环境中包括的环境对象，以及环境对象对应的环境对象位置等信息。环境对象位置可以是环境对象在清洁环境地图中的位置坐标。清洁机器人可以根据环境图像中动态对象与环境对象之间的相对位置关系，以及环境对象对应的环境对象位置，确定动态对象所对应的对象位置。

清洁机器人可以根据多张环境对象中的对象位置，确定动态对象对应的行为轨迹。具体的，清洁机器人可以将动态对象在多张环境图像各自对应的对象位置映射到清洁环境地图中，得到动态对象在多个环境图像采集时间分别所在的环境地图坐标。清洁机器人可以根据多张环境图像所对应采集时间的先后顺序，将动态对象对应的多个环境地图坐标进行连接，根据环境图像坐标拟合行为轨迹，得到动态对象对应的行为轨迹。

清洁机器人可以根据行为轨迹确定动态对象对应的对象活动区域，对对象活动区域进行针对性的清洁。具体的，清洁机器人可以获取与动态对象对应的对象清洁策略，对象清洁策略具体可以包括但不限于对对象活动区域的清洁方式、清洁频率、清洁力度以及清洁时间等。不同的动态对象所对应的对象清洁策略可以是不同的。根据动态对象对应的对象清洁策略，控制清洁机器人对对象活动区域进行对应的清洁。

在其中一个实施例中，清洁机器人可以获取动态对象对应的动态对象类型，动态对象类型可以包括动态对象对应的具体品种。例如，动态对象类型具体可以包括阿拉斯加犬、金毛犬、萨摩耶犬、德国牧羊犬、秋田犬、柯基犬以及法国斗牛犬等。清洁机器人可以获取与对象类型对应的对象行为特征，对象行为特征可以是根据对应对象类型的多个动态对象行为信息进行大数据分析得到的，不同对象类型对应的对象行为特征可以是不同的。清洁机器人可以根据对象类型对应的对象行为特征，对行为轨迹对应的活动区域进行扩大调整，将调整后的活动区域记作动态对象对应的对象活动区域。根据对象行为特征调整后的对象活动区域能够更加准确的表示动态对象的实际活动和有可能活动的区域范围，有效的提高了确定对象活动区域的准确性。

在本实施例中，通过获取预设时间段内待清洁区域对应的多张环境图像，对环境图像进行目标检测，得到环境图像中的动态对象，以及动态对象对应的对象位置，以此基于清洁机器人视觉准确的检测出动态对象和对象位置。根据多张环境图像中的对象位置，确定动态对象对应的行为轨迹，根据行为轨迹确定动态对象所对应的对象活动区域，控制清洁机器人对对象活动区域进行清洁，从而准确、有效的对动态对象对应的对象活动区域进行针对性的清洁，有效的提高了清洁机器人的清洁效率。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种清洁机器人控制装置，包括：图像获取模块602、图像检测模块604、类型确定模块606和移动控制模块608，其中：

图像获取模块602，用于获取待清洁区域对应的待检测图像。

图像检测模块604，用于调用图像检测模型，根据图像检测模型对待检测图像进行目标检测，得到图像检测模型输出的检测结果。

类型确定模块606，用于当检测结果包括目标对象时，获取目标对象对应的轮廓信息；根据检测结果和轮廓信息确定目标对象对应的对象类型。

移动控制模块608，用于当对象类型属于目标类型时，控制清洁机器人将目标对象移动至与对象类型相对应的目标位置。

在一个实施例中，上述移动控制模块还用于获取目标对象对应的当前位置，以及与对象类型对应的目标位置；检测待清洁区域对应的至少一种地面材质；根据地面材质生成从当前位置至目标位置的目标移动路线；控制清洁机器人根据目标移动路线，将目标对象从当前位置移动至目标位置。

在一个实施例中，上述移动控制模块还用于向待清洁区域发射超声波信号；获取待清洁区域返回的超声波反射信号；解析超声波反射信号，得到超声波反射信号对应的波宽；根据波宽确定待清洁区域所对应的地面材质。

在一个实施例中，上述清洁机器人控制装置还包括清洁控制模块，用于获取目标对象对应的对象移动路线；根据对象移动路线生成目标清洁区域；根据对象类型确定目标清洁区域对应的清洁策略，控制清洁机器人根据清洁策略对目标清洁区域进行清洁。

在一个实施例中，检测结果还包括环境对象，上述类型确定模块606还用于根据环境对象生成对象组矩阵；提取对象组矩阵所对应的对象组特征；根据对象组特征进行分类处理，得到待清洁区域对应的场景信息；根据场景信息、检测结果以及轮廓信息确定对象类型。

在一个实施例中，上述清洁控制模块还用于获取预设时间段内待清洁区域对应的多张环境图像；对环境图像进行目标检测，得到环境图像中的动态对象，以及动态对象对应的对象位置；根据多张环境图像中的对象位置，确定动态对象对应的行为轨迹；根据行为轨迹生成对象活动区域，控制清洁机器人对对象活动区域进行清洁。

关于清洁机器人控制装置的具体限定可以参见上文中对于清洁机器人控制方法的限定，在此不再赘述。上述清洁机器人控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于清洁机器人中的处理器中，也可以以软件形式存储于清洁机器人中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是清洁机器人。该清洁机器人包括通过系统总线连接的处理器、存储器、通信接口、显示屏、传感器、执行组件和输入装置。其中，该清洁机器人的处理器用于提供计算和控制能力。该清洁机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该清洁机器人的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种清洁机器人控制方法。该清洁机器人的显示屏可以是液晶显示屏或者电子墨水显示屏，该清洁机器人的输入装置可以是显示屏上覆盖的触摸层，也可以是清洁机器人外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，提供了一种清洁机器人，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述清洁机器人方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述清洁机器人方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种清洁机器人控制方法，所述方法包括：

获取待清洁区域对应的待检测图像；

调用图像检测模型，根据所述图像检测模型对所述待检测图像进行目标检测，得到所述图像检测模型输出的检测结果；

当所述检测结果包括目标对象时，获取所述目标对象对应的轮廓信息；

根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；

当所述对象类型属于目标类型时，控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。

2.根据权利要求1所述的方法，其特征在于，所述控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置包括：

获取所述目标对象对应的当前位置，以及与所述对象类型对应的目标位置；

检测所述待清洁区域对应的至少一种地面材质；

根据所述地面材质生成从所述当前位置至所述目标位置的目标移动路线；

控制所述清洁机器人根据所述目标移动路线，将所述目标对象从所述当前位置移动至所述目标位置。

3.根据权利要求2所述的方法，其特征在于，所述检测所述待清洁区域对应的至少一种地面材质包括：

向所述待清洁区域发射超声波信号；

获取所述待清洁区域返回的超声波反射信号；

解析所述超声波反射信号，得到所述超声波反射信号对应的波宽；

根据所述波宽确定所述待清洁区域所对应的地面材质。

4.根据权利要求1所述的方法，其特征在于，在所述控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置之后，所述方法还包括：

获取所述目标对象对应的对象移动路线；

根据所述对象移动路线生成目标清洁区域；

根据所述对象类型确定所述目标清洁区域对应的清洁策略，控制所述清洁机器人根据所述清洁策略对所述目标清洁区域进行清洁。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述检测结果还包括环境对象，所述方法还包括：

根据所述环境对象生成对象组矩阵；

提取所述对象组矩阵所对应的对象组特征；

根据所述对象组特征进行分类处理，得到所述待清洁区域对应的场景信息；

根据所述场景信息、所述检测结果以及所述轮廓信息确定所述对象类型。

6.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

获取预设时间段内所述待清洁区域对应的多张环境图像；

对所述环境图像进行目标检测，得到所述环境图像中的动态对象，以及所述动态对象对应的对象位置；

根据多张所述环境图像中的所述对象位置，确定所述动态对象对应的行为轨迹；

根据所述行为轨迹生成对象活动区域，控制所述清洁机器人对所述对象活动区域进行清洁。

7.一种清洁机器人控制装置，其特征在于，所述装置包括：

图像获取模块，用于获取待清洁区域对应的待检测图像；

图像检测模块，用于调用图像检测模型，根据所述图像检测模型对所述待检测图像进行目标检测，得到所述图像检测模型输出的检测结果；

类型确定模块，用于当所述检测结果包括目标对象时，获取所述目标对象对应的轮廓信息；根据所述检测结果和所述轮廓信息确定所述目标对象对应的对象类型；

移动控制模块，用于当所述对象类型属于目标类型时，控制清洁机器人将所述目标对象移动至与所述对象类型相对应的目标位置。

8.根据权利要求7所述的装置，其特征在于，所述移动控制模块还用于获取所述目标对象对应的当前位置，以及与所述对象类型对应的目标位置；检测所述待清洁区域对应的至少一种地面材质；根据所述地面材质生成从所述当前位置至所述目标位置的目标移动路线；控制所述清洁机器人根据所述目标移动路线，将所述目标对象从所述当前位置移动至所述目标位置。

9.一种清洁机器人，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images