CN115933685A - 一种巡检清洁方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种巡检清洁方法、装置、设备及存储介质。该方法包括：对待清洁区域进行路径规划，确定机器人的初始清洁路径；采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据，并将图像数据输入至预训练的脏污垃圾检测模型中，确定当前感知区域内的待清洁对象；其中，脏污垃圾检测模型为多任务检测网络模型；根据机器人的当前清洁任务和待清洁对象，确定目标待清洁对象，控制机器人对目标待清洁对象执行当前清洁任务。本发明实施例的技术方案，通过多任务检测类型的脏污垃圾检测模型对待清洁对象进行确定，使得机器人仅需对待清洁区域中的待清洁对象进行清洁，而无需进行全路径清洁，提高了清洁针对性，提高了清洁效率。

Description

一种巡检清洁方法、装置、设备及存储介质

技术领域

本发明涉及机器人技术领域，尤其涉及一种巡检清洁方法、装置、设备及存储介质。

背景技术

随着自动化技术和人工智能的迅速发展，机器人被广泛应用在各种场景。以清洁场景为例，清洁机器人可以通过无人驾驶技术完成简单重复的清洁任务，大大降低人力成本，实现清洁工作的自动化。

传统的机器人在进行巡检清洁时，一般按照预先规划的导航地图进行行驶，并在行驶过程中对地面进行全覆盖清洁。然而针对一些复杂的清洁场景，如商场写字楼等，其中存在较多的移动障碍物，会导致执行清洁任务的效率降低，且该类型场景往往不会出现较大范围的脏污区域，往往是由于人为原因，使某些区域出现脏污覆盖或垃圾堆积。全覆盖式清洁的效率较低，且难以适应机器人在清洁过程中的任务需求，可能导致机器人的损坏或被清洁区域的地面损伤，影响清洁效果。

发明内容

本发明提供了一种巡检清洁方法、装置、设备及存储介质，实现了对待清洁区域内需清洁对象进行识别和划分，增强了巡检清洁的目的性，提升了机器人的巡检清洁效率。

根据本发明的一方面，提供了一种巡检清洁方法，该方法包括：

对待清洁区域进行路径规划，确定机器人的初始清洁路径；

采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据，并将图像数据输入至预训练的脏污垃圾检测模型中，确定当前感知区域内的待清洁对象；其中，脏污垃圾检测模型为多任务检测网络模型；

根据机器人的当前清洁任务和待清洁对象，确定目标待清洁对象，控制机器人对目标待清洁对象执行当前清洁任务。

根据本发明的另一方面，提供了一种巡检清洁装置，该装置包括：

路径确定模块，用于对待清洁区域进行路径规划，确定机器人的初始清洁路径；

清洁对象确定模块，用于采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据，并将图像数据输入至预训练的脏污垃圾检测模型中，确定当前感知区域内的待清洁对象；其中，脏污垃圾检测模型为多任务检测网络模型；

任务执行模块，用于根据机器人的当前清洁任务和待清洁对象，确定目标待清洁对象，控制机器人对目标待清洁对象执行当前清洁任务。

根据本发明的另一方面，提供了一种巡检清洁设备，该巡检清洁设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行如上述任一实施例所提供的巡检清洁方法。

根据本发明的另一方面，提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如上述任一实施例的巡检清洁方法。

本发明公开了一种巡检清洁方法、装置、设备及存储介质，通过对待清洁区域进行路径规划，确定机器人的初始清洁路径；采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据，并将图像数据输入至预训练的脏污垃圾检测模型中，确定当前感知区域内的待清洁对象；其中，脏污垃圾检测模型为多任务检测网络模型；根据机器人的当前清洁任务和待清洁对象，确定目标待清洁对象，控制机器人对目标待清洁对象执行当前清洁任务。本发明提供的技术方案，通过将机器人沿预先规划的初始清洁路径行驶时，采集到的当前感知区域内的图像数据输入至预先训练的脏污垃圾检测模型中，进行待清洁对象的检测，由于脏污垃圾检测模型为多任务检测网络模型，故可对输入图像数据所属类型进行划分，进而可依据机器人的当前清洁任务，由待清洁对象中选择在当前时刻需要进行清洁的目标待清洁对象，并控制机器人对目标待清洁对象执行当前清洁任务，完成针对性的清洁。通过多任务检测类型的脏污垃圾检测模型对待清洁对象进行确定，使得机器人依据当前清洁任务和待清洁对象确定出的目标待清洁对象，更符合机器人在执行当前清洁任务时的清洁需求，且使得机器人仅需对待清洁区域中的待清洁对象进行清洁，而无需进行全路径清洁，提高了清洁针对性，提高了清洁效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种巡检清洁方法的流程示意图；

图2是本发明实施例提供的另一种巡检清洁方法的流程示意图；

图3是本发明实施例提供的一种脏污垃圾检测模型的结构示例图；

图4是本发明实施例提供的一种巡检清洁装置的结构示意图；

图5是本发明实施例提供的一种巡检清洁设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例提供的一种巡检清洁方法的流程示意图，该方法可适用于机器人对复杂场景进行针对性清洁的情况，该方法可以由巡检清洁装置来执行，该巡检清洁装置可以采用硬件和/或软件的形式实现，该巡检清洁装置可配置于电子设备中，该电子设备可为具有清洁功能的机器人，本发明实施例对此不进行限制。

如图1所示，本发明实施例提供的一种巡检清洁方法，具体包括如下步骤：

S101、对待清洁区域进行路径规划，确定机器人的初始清洁路径。

在本实施例中，待清洁区域具体可理解为机器人所处的当前场景中，需要进行清洁的区域，本发明实施例中对待清洁区域的形状和大小均不进行限制。初始清洁路径具体可理解为可使得机器人对待清洁区域进行全覆盖清洁的路径。需要明确的是，本发明实施例中可使用任意路径规划方式实现对待清洁区域初始清洁路径的规划，如可采用距离最优方式、最小代价方式等对待清洁区域进行全覆盖式路径规划，或可根据待清洁区域中预先设置的多个观测点，规划机器人的初始清洁路径，本发明宿舍楼对路径规划的具体方式不进行限制。

具体的，在机器人针对待清洁区域执行清洁任务之前，首先可依据待清洁区域中的障碍分布情况，以及机器人的可清洁宽度等信息进行路径规划，得到可供机器人完成对待清洁区域全覆盖式清洁的初始清洁路径。

需要明确的是，初始清洁路径为全覆盖式清洁路径的目的为，保证机器人沿初始清洁路径行驶时刻完成对待清洁区域中各部分环境信息的采集，而不至于遗漏，不代表机器人需在初始清洁路径上行驶的每一时刻均执行清洁任务。

S102、采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据，并将图像数据输入至预训练的脏污垃圾检测模型中，确定当前感知区域内的待清洁对象。

其中，脏污垃圾检测模型为多任务检测网络模型。

在本实施例中，当前感知区域具体可理解为设置于机器人上的图像采集装置，在机器人所处当前位置可以获取图像数据的区域。可选的，图像采集装置可为设置于机器人上的摄像头等，本发明实施例对此不进行限制。脏污垃圾检测模型具体可理解为用于对输入其中的图像数据，通过语义分割和目标检测等方式，对图像数据中可能表示脏污和垃圾的数据进行标定的神经网络模型。多任务检测网络模型具体可理解为采用多任务学习(multitask learning)思想，将两种不同神经网络模型可实现功能合并至一个神经网络模型中训练实现的神经网络模型。待清洁对象具体可理解为当前感知区域内，需要机器人进行清洁的对象。

具体的，机器人在明确初始清洁路径后，开始沿初始清洁路径行驶，并在行驶过程中实时通过设置于其上的图像采集装置进行图像数据的采集，将机器人在当前位置上图像采集装置可获取图像数据的区域确定为当前感知区域，则可认为当前感知区域对应的图像数据可反应在该区域范围内的脏污垃圾存在情况，此时将图像数据输入至预先训练完成的脏污垃圾检测模型中，以实现对图像数据中可能存在的需要被清洁的对象进行识别和类型划分，确定出当前感知区域中存在的待清洁对象。

在本发明实施例中，通过预训练一个多任务检测类型的脏污垃圾检测模型，对图像数据中的待清洁对象进行分类识别，避免了需要将图像数据分别输入进行脏污检测和垃圾检测模型中所增加的数据处理量，将脏污与垃圾的检测放到同一个神经网络模型中实现，提升了检测速度，且由于在同一个神经网络模型中可实现数据共享，使得针对待清洁对象的识别精度得以提升，提升了清洁效果。

S103、根据机器人的当前清洁任务和待清洁对象，确定目标待清洁对象，控制机器人对目标待清洁对象执行当前清洁任务。

在本实施例中，当前清洁任务具体可理解为机器人在当前时刻所处的清洁模式，和清洁模式所包含清洁策略及可清洁对象的信息集合。示例性的，在机器人的当前清洁任务为洗地模式，则其无法对体积较大的垃圾进行清洁，而应对垃圾等体积较大的待清洁对象进行绕行，若强行进行清洁会导致吸风堵塞等问题，故机器人在该模式对应的当前清洁任务下，需对待清洁对象进行筛选，以避免清洁任务执行过程中出现机器损坏等问题。目标待清洁对象具体可理解为当前感知区域内与机器人的当前情节任务相对应的，应优先被清洁的对象。

具体的，根据机器人的当前清洁任务，明确在当前感知区域内的多个待清洁对象中可被清洁的对象，并将其中优先级最高、紧急程度最高或清洁代价最优的对象确定为机器人在执行当前清洁任务时需要首先清洁的目标清洁对象。在明确目标清洁对象后，规划机器人与目标清洁对象间的路径，并使得机器人可沿规划好的路径行驶至目标清洁对象处，对目标清洁对象执行当前清洁任务。

本发明实施例的技术方案，通过对待清洁区域进行路径规划，确定机器人的初始清洁路径；采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据，并将图像数据输入至预训练的脏污垃圾检测模型中，确定当前感知区域内的待清洁对象；其中，脏污垃圾检测模型为多任务检测网络模型；根据机器人的当前清洁任务和待清洁对象，确定目标待清洁对象，控制机器人对目标待清洁对象执行当前清洁任务。本发明提供的技术方案，通过将机器人沿预先规划的初始清洁路径行驶时，采集到的当前感知区域内的图像数据输入至预先训练的脏污垃圾检测模型中，进行待清洁对象的检测，由于脏污垃圾检测模型为多任务检测网络模型，故可对输入图像数据所属类型进行划分，进而可依据机器人的当前清洁任务，由待清洁对象中选择在当前时刻需要进行清洁的目标待清洁对象，并控制机器人对目标待清洁对象执行当前清洁任务，完成针对性的清洁。通过多任务检测类型的脏污垃圾检测模型对待清洁对象进行确定，使得机器人依据当前清洁任务和待清洁对象确定出的目标待清洁对象，更符合机器人在执行当前清洁任务时的清洁需求，且使得机器人仅需对待清洁区域中的待清洁对象进行清洁，而无需进行全路径清洁，提高了清洁针对性，提高了清洁效率。

图2为本发明实施例提供的另一种巡检清洁方法的流程示意图，本实施例在上述实施例的基础上进一步优化，如图2所示，具体包括如下步骤：

S201、对待清洁区域进行路径规划，确定机器人的初始清洁路径。

S202、采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据。

进一步地，本发明实施例对脏污垃圾检测模型的构成进行限定，其中，预训练的脏污垃圾检测模型包括特征提取层、多尺度特征融合层和脏污垃圾检测层，脏污垃圾检测层包括脏污分割子层和垃圾检测子层。图3为本发明实施例提供的一种脏污垃圾检测模型的结构示例图，如图3所示，脏污垃圾检测模型1包括特征提取层11、多尺度特征融合层12和脏污垃圾检测层13，其中，脏污垃圾检测层13可分为脏污分割子层131和垃圾检测子层132。

在本实施例中，特征提取层11具体可理解为用于对输入其中的图像数据进行特征提取，以得到不同尺度的图像特征的神经网络层。可选的，脏污垃圾检测模型1中的特征提取层11可采用深度残差网络结构，以有效解决梯度消失的问题，提升特征提取准确性。多尺度特征融合层12具体可理解为用于对输入其中的不同尺度图像特征进行融合的神经网络层，考大学的，脏污垃圾检测模型1中的多尺度特征融合层12可采用特征金字塔网络结构。脏污垃圾检测层13具体可理解为用于对输入其中的图像特征数据进行特征分类和提取，对其中是否包含垃圾及脏污进行检测识别的神经网络层，需要明确的是，垃圾检测和脏污检测在实际训练过程中为两种采用不同检测方式的任务，采用同一模型训练方式对其训练难以达到针对二者均较好的识别效果，故本发明实施例中采用多任务检测类型的神经网络模型来训练得到脏污垃圾检测模型，分别训练用于进行脏污检测识别的脏污分割子层131，和用于进行垃圾检测识别的垃圾检测子层132，以降低训练难度，提升训练效果。可选的，脏污分割子层131可为用于实现语义分割的神经网络层，垃圾检测子层132可为用于实现目标检测的神经网络层。

进一步地，在将图像数据输入至预训练的脏污垃圾检测模型之前，还包括：

通过图像样本数据，以及已标注待清洁对象和待清洁对象的清洁类型的图像样本数据，采用梯度归一化方法对初始脏污垃圾检测模型进行训练，得到脏污垃圾检测模型；其中，通过标注清洁类型为脏污类型的图像样本数据训练脏污分割子层；通过标注清洁类型为垃圾类型的图像样本数据训练垃圾检测子层。

在本实施例中，图像样本数据具体可理解为用于对脏污垃圾检测模型进行训练的数据，可选的，图像样本数据可为一段历史时间内采集到的实际图像数据，也可为由大数据筛选得到的满足脏污垃圾检测模型训练需求的图像数据，本发明实施例对此不进行限制。初始脏污垃圾检测模型具体可理解为未对各神经网络层中权重进行调整的多任务检测网络模型。

具体的，在将机器人投入使用前，根据预先获取的满足实际需求的图像样本数据完成对脏污垃圾检测模型的训练，图像样本数据中应包括存在脏污的图像数据、存在垃圾的图像数据以及不存在脏污和垃圾的图像数据等，在通过图像样本数据对脏污垃圾检测模型进行训练前，还需根据实际情况完成对图像样本数据中待清洁对象的清洁类型的标注，其中清洁类型即为待清洁对象为脏污类型或是垃圾类型，可选的，可通过最小边框法对图像样本数据中垃圾类型的图像数据进行标注，并通过标签方式对图像样本数据职工脏污类型的图像数据进行标注。将图像样本数据和与图像样本数据对应的标注信息输入至初始脏污垃圾检测模型中进行训练，在训练过程中，通过所有图像样本数据训练特征提取层和多尺度特征融合层，再通过标注清洁类型为脏污类型的图像样本数据训练脏污分割子层，通过标注清洁类型为垃圾类型的图像样本数据训练垃圾检测子层，可通过梯度归一化的方法完成对脏污垃圾检测模型的训练，以在训练过程中根据每个任务的训练进度和梯度大小，对权重进行动态调整，降低了多任务检测类型模型的训练难度，提升了训练所得脏污垃圾检测模型的检测识别精度。

进一步地，在得到脏污垃圾检测模型之后，还包括：对脏污垃圾检测模型进行量化压缩处理，得到中间脏污垃圾检测模型；将进行量化感知训练后的中间脏污垃圾检测模型，确定为新的脏污垃圾检测模型。

具体的，在训练收敛得到脏污垃圾检测模型之后，为进一步提高模型的推理性能，可对脏污垃圾检测模型进行量化压缩处理，将脏污垃圾检测模型由原始的浮点数模型变成整数型模型，使得精度由FP32精度变为INT8精度，得到中间脏污垃圾检测模型，理论上中间脏污垃圾检测模型的推理速度可达到原始脏污垃圾检测模型的四倍。然而，量化压缩处理将影响模型的识别性能，在完成量化压缩后，需对中间脏污垃圾检测模型进行量化感知训练(Quantization Aware Training)，以降低由量化压缩带来的噪声，并将训练完毕后的中间脏污垃圾检测模型确定为新的脏污垃圾检测模型，以用于机器人的巡检清洁。

可选的，可将训练完毕的脏污垃圾检测模型设置于用于控制机器人的平台上，也可设置于用于执行清洁任务的机器人本身，本发明实施例中对此不进行限制。

S203、将图像数据输入至预训练的脏污垃圾检测模型的特征提取层中，得到多尺度特征数据。

具体的，将由机器人对当前感知区域采集的图像数据输入至训练完毕可投入使用的脏污垃圾检测模型中，在输入后将首先经过模型中的特征提取层对图像数据中不同尺度的特征信息进行提取，得到与图像数据对应的多尺度特征数据。

S204、通过多尺度特征融合层对多尺度特征数据进行特征融合，确定融合特征数据。

具体的，为提升脏污垃圾检测模型对小目标的识别检测能力，特征提取层将提取得到的多尺度特征数据输入至多尺度特征融合层，通过多尺度特征融合层将多尺度特征数据进行融合，并将融合后既具有对大目标识别能力，又包含小目标特征信息的数据确定为融合特征数据。

S205、将融合特征数据分别输入脏污分割子层和垃圾检测子层，确定当前感知区域内清洁类型为脏污类型的待清洁对象，和清洁类型为垃圾类型的待清洁对象。

在本实施例中，清洁类型具体可理解为待清洁对象所属的物理类型，其与机器人的清洁模式或清洁任务间存在对应关系，机器人在不同清洁模式或执行不同清洁任务时刻进行清洁的清洁类型不同。

具体的，为实现对图像数据中不同类型待清洁对象的分类和识别，多尺度特征融合层将得到的融合特征数据分别输入至脏污分割子层和垃圾检测子层中，完成对同一图像数据中不同清洁类型的待清洁对象检测，将由脏污分给子层确定出待清洁对象的清洁类型确定为脏污类型，将由垃圾检测子层确定出待清洁对象的清洁类型确定为垃圾类型。

S206、根据机器人的当前清洁任务确定当前清洁类型。

在本实施例中，当前清洁类型具体可理解为机器人在执行当前清洁任务时可进行清洁的对象的清洁类型。

具体的，由于机器人在执行不同清洁任务时可进行清洁对象的清洁类型不同，故在已知机器人的当前清洁任务的情况下，即可将与当前清洁任务所对应的清洁类型确定为当前清洁类型。示例性的，假如机器人的当前清洁任务为洗地，则在执行该清洁任务时可对平面的脏污进行清洁，但无法对占地较大的立体垃圾进行清洁，而需对垃圾进行避障操作，故可将与洗地对应的当前清洁类型确定为脏污类型；而假如机器人的当前清洁任务为清扫，则可认为在执行该清洁任务时可对垃圾及其他具有一定体积的待清洁对象进行清洁，此时可将与清扫对应的当前清洁类型确定为脏污类型和垃圾类型；清洁任务与清洁类型的对应关系可根据实际情况进行预先设置，本发明实施例对此不进行限制。

S207、将各待清洁对象中清洁类型与当前清洁类型相同，且与机器人的当前位置最近的待清洁对象，确定为目标待清洁对象。

具体的，将当前感知区域中的各待清洁对象的清洁类型与当前清洁类型进行比对，其中与当前清洁类型相同的待清洁对象可认为是机器人在执行当前清洁任务时需要进行清洁的清洁对象，为降低清洁成本，将上述确定出的待清洁对象中与机器人所在当前位置最接近的待清洁对象，确定为机器人需要优先进行清洁的目标待清洁对象。

S208、根据机器人的当前位置和目标待清洁对象的目标位置，确定目标行驶路径。

具体的，在通过脏污垃圾检测模型对待清洁对象进行检测时，可明确待清洁对象在当前感知区域内的位置信息，进而可将该位置信息投影至用于对机器人进行路径规划的地图中，明确各待清洁对象在待清洁区域对应地图中的位置。将目标待清洁对象在地图中的位置确定为目标位置，在已明确机器人的当前位置的情况下，可根据二者及地图上的障碍物分布情况进行路径规划，得到机器人可行驶至目标位置的目标行驶路径。可选的，目标行驶路径的规划可依据距离最短原则或代价最小原则，本发明实施例对此不进行限制。

S209、控制机器人按照目标行驶路径执行当前清洁任务。

具体的，在明确机器人的目标行驶路径后，可将该目标行驶路径发送至机器人的运动控制模块和软件控制模块，使得机器人可被控制沿目标行驶路径行驶至目标待清洁对象处，并对目标待清洁对象执行当前清洁任务。

进一步地，在控制机器人对目标待清洁对象执行当前清洁任务之后，还包括：根据当前清洁任务执行情况更新待清洁区域，并返回执行对待清洁区域进行路径规划，确定机器人的初始清洁路径的步骤。

具体的，在控制机器人对目标待清洁对象执行当前清洁任务之后，可认为机器人仅完成了对目标待清洁对象的清洁，并未完整对待清洁区域执行完毕当前清洁任务，为保证清洁的全面性和高效性，可依据当前清洁任务的执行情况对待清洁区域进行更新，也即将已完成清洁的不存在当前清洁任务对应待清洁对象的区域进行去除，得到更新后的待清洁区域，并返回执行步骤S201，以再次对待清洁区域进行路径规划及巡检清洁，由于该路径规划为以机器人当前所在位置为起点进行的，降低了机器人的行进成本，提升了清洁效率。

进一步地，在控制机器人对目标待清洁对象执行当前清洁任务之后，还包括：控制机器人返回初始清洁路径中采集图像数据的位置，并继续执行采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据的步骤。

具体的，在控制机器人对目标待清洁对象执行当前清洁任务之后，可认为机器人仅完成了对目标待清洁对象的清洁，并未完整对待清洁区域执行完毕当前清洁任务，为保证清洁的全面性和高效性，可控制机器人沿其行驶至目标待清洁对象位置的目标行驶路径，返回至初始清洁路径中采集图像数据的位置，并以该位置为起始，继续执行步骤S202。通过该方法实现对待清洁区域中剩余区域的清洁，无需进行多次路径规划，降低了数据处理量。

进一步地，若待清洁区域中包括至少一个预设观察点，则本发明实施例中的对待清洁区域进行路径规划，可理解为规划机器人在待清洁区域中的各预设观察点间进行行驶的路径，预设观察点具体可理解为预先设置于待清洁区域内的，供机器人进行图像数据采集的点。此时，在控制机器人对目标待清洁对象执行当前清洁任务之后，还包括：将与机器人距离最近的观察点确定为目标观察点；控制机器人行驶至目标观察点，并在机器人到达目标观察点时，返回执行采集当前感知区域对应的图像数据的步骤。

具体的，在待清洁区域中存在至少一个预设观察点，且机器人已完成对目标待清洁对象的清洁后，为保证清洁的完整性和高效性，可由待清洁区域对应的地图中，选择与机器人所在当前位置距离最近的预设观察点作为目标观察点，并规划机器人由当前位置前往目标观察点的路径，以控制机器人行驶至目标观察点处继续对待清洁区域中的图像数据进行采集，此时返回执行步骤S202，实现机器人对待清洁区域中剩余部分的清洁，保证了巡检清洁的完整性。

本发明实施例的技术方案，明确了脏污垃圾检测模型的构架以及训练方法，通过训练得到稳定性和准确性更高的脏污垃圾检测模型，实现了通过同一模型对不同清洁类型的待清洁对象识别，提升了识别精度，基于机器人当前清洁任务的不同选择不同清洁类型的待清洁对象作为目标待清洁对象，保证了任务执行的稳定，同时避免了对大面积待清洁区域的非必要清洁，增加了清洁的目的性。在完成对一个待清洁对象的清洁后，本发明实施例提供了三种不同的路径规划方式实现对待清洁区域中剩余部分的清洁，保证了清洁的完整性，提升了巡检清洁效率。

图4为本发明实施例提供的一种巡检清洁装置的结构示意图，如图4所示，该巡检清洁装置包括：路径确定模块31，清洁对象确定模块32和任务执行模块33。

其中，路径确定模块31，用于对待清洁区域进行路径规划，确定机器人的初始清洁路径；清洁对象确定模块32，用于采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据，并将图像数据输入至预训练的脏污垃圾检测模型中，确定当前感知区域内的待清洁对象；其中，脏污垃圾检测模型为多任务检测网络模型；任务执行模块33，用于根据机器人的当前清洁任务和待清洁对象，确定目标待清洁对象，控制机器人对目标待清洁对象执行当前清洁任务。

本发明实施例的技术方案，通过将机器人沿预先规划的初始清洁路径行驶时，采集到的当前感知区域内的图像数据输入至预先训练的脏污垃圾检测模型中，进行待清洁对象的检测，由于脏污垃圾检测模型为多任务检测网络模型，故可对输入图像数据所属类型进行划分，进而可依据机器人的当前清洁任务，由待清洁对象中选择在当前时刻需要进行清洁的目标待清洁对象，并控制机器人对目标待清洁对象执行当前清洁任务，完成针对性的清洁。通过多任务检测类型的脏污垃圾检测模型对待清洁对象进行确定，使得机器人依据当前清洁任务和待清洁对象确定出的目标待清洁对象，更符合机器人在执行当前清洁任务时的清洁需求，且使得机器人仅需对待清洁区域中的待清洁对象进行清洁，而无需进行全路径清洁，提高了清洁针对性，提高了清洁效率。

可选的，预训练的脏污垃圾检测模型包括特征提取层、多尺度特征融合层和脏污垃圾检测层，其中，脏污垃圾检测层包括脏污分割子层和垃圾检测子层；

可选的，清洁对象确定模块32，包括：

图像数据采集单元，用于采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据；

清洁对象确定单元，用于将图像数据输入至预训练的脏污垃圾检测模型的特征提取层中，得到多尺度特征数据；通过多尺度特征融合层对多尺度特征数据进行特征融合，确定融合特征数据；将融合特征数据分别输入脏污分割子层和垃圾检测子层，确定当前感知区域内清洁类型为脏污类型的待清洁对象，和清洁类型为垃圾类型的待清洁对象。

可选的，任务执行模块33，包括：

目标对象确定单元，用于根据机器人的当前清洁任务确定当前清洁类型；将各待清洁对象中清洁类型与当前清洁类型相同，且与机器人的当前位置最近的待清洁对象，确定为目标待清洁对象。

任务执行单元，用于根据机器人的当前位置和目标待清洁对象的目标位置，确定目标行驶路径；控制机器人按照目标行驶路径执行当前清洁任务。

进一步地，在控制机器人对目标待清洁对象执行当前清洁任务之后，还包括：控制机器人返回初始清洁路径中采集图像数据的位置，并继续执行采集机器人沿初始清洁路径行驶时，当前感知区域对应的图像数据的步骤。

进一步地，在控制机器人对目标待清洁对象执行当前清洁任务之后，还包括：根据当前清洁任务执行情况更新待清洁区域，并返回执行对待清洁区域进行路径规划，确定机器人的初始清洁路径的步骤。

进一步地，在控制机器人对目标待清洁对象执行当前清洁任务之后，还包括：若待清洁区域中包括至少一个预设观察点，则将与机器人距离最近的观察点确定为目标观察点；控制机器人行驶至目标观察点，并在机器人到达目标观察点时，返回执行采集当前感知区域对应的图像数据的步骤。

进一步地，巡检清洁装置，还包括：

模型训练模块，用于在将图像数据输入至预训练的脏污垃圾检测模型之前，通过图像样本数据，以及已标注待清洁对象和待清洁对象的清洁类型的图像样本数据，采用梯度归一化方法对初始脏污垃圾检测模型进行训练，得到脏污垃圾检测模型；其中，通过标注清洁类型为脏污类型的图像样本数据训练脏污分割子层；通过标注清洁类型为垃圾类型的图像样本数据训练垃圾检测子层。

进一步地，巡检清洁装置，还包括：

模型优化模块，用于在得到脏污垃圾检测模型之后，对脏污垃圾检测模型进行量化压缩处理，得到中间脏污垃圾检测模型；将进行量化感知训练后的中间脏污垃圾检测模型，确定为新的脏污垃圾检测模型。

本发明实施例所提供的一种巡检清洁装置可执行本发明任意实施例所提供的巡检清洁方法，具备执行方法相应的功能模块和有益效果。

图5为本发明实施例提供的一种巡检清洁设备的结构示意图。巡检清洁设备40可为电子设备，旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。本发明实施例中，巡检清洁设备40可为具有清洁功能的清洁机器人，该机器人可为小型家用机器人，也可为大型商用机器人，本发明实施例对此不进行限制。

如图5所示，巡检清洁设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储巡检清洁设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

巡检清洁设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许巡检清洁设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如巡检清洁方法。

在一些实施例中，巡检清洁方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到巡检清洁设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的巡检清洁方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行巡检清洁方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种巡检清洁方法，其特征在于，包括：

对待清洁区域进行路径规划，确定机器人的初始清洁路径；

采集所述机器人沿所述初始清洁路径行驶时，当前感知区域对应的图像数据，并将所述图像数据输入至预训练的脏污垃圾检测模型中，确定所述当前感知区域内的待清洁对象；其中，所述脏污垃圾检测模型为多任务检测网络模型；

根据所述机器人的当前清洁任务和所述待清洁对象，确定目标待清洁对象，控制所述机器人对所述目标待清洁对象执行所述当前清洁任务。

2.根据权利要求1所述的方法，其特征在于，所述预训练的脏污垃圾检测模型包括特征提取层、多尺度特征融合层和脏污垃圾检测层，其中，所述脏污垃圾检测层包括脏污分割子层和垃圾检测子层；

所述将所述图像数据输入至预训练的脏污垃圾检测模型中，确定所述当前感知区域内的待清洁对象，包括：

将所述图像数据输入至所述预训练的脏污垃圾检测模型的特征提取层中，得到多尺度特征数据；

通过所述多尺度特征融合层对所述多尺度特征数据进行特征融合，确定融合特征数据；

将所述融合特征数据分别输入所述脏污分割子层和垃圾检测子层，确定所述当前感知区域内清洁类型为脏污类型的待清洁对象，和清洁类型为垃圾类型的待清洁对象。

3.根据权利要求2所述的方法，其特征在于，所述根据所述机器人的当前清洁任务和所述待清洁对象，确定目标待清洁对象，包括：

根据所述机器人的当前清洁任务确定当前清洁类型；

将各所述待清洁对象中清洁类型与所述当前清洁类型相同，且与所述机器人的当前位置最近的待清洁对象，确定为目标待清洁对象。

4.根据权利要求1所述的方法，其特征在于，所述控制所述机器人对所述目标待清洁对象执行所述当前清洁任务，包括：

根据所述机器人的当前位置和所述目标待清洁对象的目标位置，确定目标行驶路径；

控制所述机器人按照所述目标行驶路径执行所述当前清洁任务。

5.根据权利要求1所述的方法，其特征在于，在所述控制所述机器人对所述目标待清洁对象执行所述当前清洁任务之后，还包括：

控制所述机器人返回所述初始清洁路径中采集所述图像数据的位置，并继续执行所述采集所述机器人沿所述初始清洁路径行驶时，当前感知区域对应的图像数据的步骤。

6.根据权利要求1所述的方法，其特征在于，在所述控制所述机器人对所述目标待清洁对象执行所述当前清洁任务之后，还包括：

根据当前清洁任务执行情况更新所述待清洁区域，并返回执行所述对待清洁区域进行路径规划，确定机器人的初始清洁路径的步骤。

7.根据权利要求1所述的方法，其特征在于，在所述控制所述机器人对所述目标待清洁对象执行所述当前清洁任务之后，还包括：

若所述待清洁区域中包括至少一个预设观察点，则将与所述机器人距离最近的观察点确定为目标观察点；

控制所述机器人行驶至所述目标观察点，并在所述机器人到达所述目标观察点时，返回执行采集当前感知区域对应的图像数据的步骤。

8.根据权利要求2所述的方法，其特征在于，在所述将所述图像数据输入至预训练的脏污垃圾检测模型之前，还包括：

通过图像样本数据，以及已标注待清洁对象和待清洁对象的清洁类型的所述图像样本数据，采用梯度归一化方法对初始脏污垃圾检测模型进行训练，得到脏污垃圾检测模型；

其中，通过标注清洁类型为脏污类型的图像样本数据训练所述脏污分割子层；通过标注清洁类型为垃圾类型的图像样本数据训练所述垃圾检测子层。

9.根据权利要求8所述的方法，其特征在于，在所述得到脏污垃圾检测模型之后，还包括：

对所述脏污垃圾检测模型进行量化压缩处理，得到中间脏污垃圾检测模型；

将进行量化感知训练后的所述中间脏污垃圾检测模型，确定为新的脏污垃圾检测模型。

10.一种巡检清洁装置，其特征在于，包括：

路径确定模块，用于对待清洁区域进行路径规划，确定机器人的初始清洁路径；

清洁对象确定模块，用于采集所述机器人沿所述初始清洁路径行驶时，当前感知区域对应的图像数据，并将所述图像数据输入至预训练的脏污垃圾检测模型中，确定所述当前感知区域内的待清洁对象；其中，所述脏污垃圾检测模型为多任务检测网络模型；

任务执行模块，用于根据所述机器人的当前清洁任务和所述待清洁对象，确定目标待清洁对象，控制所述机器人对所述目标待清洁对象执行所述当前清洁任务。

11.一种巡检清洁设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9任一项所述的巡检清洁方法。

12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9任一项所述的巡检清洁方法。

Images