CN114468843B - 清洁设备、系统及其清洁控制方法、装置和介质 - Google Patents

Abstract

本申请提供了一种清洁设备、系统及其清洁控制方法、装置和介质，所述清洁控制方法包括：在获取包括可见光图像数据和红外偏振图像数据的清扫区域图像后，对所述清扫区域图像进行识别，以确定所述清扫区域中污物所在区域及其类别，再根据所述识别的结果，针对不同类别的污物，确定对应的清洁策略，并控制清洁设备根据对应的清洁策略对清扫区域执行清洁任务。因此，所述清洁控制方法可控制清洁设备的清洁更具针对性，清洁效率高且清洁效果佳。

Description

清洁设备、系统及其清洁控制方法、装置和介质

技术领域

本申请涉及智能清洁技术领域，尤其涉及一种清洁设备、系统及其清洁控制方法、装置和介质。

背景技术

近几年，随着人工智能、图像识别技术以及智能机器人技术的快速发展，服务机器人行业发展迅猛。其中清洁机器人是一种专为大型商场、机场大厅、展会大厅和办公室等公共场所开发的服务机器人，它能够协助清洁人员或者独立完成大量且重复的清洁工作，从而减少人力成本。

在目前的应用中，清洁机器人面对复杂环境仍有不够智能化的问题。例如，对于不同的污渍、污垢等都采取同一种清洁策略和洗涤剂，清洁缺乏针对性、清洁效率低、清洁效果差。

发明内容

为解决存在的技术问题，本申请提供了一种清洁有针对性、清洁效率高且清洁效果佳的清洁设备、系统及其清洁控制方法、装置和介质。

一种清洁设备的清洁控制方法，包括：

获取清扫区域图像数据，所述清扫区域图像数据包括针对同一清扫区域的可见光图像数据和红外偏振图像数据；

通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别；

根据所述清扫区域中所述污物的类别，确定所述污物对应的清洁策略；

控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物。

一种清洁设备的清洁控制装置，包括：

图像获取模块，用于获取清扫区域图像数据，所述清扫区域图像数据包括针对同一清扫区域的可见光图像数据和红外偏振图像数据；

识别模块，用于通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别；

决策模块，用于根据所述清扫区域中所述污物的类别，确定所述污物对应的清洁策略；

清洁控制模块，用于控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物。

一种清洁设备，包括存储器和处理器；

所述处理器在运行所述存储器中存储的计算机程序指令时，执行所述的清洁控制方法的步骤。

一种清洁系统，包括图像采集装置、所述清洁控制装置、设备驱动装置；

所述图像采集装置，用于采集清扫区域的可见光图像和红外偏振图像，并发送给所述清洁控制装置；

所述设备驱动装置，用于根据所述清洁控制装置确定的清洁策略，驱动所述清洁设备清洁所述清扫区域。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程指令；

所述计算机程序指令被处理器执行时，实现所述的清洁控制方法的步骤。

由上可见，在本申请提供了一种清洁设备、系统及其清洁控制方法、装置和介质中，所述清洁控制方法包括：在获取包括可见光图像数据和红外偏振图像数据的清扫区域图像后，对所述清扫区域图像进行识别，以确定所述清扫区域中污物所在区域及其类别，再根据所述识别的结果，针对不同类别的污物，确定对应的清洁策略，并控制清洁设备根据对应的清洁策略对清扫区域执行清洁任务。因此，所述清洁控制方法可控制清洁设备的清洁更具针对性，清洁效率高且清洁效果佳。

附图说明

附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参阅符号表示相同的部件。在附图中：

图1为依据本申请一些实施例提供的清洁设备的清洁控制方法的流程示意图；

图2为依据本申请一些实施例提供的清洁设备的清洁控制方法的流程示意图；

图3为依据本申请一些实施例提供的清洁设备的清洁控制方法的流程示意图；

图4为依据本申请一些实施例提供的清洁设备的清洁控制方法中控制清洁设备根据对应的清洁策略清洁清扫区域步骤的流程示意图；

图5为依据本申请一些实施例提供的清洁设备的清洁控制方法中路径规划环节的流程示意图；

图6为依据本申请一些实施例提供的清洁设备的清洁控制方法中清洁环节的流程示意图；

图7为依据本申请一些实施例提供的清洁设备的清洁控制装置；

图8为依据本申请一些实施例提供的清洁设备；

图9为依据本申请一些实施例提供的清洁系统；

图10为依据本申请一些实施例提供的清洁系统的工作流程示意图。

具体实施方式

以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请的实现方式。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

在以下的描述中，涉及到“一些实施例”的表述，其描述了可能实施例的子集，但是应当理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

本申请提供了一种清洁设备、系统及其清洁控制方法、装置和介质。图1为依据本申请一些实施例提供的清洁设备的清洁控制方法的流程示意图；图2为依据本申请一些实施例提供的清洁设备的清洁控制方法的流程示意图；图3为依据本申请一些实施例提供的清洁设备的清洁控制方法的流程示意图；图4为依据本申请一些实施例提供的清洁设备的清洁控制方法中控制清洁设备根据对应的清洁策略清洁清扫区域步骤的流程示意图；图5为依据本申请一些实施例提供的清洁设备的清洁控制方法中路径规划环节的流程示意图；图6为依据本申请一些实施例提供的清洁设备的清洁控制方法中清洁环节的流程示意图；图7为依据本申请一些实施例提供的清洁设备的清洁控制装置；图8为依据本申请一些实施例提供的清洁设备；图9为依据本申请一些实施例提供的清洁系统；图10为依据本申请一些实施例提供的清洁系统的工作流程示意图。下面结合图1至10对本申请提供的清洁设备、系统及其清洁控制方法、装置和介质进行相对具体的描述。

请参阅图1，在一些实施例中，本申请提供的清洁设备的清洁控制方法包括S2、S4、S6及S8。

S2：获取清扫区域图像数据，所述清扫区域图像数据包括针对同一清扫区域的可见光图像数据和红外偏振图像数据。

S2可以由图7所示的清洁设备的清洁控制装置中的图像获取模块101实现，或者由图8所示的清洁设备中的存储器202存储对应的图像获取程序，再由图8所示的清洁设备中的处理器201在执行所述存储器202存储的图像获取程序时实现。

在一些实施例中，可见光图像数据可以为RGB可见光图像数据，如具体为RGBD图像数据，也可以是单双目可见光图像数据。本申请中以RGBD图像数据为例进行分析，所述RGBD图像数据由RGBD相机产生。RGBD图像为颜色深度图像，其包含了RGB图像数据与深度(Depth)图像数据。其中，RGB图像数据中的RGB分别表示red(红)、green(绿)、blue(蓝)三种颜色，RGBD图像数据中的D表示Depth(深度)。

由于物体反射和电磁辐射的过程中都会产生由自身性质决定的偏振特性，不同物体或同一物体的不同状态(如粗糙度、含水量、材料理化特性特征等)在热红外波段往往具有不同的偏振状态，利用目标表明辐射或反射偏振信息的红外偏振成像技术，可以综合获得目标的强度、偏振和图像等多维特征信息的红外偏振图像。因此，红外偏振图像可以有效提高目标与背景的对比度，突出目标的细节特征，增强目标识别效果，更全面、深入地了解目标的属性和行为。红外偏振图像为红外偏振相机采集的图像数据。

所述清扫区域图像数据可以为如图7的清洁控制装置或图8所示的清洁设备将可见光图像数据和红外偏振图像数据进行融合获得。也可以由包含可见光相机和红外偏振相机的图像采集装置(如图9所示的清洁系统中的图像采集装置1)将采集的可见光图像数据和红外偏振图像数据进行融合，融合后再将所述清扫区域图像数据发送至如图7的清洁控制装置或图8所示的清洁设备中。因此，在一些实施例中，所述清扫区域图像数据为所述可见光图像数据和所述红外偏振图像数据的融合图像数据。

可见光相机易受到可见光干扰，例如其在光线不足或光线过强时无法采集到合适的可见光图像数据用于后续的识别，而在本申请中，清扫区域图像数据不仅包括对应的可见光图像数据，还包括对应的红外偏振图像。红外偏振相机则不受可见光的影响，其采集的红外偏振图像可以弥补可见光图像数据的受可见光影响的不足。

S4：通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别。

S4可以由图7所示的清洁设备的清洁控制装置中的识别模块102实现，或者由图8所示的清洁设备中的存储器202存储对应的识别程序，再由图8所示的清洁设备中的处理器201在执行所述存储器202存储的识别程序时实现。

由于所述清扫区域图像数据融合了可见光图像数据和红外偏振图像数据的信息，因此，在通过智能识别算法对清扫区域图像数据进行识别的过程中，可以通过比较污物与背景的图像强度，污物的偏振特性等，降低可见光的影响，增强污物识别效果，因而可以较精准的识别当前清扫区域中污物所在区域及其类别。在一些实施例中，所述类别包括污物的形态类别和/或成分类别，其中形态类别包括固态和液态，成分类别是指污物的构成成分(包括一种或多种主要构成成分)。

S6：根据所述清扫区域中所述污物的类别，确定所述污物对应的清洁策略。

S6可以由图7所示的清洁设备的清洁控制装置中的决策模块103实现，或者由图8所示的清洁设备中的存储器202存储对应的决策程序，再由图8所示的清洁设备中的处理器201在执行所述存储器202存储的决策程序时实现。

本申请的发明人在研究的过程中认为，不同类别的污物应当采取不同的清洁策略，如不同形态类别的污物应当对应不同的清洁策略，此外对于液态污物而言，不同成分类别的液态污物对应的清洁策略中可以有针对性的选择清洁剂的类别。因此，依据所述清洁控制方法执行清洁任务的所述清洁设备的清洁更具针对性，清洁效率高且清洁效果佳。所述清洁策略包括清洁策略类别、清洁强度、清洁剂类别等。其中，清洁策略类别与污物的形态类别对应，例如固态污物对应固态清洁策略，液态污物对应液态清洁策略；清洁强度包括但不局限于清洁时间和清洁剂容量；清洁剂类别可以与污物的成分类别对应。

S8：控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物。

S8可以由图7所示的清洁设备的清洁控制装置中的清洁控制模块104实现，或者由图8所示的清洁设备中的存储器202存储对应的清洁控制程序，再由图8所示的清洁设备中的处理器201在执行所述存储器202存储的清洁控制程序时实现。

控制所述清洁设备根据对应的清洁策略清洁所述清扫区域包括：控制清洁设备中的清扫装置根据对应的清洁策略清洁所述清扫区域。即所述清洁设备在到达所述清扫区域中当前需要清洁的污物所在区域(目标区域)所在位置后，所述清扫装置根据对应的清洁策略对所述清扫区域中的所述污物所在区域执行清洁任务。在一些实施例中，所述清洁设备为可移动式清洁设备，则控制所述清洁设备根据对应的清洁策略清洁所述清扫区域包括：先控制所述清洁设备中的移动装置根据对应的路径规划移动至所述清扫区域中当前需要清洁的污物所在区域所在位置，再控制清洁设备中的清扫装置根据对应的清洁策略清洁所述清扫区域中的所述污物所在区域。

由上可见，本申请提供的清洁设备的清洁控制方法，在获取包括可见光图像数据和红外偏振图像数据的清扫区域图像后，对所述清扫区域图像进行识别，以确定所述清扫区域中污物所在区域及其类别，再根据所述识别的结果，针对不同类别的污物，确定对应的清洁策略，以控制清洁设备根据对应的清洁策略对清扫区域执行清洁任务。所述清洁控制方法，可控制清洁设备的清洁更具针对性，清洁效率高且清洁效果佳。

请参阅图2，在一些实施例中，S4：通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别，包括：通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的形态类别，所述形态类别包括固态和液态；当所述污物的形态类别为液态时，继续对所述清扫区域图像数据进行识别，确定对应液态污物的成分类别。

具体的，请参阅图3，在一些实施例中，所述清洁设备为可移动式清洁设备，其在对污物所在区域执行清洁任务时，需要先向所述污物所在区域所在位置方向移动，所述清洁控制方法控制所述清洁设备在移动的过程中，实时获取所述清扫区域图像数据。在一些实施例中，所述清洁区域图像数据为所述可见光图像数据和所述红外偏振图像数据融合后的视频流中按预设频率选取的图像数据。在所述清洁设备距离清扫区域中的污物所在区域较远时，此时获取的清扫区域图像数据包含所述清洁区域中的污物所在区域及污物的细节特征不明显，而只有在所述清洁设备距离清扫区域中的污物所在区域较近之后，所获取的清扫区域图像数据才能包含所述清洁区域中的污物所在区域及污物的细节特征。在一些实施例中，S4：对所述清扫区域图像数据进行识别，确定当前清扫区域中污物所在区域及其类别，包括：根据当前所处的识别模式，对所述清扫区域图像数据进行识别，确定当前清扫区域中污物所在区域及其类别。其中，所述识别模式包括远景识别模式和近景识别模式。在所述清洁设备距离清扫区域中的污物所在区域较远时，所述清洁控制方法控制所述清洁设备处于远景识别模式，在所述清洁设备距离清扫区域中的污物所在区域较近时，所述清洁控制方法控制所述清洁设备处于近景识别模式。

因此，在一些实施例中，所述根据当前所处的识别模式，对所述清扫区域图像数据进行识别，确定当前清扫区域中污物所在区域及其类别，进一步包括S41和S42。

S41：在远景识别模式时，通过对当前获取的所述清扫区域图像数据进行识别，确定所述清扫区域中污物所在区域和污物的形态类别，所述形态类别包括固态和液态。

S42：在近景识别模式时，通过对当前获取的所述清扫区域图像数据进行识别，确定所述清扫区域中液态污物的成分类别。

可以将基于深度学习智能识别模型进行深度训练学习，根据学习训练结果，结合获取的所述清扫区域图像数据对污物的类别进行识别。

对于可移动式清洁设备而言，在所述清洁设备朝待清洁的污物所在区域靠近的过程中，对所述清扫区域图像数据进行识别过程包括两个阶段，即先进行远景识别模式下的粗略识别阶段，再进行近景识别模式下的细节识别阶段。

在远景识别模式下的粗略识别阶段，污物离清洁设备较远，此时，根据当前获取的所述清扫区域图像数据进行识别的识别准确率不高。因此，在粗略识别阶段，污物存在的区域是感兴趣区域(region of interest,ROI)，即污物所在区域。此外，在一些应用场景下，清扫区域在同一时刻可能会出现多个所述污物所在区域(感兴趣区域)，且多个所述污物所在区域中包含的污物的形态类别可能不同，而针对不同形态类别的污物执行清洁任务的优先级别可以对应设置不同，从而使得所述清洁设备的清洁更具针对性，提高清洁效率和效果。因此，在粗略识别阶段，对所述清扫图像数据进行识别，主要目的是确定所述清扫区域中污物所在区域(确定所述污物所在区域)和对所述污物的形态类别进行识别，以获得清扫区域中各个待清洁的污染所在区域的污物是固态污物还是液态污物。

由于所述清扫区域图像数据为所述可见光图像数据和红外偏振图像数据的融合图像数据，在所述清扫区域的光线正常(亮度满足预设条件，不过暗也不过亮)时，所述可见光图像数据可以获取所述清扫区域足够的图像特征，以便根据所述清扫区域图像完成对所述污物的分类，此时，所述红外偏振图像用于凸显所述污物的轮廓。而在所述清扫区域的光线异常时，所述红外偏振图像数据可以给所述清扫区域图像数据提供额外的图像特征，再配合可见光图像数据，可以确保对污物类别识别的准确性。

在近景识别模式下的细节识别阶段，污物离清洁设备较近，此时，当前获取的所述清扫区域图像数据包含了所述清扫区域更多的细节特征，符合细节识别的要求，根据当前获取的所述清扫区域图像数据进行识别的识别准确率较高。因此，在细节识别阶段，可以实现对所述污物的成分类别的确定。例如，若是在粗略识别阶段，识别液态污物，在细节识别阶段还要对液态污物进行进一步分类，以确定其成分类别，例如对于清扫区域中的奶茶污物和水污物，在细节识别阶段，可以根据清扫区域图像数据中的可见光图像数据确定其成分类别，而对于清扫区域中的水污物和油污物，在细节识别阶段，可以根据所述红外偏振图像数据确定其成分类别。因此，在本申请中，在识别的过程中，通过使用可见光图像数据和红外偏振图像数据的融合数据即可确定液态污物的成分类别。

继续参阅图3所示，进一步的，在本实施例中，S6：根据所述清扫区域中所述污物的类别，确定所述污物对应的清洁策略具体包括：当所述污物的形态类别为固态时，确定对应的清洁策略为固态清洁策略，以控制所述清洁设备根据所述固态清洁策略清洁对应的固态污物；当所述污物的形态类别为液态时，确定对应的清洁策略为液态清洁策略，并根据液态污物的成分类别确定所述液态清洁策略中的清洁剂类别，以控制所述清洁设备根据对应的所述液态清洁策略清洁所述液态污物。在确定所述污物对应的形态类别为固态还是液态后，并可确定清除所述污物对应清洁策略的清洁策略类型，例如固态污物的对应清洁策略类型为固态清洁策略，而液态污物的对应清洁策略类型为液态清洁策略。对于不同成分类别的液态污物，其对于的液态清洁策略中需采用与液态污物成分类别对应的清洁剂类别，从而可以针对不同的液态污物，有针对性的选择合适类别的清洁剂，以便于获得更好的清洁效果。

在一些实施例中，S8：控制所述清洁设备根据对应的清洁策略清洁所述清扫区域中的污物，具体包括：控制所述清洁设备根据对应的清洁策略清洁所述清扫区域中包含所述污物的污物所在区域。则在完成S8：控制所述清洁设备根据对应的清洁策略清洁所述清扫区域中的污物之后，所述清洁控制方还进一步包括：对当前获得的所述清扫区域图像数据进行识别，确定所述污物所在区域中否有液态残通过对当前获取的所述清扫区域图像数据进行识别，确定所述污物在清洁之后是否有对应的液态残留污物；若有，则继续控制所述清洁设备根据所述液态清洁策略清洁所述液态残留污物。

需要说明的是，所述液态残留物可以为清除固态污物之后残留下的液态污物，也可以指在清洁液态污物之后，未清洁干净而残留的所述液态清洁物。因此，在一些实施例中，依据本申请提供的清洁控制方法，在根据固态清洁策略清洁固态污物和根据液态清洁策略清洁液态污物之后，均还进一步包括对污物所在区域的残留液态污物做进一步清洁。需要说明的是，对于液态污物而言，在对其执行完液态清洁策略后，判断其对应的污物所在区域是否有残留液态污物的步骤也可以等同为判断液态污物对应的污物所在区域是否清洁完成，若当前不存在残留液态污染，则表示清洁完成，否则表示未清洁完成，需要对其根据液态清洁策略进行进一步清洁。

在一些实施例中，对于可移动式清洁设备而言，在远景识别时，在同一时刻，所述清扫区域中可能存在多个不同形态类型的污染区域。本申请发明人认为，对于不同形态类别以及不同位置区域的污物所在区域，在清洁过程中对应不同的优先级别，可以有针对性的对某些污物所在区域进行优先处理。例如在商场、机场等公共场所，为了避免游客滑倒，对液态污物处理的优先级会比固态污物要高，此时就提高液态污物所在区域在清洁设备对应的路径规划中的优先级，再由路径规划算法根据该优先级确定清洁设备的当前路径规划，从而可控制清洁设备按照当前路径规划移动至不同污物所在区域，对各个污物所在区域执行对应的清洁策略。

因此，参考图4所示，在一些实施例中，S8：所述控制所述清洁设备根据对应的清洁策略清洁所述清扫区域具体包括：S81a、S82a、S83a及S84a。

S81a：根据各污物的类别，确定所述清扫区域中各污物对应的优先级别。

S82a：根据各污物对应的优先级别和所述清洁设备的初始路径规划，确定所述清洁设备的当前路径规划。

S83a：控制所述清洁设备根据所述当前路径规划移动至所述污物所在区域。

S84a：控制所述清洁设备根据对应的清洁策略清洁所述清扫区域中的所述污物。

由此可见，在本实施例中，S8包括两个控制环节，一个是路径规划控制环节，一个清洁控制环节。其中，路径规划环节包括SS81 a、S82a、S83a，S84a为清洁控制环节。路径规划控制环节主要是根据污物的类别确定不同类别污物所在区域被清洁设备执行清洁任务的优先级别，从而根据优先级别，优化初始路径规划，确定当前路径规划，以控制清洁设备按照当前路径规划移动至对应的污物所在区域，最后再控制清洁设备根据对应的清洁策略对对应的污物所在区域执行清洁任务。

进一步的，在一些实施例中，在S82a：根据所述污物所在区域对应的优先级别和所述清洁设备的初始路径规划，确定所述清洁设备的当前路径规划之后，所述清洁控制方法还包括：在控制所述清洁设备根据所述当前路径规划移动至所述污物所在区域的过程中，对当前获得的所述清扫区域图像数据进行识别，确定所述清扫区域中的标示牌信息和行驶避让物信息，根据所述标示牌信息和行驶避让物信息，优化所述当前路径规划。则S83a为：控制所述清洁设备根据所述优化的当前路径规划移动至所述污物所在区域。

标示牌包括禁止驶入标示牌或指向牌等，可以标示清洁设备按照用户期望的路径移动。根据所述标示牌信息优化所述当前路径规划，然后控制清扫设备根据优化的后的当前路径规划移动至对应的污物所在区域，可以避免清洁设备在日常工作中进入不可行驶区域，从而可避免造成不必要的损失。行驶避让物包括清洁设备按照当前路径规划向对应污物所在区域移动过程中可能会碰撞的人和/或其他障碍物，根据所述行驶避让物信息优化所述当前路径规划，再根据优化后的所述当前路径规划控制清扫设备移动，可避免清洁设备在移动的过程中碰撞到人或其他障碍物。因此，根据所述标示牌信息和行驶避让物信息，优化所述当前路径规划，可提高清洁设备在工作时的安全保障。

在一些实施例中，所述清扫区域图像数据还进一步包括清扫设备和目标物之间的距离图像数据，其中，所述目标物包括污物所在区域、标示牌、行驶避让物或其他需要识别确定的对象。所述距离图像数据可以通过激光雷达、毫米波雷达或其他测距传感器采集清洁设备与所述目标物之间的距离信息获得。因此，在一些实施例中，本申请提供的清洁系统中的图像采集装置中还对应设置有用于采集所述距离图像数据的激光雷达、毫米波雷达或其他测距传感器。在对所述清扫区域图像数据进行识别时，可以根据所述清扫区域图像数据中的距离图像数据实现目标物和清洁设备的定位，以避免碰撞发生。根据所述距离图像数据，可以确定所述清洁设备与所述标示牌所标示区域之间的相对距离，以及根据所述距离图像数据，可以确定所述清洁设备与行驶避让物之间的相对距离。当所述清洁设备快靠近标示牌标示的禁止驶入区域或快靠近所述行驶避让物时，控制清洁设备根据优化后的所述当前路径规划，绕开所述禁止驶入区域和/或行驶避让物。

进一步的，所述清洁控制方法还包括：在控制所述清洁设备根据所述当前规划路径移动至各污物所在区域的过程中，通过对当前获取的所述清扫区域图像数据进行识别，确定所述清扫区域中的标示牌信息和行驶避让物信息；根据所述标示牌信息和所述行驶避让物信息，优化所述当前规划路径

在控制所述清洁设备清洁各个区域中对应的污物所在区域时，需要根据清扫区域的相关信息确定清洁设备的初始路径规划。所述清扫区域的相关信息包括清扫区域中各个分块区域的优先级别信息等。而在本申请中，所述清扫区域的相关信息还包括所述清扫区域中易污染的分块区域的位置信息。因此，在所述清洁控制方法还包括对经常被污染的分块区域进行标记，增加对该易污染分块区域的清洁频率。所述清洁地图由建图算法根据所述清扫区域的环境图像数据构建的地图，每次在对所述清扫区域图像数据进行识别，确定所述清扫区域中污物所在的区域(即确定污物所在区域的位置)后，在清洁地图上与污物所在区域对应的位置进行标记，如果某一分块区域内所述标记对应次数占总所述清扫区域内所述标记的总次数的比值超过预设值时，将某一分块区域设置为易污染分块区域，基于增加该易污染分块区域的清洁频率目的，提高该区域在路径规划算法中的优先级，确定清洁设备的初始路径规划，从而使所述清洁设备达到智能化的清洁而不是单一巡逻式的清洁，以提高清洁的效率。

在一些实施例中，依据本申请提供的清洁控制方法对清洁设备进行路径规划的控制流程可参阅图5所示。在本实施例中，所述路径规划对应的控制流程，即在S8a：控制所述清洁设备根据对应的清洁策略清洁所述清扫区域中的所述污物所在区域之前，S8还进一步包括S81b、S82b、S83b、S84b以及S85b。

S81b：根据历史识别结果确定易污染区域。具体的，所述历史识别结果为在确定清洁设备当前执行清洁任务对应的初始路径规划之前，对所述清扫区域图像数据进行识别，所确定的所述清扫区域中污物所在区域，即所述历史识别结果包括每次对清洁区域图像数据进行识别时，确定的污物所在区域，包括所述污物所在区域的位置信息。根在确定污物所在区域的位置信息后，在清洁地图上的对应位置进行标记，根据清洁地图中各个分块区域的标记的数量与所述清扫区域的总标记数据确定所述易污染区域。

S82b：根据易污染区域，确定初始路径规划。在确定所述易污染区域后，提高该易污染区域的清洁频率，对应提高其在路径规划算法中的优先级别，从而确定初始路径规划。

S83b：根据污物的类型、所在区域以及所述初始路径规划，确定当前路径规划。在确定初始路径规划后，在控制清洁设备根据初始路径规划移动的过程中，若识别到多个污染区域，根据各个污染区域对应的类型确定各个污染区域对应的优先级别，然后格局各个污染区域对应的优先级别、对应的位置和初始路径规划确定当前路径规划。

S84b：根据对清扫区域中标示牌和行驶避让物进行识别所获得对应的识别信息优化当前路径规划。

S85b：控制清洁设备根据优化后的当前路径规划移动至污物所在区域。

在一些实施例中，S8:制所述清洁设备根据对应的清洁策略清洁所述清扫区域之前，所述清洁控制方法还包括：对当前获得的所述清扫区域图像数据进行识别，确定所述污物所在区域的污染程度；所述根据所述污染程度确定对应的清洁策中的清洁强度。所述污染程度可以根据污物所在区域的面积大小和/或污物的体积来衡量确定，因此在对当前获得的所述清扫区域图像数据进行识别，确定所述污物所在区域面积大小和/或污物体积。

所述清洁强度包括清洁时间和/或清洁剂容量。在一些实施例中，所述清洁强度越大，清洁策略对应的清洁时间越长和/或对应的清洁剂容量越大。这里需要说明的是，对应的清洁剂容量是指执行对应的清洁策略所需的对应类别的清洁剂的容量。

进一步的，在一些实施例中，所述清洁控制方法还进一步包括：获得所述清洁设备中的对应清洁剂的当前容量信息，所述对应清洁剂为与所述清扫区域对应的所述清洁策略中的清洁剂；根据所述当前容量信息和所述清洁强度，确定清洁剂补给指令。所述清洁剂补给指令用于指示当前给是否需要给所述清洁设备补给所述对应清洁剂。

在一些实施例中，所述清洁控制方法还包括将每次对清扫区域图像数据进行识别获得的识别结果发送给后，以供后台针对经常出现的污物类别，尤其是液体污物类别，例如牛奶，油渍等准备相应的清洁剂或对应的清洁策略以适应不同的环境，以达到智能化清洁的目的。

在一些实施例中，所述清洁控制方法还包括，将当前是否需要补给对应的清洁策略中对应类型的清洁剂的判断结果发送给后台，以供后台补充对应类别的清洁剂，或者以供后台发发送相应的优化当前路径规划的指令，根据该指令控制清洁设备自行导航至补给点补充对应类别的清洁剂。

参阅图6，其为依据本申请一些实施例提供的清洁设备的清洁控制方法中清洁环节的流程示意图。由于清洁设备的路径规划控制流程在图4和图5对应的实施例进行了详细说明，在此不做累述，这里仅对清洁环节进行进一步举例说明，所述清洁环节主要包括清洁设备执行清洁任务所需要的步骤，各个步骤描述如下：

S2a：根据初始路径规划控制清洁设备开始移动，获取清扫区域图像数据。所述清扫区域图像数据同S2中的所述清扫区域图像数据。S2a后执行S41a。

S41a:远景识别，确定污物所在区域中污物是否为液态,若是，执行S61a，若否，执行S61b。

S61a:确定对应的清洁策略为液态清洁策略。然后，执行S42a。

S42a:近景识别，确定污物所在区域的污染程度和液态污物的成分类别。然后，执行S62a。

S62a：确定液态清洁策略中的清洁强度和清洁剂类别。然后，执行S7a。

S7a:选择对应类别和对应容量的清洁剂。然后，执行S8a。

S8a：控制清洁设备根据液态清洁策略执行清洁任务。然后，执行S91a。

S91a:判断是否清洁完成。若是，执行S92a，若否,返回S8a。

S92a:结束对当前的污物所在区域的清洁。

S61b：确定对应的清洁策略为固态清洁策略。然后，执行S42b。

S42b：近景识别，确定污物所在区域的污染程度。然后，执行S62b。

S62b：确定固态清洁策略中的清洁强度。然后，执行S8b。

S8b：控制清洁设备根据固态清洁策略执行清洁任务。然后，执行S91b。

S91b:判断是否有液态残留污物。若是，执行S93b，若否,执行S92b。

S92b:结束对当前的污物所在区域的清洁。

S93b:控制清扫设备根据对应的液态清洁策略清洁液态残留区域。

在本实施例中，在远景识别模式下，识别污物的固液态形态和确定污物所在的区域，对于固态清洁物在近景识别时，确定其清洁强度，而对于液态清洁物，在近景识别模式下，确定其清洁强度和成分类别。

请参阅图7，在一些实施例中，本申请还提供了一种清洁设备的清洁控制装置。所述清洁控制装置包括图像获取模块101、识别模块102、决策模块103、和清洁控制模块104。其中，图像获取模块101，用于获取清扫区域图像数据，所述清扫区域图像数据包括针对同一清扫区域的可见光图像数据和红外偏振图像数据；识别模块102，用于对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别；决策模块103，用于根据所述清扫区域中所述污物的类别，确定与所述污物对应的清洁策略；清洁控制模块104，用于控制所述清洁设备根据对应的清洁策略清洁所述清扫区域中的污物。

请参阅图8，在一些实施例中，本申请还提供了一种清洁设备，其包括存储器202存及处理器201。所述处理器201在运行所述存储器202中存储的计算机程序指令时，执行依据本申请任意一实施例中所述的清洁控制方法的步骤。

请参阅图9，在一些实施例中，本申请还提供了一种清洁系统，包括图像采集装置1、依据本申请提供的清洁控制装置2、设备驱动装置3。所述图像采集装置1，用于采集清扫区域的可见光图像和红外偏振图像，并发送给所述清洁控制装置；所述设备驱动装置3，用于根据所述清洁控制装置2确定的清洁策略，驱动所述清洁设备清洁所述清扫区域。

在一些实施例中，所述清洁系统为可移动的清洁机器人或清洁车，所述设备驱动装置3包括用于驱动所述清洁机器人或清洁车移动的移动设备驱动装置以及用于驱动所述清洁机器人或清洁车移动到污物所在区域后执行清洁任务的清洁设备驱动装置。因此，对于可移动式清洁系统而言，所述设备驱动装置3根据清洁控制装置2确定清洁指令控制清洁系统执行清洁包括所述移动设备驱动装置根据清洁控制输出的路径规划指令控制清洁系统移动至污物所在区域，以及包括在清洁系统移动至污物所在区域后，清洁设备驱动装置根据所述清洁控制装置输出的清洁控制指令执行对应的清洁任务。其中，所述清洁控制装置2根据其确定的当前路径规划生成对应的路径规划指令，以及根据其确定的清洁策略生成对应的清洁控制指令。所述清洁控制指令包括清洁时间和清洁剂类别。

继续参阅图9所示，在一些实施例中，所述清洁控制系统还包括清洁剂管理装置4，其用于根据所述清洁控制装置2确定的清洁策略选择对应的清洁剂。

可选的，在一些实施例中，清洁剂管理装置4还用于检测所述清洁控制装置2确定的清洁策略中清洁剂的当前容量，获得当前容量信息，并将所述当前容量信息发送至所述清洁控制装置。清洁剂管理装置4接受来自清洁控制装置的指令，释放相应类别和容量的清洁剂和水。同时清洁剂管理装置还会对清洁剂和水的余量进行监控，若达到警戒线则向清洁控制装置2示警，清洁控制装置2则提示后台补充或控制清洁系统自行导航至补给点补充清洁剂和水。

此外，在一些实施例中，清洁控制装置2会实时将其获得的各项数据返回给后台，在后台可以检测每台清洁机器人或清洁车的运行状态、位置、清洁剂与水的容量等。后台也可下达指令给每一台清洁机器人或清洁车执行相应的指令。在所述清洁系统中，所述清洁控制装置2包括智能识别处理模块，所述智能识别处理模块根据智能识别算法检测识别清扫区域图像数据中对应的识别目标。

在一些实施例中，图像采集装置1包括用于采集所述清扫区域的可见光图像数据的可见光相机和采集所述清扫区域的红外偏振图像数据的红外偏振相机。

可选的，所述图像采集装置1还包括激光雷达、毫米波雷达或其它的测距传感器。

可选的，所述图像采集装置还包括图像处理器，所述图像处理器用于将图像采集装置中的多个传感器采集的信息进行同步处理，并进行多源信息的融合处理，获得所述清扫区域图像数据，并发送给所述清洁控制装置2。所述多个传感器包括所述RGB可见光相机、所述红外偏振相机和诸如雷达类的测距传感器。在一些实施例中，RGB可见光图像数据为RGBD图像数据，则RGB可见光相机为RGBD相机。

请参阅图10，图9所示的清洁系统的工作流程包括：

S01：数据采集装置利用可见光相机、红外偏振相机、雷达等多传感器实时采清扫区域对应的图像数据。

S02：清洁控制装置实时处理根据图像采集的图像数据，得到对应的识别结果，并根据所述识别结果进行分析确定清扫区域对应的清洁策略。

S031：设备驱动装置根据路径规划驱动清洁设备移动至污物所在区域，并驱动清洁设备根据清洁控制装置确定的清洁策略执行清洁任务。

S032：清洁剂管理装置根据清洁控制装置确定清洁策略选择对应类型的清洁剂，并实时检测对应类型清洁剂的余量。

由上可见，本申请提供的清洁系统在不同的实施例中至少具备以下一种有益效果：

(1)采用对污物智能识别技术，可以分析污物的类别，采取不同的清洁策略及其对应类别的清洁剂，同时提升清洁的效果和效率。

(2)采用对污物智能识别技术，可以对污物的体积和清洁的进度(如判断是否清洁完成或是否有液态残留污物)进行分析，可以减少清洁剂的使用量以及无效的清洁时间。

(3)采用对污物智能识别技术，可以有效解决复杂环境下清洁机器人不够智能化的问题，例如对易污染的区域进行标记，增加对该区域的清洁频率而不是巡逻式的清洁，对经常出现的污物加以记录，上报给后台进行下一步处理等。

此外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程指令；所述计算机程序指令被处理器执行时，实现依据本申请任意一实施例提供的项所述的清洁控制方法的步骤。

上述处理器可能是CPU(中央处理器，Central Processing Unit)，或者是ASIC(特殊应用集成电路，Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。运动目标的检测设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

上述存储器可能包含高速RAM(随机存取存储器，Random Access Memory)，也可能还包括NVM(非易失性存储器，Non-Volatile Memory)，例如至少一个磁盘存储器。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种清洁设备的清洁控制方法，其特征在于，包括：

获取清扫区域图像数据，所述清扫区域图像数据包括针对同一清扫区域的可见光图像数据和红外偏振图像数据；

通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别；

根据所述清扫区域中所述污物的类别，确定所述污物对应的清洁策略；

控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物；

所述通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别，包括：

在远景识别模式时，通过对当前获取的所述清扫区域图像数据进行识别，确定所述清扫区域中污物的形态类别，所述形态类别包括固态和液态；

在近景识别模式时，通过对当前获取的所述清扫区域图像数据进行识别，确定对应液态污物的成分类别；

当所述污物的形态类别为液态时，确定对应的清洁策略为液态清洁策略，并根据液态污物的成分类别确定所述液态清洁策略中的清洁剂类别，以控制所述清洁设备根据对应的所述液态清洁策略清洁所述液态污物；

所述通过对当前获取的所述清扫区域图像数据进行识别，确定对应液态污物的成分类别，包括：在通过智能识别算法对所述清扫区域图像数据进行识别的过程中，通过比较所述液态污物与背景的图像强度以及所述液态污物的偏振特性，识别当前清扫区域中所述液态污物所在区域以及所述液态污物的成分类别。

2.根据权利要求1所述的清洁控制方法，其特征在于，所述根据所述清扫区域中所述污物的类别，确定所述污物对应的清洁策略，还包括：

当所述污物的形态类别为固态时，确定对应的清洁策略为固态清洁策略，以控制所述清洁设备根据所述固态清洁策略清洁对应的固态污物。

3.根据权利要求1所述的清洁控制方法，其特征在于，在所述控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物之后，所述方法还包括：

通过对当前获取的所述清扫区域图像数据进行识别，确定所述污物在清洁之后是否有对应的液态残留污物；

若有，则继续控制所述清洁设备根据所述液态清洁策略清洁所述液态残留污物。

4.根据权利要求1所述的清洁控制方法，其特征在于，当所述清扫区域中出现多个污物时，所述控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物包括：

根据各污物的类别，确定所述清扫区域中各污物对应的优先级别；

根据各污物对应的优先级别和所述清洁设备的初始路径规划，确定所述清洁设备的当前路径规划；

控制所述清洁设备根据所述当前路径规划移动至所述污物所在区域；

控制所述清洁设备根据对应的清洁策略清洁所述清扫区域中的所述污物。

5.根据权利要求4所述的清洁控制方法，其特征在于，所述方法还包括：

在控制所述清洁设备根据所述当前路径规划移动至各污物所在区域的过程中，通过对当前获取的所述清扫区域图像数据进行识别，确定所述清扫区域中的标示牌信息和行驶避让物信息；

根据所述标示牌信息和所述行驶避让物信息，优化所述当前路径规划。

6.根据权利要求4所述的清洁控制方法，其特征在于，在所述根据各污物对应的优先级别和所述清洁设备的初始规划路径，确定所述清洁设备的当前规划路径之前，所述方法还包括：

在所述清洁设备对应的清洁地图中标记各污物所在区域；

根据所述清洁地图中各个分块区域内所标记的数量确定各个分块区域对应的优先级别；

根据各个所述分块区域对应的优先级别确定所述清洁设备对应的初始规划路径。

7.根据权利要求1至6中任意一项所述的清洁控制方法，其特征在于，在所述控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物之前，所述方法还包括：

对当前获取的所述清扫区域图像数据进行结合分析，确定所述污物所在区域的污染程度，并根据所述污染程度确定对应的所述清洁策略中的清洁强度。

8.根据权利要求7所述的清洁控制方法，其特征在于，所述清洁控制方法还包括：

获得所述清洁设备中的对应清洁剂的当前容量信息，所述对应清洁剂为与所述清扫区域对应的所述清洁策略中的清洁剂；

根据所述当前容量信息和所述清洁强度，确定清洁剂补给指令。

9.一种清洁设备的清洁控制装置，其特征在于，包括：

图像获取模块，用于获取清扫区域图像数据，所述清扫区域图像数据包括针对同一清扫区域的可见光图像数据和红外偏振图像数据；

识别模块，用于通过对所述清扫区域图像数据进行识别，确定所述清扫区域中污物的类别；

决策模块，用于根据所述清扫区域中所述污物的类别，确定所述污物对应的清洁策略；

清洁控制模块，用于控制清洁设备根据对应的清洁策略清洁所述清扫区域中的污物；

其中，所述识别模块具体用于在远景识别模式时，通过对当前获取的所述清扫区域图像数据进行识别，确定所述清扫区域中污物的形态类别，所述形态类别包括固态和液态，以及在近景识别模式时，通过对当前获取的所述清扫区域图像数据进行识别，确定对应液态污物的成分类别；

所述决策模块还具体用于当所述污物的形态类别为液态时，确定对应的清洁策略为液态清洁策略，并根据液态污物的成分类别确定所述液态清洁策略中的清洁剂类别，以控制所述清洁设备根据对应的所述液态清洁策略清洁所述液态污物；

所述识别模块具体用于在通过智能识别算法对所述清扫区域图像数据进行识别的过程中，通过比较所述液态污物与背景的图像强度以及所述液态污物的偏振特性，识别当前清扫区域中所述液态污物所在区域以及所述液态污物的成分类别。

10.一种清洁设备，其特征在于，包括存储器和处理器；

所述处理器在运行所述存储器中存储的计算机程序指令时，执行权利要求1至8中任意一项所述的清洁控制方法的步骤。

11.一种清洁系统，其特征在于，包括图像采集装置、如权利要求9所述的清洁控制装置、设备驱动装置；

所述图像采集装置，用于采集清扫区域的可见光图像和红外偏振图像，并发送给所述清洁控制装置；

所述设备驱动装置，用于根据所述清洁控制装置确定的清洁策略，驱动所述清洁设备清洁所述清扫区域。

12.根据权利要求11所述的清洁系统，其特征在于，所述清洁系统还包括：

清洁剂管理装置，用于根据所述清洁控制装置确定的清洁策略选择对应的清洁剂；和/或，用于检测所述清洁控制装置确定的清洁策略中清洁剂的当前容量，获得当前容量信息，并将所述当前容量信息发送至所述清洁控制装置。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序指令；

所述计算机程序指令被处理器执行时，实现权利要求1至8中任意一项所述的清洁控制方法的步骤。