CN115349778B - 扫地机器人的控制方法、装置、扫地机器人及存储介质 - Google Patents

Abstract

本申请适用于扫地机技术领域，提供了一种扫地机器人的控制方法、装置、扫地机器人及存储介质，方法包括：关闭多光谱光源，并控制多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据；开启多光谱光源以朝向目标地面发射多光谱光束，并控制多光谱传感器采集目标地面反射的环境光和多光谱光束，得到第二多光谱数据；根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息，参考多光谱数据为预设材质的物体对多光谱光束的反射数据；根据材质信息确定扫地机器人的工作模式，并控制扫地机器人按照工作模式工作。上述方案中，识别精度更高、材质识别结果更加准确。

Description

扫地机器人的控制方法、装置、扫地机器人及存储介质

技术领域

本申请属于扫地机技术领域，尤其涉及一种扫地机器人的控制方法、控制装置、扫地机器人及计算机可读存储介质。

背景技术

扫地机器人在进行清扫时，可以对地面进行材质的识别。现有技术中对地面进行材质识别时，主要采用以下几种方式：一是通过扫地机工作时发出的振动信号的变化来识别地面材质，但是，该方法会随着扫地机工作的方式变化而变化，例如只适用于某一型号的扫地机，不能在所有扫地机上通用，并且在识别过程中会出现精度较低的问题；二是通过RGB图像或灰度图像来做识别地面材质，但是，该方法仅仅通过图像进行识别，很容易出现识别错误，例如，对木纹砖地面可能会被识别为木地板，对有地毯图案的地砖可能会被识别为地毯。也就是说，这两种识别地面材质的方法精度较低，容易出现识别错误。

发明内容

本申请实施例提供了一种扫地机器人的控制方法、控制装置、扫地机器人及计算机可读存储介质，可以解决上述问题。

第一方面，本申请实施例提供了一种扫地机器人的控制方法，扫地机器人包括多光谱传感器及多光谱光源，方法包括：关闭多光谱光源，并控制多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据；开启多光谱光源以朝向目标地面发射多光谱光束，并控制多光谱传感器采集目标地面反射的环境光和多光谱光束，得到第二多光谱数据；根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息，参考多光谱数据为预设材质的物体对多光谱光束的反射数据；根据材质信息确定扫地机器人的的工作模式，并控制扫地机器人按照工作模式工作。

在一些实施例中，根据第一多光谱数据、第二多光谱数据及参考多光谱数据，确定目标地面的材质信息，包括：根据第一多光谱数据和第二多光谱数据，计算得到第三多光谱数据，第三多光谱数据为目标地面对多光谱光束的反射数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率；根据反射率确定目标地面的材质信息。

在一些实施例中，根据第一多光谱数据、第二多光谱数据及参考多光谱数据，确定目标地面的材质信息，包括：根据第一多光谱数据和第二多光谱数据，计算得到第三多光谱数据，第三多光谱数据为目标地面反射多光谱光束得到的反射光数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率；根据反射率及第一多光谱数据或第二多光谱数据对应的多光谱图像，确定目标地面的材质信息。

在一些实施例中，控制方法还包括：根据第一多光谱数据、第二多光谱数据及参考多光谱数据，确定目标地面的清洁程度信息；根据清洁程度信息确定扫地机器人的工作时长。

在一些实施例中，根据第一多光谱数据、第二多光谱数据及参考多光谱数据，确定目标地面的清洁程度信息，包括：根据第一多光谱数据和第二多光谱数据，计算得到第三多光谱数据，第三多光谱数据为目标地面对多光谱光束的反射数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光源的反射率；根据反射率确定目标地面的清洁程度信息。

在一些实施例中，根据第一多光谱数据、第二多光谱数据及参考多光谱数据，确定目标地面的清洁程度信息，包括：根据第一多光谱数据和第二多光谱数据，计算目标地面反射的多光谱光源的第三多光谱数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光源的反射率；根据反射率及第一多光谱数据或第二多光谱数据对应的多光谱图像，确定目标地面的清洁程度信息。

在一些实施例中，根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光源的反射率，包括：根据第三多光谱数据中每个光谱波段的数据、及参考多光谱数据中每个光谱波段的数据，计算目标地面对每个光谱波段的光的反射率。

在一些实施例中，在一些实施方式中，在根据第三多光谱数据及其对应的参考多光谱数据确定目标地面的材质信息之前，控制方法还包括：从存储器内读取参考多光谱数据；其中，参考多光谱数据为一个；或，参考多光谱数据为多个，根据多光谱模组与地面之间的距离确定对应的参考多光谱数据，多光谱模组包括多光谱光源和多光谱传感器。

第二方面，本申请实施例提供了一种扫地机器人的控制装置，包括：第一控制单元，用于关闭多光谱光源，并控制多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据；第二控制单元，用于开启多光谱光源以朝向目标地面发射多光谱光束，并控制多光谱传感器采集目标地面反射的环境光和多光谱光束，得到第二多光谱数据；第一处理单元，用于根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息，参考多光谱数据为预设材质的物体对多光谱光束的反射数据；第三控制单元，用于根据材质信息确定扫地机器人的工作模式，并控制扫地机器人按照工作模式工作。

第三方面，本申请实施例提供了一种扫地机器人，其特征在于，包括存储器、处理器、存储在存储器中并可在处理器上运行的计算机程序、多光谱光源及多光谱传感器，多光谱光源用于产生多光谱光束；多光谱传感器用于在多光谱光源关闭状态下采集第一多光谱数据，以及在多光谱光源开启状态下采集第二光谱数据；处理器执行计算机程序时实现如上述第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的方法。

本申请实施例中，分别在多光谱光源关闭和开启时控制多光谱传感器采集目标地面反射的第一多光谱数据和第二多光谱数据；根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息；并按照目标地面的材质信息对应的工作模式进行工作。上述方案中，采用了多光谱光源及多光谱传感器，多光谱传感器能同时检测地面对多个光谱波段的响应数据，根据多个光谱波段的响应数据判断目标地面的材质信息，判断维度更广、识别精度更高、得到的识别结果更加准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施例提供的一种扫地机器人的控制方法的示意流程图；

图2是本申请第一实施例提供的一种扫地机器人的结构图；

图3是本申请第二实施例提供的扫地机器人的控制装置的示意图；

图4是本申请第三实施例提供的扫地机器人的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

请参见图1，图1是本申请第一实施例提供的一种扫地机器人的控制方法的示意流程图。本实施例中一种扫地机器人的控制方法的执行主体为扫地机器人内的处理器。这里的扫地机器人为具有扫地功能的自动化机器，可以为只具有扫地功能的机器人，也可以为具有扫地和拖地功能的机器人，此处不做限制。

如图2所示，本实施例中的扫地机器人2包括多光谱模组20，多光谱模组20安装在扫地机器人2的底部，多光谱模组20包括多光谱光源201和多光谱传感器202。

其中，多光谱光源201可以同时发射多个光谱波段的光线。具体地，多光谱光源201可由不同波长的子光源组成得到，或者多光谱光源201是一种可发射宽波段(例如400nm-1000nm)的光线的宽谱光源，例如卤素灯。多光谱光源201发射的光可以为可见光或者不可见光，或者同时包括可见光及不可见光，在此不做限制。多光谱传感器202用于采集多光谱数据，进而可得到多光谱数据中每个光谱波段的光谱数据。多光谱传感器202可以是单点多光谱传感器或成像多光谱传感器，在一个实施例中，多光谱传感器202为成像多光谱传感器，成像多光谱传感器可以获取到一块区域的多光谱图像，进而提取得到该区域内每个点的多光谱数据，检测效率及准确性更高。在一个例子中，多光谱传感器可以为多光谱相机。

其中，多光谱传感器202的通道数量可大于或等于4个，本申请以多光谱传感器202为9通道多光谱图像传感器为例进行示例性说明，可以理解，多光谱传感器并不限于是9通道多光谱图像传感器，也可以是5通道、6通道、8通道、10通道或具有更多个通道的图像传感器。需要说明的是，9通道指的是多光谱传感器可以同时采集9个光谱波段的光。在一个例子中，多光谱光源201可发射红光、蓝光、两种不同波长的绿光及五种不同波长的红外光。多光谱图像传感器202对应多光谱光源201有9个通道，分别对应接收红光、蓝光、两种不同波长的绿光及五种不同波长的红外光，如此，多光谱图像传感器可采集到红光、蓝光、两种不同波长的绿光及多种不同的红外光。

具体地，多光谱图像传感器可以获取目标地面的多光谱图像，然后将多光谱图像中每个通道的像素点提取出来，得到各个通道的图像，进而可以确定目标地面的每个点的多光谱数据。例如，继续以9通道多光谱传感器为例说明，将目标多光谱图像中每个像素点对应的一通道数据提取出来得到一通道图像，同理可得到二通道图像至九通道图像，共可得到九张图像，然后分别提取一通道图像至九通道图像中的A像素点的数据，则可以得到A像素点的1*9的光谱矩阵，目标多光谱图像由m行、n列的像素点组成，则目标多光谱图像中共有m*n个像素点，则对应的光谱数据为(m,n,9)的三维矩阵。

如图1所示，扫地机器人的控制方法可以包括以下步骤：

S101：关闭多光谱光源，并控制多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据。

在扫地机器人开始工作时，多光谱光源可以处于关闭状态，处理器控制多光谱传感器采集目标地面反射的环境光，进而得到第一多光谱数据。其中，目标地面即是当前扫地机器人所处位置的地面，可以理解为扫地机器人需要清洁的地面，扫地机器人所处的环境中具有环境光，目标地面会反射环境光，为了避免环境光对识别结果的影响，可预先采集环境光数据，第一多光谱数据即为多光谱传感器采集到的目标地面反射的环境光。例如以9通道多光谱数据为例，当多光谱光源关闭时，采集到的第一多光谱数据为back(m,n,9)，back(m,n,9)为三维矩阵。

一些实施方式中，多光谱模组与地面之间的距离较近并且多光谱光源的光线明显多于环境光的光线，环境光造成的干扰比较小；并且，不同位置环境光的变化也较小，环境光的变化在允许的误差范围内，为了提高效率，扫地机器人可以只在开始工作时采集一次第一多光谱数据，在后续的步骤中不再对第一多光谱数据进行更新。在另一些实施方式中，处理器可以实时或者每隔一段时间采集一次第一多光谱数据，进而不断地更新第一多光谱数据，避免了环境光变化而导致误差。

S102：开启多光谱光源以朝向目标地面发射多光谱光束，并控制多光谱传感器采集目标地面反射的环境光和多光谱光束，得到第二多光谱数据。

在获取到第一多光谱数据后，处理器可以开启多光谱光源，多光谱光源会向目标地面发射多光谱光束，多光谱光束打在目标地面上后会被目标地面反射，由于扫地机器人所处的环境中还有环境光，因此目标地面还会反射环境光，处理器控制多光谱传感器采集目标地面反射的多光谱光束和环境光，进而得到第二多光谱数据。继续以9通道多光谱数据为例，采集标地面反射的多光谱光束和环境光得到的第二多光谱数据为rad(m,n,9)，rad(m,n,9)为三维矩阵。其中，步骤S102第二多光谱数据的具体获取方式可参考步骤S101相关的内容，在此不详细展开描述。其中，步骤S102和步骤S101执行先后顺序在此不做限制，可以是先执行步骤S101后执行步骤S102，也可以是先执行步骤S102后执行步骤S101。

S103：根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息，参考多光谱数据为预设材质的物体对多光谱光束的反射数据。

存储器内中可以预先存储目标地面的材质信息的确定策略，根据确定策略、第一多光谱数据、第二多光谱数据和参考多光谱数据确定目标地面的材质信息。其中，参考多光谱数据为预设材质的物体只反射多光谱光束时该物体的反射光数据，预设材质可以是固定反射率的材质，例如，漫反射白板等。

具体地，存储器中可预先存储参考多光谱数据，处理器可以从存储器内读取参考多光谱数据。在一些实施方式中，多光谱模组的安装高度(即，多光谱模组与目标地面之间的距离)不会发生变化，参考多光谱数据可以只有一条，处理器直接从存储器中读取该条参考多光谱数据。在另一些实施例中，存储器中存储有多条参考多光谱数据，多条参考多光谱数据分别对应不同高度时的多光谱模组，则可先获取多光谱模组与目标地面之间的距离，然后根据距离获取对应的参考多光谱数据。

一般情况下在扫地机器人使用过程中，多光谱模组是固定不动的，则多光谱模组与地面的距离是保持不变的，所以，可以直接获取扫地机器人出厂时预存的参考多光谱数据。其中，多光谱模组包括多光谱光源和多光谱传感器。

如果多光谱模组与地面之间的距离发生了改变，则需要重新获取一次参考多光谱数据，即获取与新的距离对应的参考多光谱数据。如果新的距离未对应有参考多光谱数据，则可以通过插值或者拟合的方式计算得到新的高度对应的参考多光谱数据。其中，多光谱模组与地面之间的距离可以通过距离传感器等传感器或者人为检测获取得到，

更具体地，不同高度对应的参考多光谱数据需要提前标定得到，具体的标定方法为：在暗箱内对参考多光谱数据进行标定，当不开多光谱光源时，控制多光谱传感器采集漫反射白板的第一标定多光谱数据dark(m,n,9)，即漫反射白板反射的环境光数据；当打开多光谱光源时，在不同的距离下，分别控制多光谱传感器采集漫反射白板的第二标定多光谱数据white_d(m,n,9)，即漫反射白板反射的环境光和多光谱光束数据，进而得到不同距离下对应的参考多光谱数据Wb_d。例如，测了d个距离，则得到d个参考多光谱数据，d个参考多光谱数据分别为：

Wb_1＝white_1(m,n,9)-dark(m,n,9)，

Wb_2＝white_2(m,n,9)-dark(m,n,9)，

Wb_3＝white_3(m,n,9)-dark(m,n,9),

Wb_d＝white_d(m,n,9)-dark(m,n,9)。

这样，通过标定得到了不同高度对应的参考多光谱数据，本实施例中在标定时考虑了暗箱内的环境光线的影响，使得得到的参考多光谱数据更加准确，并且是用参考漫反射白板进行标定，漫反射白板的反射率较优，使得标定得到的多光谱数据更具有参考性。可以理解，在本实施例中，预设材质的物体即为漫反射白板。

一些实施方式中，S103可以包括：根据第一多光谱数据和第二多光谱数据，计算得到第三多光谱数据，第三多光谱数据为目标地面对多光谱光束的反射数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率；根据反射率确定目标地面的材质信息。

另一些种实施方式中，S103也可以包括：根据第一多光谱数据和第二多光谱数据，计算得到第三多光谱数据，第三多光谱数据为目标地面对多光谱光束的反射数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率；根据反射率及第一多光谱数据或第二多光谱数据对应的多光谱图像，确定目标地面的材质信息。

具体来说，可根据第一多光谱数据和第二多光谱数据，计算得到目标地面只反射多光谱光束时的反射数据。例如，将第一多光谱数据和第二多光谱数据相减，得到目标地面反射对多光谱光束的响应数据，即第三多光谱数据。继续以9通道多光谱传感器为例，第一多光谱数据为back(m,n,9)，第二多光谱数据为rad(m,n,9)，第三多光谱数据msi＝rad(m,n,9)-back(m,n,9)。

进一步地，可根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率。具体而言，可将每个像素点对应的第三多光谱数据点除对应的参考多光谱数据，得到每个像素点中每个通道的反射率。更具体来说，可以根据第三多光谱数据中每个光谱波段的数据、及参考多光谱数据中每个光谱波段的数据，计算目标地面对每个光谱波段的光的反射率。即，每个像素点在第三多光谱数据中每个光谱波段的数据点除每个像素点在参考多光谱数据中每个光谱波段的数据，具体计算方法为：

refl＝msi./Wb。

其中，“./”表示点除，计算得到的refl是一个三维矩阵，这个三维矩阵中包括每个像素点中每个通道的反射率。通过多光谱光源及多光谱传感器，可以分别计算得到地面上每个点对多个光谱波段中每个光谱波段的反射率，可以理解，不同的材质可能对一两个光谱波段的反射率比较接近，但是对多个光谱波段的光线的反射率必然会存在差异，通过结合地面对多个光谱波段的光线的反射率来确定材质更加准确，相较于单波段获取到的信息更加丰富。

另外，在一些实施方式中，为了提高计算效率，可划分为多个区域，在计算反射率时，可以计算一个区域内多个像素点每个通道的均值，或者对多个像素点进行聚类，计算每一类的像素点的反射率均值作为该区域内的像素点在每个通道的反射率。

正常来说，当打的多光谱光源一定时，家居地板的材质不同，对于主动光源的响应会不同，如地砖、木地板、地毯等对主动光源的反射率不同，在一定距离下反射回来的光的多少和被检测对象的反射率相关。并且，相同材质的地面对不同波长的光的响应也存在一定的差异。

在一些实施方式中，处理器可以通过深度学习模型来根据反射率确定目标地面的材质信息。具体来说，预先存储有材质识别神经网络模型，材质识别神经网络模型用于根据反射率确定目标地面的材质信息，将反射率输入到材质识别神经网络模型中进行处理，得到反射率对应的目标地面的材质信息。

材质识别神经网络模型可以是由其他设备预先训练好，并将训练好的材质神经网络模型的相关参数进行冻结后，移植到扫地机器人中的。材质识别神经网络模型具体的训练方法可以为：获取训练样本集，训练样本集中包括样本反射率及其对应的材质标签。通过深度学习或者机器学习建立样本反射率及其对应的材质标签之间的对应关系，得到材质识别神经网络模型。其中，在确定训练样本集时，可以理解的是，样本数量越多、样本的类型越丰富，训练后的模型的识别效果越准确。

在另一些实施方式中，不同的地面材质的反射率不同，考虑相同地面材质在不同清洁程度时，反射率也会存在差异，为了准确确定地面材质，可通过反射率和地面的多光谱图像来共同判定地面材质。处理器可以获取第一多光谱数据对应的多光谱图像或第二多光谱数据对应的多光谱图像，即，获取目标地面的多光谱图像；然后根据反射率和多光谱图像确定目标地面的材质信息。具体地，处理器可以通过根据反射率和地面的多光谱图像及深度学习模型确定目标地面的材质信息，具体来说，预先存储有材质识别神经网络模型，材质识别神经网络模型用于根据反射率和多光谱图像确定目标地面的材质信息，在将反射率和多光谱图像输入到材质识别神经网络模型后，可以得到反射率和多光谱图像对应的目标地面的材质信息。其中，材质识别神经网络模型可通过预先输入不同材质不同清洁程度及对应的反射率及多光谱图像训练得到。

其中，可以实时识别一次目标地面材质；或者每间隔一段时间重新识别一次目标地面材质；或者切换了清洁区域后重新识别一次目标地面材质，例如，清洁区域从客厅切换了到了卧室，需要重新获取第三多光谱数据；可以理解，有些情况下客厅和卧室的地面材质可能不同，为了可以准确地识别到材质的变化，可以结合三维视觉传感器、GPS传感器等传感器识别清洁区域是否发生变化。还或者，可以根据所处环境中光线的变化大小选择是否需要识别一次目标地面材质，例如，设置光传感器检测环境光线的强弱变化，当检测到环境光线发生了变化时或检测到环境光线变化超过预定值时，可以重新获取第三多光谱数据。当需要重新识别一次目标地面材质时，需要重新获取第一多光谱数据和第二多光谱数据，及重新计算第三多光谱数据。

S104：根据材质信息确定扫地机器人的工作模式，并控制扫地机器人按照工作模式工作。

可以理解，扫地机器人具有多种不同的工作模式，每种工作模式下的工作参数存在一定差异，预先设置好不同的材质信息对应的预设模式，可以先根据材质信息确定对应的工作模式，并将材质信息对应的工作模式设置为当前工作模式，进而控制扫地机器人按照工作模式工作。可以理解，不同工作模式对应的工作参数不同，以适应不同的材质，在识别到地面材质后可以及时调整至与该材质相对应的工作模式，如此，可以合理利用资源并可提高扫地机器人的工作效率。

在一些实施方式中，识别到地面具有不同区域的材质信息不同时，则可根据识别到的材质分区域选择对应的工作模式进行工作，以充分合理利用资源。

另外，在一些实施方式中，在确定目标地面的材质信息之后，还可以获取目标地面的清洁程度，控制方法还包括步骤：根据第一多光谱数据、第二多光谱数据及参考多光谱数据，确定目标地面的清洁程度信息。

具体来说，一种实施方式中，根据反射率确定目标地面的清洁程度信息。同一材质在不同清洁程度下的反射率会有一定差异，根据反射率可以确定清洁程度信息。具体可以根据反射率处于哪个范围确定材质，然后根据反射率的具体大小确定清洁程度，本实施例中，可以通过深度学习模型来确定目标地面的清洁程度信息，具体来说，预先存储有清洁程度识别神经网络模型，清洁程度识别神经网络模型可识别每个材质下不同反射率对应的清洁程度，进而清洁程度识别神经网络模型可以根据反射率确定目标地面的清洁程度信息，将反射率输入到清洁程度识别神经网络模型中进行处理，得到反射率对应的目标地面的清洁程度信息。

清洁程度识别神经网络模型可由其他设备预先训练好，并将训练好的清洁程度识别神经网络模型的相关参数进行冻结后，移植到扫地机器人。清洁程度识别神经网络模型具体的训练方法可以为：获取训练样本集，训练样本集中包括每个材质的样本反射率及其对应的清洁程度标签。通过深度学习或者机器学习建立每个材质的样本反射率及其对应的清洁程度标签之间的对应关系，得到清洁程度识别神经网络模型。其中，在确定训练样本集时，可以理解的是，样本数量越多、样本的类型越丰富，训练后的模型的识别效果越准确。例如，在确定训练样本时，可以获取多个不同清洁程度标签及其对应的样本反射率，使得训练样本更加的丰富。

另一种实施方式中，不同的地面材质的反射率不同，相同地面材质的不同清洁程度的反射率也会存在差异，为了准确确定地面清洁程度，可通过反射率和地面的多光谱图像共同判定清洁程度，如此可以避免不同材质的清洁程度不同而反射率相同的情况。具体地，根据反射率及第一多光谱数据对应的多光谱图像或第二多光谱数据对应的多光谱图像，确定目标地面的清洁程度信息。本实施例中，可通过深度学习模型来确定目标地面的清洁程度信息，具体来说，预先存储清洁程度识别神经网络模型，清洁程度识别神经网络模型用于根据反射率和多光谱图像确定目标地面的清洁程度信息，将反射率和多光谱图像输入到清洁程度识别神经网络模型中进行处理，得到反射率和多光谱图像对应的目标地面的清洁程度信息。其中，清洁程度识别神经网络模型可预先通过不断训练得到。

在获取清洁程度信息之后，可根据清洁程度信息确定扫地机器人的工作时长。可以理解，不同清洁程度的清洁时间不同，例如清洁程度较低(即，地面比较脏)则需要扫地机器人清洁较长时间才能清洁干净，清洁程度较高(即，地面比较干净)，则需要扫地机器人清洁较短时间即可清洁干净；如此，相较于传统的扫地机器人无法识别清洁程度而设置统一的清洁时长，导致清洁不干净或者浪费资源，本实施例中，针对性设置清洁时长，在保证清洁干净的同时还可以节约资源。另外，还可根据工作时长可以判断当前电池电量是否可以完成本次清洁，如果无法完成本次清洁，可以对用户进行提示或者自动前往充电桩充电。

需要说明的是，一般来说，可以先确定材质信息，后确定清洁程度信息，但是，为了提升效率，材质信息和清洁程度信息也可以是同时确定。当材质信息和清洁程度信息同时确定时，材质识别神经网络模型和清洁程度识别神经网络模型可以合并为一个模型，训练时就可以训练为一个模型。

此外，结合反射率识别地面材质的方法，该方法能在不同平台的扫地机器人上通用，只需要根据多光谱模组与地面之间的距离，更新对应的参考多光谱数据，可以使该控制方法在不同平台的扫地机器人上均能通用。

本申请主要能获得多个像素点的多光谱数据，检测范围较广，同时还有图像信息，能获得更多的信息。当然，在其它的实施例中，也可以使用单点多光谱传感器，虽然单点多光谱方案一次仅能获得一个像素点光谱，只能检测地面某一个点的材质及清洁效果，但也能达到局部材质分析的目的，只是能检测的范围有限。

本申请实施例中，分别在多光谱光源关闭和开启时控制多光谱传感器采集目标地面的第一多光谱数据和第二多光谱数据；根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息；并按照目标地面的材质信息对应的工作模式进行工作。上述方案中，采用了多光谱光源及多光谱传感器，多光谱传感器能同时检测地面对多个光谱波段的响应数据，根据多个光谱波段的响应数据判断目标地面的材质信息，判断维度更广、识别精度更高、得到的识别结果更加准确；并且，在识别材质后，进一步地按照材质对应的工作模式工作，使得扫地机器人的工作效率较高、资源利用率较高。另外，在识别地面材质时还考虑到了环境光的影响，提高了识别精度。

另外，本申请通过对地面材质的识别，有助于扫地机器人切换清洁模式，对地面清洁程度的判断，有助于扫地机器人判断停止工作的时机，这样在保证地面清洁干净的同时，保持较好的续航能力。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

请参见图3，图3是本申请第二实施例提供的扫地机器人的控制装置的示意图。包括的各单元用于执行图1对应的实施例中的各步骤。具体请参阅图1对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。

参见图3，扫地机器人的控制装置3包括：

第一控制单元310，用于关闭多光谱光源，并控制多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据；第二控制单元320，用于开启多光谱光源，并控制多光谱传感器采集目标地面反射的第二多光谱数据；第一处理单元330，用于根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息，参考多光谱数据为预设材质的物体反射多光谱光束的而生成的数据，参考多光谱数据为预设材质的物体对多光谱光束的反射数据；第三控制单元340，用于根据材质信息确定扫地机器人的的工作模式，并控制扫地机器人按照工作模式工作。

进一步地，第一处理单元330，具体用于：根据第一多光谱数据和第二多光谱数据，计算得到第三多光谱数据，第三多光谱数据为目标地面对多光谱光束的反射数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率；根据反射率确定目标地面的材质信息。

进一步地，第一处理单元330，具体用于：根据第一多光谱数据和第二多光谱数据，计算得到第三多光谱数据，第三多光谱数据为目标地面反射多光谱光束得到的反射光数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率；根据反射率及第一多光谱数据或第二多光谱数据对应的多光谱图像，确定目标地面的材质信息。

进一步地，扫地机器人的控制装置3，还包括：第二处理单元，用于根据第一多光谱数据、第二多光谱数据及参考多光谱数据，确定目标地面的清洁程度信息。

进一步地，第二处理单元，具体用于：根据第一多光谱数据和第二多光谱数据，得到第三多光谱数据，第三多光谱数据为目标地面对多光谱光束的反射数据；根据第三多光谱数据及参考多光谱数据，计算目标地面对多光谱光束的反射率；根据反射率确定目标地面的清洁程度信息；或根据反射率及第一多光谱数据或第二多光谱数据对应的多光谱图像，确定目标地面的清洁程度信息。

进一步地，扫地机器人的控制装置3，还包括：第三处理单元，用于根据清洁程度信息确定扫地机器人的工作时长。

进一步地，第一处理单元330，具体用于：根据第三多光谱数据中每个光谱波段的数据、及参考多光谱数据中每个光谱波段的数据，计算目标地面对每个光谱波段的光的反射率。

进一步地，扫地机器人的控制装置3，还包括：读取单元，用于从存储器内读取参考多光谱数据；其中，参考多光谱数据为一个，或，参考多光谱数据为多个，根据多光谱模组与地面之间的距离确定对应的参考多光谱数据，多光谱模组包括多光谱光源和多光谱传感器。

图4是本申请第三实施例提供的扫地机器人的示意图。如图4所示，该实施例的扫地机器人4包括处理器40、存储器41、存储在存储器41中并可在处理器40上运行的计算机程序42、多光谱光源43及多光谱传感器44。多光谱光源43用于产生多光谱光束；多光谱传感器44用于在多光谱光源43关闭状态下采集第一多光谱数据，以及在多光谱光源43开启状态下采集第二光谱数据。处理器40执行计算机程序42时实现上述各个扫地机器人的控制方法实施例中的步骤，例如图1所示的步骤101至104。或者，处理器40执行计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示单元310至340的功能。

示例性的，计算机程序42可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器41中，并由处理器40执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序42在扫地机器人4中的执行过程。例如，计算机程序42可以被分割成第一控制单元、第二控制单元、第一处理单元、第二处理单元，各单元具体功能如下：

第一控制单元，用于关闭多光谱光源，并控制多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据；第二控制单元，用于开启多光谱光源，并控制多光谱传感器采集目标地面反射的第二多光谱数据；第一处理单元，用于根据第一多光谱数据、第二多光谱数据及参考多光谱数据确定目标地面的材质信息，参考多光谱数据为预设材质的物体反射多光谱光束的而生成的数据，参考多光谱数据为预设材质的物体对多光谱光束的反射数据；第四控制单元，用于根据材质信息确定扫地机器人的工作模式，并控制扫地机器人按照工作模式工作。

扫地机器人可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是扫地机器人4的示例，并不构成对扫地机器人4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如扫地机器人还可以包括输入输出设备、网络接入设备、总线等。

处理器40与多光谱光源43和多光谱传感器44连接，处理器40执行计算机程序42控制关闭或者开启多光谱光源43，处理器40执行计算机程序42控制多光谱传感器44采集目标地面反射的第一多光谱数据和第二多光谱传感器。所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器41可以是扫地机器人4的内部存储单元，例如扫地机器人4的硬盘或内存。存储器41也可以是扫地机器人4的外部存储设备，例如扫地机器人4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，扫地机器人4还可以既包括扫地机器人4的内部存储单元也包括外部存储设备。存储器41用于存储计算机程序以及扫地机器人4所需的其他程序和数据。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种扫地机器人的控制方法，其特征在于，所述扫地机器人包括多光谱传感器及多光谱光源，所述控制方法包括：

关闭所述多光谱光源，并控制所述多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据；

开启所述多光谱光源以朝向所述目标地面发射多光谱光束，并控制所述多光谱传感器采集所述目标地面反射的环境光和所述多光谱光束，得到第二多光谱数据；

根据所述第一多光谱数据、所述第二多光谱数据及参考多光谱数据确定所述目标地面的材质信息，所述参考多光谱数据为预设材质的物体对所述多光谱光束的反射数据；

根据所述材质信息确定所述扫地机器人的工作模式，并控制所述扫地机器人按照所述工作模式工作。

2.如权利要求1所述的扫地机器人的控制方法，其特征在于，所述根据所述第一多光谱数据、所述第二多光谱数据及参考多光谱数据，确定所述目标地面的材质信息，包括：

根据所述第一多光谱数据和所述第二多光谱数据，计算得到第三多光谱数据，所述第三多光谱数据为所述目标地面对所述多光谱光束的反射数据；

根据所述第三多光谱数据及所述参考多光谱数据，计算所述目标地面对所述多光谱光束的反射率；

根据所述反射率确定所述目标地面的材质信息。

3.如权利要求1所述的扫地机器人的控制方法，其特征在于，所述根据所述第一多光谱数据、所述第二多光谱数据及参考多光谱数据，确定所述目标地面的材质信息，包括：

根据所述第一多光谱数据和所述第二多光谱数据，计算得到第三多光谱数据，所述第三多光谱数据为所述目标地面反射所述多光谱光束得到的反射数据；

根据所述第三多光谱数据及所述参考多光谱数据，计算所述目标地面对所述多光谱光束的反射率；

根据所述反射率及所述第一多光谱数据或所述第二多光谱数据对应的多光谱图像，确定所述目标地面的材质信息。

4.如权利要求1所述的扫地机器人的控制方法，其特征在于，还包括：

根据所述第一多光谱数据、所述第二多光谱数据及参考多光谱数据，确定所述目标地面的清洁程度信息。

5.如权利要求4所述的扫地机器人的控制方法，其特征在于，所述根据所述第一多光谱数据、所述第二多光谱数据及参考多光谱数据，确定所述目标地面的清洁程度信息，包括：

根据所述第一多光谱数据和所述第二多光谱数据，计算得到第三多光谱数据，所述第三多光谱数据为所述目标地面对所述多光谱光束的反射数据；

根据所述第三多光谱数据及所述参考多光谱数据，计算所述目标地面对所述多光谱光束的反射率；

根据所述反射率确定所述目标地面的清洁程度信息；或

根据所述反射率及所述第一多光谱数据或所述第二多光谱数据对应的多光谱图像，确定所述目标地面的清洁程度信息。

6.如权利要求4或5所述的扫地机器人的控制方法，其特征在于，在所述根据所述第一多光谱数据、所述第二多光谱数据及参考多光谱数据，确定所述目标地面的清洁程度信息之后，还包括：

根据所述清洁程度信息确定所述扫地机器人的工作时长。

7.如权利要求2、3及5中任一所述的扫地机器人的控制方法，其特征在于，所述根据所述第三多光谱数据及所述参考多光谱数据，计算所述目标地面对所述多光谱光束的反射率，包括：

根据所述第三多光谱数据中每个光谱波段的数据、及所述参考多光谱数据中每个光谱波段的数据，计算所述目标地面对所述每个光谱波段的光的反射率。

8.如权利要求1所述的扫地机器人的控制方法，其特征在于，在所述根据所述第三多光谱数据及其对应的参考多光谱数据确定所述目标地面的材质信息之前，还包括：

从存储器内读取所述参考多光谱数据；其中，所述参考多光谱数据为一个；或，所述参考多光谱数据为多个，根据所述多光谱模组与地面之间的距离确定对应的所述参考多光谱数据，所述多光谱模组包括所述多光谱光源和所述多光谱传感器。

9.一种扫地机器人的控制装置，其特征在于，所述扫地机器人包括多光谱传感器及多光谱光源，包括：

第一控制单元，用于关闭所述多光谱光源，并控制所述多光谱传感器采集目标地面反射的环境光，得到第一多光谱数据；

第二控制单元，用于开启所述多光谱光源以朝向所述目标地面发射多光谱光束，并控制所述多光谱传感器采集所述目标地面反射的环境光和所述多光谱光束，得到第二多光谱数据；

第一处理单元，用于根据所述第一多光谱数据、所述第二多光谱数据及参考多光谱数据确定所述目标地面的材质信息，所述参考多光谱数据为预设材质的物体对所述多光谱光束的反射数据；

第三控制单元，用于根据所述材质信息确定所述扫地机器人的工作模式，并控制所述扫地机器人按照所述工作模式工作。

10.一种扫地机器人，其特征在于，包括存储器、处理器、存储在所述存储器中并可在所述处理器上运行的计算机程序、多光谱光源及多光谱传感器，所述多光谱光源用于产生多光谱光束；所述多光谱传感器用于在所述多光谱光源关闭状态下采集第一多光谱数据，以及在所述多光谱光源开启状态下采集第二光谱数据；所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。