CN111743462B - 扫地机器人的清扫方法及装置 - Google Patents

Abstract

本发明公开了一种扫地机器人的清扫方法及装置，包括：从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件；确定所述声音片段对应的用户清扫需求；根据环境感知传感器采集的环境数据，构建所述用户清扫需求对应的实时地图；根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式。本发明的技术方案通过对声音信息进行说话人识别，并根据不同的用户采用不同的清扫方式进行清扫，丰富了扫地机器人的清扫模式，满足不同的清扫要求，使得清扫过程更加智能。

Description

扫地机器人的清扫方法及装置

技术领域

本发明涉及家用电器技术领域，尤其涉及扫地机器人的清扫方法及装置。

背景技术

随着经济的发展和科技的进步，人们对生活环境质量的要求越来越高，而随着人工智能的崛起，市场也越来越关注于基于人工智能技术的清扫技术，在现有的智能清扫技术中，扫地机器人由于能够降低人们在家里的劳动强度，提高人们在家里的劳动效率，因此受到广泛的欢迎。扫地机器人又称自动打扫机、智能吸尘、机器人吸尘器等，是智能家用电器的一种，能凭借一定的人工智能，自动在房间内完成地板清理工作。

在传统的自动清扫过程中，扫地机器人往往是根据预设程序在当前场景内按照预设的清扫路径执行清扫操作，只能很随意地清扫，清扫不够智能。

发明内容

本发明提供一种扫地机器人的清扫方法及装置，通过对声音信息进行说话人识别，并根据不同的用户采用不同的清扫方式进行清扫，丰富了扫地机器人的清扫模式，满足不同的清扫要求，使得清扫过程更加智能。

第一方面，本发明提供了一种扫地机器人的清扫方法，包括：

从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件；

确定所述声音片段对应的用户清扫需求；

根据环境感知传感器采集的环境数据，构建所述用户清扫需求对应的实时地图；

根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式。

第二方面，本发明提供了一种扫地机器人的清扫装置，包括：

片段获取模块，用于从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件；

需求确定模块，用于确定所述声音片段对应的用户清扫需求；

地图构建模块，用于根据环境感知传感器采集的环境数据，构建所述用户清扫需求对应的实时地图；

清扫模块，用于根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式。

第三方面，本发明提供了一种扫地机器人，包括：如第二方面所述的扫地机器人的清扫装置，以及和所述扫地机器人的清扫装置连接的语音采集装置以及环境感知传感知器。

第四方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。

第五方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

本发明提供了一种扫地机器人的清扫方法及装置，该方法通过从语音采集装置采集的声音信号中确定声音片段，声音片段对应的语义内容满足第一预设条件，从而便于后续的数据处理，然后，确定声音片段对应的用户清扫需求，然后，根据环境感知传感器采集的环境数据，构建用户清扫需求对应的实时地图，之后，根据用户清扫需求以及实时地图，确定清扫路径以及清扫路径对应的清扫模式，得到的清扫路径以及清扫模式基于实时地图以及用户清扫需求确定，具有相对较高的参考价值，后续，当扫地机器人根据清扫模式，按照清扫路径进行清扫时，能够确保清扫效果，且能满足用户清扫需求，提高用户体验。综上，本发明提供的技术方案通过对声音信息进行说话人识别，并根据不同的用户采用不同的清扫方式进行清扫，丰富了扫地机器人的清扫模式，满足不同的清扫要求，使得清扫过程更加智能。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种扫地机器人的清扫方法的流程示意图；

图2为本发明一实施例提供的另一种扫地机器人的清扫方法的流程示意图；

图3为本发明一实施例提供的一种扫地机器人的清扫装置的结构示意图；

图4为本发明一实施例提供的一种扫地机器人的结构示意图；

图5为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明提供的扫地机器人的清扫方法的具体实施例。本实施例中，所述方法具体包括以下步骤：

步骤101、从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件。

具体地，语音采集装置具体指的是能够采集声音的设备，比如，麦克风阵列。其中，语音采集装置可以安装在扫地机器人上，也可以安装在房间内，当语音采集装置安装在房间内时，需要将语音采集装置采集的声音信号发送给扫地机器人，从而使得扫地机器人能够及时了解用户的说话内容。

具体地，声音信号具体指的是语音采集装置采集的外界环境的声波的振幅随时间变化的模拟信号；声音片段具体指的是满足第一预设条件的语义内容对应在声音信号上的信号片段。需要说明的是，声音片段可以有多个，每个声音片段对应的语义内容均满足第一预设条件。

具体地，语义内容满足第一预设条件具体指的是语义内容包括预设清扫控制指令，预设清扫指令可以包括一个也可以包含多个，具体需要结合实际需求确定，比如，预设清扫控制指令可以是清扫、打扫等词语。可选地，声音片段对应的语义内容包含一个预设清扫控制指令，从而确保声音片段对应一个用户，从而便于数据处理。

具体地，获取语音采集装置采集的声音信号，对声音信号进行语义识别，以得到声音信号的语义内容，将声音信号的语义内容和预设清扫控制指令进行匹配，判断所接收到的声音信号是否包含预设清扫控制指令，若经过判断，声音信号的语义内容包含预设清扫控制指令，确定预设清扫控制指令对应的语义内容对应在声音信号中的片段，并将其确定为声音片段。

步骤102、确定所述声音片段对应的用户清扫需求。

具体地，用户清扫需求可以指示对房间清扫的最终效果，比如，用户清扫需求为高，则说明对房间清扫后，房间的干净程度应该较高。

具体地，针对每个声音片段，提取声音片段中的声纹信息，对声纹信息和若干个预设候选声纹信息进行匹配，从而判断声音片段对应的用户为若干个预设候选声纹信息分别对应的预存用户中的哪一个，从而确定声音片段对应的用户，针对每个预设候选声纹信息对应的预存用户，预存用户设置有用户清扫需求，基于若干个预设候选声纹信息分别对应的预存用户和若干个用户清扫需求的对应关系，确定声音片段对应的用户清扫需求。需要说明的是，若声音片段对应的用户不是若干个预设候选声纹信息分别对应的预存用户，则扫地机器人不进行清扫工作。

还需要说明的是，当声音片段有多个时，每个声音片段分别对应一个用户，这些用户可能相同，也可以不同，也可以部分相同，用户清扫需求可以选择清扫要求最高的，从而确保满足所有用户的清扫要求，提高用户体验。

可选地，可以通过声纹识别模型确定声音片段对应的用户。声纹识别模型可以通过训练集训练得到，训练集包括若干个预存用户在不同状态时的声音信号，也可以包括非预存用户的声音信号，从而确保声纹识别模型识别出的用户的准确性，这里，扫地机器人可以随时收集声音信号，从而不断更新训练集中的若干个预存用户的声音信号，利用更新后的训练集更新声纹识别模型，从而不断优化声纹识别模型，并且新增预存用户时，可在训练集中随时增加预存用户的声音信号，扩大能够识别的声纹特征，使得扫地机器人具备自主学习能力。

步骤103、根据环境感知传感器采集的环境数据，构建所述用户清扫需求对应的实时地图。

本发明实施例中，扫地机器人上设置有环境感知传感器，环境感知传感器用于采集环境数据，基于环境数据构建用户清扫需求对应的实时地图，实时地图考虑了当前的环境状况，具有较高的参考价值，同时，不同用户清扫需求可以对应不同的实时地图，不同的实时地图分别对应的清扫路径规划的方法不同，从而根据用户清扫需求调整实时地图，以适应不同场景。

具体地，环境感知传感器用于感知扫地机器人周围的环境信息，可选地，环境感知传感器包括视觉传感器和/或深度传感器，对应的，环境数据包括深度传感器采集的深度图像和/或视觉传感器采集的室内图像；其中，视觉传感器具体指的是利用光学元件和成像装置获取外部环境图像信息的仪器，可以是RGB相机，RGB相机可以是单目相机或鱼眼相机，此处不做限定，任何现有技术中的RGB相机皆可。深度传感器具体指的是用于采集外环环境到深度传感器距离的仪器，可以是结构光传感器、激光传感器等，本发明实施例对此不做具体限定，任何现有技术中的深度传感器皆可。其中，结构光传感器指的是任何能够实现投射结构光线并可采集投射的结构光线的仪器，可选地，结构光传感器包括用于向外投射结构光线的结构光发射器及用于采集被摄目标反射的所述结构光发射器投射的结构光线的结构光接收器。具体地，结构光发射器包括光线式结构光发射器或光面式结构光发射器，优选光线式结构光发射器。结构光接收器优选单目红外线摄像头。

可选地，本发明实施例的实时地图可通过如下方法确定：

获取初始三维地图；根据环境感知传感器采集的环境数据，确定环境数据对应的三维图像；根据三维图像以及初始三维地图，构建用户清扫需求对应的实时地图。

具体地，初始三维地图可以是空房间三维地图，也可以是历史三维地图，此处不做具体限定，具体需要结合实际需求确定。其中，空房间三维地图指的是没有家具和电器时的扫地机器人当前所在的房间或者用户所居住房子的所有房间的三维地图，优选用户所居住房子的所有房间的三维地图，这样，只需调用一次初始三维地图即可，当初始三维地图为空房间三维地图时，实时地图可以理解为将三维图像融合到空房间三维地图中所得到的地图；历史三维地图指的是以前存储的扫地机器人当前所在的房间或者用户所居住房子的所有房间的三维地图，包括家具和电器，优选用户所居住房子的所有房间的三维地图，这样，只需调用一次初始三维地图即可，当初始三维地图为历史三维地图时，实时地图可以理解为通过三维图像对历史三维地图进行更新所得到的地图。需要说明的是，空房间三维地图因为不包含家具和电器，占用的存储容量较小，可节约扫地机器人的存储容量，降低计算量，同时能够灵活的对其进行布置，便于数据处理，因此，优选空房间三维地图。

具体地，三维图像通过对环境数据进行三维重建得到。三维重建可以采用主动式三维重建方法，包括莫尔条纹法、结构光法、三角测距法以及飞行时间法中的任意一种或多种，也可以采用被动式三维重建方法，包括纹理恢复形状法、阴影恢复形状法以及立体视觉法中的任意一种或多种，具体需要基于环境感知传感器的类型确定。三维重建为现有技术，本发明实施例对此原理不做过多的赘述。

当实时地图为具有语义的地图时，可选地，对三维图像进行目标物识别，确定三维图像中第一目标物的位置信息以及语义信息；根据三维图像中第一目标物的位置信息以及语义信息，对三维地图和初始三维地图进行融合，以构建所述用户清扫需求对应的实时地图。

具体地，为了确保三维图像能够真实的反映出房间的实际情况，三维图像中第一目标物具体指的是三维图像中的所有物体，比如，家具、电器、地面及墙壁等。第一目标物的位置信息具体指的是第一目标物在三维图像中的三维坐标，可以包括组成第一目标物的多个参考点的三维坐标，从而更好的描述目标物的大小及形状。具体地，第一目标物的语义信息具体指的是目标物类型。

当实时地图为不具有语义的地图时，可选地，对三维图像进行目标物识别，确定三维图像中第一目标物的位置信息；根据三维图像中第一目标物的位置信息，对三维地图和初始三维地图进行融合，以构建用户清扫需求对应的实时地图。

具体地，通过图像识别方法对三维图像进行识别，其中，图像识别方法可以采用现有技术中的三维图像识别方法，本发明实施对三维图像识别的原理不做过多赘述。

具体地，用户清扫需求满足第二预设条件具体指的是，用户清扫需求相对较高；用户清扫需求满足第三预设条件具体指的是，用户清扫需求相对较低。举例来说，当用户清扫需求相对较低时，可以选择不具有语义的实时地图，当用户清扫要求较高时，可以选择具有语义的实时地图。其中，实时地图优选三维地图。

步骤104、根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式。

具体地，清扫路径具体指的是扫地机器人清扫作业时的运动轨迹。清扫模式是预设的，清扫模式可以包括若干种模式，比如可以是快速清扫模式、深度清扫模式、柔和清扫模式、节电清扫模式和标准清扫模式。每种清扫模式包括但不限于清扫速度以及清扫强度。其中，清扫速度是指在清扫时的速度参数，清扫速度越慢清扫的越干净，对于深度清扫模式对应的清扫速度较慢，对于快速清扫模式对应的清扫速度较快。清扫强度是指在清扫时清扫结构对地面的作用力，清扫强度越大清扫的越干净，对于深度清扫模式对应的清扫强度较大，对于快速清扫模式对应的清扫强度较小，清扫结构包括边刷、滚刷、杂物盒、电机等类似于吸尘器的结构。

作为一种可能的情况，当实时地图不具有语义时，可以根据用户清扫需求确定一种清扫模式，根据该清扫模式完成房间的清扫。

为了确保清扫效果，可选地，具体可通过如下方法进行清扫：

根据用户清扫需求，确定参考清扫模式；当参考清扫模式满足第四预设条件时，获取实时地图中的地面区域对应的地面图像；根据对地面图像进行识别的结果，确定地面图像中的地面区域对应的干净程度；根据地面区域对应的干净程度，确定地面区域对应的清扫路径以及清扫模式。

具体地，参考清扫模式满足第四预设条件具体地指的是，参考清扫模式属于指定清扫模式，为了确保清扫效果，指定清扫模式可以是清扫效果相对较差的模式，比如，快速清扫模式或柔和清扫模式，考虑到地面的情况通常不同，对于有些地面没有必要进行大力清扫，指定清扫模式也可以是清扫效果非常好的模式，比如，强力清扫模式，从而确保对地面较脏区域清扫效果，同时也能对较为干净的地面进行简单快速的清扫，从而提升清扫效率，满足用户清扫需求，提高用户体验。

具体地，地面图像为三维图像。通过三维图像识别方法对地面图像进行识别，其中，三维图像识别方法可以采用现有技术中的方法，本发明实施对此不做过多赘述。

具体地，通过预先设置干净程度和清扫模式之间的映射关系，从而得到每个预存用户分别对应的干净程度和清扫模式之间的预设关系，映射关系指示了不同干净程度分别对应的清扫模式，每个预存用户分别对应的预设关系可以相同也可以不同，对于干净程度的具体划分以及清扫模式的种类需要结合实际场景，以及扫地机器人能够实现的清扫模式确定，举例来说，干净程度可以包括A1、A2、A3、A4、A5，用户A依次对应的清扫模式可以是V1、V2、V3、V4、V5，用户B依次对应的清扫模式可以是不清扫、V1、V2、V3、V4，其中，V1到V5表示不同的清扫模式。具体地，可以用数字或字母指代干净程度，从而便于数据处理。

需要说明的是，地面区域可以有多个，每个地面区域对应的干净程度相近，由闭合线形成，这里，需要对实时地图中的所有地面进行聚类，将干净程度相近的地面聚集到一起以形成地面区域，可准确的了解到地面情况，以便更为准确的规划地面区域的清扫路径以及确定清扫模式，这里通过实时检测地面的干净程度，并基于此确定清扫路径以及清扫模式，当扫地机器人按照清扫路径以及清扫模式对应的地面区域进行清扫时，能够确保清扫效果，提高用户体验。

在本发明实施例中，在清扫模式的清扫效果不理想的情况下，可以通过实时检测地面的干净程度，并根据干净程度确定清扫路径以及清扫模式，从而确保地面的清洁效果，提高用户体验。在清扫模式的清扫效果理想的前提下，可以通过实时检测地面的干净程度，并根据干净程度确定清扫路径以及清扫模式，从而确保地面的清洁效率，提高用户体验。

为了确保清扫效果，可选地，具体可通过如下方法进行清扫：

根据实时地图中的第二目标物的描述信息，对实时地图中的地面区域进行划分，得到第一清扫区域以及第二清扫区域，第一清扫区域指示了其对应的第二目标物所影响的地面范围，第二清扫区域指示了第一清扫区域之外的地面范围；根据第一清扫区域对应的第二目标物的描述信息以及用户清扫需求，确定第一清扫区域对应的第一清扫路径以及第一清扫模式；根据用户清扫需求，确定第二清扫区域的第二清扫路径以及第二清扫模式。

具体地，描述信息具体指的是描述第二目标物的相关信息，比如，可以是位置、类型、色彩、纹理、是固定物体还是可移动物体。

需要说明的是，考虑到实时地图中的物体数量可能有很多，为了减少对参考价值较小或没有参考价值的物体的计算量，第二目标物具体指的是指定的目标物，从而减少不必要的计算量，可更为快速的对实时地图中的地面区域进行划分，当环境感知传感器包括视觉传感器以及深度传感器时，实时地图融合了视觉传感器以及深度传感器采集的环境数据，具有相对较高的准确性，虽然视觉传感器也可以采集地面图像，且视觉图像的计算量以及数据处理相对于实时地图更为容易，但是准确性相对较低，因此，可以选择从实时地图中确定地面图像。当环境感知传感器仅包括视觉传感器时，此时，地面图像直接采用视觉传感器采集的地面图像即可。

当实时地图具有语义信息时，第二目标物的描述信息可以包括语义信息以及位置信息，位置信息包括但不限于第二目标物的轮廓点的三维坐标，此时，第一清扫区域可以基于第二目标物的类型以及轮廓位置确定，具体指示了第二目标物所影响的地面区域，不同第二目标物对地面区域的干净程度的影响不同，可选地，设置一个第二目标物的轮廓所形成的区域的扩大倍数，从而得到不同第二目标物分别对应的第一清扫区域，这里，按照扩大倍数扩大时，应当以第二目标物的轮廓所形成的区域的中点为基点进行放大，比如，餐桌能够影响的地面区域相对较大，此时，可以设置一个相对较大的扩大倍数，此时，餐桌的轮廓所形成的区域为餐桌的桌面，按照设置的扩大倍数，以桌面的中心点为基点进行扩大，扩大后形成的区域为餐桌所影响的地面区域，衣柜能够影响的地面区域相对较小，此时，可以设置一个相对较小的扩大倍数，此时，衣柜的轮廓所形成的区域为衣柜的地面，按照设置的扩大倍数，以地面的中心点为基点进行扩大，扩大后形成的区域为衣柜所影响的地面区域。每个第一清扫区域分别对应的第一清扫模式也可以相同也可以不同，具体需要结合第二目标物的描述信息以及用户清扫需求提前设置，第一清扫路径应当和第一清扫模式相互配合，从而满足用户清扫需求，达到理想的清扫效果。

当实时地图不具有语义信息时，第二目标物的描述信息可以包括位置信息，位置信息包括但不限于第二目标物的轮廓点的三维坐标，此时，第一清扫区域可以基于第二目标物的轮廓位置确定，具体指示了第二目标物所影响的地面区域，这里，由于不用考虑第二目标物的类型，因此，可以认为第二目标物所影响的地面区域相同，可选地，设置一个第二目标物的轮廓所形成的区域的扩大倍数，从而得到第二目标物对应的第一清扫区域，每个第二目标物的扩大倍数相同。需要说明的是，每个第一清扫区域分别对应的第一清扫模式相同，第一清扫模式和第二清扫模式可以相同也可以不同，具体需要结合实际场景提前设定。

需要说明的是，第一清扫区域以及第二清扫区域应当根据第二目标物的自身属性确定，不依赖用户清扫需求；第一清扫路径的规划主要依赖于第二目标物的自身属性，也可以根据用户清扫需求适当的调整清扫面积的大小、相邻路径之间的距离以及重叠面积；而清扫模式主要依赖于用户清扫需求，也可以根据第一清扫路径的情况，适当的调整清扫强度或清扫速度。

需要说明的是，在规划第二清扫区域时，应当以第一清扫路径的开始点或者结束点为参考，从而确保第二清扫路径和第一清扫路径是连续，保证扫地机器人能够有序的对第一清扫区域以及第二清扫区域进行清扫。

通过以上技术方案可知，本实施例存在的有益效果是：通过对用户的声音信号进行说话人识别，从而实现对不同用户的清扫要求的确定，使得扫地机器人能够处理不同用户的清扫要求；通过环境感知传感器进行三维地图重建，获取用户对应的实时地图，实现基于不同用户的清扫需求构建不同的实时地图；通过不同用户采用不同的清扫模式，且采用不同的实时地图规划清扫路径，从而实现不同用户采用不同的清扫方式进行清扫，确保了清扫效果，满足不同的清扫要求，丰富了扫地机器人的清扫模式，使得清扫过程更加智能。

图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。

为了更加清楚的说明本发明的技术方案，请参考图2，本发明实施例提供了另一种扫地机器人的清扫方法，本实施例在前述实施例的基础上，结合具体应用场景进行进一步的叙述，具体场景如下：高某说“请清扫房间”，高某为家庭成员，所居住的房子有3个房间，分别为A1、A2、A3。本实施例中，具体可以包括如下各个步骤：

步骤201、从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件。

假设语音采集装置设置在扫地机器人上，语音采集装置采集到高某说话产生的声音信号，对声音信号进行语义识别，得到的声音信号对应的语义内容为：请清扫房间，同时判断声音信号对应的语义内容包括“清扫”这一预设清扫指令，此时，将“清扫”对应在声音信号上的片段确定为声音片段。

步骤202、确定所述声音片段对应的用户清扫需求。

具体地，将上述声音片段输入到声纹识别模型中，声纹识别模型可提取声音片段中的声纹信息，并识别声纹信息对应的用户，从而得到声音片段对应的用户为高某；或者，提取声音片段对应的声纹信息，将声纹信息与预先构建的声纹数据库进行匹配，确定声音片段对应的用户为高某。每个用户提前设置有的清扫需求，因此，将高某对应的清扫需求确定为用户清扫需求。

步骤203、获取初始三维地图以及环境感知传感器采集的环境数据；根据所述环境感知传感器采集的环境数据，确定所述环境数据对应的三维图像。

假设扫地机器人上安装有RGB摄像头以及结构光传感器，此时，即可获取房间A1到A3的空房间三维地图，然后获取RGB摄像头采集的室内图像以及结构光传感器采集的室内深度图像，这里，室内图像和室内深度图像是对应的，换言之，室内深度图像包括室内图像对应的深度信息，然后，基于深度图像和室内图像进行三维重建，得到三维图像。

步骤204、当所述用户清扫需求满足第二预设条件时，对所述三维图像进行目标物识别，确定所述三维图像中第一目标物的位置信息以及语义信息；根据所述三维图像中第一目标物的位置信息以及语义信息，对所述三维地图和所述初始三维地图进行融合，以构建所述用户清扫需求对应的实时地图。

假设用户清扫需求为高，则可对三维地图进行图像识别，得到三维地图中所有目标物分别对应的位置信息和语义信息，基于此，将三维图像融合到空房间三维地图中，得到具有语义的实时地图。

步骤205、根据所述实时地图中的第二目标物的描述信息，对所述实时地图中的地面区域进行划分，得到第一清扫区域以及第二清扫区域，所述第一清扫区域指示了其对应的所述第二目标物所影响的地面范围，所述第二清扫区域指示了所述第一清扫区域之外的地面范围。

预设设置若干个第二目标物，针对每个第二目标物，获取实时地图中的第二目标物的语义信息、轮廓点的三维坐标、三维坐标的扩大倍数以及轮廓线属性，根据三维坐标的扩大倍数对三维坐标进行扩大，得到扩大后的三维坐标，根据轮廓线属性以及扩大后的三维坐标，对扩大后的三维坐标进行曲线拟合，得到第二目标物所影响的地面区域，并将其确定为第一清扫区域。之后，将实时地图中所有第二目标物分别对应的第一清扫区域之外的地面区域确定为第二清扫区域。

步骤206、根据所述第一清扫区域对应的第二目标物的描述信息以及所述用户清扫需求，确定所述第一清扫区域对应的第一清扫路径以及第一清扫模式；根据所述用户清扫需求，确定所述第二清扫区域的第二清扫路径以及第二清扫模式。

根据第二目标物的类型，确定第一清扫区域对应的第一清扫路径；然后，根据用户清扫需求，确定第一清扫模式，扫地机器人按照第一清扫路径以及第一清扫模式对第一清扫区域进行清扫。

通过以上技术方案可知，本实施例存在的有益效果是：通过对用户的声音信号进行说话人识别，从而实现对用户的清扫要求的确定；通过环境感知传感器进行三维地图重建，获取满足用户要求的具有语义的实时地图；通过实时地图中的目标物的描述信息，确定目标物可影响的区域以及不可影响的区域，针对不同区域分别规划清扫路径以及确定用户的清扫要求对应的清扫模式，实现不同地面采用不同清扫路径以及清扫模式进行清扫，从而采用不同的清扫方式以满足不同用户的清扫要求，同时确保了清扫效果，丰富了扫地机器人的清扫模式，使得清扫过程更加智能。

基于与本发明方法实施例相同的构思，请参考图3，本发明实施例还提供了一种扫地机器人的清扫装置，包括：

片段获取模块301，用于从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件；

需求确定模块302，用于确定所述声音片段对应的用户清扫需求；

地图构建模块303，用于根据环境感知传感器采集的环境数据，构建所述用户清扫需求对应的实时地图；

清扫模块304，用于根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式。

另外在图3所示实施例的基础上，在本发明实施例中，所述清扫模块304，包括：划分单元、第一清扫单元以及第二清扫单元；其中，

所述划分单元，用于根据所述实时地图中的第二目标物的描述信息，对所述实时地图中的地面区域进行划分，得到第一清扫区域以及第二清扫区域，所述第一清扫区域指示了其对应的所述第二目标物所影响的地面范围，所述第二清扫区域指示了所述第一清扫区域之外的地面范围；

所述第一清扫单元，用于根据所述第一清扫区域对应的第二目标物的描述信息以及所述用户清扫需求，确定所述第一清扫区域对应的第一清扫路径以及第一清扫模式；

所述第二清扫单元，用于根据所述用户清扫需求，确定所述第二清扫区域的第二清扫路径以及第二清扫模式。

在本发明实施例中，所述清扫模块304，包括：模式确定单元、图像获取单元、图像识别单元以及第三清扫单元；其中，

所述模式确定单元，用于根据所述用户清扫需求，确定参考清扫模式；

所述图像获取单元，用于当所述参考清扫模式满足第四预设条件时，获取所述实时地图中的地面区域对应的地面图像；

所述图像识别单元，用于根据对所述地面图像进行识别的结果，确定所述地面图像中的地面区域对应的干净程度；

所述第三清扫单元，用于根据所述地面区域对应的干净程度，确定所述地面区域对应的清扫路径以及清扫模式。

在本发明实施例中，所述地图构建模块303，包括：获取单元、图像确定单元以及地图构建单元；其中，

所述获取单元，用于获取初始三维地图以及环境感知传感器采集的环境数据；

所述图像确定单元，用于根据所述环境感知传感器采集的环境数据，确定所述环境数据对应的三维图像；

所述地图构建单元，用于根据所述三维图像以及所述初始三维地图，构建所述用户清扫需求对应的实时地图。

在本发明实施例中，所述地图构建单元，包括：第一识别子单元以及第一构建子单元；其中，

所述第一识别子单元，用于当所述用户清扫需求满足第二预设条件时，对所述三维图像进行目标物识别，确定所述三维图像中第一目标物的位置信息以及语义信息；

所述第一构建子单元，用于根据所述三维图像中第一目标物的位置信息以及语义信息，对所述三维地图和所述初始三维地图进行融合，以构建所述用户清扫需求对应的实时地图。

在本发明实施例中，所述地图构建单元，包括：第二识别子单元以及第二构建子单元；其中，

所述第二识别子单元，用于当所述用户清扫需求满足第三预设条件时，对所述三维图像进行目标物识别，确定所述三维图像中第一目标物的位置信息；

所述第二构建子单元，用于根据所述三维图像中第一目标物的位置信息，对所述三维地图和所述初始三维地图进行融合，以构建所述用户清扫需求对应的实时地图。

在本发明实施例中，所述环境感知传感器包括视觉传感器和/或深度传感器；

所述清扫模式包括清扫强度和/或清扫速度。

为了实现上述实施例，请参考图4，本发明实施例提供了一种扫地机器人，包括：如第二方面实施例提出的扫地机器人的清扫装置403，以及和所述扫地机器人的清扫装置连接的语音采集装置402以及环境感知传感器401。

图5是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器501以及存储有执行指令的存储器502，可选地还包括内部总线503及网络接口504。其中，存储器502可能包含内存5021，例如高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器5022(non-volatile memory)，例如至少1个磁盘存储器等；处理器501、网络接口504和存储器502可以通过内部总线503相互连接，该内部总线503可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等；内部总线503可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。当然，该电子设备还可能包括其他业务所需要的硬件。当处理器501执行存储器502存储的执行指令时，处理器501执行本发明任意一个实施例中的方法，并至少用于执行如图1或图2所示的方法。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成一种扫地机器人的清扫装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的一种扫地机器人的清扫方法。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例还提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行执行指令时，所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图5所示的电子设备；执行指令是一种扫地机器人的清扫装置所对应计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种扫地机器人的清扫方法，其特征在于，包括：

从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件，所述声音片段对应的语义内容满足第一预设条件是指所述声音片段对应的语义内容包括预设清扫控制指令；

确定所述声音片段对应的用户清扫需求；

根据环境感知传感器采集的环境数据，构建所述用户清扫需求对应的实时地图；

根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式；

所述根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式，包括：

根据所述实时地图中的第二目标物的描述信息，对所述实时地图中的地面区域进行划分，得到第一清扫区域以及第二清扫区域，所述第一清扫区域指示了其对应的所述第二目标物所影响的地面范围，所述第二清扫区域指示了所述第一清扫区域之外的地面范围；

根据所述第一清扫区域对应的第二目标物的描述信息以及所述用户清扫需求，确定所述第一清扫区域对应的第一清扫路径以及第一清扫模式；

根据所述用户清扫需求，确定所述第二清扫区域的第二清扫路径以及第二清扫模式；

所述确定所述声音片段对应的用户清扫需求，包括：

提取所述声音片段中的声纹信息，对所述声纹信息和预设候选声纹信息进行匹配，确定所述声音片段对应的用户，基于预设候选声纹信息对应的用户和用户清扫需求的对应关系，确定所述声音片段对应的用户清扫需求。

2.根据权利要求1所述的方法，其特征在于，所述构建所述用户清扫需求对应的实时地图，包括：

获取初始三维地图以及环境感知传感器采集的环境数据；

根据所述环境感知传感器采集的环境数据，确定所述环境数据对应的三维图像；

根据所述三维图像以及所述初始三维地图，构建所述用户清扫需求对应的实时地图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述三维图像以及所述初始三维地图，构建所述用户清扫需求对应的实时地图，包括：

当所述用户清扫需求满足第二预设条件时，对所述三维图像进行目标物识别，确定所述三维图像中第一目标物的位置信息以及语义信息；

根据所述三维图像中第一目标物的位置信息以及语义信息，对所述三维地图和所述初始三维地图进行融合，以构建所述用户清扫需求对应的实时地图。

4.根据权利要求2所述的方法，其特征在于，所述根据所述三维图像以及所述初始三维地图，构建所述用户清扫需求对应的实时地图，包括：

当所述用户清扫需求满足第三预设条件时，对所述三维图像进行目标物识别，确定所述三维图像中第一目标物的位置信息；

根据所述三维图像中第一目标物的位置信息，对所述三维地图和所述初始三维地图进行融合，以构建所述用户清扫需求对应的实时地图。

5.根据权利要求4所述的方法，其特征在于，所述清扫路径对应的清扫模式相同。

6.根据权利要求2所述的方法，其特征在于，所述初始三维地图包括空房间三维地图或历史三维地图。

7.根据权利要求1所述的方法，其特征在于，所述根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式，包括：

根据所述用户清扫需求，确定参考清扫模式；

当所述参考清扫模式满足第四预设条件时，获取所述实时地图中的地面区域对应的地面图像；

根据对所述地面图像进行识别的结果，确定所述地面图像中的地面区域对应的干净程度；

根据所述地面区域对应的干净程度，确定所述地面区域对应的清扫路径以及清扫模式。

8.根据权利要求1至7中任一所述的方法，其特征在于，所述环境感知传感器包括视觉传感器和/或深度传感器；

所述清扫模式包括清扫强度和/或清扫速度。

9.一种扫地机器人的清扫装置，其特征在于，包括：

片段获取模块，用于从语音采集装置采集的声音信号中确定声音片段，所述声音片段对应的语义内容满足第一预设条件，所述声音片段对应的语义内容满足第一预设条件是指所述声音片段对应的语义内容包括预设清扫控制指令；

需求确定模块，用于确定所述声音片段对应的用户清扫需求，包括：提取所述声音片段中的声纹信息，对所述声纹信息和预设候选声纹信息进行匹配，确定所述声音片段对应的用户，基于预设候选声纹信息对应的用户和用户清扫需求的对应关系，确定所述声音片段对应的用户清扫需求；

地图构建模块，用于根据环境感知传感器采集的环境数据，构建所述用户清扫需求对应的实时地图；

清扫模块，用于根据所述用户清扫需求以及实时地图，确定清扫路径以及所述清扫路径对应的清扫模式；

作为一种可能的情况，当实时地图不具有语义时，可以根据用户清扫需求确定一种清扫模式，根据该清扫模式完成房间的清扫；

所述清扫模块包括：划分单元、第一清扫单元以及第二清扫单元；其中，

所述划分单元，用于根据所述实时地图中的第二目标物的描述信息，对所述实时地图中的地面区域进行划分，得到第一清扫区域以及第二清扫区域，所述第一清扫区域指示了其对应的所述第二目标物所影响的地面范围，所述第二清扫区域指示了所述第一清扫区域之外的地面范围；

所述第一清扫单元，用于根据所述第一清扫区域对应的第二目标物的描述信息以及所述用户清扫需求，确定所述第一清扫区域对应的第一清扫路径以及第一清扫模式；

所述第二清扫单元，用于根据所述用户清扫需求，确定所述第二清扫区域的第二清扫路径以及第二清扫模式。

Images