CN110881909A

CN110881909A - 一种扫地机控制方法及装置

Info

Publication number: CN110881909A
Application number: CN201911329569.1A
Authority: CN
Inventors: 檀冲; 严涛
Original assignee: Xiaogou Electric Internet Technology Beijing Co Ltd
Current assignee: Xiaogou Electric Internet Technology Beijing Co Ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2020-03-17

Abstract

本申请实施例公开了一种扫地机控制方法及装置，扫地机的麦克风模块可以实时采集空间内的声音信号，当采集到声音信号为第一声音信号，根据该第一声音信号确定声源方向。然后，控制摄像装置采集声源方向的图像，并对图像进行识别以确定该图像中是否包括用户，当图像中包括用户时，将用户的位置确定为目标位置，控制扫地机移动至目标位置。其中，用户所在的位置即为待清扫区域。可见，本申请实施例利用语音识别技术通过用户发出的语音指令控制扫地机精准到达用户需要清扫的区域，提高用户使用体验。

Description

一种扫地机控制方法及装置

技术领域

本申请涉及自动控制技术领域，具体涉及一种扫地机控制方法及装置。

背景技术

随着人工智能技术的不断发展，越来越多的智能家居应运而生，扫地机的出现逐渐取代了人工清洁，并被越来越多的人所接受。

目前，扫地机可以根据用户的指令到达指定场所进行清扫操作，具体地，扫地机预先保存室内地图，同时将该地图发送至对应的客户端。用户可以通过终端选择待清扫区域，并向扫地机发送清扫指令，以使得扫地机移动至待清扫区域进行清扫。

然而，由于该种控制方式需要扫地机预先存储室内地图，当室内布局发生变化(例如，桌椅、沙发等位置发生变化)，如果扫地机未及时更新室内地图，将导致用户确定的待清扫区域与扫地机实际到大的清扫区域存在位置差距，使得扫地机无法准确达到用户指定的待清扫区域，影响使用体验。

发明内容

有鉴于此，本申请实施例提供一种网络请求的处理方法及装置，以实现扫地机精准达到用户指定的区域，提高用户使用体验。

为解决上述问题，本申请实施例提供的技术方案如下：

本申请实施例第一方面，提供了一种扫地机控制方法，所述扫地机包括摄像装置，方法包括：

根据麦克风模块接收的第一声音信号确定声源方向；所述第一声音信号包括位置信息；

获取所述声源方向的图像，识别所述图像中的用户；

将所述用户的位置确定为目标位置，控制所述扫地机移动至所述目标位置。

可选的，当所述图像不包括所述用户时，所述方法还包括：

控制所述扫地机向所述声源方向移动预设距离，继续根据麦克风模块接收的第一声音信号确定声源方向，直至所述图像包括用户。

可选的，所述将所述用户的位置确定为目标位置，控制所述扫地机移动至所述目标位置，包括：

根据所述扫地机所在的位置以及所述目标位置规划路径，并控制所述扫地机按照所述路径移动到所述目标位置。

可选的，当所述扫地机移动至所述目标位置后，所述方法还包括：

根据麦克风模块接收的第二声音信号控制所述扫地机进行清扫，所述第二声音信号包括清扫指令。

可选的，当接收麦克风模块发送的第一声音信号后，在根据所述第一声音信号确定声源方向之前，所述方法还包括：

确定所述第一声音信号中的位置关键词是否与预先存储的位置关键词匹配；

如果所述第一声音信号中的位置关键词是否与预先存储的位置关键词匹配，则根据所述第一声音信号确定声源方向。

可选的，在获取所述声源方向的图像之前，所述方法还包括：

判断所述扫地机的移动方向是否与所述声源方向一致；

如果不一致，则控制所述扫地机旋转至所述声源方向。

可选的，确定所述用户的位置过程，包括：

当所述摄像装置为单目摄像头时，根据所述单目摄像头在不同时间采集的至少两幅图像的像素差确定所述用户的位置；或

当所述摄像装置为双目摄像头时，根据所述双目摄像头采集的不同图像的像素差确定所述用户的位置。

可选的，所述方法还包括：

启动所述扫地机的激光雷达进行室内扫描，构建室内地图。

可选的，所述方法还包括：

根据所述扫地机所在的位置以及室内地图确定所述预设距离。

本申请实施例第二方面，提供了一种扫地机控制装置，所述控制装置包括：

第一确定单元，用于根据麦克风模块接收的第一声音信号确定声源方向；所述第一声音信号包括位置信息；

识别单元，用于获取所述声源方向的图像，识别所述图像中的用户；

第一控制单元，用于将所述用户的位置确定为目标位置，控制所述扫地机移动至所述目标位置。

可选的，当所述图像不包括所述用户时，所述装置还包括：

第二控制单元，用于控制所述扫地机向所述声源方向移动预设距离，继续执行所述第一确定单元以及后续操作，直至所述图像包括用户。

可选的，所述第一控制单元，具体用于根据所述扫地机所在的位置以及所述目标位置规划路径，并控制所述扫地机按照所述路径移动到所述目标位置。

可选的，所述装置还包括：

清扫单元，用于当所述扫地机移动至所述目标位置后，根据麦克风模块接收的第二声音信号控制所述扫地机进行清扫，所述第二声音信号包括清扫指令。

可选的，所述装置还包括：

第二确定单元，用于在执行所述第一确定单元之前，确定所述第一声音信号中的位置关键词是否与预先存储的位置关键词匹配；

如果所述第一声音信号中的位置关键词是否与预先存储的位置关键词匹配，则执行所述第一确定单元。

可选的，所述装置还包括：

判断单元，用于在获取所述声源方向的图像之前，判断所述扫地机的移动方向是否与所述声源方向一致；

旋转单元，用于当所述判断单元的判断结果为所述扫地机的移动方向与所述声源方向不一致时，控制所述扫地机旋转至所述声源方向。

可选的，确定所述用户的位置过程，包括：

可选的，所述装置还包括：

构建单元，用于启动所述扫地机的激光雷达进行室内扫描，构建室内地图。

可选的，所述装置还包括：

第三确定单元，用于根据所述扫地机所在的位置以及室内地图确定所述预设距离。

本申请实施例第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行第一方面所述的扫地机控制方法。

本申请实施例第四方面，提供了一种扫地机控制设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现第一方面所述的扫地机控制方法。

由此可见，本申请实施例具有如下有益效果：

本申请实施例扫地机的麦克风模块可以实时采集空间内的声音信号，当采集到声音信号为第一声音信号，根据该第一声音信号确定声源方向。然后，控制摄像装置采集声源方向的图像，并对图像进行识别以确定该图像中是否包括用户，当图像中包括用户时，将用户的位置确定为目标位置，控制扫地机移动至目标位置。其中，用户所在的位置即为待清扫区域。可见，本申请实施例利用语音识别技术和图像处理控制扫地机精准到达用户需要清扫的区域，提高用户使用体验。

附图说明

图1为本申请实施例提供的一种扫地机结构图；

图2为本申请实施例提供的一种应用场景示意图；

图3为本申请实施例提供的另一种应用场景示意图；

图4为本申请实施例提供的一种扫地机控制方法流程图；

图5为本申请实施例提供的一种扫地机控制装置结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为便于理解扫地机的工作原理，参见图1所示扫地机结构图，将先对扫地机的整体工作过程进行说明。

扫动机包括：扫地机本体、感应系统、驱动系统、位置确定系统、控制系统、清洁系统、人机交互系统、语音识别系统等。扫地机本体包括上盖、中框和底壳，可以为椭圆形、圆形、三角形，近似圆形，也可以为其它的形状。

感应系统包括设置在中框前方和侧方的碰撞传感器、悬崖传感器、红外测距传感器、超声传感器、陀螺仪、里程计、编码器等，能够向控制系统传送扫地机的各种位置信息和运动状态信息。

位置确定系统可以为激光雷达或TOF结构光，单目或双目摄像机，可以设置在扫地机本体上方或前方，采用三角测距法的基本原理进行位置确定。

声音采集系统为麦克风单元，设置在扫地机中框上，麦克风单元包括多个麦克风，麦克风的个数一般为2-4个。

清洁过程中，扫地机的驱动系统驱动扫地机向前移动行走，红外传感器或激光测距传感器能够检测行驶过程中遇到的一个或多个障碍物，例如墙壁、桌子等，扫地机的控制系统控制扫地机做出旋转或后退，远离障碍物。

控制系统设置在扫地机的底壳上的电路板上，包括存储器、处理器以及扫地机定位建图的各种算法等，结合感应系统中的各种传感器反馈的距离、角度、速度信息等，判断扫地机处于何种状态，例如：正常清扫、地毯、被抬起、被绊住等，扫地机根据基于即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)算法绘制的地图信息规划合理的路径，控制扫地机清扫，提高清扫效率。

驱动系统包括左驱动轮模块、右驱动轮模块、万向轮模块，其中，驱动轮模块、右驱动轮模块、万向轮模块分别包括驱动电机、控制驱动电机的控制电路、行走轮和/或万向轮。

清洁系统包括清洁地面灰尘、纸屑等的滚刷、边刷，收纳灰尘的集尘盒，风机和吸尘口。

为便于理解本申请实施例的应用，参见图2所示应用场景实施例，扫地机和用户位于同一空间。当用户想要扫地机清扫自身所在位置的区域，可以呼叫扫地机，扫地机的麦克风模块接收用户发出的第一声音信号，该第一声音信号包括位置关键词，例如“到这清扫”、“过来”和“来这里”。控制器根据麦克风模块接收的第一声音信号确定声源方向，并获取声源方向的图像。此时获取的图像中包括用户，则将用户所在的位置确定目标位置，即确定为待清扫区域，并控制扫地机移动至目标位置，从而使得扫地机可以精准到达用户想要清扫的区域。

另外，本申请实施例还可以应用于用户与扫地机不在同一空间的应用场景，如图3所示，扫地机位于房间1、用户位于房间3。用户想要扫地机清扫房间3，则朝向房间1发出“到这清扫”、“过来”和“来这里”的第一声音信号。控制器通过麦克风模块接收到第一声音信号后，确定声源方向，即朝向房门A，并获取声源方向的图像，并识别图像是否包括用户。如果图像不包括用户，则控制扫地机向声源方向移动预设距离，例如移动到房门A处。

此时，控制器根据麦克风模块接收的第一声音信号，重新确定声源方向，即朝向房门B的方向，并获取声源方向的图像，并识别图像是否包括用户。图像不包括用户，控制扫地机向声源方向移动预设距离，例如移动到房门B处。此时，控制器根据麦克风模块接收的第一声音信号，重新确定声源方向，获取声源方向的图像，识别出图像包括用户，则确定用户位置，并将用户位置作为目标位置，控制扫地机移动至目标位置。

基于上述说明，为便于理解本申请实施例的具体实现，下面将结合附图对本申请实施例提供的扫地机控制方法进行说明。

参见图4，该图为本申请实施例提供的一种扫地机控制方法流程图，如图4所示，该方法可以包括：

S401：根据麦克风模块接收的第一声音信号确定声源方向。

本实施例中，扫地机的麦克风模块实时处于工作状态，以采集用户发出的声音信号。当麦克风采集到第一声音信号后，将该第一声音信号发送给控制器，由控制器确定声源方向。

在具体实现时，为避免该第一声音信号为噪声，影响扫地机正常工作，当控制器接收到第一声音信号，首先确定第一声音信号中的位置关键词是否与预先存储的位置关键词匹配，如果第一声音信号中的位置关键词和预先存储的位置关键词匹配，则根据第一声音信号确定声源方向。具体地，控制器可以根据麦克风模块中不同麦克风单元接收第一声音信号的时间差或声音强度差确定声源方向。

在实际应用中，扫地机可以预先存储位置关键词，该位置关键词为从用户发出的指令性语言中提取的。具体地，麦克风模块采集用户发出的带有位置关键词的语音信号，例如“到这来”、“来这里”、“过来”等，语音识别单元将该声音信号转换为声音电信号，并存储该声音电信号。

需要说明的是，当检测到第一声音信号中的位置关键词与预先存储的位置关键词匹配时，如果扫地机正在工作，则控制扫地机停止工作；如果扫地机处于未启动状态，则激活扫地机。

S402：获取声源方向的图像，识别图像是否包括用户，如果不包括用户，执行S403；如果包括，则执行S404。

当确定出声源方向后，通过扫地机的摄像模块获取声源方向的图像，以通过图像识别技术判断该图像中是否包括用户，如果图像中不包括用户，表明扫地机与用户不在同一空间，执行S403；如果图像中包括用户，表明扫地机与用户位于同一空间，执行S404。

可以理解的是，通常情况下，扫地机的移动方向和摄像模块的对准方向一致。当确定出声源方向后，此时扫地机的移动方向与声源方向可能不一致，因此，在通过摄像模块采集图像之前，先判断扫地机的移动方向与声源方向是否一致；如果不一致，则控制扫地机旋转至声源方向，然后获取声源方向的图像。在具体实现时，可以通过人脸识别技术确定采集的图像是否包括用户。

S403：当图像不包括用户时，控制扫地机向声源方向移动预设距离，返回S401。

本实施例中，当识别出图像中不包括用户时，控制扫地机向声源方向移动预设距离，则在移动后的位置继续接受麦克风模块发送的第一声音信号，确定声源方向，并获取声源方向的图像，识别该图像是否包括用户，如果不包括用户，则继续控制扫地机向生源方向移动预设距离，直至采集的图像中包括用户。

需要说明的是，在确定采集的图像中包括用户之前，控制器控制扫地机向声源方向移动的预设距离可以相同也可以不相同，每次移动的预设距离可以根据实际需求进行设定。具体地，控制器可以通过扫地机的激光雷达进行室内扫描，预先构建室内地图；然后根据扫地机的当前位置、预先存储的室内地图确定预设距离。也就是，控制器可以根据扫地机的当前位置以及室内地图先确定目标位置，该目标位置为到达用户所在位置的拐点位置，然后计算扫地机当前位置到目标位置的距离，将该距离作为预设距离。当然，在具体实现时，也可以通过其他方式确定预设距离，本实施例在此不做限定。

S404：当图像包括用户时，将用户的位置确定为目标位置，控制扫地机移动至目标位置。

本实施例中，当确定图像中包括用户时，则确定该用户所在的位置，并根据扫地机当前所在的位置以及用户所在的位置规划路径，以控制扫地机按照路径移动到用户所在的位置。具体地，控制器既可以通过此时获取的第一声音信号确定用户的位置，也可以通过此时获取的图像确定用户的位置。

当控制器通过第一声音信号确定用户位置时，可以根据麦克风模块中不同麦克风单元接收第一声音信号的时间差或声音强度差确定用户所在的位置。当控制器通过图像确定用户位置时，如果扫地机的摄像装置为单目摄像头时，根据单目摄像头在不同时间采集的至少两幅图像的像素差确定用户所在的位置；如果扫地机的摄像装置为双目摄像头时，根据双目摄像头采集的不同图像的像素差确定用户所在的位置。

在确定出用户所在的位置后，可以根据扫地机的位置、用户所在的位置以及室内地图规划获得第二路径。在具体实现时，可以根据路径规划算法获得扫地机从当前位置移动到用户所在位置的最优路径，将该最优路径确定为路径。

需要说明的是，当第一声音信号中包括清扫指令时，当扫地机到达目标位置，可以根据第一声音信号中的清扫指令控制扫地机进行清扫操作。如果第一声音信号中未包括清扫指令，当扫地机到达目标位置时，可以根据麦克风模块接收的第二声音信号控制所述扫地机进行清扫，其中，第二声音信号包括清扫指令。即，扫地机按照路径移动到用户所在的位置后，获取麦克风模块发送的第二声音信号，该第二声音信号包括清扫指令，控制器根据第二声音信号的清扫指令控制扫地机进行清扫。

具体地，清扫指令可以包括“重点清扫”、“拖地清扫”、“擦地清扫”等指令，控制器在检测到第二声音信号的清扫指令后，可以与预先存储的清扫指令进行匹配，然后根据匹配结果控制扫地机执行相应的清扫操作。

基于上述描述，扫地机的麦克风模块可以实时采集空间内的声音信号，当采集到声音信号为第一声音信号，根据该第一声音信号确定声源方向。然后，控制摄像装置采集声源方向的图像，并对图像进行识别以确定该图像中是否包括用户，当图像中包括用户时，将用户的位置确定为目标位置，控制扫地机移动至目标位置。其中，用户所在的位置即为待清扫区域。可见，本申请实施例利用语音识别技术和图像处理控制扫地机精准到达用户需要清扫的区域，提高用户使用体验。

基于上述方法实施例，本申请实施例还提供了一种扫地机控制装置，参见图5，该装置可以包括：

第一确定单元501，用于根据麦克风模块接收的第一声音信号确定声源方向；所述第一声音信号包括位置信息；

识别单元502，用于获取所述声源方向的图像，识别所述图像中的用户；

第一控制单元503，用于将所述用户的位置确定为目标位置，控制所述扫地机移动至所述目标位置。

在一种可能的实现方式中，当所述图像不包括所述用户时，所述装置还包括：

在一种可能的实现方式中，所述第一控制单元，具体用于根据所述扫地机所在的位置以及所述目标位置规划路径，并控制所述扫地机按照所述路径移动到所述目标位置。

在一种可能的实现方式中，所述装置还包括：

在一种可能的实现方式中，确定所述用户的位置过程，包括：

在一种可能的实现方式中，所述装置还包括：

需要说明的是，本实施例中各个单元的实现可以参见上述方法实施例，本实施例在此不再赘述。

另外，本申请实施例提供了一种扫地机，所述扫地机包括控制器、语音识别系统、图像采集系统；

所述控制器，用于执行上述扫地机控制方法；

所述语音识别系统包括麦克风模块以及语音识别模块，用于接收用户声音信号，并进行识别；

所述图像采集系统包括摄像模块，所述摄像模块位于所述扫地机的本体上方或前方，用于采集所述扫地机移动方向的图像；

所述控制器，还用于调整所述摄像模块的仰角。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行所述的扫地机控制方法。

本申请实施例提供了一种扫地机控制设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的扫地机控制方法。

基于上述描述可知，扫地机的麦克风模块可以实时采集空间内的声音信号，当采集到声音信号为第一声音信号，根据该第一声音信号确定声源方向。然后，控制摄像装置采集声源方向的图像，并对图像进行识别以确定该图像中是否包括用户，当图像中包括用户时，将用户的位置确定为目标位置，控制扫地机移动至目标位置。其中，用户所在的位置即为待清扫区域。可见，本申请实施例利用语音识别技术和图像处理控制扫地机精准到达用户需要清扫的区域，提高用户使用体验。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种扫地机控制方法，其特征在于，所述扫地机包括摄像装置，方法包括：

获取所述声源方向的图像，识别所述图像中的用户；

2.根据权利要求1所述的方法，其特征在于，当所述图像不包括所述用户时，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述用户的位置确定为目标位置，控制所述扫地机移动至所述目标位置，包括：

4.根据权利要求1所述的方法，其特征在于，当所述扫地机移动至所述目标位置后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，当接收麦克风模块发送的第一声音信号后，在根据所述第一声音信号确定声源方向之前，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，在获取所述声源方向的图像之前，所述方法还包括：

判断所述扫地机的移动方向是否与所述声源方向一致；

如果不一致，则控制所述扫地机旋转至所述声源方向。

7.根据权利要求1所述的方法，其特征在于，确定所述用户的位置过程，包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

启动所述扫地机的激光雷达进行室内扫描，构建室内地图。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

10.一种扫地机控制装置，其特征在于，所述控制装置包括：

11.根据权利要求10所述的装置，其特征在于，当所述图像不包括所述用户时，所述装置还包括：

12.根据权利要求10所述的装置，其特征在于，所述第一控制单元，具体用于根据所述扫地机所在的位置以及所述目标位置规划路径，并控制所述扫地机按照所述路径移动到所述目标位置。

13.根据权利要求10所述的装置，其特征在于，所述装置还包括：

14.根据权利要求10所述的装置，其特征在于，所述装置还包括：

15.根据权利要求10所述的装置，其特征在于，所述装置还包括：

16.根据权利要求10所述的装置，其特征在于，确定所述用户的位置过程，包括：

17.根据权利要求10所述的装置，其特征在于，所述装置还包括：

18.根据权利要求11所述的装置，其特征在于，所述装置还包括：

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-9任一项所述的扫地机控制方法。

20.一种扫地机控制设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-9任一项所述的扫地机控制方法。