CN108888204B - 一种扫地机器人呼唤装置及呼唤方法 - Google Patents

Abstract

本发明提供了一种扫地机器人呼唤装置及呼唤方法，包括：GPU处理器模块、深度摄像头模块、麦克风模块；扫地机器人呼唤方法，通过语音识别和人物识别，使得扫地机器人移动至呼唤人附近进行跟随运动或清扫工作。本发明利用深度摄像头和麦克风分别进行深度图像和语音提取，并通过GPU的数据处理，将出呼唤人的形体特征进行比对，发现身边呼唤人的位置，使得扫地机器人移动至呼唤人附近进行跟随运动或清扫工作；其次，本发明的人物识别算法多样，尤其是推算人物身高的方法简单，运算量小，扫地机器人呼唤响应及时。

Description

一种扫地机器人呼唤装置及呼唤方法

技术领域

本发明涉及扫地机器人控制领域，具体涉及一种扫地机器人呼唤装置及呼唤方法。

背景技术

随着家电智能化的发展，在家用电器使用更多传感器变得更智能的同时，智能家电的操作方式以及人机交互也理应变得更加人性化、智能化。扫地机器人作为家用电器中技术含量较高的产品，交互方式理应更加智能，更加人性化。

申请号为201510681929.X的中国专利，公开了一种声控机器人,为了使机器人具有可根据声音找到指令发出者或呼唤自己的主人的方位的能力，其在机器人身上多点位置安装传声器，传声器连接模数转换电路，模数转换电路连接计算机，计算机内存储有多个声音的声纹或声纹特征的电子数据并且这些声纹或声纹特征的电子数据与计算机内的指令关联在一起，计算机连接机器人的行走机构和动作机构的控制电路；其利用不同方位上安装的传声器，使机器人具有分辨出声源位置的能力。当主人向机器人下达命令时，机器人能分辨出主人所在位置，相当于知道对它下命令的是谁并能自动走到该主人面前执行任务。但是由于一个较小的机器人上，在不同方位的传声器能够区分出声波到达时间微乎其微，并不能很好的判断声源的方位，迫切需要加以改进。

再如，申请号为201710829208.8的中国专利，公开了一种机器人智能定位寻址方法，包括用户动作和机器人，机器人内部设置有相互电控配合的传感器单元、主控单元和驱动单元；其中定位寻址方法如下：一、传感器单元检测到用户动作的触发信号，激活机器人；二、传感器单元将触发信号发送到主控单元，主控单元对接收到的触发信号进行分析，判断信号发出的位置；三、主控单元控制驱动单元动作，机器人移动到对应的位置。本发明通过上述结构的改良，即使用类似呼唤宠物的方式，用户用脚轻拍地面、拍手或者呼叫的方法，机器人检测到这一动作，自动移动到用户所在的位置，从而简化控制机器人移动的方式，实现机器人精准寻址定位，提升机器人智能化水平以及人性化程度。但是其并没有公开主控单元对接收到的触发信号进行分析的方法，和判断信号发出的位置的方法，仅根据其公开的文本，本领域技术人员是无法实现的。

发明内容

为解决上述问题，本发明提供了一种扫地机器人呼唤装置及呼唤方法。本发明利用深度摄像头和麦克风分别进行深度图像和语音提取，并通过GPU的数据处理，将出呼唤人的形体特征进行比对，发现身边呼唤人的位置，使得扫地机器人移动至呼唤人附近进行跟随运动或清扫工作；其次，本发明的人物识别算法多样，尤其是推算人物身高的方法简单，运算量小，扫地机器人呼唤响应及时。

为实现所述技术目的，本发明的技术方案是：一种扫地机器人呼唤装置，包括：GPU处理器模块、深度摄像头模块、麦克风模块；

所述深度摄像头模块包括深度摄像头，及其深度摄像头驱动电路和深度摄像头信号处理电路，其中深度摄像头信号处理电路电连接至所述GPU处理器模块的I/O口；

所述麦克风模块包括麦克风，及麦克风驱动电路和麦克风信号处理电路，其中麦克风处理电路电连接至所述GPU处理器模块的I/O口。

一种扫地机器人呼唤方法，包括以下步骤：

S1：用户对扫地机器人进行唤醒语音设置，用于预设唤醒机器人的语音指令；

S2：对步骤S1中发出唤醒语音设置的用户进行声纹特征提取，建立声纹模型库，同时进行对应人物特征提取，建立对应的人物特征模型库；

S3：语音识别，呼唤人发出语音信号，扫地机器人通过麦克风和GPU处理器模块进行语音识别，在发出的语音信号和所述步骤S1中的语音指令一致时，进行步骤S4；

S4：声纹识别，根据所述步骤S3中发出语音信号的声纹数据，与所述步骤S2中的声纹模型库匹配，并从人物特征模型库中提取该声纹特征下的人物特征数据，并唤醒扫地机器人进行旋转动作，并在旋转动作过程中进行步骤S5；若声纹模型库中，并没有当前呼唤者的声纹数据，则机器人不动作。

S5：提取深度摄像头视觉范围内的人物特征，并与所述步骤S4中的人物特征数据匹配，在匹配一致时停止旋转动作后，进行步骤S6；

S6：扫地机器人向前移动至用户附近后停止动作，完成对扫地机器人的呼唤任务。也就是说，本发明是通过语音识别的方法，只有在用户（呼唤者）发出的语音指令正确时，才能够进行声纹的识别，声纹识别的目的是找到呼唤者的任务特征数据，并通过扫地机器人不断旋转提取身边的人物特征，和人物特征模型库进行比对，直至找到辨别出呼唤者后，前进至呼唤者附近。

进一步，在所述步骤在S5中，若匹配不一致，则扫地机器人继续旋转动作，并重复步骤S5，直至匹配一致。

进一步，所述步骤S1中的预设的唤醒机器人的语音指令为复杂呼唤指令。这种复杂呼唤指令可以由用户任意设置，甚至可以是方言，越复杂的呼唤指令就能够防止扫地机器人启动或降低声纹识别的工作次数。

作为本发明的一种优选的实施方案，基于上述内容，不同的是，

所述步骤S2中人物特征提取的方法为：利用深度摄像头提取3D人体轮廓模型；

所述步骤S5中提取深度摄像头视觉范围内人物特征，并与所述步骤S4中人物特征数据匹配的方法包括以下步骤：

T1：在深度摄像头视觉画面中设置第一识别框，扫地机器人向前移动直至人物尽可能占满第一识别框，且人物处于第一识别框中央；

T2：通过Canny边缘检测算法，提取第一识别框内的人物的2D轮廓线；

T3：将步骤T2中的2D轮廓线与人物特征模型库中的3D人体轮廓模型纵剖面匹配，在误差不超过±5%的范围内认为匹配一致。在本实施例中，是通过人体的外形轮廓进行人物的识别；由于在扫地机器人识别过程中，提取2D平面轮廓远远比提取3D轮廓计算量小得多，而2D轮廓线必然是3D人体轮廓模型的一个纵剖面，所以本发明通过这种匹配方式，大大降低了人物识别的时间，提高了识别效率和对扫地机器人呼唤的及时性。

作为本发明的另一种优选的实施方案，基于上述内容，不同的是，

所述步骤S2中人物特征提取的方法为：利用深度摄像头提取面部数据；

所述步骤S5中提取深度摄像头视觉范围内人物特征，并与所述步骤S4中人物特征数据匹配的方法包括以下步骤：

E1：在深度摄像头视觉画面中设置第二识别框，扫地机器人向前移动直至人物尽可能占满第二识别框，并放大人物面部画面；

E2：通过人物面部识别算法，完成与人物特征模型库中的面部数据的匹配。需要说明的是，人物面部识别算法是本领域技术人员常见的技术手段，在此不做赘述。

作为本发明的另一种优选的实施方案，基于上述内容，不同的是，

所述步骤S2中人物特征提取的方法为：利用深度摄像头提取身高数据；所述步骤S5中提取深度摄像头视觉范围内人物特征，并与所述步骤S4中人物特征数据匹配的方法包括以下步骤：

P1：在深度摄像头视觉画面中设置第三识别框，使深度摄像头工作于标准静态像素画面捕捉，扫地机器人向前移动直至人物身高占满第三识别框，通过微调深度摄像头角度使得人物处于第三识别框中央；需要说明的是，标准静态像素画面捕捉是指，对于一个480*640分辨率的深度摄像头，其标准静态像素是指其始终捕捉出480*640像素的画面。

P2：根据扫地机器人与人物距离和人物在第三识别框中所占像素行数，推算人物身高；

P3：将步骤P2中的推算出的身高与人物特征模型库中的身高数据匹配。采用身高匹配的有益效果在于，较面部识别和轮廓识别的方法，身高数据提取方式和匹配方式运算量更小，匹配速度更快；尤其是在深度摄像头分别率无法保证时，面部识别和轮廓识别精度不能保证，人物识别的错误率也更高。

进一步，所述步骤P2中推算人物身高的方法包括以下步骤：

A1：利用已知高度物体，通过扫地机器人移动使得该物体处于第三识别框中央并上下占满第三识别框；

A2：改变物体高度，重复步骤A1，建立物体高度h与扫地机器人距离物体长度l和物体所述第三识别框中所占像素行数n 关系函数；

A3：利用步骤A2中的关系函数，根据扫地机器人与人物距离和人物在第三识别框中所占像素行数，推算人物身高。本发明依据物体高度h与扫地机器人距离物体长度l和物体所述第三识别框中所占像素行数n 关系函数，其中扫地机器人距离物体长度l可以由深度摄像头测量得到，第三识别框中所占像素行数n可以由GPU通过图像处理得到，由n和l两个参数推算出人物身高，这种身高计算的方式，数据处理量小，运算结果快。需要说明的是，扫地机器人多应用于普通家庭中，其所要进行的人物识别量少，仅通过身高匹配即可分辨出家庭成员。

进一步，所述步骤S6中，扫地机器人利用深度摄像头测距，向前移动至用户X距离处，建立人物双腿3D模型，并计算出双腿形心，机器人利用深度摄像头和形心保持定距，跟随人物行走。

优选的，所述步骤S6中，扫地机器人利用深度摄像头测距，向前移动至用户X距离处，建立人物双腿3D模型，并计算出双腿形心，机器人利用深度摄像头和形心保持定距，绕形心360度移动，在用户附近进行清扫。

本发明的有益效果在于：

本发明利用深度摄像头和麦克风分别进行深度图像和语音提取，并通过GPU的数据处理，将出呼唤人的形体特征进行比对，发现身边呼唤人的位置，使得扫地机器人移动至呼唤人附近进行跟随运动或清扫工作；其次，本发明的人物识别算法多样，尤其是推算人物身高的方法简单，运算量小，扫地机器人呼唤响应及时。

附图说明

图1是本发明扫地机器人呼唤装置的模块原理图；

图2是本发明扫地机器人呼唤方法的流程图；

图3是本发明扫地机器人的前进动作及身高推算示意图；

图4是本发明人物占第三识别框中的示意图。

具体实施方式

下面将对本发明的技术方案进行清楚、完整地描述。

如图1所示，一种扫地机器人呼唤装置，包括：GPU处理器模块、深度摄像头模块、麦克风模块；

所述深度摄像头模块包括深度摄像头，及其深度摄像头驱动电路和深度摄像头信号处理电路，其中深度摄像头信号处理电路电连接至所述GPU处理器模块的I/O口；

所述麦克风模块包括麦克风，及麦克风驱动电路和麦克风信号处理电路，其中麦克风处理电路电连接至所述GPU处理器模块的I/O口。

一种扫地机器人呼唤方法，包括以下步骤：

S1：用户对扫地机器人进行唤醒语音设置，用于预设唤醒机器人的语音指令；

S2：对步骤S1中发出唤醒语音设置的用户进行声纹特征提取，建立声纹模型库，同时进行对应人物特征提取，建立对应的人物特征模型库；

S3：语音识别，呼唤人发出语音信号，扫地机器人通过麦克风和GPU处理器模块进行语音识别，在发出的语音信号和所述步骤S1中的语音指令一致时，进行步骤S4；

S4：声纹识别，根据所述步骤S3中发出语音信号的声纹数据，与所述步骤S2中的声纹模型库匹配，并从人物特征模型库中提取该声纹特征下的人物特征数据，并唤醒扫地机器人进行旋转动作，并在旋转动作过程中进行步骤S5；若声纹模型库中，并没有当前呼唤者的声纹数据，则机器人不动作。

S5：提取深度摄像头视觉范围内的人物特征，并与所述步骤S4中的人物特征数据匹配，在匹配一致时停止旋转动作后，进行步骤S6；

S6：扫地机器人向前移动至用户附近后停止动作，完成对扫地机器人的呼唤任务。也就是说，本发明是通过语音识别的方法，只有在用户（呼唤者）发出的语音指令正确时，才能够进行声纹的识别，声纹识别的目的是找到呼唤者的任务特征数据，并通过扫地机器人不断旋转提取身边的人物特征，和人物特征模型库进行比对，直至找到辨别出呼唤者后，前进至呼唤者附近。

进一步，在所述步骤在S5中，若匹配不一致，则扫地机器人继续旋转动作，并重复步骤S5，直至匹配一致。

进一步，所述步骤S1中的预设的唤醒机器人的语音指令为复杂呼唤指令。这种复杂呼唤指令可以由用户任意设置，甚至可以是方言，越复杂的呼唤指令就能够防止扫地机器人启动或降低声纹识别的工作次数。

作为本发明的一种优选的实施方案，基于上述内容，不同的是，

所述步骤S2中人物特征提取的方法为：利用深度摄像头提取3D人体轮廓模型；

所述步骤S5中提取深度摄像头视觉范围内人物特征，并与所述步骤S4中人物特征数据匹配的方法包括以下步骤：

T1：在深度摄像头视觉画面中设置第一识别框，扫地机器人向前移动直至人物尽可能占满第一识别框，且人物处于第一识别框中央；

T2：通过Canny边缘检测算法，提取第一识别框内的人物的2D轮廓线；

T3：将步骤T2中的2D轮廓线与人物特征模型库中的3D人体轮廓模型纵剖面匹配，在误差不超过±5%的范围内认为匹配一致。在本实施例中，是通过人体的外形轮廓进行人物的识别；由于在扫地机器人识别过程中，提取2D平面轮廓远远比提取3D轮廓计算量小得多，而2D轮廓线必然是3D人体轮廓模型的一个纵剖面，所以本发明通过这种匹配方式，大大降低了人物识别的时间，提高了识别效率和对扫地机器人呼唤的及时性。

作为本发明的另一种优选的实施方案，基于上述内容，不同的是，

所述步骤S2中人物特征提取的方法为：利用深度摄像头提取面部数据；

所述步骤S5中提取深度摄像头视觉范围内人物特征，并与所述步骤S4中人物特征数据匹配的方法包括以下步骤：

E1：在深度摄像头视觉画面中设置第二识别框，扫地机器人向前移动直至人物尽可能占满第二识别框，并放大人物面部画面；

E2：通过人物面部识别算法，完成与人物特征模型库中的面部数据的匹配。需要说明的是，人物面部识别算法是本领域技术人员常见的技术手段，在此不做赘述。

作为本发明的另一种优选的实施方案，基于上述内容，不同的是，

所述步骤S2中人物特征提取的方法为：利用深度摄像头提取身高数据；

所述步骤S5中提取深度摄像头视觉范围内人物特征，并与所述步骤S4中人物特征数据匹配的方法包括以下步骤：

P1：在深度摄像头视觉画面中设置第三识别框，使深度摄像头工作于标准静态像素画面捕捉，扫地机器人向前移动直至人物身高占满第三识别框，通过微调深度摄像头角度使得人物处于第三识别框中央；需要说明的是，标准静态像素画面捕捉是指，对于一个480*640分辨率的深度摄像头，其标准静态像素是指其始终捕捉出480*640像素的画面。

P2：根据扫地机器人与人物距离和人物在第三识别框中所占像素行数，推算人物身高；

P3：将步骤P2中的推算出的身高与人物特征模型库中的身高数据匹配。采用身高匹配的有益效果在于，较面部识别和轮廓识别的方法，身高数据提取方式和匹配方式运算量更小，匹配速度更快；尤其是在深度摄像头分别率无法保证时，面部识别和轮廓识别精度不能保证，人物识别的错误率也更高。

进一步，所述步骤P2中推算人物身高的方法包括以下步骤：

A1：利用已知高度物体，通过扫地机器人移动使得该物体处于第三识别框中央并上下占满第三识别框；

A2：改变物体高度，重复步骤A1，建立物体高度h与扫地机器人距离物体长度l和物体所述第三识别框中所占像素行数n 关系函数；

A3：利用步骤A2中的关系函数，根据扫地机器人与人物距离和人物在第三识别框中所占像素行数，推算人物身高。本发明依据物体高度h与扫地机器人距离物体长度l和物体所述第三识别框中所占像素行数n 关系函数，其中扫地机器人距离物体长度l可以由深度摄像头测量得到，第三识别框中所占像素行数n可以由GPU通过图像处理得到，由n和l两个参数推算出人物身高，这种身高计算的方式，数据处理量小，运算结果快。需要说明的是，扫地机器人多应用于普通家庭中，其所要进行的人物识别量少，仅通过身高匹配即可分辨出家庭成员。

进一步，所述步骤S6中，扫地机器人利用深度摄像头测距，向前移动至用户X距离处，建立人物双腿3D模型，并计算出双腿形心，机器人利用深度摄像头和形心保持定距，跟随人物行走，优选的X取值可为60cm。

优选的，所述步骤S6中，扫地机器人利用深度摄像头测距，向前移动至用户60cm处，建立人物双腿3D模型，并计算出双腿形心，机器人利用深度摄像头和形心保持定距，绕形心360度移动，在用户附近进行清扫。

对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种扫地机器人呼唤装置，其特征在于，包括：

语音预设模块：用于使用户对扫地机器人进行唤醒语音设置，以预设唤醒机器人的语音指令；

声纹特征提取和人物特征提取模块：用于对在所述语音预设模块中发出唤醒语音设置的用户进行声纹特征提取，以建立声纹模型库，同时进行对应人物特征提取，以建立对应的人物特征模型库；

语音识别模块：用于在呼唤人发出语音信号后通过麦克风和GPU处理器模块进行语音识别，以判断发出的语音信号和由所述语音预设模块预设的语音指令是否一致；

声纹识别模块：用于在通过所述语音识别模块判断发出的语音信号与由所述语音预设模块预设的语音指令一致时，根据发出语音信号的呼唤人的声纹数据，与所述声纹模型库匹配，并从所述人物特征模型库中提取该声纹特征下的人物特征数据，并唤醒扫地机器人进行旋转动作；

视觉范围内人物特征匹配模块：用于在扫地机器人进行旋转动作时提取深度摄像头视觉范围内的人物特征，并与所述声纹识别模块所提取的人物特征数据匹配，在匹配一致时停止扫地机器人的旋转动作；

机器人呼唤模块：用于在扫地机器人的旋转动作停止后，使扫地机器人向前移动至用户附近后停止动作，以完成对扫地机器人的呼唤任务，其中，

所述声纹特征提取和人物特征提取模块进行人物特征提取包括：利用深度摄像头提取身高数据；

所述视觉范围内人物特征匹配模块提取深度摄像头视觉范围内人物特征，并与所述声纹识别模块所提取的人物特征数据匹配包括以下步骤：

P1：在深度摄像头视觉画面中设置第三识别框，使深度摄像头工作于标准静态像素画面捕捉，扫地机器人向前移动直至人物身高占满第三识别框，通过微调深度摄像头角度使得人物处于第三识别框中央；

P2：根据扫地机器人与人物距离和人物在第三识别框中所占像素行数，推算人物身高；

P3：将步骤P2中的推算出的身高与人物特征模型库中的身高数据匹配。

2.一种扫地机器人呼唤方法，其特征在于，包括以下步骤：

S1：用户对扫地机器人进行唤醒语音设置，用于预设唤醒机器人的语音指令；

S2：对步骤S1中发出唤醒语音设置的用户进行声纹特征提取，建立声纹模型库，同时进行对应人物特征提取，建立对应的人物特征模型库；

S3：语音识别，呼唤人发出语音信号，扫地机器人通过麦克风和GPU处理器模块进行语音识别，在发出的语音信号和步骤S1中的语音指令一致时，进行步骤S4；

S4：声纹识别，根据步骤S3中发出语音信号的声纹数据，与步骤S2中的声纹模型库匹配，并从人物特征模型库中提取该声纹特征下的人物特征数据，并唤醒扫地机器人进行旋转动作，并在旋转动作过程中进行步骤S5；

S5：提取深度摄像头视觉范围内的人物特征，并与步骤S4中的人物特征数据匹配，在匹配一致时停止旋转动作后，进行步骤S6；

S6：扫地机器人向前移动至用户附近后停止动作，完成对扫地机器人的呼唤任务，其中，

步骤S2中人物特征提取的方法为：利用深度摄像头提取身高数据；

步骤S5中提取深度摄像头视觉范围内人物特征，并与步骤S4中人物特征数据匹配的方法包括以下步骤：

P1：在深度摄像头视觉画面中设置第三识别框，使深度摄像头工作于标准静态像素画面捕捉，扫地机器人向前移动直至人物身高占满第三识别框，通过微调深度摄像头角度使得人物处于第三识别框中央；

P2：根据扫地机器人与人物距离和人物在第三识别框中所占像素行数，推算人物身高；

P3：将步骤P2中的推算出的身高与人物特征模型库中的身高数据匹配。

3.根据权利要求2所述的扫地机器人呼唤方法，其特征在于，在步骤S5中，若匹配不一致，则扫地机器人继续旋转动作，并重复步骤S5，直至匹配一致。

4.根据权利要求2所述的扫地机器人呼唤方法，其特征在于，步骤S1中的预设的唤醒机器人的语音指令为复杂呼唤指令。

5.根据权利要求2所述的扫地机器人呼唤方法，其特征在于，步骤P2中推算人物身高的方法包括以下步骤：

A1：利用已知高度物体，通过扫地机器人移动使得该物体处于第三识别框中央并上下占满第三识别框；

A2：改变物体高度，重复步骤A1，建立物体高度h与扫地机器人距离物体长度l和物体所述第三识别框中所占像素行数n 关系函数；

A3：利用步骤A2中的关系函数，根据扫地机器人与人物距离和人物在第三识别框中所占像素行数，推算人物身高。

6.根据权利要求2所述的扫地机器人呼唤方法，其特征在于，步骤S6中，扫地机器人利用深度摄像头测距，向前移动至用户X距离处，建立人物双腿3D模型，并计算出双腿形心，机器人利用深度摄像头和形心保持定距，跟随人物行走。

7.根据权利要求2所述的扫地机器人呼唤方法，其特征在于，步骤S6中，扫地机器人利用深度摄像头测距，向前移动至用户X距离处，建立人物双腿3D模型，并计算出双腿形心，机器人利用深度摄像头和形心保持定距，绕形心360度移动，在用户附近进行清扫。

Images