CN110916576A - 基于声音和图像识别指令的清洁方法及清洁机器人 - Google Patents

基于声音和图像识别指令的清洁方法及清洁机器人 Download PDF

Info

Publication number
CN110916576A
CN110916576A CN201911251637.7A CN201911251637A CN110916576A CN 110916576 A CN110916576 A CN 110916576A CN 201911251637 A CN201911251637 A CN 201911251637A CN 110916576 A CN110916576 A CN 110916576A
Authority
CN
China
Prior art keywords
cleaning robot
sound
voice
cleaning
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911251637.7A
Other languages
English (en)
Inventor
张珂嘉
陈宁
刘登明
罗安夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jiaweili Robot Technology Co Ltd
Original Assignee
Chengdu Jiaweili Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jiaweili Robot Technology Co Ltd filed Critical Chengdu Jiaweili Robot Technology Co Ltd
Publication of CN110916576A publication Critical patent/CN110916576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Abstract

本发明提供一种基于声音和图像识别指令的清洁方法及清洁机器人，该方法包括：通过声源定位，使清洁机器人向声源方向移动的步骤；清洁机器人对人体特定识别部进行识别，或直接通过声纹识别当前操作者从而被唤醒的步骤；和进一步识别操作者的声音或动作，并与操作者预设的指令进行匹配，使清洁机器人根据操作者预设的指令进行相应工作的步骤。本发明能通过声音定位技术，图像面部识别技术或声纹技术，对操作者进行识别，完成其个性化需求。

Description

基于声音和图像识别指令的清洁方法及清洁机器人
技术领域
本发明涉及智能家用电器技术领域，特别是涉及一种基于声音和图像识别指令的清洁方法及采用该方法的清洁机器人。
背景技术
清洁机器人是智能家用电器的一种，能凭借一定的人工智能，自动在房间/空间内完成地面清理工作。然而以往的清洁机器人无法认识下命令的对象(操作者)，无法对特定用户进行个性化服务。
发明内容
发明要解决的问题：
鉴于以上，本发明针对目前清洁机器人无法定位和识别目标用户、对目标用户的指令仅限于语音而不能对清洁机器人执行个性化定制的问题，提供一种基于目标物识别的清洁方法及清洁机器人，使清洁机器人适应个性化需求。
本发明一方面提供一种基于声音和图像识别指令的清洁方法，包括如下步骤：
通过声源定位，使清洁机器人向声源方向移动的步骤；
清洁机器人对人体特定识别部进行识别，或直接通过声纹识别当前操作者从而被唤醒的步骤；和
进一步识别操作者的声音或动作，并与操作者预设的指令进行匹配，使清洁机器人根据操作者预设的指令进行相应工作的步骤。
由此，本发明能通过声音定位技术，图像面部识别技术或声纹技术，对操作者进行识别，完成其个性化需求。
优选地，还包括录入声音和/或图像和/或动作以与清洁机器人的唤醒指令进行绑定的步骤。
优选地，还包括录入声音和/或图像和/或动作以与清洁机器人的运动指令进行绑定的步骤。
优选地，还包括录入声音和/或图像和/或动作以与清洁机器人的打扫或拖地指令进行绑定的步骤。
本发明另一方面提供一种采用上述基于声音和图像识别指令的清洁方法的清洁机器人。
根据下述具体实施方式并参考附图，将更好地理解本发明的上述内容及其它目的、特征和优点。
附图说明
图1示出了根据本发明一具体实施形态的基于声音和图像识别指令的清洁方法。
图2示出了根据本发明另一具体实施形态的基于声音和图像识别指令的清洁方法。
具体实施方式
以下结合附图和下述实施方式进一步说明本发明，应理解，附图及下述具体实施方式仅用于说明本发明，而非限制本发明。
以下具体实施方式和实施例等以家用清洁机器人为例进行了说明，但本发明不限于家用机器人等，还可应用于商用、办公室用清洁机器人等。
定位目标用户及识别目标用户的过程如下；
首先，对清洁机器人下达唤醒指令。例如本一实施例中该唤醒指令为“venii venii”。
接下来，清洁机器人通过声源定位，将摄像头对准声源方向，并向声源方向移动。
此时，摄像头对人体特定识别部(例如人脸)进行识别，或也可以在接收唤醒指令后直接通过“声纹”识别当前操作者。成功后，标记为当前唤醒对象。同时还可语音提示“xx你好”。
根据操作者不同，完成特定操作者的‘个性化定制声音或动作指令’。也可以只通过声纹标记当前操作者，只响应语音指令。
基于上述过程，可进一步实现清洁机器人个性化定制过程：
本发明一实施形态中，在app中列出家庭成员列表，下设声音和图像录入按钮。用户可读一段文字和拍照，进行声音和图像跟家庭成员的账号绑定。
列出清洁机器人可以实现的应用功能，与相应的声音命令和姿势命令。此外，还可增加录入个性化声音和姿势的选项，可以通过录音和录像，进行声音命令或姿势命令与唤醒指令的绑定。
之后，唤醒清洁机器人，清洁机器人对唤醒者进行声音或图像特征识别。成功后，清洁机器人可以响应特定家庭成员的特殊输入命令。
具体而言，在图1所示的实施例中，首先通过app等用户终端采集人像和声纹，并绑定特定用户账号，传入主机保存。之后，主机程序可将声纹反馈给声音处理模块、将人像反馈至图像处理模块。声音处理模块存储声纹信息。同时图像处理模块存储人像信息。
当MIC收到唤醒指令(例如“venii venii”)时，可以唤醒主机，判断声纹，传出声纹信息和声音方位。从而环形主机，识别声纹，标记特殊用户，等待响应特殊声音命令。在确定声音方位后，控制运动模块将摄像头指向声音方向，并向该方向运动。通过摄像头(Camera)等采集图像后，图像处理模块识别空间中的人像，由主机程序标记特殊用户，相应特殊姿势指令。
例如当收到特殊命令(例如“抵隆道拐”)，则通过声音处理模块转换为“转弯”指令，并告知主机。接着主机通过控制运动清洁模块实现“转弯”。
例如当采集到“脚指向地面”图像时，图像处理模块将其转换为“扫这里”指令，并通知主机。接着主机控制运动清洁模块移动，并清扫指定位置。
一实施形态中，如果是普通话不标准人士，将自己的声音和照片录入app跟自己的账号绑定，可以将声音“抵隆道拐”跟“转弯”功能进行绑定。清洁机器人通过声音或图像识别到该人后，就可以通过识别“抵隆道拐”实现“转弯”功能等。
一实施形态中，如果是上肢残疾人士，将自己的声音和照片录入app跟自己的账号绑定，可以将“脚指向地面”跟“打扫这里”功能进行绑定。清洁机器人通过声音或图像识别到该人后，就可以通过识别“脚指向地面”实现“打扫这里”功能。
一实施形态中，如果是聋哑人士，将自己的照片录入app跟自己的账号绑定，可以将“对着清洁机器人挥挥手”跟“唤醒”功能进行绑定(此时可以不需要先识别人)，将“点点头”跟“打扫这里”进行绑定，清洁机器人通过图像识别到该人后，可以通过识别“点点头”实现“打扫这里”功能。也就是说，在某些情况下例如仅录入动作与“唤醒”功能绑定时可以不需要先识别人。
在图2所示的实施例中，首先通过app等用户终端采集人像和声纹，并绑定特定用户账号，传入主机保存。app还可列出可实现的功能，和默认操作指令(声音或手势)。此外，用户还可录入绑定该功能的个性化指令(声音或手势)，传入主机保存。之后，主机程序可将声纹和声音指令反馈给声音处理模块、将人像和动作指令反馈至图像处理模块。
当MIC收到唤醒指令(例如“venii venii”)时，声音处理模块可以唤醒主机，传入声纹信息和声音方位。此时主机识别声纹，标记特殊用户或等待响应特殊声音命令。在确定声音方位后，控制运动模块将摄像头指向声音方向，并向该方向运动。
接着，通过摄像头(Camera)等采集图像后，图像处理模块识别人像，由主机程序标记特殊用户。
例如当收到特殊命令(例如“抵隆道拐”)，则通过声音处理模块转换为“转弯”指令，并告知主机。接着主机通过控制运动清洁模块实现“转弯”。
例如当采集到“脚指向地面”图像时，图像处理模块将其转换为“扫这里”指令，并通知主机。接着主机控制运动清洁模块移动，并清扫指定位置。
以上的具体实施方式对本发明的目的、技术方案和有益效果进行了进一步详细说明，应当理解的是，以上仅为本发明的一种具体实施方式而已，并不限于本发明的保护范围，在不脱离本发明的基本特征的宗旨下，本发明可体现为多种形式，因此本发明中的实施形态是用于说明而非限制，由于本发明的范围由权利要求限定而非由说明书限定，而且落在权利要求界定的范围，或其界定的范围的等价范围内的所有变化都应理解为包括在权利要求书中。凡在本发明的精神和原则之内的，所做出的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于声音和图像识别指令的清洁方法，其特征在于，包括如下步骤：
通过声源定位，使清洁机器人向声源方向移动的步骤；
清洁机器人对人体特定识别部进行识别，或直接通过声纹识别当前操作者从而被唤醒的步骤；和
进一步识别操作者的声音或动作，并与操作者预设的指令进行匹配，使清洁机器人根据操作者预设的指令进行相应工作的步骤。
2.根据权利要求1所述的基于声音和图像识别指令的清洁方法，其特征在于，
还包括录入声音和/或图像和/或动作以与清洁机器人的唤醒指令进行绑定的步骤。
3.根据权利要求1或2所述的基于声音和图像识别指令的清洁方法，其特征在于，
还包括录入声音和/或图像和/或动作以与清洁机器人的运动指令进行绑定的步骤。
4.根据权利要求1或2所述的基于声音和图像识别指令的清洁方法，其特征在于，
还包括录入声音和/或图像和/或动作以与清洁机器人的打扫或拖地指令进行绑定的步骤。
5.一种采用权利要求1至4中任意一项所述的基于声音和图像识别指令的清洁方法的清洁机器人。
CN201911251637.7A 2018-12-13 2019-12-09 基于声音和图像识别指令的清洁方法及清洁机器人 Pending CN110916576A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811525735 2018-12-13
CN2018115257350 2018-12-13

Publications (1)

Publication Number Publication Date
CN110916576A true CN110916576A (zh) 2020-03-27

Family

ID=69858507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911251637.7A Pending CN110916576A (zh) 2018-12-13 2019-12-09 基于声音和图像识别指令的清洁方法及清洁机器人

Country Status (1)

Country Link
CN (1) CN110916576A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578909A (zh) * 2020-12-15 2021-03-30 北京百度网讯科技有限公司 设备交互的方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295016A (zh) * 2008-06-13 2008-10-29 河北工业大学 一种声源自主搜寻定位方法
CN103052001A (zh) * 2011-10-17 2013-04-17 联想(北京)有限公司 智能设备及其控制方法
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维－Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及系统
CN106388713A (zh) * 2016-10-31 2017-02-15 南昌大学 智能扫地机器人
CN106548231A (zh) * 2016-11-24 2017-03-29 北京地平线机器人技术研发有限公司 移动控制装置、可移动机器人和移动到最佳交互点的方法
CN107247923A (zh) * 2017-05-18 2017-10-13 珠海格力电器股份有限公司 一种指令识别方法、装置、存储设备、移动终端及电器
CN107346245A (zh) * 2017-06-29 2017-11-14 杭州古北电子科技有限公司 智能设备的控制方法及系统
CN108245099A (zh) * 2018-01-15 2018-07-06 深圳市沃特沃德股份有限公司 机器人移动方法和装置
CN108469772A (zh) * 2018-05-18 2018-08-31 阿里巴巴集团控股有限公司 一种智能设备的控制方法和装置
KR20180106327A (ko) * 2017-03-20 2018-10-01 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
CN108670128A (zh) * 2018-05-21 2018-10-19 深圳市沃特沃德股份有限公司 语音控制扫地机器人的方法和扫地机器人
CN108888204A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种扫地机器人呼唤装置及呼唤方法
CN108958810A (zh) * 2018-02-09 2018-12-07 北京猎户星空科技有限公司 一种基于声纹的用户识别方法、装置及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295016A (zh) * 2008-06-13 2008-10-29 河北工业大学 一种声源自主搜寻定位方法
CN103052001A (zh) * 2011-10-17 2013-04-17 联想(北京)有限公司 智能设备及其控制方法
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维－Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及系统
CN106388713A (zh) * 2016-10-31 2017-02-15 南昌大学 智能扫地机器人
CN106548231A (zh) * 2016-11-24 2017-03-29 北京地平线机器人技术研发有限公司 移动控制装置、可移动机器人和移动到最佳交互点的方法
KR20180106327A (ko) * 2017-03-20 2018-10-01 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
CN107247923A (zh) * 2017-05-18 2017-10-13 珠海格力电器股份有限公司 一种指令识别方法、装置、存储设备、移动终端及电器
CN107346245A (zh) * 2017-06-29 2017-11-14 杭州古北电子科技有限公司 智能设备的控制方法及系统
CN108245099A (zh) * 2018-01-15 2018-07-06 深圳市沃特沃德股份有限公司 机器人移动方法和装置
CN108958810A (zh) * 2018-02-09 2018-12-07 北京猎户星空科技有限公司 一种基于声纹的用户识别方法、装置及设备
CN108469772A (zh) * 2018-05-18 2018-08-31 阿里巴巴集团控股有限公司 一种智能设备的控制方法和装置
CN108670128A (zh) * 2018-05-21 2018-10-19 深圳市沃特沃德股份有限公司 语音控制扫地机器人的方法和扫地机器人
CN108888204A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种扫地机器人呼唤装置及呼唤方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578909A (zh) * 2020-12-15 2021-03-30 北京百度网讯科技有限公司 设备交互的方法及装置

Similar Documents

Publication Publication Date Title
WO2017149868A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11126257B2 (en) System and method for detecting human gaze and gesture in unconstrained environments
CN104410883B (zh) 一种移动可穿戴非接触式交互系统与方法
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR101330810B1 (ko) 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
US20230305530A1 (en) Information processing apparatus, information processing method and program
CN107919121A (zh) 智能家居设备的控制方法、装置、存储介质及计算机设备
JP2019532543A (ja) 制御システムならびに制御処理方法および装置
CN114391163A (zh) 手势检测系统和方法
US20240078798A1 (en) Information processing device, information processing method, and program
CN105578058A (zh) 一种面向智能机器人的拍摄控制方法、装置及机器人
US11514705B2 (en) Information processing apparatus and non-transitory computer readable medium to allow operation without contact
US20230266767A1 (en) Information processing apparatus, information processing method, and program
CN108681399A (zh) 一种设备控制方法、装置、控制设备及存储介质
JP2018111154A (ja) ロボット装置及びプログラム
WO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN110916576A (zh) 基于声音和图像识别指令的清洁方法及清洁机器人
KR20140022654A (ko) 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법
US20220371178A1 (en) Information processing apparatus, information processing method, and program
US20140218516A1 (en) Method and apparatus for recognizing human information
JP6721023B2 (ja) 情報処理装置及びプログラム
US9761009B2 (en) Motion tracking device control systems and methods
WO2019244112A1 (en) Teleoperation with a wearable sensor system
JP6721024B2 (ja) 情報処理装置及びプログラム
EP4144489A1 (en) Control device, control method, and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination