CN115500740B - 清洁机器人及清洁机器人控制方法 - Google Patents
清洁机器人及清洁机器人控制方法 Download PDFInfo
- Publication number
- CN115500740B CN115500740B CN202211461032.2A CN202211461032A CN115500740B CN 115500740 B CN115500740 B CN 115500740B CN 202211461032 A CN202211461032 A CN 202211461032A CN 115500740 B CN115500740 B CN 115500740B
- Authority
- CN
- China
- Prior art keywords
- cleaning robot
- target user
- tof
- module
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000009471 action Effects 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/28—Floor-scrubbing machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
- A47L11/4008—Arrangements of switches, indicators or the like
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请公开了一种清洁机器人及清洁机器人控制方法,清洁机器人包括:摄像模块、两个TOF模组,各自的视场角均朝向清洁机器人行进方向,其中第一TOF模组的水平视场角大于垂直视场角,第二TOF模组的垂直视场角大于水平视场角;语音采集单元,用于接收用户的语音指令;控制器,在接收到语音指令后确定声源方位,获取对声源方位拍摄的图像,识别图像中是否存在目标用户,若是,控制第一TOF模组测量目标用户间的距离,在距离小于设定距离阈值时,控制第二TOF模组获取目标用户的姿态信息,基于此确定目标用户所指向的目标地面区域,控制对目标地面区域执行预设动作。借助摄像模块和两个TOF模组,能够精准确定用户指示的目标地面区域,实施清洁工作。
Description
技术领域
本申请涉及智能设备及其控制技术领域,更具体的说,是涉及一种清洁机器人及清洁机器人控制方法。
背景技术
随着社会经济和科学技术的发展,人们对高水平物质生活的追求日益增长。在这样的背景下,智能机器人越来越多地出现在了公众的视野中。通过智能语音、机器视觉等人机交互形式,人们可以比过往更加容易地操控机器,生活、工作的便捷度和舒适度显著提高。以清洁机器人为例,其作为智能家居成员中的重要角色,近些年也越来越受到消费者们的青睐。
现有的部分清洁机器人上设置有一个雷达传感器和相机,雷达传感器配合相机进行测距,可以获得相机拍摄的光学照片中各像素对应的物体与相机的距离。经过图像识别后,清洁机器人可以获取前方障碍物的类别以及障碍物相对于清洁机器人的距离,帮助进行路径规划导航以及避障。
另外,有些清洁机器人也加入了语音控制功能,可以在用户语音指令的控制下,实现部分功能,如清扫指定房间等。
大部分现有的清洁机器人目前仍以APP控制为主,用户可以在APP上指定清扫房间或指定部分区域清扫。
申请人分析发现,无论是APP控制方式还是语音控制方式,都无法实现精确指定较小区域的控制,如用户在餐厅吃饭时某一小块区域较脏,需要清洁机器人单独对该小块区域进行清洁时,现有的清洁机器人控制方式都无法很好的解决。
发明内容
鉴于上述问题,提出了本申请以便提供一种清洁机器人及清洁机器人控制方法,以实现控制清洁机器人对精确指定区域进行清洁工作的目的。具体方案如下:
第一方面,提供了一种清洁机器人,包括:
摄像模块,其视场角朝向清洁机器人行进方向;
两个TOF模组,所述两个TOF模组各自的视场角均朝向清洁机器人行进方向,且其中第一TOF模组的水平视场角大于垂直视场角,第二TOF模组的垂直视场角大于水平视场角;
语音采集单元,用于接收用户的语音指令;
控制器,用于在接收到所述语音采集单元输入的语音指令后,确定所述语音指令的声源方位,获取所述摄像模块对所述声源方位拍摄的图像,识别所述图像中是否存在目标用户,若存在,则控制所述第一TOF模组测量清洁机器人与所述目标用户间的距离,在所述距离小于设定距离阈值时,控制所述第二TOF模组获取所述目标用户的姿态信息,并基于所述姿态信息确定目标地面区域,控制所述清洁机器人对所述目标地面区域执行预设动作。
第二方面,提供了一种清洁机器人控制方法,所述清洁机器人包括:摄像模块,其视场角朝向清洁机器人行进方向;两个TOF模组,所述两个TOF模组各自的视场角均朝向清洁机器人行进方向,且其中第一TOF模组的水平视场角大于垂直视场角,第二TOF模组的垂直视场角大于水平视场角;该控制方法包括:
当接收到语音指令后,确定所述语音指令的声源方位;
获取所述摄像模块对所述声源方位拍摄的图像,识别所述图像中是否存在目标用户;
若存在,则控制所述第一TOF模组测量清洁机器人与所述目标用户间的距离;
在所述距离小于设定距离阈值时,控制所述第二TOF模组获取所述目标用户的姿态信息;
基于所述姿态信息确定目标地面区域,控制所述清洁机器人对所述目标地面区域执行预设动作。
借由上述技术方案,本申请的清洁机器人包括摄像模块、两个TOF模组、语音采集单元及控制器。语音采集单元用于接收用户的语音指令。摄像模块的视场角朝向清洁机器人行进方向,两个TOF模组各自的视场角均朝向清洁机器人行进方向,且设置其中第一TOF模组的水平视场角大于垂直视场角,设置其中第二TOF模组的垂直视场角大于水平视场角,于此,通过第一TOF模组可以配合摄像模块进行前方用户的识别、距离探测,并且通过第一TOF模组较大的水平视场角,可以更加全面、准确的探测清洁机器人行进前方的目标用户。第二TOF模组的垂直视场角大于水平视场角,因此在第一TOF模组配合摄像模块识别到前方设定距离阈值内存在目标用户时,可以利用第二TOF模组获取目标用户的姿态信息,借助第二TOF模组较大的垂直视场角,可以探测到目标用户的姿态。在此基础上,利用控制器基于姿态信息确定目标地面区域,进而控制清洁机器人对目标地面区域执行预设动作,如清洁、规避、移动等动作。本申请通过上述各个模块的配合,能够方便用户使用语音及身体姿态(如手势、眼神等)精确的指定目标地面区域,进而控制清洁机器人对该精确指定的目标地面区域执行预设动作,极大方便了用户的日常使用。
进一步地,本申请设置第一、第二两个TOF模组,两个TOF模组中一个水平视场角较大,另一个垂直视场角较大,分别用于识别前方目标用户和测量目标用户的姿态信息,保证了识别和测量结果的准确性,相比于单一一个TOF模组,其能够提升对前方目标用户识别的准确度,以及提升目标用户姿态信息测量的准确度。
再进一步的,控制器在收到用户的语音指令后,确定语音指令对应的声源方位,并在识别摄像模块拍摄的图像中存在目标用户时,通过第一TOF模组测量距离信息,在距离小于设定距离阈值时,控制第二TOF模组进行目标用户姿态信息的测量,能够进一步提升姿态信息测量结果的准确度。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例提供的一种清洁机器人结构示意图;
图2示例了一种摄像模块及两个TOF模组的视场角示意图;
图3a示例了一种基于用户姿态信息确定目标地面区域的示意图;
图3b示例了另一种基于用户姿态信息确定目标地面区域的示意图;
图3c示例了又一种基于用户姿态信息确定目标地面区域的示意图;
图4示例了一种清洁机器人控制方法流程示意图;
图5示例了另一种清洁机器人控制方法流程示意图;
图6为本申请实施例提供的一种清洁机器人控制装置结构示意图;
图7为本申请实施例提供的控制器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供了一种清洁机器人及其控制方法。本申请提供的清洁机器人能够在用户的语音及身体姿态的指示下,实现对精确指定的目标地面区域执行预设动作,极大方便用户的使用。
接下来,结合图1所示,本申请的清洁机器人100可以包括:
摄像模块1,两个TOF模组,分别定义为第一TOF模组2、第二TOF模组3,语音采集单元及控制器(图1中未示出)。
可选的,清洁机器人100还可以包括一个补光灯4,用于配合摄像模块1进行图像拍摄。
其中,摄像模块1的视场角朝向清洁机器人行进方向,用于对清洁机器人前方进行图像拍摄,以识别是否存在障碍物、用户等。
两个TOF模组各自的视场角均朝向清洁机器人行进方向。
摄像模块1和TOF模组均有视场角,一般来讲,摄像模块1的视场角较大,水平和垂直视场角均可以达到70°以上。而TOF模组受功率的限制,其视场角较小,一般只有一个方向(水平或垂直)视场角较大(例如70°以上),另一个方向视场角较小(例如只有40°左右)。为了保证本申请方案可以全面、准确的识别到清洁机器人前方是否存在目标用户,以及准确的获取到目标用户的姿态信息,本申请对上述两个TOF模组进行了如下配置:
配置其中的第一TOF模组2的水平视场角大于垂直视场角,配置第二TOF模组3的垂直视场角大于水平视场角。
上述摄像模块1、第一TOF模组2和第二TOF模组3的视场角分布情况参见图2所示,图2示例了在垂直剖面上,摄像模块1和两个TOF模组的垂直视场角分布情况。
由图2可知,摄像模块1的垂直视场角较大,基本能覆盖到清洁机器人前方大部分的空间。第一TOF模组2的垂直视场角较小,仅能够覆盖到清洁机器人前方地板及地板上方较小的距离。第二TOF模组3的垂直视场角较大,可以覆盖到清洁机器人前方大部分的空间。
本申请通过如上设置,可以使得第一TOF模组2更加关注清洁机器人前方地板附近的物体,第一TOF模组2探测到的信息足够用于目标用户识别及距离检测。第二TOF模组3更加关注清洁机器人前方地板上方的物体,如目标用户的头部、手部等身体姿态,第二TOF模组3用于获取前方目标用户的姿态信息,以便后续控制器基于获取的姿态信息确定用户指定的目标地面区域。
显然,通过上述摄像模块1、第一TOF模组2、第二TOF模组3的配合,既能够保证准确的识别前方的目标用户,又能够保证准确的获取目标用户的姿态信息,保证了方案整体实施的可靠性。
进一步地,清洁机器人上设置的语音采集单元,用于接收用户的语音指令。用户可以通过语音的形式,向清洁机器人下达控制指令,示例如“把我指的地面清洁下”、“不要进入我指向的这块地面区域”等。
语音采集单元可以是麦克风或麦克风阵列的形式,通过语音采集单元可以定位声源方位。
清洁机器人上设置的控制器,用于在上述摄像模块1、两个TOF模组和语音采集单元的配合下,实现在用户语音及肢体动作的指示下,对目标地面区域执行预设动作。清洁机器人的具体控制逻辑可以包括:
S1、在接收到语音采集单元输入的语音指令后,确定语音指令对应的声源方位,获取摄像模块1对所述声源方位拍摄的图像。
S2、识别所述图像中是否存在目标用户,若存在,执行S3。
具体地,可以采用对象检测算法,在图像中检测是否存在目标用户。
S3、控制第一TOF模组2测量清洁机器人与所述目标用户间的距离。
具体地,当步骤S2中识别到图像中存在目标用户时,可以控制第一TOF模组2测量与目标用户间的距离。
由于第一TOF模组的水平视场角较大,其可以对前方较大的水平视角内存在的目标用户进行距离检测,避免出现无法探测到目标用户,导致后续无法响应目标用户通过姿态信息指定地面区域的问题。
S4、在判断所述距离小于设定距离阈值时,控制第二TOF模组3获取所述目标用户的姿态信息。
具体地,本申请可以预先设定距离阈值,该距离阈值为姿态信息识别的距离阈值,也即,第二TOF模组3能够有效识别到目标用户的姿态信息的极限距离。当清洁机器人与目标用户间的距离超出该设定距离阈值时,可能会导致第二TOF模组3所获取的目标用户的姿态信息出现较大误差、甚至无法测量到目标用户的姿态信息的情况。
为此本步骤中,当判断清洁机器人与目标用户间的距离小于设定距离阈值时,可以控制第二TOF模组3获取目标用户的姿态信息。
由于第二TOF模组3的垂直视场角较大,因此可以探测到前方地板上方更高区域的目标用户的姿态信息,避免出现由于垂直视场角较小导致无法探测到目标用户的手部、头部姿态,导致无法准确获取到目标用户的姿态信息的问题。
这里需要说明的是,本实施例中所获取的目标用户的姿态信息可以包括手势姿态信息、头部姿态信息、腿部姿态信息等,其可以包括身体上各关键点的坐标,示例如手部关键点的坐标、头部、手臂、腿部等关键点的坐标。
S5、基于所述姿态信息确定所述目标用户所指向的目标地面区域,控制清洁机器人对所述目标地面区域执行预设动作。
具体地,在获取到目标用户的姿态信息之后,可以基于姿态信息确定目标用户所指向的目标地面区域,进而可以控制清洁机器人对目标地面区域执行预设动作。
其中,预设动作可以包括清洁、规避、监控、移动等。其中,清洁又可以进一步细分为清洁类型(如拖地、扫地等),清洁模式“轻度模式、中度模式、重度模式等”。
除此之外,用户下发的语音指令中也可以包括清洁动作,则本步骤中可以按照语音指令,控制清洁机器人对目标地面区域执行该语音指令中包含的清洁动作。
参考图3a-图3c:
图3a示例的是根据目标用户手肘、手部关键点的连线的延长线,确定延长线与地面的交点,并以交点作为中心,以预设的半径所确定的目标地面区域。
图3b示例的是根据目标用户的双眼连线的中点,与手部关键点的连线的延长线,确定延长线与地面的交点,并以交点作为中心,以预设的半径所确定的目标地面区域。
图3c示例的是由用户的手部通过画圈的形式,指定目标地面区域。则可以采集用户画圈过程的各帧图像,并以每帧图像中目标用户的双眼连线的中点,与手部关键点的连线的延长线,确定延长线与地面的交点。对基于各帧确定的各个交点进行曲线拟合,拟合后的曲线所围成的区域作为目标地面区域。
上述得到目标地面区域之后,可以通过APP显示给用户,用户可以在显示界面上对显示的目标地面区域进行二次编辑修正,得到最终的目标地面区域。
当然,上述仅仅示例了三种基于姿态信息确定目标用户所指向的目标地面区域的可选实施方式,除此之外,还可以采用其他方式。
在上述实施例的基础上,控制器还可以用于执行下述处理流程:
在上述步骤S4判断清洁机器人与目标用户间的距离不小于设定距离阈值时,控制清洁机器人向目标用户移动,直至移动至与目标用户的距离小于或等于设定距离阈值时,控制第二TOF模组3获取目标用户的姿态信息,基于姿态信息确定目标用户所指向的目标地面区域,控制清洁机器人对目标地面区域执行预设动作。
具体地,当清洁机器人与目标用户间的距离超出该设定距离阈值时,可能会导致第二TOF模组3所获取的目标用户的姿态信息出现较大误差、甚至无法获取到目标用户的姿态信息的情况,为此,可以控制清洁机器人向目标用户移动,直至移动到与目标用户的距离不超过设定距离阈值时,可以再执行后续的姿态信息获取的过程。
再进一步的,控制器在上述步骤S2判断所述图像中不存在目标用户时,可以控制清洁机器人向声源方位移动,直至通过摄像模块1对声源方位拍摄的图像中识别出目标用户时,执行上述步骤S3-S5的流程。
本申请一些实施例中,对摄像模块1和两个TOF模组的设置方式进行介绍。如图1所示,摄像模块1和两个TOF模组可以设置在清洁机器人前侧面,以方便其视场角朝向清洁机器人行进方向。当然,摄像模块1和两个TOF模组还可以设置在清洁机器人顶部或其他位置,保证视场角能够朝向清洁机器人行进方向即可。
可选的,如图1所示,摄像模块1和两个TOF模组可以水平排布在同一水平面。第一TOF模组2和第二TOF模组3可以分别位于摄像模块1的两侧,补光灯4可以位于摄像模块1的下方或上方。
当然,摄像模块1和两个TOF模组还可以有其他的排布方式,图1中仅仅示例了一种可选的排布方式。
摄像模块1可以采用RGB相机或其他类型的相机。TOF模组可以采用ITOF模组。
进一步地,参考图2所示:
摄像模块1的视场角的中线可以与清洁机器人底面存在第一夹角θ1,0°≤θ1<90°。
也即,摄像模块1的视场角的中线可以平行于清洁机器人底面,或者是指向地板斜上方(图2示例的即为θ1>0的情况)。
第一TOF模组2的视场角的中线可以平行于清洁机器人底面,或者是与清洁机器人底面存在较小的夹角,保证能够探测到清洁机器人前方地面附近的目标对象即可。
第二TOF模组3的视场角的中线与清洁机器人底面可以存在第二夹角θ2,0°<θ2<90°。
为了保证第二TOF模组3能够更全面的探测到清洁机器人前方地面上方更多的空间,本实施例中可以设置上述第二夹角θ2,0°<θ2<90°,也即第二TOF模组3的视场角的中线指向地板斜上方。
本申请的一些实施例中,进一步提供了一种清洁机器人控制方法,用于对前述实施例介绍的清洁机器人进行控制,如图4所示,控制方法可以包括如下步骤:
步骤S100、当接收到语音指令后,确定语音指令对应的声源方位。
步骤S110、获取摄像模块对声源方位拍摄的图像,识别图像中是否存在目标用户,若存在,执行下述步骤S120。
步骤S120、控制第一TOF模组测量清洁机器人与目标用户间的距离。
步骤S130、判断所述距离是否小于设定距离阈值,若是,执行步骤S140。
步骤S140、控制第二TOF模组获取目标用户的姿态信息。
步骤S150、基于姿态信息确定目标用户所指向的目标地面区域,控制清洁机器人对目标地面区域执行预设动作。
本实施例提供的清洁机器人控制方法,在收到用户的语音指令后,确定声源方位,并在判断识别摄像模块拍摄的图像中存在目标用户时,通过第一TOF模组测量距离信息,在距离小于设定距离阈值时,控制第二TOF模组进行目标用户姿态信息的获取,能够进一步提升姿态信息获取结果的准确度。
并且,本申请分别控制第一TOF模组测量距离信息,控制第二TOF模组获取目标用户的姿态信息,充分利用第一TOF模组水平视场角较大,能够全面、准确的测量前方目标用户的距离信息,以及,利用第二TOF模组的垂直视场角较大,能够全面、准确的测量前方较高视角中目标用户的姿态信息,保证了整体控制方法的可靠性,进而能够实现按照用户的语音及身体姿态指令,对指定的精确地面区域执行预设动作的目的。
进一步地,结合图5所示,图5示例了另一种清洁机器人控制方法,在前述实施例的基础上,进一步增加了如下步骤:
在步骤S110判断图像中不存在目标用户时,可以执行步骤S160:
控制清洁机器人向声源方位移动,直至通过摄像模块拍对声源方位拍摄的图像中识别出目标用户为止,进而执行后续步骤S120及其后续步骤。
具体地,清洁机器人与目标用户之间可能存在遮挡的情况,此时可能通过摄像模块拍摄的图像中不包含目标用户,则本实施例中可以控制清洁机器人向声源方位移动,直至拍摄的图像中能够识别出目标用户为止。
进一步地,在步骤S130判断清洁机器人与目标用户间的距离不小于设定距离阈值时,可以执行步骤S170:
控制清洁机器人向目标用户移动,直至移动至与目标用户的距离小于或等于设定距离阈值为止,进而执行后续步骤S140及其后续步骤。
具体地,为了保证能够通过第二TOF模组准确获取到目标用户的姿态信息,本实施例中在清洁机器人与目标用户间距离大于设定距离阈值时,首先控制清洁机器人向目标用户移动,可以在移动至距离目标用户设定距离阈值时,或移动至距离目标用户小于设定距离阈值的某个位置时,再执行后续步骤S140的步骤。
下面对本申请实施例提供的清洁机器人控制装置进行描述,下文描述的清洁机器人控制装置与上文描述的清洁机器人控制方法可相互对应参照,该清洁机器人控制装置可以应用于清洁机器人的控制器中。
参见图6,图6为本申请实施例公开的一种清洁机器人控制装置结构示意图。
如图6所示,该装置可以包括:
指令响应单元600,用于当接收到语音指令后,确定语音指令对应的声源方位;
图像识别单元610,用于获取所述摄像模块对所述声源方位拍摄的图像,识别所述图像中是否存在目标用户,若存在,执行下述距离测量单元620;
距离测量单元620,用于控制所述第一TOF模组测量清洁机器人与所述目标用户间的距离,在所述距离小于设定距离阈值时,执行下述姿态信息获取单元630;
姿态信息获取单元630,用于控制所述第二TOF模组获取所述目标用户的姿态信息;
清洁控制单元640,用于基于所述姿态信息确定所述目标用户所指向的目标地面区域,控制清洁机器人对所述目标地面区域执行预设动作。
可选的,上述清洁机器人控制装置还可以包括:
第一移动控制单元,用于在上述距离测量单元判断所述距离不小于所述设定距离阈值时,控制清洁机器人向所述目标用户移动,直至移动至与所述目标用户的距离小于或等于所述设定距离阈值时,执行所述姿态信息获取单元的处理逻辑。
可选的,上述清洁机器人控制装置还可以包括:
第二移动控制单元,用于在上述图像识别单元判断所述图像中不存在目标用户时,控制清洁机器人向所述声源方位移动,直至通过所述摄像模块对所述声源方位拍摄的图像中识别出目标用户时,执行上述距离测量单元的处理逻辑。
本申请实施例提供的清洁机器人控制装置可应用于清洁机器人中的控制器。可选的,图7示出了控制器的硬件结构框图,参照图7,控制器的硬件结构可以包括:至少一个处理器10,至少一个通信接口20,至少一个存储器30和至少一个通信总线40;
在本申请实施例中,处理器10、通信接口20、存储器30、通信总线40的数量为至少一个,且处理器10、通信接口20、存储器30通过通信总线40完成相互间的通信;
处理器10可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器30可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:执行前述清洁机器人控制方法的各个步骤。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质,该存储介质可存储有适于处理器执行的程序,所述程序用于:执行前述清洁机器人控制方法的各个步骤。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种清洁机器人,其特征在于,包括:
摄像模块,其视场角朝向清洁机器人行进方向;
两个TOF模组,所述两个TOF模组各自的视场角均朝向清洁机器人行进方向,且其中第一TOF模组的水平视场角大于垂直视场角,第二TOF模组的垂直视场角大于水平视场角;
语音采集单元,用于接收用户的语音指令;
控制器,用于在接收到所述语音采集单元输入的语音指令后,确定所述语音指令的声源方位,获取所述摄像模块对所述声源方位拍摄的图像,识别所述图像中是否存在目标用户,若存在,则控制所述第一TOF模组测量清洁机器人与所述目标用户间的距离,在所述距离小于设定距离阈值时,控制所述第二TOF模组获取所述目标用户的姿态信息,并基于所述姿态信息确定目标地面区域,控制所述清洁机器人对所述目标地面区域执行预设动作,所述基于所述姿态信息确定目标地面区域至少包括:确定由所述目标用户的手部通过画圈的形式所指定目标地面区域。
2.根据权利要求1所述的清洁机器人,其特征在于,所述控制器还用于:
在判断所述距离不小于所述设定距离阈值时,控制清洁机器人向所述目标用户移动,直至移动至与所述目标用户的距离小于所述设定距离阈值时,执行控制所述第二TOF模组获取所述目标用户的姿态信息,及其后续步骤。
3.根据权利要求1所述的清洁机器人,其特征在于,所述控制器还用于:
在判断所述图像中不存在目标用户时,则控制清洁机器人向所述声源方位移动,直至通过所述摄像模块对所述声源方位拍摄的图像中识别出目标用户时,执行控制所述第一TOF模组测量清洁机器人与所述目标用户间的距离,及其后续步骤。
4.根据权利要求1所述的清洁机器人,其特征在于,所述摄像模块的视场角的中线与清洁机器人底面存在第一夹角θ1,0°≤θ1<90°。
5.根据权利要求1所述的清洁机器人,其特征在于,所述第一TOF模组的视场角的中线平行于清洁机器人底面。
6.根据权利要求1所述的清洁机器人,其特征在于,所述第二TOF模组的视场角的中线与清洁机器人底面存在第二夹角θ2,0°<θ2<90°。
7.根据权利要求1-6任一项所述的清洁机器人,其特征在于,所述摄像模块及两个TOF模组水平排布在同一水平面,所述第一TOF模组和所述第二TOF模组分别位于所述摄像模块的两侧。
8.一种清洁机器人控制方法,其特征在于,所述清洁机器人包括:摄像模块,其视场角朝向清洁机器人行进方向;两个TOF模组,所述两个TOF模组各自的视场角均朝向清洁机器人行进方向,且其中第一TOF模组的水平视场角大于垂直视场角,第二TOF模组的垂直视场角大于水平视场角;该控制方法包括:
当接收到语音指令后,确定所述语音指令的声源方位;
获取所述摄像模块对所述声源方位拍摄的图像,识别所述图像中是否存在目标用户;
若存在,则控制所述第一TOF模组测量清洁机器人与所述目标用户间的距离;
在所述距离小于设定距离阈值时,控制所述第二TOF模组获取所述目标用户的姿态信息;
基于所述姿态信息确定目标地面区域,控制所述清洁机器人对所述目标地面区域执行预设动作,所述基于所述姿态信息确定目标地面区域至少包括:确定由所述目标用户的手部通过画圈的形式所指定目标地面区域。
9.根据权利要求8所述的方法,其特征在于,还包括:
在判断所述距离不小于所述设定距离阈值时,控制清洁机器人向所述目标用户移动,直至移动至与所述目标用户的距离小于所述设定距离阈值时,执行控制所述第二TOF模组获取所述目标用户的姿态信息,及其后续步骤。
10.根据权利要求8所述的方法,其特征在于,还包括:
在判断所述图像中不存在目标用户时,控制清洁机器人向所述声源方位移动,直至通过所述摄像模块对所述声源方位拍摄的图像中识别出目标用户时,执行控制所述第一TOF模组测量清洁机器人与所述目标用户间的距离,及其后续步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211461032.2A CN115500740B (zh) | 2022-11-18 | 2022-11-18 | 清洁机器人及清洁机器人控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211461032.2A CN115500740B (zh) | 2022-11-18 | 2022-11-18 | 清洁机器人及清洁机器人控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115500740A CN115500740A (zh) | 2022-12-23 |
CN115500740B true CN115500740B (zh) | 2023-04-18 |
Family
ID=84513795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211461032.2A Active CN115500740B (zh) | 2022-11-18 | 2022-11-18 | 清洁机器人及清洁机器人控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115500740B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001307124A (ja) * | 2000-02-15 | 2001-11-02 | Sega Corp | 画像処理システム、画像処理装置及び撮像装置 |
CN105302910A (zh) * | 2015-11-09 | 2016-02-03 | 百度在线网络技术(北京)有限公司 | 信息检索方法和装置 |
CN106453962A (zh) * | 2016-11-30 | 2017-02-22 | 珠海市魅族科技有限公司 | 双屏智能终端的摄像控制方法 |
CN111358365A (zh) * | 2018-12-26 | 2020-07-03 | 珠海市一微半导体有限公司 | 清洁机器人的作业区域划分方法、系统及芯片 |
CN113411498A (zh) * | 2021-06-17 | 2021-09-17 | 深圳传音控股股份有限公司 | 图像拍摄方法、移动终端及存储介质 |
CN113747028A (zh) * | 2021-06-15 | 2021-12-03 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102061511B1 (ko) * | 2013-04-26 | 2020-01-02 | 삼성전자주식회사 | 청소 로봇, 홈 모니터링 장치 및 그 제어 방법 |
KR102094347B1 (ko) * | 2013-07-29 | 2020-03-30 | 삼성전자주식회사 | 자동 청소 시스템, 청소 로봇 및 그 제어 방법 |
KR20160065574A (ko) * | 2014-12-01 | 2016-06-09 | 엘지전자 주식회사 | 로봇 청소기 및 그의 제어방법 |
CN106210511A (zh) * | 2016-06-30 | 2016-12-07 | 纳恩博(北京)科技有限公司 | 一种定位用户的方法和装置 |
US20210331314A1 (en) * | 2019-03-08 | 2021-10-28 | Lg Electronics Inc. | Artificial intelligence cleaner |
KR102297496B1 (ko) * | 2019-07-11 | 2021-09-02 | 엘지전자 주식회사 | 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 |
CN110881909A (zh) * | 2019-12-20 | 2020-03-17 | 小狗电器互联网科技(北京)股份有限公司 | 一种扫地机控制方法及装置 |
CN114401371B (zh) * | 2020-08-05 | 2024-03-26 | 深圳市浩瀚卓越科技有限公司 | 追踪控制方法、装置、对象追踪部件和存储介质 |
CN114680740B (zh) * | 2020-12-29 | 2023-08-08 | 美的集团股份有限公司 | 清扫控制方法、装置、智能设备、移动设备及服务器 |
CN113679298B (zh) * | 2021-08-27 | 2022-05-10 | 美智纵横科技有限责任公司 | 机器人的控制方法、控制装置、机器人和可读存储介质 |
-
2022
- 2022-11-18 CN CN202211461032.2A patent/CN115500740B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001307124A (ja) * | 2000-02-15 | 2001-11-02 | Sega Corp | 画像処理システム、画像処理装置及び撮像装置 |
CN105302910A (zh) * | 2015-11-09 | 2016-02-03 | 百度在线网络技术(北京)有限公司 | 信息检索方法和装置 |
CN106453962A (zh) * | 2016-11-30 | 2017-02-22 | 珠海市魅族科技有限公司 | 双屏智能终端的摄像控制方法 |
CN111358365A (zh) * | 2018-12-26 | 2020-07-03 | 珠海市一微半导体有限公司 | 清洁机器人的作业区域划分方法、系统及芯片 |
CN113747028A (zh) * | 2021-06-15 | 2021-12-03 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
CN113411498A (zh) * | 2021-06-17 | 2021-09-17 | 深圳传音控股股份有限公司 | 图像拍摄方法、移动终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115500740A (zh) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200306983A1 (en) | Mobile robot and method of controlling the same | |
CN109890573B (zh) | 移动机器人的控制方法、装置、移动机器人及存储介质 | |
RU2620236C1 (ru) | Система автоматической уборки, робот-уборщик и способ управления роботом-уборщиком | |
US10423163B2 (en) | Mobile robot and method of controlling same | |
CN106228112B (zh) | 人脸检测跟踪方法及机器人头部转动控制方法和机器人 | |
US10921806B2 (en) | Moving robot | |
AU2017258264B2 (en) | Mobile robot and control method therefor | |
Peng et al. | A smartphone-based obstacle sensor for the visually impaired | |
CN107291080A (zh) | 一种扫地机器人及避障方法、可读存储介质 | |
US20160154996A1 (en) | Robot cleaner and method for controlling a robot cleaner | |
KR20190035377A (ko) | 이동 로봇 및 그 제어방법 | |
CN212089442U (zh) | 用于机器人清洁器的对接站和信标及机器人清洁器系统 | |
US11119501B2 (en) | Moving robot and control method for the same | |
US20210356293A1 (en) | Robot generating map based on multi sensors and artificial intelligence and moving based on map | |
CN111990930B (zh) | 一种测距方法、装置、机器人和存储介质 | |
WO2019113859A1 (zh) | 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备 | |
KR102314537B1 (ko) | 이동 로봇 및 그 제어방법 | |
CN206726243U (zh) | 室内移动视频跟踪定位辅助拍摄装置 | |
CN115500740B (zh) | 清洁机器人及清洁机器人控制方法 | |
US5572595A (en) | Method of detecting the location of a human being in three dimensions | |
Kobayashi et al. | Robotic wheelchair with omni-directional vision for moving alongside a caregiver | |
Volkhardt et al. | Finding people in apartments with a mobile robot | |
Luo et al. | Autonomous mobile robot navigation and localization based on floor plan map information and sensory fusion approach | |
KR102203438B1 (ko) | 이동 로봇 및 이동 로봇의 제어방법 | |
JP2012227830A (ja) | 情報処理装置、その処理方法、プログラム及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |