CN105407774A - 自动清扫系统、清扫机器人和控制清扫机器人的方法 - Google Patents

自动清扫系统、清扫机器人和控制清扫机器人的方法 Download PDF

Info

Publication number
CN105407774A
CN105407774A CN201480042060.8A CN201480042060A CN105407774A CN 105407774 A CN105407774 A CN 105407774A CN 201480042060 A CN201480042060 A CN 201480042060A CN 105407774 A CN105407774 A CN 105407774A
Authority
CN
China
Prior art keywords
user
sweeping
image
sweeping robot
emphasis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480042060.8A
Other languages
English (en)
Other versions
CN105407774B (zh
Inventor
尹详植
郑次均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105407774A publication Critical patent/CN105407774A/zh
Application granted granted Critical
Publication of CN105407774B publication Critical patent/CN105407774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39441—Voice command, camera detects object, grasp, move
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45098—Vacuum cleaning robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

一种在游历待清扫空间的同时执行清扫的清扫机器人，该清扫机器人包括：行进单元，其移动该清扫机器人；清扫单元，其清扫待清扫空间；图像捕获单元，其捕获从该清扫机器人查看的图像；语音输入单元，用于输入用户的语音指令；以及控制器，其当通过该语音输入单元输入用户的语音指令时，通过该图像捕获单元获得用户的动作指令，并且基于用户的动作指令或用户的语音指令来确定禁止该清扫机器人进入的禁区和/或将要着重清扫的重点清扫区。可以通过用户的语音和动作将禁区和重点清扫区输入到该清扫机器人中。

Description

自动清扫系统、清扫机器人和控制清扫机器人的方法
技术领域
以下说明涉及清扫机器人，而且更具体地，涉及通过检测用户的动作来确定清扫机器人的禁区和重点清扫区的清扫机器人。
背景技术
清扫机器人是游历待清扫空间以通过吸入包括来自地板的灰尘的异物来自动清扫待清扫空间而无需用户操控的设备。即，清扫机器人在游历待清扫空间的同时清扫待清扫空间。
在根据现有技术的清扫机器人中，针对诸如楼梯或阳台的禁止清扫机器人进入的禁区，在地板上黏贴防止进入胶带。然而，以这种方式使用防止进入胶带来设置清扫机器人的禁区的方法引起这样的不便：用户要黏贴防止进入胶带，而且当用户想改变禁区时用户要重新黏贴。
而且，在根据现有技术的清扫机器人中，当有用户要着重清扫或首先清扫的区域时，有这样的不便：需要手动操控清扫机器人并且需要移动到要着重清扫或首先清扫的区域，然后需要向清扫机器人给出重点清扫指令。
发明内容
技术问题
本公开的一个方面在于提供能够通过检测用户的语音或运动来确定禁区和重点清扫区的清扫机器人，或者其中可以使用便携式移动终端来轻松地设置禁区和重点清扫区。
本公开的其他方面部分地将在随后的说明书中阐述，而且部分地基于说明书将是显而易见的，或者可以通过本公开的实践习得。
解决方案
根据本公开的一个方面，一种在游历待清扫空间的同时执行清扫的清扫机器人，该清扫机器人包括：行进单元，其移动该清扫机器人；清扫单元，其清扫待清扫空间；图像捕获单元，其捕获从该清扫机器人查看的图像；语音输入单元，用于输入用户的语音指令；以及控制器，其当通过该语音输入单元输入用户的语音指令时，通过该图像捕获单元获得用户的动作指令，并且基于用户的动作指令来确定禁区和/或重点清扫区。
该语音输入单元可以包括至少三个麦克风，用于输入用户的语音指令。
该控制器可以基于用户的语音指令被输入到该至少三个麦克风的时间之差来估计用户的位置。
该控制器可以控制该行进单元旋转该清扫机器人，以使得该图像捕获单元指向用户的位置。
该图像捕获单元可以包括：摄像头，其捕获用户的二维图像；以及红外传感器，其获得该摄像头捕获的用户的距离信息。
该控制器可以基于该图像捕获单元捕获的用户的图像和该图像捕获单元获得的用户的距离信息来检测用户的动作。
该控制器可以从用户的图像中检测用户的手和肩膀，并基于用户的距离信息来确定用户的手和肩膀的坐标。
该控制器可以基于用户的手和肩膀的坐标来确定用户所指示的区域，并将用户所指示的区域确定为禁区和/或重点清扫区。
根据本公开的另一方面，一种控制在游历待清扫空间的同时执行清扫的清扫机器人的方法，该方法包括：当从用户输入语音指令时，获得用户的图像；基于图像获得用户的动作；以及基于用户的语音指令和用户的图像来确定禁止清扫机器人进入的禁区和/或清扫机器人将要着重清扫的重点清扫区。
所述获得图像可以包括：基于用户的语音指令被输入到多个麦克风的时间之差来确定用户的位置；旋转清扫机器人以朝向用户的位置；向用户发射红外线；以及基于从用户反射的红外线来获得用户的距离信息。
所述获得用户的动作可以包括：从用户的图像中检测用户的手和肩膀；以及基于用户的距离信息来确定用户的手和肩膀的坐标。
所述确定禁区和/或重点清扫区可以包括：基于用户的手和肩膀的坐标来确定用户指示的区域；以及将用户所指示的区域确定为禁区或重点清扫区。
该方法可以进一步包括：显示待清扫空间的图像；以及参照待清扫空间的图像从用户接收禁区和/或重点清扫区。
该方法可以进一步包括基于参照待清扫空间的图像输入的重点清扫区和/或禁区的坐标来确定待清扫空间中的重点清扫区和/或禁区的坐标。
该方法可以进一步包括在待清扫空间的图像上显示禁区和/或重点清扫区的图像。
根据本公开的另一方面，一种自动清扫系统，包括：清扫机器人，其在游历待清扫空间的同时执行清扫；以及便携式移动终端，其远程控制该清扫机器人，其中，当从用户输入重点清扫区输入指令和/或禁区输入指令时，该清扫机器人捕获待清扫空间的图像，并且向该便携式移动终端发送待清扫空间的图像，而且当接收待清扫空间的图像时，该便携式移动终端显示待清扫空间的图像，并且从用户接收重点清扫区和/或禁区。
该清扫机器人可以包括：图像捕获单元，其捕获待清扫空间的图像并接收用户的动作指令；以及语音输入单元，其接收用户的语音指令，而且该清扫机器人基于通过该语音输入单元输入的语音指令和通过该图像捕获单元输入的动作指令来确定禁区和/或重点清扫区。
当通过该语音输入单元输入语音指令时，该清扫机器人可以旋转朝向用户，并且通过该图像捕获单元接收动作指令。
该便携式移动终端可以包括：触摸屏面板，在其上显示待清扫空间的图像和从用户接收操控指令，而且当通过该触摸屏面板输入重点清扫区和/或禁区时，通过该触摸屏面板在待清扫空间的图像上重叠地显示重点清扫区和/或禁区。
该便携式移动终端可以确定与重点清扫区和/或禁区对应的待清扫空间中的绝对坐标。
该便携式移动终端可以从该触摸屏面板确定重点清扫区和/或禁区的图像坐标，可以基于图像坐标确定其中将该清扫机器人设置为原点的重点清扫区和/或禁区的相对坐标，并可以基于所述相对坐标和该清扫机器人的位置来确定待清扫空间中的重点清扫区和/或禁区的绝对坐标。
在根据本公开的一个方面的清扫机器人中，清扫机器人可以通过用户的语音和动作来接收禁区和重点清扫区。
在根据本公开的另一方面的清扫机器人中，清扫机器人可以通过用户的便携式移动终端仅通过简单的操控来接收禁区和重点清扫区。
有益效果
根据一个或多个示范性实施例的一个方面，可以提供能够通过检测用户的语音或运动来确定禁区和重点清扫区的清扫机器人，或者其中可以使用便携式移动终端来轻松地设置禁区和重点清扫区。
附图说明
通过结合附图对实施例的以下描述，本公开的这些和/或其他方面将变得显而易见和更加易于理解，其中：
图1示意性地示出根据本公开的实施例的清扫机器人和便携式移动终端；
图2a是图1所示的清扫机器人的控制流程的框图；
图2b是示出图1的清扫机器人的控制器的配置的框图；
图3是示出图1的清扫机器人的外观的透视图；
图4是示出图1的清扫机器人的底部的底视图；
图5是示出图1所示的便携式移动终端的控制流程的框图；
图6是示出图1的便携式移动终端的外观的透视图；
图7示出图1的清扫机器人从用户接收语音指令的情况；
图8a、8b和8c示出图1的清扫机器人通过用户语音指令来确定用户的位置的情况；
图9示出图1的清扫机器人获得用户的图像和语音的情况；
图10a和10b以及图11a和11b示出图1的清扫机器人从用户的图像中确定用户所指示的区域的坐标的情况；
图12示出图1的清扫机器人向便携式移动终端发送用户的图像和待清扫空间的图像以及关于用户所指示的区域的信息的情况；
图13示出图1的清扫机器人和图1的便携式移动终端显示待清扫空间的图像和关于用户所指示的区域的信息的情况；
图14示出向图1的便携式移动终端输入关于重点清扫区的信息的情况；
图15和16示出向图1的便携式移动终端输入关于禁区的信息的情况；
图17示出图1的便携式移动终端显示重点清扫区和禁区的屏幕；
图18是示出根据本公开的实施例的使用图1的清扫机器人和便携式移动终端来输入和显示重点清扫区和禁区的方法的流程图；
图19示出图1的清扫机器人通过便携式移动终端从用户接收操控指令的情况；
图20示出通过图1的便携式移动终端输入关于重点清扫区的信息的屏幕；
图21和22示出通过图1的便携式移动终端输入关于禁区的信息的屏幕；
图23示出图1的便携式移动终端显示重点清扫区和禁区的屏幕；以及
图24示出根据本公开的实施例的使用图1的清扫机器人和便携式移动终端来输入和显示重点清扫区和禁区的方法的流程图。
具体实施方式
本公开的一个或多个实施例和附图中所示的配置仅仅是本公开的示范性实施例，而且应当理解，有多种修改的示例可以在提交本申请时替换本公开的实施例和附图。
现在将详细参照本公开的一个或多个实施例，其示例在附图中示出，其中相似的参考数字通篇指代相似的组件。
图1示意性地示出根据本公开的实施例的清扫机器人和便携式移动终端。
图1所示的清扫机器人100是在无用户操控下游历待清扫空间的同时清扫地板的灰尘的设备。而且，清扫机器人100接收诸如用户的动作或语音的来自用户U的操控指令，并且基于用户的操控指令执行清扫。
具体地，清扫机器人100使用诸如相机或视频摄像头的图像捕获单元捕获包括用户U和待清扫空间的图像，并且分析所捕获的图像中包含的用户的动作以便检测用户U指示的操控指令。该图像可以包括诸如沙发S和桌子T的其他对象。当检测到用户U的操控指令时，清扫机器人100基于所检测的操控指令来清扫待清扫空间。而且，清扫机器人100向用户U的便携式移动终端200发送所捕获的图像和所检测的操控指令，以使得用户U可以检查清扫机器人100的操作。此外，用户U可以通过便携式移动终端200检查清扫机器人100的操作，并且可以通过便携式移动终端200向清扫机器人100输入操控指令。
图2a是图1所示的清扫机器人的控制流程的框图。图2b是示出图1的清扫机器人的控制器的配置的框图。图3是示出图1的清扫机器人的外观的透视图，而图4是示出图1的清扫机器人的底部的底视图。
参照图2a至4，清扫机器人100包括：操控单元110，其接收用户U对清扫机器人100的操控指令；显示单元115，其向用户U显示包括清扫机器人的操作信息的信息；上方图像捕获单元120，其捕获清扫机器人100上方的图像；图像捕获单元130，其捕获从清扫机器人100查看的图像；语音输入单元140，其接收用户的语音指令；障碍物检测单元150，其检测待清扫空间中的障碍物；行进单元160，其移动清扫机器人100；清扫单元170，其清扫待清扫空间；机器人存储单元180，其存储用于清扫机器人100的操作的程序和数据；机器人通信单元185，其与便携式移动终端通信(见图1的200)；以及机器人控制器190，其控制清扫机器人100的操作。
操控单元110可以包括一个或多个操控按钮111，用户U向其输入对清扫机器人100的操控指令。操控按钮111可以包括：清扫模式选择按钮，用于选择清扫机器人100的清扫模式；操作/停止指令按钮，用于指示清扫机器人100的操作和停止；以及充电返回指令按钮，用于指示返回充电站(未示出)。除了操控按钮111之外，可以采用其他类型的用户界面，诸如简单按钮、膜开关或触摸屏。
显示单元115包括显示面板116，在其上向用户U显示包括清扫机器人100的操作信息的信息。可以在显示面板116上显示包括当前时间、电池状态、和清扫模式的清扫机器人100的操作信息。可以采用液晶显示(LCD)面板或发光二极管(LED)面板作为显示面板116。
上方图像捕获单元120可以包括二维摄像头121，其被置于清扫机器人100的上表面101，并且捕获清扫机器人100上方的图像，即，待清扫空间的天花板的图像。此外，上方图像捕获单元120可以包括图形处理器(未示出)，其根据需要处理二维摄像头121捕获的图像。图像处理器(未示出)可以执行简单的图像处理，如改变二维摄像头121捕获的图像的尺寸或分辨率。
图像捕获单元130可以包括三维摄像头131，其被置于清扫机器人100的前部，并且捕获清扫机器人100查看的三维图像。三维图像包括关于从待捕获对象到待捕获对象的二维图像的距离的信息。可以采用立体相机模块或深度传感器模块作为三维摄像头131。
立体摄像头模块包括多个二维摄像头，并且使用多个二维摄像头捕获的图像之间的差异来确定关于待捕获对象的距离信息。而且，立体摄像头模块输出关于多个二维摄像头捕获的图像之一和待捕获对象之间的距离的信息。
深度传感器模块包括：二维摄像头，其捕获待捕获对象的图像；以及红外传感器，其向待捕获对象照射红外线，并且检测从带捕获对象反射的红外线的大小，从而测量二维图像中的待捕获对象的距离。而且，深度传感器模块输出二维摄像头捕获的图像和红外传感器获得的距离信息。
图像捕获单元130可以进一步包括图形处理器，其根据需要处理三维摄像头131捕获的三维图像。
语音输入单元140包括多个麦克风141、143和145，其获得用户的语音并确定用户U的方向。具体地，语音输入单元140包括：前麦克风141，其置于清扫机器人100的顶面的前部；左麦克风145，其置于清扫机器人100的顶面的左部；以及右麦克风145，其置于清扫机器人100的顶面的右部。这些麦克风141、143和145将用户的语音信号转换为电信号并输出电信号。该情况下，麦克风141、143和145可以使用例如用户的语音信号被输入到三个麦克风141、143和145的时间以及语音信号的幅度之间的差来确定用户U的方向。
障碍物检测单元150包括多个红外传感器151，其发射红外线，并且测量从障碍物反射的红外线的大小，从而确定障碍物的存在以及从障碍物到待捕获对象的距离。多个红外传感器151可以以均匀的间距安装在清扫机器人100前部以及右部和左部，从而确定障碍物的位置。即，当置于清扫机器人100的前部的红外传感器151检测到障碍物时，可以确定障碍物存在于清扫机器人100的前部，而当置于清扫机器人100的右部红外传感器151检测到障碍物时，可以确定障碍物存在于清扫机器人100的右部。
行进单元160包括：多个行进轮161和163，其移动清扫机器人100；以及滚轴165，其协助清扫机器人100的移动。
多个行进轮161和163被置于清扫机器人100的底面的左右边缘部分，以使得清扫机器人可以向前或向后移动，或者可以旋转。例如，当多个行进轮161和163向前转动时，清扫机器人100向前移动，而当多个行进轮161和163向后转动时，清扫机器人100向后移动。而且，当多个行进轮161和163沿不同方向转动时，清扫机器人100可以原地向左或向右旋转。
滚轴165被安装在清扫机器人100的底面的前部，并且根据清扫机器人100的移动方向来旋转。而且，滚轴165可以允许清扫机器人100维持在稳定的位置。
清扫单元170包括：主刷171，其扬起待清扫空间中的灰尘：多个边刷173a和173b，其将待清扫空间中的灰尘引导至主刷171；以及灰尘盒175，其吸入并存储被主刷171扬起的灰尘。
主刷171被置于在清扫机器人100的底面形成的灰尘吸入孔103处。而且，主刷171在沿与清扫机器人100平行的转动轴旋转的同时，将待清扫空间中的灰尘扬起到灰尘吸入孔103中。
多个边刷173a和173b被安装在清扫机器人100的底面的前端的左右边缘部分。即，边刷173a和173b被大致安装在多个行进轮161和163的前方。边刷173a和173b扫动主刷171不能清扫的清扫区域中的灰尘，并且在沿与清扫机器人100垂直的转动轴旋转的同时，将灰尘引导至主刷171。而且，边刷173a和173b不仅可以原地旋转，而且可以被安装为向清扫机器人100的外部突出，以使得可以扩大清扫机器人100清扫的区域。
机器人存储单元180可以包括：非易失性存储器(未示出)，诸如磁盘或固态硬盘，其中永久存储用于控制清扫机器人100的操作的控制程序或控制数据；以及易失性存储器(未示出)，诸如动态随机存取存储器(D-RAM)或静态随机存取存储器(S-RAM)，其中临时存储当控制清扫机器人100的操作时产生的临时数据。
机器人通信单元185可以包括无线通信模块(未示出)，其使用诸如无线保真(Wi-Fi)、蓝牙、紫蜂、或近场通信(NFC)的无线通信方法与便携式移动终端(见图1的200)或充电站(未示出)执行无线通信。
机器人控制器190包括：语音识别模块191，其基于语音输入单元140获得的用户的语音信号通过用户的语音来检测用户的操控指令；动作识别模块193，其基于图像捕获单元130捕获的三维图像根据用户的动作来检测用户的操控指令；以及主控制模块195，其根据用户的操控指令来控制清扫机器人100的操作。
语音识别模块191通过将根据各种操控指令存储的语音指令与由语音输入单元140输入的语音指令进行比较来检测用户的操控指令。这里，清扫机器人100可以预先从用户U接收与操控指令对应的语音指令，并且可以存储语音指令，以便提高语音识别模块191识别用户的语音指令的概率。
动作识别模块193从三维图像中检测诸如用户U的手和肩膀的用户U的特定部分的位置，并使用所检测的手和肩膀的位置来确定手的轨迹。动作识别模块193通过将所确定的手的轨迹与根据各种操控指令存储的运动指令进行比较来检测用户所意图的操控指令。此外，动作识别模块193可以使用所检测的手和肩膀的位置来检测用户的手所指示的待清扫空间的位置。
主控制模块195基于通过操控单元110、图像捕获单元130和语音输入单元140输入的用户的操控指令以及上方图像捕获单元120和障碍物检测单元150的输出来控制行进单元160的操作和清扫单元170的操作。例如，当通过操控单元110输入清扫指令时，控制器190控制行进单元160以使得清扫机器人100可以沿预定行进路径行进，而且控制器190控制清扫单元170以使得清扫机器人100可以清除清扫机器人100的行进路径上的灰尘。
控制器190可以包括微处理器，其根据机器人存储单元180中存储的控制程序对控制程序和数据输入执行算术运算，并且输出算术运算的结果。而且，控制器190可以包括执行所有操作的通用处理器、或者诸如图形处理器或通信处理器的执行专门功能的多个处理器。
图5是示出图1所示的便携式移动终端的控制流程的框图，而图6是示出图1的便携式移动终端的外观的透视图。
参照图5和6，便携式移动终端200包括：用户接口210，其接收来自用户U的操控指令，并且显示与用户的操控指令对应的屏幕；终端存储单元230，其中存储的用于控制便携式移动终端200的程序和数据；终端通信单元240，其与清扫机器人(见图1的100)通信；以及终端控制器250，其控制便携式移动终端200的操作。
用户接口210包括：触摸垫211a，其通过用户的触摸动作接收用户的操控指令；显示面板211b，在其上显示与输入到触摸垫211a的操控指令对应的信息；电源按钮213，其接收便携式移动终端211b的电源开/关指令；以及主页按钮215，其将显示面板211b上显示的屏幕转换为主屏幕。这里，可以采用LCD面板或LED面板作为显示面板211b。
触摸垫211a和显示面板211b彼此一体形成并且构成触摸屏面板(TSP)211。在TSP211中，透明触摸垫211a可以被安装于显示面板211b上，可以在显示面板211b上显示其上显示用户U可以选择的操控指令的屏幕，而且可以通过触摸垫211a来检测用户U触摸的坐标。当用户U根据显示面板211b上显示的屏幕触摸TSP211时，便携式移动终端200可以通过将用户U触摸的坐标与显示操控指令的坐标进行比较来识别用户U所意图的操控指令。
此外，便携式移动终端200可以通过触摸垫211a来检测用户的触摸动作，并且可以根据用户的检测的触摸动作来识别用户所意图的操控指令。
终端存储单元230可以包括：非易失性存储器(未示出)，诸如磁盘或者固态硬盘，其中永久存储用于控制便携式移动终端200的操作的控制程序或控制数据；以及易失性存储器(未示出)，诸如D-RAM或者S-RAM，其中临时存储当控制便携式移动终端200的操作时产生的临时数据。
终端通信单元240可以包括无线通信模块(未示出)，其使用诸如Wi-Fi、蓝牙、紫蜂、或NFC的无线通信方法与清扫机器人(见图1的100)执行无线通信。
终端控制器250控制TSP211以使得可以根据通过TSP211输入的操控指令和通过终端通信单元240输入的信息来改变在TSP211上显示的屏幕。例如，当从终端通信单元240接收清扫机器人100捕获的待清扫空间的图像并且从用户输入待清扫空间的图像显示指令时，终端控制器250在TSP211上显示接收的待清扫空间的图像。
上面已经描述图1所示的清扫机器人100和便携式移动终端200的配置。以下，将描述根据本公开的实施例的使用图1的清扫机器人100和便携式移动终端200来设置重点清扫区和禁区的方法。
图7示出图1的清扫机器人从用户接收语音指令的情况，而图8a、8b和8c示出图1的清扫机器人通过用户的语音指令来确定用户的位置的情况。
如图7和8所示，当用户U在清扫机器人100以自动清扫模式执行清扫时通过语音向清扫机器人100输入呼唤指令时，清扫机器人100通过置于清扫机器人100上的语音输入单元(见图2a的140)接收用户U的语音信号，并且基于接收的语音信号检测用户U的呼唤指令。而且，当检测到呼唤指令时，清扫机器人100旋转朝向用户U。
具体地，清扫机器人100可以使用由语音输入单元(见图2a的140)中包含的三个麦克风141、143和145中的至少一个接收的语音信号，以便接收用户U的语音信号。例如，清扫机器人100可以使用前麦克风141、左麦克风143和右麦克风145当中的前麦克风141接收的语音信号用于语音识别。
而且，当接收用户U的语音信号时，清扫机器人100可以通过语音识别模块(见图2b的191)分析输入的语音信号，并且可以根据分析的结果检测用户U的呼唤指令。例如，清扫机器人100将语音输入单元(见图2a的140)接收的用户U的语音信号与根据多个操控指令的语音信号进行比较，从而检测到用户U的语音信号是呼唤指令。
而且，作为分析用户U的语音信号的结果，当确定用户U的语音信号是呼唤指令时，清扫机器人100基于输入到三个麦克风141、143和145的语音信号来确定用户U的方向，并且旋转朝向用户U。具体地，清扫机器人100比较输入到麦克风141、143和145的语音信号的输入时间以及语音信号的幅度，从而估计用户U的方向。
例如，当前麦克风141最先接收语音信号并且输入到前麦克风141的语音信号的幅度最大时，清扫机器人100可以估计用户U在图8b所示的区域A1或A2中。而且，当左麦克风143在右麦克风145接收语音信号之前接收语音信号、并且输入到左麦克风143的语音信号的幅度大于输入到右麦克风145的语音信号的幅度时，清扫机器人100可以估计用户U在图8b所示的区域A2中。此外，清扫机器人100可以基于语音信号被输入到左麦克风143的时间与语音信号被输入到右麦克风145的时间之间的差、或者输入到左麦克风143的语音信号的幅度与输入到右麦克风145的语音信号的幅度之间的差来估计用户U的位置。
作为另一个例子，当用户U的语音信号按照左麦克风143、前麦克风141和右麦克风145的顺序输入、而且语音信号的幅度按照左麦克风143、前麦克风141和右麦克风145的顺序时，清扫机器人100可以确定用户U在图8b所示的区域B1中。
当用户U的方向被确定时，清扫机器人100旋转朝向用户U，如图8c所示。该情况下，清扫机器人可以沿旋转位移小的方向旋转。
图9示出图1的清扫机器人获得用户图像和用户语音的情况。
当从用户U输入呼唤指令时，清扫机器人100如图9所示旋转朝向用户U，并且使用图像捕获单元(见图2的130)获得用户U和待清扫空间的二维图像以及距离信息。
用户U可以通过动作或语音向清扫机器人100输入清扫区域指定指令。例如，用户U可以在指示要着重清扫的重点清扫区时说“清扫这里”，或者可以在指示禁止清扫机器人100进入的禁区时说“不要清扫这里”。通过这种方式，当用户U通过动作或语音向清扫机器人100输入清扫区域指定指令时，清扫机器人100通过用户U的动作确定用户U指示的区域，并且分析用户U的语音，从而确定用户U的操控指令。
可以通过将通过多个麦克风(见图3的141、143和145)中的至少一个输入的语音信号与根据多个操控指令的语音信号进行比较、并且通过检测用户U的清扫区域指定指令来执行用户U的操控指令的确定。例如，清扫机器人可以确定用户U指示重点清扫区还是禁区。
当通过用户的语音确定清扫区域指定指令时，清扫机器人100使用图像捕获单元(见图2a的130)获得的二维图像和距离信息来分析用户U的动作并且确定用户U指示的区域。
图10a和10b以及图11a和11b示出图1的清扫机器人从用户的图像中确定用户所指示的区域的坐标的情况。
如图10a所示，清扫机器人100从用户U和待清扫空间的图像中检测用户U的脸部F。可以使用以下方法来执行检测脸部F，如：基于知识的方法，其尝试检测人类面部F的组成成分，诸如对称的眼睛，眼睛下面的鼻子和嘴；特征面部算法，其通过近似关于面部F的图像的自相关矩阵的特征向量来尝试检测面部F；支持向量机(SVM)，其使用SVM检测面部F；或者提升途径(boostingapproach)算法，其通过线性组合几种低检测率的方法来构成高检测率的方法。然而，本公开不限于此。例如，可以使用任何从用户U的图像中检测用户U的面部F的方法。
检测用户U的面部F以使得清扫机器人100可以确定用户U的准确位置，而且可以使用用户U的图像作为用于检测用户U的特定部分(诸如手和肩膀)的判据。此外，可以从用户U的面部F与清扫机器人100之间的距离来确定用户U与清扫机器人100之间的距离。
如图10b所示，在检测用户U的面部后，清扫机器人100基于用户U的面部F的位置从用户U的图像中检测用户U的特定部分，诸如肩膀RS和手RH。
如图11a所示，当从用户U的三维图像中检测用户U的肩膀RS和手RH时，清扫机器人100可以使用通过图像捕获单元(见图2a的130)获得的距离信息来确定用户U与清扫机器人100之间的距离d1、用户U的肩膀RS与清扫机器人100之间的距离d2、以及用户U的手RH与清扫机器人100之间的距离d3。而且，清扫机器人100可以从图像捕获单元(见图2a的130)捕获的二维图像中确定用户U的方向、肩膀RS的方向、以及手RH的方向。
而且，清扫机器人100可以基于用户U与清扫机器人100之间的距离d1和用户U的方向、用户的肩膀RS与清扫机器人100之间的距离d2以及肩膀RS和清扫机器人100的方向、以及手RH与清扫机器人100之间的距离d3和手RH的方向来确定用户U的肩膀RS和手RH的三维相对坐标。这里，用户U的肩膀RS和手RH的三维相对坐标定义其中将清扫机器人100的位置设置为原点的三维相对坐标系中的坐标。三维相对坐标系定义这样的坐标系：其中将清扫机器人100设置为初始值，将来自清扫地板的清扫机器人100的前方向设置为+y-轴，将来自清扫地板的清扫机器人100的右方向设置为+x-轴，将来自清扫地板的清扫机器人100的上方向设置为+z-轴。
当用户U的肩膀RS和手RH的三维相对坐标被确定时，清扫机器人100确定从用户U的肩膀RS朝向用户U的手RH的方向向量SH，并且基于从用户U的肩膀RS朝向用户U的手RH的方向向量SH和用户U的肩膀RS或手RH的三维相对坐标来确定用户U指示的区域的二维相对坐标。换句话说，由于用户U指示的区域在清扫地板上，从用户U的肩膀RS朝向用户U的手RH的方向向量SH与待清扫空间的地板相互交叉的位置将是用户U指示的区域，而且可以被表示为仅具有x-轴和y-轴坐标的二维相对坐标。
而且，清扫机器人100确定指示图像捕获单元(见图2a的130)捕获的二维图像对应于用户U指示的区域的哪一位置的屏幕坐标。由于三维摄像头(见图3的131)被固定在清扫机器人100上，指示清扫地板上用户U指示的区域的位置的二维相对坐标和指示二维图像中用户U指示的区域的位置的屏幕坐标是一一对应的，如图11b所示。即，清扫机器人100可以在获得用户U指示的区域的二维相对坐标时确定二维图像中的屏幕坐标。
而且，清扫机器人100使用用户U指示的区域的相对坐标和图像捕获单元(见图2a的120)获得的清扫机器人100的位置信息来确定用户U指示的区域的绝对坐标。这里，绝对坐标是基于诸如待清扫空间的入口或待清扫空间内的充电站(未示出)的预定判据点的坐标，而且不同于基于清扫机器人100的相对坐标。
图12示出图1的清扫机器人向便携式移动终端发送用户的图像和待清扫空间的图像以及关于用户所指示的区域的信息的情况，而图13示出图1的清扫机器人和图1的便携式移动终端显示待清扫空间的图像和关于用户所指示的区域的信息的情况。
当确定二维图像内用户U指示的区域的位置信息时，清扫机器人100在显示面板(见图3的116)上显示二维图像，并且在二维图像上重叠显示用户U指示的区域和用户U指示的区域的类型(用户U指示的区域是重点清扫区还是禁区)。而且，清扫机器人100通过通信单元(见图2a的185)向便携式移动终端200发送二维图像、用户U指示的区域的屏幕坐标和绝对坐标、用户U指示的区域的类型、以及待清扫空间中清扫机器人100的位置信息。
当接收二维图像时，便携式移动终端200在TSP211上显示接收的二维图像，并且使用用户U指示的区域的屏幕坐标在二维图像上重叠显示用户U指示的区域。这里，可以使用增强现实来执行使用清扫机器人100和便携式移动终端200在二维图像上重叠显示用户U指示的区域。作为一种虚拟现实，增强现实是这样的图形技术，其将虚拟对象或虚拟信息合成到真实环境以使得虚拟对象或虚拟信息在原始的环境中作为对象出现。
如图13所示，清扫机器人100和便携式移动终端200显示清扫区域屏幕300，其上显示二维图像和用户U指示的区域，即，第一重点清扫区C1。这里，可以基于用户U指示的区域的屏幕坐标和用户U指示的区域的类型在二维图像上重叠显示第一重点清扫区C1。
用户U可以通过在清扫机器人100的显示面板(见图12的116)和便携式移动终端200的TSP211上显示的清扫区域屏幕300来检查用户U指示的重点清扫区C1的位置。
此外，用户U可以通过便携式移动终端200的TSP(见图12的211)额外输入重点清扫区或禁区。
图14示出向图1的便携式移动终端输入关于重点清扫区的信息的情况，而图15和16示出向图1的便携式移动终端输入关于禁区的信息的情况。
如图14所示，用户U可以通过动作或语音输入重点清扫区输入指令，可以在便携式移动终端200的TSP(见图12的211)上显示的清扫区域屏幕300上触摸将要额外指定为重点清扫区的位置，或者可以触摸并拖拽将要指定为重点清扫区的区域，从而指定第二重点清扫区。
当用户U通过TSP(见图12的211)输入第二重点清扫区时，便携式移动终端200在二维图像上重叠显示第二重点清扫区C2。即，便携式移动终端200通过TSP(见图12的211)显示清扫区域屏幕(未示出)，在其上第一重点清扫区C1和第二重点清扫区C2在待清扫空间的二维图像上彼此重叠。
当用户U想要输入禁区时，用户U可以输入禁区输入指令，可以在便携式移动终端200的TSP(见图12的211)上显示的清扫区域屏幕320上触摸将要额外指定为重点清扫区的位置，如图15和16所示，或者可以触摸并拖拽将要被指定为禁区U1的区域，从而指定第一禁区W1和第二禁区W2。
当用户U通过TSP211输入第一禁区W1和第二禁区W2时，便携式移动终端200在二维图像上重叠显示第一禁区W1和第二禁区W2。即，便携式移动终端200通过TSP(见图12的211)显示清扫区域屏幕300，其上使用增强显示在待清扫空间二维图像上显示第一重点清扫区C1、第二重点清扫区C2、第一禁区W1和第二禁区W2，。
图17示出图1的便携式移动终端显示重点清扫区和禁区的屏幕。
便携式移动终端200可以在待清扫空间的平面图(地图)上显示重点清扫区C1和C2以及禁区W1和W2的位置。
具体地，当用户完成重点清扫区和禁区的输入时，便携式移动终端基于第二重点清扫区C2、第一禁区W1和第二禁区W2的屏幕坐标来确定第二重点清扫区C2、第一禁区W1和第二禁区W2的二维相对坐标。之后，便携式移动终端100使用当清扫机器人100捕获二维图像时清扫机器人100的位置以及第二重点清扫区C2、第一禁区W1和第二禁区W2的二维相对坐标来确定第二重点清扫区C2、第一禁区W1和第二禁区W2的绝对坐标，即，待清扫空间内第二重点清扫区C2、第一禁区W1和第二禁区W2的位置。而且，便携式移动终端200向清扫机器人100发送第二重点清扫区C2、第一禁区W1和第二禁区W2的绝对坐标，以使得清扫机器人100可以检测重点清扫区C1和C2以及禁区W1和W2。
当重点清扫区C1和C2以及禁区W1和W2的绝对坐标被确定时，便携式移动终端200可以显示待清扫空间的地图，并且可以在待清扫空间的地图上显示重点清扫区C1和C2以及禁区W1和W2的位置。
图18是示出根据本公开的实施例的使用图1的清扫机器人和便携式移动终端来输入和显示重点清扫区和禁区的方法的流程图。
参照图18简单描述根据本公开的实施例的使用清扫机器人(见图1的100)和便携式移动终端(见图1的200)输入和显示重点清扫区和禁区的方法，在清扫待清扫区的同时确定是否通过语音向清扫机器人(见图1的100)输入了用户操控指令(操作505)。
当通过语音输入操控指令(操作505的“是”)时，清扫机器人(见图1的100)检测操控指令(操作508)。具体地，作为检测操控指令的结果，当操控指令是呼唤指令时，清扫机器人(见图1的100)确定用户的位置，并旋转朝向用户的位置。
接着，清扫机器人(见图1的100)捕获用户的图像(操作510)。
接着，清扫机器人(见图1的100)检测用户的动作(操作515)。具体地，清扫机器人(见图1的100)通过用户的图像来检测用户的重点清扫区输入指令或禁区输入指令。
接着，清扫机器人(见图1的100)通过用户的动作确定重点清扫区或禁区的位置(操作520)。
接着，清扫机器人(见图1的100)显示重点清扫区或禁区(操作525)。而且，清扫机器人(见图1的100)可以向便携式移动终端(见图1的200)发送关于重点清扫区或禁区的信息，而且便携式移动终端(见图1的200)可以显示重点清扫区或禁区。
接着，便携式移动终端(见图1的200)确定用户是否额外输入重点清扫区或禁区(操作530)。
当用户额外输入重点清扫区或禁区(操作530的“是”)时，便携式移动终端(见图1的200)确定重点清扫区或禁区的位置(操作535)，并且显示重点清扫区或禁区(操作540)。
而且，便携式移动终端(见图1的200)在其上显示着待清扫空间的待清扫空间的地图上显示重点清扫区或禁区(操作545)。
当确定用户未额外输入重点清扫区或禁区(操作530的“否”)时，便携式移动终端(见图1的200)在其上显示着待清扫空间的待清扫空间的地图上显示清扫机器人(见图1的100)发送的重点清扫区或禁区。
上面已经描述根据本公开的实施例的使用图1所示的清扫机器人和便携式移动终端设置重点清扫区和禁区的方法。以下，将描述根据本公开的另一个实施例的使用图1所示的清扫机器人和便携式移动终端设置重点清扫区和禁区的方法。
图19示出图1的清扫机器人通过便携式移动终端从用户接收操控指令的情况。
参照图19，清扫机器人100在手动清扫模式期间通过便携式移动终端200接收用户操控指令。
具体地，清扫机器人100向便携式移动终端200发送图像捕获单元(见图2a的130)捕获的图像，而且用户U可以在查看便携式移动终端200的TSP211上显示的清扫机器人100的图像221a的同时使用置于便携式移动终端200的TSP211上的方向键221b来操控清扫机器人100的行进方向。
用户U可以在清扫机器人100的行进操控期间通过置于便携式移动终端200的TSP211上的动作指令输入区域221c来输入重点清扫区输入指令或禁区输入指令。
当从用户输入重点清扫区输入指令或禁区输入指令时，便携式移动终端200显示当输入重点清扫区输入指令或禁区输入指令时清扫机器人100捕获的二维图像，并且通知清扫机器人100已输入重点清扫区输入指令或禁区输入指令。已经被告知输入了重点清扫区输入指令或禁区输入指令的清扫机器人100向便携式移动终端200发送待清扫空间内清扫机器人100的位置信息。
图20示出通过图1的便携式移动终端输入关于重点清扫区的信息的屏幕，而图21和22示出通过图1的便携式移动终端输入关于禁区的信息的屏幕。
用户U可以输入重点清扫区输入指令，并且可以在便携式移动终端200的TSP(见图19的211)上显示的清扫区域屏幕400上触摸将要指定为重点清扫区的位置，如图20所示，或者可以触摸并拖拽将要指定为重点清扫区的区域，从而指定第一重点清扫区C1。
当用户U通过TSP211输入第一重点清扫区时，便携式移动终端200使用增强现实显示清扫屏幕(未示出)，其上在二维图像上显示第一重点清扫区。
而且，当用户U想要在第一重点清扫区C1之外额外输入第二重点清扫区C2时，用户U可以在便携式移动终端200的TSP(见图10的2111)上触摸将要指定为重点清扫区的位置，或者可以触摸并拖拽将要指定为重点清扫区的区域，从而指定第二重点清扫区。便携式移动终端200使用增强现实通过TSP(见图19的211)显示清扫区域屏幕410，其中在二维图像上显示第一重点清扫区C1和第二重点清扫区C2。
当用户U想要输入禁区时，用户U可以输入禁区输入指令，并且可以在便携式移动终端200的TSP(见图19的211)上触摸将要指定为禁区的位置，如图21和22所示，或者可以触摸并拖拽将要指定为重点清扫区的区域，从而指定第一禁区W1和第二禁区W2。
当用户U通过TSP(见图19的211)输入第一禁区W1和第二禁区W2时，便携式移动终端200使用增强显示来显示清扫区域屏幕420，其上在二维图像上显示第一禁区W1和第二禁区W2。
图23示出图1的便携式移动终端显示重点清扫区和禁区的屏幕。
便携式移动终端200可以在待清扫空间的平面图(地图)中显示重点清扫区C1和C2以及禁区W1和W2的位置，如图23所示。
当用户U完成重点清扫区C1和C2以及禁区W1和W2的输入时，基于重点清扫区C1和C2以及禁区W1和W2的屏幕坐标来确定重点清扫区C1和C2以及禁区W1和W2的二维相对坐标。此后，便携式移动终端200使用当清扫机器人100捕获二维图像时清扫机器人100的位置、以及重点清扫区C1和C2以及禁区W1和W2的二维相对坐标来确定重点清扫区C1和C2以及禁区W1和W2的绝对坐标，即，待清扫空间内重点清扫区C1和C2以及禁区W1和W2的位置。而且，便携式移动终端200向清扫机器人100发送重点清扫区C1和C2以及禁区W1和W2的绝对坐标，以使得清扫机器人100可以检测重点清扫区C1和C2以及禁区W1和W2。
当重点清扫区C1和C2以及禁区W1和W2的绝对坐标被确定时，便携式移动终端200可以显示待清扫空间的地图，并且可以在待清扫空间地图上显示重点清扫区C1和C2以及禁区W1和W2的位置。
图24示出根据本公开的实施例的使用图1的清扫机器人和便携式移动终端来输入和显示重点清扫区和禁区的方法的流程图。
参照图18简单描述基于本公开的另一个实施例的使用清扫机器人(见图1的100)和便携式移动终端(见图1的200)输入和显示重点清扫区和禁区的方法，当手动模式下清扫待清扫空间时，确定是否通过便携式移动终端(见图1的200)向清扫机器人(见图1的100)输入用户的清扫区输入指令或禁区输入指令(操作605)。
当用户的清扫区输入指令或禁区输入指令被输入到便携式移动终端(见图1的200；操作605的“是”)时，清扫机器人(见图1的100)捕获待清扫空间的图像(操作610)。而且，清扫机器人(见图1的100)向便携式移动终端(见图1的200)发送捕获的待清扫空间的图像。
然后，便携式移动终端(见图1的200)显示待清扫空间的图像(操作615)。
然后，便携式移动终端(见图1的200)确定用户是否输入重点清扫区或禁区(操作620)。
当确定用户输入重点清扫区或禁区(操作620的“是”)时，便携式移动终端(见图1的200)确定重点清扫区或禁区的位置(操作625)，并且显示重点清扫区或禁区的位置(操作630)。
而且，便携式移动终端(见图1的200)在其上显示着待清扫空间的待清扫空间的地图上显示重点清扫区或禁区(操作635)。
当确定用户未输入重点清扫区或禁区(操作620的“否”)时，便携式移动终端(见图1的200)显示其上显示着待清扫空间的待清扫空间的地图(操作635)。
虽然已经示出和描述本公开的一些实施例，但是本领域技术人员不难理解，可以改变这些实施例而不背离由所附权利要求及其等同物限定其范围的本公开的原理和精神。

Claims (26)

1.一种在游历待清扫空间的同时执行清扫的清扫机器人，该清扫机器人包括：
行进单元，其移动该清扫机器人；
清扫单元，其清扫待清扫空间；
图像捕获单元，其捕获从该清扫机器人查看的图像；
语音输入单元，用于输入用户的语音指令；以及
控制器，其当通过该语音输入单元输入用户的语音指令时，通过该图像捕获单元获得用户的动作指令，并且基于用户的动作指令来确定禁区和/或重点清扫区。
2.如权利要求1所述的清扫机器人，其中该语音输入单元包括至少三个麦克风，用于输入用户的语音指令。
3.如权利要求2所述的清扫机器人，其中该控制器基于用户的语音指令被输入到该至少三个麦克风的时间之差来估计用户的位置。
4.如权利要求3所述的清扫机器人，其中该控制器控制该行进单元旋转该清扫机器人，以使得该图像捕获单元指向用户的位置。
5.如权利要求1所述的清扫机器人，其中该图像捕获单元包括：摄像头，其捕获用户的二维图像；以及红外传感器，其获得该摄像头捕获的用户的距离信息。
6.如权利要求5所述的清扫机器人，其中该控制器基于该图像捕获单元捕获的用户的图像和该图像捕获单元获得的用户的距离信息来检测用户的动作。
7.如权利要求6所述的清扫机器人，其中该控制器从用户的图像中检测用户的手和肩膀，并基于用户的距离信息来确定用户的手和肩膀的坐标。
8.如权利要求7所述的清扫机器人，其中该控制器基于用户的手和肩膀的坐标来确定用户所指示的区域，并将用户所指示的区域确定为禁区和/或重点清扫区。
9.一种控制在游历待清扫空间的同时执行清扫的清扫机器人的方法，该方法包括：
当从用户输入语音指令时，获得用户的图像；
基于该图像获得用户的动作；以及
基于用户的语音指令和用户的图像来确定禁止清扫机器人进入的禁区和/或清扫机器人将要着重清扫的重点清扫区。
10.如权利要求9所述的方法，其中所述获得图像包括：
基于用户的语音指令被输入到多个麦克风的时间之差来确定用户的位置；
旋转清扫机器人以朝向用户的位置；
向用户发射红外线；以及
基于从用户反射的红外线来获得用户的距离信息。
11.如权利要求9所述的方法，其中所述获得用户的动作包括：
从用户的图像中检测用户的手和肩膀；以及
基于用户的距离信息来确定用户的手和肩膀的坐标。
12.如权利要求11所述的方法，其中所述确定禁区和/或重点清扫区包括：
基于用户的手和肩膀的坐标来确定用户所指示的区域；以及
将用户所指示的区域确定为禁区或重点清扫区。
13.如权利要求9所述的方法，进一步包括：
显示待清扫空间的图像；以及
参照待清扫空间的图像从用户接收禁区和/或重点清扫区。
14.如权利要求13所述的方法，进一步包括基于参照待清扫空间的图像输入的重点清扫区和/或禁区的坐标来确定待清扫空间中的重点清扫区和/或禁区的坐标。
15.如权利要求14所述的方法，进一步包括在待清扫空间的图像上显示禁区和/或重点清扫区的图像。
16.一种自动清扫系统，包括：
清扫机器人，其在游历待清扫空间的同时执行清扫；以及
便携式移动终端，其远程控制该清扫机器人，
其中，当从用户输入重点清扫区输入指令和/或禁区输入指令时，该清扫机器人捕获待清扫空间的图像，并且向该便携式移动终端发送待清扫空间的图像，而且
当接收待清扫空间的图像时，该便携式移动终端显示待清扫空间的图像，并且从用户接收重点清扫区和/或禁区。
17.如权利要求16所述的自动清扫系统，其中该清扫机器人包括：图像捕获单元，其捕获待清扫空间的图像并接收用户的动作指令；以及语音输入单元，其接收用户的语音指令，而且该清扫机器人基于通过该语音输入单元输入的语音指令和通过该图像捕获单元输入的动作指令来确定禁区和/或重点清扫区。
18.如权利要求17所述的自动清扫系统，其中，当通过该语音输入单元输入语音指令时，该清扫机器人旋转朝向用户，并且通过该图像捕获单元接收动作指令。
19.如权利要求16所述的自动清扫系统，其中该便携式移动终端包括：触摸屏面板，在其上显示待清扫空间的图像和从用户接收操控指令，而且当通过该触摸屏面板输入重点清扫区和/或禁区时，通过该触摸屏面板在待清扫空间的图像上重叠地显示重点清扫区和/或禁区。
20.如权利要求19所述的自动清扫系统，其中该便携式移动终端确定与重点清扫区和/或禁区对应的待清扫空间中的绝对坐标。
21.如权利要求20所述的自动清扫系统，其中该便携式移动终端从该触摸屏面板确定重点清扫区和/或禁区的图像坐标，基于图像坐标确定其中将该清扫机器人设置为原点的重点清扫区和/或禁区的相对坐标，并基于所述相对坐标和该清扫机器人的位置来确定待清扫空间中的重点清扫区和/或禁区的绝对坐标。
22.如权利要求4所述的清扫机器人，其中该控制器控制该行进单元沿旋转位移最小的方向旋转。
23.如权利要求6所述的清扫机器人，其中该控制器从用户的图像中检测用户的第一和第二部分，并且基于用户的距离信息来确定用户的第一和第二部分的坐标。
24.如权利要求23所述的清扫机器人，其中该控制器基于用户的第一和第二部分的坐标来确定用户所指示的区域，并将用户所指示的区域确定为禁区和/或重点清扫区。
25.如权利要求9所述的方法，其中所述获得用户的动作包括：
从用户的图像中检测用户的第一和第二部分；以及
基于用户的距离信息来确定用户的第一和第二部分的坐标。
26.如权利要求25所述的方法，其中所述确定禁区和/或重点清扫区包括：
基于用户的第一和第二部分的坐标来确定用户所指示的区域；以及
将用户所指示的区域确定为禁区和/或重点清扫区。
CN201480042060.8A 2013-07-29 2014-07-29 自动清扫系统、清扫机器人和控制清扫机器人的方法 Active CN105407774B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130089652A KR102094347B1 (ko) 2013-07-29 2013-07-29 자동 청소 시스템, 청소 로봇 및 그 제어 방법
KR10-2013-0089652 2013-07-29
PCT/KR2014/006937 WO2015016580A1 (en) 2013-07-29 2014-07-29 Auto-cleaning system, cleaning robot and method of controlling the cleaning robot

Publications (2)

Publication Number Publication Date
CN105407774A true CN105407774A (zh) 2016-03-16
CN105407774B CN105407774B (zh) 2018-09-18

Family

ID=52391143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480042060.8A Active CN105407774B (zh) 2013-07-29 2014-07-29 自动清扫系统、清扫机器人和控制清扫机器人的方法

Country Status (8)

Country Link
US (2) US9597804B2 (zh)
EP (1) EP3027101B1 (zh)
KR (1) KR102094347B1 (zh)
CN (1) CN105407774B (zh)
AU (1) AU2014297039B2 (zh)
CA (1) CA2918318C (zh)
RU (1) RU2620236C1 (zh)
WO (1) WO2015016580A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105773626A (zh) * 2016-05-10 2016-07-20 广西升禾环保科技股份有限公司 具有道路实时检测功能的扫地机械人控制平台
CN106325094A (zh) * 2016-10-30 2017-01-11 苏州市克拉思科文化传播有限公司 一种智能家居管理扫地机器人
CN106426159A (zh) * 2016-05-19 2017-02-22 西安天和海防智能科技有限公司 空化射流清洁船体机器人的控制系统
WO2017167239A1 (zh) * 2016-03-31 2017-10-05 纳恩博（北京）科技有限公司 移动控制方法、移动电子设备及移动控制系统、存储介质
CN107643820A (zh) * 2016-07-20 2018-01-30 郎焘 Vr被动型机器人及其实现方法
CN107730552A (zh) * 2017-09-27 2018-02-23 上海与德通讯技术有限公司 一种交互方法、装置、扫地机器人及介质
CN107877521A (zh) * 2017-11-06 2018-04-06 广西富迈科技有限公司 物品识别与处理方法、机器人终端及存储介质
CN108209745A (zh) * 2017-12-18 2018-06-29 深圳市奇虎智能科技有限公司 清洁设备的控制方法、装置、计算机设备和存储介质
CN108338748A (zh) * 2018-03-14 2018-07-31 郑州工程技术学院 一种基于视频监控的自动清洁方法、装置以及清洁机器人
WO2018145275A1 (zh) * 2017-02-08 2018-08-16 格兰比圣（深圳）科技有限公司 一种智能清洁方法及装置
CN108431715A (zh) * 2016-07-21 2018-08-21 苏州宝时得电动工具有限公司 自动识别前方物体的自移动设备及其识别方法
CN108829115A (zh) * 2018-10-09 2018-11-16 上海岚豹智能科技有限公司 一种机器人的运动控制方法及其计算设备
CN109152505A (zh) * 2016-05-09 2019-01-04 沃维克股份有限公司 用于借助清洁机器人清洁地板的系统和方法
CN109199240A (zh) * 2018-07-24 2019-01-15 上海斐讯数据通信技术有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN109557908A (zh) * 2017-09-27 2019-04-02 九阳股份有限公司 一种基于投射虚拟墙的机器人导航方法和系统
CN109623809A (zh) * 2017-10-09 2019-04-16 东莞市冠毅计算机技术有限公司 一种机器人智能控制系统
CN109828562A (zh) * 2019-01-17 2019-05-31 上海岚豹智能科技有限公司 机器人清扫模式调节方法及装置
CN110060207A (zh) * 2017-12-15 2019-07-26 Neato机器人技术公司 提供平面布置图的方法、系统
CN110192810A (zh) * 2018-02-26 2019-09-03 广东理标信息科技有限公司 一种机器人智能控制系统
CN110367871A (zh) * 2018-04-13 2019-10-25 东芝生活电器株式会社 自主型电动吸尘器
CN110597081A (zh) * 2019-09-30 2019-12-20 青岛海尔科技有限公司 基于智能家居操作系统的控制指令的发送方法及装置
CN111103875A (zh) * 2018-10-26 2020-05-05 科沃斯机器人股份有限公司 避让的方法、设备及存储介质
CN111568306A (zh) * 2019-02-19 2020-08-25 北京奇虎科技有限公司 基于清洁机器人的清洁方法、装置、电子设备及存储介质
CN111568307A (zh) * 2019-02-19 2020-08-25 北京奇虎科技有限公司 机器人执行清扫工作方法、设备及计算机可读存储介质
CN111902246A (zh) * 2018-04-27 2020-11-06 三星电子株式会社 用于控制外部电子装置的电子装置和方法
CN111964154A (zh) * 2020-08-28 2020-11-20 邯郸美的制冷设备有限公司 空调器室内机、控制方法、运行控制装置及空调器
CN111984017A (zh) * 2020-08-31 2020-11-24 苏州三六零机器人科技有限公司 清扫设备控制方法、装置、系统及计算机可读存储介质
WO2021056428A1 (zh) * 2019-09-27 2021-04-01 珊口（深圳）智能科技有限公司 智能终端、控制系统及与移动机器人的交互方法
CN112739244A (zh) * 2018-07-13 2021-04-30 美国iRobot公司 移动机器人清洁系统
CN112890692A (zh) * 2021-02-08 2021-06-04 美智纵横科技有限责任公司 设置清洁禁区的方法、装置、清洁设备及存储介质
CN113116224A (zh) * 2020-01-15 2021-07-16 科沃斯机器人股份有限公司 机器人及其控制方法
CN113126632A (zh) * 2020-01-15 2021-07-16 科沃斯机器人股份有限公司 虚拟墙划定和作业方法、设备及存储介质
CN113679298A (zh) * 2021-08-27 2021-11-23 美智纵横科技有限责任公司 机器人的控制方法、控制装置、机器人和可读存储介质
CN113679289A (zh) * 2020-05-18 2021-11-23 云米互联科技(广东)有限公司 扫地机控制方法、控制设备及计算机可读存储介质
CN115500740A (zh) * 2022-11-18 2022-12-23 科大讯飞股份有限公司 清洁机器人及清洁机器人控制方法

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9939529B2 (en) 2012-08-27 2018-04-10 Aktiebolaget Electrolux Robot positioning system
WO2014169943A1 (en) 2013-04-15 2014-10-23 Aktiebolaget Electrolux Robotic vacuum cleaner
JP6198234B2 (ja) 2013-04-15 2017-09-20 アクティエボラゲット エレクトロラックス 突出サイドブラシを備えたロボット真空掃除機
KR102130190B1 (ko) 2013-12-19 2020-07-03 에이비 엘렉트로룩스 로봇 청소 장치
JP6638988B2 (ja) 2013-12-19 2020-02-05 アクチエボラゲット エレクトロルックス サイドブラシを有し、渦巻きパターンで動くロボットバキュームクリーナ
US10617271B2 (en) 2013-12-19 2020-04-14 Aktiebolaget Electrolux Robotic cleaning device and method for landmark recognition
WO2015090404A1 (en) 2013-12-19 2015-06-25 Aktiebolaget Electrolux Prioritizing cleaning areas
EP3084538B1 (en) 2013-12-19 2017-11-01 Aktiebolaget Electrolux Robotic cleaning device with perimeter recording function
EP3082541B1 (en) 2013-12-19 2018-04-04 Aktiebolaget Electrolux Adaptive speed control of rotating side brush
WO2015090405A1 (en) 2013-12-19 2015-06-25 Aktiebolaget Electrolux Sensing climb of obstacle of a robotic cleaning device
WO2015090439A1 (en) 2013-12-20 2015-06-25 Aktiebolaget Electrolux Dust container
CN106415423B (zh) 2014-07-10 2021-01-01 伊莱克斯公司 用于检测机器人清洁装置的测量误差的方法
JP6459098B2 (ja) 2014-09-08 2019-01-30 アクチエボラゲット エレクトロルックス ロボット真空掃除機
CN106659345B (zh) 2014-09-08 2019-09-03 伊莱克斯公司 机器人真空吸尘器
US9440351B2 (en) * 2014-10-30 2016-09-13 International Business Machines Corporation Controlling the operations of a robotic device
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
EP3230814B1 (en) 2014-12-10 2021-02-17 Aktiebolaget Electrolux Using laser sensor for floor type detection
WO2016091320A1 (en) 2014-12-12 2016-06-16 Aktiebolaget Electrolux Side brush and robotic cleaner
WO2016095965A2 (en) 2014-12-16 2016-06-23 Aktiebolaget Electrolux Experience-based roadmap for a robotic cleaning device
WO2016095966A1 (en) 2014-12-16 2016-06-23 Aktiebolaget Electrolux Cleaning method for a robotic cleaning device
CN107405034B (zh) 2015-04-17 2022-09-13 伊莱克斯公司 机器人清洁设备以及控制所述机器人清洁设备的方法
CN106292387A (zh) * 2015-05-12 2017-01-04 上海移柯通信技术股份有限公司 看门狗系统及其控制方法
CN105083543A (zh) * 2015-06-06 2015-11-25 昆山玖趣智能科技有限公司 一种ar增强现实3d视觉智能四翼飞行器
CN106293042B (zh) * 2015-06-26 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
KR20170002048A (ko) * 2015-06-29 2017-01-06 삼성전자주식회사 피사체 이동 제어 장치 및 방법
KR102445064B1 (ko) 2015-09-03 2022-09-19 에이비 엘렉트로룩스 로봇 청소 장치의 시스템
CA2997381C (en) 2015-09-11 2019-11-12 Motorola Solutions, Inc. Method, system and apparatus for controlling a plurality of mobile-radio equipped robots in a talkgroup
JP7007078B2 (ja) * 2015-10-08 2022-01-24 東芝ライフスタイル株式会社 電気掃除機
DE102015120221A1 (de) * 2015-11-23 2017-05-24 Alfred Kärcher Gmbh & Co. Kg Bodenreinigungssystem und Verfahren zum Reinigen einer Bodenfläche
CN105476553B (zh) * 2015-11-25 2018-09-07 江苏美的清洁电器股份有限公司 智能吸尘器
US10175688B2 (en) 2016-01-20 2019-01-08 Yujin Robot Co., Ltd. Apparatus and system for remotely controlling a moving robot and method thereof
KR101857952B1 (ko) 2016-01-20 2018-05-15 주식회사 유진로봇 청소로봇을 원격으로 제어하기 위한 원격 제어 장치, 제어 시스템 및 제어 방법
CN105511477A (zh) * 2016-02-16 2016-04-20 江苏美的清洁电器股份有限公司 清扫机器人系统和清扫机器人
WO2017140089A1 (zh) * 2016-02-16 2017-08-24 江苏美的清洁电器股份有限公司 清扫机器人系统和清扫机器人
US11169533B2 (en) 2016-03-15 2021-11-09 Aktiebolaget Electrolux Robotic cleaning device and a method at the robotic cleaning device of performing cliff detection
WO2017177031A1 (en) * 2016-04-08 2017-10-12 Tyco Fire Products Lp Modular and expandable fire suppression system
CN109068908B (zh) 2016-05-11 2021-05-11 伊莱克斯公司 机器人清洁设备
WO2017218234A1 (en) 2016-06-15 2017-12-21 Irobot Corporation Systems and methods to control an autonomous mobile robot
US10377042B2 (en) 2016-06-17 2019-08-13 Intel Corporation Vision-based robot control system
US10706565B2 (en) * 2016-07-27 2020-07-07 Seikowave, Inc. Method and apparatus for motion tracking of an object and acquisition of three-dimensional data over large areas
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备
KR102544737B1 (ko) * 2016-08-30 2023-06-16 엘지전자 주식회사 로봇 청소기 및 로봇 청소기를 포함하는 시스템
KR102581196B1 (ko) * 2016-10-07 2023-09-21 엘지전자 주식회사 공항 로봇 및 공항 로봇의 동작 방법을 수행하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
KR102662949B1 (ko) * 2016-11-24 2024-05-02 엘지전자 주식회사 인공지능 이동 로봇 및 그 제어방법
CN106444786B (zh) * 2016-11-29 2019-07-02 北京小米移动软件有限公司 扫地机器人的控制方法及装置和电子设备
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
DE102016124856A1 (de) * 2016-12-19 2018-06-21 Vorwerk & Co. Interholding Gmbh Verfahren zur Erstellung einer Umgebungskarte für ein Bearbeitungsgerät
KR102235270B1 (ko) 2017-01-18 2021-04-01 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
USD844645S1 (en) * 2017-02-15 2019-04-02 AI Incorporated Robotic vacuum display screen with graphical user interface
KR102689863B1 (ko) * 2017-02-24 2024-07-31 삼성전자주식회사 전자 장치 및 그의 제어 방법
WO2018161011A1 (en) * 2017-03-03 2018-09-07 Tti (Macao Commercial Offshore) Limited Vacuum cleaner and vacuum cleaning system in wireless communication with a user-controlled electronic device
JP6871602B2 (ja) * 2017-03-09 2021-05-12 学校法人千葉工業大学 自律走行型掃除機
JP6885160B2 (ja) * 2017-03-31 2021-06-09 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム
JP6526098B2 (ja) * 2017-04-26 2019-06-05 ファナック株式会社 ロボットを操作するための操作装置、ロボットシステム、および操作方法
KR20220025250A (ko) 2017-06-02 2022-03-03 에이비 엘렉트로룩스 로봇 청소 장치 전방의 표면의 레벨차를 검출하는 방법
WO2019004773A1 (ko) * 2017-06-30 2019-01-03 엘지전자 주식회사 이동 단말기 및 이를 포함하는 로봇 시스템
KR102021834B1 (ko) 2017-07-12 2019-09-17 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
KR102024092B1 (ko) 2017-07-12 2019-09-23 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
GB2565315B (en) * 2017-08-09 2022-05-04 Emotech Ltd Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers
DE102017118383A1 (de) * 2017-08-11 2019-02-14 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Reinigungsgerätes
CN107638137A (zh) * 2017-09-14 2018-01-30 广东格兰仕集团有限公司 一种声音识别的机器人及其识别方法
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
CN111093447B (zh) 2017-09-26 2022-09-02 伊莱克斯公司 机器人清洁设备的移动控制
CN107745381B (zh) * 2017-09-29 2018-10-12 南京昱晟机器人科技有限公司 一种机器人及其识别路障的方法
KR102397035B1 (ko) * 2017-10-26 2022-05-12 에이비 엘렉트로룩스 로봇 청소기와 공간 정보를 교환하기 위한 증강 현실 사용
CN108113580A (zh) * 2017-12-20 2018-06-05 苏州燕云网络技术有限公司 扫地机自动清扫局部区域的方法及扫地机
KR102429764B1 (ko) 2018-02-01 2022-08-08 삼성전자주식회사 사용자의 제스처를 인식하는 전자 장치
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
CN108805928B (zh) * 2018-05-23 2023-04-18 平安科技（深圳）有限公司 控制无人设备直播的方法、装置、计算机设备及存储介质
CN108742332A (zh) * 2018-05-30 2018-11-06 上海与德通讯技术有限公司 一种清扫方法和机器人
CN108888187A (zh) * 2018-05-31 2018-11-27 四川斐讯信息技术有限公司 一种基于深度相机的扫地机器人
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
CN108888204B (zh) * 2018-06-29 2022-02-22 炬大科技有限公司 一种扫地机器人呼唤装置及呼唤方法
GB201811301D0 (en) * 2018-07-10 2018-08-29 Emotech Ltd Robotic system
US10867408B1 (en) * 2018-07-23 2020-12-15 Apple Inc. Estimation of spatial relationships between sensors of a multi-sensor device
WO2020027406A1 (ko) * 2018-08-01 2020-02-06 엘지전자 주식회사 인공지능 이동 로봇
KR102629036B1 (ko) * 2018-08-30 2024-01-25 삼성전자주식회사 로봇 및 그의 제어 방법
US11597084B2 (en) 2018-09-13 2023-03-07 The Charles Stark Draper Laboratory, Inc. Controlling robot torque and velocity based on context
WO2020060267A1 (en) * 2018-09-20 2020-03-26 Samsung Electronics Co., Ltd. Cleaning robot and method for performing task thereof
KR20200050235A (ko) 2018-11-01 2020-05-11 삼성전자주식회사 전자 장치 및 그의 지능형 인터랙션 방법
CN109330494A (zh) * 2018-11-01 2019-02-15 珠海格力电器股份有限公司 基于动作识别的扫地机器人控制方法、系统、扫地机器人
CN111352432B (zh) * 2018-12-20 2023-09-15 北京石头世纪科技股份有限公司 智能清洁设备及其控制方法和可读介质
WO2020140271A1 (zh) 2019-01-04 2020-07-09 珊口（上海）智能科技有限公司 移动机器人的控制方法、装置、移动机器人及存储介质
CN111493745A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 控制机器人工作的方法、电子设备及计算机可读存储介质
JP7133497B2 (ja) * 2019-03-05 2022-09-08 株式会社日立製作所 移動範囲設定システム及び移動範囲設定方法
US20210331314A1 (en) * 2019-03-08 2021-10-28 Lg Electronics Inc. Artificial intelligence cleaner
CN110025262A (zh) * 2019-04-18 2019-07-19 珠海市一微半导体有限公司 一种多功能扫地机器人
KR20190086631A (ko) * 2019-07-02 2019-07-23 엘지전자 주식회사 사용자의 동작을 고려하여 청소하는 인공 지능 장치 및 그 방법
KR102251550B1 (ko) 2019-07-31 2021-05-12 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102330900B1 (ko) * 2019-09-27 2021-11-26 엘지전자 주식회사 이동로봇
DE102019128927A1 (de) * 2019-10-25 2021-04-29 Vorwerk & Co. Interholding Gmbh Verfahren zur Erstellung einer Umgebungskarte für ein sich selbsttätig fortbewegendes Bodenbearbeitungsgerät, sowie System aus zwei sich selbsttätig fortbewegenden Bodenbearbeitungsgeräten
KR20210080022A (ko) * 2019-12-20 2021-06-30 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN114158980A (zh) * 2020-09-11 2022-03-11 科沃斯机器人股份有限公司 作业方法和作业模式配置方法、设备及存储介质
KR20220035767A (ko) * 2020-09-14 2022-03-22 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN114680740B (zh) * 2020-12-29 2023-08-08 美的集团股份有限公司 清扫控制方法、装置、智能设备、移动设备及服务器
CN114680739B (zh) * 2020-12-29 2023-08-04 美的集团股份有限公司 清扫控制方法、装置、智能设备、移动终端及服务器
US20220347862A1 (en) * 2021-05-03 2022-11-03 Samsung Electronics Co., Ltd. Method and system for controlling cleaning robot
JP2023151723A (ja) * 2022-04-01 2023-10-16 オムロン株式会社 移動機構が移動する作業場所に対応する環境地図を管理するシステム、方法、およびプログラム
KR20230143800A (ko) 2022-04-06 2023-10-13 엘지전자 주식회사 이동 로봇 및 그의 제어 방법
KR20240059947A (ko) 2022-10-28 2024-05-08 주식회사 세미엘렉 머신러닝 기반 협동로봇의 센서 신호처리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010106845A (ko) * 2000-05-23 2001-12-07 이정철 다기능 가정용 로봇 및 그의 제어방법
US20110145000A1 (en) * 2009-10-30 2011-06-16 Continental Automotive Gmbh Apparatus, System and Method for Voice Dialogue Activation and/or Conduct
US20110306420A1 (en) * 2010-06-11 2011-12-15 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
US20130056032A1 (en) * 2011-09-07 2013-03-07 Suuk Choe Robot cleaner, and system and method for remotely controlling the same

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313611A (ja) * 1989-06-07 1991-01-22 Toshiba Corp 自動清掃装置
SE502834C2 (sv) * 1994-03-29 1996-01-29 Electrolux Ab Förfarande och anordning för avkänning av hinder vid självgående anordning
EP1360652A1 (de) * 2001-02-15 2003-11-12 Leopold Kostal GmbH & Co. KG Schlüssellose zugangsberechtigungskontrolleinrichtung
JP3627058B2 (ja) 2002-03-01 2005-03-09 独立行政法人科学技術振興機構 ロボット視聴覚システム
KR100474340B1 (ko) * 2002-08-02 2005-03-10 엘지전자 주식회사 진공 청소기의 음성제어 장치 및 그 방법
JP4026758B2 (ja) * 2002-10-04 2007-12-26 富士通株式会社 ロボット
JP2005304540A (ja) * 2004-04-16 2005-11-04 Funai Electric Co Ltd 監視カメラを備えた自走式掃除機
KR100621000B1 (ko) 2004-09-23 2006-09-19 엘지전자 주식회사 로봇 청소기의 원격제어 시스템
JP2010502189A (ja) * 2006-08-29 2010-01-28 マーテック バイオサイエンシーズ コーポレーション 乳幼児用調合乳におけるＤＰＡ（ｎ−６）油の使用
DE102011050357A1 (de) * 2010-08-12 2012-02-16 Vorwerk & Co. Interholding Gmbh Verfahren zur Steuerung eines selbsttätig verfahrbaren Gerätes
DE102011014734A1 (de) * 2011-03-22 2012-09-27 Carl Freudenberg Kg Automatisches Reinigungsgerät und Verfahren zum Betreiben eines automatischen Reinigungsgeräts
KR101842459B1 (ko) 2011-04-12 2018-05-14 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
US8776916B2 (en) * 2011-07-01 2014-07-15 Baker Hughes Incorporated Drilling motors with elastically deformable lobes
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9037296B2 (en) * 2011-09-07 2015-05-19 Lg Electronics Inc. Robot cleaner, and system and method for remotely controlling the same
US9776332B2 (en) * 2011-12-08 2017-10-03 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
KR101356165B1 (ko) * 2012-03-09 2014-01-24 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
JP6104519B2 (ja) * 2012-05-07 2017-03-29 シャープ株式会社 自走式電子機器
US8800154B2 (en) 2012-06-07 2014-08-12 Gerald Lee Schmidt Telescopic sight alignment tool
KR101954144B1 (ko) * 2012-06-08 2019-03-05 엘지전자 주식회사 로봇 청소기와, 이의 제어 방법, 및 이를 포함한 로봇 청소 시스템
US9675226B2 (en) * 2012-10-26 2017-06-13 Lg Electronics Inc. Robot cleaner system and control method of the same
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010106845A (ko) * 2000-05-23 2001-12-07 이정철 다기능 가정용 로봇 및 그의 제어방법
US20110145000A1 (en) * 2009-10-30 2011-06-16 Continental Automotive Gmbh Apparatus, System and Method for Voice Dialogue Activation and/or Conduct
US20110306420A1 (en) * 2010-06-11 2011-12-15 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
US20130056032A1 (en) * 2011-09-07 2013-03-07 Suuk Choe Robot cleaner, and system and method for remotely controlling the same
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017167239A1 (zh) * 2016-03-31 2017-10-05 纳恩博（北京）科技有限公司 移动控制方法、移动电子设备及移动控制系统、存储介质
CN109152505A (zh) * 2016-05-09 2019-01-04 沃维克股份有限公司 用于借助清洁机器人清洁地板的系统和方法
CN105773626A (zh) * 2016-05-10 2016-07-20 广西升禾环保科技股份有限公司 具有道路实时检测功能的扫地机械人控制平台
CN106426159A (zh) * 2016-05-19 2017-02-22 西安天和海防智能科技有限公司 空化射流清洁船体机器人的控制系统
CN106426159B (zh) * 2016-05-19 2019-04-30 西安天和海防智能科技有限公司 空化射流清洁船体机器人的控制系统
CN107643820A (zh) * 2016-07-20 2018-01-30 郎焘 Vr被动型机器人及其实现方法
CN107643820B (zh) * 2016-07-20 2020-11-06 郎焘 Vr被动型机器人及其实现方法
US11249490B2 (en) 2016-07-21 2022-02-15 Positec Power Tools (Suzhou) Co., Ltd. Self-moving device capable of automatically recognizing an object in front, and recognition method thereof
CN108431715A (zh) * 2016-07-21 2018-08-21 苏州宝时得电动工具有限公司 自动识别前方物体的自移动设备及其识别方法
CN108431715B (zh) * 2016-07-21 2021-08-10 苏州宝时得电动工具有限公司 自动识别前方物体的自移动设备及其识别方法
CN106325094A (zh) * 2016-10-30 2017-01-11 苏州市克拉思科文化传播有限公司 一种智能家居管理扫地机器人
WO2018145275A1 (zh) * 2017-02-08 2018-08-16 格兰比圣（深圳）科技有限公司 一种智能清洁方法及装置
CN107730552A (zh) * 2017-09-27 2018-02-23 上海与德通讯技术有限公司 一种交互方法、装置、扫地机器人及介质
CN109557908A (zh) * 2017-09-27 2019-04-02 九阳股份有限公司 一种基于投射虚拟墙的机器人导航方法和系统
CN109623809A (zh) * 2017-10-09 2019-04-16 东莞市冠毅计算机技术有限公司 一种机器人智能控制系统
CN107877521A (zh) * 2017-11-06 2018-04-06 广西富迈科技有限公司 物品识别与处理方法、机器人终端及存储介质
CN110060207B (zh) * 2017-12-15 2023-05-12 Neato机器人技术公司 提供平面布置图的方法、系统
CN110060207A (zh) * 2017-12-15 2019-07-26 Neato机器人技术公司 提供平面布置图的方法、系统
CN108209745B (zh) * 2017-12-18 2021-06-25 深圳市奇虎智能科技有限公司 清洁设备的控制方法、装置、计算机设备和存储介质
CN108209745A (zh) * 2017-12-18 2018-06-29 深圳市奇虎智能科技有限公司 清洁设备的控制方法、装置、计算机设备和存储介质
CN110192810A (zh) * 2018-02-26 2019-09-03 广东理标信息科技有限公司 一种机器人智能控制系统
CN108338748A (zh) * 2018-03-14 2018-07-31 郑州工程技术学院 一种基于视频监控的自动清洁方法、装置以及清洁机器人
CN110367871A (zh) * 2018-04-13 2019-10-25 东芝生活电器株式会社 自主型电动吸尘器
CN111902246A (zh) * 2018-04-27 2020-11-06 三星电子株式会社 用于控制外部电子装置的电子装置和方法
CN112739244B (zh) * 2018-07-13 2024-02-09 美国iRobot公司 移动机器人清洁系统
US11669086B2 (en) 2018-07-13 2023-06-06 Irobot Corporation Mobile robot cleaning system
CN112739244A (zh) * 2018-07-13 2021-04-30 美国iRobot公司 移动机器人清洁系统
CN109199240B (zh) * 2018-07-24 2023-10-20 深圳市云洁科技有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN109199240A (zh) * 2018-07-24 2019-01-15 上海斐讯数据通信技术有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN108829115A (zh) * 2018-10-09 2018-11-16 上海岚豹智能科技有限公司 一种机器人的运动控制方法及其计算设备
CN111103875A (zh) * 2018-10-26 2020-05-05 科沃斯机器人股份有限公司 避让的方法、设备及存储介质
CN109828562A (zh) * 2019-01-17 2019-05-31 上海岚豹智能科技有限公司 机器人清扫模式调节方法及装置
CN111568306A (zh) * 2019-02-19 2020-08-25 北京奇虎科技有限公司 基于清洁机器人的清洁方法、装置、电子设备及存储介质
CN111568307B (zh) * 2019-02-19 2023-02-17 北京奇虎科技有限公司 机器人执行清扫工作方法、设备及计算机可读存储介质
CN111568307A (zh) * 2019-02-19 2020-08-25 北京奇虎科技有限公司 机器人执行清扫工作方法、设备及计算机可读存储介质
CN113710133A (zh) * 2019-09-27 2021-11-26 深圳阿科伯特机器人有限公司 智能终端、控制系统及与移动机器人的交互方法
WO2021056428A1 (zh) * 2019-09-27 2021-04-01 珊口（深圳）智能科技有限公司 智能终端、控制系统及与移动机器人的交互方法
CN110597081A (zh) * 2019-09-30 2019-12-20 青岛海尔科技有限公司 基于智能家居操作系统的控制指令的发送方法及装置
CN113126632A (zh) * 2020-01-15 2021-07-16 科沃斯机器人股份有限公司 虚拟墙划定和作业方法、设备及存储介质
WO2021143543A1 (zh) * 2020-01-15 2021-07-22 科沃斯机器人股份有限公司 机器人及其控制方法
CN113116224A (zh) * 2020-01-15 2021-07-16 科沃斯机器人股份有限公司 机器人及其控制方法
CN113116224B (zh) * 2020-01-15 2022-07-05 科沃斯机器人股份有限公司 机器人及其控制方法
CN113126632B (zh) * 2020-01-15 2022-08-16 科沃斯机器人股份有限公司 虚拟墙划定和作业方法、设备及存储介质
CN113679289B (zh) * 2020-05-18 2023-02-21 云米互联科技(广东)有限公司 扫地机控制方法、控制设备及计算机可读存储介质
CN113679289A (zh) * 2020-05-18 2021-11-23 云米互联科技(广东)有限公司 扫地机控制方法、控制设备及计算机可读存储介质
CN111964154A (zh) * 2020-08-28 2020-11-20 邯郸美的制冷设备有限公司 空调器室内机、控制方法、运行控制装置及空调器
CN111984017A (zh) * 2020-08-31 2020-11-24 苏州三六零机器人科技有限公司 清扫设备控制方法、装置、系统及计算机可读存储介质
CN112890692A (zh) * 2021-02-08 2021-06-04 美智纵横科技有限责任公司 设置清洁禁区的方法、装置、清洁设备及存储介质
WO2023024499A1 (zh) * 2021-08-27 2023-03-02 美智纵横科技有限责任公司 机器人的控制方法、控制装置、机器人和可读存储介质
CN113679298A (zh) * 2021-08-27 2021-11-23 美智纵横科技有限责任公司 机器人的控制方法、控制装置、机器人和可读存储介质
CN115500740A (zh) * 2022-11-18 2022-12-23 科大讯飞股份有限公司 清洁机器人及清洁机器人控制方法

Also Published As

Publication number Publication date
US20150032260A1 (en) 2015-01-29
AU2014297039B2 (en) 2016-07-14
US20170144311A1 (en) 2017-05-25
EP3027101A1 (en) 2016-06-08
RU2620236C1 (ru) 2017-05-23
CA2918318C (en) 2017-12-19
US10265858B2 (en) 2019-04-23
AU2014297039A1 (en) 2015-11-12
KR102094347B1 (ko) 2020-03-30
US9597804B2 (en) 2017-03-21
EP3027101B1 (en) 2019-09-04
EP3027101A4 (en) 2017-04-19
WO2015016580A1 (en) 2015-02-05
CN105407774B (zh) 2018-09-18
CA2918318A1 (en) 2015-02-05
KR20150014237A (ko) 2015-02-06

Similar Documents

Publication Publication Date Title
CN105407774A (zh) 自动清扫系统、清扫机器人和控制清扫机器人的方法
CN109947109B (zh) 机器人工作区域地图构建方法、装置、机器人和介质
US10663972B2 (en) Apparatus for localizing cleaning robot, cleaning robot, and controlling method of cleaning robot
CN111479662B (zh) 学习障碍物的人工智能移动机器人及其控制方法
CN111990929B (zh) 一种障碍物探测方法、装置、自行走机器人和存储介质
KR102314637B1 (ko) 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
US9436273B2 (en) Information processing device, method and computer-readable non-transitory recording medium
US20200027336A1 (en) Moving robot and control method thereof
US10936880B2 (en) Surveillance
US9377860B1 (en) Enabling gesture input for controlling a presentation of content
US20160154996A1 (en) Robot cleaner and method for controlling a robot cleaner
EP3800532A1 (en) Monitoring
CN105260022B (zh) 一种基于手势控制截图的方法及装置
KR101671148B1 (ko) 로봇 청소기 및 그의 제어방법
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
CN107111363B (zh) 用于监视的方法、装置和系统
KR20170070607A (ko) 전자장치 및 그의 동작 방법
US20220214752A1 (en) Gesture-based targeting control for image capture devices
KR20220083320A (ko) 이동 로봇의 경로를 표시하는 방법 및 장치
Seo et al. Laser scanner based foot motion detection for intuitive robot user interface system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant