CN112739244B - 移动机器人清洁系统 - Google Patents

移动机器人清洁系统 Download PDF

Info

Publication number
CN112739244B
CN112739244B CN201980059811.XA CN201980059811A CN112739244B CN 112739244 B CN112739244 B CN 112739244B CN 201980059811 A CN201980059811 A CN 201980059811A CN 112739244 B CN112739244 B CN 112739244B
Authority
CN
China
Prior art keywords
mobile
camera
robot
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980059811.XA
Other languages
English (en)
Other versions
CN112739244A (zh
Inventor
K.E.德鲁
P.瓦瑟曼
C.V.琼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iRobot Corp
Original Assignee
iRobot Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iRobot Corp filed Critical iRobot Corp
Publication of CN112739244A publication Critical patent/CN112739244A/zh
Application granted granted Critical
Publication of CN112739244B publication Critical patent/CN112739244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/28—Floor-scrubbing machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2831—Motor parameters, e.g. motor load or speed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2847—Surface treating elements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D2101/00—Lawn-mowers
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种用于操作移动机器人或与移动机器人交互的方法，包括使用至少一个处理器来确定与移动设备相关联的第一坐标系和与移动机器人相关联的第二坐标系之间的映射，其中第一坐标系不同于第二坐标系。该方法包括在移动设备处提供用户界面，以使用户能够与移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。

Description

移动机器人清洁系统
相关申请的交叉引用
本申请要求于2018年7月13日提交的美国申请62/698,004的优先权，其全部内容通过引用结合于此。
技术领域
本描述涉及移动机器人清洁系统。
背景技术
在一些示例中，传统的清洁机器人可以通过在房屋里四处走动并且一路上清扫灰尘来清洁整个房屋。机器人可能会在房屋里走几圈，并试图覆盖尽可能多的地板区域。如果清洁机器人的用户希望机器人清洁房屋中的特定区域，则用户可以拿起机器人并将机器人放置在需要清洁的第一区域附近。在机器人清洁第一区域后，用户可以拿起机器人并将机器人放置在需要清洁的第二区域附近，以此类推。机器人建立它所行进过的区域的地图。当机器人完成清洁特定区域时，机器人继续清洁房屋的剩余区域。在机器人确定它已经覆盖了房屋的大部分地板区域后，机器人返回充电站进行再充电并等待下一次预定的(scheduled)清洁会话。
发明内容
在一般方面，一种方法包括：使用至少一个处理器来确定与移动设备相关联的第一坐标系和与移动机器人相关联的第二坐标系之间的映射，其中第一坐标系不同于第二坐标系；以及在移动设备处提供用户界面，以使用户能够与移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
方法的实施方式可以包括一个或多个以下特征。用户界面可以被配置为使用户能够使用移动设备来指示移动机器人在指定定位处执行指定动作。
方法可以包括使用户能够使用移动设备来指示移动机器人在指定定位处执行清洁操作。
方法可以包括：配置用户界面以使用户能够在移动设备的显示模块上示出的图像上指定定位；使用至少一个处理器来识别由用户指定的定位的坐标；以及从移动设备向移动机器人发送指令，以指示移动机器人在由用户指定的定位处执行清洁操作，其中该指令包括由用户指定的定位的坐标。
方法可以包括：确定由用户指定的定位的第一坐标，其中第一坐标基于第一坐标系；使用第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系；以及向移动机器人发送包括第二坐标的指令。
方法可以包括使用户能够在环境中的第一定位处使用移动设备，以与位于环境中的第二定位处的移动机器人交互，其中第二定位不在移动设备的视线内，并且交互涉及使用第一坐标系和第二坐标系之间的映射。
方法可以包括使用户能够使用位于房屋中的第一房间处的移动设备与位于房屋中的第二房间处的移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
方法可以包括：在移动设备处从移动机器人接收关于环境的数据，该数据包括定位信息；以及在移动设备处，在显示模块上显示环境的图像，并且将图形元素覆盖在图像上，其中图形元素是基于从移动机器人接收的数据而导出的。
方法可以包括在图像上覆盖具有由移动机器人识别的指定特性的区域(area)的表示。
具有指定特性的区域可以包括具有指定特性的地板区域。
具有指定特性的区域可以表示以下中的至少一个：(i)环境中在指定时间段内已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
方法可以包括在图像上覆盖由移动机器人识别的障碍物的表示。
方法可以包括确定区域和障碍物相对于移动设备的相机的视点的位置，确定区域的哪个部分被障碍物遮挡，以及在显示模块上显示图像，其中区域中的具有指定特性的部分被障碍物遮挡。
方法可以包括执行增强现实工具以在移动设备上实施增强现实会话，以及配置用户界面以使用户能够在增强现实会话中与移动设备交互。
方法可以包括使用增强现实工具以基于由移动设备的相机捕获的图像来建立第一坐标系。
确定第一坐标系和第二坐标系之间的映射可以包括：将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较；识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配；识别与第一组特征相关联的第一坐标，其中第一坐标基于第一坐标系；识别与第二组特征相关联的第二坐标，其中第二坐标基于第二坐标系；以及基于第一坐标和第二坐标之间的关系确定第一坐标系和第二坐标系之间的映射。
方法可以包括对由移动设备的相机捕获的图像应用图像变换以生成修改的图像，该修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的图像，其中该图像变换考虑移动设备相机的特性和移动机器人相机的特性。
将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较可以包括将从修改的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较；并且识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配可以包括识别从修改的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配。
在另一个一般方面，一种方法包括在移动设备的显示模块上显示由移动设备的相机捕获的环境的图像，其中具有指定特性的区域的表示和由移动机器人识别的障碍物的表示被覆盖在图像上，其中在图像中，区域被示出为被障碍物部分遮挡，并且区域中的被障碍物遮挡的部分是基于区域和障碍物相对于移动设备的相机的视点的位置来确定的。
方法的实施方式可以包括一个或多个以下特征。具有指定特性的区域的表示可以包括以下中的至少一个的表示：(i)环境中已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
方法可以包括提供用户界面以使用户能够指定区域的特性，对于该区域的特性，区域的表示被覆盖在图像上。
环境中已经被移动机器人处理的区域的表示可以包括已经被移动机器人进行过吸尘、拖地、擦洗、清扫或割草中的至少一个的区域的表示。
信号强度图可以包括Wi-Fi信号强度图或移动电话信号强度图中的至少一个。
具有指定特性的区域可以包括具有指定特性的地板区域。
障碍物的表示可以包括一个或多个列，其中每列对应于移动机器人遇到障碍物或障碍物的一部分的定位。
由移动机器人建立的地图可以包括多个单元，并且每列可以对应于移动机器人遇到障碍物或障碍物的一部分的单元之一。
由移动机器人建立的地图可以包括二维地图。
方法可以包括确定与移动机器人相关联的第一坐标系和与移动设备相关联的第二坐标系之间的映射，其中，移动机器人基于第一坐标系确定环境中的对象的位置，并且移动设备基于第二坐标系确定环境中的对象的位置。
第一坐标系和第二坐标系之间的映射可以由移动设备、移动机器人或位于距移动设备和移动机器人一距离处的计算机服务器中的至少一个来确定。
第一坐标系可以基于由移动机器人捕获的图像来建立，并且第二坐标系可以基于由移动设备捕获的图像来建立。
第一坐标系可以由移动机器人或位于距移动机器人一距离处的计算机服务器中的至少一个来建立。
第二坐标系可以由移动设备或位于距移动设备一距离处的计算机服务器中的至少一个来确定。
方法可以包括识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
方法可以包括基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
方法可以包括基于第二坐标确定具有指定特性的区域在图像上的覆盖的位置。
确定第一坐标系和第二坐标系之间的映射可以包括：使用至少一个处理器来识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；使用至少一个处理器将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征(stored features)进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；使用至少一个处理器来识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及使用至少一个处理器，基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的特征，并且识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括：使用根据移动设备的相机的特性和移动机器人的相机的特性而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，并且基于至少一个修改的图像来识别第二组特征。
相机的特性可以包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
移动设备的相机的特性可以由在移动设备上执行的操作系统或图像应用指定的固有相机参数来表示。
移动机器人的相机的特性可以由在移动机器人上执行的操作系统或图像应用指定的固有相机参数来表示。
移动机器人可以包括移动清洁机器人或移动割草机器人中的至少一个。
移动设备可以包括移动电话、平板电脑、笔记本电脑、支撑显示模块的头盔或支撑显示模块的护目镜中的至少一个。
表示信号强度图的信息可以包括表示Wi-Fi信号强度图或移动电话信号强度图的信息。
方法可以包括执行增强现实工具以在移动设备上实施增强现实会话，以及在显示模块上显示环境的图像作为增强现实会话的一部分。
方法可以包括调用增强现实工具的功能调用，以将具有指定特性的区域的表示和障碍物的表示覆盖在环境的图像上。
方法可以包括确定与移动机器人相关联的第一坐标系和与增强现实会话相关联的第二坐标系之间的映射，其中移动机器人基于第一坐标系来确定环境中的对象的位置，并且增强现实工具基于第二坐标系来确定环境中的对象的位置。
第一坐标系可以从由移动机器人捕获的图像中导出，并且第二坐标系可以由增强现实工具基于由移动设备捕获的图像而建立。
方法可以包括识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
方法可以包括基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
方法可以包括基于第二坐标确定具有指定特性的区域在图像中的放置。
方法可以包括识别与障碍物相关联的第三坐标，其中第三坐标基于第一坐标系。
方法可以包括基于第一坐标系和第二坐标系之间的映射将第三坐标转换成第四坐标，其中第四坐标基于第二坐标系。
方法可以包括基于第四坐标确定障碍物在图像中的放置。
方法可以包括基于相对于移动设备的相机的视点的第二坐标和第四坐标的比较，确定具有指定特性的区域的一部分被障碍物遮挡。
确定第一坐标系和第二坐标系之间的映射可以包括：调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；使用至少一个处理器将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；使用至少一个处理器来识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及使用至少一个处理器，基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的特征，并且识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括：使用根据移动设备的相机的固有参数和移动机器人的相机的固有参数而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，并且调用增强现实工具来基于至少一个修改的图像识别第二组特征。
相机的固有参数可以包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
在另一个一般方面，一种方法包括考虑以下各项来组合从由第一相机捕获的环境的至少一个图像中导出的第一信息和从由第二相机捕获的环境的至少一个图像中导出的第二信息：(i)与第一信息相关联的第一坐标、(ii)与第二信息相关联的第二坐标、以及(iii)与第一相机相关联的第一坐标系和与第二相机相关联的第二坐标系之间的映射，其中第一坐标基于第一坐标系，并且第二坐标基于第二坐标系。
方法的实施方式可以包括一个或多个以下特征。方法可以包括：使用第一相机捕获环境的第一组图像；基于第一组图像确定第一坐标系；使用第二相机捕获环境的第二组图像；以及基于第二组图像确定第二坐标系。
方法可以包括：使用至少一个处理器来识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与第一坐标系中的第一组坐标相关联；使用至少一个处理器来识别第二组图像中的至少一个图像中的第二组特征，其中第二组特征匹配或基本匹配第一组特征，并且第二组特征与第二坐标系中的第二组坐标相关联；以及使用至少一个处理器，基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
方法可以包括将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的放置；以及显示覆盖有由移动机器人提供的至少一个特征的图像。
组合第一信息和第二信息可以包括生成包括从第一信息导出的第一图像元素和从第二信息导出的第二图像元素的图像，并且基于与第一信息相关联的坐标和与第二信息相关联的坐标而在图像中定位第一图像元素和第二图像元素。
在另一个一般方面，提供了一种用于操作移动清洁机器人或与移动清洁机器人交互的方法。该方法包括：使用移动计算设备的相机捕获环境的图像；在移动计算设备的处理器处，从移动机器人接收关于环境中的对象或区块(region)的信息；在处理器处生成合成图像，其中从移动机器人接收的关于环境中的对象或区块的信息被覆盖到由相机捕获的环境的图像上；以及在移动计算设备的显示器处显示合成图像。
方法的实施方式可以包括一个或多个以下特征。方法可以包括确定基于由移动机器人使用的地图而建立的第一坐标系和基于由相机捕获的图像而建立的第二坐标系之间的映射。
确定第一坐标系和第二坐标系之间的映射可以包括：基于由相机捕获的环境的图像识别环境中的第一组特征；将第一组特征和与移动机器人使用的地图相关联的存储的特征进行比较；在存储的特征当中识别第二组特征，其中第二组特征匹配或近似匹配第一组特征；以及基于与第一组特征相关联的第一坐标和与第二组特征相关联的第二坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
识别匹配或近似匹配第一组特征的第二组特征可以包括识别第二组特征，其中第一组特征和第二组特征之间的相似性得分高于阈值。
可以基于从由相机捕获的图像中导出的特征建立第二坐标系。
方法可以包括：识别与移动机器人使用的地图相关联的特征；识别与特征相关联的第一组坐标，其中第一组坐标使用第一坐标系作为参考；基于第一坐标系和第二坐标系之间的映射将第一组坐标映射到第二组坐标，其中第二组坐标基于第二坐标系；以及基于第二组坐标将特征覆盖到环境的图像上以生成合成图像。
在另一个一般方面，提供了一种用于操作移动清洁机器人或与移动清洁机器人交互的方法。该方法包括：使用移动计算设备的相机捕获环境的第一组图像；基于第一组图像确定与移动计算设备相关联的第一坐标系；使用移动清洁机器人的相机捕获环境的第二组图像；基于第二组图像确定与移动清洁机器人相关联的第二坐标系；使用至少一个处理器来识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与基于第一坐标系的第一组坐标相关联；使用至少一个处理器来识别第二组图像中匹配或基本匹配第一组特征的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；使用至少一个处理器，基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射；将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的位置；以及显示覆盖有由移动机器人提供的至少一个特征的图像。
方法的实施方式可以包括一个或多个以下特征。覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖信号强度图。覆盖信号强度热图可以包括在由移动设备的相机生成的图像上覆盖Wi-Fi信号强度图或移动电话信号强度图。覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息。
覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息可以包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人进行过吸尘、拖地、清扫、擦洗或割草中的至少一个的一个或多个区块的信息。
覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖由移动机器人识别的障碍物的表示。
覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息，其中所得到的图像示出了被障碍物部分遮挡的一个或多个区块。
在另一个一般方面，一种方法包括在移动设备的显示器上显示由移动设备的相机捕获的环境的图像，其中至少一个特征覆盖在图像上，至少一个特征从由移动机器人提供的信息中导出，至少一个特征与环境中的至少一个物理对象相关联，并且至少一个特征被放置在图像中基于至少一个物理对象在环境中的位置而确定的位置处。
在另一个一般方面，一种方法包括在移动设备的显示器上显示由移动设备的相机捕获的环境的图像，其中由移动机器人提供的信息覆盖在图像上，该信息表示以下中的至少一个：(i)环境中已经被移动机器人处理的区域、(ii)环境中没有被移动机器人处理的区域、(iii)环境中的障碍物、(iv)禁区、(v)虚拟墙壁、(vi)虚拟栅栏、(vii)移动机器人可穿过的区域、(viii)移动机器人不可穿过的区域、或(ix)信号强度图。
方法的实施方式可以包括一个或多个以下特征。表示环境中已经被移动机器人处理的区域的信息可以包括表示已经被移动机器人进行过吸尘、拖地、清扫、擦洗或割草中的至少一个的区域的信息。
表示信号强度图的信息可以包括表示Wi-Fi信号强度图或移动电话信号强度图的信息。
显示具有由移动机器人提供的、覆盖在图像上的信息的环境的图像可以包括显示具有覆盖在图像上的障碍物的表示的图像，并且障碍物的表示可以包括具有预定义高度的一个或多个列。
在另一个一般方面，一种方法包括在移动设备的显示模块上显示由移动设备的相机捕获的环境的图像，其中第一数据的表示和第二数据的表示覆盖在图像上，第一数据和第二数据由移动机器人提供，第一数据包括关于以下中的至少一个的信息：(i)环境中已经被移动机器人处理的区域、(ii)环境中没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)环境中在时间段内没有被移动机器人处理的区域、(v)禁区、(vi)移动机器人可穿过的区域、(vii)移动机器人不可穿过的区域、(viii)信号强度图、或(ix)步行交通统计图；其中，第二数据包括关于环境中已经被移动机器人识别的至少一个障碍物的定位信息，并且在显示模块上示出的图像中，第一数据的表示被由移动机器人识别的障碍物的表示部分遮挡。
在另一个一般方面，一种装置包括：存储设备，存储处理器可执行指令；以及至少一个处理器，其通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：确定与移动设备相关联的第一坐标系和与移动机器人相关联的第二坐标系之间的映射，其中第一坐标系不同于第二坐标系；并且在移动设备处提供用户界面，以使用户能够与移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
装置的实施方式可以包括一个或多个以下特征。用户界面可以被配置为使用户能够使用移动设备来指示移动机器人在指定定位处执行指定动作。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为使用户能够使用移动设备来指示移动机器人在指定定位处执行清洁操作。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为配置用户界面以使用户能够在移动设备的显示模块上示出的图像上指定定位，识别由用户指定的定位的坐标，并且从移动设备向移动机器人发送指令，以指示移动机器人在由用户指定的定位处执行清洁操作，其中该指令包括由用户指定的定位的坐标。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为确定由用户指定的定位的第一坐标，其中第一坐标基于第一坐标系；使用第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系；并将包括第二坐标的指令发送给移动机器人。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为使用户能够在环境中的第一定位处使用移动设备，以与位于环境中的第二定位处的移动机器人交互，其中第二定位不在移动设备的视线内，并且交互涉及使用第一坐标系和第二坐标系之间的映射。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为使用户能够使用位于房屋中的第一房间处的移动设备与位于房屋中的第二房间处的移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为从移动机器人接收关于环境的数据，该数据包括定位信息；以及在显示模块上显示环境的图像，并且将图形元素覆盖在图像上，其中图形元素是基于从移动机器人接收的数据而导出的。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为在图像上覆盖具有由移动机器人识别的指定特性的区域的表示。
具有指定特性的区域可以包括具有指定特性的地板区域。
具有指定特性的区域可以表示以下中的至少一个：(i)环境中在指定时间段内已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为在图像上覆盖由移动机器人识别的障碍物的表示。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：确定区域和障碍物相对于移动设备的相机的视点的位置；确定区域的哪个部分被障碍物遮挡；以及在显示模块上显示图像，其中区域中的具有指定特性的部分被障碍物遮挡。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为执行增强现实工具以在移动设备上实施增强现实会话，并且配置用户界面以使用户能够在增强现实会话中与移动设备交互。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为使用增强现实工具以基于由移动设备的相机捕获的图像来建立第一坐标系。
确定第一坐标系和第二坐标系之间的映射可以包括：将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较；识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配；识别与第一组特征相关联的第一坐标，其中第一坐标基于第一坐标系；识别与第二组特征相关联的第二坐标，其中第二坐标基于第二坐标系；并且基于第一坐标和第二坐标之间的关系确定第一坐标系和第二坐标系之间的映射。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为对由移动设备的相机捕获的图像应用图像变换以生成修改的图像，该修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的图像，其中该图像变换考虑移动设备相机的特性和移动机器人相机的特性。
将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较可以包括，将从修改的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较；并且识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配包括，识别从修改的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配。
在另一个一般方面，一种移动设备包括：显示模块；相机；存储处理器可执行指令的存储设备；以及通信耦合到存储设备的至少一个处理器。在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：在显示模块上显示由相机捕获的环境的图像，其中具有指定特性的区域的表示和由移动机器人识别的障碍物的表示被覆盖在图像上；其中在图像中，区域被示出为被障碍物部分遮挡，并且区域中的被障碍物遮挡的部分是基于区域和障碍物相对于移动设备的相机的视点的位置来确定的。
移动设备的实施方式可以包括一个或多个以下特征。具有指定特性的区域的表示可以包括以下中的至少一个的表示：(i)环境中已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为提供用户界面以使用户能够指定区域的特性，对于该区域的特性，区域的表示被覆盖在图像上。
环境中已经被移动机器人处理的区域的表示可以包括已经被移动机器人进行过吸尘、拖地、擦洗、清扫或割草中的至少一个的区域。
信号强度图可以包括Wi-Fi信号强度图或移动电话信号强度图中的至少一个。
具有指定特性的区域可以包括具有指定特性的地板区域。
障碍物的表示可以包括一个或多个列，其中每列对应于移动机器人遇到障碍物或障碍物的一部分的定位。
由移动机器人建立的地图可以包括多个单元，并且每列对应于移动机器人遇到障碍物或障碍物的一部分的单元之一。
由移动机器人建立的地图可以包括二维地图。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为确定与移动机器人相关联的第一坐标系和与移动设备相关联的第二坐标系之间的映射，其中，移动机器人基于第一坐标系确定环境中的对象的位置，并且移动设备基于第二坐标系确定环境中的对象的位置。
第一坐标系和第二坐标系之间的映射可以由移动设备、移动机器人或位于距移动设备和移动机器人一距离处的计算机服务器中的至少一个来确定。
第一坐标系可以基于由移动机器人捕获的图像来建立，并且第二坐标系可以基于由移动设备捕获的图像来建立。
第一坐标系可以由移动机器人或位于距移动机器人一距离处的计算机服务器中的至少一个来建立。
第二坐标系可以由移动设备或位于距移动设备一距离处的计算机服务器中的至少一个来确定。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：基于第二坐标确定具有指定特性的区域在图像上的覆盖的位置。
确定第一坐标系和第二坐标系之间的映射可以包括：识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的特征，并且识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括：使用根据移动设备的相机的特性和移动机器人的相机的特性而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，以及基于至少一个修改的图像识别第二组特征。
相机的特性可以包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
移动设备的相机的特性可以由在移动设备上执行的操作系统或图像应用指定的固有相机参数来表示。
移动机器人的相机的特性可以由在移动机器人上执行的操作系统或图像应用指定的固有相机参数来表示。
移动机器人可以包括移动清洁机器人或移动割草机器人中的至少一个。
移动设备可以包括移动电话、平板电脑、笔记本电脑、支撑显示模块的头盔或支撑显示模块的护目镜中的至少一个。
表示信号强度图的信息可以包括表示Wi-Fi信号强度图或移动电话信号强度图的信息。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：执行增强现实工具以在移动设备上实施增强现实会话，并且在显示模块上显示环境的图像作为增强现实会话的一部分。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：调用增强现实工具的功能调用，以将具有指定特性的区域的表示和障碍物的表示覆盖在环境的图像上。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：确定与移动机器人相关联的第一坐标系和与增强现实会话相关联的第二坐标系之间的映射，其中移动机器人被配置为基于第一坐标系确定环境中的对象的位置，并且增强现实工具被配置为基于第二坐标系确定环境中的对象的位置。
第一坐标系可以从由移动机器人捕获的图像中导出，并且第二坐标系可以由增强现实工具基于由移动设备捕获的图像而建立。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：基于第二坐标确定具有指定特性的区域在图像中的放置。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：识别与障碍物相关联的第三坐标，其中第三坐标基于第一坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：基于第一坐标系和第二坐标系之间的映射将第三坐标转换成第四坐标，其中第四坐标基于第二坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：基于第四坐标确定障碍物在图像中的放置。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：基于相对于移动设备的相机的视点的第二坐标和第四坐标的比较，确定具有指定特性的区域的一部分被障碍物遮挡。
确定第一坐标系和第二坐标系之间的映射可以包括：调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
由移动机器人用来辨识环境中的对象的存储的特征可以包括先前从由移动机器人的相机捕获的图像中识别的特征，并且识别由移动设备的相机捕获的至少一个图像中的第二组特征可以包括：使用根据移动设备的相机的固有参数和移动机器人的相机的固有参数而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，并且调用增强现实工具来基于至少一个修改的图像识别第二组特征。
相机的固有参数可以包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
在另一个一般方面，一种装置包括：存储处理器可执行指令的存储设备；以及通信耦合到存储设备的至少一个处理器。在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：考虑以下各项来组合从由第一相机捕获的环境的至少一个图像中导出的第一信息和从由第二相机捕获的环境的至少一个图像中导出的第二信息：(i)与第一信息相关联的第一坐标、(ii)与第二信息相关联的第二坐标、以及(iii)与第一相机相关联的第一坐标系和与第二相机相关联的第二坐标系之间的映射，其中第一坐标基于第一坐标系，并且第二坐标基于第二坐标系。
装置的实施方式可以包括一个或多个以下特征。在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：使第一相机捕获环境的第一组图像；基于第一组图像确定第一坐标系；使第二相机捕获环境的第二组图像；以及基于第二组图像确定第二坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与第一坐标系中的第一组坐标相关联；识别第二组图像中的至少一个图像中的第二组特征，其中第二组特征匹配或基本匹配第一组特征，并且第二组特征与第二坐标系中的第二组坐标相关联；以及基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的放置；以及显示覆盖有由移动机器人提供的至少一个特征的图像。
组合第一信息和第二信息可以包括生成包括从第一信息导出的第一图像元素和从第二信息导出的第二图像元素的图像，并且基于与第一信息相关联的坐标和与第二信息相关联的坐标而在图像中定位第一图像元素和第二图像元素。
在另一个一般方面，提供了一种用于操作移动清洁机器人或与移动清洁机器人交互的移动计算设备。该移动计算设备包括：相机；显示器；存储处理器可执行指令的存储设备；以及通信耦合到存储设备的至少一个处理器。在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：使用相机捕获环境的图像；从移动机器人接收关于环境中的对象或区块的信息；生成合成图像，其中从移动机器人接收的关于环境中的对象或区块的信息被覆盖到由相机捕获的环境的图像上；以及在显示器上显示合成图像。
移动计算设备的实施方式可以包括一个或多个以下特征。在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为确定基于由移动机器人使用的地图而建立的第一坐标系和基于由相机捕获的图像而建立的第二坐标系之间的映射。
确定第一坐标系和第二坐标系之间的映射可以包括：基于由相机捕获的环境的图像识别环境中的第一组特征；将第一组特征和与移动机器人使用的地图相关联的存储的特征进行比较；在存储的特征当中识别第二组特征，其中第二组特征匹配或近似匹配第一组特征；以及基于与第一组特征相关联的第一坐标和与第二组特征相关联的第二坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
识别匹配或近似匹配第一组特征的第二组特征可以包括识别第二组特征，其中第一组特征和第二组特征之间的相似性得分高于阈值。
可以基于从由相机捕获的图像中导出的特征建立第二坐标系。
在由至少一个处理器执行处理器可执行指令时，至少一个处理器可以被配置为：识别与移动机器人使用的地图相关联的特征；识别与特征相关联的第一组坐标，其中第一组坐标使用第一坐标系作为参考；基于第一坐标系和第二坐标系之间的映射将第一组坐标映射到第二组坐标，其中第二组坐标基于第二坐标系；基于第二组坐标将特征覆盖到环境的图像上以生成合成图像。
提供了一种用于操作移动清洁机器人或与移动清洁机器人交互的移动计算设备。该移动计算设备包括：相机；显示模块；存储处理器可执行指令的存储设备；以及通信耦合到存储设备的至少一个处理器。在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：使相机捕获环境的第一组图像；基于第一组图像确定与移动计算设备相关联的第一坐标系；使移动清洁机器人的相机捕获环境的第二组图像；基于第二组图像确定与移动清洁机器人相关联的第二坐标系；识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与基于第一坐标系的第一组坐标相关联；识别第二组图像中匹配或基本匹配第一组特征的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射；将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的位置；以及在显示模块上显示覆盖有由移动机器人提供的至少一个特征的图像。
移动计算设备的实施方式可以包括一个或多个以下特征。覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖信号强度图。
信号强度热图的覆盖可以包括在由移动设备的相机生成的图像上覆盖Wi-Fi信号强度图或移动电话信号强度图。
覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息。
覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息可以包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人进行过吸尘、拖地、清扫、擦洗或割草中的至少一个的一个或多个区块的信息。
覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖由移动机器人识别的障碍物的表示。
覆盖由移动机器人提供的至少一个特征可以包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息，其中所得到的图像示出了被障碍物部分遮挡的一个或多个区块。
在另一个一般方面，一种系统包括移动计算设备，该移动计算设备包括：至少一个相机，被配置为捕获环境的图像；存储设备，存储处理器可执行指令；以及至少一个处理器，其通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：从移动机器人接收包括环境中的多个特征的坐标的机器人地图数据；至少部分基于由至少一个相机提供的数据，识别环境中的第一组特征；识别被包括在机器人地图数据中的多个特征当中的第二组特征，其中第二组特征匹配或近似匹配第一组特征；并且基于由至少一个相机提供的数据和被包括在机器人地图信息中的数据生成要在显示模块上示出的图像。
上述方面可以被具体体现为系统、方法、存储在一个或多个计算机存储设备上的计算机程序、或者用于实施方法的部件，其中每个计算机存储设备被配置为执行方法的动作。一个或多个计算设备的系统可以被配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定的动作，这些软件、固件、硬件或它们的组合在操作时使得系统执行这些动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定的动作，该指令在被数据处理设备执行时使得该设备执行这些动作。
从以下描述和权利要求中，本说明书的其他特征和优点将变得显而易见。
除非另有定义，本文使用的技术和科学术语具有与本发明所属领域的普通技术人员通常理解的相同含义。
附图说明
图1A是通过移动机器人启用污点(spot)清洁的示例系统的框图。
图1B是示出识别污点的位置以用于清洁的示意图。
图2至图4是信息覆盖在图像上的环境的图像。
图5A、图5B、图6A和图6B是能够通过移动机器人启用污点清洁的示例系统的框图。
图7、图8A和图8B是其中可以使用用于启用污点清洁的系统的示例环境的示意视图。
图9是示例移动机器人的示意仰视图。
图10是安装在移动机器人上的传感器的示例的示意视图。
图11是示出与移动机器人共享坐标系的移动计算设备的示意图。
图12是示出房间中的示例虚拟路径的图。
图13是示出可以帮助移动机器人确定位置的标记的示例的示意图。
图14是示出房间中可以帮助移动机器人确定位置的对象的示例的示意图。
图15是覆盖在由移动机器人建立的地板地图上的示例Wi-Fi热图的示意图。
具体实施方式
在本文档中，我们描述了一种新颖的移动机器人清洁系统，用于使用户能够使用移动设备(诸如移动电话、平板电脑、智能手表或智能眼镜)方便地与移动清洁机器人进行交互。例如，用户可以将移动电话相机指向房间中的地板区块，并通过移动电话上的用户界面指示移动清洁机器人清洁房间中的指定地板区域。在一些实施方式中，移动电话执行增强现实工具以实施增强现实会话，其中用户使用由增强现实工具提供的用户界面与移动清洁机器人进行交互。该系统确定在增强现实会话中建立的坐标系和由移动清洁机器人使用的坐标系之间的映射。增强现实工具确定用户指定的地板区域的坐标，将坐标从增强现实会话坐标系转换到机器人地图坐标系，然后向移动清洁机器人发送坐标，使得机器人可以导航到指定的地板区域并执行清洁操作。
在一些实施方式中，移动清洁机器人可以向移动设备发送数据，使得有用信息可以覆盖在移动设备的显示模块上示出的图像或视频上。例如，显示模块可以示出环境的图像或视频(例如，房屋、建筑物、院子或其他场地)，并且关于哪些地板区域已经被移动清洁机器人清洁的信息可以覆盖在图像或视频上。在一些实施方式中，由移动清洁机器人识别的障碍物也可以覆盖在图像或视频上，其中已经被移动清洁机器人清洁的一些地板区域被障碍物遮挡。遮挡的使用为用户提供了视觉提示，使得图像或视频中的地板区域被感知为在地板层面上，而不是漂浮在地板层面之上。
例如，清洁系统建立坐标系，确定污点或区块在坐标系中的定位，并将关于污点或区块的位置的信息发送给移动清洁机器人。这使得移动清洁机器人能够导航到该污点或区块并执行清洁任务。
在一些实施方式中，清洁系统包括移动计算设备，该移动计算设备具有能够捕获移动计算设备周围环境的场景图像的一个或多个相机，以及能够感测移动计算设备的移动的一个或多个运动传感器。移动计算设备包括向用户提供增强现实体验的增强现实工具包。增强现实工具包可以生成虚拟空间，并使用视觉惯性里程计技术跟踪用户所居住的真实世界空间和具有视觉虚拟内容的虚拟空间之间的对应关系，其中来自运动传感器的信息与由一个或多个相机捕获的场景图像的计算机视觉分析相结合。当虚拟内容与实时相机图像一起显示时，用户体验到增强现实，具有虚拟内容是真实世界的一部分的错觉。
移动计算设备使用增强现实工具在虚拟空间中建立坐标系，并跟踪真实世界空间和虚拟空间之间的对应关系。移动计算设备使用增强现实工具来确定虚拟空间中需要清洁的污点或区块的坐标。由于虚拟空间与真实世界之间的对应关系，移动清洁机器人可以确定需要清洁的污点或区块的虚拟世界坐标。
在一些示例中，移动计算设备或计算机服务器(例如，云计算机服务器)确定虚拟空间坐标系和与移动清洁机器人使用的地图相关联的坐标系之间的映射。增强现实工具确定用户指定的地板区域的坐标，将坐标从虚拟空间坐标系转换到机器人地图坐标系，然后向移动清洁机器人发送坐标，使得机器人可以导航到指定的地板区域并执行清洁操作。
例如，移动计算设备使用增强现实工具来确定平行于地板表面并位于地板表面上的虚拟平面。虚拟平面对应于虚拟空间坐标系中的x-y平面。移动计算设备使用增强现实工具来确定需要清洁的污点在虚拟空间中的坐标(x1，y1，0)处，并将虚拟空间中的坐标(x1，y1，0)转换成机器人地图坐标系中的坐标(x2，y2，0)。移动计算设备向移动清洁机器人发送坐标(x2，y2，0)。移动清洁机器人计算从其当前的定位到坐标(x2，y2，0)的路线，并导航到该污点，同时避开沿途的障碍物。
在一些实施方式中，移动计算设备提供诸如触摸屏显示器的用户界面，以使用户能够容易地识别需要清洁的污点或区块并识别移动清洁机器人。例如，用户可以将移动计算设备的相机指向该污点或区块，并且包括该污点或区块的场景的图像被示出在触摸屏显示器上。用户通过触摸触摸屏显示器上的图像中的污点来提供触摸输入，以识别需要清洁的污点。增强现实工具执行图像分析以确定真实世界中对应于由用户识别的图像中的污点的第一点，以及确定第一点在虚拟空间坐标系中的坐标。用户可以通过将移动计算设备移动到这些污点附近并触摸触摸屏显示器上的图像中的这些污点以识别污点，来识别需要清洁的多个污点或表示需要清洁的区域的角落的多个污点。当用户移动移动计算设备时，增强现实系统继续分析由相机捕获的图像和由运动传感器提供的运动感测数据，并使用视觉惯性里程计技术来确定污点的位置。
在一些实施方式中，系统包括特征检测模块，该特征检测模块被配置为检测由移动清洁机器人的相机捕获的图像中的特征。例如，特征检测模块可以使用机器学习技术来检测特征。例如，特征检测模块可以检测在各种照明条件下可辨识的光照不变特征。
参考图1A，在一些实施方式中，移动机器人清洁系统100包括移动清洁机器人102和移动计算设备104。移动清洁机器人102包括，例如，一个或多个数据处理器106、一个或多个相机108以及一个或多个运动传感器110。移动清洁机器人102包括存储用于导航的地图114的存储设备112，以及可由一个或多个数据处理器106执行以使一个或多个数据处理器106执行各种分析和计算的程序指令或程序代码116。
移动计算设备104可以是，例如，移动电话、平板电脑或可穿戴计算设备，诸如智能手表、智能头盔、智能眼镜或智能护目镜。移动计算设备104包括一个或多个数据处理器118、一个或多个相机120、一个或多个运动传感器122和触摸屏显示器138。每个相机120包括对可见光和可选的红外光敏感的一个或多个图像传感器。移动计算设备104包括存储设备124，该存储设备124存储用于增强现实工具包126的程序指令、用于污点清洁程序132的程序指令以及用于机器人信息可视化程序134的程序指令。存储设备124可以存储特征检测或辨识模块136。
移动计算设备104和移动清洁机器人102中的每一个都具有无线通信模块，使得移动计算设备104能够与移动清洁机器人102通信。例如，移动计算设备104可以向移动清洁机器人102发送坐标信息和命令128。移动清洁机器人102可以向移动计算设备104发送数据130，包括例如，状态报告130、清洁状态图和/或统计图(例如，Wi-Fi信号强度图、移动电话信号强度图、步行交通图)。
污点清洁程序132管理污点清洁的操作，并且管理由各种输入设备和传感器提供的信息的处理，该信息诸如由相机120提供的图像、由运动传感器122提供的传感器数据、由触摸屏显示器138提供的触摸输入数据。污点清洁程序132调用增强现实工具包126和特征检测模块136来处理由各种输入设备和传感器提供的信息。
例如，当移动清洁机器人102用在家庭环境中时，一个或多个相机120可以捕获住宅中的场景图像。增强现实工具包126可以通过与住宅中的对象的实时相机图像一起显示虚拟内容来向用户提供增强现实体验。增强现实工具包126可以由移动机器人清洁系统100的开发者开发。在一些示例中，移动机器人清洁系统100的开发者可以利用由其他实体开发的复杂增强现实软件的功能。例如，增强现实工具包126可以由移动计算设备104的制造商开发。增强现实工具包126可以与移动计算设备104捆绑在一起，或者从工具包126的开发者的网站下载。
增强现实工具包126可以具有各种工具，诸如：
·用于使用移动计算设备的相机来跟踪设备的方位和位置并且检测真实世界平坦表面的工具。
·用于提供关于在世界跟踪增强现实会话中检测到的真实世界平坦表面的位置和方位的信息的工具。
·提供关于通过检查增强现实会话的设备相机视图中的点而发现的真实世界表面的信息的工具。
·提供可以用于在增强现实场景中放置对象的、关于真实世界位置和方位的信息的工具。
·提供作为增强现实会话的一部分而捕获的、关于视频图像的信息和位置跟踪信息的工具。
·在增强现实会话中针对捕获的视频帧提供关于相机位置和成像特性的信息的工具。
·在增强现实会话中提供与捕获的视频帧相关联的估计场景照明信息的工具。
增强现实工具包126可以具有各种应用编程接口(API)，其允许污点清洁程序132和机器人信息可视化程序134访问增强现实工具包126的工具和功能。增强现实工具包126的示例包括可从加利福尼亚州库比蒂诺的Apple Inc.得到的Apple ARToolKit或ARKit；可从加利福尼亚州洛杉矶的DAQRI得到的DAQRI ARToolKit；可从马萨诸塞州尼德罕的PTCInc.得到的Vuforia SDK；可从奥地利萨尔茨堡的Wikitude GmbH得到的Wikitude SDK；以及可从加利福尼亚州山景城的Google LLC得到的ARCore。
例如，可以提供第一API用于访问增强现实工具包126，以分析由相机120捕获的图像并识别住宅中的平坦表面。当用户将相机120指向住宅中的地板时，污点清洁程序132可以使用API来访问增强现实工具包126，以识别基本上位于地板表面上或与地板表面重合的平面，并使用识别的平面作为x-y平面来建立笛卡尔坐标系。也可以在x-y平面与地板表面不重合的虚拟空间中建立笛卡尔坐标系。
在本文档中，当平面被称为基本上位于地板表面上或与地板表面重合时，应当理解，该平面被确定为位于地板表面上或在误差的裕量(margin)内与地板表面重合。相机120可能具有有限的分辨率，相机120的镜头可能具有失真，运动传感器122可能具有在指定容限内的小误差，并且拍摄图像的环境的照明条件可能不理想，因此在确定与地板表面重合的虚拟空间中的平面的定位时可以存在一些误差。增强现实工具包126被配置为基于由相机120提供的图像和由运动传感器122提供的传感器数据来生成地板表面的定位的最佳估计，并建立与地板表面的估计定位一致的参考平面。
类似地，当虚拟空间中的第一点被说成与真实世界中的第二点基本重合时，可以理解，第一点被确定为在误差的裕量内与第二点重合。应当理解，要清洁的污点的坐标是估计值。估计值的误差的裕量可以取决于几个因素，诸如相机120的分辨率、相机光学系统的失真、运动传感器122的准确性以及其中由相机120捕获图像的环境的照明条件。
可以提供第二API用于访问增强现实工具包126，以确定虚拟空间中对应于图像中第二点的第一点。例如，参考图1B，用户212将移动计算设备104的相机120指向地板252上的定位P1处的一堆碎屑250，并在触摸屏显示器138上提供触摸输入以识别图像中示出碎屑250所在的点。污点清洁程序132调用增强现实工具包126以确定虚拟空间中对应于碎屑250的定位P1的点的坐标。用户可以识别需要清洁的多个污点。对于由用户识别的每个污点，污点清洁程序132确定虚拟空间中对应于需要清洁的污点的坐标。
接下来，清洁系统将点在虚拟空间坐标系中的坐标转换成在机器人地图坐标系中的坐标，并将点的坐标发送到移动清洁机器人102。用户提供指示用户希望开始污点清洁过程的输入命令。污点清洁程序132发送命令128，该命令128请求移动清洁机器人102去清洁需要清洁的污点。移动清洁机器人102在接收到命令128时，确定从其当前的定位到碎屑所在的定位的路径。移动清洁机器人102行进到碎屑的定位并清理碎屑。
在一些实施方式中，污点清洁程序132实施初始化过程，其中移动计算设备104的相机120捕获环境中的场景的图像，并且特征检测模块识别图像中的特征。在一些示例中，因为移动计算设备104的相机120和移动清洁机器人的相机108可以具有不同的特性，所以对由相机102捕获的图像执行图像变换过程，以生成从相机102的视点模拟由相机108捕获的图像的修改的图像。例如，与相机120的分辨率相比，相机108可以具有较低的分辨率。与相机120的镜头失真相比，相机108可以具有更多的镜头失真。因此，图像变换过程降低了图像分辨率，并且给相机120捕获的图像增加了镜头失真效果。关于相机108的特性的信息可以由移动清洁机器人102的操作系统或成像应用指定的第一组固有相机参数来表示。关于相机120的特性的信息可以由移动计算设备104的操作系统或成像应用指定的第二组固有相机参数来表示。图像变换过程考虑第一组固有相机参数和第二组固有相机参数。
图像变换过程还考虑了相机120和相机108的不同视点。例如，移动清洁机器人102可以具有低高度，以允许其在家具下面导航。相机108的位置在地板层面以上几英寸。另一方面，移动计算机设备104通常被用户握在离地板几英尺的地方。因此，图像变换过程变换由相机120捕获的图像，以模拟从地板层面以上几英寸处看到的图像。移动计算设备104然后从修改的图像中识别特征。
这些特征可以是，例如，光照不变特征。这些特征可以表示，例如，环境中对象的边或角。对象可以是，例如，具有指定特性(诸如特定形状)的信标。
清洁系统将由相机120捕获的图像中的特征与从由移动清洁机器人102的相机108先前捕获的图像中导出的存储的特征进行比较。清洁系统识别从由相机120捕获的图像中导出的特征和从相机108先前捕获的图像中导出的存储的特征当中的第二组特征之间的匹配或近似匹配。匹配过程可以由移动计算设备104实施，其中移动计算设备104从移动清洁机器人102或从计算机服务器获得存储的特征。匹配过程也可以由诸如云计算机服务器的计算机服务器实施。计算机服务器可以具有存储数据库的存储设备，该数据库包括从移动清洁机器人102先前捕获的图像中导出的存储的特征。移动计算设备104将从由相机120捕获的图像中导出的特征发送到计算机服务器，并且计算机服务器将由移动计算设备104识别的特征与存储的特征进行比较，以识别存储的特征当中的第二组特征，其中第二组特征匹配或近似匹配由移动计算设备104识别的特征。例如，当由移动计算设备104识别的特征和存储的特征之间的相似性得分高于预定阈值时，找到匹配。
例如，由移动计算设备104识别的特征x1可以对应于由相机120捕获的图像中的墙壁上的灯开关或灯开关的一部分。清洁系统在存储的特征y_i(i＝1…n)当中识别特征y1，其中特征y_1也对应于相同的灯开关或灯开关的相同部分。例如，由移动计算设备104识别的特征x_2可以对应于由相机120捕获的图像中的墙壁上的绘画或绘画的一部分。清洁系统在存储的特征y_i(i＝1…n)当中识别特征y_2，其中特征y_2也对应于相同绘画或绘画的相同部分。这样，对于从由相机120捕获的图像中导出的第一组特征x_1至x_p，清洁系统识别匹配或近似匹配特征x_1至x_p的第二组特征y_1至y_p。
第一组特征与第一坐标系(即，移动计算设备104使用的坐标系)中的第一组坐标相关联。第二组特征与第二坐标系(即，移动清洁机器人102使用的坐标系)中的第二组坐标相关联。因为第一组特征和第二组特征对应于相同或近似相同的物理对象，所以第一坐标系中的第一组坐标和第二坐标系中的第二组坐标可以用于基于第一组坐标和第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
在建立第一坐标系和第二坐标系之间的映射之后，清洁系统可以允许用户使用移动计算设备104方便地与移动清洁机器人102交互。例如，如果用户希望移动清洁机器人102移动到指定定位，则用户可以使用移动计算设备104来确定指定的定位在移动计算设备坐标系中的坐标，将坐标转换成移动清洁机器人坐标系，以及将坐标发送给移动清洁机器人。
类似地，移动清洁机器人102可以具有包括与机器人坐标系中的坐标相关联的信息的数据。清洁系统可以接收数据，将机器人坐标系中的坐标转换成移动计算设备坐标系中的坐标，并基于转换的坐标来处理信息。例如，地板表面可以被划分成单元，并且移动清洁机器人102具有关于哪些单元已经被清洁的信息。移动清洁机器人102可以向移动计算设备104发送关于哪些单元已经被清洁的数据，其中该数据包括单元的坐标。当从移动清洁机器人102接收到数据时，移动计算设备104将坐标从移动清洁机器人坐标系转换到移动计算设备坐标系。移动计算设备104然后将已经被清洁的单元的表示覆盖在由相机120捕获的环境的图像或视频上。
例如，图2示出了房间的一部分的图像600。覆盖在图像600上的是表示已经被移动清洁机器人102清洁的单元的半透明方块(tile)602。没有覆盖半透明方块的区块604表示没有被移动清洁机器人102清洁的区域。图像600使用户能够容易地识别哪些区域已经被机器人102清洁以及哪些区域没有被机器人102清洁。对于没有被机器人102清洁的区域，用户可以确定这些区域是否应该被清洁、是否存在阻碍机器人102执行清洁操作的障碍物、以及是否需要移除障碍物以改善未来的清洁操作。半透明方块表示已经被清洁的地板区域，因此方块被放置在图像600中的地板层面。
例如，图3示出了房间的一部分的图像610。覆盖在图像610上的是表示已经被移动清洁机器人102清洁的单元的半透明方块612。在图像610中，一些半透明方块612覆盖在诸如椅子、灯和桌子的对象的部分之上。半透明方块612表示已经被清洁的地板区域，但是一些方块612看起来漂浮在对象(例如，椅子、灯和桌子)的部分之上。
移动清洁机器人102可以向移动计算设备104发送关于哪些单元具有障碍物的数据，其中该数据包括单元的坐标。当从机器人102接收到数据时，移动计算设备104将坐标从移动清洁机器人坐标系转换到移动计算设备坐标系。移动计算设备104然后将障碍物的表示覆盖在由相机120捕获的环境的图像或视频上。
例如，图4示出了房间的一部分的图像620。覆盖在图像620上的是表示已经被移动清洁机器人102清洁的单元的半透明方块622。覆盖在图像620上的还有表示机器人102遇到障碍物的单元的列624。在该示例中，机器人102具有二维地图，该二维地图包括关于2D地图上障碍物的定位的信息，但是不具有关于障碍物的高度或3D形状的信息。因此，障碍物由具有预定高度(例如，1米)的列624表示。
基于障碍物的坐标和已经被清洁的单元的坐标，清洁系统确定哪些单元被障碍物遮挡(由列624表示)，并且不在图像620中示出对应的半透明方块622。通过不示出对应于被障碍物遮挡的单元的方块622，在图像620中示出的半透明方块622看起来被适当地定位在地板层面。
类似的技术可以用于在环境的图像或视频上示出哪些区域在指定的时间段内已经被机器人102清洁、哪些区域在指定的时间段内没有被机器人102清洁、或者哪些区域已经预定要被清洁并且还没有被移动机器人102清洁。类似地，禁区、移动机器人可穿过的区域、移动机器人不可穿过的区域、信号强度图或步行交通统计图也可以覆盖在环境的图像或视频上。在上面的示例中，一些区域被障碍物遮挡的视觉效果可以适当地呈现在由相机120捕获的环境的图像或视频中。
在移动清洁机器人102完成清洁任务之后，移动清洁机器人102向移动计算设备104发送状态报告，以指示清洁任务已经完成。与状态报告一起，移动清洁机器人102可以向移动计算设备104发送指示哪些区域已经被清洁的数据。
在上面的示例中，增强现实工具包126确定笛卡尔坐标系，使得x-y平面位于地板表面上。在该示例中，移动清洁机器人102被配置为清洁地板区域，因此使x-y平面与地板表面重合是方便的。然而，坐标系可以任意确定，虚拟空间中的x-y平面不一定要位于地板表面上。移动清洁机器人102被配置为能够基于由移动计算设备104提供的位置数据从其当前的定位导航到需要污点清洁的定位。
参考图5A，在一些实施方式中，移动机器人清洁系统150包括远程计算系统152，该远程计算系统152实施增强现实功能，使得用户可以使用不具有增强现实能力的简单移动计算设备165，并且仍然能够指示移动清洁机器人102在指定定位处执行污点清洁。在该示例中，移动计算设备165通过通信链路176与远程计算系统152通信，并且远程计算系统152通过通信链路178与移动清洁机器人102通信。通信链路176具有足够的带宽来支持从移动计算设备165到远程计算系统152的视频或图像序列的流式传输。
例如，移动计算设备165包括一个或多个数据处理器118、一个或多个相机120、一个或多个运动传感器122以及存储污点清洁程序132的存储设备124。远程计算系统152可以是例如，位于用户的住宅中的计算设备、或者通过诸如互联网的网络访问的一个或多个云服务器计算机。远程计算系统152包括一个或多个数据处理器154和存储增强现实处理模块158的存储设备156、以及被配置为辨识由移动计算设备165的相机120捕获的图像中的特征的特征检测模块162。
在开始污点清洁程序132之后，用户指示污点清洁程序132初始化污点清洁系统。用户将相机120指向地板，并且移动计算设备165将由相机120捕获的地板的图像166发送到远程计算系统152。增强现实处理模块158处理图像166、识别地板表面、确定虚拟空间中的平面，使得该平面位于地板表面上或与地板表面重合，并确定虚拟空间的笛卡尔坐标系，其中x-y平面位于地板表面上或与地板表面重合。
用户将相机120指向需要清洁的污点并提供触摸输入，该触摸输入识别图像上对应于污点的点。移动计算设备165向远程计算系统152发送包括该污点的图像。增强现实处理模块158确定第一点在虚拟空间中的坐标，其中该第一点对应于污点的定位。用户可以识别需要清洁的多个污点。对于由用户识别的每个污点，增强现实处理模块158确定对应于需要清洁的污点的点在虚拟空间中的坐标。
用户提供指示用户希望开始污点清洁过程的输入命令。移动计算设备165向远程计算系统152发送命令168。远程计算系统152将需要清洁的污点的坐标从虚拟空间坐标系转换到机器人坐标系。远程计算系统152向移动清洁机器人102发送需要清洁的污点的坐标170、以及请求移动清洁机器人102去清洁污点的命令168。
移动清洁机器人102在从远程计算设备152接收到命令168时，确定从其当前的定位到需要清洁的定位的路径。移动清洁机器人102然后行进到需要清洁的定位并移除碎屑。在移动清洁机器人102完成清洁任务之后，移动清洁机器人102向远程计算系统152发送状态报告130，该状态报告130指示清洁任务已经完成。可替代地，移动清洁机器人102可以发送状态报告130，该状态报告130指示阻止移动清洁机器人102完成清洁任务的状况，并请求用户的帮助。远程计算系统152将状态报告130转发给移动计算设备165。
参考图5B，在一些实施方式中，移动机器人清洁系统180包括远程计算系统152，该远程计算系统152实施类似于图5A所示的示例的增强现实功能。在图5B的示例中，移动计算设备165直接与移动清洁机器人102通信。移动计算设备165向远程计算设备152发送图像166，并且远程计算设备152向移动计算设备165返回需要清洁的污点的坐标170(其中坐标已经被转换为机器人坐标系)。移动计算设备165向移动清洁机器人102发送坐标170和请求移动清洁机器人102去清洁需要清洁的污点的命令168。移动清洁机器人102向移动计算设备165发送状态报告130。
参考图6A，在一些实施方式中，移动机器人清洁系统190包括多个移动清洁机器人，例如192a、192b和192c，它们统称为192。移动计算设备104与移动清洁机器人192协调以在多个定位处执行污点清洁。例如，移动计算设备104捕获需要清洁的多个污点的图像，并确定那些污点在虚拟空间中的坐标，这些坐标随后被转换成机器人坐标系中的坐标。
污点清洁程序132确定使用哪个或哪些移动清洁机器人192来执行污点清洁任务。例如，污点清洁程序132可以请求第一移动清洁机器人192a去清洁污点。第一移动清洁机器人192a在清洁第一污点之后，可以报告其碎屑仓(debris bin)已满。污点清洁程序132可以请求第二移动清洁机器人192b去清洁剩余的污点。
例如，移动清洁机器人192可以在住宅中的不同定位中，并且污点清洁程序132可以识别最靠近污点的移动清洁机器人192，并请求该移动清洁机器人去清洁污点。污点清洁程序132可以确定第一移动清洁机器人192a最靠近第一污点，并且第二移动清洁机器人192b最靠近第二污点。在该示例中，污点清洁程序132请求第一移动清洁机器人192a去清洁第一污点，并请求第二移动清洁机器人192b去清洁第二污点。
参考图6B，在一些实施方式中，移动机器人清洁系统200可以包括多个移动清洁机器人，例如192a、192b和192c，它们统称为192。系统200包括移动计算设备165，该移动计算设备165捕获污垢点和移动清洁机器人192的图像，并将图像发送到远程计算系统152，该远程计算系统152实施类似于图5A中的示例的增强现实功能。在图6B的示例中，远程计算系统152以类似于图6A的移动计算设备104与移动清洁机器人192协调的方式来与移动清洁机器人192协调，以在多个定位处执行污点清洁。
图7示出了其中可以使用系统100(图1)和190(图6A)的环境的示例的示意视图。移动清洁机器人102可以在一个或多个封闭空间内或者在包括一个或多个封闭空间的环境内操作。环境包括例如家庭环境、生活空间、工作环境或其他环境。例如，封闭空间对应于环境内的房间。在图7所示的示例性环境中，该环境包括用户212和移动清洁机器人102所在的住宅210。用户212操作移动计算设备104，其可以是例如，移动电话或平板电脑。住宅210包括房间214A、214B、214C和214D。在图4所示的示例中，移动清洁机器人102位于房间214A内，并且用户212位于房间214B内。房间214A与房间214B相邻并通过门口216A与房间214B相连，房间214B与房间214C相邻并通过门口216B与房间214C相连，房间214B与房间214D相邻并通过门口216C与房间214D相连。
在该示例中，房间214A是包括床218和床头柜220a、220b的卧室。房间214B是包括餐桌222和餐椅224的餐厅。房间214C是包括浴缸226、水槽228和马桶230的浴室。房间214D是包括桌子232和椅子234的家庭办公室。
在图7所示的示例中，移动清洁机器人102自主地在房间214A中导航以执行清洁任务，诸如清洁房间214A的地板表面。移动清洁机器人102在位于房间214A中的障碍物(例如，床218和床头柜220a、220b)周围导航，同时完成其任务。当移动清洁机器人102在任务期间在住宅210里移动时，移动清洁机器人102使用其传感器来生成住宅210的地图，并在地图内定位移动清洁机器人102。移动清洁机器人102包括传感器，该传感器生成指示移动清洁机器人102的状态的信号，诸如移动清洁机器人102的组件的状态或移动清洁机器人102正在执行的任务或操作的状态。移动清洁机器人102识别住宅210中的障碍物，并将障碍物的坐标存储在与地图相关联的数据库中。
在一些实施方式中，移动计算设备104使用户212能够在移动计算设备104上提供输入。移动计算设备104可以包括用户输入元件，诸如触摸屏显示器、按钮、麦克风、鼠标垫、轨迹球、键盘或响应于由用户212提供的输入的其他设备中的一个或多个。替代地或附加地，移动计算设备104包括用户212与之交互以提供用户输入的沉浸式媒体(例如，虚拟现实)。这些示例中的移动计算设备104可以是例如虚拟现实耳机或头戴式显示器。用户可以提供对应于移动清洁机器人102的命令的输入。在一些实施方式中，在移动计算设备104和移动清洁机器人102之间建立无线链路236，以使移动计算设备104能够向移动清洁机器人102发送无线命令信号。用户212向移动计算设备104提供指示命令信号的用户输入，并且移动计算设备104发送对应于用户输入的命令信号。各种类型的无线网络(例如，蓝牙、射频、基于光的等)和网络架构(例如，网状网络)可以用来建立通信链路236。
其他设备也可以无线链接到移动清洁机器人102。在图7的示例中，住宅210包括链接设备292A和292B。在一些实施方式中，链接设备292A和292B中的每一个包括，例如，适合于执行监控住宅210、监控住宅210的居住者以及监控移动清洁机器人102的操作中的一个或多个的传感器。这些传感器可以包括例如成像传感器、占用传感器和环境传感器中的一个或多个。
用于链接设备292A、292B的成像传感器可以包括可见光相机、红外相机和采用电磁光谱的其他部分的传感器中的一个或多个。用于链接设备292A、292B的占用传感器包括以下中的一个或多个：例如，被动或主动的透射或反射红外传感器，使用光、声纳或射频的飞行时间或三角测距传感器，辨识占用的声音或声压特性的麦克风，气流传感器，相机，监控频率和/或Wi-Fi频率以获得足够强的接收信号强度的无线电接收器或收发器，能够检测包括自然照明、人工照明和从移动计算设备(例如，移动计算设备104)发射的光的环境光的光传感器，和/或检测住宅210内的用户212或其他居住者的存在的其他适当的传感器。可替代地或附加地，占用传感器检测用户212的运动或自主移动清洁机器人102的运动。如果占用传感器对自主移动清洁机器人102的运动足够敏感，则链接设备292A、292B的占用传感器生成指示移动清洁机器人102的运动的信号。链接设备292A、292B的环境传感器可以包括，例如，电子温度计、气压计、湿度或湿度传感器283、气体检测器或空中悬浮颗粒计数器。
在图7所示的示例中，第二移动清洁机器人238位于房间214C中。类似于移动清洁机器人102，第二移动清洁机器人238在房间214C内执行任务，例如，清洁任务。在一些示例中，移动计算设备104无线连接到多个机器人设备，包括移动清洁机器人102和第二移动清洁机器人238，因此使用户212能够与移动计算设备104交互以控制和监控多个机器人设备102、238。在一些示例中，用于移动清洁机器人102、链接设备292A、链接设备292B、第二移动清洁机器人238和其他设备中的每一个的控制器可以彼此直接发起和维护无线链路，例如，发起和维护移动清洁机器人102和链接设备292A、292B之一之间的无线链路。无线链路也可以与其他远程电子设备一起形成，诸如移动电话、平板电脑、膝上型电脑、另一移动计算设备、一个或多个环境控制设备或其他类型的电子设备。在某些实施方式中，无线链路允许与一个或多个设备通信，包括但不限于智能灯泡、恒温器、车库门开启器、门锁、遥控器、电视、安全系统、安全相机、烟雾检测器、视频游戏控制台、其他机器人系统或其他启用通信的感测和/或致动设备或器具。
无线链路可以利用各种通信方案和协议，例如经典蓝牙、Wi-Fi、蓝牙低能量(也称为BLE)、802.15.4、微波接入全球互通(WiMAX)、红外信道或卫星频带。在一些示例中，无线链路包括用于在移动计算设备之间通信的任何蜂窝网络标准，包括但不限于符合1G、2G、3G或4G的标准。如果使用网络标准，则通过满足规范或标准(诸如由国际电信联盟维护的规范)，该网络标准可以符合例如一代或多代的移动电信标准。3G标准(如果使用的话)对应于例如国际移动电信-2000(IMT-2000)规范，并且4G标准可以对应于国际移动电信高级(IMT-Advanced)规范。蜂窝网络标准的示例包括AMPS、GSM、GPRS、UMTS、LTE、LTE高级、移动WiMAX和WiMAX高级。蜂窝网络标准可以使用各种信道接入方法，例如FDMA、TDMA、CDMA或SDMA。
以下描述了其中用户212指示移动清洁机器人102清洁位于三个不同房间的污点的示例。例如，用户212在住宅210周围行走并识别需要清洁的三个污点或区块，包括房间214B中的污点P1、房间214C中的污点P2和房间214D中的污点P3。用户212操作移动计算设备104来拍摄污点P1、P2和P3的照片，确定污点P1至P3在移动计算设备坐标系中的坐标，并将坐标转换成移动清洁机器人坐标系。用户212通过通信链路236指示移动清洁机器人102清洁污点P1、P2和P3。
污点清洁程序132确定第二移动清洁机器人238更靠近污点P2，并通过通信链路240向第二移动清洁机器人238发送指令以请求第二移动清洁机器人238清洁污点P2。在该示例中，因为在住宅210中有两个移动清洁机器人102和238，所以污点清洁程序132使用多个标准(诸如移动清洁机器人的可用性、移动清洁机器人的电池状况、移动清洁机器人和要清洁的污点之间的距离、以及移动清洁机器人的碎屑仓的剩余容量)来确定使用哪个移动清洁机器人去清洁污点P3。
例如，移动清洁机器人102可以报告它已经完成清洁污点P1，同时移动清洁机器人238仍在清洁污点P2。污点清洁程序132可以请求移动清洁机器人102清洁污点P3。例如，机器人102可以较早地完成对污点P1的清洁，但是报告它具有低电量。污点清洁程序132可以决定等待，直到移动清洁机器人238完成对污点P2的清洁，并请求移动清洁机器人238去清洁污点P3。
例如，当移动清洁机器人102被召唤来清洁污点P1时，它可能正在房间214A中执行清洁任务。污点清洁程序132可以确定，在移动清洁机器人102完成对污点P1的清洁之后，让移动清洁机器人102返回到房间214A以完成先前的清洁任务会更好，而不是去房间214D清洁污点P3并且然后返回到房间214A完成剩余的清洁任务。在该示例中，污点清洁程序132发送命令以请求移动清洁机器人238在完成清洁污点P2之后去清洁污点P3。
图8A示出了其中可以使用系统180(图5B)的环境的示例的示意视图。在该示例中，环境包括类似于图7所示示例的住宅的住宅210。移动计算设备165通过通信链路242与远程计算系统152通信，其中远程计算系统152具有增强现实处理模块(例如，158)和特征检测模块(例如，161)。远程计算系统152可以是，例如，通过互联网访问的云计算系统。移动计算设备165向远程计算系统152发送要清洁的污点P1、P2、P3的图像。远程计算系统152的特征检测模块和增强现实处理模块确定移动计算设备坐标系中需要清洁的污点P1、P2、P3的坐标，并将坐标转换成机器人坐标系。通信链路242具有足够的带宽来支持从移动计算设备165到远程计算系统152的视频或图像序列的流式传输。远程计算系统152向移动计算设备165发送需要清洁的污点P1、P2、P3的坐标。移动计算设备165向移动清洁机器人102、238发送关于坐标的信息，并向移动清洁机器人102、238发送命令以请求移动清洁机器人102、238去清洁污点P1、P2、P3。
在一些实施方式中，可以在用户的住宅内部提供家庭服务器计算机153，其中家庭服务器计算机153具有特征检测模块(例如，161)和增强现实处理模块(例如，158)。在该示例中，移动计算设备165通过通信链路243与家庭服务器计算机153通信。移动计算设备165将要清洁的污点P1、P2、P3的图像发送到家庭服务器计算机153，并且家庭服务器计算机153的特征检测模块和增强现实处理模块确定需要清洁的污点P1、P2、P3的坐标。
家庭服务器计算机153向移动计算设备165发送需要清洁的污点P1、P2、P3的坐标。移动计算设备165向移动清洁机器人102、238发送关于坐标的信息，并向移动清洁机器人102、238发送命令以请求移动清洁机器人102、238去清洁污点P1、P2、P3。
图8B示出了其中可以使用系统150(图5A)和200(图6B)的环境的示例的示意视图。在该示例中，环境包括类似于图7所示示例的住宅的住宅210。移动计算设备165将要清洁的污点P1、P2、P3的图像发送到远程计算系统152，该远程计算系统152具有特征检测模块(例如，161)和增强现实处理模块(例如，158)，并可以确定需要清洁的污点P1、P2、P3的坐标。移动计算设备165向远程计算系统152发送命令，以请求移动清洁机器人102、238去清洁污点P1、P2、P3。远程计算系统152向移动清洁机器人102、238发送关于坐标的信息，并向移动清洁机器人102、238发送命令以请求移动清洁机器人102、238去清洁污点P1、P2、P3。在图8B的示例中，远程计算系统152是云服务器计算机。
在一些示例中，可以在用户的住宅内部提供家庭服务器计算机153，其中家庭服务器计算机153具有特征检测模块(例如，161)和增强现实处理模块(例如，158)。在该示例中，移动计算设备165将要清洁的污点P1、P2、P3的图像发送到家庭服务器计算机153，并且家庭服务器计算机153的特征检测模块和增强现实处理模块确定需要清洁的污点P1、P2、P3的坐标。移动计算设备165向家庭服务器计算机153发送命令，以请求移动清洁机器人102、238去清洁污点P1、P2、P3。家庭服务器计算机153向移动清洁机器人102、238发送关于坐标的信息，并且向移动清洁机器人102、238发送命令以请求移动清洁机器人102、238去清洁污点P1、P2、P3。
其他设备也可以无线链接到远程计算系统152。例如，链接设备292A、292B将由成像传感器生成的图像传输到远程计算系统152。链接设备292A、292B将来自成像传感器、占用传感器、环境传感器以及链接设备292A、292B中存在的其他传感器的组合的传感器信号传输到远程计算系统152。这些信号用作远程计算系统152的输入数据以控制或监控移动清洁机器人102的操作。
在一些示例中，远程计算系统152连接到多个机器人设备，包括移动清洁机器人102和第二移动清洁机器人238，从而使用户212能够与移动计算设备104交互，以通过远程计算系统152控制和监控多个机器人清洁设备102、238。移动清洁机器人102、链接设备292A、链接设备292B、第二移动清洁机器人238和其他设备中的每一个的控制器可以发起和保持与远程计算系统152通信的无线链路。
下面描述移动清洁机器人的示例。移动清洁机器人102、238使用驱动系统和一套传感器在例如住宅210的环境中自主导航。图9示出了图1的移动清洁机器人102的示例的示意性仰视图。虽然图9是相对于移动清洁机器人102描述的，但是图9的移动清洁机器人附加地或替代地对应于第二移动清洁机器人238。移动清洁机器人102包括驱动系统，该驱动系统包括驱动轮260。在一些示例中，脚轮262将移动清洁机器人102支撑在地板表面上方。移动清洁机器人102还包括控制器264，该控制器264可与连接到驱动轮260的一个或多个马达一起操作。移动清洁机器人102的控制器264选择性地激活马达来驱动驱动轮260，并跨地板表面来导航移动清洁机器人102。
控制器264也可与感测系统266一起操作。感测系统266包括可由控制器264用来在住宅210中导航的传感器。例如，感测系统266具有传感器，以生成用于检测住宅210内的障碍物和用于生成住宅210的地图的信号。感测系统266可以包括障碍物检测传感器，诸如检测离障碍物的距离的飞行时间传感器、检测跌落(例如，楼梯)的悬崖检测传感器、与安装在移动清洁机器人102上的保险杠相关联的碰撞传感器以及接触传感器。当障碍物检测传感器检测到障碍物时，控制器264操作驱动系统，以用于移动清洁机器人102在障碍物周围移动。
控制器264使用来自其传感器系统的信号，以通过随时间跟踪和更新移动清洁机器人102的位置和方位来生成住宅210的地图。这些绘制(mapping)传感器包括，例如，同时定位和绘制(SLAM)传感器、航位推算传感器以及障碍物检测和回避(ODOA)传感器。控制器264构建住宅210的地板表面的二维地图，确定地图上的机器人姿态，以及确定移动清洁机器人102可以穿过的住宅210的部分的位置(例如，没有被占用的、可穿过的地板)。使用来自航位推算传感器、接触传感器和非接触障碍物检测传感器的信号，控制器264指示移动清洁机器人102由于地板表面上或地板表面上方的障碍物而不能穿过的地板区域。在一个示例中，控制器264在其经过时构建墙壁和障碍物的地图，生成可穿过的和已占用空间的占用网格。在一些实施方式中，地图使用笛卡尔坐标系或极坐标系。在一些示例中，地图是拓扑地图、表示性地图或概率地图。
在一些示例中，使用同时定位和绘制(SLAM)技术，控制器264确定移动清洁机器人102在住宅210的二维地图内的姿态。SLAM传感器包括例如一个或多个相机，以用于视觉识别在地图上计算机器人的姿态时使用的特征和地标。移动清洁机器人102包括附加的传感器，这些传感器生成信号以使控制器264能够在移动清洁机器人102在住宅210里移动时估计移动清洁机器人102的位置和/或方位。这些传感器单独或与SLAM传感器结合来确定移动清洁机器人102在由经过的移动清洁机器人102建构的机器人地图上的姿态。在一些实施方式中，控制器264使用来自附加传感器的信号来验证或调整由SLAM传感器确定的姿态。在一些实施方式中，附加传感器包括里程计，加速度计，陀螺仪，惯性测量单元，和/或生成指示移动清洁机器人102的行进距离、旋转量、速度或加速度的信号的其他传感器。例如，移动清洁机器人102包括诸如陀螺仪的方向传感器，其生成指示移动清洁机器人102从航向旋转的量的信号。在一些实施方式中，感测系统266包括诸如IR轮编码器的航位推算传感器，以生成指示驱动轮260的旋转的信号，并且控制器264使用检测到的旋转来估计移动清洁机器人102行进的距离。在一些实施方式中，感测系统266包括例如激光扫描仪或飞行时间传感器，它们生成用于确定离环境内观察到的障碍物和对象的距离的传感器读数。替代地或附加地，感测系统266包括面向地板表面的光学鼠标传感器，以确定移动清洁机器人102相对于航向已经跨地板表面横向漂移的距离。
在一些实施方式中，移动清洁机器人102采用视觉同时定位和绘制(visualsimultaneous localization and mapping，vSLAM)来建构其地图并确定在地图上的当前姿态。感测系统266包括一个或多个定位传感器，例如，相机268(图像捕获系统)，该一个或多个定位传感器为控制器264生成信号，以确定移动清洁机器人相对于在环境中检测到的特征的定位和方位。在一些实施方式中，移动清洁机器人102包括在机器人本体的顶表面下方并向上倾斜的可见光相机268，例如，与移动清洁机器人102所导航的地板表面呈30度至80度范围内的角度。相机268瞄准墙壁和天花板上具有高浓度(concentration)的静态元素的定位，诸如窗框、相框、门框，以及具有可见的、可检测的特征(诸如线、角和边)的其他对象。例如，当相机268向上倾斜时，相机268的视锥的中心向上倾斜，使得视锥的中心瞄准墙壁和天花板上的定位。使用由相机268捕获的图像，控制器264确定在移动清洁机器人102在房间或封闭空间(例如，一系列相邻的房间214A、214B、214C、214D(统称为封闭空间或房间214))中导航时建构的地图上的机器人姿态。
在一些示例中，定位传感器包括移动清洁机器人102上的传感器，该传感器能够响应于检测到环境中占据不可穿过的地板空间的墙壁和对象而生成信号。除了vSLAM相机之外，这些定位传感器包括，例如，接触传感器(诸如碰撞传感器)和非接触飞行时间传感器(诸如激光、体积点云传感器、点线传感器(例如，飞行时间线传感器，诸如由PIXART制造的那些传感器)、IR接近度传感器、光检测和测距(LIDAR)传感器以及声学传感器)。定位传感器生成信号，从中提取唯一签名、图案或特征(特别地，以区分不可穿过的地板和可穿过的地板、或者在移动清洁机器人102经过时添加到扩展机器人地图的可穿过的地板空间)。当控制器264确定已经检测到这些特征时，控制器264使用移动清洁机器人102相对于这些检测到的特征的定位和方位来确定移动清洁机器人102在住宅210的地图上的姿态。控制器264(具体地，通过参考与住宅210内的对象相对应的特征而确定移动清洁机器人102的当前姿态)定位住宅210内的移动清洁机器人102。提取的特征指示移动清洁机器人102所在的房间。
回头参考图7，提取的特征形成房间214A、214B、214C和214D中的每一个的唯一标识符。在一些实施方式中，响应于检测到与房间标识符相关联的一个或多个特定特性，移动清洁机器人102使用提取的特征来确定其当前位于房间214A、214B、214C和214D中的哪一个房间。在一些实施方式中，移动清洁机器人102通过对象辨识来辨识预先识别的房间。例如，移动清洁机器人102使用其相机268来捕获与每个房间214相关联的对象(例如，炉子、洗碗机或冰箱)的图像。用户212将与那些可辨识的对象相关联的特定的房间标识符(例如，厨房)传达到移动清洁机器人102。在清洁任务期间，当移动清洁机器人102辨识这些对象中的一个或多个时，它通过引起听觉警报的发射(例如，通过请求移动计算设备104产生听觉警报)、或者引起视觉警报的发射(例如，通过在移动计算设备104上显示指示相关联的存储的房间标识符的文本通知)来向用户传达其定位。
在一些实施方式中，地图是持久的并且被存储在远程计算系统152或家庭服务器计算机153中，以供一个或多个移动清洁机器人102、238访问。在每个随后的运行或清洁会话中，移动清洁机器人102根据住宅210内的变化状况(诸如移动的家具)来更新持久地图。持久地图随着时间的推移而积累关于环境的信息。在一些示例中，移动清洁机器人102通过标准协议发现住宅210中连接的设备，并在地图上定位它们。这包括住宅210中连接的灯和扬声器、通风口、门窗传感器以及其他连接的设备的位置。移动清洁机器人102在住宅210中四处走动，并使用射频(RF)签名、视觉辨识、接收信号强度和其他方法来辨识住宅210中连接的设备，并自动将它们放置在住宅210的机器人地图上。例如，移动清洁机器人102探索住宅210，并辨识客厅的墙壁上的恒温器、厨房中连接的SAMSUNGTM冰箱、以及起居室和卧室中的PhilipsTM HUE BLOOM灯。移动清洁机器人102将所辨识的连接的设备放在地图上，并使用户212能够利用连接的设备的空间知识。
感测系统266生成指示移动清洁机器人102的操作的信号。在一些示例中，感测系统266包括与驱动系统集成的失速传感器单元，该失速传感器单元生成指示移动清洁机器人102的失速状况的信号，在该失速状况中，移动清洁机器人102不能在住宅210内沿着地板表面移动。失速传感器单元生成信号以指示传送到驱动系统的马达的电流变化。电流变化可以指示移动清洁机器人102的停滞状况，在该停滞状况中，移动清洁机器人102基本上不能从其当前姿态移动。失速传感器单元可替换地或附加地包括光学传感器，该光学传感器生成指示当动力被传送到驱动轮260的马达时车轮(例如，脚轮262或驱动轮260之一)是否正在移动。在一些示例中，失速传感器单元是鼠标传感器，以用于通过比较连续图像的变化来跟踪和检测运动或运动缺失。在一些实施方式中，移动清洁机器人102依靠加速度计来生成指示移动清洁机器人102的加速度的信号。控制器264在检测到轮子没有移动时，确定移动清洁机器人102处于失速状况。
在一些实施方式中，移动清洁机器人102包括其他传感器，如图10的示意图所示。在一些示例中，感测系统266包括麦克风272，该麦克风272从移动清洁机器人102的环境接收听觉信号。在一些示例中，感测系统266包括环境传感器，诸如温度传感器280，环境光传感器282，空气湿度传感器284，气体成分、空气质量传感器286或感测环境的其他特性的传感器。感测系统266还包括指示移动清洁机器人102或移动清洁机器人102的组件的状况的状况传感器。这些传感器包括，例如，用于检测移动清洁机器人102的电源上的电荷量或充电容量的电池充电状态传感器，用于检测组件的适用性或组件的剩余寿命量的组件寿命传感器(诸如车轮踏面传感器)。
移动清洁机器人102还包括音频发射系统270，该音频发射系统270允许移动清洁机器人102发射听觉信号。控制器264引起听觉信号的发射，例如，以通知用户212移动清洁机器人102的状态，例如，移动清洁机器人102的组件的状态、移动清洁机器人102的操作的状态或由移动清洁机器人102执行的任务的状态。
如图5A、图5B、图6B、图8A和图8B所示，移动清洁机器人102还包括允许移动清洁机器人102与远程计算系统152通信的无线通信系统274。使用无线通信系统274，控制器264向远程计算系统152传输数据。在一些示例中，数据包括由感测系统266的传感器生成的信号。在包括图像捕获系统268的移动清洁机器人102的一些实施方式中，捕获的图像可以被直接传输到远程计算系统152。在一些示例中，移动清洁机器人102收集信息并构建住宅210的地图，并且控制器264将该地图传输到远程计算系统152。如果控制器264包括状况传感器，则控制器264还将指示移动清洁机器人102的状况的信息传输到远程计算系统152。
如参考图7、图8A和图8B所述，在移动清洁机器人102在住宅210里导航期间，该移动清洁机器人102在住宅210内执行操作并完成任务。执行的操作取决于移动清洁机器人102的类型。除了描绘可存在于用于本文所述实施方式的多种类型的移动清洁机器人中的基本组件之外，图9描绘了专用于真空清洁机器人的组件，该真空清洁机器人对应于可受益于本文所述过程的多种类型的移动机器人之一。其他移动机器人可以包括地板清洗机器人、家庭监控机器人、机器人割草机、拖地机器人、陪伴机器人或扫地机器人。这些机器人都可以从本文档描述的过程和系统中受益。
在一些示例中，移动清洁机器人102是真空清洁机器人，该真空清洁机器人包括用于吸收(ingest)地板表面上的碎屑的清洁系统。清洁系统包括例如可旋转的滚筒或刷子278，其将碎屑从地板表面搅动到安装在移动清洁机器人102上的碎屑仓(未示出)中。清洁系统包括鼓风机，该鼓风机在激活时将空气、并由此将地板表面上的碎屑移向碎屑仓。当移动清洁机器人102在清洁任务期间在它的环境中导航时，移动清洁机器人102激活它的清洁系统来吸收碎屑，由此清洁地板表面。
在一些示例中，如果移动清洁机器人102是真空清洁机器人，则机器人102包括可移除的碎屑仓344，并且感测系统266包括碎屑仓水平传感器288，该碎屑仓水平传感器288检测吸收到可移除的碎屑仓344中的碎屑量。感测系统266包括一个或多个碎屑传感器或灰尘传感器294，其检测真空清洁机器人何时吸收碎屑，或检测碎屑吸收的速率。在一些示例中，移动清洁机器人102包括用于碎屑的过滤器，感测系统266还包括过滤器传感器以检测过滤器是否需要清洁。
示例性移动清洁机器人102包括底盘296、电池298、电池充电器300、由电池298供电的电源模块338、由电源模块338供电的一个或多个马达340、由马达340驱动的驱动系统302、绘制/导航系统304、红外(IR)发射器306、红外辐射检测器308、运动检测器(例如，无源IR光电二极管)310、超声波传感器312、压力传感器314、惯性测量单元(IMU)316和指示灯318。控制器264可以包括任何适当配置的处理器320(例如，微处理器)或处理器。微处理器320与控制器264、存储器276、各种传感器和驱动系统302通信。在一些实施方式中，相机268是收集2D图像、全景视图、视频和/或3D模型的成像设备。上述传感器并没有穷尽可以在机器人102上提供的传感器类型，并且取决基于要由机器人102检测的环境参数，可以省略某些传感器。
无线通信系统274包括无线通信发送器或模块322(例如，Wi-Fi模块)和相关联的天线324，以启用机器人102和移动计算设备104、远程计算系统152、集线器(诸如GoogleWi-Fi接入点)、网络路由器和/或专用网络之间的无线通信。
在一些实施方式中，移动清洁机器人102包括用于在经过住宅210期间进行障碍物检测和障碍物回避(Obstacle Detection and Obstacle Avoidance，“ODOA”)的传感器。这些传感器包括与静止障碍物接触时被触发的机械保险杠开关传感器326，以及诸如超声波传感器312、红外发射器/检测器接近度传感器328和结构光传感器330(诸如由PixArt制造的那些传感器)的非接触传感器。
绘制/导航系统304使得机器人102能够执行住宅210的自主导航和绘制。移动清洁机器人102包括用于自主导航的传感器，诸如用于视觉同时定位和绘制(vSLAM)的相机268、鼠标传感器332、具有3轴加速度计和3轴陀螺仪的IMU 316、和/或车轮里程计334，以确定或记录机器人102相对于空间210的位置(即，以在空间210中定位机器人102)。机器人102可以定位由其机载传感器收集的读数的定位。可以使用任何合适的技术和组件来定位和记录机器人102，诸如机器视觉(例如，使用相机268和特征辨识或类别辨识软件)、光信标或射频接收信号强度指示器(RSSI)技术。
机器人102可以包括模式按钮336，该模式按钮336使用户能够选择若干操作模式中的一种，诸如各种清洁模式。机器人102包括与地板表面接触并支撑机器人底盘296的从动机车构件342a、342b。从动机车构件342a、342b可由控制器264控制，以使移动清洁机器人102在住宅210内穿过地板表面。在一些示例中，微处理器320导航移动清洁机器人102到达或穿过住宅210内的一个或多个绘制定位。机器人102包括管理机器人102的各种操作的操作系统346。
控制器264访问存储器276，该存储器276存储由传感器收集的信息和可由控制器264执行的例程，以使移动清洁机器人102在住宅210内执行操作。例程包括导航例程，例如，以在住宅210里导航移动清洁机器人102。控制器264响应于来自例如感测系统266的信号或通过无线通信系统274传输到控制器264的无线命令信号，而发起移动清洁机器人102的操作。如果移动清洁机器人102包括用户输入设备，诸如可手动操作的按钮，则输入设备可以由用户212操作，以使控制器264发起移动清洁机器人102的一个或多个操作。例如，可手动操作的按钮对应于触摸屏显示器上的下压按钮或按钮图标。在一些示例中，存储器276还存储控制器264实施其以导航移动清洁机器人102通过住宅210的确定性的移动图案。图案包括例如直线运动图案、藤蔓图案、玉米条状(cornrow)图案、螺旋图案、之字形图案或包括图案组合的其他图案。存储器260还存储由感测系统266的传感器收集的数据，该传感器包括感测系统266的航位推算传感器、定位传感器、状况传感器或其他传感器中的任何一个。如果控制器264构建了住宅210的地图，则控制器264可选地将该地图存储在非易失性存储设备277中，以便在随后的清洁任务中重复使用。
移动清洁机器人102可用的操作取决于移动清洁机器人102的类型。例如，如果移动清洁机器人102是真空清洁机器人，则存储器276包括用于执行地板清洁操作的例程。当真空清洁机器人接收到开始清洁任务的命令时，真空清洁机器人通过在其环境中自主导航并从地板表面吸收碎屑来执行地板清洁操作。地板清洁操作包括房间清洁操作，其中控制器264以一图案(例如，玉米条状图案、螺旋图案或其他合适的移动图案)来导航真空清洁机器人，以覆盖一个房间或多个房间的地板表面。
在一些示例中，地板清洁操作包括污点清洁操作，其中真空清洁机器人在接收到执行污点清洁操作的命令时，将其清洁操作限制在局部区域。局部区域可以包括由碎屑传感器检测到的更大量的检测到的碎屑。作为污点清洁操作的一部分，控制器264附加地或替代地增加传送到真空清洁机器人的鼓风机的功率，以使得碎屑更容易被真空清洁机器人吸收。为了执行污点清洁操作，控制器264控制驱动系统，使得真空清洁机器人在局部区域内以预定义图案(例如，螺旋图案)移动。任何地板清洁操作的发起可以响应于传感器信号而发生。如果真空清洁机器人包括碎屑传感器，则控制器264可以响应于碎屑传感器对碎屑的检测来控制真空清洁机器人执行污点清洁操作。
在图1A、图1B以及图5A至图8B的示例中，用户212可以在识别出需要清洁的一个或多个污点后发起污点清洁操作。移动计算设备104、165可以直接或通过远程计算系统152向移动清洁机器人102发送污点清洁操作命令。
在一些实施方式中，移动清洁机器人102与其环境中的其他设备通信或以其它方式交互。例如，移动清洁机器人102包括可再充电电池，该可再充电电池可以在可与电池电连接的站点处再充电。在一些示例中，电池是插入到站点中的可移除电池，而在其他示例中，移动清洁机器人102对接(dock)在站点处，从而使得站点能够对电池再充电。如图7所示，对接站(docking station)222位于房间214A中。对接站222包括充电器，当移动清洁机器人102对接在对接站222(例如，物理和/或电连接到对接站222)时，该充电器可操作来给移动清洁机器人102的电池充电。如果移动清洁机器人102是真空清洁机器人，则对接站222附加地或替代地用作包括机动化容器的排空站，以从真空清洁机器人的碎屑仓中清空碎屑。
在图7所示的另一个示例中，位于门口216B附近的发送单元290传输轴向定向的限制波束，该限制波束跨越门口216B的至少一段长度。发送单元290被定位成使得发射的限制波束将房间214C与房间214B分开。在一些示例中，感测系统266包括检测发射的限制波束的全向检测器。响应于检测到限制波束，控制器264导航移动清洁机器人102以避免越过限制波束，由此维护移动清洁机器人102在房间214C内或房间214C外的自主导航。例如，当全向检测器检测到限制波束时，移动清洁机器人102远离限制波束。如果第二移动清洁机器人238包括这种全向检测器，则发送单元290限制第二移动清洁机器人238，使得第二移动清洁机器人238在房间214C内自主导航，而不移动跨越限制波束并因此穿过门口216B。
在一些示例中，一个或多个发送单元将信号发射到环境中，这些信号可由移动清洁机器人102上的定位传感器检测到。信号例如是在住宅210内保持静止的光学或声学信号。例如，如果当移动清洁机器人102在住宅210中导航时，发送单元将窄定向的声学信号传输到住宅210中，则当移动清洁机器人102上的声学接收器接收到该声学信号时，控制器264定位到该声学信号。声学信号可以指向墙壁表面，使得声学接收器检测反射的声学信号，或者声学信号可以指向地板表面，使得声学接收器接收声学信号的直接发射。发送单元将这些信号中的一个或多个传输到住宅210中，并且移动清洁机器人102使用这些信号中的每一个信号作为定位特征。在一些示例中，发射单元将窄聚焦光束发射到住宅210中，感测系统266检测到该光束，并且控制器264使用该光束在住宅210内定位移动清洁机器人102。
如图1A和图5A至图6B所示，用于移动清洁机器人102的无线通信系统启用在移动清洁机器人102和远程计算系统152之间的、或者在移动清洁机器人102和移动计算设备104、165之间的数据传输。远程计算系统152可以被配置为包括远离移动清洁机器人102的环境(例如，远离住宅210)的计算资源。例如，如图8B所示，远程计算系统152可以包括一个或多个服务器300，该一个或多个服务器300与移动清洁机器人102、238中的每一个建立通信链路。在一些示例中，一个或多个服务器300连接到一个或多个远程定位的服务器的网络(“云”计算网络302)。远程计算系统152包括例如网络可访问的计算平台的一部分，该计算平台被实施为通过通信网络维护和可访问的处理器、存储装置、软件和数据库的计算基础设施。远程计算系统不要求用户212了解系统的物理定位和配置，远程计算系统也不要求用户212了解由远程计算系统152执行的例程或由远程计算系统152传送的服务。远程计算系统152可以包括存储移动机器人识别数据和相关联的用户数据的一个或多个数据库。
移动清洁机器人102的航位推算和/或定位传感器可以包括生成可从中提取用于定位移动清洁机器人102的特征的信号的传感器。航位推算和/或定位传感器可替换地或附加地包括远离移动清洁机器人102的传感器，例如链接设备292A、292B上的传感器。
移动清洁机器人102可以发射可由远程航位推算传感器检测到的信号，使得当移动清洁机器人102在环境中导航时，使用来自这些传感器的输出来估计移动清洁机器人102的相对位置和/或方位的变化。
链接设备292A、292B(例如，网络连接的设备)可以生成信息，在一些实施方式中，该信息由远程计算系统152和移动清洁机器人102访问，以提高机器人地图的准确性。链接设备292A、292B包括检测住宅210中的特征的传感器，诸如声学传感器、图像捕获系统或生成可以从中提取特征的信号的其他传感器。在一些情况下，链接设备292A、292B将从传感器信号导出的信息传输到远程计算系统152。远程计算系统152将与这些特征相关的信息与机器人地图上的特征相关联。
在一些实施方式中，链接设备292A、292B生成与机器人地图相比较的住宅210的部分的他们自己的地图。链接设备292A、292B例如包括相机、光学传感器、测距传感器、声学传感器或生成用于形成链接设备292A、292B的环境地图的信号的其他传感器。在一些示例中，链接设备292A、292B相互协作以形成地图。
链接设备292A、292B也可以发射由移动清洁机器人102上的传感器接收的信号。移动清洁机器人102使用其传感器响应于来自链接设备292A、292B的信号而生成的信号来对移动清洁机器人102的位置进行三角测量。发射的信号可以是例如光学信号、声学信号、无线信号和其他可检测的信号，这些信号的强度随着它们在环境中的传播而变化。
在一些实施方式中，在移动清洁机器人102的操作期间，移动清洁机器人102的感测系统检测与移动清洁机器人102相关联的错误状态。远程计算系统152可以接收错误状态的指示并向用户212发送消息，以及建议用户212纠正错误状态的基础。
本文档中描述的每个过程的操作可以以分布式方式执行。例如，远程计算系统152、移动清洁机器人102和远程计算设备104、165可以彼此协调地执行一个或多个操作。在一些实施方式中，被描述为由远程计算系统152、移动清洁机器人102和移动计算设备104、165中的一个执行的操作可以至少部分地由远程计算系统152、移动清洁机器人102和移动计算设备104、165中的两个或更多个执行。
下面描述用于通过移动清洁机器人102执行污点清洁的示例性过程。
参考图11，在移动计算设备104上执行的增强现实工具包126建立坐标系400(称为“虚拟空间坐标系”)。机器人102采用视觉同时定位(vSLAM)来建立坐标系(称为“机器人坐标系”)以建构地图并确定其在地图上的当前姿态。这启用了虚拟空间坐标系和机器人坐标系之间的变换或映射。
在一些实施方式中，污点清洁程序132可以在移动计算设备104的触摸屏显示器138上示出住宅210的地图。住宅210的地图可以从由机器人102维护的持久地图中导出。参考图12，机器人102行进的路径510可以覆盖在住宅210的地图上，使得用户212可以确认机器人102已经清洁了需要清洁的污点。作为另一个示例，用户212可以在用户界面中所示的地图上绘制虚拟路径，并指示移动清洁机器人102沿着虚拟路径到达污垢点。
例如，如果机器人102指示状况阻止了机器人102清洁污垢点，则该状况可以覆盖在地图上。例如，如果机器人102因为通向房间214D的门被关闭而不能进入房间214D(见图7)清洁污垢点P3，则关闭的门的图标可以被示出在地图上。如果机器人102的路径被厚地毯阻挡，则厚地毯的图标可以被示出在地图上。如果机器人102的路径被一个或多个未知对象阻挡，则机器人102可以拍摄一个或多个未知对象的图像，并且该一个或多个未知对象的图像可以被示出在地图上。用户212可以移除该状况，诸如打开关闭的门、或者移除阻挡机器人路径的对象。例如，用户212可以查看地图，看看障碍物在哪里，并确定存在机器人102到达污垢点的替代路径。用户212可以在触摸屏上绘制替代路径，并且污点清洁程序132可以向机器人102发送指令以沿着用户212提供的替代路径行进。
在一些实施方式中，机器人102可以使用相机108来捕获其在住宅210中的周围环境的图像并辨识对象，以便帮助机器人102确定污垢点的定位、或者机器人102在地图上的定位。参考图13，当机器人102在住宅210里移动并执行清洁任务时，机器人102更新地图以包括它通过相机108看到的各种标记。例如，标记可以包括图案530、QR码532和信标534中的一个或多个。机器人102辨识标记并将它们放置在地图上。
当用户212决定在第一房间中需要污点清洁时，用户212可以使用移动计算设备104的相机120以在第一房间中拍摄标记(例如，530，532，534)的图像。污点清洁程序132调用增强现实工具包126以确定虚拟空间中标记的坐标。如果用户212发起新的增强现实会话，则用户212可以建立虚拟空间坐标系，确定污垢点在虚拟空间坐标系中的坐标，然后将该坐标转换为机器人坐标系中的坐标。污点清洁程序132向机器人102发送污垢点的坐标。机器人102基于关于污垢点的定位的信息而朝向污垢点行进。机器人102还使用关于第一房间中的标记的坐标的信息来增强导航的准确性，以确保机器人102正确地到达由用户212指定的第一房间中的污垢点。
假设在用户212请求机器人102去清洁第一房间中的污垢点之后，用户212去第二房间并确定还有需要清洁的附加污垢点。用户212使用相机120来捕获第二房间中的附加污垢点的图像，并且污点清洁程序132调用增强现实工具包126以确定第二房间中的污垢点的坐标。用户212使用相机120来捕获第二房间中的标记(例如，特定图案530、QR码532或信标534)的图像，污点清洁程序132调用增强现实工具包126以确定第二房间中的标记的坐标。污点清洁程序132将第二房间中的污垢点的坐标和标记的坐标发送给机器人102。污点清洁程序132向机器人102发送指令，以请求机器人102去清洁第二房间中的污垢点。机器人102在清理第一房间中的污垢点之后，基于第二房间中的污垢点的坐标朝向第二房间中的污垢点行进。机器人102还使用关于第二房间中的标记的坐标的信息来增强导航的准确性，以确保机器人102正确地到达由用户212指定的第二房间中的污垢点。
机器人102使用内部坐标系(称为机器人坐标系)来建立和更新内部地图(称为机器人地图)。当机器人102在住宅210里移动并执行清洁任务时，机器人102更新地图以包括它通过相机108看到的各种标记。
参考图14，在一些实施方式中，标记可以做得很小，并且放置在不显眼的定位。例如，QR码540可以放置在安装在天花板上的火灾检测器542上。作为另一个示例，QR码可以放置在嵌入式吊灯的框架上。天花板上的选定定位可以放置多个QR码。通过将QR码540和其他标记放置在天花板上或附近，该标记将对住宅210的装饰影响很小并且对用户212的干扰较小。机器人102配备有使得机器人102能够检测天花板上或附近的标记的高分辨率相机或变焦镜头。当机器人102在住宅210中移动时，同时定位和绘制(SLAM)传感器将跟踪天花板上或附近的对象(包括标记(例如，QR码540))的定位。
当污点清洁程序132调用增强现实工具包126以确定污垢点的坐标时，污点清洁程序132提示用户212扫描标记，诸如天花板上的QR码540。污点清洁程序132确定天花板上的标记的坐标，并使用该信息来帮助与机器人102共享坐标。
参考图15，在一些实施方式中，污点清洁程序132将附加信息覆盖在向用户212示出的地图上。例如，当机器人102在住宅210里移动时，机器人102确定住宅210中不同定位处的Wi-Fi信号强度，并记录该信息。机器人102将关于不同定位处的Wi-Fi信号强度的信息传输到移动计算设备104，并且污点清洁程序132使用该信息来生成Wi-Fi热图550。Wi-Fi热图550示出了住宅210中具有较强Wi-Fi信号的区块、以及住宅210中具有较弱Wi-Fi信号的区块。Wi-Fi热图550可以帮助用户212确定Wi-Fi路由器是否放置在最佳定位，并确定在住宅210中的何处放置电子设备使得设备可以接收更强的Wi-Fi信号。
本文档中描述的自主移动机器人可以至少部分地使用一个或多个计算机程序产品(例如，有形地具体体现在诸如一个或多个非暂时性机器可读介质的一个或多个信息载体中的一个或多个计算机程序)来控制，以用于由一个或多个数据处理装置(例如，可编程处理器、计算机、多个计算机和/或可编程逻辑组件)执行或控制该一个或多个数据处理装置的操作。
与控制本文档中描述的自主移动机器人相关联的操作可以由一个或多个可编程处理器来执行，该可编程处理器执行一个或多个计算机程序以执行本文档中描述的功能。计算机程序可以用任何形式的编程语言编写，包括编译或解释语言；并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。可以使用专用逻辑电路(例如，FPGA(现场可编程门阵列)和/或ASIC(专用集成电路))实施对本文档中描述的机器人中的所有或部分机器人的控制。
本文档描述的控制器可以包括一个或多个处理器。举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器、以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储区域或随机存取存储区域或两者接收指令和数据。计算机的元件包括用于执行指令的一个或多个处理器以及用于存储指令和数据的一个或多个存储区域设备。一般来说，计算机还将包括一个或多个机器可读存储介质(诸如硬盘驱动器、磁盘、磁光盘或光盘)或者可操作地耦合到该一个或多个机器可读存储介质，以从该一个或多个机器可读存储介质接收数据、或者向一个或多个机器可读存储介质传递数据、或者两者。适合于包含计算机程序指令和数据的机器可读存储介质包括各种形式的非易失性存储区域，例如包括半导体存储设备，例如，EPROM、EEPROM和闪存存储设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。
可以使用用于在一个或多个移动计算设备、一个或多个移动机器人和/或一个或多个远程计算设备上执行的软件来实施上述由一个或多个移动机器人启用污点清洁的过程。例如，软件在一个或多个编程或可编程计算机系统上的一个或多个计算机程序中形成规程(procedure)，该一个或多个编程或可编程计算机系统在移动机器人中、或者在移动计算设备中、或者在远程计算系统(其可以是诸如分布式、客户端/服务器或网格的各种架构)中，其中每个包括至少一个处理器、至少一个数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个有线或无线输入设备或端口、以及至少一个有线或无线输出设备或端口。软件可以形成更大程序的一个或多个模块，该更大程序例如提供与管理住宅的操作相关的其他服务，诸如住宅的清洁会话和安全监控。
软件可以在介质上提供，诸如CD-ROM、DVD-ROM或蓝光光盘，该介质可由通用或专用可编程计算机读取，或者通过网络传送(以传播信号编码)到执行它的计算机。这些功能可以在专用计算机上执行、或者使用诸如协处理器的专用硬件来执行。软件可以以分布式方式实施，其中由软件指定的计算的不同部分由不同的计算机执行。每个这样的计算机程序优选地被存储或下载到可由通用或专用可编程计算机读取的存储介质或设备(例如，固态存储器或介质，或磁性或光学介质)，以用于当计算机系统读取存储介质或设备以执行本文描述的规程时配置和操作计算机。本发明的系统也可以被认为实施为配置有计算机程序的计算机可读存储介质，其中如此配置的存储介质使得计算机系统以特定的和预定义的方式操作来执行本文描述的功能。
已经描述了描述的多个实施例。尽管如此，应当理解，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。例如，上面描述的步骤中的一些步骤可以是顺序无关的，因此可以以不同于所描述的顺序来执行。应当理解，前面的描述意图说明而不是限制本发明的范围，本发明的范围由所附权利要求的范围限定。
移动计算设备104、165可以是，例如，智能手表、智能相机、智能护目镜，或者能够捕获图像并执行图像处理、或者能够捕获图像并将图像发送到能够处理图像的远程计算设备或家庭计算机服务器的任何其他便携式设备。用户212可以使用各种方法识别需要清洁的污点的定位。例如，用户可以有家庭机器人和移动清洁机器人。家庭机器人可以在住宅里移动并使用自然语言与用户交互。家庭机器人可以提供安全监控功能和其他服务，诸如播放音乐、回答用户问题、设置用户日历以及控制住宅中的各种设备。用户可以指向污点并对家庭机器人说：“清洁这个污点”。家庭机器人有相机，并且可以辨识用户指出的污点，确定污点的坐标，以及将坐标信息发送给移动清洁机器人。
代替将持久地图存储在远程计算系统(例如，云存储系统)的存储设备中或除此之外，移动清洁机器人102、238可以在其内部非易失性存储装置中存储持久地图。
代替点击触摸屏以识别需要清洁的污点，用户可以在触摸屏上绘制区块的边界。污点清洁程序可以识别边界上的点，将边界上的点的坐标发送给移动清洁机器人，并指示这些污点是要清洁的区块的边界上的点。移动清洁机器人确定清洁路径，该清洁路径使得移动清洁机器人能够清理由边界上的点识别的区块。例如，移动清洁机器人可以确定限定要清洁的区块的矩形或圆形区块，并清洁该矩形或圆形区块。可替代地，污点清洁程序可以确定限定要清洁的区块的矩形或圆形区块，并将关于该矩形或圆形区块的信息发送给移动清洁机器人。例如，污点清洁程序可以向移动清洁机器人发送矩形区块的四个角的坐标、或者圆形区块的中心的坐标和半径。移动清洁机器人可以具有“污点清洁”模式和“区块清洁”模式。污点清洁程序可以向移动清洁机器人发送指令以激活“污点清洁”模式，并发送关于要清洁的污点的位置信息。在这种情况下，移动清洁机器人清洁在指令中识别的每个污点周围的小区块。污点清洁程序可以向移动清洁机器人发送指令以激活“区块清洁”模式，并发送关于需要清洁的区块的位置信息。在这种情况下，移动清洁机器人清洁由指令识别的区块。
可以使用各种机器学习技术来训练特征检测模块。例如，可以实施监督学习技术，其中训练基于对于输入已知的期望输出。监督学习可以被认为是将输入映射到输出并且然后针对先前未使用的输入来估计输出的尝试。也可以使用无监督学习技术，其中训练从已知的输入但未知的输出提供。也可以采用强化学习技术，其中系统可以被认为是从所采取的行动的结果中学习(例如，输入值是已知的并且反馈提供了性能度量)。在一些布置中，实施的技术可以采用这些方法中的两种或更多种。
虽然已经结合某些实施例描述了本公开，但是应当理解，本公开不限于所公开的实施例，相反，本公开意图覆盖包括在所附权利要求的范围内的各种修改和等同布置，其范围将符合最广泛的解释，从而包括法律所允许的所有这些修改和等同结构。
尽管本发明在所附权利要求中进行了限定，但是应当理解，本发明也可以根据以下实施例进行限定：
实施例1：一种方法，包括：
使用至少一个处理器来确定与移动设备相关联的第一坐标系和与移动机器人相关联的第二坐标系之间的映射，其中第一坐标系不同于第二坐标系；以及
在移动设备处提供用户界面，以使用户能够与移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
实施例2：根据实施例1的方法，其中，用户界面被配置为使用户能够使用移动设备来指示移动机器人在指定定位处执行指定动作。
实施例3：根据实施例2的方法，包括使用户能够使用移动设备来指示移动机器人在指定定位处执行清洁操作。
实施例4：根据实施例2或3的方法，包括：
配置用户界面以使用户能够在移动设备的显示模块上示出的图像上指定定位，
使用至少一个处理器来识别由用户指定的定位的坐标，以及
从移动设备向移动机器人发送指令，以指示移动机器人在由用户指定的定位处执行清洁操作，其中该指令包括由用户指定的定位的坐标。
实施例5：根据实施例4的方法，包括：
确定由用户指定的定位的第一坐标，其中第一坐标基于第一坐标系，
使用第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系，以及
向移动机器人发送包括第二坐标的指令。
实施例6：根据实施例1至5中任一实施例的方法，包括使用户能够在环境中的第一定位处使用移动设备，以与位于环境中的第二定位处的移动机器人交互，其中第二定位不在移动设备的视线内，并且交互涉及使用第一坐标系和第二坐标系之间的映射。
实施例7：根据实施例1至6中任一实施例的方法，包括使用户能够使用位于房屋中的第一房间处的移动设备与位于房屋中的第二房间处的移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
实施例8：根据实施例1至7中任一实施例的方法，包括：
在移动设备处，从移动机器人接收关于环境的数据，该数据包括定位信息，以及
在移动设备处，在显示模块上显示环境的图像，并且将图形元素覆盖在图像上，其中图形元素是基于从移动机器人接收的数据而导出的。
实施例9：根据实施例8的方法，包括在图像上覆盖具有由移动机器人识别的指定特性的区域的表示。
实施例10：根据实施例9的方法，其中，具有指定特性的区域包括具有指定特性的地板区域。
实施例11：根据实施例9或10的方法，其中，具有指定特性的区域表示以下中的至少一个：(i)环境中在指定时间段内已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
实施例12：根据实施例9至11中任一实施例的方法，包括在图像上覆盖由移动机器人识别的障碍物的表示。
实施例13：根据实施例12的方法，包括：
确定区域和障碍物相对于移动设备的相机的视点的位置，
确定区域的哪个部分被障碍物遮挡，以及
在显示模块上显示图像，其中区域中的具有指定特性的部分被障碍物遮挡。
实施例14：根据实施例1至13中任一实施例的方法，包括：
执行增强现实工具以在移动设备上实施增强现实会话，以及
配置用户界面以使用户能够在增强现实会话中与移动设备交互。
实施例15：根据实施例14的方法，包括使用增强现实工具以基于由移动设备的相机捕获的图像来建立第一坐标系。
实施例16：根据实施例1至15中任一实施例的方法，其中，确定第一坐标系和第二坐标系之间的映射包括：
将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较，
识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配，
识别与第一组特征相关联的第一坐标，其中第一坐标基于第一坐标系，
识别与第二组特征相关联的第二坐标，其中第二坐标基于第二坐标系，以及
基于第一坐标和第二坐标之间的关系确定第一坐标系和第二坐标系之间的映射。
实施例17：根据实施例16的方法，包括对由移动设备的相机捕获的图像应用图像变换以生成修改的图像，该修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的图像，其中该图像变换考虑移动设备相机的特性和移动机器人相机的特性。
实施例18：根据实施例17的方法，其中，将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较包括将从修改的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较，以及
识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配包括，识别从修改的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配。
实施例19：一种方法，包括：
在移动设备的显示模块上显示由移动设备的相机捕获的环境的图像，其中具有指定特性的区域的表示和由移动机器人识别的障碍物的表示被覆盖在图像上，
其中，在图像中，区域被示出为被障碍物部分遮挡，并且区域中的被障碍物遮挡的部分是基于区域和障碍物相对于移动设备的相机的视点的位置来确定的。
实施例20：根据实施例19的方法，其中，具有指定特性的区域的表示包括以下中的至少一个的表示：(i)环境中已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
实施例21：根据实施例20的方法，包括提供用户界面以使用户能够指定区域的特性，对于该区域的特性，区域的表示被覆盖在图像上。
实施例22：根据实施例20或21的方法，其中环境中已经被移动机器人处理的区域的表示包括已经被移动机器人进行过吸尘、拖地、擦洗、清扫或割草中的至少一个的区域。
实施例23：根据实施例20至22中任一实施例的方法，其中，信号强度图包括Wi-Fi信号强度图或移动电话信号强度图中的至少一个。
实施例24：根据实施例19至23中任一实施例的方法，其中，具有指定特性的区域包括具有指定特性的地板区域。
实施例25：根据实施例19至24中任一实施例的方法，其中，障碍物的表示包括一个或多个列，其中每列对应于移动机器人遇到障碍物或障碍物的一部分的定位。
实施例26：根据实施例25的方法，其中，由移动机器人建立的地图包括多个单元，并且每列对应于移动机器人遇到障碍物或障碍物的一部分的单元之一。
实施例27：根据实施例26的方法，其中，由移动机器人建立的地图包括二维地图。
实施例28：根据实施例19至27中任一实施例的方法，包括确定与移动机器人相关联的第一坐标系和与移动设备相关联的第二坐标系之间的映射，其中，移动机器人基于第一坐标系确定环境中的对象的位置，并且移动设备基于第二坐标系确定环境中的对象的位置。
实施例29：根据实施例28的方法，其中，第一坐标系和第二坐标系之间的映射由移动设备、移动机器人或位于距移动设备和移动机器人一距离处的计算机服务器中的至少一个来确定。
实施例30：根据实施例28或29的方法，其中，第一坐标系基于由移动机器人捕获的图像来建立，并且第二坐标系基于由移动设备捕获的图像来建立。
实施例31：根据实施例30的方法，其中，第一坐标系由移动机器人或位于距移动机器人一距离处的计算机服务器中的至少一个来建立。
实施例32：根据实施例30或31的方法，其中，第二坐标系由移动设备或位于距移动设备一距离处的计算机服务器中的至少一个来确定。
实施例33：根据实施例28至32中任一实施例的方法，包括识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
实施例34：根据实施例33的方法，包括基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
实施例35：根据实施例34的方法，包括基于第二坐标确定具有指定特性的区域在图像上的覆盖的位置。
实施例36：根据实施例28至35中任一项所述的方法，其中，确定第一坐标系和第二坐标系之间的映射包括：
使用至少一个处理器来识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；
使用至少一个处理器将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；
使用至少一个处理器来识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及
使用至少一个处理器，基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例37：根据实施例36的方法，其中，识别由移动设备的相机捕获的至少一个图像中的第二组特征包括识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
实施例38：根据实施例36或37的方法，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
实施例39：根据实施例36至38中任一实施例的方法，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的特征，并且
识别由移动设备的相机捕获的至少一个图像中的第二组特征包括：
使用根据移动设备的相机的特性和移动机器人的相机的特性而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，以及
基于至少一个修改的图像识别第二组特征。
实施例40：根据实施例19至39中任一实施例的方法，其中，相机的特性包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
实施例41：根据实施例19至40中任一实施例的方法，其中，移动设备的相机的特性由在移动设备上执行的操作系统或图像应用指定的固有相机参数来表示。
实施例42：根据实施例19至41中任一实施例的方法，其中，移动机器人的相机的特性由在移动机器人上执行的操作系统或图像应用指定的固有相机参数来表示。
实施例43：根据实施例19至42中任一实施例的方法，其中，移动机器人包括移动清洁机器人或移动割草机器人中的至少一个。
实施例44：根据实施例19至43中任一实施例的方法，其中，移动设备包括移动电话、平板电脑、笔记本电脑、支撑显示模块的头盔或支撑显示模块的护目镜中的至少一个。
实施例45：根据实施例20至44中任一实施例的方法，其中，表示信号强度图的信息包括表示Wi-Fi信号强度图或移动电话信号强度图的信息。
实施例46：根据实施例19至45中任一实施例的方法，包括：
执行增强现实工具以在移动设备上实施增强现实会话，以及
在显示模块上显示环境的图像作为增强现实会话的一部分。
实施例47：根据实施例46的方法，包括调用增强现实工具的功能调用，以将具有指定特性的区域的表示和障碍物的表示覆盖在环境的图像上。
实施例48：根据实施例46或47的方法，包括确定与移动机器人相关联的第一坐标系和与增强现实会话相关联的第二坐标系之间的映射，其中移动机器人基于第一坐标系确定环境中的对象的位置，并且增强现实工具基于第二坐标系确定环境中的对象的位置。
实施例49：根据实施例48的方法，其中，第一坐标系从由移动机器人捕获的图像中导出，并且第二坐标系由增强现实工具基于由移动设备捕获的图像而建立。
实施例50：根据实施例48或49的方法，包括识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
实施例51：根据实施例50的方法，包括基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
实施例52：根据实施例51的方法，包括基于第二坐标确定具有指定特性的区域在图像中的放置。
实施例53：根据实施例52的方法，包括识别与障碍物相关联的第三坐标，其中第三坐标基于第一坐标系。
实施例54：根据实施例53的方法，包括基于第一坐标系和第二坐标系之间的映射将第三坐标转换成第四坐标，其中第四坐标基于第二坐标系。
实施例55：根据实施例54的方法，包括基于第四坐标确定障碍物在图像中的放置。
实施例56：根据实施例55的方法，包括基于相对于移动设备的相机的视点的第二坐标和第四坐标的比较，确定具有指定特性的区域的一部分被障碍物遮挡。
实施例57：根据实施例48至56中任一实施例的方法，其中，确定第一坐标系和第二坐标系之间的映射包括：
调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；
使用至少一个处理器将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；
使用至少一个处理器来识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及
使用至少一个处理器，基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例58：根据实施例57的方法，其中，识别由移动设备的相机捕获的至少一个图像中的第二组特征包括调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
实施例59：根据实施例57或58的方法，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
实施例60：根据实施例57至59中任一实施例的方法，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的特征，并且
识别由移动设备的相机捕获的至少一个图像中的第二组特征包括：
使用根据移动设备的相机的固有参数和移动机器人的相机的固有参数而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，以及
调用增强现实工具以基于至少一个修改的图像识别第二组特征。
实施例61：根据实施例60的方法，其中，相机的固有参数包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
实施例62：一种方法，包括考虑以下各项来组合从由第一相机捕获的环境的至少一个图像中导出的第一信息和从由第二相机捕获的环境的至少一个图像中导出的第二信息：(i)与第一信息相关联的第一坐标、(ii)与第二信息相关联的第二坐标、以及(iii)与第一相机相关联的第一坐标系和与第二相机相关联的第二坐标系之间的映射，其中第一坐标基于第一坐标系，并且第二坐标基于第二坐标系。
实施例63：根据实施例62的方法，包括：
使用第一相机捕获环境的第一组图像；
基于第一组图像确定第一坐标系；
使用第二相机捕获环境的第二组图像；以及
基于第二组图像确定第二坐标系。
实施例64：根据实施例63的方法，包括：
使用至少一个处理器来识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与第一坐标系中的第一组坐标相关联；
使用至少一个处理器来识别第二组图像中的至少一个图像中的第二组特征，其中第二组特征匹配或基本匹配第一组特征，并且第二组特征与第二坐标系中的第二组坐标相关联；以及
使用至少一个处理器，基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例65：根据实施例64的方法，包括：
将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的放置；以及
显示覆盖有由移动机器人提供的至少一个特征的图像。
实施例66：根据实施例62至65中任一实施例的方法，其中，组合第一信息和第二信息包括生成包括从第一信息导出的第一图像元素和从第二信息导出的第二图像元素的图像，并且基于与第一信息相关联的坐标和与第二信息相关联的坐标而在图像中定位第一图像元素和第二图像元素。
实施例67：一种用于操作移动清洁机器人或与移动清洁机器人交互的方法，该方法包括：
使用移动计算设备的相机捕获环境的图像；
在移动计算设备的处理器处，从移动机器人接收关于环境中的对象或区块的信息；
在处理器处生成合成图像，其中从移动机器人接收的关于环境中的对象或区块的信息被覆盖到由相机捕获的环境的图像上；以及
在移动计算设备的显示器处显示合成图像。
实施例68：根据实施例67的方法，包括确定基于由移动机器人使用的地图而建立的第一坐标系和基于由相机捕获的图像而建立的第二坐标系之间的映射。
实施例69：根据实施例68的方法，其中，确定第一坐标系和第二坐标系之间的映射包括：
基于由相机捕获的环境的图像识别环境中的第一组特征；
将第一组特征和与移动机器人使用的地图相关联的存储的特征进行比较；
在存储的特征当中识别第二组特征，其中第二组特征匹配或近似匹配第一组特征；以及
基于与第一组特征相关联的第一坐标和与第二组特征相关联的第二坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例70：根据实施例69的方法，其中，识别匹配或近似匹配第一组特征的第二组特征包括识别第二组特征，其中第一组特征和第二组特征之间的相似性得分高于阈值。
实施例71：根据实施例68至70中任一实施例的方法，其中，基于从由相机捕获的图像中导出的特征建立第二坐标系。
实施例72：根据实施例68至71中任一实施例的方法，包括：
识别与移动机器人使用的地图相关联的特征，
识别与特征相关联的第一组坐标，其中第一组坐标使用第一坐标系作为参考；
基于第一坐标系和第二坐标系之间的映射将第一组坐标映射到第二组坐标，其中第二组坐标基于第二坐标系；以及
基于第二组坐标将特征覆盖到环境的图像上以生成合成图像。
实施例73：一种用于操作移动清洁机器人或与移动清洁机器人交互的方法，该方法包括：
使用移动计算设备的相机捕获环境的第一组图像；
基于第一组图像确定与移动计算设备相关联的第一坐标系；
使用移动清洁机器人的相机捕获环境的第二组图像；
基于第二组图像确定与移动清洁机器人相关联的第二坐标系；
使用至少一个处理器来识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与基于第一坐标系的第一组坐标相关联；
使用至少一个处理器来识别第二组图像中匹配或基本匹配第一组特征的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；
使用至少一个处理器，基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射；
将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的位置；以及
显示覆盖有由移动机器人提供的至少一个特征的图像。
实施例74：根据实施例73的方法，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖信号强度图。
实施例75：根据实施例74的方法，其中，覆盖信号强度热图包括在由移动设备的相机生成的图像上覆盖Wi-Fi信号强度图或移动电话信号强度图。
实施例76：根据实施例73至75中任一实施例的方法，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息。
实施例77：根据实施例76的方法，其中，覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人进行过吸尘、拖地、清扫、擦洗或割草中的至少一个的一个或多个区块的信息。
实施例78：根据实施例73至77中任一实施例的方法，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖由移动机器人识别的障碍物的表示。
实施例79：根据实施例78的方法，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息，其中所得到的图像示出了被障碍物部分遮挡的一个或多个区块。
实施例80：一种方法，包括：
在移动设备的显示器上显示由移动设备的相机捕获的环境的图像，其中至少一个特征覆盖在图像上，至少一个特征从由移动机器人提供的信息中导出，至少一个特征与环境中的至少一个物理对象相关联，并且至少一个特征被放置在图像中基于至少一个物理对象在环境中的位置而确定的位置处。
实施例81：一种方法，包括：
在移动设备的显示器上显示由移动设备的相机捕获的环境的图像，其中由移动机器人提供的信息覆盖在图像上，该信息表示以下中的至少一个：(i)环境中已经被移动机器人处理的区域、(ii)环境中没有被移动机器人处理的区域、(iii)环境中的障碍物、(iv)禁区、(v)虚拟墙壁、(vi)虚拟栅栏、(vii)移动机器人可穿过的区域、(viii)移动机器人不可穿过的区域、或(ix)信号强度图。
实施例82：根据实施例81的方法，其中，表示环境中已经被移动机器人处理的区域的信息包括表示已经被移动机器人进行过吸尘、拖地、清扫、擦洗或割草中的至少一个的区域的信息。
实施例83：根据实施例81或82的方法，其中，表示信号强度图的信息包括表示Wi-Fi信号强度图或移动电话信号强度图的信息。
实施例84：根据实施例81至83中任一实施例的方法，其中，显示具有由移动机器人提供的、覆盖在图像上的信息的环境的图像包括显示具有覆盖在图像上的障碍物的表示的图像，并且障碍物的表示包括具有预定义高度的一个或多个列。
实施例85：一种方法，包括：
在移动设备的显示模块上显示由移动设备的相机捕获的环境的图像，其中第一数据的表示和第二数据的表示覆盖在图像上，第一数据和第二数据由移动机器人提供，第一数据包括关于以下中的至少一个的信息：(i)环境中已经被移动机器人处理的区域、(ii)环境中没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)环境中在时间段内没有被移动机器人处理的区域、(v)禁区、(vi)移动机器人可穿过的区域、(vii)移动机器人不可穿过的区域、(viii)信号强度图、或(ix)步行交通统计图；
其中，第二数据包括关于环境中已经被移动机器人识别的至少一个障碍物的定位信息，并且在显示模块上示出的图像中，第一数据的表示被由移动机器人识别的障碍物的表示部分遮挡。
实施例86：一种装置，包括：
存储设备，存储处理器可执行指令；以及
至少一个处理器，通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
确定与移动设备相关联的第一坐标系和与移动机器人相关联的第二坐标系之间的映射，其中第一坐标系不同于第二坐标系；以及
在移动设备处提供用户界面，以使用户能够与移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
实施例87：根据实施例86的装置，其中，用户界面被配置为使用户能够使用移动设备来指示移动机器人在指定定位处执行指定动作。
实施例88：根据实施例87的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：使用户能够使用移动设备来指示移动机器人在指定定位处执行清洁操作。
实施例89：根据实施例87或88的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
配置用户界面以使用户能够在移动设备的显示模块上示出的图像上指定定位，
识别由用户指定的定位的坐标，以及
从移动设备向移动机器人发送指令，以指示移动机器人在由用户指定的定位处执行清洁操作，其中该指令包括由用户指定的定位的坐标。
实施例90：根据实施例89的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
确定由用户指定的定位的第一坐标，其中第一坐标基于第一坐标系，
使用第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系，以及
向移动机器人发送包括第二坐标的指令。
实施例91：根据实施例86至90中任一实施例所述的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：使用户能够在环境中的第一定位处使用移动设备，以与位于环境中的第二定位处的移动机器人交互，其中第二定位不在移动设备的视线内，并且交互涉及使用第一坐标系和第二坐标系之间的映射。
实施例92：根据实施例86至91中任一实施例的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：使用户能够使用位于房屋中的第一房间处的移动设备与位于房屋中的第二房间处的移动机器人交互，其中该交互涉及使用第一坐标系和第二坐标系之间的映射。
实施例93：根据实施例86至92中任一实施例的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
从移动机器人接收关于环境的数据，该数据包括定位信息，以及
在显示模块上显示环境的图像，并且将图形元素覆盖在图像上，其中图形元素是基于从移动机器人接收的数据而导出的。
实施例94：根据实施例93的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：在图像上覆盖具有由移动机器人识别的指定特性的区域的表示。
实施例95：根据实施例94的装置，其中，具有指定特性的区域包括具有指定特性的地板区域。
实施例96：根据实施例94或95的装置，其中，具有指定特性的区域表示以下中的至少一个：(i)环境中在指定时间段内已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
实施例97：根据实施例94至96中任一实施例所述的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：在图像上覆盖由移动机器人识别的障碍物的表示。
实施例98：根据实施例97的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
确定区域和障碍物相对于移动设备的相机的视点的位置，
确定区域的哪个部分被障碍物遮挡，以及
在显示模块上显示图像，其中区域中的具有指定特性的部分被障碍物遮挡。
实施例99：根据实施例86至98中任一实施例的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
执行增强现实工具以在移动设备上实施增强现实会话，以及
配置用户界面以使用户能够在增强现实会话中与移动设备交互。
实施例100：根据实施例99的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：使用增强现实工具以基于由移动设备的相机捕获的图像来建立第一坐标系。
实施例101：根据实施例86至100中任一项所述的装置，其中，确定第一坐标系和第二坐标系之间的映射包括：
将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较，
识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配，
识别与第一组特征相关联的第一坐标，其中第一坐标基于第一坐标系，
识别与第二组特征相关联的第二坐标，其中第二坐标基于第二坐标系，以及
基于第一坐标和第二坐标之间的关系确定第一坐标系和第二坐标系之间的映射。
实施例102：根据实施例101的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：对由移动设备的相机捕获的图像应用图像变换以生成修改的图像，该修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的图像，其中该图像变换考虑移动设备相机的特性和移动机器人相机的特性。
实施例103：根据实施例102的装置，其中，将从由移动设备的相机捕获的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较包括将从修改的图像中导出的特征与从由移动机器人的相机捕获的图像中导出的特征进行比较，以及
识别从由移动设备的相机捕获的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配包括识别从修改的图像中导出的第一组特征和从由移动机器人的相机捕获的图像中导出的第二组特征之间的匹配。
实施例104：一种移动设备，包括：
显示模块；
相机；
存储设备，存储处理器可执行指令；以及
至少一个处理器，通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
在显示模块上显示由相机捕获的环境的图像，其中具有指定特性的区域的表示和由移动机器人识别的障碍物的表示被覆盖在图像上，
其中，在图像中，区域被示出为被障碍物部分遮挡，并且区域中的被障碍物遮挡的部分是基于区域和障碍物相对于移动设备的相机的视点的位置来确定的。
实施例105：根据实施例104的移动设备，其中，具有指定特性的区域的表示包括以下中的至少一个的表示：(i)环境中已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
实施例106：根据实施例105的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：提供用户界面以使用户能够指定区域的特性，对于该区域的特性，区域的表示被覆盖在图像上。
实施例107：根据实施例105或106的移动设备，其中，环境中已经被移动机器人处理的区域的表示包括已经被移动机器人进行过吸尘、拖地、擦洗、清扫或割草中的至少一个的区域。
实施例108：根据实施例105至107中任一项所述的移动设备，其中，信号强度图包括Wi-Fi信号强度图或移动电话信号强度图中的至少一个。
实施例109：根据实施例104至108中任一实施例的移动设备，其中，具有指定特性的区域包括具有指定特性的地板区域。
实施例110：根据实施例104至109中任一实施例的移动设备，其中，障碍物的表示包括一个或多个列，其中每列对应于移动机器人遇到障碍物或障碍物的一部分的定位。
实施例111：根据实施例110的移动设备，其中，由移动机器人建立的地图包括多个单元，并且每列对应于移动机器人遇到障碍物或障碍物的一部分的单元之一。
实施例112：根据实施例111的移动设备，其中，由移动机器人建立的地图包括二维地图。
实施例113：根据实施例104至112中任一实施例所述的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：确定与移动机器人相关联的第一坐标系和与移动设备相关联的第二坐标系之间的映射，其中，移动机器人基于第一坐标系确定环境中的对象的位置，并且移动设备基于第二坐标系确定环境中的对象的位置。
实施例114：根据实施例113的移动设备，其中，第一坐标系和第二坐标系之间的映射由移动设备、移动机器人或位于距移动设备和移动机器人一距离处的计算机服务器中的至少一个来确定。
实施例115：根据实施例113或114的移动设备，其中，第一坐标系基于由移动机器人捕获的图像来建立，并且第二坐标系基于由移动设备捕获的图像来建立。
实施例116：根据实施例115的移动设备，其中，第一坐标系由移动机器人或位于距移动机器人一距离处的计算机服务器中的至少一个来建立。
实施例117：根据实施例115或116的移动设备，其中，第二坐标系由移动设备或位于距移动设备一距离处的计算机服务器中的至少一个来确定。
实施例118：根据实施例113至117中任一实施例所述的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
实施例119：根据实施例118的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
实施例120：根据实施例119的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：基于第二坐标确定具有指定特性的区域在图像上的覆盖的位置。
实施例121：根据实施例113至120中任一项所述的移动设备，其中，确定第一坐标系和第二坐标系之间的映射包括：
识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；
将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；
识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及
基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例122：根据实施例121的移动设备，其中，识别由移动设备的相机捕获的至少一个图像中的第二组特征包括识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
实施例123：根据实施例121或122的移动设备，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
实施例124：根据实施例121至123中任一实施例的移动设备，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的特征，并且
识别由移动设备的相机捕获的至少一个图像中的第二组特征包括：
使用根据移动设备的相机的特性和移动机器人的相机的特性而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，以及
基于至少一个修改的图像识别第二组特征。
实施例125：根据实施例104至124中任一实施例的移动设备，其中，相机的特性包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
实施例126：根据实施例104至125中任一实施例的移动设备，其中，移动设备的相机的特性由在移动设备上执行的操作系统或图像应用指定的固有相机参数来表示。
实施例127：根据实施例104至126中任一实施例的移动设备，其中，移动机器人的相机的特性由在移动机器人上执行的操作系统或图像应用指定的固有相机参数来表示。
实施例128：根据实施例104至127中任一实施例的移动设备，其中，移动机器人包括移动清洁机器人或移动割草机器人中的至少一个。
实施例129：根据实施例104至128中任一实施例所述的移动设备，其中，移动设备包括移动电话、平板电脑、笔记本电脑、支撑显示模块的头盔或支撑显示模块的护目镜中的至少一个。
实施例130：根据实施例105至129中任一实施例的移动设备，其中，表示信号强度图的信息包括表示Wi-Fi信号强度图或移动电话信号强度图的信息。
实施例131：根据实施例104至130中任一实施例的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
执行增强现实工具以在移动设备上实施增强现实会话，以及
在显示模块上显示环境的图像作为增强现实会话的一部分。
实施例132：根据实施例131的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：调用增强现实工具的功能调用，以将具有指定特性的区域的表示和障碍物的表示覆盖在环境的图像上。
实施例133：根据实施例131或132的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：确定与移动机器人相关联的第一坐标系和与增强现实会话相关联的第二坐标系之间的映射，其中移动机器人被配置为基于第一坐标系确定环境中的对象的位置，并且增强现实工具被配置为基于第二坐标系确定环境中的对象的位置。
实施例134：根据实施例133的移动设备，其中，第一坐标系从由移动机器人捕获的图像中导出，并且第二坐标系由增强现实工具基于由移动设备捕获的图像而建立。
实施例135：根据实施例133或134的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：识别与具有指定特性的区域相关联的第一坐标，其中第一坐标基于第一坐标系。
实施例136：根据实施例135的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：基于第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系。
实施例137：根据实施例136的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：基于第二坐标确定具有指定特性的区域在图像中的放置。
实施例138：根据实施例137的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：识别与障碍物相关联的第三坐标，其中第三坐标基于第一坐标系。
实施例139：根据实施例138的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：基于第一坐标系和第二坐标系之间的映射将第三坐标转换成第四坐标，其中第四坐标基于第二坐标系。
实施例140：根据实施例139的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：基于第四坐标确定障碍物在图像中的放置。
实施例141：根据实施例140的移动设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：基于相对于移动设备的相机的视点的第二坐标和第四坐标的比较，确定具有指定特性的区域的一部分被障碍物遮挡。
实施例142：根据实施例133至141中任一实施例所述的移动设备，其中，确定第一坐标系和第二坐标系之间的映射包括：
调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；
将第二组特征与当移动机器人在环境中导航时由移动机器人用来辨识环境中的对象的存储的特征进行比较，其中该存储的特征中的每个存储的特征与基于第一坐标系的坐标相关联；
识别由移动机器人使用的存储的特征当中的第一组特征，其中第一组特征匹配或近似匹配第二组特征；以及
基于与第一组特征相关联的坐标和与第二组特征相关联的坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例143：根据实施例142的移动设备，其中，识别由移动设备的相机捕获的至少一个图像中的第二组特征包括调用增强现实工具来识别由移动设备的相机捕获的至少一个图像中的光照不变特征。
实施例144：根据实施例142或143的移动设备，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的光照不变特征。
实施例145：根据实施例142至144中任一实施例的移动设备，其中，由移动机器人用来辨识环境中的对象的存储的特征包括先前从由移动机器人的相机捕获的图像中识别的特征，并且
识别由移动设备的相机捕获的至少一个图像中的第二组特征包括：
使用根据移动设备的相机的固有参数和移动机器人的相机的固有参数而确定的变换，基于由移动设备的相机捕获的至少一个图像生成至少一个修改的图像，使得至少一个修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的至少一个图像，以及
调用增强现实工具以基于至少一个修改的图像识别第二组特征。
实施例146：根据实施例145的移动设备，其中，相机的固有参数包括相机传感器分辨率、相机镜头焦距、相机传感器尺寸、相机镜头失真、相机镜头视场或相机传感器增益中的至少一个。
实施例147：一种装置，包括：
存储设备，存储处理器可执行指令；以及
至少一个处理器，通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
考虑以下各项来组合从由第一相机捕获的环境的至少一个图像中导出的第一信息和从由第二相机捕获的环境的至少一个图像中导出的第二信息：(i)与第一信息相关联的第一坐标、(ii)与第二信息相关联的第二坐标、以及(iii)与第一相机相关联的第一坐标系和与第二相机相关联的第二坐标系之间的映射，其中第一坐标基于第一坐标系，并且第二坐标基于第二坐标系。
实施例148：根据实施例147的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
使第一相机捕获环境的第一组图像；
基于第一组图像确定第一坐标系；
使第二相机捕获环境的第二组图像；以及
基于第二组图像确定第二坐标系。
实施例149：根据实施例148的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与第一坐标系中的第一组坐标相关联；
识别第二组图像中的至少一个图像中的第二组特征，其中第二组特征匹配或基本匹配第一组特征，并且第二组特征与第二坐标系中的第二组坐标相关联；以及
基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例150：根据实施例149的装置，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的放置；以及
显示覆盖有由移动机器人提供的至少一个特征的图像。
实施例151：根据实施例147至150中任一实施例的设备，其中，组合第一信息和第二信息包括生成包括从第一信息导出的第一图像元素和从第二信息导出的第二图像元素的图像，并且基于与第一信息相关联的坐标和与第二信息相关联的坐标而在图像中定位第一图像元素和第二图像元素。
实施例152：一种用于操作移动清洁机器人或与移动清洁机器人交互的移动计算设备，该移动计算设备包括：
相机；
显示器；
存储设备，存储处理器可执行指令；以及
至少一个处理器，通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
使用相机捕获环境的图像；
从移动机器人接收关于环境中的对象或区块的信息；
生成合成图像，其中从移动机器人接收的关于环境中的对象或区块的信息被覆盖到由相机捕获的环境的图像上；以及
在显示器上显示合成图像。
实施例153：根据实施例152的移动计算设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：确定基于由移动机器人使用的地图而建立的第一坐标系和基于由相机捕获的图像而建立的第二坐标系之间的映射。
实施例154：根据实施例153的移动计算设备，其中，确定第一坐标系和第二坐标系之间的映射包括：
基于由相机捕获的环境的图像识别环境中的第一组特征；
将第一组特征和与移动机器人使用的地图相关联的存储的特征进行比较；
在存储的特征当中识别第二组特征，其中第二组特征匹配或近似匹配第一组特征；以及
基于与第一组特征相关联的第一坐标和与第二组特征相关联的第二坐标之间的关系来确定第一坐标系和第二坐标系之间的映射。
实施例155：根据实施例154的移动计算设备，其中，识别匹配或近似匹配第一组特征的第二组特征包括识别第二组特征，其中第一组特征和第二组特征之间的相似性得分高于阈值。
实施例156：根据实施例153至155中任一实施例的移动计算设备，其中，基于从由相机捕获的图像中导出的特征建立第二坐标系。
实施例157：根据实施例153至155中任一实施例的移动计算设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
识别与移动机器人使用的地图相关联的特征，
识别与特征相关联的第一组坐标，其中第一组坐标使用第一坐标系作为参考；
基于第一坐标系和第二坐标系之间的映射将第一组坐标映射到第二组坐标，其中第二组坐标基于第二坐标系；以及
基于第二组坐标将特征覆盖到环境的图像上以生成合成图像。
实施例158：一种用于操作移动清洁机器人或与移动清洁机器人交互的移动计算设备，该移动计算设备包括：
相机；
显示模块；
存储设备，存储处理器可执行指令；以及
至少一个处理器，通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
使相机捕获环境的第一组图像；
基于第一组图像确定与移动计算设备相关联的第一坐标系；
使移动清洁机器人的相机捕获环境的第二组图像；
基于第二组图像确定与移动清洁机器人相关联的第二坐标系；
识别第一组图像中的至少一个图像中的第一组特征，其中第一组特征与基于第一坐标系的第一组坐标相关联；
识别第二组图像中匹配或基本匹配第一组特征的第二组特征，其中第二组特征与基于第二坐标系的第二组坐标相关联；
基于第一组特征的第一组坐标和第二组特征的第二组坐标之间的关系来确定第一坐标系和第二坐标系之间的映射；
将由移动机器人提供的至少一个特征覆盖在由移动设备的相机生成的图像上，其中基于与至少一个特征相关联的坐标以及第一坐标系和第二坐标系之间的映射来确定至少一个特征在图像中的位置；以及
在显示模块上显示覆盖有由移动机器人提供的至少一个特征的图像。
实施例159：根据实施例158的移动计算设备，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖信号强度图。
实施例160：根据实施例159的移动计算设备，其中，覆盖信号强度热图包括在由移动设备的相机生成的图像上覆盖Wi-Fi信号强度图或移动电话信号强度图。
实施例161：根据实施例158至160中任一实施例的移动计算设备，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息。
实施例162：根据实施例161的移动计算设备，其中，覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人进行过吸尘、拖地、清扫、擦洗或割草中的至少一个的一个或多个区块的信息。
实施例163：根据实施例158至162中任一实施例的移动计算设备，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖由移动机器人识别的障碍物的表示。
实施例164：根据实施例163的移动计算设备，其中，覆盖由移动机器人提供的至少一个特征包括在由移动设备的相机生成的图像上覆盖关于环境中已经被移动机器人处理的一个或多个区块的信息，其中所得到的图像示出了被障碍物部分遮挡的一个或多个区块。
实施例165：一种系统，包括：
移动计算设备，包括：
至少一个相机，被配置为捕获环境的图像；
存储设备，存储处理器可执行指令；以及
至少一个处理器，通信地耦合到存储设备，其中，在由至少一个处理器执行处理器可执行指令时，至少一个处理器被配置为：
从移动机器人接收包括环境中的多个特征的坐标的机器人地图数据；
至少部分基于由至少一个相机提供的数据，识别环境中的第一组特征；
识别被包括在机器人地图数据中的多个特征当中的第二组特征，其中第二组特征匹配或近似匹配第一组特征；以及
基于由至少一个相机提供的数据和被包括在机器人地图信息中的数据生成要在显示模块上示出的图像。
其他实施例在所附权利要求的范围内。

Claims (14)

1.一种方法，包括：
使用至少一个处理器来确定与移动设备的相机的视点相关联的第一坐标系和与移动机器人的相机的视点相关联的第二坐标系之间的映射，其中第一坐标系不同于第二坐标系，所述确定包括：
对由移动设备的相机捕获的图像应用图像变换以生成修改的图像，其中所述修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的图像，并且其中所述图像变换考虑移动设备相机的特性和移动机器人相机的特性，
将从由移动设备的相机捕获的图像中导出的房间的特征与从由移动机器人的相机捕获的图像中导出的房间的特征进行比较，其中，所述房间的地板表面将在清洁操作期间由移动机器人进行清洁，并且其中，所述比较包括将从所述修改的图像中导出的房间的特征与从由移动机器人的相机捕获的图像中导出的房间的特征进行比较，
识别从由移动设备的相机捕获的图像之一导出的第一特征和从由移动机器人的相机捕获的图像之一导出的第二特征之间的匹配，其中所述识别包括识别从所述修改的图像中导出的第一组特征和从由所述移动机器人的相机捕获的所述图像中导出的第二组特征之间的匹配，
识别与第一特征相关联的第一坐标和与第二特征相关联的第二坐标，其中第一坐标基于第一坐标系并且第二坐标基于第二坐标系，以及
基于第一坐标和第二坐标之间的关系来确定第一坐标系和第二坐标系之间的映射；以及
在移动设备处提供用户界面，通过使用移动设备指定移动机器人被导航到的位置以使用户能够与移动机器人交互，其中导航移动机器人到所指定的位置涉及使用第一坐标系和第二坐标系之间的映射。
2.根据权利要求1所述的方法，其中，所述用户界面被配置为使用户能够使用移动设备来指示移动机器人在指定定位处执行指定动作。
3.根据权利要求1或2所述的方法，包括：
配置用户界面以使用户能够在移动设备的显示模块上示出的图像上指定定位，
使用至少一个处理器来识别由用户指定的定位的坐标，以及
从移动设备向移动机器人发送指令，以指示移动机器人在由用户指定的定位处执行清洁操作，其中所述指令包括由用户指定的定位的坐标。
4.根据权利要求3所述的方法，包括：
确定由用户指定的定位的第一坐标，其中第一坐标基于第一坐标系，
使用第一坐标系和第二坐标系之间的映射将第一坐标转换成第二坐标，其中第二坐标基于第二坐标系，以及
向移动机器人发送包括第二坐标的指令。
5.根据权利要求1或2所述的方法，包括使用户能够在环境中的第一定位处使用移动设备，以与位于环境中的第二定位处的移动机器人交互，其中第二定位不在所述移动设备的视线内，并且所述交互涉及使用第一坐标系和第二坐标系之间的映射。
6.根据权利要求1或2所述的方法，包括：
在移动设备处，从移动机器人接收关于环境的数据，所述数据包括定位信息，以及
在移动设备处，在显示模块上显示环境的图像，并且将图形元素覆盖在图像上，其中所述图形元素是基于从移动机器人接收的数据而导出的。
7.根据权利要求6所述的方法，包括在所述图像上覆盖具有由移动机器人识别的指定特性的区域的表示。
8.根据权利要求1或2所述的方法，其中，具有指定特性的区域表示以下中的至少一个：(i)环境中在指定时间段内已经被移动机器人处理的区域、(ii)环境中在指定时间段内没有被移动机器人处理的区域、(iii)环境中预定要被处理并且还没有被移动机器人处理的区域、(iv)禁区、(v)移动机器人可穿过的区域、(vi)移动机器人不可穿过的区域、(vii)信号强度图、或(viii)步行交通统计图。
9.根据权利要求1或2所述的方法，包括在图像上覆盖由移动机器人识别的障碍物的表示。
10.根据权利要求9所述的方法，包括：
确定区域和障碍物相对于移动设备的相机的视点的位置，
确定区域的哪个部分被障碍物遮挡，以及
在显示模块上显示图像，其中所述区域中的具有指定特性的部分被障碍物遮挡。
11.根据权利要求1或2所述的方法，包括：
执行增强现实工具以在移动设备上实施增强现实会话，以及
配置用户界面以使用户能够在增强现实会话中与移动设备交互。
12.根据权利要求11所述的方法，包括使用增强现实工具以基于由移动设备的相机捕获的图像来建立第一坐标系。
13.根据权利要求1所述的方法，其中，第一坐标系基于从移动设备的位置捕获的图像并且第二坐标系基于从移动机器人的位置捕获的图像。
14.一种装置，包括：
存储设备，存储处理器可执行指令；以及
至少一个处理器，通信地耦合到所述存储设备，其中，在由至少一个处理器执行处理器可执行指令时，所述至少一个处理器被配置为：
确定与移动设备的相机的视点相关联的第一坐标系和与移动机器人的相机的视点相关联的第二坐标系之间的映射，其中第一坐标系不同于第二坐标系，所述确定包括：
对由移动设备的相机捕获的图像应用图像变换以生成修改的图像，其中，所述修改的图像从移动设备的相机的视点来模拟由移动机器人的相机捕获的图像，并且其中所述图像变换考虑移动设备相机的特性和移动机器人相机的特性，
将从由移动设备的相机捕获的图像中导出的房间的特征与从由移动机器人的相机捕获的图像中导出的房间的特征进行比较，其中，所述房间的地板表面将在清洁操作期间由移动机器人进行清洁，并且其中，所述比较包括将从所述修改的图像中导出的房间的特征与从由移动机器人的相机捕获的图像中导出的房间的特征进行比较，
识别从由移动设备的相机捕获的图像之一导出的第一特征和从由移动机器人的相机捕获的图像之一导出的第二特征之间的匹配，
其中所述识别包括识别从所述修改的图像中导出的第一组特征和从由所述移动机器人的相机捕获的所述图像中导出的第二组特征之间的匹配，
识别与第一特征相关联的第一坐标和与第二特征相关联的第二坐标，其中第一坐标基于第一坐标系并且第二坐标基于第二坐标系，以及
基于第一坐标和第二坐标之间的关系来确定第一坐标系和第二坐标系之间的映射；以及
在移动设备处提供用户界面，通过使用移动设备指定移动机器人被导航到的位置以使用户能够与移动机器人交互，其中导航移动机器人到所指定的位置涉及使用第一坐标系和第二坐标系之间的映射。
CN201980059811.XA 2018-07-13 2019-07-11 移动机器人清洁系统 Active CN112739244B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862698004P 2018-07-13 2018-07-13
US62/698,004 2018-07-13
PCT/US2019/041423 WO2020014495A1 (en) 2018-07-13 2019-07-11 Mobile robot cleaning system

Publications (2)

Publication Number Publication Date
CN112739244A CN112739244A (zh) 2021-04-30
CN112739244B true CN112739244B (zh) 2024-02-09

Family

ID=69139322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980059811.XA Active CN112739244B (zh) 2018-07-13 2019-07-11 移动机器人清洁系统

Country Status (4)

Country Link
US (2) US11669086B2 (zh)
EP (1) EP3820343A4 (zh)
CN (1) CN112739244B (zh)
WO (1) WO2020014495A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189896A1 (ja) * 2015-05-22 2016-12-01 富士フイルム株式会社 ロボット装置及びロボット装置の移動制御方法
US10769844B1 (en) * 2017-05-12 2020-09-08 Alarm.Com Incorporated Marker aided three-dimensional mapping and object labeling
WO2019019157A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE
EP3928329B1 (en) 2018-04-23 2024-04-03 SharkNinja Operating LLC Techniques for bounding cleaning operations of a robotic surface cleaning device within a region of interest
US11272823B2 (en) * 2018-08-31 2022-03-15 Neato Robotics, Inc. Zone cleaning apparatus and method
CN112493924B (zh) * 2019-08-26 2023-03-10 苏州宝时得电动工具有限公司 清洁机器人及其控制方法
EP3816753B1 (de) 2019-10-31 2023-05-10 Andreas Stihl AG & Co. KG Verfahren zum einlernen mindestens eines abschnitts eines begrenzungsrands einer fläche für ein grünflächenbearbeitungssystem, verfahren zum betreiben eines grünflächenbearbeitungssystems, einlern-system und grünflächenbearbeitungssystem
KR20210072463A (ko) * 2019-12-09 2021-06-17 한국전자통신연구원 인간-머신 상호작용 방법 및 이를 위한 장치
CN111220148A (zh) * 2020-01-21 2020-06-02 珊口（深圳）智能科技有限公司 移动机器人的定位方法、系统、装置及移动机器人
GB2592414B (en) * 2020-02-27 2022-08-31 Dyson Technology Ltd Robot
US11810160B1 (en) * 2020-03-27 2023-11-07 United Services Automobile Association Building mapping tools
US11263778B2 (en) * 2020-04-07 2022-03-01 Verizon Patent And Licensing Inc. Systems and methods for aiding a visual positioning system with indoor wayfinding
US20220019236A1 (en) * 2020-07-16 2022-01-20 Indoor Robotics Ltd. System and a method for orchestrating multiple mobile robots
CN112346455A (zh) * 2020-10-29 2021-02-09 深圳拓邦股份有限公司 扫地机器人与充电桩的对接方法、装置、扫地机器人
US11662737B2 (en) * 2020-12-28 2023-05-30 Irobot Corporation Systems and methods for dock placement for an autonomous mobile robot
DE102021102655A1 (de) * 2021-02-04 2022-08-04 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung System zum Reinigen einer Umgebung
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US20220276696A1 (en) * 2021-02-26 2022-09-01 BigBox VR, Inc. Asynchronous multi-engine virtual reality system with reduced vestibular-ocular conflict
CN113440050B (zh) * 2021-05-13 2022-04-22 深圳市无限动力发展有限公司 Ar设备与扫地机交互的清扫方法、装置及计算机设备
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230085486A1 (en) * 2021-09-13 2023-03-16 Here Global B.V. Removing data contribution from aggregated and/or integrated geographic database
CN116262017A (zh) * 2021-12-13 2023-06-16 苏州宝时得电动工具有限公司 自移动机器人系统及其检测基站内异常的方法
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
CN114521843B (zh) * 2022-04-21 2022-07-12 深圳市倍思科技有限公司 清洁位置确定方法、装置、终端设备及智能清洁系统
US12073054B2 (en) 2022-09-30 2024-08-27 Sightful Computers Ltd Managing virtual collisions between moving virtual objects
DE102022210911A1 (de) 2022-10-17 2024-04-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen eines Auswahlbereichs in einer Umgebung für ein mobiles Gerät
US20240160204A1 (en) * 2022-11-10 2024-05-16 Htc Corporation Vehicle control system, head-mounted display device, and vehicle control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407774A (zh) * 2013-07-29 2016-03-16 三星电子株式会社 自动清扫系统、清扫机器人和控制清扫机器人的方法
CN106175615A (zh) * 2012-10-26 2016-12-07 Lg电子株式会社 机器人清洁器系统的控制方法及遥控设备
CN207115193U (zh) * 2017-07-26 2018-03-16 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548238B2 (en) * 1997-07-02 2009-06-16 Nvidia Corporation Computer graphics shader systems and methods
EP2363775A1 (en) * 2000-05-01 2011-09-07 iRobot Corporation Method and system for remote control of mobile robot
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
TW583603B (en) * 2003-02-21 2004-04-11 Inventec Appliances Corp Method for producing enhanced-resolution image by use of a plurality of low-resolution images
US8265376B2 (en) * 2008-07-21 2012-09-11 Cognitens Ltd. Method and system for providing a digital model of an object
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
JP2013544382A (ja) * 2010-09-03 2013-12-12 アルデバラン ロボティクス 移動ロボット
US20120215380A1 (en) * 2011-02-23 2012-08-23 Microsoft Corporation Semi-autonomous robot that supports multiple modes of navigation
US20140192159A1 (en) * 2011-06-14 2014-07-10 Metrologic Instruments, Inc. Camera registration and video integration in 3d geometry model
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
KR101311100B1 (ko) 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101378883B1 (ko) * 2011-09-07 2014-03-28 엘지전자 주식회사 로봇 청소기, 단말 장치, 및 로봇 청소기의 원격 제어 시스템과 방법
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
US9644952B2 (en) * 2012-10-18 2017-05-09 Hunter Engineering Company Method for evaluating component calibration in machine vision vehicle wheel alignment system
JP6089830B2 (ja) * 2013-03-18 2017-03-08 富士通株式会社 映像特徴生成システム、映像特徴生成方法、映像特徴生成プログラム、映像照合システム、映像照合方法、映像照合プログラム
US9283674B2 (en) * 2014-01-07 2016-03-15 Irobot Corporation Remotely operating a mobile robot
DE102014110265A1 (de) 2014-07-22 2016-01-28 Vorwerk & Co. Interholding Gmbh Verfahren zur Reinigung oder Bearbeitung eines Raumes mittels eines selbsttätig verfahrbaren Gerätes
US10335949B2 (en) * 2016-01-20 2019-07-02 Yujin Robot Co., Ltd. System for operating mobile robot based on complex map information and operating method thereof
US10043238B2 (en) * 2016-01-21 2018-08-07 International Business Machines Corporation Augmented reality overlays based on an optically zoomed input
CN107229274B (zh) * 2016-03-24 2022-06-28 松下电器（美国）知识产权公司 位置指示方法、终端装置、自行式装置以及程序
JP6995770B2 (ja) * 2016-06-15 2022-01-17 アイロボット・コーポレーション 自律移動ロボットを制御するためのシステムおよび方法
KR102526083B1 (ko) 2016-08-30 2023-04-27 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20180024600A (ko) * 2016-08-30 2018-03-08 엘지전자 주식회사 로봇 청소기 및 로봇 청소기를 포함하는 시스템
KR102543742B1 (ko) * 2016-09-27 2023-06-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 동작 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체
US10732797B1 (en) * 2017-01-10 2020-08-04 Lucasfilm Entertainment Company Ltd. Virtual interfaces for manipulating objects in an immersive environment
JP2020509500A (ja) * 2017-03-02 2020-03-26 ロブアート ゲーエムベーハーＲＯＢＡＲＴ ＧｍｂＨ 自律移動ロボットの制御方法
US10586118B2 (en) * 2018-01-13 2020-03-10 Toyota Jidosha Kabushiki Kaisha Localizing traffic situation using multi-vehicle collaboration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106175615A (zh) * 2012-10-26 2016-12-07 Lg电子株式会社 机器人清洁器系统的控制方法及遥控设备
CN105407774A (zh) * 2013-07-29 2016-03-16 三星电子株式会社 自动清扫系统、清扫机器人和控制清扫机器人的方法
CN207115193U (zh) * 2017-07-26 2018-03-16 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备

Also Published As

Publication number Publication date
WO2020014495A1 (en) 2020-01-16
EP3820343A4 (en) 2022-06-29
US20200019156A1 (en) 2020-01-16
US11669086B2 (en) 2023-06-06
US20230280743A1 (en) 2023-09-07
CN112739244A (zh) 2021-04-30
EP3820343A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN112739244B (zh) 移动机器人清洁系统
US11961285B2 (en) System for spot cleaning by a mobile robot
EP3508938B1 (en) Mobile cleaning robot teaming and persistent mapping
EP3508937B1 (en) Mobile cleaning robot artificial intelligence for situational awareness
US20210260773A1 (en) Systems and methods to control an autonomous mobile robot
JP7259015B2 (ja) 移動ロボット及びその制御方法
US11966227B2 (en) Mapping for autonomous mobile robots
TWI760881B (zh) 清掃機器人及其控制方法
KR20220121483A (ko) 지능적 맵 생성 방법 및 그 이동 로봇
JP2022165192A (ja) 領域認識システム、移動体および領域認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant