CN109195751B - 用于基于区分类的机器人的可配置操作的系统和方法 - Google Patents

用于基于区分类的机器人的可配置操作的系统和方法 Download PDF

Info

Publication number
CN109195751B
CN109195751B CN201780026724.5A CN201780026724A CN109195751B CN 109195751 B CN109195751 B CN 109195751B CN 201780026724 A CN201780026724 A CN 201780026724A CN 109195751 B CN109195751 B CN 109195751B
Authority
CN
China
Prior art keywords
regions
mobile robot
cleaning
segmentation map
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780026724.5A
Other languages
English (en)
Other versions
CN109195751A (zh
Inventor
A.D.克莱纳
M.E.慕尼黑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iRobot Corp
Original Assignee
iRobot Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iRobot Corp filed Critical iRobot Corp
Priority to CN202211462071.4A priority Critical patent/CN115844284A/zh
Publication of CN109195751A publication Critical patent/CN109195751A/zh
Application granted granted Critical
Publication of CN109195751B publication Critical patent/CN109195751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02Nozzles
    • A47L9/04Nozzles with driven brushes or agitators
    • A47L9/0461Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0488Combinations or arrangements of several tools, e.g. edge cleaning tools
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894Details related to signal transmission in suction cleaners
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2245Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality
    • G05D1/2246Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality displaying a map of the environment
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/246Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2464Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using an occupancy grid
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/648Performing a task within a working area or space, e.g. cleaning
    • G05D1/6482Performing a task within a working area or space, e.g. cleaning by dividing the whole area or space in sectors to be processed separately
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/10Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/40Indoor domestic environment
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

一种操作移动机器人的方法包括:生成基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图;将相应区域中的至少一个的子区域识别为非杂物区和杂物区;以及基于对子区域的识别计算覆盖图案。所述覆盖图案指示用于非杂物区和杂物区的导航的序列,并且被提供给移动机器人。响应于覆盖图案,移动机器人按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个的非杂物区和杂物区。还讨论了相关方法、计算设备和计算机程序产品。

Description

用于基于区分类的机器人的可配置操作的系统和方法
优先权的要求
本申请要求题为“SYSTEMS AND METHODS FOR CONFIGURABLE OPERATION OF AROBOT USING A REMOTE USER INTERFACE”并且2016年9月14日在美国专利和商标局中提交的美国临时专利申请No.62/394,638的优先权,所述美国临时专利申请的公开内容以其全文通过引用并入本文中。
技术领域
本发明一般地涉及机器人系统,并且更具体地,涉及配置自主机器人的操作。
背景技术
自动化机器人和机器人设备被用于执行传统上认为是平凡、耗时或危险的任务。例如,基本上自主机器人可以被用于提供表面的覆盖以执行操作,诸如清洁、执行表面处理和/或涂漆。然而,从用户的视角来看,自主机器人任务可能是不可预测的,从而使得用户缺少关于机器人接下来将移动到哪个区的理解。另外,用户可能缺少关于任务的任何信息和/或输入。
发明内容
本发明的一些实施例包括一种计算设备,其包括处理器以及耦合到所述处理器的存储器,其中所述存储器包括其中存储计算机可读程序代码的非暂时性计算机可读存储介质。计算机可读程序代码可由处理器执行以执行操作,所述操作包括:生成基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图;基于其中的差异,将相应区域中的至少一个的子区域分类或以其他方式识别为第一区和第二区(诸如,非杂物区和杂物区);以及基于对子区域的识别计算覆盖图案。覆盖图案指示用于第一区和第二区(诸如,非杂物区和杂物区)的导航的序列,并且被提供给移动机器人。响应于覆盖图案,移动机器人按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个的第一区和第二区(例如,非杂物区和杂物区)。
本发明的一些实施例包括一种操作移动机器人的方法。所述方法包括由至少一个处理器执行在非暂时性计算机可读存储介质中存储的计算机可读指令以执行操作,所述操作包括:生成基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图;将相应区域中的至少一个的子区域分类或以其他方式识别为非杂物区和杂物区;以及基于对子区域的识别计算覆盖图案。覆盖图案指示用于非杂物区和杂物区的导航的序列,并且被提供给移动机器人。响应于覆盖图案,移动机器人按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个的非杂物区和杂物区。
本发明的一些实施例包括一种用于操作移动机器人的计算机程序产品。所述计算机程序产品包括其中存储有计算机可读指令的非暂时性计算机可读介质,所述计算机可读指令在由处理器执行时致使处理器执行操作,所述操作包括:生成基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图;将相应区域中的至少一个的子区域分类或以其他方式识别为非杂物区和杂物区;以及基于对子区域的识别,计算覆盖图案。覆盖图案指示用于非杂物区和杂物区的导航的序列,并且被提供给移动机器人。响应于覆盖图案,移动机器人按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个的非杂物区和杂物区。
在一些实施例中,计算设备可以是移动机器人的部件,并且占用数据可以由移动机器人的至少一个传感器检测。所述操作可以进一步包括操作移动机器人的驱动器以按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个的非杂物区和杂物区。
在一些实施例中,计算设备可以是通信耦合到移动机器人的服务器的部件。所述操作可以进一步包括:响应于对表面的导航,从移动机器人接收占用数据;以及将分割图存储在数据存储装置中。
在一些实施例中,序列可以进一步包括对表面的周界的导航,并且移动机器人可以按由覆盖图案指示的序列顺序地导航非杂物区、杂物区和表面的周界。
在一些实施例中,覆盖图案可以进一步指示非杂物区的排序方向。排序方向可以对应于相应区域中的至少一个的维度,所述维度比所述相应区域中的至少一个的的另一维度长,并且移动机器人可以按由覆盖图案指示的排序方向遍历非杂物区。
在一些实施例中,由分割图定义的相应区域可以对应于相应房间。覆盖图案可以进一步指示对相应房间的导航的次序,并且移动机器人可以在按由覆盖图案指示的次序对相应房间中的下一个房间的导航之前按由覆盖图案指示的序列顺序地导航相应房间中的一个的非杂物区和杂物区。
在一些实施例中,计算覆盖图案可以进一步包括基于与杂物区的接近度确定用于结束对非杂物区的导航的表面上的位置。响应于按由覆盖图案指示的排序方向遍历非杂物区,移动机器人可以在具有接近于杂物区的位置处结束对非杂物区的导航并且可以按随机图案遍历杂物区。响应于遍历杂物区,移动机器人可以在遍历子区域中的至少一个其他子区域之前不按排序方向遍历非杂物区。
在一些实施例中,所述操作可以进一步包括将分割图提供给用户设备。用户设备可以包括被配置成显示分割图以供用户查看的显示器或其他用户界面。所述操作还可以包括:响应于向用户设备提供分割图,从用户设备接收选择输入;以及基于选择输入计算覆盖图案。
在一些实施例中,选择输入可以包括针对相应区域和/或其子区域中的至少一个的相应的清洁的级别。覆盖图案可以被生成以指示相应的清洁的级别,并且移动机器人可以根据由覆盖图案指示的相应的清洁的级别在导航相应区域和/或其子区域中的至少一个时执行多个清洁遍次。
在一些实施例中,选择输入可以包括针对相应区域和/或其子区域中的一个或多个的用户定义的边界或标签。覆盖图案可以被生成以指示用户定义的边界或标签,并且移动机器人可以根据由覆盖图案指示的用户定义的边界或标签避免对相应区域和/或其子区域中的一个或多个的导航。
在一些实施例中,所述操作可以进一步包括检测子区域的相应地板铺设类型;并且计算覆盖图案可以进一步包括基于与其对应的子区域的相应地板铺设类型确定用于非杂物区和杂物区的导航的序列。
在一些实施例中,分割图可以包括先前从用户设备接收和/或由移动机器人响应于对表面的至少一个先前导航收集的数据。
在一些实施例中,生成分割图可以包括:将由移动机器人响应于对表面的导航收集的占用数据与由移动机器人响应于对表面的至少一个先前导航收集的数据进行比较;以及更新分割图以包括由比较指示的共性并且排除由比较指示的异常值。
在一些实施例中,生成分割图可以包括:通过应用阈值化(thresholding)函数基于占用数据计算二进制图像;以及通过应用距离变换对二进制图像执行分水岭变换以将二进制图像分成相应区域。
在一些实施例中,分割图可以包括相对于由占用数据指示的实际边界的简化边界,所述占用数据由移动机器人响应于对表面的导航收集。
在一些实施例中,所述操作可以进一步包括在将分割图提供给用户设备之前,修改具有简化边界的分割图以响应于对其的识别来指示杂物区。
在一些实施例中,将子区域识别为非杂物区和杂物区可以进一步包括:访问包括多个图案和对其的识别的数据存储装置;以及基于与存储在数据存储装置中的多个图案的相似性对子区域内的像素区域进行分类。
在一些实施例中,对多个图案的识别中的一个或多个可以基于从一个或多个用户设备接收的相应标注输入。
在一些实施例中,将子区域识别为非杂物区和杂物区可以进一步包括响应于访问数据存储装置,将像素区域分类为对应于墙壁的静态结构或对应于杂物的动态结构。
在一些实施例中,将子区域识别为非杂物区和杂物区可以进一步包括:基于占用数据识别至少一个边界;以及在访问数据存储装置之前,将像素区域区分为与至少一个边界相邻的附着像素区域和与至少一个边界间隔开的分离像素区域。
本发明的一些实施例包括用于操作移动地板清洁机器人的方法。方法可以包括:使用移动地板清洁机器人生成封闭空间的表面的分割图以基于由移动地板清洁机器人生成的占用网格识别表面的多个区域;将表面的分割图发送到包括被配置成显示表面的分割图的显示器的用户设备;以及基于从用户接收的到用户设备中的输入,从用户设备接收修改的分割图。
一些实施例包括通过在多个区域中的各个区域中顺序地执行清洁操作来对表面执行清洁操作,其中所述多个区域中的给定的一个区域中的清洁操作在开始所述多个区域中的另一个中的清洁操作之前完成。
在一些实施例中,发送分割图包括使用至少一个无线通信链路无线发射分割图数据。一些实施例规定,所述至少一个无线通信链路包括在用户设备与移动地板清洁机器人之间提供通信的局域网。在一些实施例中,所述至少一个无线通信链路包括被配置成提供占用网格、分割图和/或修改的分割图的持久存储的服务器。
一些实施例规定,修改的分割图识别要清洁的多个区域的子集,所述子集包括所述多个区域中的一个的一部分,并且修改的分割图识别要按其来清洁所述多个区域的次序。
一些实施例包括通过基于修改的分割图执行清洁操作来对表面执行清洁操作。在一些实施例中,基于修改的分割图执行清洁操作包括对多个区域的子集执行清洁操作。在一些实施例中,基于修改的分割图执行清洁操作包括每个按由用户选择的多个级别中的相应级别并且按对应于相应区域中无障碍物的区的最大维度的排序方向中执行所述多个区域中的一个的清洁操作,并且所述多个级别与移动地板清洁机器人在所述多个区域中的一个中进行的多个清洁遍次相关联。
在一些实施例中,通过用移动地板清洁机器人探索表面来生成占用网格包括针对移动地板清洁机器人在占用内的定位生成视觉图。一些实施例规定,针对定位生成视觉图包括:使用由移动地板清洁机器人捕获的多个图像检测特征;基于由移动地板清洁机器人捕获的图像确定特征的特征描述;通过在特征数据库中执行特征查找来对特征进行分类;确定与所述多个图像相关联的移动地板清洁机器人的姿势和位置;以及在占用网格中生成与移动地板清洁机器人的姿势和位置相关联的地标。一些实施例规定,所述方法进一步包括用在移动地板清洁机器人的多个任务上生成的更新地标数据扩增占用网格。
在一些实施例中,占用网格包括多个像素,每个像素具有对应于像素位置被占用、可遍历还是未被探索的灰度值。一些实施例规定,使用占用网格生成表面的分割图以识别表面的多个区域包括:将中值滤波器应用于多个像素,其用对应于环绕所述多个像素中的对应像素的的像素的中间值替换每个像素值以生成滤波占用网格;通过将阈值化函数应用于滤波占用网格来计算滤波占用网格的二进制图像;以及通过应用距离变换对所述二进制图像执行分水岭变换以将所述二进制图像分成多个区域和多个区域的顶点。
一些实施例包括对二进制图像中的多个区域执行杂物去除操作。在一些实施例中,执行杂物去除操作包括:识别二进制图像的边界;识别和去除对应于与二进制图像的边界分离的障碍物的像素;以及识别和去除对应于被附接到二进制图像的边界区域的障碍物的像素。一些实施例包括合并所述多个区域的顶点以联结所述多个区域并且定义与所述多个区域相邻的走廊。
一些实施例包括生成基于包括多个区域的分割图的自动化地板覆盖图案,自动化地板覆盖图案包括对对应于所述多个区域中的每个的排序方向的选择。在一些实施例中,排序方向定义区域的维度,所述维度比所述区域的其他维度长。一些实施例规定,排序方向定义相应区域的无障碍物的部分的维度,并且所述维度不同于比所述区域的其他维度长的所述区域的维度。在一些实施例中,自动化地板覆盖图案针对所述多个区域中的每个区域包括顺序地选择用于覆盖的区域的整齐部分、用于覆盖的区域的周界和用于覆盖的区域的杂乱部分。
一些实施例包括将表面的分割图发送到远程计算设备,所述远程计算设备被配置成与移动地板清洁机器人并且与包括被配置成显示表面的分割图的显示器的用户移动终端通信。在一些实施例中,响应于分割图的生成执行将表面的分割图发送到远程计算设备以维护对应于移动地板清洁机器人的历史数据。一些实施例包括基于从移动地板清洁机器人发送的数据和/或从用户接收的到用户设备中的输入从远程计算设备接收修改的分割图。一些实施例包括通过基于修改的分割图执行清洁操作来对表面执行清洁操作。在一些实施例中,分割图包括对应于移动地板清洁机器人的操作数据。一些实施例规定,操作数据包括清洁函数图,其识别对应于由移动地板清洁机器人作为在分割图上的位置的函数收集的垃圾的数量的垃圾收集。
本发明的一些实施例包括一种操作用户终端的方法,其包括由用户终端的至少一个处理器执行存储在包括非暂时性计算机可读存储介质的存储器中的计算机可读指令以执行操作,所述操作包括经由用户终端的收发器接收基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图。分割图将相应区域中的至少一个的子区域识别为杂物区和非杂物区。所述操作进一步包括:经由用户终端的用户界面显示分割图的图形表示;经由用户界面接收对应于分割图的相应区域和/或其子区域中的一个或多个的选择输入;以及经由收发器将包括选择输入的修改的分割图发射到移动机器人。
本发明的一些实施例包括计算机程序产品,其包括具有在介质中实现的计算机可读程序代码的计算机可读存储介质,所述计算机可读程序代码在由计算机的处理器执行时致使计算机执行操作,所述操作包括:接收封闭空间的表面的分割图,所述分割图包括表面的多个区域并且由移动地板清洁机器人生成;在计算机的显示器上显示分割图的图像;经由计算机的用户输入设备接收对应于表面的分割图的用户输入;以及将对应于用户输入修改的修改的分割图发送到移动地板清洁机器人。
在一些实施例中,接收用户输入包括接收用于修改分割图的图像的外观的用户输入。一些实施例规定,用于修改图像的外观的用户输入包括用于改变用户相对于图像的透视的角度、维度选择、缩放选择和图特征选择的用户输入。在一些实施例中,图特征选择包括致使所显示分割图的图像图示历史垃圾收集的水平作为在分割图上的位置的函数的热图选择。一些实施例规定,图特征选择包括致使所显示分割图的图像选择性地图示分割图上的杂物的杂物图选择。
在一些实施例中,接收用户输入包括接收被配置成致使所述多个区域中的一个划分成多于一个区域的划分区域输入。
一些实施例规定,接收用户输入包括接收被配置成致使所述多个区域中的多于一个组合成单个区域的组合区域输入。
在一些实施例中,操作进一步包括:由计算机接收由移动地板清洁机器人生成的状态通信;以及响应于接收状态通信,在计算机的显示器上显示消息。在一些实施例中,状态通信包括对应于清洁任务的进度更新。一些实施例规定,对应于清洁任务的进度更新被显示为分割图的图像上的清洁操作的动画图形。在一些实施例中,进度更新是包括所显示分割图的图像上的视觉指示的基本上实时进度更新。
在一些实施例中,状态通信包括识别由移动地板清洁机器人检测到的状况的警报消息。一些实施例规定,所述状况包括未完成任务状况,以及移动地板清洁机器人无法完成清洁任务。
在一些实施例中,所述状况包括意外障碍物状况,移动地板清洁机器人检测到未包括在分割图中的障碍物,并且所述意外障碍物的位置被显示在分割图的图像上。
一些实施例规定,接收用户输入包括接收包括清洁任务指令的用户输入。在一些实施例中,清洁任务指令包括清洁次序指令,所述清洁次序指令包括对在给定任务中要清洁所述多个区域中的哪些区域的识别以及对应于所述多个区域中的识别的区域的清洁次序。在一些实施例中,清洁任务指令包括识别要清洁的所述多个区域中的第一选择的第一清洁任务指令和识别不同于所述多个区域的第一选择的要清洁的所述多个区域的第二选择的第二清洁任务。一些实施例规定,第一清洁任务指令包括第一调度时间,并且第二清洁任务包括不同于第一调度时间的第二调度时间。
在一些实施例中,清洁任务指令包括针对所述多个区域中的第一区域的第一清洁级别和针对所述多个区域中的第二区域的不同于第一清洁级别的第二清洁级别,第一清洁级别识别移动地板清洁机器人清洁第一区域的第一次数的数量,并且第二清洁级别识别移动地板清洁机器人清洁第二区域的第二次数的数量。
在一些实施例中,清洁任务指令包括对不由移动地板清洁机器人清洁的占用地板空间的部分的识别。一些实施例规定,对不由移动地板清洁机器人清洁的占用地板空间的部分的识别是持久的。在一些实施例中,对不由移动地板清洁机器人清洁的占用地板空间的部分的识别适用于单个清洁任务。
一些实施例规定,清洁任务指令包括针对所述多个区域中的每个的主要清洁方向,其识别移动地板清洁机器人在清洁操作的无障碍物部分中清洁的清洁方向。
在一些实施例中,接收用户输入包括接收包括对用户偏好数据的请求的用户偏好数据输入,并且操作进一步包括显示用户偏好数据。一些实施例规定,显示用户偏好数据包括显示历史用户偏好数据和/或对应于单个清洁任务的用户偏好数据。
一些实施例规定,接收用户输入包括接收机器人团队配置输入,其包括对应于第一移动地板清洁机器人的第一清洁任务指令和对应于第二移动地板清洁机器人的第二清洁任务。在一些实施例中,第一和第二清洁任务对应于占用的表面的分割图。一些实施例规定,第一和第二清洁任务对应于占用的不同部分的不同分割图。在一些实施例中,第一移动地板清洁机器人执行第一类清洁操作,并且第二移动地板清洁机器人执行第二类清洁操作。
一些实施例规定,计算机是手持式移动终端,并且显示器是触摸屏显示器。一些实施例规定,所述操作进一步包括经由触摸屏显示器生成图形用户界面,并且经由用户输入设备接收用户输入包括使用触摸屏经由图形用户界面接收用户输入。
在一些实施例中,将修改的分割图发送到移动地板清洁机器人包括将修改的分割图发送到被配置成提供修改的分割图的持久存储的远程服务器。
本发明的一些实施例包括一种机器人管理节点,其包括处理器以及存储器,所述存储器耦合到所述处理器并且包括在由处理器执行时致使处理器执行操作的计算机可读程序代码。操作包括从机器人接收封闭空间的表面的分割图,所述分割图识别由机器人收集的基于表面的占用数据的多个区域并且将占用的表面的分割图存储在与机器人相关联的数据存储装置中。
在一些实施例中,操作进一步包括从接收对应于分割图的用户输入的用户设备接收用户输入数据。在一些实施例中,基于用户输入数据修改分割图以生成修改的分割图。在一些实施例中,操作进一步包括将基于用户输入数据和分割图的修改的分割图发送到可操作以响应于修改的分割图执行清洁任务的机器人。
在一些实施例中,从机器人接收分割图包括接收由机器人在多个清洁任务期间生成的多个分割图,所述分割图通过之后接收的分割图更新和/或扩增,并且存储分割图包括存储多个分割图以生成包括修改的分割图的历史分割图数据。
一些实施例规定,修改的分割图识别要清洁的多个区域的子集,所述子集包括所述多个区域中的一个的一部分,并且修改的分割图识别按其来清洁所述多个区域的次序。
一些实施例规定,清洁任务包括每个按由用户选择的多个级别中的相应级别并且按对应于相应区域中无障碍物的区的最大维度的排序方向执行所述多个区域中的一个的清洁操作,并且所述多个级别与机器人在所述多个区域中的一个中进行的多个清洁遍次相关联。
在一些实施例中,排序方向定义所述区域的维度,所述维度比所述区域的其他维度长。
一些实施例规定,排序方向定义相应区域的无障碍物的部分的维度,并且所述维度不同于比所述区域的其他维度长的所述区域的维度。
在一些实施例中,分割图包括对应于机器人的操作数据。一些实施例规定,操作数据包括清洁函数图,其识别对应于作为在分割图上的位置的函数由机器人收集的垃圾的数量的垃圾收集。在一些实施例中,操作数据包括清洁函数图,其识别作为在分割图上的位置的函数由机器人执行的遍次的数量。
在一些实施例中,接收用户输入数据包括接收机器人团队配置输入,其包括对应于机器人的第一清洁任务指令和对应于第二机器人的第二清洁任务。
一些实施例规定,处理器和存储器被包括在远离机器人和占用的基于云的服务器中。
一些实施例涉及一种可操作以执行本文中描述的操作的电子设备。
应注意,关于一个实施例描述的本发明的方面可以被并入不同实施例中,尽管未相对于其具体描述。即,所有实施例和/或任何实施例的特征可以按任何方式和/或组合来组合。在下文阐述的说明书中详细解释本发明的这些和其他目的和/或方面。
通过阅读附图和随后的实施例的具体实施方式,本领域普通技术人员将理解本发明的其他特征、优点和细节,此类描述仅是对本发明的说明。在审阅以下附图和具体实施方式时,根据实施例的其他方法、设备和计算机程序产品对本领域技术人员将是或者将变得显而易见的。旨在所有此类附加方法、设备和计算机程序产品都被包括在此描述内、在本发明主题的范围内并且受到所附权利要求的保护。此外,旨在本文中公开的所有实施例都可以单独实现或者按任何方式和/或组合来组合实现。
附图说明
本发明的方面通过示例图示并且不受附图的限制。在附图中:
图1是图示根据本发明的一些实施例的可以被用于提供机器人管理的设备的系统的框图。
图2A是表示根据本发明的一些实施例的移动机器人的示意图。
图2B和图2C分别是根据本发明的一些实施例的移动机器人的顶部和底部透视图。
图3是根据本发明的一些实施例的可以是机器人管理节点的示例的电子设备的框图。
图4是根据本发明的一些实施例的无线通信设备和操作的方法的框图
图5是图示根据本发明的一些实施例的用于操作移动地板清洁机器人的方法的框图。
图6是图示根据本发明的一些实施例的用户设备上的计算机可读程序产品的操作的框图。
图7是图示根据本发明的一些实施例的机器人管理节点上的计算机程序产品的操作的框图。
图8A至图8C是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的自动化图清洁和分割操作中的原始数据图、清洁图和分割图。
图9A至图9C是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的操作中的原始数据图、具有杂物像素的分割图和具有杂物区域的分割图的用户显示偏好选项。
图10A至图10F是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的用于对分割图执行用户区域合并的操作。
图11A至图11C是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的用于对分割图执行用户区域拆分的操作。
图12A至图12D是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的用于对分割图执行用户区域标注的操作。
图13是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的用于在分割图上显示机器人的进度的操作。
图14是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的用于在分割图上向用户提供故障状况的警报的操作。
图15是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的用于接收用户输入以在分割图上提供机器人的清洁序列的操作。
图16A至图16G是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的在相同占用中使用多次运行的图聚合的操作。
图17A和图17B是可以经由通信设备的用户界面显示的图形表示,其根据本发明的一些实施例分别基于图16A-16G中图示的无杂物和包括杂物的原始数据图图示来自聚合操作的分割图。
图18A和图18B是可以经由通信设备的用户界面显示的图形表示,其根据本发明的一些实施例基于图16A-16G中图示的原始数据图分别图示占用图的原始数据和占用图的三维表示。
图19是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的图示用于生成对应于封闭空间的持久信息的操作的占用图。
图20A至图20K是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的对应于在机器人探索期间采集的数据的占用图和分割图的视图。
图21是图示根据本发明的一些实施例的可以被用于提供机器人管理的设备的系统的图。
图22是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的包括对应于清洁任务的任务覆盖图的历史屏幕。
图23是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的图示对应于清洁任务的实时报告的占用图。
图24是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的图示多任务覆盖显示的占用图。
图25是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例可以显示的基于房间的数据。
图26是展示根据本发明的一些实施例的其中可以使用语音命令经由通信设备提供用户输入的操作的图形表示。
图27是根据本发明的一些实施例的接收用户输入以响应于通信设备的触摸屏上的手势定义清洁任务边界的图形表示。
图28A至图28C是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的原始数据图、清洁图和具有检测到的杂物区域的清洁图。
图29A至图29D是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的包括相应区特定清洁操作的分割图。
图30A至图30G是根据本发明的一些实施例的可以针对相应区特定清洁操作和/或执行区清洁操作的序列的用户选择经由通信设备的用户界面显示的图形表示。
图31A至图31C是根据本发明的一些实施例的可以针对开放区清洁操作的清洁模式的用户选择经由通信设备的用户界面显示的图形表示。
图32是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的针对区特定清洁操作的地板类型的检测和/或用户选择。
图33A至图33D图示根据本发明的一些实施例的用于生成简化图以供经由通信设备的用户界面显示的操作。
图34A至图34F是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的对象检测操作。
图35A至图35D是图示根据本发明的一些实施例的用于杂物分类和特征提取的操作的图形表示。
图36A至图36C是图示根据本发明的一些实施例的用于通过多个图之间的特征匹配和分割转移来更新持久图数据的操作的图形表示。
图37是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的移动机器人响应于时间状态的用户选择的操作。
具体实施方式
现在将在下文中参考附图更全面地描述本发明,在附图中示出了本发明的说明性实施例。在附图中,为清楚起见,可夸大区域或特征的相对大小。然而,本发明可以以许多不同形式实现,并且不应解释为限于本文中阐述的实施例;相反,提供这些实施例使得本公开将是彻底且完整的,并且将向本领域技术人员充分传达本发明的范围。
将理解,当元件被称为被“耦合”或“连接”到另一元件时,其可以被直接耦合或连接到所述另一元件,或者还可存在中间元件。相比之下,当元件被称为被“直接耦合”或“直接连接”到另一元件时,不存在中间元件。相同编号贯穿始终指代相同元件。
另外,本文中为便于描述可以使用空间相对术语(诸如“在…之下”、“在…下方”、“下部”、“在…上方”、“在…之上”、“上部”等等)来描述如图中图示的一个元件或特征与另外的(一个或多个)元件或(一个或多个)特征的关系。将理解,除图中描绘的取向以外,所述空间相对术语还旨在包含在使用或操作中的设备的不同取向。例如,如果图中的设备被翻转,则描述为“在其他元件或特征之下”或“在其他元件或特征下面”的元件将取向“在其他元件或特征上方”。因此,示例术语“在…之下”可以包含“在…上方”和“在…之下”二者的取向。设备可以以其他方式取向(旋转90度或以其他取向),并且相应地解释本文中使用的空间相对描述符。
本文中使用的术语仅用于描述特定实施例的目的,并且不旨在限制本发明。如本文中所使用,单数形式“一”、“一个”和“所述”还旨在包括复数形式,除非上下文另外明确指示。将进一步理解,当在本说明书中使用时,术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在,但是并不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。如本文中所使用,表达“和/或”包括相关联所列举条目中的一个或多个的任何和所有组合。
“移动机器人”可以是指包括处理器、存储器和驱动系统的用于导航可变环境状况并且基于多个传感器输入做出自主决策的任何设备。如本文中所述,移动机器人可以包括机器人清洁器(诸如,
Figure GDA0003801427060000121
和/或BRAAVA JetTM清洁器)。“通信信号”可以是指由网络使能的电子设备发射的任何信号。此类电子设备可以包括用于经由无线个域、局域和/或广域网通信的处理器、存储器以及发射器和/或接收器,并且可以包括但不限于物联网(IoT)设备。无线通信信号可以包括射频信号,包括但不限于Wi-Fi信号、蓝牙信号和/或光学信号。
如本文中所使用,“无线通信设备”包括但不限于被配置成用例如蜂窝网络、无线局域网(WLAN)、数字电视网络(诸如DVB-H网络)、卫星网络、AM/FM广播发射器和/或另一通信终端经由无线接口接收/发射通信信号的设备。无线通信设备可以称为“无线通信终端”、“无线终端”和/或“移动终端”。无线通信设备的示例包括但不限于卫星或蜂窝无线电话;可以将蜂窝无线电话与数据处理、传真和数据通信能力组合在一起的个人通信系统(PCS)终端;可以包括无线电话、寻呼机、因特网/内联网访问、网络浏览器、组织器(organizer)、日历和/或全球定位系统(GPS)接收器的PDA;以及包括无线电收发器的常规膝上型计算机和/或掌上接收器或其他用具,包括WLAN路由器等等。
除非另外定义,否则本文中使用的所有术语(包括技术和科学术语)都具有与由本发明所属技术领域的普通技术人员通常理解的含义相同的含义。将进一步理解,术语(诸如在常用词典中定义的那些术语)应被解释为具有与其在相关领域的上下文中的含义一致的含义,并且将不按理想化或过于正式的意义解释,除非在本文中明确如此定义。
图1是图示根据本发明的一些实施例的可以用于提供机器人管理的设备的系统的框图。一些实施例规定,本文中公开的系统和/或操作可以包括机器人管理节点200,所述机器人管理节点200可以经由一个或多个有线和/或无线通信和/或数据网络204通信耦合到一个或多个机器人100和/或一个或多个用户设备202。在一些实施例中,机器人100和用户设备202可以经由近场通信协议直接通信耦合。用户设备202可以是有线或无线通信终端,诸如台式计算机或膝上型计算机、平板计算机或智能电话。用户设备202可以包括存储在其存储器中用于与(一个或多个)机器人100和/或机器人管理节点200通信的应用。
在一些实施例中,机器人管理节点200可以包括专用计算机,所述专用计算机包括能够接收到一个或多个机器人100和/或一个或多个用户设备202的通信和发射通信到一个或多个机器人100和/或一个或多个用户设备202的应用的运行实例。一些实施例规定,机器人管理节点200可以进一步包括对应于文件服务器、数据库服务器、应用服务器和/或网络服务器(包括基于云的服务器)的实例和/或操作。在一些实施例中,机器人管理节点200包括经由到设施和/或建筑物电源的有线电力连接接收电力的静止或固定位置处理设备。一些实施例规定,机器人管理节点200经由有线数据连接发射和/或接收数据。在一些实施例中,机器人管理节点200可以在包括板载电源并且使用无线和/或有线数据连接发射和/或接收数据的移动处理设备上提供。如本文中所公开,机器人管理节点200可以提供分割图、用户输入、机器人操作数据等等的持久存储。例如,所述持久存储可以包括由通过(一个或多个)机器人100在对一个或多个操作环境的导航期间收集的占用数据和/或无线信号强度/覆盖数据生成的图,如例如在题为“METHODS,SYSTEMS,AND DEVICES FOR MAPPINGWIRELESS COMMUNICATION SIGNALS FOR MOBILE ROBOT GUIDANCE”的美国专利申请No.15/588,117中所描述的那样,所述美国专利申请的公开内容通过引用来并入。
图2A-2C图示包括移动机器人100(图示为真空吸尘清洁机器人)的自主覆盖机器人系统。移动机器人100适于与基站或充电坞和/或疏散坞配合。所述系统还包括充电或能量管理系统以及自动对接控制系统,每个系统包括移动机器人100和坞的协作操作部件。
通信/引导信号检测器152在移动机器人100的壳体106的顶前部上安装。检测器152可操作以接收从发射机(例如,坞的回避信号发射机和/或归位和对准发射机)以及(可选地)导航或虚拟墙壁信标的发射机投射的信号。
通过将确定性分量(以控制移动机器人100的移动的控制信号的形式)添加到由移动机器人100自主实现的运动算法(包括随机运动),导航控制系统可以有利地结合移动机器人100使用以提高移动机器人的清洁效率。导航控制系统在导航控制算法的指导下操作。导航控制算法包括预先确定的触发事件的定义。概括地说,导航控制系统在导航控制算法的指导下监视移动机器人100的移动活动。所述预先确定的触发事件是机器人100的移动活动中的特定发生或状况。在实现所述预先确定的触发事件时,导航控制系统操作以生成控制信号并将控制信号传送到机器人100。响应于所述控制信号,移动机器人100操作以实现或执行由所述控制信号规定的行为,即,所规定的行为。该规定的行为表示移动机器人100的移动活动的确定性分量。
当移动机器人100正在真空吸尘时,其将周期性地接近固定坞。与坞接触可能损坏坞或使坞移动到将使得对接不可能的区中。因此,期望回避功能。为避免无意接触,坞可以生成可以从坞的顶部上的发射机发射的回避信号。来自坞的回避信号的径向范围可以根据预先定义的出厂设置、用户设置或其他考虑因素变化。至少,回避信号仅需要投射足以保护坞免于与移动机器人100的无意接触的距离。根据应用,回避信号范围可以从超过坞的周边扩展到距坞多达并超过数英尺。
移动机器人100可以是任何合适机器人和相关联的(一个或多个)计算设备,并且将理解,在根据本公开的实施例的移动机器人中并不需要本文中描述的所有的部件、特征和功能。参考图2A-2C,示例移动机器人100可以包括底架210、控制器220、存储器222、电池224、电池充电器226、人机界面(HMI)228、驱动系统230、绘图/导航系统240、服务操作系统242(在本文中还称为“清洁系统”和“清洁头”)、无线通信系统250、IR发射机260、以及环境传感器270A-H、垃圾箱242A(用于存储通过清洁操作收集的垃圾)、箱料位传感器242B、污物提取传感器242C(用于检测通过清洁操作收集的垃圾的特性的密度)、指示器灯274A、音频换能器274B以及清洁模式选择开关或按钮274C。
环境传感器270A-270H可以包括安装在移动机器人100的顶部表面上的相机270B,如图2A的顶部透视图中所示。相机270B可以用于导航机器人100并获取图像用于其他操作用途。在一些实施例中,相机270B是视觉同时定位和绘图(VSLAM)相机,并且被用于检测操作环境中的特征和地标并基于此构建占用图。
如图2B的底部透视图中所示,移动机器人100可以进一步包括安装或以其他方式定位在移动机器人壳体106的周边处的保险杠104、陡壁传感器195A-195D、边缘刷111。壳体106在图2A-2B中被图示为具有保险杠104安装在其上的方形前部区段;然而,在其他实施例中,壳体可以具有圆形或环形形状。脚轮196可以在移动机器人100的下侧上提供。在一些实施例中,脚轮196可以被定位在移动机器人100的与清洁头242相对的端部处,其间具有驱动辊轮/轨道232A、232B,使得清洁头242是悬臂式布置。移动机器人100可以还包括向下或面向地板的相机197。
相机270B和197和/或其他成像传感器可以共同作为可以被用于在移动机器人100的各种操作期间获取用于机器人的引导和操作的信息的图像感测设备来操作。在一些实施例中,所述图像感测设备被用于检测移动机器人100周围的障碍物和危险,使得可以避免或以其他方式解决那些障碍物和危险。在图像传感器设备的操作范围内,可以使用向下指向的光束来检测地板水平面处或水平面附近的障碍物以及地板中的陡壁或凹陷。可以使用向上指向的光束来检测机器人100的顶部处或上方的障碍物,以便检测和回避机器人可能变成楔入在其之下的障碍物。在一些实施例中,图像感测设备可操作以有效检测移动机器人100的前方多达至少10英寸(并且在一些实施例中,多达至少12英寸)的对象和空隙。
控制器220可以包括任何适当配置的一个或多个处理器。(一个或多个)处理器可以包括一个或多个数据处理电路,诸如可以被并置或跨越一个或多个网络分布的通用和/或专用处理器(诸如微处理器和/或数字信号处理器)。所述处理器被配置成执行存储在存储器222(下文描述为计算机可读存储介质)中的程序代码以执行上文针对实施例中的一个或多个所描述的操作和方法中的一些或所有。存储器222表示根据本公开的一些实施例的包含用于促进机器人的操作的软件和数据的一个或多个存储器设备。存储器222可以包括但不限于以下类型的设备:高速缓存、ROM、PROM、EPROM、EEPROM、闪存、SRAM和DRAM。因此,处理器与控制器200、存储器222、清洁系统242和驱动系统230通信。
驱动系统230可以包括用于主动且可控制地使机器人100穿过居住空间20的任何合适的机构或系统。根据一些实施例,驱动系统230包括一个或多个辊轮、一个或多个轨道232A、232B以及一个或多个板载(即,由移动机器人100携载)电动机234(在本文中统称为“驱动器”或“驱动系统”),其由控制器220可操作以跨越操作环境10的地板运送机器人100。
在一些实施例中,服务操作系统242可以是可选的,并且可操作以在居住空间20中执行服务操作。根据一些实施例,服务操作系统242包括当机器人100穿过空间20时清洁居住空间20的地板表面的地板清洁系统。在一些实施例中,服务操作系统242包括抽吸头和板载真空发生器以真空吸尘清洁地板。在一些实施例中,服务操作系统242包括末端执行器,诸如(但不限于)清扫或拖地机构、一个或多个旋转刷、辊轮、湿式或干式固定或振荡和/或振动布或多层垫组件。
无线通信系统250包括被配置成向/从一个或多个计算设备发送/接收数据以在机器人100与操作环境10中的各种其他连接设备之间使能无线通信的无线通信收发器或模块252和相关联天线254,以及由构成专用网络160的WAP、网关和集线器服务的网络段,移动机器人100构成所述专用网络的节点。例如,无线通信收发器或模块252可以是Wi-Fi模块。在一些实施例中,机器人100可以使用窄带或宽带RF通信直接与坞无线通信。例如,如果机器人100未配备有与无线接入点(WAP)兼容的发射器,则机器人100可以与坞通信,所述坞又可以将来自机器人100的数据中继到专用网络上并向前中继到预期网络实体(诸如,机器人管理服务器200)。
在一些实施例中,移动机器人100通常可以以如在美国专利No.7,024,278和美国公开申请No.2007/0250212中描述的地板清洁机器人和/或机器人的方式配置或包括来自所述地板清洁机器人和/或机器人的特征,所述美国专利和美国公开申请的公开内容通过引用被并入本文中,并进行适当修改。在Cohen等人的美国专利No.9,215,957、Morin等人的美国专利公开No.2016/0166126、Gilbert,Jr等人的美国专利No.8,881,339、Stout等人的美国专利公开No.2014/0222279以及2017年7月12日提交的O’Brien等人的美国专利申请No.15/647,677中公开了用于真空吸尘清洁系统的其他合适配置,所述美国专利的公开内容以引用方式并入本文中。机器人100可以进一步包括用于感测清洁箱中存在的垃圾的量的箱检测系统(例如,如在美国专利公开No.2012/0291809中描述的,通过引用将其全文并入本文中)。
房间分割的执行旨在通过在遍历开放环境时避免不必要方向中的改变来达到最佳性。此外,基于预先定义的边界,可以减少或消除在清洁时频繁跨越房间行进。这使得所述行为更容易被用户理解,用户可能期待或期望机器人系统地完成一个接一个房间。
图3是根据本发明的一些实施例的可以是机器人管理节点200的示例的电子计算设备的框图。电子设备300包括一个或多个网络接口330、处理器电路系统(“处理器”)310以及包含程序代码322的存储器320。处理器310可以包括一个或多个数据处理电路,诸如可以并置或跨越一个或多个网络分布的通用和/或专用处理器(例如,微处理器和/或数字信号处理器)。处理器310被配置成执行存储器320(下文描述为计算机可读存储介质)中的程序代码322以执行上文针对实施例中的一个或多个描述的操作和方法中的一些或所有。存储器320表示根据本发明的一些实施例的包含用于促进用于管理机器人的操作的软件和数据的一个或多个存储器设备。存储器320可以包括但不限于以下类型的设备:高速缓存、ROM、PROM、EPROM、EEPROM、闪存、SRAM和DRAM。
电子设备300还可以包括显示设备340(其可以显示拖和放用户界面)和/或输入设备350(诸如键盘、触敏显示设备、鼠标、指针等)。网络接口330可以被配置成通过一个或多个网络与任何相关联的(一个或多个)可用资源服务器和/或数据存储库通信。
虽然图3图示了根据本文中描述的一些实施例的可以用于管理机器人的硬件/软件架构,但是将理解,本发明并不限于此类配置,而是旨在包含能够执行本文中描述的操作的任何配置。
图4是根据本发明的一些实施例的无线通信设备和操作的方法的框图。无线通信设备400被配置成通过多个无线通信接口发射和/或接收无线信号,并且可以是上述用户设备202的示例。例如,根据一些实施例的无线通信设备400可以包括蜂窝通信模块、蓝牙模块、红外通信模块、全球定位系统(GPS)模块、WLAN模块和/或其他类型的通信模块。
特别是,无线通信设备400包括显示器408,诸如液晶显示器(LCD)和/或有机发光二极管(OLED)显示器。无线通信设备400可以可选地包括小键盘102或其他用户输入机构作为设备400的用户界面410。在一些实施例中,显示器408可以配备有触摸屏能力以替换和/或补充小键盘402。
无线通信设备400可以包括麦克风406和耳机/扬声器404。前部壳体可以被设计成当耳机/扬声器404抵靠用户的头部放置时形成对用户的耳朵的声学密封。
小键盘402、显示器408、麦克风406、扬声器404和相机424可以被耦合到处理器427(诸如微处理器或微控制器),其可以被配置成控制无线通信设备400的操作。无线通信设备400可以进一步包括耦合到处理器427的收发器440和存储器428。其他电子电路系统(诸如WLAN通信接口、蓝牙接口、GPS接口、数字信号处理器等)还可以被包括在设备400的电子电路系统中。
存储器428可以是通用存储器,其用于存储用于处理器427的程序指令以及数据,诸如音频数据、视频数据、配置数据和/或可以由处理器427访问和/或使用的其他数据。存储器428可以包括非易失性读/写存储器、只读存储器和/或易失性读/写存储器。特别地,存储器428可以包括其中存储基本操作系统指令的只读存储器、其中可以存储可重复使用的数据(诸如配置信息、目录信息以及其他信息)的非易失性读/写存储器以及其中可以存储短期指令和/或临时数据的易失性读/写存储器。
收发器440通常包括发射器电路442、接收器电路444以及调制解调器446,其协作以经由天线阵列450向远程收发器发射射频信号和接收到远程收发器的射频信号。在设备400与远程收发器之间发射的射频信号可以包括业务和控制信号二者(例如,用于呼入呼叫的寻呼信号/消息),其用于建立和维护与另一方或目的地的通信。更特别地,与处理器427操作协作的收发器440可以被配置用于根据多个无线电接入技术的通信。所述无线电接入技术可以包括但不限于WLAN(例如,802.11)、WiMAX(全球微波接入互操作性)、3GPP LTE(第三代合作伙伴计划长期演进)、通用移动电信系统(UMTS)、全球移动(GSM)通信标准、通用分组无线业务(GPRS)、增强数据速率的GSM演进(EDGE)、DCS、PDC、PCS、码分多址(CDMA)、宽带CDMA和/或CDMA2000。在根据本发明的实施例中还可以使用其他无线电接入技术和/或频带。
图5是图示根据本发明的一些实施例的用于操作移动地板清洁机器人的方法的框图。所述方法包括使用移动地板清洁机器人100生成封闭空间或其他操作环境的表面的分割图以识别所述表面的多个区域(框504)。在一些实施例中,封闭空间可以包括占用,无论是否被占用,包括例如住宅建筑物、商业建筑物、存储建筑物、制造建筑物和/或其一部分。
在一些实施例中,由占用网格生成分割图,所述占用网格由移动地板清洁机器人在一个或多个探索和/或清洁任务(在本文中更通常称为导航)期间生成。例如,可以通过生成一个或多个视觉图用于移动地板清洁机器人在封闭空间内的定位通过用移动地板清洁机器人探索封闭空间的表面来生成占用网格。在一些实施例中,可以通过使用可以由移动地板清洁机器人中的一个或多个相机捕获的多个图像检测特征来生成所述视觉图。例如,可以使用由视频图像生成的视觉特征(VSLAM)来构建用于定位机器人的“视觉图”。针对每个特征,可以确定特征描述,并且可以通过在特征数据库中执行特征查找来对特征分类。占用网格可以与视觉图集成在一起,并且可以进一步包括由保险杠碰撞或碰撞(“撞击”事件)生成的信息和/或IR/PixArt数据(即,用于障碍物检测的飞行时间和/或测距传感器数据)。
一些实施例规定,然后根据启发式决策规则将所提取区域合并到走廊和房间中。然后,针对每个区域,针对系统的房间清洁计算起始位置和方向。最后,由机器人根据通过路线优化和/或通过由用户选择的序列计算的最短序列系统地清洁区域。然后针对系统地逐房间清洁在机器人上使用最终分割。在一些实施例中,自动和用户引导的分割结果二者都被存储在云中,以便递增地评估和改进分割过程。在其他实施例中,所述自动和/或用户引导的分割结果可以被存储在机器人的存储器中或本地集线器处,例如,用于与操作环境本地的一个或多个其他机器人共享。
可以确定移动地板清洁机器人的姿势和/或位置并将其与对应图像相关联。可以基于所述图像生成占用网格中的地标。所述地标可以与移动地板清洁机器人的姿势和/或位置相关联。一些实施例规定,可以用在移动地板清洁机器人的多个任务上生成的更新地标数据来扩增和/或更新占用网格。还可以由网格图生成特征,例如,以将现有占用网格转移到最近生成的占用网格。这可以用于将现有房间分割转移到最新生成的图。即,本发明的实施例可以按组合利用多个机构,诸如但不限于基于视觉特征的机器人绘图和定位以及基于由占用网格生成的特征的分割的转移。
在一些实施例中,占用网格包括多个像素,每个像素具有对应于像素位置是否对应于被占用、可遍历或未被探索的表面位置的灰度值。如本文中所使用,术语“可遍历”可以是指如本文中所公开的由机器人可遍历的封闭空间中的任何表面位置。一些实施例规定,可以通过将中值滤波器应用于像素来生成分割图。在一些实施例中,中值滤波器可以用对应于环绕对应像素的像素的中间值替换每个像素值。例如,一些非限制性实施例规定,基于每个像素的五个像素内的像素的值确定中间值。以此方式,可以生成滤波占用网格。
可以通过将阈值化函数应用于滤波占用网格来计算滤波占用网格的二进制图像。可以通过应用距离变换对二进制图像执行分水岭变换以将二进制图像分成多个区域并且识别所述区域中的每个的顶点。
一些实施例进一步包括对二进制图像中的区域执行杂物去除操作。例如,可以例如通过访问包括至少部分由从多个用户接收的标注输入生成的地面实况信息的数据存储装置通过以下操作执行去除杂物:识别二进制图像的边界;识别和去除对应于与二进制图像的边界分离的障碍物的像素;以及识别和去除对应于被附接到二进制图像的边界区域的障碍物的像素,如下文参考图35A-35D更详细描述的那样。一些实施例进一步包括合并区域的顶点以联结所述区域并且定义与所述区域相邻的走廊。
一些实施例提供识别由图像M表示的图中的杂物的进一步处理操作。首先,通过对图像X的逆进行距离变换来识别图像X的边界。边界可以是指在像素(1,1)处开始的所有障碍物像素的连接集合。注意,对于图M,可以假定,在阈值化之后,所述图像的边缘上的所有像素都具有值1,即,所述图由障碍物或未被探索的区域定界。然后确定分离障碍物Rdet,即,未被连接到边界的障碍物。通过使用分水岭分割ws(.)分割边界并且去除包含原始图像的边缘上的像素的区域来计算附接障碍物Ratt。以下算法1详细描述根据二进制图像计算障碍物区域:
Figure GDA0003801427060000201
区域集Robs包含可以区分杂物与墙壁的障碍物。以下过滤规则区分墙壁与杂物,即,Robs\R3是杂物,并且R3不包含杂物。
R1=Robs\{ri∈Robs|A(ri)<η1∧E(ri)<η2}
R2=R1\{ri∈R1|maxline(ri)<η3},
R3=R2\{E(ri)<η4∧S(ri)<η5}.
函数l=maxline(ri)返回在区域ri的边界上找到的最长线段的长度。可以利用拆分和合并算法用于检测区域边界中的线。在一些实施例中,使用η1=0.0、η2=2.0、η3=0.7、η4=0.8、η5=0.38作为示例。附加地或替代地,可以响应于机器人在给定时间周期或表面积内的预先确定的移动区分杂物。例如,可以使用响应于预先确定数目个机器人碰撞事件检测到的障碍物或者用光学或声学传感器和/或在相对小行进面积和/或距离内的方向中的改变的非接触障碍物检测来区分杂物。在具体示例中,当在较长距离内按基本上笔直路径行进时对机器人的左边或右边的障碍物的许多检测可以指示墙壁或走廊,而响应于较短距离内的非线性行进(以及伴随行进的方向中的改变)的对机器人的左边或右边的障碍物的许多检测可以指示杂物。此外,可以检测由机器人的碰撞事件和/或方向中的改变定义的障碍物的“形状”并使其与例如如基于从多个用户接收的标注输入存储在数据存储装置中的已知对应于杂物的形状匹配。
例如,遇到构成杂物的障碍物或障碍物的集合的机器人可以通过在两英尺距离内从向前前进方向转向至少三次来检测并回避杂物。例如,遇到构成杂物的障碍物或障碍物的集合的机器人可以通过在小于10英尺的距离内向左和/或向右转向至少三次来检测并回避杂物。例如,试图沿着构成杂物的障碍物或障碍物的集合的边缘的墙壁跟随的机器人可以通过在小于5英尺的距离内向左和/或向右转向至少三次来检测并回避杂物。例如,试图沿着构成杂物的障碍物或障碍物的集合的边缘的墙壁跟随的机器人可以通过在10英尺或更少的长度内在横跨杂物的长度的距离内向左和/或向右转向至少三次来检测并回避杂物。例如,遇到构成杂物的障碍物或障碍物的集合的机器人可以通过在两英尺距离内从向前前进方向转向至少三次来检测并回避杂物。例如,遇到构成杂物的障碍物或障碍物的集合的机器人可以通过在沿着一个主要方向小于10英尺和沿着正交于主要方向的方向至少10英尺的距离内向左和/或向右转向至少三次以便识别杂物区域的外边界来检测并回避杂物。
一旦生成分割图,便可以将分割图发送到包括被配置成显示表面的分割图的显示器的用户设备(框504)。一些实施例规定,用户设备包括无线通信设备400。在一些实施例中,分割图可以使用至少一个无线通信链路来无线发射。
一些实施例规定,无线通信链路可以包括提供用户设备与移动地板清洁机器人之间的通信的局域网。在一些实施例中,除了其他之外,用户设备和移动地板清洁机器人还可以经由一个或多个近场通信协议(诸如蓝牙或Wi-Fi)彼此直接通信。在一些实施例中,用户设备和移动地板清洁机器人可以通过一个或多个中间无线通信设备彼此通信。在一些实施例中,除了其他之外,无线通信链路还包括被配置成提供占用网格、分割图和/或修改的分割图的持久存储的服务器。
在一些实施例中,分割图包括对应于移动地板清洁机器人的操作数据,诸如图20G-20K中所示的分割图。操作数据可以包括清洁函数图,其识别对应于由移动地板清洁机器人作为在分割图上的位置的函数收集的污物和/或垃圾的数量的污物和/或垃圾收集。在一些实施例中,清洁函数图可以是指示封闭空间的哪些部分比其他部分更脏的热图。一些实施例规定,可以针对所述区域中的每个单独提供清洁函数图。在一些实施例中,清洁函数图可以对应于单个清洁任务或多个清洁任务。所述多个清洁任务可以包括在封闭空间和/或区域中完成的所有清洁任务的所定义子集,或者可以对应于针对其存储数据的所有的清洁任务。
一些实施例包括将表面的分割图发送到远程计算设备(框506)。一些实施例规定,远程计算设备可以包括上述电子设备300。在一些实施例中,远程计算设备300可以与移动地板清洁机器人以及与用户移动终端(诸如上述无线通信设备400)通信。一些实施例规定,响应于分割图的生成将分割图发送到远程计算设备300。以此方式,可以保存、维护和/或分析对应于移动地板清洁机器人的历史数据。
一些实施例规定,可以基于从用户接收的到用户设备中的输入从用户设备接收修改的分割图(框508)。修改的分割图可以识别要清洁的区域的子集。例如,用户设备可以接收指示清洁具体区域、而不清洁区域的其他区域的输入,即,指定“阻进”区域的输入,例如如图27中所示。另外,一些实施例规定,修改的分割图识别按其来清洁选定区域的具体次序,例如如图15中所示。在一些实施例中,修改的分割图可以针对不同时间和/或间隔包括不同清洁调度。例如,第一清洁调度可以选择区域的第一子集用于在一周中的某些日子进行清洁,而第二清洁调度可以选择区域的第二子集用于在一周中的其他日子进行清洁。一些实施例规定,一些区域可以被包括在第一和第二子集二者中。
操作还包括生成自动化地板覆盖图案(框510)。一些实施例规定,自动化地板覆盖图案基于包括不同区域的分割图,如下文参考图29A-29D所讨论的。在一些实施例中,自动化地板覆盖图案包括将子区域识别为杂物区和非杂物区,例如如图29A中所示,以及针对所述区域和/或子区域中的每个选择清洁序列和排序方向,例如如图30A-30G中所示。排序方向可以是移动地板清洁机器人在清洁特定区域时行进的主要方向。例如,排序方向可以定义给定区域的比所述区域的其他维度长的维度,例如如图31A中所示。通过选择排序方向,可以以较少轮次和/或较少时间清洁每个区域。
在一些实施例中,排序方向可以定义无障碍物的区域(即,非杂物区或区域,诸如不包括图9B中所示的检测到的杂物916的区域914)的子区域或部分的维度。例如,在包括显著杂物区的区域中,可以基于非杂乱区域的维度选择排序方向,而不管所述区域的整体维度如何。一些实施例规定,自动化地板覆盖图案针对每个区域包括清洁模式,所述清洁模式包括顺序地选择用于覆盖的区域的整齐部分(图29B)、用于覆盖的区域的周界(图29D)和用于覆盖的区域的杂乱部分(图29C)。
一些实施例包括通过基于自动化地板覆盖图案在所述区域和/或子区域中的各个区域中顺序地执行清洁操作来对表面执行清洁操作(框512)。因此,根据由自动化地板覆盖图案指定的序列,给定区域或子区域(诸如,一个或多个非杂物区)中的清洁操作在另一区域(诸如,一个或多个杂物区)中开始清洁操作之前完成。一些实施例规定,清洁操作进一步基于修改的分割图来执行。例如,清洁操作可以仅响应于从用户设备接收的选择输入对区域或子区域的子集执行。
在一些实施例中,清洁操作可以以可以由用户选择的不同相应的清洁的级别对具体区域执行。不同清洁级别可以对应于移动地板清洁机器人在给定区域中进行的不同数目的清洁遍次。例如,用户可以指定第一区域获得对应于移动地板清洁机器人在所述区域中进行三个清洁遍次的更高级别清洁操作。相比之下,可以指定第二区域具有对应于所述区域中的单个清洁遍次的较低级别的清洁。
图6是图示根据本发明的一些实施例的在用户设备上包括计算机可读程序代码600的计算机可读程序产品的操作的框图。一些实施例规定,用户设备包括用户移动终端,诸如上述无线通信设备400。操作包括从机器人接收占用数据和/或封闭空间的表面的分割图(框602)。如本文中所使用,分割图可以是指在绘图区上示出划界区域的分割图。分割图可以包括表面的多个区域,并且机器人可以是移动地板清洁机器人。
在一些实施例中,分割图由机器人基于在表面上的探索和/或清洁任务期间采集的数据生成。一些实施例规定,分割图由可以包括如上所述电子设备300的远程计算设备生成。在此类情况下,远程计算设备可以从机器人接收对应于封闭空间的表面的原始数据,并且可以使用所述原始数据来生成分割图。
可以将分割图的图像显示在用户设备的显示器上(框604)。一些实施例规定,用户设备是手持式移动终端,并且显示器是触摸屏显示器。在此类实施例中,可以生成并经由触摸屏显示器显示图形用户界面,并且可以使用触摸屏经由图形用户界面接收用户输入。显示器可以包括监视器、平板计算机、包括屏幕和鼠标或触摸界面的联网设备和/或经由网络通信耦合的远程和本地计算设备的组合。
可以经由用户设备的用户输入设备接收对应于表面的分割图的用户输入(框606),例如如图10A-10F中所示。一些实施例规定,所接收用户输入包括用于修改分割图的图像的外观的用户输入。例如,用户输入可以是用于改变用户相对于图像的透视的角度,诸如改变图像的平移或倾斜。用户输入可以对应于维度选择,诸如二维或三维。另外,用户输入可以改变缩放以便以不同大小查看图像中的一些或所有。
在一些实施例中,用户输入可以包括图特征选择,诸如致使所显示分割图的图像图示作为在分割图上的位置的函数收集的污物和/或垃圾的水平的热图选择,例如如图24中所示。以此方式,图像可以图示哪些部分和/或区域相对于其他部分和/或区域2410已经要求更多清洁清洁2420。一些实施例规定,图特征可以包括致使所显示分割图的图像选择性地图示分割图上的杂物的杂物图选择,例如如图9B和9C中所示。
一些实施例规定,可以使用到分割图的用户输入来修改分割图和/或其区域。例如,用户输入可以是被配置成致使所述区域中的一个区域被划分成多于一个区域的划分区域输入,例如如图11A-11C中所示。类似地,用户输入可以是被配置成致使所述区域中的多个区域被组合成单个区域的组合区域输入,例如如图10A-10F中所示。
一些实施例规定,到分割图的用户输入可以包括清洁任务指令。例如,清洁任务指令可以包括清洁次序指令,所述清洁次序指令包括对在给定任务中按其来清洁所述区域的次序的识别,例如如图15中所示。清洁次序指令可以包括关于要在给定任务中清洁的区域的子集的识别。下文参考图29A-32更详细描述涉及清洁任务指令和相关联用户输入的实施例。
在一些实施例中,用户输入可以包括针对封闭空间的一个或多个清洁任务调度。例如,清洁任务指令可以包括识别要清洁的区域的第一选择的第一清洁任务指令和识别要清洁的区域的第二选择的第二清洁任务。在此示例中,第一清洁任务指令可以被调度以在一周中的某些日子和/或一天中的某些时间执行,而第二清洁任务指令可以被调度以在不同日子和/或在不同时间执行。
在一些实施例中,清洁任务指令包括针对不同区域的不同清洁的级别。例如,可以指定第一区域或区域的集合接收第一清洁级别,并且可以指定第二区域或区域的集合接收不同于第一清洁级别的第二清洁级别。可以通过指定机器人必须遍历对应区域的次数(在本文中也称为清洁遍次的数目)来实现不同清洁级别。
在一些实施例中,清洁任务指令包括对封闭空间地板空间的不由移动地板清洁机器人清洁的部分的识别,例如如图27中所示。此类指定可以由区域和/或由区域的部分选择。在一些实施例中,清洁任务指令可以指定封闭空间地板空间的不被清洁的部分是全局指令,并且因此从任务到任务是持久的。然而,一些实施例规定,对封闭空间地板空间的不被清洁的部分的识别是一个任务和/或有限数目个任务指令。
一些实施例规定,清洁任务指令包括所述区域中的每个的主要清洁方向,例如如图29A中所示。所述主要清洁方向(其可以被称为排序)识别移动地板清洁机器人可以在清洁操作的无障碍物部分中清洁的主要清洁方向。在一些实施例中,可以针对整个区域和/或其部分确定排序。
一些实施例规定,用户输入包括对用户偏好数据的请求,响应于此可以显示用户偏好数据。可以被显示的用户偏好包括历史用户偏好数据和/或对应于单个清洁任务的用户偏好数据。
在一些实施例中,用户输入包括对应于多个不同机器人的机器人团队配置输入。机器人团队配置可以包括对应于第一移动地板清洁机器人的第一清洁任务指令和对应于第二移动地板清洁机器人的第二清洁任务。在一些实施例中,第一和第二清洁任务对应于封闭空间的表面的整个分割图。例如,第一清洁任务可以清洁区域的第一部分,并且第二清洁任务可以清洁区域的第二部分。
然而,一些实施例规定,第一和第二清洁任务对应于封闭空间的不同部分的不同分割图。例如,在多层级占用的背景中,第一分割图可以对应于第一层级,并且第二分割图可以对应于第二层级。
一些实施例规定,第一移动地板清洁机器人执行第一类的清洁操作,并且第二移动地板清洁机器人执行第二类的清洁操作。例如,第一移动地板清洁机器人可以是包括复杂绘图传感器的真空吸尘机器人,并且第二移动地板清洁机器人可以是具有较不复杂的传感器并且依赖于由真空吸尘机器人创建的绘图的拖地机器人。
一些实施例包括将对应于用户输入修改的修改的分割图发送到移动地板清洁机器人(框608)。一些实施例规定,将修改的分割图发送到被配置成提供修改的分割图的持久存储的远程服务器,诸如远程计算设备300。
可以接收由移动地板清洁机器人生成的状态通信(框610)。一些实施例规定,响应于此在显示器上中显示消息。
在一些实施例中,状态通信包括对应于清洁任务的进度更新。进度更新可以被显示为分割图的图像上的清洁操作的动画图形。一些实施例规定,进度更新实时更新并且包括所显示的分割图的图像上的视觉指示,例如如图13中所示。
一些实施例规定,状态通信包括识别由移动地板清洁机器人检测到的状况的警报消息。例如,所述警报消息可能正在报告使得机器人无法完成清洁任务的未完成任务状况。例如,移动地板清洁机器人可以指示其被卡住并且无法继续,例如如图14中所示。所述状况可以对应于意外障碍物状况。在一些实施例中,移动地板清洁机器人可以检测未被包括在分割图中的障碍物,并且报告这是新的障碍物。
图7是图示根据本发明的一些实施例的机器人管理节点上的计算机程序产品700的操作的框图。所述机器人管理节点可以在电子设备300上实现和/或包括电子设备300,如上所述。一些实施例规定,处理器和存储器被包括在远离机器人和封闭空间的基于云的服务器中。
在一些实施例中,基于云的服务器可以聚合对应于多个不同封闭空间处的多个不同用户的数据。聚合的数据的示例可以包括对应于标准特征、固定装置、楼层平面图、占据面积和/或布置的数据。例如,多个用户可以共享与其他用户相同并且可以由名称、数目和/或具体维度特征标识的楼层平面图。使所收集数据对应于相同或类似特征、固定装置、楼层平面图、占据面积和/或布置可以提供对其他用户可访问的数据存储库以提高关于操作(诸如对障碍物分类)的性能和/或准确性。
操作可以包括从机器人接收占用数据和/或封闭空间的表面的分割图(框702)。分割图可以基于由机器人收集的占用数据来识别表面的多个区域。一些实施例规定,接收在多个清洁任务期间由机器人生成的多个分割图。在此类实施例中,分割图可以通过之后接收的分割图来更新和/或扩增以提供持久图。一些实施例规定,分割图包括对应于机器人的操作数据。
可以将封闭空间的表面的分割图存储在与机器人相关联的数据存储装置中(框704)。一些实施例包括存储所接收的多个分割图,并且使用本文中描述的特征匹配和异常值去除操作在所述多个分割图之间转移公共特征以生成持久图。以此方式,可以存储包括修改的分割图的历史分割图数据。
从用户设备接收用户输入数据(框706)。用户设备被配置成接收对应于分割图的用户输入。响应于接收用户输入,基于用户输入数据修改分割图以生成修改的分割图。修改的分割图可以识别要清洁的区域的子集、要清洁的区域中的一个或多个的部分或子区域和/或按其来清洁所述区域和/或子区域的次序。修改的分割图还可以被存储并在由移动机器人执行的后续导航和/或清洁操作中重新使用。
在一些实施例中,分割图包括对应于机器人的操作数据。操作数据可以包括清洁函数图,所述清洁函数图识别作为在分割图上的位置的函数在单个清洁任务中和/或多个清洁任务中收集的污物和/或垃圾。以此方式,可以传送识别相对于其他区域和/或其部分需要更多清洁活动的区域和/或其部分的热图。例如,一些实施例规定,操作数据包括清洁函数图,所述所述清洁函数图识别由机器人作为在分割图上的位置的函数执行的遍次的数量。
在一些实施例中,用户输入数据包括机器人团队配置输入,所述机器人团队配置输入包括对应于第一机器人的第一清洁任务指令和对应于第二机器人的第二清洁任务。
操作包括将基于用户输入数据和分割图的修改的分割图发送到机器人(框708)。机器人可以可操作以响应于修改的分割图执行清洁任务。
在一些实施例中,清洁任务包括以由用户选择的不同清洁级别执行区域的清洁操作。清洁任务可以进一步提供对应于无障碍物的相应区域中的区的最大维度的排序方向。所述不同级别可以与机器人在对应区域中进行的多个清洁遍次相关联。在一些实施例中,排序方向定义所述区域的维度,所述维度比所述区域的其他维度长。一些实施例规定,排序方向定义相应区域的无障碍物的部分的维度,并且所述维度不同于比所述区域的其他维度长的所述区域的维度。
图8A至图8C是可以经由通信设备的用户界面显示的图形表示,其图示了根据本发明的一些实施例的自动化图清洁和分割操作中的原始数据图、清洁图和分割图。一些实施例规定,机器人在第一遍次期间探索封闭空间的表面。生成占用网格,其包括在第一遍次期间生成的原始数据。占用网格在用户设备上作为原始数据图802被呈现给用户,如图8A中所图示的。原始数据图802可以包括多个像素,所述多个像素可以针对可遍历空间加白色阴影,并且针对障碍物(包括占用墙壁)加黑色阴影。
参考图8B的实施例,机器人生成清洁图812,所述清洁图812在用户设备上被显示给用户。清洁图812可以用边界数据816图示封闭空间,边界数据816被清理或简化成基本上比原始数据更线性。清洁图812还例如通过去除检测到的杂物的视觉指示来突出显示封闭空间表面的可遍历空间814。
图8C图示分割图822,其可以在用户设备上被显示给用户。类似于清洁图812,分割图822用边界数据826图示封闭空间。另外,根据一些实施例,可遍历空间被分割成可以对应于封闭空间中的不同房间的区域824。基于分割图822,机器人可以执行逐房间清洁,其中给定区域824中的清洁操作在机器人开始在另一区域824中执行清洁操作之前完成。
图33A至图33D更详细图示用于由原始数据图(诸如图8A中的图802)生成简化图边界用于经由用户界面显示的操作。现在参考图33A,原始数据图3302由在移动机器人对操作环境的导航期间收集的数据(诸如占用数据和VSLAM特征检测数据)生成。原始数据图3302提供操作环境的像素化表示,其对于用户而言可能不是在美学上令人愉悦的和/或直观的。因此,可以通过去除噪声以生成图33B中所示的去噪图3312并且去除识别为杂物的区以生成如图33C中所示的去杂图3322来在视觉上简化原始数据图3302用于呈现给用户。去噪图3312可以例如通过锐化或减少模糊边缘而相对于原始数据图3302具有减少的失真。通过线性段和/或多边形形状替换去杂图3322的像素化边缘以生成图33D中所示的简化图3332。因此,简化图3332用简化边界替换指示由移动机器人的导航检测到的实际边界的数据,所述简化边界对于经由用户设备(诸如用户设备202)的用户界面查看图3332的用户而言可能更加在美学上令人愉悦的和/或直观的。生成简化图3332还可以涉及合并房间或区域,如本文中所描述的那样。在一些实施例中,可以将表示在图33B中识别为杂物的区的杂物区域3306添加回到简化图3332中以向用户提供操作环境的更准确表示。此外,因为杂物障碍物可以表示可识别结构,诸如家具,所以在简化图3332中包括杂物区域3306可以使得用户更容易识别房间和走廊。用于由原始数据图3302生成简化图3332的操作可以由机器人100、机器人管理服务器200和/或用户设备202执行。
一些实施例规定,用户可以具有关于可以如何显示杂物区域的显示偏好。图9A至图9C是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的操作中的原始数据、具有杂物像素的分割图和具有杂物区域的分割图的用户显示偏好选项。参考图9A,原始数据图902可以包括对对应于封闭空间中的杂物906或其他障碍物的多个像素的识别。如图9B中所示,分割图912可以包括多个区域914,并且杂物916或其他障碍物可以被图示在区域914中的每个中。在一些实施例中,如图9C中图示的,分割图922可以包括区域924内的杂物区域926,其图示其中检测到多个障碍物的具体区。如本文中所描述的,杂物可以是指占用空间的区域并且防止所述区域的系统的、确定性覆盖的障碍物的集中,并且包括杂物的区域在本文中可以被称为杂物或杂乱区域。如下文更详细描述的那样,一旦识别出杂乱区域,便可以对非杂乱区域执行基于排序优化的清洁操作。
图10A至图10F是可以经由通信设备的用户界面显示的图形表示1002,其图示根据本发明的一些实施例的用于对分割图执行用户区域合并的操作。参考图10A,用户可以选择分割图的所显示图像的特定区域1005a。选择可以使用指向输入(诸如鼠标、轨迹球和/或触控笔)和/或经由触摸屏用户输入来执行。图10B图示分割图的所显示图像,其中选定区域1005a被突出显示。
参考图10C,用户可以选择分割图的所显示图像的与第一选定区域相邻的另一区域1005c。图10D图示分割图的所显示图像,其中选定区域1005a、1005c二者被突出显示。参考图10E,用户可以提供用于将选定区域1005a、1005c合并成单个区域1005e的用户输入。所述用户输入可以经由识别动作的菜单和/或通过语音命令接收。图10F图示分割图的所显示图像,其中多个原始区域合并成单个区域1005f。在一些实施例中,可以对两个区域多次执行合并操作以生成包括最初定义的区域中的多于两个的单个区域。一些实施例规定,可以在接收到用于执行合并操作的用户输入之前选择所述区域中的多于两个区域。
图11A至图11C是可以经由通信设备的用户界面显示的图形表示1102,其图示根据本发明的一些实施例的用于对分割图执行用户区域拆分的操作。在一些实施例中,出于各种原因,用户可能确定如在分割图中提供的区域应被划分成多于一个区域。例如,单个空间可以具有通过各种设计工件(诸如地板铺设类型改变)隔开的定义的厨房区和邻接居住空间,并且可以基于清洁需求被不同地处理。参考图11A,可以由用户选择待划分区域中划分线的端点1105a。然后,参考图11B,可以由用户选择待划分区域中划分线的另一端点1105b。因此,用户可以提供用于将选定区域划分成图11C中所示的两个区域1105c1、1105c2的用户输入。在一些实施例中,在识别出划分线的端点1105a、1105b之前选择划分操作。在此类实施例中,一旦选择了划分线的第二端点1105b,便可以自动执行划分操作。
图12A至图12D是可以经由通信设备的用户界面显示的图形表示1202,其图示根据本发明的一些实施例的用于对分割图执行用户区域标注的操作。可以根据用户偏好标注分割图的区域中的每个。参考图12A,标注操作可以以用户选择分割图的区域1205a开始。图12B图示可以显示的文本框1205b,其包括由用户提供的标签。例如,在当前示例中,用户在图12A中选择区域,并且然后在图12B中针对选定区域1205a输入标签“书房(DEN)”1205b。图12C和图12D图示对应于“起居室”区域的选择1205c和标注1205d的类似操作。
图13是可以经由通信设备的用户界面显示的图形表示1300,其图示根据本发明的一些实施例的用于在分割图上显示机器人的进度的操作。如图示的那样,分割图的显示可以包括对对应于执行清洁任务的清洁进度的指示。例如,可以通过不同于表示未清洁区域和/或其部分1304的颜色、图案和/或阴影的第一颜色、图案和/或阴影表示经清洁区域和/或其部分1302。以此方式,可以通知用户关于哪些区域和/或其部分可能期望或不期望被机器人占用。
图14是可以经由通信设备的用户界面显示的图形表示1402,其图示根据本发明的一些实施例的用于在分割图上向用户提供故障状况的警报1405的操作。在一些实施例中,显示可以包括基于来自机器人的消息生成的消息和/或其他符号。例如,通信设备可以接收由机器人生成的消息,其指示在清洁任务期间已经或正在发生的状况。例如,如果机器人被卡住或受困,则可以接收警报消息并将其显示给用户。其他示例可以包括由机器人生成的警报,其指示机器人可能尚未完成清洁任务。
图15是可以经由通信设备的用户界面显示的图形表示1502,其图示根据本发明的一些实施例的用于接收用户输入以在分割图上提供机器人的清洁序列(1,2,3)的操作。在一些实施例中,用户可以提供对应于清洁次序的用户输入。例如,可以用清洁次序编号1、2、3来标注分割图的区域中的每个。在一些实施例中,清洁次序可以经由显示给用户的区域的表格1505输入,而其他实施例规定,用户简单选择区域并输入对应于清洁的次序的值。一些实施例规定,可以针对给定任务期间的清洁取消选择区域中的一些。例如,如图示的那样,厨房和起居室可以具有次序编号“X”,其指示不清洁这些区域。
图16A至图16G是可以经由通信设备的用户界面显示的图形表示1602a-1602g,其图示根据本发明的一些实施例的用于在相同占用中使用多次运行的图数据聚合的操作。图16A-16D图示原始数据图的显示,其包括由机器人在相同占用中的后续运行期间采集的附加原始数据。例如,对于图16A至图16B,原始数据图经历自动旋转(180度)和对准。如图示的那样,来自图16B的原始数据反映原始数据相对于图16A的不同部分的对准以及相对于图16A中图示的初始原始数据的180度旋转。图16C和16D图示使用附加原始数据来基本上完成原始数据图。例如,图16C图示相对于图16B添加附加原始数据,因此推进原始数据图的整体完成。类似地,图16D图示原始数据的甚至进一步绘图完成。图16E至图16G图示间歇或仅在总任务中的一个或一些上检测到的非静态障碍物的去除。以此方式,可以在每次附加运行期间增加原始数据图的完整性、准确性和/或内容。例如,图16E图示房间的一部分中的杂物检测。图16F图示对是检测到的杂物的部分的非静态对象的识别,并且图16G图示非静态对象从原始数据图的去除。将理解,可能需要图的持久性以便准确地彼此覆盖图16A-16D中所示的来自每个运行的图。此外,可以显著改善杂物检测,因为当随时间观察障碍物时,静态障碍物的位置可以保持相同,而杂物/非静态障碍物的位置可能随时间改变。
图17A和图17B是可以经由通信设备的用户界面显示的图形表示1702a和1702b,其根据本发明的一些实施例分别基于图16A-16G中图示的无杂物和包括杂物的原始数据图来图示来自聚合操作的分割图。如图示的那样,图17A是对应于图16A-16G中图示的无杂物的原始数据图的分割图1702a的图像。相比之下,图17B是对应于图16A-16G中图示的具有在对应分割图区域中识别出的杂物区域的原始数据图的分割图1702b的图像。
图18A和图18B是可以经由通信设备的用户界面显示的图形表示1802a和1802b,其根据本发明的一些实施例基于图16A-16G中图示的原始数据图分别图示占用图的原始数据和占用图的三维表示。如图示的那样,图18A是上文图示为图16E的原始数据图1802a,并且图18B是基于此的占用图的三维表示1802b的图像。
图19是可以经由通信设备的用户界面显示的图形表示1900,其图示根据本发明的一些实施例的图示用于生成对应于封闭空间的持久信息的操作的占用图。占用图1900图示如由机器人绘制的封闭空间的楼层平面图。在封闭空间的所有的可用地板表面上识别出机器人清洁路径1910。另外,在整个占用图1900上识别出可以由机器人确定、生成和/或指派的地标1904。对应于地标1904中的多个地标的具体区域可以被识别为地标区域1902,并且可以包括由地标1904定义的轨迹和/或基元。在一些实施例中,术语“地标”可以包括在一个或多个图中具体识别的位置,并且还可以被称为路标。
图20A至图20K是可以经由通信设备的用户界面显示的图形表示2002a-2002k,其图示根据本发明的一些实施例的对应于在封闭空间的机器人探索期间采集的数据的占用图和分割图的视图。如图示的那样,图20A包括原始数据占用图2002a的图像,其包括可遍历地板空间内的杂物和其他不可遍历区域以及机器人在探索和/或清洁任务的清洁遍次期间遍历的路径。在图20B中提供封闭空间的原始数据图2002b,并且在图20C中图示清洁占用图2002c。图20D图示具有杂物像素2008d的清洁占用图2002d的显示。在图20E中图示未显示杂物的包括机器人遍历的路径2005e的清洁图2002e,并且在图20F中图示其中杂物显示为实心填充的补片2008f的包括机器人遍历的路径2005e的清洁图。
在图20G中图示无杂物的封闭空间的分割图2002g的显示,并且在图20H中图示其中杂物显示为实心填充的补片2008h的封闭空间的分割图2002h的显示。图20I图示未显示杂物的包括机器人遍历的路径2005e的分割图2002i的显示,并且图20J图示其中显示杂物2008j的包括机器人遍历的路径2005e的分割图2002j的显示。在图20K中图示包括其中的区域之间的边界并且包括区域编号1-9的分割图2002k的显示。
图21是图示根据本发明的一些实施例的可以用于提供机器人管理的设备的系统的图。所述系统可以包括机器人2102,机器人2102可以生成封闭空间的地板表面的占用数据和/或分割图2110。机器人2102可以与本文中描述的机器人100相同。因此,将省略其附加描述。在一些实施例中,占用数据和/或分割图2110可以被发射到云设备和/或系统2104。在一些实施例中,云设备和/或系统2104可以包括本文中描述的机器人管理节点200。云设备和/或系统2104可以包括处理器2105和用户数据存储装置2106,其可以存储用户输入历史(包括对来自多个用户的杂物图案的识别)、占用图历史、分割图历史和/或机器人性能和/或通信历史,其可以根据本文中描述的实施例用于维护和更新持久图。虽然一些实施例规定,机器人2102执行分割图2110的计算,但是在一些实施例中,所述计算可以由云设备和/或系统2104基于由机器人2102收集的占用数据执行。
在一些实施例中,云设备和/或系统2104可以提供机器人2102与用户设备2120之间的通信信道。用户设备2120可以与本文中描述的用户设备202相同。用户设备2120可以提供允许用户编辑和/或标注占用和/或分割图的用户输入。此外,用户设备2120可以被用于修改分割图以包括针对一个或多个清洁任务的具体指令。除了其他之外,此类指令还可以包括清洁次序、排序方向和/或清洁级别。用户设备2102还可以提供用于选择显示特性(除了其他之外,还诸如杂物包括/排除、视图维度、缩放、视角、清洁任务回放选项、清洁进度、清洁任务完成的预期时间、历史、每次使用和/或聚合数据)的输入。
另外,用户设备2120可以操作以从机器人2102和/或云设备和/或系统2104接收消息和/或数据。例如,除了其他之外,用户设备2120还可以接收对应于机器人2102的状态和/或性能的性能数据和/或由机器人2102生成的警报消息。例如,可以提供显示所执行清洁的级别和/或作为位置的函数收集的污物和/或垃圾的量的热图。
图22是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的包括对应于清洁任务的任务覆盖图2202的历史屏幕2200。如图示的那样,响应于接收到用于提供清洁历史的用户输入,用户设备可以显示历史屏幕2200,所述历史屏幕2200包括时间信息(诸如日期2210)、任务覆盖图2202和清洁任务执行数据2203。清洁任务执行数据2203可以包括清洁任务的持续时间、开始和/或结束时间、任务状态、在清洁任务期间清洁的面积的量和/或污物检测计数。
图23是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的包括对应于封闭空间的清洁任务的实时报告的图2302。响应于接收到请求清洁任务进度数据的用户输入,用户设备可以显示占用图和/或分割图2302,所述占用图和/或分割图2302包括对在当前清洁任务中哪些区域和/或其部分被清洁2305以及哪些区域和/或其部分未被清洁2307的标识。一些实施例规定,可以提供附加文本2303,其标识哪些区域已经被清洁以及哪些区域处于清洁过程中。
图24是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的包括多任务覆盖显示的图。如图示的那样,占用和/或分割图可以被显示成包括对应于多个清洁任务的历史覆盖数据。例如,可以生成热图2402,其标识封闭空间的已经在历史上相对于其他区更脏的区。热图2402可以包括不同颜色、阴影和/或亮度/强度以图示在相应位置处收集的污物和/或垃圾的水平。例如,右下区2420中的阴影指示相对于未加阴影的左上区2410的更大量的检测和/或收集到的垃圾和/或污物。
图25是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的可以被显示的基于房间的数据2503。在一些实施例中,用户设备可以包括用于显示基于房间的统计数据2503的用户输入。例如,一些实施例规定,用户可以选择分割图2502上的区域2501,并且可以响应于接收到所述输入显示对应于该区域2501的数据2503。例如,响应于选择分割图2502上的起居室2501的用户输入,用户设备可以显示对应于起居室的概要清洁任务数据2503,包括起居室被清洁了多少次、最后一次清洁的日期、清洁起居室花费的总时间和/或对应于所显示数据的日期范围。
图26是展示根据本发明的一些实施例的其中可以使用语音命令2601经由通信设备提供用户输入的操作的图形表示。在一些实施例中,用户设备2600可以包括用于清洁具体房间的用户输入。例如,用户输入可以是立即清洁具体房间。在一些实施例中,可以使用语言识别技术经由语音命令2601接收用户输入。一些实施例规定,可以从在用户设备2600的外部的设备接收语音命令2601。例如,可以接收语音命令以执行其他功能(诸如HVAC控制、娱乐系统控制等)的家庭管理设备可以接收语音命令2601并且向用户设备2600、机器人100和/或机器人管理节点200转换所述消息。
图27是根据本发明的一些实施例的接收用户输入以响应于通信设备的触摸屏上的手势定义清洁任务边界2705的图形表示。在一些实施例中,可以以使得清洁操作不期望的方式利用封闭空间2702的特定房间中的状况。在此类情况下,边界2705可以经由用户设备的用户输入添加到分割图的区域。例如,触摸屏上阻挡区域2707的简单手势可以致使修改的分割图将该区域2707排除在后续清洁任务之外。
图28A至图28C是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的原始数据图2802、清洁图2812和具有检测到的杂物区域2824的清洁图2822。如上文关于图8A描述的那样,一些实施例规定,机器人可以在第一遍次期间探索封闭空间的表面。可以生成占用网格,其包括在第一遍次期间生成的原始数据。占用网格可以作为原始数据图2802在用户设备上被呈现给用户,如图28A中图示的那样。原始数据图2802可以包括多个像素,其可以针对可遍历空间加白色阴影,并且针对障碍物(包括占用墙壁)加黑色阴影。
参考图28B,机器人可以生成清洁图2812,所述清洁图2812可以在用户设备上显示给用户。清洁图2812可以用边界数据2816图示封闭空间,边界数据2816被清理成基本上比原始数据更线性,并且可以突出显示封闭空间表面的可遍历空间2814。
图28C图示具有检测到的杂物区域2822的清洁图,其可以在用户设备上显示给用户。相对于清洁图2812,具有检测到的杂物区域2822的清洁图图示具有杂物区域2824的封闭空间。在一些实施例中,操作可以进一步确定杂物2824是动态杂物还是静态杂物。例如,机器人可以通过确定将更频繁地遇到杂物的概率和/或通过访问包括由一个或多个其他机器人和/或用户识别的杂物的图案的数据存储装置来确定该杂物2824是静态杂物,如下文参考图35A至图35D所述。一些实施例规定,可以相对于具有被重复遇到的较低概率的杂物使用较暗单元在图上标记被确定为静态的杂物。所述较暗单元可以指示不可遍历的已知区。通过识别此类特征,机器人可以操作以识别可以在按排序确定地清洁可遍历空间被之后清洁的杂物区域。首先清洁非杂物区域可以增加任务效率。
图29A至图29D是可以经由通信设备的用户界面显示的图形表示,其图示根据本发明的一些实施例的包括相应区特定清洁操作的分割图。参考图29A,分割图2902包括被识别为开放区2904和杂物区2906的区域和其部分。如本文中提供,开放区可以是指封闭空间、区域和/或其部分的识别为具有很少或没有识别出的杂物或杂物区的识别区,并且在本文中还称为非杂物区。如所提及,杂物可以是指占用表面并且防止表面的按排序(行)的系统的和确定性覆盖的障碍物。在一些实施例中,分割图的整个区域可以确定成开放区或杂物区。一些实施例规定,开放区和/或杂物区可以被定义为区域的一部分,在本文中也称为子区域。例如,杂物区2906是还包括所定义开放区2904的区域的一部分。此外,开放区2904可以在其中包括小的杂物的区。如图29A中所示,所显示分割图2902可以例如通过在杂物区2906和非杂物区2904周围显示视觉上不同的边界来在视觉上突出显示这些不同分类的子区域2904和2906。
在一些实施例中,可以基于杂物密度确定来确定杂物区。例如,一些实施例规定,可以通过测量具体杂物点与附近障碍物或杂物点之间的尺寸来确定杂物密度。可以将此尺寸和/或其功能与机器人和/或其部分的一些尺寸进行比较。比较结果可以确定是否将障碍物分类为杂物。例如,如果所测量距离小于基于机器人的尺寸的阈值,则可以将障碍物确定成杂物。除了其他之外,机器人的相对尺寸还可以包括总机器人长度、宽度和/或清洁头工作宽度。非限制性示例包括清洁头的工作宽度的约70%至约300%的范围。换句话说,由机器人的清洁头或(一个或多个)辊轮的宽度的约70%至约300%的距离间隔开的障碍物可以构成(或被解释为)“杂物”,因为机器人无法按无阻碍、确定性排序遍历由此类障碍物占用的地板空间。在图29A的示例中,所示最下部区基于其中杂物2908的相对低密度被分类为开放或非杂物区2904。
一旦识别出开放区2904和/或杂物区2906,便可以由移动机器人100、机器人管理节点200和/或用户设备202确定用于清洁封闭空间的表面的不同区的路线和策略,在本文中也称为覆盖图案。覆盖图案可以定义改进或优化的清洁策略,其例如通过基于表面的区域或子区域的相应分类指示表面的区域或子区域的顺序清洁来相对于其识别背景或分类不同地处理区。例如,覆盖图案可以指示首先执行开放区2904的清洁(如图29B中所示)以便暂时忽略并回避杂物区2906,然后执行杂物区2906的清洁(如图29C中所示),并且然后执行周界2930的清洁(如图29D中所示)。
参考图29B,在执行开放区清洁时,可以针对开放区2904中的每个确定排序方向2910。在一些实施例中,排序方向2910可以对应于给定区域中的最长维度。然而,一些实施例规定,排序方向基于开放区的可以不同于所述区域的维度的维度,例如,如由用户输入指定。一旦确定了开放区的清洁操作,然后便可以执行开放区清洁操作。在一些实施例中,这提高了效率,因为机器人不因对区2904中的杂物的导航(以及相关联的电池耗尽)而变慢。由于开放区2904可以表示大部分要清洁的地板空间,因此机器人可以首先完成大部分(例如,高达80%至90%或更多)的地板空间的清洁,并且然后专注于更加费力且可能中断任务的杂物区2906。例如,在某些情况下,在清洁杂物区2906时,机器人可能被困在椅子或其他家具之间,从而中断关于开放区2904的清洁任务。
开放区清洁可以包括确定用于在特定区域或其部分中结束清洁操作的有利位置。例如,在接近要清洁的下一个区域的计划起始点结束的对第一空间的清洁操作可以减少跨越已经被清洁的区域或其部分的不必要遍历。在一些实施例中,可以基于其与先前清洁操作的结束点的接近度来确定要清洁的下一个区域。例如,可以选择在当前清洁操作的完成时与最近门口相邻的房间成为要清洁的下一个区域和/或其部分。
在图29A至图29D的示例中,覆盖图案指示对不同分类的区的顺序导航,即,一旦执行了开放区清洁操作,便执行杂物区清洁操作。例如,图29C图示了剩余未清洁区是杂物区2906,并且图示了用于清洁那些区的清洁路径(由指示杂物区2906内的随机移动的模式的箭头所示)。如图29D中图示的那样,一旦清洁了开放区和杂物区,便可以沿着封闭空间的周界2930执行周界清洁操作。
将理解,在对杂物区2906的初始检测时,覆盖图案可能未被确定和/或修改,因为图2902的学习和生成可能需要已经执行至少一个导航或清洁操作。即,在计算如本文中描述的覆盖图案时,杂物检测可以基于使用持久图数据对表面的若干个导航。例如,在每次导航之后,检测到的障碍物可以存储在数据存储装置(诸如云2104中的数据存储装置2106)中。通过比较来自随时间生成的若干个图的障碍物和/或结构,可以针对表面的每个区域计算概率,从而表示其中静态对动态障碍物(诸如,墙壁对杂物)的程度或密度,其可以被用于将区域分类为杂物区2906或开放区2904。此信息还可以经由用户设备202的用户界面显示,使得区域的作为杂物区2906或开放区2904的分类是由用户可观察的。
更特别地,在对表面的多次导航之后,可以更好地通知机器人100其中障碍物的位置可能随时间改变的区域,并且因此,此类区域可以被分类为杂物区2906。其他区域可以被确定为是静态的(诸如静态空闲或静态占用),并且可以被分类为开放区2904。基于此信息,可以计算覆盖图案或清洁策略。例如,覆盖图案可以指定按排序模式更高效地清洁开放区2904(如图29B中所示),并且按边缘清洁模式清洁杂物区2906(如图29C中所示)。可以观察和区分响应于所确定覆盖图案显示在图29B和图29C中的这些示例清洁行为。在特定示例中,机器人100可以在不进入杂物区2906的情况下通过排序来首先高效清洁所有静态空闲区2904。在完成开放区2904的清洁之后,机器人100可以通过顺序地遍历所有杂乱区2906来执行边缘清洁行为。此外,在一些实施例中,机器人100可以在对表面的后续导航期间重复执行相同模式。然而,当环境被改变时(例如,当从杂物区2906中的一个或多个去除杂物时),可以通过将杂物区2906中的一个或多个重新分类为开放区2904来修改所计算的覆盖图案,从而导致在重新分类之后机器人100在对相同表面的导航中的行为中的改变。
例如,在图29A中,细长开放区2904可以表示房屋的入口走廊。大多数此类走廊可能是空闲的,使得人们可以在进入或离开房屋时行走。细长开放区2904的左边的最下部杂物区2906可以是人们在进入房屋时搁置他们的鞋的地方。在此区2906中,机器人100因此可能频繁撞上这些障碍物(鞋)或经由非接触式传感器(例如,PixArt传感器)以其他方式检测障碍物。另外,每当机器人100清洁区2906时,鞋的布置将通常不同,因为鞋的放置可能随时间频繁改变。因此,机器人100可以学习并将此特定区2906分类为动态改变的(并且因此,杂乱的),而细长走廊2904的部分(诸如,走廊的中间和下部区)可以被学习和分类为静态空闲的(诸如,可遍历的开放地板空间)。
因此,可以确定覆盖图案并将其提供给机器人100,使得机器人100在不进入鞋杂乱区2906的情况下通过高效排序来首先清洁细长走廊2904。在执行细长走廊2904的清洁之后,机器人100将根据覆盖图案通过边缘清洁顺序地清洁杂物区2906(到走廊的左边)。然而,如果人们随后开始将鞋放置在细长走廊2904的右边墙壁附近(并且不再在左边的区2906中),则可以响应于在后续导航之后对此改变的检测修改区分类和覆盖图案,并且机器人100可以在几次清洁运行之后显著改变其清洁行为。更特别地,覆盖图案可以被修改,使得响应于所述覆盖图案,机器人100可以首先清洁细长走廊2904的左边上的现在开放区(以前分类为杂物区2906),并且然后沿着细长走廊2904的右边墙壁在鞋杂乱区上执行边缘清洁。更一般地,在机器人100的导航期间可能存在杂物检测的多个指示。这些指示可以包括但不限于杂物区2906和开放区2904经由用户设备202的用户界面的显示和标记、机器人100在导航开放区2904和杂物区2906时的不同行为以及不同行为按相同次序或序列的重复执行(以及重复执行响应于环境中的改变的改变)。
在一些实施例中,由移动机器人100对覆盖图案的计算和对表面的识别区的清洁可以响应于从用户设备(例如,经由无线通信设备400的用户界面410或其他用户设备202)接收对要清洁的区域/子区域的选择、清洁序列/优先级、清洁模式和/或清洁的级别。图30A至图30G是可以经由用户设备的用户界面显示的分割图视图3002的图形表示,其图示根据本发明的一些实施例的相应区特定清洁操作和/或定义覆盖图案的偏好的用户选择的操作。例如,图30A-30G的分割图3002可以在视觉上突出显示不同分类的区域以允许对以下各项的用户选择:开放区2904的初始清洁和要按其来清洁开放区2904a、2904b、2904c和2904d的序列(在图30A-30D中由数字1-4图示)、杂物区2906的后续清洁和要按其来清洁杂物区2906a和2906b的序列(在图30E-30F中由数字5-6图示)以及通过执行图29D的周界2930的周界覆盖的清洁的完成(在图30G中由数字7图示)。在基于覆盖图案执行用户定义的区清洁操作时,移动机器人100可以将选择用于后续清洁的区视为阻进区带,直到完成当前区的清洁。在一些实施例中,移动机器人100可以按对应于区域或子区域的较长维度的基本上线性排序方向遍历不同分类的子区域2904a-d,并且可以进一步按弧形或其他非线性模式遍历子区域2906以便在拐角周围系统地导航。
此类用户定义的区清洁操作还可以允许对由移动机器人100在执行清洁操作时执行的清洁模式(包括行进的方向)和/或清洁级别(包括遍次的数目)的用户选择,从而允许用户指派的清洁级别。图31A至图31C是可以针对用于清洁图30B中所示的开放区2904b的清洁模式的用户选择经由用户设备的用户界面显示的分割图3102的图形表示。因此,经由用户界面显示的分割图3102可以允许非杂物区域2904b中对北-南排序方向2910a、西-东排序方向2910b或十字形排序方向2910c的选择。还可以针对行进的方向2910a-2910c中的每个选择清洁的彻底的级别(例如,在每个行进的方向上单个清洁遍次或多个清洁遍次)。即,根据本文中描述的实施例,可以不仅基于表面的不同分类的子区域、并且还基于用户指定的参数(包括行进的方向、清洁的级别和/或清洁的次序或优先级)确定覆盖图案。标注分割图的一个或多个区域的用户输入可以进一步促进和/或优化由移动机器人执行的清洁操作,如本文中所描述的那样。
基于本文中参考图29A-29D描述的杂物区和非杂物区的分类和/或用户定义的区清洁操作确定覆盖图案还可以基于地板铺设类型(例如,硬地板的湿式清洁、铺有地毯地板的干式清洁)。图32是可以经由用户设备的用户界面显示的分割图视图3202的图形表示,其图示根据本发明的一些实施例的对区特定清洁操作的地板类型的检测和/或用户选择。如图32中所示,图形表示3202可以结合检测到的杂物区2906和开放区2904指示地板铺设类型,包括硬地板3204和软地板或地毯3206。即,基于对应地板铺设类型的检测或用户指示,杂物区2906和开放区2904可以进一步被识别为硬地板开放区3205、硬地板杂物区3207、软地板开放区3209和软地板杂物区3211。此外,识别为杂物2906或开放2904的区可以包括多于一个地板类型3206或3204,或反之亦然。例如,图32中所示的最下部开放区2904包括软地板/地毯区3206和硬地板区3204二者。
地板铺设类型3204、3206可以由机器人100在对表面的导航期间基于来自其一个或多个传感器的输入和/或基于经由用户界面从用户设备接收对对应于分割图3202的一个或多个区域的地板类型的识别检测。例如,对地板铺设类型3204、3206的检测可以由机器人100执行,如在2015年2月13日提交的Santini的美国专利申请公开No.2016/0235270中描述的那样,所述美国专利申请公开的公开内容通过引用被并入本文中。此外,虽然仅示出硬地板3204和铺有地毯的地板3206类型,但是将理解,还可以由机器人100检测和/或经由用户界面指定附加地板铺设类型,诸如硬地板的类型(例如,木材或混凝土)和/或地毯的类型(例如,粗毛或柏柏尔(Berber))。此外,可以响应于对地板铺设类型3204、3206的检测或识别确定由机器人100执行的清洁操作的类型(例如,湿式或干式清洁)。
还可以对准或以其他方式确定用户指示的地板铺设类型(例如,如经由用户界面接收)以与由机器人100基于传感器输入和/或机器学习检测到的地板铺设类型3204、3206相对应。例如,经由用户界面,用户可以在图3202中所示的最下部开放区3204中的小地毯3209周围绘制或以其他方式定义边界3205以指示其对应于地毯区和/或阻进区带。机器人100还可以在硬地板区3204上检测(例如,使用声学传感器)小地毯3209的边缘;然而,可以确定的是,用户定义的边界3205(如图3202上所显示)并不恰好对应于如由(一个或多个)机器人传感器检测到的小地毯3209的实际边界。例如,如图32中所示,用户定义的边界3205相对于小地毯3209的边界被移位。响应于检测到此差异,机器人100可以相对于小地毯3209的检测到的边界基于显示图3202识别与用户定义的边界3205相关联的误差幅度(特别是因为图3202可以被简化用于经由用户界面显示),并且可以响应于用户定义的边界3205验证其对硬地板区3204与软地板区3206之间的过渡的检测。在一些实施例中,可以例如通过在图3202上移位、重新定大小或以其他方式重新对准用户定义的边界3205来在显示图3202上调整用户定义的边界3205以对应于小地毯3209的检测到的边界。
可以通过采用逐房间清洁(例如,基于本文中描述的房间分割操作)来进一步改进如本文中描述的基于用户定义的区清洁操作的覆盖图案。在一些情况下,逐房间清洁操作可以允许高达50%的清洁时间减少。此外,结合对区的用户标注和/或背景敏感行为,基于持久绘图(例如,通过随时间更新操作环境的静态对动态区)可以进一步改善清洁性能。例如,在基于所确定的覆盖图案中,机器人100可以在完成开放区清洁之后响应于遇到周界或边界执行边缘清洁。作为另一示例,在完成杂物区清洁之后,机器人100可以不在用于清洁开放区的相同排序方向上遍历先前清洁的开放区。用于计算本文中描述的覆盖图案的操作可以由机器人100、机器人管理服务器200和/或用户设备202执行。
在一些实施例中,本文中描述的杂物检测和分类操作可以结合从用户设备接收的反馈利用由机器人100收集的占用数据。例如,对象(包括诸如墙壁的静态对象和诸如杂物的动态对象)可以由机器人100使用包括硬编码或编程规则的分类器检测。所述编程规则可以基于例如对象面积和偏心率、对象坚固性和/或对象与线性结构的相似性。然而,如上面指出的那样,由看似被附接到检测到的边界的像素定义的对象可以被解释为被合并到墙壁中。对所收集占用数据的此类不准确解释可能导致生成不准确图用于呈现给用户。
同样地,在一些实施例中,分类器可以基于由机器人100收集的占用数据来训练,并且基于从多个用户接收的反馈输入来进一步微调。特别是,由一个用户识别的杂物的图案可以被存储在数据存储装置(例如,图21的数据存储装置2106)中并且由其他用户和/或机器人利用,例如使用基于卷积神经网(CNN)的对象检测。图34A至图34F图示用于从图数据区分和去除杂物的示例操作。特别是,可以使用基于由移动机器人的导航收集的数据生成的占用或网格图3402(如图34A中所示)来检测和区分表示对象的像素区3406和表示背景区的像素区3404(如图34B中所示)。更特别地,根据图34A中所示的图3402,提取图34B中所示的边界3404,并且将表示对象的像素区3406分类为图34C中的边界分离障碍物像素3406a和边界附接障碍物像素3406b。去除边界分离障碍物像素3406a(如图34D中所示),使得边界附接障碍物像素3406b保留(如图34E中所示)。在一些实施例中,可以通过访问包括至少部分由从多个用户接收的标注输入生成的地面实况信息的数据存储装置来将边界附接障碍物像素3406b识别和分类为杂物(而不是识别和分类为墙壁)。由此去除边界附接障碍物像素3406b,使得仅表示墙壁的边界3404保留在网格图3402中,如图34F中所示。
可以用于将像素识别和分类为杂物的数据存储装置(诸如以上描述的数据存储装置2106)可以由将特定结构标注为墙壁(静态结构)或杂物(动态结构)的用户输入生成。在一些实施例中,基于CNN的对象检测可以例如由机器人管理服务器200和/或其他云服务器远离移动机器人100执行。CNN分类器可以使用由许多机器人收集的所存储分类数据来预先训练(例如,基于从机器人导航收集的静态图),并且使用由从一个或多个用户设备接收的用户反馈生成的所存储数据来微调。
图35A至图35D图示如本文中描述的可以被存储在数据存储装置中并且用于杂物分类和特征提取的图案3504、3506的示例。更特别地,图35A-35B图示指示杂物的图案3506,而图35C-35D图示指示墙壁的图案3504,如基于从多个用户标注输入接收的反馈接收和/或识别。用户标注输入可以经由用户设备(诸如本文中描述的用户设备202和/或无线电子设备400)的用户界面接收。因此,可以从由机器人100使用例如自动编码器收集的后续占用数据学习和提取由图35A至图35D中所示的图案表示或对应于图35A至图35D中所示的图案的特征。图35A至图35D中所示的图案和/或形状可以基于附加用户标注输入来进一步分类。例如,基于对应图案的用户标注,图35B中指示动态结构的图案3506中特定图案可以被区分为厨房用具而不是家具,或反之亦然。同样地,可以响应于访问维护分类杂物的类型和子类型的用户标注输入的存档的数据存储装置区分家具的类型(例如,椅子对桌子),其可以由一个或多个移动机器人随后用于在一个或多个不同操作环境中识别此类图案。在其他实施例中,根据图35A至图35D的基于图案的对象检测可以与基于图像的数据一起使用或与其结合用于图像分类。
图36A至图36C是根据本发明的一些实施例的图示用于通过多个图之间的分割转移和特征匹配来更新持久图数据的操作的图形表示。特别是,由根据移动机器人100收集的占用数据生成的操作环境的网格图3602a、3602b可能不同于操作环境的日常导航。这些差异可能例如由传感器噪声和/或操作环境中的杂物(包括人、动物和/或家具)的不同放置或移动引起。
为了在此类动态操作环境中维持一致分割,本文中的实施例可以在不同时间时和/或不同状况下的收集的图之间转移分割。用于此类分割转移的操作可以包括特征匹配(如图36A中所示)和异常值去除(如图36B中所示)。特征匹配可以包括例如通过匹配边界和/或关联由在相同操作环境中在不同时间和/或不同状况下检测到的占用数据生成的多个图3602a、3602b公共的形状来用从先前图3602a识别的一个或多个特征更新操作环境的随后获得的图3602b。在多个图3602a、3602b中存在或持久的特征3606可以被识别为对应于静态特征,诸如墙壁或其他不可移动的结构。异常值去除可以包括删除出现在图3602a、3602b中的一些中但不出现在其他图中的区3604(例如,门口和/或走廊)。特征匹配操作可以基于由机器人收集的成像和非成像数据二者,例如,基于由非成像传感器捕获的保险杠碰撞以及由移动机器人的相机捕获的图像。
此外,指示房间分割的边界3609可以在基于在不同时间和/或操作状况收集的占用数据生成的图3602a、3602b之间转移(如图36C中所示)。对经由用户设备的用户界面显示的分割图的用户输入和/或修改还可以在更新图中转移,如本文中所描述的那样。对一致分割3609的此类维护可以允许用户在移动机器人的每次操作时观察相同/类似清洁行为或序列,从而增加机器人操作的可预测性。此外,如本文中描述的在更新图中转移分割3609可以允许用户针对逐房间或基于区域的清洁维持先前定义的分割编辑和/或先前定义的操作序列。因此,尽管操作环境本身有一些变化,但是用户仍可以观察到移动机器人的相对稳定行为。
图37是可以经由通信设备3700的用户界面3710显示的图形表示,其图示根据本发明的一些实施例的移动机器人响应于时间状态的用户选择的操作。如图37中所示,指示由移动机器人100对操作环境的导航的图可以与指示机器人在图中所示每个位置处的时间的时间数据一起生成并存储。基于此数据,可以经由用户设备3700的用户界面3710呈现用户输入元素3750(图示为时间滑块用户界面)。用户输入元素3750被配置成接收针对其期望机器人100的操作状态信息的时间的用户规范。在一些实施例中,可以响应于经由用户输入元素3750接收一个或多个特定时间的用户选择而生成并显示图示移动机器人100的位置和操作的动画3720。
更特别地,在图37的示例中,时间滑块条3750被配置成接收沿着条元素3755的长度将滑块元素3751操纵到相应位置的用户输入。条元素3755在视觉上表示针对其存储或可以其他方式访问机器人100的操作状态信息的时间范围。可以沿着条元素3755的长度提供指示可以是相应时间的标记。用户界面3710被配置成响应于对滑块元素的操纵或其他用户输入沿着条元素3750的长度检测滑块元素3751的位置,根据此,设备3700被配置成基于滑块元素3751的位置沿着由条元素3755表示的时间范围的对应性确定由用户输入指定的时间。从而用户界面3710被配置成显示表示与对应于由用户输入指定的时间的时间数据相关联的机器人100的操作状态的状态指示。还可以响应于对时间滑块条3750的用户操纵显示图示在移动机器人100的运行时间的选定部分内的移动机器人100的位置和操作的动画3720。
动画3720可以视觉表示实际机器人操作状态信息(基于机器人100的实际过去或现在操作,如先前日志记录或当前报告),和/或预期的机器人操作状态信息(基于机器人100的调度的未来操作,如由用户指定)。可以连续日志记录和更新实际和预期/调度的操作状态(以及与其相关联的过去、现在或未来时间数据),并且可以将其存储在数据库中。例如,在一些实施例中,计算设备(诸如,机器人管理节点200)可以接收指示机器人100的实际操作状态(以及相关联的过去或现在时间数据)和/或预期的操作状态(以及相关联的未来时间数据)的数据。指示操作状态以及相关联的时间数据的数据可以由计算设备请求(或“拉取”),或者可以由与其通信的机器人100和/或网络源报告(或“推送”)。还可以以各种粒度呈现清洁进度的动画3720。例如,可以选择并以放大图显示(而不是如图37中所示的小方块)来显示子区域或房间级别上的清洁进度。附加地或替代地,动画3720可以图示机器人100的轨迹,从而响应于用户选择显示机器人100的先前或实时路径。在一些实施例中,经由输入元素3750选择的时间与由移动机器人100收集和存储的视频馈送中的时间戳相关联,并且用户界面3710可以显示由安装到移动机器人100的相机在选定时间时捕获的图像/视频。更一般地,可以在用户指定的时间时或在用户指定的时间范围内显示在整个操作环境中的移动机器人100的瞬时操作和操作模式的可查看历史3720。
在本公开的各种实施例的以上描述中,本公开的方面在本文中可以按许多可专利性的类别或上下文中的任一个图示和描述,包括任何新的和有用的过程、机器、制造或物质的组成,或者其任何新的和有用的改进。因此,本公开的方面可以按完全硬件、完全软件(包括固件、驻留软件、微代码等)实现,或者组合全部通常可以在本文中被称为“电路”、“模块”、“部件”或“系统”的软件和硬件实现。此外,本公开的方面可以采用计算机程序产品的形式,其包括具有在其上实现的计算机可读程序代码的一个或多个计算机可读介质。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁或半导体系统、装置或设备,或者前述系统、装置或设备的任何合适组合。计算机可读存储介质的更具体示例(非穷尽列表)将包括以下设备:便携式计算机软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、具有中继器的合适的光纤、便携式压缩盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备,或者前述设备的任何合适组合。在此文档的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储程序以供由指令执行系统、装置或设备使用或者结合指令执行系统、装置或设备使用。
计算机可读信号介质可以包括例如在基带中或作为载波的部分的具有在其中实现的计算机可读程序代码的传播数据信号。此类传播信号可以采用多种形式中的任何形式,包括但不限于电磁、光学或其任何合适组合。计算机可读信号介质可以是任何计算机可读介质,所述计算机可读介质不是计算机可读存储介质并且可以通信、传播或传输程序以供由指令执行系统、装置或设备使用或者结合指令执行系统、装置或设备使用。在计算机可读信号介质上实现的程序代码可以使用任何合适介质发射,包括但不限于无线、有线、光纤电缆、RF等或前述介质的任何合适组合。
用于执行本公开的方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来写。所述程序代码可以完全在本文中描述的用户设备、移动机器人或远程服务器上或者部分在每个中的一个或多个上执行。在后者的情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者连接可以进行到外部计算机(例如,使用因特网服务提供商通过因特网)或云计算环境中或提供为服务,诸如软件即服务(SaaS)。
在本文中参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述本公开的方面。将理解,所述流程图图示和/或框图中的每个框以及所述流程图图示和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得经由计算机或其他可编程指令执行装置的处理器执行的指令创建用于实现在所述流程图和/或一个或多个框图框中指定的功能/动作的机构。
这些计算机程序指令还可以被存储在计算机可读介质中,其在执行时可以引导计算机、其他可编程数据处理装置或其他设备以特定方式起作用,使得所述指令当存储在计算机可读介质中时产生包括在执行时致使计算机实现在所述流程图和/或一个或多个框图框中指定的功能/动作的指令的制品。所述计算机程序指令还可以被加载到计算机、其他可编程指令执行装置或其他设备上以致使一系列操作步骤在所述计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程,使得在所述计算机或其他可编程装置上执行的指令提供用于实现在所述流程图和/或一个或多个框图框中指定的功能/动作的过程。
将理解,本文中使用的术语仅用于描述特定实施例的目的,并且不旨在限制本发明。除非另外定义,否则本文中使用的所有术语(包括技术和科学术语)都具有与由本公开所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解,诸如在常用词典中定义的那些的术语应被解释为具有与其在本说明书和相关领域的上下文中的含义一致的含义,并且将不按理想化或过度正式意义解释,除非在本文中明确这样定义。
图中的流程图和框图图示根据本公开的各种方面的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面中,流程图或框图中的每个框可以表示代码的模块、段或部分,其包括用于实现所指定(一个或多个)逻辑功能的一个或多个可执行指令。还应注意,在一些替代实现中,框中指出的功能可以脱离在图中指出的次序发生。例如,连续显示的两个框实际上可以基本上同时执行,或者所述框有时可以按相反次序执行,这取决于所涉及的功能。还将注意,所述框图和/或流程图图示中的每个框以及所述框图和/或流程图图示中的框的组合可以由执行所指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合实现。
前述内容是对本发明的说明,并且不被解释为对本发明的限制。虽然已经描述了本发明的一些示例实施例,但是本领域技术人员将容易理解,在不实质上脱离本发明的新颖教导和优点的情况下,许多修改在所述示例实施例中是可能的。因此,所有此类修改旨在被包括在本发明的范围内。因此,将理解,前述内容是对本发明的说明,而不被解释为限于所公开具体实施例,并且对所公开实施例以及其他实施例的修改旨在被包括在本发明的范围内。

Claims (41)

1.一种计算设备,包括:
处理器;以及
耦合到处理器的存储器,存储器包括其中存储计算机可读程序代码的非暂时性计算机可读存储介质,计算机可读程序代码可由处理器执行以执行操作,所述操作包括:
生成基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图,其中分割图包括相对于由占用数据指示的实际边界的简化边界;
将相应区域中的至少一个相应区域的多个子区域识别为非杂物区和杂物区;
修改包括简化边界的分割图以响应于对杂物区的识别来指示杂物区;
基于对子区域的识别计算覆盖图案,覆盖图案指示用于非杂物区和杂物区的导航的序列;以及
将覆盖图案提供给移动机器人,其中,响应于覆盖图案,移动机器人按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个相应区域的非杂物区和杂物区。
2.根据权利要求1所述的计算设备,其中序列进一步包括对表面的周界的导航,并且其中移动机器人按由覆盖图案指示的序列顺序地导航非杂物区、杂物区和表面的周界。
3.根据权利要求1所述的计算设备,其中覆盖图案进一步指示非杂物区的排序方向,排序方向对应于相应区域中的至少一个相应区域的维度,所述维度比所述相应区域中的至少一个相应区域的另一维度长,并且其中移动机器人按由覆盖图案指示的排序方向遍历非杂物区。
4.根据权利要求3所述的计算设备,其中计算覆盖图案包括:
基于与杂物区的接近度确定用于结束对非杂物区的导航的表面上的位置,
其中,响应于按由覆盖图案指示的排序方向遍历非杂物区,移动机器人在具有接近于杂物区的位置处结束对非杂物区的导航并且按随机图案遍历杂物区,其中响应于遍历杂物区,移动机器人在遍历子区域中的至少一个其他子区域之前不按排序方向遍历非杂物区。
5.根据权利要求1所述的计算设备,其中由分割图定义的相应区域对应于相应房间,其中覆盖图案进一步指示对相应房间的导航的次序,并且其中移动机器人在按由覆盖图案指示的次序对相应房间中的下一个房间的导航之前按由覆盖图案指示的序列顺序地导航相应房间中的一个的非杂物区和杂物区。
6.根据权利要求1所述的计算设备,其中操作进一步包括:
将分割图提供给用户设备,用户设备包括被配置成显示分割图的用户界面;以及
响应于向用户设备提供分割图,从用户设备接收选择输入,
其中计算覆盖图案进一步基于选择输入。
7.根据权利要求6所述的计算设备,其中选择输入包括针对相应区域和/或其子区域中的至少一个的相应的清洁的级别,其中覆盖图案进一步指示相应的清洁的级别,并且其中移动机器人根据由覆盖图案指示的相应的清洁的级别在导航相应区域和/或其子区域中的至少一个时执行多个清洁遍次。
8.根据权利要求6所述的计算设备,其中选择输入包括针对相应区域和/或其子区域中的一个或多个的用户定义的边界或标签,其中覆盖图案进一步指示用户定义的边界或标签,并且其中移动机器人根据由覆盖图案指示的用户定义的边界或标签避免对相应区域和/或其子区域中的一个或多个的导航。
9.根据权利要求1所述的计算设备,其中操作进一步包括:
检测子区域的相应地板铺设类型,
其中计算覆盖图案进一步包括基于与其对应的子区域的相应地板铺设类型确定用于非杂物区和杂物区的导航的序列。
10.根据权利要求1所述的计算设备,其中分割图包括先前从用户设备接收和/或由移动机器人响应于对表面的至少一个先前导航收集的数据。
11.根据权利要求10所述的计算设备,其中生成分割图包括:
将由移动机器人响应于对表面的导航收集的占用数据与由移动机器人响应于对表面的至少一个先前导航收集的数据进行比较;以及
更新分割图以包括由比较指示的共性并且排除由比较指示的异常值。
12.根据权利要求1所述的计算设备,其中生成分割图包括:
通过应用阈值化函数基于占用数据计算二进制图像;以及
通过应用距离变换对二进制图像执行分水岭变换以将二进制图像分成相应区域。
13.根据权利要求1所述的计算设备,其中
修改包括简化边界的分割图以响应于对杂物区的识别来指示杂物区是在将分割图提供给用户设备之前。
14.根据权利要求1所述的计算设备,其中将子区域识别为非杂物区和杂物区包括:
访问包括多个图案和对其的识别的数据存储装置;以及
基于与存储在数据存储装置中的多个图案的相似性对子区域内的像素区域进行分类。
15.根据权利要求14所述的计算设备,其中对多个图案的识别中的一个或多个基于从一个或多个用户设备接收的相应标注输入。
16.根据权利要求15所述的计算设备,其中将子区域识别为非杂物区和杂物区进一步包括:
响应于访问数据存储装置,将像素区域分类为对应于墙壁的静态结构或对应于杂物的动态结构。
17.根据权利要求14所述的计算设备,其中将子区域识别为非杂物区和杂物区包括:
基于占用数据识别至少一个边界;以及
在访问数据存储装置之前,将像素区域区分为与至少一个边界相邻的附着像素区域和与所述至少一个边界间隔开的分离像素区域。
18.根据权利要求1的计算设备,其中计算设备包括移动机器人的部件,其中占用数据由移动机器人的至少一个传感器检测,并且其中操作进一步包括:
操作移动机器人的驱动器以按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个相应区域的非杂物区和杂物区。
19.根据权利要求1所述的计算设备,其中计算设备包括通信耦合到移动机器人的服务器的部件,并且其中操作进一步包括:
响应于对表面的导航,从移动机器人接收占用数据;以及
将分割图存储在数据存储装置中。
20.一种操作移动机器人的方法,包括:
由至少一个处理器执行存储在非暂时性计算机可读存储介质中的计算机可读指令以执行操作,所述操作包括:
生成基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图,其中分割图包括相对于由占用数据指示的实际边界的简化边界;
将相应区域中的至少一个相应区域的多个子区域识别为非杂物区和杂物区;
修改包括简化边界的分割图以响应于对杂物区的识别指示杂物区;
基于对子区域的识别,计算覆盖图案,覆盖图案指示用于非杂物区和杂物区的导航的序列;以及
将覆盖图案提供给移动机器人,其中,响应于覆盖图案,移动机器人按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个相应区域的非杂物区和杂物区。
21.根据权利要求20所述的方法,其中序列进一步包括对表面的周界的导航,并且其中移动机器人按由覆盖图案指示的序列顺序地导航非杂物区、杂物区和表面的周界。
22.根据权利要求20所述的方法,其中覆盖图案进一步指示非杂物区的排序方向,排序方向对应于相应区域中的至少一个相应区域的维度,所述维度比所述相应区域中的至少一个相应区域的另一维度长,并且其中移动机器人按由覆盖图案指示的排序方向遍历非杂物区。
23.根据权利要求22所述的方法,其中计算覆盖图案包括:
基于与杂物区的接近度确定用于结束对非杂物区的导航的表面上的位置,
其中,响应于按由覆盖图案指示的排序方向遍历非杂物区,移动机器人在具有接近于杂物区的位置处结束对非杂物区的导航并且按随机图案遍历杂物区,其中响应于遍历杂物区,移动机器人在遍历子区域中的至少一个其他子区域之前不按排序方向遍历非杂物区。
24.根据权利要求20所述的方法,其中由分割图定义的相应区域对应于相应房间,其中覆盖图案进一步指示对相应房间的导航的重复次序,并且其中移动机器人在按由覆盖图案指示的次序对相应房间中的下一个的导航之前按由覆盖图案指示的序列顺序地导航相应房间中的一个的非杂物区和杂物区。
25.根据权利要求20所述的方法,其中操作进一步包括:
将分割图提供给用户设备,用户设备包括被配置成显示分割图的用户界面;以及
响应于向用户设备提供分割图,从用户设备接收选择输入,
其中计算覆盖图案进一步基于选择输入。
26.根据权利要求25所述的方法,其中选择输入包括针对相应区域和/或其子区域中的至少一个的相应的清洁的级别,其中覆盖图案进一步指示相应的清洁的级别,并且其中移动机器人根据由覆盖图案指示的相应的清洁的级别在导航相应区域和/或其子区域中的至少一个时执行多个清洁遍次。
27.根据权利要求25所述的方法,其中选择输入包括针对相应区域和/或其子区域中的一个或多个的用户定义的边界或标签,其中覆盖图案进一步指示用户定义的边界或标签,并且其中移动机器人根据由覆盖图案指示的用户定义的边界或标签避免对相应区域和/或其子区域中的一个或多个的导航。
28.根据权利要求20所述的方法,其中操作进一步包括:
检测子区域的相应地板铺设类型,
其中计算覆盖图案进一步包括基于与其对应的子区域的相应地板铺设类型确定用于非杂物区和杂物区的导航的序列。
29.根据权利要求20所述的方法,其中分割图包括先前从用户设备接收和/或由移动机器人响应于对表面的至少一个先前导航收集的数据。
30.根据权利要求29所述的方法,其中生成分割图包括:
将由移动机器人响应于对表面的导航收集的占用数据与由移动机器人响应于对表面的至少一个先前导航收集的数据进行比较;以及
更新分割图以包括由比较指示的共性并且排除由比较指示的异常值。
31.根据权利要求20所述的方法,其中生成分割图包括:
通过应用阈值化函数,基于占用数据计算二进制图像;以及
通过应用距离变换对二进制图像执行分水岭变换以将二进制图像分成相应区域。
32.根据权利要求20所述的方法,其中
修改包括简化边界的分割图以响应于对杂物区的识别指示杂物区是在将分割图提供给用户设备之前。
33.根据权利要求20所述的方法,其中将子区域识别为非杂物区和杂物区包括:
访问包括多个图案和对其的识别的数据存储装置;以及
基于与存储在数据存储装置中的多个图案的相似性对子区域内的像素区域进行分类。
34.根据权利要求33所述的方法,其中对多个图案的识别中的一个或多个基于从一个或多个用户设备接收的相应标注输入。
35.根据权利要求34所述的方法,其中将子区域识别为非杂物区和杂物区进一步包括:
响应于访问数据存储装置,将像素区域分类为对应于墙壁的静态结构或对应于杂物的动态结构。
36.根据权利要求33所述的方法,其中将子区域识别为非杂物区和杂物区包括:
基于占用数据识别至少一个边界;以及
在访问数据存储装置之前,将像素区域区分为与至少一个边界相邻的附着像素区域和与至少一个边界间隔开的分离像素区域。
37.根据权利要求20所述的方法,其中计算设备包括移动机器人的部件,其中占用数据由移动机器人的至少一个传感器检测,并且其中操作进一步包括:
操作移动机器人的驱动器以按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个相应区域的非杂物区和杂物区。
38.根据权利要求20所述的方法,其中计算设备包括通信耦合到移动机器人的服务器的部件,并且其中操作进一步包括:
响应于对表面的导航,从移动机器人接收占用数据;以及
将分割图存储在数据存储装置中。
39.一种用于操作移动机器人的计算机程序产品,计算机程序产品包括其中存储有计算机可读指令的非暂时性计算机可读介质,计算机可读指令在由处理器执行时致使处理器执行操作,所述操作包括:
生成基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图,其中分割图包括相对于由占用数据指示的实际边界的简化边界;
将相应区域中的至少一个相应区域的多个子区域识别为非杂物区和杂物区;
修改包括简化边界的分割图以响应于对杂物区的识别来指示杂物区;
基于对子区域的识别,计算覆盖图案,覆盖图案指示用于非杂物区和杂物区的导航的序列;以及
将覆盖图案提供给移动机器人,其中,响应于覆盖图案,移动机器人按由覆盖图案指示的序列顺序地导航表面的相应区域中的至少一个相应区域的非杂物区和杂物区。
40.一种操作用户终端的方法,所述方法包括:
由用户终端的至少一个处理器执行在包括非暂时性计算机可读存储介质的存储器中存储的计算机可读指令以执行操作,所述操作包括:
经由用户终端的收发器接收基于由移动机器人响应于对表面的导航收集的占用数据的定义表面的相应区域的分割图,其中分割图将相应区域中的至少一个相应区域的子区域识别为杂物区和非杂物区;
经由用户终端的用户界面显示分割图的图形表示;
经由用户界面接收对应于分割图的相应区域和/或其子区域中的一个或多个的选择输入;以及
经由收发器将包括选择输入的修改的分割图发射到移动机器人。
41.一种用于操作用户终端的计算机程序产品,计算机程序产品包括其中存储有计算机可读指令的非暂时性计算机可读介质,计算机可读指令在由处理器执行时致使处理器执行权利要求40所述的方法。
CN201780026724.5A 2016-09-14 2017-09-14 用于基于区分类的机器人的可配置操作的系统和方法 Active CN109195751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211462071.4A CN115844284A (zh) 2016-09-14 2017-09-14 用于基于区分类的机器人的可配置操作的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662394638P 2016-09-14 2016-09-14
US62/394638 2016-09-14
PCT/US2017/051523 WO2018053100A1 (en) 2016-09-14 2017-09-14 Systems and methods for configurable operation of a robot based on area classification

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211462071.4A Division CN115844284A (zh) 2016-09-14 2017-09-14 用于基于区分类的机器人的可配置操作的系统和方法

Publications (2)

Publication Number Publication Date
CN109195751A CN109195751A (zh) 2019-01-11
CN109195751B true CN109195751B (zh) 2022-12-06

Family

ID=61559789

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211462071.4A Pending CN115844284A (zh) 2016-09-14 2017-09-14 用于基于区分类的机器人的可配置操作的系统和方法
CN201780026724.5A Active CN109195751B (zh) 2016-09-14 2017-09-14 用于基于区分类的机器人的可配置操作的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211462071.4A Pending CN115844284A (zh) 2016-09-14 2017-09-14 用于基于区分类的机器人的可配置操作的系统和方法

Country Status (6)

Country Link
US (5) US10168709B2 (zh)
EP (2) EP3957447B1 (zh)
JP (1) JP7166926B2 (zh)
CN (2) CN115844284A (zh)
MY (1) MY195922A (zh)
WO (1) WO2018053100A1 (zh)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972052B2 (en) * 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US11835343B1 (en) * 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
DE102015119501A1 (de) 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
DE102016102644A1 (de) * 2016-02-15 2017-08-17 RobArt GmbH Verfahren zur Steuerung eines autonomen mobilen Roboters
US10593074B1 (en) * 2016-03-16 2020-03-17 Liberty Mutual Insurance Company Interactive user interface for displaying geographic boundaries
US10043076B1 (en) 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10571925B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US11314262B2 (en) * 2016-08-29 2022-04-26 Trifo, Inc. Autonomous platform guidance systems with task planning and obstacle avoidance
US10571926B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
EP3957447B1 (en) 2016-09-14 2024-06-26 iRobot Corporation Systems and methods for configurable operation of a robot based on area classification
US10732127B2 (en) * 2016-10-26 2020-08-04 Pixart Imaging Inc. Dirtiness level determining system and surface cleaning machine
KR20180070932A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 이동체 및 이동체의 제어 방법
DE112017006018T5 (de) * 2016-12-30 2019-09-12 Robert Bosch Gmbh Mobile robotische vorrichtung, die unstrukturierte daten von innenumgebungen verarbeitet, um räume in einer einrichtung zu segmentieren, um die bewegung der vorrichtung durch die einrichtung zu verbessern
KR102235270B1 (ko) * 2017-01-18 2021-04-01 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
KR20180097917A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP3590014B1 (de) * 2017-03-02 2021-11-17 Robart GmbH Verfahren zur steuerung eines autonomen, mobilen roboters
US10882186B1 (en) 2017-05-11 2021-01-05 AI Incorporated Method for efficient operation of mobile robotic devices
US10551843B2 (en) * 2017-07-11 2020-02-04 Neato Robotics, Inc. Surface type detection for robotic cleaning device
US10353399B2 (en) * 2017-07-21 2019-07-16 AI Incorporated Polymorphic path planning for robotic devices
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
DE102017118382A1 (de) * 2017-08-11 2019-02-14 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Reinigungsgerätes
DE102017118383A1 (de) 2017-08-11 2019-02-14 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Reinigungsgerätes
US11240854B2 (en) * 2017-08-22 2022-02-01 AI Incorporated Methods and systems for pairing mobile robotic device docking stations with a wireless router and cloud service
JP6814118B2 (ja) * 2017-09-15 2021-01-13 株式会社日立製作所 ロボット制御装置、システム、及び方法
CN114504276B (zh) * 2017-09-25 2023-11-28 北京石头创新科技有限公司 自主移动机器人及其寻桩方法和控制装置
JP2019171001A (ja) * 2017-09-29 2019-10-10 パナソニックIpマネジメント株式会社 自律移動掃除機、掃除方法、及びプログラム
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
US20190184569A1 (en) * 2017-12-18 2019-06-20 Bot3, Inc. Robot based on artificial intelligence, and control method thereof
KR102024094B1 (ko) * 2017-12-21 2019-09-23 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 그 제어방법
US11493421B2 (en) * 2017-12-29 2022-11-08 Lg Electronics Inc. Device for measuring fine dust and fine dust information utilization system comprising same
US10795377B2 (en) * 2018-01-03 2020-10-06 AI Incorporated Method for autonomously controlling speed of components and functions of a robot
US20210109520A1 (en) * 2018-04-23 2021-04-15 Purdue Research Foundation Augmented reality interface for authoring tasks for execution by a programmable robot
CN108490955A (zh) * 2018-05-04 2018-09-04 深圳市沃特沃德股份有限公司 一种扫地机器人的控制方法及系统
US11457788B2 (en) * 2018-05-11 2022-10-04 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
WO2019236588A1 (en) * 2018-06-04 2019-12-12 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device
MX2020014269A (es) * 2018-06-21 2021-03-25 Beijing Geekplus Tech Co Ltd Metodo de planificacion de robot y control de trayectoria de robot, servidor y medio de almacenamiento.
KR102015498B1 (ko) * 2018-06-27 2019-10-23 엘지전자 주식회사 복수의 자율주행 청소기 및 그 제어방법
TWI660275B (zh) * 2018-06-27 2019-05-21 廣達電腦股份有限公司 用於清潔裝置之任務區域分配方法、清潔裝置任務分配系統以及清潔裝置
US11157016B2 (en) * 2018-07-10 2021-10-26 Neato Robotics, Inc. Automatic recognition of multiple floorplans by cleaning robot
US11185207B2 (en) * 2018-07-24 2021-11-30 Qualcomm Incorporated Managing cleaning robot behavior
DE102018120577A1 (de) * 2018-08-23 2020-02-27 Vorwerk & Co. Interholding Gmbh Sich selbsttätig innerhalb einer Umgebung fortbewegendes Bodenbearbeitungsgerät
US10835096B2 (en) * 2018-08-30 2020-11-17 Irobot Corporation Map based training and interface for mobile robots
US11272823B2 (en) * 2018-08-31 2022-03-15 Neato Robotics, Inc. Zone cleaning apparatus and method
DE102018121365A1 (de) * 2018-08-31 2020-04-23 RobArt GmbH Exploration eines robotereinsatzgebietes durch einen autonomen mobilen roboter
US11007644B2 (en) * 2018-09-04 2021-05-18 Irobot Corporation Mapping interface for mobile robots
US11039725B2 (en) * 2018-09-05 2021-06-22 Irobot Corporation Interface for robot cleaner evacuation
US11278176B2 (en) * 2018-09-06 2022-03-22 Irobot Corporation Scheduling system for autonomous robots
TWI687191B (zh) * 2018-10-23 2020-03-11 廣達電腦股份有限公司 用於多個清潔裝置之任務區域分配方法以及其系統
CN109582015B (zh) * 2018-11-07 2020-11-20 深圳乐动机器人有限公司 一种室内清扫规划的方法、装置及机器人
CN109521769A (zh) * 2018-11-19 2019-03-26 云鲸智能科技(东莞)有限公司 一种清洁方案的设定方法、系统及计算机可读存储介质
CN109464074B (zh) * 2018-11-29 2021-05-28 深圳市银星智能科技股份有限公司 区域划分方法、分区清扫方法及其机器人
USD938115S1 (en) 2018-11-30 2021-12-07 Irobot Corporation Autonomous floor cleaning robot
AU2019399322B2 (en) * 2018-12-12 2023-06-29 Lg Electronics Inc. Robot cleaner and method for operating same
CN109528095B (zh) * 2018-12-28 2020-11-17 深圳市愚公科技有限公司 扫地记录图的校准方法、扫地机器人及移动终端
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
KR102255273B1 (ko) * 2019-01-04 2021-05-24 삼성전자주식회사 청소 공간의 지도 데이터를 생성하는 장치 및 방법
WO2020146352A1 (en) * 2019-01-08 2020-07-16 R-Go Robotics Ltd. System and method for monitoring movements
CN110236456B (zh) * 2019-01-08 2021-06-18 云鲸智能科技(东莞)有限公司 拖地机器人的控制方法、装置、设备及存储介质
CN109602344B (zh) * 2019-01-10 2021-04-30 珠海格力电器股份有限公司 基于微波雷达的扫地机器人控制方法及装置、系统
CN109871420B (zh) * 2019-01-16 2022-03-29 深圳乐动机器人有限公司 地图生成和分区方法、装置及终端设备
EP3686704B1 (en) * 2019-01-22 2023-08-09 Honda Research Institute Europe GmbH Method for generating a representation and system for teaching an autonomous device operating based on such representation
JP7280712B2 (ja) * 2019-02-27 2023-05-24 東芝ライフスタイル株式会社 自律型電気掃除装置
EP3934856A1 (en) * 2019-03-07 2022-01-12 ABB Schweiz AG Method of controlling an industrial system, control system and industrial system
KR102668070B1 (ko) 2019-03-15 2024-05-29 삼성전자주식회사 로봇 청소기 및 이의 제어 방법
US11107249B2 (en) * 2019-03-18 2021-08-31 Sony Group Corporation Point cloud global tetris packing
KR102243178B1 (ko) * 2019-03-29 2021-04-21 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
DE102019109596A1 (de) * 2019-04-11 2020-10-15 Vorwerk & Co. Interholding Gmbh System aus einem manuell geführten Bodenbearbeitungsgerät, einem ausschließlich automatisch betriebenen Bodenbearbeitungsgerät und einer Recheneinrichtung
CN109984684B (zh) * 2019-04-11 2021-04-27 云鲸智能科技(东莞)有限公司 清洁控制方法、装置、清洁机器人和存储介质
JP7318303B2 (ja) 2019-05-14 2023-08-01 富士通株式会社 清掃管理プログラム、清掃管理方法及び清掃管理装置
US11266287B2 (en) * 2019-05-29 2022-03-08 Irobot Corporation Control of autonomous mobile robots
WO2020246753A1 (en) 2019-06-03 2020-12-10 Samsung Electronics Co., Ltd. Electronic apparatus for object recognition and control method thereof
KR102254138B1 (ko) * 2019-06-03 2021-05-21 삼성전자주식회사 객체 인식을 위한 전자 장치 및 그 제어 방법
CN110403528B (zh) * 2019-06-12 2022-03-08 深圳乐动机器人有限公司 一种基于清洁机器人提高清洁覆盖率的方法和系统
US11571100B2 (en) * 2019-06-28 2023-02-07 Lg Electronics Inc Intelligent robot cleaner
KR20190086631A (ko) * 2019-07-02 2019-07-23 엘지전자 주식회사 사용자의 동작을 고려하여 청소하는 인공 지능 장치 및 그 방법
CN110251004B (zh) * 2019-07-16 2022-03-11 深圳市杉川机器人有限公司 扫地机器人及其清扫方法和计算机可读存储介质
US11249482B2 (en) 2019-08-09 2022-02-15 Irobot Corporation Mapping for autonomous mobile robots
KR20190101326A (ko) * 2019-08-12 2019-08-30 엘지전자 주식회사 이동공간 분할 방법 및 분할된 이동공간을 이동하는 이동로봇
CN110720867A (zh) * 2019-09-19 2020-01-24 深圳市凯木金科技有限公司 扫地机控制系统
US11327483B2 (en) * 2019-09-30 2022-05-10 Irobot Corporation Image capture devices for autonomous mobile robots and related systems and methods
KR20210040613A (ko) 2019-10-04 2021-04-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
US11467585B2 (en) * 2019-11-08 2022-10-11 Irobot Corporation Control of autonomous mobile robots
JP2021077102A (ja) * 2019-11-08 2021-05-20 株式会社Nttドコモ 推定システム
ES2827374A1 (es) * 2019-11-20 2021-05-20 Cecotec Res And Development Procedimiento de operación de un aparato auto-desplazable de limpieza y aparato para llevar a cabo el procedimiento
US11417328B1 (en) * 2019-12-09 2022-08-16 Amazon Technologies, Inc. Autonomously motile device with speech commands
CN113031509B (zh) * 2019-12-24 2022-07-29 苏州科瓴精密机械科技有限公司 遍历方法、系统,机器人及可读存储介质
GB2592414B (en) * 2020-02-27 2022-08-31 Dyson Technology Ltd Robot
US20210282613A1 (en) * 2020-03-12 2021-09-16 Irobot Corporation Control of autonomous mobile robots
CN111563461B (zh) * 2020-05-11 2021-03-12 追创科技(苏州)有限公司 清洁设备的清洁路径获取方法、装置及存储介质
CN111683203B (zh) 2020-06-12 2021-11-09 达闼机器人有限公司 栅格地图生成方法、装置及计算机可读存储介质
CN111625007A (zh) * 2020-06-24 2020-09-04 深圳市银星智能科技股份有限公司 一种识别动态障碍物的方法和移动机器人
CN111736606B (zh) * 2020-06-28 2024-03-19 杭州海康机器人股份有限公司 移动机器人行驶方法、装置及存储介质
CN111802962A (zh) * 2020-06-30 2020-10-23 深圳乐动机器人有限公司 一种机器人清洁的方法、装置、机器人及存储介质
DE102021209621A1 (de) * 2020-09-24 2022-03-24 Robert Bosch Gesellschaft mit beschränkter Haftung Robotersystem und Verfahren zur Steuerung eines angetrieben bewegbaren Roboters eines Robotersystems
US11966232B2 (en) * 2020-10-03 2024-04-23 Viabot Inc. Systems for setting and programming zoning for use by autonomous modular robots
US20220104675A1 (en) * 2020-10-07 2022-04-07 Irobot Corporation User feedback on potential obstacles and error conditions detected by autonomous mobile robots
DE102020127988A1 (de) * 2020-10-23 2022-04-28 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung Sich selbsttätig fortbewegender Desinfektionsroboter zum Desinfizieren von Oberflächen
US20220151450A1 (en) * 2020-11-17 2022-05-19 Irobot Corporation Systems and methods for scheduling mobile robot missions
US11835949B2 (en) 2020-11-24 2023-12-05 Mobile Industrial Robots A/S Autonomous device safety system
EP4251380A4 (en) * 2020-11-30 2024-07-17 Clutterbot Inc ROBOTIC CLUTTER SYSTEM
CN112826373B (zh) * 2021-01-21 2022-05-06 深圳乐动机器人有限公司 清洁机器人的清洁方法、装置、设备和存储介质
CN116172444A (zh) * 2021-02-10 2023-05-30 北京石头创新科技有限公司 区域地图绘制方法及装置、介质及电子设备
TWI779592B (zh) * 2021-05-05 2022-10-01 萬潤科技股份有限公司 地圖編輯方法及裝置
US11872463B2 (en) * 2021-05-26 2024-01-16 TRI HoldCo, Inc. Network-enabled signaling device system for sporting events
EP4387499A1 (de) * 2021-08-19 2024-06-26 Alfred Kärcher SE & Co. KG Bodenreinigungssystem, bodenreinigungsgerät und verfahren zum betreiben eines bodenreinigungssystems oder eines bodenreinigungsgerätes
CN113720337B (zh) * 2021-08-20 2024-06-07 珠海格力电器股份有限公司 扫地机器人的地图编辑方法及装置、存储介质、电子设备
US20230157506A1 (en) * 2021-11-22 2023-05-25 Irobot Corporation Trajectory-based localization and mapping
WO2023113799A1 (en) * 2021-12-16 2023-06-22 Hewlett-Packard Development Company, L.P. Surface marking robots and obstacles
CN114029963B (zh) * 2022-01-12 2022-03-29 北京具身智能科技有限公司 一种基于视觉听觉融合的机器人操作方法
WO2024019234A1 (ko) * 2022-07-21 2024-01-25 엘지전자 주식회사 장애물 인식 방법 및 주행로봇
WO2024020882A1 (zh) * 2022-07-27 2024-02-01 云鲸智能(深圳)有限公司 清洁机器人的控制、清洁方法、装置、系统及存储介质
US20240144125A1 (en) * 2022-10-28 2024-05-02 Carnegie Robotics, Llc Method for planning cleaning operations at a facility
CN116091607B (zh) * 2023-04-07 2023-09-26 科大讯飞股份有限公司 辅助用户寻找物体的方法、装置、设备及可读存储介质

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953939A (ja) * 1995-08-18 1997-02-25 Fujitsu Ltd 自走車の自己位置測定装置および自己位置測定方法
US6532404B2 (en) 1997-11-27 2003-03-11 Colens Andre Mobile robots and their control system
WO1999028800A1 (fr) 1997-11-27 1999-06-10 Solar & Robotics Ameliorations a des robots mobiles et a leur systeme de commande
ATE268196T1 (de) 1999-06-17 2004-06-15 Solar & Robotics S A Automatische vorrichtung zum sammeln von gegenständen
US7468677B2 (en) 1999-08-04 2008-12-23 911Ep, Inc. End cap warning signal assembly
US7155308B2 (en) 2000-01-24 2006-12-26 Irobot Corporation Robot obstacle detection system
US6594844B2 (en) 2000-01-24 2003-07-22 Irobot Corporation Robot obstacle detection system
US7571511B2 (en) 2002-01-03 2009-08-11 Irobot Corporation Autonomous floor-cleaning robot
US6883201B2 (en) 2002-01-03 2005-04-26 Irobot Corporation Autonomous floor-cleaning robot
US6690134B1 (en) 2001-01-24 2004-02-10 Irobot Corporation Method and system for robot localization and confinement
EP1408729B1 (fr) 2001-05-28 2016-10-26 Husqvarna AB Amelioration d'une tondeuse robotique
ES2366689T3 (es) 2001-06-12 2011-10-24 Irobot Corporation Procedimiento y sistema para una cobertura multimodo para un robot autónomo.
US7663333B2 (en) 2001-06-12 2010-02-16 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
GB0126497D0 (en) * 2001-11-03 2002-01-02 Dyson Ltd An autonomous machine
AU2003270581A1 (en) 2002-09-13 2004-04-30 Mark J. Chiappetta A navigational control system for a robotic device
US20040204792A1 (en) * 2003-03-14 2004-10-14 Taylor Charles E. Robotic vacuum with localized cleaning algorithm
US7332890B2 (en) 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
JP4264009B2 (ja) * 2004-01-23 2009-05-13 シャープ株式会社 自走式掃除機
JP3841220B2 (ja) * 2004-01-30 2006-11-01 船井電機株式会社 自律走行ロボットクリーナー
JP4361394B2 (ja) * 2004-03-03 2009-11-11 富士フイルム株式会社 対象物識別装置および方法並びにプログラム
EP1577372A1 (de) * 2004-03-19 2005-09-21 Sika Technology AG Stabile wässrige Dispersion von Partikeln sowie Verwendung und Herstellungsverfahren solcher Dispersionen
JP4243594B2 (ja) * 2005-01-31 2009-03-25 パナソニック電工株式会社 清掃ロボット
ES2346343T3 (es) 2005-02-18 2010-10-14 Irobot Corporation Robot autonomo de limpieza de superficies para una limpieza en seco y en mojado.
US7389156B2 (en) 2005-02-18 2008-06-17 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
EP2544065B1 (en) 2005-12-02 2017-02-08 iRobot Corporation Robot system
ES2706729T3 (es) * 2005-12-02 2019-04-01 Irobot Corp Sistema de robot
KR100772912B1 (ko) * 2006-05-16 2007-11-05 삼성전자주식회사 절대 방위각을 이용한 로봇 및 이를 이용한 맵 작성 방법
KR20090077547A (ko) * 2008-01-11 2009-07-15 삼성전자주식회사 이동 로봇의 경로 계획 방법 및 장치
CN102083352B (zh) * 2008-04-24 2014-10-15 艾罗伯特公司 用于机器人使能的移动产品的定位、位置控制和导航系统的应用
JP5130419B2 (ja) * 2008-05-30 2013-01-30 国立大学法人宇都宮大学 自己位置認識方法及び自己位置認識装置
BR112012010612A2 (pt) * 2009-11-06 2017-08-15 Evolution Robotics Inc Dispositivo móvel configurado para navegar em superfície e método para navegar em superfície com dispositivo móvel
JP5398489B2 (ja) * 2009-11-20 2014-01-29 村田機械株式会社 自律移動体とその制御方法
US8224516B2 (en) * 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
KR101686170B1 (ko) 2010-02-05 2016-12-13 삼성전자주식회사 주행 경로 계획 장치 및 방법
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
US8556223B2 (en) * 2010-06-28 2013-10-15 Electric Motion Company, Inc. Break-away hook assembly
KR101752190B1 (ko) * 2010-11-24 2017-06-30 삼성전자주식회사 로봇청소기 및 그 제어방법
WO2012092565A1 (en) * 2010-12-30 2012-07-05 Irobot Corporation Debris monitoring
EP2820995B1 (en) 2011-01-07 2016-07-06 iRobot Corporation Evacuation station system
KR101856502B1 (ko) * 2011-04-07 2018-05-11 엘지전자 주식회사 로봇 청소기, 이의 원격 제어 시스템 및 원격 제어 방법
US9220386B2 (en) 2011-04-29 2015-12-29 Irobot Corporation Robotic vacuum
JP5926937B2 (ja) * 2011-11-30 2016-05-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR101986557B1 (ko) * 2011-12-27 2019-06-07 센주긴조쿠고교 가부시키가이샤 Sn-Cu계 납프리 땜납 합금
US20140071240A1 (en) * 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision
US8972061B2 (en) 2012-11-02 2015-03-03 Irobot Corporation Autonomous coverage robot
JP6240384B2 (ja) 2012-11-29 2017-11-29 ヤンマー株式会社 自律走行作業システム
US9375847B2 (en) * 2013-01-18 2016-06-28 Irobot Corporation Environmental management systems including mobile robots and methods using same
AU2013374347B2 (en) 2013-01-18 2016-05-19 Irobot Corporation Environmental management systems including mobile robots and methods using same
CN104161487B (zh) 2013-05-17 2018-09-04 恩斯迈电子(深圳)有限公司 移动装置
CN104567893B (zh) * 2013-10-22 2017-07-28 北京四维图新科技股份有限公司 一种构建精细地图的方法与装置
US9476730B2 (en) * 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
DE102014110265A1 (de) * 2014-07-22 2016-01-28 Vorwerk & Co. Interholding Gmbh Verfahren zur Reinigung oder Bearbeitung eines Raumes mittels eines selbsttätig verfahrbaren Gerätes
DE102014111217A1 (de) 2014-08-06 2016-02-11 Vorwerk & Co. Interholding Gmbh Bodenreinigungsgerät zur Trocken- und Feuchtreinigung sowie Verfahren zum Betrieb eines selbstfahrenden Bodenreinigungsgerätes
EP3199083B1 (en) * 2014-09-24 2021-09-08 Samsung Electronics Co., Ltd. Cleaning robot and method for controlling cleaning robot
US9798328B2 (en) 2014-10-10 2017-10-24 Irobot Corporation Mobile robot area cleaning
US9519289B2 (en) 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9788698B2 (en) 2014-12-10 2017-10-17 Irobot Corporation Debris evacuation for cleaning robots
US9704043B2 (en) 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
CN105806330A (zh) * 2014-12-29 2016-07-27 北京贝虎机器人技术有限公司 室内机器人
US9993129B2 (en) 2015-02-13 2018-06-12 Irobot Corporation Mobile floor-cleaning robot with floor-type detection
CN107850902B (zh) * 2015-07-08 2022-04-08 深圳市大疆创新科技有限公司 可移动物体上的相机配置
DE102015119501A1 (de) * 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
US10156852B2 (en) * 2016-01-05 2018-12-18 Locix, Inc. Systems and methods for using radio frequency signals and sensors to monitor environments
US10175688B2 (en) * 2016-01-20 2019-01-08 Yujin Robot Co., Ltd. Apparatus and system for remotely controlling a moving robot and method thereof
TWI681748B (zh) * 2016-01-28 2020-01-11 原相科技股份有限公司 自動清掃機控制方法以及自動清掃機
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US11036230B1 (en) * 2016-03-03 2021-06-15 AI Incorporated Method for developing navigation plan in a robotic floor-cleaning device
EP3957447B1 (en) 2016-09-14 2024-06-26 iRobot Corporation Systems and methods for configurable operation of a robot based on area classification

Also Published As

Publication number Publication date
EP3957447B1 (en) 2024-06-26
JP7166926B2 (ja) 2022-11-08
EP3957447A1 (en) 2022-02-23
US20190250625A1 (en) 2019-08-15
WO2018053100A1 (en) 2018-03-22
EP3512668A1 (en) 2019-07-24
US20220317693A1 (en) 2022-10-06
CN115844284A (zh) 2023-03-28
JP2019532369A (ja) 2019-11-07
US20230384791A1 (en) 2023-11-30
MY195922A (en) 2023-02-27
US11314260B2 (en) 2022-04-26
US11740634B2 (en) 2023-08-29
EP3512668A4 (en) 2020-03-11
US20180074508A1 (en) 2018-03-15
US10168709B2 (en) 2019-01-01
CN109195751A (zh) 2019-01-11
US10310507B2 (en) 2019-06-04
EP3512668B1 (en) 2021-07-21
US20180284792A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN109195751B (zh) 用于基于区分类的机器人的可配置操作的系统和方法
US11119496B1 (en) Methods and systems for robotic surface coverage
US11199853B1 (en) Versatile mobile platform
US10328573B2 (en) Robotic platform with teach-repeat mode
US11400595B2 (en) Robotic platform with area cleaning mode
US20180364045A1 (en) Robotic platform with mapping facility
US20190176321A1 (en) Robotic floor-cleaning system manager
US20180361585A1 (en) Robotic platform with multi-function service module
US20180361584A1 (en) Robotic platform with long-term learning
US20180361581A1 (en) Robotic platform with following mode
US11571813B2 (en) Systems and methods for managing a semantic map in a mobile robot
CN108245080A (zh) 清洁区域的清洁方法、装置、计算机设备和存储介质
US20210373558A1 (en) Contextual and user experience-based mobile robot scheduling and control
US20230367324A1 (en) Expandable wheel
US11947015B1 (en) Efficient coverage planning of mobile robotic devices
WO2019203878A1 (en) Apparatus and methods of a service robotic platform
JP7362917B2 (ja) 自律移動ロボットの制御
US11467599B2 (en) Object localization and recognition using fractional occlusion frustum
US20240142994A1 (en) Stationary service appliance for a poly functional roaming device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant