CN110769986B - 绘制无线通信信号以进行移动机器人引导的方法、系统及设备 - Google Patents

绘制无线通信信号以进行移动机器人引导的方法、系统及设备 Download PDF

Info

Publication number
CN110769986B
CN110769986B CN201880040719.4A CN201880040719A CN110769986B CN 110769986 B CN110769986 B CN 110769986B CN 201880040719 A CN201880040719 A CN 201880040719A CN 110769986 B CN110769986 B CN 110769986B
Authority
CN
China
Prior art keywords
mobile robot
operating environment
electronic device
network
wireless
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880040719.4A
Other languages
English (en)
Other versions
CN110769986A (zh
Inventor
P.钱伯斯
J.H.卡恩斯
O.塔卡
M.J.杜利
N.罗马诺夫
G.E.霍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iRobot Corp
Original Assignee
iRobot Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iRobot Corp filed Critical iRobot Corp
Priority to CN202111612645.7A priority Critical patent/CN114397891A/zh
Publication of CN110769986A publication Critical patent/CN110769986A/zh
Application granted granted Critical
Publication of CN110769986B publication Critical patent/CN110769986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

一种操作计算设备的方法，包括：基于由移动机器人的至少一个定位传感器响应于移动机器人在操作环境中的导航而检测到的定位数据来接收移动机器人的针对操作环境的占用数据；以及基于由移动机器人的至少一个无线接收器响应于移动机器人在操作环境中的导航而获取的无线通信信号来接收针对操作环境的信号覆盖数据。无线通信信号由在操作环境本地的至少一个电子设备传输。该方法还包括通过使占用数据和信号覆盖数据相关来生成指示在操作环境中的相应位置处的无线通信信号的覆盖的图。还讨论了相关联的方法、移动机器人和用户终端。

Description

绘制无线通信信号以进行移动机器人引导的方法、系统及 设备
技术领域
本公开涉及移动机器人以及包括该移动机器人的系统和方法。
背景技术
一段时间以来，家用电器的连接性(包括与互联网和远程客户端的无线连接)已被考虑在内。术语“物联网”(IoT)代表了一种想法，即，各种家用物品都可以连接到公共互联网。一旦被连接，此类物品就可以向服务器和客户端设备报告各种数据。例如，“智能”灯泡可以连接到家用WLAN(无线局域网)。每个灯泡可以具有微处理器，存储器，检测或解释状况、电力和无线连接的一些装置。使用这些部件，灯泡可以报告其状况、可以被轮询等。
IoT的概念通常被认为有别于家庭连接(例如，连接的计算机、电缆盒、媒体设备等)，因为IoT设备通常不能包括足够的计算资源或通信来有意义地连接到公共互联网。常规的冰箱无法连接到互联网；作为IoT设备的这一相同的设备将包括计算、传感器和通信硬件以及足够的软件，以成为可在远程和本地寻址的实体；期望这个互联网冰箱可以报告其各种状态(功耗等)并响应远程命令(升高或降低内部温度)。
家用移动机器人也可以成为IoT设备。以一些方式，家用移动机器人可以被视为这个集合中的独特物种。特别地，家用移动机器人的自主性可以使其与其它电器区分开，其它电器不会在不可预测和变化的环境条件下运行，也无法基于数十或数百个传感器输入做出自主决策，以便实现任务完成。例如，洗碗机(甚至是IoT洗碗机)对其内容一无所知，并运行与控制马达和泵的简单脚本等效的操作，可能会被简单的堵塞或其它传感器打断。相反，吸尘机器人(诸如
Figure BDA0002324108180000011
机器人)在执行任务过程中可以以多种方式检测其自身的状态，并且可以灵活地逃离家庭中充满挑战的情况，并从事预测和计划活动。照此，将家用移动机器人的自主行为与IoT连接集成在一起可能会遇到挑战。
发明内容
根据本公开的一些实施例，一种操作计算设备的方法包括由计算设备的处理器执行操作。操作包括：基于由移动机器人的至少一个定位传感器响应于其在操作环境中的导航而检测到的定位数据来接收移动机器人的针对操作环境的占用数据；以及基于由移动机器人的至少一个无线接收器响应于其在操作环境中的导航而获取的无线通信信号来接收针对操作环境的信号覆盖数据。无线通信信号由在操作环境本地的至少一个电子设备传输。操作还包括通过使占用数据和信号覆盖数据相关来生成指示在操作环境中的相应位置处的无线通信信号的覆盖的图。
在一些实施例中，覆盖模式可以指示在操作环境中的相应位置处的无线通信信号的相应信号强度。操作还可以包括基于覆盖模式来确定至少一个电子设备在操作环境中的位置。
在一些实施例中，操作还可以包括基于由信号覆盖数据所指示的寻址和/或网络服务信息来识别至少一个电子设备的类型、制造商和/或型号。
在一些实施例中，至少一个定位传感器可以是视觉定位传感器。操作还可以包括：基于其类型、制造商和/或型号，确定至少一个移动设备在其位置处的放置；以及在定位数据中将该放置和位置与至少一个移动设备的图像相关。
在一些实施例中，定位数据可以包括由至少一个相机在一天的不同时间处和/或在不同的照明条件下检测到的视觉定位数据，并且生成图可以包括使用至少一个电子设备的位置作为锚点，合并从在一天中的不同时间处和/或在不同照明条件下检测到的视觉定位数据生成的相应占用图。
在一些实施例中，可以在预定的持续时间内获取无线通信信号，以使得图包括表示在操作环境中的相应位置处的相应信号强度的集合的持久数据结构。
在一些实施例中，响应于监视一个或多个通信信道和/或一个或多个通信协议，无线通信信号可以由移动机器人的至少一个无线接收器获取。
在一些实施例中，至少一个电子设备可以是第一电子设备，并且操作还可以包括将图传输到操作环境中的第二电子设备。
在一些实施例中，移动机器人可以是操作环境中的第一移动机器人，第二电子设备可以是操作环境中的第二移动机器人，并且第二移动机器人可以缺乏视觉定位传感器。
在一些实施例中，操作还可以包括：将所述图作为多个图之一存储在计算设备的非暂态存储器中；以及基于由此指示的相应覆盖模式中的不对称性，将所述图识别为与操作环境的不同高度处的相应楼层对应。
根据一些实施例，一种操作移动机器人的方法包括由移动机器人的处理器执行操作。操作包括：操作驱动器以在操作环境中导航移动机器人；以及响应于在操作环境中操作驱动器以导航移动机器人，经由移动机器人的至少一个定位传感器来检测定位数据。操作还包括：响应于在操作环境中操作驱动器以导航移动机器人，经由移动机器人的至少一个无线接收器获取无线通信信号，其中无线通信信号由在操作环境本地的至少一个电子设备传输，并基于由至少一个定位传感器检测到的定位数据与由至少一个无线接收器获取的无线通信信号之间的相关性来确定移动机器人在操作环境中的位置。
在一些实施例中，操作还可以包括检测移动机器人在操作环境中的重新定位。重新定位可以独立于操作驱动器并且在操作驱动器之后。确定移动机器人的位置可以包括将响应于重新定位而获取的无线通信信号的相应信号强度与响应于操作驱动器而获取的无线通信信号的相应信号强度进行比较。
在一些实施例中，操作还可以包括：基于由至少一个无线接收器在操作环境中的相应位置处获取的无线通信信号的相应信号强度来确定至少一个电子设备在操作环境中的位置；以及确定移动机器人的位置可以是相对于至少一个电子设备在操作环境中的位置。
在一些实施例中，至少一个定位传感器可以是相机，并且定位数据可以是由相机在一天的不同时间处和/或在不同的照明条件下检测到的视觉定位数据。操作还可以包括：使用至少一个电子设备的位置作为锚点，合并从在一天的不同时间处和/或在不同照明条件下检测到的视觉定位数据生成的相应占用图。
在一些实施例中，操作还可以包括响应于与至少一个电子设备相关联的传感器的激活而操作驱动器以将移动机器人导航到至少一个电子设备在操作环境中的位置，响应于操作驱动器以将移动机器人向至少一个电子设备导航而经由至少一个定位传感器捕获至少一个电子设备的位置处的音频和/或视觉信息，以及经由移动机器人的无线发送器将音频和/或视觉信息传输到远程设备。
在一些实施例中，至少一个电子设备可以是第一设备和第二设备。操作还可以包括：基于响应于操作驱动器而经由至少一个无线接收器从第一设备和第二设备获取的无线通信信号的相应信号强度，识别第一设备和第二设备超出彼此的无线通信范围，以及经由移动机器人的无线发送器将检测到的关于第一设备和第二设备中的一个的信息传输到第一设备和第二设备中的另一个。
在一些实施例中，信息可以基于从第一设备和第二设备获取的无线通信信号来指示第一和第二设备的干扰通信。操作还可以包括：经由移动机器人的无线发送器向第一设备和第二设备中的至少一个传输指令以改变其通信信道。
在一些实施例中，至少一个无线接收器可以被安装在或耦合到移动机器人的伸缩桅杆或其它较高的有利位置，并且获取无线通信信号可以响应于操作伸缩桅杆或其它较高的有利位置以在操作环境中的相应位置改变至少一个无线接收器的高度。
在一些实施例中，至少一个电子设备可以是第一设备和第二设备。操作还可以包括：经由无线接收器监视多个通信协议；以及基于响应于监视而经由至少一个无线接收器从第一设备和第二设备获取的无线通信信号，识别第一设备和第二设备被配置为使用不同的通信协议进行通信。操作还可以包括：经由移动机器人的无线发送器，将检测到的关于第一设备和第二设备中的一个的信息经由不同通信协议中的相应通信协议传输到第一设备和第二设备中的另一个。
根据一些实施例，一种移动机器人包括被配置为在操作环境中导航该移动机器人的驱动器、至少一个定位传感器、至少一个无线接收器、耦合到驱动器、至少一个定位传感器、至少一个无线接收器的处理器，以及耦合到处理器的存储器。存储器包括非暂态计算机可读存储介质，该非暂态计算机可读存储介质在其中存储处理器能够执行以进行操作的计算机可读程序代码，操作包括操作驱动器以在操作环境中导航移动机器人，以及响应于操作驱动器，而经由移动机器人的至少一个定位传感器检测操作环境的定位数据。操作还包括：响应于操作驱动器而经由移动机器人的至少一个无线接收器获取无线通信信号，其中无线通信信号由在操作环境本地的至少一个电子设备传输；以及基于由至少一个定位传感器检测到的定位数据与由至少一个无线接收器获取的无线通信信号的相关性来确定移动机器人在操作环境中的位置。
根据一些实施例，一种操作用户终端的方法包括由用户终端的处理器执行操作。操作包括经由用户终端的接收器接收图信息，该图信息是基于响应于至少一个移动机器人在操作环境中的导航而由至少一个移动机器人的定位传感器在其操作环境中检测到的定位数据与由至少一个移动机器人的无线接收器获取的无线通信信号之间的相关性。无线通信信号由在操作环境本地的至少一个电子设备传输。操作还包括经由用户终端的用户界面显示图信息的一个或多个视觉表示。
在一些实施例中，一个或多个视觉表示可以包括指示操作环境的物理特点的占用图，该物理特点包括由至少一个移动机器人的定位传感器在操作环境中检测到的障碍物，和/或指示操作环境的电气特点的信号覆盖图，该电气特点包括由至少一个移动机器人的无线接收器在操作环境中的相应位置处获取的无线通信信号的相应信号强度。
在一些实施例中，信号覆盖图可以是2维表示，其通过在操作环境中的相应位置处改变的颜色和/或亮度水平来指示无线通信信号的相应信号强度，和/或信号覆盖图可以是3维拓扑表示，该3维拓扑表示指示在操作环境中的相应位置处的无线通信信号相对于轴的相应信号强度以及相应位置之间的相应信号强度的斜率变化。
在一些实施例中，占用图还可以指示至少一个电子设备在操作环境中的位置。
在一些实施例中，占用图还可以用从至少一个电子设备发射的信号的图形表示来指示至少一个电子设备的位置。
在一些实施例中，操作还可以包括接收至少一个移动机器人在操作环境中的当前位置的指示。信号的图形表示可以基于移动机器人的当前位置与至少一个电子设备的位置的接近度而变化。
在一些实施例中，图形表示可以在颜色、亮度水平和/或显示的带或环之间的距离上变化。
在一些实施例中，占用图还可以指示身份，包括至少一个电子设备的类型、制造商和/或型号。
在一些实施例中，占用图还可以将至少一个电子设备识别为是移动的或固定的。
在一些实施例中，操作还可以包括：基于由至少一个移动机器人的无线接收器获取的无线通信信号，经由用户终端的用户界面显示操作环境中用于至少一个电子设备的重新定位的一个或多个建议位置的指示。
在一些实施例中，操作还可以包括：基于由至少一个移动机器人的无线接收器获取的无线通信信号所指示的信号干扰，经由用户终端的用户界面显示用于由至少一个电子设备进行通信的一个或多个建议的频率或信道的指示。
在一些实施例中，至少一个电子设备在操作环境中的位置可以是从至少一个电子设备接收无线通信信号的最新位置，并且操作还可以包括经由用户终端的用户界面提供最新位置的音频和/或视觉指示。
在一些实施例中，图信息的一个或多个视觉表示可以指示操作环境中无线通信信号的信号覆盖弱或不存在的区域，并且操作还可以包括经由用户界面显示用于改善信号覆盖的建议。
在一些实施例中，至少一个电子设备可以是无线路由器设备，并且建议可以是购买新的无线路由器设备的激励。
根据一些实施例，用户终端包括接收器、用户接口、耦合到接收器和用户接口的处理器以及耦合到处理器的存储器。存储器包括其中存储计算机可读程序代码的非暂态计算机可读存储介质，该程序代码可由处理器执行以执行操作，操作包括经由用户终端的接收器接收图信息，该图信息是基于响应于至少一个移动机器人在操作环境中的导航而由至少一个移动机器人的定位传感器在其操作环境中检测到的定位数据与由至少一个移动机器人的无线接收器在操作环境中获取的无线通信信号的相关性。操作还包括经由用户终端的用户界面显示图信息的一个或多个视觉表示。
根据一些实施例，一种操作用户终端的方法包括由用户终端的处理器执行操作。操作包括：基于响应于操作环境中的导航而由移动机器人的无线接收器获取的无线通信信号，经由用户终端的接收器接收指示在移动机器人的操作环境的相应位置中不存在无线路由器信号覆盖的信息。操作还包括：基于指示不存在无线路由器信号覆盖的信息，经由用户终端的用户界面显示购买无线路由器设备的激励。
通过阅读附图和随后的实施例的详细描述，本领域普通技术人员将认识到本公开的进一步特征、优点和细节，包括以上实施例的任何和所有组合，这样的描述仅仅是用于说明本公开。
附图说明
图1A是表示根据本公开实施例的系统的示意图。
图1B是图示根据本公开实施例的包括安装在其中的图1A的系统的操作环境的示意图。
图2A和2B分别是根据本公开实施例的移动机器人的顶部和底部透视图，其被配置为在图1A的系统中操作。
图2C是表示根据本公开实施例的移动机器人的示意图，其被配置为在图1A的系统中操作。
图3是表示根据本公开实施例的远程服务器的示意图，其被配置为在图1A的系统中操作。
图4是表示根据本公开实施例的用户终端的示意图，其被配置为在图1A的系统中操作。
图5A是图示由根据本公开实施例的移动机器人在操作环境中的各个位置处获取的无线通信信号的覆盖模式的图。
图5B和5C是图示在操作环境中的各个位置处由根据本公开实施例的移动机器人获取的无线通信信号的覆盖模式的拓扑图。
图6A、6B和6C是图示在操作环境中由根据本公开实施例的移动机器人获得的信号覆盖数据和占用数据的相关性的图。
图7是图示根据本公开实施例的联网设备的相应位置和标识的填充的平面图，其中相应位置和标识基于由移动机器人获得的信号覆盖数据和占用数据的相关性。
图8A和8B分别图示了根据本公开实施例的2维和3维覆盖模式，其中覆盖模式基于由移动机器人获得的信号覆盖数据和占用数据的相关性。
图9-11是图示根据本公开实施例的可以由计算设备的至少一个处理器执行的操作的流程图。
图12A和12B是根据本公开实施例的分别图示设备的系统和相关操作的图。
图13-17是图示根据本公开实施例的用户终端的用户界面和相关操作的平面图。
具体实施方式
本公开的实施例可以源自以下认识：移动机器人的自主功能可以基于其独立的定位能力而呈现出与IoT连接性集成的独特优势。特别地，在导航操作环境时(例如，在家庭操作环境中执行清洁任务或巡逻任务时)，移动机器人可以被配置为同时、间歇地或随后获取操作环境的一个或多个区域上的无线通信信号覆盖数据。例如，移动机器人可以被配置为获取由多个电子设备(诸如启用IoT的设备)传输的无线通信信号的多个样本或读数，并对获取的无线通信信号执行时间和地理平均(例如，基于接收到的信号强度)以便为在整个操作环境中从其接收无线通信信号的每个单独的电子设备构建无线通信信号的2维或3维表示(诸如RSSI场图，其可以被表示为拓扑地图(topological map))。这样的信号覆盖图可以避免会影响基于磁性的导航的失真。
在一些实施例中，在沿着操作环境的地板表面的多个2维位置处获取的无线通信信号读数可以用于填充在家庭内的相应位置处的无线通信信号强度的2维图。2维图可以存储在网络实体可访问的非暂态计算机可读存储器中，并且可以显示在经由网络与移动机器人通信的人机接口设备上。此类人机接口设备包括但不限于具有显示和/或触摸屏以及无线网络接口、处理器和存储器的移动手持机智能电话、个人计算机、智能手表、移动平板电脑。
在一些实施例中，在家庭内的多个2维位置处获取的无线通信信号读数可以用于填充在家庭内的相应位置处的无线通信信号强度的3维图。例如，三维图可以是拓扑地图，其中x和y轴与操作环境的平面图对应，而z轴与信号强度对应，并且z方向的斜率变化(包括变化率和变化方向)可以为x和y方向上的相应位置提供唯一“签名”。无线通信信号读数可以用于多种目的。例如，无线通信信号读数可以由移动机器人在内部使用(例如，以改善定位)，可以与一个或多个其它电子设备共享(例如，以改善相应设备的功能)，和/或可以与用户终端共享(例如，以改善网络功能)。
“移动机器人”可以指包括处理器、存储器和驱动系统的任何设备，用于导航可变的环境条件并基于多个传感器输入做出自主决策。本文所述的移动机器人可以包括机器人吸尘器(诸如
Figure BDA0002324108180000091
和/或BRAAVA JetTM吸尘器)，以及自主巡逻机器人。一些此类的自主巡逻机器人可以包括伸缩桅杆，其上安装有一个或多个传感器元件或该一个或多个传感器元件以其它方式可操作地与该伸缩桅杆关联。
“无线通信信号”可以指由启用网络的电子设备(也称为“联网设备”)传输的任何信号。此类电子设备可以包括处理器、存储器以及用于经由无线个人、局域网和/或广域网进行通信的无线发送器和/或接收器，并且可以包括但不限于IoT设备。无线通信信号可以包括射频信号，包括但不限于Wi-Fi信号、蓝牙信号、ZigBee信号和/或Z波信号和/或光信号。此类电子设备可以包括或可以不包括足够的计算资源或通信以便有意义地连接到公共互联网。
参考图1A、1B和2-4，根据本公开实施例的系统100被安装在相关联的居住结构10中。结构10可以是房屋或住宅，包括但不限于单户住宅、多户住宅(例如，复式、公寓、共管公寓等的单元)、活动房或商业居住空间(例如，办公室或工作室)。结构10可以定义居住空间20或内部空间，其可以(在物理上、空间上和/或功能上)被细分为一个或多个既定的区(图示为区A-C)，并且在一些实施例中，这些区可以与居住结构10中的房间对应，诸如区A是厨房，区B是客厅，而区C是卧室。既定的区A-C可以由墙壁分开，也可以是开放概念区域，它们融合在一起而没有墙壁分隔。结构10具有窗户30、门32、灯具34(具有可燃灯34A)、电视(TV)36(或其它电子装备)以及供暖、通风和空调系统(HVAC)40。人P可以占据居住空间20。
参考图1A和1B，系统100包括节点，这些节点包括启用网络的移动机器人200、一个或多个无线接入点(WAP)164、将不同的联网方法互连以构成互连启用网络的或“联网”电子设备(包括IoT设备)120、122、124的局域专用网络160的网关和/或集线器110、启用网络的自动化控制器设备126、127、128、也可以是启用网络的自动化控制器设备的机器人坞(dock)140，以及可以组合多个此类功能的产品。专用网络160包括一个或多个无线接入点(WAP)164、具有组合的无线范围以充分覆盖由居住结构10界定的全部或大部分居住空间20或周围的网关或集线器110。连接到专用网络160的联网的设备可以通过WAN接口170A及其关联的WAN连接170B通过路由器/防火墙162到达公共网络170，来与远程管理服务150通信。例如，远程管理服务150可以是云计算设备，公共网络170可以是互联网，WAN接口170A可以是DSL、DOCSIS或蜂窝调制解调器，并且其相关联的WAN连接170B可以由互联网服务提供商(ISP)提供。路由器162、WAP 164和/或调制解调器170A可以以各种配置被集成到单个设备中。本地用户终端142、400可以被连接(有线或无线地)到专用网络160。例如，本地用户终端142、400可以是个人电脑(PC)、智能电话或平板计算机。远程用户终端144、400可以经由公共网络170连接到远程服务器150和/或专用网络160。集线器110、机器人200、本地用户终端142、400和远程用户终端144、400均可以通过在目标设备中实施的公共网络服务(例如，通过客户端设备上的Web浏览器通过本地网络呈现UI的web服务器)或者经由专用客户端(例如，可下载或预安装的应用软件app)被访问，从而在节点110、200、140、142、144、400和150之间进行通信和控制，如本文所述。如本文讨论的网络实体是在网络上注册的机器和/或控制器，该网络实体被指派了用于发送和接收通信信号的唯一地址，并且可以对同一网络或连接的网络上的其它网络实体机器和/或控制器可用。
在一些实施例中，“同一网络”可以指在路由网络实体162后面的私有IP(互联网协议)子网上的私有地址集合，该路由网络实体162在公共互联网和专用网络之间提供网络地址转换(NAT)。连接到专用网络的每个网络实体可以通过观察其它激活的网络实体的网络通信和/或扫描专用网络的可能IP子网以寻找响应来推断其它激活的网络实体的网络地址。一些网关/集线器提供可以枚举与该网关/集线器关联和/或可通过该网关/集线器到达的设备的网络服务。这些技术产生每个激活的设备的IP地址和/或其MAC(媒体访问控制)地址中的一个或两者。地址解析协议(ARP)网络服务可以将一种类型的地址映射到另一种类型的地址。在一些实施例中，在网络实体(诸如，移动机器人200)的处理器上运行的例程可以收集另一个网络实体(诸如，联网设备120、122、124、126、127、128)的网络地址，并识别那个网络实体的类型、制造商和/或型号，该类型、制造商和/或型号可以与居住结构10中的物理位置相关，如本文中更详细讨论的。
机器人坞140可以包括电源或连接到电源，并且包括充电器，当移动机器人200有效地对接在机器人坞140上时，该充电器可操作以便为移动机器人200的电池充电。坞140可以是疏散站，其包括可致动以从机器人200清空碎屑的电动容器。在一些实施例中，坞140被连接(有线或无线地)到专用网络160，以使得能够或促进从机器人200到专用网络160和/或从专用网络160到移动机器人200的数据传输。机器人坞140因此可以被认为是自动化控制器设备。在一些实施例中，机器人坞140通过无线手段与移动机器人200直接通信，该无线手段包括但不限于蓝牙、近场感应、IR和/或无线电通信信号。每个联网设备120、122、124、126、127、128、140可以包括无线收发器(诸如Wi-Fi收发器)，以经由WAP 164与集线器110和/或专用网络160通信。虽然示出了特定的联网设备120、122、124、126、127、128、140，但是更多或更少的联网设备可以包括在操作环境10中并且可以与专用网络160进行通信。
移动机器人200可以是任何合适的机器人以及相关联的(一个或多个)计算设备，并且应该认识到的是，在根据本公开实施例的移动机器人中，并非本文描述的所有部件、特征和功能都是必需的。参考图2A-2C，示例移动机器人200包括机架210、控制器220、存储器222、电池224、电池充电器226、人机界面(HMI)228、驱动系统230、制图/导航系统240、服务操作系统242(在本文中也称为“清洁系统”和“清洁头”)、无线通信系统250、IR发射器260和环境传感器270A-H、垃圾箱242A(以存储通过清洁操作收集的碎屑)、箱位(bin level)传感器242B、污物提取传感器242C(以检测通过清洁操作收集的碎屑的特性密度)、指示灯274A、音频换能器274B和清洁模式选择开关或按钮274C。
环境传感器270A-270H可以包括安装在移动机器人200的顶表面上的相机270B，如图2A的顶部透视图所示。相机270B可以用于导航机器人200并获取图像以用于其它操作用途。在一些实施例中，相机270B是视觉同步定位与地图构建(VSLAM)相机，并且用于检测操作环境中的特征和地标并基于其来构建占用图。
如图2B的底部透视图所示，移动机器人200还可以包括保险杠104、悬崖传感器195A-195D、安装或以其它方式定位在移动机器人壳体106的外围的边缘刷111。壳体106在图2A-2B中示为具有方形的前部，保险杠104安装在该前部上；但是，在其它实施例中，壳体可以具有圆形或环形形状。脚轮196可以在移动机器人200的下侧设置。在一些实施例中，脚轮196可以被定位在移动机器人200的与清洁头242相反的一端，其间具有驱动辊/轨道232A、232B，使得清洁头242是悬臂的布置。移动机器人200还可以包括面向下方或面向地面的相机197。在一些实施例中，移动机器人200一般可以以
Figure BDA0002324108180000121
地板清洁机器人和/或如美国专利No.7,024,278和美国公开申请No.2007/0250212中所述的机器人的方式配置或包括来自这些机器人的特征，所述专利和申请通过适当修改将其公开内容通过引用并入本文。在其它实施例中，移动机器人200一般可以被配置为自主巡逻机器人，其包括伸缩桅杆，该伸缩桅杆上安装有与传感器元件270A-H和/或无线通信电路或系统250相关联的一个或多个元件或该一个或多个元件以其它方式可操作地与该伸缩桅杆相关联。
控制器220可以包括任何适当配置的一个或多个处理器。(一个或多个)处理器可以包括一个或多个数据处理电路，诸如可以并置或分布在一个或多个网络中的通用和/或专用处理器(诸如微处理器和/或数字信号处理器)。处理器被配置为执行存储在以下被描述为计算机可读存储介质的存储器222中的程序代码，以执行以上针对一个或多个实施例描述的一些或全部操作和方法。存储器222代表根据本公开一些实施例的一个或多个存储设备，其包含用于促进机器人的操作的软件和数据。存储器222可以包括但不限于以下类型的设备：高速缓存、ROM、PROM、EPROM、EEPROM、闪存、SRAM和DRAM。因此，处理器与控制器200、存储器222、清洁系统242和驱动系统230通信。
驱动系统230可以包括用于主动地和可控制地使机器人200经过生活空间20的任何合适的机构或系统。根据一些实施例，驱动系统230包括可由控制器220操作的一个或多个辊、一个或多个轨道232A、232B和一个或多个板载(即，由移动机器人200携带)电动马达234(在本文中统称为“驱动器”或“驱动系统”)，以在操作环境10的地板上运送机器人200。
服务操作系统242在一些实施例中可以是可选的，并且可操作为在居住空间20中执行服务操作。根据一些实施例，服务操作系统242包括地板清洁系统，该地板清洁系统在机器人200经过空间20时清洁居住空间20的地板表面。在一些实施例中，服务操作系统242包括吸头和板载真空发生器以真空清洁地板。在一些实施例中，服务操作系统242包括末端执行器，诸如(但不限于)扫地或拖把机构，一个或多个旋转刷，辊，湿的或干的固定或摆动和/或振动布，或多层垫组件。
无线通信系统250包括无线通信收发器或模块252以及相关联的天线254，以使机器人200与操作环境10中的各种其它联网设备120、122、124、126、127、128之间能够进行无线通信，以及由构成专用网络160的WAP、网关和集线器所服务的网段，移动机器人200构成了该专用网络160的节点。例如，无线通信收发器或模块252可以是Wi-Fi模块。
在一些实施例中，机器人200可以使用窄带或宽带RF通信直接与坞140无线通信。例如，如果机器人200未配备与WAP 164兼容的发送器，那么机器人200可以与坞140通信，坞140可以进而将数据从机器人200中继到专用网络160上并转发到预期网络实体(诸如远程管理服务器150)。在一些实施例中，坞140包括网桥设备，该网桥设备接收并转换来自机器人200的RF信号，并将其以路由器支持的格式中继到路由器162，以递送到远程管理服务器150或专用网络160中的另一个设备。在一些实施例中，坞140包括采用网状拓扑的低功率网格数据网络，其中RF通信信号在移动机器人200与坞140之间从节点到节点中继。在这种情况下，联网设备120、122、124、126、127、128、140和范围扩展器模块(如果有的话；未显示)可以用作网格节点。同样，移动机器人200可以用作在坞140和其它节点(诸如启用网络的传感器设备120、122、124、126、127、128、140和范围扩展器)之间中继信号的节点。
远程管理服务器150可以是任何合适的(一个或多个)计算设备、(一个或多个)计算机服务器或(一个或多个)云服务或它们的组合，并且应该认识到的是，并非本文描述的所有部件、特征和功能都是根据本公开实施例的(一个或多个)远程服务器中所需的。参考图3的示例，远程管理服务器150包括一个或多个网络接口330、处理器电路系统(“处理器”)310和包含程序代码322的存储器320。网络接口330可以被配置为通过一个或多个有线和/或无线网络与任何关联的(一个或多个)可用资源服务器和/或数据存储库通信。处理器310可以包括一个或多个数据处理电路，诸如可以并置或分布在一个或多个网络中的通用和/或专用处理器(诸如微处理器和/或数字信号处理器)。处理器310被配置为执行以下被描述为计算机可读存储介质的存储器320中的程序代码322，以执行以上针对一个或多个实施例描述的一些或全部操作和方法。存储器320代表根据本公开一些实施例的包含用于促进用于管理机器人的操作的软件和数据的一个或多个存储器设备。存储器320可以包括但不限于以下类型的设备：高速缓存、ROM、PROM、EPROM、EEPROM、闪存、SRAM和DRAM。因此，图3的远程服务器150图示了根据本文所述的一些实施例的可以用于管理和/或分发由移动机器人获得的信息的硬件/软件架构。但是，将理解，本公开的实施例不限于这种配置，而是旨在涵盖能够执行本文所述的操作的任何配置。因此，远程管理服务器150可以更一般地表示提供远程管理服务的任何设备或设备网络，这些设备或设备网络具有使用相关方法和技术的任意适当组合，向服务中的一个或多个机器人200或从其接收、处理、增强、存储以及传输数据的能力。远程管理服务150还提供附加的处理，以支持具有与机器人200不同需求的其它客户端，诸如可视化和其它丰富的UI交互，以呈现在用户终端142、144上。在一些实施例中，本文指派给远程管理服务150的功能也可以全部或部分地在机器人上本地执行，或者与一组通信的机器人和/或服务器协同/协调执行。
用户终端142、144可以是任何合适的(一个或多个)固定或移动计算设备(包括台式计算机、膝上型计算机和“智能电话”)，并且应该认识到的是，并非本文描述的所有部件、特征和功能在根据本公开实施例的用户终端中都是必需的。参考图4的示例，示例用户终端400被配置为通过多个有线和/或无线通信接口传输和/或接收通信信号。例如，根据一些实施例的用户终端400的收发器440可以包括蜂窝通信模块、红外(IR)通信模块、全球定位系统(GPS)模块、WLAN模块、无线个人局域网(WPAN)模块(诸如蓝牙、Wi-Fi、ZigBee和/或Z-wave模块)，和/或其它类型的通信模块。
用户终端400的用户接口410包括显示器408，诸如液晶显示器(LCD)和/或有机发光二极管(OLED)显示器。用户接口410可以可选地在用户终端400的壳体上包括小键盘402或其它用户输入机构。在一些实施例中，显示器408可以具有触摸屏功能以替换和/或补充小键盘402。用户接口410还可以包括麦克风406和耳机/扬声器404。当耳机/扬声器404抵靠用户的头部放置时，壳体可以被设计为对用户的耳朵形成声密封。
小键盘402、显示器408、麦克风406、扬声器404和相机424可以耦合到处理器427，诸如可以被配置为控制用户终端400的操作的微处理器或微控制器。用户终端400还可以包括耦合到处理器427的收发器440和存储器428。其它电子电路系统(诸如WLAN通信接口、蓝牙接口、GPS接口、数字信号处理器等)也可以包括在用户终端400的电子电路系统中。
存储器428可以是通用存储器，其被用于存储用于处理器427的程序指令422以及诸如音频数据、视频数据、配置数据和/或其它可被处理器427访问和/或使用的其他数据之类的数据。存储器428可以包括非易失性读/写存储器、只读存储器和/或易失性读/写存储器。特别地，存储器428可以包括其中存储有基本操作系统指令的只读存储器、其中可以存储有可重用的数据(诸如配置信息、目录信息及其它信息等)的非易失性读/写存储器，以及其中可以存储有短期指令和/或临时数据的易失性读/写存储器。
收发器440包括发送器电路442、接收器电路444和调制解调器446，它们协作以经由天线阵列450A、450B向远程收发器传输和接收射频信号。在用户终端400和远程收发器之间传输的射频信号可以包括流量和控制信号二者(例如，针对传入的呼叫的寻呼信号/消息)，其用于建立和维持与另一方或另一目的地的通信。更特别地，与处理器427协作，收发器440可以被配置用于根据多种无线电接入和/或无线联网技术进行通信，包括(但不限于)蜂窝、WLAN(包括802.11)、WiMAX(微波接入的全球互操作性)、Wi-Fi、蓝牙、ZigBee和/或Z-wave。在根据本公开的实施例中，也可以使用其它无线电接入技术和/或频带。
再次参考图2C，移动机器人200可以包括定位电路，该定位电路构建基于度量和距离的墙壁和障碍物的图(例如，使用激光测距仪、声纳、雷达、三角测量、飞行或相位差计算)和/或自由空间的占用图(例如，可穿越的地面空间或物体或固定装置未占用的地面空间)，并且可以使用诸如扫描匹配、ICP(迭代最近点)和/或RANSAC(随机抽样共识)之类的技术将机器人定位在(一个或多个)图上。附加地或可替代地，移动机器人200可以包括定位电路，该定位电路在自由空间的占用图内构建特征、地标、基准和/或信标的指纹的、基于特征的星座图或拓扑地图(例如，使用相机或点云生成3D扫描仪，以及用于识别、存储和辨别自然或人工关键点、特征和/或地标的特征转换)，并可以使用诸如VSLAM(基于视觉的/视觉同步定位与地图构建)之类的技术在这个占用图上定位机器人。在任一种情况下，终端用户都可以经由任何网络实体的用户接口将链接到唯一房间或区域(示为区1、区2、区3)的唯一身份与家用房间类型或唯一房间标签(“客厅”)相关联。占用图(在本文也称为操作环境的“平面图(floorplan)”)可以包括定义环境10的多个表面位置的数据(例如，通过像素)，每个表面位置具有与像素位置是否对应于被移动机器人200占用、遍历或未探索的表面位置对应的值。定位电路可以由来自移动机器人200的一个或多个传感器270A-270H的输入定义，该输入可以被控制器220用来在操作环境10中执行定位。
更特别地，定位传感器270A-270H中的一个或多个被配置为检测来自位于操作环境10中的物体的传感器读数，并且控制器220被配置为基于由定位传感器270A-270H检测到的定位数据参考被观察的物体(“物体”不仅包括包括可观察特征的物理物体，还包括由光学或其它方式可检测的表面特点形成的表面“物体”，诸如拐角、线、图案)确定移动机器人200的当前姿态(“姿态”包括绝对或相对位置以及可选地绝对或相对朝向)。也可以确定物体的姿态。移动机器人200还可以被配置为将机器人的姿态(或位置)与房间标识符相关联，该房间标识符具体地与被观察的物体或其在房间中固定的姿态或在房间的部件(墙壁、天花板、照明、门口、家具等)上可观察到的姿态相关联，如占用图所指示的。
此外，参考图2C，移动机器人可以包括无线信号映射电路或能力，其收集数据作为对软件定义处理的输入，该软件定义处理构建并细化信号覆盖图，包括定义了覆盖模式(coverage pattern)以及在表面的相应位置处获取或以其它方式检测到的无线通信信号的信号强度的数据。信号覆盖图还可以与经由诸如VSLAM之类的技术获得的占用图结合起来用于定位机器人200。更特别地，在操作环境10的导航期间(例如，在执行清洁任务时)，移动机器人200的控制器220被配置为经由无线通信电路250在操作环境中的相应位置处获取无线通信信号。这些无线通信信号可以由环境10本地的一个或多个其它电子设备(诸如联网设备120、122、124、126、127、128)传输。在操作环境中感测到的无线通信信号的覆盖模式可以与相应位置相关联并存储在存储器222中，以提供覆盖操作环境的无线信号“地形”图，其与通过其它手段感测到的平面图相关，包括但不限于视觉同步定位与地图构建(VSLAM)技术。这个“地形”图可以表示信号特点，包括在平面图的相应位置处的接收到的信号强度、信噪比(SNR)、数据吞吐量和/或多径失真，并且可以以3维拓扑格式直观地表示。接收到的无线通信和/或其信号强度/SNR/数据吞吐量/失真的组合可以识别操作环境中的唯一位置(如果不确定，则为小集合)，和/或可以用于丢弃或消除通过其它方式推断出的考虑到感测RF“地形”而不太可能的潜在位置候选。由此，控制器220被配置为不仅基于经由定位传感器270A-270H获得的占用数据，而且基于经由无线通信电路250获得的信号覆盖数据来确定移动机器人200在操作环境10中的位置，使得定位和重新定位可以需要更少的时间。
例如，如果拾取了移动机器人200并将其移动到操作环境中的“新”位置，那么控制器220可以基于接收到的信号强度、接收到的信号强度的斜率和/或新位置处的斜率变化的方向来确定移动机器人200在操作环境中的新位置，如“地形”图所指示的。控制器220还可以，单独地或结合视觉定位技术，基于信号强度的斜率随着在新位置处的移动而改变的方向来确定和/或核实移动机器人200的当前姿态。
在一些实施例中，移动机器人200的控制器220可以被配置为基于占用数据和信号覆盖数据的相关性，例如相对于操作环境10中的设备120、122、124、126、127、128中的一个或多个设备的位置，来确定移动机器人200的位置(包括当前姿态)。在一些实施例中，可以由移动机器人200本身的控制器220执行占用数据和信号覆盖数据的相关。在其它实施例中，可以将由移动机器人200获得的占用数据和信号覆盖数据传输到(一个或多个)远程服务器150，该远程服务器150可以执行占用数据和信号覆盖数据的相关，并且可以将数据传送到移动机器人200和从移动机器人200传送数据以用于定位。
参考图5A、5B和5C，由移动机器人200和/或远程服务器150执行操作，以在诸如图1B所示的环境10之类的操作环境中绘制一个或多个电子设备的Wi-Fi场，以确定电子设备在操作环境中的相应位置。可以在移动机器人200为主要任务(例如，清洁和/或巡逻任务)导航操作环境的同时执行图5A-5C中所示的用于获取Wi-Fi信号的操作。特别地，在操作环境的导航期间，移动终端的无线通信电路250可以例如使用单信道或多信道扫描来获取指示信号在操作环境中的多个位置处的信号覆盖的Wi-Fi信号。移动机器人200(和/或与其通信的远程服务器150)的控制器可以基于覆盖模式确定在操作环境中的相应位置处的无线通信信号的相应信号特点(包括但不限于信号强度、信噪比、数据吞吐量和/或多径失真)，并且可以基于相应信号特点来确定在操作环境本地的电子设备的相应位置。此外，在分析环境初始导航(在本文中称为“主要任务”)期间收集的数据之后，可以安排其它专门任务(或对后续主要任务的修改)来捕获更多数据以细化导出的信息(例如，在初始收集的数据被确定为模棱两可或具有特殊意义的区域中捕获更高密度的信息)。可以以各种形式在视觉上表示所确定的Wi-Fi场的信号特点(例如，以便经由用户终端142、144、400显示)。在一些实施例中，每个检测到的设备的Wi-Fi场的所确定的信号特点可以被单独地在视觉上表示(例如，以便进行位置确定)，而在其它实施例中，可以在视觉上共同表示所确定的信号特点的视觉表示(例如，以便检测干扰的障碍物/结构)。
例如，图5A是2维图，图示了由移动机器人200的无线通信电路250在操作环境中的相应位置(由X和Y轴表示)所获取的Wi-Fi信号的覆盖模式500a，其中接收到的Wi-Fi信号的信号强度(在本文中也称为接收到的信号强度)由颜色和/或亮度水平表示，这些颜色和/或亮度水平根据操作环境中相应位置处的接收到的信号强度而变化(在本文中也称为“热图”)。图5B和5C是3维拓扑图，其分别图示了由移动机器人200的无线通信电路250在同一操作环境中的各个位置(由X和Y轴表示)所获取的覆盖模式500b和500c，由Z轴表示操作环境中相应位置处接收到的Wi-Fi信号的信号强度。图5A-5C的曲线图表示从其传输Wi-Fi信号的单个电子设备的信号强度随位置的改变。照此，具有最高信号强度的位置(由图5A中的最高亮度/强度或图5B和5C中的拓扑中的最高峰示出)指示从其传输Wi-Fi信号的对应电子设备的位置。换句话说，峰与信号的发射点对应。可以为操作环境中的其它电子设备生成类似的图。在一些实施例中，可以组合或覆盖多个图，使得覆盖的拓扑图中的相应峰指示多个电子设备的相应位置。
此外，图5B和5C的覆盖模式500b和500c的拓扑中所示的斜率和斜率方向的变化指示在操作环境中的相对位置处的信号强度的变化。在图5B和5C的覆盖模式500b和500c的拓扑中示出的斜率角度(和/或斜率的变化率)也可以帮助解决移动机器人200的姿态。例如，单独地或结合视觉定位技术(例如，使用基于相机的辨识)，信号强度的斜率相对于峰信号强度(其指示传输信号的电子设备的位置)变化的方向和速率可以允许移动机器人200更快地确定其姿态。
通过在收集的数据中扩展周围的斜率，以预测峰应当所在的位置，在图5B和5C的覆盖模式500b和500c的拓扑中示出的接收到的信号强度峰及其斜率和斜率方向的变化也可以用于识别启用网络的设备的位置，即使它在绘制的区域之外。这可以解决以下情况：所收集的数据未在绘制的区域内为启用网络的设备指示清晰的“峰”。信号强度的此类变化还可以用于识别信号覆盖弱或没有信号覆盖(“死点”)的操作环境的位置，和/或操作环境中可能有助于或造成信号强度变化的结构(“阴影”)。例如，在图5B和5C的拓扑图500b和500c中所示的操作环境位置之间斜率的快速变化可以指示在这些位置处或附近可能存在干扰信号传输的一个或多个结构。在下面更详细描述的其它实施例中，可以基于对由拓扑图500b和500c在操作环境的整个表面上指示的信号强度变化的分析来提供用于改善信号覆盖的一个或多个建议(诸如将Wi-Fi路由器移动到不同位置和/或放置/朝向)。
可以在多个频率/信道和/或技术下执行操作，以针对在操作环境中从其检测无线通信信号的每个设备生成相应的覆盖模式。例如，通过将由检测到的信号强度指示的Wi-Fi设备位置用作锚点来合并从在不同时间和/或在不同照明条件下获得的VSLAM数据生成的相应占用图，由移动机器人200获取的Wi-Fi信号数据也可以用于解析持久图。
参考图6A、6B和6C，由移动机器人200和/或远程服务器150执行操作，以将信号覆盖数据500a(其基于在移动机器人200的导航期间在操作环境(诸如图1B所示的环境10)中检测到的无线通信场)与占用数据600(其基于在移动机器人200的导航期间在操作环境中由定位传感器270A-270H检测到的数据)相关，以生成指示每个启用网络的设备在操作环境中的相应位置处的无线通信信号的覆盖模式的多个图605。更具体地，图6C的图605的此类示例图示了与图6B的占用或平面图600直接相关并覆盖在其上的图6A的无线通信信号覆盖模式500a的信号强度。
图6A的无线通信覆盖模式500a与操作环境中的特定设备或设备类型对应。例如，移动机器人200的无线通信电路250可以被配置为基于单信道或多信道扫描来检测在操作环境10中定位和/或传输的一个或多个Wi-Fi路由器的存在。移动机器人200还可以利用无线通信覆盖模式500a来识别操作环境10的信号覆盖弱或不存在的区域(即，“死点”)，并且在下面更详细描述的一些实施例中，为改善覆盖提供建议。
多信道扫描可以用于构建操作环境10中的可用无线网络接入点的列表，该列表在图1B的示例中由WAP 164提供。在一些实施例中，每次多信道扫描可能需要大约3秒才能完成。具体地，由于一些接入点可以大约每104毫秒(ms)至110ms传输一个信标，因此无线通信电路250应当执行每个信道的扫描时间超过104ms。无线通信电路250可能还需要大约100ms至120ms才能改变Wi-Fi信道，并且2.4GHz频带在美国有11个信道(在欧洲为13个，在日本为14个)，因此大约需要2990ms(13个信道x(110ms+120ms))。在移动机器人200在环境10中的运动期间，来自多信道扫描的样本可能太稀疏以至于无法定义图6A所示的覆盖模式500a。因此，当执行多信道扫描时，移动机器人可以每0.25米左右暂停3+秒。这种扫描也可以仅收集有关接入点的信息，而不是针对环境中其它类型的联网设备。在其它实施例中，机器人200可以在任务期间仅监视一个信道，但是可以旋转在每个任务上正在监视哪个信道，从而在延长的时段内收集信息，而不是延长完成单个任务所花费的时间。
可以以类似于多信道扫描的方式执行单信道扫描，但是可以仅针对WAP164的特定信道执行单信道扫描。例如，单信道扫描可以锁定到特定信道或仅针对特定信道执行。因此，单信道扫描可以报告与WAP 164在同一信道上的所有接入点。来自单信道扫描的样本可以具有足够的密度以在环境10中移动移动机器人200时定义覆盖模式500a，使得在单信道扫描过程中可能不需要暂停移动机器人200。
移动机器人200的无线通信电路250还可以包括一个或多个芯片组，其被配置为以“监视器模式”操作以检测在操作环境中的多个联网设备(诸如在图1B的环境10的联网设备120、122、124、126、127、128)的存在。在一些实施例中，监视器模式可以被实现为使用诸如WiresharkTM之类的PCAP兼容网络嗅探工具来检查无线传输的分组。例如，无线通信电路250可以被配置为以类似于在一些以太网适配器上可用的“混杂模式”的方式，被动地检查接收到的所有分组的头部信息，包括未寻址到这个设备的数据分组以及通常不传递到计算机的链路级(link-level)管理分组。照此，在无线通信电路250的范围内传输无线通信信号的所有设备(包括相对不频繁地传输送数据分组的设备)对于移动机器人200可以是可见的。通过相对大量的分组的这种密集采样，即使移动机器人200正在移动经过操作环境10，监视器模式也可以允许非常密集的数据收集。此外，链路级分组可以包含丰富的信息(这可以帮助识别传输设备的类型/型号)。在一些实施例中，信息流可以被合并并存储在公共文件中，例如使用分组捕获(PCAP)格式，其中机器人位置作为伪造的网络分组被插入，并且可以被存储在移动机器人的存储器222中，以供控制器220使用和/或传输到(一个或多个)远程服务器150。在其它实施例中，所捕获的信息可以存储在单独的文件中，每个条目在从公共时间源被接收时都带有时间戳，因此可以在以后的处理期间根据需要将单独的流进行相关。
响应于通过经由无线通信电路250扫描操作环境而检测到的覆盖模式，移动机器人200(单独地或与远程服务器150协作)还可以被配置为按照设备的类型、制造商和/或型号来识别联网设备120、122、124、126、127、128中的一个或多个设备，例如，基于通过被动地侦听或通过主动探测设备而确定的寻址和/或网络服务信息。例如，移动机器人200可以被配置为经由无线通信电路250被动地监听传输的分组，以确定操作环境中的媒体访问控制(MAC)地址的列表。这种硬件(MAC)地址可以指示设备的制造商，因为按照惯例MAC地址的(48位中的)前24至36位由中央机构分配给特定制造商。地址解析协议(AddressResolution Protocol,ARP)可以用于将MAC地址翻译成专用网络160上的设备的IP地址(或反之亦然)。设备也可以被识别为是移动或固定的，例如，通过识别设备的类型/型号(例如，壁挂式恒温器、安全相机或烟雾检测器)来暗示或者通过监视从无线通信信号获取的其信号强度/覆盖模式的变化(或缺少变化)进行启发式识别。例如，当移动机器人静止时，接收到的信号强度的变化可以指示设备的运动。即，可以基于从固定设备接收到的无线信号强度/覆盖模式的一致性来将固定设备与移动设备区分开。
此外，移动机器人200可以被配置为经由无线通信电路250主动探测网络，以发现和识别有线和无线的激活设备。探测网络服务可以用于根据由MAC地址指示的制造商来将针对型号/类型的可能候选物缩限到具体的型号。例如，可以将NestTM品牌的设备具体地识别为Nest ThermostatTM、Nest ProtectTM或Nest CameraTM。由联网设备提供的网络服务也可以揭示由用户指派的“友好”(即，用户可理解的)名称，从用户的角度来看，该名称可以指示有关该设备的放置或预期使用信息。例如，由用户指派了名称“厨房”的照明设备可以指示该照明设备位于厨房中。在一些实施例中，这些网络服务可以由网关/集线器本身代表联网设备来提供，从而使得设备本身可以更简单。例如，一个集线器可以负责使用旨在用于IoT设备的无线协议(诸如Zigbee或Z-Wave)实现的许多灯泡和/或墙壁开关。
此外，移动机器人200可以被配置为通过主动探测其经由无线通信电路250向其它网络实体提供的服务来创建(或增强)被检测设备的“指纹”(其可以指检测到的特点的唯一组合)。具体实施例可以使用各种技术来区分制造商、它们的产品和产品的版本。这些可以包括(但不限于)端口扫描以识别暴露的服务、与接收到的响应(诸如由嵌入式Web服务器返回的HTML内容、来自终端连接的初始登录横幅(logon banner)等)进行模式匹配，以及与某些发现的服务进行交互以提取更多结构化信息(例如，设备通过网络“发现”协议(诸如UPnP或mDNS)通告的属性)。还可以通过请求由网关/集线器(诸如图1B的集线器110)保存的关于它们所耦合到的设备的信息来间接地识别和/或枚举设备。例如，通过仅询问一个SmartThingsTM集线器，可以将耦合到该集线器的设备识别为Philips HueTM灯泡。
参考图7，基于以上和/或其它设备识别技术，移动机器人200和/或远程服务器150可以被配置为基于覆盖数据500a自动地(即，无需人工干预)确定每个识别出的设备的位置。具体地，移动机器人200和/或远程服务器15可以使用与每个识别出的设备的覆盖数据500a的相应最高接收信号强度对应的占用图600上的位置来自动生成持久图705，以指示联网设备120(图示为Nest ThermostatTM设备)、122(图示为Arlo QTM网络相机)、124(图示为RokuTM机顶盒设备)、126(图示为Amazon EchoTM设备)、128(图示为Google HomeTM设备)、142(图示为Apple MacBookTM)、144(图示为Apple iPhoneTM)和162(图示为NetgearTM无线路由器)的相应位置。此外，基于对设备及其在操作环境中的位置的识别，移动机器人200和/或远程服务器150还可以被配置为确定设备的可能放置和/或朝向。例如，恒温器设备(诸如NestTM、EcobeeTM或HoneywellTM恒温器设备)可以被识别为在墙上、在大约眼睛水平处、在其确定的位置处；智能插头(诸如WemoTM、TP-LinkTM、D-LinkTM或OrviboTM智能插头)可以被识别为处于其确定的位置处的插座水平；并且灯泡(诸如LifxTM、TCPTM或FluxTM灯泡)可以被识别为在确定的位置处悬挂在天花板上。
基于确定识别出的设备在相应位置处的可能放置，移动机器人200和/或远程服务器150可以被配置为将放置和位置与对应设备的图像相关联，例如，如在环境导航期间由移动机器人200检测到的定位数据中所捕获的图像。例如，移动机器人200可以经由相机270B在操作环境10中的相应位置处捕获视觉定位数据(诸如图像或360°全景图像)，并且可以将视觉定位数据存储在存储器222中。联网设备120、122、124、126、128、142、144和162在操作环境10中的确定的位置及其在确定的位置处的可能放置可以允许将那些相应位置处的捕获的图像与联网设备120、122、124、126、128、142、144和162的标识匹配。因此，根据本公开的实施例，识别每个设备及其大致位置可以提高基于机器的视觉的准确性和/或实用性。
图8A和8B图示了根据本公开实施例的绘制由“智能”家居中的联网电子设备传输的Wi-Fi场的特定示例。参考图8A，图800a1至800a6图示了单层住宅的被绘制部分中的Wi-Fi信号的粗略采样，其中将Wi-Fi信号强度绘制到从在通过移动机器人进行房屋导航期间收集的定位数据获得的平面图或占用图。
六个单独的图800a1至800a6指示从位于房屋内部或附近的六个不同的无线接入点检测到的信号图案。在图8A和8B的示例中，房屋的宽度在水平方向上大约为60英尺。对于这些特定的绘图800a1-800a6，移动机器人使用其一个或多个定位传感器对房屋的各个部分执行初始绘制，然后使用其无线通信电路在房屋的相应位置执行多信道网络扫描，大约每10平方英尺进行一次多信道扫描。每次多信道扫描都需要几秒钟才能完成，并且在图上标示了位置的子集。由图800a1至800a6示出的六个不同的Wi-Fi接入点的覆盖模式是不同的，并且每个接入点的相对位置在图800a1至800a6中由相对亮度可视地表示。例如，图800a4示出了位于图800a4最右侧的房间中的蜂窝热点。信号中的亮斑和不均匀性是稀疏采样方法的伪影。相反，图800a6示出了来自家庭Wi-Fi路由器的主要接入点的Wi-Fi信号。该信号总体上强，并且接入点位于房屋的中心，与图800a6的最亮区域匹配。
除了运行图8A所示的完整多信道网络扫描外，图8B中示出了测量Wi-Fi信号强度的可选处理，该处理是通过执行单信道网络扫描以连续记录针对单个信道和频率的分组。与前面所述的“监视器模式”相结合，单信道扫描可以提供显著更多的测量(比多信道方法多10倍至100倍)，因为移动机器人在其正在移动和绘制房屋时可以持续侦听。在图8B的全表面拓扑地图800b中示出了针对房屋的主要接入点的这种连续信号扫描的示例。由连续信号扫描提供的增加的采样由图800b中的平滑地形示出。图800b通过跟随拓扑的斜率的变化直到图上的最高点来指示接入点的位置。同样，图800b中所示的拓扑的斜率方向和高度的变化可以用于识别信号覆盖弱或没有信号覆盖的操作环境和/或操作环境中可能会导致信号覆盖减少或丢失的结构(例如，墙壁)。而且，在一些实施例中，通过连续地扫描和捕获来自多个位置的信号，可以减少信号的噪声分量，或者可以以其它方式使信号的噪声分量均匀。
图9-11是图示根据本公开实施例中描述的无线通信信号绘制技术可以由计算设备的至少一个处理器执行的操作的流程图。图9-11的操作可以表示存储在非暂态计算机可读介质(诸如本文所述的存储设备222、320、428)中的可执行例程或指令，并且可以由一个或多个处理器(诸如本文所述的处理器220、310和/或427)执行以实现指定的例程或指令。
特别地，图9的操作可以由图1B的服务器150、移动机器人200和/或用户终端142、144的一个或多个处理器执行。参考图9，响应于移动机器人在操作环境中的导航，在方框905处接收移动机器人的针对操作环境的占用数据。占用数据基于在操作环境的导航期间，例如使用VSLAM技术，由移动机器人的至少一个定位传感器检测到的定位数据。在一些实施例中，占用数据可以基于在操作环境中由多个移动机器人获得的定位数据。
同样，响应于移动机器人在操作环境中的导航，在方框910处接收针对操作环境的信号覆盖数据。信号覆盖数据是基于由移动机器人的至少一个无线接收器获取的无线通信信号，例如，通过在操作环境的相应位置处扫描一个或多个通信频率。该无线通信信号是由在操作环境本地的一个或多个启用网络的电子设备(诸如图1B的联网设备120、122、124、126、128、142、144和162中的一个或多个设备)传输。
通过将占用数据(在方框905处接收)与信号覆盖数据(在方框910处接收)相关，在方框915处生成指示在操作环境中的相应位置处的无线通信信号的覆盖模式的图。覆盖模式指示在操作环境中的相应位置处的无线通信信号的相应信号特点(包括但不限于信号强度、信噪比、数据吞吐量和/或多径失真)。由此，可以基于覆盖模式来确定电子设备在操作环境中的相应位置，例如，基于在操作环境中的相应位置处的信号强度的峰和/或信号强度的斜率/方向的变化。可以响应于由移动机器人在经过环境的一个或多个后续导航时获得的占用数据和/或信号覆盖数据来更新图，使得该图可以定义一个持久图，该持久图表示在移动机器人导航操作环境的预定时间段内一个或多个联网设备的接收到的信号强度的集合。
图10是图示可以由例如移动机器人的至少一个处理器(诸如本文所述的移动机器人200的处理器220)执行的操作的流程图。如以上所讨论的，处理器耦合到被配置为在操作环境中导航移动机器人的驱动器、包括至少一个定位传感器的定位电路、无线通信电路以及包括计算机可读存储介质的存储器，该计算机可读存储介质存储定义了可执行例程或指令的计算机可读程序代码。无线通信电路可以经由局域网或广域网通信地耦合到一个或多个远程服务器和/或用户终端。处理器被配置为执行存储在存储器中的例程以执行图10的操作。
特别地，参考图10，驱动器在方框1005处操作以导航移动机器人来访问操作环境内的位置。例如，操作环境可以包括房屋或房屋内的房间。可以基于导航例程来操作驱动器，该导航例程包括以下一个或多个：覆盖模式(诸如来回连接的行)、周边和区域发现图案(诸如墙壁和/或障碍物跟随或墙脚线图案)、系统错误防护措施(诸如随机反弹和其它随机化)和/或点到点或区到区的轨迹序列。
在方框1010处，响应于操作驱动器以在操作环境中导航移动机器人，经由移动机器人的至少一个定位传感器检测定位数据。定位数据可以包括来自测距传感器的距离测量、来自障碍物和接近传感器的占用和障碍物确定，以及来自相机和其它图案/图像/基准观察传感器的特征和地标确定。可以在表面绘制例程中检测定位数据，例如，使用VSLAM技术，以记录2维占用数据，该2维占用数据表示操作环境的位置和/或移动机器人在其上的姿态。
响应于操作驱动器以在操作环境中导航移动机器人，在方框1015处经由移动机器人的至少一个无线接收器获取无线通信信号。无线通信信号可以由操作环境本地的一个或多个启用网络的电子设备传输。可以在信号绘制例程中获取无线通信信号，以在操作环境的相应位置处记录无线通信信号的信号覆盖数据(包括覆盖模式和相应信号特点)。可以使用单信道扫描、多信道扫描和/或网络监视在操作环境内的相应位置处周期性地、不定期地或连续地获取无线通信信号。
基于由定位传感器检测到的定位数据(在方框1010处)与由无线接收器获取的无线通信信号(在方框1015处)的相关性，在方框1020处确定移动机器人在操作环境中的位置。例如，可以基于从操作环境中的一个或多个启用网络的电子设备接收到的无线通信信号来确定其身份和位置，并且可以相对于(一个或多个)电子设备的(一个或多个)位置来确定移动机器人的位置。而且，在操作环境中相应位置处接收到的无线通信信号的信号强度的变化(例如，如3维图的拓扑中的变化率所指示的，在该3维图中，接收到的信号强度与来自定位数据的占用信息相关)可以进一步用于确定移动机器人的位置。即，不仅基于经由其定位传感器获得的定位数据，而且基于经由其无线接收器获得的无线通信，来执行移动机器人的定位。
本文所述的移动机器人可以被唯一地配置为绘制房屋或其它操作环境中的无线信号覆盖(诸如Wi-Fi覆盖)，因为移动机器人已经包括独立操作以导航移动机器人经过环境的定位电路。照此，与执行表面绘制例程间歇地或同时地，(一个或多个)移动机器人可以经由操作环境的许多不同位置中的相应无线通信电路来收集接收到的信号特点的多个样本，诸如接收到的信号强度指示(RSSI)，其可以与数据的时间和地理平均一起使用来构建操作环境中各个设备的准确无线信号场。
图11是图示可以由用户终端的至少一个处理器(诸如本文所述的用户终端400的处理器427)执行的操作的流程图。如以上所讨论的，处理器耦合到接收器、用户接口以及包括计算机可读存储介质的存储器，该计算机可读存储介质存储定义了可执行例程或指令的计算机可读程序代码。接收器可以经由局域网或广域网与移动机器人和/或与之通信的远程服务器通信地耦合。处理器被配置为执行存储在存储器中的例程以执行图11的操作。
特别地，参考图11，在方框1105处，经由用户终端的接收器接收图信息，该图信息是基于响应于(一个或多个)移动机器人在操作环境中的导航而由一个或多个移动机器人的(一个或多个)定位传感器检测到的定位数据与由移动机器人的(一个或多个)无线接收器获取的无线通信信号的相关性。无线通信信号可以由操作环境本地的一个或多个启用网络的电子设备传输。可以直接从一个或多个移动机器人或与(一个或多个)移动机器人通信的远程服务器接收图信息。
在方框1110处，经由用户终端的用户界面显示图信息的一个或多个视觉表示。特别地，图信息可以以对于人类用户或操作者可能更有意义的格式表示。例如，在方框1110处显示的视觉表示可以与以上参考图5A、5B、5C、6A、6B、6C、7、8A和/或8B示出和描述的视觉表示中的一个或多个对应。在特定实施例中，视觉表示可以包括指示操作环境的物理特点的占用图(包括由(一个或多个)移动机器人的(一个或多个)定位传感器在操作环境中检测到的障碍物)和/或指示操作环境的电气特点的信号覆盖图(包括在操作环境中相应位置处由(一个或多个)移动机器人的(一个或多个)无线接收器获取的无线通信信号的相应信号强度)，其可以显示为2维或3维表示。可以为在操作环境中从其接收无线通信信号的每个检测到的电子设备生成并显示相应的占用图和/或信号覆盖图。
例如，信号覆盖图可以显示为2维表示(或“热图”)，其通过所显示的在操作环境中的相应位置处有所不同的颜色、亮度水平和/或带或环之间的距离来指示无线通信信号的相应信号强度。信号覆盖图也可以显示为3维拓扑表示，其中X和Y轴与由占用网格定义的位置对应，并且Z轴指示占用网格的相应位置处每个设备的无线通信信号强度，以及相应位置之间信号强度的斜率/方向的变化。在一些实施例中，不同的颜色、亮度水平和/或带/环之间的距离可以与相应信号强度的3维拓扑表示结合使用。
在方框1110处，也可以相关地或者并排地显示2-D占用网格和3-D信号强度拓扑或热图的组合。来自操作环境中的多个电子设备的拓扑无线通信信号强度数据还可以被组合成单个图，从而指示多个设备在同一个图上的位置。照此，操作环境中的多个启用网络的设备的位置信息可以由本地或远程用户终端接收，并以以上的或其它用户友好的格式显示在其上。
更一般地，通过将占用数据与通过移动机器人在操作环境中的导航获得的信号覆盖数据相结合，可以生成图以指示(如由相应位置处的移动机器人检测到的定位数据所指示的)操作环境的相应位置处的物理特点以及(如由移动机器人在相应位置处获取的无线通信信号的信号强度所指示的)移动机器人的操作环境的相应位置处的电气特点(包括信号强度、覆盖的缺失和/或信号干扰)。如本文所描述的，针对操作环境的占用数据和信号覆盖数据的组合可以用于改善操作环境中的移动机器人和/或其它设备的操作或功能，以及向用户呈现关于此类移动机器人和/或其它设备的信息。此类改进可以包括但不限于识别信号强度中的薄弱点和间隙、确定房间中物品的位置/标识、移动机器人的更快定位/重新定位、向用户显示带注释的图、与另一个机器人/设备共享图，和/或基于从其它设备接收到的分组的系统诊断。
下面描述移动机器人、服务器和/或用户终端对组合后的占用和信号覆盖数据的示例使用。虽然一些示例可以指的是由特定电子设备(诸如无线路由器设备)传输的特定无线通信信号(诸如Wi-Fi信号)，但是应该理解的是，这些示例不限于任何特定的设备或通信标准/协议。
在一些实施例中，如本文所述的用于基于无线信号覆盖来绘制设备位置的操作可以允许从定位数据生成的占用图的相关或合并，该定位数据由同一个移动机器人或多个机器人从相同操作环境的多次导航而获得。例如，由一个或多个移动机器人获得的定位数据可以包括在一天的不同时间处和/或在不同的照明条件下由基于视觉的定位传感器检测到的视觉定位数据，并且可以通过使用为至少一个电子设备确定的位置作为锚点来合并从在一天的不同时间处和/或在不同的照明条件下检测到的视觉定位数据生成的相应占用图而生成图，以解决由视觉定位数据中的不同照明条件引起的歧义。基于无线信号强度的拓扑绘制的场中的充分重叠，也可以将来自相邻/地理位置并置的操作环境的不同图组合或“拼接”在一起。
在一些实施例中，可以将占用网格与无线通信信号的图之间的相关性传输到操作环境内的一个或多个其它设备或与之共享。例如，此类其它设备可以包括缺少视觉定位功能的移动机器人。这些不那么先进的机器人可以使用由更先进的移动机器人确定的占用网格进行自我定位。例如，可以包括相机或其它成像传感器设备的自主真空吸尘器机器人可以基于视觉同步定位与地图构建技术来导航操作环境并生成针对该操作环境的占用网格数据。真空吸尘器机器人可以由此将所确定的占用网格数据传输到云计算设备和/或直接传输到具有较少能力的另一个移动机器人(诸如可以被限制在地板位置的擦地机器人)。此外，具有安装在较高有利位置的相机的自主巡逻机器人还可以包括在较高有利位置上或耦合到较高有利位置的无线信号传感器，从而允许接收不同高度的无线通信信号并生成指示在不同高度接收到的信号强度的绘制数据。在一些实施例中，较高的有利位置可以由机械致动的元件(诸如伸缩式或其它可延伸的桅杆)提供。照此，这种巡逻机器人可以生成被约束为在较低高度处收集其相应无线传感器信号的移动机器人无法获得的绘制数据。
相应覆盖模式中的不对称性可以用于识别和/或区分图，以与在操作环境的不同高度处的相应楼层(例如，同一房屋和/或不同房屋中的多个楼层)对应。例如，使用定向天线和“波束转向”技术(诸如多用户多输入多输出(MU-MIMO)实施方式中)可以增加所获取Wi-Fi信号的不对称性，从而降低位置的模棱两可。可以在半球的垂直延伸上方的地板上感测具有全向(半球形)辐射模式的设备，并通过参考其传输的唯一网络地址(例如，MAC地址)在地板的图之间进行关联。添加具有有意的非全向辐射模式或随时间可预测地变化的模式的设备可以保证由测得的RSSI强度的组合表示的“指纹”产生唯一的位置。类似的技术可以由移动机器人使用或位于其坞中，包括至少一个定向天线以关联楼层(例如，通过从最低点朝着上面的(一个或多个)楼层向上传输垂直波束)。机器人也可以确定被检测的电子设备的相应高度或水平位置(例如，基于两种天线模式，一种对高度敏感，一种对水平敏感)。
此外，一些设备可以具有固有不对称的RF辐射模式，尤其是当从地板水平观察时。例如，在其面上包括金属环的恒温器设备可以直接在设备正下方和前方以低信号强度进行传输，而其所安装的墙壁的相对侧上的信号强度可以显著更高(因为其内部构造和安装支架可以是塑料的)。响应于识别如本文所述的设备的具体制造商和型号，可以针对那个具体型号的RF辐射模式校正信号覆盖数据，并且因此可以用于以更高的准确性确定设备的位置。例如，可以确定在墙壁的特定侧上的恒温器设备的位置。
在一些实施例中，将无线通信信号的信号覆盖与由移动机器人使用VSLAM技术独立确定的占用网格相关可以提高移动机器人的定位的速度和/或准确性。例如，如果移动机器人被“绑架”(即，被拾取并重新定位或移动到操作环境内的新位置)，那么移动机器人可以检测到这种重新定位，并基于在其新位置处检测到的无线通信信号与先前获得的无线通信信号图的无线通信信号的比较来确定其在操作环境中的新位置。具体地，基于新位置处的接收到的信号强度、接收到的信号强度的斜率和/或新位置处信号强度的斜率的变化方向(例如，如信号覆盖与占用网格相关的3维图的拓扑中的变化率所指示的)，移动机器人可以更快地确定其新位置和/或其在新位置处的当前姿态。信号强度的斜率相对于峰信号强度变化的角度、方向和/或速率也可以帮助确定移动机器人的当前姿态。当结合视觉定位技术(诸如环境的基于相机的识别)进行视觉定位时，可以增强这种定位的速度和/或准确性。即，在与操作环境的占用网格相关的接收到的信号强度的拓扑表示中，可以将特定信号强度及其在一个或多个方向上的斜率变化率与移动机器人的姿态一起使用，以确定其在操作环境中的新位置。可以通过有选择地禁用移动机器人的(一个或多个)定位传感器或者无线信号接收来证明重新定位的速度和/或准确性的相对提高。此外，移动机器人可以被配置为基于由在设备的相应位置处的一个或多个无线通信信号图所指示的相应固定位置设备的唯一无线签名来解析关于占用网格和/或其在其中的位置的不确定性。
在一些实施例中，驱动器可以被操作为将移动机器人直接导航到一个电子设备的位置，该电子设备在操作环境中的位置例如响应于该电子设备的位置处的作为“第一响应器”的传感器和/或警报的激活而先前被确定。在到达该电子设备的位置后，实时音频和/或视觉信息可以由移动机器人记录和/或被传输到远程设备(诸如图1B的用户终端142、144)。
在一些实施例中，关于从所获取的无线通信信号的覆盖模式确定的操作环境的信息可以被传输到在该环境内操作的一个或多个其它设备，从而允许可共享的诊断。例如，在操作环境中的每个检测到的设备的传输覆盖和位置可能指示这样的网络配置，其中两个联网设备可以各自能够与特定的接入点进行通信，但可能无法“听到”(即，可能不知道)对方的传输。在一些情况下，两个设备都可能尝试在相同的信道或频率上同时进行传输，使得接入点无法从任何一个设备接收有效的通信(称为“被隐藏的节点”问题)。本文所述的一些实施例可以使用相关的数据来检测哪些设备不能“听到”其它设备(即使它们可能在同一个接入点的范围内(由于外部天线，其通常具有更高的发射功率和更灵敏的接收))，并且可以向一个或多个设备发送指令以更改或指派不同的信道或通信频率，以避免潜在或实际的干扰。此外，可以向一个或多个检测到的设备通知在彼此通信范围之外存在一个或多个其它检测到的设备，例如，在操作环境中具有到不同路由器的无线连接的设备。因此，根据本公开实施例的移动机器人的操作可以弥合在操作环境中的设备之间的间隙，否则这些设备可能彼此都不知道对方。
在一些实施例中，可以将从获取的无线通信信号的覆盖模式确定的关于操作环境的信息存储并提供给随后添加到操作环境的设备。例如，新添加到操作环境的设备可以将其存在情况传达给该环境内的接入点之一，并且先前存储的关于操作环境的信息可以被下载或与新添加的设备共享以辅助新添加设备的设置操作。即，移动机器人对操作环境的先前导航可以允许随后添加的设备在操作环境内执行自动设置操作。
在一些实施例中，移动机器人的无线接收器可以例如使用多协议扫描来监视多个通信协议，以便检测可以被配置为使用不同通信协议进行通信的环境中的多个电子设备。关于操作环境和/或在其中操作的多个电子设备的信息因此可以被格式化，并经由它们相应的通信标准与一个或多个检测到的设备共享。照此，可以使不能彼此通信的设备知道在操作环境内彼此的存在和/或操作。
在一些实施例中，无线通信信号图可以指示特定设备(诸如丢失的用户设备)的信号强度信息(以及操作环境内的对应位置)。例如，在操作环境中错放智能电话的用户可以经由另一个用户终端(诸如膝上型计算机或台式计算机或平板计算机)生成对丢失的用户设备的最后已知位置的请求。作为响应，用户终端可以调取并显示与丢失的用户设备中最近记录的无线通信信号的峰信号强度对应的操作环境中的位置的图像、标记了该位置的操作环境的平面图，和/或该位置的可听描述。照此，即使丢失的设备没有电了，无线通信信号的绘制也可以用于定位丢失的设备。
在一些实施例中，基于获取的无线通信信号，可以从MAC地址识别设备制造商，并且可以从多协议扫描或其它网络探测/监视来识别设备的型号/类型。这可以实现在具有固定位置的固定设备(诸如恒温器或无线接入点)与移动设备(诸如智能电话或平板电脑)之间进行识别和区分。附加地或可替代地，从这些设备广播的无线信号可以包括由注册地址指示的客户定义。移动机器人和/或与其相关联的云计算设备可以传输或与用户终端共享这样的标识信息，以经由其用户界面显示。
在一些实施例中，如由相应位置处获取的Wi-Fi信号强度所指示的，用于房屋的Wi-Fi覆盖数据可以用于向用户通知该房屋中对应电子设备的改善的定位或放置。特别是对于Wi-Fi接入点，Wi-Fi信号强度数据可以指示房屋的哪些区域从该接入点获得的Wi-Fi信号覆盖弱或没有。照此，基于由图指示的信号强度数据，可以将关于Wi-Fi接入点的放置的一个或多个建议传输到远程用户设备以改善Wi-Fi信号覆盖。同样，也可以向远程用户设备传输添加一个或多个Wi-Fi中继器以覆盖Wi-Fi信号覆盖弱或没有Wi-Fi信号覆盖的区域的建议(包括关于放置(一个或多个)中继器的建议)，以便增强那些区域中的Wi-Fi信号覆盖。此外，响应于检测到多个设备与操作环境之间的信号干扰，移动机器人和/或与之通信的云计算设备可以生成并传输与设备的空间朝向或放置相关的、可以减少和/或解决信号干扰的方向或建议。
图12A是图示根据本公开一些实施例的用于组合基于传感器的定位和无线信号绘制的设备的系统的示图。系统1200可以包括移动机器人200，该移动机器人200可以获得如本文所述的针对操作环境的信号覆盖数据500和占用数据600。信号覆盖数据500和占用数据600可以被传输到云计算设备和/或系统1270。在一些实施例中，云计算设备和/或系统1270可以包括本文描述的(一个或多个)远程管理服务器150。云计算设备和/或系统1270可以包括处理器1210和用户数据存储装置1220。用户数据存储装置1220可以存储信号覆盖数据500、占用数据600和/或与其相关联的其它数据(例如，所获取的无线通信信号和/或检测到的定位数据)。虽然一些实施例提供了移动机器人200执行信号覆盖数据500与占用数据600的相关，但是在一些实施例中，该相关可以由云计算设备和/或系统1270执行。
在一些实施例中，云计算设备和/或系统1270可以在移动机器人200与用户设备142、144、400之间提供通信信道，使得用户设备142、144、400可以操作以从机器人200和/或云计算设备和/或系统1270接收消息和/或数据。例如，用户设备142、144、400可以显示信号覆盖数据500、占用数据600和/或基于其相关性的数据的一个或多个视觉表示605，并且可以接收允许用户编辑或修改所显示的数据的用户输入。
图12B是更详细图示根据本公开一些实施例的用于组合基于传感器的定位和无线信号绘制的设备的协作操作的图。用虚线示出的方框指示可以在图12B的实施例中可选地执行的操作。
如图12B中所示，在方框1201处，移动机器人200在操作环境的导航期间，通过使用无线接收器250经由RF分组捕获，获取无线通信信号。在方框1202处，移动机器人200还基于占用数据600确定其在操作环境中的地点或位置，并且在一些实施例中，还基于方框1204处的插值(例如，如果没有连续报告位置)来确定。占用数据600可以基于移动机器人200在操作环境的导航期间同时或先前获得的定位数据，例如，经由一个或多个定位传感器。
基于在方框1201处的RF分组捕获，移动机器人200在方框1203处执行分组头部解码/提取以确定例如与接收到的分组的一个或多个发送者对应的唯一网络地址和/或接收信号强度。例如，接收到的分组的发送者可以参考从其传输分组的联网设备。还可以从接收到的分组确定附加信息，包括但不限于信噪比、数据吞吐量和/或多径失真。从接收到的分组确定的信息在本文中可以统称为信号覆盖数据。
由此移动机器人200将在方框1201和1203处确定的信号覆盖数据与在方框1202(以及可选地1204)处确定的占用数据和定位在方框1205处组合到记录日志中。可选地，还可以在方框1206处确定与分组捕获和/或位置确定相关联的时间数据，并且在方框1205处将其记录在日志中(例如，作为时间戳)，例如，以提供用于过滤和/或其它相关操作的附加数据点。
在方框1207处，对信号覆盖数据、占用数据、定位以及(在一些实施例中)相关联的时间戳数据进行滤波、平均和/或压缩，并且在方框1208处将其转换成空间表示(示为图605)。在方框1207处，空间表示605可以基于信号覆盖率数据和占用数据的相关性来指示操作环境中的相应位置处的信号特点。可以在方框1209a处确定发送者的设备类型(例如，固定/移动、制造商、型号等)，并且可以存储在数据库1220a中。也可以在方框1209b处确定发送者在操作环境中的相应位置，并在图705中表示。还可以基于所确定的发送者的(一个或多个)类型和/或(一个或多个)位置在方框1211处执行持久和时间平均，其结果可以存储在数据库1220b中。在一些实施例中，相关操作1207、1208、1209a，1209b和/或1211可以由远程服务器150执行，该远程服务器150通信耦合到移动机器人以从其接收信号覆盖、占用和定位数据。但是，将理解的是，相关操作1207、1208、1209a，1209b和/或1211中的一个或多个可以由移动机器人200本身和/或可以被通信耦合到移动机器人200的一个或多个其它计算设备(包括远程服务器150和/或用户终端142、444、400)执行。
用户终端142、444、400在方框1207、1208、1209a，1209b和/或1211处接收从信号覆盖率数据和占用数据的相关性得到的数据，并在方框1212处显示该数据的一个或多个视觉表示。在图13-17的用户界面中示出了可以经由用户终端142、144、400显示的数据的示例。
参考图13的用户界面1310，与信号覆盖数据500的3-D拓扑表示并排示出了2-D占用网格600。在占用网格600上用箭头(“强覆盖”、“弱覆盖”或“无覆盖”)指示信号覆盖强、弱或不存在的操作环境中的位置指示，并且也可以从信号覆盖数据500的3D拓扑表示的斜率变化中可见。
参考图14的用户界面1410，与操作环境中位置“X”的照片1440并排示出了2-D占用网格600。位置或区域“X”和对应的照片1440基于由操作环境中的移动机器人获取的无线通信信号来指示在操作环境中用于无线路由器的重新定位的建议位置(“将设备移动到这里”)，例如，以改善信号覆盖。
参考图15的用户界面1510，与位置或区域“X”的照片1440以及指示1550并排示出了2-D占用网格600，基于由移动机器人在操作环境中获取的无线通信信号，该位置或区域“X”指示操作环境中用于无线路由器的重新定位的建议位置以改善信号覆盖，该指示1550示出了放置无线路由器的建议的高度(“将设备定位在这个高度”)，例如，以避免与操作环境中的一个或多个其它联网设备发生干扰。
参考图16的用户界面1610，在2-D占用网格600上显示用于购买新的无线路由器或范围扩展器的激励1640。激励1640可以基于现有无线路由器的不良信号覆盖特点来显示，如由移动机器人在操作环境中获取的无线通信信号所指示的。
参考图17的用户界面1710，与操作环境中的位置“X”的照片1740并排示出了2-D占用网格600。基于由移动机器人获取的无线通信信号，位置“X”和对应的照片1740指示从移动电子设备接收无线通信信号的移动电子设备在操作环境中的最新位置(“最后知道的设备位置”)。照片1740中所示的视图指向来自移动电子设备的信号的最后一个峰发射的方向。可以附加地或可替代地经由用户界面1710提供由照片1740表示的位置“X”的可听描述(例如，“您的电话在饭厅中最后被检测到”)。
在本公开的各种实施例的以上描述中，本公开的各方面可以在许多可专利的类或上下文中的任何一个中示出和描述，包括任何新的和有用的处理、机器、制造或物质组合，或任何新的和有用的改进。因而，本公开的各方面可以完全由硬件、完全由软件(包括固件、常驻软件、微代码等)或组合软件和硬件实现来实现，这些实现在本文中一般都可以被称为“电路”、“模块”、“组件”或“系统”。此外，本公开的各方面可以采取计算机程序产品的形式，该计算机程序产品包括其上实施了计算机可读程序代码的一个或多个计算机可读介质。
一个或多个计算机可读介质的任意组合可以被使用。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁或半导体系统、装置或设备，或前面所述的任意合适组合。计算机可读存储介质的更具体的示例(非穷举列表)将包括以下：硬盘驱动器、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、具有中继器的适当光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备，或前面所述的任意合适组合。在本文档的语境下，计算机可读存储介质可以是任何可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序的非暂态介质。
计算机可读信号介质可以包括其中体现了计算机可读信息的传播的数据信号(例如，在基带中或者作为载波一部分)。这种传播的信号可以采用多种形式中的任意一种，包括但不限于电磁信号、光信号或其任意合适组合。计算机可读信号介质还可以是并非计算机可读存储介质并且可以传送、传播或运输由指令执行系统、装置或设备使用或者与其结合使用的程序的任何计算机可读介质。体现在计算机可读介质上的计算机可读信息可以使用任何适当的介质(例如，作为程序代码)来发送，包括但不限于无线、有线、光缆、RF等，或前面所述的任意合适组合。
可以以一种或多种编程语言的任何组合来编写用于执行本公开的各方面的操作的计算机程序代码。程序代码可以完全在本文所述的用户终端、移动机器人或远程服务器上执行，或者部分地在每个中的一个或多个上执行。在后一种情况下，远程服务器可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户终端和/或移动机器人，或者进行到外部计算的连接(例如，通过使用互联网服务提供商的互联网)和/或在云计算环境中，或作为服务(诸如软件即服务(SaaS))提供。
本文参考根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的各方面。将理解的是，流程图图示和/或框图中的每个方框以及流程图图示和/或框图中的方框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，以产生机器，使得经由计算机或其它可编程指令执行装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个方框中指定的功能/动作的机制。
这些计算机程序指令也可以被存储在计算机可读介质中，当其被执行时，可以指引计算机、其它可编程数据处理装置或其它设备以特定方式运行，使得当指令存储在计算机可读介质中时，产生包括指令的制品，其中当该指令被执行时，使计算机实现在流程图和/或框图的一个或多个方框中指定的功能/动作。计算机程序指令还可以被加载到计算机、其它可编程指令执行装置或其它设备上，以使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个方框中指定的功能/动作的过程。
应该理解的是，本文所使用的术语仅出于描述特定实施方式的目的，而无意于限制本发明。除非另有定义，否则本文中使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常所理解的相同含义。还将理解的是，诸如在常用词典中定义的术语之类的术语应当被解释为具有与其在本说明书和相关技术的上下文中的含义一致的含义，并且将不在理想化或过于形式化的意义上被解释，除非本文明确地这样定义。
附图中的流程图和框图图示了根据本公开的各方面的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。就这一点而言，流程图或框图中的每个方框可以表示包括用于实现指定的(一个或多个)逻辑功能的一条或多条可执行指令的代码的模块、片段或部分。还应当注意的是，在一些替代实现中，方框中提到的功能可以不按照图中所示的次序发生。例如，取决于所涉及的功能，连续示出的两个方框实际上可以基本上同时执行，或者方框有时可以以相反的次序执行。还将注意到的是，框图和/或流程图图示的每个方框以及框图和/或流程图图示的方框的组合可以由执行指定的功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。
前述内容是本公开的实施例的说明，并且不应解释为对其的限制。虽然已经描述了一些示例实施例，但是本领域技术人员将容易认识到的是，在实质上不脱离本发明的教导和优点的情况下，可以对示例实施例进行许多修改。因而，所有这样的修改都意在包括在本发明的范围内。因此，应该理解的是，前述内容是对本发明的说明，并且不应被解释为限于所公开的具体实施例，并且对所公开的实施例以及其它实施例的修改旨在包括在本发明的范围内。

Claims (27)

1.一种操作移动机器人的方法，包括：
由所述移动机器人的处理器执行操作，所述操作包括：
操作驱动器以在操作环境中导航所述移动机器人；
响应于操作所述驱动器以在所述操作环境中导航所述移动机器人，经由所述移动机器人的至少一个定位传感器检测定位数据，其中所述至少一个定位传感器包括相机，其中所述定位数据包括由所述相机在一天的不同时间或在不同的照明条件下中的至少一个处检测到的视觉定位数据；
响应于操作所述驱动器以在所述操作环境中导航所述移动机器人，经由所述移动机器人的至少一个无线接收器获取无线网络通信信号，其中所述无线网络通信信号由在所述操作环境本地的至少一个启用网络的电子设备传输；
基于由所述至少一个定位传感器检测到的定位数据与由所述至少一个无线接收器获取的无线网络通信信号的信号强度的覆盖模式的相关性来确定所述移动机器人在所述操作环境中的位置，其中，确定所述移动机器人的位置包括：
将响应于所述移动机器人在所述操作环境中的重新定位而获取的无线网络通信信号的相应信号强度与响应于操作所述驱动器而获取的无线网络通信信号的相应信号强度进行比较；以及
使用所述定位数据。
2.如权利要求1所述的方法，还包括：
检测所述移动机器人在所述操作环境中的重新定位，其中所述重新定位独立于操作所述驱动器并且在操作所述驱动器之后。
3.如权利要求1所述的方法，其中，所述无线网络通信信号由包括IoT设备的至少一个启用网络的电子设备传输。
4.如权利要求1所述的方法，其中，所述无线网络通信信号包括Wi-Fi信号。
5.如权利要求1所述的方法，其中，所述无线网络通信信号包括蓝牙信号。
6.如权利要求1所述的方法，其中，所述无线网络通信信号包括ZigBee信号。
7.如权利要求1所述的方法，其中，所述无线网络通信信号包括Z波信号。
8.如权利要求1所述的方法，其中，所述无线网络通信信号包括光信号。
9.一种操作移动机器人的方法，包括：
由所述移动机器人的处理器执行操作，所述操作包括：
操作驱动器以在操作环境中导航所述移动机器人；
响应于操作所述驱动器以在操作环境中导航所述移动机器人，经由所述移动机器人的至少一个定位传感器检测定位数据，其中所述至少一个定位传感器包括相机，其中所述定位数据包括由所述相机在一天的不同时间或在不同的照明条件下中的至少一个处检测到的视觉定位数据；
响应于操作所述驱动器以在操作环境中导航所述移动机器人，经由所述移动机器人的至少一个无线接收器获取无线网络通信信号，其中所述无线网络通信信号由在所述操作环境本地的至少一个启用网络的电子设备传输；
基于由所述至少一个定位传感器检测到的定位数据与由所述至少一个无线接收器获取的无线网络通信信号的信号强度的覆盖模式的相关性来确定所述移动机器人在所述操作环境中的位置；以及
使用所述至少一个启用网络的电子设备的位置作为锚点，合并从在一天的不同时间或在不同的照明条件中的至少一个处检测到的所述视觉定位数据生成的相应占用图。
10.如权利要求9所述的方法，其中所述至少一个无线接收器被安装在或耦合到所述移动机器人的桅杆，并且其中获取所述无线网络通信信号是响应于操作所述桅杆以在所述操作环境中的相应位置处改变所述至少一个无线接收器的高度。
11.如权利要求9所述的方法，其中所述至少一个电子设备包括第一启用网络的电子设备和第二启用网络的电子设备，并且其中所述操作还包括：
经由所述无线接收器监视多个通信协议；
基于响应于所述监视而经由所述至少一个无线接收器从所述第一启用网络的电子设备和第二启用网络的电子设备获取的无线网络通信信号，识别所述第一启用网络的电子设备和第二启用网络的电子设备被配置为使用不同的通信协议进行通信；以及
经由所述移动机器人的无线发送器，将检测到的关于所述第一启用网络的电子设备和第二启用网络的电子设备中的一个的信息经由所述不同的通信协议中的相应通信协议传输到所述第一启用网络的电子设备和第二启用网络的电子设备中的另一个。
12.如权利要求9所述的方法，其中所述操作还包括：
检测所述移动机器人在所述操作环境中的重新定位，其中所述重新定位独立于操作所述驱动器并且在操作所述驱动器之后，
其中确定所述移动机器人的位置包括：
将响应于所述重新定位而获取的无线网络通信信号的相应信号强度与响应于操作所述驱动器而获取的无线网络通信信号的相应信号强度进行比较；以及，
使用所述定位数据。
13.如权利要求9所述的方法，其中所述操作还包括：
基于由所述至少一个无线接收器在所述操作环境中的相应位置处获取的无线网络通信信号的相应信号强度来确定所述至少一个启用网络的电子设备在所述操作环境中的位置，
其中确定所述移动机器人的位置是相对于所述至少一个启用网络的电子设备在所述操作环境中的位置。
14.如权利要求13所述的方法，其中所述操作还包括：
响应于与至少一个电子设备相关联的传感器的激活，操作所述驱动器以将所述移动机器人导航到所述至少一个电子设备在所述操作环境中的位置；
响应于操作所述驱动器以将所述移动机器人向所述至少一个电子设备导航，经由所述至少一个定位传感器捕获在所述至少一个电子设备的位置处的音频或视觉信息中的至少一个；以及
经由所述移动机器人的无线发送器，将捕获的音频或视觉信息中的至少一个传输到远程设备。
15.如权利要求9所述的方法，其中所述至少一个启用网络的电子设备包括第一启用网络的电子设备和第二启用网络的电子设备，并且其中所述操作还包括：
基于响应于操作所述驱动器而经由所述至少一个无线接收器从所述第一启用网络的电子设备和第二启用网络的电子设备获取的无线网络通信信号的相应信号强度，识别所述第一启用网络的电子设备和第二启用网络的电子设备超出彼此的无线通信范围；以及
经由所述移动机器人的无线发送器，将检测到的关于所述第一启用网络的电子设备和第二启用网络的电子设备中的一个的信息传输到所述第一启用网络的电子设备和第二启用网络的电子设备中的另一个。
16.如权利要求15所述的方法，其中所述信息基于从所述第一启用网络的电子设备和第二启用网络的电子设备获取的无线网络通信信号来指示所述第一启用网络的电子设备和第二启用网络的电子设备的干扰通信，并且其中所述操作还包括：
经由所述移动机器人的无线发送器，向所述第一启用网络的电子设备和第二启用网络的电子设备中的至少一个传输指令以更改其通信信道。
17.一种操作用户终端的方法，所述用户终端通信地耦合到至少一个移动机器人，所述方法包括：
由所述用户终端的处理器执行操作，所述操作包括：
基于响应于所述至少一个移动机器人在操作环境中的导航的、由所述至少一个移动机器人的至少一个定位传感器检测到的定位数据与由所述至少一个移动机器人的无线接收器在所述操作环境中获取的无线网络通信信号的信号强度的覆盖模式的相关性来确定至少一个移动机器人在所述操作环境中的位置，其中所述无线网络通信信号由在所述操作环境本地的至少一个启用网络的电子设备传输，其中所述至少一个定位传感器包括相机，其中所述定位数据包括由所述相机在一天的不同时间或在不同的照明条件中的至少一个处检测到的视觉定位数据；
经由所述用户终端的接收器接收图信息，所述图信息包括所确定的所述至少一个移动机器人的位置；
使用所述至少一个启用网络的电子设备的位置作为锚点，合并从在一天的不同时间或在不同的照明条件中的至少一个处检测到的所述视觉定位数据生成的相应占用图；以及
经由所述用户终端的用户界面显示所述图信息的一个或多个视觉表示。
18.如权利要求17所述的方法，其中所述一个或多个视觉表示包括：
占用图，其指示所述操作环境的物理特点，所述物理特点包括由所述至少一个移动机器人的所述定位传感器在所述操作环境中检测到的障碍物；和/或
信号覆盖图，其指示所述操作环境的电气特点，所述电气特点包括由所述至少一个移动机器人的所述无线接收器在所述操作环境中的相应位置处获取的无线网络通信信号的相应信号强度。
19.如权利要求18所述的方法，其中所述信号覆盖图包括2维表示，所述2维表示通过在所述操作环境中的相应位置处改变的颜色和/或亮度水平来指示无线网络通信信号的相应信号强度，和/或所述信号覆盖图包括3维拓扑表示，所述3维拓扑表示指示在所述操作环境中的相应位置处的无线网络通信信号相对于轴的相应信号强度以及所述相应位置之间的所述相应信号强度的斜率变化。
20.如权利要求18所述的方法，其中所述占用图还指示所述至少一个启用网络的电子设备在所述操作环境中的位置。
21.如权利要求20所述的方法，其中所述占用图用从所述至少一个启用网络的电子设备发射的信号的图形表示来指示所述至少一个启用网络的电子设备的位置，并且其中所述操作还包括：
接收所述至少一个移动机器人在所述操作环境中的当前位置的指示，
其中所述信号的图形表示基于所述移动机器人的当前位置与所述至少一个启用网络的电子设备的位置的接近度而改变。
22.如权利要求20所述的方法，其中所述占用图用从所述至少一个启用网络的电子设备发射的信号的图形表示来指示所述至少一个启用网络的电子设备的位置，并且其中所述图形表示在颜色、亮度水平和/或显示的带或环之间的距离上改变。
23.如权利要求20所述的方法，其中所述占用图还指示身份，所述身份包括所述至少一个电子设备的类型、制造商或型号中的至少一个。
24.如权利要求20所述的方法，其中所述操作还包括：
基于由所述至少一个移动机器人的所述无线接收器获取的无线网络通信信号，经由所述用户终端的所述用户界面来显示用于所述至少一个启用网络的电子设备的重新定位的、所述操作环境中的一个或多个建议位置的指示。
25.如权利要求20所述的方法，其中所述操作还包括：
基于由所述至少一个移动机器人的所述无线接收器获取的无线网络通信信号所指示的信号干扰，经由所述用户终端的所述用户界面来显示用于由所述至少一个启用网络的电子设备进行通信的一个或多个建议的频率或信道的指示。
26.如权利要求18所述的方法，其中所述图信息的一个或多个视觉表示指示所述操作环境中无线网络通信信号的信号覆盖弱或不存在的区域，并且其中所述操作还包括：
经由所述用户界面显示所述信号覆盖的建议改善。
27.如权利要求26所述的方法，其中所述至少一个启用网络的电子设备包括无线路由器设备，并且其中所述建议包括用于购买新的无线路由器设备的激励。
CN201880040719.4A 2017-05-05 2018-04-06 绘制无线通信信号以进行移动机器人引导的方法、系统及设备 Active CN110769986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111612645.7A CN114397891A (zh) 2017-05-05 2018-04-06 用户终端及操作用户终端的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/588,117 2017-05-05
US15/588,117 US10664502B2 (en) 2017-05-05 2017-05-05 Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
PCT/US2018/026477 WO2018204019A1 (en) 2017-05-05 2018-04-06 Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111612645.7A Division CN114397891A (zh) 2017-05-05 2018-04-06 用户终端及操作用户终端的方法

Publications (2)

Publication Number Publication Date
CN110769986A CN110769986A (zh) 2020-02-07
CN110769986B true CN110769986B (zh) 2022-01-04

Family

ID=64014669

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880040719.4A Active CN110769986B (zh) 2017-05-05 2018-04-06 绘制无线通信信号以进行移动机器人引导的方法、系统及设备
CN202111612645.7A Pending CN114397891A (zh) 2017-05-05 2018-04-06 用户终端及操作用户终端的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111612645.7A Pending CN114397891A (zh) 2017-05-05 2018-04-06 用户终端及操作用户终端的方法

Country Status (5)

Country Link
US (2) US10664502B2 (zh)
EP (1) EP3619004B1 (zh)
JP (1) JP6992091B2 (zh)
CN (2) CN110769986B (zh)
WO (1) WO2018204019A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
US10664502B2 (en) 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
CN109093627A (zh) * 2017-06-21 2018-12-28 富泰华工业（深圳）有限公司 智能机器人
US11119476B2 (en) 2017-07-26 2021-09-14 Clearpath Robotics Inc. Systems and methods for monitoring a self driving vehicle
KR102366796B1 (ko) * 2017-09-14 2022-02-24 삼성전자주식회사 이동 로봇 시스템 및 그 제어 방법
JP6814118B2 (ja) * 2017-09-15 2021-01-13 株式会社日立製作所 ロボット制御装置、システム、及び方法
US10965654B2 (en) 2017-11-28 2021-03-30 Viavi Solutions Inc. Cross-interface correlation of traffic
US10560206B2 (en) 2017-12-12 2020-02-11 Viavi Solutions Inc. Processing a beamformed radio frequency (RF) signal
TWI677314B (zh) * 2017-12-29 2019-11-21 技嘉科技股份有限公司 移動裝置及其控制方法、遠端控制系統及電腦程式產品
KR102385263B1 (ko) * 2018-01-04 2022-04-12 삼성전자주식회사 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
US11144051B2 (en) * 2018-02-28 2021-10-12 Clearpath Robotics Inc. Systems and methods for remote viewing of self-driving vehicles
US10979326B2 (en) 2018-05-11 2021-04-13 Viavi Solutions Inc. Detecting interference of a beam
EP3841848A1 (en) * 2018-08-24 2021-06-30 Lutron Technology Company LLC Occupant counting device
US10631263B2 (en) * 2018-09-14 2020-04-21 Viavi Solutions Inc. Geolocating a user equipment
US10274953B1 (en) * 2018-10-12 2019-04-30 Grey Orange Pte. Ltd. Multi-level robotics automation
US10922831B2 (en) * 2019-02-20 2021-02-16 Dell Products, L.P. Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
US10701566B1 (en) * 2019-06-28 2020-06-30 T-Mobile Usa, Inc. Multidimensional analysis and network response
KR20190109325A (ko) * 2019-08-07 2019-09-25 엘지전자 주식회사 로봇 및 로봇의 위치를 인식하기 위한 방법
JP7247865B2 (ja) * 2019-11-25 2023-03-29 トヨタ自動車株式会社 搬送制御システム、搬送制御プログラムおよび搬送制御方法
CN112929947A (zh) * 2019-12-06 2021-06-08 佛山市云米电器科技有限公司 Wi-Fi热图生成方法、可移动家用设备及存储介质
US11507860B1 (en) * 2020-02-24 2022-11-22 Rapid7, Inc. Machine learned inference of protocols from banner data
CN113406950A (zh) * 2020-03-16 2021-09-17 Uvd机器人设备公司 对移动装置上的紫外光源的保护
KR20210127558A (ko) * 2020-04-14 2021-10-22 한국전자통신연구원 멀티 에이전트 기반 유무인 협업 시스템 및 방법
US20210396524A1 (en) * 2020-06-17 2021-12-23 Astra Navigation, Inc. Generating a Geomagnetic Map
US10862520B1 (en) * 2020-06-25 2020-12-08 Link Labs, Inc. Apparatus and method for mitigating effects of multipath interference between wireless communication nodes via constraint of estimated node location
CN112220399A (zh) * 2020-09-04 2021-01-15 南京蹑波物联网科技有限公司 一种全局定位系统、具有该全局定位系统的智能扫地机器人及其工作方法
US11592573B2 (en) 2020-09-15 2023-02-28 Irobot Corporation Particle filters and WiFi robot localization and mapping
US20220095123A1 (en) * 2020-09-24 2022-03-24 Apple Inc. Connection assessment system
US10989783B1 (en) * 2020-10-26 2021-04-27 Listen Technologies Corporation False positive immunity in beacon systems, and related systems, methods, and devices
CN114553915B (zh) * 2020-10-29 2023-07-18 花瓣云科技有限公司 一种设备管理方法及装置
EP4016225A1 (en) * 2020-12-16 2022-06-22 Mobile Industrial Robots A/S Managing a fleet of robots
KR20220090716A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법
CN112866070A (zh) * 2021-01-21 2021-05-28 珠海格力电器股份有限公司 一种交互方法、装置、存储介质及电子设备
SE544614C2 (en) * 2021-03-22 2022-09-27 Husqvarna Ab Improved navigation for a robotic work tool in an area of insufficient signal reception
US11575452B2 (en) * 2021-04-13 2023-02-07 Qualcomm Incorporated Passive positioning with radio frequency sensing
CN115237113B (zh) * 2021-08-02 2023-05-12 达闼机器人股份有限公司 机器人导航的方法、机器人、机器人系统及存储介质
CN114147711B (zh) * 2021-11-30 2024-01-12 优必康(青岛)科技有限公司 机器人控制方法、装置、终端设备及存储介质
US20230195133A1 (en) * 2021-12-20 2023-06-22 Blue Ocean Robotics Aps Methods of area mapping with a mobile robot that crosses areas without communications network availability, and sharing the same with other mobile robots
US20230316645A1 (en) * 2022-04-01 2023-10-05 Dell Products L.P. Real-time 3d topology mapping for deterministic rf signal delivery
CN115509227A (zh) * 2022-09-16 2022-12-23 未岚大陆(北京)科技有限公司 自主移动设备的控制方法和相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853876A (zh) * 2005-04-25 2006-11-01 Lg电子株式会社 能够指定移动区域的机器人系统
CN104848848A (zh) * 2015-03-30 2015-08-19 北京云迹科技有限公司 基于无线基站和激光传感器的机器人绘制地图和定位的方法及系统
CN105158732A (zh) * 2015-06-24 2015-12-16 浙江工业大学 一种无线传感器网络协助的移动机器人自定位方法
CN105563451A (zh) * 2016-01-20 2016-05-11 詹雨科 一种智能跟随机器人
WO2017021049A1 (de) * 2015-08-04 2017-02-09 Robert Bosch Gmbh Verfahren und system zum lokalisieren eines sich innerhalb eines parkplatzes befindenden fahrzeugs
CN205969124U (zh) * 2016-08-25 2017-02-22 北京创想智控科技有限公司 一种移动机器人及其充电系统

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1547361B1 (en) 2002-09-13 2016-04-06 iRobot Corporation A navigational control system for a robotic device
JP2005086262A (ja) * 2003-09-04 2005-03-31 Toshiba Corp 無線中継ロボット
US9250081B2 (en) * 2005-03-25 2016-02-02 Irobot Corporation Management of resources for SLAM in large environments
US20060238169A1 (en) * 2005-04-22 2006-10-26 William Baker Temperature controlled current regulator
KR100696134B1 (ko) 2005-04-25 2007-03-22 엘지전자 주식회사 이동로봇의 위치 산출 시스템과 그를 이용한 충전대 복귀시스템 및 그 방법
US20070018890A1 (en) * 2005-07-22 2007-01-25 Kulyukin Vladimir A Multi-sensor wayfinding device
EP2544065B1 (en) 2005-12-02 2017-02-08 iRobot Corporation Robot system
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US20080033645A1 (en) * 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
JP5047709B2 (ja) * 2007-07-04 2012-10-10 株式会社日立製作所 移動装置、システム、移動方法及び移動プログラム
US9715004B2 (en) * 2009-10-05 2017-07-25 Bae Systems Plc Radio positioning of a mobile receiver using a virtual positioning reference
US8704707B2 (en) * 2010-06-02 2014-04-22 Qualcomm Incorporated Position determination using measurements from past and present epochs
US9411037B2 (en) * 2010-08-18 2016-08-09 RetailNext, Inc. Calibration of Wi-Fi localization from video localization
US20120188057A1 (en) * 2011-01-24 2012-07-26 Ole Green Controller for a wireless sensor
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
KR102041449B1 (ko) 2012-05-11 2019-11-27 삼성전자주식회사 사용자의 위치를 획득하는 방법 및 장치
JP6160036B2 (ja) * 2012-07-23 2017-07-12 株式会社リコー 移動通信装置、及び位置情報通知方法
US9233472B2 (en) * 2013-01-18 2016-01-12 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
US11156464B2 (en) * 2013-03-14 2021-10-26 Trx Systems, Inc. Crowd sourced mapping with robust structural features
CN104718462B (zh) * 2013-05-20 2018-02-13 英特尔公司 用于混合虚拟和实体楼层地图的技术
US20150092048A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US10466056B2 (en) * 2014-04-25 2019-11-05 Samsung Electronics Co., Ltd. Trajectory matching using ambient signals
US9668146B2 (en) 2014-04-25 2017-05-30 The Hong Kong University Of Science And Technology Autonomous robot-assisted indoor wireless coverage characterization platform
US10248399B2 (en) 2014-05-28 2019-04-02 Samsung Electronics Co., Ltd Apparatus and method for controlling Internet of Things devices
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
WO2016069593A1 (en) * 2014-10-27 2016-05-06 Sikorsky Aircraft Corporation Cooperative communication link mapping and classification
GB201419883D0 (en) * 2014-11-07 2014-12-24 F Robotics Acquisitions Ltd Domestic robotic system and method
DE102014223363B4 (de) * 2014-11-17 2021-04-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
US10130232B2 (en) * 2015-03-06 2018-11-20 Walmart Apollo, Llc Shopping facility assistance systems, devices and methods
US10111044B2 (en) * 2015-05-29 2018-10-23 Verity Studios Ag Methods and systems for scheduling the transmission of localization signals and operating self-localizing apparatus
US9527217B1 (en) 2015-07-27 2016-12-27 Westfield Labs Corporation Robotic systems and methods
US9763029B2 (en) * 2015-08-26 2017-09-12 Verizon Patent And Licensing Inc. Bluetooth internet of things sensor network
US9772395B2 (en) * 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
CN108369420B (zh) * 2015-11-02 2021-11-05 星船科技私人有限公司 用于自主定位的设备和方法
CN105424030B (zh) * 2015-11-24 2018-11-09 东南大学 基于无线指纹和mems传感器的融合导航装置和方法
DE102015225388A1 (de) * 2015-12-16 2017-06-22 Osram Gmbh Verfahren und system zur analyse einer umgebung eines mobilen endgeräts
US10272828B2 (en) * 2016-08-16 2019-04-30 Irobot Corporation Light indicator system for an autonomous mobile robot
US20180106618A1 (en) * 2016-10-14 2018-04-19 Westfield Retail Solutions, Inc. Systems and methods to determine a location of a mobile device
US10455364B2 (en) * 2016-12-12 2019-10-22 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
KR20180070932A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 이동체 및 이동체의 제어 방법
US20180283882A1 (en) * 2017-04-04 2018-10-04 Appropolis Inc. Location-based services system and method therefor
US10664502B2 (en) 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10627479B2 (en) * 2017-05-17 2020-04-21 Zerokey Inc. Method for determining the position of an object and system employing same
US10145962B1 (en) * 2017-10-06 2018-12-04 Cisco Technology, Inc. Adaptive localization and incremental deployment of infrastructure with crowd-sourced feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853876A (zh) * 2005-04-25 2006-11-01 Lg电子株式会社 能够指定移动区域的机器人系统
CN104848848A (zh) * 2015-03-30 2015-08-19 北京云迹科技有限公司 基于无线基站和激光传感器的机器人绘制地图和定位的方法及系统
CN105158732A (zh) * 2015-06-24 2015-12-16 浙江工业大学 一种无线传感器网络协助的移动机器人自定位方法
WO2017021049A1 (de) * 2015-08-04 2017-02-09 Robert Bosch Gmbh Verfahren und system zum lokalisieren eines sich innerhalb eines parkplatzes befindenden fahrzeugs
CN105563451A (zh) * 2016-01-20 2016-05-11 詹雨科 一种智能跟随机器人
CN205969124U (zh) * 2016-08-25 2017-02-22 北京创想智控科技有限公司 一种移动机器人及其充电系统

Also Published As

Publication number Publication date
JP2020522042A (ja) 2020-07-27
US20200242136A1 (en) 2020-07-30
CN110769986A (zh) 2020-02-07
WO2018204019A1 (en) 2018-11-08
JP6992091B2 (ja) 2022-01-13
CN114397891A (zh) 2022-04-26
JP2022028940A (ja) 2022-02-16
EP3619004A1 (en) 2020-03-11
US10664502B2 (en) 2020-05-26
EP3619004B1 (en) 2023-11-08
EP3619004A4 (en) 2021-04-07
US20180321687A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN110769986B (zh) 绘制无线通信信号以进行移动机器人引导的方法、系统及设备
EP3735340B1 (en) Mobile robot enabling the display of networked devices
JP7362814B2 (ja) デバイスのステータスのマップを作成し、デバイスのステータスを制御し、表示するための方法、システム、およびデバイス
JP7438474B2 (ja) 移動ロボット、方法、及びシステム
US10391638B2 (en) Mobile robot providing environmental mapping for household environmental control
KR101591754B1 (ko) 댁내 IoT 센서의 생애주기 관리를 위한 클러스터 기반의 IoT 센서의 현황 표시 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP7476162B2 (ja) 移動ロボットの案内のためにワイヤレス通信信号のマップを作成するための方法、システム、およびデバイス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant