CN115079685A - 控制移动机器人装置的方法 - Google Patents

控制移动机器人装置的方法 Download PDF

Info

Publication number
CN115079685A
CN115079685A CN202110381538.1A CN202110381538A CN115079685A CN 115079685 A CN115079685 A CN 115079685A CN 202110381538 A CN202110381538 A CN 202110381538A CN 115079685 A CN115079685 A CN 115079685A
Authority
CN
China
Prior art keywords
robotic device
mobile robotic
person
processor
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110381538.1A
Other languages
English (en)
Inventor
J·E·奥斯特伽德
E·维茨拉宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blue Ocean Robot Equipment Co ltd
Original Assignee
Blue Ocean Robot Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Ocean Robot Equipment Co ltd filed Critical Blue Ocean Robot Equipment Co ltd
Publication of CN115079685A publication Critical patent/CN115079685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供控制移动机器人装置的方法。所公开主题的实现提供在移动机器人装置的通信接口、触摸接口、麦克风或输入装置处接收命令。移动机器人装置的处理器基于命令以及基于从移动机器人装置的一个或多个传感器接收到的输入以控制驱动系统以跟随人或引导人。处理器基于来自处理器能够访问的存储器中所存储的决策树的至少一个预定条件,控制驱动系统以停止跟随或引导人。

Description

控制移动机器人装置的方法
背景技术
为了针对人可能不熟悉的诸如建筑物的内部等的区域进行导航,通常人必须使用基于试错法的移动来寻找其目的地,或者查阅与建筑物或区域布局有关的建筑物的已公布信息(如果可获得的话)。一些人可能有认知和/或身体障碍,这使得这样的导航是困难的,或者一些人可能因试图导航到他们不熟悉的区域或建筑物中的目的地而感到困惑或不知所措。
发明内容
根据所公开主题的实现,一种控制移动机器人装置的方法可以包括在通信接口、触摸接口、麦克风或移动机器人装置的任何其它类型的输入装置处接收命令。所述方法可以基于所述命令以及基于从所述移动机器人装置的一个或多个传感器接收到的输入,在所述移动机器人装置的处理器处控制驱动系统以跟随人或引导人。所述方法可以基于来自所述处理器可访问的存储器中所存储的决策树的至少一个预定条件,在所述移动机器人装置的处理器处控制所述驱动系统以停止跟随或引导人。
可以通过考虑以下具体实施方式、附图和权利要求阐述或明确所公开主题的附加特征、优点和实现。此外,应理解,前述的发明内容和以下的具体实施方式两者都是例示性的,并且意在提供进一步的说明,而不限制权利要求的范围。
附图说明
被包括以提供对所公开主题的进一步理解的附图被并入本说明书中并构成本说明书的一部分。附图还例示了所公开主题的实现,并且与具体实施方式一起用于说明所公开主题的实现的原理。没有试图示出比对所公开主题和可以实践该主题的各种方式进行基本理解所需的更详细的结构细节。
图1示出根据所公开主题的实现的控制移动机器人装置以跟随人或引导人的示例方法。
图2示出根据所公开主题的实现,图1的方法可以包括基于所接收到的参数来控制移动机器人装置的移动的方法。
图3示出根据所公开主题的实现,图1的方法可以包括基于所接收的文化操作模式来控制移动机器人装置的移动的方法。
图4示出根据所公开主题的实现,图1的方法可以包括基于终点位置以及基于移动机器人装置的一个或多个传感器的输出来控制移动机器人装置的方法。
图5示出根据所公开主题的实现,图1的方法可以包括定位移动机器人装置的方法。
图6示出根据所公开主题的实现,图1的方法可以包括确定人是否需要引导。
图7示出根据所公开主题的实现,图1的方法可以包括确定人是否需要帮助。
图8示出根据所公开主题的实现,图1的方法可以包括使移动机器人装置查找物体或位置。
图9示出根据所公开主题的实现,图1的方法可以包括跟踪人的移动。
图10至图11示出根据所公开主题的实现的示例移动机器人装置。
图12示出根据所公开主题的实现的图9至图10的移动机器人的示例配置。
图13示出根据所公开主题的实现的可以包括多个移动机器人装置的网络配置。
具体实施方式
所公开主题的实现提供了可以跟随人和/或将人引导到目的地的移动机器人装置。移动机器人装置可以确定人是否需要帮助导航到目的地,和/或可以从人接收将他们引导到特定目的地的命令。例如,移动机器人装置可以将人引导到诸如会议室、酒店房间、航空旅行的登机口、博物馆的展览或病房等的目的地。在一些实现中,移动机器人装置可以提供与人和移动机器人正在行进通过的(诸如在博物馆展览、工厂游览、城市或历史游览等中的)区域有关的信息。在一些实现中,移动机器人装置可以基于询问来向人提供信息,和/或可以帮助用户查找物体。
移动机器人装置可以在一种或多种文化模式下操作,该文化模式可以确定移动机器人装置可以从人接收命令和/或向人提供信息的语言、以及在行进期间移动机器人装置可能距人的距离和位置等。区域和/或地理围栏可以用于限制移动机器人装置和/或人进入特定区域。
图1至图8示出根据所公开主题的实现的控制移动机器人装置(例如,图10至图13中所示的移动机器人装置100)以跟随人或引导人的示例方法10。在图1所示的操作12处,移动机器人装置可以在通信接口(例如,图12中所示的网络接口116)、触摸接口(例如,图12中所示的用户接口110)、麦克风(例如,图12中所示的麦克风102)或任何其它类型的输入接口(例如,输入装置113和/或可连接到图12中所示的移动机器人装置100的总线122和/或网络接口116的任何输入接口)处接收命令。
例如,人可以向移动机器人装置提供命令以请求该移动机器人装置跟随人。移动机器人装置可以经由通信接口从装置(例如,智能电话、平板计算机或可穿戴计算装置等,诸如图13中所示的远程用户装置170、180等)接收命令,和/或可以从远程计算机或服务器(例如,图13中所示的服务器140和/或远程平台160)接收命令。在另一示例中,人可以通过选择在用户接口(例如,图12中所示的用户接口110)的显示器的触摸接口上显示的一个或多个选项来提供命令。在一些实现中,人可以选择要被引导到的位置或者可以是供移动机器人装置跟随人的终点的位置,和/或可以使用在触摸接口(例如,用户接口110)上显示的虚拟键盘来输入位置或终点。在另一示例中,人可以提供诸如要引导到的位置或供机器人跟随人的终点等的语音命令,该语音命令通过移动机器人装置的麦克风(例如,图12中所示的麦克风103)来接收。在又一示例中,人可以经由任何其它类型的输入装置(诸如输入装置113或者可以通信地耦接至图12中所示的移动机器人装置的总线122和/或网络接口116的输入装置等)来提供命令。
对于引导请求,人可能会迷路,并且可能不知道要去哪里。人可以请求移动机器人装置引导他们。移动机器人装置可以经由图12中所示的用户接口110和/或麦克风103,或者经由移动机器人装置的任何其它输入装置(诸如图12中所示的输入装置113等)来接收请求。例如,当移动机器人装置从要被引导的人接收到命令时,移动机器人装置可以将人引导到会议室、会议厅、房间、病房、旅馆房间、洗手间、博物馆展览、在机场的登机口位置或行李领取区、餐馆和/或任何其它位置。移动机器人可以引导不熟悉区域和/或位置或者可能难以记住如何移动到最终目的地的人。可以通过移动机器人装置将患有精神障碍、痴呆或阿尔茨海默氏病等的人引导到目的地。在一些实现中,如下面结合图6所讨论的,移动机器人装置可以确定人是否将愿意被引导。
在另一示例中,人可能与另一个人有会议(例如,商务会议、或与医生的会议等),但是可能不知道如何查找会议的位置。人可以请求(例如,通过向移动机器人装置提供命令)移动机器人装置将人引导到会议位置。
在又一示例中,当人可能不记得汽车停在哪里时,人可以请求移动机器人装置将他们引导到停车场中的汽车处。用户可以提供汽车的描述(例如,品牌、型号或年份等)、或者车牌号等。移动机器人装置可以使用一个或多个传感器(例如,图12中所示的102a、102b、102c和/或102d)来确定汽车的位置并引导人。
在一些实现中,人可以请求移动机器人装置(例如,图13中所示的移动机器人装置100)将人引导到目的地,并且请求第二移动机器人装置(例如,移动机器人装置200)为人携带一个或多个物体(例如,袋子、包裹或盒子等)。移动机器人100装置可以将人引导到目的地,并且移动机器人装置200可以跟随人和/或移动机器人装置100。
在操作14处,移动机器人装置的处理器(例如,图12中所示的控制器114)可以基于命令以及基于从移动机器人装置的一个或多个传感器(例如,图10至图12中所示的传感器102a、102b、102c和/或102d)接收到的输入来控制驱动系统(例如,图12中所示的驱动系统108)以跟随人或引导人。传感器可以用于确定移动机器人装置的位置,在人移动时跟踪人,以及在移动机器人装置正在移动时避开障碍物等。在一些实现中,移动机器人装置可以将预定区域的地图存储在存储器(例如,存储器119和/或图12中所示的固定存储装置)中,和/或可以经由通信接口从远程计算机或服务器接收地图(例如,图13中所示的服务器140,数据库150,远程平台160和/或移动用户装置170、180),并且可以使用地图来引导人或者在跟随人时使用地图。
在一些实现中,移动机器人装置可以输出与当朝向目的地移动时正行进通过的区域有关的信息。例如,信息可以由图12中所示的扬声器107和/或用户接口110的显示器输出。在一个示例中,移动机器人装置可以引导人通过博物馆展览,并且可以输出与一个或多个展览品有关的信息。可以通过通信接口(例如,图12中所示的网络接口116)经由图13中所示的网络130从服务器140、数据库150和/或远程平台160接收信息。信息可以存储在图12中所示的存储器118和/或固定存储装置120中。在另一示例中,移动机器人装置可以引导人通过飞机场,并识别可购物的商店、洗手间位置、以及可用的餐馆或食品供应商的位置等。在一些实现中,移动机器人装置可以帮助用户在餐馆或食品供应商处订购食品,或者选择在零售位置进行购买的物品等。
在操作16处,移动机器人装置的处理器可以基于来自存储在处理器可访问的存储器(例如,图12中所示的存储器118或固定存储装置120等)中的决策树的至少一个预定条件来控制驱动系统以停止跟随或引导人。在一些实现中,预定条件可以是当人进入如一个或多个传感器(例如,图10至图12中所示的传感器102a、102b、102c和/或102d)所检测到的限制区域时。限制区域可以是移动机器人装置所使用的地图(例如,其存储在图12中所示的存储器118和/或固定存储装置120中,和/或从图13中所示的服务器140、数据库150和/或远程平台160检索)上所指定的区域(在该区域中至少移动机器人装置不被允许行进),和/或可以是限制一个或多个人进入的区域。例如,当人进入如一个或多个传感器所确定的限制区域时,移动机器人装置可以基于决策树停止跟随人。移动机器人装置可以基于决策树等待人从限制区域出来(例如,当人被授权进入该限制区域时),或者可以移动到预定位置以等待此人或引导其他人。
在一些实现中,当用户距限制区域预定距离并且此人没有进入限制区域的授权时,移动机器人装置可以经由扬声器(例如,图12中所示的扬声器107)输出通知。在该实现中,移动机器人装置可以引导人远离限制区域。
在另一实现中,预定条件可以是当人进入如一个或多个传感器所检测到的指定房间时。指定房间可以在移动机器人装置所使用的地图上描绘,在该指定房间中移动机器人装置不被允许行进。例如,当人进入指定房间时,移动机器人装置可以停止跟随人。在一些实现中,当用户距指定房间预定距离和/或进入指定房间时,移动机器人装置可以经由扬声器(例如,图12中所示的扬声器107)输出通知。移动机器人装置可以等待人从指定房间出来,或者可以移动到预定位置以等待人或者引导其他人。
在一些实现中,预定条件可以是当人距如一个或多个传感器所检测到的指定禁区在预定距离内和/或进入指定禁区时。可以在移动机器人装置所使用的地图上描绘指定禁区,在该指定禁区中不允许移动机器人装置和/或未被授权的人行进。移动机器人装置可以引导人以避免进入禁区。当用户距禁区在预定距离内和/或进入禁区时,移动机器人装置可以经由扬声器(例如,图12中所示的扬声器107)输出通知。当在禁区内的人未被授权和/或未被允许在禁区内时,移动机器人装置可以引导人远离禁区。
在一些实现中,预定条件可以是当移动机器人装置遇到如一个或多个传感器所检测到的虚拟围栏时。虚拟围栏可以在移动机器人装置所使用的地图上描绘,其中移动机器人装置不被允许行进。例如,当人进入虚拟围栏时,移动机器人装置可以停止跟随人。在一些实现中,当用户距虚拟围栏所标记的区域预定距离和/或进入虚拟围栏所标记的区域时,移动机器人装置可以经由扬声器(例如,图12中所示的扬声器107)输出通知。移动机器人装置可以等待人从虚拟围栏区域出来,或可以移动到预定位置以等待人或引导其他人。
在一些实现中,预定条件可以是当人已经到达期望的位置时。在一些实现中,当用户已经到达预定位置时,移动机器人装置可以经由扬声器(例如,图12中所示的扬声器107)输出通知。
处理器可以基于经由通信接口(例如,图12中所示的网络接口116)接收到的路线或者存储在与处理器通信地耦接的存储装置(例如,图12中所示的存储器118和/或固定存储装置120)中的路线来控制驱动系统以对移动机器人装置进行移动。例如,可以从图13中所示的服务器140,数据库150,远程平台160和/或远程用户装置170、180接收路线。在一些实现中,移动机器人装置的处理器可以基于经由通信接口接收到的命令来控制驱动系统以移动到预定区域中的位置以会见和引导人。
图2示出根据所公开主题的实现,图1的方法10可以包括基于接收到的参数来控制移动机器人装置的移动的方法。如图2中所示,方法10可以包括操作18,在操作18中移动机器人装置接收一个或多个参数,该一个或多个参数可以包括跟随人的距离以及用于移动机器人在旁边跟随人的该人的侧。当移动机器人装置已经接收到跟随人的命令时,移动机器人装置可以在保持与人的预定距离的同时接收跟随人的参数。移动机器人装置所接收到的参数可以包括与移动机器人装置应当跟随在人的左侧、人的右侧、还是在人后面等有关的数据。在操作20处,处理器可以基于接收到的一个或多个参数来控制移动机器人装置的移动。在一些实现中,如果没有接收到其它参数,则针对跟随人的距离以及跟随人的侧,移动机器人装置可以使用一个或多个默认参数(例如,存储在存储器118和/或固定存储装置120中)。
图3示出根据所公开主题的实现,图1的方法10可以包括基于所接收的文化操作模式来控制移动机器人装置的移动的方法。在操作22处,移动机器人装置可以接收文化操作模式的选择。选择可以通过图12中所示的移动机器人装置的网络接口116经由图13中所示的网络130来接收。选择可以由图13中所示的服务器140,数据库150,远程平台160和/或远程用户装置170、180提供。
在一些实现中,文化操作模式可以是命令的语言的一个或多个参数、跟随人的距离和/或在旁边跟随人的侧等。例如,移动机器人装置可以接收中国文化操作模式,在中国文化操作模式下移动机器人装置可以接收中文命令,并且移动机器人装置可以在人后面以预定距离(例如,2-3米)跟随人。在另一示例中,移动机器人可以接收法国文化操作模式,并且移动机器人装置可以接收法语命令,并且可以在人的左侧以预定距离(例如,1-2米)跟随人。在一些实现中,文化操作模式可以确定当与人通信时移动机器人装置使用的语言类型。例如,在移动机器人装置在中国文化操作模式下操作的情况下,当移动机器人装置与人通信时(例如,经由图12中所示的扬声器107和/或用户接口110),其所使用的语言可以是正式的、尊敬的和/或恭敬的。在另一示例中,在移动机器人装置在美国模式下操作的情况下,当移动机器人装置与人通信时,其可以使用非正式语言。
在一些实现中,可以通过语言检测来设置移动机器人装置的文化操作模式。例如,移动机器人装置可以经由图12中所示的麦克风103从人捕获声音,并且移动机器人装置的处理器可以确定所说的语言。处理器可以基于检测到的语言来选择文化操作模式。处理器可以基于捕获到的声音使用机器学习或人工智能来确定语言。
在一些实现中,跟随人的距离可以是距离范围。也就是说,人和机器人可能在具有不同可用空间(例如,走廊的宽度或房间的大小等)的不同区域中行进,并且移动机器人可能需要基于可用空间来调节到人的距离的量。跟随人的距离范围可以通过文化操作模式确定。在操作24处,处理器可以基于接收到的文化操作模式来控制移动机器人装置的移动。
在一些实现中,移动机器人装置的文化操作模式可以基于部署移动机器人装置的位置和/或环境来设置。例如,如果移动机器人装置部署在工厂或仓库设置中,则用于位置和/或环境的文化模式可以确定移动机器人装置所使用的语言、移动机器人与人保持的距离和/或移动机器人装置相对于人的位置(例如,左侧、右侧、或人后面等)。
图4示出根据所公开主题的实现,图1的方法10可以包括基于终点位置以及基于移动机器人装置的一个或多个传感器的输出来控制移动机器人装置的方法。在操作26处,移动机器人装置可以在移动机器人装置的通信接口(例如,图12中所示的网络接口116)、触摸接口(例如,图12中所示的用户接口110)、麦克风(例如,图12中所示的麦克风103)或其它输入装置(例如,图12中所示的输入装置11)处接收人正行进到的终点位置。在操作28处,处理器可以基于终点位置以及基于一个或多个传感器的输出来控制驱动系统以对移动机器人装置进行移动。例如,通信接口可以接收用于人的日程表条目,该日程表条目包括人的约会的终点位置。可以从图13中所示的服务器140,数据库150,远程平台160和/或远程用户装置170、180接收日程表条目。控制器可以控制驱动系统以将移动机器人装置移动到所接收到的日程表条目中指定的终点位置。也就是说,移动机器人装置可以引导人到如所接收到的日程表条目中提供的位置。
图5示出根据所公开主题的实现,图1的方法10可以包括定位移动机器人装置的方法。在操作30处,移动机器人装置的通信接口可以接收对要查找的移动机器人装置的请求。也就是说,移动机器人装置可能丢失,其中可以监控移动机器人装置的(例如,在图13中所示的服务器140,远程平台160和/或远程用户装置170、180处的)远程计算系统的用户可能无法定位移动机器人装置。在操作32处,通信接口可以基于来自一个或多个传感器的数据来传输移动机器人装置的位置。
当移动机器人装置接收到请求时(例如,在操作S30处),可以基于存储在移动机器人装置的存储器(例如,图12中所示的存储器118和/或固定存储装置120)中的地图上的位置和/或来自移动机器人装置的一个或多个传感器的传感器数据来确定移动机器人装置的位置。可以基于所存储的移动机器人装置的最终目的地来确定移动机器人装置的位置。可以在引导人之前接收最终目的地,和/或最终目的地可以是人的日程表条目的一部分,如上文详细讨论的那样。移动机器人装置的位置可以根据通信接口从通信网络(例如,图13中所示的网络130)的中断的日志来确定。日志可以存储在图12中所示的移动机器人装置100的存储器118和/或固定存储装置120中,和/或图13中所示的服务器140,数据库150,远程平台160和/或远程用户装置170、180中。
在一些实现中,当一个或多个传感器不能识别移动机器人装置的位置和/或与通信网络(例如,图13中所示的网络130)发生中断时,移动机器人装置可以传输被查找和/或接收位置信息的请求。远程计算系统可以使用移动机器人装置外部的一个或多个传感器和/或通过确定从移动机器人装置接收到的通信路径来确定移动机器人装置的位置。
图6示出根据所公开主题的实现,图1的方法10可以包括确定人是否需要引导。在操作34处,移动机器人装置的处理器可以基于由移动机器人装置的一个或多个传感器捕获的图像来确定人是否想要引导。在一些实现中,可以通过处理器(例如,图12中所示的控制器114)应用人工智能和/或机器学习来分析所捕获的图像中的人的面部表情,该面部表情可以指示人可能希望接收引导。可以通过处理器将捕获的图像与存储在图12中所示的存储器118和/或固定存储装置120中的样本图像进行比较,和/或将捕获的图像与存储在图13中所示的服务器140,数据库150,远程平台160和/或远程用户装置170、180中的图像进行比较。在一些实现中,移动机器人装置可以基于一个或多个传感器所捕获的图像来确定人是否丢失和/或是否具有精神障碍、痴呆或阿尔茨海默氏病等,以及是否可能希望移动机器人装置对目的地的引导。
在操作36处,扬声器(例如,图12中所示的扬声器107)和/或用户接口(例如,图12中所示的用户接口110)可以基于该确定输出用于引导的询问。也就是说,可以基于所捕获的图像来从扬声器(例如,图12中所示的扬声器107)输出消息以确定人是否需要引导。在操作38处,处理器可以基于接收到的命令来控制移动机器人装置的移动以引导人。也就是说,麦克风(例如,图12中所示的麦克风103)可以捕获来自人的与到目的地的引导有关的语音命令,并且处理器可以控制驱动系统(例如,图12中所示的驱动系统108)以将人引导到目的地。
图7示出根据所公开主题的实现,图1的方法10可以包括确定人是否需要帮助。在操作40处,移动机器人装置的处理器可以基于由移动机器人装置的麦克风捕获的音频来确定人是否需要帮助。在一些实现中,可以通过处理器(例如,图12中所示的控制器114)应用人工智能、机器学习和/或语音识别来分析麦克风接收到的语音以确定用户需要帮助的内容。在操作42处,处理器可以基于该确定来控制移动机器人装置的移动,或者可以经由用户接口或扬声器输出信息来帮助人。例如,移动机器人装置可以经由扬声器(例如,图12中所示的扬声器107)和/或经由用户接口(例如,图12中所示的用户接口110)输出对人的帮助请求的回答。移动机器人装置可以使用存储在图12中所示的存储器118和/或固定存储装置120中的数据来检索用于回答人的请求的信息,和/或从存储在图13中所示的服务器140,数据库150,远程平台160和/或远程用户装置170、180中的数据检索用于回答人的请求的信息。
图8出根据所公开主题的实现,图1的方法10可以包括使移动机器人装置查找物体或位置。在操作44处,通信接口(例如,图12中所示的网络接口116)、麦克风(例如,图12中所示的麦克风103)或移动机器人装置的其它输入装置可以接收用于为人查找物体或位置的命令。例如,物品可能是人正在零售位置中寻找的物品、或者人在区域内丢失了的物品(例如,皮夹、钥匙、智能电话、钱包或服装物品等)等。在另一示例中,物品可以是在飞机场的人的行李等。移动机器人装置可以将人引导到适当的行李传送带和/或行李领取区,并且可以使用一个或多个传感器来识别人的行李。移动机器人装置可以基于来自人的对行李的描述、行李标签(例如,移动机器人装置可以捕获来自人的行李标签的图像等)或条形码标签(例如,该条形码标签设置在行李上并且用户具有移动机器人装置可以使用一个或多个传感器来扫描的该条形码标签的副本)等来识别行李。当移动机器人装置找到行李时,移动机器人装置可以经由图12中所示的扬声器107和/或用户接口110输出通知。
在一些实现中,可以通过处理器(例如,图12中所示的控制器114)应用人工智能、机器学习和/或语音识别来分析麦克风所接收到的语音或移动机器人的输入装置(例如,图12中所示的输入装置113)所接收到的输入,以确定人正在寻找的物体或位置。移动机器人装置可以使用存储在图12中所示的存储器118和/或固定存储装置120处的数据来检索信息以帮助找到物品,和/或从存储在图13中所示的服务器140,数据库150,远程平台160和/或远程用户装置170、180处的数据检索信息以帮助找到物品。在一些实现中,移动机器人装置可以使用检索到的信息来建议期望的物品的替代物,诸如识别类似但具有降低的费用的物品等。在另一示例中,移动机器人装置可以建议和帮助用户定位替代物(诸如有机生长的食物物品等),以及/或者定位本地和/或区域生产的产品。在操作46处,处理器可以使用存储在存储器中和/或经由处理器可访问的通信网络(例如,图13中所示的通信网络130)检索的地图以及/或者来自一个或多个传感器的数据来控制移动机器人装置的移动以查找物体或位置。
图9示出根据所公开主题的实现,图1的方法10可以包括跟踪人的移动。在操作48处,处理器可以使用一个或多个传感器(例如,图10至图12中所示的传感器102a、102b、102c和/或102d)来识别人。例如,一个或多个传感器可以捕获人的图像和/或人的其它生物特征数据,并且处理器可以将捕获的图像和/或生物特征数据与以下数据进行比较来识别人:存储在图12中所示的存储器118和/或固定存储装置120中的一个或多个数据简档,以及/或者来自存储在图13中所示的服务器140、数据库150、远程平台160和/或远程用户装置170、180处的数据。在操作50处,当移动机器人装置正在跟随或引导人时,可以使用一个或多个传感器跟踪所识别到的人的移动。在一些实现中,在当移动机器人装置引导或跟随人时存在多个人的情况下,移动机器人装置可以使用对人的识别来确定此人相对于移动机器人装置的位置。
操作52、54和/或56可以是图9中所示的可选操作。在操作52处,当移动机器人装置不能跟踪人的移动时,处理器可以外推(extrapolate)人的移动。例如,在存在多个人和/或物体的环境中移动机器人装置可能在跟踪人时经历困难,并且可以在移动机器人装置不能跟踪人时外推人的位置。外推可以通过处理器进行,并且可以基于如移动机器人装置的一个或多个传感器所确定的人的移动速率和/或人之前朝向的方向,以能够检测到人的位置和/或预定终点(例如人的目的地)。在操作54处,一个或多个传感器可以用于基于所外推的人的移动来检测人的位置。在操作56处,处理器可以基于存储在存储装置(该存储装置通信地耦接到处理器)中的路线或经由通信接口接收到的路线来控制驱动系统以及一个或多个传感器以搜索人。也就是说,可以控制驱动系统以在基于所外推的人的移动的方向上移动,并且可以使用一个或多个传感器来检测人的存在和/或位置。
图10至图11示出根据所公开主题的实现的示例移动机器人装置100。移动机器人装置100可以具有多个传感器。传感器102a可以是飞行时间传感器。传感器102b可以是RGB(红、绿、蓝图像传感器)照相机和/或图像传感器,以及传感器102c可以是RGB-D(RGB深度照相机)。在一些实现中,传感器102b、102c可以是立体视觉传感器、3D照相机、图像传感器、热感照相机或结构光照相机等。传感器102d可以是二维光检测和测距(LiDAR)传感器、三维(3D)LiDAR传感器和/或雷达(无线电检测和测距)传感器或超声波传感器等。传感器102a、102b和/或102c可以用于控制移动机器人装置的移动,和/或跟踪移动机器人装置所引导或跟随的人。
移动机器人装置100可以包括至少一个麦克风103。在一些实现中,移动机器人装置100可以具有以阵列布置的多个麦克风103。
移动机器人装置100可以包括发光二极管(LED)、有机发光二极管(OLED)、灯和/或可以由控制器(例如,图12中所示的控制器114)控制的任何合适的光源,以照明用于移动机器人装置的导航的区域的一部分。
移动机器人装置100可以包括用于对驱动系统108进行驱动的马达,以在诸如房间或建筑物等的区域中对移动机器人装置进行移动。驱动系统108可以包括轮,轮可以是可调节的,使得驱动系统108可以控制移动机器人装置100的方向。
移动机器人装置100可以包括一个或多个扬声器107。在诸如图11所示的一些实现中,扬声器107可以设置在用户接口110的显示器的第一侧和第二侧(例如,左侧和右侧)。用户接口110可以是用于显示图像(诸如从远程用户装置170接收到的那些图像等)的液晶显示器(LCD)、发光二极管(LED)显示器或有机发光二极管(OLED)显示器等。用户接口110的显示器可以是触摸屏。
图12示出适于提供所公开主题的实现的移动机器人装置100的示例组件。移动机器人装置100可以包括用于将移动机器人装置100的主要组件进行互连的总线122,该主要组件诸如驱动系统108、(可操作以经由合适的网络连接与一个或多个远程装置进行通信的)网络接口116、控制器114、(诸如随机存取存储器(RAM)、只读存储器(ROM)或闪速RAM等的)存储器118、(可以是用于从人接收命令的任何装置的)输入装置113、LED光源104、传感器102a、传感器102b、传感器102c、传感器102d、(可以包括一个或多个控制器、显示器和诸如触摸屏等的相关联的用户输入装置的)用户接口110、(诸如硬盘和闪速存储装置等的)固定存储装置120、麦克风103以及(用于输出音频通知和/或其它信息的)扬声器107等。
总线122允许控制器114与一个或多个存储器组件之间的数据通信,如前所述,该存储器组件可以包括RAM、ROM和其它存储器。通常,RAM是用于加载操作系统和应用程序的主存储器。除了其它代码外,ROM或闪速存储器组件还可以包含基本输入-输出系统(BIOS),BIOS控制诸如与外围组件的交互等的基本硬件操作。驻留在移动机器人装置100的应用一般存储在(诸如固态驱动器、硬盘驱动器、光驱动器或其它存储介质等的)计算机可读介质(例如,固定存储装置120)上并经由计算机可读介质访问。
网络接口116可以经由有线或无线连接(例如,图12中所示的网络130)提供到远程服务器(例如,图12中所示的服务器140、数据库150、远程平台160和/或远程用户装置170)的直接连接。网络接口116可以使用本领域技术人将容易理解的任何合适的技术和协议来提供这样的连接,包括数字蜂窝电话、WiFi、蓝牙(R)和近场等。例如,如下面进一步详细描述的,网络接口116可以允许移动机器人装置100经由一个或多个本地、广域或其它通信网络与其它计算机通信。移动机器人装置可以经由网络接口向远程用户装置传输数据,包括来自传感器的数据和/或图像以及根据麦克风所捕获的声音生成的音频信号等。
许多其它装置或组件(未示出)可以以类似的方式连接。相反,不需要存在图12中所示的所有组件来实施本公开内容。组件可以以与所示的方式不同的方式进行互连。用于实现本公开内容的代码可以存储在诸如存储器118、固定存储装置120中的一个或多个等的计算机可读存储介质中,或者存储在远程存储位置上。
图13示出根据所公开主题的实现的示例网络布置。上述移动机器人装置100和/或类似的移动机器人装置200可以经由网络130连接到其它装置。网络130可以是局域网、广域网、因特网或者任何其它合适的通信网络,并且可以在包括有线和/或无线网络的任何合适的平台上实现。移动机器人装置100和/或移动机器人装置200可以彼此通信,和/或可以与一个或多个远程装置(诸如服务器140、数据库150、远程平台160、远程用户装置170和/或远程用户装置180等)通信。远程用户装置170可以是上述的第一用户装置,并且远程用户装置180可以是上述的一个或多个其它用户装置。移动机器人装置100、200可直接访问远程装置,或者一个或多个其它装置可以提供中间访问(诸如服务器140提供对存储在数据库150中的资源的访问等)。移动机器人装置100、200可以访问远程平台160或由远程平台160提供的服务(诸如云计算布置和服务等)。远程平台160可以包括一个或多个服务器140和/或数据库150。远程用户装置170、180可以经由网络130控制移动机器人装置100、200,和/或接收传感器数据、一个或多个图像以及音频信号等。远程用户装置170、180可以向移动机器人装置100、200传输一个或多个图像、视频、命令以及音频信号等。
更一般而言,本公开主题的各种实现可以包括计算机实现的处理和用于实践这些处理的设备,或以计算机实现的处理和用于实践这些处理的设备的形式来实施。实现还可以以计算机程序产品的形式实施,该计算机程序产品具有计算机程序代码,该计算机程序代码包含被包括在非暂时性和/或有形介质(诸如固态驱动器、DVD、CD-ROM、硬盘驱动器、USB(通用串行总线)驱动器或任何其它机器可读存储介质等)中的指令,使得当计算机程序代码被加载到计算机中并由计算机执行时,计算机成为用于实施所公开主题的实现的设备。实现也可以以计算机程序代码的形式实施,例如,该计算机程序代码无论是存储在存储介质中、被加载到计算机中和/或由计算机执行,或者是通过一些传输介质(诸如通过电线或电缆、通过光纤或经由电磁辐射等)传输,都使得当计算机程序代码被加载到计算机中并由计算机执行时,计算机成为用于实践所公开主题的实现的设备。当在通用微处理器上实现时,计算机程序代码段将微处理器配置为创建特定逻辑电路。
在一些配置中,存储在计算机可读存储介质上的计算机可读指令集可以由通用处理器实现,这可以将通用处理器或包含通用处理器的装置转换为被配置成实现或执行指令的专用装置。实现可以包括使用具有处理器(诸如通用微处理器和/或专用集成电路(ASIC)等)的硬件,该处理器在硬件和/或固件中实施根据所公开主题的实现的全部技术或部分技术。处理器可以耦接到存储器(诸如RAM、ROM、闪速存储器、硬盘或能够存储电子信息的任何其它装置等)。存储器可以存储适于由处理器执行的指令以进行根据所公开主题的实现的技术。
出于说明的目的,已经参考特定实现描述了前面的说明。然而,上述例示性讨论不意在穷举或将所公开主题的实现限制到所公开的精确形式。鉴于上述教导,许多修改和变形是可能的。选择和描述这些实现是为了说明所公开主题的实现的原理及其实际应用,从而使得本领域其他技术人员能够利用这些实现以及具有各种修改的各种实现,以能够适合于所设想的特定用途。

Claims (17)

1.一种控制移动机器人装置的方法,包括:
在移动机器人装置的通信接口、触摸接口、麦克风或输入装置处接收命令;
基于所述命令,并且基于从所述移动机器人装置的一个或多个传感器接收到的输入,在所述移动机器人装置的处理器处控制驱动系统以跟随人或引导人;以及
基于来自所述处理器能够访问的存储器中所存储的决策树的至少一个预定条件,在所述移动机器人装置的处理器处控制所述驱动系统以停止跟随或引导人。
2.根据权利要求1所述的方法,其中,所述预定条件是从如下的组中选择的,该组包括:人进入所述一个或多个传感器所检测到的限制区域;人进入所述一个或多个传感器所检测到的指定房间;人进入所述一个或多个传感器所检测到的指定禁区;所述移动机器人装置遇到所述一个或多个传感器所检测到的虚拟围栏;以及人已经到达期望位置。
3.根据权利要求1所述的方法,还包括:
在所述移动机器人装置处接收从如下的组中选择的一个或多个参数,该组包括:跟随人的距离、以及用于移动机器人在旁边跟随人的该人的侧;以及
基于所接收到的一个或多个参数,在所述处理器处控制所述移动机器人装置的移动。
4.根据权利要求1所述的方法,还包括:
在所述移动机器人装置处接收文化操作模式的选择;以及
基于所接收到的文化操作模式,在所述处理器处控制所述移动机器人装置的移动。
5.根据权利要求4所述的方法,其中,所述文化操作模式包括从如下的组中选择的一个或多个参数,该组包括:命令的语言、跟随人的距离、以及在旁边跟随人的侧。
6.根据权利要求1所述的方法,还包括:
在所述移动机器人装置的通信接口、触摸接口或麦克风处接收人正行进到的终点位置;以及
基于所述终点位置,并且基于所述一个或多个传感器的输出,在所述处理器处控制所述驱动系统以移动所述移动机器人装置。
7.根据权利要求6所述的方法,其中,所述通信接口接收用于人的日程表条目,所述日程表条目包括人的约会的终点位置,以及其中,所述处理器对所述驱动系统进行控制以将所述移动机器人装置移动到来自所接收到的日程表条目的终点位置。
8.根据权利要求1所述的方法,还包括:
在所述移动机器人装置的通信接口处接收对要查找的移动机器人装置的请求;以及
基于来自所述一个或多个传感器的数据,在所述通信接口处传输所述移动机器人装置的位置。
9.根据权利要求8所述的方法,还包括:
基于从如下的组中选择的至少一者来确定所述移动机器人装置的位置,该组包括:存储在所述移动机器人装置的存储器中的地图上的位置、来自所述移动机器人装置的一个或多个传感器的传感器数据、所存储的所述移动机器人装置的最终目的地、以及通信接口从通信网络的中断的日志。
10.根据权利要求1所述的方法,还包括:
基于所述移动机器人装置的一个或多个传感器所捕获的图像,在所述移动机器人装置的处理器处确定人是否需要引导;
基于该确定,经由扬声器或用户接口输出用于引导的询问;以及
基于所接收到的命令,在所述处理器处控制所述移动机器人装置的移动以引导人。
11.根据权利要求1所述的方法,还包括:
基于所述移动机器人装置的麦克风所捕获的音频,在所述移动机器人装置的处理器处确定人是否需要帮助;以及
基于该确定,在所述处理器处控制所述移动机器人装置的移动或者经由用户接口或扬声器输出信息以帮助人。
12.根据权利要求1所述的方法,还包括:
在所述移动机器人装置的通信接口或麦克风处接收用于为人查找物体或位置的命令;以及
使用来自如下的组中的至少一者,在所述处理器处控制所述移动机器人装置的移动以查找物体或位置,该组包括:所述处理器能够访问的存储器中所存储的地图、以及来自所述一个或多个传感器的数据。
13.根据权利要求1所述的方法,还包括:
基于经由所述通信接口所接收到的路线、或者通信地耦接到所述处理器的存储装置中所存储的路线,在所述处理器处控制所述驱动系统以移动所述移动机器人装置。
14.根据权利要求1所述的方法,还包括:
基于经由所述通信接口接收到的命令,在所述移动机器人装置的处理器处控制所述驱动系统以移动到预定区域中的位置以会见和引导人。
15.根据权利要求1所述的方法,还包括:
使用所述一个或多个传感器,在所述处理器处识别人;以及
在所述移动机器人装置正跟随或引导人的情况下,使用所述一个或多个传感器跟踪所识别到的人的移动。
16.根据权利要求15所述的方法,还包括:
在所述移动机器人装置不能跟踪人的移动的情况下,在所述处理器处外推人的移动;以及
基于所外推的人的移动,使用所述一个或多个传感器检测人的位置。
17.根据权利要求16所述的方法,还包括:
基于通信地耦接到所述处理器的存储装置中所存储的路线、或者经由所述通信接口所接收到的路线,在所述处理器处控制所述驱动系统和所述一个或多个传感器以搜索人。
CN202110381538.1A 2021-03-15 2021-04-09 控制移动机器人装置的方法 Pending CN115079685A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/202,141 2021-03-15
US17/202,141 US20220288778A1 (en) 2021-03-15 2021-03-15 Methods of controlling a mobile robot device to follow or guide a person

Publications (1)

Publication Number Publication Date
CN115079685A true CN115079685A (zh) 2022-09-20

Family

ID=75223138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381538.1A Pending CN115079685A (zh) 2021-03-15 2021-04-09 控制移动机器人装置的方法

Country Status (4)

Country Link
US (1) US20220288778A1 (zh)
EP (1) EP4060448A1 (zh)
CN (1) CN115079685A (zh)
TW (1) TW202237349A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12047833B2 (en) * 2022-02-25 2024-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for connection handover from telepresence robot to mobile office

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150294496A1 (en) * 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
US9945677B1 (en) * 2015-07-23 2018-04-17 X Development Llc Automated lane and route network discovery for robotic actors
US10197999B2 (en) * 2015-10-16 2019-02-05 Lemmings, Llc Robotic golf caddy
JP2019003360A (ja) * 2017-06-14 2019-01-10 大日本印刷株式会社 案内ロボット、席管理装置及びプログラム
WO2019004633A1 (ko) * 2017-06-30 2019-01-03 엘지전자 주식회사 이동 로봇의 동작 방법 및 이동 로봇
US11422565B1 (en) * 2017-08-18 2022-08-23 Amazon Technologies, Inc. System for robot movement that is informed by cultural conventions
KR20210099217A (ko) * 2019-01-03 2021-08-12 엘지전자 주식회사 로봇 시스템의 제어 방법
JP7133497B2 (ja) * 2019-03-05 2022-09-08 株式会社日立製作所 移動範囲設定システム及び移動範囲設定方法
US20210382477A1 (en) * 2019-06-10 2021-12-09 Lg Electronics Inc. Method of managing intelligent robot device
KR102302239B1 (ko) * 2019-07-18 2021-09-14 엘지전자 주식회사 이동 제한 구역에서 카트로봇을 제어하는 방법 및 이를 구현하는 카트로봇
CN110368275A (zh) * 2019-08-12 2019-10-25 广州大学 一种导盲机器人及导盲系统、导盲方法
US11209832B2 (en) * 2019-08-18 2021-12-28 Cobalt Robotics Inc. Elevator interactions by mobile robot
KR102618732B1 (ko) * 2019-08-27 2023-12-27 엘지전자 주식회사 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법
JP7234895B2 (ja) * 2019-10-15 2023-03-08 トヨタ自動車株式会社 ロボット利用システム
CN110926476B (zh) * 2019-12-04 2023-09-01 三星电子(中国)研发中心 一种智能机器人的伴随服务方法及装置
US11842323B2 (en) * 2020-03-27 2023-12-12 Aristocrat Technologies, Inc. Gaming services automation machine with data collection and diagnostics services
JP2022030594A (ja) * 2020-08-07 2022-02-18 本田技研工業株式会社 管理装置、管理システム、管理方法、およびプログラム

Also Published As

Publication number Publication date
TW202237349A (zh) 2022-10-01
EP4060448A1 (en) 2022-09-21
US20220288778A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US9796093B2 (en) Customer service robot and related systems and methods
JP6705465B2 (ja) 可観測性グリッドベースの自律的環境探索
AU2021203701B2 (en) Recognizing assigned passengers for autonomous vehicles
US9294873B1 (en) Enhanced guidance for electronic devices using objects within in a particular area
US20210138654A1 (en) Robot and method for controlling the same
US20210097852A1 (en) Moving robot
KR20170122092A (ko) 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법
US11886184B2 (en) Navigating an autonomous vehicle based upon an image from a mobile computing device
US20210323581A1 (en) Mobile artificial intelligence robot and method of controlling the same
JP7095220B2 (ja) ロボット制御システム
US11520033B2 (en) Techniques for determining a location of a mobile object
US12085951B2 (en) Method of updating map in fusion SLAM and robot implementing same
US11182922B2 (en) AI apparatus and method for determining location of user
KR20230051412A (ko) 차량을 찾고 액세스하기 위한 기술
CN115079685A (zh) 控制移动机器人装置的方法
US11772603B2 (en) Passenger authentication and entry for autonomous vehicles
WO2021057886A1 (zh) 基于光通信装置的导航方法、系统、设备及介质
KR20190095194A (ko) 사용자의 동선을 결정하는 인공 지능 장치 및 그 방법
KR20190095190A (ko) 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법
US11379783B2 (en) Package storage system and method of controlling same
JP7103841B2 (ja) 案内システム及び案内用ロボット
US20240255285A1 (en) Systems and methods of lift to find augmented reality guidance
WO2022121606A1 (zh) 用于获得场景中的设备或其用户的标识信息的方法和系统
Plikynas Indoor visual mapping and navigation for blind people

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination