CN112105485B - 为移动机器人提供危险检测和控制的装置、系统和方法 - Google Patents
为移动机器人提供危险检测和控制的装置、系统和方法 Download PDFInfo
- Publication number
- CN112105485B CN112105485B CN201980028878.7A CN201980028878A CN112105485B CN 112105485 B CN112105485 B CN 112105485B CN 201980028878 A CN201980028878 A CN 201980028878A CN 112105485 B CN112105485 B CN 112105485B
- Authority
- CN
- China
- Prior art keywords
- control system
- robot
- navigation path
- action
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title abstract description 24
- 238000001514 detection method Methods 0.000 title abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 30
- 231100001261 hazardous Toxicity 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims description 14
- 230000006378 damage Effects 0.000 claims description 13
- 208000027418 Wounds and injury Diseases 0.000 claims description 10
- 208000014674 injury Diseases 0.000 claims description 10
- 230000002265 prevention Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
- B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种能够提供自主移动机器人危险检测和控制系统的装置、系统和方法。该装置、系统和方法可以包括：机器人，具有机器人主体；多个传感器，其与所述机器人主体物理地相关联，并且能够检测操作环境中的危险状况；以及至少一个处理系统，其至少部分地与机器人主体物理地相关联并且通信地连接到多个传感器。所述至少一个处理系统可以包括非暂时性计算代码，当由所述至少一个处理系统的处理器执行时，所述非暂时性计算代码使得发生以下步骤：映射机器人要行进的导航路径；基于来自所述多个传感器的输出，检测沿所述导航路径的所述危险状况；以及指示机器人除了遵循导航路径之外的至少一个动作，其中该至少一个动作至少部分地解决危险状况。
Description
相关申请的交叉引用
本申请要求享有2018年3月30日提交的名为“为移动机器人提供危险检测和控制的装置、系统和方法(APPARATUS,SYSTEM,AND METHOD OF PROVIDING HAZARD DETECTIONAND CONTROL FOR A MOBILE ROBOT)”的美国临时申请62/650,545的优先权的权益，其全部内容如被阐述的一样通过引用结合于此。
背景技术
技术领域
本公开一般涉及机器人技术，并且更具体地涉及为移动机器人提供危险检测和控制的装置、系统和方法。
背景技术
在任何存在行人的环境中，都存在由于行走表面上的异物而使行人受到人身伤害的风险。该行走表面可以是室内或室外。在室内或室外环境中，当发生对行人的上述伤害之一时，成本可能是巨大的。这样的成本可以包括时间成本，诸如错过的活动或工作时间，以及由受伤方在试图康复时产生的实际医疗成本，并且另外可以包括诸如对发生伤害的环境的所有者的责任成本。实际上，在邀请上述提及的行人行走的室内环境中，例如在销售货物的零售环境中，发生的责任成本可能是最巨大的。
实际上，每年，在某些零售环境中发生的最巨大的成本之一可以包括发生行人伤害的责任成本；如果发生伤害，则保护所处环境的保险成本；以及防止发生这种伤害的预防性费用。许多零售环境还选择花费其他大量额外成本来改善零售环境中的购物体验。例如，一些零售环境现在花费大量开支来购买自主移动机器人，诸如用于补充存货、安全、安保、客户帮助、遗失预防等。
然而，显然，旨在提供购物者安全以免行走危险的支出和旨在改善购物体验的支出，如果综合起来，可能会产生一笔必须由零售提供者承担的过高成本。然而，对于零售环境提供商而言，通常情况下，上述两项巨大成本在目前仍然没有关联。
发明内容
本公开是并且包括至少一种能够提供自主移动机器人危险检测和控制系统的装置、系统和方法。该装置、系统和方法可以包括：机器人，具有机器人主体；多个传感器，其与所述机器人主体物理地相关联，并且能够检测操作环境中的危险状况；以及至少一个处理系统，其至少部分地与机器人主体物理地相关联并且通信地连接到多个传感器。所述至少一个处理系统可以包括非暂时性计算代码，当由所述至少一个处理系统的处理器执行时，所述非暂时性计算代码使得发生以下步骤：映射机器人要行进的导航路径；基于来自所述多个传感器的输出检测沿所述导航路径的所述危险状况；以及指示机器人除了遵循所述导航路径之外的至少一个动作，其中该至少一个动作至少部分地解决危险状况。
附图说明
本公开通过示例的方式而非限制的方式在附图中示出，其中，相同的附图标记指示类似的元件，并且其中：
图1示出了本公开的一个方面；
图2示出了本公开的一个方面；
图3示出了本公开的一个方面；
图4示出了本公开的一个方面；
图5示出了本公开的一个方面；
图6示出了本公开的一个方面；以及
图7示出了本公开的一个方面。
具体实施方式
本文提供的附图和描述可能已经被简化以说明与清楚理解本文描述的装置、系统和方法相关的方面，同时为了清楚起见，消除了可以在典型的类似装置、系统和方法中发现的其它方面。本领域的普通技术人员可以认识到，其它元件和/或操作对于实现本文所述的设备、系统和方法可能是期望的和/或必要的。但是因为这样的元件和操作在本领域中是公知的，并且因为它们不促进对本公开的更好理解，所以在此可能不提供对这样的元件和操作的讨论。然而，本公开被认为固有地包括本领域普通技术人员将已知的对所描述的方面的所有这样的元件、变化和修改。
本文所使用的术语仅用于描述特定实例实施例的目的，且不希望为限制性的。例如，如本文所用，单数形式“一”、“一个”和“该”也可旨在包括复数形式，除非上下文另外清楚地指明。术语“包括”、“包含”、“含有”和“具有”是包含性的，因此指定了所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。除非明确地确定为执行顺序，否则这里描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或示出的特定顺序执行。还应当理解，可以采用附加的或替代的步骤。
当元件或层被称为在另一元件或层“上”、“接合到”、“连接到”或“耦接到”另一元件或层时，其可以直接在另一元件或层上、直接接合到、直接连接到或直接耦接到另一元件或层，或者可以存在中间元件或层。相反，当元件被称为“直接在另一元件或层上”、“直接接合到”、“直接连接到”或“直接耦接到”另一元件或层时，可以不存在中间元件或层。用于描述元件之间的关系的其他词语应当以类似的方式解释(例如，“之间”对“直接之间”、“相邻”对“直接相邻”等)。如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
尽管术语第一、第二、第三等可以在这里用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应当受这些术语限制。这些术语仅用于将一个元件、部件、区域、层或部分与另一个元件、部件、区域、层或部分区分开。也就是说，除非上下文清楚地指出，否则诸如“第一”、“第二”和其它数字术语的术语在本文使用时不暗示顺序或次序。因此，在不脱离示例性实施例的教导的情况下，下面讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分。
本文公开了处理器实现的模块、系统和使用方法，其可以提供对多种类型的数字内容的访问和转换，所述多种类型的数字内容包括但不限于视频、图像、文本、音频、元数据、算法、交互和文档内容，并且其跟踪、递送、操纵、转换和报告所访问的内容。这些模块、系统和方法的所述实施例旨在是示例性的而非限制性的。因此，可以设想，本文所述的系统和方法可以被修改并且可以被扩展以提供对所述的示例性模块、系统和方法的扩展和/或添加。因此，本公开旨在包括所有这样的扩展。
实施例解决了零售环境中防止行人伤害的巨大成本，以及出于各种原因例如以改善消费者的零售体验，所提供移动机器人技术的巨大成本。即，实施例使用移动机器人技术，其可以专用于零售环境安全，或者其可以出于除了损伤预防之外的原因而存在于零售环境中，诸如出于安全、补货、库存跟踪、购买建议、遗失预防等，以帮助防止零售环境内的行人损伤。
更具体地，在实施例中，自主移动机器人可以检测紧急状况，并且可以相应地执行一个或多个动作，诸如向人员示警紧急状况，其中一个或多个动作有助于防止源于紧急状况的行人损伤。如本文通篇所使用的，紧急状况可包括简单的危险，作为非限制性示例，例如溢出、屋顶泄漏或瓶破损，或更显著的危险，例如部分屋顶或地板坍塌、搁架倾翻或在一区域内操作的机器，例如叉车。
此外，并且通过非限制性示例，机器人可以不仅仅采取一个动作，而是可以采取多个动作的组合，诸如前往紧急状况的位置并且保持在那里直到问题被解决，或者直到机器人已经被自动或手动地解除以返回到正常活动。当然，当处于紧急状况的位置时，其它动作也可包括示警行人紧急状况的存在，使得行人可避免伤害，作为非限制性示例，例如通过使用光、声音或其组合。由机器人采取的第一和后续动作可以被键入一个或多个触发的事件，并且因此可以根据来自至少部分地控制机器人的一个或多个处理系统的指示而变化。
更具体地，图1是示出用于由自主移动机器人执行的损伤预防工作流程方法100的流程图，诸如可以由至少部分地装载在机器人上的处理系统执行。在步骤101，机器人可以遵循预定路径，诸如围绕零售环境，诸如先前可能已经诸如经由上传到处理系统的数据提供给机器人，并且这帮助机器人执行其规定的功能。作为非限制性示例，图2示出了在特定零售环境中提供路径202和障碍204的地图200的数据的视觉表示。在由实施例的移动机器人的处理系统312处理地图200时，地图可以至少部分地允许机器人自主导航以执行其规定的功能。
更具体地并且关于图2，地图中指示的较暗区域可以表示机器人沿着其规划路径的感兴趣的对象或区域，诸如障碍物204。举例来说，这种感兴趣区域可以包括阻碍运动的货架，但是其还包括要由机器人监控或重新储存的产品；结帐通道或收银机；环境内的永久静态障碍物；等等。相反，图2中所示的白色区域可以表示开放的地板区域202，诸如可以在没有诸如行人的动态障碍物的侵入的情况下容易地被移动机器人穿过。
值得注意的是，可以使移动机器人沿着开放式地板路径区域202遵循随机路径，如图2中的示例所示，或者可以设置有一致的预定路径，机器人应当在由机器人的处理系统312执行表示该路径的数据时沿着该路径导航。此外，需要理解的是，诸如在动态障碍侵入路径202的前述情况下，处理系统可以包括在这样的情况下由机器人承担的附加动作。
更具体地，图3示出了具有用于通过移动机器人在地图300上导航的路径规划302的附加示例性地图300。将理解的是，地图300上的障碍物304周围的路径规划线路302表示机器人的路径，并且沿着路径302的区块306中的一些区块可以图示机器人可以执行其规定的功能(诸如出于安全或遗失预防目的拍摄照片，或者沿着开放通道308拍摄用于危险检测的照片)的位置。
应当注意，数据可以由机器人在沿着其规划路径302的这些功能点306处获得，以便使得机器人能够执行其规定的功能。作为非限制性示例，在沿着路径302的每个区块位置306处，机器人可以通过诸如传感器、相机等感测其沿着空间轴(X、Y、Z)的位置和/或其在空间中的取向(即，作用、俯仰、偏转)。即，当机器人经过其规划路径302时，或者在沿着路径302的停止点306处，或者在这两者处，机器人可以评估各种数据点，诸如机器人的移动的上述六个自由度，并且可以将该数据馈送到处理系统312，诸如以允许执行根据图1的示例的方法，当然，机器人可以取得和/或感测各种其他数据点，诸如温度、光级、振动级等，并且此外，机器人可以获得与机器人的位置或操作特定地无关但是与其规定的功能有关的数据，诸如空货架空间、通道中的人数、对推车中的尚未购买的物品的标识(诸如RFID)的检测等。
现在返回到图1的示例性方法100，机器人可以在图3的地图上示出的停止点306处或者在由路径规划指示的其他位置处执行诸如危险检测的功能，诸如通过拍摄一张或多张图片、或者摄谱或红外评估。该信息可以被馈送到处理系统312，例如机载、部分机载或机外的机器人处理系统，以用于分析。作为非限制性示例，在步骤102获得的数据可以被提供给一个或多个机载应用程序490或云中的机外应用程序，以用于分析，诸如图像分析或光谱或红外分析。简而言之，在步骤102，可以出于危险检测的目的而获得数据，该数据可以是除了由机器人在执行所规定功能时获得的数据之外的数据，并且将该数据提供给处理系统312以供机器人机载、部分机外或机外的一个或多个应用程序使用，以分析用于危险检测的数据。
图4示出了诸如可以在图1的步骤102执行的危险数据的获得的示例性实施例。在该图示中，机器人500上装有的诸如相机的传感器170向机器人提供沿着零售环境中的开放区域的地板的一个或多个区域的视场502、504。值得注意的是，单个相机可以提供给定的视场，而可以诸如以重叠的方式采用相机阵列170a、170b、…来提供视场。因此，将理解的是，根据本公开，传感器阵列或单个传感器可用于执行步骤102的危险检测。将了解，危险检测可能需要由所引用的应用程序490(见图7)进行进一步传感器数据处理，例如其中经由来自相机阵列170a、170b的多个图像检测危险，但所述多个图像必须由应用程序490重叠以便评估危险状况的程度。
现在回到图1的方法，应用程序490可以分析所接收的传感器输出170，并且可以使用该信息来检测一个或多个危险状况。根据实施例，应用程序490可以接收除了由传感器170提供的数据之外的其他数据，诸如机器人在导航地图300上的位置、如上所述机器人相对于其六个自由度的物理位置等等。这可以进一步实现紧急状况及其在零售环境内的位置的精确检测和评估。此外，根据该步骤103，如果检测到危险，则应用程序490可以向机器人提供紧急通知，诸如可以包括要由机器人采取的动作或附加动作，诸如更新机器人的位置以阻挡或以其他方式向行人指示危险的存在、由机器人对诸如光或声音的前述警报的致动等。
图5是提供在其上检测和定位危险状况的地图600的数据的视觉表示。更具体地说，图5中的“X”表示紧急位置的存在。带圆圈的“1”指示机器人沿着其规划路径602的感测位置601，在该处，由数据表示的图像集合被上传到包含危险状况的图像的应用程序490。
如上文关于步骤103所提及的，基于由机器人产生的数据内的圆和“X”，应用程序490可选择机器人应采取什么动作；或者这些动作可以基于由机器人获得的数据内的触发的存在而预先存储在机器人处。作为动作的示例，机器人可以首先被送回到生成指示紧急状况的图片的位置。这由图5的圆圈内的停止点区块604A指示。
另外且替代地，通过对所接收数据的更细化分析，应用程序490可向机器人提供移动到更靠近危险的位置的动作。作为示例，在相机感测机器人的实施例中，应用程序490可以了解阵列中的每个相机的视场的固有几何形状，并且由此可以使得能够基于诸如相机之间的视场的重叠来评估紧急状况存在的高度精确的位置。举例来说，图5中的位置数字“2”可指示视场中的相机之间的重叠(以图4的相机阵列的实例的方式展示)定位危险(由图6中的虚线视场展示)的第一位置。因此，由于应用程序490可将此评估为近似危险状况的位置的阈值，且指示给机器人的对应动作可接着移动到由图5中的位置数字“2”指示的位置。
当然，由应用程序490从传感器170接收的数据可允许比上文刚刚提及的分析更精细的分析。更特别地，传感器可以使得应用程序490能够确定危险状况在路径规划地图600上的非常高精度的位置。使用该信息，应用程序490可例如基于接收170的传感器数据计算存在危险状况的非常精确的位置，传感器数据例如可包括来自相机或相机阵列的一个或多个图像的固有属性。应用程序490的此计算由图5中的位置数字“3”表示。当然，在例如机器人将完全阻挡危险状况使得行人无法遇到危险状况的情况下，应用程序可向机器人指示机器人在位置数字“3”处重新定位。
现在返回到图1的实施例，在步骤104，应用程序490已经通知机器人紧急场景和/或机器人将要承担的新位置。另外，机器人可以被提供有附加的指令以解决紧急状况。举例来说，机器人可由应用程序490及/或由其预存储的处理系统312响应于触发而提供要执行的多个动作，以便保护行人免受危险状况的影响且通知人员对危险状况进行必要的处理。
例如，在步骤104和105，机器人可以被指示改变其导航路径以移动到由应用程序490指示的位置，如上所述。另外，机器人可以通过诸如一个或多个网络通信(例如通过因特网)提供通知至诸如店内人员或者外部人员。步骤104和105处的这种通知可以包括经由各种通信手段(例如通过电子邮件)向一个或多个移动设备发送存在危险状况的一个或多个消息。不用说，可能期望在这样的通信中出现冗余，使得在实施例中诸如经由电子邮件和移动通信自动联系属于多个人员的多个设备，并且诸如要求对于所有紧急状况或者仅在给定紧急状况出现时由应用程序490联系诸如店内和店外的多种类型的人员。
此外，在步骤104和105处可以指导和采取其他动作，诸如经由机载有线或无线通信，诸如通过将消息发布到内部公共广播系统；通过与机器人相关联的光或声音的致动；和/或由用作公共广播系统的机器人本身来提供，例如通过提供预先记录的例如可以基于所感测的危险状况)消息(。其它动作可包括来自应用程序490的指令和/或来自连接到处理系统312的一个或多个外部位置的指令。这些远程指令可以通过或可以不通过应用程序490提供，并且可以通过或可以不通过无线方式到达机器人。
如在步骤105进一步示出的，机器人可以采取一个或多个动作，诸如以上指示的那些动作，如在步骤104由应用程序490(和/或远程监视器)的分析所指示的。作为非限制性示例，例如，在执行动作时，机器人可以占据由应用程序所指示的新位置；可以闪光、播放声音和/或可以播放警告消息；可以无线地向所述店内公共广播系统提供消息，以允许播放通告存在所述危险状况的声音消息；和/或可以通知店内或店外的人员危险状况的存在。当然，基于本文的讨论，将理解的是，各种其他动作可以由机器人在应用程序490的指令下和/或基于店外或店内人员的指令来采取，并且本公开不限于本文提供的示例。
在步骤106，机器人已经成功地采取其动作，并且可以相应地自动将其自身释放到正常运行，诸如在预定时间段之后或者根据感测到不同的状况(诸如未存在先前的紧急状况)；或者可以手动地释放到其正常运行，例如通过从店内或店外人员手动指示机器人危险情况的解决。在任一情况下，诸如在执行所有指示的动作之后，机器人可以沿着其规划路径重新正常运行以用于执行其规定的功能，诸如图3中所示的示例性路径。
图6以非限制性范例的方式显示适合根据本公开的实施例操作的机器人500。更具体地，且如图所示，机器人500包括在其主体704中的一或多个轮子702，其适用于使机器人500绕其平面路径移动；一个或多个传感器170，诸如相机，其适用于机器人执行其规定的功能，并且感测危险状况；以及一个或多个处理系统312，诸如可以包括与外部网络环境的无线通信，以允许应用程序执行如本文所述的其功能。
图7通过非限制性示例的方式描绘了用于与实施例相关联地使用的示例性计算机处理系统312。处理系统312能够执行软件，例如操作系统(OS)和一个或多个计算算法/应用程序490，例如用于处理从贯穿全文讨论的传感器170接收的输入的那些。示例性处理系统312的操作主要由这些计算机可读指令/代码490来控制，诸如存储在诸如硬盘驱动器(HDD)415计算机可读存储介质、诸如CD或DVD等光盘(未示出)、诸如USB“拇指驱动器”等固态驱动器(未示出)等中的指令。这些指令可以在中央处理单元(CPU)410内执行，以使系统312执行所公开的操作、比较和导航计算。在许多已知的计算机服务器、工作站、个人计算机等中，CPU 410在称为处理器的集成电路中实现。
应当理解，尽管示例性处理系统312被示为包括单个CPU 410，但是这样的描述仅仅是说明性的，因为处理系统312可以包括多个CPU 410。另外，系统312可以通过通信网络470或一些其它数据通信装置480来利用远程CPU(未示出)的资源，如上所述。
在操作中，CPU 410从计算机可读存储介质如HDD 415中取出、解码和执行指令。这样的指令可以包括在诸如操作系统(OS)、可执行程序/应用490等的软件中。诸如计算机指令和其它计算机可读数据的信息经由系统的主数据传输路径在系统312的组件之间传输。主数据传输路径可以使用系统总线架构405，尽管可以使用其他计算机架构(未示出)。
作为示例，耦接到系统总线405的存储器设备可包括随机存取存储器(RAM)425和/或只读存储器(ROM)430。这种存储器包括允许存储和检索信息的电路。ROM 430通常包含不能被修改的存储数据。存储在RAM 425中的数据可以由CPU 410或其他硬件设备读取或改变。对RAM 425和/或ROM430的访问可以由存储控制器420控制。
另外，处理系统312可以包含外围通信控制器和总线435，其负责将指令从CPU 410传送到外围设备和/或从外围设备接收数据，所述外围设备诸如外围设备440、445和450，其可以包括打印机、键盘和/或本文通篇讨论的元件。外围总线的一个例子是相关领域中公知的外围部件互连(PCI)总线。
由显示控制器455控制的显示器460可以用于响应于上述计算程序/应用程序490的操作，显示由处理系统312生成或应其请求而生成的视觉输出和/或呈现数据。这样的视觉输出可以包括例如文本、图形、动画图形和/或视频。显示器460可以用基于CRT的视频显示器、基于LCD或LED的显示器、基于气体等离子体的平板显示器、触摸面板显示器等来实现。显示控制器455包括产生发送到显示器460的视频信号所需的电子组件。
此外，处理系统312可以包含网络适配器465，其可以用于耦接到外部通信网络470，其可以包括或提供对因特网、内联网、外联网等的访问。通信网络470可以利用电子地通信和传送软件和信息的装置来为处理系统312提供访问。另外，通信网络470可以提供分布式处理，其涉及若干计算机以及在执行任务时的工作负载或协作工作的共享，如上所述。网络适配器465可以使用任何可用的有线或无线技术与网络470进行通信。作为非限制性示例，这样的技术可以包括蜂窝、Wi-Fi、蓝牙、红外等。
在上述详细描述中，可以看出，为了本公开的清楚和简洁，各种特征被组合在单个实施例中。本公开的这种方法不应被解释为反映实施例需要比本文明确叙述的更多的特征的意图。相反，本公开将涵盖本领域技术人员根据本公开将理解的对所公开的实施例的所有变化和修改。
Claims (21)
1.一种自主移动机器人控制系统，包括：
机器人，具有机器人主体；
多个传感器，其与所述机器人主体物理地相关联，并且能够检测行人在操作环境中的各种危险状况；
至少一个处理系统，其至少部分地与所述机器人主体物理地相关联并且通信地连接到所述多个传感器，所述至少一个处理系统包括非暂时性计算代码，所述非暂时性计算代码在由所述至少一个处理系统的处理器执行时，使得发生以下步骤：
映射所述机器人要行进的导航路径；
在所述机器人沿着所述导航路径的每个区块位置处，基于来自所述多个传感器的输出，检测沿所述导航路径的所述危险状况；以及
指示所述机器人除了遵循所述导航路径之外的至少一个动作，其中所述至少一个动作至少部分地解决所述危险状况，以防止行人损伤。
2.根据权利要求1所述的控制系统，其中所述导航路径映射的目的不是感测危险状况。
3.根据权利要求2所述的控制系统，其中所述目的是从由安全、补货、库存跟踪、购买建议和遗失预防组成的组中选择的一者。
4.根据权利要求1所述的控制系统，其中所述至少一个动作包括返回到所述危险状况的地点。
5.根据权利要求4所述的控制系统，其中所述返回到所述地点进一步包括阻挡行人进入所述地点。
6.根据权利要求1所述的控制系统，其中所述至少一个动作包括示警。
7.根据权利要求6所述的控制系统，其中所述示警包括附近行人的示警。
8.根据权利要求7所述的控制系统，其中所述示警包括视觉示警。
9.根据权利要求8所述的控制系统，其中所述视觉示警包括闪光。
10.根据权利要求7所述的控制系统，其中所述示警包括声音警报。
11.根据权利要求6所述的控制系统，其中所述示警包括无线通信。
12.根据权利要求11所述的控制系统，其中所述无线通信是针对店内人员。
13.根据权利要求11所述的控制系统，其中所述无线通信是针对远程人员。
14.根据权利要求1所述的控制系统，其中所述危险状况是从由溢出、屋顶泄漏和瓶破损组成的组中选择的一者。
15.根据权利要求1所述的控制系统，其中所述危险状况是从由屋顶倒塌、地板坍塌、搁架倾翻或机器的出现组成的组中选择的一者。
16.根据权利要求1所述的控制系统，其中所述至少一个动作包括自动释放以返回到导航路径规划。
17.根据权利要求1所述的控制系统，其中所述导航路径规划包括多个预定的停止点和感测点。
18.根据权利要求1所述的控制系统，其中所述导航路径规划包括多个障碍物的位置。
19.根据权利要求1所述的控制系统，其中所述导航路径规划被随机化。
20.根据权利要求1所述的控制系统，其中所述至少一个动作包括动态避障。
21.根据权利要求1所述的控制系统，其中所述多个传感器中的至少一些包括相机。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862650545P | 2018-03-30 | 2018-03-30 | |
| US62/650,545 | 2018-03-30 | ||
| PCT/US2019/024867 WO2019191605A1 (en) | 2018-03-30 | 2019-03-29 | Apparatus, system, and method of providing hazard detection and control for a mobile robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112105485A CN112105485A (zh) | 2020-12-18 |
| CN112105485B true CN112105485B (zh) | 2024-02-20 |
Family
ID=68060876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980028878.7A Active CN112105485B (zh) | 2018-03-30 | 2019-03-29 | 为移动机器人提供危险检测和控制的装置、系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210124356A1 (zh) |
| EP (1) | EP3774199B1 (zh) |
| CN (1) | CN112105485B (zh) |
| WO (1) | WO2019191605A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114043472A (zh) * | 2021-09-15 | 2022-02-15 | 智能移动机器人(中山)研究院 | 一种用于化工厂的机器人安保系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160104953A (ko) * | 2015-02-27 | 2016-09-06 | 주식회사 인터컴 | 모드 변경 로봇 및 그 제어방법 |
| CN106003047A (zh) * | 2016-06-28 | 2016-10-12 | 北京光年无限科技有限公司 | 一种面向智能机器人的危险预警方法和装置 |
| CN206536514U (zh) * | 2017-01-16 | 2017-10-03 | 山东华力机电有限公司 | 搬运机器人安全保护装置 |
| CN107838927A (zh) * | 2017-10-25 | 2018-03-27 | 成都大学 | 一种无线智能环境监测机器人 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7403281B2 (en) * | 2004-05-07 | 2008-07-22 | University Of Wyoming | Raman spectrometer |
| US8355818B2 (en) * | 2009-09-03 | 2013-01-15 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
| US8626444B2 (en) * | 2009-03-16 | 2014-01-07 | The Hong Kong University Of Science And Technology | Safety based road map navigation |
| CN102782600B (zh) | 2009-11-27 | 2015-06-24 | 丰田自动车株式会社 | 自动移动体及其控制方法 |
| SG194552A1 (en) * | 2011-04-21 | 2013-12-30 | Massachusetts Inst Technology | Highly compact multi-optical-junction optical flowcell and flexibly deployable optical sensing assemblies and systems for in-situ real-time spectroscopic measurements |
| DK2807526T3 (da) * | 2012-01-25 | 2020-08-17 | Omron Robotics And Safety Technologies Inc | Selvstændig mobil robot til afvikling af opgavetildelinger i fysiske omgivelser med stationære og ikke-stationære hindringer |
| GB2529848B (en) * | 2014-09-03 | 2018-12-19 | Dyson Technology Ltd | A mobile robot |
| US10365646B1 (en) * | 2015-01-27 | 2019-07-30 | United Services Automobile Association (Usaa) | Systems and methods for unmanned vehicle management |
| JP6562736B2 (ja) * | 2015-06-29 | 2019-08-21 | シャープ株式会社 | 自律走行装置 |
| US9527217B1 (en) * | 2015-07-27 | 2016-12-27 | Westfield Labs Corporation | Robotic systems and methods |
| WO2017201486A1 (en) * | 2016-05-19 | 2017-11-23 | Simbe Robotics Inc. | Method for automatically generating waypoints for imaging shelves within a store |
| US10640117B2 (en) * | 2016-08-17 | 2020-05-05 | Allstate Insurance Company | Driving cues and coaching |
| AU2017315886B2 (en) * | 2016-08-26 | 2022-06-30 | Crown Equipment Corporation | Materials handling vehicle path validation and dynamic path modification |
| MX2020007114A (es) * | 2018-01-10 | 2020-12-09 | Simbe Robotics Inc | Método para detectar y responder a derrames y peligros. |
-
2019
- 2019-03-29 WO PCT/US2019/024867 patent/WO2019191605A1/en active Application Filing
- 2019-03-29 EP EP19774336.2A patent/EP3774199B1/en active Active
- 2019-03-29 CN CN201980028878.7A patent/CN112105485B/zh active Active
- 2019-03-30 US US17/044,018 patent/US20210124356A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160104953A (ko) * | 2015-02-27 | 2016-09-06 | 주식회사 인터컴 | 모드 변경 로봇 및 그 제어방법 |
| CN106003047A (zh) * | 2016-06-28 | 2016-10-12 | 北京光年无限科技有限公司 | 一种面向智能机器人的危险预警方法和装置 |
| CN206536514U (zh) * | 2017-01-16 | 2017-10-03 | 山东华力机电有限公司 | 搬运机器人安全保护装置 |
| CN107838927A (zh) * | 2017-10-25 | 2018-03-27 | 成都大学 | 一种无线智能环境监测机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019191605A1 (en) | 2019-10-03 |
| EP3774199A4 (en) | 2021-08-25 |
| EP3774199B1 (en) | 2024-03-27 |
| US20210124356A1 (en) | 2021-04-29 |
| CN112105485A (zh) | 2020-12-18 |
| EP3774199A1 (en) | 2021-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sathyamoorthy et al. | COVID surveillance robot: Monitoring social distancing constraints in indoor scenarios | |
| US10796545B2 (en) | Item movement tracking with three-dimensional (3D) proximity exclusions | |
| US10882692B1 (en) | Item replacement assistance | |
| US9796093B2 (en) | Customer service robot and related systems and methods | |
| US11568361B1 (en) | Merging events in interactive data processing systems | |
| US10867280B1 (en) | Interaction system using a wearable device | |
| JP6463804B2 (ja) | 物品の相互作用及び移動検出方法 | |
| US20180075403A1 (en) | Intelligent service robot and related systems and methods | |
| US11315073B1 (en) | Event aspect determination | |
| EP3549045A1 (en) | Intelligent service robot and related systems and methods | |
| US20200386568A1 (en) | Augmented Reality Directions Utilizing Physical Reference Markers | |
| JP2008191997A (ja) | 情報端末装置、店舗情報提供装置、店舗情報提供方法および店舗情報提供プログラム | |
| US11887046B1 (en) | Updating machine learning systems using previous output data | |
| CN112020688A (zh) | 使用深度评估进行自主机器人导航的装置、系统和方法 | |
| US10360528B2 (en) | Product delivery unloading assistance systems and methods | |
| CN109153124A (zh) | 移动系统的本地化 | |
| CN112105485B (zh) | 为移动机器人提供危险检测和控制的装置、系统和方法 | |
| US10055647B2 (en) | Method and system for monitoring logistics facilities | |
| US20170178474A1 (en) | Product-monitoring drone | |
| JP2013224196A (ja) | 倉庫保管物管理システム | |
| Ferguson et al. | mmwave radar: Enabling greater intelligent autonomy at the edge | |
| JP5875221B2 (ja) | 物体の管理方法及びその装置 | |
| JP7416219B2 (ja) | 映像配信装置、映像配信方法及びプログラム | |
| US20230230379A1 (en) | Safety compliance system and method | |
| De Simone et al. | Autonomous mobile robot for automatic out of stock detection in a supermarket |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |