CN115857437A - 用于评估自动化环境的系统和安全性引导机器人 - Google Patents
用于评估自动化环境的系统和安全性引导机器人 Download PDFInfo
- Publication number
- CN115857437A CN115857437A CN202211024074.XA CN202211024074A CN115857437A CN 115857437 A CN115857437 A CN 115857437A CN 202211024074 A CN202211024074 A CN 202211024074A CN 115857437 A CN115857437 A CN 115857437A
- Authority
- CN
- China
- Prior art keywords
- human
- autonomous
- environment
- sgr
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims description 74
- 230000033001 locomotion Effects 0.000 claims description 62
- 230000007613 environmental effect Effects 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 28
- 230000003542 behavioural effect Effects 0.000 claims description 15
- 230000006378 damage Effects 0.000 claims description 11
- 208000027418 Wounds and injury Diseases 0.000 claims description 10
- 208000014674 injury Diseases 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 22
- 239000003795 chemical substances by application Substances 0.000 description 155
- 230000006870 function Effects 0.000 description 26
- 238000012544 monitoring process Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 16
- 241000282412 Homo Species 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000760358 Enodes Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002968 autonomic agent Substances 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0289—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
-
- G05D1/617—
-
- G05D1/686—
-
- G05D1/6987—
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G05D2105/315—
-
- G05D2107/70—
-
- G05D2109/10—
Abstract
公开了用于促进路径规划安全引导机器人(SGR)在具有其他自主代理(诸如静止和/或移动机器人)的自主环境中安全导航和引导人类的技术。
Description
技术领域
本文描述的公开通常涉及自动化环境的访问协助,包括路径规划和由一个或多个自主代理的引导协助。
背景技术
机器人和自主移动平台(诸如自主移动机器人(Autonomous Mobile Robots,AMR)和/或自主引导交通工具(Autonomous Guided Vehicles,AGV))是工厂、仓库、医院以及其他工业和/或商业环境中的关键组件。自主移动平台共同实现感知和操纵,以通过在环境中导航来完成给定任务。AMR可以彼此进行通信和协调和/或可以与中央控制器进行通信和协调。机器人和自主移动平台可能为人类创造危险的环境,并且需要广泛的安全监测或将人类与活跃的自主环境隔离。
附图说明
结合到本文中并构成本说明书的一部分的附图图示本公开并且与说明书一起,并且进一步用于解释本公开的原理,并使相关领域的技术人员能够制造和使用本文所讨论的技术。
图1图示出根据本公开的利用自主移动机器人(AMR)的示例性环境的框图。
图2图示出根据本公开的示例性安全性引导机器人(safety guide robot,SGR)的框图。
图3图示出根据本公开的示例性自主移动机器人(AMR)的框图。
图4图示出根据本公开的示例性计算设备(控制器)的框图。
图5图示出根据本公开的示例性SGR系统和操作流程的框图。
图6图示出根据本公开的示例性环境模型的框图。
图7图示出根据本公开的环境模型中的安全和非安全区域。
将参考附图来描述本公开。其中要素第一次出现的附图通常由对应的附图标记中最左面的(一个或多个)数字指示。
具体实施方式
以下详细描述中对附图进行参考,附图通过图示方式示出了可在其中实施本公开的示例性细节。在下面的描述中,阐述了众多具体细节以便提供对本公开的完全理解。然而,对本领域技术人员将显而易见的是,可以在没有这些具体细节的情况下实施包括结构、系统和方法在内的各个设计。本文的描述和表示是由本领域的经验或技术人员使用来向本领域其他技术人员最有效地传达其工作的实质的通用手段。在其他实例中,未详细地描述公知的方法、过程、组件、和电路系统,以避免不必要地使本公开变得模糊。
机器人和自主环境需要安全监测和/或将人类与活跃的自主环境隔离,以减少或防止对进入环境和环境内机器人周围区域的人类的潜在伤害。为了减少或防止机器人-人类事故,传统系统解决了共享环境和单独的环境安排。在共享环境中,机器人必须了解其周围的人类,并且如果有碰撞风险,降低速度或者甚至停止操作。此外,工人可被训练以慎重对待机器人的工作区域。因此,机器人的成本增加了,因为需要通常具有增加成本的特殊安全要求的额外传感器以供感知人类,以及需要额外的安全功能。此外,未经训练的工人通常不被允许进入工作区域,或者必须由经训练的工人陪同。在单独的工作区域安排中,机器人环境与人类环境分离以防止机器人-人类的相互作用。虽然这些安排可能减少传感器的数量和对自主环境的监测,但当人类进入自主环境时,通常都需要关闭。
在没有人类在场的情况下,大型仓库或其他地点越来越多地以完全自主的配置工作。在此类情况下,用于监测人类的环境以确保人类在环境中安全的传感器数量减少,或者传感器被完全消除以降低成本。然而,这些配置需要整个场地或至少部分场地在人类在场时关闭(例如,用于维护工作),这降低了机器人的效率和设施的整体生产。
本公开提供了一个有利的解决方案以使用一个或多个安全引导机器人(SGR)解决人类在部分自主和完全自主环境中与自主代理(例如,机器人)的相互作用。图1图示出根据本公开的利用自主移动机器人(AMR)102和一个或多个安全引导机器人(SGR)115的示例性环境100。SGR 115被配置成用于陪同和引导一个或多个人类116安全通过环境100到达给定目的地。SGR 115可被配备有一个或多个传感器,该一个或多个传感器用于监测(一个或多个)人类115、在环境中100定位其自身、并与环境中的(一个或多个)人类115和/或一个或多个其他设备(诸如一个或多个其他SGR 115和/或(一个或多个)AMR 102)通信。例如,当人类进入包括AMR 102的工作区域的环境100(例如,具有活跃AMR的设施),SGR 115可以引导和/或限制人类在环境100内的移动和/或强制降低(一个或多个)AMR 102的速度和/或迫使一个或多个AMR 102停止操作。SGR 115有利地确保了人类的安全,同时减少了对AMR 102在环境中持续操作的影响,包括能够精细调整可能遇到人类的AMR 102的控制。
继续参考图1,环境100支持任意适当数量的AMR 102以及任意数量的SGR 115,其中三个AMR 102.1-102.3被示出以供方便解释,其中一个SGR115被示出以供方便解释。环境100可包括一个或多个传感器120,其被配置成用于监测环境100中SGR 115、AMR 102和/或人类116的位置和活动。例如,传感器120可包括无线电检测与测距(radar)、LIDAR、光学传感器、红外传感器、相机或其他传感器,将由本领域普通技术人员所理解。传感器可以与计算设备108(经由(一个或多个)接入点104)通信信息(传感器数据)。虽然出于简明的目的没有在图1中示出,但(一个或多个)传感器120可以附加地相互通信和/或与AMR 102和/或SGR115中的一个或多个通信。
环境100可以是使用AMR 102的任何合适类型的环境,诸如工厂、仓库、医院、办公楼等。AMR 102可以具有任何合适类型的设计和功能,以与网络基础设施的其他组件进行通信,如下文进一步所讨论。AMR 102可以自主地或半自主地操作,并被配置为在环境100内移动以完成特定任务的移动机器人。AMR 102中的一个或多个可替代地被配置为具有可移动组件(例如,可移动臂)以完成本地化任务的固定机器人。
AMR 102可以包括用于实现感测其周围环境和标识关于环境100的反馈的任何适当数量和/或类型的传感器。AMR 102可以进一步被配置有用于促进数据的传送和/或接收的任何合适数量和/或类型的无线无线电组件。例如,AMR 102可以(经由如图2中所示的收发器206)传送指示环境100内正被执行的当前任务、位置、定向、速度、轨迹、航向等的数据。作为另一示例,AMR 102可以从计算设备108接收命令和/或所规划的路径信息,每个AMR102可以执行该命令和/或所规划的路径信息,以导航到环境100内的特定位置。虽然出于简明的目的没有在图1中示出,但AMR 102可以附加地彼此通信以确定关于其他AMR 102的信息(例如,正被执行的当前任务、位置、定向、速度、轨迹、航向等),以及其他信息(诸如由其他AMR 102生成的传感器数据)。
(一个或多个)SGR 115可以包括用于实现感测其周围环境和标识关于环境100的反馈的任何适当数量和/或类型的传感器。(一个或多个)SGR115可以进一步被配置有用于促进数据的传送和/或接收的任何合适数量和/或类型的无线无线电组件。例如,(一个或多个)SGR 115可以(经由如图3中所示的收发器306)传送指示环境100内正被执行的当前任务、位置、定向、速度、轨迹、航向等的数据。作为另一示例,(一个或多个)SGR 115可以从计算设备108接收命令和/或所规划的路径信息,每(一个或多个)SGR 115可以执行该命令和/或所规划的路径信息,以导航到环境100内的特定位置。虽然出于简明的目的没有在图1中示出,但(一个或多个)SGR 115可以附加地彼此通信以确定关于其他(一个或多个)SGR 115的信息(例如,正被执行的当前任务、位置、定向、速度、轨迹、航向等),以及其他信息(诸如由其他(一个或多个)SGR 115生成的传感器数据)。(一个或多个)SGR 115可附加地包括用于与(一个或多个)人类115通信的输入/输出(I/O)接口和/或用于与环境中的其他设备(诸如一个或多个其他SGR 115和/或(一个或多个)AMR 102)通信的一个或多个收发器。I/O接口可以包括(一个或多个)麦克风、(一个或多个)扬声器、(一个或多个)显示器、(一个或多个)图像投影仪、(一个或多个)灯、(一个或多个)激光或本领域普通技术人员所理解的其他接口。
尽管本公开包括环境100是支持在此类环境中操作的AMR 102的工厂或仓库的示例,但这是作为示例而非限制。本公开的教导可以根据任何合适类型的环境和/或任何合适类型的移动代理来实现。例如,环境100可以是户外的,并利用诸如被自主交通工具利用的道路之类的区域来标识。因此,本公开的教导可以适用于AMR以及可以基于任何合适的应用或期望的功能在任何合适类型的环境中操作的其他类型的自主代理。
AMR 102和SGR 115通过与支持网络基础设施的各种组件进行通信而在环境100内操作。网络基础设施可以包括用于支持与AMR 102和SGR115通信的任何合适数量和/或类型的组件。例如,网络基础设施可以包括根据任何合适数量和/或类型的通信协议操作的有线和/或无线联网组件的任何合适的组合。例如,网络基础设施可以包括使用有线链路(诸如以太网或光学链路)以及无线链路(诸如Wi-Fi(例如,802.11协议)和蜂窝链路(例如,3GPP标准协议、LTE、5G等)的互连。网络基础设施可以是,例如,接入网络、边缘网络、移动边缘计算(MEC)网络等。在图1所示的示例中,网络基础设施包括能够连接到互联网的一个或多个云服务器110,这些云服务器可以被实现为任何合适数量和/或类型的云计算设备。网络基础设施可以附加地包括计算设备108,计算设备108可以被实现为任何合适数量和/或类型的计算设备(诸如服务器)。计算设备108可被实现为边缘服务器和/或边缘计算设备。
根据本公开,计算设备108可以经由一个或多个链路109与一个或多个云服务器110通信,该一个或多个链路110可表示任何合适数量和/或类型的有线和/或无线链路以及出于简洁的目的未在图1中示出的其他网络基础设施组件的聚合。例如,链路109可以表示附加的蜂窝网络塔(例如,一个或多个基站、eNode B、中继、宏蜂窝、微蜂窝等)。根据本公开,网络基础设施可进一步包括一个或多个接入点(AP)104。可以根据任何合适数量和/或类型的AP来实现的AP 104被配置成用于根据任何合适类型的通信协议来促进通信。AP 104可被配置成用于根据任何合适的数量和/或类型的通信协议(诸如电气和电子工程师协会(IEEE)802.11工作组标准)支持通信。替代地,AP 104可以根据除802.11工作组以外的其他类型的通信标准进行操作,例如,诸如基于蜂窝的标准(例如,“私人蜂窝网络”)或其他本地无线网络系统。附加地或替代地,AMR 102和/或(一个或多个)SGR 115可以与计算设备108或网络基础设施的其他合适的组件直接地通信,而不需要使用AP 104。附加地或替代地,AMR 102中的一个或多个可直接与一个或多个其他AMR 102和/或与SGR 115直接通信。类似地,SGR 115中的一个或多个可直接与一个或多个其他SGR 115和/或与一个或多个AMR 102直接通信。
在如图1所示的环境100中,计算设备108被配置成用于与AMR102和/或SGR 115中的每一个通信以分别从AMR 102和/或SGR 115接收数据并分别将数据传送到AMR 102和/或SGR 115。该功能可以附加地或替代地由能够直接或间接地与AMR 102和/或SGR 115通信的其他网络基础设施组件(例如,诸如一个或多个云服务器110)执行。然而,计算设备108的本地性质可以提供附加的优势在于,计算设备108与AMR 102和/或SGR 115之间的通信可以以减少的网络等待时间发生。因此,根据本公开,在描述该功能时将计算设备108用作主要的示例,但是可以理解这是作为示例,而非限制。
因此,计算设备108可以经由AP 104接收来自AMR 102和/或SGR115中的每一者的传感器数据,并且使用相应传感器数据以及已经知晓的与环境100有关的其他信息(例如,关于环境100中的静态对象的尺寸和位置的数据),以生成表示环境100的共享环境模型。该共享环境模型可以被表示为具有任何合适尺寸和/或形状的单元的导航网格,其中每个单元具有关于该单元中包含(或不包含)的对象的类型、该单元中的对象是静态的还是移动的等等的特定属性,这使得环境模型能够准确地描绘环境100的性质。作为示例,网格单元可以是基于特定环境和伴随应用的所期望的粒度的预定尺寸(例如,80mm)的正方形。因此,环境模型可以由SGR 115和/或AMR 102直接地进行动态更新,和/或在从SGR 115和/或AMR102接收到新的传感器数据时经由计算设备108逐单元地进行动态更新。因此,对共享环境模型的更新反映了环境100中的任何最新改变,诸如SGR 115和/或AMR 102中的每一者的位置和定向以及环境100内可能以动态方式改变的其他障碍物(例如,人、叉车、机械等)。共享环境模型可以附加地或替代地基于从环境100内的其他传感器120或设备(诸如固定式相机)接收到的数据来进行更新,这例如可以实现在不依赖SGR和/或AMR通信的情况下更准确地描述SGR 115和/或AMR 102的位置。
每个SGR 115(和/或当配置为移动机器人的AMR 102)执行路径规划算法,并在特定时间使用共享环境模型(例如最近构建的共享环境模型)来计算每个SGR 115和/或AMR102的导航路径。这些导航路径包括在环境100内定义了开始点(例如,SGR和/或AMR在环境100中的当前位置)与环境100内的目的地(目标点)之间的SGR和/或AMR轨迹的中间点(“航点”)或中间节点集合。也就是说,航点向SGR 115和/或AMR 102指示如何执行相应规划的导航路径,以在特定时间前进到中间点中的每一个中间点,直到到达目的地。
计算设备(控制器)108可以替代地或附加地(与SGR 115和/或AMR 102中的一个或多个潜在地协作)计算SGR 115和/或AMR 102中的一个或多个的导航路径。替代地或附加地,(多个)云服务器110可被配置成用于计算SGR 115和/或AMR 102中的一个或多个的导航路径,这些导航路径随后可被相应地传送到SGR 115和/或AMR 102。应领会,SGR 115、AMR102、计算设备108和(一个或多个)云服务器110的任何组合可以计算导航路径。SGR 115、AMR 102、计算设备108和/或(一个或多个)云服务器110可以包括被配置成用于相应地执行SGR 115、AMR 102、计算设备108和/或(一个或多个)云服务器110的相应功能的处理电路系统。这些设备中的一个或多个设备可进一步利用机器学习能力来实现。
由SGR 115和/或AMR 102动态地发现的信息可以是例如每个SGR115和/或AMR 102本地地处理其相应传感器数据的结果。经更新的共享环境模型可由中央控制器(计算设备108)维护并与SGR 115和/或AMR 102中的每一者共享,以及用于规划任务。因此,在任何给定的时间点,SGR 115和/或AMR 102可能试图确定哪些单元要添加到特定的路线(例如,所规划的路径)或移动到哪些单元,以便SGR 115的分配的任务和/或AMR 102的分配的任务可以以最高效的方式来完成。换句话说,由于环境100的动态性质,每个SGR 115和/或AMR 102可使用被提供给共享环境模型的迭代更新,以连续和迭代的方式计算其自己的相应导航路径。因此,共享环境模型可以被存储在计算设备108中和/或本地地存储在与SGR 115和/或AMR 102中的每一者相关联的或以其他方式由SGR 115和/或AMR 102中的每一者访问的存储器中。附加地或替代地,共享环境模型可以被存储在网络基础设施的任何其他合适的组件或与其连接的设备中。在任何情况下,SGR 115和/或AMR 102可以迭代地接收或以其他方式访问共享环境模型(包括最近的更新),以执行本文讨论的导航路径规划功能。因此,共享环境模型可以在新的传感器数据被中央控制器(计算设备108)接收到并由SGR 115和/或AMR 102处理,和/或本地地处理时被更新,并且以定期方式或按照任何合适的时间表执行。
参考图2,SGR 115可以实现一套机载传感器204,以生成指示环境100内SGR 115的定位、位置、速度、航向等和/或由相应SGR 115引导的一个或多个人类116的定位、位置、速度、航向等的传感器数据。这些传感器204可以被实现为通常是已知的和/或用于自主导航和环境监测的任何合适的数量和/或类型。此类传感器的示例可以包括无线电检测与测距(radar)、光检测与测距传感器(LIDAR)、光学传感器、相机、罗盘、陀螺仪、用于定位的定位系统、加速计等。因此,传感器数据可以指示每个SGR 115附近各种对象的存在和/或到该各种对象的距离。每个SGR 115可以附加地处理该传感器数据,以标识障碍物、跟踪要引导的(一个或多个)人类116的移动和/或环境100内将影响共享环境模型的其他相关信息。然后,SGR 115可以使用共享环境模型来迭代地计算各自的导航路径,如本文进一步所讨论。根据本公开,SGR 115可被提供通往人类116倾向或预期穿越的期望位置的原始路径。附加地或替代地,SGR 115了解人类116要执行的预期任务。SGR 115可能从控制器108接收该路径和/或任务信息和/或此类信息可以被预加载到存储器210中。当SGR 115知道要执行的预期任务,但不知道预期路径(或只是部分知道预期路径)时,处理电路系统202被配置成用于规划通往该预期任务的位置的适当路径。
SGR 115可被配置成用于在引导模式下操作,其中SGR 115将合规的人类116引导至规划的目的地。如果人类116偏离规划的路径,SGR 115可以在跟踪模式下操作,在该跟踪模式中如果人类116偏离规划的路线,SGR 115就跟踪并跟随人类116。在跟踪时,SGR 115可提供偏离的路径上的安全区域的继续通知,警告偏离的路径沿线的危险区域,和/或指示AMR 102停止操作或降低人类116在偏离的路径上遇到或接近的操作速度/移动。
SGR 115、102还可以利用任何合适数量和/或类型的硬件和软件配置来实现,以促进环境100内的自主导航功能,包括已知配置。例如,每个SGR 115可以实现可包括一个或多个处理器或处理电路系统202的控制器,该一个或多个处理器或处理电路系统202可以执行安装在本地存储器210上的软件以执行各种自主导航相关功能。
SGR 115可以随着SGR 115沿着特定的所规划的路径移动而使用机载传感器204来执行姿态估计和/或标识例如SGR 115在环境100内的位置、定向、速度、方向和/或定位。处理电路系统202可以执行存储在存储器210中的路径规划算法,以执行SGR 115的导航相关功能的路径规划(例如,SLAM、八叉树地图生成、多机器人路径规划等)。
SGR设计和配置
图2图示出根据本公开的示例性自主代理的框图。例如,如关于图2所示出的和所描述的自主代理200可以利用如图1所示出的和在本文中所讨论的SGR 115来标识。自主代理200可包括处理电路系统202、一个或多个传感器204、收发器206、输入/输出(I/O)接口208、驱动器209和存储器210。图2中所示的组件是为了易于解释而提供的,并且自主代理200可以实现比图2中所示的那些组件更多的、更少的或替代的组件。自主代理200的操作在下文中另外参考图5-图7描述。图5图示出自主代理200的处理操作(例如,通过处理电路系统202)。图6图示出根据本公开的环境模型的示例。图7图示出环境模型中的安全(绿色)区域和不安全(红色)区域。
传感器204可以被实现为可用于自主导航和环境监测的任何合适数量和/或类型的传感器,包括由自主代理200引导的人类116的跟踪。此类传感器的示例可以包括无线电检测与测距(radar)、光检测与测距传感器(LIDAR)、光学传感器、相机、罗盘、陀螺仪、用于定位的定位系统、加速计等。
处理电路系统202可被配置成可用于控制自主代理200和/或自主代理200的其他组件的任何适当数量和/或类型的计算机处理器。可以利用由自主代理200实现的一个或多个处理器(或其合适的部分)来标识处理电路系统202。
处理电路系统202可被配置成实行用于执行算术、逻辑和/或输入/输出(I/O)操作、和/或用于控制自主代理200的一个或多个组件的操作的指令,以执行与本文所描述的本公开相关联的各种功能。例如,处理电路系统202可以包括一个或多个微处理器核、存储器寄存器、缓冲器、时钟等,并且可以生成与自主代理200的组件相关联的电子控制信号,以控制和/或修改这些组件的操作。例如,处理电路系统202可以控制与传感器204、收发器206、I/O接口208、驱动器209和/或存储器210相关联的功能。处理电路系统202可以附加地执行用于控制移动、速度和/或由自主代理200执行的任务的各种操作,这些操作可以基于如本文中讨论的全局和/或局部路径规划算法。
处理电路系统202可以处理由控制器108生成并由SGR 115接收的环境模型以执行自主导航。该环境模型可以被表示为具有任何合适尺寸和/或形状的单元的导航网格,其中每个单元具有关于该单元中包含(或不包含)的对象的类型、该单元中的对象是静态的还是移动的等等的特定属性,这使得环境模型能够准确地描绘环境100的性质。
处理电路系统202可以使用来自其传感器204中的一个或多个传感器的传感器数据、来自AMR 102中的一个或多个AMR的传感器数据和/或其他数据、来自控制器108的数据和/或本领域普通技术人员将理解的其他数据(例如,来自系统的操作员的命令或其他数据)来动态更新环境模型以迭代地计算SGR 115的导航路径。例如,处理电路系统202可以处理传感器数据,以标识障碍物、跟踪要引导的(一个或多个)人类116的移动和/或环境100内将影响共享环境模型的其他相关信息。然后,SGR 115可以使用共享环境模型来迭代地计算各自的导航路径。根据本公开,处理电路系统202可以使用环境模型和来自其传感器204中的一个或多个传感器的传感器数据、来自AMR102中的一个或多个AMR的传感器数据和/或其他数据、来自控制器108的数据和/或本领域普通技术人员将理解的其他数据来执行(例如,存储在存储器210中的)路径规划算法以执行自主导航。算法可经由处理电路系统202迭代地执行以动态更新环境模型。更新的环境模型可被提供到一个或多个其他SGR 115、AMR102的一个或多个和/或被提供到控制器108。
控制器108可替代地或结合SGR 115被配置成用于基于来自SGR 115的传感器和/或其他数据、来自一个或多个AMR 102的传感器和/或其他数据、和/或本领域普通技术人员将理解的其他数据来动态地更新环境模型,并且然后将更新的环境模型提供到SGR 115和/或AMR 102。
收发器206可以被实现为任何合适数量和/或类型的组件,这些组件被配置成用于根据任何合适数量和/或类型的通信协议传送和/或接收数据分组和/或无线信号。收发器206可以包括用于促进该功能的任何合适类型的组件,包括与已知的收发器、发射器、和/或接收器操作、配置和实现相关联的组件。尽管在图2中被描述为收发器,但收发器206可以包括任何合适数量的发射器、接收器、或可以被集成到单个收发器或被集成为多个收发器或收发器模块的这些组件的组合。例如,收发器206可以包括通常利用RF前端标识的组件,并且包括例如天线、端口、功率放大器(PA)、RF滤波器、混频器、本地振荡器(LO)、低噪声放大器(LNA)、上变频器、下变频器、信道调谐器等。收发器206还可以包括模数转换器(ADC)、数模转换器、中频(IF)放大器和/或滤波器、调制器、解调器、基带处理器和/或本领域普通技术人员可以理解的其他通信电路系统。
I/O接口208可以被实现为被配置成用于与(一个或多个)人类115通信的任何合适数量和/或类型的组件。I/O接口208可以包括(一个或多个)麦克风、(一个或多个)扬声器、(一个或多个)显示器、(一个或多个)图像投影仪、(一个或多个)灯、(一个或多个)激光和/或本领域普通技术人员所理解的其他接口。I/O接口208可以被配置成用于向人类115提供指令以引导人类115沿着指定路径(图6和7),诸如通过在地面上投影路径引导(例如,彩色路径标记、箭头等)以传达人类115要穿越的适当区域。如图7所示,SGR 115已经用箭头标识安全路径(绿色),以在由SGR 115和/或控制器108确定的建议路径上引导人类116。绿色路径指示符和/或箭头可被投影到地面以通知人类116该路径和/或SGR 115可以使用一个或多个其他I/O接口208(例如,经由扬声器的听觉命令)与人类115通信。
驱动器209可以被实现为被配置成用于驱动自主代理200的任何合适数量和/或类型的组件,诸如电机或其他驱动机构。处理电路系统202可以被配置成用于控制驱动器209以期望的方向和期望的速度移动自主代理200。
存储器210存储数据和/或指令,使得当指令被处理电路系统202执行时使自主代理200执行如本文所描述的各种功能。存储器210可被实现为任何众所周知的易失性和/或非易失性存储器。存储器210可以被实现为存储一个或多个可执行指令(诸如例如,逻辑、算法、代码等)的非瞬态计算机可读介质。存储在存储器210中的指令、逻辑、代码等可使本文所公开的特征能够在功能上被实现。例如,存储器210可包括路径规划算法。对于硬件实现方式,存储器210可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。本公开包括处理电路系统202,该处理电路系统202与一个或多个硬件组件一起执行存储在存储器210中的指令,以执行与如本文所述的各种功能。
参考图3,AMR 102可以实现一套机载传感器304,以生成指示环境100内AMR 102的定位、位置、速度、航向等的传感器数据。这些传感器304可以被实现为通常是已知的和/或用于自主导航和环境监测的任何合适的数量和/或类型。此类传感器的示例可以包括无线电检测与测距(radar)、光检测与测距传感器(LIDAR)、光学传感器、相机、罗盘、陀螺仪、用于定位的定位系统、加速计等。因此,传感器数据可以指示每个AMR 102附近各种对象的存在和/或到该各种对象的距离。每个AMR 102可以附加地处理该传感器数据,以标识环境100内的障碍物或其他相关信息,这将影响共享环境模型。然后,AMR 102可以使用共享环境模型来迭代地计算各自的导航路径,如本文进一步所讨论。AMR 102还可以利用任何合适数量和/或类型的硬件和软件配置来实现,以促进环境100内的自主导航功能,包括已知配置。例如,每个AMR 102可以实现可包括一个或多个处理器或处理电路系统302的控制器,该一个或多个处理器或处理电路系统302可以执行安装在本地存储器310上的软件以执行各种自主导航相关功能。
AMR 102可以随着AMR 102沿着特定的所规划的路径移动而使用机载传感器304来执行姿态估计和/或标识例如AMR 102在环境100内的位置、定向、速度、方向和/或定位。处理电路系统302可以执行存储在存储器310中的路径规划算法,以执行AMR 102的导航相关功能的路径规划和采样功能(例如,SLAM、八叉树地图生成、多机器人路径规划等)。
AMR设计和配置
图3图示出根据本公开的示例性自主代理300的框图。如关于图3所示出的和所描述的自主代理300可以利用如图1所示出的和在本文中所讨论的AMR 102中的一者或多者来标识,并且类似于图2中所示出的自主代理200。自主代理300可包括处理电路系统302、一个或多个传感器304、收发器306,和存储器310。自主代理300可附加地包括输入/输出(I/O)接口308和/或驱动器309(例如,当代理300是移动代理时)。图3中所示的组件是为了易于解释而提供的,并且自主代理300可以实现比图3中所示的那些组件更多的、更少的或替代的组件。
处理电路系统302可被配置成可用于控制自主代理300和/或自主代理300的其他组件的任何适当数量和/或类型的计算机处理器。可以利用由自主代理300实现的一个或多个处理器(或其合适的部分)来标识处理电路系统302。处理电路系统302可被配置成实行用于执行算术、逻辑和/或输入/输出(I/O)操作、和/或用于控制自主代理300的一个或多个组件的操作的指令,以执行与本文所描述的本公开相关联的各种功能。例如,处理电路系统302可以包括一个或多个微处理器核、存储器寄存器、缓冲器、时钟等,并且可以生成与自主代理300的组件相关联的电子控制信号,以控制和/或修改这些组件的操作。例如,处理电路系统302可以控制与传感器304、收发器306、接口308、驱动器309和/或存储器310相关联的功能。处理电路系统302可以附加地执行用于控制移动、速度和/或由自主代理300执行的任务的各种操作,这些操作可以基于如本文中讨论的全局和/或局部路径规划算法。
传感器304可以被实现为可用于自主导航和环境监测的任何合适数量和/或类型的传感器。此类传感器的示例可以包括无线电检测与测距(radar)、光检测与测距传感器(LIDAR)、光学传感器、相机、罗盘、陀螺仪、用于定位的定位系统、加速计等。
收发器306可以被实现为任何合适数量和/或类型的组件,这些组件被配置成用于根据任何合适数量和/或类型的通信协议传送和/或接收数据分组和/或无线信号。收发器306可以包括用于促进该功能的任何合适类型的组件,包括与已知的收发器、发射器、和/或接收器操作、配置和实现相关联的组件。尽管在图3中被描述为收发器,但收发器306可以包括任何合适数量的发射器、接收器、或可以被集成到单个收发器或被集成为多个收发器或收发器模块的这些组件的组合。例如,收发器306可以包括通常利用RF前端标识的组件,并且包括例如天线、端口、功率放大器(PA)、RF滤波器、混频器、本地振荡器(LO)、低噪声放大器(LNA)、上变频器、下变频器、信道调谐器等。收发器306还可以包括模数转换器(ADC)、数模转换器、中频(IF)放大器和/或滤波器、调制器、解调器、基带处理器和/或本领域普通技术人员可以理解的其他通信电路系统。
I/O接口308可以被实现为用于与(一个或多个)人类115通信的任何合适数量和/或类型的组件。I/O接口308可以包括(一个或多个)麦克风、(一个或多个)扬声器、(一个或多个)显示器、(一个或多个)图像投影仪、(一个或多个)灯、(一个或多个)激光和/或本领域普通技术人员所理解的其他接口。
驱动器309可以被实现为被配置成用于驱动自主代理300的任何合适数量和/或类型的组件,诸如电机或其他驱动机构。处理电路系统302可以被配置成用于控制驱动器309以期望的方向和期望的速度移动自主代理300。
存储器310存储数据和/或指令,使得当指令被处理电路系统302执行时使自主代理300执行如本文所描述的各种功能。存储器310可被实现为任何众所周知的易失性和/或非易失性存储器。存储器310可以被实现为存储一个或多个可执行指令(诸如例如,逻辑、算法、代码等)的非瞬态计算机可读介质。存储在存储器310中的指令、逻辑、代码等可使本文所公开的特征能够在功能上被实现。对于硬件实现方式,图3中所示的与存储器310相关联的模块可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。
计算设备(控制器)设计和配置
图4图示出根据本公开的示例性计算设备400的框图。例如,如关于图4所示出的和所描述的计算设备400可以利用如图1所示出的和在本文中所讨论的计算设备108和/或服务器110来标识。计算设备400可包括处理电路系统402、一个或多个传感器404、收发器406,和存储器410。在一些示例中,作为包括内部传感器404的附加或替代,计算机设备400被配置成用于与一个或多个外部传感器(例如,传感器120)交互。图4中所示的组件是为了易于解释而提供的,并且计算设备400可以实现比图4中所示的那些组件更多的、更少的或替代的组件。
处理电路系统402可被配置成可用于控制计算设备400和/或计算设备400的其他组件的任何适当数量和/或类型的计算机处理器。处理电路系统402可以利用由计算设备400实现的一个或多个处理器(或其合适部分)来标识。
处理电路系统402可被配置成实行用于执行算术、逻辑和/或输入/输出(I/O)操作、和/或用于控制计算设备400的一个或多个组件的操作的指令,以执行与本文所描述的各种功能。例如,处理电路系统402可以包括一个或多个微处理器核、存储器寄存器、缓冲器、时钟等,并且可以生成与计算设备400的组件相关联的电子控制信号,以控制和/或修改这些组件的操作。例如,处理电路系统402可以控制与传感器404、收发器406和/或存储器410相关联的功能。
传感器404可以被实现为可用于自主导航和环境监测的任何合适数量和/或类型的传感器。此类传感器的示例可以包括无线电检测与测距(radar)、光检测与测距传感器(LIDAR)、光学传感器、相机、罗盘、陀螺仪、用于定位的定位系统、加速计等。在一些示例中,计算设备400被附加地或替代地配置成用于与类似于传感器404(例如,图1中的传感器120)的一个或多个外部传感器通信。
收发器406可以被实现为任何合适数量和/或类型的组件,这些组件被配置成用于根据任何合适数量和/或类型的通信协议传送和/或接收数据分组和/或无线信号。收发器406可以包括用于促进该功能的任何合适类型的组件,包括与已知的收发器、发射器、和/或接收器操作、配置和实现相关联的组件。尽管在图4中被描述为收发器,但收发器406可以包括任何合适数量的发射器、接收器、或可以被集成到单个收发器或被集成为多个收发器或收发器模块的这些组件的组合。例如,收发器406可以包括通常利用RF前端标识的组件,并且包括例如天线、端口、功率放大器(PA)、RF滤波器、混频器、本地振荡器(LO)、低噪声放大器(LNA)、上变频器、下变频器、信道调谐器等。收发器406还可以包括模数转换器(ADC)、数模转换器、中频(IF)放大器和/或滤波器、调制器、解调器、基带处理器和/或本领域普通技术人员可以理解的其他通信电路系统。
存储器410存储数据和/或指令,使得当指令被处理电路系统402执行时使计算设备400执行如本文所描述的各种功能。存储器410可被实现为任何众所周知的易失性和/或非易失性存储器。存储器410可以被实现为存储一个或多个可执行指令(诸如例如,逻辑、算法、代码等)的非瞬态计算机可读介质。存储在存储器410中的指令、逻辑、代码等由图4所示的各种模块表示,这些模块可使本文所描述的特征能够在功能上被实现。例如,存储器410可以包括表示ITS算法的ITS模块412。ITS算法可进一步包括被配置成用于执行采样操作的采样器和被配置成用于执行路径规划操作的路径规划器。对于硬件实现方式,图4中所示的与存储器410相关联的模块可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。换言之,图4中所示的模块是为了易于对关于硬件与软件组件之间的功能关联进行解释而提供的。因此,本公开包括处理电路系统402,该处理电路系统402与一个或多个硬件组件一起执行存储在这些相应模块中的指令,以执行与如本文所述的各种功能。
SGR系统和操作
图5图示出根据本公开的SGR系统和操作流程。SGR系统可被配置成用于围绕SGR115(环境监测504)的当前位置创建全面的环境模型。如本文所述,控制器108、服务器110、SGR 115和AMR 102的任何组合可以被配置成用于生成和调整环境模型。该模型可以基于传感器和/或本文所述的其他数据进行调整。SGR 115进行的环境监测504可包括监测人类116的位置和/或运动和/或AMR 102的位置和/或运动和/或环境100中的其他静态和/或动态设备。
环境模型可以基于SGR 115的一个或多个传感器204生成的传感器数据、来自AMR102的一个或多个(机器人通信502)的传感器数据和/或其他数据(例如,内部状态信息)、来自控制器108的数据和/或本领域普通技术人员将理解的其他数据来创建和/或调整。
基于该环境模型,SGR 115、控制器108和/或服务器110评估和预测人类行为(人类监测506)。使用来自环境监测504和人类监测506的结果,SGR 115、控制器108和/或服务器110执行安全评估508。安全评估508确定了本文所描述的SGR 115行进和引导人类116的安全路径,并确定了沿该路径应被控制的一个或多个AMR 102(例如,指示停止或修改操作)。
SGR系统还提供与人类116的通信(人类通信510),以为人类116提供引导路径和/或其他指令。
如前所述,SGR系统的计算任务可以由SGR 115、控制器108、服务器110和一个或多个AMR 102的任何组合执行。来自SGR 115和/或AMR102的传感器和/或其他数据可以被提供给控制器108和/或服务器110,反之亦然。在由控制器108和/或服务器110执行计算的配置中,SGR 115和/或AMR102的传感器和/或其他数据被提供给控制器108和/或服务器110,并且控制器108和/或服务器100执行环境模型的路径规划和生成和/或调整,环境模型然后被提供给SGR 115和/或AMR 102。使用环境模型,SGR 115与人类116通信(例如,引导路径、听觉和/或视频协助),以引导人类116沿着路径规划处理中标识的安全路径。
环境监测504
SGR系统可被配置成用于围绕SGR 115(环境监测504)的当前位置创建全面的环境模型。图6图示出根据本公开的环境模型。环境模型可由控制器108、服务器110、SGR 115和AMR 102基于本文描述的传感器和/或其他数据来生成和/或调整。例如,环境模型可基于SGR 115的一个或多个传感器204(例如,无线电检测与测距、LIDAR、相机)的传感器数据和/或来自AMR 102的一个或多个的传感器数据和/或其他数据(例如,内部状态信息)。SGR系统(例如,SGR 115)被配置成用于基于传感器数据检测环境100中的物体和/或对环境100中的物体进行分类,和/或基于传感器数据执行SGR 115的自定位(例如,GPS、无线通信地理位置、LIDAR、无线电检测与测距等)。生成的环境模型可包括环境中所有AMR 102、SGR 115、人类116和/或其他静态和动态物体的位置和运动。如图6所示,该模型包括AMR 102的位置,并确定了通过环境100的路径。
人类监测506
SGR系统利用环境模型对环境100中的(一个或多个)人类116执行监测。在执行人类监测操作506时,SGR系统可以预测人类116在未来预定时间段(例如,若干秒)的运动。基于人类116的预测运动,SGR系统被配置成用于规划和优化SGR 115的路径。规划路径可以附加地基于提供给系统的预定路径和/或根据由人类116执行的已提供任务确定。然后,SGR115可以使用规划路径来以用于在环境100中安全地引导人类116的引导模式操作。如图5和图7所示,SGR 115被配置成用于向人类116突出或以其他方式传达环境中的不安全区域100。例如,SGR 115可以向人类116(经由I/O接口208)和/或投影路径指示符(例如,环境的地板上的激光投影标记)提供视觉/听觉消息。
随着SGR 115相对于人类116移动位置的改善,向人类116传达信息改善。因此,SGR115被配置成用于基于对人类116移动的预测来调整其移动。根据本公开,SGR 115可被配置成用于将人类116的当前位置和运动与最初规划的路径(例如,从入口到工作位置)进行比较。如果SGR 115和/或其他组件(例如,控制器108和/或服务器110)检测到与原始规划路径的偏差(例如,由于人类116忽略来自SGR 115的引导和/或命令),SGR 115可以跟踪(跟随)模式操作。在跟踪模式下,当人类116在环境中移动时,SGR跟踪并跟随人类116以确保人类116的安全。例如,SGR 115和/或其他组件(例如,控制器108和/或服务器110)可以自适应地向人类116指示安全路径信息和/或减速或关闭SGR 115预测人类116在偏离原始路径时可能遇到的AMR 102。SGR 115和/或其他组件(例如,控制器108和/或服务器110)可以通过预测人类116的未来移动来确定人类116在偏差期间将采取的新路径。根据本公开,当SGR 115和/或其他组件(例如,控制器108和/或服务器110)检测到人类116偏离原始规划路径时,SGR 115可自行定位,以阻止人类116朝着特定方向移动,以迫使或鼓励人类116回到最初规划的路径上。在本示例中,SGR 115可经由I/O接口208(例如,听觉或视觉警告)附加地或替代地警告人类116他们正在偏离规划路径。SGR可附加地或替代地限制和/或包含人类116,以防止人类116做出不期望的移动。
根据本公开,SGR系统可检测到与人类116相关联的可能异常/偏离,或作为偏离最初规划路径的替代方案。例如,SGR系统可检测到人类116正在执行不同的、未规划任务,和/或正在访问受限制的信息和/或位置(例如,读取不应读取的终端屏幕、访问受限制的机器等)。
在检测人类活动中的异常时,SGR 115可被配置成用于执行行为异常检测操作。异常检测可包括确定行为确定性分数(k),该行为确定性分数反映SGR系统基于原始规划行为(例如,基于规划任务的预测行为等)在环境100中为人类115的行为分配一定程度的确定性。在本示例中,分数为100对应于完美/完全实现,而分数为0对应于有证据表明人类行为不再与规划行为一致的情况。行为确定性分数可以基于以下方程确定:
k=Δ(规划的行动,监测的行动)∈[0,100]
安全评估508
使用环境模型以及人类116的(一个或多个)预测路径,SGR系统可以执行安全评估,以评估与环境100中每个AMR 102(和/或其他物体)相关联的风险。根据本公开,SGR 115和/或其他组件(例如,控制器108和/或服务器110)被配置成用于(根据人类116与AMR 102之间的距离和确定性分数)确定碰撞概率,人类116与(一个或多个)AMR 102处于危险或潜在危险距离内的暴露/持续时间(例如,确定人类116是否在(一个或多个)AMR 102的危险距离阈值范围内),以及潜在的伤害严重程度。根据本公开,可以对一种或多种AMR 102的若干操作模式执行风险评估,例如,包括站立(关机)操作、降低速度操作和正常操作速度。在本示例中,SGR系统可确定,由于风险低,AMR 102中哪些可以继续或恢复在正常操作参数(例如,正常速度)下操作,哪些机器人应该以降低的速度操作,以及哪些机器人应该停止(完全关闭)。SGR 115和/或其他组件(例如,控制器108和/或服务器110)可以将该语义信息作为控制命令发送到适当的AMR 102,以相对应地控制AMR 102。根据本公开,环境模型可利用图7中描述的安全/不安全区域的信息来进行更新,并且SGR 115可以在人类通信510处理期间向人类116提供相对应的通知(例如,听觉和/或视觉通知和警告)。
根据本公开,SGR 115和/或其他组件(例如,控制器108和/或服务器110)可以基于环境100中期望位置的路径、人类116的预测运动、确定性分数、环境模型和/或环境100中安全/不安全区域的信息来生成SGR 115的控制命令。此外,基于SGR 115的操作模式(例如,引导模式与跟踪模式),SGR 115和/或其他组件(例如,控制器108和/或服务器110)可以为相同的环境模型和机器人群集生成不同的命令。例如,如果人类116没有遵循最初规划的路径,并且SGR 115在跟踪模式下操作,则控制命令可引起SGR 115移动/中断人类115,以将人类115重定向回到最初规划的路径。类似地,如果确定性分数很高,并且SGR 115在引导模式下操作,SGR 115的速度可被降低,以引起人类115以相对应的较慢速度穿越环境100。
根据本公开,SGR系统的进一步优势在于,SGR系统可以利用其对各种AMR 102的任务的了解来调整人类116在环境100中的移动。例如,随着人类116和SGR 115接近目前正在执行将在短时间段内完成的任务的特定AMR 102,由于SGR 115知道AMR 102执行的任务,因此SGR 115可减慢其移动速度,以引起人类116的速度降低。SGR 115速度的降低将为AMR102完成其任务提供额外的时间(从而使AMR 102对人类116接近安全),而不必减缓或停止AMR 102用于提供人类116的安全通道的操作。也就是说,该系统的全知性质表明,该系统了解AMR任务、SGR位置和规划移动、人类位置和预测移动、规划路径和规划的人类任务,因此系统被配置成用于确定最优和最佳经济路径和任务调度。
人类通信510
人类通信510操作规定SGR 115与人类116通信。在操作中,SGR115被配置成用于提供听觉和视觉通信(例如,警告、方向),诸如听觉警告、SGR 115的显示器上显示的警告、投影在地面上的激光生成指示器或引导、投影到地板的区域上的光和/或投影到空中的警告信号,以使人类115意识到安全的区域和不安全的区域(例如,图7中的绿色区域与红色区域)。此外,SGR115可以使用这些接口208突出到期望目的地的路径。听觉通信可包括请求的听觉消息,例如,人类116走得慢、左转或右转等。此外,如果偏离最初规划的路径被检测到,则警告消息(例如,听觉和/或视觉)可被生成,以及在显示屏幕上向人类116显示的视觉警告信号可被生成。
根据本公开,鉴于了解人类116要执行的预期任务,可以附加地将SGR配置成用于提供一级支持。例如,SGR 115可提供现场支持,诸如对情况进行初步检查和/甚至尝试使用SGR 115的机械臂解决问题。
根据本公开,SGR 115可以附加地或替代地配置成用于检查环境102(例如,使用其传感器204中的一个或多个)以预测所需的维护。例如,SGR 115可以穿越环境100来监测AMR102的行为,以观察AMR 102的运动和动作以检测可能的异常。例如,在SGR 115与人类116一起通过环境100执行引导操作时,AMR 102的控制器和/或服务器110可以基于对检测到的行为定期执行的和/或执行的分析来请求此类检查操作。
示例
下列示例涉及本公开的各个技术:
示例(例如,示例1)涉及一种自主代理的控制器,包括:配置成用于接收传感器数据的通信接口;以及配置成用于以下各项的处理器:基于传感器数据确定自主代理的位置、由自主代理引导的人类在环境中的位置以及一个或多个其他自主代理的操作信息;以及基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息来控制自主代理的移动。
另一个示例(例如,示例2)涉及之前描述的示例(例如,示例1),其中处理器被进一步配置成用于生成用于通知人类期望路径的对人类的通知,该通知基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息生成。
另一个示例(例如,示例3)涉及之前描述的示例(例如,示例1-2中的一个或多个),其中处理器被进一步配置成用于控制一个或多个其他自主代理,以基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息来调整一个或多个其他自主代理的操作。
另一个示例(例如,示例4)涉及之前描述的示例(例如,示例1-3中的一个或多个),其中处理器被进一步配置成用于基于由自主代理引导的人类的确定的位置来预测人类的未来移动。
另一个示例(例如,示例5)涉及之前描述的示例(例如,示例4),其中处理器被配置成用于基于由自主代理引导的人类的确定的位置和人类的当前移动来预测人类的未来移动。
另一个示例(例如,示例6)涉及之前描述的示例(例如,示例5),其中处理器被配置成用于基于自主代理在环境中的规划路径来进一步预测人类的未来移动。
另一个示例(例如,示例7)涉及之前描述的示例(例如,示例1-6中的一个或多个),其中处理器被配置成用于:基于人类的当前移动和自主代理在环境中的规划路径来确定行为确定性分数;以及基于行为确定性分数来预测人类的未来移动。
另一个示例(例如,示例8)涉及先前描述的示例(例如,示例1-7中的一个或多个),其中:处理器被配置成用于基于一个或多个其他自主代理与人类的碰撞概率来估计对人类的伤害风险;碰撞概率基于人类与一个或多个其他自主代理的距离和行为确定性分数来确定;以及行为确定性分数基于人类的当前移动和自主代理在环境中的规划路径来确定。
另一个示例(例如,示例9)涉及之前描述的示例(例如,示例8),其中处理器被配置成用于基于以下各项进一步估计伤害风险:人类与一个或多个其他自主代理的距离小于危险距离阈值的持续时间,或由一个或多个其他自主代理对人类造成的伤害的估计程度。
另一个示例(例如,示例10)涉及之前描述的示例(例如,示例8-9中的一个或多个),其中处理器被进一步配置成用于基于估计风险来控制一个或多个其他自主代理,以调整一个或多个其他自主代理的操作。
另一个示例(例如,示例11)涉及之前描述的示例(例如,示例1-10中的一个或多个),其中处理器被进一步配置成用于基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息来调整自主代理在环境中的规划路径。
另一个示例(例如,示例12)涉及之前描述的示例(例如,示例11),其中处理器被配置成用于基于人类的预测移动来进一步调整规划路径。
另一个示例(例如,示例13)涉及之前描述的示例(例如,示例1-12中的一个或多个),进一步包括一个或多个配置成用于生成至少一部分传感器数据的传感器。
另一个示例(例如,示例14)涉及之前描述的示例(例如,示例1-13中的一个或多个),其中至少一部分传感器数据接收自一个或多个其他自主代理。
另一个示例(例如,示例15)涉及之前描述的示例(例如,示例1-14中的一个或多个),其中至少另一部分传感器数据接收自配置成用于控制一个或多个其他自主代理的外部控制器。
另一个示例(例如,示例16)涉及之前描述的示例(例如,示例1-15中的一个或多个),其中自主代理是配置成用于在环境中引导人类的安全引导机器人(SGR)。
另一示例(例如,示例17)涉及一种安全引导机器人(SGR),该安全引导机器人包括:一个或多个传感器,其被配置成用于检测SGR的位置和由SGR引导的人类在环境中的移动,以及用于基于检测到的位置和移动来生成传感器数据;配置成用于从环境中的一个或多个其他自主代理接收操作信息的收发器;以及配置成用于基于传感器数据和接收的操作信息来控制SGR的处理器。
另一个示例(例如,示例18)涉及之前描述的示例(例如,示例17),进一步包括被配置成用于接收来自人类的输入并用于向人类提供通知的接口,其中处理器被进一步配置成用于生成用于通知人类期望路径的对人类的通知,该通知基于传感器数据和接收的操作信息生成。
另一个示例(例如,示例19)涉及之前描述的示例(例如,示例18),其中接口包括从组中选择的接口设备,该组包括:一个或多个扬声器、一个或多个麦克风、触摸屏显示器和激光指示器。
另一个示例(例如,示例20)涉及之前描述的示例(例如,示例17-19中的一个或多个),其中处理器被进一步配置成用于基于传感器数据和接收的一个或多个其他自主代理的操作信息来控制一个或多个其他自主代理,以调整一个或多个其他自主代理的操作。
另一个示例(例如,示例21)涉及之前描述的示例(例如,示例17-20中的一个或多个),其中处理器被进一步配置成用于基于传感器数据和SGR在环境中的规划路径来预测人类的未来移动。
另一个示例(例如,示例22)涉及之前描述的示例(例如,示例17-21中的一个或多个),其中处理器被进一步配置成用于基于传感器数据、一个或多个其他自主代理的操作信息以及预测的人类的未来移动来适应SGR在环境中的规划路径。
另一个示例(例如,示例23)涉及之前描述的示例(例如,示例17-22中的一个或多个),其中收发器被配置成用于接收来自外部控制器的数据,该外部控制器被配置成用于控制一个或多个其他自主代理,处理器被配置成用于基于传感器数据、来自一个或多个自主代理的接收的操作信息、以及来自外部控制器的数据来控制SGR。
另一个示例(例如,示例24)涉及之前描述的示例(例如,示例17-23中的一个或多个),其中处理器被配置成用于基于传感器数据和接收的操作信息来评估环境对人类的安全性,SGR的控制基于评估的环境安全性。
示例(例如,示例25)涉及自主代理的控制器,包括:接口装置,用于接收传感器数据;以及处理装置,用于:基于传感器数据确定:自主代理的位置、由自主代理引导的人类在环境中的位置以及一个或多个其他自主代理的操作信息;以及基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息来控制自主代理的移动。
另一个示例(例如,示例26)涉及之前描述的示例(例如,示例25),其中处理器被进一步配置成用于生成用于通知人类期望路径的对人类的通知,该通知基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息生成。
另一个示例(例如,示例27)涉及之前描述的示例(例如,示例25-26中的一个或多个),其中处理装置被进一步配置成用于控制一个或多个其他自主代理,以基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息来调整一个或多个其他自主代理的操作。
另一个示例(例如,示例28)涉及之前描述的示例(例如,示例25-27中的一个或多个),其中处理装置被进一步配置成用于基于由自主代理引导的人类的确定的位置来预测人类的未来移动。
另一个示例(例如,示例29)涉及之前描述的示例(例如,示例28),其中处理装置被配置成用于基于由自主代理引导的人类的确定的位置和人类的当前移动来预测人类的未来移动。
另一个示例(例如,示例30)涉及之前描述的示例(例如,示例29),其中处理装置被配置成用于基于自主代理通过环境的规划路径来进一步预测人类的未来移动。
另一个示例(例如,示例31)涉及之前描述的示例(例如,示例25-30中的一个或多个),其中处理装置被配置成用于:基于人类的当前移动和自主代理在环境中的规划路径来确定行为确定性分数;以及基于行为确定性分数来预测人类的未来移动。
另一个示例(例如,示例32)涉及先前描述的示例(例如,示例25-31中的一个或多个),其中:处理装置被配置成用于基于一个或多个其他自主代理与人类的碰撞概率来估计对人类的伤害风险;碰撞概率基于人类与一个或多个其他自主代理的距离和行为确定性分数来确定;以及行为确定性分数基于人类的当前移动和自主代理在环境中的规划路径来确定。
另一个示例(例如,示例33)涉及之前描述的示例(例如,示例32),其中处理装置被配置成用于基于以下各项进一步估计伤害风险:人类与一个或多个其他自主代理的距离小于危险距离阈值的持续时间,或由一个或多个其他自主代理对人类造成的伤害的估计程度。
另一个示例(例如,示例34)涉及之前描述的示例(例如,示例32-33中的一个或多个),其中处理装置被进一步配置成用于基于估计风险来控制一个或多个其他自主代理,以调整一个或多个其他自主代理的操作。
另一个示例(例如,示例35)涉及之前描述的示例(例如,示例25-34中的一个或多个),其中处理装置被进一步配置成用于基于自主代理的确定的位置、由自主代理引导的人类的确定的位置以及一个或多个其他自主代理的操作信息来调整自主代理在环境中的规划路径。
另一个示例(例如,示例36)涉及之前描述的示例(例如,示例35),其中处理装置被配置成用于基于人类的预测移动来进一步调整规划路径。
另一个示例(例如,示例37)涉及之前描述的示例(例如,示例25-36中的一个或多个),进一步包括一个或多个用于生成至少一部分传感器数据的感测装置。
另一个示例(例如,示例38)涉及之前描述的示例(例如,示例25-37中的一个或多个),其中至少一部分传感器数据接收自一个或多个其他自主代理。
另一个示例(例如,示例39)涉及之前描述的示例(例如,示例25-38中的一个或多个),其中至少另一部分传感器数据接收自用于控制一个或多个其他自主代理的外部控制装置。
另一个示例(例如,示例40)涉及之前描述的示例(例如,示例25-39中的一个或多个),其中自主代理是配置成用于在环境中引导人类的安全引导机器人(SGR)。
另一示例(例如,示例41)涉及一种安全引导机器人(SGR),该安全引导机器人包括:感测装置,其被配置成用于检测SGR的位置和由SGR引导的人类在环境中的移动,以及用于基于检测到的位置和移动来生成传感器数据;配置成用于从环境中的一个或多个其他自主代理接收操作信息的收发装置;以及用于基于传感器数据和接收的操作信息来控制SGR的处理装置。
另一个示例(例如,示例42)涉及之前描述的示例(例如,示例41),进一步包括用于接收来自人类的输入并用于向人类提供通知的接口装置,其中处理装置被进一步配置成用于生成用于通知人类期望路径的对人类的通知,该通知基于传感器数据和接收的操作信息生成。
另一个示例(例如,示例43)涉及之前描述的示例(例如,示例42),其中接口装置包括:一个或多个扬声器、一个或多个麦克风、触摸屏显示器和/或激光指示器。
另一个示例(例如,示例44)涉及之前描述的示例(例如,示例41-43中的一个或多个),其中处理装置被进一步配置成用于基于传感器数据和接收的一个或多个其他自主代理的操作信息来控制一个或多个其他自主代理,以调整一个或多个其他自主代理的操作。
另一个示例(例如,示例45)涉及之前描述的示例(例如,示例41-44中的一个或多个),其中处理装置被进一步配置成用于基于传感器数据和SGR在环境中的规划路径来预测人类的未来移动。
另一个示例(例如,示例46)涉及之前描述的示例(例如,示例41-45中的一个或多个),其中处理装置被进一步配置成用于基于传感器数据、一个或多个其他自主代理的操作信息以及预测的人类的未来移动来适应SGR在环境中的规划路径。
另一个示例(例如,示例47)涉及之前描述的示例(例如,示例41-46中的一个或多个),其中收发装置被配置成用于接收来自外部控制器的数据,该外部控制装置用于控制一个或多个其他自主代理,处理装置被配置成用于基于传感器数据、来自一个或多个自主代理的接收的操作信息、以及来自外部控制装置的数据来控制SGR。
另一个示例(例如,示例48)涉及之前描述的示例(例如,示例41-47中的一个或多个),其中处理装置被配置成用于基于传感器数据和接收的操作信息来评估环境对人类的安全性,SGR的控制基于评估的环境安全性。
一个涉及自主代理的示例,该自主代理包括之前描述的示例(例如,示例1-16和/或27-40中的一个或多个)的控制器。
一个涉及自主移动机器人的示例,该自主移动机器人包括之前描述的示例(例如,示例1-16和/或27-40中的一个或多个)的控制器。
一个涉及计算系统的示例,该计算系统包括之前描述的示例(例如,示例1-16和/或27-40中的一个或多个)的控制器。
一个示例涉及包括一个或多个自主代理和计算系统的系统,该一个或多个自主代理和计算系统各自包括之前描述的示例(例如,示例1-16和/或27-40中的一个或多个)的控制器。
如所示出和所描述的设备。
如所示出和所描述的方法。
结语
前述描述将如此充分地揭示本公开的实现方式的一般性质,以至于其他人可以通过应用本领域技术内的知识就容易地修改和/或改编诸如这些具体实现方式之类的各种应用,而无需过度实验,并且不背离本公开的一般概念。因此,基于本文展现的教示和指导,此类改编和修改旨在落入所公开多个实现方式的等效方案的含义和范围内。应理解,本文中的措辞或术语是出于描述而非限制的目的,使得本说明书的术语或措辞将由本领域技术人员根据教示和指导来解释。
每个实现方式可包括特定特征、结构或特性,但每个实现方式可能不一定都包括该特定特征、结构或特性。此外,此类的短语不一定是指同一个实现。此外,当结合实现方式描述特定的特征、结构或特性时,认为结合无论是否被明确描述的其他实现方式而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
本文所描述的示例性实现方式是出于说明性目的而提供的,而不是限制性的。其他实现方式是可能的,并且可以对示例性实现方式进行修改。因此,说明书并旨在限制本公开。相反,本公开的范围仅根据所附权利要求及其等价物来限定。
本公开的设计可以以硬件(例如电路)、固件、软件或其组合来实现。设计还可实现为储存在机器可读介质上的指令,这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或发送机器(例如,计算设备)可读形式的信息的任何机制。机器可读介质可包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等等。进一步地,固件、软件、例程、指令在本文中可被描述为执行特定动作。然而,应当理解,此类描述仅仅是出于方便起见,并且此类动作实际上起因于计算设备、处理器、控制器、或其他设备执行固件、软件、例程、指令等。进一步地,实现方式变体中的任一者可以由通用计算机执行。
贯穿附图,应注意,除非另有说明,否则相同的附图标记用于描绘相同或相似的要素、特征和结构。
术语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如,一个、两个、三个、四个、[...]等)。术语“多个(a plurality)”可被理解为包括大于或等于二的数量(例如,两个、三个、四个、五个、[...]等)。
说明书和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此,任何明确地援引上述词语来指代某个数量的要素的短语(例如,“复数个[要素]”、“多个[要素]”)明确地指代多于一个的所述要素。说明书和权利要求书中的术语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量,即一个或多个。术语“适当的子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集,说明性地,指代集合的包含比该集合少的元素的子集。
关于一组要素的短语“……中的至少一个”在本文中可用于意指来自由这些要素组成的组的至少一个要素。关于一组要素的短语“……中的至少一个”在本文中可用于意指以下各项中的选择:所列要素中的一个、多个所列要素中的一个要素、多个个体所列要素、或多个个体所列要素中的多个。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息,例如,作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地,术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而,术语“数据”不限于上述数据类型,并且可采取各种形式并表示如本领域中理解的任何信息。
如本文中所使用的术语“处理器”、“处理电路系统”或“控制器”可被理解为允许处置数据的任何种类的技术实体。可根据由处理器、处理电路系统或控制器执行的一个或多个特定功能来处置数据。进一步地,如本文中所使用的处理电路系统、处理器或控制器可被理解为任何种类的电路,例如任何种类的模拟或数字电路。处理电路、处理器或控制器因此可以是或包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等,或其任何组合。以下将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理电路系统、处理器、控制器或逻辑电路。应理解,本文中详述的处理器、控制器、逻辑电路或处理电路系统中的任何两个(或更多个)可被实现为具有等效功能或类似功能的单个实体等等,并且相反地,本文中详述的任何单个处理器、控制器、逻辑电路或处理电路系统可被实现为具有等效功能或类似功能的两个(或更多个)分开的实体等等。
如本文中所使用,“存储器”被理解为数据或信息可以被存储在其中以供检取的计算机可读介质。对本文中所包括的“存储器”的引用可因此被理解为是指易失性或非易失性存储器,包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱等等、或其任何组合。在本文中,寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也可由术语存储器包含。术语“软件”是指任何类型的可执行指令,包括固件。
在本文所描述的一个或多个实现方式中,处理电路可以包括存储数据和/或指令的存储器。存储器可以是任何公知的易失性和/或非易失性存储器,包括只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、和可编程只读存储器(PROM)。存储器可以是不可移动的、可移动的、或两者的组合。
除非明确地指定,否则术语“发射”涵盖直接(点对点)和间接(经由一个或多个中间点)的发射两者。相似地,术语“接收”涵盖直接和间接的接收两者。此外,术语“发射”、“接收”、“传递”和其他相似术语涵盖物理传输(例如,对无线电信号的传输)和逻辑传输(例如,通过逻辑软件级连接对数字数据的传输)两者。处理电路系统、处理器、或控制器可通过与另一处理器、控制器或处理电路系统的软件级连接以无线电信号的形式对数据进行发射或接收,其中,物理发射和接收由诸如RF收发机和天线之类的无线电层组件处置,并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或两者,即,在传入方向和传出方向中的一个方向或这两个方向上的单向或双向传输。术语“计算”涵盖经由数学表达式/等式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。
可以将“代理”理解为包括任何类型的被驱动对象。代理可以是具有内燃机、反作用式引擎、电驱动对象、混合驱动对象或其组合的被驱动对象。代理可以是或可包括移动机器人、个人运输机、无人机等。
术语“自主代理”可描述这样的代理:该代理至少在一些驾驶的一些(重要)部分(空间或时间,例如,在某些区域中、或当环境条件尚可时、或在高速公路上、或高于或低于某一速度)期间,实现所有或基本上所有导航改变。有时,将“自主代理”与“部分自主代理”或“半自主代理”区别开来,以指示代理能够可能在某些时候、在某些条件下、或在某些区域中实现一些(但不是全部)导航改变。导航改变可描述或包括代理的转向、制动、或加速/减速中的一者或多者的改变。即使在代理不是完全自动(在有驾驶员输入或无驾驶员输入的情况下完全操作)的情况下,也可以将代理描述为自主的。自主代理可以包括可以在某些时间段内在驾驶员控制下操作并且在其他时间段内无需驾驶员控制而操作的那些代理。自主代理还可包括仅控制代理导航的一些实现方式的代理,代理导航的一些实现方式诸如转向(例如,在代理车道约束之间维持代理路线)或在某些情形下(但并非在所有情形下)进行一些转向操作,但可能将代理导航的其他实现方式留给驾驶员(例如,在某些情形下进行制动或刹车)。自主代理还可以包括在某些情形下共同控制代理导航的一个或多个实现方式的代理(例如,动手操作(诸如响应于驾驶员的输入))和在某些情形下控制代理导航的一个或多个实现方式的代理(例如,放手操作(诸如独立于驾驶员的输入))。自主代理还可以包括在某些情形下(诸如在某些环境状况下(例如,空间区域、道路状况))控制代理导航的一个或多个实现方式的代理。在一些实现方式,自主代理可以处置代理的制动、速率控制、速度控制和/或转向的一些或所有实现方式。自主代理可以包括可以在没有驾驶员的情况下操作的那些代理。代理的自主性级别可以由代理的汽车工程师协会(SAE)级别(由SAE在SAEJ3016 2018:道路机动代理的驾驶自动化系统相关术语的分类和定义中定义)或由其他相关专业组织进行描述或确定。SAE级别可以具有范围从最小级别(例如,0级(说明性地,基本上没有驾驶自动化))到最大级别(例如,5级(说明性地,完全驾驶自动化))的值。
本公开的系统和方法可利用一个或多个机器学习模型来执行代理的对应功能(或本文中所描述的其他功能)。例如,如本文中所使用的术语“模型”可被理解为根据输入数据提供输出数据的任何种类的算法(例如,根据输入数据生成或计算输出数据的任何种类的算法)。机器学习模型可由计算系统执行以渐进地改进特定任务的性能。根据本公开,可以在训练阶段基于训练数据调整机器学习模型的参数。随后可在推断阶段期间使用经训练的机器学习模型基于输入数据来做出预测或决策。
本文中所描述的机器学习模型可采取任何合适的形式或利用任何合适的技术。例如,这些机器学习模型中的任何机器学习模型均可利用监督式学习、半监督式学习、无监督式学习、或强化学习技术。
在监督式学习中,可使用包含输入和相应的期望输出两者的训练数据集来建立模型。每个训练实例可包括一个或多个输入并且包括期望输出。训练可包括通过训练实例迭代以及使用目标函数来教导模型预测针对新的输入的输出。在半监督式学习中,训练集中的输入的部分可能缺少期望输出。
在无监督式学习中,可从仅包含输入而不包含期望输出的数据集建立模型。无监督式模型可用于通过发现数据中的模型而找到该数据中的结构(例如,对数据点的分组或聚类)。可在无监督式学习模型中实现的技术包括例如自组织图、最近邻映射、k均值聚类、以及奇异值分解。
强化学习模型可被给予正反馈或负反馈以改进准确性。强化学习模型可尝试使一个或多个目标/回报最大化。可在强化学习模型中实现的技术可包括例如Q学习、时间差(TD)和深度对抗网络。
本公开的系统和方法可以利用一个或多个分类模型。在分类模型中,输出可限于值的有限集合(例如,一个或多个类)。分类模型可输出针对具有一个或多个输入值的输入集合的类。输入集合可以包括道路状况数据、事件数据、传感器数据(诸如图像数据、无线电检测和测距传感器数据、光检测和测距传感器数据等)和/或本领域普通技术人员将理解的其他数据。如本文中所描述的分类模型可例如对某些驾驶状况和/或环境状况(诸如天气状况、道路状况)等等进行分类。本文中对分类模型的引用可构想实现例如下列技术中的任何一种或多种技术的模型:线性分类器(例如,逻辑回归或朴素贝叶斯分类器)、支持向量机、决策树、提升树、随机森林、神经网络或最近邻。
可以使用一个或多个回归模型。回归模型可基于具有一个或多个值的输入集合从连续范围输出数值。本文中对回归模型的引用可设想实现例如下列技术(或其他合适技术)中的任何一种或多种技术的模型:线性回归、决策树、随机森林、或神经网络。
本文中所描述的机器学习模型可以是或可包括神经网络。神经网络可以是任何种类的神经网络,诸如卷积神经网络、自编码器网络、变分自编码器网络、稀疏自编码器网络、循环神经网络、去卷积网络、生成性对抗网络,前瞻性神经网络、和积神经网络等等。神经网络可包括任何数量的层。对神经网络的训练(例如,调整神经网络的层)可使用或可基于任何种类的训练原理,诸如反向传播(例如,使用反向传播算法)。
如本文所述,下列术语可作为同义词来使用:驾驶参数集,驾驶模型参数集,安全层参数集,驾驶员辅助、自动化驾驶模型参数集,和/或类似术语(例如,驾驶安全参数集)。这些术语可与用于实现引导代理根据本文中所描述的方式来操作的一个或多个模型的各组值对应。此外,贯穿本公开,下列术语可作为同义词来使用:驾驶参数、驾驶模型参数、安全层参数、驾驶员辅助和/或自动化驾驶模型参数、和/或类似术语(例如,驾驶安全参数),并且可对应于先前所描述的集合内的特定值。
Claims (25)
1.一种用于自主代理的控制器,包括:
通信接口,所述通信接口被配置成用于接收传感器数据;以及
处理器,所述处理器被配置成用于:
基于传感器数据确定:所述自主代理的位置、由所述自主代理引导的人类在环境中的位置以及一个或多个其他自主代理的操作信息;以及
基于所述自主代理的确定的位置、由所述自主代理引导的人类的确定的位置以及一个或多个其他自主代理的所述操作信息来控制所述自主代理的移动。
2.如权利要求1所述的控制器,其中所述处理器被进一步配置成用于生成用于通知所述人类期望路径的对所述人类的通知,所述通知基于所述自主代理的确定的位置、由所述自主代理引导的人类的确定的位置以及一个或多个其他自主代理的所述操作信息生成。
3.如权利要求1所述的控制器,其中所述处理器被进一步配置成用于控制所述一个或多个其他自主代理,以基于所述自主代理的确定的位置、由所述自主代理引导的人类的确定的位置以及一个或多个其他自主代理的所述操作信息来调整所述一个或多个其他自主代理的操作。
4.如权利要求1所述的控制器,其中所述处理器被进一步配置成用于基于由所述自主代理引导的所述人类的确定的位置来预测所述人类的未来移动。
5.如权利要求4所述的控制器,其中所述处理器被配置成用于基于由所述自主代理引导的所述人类的确定的位置和所述人类的当前移动来预测所述人类的未来移动。
6.如权利要求5所述的控制器,其中所述处理器被配置成用于进一步基于所述自主代理在所述环境中的规划路径来预测所述人类的所述未来移动。
7.如权利要求1-6中任一项所述的控制器,其中所述处理器被配置成用于:
基于所述人类的当前移动和所述自主代理在所述环境中的规划路径来确定行为确定性分数;以及
基于所述行为确定性分数来预测所述人类的未来移动。
8.如权利要求1-6中任一项所述的控制器,其中:
所述处理器被配置成用于基于所述一个或多个其他自主代理与所述人类的碰撞概率来估计对所述人类的伤害风险;
所述碰撞概率基于所述人类与所述一个或多个其他自主代理的距离和行为确定性分数来确定;
所述行为确定性分数基于所述人类的当前移动和所述自主代理在所述环境中的规划路径来确定。
9.如权利要求8所述的控制器,其中所述处理器被配置成用于进一步基于以下各项来估计伤害风险:所述人类与所述一个或多个其他自主代理的距离小于危险距离阈值的持续时间,或由所述一个或多个其他自主代理对所述人类造成的伤害的估计程度。
10.如权利要求8所述的控制器,其中所述处理器被进一步配置成用于基于所述估计风险来控制所述一个或多个其他自主代理,以调整所述一个或多个其他自主代理的操作。
11.如权利要求1-6中任一项所述的控制器,其中所述处理器被进一步配置成用于基于所述自主代理的确定的位置、由所述自主代理引导的所述人类的确定的位置以及一个或多个其他自主代理的所述操作信息来适应所述自主代理在所述环境中的规划路径。
12.如权利要求11所述的控制器,其中所述处理器被配置成用于基于所述人类的预测移动来进一步适应规划路径。
13.如权利要求1-6中任一项所述的控制器,进一步包括一个或多个配置成用于生成至少一部分所述传感器数据的传感器。
14.如权利要求1-6中任一项所述的控制器,其中至少一部分传感器数据接收自所述一个或多个其他自主代理。
15.如权利要求14所述的控制器,其中至少另一部分传感器数据接收自配置成用于控制所述一个或多个其他自主代理的外部控制器。
16.如权利要求1-6中任一项所述的控制器,其中所述自主代理是配置成用于在所述环境中引导所述人类的安全引导机器人SGR。
17.一种安全引导机器人SGR,包括:
一个或多个传感器,所述一个或多个传感器被配置成用于检测所述SGR的位置和由所述SGR引导的人类在环境中的移动,以及用于基于检测到的位置和移动来生成传感器数据;
收发器,所述收发器被配置成用于从所述环境中的一个或多个其他自主代理接收操作信息;以及
处理器,所述处理器被配置成用于基于所述传感器数据和接收的操作信息来控制所述SGR。
18.如权利要求17所述的SGR,进一步包括被配置成用于接收来自所述人类的输入并用于向所述人类提供通知的接口,其中所述处理器被进一步配置成用于生成用于通知所述人类期望路径的对所述人类的通知,所述通知基于所述传感器数据和所述接收的操作信息生成。
19.如权利要求18所述的SGR,其中所述接口包括从组中选择的接口设备,所述组包括:一个或多个扬声器、一个或多个麦克风、触摸屏显示器和激光指示器。
20.如权利要求17所述的SGR,其中所述处理器被进一步配置成用于基于所述传感器数据和一个或多个其他自主代理的接收的操作信息来控制所述一个或多个其他自主代理,以调整所述一个或多个其他自主代理的操作。
21.如权利要求17所述的SGR,其中所述处理器被进一步配置成用于基于所述传感器数据和所述SGR在所述环境中的规划路径来预测所述人类的未来移动。
22.如权利要求17-21中任一项所述的SGR,其中所述处理器被进一步配置成用于基于所述传感器数据、一个或多个其他自主代理的所述操作信息以及预测的所述人类的未来移动来适应所述SGR在所述环境中的规划路径。
23.如权利要求17-21中任一项所述的SGR,其中所述收发器被配置成用于接收来自外部控制器的数据,所述外部控制器被配置成用于控制所述一个或多个其他自主代理,所述处理器被配置成用于基于所述传感器数据、来自所述一个或多个自主代理的接收的操作信息、以及来自所述外部控制器的数据来控制所述SGR。
24.如权利要求17-21中任一项所述的SGR,其中所述处理器被配置成用于基于所述传感器数据和接收的操作信息来评估所述环境对所述人类的安全性,所述SGR的控制基于评估的环境安全性。
25.一种用于自主代理的控制器,包括:
用于接收传感器数据的接口装置;以及
用于以下操作的处理装置:
基于传感器数据确定:所述自主代理的位置、由所述自主代理引导的人类在环境中的位置以及一个或多个其他自主代理的操作信息;以及
基于所述自主代理的确定的位置、由所述自主代理引导的人类的确定的位置以及一个或多个其他自主代理的所述操作信息来控制所述自主代理的移动。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/484,863 US20220009103A1 (en) | 2021-09-24 | 2021-09-24 | System and safety guide robot for accessing automated environments |
US17/484,863 | 2021-09-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115857437A true CN115857437A (zh) | 2023-03-28 |
Family
ID=79171728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211024074.XA Pending CN115857437A (zh) | 2021-09-24 | 2022-08-24 | 用于评估自动化环境的系统和安全性引导机器人 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220009103A1 (zh) |
EP (1) | EP4155860A1 (zh) |
CN (1) | CN115857437A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9694496B2 (en) * | 2015-02-26 | 2017-07-04 | Toyota Jidosha Kabushiki Kaisha | Providing personalized patient care based on electronic health record associated with a user |
JP7075822B2 (ja) * | 2018-06-04 | 2022-05-26 | パナソニックホールディングス株式会社 | マップ情報更新システム |
-
2021
- 2021-09-24 US US17/484,863 patent/US20220009103A1/en active Pending
-
2022
- 2022-08-24 CN CN202211024074.XA patent/CN115857437A/zh active Pending
- 2022-09-14 EP EP22195633.7A patent/EP4155860A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4155860A1 (en) | 2023-03-29 |
US20220009103A1 (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11325606B2 (en) | Methods and systems for establishing cooperative driving engagements with vehicles having varying levels of autonomy | |
US11364936B2 (en) | Method and system for controlling safety of ego and social objects | |
JP6462146B2 (ja) | 移動体移動システム及び移動経路選択方法 | |
US9760094B2 (en) | Distributed collaborative operations processor systems and methods | |
Ryan et al. | Decentralized control of unmanned aerial vehicle collaborative sensing missions | |
US20180233054A1 (en) | Method and apparatus for controlling agent movement in an operating space | |
JP7173966B2 (ja) | ビークル衝突回避 | |
US20200272159A1 (en) | Method and vehicle control system for intelligent vehicle control about a roundabout | |
JP7330142B2 (ja) | 車両のuターン経路を決定する方法、装置、デバイスおよび媒体 | |
US20210107152A1 (en) | Autonomous machine collaboration | |
EP4202785A1 (en) | Hazard exploration, estimation, and response system and method | |
US20220307849A1 (en) | Path planning system and method with intelligent sampling and two-way search (its) | |
US11921506B2 (en) | Belief state determination for real-time decision-making | |
US20200125856A1 (en) | Coverage device, moving body, control device, and moving body distributed control program | |
WO2020204871A1 (en) | Shared autonomous vehicle operational management | |
CN110673594A (zh) | 一种用于amr集群的调度和寻路方法及系统 | |
Shangguan et al. | Motion planning for autonomous grain carts | |
US11132898B2 (en) | Systems and methods for self-driving vehicle traffic management | |
EP4174609A1 (en) | Path planning system and method with intelligent sampling and two-way search (its) | |
US20220236736A1 (en) | Decentralized trajectory planning for multi-agent coordination | |
CN115857437A (zh) | 用于评估自动化环境的系统和安全性引导机器人 | |
Khan et al. | Hybrid Model Predictive Control for Unmanned Ground Vehicles | |
JP2023072447A (ja) | 移動体制御装置 | |
US20220335714A1 (en) | Autonomous agent task priority scheduling | |
EP4209857A1 (en) | Conflict detection and avoidance for a robot based on perception uncertainty |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |