CN115127555A - 移动多机器人系统中的网络感知和预测运动规划 - Google Patents
移动多机器人系统中的网络感知和预测运动规划 Download PDFInfo
- Publication number
- CN115127555A CN115127555A CN202210129498.6A CN202210129498A CN115127555A CN 115127555 A CN115127555 A CN 115127555A CN 202210129498 A CN202210129498 A CN 202210129498A CN 115127555 A CN115127555 A CN 115127555A
- Authority
- CN
- China
- Prior art keywords
- environment
- computing device
- amr
- qos
- autonomous agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 104
- 230000006870 function Effects 0.000 claims description 72
- 238000012544 monitoring process Methods 0.000 claims description 41
- 230000007613 environmental effect Effects 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000002776 aggregation Effects 0.000 claims description 23
- 238000004220 aggregation Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 230000001360 synchronised effect Effects 0.000 claims description 13
- 230000001934 delay Effects 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 43
- 238000000034 method Methods 0.000 abstract description 38
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 239000003795 chemical substances by application Substances 0.000 description 119
- 238000012545 processing Methods 0.000 description 64
- 230000015654 memory Effects 0.000 description 41
- 230000008569 process Effects 0.000 description 22
- 238000013508 migration Methods 0.000 description 12
- 230000005012 migration Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000004931 aggregating effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000760358 Enodes Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/364—Delay profiles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/318—Received signal strength
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
- H04B17/3913—Predictive models, e.g. based on neural network models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/091—Measuring contribution of individual network components to actual service level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0958—Management thereof based on metrics or performance parameters
- H04W28/0967—Quality of Service [QoS] parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
- H04W28/24—Negotiating SLA [Service Level Agreement]; Negotiating QoS [Quality of Service]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0034—Assembly of a flight plan
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0086—Surveillance aids for monitoring terrain
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0091—Surveillance aids for monitoring atmospheric conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
- H04L43/087—Jitter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Environmental & Geological Engineering (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及移动多机器人系统中的网络感知和预测运动规划。公开了用于促进多代理路径规划并用于使机器人系统的导航对无线网络相关问题能够更具弹性的技术。所讨论的技术包括增强路径规划算法来考虑无线服务质量(QoS)度量,以用于对经规划的多代理路径进行标识。此外,这些技术还包括对通信等待时间和计算等待时间的补偿,以实现将时间敏感的导航工作负荷迁移到网络基础设施组件。
Description
技术领域
本文描述的各方面总体上涉及自主系统的运动规划,更具体地涉及实现无线服务质量(QoS)信息和机器学习以提供自主代理的运动规划的技术。
背景技术
即将到来的“工业4.0”范式正在使用计算、通信和AI技术来提高自动化效率,减少能源使用,并且改善人类工作者的安全性。自主移动机器人(AMR)是工厂和仓库中满足这些需求的关键组件。根据此类用例,AMR共同实现感知和操纵,以通过在环境中导航,同时与其他AMR以及中央实体进行通信和协调来完成给定的任务。该协调需要有界等待时间、可靠的通信和计算能力,该协调通常在为AMR环境服务的联网环境中被处置。然而,目前在此类环境中支持AMR路径规划和导航的技术并不充分。
附图说明
结合到本文中并构成本说明书的一部分的附图图示本公开的多个方面,并且与说明书一起,进一步用于解释多个方面的原理,并使相关领域的技术人员能够制造和使用多个方面。
图1图示出根据本公开的各方面的利用自主移动机器人(AMR)的示例性环境的框图。
图2A图示出根据本公开的各方面的基于无线服务质量(QoS)信息的多代理路径规划过程流程的框图。
图2B图示出根据本公开的各方面的显示等待时间QoS度量和所得到的QoS得分之间的关系的示例性图。
图2C图示出根据本公开的各方面的并入无线QoS数据的示例性共享环境模型的框图。
图3图示出根据本公开的各方面的与迁移多代理导航流水线的导航任务和执行航点校正相关联的过程流程的框图。
图4图示根据本公开的一方面的示例性自主代理的框图。
图5图示出根据本公开的各方面的示例性计算设备的框图。
将参照附图描述本公开的示例性方面。其中要素第一次出现的附图通常由对应的附图标记中最左面的(多个)数字指示。
具体实施方式
在下面的描述中,阐述了众多具体细节以便提供对本公开的多个方面的完全理解。然而,对本领域技术人员将显而易见的是,可以在没有这些具体细节的情况下实施包括结构、系统和方法在内的多个方面。本文的描述和表示是由本领域的经验或技术人员使用来向本领域其他技术人员最有效地传达其工作的实质的通用手段。在其他实例中,未详细地描述公知的方法、过程、组件、和电路,以避免不必要地使本公开的多个方面变得模糊。
再次,当前在此类环境中支持AMR路线规划和导航的技术也具有各种缺点。例如,在AMR环境中实现的网络可以包括无线时间敏感联网(WTSN)系统,诸如可以被部署在仓库或工厂中以促进AMR自主功能的基础设施基于Wi-Fi和蜂窝的网络解决方案。然而,与WTSN基础设施部署相关联的挑战之一是通信环境是高度动态的,仅凭无线规划难以解决。例如,诸如工厂或仓库之类的AMR环境可能使用提供由于环境的改变(诸如AMR或其他对象移动穿过无线通信介质)而不一致的无线通信性能水平的无线网络。无线通信性能也可能遭受由于这些随时间的改变而引起的不一致,该不一致可被表征为由于交叉信道干扰、屏蔽、漫游等之类因素而引起的增加的等待时间、抖动等。因此,在此类用例中,存在确保一致的连接性水平的需求,一致的连接性水平被表征为有界的等待时间和可靠性。
常规上,可以实现多机器人路径规划算法以便在特定环境中为所有AMR规划路径,以使AMR能够以有效的方式完成任务。这是由AMR和中央控制器协作地执行的功能。此类路径规划算法通常通过协作地更新环境的共享模型来起作用,该共享模型通常是被划分为更小区域或单元的区域(例如操作环境)的图形表示,该共享模型考虑了动态障碍物和碰撞概率,使得AMR(或控制器)中的每一者可以制定允许每个AMR在尽可能短的时间内不间断地完成其任务的路径。然而,常规的多机器人路径规划和导航算法(诸如在现有的启用边缘计算的协作式多机器人系统中使用的那些算法)具有关键的局限性,这些局限性被下文将进一步详细讨论的本文所述的各方面所解决。
首先,常规的路径规划算法假定AMR总是以理想的无线状况连接到基础设施,并且不考虑连接性链路(例如,由于不良覆盖范围、干扰或其他环境相关问题)发生故障的可能性。此类传统的路径规划算法在路径规划过程期间不考虑无线信道条件(例如信号强度、数据分组错误、抖动、信噪比等)以及AMR与无线基础设施之间的无线链路性能。因此,无线服务质量(QoS)不仅影响到多机器人协调和导航,还影响到终端用例。这是重要的问题,因为AMR与基础设施之间的较差的连接性能可能影响导航任务的准确性、速度和成功,导航任务由机器人在计算基础设施的支持下协作地完成,并且因此影响特定环境的特定应用的总效率。
其次,与导航相关的感知控制功能(例如,SLAM、Octomap生成、机器人定位和姿势估计、多机器人路径规划等)很大程度上使用每个机器人上本地可用的有限计算能力来执行。将这些时间敏感的导航功能迁移到基础设施组件是不可能的,因为这些功能受到上行链路(UL)/下行链路(DL)通信等待时间(例如从机器人到边缘服务器)以及执行这些计算上繁重的功能所引入的计算等待时间的影响。此外,目前对由于将导航功能迁移到基础设施组件而产生的通信和计算等待时间进行补偿是不可能的。因此,传统机器人不能利用任何现场基础设施组件(例如边缘服务器)和/或远程基础设施组件(例如云计算系统)的巨大计算能力来加速这些功能并提高导航的速度。
本文进一步详细描述的各方面提供了两个解决方案,这两个解决方案可以单独地实现或组合实现,以解决上述常规的AMR路径规划问题。在这样做时,本文描述的各方面使机器人系统的导航对无线网络相关的问题能够更具弹性,独立于无线系统操作。如本文所进一步讨论的,各方面包括增强传统的路径规划算法,以考虑无线QoS度量,并且因此标识最优路径。此外,各方面进一步包括用于对通信等待时间和计算等待时间进行补偿的系统和机制,使得将时间敏感的导航工作负荷迁移到基础设施组件是可行的。
图1图示出根据本公开的各方面的利用自主移动机器人(AMR)的示例性环境的框图。如图1所示,环境100支持任何合适数量N个AMR 102,为了易于解释,示出了三个AMR102.1-102.3。环境100可以是使用AMR 102的任何合适类型的环境,诸如工厂、仓库等。AMR102可以具有任何合适类型的设计和功能,以与网络基础设施的其他组件进行通信,如下文进一步所讨论。AMR 102可以自主地或半自主地操作,并被配置为在环境100内移动以完成特定任务的移动机器人。AMR 102可以包括用于实现感测其周围环境和标识关于环境100的反馈的任何适当数量和/或类型的传感器。AMR 102可以进一步被配置有用于促进数据的传送和/或接收的任何合适数量和/或类型的无线无线电组件。例如,AMR 102可以传送指示环境100内正在执行的当前任务、位置、定向、速度、轨迹、航向等的数据。作为另一个示例,AMR102可以从计算设备108接收命令和/或所规划的路径信息,每个AMR 102可以执行该命令和/或所规划的路径信息,以导航到环境100内的特定位置。虽然出于简明的目的没有在图1中示出,但AMR 102可以附加地彼此通信以确定关于其他AMR 102的信息(例如正在执行的当前任务、位置、定向、速度、轨迹、航向等),以及其他信息(诸如由其他AMR 102生成的传感器数据)。
尽管本文描述的各方面使用环境100是支持在此类环境中操作的AMR 102的工厂或仓库的示例,但这是通过示例而非限制的方式。本文描述的各方面可以根据任何合适类型的环境和/或任何合适类型的移动代理来实现。例如,环境100可以是户外的,并利用诸如被自主交通工具利用的道路之类的区域来标识。因此,本文描述的各方面可以适用于AMR以及可以基于任何合适的应用或期望的功能在任何合适类型的环境中操作的其他类型的自主代理。
同样,AMR 102通过与支持网络基础设施的各种组件进行通信而在环境100内操作。在一方面,网络基础设施可以包括用于支持与AMR 102通信的任何合适数量和/或类型的组件。例如,网络基础设施可以包括根据任何合适数量和/或类型的通信协议操作的有线和/或无线联网组件的任何合适的组合。例如,网络基础设施可以包括使用有线链路(诸如以太网或光学链路)以及无线链路(诸如Wi-Fi(例如802.1协议)和蜂窝链路(例如3GPP标准协议、LTE等)的互连。网络基础设施可以是,例如,接入网络、边缘网络、移动边缘计算(MEC)网络等。在图1所示的示例中,网络基础设施包括能够连接到互联网的一个或多个云服务器110,这些云服务器可以被实现为任何合适数量和/或类型的云计算设备。网络基础设施可以附加地包括计算设备108,计算设备108可以被实现为任何合适数量和/或类型的计算设备,诸如可以形成蜂窝节点的部分的服务器。在一方面,计算设备108被实现为边缘服务器和/或边缘计算设备。
在一方面,计算设备108可以经由一个或多个链路109与一个或多个云服务器110通信,该一个或多个链路109可表示任何合适数量和/或类型的有线和/或无线链路以及出于简洁的目的未在图1中示出的其他网络基础设施组件的聚合。例如,链路109可以表示附加的蜂窝网络塔(例如一个或多个基站、eNode Bs、中继、宏蜂窝、微蜂窝等)。在一方面,网络基础设施进一步包括网络域106,该网络域106可以被实现为经由接入点(AP)104充当计算设备108(例如边缘节点)与各种AMR 102之间的桥梁的任何合适类型的域。可以根据任何合适数量和/或类型的AP来实现的AP 104被配置成用于根据任何合适类型的通信协议来促进通信。例如,网络域106可以被实现为时间敏感网络(TSN)域,该时间敏感网络(TSN)域经由链路107连接到计算设备108,该链路107例如可以是基于以太网的网络和链路。继续该示例,AP 104可以被实现为同与精确的时钟源同步的TSN域106一起形成TSN网络的无线TSN(WTSN)接入点。网络基础设施可以包括任何合适数量的AP 104,出于简洁的目的,图1中示出了两个AP 104。在图1所示的示例中,AP 104.1、AP 104.2为AMR 102提供服务,以促进AMR102与计算设备108(或其他合适的网络基础设施组件,诸如云服务器110)之间的无线通信。因此,AP 104可以被配置成用于支持根据任何合适数量和/或类型的通信协议(诸如电气和电子工程师协会(IEEE)802.11工作组标准(在撰写本申请时其最新版本是于2021年2月26日发布的IEEE Std 802.11TM-2020)和/或IEEE 802.1TSN联网组协议(在撰写本申请时其最新版本是于2020年6月19日发布的IEEE Std 802.1AS-2020:局域网和城域网的IEEE标准—时间敏感应用的计时和同步))进行通信。此类TSN标准协议可以例如允许在没有架构改变或协议转换网关的情况下将TSN功能从以太网映射到Wi-Fi。替代地,AP 104可以根据除802.11工作组以外的其他类型的通信标准进行操作,例如,诸如基于蜂窝的标准(例如“私人蜂窝网络”)或其他本地无线网络系统。在进一步的其他替代方面,AMR 102可以与计算设备108或网络基础设施的其他合适的组件直接地通信,而不需要使用AP 104。
在任何情况下,AMR 102可以与计算设备108(或其他合适的网络基础设施组件,诸如(多个)云服务器110)通信,以实现本文所述的各方面。因此,网络基础设施可以包括任何适当数量和组合的有线和/或无线设备以及伴随的链路。在图1所示的示例中,链路105.1、105.2、107和109是实线,并且因此表示有线连接,而链路101.1、101.2、101.3是用虚线来图示,并且因此表示无线连接。
在如图1所示的环境100中,计算设备108(其可以再次被实现为边缘计算设备、服务器、节点等)被配置成用于与AMR 102中的每一者通信以从AMR 102接收数据并向AMR 102传送数据。该功能可以附加地或替代地由能够直接或间接地与AMR 102通信的其他网络基础设施组件(例如,诸如,一个或多个云服务器110)执行。然而,计算设备108的本地性质可以提供附加的优势在于,计算设备108与AMR 102之间的通信可以以减少的网络等待时间发生。因此,本文描述的各方面在描述该功能时将计算设备108用作主要的示例,尽管可以理解这是通过示例,而非限制的方式。
因此,计算设备108可以经由AP 104接收来自AMR 102中的每一者的传感器数据,并且使用该传感器数据以及已经知晓的与环境100有关的其他信息(例如关于环境100中的静态对象的尺寸和位置的数据),以生成表示环境100的共享环境模型。该共享环境模型可以被表示为具有任何合适尺寸和/或形状的单元的导航网格,其中每个单元具有关于该单元中包含(或不包含)的对象的类型、该单元中的对象是静态的还是移动的等等的特定属性,这使得环境模型能够准确地描绘环境100的性质。作为示例,网格单元可以是基于特定环境和伴随应用的所期望的粒度的预定尺寸(例如80mm)的正方形。因此,当从AMR 102接收到新的传感器数据时,环境模型可以由AMR 102直接地进行动态更新和/或经由计算设备108逐单元地进行动态更新。因此,对共享环境模型的更新反映了环境100中的任何最新改变,诸如AMR 102中的每一者的位置和定向以及环境100内可能以动态方式改变的其他障碍物(例如,人、叉车、机械等)。共享环境模型可以附加地或替代地基于从环境100内的其他传感器或设备(诸如固定式相机)接收到的数据来进行更新,这例如可以实现在不依赖AMR通信的情况下更准确地描述AMR 102的位置。
每个AMR 102执行路径规划算法,并在特定时间使用共享环境模型(例如最近构建的共享环境模型)来计算每个AMR 102的导航路径。这些导航路径包括在环境100内定义了从开始点(例如其在环境100中的当前位置)到环境100内的目的地的AMR轨迹的中间点或“航点”集合。也就是说,航点向AMR指示如何执行所规划的导航路径,以在特定时间点前进到中间点中的每一个中间点,直到到达目的地。因此,考虑到AMR 102的导航的时间敏感性,说明了AP104被实现为WTSN的一部分的优势,因为需要同步的高精度公共时钟以确保AMR102的准确自主控制。
因此,由AMR 102实现的现有导航应用完全取决于无线网络连接性,并且如果无线网络(或与无线网络结合操作的其他网络基础设施组件)发生故障,那么AMR导航应用也发生故障。然而,如上所述,传统的路径规划算法并不使用表征或以其他方式考虑底层无线网络性能(例如,在该示例中由AP 104.1、104.2提供服务的无线网络的性能)的信息。相反,传统的方法是通常对无线基础设施进行过度设计和过度配置,以使其足够可靠以供AMR 102操作,并且随后通过故障安全规则集处理极端情况。换句话说,传统路径规划算法通常计算导航路径,该导航路径对环境100内的最短路径或最快路径进行优化,但从无线网络的角度来看不对可靠性进行优化。这导致问题,因为每个AMR 102的所计算的导航路径(或轨迹)可能不可靠,导致在AMR 102沿着所计算的导航路径行进并试图与计算设备108通信时,由于较差的无线连接性或QoS而导致导航任务的失败和/或降级。
因此,并且如下面例如参考图2A-图2C进一步讨论,本文描述的各方面通过增强路径规划算法来解决这些缺点,路径规划算法具有用于使用在导航网格中的每个单元或航点位置处的QoS信息对环境100的环境模型进行动态地监测、建模、以及丰富的机制。使用QoS信息构建的此种“丰富的”环境模型随后由AMR 102作为路径规划算法的一部分使用(或者,在本文进一步详细讨论的其他方面,由计算设备108作为路径规划算法的一部分迁移和使用)以计算出AMR 102的“网络高效的”导航路径,从而改善环境100中导航任务的总效率。
在环境100中实现的系统的一般操作
参考计算设备108,计算设备108可以进一步包括:通信电路,该通信电路被配置成用于:从在无线网络的环境100内操作的自主代理102接收服务质量(QoS)度量,该QoS度量与一个或多个无线链路105相对应并且由自主代理102经由对一个或多个无线链路的监测而生成;以及一个或多个处理器,该一个或多个处理器被配置成用于使用QoS度量生成环境模型,该环境模型表示环境100的模型,该模型用于环境内自主代理的导航路径规划。计算设备108可以包括边缘网络计算设备。环境模型可以进一步包括网格单元集合,并且一个或多个处理器可以被配置成用于将从多个自主代理中的每一个自主代理接收到的QoS度量进行聚合,以计算每个网格单元的、表示相应网格单元中的预期QoS水平的预期QoS得分。除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,该一个或多个处理器可以进一步被配置成用于使用加权平均函数来计算每个网格单元的预期QoS得分,其中更近的值被分配更高的权重。除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,导航路径可进一步包括来自多个网格单元之中的连接的网格单元的链,该连接的网格单元指示环境内被自主代理穿过以到达目标网格单元的路径。除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,该一个或多个处理器可以进一步被配置成用于计算并入每个网格单元的预期QoS得分的环境模型。QoS度量可以包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
参考自主代理102,自主代理102可以进一步包括:通信电路,该通信电路被配置成用于使自主代理102能够经由使用环境100内的一个或多个无线链路105的无线网络与计算设备108通信,以及一个或多个处理器,该一个或多个处理器被配置成用于监测该一个或多个无线链路并用于根据监测生成关于该一个或多个无线链路的服务质量(QoS)度量,该通信电路进一步被配置成用于将QoS度量传送到计算设备108,以用于生成与环境100相关联的环境模型,并且该一个或多个处理器被配置成用于根据环境模型来计算针对自主代理102的导航路径,以供自主代理102导航到环境100内的目的地。通信电路可以被配置成用于与包括计算设备108的边缘网络计算设备通信。除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,环境模型可以包括网格单元集合,并且并入来自由多个自主代理102中的每一个自主代理传送的QoS度量的聚合的每个网格单元的预期QoS得分。每个网格单元的预期QoS得分可以进一步基于加权平均函数,其中更近的值被分配更高的权重。此外,除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,导航路径包括来自多个网格单元之中的连接的网格单元的链,该连接的网格单元指示环境内被于自主代理穿过以到达目标网格单元的路径。此外,除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,一个或多个处理器可以被配置成用于通过迭代地执行成本函数来计算导航路径以到达目的地网格单元,该成本函数使用每个网格单元的预期QoS得分和来自导航路径中的网格单元的可能的QoS得分的估计。又进一步地,QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
参考计算设备108,计算设备108可以进一步包括:通信电路,该通信电路被配置成用于在环境100内操作的自主代理102根据通信延迟传送传感器数据之后,经由无线网络接收来自该自主代理102的传感器数据;一个或多个处理器,该一个或多个处理器被配置成用于使用传感器数据计算自主代理102到达环境100内的目的地的导航路径,该导航路径包括多个航点,其中该计算与计算延迟相关联;以及航点校正神经网络,该航点校正神经网络被配置成用于(i)接收多个航点,(ii)预测由通信延迟和计算延迟引起的自主代理102的轨迹延迟,以及(iii)计算多个延迟校正的航点,该通信电路进一步被配置成用于将多个延迟校正的航点传送到自主代理102,以供自主代理102穿过该导航路径。该计算设备可以是边缘网络计算设备。此外,除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,航点校正神经网络可以包括实现长短期记忆(LSTM)架构的深度神经网络。此外,除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,航点校正神经网络可以被配置成用于进一步使用与下行链路通信等待时间相关联的、关于将多个延迟校正的航点传送到自主代理所需时间的预测延迟来计算多个延迟校正的航点。此外,除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,自主代理102和一个或多个处理器可以被配置成用于使用环境模型来计算自主代理102的导航路径,该环境模型包括具有每个网格单元的预期QoS得分的网格单元集合,该每个网格单元的预期QoS得分使用从自主代理102中的每一个自主代理接收到的相应QoS度量集合来计算,该QoS度量与用于计算设备108与多个自主代理102之间的通信的一个或多个无线链路相对应。QoS度量可以包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。再进一步地,除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,多个航点可以形成自主代理的开始位置与目的地之间的导航路径,多个航点中的每一个航点表示自主代理102要在相应的穿越时间穿过的环境100内的位置,并且执行多个航点的计算所需的时间与计算延迟相关联。另外,除本段落中提到的特征中的任一特征之外或与本段落中提到的特征中的任一特征组合,航点校正神经网络可以被配置成用于计算多个延迟校正的航点以补偿轨迹延迟,使得当自主代理102执行多个航点时,多个延迟校正的航点与环境100内的自主代理102的轨迹同步。
基于无线QoS的多代理路径规划
图2A图示出根据本公开的一方面的基于无线服务质量(QoS)的多代理路径规划过程流的框图。图2图示出关于如图1中所示的AMR 102与计算设备108之间的通信的附加细节,其中示出了关于由AMR 102和计算设备108执行的各种功能的附加细节。图2A还示出了关于现在QoS信息被用于更新共享环境模型250的附加细节,该共享环境模型250被用于导航路径规划。例如,在如图1所示的环境100中,每个AMR 102绘制出要遵循的路径,以完成由中央控制器已分配的任务,在各方面,该中央控制器可以由例如计算设备108或网络基础设施的任何其他合适的组件和/或连接到网络基础设施的组件实现。
出于简明的目的,图2A图示出对单个AMR 102的链路监测和QoS度量报告的细节,尽管本文描述的过程被理解为由环境100内的AMR 102中的每一者或其任何子集执行。在一方面,导航路径的计算由环境100内的每个AMR 102执行,以导航到环境100内的目的地,以完成由负责任务规划的中央控制器(例如,该示例中的计算设备108)分配给每个AMR的特定任务。同样,出于提供共享环境模型250的目的,环境100被划分为被表示为网格的较小的区域,其中区域被称为网格单元或简称“单元”。AMR 102中的每一者协作地更新和共享动态地发现的与这些单元中的每一个单元有关的信息和更新,这些信息和更新一般与任何动态障碍物和冲突的导航路径相关。AMR 102将任何经标识的更新传送到关于环境100的共享环境模型250。
由AMR 102动态地发现的信息可以是例如每个AMR 102本地地处理其传感器数据的结果。经更新的共享环境模型250可由中央控制器维护并与AMR 102中的每一者共享,以及用于规划任务。因此,在任何给定的时间点,AMR 102可能试图确定哪些单元要添加到特定的路线(例如,所规划的路径)或移动到哪些单元,以便其分配的任务可以以最有效的方式来完成。换句话说,由于环境100的动态性质,每个AMR 102使用被提供给共享环境模型250的迭代更新,以连续和迭代的方式计算其自己的导航路径。因此,共享环境模型250可以被存储在计算设备108中和/或本地地存储在与AMR 102中的每一者相关联的或以其他方式由AMR 102中的每一者访问的存储器中。附加地或替代地,共享环境模型250可以被存储在网络基础设施的任何其他合适的组件或与其连接的设备中。在任何情况下,AMR 102可以迭代地接收或以其他方式访问共享环境模型250(包括最近的更新),以执行本文讨论的导航路径规划功能。因此,共享环境模型250可以在由中央控制器接收到新的传感器数据并由AMR 102处理和/或本地地处理时被更新,并且以定期方式或按照任何合适的时间表执行。
在一方面,AMR 102中的每一者可以实现一套板载传感器,以生成指示环境100内AMR 102的定位、位置、速度、航向等的传感器数据。这些传感器可以被实现为通常是已知的和/或用于自主导航和环境监测的任何合适的数量和/或类型。此类传感器的示例可以包括无线电检测与测距传感器(radar)、光检测与测距传感器(LIDAR)、光学传感器、相机、罗盘、陀螺仪、用于定位的定位系统、加速计等。因此,传感器数据可以指示每个AMR 102附近各种对象的存在和/或范围。每个AMR 102可以附加地处理该传感器数据,以标识环境100内的障碍物或其他相关信息,这将影响共享环境模型250。然后,AMR 102可以使用共享环境模型250来迭代地计算各自的导航路径,如本文进一步所讨论。
每个AMR 102还可以利用任何合适数量和/或类型的硬件和软件配置来实现,以促进环境100内的自主导航功能,包括已知配置。例如,每个AMR 102可以实现可包括一个或多个处理器或处理电路的控制器,该一个或多个处理器或处理电路可以执行安装在本地存储器上的软件以执行各种自主导航相关功能。例如,并且如图2A所示,障碍物监测处理块202使AMR 102能够使用传感器数据来检测环境100内的障碍物并且任选地对环境100内的障碍物进行分类,并且随后使用该信息来传送关于共享环境模型250的更新。定位处理块206进一步使AMR 102能够使用板载传感器来执行姿势估计和/或标识例如环境100内AMR 102的位置、定向、速度、方向和/或定位,AMR 102也可用于在AMR 102沿着特定的所规划的路径移动时将关于环境100内的AMR位置和轨迹的更新传送到共享环境模型250。AMR 102进一步包括可以执行导航相关功能的路径规划功能(例如,SLAM、八叉树地图(octomap)生成、多机器人路径规划等)的路径规划处理块204。
因此,每个AMR 102可以执行使通信功能以及自主导航和控制功能得以实现的应用208,该应用208可以针对特定类型的AMR、其能力、特定应用和环境100进行定制。例如,应用208可以使AMR 102能够生成控制命令,并根据计算出的所规划的路径执行导航功能,诸如转向、速度控制、电机或伺服致动等。作为附加的示例,图2A中所示的各种处理块和应用(例如,障碍物监测块202、路径规划处理块204、定位处理块206、应用208、链路监测处理块210和/或L1-L7统计信息聚合块212)中的一个或多个可以通过修改由AMR 102实现的现有控制应用和/或固件来实现为定制的软件应用和/或固件,以及除由AMR 102实现的当前使用的(多个)控制应用之外的补充(例如,附加)应用和/或固件。以此方式,AMR 102可以经由链路监测处理块210收集链路监测的QoS度量,并且基于由应用208提供的执行和反馈来附加地或替代地收集与AMR 102的性能相关的基于应用的QoS度量(例如,L4度量,如本文进一步详细指出的)。此类定制的应用对于确保利用与何处和何时测得或以其他方式获得性能度量相对应的位置和时间来适当地标记链路监测的QoS度量和基于应用的QoS度量(在本文中统称为“QoS度量”)可能是特别有用的。
在一方面,每个AMR 102可以被配置成用于例如经由图2A中所示的链路监测处理块210来执行链路监测。同样,这可以例如通过更新由AMR 102实现的软件和/或固件来实现,以将该能力添加到可能在环境100中使用的现有AMR 102。附加地或替代地,可将硬件添加到AMR 102中以促进该功能,尽管这不是实现本文所描述的各方面所必需的。例如,并且如图2A中进一步详细示出,每个AMR 102可以监测用于与计算设备108或其他网络基础设施组件(视情况而定)进行通信的(多个)无线链路。为了参考图1提供说明性示例,这可以包括:AMR 102.1监测无线链路101.1;AMR 102.2监测无线链路101.1、101.2;AMR 102.3监测无线链路101.3,等等。
因此,各方面包括每个AMR 102执行无线链路监测以收集和聚合关于作为该过程的一部分被监测的(多个)无线链路的QoS度量,然后将该QoS度量传送到中央控制器(例如,在该示例中的计算设备108)。中央控制器可以实现聚合/QoS映射处理块214,以将从环境100内的AMR 102中的每一者接收到的经聚合的QoS度量逐单元地映射到共享环境模型250,该共享环境模型250可以在接收到新数据时被更新,允许AMR 102(或者当该功能被迁移时中央控制器108)将QoS度量作为其路径规划算法的一部分来实现。因此,通过以此方式收集QoS度量,各方面包括利用用于对环境100的共享环境模型250进行动态地监测、建模并利用导航网格中的每个单元位置处的QoS信息来丰富环境100的共享环境模型250的机制来增强传统的路径规划算法,该QoS信息可以利用每个AMR 102的所规划的路径中的相应航点来标识。如下文进一步详细讨论,每个AMR 102随后可以使用该“丰富的”共享环境模型250来标识AMR 102要穿过的网络高效的导航路径,从而改善导航任务的总效率。
例如,并继续参考图2A,每个AMR 102可以利用链路监测来增强它们自己的路径规划计算。为此,每个AMR 102可以执行无线链路监测,以确定和聚合环境100内的任何点处的(多个)无线链路的性能。在一方面,每个AMR 102可以使用AMR 102内的现有硬件来执行图2A所示的链路监测,诸如从被提供给被实现为AMR 102的一部分的无线卡或调制解调器的接口获得的数据,这些接口使得能够与AP 104进行无线通信。尽管在本文中被称为QoS度量,但该度量可以是可指示环境100内的特定时间和位置处的无线链路性能的任何合适类型的度量。可经由使用被标识为如图2A所示的处理块210的链路监测的每个AMR 102确定的QoS度量的一些非限制性示例包括:等待时间(例如,被监测的无线链路的上行和/或下行等待时间)、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)、调制和编码方案(MCS)直方图数据(例如开放系统互连(OSI)模型第1层(L1)和第2层(L2)统计信息)等。
在一方面,每个AMR 102可以在任何合适的时间和任何合适的时间长度(诸如在静止时、在穿过所规划的路径时、在等待进一步指令时等)内执行链路监测功能。AMR 102还可以记录或以其他方式存储AMR 102的时间和定位数据(例如,定位和/或定向),该数据与经由使用AMR现有的定位功能的链路监测得出的所测得的QoS度量相关。换句话说,各方面包括每个AMR 102在环境100内逐时间地和逐位置地对QoS度量进行聚合。
因此,各方面包括每个AMR 102执行统计信息聚合以将经封装的QoS度量集合(例如,如本文中所描述的收集到的、测得的或以其他方式获得的QoS度量的聚合,这些QoS度量可来自链路监测的使用和/或经由应用208得出)作为到中央控制器的周期性数据传输的一部分,其中该QoS度量集合被标记或以其他方式关联到环境100内的特定位置以及QoS度量被收集的时间。同样,除了从链路监测中导出的关于通信栈层L1(例如PHY)、L2(例如MAC)和L3的链路监测QoS度量之外,各方面进一步包括每个AMR 102附加地或替代地使用从用于控制AMR 102的功能的应用208的执行中得出的应用相关数据获得更高应用通信栈层L4-L7的基于应用的QoS度量。这可以包括例如从所执行的控制应用报告或得出的、可以用作关于无线网络性能的反馈的任何适当类型的统计信息。示例包括关于AMR 102在移动到某一位置、执行某一任务等时执行通信所获得的应用数据。
因此,如图2A所示的L1-L7统计信息聚合处理块212使每个AMR 102能够将关于所执行的控制应用的QoS度量(基于应用的QoS度量)以及经由作为位置的函数并与特定时间相关的无线链路监测(链路监测的QoS度量)的那些测量进行聚合。因此,AMR 102促进对跨若干通信栈层的各种QoS度量进行聚合,并利用环境100内被量化为共享环境模型250中的单元的位置对这些QoS度量进行标记。以此方式,可以从通信栈的任何合适的(例如全部的)层(例如L1-L7)对QoS度量进行聚合。通过以该方式利用控制应用数据,各方面包括AMR 102促进在AMR 102中运行的控制应用的接口,以报告任何相关的L4-L7度量(在应用级到协议级下收集到的度量),以逐位置(例如单元)和逐时间地来进行聚合。此类基于应用的QoS度量可以包括由控制应用本身所感知和跟踪的AMR 102的性能的一个或多个测量。
为了使用经聚合的QoS度量准确地更新共享环境模型250,中央控制器预测环境模型内每个单元处的网络性能,并且随后将该性能指标映射到每个单元的位置。图2C中示出了具有每个单元的此类网络性能信息的共享环境模型250的示例,其中出于简明的目的,单元的仅部分以这种方式被映射。为此,中央控制器利用来自各个单元的所报告的QoS信息的历史来构建环境100内的、如由AMR 102经历和报告的网络性能的指纹库(radio map)或指纹。各方面包括:中央控制器实现聚合和映射处理块214,以使用经聚合的QoS数据(例如从环境100内的AMR 102中的每一者接收到的QoS度量)向如本文所讨论的共享环境模型250提供更新。该更新包括,例如中央控制器通过使用由如上文所讨论的每个AMR 102提供的位置和时间相关的数据,将由每个AMR 102报告的接收到的QoS统计信息逐单元地进行聚合。
在一方面,中央控制器使用来自在环境100内操作的所有AMR 102的QoS度量计算经量化的预期QoS水平,以计算环境模型的每个单元的QoS得分(或简称为如本文使用的“得分”),该QoS得分表示该给定单元内的预期QoS水平。该得分在本质上是动态的,并反映了随着时间的推移不断完善的预期网络性能得分。各方面包括中央控制器使用加权平均函数对该得分进行平均,例如,其中较新的(即较近的)值被分配较高的权重。作为示例,此类加权平均函数可以计算在1到100的范围内的、归属于环境模型中的每个单元的得分,尽管这是通过示例而非限制的方式,并且任何合适的函数类型可用于计算具有任何合适范围的得分,该得分在本质上可以是数值或非数值的。
在各方面,中央控制器可以以依赖于任务的方式计算QoS得分。换句话说,从AMR102中的每一者接收和聚合的QoS度量可用于基于AMR 102被分配执行的关于所规划的路径的任务和/或当前正在被执行的任务,在共享环境模型250内逐单元地计算QoS得分。作为示例,QoS得分计算可以包括所监测的QoS度量(诸如PER、抖动、CINR、经聚合的MCS和等待时间(例如下行链路等待时间、上行链路等待时间,或两者))的加权组合。下面等式1中所示的QoS度量仅是用于计算对应的QoS得分值的示例QoS度量集合,并且各方面包括在有或没有对应的加权值或可能表示替代值或基于除AMR任务之外或替代AMR任务的其他因素的加权值的情况下,为此目的而实现的任何适当数量的QoS度量。
等式1:
QoS(task)=PER·W(task,per)+Jitter·W(task,j)+CINR·W(task,c)+Ag.MCS·W(task,Mcs)+Latency·W(task,latency),
(
QoS(任务)=分组错误率·W(任务,分组错误率)+抖动·W(任务,j)+载波与干扰加噪声比·W(任务,c)+经聚合的调制和编码方案·W(任务,调制和编码方案)+等待时间·W(任务,等待时间)),
其中,W(任务,x)表示确定特定度量x与手头的特定任务“任务”的性能有多大的相关性。例如,此类权重可以使用模拟、样本轮次等经验性地计算,并且因此表示与要执行的特定AMR任务相关的预定权重。继续该示例,使用这些度量中的每一个度量的经标准化的值,因此可以例如通过评估上述等式1来逐单元地得出要执行的特定任务的任何合适的得分范围,诸如1到100之间的范围。在一方面,权重参数标识手头的任务在多大程度上受对应的QoS度量的降级的影响或降级。换句话说,QoS(任务)是特定于任务的,但也表示特定单元的QoS性能的总测量,该总测量也可以通过以该方式对来自AMR 102中的每一者的特定于任务的QoS进行聚合来计算。
图2B提供了等待时间QoS度量(例如上行链路等待时间、下行链路等待时间或两者的组合)对所得到的QoS得分的影响的示例,为了便于解释,该示例仅考虑该QoS度量。同样,QoS得分可以使用从AMR 102接收到的QoS度量的任何合适的组合的加权总和或非加权总和来计算。如图2B所示,等待时间QoS度量随着特定单元中数据通信量的增加而增加,从而得到较低的QoS得分。
每个AMR 102(或其他方面中的中央控制器)执行路径规划算法以计算可被称为控制数据或航点数据的航点,如本文进一步详细讨论的。该航点数据可由AMR 102中的每一者彼此进行交换和/或与中央控制器进行交换,并取决于网络通信量的拥堵而受到影响。例如,当更多的AMR 102通过具有密集网络通信量的单元时,该特定AMR 102的控制数据的等待时间会增加许多倍。图2C图示出QoS等待时间度量与数据通信量的增加之间的关系。除了等待时间外,存在也会随着特定单元的数据通信量增加而受到影响的其他网络参数(诸如PER、抖动等)。因此,取决于AMR 102正在执行的任务类型以及期望的QoS得分或目标QoS得分,各方面包括中央控制器通过知晓每个单元的数据通信量以及当AMR 102进入该单元时对QoS得分的可能影响来分配AMR 102可以导航通过其的单元。例如,与需要向客户站运送物品或执行协作式任务的AMR 102相比,到达目标站并保持静止的AMR任务将需要较低的QoS得分。
现在转向由AMR 102执行的路径规划算法,以使用共享环境模型250执行自主导航,这在常规上通过经由每个AMR 102实现的控制器迭代地执行。具体而言,常规地,AMR102通过跨共享环境250的所有紧邻单元迭代地应用成本函数,直到到达目标单元(cgoal)或目的地单元为止,来确定从其开始点到目的地单元或目标单元的所规划的路径。下面提供此类成本函数的示例,并且被表示为等式2:
等式2:argminc∈N(g(c)+h(c,cgoal)),
其中,c是指AMR 102的紧邻的邻域N中的单元(例如相邻单元),g(c)是到相邻单元的路径的成本,以及h(c,cgoal)表示从相邻单元到目的地单元或目标单元的预测估计成本。
换句话说,由AMR 102使用的传统路径规划算法一次一个单元地增量地绘制出所规划的路径,在算法将AMR 102推进到下一个相邻单元时重复该过程。因此,所得到的所规划的路径可以被表示为连接的单元的链,这些连接的单元是共享环境模型250中表示的单元的子集。换句话说,路径规划算法用于标识要将与AMR 102相邻的单元的当前邻域中的哪个单元添加到其路径,使得到目标单元的总成本最小。也就是说,在算法选择要添加的单元之后,整个过程从该新单元开始重复,直到所添加的新单元成为目标单元。因此,传统的路径规划算法用于针对从AMR 102的当前开始点到目的地单元或目标单元的单元的各种组合来重复单元标识和选择过程,直到根据成本函数计算出经优化的路径。因此,以此方式计算出的经优化的规划路径得到表示AMR 102从其开始位置到达目标单元要穿过的单元中的每一个单元的中间航点集合。
在各个方面,为了将QoS期望和无线链路的性能并入此类路径规划算法中,由AMR102实现的成本函数被修改以合并上述QoS得分,这些QoS得分由中央控制器计算并且被映射到如上所述的共享环境模型250的每个单元。此类经修改的成本函数的示例在以下等式3中表示如下:
等式3:argminc∈N(g(c)+h(c,cgoal)-βS(c)),
等式3中表示的成本函数与等式2中表示的常规成本函数类似,其中项g(c)+h(c,cgoal)表示如上所述的相同成本。然而,等式3中表示的经修改的成本函数包括附加项βS(c)。新函数S(c)的示例可以在以下等式4中进一步表示如下:
等式4:S(c)=(gQoS(c)+hQoS(c,cgoal)),
其中gQoS(c)表示从在环境100内操作的AMR 102中的每一者到所规划的路径中的特定单元c的QoS得分的聚合,而项hQoS(c,cgoal)表示从所规划的路径中的该单元到目标单元可能的QoS得分的估计。
在一方面,成本函数还包括加权参数β,该加权参数β在选择最优路径时对路径规划成本g(c)+h(c,cgoal)与QoS成本S(c)进行平衡。以此方式,每次执行路径规划功能(例如算法)时,都会相对于要添加到路径的下一个单元或区域做出决策,计及来自通信基础设施的预期性能水平,并沿着所规划的路径选择使在去往目标单元的整个路径上的该性能最大化或最优的单元。加权参数β可用于微调所规划的路径算法,以更多地考虑新项S(c),或基于特定应用和环境完全忽略它。
图2C中进一步详细示出AMR 102中的一个AMR的所规划的路径的示例,该AMR使用计及QoS成本的路径规划算法。如图2C所示,共享环境模型250包括各种单元中的经量化的预期QoS水平的表示,在该示例中,这些单元被描绘成具有不同信号强度指标的单元。同样,每个单元的预期QoS是基于随时间推移的各种QoS度量的聚合,并且因此使用这些图标是为了便于解释而非限制,因为QoS可能不完全依赖于图2C所示的RSSI值。如图2C所示,可以选择单元的各种组合,以标识将单元260处的AMR 102的开始点连接到目标单元270的所规划的路径。在不在路径规划算法中引入QoS成本S(c)的情况下,AMR 102可以计算共享环境模型250中的单元的所规划的路径,诸如图2C中所示的、可以构成到目标单元270的最短距离的所规划的路径280B)。然而,所规划的路径280B导致AMR 102穿过具有低预期QoS得分的若干单元。因此,在路径规划算法中使用QoS成本项S(c),AMR 102可以计算所规划的路径280A,该路径可能(但不一定)导致AMR 102穿过更长的距离以到达目标单元270,或者需要更长的时间来这样做,但确保沿该路径相对于如本文所述的预期QoS得分有更好的无线性能。
以此方式,各方面改善了导航期间无线网络问题的可靠性和稳健性。本文所述的各方面确保AMR 102将穿过开始单元260与目标单元或目的地单元270之间的所规划的路径,以极大地增加AMR 102将在沿路径的所有单元处与中央控制器维持通信的可能性,从而增加AMR 102在其中实现的系统的效率和性能。
基于使用航点校正的无线QoS的迁移路径规划
本章节中描述的各方面能够例如使用航点校正深度神经网(WC-DNN)方法将多个AMR的时间敏感和计算密集型导航相关的AI控制工作负荷迁移到边缘服务器。该迁移功能有利地实现了导航工作负荷的加速,并得到更快的导航速度,从而提高了使用AMR 102的环境中的生产率改善。应注意,先前的章节涉及使用QoS信息来执行例如如图2A-图2C中所描述的路径规划。此类方面不是本章节中所讨论的各方面的要求,但是可能对本文关于图3所描述的各方面特别有用,以通过利用确保稳健的无线网络性能的路径规划来迁移路径规划功能。然而,在不同方面,QoS路径规划和路径规划迁移可以独立地实现或相互结合地实现。
如上文所讨论,实现常规的多机器人导航流水线的AMR 102用于以最有效的方式规划和控制多个AMR从一个位置到另一个位置的移动,同时避免彼此碰撞以及与环境100中的障碍物碰撞。取决于每个AMR 102的目标或目的地,考虑到其他AMR的轨迹和环境地图,路径规划算法计算出每个AMR 103到达其目标单元的中间航点的序列或集合,该中间航点的序列或集合中的每一个中间航点均可以形成连续更新的环境模型250的一部分。因此,通过从安装在AMR上的视觉/光检测与测距传感器获取输入,使用在如上所述的每一个AMR上本地地执行的路径规划器算法定期地更新中间航点集合(在本文中可以以其他方式简称为航点),使得AMR 102在导航通过环境100时可以避免碰撞。
传统上,每个AMR 102使用板载传感器(诸如多个相机、光检测与测距传感器等)来确定其自身的状态(例如位置、航向、速度、加速度、方位、定向、姿势等),这增加了(多个)计算子系统的所需的能耗。由AMR 102的(多个)计算子系统(其本地地执行计算上繁重的AI功能)消耗的能量可能会超过控制其致动器所需的机械子系统的能耗。因此,如果这些计算上繁重的工作负荷可以从AMR迁移并在中央组件(例如边缘服务器)上执行,它将减少AMR 102的能耗并释放资源,以使AMR 102能够利用最先进的计算上繁重的AI算法进行完全自主导航。此外,迁移此类任务使所有AMR 102的状态能够聚合在中心位置(计算设备108,该计算设备108可以被实现为例如边缘服务器)处。此类网络基础设施组件可以更加有效地执行此类路径规划算法,因为中央控制器具有对环境100的整个状态的访问权。
如上所述,路径规划算法通常在每个AMR 102上本地地执行,并且鉴于如上所述的将预期QoS性能映射到共享环境模型250的单元的增强,使用共享环境模型250的所规划的路径将沿着这些路径经历经改善的网络性能。作为所规划的路径相对于无线性能的增加的稳健性的结果,本章节中进一步详细描述的各方面可以利用该优势来将工作负荷任务迁移到中央控制器。例如,由于所规划的路径确保每个AMR 102在沿着其所规划的路径行进时将经历良好的无线网络性能,AMR 102可以将路径规划功能迁移到一个或多个网络基础设施组件,诸如,例如计算设备108。
因此,关于图3进一步详细讨论的各方面使得经由计算设备108与环境100内的AMR102之间的无线通信将时间敏感的导航工作负荷迁移到计算设备108是可行的,从而改善导航速度和可靠性。应注意,导航路径规划在本质上是时间敏感的。因此,并且如下文进一步详细讨论,各方面通过实现对通信进行校正和补偿的航点校正深度神经网络(WC-DNN)并且计算由该迁移过程产生的等待时间/延迟来使此类时间敏感的导航相关工作负荷(例如,路径规划、八叉树地图生成、SLAM等)迁移到计算设备108。WC-DNN可以在中央控制器和/或AMR102上实现,并从最后采样的、有时间戳的状态信息中预测当前系统状态(例如移动的AMR/障碍物的位置和姿势),并相应地调整由路径规划算法估计的航点。
图3图示出根据本公开的各方面的与迁移多机器人导航流水线的导航任务和执行航点校正相关联的过程流程。如图3所示,过程流程300图示出本文参考图1和图2A-图2C讨论的共享环境模型250和AMR 102。同样,AMR 102可以经由例如可以形成WTSN的一部分的AP104与中央控制器通信。过程流程300与过程流程200类似,原因在于AMR也在环境100内导航,并且共享环境模型250被实现用于计算AMR 102的所规划的路径。因此,下面仅进一步讨论图2A-图2C和图3所示的AMR和网络基础设施组件的系统操作之间的差异。
在一方面,经由AMR 102周期性地或根据任何合适的时间表向中央控制器传送传感器数据来发起过程流程300。传感器数据可包括从板载AMR相机收集到的图像和/或视频数据,该图像和/或视频数据可使用任何合适的格式(例如,压缩jpeg、压缩png等)被压缩并被传送。AMR 102可以附加地或替代地传送指示AMR 102的位置和/或定向以及其他状态信息(诸如,例如AMR 102的速度)的其他类型的传感器数据。然而,由于通过无线网络的传感器数据传输量较高,通信等待时间不仅高,而且是非确定的。因此,每个AMR 102可以在传输之前使用同步的WTSN时间源(或基于为此目的实现的特定无线网络的其他合适的同步时间源)对经压缩的传感器数据加盖时间戳,使得可以确定传感器数据被捕获的时间,以供WC-DNN进行航点校正,如下文进一步详细讨论。对于特定的传感器数据传输,该时间戳在本文中可以被称为发生在时间“t1”处。
如图3所示,经压缩的传感器数据随后在网络上行链路延迟或等待时间302之后被中央控制器(例如,计算设备108)接收。然后,中央控制器在块304处对传感器数据进行解压缩,并在处理块306、308、310和312处执行各种计算,以执行用于传感器数据融合的算法,从而动态地更新用于跟踪环境100内的AMR 102、对象和障碍物的共享环境模型250。因此,在块306、308、310和312处的计算可以与在常规上经由AMR 102本地地执行的计算类似或相同,但是根据本文所述的各方面,这些计算根据本文的各方面被迁移到中央控制器。作为示例,中央控制器可以利用从AMR 102接收到的经解压缩的图像和/或视频数据来执行深度到点云的转换、执行八叉树地图生成、确定AMR姿势估计、跟踪以及使用该信息更新共享环境模型250。就本文中关于图2A讨论的这些过程而言,这些过程可以被认为与在此执行的计算类似或相同,并且因此为了简单起见,不提供附加细节。此外,没有提供关于这些计算的进一步细节,这些计算可以根据任何合适的技术(包括用于这样做的已知技术)来实现。
一旦以该方式更新共享环境模型250(其包括如上所述的预期的每个单元QoS),中央控制器就对从其中接收传感器数据的环境100内的AMR 102中的每一者执行如上所述的导航路径规划。为此,中央控制器根据以上章节所述的每个AMR 102的开始位置计算航点集合,这些航点可被优化以考虑使用QoS度量的无线网络性能。该一系列的中间航点指示环境100内的、AMR 102应在特定时间穿过的单元或位置。在一方面,使用其他AMR 102的状态和指示环境100的性质的动态更新的共享环境模型250来定期地实时更新每个AMR的航点。经规划的路径包括定义了环境100内AMR的开始点与目的地单元或目标单元之间的AMR轨迹的航点集合。下面提供以该方式计算每个AMR 102.1、102.2、102.3的示例航点的数学表示。
AMR 102.1航点:
w1(t0)=(x0,y0,θ0)
w1(t1=t0+dt)=(x1,y1,θ1)...
w1(tn=tn-1+dt)=(xn,yn,θn)
AMR 102.2航点:
w2(t0)=(x0,y0,θ0)
w2(t1=t0+dt)=(x1,y1,θ1)...
w2(tn=tn-1+dt)=(xn,yn,θn)
AMR 102.3航点:
w3(t0)=(x0,y0,θ0)
w3(t1=t0+dt)=(x1,y1,θ1)...
w3(tn=tn-1+dt)=(xn,yn,θn)
换句话说,AMR 102.1在时间t0处的位置x0、y0和定向θ0的初始航点与AMR的初始开始点相对应。每个附加中间航点与AMR 102.1在开始时间之后的增量时间段dt处的位置和定向相对应。因此,每个顺序航点与AMR 102.1在特定时间处的位置和定向(例如,与单元和该单元内的AMR的定向)相对应,直到AMR 102.1在时间tn处的位置和定向为止,该时间tn与结束航点相对应并且与AMR 102.1应该处于目的地单元或目标单元的时间相关联。中央控制器可以以该方式对在环境100内操作的AMR 102中的每一者执行路径规划,以生成如上文以数学格式表示的此类航点集合。出于下面进一步讨论的目的,中央控制器以该方式计算航点集合的时间可能发生在如图3所示的传感器数据被接收、被解压缩和被处理之后的时间,该时间在本文中被称为时间“t2”。时间t2可以根据经同步的WTSN时间源(或基于为此目的实现的特定无线网络的其他合适的经同步的时间源)利用另一时间戳来标识。
同样,航点在常规上由每个AMR 102本地地计算(但在常规上不考虑本文所述的QoS信息),并且因此航点用作每个AMR的、关于如何在特定时间通过连接的单元的链进行、直到到达目的地单元或目标单元的指令。但是,由于环境100的动态性质,航点的参数(例如,AMR沿所规划的路径遵循的位置和时间)也可能随着环境100改变而动态地更新。此类改变可能是检测其他AMR 102的接近度或状态和/或共享环境模型250的改变的结果。由于环境100的该动态性质和航点计算的时间敏感性质,在常规上此类导航功能不能被AMR 102迁移,并且必须本地地计算。
换句话说,迁移这些任务的过程引入了通信等待时间和计算等待时间两者(这两者导致不准确的航点计算并且随时间的推移累积误差),从而导致对AMR 102的不准确的导航和控制。例如,总系统等待时间可以被表示为TD=t2-t1,并且除了处理传感器数据以提取航点的计算等待时间(或延迟)之外,还包括将传感器数据发送到中央控制器的上行链路通信等待时间(或延迟)。同样,t1表示AMR 102上传感器采样瞬间的时间,并且t2表示由中央控制器计算出航点之后的时间。因此,由于延迟TD,由中央控制器使用基于延迟的状态信息的路径规划算法来计算航点,并且相对于环境100内的AMR 102的实时信息而言,这些航点不是当前的。同样,该误差可能累积,并导致AMR 102偏离其路径或由于不准确的速度估计而发生碰撞。
为了解决该问题,本文描述的各方面实现WC-DNN 322,WC-DNN 322可以在AMR 102中和/或在中央控制器中以各种方式实现。然而,在中央控制器处实现WC-DNN 302对于进一步简化整体设计并降低AMR 102的成本可能是特别有利的,作为结果,AMR 102可以被设计为具有较少的处理能力。在任何情况下,各方面包括WC-DNN被实现为接收各种输入以预测总系统延迟并且因此计算出AMR 102中的每一者的延迟校正的航点的任何合适类型的神经网络。
例如,WC-DNN可以接收如上所述的针对AMR 102中的一者或多者计算出的“初始”航点作为输入,这些航点在不考虑系统(例如通信和计算)等待时间的情况下经由路径规划算法计算。换句话说,WC-DNN 322接收使用经延迟的状态信息针对所有AMR估计的航点作为输入。附加地,WC-DNN可以接收中间导航处理块的输出作为输入,这些输出诸如由路径规划器处理块312针对AMR 102中的每一者计算出的航点、在处理块310处处理的经更新的网格图中AMR 102的姿势(例如位置和定向)、以及与网格图中哪些网格被障碍物占据以及哪些网格对于AMR 102导航是空闲的有关的信息,该信息经由如上所述和图3所示的八叉树地图处理块308生成。此外,各方面包括WC-DNN 322接收由AMR 102采取的先前动作以及从WTSN时间戳(t2-t1)估计的总系统延迟TD作为输入。然后,WC-DNN 322输出经延迟校正的航点,这些航点作为命令和/或指令被传送到AMR 102,以使AMR根据经延迟校正的航点遵循所规划的路径。
在一方面,WC-DNN 322可以被实现为任何合适类型的机器学习模型和/或神经网络。作为示例,WC-DNN 322可以通过根据用于应用的特定无线网络、使用无线网络模拟器在真实范围内馈送WC-DNN 322模拟延迟而在模拟环境中进行离线训练。例如,如果AP 104实现Wi-Fi通信标准,那么可以使用Mininet模拟器。替代地,如果AP 104实现了基于蜂窝的技术(例如第三代合作伙伴项目(3GPP)蜂窝技术,诸如在撰写本申请时最新的“5G”技术),那么可以使用其他模拟器,诸如Omnet++。在任何情况下,WC-DNN 322可以使用对模拟环境100的现实网络状况进行模拟的任何合适类型的模拟器来训练。
在一方面,WC-DNN 322可以被实现为基于长短时记忆(LSTM)的网络,尽管这是通过示例,并且WC-DNN 322可以被实现为可能需要或可能不需要训练以根据本文所述的各方面起作用的任何合适类型的机器学习模型和/或神经网络架构。在一方面,因此,WC-DNN322可以使用在执行对共享环境模型250的更新时(例如经由在块310处的处理)引入的通信和计算延迟以及AMR 102的当前速度来预测AMR 102中的每一者的轨迹的延迟。使用该信息,WC-DNN 322因此可以根据所预测的延迟计算出延迟校正的航点,该延迟用于微调AMR102中的每一者的速度,使得AMR 102具有与其实际或“实时”轨迹(例如,其在每个AMR实际执行航点时的轨迹)同步的经校正的规划路径。换句话说,WC-DNN322使用预测的延迟来计算经延迟校正的航点,以对由于本文所述的系统等待时间而产生的轨迹延迟进行补偿,使得经延迟校正的航点与环境100内的AMR 102在每个AMR 102实际执行航点的时刻的轨迹同步。
此外,由于WC-DNN 322的输出是AMR 102的航点,该数据通常仅构成几百字节的信息。因此,在进行了可预测的附加延迟调整之后,经校正的航点信息可以作为低等待时间和确定性的控制分组(例如使用WTSN协议)被传送给AMR 102。换句话说,与UL等待时间不同,DL等待时间是确定性的,并且可以使用任何合适的技术(包括用于这样做的已知技术)来确定或预测。一旦被标识,WC-DNN 322就可以进一步调整经延迟校正的航点,以计及AMR 102将经由DL路径接收传输的时间(即DL等待时间)。最后,在接收到经校正的航点数据之际,AMR 102将执行航点信息,以按照经延迟校正的航点的方式移动,以在每个时刻到达其中间目的地。因此,航点校正方面能够在不受到通信和计算等待时间的显著影响的情况下将计算上繁重的导航相关工作负荷从AMR 102迁移到中央控制器。
AMR设计和配置
图4图示出根据本公开的一方面的示例性自主代理的框图。在一方面,例如,如关于图4所示出的和所描述的自主代理400可以利用如图1所示出的和在本文中所讨论的AMR102中的一者或多者来标识。如下面进一步讨论的,自主代理400可以根据本文关于例如图2A-图2C和图3讨论的各方面在环境100中操作。因此,自主代理400可以执行如本文关于执行无线链路监测、将测得的QoS度量传送到诸如边缘计算设备之类的计算设备、执行路径规划计算、将路径规划迁移到其他网络基础设施组件并执行从网络基础设施组件接收到的所规划的路径、在环境100内执行各种任务等所描述的各种功能。为此,自主代理400可以包括处理电路402、传感器404、收发器406、通信接口408、和存储器410。图4中所示的组件是为了易于解释而提供的,并且各方面包括自主代理400实现比图4中所示的那些组件更多的、更少的或替代的组件。
在各个方面,处理电路402可被配置成可用于控制自主代理400和/或自主代理400的其他组件的任何适当数量和/或类型的计算机处理器。可以利用由自主代理400实现的一个或多个处理器(或其合适的部分)来标识处理电路402。例如,可以利用一个或多个处理器(诸如主机处理器、数字信号处理器、一个或多个微处理器、图形处理器、基带处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)的部分(或全部)等)来标识处理电路402。
在任何情况下,各方面包括处理电路402被配置成实行用于执行算术、逻辑和/或输入/输出(I/O)操作、和/或用于控制自主代理400的一个或多个组件的操作的指令,以执行与本文所描述的各方面相关联的各种功能。例如,处理电路402可以包括一个或多个微处理器核、存储器寄存器、缓冲器、时钟等,并且可以生成与自主代理400的组件相关联的电子控制信号,以控制和/或修改这些组件的操作。例如,各方面包括处理电路402同与传感器404、收发器406、通信接口408和/或存储器410相关联的功能进行通信和/或控制。在各方面,处理电路402可以附加地执行用于控制移动、速度和/或由自主代理400执行的任务的各种操作,这些操作可以基于本地路径规划或如本文中讨论的所迁移的路径规划算法。
在一方面,传感器404可以被实现为可用于自主导航和环境监测的任何合适数量和/或类型的传感器。此类传感器的示例可以包括无线电检测与测距(radar)、光检测与测距传感器(LIDAR)、光学传感器、相机、罗盘、陀螺仪、用于定位的定位系统、加速计等。
在一方面,收发器406可以被实现为任何合适数量和/或类型的组件,这些组件被配置成用于根据任何合适数量和/或类型的通信协议传送和/或接收数据分组和/或无线信号。收发器406可以包括用于促进该功能的任何合适类型的组件,包括与已知的收发器、发射器、和/或接收器操作、配置和实现相关联的组件。尽管在图4中被描述为收发器,但收发器406可以包括任何合适数量的发射器、接收器、或可以被集成到单个收发器或被集成为多个收发器或收发器模块的这些组件的组合。例如,收发器406可以包括通常利用RF前端标识的组件,并且包括例如天线、端口、功率放大器(PA)、RF滤波器、混频器、本地振荡器(LO)、低噪声放大器(LNA)、上变频器、下变频器、信道调谐器等。
无论具体实现方式如何,收发器406可以包括被配置成用于监听和/或测量关于本文所讨论的一个或多个无线链路的各个QoS度量的一个或多个组件。
在一方面,通信接口408可以被配置为任何合适数量和/或类型的组件,这些组件被配置成用于促进收发器406根据本文所讨论的一种或多种通信协议接收和/或传送数据和/或信号。例如,通信接口408可以被实现为用于与收发器406对接的任何合适数量和/或类型的组件,这些组件诸如模数转换器(ADC)、数模转换器、中频(IF)放大器和/或滤波器、调制器、解调器、基带处理器等。因此,通信接口408可以与收发器406一起工作,并形成由自主代理400实现的整体通信电路的一部分。
在一方面,存储器410存储数据和/或指令,使得该指令当由处理电路402执行时,使自主代理400执行如本文所描述的各种功能,诸如参考例如图2A-图2C和图3所描述的那些功能。存储器410可以被实现为任何公知的易失性和/或非易失性存储器,包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)等等。存储器410可以是不可移动的、可移动的、或两者的组合。例如,存储器410可以被实现为存储一个或多个可执行指令(诸如例如,逻辑、算法、代码等)的非暂态计算机可读介质。
如下文进一步所讨论的,存储在存储器410中的指令、逻辑、代码等由图4所示的各种模块表示,这些模块可使本文所公开的各方面能够在功能上被实现。可替代地,如果经由硬件实现本文所描述的方面,则图4中所示的与存储器410相关联的模块可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。换言之,图4中所示的模块是为了易于对关于硬件与软件组件之间的功能关联进行解释而提供的。因此,多个方面包括处理电路402,该处理电路402与一个或多个硬件组件一起执行存储在这些相应模块中的指令,以执行与如本文进一步讨论的各方面相关联的各种功能。
QoS测量引擎412可以表示本文所描述的如参考各方面所讨论的功能,诸如,例如如图2A中所示的链路监测和L1-L7统计信息聚合。为此,各方面包括:QoS测量引擎412包括无线链路监测模块413和QoS度量聚合模块415。
在一方面,存储在无线链路监测模块413中的可执行指令可以结合经由处理电路402的执行来促进自主代理400执行对由自主代理400用于与本文讨论的中央控制器或其他网络基础设施组件通信的各种无线链路的无线链路监测。这可以包括,例如经由收发器406和/或通信接口408监测通信,以逐单元(位置)地和逐时间地标识各种QoS度量。例如,这可以包括与本文在图2A中参考处理块210讨论的功能相同的功能。
在一方面,存储在QoS度量聚合模块415中的可执行指令可以结合经由处理电路402的执行来促进确定要传送到本文讨论的中央控制器或其他合适的网络基础设施组件的特定L1-L7 QoS度量。这可以包括,例如,标识导致各种QoS度量的传输的适当的基于时间或基于位置的触发是否已被满足。作为另一示例,这可以包括将经聚合的L1-L7 QoS度量“封装”为使用合适的通信协议的数据传输的一部分,该部分可以表示预定的QoS度量集合和/或针对任何合适数量的网格单元和/或特定时间获取的QoS度量。例如,这可以包括与本文在图2A中参考处理块212讨论的功能相同的功能。
路径规划引擎416可以表示本文所描述的如参考各方面讨论的功能,诸如自主代理400计算导航路径和/或将该功能迁移到中央控制器或其他合适的网络基础设施组件,如本文关于例如图2A-图2C和图3所讨论。为此,各方面包括:路径规划引擎416包括板载路径规划模块417和迁移路径规划模块419。
在一方面,存储在板载路径规划模块417中的可执行指令可结合经由处理电路402的执行来促进自主代理400使用共享环境模型250计算导航路径,如本文参照例如图2A-图2C所讨论。在一些方面,板载路径规划模块417可以实现本文所讨论的WC-DNN,以预测系统等待时间和/或迭代地计算共享环境模型250内的单元的所规划的路径。同样,这可以包括自主代理通过进一步实现已并入共享环境模型250的每个单元映射的QoS得分,使用上文所述的成本函数来确定最优路径。例如,这可以包括与本文在图2A中参考处理块202、204、206和208讨论的功能相同的功能。
在一方面,存储在迁移路径规划模块419中的可执行指令可结合经由处理电路402的执行来促进将本地路径规划算法迁移到中央控制器或其他合适的网络基础设施组件,如本文关于例如图3所讨论。为此,迁移路径规划模块419可以促进自主代理400将传感器数据(例如,经压缩的图像和/或视频数据)与所获取的同步的时间戳一起传送到中央控制器,所获取的同步的时间戳要被传送到如本文所讨论的中央控制器或其他合适的网络基础设施组件。作为另一示例,这可能包括:迁移路径规划模块419促进自主代理400接收利用计算的导航路径标识的经延迟校正的航点,这些航点随后由自主代理400执行,以使用共享环境模型250遵循去往目的地单元或目标单元的特定轨迹(例如相邻单元的链)。在一些方面,板载路径规划模块417和迁移路径规划模块419可被视为备用组件,其中之一取决于特定的应用而被实现。然而,在其他方面,板载路径规划模块417和迁移路径规划模块419两者都可以被实现,这对于例如以动态方式选择性地启用两种类型的路径规划,或基于特定应用来选择特定类型的路径规划技术可能是特别有用的。
中央控制器设计和配置
图5图示出根据本公开的一方面的示例性计算设备的框图。在一方面,如关于图5所示出的和描述的计算设备500可以利用中央控制器来标识并被实现为任何合适的网络基础设施组件(诸如如图1所示出的和在本文中讨论的计算设备108),这些组件例如可以被实现为边缘网络服务器、计算设备等。如下面进一步讨论的,计算设备500可以根据本文关于例如图2A-图2C和图3所讨论的各方面为环境100提供服务。因此,计算设备500可以执行如本文关于接收和聚合QoS度量并计算共享环境模型250的每一个单元的QoS得分、使用随时间接收的这些QoS度量生成和更新共享环境模型、计算针对AMR 102的所规划的导航路径的初始航点和经延迟校正的航点、以及将经延迟校正的航点和/或其他合适的命令传送到AMR102所述的各种功能。为此,计算设备500可以包括处理电路502、收发器504、通信接口506和存储器508。图5中所示的组件是为了易于解释而提供的,并且各方面包括计算设备500实现比图5中所示的那些组件更多的、更少的或替代的组件。
在各个方面,处理电路502可被配置成可用于控制计算设备500和/或计算设备500的其他组件的任何适当数量和/或类型的计算机处理器。处理电路502可以利用由计算设备500实现的一个或多个处理器(或其合适部分)来标识。例如,可以利用一个或多个处理器(诸如主机处理器、数字信号处理器、一个或多个微处理器、图形处理器、基带处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)的部分(或全部)等)来标识处理电路502。
在任何情况下,各方面包括处理电路502被配置成实行用于执行算术、逻辑和/或输入/输出(I/O)操作、和/或用于控制计算设备500的一个或多个组件的操作的指令,以执行与本文所描述的各方面相关联的各种功能。例如,处理电路502可以包括一个或多个微处理器核、存储器寄存器、缓冲器、时钟等,并且可以生成与计算设备500的组件相关联的电子控制信号,以控制和/或修改这些组件的操作。例如,各方面包括处理电路502同与收发器504、通信接口506和/或存储器508相关联的功能进行通信和/或控制。处理电路502可以附加地执行用于控制通信、通信调度的各种操作和/或通信地耦合至计算设备500的其他网络基础设施组件的操作。
在一方面,收发器504可以被实现为任何合适数量和/或类型的组件,这些组件被配置成用于根据任何合适数量和/或类型的通信协议传送和/或接收数据分组和/或无线信号。收发器504可以包括用于促进该功能的任何合适类型的组件,包括与已知的收发器、发射器、和/或接收器操作、配置和实现相关联的组件。尽管在图5中被描述为收发器,但收发器504可以包括任何合适数量的发射器、接收器、或可以被集成到单个收发器或被集成为多个收发器或收发器模块的这些组件的组合。例如,收发器504可以包括通常利用RF前端标识的组件,并且包括例如天线、端口、功率放大器(PA)、RF滤波器、混频器、本地振荡器(LO)、低噪声放大器(LNA)、上变频器、下变频器、信道调谐器等。
在一方面,通信接口506可以被配置为任何合适数量和/或类型的组件,这些组件被配置成用于促进收发器504根据本文所讨论的一种或多种通信协议接收和/或传送数据和/或信号。例如,通信接口506可以被实现为用于与收发器506对接的任何合适数量和/或类型的组件,这些组件诸如模数转换器(ADC)、数模转换器、中频(IF)放大器和/或滤波器、调制器、解调器、基带处理器等。因此,通信接口506可以与收发器504一起工作,并形成由计算设备500实现的整体通信电路的一部分。
在一方面,存储器508存储数据和/或指令,使得该指令当由处理电路502执行时,使计算设备500执行如本文所描述的各种功能,诸如参考例如图2A-图2C和图3所描述的那些功能。存储器508可以被实现为任何公知的易失性和/或非易失性存储器,包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)等等。存储器508可以是不可移动的、可移动的、或两者的组合。例如,存储器508可以被实现为存储一个或多个可执行指令(诸如例如,逻辑、算法、代码等)的非暂态计算机可读介质。
如下文进一步所讨论的,存储在存储器508中的指令、逻辑、代码等由图5所示的各种模块表示,这些模块可使本文所公开的各方面能够在功能上被实现。可替代地,如果经由硬件实现本文所描述的方面,则图5中所示的与存储器508相关联的模块可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。换言之,图5中所示的模块是为了易于对关于硬件与软件组件之间的功能关联进行解释而提供的。因此,多个方面包括处理电路502,该处理电路502与一个或多个硬件组件一起执行存储在这些相应模块中的指令,以执行与如本文进一步讨论的各方面相关联的各种功能。
环境模型生成引擎509可以表示本文所描述的如参考各方面所讨论的功能,各方面诸如QoS度量聚合、QoS评分计算、以及将QoS得分映射到例如如图2A所示的共享环境模型250的单元。为此,各方面包括:环境模型生成引擎509包括QoS聚合和映射模块511。例如,这可以包括与本文在图2A中参考计算设备108的处理块214讨论的功能相同的功能。在一方面,存储在QoS聚合和映射模块511中的可执行指令可以结合经由处理电路502的执行来促进计算设备500从一个或多个AMR 102接收QoS度量并对QoS度量进行聚合以计算如本文所讨论的每个单元的QoS得分。这还可以包括,例如,使用每个单元所计算的QoS得分来生成和更新共享环境模型250,因为随着时间的推移收到附加的QoS度量。
路径规划引擎512可以表示本文所描述的如参考各方面讨论的功能,诸如计算设备500计算导航路径,例如,如本文关于例如图3所讨论。为此,各方面包括:路径规划引擎512包括初始航点计算模块513和经延迟校正的航点校正模块515。
在一方面,存储在初始航点计算模块513中的可执行指令可以结合经由处理电路502的执行来促进计算设备500计算导航路径,该导航路径包括在环境100内操作的AMR 102中的每一者的一系列航点的导航路径。如本文参考图3所示出的和讨论的,这可以包括计算设备500从AMR 102接收带有时间戳的传感器数据(例如图像和/或视频)(这些传感器数据随后被解压缩,以执行深度到点云的转换、八叉树地图生成、和姿势估计),对其网格图(例如共享环境模型250)进行跟踪和更新,以及随后计算得出随时间动态地更新的航点集合的基于QoS的路径。例如,这可以包括与本文在图3中参考中央控制器的处理块304、306、308、310和312所讨论的功能相同的功能。同样,并入QoS得分的路径的计算可以以与由AMR 102本地地执行的路径规划算法类似的方式执行,该计算可以根据各个方面以该方式被迁移。
在一方面,存储在经延迟校正的航点校正模块515中的可执行指令可以结合经由处理电路502的执行来促进随后要被传送到AMR 102的经延迟校正的航点的计算。为此,经延迟校正的航点校正模块515可以实现航点校正神经网络(例如WC-DNN 322),该航点校正神经网络被训练并接收初始航点320以及附加的数据,诸如AMR先前的动作和关于如上文关于图3所讨论的总系统延迟或等待时间的数据。各方面包括计算设备进一步计及其他等待时间(例如DL路径等待时间),以进一步调整经延迟校正的航点,这些航点随后被传送到AMR102。
示例
以下示例涉及进一步的各个方面。
示例(例如示例1)涉及一种计算设备,该计算设备包括:通信电路,该通信电路被配置成用于从在无线网络的环境内操作的自主代理接收服务质量(QoS)度量,该自主代理在该无线网络的环境中经由一个或多个无线链路与计算设备通信,该QoS度量与该一个或多个无线链路相对应并且由该自主代理经由对该一个或多个无线链路的监测而生成;以及一个或多个处理器,该一个或多个处理器被配置成用于使用QoS度量生成环境模型,该环境模型表示用于环境内的自主代理的导航路径规划的环境的模型。
另一示例(例如,示例2)涉及先前描述的示例(例如,示例1),其中计算设备是边缘网络计算设备。
另一示例(例如,示例3)涉及先前描述的示例(例如,示例1-2中的一项或多项),其中自主代理来自在环境内操作的多个自主代理之中,环境模型包括网格单元集合,并且一个或多个处理器被配置成用于将从多个自主代理中的每一个自主代理接收到的QoS度量进行聚合以计算表示相应网格单元中的预期QoS水平的每个网格单元的预期QoS得分。
另一个示例(例如,示例4)涉及先前描述的示例(例如,示例1-3中的一项或多项),其中一个或多个处理器被配置成用于使用加权平均函数计算每个网格单元的预期QoS得分,其中更近的值被分配更高的权重。
另一个示例(例如,示例5)涉及先前描述的示例(例如,示例1-4中的一项或多项),其中,导航路径包括来自多个网格单元之中的连接的网格单元的链,该连接的网格单元指示环境内用于自主代理穿过以到达目的地网格单元的路径。
另一个示例(例如,示例6)涉及先前描述的示例(例如,示例1-5中的一项或多项),其中,一个或多个处理器被配置成用于计算并入每个网格单元的预期QoS得分的环境模型。
另一个示例(例如,示例7)涉及先前描述的示例(例如,示例1-6中的一项或多项),其中QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
示例(例如,示例8)涉及一种自主代理,该自主代理包括:通信电路,该通信电路被配置成用于使自主代理能够经由使用环境内的一个或多个无线链路的无线网络与计算设备通信,以及一个或多个处理器,该一个或多个处理器被配置成用于监测该一个或多个无线链路并用于根据监测生成关于该一个或多个无线链路的服务质量(QoS)度量,该通信电路进一步被配置成用于将QoS度量传送到计算设备,以用于生成与环境相关联的环境模型,并且该一个或多个处理器被配置成用于根据环境模型来计算针对自主代理的导航路径,以供自主代理导航到环境内的目的地。
另一示例(例如,示例9)涉及先前描述的示例(例如,示例8),其中通信电路被配置成用于与包括计算设备的边缘网络计算设备通信。
另一示例(例如,示例10)涉及先前描述的示例(例如,示例8-9中的一项或多项),其中自主代理来自在环境内操作的多个自主代理之中,环境模型包括网格单元的集合,并且环境模型并入来自由多个自主代理中的每一个自主代理传送的QoS度量的聚合的每个网格单元的预期QoS得分。
另一个示例(例如,示例11)涉及先前描述的示例(例如,示例8-10中的一项或多项),其中每个网格单元的预期QoS得分基于加权平均函数,其中更近的值被分配更高的权重。
另一个示例(例如,示例12)涉及先前描述的示例(例如,示例8-11中的一项或多项),其中,导航路径包括来自多个网格单元之中的连接的网格单元的链,该连接的网格单元指示环境内用于自主代理穿过以到达目标网格单元的路径。
另一个示例(例如,示例13)涉及先前描述的示例(例如,示例8-12中的一项或多项),其中一个或多个处理器被配置成用于通过迭代地执行成本函数来计算导航路径以到达目的地网格单元,该成本函数使用每个网格单元的预期QoS得分和来自导航路径中的网格单元的可能的QoS得分的估计。
另一个示例(例如,示例14)涉及先前描述的示例(例如,示例8-13中的一项或多项),其中QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
示例(例如示例15)涉及一种计算设备,该计算设备包括通信电路,该通信电路被配置成用于在环境内操作的自主代理根据通信延迟传送传感器数据之后,经由无线网络接收来自该自主代理的传感器数据;一个或多个处理器,该一个或多个处理器被配置成用于使用传感器数据计算自主代理到达环境内的目的地的导航路径,该导航路径包括多个航点,其中该计算与计算延迟相关联;以及航点校正神经网络,该航点校正神经网络被配置成用于(i)接收多个航点,(ii)预测由通信延迟和计算延迟引起的自主代理的轨迹延迟,以及(iii)计算多个经延迟校正的航点,该通信电路进一步被配置成用于将多个经延迟校正的航点传送到自主代理,以供自主代理穿过该导航路径。
另一示例(例如,示例16)涉及先前描述的示例(例如,示例15),其中计算设备是边缘网络计算设备。
另一个示例(例如示例17)涉及先前描述的示例(例如示例15-16中的一项或多项),其中,航点校正神经网络包括实现长短期记忆(LSTM)架构的深度神经网络。
另一示例(例如,示例18)涉及先前描述的示例(例如,示例15-17中的一项或多项),其中,航点校正神经网络被配置成用于进一步使用与下行链路通信等待时间相关联的、关于将多个经延迟校正的航点传送到自主代理所需时间的预测延迟来计算多个经延迟校正的航点。
另一示例(例如,示例19)涉及先前描述的示例(例如,示例15-18中的一项或多项),其中自主代理来自在环境内操作的多个自主代理之中,并且一个或多个处理器被配置成用于使用环境模型来计算自主代理的导航路径,该环境模型包括具有每个网格单元的预期QoS得分的网格单元集合,该每个网格单元的预期QoS得分使用从多个自主代理中的每一个自主代理接收到的相应QoS度量集合的聚合来计算,该QoS度量与用于计算设备与多个自主代理之间的通信的一个或多个无线链路相对应。
另一个示例(例如,示例20)涉及先前描述的示例(例如,示例15-19中的一项或多项),其中QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
另一个示例(例如,示例21)涉及先前描述的示例(例如,示例15-20中的一项或多项),其中多个航点形成自主代理的开始位置与目的地之间的导航路径,多个航点中的每一个航点表示自主代理要在相应的穿越时间穿过的环境内的位置,并且执行多个航点的计算所需的时间与计算延迟相关联。
另一示例(例如示例22)涉及先前描述的示例(例如示例15-21中的一项或多项),其中航点校正神经网络被配置成用于计算多个经延迟校正的航点以补偿轨迹延迟,使得当自主代理执行多个航点时,多个经延迟校正的航点与环境内的自主代理的轨迹同步。
示例(例如示例23)涉及计算装置,该计算装置包括:通信装置,该通信装置被配置成用于从在无线网络的环境内操作的自主代理接收服务质量(QoS)度量,该自主代理在该无线网络的环境中经由一个或多个无线链路与计算装置通信,该QoS度量与该一个或多个无线链路相对应并且由该自主代理经由对该一个或多个无线链路的监测而生成;以及处理装置,用于使用QoS度量生成环境模型,该环境模型表示用于环境内的自主代理的导航路径规划的环境的模型。
另一示例(例如,示例24)涉及先前描述的示例(例如,示例23),其中计算装置是边缘网络计算设备。
另一示例(例如,示例25)涉及先前描述的示例(例如,示例23-24中的一项或多项),其中自主代理来自在环境内操作的多个自主代理之中,环境模型包括网格单元集合,并且处理装置将从多个自主代理中的每一个自主代理接收到的QoS度量进行聚合以计算表示相应网格单元中的预期QoS水平的每个网格单元的预期QoS得分。
另一个示例(例如,示例26)涉及先前描述的示例(例如,示例23-25中的一项或多项),其中处理装置使用加权平均函数来计算每个网格单元的预期QoS得分,其中更近的值被分配更高的权重。
另一个示例(例如,示例27)涉及先前描述的示例(例如,示例23-26中的一项或多项),其中,导航路径包括来自多个网格单元之中的连接的网格单元的链,该连接的网格单元指示环境内用于自主代理穿过以到达目的地网格单元的路径。
另一个示例(例如,示例28)涉及先前描述的示例(例如,示例23-27中的一项或多项),其中,处理装置计算并入每个网格单元的预期QoS得分的环境模型。
另一个示例(例如,示例29)涉及先前描述的示例(例如,示例23-28中的一项或多项),其中QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
示例(例如,示例30)涉及一种自主代理,该自主代理包括:通信装置,用于经由使用环境内的一个或多个无线链路的无线网络与计算设备通信,以及处理装置,用于监测该一个或多个无线链路并用于根据监测生成关于该一个或多个无线链路的服务质量(QoS)度量,该通信装置将QoS度量传送到计算设备,以用于生成与环境相关联的环境模型,并且处理装置根据环境模型来计算针对自主代理的导航路径,以供自主代理导航到环境内的目的地。
另一示例(例如,示例31)涉及先前描述的示例(例如,示例30),其中通信装置与包括计算设备的边缘网络计算设备通信。
另一示例(例如,示例32)涉及先前描述的示例(例如,示例30-31中的一项或多项),其中自主代理来自在环境内操作的多个自主代理之中,环境模型包括网格单元的集合,并且环境模型并入来自由多个自主代理中的每一个自主代理传送的QoS度量的聚合的每个网格单元的预期QoS得分。
另一个示例(例如,示例33)涉及先前描述的示例(例如,示例30-32中的一项或多项),其中每个网格单元的预期QoS得分基于加权平均函数,其中更近的值被分配更高的权重。
另一个示例(例如,示例34)涉及先前描述的示例(例如,示例30-33中的一项或多项),其中,导航路径包括来自多个网格单元之中的连接的网格单元的链,该连接的网格单元指示环境内用于自主代理穿过以到达目的地网格单元的路径。
另一示例(例如示例35)涉及先前描述的示例(例如示例30-34中的一项或多项),其中处理装置通过迭代地执行成本函数来计算导航路径以到达目的地网格单元,该成本函数使用每个网格单元的预期QoS得分和来自导航路径中的网格单元的可能的QoS得分的估计。
另一个示例(例如,示例36)涉及先前描述的示例(例如,示例30-35中的一项或多项),其中QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
示例(例如示例37)涉及一种计算装置,该计算装置包括:通信装置,用于在环境内操作的自主代理根据通信延迟传送传感器数据之后,经由无线网络接收来自该自主代理的传感器数据;处理装置,用于使用传感器数据计算自主代理到达环境内的目的地的导航路径,该导航路径包括多个航点,其中该计算与计算延迟相关联;以及航点校正装置,用于(i)接收多个航点,(ii)预测由通信延迟和计算延迟引起的自主代理的轨迹延迟,以及(iii)计算多个经延迟校正的航点,该通信装置进一步被配置成用于将多个经延迟校正的航点传送到自主代理,以供自主代理穿过该导航路径。
另一示例(例如,示例38)涉及先前描述的示例(例如,示例37),其中计算装置是边缘网络计算设备。
另一个示例(例如示例39)涉及先前描述的示例(例如示例37-38中的一项或多项),其中,航点校正装置包括实现长短期记忆(LSTM)架构的深度神经网络。
另一示例(例如,示例40)涉及先前描述的示例(例如,示例37-39中的一项或多项),其中,航点校正装置进一步使用与下行链路通信等待时间相关联的、关于将多个经延迟校正的航点传送到自主代理所需时间的预测延迟来计算多个经延迟校正的航点。
另一示例(例如,示例41)涉及先前描述的示例(例如,示例37-40中的一项或多项),其中自主代理来自在环境内操作的多个自主代理之中,并且处理装置使用环境模型来计算自主代理的导航路径,该环境模型包括具有每个网格单元的预期QoS得分的网格单元集合,该每个网格单元的预期QoS得分使用从自主代理中的每一个自主代理接收到的相应QoS度量集合的聚合来计算,该QoS度量与用于计算设备与多个自主代理之间的通信的一个或多个无线链路相对应。
另一个示例(例如,示例42)涉及先前描述的示例(例如,示例37-41中的一项或多项),其中QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
另一个示例(例如,示例43)涉及先前描述的示例(例如,示例37-42中的一项或多项),其中多个航点形成自主代理的开始位置与目的地之间的导航路径,多个航点中的每一个航点表示自主代理要在相应的穿越时间穿过的环境内的位置,并且执行多个航点的计算所需的时间与计算延迟相关联。
另一示例(例如示例44)涉及先前描述的示例(例如示例37-43中的一项或多项),其中航点校正装置计算多个经延迟校正的航点以补偿轨迹延迟,使得当自主代理执行多个航点时,多个经延迟校正的航点与环境内的自主代理的轨迹同步。
如所示出和所描述的设备。
如所示出和所描述的方法。
结论
本文描述的实施例仅作为示例而非限制,并且其他实施例可以被实现。例如,各种设备(例如,AMR和/或中央控制器)可以执行特定功能和/或执行特定算法和/或指令。这些可执行指令和/或得到的任务可以包括关于它们被执行的方式或方法的附加实施例,独立于执行这些过程/任务的特定组件。
具体方面的前述描述将如此充分地揭示本公开的一般性质,以至于其他人可以通过应用本领域技术内的知识就容易地修改和/或改编诸如这些具体方面之类的各种应用,而无需过度实验,并且不背离本公开的一般概念。因此,基于本文展现的教示和指导,此类改编和修改旨在落入所公开多个方面的等效方案的含义和范围内。应理解,本文中的措辞或术语是出于描述而非限制的目的,使得本说明书的术语或措辞将由本领域技术人员根据教示和指导来解释。
说明书中对“一个方面”、“方面”、“示例性方面”等的引用指示所描述的方面可包括特定的特征、结构或特性,但是并非每个方面都可必然包括该特定的特征、结构或特性。而且,此类短语不一定是指同一方面。此外,当结合一方面描述特定的特征、结构或特性时,认为结合无论是否被明确描述的其他方面而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
本文所描述的示例性方面是出于说明性目的而提供的,而不是限制性的。其他示例性方面是可能的,并且可以对示例性方面进行修改。因此,说明书并旨在限制本公开。相反,本公开的范围仅根据所附权利要求及其等价物来限定。
多个方面可实现在硬件(例如电路)、固件、软件或其任何组合中。各方面还可实现为储存在机器可读介质上的指令,这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或发送机器(例如,计算设备)可读形式的信息的任何机制。例如,机器可读介质可包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等等。进一步地,固件、软件、例程、指令在本文中可被描述为执行特定动作。然而,应当理解,此类描述仅仅是出于方便起见,并且此类动作实际上起因于计算设备、处理器、控制器、或其他设备执行固件、软件、例程、指令等。进一步地,实现方式变体中的任一者可以由通用计算机执行。
出于本讨论的目的,术语“处理电路”或“处理器电路”应理解为(多个)电路、(多个)处理器、逻辑或其组合。例如,电路可以包括模拟电路、数字电路、状态机逻辑、其他结构电子硬件或其组合。处理器可以包括微处理器、数字信号处理器(DSP)、或其他硬件处理器。处理器可以利用指令“硬编码”,以根据本文描述的多个方面来执行相应的(多个)功能。可替代地,处理器可以访问内部和/或外部存储器以检索存储在存储器中的指令,当该指令由处理器执行时,执行与处理器相关联的(多个)相应功能,和/或与具有包含在其中的处理器的组件的操作相关的一个或多个功能和/或操作。
在本文所描述的一个或多个示例性方面中,处理电路可以包括存储数据和/或指令的存储器。存储器可以是任何公知的易失性和/或非易失性存储器,包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、和可编程只读存储器(PROM)。存储器可以是不可移动的、可移动的、或两者的组合。
Claims (22)
1.一种计算设备,包括:
通信电路,所述通信电路被配置成用于从在无线网络的环境内操作的自主代理接收服务质量QoS度量,所述自主代理在所述环境中经由一个或多个无线链路与所述计算设备通信,
其中所述QoS度量与所述一个或多个无线链路相对应并且由所述自主代理经由对所述一个或多个无线链路的监测而生成;以及
一个或多个处理器,所述一个或多个处理器被配置成用于使用所述QoS度量生成环境模型,所述环境模型表示用于所述环境内的所述自主代理的导航路径规划的所述环境的模型。
2.如权利要求1所述的计算设备,其特征在于,所述计算设备是边缘网络计算设备。
3.如权利要求1-2中任一项所述的计算设备,其特征在于:
所述自主代理来自在所述环境内操作的多个自主代理之中,
所述环境模型包括网格单元集合,并且
所述一个或多个处理器被配置成用于将从所述多个自主代理中的每一个自主代理接收到的QoS度量进行聚合以计算表示相应网格单元中的预期QoS水平的每个网格单元的预期QoS得分。
4.如权利要求3所述的计算设备,其特征在于,所述一个或多个处理器被配置成用于使用加权平均函数计算所述每个网格单元的预期QoS得分,其中更近的值被分配更高的权重。
5.如权利要求1-2中任一项所述的计算设备,其特征在于,所述导航路径包括来自所述多个网格单元之中的连接的网格单元的链,所述连接的网格单元指示环境内用于自主代理穿过以到达目的地网格单元的路径。
6.如权利要求3所述的计算设备,其特征在于,所述一个或多个处理器被配置成用于计算并入所述每个网格单元的预期QoS得分的所述环境模型。
7.如权利要求1-2中任一项所述的计算设备,其特征在于,所述QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
8.一种自主代理,包括:
通信电路,所述通信电路被配置成用于使自主代理能够经由使用环境内的一个或多个无线链路的无线网络与计算设备通信;以及
一个或多个处理器,所述一个或多个处理器被配置成用于监测所述一个或多个无线链路并用于根据所述监测生成关于所述一个或多个无线链路的服务质量QoS度量,
其中,所述通信电路进一步被配置成用于将所述QoS度量传送到所述计算设备,以用于生成与所述环境相关联的环境模型,并且
其中所述一个或多个处理器被配置成用于根据所述环境模型来计算针对所述自主代理的导航路径,以供所述自主代理导航到所述环境内的目的地。
9.如权利要求8所述的自主代理,其特征在于,所述通信电路被配置成用于与包括所述计算设备的边缘网络计算设备通信。
10.如权利要求8-9中任一项所述的自主代理,其特征在于:
所述自主代理来自在所述环境内操作的多个自主代理之中,
所述环境模型包括网格单元集合,并且
所述环境模型并入来自由所述多个自主代理中的每一个自主代理传送的QoS度量的聚合的每个网格单元的预期QoS得分。
11.如权利要求10所述的自主代理,其特征在于,所述每个网格单元的预期QoS得分基于加权平均函数,其中更近的值被分配更高的权重。
12.如权利要求8-9中任一项所述的自主代理,其特征在于,所述导航路径包括来自多个网格单元之中的连接的网格单元的链,所述连接的网格单元指示环境内用于自主代理穿过以到达目的地网格单元的路径。
13.如权利要求10所述的自主代理,其特征在于,所述一个或多个处理器被配置成用于通过迭代地执行成本函数来计算所述导航路径以到达目的地网格单元,所述成本函数使用所述每个网格单元的预期QoS得分和来自所述导航路径中的网格单元的可能的QoS得分的估计。
14.如权利要求8-9中任一项所述的自主代理,其特征在于,所述QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
15.一种计算设备,包括:
通信电路,所述通信电路被配置成用于在环境内操作的自主代理根据通信延迟传送传感器数据之后,经由无线网络接收来自所述自主代理的所述传感器数据;
一个或多个处理器,所述一个或多个处理器被配置成用于使用所述传感器数据计算所述自主代理到达所述环境内的目的地的导航路径,所述导航路径包括多个航点,所述计算与计算延迟相关联;以及
航点校正神经网络,所述航点校正神经网络被配置成用于(i)接收所述多个航点,(ii)预测由所述通信延迟和所述计算延迟引起的所述自主代理的轨迹延迟,以及(iii)计算多个经延迟校正的航点,
其中,所述通信电路进一步被配置成用于将所述多个经延迟校正的航点传送到所述自主代理,以供所述自主代理穿过所述导航路径。
16.如权利要求15所述的计算设备,其特征在于,所述计算设备是边缘网络计算设备。
17.如权利要求14-15中任一项所述的计算设备,其特征在于,所述航点校正神经网络包括实现长短期记忆(LSTM)架构的深度神经网络。
18.如权利要求14-15中任一项所述的计算设备,其特征在于,所述航点校正神经网络被配置成用于进一步使用与下行链路通信等待时间相关联的、关于将所述多个经延迟校正的航点传送到所述自主代理所需时间的预测延迟来计算所述多个经延迟校正的航点。
19.如权利要求14-15中任一项所述的计算设备,其特征在于:
所述自主代理来自在所述环境内操作的多个自主代理之中,并且
所述一个或多个处理器被配置成用于使用环境模型来计算所述自主代理的导航路径,所述环境模型包括具有每个网格单元的预期QoS得分的网格单元集合,所述每个网格单元的预期QoS得分使用所述从多个自主代理中的每一个自主代理接收到的相应QoS度量集合的聚合来计算,所述QoS度量与用于所述计算设备与所述多个自主代理之间的通信的一个或多个无线链路相对应。
20.如权利要求19所述的计算设备,其特征在于,所述QoS度量包括以下各项中的至少一项:等待时间、接收信号强度指示符(RSSI)值、分组错误率(PER)、抖动、位错误率(BER)、信噪比(SNR)、信号与噪声加干扰比(SINR)、载波与干扰加噪声比(CINR)或调制和编码方案(MCS)直方图数据。
21.如权利要求14-15中任一项所述的计算设备,其特征在于:
其中所述多个航点形成所述自主代理的开始位置与所述目的地之间的所述导航路径,所述多个航点中的每一个航点表示所述自主代理要在相应的穿越时间穿过的所述环境内的位置,并且
执行所述多个航点的计算所需的时间与所述计算延迟相关联。
22.如权利要求14-15中任一项所述的计算设备,其特征在于,所述航点校正神经网络被配置成用于计算所述多个经延迟校正的航点以补偿所述轨迹延迟,使得当所述自主代理执行所述多个航点时,所述多个经延迟校正的航点与所述环境内的所述自主代理的轨迹同步。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/210,886 US20210302956A1 (en) | 2021-03-24 | 2021-03-24 | Network aware and predictive motion planning in mobile multi-robotics systems |
US17/210,886 | 2021-03-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115127555A true CN115127555A (zh) | 2022-09-30 |
Family
ID=77854508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210129498.6A Pending CN115127555A (zh) | 2021-03-24 | 2022-02-11 | 移动多机器人系统中的网络感知和预测运动规划 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210302956A1 (zh) |
EP (1) | EP4064588A3 (zh) |
CN (1) | CN115127555A (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230305094A1 (en) * | 2019-11-27 | 2023-09-28 | Rockwell Collins, Inc. | Doppler nulling spatial awareness (dnsa) solutions for non-terrestrial networks |
US20220100184A1 (en) * | 2021-12-09 | 2022-03-31 | Intel Corporation | Learning-based techniques for autonomous agent task allocation |
US20230195119A1 (en) * | 2021-12-22 | 2023-06-22 | Ford Global Technologies, Llc | Systems and methods for controlling autonomous mobile robots in a manufacturing environment |
DE102022100454A1 (de) | 2022-01-11 | 2023-07-13 | Audi Aktiengesellschaft | Verfahren und System zum Lokalisieren eines autonom betriebenen Transportmittels sowie autonom betriebenes Transportmittel |
CN114553963B (zh) * | 2022-02-24 | 2023-07-25 | 重庆邮电大学 | 移动边缘计算中基于深度神经网络的多边缘节点协作缓存方法 |
FI20225420A1 (fi) * | 2022-05-13 | 2023-11-14 | Elisa Oyj | Kommunikaatioverkon kontrollointi |
CN116880513B (zh) * | 2023-09-06 | 2023-11-17 | 广州慧洋信息科技有限公司 | 基于数据分析的水下机器人运行监控管理系统 |
CN117193334A (zh) * | 2023-11-07 | 2023-12-08 | 宁德思客琦智能装备有限公司 | 一种机器人远程控制延迟优化方法及装置、电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9216508B2 (en) * | 2014-01-14 | 2015-12-22 | Qualcomm Incorporated | Connectivity maintenance using a quality of service-based robot path planning algorithm |
FI20175137L (fi) * | 2017-02-16 | 2018-08-17 | Rolls Royce Oy Ab | Aluksen reittisuunnittelu |
WO2019028389A1 (en) * | 2017-08-04 | 2019-02-07 | Walmart Apollo, Llc | SYSTEMS, DEVICES AND METHODS FOR GENERATING A DYNAMIC THREE-DIMENSIONAL COMMUNICATION CARD |
CN111149141A (zh) * | 2017-09-04 | 2020-05-12 | Nng软件开发和商业有限责任公司 | 用于收集并使用来自交通工具的传感器数据的方法和装置 |
KR102346094B1 (ko) * | 2018-02-23 | 2022-01-03 | 삼성전자주식회사 | 무선 통신 시스템에서 경로를 제공하기 위한 장치 및 방법 |
-
2021
- 2021-03-24 US US17/210,886 patent/US20210302956A1/en active Pending
-
2022
- 2022-02-11 CN CN202210129498.6A patent/CN115127555A/zh active Pending
- 2022-02-20 EP EP22157638.2A patent/EP4064588A3/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210302956A1 (en) | 2021-09-30 |
EP4064588A3 (en) | 2022-12-21 |
EP4064588A2 (en) | 2022-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4064588A2 (en) | Network aware and predictive motion planning in mobile multi-robotics systems | |
US20230247443A1 (en) | Optimizing wireless networking using a virtual geographic information system overlay | |
US10243717B2 (en) | Service, wireless device, methods and computer programs | |
Yan et al. | Co-optimization of communication and motion planning of a robotic operation under resource constraints and in fading environments | |
KR20050117557A (ko) | 저속 중앙처리장치를 이용하는 무선 애드-혹 통신네트워크에 있어서 이동 가입자에 대한 위치계산의정확도를 향상시키기 위한 시스템 및 방법 | |
US11523314B2 (en) | Triggering client roaming in a high co-channel interference environment | |
Lozoya et al. | Simulation study of a remote wireless path tracking control with delay estimation for an autonomous guided vehicle | |
Külzer et al. | AI4Mobile: Use cases and challenges of AI-based QoS prediction for high-mobility scenarios | |
CN105722030A (zh) | 一种dtn网络中节点位置预测方法 | |
Rabet et al. | Pushing IoT mobility management to the edge: granting RPL accurate localization and routing | |
Mason et al. | Remote tracking of UAV swarms via 3D mobility models and LoRaWAN communications | |
KR102465647B1 (ko) | 기상 정보를 활용한 uav 네트워크의 토폴로지 예측 장치 및 방법 | |
Melnyk et al. | Wireless Industrial Communication and Control System: AI Assisted Blind Spot Detection-and-Avoidance for AGVs. | |
CN113727278A (zh) | 一种路径规划方法、接入网设备及飞行控制设备 | |
Lozoya et al. | Effective real-time wireless control of an autonomous guided vehicle | |
CN101267403B (zh) | 一种无线自组织网络路由稳定性的度量系统及其方法 | |
US20210120491A1 (en) | Information processing apparatus, control method, and program | |
Murshed | Reinforcement Learning-based User-centric Handover Decision-making in 5G Vehicular Networks | |
Misra et al. | Selfishness-aware target tracking in vehicular mobile WiMAX networks | |
Kudo et al. | Experimental validation of link quality prediction using exact self-status of mobility robots in wireless LAN systems | |
US20240184272A1 (en) | Machine learning in a non-public communication network | |
WO2023233484A1 (ja) | 無線品質予測装置、無線品質予測方法、及びプログラム | |
US11916612B2 (en) | Mobile terminal and communication quality prediction method | |
Moradbeikie et al. | Improving LoRaWAN Localization in Industrial Environments Using Merging Path-Loss Modeling with Extended Kalman Filtering and adopting Map-Matching | |
Rammohan | A Conceptual UAV based Resource Allocation Framework for Next-Generation Heterogeneous V2V Communication Architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |