CN116583714A - 用于调度和导航无人驾驶飞行器的系统和方法 - Google Patents
用于调度和导航无人驾驶飞行器的系统和方法 Download PDFInfo
- Publication number
- CN116583714A CN116583714A CN202180084470.9A CN202180084470A CN116583714A CN 116583714 A CN116583714 A CN 116583714A CN 202180084470 A CN202180084470 A CN 202180084470A CN 116583714 A CN116583714 A CN 116583714A
- Authority
- CN
- China
- Prior art keywords
- uav
- route
- navigation module
- exploration
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 166
- 238000011156 evaluation Methods 0.000 claims abstract description 65
- 238000012502 risk assessment Methods 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 38
- 239000000872 buffer Substances 0.000 claims description 33
- 230000007613 environmental effect Effects 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 27
- 238000013473 artificial intelligence Methods 0.000 claims description 23
- 230000001413 cellular effect Effects 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000007717 exclusion Effects 0.000 claims description 10
- 230000006872 improvement Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 5
- 239000002341 toxic gas Substances 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000010006 flight Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ALRKEASEQOCKTJ-UHFFFAOYSA-N 2-[4,7-bis(2-amino-2-oxoethyl)-1,4,7-triazonan-1-yl]acetamide Chemical compound NC(=O)CN1CCN(CC(N)=O)CCN(CC(N)=O)CC1 ALRKEASEQOCKTJ-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
- G05D1/2465—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using a 3D model of the environment
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
- G05D1/622—Obstacle avoidance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/55—UAVs specially adapted for particular uses or applications for life-saving or rescue operations; for medical use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/55—Specific applications of the controlled vehicles for emergency activities, e.g. search and rescue, traffic accidents or fire fighting
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/30—Off-road
- G05D2107/36—Catastrophic areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/20—Aircraft, e.g. drones
- G05D2109/25—Rotorcrafts
- G05D2109/254—Flying platforms, e.g. multicopters
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于将无人驾驶飞行器(UAV)调度和导航到目标位置的系统包括UAV和导航模块,导航模块包括处理器和存储器,存储器存储包括目标位置的3D地图和机器可读指令,使得当由导航模块处理器执行时,使处理器执行一种方法,该方法包括:标识UAV相对于3D地图的位置;接收目标位置输入;标识相对于3D地图的目标位置;生成连接UAV的位置和目标位置的至少一个潜在路线;根据至少一个路线评估标准向至少一个潜在路线分配评估分数;选择具有最高评估分数的潜在路线作为优选路线;以及将优选路线传输到UAV。
Description
相关申请的交叉引用
本申请要求于2020年12月18日提交的美国临时专利申请序列号63/127,469的优先权权益,其全部内容通过引用并入本文。
引用参考
在本说明书中提及的全部公开案和专利申请以全文引用的方式并入本文中,如同每个单独的公开案或专利申请均具体并且单独地指示为以全文引用的方式并入本文中。
技术领域
本公开总体上涉及导航和控制系统领域,以及更具体地,涉及无人驾驶飞行器(unmanned aerial vehicle,UAV)的自主导航领域。本文描述了用于调度和导航UAV的系统和方法。
背景技术
无人驾驶飞行器(UAV)(通常被称为“无人机”)有潜力成为灾难和应急响应团队的强大工具。当装配有了相机或其他传感器时,UAV提供了一种相对廉价和便捷的手段来获取关于正在发生的灾害或紧急情况的信息,而不会危及人类行为者或更昂贵的装备。然而,部署和导航UAV的困难阻止了它们广泛用于这个角色。
放飞UAV不是简单的任务。这可能需要数小时的训练以便适当地教育专业人员应对UAV的高机动性以及对风和天气条件的易损性。另外,在许多地方,特别是在住宅区,出于安全(例如,机场)或隐私考虑,各种立法禁止UAV进入某些空域。因此,UAV的飞行员必须附加地通晓他或她可以导航无人机的区域。最后,在寻求采用手动操作UAV的紧急响应操作期间,团队中的一名成员必须在无人机飞行时间期间完全致力于驾驶无人机。在某些管辖区,诸如农村地区,响应团队可能没有人员来开展如此狭窄的活动。
先前存在的自动化UAV也受到类似的问题的影响。一些UAV能够在温和的天气条件下保持恒定的海拔高度,但在剧烈的天气条件下或在其中地形展现出海拔方面的快速变化或突然出现的尖锐障碍物的地区(诸如非常多山的地区或山区或以孤立但较大群组的树木为特征的那些地区)将很吃力。这些类型的UAV有撞击到静止物体(如前面提到的山坡和树木)的巨大风险。为UAV配备复杂的数字视觉系统以避免这些危险极大地增加了UAV的成本,因此由于害怕损坏或摧毁无人机,不鼓励响应团队利用在紧急响应情况期间可能需要的UAV承担足够的风险。
因此,需要一种用于调度和导航UAV的新的、有用的、有成本效益的系统,该系统至少克服了上述这些限制。
发明内容
在一些实施例中,本文中的公开内容的一个方面包含一种用于将无人驾驶飞行器(UAV)调度和导航到目标位置的系统,该系统包括:UAV;以及与UAV通信的导航模块,该导航模块包括:导航模块处理器;以及导航模块存储器,该导航模块存储器存储包括目标位置的3D地图和机器可读指令,使得当由导航模块处理器执行时,使处理器执行一种方法,该方法包括:标识UAV相对于3D地图的位置;接收目标位置输入;标识相对于3D地图的目标位置;生成连接UAV的位置和目标位置的至少一个潜在路线;根据至少一个路线评估标准向至少一个潜在路线分配评估分数;选择具有最高评估分数的潜在路线作为优选路线;以及将优选路线传输到UAV;并且其中UAV包括UAV存储器和与UAV存储器通信的UAV处理器或UAV微控制器中的至少一项,UAV存储器存储机器可读指令,使得当由UAV处理器或UAV微控制器执行时,使UAV处理器或UAV微控制器执行一种方法,该方法包括:从导航模块接收优选路线;以及激活UAV的推进装置以根据优选路线操纵UAV。
在一些实施例中,该系统还包括与导航模块和UAV通信的用户设备。在另外的实施例中,用户设备在接收到用户输入之后将目标位置输入传输到导航模块。在一些实施例中,UAV还包括至少一个侦察传感器,并且其中存储在UAV存储器上的机器可读指令还指示UAV处理器或UAV微控制器:从至少一个侦察传感器获取传感器数据,并且将传感器数据的至少一部分传输到用户设备。在另外的实施例中,该至少一个侦察传感器选自由以下组成的群组:相机、红外相机、麦克风、声学传感器、LiDAR传感器、超声波、声纳、雷达、陀螺仪、电化学有毒气体传感器、温度计、湿度传感器、接近度传感器、大气压力传感器、辐射传感器或其组合。
在一些实施例中,UAV和导航模块通过以下中的至少一项进行通信:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。在一些实施例中,UAV和导航模块通过以下中的至少两项进行通信:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。在一些实施例中,UAV、导航模块和用户设备通过以下中的至少一项进行通信:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。在其他实施例中,UAV、导航模块和用户设备通过以下中的至少两项进行通信:蜂窝、WiFi、射频、红外频率、光学系统、激光系统或卫星网络。
在一些实施例中,3D地图包括LiDAR数据或摄影测量计算中的至少一项。在其他实施例中,3D地图还包括地带指示符标签,该地带指示符标签包括以下中的至少一项:地理围栏禁飞地带、降落或着陆地带、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。
在一些实施例中,导航模块物理上附接到UAV。在其他实施例中,导航模块电子地集成到UAV中并与UAV进行电路通信。在另外的实施例中,导航模块与UAV物理上分离。在其他实施例中,导航模块是云网络系统上的一个或多个计算设备。在再另外的实施例中,导航模块是虚拟机。在再另外的实施例中,用户设备包括导航模块。在再另外的实施例中,用户设备是虚拟机。
在一些实施例中,多个潜在路线是根据至少一个路线约束标准生成的,该至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。在一些实施例中,至少一个路线评估标准包括以下中的至少一项:总路线距离或时间、最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。在其他实施例中,根据至少一个路线评估标准向至少一个潜在路线分配评估分数还包括利用人工智能或机器学习技术分析至少一个路线评估标准。
在一些实施例中,存储在导航模块上的机器可读指令还指示导航模块处理器:接收经更新的3D地图数据、地理围栏禁飞地带、降落或着陆地带、碰撞风险指示符、天气风险指示符或环境风险指示符中的至少一项;以及将经更新的3D地图数据、地理围栏禁飞地带、降落或着陆地带、碰撞风险指示符、天气风险指示符和环境风险指示符中的至少一项存储到导航模块的存储器。在一些实施例中,导航模块处理器通过全球坐标数据标识UAV相对于3D地图的位置。
在一些实施例中,存储在导航模块存储器上的机器可读指令还指示导航模块处理器:在UAV沿着优选路线的飞行的至少一部分期间接收UAV的飞行位置数据;将飞行位置数据与优选路线进行比较以标识是否已经发生路线偏离;当已经标识路线偏离时,计算将UAV的位置连接到目标位置的经校正的路线;以及将经校正的路线传输到UAV;并且其中存储在UAV存储器上的机器可读指令还指示UAV处理器或UAV微控制器:从导航模块接收经校正的路线;以及激活推进装置以根据经校正的路线操纵UAV。在一些实施例中,经校正的路线是根据至少一个路线约束标准计算的,该至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。在其他实施例中,经校正的路线是通过利用人工智能或机器学习技术分析至少一个路线约束标准来计算的。在一些实施例中,飞行位置数据包括全球坐标数据。
在一些实施例中,存储在导航模块存储器上的机器可读指令还指示导航模块处理器:在UAV的飞行的至少一部分期间从UAV接收飞行位置数据;将位置数据与3D地图上的位置进行匹配;基于至少一个探索标准生成至少一个建议的探索路线,该至少一个探索标准包括以下中的至少一项:预测的侦察传感器检测改进、碰撞安全缓冲区、总路线距离或时间、最大海拔高度或其组合;在用户设备的显示器上显示至少一个建议的探索路线;从用户输入接收选择的探索路线;以及将选择的探索路线传输到UAV;并且其中存储在UAV存储器上的机器可读指令还指示UAV处理器或UAV微控制器:从导航模块接收经选择的探索路线;以及激活UAV的推进装置以根据选择的探索路线操纵UAV。在一些实施例中,至少一个建议的探索路线还基于至少一个路线约束标准,该至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。在一些实施例中,飞行位置数据包括全球坐标数据。
在一些实施例中,存储在导航模块存储器上的机器可读指令还指示导航模块处理器:根据至少一个探索风险评估标准向至少一个建议的探索路线分配风险评估分数,该至少一个探索风险评估标准包括以下中的至少一项:最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合;以及在用户设备的显示器上显示每个建议的探索路线的对应风险评估分数。在其他实施例中,向至少一个建议的探索路线分配风险评估分数还包括利用人工智能或机器学习技术分析至少一个探索风险评估标准。在一些实施例中,存储在导航模块存储器上的机器可读指令还指示导航模块处理器:标识至少一个建议的探索路线是否未能满足预定风险评估分数阈值;以及当已经进行标识时,删除未能满足预定风险评估分数的至少一个建议的探索路线。在另外的实施例中,存储在UAV存储器上的机器可读指令还指示UAV处理器或UAV微控制器:从用户设备接收手动超控命令;以及根据手动操纵输入操纵UAV。
在一些实施例中,本文中的公开内容的另一方面包括用于将无人驾驶飞行器(UAV)调度和导航到目标位置的计算机实施方法,该方法包括:标识UAV相对于3D地图的位置;接收目标位置输入;标识相对于3D地图的目标位置;生成连接UAV的位置和目标位置的至少一个潜在路线;根据至少一个路线评估标准向至少一个潜在路线分配评估分数;选择具有最高评估分数的潜在路线作为优选路线;以及将优选路线传输到UAV。
在该方法的一些实施例中,3D地图包括LiDAR数据或摄影测量计算中的至少一项。在其他实施例中,3D地图还包括地带指示符标签,该地带指示符标签包括以下中的至少一项:地理围栏禁飞地带、降落地带、着陆地带、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。
在该方法的一些实施例中,多个潜在路线是根据至少一个路线约束标准生成的,该至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。在一些实施例中,至少一个路线评估标准包括以下中的至少一项:总路线距离或时间、最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。在其他实施例中,根据路线评估标准向至少一个潜在路线分配评估分数还包括利用人工智能或机器学习技术分析至少一个路线评估标准。在一些实施例中,UAV的位置是通过全球坐标数据相对于3D地图标识的。
在一些实施例中,该方法还包括:在UAV沿着优选路线的飞行的至少一部分期间接收UAV的飞行位置数据;将飞行位置数据与优选路线进行比较以标识是否已经发生路线偏离;当已经标识出路线偏离时,计算将UAV的位置连接到目标位置的经校正的路线;以及将经校正的路线传输到UAV。在一些实施例中,经校正的路线是根据至少一个路线约束标准计算的,该至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。在一些实施例中,飞行位置数据包括全球坐标数据。在其他实施例中,经校正的路线是通过利用人工智能或机器学习技术分析至少一个路线约束标准来计算的。
在一些实施例中,该方法还包括:在UAV的飞行的至少一部分期间从UAV接收飞行位置数据;将位置数据与3D地图上的位置进行匹配;基于至少一个探索标准生成至少一个建议的探索路线,该至少一个探索标准包括以下中的至少一项:预测的侦察传感器检测改进、碰撞安全缓冲区、总路线距离或时间、最大海拔高度或其组合;在用户设备的显示器上显示至少一个建议的探索路线;从用户输入接收选择的探索路线;以及将选择的探索路线传输到UAV。在一些实施例中,至少一个建议的探索路线还基于至少一个路线约束标准,该至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。在一些实施例中,飞行位置数据包括全球坐标数据。
在一些实施例中,该方法还包括:根据至少一个探索风险评估标准向至少一个建议的探索路线分配风险评估分数,该至少一个探索风险评估标准包括以下中的至少一项:最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合;以及在用户设备的显示器上显示每个建议的探索路线的对应风险评估分数。在其他实施例中,向至少一个建议的探索路线分配风险评估分数还包括利用人工智能或机器学习技术分析至少一个探索风险评估标准。
在一些实施例中,该方法还包括:标识至少一个建议的探索路线是否未能满足预定风险评估分数阈值;以及当已经进行标识时,删除未能满足预定风险评估分数的至少一个建议的探索路线。
附图说明
前文是概述,且因此,必然在细节上有所限制。下文结合各种实施例,参考附图描述本发明技术的上文所提及方面以及其他方面、特征和优点。
图1示出了系统的一个实施例的各种部件的框图。
图2A至图2C示出了系统部件的各种实施例的框图。
图3示出了在预期使用期间该系统的一个实施例的动画。
图4示出了用于为UAV生成到达目标位置的优选路线的方法。
图5示出了用于监控UAV到目标位置的飞行以获得路线偏离并在路线偏离出现时进行校正的方法。
图6示出了用于监控飞行中的UAV的位置、生成并向用户建议探索操纵以及根据选择的操纵来执行的方法。
所示实施例仅是示例,并且不旨在限制本公开。绘制示意图用于说明特征和概念且其未必按比例绘制。
具体实施方式
前文是概述,且因此,必然在细节上有所限制。现在将结合各种实施例描述本发明技术的上面提及的方面以及其他方面、特征和优点。以下实施例的包含未意图将本公开限于这些实施例,而是相反,允许所属领域的技术人员制造和使用所设想发明。在不脱离本文呈现的主题的精神或范围的情况下,可利用其他实施例,且可作出修改。如本文中所描述和说明的本公开的方面可以多种不同构想形式被布置、组合、修改以及设计,其全部是明确涵盖的且形成本公开的一部分。
本文公开了用于调度和导航UAV的系统和方法。在许多实施例中,该系统和方法允许UAV半自动导航到感兴趣的目标位置(诸如正在发生灾难或紧急情况(例如,野火、建筑火灾、洪水等)的位置),比当前系统更易于使用。在许多实施例中,利用存储至少三维(3D)地图数据的导航模块,该系统和方法允许更加“放手”的方法来调度和导航UAV,同时仍然避免明显的碰撞危险和其他飞行限制,以及使得用户能够和帮助用户输入探索性和替代性的飞行操纵。在一些实施例中,所使用的UAV可以是利用特定硬件修改的商业上可获得的无人机。在其他实施例中,UAV可以被定制构建以执行本文描述的特征。
如本文所讨论的那样,该系统和方法可以用于紧急情况和灾难响应,但是它们可以附加地或替代性地用于期望UAV半自动导航的任何合适的应用,诸如航空摄影、递送服务以及娱乐或军事目的中。如本文所用,术语“UAV”和“无人机”将被认为是同义的,并且可以通篇互换使用。
在许多实施例中,本文的设备和方法采用使用来自一个或多个全球或区域坐标系(例如,卫星导航系统)的坐标。这些系统包含但不限于全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统(BDS)、伽利略、准天顶卫星系统(QZSS)和印度区域导航卫星系统(IRNSS)以及在使用或不使用卫星的情况下提供关于地球的给定位置的明确坐标的任何其他当前或未来的系统中的那些系统。如本文所用,术语“全球坐标”旨在是指来自上述或类似系统中的任何一个的坐标或其等同物。在许多实施例中,全球坐标将是GPS坐标,但是本领域的技术人员将会理解,至少出于上述原因,术语“GPS坐标”在本文中的使用不是限制性的。
系统和设备
系统起作用以将UAV调度和导航到目标位置。如图1所示,在许多实施例中,系统100可以包括与导航模块152通信125的UAV 102。UAV 102可以包括与UAV存储器106通信的UAV处理器或微控制器104,该UAV存储器可以存储可由UAV处理器或微控制器104执行的各种机器可读指令。UAV 102可以附加地包括推进装置(未示出)(诸如任意数量的旋翼或发动机)、为推进装置供电的电源(未示出)、为UAV提供结构强度的外壳(未示出)以及完成可操作UAV所需的所有布线和电子部件,如本领域技术人员所理解的那样。UAV存储器106可以存储可由UAV处理器或微控制器104执行的各种机器可读指令,使得UAV 102除了如本文所述的特定任务之外,还能够以本领域技术人员理解的受控方式操作其推进装置。
在另外的实施例中,UAV 102可以包括至少一个侦察传感器108,该至少一个侦察传感器收集关于其环境的各种数据。侦察传感器108可以包含但不限于相机、红外相机、麦克风、声学传感器、光探测和测距(LiDAR)传感器、超声波、声纳、雷达、陀螺仪、电化学有毒气体传感器、温度计、湿度传感器、接近度传感器、大气压力传感器、辐射传感器或其组合。至少一个侦察传感器108可以收集数据并将其本地存储在UAV存储器106上。在其他实施例中,UAV可以将由至少一个侦察传感器108收集的数据传输到导航模块152或传输到另一设备,诸如用户设备(未示出)。在某些实施例中,UAV可以将由至少一个侦察传感器108收集的数据传输到一个或多个设备,该一个或多个设备是如本文所述的云计算系统的一部分。在一些实施例中,云计算系统可以运行一个或多个虚拟机或部件。
在许多实施例中,导航模块152包括导航模块处理器154和导航模块存储器156,该导航模块存储器存储可由导航模块处理器154执行的机器可读指令以及3D地图数据160。在一些实施例中,3D地图数据160可以是区域的LiDAR地图(例如,LiDAR地形图)。在其他实施例中,3D地图数据160可以包含附加数据,诸如生成地形和结构信息的摄影测量和其他数字视觉计算的数据。在各种实施例中,3D地图数据160可以说明以下中的一个或多个:地面表面地形以及树木覆盖和其他障碍物(例如,电线杆、街灯、交通灯等)的范围和高度。在一些实施例中,3D地图数据包含LiDAR地图数据与全球坐标的交叉引用或对齐。在这些实施例中,全球坐标可以用于查找或返回给定位置的LiDAR地形、卫星图像或其他相关联的数据中的一个或多个。在一些实施例中,导航模块可以是虚拟机或者可以包含一个或多个虚拟部件。
在一些实施例中,3D地图数据160还包含地带指示符标签,该地带指示符标签分配可由本文所述的系统读取和操作的值。地带指示符标签表示对导航UAV通过或围绕3D地图数据160的某些区域有用的其他考虑。在一些实施例中,这些地带指示符标签可以包含但不限于地理围栏禁飞地带、降落或着陆地带、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。例如,地理围栏禁飞地带指示符标签可以在其如下所讨论的计算期间通知导航模块UAV不应该进入该区域(例如,该区域标示了在其中放飞UAV是危险的机场)。在一些实施例中,地理围栏禁飞地带也可以设置海拔高度最大值,这意味着只要UAV保持在预定海拔高度以下,它就被允许在特定区域内飞行。在一些实施例中,地理围栏禁飞地带可以是临时的或永久的。在各种实施例中,地理围栏禁飞地带可以根据来自相关航空和政府机构的飞行员通知(NOTAM)消息或临时飞行限制(TFR)自动并入。降落或着陆地带指示符标签可以通知导航模块预定为使材料(例如,用于递送的包裹、供应品、救生衣等)降落是安全的区域或着陆到其上的区域。在许多实施例中,降落或着陆地带指示符标签表示这样的区域,该区域通常没有危险并且对于UAV来说足够开阔和可接近。可以利用降落或着陆地带指示符标签打标签的示例区域包含但不限于一些建筑物的屋顶和开阔场地。例如,在某些实施例中,碰撞风险指示符可以表示其中存在较大意外碰撞风险但是单独地在3D地图数据160中不足以表示的区域。例如,具有许多电线或电话线或细树枝的区域可以利用碰撞风险指示符来标示。在许多实施例中,天气风险指示符可以标示危险的天气条件(例如,非常强的风、冰雹、闪电等)当前存在于哪里并且因此表示对UAV的风险。在许多实施例中,环境风险指示符可以表示尚未描述的3D地图数据160的特定位置所固有的任何其他风险。例如,当前正在经历野火的区域可以利用环境风险指示符来标记,以表示由于烟雾而具有高热或低能见度的区域。在某些实施例中,环境风险指示符还可以用于标示自收集3D地图数据160以来3D地图数据160被怀疑有缺陷、不准确和/或被改变的地带(例如,森林燃烧后的森林的一部分)。在一些实施例中,碰撞风险指示符、天气风险指示符和/或环境风险指示符可以包括标量值,该标量值描述了与其类型的其他指示符相比更大或更小的风险。在其他实施例中,上述地带指示符标签可以全部集中地或以子集合并成单个值,以表示在3D地图数据160的该区域中的可以由系统100在路线计算期间考虑的UAV的组合风险,如本文所述。在不脱离本公开的范围的情况下,可以包含附加类型的地带指示符标签。在各种实施例中,3D地图数据(即,具有或不具有地带指示符标签的LiDAR或摄影测量计算)可以通过手动输入和/或自动上传(包含从集成的第三方系统)提供给系统。
在一些实施例中,系统100可以将公共路线数据存储为3D地图数据160的一部分。在这些实施例中,公共路线数据表示UAV 102的频繁使用的起点和频繁使用的目标位置之间的先前计算的优选路线(例如,参见图4)。以这种方式,系统100可以通过在导航模块152标识相关的起点和目标位置时利用公共路线数据提供先前计算的优选路线作为潜在路线而不是重新生成先前使用的路线来节省时间。在许多实施例中,由公共路线数据提供的潜在路线将随后针对瞬时3D地图数据(例如,天气和环境风险指示符)进行分析,并且在被传输到UAV 102作为给定场合的优选路线之前可能被调节或拒绝。
在许多实施例中,导航模块存储器156能够接收经更新的3D地图数据160。在许多这些实施例中,当导航模块存储器156接收到经更新的3D地图数据160时,它适当地将经更新的数据160用于任何未来的操作,除非另外指示检索和利用过时的数据160。经更新的3D地图数据可以包含新的LiDAR地图部分(例如,自前一次扫描以来新建造的建筑物或被清理的森林的新的LiDAR扫描)、新的摄影测量计算,以及新的或经更新的地带指示符标签。在一些实施例中,与3D地图数据的其他部分相比(例如,在一些实施例中,天气指示符标签可以根据实时更新时间表进行更新),3D地图数据160的某些部分的更新可以相对不频繁地发生(例如,新的LiDAR扫描)。在其他实施例中,在UAV 102在去往附近位置的途中时,新的降落或着陆地带指示符标签可以作为经更新的3D地图数据被实时提供。在另外的实施例中,至少一个侦察传感器108可以在去往目标位置的途中的同时收集新的3D地图数据160。在这些实施例中,可以由导航模块152立即分析这个新收集的3D地图数据160,以生成UAV 102的经更新的或替代性的路线。在一些实施例中,可以采用人工智能(AI)或机器学习(ML)技术来分析由至少一个侦察传感器108在途中收集的新的3D地图数据160(例如,位置的视觉图像),以进一步通知由导航模块152进行的决定。例如,在一个实施例中,侦察传感器108可以收集向导航模块152揭示先前未知的障碍物或空地的新的LiDAR扫描。在另一示例中,侦察传感器108可以检测和监控天气或环境条件,这些天气或环境条件向3D地图数据贡献新的或经更新的天气或环境风险指示符。
UAV 102和导航模块152彼此通信125。在某些实施例中,每个还与一个或多个用户设备(未示出)通信。在一些实施例中,用户设备可以是虚拟用户设备。可以采用各种各样的用户设备,包含具有如本文所述的增强现实(AR)和虚拟现实(VR)容量的那些用户设备。在另外的实施例中,单个导航模块152可以与多个UAV 102通信。在一些实施例中,单个导航模块152可以与多个UAV 102通信并将该多个UAV引导到相同的目标位置。在其他实施例中,单个导航模块152可以与多个UAV通信并将该多个UAV引导到唯一的目标位置。在再另外的实施例中,UAV 102可以与一个或多个单独的UAV 102通信125。在一些实施例中,UAV 102和导航模块152通过以下中的至少一项彼此通信125:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。在其他实施例中,多个UAV 102通过以下中的至少一项彼此通信125:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。当本文说系统100的部件(例如,UAV 102和导航模块152)彼此通信时,本领域技术人员将理解,部件则包括必要的硬件并存储任何必要的机器可读指令,以便利用通信协议或方法。以这种方式,在适当的情况下在某些实施例中,UAV 102和导航模块152可以被认为各自包括通信模块(未示出)。在其他实施例中,可以基于3D地图、地带指示符标签、通信协议可用性来选择通信协议或方法。在一些实施例中,如果一种协议不可用,则通信可以切换到另一协议或方法。
在其他实施例中,UAV 102和导航模块152通过以下中的至少两项彼此通信125:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。通过经由多个通信协议或方法进行通信,在系统100的任何部分发生损坏的情况下,将冗余构建到系统100中。
在一些实施例中,UAV 102、导航模块152和一个或多个用户设备通过以下中的至少一项彼此通信125:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。在其他实施例中,UAV 102、导航模块152和一个或多个用户设备通过以下中的至少两项相互通信125:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。另外,在一些实施例中,系统100的各种部件出于不同目的通过多个通信协议或方法同时通信。例如,卫星网络可以用于全球坐标信息的单向传输,而蜂窝网络用于发送命令和从至少一个侦察传感器108接收数据。在其他实施例中,关于UAV 102和/或一个或多个用户设备的位置的位置数据可以通过除卫星网络之外的通信协议发送到导航模块152,以允许系统100在无法到达合适的卫星网络的紧急情况下操作。在另外的实施例中,RFID标签和读取器可以在UAV 102和其他设备或物体(例如,用户设备、用于递送的装备或包裹、其他UAV等)上实施,用于由UAV 102或导航模块152对其进行检测和标识。在这些实施例中的一些实施例中,RFID标签和读取器可以促进多个UAV 102编队飞行或者单个UAV在多个包裹中标识一个包裹以便进行递送的容量。
在一些实施例中,UAV 102和导航模块152是物理上分离的设备。在这些实施例中,它们然后可以经由无线系统进行通信125,如上所述。在其他实施例中,导航模块152物理上附接到UAV 102。这可以通过将包含导航模块152的外壳(未示出)机械紧固到UAV 102来进行。在这个实施例的某些版本中,导航模块152可以适于从分离的电源(未示出)或从UAV102的相同的一个或多个电源(未示出)获取其电力。在导航模块152被紧固到UAV 102的一些实施例中,UAV 102和导航模块152仍然可以经由如上所述的无线系统进行通信125。
在其他实施例中,导航模块152电子地集成到UAV 102中并与其进行电路通信。在某些实施例中,术语“电子地集成”和“电路通信”在单个电子系统中是统一的,共享它们的特征和电路系统的至少一部分。例如,在导航模块152与UAV 102电子地集成并与其进行电路通信的实施例中,单个处理器或微控制器执行UAV处理器或微控制器104和导航模块处理器154两者的所描述的全部步骤,如本文所述。在类似的实施例中,可以存在除了存储3D地图数据160之外,还存储将由UAV处理器或微控制器104执行的机器可读指令以及由导航模块处理器154执行的那些指令的单个存储器。在许多实施例中,使导航模块152与UAV 102电子地集成并与其进行电路通信可以显著减少两者之间的通信时间方面的延迟。在导航模块152电子地集成到UAV 102中并与其进行电路通信的实施例中,UAV 102可以被认为包括导航模块152。
在另一些实施例中,导航模块152包括多个导航模块处理器154和导航模块存储器156,其作为云计算系统操作、与UAV 102通信125,并且在一些实施例中与用户设备(未示出)通信。在这些实施例中,在UAV 102的飞行期间,导航模块152的硬件不暴露于与UAV 102相同的危险。另外,云计算系统的使用可以加快导航模块152的路线计算的速度,如本文在某些实施例中所述。在一些实施例中,云计算系统可以包含各种一个或多个虚拟机或虚拟部件。在这些实施例中,虚拟机和部件可以仿真促进本文描述的系统和方法的性能的各种硬件部件和软件操作,包含但不限于导航模块和用户设备。在再另外的实施例中,导航模块可以采用人工智能(AI)和/或机器学习(ML)技术,包含但不限于涉及计算机视觉、图像处理和模式发现、识别和分类的那些技术以及用于路线优化的那些技术。在一些实施例中,单个导航模块152可以与多个UAV 102通信125并导航该多个UAV。
在许多实施例中可以使用各种用户设备。在一些实施例中,用户设备可以是平板电脑、移动设备(例如,移动电话)、个人计算机、膝上型计算机、增强现实(AR)设备、虚拟现实(VR)设备、可穿戴设备(例如,眼镜、手表等)等。在其他实施例中,用户设备可以是虚拟机(例如,虚拟用户设备)。在一些实施例中,用户设备包括显示器,该显示器显示关于UAV 102的各种信息,包含但不限于UAV 102的位置、UAV 102的一个或多个实际或潜在飞行路径以及由UAV的侦察传感器108收集的任何数据。在一些实施例中,显示器可以包含AR设备的显示器,诸如具有AR平视显示器(HUD)的一副眼镜或显示到车辆的挡风玻璃上的类似HUD。在其他实施例中,显示器可以包含VR设备的显示器,诸如一副带有或不带有附加外围设备的虚拟现实护目镜。在各种实施例中,用户可以通过在使用或不使用附加的可穿戴或外围设备(诸如包含标示或相机的手套)的情况下执行物理手势,经由VR或AR用户设备输入用户输入。在其他实施例中,用户设备能够从用户接收用户输入,并将其提交给UAV 102和/或导航模块152中的至少一项。这个输入(例如,语音、文本、触觉等)可以包含但不限于目标位置的选择和/或UAV的一个或多个飞行路径的选择,如本文所述。在再另外的实施例中,输入可以包含手动超控命令和允许用户通过用户设备手动导航和操纵UAV 102的随后的手动操纵输入。在一些实施例中,单个用户设备可以提供上述和/或附加功能中的一个或多个。在其他实施例中,多个用户设备与UAV 102和导航模块152通信,每个用户设备具有上述或附加功能中的一个或多个的子集,用于实现如本文所述的用户设备的各种技术特征。例如,第一用户设备可以包括用于显示关于UAV 102的信息的显示器,并且可以向UAV 102或导航模块152传输飞行路径选择,而第二用户设备能够向UAV 102和/或导航模块152发送手动超控命令和手动操纵输入。
图2A至图2C描绘了包括UAV、导航模块和至少一个用户设备的系统的各种实施例。如图2A所示,在许多实施例中,系统200a可以包括物理上分离的UAV 202a、导航模块204a和用户设备206a(全部彼此通信210a)。在某些实施例中,用户设备206a可以包括多个用户设备。在一些实施例中,导航模块204a可以是云计算系统,如本文所述。在其他实施例中,导航模块204a可以物理上附接到UAV 202a,但是不与其电子地集成或与其进行电路通信,如本文所述。在这些实施例中,在UAV 202a、导航模块204a和用户设备206a中的全部三个之间可能需要分离的通信210a信道。UAV 202a、导航模块204a和用户设备206a中的任何两个可以通过以下中的至少一项彼此通信210a:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文在一些实施例中所述。在其他实施例中,UAV 202a、导航模块204a和用户设备206a中的任何两个可以通过以下中的至少两项彼此通信210a:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文所述。在某些实施例中,UAV 202a、导航模块204a和用户设备206a中的全部三个可以通过以下中的至少一项彼此通信210a:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文在一些实施例中所述。在再另外的实施例中,UAV 202a、导航模块204a和用户设备206a中的全部三个可以通过以下中的至少两项彼此通信210a:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文所述。
图2B示出了系统200b的替代性实施例,其中UAV 202b包括如本文所述的导航模块204b。因为导航模块204b与UAV 202b电子地集成并与其进行电路通信,所以系统200b可以被认为只需要考虑用户设备206b和UAV 202b之间的通信210b。在某些实施例中,用户设备206b可以是多个用户设备。在一些实施例中,UAV 202b和用户设备206b可以通过以下中的至少一项彼此通信210b:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文所述。在其他实施例中,UAV 202b和用户设备206b可以通过以下中的至少两项彼此通信210b:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文所述。
图2C示出了系统200c的替代性实施例,其中导航模块204c与用户设备206c电子地集成并与其进行电路通信。在这些实施例中,用户设备206c可以被认为包括导航模块204c。在一些实施例中,用户设备206c可以是多个用户设备,该多个用户设备中只有一个包括导航模块204c。在另一些实施例中,用户设备206c可以是多个用户设备,每个用户设备包括导航模块204c的技术特征的一部分,如本文所述。在这些实施例中,多个用户设备除了与UAV202c通信210c之外,还可以全部彼此通信210c。在一些实施例中,UAV 202c和用户设备206c可以通过以下中的至少一项彼此通信210c:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文所述。在其他实施例中,UAV 202c和用户设备206c可以通过以下中的至少两项彼此通信210c:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络,如本文所述。
在图2A至图2C的各种实施例中,一个或多个UAV 202a、202b、202c、导航模块204a、204b、204c和用户设备206a、206b、206c可以被配置为与各种第三方软件模块和硬件部件兼容,从而允许系统200针对特定使用情况的可定制性。
图3描绘了在预期使用期间系统300的一个实施例的动画。用户301(诸如应急响应小组的事故指挥官)想要将UAV 302部署到当前正在发生紧急情况的目标位置303,以便从UAV 302上的至少一个侦察传感器(未示出)获取数据。经由与UAV 302和导航模块304通信310的用户设备306,用户301可以将目标位置303输入到系统300中。使用其3D地图数据(未示出),导航模块304可以计算如本文所述的将UAV 302调度到目标位置303的优选路线(即,飞行路径)。如本文所述,导航模块304可以附加地自主检查以查看UAV 302是否偏离了优选路线,并相应地校正航线。另外,如本文所述,在各种实施例中,导航模块304可以经由用户设备306向用户301建议探索路线。
方法
图4描绘了用于生成UAV到目标位置的优选路线的方法400的实施例。如本文所用,术语“路线”和“飞行路径”被认为是等同的,并且可以互换使用。在许多实施例中,存储在导航模块存储器上的机器可读指令可以使导航模块执行图4的方法400。如图所示,该方法400的实施例包含在框S402中标识UAV相对于3D地图的位置,在框S404中接收目标位置输入,在框S406中标识相对于3D地图的目标位置,在框S408中生成连接UAV的位置和目标位置的至少一个潜在路线,在框S410中根据路线评估标准向至少一个潜在路线分配评估分数,在框S412中选择具有最高评估分数的潜在路线作为优选路线,并且在框S414中将优选路线传输到UAV。方法400用于灾难和应急响应小组,但是可以附加地或替代性地用于其中期望UAV的半自动导航的任何合适的应用。在许多实施例中,优选路线的生成可以被认为是针对风险分析的优化问题。本领域技术人员将理解到可以采用的各种特定计算方法,包含但不限于单纯形、模糊逻辑和共生生物搜索(SOS)方法。在再另外的实施例中,可以利用人工智能(AI)和/或机器学习(ML)技术来执行优化计算。本文描述的方法400和后续方法的框呈现了所需的分析的组织,并且不旨在受任何特定计算方法限制。
在框S402中,方法400包含标识UAV相对于3D地图的位置。为了计算UAV到目标位置的路线,导航模块可以通过标识UAV的当前或起始位置开始。在一些情况下,UAV可以在降落场或任何固体表面上着地,而在其他情况下,UAV可以当前在飞行中,或者移动到新的位置(例如,目标位置,在计划的巡逻中等)或者在空中保持稳定的位置。在某些实施例中,UAV从一致的起始位置部署,诸如在应急响应小组的操作基地处的所限定的降落场。在其他实施例中,用户可以首先将UAV运输(例如,通过汽车)到唯一的起点,从该起点开始系统的使用。在另一些实施例中,UAV可以从移动的车辆部署,诸如在到事故的途中的消防车。在许多实施例中,如本领域技术人员所理解的那样,方法400采用全球坐标跟踪技术和/或类似系统来帮助执行框S402;然而,在这些实施例中,全球坐标或类似标识符然后可以相对于3D地图被交叉引用或以其他方式被进一步标识。
在框S404中,方法400包含接收目标位置输入。在许多实施例中,从收集用户输入的用户设备接收目标位置输入。例如,这可以来自通过用户设备(例如,平板电脑或移动设备)的显示器上的GUI的手动用户输入,或者通过移动电话上到紧急服务的电话呼叫,其中电话的全球坐标直接与电话呼叫一起传输。在其他实施例中,目标位置输入可以从与导航模块通信的自动化系统(诸如计算机辅助调度(CAD)系统)接收。因为用户必须最初已经将目标位置输入到CAD系统中,所以在一些实施例中,CAD系统也可以被认为是用户设备。在再另外的实施例中,目标位置输入可以从直接或经由CAD或等效系统集成到系统中的任何设备上的传感器接收。例如,充分集成到系统(例如,集成到“物联网”装置中)中的烟雾探测器可以在探测到烟雾时发送其全球坐标。其他示例可以包含但不限于运动探测器、麦克风、温度计和能够检测其中期望将UAV部署到其位置的情况的其他传感器。在这些实施例中,具有这种传感器的任何设备可以被认为是用户设备,因为用户必须布置该设备来这样做。在各种实施例中,可以通过预定义的参数执行紧急情况的检测和后续信息的传输的第三方系统可以被集成到本文中的公开内容的系统中,以提供目标位置输入。附加地,在某些实施例中,允许将目标位置输入(或其等同物)从电话呼叫直接传输到CAD的第三方系统也可以集成到本文中的公开内容的系统中。在许多实施例中,目标位置可以作为全球坐标或类似的地理位置参考技术或格式来接收。在一些实施例中,目标位置可以是UAV依次访问的多个位置。
在框S406中,方法400包含相对于3D地图标识目标位置。在某些实施例中,这可以包含将全球坐标或其他指示符与3D地图上的位置相关联。本领域的技术人员将理解,在不脱离本公开的范围的情况下,可以以各种顺序执行框S402至S404。
在框S408中,方法400包含生成连接UAV的位置和目标位置的至少一个潜在路线。各种考虑和技术(包含但不限于AI或ML技术)可以用于生成至少一个潜在路线。在许多实施例中,该至少一个潜在路线考虑了所有三个维度上的运动(即,纬度、经度和海拔高度方面的变化)以及3D地图数据,使得该至少一个潜在路线不与已知障碍物(例如,树木、建筑物、山坡等)相交。在存在多个目标位置的实施例中,至少一个潜在路线可以包含对多个目标位置的顺序访问。在具有多个目标位置的其他实施例中,该至少一个潜在路线可以是使UAV连续环形移动通过多个目标位置中的至少一部分的“巡逻”路线。
在另外的实施例中,至少一个潜在路线是根据附加路线约束标准生成的,该附加路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。
在一些实施例中,碰撞安全缓冲区定义了潜在路线和已知障碍物之间的最大距离,如3D地图数据所描述的那样。尽管在某些实施例中,LiDAR生成的3D地图可能非常精确,但是在某些情况下,通过将UAV的移动限制在已知障碍物的某个缓冲距离内来进一步降低碰撞的风险,对一些用户可能是感兴趣的。在一些实施例中,碰撞安全缓冲区可以从大约0.25米到大约100m。在一些另外的实施例中,碰撞安全缓冲区可以从大约0.25m到大约50m。在其他实施例中,碰撞安全缓冲区可以从大约0.25m到大约10m。在另一些实施例中,碰撞安全缓冲区可以从大约0.25米到大约5m。在另外的实施例中,碰撞安全缓冲区可以从大约0.25m到大约2.5m。在再另外的实施例中,碰撞安全缓冲区可以是大约1m。在一些实施例中,可以对由3D地图捕获的不同类型的障碍物进行分类(例如,树木、建筑物等),并且可以将不同的碰撞安全缓冲区应用于每一类障碍物。例如,在一个实施例中,路线约束标准可以允许至少一个潜在路线在建筑物的1m内通过,但是仅在树的5m内通过。在其他实施例中,不同种的树木可以被定义为分离的障碍物类别,并因此被分配不同的碰撞安全缓冲区,以考虑自先前的LiDAR扫描或3D地图的其他更新以来的生长方面的变化。
在一些实施例中,总路线距离或时间作为路线约束标准,对至少一个潜在路线的总允许行驶距离或时间施加限制。在某些实施例中,为了避免或减少某些UAV的磨损和/或可靠性问题,这种限制可能是有用的。例如,可以知道特定的UAV型号对于超过五小时的飞行时间的飞行受到明显的旋翼损伤的影响;因此,这个路线约束标准将限制系统生成有这种磨损的风险的潜在路线。在一些实施例中,对于不同型号的UAV,总的允许行驶距离或时间可以不同。术语“总路线距离”和“总路线时间”旨在表示操纵UAV从起始位置到目标位置所需的距离或时间。然而,在某些实施例中,建议的探索路线可以被设计成环形移动回到其起始位置。在一些实施例中,作为路线约束标准,总路线距离可以从大约10m到大约10km。在其他实施例中,总路线距离可以从大约100m到大约10km。在另一些实施例中,总路线距离可以从大约250m到大约10km。在再一些另外的实施例中,总路线距离可以从大约250m到大约5km。在另外的实施例中,总路线距离可以从大约100m到大约5km。在再另外的实施例中,总路线距离可以从大约100m到大约1000m。在附加实施例中,总路线距离可以从大约10m到大约500m。在一些实施例中,作为路线约束标准,总路线时间可以从大约1分钟到大约12小时。在其他实施例中,总路线时间可以从大约5分钟到大约4小时。在另一些实施例中,总路线时间可以从大约30分钟到大约4小时。在另外的实施例中,总路线时间可以从大约1小时到大约2小时。在再另外的实施例中,总路线时间可以从大约1小时到大约8小时。在附加的实施例中,总路线时间可以从大约1小时到大约6小时。在许多实施例中,作为路线约束标准,总路线距离或时间根据正在部署的UAV的已知容量来确定。
在一些实施例中,作为路线约束标准,最大海拔高度对允许至少一个潜在路线到达的最高海拔高度施加限制。在某些情况下,一些UAV型号在某海拔些高度以上可能不可靠或不可操作,或者在某些区域可能有禁止在某些海拔高度以上飞行UAV的法律。因此,在这些实施例中,最大海拔高度路线约束标准防止了危及UAV或违反地区法规的潜在路线的生成。在许多实施例中,作为路线约束标准,最大海拔高度是根据正在部署的UAV的已知容量来确定的。
如上文在一些实施例中所述,作为路线约束标准,地理围栏禁飞地带排除了穿过由3D地图的地带指示符标签所确定的受限区域的潜在路线的生成。附加地,如上所述,在一些实施例中,最大海拔高度约束替代性地被标识为具有适当海拔高度例外的地理围栏禁飞地带。
在一些实施例中,作为路线约束标准,剩余电池寿命考虑了基于UAV的当前电池电量可用的计划飞行时间,并且防止在其到达目的地之前会完全耗尽电源的潜在路线的生成。在其他实施例中,剩余电池寿命路线约束标准进一步考虑完整往返行程(即,到感兴趣的位置并返回到UAV的起点)的持续时间,从而防止完全耗尽的往返行程潜在路线的生成。在再另外的实施例中,剩余电池寿命路线约束标准还考虑了完整往返行程的持续时间加上在目标位置的预定量的悬停、监控和/或探索时间。在许多实施例中,作为路线约束标准,剩余电池寿命根据正在部署的UAV的已知容量来确定。
在框S410中,在许多实施例中,方法400包含根据路线评估标准向至少一个潜在路线分配评估分数。在各种实施例中,路线评估标准可以包括以下中的至少一项:总路线距离或时间、最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。在许多实施例中,潜在路线的评估分数是应用于潜在路线的每个路线评估标准的各个分数的合成。在一些实施例中,每个路线评估标准的各个分数可以被均匀地编译以生成评估分数。在其他实施例中,可以根据预定度量或函数对各个分数进行加权。在一些实施例中,预定度量或函数可以由AI或ML技术产生,该AI或ML技术在对于上述路线评估标准中的一个或多个具有各种值的示例性成功和不成功路线的数据集上训练。例如,穿过或靠近各种地带指示符标签的,山上或建筑物之间的成功穿越的飞行路径可以被用作训练数据集的一部分。
在许多实施例中,作为路线评估标准,总路线距离或时间更有利地评价具有UAV到达目标位置的较短的总行驶距离或时间的潜在路线。在许多情况下,路线越短,UAV能够到达目标位置越快,并且节省的时间在某些紧急情况或灾难情况下至关重要。另外,减少UAV的总飞行距离或时间有助于最小化或减少UAV在多次飞行中的预期磨损,从而降低维护和更换成本。在各种实施例中,潜在路线的总路线距离或时间的分数可以随着增加的距离或时间而线性地、二次地、几何地、步进地或根据另一函数改变。在许多实施例中,与到相同目标位置的其他潜在路线相比具有更短的总距离或时间的潜在路线对于总路线距离或时间路线评估标准将得分更好。
在许多实施例中,作为路线评估标准,最小海拔高度变化更有利地评价具有较小的海拔高度方面的变化的潜在路线。在一些实施例中,保持恒定的海拔高度或狭窄的海拔高度范围可以有利于从UAV的一个或多个侦察传感器收集一致且可靠的数据。在其他实施例中,与在恒定海拔高度处的稳定飞行相比,海拔高度方面的频繁和/或极端变化可能对UAV造成更大的磨损。在各种实施例中,潜在路线的最小海拔高度变化的分数可以随着增加的海拔高度变化而线性地、二次地、几何地、步进地或根据另一函数变化。在许多实施例中,与到相同目标位置的其他潜在路线相比具有恒定海拔高度或较窄海拔高度范围的潜在路线对于最小海拔高度变化路线评估标准将得分更好。
在许多实施例中,作为路线评估标准,最大海拔高度更有利地评价停留在低于预定海拔高度值的潜在路线。在某些实施例中,在较高海拔处操作比在较低海拔处操作给UAV带来更大的风险。在各种实施例中,潜在路线的最大海拔高度的得分可以随着增加的海拔高度线性地、二次地、几何地、步进地或者根据另一函数。在许多实施例中,停留在预定海拔高度以下的潜在路线对于最大海拔高度路线评估标准将得分更好。
在许多实施例中,作为路线评估标准并且单独或彼此任意组合地,碰撞风险指示符、天气风险指示符和环境风险指示符更有利地评价具有对UAV的较小可能性的可能损害的潜在路线。如上所述,这些指示符用于量化UAV的各种危险,这些危险可能没有被LiDAR地图单独充分地表示,并且可以被分配给地图作为地带指示符标签。在许多实施例中,当潜在路线穿过利用这些风险指示符标签中的至少一项贴标签的一个或多个地带时,表示这些地带的风险的值可以被编译并被认为是路线评估标准。与到达相同目标位置的其他潜在路线相比,在利用这些风险指示符贴标签的危险地带内花费较少飞行距离或时间的潜在路线对于碰撞风险指示符路线评估标准、天气风险指示符路线评估标准和/或环境风险指示符路线评估标准将得分更好。在一些实施例中,与各个碰撞风险指示符、天气风险指示符和环境风险指示符相关联的值可以通过AI或ML技术生成,该AI或ML技术通过所述风险指示符类别在成功和不成功的UAV飞行的数据集上进行训练。
考虑一个或多个路线评估标准,方法400为至少一个潜在路线生成并分配评估分数,该评估分数表示潜在路线的总体优选性以及与所使用的路线评估标准的预定参数的兼容性。在步骤S412中,方法400包含选择具有最高评估分数的潜在路线作为优选路线。如本文所用的术语“最高评估分数”旨在指示最符合路线评估标准参数的潜在路线;然而,在不脱离本公开的范围的情况下,计算和排名的具体细节可以变化。在一些实施例中,“最高评估分数”可以是每个生成的潜在路线的评估分数中的最大数值。在其他实施例中,“最高评估分数”可以是每个生成的潜在路线的评估分数中的最小数值。不管细节(包含但不限于本文公开的各种示例和实施例)如何,该方法选择具有如本文定义的最高评估分数的潜在路线作为优选路线。在各种实施例中,方法400可以采用单纯形、模糊逻辑和共生生物搜索(SOS)方法来生成优选路线。在再另外的实施例中,可以利用人工智能(AI)和/或机器学习(ML)技术来计算优选路线。
在某些实施例中,当接收到紧急超控输入时,可以忽略某些路线评估标准和/或可以选择具有较差评估分数的潜在路线。在许多实施例中,可以从用户设备上的用户输入或者从诸如CAD的自动化系统接收紧急超控输入。例如,方法400可以生成穿过野火到达被困徒步旅行者的目标位置的两个潜在路线。第一路线要快得多但对UAV来说造成风险更大,因为它必须飞行通过更热、更危险的火焰区段。第二路线更长但更安全,因为它避开了特别危险的地区。在许多实施例中,方法400可以选择第二路线,因为它将接收更高的评估分数;然而,紧急超控输入可以迫使方法400和/或执行方法400的系统替代地选择第一路线。例如,现场处的事故指挥官可以决定将UAV的传感器带到被困徒步旅行者的目标位置时所节省的时间值得对UAV的潜在的致命风险,并且他或她可以在用户设备上输入紧急超控输入。在这个示例的一些实施例中,方法400可以被认为忽略了作为路线评估标准的环境风险指示符。在这个示例的其他实施例中,方法400可以被认为是选择具有较差评估分数的潜在路线。用于紧急超控输入的另一说明性示例可以包含部署UAV超过其安全返回的能力,这意味着UAV在目标位置或返回途中将可能坠毁,潜在地不可恢复坠毁。
在一些实施例中,该方法包含检查UAV的位置和目标位置之间的公共路线数据。如本文所述,公共路线数据可以存储连接频繁使用的起点和频繁使用的目标位置的一个或多个优选路线。以这样的方式,方法400可以通过利用来自公共路线数据的先前优选路线作为新实例的潜在路线来节省时间,从而避免每次都重新生成旧路线。在许多实施例中,由公共路线数据提供的潜在路线将随后被分析以获得瞬时因素,诸如如本文描述的天气或环境风险指示符。
在框S414中,方法400包含向UAV传输优选路线。在许多实施例中,优选路线以这样的方式被传输到UAV,该方式使得UAV能够利用其处理器或微控制器和存储器来激活其推进装置,以便根据优选路线操纵以到达目标位置。通过方法400的各种实施例,通过使用3D地图数据简单输入目标位置,可以将UAV自动调度到目标位置。
图5描绘了用于监控UAV到目标位置的飞行(或者在探索路线上,如本文所述)以获得路线偏离并且当发生路线偏离时校正路线偏离的方法500的实施例。在许多实施例中,存储在导航模块存储器上的机器可读指令可以使导航模块执行图5的方法500。如图所示,该方法500的实施例包含在框S502中在UAV沿着优选路线的飞行的至少一部分期间接收UAV的飞行位置数据,在框S504中将飞行位置数据与优选路线进行比较以标识是否已经发生路线偏离。取决于是否已经发生路线偏离,方法500或者返回到框S502或者前进到框S506。如果方法500前进,则它包含在框S508中计算将UAV的位置连接到目标位置的经校正的路线,并在框S510中将经校正的路线传输到UAV。在再另外的实施例中,AI和/或ML技术可以用于执行方法500的各个部分。本文描述的方法500和后续方法的框呈现了所需的分析的组织,并且不旨在受任何特定计算方法限制。
在框S502中,方法500包含在UAV沿着优选路线的飞行的至少一部分期间接收UAV的飞行位置数据。在许多实施例中,优选路线由图4的方法400或者由图1至图3中的任何一个的系统生成。在替代性实施例中,飞行位置数据是本文描述的探索路线上的UAV的数据,诸如由图6的方法600生成的数据。在一些实施例中,可以采用如本领域技术人员所理解的全球坐标跟踪和/或类似技术在飞行期间接收UAV的位置的飞行位置数据。在许多实施例中,飞行位置数据可以与3D地图上的位置交叉引用或关联。在一些实施例中,只能以规则的间隔(例如,30秒、1分钟、2分钟、5分钟、7分钟、10分钟等)接收飞行位置数据。在其他实施例中,尽可能频繁和连续地接收飞行位置数据,如所采用的跟踪技术允许的那样。
在框S504中,方法500包含将飞行位置数据与优选路线进行比较以标识是否发生路线偏离。在许多实施例中,当系统如图4的方法400中那样生成、标识并向UAV传输优选路线时,系统可以存储与要采用的优选路线的所接收到的位置数据兼容的表示。在一些实施例中,这可以通过保存与遵循优选路线的3D地图相关的一系列GPS坐标来完成。在其他实施例中,这可以通过将与3D地图数据相关的一系列全球坐标保存为由线性或其他的向量连接的一系列路点来完成。方法500将最近的飞行位置数据点与所存储的优选路线进行比较,以确定UAV是否仍在优选路线上。路线偏离可能以多种方式出现。例如,突然的强风可能将UAV吹离航线,鸟可能意外地撞击UAV,UAV可能具有机械、电气或计算缺陷,该缺陷阻止或损害其遵循最初传输的优选路线等。
在框S506中,如果接收到的最近的飞行位置数据与所存储的优选路线不对齐(即,已经发生路线偏离),则方法500进行到框S508。如果所接收到的最近的飞行位置数据与所存储的优选路线对齐或者至少在其偏离容限内,则方法500返回到框S502,以继续接收附加的和后续的飞行位置数据,用于将来的比较。在一些实施例中,偏离容限可以是从大约0.25m到大约10m。在其他实施例中,偏离容限可以是从大约0.25m到大约5m。在另外的实施例中,偏离容限可以是从大约1m到大约3m。在再另外的实施例中,偏离容限可以是大约2m。在某些实施例中,3D地图的特定地带或区域可以根据地带指示符标签被限制为更窄或更宽的偏离容限。
在框S508中,方法500包含计算将UAV的位置连接到目标位置的经校正的路线。通过计算经校正的路线,方法500寻求将UAV的飞行路径调节到将引导其到达目标位置的路径。在一些实施例中,经校正的路线包括将其返回到优选路线所需的最短操纵。在其他实施例中,诸如其中已经发生重大偏离的实施例,方法500可以计算到目标位置的新路线,该新路线与优选路线没有重叠或具有部分重叠。在许多实施例中,可以根据框S408至S410的类似或相同的程序和考虑来执行框S508的所计算的经校正的路线(即,根据路线约束标准生成至少一个经校正的路线,并根据路线评估标准评估该至少一个经校正的路线)。如本文所述,在一些实施例中,AI和/或ML技术可以用于执行路线评估标准的分析,以生成经校正的路线。
在框S510中,方法500包含将经校正的路线传输到UAV。在许多实施例中,经校正的路线以这样的方式被传输到UAV,该方式使得UAV能够利用其处理器或微控制器和存储器来激活其推进装置,以便根据经校正的路线操纵以到达目标位置。通过方法500的各种实施例,即使UAV意外地偏离了最初提供的优选路线,UAV也可以被自动调度到目标位置。
图6描绘了用于监控飞行中的UAV的位置、生成并向用户建议探索操纵并根据选择的操纵来执行的方法600的实施例。在许多实施例中,存储在导航模块存储器上的机器可读指令可以使与用户设备通信的导航模块执行图6的方法600。如图所示,这个方法600的实施例包含在框S602中在UAV的飞行的至少一部分期间接收UAV的飞行位置数据,在框S604中将位置数据与3D地图上的位置进行匹配,在框S606中基于探索标准和路线约束标准生成至少一个建议的探索路线,可选地,在可选框S608中,根据探索风险评估标准向至少一个建议的探索路线分配风险评估分数,在框S610中在用户设备的显示器上显示该至少一个建议的探索路线,在框S612中从用户输入接收选择的探索路线,以及在框S614中将选择的探索路线传输到UAV。在再另外的实施例中,AI和/或ML技术可以用于执行方法600的各个部分。本文描述的方法600和后续方法的框呈现了所需的分析的组织,并且不旨在受任何特定计算方法限制。
在框S602中,方法600包含在UAV的飞行的至少一部分期间接收UAV的飞行位置数据。在各种实施例中,UAV的飞行可以包含但不限于沿着优选或经校正的路线到达目标位置的移动的一部分、多个目标位置之间的巡逻操纵的一部分、沿着如本文所述的选择的探索路线的移动的一部分以及在目标位置处的悬停或保持操纵。在一些实施例中,可以采用如本领域技术人员所理解的全球坐标跟踪和/或类似技术在飞行期间接收UAV的位置的飞行位置数据。在许多实施例中,飞行位置数据可以与3D地图上的位置交叉引用或关联。在一些实施例中,只能以规则的间隔(例如,30秒、1分钟、2分钟、5分钟、7分钟、10分钟等)接收飞行位置数据。在其他实施例中,尽可能频繁和连续地接收飞行位置数据,如所采用的跟踪技术允许的那样。在另一些实施例中,按需接收飞行位置数据,例如在用户输入请求经更新的飞行位置数据之后。
在框S604中,方法600包含相对于3D地图标识目标位置。在某些实施例中,这可以包含将GPS坐标或其他指示符与3D地图上的位置相关联。
在框S606中,方法600包含基于探索标准生成至少一个建议的探索路线。在许多实施例中,探索标准包括以下中的至少一项:预测的侦察传感器检测改进、碰撞安全缓冲区、总路线距离或时间、最大海拔高度或其组合。通过分析这些标准中的至少一项,方法600可以在程序上标识和生成到附近的、可到达的和/或有益的替代或附加目标位置的可能操纵,其可以帮助系统的用户。
在许多实施例中,作为探索标准,预测的侦察传感器检测改进寻求提高由装备在UAV上的一个或多个侦察传感器进行的测量的可靠性或准确性。例如,某个侦察传感器(例如,有毒气体传感器)可能只在与感兴趣的特征(例如,野火)的一定距离内时才进行可靠的测量。使用第二侦察传感器,系统可以检测到UAV不在感兴趣的特征的必要距离内。使用预测的侦察传感器检测改进作为探索标准,方法600可以生成至少一个建议的探索路线,该至少一个建议的探索路线将操纵UAV更接近感兴趣的特征。在替代性实施例中,建议的探测路线可以操纵UAV更远地背离感兴趣的特征或改变到其的取向,以利用不同的侦察传感器进行更精确的测量。
在许多实施例中,作为探索标准,碰撞安全缓冲区寻求最大化UAV对目标位置附近的感兴趣特征的接近度,直到预定安全距离。例如,原始目标位置可以将UAV定位在基本上超过到最近的障碍物的预定碰撞安全缓冲区(例如,当安全缓冲区被设置为大约5m时,在大约20m处)。在到达时,UAV的位置可能被证明太远而没有最佳帮助。在这些和类似的实施例中,方法600可以生成至少一个探索路线,该至少一个探索路线操纵UAV更接近其碰撞安全缓冲区的极限。
在许多实施例中,作为探索标准,总路线距离或时间寻求在某个最大距离或飞行时间内重新定位UAV,该最大距离或飞行时间可以提供替代性的优势或比原始目标位置更好的优势。术语“总路线距离”和“总路线时间”旨在表示从建议的探索路线的起始位置到终点操纵UAV所需的距离或时间。然而,在某些实施例中,建议的探索路线可以被设计成环形移动回到其起始位置。在这些场景中,建议的探索路线的整个环路可以被视为总路线距离或时间。在一些实施例中,作为探索标准,总路线距离可以从大约1m到大约10km。在一些另外的实施例中,总路线距离可以从大约1m到大约1000m。在其他实施例中,总路线距离可以从大约1m到大约100m。在另一些实施例中,总路线距离可以从大约1m到大约50m。在另外的实施例中,总路线距离可以从大约1m到大约25m。在再另外的实施例中,总路线距离可以从大约1m到大约10m。在附加实施例中,总路线距离可以从大约100m到大约250m。在一些实施例中,总路线时间可以从大约1分钟到大约12小时。在一些另外的实施例中,总路线时间可以从大约1秒到大约1小时。在其他实施例中,总路线时间可以从大约1秒到大约15分钟。在另一些实施例中,总路线时间可以从大约1秒到大约7分钟。在另外的实施例中,总路线时间可以从大约30秒到大约5分钟。在再另外的实施例中,总路线时可以从大约5分钟到大约30分钟。在许多实施例中,根据正在部署的UAV的已知容量来确定作为探索标准的总路线距离或时间。在各种实施例中,方法600可以生成将UAV重新定位到预定总路线距离或时间内的位置的至少一个建议的探索路线。
在许多实施例中,作为探索标准,最大海拔高度寻求将UAV提升到预定最大海拔高度,以获得相比于目标位置潜在更好的优势。在一些情况下,原始目标位置在海拔高度方面可能低于最大允许的海拔高度,并且在更高的位置可能获得更好的视野。在许多实施例中,根据正在部署的UAV的已知容量来确定作为探索标准的最大海拔高度。在这些实施例中,方法600可以生成具有比原始目标位置更高的海拔高度但是低于最大海拔高度限制的至少一个建议的探索路线。
在许多实施例中,为了避免将UAV导航到已知的障碍物(例如,树木、建筑物、山坡等),可以根据3D地图数据并考虑路线约束标准来附加地生成至少一个建议的探索路线,如以上在图3中所讨论的那样。在某些实施例中,路线约束标准可以包含但不限于以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、UAV的剩余电池寿命或其组合。
在可选框S608中,方法600可以包含根据探索风险评估标准向至少一个建议的探索路线分配风险评估分数。在许多实施例中,探索风险评估标准可以包含但不限于以下中的至少一项:最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。在许多实施例中,这些探索风险评估标准至少类似于以上针对图4的方法400所讨论的路线评估标准的那些操作。如本文所述,AI和/或ML技术可以在一些实施例中用于执行探索风险评估标准的分析,以生成一个或多个建议的探索路线。在一些实施例中,方法600删除或以其他方式不考虑未能充分有利地得分以满足预定风险阈值的任何建议的探索路线。另外,在一些实施例中,方法600可以附加地比较多个建议的探索路线,并且排除超过与更好评级的路线的预定路线相似性阈值的那些路线。这阻止了对较长列表的几乎相同的建议的探索路线的考虑和随后的呈现。
在框S610中,方法600包含在与系统通信的用户设备的显示器上显示至少一个建议的探索路线。这通知用户哪些选项可用于探索路线。在一些实施例中,方法600还显示每个建议的探索路线以及其对应风险评估分数(如果可用的话)。这可以通知用户哪些选项比其他选项对UAV构成更大的风险。在一些实施例中,方法600显示所有所生成的建议的探索路线。在其他实施例中,方法600仅显示超过如上所述的预定风险阈值的那些。在再另外的实施例中,方法600仅显示所生成的建议的探索路线的子集。
在框S612中,方法600包含从用户输入接收选择的探索路线。在许多实施例中,与图形用户界面(GUI)或与系统通信的用户设备上的用户输入元件(例如,按钮、滑块等)交互的用户可以输入他或她希望UAV执行的至少一个建议探索路线中的哪一个。
在框S614中,方法600包含将选择的探索路线传输到UAV。在许多实施例中,经校正的路线以这样的方式被传输到UAV,该方式使得UAV能够利用其处理器或微控制器和存储器来激活其推进装置,以便根据选择的探索路线进行操纵。通过方法600的各种实施例,UAV可以沿着由系统和/或方法600程序性地生成的探索路线被半自动调度。
本文描述的方法仅仅是为了便于描述以特定的顺序呈现它们的框,并且不应该将它们的顺序必然解释为限制。本领域技术人员将会理解,在许多实施例中,本文中的方法可以以各种顺序执行。
优选实施例及其变体的系统和方法可以至少部分地体现和/或实施为被配置成接收存储计算机可读指令的计算机可读介质的机器。指令优选地由计算机可执行部件执行,这些计算机可执行部件优选地与UAV和/或计算设备上的系统和处理器的一个或多个部分集成。计算机可读介质可以存储在任何合适的计算机可读介质上,诸如RAM、ROM、闪存、EEPROM、光学设备(例如CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的设备。计算机可执行部件优选地是通用或专用处理器,但是任何合适的专用硬件或硬件/固件组合可以替代地或附加地执行指令。
如在说明书和权利要求书中所使用的,单数形式“一个/一种(a/an)”和“所述(the)”包含单数个提及物和复数个提及物两者,除非上下文另有明确说明。例如,术语“UAV”可以包含并且被认为包含多个UAV。有时,权利要求书和公开内容可以包含诸如“多个/多种”、“一个或多个/一种或多种”或“至少一个”等术语;然而,没有使用此类术语并不旨在意味着并且不应该被解释为意味着没有设想多个/多种。
术语“大约”或“大致”,当用在数字名称或范围之前(例如,用于定义长度或压力)时,表示可能变化(+)或(-)5%、1%或0.1%的近似值。本文提供的所有数值范围包含所叙述的开始值和结束值。术语“基本上”指示设备、物质或组合物的大部分(即大于50%)或基本上全部。
如本文所使用,术语“包括(comprising)”或“包括(comprises)”意在表示装置、系统和方法包含所列举的要素,且可另外包含任何其他要素。“基本上由……组成”将意味着装置、系统和方法包含所列举的要素,并且排除对所述目的的组合有重要意义的其他要素。因此,基本由本文所限定的要素组成的系统或方法不排除不会实质上影响所要求保护的公开内容的基本和新颖特征的其他材料、特征或步骤。“由……组成”将表示装置、系统和方法包含所列举要素,且排除多于不重要的或不连贯的要素或步骤的任何内容。由这些过渡术语中的每一个限定的实施例都落在本公开的范围内。
本文包含的示例和说明通过说明而非限制的方式示出了可以实践主题的具体实施例。可以利用其他实施例并从中导出其他实施例,从而使得可以在不脱离本公开的范围的情况下进行结构和逻辑替代和改变。本文中可以单独地或共同地通过术语“发明”提及本发明主题的此类实施例,这仅仅是为了方便起见,并且在实际上公开了多于一个发明或发明概念的情况下不旨在有意将本申请的范围限制于任何单个发明或发明概念。因此,尽管本文已经对具体实施例进行了说明和描述,但是任何适于实现相同目的的布置都可以替代所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有适配或变化。在阅读以上描述后,上述实施例的组合以及本文中没有具体描述的其他实施例对于本领域技术人员来说将是显而易见的。
Claims (51)
1.一种用于将无人驾驶飞行器(UAV)调度和导航到目标位置的系统,其包括:
UAV;以及
与所述UAV通信的导航模块,所述导航模块包括:
导航模块处理器;以及
导航模块存储器,所述导航模块存储器存储包括所述目标位置的3D地图和机器可读指令,使得当由所述导航模块处理器执行时,使所述处理器执行一种方法,所述方法包括:
标识所述UAV相对于所述3D地图的位置;
接收目标位置输入;
标识相对于所述3D地图的所述目标位置;
生成连接所述UAV的所述位置和所述目标位置的至少一个潜在路线;
根据至少一个路线评估标准向至少一个潜在路线分配评估分数;
选择具有最高评估分数的所述潜在路线作为优选路线;以及
将所述优选路线传输到所述UAV;并且
其中所述UAV包括UAV存储器和与所述UAV存储器通信的UAV处理器或UAV微控制器中的至少一项,所述UAV存储器存储机器可读指令,使得当由所述UAV处理器或UAV微控制器执行时,使所述UAV处理器或UAV微控制器执行一种方法,所述方法包括:
从所述导航模块接收优选路线;以及
激活所述UAV的推进装置以根据所述优选路线操纵所述UAV。
2.根据权利要求1所述的系统,其还包括与所述导航模块和所述UAV通信的用户设备。
3.根据权利要求2所述的系统,其中所述用户设备在接收到用户输入后将所述目标位置输入传输至所述导航模块。
4.根据权利要求2所述的系统,其中所述UAV还包括至少一个侦察传感器,并且其中存储在所述UAV存储器上的所述机器可读指令还指示所述UAV处理器或UAV微控制器:从所述至少一个侦察传感器获取传感器数据,并且将所述传感器数据的至少一部分传输到所述用户设备。
5.根据权利要求4所述的系统,其中所述至少一个侦察传感器选自由以下组成的群组:相机、红外相机、麦克风、声学传感器、LiDAR传感器、超声波、声纳、雷达、陀螺仪、电化学有毒气体传感器、温度计、湿度传感器、接近度传感器、大气压力传感器、辐射传感器或其组合。
6.根据权利要求1所述的系统,其中所述UAV和所述导航模块通过以下中的至少一项进行通信:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。
7.根据权利要求1所述的系统,其中所述UAV和所述导航模块通过以下中的至少两项进行通信:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。
8.根据权利要求2所述的系统,其中所述UAV、所述导航模块和用户设备通过以下中的至少一项进行通信:蜂窝、Wi-Fi、射频、红外频率、光学系统、激光系统或卫星网络。
9.根据权利要求2所述的系统,其中所述UAV、所述导航模块和用户设备通过以下中的至少两项进行通信:蜂窝、WiFi、射频、红外频率、光学系统、激光系统或卫星网络。
10.根据权利要求1所述的系统,其中所述3D地图包括LiDAR数据或摄影测量计算中的至少一项。
11.根据权利要求1所述的系统,其中所述3D地图还包括地带指示符标签,所述地带指示符标签包括以下中的至少一项:地理围栏禁飞地带、降落或着陆地带、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。
12.根据权利要求1所述的系统,其中所述导航模块物理上附接到所述UAV。
13.根据权利要求12所述的系统,其中所述导航模块电子地集成到所述UAV中,并与所述UAV进行电路通信。
14.根据权利要求1所述的系统,其中所述导航模块与所述UAV物理上分离。
15.根据权利要求1所述的系统,其中所述导航模块是云网络系统上的一个或多个计算设备。
16.根据权利要求1所述的系统,其中所述导航模块是虚拟机。
17.根据权利要求2所述的系统,其中所述用户设备包括所述导航模块。
18.根据权利要求2所述的系统,其中所述用户设备是虚拟机。
19.根据权利要求1所述的系统,其中多个潜在路线是根据至少一个路线约束标准生成的,所述至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、所述UAV的剩余电池寿命或其组合。
20.根据权利要求1所述的系统,其中所述至少一个路线评估标准包括以下中的至少一项:总路线距离或时间、最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。
21.根据权利要求1所述的系统,其中根据至少一个路线评估标准向至少一个潜在路线分配评估分数还包括利用人工智能或机器学习技术分析至少一个路线评估标准。
22.根据权利要求1所述的系统,其中存储在所述导航模块上的所述机器可读指令还指示所述导航模块处理器:
接收经更新的3D地图数据、地理围栏禁飞地带、降落或着陆地带、碰撞风险指示符、天气风险指示符或环境风险指示符中的至少一项;以及
将经更新的3D地图数据、地理围栏禁飞地带、降落或着陆地带、碰撞风险指示符、天气风险指示符和环境风险指示符中的所述至少一项存储到所述导航模块的所述存储器。
23.根据权利要求1所述的系统,其中所述导航模块处理器通过全球坐标数据标识所述UAV相对于所述3D地图的所述位置。
24.根据权利要求1所述的系统,其中存储在所述导航模块存储器上的所述机器可读指令还指示所述导航模块处理器:
在所述UAV沿着所述优选路线的飞行的至少一部分期间接收所述UAV的飞行位置数据;
将所述飞行位置数据与所述优选路线进行比较以标识是否已经发生路线偏离;
当已经标识所述路线偏离时,计算将所述UAV的所述位置连接到所述目标位置的经校正的路线;以及
将所述经校正的路线传输到所述UAV;并且
其中存储在所述UAV存储器上的所述机器可读指令还指示所述UAV处理器或UAV微控制器:
从所述导航模块接收所述经校正的路线;以及
激活推进装置以根据所述经校正的路线操纵所述UAV。
25.根据权利要求24所述的系统,其中所述经校正的路线是根据至少一个路线约束标准计算的,所述至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、所述UAV的剩余电池寿命或其组合。
26.根据权利要求25所述的系统,其中所述经校正的路线是通过利用人工智能或机器学习技术分析至少一个路线约束标准来计算的。
27.根据权利要求24所述的系统,其中所述飞行位置数据包括全球坐标数据。
28.根据权利要求2所述的系统,其中存储在所述导航模块存储器上的所述机器可读指令还指示所述导航模块处理器:
在所述UAV的飞行的至少一部分期间从所述UAV接收飞行位置数据;
将所述位置数据与所述3D地图上的位置进行匹配;
基于至少一个探索标准生成至少一个建议的探索路线,所述至少一个探索标准包括以下中的至少一项:预测的侦察传感器检测改进、碰撞安全缓冲区、总路线距离或时间、最大海拔高度或其组合;
在所述用户设备的显示器上显示所述至少一个建议的探索路线;
从用户输入接收选择的探索路线;以及
将所述选择的探索路线传输到所述UAV;并且
其中存储在所述UAV存储器上的所述机器可读指令还指示所述UAV处理器或UAV微控制器:
从所述导航模块接收所述选择的探索路线;以及
激活所述UAV的推进装置以根据所述选择的探测路线操纵所述UAV。
29.根据权利要求28所述的系统,其中所述至少一个建议的探索路线还基于至少一个路线约束标准,所述至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、所述UAV的剩余电池寿命或其组合。
30.根据权利要求28所述的系统,其中所述飞行位置数据包括全球坐标数据。
31.根据权利要求28所述的系统,其中存储在所述导航模块存储器上的所述机器可读指令还指示所述导航模块处理器:
根据至少一个探索风险评估标准向至少一个建议的探索路线分配风险评估分数,所述至少一个探索风险评估标准包括以下中的至少一项:最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合;以及
在所述用户设备的所述显示器上显示每个建议的探索路线的对应风险评估分数。
32.根据权利要求31所述的系统,其中向至少一个建议的探索路线分配风险评估分数还包括利用人工智能或机器学习技术分析至少一个探索风险评估标准。
33.根据权利要求31所述的系统,其中存储在所述导航模块存储器上的所述机器可读指令还指示所述导航模块处理器:
标识至少一个建议的探索路线是否未能满足预定风险评估分数阈值;以及
当已经进行标识时,删除未能满足预定风险评估分数的所述至少一个建议的探索路线。
34.根据权利要求2所述的系统,其中存储在所述UAV存储器上的所述机器可读指令还指示所述UAV处理器或UAV微控制器:
从所述用户设备接收手动超控命令;以及
根据人工操纵输入操纵所述UAV。
35.一种用于将无人驾驶飞行器(UAV)调度和导航到目标位置的计算机实施方法,所述方法包括:
标识UAV相对于3D地图的位置;
接收目标位置输入;
标识相对于所述3D地图的所述目标位置;
生成连接所述UAV的所述位置和所述目标位置的至少一个潜在路线;
根据至少一个路线评估标准向至少一个潜在路线分配评估分数;
选择具有最高评估分数的所述潜在路线作为优选路线;以及
将所述优选路线传输到所述UAV。
36.根据权利要求35所述的方法,其中所述3D地图包括LiDAR数据或摄影测量计算中的至少一项。
37.根据权利要求35所述的方法,其中所述3D地图还包括地带指示符标签,所述地带指示符标签包括以下中的至少一项:地理围栏禁飞地带、降落地带、着陆地带、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。
38.根据权利要求35所述的方法,其中多个潜在路线是根据至少一个路线约束标准生成的,所述至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、所述UAV的剩余电池寿命或其组合。
39.根据权利要求35所述的方法,其中所述至少一个路线评估标准包括以下中的至少一项:总路线距离或时间、最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合。
40.根据权利要求35所述的方法,其中根据路线评估标准向至少一个潜在路线分配评估分数还包括利用人工智能或机器学习技术分析至少一个路线评估标准。
41.根据权利要求35所述的方法,其中所述UAV的所述位置是通过全球坐标数据相对于所述3D地图标识的。
42.根据权利要求35所述的方法,其还包括:
在所述UAV沿着所述优选路线的飞行的至少一部分期间接收所述UAV的飞行位置数据;
将所述飞行位置数据与所述优选路线进行比较以标识是否已经发生路线偏离;
当已经标识所述路线偏离时,计算将所述UAV的所述位置连接到所述目标位置的经校正的路线;以及
将所述经校正的路线传输到所述UAV。
43.根据权利要求42所述的方法,其中所述经校正的路线是根据至少一个路线约束标准计算的,所述至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、所述UAV的剩余电池寿命或其组合。
44.根据权利要求42所述的方法,其中所述飞行位置数据包括全球坐标数据。
45.根据权利要求42所述的方法,其中所述经校正的路线是通过利用人工智能或机器学习技术分析至少一个路线约束标准来计算的。
46.根据权利要求35所述的方法,其还包括:
在所述UAV的飞行的至少一部分期间从所述UAV接收飞行位置数据;
将所述位置数据与所述3D地图上的位置进行匹配;
基于至少一个探索标准生成至少一个建议的探索路线,所述至少一个探索标准包括以下中的至少一项:预测的侦察传感器检测改进、碰撞安全缓冲区、总路线距离或时间、最大海拔高度或其组合;
在用户设备的显示器上显示所述至少一个建议的探索路线;
从用户输入接收选择的探索路线;以及
将所述选择的探索路线传输到所述UAV。
47.根据权利要求46所述的方法,其中所述至少一个建议的探索路线还基于至少一个路线约束标准,所述至少一个路线约束标准包括以下中的至少一项:碰撞安全缓冲区、总路线距离或时间、最大海拔高度、至少一个地理围栏禁飞地带、所述UAV的剩余电池寿命或其组合。
48.根据权利要求46所述的方法,其中所述飞行位置数据包括全球坐标数据。
49.根据权利要求46所述的方法,其还包括:
根据至少一个探索风险评估标准向至少一个建议的探索路线分配风险评估分数,所述至少一个探索风险评估标准包括以下中的至少一项:最小海拔高度变化、最大海拔高度、超过预定海拔高度阈值所花费的行驶时间的持续时间、碰撞风险指示符、天气风险指示符、环境风险指示符或其组合;以及
在所述用户设备的所述显示器上显示每个建议的探索路线的对应风险评估分数。
50.根据权利要求49所述的方法,其中向至少一个建议的探索路线分配风险评估分数还包括利用人工智能或机器学习技术分析至少一个探索风险评估标准。
51.根据权利要求49所述的方法,其还包括:
标识至少一个建议的探索路线是否未能满足预定风险评估分数阈值;以及
当已经进行标识时,删除未能满足预定风险评估分数的所述至少一个建议的探索路线。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063127469P | 2020-12-18 | 2020-12-18 | |
US63/127,469 | 2020-12-18 | ||
PCT/US2021/064219 WO2022133322A1 (en) | 2020-12-18 | 2021-12-17 | Systems and methods for dispatching and navigating an unmanned aerial vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116583714A true CN116583714A (zh) | 2023-08-11 |
Family
ID=82059800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180084470.9A Pending CN116583714A (zh) | 2020-12-18 | 2021-12-17 | 用于调度和导航无人驾驶飞行器的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240044651A1 (zh) |
EP (1) | EP4263350A1 (zh) |
CN (1) | CN116583714A (zh) |
AU (1) | AU2021400336A1 (zh) |
WO (1) | WO2022133322A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116859956B (zh) * | 2023-09-04 | 2023-12-08 | 中船(北京)智能装备科技有限公司 | 一种无人艇航行路线确定方法、装置及设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10163357B2 (en) * | 2016-08-24 | 2018-12-25 | Qualcomm Incorporated | Navigation assistance data and route planning for drones |
CN107223199A (zh) * | 2016-11-15 | 2017-09-29 | 深圳市大疆创新科技有限公司 | 基于三维地图的导航方法和设备 |
US11131548B2 (en) * | 2018-03-07 | 2021-09-28 | Verizon Patent And Licensing Inc. | Routing unmanned aerial vehicles based on radio frequency conditions in a three-dimensional environment |
US11004345B2 (en) * | 2018-07-31 | 2021-05-11 | Walmart Apollo, Llc | Systems and methods for generating and monitoring flight routes and buffer zones for unmanned aerial vehicles |
AU2019264617A1 (en) * | 2018-11-16 | 2020-06-04 | Ensco, Inc. | Autonomous aerial vehicle navigation systems and methods |
US10962372B1 (en) * | 2018-12-31 | 2021-03-30 | Accelerate Labs, Llc | Navigational routes for autonomous vehicles |
US11367361B2 (en) * | 2019-02-22 | 2022-06-21 | Kyndryl, Inc. | Emulating unmanned aerial vehicle (UAV) |
-
2021
- 2021-12-17 EP EP21907964.7A patent/EP4263350A1/en active Pending
- 2021-12-17 CN CN202180084470.9A patent/CN116583714A/zh active Pending
- 2021-12-17 US US18/256,712 patent/US20240044651A1/en active Pending
- 2021-12-17 WO PCT/US2021/064219 patent/WO2022133322A1/en active Application Filing
- 2021-12-17 AU AU2021400336A patent/AU2021400336A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240044651A1 (en) | 2024-02-08 |
WO2022133322A1 (en) | 2022-06-23 |
AU2021400336A1 (en) | 2023-06-29 |
EP4263350A1 (en) | 2023-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11854413B2 (en) | Unmanned aerial vehicle visual line of sight control | |
US11868131B2 (en) | Flight path determination | |
US20210358315A1 (en) | Unmanned aerial vehicle visual point cloud navigation | |
JP6785874B2 (ja) | 無人航空機用視野ベース較正システム | |
KR101874091B1 (ko) | 기상 정보를 이용한 무인 비행체의 경로 안내 시스템, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
US9959771B1 (en) | Unmanned aerial vehicle routing using real-time weather data | |
US11365014B2 (en) | System and method for automated tracking and navigation | |
CN110268356B (zh) | 前导无人机的系统 | |
US9983584B2 (en) | Method and apparatus for developing a flight path | |
US20170337218A1 (en) | Utilization of third party networks and third party unmanned aerial vehicle platforms | |
CN110226143B (zh) | 前导无人机的方法 | |
WO2018156284A1 (en) | Systems and methods for delivering merchandise using unmanned aerial vehicles | |
US10317904B2 (en) | Underwater leading drone system | |
KR20190048748A (ko) | 듀얼 gps를 이용한 자율 비행 시스템 및 방법 | |
WO2017147142A1 (en) | Unmanned aerial vehicle visual line of sight control | |
CN116710943A (zh) | 无人机调度方法、服务器、基站、系统及可读存储介质 | |
US20240044651A1 (en) | Systems and methods for dispatching and navigating an unmanned aerial vehicle | |
CN114379802A (zh) | 无人飞行系统的自动安全着陆地点选择 | |
KR20190048688A (ko) | 드론을 이용한 자율 비행 시스템 및 방법 | |
US20220363383A1 (en) | Control system, control method, and information storage medium for unmanned aerial vehicle | |
JP7130409B2 (ja) | 管制装置 | |
KR102615735B1 (ko) | 인공지능 기술을 이용한 선박 항적을 분석하는 모니터링시스템 및 방법 | |
US11523331B2 (en) | Systems and methods for generating visual cues for spatial communication coverage | |
EP3767230B1 (en) | Method and system to display object locations during a search and rescue operation | |
WO2022234574A1 (en) | Multi-drone beyond visual line of sight (bvlos) operation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |