CN113597591B - 用于无人飞行器导航的地理基准 - Google Patents
用于无人飞行器导航的地理基准 Download PDFInfo
- Publication number
- CN113597591B CN113597591B CN202080022645.9A CN202080022645A CN113597591B CN 113597591 B CN113597591 B CN 113597591B CN 202080022645 A CN202080022645 A CN 202080022645A CN 113597591 B CN113597591 B CN 113597591B
- Authority
- CN
- China
- Prior art keywords
- uav
- fiducial
- navigation
- fiducial markers
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003550 marker Substances 0.000 claims abstract description 159
- 238000003860 storage Methods 0.000 claims abstract description 59
- 230000007704 transition Effects 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 2
- 208000007382 Neurofibromatosis-Noonan syndrome Diseases 0.000 description 30
- 238000013459 approach Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 239000011800 void material Substances 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009408 flooring Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C29/00—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft
- B64C29/0008—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft having its flight directional axis horizontal when grounded
- B64C29/0016—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft having its flight directional axis horizontal when grounded the lift during taking-off being created by free or ducted propellers or by blowers
- B64C29/0025—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft having its flight directional axis horizontal when grounded the lift during taking-off being created by free or ducted propellers or by blowers the propellers being fixed relative to the fuselage
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/04—Aircraft not otherwise provided for having multiple fuselages or tail booms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F1/00—Ground or aircraft-carrier-deck installations
- B64F1/18—Visual or acoustic landing aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U80/00—Transport or storage specially adapted for UAVs
- B64U80/20—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV
- B64U80/25—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV for recharging batteries; for refuelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Aerials With Secondary Devices (AREA)
- Feedback Control In General (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
Abstract
无人飞行器(UAV)导航系统包括定位在存放设施处的UAV充电板、定位在存放设施处的多个基准标记和UAV。每个基准标记与存储基准标记的定位的基准数据集相关联,并且每个基准数据集被存储在基准地图中。UAV具有导航系统,该导航系统包括相机、基准导航子系统、非基准导航子系统和逻辑,逻辑在被执行时使UAV使用相机对第一基准标记成像,从非基准导航模式转换到基准导航模式,从基准地图访问存储第一基准标记的定位的基准数据集,以及基于存储第一基准标记的定位的基准数据集导航到与UAV充电板对齐并且着陆在UAV充电板上。
Description
相关申请的交叉引用
本申请基于2019年3月21日提交的美国申请第16/360,952号,其内容通过引用全文结合于此。
技术领域
本公开一般涉及无人飞行器(UAV),并且具体地而非排他地涉及用于导航UAV的UAV导航系统和方法。
背景技术
UAV是能够在没有物理上存在的人类操作员的情况下在空中行进的载具。可以提供UAV以执行各种不同的任务,包括有效载荷递送、探测/侦察、成像、公共安全、监视或其他。任务定义将经常指示无人载具的专用设备和/或配置的类型。
安全和高效的UAV导航依赖于具有准确和精确的导航解决方案(例如,纬度、经度和高度)的UAV。例如,UAV可能依赖于全球定位系统(GPS)以在宽阔的开放环境中生成导航解决方案;然而,GPS导航可能缺乏在限制的(confined)或拥挤的环境中导航UAV所必需的精度(诸如具有许多UAV的室内UAV基地)。此外,天气和其他偶发事件可能降级GPS信号强度,这可能损害UAV通过GPS生成准确的导航解决方案的能力。某些环境可能经历降级的GPS性能(例如由于多路径)和可能完全地GPS拒绝(即,可能完全没有GPS信号)的其他情况。这些只是示例性场景,因为其他挑战也描绘了UAV导航的特性。最终,生成可靠、准确和精确的导航解决方案的能力对于高效和安全的UAV导航是重要的。
发明内容
根据本发明的一方面,提供了一种无人飞行器(UAV)导航系统。该UAV导航系统可以包括:定位在存放设施处的UAV充电板;定位在存放设施处的多个基准标记,所述多个基准标记中的每个基准标记与存储基准标记的定位的基准数据集相关联,每个基准数据集被存储在基准地图中;以及UAV,所述UAV具有动力源、可操作地与动力源耦合的推进单元以及耦合到推进单元的导航系统,该导航系统包括相机、基准导航子系统、非基准导航子系统和逻辑,所述逻辑在被执行时使所述UAV执行操作,所述操作包括:使用相机对所述多个基准标记中的第一基准标记成像;从UAV在没有基准导航子系统协助的情况下导航的非基准导航模式转换到UAV至少部分地基于基准导航子系统导航的基准导航模式;从基准地图访问存储第一基准标记的定位的基准数据集;以及基于存储第一基准标记的定位的基准数据集导航到与UAV充电板对齐并且着陆在UAV充电板上。
根据本发明的另一方面,提供了一种无人飞行器(UAV)导航方法。该方法可以包括:在存放设施中的UAV充电板周围定位多个基准标记,所述多个基准标记中的每个基准标记与存储基准标记的定位的基准数据集相关联;使用UAV的基准导航子系统对所述多个基准标记中的第一基准标记成像,所述UAV具有包括基准导航子系统和非基准导航子系统的导航系统;将所述UAV从UAV不基于基准导航子系统导航的非基准导航模式转换到UAV至少部分地基于基准导航子系统导航的基准导航模式;从机载地存储在所述UAV上的基准地图访问存储第一基准标记的定位的基准数据集;以及基于存储第一基准标记的定位的基准数据集来导航所述UAV到与所述UAV充电板对齐并着陆在所述UAV充电板上。
附图说明
参考以下附图描述了本发明的非限制性和非穷尽性实施例,其中,除非另有说明,否则贯穿各个视图相同的附图标记指代相同的部分。并非元素的所有实例都必须被标记,以便在适当的地方不使附图混乱。附图未必是按照比例的,而是将重点放在说明所描述的原理上。
图1A是根据本公开的实施例的UAV的顶部等距视图。
图1B是根据本公开的实施例的UAV的底部等距视图。
图2是图1A-图1B的UAV的导航系统的示意图。
图3是图2的导航系统的基准地图的示意图。
图4是示出使用图2的导航系统导航的方法的流程图。
图5示出了根据本公开的实施例的UAV充电板。
图6示出了根据本公开的实施例的UAV充电板的阵列。
图7是根据本公开的实施例的UAV存放设施的透视图。
图8是进场(approach)图7的UAV存放设施的UAV的透视图。
图9是在图7的UAV存放设施内部操作的多个UAV的透视图。
具体实施方式
本文描述了用于无人飞行器(UAV)导航的系统、装置和操作的方法的实施例。在以下描述中,阐述了许多具体细节以提供对实施例的透彻理解。然而,相关领域技术人员将认识到可以在没有一个或多个具体细节或者使用其他方法、组件、材料等的情况下来实践本文描述的技术。在其他实例中,没有详细示出或描述已知的结构、材料或操作以避免模糊某些方面。
贯穿本说明书的对“一个实施例”、“实施例”或“一些实施例”的引用意味着结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此,贯穿本说明书的各个位置的短语“在一个实施例中”或“在实施例中”的出现未必全都指代相同的实施例。此外,特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
本公开提供了用于至少部分地通过基于使用基准标记生成导航解决方案来导航UAV的系统和方法。关于特定元素、元素的组合、步骤、或者步骤的组合或序列所描述的优点也可以由其他元素和步骤产生。一般地,本文描述的系统和方法的任何特征都被设计为改进UAV导航准确性、安全性和/或效率。
无人飞行器(UAV)导航系统包括定位在存放设施处的UAV充电板、定位在存放设施处的多个基准标记和UAV。多个基准标记中的每个基准标记与存储基准标记的定位的基准数据集相关联,并且每个基准数据集被存储在基准地图中。UAV具有动力源、可操作地与动力源耦合的推进单元、以及耦合到推进单元的导航系统。导航系统包括相机、基准导航子系统、非基准导航子系统、以及逻辑,该逻辑在被执行时使UAV:使用相机将多个基准标记中的第一基准标记成像;从UAV在没有基准导航子系统协助的情况下进行导航的非基准导航模式(mode)转换到UAV至少部分地基于基准导航子系统进行导航的基准导航模式;从基准地图访问存储第一基准标记的定位的基准数据集;并且基于存储第一基准标记的定位的基准数据集导航到与UAV充电板对齐并且着陆在UAV充电板上。
在一些实施例中,多个基准标记包括邻近UAV充电板的第一侧定位的第一基准标记以及邻近UAV充电板的第二边定位的第二基准标记,以使得能够紧接在着陆之前由相机对第一基准标记或第二基准标记中的至少一个成像。一些实施例还包括邻近第一基准标记并从UAV充电板径向向外定位的第三基准标记以及邻近第二基准标记并从UAV充电板径向向外定位的第四基准标记,其中,第一和第二基准标记比第三和第四基准标记更小,以使得能够从下述高度对第一或第二基准标记中的至少一个成像:在该高度处,第三和第四基准标记在相机的视场外部。在一些实施例中,第一、第二、第三和第四基准标记中的每一个与共同的航向相关联,以协助UAV导航到与UAV充电板对齐并且着陆在UAV充电板上。一些实施例包括邻近UAV充电板的第三边定位的第五基准标记以及邻近UAV充电板的第四边定位的第六基准标记,以使得能够紧接在着陆之前由相机对第一、第二、第五或第六基准标记中的至少一个成像。在一些实施例中,UAV充电板是第一UAV充电板,并且UAV导航系统还包括第二UAV充电板,其通过比第一和第三基准标记更大的第七基准标记与第一UAV充电板隔开,以使得在相机能够对第一和第三基准标记成像之前UAV能够基于第七基准标记确定导航解决方案。
一些实施例包括邻近穿过存放设施的周界(perimeter)的出入点定位的第三基准标记和第四基准标记。在这样的实施例中,UAV可以包括另外的逻辑,该另外的逻辑在被执行时使UAV:对第三基准标记或第四基准标记中的至少一个成像;从基准地图访问存储至少一个成像的第三或第四基准标记的定位的基准数据集;以及基于存储至少一个成像的第三或第四基准标记的定位的基准数据集导航穿过出入点。
在一些实施例中,第一基准标记由具有不比第一基准标记的基准灰度值更暗的整体边界灰度值的对比区域邻近地围绕。
在一些实施例中,UAV是第一UAV,并且UAV导航系统还包括具有UAV基准标记的第二UAV,该UAV基准标记与在基准地图中存储UAV基准标记的实时定位的动态基准数据集相关联。在这样的实施例中,第一UAV包括另外的逻辑,该另外的逻辑在被执行时使第一UAV:使用相机对第二UAV的UAV基准标记成像;从基准地图访问存储UAV基准标记的实时定位的动态基准数据集;以及基于UAV基准标记的实时定位在第二UAV周围导航。
在一些实施例中,UAV导航系统包括另外的逻辑,该另外的逻辑在被执行时使UAV:存储紧接在着陆在UAV充电板上之前或者在着陆在UAV充电板上时获取的UAV的UAV定位;监视着陆时的UAV定位以检测UAV着陆后的阈值移动等级;以及如果检测到阈值移动等级,则使UAV定位无效。
在一些实施例中,UAV导航系统包括另外的逻辑,该另外的逻辑在被执行时使UAV:当UAV在基准导航区内导航时,确定利用基准导航系统的第一导航解决方案和利用非基准导航系统的第二导航解决方案;对照第一导航解决方案验证第二导航解决方案以确定非基准导航系统是否具有要求的定位准确度;以及如果非基准导航系统具有要求的定位准确度,则利用非基准导航系统在基准导航区之外导航。
在一些实施例中,UAV导航系统包括另外的逻辑,该另外的逻辑在被执行时使UAV:执行测试飞行计划,其包括从UAV充电板起飞;在UAV在UAV充电板上方盘旋时,基于基准导航子系统确定导航解决方案;以及着陆在UAV充电板上。
在一些实施例中,基准地图是对应于第一地理区域的第一基准地图,并且UAV包括另外的逻辑,该另外的逻辑在被执行时使得当UAV在第二地理区域中操作时UAV能够用对应于第二地理区域的第二基准地图替换第一基准地图。在一些实施例中,第一基准地图和第二基准地图可以各自存储相同的基准标记代码(code)。
在一些实施例中,多个基准标记包括全部邻近UAV充电板并且在UAV充电板的不同边上定位的第一基准标记、第二基准标记、第三基准标记和第四基准标记。在这样的实施例中,对基准标记成像包括对第一基准标记、第二基准标记、第三基准标记和第四基准标记成像,并且导航包括基于第一基准标记的定位、第二基准标记的定位、第三基准标记的定位和第四基准标记的定位来确定UAV的导航解决方案。
在一些实施例中,存放设施存在于基准导航区内,UAV可以在基准导航区内部不利用全球定位系统来导航。在这样的实施例中,转换到基准导航模式发生在基准导航区内,并且基准导航模式不允许UAV利用全球定位系统。
在另一方面,一种无人飞行器(UAV)导航方法包括:在存放设施中的UAV充电板周围定位多个基准标记,多个基准标记中的每个基准标记与存储基准标记的定位的基准数据集相关联;使用UAV的基准导航子系统对多个基准标记中的第一基准标记成像,该UAV具有包括基准导航子系统和非基准导航子系统的导航系统;将UAV从UAV不基于基准导航子系统导航的非基准导航模式转换到UAV至少部分地基于基准导航子系统导航的基准导航模式;从机载地存储在UAV上的基准地图访问存储第一基准标记的定位的基准数据集;以及基于存储第一基准标记的定位的基准数据集来导航UAV到与UAV充电板对齐并着陆在UAV充电板上。
在一些实施例中,多个基准标记包括定位在UAV充电板周围的第一组基准标记和定位在进入存放设施的出入点周围的第二组基准标记。在这样的实施例中,导航UAV可以包括基于第二组基准标记导航穿过出入点。在一些实施例中,多个基准标记包括在存放设施之外并且靠近(proximal)出入点定位的第三组基准标记。在这样的实施例中,导航可以包括基于第三组基准标记导航到出入点。
在一些实施例中,基准地图是与第一地理区域相关联的第一基准地图。在这样的实施例中,UAV可以基于使用非基准导航子系统检索的UAV的地理定位来确定UAV是否位于第二地理区域内,并且如果UAV位于第二地理区域内,则可以用第二基准地图替换第一基准地图。在一些实施例中,第一和第二基准地图可以各自存储相同的基准标记代码。
由于上述实施例和其他实施例与附图相关,以下公开内容将讨论它们。
图1A是根据本公开的实施例的UAV 100的顶部等距视图。UAV包括机翼104、悬臂108a、108b和机身112。在一些实施例中,机翼104承载水平推进单元(例如,116),并且悬臂承载垂直推进单元(例如,120)。在一些实施例中,推进单元可提供水平和垂直推进二者。UAV包括用于改进对UAV 100的控制的控制面(control surface)(例如,124),其可以包括副翼、扰流板、尾部升降副翼(taileron)、方向舵、方向升降舵、缝翼和/或襟翼。诸如电池(例如,可再充电锂离子电池)的动力源128为推进单元提供动力。动力源128可以被存放在机身112之内。在一些实施例中,机身112还包括诸如航空电子设备隔舱132的一个或多个隔间或隔舱。
图1B是图1A的UAV 100的底部等距视图。UAV 100包括在其底侧上的充电接口136,其被配置为与UAV充电板的感应充电表面对接(interface)(如下所述)。充电接口136可以电气连接到动力源128,使得UAV充电板在UAV 100着陆时经由充电接口136将动力源128再充电。如下所述,UAV 100包括形成导航系统的一部分的相机140。示出的相机140位于机身112的向前部分;然而,该位置是非限制性的。在一些实施例中,相机140可以位于另一个位置,例如机身112的向后部分。此外,在一些实施例中,相机140可以包括多个相机,例如1-5个相机。因此,本公开的UAV可以以多于一个相机展示相机140的功能是被理解的。如下所述,相机140的一个目的是将基准标记成像,作为基准导航子系统的一部分。在一些实施例中,相机140可以形成附加的或可替代的系统的一部分,包括公共安全系统、监视系统和成像系统。相机140可以具有大约60度到大约120度(例如大约90度)的视野(field ofvision)。相机140可以是在可见光光谱、红外光谱和/或其他光谱内操作的数码相机。例如,在一些实施例中,当在夜间操作时,相机140可以在红外光谱内操作,或者当在多云天气下操作时,相机140可以在紫外光谱内操作。在一些实施例中,UAV 100可以包括多于一个相机140。UAV还包括用于处理外部有效载荷的递送单元144。
在一些实施例中,相机140具有固定的朝向(orientation),例如面向地面的方向或前视方向。在一些实施例中,相机140由被配置为基于一个或多个输入调整相机140的朝向的机构承载。例如,在一些实施例中,相机140可以由基于来自导航系统(如下所述)和/或另一个设备或系统的输入来调整相机140的朝向的枢转机构支撑。例如,响应于来自导航系统的输入,枢转机构可以将相机140朝着地面、墙壁或其他方向定向,以便在相机的视场内捕捉一个或多个基准标记。
为了促进理解,通常贯穿本公开使用与UAV相关的前述附图标记,包括在具有多于一个UAV或不同UAV的实施例中。
图2示出了利用上述导航系统200导航的UAV 100,导航系统200协助UAV 100在各种环境中导航,包括相对开放的环境(诸如室外)、相对限制的环境(诸如室内)、以及相对拥挤或繁忙的环境(诸如在具有包含多个UAV的限制空域的UAV存放设施内部)。导航系统200协助UAV 100在航路点之间(例如,在UAV存放设施和递送目的地之间)导航并且还执行精确的导航任务,诸如着陆、起飞、进入和退出结构、避开地面和空中障碍物、执行飞行计划、测试机载系统等。导航系统200可以包括完全位于UAV 100上的元件(例如,位于航空电子设备隔仓132内,由悬臂108a和108b支撑,由机翼104支撑,和/或位于其他机载位置)。在一些实施例中,导航系统200还可以包括位置远离UAV 100的元件(例如,远程控制“塔”)。
导航系统200包括两个主要子系统:基准导航子系统(“FNS”)204和非基准导航子系统(“NFNS”)208,两者都由控制器212协助。导航系统200可以利用扩展卡尔曼滤波器(“EKF”)和/或其他算法以在FNS 204和NFNS 208之间转换,包括在任一子系统的各种导航仪器之间转换。在一些实施例中,FNS 204和NFNS 208可以共享一个或多个仪器。例如,在图2的实施例中,FNS 204和NFNS 208共享控制器212和相机140。
NFNS 208包括硬件和逻辑,该逻辑使得UAV 100能够利用不依赖于基准标记的方法(例如,GPS、视觉里程计、航位推算法等)来确定其导航解决方案。如在本申请中使用的,“导航解决方案”可以包括纬度、经度、高度、速率、速度、真实航向和/或其他导航信息的任何组合。例如,在一些实施例中,导航解决方案可以包括纬度、经度和高度。在一些实施例中,导航解决方案还可以包括纬度、经度、高度和航向。NFNS 208的主要元件包括GPS接收器216和控制器212。所示实施例还包括相机140。一些实施例可以附加地或可替代地包括另外的导航元件,诸如惯性测量单元(IMU)、加速度计、陀螺仪、磁力计、气压计、指南针和其他可能的仪器。
FNS 204包括硬件和逻辑,该逻辑使得UAV 100能够基于定期地对一个或多个基准标记(诸如基准标记220)成像来确定其导航解决方案(包括其纬度、经度、高度和航向)。UAV100可以完全使用FNS 204导航,或者可以使用FNS 204和NFNS 208两者导航。例如,UAV 100可以使用FNS 204以基于基准标记220在起飞时初始化其导航解决方案,并且其后可以在其对不同的基准标记成像时使用FNS 204更新其导航解决方案。FNS 204的主要元件包括相机140和控制器212(两者都与NFNS 208共享)。相机140对基准标记成像并将图像提供给控制器212以供处理和分析,以便确定UAV的导航解决方案。在一些实施例中,FNS 204可以包括额外的相机和其他仪器。
如在本公开中使用的,基准标记是“标记”已知地理位置(诸如纬度、经度和高度)的参考点,并且还可以代表包括航向、邮政编码或其他信息的其他已知信息。UAV导航系统200可唯一地识别基准标记,并且UAV 100可以利用与基准标记相关联的信息以便三角测量或以其他方式确定具有高准确度的其自身的导航解决方案。使用基准标记220作为示例,每个基准标记与唯一的一组空间坐标(诸如高度、纬度和经度)相关联。在这个意义上来说,每个基准标记是“地理”基准标记。每个基准标记可以与额外的信息(例如邮政编码、真实航向和/或其他信息)相关联。基准标记可以以各种方式代表其相关联的地理信息,例如作为包括二维条码、二维快速响应(“QR”)码、三维码的代码(code),时间相关的闪烁可见光或其他电磁信号的图案(pattern)等。图5的基准标记504f代表基准标记视觉代码或外观。一种代表性且非限制性的基准标记系统是由密歇根大学在https://april.eecs.umich.edu/software/apriltag处管理和可用的AprilTags视觉基准系统。AprilTags系统提供了可以与精确的地理信息相关联的二维图案库。然后每个二维图案可以被贴附到与由二维图案代表的信息相对应的物理位置,并且可由本公开的UAV相机识别。
基准标记可以具有各种大小和形状。因为相机具有有限的视场(例如90度)、有限的聚焦能力和有限的变焦能力,所以在其他条件相同的情况下,与较小的基准标记相比,较大的基准标记更容易从较高的高度和较远的距离被成像。同样,在其他条件相同的情况下,较小的基准标记更容易从较低的高度和较近的距离被成像。因此,提供具有不同大小的基准标记(例如大、中等和小基准标记)以使得UAV能够从高度范围进行导航可能是有利的。下面描述具体示例。如在本公开中使用的,“大”基准标记一般具有至少大约2000平方厘米的二维面积,例如2500平方厘米、4000平方厘米、5000平方厘米以及更大。如在本公开中使用的,“中等”基准标记一般具有大约500平方厘米与大约2000平方厘米之间的二维面积,包括端值(inclusive),例如750平方厘米、1000平方厘米、1500平方厘米和该范围内的任何其他值。如在本公开中使用的,“小”基准标记一般具有小于大约500平方厘米的二维面积,例如400平方厘米、250平方厘米、100平方厘米和该范围内的任何其他值。大小范围是示例性的,并且旨在促进对本发明构思的理解。当在本公开的UAV基准导航系统中利用时,一般可以从大约10-20米(例如,大约12或15米)的高度或距离用相机对大基准标记成像;一般可以从大约5-10米(例如,大约6米)的高度或距离对中等基准标记成像;并且一般可以从大约1-5米(例如,大约3米)的高度或距离对小基准标记成像。在本公开的附图中大体示出了矩形基准标记,然而这仅是示例性的。设想了具有许多其他形状的基准标记。
控制器212包括导航系统200的一部分并且形成FNS 204和NFNS 208两者的一部分。在一些实施例中,控制器212被配置为控制UAV的额外的系统,诸如推进单元116、120,动力源128,控制面124等。控制器212包括处理器224(例如,通用处理单元、图形处理单元、专用集成电路);数据存储228(有形的机器可读存储介质);以及可以实现为软件逻辑(例如,可执行软件代码)、固件逻辑、硬件逻辑或其各种组合的模块。控制器212可以包括具有下述电路的通信接口,所述电路被配置为使得能够经由互联网、蜂窝网络、RF网络、个人局域网(PAN)、局域网、广域网或其他网络与远程服务器、其他UAV、基站或其他网络元件通信。因此,通信接口可以被配置为使用无线协议(例如,蜂窝、红外、近场等)和/或有线协议(通用串行总线或诸如RS-234、RJ-45等的其他串行通信、并行通信总线等)通信。在一些实施例中,通信接口包括被配置为启动允许UAV和其他网络元件彼此识别并交换控制信息的发现协议的电路。在实施例中,通信接口具有被配置为发现协议和协商一个或多个预共享密钥的电路。在实施例中,通信接口可替代地或附加地包括被配置为启动允许企业服务器和UAV交换信息的发现协议的电路。
如在本公开中使用的,数据存储是有形的机器可读存储介质,其包括以由机器(例如,计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等)可访问的非暂时性形式提供(即,存储)信息的任何机制。例如,机器可读存储介质包括可记录/不可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。
图2的控制器212的数据存储228存储基准地图300和多个逻辑模块,当执行逻辑模块时,使UAV利用FNS 204执行操作,包括在介绍UAV 100的示例性方面和操作环境之后在下面描述的基准导航转换模块236、基准导航模块240、基准进场模块244、基准穿越(traverse)模块248、基准着陆模块252、基准初始化模块256、空对空基准导航模块260、基准偶发事件模块264、基准扰动模块268和基准测试模块272。
基准地图300存储与每个基准标记相关联的信息,其可以由图3的表格表示。基准地图300包括用于基准标记群的信息,针对每个个体基准标记都包括。对于每个个体基准标记,基准地图包括存储与基准标记的图像、该基准标记的纬度和经度相关联的代码的唯一基准数据集或“行项目”(例如,行项目304a和304b)。在一些实施例中,基准地图300还可以包括高度、航向、邮政编码和/或与一个或多个个体基准标记相关联的其他信息。
FNS 204所依赖的基准标记库(例如,AprilTags库)可以包括有限数量的基准标记。由于这个原因,在多于一个位置中重复使用相同的基准标记图像可能是有利的。因此,不同的基准地图300(例如,用于两个不同区号(area code)的基准地图)可各自包括具有共同基准标记图像或视觉代码的基准数据集或“行项目”304。在这样的实施例中,基准地图300可以对应于特定的地理位置(例如,特定的邮政编码或区号)或特定的飞行计划;在这样的情况下,可能有多个基准地图(例如,300b和300c),对于每个地理位置或飞行计划有一个基准地图。因此,当在两个地理位置之间移动或改变飞行计划时(例如从300b到300c),控制器212可以更新到不同的基准地图300。在一些实施例中,可以最初将多个基准地图300a-300c上传到UAV 100。在一些实施例中,可以最初将主基准地图(例如,300a)上传,并且可以在之后的时间(例如,在飞行期间)将次基准地图(例如,300b)上传。在一些实施例中,单一基准地图300可以包括具有共同基准标记图像或视觉代码的多于一个的唯一基准数据集“行项目”,其中每个唯一基准数据集具有不同的地理位置(例如,特定的邮政编码或区号)。在操作中,UAV 100可以通过GPS、RF信号或其他方式检索其当前地理位置,从而使得UAV100能够要么将其基准地图300更新到与其地理位置相对应的基准地图300,要么通过在其基准地图300中找到既包含与基准标记图像相关联的正确代码又包含正确地理代码的唯一基准数据集或“行项目”304来肯定地(positively)识别成像的基准标记。在一些实施例中,UAV 100可以接收提供飞行计划、一个或多个基准地图300并且还有关于应该在飞行计划中的哪个点使用哪个基准地图(例如,300a-300c)的指令的任务。在这样的实施例中,UAV 100可以在沿飞行计划的不同点处的基准地图(例如,300a-300c)之间切换,和/或如果飞行计划被更新则可以更新其基准地图。
图4示出了用于利用FNS导航UAV的示例性方法。在步骤400处,UAV的相机140对基准标记(诸如来自图2的基准标记220)成像。在一些实施例中,相机140可以同时对多于一个的基准标记(诸如在UAV充电板或结构出入点附近定位的多个基准标记)成像。在步骤404处,控制器212将由相机140捕捉的图像与基准地图300中的唯一基准数据集(例如,与基准标记图像相关联的代码)进行比较,并且如果达成匹配,则使用基准地图300中的唯一基准数据集肯定地识别成像的基准标记。在一些实施例中,控制器212可以将来自基准地图300的附加的信息(例如,邮政编码)与参考信息(例如,UAV基于GPS的当前地理位置)进行比较。在步骤408处,一旦成像的基准标记在基准地图300中被肯定地识别,则控制器212从基准地图300检索与肯定地识别的基准标记相关联的唯一基准数据集,从而将成像的基准标记的地理定位(以及可能的其他信息)通知给UAV 100。控制器212可以全部或部分地从基准地图300中(包括全部或部分的任何唯一基准数据集(“行项目”))检索信息,以促进本文描述的任何逻辑模块的执行。在步骤412处,UAV 100至少部分地基于成像的基准标记的已知定位、图像分析(例如,分析图像中的基准标记的大小和定位)和/或来自一个或多个仪器的输入(例如,相机140的俯仰和滚转)来确定其自身的导航解决方案。在一些实施例中,UAV 100可以单独利用FNS 204来确定其导航解决方案。在一些实施例中,UAV 100可以利用FNS 204和NFNS 208来确定其导航解决方案,例如,通过将FNS导航解决方案利用为对NFNS 208的附加的输入来确定导航解决方案。此后,FNS 204基于其导航解决方案执行一个或多个动作,诸如引导UAV 100朝着或离开成像的基准标记。在一些实施例中,可以更新基准地图300以反映最当前的基准标记信息,例如,通过由远程控制器系统发送到UAV 100的定期软件更新。
FNS 204的前述元素具有许多实际应用。例如,基准标记可以定位在UAV着陆板或充电板周围,以促进精确着陆。在一些实施例中,基准标记可以定位在建筑物出入点(例如,窗户和/或门)周围以促进UAV相对于建筑物的进入和外出。在一些实施例中,基准标记可以沿着飞行路径或者在基准导航区内定位,例如在GPS降级区域或者在更高程度的导航精度是必要的区域中。在具有多个UAV的一些实施例中,基准标记可以位于每个UAV上,以便化解UAV交通冲突并防止空中碰撞。在一些实施例中,基准标记可以与已知障碍物或威胁相关联以便避免UAV和有效载荷损失。这些仅是使得UAV能够基于对基准标记进行成像来确定导航解决方案的示例性应用。
图5示出了示例性UAV充电板500和被配置为促进UAV着陆精度的基准标记布置。尽管通常指的是充电板,但本公开的基准导航系统与UAV充电板500和着陆板一起工作。位于中心的UAV充电板500兼作用于UAV 100的着陆板和充电站(诸如通过经由UAV的充电接口136来感应充电)。在该非限制性实施例中,UAV充电板500是具有大约100厘米边长的矩形。在一些实施例中,UAV充电板500可以具有大约25厘米到大约150厘米或更大的边长。在一些实施例中,UAV充电板500可以具有不同的形状,例如矩形、六边形、八边形、圆形等。
在使用中,UAV 100可以具有加载到其控制器212上的飞行计划,该飞行计划包括充电板500的定位(例如,纬度、经度和高度)。基准标记504a-504h以下述图案定位在UAV充电板500周围:在UAV 100朝着UAV充电板500导航和进场UAV充电板500时,该图案协助其使用FNS 204来确定其具有高准确度的导航解决方案以着陆在UAV充电板500上。基准标记504f展示了代表性的基准标记视觉代码或表观。包括基准标记504a-504e和504g-504h的每个其他基准标记以及本申请中的其他基准标记可以具有相似的视觉代码或表观。在一些实施例中,可以在别处(例如,不同的地理区域)重复使用相同的视觉代码。为简化交流,仅示出了具有实际基准标记视觉代码的基准标记504f。为了澄清,基准标记504a-504h本身可以不绑定到充电板500;而是每个都与其自身地理定位(包括纬度、经度、高度,以及在一些实施例中,航向)相关联。特别地,基准标记504a-504h是由于它们的大小而被选择,并以特定方式定位,以使得FNS 204能够对基准标记504a-504h成像并且三角测量UAV的导航解决方案。在所示实施例中,将每个基准标记504a-504h定向使得所有基准标记504a-504h具有共同的航向(由箭头508指示),以便为FNS 204提供附加的参考点以确定导航解决方案(例如,以协助确定其速度或朝向)。例如,航向可以使得控制器212能够确定作为其导航解决方案的一部分的UAV的速度,以便在着陆之前确定用于UAV的正确朝向,和/或用于其他优势。在一些实施例中,并非所有基准标记都具有共同的航向。
基准标记504a-504d每个都是具有大约10-20厘米(例如,16厘米)的边长的小基准标记,这使得它们能够由UAV相机从大约5米或更少(例如,3米)的高度或距离成像。每个小基准标记504a-504d邻近UAV充电板500的不同边缘定位,即,距充电板大约1米内,例如20厘米内、10厘米内、1厘米内或者甚至接触。特别地,小基准标记504a和504c邻近UAV充电板500的相对边缘定位并且沿着第一轴512对齐。类似地,小基准标记504b和504d各自邻近充电板500的沿着第二轴516(虽然在所示实施例中其垂直于第一轴512,但是并非必须如此)的不同相对边定位。有利地,即使一个或多个基准标记504a-504d从相机140的视野中被遮挡(obscured)或遮盖(occluded)(例如,由于阴影或由于相机140的俯仰和/或滚转),小基准标记504a-504d相对于充电板500的邻近放置也允许相机140的视场紧接在UAV 100着陆之前(例如,在大约5米或更少、大约3米或更少、或者大约着陆的30秒内的高度)涵盖至少一个小基准标记504a-504d。这允许UAV 100紧接在着陆之前基于基准标记504a-504d中的至少一个来确定其导航解决方案。
在一些实施例中,小基准标记504a和504c相对于充电板500的邻近放置允许FNS204确定UAV充电板500位于基准标记504a和504c之间。在一些实施例中,因为基准标记504a和504c具有相对于充电板500的相同的定位,所以FNS 204可以确定充电板500位于基准标记504a和504c之间的中心。在一些实施例中,FNS 204可以在两个维度确定充电板500的位置:沿着第一轴512和第二轴516,即,在本实施例中的两个轴的交点处。在一些实施例中,基准标记仅沿着第一轴定位(即,一些实施例可能仅包括基准标记504a和504c,或仅包括504b和504d)。在一些实施例中,连接两个基准标记的一个或多个轴可以相对于充电板500对角地或在另一朝向上定向,并且不一定需要垂直于基准标记的边缘。
仍然参考图5,中等大小的基准标记504e-504h具有大约20-40厘米(例如,大约32厘米)的边长、邻近小基准标记504a-504d定位、相对于小基准标记504a-504d更远离充电板地定位、并且促进UAV相机的更高高度成像(例如,在大约6m的高度处)。中等大小的基准标记504e和504g的位置沿着第一轴512并且分别邻近(在本实施例中接触)小基准标记504a和504c,以使得FNS 204能够首先对中等大小的基准标记504e-504h成像,然后当其朝着充电板下降并且中等大小的基准标记落到相机140的视场之外时,对小基准标记504a-504d成像。类似地,小基准标记504b和504d的位置沿第二轴516并分别邻近(接触)中等大小的基准标记504f和504h。每个基准标记504a-504h以共同方向定向,使得所有基准标记具有共同航向,以协助UAV 100在着陆之前确定其速度和/或定向自身。
一些实施例可以包括充电板周围的单一大小的基准标记,例如,可以完全依赖于小基准标记或中等基准标记。一些实施例可以包括与所示实施例中示出的大小不同的基准标记(例如,中等和大基准标记,或大和小基准标记,或小、中等和大基准标记)。
在使用中,下降的UAV 100使用其相机140以对充电板500成像。在第一高度520(例如,5米)处,相机视场524涵盖所有基准标记504a-504h。相机140最初对中等大小的基准标记504e-504h成像,与小基准标记504a-504d相比,其更容易从第一高度520清晰地成像。FNS204然后将每个中等大小的基准标记504e-504h的图像与存储在基准地图300中的相应信息(例如,与图像相关联的代码)相关联。在通过将成像的中等大小的基准标记504e-504h与存储在基准地图300中的信息相关联来肯定地识别基准标记之后,控制器212从基准地图300针对每个肯定地识别的基准标记504e-504h检索相应的唯一基准数据集(每个“行项目”或其一部分)。该信息提供四个地理参考点并且使得FNS 204能够精确地确定UAV 100的导航解决方案。使用该确定,FNS 204可以将UAV 100朝着充电板500导航,或者导航到至少基准标记504a-504h的子集在相机视场中被维持的任何期望的飞行计划坐标。
在沿着UAV朝着充电板500下降的第二高度528处(例如,大约2米),中等大小的基准标记504e-504h最终落在相机140的视场532之外。然而,因为小基准标记504a-504d邻近中等大小的基准标记504e-504h定位并且与充电板500更近,所以相机140然后对小基准标记504a-504d成像。与中等大小的基准标记504e-504h一样,FNS 204将成像的小基准标记504a-504d与存储在基准地图300中的信息相关联,如果可能的话肯定地识别小基准标记504a-504d,并且从基准地图针对每个肯定地识别的基准标记504a-504d检索相应的唯一基准数据集(“行项目”或其一部分)。该信息提供多达四个新的地理参考点并且使得FNS 204能够刷新其导航解决方案。UAV 100可以基于任何单个小基准标记504a-504d来确定其导航解决方案;然而,更多数量的小基准标记有利地提供了更大的冗余。使用该确定,FNS 204可以将UAV 100朝着充电板500导航或导航到最终飞行计划坐标,直到其着陆在充电板500上。
图6示出了两个UAV充电板600a和600b,它们被第一组小基准标记604a-h和第二组中等基准标记608a-h围绕,类似于图5的充电板500。两个充电板600a和600b由具有大约50厘米到大约100厘米(例如,大约64厘米或82厘米)的边长的大基准标记612隔开,使得其可以由UAV相机140从大约12米的高度成像。大基准标记612与每个充电板600a、600b间隔了在大约2-5米的范围内的宽度w。在示出的实施例中,w大约为2.5米;因此,两个充电板600a、600b间隔大约5米。大基准标记612使得FNS 204能够从相对高的高度准确地确定其导航解决方案,以便UAV 100可以根据其飞行计划准确地导航。在具有多个充电板的应用中(诸如图6),将大基准标记612定位在每个充电板600a、600b之间以便防止FNS 204对与多于一个UAV充电板相关联的基准标记成像可能是有利的。例如,大基准标记可以以大约五米的间距放置在网格状阵列中。在使用中,下降的UAV 100可以使用它的相机140从相对高的高度(例如10米)对大基准标记612成像。大基准标记612与基准地图300中的唯一基准数据集(“行项目”)相关联,并且可以与UAV 100应该继续下降直到其对中等基准标记608a-608h和/或小基准标记604a-604h成像的指令相关联。FNS 204可以以该方式继续更新其导航解决方案,以便将UAV 100准确地朝着其最终飞行计划坐标或者充电板600a或600b导航。
在图6中,UAV充电板600a由对比区域围绕,该对比区域被设计为帮助UAV相机140获取围绕的基准标记604a-604d、608a-608d并对其成像。通常,如果围绕基准标记的区域与基准标记相比相对暗,则相机140可能难以适当地曝光基准标记。该场景可能导致相机140通过允许过多的光进入图像而过度补偿相对暗的围绕的区域;因此,当被相机140成像时,基准标记可能显得褪色。这转而可以使FNS 204难以将成像的基准标记与存储在基准地图中的信息相关联,并且最终使UAV 100难以基于成像的基准标记导航。
为了减轻这个问题,对比区域616具有的着色(coloration)可以在总体上不过度偏离基准标记604a-604d、608a-608d的着色。在一些实施例中,对比区域616可以不比基准标记604a-604d、608a-608d更暗。例如,对比区域具有的“灰度值”可以不超过基准标记604a-604d、608a-608d的集体灰度值。例如,如果每个基准标记604a-604d、608a-608d的表面积是大约50%的黑色和50%的白色,那么对比区域616可以具有大约等于50%或不超过大约50%的(或256色阶上的128)灰度值。在这样的场景中,对比区域616可以被涂刷(或以其他方式着色),使得其表面积的大约50%是黑色(并且不多于)并且大约50%是白色。可替代地,对比区域616可以具有反射大约50%黑色和50%白色的混合的灰色。在一些实施例中,对比区域616可以比基准标记604a-604d、608a-608d更亮(例如,更亮大约5%、更亮大约10%等)。例如,充电板600a可以位于具有特定颜色的混凝土上,该特定颜色具有的灰度值比基准标记604a-604d、608a-608d的灰度值更亮大约5%。当以这样的方式配置时,相机140可以容易地适应于基准标记604a-604d、608a-608d的着色,然后对基准标记604a-604d、608a-608d成像。对比区域616的大小也可以影响其改进由相机140成像的能力。例如,具有16厘米的边的基准标记可以由具有大约2-3米的半径的对比区域围绕;具有32厘米的边的基准标记可以由具有大约4-9米的半径的对比区域围绕;具有64厘米的边的基准标记可以由具有大约10-15米的半径的对比区域围绕。在一些实施例中,对比区域可以围绕单个基准标记。在一些实施例中,对比区域可以围绕多个基准标记,无论这些基准标记是否与UAV充电板、结构出入点或其他相关联。
在一些实施例中,可以应用上述和图5-6中所示的基准标记布置和精确着陆方法的变体以使得UAV能够穿越结构出入点(例如,门和窗户)。例如,类似于图5的小基准标记504a-504d,一组小基准标记可以定位在存放设施的窗户周围和邻近(例如,与窗户的每个边缘邻近、或与每个拐角邻近的一个基准标记)。类似于图5的基准标记504e-504h,第二组中等大小的基准标记(或大基准标记)也可以定位在窗户周围。在使用中,前视UAV相机可以通过下述方式导航穿过出入点:首先对中等大小的基准标记成像并且然后对小基准标记成像,并基于从基准地图检索的成像的基准标记的已知位置来确定其导航解决方案。
图7示出了用于存放和服务多个UAV的UAV存放设施700。在示出的实施例中,UAV存放设施700是具有内部飞越上空(overflight)区域704的仓库。在一些实施例中,UAV存放设施可以具有光线很好的飞越上空区域704,以便不降级UAV导航系统的性能。在一些实施例中,飞越上空区域704可以相对平坦(例如,基于光流的导航系统在平坦表面上表现更好)。在一些实施例中,飞越上空区域704可以相对没有(free from)障碍物(例如,具有大于大约1米的宽度和/或高度的障碍物),以便不降级UAV导航系统的性能。在一些实施例中,飞越上空区域704可以具有质地不平的(诸如可以应用涂料或胶带的)非反射地板,以促进UAV基准导航系统的图像获取。在其他实施例中,UAV存放设施700可以是用于存放多个UAV的另一个结构或掩体,例如机库、一系列护岸、停放场、停放库等。在其他实施例中,UAV存放设施本身可以不被配置为存放多个UAV,但是可以用作存放至少一个UAV的地方,例如办公楼、住宅、学校、医院、开放场地等。
图7的UAV存放设施700是由屋顶和形成围绕室内飞越上空区域704的周界的一系列墙壁界定的大体封闭结构。UAV存放设施700由室外区域708围绕。UAV存放设施700包括穿过周界的使得能够进入和外出的多个出入点712a-712f。出入点712a-712f是图7中的窗户,然而在其他实施例中,一个或多个出入点可以是门或具有足够大的大小以允许UAV穿过的其他开口。
UAV存放设施700可以存在于基准导航“区”、“幕”或“泡”716内,需要UAV 100至少部分地利用FNS 204在该基准导航“区”、“幕”或“泡”内部导航。当在基准导航区716内操作时,UAV 100可以部分、主要或完全依赖于FNS 204。在一些实施例中,UAV 100可以依赖于NFNS 208以加强FNS 204的导航。在一些实施例中,GPS、气压计和/或其他非基准导航仪器可以在基准导航区716内部被完全忽略。
因此,多个基准标记(例如,720a、720e、720i)定位在基准导航区716内,使得UAV100可以从基准导航区716内的任何地方对至少一个基准标记720(并且优选地多于一个,例如,两个基准标记)成像。在一些实施例中,一个或多个基准标记(例如720a)可以足够大,使得UAV 100可以从基准导航区716外部(即,在需要使用FNS 204导航之前)对基准标记720成像。基准导航区716可以与已知的GPS降级或GPS拒绝区域相符或至少部分重叠。在UAV存放设施700的限定和潜在拥挤的情境中,基准导航区716是有利的,因为它1)使得能够精确着陆、2)减少与其他UAV碰撞的可能性,以及3)减少对人类的安全风险。在一些实施例中,基准导航区716可以包封(envelope)UAV存放设施700的内部的至少一部分以及围绕的室外区域708的某部分(例如,围绕UAV存放设施700大约10米(在地上所有方向上)、大约50米、大约100米等的半径。在一些实施例中,基准导航区716不需要在UAV存放设施700周围的所有方向上延伸,而是可以涵盖特别重要的区域(诸如UAV进场路径和/或UAV离场路径)。基准导航区716的边界可以由特定坐标(诸如可以由FNS 204或NFNS 208识别)、由发送到UAV 100的信号(诸如由红外发射器)或通过其他方式来划分界线(demarcate)。
UAV存放设施700的每个出入点712与紧密靠近其定位的多个基准标记相关联。例如,出入点712a(穿过外墙的窗户)可以用作用于UAV进入存放设施700的主要入口点。出入点712a与邻近其在外墙表面上的拐角定位的四个基准标记(例如,720a)相关联。类似地,出入点712d可以是用于UAV离开UAV存放设施700的主要出口点,并且与邻近其在内墙表面上的拐角定位的四个基准标记(例如,720e)相关联。为了简化交流,仅示出了与每个出入点712a和712e相关的四个基准标记。在一些实施例中,可以将更少数量或更多数量的基准标记定位在出入点周围,例如,如图5中关于UAV充电板500所示的八个基准标记。一般地,在出入点周围定位更多数量的基准标记可以促进基准导航。此外,每个基准标记的大小通常可以对应于图5和图6的示例,但是在一些实施例中可以具有不同的绝对和相对大小。
UAV充电板的阵列(例如,728a和728b)定位在UAV存放设施700内部,以便接收和再充电多个UAV(例如,100a和100b)。每个充电板728可以例如经由图1A和图1B的UAV 100的充电接口136感应充电UAV动力源。因此,每个UAV充电板728可以电气地连接到公用电网或其他动力源,例如发电机、电池、太阳能电池板、风力涡轮机等。在一些实施例中,UAV充电板728和动力源之间的电气连接可以隐藏在地板系统中或通过其他方式(例如,使用具有与UAV充电板相似的着色的胶带或其他材料)。一般地,隐藏充电板728的电气连接和其他辅助的方面并且整理(de-clutter)充电板728可以通过减少FNS 204可以潜在地成像的错误视觉“目标”的数量来有利地促进UAV基准导航。
每个UAV充电板728类似于图5的实施例,因为其被第一组小基准标记(例如,720m)和第二组较大的基准标记(例如,中等大小的基准标记)(例如,720n)围绕。类似于图6的示例性配置,每个UAV充电板728通过大基准标记(例如,具有大约64厘米边长的大基准标记)(例如,720z)与每个邻近的UAV充电板728间隔开。在一些实施例中,UAV充电板可以具有不同的布置或模式(pattern),例如轴辐式布置、随机布置或者作为适应UAV存放设施700的空间约束所必需的任何其他布置。在一些实施例中,基准标记(例如,720m、720n、720e)可以以足够的密度间隔,使得在UAV存放设施700内部导航的UAV 100可以从任何定位对至少两个基准标记成像。
UAV存放设施700可以与可选的控制器系统744(例如,“控制塔”)通信地连接,该可选的控制器系统包括网络748、数据存储752、控制器756(例如,分布式系统中的服务器、本地计算机、其组合等)以及通信系统760(例如,RF收发器、收发器、等)。为了澄清,控制器系统744不同于UAV的控制器212。
在图7的实施例中,用于UAV存放设施700的控制器系统744被配置为执行与UAV导航系统200相关的多个重要功能。例如,控制器系统744被配置为经由通信系统760从在UAV存放设施700内或周围导航的UAV 100接收状态更新。基于状态更新,控制器系统744可以在UAV 100进入基准导航区716时发送指示其转换到基准导航模式的信号。在一些实施例中,控制器系统744可以发送通知UAV 100其正在哪个地理区域内操作(例如,哪个邮政编码)的信号,并且还可以向UAV 100发送对应于该地理区域的更新的基准地图300。因为相同的基准标记可以在不同的地理区域中重复使用,因此UAV对其操作的地理区域的确认可以使得其能够从控制器系统744检索正确的基准地图(例如,300b或者300c),或者从基准地图300检索正确的唯一基准数据集(例如,304a或304b)。这在基准标记位于移动的UAV 100上并且因此实时或者至少频繁地改变的实施例中可能特别重要。在一些实施例中,控制器系统744可以向UAV 100发送飞行计划,例如基于一个或多个基准标记的冲突化解的飞行计划。
图8示出了UAV 100进场图7的UAV存放设施700。UAV 100进入基准导航区716并且以一种或多种方式识别该改变,诸如通过对已知在基准导航区716内的特定基准标记(例如,基准标记720i)成像(并且与基准地图中的这样的信息相关联)。附加地或可替代地,UAV100可以从图7的控制器系统744接收指示其在基准导航区716内的信号。无论如何,当UAV100识别其进入基准导航区716时,其导航系统200从在没有FNS 204协助的情况下导航的非基准导航模式转换到其至少部分地基于FNS 204导航的基准导航模式。因此,即使UAV 100可以接收可靠的GPS信号766或可以使用另一非基准导航方法(例如,视觉里程计)可靠地导航,但是其导航系统200在基准导航区716内导航时仍然至少部分地依赖于FNS 204。
一组“滑行路径(glide path)”基准标记720i-720m定位在地面上并且与进入UAV存放设施700中的出入点712a对齐。基准标记720i-720m可以间隔得足够近,使得UAV的相机140可以从某一高度在任何给定时间对至少两个基准标记720i–720m的成像。通过将每个成像的基准标记720i-720m与存储在基准地图300中的对应的唯一基准数据集(例如,304a)相关联,并且通过检索由每个唯一基准数据集(例如,304a)指示的定位信息,FNS 204可以确定其导航解决方案并且引导UAV 100朝着出入点712a。
在UAV 100进场出入点712a时,其来到基准标记720a-720d(每个基准标记邻近出入点712a的拐角定位)的成像范围内。相机140可枢转至前视朝向和/或UAV 100可以包括分开的前视相机,以便对基准标记720a-720d成像。UAV相机140对基准标记720a-720d中的至少一个(如果不是两个、三个或所有的四个的话)成像。通过将每个成像的基准标记720a-720d与来自基准地图300的对应的唯一基准数据集304相关联,FNS 204可以通过确定其导航解决方案和出入点712a的位置(特别是出入点边界的位置,诸如边缘或拐角)来引导UAV100安全地朝着并穿过出入点712a。
图9示出了在图7的容纳UAV充电板的阵列的(例如,728c和728d)UAV存放设施700内导航的多个UAV 100a-100d。与图8一样,UAV 100正在基准导航区716内操作并且因此至少部分地依赖于FNS 204。每个UAV 100a-100d示例了不同的操作场景。
UAV 100a被示为在充电板728c上执行精确着陆操纵。在UAV 100a下降到大约6米的第一高度时,其相机140对定位在充电板728c周围的中等大小的基准标记770a-770d成像。通过将每个成像的基准标记770a-770d与来自基准地图300的对应的唯一基准数据集(例如,304a)相关联,FNS 204可以基于充电板728c的四个边的已知位置准确地确定UAV的导航解决方案,并且可以朝着其在充电板728c上的最终坐标向下引导UAV 100a。在UAV100a下降到大约3米时,中等大小的基准标记770a-770d落到UAV相机140的视场之外;然而,小基准标记774a-774d仍在视场内,并且相机140对这些小基准标记774a-774d中的每一个成像。使用该新信息,FNS 204刷新其导航解决方案。在已经确定了其具有高准确度的导航解决方案之后,FNS 204使UAV100a着陆在充电板728c上。
UAV 100b被示为在从UAV充电板728d起飞之后以及执行包括初始化其导航系统200并穿过出入点712c从UAV存放设施700外出的飞行计划。充电板728d与第一组基准标记782a-782d相关联,并且出入点712c与第二组基准标记720e-720h相关联。充电板728d被定位为足够靠近出入点712c,使得UAV相机140可以始终对第一组基准标记782a-782d和第二组基准标记720e-720h中的任一组/两组中的至少两个基准标记成像。这种靠近帮助UAV相机140将从对在(水平)充电板附近定位的第一组基准标记782a-782d成像转换到对在(垂直)出入点712c附近定位的第二组基准标记720e-720h成像。在起飞时,UAV 100对第一组基准标记782a-782d成像以确定其导航解决方案。UAV 100继续使用FNS 204在基准导航区716内导航,基于UAV存放设施内的基准标记(例如第二组基准标记720e-720h)定期地更新其导航解决方案。在UAV 100退出基准导航区716之前(例如,在它穿过出入点712c退出之后),它将其由FNS 204确定的导航解决方案与利用NFNS 208(例如,GPS系统)确定的第二导航解决方案进行比较,以便验证第二导航解决方案是否具有要求的定位准确度(例如,大约5m的准确度)。如果第一和第二导航解决方案一致(agree)(例如,彼此在大约五米内),则第二导航解决方案具有要求的定位准确度并且UAV 100可以继续退出基准导航区716并且导航至基准导航区716之外。如果第一和第二导航解决方案不一致(例如,大于大约5米),则不允许UAV 100退出基准导航区716,并且在一些实施例中,可以如下所述执行偶发事件例程(例如,在适当位置着陆)。
UAV 100c被示为进场出入点712d,该出入点在拐角处由四个邻近的基准标记720e、720f、720i和720j围绕。UAV相机140朝向面向前方的方向并且对每个基准标记720e、720f、720i和720j成像。因为FNS 204能够从这些图像精确地确定其导航解决方案,并且因为其知道出入点712d的拐角位置,所以FNS 204使UAV 100c安全地导航穿过出入点712d。
UAV 100d示出了下述实施例:其中基准标记不仅可以定位在固定位置,而且可以定位在移动的UAV上,使得可以追踪UAV的实时定位。这样的实施例有利地降低了UAV之间的空中碰撞的可能性。在该实施例中,基准标记被固定在UAV 100c上,其可以连续或定期地将其实时导航解决方案(例如,按照由FNS 204确定的)向远程控制器系统744发送。控制器系统744进而可以将UAV 100c的动态基准数据集作为推送信号(pushed signal)或者响应于来自一个或多个UAV的请求而定期地向在该区域中操作的其他UAV发送。然后,接收UAV100c的当前位置的每个UAV 100通过更新对应于贴附到UAV 100c的基准标记的唯一动态基准数据集来更新其基准地图300。
在示出的实施例中,UAV 100d已经从控制器系统744接收了UAV 100c的当前位置并且相应地更新其基准地图300。UAV 100d使用其相机140对UAV 100c和贴附在其上的基准标记成像。通过将UAV 100c的基准标记的图像与基准地图300中对应的唯一基准数据集相关联,UAV 100d可以确定其导航解决方案。有了这些认知,UAV 100d的FNS 204可以导航其离开UAV 100c以避免空中碰撞。附加地或可替代地,远程控制器系统744可以确定UAV 100c和UAV 100d之间空中碰撞的可能性,并且可以向UAV 100c和/或UAV 100d发送冲突化解的飞行计划。
已经介绍了FNS 204的示例性方面和操作环境,现在将描述作为软件逻辑(例如,可执行软件代码)、固件逻辑、硬件逻辑或者其各种组合机载地存储在控制器上的逻辑模块。返回参考图2,控制器212的数据存储228存储基准地图300和多个逻辑模块,包括基准导航转换模块236、基准导航模块240、基准进场模块244、基准穿越模块248、基准着陆模块252、基准初始化模块256、空对空基准导航模块260、基准偶发事件模块264、基准扰动模块268和基准测试模块272。如在以下描述中使用的,模块可以通过按照使得改变UAV的高度、速度、偏航、俯仰、滚转、航向和/或其他特性的方式来指示动力源128、水平和/或垂直推进单元116和120、控制面124和/或其他UAV系统来“使得”UAV 100执行一个或多个动作。
由图2的模块利用的逻辑、算法、交互、关系、属性和其他因素被存储在数据存储228上。在示出的实施例中,图2中识别的所有模块被UAV机载地存储在控制器212上。在一些实施例中,任何模块可以部分或全部存储在外部存储资源上。同样地,图2的模块与控制器212的处理器224相关联。在一些实施例中,任何模块可以部分或全部在UAV 100外部的一个或多个处理器(诸如图7的控制器系统744)上执行;在这样的实施例中,可以通过一个或多个无线通信系统在UAV 100和外部处理器之间交换信息。图2的任何模块可以响应于一个或多个触发而自动启动。在一些实施例中,可以手动启动任何模块。
基准导航转换模块236使UAV 100从UAV 100在没有FNS 204协助的情况下导航的非基准导航模式转换到UAV 100至少部分地基于FNS 204导航的基准导航模式。各种触发可以启动基准导航转换模块236,例如:当NFNS 208性能降到低于某一阈值时(例如,当GPS信号在GPS拒绝或GPS降级的环境中减弱时);UAV 100进入基准导航区;当UAV 100经历偶发事件时(例如,充电板上的意外移动);当飞行计划或机内测试指示UAV 100进入基准导航模式时;当UAV相机140对特定基准标记成像时;当UAV 100下降到低于阈值高度(例如,50米)时;由人类操作员手动激活;等等。一旦被触发,如果FNS 204还没被激活,则基准导航转换模块236激活FNS 204。在一些实施例中,基准导航转换模块236可以表达对于利用FNS 204而不是NFNS 208的导航的二元偏好,例如,在FNS 204被激活时,完全忽略NFNS 208,或者忽略GPS和/或其他导航仪器。在UAV 100利用FNS 204时完全忽略GPS的实施例中,导航系统200可以利用NFNS 208的一个或多个仪器(例如,IMU和加速度计)以协助基准导航。在一些实施例中,与来自NFNS 208的导航输出相比,基准导航转换模块236可以给来自FNS 204的导航输出分配更高的权重或优先等级,例如,由导航系统200在任何其他导航输出之前利用的第一优先级等级或者0.6的权重(在1.0的尺度上)。基准导航转换模块236具有另外的功能,因为它使导航系统200基于一个或多个因素调整对FNS 204的依赖等级,因素例如高度、来自其他导航系统(例如,GPS)的信号质量、对UAV充电板或结构出入点的靠近、空域交通等级和/或其他因素。在一些实施例中,对FNS 204的依赖等级可以是高度的函数。特别地,基准导航转换模块236可以使UAV 100随着其离地面更近而更加依赖于FNS 204。例如,在大约50米的高度处,UAV 100可能主要依赖于GPS系统。在UAV 100进场UAV存放设施并且下降到25米时,基准导航转换模块236可以使UAV 100主要依赖于NFNS 208的另一方面,诸如视觉里程计。在UAV 100靠近UAV存放设施并下降到10米之下时,基准导航转换模块236可以使UAV100主要依赖于FNS 204。当UAV 100进入存放设施时,基准导航转换模块236可以使UAV 100完全依赖于FNS 204。前述范围仅是示例性的,并且可以在实施例之间变化。
基准导航模块240使UAV 100至少部分地使用FNS 204导航。例如,基准导航模块240使相机140对一个或多个基准标记成像。基准导航模块240还使控制器212将与基准地图300中的图像相关联的代码与由UAV的相机140捕捉的图像进行比较,并且肯定地识别成像的基准标记。如果和当成像的基准标记被肯定地识别时,则控制器212从基准地图300中检索包括纬度、经度和与该基准标记相关联的可能的其他信息(例如,高度、邮政编码和/或航向)的唯一基准数据集,从而将成像的基准标记的地理定位(以及可能的其他信息)通知UAV100。控制器212可以全部或部分地从基准地图300中检索信息,以促进本文描述的任何逻辑模块的执行。在所识别的基准标记的位置已知的情况下,UAV 100基于成像的基准标记的已知位置(如从基准地图300检索的)确定其导航解决方案。在一些实施例中,UAV 100还基于相机140捕捉的图像的分析(例如,分析图像中基准标记的大小和定位)来确定其导航解决方案。然后,基准导航模块240基于成像的基准标记的已知位置和/或UAV 100的确定的位置执行一个或多个动作。例如,基准导航模块240可以导航UAV 100朝着或离开成像的基准标记。在一些实施例中,基准导航模块240可以使基准地图300更新以反映实时基准标记信息,例如,通过由远程控制器系统(诸如控制器系统744)发送到UAV 100的定期软件更新。基准导航模块240还可以补充UAV 100的非基准导航。例如,基准导航模块240可以基于一个或多个成像的基准标记确定导航解决方案,并且然后将该基准导航解决方案与由NFNS 208确定的另一个导航解决方案(例如,GPS导航解决方案)进行比较。如果由基准导航模块240确定的导航解决方案一致(例如,在1米、5米或其他容许水平内),则非基准导航解决方案被验证并且UAV 100可以利用NFNS 208继续导航。
基准进场模块244使UAV 100安全地进场特定航路点、结构(诸如UAV存放设施)、出入点、充电板或其他导航相关的目标。基准进场模块244使UAV 100的相机顺序地对定位在到结构的进场路径(或滑行路径)上的一系列基准标记成像(诸如上面关于图8所描述的)。如上所述使用基准地图300识别基准标记的位置,并且基准进场模块244使用该信息来确定其导航解决方案。在一些实施例中,基准进场模块244还使UAV 100朝着进场路径中的每个连续基准标记导航。在一些实施例中,基准进场模块244可以使UAV 100在其接近目标时逐渐降低高度和/或速率。
基准穿越模块248使UAV安全地穿越诸如窗户、门或者垂直或近乎垂直的墙壁中的另一类型的出入点的开口,如在图8和图9的情境中所描述。当UAV 100进场出入点时,基准穿越模块248使相机140对邻近出入点定位的一组基准标记成像。成像发生在距出入点足够大的距离处,使得相机的视场捕捉邻近出入点定位的基准标记中的至少一个。然后,基准穿越模块248将围绕出入点的每个基准标记的图像与存储在基准地图300中的对应的唯一基准数据集相关联。然后,控制器212从基准地图300检索用于每个参考基准标记的对应的唯一基准数据集。该信息提供一组地理参考点(诸如可以对应于出入点的边缘和/或拐角)并且使得FNS 204能够确定其导航解决方案,并且在一些实施例中,该出入点位于四个参考点之间。使用该确定,FNS 204指导UAV 100导航穿过出入点。在一些实施例中,第一组和第二组基准标记可以紧密靠近出入点定位,其中与第二组标记相比第一组距出入点间隔地更远,并且其中第一组的基准标记具有比第二组的基准标记更大的大小。图5和图6中的充电板的情境中示出了类似的布置;这些示例的特性一般可以应用于出入点,并且不限于充电板或水平表面。在这样的实施例中,基准穿越模块248可以使相机最初对第一组的相对较大的基准标记成像,并且然后在UAV进场出入点时将第二组的相对较小的基准标记成像。
基准着陆模块252使UAV 100安全地着陆在UAV充电板、着陆板或位于相对水平的表面上的其他类型的目标上,诸如上面图5-6和9所示。当UAV 100进场UAV充电板时,基准着陆模块252使相机140对邻近充电板定位的一组基准标记成像。成像发生在距充电板足够大的距离处,使得相机的视场捕捉邻近充电板定位的所有基准标记。然后基准着陆模块252将围绕充电板的每个基准标记的图像与基准地图300中的对应的唯一基准数据集相关联,并且检索唯一基准数据集。该信息提供一组地理参考点(诸如可能对应于UAV充电板的边缘和/或拐角)并且使得FNS 204能够确定UAV的导航解决方案。使用该确定,FNS 204指导UAV100朝着UAV充电板下降。在一些实施例中,基准着陆模块252可以使UAV 100在其进场UAV充电板时降低其速度。在图5和图6所示的一些实施例中,第一组和第二组基准标记可以紧密靠近UAV充电板定位,其中与第二组标记相比第一组标记距UAV充电板间隔地更远,并且其中第一组的基准标记具有比第二组的基准标记更大的大小。在这样的实施例中,基准着陆模块252可以使相机140最初对第一组的相对较大的基准标记成像,并且然后在UAV 100进场并着陆在UAV充电板上时对第二组的相对较小的基准标记成像。
基准初始化模块256利用FNS 204在UAV 100退出GPS降级区域或GPS拒绝区域之前校验FNS 208。例如,在从基准导航区中的充电板起飞时,基准初始化模块256使UAV相机140对一个或多个基准标记成像,并且然后利用包括纬度和经度(在一些实施例中,航向)的FNS204确定导航解决方案。UAV 100继续使用FNS 204在基准导航区内导航,基于基准标记定期地更新其导航解决方案。在UAV 100退出基准导航区之前,其计算利用FNS 204的第一导航解决方案和利用NFNS 208(例如,GPS系统)的第二导航解决方案。然后对照第一导航解决方案验证第二导航解决方案以确定NFNS 208是否具有要求的定位准确度(例如,大约5米的准确度)。如果第一和第二导航解决方案一致(例如,彼此在大约五米内),则UAV 100可以继续退出基准导航区并且基于NFNS 208导航。另一方面,如果第一和第二导航解决方案不一致(例如,彼此不在大约五米内),则UAV 100继续基于FNS 204导航。在一些实施例中,基准初始化模块256可能不准许UAV 100退出基准导航区,直到两个导航解决方案一致。在一些实施例中,如果两个导航解决方案不一致,则基准初始化模块256可以使UAV 100执行一个或多个偶发事件模块。
空对空基准导航模块260可以在基准标记被附接到一个或多个(移动的)UAV的实施例中操作。在这样的实施例中,第一UAV的空对空基准导航模块260可以定期地从远程控制器系统请求接收第二UAV(诸如在同一区域中操作的另一个UAV)的当前位置。响应于这样的请求,远程控制器系统可以向第一UAV发送部分或完整的更新的UAV基准地图300。当第一UAV接收了更新的UAV基准地图300时,然后模块部分地或全部地更新其先前的基准地图300。空对空基准导航模块260还使主UAV相机140对贴附到第二UAV的基准标记成像,然后将成像的基准标记与(更新的)基准地图300中的对应的唯一基准数据集相关联。这使得第一UAV能够确定其导航解决方案和第二UAV的位置。然后空对空基准导航模块260可以使第一UAV远离第二UAV导航以避免空中碰撞。附加地或可替代地,空对空基准导航模块260可以确定第一和第二UAV之间的空中碰撞的可能性。如果碰撞的可能性超过阈值等级,则空对空基准导航模块260可以从远程源(例如,远程控制器系统)请求冲突化解的飞行计划。
基准偶发事件模块264防止在UAV 100试图离开基准导航区的情况下不安全导航、以其他方式停止基准导航、或者在没有首先验证NFNS 208的情况下使用NFNS 208导航。例如,当UAV 100试图从UAV存放设施或基准导航区外出但不能事先验证GPS信号时,该场景可能发生。基准偶发事件模块264确定何时两个条件被满足:NFNS 208(例如,GPS信号)不能被验证时以及UAV 100以其他方式准备减少其对FNS 204的依赖时(例如,由于其飞行计划使其离开UAV存放设施)。当两个条件都满足时,基准偶发事件模块264防止UAV 100减少其对FNS 204的依赖,这可以防止UAV 100离开UAV存放设施或UAV导航区,并且可以使UAV着陆(例如,立即着陆,和/或通过直接下降而着陆)。在另一个实施例中,当NFNS 208的可靠性等级落到低于第一阈值(例如,低于50%置信水平)时以及此外当FNS 204的可靠性等级落到低于第二阈值(例如,低于50%的置信水平)时,基准偶发事件模块264执行。例如,当恶劣天气损害GPS信号以及依赖于其他非基准导航方法(例如视觉里程计)的能力时、当技术问题(诸如传感器故障)使导航系统的至少一部分故障时、当UAV 100正在没有基准标记或其他参考点的陌生地形中导航时、当UAV的动力源128耗尽或其他的场景时,这可能发生。在这样的偶发事件的情况下,基准偶发事件模块264使UAV 100在适当位置盘旋一段时间(例如,一分钟、五分钟等),以针对障碍物扫描其下方的区域,并且如果在盘旋时段期间,NFNS 208或FNS 204的可靠性等级还没有升到第一和第二阈值之上,则将UAV 100着陆(例如立即着陆)。在一些实施例中,基准偶发事件模块264可以指示UAV相机140对其视场内的任何基准标记成像,并且将UAV 100着陆在该基准标记上。
基准扰动模块268确保在其着陆时移动多于阈值量的情况下,UAV 100重新校准其存储的定位。基准扰动模块268使UAV 100紧接在着陆之前或者在着陆时使用FNS 204确定其导航解决方案。然后,基准扰动模块268使UAV 100监视其在着陆时的定位(使用任何可用的导航系统,例如GPS和/或IMU)。如果基准扰动模块268检测到UAV 100的定位变化多于可准许的阈值等级(例如,0.1米、0.5米、1.0米等),则其使紧接在着陆之前确定的导航解决方案无效。随后,基准扰动模块268使UAV 100使用一个或多个可用导航系统重新获取其定位。例如,UAV 100可以通过使用相机140对基准标记成像来重新获取其定位。
基准测试模块272帮助UAV 100在开始(embark)飞行计划之前校准其系统。例如,基准测试模块272可以在UAV 100已经着陆在充电板上之后并且在下一个被安排的任务之前执行(例如,在UAV 100已经在UAV充电板上达至少大约三十分钟之后)。基准测试模块272使UAV 100执行飞行计划,该飞行计划包括起飞(例如,从UAV充电板)、以及通过对一个或多个基准标记(例如,在UAV充电板附近定位的基准标记)成像并从基准地图确定这些基准标记的位置来测试FNS 204、以及将UAV着陆(例如,回到充电板上)。在一些实施例中,基准测试模块272可以使UAV 100做出以下中的一项或多项:在适当位置盘旋(例如,在大约两米的高度或其他高度处)、测试推进设备、测试控制面、以及执行测试飞行计划。
包括摘要中所描述的内容的本发明的所示实施例的以上描述,不旨在是穷尽性的或者将本发明限制为公开的精确形式。虽然本文为了说明的目的描述了本发明的特定实施例和示例,但是如相关领域的技术人员将认识到的,在本发明范围内各种修改是可能的。
可以根据以上详细描述对本发明进行这些修改。所附权利要求中使用的术语不应该解释为将本发明限制在说明书中公开的特定实施例。反而,本发明的范围将完全由根据权利要求解释的既定原则来解释的所附权利要求确定。
Claims (19)
1.一种无人飞行器UAV导航系统,包括:
定位在存放设施处的UAV充电板;
定位在存放设施处的多个基准标记,所述多个基准标记中的每个基准标记与存储基准标记的定位的基准数据集相关联,每个基准数据集被存储在基准地图中;以及
UAV,所述UAV具有动力源、可操作地与动力源耦合的推进单元以及耦合到推进单元的导航系统,该导航系统包括相机、基准导航子系统、非基准导航子系统和逻辑模块,所述逻辑模块在被执行时使所述UAV执行操作,所述操作包括:
使用相机对所述多个基准标记中的第一基准标记成像;
在非基准导航模式与基准导航模式之间转换,在非基准导航模式中UAV在没有基准导航子系统协助的情况下导航,在基准导航模式中UAV至少部分地基于基准导航子系统导航;
从基准地图访问存储第一基准标记的定位的基准数据集;以及
基于存储第一基准标记的定位的基准数据集导航到UAV充电板周围,
其中,所述UAV还包括在被执行时使所述UAV执行另外的操作的逻辑模块,所述另外的操作包括:
当UAV在基准导航区内导航时,确定利用基准导航系统的第一导航解决方案、以及利用非基准导航系统的第二导航解决方案;
对照第一导航解决方案验证第二导航解决方案以确定非基准导航系统是否具有要求的定位准确度;以及
如果非基准导航系统具有要求的定位准确度,则利用非基准导航系统在基准导航区之外导航。
2.根据权利要求1所述的UAV导航系统,其中,所述多个基准标记包括邻近所述UAV充电板的第一侧定位的第一基准标记以及邻近所述UAV充电板的第二边定位的第二基准标记,以使得能够紧接在着陆之前由相机对第一基准标记或第二基准标记中的至少一个成像。
3.根据权利要求2所述的UAV导航系统,还包括邻近第一基准标记并从所述UAV充电板径向向外定位的第三基准标记、以及邻近第二基准标记并从所述UAV充电板径向向外定位的第四基准标记,
其中,第一基准标记和第二基准标记比第三基准标记和第四基准标记更小,以使得能够从下述高度对第一基准标记或第二基准标记中的至少一个成像:在该高度处,第三基准标记和第四基准标记在相机的视场之外。
4.根据权利要求2所述的UAV导航系统,还包括邻近所述UAV充电板的第三边定位的第五基准标记以及邻近所述UAV充电板的第四边定位的第六基准标记,以使得能够紧接在着陆之前由相机对第一基准标记、第二基准标记、第五基准标记或第六基准标记中的至少一个成像。
5.根据权利要求4所述的UAV导航系统,其中,所述UAV充电板是第一UAV充电板,所述UAV导航系统还包括第二UAV充电板,该第二UAV充电板通过比第一基准标记和第三基准标记更大的第七基准标记与第一UAV充电板隔开,以使得在相机能够对第一基准标记和第三基准标记成像之前所述UAV能够基于第七基准标记确定导航解决方案。
6.根据权利要求2所述的UAV导航系统,还包括邻近穿过所述存放设施的周界的出入点定位的第三基准标记和第四基准标记,其中,所述UAV还包括在被执行时使所述UAV执行另外的操作的逻辑模块,所述另外的操作包括:
对第三基准标记或第四基准标记中的至少一个成像;
从基准地图访问存储至少一个成像的第三基准标记或第四基准标记的定位的基准数据集;以及
基于存储至少一个成像的第三基准标记或第四基准标记的定位的基准数据集导航穿过出入点。
7.根据权利要求2所述的UAV导航系统,其中,第一基准标记邻近地由具有不比第一基准标记的基准灰度值更暗的整体边界灰度值的对比区域围绕。
8.根据权利要求1所述的UAV导航系统,其中,所述UAV是第一UAV,所述UAV导航系统还包括具有UAV基准标记的第二UAV,所述UAV基准标记与在基准地图中存储UAV基准标记的实时定位的动态基准数据集相关联,
其中,第一UAV还包括在被执行时使第一UAV执行另外的操作的逻辑模块,所述另外的操作包括:
使用相机对第二UAV的UAV基准标记成像;
从基准地图访问存储UAV基准标记的实时定位的动态基准数据集;以及
基于UAV基准标记的实时定位在第二UAV周围导航。
9.根据权利要求1所述的UAV导航系统,所述UAV还包括在被执行时使所述UAV执行另外的操作的逻辑模块,所述另外的操作包括:
存储紧接在着陆在所述UAV充电板上之前或者在着陆在所述UAV充电板上时获取的UAV的UAV定位;
监视着陆时的UAV定位以检测UAV着陆后的移动等级;以及
如果检测到的移动等级大于阈值移动等级,则使UAV定位无效。
10.根据权利要求1所述的UAV导航系统,所述UAV还包括在被执行时使所述UAV执行另外的操作的逻辑模块,所述另外的操作包括:
执行测试飞行计划,所述测试飞行计划包括从所述UAV充电板起飞,在UAV在UAV充电板上方盘旋时基于基准导航子系统确定导航解决方案,以及着陆在UAV充电板上。
11.根据权利要求3所述的UAV导航系统,其中,第一基准标记、第二基准标记、第三基准标记和第四基准标记中的每一个与共同的航向相关联,以协助UAV导航到与所述UAV充电板对齐并且着陆在所述UAV充电板上。
12.根据权利要求1所述的UAV导航系统,
其中,所述基准地图是对应于第一地理区域的第一基准地图,
所述UAV还包括在被执行时使得当UAV在第二地理区域中操作时所述UAV用对应于第二地理区域的第二基准地图替换第一基准地图的逻辑模块,
其中,第一基准地图和第二基准地图各自存储相同的基准标记代码。
13.根据权利要求1所述的UAV导航系统,
其中,所述多个基准标记包括全部邻近UAV充电板并且在UAV充电板的不同边上定位的第一基准标记、第二基准标记、第三基准标记和第四基准标记,
其中,对基准标记成像包括对第一基准标记、第二基准标记、第三基准标记和第四基准标记成像,以及
其中,所述导航包括基于第一基准标记的定位、第二基准标记的定位、第三基准标记的定位和第四基准标记的定位来确定所述UAV的导航解决方案。
14.根据权利要求1所述的UAV导航系统,
其中,所述存放设施存在于基准导航区内,所述UAV能够在所述基准导航区内不利用全球定位系统来导航,
其中,转换到所述基准导航模式发生在基准导航区内,并且所述基准导航模式不允许UAV利用全球定位系统。
15.一种无人飞行器UAV导航方法,包括:
在存放设施中的UAV充电板周围定位多个基准标记,所述多个基准标记中的每个基准标记与存储基准标记的定位的基准数据集相关联;
使用UAV的基准导航子系统对所述多个基准标记中的第一基准标记成像,所述UAV具有包括基准导航子系统和非基准导航子系统的导航系统;
在非基准导航模式与基准导航模式之间转换所述UAV,在非基准导航模式中UAV不基于基准导航子系统导航,在基准导航模式中UAV至少部分地基于基准导航子系统导航;
从机载地存储在所述UAV上的基准地图访问存储第一基准标记的定位的基准数据集;以及
基于存储第一基准标记的定位的基准数据集来导航所述UAV到所述UAV充电板周围;并且所述UAV导航方法还包括:
当UAV在基准导航区内导航时,确定利用基准导航系统的第一导航解决方案、以及利用非基准导航系统的第二导航解决方案;
对照第一导航解决方案验证第二导航解决方案以确定非基准导航系统是否具有要求的定位准确度;以及
如果非基准导航系统具有要求的定位准确度,则利用非基准导航系统在基准导航区之外导航。
16.根据权利要求15所述的UAV导航方法,其中,所述多个基准标记包括定位在所述UAV充电板周围的第一组基准标记和定位在进入所述存放设施的出入点周围的第二组基准标记,其中,导航所述UAV包括基于第二组基准标记导航穿过出入点。
17.根据权利要求16所述的UAV导航方法,其中,所述多个基准标记包括在存放设施外部并且靠近出入点定位的第三组基准标记,其中,所述导航包括基于第三组基准标记导航到出入点。
18.根据权利要求15所述的UAV导航方法,还包括:
其中,所述基准地图是与第一地理区域相关联的第一基准地图,
基于使用所述非基准导航子系统检索的UAV的地理定位来确定所述UAV是否位于第二地理区域内,以及
如果所述UAV位于第二地理区域内,则用第二基准地图替换第一基准地图。
19.根据权利要求18所述的UAV导航方法,其中,第一基准地图和第二基准地图各自存储相同的基准标记代码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/360,952 | 2019-03-21 | ||
US16/360,952 US11287835B2 (en) | 2019-03-21 | 2019-03-21 | Geo-fiducials for UAV navigation |
PCT/US2020/020201 WO2020190472A1 (en) | 2019-03-21 | 2020-02-27 | Geo-fiducials for uav navigation |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113597591A CN113597591A (zh) | 2021-11-02 |
CN113597591B true CN113597591B (zh) | 2024-05-10 |
Family
ID=72514313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080022645.9A Active CN113597591B (zh) | 2019-03-21 | 2020-02-27 | 用于无人飞行器导航的地理基准 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11287835B2 (zh) |
EP (1) | EP3924799A4 (zh) |
CN (1) | CN113597591B (zh) |
AU (2) | AU2020241299B2 (zh) |
SG (1) | SG11202109888SA (zh) |
WO (1) | WO2020190472A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112904892A (zh) * | 2014-10-31 | 2021-06-04 | 深圳市大疆创新科技有限公司 | 用于利用视觉标记进行监视的系统和方法 |
DE102015225409A1 (de) * | 2015-12-16 | 2017-06-22 | Bayerische Motoren Werke Aktiengesellschaft | Steuereinheit und Verfahren zur Abgrenzung von Bewegungsbereichen |
US11817001B2 (en) * | 2017-03-31 | 2023-11-14 | Telefonaktiebolaget Lm Ericsson (Publ) | Broadcasting geolocation information in a radio frame transmitted from an unmanned aerial vehicle |
US11217105B2 (en) | 2017-03-31 | 2022-01-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Enhanced flight plan for unmanned traffic aircraft systems |
MX2020000074A (es) | 2017-07-10 | 2020-02-17 | Ericsson Telefon Ab L M | Optimizacion de la asignacion de recursos de radio con base en informacion de trayectoria de vuelo de vehiculos aereos no tripulados. |
GB201818357D0 (en) * | 2018-11-12 | 2018-12-26 | Forsberg Services Ltd | Locating system |
US11720849B2 (en) * | 2018-11-15 | 2023-08-08 | Corverity Corporation | Method and system for managing navigational data for autonomous vehicles |
WO2020121038A1 (en) * | 2018-12-13 | 2020-06-18 | 10757969 Canada Corporation | A control system for controlling unmanned aircraft systems |
US11353870B2 (en) * | 2018-12-31 | 2022-06-07 | Baidu Usa Llc | Autonomous driving computing and storage expansion device with flexible host and client configuration |
JP6891216B2 (ja) * | 2019-04-26 | 2021-06-18 | キヤノン株式会社 | レンズ装置、撮像装置、補正方法およびプログラム |
JP7468523B2 (ja) * | 2019-06-05 | 2024-04-16 | ソニーグループ株式会社 | 移動体、位置推定方法、およびプログラム |
KR20210029518A (ko) * | 2019-09-06 | 2021-03-16 | 삼성전자주식회사 | 멀티 센서 기반의 무인 비행체 및 그 제어 방법 |
US11511885B2 (en) | 2020-03-13 | 2022-11-29 | Wing Aviation Llc | Adhoc geo-fiducial mats for landing UAVs |
US20220067968A1 (en) * | 2020-08-28 | 2022-03-03 | Weta Digital Limited | Motion capture calibration using drones with multiple cameras |
US20220266867A1 (en) * | 2021-02-22 | 2022-08-25 | Argo AI, LLC | Indoor Localization of Autonomous Vehicles |
WO2022261901A1 (zh) * | 2021-06-17 | 2022-12-22 | 深圳市大疆创新科技有限公司 | 无人机降落控制方法、装置、无人机、系统及存储介质 |
CN113435940B (zh) * | 2021-07-08 | 2022-03-18 | 重庆链图信息技术有限公司 | 矢量地理空间数据在线服务多因子运营计价系统 |
US11618331B1 (en) * | 2021-10-31 | 2023-04-04 | Beta Air, Llc | Proximity detection systems and methods for facilitating charging of electric aircraft |
US11971730B2 (en) * | 2021-11-08 | 2024-04-30 | Wing Aviation Llc | Automated assignment of UAVs to staging pads |
WO2023224991A1 (en) * | 2022-05-17 | 2023-11-23 | Yevgeniy Kozlenko | Dock assembly for unmanned aerial vehicles |
CN115167508B (zh) * | 2022-07-05 | 2023-05-09 | 南京邮电大学 | 一种多旋翼无人机传感器故障安全飞行控制系统及方法 |
US20240094743A1 (en) * | 2022-09-16 | 2024-03-21 | Wing Aviation Llc | Pixel-by-pixel segmentation of aerial imagery for autonomous vehicle control |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101046389A (zh) * | 2001-01-12 | 2007-10-03 | 城市旅行康姆公司 | 在地图上以电子形式图形地显示旅行信息的处理 |
CN104067527A (zh) * | 2012-12-24 | 2014-09-24 | 安德鲁有限责任公司 | 双带散布蜂窝基站天线 |
CN106054929A (zh) * | 2016-06-27 | 2016-10-26 | 西北工业大学 | 一种基于光流的无人机自动降落引导方法 |
CN106127201A (zh) * | 2016-06-21 | 2016-11-16 | 西安因诺航空科技有限公司 | 一种基于视觉定位降落末端的无人机降落方法 |
CN106774386A (zh) * | 2016-12-06 | 2017-05-31 | 杭州灵目科技有限公司 | 基于多尺度标识物的无人机视觉导航降落系统 |
CN107240063A (zh) * | 2017-07-04 | 2017-10-10 | 武汉大学 | 一种面向移动平台的旋翼无人机自主起降方法 |
US9964951B1 (en) * | 2015-09-25 | 2018-05-08 | Amazon Technologies, Inc. | Fiducial-based navigation of unmanned vehicles |
US10176378B1 (en) * | 2016-08-26 | 2019-01-08 | Amazon Technologies, Inc. | Techniques for target detection |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7231294B2 (en) | 2003-10-23 | 2007-06-12 | International Business Machines Corporation | Navigating a UAV |
US10839336B2 (en) | 2013-12-26 | 2020-11-17 | Flir Detection, Inc. | Unmanned delivery |
US20160122038A1 (en) | 2014-02-25 | 2016-05-05 | Singularity University | Optically assisted landing of autonomous unmanned aircraft |
WO2015180180A1 (en) | 2014-05-30 | 2015-12-03 | SZ DJI Technology Co., Ltd. | Systems and methods for uav docking |
US9152149B1 (en) | 2014-06-06 | 2015-10-06 | Amazon Technologies, Inc. | Fiducial markers with a small set of values |
JP6390022B2 (ja) * | 2014-08-08 | 2018-09-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | エネルギー提供ステーション |
WO2016196093A1 (en) * | 2015-06-01 | 2016-12-08 | Stoman Nicolaas | Systems, methods, and apparatuses for managing aerial drone parcel transfers |
CN104850134B (zh) * | 2015-06-12 | 2019-01-11 | 北京中飞艾维航空科技有限公司 | 一种无人机高精度自主避障飞行方法 |
KR101599423B1 (ko) | 2015-10-16 | 2016-03-15 | 배종외 | 드론 충전 플렛폼 시스템 |
US10417469B2 (en) | 2016-05-07 | 2019-09-17 | Morgan E. Davidson | Navigation using self-describing fiducials |
US10189567B2 (en) * | 2016-06-09 | 2019-01-29 | Skycatch, Inc. | Identifying camera position of a UAV in flight utilizing real time kinematic satellite navigation |
US10007272B2 (en) | 2016-08-04 | 2018-06-26 | Echostar Technologies International Corporation | Midair tethering of an unmanned aerial vehicle with a docking station |
US10387727B2 (en) * | 2017-09-13 | 2019-08-20 | Wing Aviation Llc | Backup navigation system for unmanned aerial vehicles |
US11866198B2 (en) * | 2018-10-29 | 2024-01-09 | California Institute Of Technology | Long-duration, fully autonomous operation of rotorcraft unmanned aerial systems including energy replenishment |
-
2019
- 2019-03-21 US US16/360,952 patent/US11287835B2/en active Active
-
2020
- 2020-02-27 AU AU2020241299A patent/AU2020241299B2/en active Active
- 2020-02-27 EP EP20773965.7A patent/EP3924799A4/en active Pending
- 2020-02-27 SG SG11202109888S patent/SG11202109888SA/en unknown
- 2020-02-27 CN CN202080022645.9A patent/CN113597591B/zh active Active
- 2020-02-27 WO PCT/US2020/020201 patent/WO2020190472A1/en unknown
-
2022
- 2022-02-16 US US17/673,612 patent/US20220171408A1/en active Pending
- 2022-09-21 AU AU2022235564A patent/AU2022235564A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101046389A (zh) * | 2001-01-12 | 2007-10-03 | 城市旅行康姆公司 | 在地图上以电子形式图形地显示旅行信息的处理 |
CN104067527A (zh) * | 2012-12-24 | 2014-09-24 | 安德鲁有限责任公司 | 双带散布蜂窝基站天线 |
US9964951B1 (en) * | 2015-09-25 | 2018-05-08 | Amazon Technologies, Inc. | Fiducial-based navigation of unmanned vehicles |
CN106127201A (zh) * | 2016-06-21 | 2016-11-16 | 西安因诺航空科技有限公司 | 一种基于视觉定位降落末端的无人机降落方法 |
CN106054929A (zh) * | 2016-06-27 | 2016-10-26 | 西北工业大学 | 一种基于光流的无人机自动降落引导方法 |
US10176378B1 (en) * | 2016-08-26 | 2019-01-08 | Amazon Technologies, Inc. | Techniques for target detection |
CN106774386A (zh) * | 2016-12-06 | 2017-05-31 | 杭州灵目科技有限公司 | 基于多尺度标识物的无人机视觉导航降落系统 |
CN107240063A (zh) * | 2017-07-04 | 2017-10-10 | 武汉大学 | 一种面向移动平台的旋翼无人机自主起降方法 |
Non-Patent Citations (3)
Title |
---|
GPS+BDS双差分RTK在遥控车载地理信息采集系统中的应用;郝国欣;全球定位系统;20180415(02);全文 * |
Thien Hoang Nguyen.Post-mission autonomous return and precision landing of UAV.《2018 15th international conference on control,automation,robotics and vision(icarcv)》.2018,参见第1747-1752页. * |
基于阶层标识的无人机自主精准降落系统;张咪等;航空学报;20180720(10);全文 * |
Also Published As
Publication number | Publication date |
---|---|
AU2020241299B2 (en) | 2022-08-25 |
US11287835B2 (en) | 2022-03-29 |
AU2020241299A1 (en) | 2021-09-16 |
CN113597591A (zh) | 2021-11-02 |
SG11202109888SA (en) | 2021-10-28 |
EP3924799A1 (en) | 2021-12-22 |
AU2022235564A1 (en) | 2022-10-13 |
US20200301445A1 (en) | 2020-09-24 |
WO2020190472A1 (en) | 2020-09-24 |
US20220171408A1 (en) | 2022-06-02 |
EP3924799A4 (en) | 2022-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113597591B (zh) | 用于无人飞行器导航的地理基准 | |
US11933613B2 (en) | Ground control point assignment and determination system | |
EP3901728B1 (en) | Methods and system for autonomous landing | |
US11604479B2 (en) | Methods and system for vision-based landing | |
CN110062919B (zh) | 递送车辆的放下地点规划 | |
EP3428766B1 (en) | Multi-sensor environmental mapping | |
US9513635B1 (en) | Unmanned aerial vehicle inspection system | |
CN102417037B (zh) | 自动起飞和着陆系统 | |
US20230358538A1 (en) | Control Point Identification And Reuse System | |
EP3674657A1 (en) | Construction and update of elevation maps | |
WO2017116841A1 (en) | Unmanned aerial vehicle inspection system | |
CN107402396A (zh) | 基于多模导航的无人机着陆引导系统及方法 | |
JP7492718B2 (ja) | 安全着陸可能領域を識別するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体 | |
EP3868652B1 (en) | Information processing system, information processing method, and program | |
US20190066522A1 (en) | Controlling Landings of an Aerial Robotic Vehicle Using Three-Dimensional Terrain Maps Generated Using Visual-Inertial Odometry | |
US11971730B2 (en) | Automated assignment of UAVs to staging pads | |
US20230152123A1 (en) | Route planning for a ground vehicle through unfamiliar terrain | |
Yoakum et al. | A review of DJI’s mavic pro precision landing accuracy | |
US20220229449A1 (en) | Managing a fleet of autonomous vehicles based on collected information | |
Padgett | Autonomous Unmanned Ground-aerial Surveillance System for Areas with an Underdeveloped Security Infrastrusture | |
Lugo | Autonomous landing of a quadrotor UAV using vision and infrared markers for pose estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |