CN114867988A - 包括用于在gnss故障期间为飞行器确定路线的数据的地图 - Google Patents

包括用于在gnss故障期间为飞行器确定路线的数据的地图 Download PDF

Info

Publication number
CN114867988A
CN114867988A CN202080079526.7A CN202080079526A CN114867988A CN 114867988 A CN114867988 A CN 114867988A CN 202080079526 A CN202080079526 A CN 202080079526A CN 114867988 A CN114867988 A CN 114867988A
Authority
CN
China
Prior art keywords
map
uav
route
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080079526.7A
Other languages
English (en)
Inventor
M.库比
D.阿贝沃丹娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wing Aviation LLC
Original Assignee
Wing Aviation LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wing Aviation LLC filed Critical Wing Aviation LLC
Publication of CN114867988A publication Critical patent/CN114867988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/25—Fixed-wing aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/225—Remote-control arrangements operated by off-board computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0056—Navigation or guidance aids for a single aircraft in an emergency situation, e.g. hijacking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0091—Surveillance aids for monitoring atmospheric conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Atmospheric Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种无人驾驶飞行器(UAV)包括推进系统、全球导航卫星系统(GNSS)传感器、相机和控制器。控制器包括逻辑，该逻辑响应于控制器的执行，使得UAV响应于检测到通过GNSS传感器的跟踪的丢失，基于由相机捕获的位置图像来确定UAV在地图上的估计位置，使用嵌入在地图中的跟踪参数来确定到目的地的路线，其中，地图被划分成多个区段，并且跟踪参数指示关于每个区段的使用由相机捕获的图像来确定UAV的位置的容易程度，和控制推进系统以使得UAV遵循该到目的地的路线。

Description

包括用于在GNSS故障期间为飞行器确定路线的数据的地图
相关申请的交叉引用
本申请基于2019年11月20日提交的第16/689,872号美国申请，其内容通过引用整体并入本文。
背景技术
无人驾驶飞行器(unmanned aerial vehicle，UAV)，也可称为自主载具，是一种能够在其上没有物理存在的人类操作员的情况下行进的载具。
出于各种原因，应当知道UAV的位置和朝向，例如，为了保持UAV的所需飞行路径、为了避开障碍物、为了避开商用飞机的飞行路径、为了载荷的精确递送、为了当UAV用于电信时精确覆盖特定地面区域，等等。在实践中，无人驾驶飞行器(UAV)通常在机上携带基于全球导航卫星系统(global navigation satellite system，GNSS)传感器的主导航系统来确定UAV的位置。然而，出于各种原因，基于GNSS的导航系统可能失效，使得UAV不可操作。例如，GNSS信号可能是错误的或者太弱而不能被UAV使用。此外，UAV的GNSS装备也可能失效，从而使UAV至少不能完成其任务。
附图说明
当结合附图参考下面的详细描述时，本公开的实施例的许多伴随的优点将变得更容易领会，并且变得更好理解，其中：
图1A是根据本技术实施例的UAV的顶视等角视图；
图1B是根据本技术实施例的UAV的底视等角视图；
图1C是根据本技术实施例的UAV的控制电子设备的示意图；
图2是根据本技术实施例的操作中的UAV的示意图；
图3是根据本技术实施例的由UAV相机拍摄的图像；
图4A示出了根据本技术实施例的三维地图的示意图；
图4B-图4D示出了根据本技术实施例的三维地图的二维层；
图5是根据本技术实施例的生成和使用三维地图的方法的流程图。
图6是根据本技术实施例的用于UAV导航的方法的流程图。
具体实施方式
下述基于相机的导航技术可以缓解主要使用全球导航卫星系统(GNSS)进行导航的UAV的单点故障问题。
传统的UAV通常使用基于GNSS的主导航系统来确定UAV的位置。本公开的一些实施例涉及通过使用基于相机的导航系统，当GNSS信号错误或微弱时，在确定UAV的位置之后生成地图并使用该地图为UAV确定路线，并导航到目的地。这种基于相机的导航系统可以被称为备用或辅导航系统。基于相机的导航系统可能很难在一些缺乏独特特征的区域上保持对UAV位置的准确估计，诸如在大片水体、沙漠或森林上。因此，基于相机的导航系统可以使用具有跟踪参数(其中该跟踪参数指示使用由相机捕获的图像来确定UAV的位置的容易程度)的地图，以便规划和遵循到目的地的路线。包括跟踪参数的地图可以通过将地图区域(mapped area)分成区段并基于地图区域中的特征向每个区段分配跟踪参数来生成。
图1A是根据本技术实施例的UAV 100的顶视等角视图。UAV 100包括机翼124、悬臂126和机身120。在一些实施例中，机翼124携带水平推进单元112，并且悬臂126携带垂直推进单元114。在一些实施例中，悬臂126终止于舵122，用于UAV 100的改进的偏航控制。
在操作中，推进单元112、114的电力可以由机身120的电池舱提供。在一些实施例中，机身120还包括航空电子设备舱和用于处理载荷的递送单元。机身120可以携带控制电子设备130。
图1B是根据本技术实施例的UAV 100的底视等角视图。在一些实施例中，UAV 100携带指向地面的相机136。相机136可以是在可见光谱内操作的数码相机。在其他实施例中，相机136可以当例如在夜间操作时在红外光谱内操作，或者当例如在多云天气操作时在紫外光谱内操作。在一些实施例中，UAV 100可以包括被配置为在不同光谱内操作的多个相机136。
在一些实施例中，相机136由枢轴机构137承载。在操作中，枢轴机构137可以基于来自控制电子设备130的输入来调节相机136的角度。响应于来自控制电子设备130的输入，枢轴机构137可以将相机136定向为垂直于地面，以为由相机136获取的图像提供公共参考角度。在其他实施例中，枢轴机构137可以将相机136定向在其他角度。
图1C是根据本技术实施例的UAV 100的控制电子设备的示意图。控制电子设备130可以包括控制器132、GNSS传感器134和收发器138。控制器132可以与相机136通信并控制UAV 100。GNSS传感器134可以从全球导航卫星接收全球导航卫星系统信号，以便确定UAV100的位置。在一些实施例中，GNSS传感器134可以与控制器132通信，并且控制器132可以确定UAV 100的位置。控制器132可以是计算机、CPU、处理器或其他控制电路系统。此外，控制器132可以包括存储器，该存储器包括指令、代码或逻辑，当被执行时使得控制器132控制UAV 100。收发器138可以接收和发送信号，以经由直接通信或间接通信(诸如经由手机信号塔或其他电信网络)进行通信。
图2是根据本技术实施例的操作中的UAV 100的示意图。在一些实施例中，UAV 100在地面上方约30-150m的高度上沿方向201(也称为飞行方向或飞行路径)飞行时通过相机136获取图像。在飞行期间，可以使用640×480、1280×800或相机136的另一像素分辨率来获取地面区域241的图像。图示的样本获取图像包括对象245(塔尖)、243(建筑物的轮廓)、247(建筑物的屋顶)、249(水体)等的特征点。在一些实施例中，UAV 100携带多个相机。在许多实施例中，特征点对象245、243、247、249的X、Y、Z坐标是已知的，并且可以作为辅助数据被包括在陆地地图中。
当UAV 100在方向201上飞行时，可以获取额外的图像并将其发送到网络收发器250(例如，手机信号塔)。网络收发器250可以将图像转发给基站255。在一些实施例中，基站255包括能够处理由相机136获取的图像或由收发器138发送的其他信息的计算机和/或服务器。
图3是根据本技术实施例的由相机136拍摄的示例图像360。控制器132可以处理图像360并识别特征，诸如建筑物366、交叉路口364和道路362。这些特征仅仅是示例，还可以识别任意数量的其他特征，诸如水体、田野、森林、地标、雕像和其他永久特征。
图4A示出了根据本技术实施例的三维地图400的示意图。三维地图400包括几个二维层402、404、406。各个二维层402、404、406可以分别被划分成区段472、474、476。每个二维层402、404、406可以对应于位于地面上方不同高度的UAV 100。每个区段472、474、476可以与位置相关联，并且可以具有嵌入在三维地图400中并被分配给区段472、474、476的跟踪参数。跟踪参数可以是数字(例如0-10之间的数字)或等级(例如，差、平均、好、很好)。跟踪参数可以指示使用在在与地图400的区段472、474、476相关联的区域上方飞行时由相机136捕获的图像来跟踪UAV 100的位置的容易程度。重申，二维层402、404、406一起形成三维地图400。
三维地图400可以包括三个层：用于50米高度以下的第一二维层402；用于50-100米高度的第二二维层404；和用于100+米高度的第三二维层406。第一、第二和第三二维层402、404、406分别被划分成第一、第二和第三区段472、474、476。第一、第二和第三区段472、474、476中的每一个分别可以在第一、第二和第三二维层402、404、406中形成网格。第一区段472可以是约10m乘10m。第二区段474可以是约20m乘20m。第三区段476可以是约40m乘40m。这仅仅是一个示例，三维地图400可以被划分成任意数量的二维层，并且这些层可以对应于任意高度。二维层402、404、406的区段472、474、476也可以是任何尺寸。在一些应用中，知道UAV 100在较低高度的准确位置可能更重要。因此，在一些实施例中，第一区段472可以是1m乘1m。
在一些实施例中，可以一起使用几个三维地图400来形成四维地图。形成四维地图的每个不同的三维地图400可以包括不同时间(诸如一年中的不同时间和一天中的不同时间)的图像和跟踪参数。
图4B-图4D示出了根据本技术实施例的三维地图400的二维层402、404、406。如图所示，二维层402、404、406中的每一个都与世界的相同区域相关联。然而，因为跟踪UAV 100的位置的容易程度可以根据UAV 100的高度而不同，所以不同的跟踪参数可以被分配给与世界的相同区域相关联的二维层402、404、406的区段472、474、476。此外，因为地面上的特征将随着UAV 100增长高度而显得更小，所以二维层402、404、406的区段472、474、476的尺寸是不同的，并且与UAV 100的针对二维层402、404、406的高度相关联。
出于演示目的，所示的二维层402、404、406中的地图区域仅包括几百米的区域。在实践中，二维层402、404、406可以覆盖整个区域，并且比所描绘的二维层402、404、406大得多。
图5是根据本技术实施例的生成和使用三维地图400的方法的流程图500。该方法可以由基站255或另一计算系统来执行。该方法开始于块510，其中基站255获得待制成地图的区域的一个或多个图像。图像可以是卫星图像、航空图像或从该区域上方拍摄的其他图像。图像还可以包括街道级图像。对于一些区域，诸如具有高建筑物的城市区域，图像可以包括面向建筑物侧面或向上拍摄的图像。
在块520，基站255可以确定图像中包括的特征的数量，并且对于每个特征，确定该特征的独特性(uniqueness)。特征的独特性与该特征能够被独特地识别的容易度有关。例如，具有不常见建筑结构的建筑物的独特性远大于具有标准平面图的住宅的独特性。又例如，三条道路的交叉路口比两条道路的交叉路口更独特。可以忽略图像的临时特征，诸如行人和车辆，因为当UAV 100使用地图来导航时，它们不太可能在相同的位置。在一些实施例中，特征的组合也可以被认为贡献独特性。例如，具有相对共同的单独建筑结构的两个建筑物可能由于凭借它们彼此的相对位置或朝向而成为一对而独特。除了可见特征之外，跟踪参数还可以从图像质量度量(如图像对比度)推导。
在块530，基站255可以生成区域的地图，并将该地图划分成二维层402、404、406和区段472、474、476。地图层402、404、406是二维的，因为它们表示在二维平面中飞行的UAV100(如果地面是平坦的，二维层402、404、406可以在地面的改变的标高下形成轮廓)，然而每个二维层402、404、406可以包括不止一个平坦图像。在一些实施例中，如图4B-图4D所示，二维层402、404、406可以是地面的卫星图像或其他俯视图像或道路地图。在其他实施例中，二维层402、404、406可以包括从地图400的一些或所有区段472、474、476在许多或所有方向上拍摄的图像。这对于与较低高度相关联的二维层402、404、406可能尤其如此，因为特征的视图可能根据观察特征的角度而显著改变。当使用四维地图时，每个三维地图可以包括具有在一天或一年中的不同时间拍摄的图像的二维层402、404、406，因为许多区域可能根据一天中的时间或一年中的时间而不同地出现。例如，树上的树叶的数量或湖泊或水库中的水量在一年中可能显著地改变。此外，一些特征，诸如街灯，可能在夜间对于导航更有用，而其他特征，诸如自然地标，可能在夜间不可见。
如上所述，与较低高度二维层402、404、406相关的区段472、474、476可以小于与较高高度二维层402、404、406相关的区段472、474、476。因此，下层可以包括比上层多几倍的图像。
在块540，基站255可以基于在与区段472、474、476相关联的位置和高度处的UAV100的视野内的特征的数量和特征的特征独特性，向每个区段472、474、476分配跟踪参数。跟踪参数可以是数值或其他值。如果存在大量可以识别的特征，或者如果存在非常独特且容易识别的特定特征，则跟踪参数可以更高。如果特征非常少，或者因为特征独特性低而难以基于可见特征确定准确位置，则跟踪参数可能较低。
当UAV 100在区域上方飞行时，可以基于从UAV 100记录的数据连续更新或改进跟踪参数。基站255可以从UAV 100接收信息，并将GNSS位置与视觉推导的位置进行比较，以改进给定位置的跟踪参数。UAV 100的控制器132也可以在与基站255通信或不通信的情况下改进跟踪参数。
在块550，基站255可以将三维地图400发送给UAV 100。三维地图400可以使用网络收发器250或者通过任何其他发送信息的手段来发送。三维地图400可以当UAV 100在地面或在空中时发送。UAV 100还可以在行进时向基站255发送图像，基站255可以使用这些图像来更新三维地图400。
在块560，UAV 100可以使用三维地图400来基于嵌入在三维地图400中的跟踪参数确定UAV 100的路线。可替代地，UAV 100可以与基站255通信，并且基站可以使用三维地图400来基于地图的跟踪参数确定UAV 100的路线。可以规划基于跟踪参数确定的路线，以便避开跟踪参数低的地图的区域。
图6是根据本技术实施例的用于UAV 100导航的方法的流程图600。在一些实施例中，该方法可以包括附加步骤，或者可以在没有流程图中示出的所有步骤的情况下实践。此外，在一些实施例中，列出的步骤的顺序可以改变。
该方法开始于块610，其中控制电子设备130检测GNSS跟踪的丢失。当GNSS传感器134检测到GNSS信号的丢失时，当控制器132检测到GNSS传感器134故障或GNSS跟踪的一些其他故障时，这可能发生。响应于此，控制器132可以切换到基于相机的导航。
在块620，控制器132可以控制相机136捕获至少一个位置图像，诸如图像360。位置图像可以在任何方向上拍摄。然而，通常至少一个位置图像将拍摄到UAV 100正下方的区域。在许多情况下(并且取决于当地法规)，UAV100将在地面上方30m到150m之间飞行。在这个范围内，相机136可以捕获城市或郊区的几个街区(block)的图像(如图像360所示)。在许多情况下，可以从在这些高度拍摄的位置图像收集的信息量将足以估计UAV 100的位置。
在块630，控制器132可以确定UAV 100的估计位置。控制器132可以分析位置图像的特征(诸如道路、交叉路口、建筑物、田野、水体、森林等)。控制器132然后可以将这些特征与存储在控制电子设备130中的地图400中发现的特征进行比较。当确定估计位置时，控制器132还可以使用当前目的地、飞行路线和最后跟踪到的GNSS位置。估计UAV 100的位置可以包括从位置图像中提取感兴趣特征(features of interest)，将感兴趣特征与地图上的特征进行匹配，并且基于匹配的感兴趣特征来估计UAV 100的位置。建筑物366、交叉路口364和道路362可以是感兴趣特征的示例。
在一些区域(诸如农村区域、森林茂密的区域等)中，对于UAV 100来说，基于在较低高度拍摄的位置图像来确定估计位置可能更加困难。因此，控制器132可以控制推进单元(包括垂直推进单元114和水平推进单元112)以使UAV 100上升到更高的高度或移动到可以拍摄到更宽或更独特的区域的位置图像的另一位置。高度的改变可以是不必要的。然而，如果在UAV的当前位置不能确定估计位置，控制器132可以控制UAV 100的推进单元114、112来改变UAV的高度或将UAV移动到另一位置，以便捕获新的位置图像。控制器132还可以基于可用信息确定几个可能的估计位置。
在块640，控制器132可以确定到目的地的路线。目的地可以是在丢失GNSS跟踪之前UAV 100正在前往的目的地，或者可以是新的目的地(诸如UAV 100出发的地方、路线点或其他目的地)。目的地可以基于UAV 100的估计位置来确定。
可以使用三维地图400(或四维地图)来确定路线。具体地，可以使用分配给三维地图400的二维层402、404、406的不同区段472、474、476的跟踪参数来确定路线。当使用四维地图时，可以基于时间、日期、天气或其他因素来选择三维地图(包括在四维地图中)。也可以使用其他因素来确定路线，包括：到目的地的路线的长度、UAV 100剩余的电(或燃料)量、一天中的时间、当地法规等。在一些实施例中，路线可以遵循道路到达目的地。
对于UAV 100来说，重要的是当它遵循路线时能够跟踪它的位置。例如，如果UAV100在军事基地或其他限制区域上方行进，可能会有严重的后果。跟踪参数指示在特定高度的特定区域使用相机136跟踪UAV 100的位置的容易程度。因此，通过使用跟踪参数来规划路线，UAV 100可以被保持在可以使用相机136跟踪UAV 100的位置的区域，从而避免UAV100丢失。因此，在确定路线时使用跟踪参数提供了技术益处，包括确保在路线期间的任何点GNSS跟踪故障时，使用相机136可靠地确定位置将作为应急导航选项可用。
跟踪参数可以以多种方式用于规划路线。例如，路线可以仅包括地图400的跟踪参数满足特定阈值的区段472、474、476。重申，路线可以不通过地图400的具有不满足阈值的跟踪参数的区段472、474、476。在跟踪参数是0-10之间的数字的示例中，阈值可以是3，使得路线将不包括飞过跟踪参数为3或更低的任何区段472、474、476。此外，路线可被确定为具有少于阈值数量的不满足阈值的区段472、474、476。
作为另一示例，可以使用沿着路线的平均跟踪参数来确定路线。例如，可以确定平均跟踪阈值超过阈值的到目的地的最短路线。作为另一示例，路线可以仅包括阈值数量的跟踪阈值低于阈值的区段472、474、476。例如，路线可以仅包括5％的区段472、474、476跟踪参数低于4。
在控制器132已经确定几个潜在的估计位置的情况下，所确定的路线可以包括具有非常高的跟踪参数的一个或多个区段472、474、476，以便更好地确定UAV 100的估计位置。例如，如果存在两个潜在的估计位置，并且它们中的每一个都具有向东的高跟踪参数的区段472、474、476，则路线可以从UAV 100向东行进开始，以确定UAV 100的更好的估计位置。
跟踪参数特定于二维层402、404、406的一个区段472、474、476，并且二维层402、404、406特定于特定高度。因此，路线可以包括高度的改变，以便以更高的跟踪参数行进通过区段472、474、476。路线还可以包括出于其他原因的高度改变，诸如当地法规要求UAV在特定高度范围内飞行。
在块650，控制器132控制推进单元112、114，以使UAV遵循路线。在块660，当UAV100遵循路线时，控制器132控制相机136捕获确认图像。像位置图像一样，确认图像可以用朝向任何方向的相机136来捕获。然而，通常至少一个确认图像将包括UAV 100正下方的区域。控制器132可以以与位置图像相同的方式处理确认图像。图像360也可以是确认图像。
在块670，控制器132使用确认图像来识别过渡位置(transit location)并确认过渡位置在路线上。控制器132可以使用确认图像来跟踪路线上的进展，并且还确认初始估计位置是正确的。如果控制器132不能够确认过渡位置在路线上，则控制器132可以返回到块630并确定新的估计位置。
当UAV 100在空中时，块660和670可以不断重复。重申，控制器132可以使用相机136来持续监控UAV 100沿着路线的进展。即使当UAV 100利用GNSS跟踪行进时，控制器132和相机136也可以执行这些功能。
可替代地，流程图600的操作可以基于来自基站255的指令来执行。例如，在块610，基站255可以与UAV 100通信，以接收指示GNSS跟踪丢失的信号。在块620，基站255可以发送指令给UAV 100的相机136来捕获位置图像。在块630，UAV 100可以将位置图像发送给基站255，并且基站255可以确定UAV 100的估计位置。在块640，基站255然后可以确定到目的地的路线。在块650，基站255可以向UAV 100发送路线，并且还向UAV 100发送方向以控制推进系统遵循该路线。在块660，基站255还可以发送指令，以使相机136捕获确认图像，并将确认图像发送到基站255。在块670，基站可以跟踪UAV 100的进展，并确认过渡位置在路线上。
上述技术的许多实施例可以采取计算机可执行或控制器可执行指令的形式，包括存储在非暂时性计算机可读介质上并由可编程计算机或控制器执行的例程。相关领域的技术人员将会理解，该技术可以在除了上面示出和描述的那些之外的计算机/控制器系统上实践。该技术可以体现在被专门编程、配置或构造成执行一个或多个上述计算机可执行指令的专用计算机、专用集成电路(ASIC)、控制器或数据处理器中。在许多实施例中，本文描述的任何逻辑或算法可以用软件或硬件，或者软件和硬件的组合来实施。
根据前述内容，将理解的是，为了说明的目的，本文已经描述了技术的特定实施例，但是在不脱离本公开的情况下，可以进行各种修改。此外，虽然在那些实施例的上下文中已经描述了与特定实施例相关联的各种优点和特征，但是其他实施例也可以展示这样的优点和/或特征，并且不是所有实施例都必须展示这样的优点和/或特征以落入本技术的范围内。因此，本公开可以涵盖本文没有明确示出或描述的其他实施例。

Claims (20)

1.一种无人驾驶飞行器(UAV)，包括：
推进系统；
全球导航卫星系统(GNSS)传感器；
相机；和
控制器，包括逻辑，所述逻辑响应于所述控制器的执行，使得所述UAV：
响应于检测到通过所述GNSS传感器的跟踪的丢失：
基于由所述相机捕获的位置图像来确定所述UAV在地图上的估计位置；
使用嵌入在所述地图中的跟踪参数来确定到目的地的路线，其中，所述地图被划分成多个区段，并且所述跟踪参数指示关于所述区段中的每一个的使用由所述相机捕获的图像来确定所述UAV的位置的容易程度；和
控制所述推进系统，以使得所述UAV遵循所述到目的地的路线。
2.根据权利要求1所述的UAV，其中，基于由所述相机捕获的图像来确定所述UAV在地图上的估计位置包括：
基于由所述相机捕获的图像和来自所述GNSS传感器的所述UAV的最后跟踪到的位置来确定所述UAV在地图上的估计位置。
3.根据权利要求1所述的UAV，其中，所述逻辑还使得所述UAV响应于检测到通过所述GNSS传感器的跟踪的丢失，控制所述推进系统以使得所述UAV在所述相机捕获到所述位置图像之前上升。
4.根据权利要求1所述的UAV，其中，所述跟踪参数是数值。
5.根据权利要求4所述的UAV，其中，使用嵌入在所述地图中的跟踪参数来确定所述到目的地的路线包括：确定所述路线，使得所述路线不通过所述地图的具有不满足阈值的跟踪参数的区段。
6.根据权利要求4所述的UAV，其中，所述控制器还包括用于以下的逻辑：基于所述路线中所述地图的区段的平均跟踪参数来确定所述路线。
7.根据权利要求4所述的UAV，其中，所述控制器还包括用于以下的逻辑：确定所述路线，以使所述UAV在遵循所述路线时，行进通过少于阈值数量的与所述地图的具有不满足阈值的跟踪参数的区段相关的区域。
8.根据权利要求1所述的UAV，其中，所述地图是三维地图，其中，所述三维地图包括多个二维图层，并且其中，所述三维地图的不同二维图层对应于所述UAV的不同高度。
9.根据权利要求8所述的UAV，其中，确定所述路线包括确定包括所述UAV的高度的改变的路线。
10.根据权利要求1所述的UAV，其中，基于由所述相机捕获的位置图像来确定所述UAV在地图上的估计位置包括：
从所述位置图像中提取感兴趣特征；
将所述感兴趣特征与所述地图上的特征进行匹配；和
基于所匹配的感兴趣特征来估计所述UAV的位置。
11.一种方法，包括：
获得区域的至少一个图像；
确定所述至少一个图像中的特征的数量和特征独特性；
生成所述区域的地图；
将所述地图划分成地图区段；和
基于所述至少一个图像中的特征的数量和特征独特性，向所述地图区段中的每一个分配跟踪参数。
12.根据权利要求11所述的方法，其中，所述地图区段形成网格。
13.根据权利要求11所述的方法，其中，所述地图是三维地图，其中多个二维层一起形成所述三维地图，其中，所述二维层中的每一个被划分成地图区段，并且其中，所述地图的每个二维层对应于不同高度的UAV。
14.根据权利要求13所述的方法，其中，所述地图的每个二维层具有不同大小的区段，并且其中，为所述地图的每个二维层确定所述至少一个图像中的特征的数量和特征独特性。
15.根据权利要求11所述的方法，其中，所述地图的每个区段的跟踪参数是数值。
16.根据权利要求11所述的方法，还包括识别所述至少一个图像中的临时特征和永久特征，其中，确定所述至少一个图像中的特征的数量和特征独特性是在所述永久特征上执行的。
17.根据权利要求11所述的方法，其中，所述至少一个图像中的至少一个是从第一高度拍摄的，并且所述至少一个图像中的另一个是在第二高度拍摄的。
18.根据权利要求11所述的方法，还包括将所述地图发送至用于自主导航的无人驾驶飞行器(UAV)。
19.根据权利要求11所述的方法，其中，所述特征包括道路、交叉路口和建筑物。
20.一种其上存储有计算机可执行指令的非暂时性计算机可读介质，响应于计算机的执行，所述指令使得所述计算机：
获得区域的至少一个图像；
确定所述至少一个图像中的特征的数量和特征独特性；
生成所述区域的地图；
将所述地图划分成地图区段；和
基于所述至少一个图像中的特征的数量和特征独特性，向所述地图区段中的每一个分配跟踪参数。
CN202080079526.7A 2019-11-20 2020-09-08 包括用于在gnss故障期间为飞行器确定路线的数据的地图 Pending CN114867988A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/689,872 US11900820B2 (en) 2019-11-20 2019-11-20 Map including data for routing aerial vehicles during GNSS failure
US16/689,872 2019-11-20
PCT/US2020/049664 WO2021101618A1 (en) 2019-11-20 2020-09-08 Map including data for routing aerial vehicles during gnss failure

Publications (1)

Publication Number Publication Date
CN114867988A true CN114867988A (zh) 2022-08-05

Family

ID=72562017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080079526.7A Pending CN114867988A (zh) 2019-11-20 2020-09-08 包括用于在gnss故障期间为飞行器确定路线的数据的地图

Country Status (5)

Country Link
US (2) US11900820B2 (zh)
EP (1) EP4042105B1 (zh)
CN (1) CN114867988A (zh)
AU (1) AU2020388371B2 (zh)
WO (1) WO2021101618A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116257082A (zh) * 2022-11-03 2023-06-13 天津大学 多无人机分布式主动协同探测方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037328B1 (en) * 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US20220051572A1 (en) * 2020-08-12 2022-02-17 InSitu, Inc., a subsidiary of the Boeing Company Aircraft guidance with a multi-vehicle network
FR3113731B1 (fr) * 2020-09-03 2022-09-02 Airbus Helicopters Procédé et système d’aide à la navigation d’un aéronef, aéronef associé.

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3541071A1 (en) * 2013-08-02 2019-09-18 Xactware Solutions Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
CA3067177A1 (en) 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
AU2016262119A1 (en) 2015-05-12 2017-11-30 Precision Autonomy Pty Ltd Systems and methods of unmanned vehicle control and monitoring
US9818303B2 (en) 2015-06-16 2017-11-14 Verizon Patent And Licensing Inc. Dynamic navigation of UAVs using three dimensional network coverage information
EP3835912A1 (en) * 2015-12-09 2021-06-16 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
US10054445B2 (en) * 2016-05-16 2018-08-21 Northrop Grumman Systems Corporation Vision-aided aerial navigation
US10387727B2 (en) * 2017-09-13 2019-08-20 Wing Aviation Llc Backup navigation system for unmanned aerial vehicles
US10769466B2 (en) * 2018-02-20 2020-09-08 International Business Machines Corporation Precision aware drone-based object mapping based on spatial pattern recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116257082A (zh) * 2022-11-03 2023-06-13 天津大学 多无人机分布式主动协同探测方法
CN116257082B (zh) * 2022-11-03 2023-09-22 天津大学 多无人机分布式主动协同探测方法

Also Published As

Publication number Publication date
AU2020388371A1 (en) 2022-06-02
AU2020388371B2 (en) 2023-07-13
US20210150917A1 (en) 2021-05-20
WO2021101618A1 (en) 2021-05-27
US11900820B2 (en) 2024-02-13
EP4042105B1 (en) 2024-03-27
EP4042105A1 (en) 2022-08-17
US20240177619A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
US11868131B2 (en) Flight path determination
CN111492326B (zh) 用于无人飞行器的基于图像的定位以及相关系统和方法
AU2020388371B2 (en) Map including data for routing aerial vehicles during GNSS failure
CN111316066B (zh) 用于无人飞行器的备用导航系统
CN110062919B (zh) 递送车辆的放下地点规划
US11046430B1 (en) Intelligent trajectory adviser system for unmanned aerial vehicles in complex environments
CN110888453A (zh) 一种基于LiDAR数据构建三维实景的无人机自主飞行方法
EP2818957A1 (en) System and method for UAV landing
KR20170111921A (ko) 무인 비행체 제어 방법 및 시스템
US10921825B2 (en) System and method for perceptive navigation of automated vehicles
KR20170101776A (ko) 무인 비행체 항로 구축 방법 및 시스템
KR20170126637A (ko) 무인 비행체 항로 구축 방법 및 시스템
EP3799618B1 (en) Method of navigating a vehicle and system thereof
US20190066522A1 (en) Controlling Landings of an Aerial Robotic Vehicle Using Three-Dimensional Terrain Maps Generated Using Visual-Inertial Odometry
EP3989034A1 (en) Automatic safe-landing-site selection for unmanned aerial systems
TWI763105B (zh) 無人載具之智慧群飛路徑規劃方法及系統
WO2024097457A2 (en) Systems and methods for active-light based precision localization of aircrafts in gps-denied environments
Um et al. Valuing Cyber-Physical Bridging Intensity of Drone
CN118258413A (zh) 用于无人飞行器的备用导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination