CN115806053A - 在稠密深度和着陆质量热图中定位安全区的系统和方法 - Google Patents
在稠密深度和着陆质量热图中定位安全区的系统和方法 Download PDFInfo
- Publication number
- CN115806053A CN115806053A CN202211048191.XA CN202211048191A CN115806053A CN 115806053 A CN115806053 A CN 115806053A CN 202211048191 A CN202211048191 A CN 202211048191A CN 115806053 A CN115806053 A CN 115806053A
- Authority
- CN
- China
- Prior art keywords
- landing
- landing zone
- map
- module
- operatively coupled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012805 post-processing Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0056—Navigation or guidance aids for a single aircraft in an emergency situation, e.g. hijacking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0086—Surveillance aids for monitoring terrain
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
- G08G5/025—Navigation or guidance aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于定位安全着陆区的系统包括位于飞行载具上的至少一个图像捕获设备以及耦接到该图像捕获设备的机载处理器。该处理器操作以执行指令以便执行包括以下的方法：从该图像捕获设备接收该飞行载具下方的景观的两个或更多个重叠图像；基于这些重叠图像生成该景观的着陆区热图；基于该着陆区热图识别该景观的具有潜在着陆区和障碍物的一个或多个区域；以及使用该景观的该一个或多个区域的距离变换确定安全着陆区的位置。该安全着陆区的该位置在这些潜在着陆区中的与这些障碍物相距最远的一个潜在着陆区内的区域中。然后将该安全着陆区的该位置存储在数据库中。
Description
背景技术
将自主特征添加到飞行载具中带来处理非正常或紧急状况的挑战。在任务期间，如果自主飞行载具遭遇故障或紧急情况，诸如动力不足或严重故障，则最佳行动方案是着陆在最近的安全位置处或尝试在将生命和财产损失降到最低程度的区域中紧急着陆。通常，这些位置不是预先确定的，因为紧急情况的性质可能不允许载具使用附近的机场或直升飞机场/垂直升降机场。在此类状况下，人类飞行员将非常适合寻找可用作紧急跑道或紧急直升飞机场/垂直升降机场的区域；例如，宽阔的高速公路或平坦的开阔场地。对于自主飞行载具，这种情况是一个困难的挑战，因为载具必须具有足够的能力来感知其环境并确定安全着陆区，然后进行着陆。
在任何地形/区域中确定紧急着陆区需要关于对场景的深度和语义理解的实时信息，尤其是以便在进行着陆之前找到将需要避开的动态对象。关于地形和语义诸如建筑物、高速公路等的静态信息可通过预先记录的数据库获得。虽然动态信息可通过各种传感器诸如载具上的光探测和测距(LiDAR)、雷达和相机设备获得，但这种信息非常原始并且需要各种感知算法来了解输入数据并找到安全区域以进行着陆。
发明内容
提供了用于定位安全着陆区的系统和方法。该系统包括：至少一个图像捕获设备，该至少一个图像捕获设备位于飞行载具上；以及至少一个处理器，该至少一个处理器位于该飞行载具上并且操作地耦接到该图像捕获设备。该处理器操作以执行指令以便执行包括以下的方法：从该图像捕获设备接收该飞行载具下方的景观的两个或更多个重叠图像；基于这些重叠图像生成该景观的着陆区热图；基于该着陆区热图识别该景观的具有一个或多个潜在着陆区和障碍物的一个或多个区域；以及使用该景观的该一个或多个区域的距离变换确定安全着陆区的位置。该安全着陆区的该位置在这些潜在着陆区中的与这些障碍物相距最远的一个潜在着陆区内的区域中。然后将该安全着陆区的该位置存储在数据库中。
附图说明
通过参考附图的以下描述，本发明的特征对于本领域的技术人员将变得显而易见。应当理解，附图仅示出了典型的实施方案，并且因此不应认为是限制本发明的范围，将通过使用附图以附加特征和细节来描述本发明，其中：
图1是根据一个实施方案的用于向飞行载具提供安全着陆区的定位的系统的框图；
图2是根据示例性实施方案的用于飞行载具的机载系统的框图，该机载系统可被实现为提供安全着陆区的定位；
图3是用于向飞行载具提供安全着陆区的定位的示例性方法的流程图；
图4是根据一个实施方案的用于飞行载具的机载系统架构的框图，该机载系统架构操作以提供安全着陆区的定位；
图5A是用于后处理的示例性方法的流程图，其示出执行安全着陆区识别的方式的各个方面；和
图5B是用于引导处理的示例性方法的流程图，该引导处理与图5A的后处理方法结合使用。
具体实施方式
在以下具体实施方式中，对实施方案进行了充分的描述，以使本领域的技术人员能够实践本发明。应当理解，在不脱离本发明的范围的情况下可利用其他实施方案。因此，以下详细描述不应被视为具有限制意义。
本文描述了用于使用稠密深度和着陆质量热图定位安全着陆区的系统和方法。本发明方法提供了使用若干算法更加可靠地为自主飞行载具找到安全着陆区。
当载具飞越不在算法训练集中的地形数据时，该系统允许实时确定潜在紧急着陆区。在不可能到达预先确定的着陆区时的紧急情况下，可查询这些着陆区并将其用于着陆。
虽然存在各种确定相机场景的深度和语义信息的方法，但评估场景的着陆质量的方法仅产生像素级热图。着陆区或用于着陆引导的目标的确定需要利用计算几何算法和形态学运算进行进一步分析。本发明系统利用一个或多个传感器和处理单元，这些处理单元可托管必要的处理算法并且与引导和控制系统交互以进行安全着陆。
本发明方法旨在通过使用若干感知管道(诸如语义分割和深度估计)来实时解决识别紧急着陆区域的问题，该紧急着陆区域然后进一步被处理以生成着陆区质量图。该质量图或热图然后通过基于计算几何结构的算法以确定“安全”区/区域。这些区域然后进一步被定位在三维(3D)坐标系中，以便进行引导。本发明系统通过使用相机和惯性导航源来实现这一点。
本发明方法适用于在无人驾驶飞行系统和城市空中交通(UAM)服务的自主飞行操作中提供紧急安全特征。这允许单个飞行员操作和完全自主操作被更广泛地接受，因为添加了紧急着陆的安全特征。随着UAM行业的规模扩大并且城市空域中的载具越来越多，各种服务提供商然后可节省训练飞行员和给飞行员支付薪水的成本。本发明系统中的特征允许安全地且可靠地处置非正常状况，尤其是紧急状况。由于物流和监管约束，在不具有允许载具实时确定安全着陆区并提供自主着陆引导以避免即将发生的坠毁或事故的紧急着陆特征的情况下，难以将UAM操作扩展到视线范围外。
此外，本发明系统和方法的特征可被实现为在各种无人驾驶飞行系统中使用，这些无人驾驶飞行系统可在紧急情况下使用这些特征。
在一个方面，本发明系统利用允许更可靠地确定安全着陆区的后处理算法。后处理算法对像素和3D体素使用形态学运算和计算几何，以确定与由上游感知管道检测到的障碍物相距最远的位置。这些运算尝试隔离实体对象或障碍物块，并且计算开放空间像素/体素距这些障碍物的距离。开放空间由编码在描绘着陆质量的像素热图中的几何和语义信息表征。然后使用导航数据定位所检测安全区并将其存储在机载数据库中。在紧急状况的情况下，可基于紧急状况的性质诸如强风/阵风、荷电状态或系统/子系统故障实时查询数据库。
机载系统可确定参数诸如着陆区的预期质量(例如，粗糙度/平坦度、斜率、大小和距当前位置的距离)，以找到最佳可能的着陆位置。载具上的自动领航仪然后简单地将载具引导到如按照所规定法规确定的着陆位置。
如下并且参考附图描述了本发明系统和方法的进一步细节。
图1是根据一个实施方案的用于向飞行载具102提供安全着陆区的定位的系统100的框图。飞行载具102可以是采用视觉导航系统的无人驾驶飞行载具(UAV)、UAM载具、无人驾驶飞行器系统(UAS)等。飞行载具102在其上安装有至少一个图像捕获设备104，诸如机器视觉相机，该至少一个图像捕获设备操作以捕获飞行载具102横穿越过的区域的图像。飞行载具102包括操作地耦接到图像捕获设备104的至少一个处理器106。
处理器106操作以执行用于定位用于飞行载具102的安全着陆区的方法110。方法110通常包括在下文进一步详细描述的以下步骤。方法110开始于从图像捕获设备104接收描绘飞行载具102下方的景观的两个或更多个重叠图像(框112)。方法110然后基于两个或更多个重叠图像生成景观的热图(框114)。方法110基于热图识别景观的具有一个或多个潜在着陆区和障碍物的一个或多个区域(框116)。方法110然后使用景观的一个或多个区域的距离图变换确定安全着陆区的位置(框118)。安全着陆区的位置在这些潜在着陆区中的与这些障碍物相距最远的一个潜在着陆区内的区域中。最后，方法110将安全着陆区的位置存储在数据库中(框120)。然后，安全着陆区的位置可根据需要用于飞行载具102的紧急着陆。
图2是根据示例性实施方案的机载系统200的框图，该机载系统可被实现为向飞行载具202提供安全着陆区的定位，该飞行载具可以是UAV、UAM、UAS等。机载系统200包括地面实况导航源，诸如机载全球导航卫星系统(GNSS)/惯性导航系统(INS)导航器210。在一些实施方案中，GNSS/INS导航器210可与其他另选系统诸如相机、LiDAR或基于雷达的位置、速度和姿态估计系统融合。
机载机器视觉相机212操作地耦接到GNSS/INS导航器210，并且操作以捕获来自飞行载具202的实时图像。机载处理器214操作地耦接到GNSS/INS导航器210和机器视觉相机212。处理器214被配置为托管神经网络和机器视觉算法，并且与其他机载外围系统接口连接。
自动领航仪216操作地耦接到处理器214，并且被配置为收听引导命令并控制飞行载具202。自动领航仪216可通过通用异步接收器/发射器(UART)耦接到处理器214，该UART操作以接收和发射串行数据。精确时间协议(PTP)交换机和时钟218通过以太网连接操作地耦接到GNSS/INS导航器210、机器视觉相机212和处理器214。PTP交换机提供所有机载系统之间的时间同步，这是确保所检测着陆区和导航源之间的一致性所需要的。
图3是用于向飞行载具提供安全着陆区的定位的示例性方法300的流程图，该飞行载具诸如UAV、UAM、UAS等。飞行载在其上安装有至少一个机器视觉相机，该至少一个机器视觉相机操作以实时捕获添加到图像缓冲区306的一组图像304。该组图像304包括飞行载具下方的景观的重叠图像。该组图像304被馈送到托管在机载处理器中的深度神经网络310。深度神经网络310被配置为计算并生成着陆评分/区热图314。热图314在316处被处理以生成二元掩模318，该二元掩模用着陆区块320和其他对象322标记以供在324处进行后处理。然后使用二元掩模318的距离图变换计算最安全的着陆地点。这产生了着陆区距离图328，该着陆区距离图示出用于着陆的最安全点330。然后基于着陆区距离图328的最安全点330检测并选择着陆地点332。着陆地点332在区选择图像334中示出。然后将着陆地点332的位置存储在数据库340中，以防紧急情况。
图4是根据一个实施方案的用于飞行载具的机载系统架构400的框图，该机载系统架构操作以提供安全着陆区的定位。系统架构400包括与相机驱动器412一起操作的相机410，该相机驱动器被配置为将来自相机410的图像信息416发送到跟踪模型418。跟踪模型418操作地耦接到映射模型420和多传感器位姿融合模块430。跟踪模型418向映射模型420提供图像和位姿信息，该映射模型继而将深度信息提供回给跟踪模型418。映射模型420生成像素级深度图和着陆质量像素图。着陆质量像素图将深度图信息与其他语义数据结合。
后处理模块440操作地耦接到映射模型420。后处理模块440被配置为基于来自映射模型420的信息、包括一个或多个着陆质量像素图计算潜在着陆区域。多传感器位姿融合模块430被配置为从跟踪模型418接收位姿信息(位姿SFM)，并且估计包括关于六自由度(位姿：6DOF)(包括3D旋转和3D平移)的数据的载具状态数据。多传感器位姿融合模块430被配置为将载具状态数据(位姿NED/LLA)输出到后处理模块440。
着陆区域数据库444操作地耦接到后处理模块440和多传感器位姿融合模块430。着陆区跟踪器448操作地耦接到后处理模块440。在操作期间，在后处理模块440中使用相机投影矩阵和深度图在3D中投影一个或多个潜在着陆区域。潜在着陆区域然后可被存储在着陆区域数据库444中以用于未来紧急情况，或者可与着陆区跟踪器448一起实时使用。
引导模块450操作地耦接到着陆区域数据库444和着陆区跟踪器448。引导模块450操作以向着陆区域数据库444发送对着陆区域候选者的请求。最佳着陆区域候选者然后从着陆区域数据库444被发送到引导模块450。
系统架构400还包括与自动领航仪驱动器462一起操作的自动领航仪460，该自动领航仪驱动器操作地耦接到多传感器位姿融合模块430。自动领航仪460被配置为通过自动领航仪驱动器462从引导模块450接收引导命令、包括着陆目标信息。自动领航仪460被配置为向监管程序模块470发送各种命令(AP ARM、AP模式、紧急信号)，该监管程序模块操作以向引导模块450发送启动着陆命令。自动领航仪460还被配置为向多传感器位姿融合模块430发送位姿命令(位姿EKF)。
如图4所示，相机410和自动领航仪460在X-Y-Z坐标系中定向在飞行载具的主体上，使得相机410的光轴沿Z方向指向。
图5A是示例性后处理方法500的流程图，其示出执行安全着陆区识别的方式的各个方面。图5B是示例性引导处理方法550的流程图，该示例性引导处理方法可与图5A的后处理方法500结合使用。
在后处理方法500中，将由安装在载具上的相机捕获的一组图像504发送到图像序列缓冲区506。将关于图像的信息发送到映射模型510，该映射模型被配置为生成着陆质量图514，该着陆质量图是着陆区质量的像素级热图。该热图由神经网络生成，该神经网络组合深度和语义信息以针对热图的图像中的每个像素生成着陆区质量。
后处理方法500然后对来自映射模型510的热图执行阈值处理(框522)，以基于阈限值生成二元掩模524。在生成二元掩模524之前，阈值处理可提供模糊处理作为预处理步骤。基于“安全”着陆质量裕度选择阈限值。
接着，后处理方法500对二元掩模524执行连通分量标记(CCL)(框526)以产生具有CCL的二元掩模528。二元掩模包含具有良好着陆质量的像素和具有不良着陆质量的像素。使用连通分量标记策略对具有不良着陆质量的像素进行聚类。这些聚类像素称为块。
后处理方法500然后执行距离变换(框530)，以基于具有CCL的二元掩模产生着陆区距离图532。具有块(不良着陆质量像素)和背景(良好着陆质量像素)的图像诸如通过使用欧几里得距离变换函数或用于距离变换的其他标准方法来进行变换。距离变换将距离值从最近的块像素分配到每个背景像素。
然后，后处理方法500基于由距离变换产生的着陆区距离图选择着陆目标像素和置信度半径(框540)。着陆区距离图上具有最大距离的像素被选择为着陆目标像素，并且距离值是着陆区域的以像素为单位的置信度半径。着陆目标像素和置信度半径的示例被示出为区选择图像544中的着陆地点542。着陆目标像素如关于图5B所述进一步被处理以确定着陆地点位置。
如图5B所示，引导处理方法550结合后处理方法500执行。如上所述，将由载具上的相机捕获的图像发送到图像序列缓冲区506。将关于图像的信息从图像序列缓冲区506发送到深度模块552，该深度模块包括映射模型510(图5A)和跟踪模型554。
如上所述，映射模型510被配置为生成着陆质量图514，该着陆质量图是着陆区质量的像素级热图(深度图)。如上文针对图5A所述基于来自映射模型510的信息执行着陆质量图后处理(框520)(阈值处理、连通分量标记和距离变换)。这产生着陆目标像素和置信度半径(框540)，诸如区选择图像544中的着陆地点542。
跟踪模型554被配置为向映射模型510提供图像和位姿信息，该映射模型继而将深度信息提供回给跟踪模型514。多传感器位姿融合单元560被配置为从跟踪模型554接收位姿信息。多传感器位姿融合单元560被配置为估计载具状态数据。
引导处理方法550从着陆质量图514和诸如区选择图像544中的着陆目标像素生成着陆区三维(3D)投影(框564)。例如，使用相机投影模型(诸如针孔)和由神经网络针对该像素估计的深度将着陆目标像素投影到以相机为中心的3D坐标系上，以生成3D着陆目标。然后，使用由多传感器位姿融合单元560估计的载具状态数据将3D着陆目标变换为全局坐标系(框568)，以产生用于引导的目标位置(框572)。
可以使用软件、固件、硬件或它们的适当组合来实现本文所述方法和系统中所用的处理单元和/或其他计算设备。处理单元和/或其他计算设备可由专门设计的专用集成电路(ASIC)或现场可编程门阵列(FGPA)或图形处理单元(GPU)补充或并入其中。在一些具体实施中，处理器单元和/或其他计算设备可通过附加的收发器与导航系统外部的其他计算设备进行通信，诸如与管理系统相关联的计算设备或与由管理系统控制的其他子系统相关联的计算设备。处理单元和/或其他计算设备还可包括软件程序、固件或其他计算机可读指令或与它们一起运行，以用于执行在本文所述的方法和系统中所用的各种处理任务、计算和控制功能。
本文所述的方法可以通过由至少一个处理器或处理单元执行的计算机可执行指令(诸如程序模块或组件)来实现。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、数据组件、数据结构、算法等。
用于执行本文所述方法的操作中所用的其他数据的各种过程任务、计算和生成的指令可以在软件、固件或其他计算机可读指令中实现。这些指令通常存储在适当的计算机程序产品上，这些计算机程序产品包括用于存储计算机可读指令或数据结构的计算机可读介质。此类计算机可读介质可以是可以由通用或专用计算机或处理器或任何可编程逻辑设备访问的可用介质。
合适的计算机可读存储介质可以包括例如非易失性存储器设备，包括半导体存储器设备，诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、或闪存设备；磁盘，诸如内部硬盘和可移动磁盘；光盘存储设备，诸如光盘(CD)、数字通用光盘(DVD)、蓝光盘；或可以用于以计算机可以执行指令或数据结构的形式携带或存储所期望的程序代码的任何其他介质。
示例性实施方案
实施例1包括一种系统，包括：至少一个图像捕获设备，该至少一个图像捕获设备位于飞行载具上；以及至少一个处理器，该至少一个处理器位于该飞行载具上并且操作地耦接到该至少一个图像捕获设备，该至少一个处理器操作以执行指令以便执行包括以下的方法：从图像捕获设备接收飞行载具下方的景观的两个或更多个重叠图像；基于这些重叠图像生成该景观的着陆区热图；基于该着陆区热图识别该景观的具有一个或多个潜在着陆区和障碍物的一个或多个区域；使用该景观的该一个或多个区域的距离变换确定安全着陆区的位置，其中该安全着陆区的该位置在这些潜在着陆区中的与这些障碍物相距最远的一个潜在着陆区内的区域中；以及将该安全着陆区的该位置存储在数据库中。
实施例2包括根据实施例1所述的系统，其中该至少一个图像捕获设备包括机器视觉相机，该机器视觉相机被配置为实时捕获重叠图像的图像缓冲区。
实施例3包括根据实施例2所述的系统，其中该至少一个处理器被配置为托管深度神经网络和一个或多个机器视觉算法，其中该深度神经网络被配置为计算并生成着陆区热图。
实施例4包括根据实施例1-3中任一项所述的系统，其中该着陆区热图被处理以基于阈限值生成二元掩模，其中该二元掩模被标记以识别该景观的具有该一个或多个潜在着陆区和障碍物的该一个或多个区域。
实施例5包括根据实施例4所述的系统，其中所标记的二元掩模使用距离变换进行处理以产生着陆区距离图，该着陆区距离图示出该安全着陆区的该位置、着陆目标像素和置信度半径。
实施例6包括根据实施例1-5中任一项所述的系统，还包括：地面实况导航源，该地面实况导航源操作地耦接到该至少一个图像捕获设备和该至少一个处理器；以及自动领航仪，该自动领航仪操作地耦接到该至少一个处理器，该自动领航仪被配置为接收引导命令并且控制飞行载具。
实施例7包括根据实施例6所述的系统，其中该地面实况导航源包括机载全球导航卫星系统(GNSS)/惯性导航系统(INS)导航器。
实施例8包括根据实施例1-7中任一项所述的系统，其中该飞行载具包括无人驾驶飞行载具(UAV)、城市空中交通(UAM)载具或无人驾驶飞行器系统(UAS)。
实施例9包括一种方法，包括：将基于由安装在飞行载具上的相机捕获的一组重叠图像的图像信息接收在图像序列缓冲区中；将该图像信息发送到处理器，该处理器包括生成用于飞行载具的着陆质量图的映射模型；基于阈限值生成该着陆质量图的二元掩模；对该二元掩模执行连通分量标记(CCL)以产生经标记二元掩模；对该经标记二元掩模执行距离变换以产生着陆区距离图；以及基于该着陆区距离图选择着陆目标像素和置信度半径。
实施例10包括根据实施例9所述的方法，其中该着陆质量图包括着陆区质量的像素级热图，该像素级热图由处理器中的神经网络生成，该神经网络组合深度和语义信息以针对该热图的图像中的每个像素生成着陆区质量。
实施例11包括根据实施例9-10中任一项所述的方法，其中在基于阈限值生成二元掩模之前，对着陆质量图进行模糊处理作为预处理步骤。
实施例12包括根据实施例9-11中任一项所述的方法，其中该经标记二元掩模包括具有可接受着陆质量的背景像素和具有不可接受着陆质量的聚类像素；其中具有不可接受着陆质量的这些聚类像素通过该连通分量标记聚类以产生块。
实施例13包括根据实施例9-12中任一项所述的方法，其中该经标记二元掩模的该距离变换是欧几里得距离变换。
实施例14包括根据实施例9-13中任一项所述的方法，其中该距离变换将距离值从最近的聚类像素分配到每个背景像素，其中具有最大距离值的该背景像素被选择为着陆目标像素，并且该最大距离值是着陆区域的以像素为单位的该置信度半径。
实施例15包括根据实施例9-14中任一项所述的方法，还包括：将图像信息发送到处理器中的跟踪模型，该跟踪模型操作地耦接到映射模型；将来自跟踪模型的位姿信息发送到多传感器位姿融合单元，该多传感器位姿融合单元估计载具状态数据；从着陆质量图和着陆目标像素生成着陆区三维(3D)投影；使用由多传感器位姿融合单元估计的该载具状态数据将该着陆区3D投影变换为全局坐标系，以产生用于飞行载具的引导的着陆目标位置；以及将该着陆目标位置存储在数据库中。
实施例16包括根据实施方案15所述的方法，其中该着陆区3D投影通过使用相机投影模型和由处理器中的神经网络针对着陆目标像素估计的深度将着陆目标像素投影到以相机为中心的3D坐标系上来生成。
实施例17包括根据实施例9-16中任一项所述的系统，其中该飞行载具包括无人驾驶飞行载具(UAV)、城市空中交通(UAM)载具或无人驾驶飞行器系统(UAS)。
实施例18包括一种系统，包括：至少一个机器视觉相机，该至少一个机器视觉相机位于飞行载具上；至少一个处理器，该至少一个处理器位于飞行载具上并且操作地耦接到至少一个机器视觉相机，该至少一个处理器包括：深度模块，该深度模块被配置为从机器视觉相机接收与飞行载具行进越过的区域的重叠图像相对应的图像信息，该深度模块包括跟踪模型和操作地耦接到该跟踪模型的映射模型；其中该映射模型被配置为生成像素级深度图和着陆质量像素图；其中该跟踪模型向该映射模型提供图像和位姿信息，并且该映射模型向该跟踪模型提供深度信息；多传感器位姿融合模块，该多传感器位姿融合模块被配置为从跟踪模型接收位姿信息，该多传感器位姿融合模块操作以估计包括载具取向的载具状态数据；以及后处理模块，该后处理模块操作地耦接到深度模块和多传感器位姿融合模块，该后处理模块被配置为计算着陆质量像素图中的一个或多个潜在着陆区域，其中该一个或多个潜在着陆区域使用相机投影矩阵和像素级深度图在三维中进行投影以检测该一个或多个潜在着陆区域的位置；机载着陆区域数据库，该机载着陆区域数据库操作地耦接到后处理模块和多传感器位姿融合模块，该着陆区域数据库被配置为存储该一个或多个潜在着陆区域的这些位置以用于未来紧急情况；机载着陆区跟踪器，该机载着陆区跟踪器操作地耦接到后处理模块，该着陆区跟踪器被配置为接收该一个或多个潜在着陆区域的这些位置以供实时使用；以及机载引导模块，该机载引导模块操作地耦接到着陆区域数据库和着陆区跟踪器，该引导模块操作以向着陆区域数据库发送对着陆区域候选者的请求，其中最佳着陆区域候选者从着陆区域数据库被发送到引导模块。
实施例19包括根据实施例18所述的系统，还包括：机载自动领航仪，该机载自动领航仪操作地耦接到多传感器位姿融合模块和引导模块，该自动领航仪被配置为从引导模块接收引导命令、包括着陆目标信息；其中该自动领航仪被配置为向机载监管程序模块发送命令信号、包括紧急信号，该机载监管程序模块操作以向引导模块发送启动着陆命令；其中该自动领航仪被配置为向多传感器位姿融合模块发送位姿信号。
实施例20包括根据实施例18-19中任一项所述的系统，还包括：机载全球导航卫星系统(GNSS)/惯性导航系统(INS)导航器，其中该GNSS/INS导航器操作地耦接到该至少一个机器视觉相机和该至少一个处理器；其中该一个或多个潜在着陆区域的这些位置还基于来自该GNSS/INS导航器的导航数据进行检测。
根据上述内容，应当理解，尽管为了举例说明的目的在本文中描述了具体的实施方案，但在不脱离本公开的范围的情况下可作出各种修改。因此，所述实施方案在所有方面将被视为仅是说明性的而非限制性的。此外，在权利要求的等价性的含义和范围内的所有变化都将涵盖在其范围内。
Claims (3)
1.一种系统，包括：
至少一个图像捕获设备，所述至少一个图像捕获设备位于飞行载具上；和
至少一个处理器，所述至少一个处理器位于所述飞行载具上并且操作地耦接到所述至少一个图像捕获设备，所述至少一个处理器操作以执行指令以便执行包括以下的方法：
从所述图像捕获设备接收所述飞行载具下方的景观的两个或更多个重叠图像；
基于所述重叠图像生成所述景观的着陆区热图；
基于所述着陆区热图识别所述景观的具有一个或多个潜在着陆区和障碍物的一个或多个区域；
使用所述景观的所述一个或多个区域的距离变换确定安全着陆区的位置，其中所述安全着陆区的所述位置在所述潜在着陆区中的与所述障碍物相距最远的一个潜在着陆区内的区域中；以及
将所述安全着陆区的所述位置存储在数据库中。
2.一种方法，包括：
将基于由安装在飞行载具上的相机捕获的一组重叠图像的图像信息接收在图像序列缓冲区中；
将所述图像信息发送到处理器，所述处理器包括生成用于所述飞行载具的着陆质量图的映射模型；
基于阈限值生成所述着陆质量图的二元掩模；
对所述二元掩模执行连通分量标记(CCL)以产生经标记二元掩模；
对所述经标记二元掩模执行距离变换以产生着陆区距离图；以及
基于所述着陆区距离图选择着陆目标像素和置信度半径。
3.一种系统，包括：
至少一个机器视觉相机，所述至少一个机器视觉相机位于飞行载具上；
至少一个处理器，所述至少一个处理器位于所述飞行载具上并且操作地耦接到所述至少一个机器视觉相机，所述至少一个处理器包括：
深度模块，所述深度模块被配置为从所述机器视觉相机接收与所述飞行载具行进越过的区域的重叠图像相对应的图像信息，所述深度模块包括跟踪模型和操作地耦接到所述跟踪模型的映射模型；
其中所述映射模型被配置为生成像素级深度图和着陆质量像素图；
其中所述跟踪模型向所述映射模型提供图像和位姿信息，并且所述映射模型向所述跟踪模型提供深度信息；
多传感器位姿融合模块，所述多传感器位姿融合模块被配置为从所述跟踪模型接收位姿信息，所述多传感器位姿融合模块操作以估计包括载具取向的载具状态数据；和
后处理模块，所述后处理模块操作地耦接到所述深度模块和所述多传感器位姿融合模块，所述后处理模块被配置为计算所述着陆质量像素图中的一个或多个潜在着陆区域，其中所述一个或多个潜在着陆区域使用相机投影矩阵和所述像素级深度图在三维中进行投影以检测所述一个或多个潜在着陆区域的位置；
机载着陆区域数据库，所述机载着陆区域数据库操作地耦接到所述后处理模块和所述多传感器位姿融合模块，所述着陆区域数据库被配置为存储所述一个或多个潜在着陆区域的所述位置以用于未来紧急情况；
机载着陆区跟踪器，所述机载着陆区跟踪器操作地耦接到所述后处理模块，所述着陆区跟踪器被配置为接收所述一个或多个潜在着陆区域的所述位置以供实时使用；和
机载引导模块，所述机载引导模块操作地耦接到所述着陆区域数据库和所述着陆区跟踪器，所述引导模块操作以向所述着陆区域数据库发送对着陆区域候选者的请求，其中最佳着陆区域候选者从所述着陆区域数据库被发送到所述引导模块。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/475,055 | 2021-09-14 | ||
| US17/475,055 US11932394B2 (en) | 2021-09-14 | 2021-09-14 | System and method for localization of safe zones in dense depth and landing quality heatmaps |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115806053A true CN115806053A (zh) | 2023-03-17 |
Family
ID=83080675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211048191.XA Pending CN115806053A (zh) | 2021-09-14 | 2022-08-30 | 在稠密深度和着陆质量热图中定位安全区的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11932394B2 (zh) |
| EP (1) | EP4148704A1 (zh) |
| CN (1) | CN115806053A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116793340B (zh) * | 2023-08-29 | 2023-11-24 | 陕西德鑫智能科技有限公司 | 一种无人机自动着陆导航方法、装置及电子设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8600589B2 (en) | 2012-04-24 | 2013-12-03 | Exelis, Inc. | Point cloud visualization of acceptable helicopter landing zones based on 4D LIDAR |
| US10444362B2 (en) * | 2014-01-14 | 2019-10-15 | Raytheon Company | LADAR data upsampling |
| US9617011B2 (en) | 2014-06-24 | 2017-04-11 | Sikorsky Aircraft Corporation | Probabilistic safe landing area determination |
| CN104408446B (zh) | 2014-12-19 | 2017-10-03 | 中国人民解放军国防科学技术大学 | 一种基于图像显著性的无人机自主着陆目标检测方法 |
| WO2016131005A1 (en) * | 2015-02-13 | 2016-08-18 | Unmanned Innovation, Inc. | Unmanned aerial vehicle sensor activation and correlation |
| US10088736B2 (en) | 2015-09-24 | 2018-10-02 | Amazon Technologies, Inc. | Unmanned aerial vehicle descent |
| DE112016002817T5 (de) | 2016-08-24 | 2018-04-26 | Google Inc. | Änderungserfassungbasiertes bildaufnahme-beauftragungssystem |
| US10402646B2 (en) | 2017-09-21 | 2019-09-03 | Amazon Technologies, Inc. | Object detection and avoidance for aerial vehicles |
| JP7143444B2 (ja) | 2018-02-09 | 2022-09-28 | スカイディオ，インコーポレイテッド | 航空機のスマート着陸 |
| CA3106014A1 (en) * | 2018-07-12 | 2020-01-16 | TerraClear Inc. | Object identification and collection system and method |
| US20220292827A1 (en) * | 2021-03-09 | 2022-09-15 | The Research Foundation For The State University Of New York | Interactive video surveillance as an edge service using unsupervised feature queries |
-
2021
- 2021-09-14 US US17/475,055 patent/US11932394B2/en active Active
-
2022
- 2022-08-25 EP EP22192122.4A patent/EP4148704A1/en active Pending
- 2022-08-30 CN CN202211048191.XA patent/CN115806053A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230081722A1 (en) | 2023-03-16 |
| EP4148704A1 (en) | 2023-03-15 |
| US11932394B2 (en) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4145393B1 (en) | Vehicle localization | |
| US10604156B2 (en) | System and method for adjusting a road boundary | |
| US20190086549A1 (en) | System and method for object detection using a probabilistic observation model | |
| US8996207B2 (en) | Systems and methods for autonomous landing using a three dimensional evidence grid | |
| WO2021056499A1 (zh) | 数据处理方法、设备和可移动平台 | |
| CN111505690B (zh) | 实时检测应急车辆并规划行驶路径的方法及装置 | |
| CN111837136A (zh) | 基于本地感测的自主导航以及相关联的系统和方法 | |
| CN107728646B (zh) | 对自动驾驶车辆的摄像头进行自动控制的方法和系统 | |
| US11679783B2 (en) | Method of and system for generating trajectory for self-driving car (SDC) | |
| US11754415B2 (en) | Sensor localization from external source data | |
| EP3989034A1 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
| CN113034970A (zh) | 安全性系统、自动化驾驶系统及其方法 | |
| CN112937582A (zh) | 改进车道改变检测的系统、非暂态计算机可读介质和方法 | |
| US12008818B2 (en) | Systems and methods to train a prediction system for depth perception | |
| EP4148704A1 (en) | System and method for localization of safe zones in dense depth and landing quality heatmaps | |
| US20230202497A1 (en) | Hypothesis inference for vehicles | |
| US12005926B2 (en) | Traffic light viewsheds | |
| US11763569B2 (en) | System for controlling a camera supporting human review of sensor information | |
| US20240144696A1 (en) | Road User Information Determination Based on Image and Lidar Data | |
| US20230110391A1 (en) | 3d sensing and visibility estimation | |
| Furukawa et al. | Autonomous Emergency Navigation to a Safe Roadside Location | |
| CN115923783A (zh) | 一种基于高精地图车道线的车辆自动驾驶避障方法及系统 | |
| CN114509772A (zh) | 使用参考对象进行远程距离估计 | |
| WO2022220969A1 (en) | Multipath correction for reflections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |