CN111352434B - 支持接近机场的机场跑道的飞机的设备及方法 - Google Patents
支持接近机场的机场跑道的飞机的设备及方法 Download PDFInfo
- Publication number
- CN111352434B CN111352434B CN201911291921.7A CN201911291921A CN111352434B CN 111352434 B CN111352434 B CN 111352434B CN 201911291921 A CN201911291921 A CN 201911291921A CN 111352434 B CN111352434 B CN 111352434B
- Authority
- CN
- China
- Prior art keywords
- aircraft
- airport
- airport runway
- images
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013459 approach Methods 0.000 claims abstract description 32
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims description 22
- 230000007423 decrease Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
提供了一种用于支持接近机场的机场跑道的飞机的设备和方法。该设备获取飞机相对于机场跑道的当前姿态估计,并基于飞机的当前姿态估计来确定飞机的多个近似姿态。该设备从飞机的多个预期视点生成机场跑道的多个图像,并获取机场跑道的实时图像。该设备执行实时图像和多个图像的比较,以从多个图像中识别最佳匹配图像,并基于最佳匹配图像生成飞机的更新的当前姿态估计。该设备将更新的当前姿态估计输出到飞机的飞行控制计算机,以用于在最终进场中对飞机进行指导。
Description
技术领域
本公开总体上涉及飞机操作,并且具体地涉及基于计算机视觉的飞机自主或有监督自主着陆。
背景技术
一些现有的系统和传感器可允许飞机在一个位置和另一位置之间自主导航。但是,这些现有系统和传感器可能无法以支持飞机精确着陆的足够的准确度和精度来提供最终位置和姿态确定。例如,诸如全球定位系统(GPS)的全球导航卫星系统(GNSS)可提供合理准确的位置信息。这些系统通常不提供姿态信息(例如,偏航、俯仰和摇晃),它们的精度可变化,并且它们的信号有时可能不可用并且会受到多径反射的影响。惯性导航系统(INS)也有助于飞机导航。但是这些系统通常会随着时间累积位置误差,这对于精确确定飞机相对于机场跑道的位置可能是不可接受的。自动着陆系统(ALS)允许在有各种最低可见性要求的情况下进行有监督的自动着陆,但是出于成本和重量方面的考虑,这些系统通常仅安装在大型飞机上。
仪表着陆系统(ILS)可帮助飞行员或自动驾驶仪确定通往跑道的方位和下滑道,但是ILS需要飞行员进行目视检查(例如,飞行员可能会称其为复飞(missed approach))。基于地面的增强系统(GBAS)可提供GNSS的差分校正和完整性监控,以允许精确着陆。但是GBAS仅在购买和安装了系统的设施上可用。
因此,期望存在一种系统和方法,其至少考虑以上讨论的一些问题以及其他可能的问题。
发明内容
本公开的实例实施方案针对基于计算机视觉的飞机的自主或有监督自主着陆。实例实施方案可利用包括一个或多个相机的视觉系统,该相机捕获来自飞机正在接近的机场跑道的图像。实例实施方案还可使用计算机视觉来生成精确的相对飞机位置,以便于最终进场和着陆。精确的飞机相对位置可足够准确以允许飞机成功降落。
与现有解决方案相比,实例实施方案可提供多个优势。例如,实例实施方案可使用具有足够分辨率的任何成像传感器来提供基于计算机视觉的指导和对准。实例实施方案还可提供一种检查或验证其他自动化系统输出的解决方案。此外,实例实施方案可在比人工介入短的时间尺度上支持复飞决策。此外,实例实施方案对降低射频(RF)系统性能的问题(例如多径反射)不敏感。此外,实例实施方案可通过使用地形数据库而独立于任何其他基础设施进行操作。
因此,本公开包括但不限于以下实例实施方案。
一些实例实施方案提供了一种用于支持接近机场的机场跑道的飞机的方法,该方法包括:获取飞机相对于机场跑道的当前姿态估计,该当前姿态估计具有当前高度、方位和距机场跑道的距离;基于飞机的当前姿态估计,确定飞机的多个近似姿态,每个近似姿态在当前高度、方位和距机场跑道的预定量的范围内具有调整的高度、调整的方位和调整的距离;从机场的机场模型数据中,从与多个近似姿态对应的飞机的多个预期视点生成机场跑道的多个图像;从接近机场跑道的飞机上的成像装置获取机场跑道的实时图像;基于实时图像和多个图像中识别出的共同对象的测量,对实时图像和多个图像进行比较以从多个图像中识别出最佳匹配图像,最佳匹配图像来自与飞机的多个近似姿态中的相应一个相对应的多个预期视点中的相应一个,多个近似姿态中的相应一个具有相应的调整的高度、调整的方位以及调整的距机场跑道的距离;基于最佳匹配图像和相应的调整的高度、调整的方位以及调整的距机场跑道的距离,生成具有相应的调整的高度、调整的方位和调整的距机场跑道的距离的飞机的更新的当前姿态估计;并将更新的当前姿态估计输出至飞机的飞行控制计算机,以用于在最终进场时指导飞机。
在任何先前实例实施方案的方法的一些实例实施方案中,或先前实例实施方案的任何组合中,获取当前姿态估计包括:通过飞机系统数据,确定飞机相对于机场跑道的初始姿态估计;以及将初始姿态估计设置为当前姿态估计。
在任何先前实例实施方案的方法的一些实例实施方案中,或先前实例实施方案的任何组合中,将更新的当前姿态估计输出至飞机的飞行控制计算机,以用于在没有使用与机场相关的仪表着陆系统导航数据的情况下在最终进场中指导飞机。
在任何先前实例实施方案的方法的一些实例实施方案中,或者先前实例实施方案的任何组合中,所述多个近似姿态包括许多近似姿态,并且确定所述多个近似姿态包括在距机场跑道的当前距离减小时减少确定的近似姿态的数量。
在任何先前实例实施方案的方法的某些实例实施方案或先前实例实施方案的任何组合中,执行比较包括执行实时图像与多个图像的比较以识别包括在实时图像和多个图像中识别出的共同对象的最佳匹配图像的一个或多个部分。
在任何先前实例实施方案的方法的一些实例实施方案或先前实例实施方案的任何组合中,执行比较包括确定实时图像和多个图像之间的相关性作为在实时图像和多个图像中识别出的共同对象的测量。
在任何先前实例实施方案的方法的一些实例实施方案中,或先前实例实施方案的任何组合中,实时图像和最佳匹配图像之间的相关性指示实时图像和最佳匹配图像之间的相似度水平,并且该方法还包括产生指示相似度水平的指示符给用户。
在任何先前实例实施方案的方法的一些实例实施方案中,或先前实例实施方案的任何组合中,该方法还包括使用更新的当前姿态估计来验证用于最终进场的飞机的自动着陆系统的指令。
一些实例实施方案提供了一种用于支持接近机场的机场跑道的飞机的设备。该设备包括处理器和存储可执行指令的存储器,该可执行指令响应于处理器的执行,使该设备至少执行任何先前实例实施方案的方法或任何先前实例实施方案的任何组合。
一些实例实施方案提供了一种用于支持接近机场的机场跑道的飞机的计算机可读存储介质。该计算机可读存储介质是非暂时性的,并且具有存储在其中的计算机可读程序代码,该计算机可读程序代码响应于处理器的执行,使设备至少执行任何前述实例实施方案的方法或其任意组合。
通过阅读下面的详细描述以及下面简要描述的附图,本公开的这些和其他特征、方面和优点将变得显而易见。本公开包括在本公开中阐述的两个、三个、四个或更多个特征或元素的任何组合,而不管这些特征或元素在本文描述的特定实例实施方案中是明确组合还是以其他方式叙述。旨在整体地理解本公开,使得在本公开的任何方面和实例实施方案中,本公开的任何可分离的特征或元件应被视为可组合的,除非本公开的上下文另外明确指出。
因此,将理解,仅出于概述一些实例实施方案的目的而提供该简要概述,以便提供对本公开的某些方面的基本理解。因此,将认识到,上述实例实施方案仅是实例,并且不应解释为以任何方式限制本公开的范围或精神。根据结合附图的以下详细描述,其他实例实施方案、方面和优点将变得显而易见,附图以实例的方式示出了一些所述实例实施方案的原理。
附图说明
因此,已经以通用的术语描述了本公开的实例实施方案,现在将参考附图,这些附图不一定按比例绘制,并且其中:
图1示出了根据本公开的实例实施方案的用于支持接近机场的机场跑道的飞机的系统;
图2A、图2B和图2C分别示出了根据本公开的实例实施方案的机场跑道的实时图像和机场跑道的两个生成的图像。
图3示出了根据本公开的实例实施方案的描述系统的框图;
图4和图5示出了根据本公开的实例实施方案的在支持接近机场的机场跑道的飞机的方法中的各种操作的流程图;
图6示出了根据一些实例实施方案的设备。
具体实施方式
现在将在下文中参考附图更全面地描述本公开的一些实施方案,在附图中示出了本公开的一些但不是全部实施方案。实际上,本公开的各种实施方案可以以许多不同的形式来体现,并且不应被解释为限于本文阐述的实施方案。相反,提供这些实例实施方案是为了使本公开将是详细和完整的,并且将向本领域技术人员充分传达本公开的范围。例如,除非另有说明,否则不应将引用为第一、第二等的事物解释为暗示特定顺序。此外,某些事物可能被描述为在其他事物之上(除非另有说明),而可能在其下方,反之亦然;同样,描述为位于其他事物左侧的事物可能位于右侧,反之亦然。贯穿全文,相似的参考标号指代相似的元件。
本公开的实例实施方案总体上针对飞机操作,并且具体地针对飞机的基于计算机视觉的自主或有监督自主着陆。
图1示出了根据本公开的实例实施方案的用于支持接近机场的机场跑道的飞机的系统100。在一些实例中,如参考图6更详细地描述的,该系统可由用于支持接近机场的机场跑道的飞机的设备来实现。将主要在支持接近机场的机场跑道的飞机的上下文中描述实例实施方案。应当理解,该系统适用于多种类型的交通工具中的任何一种,诸如多种不同类型的载人或无人陆地交通工具、飞机、航天器、水上交通工具等中的任何一种。例如,该系统可用于上述各种类型的交通工具的自动对接。
系统100包括用于执行一个或多个功能或操作的多个不同子系统中的任何一个(每个单独的系统)。如图所示,在一些实例中,系统包括飞机支持子系统101、图像捕获装置111和显示装置121中的每一个的一个或多个。也如图所示,飞机支持子系统可包括姿态估计器102、图像生成器103、图像比较器104和精确的姿态估计器105。飞机支持子系统、图像捕获装置和显示装置可协作或彼此直接耦接,或者在一些实例中,子系统中的各个子系统可以通过一个或多个计算机网络互相通信。此外,尽管被示为系统的一部分,但是应当理解,姿态估计器、图像生成器、图像比较器和精确的姿态估计器中的任何一个或多个可在不考虑任何其他子系统的情况下作为单独的系统起作用或操作。还应该理解,该系统可包括一个或多个除了图1所示的子系统之外的附加或替代子系统。该系统可位于飞机131上,并且可在飞机在飞行中并且接近机场跑道时为飞机生成精确的姿态。
在一些实例中,姿态估计器102被配置为获取飞机131相对于机场跑道的当前姿态估计。飞机的当前姿态估计具有当前高度、方位以及距机场跑道的距离。在一些实例中,姿态估计器被配置为通过飞机系统数据确定飞机相对于机场跑道的初始姿态估计。姿态估计器还被配置为将初始姿态估计设置为当前姿态估计。例如,姿态估计器可将来自飞机上的卫星导航系统接收器(诸如,全球定位系统(GPS)接收器)的导航数据用作飞机的初始姿态估计。
在一些实例中,在获取飞机131的当前姿态估计之后,姿态估计器102被配置为基于飞机的当前姿态估计来确定飞机的多个近似姿态。多个近似姿态中的每一个在当前高度、方位和距机场跑道的距离的预定量的范围内具有调整的高度、调整的方位和调整的距离。预定量可以是预定距离或范围,并且近似姿态可以是在预定距离或范围内近似当前姿态估计的姿态。
在一些实例中,多个近似姿态包括许多近似姿态。姿态估计器被配置为在距机场跑道的当前距离减小时减少确定的近似姿态的数量。这可减少飞机支持子系统101的计算需求。在另一个实例中,随着到机场的距离减小,可限制近似姿态的多样性以减少计算需求。
在确定了近似姿态之后,在一些实例中,图像生成器103被配置为从机场的机场模型数据中,从与多个近似姿态对应的飞机131的多个预期视点生成机场跑道的多个图像。例如,图像生成器可为飞机的多个预期视点中的每个生成一个或多个图像。每个预期视点可对应于相应的近似姿态。在一个实例中,图像生成器可从飞机的任意预期视点生成机场跑道的图像,这可例如基于飞机的感测高度使用飞机位置的初始估计来确定。在另一个实例中,生成的图像只能捕获场景中机场的范围,以减少计算需求。
在一些实例中,飞机131上的图像捕获装置111被设置在飞机的前部,使得当飞机正在接近机场跑道时,图像捕获装置被配置成获取机场跑道的实时图像。在一个实例中,飞机支持子系统101可具有相对于飞机机身上的参考位置的图像捕获装置的方位和位置的信息。图像捕获装置可包括一个或多个相机和/或图像传感器。当飞机接近机场跑道时,图像捕获装置可在不同时间点捕获机场跑道的多个实时图像。
为了估计飞机131的精确姿态,在一些实例中,图像比较器104被配置为执行实时图像与多个图像的比较,以从多个图像中识别出最佳匹配图像。该比较基于实时图像和多个图像中识别出的共同对象的测量。最佳匹配图像来自与飞机的多个近似姿态中的相应一个相对应的多个预期视点中的相应一个。多个近似姿态中的相应一个具有相应的调整的高度、调整的方位以及调整的距机场跑道的距离。
在执行比较时,在一些实例中,图像比较器104被配置为执行实时图像与多个图像的比较,以识别包括实时图像和多个图像中识别出的共同对象的最佳匹配图像的一个或多个部分。例如,最佳匹配图像的一个或多个部分可主要或仅包括飞机131正在接近的机场或机场跑道。
在执行比较时,在一些实例中,图像比较器104被配置为确定实时图像和多个图像之间的相关性。该相关性用作在实时图像和多个图像中识别出的共同对象的测量。例如,图像比较器可确定实时图像的整个内容和多个图像之间的完整图像相关性。在另一个实例中,图像比较器可将包含机场的多个图像中的每个图像的一部分与实时图像的完整尺寸或出现机场的实时图像的一部分相关联。多个图像中的每个图像的一部分可包括例如被设置成紧邻图像中的机场的多个建筑物或结构,其中图像比较器104可使多个图像中的一个或多个结构与由飞机131上的图像捕获装置111捕获的机场跑道的实时图像中识别出的结构相关联。
在一些实例中,实时图像和最佳匹配图像之间的相关性指示实时图像和最佳匹配图像之间的相似度水平。图像比较器104可例如基于对多个图像中的每个图像(针对每个预期视点)中紧邻机场设置的建筑物、结构或其他特征的数量的识别,来确定所生成的多个图像中的每个图像的相似度水平。图像比较器104可被配置为基于最高的相似度水平和/或在与实时图像中的结构相对应的在生成的图像中识别出的结构数量,从多个预期视点的一个中确定哪个图像与图像捕获装置111所捕获的机场的实时图像最佳匹配。类似地,图像比较器104可例如相对于机场的实时图像,基于在多个图像中的每个图像中紧邻机场设置的许多建筑物、结构或其他特征的方位的比较,来确定所生成的多个图像中的每个图像的相似度水平。图像比较器可向显示装置121提供相关性。显示装置被配置为产生指示相似度水平的指示符给用户,诸如飞机131的飞行员。指示符可以是由显示装置显示的标记。在一个实例中,比较的图像之间的共同信息的归一化值被产生为相关性。当值接近于一致时,该值可指示更好的匹配。
在识别出最佳匹配图像之后,在一些实例中,精确的姿态估计器105被配置为基于最佳匹配图像和相应的调整的高度、调整的方位以及调整的距机场跑道的距离,生成更新的飞机131的当前姿态估计。更新的当前姿态估计具有相应的调整的高度、调整的方位以及调整的距机场跑道的距离。
在一些实例中,在生成飞机131的更新的当前姿态估计之后,精确的姿态估计器105被配置为将更新的当前姿态估计输出至飞机的飞行控制计算机,以用于在最终进场(final approach)时指导飞机。在一些实例中,更新的当前姿态估计被输出到飞机的飞行控制计算机,以用于在不使用与机场相关联的仪表着陆系统导航数据的情况下在最终进场时指导飞机。更新的当前姿态估计可由显示装置121显示。
在一些实例中,精确的姿态估计器105被配置为使用更新的当前姿态估计来验证用于最终进场的飞机131的自动着陆系统(ALS)141的指令。例如,ALS可将包括指令的数据提供给飞机支持子系统101。飞机支持子系统可提供对由ALS提供的数据的有效性的主动确认。如果ALS和飞机支持子系统产生的高度、方位和距离估计在可接受的公差或阈值之内,则可证实ALS。
图2A、图2B和图2C分别示出了根据本公开的实例实施方案的机场跑道的实时图像和机场跑道的两个生成的图像。如图所示,图2A示出了当飞机接近机场跑道时由飞机131上的图像捕获装置111捕获的机场场景的实时图像。图2B和图2C分别示出了从飞机的两个预期视点的机场场景的两个生成的图像。如上所述,两个预期视点可分别对应于两个近似姿态。
图3示出了根据本公开的实例实施方案的描述系统100的框图300。如图所示,在该方法中,姿态估计器102可通过飞机系统数据来确定飞机131相对于机场跑道的初始姿态估计301。姿态估计器可将初始姿态估计设置为当前姿态估计302。可将当前姿态估计的位置数据提供给图像生成器103。图像生成器可使用位置数据和3D地形数据库303来生成图像304。3D地形数据库可包括机场中的建筑物和结构、地形标高和/或诸如跑道和光源的特征。如上所述,生成的图像可来自与多个近似姿态相对应的飞机的多个预期视点。
图像捕获装置111可获取机场跑道的实时图像305。在框306处,图像比较器104可执行实时图像与多个图像的比较,以从多个图像中识别出最佳匹配图像。如上所述,该比较可基于在实时图像和多个图像中识别的共同对象(诸如机场跑道)的测量。精确的姿态估计器105可基于比较将最佳姿态307确定为飞机131的更新的当前姿态估计。精确的姿态估计器还可将更新的当前姿态估计输出到飞机的飞行控制计算机,以用于在最终进场时指导飞机。如图所示,更新的当前姿态估计可以是相对于机场跑道的精确的飞机姿态。更新的当前姿态估计包括飞机相对于机场跑道的精确位置数据,诸如3D坐标x、y和z,还包括姿态信息,例如摇晃(r)、俯仰(p)和偏航(y)。
图4和图5示出了根据本公开的实例实施方案的、支持接近机场的机场跑道的飞机131的方法400、500中的各种操作的流程图。在图4中,在方法400的框401处,姿态估计器102可使用可用的导航辅助装置来确定飞机相对于机场跑道的初始姿态估计。在框402处,姿态估计器可将初始姿态估计设置为当前姿态估计。在框403处,姿态估计器可基于当前姿态的估计高度和距机场跑道的距离,确定多个近似姿态。多个近似姿态中的每一个在当前姿态的估计高度和距机场跑道的距离的预定量的范围内具有调整的高度和调整的距离。
在框404处,图像生成器103可检索机场模型数据并从表示多个潜在视点的模型数据创建多个预期图像。多个预期图像可对应于确定的近似姿态。在框405处,接近机场的飞机131上的图像捕获装置111可获取机场的实时图像。在框406处,图像比较器104可使用模式匹配算法来执行实时图像与多个预期图像的比较,以识别最佳匹配的精确图像。比较可基于共同信息的测量。
在框407处,针对最佳匹配的预期图像,精确的姿态估计器105可确定对应的调整的高度和调整的距机场跑道的距离。精确的姿态估计器还可生成具有调整的高度和调整的距离的更新的当前姿态估计。在框408处,精确的姿态估计器可将更新的当前姿态估计输出到飞机131的飞行管理计算机。可将更新的当前姿态估计反馈到框402以更新当前姿态估计。在框409处,飞行管理计算机可在缺少或补充来自ALS和/或仪表着陆系统(ILS)的导航数据的情况下在最终进场指导时使用更新的姿态估计。
在图5中,如框501处所示,方法500包括获得飞机131相对于机场跑道的当前姿态估计,该当前姿态估计具有当前高度、方位和距机场跑道的距离。在框502处,该方法包括基于飞机的当前姿态估计来确定飞机的多个近似姿态,每个近似姿态在当前高度、方位和距机场跑道的距离的预定量的范围内具有调整的高度、调整的方位和调整的距离。
在框503处,方法500包括从机场的机场模型数据,从与多个近似姿态对应的飞机131的多个预期视点,生成机场跑道的多个图像。在框504处,该方法包括从接近机场跑道的飞机上的成像装置获取机场跑道的实时图像。
在框505处,该方法包括基于实时图像和多个图像中识别出的共同对象的测量,对实时图像和多个图像进行比较,以从多个图像中识别出最佳匹配图像,最佳匹配图像来自与飞机的多个近似姿态中的相应一个相对应的多个预期视点中的相应一个,多个近似姿态中的相应一个具有相应的调整的高度、调整的方位以及调整的距机场跑道的距离。
在框506处,方法500包括基于最佳匹配图像和相应的调整的高度、调整的方位以及调整的距机场跑道的距离,生成具有相应的调整的高度、调整的方位以及调整的距机场跑道的距离的飞机131的更新的当前姿态估计。在框507处,该方法包括将更新的当前姿态估计输出至飞机的飞行控制计算机,以用于在最终进场时指引飞机。例如,飞机的飞行员或自动驾驶仪可利用更新的当前姿态估计来成功地着陆。当飞机接近机场跑道时飞机支持子系统101可在不同的时间点多次实施该方法以产生更准确的更新的当前姿态估计。
根据本公开的实例实施方案,包括飞机支持子系统101、图像捕获装置111和显示装置121的系统100及其子系统可通过各种装置来实现。用于实现该系统及其子系统的装置可包括单独的硬件或在来自计算机可读存储介质的一个或多个计算机程序的指导下的硬件。在一些实例中,一个或多个设备可被配置为用作或以其他方式实现本文所示和描述的系统及其子系统。在涉及一个以上设备的实例中,各个设备可以以多种不同的方式彼此连接或以其他方式通信,诸如直接或间接地经由有线或无线网络等。
图6示出了根据一些实例实施方案的设备600。通常,本公开的实例实施方案的设备可包括、包含或体现在一个或多个固定或便携式电子装置中。合适的电子装置的实例包括智能电话、平板计算机、膝上型计算机、台式计算机、工作站计算机、服务器计算机等。该设备可包括多个组件中的每个组件中的一个或多个,诸如例如连接到存储器602(例如,存储装置)的处理器601(例如,处理电路)。在一些实例中,设备600实现系统100。
处理器601可单独由一个或多个处理器组成,或者与一个或多个存储器组合在一起组成。处理器通常是能够处理诸如数据、计算机程序的信息和/或其他合适的电子信息的任何计算机硬件。处理器由电子电路的集合组成,其中一些电子电路可封装为集成电路或多个互连的集成电路(有时将集成电路更普遍地称为“芯片”)。处理器可被配置为执行计算机程序,该计算机程序可被存储在处理器上或以其他方式被存储在(相同或另一设备的)存储器602中。
取决于具体的实施方案,处理器601可以是多个处理器、多核处理器或某种其他类型的处理器。此外,可使用多个异构处理器系统来实现处理器,其中主处理器与单个芯片上的一个或多个辅助处理器一起存在。作为另一个说明性实例,处理器可以是包含多个相同类型的处理器的对称多处理器系统。在又一实例中,处理器可被实现为或以其他方式包括一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。因此,尽管处理器可能能够执行计算机程序以执行一个或多个功能,但是各种实例的处理器可能能够在不借助于计算机程序的情况下执行一个或多个功能。在任一情况下,处理器可被适当地编程以执行根据本公开的实例实施方案的功能或操作。
存储器602通常是能够在临时基础和/或永久基础上存储诸如数据、计算机程序(例如,计算机可读程序代码603)的信息和/或其他合适的信息的任何计算机硬件。存储器可包括易失性和/或非易失性存储器,并且可以是固定的或可移动的。合适的存储器的实例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存、拇指驱动器、可移动计算机磁盘、光盘、磁带或上述的某种组合。光盘可包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)、DVD等。在各种情况下,存储器可被称为计算机可读存储介质。该计算机可读存储介质是能够存储信息的非暂时性装置,并且与诸如能够将信息从一个位置传送到另一位置的电子暂时信号的计算机可读传输介质有区别。如本文所描述的计算机可读介质通常可指计算机可读存储介质或计算机可读传输介质。
除了存储器602之外,处理器601还可连接到一个或多个用于显示、发送和/或接收信息的接口。接口可包括通信接口604(例如,通信单元)和/或一个或多个用户接口。通信接口可被配置为诸如向其他设备、网络等发送和/或从其他设备、网络等接收信息。通信接口可被配置为通过物理(有线)和/或无线通信链路来发送和/或接收信息。合适的通信接口的实例包括网络接口控制器(NIC)、无线NIC(WNIC)等。
用户接口可包括显示器606和/或一个或多个用户输入接口605(例如,输入/输出单元)。显示器606可对应于图1中的显示装置121。显示器可被配置为向用户呈现或以其他方式显示信息,其合适的实例包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示面板(PDP)等。用户输入接口可以是有线的或无线的,并且可被配置为从用户接收信息到设备中,诸如用于处理、存储和/或显示。用户输入接口的合适实例包括麦克风、键盘或小键盘、操纵杆、触敏表面(与触摸屏分离或集成到触摸屏中),生物特征传感器等。用户输入接口可包括图1中的图像捕获装置111,其可以是图像或视频捕获装置。用户接口可进一步包括一个或多个用于与诸如打印机、扫描仪等外围装置进行通信的接口。
如上所述,程序代码指令可存储在存储器中,并且由处理器执行并且由此指令被编程,以实现本文所述的系统、子系统、工具及其相应元件的功能。将会理解,任何合适的程序代码指令可从计算机可读存储介质加载到计算机或其他可编程设备上,以产生特定的机器,使得该特定的机器成为用于实现本文指定的功能的装置。这些程序代码指令也可存储在计算机可读存储介质中,该计算机可读存储介质可指导计算机、处理器或其他可编程设备以特定方式起作用,从而生成特定机器或特定制品。存储在计算机可读存储介质中的指令可生成制品,其中制品成为用于实现本文描述的功能的装置。可从计算机可读存储介质中检索程序代码指令,并将其加载到计算机、处理器或其他可编程设备中,以配置计算机、处理器或其他可编程设备以执行要在计算机、处理器或其他可编程设备上进行的操作或由计算机、处理器或其他可编程设备进行的操作。
程序代码指令的检索、加载和执行可顺序执行,以便一次检索、加载和执行一条指令。在一些实例实施方案中,检索、加载和/或执行可并行执行,使得多个指令一起被检索、加载和/或执行。程序代码指令的执行可产生计算机实现的过程,使得由计算机、处理器或其他可编程设备执行的指令提供用于实现本文描述的功能的操作。
项1.一种用于支持接近机场的机场跑道的飞机(131)的设备(600),设备包括处理器(601)和存储可执行指令的存储器(602),可执行指令响应于处理器的执行而使得设备至少:
获取飞机相对于机场跑道的当前姿态估计,当前姿态估计具有当前高度、方位和距机场跑道的距离;
基于飞机的当前姿态估计,确定飞机的多个近似姿态,每个近似姿态在当前高度、方位和距机场跑道的距离的预定量的范围内具有调整的高度、调整的方位和调整的距离;
从机场的机场模型数据中,从对应于多个近似姿态的飞机的多个预期视点,生成机场跑道的多个图像;
从接近机场跑道的飞机上的成像装置获取机场跑道的实时图像;
基于实时图像和多个图像中识别出的共同对象的测量,执行实时图像和多个图像的比较,以从多个图像中识别出最佳匹配图像,最佳匹配图像来自与飞机的多个近似姿态中的相应一个相对应的多个预期视点中的相应一个,多个近似姿态中的相应一个具有相应的调整的高度、调整的方位和调整的距机场跑道的距离;
基于最佳匹配图像和相应的调整的高度、调整的方位以及调整的距机场跑道的距离,生成具有相应的调整的高度、调整的方位和调整的距机场跑道的距离的飞机的更新的当前姿态估计;和
将更新的当前姿态估计输出到飞机的飞行控制计算机,以用于在最终进场时指导飞机。
项2.根据项1的设备(600),其中,使设备获取当前姿态估计包括使得设备:
通过飞机系统数据确定飞机(131)相对于机场跑道的初始姿态估计;和
将初始姿态估计设置为当前姿态估计。
项3.根据项1至2中任一项的设备(600),其中,使设备输出更新的当前姿态估计包括:使设备将更新的当前姿态估计输出到飞机(131)的飞行控制计算机,以用于在不使用与机场相关的仪表着陆系统导航数据的情况下,在最终进场时指导飞机。
项4.根据项1至3中任一项的设备(600),其中,多个近似姿态包括许多近似姿态,并且使设备确定多个近似姿态包括在距机场跑道的当前距离减小时使设备减少确定的多个近似姿态。
项5.根据项1至4中任一项的设备(600),其中,使设备执行比较包括使设备执行实时图像与多个图像的比较,以识别包括在实时图像和多个图像中识别出的共同对象的最佳匹配图像的一个或多个部分。
项6.根据项1至5中任一项的设备(600),其中,使设备执行比较包括:使设备确定实时图像与多个图像之间的相关性作为在实时图像和多个图像中识别出的共同对象的测量。
项7.根据项6的设备(600),其中,实时图像与最佳匹配图像之间的相关性指示实时图像与最佳匹配图像之间的相似度水平,并且其中,存储器(602)存储另外的可执行指令,其响应于处理器(601)的执行,使设备进一步产生指示相似度水平的指示符给用户。
项8.根据项1至7中任一项的设备(600),其中,存储器(602)存储另外的可执行指令,另外的可执行指令响应于处理器(601)的执行,使设备使用更新的当前姿态估计进一步验证用于最终进场的飞机(131)的自动着陆系统(141)的指令。
项9.一种用于支持接近机场的机场跑道的飞机(131)的方法(500),方法包括:
获取(501)飞机相对于机场跑道的当前姿态估计,该当前姿态估计具有当前高度、方位和距机场跑道的距离;
基于飞机的当前姿态估计,确定(502)飞机的多个近似姿态,每个近似姿态在当前高度、方位和距机场跑道的距离的预定量的范围内具有调整的高度、调整的方位和调整的距离;
从机场的机场模型数据中,从与多个近似姿态相对应的多个预期视点,生成(503)机场跑道的多个图像;
从接近机场跑道的飞机上的成像装置获取(504)机场跑道的实时图像;
基于实时图像和多个图像中识别出的共同对象的测量,执行实时图像和多个图像的比较,以从多个图像中识别出最佳匹配图像,最佳匹配图像来自与飞机的多个近似姿态中的相应一个相对应的多个预期视点中的相应一个,多个近似姿态中的相应一个具有相应的调整的高度、调整的方位和调整的距机场跑道距离;
基于最佳匹配图像和相应的调整的高度、调整的方位以及调整的距机场跑道的距离生成(506)飞机的更新的当前姿态估计,其具有相应的调整的高度、调整的方位和调整的距机场跑道的距离;和
将更新的当前姿态估计输出(507)到飞机的飞行控制计算机,以用于在最终进场时指导飞机。
项10.根据项9的方法(500),其中,获取(501)当前姿态估计包括:
通过飞机系统数据确定飞机(131)相对于机场跑道的初始姿态估计;和
将初始姿态估计设置为当前姿态估计。
项11.根据项9至10中任一项的方法(500),其中,将更新的当前姿态估计输出至飞机(131)的飞行控制计算机,以用于在不使用与机场相关的仪表着陆系统导航数据的情况下,在最终进场时指导飞机。
项12.根据项9至11中任一项的方法(500),其中,多个近似姿态包括许多近似姿态,并且确定(502)多个近似姿态包括在距机场跑道的当前距离减小时减少确定的近似姿态的数量。
项13.根据项9至12中任一项的方法(500),其中,执行(505)比较包括对实时图像和多个图像进行比较,以识别包括实时图像和多个图像中识别出的共同对象的最佳匹配图像的一个或多个部分。
项14.根据项9至13中任一项的方法(500),其中执行(505)比较包括确定实时图像和多个图像之间的相关性作为在实时图像和多个图像中识别出的共同对象的测量。
项15.根据项14的方法(500),其中,实时图像和最佳匹配图像之间的相关性指示实时图像和最佳匹配图像之间的相似度水平,并且方法还包括产生指示相似度水平的指示符给用户。
项16.根据项9至15中任一项的方法(500),还包括使用更新的当前姿态估计来验证用于最终进场的飞机(131)的自动着陆系统(141)的指令。
项17.一种用于支持接近机场的机场跑道的飞机(131)的计算机可读存储介质(602),该计算机可读存储介质是非暂时性的,并且具有存储在其中的计算机可读程序代码(603),计算机可读程序代码响应于处理器(601)的执行,使设备(600)至少:
获取飞机相对于机场跑道的当前姿态估计,当前姿态估计具有当前高度、方位和距机场跑道的距离;
基于飞机的当前姿态估计,确定飞机的多个近似姿态,每个近似姿态在当前高度、方位和距机场跑道的距离的预定量的范围内具有调整的高度、调整的方位和调整的距离;
从机场的机场模型数据中,从对应于多近似姿态的飞机的多个预期视点,生成机场跑道的多个图像;
从接近机场跑道的飞机上的成像装置获取机场跑道的实时图像;
基于实时图像和多个图像中识别出的共同对象的测量,执行实时图像和多个图像的比较,以从多个图像中识别出最佳匹配图像,最佳匹配图像来自与飞机的多个近似姿态中的相应一个相对应的多个预期视点中的相应一个,多个近似姿态中的相应一个具有相应的调整的高度、调整的方位和调整的距机场跑道的距离;
基于最佳匹配图像和相应的调整的高度、调整的方位以及调整的距机场跑道的距离,生成具有相应的调整的高度、调整的方位和调整的距机场跑道的距离的飞机的更新的当前姿态估计;和
将更新的当前姿态估计输出到飞机的飞行控制计算机,以用于在最终进场时指导飞机。
项18.根据项17的计算机可读存储介质(602),其中,使设备(600)获取当前姿态估计包括使得设备:
通过飞机系统数据确定飞机(131)相对于机场跑道的初始姿态估计;和
将初始姿态估计设置为当前姿态估计。
项19.根据项17的计算机可读存储介质(602),其中,使设备(600)输出更新的当前姿态估计包括:使设备将更新的当前姿态估计输出到飞机(131)的飞行控制计算机,以用于在不使用与机场相关的仪表着陆系统导航数据的情况下,在最终进场时指导飞机。
项20.根据项17的计算机可读存储介质(602),其中,多个近似姿态包括许多近似姿态,并且使设备(600)确定多个近似姿态包括在距机场跑道的当前距离减小时使设备减少确定的多个近似姿态。
项21.根据项17的计算机可读存储介质(602),其中,使设备(600)执行比较包括使设备执行实时图像与多个图像的比较,以识别包括在实时图像和多个图像中识别出的共同对象的最佳匹配图像的一个或多个部分。
项22.根据项15的计算机可读存储介质(602),其中,使设备(600)执行比较包括使设备确定实时图像与多个图像之间的相关性作为在实时图像和多个图像中识别的共同对象的测量。
项23.根据项22的计算机可读存储介质(602),其中,实时图像与最佳匹配图像之间的相关性指示实时图像与最佳匹配图像之间的相似度水平,并且其中,计算机可读存储介质在其内还存储有计算机可读程序代码(603),其响应于处理器(601)的执行,使设备(600)进一步产生指示相似度水平的指示符给用户。
项24.根据项17的计算机可读存储介质(602),在其内还存储有计算机可读程序代码(603),其响应于处理器(601)的执行,使设备(600)使用更新的当前姿态估计进一步验证用于最终进场的飞机(131)的自动着陆系统(141)的指令。
处理器执行指令或将指令存储在计算机可读存储介质中,支持用于执行指定功能的操作的组合。以这种方式,设备600可包括处理器601和耦接到处理器的计算机可读存储介质或存储器602,其中处理器被配置为执行存储在存储器中的计算机可读程序代码603。还应理解,一个或多个功能以及功能的组合可由执行特定功能的基于专用硬件的计算机系统和/或处理器,或专用硬件和程序代码指令的组合来实现。
受益于前述说明书和相关附图中呈现的教导的本公开所属领域的技术人员将想到本文阐述的本公开的许多修改和其他实施方案。因此,应当理解,本公开不限于所公开的特定实施方案,并且修改和其他实施方案旨在被包括在所附权利要求的范围内。此外,尽管前述描述和相关联的附图在元件和/或功能的某些实例组合的上下文中描述了实例实施方案,但是应当理解,在不脱离所附权利要求的范围的情况下,可由替代性实施方案提供元件和/或功能的不同组合。在这点上,例如,如所附权利要求中的一些阐述的,与上文明确描述的元件和/或功能的不同组合也被考虑。尽管本文采用了特定术语,但是它们仅在通用性和描述性意义上使用,而不是出于限制的目的。
Claims (15)
1.一种用于支持接近机场的机场跑道的飞机(131)的设备(600),所述设备包括处理器(601)和存储可执行指令的存储器(602),所述可执行指令响应于所述处理器的执行而使得所述设备至少:
获取所述飞机相对于所述机场跑道的当前姿态估计,所述当前姿态估计具有当前高度、方位和距所述机场跑道的距离;
基于所述飞机的所述当前姿态估计,确定所述飞机的多个近似姿态,所述多个近似姿态中的每个在所述当前高度、方位和距所述机场跑道的距离的预定量的范围内具有调整的高度、调整的方位和调整的距离;
根据所述机场的机场模型数据,从对应于所述多个近似姿态的所述飞机的多个预期视点,生成所述机场跑道的多个图像;
从接近所述机场跑道的所述飞机上的成像装置获取所述机场跑道的实时图像;
基于所述实时图像和所述多个图像中识别出的共同对象的测量,执行所述实时图像和所述多个图像的比较以从所述多个图像中识别出最佳匹配图像,所述最佳匹配图像来自与所述飞机的所述多个近似姿态中的相应一个近似姿态相对应的所述多个预期视点中的相应一个预期视点,所述多个近似姿态中的相应一个近似姿态具有相应的所述调整的高度、所述调整的方位和所述调整的距所述机场跑道的距离;
基于所述最佳匹配图像和相应的所述调整的高度、所述调整的方位以及所述调整的距所述机场跑道的距离,生成具有相应的所述调整的高度、所述调整的方位和所述调整的距所述机场跑道的距离的所述飞机的更新的当前姿态估计;并且
将所述更新的当前姿态估计输出到所述飞机的飞行控制计算机,以用于在最终进场时指导所述飞机。
2.根据权利要求1所述的设备(600),其中,使所述设备获取所述当前姿态估计包括使所述设备:
通过飞机系统数据确定所述飞机(131)相对于所述机场跑道的初始姿态估计;和
将所述初始姿态估计设置为所述当前姿态估计。
3.根据权利要求1至2中任一项所述的设备(600),其中,使所述设备输出所述更新的当前姿态估计包括:使所述设备将所述更新的当前姿态估计输出到所述飞机(131)的所述飞行控制计算机,以用于在不使用与所述机场相关的仪表着陆系统导航数据的情况下,在最终进场时指导所述飞机。
4.根据权利要求1至3中任一项所述的设备(600),其中,所述多个近似姿态包括许多近似姿态,并且使所述设备确定所述多个近似姿态包括在距所述机场跑道的当前距离减小时使所述设备减少确定的所述近似姿态的数量。
5.根据权利要求1至4中任一项所述的设备(600),其中,使所述设备执行所述比较包括使所述设备执行所述实时图像与所述多个图像的比较,以识别包括在所述实时图像和所述多个图像中识别出的共同对象的最佳匹配图像的一个或多个部分。
6.根据权利要求1至5中任一项所述的设备(600),其中,使所述设备执行所述比较包括:使所述设备确定所述实时图像与所述多个图像之间的相关性作为在所述实时图像和所述多个图像中识别出的共同对象的测量。
7.根据权利要求6所述的设备(600),其中,所述实时图像与所述最佳匹配图像之间的所述相关性指示所述实时图像与所述最佳匹配图像之间的相似度水平,并且其中,所述存储器(602)存储另外的可执行指令,所述另外的可执行指令响应于所述处理器(601)的执行,使所述设备进一步产生指示所述相似度水平的指示符给用户。
8.根据权利要求1至7中任一项所述的设备(600),其中,所述存储器(602)存储另外的可执行指令,所述另外的可执行指令响应于所述处理器(601)的执行,使所述设备使用所述更新的当前姿态估计进一步验证用于最终进场的所述飞机(131)的自动着陆系统(141)的指令。
9.一种用于支持接近机场的机场跑道的飞机(131)的方法(500),所述方法包括:
获取(501)所述飞机相对于所述机场跑道的当前姿态估计,所述当前姿态估计具有当前高度、方位和距所述机场跑道的距离;
基于所述飞机的所述当前姿态估计,确定(502)所述飞机的多个近似姿态,所述多个近似姿态的每个在所述当前高度、方位和距所述机场跑道的距离的预定量的范围内具有调整的高度、调整的方位和调整的距离;
根据所述机场的机场模型数据,从与所述多个近似姿态相对应的多个预期视点,生成(503)所述机场跑道的多个图像;
从接近所述机场跑道的所述飞机上的成像装置获取(504)所述机场跑道的实时图像;
基于所述实时图像和所述多个图像中识别出的共同对象的测量,执行(505)所述实时图像和所述多个图像的比较,以从所述多个图像中识别出最佳匹配图像,最佳匹配图像来自与所述飞机的所述多个近似姿态中的相应一个近似姿态相对应的所述多个预期视点中的相应一个预期视点,所述多个近似姿态中的相应一个近似姿态具有相应的所述调整的高度、所述调整的方位和所述调整的距所述机场跑道的距离;
基于所述最佳匹配图像和相应的所述调整的高度、所述调整的方位以及所述调整的距所述机场跑道的距离生成(506)所述飞机的更新的当前姿态估计,所述更新的当前姿态估计具有相应的所述调整的高度、所述调整的方位和所述调整的距所述机场跑道的距离;和
将所述更新的当前姿态估计输出(507)到所述飞机的飞行控制计算机,以用于在最终进场时指导所述飞机。
10.根据权利要求9所述的方法(500),其中,获取(501)所述当前姿态估计包括:
通过飞机系统数据确定所述飞机(131)相对于所述机场跑道的初始姿态估计;和
将所述初始姿态估计设置为所述当前姿态估计。
11.根据权利要求9至10中任一项所述的方法(500),其中,将所述更新的当前姿态估计输出至所述飞机(131)的所述飞行控制计算机,以用于在不使用与所述机场相关的仪表着陆系统导航数据的情况下,在最终进场时指导所述飞机。
12.根据权利要求9至11中任一项所述的方法(500),其中,所述多个近似姿态包括许多近似姿态,并且确定(502)所述多个近似姿态包括在距所述机场跑道的当前距离减小时减少确定的所述近似姿态的数量。
13.根据权利要求9至12中任一项所述的方法(500),其中,执行(505)所述比较包括对所述实时图像和所述多个图像进行比较,以识别包括所述实时图像和所述多个图像中识别出的所述共同对象的所述最佳匹配图像的一个或多个部分,和/或其中执行(505)所述比较包括确定所述实时图像和所述多个图像之间的相关性作为在所述实时图像和所述多个图像中识别出的所述共同对象的测量。
14.根据权利要求13所述的方法(500),其中,所述实时图像和所述最佳匹配图像之间的所述相关性指示所述实时图像和所述最佳匹配图像之间的相似度水平,并且所述方法还包括:产生指示所述相似度水平的指示符给用户。
15.根据权利要求9至14中任一项所述的方法(500),还包括使用所述更新的当前姿态估计来验证用于最终进场的所述飞机(131)的自动着陆系统(141)的指令。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/227,153 | 2018-12-20 | ||
US16/227,153 US11055875B2 (en) | 2018-12-20 | 2018-12-20 | Computer-vision-based autonomous or supervised- autonomous landing of aircraft |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111352434A CN111352434A (zh) | 2020-06-30 |
CN111352434B true CN111352434B (zh) | 2023-11-28 |
Family
ID=68531427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911291921.7A Active CN111352434B (zh) | 2018-12-20 | 2019-12-16 | 支持接近机场的机场跑道的飞机的设备及方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11055875B2 (zh) |
EP (1) | EP3671397B1 (zh) |
JP (1) | JP7340440B2 (zh) |
CN (1) | CN111352434B (zh) |
CA (1) | CA3058723A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11370422B2 (en) * | 2015-02-12 | 2022-06-28 | Honda Research Institute Europe Gmbh | Method and system in a vehicle for improving prediction results of an advantageous driver assistant system |
CN112208783A (zh) * | 2020-10-19 | 2021-01-12 | 陈穗 | 一种卫星定位数字通道式飞机低可见度辅助降落装置系统 |
US20220198703A1 (en) * | 2020-12-18 | 2022-06-23 | The Boeing Company | Determining a current pose estimate of an aircraft relative to a runway to support the aircraft on approach |
CN112797982A (zh) * | 2020-12-25 | 2021-05-14 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于机器视觉的无人机自主着陆测量方法 |
US11900633B2 (en) | 2021-01-27 | 2024-02-13 | The Boeing Company | Vehicle pose determination systems and methods |
US12077314B1 (en) | 2021-04-08 | 2024-09-03 | Onstation Corporation | Transforming aircraft using low-cost attritable aircraft modified with adaptive suites |
US12002371B2 (en) * | 2021-05-14 | 2024-06-04 | Rockwell Collins, Inc. | Neuromorphic cameras for aircraft |
US12077313B1 (en) | 2021-05-28 | 2024-09-03 | Onstation Corporation | Low-cost attritable aircraft modified with adaptive suites |
CN113673417A (zh) * | 2021-08-19 | 2021-11-19 | 中国商用飞机有限责任公司 | 基于图像比对来辅助飞机地面滑行的方法和系统 |
US11995228B2 (en) | 2022-01-11 | 2024-05-28 | Rockwell Collins, Inc. | Head tracking system with extended kalman filter combining absolute and relative navigation |
CN115329932A (zh) * | 2022-08-05 | 2022-11-11 | 中国民用航空飞行学院 | 基于数字孪生的飞机着陆姿态监视方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013235367A (ja) * | 2012-05-08 | 2013-11-21 | Nec Corp | フライトパス表示システム、方法及びプログラム |
CN104340371A (zh) * | 2013-07-24 | 2015-02-11 | 空中客车营运有限公司 | 自主且自动的着陆方法和系统 |
CN104443407A (zh) * | 2013-09-25 | 2015-03-25 | 霍尼韦尔国际公司 | 在动态机场移动地图显示器上显示机场特征的系统和方法 |
CN106412230A (zh) * | 2015-07-29 | 2017-02-15 | Lg电子株式会社 | 移动终端及其控制方法 |
CN106927059A (zh) * | 2017-04-01 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 一种基于单目视觉的无人机降落方法及装置 |
CN107153422A (zh) * | 2016-03-02 | 2017-09-12 | 波音公司 | 飞机着陆系统和方法 |
CN108700892A (zh) * | 2017-09-27 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种路径调整方法及无人机 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5809171A (en) | 1996-01-05 | 1998-09-15 | Mcdonnell Douglas Corporation | Image processing method and apparatus for correlating a test image with a template |
US6980892B1 (en) * | 2003-11-18 | 2005-12-27 | Garmin International, Inc. | Avionics system and method for providing altitude alerts during final landing approach |
US20090306840A1 (en) | 2008-04-08 | 2009-12-10 | Blenkhorn Kevin P | Vision-based automated landing system for unmanned aerial vehicles |
US8332083B1 (en) * | 2008-07-03 | 2012-12-11 | Rockwell Collins, Inc. | System and method for generating a missed approach path |
EP3021306B1 (en) * | 2014-11-14 | 2020-10-28 | Airbus Defence and Space GmbH | Automatic take-off and landing control device |
-
2018
- 2018-12-20 US US16/227,153 patent/US11055875B2/en active Active
-
2019
- 2019-10-11 CA CA3058723A patent/CA3058723A1/en active Pending
- 2019-11-11 EP EP19208279.0A patent/EP3671397B1/en active Active
- 2019-12-16 CN CN201911291921.7A patent/CN111352434B/zh active Active
- 2019-12-18 JP JP2019228097A patent/JP7340440B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013235367A (ja) * | 2012-05-08 | 2013-11-21 | Nec Corp | フライトパス表示システム、方法及びプログラム |
CN104340371A (zh) * | 2013-07-24 | 2015-02-11 | 空中客车营运有限公司 | 自主且自动的着陆方法和系统 |
CN104443407A (zh) * | 2013-09-25 | 2015-03-25 | 霍尼韦尔国际公司 | 在动态机场移动地图显示器上显示机场特征的系统和方法 |
CN106412230A (zh) * | 2015-07-29 | 2017-02-15 | Lg电子株式会社 | 移动终端及其控制方法 |
CN107153422A (zh) * | 2016-03-02 | 2017-09-12 | 波音公司 | 飞机着陆系统和方法 |
CN106927059A (zh) * | 2017-04-01 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 一种基于单目视觉的无人机降落方法及装置 |
CN108700892A (zh) * | 2017-09-27 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种路径调整方法及无人机 |
Non-Patent Citations (3)
Title |
---|
Gano B.Chatterji et al..Vision-Based Position and Attitude Determination for Aircraft Night Landing.Journal of guidance, control,and dynamics.2012,第21卷(第1期),84-92. * |
Modelling Issues in Vision Based Aircraft Navigation During Landing;Tarun Soni et al.;Proceedings of the 2nd IEEE Workshop on Applications of Computer Vision;89-96 * |
基于飞行工程模拟器的视景系统有效性研究;成红芳;张登峰;李高民;;系统仿真学报;第18卷(第S2期);441-443 * |
Also Published As
Publication number | Publication date |
---|---|
JP2020114726A (ja) | 2020-07-30 |
CA3058723A1 (en) | 2020-06-20 |
US20200202559A1 (en) | 2020-06-25 |
CN111352434A (zh) | 2020-06-30 |
EP3671397A1 (en) | 2020-06-24 |
EP3671397B1 (en) | 2021-09-22 |
US11055875B2 (en) | 2021-07-06 |
JP7340440B2 (ja) | 2023-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111352434B (zh) | 支持接近机场的机场跑道的飞机的设备及方法 | |
US11586218B2 (en) | Method and apparatus for positioning vehicle, electronic device and storage medium | |
US10970541B2 (en) | Geo-registering an aerial image by an object detection model using machine learning | |
US9466107B2 (en) | Bundle adjustment based on image capture intervals | |
US20150241560A1 (en) | Apparatus and method for providing traffic control service | |
EP2458405A1 (en) | Graphics-aided remote position measurement with handheld geodesic device | |
CN108427438A (zh) | 飞行环境检测方法、装置、电子设备及存储介质 | |
CN110515390B (zh) | 飞行器自主降落方法及装置、电子设备、存储介质 | |
EP3165877A1 (en) | Systems and methods for fusing inertial and bluetooth low energy sensor data for localization | |
JP2021184280A (ja) | 航空機着陸システム及び方法 | |
CN111123340A (zh) | 物流配送导航方法及系统、近场定位导航装置、存储介质 | |
US20220373697A1 (en) | Systems and methods for determining a position of a sensor device relative to an object | |
KR20160112080A (ko) | 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법 | |
US11656365B2 (en) | Geolocation with aerial and satellite photography | |
KR20200032776A (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
CN111932611A (zh) | 物体位置获取方法和装置 | |
CN110006392A (zh) | 一种基站天线工参测量方法、装置及测量设备 | |
CN114202706A (zh) | 基于感知的飞行器自主着陆 | |
US12051162B2 (en) | Augmented reality location operation using constellation information | |
CN111367310A (zh) | 航线偏离预警方法、装置、设备及存储介质 | |
US11995778B2 (en) | Augmented reality location operation including augmented reality tracking handoff | |
US20220198703A1 (en) | Determining a current pose estimate of an aircraft relative to a runway to support the aircraft on approach | |
KR102515245B1 (ko) | 무인 비행체의 분실을 방지하는 방법 및 장치 | |
US20230386350A1 (en) | Systems and methods for indoor positioning of unmanned aerial vehicles | |
US11783575B2 (en) | Perception-based autonomous landing for aircraft |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |