CN113156990A - 用于辅助垂直起降运载器的着陆的系统和方法 - Google Patents

用于辅助垂直起降运载器的着陆的系统和方法 Download PDF

Info

Publication number
CN113156990A
CN113156990A CN202110072279.4A CN202110072279A CN113156990A CN 113156990 A CN113156990 A CN 113156990A CN 202110072279 A CN202110072279 A CN 202110072279A CN 113156990 A CN113156990 A CN 113156990A
Authority
CN
China
Prior art keywords
landing pad
data
vtol
image data
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110072279.4A
Other languages
English (en)
Inventor
阿弩普·S
穆罕默德·易卜拉欣·毛希丁
何刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN113156990A publication Critical patent/CN113156990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C29/00—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft
    • B64C29/0008—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft having its flight directional axis horizontal when grounded
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C29/00—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft
    • B64C29/0008—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft having its flight directional axis horizontal when grounded
    • B64C29/0016—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft having its flight directional axis horizontal when grounded the lift during taking-off being created by free or ducted propellers or by blowers
    • B64C29/0025—Aircraft capable of landing or taking-off vertically, e.g. vertical take-off and landing [VTOL] aircraft having its flight directional axis horizontal when grounded the lift during taking-off being created by free or ducted propellers or by blowers the propellers being fixed relative to the fuselage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/007—Helicopter portable landing pads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/20—Vertical take-off and landing [VTOL] aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明题为“用于辅助垂直起降运载器的着陆的系统和方法”。本公开涉及具有着陆辅助工具的垂直起降VTOL运载器以及相关联的方法。着陆辅助工具包括至少一个处理器，该至少一个处理器被配置为：接收来自图像捕获设备的图像数据；接收来自高度计的海拔数据；从数据库检索用于目标着陆坪的模板着陆坪图像数据；基于海拔数据缩放模板着陆坪图像数据；将所缩放的模板着陆坪图像数据与从图像捕获设备接收的图像数据进行比较以定位其中的目标着陆坪，从而提供目标着陆坪定位数据；以及基于目标着陆坪定位数据来控制VTOL运载器的功能。

Description

用于辅助垂直起降运载器的着陆的系统和方法
相关申请的交叉引用
本申请要求2020年1月22日提交的印度临时专利申请第202011002819号的优先权，该临时专利申请的全部内容以引用方式并入本文。
技术领域
本公开总体涉及用于辅助垂直起降(VTOL)运载器的着陆的系统和方法。更具体地讲，本文所描述的系统和方法提供了自动定位目标着陆坪以及基于所定位的目标着陆坪控制VTOL运载器。
背景技术
人们对由垂直起降(eVTOL)运载器，特别是电动或电动混合VTOL(eVTOL)，驱动的城市空中交通(UAM)概念的关注日益增加。美国国家航空航天局(NASA)将UAM定义为用于城市区域内航空客货运输(包括小型包裹递送和其他城市无人航空系统(UAS)服务)的安全高效系统，该系统支持机载/地面驾驶的和日益自主的操作的组合。能够实现安全、安静、高效、负担得起的规模城市空中操作的技术正在出现。此类技术使用小型高度自动化电动或混合垂直扬程飞行器。为了实现“低成本”和“轻量化”目标，航空电子硬件和软件能力应比传统航空电子系统成本低。
因此，本公开的目的是使用处理高效软件以及使用相对低成本的航空电子软件和硬件解决方案来提供用于VTOL运载器的着陆辅助工具和相关联的方法。此外，根据随后的具体实施方式和所附权利要求书，结合本公开的附图和本背景技术，本公开的其他期望的特征和特性将变得显而易见。
发明内容
本公开提供了具有着陆辅助工具的垂直起降VTOL运载器以及相关联的方法。着陆辅助工具包括至少一个处理器，该至少一个处理器被配置为：接收来自图像捕获设备的图像数据；接收来自高度计的海拔数据；从数据库检索用于目标着陆坪的模板着陆坪图像数据；基于海拔数据缩放模板着陆坪图像数据；将所缩放的模板着陆坪图像数据与从图像捕获设备接收的图像数据进行比较以定位其中的目标着陆坪，从而提供目标着陆坪定位数据；以及基于目标着陆坪定位数据来控制VTOL运载器的功能。
提供本发明内容以便以简化形式描述所选概念，这些概念在具体实施方式中进一步描述。本发明内容不旨在识别要求保护的主题的关键特征或基本特征，也不旨在用于帮助确定要求保护的主题的范围。
附图说明
下面将结合以下附图来描述本公开，其中相似数字表示相似元件，并且其中：
图1是根据本公开的包括在VTOL中的着陆辅助系统的示意图；
图2是根据本公开的着陆辅助方法的流程图；
图3是示出了根据本公开的缩放过程的示意图；并且
图4A和图4B示出了根据本公开的指示VTOL运载器相对于目标着陆坪的横向偏移/对准的示例性显示。
具体实施方式
以下具体实施方式本质上仅是示例性的，并且不旨在限制本发明或本发明的应用和使用。如本文所用，词语“示例性”是指“用作示例、实例或例证”。因此，本文中描述为“示例性”的任何实施方案不一定被理解为比其他实施方案优选或有利。本文描述的所有实施方案是为使得本领域的技术人员能够制作或使用本发明而提供的示例性实施方案，而不限制由权利要求书限定的本发明的范围。此外，不旨在受前述技术领域、背景技术、发明内容或以下具体实施方式中呈现的任何明示或暗示的理论的约束。
本文所公开的着陆协助在VTOL运载器飞行(无论是通过自动驾驶仪和/或通过地面上或空中人类飞行员控制)到目标着陆坪上方的位置并且准备好朝向VTOL运载器下方的目标着陆坪垂直下降之后生效。因此，着陆辅助工具可被认为是所谓的“最后一英里”着陆辅助工具。VTOL运载器中的任何飞行员都不会与目标着陆坪有视觉接触，并且因此将依赖于由机载摄像机捕获的图像/视频来定位目标着陆坪。飞行员和/或自动驾驶仪将使用来自摄像机的成像数据来首先横向对准VTOL运载器并且然后继续垂直下降。特别是对于人类飞行员而言，所显示的图像针对执行横向对准和垂直下降的可靠性变得取决于运载器与着陆区域之间的距离和可见度。对于自动驾驶仪，定位目标着陆坪以便提供引导VTOL运载器的目标。本公开提出使用表征目标着陆坪的形状和尺寸的预先存储模板着陆坪来处理所捕获的图像以定位目标着陆坪。本公开提出利用来自高度计的高度量度来执行预先存储模板与所捕获的图像之间的匹配。在处理所捕获的图像以定位目标着陆坪时，来自高度计的准确高度量度用于缩放预先存储模板。
图1描绘了与VTOL运载器12相关联或被包括在该VTOL运载器内的着陆辅助系统10的示例性实施方案。系统10的该实施方案包括但不限于摄像机14、导航数据库16、高度计18、处理系统20、显示系统22、自动驾驶仪系统24、图像处理系统26、全球定位系统模块28和显示生成模块30。应当理解，图1是着陆系统10的简化表示，并且图1并不旨在以任何方式限制主题的应用或范围。在实践中，系统10和/或VTOL 12将包括用于提供附加功能和特征的许多其他设备和部件，如本领域中将理解的。
VTOL运载器12是可垂直地悬停、起飞和着陆的运载器。VTOL运载器可包括各种类型的飞行器，包括固定翼飞行器以及直升机和具有动力转子的其他飞行器，诸如旋翼机/旋翼直升机和倾转旋翼机。VTOL运载器12可为电动或混合式电动垂直起降飞行器eVTOL，或者可以其他方式驱动。VTOL运载器12可为人类驾驶(基于地面或基于驾驶舱)的飞行器(通常在自动驾驶仪系统24的协助下)或无人驾驶飞行器(无人机)。在实施方案中，VTOL运载器12是乘客航空器(PAV)或不运载乘客(例如，货机)。在实施方案中，VTOL运载器12是旋翼飞行器。
着陆辅助系统10包括摄像机14，该摄像机用于捕获至少VTOL运载器12下方的区域的静态图像或视频。在实施方案中，摄像机14被配置为特别是在VTOL运载器12位于目标着陆坪的近侧时捕获图像(静态图像或作为视频的一部分)，以便提供包括目标着陆坪的图像的图像数据。在一些实施方案中，摄像机14被配置为在基于如根据来自全球定位系统模块28的数据确定的VTOL运载器12的位置相对于如从导航数据库16检索到的已知着陆坪坐标而实现与着陆坪的预定接近度时变得活动。在实施方案中，摄像机14是单目摄像机。然而，其他视觉摄像机也是可能的，包括立体摄像机、成像激光雷达摄像机、红外摄像机等。摄像机14可包括多个摄像机，包括不同类型摄像机(诸如上文所描述的那些)的组合。
着陆辅助系统10包括用于测量VTOL运载器12的海拔的高度计18。高度计18输出表示VTOL运载器12在基于地面的表面上方的高度的海拔数据。在其他实施方案中，参考海平面提供海拔数据。在实施方案中，高度计18是无线电高度计。然而，设想了其他类型的高度计18，诸如雷达高度计、激光雷达高度计、声波高度计或基于大气压力的高度计或者具有与着陆点并置的发射器的基于差分信号的设备。在实施方案中，高度计18能够提供比从全球定位系统模块28获得的高度数据更高精度的海拔数据。
图像处理系统26被配置为处理来自摄像机14的图像，利用来自高度计18的海拔数据，以便更有效地定位图像中的目标着陆坪。在实施方案中，图像处理系统26被配置为接收来自摄像机14的每个图像(或以设定的采样速率接收来自摄像机14的图像)以及接收来自导航数据库16的模板着陆坪图像。图像处理系统26被配置为基于海拔数据缩放模板着陆坪图像。更具体地讲，根据海拔数据，VTOL运载器12越高，则在模板着陆坪图像上进行的标度变换越小。图3中示出了模板着陆坪图像的示例性缩放，其中随着VTOL运载器12的海拔减小，所缩放的模板着陆坪图像200被变换成越来越大的尺寸。在实施方案中，图像处理系统26被配置为执行图像比较算法，该图像比较算法将所缩放的模板着陆坪图像与来自摄像机14的图像进行比较。目标着陆坪将仅构成来自摄像机14的图像的一部分，并且图像比较算法被配置为使用所缩放的模板着陆坪图像在来自摄像机14的图像数据中的图像空间中搜索任何匹配图像以及输出指定目标着陆坪在来自摄像机14的图像中的位置的定位数据。通过使用模板着陆坪的缩放版本，已经从比较算法中去除自由度，使得比较过程更高效和准确，从而允许更快的响应时间和/或更低的处理能力。当VTOL运载器12的姿态可能不完全垂直于固定安装摄像机的着陆图像时，图像处理算法可进一步以非均匀方式缩放图像。在这种情况下，VTOL运载器12可俯仰以抵抗某些风效应，沿着接近方向缩放的图像可以略大于垂直于接近方向缩放的图像，以便生成与所存储的模板进行比较的图像。
在实施方案中，图像处理系统26包括缩放模块34，该缩放模块被配置为基于海拔数据缩放输入模板着陆坪以及输出所缩放的模板着陆坪200，如图3所例示。可以使用任何已知的缩放算法，诸如确定与VTOL运载器12的海拔成比例的缩放参数并且将从导航数据库16检索到的模板着陆坪的宽度和高度乘以该缩放参数的缩放算法。在一些实施方案中，根据来自高度计18的海拔数据调节缩放模块34所使用的海拔数据，以考虑目标着陆坪在地面上方的高度。即是说，目标着陆坪在地面上方的高度是由从导航数据库16获得的该目标着陆坪的数据已知，并且VTOL运载器12在地面上方的高度是由来自高度计的海拔数据已知。VTOL运载器12在目标着陆坪上方的高度是由图像处理系统26通过从VTOL运载器12在地面上方的海拔减去目标着陆坪在地面上方的高度来确定，然后将其用于确定缩放参数。
在实施方案中，图像处理系统26包括匹配模块32，该匹配模块被配置为执行上述比较过程，具体地讲，接收所缩放的模板着陆坪和来自摄像机14的图像，执行这两者间的比较，以及输出表示图像空间中对应于所识别的目标着陆坪的局部区域的定位数据。在实施方案中，匹配模块32被配置为执行图像匹配算法，诸如模板匹配算法。各种模板匹配算法在本领域中是已知的。可使用基于特征的模板匹配算法或基于区域的模板匹配算法。模板匹配算法可使用互相关函数或归一化互相关函数来确定表示所缩放的模板着陆坪与所捕获图像的所选择区域之间的相似性的相似性得分。模板匹配函数可在整个图像搜索空间中执行此类模板匹配，以便基于相似性得分找出最高匹配区域或点。在一些实施方案中，模板匹配算法还考虑所缩放的目标模板着陆坪的多个旋转实例，使得在图像空间中对最高匹配的搜索涵盖所缩放的目标模板着陆坪的多个旋转版本。这样，无论目标着陆坪在来自摄像机14的图像中的角度如何，匹配算法都是操作性的。基于从相似性得分找出最高匹配点或区域，模板匹配算法输出表示图像中对应于目标着陆坪的位置或区域的定位数据。在一些实施方案中，可通过附加图像处理步骤，诸如通过使用基于边缘的匹配，进一步提高匹配模块32的效率，其中提取来自摄像机14的图像中的目标着陆坪的边缘和来自模板着陆坪的边缘，以用于更高效的比较过程。由图像处理系统26对来自摄像机14的图像执行的其他图像处理步骤可包括灰度转换、阈值化和噪声过滤，以提高图像处理效率。
根据各种实施方案，着陆辅助系统10包括导航数据库16，该导航数据库存储由包括自动驾驶仪系统24和图像处理系统26在内的各种航空电子系统使用的导航数据。在实施方案中，飞行计划被存储在导航数据库16中，该飞行计划包括从起飞到着陆的路点的描述。在实施方案中，导航数据库26包括描述目标着陆坪的位置(诸如目标着陆坪的坐标)的数据和模板着陆坪图像数据。在一些实施方案中，直升机机场可具有多个着陆坪，每个着陆坪由着陆坪上标记的着陆坪ID识别。导航数据库16被配置为存储模板着陆坪图像以及相关联的ID(例如，作为图像)，使得图像处理系统26不仅可以定位目标着陆坪，而且还可以从特定直升机机场处的多个目标着陆坪识别正确的ID。导航数据库16可存储多种不同类型的模板着陆坪，并且图像处理系统26可基于每种模板类型来执行模板匹配，或者导航数据库16可识别与目标着陆坪数据段相关联的模板着陆坪类型。
根据各种实施方案，着陆辅助系统10包括自动驾驶仪系统24，该自动驾驶仪系统被配置为使VTOL运载器12沿着从导航数据库16获得的飞行路径飞行。自动驾驶仪系统24被配置为使任务自动化，诸如维持海拔、上升或下降到指定海拔、转向和维持指定航向、拦截航线以及在构成飞行计划的各路点之间引导VTOL运载器12。自动驾驶仪系统24可完全自主地操作或使用不同程度的人类飞行员协助。在实施方案中，自动驾驶仪系统24被配置为从全球定位系统模块28获得全球位置数据以及基于该数据沿着飞行路径跟踪VTOL运载器12。自动驾驶仪系统24被配置为控制VTOL运载器12的各种致动器，诸如独立控制多个转子的旋转速度。自动驾驶仪系统24或着陆辅助系统10的一些其他子系统被配置为基于来自导航数据库16的目标着陆坪的已知位置和使用全球定位系统模块28的数据确定的VTOL运载器12的位置来确定VTOL运载器12何时位于与目标着陆坪的预定接近度内。在具体的示例性实施方案中，预定接近度可为约一英里。当已经确定预定接近度时，激活图像处理系统26以开始搜索和定位来自摄像机14的图像中的目标着陆坪。在一些实施方案中，自动驾驶仪系统24使用表示目标着陆坪的位置的定位数据，以便在着陆时在垂直下降期间自动控制横向定位。即是说，自动驾驶仪系统24被配置为通过执行变换功能将来自图像处理系统26的定位数据变换成现实世界坐标以及基于该真实世界坐标导航VTOL运载器12。
在一些实施方案中，着陆辅助系统10包括显示生成模块30，该显示生成模块被配置为生成以图形方式突出显示目标着陆坪的位置的显示。在一些实施方案中，显示生成模块30被配置为指示VTOL运载器12和目标着陆坪在垂直下降以着陆期间的相对横向对准。在实施方案中，显示生成模块被配置为接收来自摄像机14的图像和来自图像处理系统26的定位数据，以及用图形或其他显示特征增强来自摄像机14的图像以突出显示目标着陆坪，以及任选地还用图形或其他显示特征指示VTOL运载器12与目标着陆坪的相对对准。在一个实施方案中，显示生成模块30被配置为确定从目标着陆坪到如由来自全球定位系统模块28的数据已知的VTOL运载器12的位置的3D体积的投影。3D体积具有与目标着陆坪相同的尺寸轮廓，从而允许VTOL运载器位置与要计算的投影之间的相对对准或重叠。图4A和图4B中示出了由显示生成模块30生成的示例性显示，其包括目标着陆坪300的表示、VTOL运载器12的表示和3D体积320的投影的表示。在图4A中，显示以图形方式示出了相对于3D投影以及因此相对于目标着陆坪300的横向未对准的VTOL运载器12，因为VTOL运载器12仅部分地位于3D体积320之内或位于其之外。在图4B中，显示示出了横向对准的VTOL运载器12和目标着陆坪300，使得VTOL运载器12位于3D体积320的轮廓内。设想了其他显示，这些显示提供了来自摄像机14的图像的不同增强以突出显示目标着陆坪300的位置和其与VTOL运载器12的相对横向对准。在一些示例性显示中，从导航数据库16获得目标着陆坪300和其周围环境(例如建筑物)的图像数据，以便在着陆期间生成合成视觉显示，该合成视觉显示在着陆期间提供来自摄像机14的图像的深度增强。在一些实施方案中，自动驾驶仪系统24使用投影方法来确定在着陆期间在垂直下降期间VTOL运载器12之间的横向偏移或对准，以控制VTOL运载器12的横向位置。
在示例性实施方案中，着陆辅助系统10包括显示系统22，该显示系统包括用于从显示生成模块30输出呈现的一个或多个显示设备。在实施方案中，一个或多个显示设备远离VTOL运载器12定位或者位于VTOL运载器12的驾驶舱中或这两者的组合。例如，显示系统22的显示设备可被包括在手持设备附近，以用于远程控制VTOL运载器12的移动。
系统100还包括处理系统20，该处理系统包括一个或多个处理器，该一个或多个处理器被配置为执行存储在非暂态存储器(未示出)上的计算机编程指令。着陆辅助系统10的功能和方法50的步骤(图2)由处理系统20的一个或多个处理器和相关联的计算机编程指令执行。如本文所描述的模块和处理系统20是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其他合适部件。
虽然着陆辅助系统10在本文中被描述为位于VTOL运载器12中，但应当理解，VTOL运载器12可使用远程或云处理能力和数据源。如此，相对于VTOL运载器12所描述的一个或多个部件可能不一定位于VTOL运载器12上。
图2是示出了根据各种实施方案的用于向VTOL运载器12提供着陆协助的示例性方法50的流程图。方法50的步骤由执行计算机编程指令的处理系统20(图1)执行。在一些实施方案中，当基于来自全球定位系统模块28的VTOL运载器12的位置和从导航数据库16检索的目标着陆坪的位置确定VTOL运载器12在目标着陆坪的预定接近度内时，方法50开始。
方法50包括各种步骤，这些步骤用于基于从高度计18接收的海拔数据缩放模板着陆坪图像以及在匹配算法中使用所缩放的图像来定位和识别从摄像机14接收的图像中的目标着陆坪。如此识别的目标着陆坪可用于在着陆期间生成显示和/或引导VTOL运载器12，这是作为一个运载器控制示例，还存在其他可能性。
在示例性实施方案中，方法50包括摄像机14捕获包括目标着陆坪的图像的步骤52和高度计18测量高度的步骤54。进一步地，从导航数据库16检索模板着陆坪56的图像。在实施方案中，模板着陆坪图像作为数据段连同着陆坪的全球坐标被包括在导航数据库16中，该全球坐标已允许VTOL运载器12使用自动驾驶仪系统24导航到目标着陆坪。这样，图像处理系统26接收来自摄像机14的图像数据、来自高度计18的海拔数据和来自导航数据库16的模板着陆坪图像数据。
方法50包括经由缩放模块34与VTOL运载器12在目标着陆坪上方的相对高度成比例地缩放模板着陆坪的步骤58，该相对高度是基于海拔数据。在实施方案中，从VTOL运载器12的海拔减去由导航数据库16已知的目标着陆坪在地面上方的高度，以确定VTOL运载器12在目标着陆坪上方的高度。
根据各种实施方案，方法50还包括经由匹配模块32使用模板匹配算法或其他图像匹配算法在由摄像机14捕获的图像中定位目标着陆坪的步骤60。在实施方案中，模板匹配算法搜索来自摄像机14的图像的图像空间以确定与所缩放的模板着陆坪的最佳匹配，从而在图像中识别和定位目标着陆坪。
在步骤62中，基于从步骤60获得的定位数据来控制VTOL运载器12的功能。在一个实施方案中，自动驾驶仪系统24基于定位数据(具体地讲，其现实世界坐标变换)相对于目标着陆坪横向地对准VTOL运载器12。在附加或另选实施方案中，经由显示生成模块30生成显示，从而提供关于VTOL运载器12与目标着陆坪之间的相对横向对准的指导，诸如通过在高度方向上从目标着陆坪延伸出去的3D投影体积的显示以及VTOL运载器12相对于3D投影体积的显示，例如如图4A和图4B所示。在其他实施方案中，显示可包括对对准或未对准的指示以及当存在未对准时对实现与目标着陆坪对准所需的横向移动的距离和方向的指示。
根据本文所描述的实施方案，提供了低成本着陆辅助工具，其将有助于VTOL运载器(例如，eVTOL运载器)安全地着陆在目标着陆坪上。因此，本公开提出了使用摄像机和高度计(例如，无线电高度计)的低成本传感器组合来提供“最后一英里”横向和垂直着陆协助。
根据本文所描述的一个实施方案，摄像机14(例如，单目摄像机14)与低成本高度计14组合操作，由摄像机14初始地捕获VTOL运载器12下方的图像。处理系统20利用由高度计18测得的高度信息执行模板匹配。在一些实施方案中，产生增强图像，该增强图像突出显示目标着陆坪，如通过模板匹配所检测到的，以协助机组人员将VTOL运载器12横向地对准。通过示例的方式提供的用于协助机组人员确定横向对准的一种直观方式是参考从目标着陆坪300向上投影的3D体积320来呈现自有位置。其他替代表示包括但不限于显示系统22的飞行员显示器上的常规横向偏差标度指示。一旦建立了横向对准，机组人员(通过机组人员控制装置(未示出))和/或自动驾驶仪系统24可使用来自高度计18的高度量度开始垂直下降。
已就功能和/或逻辑块部件以及各种处理步骤方面描述了着陆辅助系统10的实施方案。应当理解，此类块部件可以通过被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开内容的实施方案可以采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行多种功能。此外，本领域的技术人员将会知道，本公开的实施方案可以与任何数量的系统结合实施，并且本文所述的系统仅仅是本公开的示例性实施方案。
为了简洁起见，本文不再详细描述与信号处理、数据传输、信令传送、控制和系统的其他功能方面(以及系统的各个操作部件)相关的常规技术。此外，本文所包含的各种附图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理耦接。应当指出的是，许多另选的或附加的功能关系或物理连接可存在于本公开的实施方案中。
在此提供的使用案例和描述本质上仅为示例性的。应当能够使用不同的符号和语义来实现本文所描述的相同概念。
在本文件中，关系术语诸如第一和第二等，可以仅用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示此类实体或动作之间的任何实际的此类关系或顺序。除非明确地由权利要求书语言限定，否则数字序数诸如“第一”、“第二”、“第三”等仅表示多个中的不同个体，并且不暗示任何顺序或序列。除非明确地由权利要求书的语言限定，否则任何权利要求书中的文本的序列不暗示必须根据此类序列以时间或逻辑顺序执行处理步骤。在不脱离本发明的范围的情况下，方法步骤可以任何顺序互换，只要此类互换不与权利要求语言矛盾并且不是逻辑上荒谬的。
此外，取决于上下文，在描述不同元件之间的关系时使用的诸如“连接”或“耦接到”的词语不暗示必须在这些元件之间进行直接物理连接。例如，两个元件可以通过一个或多个附加元件物理地、电子地、逻辑地或以任何其他方式彼此连接。
虽然在本发明的前述具体实施方式中已呈现了至少一个示例性实施方案，但是应当理解存在大量的变型形式。还应当理解，一个示例性实施方案或多个示例性实施方案仅是示例，并且不旨在以任何方式限制本发明的范围、适用性或构造。相反，前述具体实施方式将为本领域的技术人员提供一种用于实现本发明的示例性实施方案的便利路线图。在不脱离如所附权利要求书中阐述的本发明的范围的情况下，可对示例性实施方案中描述的元件的功能和布置进行各种改变。

Claims (10)

1.一种垂直起降VTOL运载器，所述运载器包括：
图像捕获设备；
高度计；
数据库，所述数据库存储用于至少一个模板着陆坪的模板着陆坪图像数据；和
至少一个处理器，所述至少一个处理器能够与所述图像捕获设备、所述数据库和所述高度计操作地通信，其中所述至少一个处理器被配置为：
接收来自所述图像捕获设备的图像数据；
接收来自所述高度计的海拔数据；
从所述数据库检索用于目标着陆坪的模板着陆坪图像数据；
基于所述海拔数据缩放所述模板着陆坪图像数据；
将所缩放的模板着陆坪图像数据与从所述图像捕获设备接收的所述图像数据进行比较以定位其中的所述目标着陆坪，从而提供目标着陆坪定位数据；以及
基于所述目标着陆坪定位数据来控制所述VTOL运载器的功能。
2.根据权利要求1所述的VTOL运载器，其中所述至少一个处理器被配置为通过基于所述目标着陆坪定位数据执行自动驾驶仪功能来控制所述VTOL运载器的功能。
3.根据权利要求1所述的VTOL运载器，其中所述至少一个处理器被配置为通过基于所述目标着陆坪定位数据生成增强显示来控制所述VTOL运载器的功能，所述增强显示包括基于所述图像数据的图像和指示所述目标着陆坪的位置的增强。
4.根据权利要求3所述的VTOL运载器，其中所述增强包括对所述VTOL运载器相对于所述目标着陆坪的横向对准的指示。
5.根据权利要求4所述的VTOL运载器，其中所述至少一个处理器被配置为基于所述目标着陆坪定位数据从所述目标着陆坪投影3D体积以及确定对所述VTOL运载器相对于所投影的3D体积的横向偏移的所述指示。
6.根据权利要求5所述的VTOL运载器，其中所述至少一个处理器被配置为显示指示所述VTOL运载器位置、所述3D体积和所述目标着陆坪的图形。
7.根据权利要求1所述的VTOL运载器，其中所述至少一个处理器被配置为使用模板匹配算法来将所缩放的模板着陆坪图像数据与从所述图像捕获设备接收的所述图像数据进行比较。
8.根据权利要求1所述的VTOL运载器，其中所述至少一个处理器被配置为使用结合所述模板着陆坪图像数据的旋转的模板匹配算法来将所缩放的模板着陆坪图像数据与从所述图像捕获设备接收的所述图像数据进行比较。
9.根据权利要求1所述的VTOL运载器，其中所述至少一个处理器被配置为：从所述数据库访问用于所述目标着陆坪的位置数据；接收表示所述VTOL运载器的位置的全球定位系统数据；以及当所述VTOL运载器在所述目标着陆坪的预定接近度内时，基于所述位置数据和所述全球定位系统数据来发起所缩放的模板着陆坪图像数据与从所述图像捕获设备接收的所述图像数据的比较。
10.一种用于在垂直起降VTOL运载器中提供着陆协助的方法，所述方法包括：
由至少一个处理器接收来自图像捕获设备的图像数据；
由所述至少一个处理器接收来自高度计的海拔数据；
由所述至少一个处理器从数据库检索用于目标着陆坪的模板着陆坪图像数据；
由所述至少一个处理器基于所述海拔数据缩放所述模板着陆坪图像数据；
由所述至少一个处理器将所缩放的模板着陆坪图像数据与从所述图像捕获设备接收的所述图像数据进行比较以定位其中的所述目标着陆坪，从而提供目标着陆坪定位数据；以及
由所述至少一个处理器基于所述目标着陆坪定位数据来控制所述VTOL运载器的功能。
CN202110072279.4A 2020-01-22 2021-01-19 用于辅助垂直起降运载器的着陆的系统和方法 Pending CN113156990A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN202011002819 2020-01-22
IN202011002819 2020-01-22
US17/062,781 US11670181B2 (en) 2020-01-22 2020-10-05 Systems and methods for aiding landing of vertical takeoff and landing vehicle
US17/062,781 2020-10-05

Publications (1)

Publication Number Publication Date
CN113156990A true CN113156990A (zh) 2021-07-23

Family

ID=76857228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110072279.4A Pending CN113156990A (zh) 2020-01-22 2021-01-19 用于辅助垂直起降运载器的着陆的系统和方法

Country Status (2)

Country Link
US (1) US11670181B2 (zh)
CN (1) CN113156990A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977379B2 (en) 2021-11-19 2024-05-07 Honeywell International Inc. Apparatuses, computer-implemented methods, and computer program product to assist aerial vehicle pilot for vertical landing and/or takeoff

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465066B1 (ko) * 2017-12-18 2022-11-09 삼성전자주식회사 무인 비행체 및 그의 동작 방법, 그리고 상기 무인 비행체의 이동을 제어하기 위한 무인 운반체
EP4089012A4 (en) * 2020-01-07 2023-10-04 A.L.I. Technologies Inc. AIRCRAFT AND SYSTEM
EP4187207A1 (en) * 2021-11-19 2023-05-31 Honeywell International Inc. Apparatuses, computer-implemented methods, and computer program product to assist aerial vehicle pilot for vertical landing and/or takeoff
US11790790B2 (en) 2022-01-13 2023-10-17 Beta Air, Llc Methods and apparatuses for generating an electric aircraft flight plan
US20240346934A1 (en) * 2023-04-11 2024-10-17 Honeywell International Inc. Stopping indicator system on three-dimensional vehicle display

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019490B2 (en) * 2006-09-29 2011-09-13 Applied Minds, Llc Imaging and display system to aid helicopter landings in brownout conditions
DE102009060901A1 (de) 2009-12-31 2011-07-07 Deutsches Zentrum für Luft- und Raumfahrt e.V., 51147 Landehilfseinrichtung
CN105182994B (zh) 2015-08-10 2018-02-06 普宙飞行器科技（深圳）有限公司 一种无人机定点降落的方法
DK3497530T3 (da) * 2016-08-26 2021-09-06 Sz Dji Technology Co Ltd Fremgangsmåder og system til selvstyrende landing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977379B2 (en) 2021-11-19 2024-05-07 Honeywell International Inc. Apparatuses, computer-implemented methods, and computer program product to assist aerial vehicle pilot for vertical landing and/or takeoff

Also Published As

Publication number Publication date
US11670181B2 (en) 2023-06-06
US20210225180A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
US11670181B2 (en) Systems and methods for aiding landing of vertical takeoff and landing vehicle
AU2022291653B2 (en) A backup navigation system for unmanned aerial vehicles
US11604479B2 (en) Methods and system for vision-based landing
US11017679B2 (en) Unmanned aerial vehicle visual point cloud navigation
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
US20180073876A1 (en) Autonomous Vehicle Navigation System and Method
US20200118450A1 (en) Autonomous path planning
WO2018226253A1 (en) Millimeter-wave terrain aided navigation system
CN105352495A (zh) 加速度与光流传感器数据融合无人机水平速度控制方法
US11987382B2 (en) Method for aircraft localization and control
US11181934B1 (en) Systems and methods for predicting ground effects along a flight plan
US11587449B2 (en) Systems and methods for guiding a vertical takeoff and landing vehicle to an emergency landing zone
EP4032813A1 (en) Computer vision systems and methods for aiding landing decision
US20230021088A1 (en) Systems and methods for an actionable cockpit of an aircraft
US20240248470A1 (en) Apparatuses, computer-implemented methods, and computer program product to assist aerial vehicle pilot for vertical landing and/or takeoff
Xia et al. Integrated emergency self-landing method for autonomous uas in urban aerial mobility
EP3869486A1 (en) Systems and methods for guiding a vertical takeoff and landing vehicle to an emergency landing zone
Bodunkov et al. Autonomous landing-site selection for a small drone
RU2773978C1 (ru) Способ точной посадки беспилотного летательного аппарата и устройство для реализации способа
US11977379B2 (en) Apparatuses, computer-implemented methods, and computer program product to assist aerial vehicle pilot for vertical landing and/or takeoff
US11851215B2 (en) Systems and methods for calibrating a synthetic image on an avionic display
US20230023069A1 (en) Vision-based landing system
JPH0663500U (ja) 航空機の自動着陸装置
CN111897366A (zh) 多尺度、多手段融合的无人机轨迹规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination