CN110751860A - 用于自主机场跑道导航的系统、方法和计算机可读介质 - Google Patents

用于自主机场跑道导航的系统、方法和计算机可读介质 Download PDF

Info

Publication number
CN110751860A
CN110751860A CN201910652835.8A CN201910652835A CN110751860A CN 110751860 A CN110751860 A CN 110751860A CN 201910652835 A CN201910652835 A CN 201910652835A CN 110751860 A CN110751860 A CN 110751860A
Authority
CN
China
Prior art keywords
aircraft
sensor
runway
sensor data
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910652835.8A
Other languages
English (en)
Other versions
CN110751860B (zh
Inventor
S·丹姆
D·D·马格尼特
N·S·埃文斯
T·C·斯泰丁格
B·K·鲁普尼克
M·A·莫泽
K·S·卡拉汉
B·T·怀特海德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN110751860A publication Critical patent/CN110751860A/zh
Application granted granted Critical
Publication of CN110751860B publication Critical patent/CN110751860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G08G5/065—Navigation or guidance aids, e.g. for taxiing or rolling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0083—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots to help an aircraft pilot in the rolling phase
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于自主机场跑道导航的系统、方法和计算机可读介质，示例性实施方式涉及自主机场跑道导航。示例系统包括分别在第一方位和第二方位处耦合到飞机的第一传感器和第二传感器，以及经配置以从第一传感器和第二传感器中的一个或两个接收传感器数据以检测位于跑道附近的机场标记的计算系统。计算系统还配置为基于机场标记识别跑道的中心线，并从第一传感器和第二传感器两者接收传感器数据，以确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。计算系统还配置为控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的调整。

Description

用于自主机场跑道导航的系统、方法和计算机可读介质
背景技术
机场为一个综合体，其通常包括建筑物和一系列地面路径和跑道，地面路径和跑道可使飞机能够在建筑物之间导航，以便在进行起飞前或完成着陆之后容纳乘客。各种类型的飞机通常位于机场，一些飞机停靠在机场以装载乘客，而另一些飞机则使用跑道启动飞行或进行着陆。由于在任何给定时间机场均有大量的飞机，并且高速飞机在着陆期间或起飞后在跑道上行驶，因此在不同的地面路径、滑行道和跑道上导航时安全地控制飞机很重要。
在机场地面导航期间，飞机通常由飞行员控制，飞行员可依靠机场标记进行引导。机场标记，诸如位于地面路径附近的标志以及涂在跑道、滑行道和地面路径上的各种表面线和标记，提供方向和指示，该方向和指示可帮助飞行员确定导航飞机的适当航线和速度。例如，在将停靠的飞机从乘客登机桥导航到跑道以准备和执行起飞时，飞行员可遵循机场标记，包括位于路径和跑道上的中心线和边界。
发明内容
在一个示例中，描述了一种系统。该系统包括在第一位置处耦合到飞机的第一传感器、在第二位置处耦合到飞机的第二传感器以及计算系统。计算系统经配置以从第一传感器和第二传感器中的一个或两个接收包括传感器数据的第一组传感器数据，并使用第一组传感器数据检测位于跑道附近的一个或多个机场标记。飞机位于跑道上。计算系统还经配置以基于一个或多个机场标记识别跑道的中心线，并接收包括来自第一传感器和第二传感器两者的传感器数据的第二组传感器数据。计算系统还经配置以使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。基于如来自第一传感器的传感器数据中表示的参考点相对于跑道的中心线的第一位置与如来自第二传感器的传感器数据中表示的参考点相对于跑道的中心线的第二位置的比较而确定横向位移。计算系统还经配置以提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。
在另一个示例中，描述了一种方法。该方法包括在计算系统处接收第一组传感器数据。第一组传感器数据包括来自在第一位置处耦合到飞机的第一传感器和在第二位置处耦合到飞机的第二传感器中的一个或两个的传感器数据。该方法还包括由计算系统使用第一组传感器数据检测位于跑道附近的一个或多个机场标记。飞机位于跑道上。该方法包括基于一个或多个机场标记识别跑道的中心线并在计算系统处接收第二组传感器数据。第二组传感器数据包括来自第一传感器和第二传感器两者的传感器数据。该方法还包括由计算系统使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。基于如来自第一传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第一位置与如来自第二传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第二位置的比较而确定横向位移。该方法还包括由计算系统提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。
在另一示例中，描述了一种非暂时性计算机可读介质。非暂时性计算机可读介质经配置以存储指令，该指令在由计算系统执行时使计算系统能够执行操作。操作包括接收第一组传感器数据。第一组传感器数据包括来自在第一位置处耦合到飞机的第一传感器和在第二位置处耦合到飞机的第二传感器中的一个或两个的传感器数据。操作还包括使用第一组传感器数据检测位于跑道附近的一个或多个机场标记。飞机位于跑道上。操作包括基于一个或多个机场标记识别跑道的中心线并接收第二组传感器数据。第二组传感器数据包括来自第一传感器和第二传感器两者的传感器数据。操作包括使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。基于如来自第一传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第一位置与如来自第二传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第二位置的比较而确定横向位移。该操作还包括提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。
已论述的特征、功能和优点可在各种示例中独立地实现，或者可在其他示例中组合，其另外的细节可参考以下描述和附图看出。
附图说明
被认为是说明性示例的特性的新颖特征在所附权利要求中阐述。然而，当结合附图阅读时，通过参考本公开的说明性示例的以下详细描述，将最好地理解说明性示例以及其优选使用模式、进一步目标和描述，其中：
图1为描绘根据示例实施方式的系统的框图。
图2示出根据示例实施方式的耦合到飞机的系统。
图3示出根据示例实施方式的耦合到飞机的系统的另一视图。
图4示出根据示例实施方式的飞机的参考点的第一视角(perspective)，该参考点对应于耦合到飞机的第一传感器。
图5示出根据示例实施方式的飞机的参考点的第二视角，该参考点对应于耦合到飞机的第二传感器。
图6示出根据示例实施方式的使用耦合到飞机的第一传感器的参考距离分析。
图7示出根据示例实施方式确定飞机的参考点与跑道的中心线之间的横向位移。
图8示出根据示例实施方式使用一组传感器数据检测位于跑道附近的机场标记。
图9示出根据示例实施方式的跑道的交叉点的识别。
图10示出根据示例实施方式的跑道的中心线中的间隙的检测。
图11示出根据示例实施方式的基于机场标记的跑道边界的识别。
图12示出根据示例实施方式的飞机上的传感器位置。
图13示出根据示例实施方式的方法的流程图。
图14示出根据示例实施方式的与图13中示出的方法一起使用的另一方法的流程图。
图15示出根据示例实施方式的与图13中所示的方法一起使用的另一方法的流程图。
图16示出根据示例实施方式的与图13中示出的方法一起使用的另一方法的流程图。
图17示出根据示例实施方式的与图13中示出的方法一起使用的另一方法的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述所公开的示例，附图中示出所公开示例中的一些但不为所公开示例中的所有。实际上，可描述几个不同的示例，并且不应将其解释为限于本文所阐述的示例。相反，描述这些示例使得本公开将为彻底和完整的，并且将向本领域技术人员充分传达本公开的范围。
飞机在机场或类似场地的地面导航通常涉及飞行员使用机场标记(诸如沿可用的地面路径、滑行道和跑道绘制的标志和各种表面线)的引导而控制飞机。飞行员可基于位于地面路径上或沿地面路径的标志、路径边界和表面标记而观察和控制飞机，同时还识别飞机环境中的潜在障碍物(例如，其他飞机、车辆和人)。各种标志和其他机场标记可作为航路点，航路点帮助飞行员在机场的总体环境中识别飞机的整体位置。例如，飞行员可基于由标志和其他机场标记提供的信息确定在朝向建筑物导航的路径上的飞机放下乘客或靠近特定跑道。因此，尽管飞行员可在地面上的飞行之间熟练且安全地导航飞机，但是飞机的地面导航依赖于飞行员观察周围环境所提供的技能和决策。
本文给出的示例实施方式描述了用于自主机场跑道导航的系统、方法和计算机可读介质，诸如飞机在跑道上的自主操作。一些示例涉及在机场或类似环境中，以可协助飞行员进行地面导航的方式开发并向控制地面上的飞机的飞行员提供信息。例如，该系统可包括传感器和计算系统，该传感器经配置以获得表示飞机的前向环境的传感器数据，该计算系统处理传感器数据以开发并提供具有可协助飞行员的格式的传感器数据。在一些情况下，系统可使用传感器数据以形成控制指令，该控制指令包括用于在后续导航期间沿期望路径使飞机居中的调整。例如，控制指令可指定调整，该调整修改飞机的取向以使飞机与路径的中心(例如，跑道的中心线)对齐。
一些示例涉及使用传感器数据以开发控制指令，该控制指令可使飞机能够以半自主或完全自主模式导航。当控制指令在地面导航期间启用飞机的半自主操作时，系统可经配置以使得飞行员能够保持对导航的某些方面的控制，同时控制指令使飞机的系统执行其他控制操作。例如，控制指令可在地面导航期间调整飞机的取向以保持在地面路径上的中心，从而避免偏离路径导航，同时使飞行员能够控制速度、制动和其他控制。
当控制指令在地面导航期间启用完全自主模式时，飞机的系统可使用由系统开发的控制指令以安全地导航飞机而无需来自飞行员的输入。该系统可经配置以检测跑道和路径，并进一步使飞机以完全自主模式操作时根据机场标记进行导航。由此，在飞机的地面导航的半自主和完全自主模式中，该系统可经配置以使飞行员能够承担控制并且否决飞机的自动控制。
为了检测期望的路径并理解环境，示例系统可使用各种传感器，诸如相机(例如，热成像相机、RGB相机)、雷达、光探测和测距(LIDAR)或不同传感器的组合，而捕获飞机的导航路径中的机场标记和物体的传感器数据。所使用的传感器的类型、位置和数量可在各示例中有所不同。一个或多个传感器可在能够测量飞机附近区域的位置处耦合到飞机，诸如飞机的前向环境，该前向环境包括飞机正在上面行进的地面路径。为了说明示例布局，用于飞机的地面导航的系统可包括耦合在飞机的第一机翼上的第一传感器和耦合在飞机的第二机翼上的第二传感器。在示例布局中，两个传感器均可经取向以测量飞机的前向路径，以使得系统内的计算系统能够基于获得的传感器进行计算机视觉处理，以便估计物体、人和机场标记(例如，标志、表面线)相对于飞机的位置。
可以各种方式布置传感器以获得飞机的环境的特定区域的传感器数据。例如，一个或多个传感器可具有前向取向，以便测量位于飞机前方的地面路径和总体环境。这样的一个或多个前向传感器可经配置以捕获传感器测量值，该传感器测量值包括将用作参考点的飞机的一部分。特别地，处理传感器测量的计算系统可在分析传感器数据以估计物体(例如，飞机、车辆)、人和机场标记相对于飞机的位置时使用飞机的该部分作为参考点(例如，飞机的前轮)。
然后，当确定飞机的后续地面导航的控制指令时，计算系统可使用物体的估计的位置和机场标记等。例如，耦合到飞机的机翼或其他方位(例如，飞机的机身)的一个或多个相机可提供包括飞机的机头和/或前轮以及周围区域的图像。然后，处理图像的计算系统可在确定用于沿地面路径导航飞机的后续控制指令(例如，将机头或前轮与地面路径的中心对齐的指令)时使用机头或前轮作为参考点。
当最初制定控制指令时，计算系统可接收和使用传感器数据以获得对飞机环境的总体理解。特别地，计算系统使用传感器数据以检测附近的机场标记，诸如标志、表面线、构成路径的材料(例如，混凝土和草边界)的变化、多个路径之间的交叉点(例如，存在于两条跑道之间的交叉点)、物体(例如，飞机、车辆)以及飞机环境中的人。然后，计算系统可使用表面标记以确定导航路径，同时还基于传感器数据执行障碍物回避。例如，计算系统可使用在传感器数据内检测到的机场标记而检测和识别跑道和跑道的相应中心线。在一些示例中，计算系统可使用来自一个或多个传感器的传感器数据以检测和识别路径边缘几何形状(例如，跑道的边缘几何形状)，以在如果没有可见标记(例如，擦掉的标记、路径的空白部分、挑战性的照明条件)的情况下定义路径的边界。
另外，测量机场标记的传感器数据可使计算系统能够使用传感器数据以确定飞机在机场的总体环境中的方位。计算系统可使用计算机视觉或其他传感器数据处理技术以类似于飞行员的方式检测、识别和使用标志和其他机场标记作为航路点。例如，计算系统可使用所识别的标志和机场标记以指示飞机位于机场的建筑物或跑道附近。计算系统还可检测和定义飞机在后续地面导航期间可使用的路径的边界。
在一些示例中，计算系统可将使用传感器数据检测和识别的机场标记与表示机场布局的一个或多个地图进行比较，以确定飞机的位置。地图可指示跑道、滑行道和其他地面路径相对于机场建筑物的位置。由此，计算系统可通过比较地图内的机场标记，使用输入的传感器数据以确定飞机在机场布局的环境中的总体位置。地图和传感器数据可用于在计算系统的处理和分析期间相互补充。
在一些示例中，系统可使用定位技术(例如，最佳拟合定位)以将从一个或多个传感器接收的图像与机场的地图对齐。计算系统可进一步执行物体检测和定位，同时还更新机场地图。在操作和使用地图和传入的传感器数据时，计算系统可进一步规划飞机的地面路径，并且还开发和执行用于根据规划的地面路径导航的控制指令。
该系统可使用传感器测量值以进一步改进行进路径的导航。例如，在检测和识别用于导航飞机的路径的中心(例如，跑道的中心线)之后，计算系统可使用来自传感器的附加传感器数据以确定表示在后续地面导航期间如何导航飞机的导航指令。特别地，计算系统可使用传感器数据以确定使飞机沿目标路径的中心(诸如，跑道的中心线)导航的控制指令。
计算系统可使用传感器数据以确定表示飞机的参考点(例如，前轮或机头)与目标路径的中心(例如，跑道的中心线)之间的距离的横向位移。横向位移表示飞机(或飞机的参考点)在当前位置和取向处相对于跑道的中心线的偏移。计算系统可使用横向位移以制定控制指令，该控制指令使飞机的参考点与飞机正在其上行进的路径的中心线或估计的中心对齐。在一些示例中，计算系统可使用来自一个或多个传感器的传感器数据以同样确定飞机相对于目标行进路径的中心线的航向。当确定飞机的后续导航的控制指令时，计算系统可使用飞机的横向位移和航向的组合。
在一些示例中，当协助飞机的地面导航时，计算系统可进一步使用来自其他传感器的附加传感器数据。例如，当确定飞机的参考点与目标行进路径之间的横向位移时，计算系统可使用附加传感器数据。计算系统可从姿态和航向参考系统(AHRS)和全球定位系统(GPS)中的一个或两个接收表示由飞机执行的一个或多个先前移动的趋势信息。AHRS和GPS可定位在飞机上并测量飞机的近期运动。
系统内的计算系统可接收和使用趋势信息以估计飞机的未来位置和取向。例如，如果飞机正如趋势信息中所指示的那样稍微远离路径的中心(例如，跑道的中心线)行进，则计算系统可估计飞机将继续远离中心线导航，除非对飞机的控制进行调整。由此，当确定飞机的参考点与期望路径(例如，跑道的中心线)之间的横向位移时，计算系统可使用趋势信息和估计的飞机的未来位置和取向。当确定飞机的参考点相对于地面行进的目标路径的横向位移时，计算系统可使用取向、位置、速度、加速度和其他因素(例如，环境中的风速、路径的坡度)。
在一些示例中，计算系统经配置以检测从耦合到飞机的传感器接收的传感器数据内可出现的任何噪声。传感器数据内的噪声可向计算系统发出传感器数据可能不可靠的信号。例如，噪声可由环境条件(例如，雨、风)、不良照明条件和/或由传感器捕获期间的结果引起。作为检测传感器数据中的噪声的结果，计算系统可经配置以执行附加动作以克服噪声的存在。例如，计算系统可经配置以在确定表示飞机的参考点与期望路径(例如，跑道的中心线)之间的距离的横向位移时使用趋势信息。此外，计算系统可经配置以获得附加传感器数据以增加使用传感器数据进行的估计内的置信度。
计算系统还可经配置以检测跑道的中心线中的间隙或用于引导飞机的其他表面线中的间隙。间隙可对应于表面线中的断裂或者在一些区域中表面线的缺失，从而引起表面线的区段或部分之间的间隔。例如，当计算系统依赖于来自耦合到飞机的相机的图像时，图像可显示跑道的中心线中的间隙或其他类型的表面线中的间隙，这可使得在间隙处难以确定飞机的参考点和表面线之间的横向位移。在这种情况下，计算系统可在确定导航指令时使用趋势信息以确定来自期望路径的横向位移。此外，计算系统还可经配置以不提供改变飞机的取向的附加调整，直到接收到重新建立用于引导飞机的表面线的存在的附加传感器数据。在一些情况下，由于灰尘或其他材料阻挡表面线的可见性，因此在表面线中可能出现间隙。
如上所述，计算系统可确定控制指令，该控制指令使得飞机的参考点在后续导航期间与目标路径(例如，跑道的中心线)对齐。在一些情况下，控制指令的执行可引起飞机朝向中心线的位置和取向的逐渐调整，直到飞机的参考点正在跑道的中心线上导航。逐步调整可防止不必要的移位，这些移位可困扰飞机上的乘客或者移走和转移飞机所携带的货物。在其他情况下，控制指令的执行可使飞机的参考点快速地与跑道的中心线对齐。因此，将飞机的参考点与目标路径(例如，跑道的中心线)对齐所需的时间量可取决于横向位移的大小、飞机的地面速度、飞机的取向和飞机的大小，以及其他因素。
该系统可经配置以向远程定位的计算设备(诸如飞机的控制系统或远程用户界面)提供传感器测量和/或控制指令。例如，从系统接收传感器测量值或控制指令的远程用户界面可包括可经配置以显示从系统接收的信息的可头戴式显示器。在其他示例中，远程用户界面可具有另一种配置。由此，远程用户界面可从系统接收控制指令和其他信息，这些信息可用作模拟或训练飞行员控制地面上的飞机的训练平台。在其他示例中，从系统接收控制指令和其他信息的远程定位计算设备可用于在地面导航期间远程控制飞机。
在另外的示例中，计算系统还可使用主传感器以确定控制指令和一个或多个辅助传感器以确认或修改由主传感器捕获的测量值。
现在参考附图，图1为描绘根据示例实施方式的系统100的框图。系统100表示经配置以协助飞机的地面导航的示例导航系统。例如，系统100可通过获得和处理表示飞机环境的传感器数据而实现飞机的完全自主或半自主的地面导航。系统100的一些部件可安装在飞机上或设置在飞机上，而其他部件位于远处(例如，在机场的地面上)。在其他示例中，系统100的所有部件均耦合到或设置在飞机上。
如图1所示，系统100包括参与和第一传感器112、第二传感器114、AHRS116、GPS118、远程用户界面120和控制系统122的无线通信124的计算系统102。系统100中示出的与计算系统102通信的不同设备出于示例目的而包括，并且可在其他实施方式中不同。此外，计算系统102可在不同时间与各种设备通信。例如，计算系统102可经配置以在一些情况下与远程用户界面120通信，而在其他情况下与控制系统122通信。此外，用于自主机场跑道导航的系统的其他实施方式可包括不同布置中的更多或更少的部件。其他配置如下所述。
系统100为可协助飞机的地面导航的示例导航系统。系统100提供的协助程度可在示例性实施方式中变化。为了协助飞机的地面导航，系统100经配置以类似于飞行员的方式获得并使用传感器数据以开发对环境的理解。系统100可使用传感器数据以检测环境的布局，包括检测和识别飞机在其上行进的期望地面路径。另外，系统100可检测和识别机场标记(例如，标志、表面线)以确定飞机在机场的环境中的方位并且进一步规划用于地面导航的路线。由此，不同的检测到的机场标记可用作系统100可用于路径规划和导航的航路点。
系统100可进一步使用传感器数据以开发可协助飞机的地面导航的控制指令。例如，系统100可提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与给定地面路径的中心(例如，跑道的中心线)对齐的一个或多个调整。
在一些示例中，系统100可用作在地面导航期间控制飞机的飞行员的补充。例如，系统100可使用传感器数据以形成并向控制飞机的飞行员提供警报。警报可指示潜在障碍物的存在，或者可协助维持飞机所位于的地面路径上的居中行进路径。系统100还可经配置以在地面导航期间为飞行员提供传感器测量值以供查看和使用。在另一示例中，系统100使用传感器数据和计算机视觉控制飞机(或向飞机的控制系统122发送控制指令)，同时飞行员远程监控飞机和由系统100提供的控件。
此外，系统100可另外确定并提供控制指令，该控制指令指示用于将飞机的参考点与飞行员使用的控制系统122的期望路径(例如，跑道的中心线)对齐的一个或多个调整。在此类配置中，系统100可启用飞机的半自主操作，允许飞行员在系统100控制其他方面的同时控制飞机的地面导航的某些方面。当系统100用作经配置以协助飞行员的半自主系统时，系统100可经配置以允许飞行员否决任何控制或控制建议。
在另外的示例中，系统100经配置以在机场或类似环境的地面导航期间启用飞机的自主操作。例如，系统100可使用传感器数据以形成控制指令，该控制指令被提供给飞机的控制系统以供执行，从而启用自主导航。由此，系统100可向控制系统122提供控制指令，该控制指令用于自主控制飞机，如下面进一步详细描述的。
系统100还可经配置以向远程用户界面120提供传感器测量和控制指令。例如，系统100可提供控制指令，该控制指令指示用于在飞机向远程用户界面120的后续导航期间将飞机的参考点与期望路径(例如，跑道的中心线)对齐的一个或多个调整。远程用户界面120可使用来自系统100的输入以训练飞行员学习如何在机场的地面上导航飞机或者可用于使飞行员能够远程控制飞机。
在系统100内，计算系统102表示能够接收和处理由系统100的传感器获得的传感器数据的设备。例如，计算系统102可接收传感器数据并执行将传感器融合能力与车辆动力学相匹配的鲁棒过程，以便通过计算机视觉和远程监控实现高度可靠的控制飞机的手段。
计算系统102还经配置以与其他计算设备通信。在一些示例中，计算系统102可对应于多个计算设备。此外，计算系统102可位于飞机上或者可与飞机物理分离。如图1所示，计算系统102包括处理器104、存储器106和接口108，这些中的所有均可通过系统总线110或类似机制被耦合。在其他示例中，计算系统102可包括其他部件。
处理器104可为任何类型的计算机处理元件中的一个或多个，诸如中央处理单元(CPU)、协处理器(例如，数学、图形或加密协处理器)、数字信号处理器(DSP)、网络处理器和/或执行处理器操作的集成电路或控制器的形式。在一些情况下，处理器104可为一个或多个单核处理器。在其他情况下，处理器104可为具有多个独立处理单元的一个或多个多核处理器。处理器104还可包括用于临时存储正在执行的指令和相关数据的寄存器存储器，以及用于临时存储最近使用的指令和数据的高速缓冲存储器。
存储器106可为任何形式的计算机可用存储器，包括但不限于随机存取存储器(RAM)、只读存储器(ROM)和非易失性存储器(例如，闪存、硬盘驱动器、固态驱动器、光盘(CD)、数字视频光盘(DVD)和/或磁带存储器)。因此，存储器106既表示主存储器单元也表示长期贮存器。
存储器106可存储程序指令和/或程序指令可以在其上操作的数据。举例来说，存储器106可将这些程序指令存储在非暂时性计算机可读介质上，使得这些指令可由处理器104执行以实施本说明书或附图中公开的任何方法、过程或操作。
此外，存储器106还可接收和存储地图。在一些示例中，计算系统102可从存储地图的数据库接收机场或另一环境的地图。数据库可特别地与机场相关联或者与系统100相关联。此外，计算系统102可使用存储器106以将预期的机场标记和路径布局与系统100使用传感器数据检测到的机场标记和路径布局进行比较。在另外的示例中，计算系统102可使用传感器数据开发地图并将地图存储在存储器106中。
接口108启用计算系统102和其他计算设备之间的通信。例如，接口108可与第一传感器112、第二传感器114、AHRS 116、GPS 118、远程用户接口120和控制系统122建立有线或无线通信124。
在一些示例中，接口108可采取一个或多个有线接口的形式，诸如以太网(例如，快速以太网、千兆以太网等)。接口108还可支持通过一个或多个非以太网介质(诸如同轴电缆或电力线)或通过广域介质(诸如同步光学网络(SONET)或数字用户线(DSL)技术)进行通信。接口108还可采取一个或多个无线接口的形式，诸如IEEE 802.11(Wifi)、
Figure BDA0002135849860000111
或广域无线接口。然而，可在接口108上使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外，接口108可包括多个物理接口。例如，计算系统102的一些实施例可包括以太网和Wifi接口。
系统100包括第一传感器112和第二传感器114，它们表示经配置以捕获传感器数据以供计算系统102处理的传感器。第一传感器112和第二传感器114可为各种类型的传感器，诸如相机、雷达、激光雷达(LIDAR)、电光传感器或不同传感器的组合。例如，在一些示例中，第一传感器112和第二传感器114为一对高分辨率相机。此外，尽管系统100仅示出为具有第一传感器112和第二传感器114，但是其他实施方式可包括更多或更少的传感器。例如，另一示例系统可包括耦合到飞机的每个机翼的两个或多个传感器。在另一示例中，系统100可使用单个传感器(例如，第一传感器112)以确定用于导航飞机的后续控制指令。
第一传感器112和第二传感器114示出为与计算系统102物理分离并且经由无线通信124与计算系统102通信。在其他示例中，第一传感器112、第二传感器114以及其他传感器可在其他示例中经由有线连接耦合到计算系统102。由此，由第一传感器112和第二传感器114以及在系统100内操作的其他传感器获得的传感器数据可用于检测位于飞机周围的物体，包括其他飞机、人、建筑物和机场标记，诸如标志和各种表面线。
第一传感器112、第二传感器114以及系统100的其他传感器可在固定方位处耦合到飞机。在固定方位处，传感器可具有固定的取向，其在地面导航和飞机飞行期间防止或限制移动。结果，第一传感器112和第二传感器114可从特定视角获得传感器数据，并将传感器数据提供给计算系统102，用于处理由于传感器缺乏稳定性而产生的有限噪声。处理由第一传感器112和第二传感器114获得的传感器数据的计算系统102可在确定环境中的物体和表面线相对于飞机的位置时使用传感器的固定位置。在一些示例中，计算系统102可使用来自第一传感器112的传感器数据以确定控制指令，并进一步使用来自第二传感器114的传感器数据以确认或修改控制指令。
由第一传感器112和第二传感器114测量的一个或多个特定区域可包括飞机的一个或多个部分。特别地，当比较飞机相对于目标路径(例如，跑道的中心线)或在飞机附近检测到的物体的位置时，计算系统102可使用飞机的一个或多个部分作为参考点。例如，位于由传感器测量的区域中的飞机的一个或多个部分可包括飞机的机头和/或前轮，其中任一个均可用作确定飞机的导航指令的参考点。
当系统100包括多个传感器时，计算系统102可从表示在同一时间帧期间的环境的多个传感器接收传感器数据。例如，计算系统102可从第一传感器112和第二传感器114两者接收之前同时捕获的图像。计算系统102可以各种方式处理传入的传感器数据。例如，计算系统102可使用静态图像预处理以使用从第一传感器112和第二传感器114接收的输入图像裁剪和转移视角。
此外，计算系统102还可使用动态图像预处理，该动态图像预处理涉及针对实时条件处理所接收的图像。动态图像预处理可涉及校正一个或两个传感器的曝光以及执行图像稳定。计算系统102还可使用其他图像处理技术，诸如最小二乘拟合、最大后验(MAP)估计、鲁棒估计、期望最大化(EM)过程和/或近似最近邻快速库(FLANN)。
在一些示例中，当比较来自第一传感器112和第二传感器114的传感器数据以确定飞机相对于地面导航的期望路径(例如，跑道的中心线)的取向和位置时，计算系统102可使用前轮或前轮的一部分作为参考点。例如，第一传感器112和第二传感器114可为经配置以捕获并提供包括飞机的前轮和其他前部的图像的相机。由相机捕获和提供的图像可包括飞机的部分以及飞机的环境。当飞机位于各个区域时，传感器可捕获飞机的各个部分的传感器数据。在另外的示例中，当分析表示飞机环境的测量值的传感器数据时，计算系统可使用飞机上的多个参考点。
计算系统102可经配置以在执行传感器数据处理技术以检测物体、机场标记、人和环境的其他方面时使用每个传感器的方位。例如，计算系统102可从第一传感器112和第二传感器114接收图像并使用传感器的方位、到一个或多个参考点(例如，飞机上的参考点)的先前已知距离以及每个图像内的像素以估计物体相对于飞机的高度和位置。在一些示例中，雷达或LIDAR可捕获可指示物体相对于飞机上的参考点的位置的传感器测量值。在一些示例中，计算系统102经配置以在确定飞机的控制指令时将来自多个传感器的传感器数据融合在一起。
在另外的示例中，第一传感器112和第二传感器114基于能够修改每个传感器的取向和/或位置的机构耦合到飞机。在此类配置中，第一传感器112和第二传感器114可改变取向并从环境相对于飞机的不同区域获得传感器数据。例如，第一传感器112可旋转以相对于飞机的不同视角捕获传感器数据。
计算系统102可使用从第一传感器112、第二传感器114和/或其他传感器接收的传感器数据以制定可协助飞机的地面导航的指令。当飞机运行时，计算系统102可接收从第一传感器112和第二传感器114中的一个或两个接收由传感器数据组成的一组或多组传感器数据，并使用多组传感器数据分析飞机的环境。
分析飞机的环境可包括执行一般物体检测以防止碰撞以及检测和识别可协助形成导航策略的机场标记。特别地，机场或类似环境通常包括各种机场标记，诸如表面线、标志和定位为在地面导航期间协助飞行员的其他标记。计算系统102可以类似于航路点的方式使用检测到的机场标记(例如，表面线、边界)以确定用于导航飞机的地面路径。地面路径可涉及识别和定位期望的跑道和跑道的相应中心线。例如，期望的跑道可对应于飞机准备用于起飞或地面导航朝向卸载乘客的建筑物的行进路径。
计算系统102还可使用来自第一传感器112和第二传感器114中的一个或两个的传感器数据来确定表示飞机的参考点与目标路径(例如，跑道的中心线)之间的距离的横向位移。例如，计算系统102可将如来自第一传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线(或其他期望路径)的第一位置与如来自具有第二位置的第二传感器的传感器数据中表示的相同参考点相对于跑道的中心线的第二位置进行比较。当执行比较时，计算系统102除了其他考虑之外，还可使用指示传感器的位置和已知距离的信息以进行飞机的参考点的测量。计算系统102还可使用来自第一传感器112和第二传感器114中的一个或两个的传感器数据以确定飞机相对于目标路径的中心线(例如，跑道的中心线)的航向。
当确定飞机的控制指令时，计算系统102可进一步使用来自其他传感器的传感器数据，诸如AHRS 116和GPS 118。AHRS 116为位于飞机上的传感器，其可向计算系统102提供趋势信息。特别地，AHRS 116可使用固态或微机电系统(MEMS)陀螺仪、加速度计和磁力计来测量由飞机的过去的移动和取向组成的趋势信息。当飞机在机场或类似环境中导航跑道和其他路径时，趋势信息可反映飞机的近期先前移动。例如，趋势信息可指示飞机在最近数米、数百米或另一次地面导航期间的取向和位置。在一些示例中，AHRS 116由三个轴上的传感器组成，这些传感器可为飞机提供姿态信息，包括滚转、俯仰和偏航。
GPS 118为经配置以同样向计算系统102提供趋势信息的基于卫星的无线电导航系统。使用来自GPS卫星的测量值，GPS 118的接收器可确定飞机的位置并且在飞机导航时改变飞机的位置。计算系统102可从AHRS 116和/或GPS 118接收趋势信息。计算系统102还可从其他类型的传感器(诸如惯性测量单元(IMU)或独立加速度计、陀螺仪或磁力计)接收关于飞机的近期移动和取向的趋势信息。
在飞机的地面导航期间，计算系统102可从AHRS 116和GPS 118中的一个或两个接收表示由飞机执行的一个或多个先前移动的趋势信息。计算系统102可进一步使用趋势信息以估计飞机的未来位置和取向。然后，计算系统102可使用飞机的未来位置和取向以确定表示飞机的参考点(例如，飞机的机头)与跑道的中心线之间的距离的横向位移。在一些情况下，飞机的未来位置和取向基于飞机的当前速度和加速度以及其他可能的因素(例如，地面的坡度和环境中的风的速度)。
在一些示例中，计算系统102经配置以检测从第一传感器112和第二传感器114接收的传感器数据中的噪声。具体地，计算系统102可在飞机的导航期间接收多组传感器数据。该多组传感器数据可包括来自第一传感器112和第二传感器114中的一个或两个的传感器数据。由此，在一些情况下，计算系统102可检测传感器数据中的噪声，该噪声可干扰确定飞机相对于跑道的中心线的横向位移。类似地，计算系统102还可使用其他传感器或附加传感器数据组来检测一些传感器数据组中的系统故障(例如，传感器掉落)。
响应于检测到传感器数据中的噪声，计算系统102可使用来自AHRS 116和GPS 118中的一个或两个的趋势信息估计的飞机的未来位置和取向来确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。例如，计算系统102可在检测从第一传感器112和第二传感器114中的一个或两个接收的传感器数据内的噪声之前确定飞机先前与目标路径对齐。由此，计算系统102可使用趋势信息确定在不久的将来不再需要进一步调整，因为飞机已与目标路径对齐。在一些示例中，由AHRS 116和GPS 118中的一个或两个获得的趋势信息可补充从第一传感器112和第二传感器114接收的传感器数据。
在一些示例中，计算系统102经配置以检测在由第一传感器112、第二传感器114和耦合到飞机的其他传感器获得的传感器数据内测量的表面线中的间隙。例如，当飞机正根据跑道或另一路径的中心线导航时，计算系统可经配置以使用从第一传感器112和第二传感器114接收的传感器数据来检测跑道的中心线中的间隙。这些间隙可由于灰尘或其他碎屑阻挡表面线的可见性而产生，或者可为表面线的整体配置的一部分(即，表面线意图包括间隙)。
当检测到目标路径中的一个或多个间隙时，计算系统102可配置为使用趋势信息协助维持飞机在跑道或其他行进路径上的居中位置。由此，响应于检测到跑道的中心线中的间隙，计算系统102可使用利用来自AHRS 116和GPS 118中的一个或两个的趋势信息估计的飞机的未来位置和取向以确定表示飞机的参考点与目标路径(例如，跑道的中心线)之间距离的横向位移。
图1还示出与远程用户界面120通信的计算系统102。远程用户界面120可为任何类型的设备，包括智能电话、遥控系统、台式计算机或可穿戴计算设备等。由此，远程用户界面120经配置以显示从计算系统102接收的信息，诸如由计算系统102开发和提供的控制指令。例如，远程用户界面120可显示由计算系统102提供的一个或多个调整，用于修改飞机的路径以使飞机与目标路径对齐。在另外的示例中，远程用户界面120还可使用户能够在地面导航期间远程控制飞机。
在一些示例中，远程用户界面120包括可头戴式显示器。例如，可头戴式显示器可显示调整以使用户能够经由与可头戴显示器相关联的接口提供输入作为响应。
控制系统122表示可控制飞机的导航部件的系统。在一些示例中，控制系统122可位于飞机内部以使机载飞行员能够使用由计算系统102提供的传感器数据和/或指令。控制系统122可为飞行员用于导航飞机的通用控制系统的一部分。例如，控制系统122可使得转向系统、制动系统、照明系统和/或飞机的其他系统执行从系统100接收的控制指令。
在一些示例中，控制系统122可为能够使用由计算系统102提供的控制指令自主地导航飞机的系统。例如，控制系统122可使飞机的系统执行从计算系统102接收的控制指令。控制系统122和计算系统102可为同一计算设备的一部分。在另一示例中，控制系统122远离飞机定位。例如，控制系统122可具有使控制系统122能够远程控制飞机的方位。
图2示出根据示例实施方式的耦合到飞机的系统。系统100示出为具有耦合到飞机202的第一传感器112和第二传感器114，而系统100的其他部件(例如，系统102、AHRS 116和GPS 118)未示出。在其他示例中，系统100可耦合到另一种类型的车辆，诸如四轮车辆或其他类型的飞机。
飞机202为双翼飞机，其包括耦合到飞机202的机头208的螺旋桨。在其他示例中，飞机202可具有另一种配置，诸如喷气式或更大的客机配置。飞机202被示出为具有在第一机翼204上的第一方位处耦合的第一传感器112以及在第二机翼206上的第二方位处耦合的第二传感器114。传感器的方位在其他示例中可有所不同。例如，一个或多个传感器可耦合到飞机202的主体。
飞机202的机头208示出为具有螺旋桨，该螺旋桨经配置以通过将旋转运动转换为推力而传递动力。当确定飞机202相对于环境中的期望路径(例如，跑道的中心线)的横向位移或总体取向时，计算系统102可经配置以使用飞机202的机头208作为参考点。例如，计算系统102可使用传感器数据以确定机头208相对于飞机202正在其上航行的跑道的中心线的横向位移。
飞机202的前轮210还可用作在地面导航期间确定飞机的位置和取向的参考点。除了前轮210之外，飞机202还被示出为包括一对后轮212，该对后轮212经配置以能够实现飞机202的地面导航。
驾驶舱214为飞机202的区域，该区域可在飞机202的操作期间容纳一个或多个飞行员。在一些示例中，驾驶舱214可包括计算系统102、控制系统122和系统的其他部件。在其他示例中，计算系统102、控制系统122和/或系统100的其他部件可远离飞机202定位。
图3示出根据示例实施方式的耦合到飞机的系统的前视图。前视图示出耦合到飞机202的系统100，系统100包括耦合到第一机翼204的第一传感器112和耦合到第二机翼206的第二传感器114。在其他示例中，系统100以其他配置耦合到飞机202，包括在飞机202上的其他方位处耦合的更多或更少的传感器。
图4示出根据示例实施方式的飞机的参考点的第一视角，该参考点对应于耦合到飞机的第一传感器。图4中所示的图像表示耦合到飞机202的第一机翼204的第一传感器112可捕获并提供给计算系统102的示例图像。在其他示例中，图像中示出的第一视角可根据第一传感器112相对于飞机202的方位和取向而不同。此外，其他示例可涉及捕获表示飞机202的环境的区域的传感器数据的另一类型的传感器。
该图像表示飞机202的前向环境的区域，该区域包括目标路径300的一部分以及飞机的机头208和前轮210。目标路径300表示系统100可经配置以协助飞机202行进在其上的路径。例如，计算系统102可使用传感器数据(诸如图4中所示的图像)以确定控制指令，以在后续地面导航期间将飞机202与目标路径300对齐。由此，当飞机202导航时，计算系统102可使用附加图像或其他传感器数据以检测和监控飞机202和目标路径300之间的横向位移的变化。在另外的示例中，系统100可估计路径的中心并试图使飞机202沿估计的路径中心导航。
如上所述，计算系统102可使用图4中所示的图像以确定目标路径300与飞机的参考点(即，前轮210的底部)之间的横向位移304。在一些示例中，计算系统102可将图像与地图对齐以进一步确定用于导航飞机202的路径。
图5示出根据示例实施方式的飞机的参考点的第二视角，该参考点对应于耦合到飞机的第二传感器。图5中所示的图像表示耦合到飞机202的第二机翼206的第二传感器114可捕获并提供给计算系统102的示例图像。在其他示例中，图像中示出的第二视角可根据第二传感器114相对于飞机202的方位和取向而不同。此外，其他示例可涉及捕获表示飞机202的环境的区域的传感器数据的另一类型的传感器。
图5中所示的图像表示包括目标路径300和飞机202的机头208和前轮210的区域。计算系统102可使用图4和图5中所示的图像以确定前轮210的底部部分相对于目标路径300的横向位移304。具体地，计算系统102可使用从第一传感器112和第二传感器114接收的图像的组合以估计表示前轮210的底部部分和目标路径300之间的距离的横向位移304。
在一些示例中，计算系统102可通过使用在从第一传感器112和第二传感器114中的一个或两个接收的图像或传感器数据内的滤波器(例如，Sobel滤波器、滑动窗口)初始定位目标路径300而确定横向位移304。然后，计算系统102可将水平线302从飞机202上的参考点(例如，前轮210的底部部分)投影到通过目标路径300，以便识别水平线302和目标路径300之间的交叉点。在识别交叉点之后，计算系统102可求解以找到对应于交叉点的图像中的一个或多个像素。然后，计算系统102可沿目标路径300投影交叉点的像素，并使用点积以找到投影和交叉点之间的距离差。此时，计算系统102可确定横向位移304。
图6示出根据示例实施方式的使用耦合到飞机的第一传感器的参考距离分析。当使用从第一传感器112接收的传感器数据(即，图像)时，计算系统102可执行计算机视觉处理技术以估计环境中的物体的距离。计算机视觉处理可涉及使用飞机202上的第一传感器112的方位以及在来自第一传感器112的测量值内比较的飞机的各部分之间的已知距离。在一些示例中，计算系统102可组合来自从第一传感器112和第二传感器114两者接收的图像的信息，以估计飞机202的环境中的物体、表面线、人和其他特征的位置。
如图6所示，计算系统102可确定飞机202的环境中的人或物体的高度和位置。例如，计算系统102可沿与前轮210的相同平面投射横跨图像水平延伸的第一线310。第一线310可用于给出沿第一线310定位的物体或人的高度的指示。具体地，计算系统102可基于人在图像中向上延伸的像素数量而估计位于第一线310上的由框314表示的人大约6英尺高。
类似于确定位于第一线310上的人或物体的高度，计算系统102还可确定远离飞机202定位的人和物体的高度。计算系统102可投射第二线312，该第二线312可被延伸并用于估计位于第二线312处的人和物体的高度。第二线312的投射涉及使用第一传感器112的固定位置和先前的像素测量值以估计沿第二线312定位的物体和人的高度。如图6所示，计算系统102可基于具有对应于向上100个像素的高度的人而估计沿第二线312站立的人的高度(即，估计的6英尺高度)。计算系统102可使用第一传感器112或第二传感器114执行类似的投射，以确定物体、人和机场标记相对于飞机202的距离和高度。此外，计算系统102还可估计物体相对于飞机202的距离。
图7示出根据示例实施方式确定飞机的参考点与跑道的中心线之间的横向位移。如图7所示，计算系统102可使用来自耦合到飞机202的一个或多个传感器(例如，第一传感器112和第二传感器114)的传感器测量值以确定表示飞机的前轮210与飞机202正在航行的跑道的中心线320之间的距离的横向位移322。
如上所述，系统100可执行操作以协助飞机202在机场或类似环境中导航地面环境。特别地，系统100内的计算系统102可接收和使用传感器数据以检测附近环境中的机场标记，诸如沿跑道延伸的左边界326和右边界328。计算系统102可进一步使用检测到的机场标记，包括左边界326和右边界328，以检测和识别跑道的中心线320。
在检测和识别跑道的中心线320(或另一目标路径)之后，计算系统102可使用后续传感器数据以确定存在于前轮210和跑道的中心线320之间的横向位移322。计算系统102可进一步确定控制指令，该控制指令指示将前轮210与跑道的中心线320对齐的对飞机202的控制的调整。例如，控制指令可使飞机202跟随调节路径324，直到飞机202的前轮210与跑道的中心线320对齐。
图8示出根据示例实施方式使用一组传感器数据检测位于跑道附近的机场标记。如图8所示，系统100可进一步使用传感器数据以检测机场标记，诸如标志330、标志332和标志334。计算系统102可进一步使用标志330-334的检测以确定飞机的导航策略。例如，计算系统102可使用机场标记(例如，标志330)以识别飞机202在其上导航的跑道。类似地，计算系统102可使用标志332以确定飞机202应暂时停止，直到另外的传感器数据确认跑道可供飞机202自由使用。
图9示出根据示例实施方式的跑道的交叉点的识别。在飞机202的地面导航期间，飞机202可在机场或类似环境中遇到不同的交叉点。诸如图9中所示的交叉点340的交叉点可对应于多个地面路径重叠的点。为了能够实现飞机202的安全导航，系统100可经配置以使用传感器数据以检测和识别交叉点(例如，交叉点340)。
在检测到交叉点340后，计算系统102可经配置以确定控制指令。例如，计算系统102可响应于检测到交叉点340而确定飞机202的路径的变化。类似地，计算系统102可识别飞机202在后续导航期间使用的跑道。
图10示出根据示例实施方式的跑道的中心线中的间隙的检测。当飞机202导航时，计算系统102可监控飞机202(例如，飞机202的前轮210)相对于一个或多个表面标记(例如，跑道的中心线320)、边界和环境中的其他特征的行进路径。在一些情况下，计算系统102使用的中心线320或另一表面标记可包括一个或多个间隙(例如，间隙350)。
在检测到跑道的中心线320中的间隙350之后，计算系统102可经配置以使用从AHRS 116和GPS 118中的一个或两个接收的趋势信息以确定表示飞机202的参考点与跑道的中心线320之间的距离的横向位移。特别地，趋势信息可用于估计飞机202的未来位置和取向，使得计算系统102能够确定横向位移，尽管中心线320中存在间隙。此外，当确定前轮210相对于中心线320的横向位移时，计算系统102可使用附加表面标记352、354。
图11示出根据示例实施方式的基于机场标记的跑道边界的识别。系统100可进一步检测机场标记360、362，该机场标记360、362表示飞机202当前正在其上行进的跑道的末端。作为在传感器数据内检测到机场标记360、362的结果，计算系统102可确定用于飞机202的后续地面导航的控制指令。
作为示例，系统100可在完成着陆之后在跑道上减速的同时检测机场标记360、362。响应于检测到指示跑道终点的机场标记360、362，计算系统102可进一步确定旨在根据跑道中的转向导航飞机202的控制指令。特别地，控制指令的执行可使飞机202在跑道上继续与中心线320对齐并通过转向跟随中心线320。
图12示出根据示例实施方式的飞机上的传感器方位。系统400表示经配置以执行与自主跑道导航相关的操作的另一示例系统。类似于图1中描绘的系统100，系统400可用于协助飞机的地面导航，包括提供能够实现飞机402的半自主或完全自主操作的控制指令。
如图12所示，系统400包括第一传感器408、第二传感器410和第三传感器418，但是在其他实施方式中可包括位于飞机402上的其他方位的附加传感器。由此，系统400可使用来自各种传感器的传感器测量值以估计机场的总体环境中的车辆状态并且进一步协助地面导航。
飞机402示出为配置有第一机翼404和第二机翼406的单翼飞机，但是在示例中可具有其他配置。第一传感器408示出为耦合在第一机翼404上的第一方位处，并且第二传感器410示出为耦合在第二机翼406上的第二方位处。在第一方位和第二方位处，第一传感器408和第二传感器410两者均配置为测量飞机402的前向环境，其中第一传感器408测量飞机402的前向环境的第一区域412，并且第二传感器410测量飞机402的前向环境的第二区域414。第一区域412和第二区域414两者均包括飞机402的一部分(即，飞机402的机头)，如重叠区域416中所示。重叠区域416对应于第一传感器408和第二传感器410均可测量的区域。
除了测量飞机402的前向环境之外，系统400还包括耦合在第一机翼404上的第三方位处的第三传感器418。在第三方位处，第三传感器418被定位和取向以测量由第三区域420表示的飞机402的后向环境。当确定反向导航指令时，系统400的计算系统可使用来自第三传感器418和测量飞机402的后向环境的其他类似定位的传感器的传感器数据并且获得对飞机402的整体环境的更好理解。在另外的示例中，飞机402可包括位于其他方位处的附加传感器，诸如以类似于第三传感器418的方式定位在第二机翼406的背面上的传感器。
图13示出根据示例实施方式的方法的流程图。图13中所示的方法500给出可与图1-12中所示的系统100一起使用的方法的示例。在其他示例中，设备和/或系统的部件可经布置以适于、能够或适合于执行功能，诸如当以特定方式操作时。
方法500可包括如框502、框504、框506、框508、框510和框512中的一个或多个所示的一个或多个操作、功能或动作。尽管按顺序示出这些框，但是这些框也可并行执行，和/或以不同于本文描述的顺序执行。而且，可将各种框组合成更少的框，划分成附加框，和/或基于期望的实施方式而去除。
在框502，方法500涉及在计算系统处接收第一组传感器数据，其中第一组传感器数据包括来自在第一方位处耦合到飞机的第一传感器和在第二方位处耦合到飞机的第二传感器中的一个或两个的传感器数据。计算系统可从耦合到飞机的一个或多个传感器接收第一组传感器数据，包括从位于飞机上的各个方位处的不同类型的传感器接收第一组传感器数据。例如，计算系统可从一个或多个电光传感器和/或一个或多个相机(例如，热成像相机、RGB相机)接收传感器数据。
在示例中，计算系统从耦合到飞机机翼的相机接收图像或另一类型的传感器数据。例如，第一相机可在飞机的第一机翼上具有位置，使得第一相机捕获区域的图像，该区域包括飞机的参考点(例如，飞机的机头或前轮)和以第一视角位于飞机的参考点下方的相应跑道。类似地，第二相机可在飞机的第二机翼上具有类似的位置，使得第二相机捕获区域的图像，该区域包括飞机的参考点和以第二视角位于飞机的参考点下方的相应跑道或其他类型的路径。在另一示例中，计算系统可从耦合到飞机的主体或另一部分的单个传感器接收传感器数据。
在框504，方法500涉及由计算系统使用第一组传感器数据检测位于跑道附近的一个或多个机场标记，其中飞机位于跑道上。特别地，计算系统可使用传感器数据以检测飞机环境中的标志、表面线、物体、人、飞机和其他特征。类似于飞行员，计算系统可使用检测到的机场标记以获得对飞机环境的进一步理解，以便开发导航指令。在一些示例中，计算系统可使用传感器数据以检测目标路径的边界。例如，计算系统可使用传感器数据以检测跑道边缘几何形状，从而定义跑道的边界。
在框506，方法500涉及基于一个或多个机场标记识别跑道的中心线。计算系统可使用检测到的表面线、标志和其他机场标记以确定飞机用于地面导航的跑道或另一地面路径。
在一些示例中，计算系统使用机场标记以识别跑道的中心线。例如，计算系统可使用沿跑道侧面延伸的检测到的边界以进一步识别跑道的中心线。类似地，计算系统可使用标志、其他表面线和标记以识别跑道的中心线。
在框508，方法500涉及在计算系统处接收第二组传感器数据，其中第二组传感器数据包括来自第一传感器和第二传感器两者的传感器数据。第二组传感器数据表示由第一传感器、第二传感器和/或耦合到飞机的其他传感器获得的后续传感器数据。在一些示例中，计算系统可从耦合到飞机的单个传感器接收后续传感器数据。
计算系统可从耦合到飞机的各种传感器(诸如第一传感器和第二传感器)接收附加传感器数据组。计算系统可连续地或以周期性设置的方式接收传感器数据。此外，计算系统还可接收不同类型的传感器数据，诸如图像和雷达测量值。
在框510，方法500涉及由计算系统使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
在一些示例中，基于如来自第一传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第一位置与如来自第二传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第二位置的比较而确定横向位移。计算系统还可确定飞机相对于跑道的中心线的航向。
在框512，方法500涉及由计算系统提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。
图14示出根据示例实施例的与方法500一起使用的示例方法的流程图。在框514，功能包括接收表示由飞机执行的一个或多个先前移动的趋势信息，其中从姿态和航向参考系统(AHRS)和全球定位系统(GPS)中的一个或两个接收趋势信息。计算系统可从一个或多个传感器(诸如AHRS、GPS或其他类型的传感器(例如，IMU))接收趋势信息。
在框516，功能包括使用趋势信息估计飞机的未来位置和取向。计算系统可使用趋势信息以确定飞机执行的先前移动，并进一步投射该移动以估计飞机的一个或多个未来位置和取向。当估计未来位置时，计算系统可使用飞机的速度、取向、加速度和位置。
在框518，功能包括其中使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间的距离的横向位移还包括使用飞机的未来位置和取向以确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
图15示出根据示例实施例的与方法500一起使用的示例方法的流程图。在框520，功能包括检测从第一传感器和第二传感器两者接收的第二组传感器数据中的噪声。计算系统可基于一组接收的传感器数据内缺少准确的测量值而检测噪声。例如，计算系统可基于具有与在类似时间帧期间获得的其他传感器数据不太一致的测量值的一组传感器数据而检测噪声。在一些示例中，计算设备可检测其他传感器数据组中的系统故障(例如，单个传感器暂时退出)。
在框522，功能包括基于检测第二组传感器数据中的噪声，使用飞机的未来位置和取向确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。特别地，趋势信息可为计算系统提供在确定横向位移时可帮助的附加测量值。
图16示出根据示例实施例的与方法500一起使用的示例方法的流程图。在框524，功能包括使用从第一传感器和第二传感器两者接收的第二组传感器数据来检测跑道的中心线中的间隙。间隙可表示标记跑道的中心线的表面线中的一个或多个不连续点。在一些示例中，由于不良照明条件或擦掉标记，传感器数据中可出现间隙。
在框526，功能包括基于检测到跑道的中心线中的间隙，使用估计的飞机的未来位置和取向确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
图17示出根据示例实施例的与方法500一起使用的示例方法的流程图。在框528，功能包括基于一个或多个机场标记识别跑道的边界。
在框530，功能包括部分基于跑道的边界识别跑道的中心线。在一些示例中，计算系统可基于中心线的先前检测而在跑道上将中心线投射在飞机前方。
本文使用的术语“基本上”或“约”意指不需要准确实现所列举特征、参数或值，但是偏差或变化(包括例如公差、测量误差、测量精度限制和本领域技术人员已知的其他因素)可以一定量出现而不阻碍特性意图提供的效果。
已出于说明和描述的目的给出对不同有利布置的描述，并且不旨在穷举或限于所公开形式的示例。许多修改和变化对于本领域普通技术人员来说是显而易见的。此外，不同的有利示例可描述与其他有利示例相比不同的优势。选择和描述所选择的一个或多个示例是为了最好地解释示例的原理、实际应用，并且使本领域的其他普通技术人员能够理解具有适合于预期的特定用途的各种修改的各种示例的公开内容。
根据本公开的一个方面，提供一种系统，其包括第一传感器，其在第一方位处耦合到飞机；第二传感器，其在第二方位处耦合到飞机；计算系统，其配置为：接收包括来自第一传感器和第二传感器中的一个或两个的传感器数据的第一组传感器数据；使用第一组传感器数据检测位于跑道附近的一个或多个机场标记，其中飞机位于跑道上；根据一个或多个机场标记识别跑道的中心线；接收包括来自第一传感器和第二传感器两者的传感器数据的第二组传感器数据；使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间的距离的横向位移，其中基于如来自第一传感器的传感器数据中表示的参考点相对于跑道的中心线的第一位置与如来自第二传感器的传感器数据中表示的参考点相对于跑道的中心线的第二位置的比较而确定横向位移；以及提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。
系统被进一步公开为其中计算系统还经配置以接收表示由飞机执行的一个或多个先前移动的趋势信息，其中从姿态和航向参考系统(AHRS)和全球定位系统(GPS)中的一个或两个接收趋势信息；使用趋势信息估计飞机的未来位置和取向；并且其中计算系统还经配置以使用飞机的未来位置和取向来确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
系统被进一步公开为其中计算系统还经配置以检测从第一传感器和第二传感器两者接收的第二组传感器数据中的噪声；以及响应于检测到第二组传感器数据中的噪声，使用飞机的未来位置和取向以确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
系统被进一步公开为其中计算系统还经配置以使用从第一传感器和第二传感器两者接收的第二组传感器数据而检测跑道的中心线中的间隙；并且响应于检测到跑道的中心线中的间隙，使用飞机的未来位置和取向以确定表示飞机的参考点与跑道的中心线之间距离的横向位移。
系统被进一步公开为其中第一方位在飞机的第一机翼上，使得第一传感器接收包括飞机的参考点和以第一视角位于飞机的参考点下方的相应跑道的区域的传感器数据，并且其中第二方位在飞机的第二机翼上，使得第二传感器接收包括飞机的参考点和以第二视角位于飞机的参考点下方的相应跑道的区域的传感器数据。
系统被进一步公开为其中第一传感器和第二传感器包括相机。
系统被进一步公开为其中参考点为飞机的机头。
系统被进一步公开为其中计算系统经配置以提供控制指令，该控制指令指示用于在飞机向远程用户界面的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整，其中远程用户界面经配置以显示一个或多个调整并启用飞机的远程控制。
系统被进一步公开为其中远程用户界面包括可头戴式显示器。
系统被进一步公开为其中计算系统经配置以提供控制指令，该控制指令指示用于在飞机向飞机的控制系统的后续导航以便自主操作期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。
系统被进一步公开为其中计算系统还经配置以基于一个或多个机场标记识别跑道的交叉点，其中机场标记对应于跑道的表面线或位于跑道附近的标志；并且其中计算系统经配置以部分基于交叉点识别跑道的中心线。
系统被进一步公开为其中计算系统还经配置以基于一个或多个机场标记识别跑道的边界；并且其中计算系统经配置以部分基于跑道的边界识别跑道的中心线。
根据本公开的另一方面，提供一种方法，其包括在计算系统处接收第一组传感器数据，其中第一组传感器数据包括来自在第一方位处耦合到飞机的第一传感器和在第二方位处耦合到飞机的第二传感器中的一个或两个的传感器数据；由计算系统使用第一组传感器数据检测位于跑道附近的一个或多个机场标记，其中飞机位于跑道上；基于一个或多个机场标记识别跑道的中心线；在计算系统处接收第二组传感器数据，其中第二组传感器数据包括来自第一传感器和第二传感器两者的传感器数据；由计算系统使用第二组传感器数据确定表示飞机的基准点和跑道的中心线之间距离的横向位移，其中基于如来自第一传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第一位置与如来自第二传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第二位置的比较而确定横向位移；以及由计算系统提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。
所述方法被进一步公开为包括接收表示由飞机执行的一个或多个先前移动的趋势信息，其中从姿态和航向参考系统(AHRS)和全球定位系统(GPS)中的一个或两个接收趋势信息；使用趋势信息估计飞机的未来位置和取向；并且其中使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间距离的横向位移还包括使用飞机的未来位置和取向以确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
所述方法被进一步公开为包括检测从第一传感器和第二传感器两者接收的第二组传感器数据中的噪声；以及基于检测到第二组传感器数据中的噪声，使用飞机的未来位置和取向确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
所述方法被进一步公开为包括使用从第一传感器和第二传感器两者接收的第二组传感器数据检测跑道的中心线中的间隙；并且基于检测跑道的中心线中的间隙，使用估计的飞机的未来位置和取向确定表示飞机的参考点与跑道的中心线之间的距离的横向位移。
所述方法被进一步公开为其中提供指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整的控制指令包括将控制指令提供给远程用户界面，其中远程用户界面经配置以显示一个或多个调整并启用飞机的远程控制。
所述方法被进一步公开为其中提供指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整的控制指令包括将控制指令提供给飞机的控制系统以用于自主操作。
所述方法被进一步公开为包括基于一个或多个机场标记识别跑道的边界；并且部分基于跑道的边界识别跑道的中心线。
根据本公开的另一方面，提供一种非暂时性计算机可读介质，其经配置以存储指令，该指令在由计算系统执行时使得计算系统执行包括接收第一组传感器数据的操作，其中第一组传感器数据包括来自在第一方位处耦合到飞机的第一传感器和在第二方位处耦合到飞机的第二传感器中的一个或两个的传感器数据；使用第一组传感器数据检测位于跑道附近的一个或多个机场标记，其中飞机位于跑道上；基于一个或多个机场标记识别跑道的中心线；接收第二组传感器数据，其中第二组传感器数据包括来自第一传感器和第二传感器两者的传感器数据；使用第二组传感器数据确定表示飞机的参考点与跑道的中心线之间的距离的横向位移，其中基于如来自第一传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第一位置与如来自第二传感器的传感器数据中表示的飞机的参考点相对于跑道的中心线的第二位置的比较而确定横向位移；以及提供控制指令，该控制指令指示用于在飞机的后续导航期间将飞机的参考点与跑道的中心线对齐的一个或多个调整。

Claims (10)

1.一种系统，包括：
第一传感器，其在第一方位处耦合到飞机；
第二传感器，其在第二方位处耦合到所述飞机；
一种计算系统，其配置为：
接收包括来自所述第一传感器和所述第二传感器中的一个或两个的传感器数据的第一组传感器数据；
使用所述第一组传感器数据检测位于跑道附近的一个或多个机场标记，其中所述飞机位于所述跑道上；
根据所述一个或多个机场标记识别所述跑道的中心线；
接收包括来自所述第一传感器和所述第二传感器两者的传感器数据的第二组传感器数据；
使用所述第二组传感器数据确定表示所述飞机的参考点与所述跑道的所述中心线之间的距离的横向位移，其中基于如来自所述第一传感器的传感器数据中表示的所述参考点相对于所述跑道的所述中心线的第一位置与如来自所述第二传感器的传感器数据中表示的所述参考点相对于所述跑道的所述中心线的第二位置的比较而确定所述横向位移；以及
提供控制指令，所述控制指令指示用于在所述飞机的后续导航期间将所述飞机的所述参考点与所述跑道的所述中心线对齐的一个或多个调整。
2.根据权利要求1所述的系统，其中所述计算系统还配置为：
接收表示由所述飞机执行的一个或多个先前移动的趋势信息，其中从姿态和航向参考系统即AHRS和全球定位系统即GPS中的一个或两个接收所述趋势信息；
使用所述趋势信息估计所述飞机的未来位置和取向；以及
其中所述计算系统还配置为使用所述飞机的所述未来位置和取向来确定所述横向位移，所述横向位移表示所述飞机的所述参考点与所述跑道的所述中心线之间的所述距离。
3.根据权利要求2所述的系统，其中所述计算系统还配置为：
检测从所述第一传感器和所述第二传感器两者接收的所述第二组传感器数据中的噪声；以及
响应于检测到所述第二组传感器数据中的所述噪声，使用所述飞机的所述未来位置和取向来确定所述横向位移，所述横向位移表示所述飞机的所述参考点与所述跑道的所述中心线之间的所述距离。
4.根据权利要求2所述的系统，其中所述计算系统还配置为：
使用从所述第一传感器和所述第二传感器两者接收的所述第二组传感器数据检测所述跑道的所述中心线中的间隙；以及
响应于检测到所述跑道的所述中心线中的所述间隙，使用所述飞机的所述未来位置和取向来确定所述横向位移，所述横向位移表示所述飞机的所述参考点与所述跑道的所述中心线之间的所述距离。
5.根据权利要求1所述的系统，其中所述第一方位在所述飞机的第一机翼上，使得所述第一传感器接收包括所述飞机的所述参考点和以第一视角位于所述飞机的所述参考点下方的相应跑道的区域的传感器数据，并且其中所述第二方位在所述飞机的第二机翼上，使得所述第二传感器接收包括所述飞机的所述参考点和以第二视角位于所述飞机的所述参考点下方的相应跑道的区域的传感器数据。
6.根据权利要求1所述的系统，其中所述第一传感器和所述第二传感器包括相机。
7.根据权利要求1所述的系统，其中所述参考点为所述飞机的机头。
8.根据权利要求1所述的系统，其中所述计算系统经配置以提供所述控制指令，所述控制指令指示用于在所述飞机到远程用户界面的随后导航期间将所述飞机的所述参考点与所述跑道的所述中心线对齐的所述一个或多个调整，其中所述远程用户界面经配置以显示所述一个或多个调整并启用对所述飞机的远程控制。
9.根据权利要求8所述的系统，其中所述远程用户界面包括可头戴式显示器。
10.根据权利要求1所述的系统，其中所述计算系统经配置以提供所述控制指令，所述控制指令指示用于在所述飞机向所述飞机的控制系统的后续导航以用于自主操作期间将所述飞机的所述参考点与所述跑道的所述中心线对齐的所述一个或多个调整。
CN201910652835.8A 2018-07-19 2019-07-19 用于自主机场跑道导航的系统、方法和计算机可读介质 Active CN110751860B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/039,490 2018-07-19
US16/039,490 US10878709B2 (en) 2018-07-19 2018-07-19 System, method, and computer readable medium for autonomous airport runway navigation

Publications (2)

Publication Number Publication Date
CN110751860A true CN110751860A (zh) 2020-02-04
CN110751860B CN110751860B (zh) 2022-11-25

Family

ID=67226116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910652835.8A Active CN110751860B (zh) 2018-07-19 2019-07-19 用于自主机场跑道导航的系统、方法和计算机可读介质

Country Status (3)

Country Link
US (1) US10878709B2 (zh)
EP (1) EP3598418A1 (zh)
CN (1) CN110751860B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130946A (zh) * 2020-09-22 2020-12-25 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
CN113932804A (zh) * 2021-09-17 2022-01-14 四川腾盾科技有限公司 机场跑道视觉与gnss/惯导导航相结合的定位方法
CN116382351A (zh) * 2023-06-05 2023-07-04 四川腾盾科技有限公司 一种大型固定翼无人机自主避障方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235892B1 (en) * 2017-05-05 2019-03-19 Architecture Technology Corporation Aircraft surface state event track system and method
US11094210B2 (en) * 2018-05-09 2021-08-17 Simmonds Precision Products, Inc. Airport surface navigation aid
US11074820B2 (en) * 2018-12-19 2021-07-27 Embraer S.A. Low/No visibility takeoff system
US11094211B2 (en) * 2019-03-18 2021-08-17 Rockwell Collins, Inc. Judgmental oversteering taxi aid system and method
US11037455B1 (en) * 2019-03-18 2021-06-15 Rockwell Collins, Inc. Autonomous judgmental oversteering determination system for aircraft taxiing
US11639234B2 (en) 2019-04-24 2023-05-02 The Boeing Company Method, system and apparatus for aligning a removable sensor on a vehicle
US20220058962A1 (en) * 2020-08-20 2022-02-24 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Navigation systems and methods for operation
US11753181B2 (en) 2021-03-30 2023-09-12 Honeywell International Inc. System and method for visual aided landing
CN113636095B (zh) * 2021-10-18 2022-04-08 中国民用航空总局第二研究所 一种用于引导航空器的设备数据处理方法、设备及介质
EP4386719A1 (fr) * 2022-12-16 2024-06-19 Airbus Operations SAS Procédé et système d assistance d'un pilote d'un aéronef lors d'un roulement au sol de l aéronef sur une voie de circulation d'un aérodrome

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH449279A (de) * 1966-07-01 1967-12-31 Swissair Photo Ag Verfahren und Vorrichtung zur automatischen Steuerung eines mit einem Autopiloten ausgestatteten Flugzeuges
US3521227A (en) * 1966-10-10 1970-07-21 Kaiser Aerospace & Electronics Display system for providing integrated display of aircraft information
NO972864D0 (no) * 1996-06-26 1997-06-20 Rahtheon Anschuetz Gmbh Fremgangsmåte for kursendring av et fartöy over grunn
US20040056952A1 (en) * 2002-09-20 2004-03-25 Kazuhide Konya Autotiller control system for aircraft utilizing camera sensing
US6813370B1 (en) * 1999-09-22 2004-11-02 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
US20050062615A1 (en) * 2001-10-05 2005-03-24 Goetz Braeuchle Object sensing apparatus
JP2007326534A (ja) * 2006-06-09 2007-12-20 Toyota Motor Corp 車両用車線維持支援装置
US7382284B1 (en) * 2004-09-29 2008-06-03 Rockwell Collins, Inc. Aircraft surface operations guidance on head up display
US20080177427A1 (en) * 2007-01-19 2008-07-24 Thales Device and method for measuring dynamic parameters of an aircraft progressing over an airport zone
US20080238718A1 (en) * 2007-03-30 2008-10-02 Hyundai Motor Company Method for preventing lane departure for use with vehicle
US20130138273A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. System and method for aligning aircraft and runway headings during takeoff roll
US20140297168A1 (en) * 2013-03-26 2014-10-02 Ge Aviation Systems Llc Method of optically locating and guiding a vehicle relative to an airport
US20150332098A1 (en) * 2014-05-16 2015-11-19 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras
CN105374038A (zh) * 2015-11-11 2016-03-02 石家庄铁道大学 车载式双相机机车轮轨位移图像检测系统及方法
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
WO2017000876A1 (zh) * 2015-06-29 2017-01-05 优利科技有限公司 对地定位或导航用相机、飞行器及其导航方法
RU2015129183A (ru) * 2015-07-16 2017-01-18 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Алтайский государственный технический университет им. И.И. Ползунова" (АлтГТУ) Способ определения положения мобильной машины на плоскости
US9594372B1 (en) * 2016-01-21 2017-03-14 X Development Llc Methods and systems for providing feedback based on information received from an aerial vehicle
CN107817018A (zh) * 2016-09-12 2018-03-20 沃尔沃汽车公司 车道线偏离报警系统的测试系统和测试方法
US20180091797A1 (en) * 2016-09-27 2018-03-29 The Boeing Company Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
CN108052107A (zh) * 2018-01-19 2018-05-18 浙江科钛机器人股份有限公司 一种融合磁条、磁钉和惯导的agv室内外复合导航系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405975B1 (en) 1995-12-19 2002-06-18 The Boeing Company Airplane ground maneuvering camera system
JP2004109937A (ja) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd 画像書込装置および記録表示媒体
US9371179B2 (en) * 2013-01-17 2016-06-21 Buckhorn, Inc. Collapsible nestable container

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH449279A (de) * 1966-07-01 1967-12-31 Swissair Photo Ag Verfahren und Vorrichtung zur automatischen Steuerung eines mit einem Autopiloten ausgestatteten Flugzeuges
US3521227A (en) * 1966-10-10 1970-07-21 Kaiser Aerospace & Electronics Display system for providing integrated display of aircraft information
NO972864D0 (no) * 1996-06-26 1997-06-20 Rahtheon Anschuetz Gmbh Fremgangsmåte for kursendring av et fartöy over grunn
US6813370B1 (en) * 1999-09-22 2004-11-02 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
US20050062615A1 (en) * 2001-10-05 2005-03-24 Goetz Braeuchle Object sensing apparatus
US20040056952A1 (en) * 2002-09-20 2004-03-25 Kazuhide Konya Autotiller control system for aircraft utilizing camera sensing
US7382284B1 (en) * 2004-09-29 2008-06-03 Rockwell Collins, Inc. Aircraft surface operations guidance on head up display
JP2007326534A (ja) * 2006-06-09 2007-12-20 Toyota Motor Corp 車両用車線維持支援装置
US20080177427A1 (en) * 2007-01-19 2008-07-24 Thales Device and method for measuring dynamic parameters of an aircraft progressing over an airport zone
US20080238718A1 (en) * 2007-03-30 2008-10-02 Hyundai Motor Company Method for preventing lane departure for use with vehicle
US20130138273A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. System and method for aligning aircraft and runway headings during takeoff roll
US20140297168A1 (en) * 2013-03-26 2014-10-02 Ge Aviation Systems Llc Method of optically locating and guiding a vehicle relative to an airport
US20150332098A1 (en) * 2014-05-16 2015-11-19 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras
WO2017000876A1 (zh) * 2015-06-29 2017-01-05 优利科技有限公司 对地定位或导航用相机、飞行器及其导航方法
RU2015129183A (ru) * 2015-07-16 2017-01-18 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Алтайский государственный технический университет им. И.И. Ползунова" (АлтГТУ) Способ определения положения мобильной машины на плоскости
CN105374038A (zh) * 2015-11-11 2016-03-02 石家庄铁道大学 车载式双相机机车轮轨位移图像检测系统及方法
US9594372B1 (en) * 2016-01-21 2017-03-14 X Development Llc Methods and systems for providing feedback based on information received from an aerial vehicle
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
CN107817018A (zh) * 2016-09-12 2018-03-20 沃尔沃汽车公司 车道线偏离报警系统的测试系统和测试方法
US20180091797A1 (en) * 2016-09-27 2018-03-29 The Boeing Company Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
CN108052107A (zh) * 2018-01-19 2018-05-18 浙江科钛机器人股份有限公司 一种融合磁条、磁钉和惯导的agv室内外复合导航系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢春生等: "基于PEP的飞机一发失效复飞应急程序优化", 《中国民航大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130946A (zh) * 2020-09-22 2020-12-25 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
CN112130946B (zh) * 2020-09-22 2024-03-26 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
CN113932804A (zh) * 2021-09-17 2022-01-14 四川腾盾科技有限公司 机场跑道视觉与gnss/惯导导航相结合的定位方法
CN116382351A (zh) * 2023-06-05 2023-07-04 四川腾盾科技有限公司 一种大型固定翼无人机自主避障方法
CN116382351B (zh) * 2023-06-05 2023-08-18 四川腾盾科技有限公司 一种大型固定翼无人机自主避障方法

Also Published As

Publication number Publication date
CN110751860B (zh) 2022-11-25
EP3598418A1 (en) 2020-01-22
US20200027362A1 (en) 2020-01-23
US10878709B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
CN110751860B (zh) 用于自主机场跑道导航的系统、方法和计算机可读介质
US11585951B1 (en) Heading or pitch determination systems and methods with high confidence error bounds
US11959771B2 (en) Creation and use of enhanced maps
US9260180B2 (en) Autonomous and automatic landing method and system
KR101454153B1 (ko) 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
US9939818B2 (en) Method and system for automatic autonomous landing of an aircraft
US10118614B2 (en) Detailed map format for autonomous driving
EP1709611B1 (en) Automatic taxi manager
EP2118713B1 (en) Precision approach control
EP2589538B1 (en) Display device, piloting assistance system, and display method
US8073584B2 (en) Method for measuring dynamic parameters of an aircraft progressing over an airport zone
KR102483714B1 (ko) 이미지 센서 기반 자율 착륙
US11725940B2 (en) Unmanned aerial vehicle control point selection system
US10643481B2 (en) Method and a device for avoiding an object by detecting its approach to an aircraft
US20210365038A1 (en) Local sensing based autonomous navigation, and associated systems and methods
US20090024311A1 (en) Method and apparatus for displaying terrain elevation information
RU2703412C2 (ru) Способ обеспечения автоматической посадки летательного аппарата
US11915603B2 (en) Docking guidance display methods and systems
US11754415B2 (en) Sensor localization from external source data
TWI725611B (zh) 高爾夫球場自駕車輛之車輛導航切換設備
Xia et al. Integrated emergency self-landing method for autonomous uas in urban aerial mobility
JP7488063B2 (ja) 都市航空ビークルの航法性能
Durrie et al. Vision-aided inertial navigation on an uncertain map using a particle filter
EP3926608A2 (en) Docking guidance display methods and systems
US20230023069A1 (en) Vision-based landing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant