CN112446921A - 用于载具后推碰撞通知与避免的系统和方法 - Google Patents

用于载具后推碰撞通知与避免的系统和方法 Download PDF

Info

Publication number
CN112446921A
CN112446921A CN202010751030.1A CN202010751030A CN112446921A CN 112446921 A CN112446921 A CN 112446921A CN 202010751030 A CN202010751030 A CN 202010751030A CN 112446921 A CN112446921 A CN 112446921A
Authority
CN
China
Prior art keywords
vehicle
information
camera
computer
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010751030.1A
Other languages
English (en)
Inventor
阿米特·斯利瓦斯塔瓦
拉杰什·陈初
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN112446921A publication Critical patent/CN112446921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G08G5/065—Navigation or guidance aids, e.g. for taxiing or rolling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0008—Transmission of traffic-related information to or from an aircraft with other aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明题为“用于载具后推碰撞通知与避免的系统和方法”。本发明公开了用于载具碰撞通知与避免的系统、方法和非暂态计算机可读介质。一个系统可包括将至少一个照相机附接到载具，接收关于载具和至少一个其他载具的载具信息和地理信息。该系统还可包括预测该载具和该其他载具的下一个位置，并且基于该载具的该下一个位置与该其他载具的该下一个位置的比较来确定该载具是否将与该其他载具碰撞。该系统还可包括生成该载具和该其他载具的碰撞的图形表示，并且可将该图形表示传输到用户设备。

Description

用于载具后推碰撞通知与避免的系统和方法
技术领域
本公开的各种实施方案整体涉及一种载具后推碰撞通知与避免的连接的面向服务的架构，并且更具体地讲，涉及提供在地面操作期间在载具操纵之间的潜在碰撞的图形通知或其他通知。
背景技术
机场中的航站闸口和停机区域可能是非常拥堵的地方，同时有到达和离开的飞行器，并且地面服务载具以及地面人员会服务和引导飞行器进出闸口。避免该区域中的碰撞事故涉及在飞行器和其他载具在这些区域内操纵时仔细监视和控制它们的位置和移动。后推操作可涉及人员、飞行器和/或装备之间的交互或甚至碰撞。通常，用拖车载具将飞行器后推，并且地面人员辅助拖车驾驶员在飞行器同时转向飞行器在其中可启动其引擎并且向前移动到滑行道的位置时，引导飞行器反向移动。在许多(如果不是大多数)机场处，飞行器周围的环境由这些地面人员和拖车驾驶员监视。这些支持人员可通过通用视觉信号和附加语音通信将更新和状态传送给飞行员。
本发明提供的背景技术描述是为了大致给出本公开的背景。除非本发明另外指明，否则本部分中描述的材料不是本专利申请的权利要求书的现有技术，并且不会因为包括在本部分中而被承认为现有技术或现有技术的建议。
发明内容
根据本公开的某些方面，公开了用于通过连接的服务平台提供载具后推碰撞通知与避免的系统和方法。
在一个实施方案中，公开了一种用于载具碰撞通知与避免的计算机实现方法，该方法可以包括建立耦接到载具的至少一个照相机的视场视频；将耦接到载具的至少一个照相机的视场视频传输到用户设备；接收关于载具的载具信息；接收关于耦接到载具的至少一个照相机的视场视频中的至少一个其他载具的其他载具信息；接收关于载具和其他载具的位置的地理信息；基于载具信息和地理信息来预测载具的下一个位置；基于其他载具信息和地理信息来预测其他载具的下一个位置；基于载具的下一个位置与其他载具的下一个位置的比较来确定载具是否将与其他载具碰撞；在耦接到载具的至少一个照相机的视场视频中生成图形表示，其中图形表示表示载具和其他载具的碰撞；以及将载具和其他载具的碰撞的图形表示传输到用户设备。
根据另一个实施方案，公开了一种用于载具碰撞通知与避免的计算机实现系统，该计算机实现系统可包括存储器，该存储器具有存储在其中的处理器可读指令；和至少一个处理器，该至少一个处理器被配置为访问存储器并且执行处理器可读指令，处理器可读指令在被处理器执行时将处理器配置为执行用于以下操作的功能：建立耦接到载具的至少一个照相机的视场视频；将耦接到载具的至少一个照相机的视场视频传输到用户设备；接收关于载具的载具信息；接收关于耦接到载具的至少一个照相机的视场视频中的至少一个其他载具的其他载具信息；接收关于载具和其他载具的位置的地理信息；基于载具信息和地理信息来预测载具的下一个位置；基于其他载具信息和地理信息来预测其他载具的下一个位置；基于载具的下一个位置与其他载具的下一个位置的比较来确定载具是否将与其他载具碰撞；在耦接到载具的至少一个照相机的视场视频中生成图形表示，其中图形表示表示载具和其他载具的碰撞；以及将载具和其他载具的碰撞的图形表示传输到用户设备。
根据另一个实施方案，公开了一种用于载具碰撞通知与避免的非暂态计算机可读介质。该非暂态计算机可读介质可包含用于以下操作的指令：建立耦接到载具的至少一个照相机的视场视频；将耦接到载具的至少一个照相机的视场视频传输到用户设备；接收关于载具的载具信息；接收关于耦接到载具的至少一个照相机的视场视频中的至少一个其他载具的其他载具信息；接收关于载具和其他载具的位置的地理信息；基于载具信息和地理信息来预测载具的下一个位置；基于其他载具信息和地理信息来预测其他载具的下一个位置；基于载具的下一个位置与其他载具的下一个位置的比较来确定载具是否将与其他载具碰撞；在耦接到载具的至少一个照相机的视场视频中生成图形表示，其中图形表示表示载具和其他载具的碰撞；以及将载具和其他载具的碰撞的图形表示传输到用户设备。
附图说明
结合到本说明书中并且构成本说明书的一部分的附图示出了各种示例性实施方案，并且连同说明书一起用于解释所公开的实施方案的原理。
图1描绘了根据本公开的一个方面的用于载具碰撞通知与避免的系统的概述。
图2描绘了根据本公开的一个方面的碰撞通知与避免系统的示例性高阶系统架构。
图3描绘了根据本公开的一个方面的用于载具碰撞通知与避免的示例性方法的流程图。
图4描绘了根据本公开的一个方面的载具碰撞通知与避免系统的示例性图形显示。
图5示出了其中可以实现本公开的实施方案或其部分的示例性计算机设备或系统。
具体实施方式
如上所述，飞行器的后推操作可涉及人员、飞行器和/或装备之间的交互或甚至碰撞。考虑到预期的空中交通增长，需要分析涉及推动的飞行器与在机场停机坪上操作的其他移动或静止物件之间的碰撞的事故，以确定用于防止飞行器后推碰撞的解决方案。
本公开提供了对载具后推过程的改善。载具后推碰撞通知与避免系统可并入用于改善后推操作的可附接和可拆卸照相机系统，其中照相机系统可在地面人员、拖车载具驾驶员或远程控制器的控制下建立到监视设备的无线视频馈送，以监视飞行器周围的区域。载具后推碰撞通知和回避系统还可包括使用历史停机区域后推轨迹数据和/或机场场面模型的基于地面的防撞算法，以及用于预测机场停机坪上的各种飞行器和物件的未来位置的向前位置算法。
现在将在下文参照附图更充分地描述本说明书的主题，这些附图构成说明书的一部分并且以例证的方式示出具体示例性实施方案。本发明描述为“示例性”的实施方案或具体实施不应被解释为例如比其他实施方案或具体实施更为优选的或有利的；相反，其旨在反映或指示该一个或多个实施方案为一个或多个“示例性”实施方案。主题能够体现为多种不同形式，因此所涵盖或要求保护的主题旨在被解释为不限于本发明所阐述的任何示例性实施方案；提供示例性实施方案仅仅是为了说明。同样，旨在要求保护或所涵盖的主题拥有适当宽泛的范围。除了别的以外，例如，主题可具体体现为方法、设备、部件或系统。因此，实施方案可例如采用硬件、软件、固件或它们的任何组合(除软件本身之外)的形式。因此，以下具体实施方式并非旨在被视为具有限制意义。
在整个说明书和权利要求书中，除了明确说明的含义之外，术语可具有上下文中提出或暗示的有细微差别的含义。同样，如本发明所用的短语“在一个实施方案中”不一定指相同的实施方案，并且如本发明所用的短语“在另一个实施方案中”不一定指不同的实施方案。例如，要求保护的主题旨在全部或部分地包括示例性实施方案的组合。
下文所用的术语可以其最广泛的合理方式来解释，即使将其与本公开的某些具体示例的具体实施方式一起使用也是如此。实际上，某些术语甚至可在下文加以强调；然而，任何旨在以任何受限方式解释的术语将在本具体实施方式部分中被明确地和具体地定义。前述大体实施方式和下文具体实施方式均仅为示例性的和说明性的，而非局限于受权利要求书保护的特征。
在本公开中，术语“基于”是指“至少部分地基于”。单数形式“一个”、“一种”和“该”包括复数引用，除非上下文中另外指出其他情况。术语“示例性”以“示例”而非“理想”的意义使用。术语“或”旨在是包括性的并且表示任一、任何、若干、或所有的列出的项目。术语“包括”、“包含”、“具有”、“含有”或者它们的其他变型旨在涵盖非排他性包含，使得包括元素列表的过程、方法或产品不必须包括只有那些元素而是可包括未明确列出的或者这些过程、方法、制品或设备固有的其他元素。相对术语(诸如“基本上”和“大体”)用于指示陈述值或理解值的±10％的可能变化。
现在参考附图，图1描绘了根据本公开的一个方面的用于载具碰撞通知与避免的系统100的概述。虽然飞行器在本文中被称为用于本文所述的系统和方法的示例性载具，但是应当理解，本公开不限于飞行器并且可应用于其他载具，诸如货运卡车、公共汽车和/或其他载具。
系统100可包括飞行器101、后推辅助应用程序105、可附接照相机110、地面人员115、地面飞行器数据库106、机场信息数据库107和外部信息数据库108。地面人员115可包括在后推操作期间行走在飞行器旁边的地面机组人员，以及拖车载具驾驶员。地面飞行器数据库106可包括关于目标飞行器和其他外部飞行器和物件的位置信息和速度信息、飞行器结构信息、飞行器安全区半径环信息以及机翼尖端分离间隙距离信息。机场信息数据库107可包括机场场面模型、障碍物、引导线标记、场面历史轨迹和性能数据。外部信息数据库108可存储与飞行器后推或滑行道/跑道许可信息相关的信息。
可附接照相机110可以是可临时或至少可移除地耦接到飞行器的任何期望位置的一个或多个照相机。另选地，可附接照相机110实际上可以是整合到飞行器的机体中的固定照相机，作为OEM装备或作为售后装备。虽然可附接照相机110可耦接到飞行器的任何期望位置，但是在一个实施方案中，可附接照相机110可由地面人员耦接到飞行器的后部。在一个实施方案中，多个可附接照相机可耦接到飞行器外部的多个位置以覆盖飞行器的完整周围环境。例如，在一个实施方案中，一个或多个照相机110可被配置为捕获360度视图，并且可使用不同类型的照相机。例如，RGB照相机、红外(IR)照相机、热照相机或RGB-D深度照相机可全部单独使用或一起使用地耦接到飞行器。照相机110可包括无线通信单元，该无线通信单元用于将实时捕获的视频传送到监视设备或传送到远程服务器。地面人员115可具有从照相机110接收实时捕获的视频通信的设备。能够接收实时捕获视频的设备可包括智能电话、膝上型计算机、平板计算机、台式计算机和可穿戴设备，诸如智能眼镜、虚拟现实头戴式耳机、增强现实头戴式耳机和智能手表。
如上所述，图1仅作为示例提供。其他示例是可行的，并且可与参考图1描述的示例不同。图1所示的设备和网络的数量和布置作为示例而提供。实际上，与图1中所示的那些相比，可以有额外的设备、更少的设备和/或网络、不同的设备和/或网络、或者不同布置的设备和/或网络。附加地或另选地，环境100的一组设备(例如，一个或多个设备)可以执行被描述为由环境100的另一组设备执行的一个或多个功能。
图2描绘了根据本公开的一个方面的碰撞通知与避免系统的示例性高阶系统架构环境200。环境200可包括地面飞行器数据库106、机场信息数据库107、外部信息数据库108、后推防撞系统210和显示器215。
后推防碰撞系统210可包括可附接照相机系统211、碰撞预测模块212、通信系统213和图形处理模块214。可附接照相机系统对应于图1所绘的可附接照相机110，并且可执行类似的功能。碰撞预测模块212、通信系统213和图形处理模块214可对应于图1所描绘的后推辅助应用程序105。碰撞预测模块212可并入碰撞预测算法来预测后推飞行器与其他外部障碍物之间的潜在碰撞。碰撞检测算法可使用计算机视觉技术和回归模型两者来预测其他飞行器和障碍物与后推飞行器之间的可能碰撞。计算机视觉技术可利用由可附接照相机系统211提供的视频馈送来识别后推飞行器周围的其他飞行器和障碍物。例如，可附接照相机系统211可以是一组RGB-D照相机，并且碰撞检测算法可使用由该组RGB-D照相机提供的深度图来精确地测量到任何潜在障碍物的相对距离。碰撞检测算法还可以利用从一组RGB照相机的计算机视觉技术获得的估计深度图来测量到任何潜在障碍物的相对距离。回归模型可使用来自地面飞行器数据库106的载具或飞行器位置信息、飞行器机翼尖端分离间隙距离信息和飞行器结构信息、速度和机场场面模型信息，以及来自机场信息数据库107的特定驻停区的历史后推轨迹数据和来自外部信息数据库108的飞行器许可路径信息，以预测后推飞行器在时间“t+δ”处的位置，其中“t”为当前时间，并且“δ”为提前的时间量。
如果在后推飞行器与其他飞行器和障碍物之间检测到潜在的碰撞，则碰撞预测模块212可生成警报。警报可以是听觉警报(诸如汽笛)或视觉警报中的任一者或两者。视觉警报可经由图形处理模块214生成，并且可以是对标识威胁物件的实时照相机馈送的标记，并且经由通信系统213将标记的馈送传输到显示器215。图2中描绘的显示器215可以是由地面人员115使用的设备的显示器。标记的视频馈送可以是增强现实或虚拟现实的形式，并且可以被传输到由地面人员操作的移动设备或可穿戴设备，或者可以作为抬头显示器被传输。视频馈送还可包括导航显示器，该导航显示器描绘飞行器可遵循的滑行道和路线。地面人员可以使用视频馈送来监视其他载具或飞行器位置和围绕后推飞行器的障碍物，并且引导完整的后推操作。
在一个实施方案中，碰撞预测模块212可在机场的服务器处或在远程服务器处实现。在另一个实施方案中，碰撞预测模块212可在最终用户设备处实现，例如在拖车驾驶员载具上实现，以避免系统或不同地理位置之间的数据传输延迟。
图2所示的模块、设备和网络的数量和布置作为示例而提供。实际上，与图2中所示的那些相比，可以有附加的模块和设备、更少的模块、设备和/或网络、不同的模块、设备和/或网络、或者不同布置的模块、设备和/或网络。此外，图2的环境200中包括的两个或更多个设备可在单个设备内实现，或者图2的环境200中的单个设备可被实现为多个分布式设备。附加地或另选地，环境200的一组设备(例如，一个或多个设备)可以执行被描述为由环境200的另一组设备执行的一个或多个功能。
图3描绘了根据本公开的一个方面的用于载具碰撞通知与避免的示例性方法300的流程图。
示例性方法300从步骤301开始，在飞行器后推操作开始时，可将牵引杆连接到飞行器。在步骤302处，可将拖车载具连接到牵引杆的另一侧。在步骤303处，地面人员可将一个或多个照相机附接或固定在飞行器上以监视飞行器周围的区域。在步骤304处，可建立一个或多个照相机与地面人员和/或拖车载具驾驶员之间的通信。在步骤305处，可识别飞行器周围的其他地面载具和障碍物。识别可由地面人员通过在视图馈送中标记障碍物的位置来执行，或者识别也可由机器视觉学习来执行。在步骤306处，可以确定是否存在障碍物，如果存在障碍物，则可以在步骤307向地面人员发送操作检查消息，然后重复在步骤306处的确定。如果不存在障碍物，则方法前进至步骤308以确定飞行器是否已接收到后推许可。如果尚未接收到后推许可，则在步骤309处，请求后推许可并且重复步骤308。如果已经接收到后推许可，则该方法前进至步骤310，在该步骤中，来自耦接的照相机的实时视频馈送可以被传输到最终用户系统或设备，例如由地面人员或拖车载具驾驶员使用的设备，或传输到由飞行机组操作的驾驶舱设备中，或传输到远程控制器。在步骤311和312处，可提供航站飞行器和载具位置信息以及场面引导线信息和历史航迹数据以在步骤313处确定飞行器和围绕后推飞行器的载具的预测位置。在飞行器不自行传输位置信息的情况下，航站飞行器和位置信息可包括由自动相关监测广播(ADS-B)和其他拖车载具传输的信息。然后可在步骤314处将预测位置传输到自动碰撞检测和警报通知模块，其中该模块可执行碰撞检测算法以确定是否可能发生任何碰撞。任何碰撞都可以由模块通过使用回归模型在“t+δ”处预测下一个可能的载具或飞行器位置来确定。在步骤315处，如果即将发生任何碰撞，则可在照相机的视频馈送中标记碰撞区域。碰撞区域可由不同的颜色标记，例如碰撞区域可用红色阴影表示。碰撞区域可由形状标记，例如碰撞区域可在正方形框中突出显示。碰撞区域也可用动画来标记，例如可在实时馈送中绘制飞行器碰撞的动画。然后可在步骤316处将指示碰撞区域的增强照相机视频馈送传输到驻留在拖车载具中的拖车驾驶员辅助应用程序，并且可在步骤317处将增强照相机视频馈送传输到例如在地面人员设备上执行的地面人员应用程序。在步骤318处，可确定飞行器是否与滑行道对准。如果确定为否，则过程可返回到步骤314以继续确定是否即将发生任何碰撞。如果确定是，飞行器与滑行道对准，则可完成飞行器后推操作，在步骤319处，地面人员将照相机系统与飞行器断开。在步骤320处，飞行器可与牵引杆和拖车断开连接，飞行器可继续进行起飞操作。
虽然图3示出了示例框图，但是在一些具体实施中，方法300可包括比图3中所示的块更多的框，更少的框，不同的框或不同布置的框。附加地或另选地，可并行地执行方法300的两个或更多个框。
图4描绘了根据本公开的一个方面的碰撞通知与避免系统的示例性高阶系统架构400。
显示器400可包括拖车载具401、飞行器后推轨迹路径402和飞行器方向403。飞行器用拖车载具401后推，并且显示器400可辅助拖车驾驶员在飞行器同时转向飞行器在其中可启动其引擎并且向前移动到滑行道的位置时，反向移动飞行器。显示器400可经由由可附接照相机110提供的实时视频馈送向拖车驾驶员显示飞行器后推轨迹路径402和飞行器方向403以供拖车驾驶员遵循。在一个实施方案中，例如在当ADS-B关闭时的后推操作期间，后推飞行器可能不广播位置信息，可基于由拖车载具的GPS接收器提供的信息来计算后推飞行器的位置。GPS接收器所提供的信息可包括拖车载具的速度、加速度和方向。可使用回归模型将拖车载具的信息传递到碰撞预测模块212以预测时间“t+δ”处的下一个可能的位置，其中“t”为当前时间。在另一个实施方案中，显示器400可以使用来自耦接的照相机的实时视频馈送来构建后推飞行器的周边环境的360度视图，可以提供对潜在碰撞的任何警告作为对实时视频馈送的增强。例如，显示绿色线以指示与其他障碍物的安全距离，并且显示红色线以指示潜在的碰撞。然后，拖车驾驶员可使用显示器400来辅助后推操作以避免任何可能的碰撞。
尽管图4示出了用户界面的示例，但是在一些具体实施中，用户界面400可具有附加的图形物件、更少的图形物件或不同的图形物件。
图5描绘了示例性计算机设备或系统的高阶功能框图，其中本公开的实施方案或其部分可被现为例如计算机可读代码。在一些具体实施中，后推辅助应用程序可对应于设备500。除此之外或另选地，后推防撞系统210可对应于设备500。另外，上文相对于图1至图4所述的示例性计算机服务器、数据库、用户界面、模块和方法中的每一个可以使用硬件、软件、固件、其上存储有指令的有形计算机可读介质或它们的组合在设备500中实现，并且可以在一个或多个计算机系统或者其他处理系统中实现。硬件、软件或它们的任何组合可实现上文相对于图1至图4所述的示例性系统、用户界面和方法中的每一者。
如果使用可编程逻辑，则此类逻辑可在市售处理平台或专用设备上执行。本领域的普通技术人员可以理解，可使用各种计算机系统配置来实施所公开的主题的实施方案，这些计算机系统配置包括多核多处理器系统、小型计算机、大型计算机、与分布式功能链接或群集在一起的计算机、以及可嵌入几乎任何设备中的普适或微型计算机。
例如，至少一个处理器设备和存储器可用于实现上述实施方案。处理器设备可为单个处理器或多个处理器或它们的组合。处理器设备可具有一个或多个处理器“内核”。
如上文在图1至图4的示例中描述的本公开的各种实施方案可以使用设备500来实现。在阅读了本说明书之后，对于相关领域的技术人员而言，如何使用其他计算机系统和/或计算机体系结构来实现本公开的实施方案将变得显而易见。尽管可将操作描述为顺序过程，但一些操作实际上可并行、并发和/或在分布式环境中执行，并且其中在本地和/或远程存储程序代码以供单处理器或多处理器机器访问。另外，在一些实施方案中，在不脱离所公开的主题的实质的情况下，可重新排列操作的顺序。
如图5所示，设备500可包括中央处理单元(CPU)520。CPU520可以是任何类型的处理器设备，包括例如任何类型的专用或通用微处理器设备。相关领域的技术人员应当理解，CPU520也可以是多核/多处理器系统(此类系统单独操作)中或在集群或服务器场中操作的计算设备集群中的单个处理器。CPU520可以连接到数据通信基础结构510，例如总线、消息队列、网络或多核消息传递方案。
设备500还可包括主存储器540，例如随机存取存储器(RAM)，并且还可包括辅助存储器530。辅助存储器530(例如只读存储器(ROM))可以是例如硬盘驱动器或可移除存储驱动器。此类可移除存储驱动器可包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存存储器等。可移除存储驱动器在该示例中以熟知的方式从可移除存储单元读取和/或写入可移除存储单元。可移除存储单元可包括由可移除存储驱动器读取和写入可移除存储驱动器的软盘、磁带、光盘等。相关领域的技术人员应当理解，此类可移除存储单元一般包括其中存储有计算机软件和/或数据的计算机可用存储介质。
在另选实施方式中，辅助存储器530可以包括允许计算机程序或其他指令加载到设备500中的其他类似装置。此类装置的示例可以包括程序盒式存储器和盒式存储器接口(诸如存在于视频游戏设备中的)、可移除存储器芯片(诸如EPROM或PROM)和相关联的插口、以及允许软件和数据从可移除存储单元传输到设备500的其他可移除存储单元和接口。
设备500还可包括通信接口(“COM”)560。通信接口560允许软件和数据在设备500与外部设备之间传输。通信接口560可以包括调制解调器、网络接口(诸如以太网卡)、通信端口、PCMCIA插槽和卡等。经由通信接口560传输的软件和数据可以是信号的形式，这些信号可以是能够被通信接口560接收的电子、电磁、光学或其他信号。可以经由设备500的通信路径将这些信号提供给通信接口560，该通信路径可以使用例如导线或电缆、光纤、电话线、蜂窝电话链路、RF链路或其他通信信道来实现。
此类设备的硬件元件、操作系统和编程语言本质上是常规的，因此推定本领域技术人员对此是足够熟悉的。设备500还可包括输入和输出端口550以与输入和输出设备(诸如键盘、鼠标、触摸屏、监视器、显示器等)连接。当然，各种服务器功能可在多个类似平台上以分布的方式实现以分配处理负载。另选地，这些服务器可通过一个计算机硬件平台的适当编程来实现。
参照附图以举例的方式详细描述了本发明所公开的系统、装置、设备和方法。本发明所讨论的示例仅仅是示例，并且提供的目的是为了帮助解释本文所述的装置、设备、系统和方法。附图中示出或下文讨论的任何特征或部件不应被认为对于这些装置、设备、系统或方法中的任何一者的任何具体实施方式是强制性的，除非明确指出是强制性的。为便于阅读和清楚起见，某些部件、模块或方法可仅仅结合具体附图来描述。在本公开中，具体技术、布置等的任何指明要么与所提出的具体示例相关，要么仅仅是此类技术、布置等的一般性描述。具体细节或示例的指明并非旨在或不应被解释为强制性或限制性的，除非明确这样指出。未明确描述部件的组合或子组合的任何情况不应被理解为是对任何组合或子组合不可能的指示。应当理解，可对所公开和描述的示例、布置、配置、部件、元件、装置、设备、系统、方法等进行修改，并且这对于具体专利申请可为所需的。另外，对于所述的任何方法而言，不论该方法是否结合流程图来描述，都应当理解，除非上下文另外指明或要求，否则方法执行过程中执行的步骤的任何明示或暗示排序并不意味着这些步骤必须按照所提出的顺序执行，而是可按不同顺序或并行执行。
在整个本公开中，提到的部件或模块一般是指可在逻辑上组合在一起以执行一种功能或一组相关功能的物件。类似的附图标记一般旨在指代相同或类似的部件。部件和模块可在软件、硬件或软件与硬件的组合中实现。术语“软件”被广义地使用以不仅包括可执行代码例如机器可执行或机器可解释指令，还包括以任何合适电子格式存储的数据结构、数据存储和计算指令，包括固件和嵌入式软件。术语“信息”和“数据”被广泛使用并且包括各种各样的电子信息，包括可执行代码；内容诸如文本、视频数据和音频数据等等；以及各种代码或标记。术语“信息”、“数据”和“内容”在上下文允许时有时可互换使用。
说明书和示例旨在仅被视为示例性的，其中本公开的真实范围和实质由以下权利要求书所指示。

Claims (10)

1.一种用于载具碰撞通知与避免的计算机实现方法，所述方法包括：
建立耦接到载具的至少一个照相机的视场视频；
将耦接到所述载具的所述至少一个照相机的所述视场视频传输到用户设备；
接收关于所述载具的载具信息；
接收关于耦接到所述载具的所述至少一个照相机的所述视场视频中的至少一个其他载具的其他载具信息；
接收关于所述载具和所述其他载具的位置的地理信息；
基于所述载具信息和所述地理信息来预测所述载具的下一个位置；
基于所述其他载具信息和所述地理信息来预测所述其他载具的下一个位置；
基于所述载具的所述下一个位置与所述其他载具的所述下一个位置的比较来确定所述载具是否将与所述其他载具碰撞；
在耦接到所述载具的所述至少一个照相机的所述视场视频中生成图形表示，其中所述图形表示表示所述载具和所述其他载具的所述碰撞；以及
将所述载具和所述其他载具的所述碰撞的所述图形表示传输到所述用户设备。
2.根据权利要求1所述的计算机实现方法，其中所述至少一个照相机可移除地耦接到所述载具，并且耦接到所述载具的所述至少一个照相机选自RGB照相机、IR照相机、热照相机和RGB-D照相机。
3.根据权利要求1所述的计算机实现方法，其中所述载具信息和所述其他载具信息包括位置信息、速度信息、飞行器结构信息、飞行器安全区半径环信息和机翼尖端分离间隙距离信息中的至少一者。
4.根据权利要求1所述的计算机实现方法，其中所述载具的所述位置从所述载具上的GPS接收器或连接到所述载具的拖车载具获得。
5.根据权利要求1所述的计算机实现方法，其中所述地理信息包括飞行器滑行道许可路径、机场场面引导线信息、历史后推轨迹信息和机场场面信息中的至少一者。
6.根据权利要求1所述的计算机实现方法，其中预测所述载具和所述其他载具的下一个位置包括使用计算机视觉和回归模型。
7.根据权利要求1所述的计算机实现方法，其中所述用户设备是智能电话、膝上型计算机、平板计算机、台式计算机、智能眼镜、虚拟现实头戴式耳机、增强现实头戴式耳机和智能手表中的一者。
8.一种用于载具碰撞通知与避免的计算机实现系统，所述计算机实现系统包括：
存储器，所述存储器具有存储在其中的处理器可读指令；和
至少一个处理器，所述至少一个处理器被配置为访问所述存储器并且执行所述处理器可读指令，所述处理器可读指令在被所述处理器执行时将所述处理器配置为执行用于以下操作的功能：
建立耦接到载具的至少一个照相机的视场视频；
将耦接到所述载具的所述至少一个照相机的所述视场视频传输到用户设备；
接收关于所述载具的载具信息；
接收关于耦接到所述载具的所述至少一个照相机的所述视场视频中的至少一个其他载具的其他载具信息；
接收关于所述载具和所述其他载具的位置的地理信息；
基于所述载具信息和所述地理信息来预测所述载具的下一个位置；
基于所述其他载具信息和所述地理信息来预测所述其他载具的下一个位置；
基于所述载具的所述下一个位置与所述其他载具的所述下一个位置的比较来确定所述载具是否将与所述其他载具碰撞；
在耦接到所述载具的所述至少一个照相机的所述视场视频中生成图形表示，其中所述图形表示表示所述载具和所述其他载具的所述碰撞；以及
将所述载具和所述其他载具的所述碰撞的所述图形表示传输到所述用户设备。
9.根据权利要求8所述的计算机实现系统，其中耦接到所述载具的所述至少一个照相机选自RGB照相机、IR照相机、热照相机和RGB-D照相机。
10.根据权利要求8所述的计算机实现系统，其中所述载具信息和所述其他载具信息包括位置信息、速度信息、飞行器结构信息、飞行器安全区半径环信息和机翼尖端分离间隙距离信息中的至少一者。
CN202010751030.1A 2019-08-28 2020-07-30 用于载具后推碰撞通知与避免的系统和方法 Pending CN112446921A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/553,630 2019-08-28
US16/553,630 US10867522B1 (en) 2019-08-28 2019-08-28 Systems and methods for vehicle pushback collision notification and avoidance

Publications (1)

Publication Number Publication Date
CN112446921A true CN112446921A (zh) 2021-03-05

Family

ID=71943932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010751030.1A Pending CN112446921A (zh) 2019-08-28 2020-07-30 用于载具后推碰撞通知与避免的系统和方法

Country Status (3)

Country Link
US (2) US10867522B1 (zh)
EP (1) EP3786924A1 (zh)
CN (1) CN112446921A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378741A (zh) * 2021-06-21 2021-09-10 中新国际联合研究院 一种基于多源传感器的飞机牵引车辅助感知方法及其系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402874B (zh) * 2020-02-26 2023-07-07 中国民航大学 一种基于语音和视觉结合的飞机牵引车智能驾驶控制系统
EP4109433A1 (en) * 2021-06-22 2022-12-28 ADB Safegate Sweden AB Method for monitoring backward movement of an aircraft at an airport stand
US11866194B2 (en) * 2021-10-30 2024-01-09 Beta Air, Llc Systems and methods for a visual system for an electric aircraft
CN114187783B (zh) * 2021-12-06 2023-10-31 中国民航大学 一种用于机场飞行区潜在冲突分析预测的方法
CN114822089B (zh) * 2022-06-23 2022-10-14 中国民用航空总局第二研究所 一种航空公司地面运行车辆离线违规告警方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062011A1 (en) 2004-09-07 2008-03-13 Butler William M Collision Avoidance Warning And Taxi Guidance Device
FR2925739B1 (fr) * 2007-12-20 2010-11-05 Airbus France Procede et dispositif de prevention des collisions au sol pour aeronefs.
US9223017B2 (en) * 2012-05-30 2015-12-29 Honeywell International Inc. Systems and methods for enhanced awareness of obstacle proximity during taxi operations
US9581692B2 (en) * 2012-05-30 2017-02-28 Honeywell International Inc. Collision-avoidance system for ground crew using sensors
CA2833985C (en) 2012-11-19 2020-07-07 Rosemount Aerospace, Inc. Collision avoidance system for aircraft ground operations
WO2016086278A1 (en) 2014-12-04 2016-06-09 The University Of Sydney Determining a preferred flight plan
US9472111B2 (en) * 2015-03-03 2016-10-18 Honeywell International Inc. Augmented aircraft autobrake systems for preventing runway incursions, related program products, and related processes
US20170032687A1 (en) * 2015-07-31 2017-02-02 Honeywell International Inc. Automatic in/out aircraft taxiing, terminal gate locator and aircraft positioning
US10043404B2 (en) * 2016-04-18 2018-08-07 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
US10217371B1 (en) 2017-08-22 2019-02-26 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting using adaptive field of view
GB2568356B (en) * 2017-09-07 2021-12-15 Borealis Tech Ltd Improved aircraft ground collision avoidance system
US10553123B2 (en) * 2017-11-16 2020-02-04 Simmonds Precision Products, Inc. Determination of collision risks between a taxiing aircraft and objects external to the taxiing aircraft

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378741A (zh) * 2021-06-21 2021-09-10 中新国际联合研究院 一种基于多源传感器的飞机牵引车辅助感知方法及其系统

Also Published As

Publication number Publication date
US10867522B1 (en) 2020-12-15
US20210065567A1 (en) 2021-03-04
EP3786924A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
US10867522B1 (en) Systems and methods for vehicle pushback collision notification and avoidance
RU2560220C1 (ru) Способ и устройство для управления наземным движением мобильных объектов на аэродроме
US9547993B2 (en) Automated aircraft ground threat avoidance system
US7932853B1 (en) System and method for identifying incursion threat levels
US11260838B2 (en) Methods and systems for vehicle contact prediction and auto brake activation
EP3474259B1 (en) Method and system for contextually concatenating display, aural, and voice alerts
CN112550309B (zh) 自动驾驶车辆、信息显示方法、装置、设备以及存储介质
US11094210B2 (en) Airport surface navigation aid
EP2887338B1 (en) Ground obstacle collision alert deactivation
EP2506237B1 (en) System for presenting taxi instructions and reducing runway incursions
EP2597633A2 (en) System and methods for situation awareness, advisory, tracking, and aircraft control information
US10852157B2 (en) Guidance display for controlling aircraft turns for aircraft spacing
US9472111B2 (en) Augmented aircraft autobrake systems for preventing runway incursions, related program products, and related processes
CN103177609A (zh) 用于识别沿飞行中的飞行器的飞行路径的侵入的基于地面的系统和方法
US11361668B1 (en) Collision awareness system for ground operations
EP3486888B1 (en) Determination of collision risks between a taxiing aircraft and objects external to the taxiing aircraft
CN107403563A (zh) 通航空空监视设备、方法、系统及通用航空器
US20190257656A1 (en) Method and system for automating and configuring an aircraft de-icing pad facility
Ding Analysis and simulation of advanced ground motion guidance and control system
CN115862357A (zh) 挪车方法及其系统、电子设备、可读存储介质
CN115729229A (zh) 用于运载工具的方法和运载工具系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination