CN111046097B - 可适应的交通工具监视系统 - Google Patents

可适应的交通工具监视系统 Download PDF

Info

Publication number
CN111046097B
CN111046097B CN201910912052.9A CN201910912052A CN111046097B CN 111046097 B CN111046097 B CN 111046097B CN 201910912052 A CN201910912052 A CN 201910912052A CN 111046097 B CN111046097 B CN 111046097B
Authority
CN
China
Prior art keywords
vehicle
subsystem
context
vehicle state
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910912052.9A
Other languages
English (en)
Other versions
CN111046097A (zh
Inventor
J·C·瑞安
J·E·杜达
A·马斯托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Flight Sciences Corp
Original Assignee
Aurora Flight Sciences Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Flight Sciences Corp filed Critical Aurora Flight Sciences Corp
Publication of CN111046097A publication Critical patent/CN111046097A/zh
Application granted granted Critical
Publication of CN111046097B publication Critical patent/CN111046097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0232—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on qualitative trend analysis, e.g. system evolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0085—Devices for aircraft health monitoring, e.g. monitoring flutter or vibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开可适应的交通工具监视系统。该系统包括具有状态监视子系统和反馈子系统的核心平台。核心平台互连感知子系统、知识获取子系统和用户界面。感知子系统被配置为从交通工具的仪表获取当前交通工具状态数据。知识获取子系统包括配置成确定当前交通工具情境的情境认知子系统。状态监视子系统被配置为至少部分地基于交通工具状态数据和交通工具情境来导出当前交通工具状态。知识获取子系统还包括数据库子系统，其被配置为存储当前交通工具状态数据、当前交通工具情境和当前交通工具状态。趋势监视子系统被配置为分析一个或更多个存储的交通工具状态数据、存储的交通工具情境和存储的交通工具状态以识别一个或更多个趋势。反馈子系统被配置为至少部分地基于当前交通工具状态和/或当前趋势与预期交通工具状态和/或先前识别的趋势之间的比较来准备操作员并通过用户界面递送操作员反馈。

Description

可适应的交通工具监视系统
技术领域
本公开内容涉及交通工具监视系统，并且更具体地，涉及适用于不同类型的交通工具的交通工具监视系统。
背景技术
交通工具监视可以作为数据记录功能(用于离线分析、质量保证或记录保存)，和/或作为专用于交通工具上的某个子系统(例如引擎)的健康和使用监视系统(HUMS)功能来执行。实时监视可以不考虑交通工具操作(例如，操作阶段、检查表执行等)和/或可能需要操作员意识或动作的其他功能。
交通工具监视系统可能缺乏整个交通工具“状态”的情境/背景或意识。例如，位置、检查表中的步骤、检查表执行状态，和/或按照其在何处的交通工具的配置，开关和控制状态，和/或关于任务中的地理特征的位置(例如，机场、海港、加油站、航路点)和/或其他交通工具。在适用的情况下，交通工具上的监视系统缺乏“状态意识”可能导致除非操作员识别错误，否则操作员不会被警告错误，并且忽略危险、不安全和/或不期望的趋势。
发明内容
本公开涉及交通工具监视系统，并且更具体地，涉及适用于不同类型的交通工具的交通工具监视系统。
根据第一方面，一种用于在交通工具操作期间向操作员提供操作员反馈的可适应交通工具监视系统包括：情境感知子系统，其被配置为确定当前交通工具情境，其中当前交通工具情境反映交通工具的操作模式；状态监视子系统，被配置为至少部分地基于当前交通工具状态数据导出当前交通工具状态，其中状态监视子系统可操作地与知识获取子系统耦合，该知识获取子系统被配置为根据交通工具的至少一个参数，将交通工具状态数据与当前交通工具情境相关联，并且其中状态监视子系统被配置为分析当前交通工具状态数据和当前交通工具情境以识别一个或更多个趋势；反馈子系统，其可操作地与状态监视子系统耦合，其中反馈子系统被配置为至少部分地基于当前交通工具状态与预期交通工具状态之间的比较来准备操作员反馈，并且其中至少部分地基于一个或更多个存储的交通工具状态和一个或更多个趋势导出预期交通工具状态：以及用户界面，其被配置为向操作员提供准备好的操作员反馈。
在某些方面，状态监视子系统还被配置为分析来自相似类型的交通工具的存储的交通工具状态数据和存储的交通工具情境以识别一个或更多个趋势。
在某些方面，该系统还包括感知子系统，该感知子系统具有多个相机，其被配置为从位于交通工具中的仪表可视地获取当前交通工具状态信息。
在某些方面，该系统还包括感知子系统，该感知子系统具有多个相机，这些相机被配置为从位于交通工具驾驶舱中的仪表可视地获取当前交通工具状态信息。
在某些方面，仪表包括燃料表、温度计、风力计、里程表、压力计、高度计、速度计、空速指示计、垂直速度指示计、指南针、陀螺仪、姿势指示计、航向指示计、转向指示计或导航系统中的一个或更多个。
在某些方面，如果预期交通工具状态与当前交通工具状态之间的偏差超过预定阈值，则操作员反馈包括警告。
在某些方面，至少部分地基于交通工具类型、交通工具操作手册、标准交通工具操作程序、操作员输入、任务参数、交通工具目的地、当前交通工具状态数据、存储的交通工具状态数据、交通工具定位、外部环境和存储的趋势中的一个或更多个来确定当前交通工具情境。。
在某些方面，交通工具监视系统与不同类型的交通工具兼容，并且可以至少部分地基于数字文件中的编码信息适应于不同类型的交通工具。
在某些方面，编码信息包括交通工具类型、交通工具布局、交通工具仪表和交通工具能力中的一个或更多个。
在某些方面，分析的存储的交通工具状态数据、存储的交通工具情境和存储的交通工具状态对应于在数字文件中编码的交通工具类型。
在某些方面，状态监视子系统使用机器学习技术来识别一个或更多个趋势。
在某些方面，可适应交通工具监视系统还包括感知子系统，其被配置为从交通工具的仪表可视地获取当前交通工具状态信息。
在某些方面，用户界面是人机界面(HMI)。
在某些方面，HMI包括平板电脑。
在某些方面，交通工具是航空器。
在某些方面，感知子系统通过有线或无线连接与交通工具仪表通信来获取当前交通工具状态数据。
在某些方面，感知子系统使用数据记录器与交通工具仪表通过接口连接。
根据第二方面，一种用于在交通工具操作期间向操作员提供操作员反馈的方法包括以下步骤：确定当前交通工具情境，其中当前交通工具情境反映交通工具的操作模式；至少部分地基于当前交通工具状态数据导出当前交通工具状态；根据交通工具的至少一个参数将交通工具状态数据与当前交通工具情境相关联；分析当前交通工具状态数据和当前交通工具情境以识别一个或更多个趋势；至少部分地基于当前交通工具状态与预期交通工具状态之间的比较来准备操作员反馈，其中至少部分地基于一个或更多个存储的交通工具状态和一个或更多个趋势导出预期交通工具状态；并通过用户界面向操作员提供准备好的操作员反馈。
在某些方面，使用存储的交通工具状态数据、存储的交通工具情境和来自相似类型的交通工具的存储的交通工具状态来识别一个或更多个趋势。
在某些方面，使用多个相机获取当前交通工具状态数据，所述多个相机被配置为从交通工具驾驶舱中的仪表收集数据。
在某些方面，使用被配置为从交通工具中的仪表收集数据的多个传感器来获取当前交通工具状态数据。
在某些方面，交通工具仪表包括燃料表、温度计、风力计、里程表、压力计、高度计、速度计、空速指示计、垂直速度指示计、指南针、陀螺仪、姿态指示计、航向指示计、转向指示器或导航系统中的一个或更多个。
在某些方面，如果预期交通工具状态与当前交通工具状态之间的偏差超过预定阈值，则操作员反馈包括警告。
在某些方面，交通工具监视系统与不同类型的交通工具兼容，该方法还包括至少部分地基于数字文件中的编码信息来适应不同类型的交通工具的步骤。
在某些方面，编码信息包括交通工具类型，交通工具布局，交通工具仪表和交通工具能力中的一个或更多个。
在某些方面，机器学习技术被用于识别一个或更多个趋势。
在某些方面，该方法还包括从交通工具的仪表获取当前交通工具状态数据的步骤。
在某些方面，用户界面是人机界面(HMI)。
在某些方面，HMI包括平板电脑。
在某些方面，交通工具是航空器。
在某些方面，通过有线或无线连接与交通工具仪表通信来获取当前交通工具状态数据。
在某些方面，通过使用数据记录器与交通工具仪表接口来获取当前交通工具状态数据。
在某些方面，至少部分地基于交通工具类型、交通工具操作手册、标准交通工具操作程序、操作员输入、任务参数、交通工具目的地、当前交通工具状态数据、存储的交通工具状态数据、交通工具定位、外部环境和存储的趋势中的一个或更多个来确定当前交通工具情境。
在某些方面，分析的存储的交通工具状态数据、存储的交通工具情境和存储的交通工具状态对应于在数字文件中编码的交通工具类型。
根据第三方面，一种交通工具监视方法包括以下步骤：从交通工具仪表获取当前交通工具状态数据；确定当前的交通工具情境；至少部分地基于交通工具状态数据和交通工具情境来导出当前交通工具状态；访问先前的交通工具状态和先前的交通工具状态数据；分析当前交通工具状态数据、先前交通工具状态数据、当前交通工具情境、先前交通工具状态和当前交通工具状态以识别一个或更多个当前趋势；将一个或更多个当前趋势与一个或更多个先前趋势进行比较，以确定是否存在类似趋势；至少部分地基于比较来准备反馈，其中响应于确定存在类似趋势并且类似趋势是不期望的，反馈包括警报；并通过用户界面向操作员提供准备好的操作员反馈。
附图说明
从附图中所示的其特定实施例的以下描述中，将容易理解本文所述的设备、系统和方法的前述和其他目的、特征和优点，其中相同的附图标记指代相同的结构。附图不一定按比例绘制，而是将重点放在说明本文所述的设备、系统和方法的原理上。
图1示出了示例性交通工具监视系统的框图。
图2a示出了显示路线应用的第一示例用户界面。
图2b示出了显示程序检查表的第二示例用户界面。
图3a示出了示例感知子系统的框图。
图3b示出了示例性致动系统的示例性机械臂。
图4a示出了由成像系统捕获的示例原始图像。
图4b示出了图4a的图像的示例重新格式化图像(二值图像)。
图4c示出了从图4b的重新格式化图像中提取的数据的示例。
图4d示出了由成像系统捕获的另一示例原始图像。
图4e示出了图4d的图像的示例重新格式化图像。
图5示出了示例数据库子系统的框图。
图6示出了交通工具监视系统的示例操作。
图7a和7b示出了可以在交通工具监视系统中使用的示例规程。
图8示出了示出交通工具监视系统的示例操作的示例状态图。
具体实施方式
下面将参考附图描述本公开的优选实施例。附图中的组件不一定按比例绘制，而是重点在于清楚地说明本实施例的原理。例如，为了清楚和方便描述，可夸大元件的尺寸。此外，在任何可能的地方，在整个附图中使用相同的附图标记来表示实施例的相同或相似的元件。在以下描述中，没有详细描述公知的功能或构造，因为它们可能以不必要的细节模糊本公开。说明书中的语言不应被解释为表示任何未要求保护的元件对于实施例的实践是必不可少的。对于本申请，以下术语和定义适用：
术语“航空器”和“飞行器”是指能够飞行的机器，包括但不限于传统跑道和垂直起降(“VTOL”)飞行器。VTOL飞行器可包括固定翼飞行器(例如，Harrier喷气式飞行器)、旋翼飞行器(例如直升机)和/或倾斜转子/倾斜翼飞行器。
术语“和/或”表示由“和/或”连接的列表中的任何一个或更多个项。作为示例，“x和/或y”表示三元素集{(x)，(y)，(x，y)}中的任何元素。换句话说，“x和/或y”表示“x和y中的一个或两个”。作为另一个例子，“x，y和/或z”表示七元素集{(x)，(y)，(z)，(x，y)，(x，z)，(y，z)，(x，y，z)}中的任何元素。换句话说，“x，y和/或z”表示“x，y和z中的一个或更多个”。
术语“通信”和“进行通信”是指(1)将数据从源发送或以其他方式传送到目的地，和/或(2)将数据传递到将被传送到目的地的通信介质、系统、信道、网络、设备、电线、电缆、光纤、电路和/或链路。
当用于修改或描述值(或值的范围)、位置、方向和/或动作时，术语“约”和/或“近似”意味着合理地接近该值、值的范围、位置、方向和/或动作。因此，这里描述的实施例不仅限于所列举的值、值的范围、位置、方向和/或动作，而是应该包括合理可行的偏差。
术语“电路”和/或“电路系统”是指物理电子组件(即，硬件)，例如模拟和/或数字组件、电源和/或控制元件，和/或微处理器，以及任何软件和/或固件(“代码”)，其可以配置硬件、由硬件执行，或者以其他方式与硬件相关联。
这里使用的术语“耦合”、“耦合到”和“与…耦合”均表示结构和/或电连接，无论是附接、粘贴、连接、接合、紧固、链接和/或以其他方式固定。术语“附接”意味着贴附、耦合、连接、接合、紧固、链接和/或以其他方式保护固定。术语“连接”意味着附接、贴附、耦合、接合、紧固、链接和/或以其他方式固定。
术语“可操作地耦合”意味着多个元件或组装件耦合在一起，使得当第一元件/组装件从一个状态(和/或配置、取向、位置等)移动到另一个时，可操作地连接到第一元件/组装件的第二元件/组装件也从一个状态(和/或配置、取向、位置等)移动到另一个。应注意，第一元件可以“可操作地连接”到第二元件，而相反不成立。
术语“处理器”表示处理设备、装置、程序、电路、组件、系统和子系统，无论是以硬件、有形体现的软件还是两者实现，以及它是否是可编程的。这里使用的术语“处理器”包括但不限于一个或更多个计算设备、硬连线电路、信号修改设备和系统、用于控制系统的设备和机器、中央处理单元、可编程设备和系统、现场可编程门阵列、专用集成电路、片上系统，包括分立元件和/或电路的系统、状态机、虚拟机、数据处理器、处理设施以及任何前述的组合。处理器可以是例如任何类型的通用微处理器或微控制器、数字信号处理(DSP)处理器、专用集成电路(ASIC)。处理器可以耦合到存储器设备或与存储器设备集成。
术语“示例性”意味着用作非限制性示例、实例或说明。如这里所使用的，术语“例”和“例如”引出一个或更多个非限制性示例、实例或说明的列表。
术语“存储器”表示存储信息以供处理器和/或其他数字设备使用的计算机硬件或电路。存储器可以是任何合适类型的计算机存储器或任何其他类型的电子存储介质，例如，只读存储器(ROM)、随机存取存储器(RAM)、高速缓冲存储器、光盘只读存储器(CDROM)、电光存储器、磁光存储器、固态存储器、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、计算机可读介质等。术语“数据库”可以指存储器中的数据的特定结构。
本公开涉及一种交通工具监视系统，其至少部分地基于在给定情境中监视当前交通工具状态(和/或交通工具状态的变化和/或转变)，与在类似情境中的预期和/或期望的交通工具状态相比，来向操作员提供实时反馈。交通工具的状态指的是交通工具特定状态(例如，控制状态、飞行器配置、飞行器健康状况等)和特定于飞行的状态(例如，飞行器相对于飞行计划或地理特征的定位、定位、位置、姿势等)。系统可以附加地或替代地，将其反馈基于以下比较：当前交通工具状态数据与给定阈值的比较，当前交通工具状态与给定阈值的比较，预测的交通工具状态与未来预期交通工具状态的比较，和/或通过机器学习获得的趋势分析。可以从交通工具的一个或更多个仪表(例如，驾驶舱、驾驶室、仪表面板等中的那些仪表)收集当前交通工具状态数据。本公开可特别适用于航空器。本公开可以将交通工具状态认知(至少部分地基于仪表、开关设置、地理定位、任务数据以及交通工具配置和/或任务状态的其他指示符)与趋势监视相结合以提供反馈。反馈可以包括建议的更正、警告和/或警报。在一些示例中，反馈可以包括修改交通工具的操作。适当和/或及时的反馈可以提高安全水平和/或操作员对即将发生的不安全状况的意识。
所公开的系统可以至少部分地使用经由感知子系统获取的数据来确定交通工具状态。感知子系统可以使用诸如相机、传感器、数据记录器(例如，飞行数据记录器)和/或其他信息源的工具来获取数据。在一些示例中，例如在交通工具可以是地面、空中和/或水上交通工具的情况下，感知子系统可以例如从驾驶舱中的仪表获取数据。在使用相机的示例中，可以应用专门的机器视觉技术来读取驾驶舱仪表和/或推断开关位置和/或驾驶舱状态，方式类似于飞行员和/或操作员视觉检查驾驶舱状态的方式。在一些示例中，感知子系统可以与提供仪表读数、开关设置和/或交通工具状态的现有设备通过接口连接。在交通工具是空中交通工具/航空器的示例中，飞行数据记录器可以用于与提供仪表读数、开关设置和/或飞行器飞行状态的现有设备通过接口连接。
系统可以使用和/或基于经由感知子系统获取的数据结合情境信息来推断和/或确定交通工具状态。一般而言，交通工具状态数据(或信息)是指用户(例如，飞行员或其他操作员)可用于维持(或执行)特定操作模式(例如，飞行操作)的交通工具的状态信息，例如由仪表面板、驾驶室或驾驶舱的仪表提供的那些。根据交通工具的类型(例如，是否为空中、陆基或水基)，示例交通工具状态尤其包括燃料水平、高度、速度、引擎状况，襟翼位置/定位等。就航空器而言，飞行特定状态反映交通工具的相对位置(例如，相对于物体或另一个位置、目的地等)、相对于任务的位置(例如，飞行路径)、环境状况，温度等。为清楚起见，交通工具状态数据不限于与引导、导航和控制(GNC)相关的状态。然而，交通工具状态数据不反映交通工具情境数据。实际上，取决于交通工具正在其中运行的特定情境(即，特定的操作模式，例如巡航、起飞、滑行、着陆等)，相同的交通工具状态数据可具有或多或少的相关性。例如，交通工具监控系统可以通过一个或更多个系统提供丰富的交通工具状态数据，这对于某些操作模式可能是必需的或有用的，但不是所有操作模式。当提供情境时(例如，以情境数据的形式)，交通工具监控系统可以优先考虑交通工具状态数据的部分。例如，当滑行时，交通工具监控系统不需要关于高度的信息，因为该状态数据是无关的。因此，其他状态数据将被优先化，例如速度、襟翼定位等。因此，交通工具状态数据可以根据所识别或接收的情境数据来被优先化(例如，加权)或选择。所公开的系统可以进一步基于交通工具状态数据优先级或每个情境数据的选择趋势来调整这种优先级或选择逻辑。
交通工具监视系统可以使用情境信息来适当地处理来自感知子系统的状态数据和/或确定适当的反馈。系统可以从各种组件和/或存储设备获取信息以合成情境。在一些示例中，系统可以至少部分地基于交通工具状态来推断交通工具情境。在一些示例中，情境可以至少部分地基于通过感知子系统获取的数据。例如，感知子系统可以获取关于外部温度、湿度、降水、压力、风速等的数据，并且系统可以基于感知的温度、湿度、降水、压力和/或风速推断特定位置、目的地、规程和/或任务情境。作为另一示例，感知子系统可以获取与交通工具的地理位置有关的数据，并且系统可以基于地理位置(例如，国家、地理、地形、天气模式、气候、目的地、路线等)推断情境。在一些示例中，可以通过例如操作检查表和/或存储在存储器中的飞行员操作手册来获得与当前操作模式和/或规程有关的情境。情境可以包括交通工具目的地和/或任务，当前正在进行的操作模式和/或规程，要进行的检查表和/或任务集，和/或周围环境的状况和/或状态。
在一些示例中，系统可以至少部分地基于与来自感知系统的数据组合的交通工具情境来推断交通工具状态。该过程可以通知下面进一步概述的操作员反馈方案。该系统可以，例如，跟踪给定操作检查表中的操作员和/或交通工具的进展，并基于该进展对交通工具状态进行推断。在一些示例中，系统可以基于通过最近记录的和/或先前记录的交通工具监视系统数据集的机器学习检查所暴露的趋势和/或模式来获得和/或推断情境和/或状态。
从一个交通工具情境和/或状态到另一个交通工具情境的转换可能是复杂的。在一些示例中，转换可以包括以非常特定的顺序或以操作员自行决定的方式，操作员执行各种步骤，以及改变状况作为响应，以便以适合于当前的操作模式/阶段和/或预期下一个操作模式和/或阶段飞行的方式配置交通工具。图7a和7b示出用于单个规程的该流程(例如，来自飞行器驾驶员的操作手册)。可以通过感知子系统验证(“检查”)每个步骤的执行，并且可以通过图中的箭头(先决条件)来表示满意。先决条件以“集合”的形式组织——当可能的多个先决条件集中的任何一个是完整的时(进入步骤中的箭头被激活)，检查表的特定步骤的执行被“启用”或准备执行。集合由图中的箭头颜色区分。因此，表示用于完成检查表的各种途径，并且通过该规程的流程不需要操作员进行死记硬背操作，操作员可以通过采用通过检查表的多个路径来满足检查表的要求，这些路径本身可以是依赖于情境的。此外，数据的可用性可能要求飞行员人工验证某些项目(‘已显示，飞行员确认’)。其他项目可能不可用，但后果足够低，无需系统确认(‘已显示，未检查’)。最后，一些项目可能由系统内部确认，但不会显示给飞行员(‘未显示’)。
还有的情况是，交通工具可以通过完成检查表或者通过诸如无线电呼叫和/或到达某个位置之类的外部事件来进入不同的情境和/或状态。进而，新情境和/或状态的出现可能触发执行新检查表的必要性。如上所述，该图中的一些转换可以由检查表执行触发，而其他转换可以是依赖于情境的。进而，任务状态可以触发要执行的检查表。
系统可以使用通过所获取的数据和/或获得的情境开发的状态认知来向交通工具操作员提供反馈。反馈可以包括例如实时操作员辅助、建议、提醒、警报、警告等。在一些示例中，系统可以将交通工具的当前状态与实时保持的一组条件和/或流程处理进行比较，并根据此比较的结果提供反馈。在一些示例中，在给定当前状况(例如，飞行状况)和/或任务情境的情况下，系统可以将交通工具的当前状态与期望和/或预期交通工具状态进行比较。在一些示例中，比较和/或由比较产生的任何反馈可以至少部分地基于当前交通工具配置，如下面更详细地解释的。反馈监视可以足够灵活，以解决操作员行为、趋势、习惯、特性、反常行为、怪癖、偏好等方面的差异。此外，反馈子系统可能是足够鲁棒的，以避免误报，同时仍然能够进行有效的系统的配置和重新配置，以随着时间的推移优化功能。系统可以使用专门的逻辑流程和实时数据，以便与操作员平稳地工作，如果检查表被正确执行，但是以可接受的操作员之间的不同的顺序，则避免警报或警告。通过这些功能的集成，所公开的系统可以提高操作员性能和/或整体交通工具安全性。
可以使用用户界面(UI)来提供反馈，例如，图形用户界面(GUI)和/或人机界面(HMI)。在一些示例中，用户界面可以用移动设备实现，诸如蜂窝设备、平板电脑、智能电视、电子书阅读器、个人数字助理(PDA)和/或某个其他适当的设备。在一些示例中，用户界面可以包括视觉和/或音频提示、触摸屏界面、语音和/或声音识别和合成，以及触觉、振动和/或其他触觉提示。在一些示例中，用户界面可以包括移动地图以提供对空域和任务内的状态的认知，包括检查表以提供关于检查表执行的监视和建议，非标称状况和针对这些状况的适当检查表，以及有助于交通工具操作模式的信息(例如无线电频率、飞行员通告(NOTAM)和任务点GPS位置)。
在一些示例中，所公开的系统可以是可适应的和/或可重新配置的，以便与不同类型的交通工具或其他硬件系统组件兼容。例如，系统可以根据在数字文件中编码的参数、规程、布置、格式、指令和/或其他信息来改动和/或重新配置自身。参数、指令和/或其他信息可以特定于打算与系统一起使用的特定交通工具。得到的“数字类型评级”(DTR)文件可以针对交通工具(例如，航空器)的细节调整和/或配置系统，而不需要对软件进行昂贵的返工。该文件可以，例如，编码交通工具仪表位置、功能和/或可操作的阈值、规程、顺序和/或特定于特定交通工具的检查表、特定于特定交通工具的任务简档、最高速度/加速度、燃料容量、轮胎等级、翼展、升力表面、控制表面、推进系统等。在一些示例中，所公开的系统的每个子系统(例如，感知子系统、用户界面、核心平台和/或知识获取子系统)可以是根据文件编码信息针对交通工具兼容性可重新配置的。在一些示例中，可以基于操作手册和交通工具操作细节对DTR文件进行编码。
通过结合交通工具/任务/规程情境和/或交通工具配置来评估感知的交通工具状态数据，连同重新配置系统以适合不同的交通工具、设备和/或任务/规程的能力，系统可以确保在正确的时间向操作员提供正确的信息。可以在交通工具运行期间和/或运行之前/之后执行趋势监视。可以准备对操作员的反馈以基于检测到的与正常和/或预期操作的偏差来提供警告。
除了状态转换、配置改变和相关规程之外，驾驶舱中仪表读数的时间变化可以提供关于交通工具操作模式的健康和/或状态的信息。仪表组合的时间变化也可以提供各种潜在问题的指示。例如，速度、温度和湿度的组合可以指示结冰的可能性，这可能需要操作员进行补救。另一个例子是引擎状态——各种仪表向操作员提供关于引擎操作是否在界限范围内的信息，但仅通过查看相对值并将其与飞行状态(爬升、下降、滑行)相关联，操作员可以推断是否预期引擎过热或需要维护。在某些情况下，读数(例如引擎温度)随时间变化的趋势可能表明维护的必要性或潜在的故障发生。在操作之前/之后可能需要机器学习趋势分析的其他情况可能与操作员决策有关；例如，如果操作员决定复飞是必要的，则计算机系统可以推断当前飞行阶段已经从接近变为爬升，并相应地监视和建议。通过基于过去的经验执行机器学习和/或趋势/模式识别，结合在操作期间针对学习行为的趋势/模式监视，可以最佳地在操作之前/之后执行所有这些功能。
为了适应这种需要，系统可以在线(在操作期间)和离线(在操作之前/之后)元素。离线元素可以是可配置的趋势分析和机器学习元素，其从许多过去的飞行获取数据，该数据由系统记录和/或用关于状态和情境的导出信息标记。这些元素可以将数据提取为关于变量之间关系的信息，这可以作为配置过程的一部分记录，并定期更新。所记录的配置信息可以由在线趋势监视系统使用，该系统可以将测量数据和/或该数据的组合与先前飞行中建立的规范，或者‘训练的’其他来源进行比较，其是关于什么关系可能代表需要警告或触发紧急情况或其他规程。
可以使用知识获取(KA)子系统来配置整个系统。KA子系统可以生成一个或更多个DTR文件，其可以传送到交通工具上的计算机和/或交通工具监视子系统。基于所提供的交通工具配置(通过DTR文件)、当前状态、一个或更多个过去状态、一个或更多个预测状态和/或一个或更多个趋势，系统可以确定交通工具操作是否适合于当前情境、是否在规范内执行操作(由KA/DTR处理以及离线趋势分析定制)，和/或需要显示哪些检查表提醒、警告和/或警报(参见，例如，图7a、7b和8)。这些警报可以被传送到UI，其可以提供视觉和/或音频提示、触摸界面、语音识别和合成，以及振动或其他触觉提示。在操作之后，和/或作为正常数据记录器(例如，飞行数据记录器)数据下行链路和/或存储的一部分，离线数据分析软件可以执行必要的分析以通知机载趋势监视器功能关于变量之间存在的正常操作关系。通过这种方式，趋势监视可以维护对什么构成系统的“正常”运行的认知的持续更新。
可以通过DTR文件来执行知识获取和/或系统配置的管理，DTR文件可以编码规程、趋势监视器配置和/或其他交通工具知识。这可以允许对给定交通工具的有效定制。KA子系统可以用作创建DTR文件的规程编辑器。因此，从DTR读取与来自KA系统的输入本质相同。交通工具监视系统可以实时地或者从数据库接收DTR文件，和/或从KA子系统和/或感知子系统获取输入以维持交通工具状态和/或情境，并且生成到用户界面的适当反馈。
由于系统执行许多并行功能，因此可能进行各种各样的变化。输入可以来自各种来源或这些来源的组合。监视和分析功能以及将这些功能与交通工具操作联系起来的过程可以全部或部分执行，从而导致操作员辅助的各种级别和/或情境—例如，系统可以仅被用于检查表监视，或仅用于建议在无线电频率上使用或完全用于监视引擎趋势。输出可以是除平板电脑之外的其他显示器或设备，其可能涉及回到交通工具甲板组件(MFD或PFD)，和/或用于语音合成的设备，或者操作员的套装或手套中的触觉设备的通信。最后，可以扩展或修改依赖于系统的输入和输出的软件功能。
大多数当前部署的系统没有“状态认知”和/或情境认知，基于该认知提出警告、提供提醒和/或与飞行员交互。因此，他们无法提供良好的情境敏感信息。由于高度集成和昂贵，最先进的驾驶舱中存在情境认知。本公开相对于这样的系统的优点在于它可以适用于大多数(如果不是全部)交通工具(通过KA/DTR方面)并且可以不依赖于紧密集成的基础设施。即使是最复杂的现有系统，或当前处于开发的系统，也没有包括具有给操作员的反馈的程序知识水平。如上所述，交通工具状态数据反映交通工具的各个方面的状态，而情境数据可以用于不同地识别(或加权)交通工具状态数据的某些部分。系统可以使用来自知识获取子系统的其知识数据来将交通工具状态数据与情境相关联。知识数据是做出决策和规程实施的基础。例如，知识获取子系统可以以知识数据的形式编写飞行员操作手册，然后可以将其用于根据情境和预定规程来对某些交通工具状态数据进行加权(例如，如操作手册中所述的)。知识获取子系统还可以使用机器学习技术来基于历史数据来改进其规则和/或规程。
图1示出了根据一个示例的交通工具监视系统100的示例架构。交通工具监视系统100可以植入和/或适用于多种类型的交通工具，包括但不限于航空器/空中交通工具、水上交通工具、陆地交通工具和/或地下交通工具。
核心平台。参考图1，交通工具监视系统100可以包括具有状态监视子系统104和/或反馈子系统112的核心平台102。核心平台102还可以与多个其他子系统可操作地耦合。核心平台102可以作为中央子系统、中间件和/或公共数据总线操作；通过一个或更多个接口连接交通工具监视系统100的各个子系统。子系统可以使用有线和/或无线通信协议和硬件通过软件和/或硬件接口彼此通信。核心平台102可以协调和/或促进各种子系统之间、中间和/或通过各种子系统的通信。在一些示例中，各种子系统可以在彼此通信时绕过核心平台102。在一些示例中，核心平台102可以用作操作系统和/或和操作系统一起工作，例如Linux。在一些示例中，核心平台102可以在计算机芯片、专用集成电路(ASIC)和/或主板(例如，Pico-ITX主板)中实施。
系统100的多个子系统中的每一个可以是整体的和/或模块化的，从而允许整个交通工具监控系统100基本上快速地移植到另一交通工具。多个子系统可以包括例如用户界面(UI)126、感知子系统106、致动子系统108、传感器子系统118、知识获取(KA)子系统114、趋势监视子系统116、数据库子系统122和/或情境认知子系统124。每个子系统可以与核心平台102可操作地耦合。虽然致动子系统108和感知子系统106被示为单个系统的一部分(例如，平移-上下-变焦(PTZ)相机可以在感知系统下进行其致动)，致动子系统108和感知子系统106可以替代地通过两个不同的系统或硬件组件来提供。在不脱离本公开的精神和范围的情况下，根据配置，交通工具监控系统100可以配置有更少或额外的模块、组件和/或系统。
为了实现与交通工具无关的交通工具监控系统100，基于处理器的核心平台102可以提供和/或以其他方式用作中间件，该中间件可以通过初始化和/或设置阶段而特定于特定交通工具和/或配置制造。例如，核心平台102可以是可重新配置和/或可适应的，和/或便于交通工具监控系统100和/或其各种子系统的重新配置和/或适应性，以便与不同类型的交通工具兼容。例如，核心平台102可以根据在一个或更多个数字文件(例如“数字类型评级”(DTR)文件)中编码的参数、规程、布置、格式、指令和/或其他信息来重新配置自身和/或促进交通工具监控系统100的各种子系统的重新配置。在DTR文件中编码的参数、指令和/或其他信息可以特定于打算与系统一起使用的特定交通工具。核心平台102可以解码和/或解密DTR文件中的信息，以针对特定交通工具的细节调整和/或重新配置系统100，而无需对系统100和/或交通工具的软件和/或硬件进行昂贵的返工。例如，核心平台102可以调整和/或重新配置系统100以用于与航空器、水上交通工具和/或陆地交通工具一起操作，而不需要昂贵的返工。在一些示例中，核心平台102可以调整和/或重新配置交通工具监控系统100，以便使用相似类型的交通工具的不同分类、类别、品牌和/或型号进行操作，而不进行昂贵的返工(例如，小型/大型货运飞机与小型/大型客机与螺旋桨飞机与喷气引擎飞机)。例如，DTR文件可以编码特定交通工具特有的交通工具仪表定位、功能和/或可操作阈值、规程、顺序和/或检查表。DTR文件可以附加地或替代地例如编码特定交通工具特有的任务简档、最高速度/加速度、燃料容量、轮胎等级、翼展、升力表面、控制表面、推进系统等。在一些示例中，根据由核心平台102和/或通过核心平台102翻译的DTR文件编码信息，所公开系统的每个子系统可以是可重新配置的，以用于交通工具兼容性。在一些示例中，可以基于操作手册和交通工具操作细节对DTR文件进行编码。
核心平台102可以用作主要自主代理和/或决策者，合成来自感知子系统106、用户界面126和/或KA子系统114的输入以确定当前交通工具状态。核心平台102可以处理来自KA子系统114的输入以确定预期交通工具状态，将预期系统状态与实际的系统状态进行比较，并通过用户界面126确定对操作员的任何适当的反馈。
状态监视子系统。状态监视子系统104可以确定和/或以其他方式感知交通工具的实时状态。如本文所使用的，“状态”可以指交通工具的广泛种类和/或分类，其包含关于给定情境中的交通工具的各种信息。交通工具状态可以由操作员使用以执行交通工具操作。交通工具状态可以附加地或替代地由反馈子系统112使用以确定适当的操作员反馈。在一些示例中，状态监视子系统104可以基于当前状态、一个或更多个先前记录的状态、当前交通工具状态数据、先前记录的交通工具状态数据、当前交通工具情境，先前记录的交通工具情境和/或来自感知子系统106、知识获取子系统114和/或用户界面126的信息来预测和/或导出一个或更多个未来状态。
状态监视子系统104可以通过，除其他之外，与交通工具的直接连接(例如，与交通工具成一体或以其他方式硬连线)来感知实时交通工具状态。替代地或另外地，状态监视子系统104可以基于从感知子系统106和/或情境认知子系统124接收的信息来导出交通工具状态。当使用感知子系统106时，状态监视子系统104可以包括专用控制器(例如，处理器)和/或共享感知子系统106的控制器302。
趋势监视子系统。状态监视子系统104可以包括趋势监视子系统116。这里使用的“趋势”可以指一个或更多个交通工具状态、交通工具情境、交通工具状态/情境转换、操作员观察、交通工具状态数据，和/或随时段感知的交通工具仪表数据之间的一个或更多个关系。趋势监视子系统116可以使用机器学习来监视和/或分析交通工具状态、交通工具情境、交通工具状态/情境转换、操作员观察、交通工具状态数据和/或随时间感知的交通工具仪表数据的变化以识别趋势和/或模式。趋势监视子系统116可以附加地或替代地使用来自感知子系统106、情境认知子系统124和/或知识获取子系统114的其他数据来辅助其趋势识别。在一些示例中，趋势监视子系统116可以基于操作员的观察结合仪表、情境、状态和/或其他数据来分析和/或确定操作员趋势。
可以训练趋势监视子系统116以结合从交通工具监视系统100的先前应用、其他交通工具监视系统和/或其他方法记录的数据，使用机器学习技术识别趋势/模式。在一些示例中，可以在交通工具监视系统100的安装、上载和/或初始化之前训练趋势监视子系统116。在一些示例中，趋势监视子系统116可以在针对交通工具监视系统100监视(或计划监视)的交通工具的分类、种类、类型、品牌和/或型号的数据上被训练。在一些示例中，描述受过训练的趋势监视系统116的信息可以编码在DTR文件中，使得通过将DTR文件加载到交通工具监视系统100中，未经训练的趋势监视系统116可以在短时间段内配置有与已训练的趋势监视系统116相同的知识。
趋势监视子系统116可以分析来自数据库子系统122、感知子系统106和/或状态监视子系统104的数据，以识别模式和/或趋势。在一些示例中，趋势监视子系统116可以识别从交通工具监视系统100的最近记录的数据识别的当前趋势，以及从交通工具监视系统100和/或其他交通工具监视系统的先前应用识别的过去趋势。在一些示例中，可以分析由趋势监视子系统116识别的趋势以确定当前交通工具趋势是否类似于过去趋势。在当前趋势类似于过去趋势并且过去趋势导致不利、危险和/或不期望后果的情况下，反馈系统112可以准备和/或通过用户界面126向操作员提供适当的反馈(例如，警报、警告、建议的纠正措施等)。
反馈子系统。核心平台102可以向交通工具监视系统100提供反馈子系统112。反馈子系统112可以为一个或更多个交通工具操作员准备反馈和/或通过用户界面126将反馈传递给操作员。反馈可以基于交通工具监视系统100的相对最近记录的数据与存储和/或生成的数据之间的比较。
在一些示例中，反馈子系统112可以被配置为将交通工具的当前状态与交通工具的预期状态进行比较，并相应地准备反馈。例如，如果当前状态与预期状态显著不同，则反馈子系统112可以准备警报和/或警告和/或通过用户界面126向操作员传递警报和/或警告。在一些示例中，反馈子系统112可以将一个或更多个当前和/或最近状态与一个或更多个阈值进行比较。例如，阈值可以在特定交通工具的操作文档中定义(例如，从不超过预定速度、引擎温度等)。在一些示例中，反馈子系统112可以将一个或更多个预测的未来状态与一个或更多个阈值和/或一个或更多个预期状态进行比较。在一些示例中，反馈子系统112可以将感知系统106记录的交通工具状态数据与一个或更多个阈值进行比较。在比较是不利的、指示异常和/或显著偏差的情况下，反馈系统可以准备和/或通过用户界面126向操作员提供适当的反馈(例如，警报、警告、推荐的纠正措施等)。
在一些示例中，反馈子系统112可以将当前识别的趋势与类似趋势进行比较，并相应地准备和/或传递反馈。例如，如果当前趋势类似于导致潜在危险和/或不期望情况的过去趋势(从先前记录的数据识别的)，则反馈子系统112可以准备和/或通过用户界面126向一个或更多个操作员传递警报和/或警告。
在一些示例中，在反馈子系统112确定警报和/或警告是适当的情况下，反馈子系统112可以推荐校正动作。例如，校正动作可以基于在先前类似情况下执行的校正动作和/或趋势，如可以由趋势监视子系统116识别的。在一些示例中，校正动作可以基于一个或更多个检查表和在情境数据库504中记录的规程。在一些示例中，校正动作可以基于交通工具配置数据库502中的信息。在一些示例中，校正动作可以基于来自操作员通过用户界面126的输入。
用户界面(UI)126。用户界面126可以为操作员(例如，人类操作员)提供控制和/或通信界面。操作员可以是远程的(例如，在交通工具外部和/或在另一交通工具中)或机载(即，在交通工具中)。用户界面126可以包括人机界面(HMI)，其可以基于触摸屏图形用户界面(“GUI”)和/或语音识别系统。用户界面126的目的是使操作员能够以类似于操作员与人类飞行工程师和/或副驾驶员交互的方式与核心平台102的知识库交互。用户界面126可以用作操作员和交通工具监视系统100之间的主要通信通道。例如，用户界面126可以经由核心平台102从子系统接收状态信息，同时将由用户界面126生成和/或由一个或更多个操作员输入的模式命令发送到核心平台102。用户界面126可以采用基于平板电脑的GUI和/或语音识别界面来实现语音通信。如图所示，例如，在图2a和2b中，用户界面126可以提供直观的显示和界面，其包括来自核心平台102的检查表验证和/或交通工具状态的预测(例如，燃料消耗和预测的剩余燃料范围)，以及映射功能、故障预测和/或偏差警报(例如，“左引擎EGT比正常高5度并且上升”)。
用户界面126可以包括一个或更多个外部通信端口，例如通用串行总线(USB)端口，其可以允许用户界面126与其他电子设备可操作地耦合(和/或接口连接)，例如，交通工具监视系统100可以通过用户界面126的外部通信端口与一个或更多个外部设备通信。用户界面126还可以配置有无线通信能力，例如通过蓝牙、近场通信、射频(RF)通信、无线保真(Wi-Fi)通信和/或其他合适的无线通信方法。
用户界面126可以经由显示设备(例如，液晶显示器(LCD))显示交通工具监视系统100的当前状态(其当前设置和职责)以及当前安装了哪些操作应用，哪些可操作应用程序正在运行，并且如果它们处于活动状态，可操作的应用程序正在执行哪些动作。用户界面126也可以是夜视护目镜兼容的，使得无论操作员的眼镜如何它都可见。语音识别系统可用于在运行通过检查表和/或通信时复制人类使用的相同类型的语言通信。在某些方面，语音识别可以限于操作员团队使用的编码通信的相同标准，以最小化系统未能识别命令或改变为不适当的操作模式的机会。语音识别系统可以被配置为通过语音训练协议来学习/识别一个或更多个操作员的语音。例如，操作员可以说出预定的脚本，使得语音识别系统可以用操作员的方言进行训练。
用户界面126的显示可以由操作员定制。例如，操作员可能希望添加、重新组织和/或移除某些显示图标和/或可操作应用程序。用户界面126还可以向操作员通知交通工具的操作状态和/或向操作员提供反馈(例如，指令和/或建议)。
感知子系统。感知子系统106可以收集、感测、测量、检测、确定和/或以其他方式感知实时交通工具和/或环境情况数据。由感知子系统106感知的情况数据可用于导出交通工具状、交通工具情境、一个或更多个趋势，和/或生成操作员反馈。在一些示例中，感知子系统106可以附加地或替代地收集、感测、测量、检测、确定和/或以其他方式感知实时操作员观察。这样的观察可以包括例如操作员动作、反应、响应时机、偏好和/或与操作员有关的其他信息。
如图3a所示，感知子系统106可以包括控制器302和传感器子系统118。控制器302可以是，例如，被配置为基于从多个传感器和/或外部组件接收的信息，例如从传感器子系统118、GPS/INS系统和/或其他输入系统接收的信息，将交通工具状态数据馈送到(和/或以其他方式指示)核心平台102的处理器。感知子系统106可以从核心平台102接收命令和/或配置数据，同时向核心平台102发送状态和/或飞行情况信息(例如，飞行情况数据)和/或由感知子系统106收集的图像。
在一些示例中，感知子系统106可以与驾驶舱仪表120直接接口连接和/或通信，例如通过一个或更多个有线电气和/或无线连接和/或协议。在这样的示例中，感知子系统106可以直接从驾驶舱仪表120收集、感测、测量、检测、确定和/或以其他方式感知实时交通工具和/或环境状况数据。在这样的示例中，控制器302例如，可以直接与驾驶舱仪表120接口连接和/或促进与驾驶舱仪表120的通信。
传感器子系统。另外或替代地，感知子系统106可以采用传感器子系统118来收集、感测、测量、检测、确定和/或以其他方式感知来自驾驶舱仪表120的实时交通工具和/或环境情况数据。传感器子系统118可包括传感器，例如图像传感器、光学传感器、相机310、麦克风308(用于声学系统)，和/或其他传感器306(例如，温度传感器、位置传感器、惯性传感器、加速度计、陀螺仪等)。在使用图像/光学传感器和/或相机的示例中，感知子系统106可以包括图形处理单元(GPU)，例如NVIDIA(英伟达)Tegra X1。在一些示例中，GPU可以是控制器302的一部分。
传感器子系统118可以结合视觉系统、声学系统和/或识别算法，利用其传感器来读取和/或理解由驾驶舱仪表120显示的交通工具状态信息，类似于操作员如何使用他们自己的感觉。传感器子系统118的传感器可以在驾驶舱中的仪表面板(例如，驾驶舱仪表120)上聚焦和/或训练。传感器可以定位为具有仪表面板的视线，但也可以放置为不妨碍操作员。
示例性驾驶舱仪表120可包括例如燃料计、温度计、风力计、高度计、速度计(和/或空速指示计、垂直速度指示计)、里程表、压力计、一个或更多罗盘系统(例如，磁罗盘)、一个或更多个陀螺仪系统(例如，姿态指示计、航向指示计、转向指示计)、一个或更多个交通工具导向器系统、一个或更多个导航系统(例如，全球定位系统(GPS))、惯性导航系统(INS)、超高频全向范围(VOR)、非定向无线电信标(NDB))、引擎状态指示计、控制面状态指示计、档位状态指示灯、灯光设置、无线电设置和/或其他设置。感知子系统106和/或传感器子系统118可以经由核心平台102和/或一个或更多个DTR配置文件来配置，以便与交通工具的驾驶舱布局和/或交通工具的驾驶舱仪表120兼容，驾驶舱仪表的范围从基本模拟仪表到高度集成的玻璃驾驶舱航空电子设备套件。感知子系统106可以被配置为监视交通工具无关的和/或交通工具特定的驾驶舱仪表120。
视觉系统。感知子系统106和/或传感器子系统118可以采用单眼或立体视觉系统，可能包括运动捕捉标记和/或基准标记，以通过读取驾驶舱仪表120上显示的内容来连续监视交通工具的状态。系统可用于精确地监视仪表(例如，玻璃液位计、物理蒸汽计等)和/或开关，以及它们在各种照明条件和驾驶舱布局和尺寸中的定位。使用立体视觉系统和/或标记还提供感测以防止任何机器人部件与交通工具操作员之间的碰撞。
传感器子系统118的一个或更多个相机310(例如，轻型机器视觉相机)可以在驾驶舱仪表面板上被训练，以最大化像素密度、眩光稳健性和冗余度。一个或更多个相机310可以经由有线和/或有线连接连接到感知控制器302。一个或更多个相机310可以被安装为具有仪表面板的视线，但是不妨碍交通工具操作员。在某些方面，通过比较关于来自两个有利位置的场景的信息，可以通过检查两个面板中的对象的相对位置来提取3D信息。
视觉系统可用于精确地监控驾驶舱仪表120(例如，玻璃液位计、物理蒸汽仪表等)和开关，以及它们在各种照明条件和驾驶舱布局和尺寸中的定位。使用立体视觉系统和/或基准标记还提供感测以防止任何机器人组件与操作员之间的碰撞。视觉系统可以采用一套高清立体摄像机和/或LIDAR激光扫描仪。视觉系统能够识别来自所有驾驶舱仪表120的数据并确定显示交通工具特定系统的状态(例如，剩余燃料)的开关旋钮和仪表的状况和/或定位。在一些示例中，视觉系统可以经由核心平台102和/或一个或更多个DTR文件可重新配置，以便识别驾驶舱仪表120和/或特定类型的交通工具的驾驶舱布局。视觉系统还可以被配置为以足够的分辨率识别仪表面板的数据以检测由操作员动作引起的微小变化。感知子系统106的机器视觉算法可以“读取”驾驶舱仪表120(仪表、灯、风校正角度面板、主显示器的各个元件和/或玻璃驾驶舱中的多功能显示器)和/或机械物品，例如节流杆、调整设置、开关和/或断路器，以向核心平台102提供实时驾驶舱状态/状态更新。
在图4a至4c所示的示例中，相机捕获驾驶舱仪表120的图像(图4a)，并且对图像执行边缘检测算法以生成二值图像(图4b)。这种过程可以在整个识别和/或分析例程中递增。如图4c所示，该系统能够识别通过边缘检测算法变换的控件上呈现的信息。在图4c的示例中，从控制面板上的LCD显示器捕获的提取的数据(数字2、4和9)由系统识别和分析。例如，可以对二值图像或其变体执行光学字符识别处理。因此，该信息可用于通知和控制本文描述的自主系统的实现。图4d示出了一组驾驶舱仪表120的附加图像。如上所述，边缘检测算法的应用生成虚拟的可解析图像(图4e)，其用作视觉系统处理和分析中的临时步骤。
致动子系统。传感器子系统118可以固定在特定位置，和/或耦合到可移动物体，例如致动子系统108的机械臂110。在一些示例中，致动子系统108可以是传感器子系统118的一部分，并且用于在驾驶舱周围操纵传感器，以便更好地观察各种驾驶舱仪表120和/或与其相互作用。感知子系统106的传感器子系统118还可以提供关于致动子系统108的状态和/或定位的辅助信息。
致动子系统108可包括例如具有传感器子系统118的一个或更多个传感器的机械臂110。致动子系统108可以，例如，执行由核心平台102、感知子系统106和/或传感器子系统118命令的动作，以监视交通工具的操作而不干扰操作员执行的活动。致动子系统108可以从核心平台102、感知子系统106和/或传感器子系统118接收致动命令和/或配置数据，同时向核心平台102发送由致动子系统108生成的状态和/或响应信息。
如图3b所示，致动子系统108可包括机械臂110。机械臂110可包括具有铰接臂/关节臂402(例如，机器人附件或“臂”)的框架408。致动器控制的关节臂402可以被设定尺寸、形状和/或配置，以占据通常由乘客和/或副驾驶员或者乘客和/或副驾驶员的一部分(例如，手臂、腿、躯干等)占据的空间，从而确保到驾驶舱仪表120的充分访问和/或便携性。
为了能够在多个自由度(“DOF”)运动中运动，关节臂402可包括使用多个铰接或枢轴关节406连接的多个臂段(无论是线性的、弯曲的还是成角度的)。关节臂402可在末端包括末端执行器404。末端执行器404可以经由多DOF连接耦合到关节臂402。关节臂402的基部可以通过可移动基座可旋转且可滑动地耦合到框架408。关节臂402可以为其每个自由度配备编码器(例如，双18位编码器)以确保关节臂402的精确定位。可以在每个铰接或枢轴关节406处提供内部离合器，使得如果需要，操作员可以使关节臂402超功率，而不会损坏关节臂402。在这种情况下，交通工具监视系统100可以使用编码器确定关节臂402的定位和/或位置。
末端执行器404可以是例如被配置为耦合和/或以其他方式接合例如节流杆等的夹持器。末端执行器404还可以提供力和/或压力检测以允许感知子系统106、传感器子系统118和/或交通工具监视系统100估计如何抓住飞行控制致动器并调整运动以正确地读取和/或接合驾驶舱仪表120。一旦执行运动，相同的力和/或压力检测可用于确定是否已实现所需的开关配置。在某些方面，关节臂402可以配备有电子设备(例如，跟踪设备、归航设备、相机、压力传感器等)，使其能够找到和/或击中目标。在某些方面，机械臂110可以设置有与其集成的传感器和/或成像能力。特别地，机械臂110可以被优化用于收集和/或分析图像数据。在一些示例中，机械臂110可以包括在其末端执行器404处的相机(例如，传感器子系统118的相机310)，其用于对飞行器的场景进行成像，例如驾驶舱仪表120和/或相应的显示器。机械臂110还可以包括力感测指，以便能够闭环控制机械臂110的操作期间的所需接触力，以及收集接触力数据。在一些示例中，机械臂110可以包括：多个相机、多个力感测指和/或多个末端执行器404，使用足够数量的关节406和/或臂段402将其集成到机械臂110中。
因此，机械臂110可以与传感器子系统118(例如，使用结合传感器子系统118和/或感知子系统106描述的视觉系统)，以及一个或更多个控制器集成以实现各种复杂的界面操作。例如，传感器子系统118可以向控制器(例如，核心平台102)提供信息以操纵驾驶舱仪表120(例如，开关、拨盘、旋钮等)，确保正确识别仪表，并且在操作之前、期间和之后确定仪表的状况。例如，开关可以位于驾驶舱的特定区域中，距离和位置由感知子系统106识别。在接收到操作开关的命令时，控制器可以确定将末端执行器404移动到开关的最佳方式(例如，机械臂的轨迹，从当前定位到开关的距离)。控制器可以进一步确定交互的一个或更多个参数(例如，开关的状况和/或定位的预期变化，激活开关所需的力的大小等)并且监视与那些参数相对应的来自传感器的信息。
安装到机械臂110的相机310(和/或传感器子系统118的其他传感器)可以允许传感器子系统118从驾驶舱内的多个视角获得各种视图。在机械臂110的一端，机器人附件(例如末端执行器404)可以集成成像和/或力传感器。因此，在驾驶舱环境中，仪表可以垂直、水平或以各种角度定向，以符合操作人员的到达和位置。安装到机械臂110的相机310可以在驾驶舱内的各种位置和角度观察表面和仪表。以这种方式，机械臂110可以围绕驾驶舱移动，以查看可能被静止视野阻挡的仪表，以及避免在交通工具操作期间遮挡操作员的视野。因此，这里描述的机械臂110的灵活性与其他系统中找到的静态安装的相机不同，具有如本文所述的多个优点。虽然示出为单独的组件，但在某些方面，致动子系统108、传感器子系统118和/或感知子系统106可以共享组件，例如感知控制器302和/或相机310。
在操作中，可以采用来自安装到机械臂110的相机310(和/或传感器子系统118的其他传感器)的信息来构建和/或验证驾驶舱和/或相关仪表的二维和/或三维模型。集成图像传感器可以极大地增强观察驾驶舱仪表120界面(例如，按钮、开关、旋钮、屏幕界面等)和/或与其交互和/或理解仪表的不同状况的灵活性。在一些示例中，一个或更多个相机310可以将数据发送到控制器以分析和/或操纵图像以创建标准化视图。标准化视图可以是一个或更多个系统易于读取的格式。例如，设备和/或控件的原始相机310图像(例如，如图4a和4d所示)可以被重新格式化为二值图像(例如，如图4b和4e所示)，使得图像的元素可识别为包含一个或更多个物理和/或虚拟控件(例如，按钮、拨盘、开关等)的仪表面板。一个或更多个控件中的每一个可以对应于一个或更多个显示器，例如数字读数器。
有利地，重新格式化图像的过程可以允许系统识别特定控件和/或显示而不管相对定向。换句话说，可以从驾驶舱仪表120的任何角度和/或距离拍摄图像；然而，控制器可以能够识别和/或操纵成像元件，以识别并因此将仪表与已知仪表的图像目录进行比较。
知识获取子系统114。知识获取子系统114可以收集和/或生成使交通工具监视系统100能够确定交通工具特定信息所必需的知识。这可能包括交通工具性能、特性、能力、限制、布局、仪表、检查表、任务和/或规程(包括应急规程)的知识，以及定义交通工具中的意外事件和/或纠正措施的标准。该知识可以包括，例如，某些交通工具任务的内容、操作、检查表和/或规程以及任务、操作、检查表和/或规程内和之间的任务流程。该知识可以从编码成知识获取子系统114可读的数据的交通工具文献的组合中获得(例如，从说明册、简报、飞行员操作手册、交通工具操作手册)。附加地或替代地，可以从在交通工具操作期间获取的数据(例如，经由感知子系统106)获得该知识。知识获取子系统114可以包括数据库子系统122和情境认知子系统124。知识获取子系统114可以从核心平台102接收操作命令，同时向核心平台102发送配置数据、状态、响应信息和/或由知识获取子系统114收集和/或生成的知识。
数据库子系统。由交通工具监视系统100收集和/或生成的知识可以存储在数据库子系统122中，无论其定位在交通工具上还是定位于可以远程访问的远程位置。数据库子系统122可以支持在线和/或离线机器学习和/或趋势分析。在操作期间，数据库子系统122可以利用由除了其他之外，感知子系统106、用户界面126以及交通工具监视系统100的内部状态感测等收集的实时数据动态地更新。操作之后，可以将来自数据库子系统122的数据下载到一个或更多个中央存储库，以便例如可以执行趋势和/或模式分析。数据库子系统122中的数据可以被加时间戳、根据记录的时间段组织，和/或以其他方式与给定时间段相关联。
在一些示例中，数据库子系统122的一些或全部数据可以被编码到数字文件中和/或从数字文件中解码。在一些示例中，数据库子系统122的数据填充可以使用可扩展标记语言(“XML”)来完成，例如在数字文件可以使用.xml文件格式的示例中。更具体地，可以采用XML数据结构，其包括一组字段和数据树，当填充时，允许核心平台102(和/或交通工具监视系统100及其子系统)被配置用于特定交通工具的操作。在某些方面，交通工具监视系统100可以采用文档(例如，飞行文档)的自然语言解释和/或使人能够有效且准确地输入数据的软件工具。
数据库子系统122可以包括多个单独的数据库和/或其他数据保留结构。例如，如图5所示，数据库子系统122可以包括状态数据库506、情境数据库504、感知数据库510、趋势数据库508和/或交通工具配置数据库502。虽然这些数据库显示为分开的并且不同，但是在一些示例中可以将两个或更多个数据库组合成单个数据库。在一些示例中，可以将一个或更多个所示数据库分成多个数据库。
交通工具配置数据库。交通工具配置数据库502可以存储与交通工具系统、其配置和/或维持安全操作所需的规程有关的信息，以及预期该交通工具的认证操作员将具有的所有其他知识和/或专业知识。交通工具配置数据库502可以由知识获取子系统114和/或具有关于当前正在工作的交通工具的必要信息(例如，飞行控制模型、操作规程、交通工具系统等)的其他子系统填充。在一些示例中，交通工具配置数据库502可以由通过用户界面126与交通工具监视系统100通信的外部设备填充。例如，DTR文件可以通过用户界面126加载到交通工具监视系统100中。来自交通工具配置数据库502的信息可用于填充DTR文件(反之亦然——取决于期望的配置)。
可以在知识获取阶段期间(例如，在初始设置期间)将交通工具配置数据库502填充和/或调整到特定交通工具，使得其包含操作交通工具所需的所有信息。例如，当转换到新交通工具时，知识获取子系统114可以执行预定义的活动以便确定布局(例如，控制器/读出器的布局，例如驾驶舱仪表)、性能参数和交通工具的其他特征。预定义的活动可以包括，例如：(1)交通工具系统模型的生成，其可以向交通工具监视系统100通知机载的系统以及它们如何配置，致动限制等；(2)规程编纂，其可以通知车辆监视系统100如何在正常和/或非正常情况下操作交通工具，还包括检查表的编纂；(3)交通工具动力学模型(例如，空气动力学，流体动力学等)，其可以向交通工具监视系统100通知如何操作交通工具以及交通工具配置期望哪种性能；和/或(4)关于任务操作的信息。在一些示例中，知识获取子系统114可以在感知子系统106和/或交通工具监视系统100的一个或更多个其他子系统的帮助下执行这些活动。
核心平台102可以使用交通工具配置数据库502中的数据来配置交通工具监视系统100的各种子系统。核心平台102可以将交通工具配置数据库502的信息与来自一组内部传感器以及感知子系统106和/或情境认知子系统124的数据组合，以生成对交通工具状态和/或情形的高度准确的估计，和/或识别与预期行为、状态和/或情形的偏差。一旦用于给定交通工具的交通工具配置数据库502被填充有数据，则所填充的数据可以保留在DTR文件中并且用于交通工具监视系统100可用的相同品牌和/或型号的所有其他交通工具。当交通工具监视系统100生成和/或收集附加数据时，可以进一步细化填充数据和/或DTR文件。
情境数据库。情境数据库504可以存储关于交通工具任务、检查表和/或规程的信息。该信息可以是交通工具特定的和/或与交通工具无关的。例如，可以采用机器学习技术来基于交通工具的历史数据确定交通工具的类型和/或交通工具特有的其他方面。在交通工具监视系统100的初始化和/或设置时，可以将任务、检查表和/或规程加载到情境数据库504中。在一些示例中，可以使用一个或更多个DTR文件来加载任务、检查表和/或规程；虽然单个DTT可用于每种任务。在一些示例中，情境数据库504可以包括指针、链接和/或对数据库子系统122中的其他数据库的引用，以便将情境数据与其他相关数据(例如，在记录的情境之前/之后的交通工具的一个或更多个状态，在记录的情境之前、期间和/或之后的交通工具的一个或更多个感知，记录的情境可以是其中的一部分的任何趋势)相关联。
规程可包括，例如，一个或更多个起飞/着落规程、一个或更多个巡航规程、一个或更多个上升规程、一个或更多个下降规程、一个或更多个加油规程、一个或更多个排放规程、一个或更多个滑行规程、一个或更多个停车规程、一个或更多个任务特定规程、一个或更多个等待航线规程、一个或更多个通过规程、一个或更多个进入/退出规程等。与每个规程相关的检查表，和/或交通工具的一般操作也可以存储在情境数据库504中。
在某些方面，可以收集、生成和/或保留一组交通工具无关规程。例如，诸如起落架收回、多引擎飞行器上的引擎输出规程和失速恢复之类的规程在许多类型的航空器中是类似的，并且仅需要针对特定机身的最小修改。此外，基本的机身限制(例如永不超过速度)只需输入特定的数字，并可在标称的时间段内从飞行手册中输入。
状态数据库。状态数据库506可以保留关于交通工具状态的信息。状态信息可以由状态监视子系统104收集和/或生成。趋势监视子系统116可以使用状态信息来识别关于交通工具操作的趋势。在一些示例中，状态数据库506可以包括指针、链接和/或对数据库子系统122中的其他数据库的引用，以便将状态数据与其他相关数据(例如，在状态期间、之前和/或之后的交通工具的一个或更多个情境之前/紧接其的交通工具的一个或更多个状态，在状态期间、之前和/或之后的交通工具的一个或更多个感知，交通工具状态是其中的一部分的任何趋势等)。
感知数据库。感知数据库510可以保留由感知子系统106记录的数据随时间的变化，从而在交通工具监视系统100的操作期间保留数据。记录和/或保留在感知数据库510中的数据可以由各种子系统使用，帮助确定情境、状态、趋势和/或其他信息。
趋势数据库。趋势数据库508可以保留与先前识别的趋势有关的数据。可以在交通工具监视系统100的设置/初始化时加载一些或所有先前识别的趋势。在交通工具操作期间，交通工具监视系统100的操作期间识别的一些或所有趋势可以保存在趋势数据库508中。在一些示例中，趋势数据库508可以包括指针、链接和/或对数据库子系统122中的其他数据库的引用，以便将趋势数据与其他相关数据(例如，趋势期间的交通工具的一个或更多个状态，趋势期间交通工具的一个或更多个情境，交通工具对趋势的一个或更多个感知等等)相关联。
情境认知子系统。情境认知子系统124可以在任何给定时间识别和/或维持对交通工具的任务、检查表和/或规程“情境”的认知。情境可以是交通工具特定的和/或与交通工具无关的。在一些示例中，情境和状态可以是相互依赖的，使得状态监视子系统104对当前和/或预测的交通工具状态的确定可以至少部分地依赖于和/或基于情境认知子系统124识别的当前、先前和/或预测的未来交通工具情境，和/或反之亦然。在一些示例中，可以选择情境或状态作为获取优先级，使得首先确定一个或另一个(情境或状态)。在一些示例中，可以根据特定交通工具类型、特定操作员、当前任务和/或一些其他考虑来自动设置优先级。在一些示例中，优先级可以由操作员通过用户界面126手动设置。
情境认知子系统124可以使用存储的任务、检查表和/或规程来维持对情境的认知/意识。例如，任务、检查表和/或规程可以存储在数据库子系统122的情境数据库504中。可以在初始化和/或设置时将任务、检查表和/或规程加载到情境数据库504中。在一些示例中，一些或所有任务、检查表和/或规程可以与由交通工具监视系统监视的交通工具的分类、类别、类型、品牌和/或模型相关联。在一些示例中，一些或所有任务、检查表和/或规程可以是与交通工具无关的。在一些示例中，可以使用一个或更多个DTR文件来加载任务、检查表和/或规程。
情境认知子系统124可以将当前交通工具情境识别为对应于任何给定时刻的一个或更多个任务、检查表和/或规程。识别可以基于交通工具的当前、先前、预期和/或预测状态。当前情境的识别还可以基于情境数据库504的内容、来自感知子系统106的当前数据、来自感知子系统106(例如，存储在数据库子系统122中)的先前数据、经过用户界面126来自操作员输入的信息，和/或其他信息来源。在一些示例中，从一个状态到另一个状态的转换可以通知和/或触发当前交通工具情境确定。情境认知子系统124可以将先前的交通工具情境存储在情境数据库504中。
操作。图6示出了交通工具监视系统100的示例操作。在步骤602，设置和/或初始化交通工具操作系统100。这可以在交通工具点火之前、之后和/或期间发生。在设置期间，交通工具监视系统100的组件可以安装在交通工具中。感知子系统106可以被硬连线和/或以其他方式与交通工具的驾驶舱仪表120接口连接。在使用相机和/或其他传感器的示例中，可以适当地设置这些设备以从驾驶舱仪表120收集、测量、感测和/或数据，同时最小化对一个或更多个操作员的任何阻碍。在陆地交通工具(例如，汽车、卡车、救护车等)中，这可以意味着将相机和/或传感器适当地定位在乘客座椅、后座、仪表面板区域、中央控制台或一些其他适当的位置。对于航空器(例如，飞行器、直升机等)，这可以意味着定位在驾驶室、乘客座椅、后座、仪表面板区域、控制台区域或一些其他适当的位置。对于水上运输工具(船舶、潜水艇等)，这也可能意味着类似的东西。在一些示例中，交通工具监视系统100可以安装在交通工具模拟器中(例如，以评估训练模拟和/或开发用于趋势分析的初始数据)。
知识获取阶段发生在步骤604，其通常是指从各种来源(例如，SME、手册等)收集关于交通工具的信息并且该信息用于填充交通工具配置数据库以最终生成DTR文件的过程。根据交通工具的不同，知识获取阶段通常在交通工具中安装任何物品之前发生，并且可能需要几个小时到一个月才能完成。
在知识获取阶段期间，可以建立阈值条件用于反馈子系统比较。这些条件可能经常是离散的，例如引擎超速或超过空速限制。另外，交通工具配置数据可以上载到交通工具配置数据库502和/或数据库子系统122的其他数据库中。该信息可以包括例如交通工具动态数据、操作限制、任务、检查表、规程、交通工具系统、仪表布局，以及其他相关数据。可以使用一个或更多个数字文件(例如，DTR文件)上载交通工具配置数据。在一个示例中，知识获取阶段可以1)收集关于交通工具的知识，2)在配置感知系统时构建数据库和初始DTR，3)在安装感知系统的同时在模拟中调试DTR，4)安装一个或更多个DTR(例如，针对一个或更多个不同的任务)，以及5)继续设置和初始化。
在步骤606，交通工具操作开始。该步骤可以在知识获取阶段之后自动触发，或者由操作员手动触发。此后，交通工具监视系统100在步骤608-614中进入反复的循环，直到在步骤616中断操作。中断的操作可以由某事件、趋势、状态转换和/或情境自动触发，或者可以由操作员手动触发。
在操作期间，在步骤608，当操作员驾驶交通工具时，感知子系统106可以监视交通工具驾驶舱(和/或真实模拟器)中的仪表和/或控件。观察操作员的动作可以允许交通工具监视系统100直接从操作员学习并实施针对该特定操作员的趋势分析。这一过程可能会受益于这样一个事实：在特定情况下将要做什么方面，交通工具操作有时是高度结构化的——机器学习然后使得能够编写某些事情的执行方式，例如，识别使交通工具处于危险中的运行趋势。
在步骤610，可以使用来自感知子系统106的数据以及其他数据(例如，过去和/或当前状态/情境/趋势)来确定当前交通工具状态。还可以确定一个或更多个预测的未来状态。还可以使用来自感知子系统106的数据结合其他数据(例如，过去和/或当前情境/状态/趋势、预测的未来状态)来确定交通工具情境。交通工具状态和/或情境可以存储在数据库子系统122中。
在步骤612，可以执行趋势分析以识别一个或更多个趋势。趋势可以是交通工具趋势和/或操作员趋势。在步骤614，可以基于所识别的一个或更多个状态、一个或更多个情境和/或一个或更多个趋势，与已知和/或预期的一个或更多个状态、一个或更多个情境和/或一个或更多个趋势相比较来确定适当的反馈。可以通过用户界面126向操作员呈现反馈。
在步骤616，操作可以继续或中断。在一些示例中，操作可以默认继续，除非接收到某个其他输入或者由于自动触发一些中断动作。中断的操作可以由某事件、趋势、状态转换和/或情境自动触发，或者可以由操作员手动触发。在一些示例中，相反的情况可能是真实的，并且操作可以默认中断，需要一些自动和/或手动输入以便继续操作。
一旦操作中断，交通工具监视系统100可以在步骤618将其累积的数据(例如，在数据库子系统122中)卸到中央储存库。在一些示例中，中央储存库可以保留来自一群交通工具和/或交通工具监视系统的数据。在其他示例中，中央储存库可以仅保留来自单个交通工具和/或交通工具监视系统的数据。中央储存库可用于辅助离线趋势分析和/或识别以用于未来的交通工具监视系统100操作。在步骤620，结束交通工具监视系统100的操作。在交通工具监视系统100不访问网络的示例中，交通工具监视系统100可以配置有可移动的本地驱动器以上载到中央存储库。
图7a和7b示出了可以在交通工具监视系统中使用的示例规程。示例规程是用于航空器的规程。该规程包括几个任务的检查表。图中的每个字母圆圈对应于检查表中的任务。圆的类型对应于交通工具监视操作的类型。对于某些任务，不执行反馈(即，显示)或其他操作。对于其他任务，系统可以显示关于任务的反馈，诸如任务未决、未完成和/或完成的一个或更多个指示符。对于某些任务，系统可能要求操作员通过对用户界面126的一些输入来响应反馈，确认任务已经完成。对于一些任务，感知子系统106可以通过其读取驾驶舱仪表120和/或其他交通工具仪表来独立地确认任务已经完成。如果操作员在一个或更多个前任任务已经被完成之前尝试继续该规程的一个或更多个任务，则系统可以进一步显示负反馈(例如，警告、警报等)。
图8示出了可以在交通工具监视系统100中使用的示例状态图。状态图对应于航空器的状态。该图示出了航空器在操作期间可能采取的各种状态。具有虚线的那些状态和状态转换对应于任务特定状态和/或到/从任务特定状态的转换。该图示出了在状态转换期间通过感知子系统106获取的数据如何可以触发某些规程、检查表和/或反馈。更具体地，该图示出了在从下降状态到等待航线状态的转换期间的触发。当感知子系统106检测到高于平均海平面(MSL)大约1200英尺的高度和距跑道小于5海里(NM)的距离时，系统可以推断着陆规程的情境。通过对显著高于MSL 1200英尺且远离已知跑道5NM的先前交通工具状态的了解可以进一步通知该推断。系统可以进一步确定着陆检查表的任务尚未完成，并通过用户界面126向操作员提供适当的反馈。在操作员继续时，并且系统检测到MSL以上大约500英尺的高度，以及距跑道不到一个NM的距离，系统可以提供更紧急和/或有表现力的反馈。在一些示例中，可以允许系统与交通工具接口连接以防止操作员继续(例如，阻止进一步下降)，直到完成检查表规程的适当任务。
可以理解，本公开的各方面可以通过硬件、软件和/或其组合来实现。软件可以存储在非暂时性机器可读(例如，计算机可读)存储介质中，例如，可擦除或可重写的只读存储器(ROM)、存储器，例如，随机存取存储器(RAM)、存储器芯片、存储器设备或存储器集成电路(IC)，或光学或磁性可记录的非暂时性机器可读的，例如计算机可读的，存储介质，例如，光盘(CD)、数字通用盘(DVD)、磁盘或磁带。
尽管已经参考某些实施方式描述了本方法和/或系统，但是本领域技术人员将理解，在不脱离本方法和/或范围的情况下，可以进行各种改变并且可以替代等同物。另外，在不脱离本发明范围的情况下，可以做出许多修改以使特定情况或材料适应本发明的教导。例如，所公开示例的系统，框和/或其他组件可以被组合、划分、重新布置和/或以其他方式修改。因此，本方法和/或系统不限于所公开的特定实施方式。相反，本发明的方法和/或系统将包括在所附权利要求的范围内的所有实现方式，无论是从字面上还是在等同原则下。
本公开包括以下条款中描述的主题：
1.一种用于提供操作员反馈以操作交通工具的可适应的交通工具监视系统(100)，包括：
情境认知子系统(124)，被配置为确定当前交通工具情境，其中当前交通工具情境反映交通工具的操作模式；
状态监视子系统(104)，被配置为至少部分地基于当前交通工具状态数据来导出当前交通工具状态，
其中状态监视子系统(104)可操作地与知识获取子系统(114)耦合，该知识获取子系统(114)被配置成根据交通工具的至少一个参数将交通工具状态数据与当前交通工具情境相关联，并且
其中状态监视子系统(104)被配置为分析当前交通工具状态数据和当前交通工具情境以识别一个或更多个趋势；
反馈子系统(112)，可操作地与状态监视子系统(104)耦合，
其中反馈子系统(112)被配置为至少部分地基于当前交通工具状态与预期交通工具状态之间的比较来准备操作员反馈，并且
其中，至少部分地基于一个或更多个存储的交通工具状态和一个或更多个趋势导出预期交通工具状态；以及
用户界面(126)，被配置为提供准备的操作员反馈。
2.根据条款1所述的系统，其中状态监视子系统(104)还被配置为分析来自相似类型的交通工具的存储的交通工具状态数据和存储的交通工具情境以识别一个或更多个趋势。
3.根据以上任一条款所述的系统，还包括感知子系统(106)，所述感知子系统具有多个相机(310)，所述多个相机(310)被配置为从位于交通工具中的仪表(120)可视地获取当前交通工具状态信息。
4.根据以上任一条款所述的系统，还包括数据库子系统(122)，其与状态监视子系统(104)可操作地耦合，并且被配置为通过状态监视子系统(104)支持离线机器学习或趋势分析。
5.根据权利要求3所述的系统，其中所述仪表(120)包括燃料表、温度计、风力计、里程表、压力计、高度计、速度计、空速指示计、垂直速度指示计、指南针、陀螺仪、姿态指示计、航向指示计、转向指示计或导航系统中的一个或更多个。
6.根据以上任一条款所述的系统，其中如果预期交通工具状态与当前交通工具状态之间的偏差超过预定阈值，则操作员反馈包括警告。
7.根据以上任一条款所述的系统，其中至少部分地基于交通工具类型、交通工具操作手册、标准交通工具操作规程、操作员输入、任务参数、交通工具目的地、当前交通工具状态数据、存储的交通工具状态数据、交通工具定位、外部环境和存储的趋势中的一个或更多个来确定当前交通工具情境。
8.根据上述任一条款的系统，其中交通工具监视系统(100)与不同类型的交通工具兼容，并且可以至少部分地基于数字文件中的编码信息适应于不同类型的交通工具。
9.根据条款8所述的系统，其中编码信息包括交通工具类型、交通工具布局，交通工具仪表(120)和交通工具能力中的一个或更多个。
10.根据条款9所述的系统，其中所分析的存储的交通工具状态数据、存储的交通工具情境和存储的交通工具状态对应于在数字文件中编码的交通工具类型。
11.根据以上任一条款所述的系统，其中状态监视子系统(104)使用机器学习技术来识别一个或更多个趋势。
12.一种用于提供操作员反馈以操作交通工具的方法，该方法包括以下步骤：
确定当前交通工具情境，其中当前交通工具情境反映交通工具的操作模式；
至少部分地基于当前交通工具状态数据导出当前交通工具状态；
根据交通工具的至少一个参数将交通工具状态数据与当前交通工具情境相关联；
分析当前交通工具状态数据和当前交通工具情境以识别一个或更多个趋势；
至少部分地基于当前交通工具状态与预期交通工具状态之间的比较来准备操作员反馈，其中至少部分地基于一个或更多个存储的交通工具状态和一个或更多个趋势导出预期交通工具状态；以及
通过用户界面生成准备的操作员反馈(126)。
13.根据条款12所述的方法，其中使用来自相似类型交通工具的存储的交通工具状态数据、存储的交通工具情境和存储的交通工具状态来识别所述一个或更多个趋势。
14.根据条款13所述的方法，其中使用多个相机(310)来获取当前交通工具状态数据，所述多个相机(310)被配置为从交通工具驾驶舱中的仪表(120)收集数据。
15.根据条款13或条款14所述的方法，其中当前交通工具状态由燃料表、温度计、风力计、里程表、压力计、高度计、速度计、空速指示计、垂直速度指示计、指南针、陀螺仪、姿态指示计、航向指示计、转向指示计或导航系统中的至少一个确定。
16.根据条款13至条款15中任一项所述的方法，其中如果预期交通工具状态与当前交通工具状态之间的偏差超过预定阈值，则操作员反馈包括警告。
17.根据条款13至条款16中任一项所述的方法，该方法还包括至少部分地基于数字文件中的编码信息来适应不同类型的交通工具的步骤。
18.根据权利要求17所述的方法，其中所述编码信息包括交通工具类型、交通工具布局、交通工具仪表(120)和交通工具能力中的一个或更多个。
19.根据条款17或条款18所述的方法，其中机器学习技术被用于识别所述一个或更多个趋势。
20.根据条款13到条款19中任一项所述的方法，还包括访问被配置为支持离线机器学习或趋势分析的数据库子系统(122)的步骤。

Claims (17)

1.一种用于提供操作员反馈以操作交通工具的可适应的交通工具监视系统(100)，其中所述可适应的交通工具监视系统至少部分地基于数字文件中的编码信息可适应于不同类型的交通工具，所述可适应的交通工具监视系统包括：
情境认知子系统(124)，其被配置为确定当前交通工具情境，其中所述当前交通工具情境反映所述交通工具的操作模式，所述操作模式包括飞行操作；
状态监视子系统(104)，其被配置为至少部分地基于当前交通工具状态数据来导出当前交通工具状态，
其中所述状态监视子系统(104)可操作地与知识获取子系统(114)
耦合，所述知识获取子系统(114)被配置成根据所述交通工具的至少一个参数将所述交通工具状态数据与所述当前交通工具情境相关联，并且
其中所述状态监视子系统(104)被配置为分析所述当前交通工具状态数据和所述当前交通工具情境以识别一个或更多个趋势；
反馈子系统(112)，其可操作地与所述状态监视子系统(104)耦合，
其中所述反馈子系统(112)被配置为至少部分地基于所述当前交通工具状态与预期交通工具状态之间的比较来准备操作员反馈，并且
其中，至少部分地基于一个或更多个存储的交通工具状态和所述一个或更多个趋势导出所述预期交通工具状态；和
用户界面(126)，其被配置为提供准备好的操作员反馈。
2.根据权利要求1所述的系统，其中所述状态监视子系统(104)还被配置为分析来自相似类型的交通工具的存储的交通工具状态数据和存储的交通工具情境以识别所述一个或更多个趋势。
3.根据权利要求1所述的系统，还包括感知子系统(106)，所述感知子系统具有多个相机(310)，所述多个相机(310)被配置为从位于交通工具中的仪表(120)可视地获取当前交通工具状态信息。
4.根据权利要求1、2或3所述的系统，还包括数据库子系统(122)，其与所述状态监视子系统(104)可操作地耦合，并且被配置为通过所述状态监视子系统(104)支持离线机器学习或趋势分析。
5.根据权利要求3所述的系统，其中所述仪表(120)包括燃料表、温度计、风力计、里程表、压力计、高度计、速度计、空速指示计、垂直速度指示计、指南针、陀螺仪、姿态指示计、航向指示计、转向指示计或导航系统中的一个或更多个。
6.根据权利要求1、2或3所述的系统，其中如果所述预期交通工具状态与所述当前交通工具状态之间的偏差超过预定阈值，则所述操作员反馈包括警告。
7.根据权利要求1、2或3所述的系统，其中，所述编码信息包括交通工具类型、交通工具布局、交通工具仪表和交通工具能力中的一个或更多个，其中至少部分地基于交通工具类型、交通工具操作手册、标准交通工具操作规程、操作员输入、任务参数、交通工具目的地、当前交通工具状态数据、存储的交通工具状态数据、交通工具定位、外部环境和存储的趋势中的一个或更多个来确定当前交通工具情境。
8.根据权利要求7所述的系统，其中分析的存储的交通工具状态数据、存储的交通工具情境和存储的交通工具状态对应于在所述数字文件中编码的交通工具类型。
9.根据权利要求1所述的系统，其中所述知识获取子系统配置为以知识数据的形式编写飞行员操作手册，以根据所述当前交通工具情境和预定规程来对某些交通工具状态数据进行加权。
10.一种用于提供操作员反馈以操作交通工具的方法，该方法包括以下步骤：
确定当前交通工具情境，其中所述当前交通工具情境反映所述交通工具的操作模式，所述操作模式包括飞行操作；
至少部分地基于当前交通工具状态数据导出当前交通工具状态，其中使用多个相机(310)获取所述当前交通工具状态数据，所述多个相机(310)被配置为从交通工具驾驶舱中的仪表(120)收集数据；
根据所述交通工具的至少一个参数将所述交通工具状态数据与所述当前交通工具情境相关联；
分析所述当前交通工具状态数据和所述当前交通工具情境以识别一个或更多个趋势；
至少部分地基于所述当前交通工具状态与预期交通工具状态之间的比较来准备操作员反馈，其中至少部分地基于一个或更多个存储的交通工具状态和所述一个或更多个趋势导出所述预期交通工具状态；和
通过用户界面生成准备的操作员反馈。
11.根据权利要求10所述的方法，其中使用来自相似类型的交通工具的存储的交通工具状态数据和存储的交通工具情境来识别所述一个或更多个趋势。
12.根据权利要求10所述的方法，其中通过知识获取子系统，根据所述交通工具的至少一个参数将所述交通工具状态数据与所述当前交通工具情境相关联，其中所述知识获取子系统配置为以知识数据的形式编写飞行员操作手册，以根据所述当前交通工具情境和预定规程来对某些交通工具状态数据进行加权。
13.根据权利要求10至12中任一项所述的方法，其中，所述当前交通工具状态由燃料表、温度计、风力计、里程表、压力计、高度计、速度计、空速指示计、垂直速度指示计、指南针、陀螺仪、姿态指示计、航向指示计、转向指示计或导航系统中的至少一个确定。
14.根据权利要求10至12中任一项所述的方法，其中，如果所述预期交通工具状态与所述当前交通工具状态之间的偏差超过预定阈值，则所述操作员反馈包括警告。
15.根据权利要求10至12中任一项所述的方法，所述方法还包括至少部分地基于数字文件中的编码信息来适应不同类型的交通工具的步骤。
16.根据权利要求10至12中任一项所述的方法，还包括访问被配置成支持离线机器学习或趋势分析的数据库子系统(122)的步骤。
17.根据权利要求15所述的方法，其中所述编码信息包括交通工具类型、交通工具布局、交通工具仪表和交通工具能力中的一个或更多个。
CN201910912052.9A 2018-10-12 2019-09-25 可适应的交通工具监视系统 Active CN111046097B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/159,463 2018-10-12
US16/159,463 US11151810B2 (en) 2018-10-12 2018-10-12 Adaptable vehicle monitoring system

Publications (2)

Publication Number Publication Date
CN111046097A CN111046097A (zh) 2020-04-21
CN111046097B true CN111046097B (zh) 2024-02-09

Family

ID=68290158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910912052.9A Active CN111046097B (zh) 2018-10-12 2019-09-25 可适应的交通工具监视系统

Country Status (5)

Country Link
US (1) US11151810B2 (zh)
EP (1) EP3637212B1 (zh)
JP (1) JP7306951B2 (zh)
KR (1) KR20200042420A (zh)
CN (1) CN111046097B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11586972B2 (en) * 2018-11-19 2023-02-21 International Business Machines Corporation Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs
FR3089951B1 (fr) * 2018-12-18 2022-02-25 Stelia Aerospace Systeme de fixation d’une planche de bord d’un poste de pilotage d’un aeronef
FR3093806B1 (fr) * 2019-03-15 2021-04-02 Safran Aircraft Engines Procédé de détection d’une fuite éventuelle de carburant dans un circuit d’huile d’un moteur d’aéronef
EP4040940A4 (en) * 2019-10-10 2022-11-30 The State of Israel, Ministry of Agriculture & Rural Development Agricultural Research Organization HUMAN-ROBOT GUIDANCE SYSTEM FOR THE DETECTION OF AGRICULTURAL OBJECTS IN UNSTRUCTURED AND NOISY ENVIRONMENTS BY INTEGRATION OF LASER AND SIGHT
US11893907B2 (en) * 2019-10-14 2024-02-06 Honeywell International Inc. Systems and methods for evidence-based training of aircraft operators
US11655047B2 (en) 2020-10-21 2023-05-23 Honeywell International, Inc. System and method for monitoring an electronic checklist and supporting sensors
US20220135243A1 (en) * 2020-11-05 2022-05-05 Marc Arnold Electronic flight assistant with optical reading of flight instruments and laser messaging, with optional optical collision avoidance, audio warnings, audio checklists, and other functions
US20220147905A1 (en) * 2020-11-12 2022-05-12 Honeywell International Inc. System and method for assisting flight crew with the execution of clearance messages
USD953371S1 (en) 2021-10-22 2022-05-31 BioReference Health, LLC Display screen or portion thereof with animated graphical user interface
CN114138889A (zh) * 2021-12-06 2022-03-04 北京经纬恒润科技股份有限公司 一种内存数据库及仿真测试系统
US20240248481A1 (en) * 2023-01-25 2024-07-25 Merlin Labs, Inc. System and method for aircraft configuration checking

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409179A (zh) * 2001-09-17 2003-04-09 费舍-柔斯芒特系统股份有限公司 处理性能监控与处理设备监控及控制的合成
CN101351763A (zh) * 2005-07-25 2009-01-21 空中客车公司 用户和他在交通工具上的环境之间的接口模型化的系统和方法
EP2270618A2 (en) * 2009-06-26 2011-01-05 Honeywell International Inc. Method and system for fault determination for aircraft
CN202434060U (zh) * 2011-12-19 2012-09-12 燕山大学 摄像头智能认知感应导航系统
CN103098044A (zh) * 2010-05-14 2013-05-08 哈尼施费格尔技术公司 用于远程机器监视的周期分解分析
CN103714254A (zh) * 2013-12-27 2014-04-09 北京航空航天大学 飞机驾驶舱信息显示界面布局对飞行员情境意识影响特性的测定系统和方法
CN104487962A (zh) * 2012-01-31 2015-04-01 湾流航空航天公司 用于飞行器健康和趋势监测的方法和系统
CN105324268A (zh) * 2013-04-25 2016-02-10 通用汽车环球科技运作有限责任公司 处境获知系统和方法
CN106464956A (zh) * 2014-05-21 2017-02-22 Pcms控股公司 触发视频录制的用户兴趣阈值的环境调节的方法和系统
CN106548679A (zh) * 2016-02-03 2017-03-29 北京易驾佳信息科技有限公司 一种智能驾驶训练系统
CN108369767A (zh) * 2015-12-06 2018-08-03 声钰科技 基于用户认知状态和/或情境状态的会话调整系统和方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4063073A (en) 1974-11-29 1977-12-13 Strayer Larry G Computer system to prevent collision between moving objects such as aircraft moving from one sector to another
US5157615A (en) 1990-01-09 1992-10-20 Ryan International Corporation Aircraft traffic alert and collision avoidance device
JPH07115677B2 (ja) 1990-10-30 1995-12-13 嘉三 藤本 航空機の飛行情報記録方法とその装置
EP1252060B1 (en) 2000-02-03 2005-11-16 Honeywell International Inc. Event based aircraft image and data recording system
US20020008661A1 (en) 2000-07-20 2002-01-24 Mccall Hiram Micro integrated global positioning system/inertial measurement unit system
FR2821452B1 (fr) 2001-02-26 2003-06-13 Eads Airbus Sa Dispositif de surveillance d'une pluralite de systemes d'un aeronef, en particulier d'un avion de transport
US6604044B1 (en) 2002-02-14 2003-08-05 The Mitre Corporation Method for generating conflict resolutions for air traffic control of free flight operations
US6820006B2 (en) 2002-07-30 2004-11-16 The Aerospace Corporation Vehicular trajectory collision conflict prediction method
BRPI0306710B1 (pt) 2002-11-11 2016-12-20 Aeromechanical Services Ltd sistema e método para coleta e transmissão de dados de aeronaves
US7106219B2 (en) 2003-11-07 2006-09-12 Pearce James W Decentralized vehicular traffic status system
US7193729B1 (en) 2004-04-29 2007-03-20 Yazaki North America, Inc Instrument cluster with laser beam illumination
WO2006011141A2 (en) 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
US7437220B2 (en) 2004-08-17 2008-10-14 Arinc, Inc. Systems and methods for crew interaction and coordination using portable electronic data storage and display devices
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
US7848698B2 (en) 2005-07-22 2010-12-07 Appareo Systems Llc Flight training and synthetic flight simulation system and method
US7650232B1 (en) 2005-09-22 2010-01-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Trajectory specification for high capacity air traffic control
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7624943B2 (en) 2006-03-22 2009-12-01 The Boeing Company Multi-mode unmanned and manned vehicle systems and methods
EP3624086A1 (en) 2007-01-25 2020-03-18 Magna Electronics Inc. Radar sensing system for vehicle
US7826943B2 (en) 2007-04-02 2010-11-02 General Electric Company Method and system for diagnosing faults in a particular device within a fleet of devices
WO2008139530A1 (ja) 2007-04-27 2008-11-20 Honda Motor Co., Ltd. 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
US8049658B1 (en) 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
US20080316010A1 (en) 2007-06-23 2008-12-25 Appro Technology Inc. Recording system and method for capturing images of driving conditions and driving images identification method
CA2696190C (en) 2007-08-17 2014-02-18 Bell Helicopter Textron Inc. System for optical recognition, interpretation, and digitization of human readable instruments, annunciators, and controls
US8290638B2 (en) 2008-02-04 2012-10-16 Lockheed Martin Corporation Apparatus, program product, and methods for updating data on embedded control systems
JP4434296B1 (ja) 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
US8319666B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US8319665B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Adaptive instrument and operator control recognition
US7954965B1 (en) 2009-04-13 2011-06-07 Yazaki North America, Inc. Method for multiple gauges in a scanning laser based display device
US8026827B1 (en) 2009-05-04 2011-09-27 Yazaki North America, Inc. Virtual push button switch
US10002538B2 (en) 2009-05-14 2018-06-19 Honeywell International Inc. Aircraft clearance enforcement
KR101043450B1 (ko) 2009-07-31 2011-06-21 삼성전기주식회사 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
US8306672B2 (en) 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
US8616884B1 (en) 2009-12-01 2013-12-31 The Boeing Company Integrated live and simulation environment system for an aircraft
US9099009B2 (en) 2009-12-01 2015-08-04 The Boeing Company Performance-based simulation system for an aircraft
US20120229469A1 (en) * 2010-11-08 2012-09-13 Lizotte Todd E Dynamic 3d analytic tools: a method for maintaining situational awareness during high tempo warfare or mass casualty operations
US8616883B2 (en) 2010-12-15 2013-12-31 The Boeing Company Simulation control system for an integrated live and simulation environment for an aircraft
JP2013002927A (ja) 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
US8768534B2 (en) 2011-11-14 2014-07-01 Arinc Incorporated Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA)
FR2988836B1 (fr) 2012-03-28 2014-04-25 Dassault Aviat Procede de determination d'une masse estimee d'un aeronef et systeme correspondant
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
WO2014143407A1 (en) * 2013-03-15 2014-09-18 The Boeing Company Secure routing based on the physical locations of routers
US9557742B2 (en) 2013-11-27 2017-01-31 Aurora Flight Sciences Corporation Autonomous cargo delivery system
FR3023911B1 (fr) 2014-07-18 2018-07-13 Thales Traitement des donnees d'un plan de vol
CA2955169A1 (en) 2014-09-03 2016-03-10 University Of Malta A human machine interface device for aircraft
US9740896B1 (en) * 2015-02-15 2017-08-22 Plataine Ltd. Method and system for managing an efficient production floor, via the internet of things
EP3098681B1 (en) * 2015-05-27 2020-08-26 Tata Consultancy Services Limited Artificial intelligence based health management of host system
US20180099761A1 (en) * 2016-10-10 2018-04-12 The Boeing Company Real Time Aircraft Stress Monitoring System
US10242580B2 (en) * 2017-07-27 2019-03-26 SkyRyse, Inc. System and method for situational awareness, vehicle control, and/or contingency planning
US20200090524A1 (en) * 2018-09-18 2020-03-19 Lockheed Martin Corporation Mission management inceptor for multi-use interaction with an autonomous flight system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409179A (zh) * 2001-09-17 2003-04-09 费舍-柔斯芒特系统股份有限公司 处理性能监控与处理设备监控及控制的合成
CN101351763A (zh) * 2005-07-25 2009-01-21 空中客车公司 用户和他在交通工具上的环境之间的接口模型化的系统和方法
EP2270618A2 (en) * 2009-06-26 2011-01-05 Honeywell International Inc. Method and system for fault determination for aircraft
CN103098044A (zh) * 2010-05-14 2013-05-08 哈尼施费格尔技术公司 用于远程机器监视的周期分解分析
CN202434060U (zh) * 2011-12-19 2012-09-12 燕山大学 摄像头智能认知感应导航系统
CN104487962A (zh) * 2012-01-31 2015-04-01 湾流航空航天公司 用于飞行器健康和趋势监测的方法和系统
CN105324268A (zh) * 2013-04-25 2016-02-10 通用汽车环球科技运作有限责任公司 处境获知系统和方法
CN103714254A (zh) * 2013-12-27 2014-04-09 北京航空航天大学 飞机驾驶舱信息显示界面布局对飞行员情境意识影响特性的测定系统和方法
CN106464956A (zh) * 2014-05-21 2017-02-22 Pcms控股公司 触发视频录制的用户兴趣阈值的环境调节的方法和系统
CN108369767A (zh) * 2015-12-06 2018-08-03 声钰科技 基于用户认知状态和/或情境状态的会话调整系统和方法
CN106548679A (zh) * 2016-02-03 2017-03-29 北京易驾佳信息科技有限公司 一种智能驾驶训练系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Amirhossein S. Aghaei 等.Smart Driver Monitoring: When Signal Processing Meets Human Factors: In the driver's seat.《IEEE Signal Processing Magazine》.2016,35 - 48. *
飞机驾驶舱多通道人机交互设计研究;陈慧娟;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;C031-235 *

Also Published As

Publication number Publication date
EP3637212A3 (en) 2020-07-29
JP2020097394A (ja) 2020-06-25
US11151810B2 (en) 2021-10-19
CN111046097A (zh) 2020-04-21
JP7306951B2 (ja) 2023-07-11
US20200118366A1 (en) 2020-04-16
KR20200042420A (ko) 2020-04-23
EP3637212A2 (en) 2020-04-15
EP3637212B1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
CN111046097B (zh) 可适应的交通工具监视系统
US11693407B2 (en) Aircrew automation system and method
US11378988B2 (en) Aircrew automation system and method with integrated imaging and force sensing modalities
US11181935B2 (en) System and method for detecting obstacles in aerial systems
EP3415416B1 (en) Aircrew automation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant