CN109308076A - 具有集成成像和力感测模态的机组自动化系统和方法 - Google Patents

具有集成成像和力感测模态的机组自动化系统和方法 Download PDF

Info

Publication number
CN109308076A
CN109308076A CN201810794463.8A CN201810794463A CN109308076A CN 109308076 A CN109308076 A CN 109308076A CN 201810794463 A CN201810794463 A CN 201810794463A CN 109308076 A CN109308076 A CN 109308076A
Authority
CN
China
Prior art keywords
aircraft
flight
automation system
unit automation
pilot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810794463.8A
Other languages
English (en)
Inventor
W·博斯沃茨
D·R·延森
M·里根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Flight Sciences Corp
Original Assignee
Aurora Flight Sciences Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Flight Sciences Corp filed Critical Aurora Flight Sciences Corp
Publication of CN109308076A publication Critical patent/CN109308076A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/04—Initiating means actuated personally
    • B64C13/08—Trimming zero positions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/22—Initiating means actuated automatically, e.g. responsive to gust detectors readily revertible to personal control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0028—Force sensors associated with force applying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0061—Force sensors associated with industrial machines or actuators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G08G5/065—Navigation or guidance aids, e.g. for taxiing or rolling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00—Aeronautics or air transport
    • Y02T50/40—Weight reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Navigation (AREA)
  • Manipulator (AREA)
  • Structures Of Non-Positive Displacement Pumps (AREA)
  • Excavating Of Shafts Or Tunnels (AREA)

Abstract

本申请涉及具有集成成像和力感测模态的机组自动化系统和方法。机组自动化系统涉及飞行控制系统、方法和装置的领域；甚至更具体地说，涉及用于提供飞行器状态监控和/或采用具有集成成像和力感测模态的机器人臂的自动化机组的系统、方法和装置。

Description

具有集成成像和力感测模态的机组自动化系统和方法
政府权益声明
本发明是在美国国防高级研究计划局(DARPA)授予的合同编号：HR0011-15-C-0027的政府支持下完成的。政府对本发明享有一定的权利。
技术领域
本公开涉及飞行控制系统、方法和装置领域；甚至更具体地说，涉及用于提供飞行器状态监控和/或采用具有集成成像和力感测模态(modalities)的机器人臂(roboticarm)的自动化机组的系统、方法和装置。
背景技术
驾驶舱自动化方面的最近经验显示，对飞行甲板增加额外功能的先前方法增加了复杂性，导致过度依赖自动化，并且可不必要地减小工作负荷，特别是在紧急情况期间。额外的挑战在于，航空电子制造商已经制定了严格的基于要求的设计并针对任何所需的改善改变了订单，以便提供高的可靠性和可验证性。因此，遗留飞行器的转化通常成本过高，并且在需求、验证和测试方面需要大量资本投资。
弗吉尼亚州马纳萨斯的极光飞行科学公司(Aurora Flight SciencesCorporation of Manassas,Virginia)先前已经开发出能够在起飞、巡航和着陆期间操作钻石DA42双星(Diamond DA42Twin Star)的右座飞行员辅助。被称为半人马座(Centaur)的右座飞行员辅助可以在不影响原始类型的认证的情况下安装到DA42中以及从DA42移除，从而维持飞行器的原始认证。半人马座包括主要飞行控制及其自身的航空电子套件的机械致动，并且可以监督角色随飞行员一起使用，或作为完全无人驾驶的飞行器使用。例如，半人马座可通过飞机的后座中的操作员在膝上型计算机上指引飞行计划来控制飞行。虽然半人马座提供了许多特征，但是其存在某些缺陷。具体地，(1)半人马座硬件无法移植到其他飞行器，其软件即插即用也无法向其他能力扩展；(2)半人马座系统的部分是侵入性的并且需要以对于飞行器(即，DA42)非常特定的方式切入现有的航空电子布线；(3)半人马座不允许机上飞行员为操作员并且执行诸如指引飞行计划的任务；以及(4)半人马座没有获得关于其正在操作的飞行器的知识。
因此，存在对于实现新能力的快速引入、增加安全性、增长功能并且减少飞行员工作负荷而不需要大的花费或重新认证的开放架构系统的需要。还存在为飞行员提供连续飞行器状态监控和信息增强的需要，该飞行员可以有效地充当数字飞行工程师。诸如本文所公开的机组自动化系统/机组人员自动化系统(aircrew automation system)解决了这些需要，并且使得新的能力能够在机身上携带的同时以最小认证负担被快速引入(例如，经由临时安装)。如将要讨论的，机组自动化系统可以向各种终端用户提供显著的益处。示例应用包括在疲劳和厌倦可能导致机组人员注意力下降的情况下的飞行器的操作，在这种情况下机组自动化系统通过向飞行员发出警报以及在某些情况下采取飞行器的控制来降低飞行操作的风险。在人为误差的可能性当前由于综合数据录入而限制飞行器的广泛使用(例如，低空操作)、同步操作、无人驾驶飞行、具有有人驾驶飞行指引的无人编队以及改善的事后检视能力的情况下存在其他示例应用。
发明内容
本公开涉及飞行控制系统、方法和装置；甚至更具体地说，涉及用于提供飞行器状态监控和/或采用具有集成成像和力感测模态的机器人臂的自动化机组的系统、方法和装置。
根据第一方面，用于在飞行器中使用的机组自动化系统包括：核心平台，其被配置成：经由一个或多个接口可操作地连接多个系统或子系统；以及至少部分基于飞行状况数据将命令传达到飞行器的飞行控制系统；致动系统，其与核心平台可操作地耦接以执行命令并收集数据，该致动系统包括：光学传感器，其被配置成在视觉上识别对应于飞行控制系统的一个或多个驾驶舱仪表；力传感器，其被配置成测量当致动系统与一个或多个驾驶舱仪表发生接触时的力；以及数据获取系统，其基于由光学传感器和压力传感器所收集的数据来映射(map)一个或多个驾驶舱仪表的定位/方位(location)、类型(type)和位置(position)。
在某些方面，光学传感器为红外摄像机和视觉(光学)摄像机中的一个。
在某些方面，力传感器包括可由控制器独立操纵的一个或多个数位。
在某些方面，每个数位包括相应的力传感器。
在某些方面，致动系统包括被配置成在驾驶舱环境内以六个自由度机动。
在某些方面，光学传感器和力传感器在机器人臂的远侧端部处并置，该远侧端部被配置成对一个或多个驾驶舱仪表成像和与一个或多个驾驶舱仪表接触。
在某些方面，机组自动化系统进一步包括知识获取系统，该知识获取系统与核心平台可操作地耦接以确定飞行器特有的信息。
在某些方面，知识获取被配置成访问对应于一个或多个驾驶舱仪表的力概况(profile)的力值矩阵。
在某些方面，控制器被配置成将来自力传感器的测量数据与力值矩阵比较以基于相应的力概况识别一个或多个驾驶舱仪表中的驾驶舱仪表。
在某些方面，知识获取被配置成访问对应于一个或多个驾驶舱仪表的布局的图像数据矩阵。
在某些方面，控制器被配置成将来自光学传感器的测量数据与图像数据矩阵比较以基于根据布局的驾驶舱仪表的定位识别一个或多个驾驶舱仪表中的驾驶舱仪表。
在某些方面，机组自动化系统进一步包括感知系统，该感知系统与核心平台可操作地耦接以监控飞行器的一个或多个驾驶舱仪表从而生成飞行状况数据。
在某些方面，机组自动化系统进一步包括人机接口，该人机接口与核心平台可操作地耦接以在飞行员和机组自动化系统之间提供接口从而向飞行员显示数据并且从飞行员接收命令。
在某些方面，人机接口包括触摸屏显示器。
在某些方面，致动系统被配置有在远侧端部处的多用工具(multi-tool)，该多用工具被配置成与一个或多个驾驶舱仪表中的对应的仪表相互作用。
根据第二方面，实施用于在飞行器中使用的机组自动化系统的方法包括：接收改变飞行器航向的命令；激活机器人臂，该机器人臂被配置成操纵一个或多个驾驶舱仪表；用机器人臂接触旋钮，该旋钮被配置成改变飞行器航向；确定旋钮接触的测量的力概况与存储的力概况值匹配；以及转动旋钮以反映命令的航向。
在某些方面，该方法进一步包括在接触旋钮之前读取第一航向。
在某些方面，该方法进一步包括基于第一航向的读数和命令的航向计算实现命令的航向所需的改变量。
在某些方面，该方法进一步包括：在转动旋钮之后读取第二航向；以及将第二航向与命令的航向进行比较。
在某些方面，该方法进一步包括：确定第二航向不匹配命令的航向；以及基于第二航向的读数和命令的航向计算实现命令的航向所需的第二改变量。
本发明的实施例涉及用于在飞行器中使用的机组自动化系统，该机组自动化系统包括核心平台，该核心平台被配置成：经由一个或多个接口可操作地连接多个系统或子系统；以及至少部分基于飞行状况数据将命令传达到飞行控制系统；致动系统，其与核心平台可操作地耦接以执行命令并收集数据，该致动系统包括：光学传感器，其被配置成在视觉上识别对应于飞行控制系统的一个或多个驾驶舱仪表；力传感器，其被配置成当致动系统与一个或多个驾驶舱仪表发生接触时测量力；以及数据获取系统，其用于基于由光学传感器和压力传感器收集的数据来映射一个或多个驾驶舱仪表的定位、类型和位置。光学传感器可为红外摄像机和视觉摄像机中的一个。力传感器可包括可由控制器单独操纵的一个或多个数位。每个数位可包括相应的力传感器。致动系统可包括机器人臂，该机器人臂被配置成在驾驶舱环境内以六个自由度机动。光学传感器和力传感器可在机器人臂的远侧端部处并置，该远侧端部被配置成对一个或多个驾驶舱仪表成像和与一个或多个驾驶舱仪表接触。机组自动化系统还可包括知识获取系统，该知识获取系统与核心平台可操作地耦接以确定飞行器特有的信息。知识获取系统可被配置成访问对应于一个或多个驾驶舱仪表的力概况的力值矩阵。控制器可被配置成将来自力传感器的测量数据与力值矩阵比较以基于相应的力概况识别一个或多个驾驶舱仪表中的驾驶舱仪表。知识获取可被配置成访问对应于一个或多个驾驶舱仪表的布局的图像数据矩阵。控制器可被配置成将来自光学传感器的测量数据与图像数据矩阵比较以基于根据布局的驾驶舱仪表的定位识别一个或多个驾驶舱仪表中的驾驶舱仪表。机组自动化系统还可包括感知系统，该感知系统与核心平台可操作地耦接以监控飞行器的一个或多个驾驶舱仪表从而生成飞行状况数据。机组自动化系统还可包括人机接口，该人机接口与核心平台可操作地耦接以在飞行员和机组自动化系统之间提供接口从而向飞行员显示数据并且从飞行员接收命令。人机接口可包括触摸屏显示器。致动系统可被配置有在远侧端部处的多用工具，该多用工具被配置成与一个或多个驾驶舱仪表中的对应的仪表相互作用。
本发明的另一实施例涉及实施用于在飞行器中使用的机组自动化系统的方法，该方法包括接收改变飞行器航向的命令；激活机器人臂，该机器人臂被配置成操纵一个或多个驾驶舱仪表；用机器人臂接触旋钮，该旋钮被配置成改变飞行器航向；确定旋钮接触的测量的力概况与存储的力概况值匹配；以及转动旋钮以反映(reflect)命令的航向。该方法还可包括在接触旋钮之前读取第一航向。这将增强操作。该方法还可包括基于第一航向的读数和命令的航向计算实现命令的航向所需的改变量以改善精确度。该方法还可包括在转动旋钮之后读取第二航向；以及将第二航向与命令的航向进行比较。该方法还可包括确定第二航向不匹配命令的航向；以及基于第二航向的读数和命令的航向计算实现命令的航向所需的第二改变量。
附图说明
参考下面的说明书和附图可以更容易理解本公开的这些和其他优点，在附图中：
图1a示出了示例机组自动化系统的框图。
图1b示出了图1a的子系统之间的示例信息数据流。
图1c示出了示例核心平台的框图。
图2示出了示例核心平台架构的图示。
图3a示出了示出航线应用的第一示例人机接口。
图3b示出了示出程序核对表和飞行器健康警报屏的第二示例人机接口。
图4示出了示例感知系统的框图。
图5a和图5b示出了示例主要致动系统。
图5c示出了示例次级致动系统。
图6示出了采用机器人臂的示例机组自动化系统的图示。
图7a示出了由成像系统捕获的示例图像。
图7b示出了图7a的图像的示例重新格式化图像。
图7c示出了从图7b的重新格式化图像提取的数据的示例。
图7d示出了由成像系统捕获的另一示例图像。
图7e示出了图7d的图像的示例重新格式化图像。
图8a和图8b示出了实施采用机器人臂的机组自动化系统的示例方法。
具体实施方式
在下文中可参考附图描述本公开的优选实施例。在下面的描述中，不对已知的功能或构造进行详细描述，因为它们可在不必要的细节上混淆本公开。对于本公开，下面的术语和定义应该适用。
如本文所用，术语“电路”和“电路系统”是指物理电子部件(即，硬件)和可配置硬件、由硬件执行并且或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。例如，如本文所用，当执行第一组一行或多行代码时，特定的处理器和存储器可包括第一“电路”，并且当执行第二组一行或多行代码时，可包括第二“电路”。
如本文所用，“和/或”意指由“和/或”连接的列表中的项目中的任何一个或多个。作为示例，“x和/或y”意指三元素集合{(x)、(y)、(x，y)}中的任何元素。换句话说，“x和/或y”意指“x和y中的一个或二者”。作为另一示例，“x、y和/或z”意指七元素集合{(x)、(y)、(z)、(x，y)、(y，z)、(x，y，z)}中的任何元素。换句话说，“x、y和/或z”意指“x、y和z中的一个或多个”。如本文所用，术语“示例性”意指用作非限制性示例、实例或说明。如本文所用，术语“例如”和“诸如”引出一个或多个非限制性示例、实例或说明的列表。
如本文所用，当用于修改或描述值(或值的范围)时，词语“约”和“大约”意指合理地接近那个值或值的范围。因此，本文所述实施例不仅仅限于所列举的值或值的范围，而应该包括合理可行的偏差。如本文所用，每当电路或设备包括执行功能的必要硬件和代码时(如果必要的话)，无论功能的执行被禁用还是未被启用(例如，通过可由用户配置的设置、出厂调整等)，均“可操作”电路或设备以执行功能。
如本文所用，术语“飞行器”和“飞行器”是指能够飞行的机器，包括但不限于传统的跑道和垂直起降(“VTOL”)飞行器。VTOL飞行器可以包括固定翼飞行器(例如，鹞式喷气机(Harrier Jet))、旋翼飞行器(例如，直升飞机)和/或旋翼/偏转翼飞行器。
如本文所用，术语“传达”和“通信”是指(1)将来自数据源的数据传输或以其他方式传送到目的地，和/或(2)将数据递送到通信媒介、系统、信道、网络、设备、导线、电缆、光纤、电路和/或链接以传送到目的地。本文所用的术语“数据库”意指相关数据的组织体，而不管数据或组织体的表示方式如何。例如，相关数据的组织体可采取表、图、网格、数据包、数据报、框架、文件、电子邮件、消息、文档、报告、列表或以任何其他形式呈现的数据中的一个或多个的形式。
本文公开了系统，除其他之外，该系统被配置成作为飞行员辅助(或自动驾驶仪)或飞行工程师起作用。此种机组自动化系统可被配置成从起飞到着陆操作飞行器，在飞行的正确阶段自动执行必要的飞行和飞行计划活动、核对表和程序，同时检测意外事件并对它们作出响应。同时，可以通过与机组自动化系统可操作地耦接的直观的人机接口不断地告知飞行员(例如，人类飞行员或操作员)。即，机组自动化系统可向飞行员提供实时信息和/或反馈。例如，机组自动化系统可指示飞行器相对于正在完成的程序的状态。如果需要的话，机组自动化系统可被配置成通过机器人致动器收回飞行器的控制。
通过这样做，飞行员能够执行最适合人类的任务，诸如高水平决策制定和飞行计划规划。然而，最适合自动化的任务可由机组自动化系统处理，包括例如，操纵控制、执行核对表和监控飞行器发动机和性能数据。附加地，机组自动化系统可具有访问外部信息的能力，该外部信息当前对飞行员不可用或仅伴随经验发生，诸如特定飞行器的常见系统故障或空中交通管制通常如何给特定机场处的交通定路线。机组自动化系统可被配置成作为辅助或作为主要飞行员来操作，从而在如此配置的情况下完全消除对人类操作员的需要。替代地，机组自动化系统可用于为飞行员提供连续的飞行器状态监控和信息增强，而不实际控制飞行器。例如，机组自动化系统可充当飞行员的“第二组眼睛”，监控核对表、仪器仪表、发动机状态、空域、飞行状态等。
不同于现有的机器人自动驾驶仪和飞行员辅助系统(它们是侵入性的，需要相当多的安装专业技术，并且是飞行器专用的)，根据本公开的方面的机组自动化系统采用实现快速非侵入性安装的系统架构和知识获取系统，这便于广泛使用并且使得机组自动化系统能够快速适用于在各种飞行器中使用。此外，如同现有机械自动驾驶仪的情况一样，机组自动化系统的数据收集和感知系统不限于GPS、加速、取向和航向。实际上，机组自动化系统通过采用两个独立式传感器、仪表图像数据捕获(例如，温度、高度、雷达、襟翼角等等)和测量、检测或以其他方式接受飞行员输入来超过现有数据收集和感知系统的能力，达到更好的捕获飞行器性能。此外，机组自动化系统的核心平台和主要飞行控制致动系统和次级飞行控制致动系统的设计实现各种飞行器之间的可移植性。因此，不同于现有的机械自动导航仪或飞行员辅助系统，机组自动化系统可暂时安装到飞行器，并且可以容易地从飞行器移除，而无需对飞行器进行侵入性修改。通过其模块化设计，机组自动化系统进一步减小设计单点解决方案的可能性，该单点解决方案随着飞行器的发展变得过时。
机组自动化系统的子系统组合为飞行员提供飞行器物理状态的高保真度知识，并且基于例如预测性模型通知飞行员预期状态的任何偏差。该状态意识可直接转换成对于飞行员有用的信息，诸如改进紧急情况的警报、燃料状态计算、结冰情况的通知等等。例如，机组自动化系统还可充当数字飞行工程师，从而通过监控核对表、仪器仪表、发动机状态、空域、飞行状态等来给飞行员建议。
该同乘机组自动化系统(其可非侵入地安装在原有的飞行器中)在视觉上并且经由其他传感器感知飞行器的状态，导出飞行器状态矢量和其他飞行器信息，并且将与预期飞行器状态的任何偏差传达到飞行员或控制塔。虽然机组自动化系统可非侵入性地安装(例如，经由感知系统)，但是其可替代地为侵入性的。例如，机组自动化系统可经由例如飞行器状态监控系统与驾驶舱仪表板电子地耦接(例如，经由仪表板的背面)。替代地，机组自动化系统可为整体的，并且可在飞行器的制造期间永久安装。结合致动系统，机组自动化系统可进一步控制飞行器并且自主地为飞行器导航。
系统级架构。为分担与飞行活动的执行相关的职责和工作负荷，机组自动化系统100应当能够执行飞行员将在飞行的持续时间内常规执行的动作，而不管飞行器构造、型号或类型如何。图1a至图1c中示出根据一方面的机组自动化系统100的示例系统架构。如图1a所示，核心平台102可作为经由一个或多个接口连接其他子系统的中央子系统操作。子系统可通过软件和/或使用有线和/或无线通信协议和硬件的硬件接口156与彼此通信。图1b示出了各种子系统之间的示例信息(例如，数据)流。
机组自动化系统100可包括核心平台102，其可与多个子系统(诸如下面列出的那些)可操作地耦接。机组自动化系统100的多个子系统中的每个可为模块化的，使得整个机组自动化系统100可以快速地大体移植到另一飞行器。例如，各种子系统可使用一个或多个软件和/或硬件接口156经由核心平台102可移除和可通信地耦接到彼此。然而，在某些方面，机组自动化系统100可替代地与飞行器的系统整体形成，从而直接采用飞机中的所有传感器和指示器。例如，机组自动化系统100或其部件可在其设计和制造期间集成到飞行器中。
例如，多个子系统可包括感知系统106、致动系统108、人机接口“HMI”系统104和飞行控制系统116，这些系统中的每个可与核心平台102可操作地耦接。在某些方面，经由使用另一飞行器状态监控系统可减轻或消除对感知系统106的需要。例如，机组自动化系统100可与仪表板耦接(例如，通信地或电子地)，或以其他方式与飞行器或其系统集成。然而，如可以预期的，此种集成将可能需要对飞行器或其布线进行一定程度的修改。机组自动化系统100和/或核心平台102还可包括知识获取系统114和通信系统122，或可操作地耦接到知识获取系统114和通信系统122。该模块化配置进一步使得操作员能够移除/禁用不必要的系统或模块或添加/安装额外的系统或模块。例如，当机组自动化系统100被配置成仅经由HMI系统104向飞行员提供信息时(即，没有控制飞行器的能力)，可移除或禁用致动系统108以减小重量、成本和/或功率消耗。因此，取决于配置，在不偏离本公开的实质和范围的情况下，机组自动化系统100可配置有更少或额外的模块、部件或系统。
在操作中，飞行控制系统116基于来自另一子系统(例如，感知系统106)的信息数据导出飞行器状态并指导另一子系统(例如，致动系统108)以保持飞行器稳定性的方式操作(例如，动态地)。例如，飞行控制系统116可从核心平台102接收运载工具模式命令和配置数据，同时向核心平台102发送由飞行控制系统116生成的状态和命令信息。例如，核心平台可被配置成至少部分基于飞行状况数据向飞行器的飞行控制系统116传达一个或多个命令，该飞行状况数据可从飞行器状态监控系统112、感知系统106或它们的组合获得。
飞行控制系统116可包括现有的飞行控制设备或系统(诸如在固定翼飞行器和旋转翼飞行器中使用的那些)，或与现有的飞行控制设备或系统通信。通信系统122使得机组自动化系统100能够经由例如网络与其他设备(包括遥控或远程设备)通信。通信系统122可从核心平台102接收通信命令和配置数据，同时向核心平台102发送来自通信系统122的状态和响应信息。
核心平台102。图2示出了示例核心平台102的架构图示。为启用运载工具未知的机组自动化系统100，核心平台102可通过最初的转换和设置阶段提供或以其他方式充当特定飞行器或配置所特有的中间件。换句话说，任务控制系统110可提供操作系统206，该操作系统206向一组可操作应用202提供服务并且向一组硬件接口204或HMI系统104中的一个或多个提供输出信号，同时收集和录入启用那些应用所必需的数据。
核心平台102可充当主要自主代理和决策者，其用其所获取的知识库综合来自感知系统106和HMI系统104的输入以确定整体系统状态。核心平台102可以处理来自各种传感器套件的输入，并且将所得信息集合成对当前飞行器状态的理解。可将所得信息与飞行器具体文件进行比较，该飞行器具体文件包含机组自动化系统100对飞行员动机、系统健康的理解和对适当飞行器程序的理解，因为它们涉及机组自动化系统100的状态估计。可以经由HMI系统104将所得的状态知识和相关联的建议传递到人类飞行员，或在某些方面传递到飞行控制系统116和/或致动系统108以实现自主操作。机组自动化系统100可进一步生成给定飞行的日志以用于稍后的分析，其可用于促进可以提供详细训练和操作飞行汇报的飞行员训练。该日志可与例如飞行操作质量保证分析、维护分析等结合使用。
如图所示，核心平台102可包括任务控制系统110和飞行控制器118，它们中的每个被配置成经由一个或多个软件和/或硬件接口156与彼此和其他子系统通信，该软件和/或硬件接口156可为硬件(例如，永久或可移除连接器)和软件的组合。核心平台102可以容纳各种追踪飞行器和程序状态的软件过程，以及用于趋势分析(预测警告)和机器学习例程的任何模块。在某些方面，机组自动化系统100和/或核心平台102可采用便于发现机组自动化系统100内的子系统的硬件部件而不需要在解决资源冲突时进行物理设备配置或用户干预的计算机总线和规范(例如，作为接口)。此种配置可被称为“即插即用”。因此，用户可经由核心平台102对机组自动化系统100容易地添加或移除系统或子系统(例如，作为模块)而不需要进行实质性的修改和集成工作。
核心平台102输出可用于向HMI系统104提供消息。例如，消息可指示核对表进度、要发生的意外事件、要发出的警告等。核心平台102还可包含飞行数据记录器，例如以提供性能检查能力和提供对飞行中的重置的稳健性。硬件和各种计算机还可被加固并与其他设备(诸如感知计算机)共享外壳。如下面讨论的，核心平台102可与全球定位系统(“GPS”)/惯性导航系统(“INS”)系统154和动力管理系统(例如，28VDC电源)可操作地耦接。核心平台102还可包含飞行数据记录器，例如以提供性能检查能力和提供对飞行中的重置的稳健性。
任务控制系统110通常包括任务管理器132、标准接口130(例如，标准化协定(STANAG)接口)、状态意识管理器158和其他操作部件120(例如，硬件和软件控制器和/或接口)，它们中的每个经由一个或多个数据总线124可通信地耦接到彼此。核心平台102的开放架构使得经由数据总线124从系统接收的额外的数据能够合并。在某些方面，任务控制系统110可经由运载工具系统与飞行器的一个或多个驾驶舱仪表耦接以收集飞行状况数据。在其他方面，任务控制系统110可经由飞行器状态监控系统112通过飞行器状态接口收集飞行状况数据，该飞行器状态监控系统112可经由直接连接到飞行器和/或感知系统106来收集或生成飞行状况数据。
如图所示，任务控制系统110可与次级致动系统108b(例如，当期望自主操作时)、感知系统106和HMI系统104(包括人机接口126(例如，传送来自飞行员的输入以及将信息显示给飞行员的软件和/或硬件)和地面站128)可操作地耦接。任务控制系统110可经由任务管理器132与飞行控制器118通信。
例如，飞行控制器118可包括自动驾驶管理器134和运载工具管理器136。运载工具管理器136通常可负责导航和确定飞行器的定位和状态。运载工具管理器136可与状态估计模块142耦接，该状态估计模块142使用经由感知模块138从感知系统106接收的信息和经由导航模块140从GPS/INS系统154接收的信息确定飞行器的估计状态。
自动驾驶管理器134通常可基于例如从运载工具管理器136和任务控制系统110接收的信息负责控制飞行器的飞行。除此之外，自动驾驶管理器134控制飞行控制系统152以及机组自动化致动模块144和飞行器致动模块146，该飞行控制系统152可为新的或早已存在的(并且包括飞行控制器150)。机组自动化致动模块144可控制主要致动系统108a，而飞行器致动模块146可控制飞行器控制件148(例如，各种飞行表面和致动器)。
在某些方面，飞行控制器118的部件可与飞行控制系统116的某些部件重叠。例如，在某些方面(例如，在不期望冗余并且非侵入性集成是有可能的的情况下)，核心平台102可利用现有飞行器软件和/或硬件中的某些，从而消除对额外硬件(诸如某些飞行控制器118部件和/或GPS/INS系统154)的需要。
开放架构。核心平台102充当机组自动化系统100的中央子系统或接口，在开放架构中连接和控制其余子系统(例如，作为单独应用)。其余子系统包括例如飞行控制系统116(包括任何飞行计划能力)、HMI系统104、致动系统108(例如，在期望的情况下提供自主操作的主要致动系统和次级致动系统)、感知系统106、知识获取系统114和其他子系统236。因此，可经由硬件的特定件特有的单独应用提供其他机组自动化系统100硬件的控制，这实现新系统或其他外部飞行计划支持技术的快速集成。
当向新飞行器转变或合并新飞行计划特征/能力时，核心平台102的架构实现快速的可移植性和可扩展性。因此，应用可用于使得机组自动化系统100能够获取飞行器特有的或以其他方式需要的信息或提供新能力。例如，可以通过在核心平台102或其他子系统内操作的单独应用操纵转变和设置，该单独应用表示飞行器专用功能以及机组自动化系统100的能力的逐渐增长的资源库，其可以取决于飞行计划、飞行器或机组要求进行更换。在某些方面，转变过程可由机组自动化系统100外部的软件应用(诸如程序编辑器)支持。
飞行器数据结构208。操作系统206作为中间件操作，使操作应用202、硬件接口204和其他子系统(诸如知识获取系统114)互连。操作系统206可采用飞行器数据结构208，其可包括知识数据库210、程序数据库212和状态数据库214。
飞行器数据结构208通过使得核心平台102能够产生对飞行器系统、它们的配置和维持安全操作所必需的程序以及预期该飞行器的认证的飞行员将具有的所有其他知识和专业技术的完全的了解来便于运载工具未知机组自动化系统100。飞行器数据结构208可由知识获取系统114(下面所讨论的)填充，其包含关于当前操作的飞行器的必要信息(例如，飞行控制模型、操作程序、飞行器系统等)、从内部状态传感器和其他子系统或传感器接收的数据。
在知识获取阶段期间(例如，在初始设置期间)，飞行器数据结构208可以针对特定飞行器被填充和调节，使得其包含操作飞行器所必需的所有信息。例如，当向新飞行器转变时，知识获取系统114可执行预定活动以便确定飞行器的布局(例如，控制器/读取输出(诸如驾驶舱仪表)的布局)、性能参数和其他特性。例如，预定活动可包括：(1)生成飞行器系统模型，其告知机组自动化系统100哪些系统为机载的以及如何配置它们、致动限制等；(2)程序编码，其告知机组自动化系统100在正常情况和非正常情况下如何操作飞行器，进一步包括核对表的编码；(3)航空动力学模型，其告知机组自动化系统100如何使飞行器飞行以及针对哪些飞行器配置预期什么性能；以及(4)关于任务操作的信息。
核心平台102可以将该信息与来自一组内部状态传感器的数据组合，这还改善冗余和系统稳健性，从而允许机组自动化系统100生成飞行器状态和系统状况的高度精确的估计，并且允许识别与预期行为的偏差。在飞行操作期间，用由尤其机组自动化系统100、感知系统106、HMI系统104以及机组自动化系统100内部状态感测采集的实时数据将数据结构动态升级。一旦填充给定飞行器的飞行器数据结构208，然后，飞行器数据结构208就可以保留在飞行器资源库中，并且用于机组自动化系统100可用的相同的构造和型号的所有其他飞行器。当额外的数据由机组自动化系统100生成和/或收集时，可以进一步改良飞行器数据结构208。
操作应用202。核心平台102可为机组自动化系统100提供多个操作应用202。此类操作应用202的示例可包括但不限于正常飞行操作应用216、异常检测应用218、意外事件操作应用220、情报、监视和侦查(“ISR”)应用222(例如，ISR轨道)、趋势识别应用238或其他飞行计划专用活动应用224，诸如空中加燃料应用316。
如果没有意外事件，正常飞行操作应用216使得机组自动化系统100从起飞到着陆能够以预定飞行计划飞行。正常飞行操作应用216是连续执行正常飞行活动特有的，如特定飞行阶段所需要的。在飞行中由于预料之外的干扰诸如天气、空中交通控制命令、空中交通等而可以对预定飞行计划进行修改。
异常检测应用218采用机器学习技术监控飞行器状态、群集，并且将传感器输入分类以便检测非正常状况的存在并识别是否发生意外事件。异常检测应用218被配置成将感测到的状态与定义在特定飞行器的操作文件中的一组阈值进行比较(例如，绝不超过预定空速、发动机温度等等)。异常检测应用218还可将感测到的状态与机组自动化系统100可用的额外信息相比较，并且响应于满足预定或动态确定的阈值(例如，警告阈值等)生成警报或其他消息。
在紧急条件的情况下，意外事件操作应用220执行必要的预定核对表、程序和由意外事件应用220规定的动作以便维持飞行器的安全操作或使飞行安全地转向。注意，如果观察到偏离预期性能，则可以向飞行员发出非正常情况的警报，从而减轻或避免潜在的错误。如果飞行器容易受到特定的操作错误(例如，飞行员诱发的振动)，则机组自动化系统100可以识别并减轻此类事件。如果检测到异常，则意外事件操作应用220经由HMI系统104告知飞行员并与飞行员交互，并且最终执行(一个或多个)必要程序以响应异常。最终，ISR应用222和其他飞行计划专用活动应用224可提供实施与任务相关的操作的指令、算法或信息。
趋势识别应用238基于例如知识获取系统114提供使用机器学习产生的趋势分析。在某些方面，趋势识别应用238可为异常检测应用218供应数据，或以其他方式触发异常检测应用218。例如，如果趋势识别应用238检测到不期望的趋势，则可以将该趋势标记为异常，并且报告给异常检测应用218。
硬件接口204。各种与操作应用202有关的信息经由例如主要致动接口226、次级致动接口228、飞行器状态接口230、HMI接口232和其他接口234在主要致动系统108a、次级致动系统108b、感知系统106、飞行器状态监控系统112、HMI系统104和其他子系统236之间通信。
人机接口(HMI)系统104。HMI系统104为飞行员(例如，人类飞行员，不管机载的还是远程的)提供控制和通信接口。可将HMI系统104配置成作为使得飞行员能够指导机组自动化系统100的飞行计划管理器来操作。HMI系统104可以组合玻璃驾驶舱、无人驾驶飞行器(“UAV”)地面站和电子飞行包(EFB)的元件以实现飞行员和机组自动化系统100之间有效、高效和容许延迟的通信。一般来说，EFB为电子信息管理设备，该电子信息管理设备允许飞行机组执行各种传统上通过使用参考文献完成的功能。HMI系统104可包括人机接口126，其可基于触摸屏图形用户接口(“GUI”)和/或语音识别系统。人机接口126可采用例如平板计算机、膝上型计算机、智能电话或它们的组合。人机接口126可以取决于飞行员偏好而被固定在飞行员附近(例如，如核对表通常所处的地方一样在操纵杆上，或在膝保定带上)。人机接口126可被可移除地耦接到驾驶舱，或在某些方面采用驾驶舱内的集成显示器(例如，现有显示器)。
图3a示出了具有单屏触摸接口和语音识别系统的示例人机接口126。HMI系统104充当飞行员和机组自动化系统100之间通信的主要信道，使得飞行员能够对机组自动化系统100命令任务并从机组自动化系统100接收反馈或指令，以改变飞行员和机组自动化系统100之间的任务分配，并且为机组自动化系统100选择当前所启用的操作应用202。
例如，如图1b所示，HMI系统104可以经由核心平台102从子系统接收状况信息，同时向核心平台102发送由HMI系统104生成或由飞行员输入的模式命令。飞行员可为远程的(例如，在地面上或者在另一飞行器中)或机载的(即，在该飞行器中)。因此，在某些方面，可经由通信系统122在网络上远程促进HMI系统104。
人机接口126。如图3a和图3b所示，人机接口126可采用基于平板计算机的GUI和实现语音通信的语音识别接口。人机接口126的目的是使得飞行员能够以类似于飞行员与人类飞行工程师或副驾驶员交互的方式与核心平台102的知识库交互。
人机接口126可以显示机组自动化系统100的当前状态(其当前设置和职责)以及当前安装了哪些操作应用202、正在运行哪尤其操作应用以及它们是否是有效的、操作应用202正在采取哪些动作。人机接口126的GUI显示还可兼容夜视镜，使得不管飞行员的护目镜如何其都是可见的。语音识别系统可用于复制人类飞行机组人员在浏览核对表并且在飞行甲板上通信时使用的相同类型的语音通信。在某些方面，语音识别可受限于飞行员团队所使用的相同标准的编码通信，以将系统无法辨别命令或变成不适当的操作模式的可能性最小化。语音识别系统可被配置成通过声音训练协议学习/辨别给定飞行员的语音。例如，飞行员可说出预定的脚本，使得语音识别系统可以用飞行员的方言进行训练。
人机接口126可提供各种操作的状况和/或细节，包括经由机组自动化状况应用302的整个机组自动化系统100、经由感知状况应用304的感知系统106、经由自动驾驶状况应用306(在可适用的情况下)的自动驾驶、经由GPS状况应用308的GPS/INS系统154和任何其他应用或系统状况信息310。人机接口126的显示可由飞行员定制。例如，飞行员可以希望添加、重新组织或移除显示图标和/或操作应用202中的某些，这可通过选择和拖曳机动动作或通过机组自动化设置应用312完成。人机接口126可进一步告知飞行员有关飞行器操作状况，并且向飞行员提供指令或建议。
如图所示，人机接口126可为工具条提供各种可选择的标签，诸如路线标签328、程序标签330、校准标签332和应用标签334。例如，当飞行员选择应用标签334时，人机接口126可显示安装在机组自动化系统100上的各种操作应用202(例如，核心平台102)，包括例如正常飞行操作应用216、意外事件操作应用220、机组自动化设置应用312、计量器应用314和空中加燃料应用316。
选择机组自动化设置应用312使得飞行员能够改变、重新分配或以其他方式编辑机组自动化系统100的设置和/或安装操作应用202。选择计量器应用314可使人机接口126显示飞行器的各种操作条件，包括例如位置、方向、速度、高度、俯仰、偏航等。可从感知系统106或另一传感器采集的飞行器的各种操作条件可作为字母数字字符或图形表盘显示(例如，根据飞行员的偏好设置)。最终，选择空中加燃料应用316图标可使机组自动化系统100执行用于便于或配合空中加燃料操作的预定协议。例如，当选择空中加燃料应用316时，机组自动化系统可与另一飞行器配合以便于加燃料和执行用于加燃料的必要核对表(例如，确保飞行器位置、空气速度、燃料舱口打开等)。可包括通过机组自动化系统实现任务操作的执行的额外的任务应用。
当飞行员选择路线标签328时，人机接口126可显示具有表示沿飞行路径的飞行器相对于其各种航点320的当前位置的图标322的区域地图326。选择(例如，敲击、点击等等)图标322可使提供飞行器的各种操作条件的对话窗口324得以显示。区域地图326可使用地图控制窗口318进行保存、导出、循环或平移。区域地图326可作为静态图片或数据组(或数据库)保存或导出(例如，经由通信系统122)。当飞行员选择校准标签332时，人机接口126可显示飞行器的校准，借此可进一步使得飞行员能够修正飞行器的校准。
HMI系统104可提供直观的显示器和接口，其包括来自核心平台102的核对表验证和健康警报与对飞行器状态(例如，燃料消耗和预测的剩余范围)的预测，以及故障预断和偏差警报(例如，“左发动机EGT高于正常温度5度并且正在升高”)。因此，当飞行员选择程序标签330时，如图3b所示，飞行员可检查和监控核对表项目，以及检查任何健康警报。实际上，HMI系统104的功能是便于核对表监控和/或执行，如基于先前从例如飞行员操作手册(POH)导入的信息，当感知系统106感知到它们完成时将项目标记为完成并且当项目未被完成时向飞行员提供警报。机组自动化系统100还监控系统健康，将当前系统状态与基于POH和其他知识源预期的系统状态进行比较，并且引导对意外事件的适当响应。在某些方面，当执行核对表动作时，飞行员或核心平台102可以确认核对表动作，并且HMI系统104在适当时自动前进到正确的核对表。HMI系统104可给出视觉型警报和听觉型警报以将飞行员的注意力指引到未注意的核对表项目、显示超出正常范围值的仪表或当飞行器通过飞行计划前进时的预测事件，其可以作为一系列航点(例如)输入。例如，如图所示，任务列表可以设置在指示器旁边，该指示器指示任务是否已经完成、正在完成或需要完成(例如，包括完成的“检查标记”图标、“进行中”图标和“待完成”图标)。类似地，健康危害列表可与一个图标或对应的图标一起提供以指示超出范围的一个或多个操作条件。例如，如果燃料量低，则低燃料指示器可设置在低燃料图标旁边。
任务分配。HMI系统104可以使得飞行员能够限制由机组自动化系统100执行的活动，如果有的话。HMI系统104可定义飞行员和机组自动化系统100之间的任务分配，它们的职责以及两者之间的信息通信，从而作为飞行员的协作队友起作用。因此，取决于配置，机组自动化系统100可以以纯粹咨询的角色(即，不对飞行器进行任何控制)、完全自主的角色(即，在没有飞行员干预的情况下控制飞行控制件)或具有控制飞行控制器的能力的咨询角色操作。HMI系统104可被进一步设计成使飞行员能够通过转变阶段，其中飞行员指定机组自动化系统100负责的飞行操作的方面。例如，HMI系统104可显示任务列表，其中飞行员可选择机组自动化系统100或飞行员是否对列表上的给定任务负责。任务列表可从程序编辑器提供给HMI系统104，该程序编辑器在下面进行描述。一旦飞行器数据结构208已经被填充和改良，使得飞行员更好地信任机组自动化系统100，飞行员就可允许机组自动化系统100执行额外的动作，将飞行员从主要模式转换到监督模式(即，完全自主角色)。在该监督模式中，飞行员交互可处于高的、基于目标的水平，其中HMI系统104支持那些任务以及允许操作员洞察力处于其他水平用于检修。如上所述，在某些方面，所有任务可由飞行员执行，使机组自动化系统100担任咨询角色。
模式意识。采用任何自动化系统时的风险为飞行员部分发生模式混乱的可能性(即，其中飞行员忽略任务而相信自动化系统将处理任务)。HMI系统104通过首先生成正确的功能和在机组自动化系统100和飞行员之间的上述任务分配来避免此模式混乱。实际上，HMI系统104允许飞行员经由人机接口126直接命令和配置机组自动化系统100，并且显示对于飞行员了解机组自动化系统100正在采取何种动作所必需的信息以确保模式意识。换句话说，模式意识通常是指系统的模式匹配操作员所预期的操作模式的状态。人机接口126可显示确保飞行员一直意识到机组自动化系统100正在操作的模式所必需的信息。另外，HMI系统104充当用于单独任务应用(例如，操作应用202)的人类接口。
飞行器状态监控系统112。飞行器状态监控系统112收集、确定或以其他方式感知实时的飞行器状态。如上所述，飞行器状态监控系统112可尤其通过直接连接到飞行器(例如，与飞行器整体形成或以其他方式硬连线到飞行器)或经由感知系统106感知实时飞行器状态。当使用感知系统106时，飞行器状态监控系统112可包括专用控制器(例如，处理器)或共享感知系统106的控制器402。例如，感知系统106可采用视觉系统、声学系统和识别算法的组合来读取或理解由驾驶舱仪表显示的飞行状况信息。示例驾驶舱仪表包括例如测高仪、空速指示器、垂直速度指示器、一个或多个罗盘系统(例如，磁罗盘)、一个或多个陀螺仪系统(例如，姿态指示器、航向指示器、转向指示器)、一个或多个飞行指引系统、一个或多个导航系统(例如，甚高频全向信标(VOR)、无方向无线电信标(NDB))等。感知系统106可包括处理器和瞄准仪表板的一个或多个光学传感器(例如，三个或更多个轻量级机器视觉摄像机)以将像素密度、眩光稳健性和冗余最大化。一个或多个光学传感器可经由例如以太网有线地连接到感知计算机。该一个或多个光学传感器应该安装在仪表板的视线内，以便不对飞行员造成阻碍。
由感知系统106感知的飞行状况数据可以实时编码并且提供到核心平台102。核心平台102的开放架构实现将经由数据总线124接收的额外数据合并以增强通过感知系统106生成的飞行状况数据。如图1b所示，例如，飞行器状态监控系统112和/或感知系统106可从核心平台102接收命令和配置数据，同时向核心平台102发送由感知系统106采集或由飞行器状态监控系统112以其他方式收集的飞行状况信息(例如，飞行状况数据)。
图4示出了示例感知系统106，其尤其与核心平台102(其耦接到其他子系统，诸如飞行控制系统116)、GPS/INS系统154和任何其他输入系统412可操作地耦接。感知系统106尤其是在视觉上和/或听觉上监控驾驶舱仪表以生成可以用于从驾驶舱布局导出飞行器状态的飞行状况数据，其可在从基本模拟飞行器仪表到高度集成的玻璃驾驶舱航空电子套件的范围内。除了导出物理状态诸如空速和高度之外，感知系统106还可监控飞行器系统所特有的仪表诸如油量计和无线电设备，并且提供关于致动系统108的状态和定位的次级反馈。
如图所示，感知系统106可包括感知控制器402，其与数据库404和多个传感器，诸如摄像机410(用于视觉系统)、麦克风408(用于声学系统)和/或其他传感器406(例如，温度传感器、位置传感器、惯性传感器等)可操作地耦接。例如，感知控制器402可为处理器，其被配置成基于从多个传感器、数据库404和外部部件(诸如GPS/INS系统154和其他输入系统412)接收到的信息和操纵信息，将飞行状况数据馈送到(或以其他方式通知)核心平台102。
视觉系统。感知系统106可采用单眼系统或立体视觉系统(可能包括运动捕捉标记)以通过读取驾驶舱仪表上所显示的内容来连续监控飞行器的状态。在某些方面，通过比较两个有利位置的场景信息，可以通过检验物体在两个面板中的相对位置来提取3D信息。视觉系统可用于精确地监控仪表(例如，玻璃计量器、物理蒸汽计等等)和开关以及它们在各种光照条件和驾驶舱布局和尺寸中的位置。使用立体视觉系统和/或标记还提供感测以防止任何机器人部件和飞行员之间的碰撞。
视觉系统可采用一套高分清晰度立体摄像机和/或LIDAR激光扫描仪。该系统可能够识别来自所有飞行仪表的数据，并且导出显示飞行器专用系统状态(例如，剩余燃料)的开关旋钮和计量器的状态。其还可能够以足够的分辨率识别面板的状态以检测由飞行员动作引起的微小改变。感知系统106计算机上的机器视觉算法“读取”仪表(主飞行显示器的仪表、灯、风校正角度面板、单个元件，或玻璃驾驶舱中的多功能显示器)和诸如节流器控制杆、配平设置、开关和断路器的机械物品，以向核心平台102提供实时驾驶舱状态更新。
感知系统106可能够从在从基础模拟飞行器仪表到高度集成的“玻璃驾驶舱”的航空电子套件范围内的驾驶舱布局导出飞行器状态。通过视觉系统，消除了对来自飞行器的数据馈送的需要，这准许/增加飞行器之间的可移植性。然而，在可能时，机组自动化系统100还可耦接到飞行器的数据馈送(例如，通过数据端口)。此外，使用针对核心平台102描述的应用方法，不同的驾驶舱布局可以使用不同的下层操作应用202解决和了解。例如，机组自动化系统100可采用计量器应用314导出仪表上显示的值，不管是图形表盘(例如，模拟“蒸汽”计量器或其数字表示)还是玻璃驾驶舱。该方法还将使得机组自动化系统100能够运行尤其监控驾驶舱中显示的天气雷达、交通显示和地形图的操作应用。
为使机组自动化系统100可移植，快速获悉新驾驶舱布局和编码仪表的位置和比例或单位的细微差别的过程通过感知系统106设计解决。例如，在初始知识获取阶段，可以为特定飞行器编码和验证仪表和开关的位置和比例，从而将实时任务减少到提取图形表盘(圆形表盘)或数字(玻璃驾驶舱)的位置，无论是图形刻度盘、CRT显示器、LCD等。驾驶舱仪表的分段的平面结构使得感知系统106能够分析图像(例如，使用单应性方法)并且将其登记到初始知识获取阶段期间生成的预映射数据。因此，可以登记实时图像并将其与先前注释的模型进行比较，从而大大简化对数据的解释。
致动系统108。当需要时，致动系统108执行经由核心平台102命令的动作以指导飞行器的飞行和整体操作。机组自动化系统100的致动系统108执行由核心平台102命令的动作以指导飞行器的飞行和整体操作而不干涉由飞行员执行的活动。如图1b所示，例如，致动系统108可从核心平台102接收致动命令和配置数据，同时向核心平台102发送由致动系统108生成的状态和响应信息。
载人飞行器驾驶舱被设计为用于人类可达范围，并且因此，所有驾驶舱控制可被同等尺寸的机器人/机械操纵器达到。然而，能够在高重力和振动环境下以紧急情况操作所需的快速执行致动每个单个可行的驾驶舱上的每个单个开关、旋钮、控制杆和按钮的操纵器将是昂贵、笨重的，并且比机组自动化系统100所期望的更具侵入性。
为更有效地实现飞行器之间的可移植性，机组自动化系统100可将主要飞行控制件(驾驶杆(stick)/操纵杆(yoke)、驾驶杆、侧驾驶杆(side-stick)或总距杆(collective)、方向舵踏板、制动器和节流器)的致动与次级飞行控制件(例如，开关、旋钮、摇杆、保险丝等)的致动隔开。该方法减小设计随着飞行器的发展变得过时的单点解决方案的可能性。因此，机组自动化系统100可采用主要致动系统108a和次级致动系统108b来物理地控制驾驶舱中的致动器。更具体地说，主要致动系统108a可致动主要飞行控制件，而次级致动系统108b可致动次级飞行控制件，而不模糊飞行员对那些控制件的使用。主要致动系统108a和次级致动系统108b被配置成在飞行操作期间共同致动现今飞行甲板上存在的所有标准控制件。
如下面讨论的，主要致动系统108a着重于致动主要飞行控制件(驾驶杆/操纵杆、驾驶杆、侧驾驶杆或总距杆、方向舵踏板、制动器和节流器)，而次级致动系统108b着重于致动主要致动系统108a不容易接近的控制件，诸如次级飞行控制件(例如，开关、旋钮、摇杆、保险丝等)。
主要致动系统108a。主要致动系统108a着重于安全操作飞行器所必需的一组控制件。如图5a和图5b所示，主要致动系统108a包括具有铰接臂502(例如，机器人附加物或“臂”)的框架516和致动主要飞行控制件(驾驶杆/操纵杆、驾驶杆、侧驾驶杆或总距杆、方向舵踏板、制动器和节流器)的驾驶杆/操纵杆致动器510以及容易达到控制件的其他部件。致动器可为线型(直线)致动器、旋转型(圆形)致动器或振荡型致动器中的一个或多个，其可通过电子技术、气动技术和/或液压技术中的一个或多个驱动。
框架516的尺寸和形状可被设置成配合在标准飞行器的座椅内。为了那个目的，框架516的占地面积应该为与人均“座置”占地面积大约相同的尺寸，或比人均“座置”占地面积小。致动系统108可使用轻量级金属、金属合金和/或复合材料制造。
驾驶杆/操纵杆致动器510。驾驶杆/操纵杆致动器510可使用驾驶杆/操纵杆夹持件512耦接到飞行器的现有驾驶杆/操纵杆514和接合飞行器的现有驾驶杆/操纵杆514。驾驶杆/操纵杆夹持件512的尺寸和形状可被设置成使得其为通用的并且可以接合各种形式的驾驶杆/操纵杆和/或控制轮。驾驶杆/操纵杆致动器510可被配置成使驾驶杆/操纵杆514向前、向后、向左、向右和在它们之间的位置移动。驾驶杆/操纵杆夹持件512可进一步包括用于致动定位在驾驶杆/操纵杆514上的按钮和/或开关的一个或多个致动器。
铰接臂502。致动器控制的铰接臂502的尺寸和形状可被设置成且被配置成占据通常由副驾驶员的手臂占据的空间，从而确保飞行器之间的可移植性。为实现以多个自由度(“DOF”)移动的移动，铰接臂502可以包括使用多个铰接的或枢转的接合部506结合的多个臂节段(无论线型的、弯曲的或成角度的)。铰接臂502可包括处于其远侧端部处的夹持件504。夹持件504可经由多个DOF连接件耦接到铰接臂502。铰接臂502的基部可为可旋转的，并且经由可移动基部508可滑动地耦接到框架516。例如，铰接臂502可与上部基部508a耦接，该上部基部508a与下部基部508b可滑动地耦接，该下部基部508b可固定到框架516。上部基部508a可使用例如轨道和球状轴承的组合相对于下部基部508b滑动。在某些方面，上部基部508a可沿X轴和Y轴二者相对于下部基部508b滑动。
铰接臂502可以为其自由度中的每个配备有编码器(例如，双18位编码器)以确保铰接臂502的精确定位。内部离合器可设置在每个铰接或枢转接合部506处，使得如果需要的话，铰接臂502可以被飞行员压制，而不使铰接臂502发生损坏。在这种情况下，机组自动化系统100可使用编码器确定铰接臂502的定位或位置。
夹持件504可被配置成耦接或以其他方式接合例如节流杆等。夹持件504还可提供力和压力检测以便允许机组自动化系统100估计如何抓住飞行控制致动器并调节运动以适当地投掷它。一旦执行运动，则相同的反馈可用于确定期望的开关配置是否已经实现。在某些方面，铰接臂502可与使得其能够发现并击中目标的电子设备(例如，归航设备)配合。
次级致动系统108b。不同于通常位于飞行器构造和类型之间的相同近处的主要飞行控制件，从飞行器到飞行器的次级飞行控制件(例如，航空电子器件、开关、旋钮、摇杆、触发器、覆盖开关、保险丝等等)的位置不是一致的或空间包含的。
次级致动系统108b着重于致动主要致动系统108a不容易接近的控制件。例如，一些开关甚至可位于机长的头部正上方的头顶面板上，因此使用机器人臂操纵它们有可能是困难的(特别是在湍流的飞行条件下)。因此，一些致动器可被分配到上述的主要致动系统108a，而其他致动器可被分配到独立的次级致动系统108b。
次级致动系统108b可以适合的XY绘图仪或台架系统的形式提供，该XY绘图仪或台架系统直接安装到感兴趣的面板并且校准到其正在操作的具体面板。次级致动系统108b优选地为通用的和可变尺寸的。图5c中示出了示例XY绘图仪。XY绘图仪可包括充当绘图仪的轨道520的正方形框架、具有多个能够操纵感兴趣的控制件的接口的可旋转的多用工具528(例如，开关致动器532和旋钮致动器530)以及控制系统，该控制系统将该多用工具526沿Y轴轨道522组和Z轴轨道524组在框架内移动。
在使用时，绘图仪将多用工具528移动到位置，选择正确的操纵器接口，并且操纵感兴趣的次级飞行控制件。例如，多用工具528可以使用开关致动器532轻击二元开关和/或覆盖开关，并且可以使用旋钮致动器530将旋钮扭转。开关致动器532和/或旋钮致动器530可经由铰接或旋转构件(诸如可旋转的开关臂534)被耦接到多用工具528。
当未使用时，多用工具526可返回到原位置(例如，自动导航到远处角落)以防止阻碍面板。多用工具526将配备有传感器(例如，近侧传感器)，使得其可以在其检测到飞行员的手部时移出。在新飞行器上的绘图仪的初始设置期间，次级飞行控制面板的定位、类型和位置可被编码。一旦特定的次级飞行控制面板被编码，则该配置可以保存到飞行器数据结构208，并且在机组自动化系统100安装在相同的飞行器或相同类型的飞行器中时进行加载。在某些方面，可提供额外的致动器以致动被定位在例如驾驶舱的脚部空间，诸如脚踏板(例如，制动器和/或方向舵踏板)中的控制器。
机器人臂550。如图6中所提供的，框图示出了采用机器人臂550的公开的机器人系统的功能元件。例如，机器人臂550采用图5a的铰接臂的若干特征。关于铰接臂502所描述的接口和控制件对于机器人臂550以及本文所描述的额外特征件是可用的。机器人臂550可以用于替代铰接臂502，或除铰接臂502之外可以使用机器人臂550。在机器人臂550替代铰接臂502的示例中，机器人臂550被配置成提供铰接臂502的前述功能以及下文描述的额外特征。
先前的系统限制于固定式摄像机并且缺乏触觉功能。公开了用于包括功能附加物(例如，夹持件)的机器人臂的独特的架构和方法，其中成像能力与其集成，并且比较移动机器人臂550的独特的基准系统的使用。此外，通过采用公开的机器人臂550考虑实施操作以及教导机器人行为的方法。
在本文提供的示例中，机器人系统与集成的成像和力感测能力一起进行描述。具体地说，机器人系统的机器人臂550被优化用于收集和分析图像和力数据以便在自动的飞行器环境中致动一个或多个过程。
如本文所述，本文所述的机器人臂550提供超过传统的机器人臂的增强的能力，其为机器人系统提供了先前不可用的飞行器自动化能力。在示例中，机器人臂包含用于对飞行器的场景，诸如驾驶舱仪表558和对应的显示器560进行成像的摄像机。机器人臂550还包括力感测指状物，以便实现对期望的接触力的闭环控制，以及在机器人臂550的操作期间收集接触力数据。
机器人系统的功能方面的特征在于力传感器552、成像捕获系统554(例如，摄像机，诸如视觉系统)和一个或多个控制器，以实现各种复杂的接口操作。另外，机器人系统与控制器(例如，飞行控制系统116)、路线列表、数据获取系统和数据分析系统(例如，用于力和图像数据)中的一个或多个通信。例如，力传感器552和成像捕获系统554可以向控制器(例如，核心平台102)提供信息以操纵驾驶舱仪表(例如，开关、表盘、旋钮等等)，确保正确地识别仪表，以及确定操作之前、操作期间和操作之后的仪表状态。比如，开关可以位于驾驶舱的特定区域中，通过对成像系统554来识别距离和位置。在接收操作开关的命令时，控制器可以确定将机器人臂550移动到开关的最佳路线(例如，机器人臂的轨线、从当前位置到开关的距离)。控制器可以进一步确定交互的一个或多个参数(例如，开关状态的预期改变、激活开关所需的力的量等)，并且监控来自对应于那些参数的传感器的信息。
在一些示例中，与特定仪表(例如，开关)相关联的参数的资源库或矩阵可以存储在控制器可访问的存储器556中。虽然图6中表示为与机器人臂550并置，但是存储器556可以与核心平台102集成、位于远处(例如，通过网络可访问)等。监控的参数可以与参数的资源库相比较以校验操作按预期进行。在一个示例中，诸如致动在存储器556中不具有一组存储的参数的开关的命令(例如，新的和/或定制的仪表)，控制器可以根据在操作期间由传感器获取的信息来构建参数矩阵。在其他示例中，在操作期间，诸如反复致动特定的开关，与该开关相关联的矩阵可以基于获取的数据进行更新和改良。在一些示例中，如果获取的信息偏离矩阵中的参数，则可以将警报发送到另一系统(例如，远程控制器)或操作员(例如，飞行员)，或发送额外的信息请求(例如，从另一摄像机)以确定是否已经发生故障、开关是否有缺陷、操作是否未成功等。
指导驾驶舱仪表558的物理机械操纵的集成力和成像能力实现对复杂接口诸如自动驾驶面板或飞行管理系统(“FMS”)的了解和操作。面板、系统和仪表的操作状态可以通过成像捕获，并且通过机器人臂550在按钮、开关等的致动期间校验。具体地说，机器人臂550可以通过识别由力传感器552捕获的力或压力概况确认轨线、动作或状态。
安装在机器人臂上的摄像机允许成像系统554从驾驶舱内的多个视角获得各种视图。例如，在驾驶舱环境中，仪表可以被垂直地、水平地或以各种角度取向，以符合人类操作员的范围和位置。安装到机器人臂550的摄像机可以在驾驶舱内的各种位置和角度处查看表面和仪表。以这种方式，机器人臂550可以围绕驾驶舱移动以查看可被静止视野阻挡的仪表，以及避免在飞行期间遮挡飞行员的视野。因此，本文所述的机器人臂550的灵活性与常规系统中发现的静止安装的摄像机不同，具有如本文所述的多个优点。
可以采用来自安装到机器人臂550的成像系统554和力传感器550的信息来建立和/或验证驾驶舱和相关联的仪表的二维模型和三维模型。在示例中，力传感器552为机器人臂550提供验证驾驶舱元件的定位、位置、状态等的能力，这先前仅在使用成像传感器的情况下才是可能的。比如，该信息可以允许控制器确定特定开关是向上还是向下、被点亮还是未被点亮、是否为特定颜色等。
在各种路线的执行中，力传感器552可以连续地监控和校验映射的场景。在示例中，动作的执行可以包括预期轨线和力。来自力传感器552的信息连同仪表558的已知的和/或计算的和/或估计的条件(例如，状态、相关联的显示器560)可以用于测量和/或校验接触轨线(例如，如由矩阵内的一个或多个参数提供的)。例如，推动按钮将具有与抵靠壁推动不同的接触概况，并且接触时的力反馈量的可以用于识别力传感器552作用的表面类型。
本公开描述了视觉和接触能力，其已被添加到可操纵附加物、附加物组或附接到机器人臂550的其他端部执行器(例如，位于机器人臂550的端部处的夹持件工具)。这两种传感器模态扩展了ALIAS机器人臂可以执行的活动的类型，这扩展了依靠静态摄像机和/或缺乏力感测能力的机器人臂的能力。
具体地，这两种模态使得机器人能够识别/映射/辨别/致动飞行器上的复杂接口诸如自动驾驶面板或飞行管理系统的操作。操作这些面板需要由视觉驱动的条件逻辑(例如，读取FMS的屏幕以推导系统的状态)。这些面板可具有小的文本，或者以其他方式与安装在固定或远程位置中的摄像机视觉地封闭。虽然视觉感知一直是系统的关键特征，但是特别地对复杂接口的操作使用机械引导视觉提供显著的优点，增强了系统架构，并且导致扩展的能力以确保对驾驶舱环境中的仪表的了解的精确度和深度。
例如，触觉灵敏度为识别控制件和验证驾驶舱仪表558的模型提供第二独立的数据路径。具体地，除其他摄像机之外，安装到机器人臂550的摄像机实时提供内置和校验测试。例如，连续监控系统可以验证实现预期的接触轨线和力概况从而验证特定仪表的精确操作。在一些示例中，系统可以采用捕获的数据来测量系统本身的操作准备。以这种方式，可以将监控的信息与存储的参数进行比较以校验存储的值、系统计算适当轨线的能力、致动系统的保真度等。如果发现一个或多个参数在阈值量的范围之外，则可以提供警报，可以对额外的信息作出请求，可以重复和/或撤销动作等等。
在一些示例中，主要致动系统108a用于观察和操作自动驾驶仪、FMS和无线电/转发器。由于整个驾驶舱的放置和取向，所以机器人臂550(无论是主要致动系统108a还是单独的机器人臂)安装的成像能力使得能够从单个摄像机观察这些表面。例如，FMS可能无法从静态摄像机安装点看见，因为摄像机可安装在驾驶舱节流柱之后。集成图像和力传感器大大增强了观察接口(例如，按钮、开关、旋钮、FMS的屏幕接口)和与这些接口交互的灵活性以及对仪表(例如，自动驾驶系统)的不同状态的了解。
在示例中，摄像机向控制器发送数据以分析和/或操纵图像从而形成标准视图。标准视图可以是一个或多个系统容易地可读的格式。例如，设备和/或控制件的原始摄像机图像(例如，如图7a和图7d所示)可以重新格式化使得图像的要素可被辨别为包含一个或多个物理和/或视觉控制件(例如，按钮、表盘、开关等)的面板。一个或多个控制件中的每个可以对应于一个或多个显示，诸如数字读数。
在图7a至图7c中所示的示例中，摄像机捕获控制件的图像(图7a)，并且对图像执行边缘检测算法(图7b)。在整个识别和/或分析例程中，此种过程可以递增。如图7c所示，系统能够辨别控制件上呈现的信息，经由边缘检测算法进行转变。在图7c的示例中，从控制面板上的LCD显示器捕获的数字2、4和9被RAS系统识别和分析。因此，信息可以用于告知和控制本文所述自主系统的实施。图7d中示出一组驾驶舱控制件的额外的图像。如上面所解释的，边缘检测算法的应用生成虚拟的、可解析的图像(图7e)，其充当视觉系统处理和分析中的临时步骤。
控制器被配置成识别和数字化控制件和显示器使得可以生成用于控制系统的分析的计算机可读输出(例如，通过处理器，呈现在计算机显示器上等)。比如，当摄像机与力传感器552并置时，驾驶舱仪表558的视图将随着机器人臂550的取向而发生改变。因此，控制器被配置成测量并将控制件和/或显示器中的一个或多个重新取向成期望的布局/格式化/组织以增强对被成像的设备、场景、仪表等的了解，不管视角或观察角度如何。一旦执行分析，则控制器可以确定是否需要响应以及基于信息哪种动作是适当的。
有利地，重新格式化图像的过程允许系统辨别特定控制件和/或显示器而不管相对取向如何。换句话说，可从距驾驶舱仪表558的任何角度和/或距离拍摄图像，然而控制器能够识别和/或操纵被成像的元件从而辨别并因此比较仪表和已知仪表的图像的目录。因此，将不需要静态摄像机和/或距机器人臂550遥远地定位的摄像机，从而提供优于传统系统的益处。
力传感器552可以被配置有突起以致动开关、按钮或其他类似控制件。在一些示例中，机器人臂550包括能够进行一系列动作的一个或多个数位，诸如操纵表盘、打开面板和/或在驾驶舱内可能有用的其他动作。例如，数位中的一个或多个可以具有力感测能力，以进一步增强系统的能力。
在示例操作中，选择的命令可对应于一个或多个数据点，该数据点可以被获取和分析以确认机器人臂550的预期接触和/或轨线。在目标驾驶舱仪表558为常见的摇杆开关的示例中，当开关激活时经验证据可以被存储为预期的力概况。比如，当接触传感器经历来自开关的阻力时，接触时力的量将增加。一旦克服了最初的阻力，开关就将滑动到适当位置，使得触觉传感器感测到很小阻力或没有阻力的时段。随着开关开始静止，触觉传感器将维持力的水平以确保开关被完全激活。然后，触觉传感器处的力的量将反映致动臂对开关提供的力的水平，指示开关被完全按下。
与来自摄像机的图像数据组合的力数据用于映射仪表布局(例如，在第一压缩或没有针对特定仪表的数据的情况下)或校验和/或改良驾驶舱仪表558的存储的布局、它们的相对位置、功能等。
可以用来自多次试验(例如，来自反复尝试按下Volpe 737驾驶舱仪表上的“FMS保持”按钮)的数据得到接触轨线的数据平均值和标准偏差。力值可以为近似的，诸如计算的或估计的(例如，如果传感器没有执行详细的校准)。由力传感器552获取的数据可以用于建立测量的接触事件的资源库。另外地或替代地，该资源库可以用于静态地限定操作仪表时机器人的性能，即用于认证目的。以这种方式，触觉感测可以用于通过记录接触事件统计地定义施加到飞行器驾驶舱的接触力。这可能对认证工作有益。换句话说，系统可以使用获取的数据，该数据例如通过提供机器人臂550在随后的操作中施加的力的平均值和标准偏差来示出机器人的静态限定的操作能力。资源库还可以用于比较机器人的当前性能以评估系统的功能，如本文所述。
虽然成像和力传感器数据已经被描述为提供用于实行命令的信息，但是额外的或替代的传感器可以用于不同或冗余的信息采集。在一些示例中，惯性移动传感器、加速计、机械测量系统或其他传感器可以用于确定机器人臂550的轨线、取向等。
本文所描述的机器人臂550可以为更具扩展性的机器人解决方案的一个方面。例如，机器人臂550可以是安装在需要自动化功能的飞行器或类似目标系统中的系统的一部分。例如，在一个或多个附加物上具有集成的成像和力传感器的可移动机器人臂可用于在以下环境中操作仪表，其中物体在静态安装的摄像机和/或复杂的多状态接口中在视觉上被遮挡，该复杂的多状态接口需要视觉、触觉和机械运动之间的紧密耦接。
在机器人臂550的一个端部处，机器人附加物诸如夹持件可以包括集成的成像和力传感器。在一些示例中，视觉基准标记可以包括在驾驶舱仪表558内以便于成像能力和增强定位确定。例如，视觉基准标记可包括二维机器可读标记，诸如条形码和/或QR码。紧密和无缝地集成机器人运动、力和视觉模态的软件与系统整体形成以生成更完整和有用的操作环境图片。
在操作的示例方法中，如图8a所示，从核心平台接收的命令被称为“例程”。例程可需要机器人臂550执行选择的操作的多个步骤，该选择的操作被称为“动作”。主功能“监控飞行器”接收对应于一个或多个例程的命令，并且将单独的动作排序以执行例程。“读取”动作通过操作处理图像数据的“端部执行器感知”来执行。“触觉传感器”被称为测量数位/附加物/突出等等的力。“马达线”操作夹持件和线型轨道马达，并且“UR机器人”操作机器人臂550，该机器人臂550能够围绕驾驶舱环境以六个自由度操作。
图8表示“将飞行器航向设置为155度”的命令的示例例程的流程图。该例程可以用通过使用机器人臂550操作与自动驾驶特征件(例如，调节飞行器航向的旋钮)有关的一个或多个驾驶舱仪表558来完成。示例例程由下面所概述的以下动作组成。在框800，向系统(例如，飞行控制系统116)提供改变飞行器的航向的命令。作为响应，在框802中激活机器人臂550。在框804中，通过成像传感器554，系统捕获足以在自动驾驶仪上读取当前航向命令的成像数据。在框806中，基于当前航向和航向的命令改变，系统计算所需的改变量(例如，通过转动旋钮多少)。在框808中，将机器人臂550伸展以接触(例如，夹持、触摸等)旋钮。基于来自力传感器552的测量的传感器数据，在框810中将所测量的数据和存储器556中存储的数据进行比较。例如，可需要阈值量的力来夹持和转动特定旋钮。该信息可存储在存储器556中以确保动作仅被执行一次。
在框812处，系统确定是否正在向旋钮施加适当的力。如果为否，则方法回到框808以重建与旋钮的接触。如果为是，则方法前进到框814，在框814处转动旋钮以完成航向改变。旋钮被转动的程度基于航向改变的计算以及比较。在框816处，改变的航向由成像传感器554读取以确定是否已实现适当的航向。如果为否，则方法回到框804，以重新估计初始航向、当前航向和所需的改变量，因为该方法重新进行。如果为是，则动作完成，并且在框820处，系统继续监控新的命令。
通常，动作由“移动”或“读取”组成。移动是指机器人臂550的运动。读取是指获取关于世界的信息(例如，使用图像或力数据)。每个单独动作的参数包含在数据结构中。注意，一些动作由多个操作组成。例如，转动旋钮需要按顺序列出的一系列动作：将机器人移动到旋钮、打开夹持件、关闭夹持件、经由来自力传感器的反馈验证对旋钮的夹持、转动旋钮以及释放旋钮。后续校验可以由成像系统554执行，以确保已实现旋钮的期望的最终状态。
通过实现对复杂驾驶舱接口(例如，FMS)的操作，机器人臂550提供扩展的功能。例如，在采用机器人副驾驶但是机器人副驾驶的版本不使用飞行控制系统(例如，缺少飞行控制系统的软件和/或硬件的版本)的飞行器中，由于本文所公开的模态的复杂交互，所以机器人臂550被配置成在飞行员失能的情况下操作自动驾驶仪、FMS和转发器。在示例中，通过监控由相应的传感器收集的力和图像数据，机器人系统可以自监控机器人臂550的状态和/或动作。例如，如果命令机器人系统移动到“位置A”，则成像系统554应当观察相关联的场景A。如果图像数据的分析未校验机器人臂550正在观察场景A，则自监控系统可以获得额外的数据以确定机器人臂550的状态，和/或运行校准程序。
对机器人臂550添加视觉和触觉产生了先前不可能或难以置信的新用例，诸如观察更广泛范围的驾驶舱和仪表、操作驾驶舱中的复杂接口以及提供冗余方法以验证机器人臂的性能。所公开的系统的该安装和操作远没有传统的系统那么复杂。在多个市场中(例如，在商业市场、国防市场、通用航空市场等)，出于各种原因，成本和系统占地面积的节省可为有价值的。
知识获取系统114。知识获取系统114采集和/或生成使得机组自动化系统100能够确定飞行器专用信息所必需的知识库。这包括飞行器性能特性、限制、核对表和程序(包括紧急情况程序)的知识以及定义飞行器中的意外事件的标准。该数据可从编码数据(例如，来自手册、飞行员简报、飞行员操作手册)和飞行中获取的数据(例如，经由传感器)的组合导出，其支持离线机器学习和趋势分析。待编码的日期可以.xml格式加载，该格式描述程序的内容和程序之内和之间二者中的任务流。
例如，如图1b所示，知识获取系统114可从核心平台102接收操作命令，同时向核心平台102发送由知识获取系统114生成的配置数据和状况和响应信息。
知识获取系统114的操作通常可分成三个过程，包括例如飞行器系统建模、程序编码和航空动力学建模。飞行器系统建模过程为机组自动化系统100提供关于可用的机载系统和机载系统如何配置、致动限制等的信息。程序编码过程为机组自动化系统100提供关于飞行器在正常情况和非正常情况下的操作的信息。程序编码可包括例如核对表的编码。最后，航空动力学建模过程为机组自动化系统100提供有关驾驶飞行器和对于给定飞行器类型和配置期望何种性能的信息。
在知识获取阶段期间，还必须建立情况被视为异常或意外事件的条件。这些条件通常将是离散的，诸如发动机超速或超过空速限制。使用机器学习，机组自动化系统100可以通过观察飞行员所飞的一系列飞行机动来微调其航空动力学和控制模型。该信息包括飞行动力学数据、操作限制、程序、飞行器系统和布局以及其他相关数据。除了书面信息之外，机组自动化系统100还可以基于过去的事件和更有经验的飞行员的经验来编码信息。机器学习使得知识获取过程能够高效且快速地执行。
使用机组自动化系统100的感知系统106和致动系统108，当飞行员经历典型飞行概况的运动时，监控飞机驾驶舱或实际的模拟器中的仪表和控制件。观察飞行员的动作允许机组自动化系统100直接学习飞行员并且模仿给定操作的平稳、专业的控制。该过程受益于飞行操作在给定情况下待完成的事情中高度结构化的事实——然后，机器学习实现如何执行一些事情的编码。
飞行器数据结构208的填充可以使用可扩展标识语言(“XML”)完成。更具体地说，可采用XML数据结构，其包括一组字段和数据树，当填充时，允许核心平台102配置和操作飞行器。在某些方面，机组自动化系统100可采用飞行文件的自然语言解释和/或使人能够有效和精确地输入数据的软件工具。
在某些方面，可以生成和编码一组飞机未知特征。例如，类似起落架收回的程序、多发动机飞行器上的发动机输出程序和失速恢复在许多类型的飞行器之间是相似的，并且仅需要对特定机身进行最小的修改。此外，基础的机身限制(诸如绝不超速)仅需要输入具体的数字，并且可以在标称的时间段内从飞行手册输入。
程序编辑器。飞行器特定信息可在转变期间使用例如书面文件(例如，飞行员操作手册、维护手册等)以及通过直接监控飞行器操作来采集。该知识获取过程的输出为飞行器数据结构208，其在上文中关于核心平台102进行描述。包含在该飞行器数据结构208中的可为操作程序、可用系统和其设计、驾驶舱布局和安全操作飞行器所必需的所有其他信息。在某些方面，机组自动化软件开发成套工具可允许软件/飞行控制工程师每天指定、编码和单元测试一个飞行器子系统(例如，电子的或液压的)。机组自动化软件开发成套工具可以提供用于将飞行手册的程序转换为与Matlab State Flow和Simulink兼容的状态机的工具，该状态机然后可以用C语言将程序自动编码以包含在核心平台102中。机组自动化软件开发成套工具还可生成用于单位水平的测试代码以及用于对核心平台102进行测试的接口。例如，程序编辑器可提供任务列表，其中飞行员可选择机组自动化系统100或飞行员是否负责列表上的给定任务。
飞行控制的知识获取。飞行控制的知识获取中的第一步骤使用Athena VortexLattice(“AVL”)方法以在飞行期间飞行员使用和改良的无量纲稳定性导数的形式生成数学模型。一旦校准主要飞行控制机构，系统ID训练器应用可用于执行设计来识别特定稳定性导数的一系列飞行机动。数据被自动处理成更新的稳定性导数，以用于在控制器中使用。控制器可采用自动调谐器。相同的更新稳定性导数作为控制器在飞行之前充分执行的校验步骤用于6-DOF模拟中。执行飞行控制的知识获取的额外益处是使得能够改良和合并大量的正式程序知识。虽然程序列出了各个步骤，但是可缺失关于此类步骤如何执行的精细细节(例如，步骤之间等待多久或节流增加得多快)。
飞行器飞行性能特性的反向设计。可以通过机载数据获取单元测量的飞行器性能特性通常被视为由飞行器和航空电子制造商所有。该信息可以用于飞行模拟、飞行器健康监控、飞行器开发和等等。目前，想要利用机载数据获取的第三方受到其所有权性质限制。通过使用独立式飞行器传感器套件仅部分克服该限制。这些可商购获得的传感器套件仅测量通过驾驶舱仪表和飞行员输入可得的数据的一小部分。然而，因为机组自动化系统100利用各种传感器来确定飞行器飞行性能特性，因此其有效地反向设计飞行器性能特性。机组自动化系统100通过独立式传感器、通过驾驶舱仪表的图像的数据捕获和输入控制的组合收集飞行器信息。
示例。本公开的方面可通过下面的示例飞行计划示出，该示例飞行计划示出机组自动化系统100如何与飞行员交互、执行飞行计划、执行飞行操作任务以及响应系统参与和起飞、飞行计划参与、异常检测和处理期间的突发事件。然而，本教导内容不应限于本示例中使用的那些。
系统参与和起飞。飞行员进入飞行器的左侧座椅，系紧座椅安全带，将人机接口126舒适地定位在他的侧面处，并且激活机组自动化系统100应用。应用启动并运行一系列开机诊断程序，并且机械接口通电并校准。确认成功测试的消息可以显示在人机接口126上，并且询问飞行员以确认机组自动化系统100的参与。飞行员经由应用标签334选择当天飞行计划。机组自动化系统100可用于核对表监控。飞行员选择发动机起动，并且机组自动化系统100可以开始一系列发动机起动动作，在实际起动之前请求最终确认。同时，飞行员可呼叫控制塔请求许可，并且接收对训练区域的飞行计划。
当完成发动机起动时，机组自动化系统100可向飞行员报告成功并且报告，例如“准备滑行”(可听见地或经由人机接口126)。飞行员请求滑行许可，并且当听到滑行许可时，机组自动化系统100转录滑行许可并将其向飞行员显示以进行确认。然后，飞行员敲击应用上的“经由许可滑行”按钮，并且机组自动化系统100滑行到指定跑道，同时飞行员监控交通。当处于跑道入口时，飞行员口头命令机组自动化系统100执行预起飞检查，并且系统完成所有必要检查，提示飞行员手动地二次检查关键物品，诸如飞行控制件。例如，机组自动化系统100可以监控人类操作员执行核对表并且输出“核对表完成”或识别飞行计划或错误。
在接收到进一步的许可时，飞行员然后命令机组自动化系统100引导飞行器排成行并等待，然后最终起飞。机组自动化系统100经由主要致动系统108a向前推动节流器，经由感知系统106在视觉上检查发动机和驾驶舱指示器，经由HMI系统104调出速度，并且以适于当前重量、平衡和密度高度的速度旋转。飞行员将他的手保持在驾驶杆/操纵杆514上以确认机组自动化系统100的输入并且保持其肌肉记忆。机组自动化系统100根据当前条件确认飞行器性能，并且报告与预期爬升率的任何偏差。在爬升期间通过机组自动化系统100减小飞行员的工作负荷，使得能够有更多抬头时间(即，眼睛向前看，而不是盯着仪表)在繁忙空域中寻找交通。机组自动化系统100还可为给定的核对表、飞行器或定位提供有经验的飞行员建议。例如，在特定机场中，机组自动化系统100可以用机场特有的提示(诸如“与该跑道的大离去角”)指示人类操作员。
飞行计划参与。在爬升的顶部处，机组自动化系统100使飞行器水平飞行，并且调节配平和动力设置，同时向飞行计划中的第一航点行进。在巡航期间，机组自动化系统100继续在视觉上监控所有驾驶舱显示器，不断将发动机和飞行器性能与预期的值进行比较，并且向飞行员警报任何偏差。
飞行器到达训练区域并且开始当天的飞行计划。然而，在飞行计划期间，飞行器进入高耸的积云，其中仪表飞行气象条件(“IMC”)条件处于结冰温度以下。飞行员经由人机接口126上的互联网中继聊天(“IRC”)聊天窗口请求并从地面接收许可，以爬升到24,000英尺以到达该天气之上。在某些方面，机组自动化系统100请求来自地面的许可。
异常检测和处理。在一段时间之后，机组自动化系统100可检测给定爬升，指示的空速由于这些俯仰和功率设置慢慢偏离其建模空速，指示低于预期值。这指示皮托管加热器发生故障并且皮托管已经结冰。飞行员驾驶飞行器不到100小时，并且没有意识到该模型中的皮托管加热器被认为是不可靠的。飞行员还未注意到空速指示器有低于标称的趋势。
然而，机组自动化系统100辨别出空速数据异常于其余的飞行数据和其内部飞行动力学模型，并且在听觉上警告飞行员“空速指示器故障”。当飞行员认识到空速信息当前为不可靠时，其不确定飞行器比指示器显示的飞得更快还是更慢。
借助于先前异常的数据库，机组自动化系统100呈现一组程序选项，并且突出该区域的最小安全高度(例如，8,000英尺)。飞行员选择最保守的选项，其导致机翼水平、俯仰和功率下降到较低高度(例如，10,000英尺)。机组自动化系统100恢复电源，稍微向下倾斜，并且开始下降。当下降至15,000英尺时，皮托管再次开始工作。一旦在10,000英尺处稳定下来，机组自动化系统100保持飞行器笔直且水平飞行，同时飞行员在回到飞行计划之前评估状况。
当完成当天飞行计划时，机组自动化系统100可执行自动着陆程序。例如，机组自动化系统100可将飞行器导航到预定航点，其中飞行器可开始其初始下降。在下降期间，机组自动化系统100可监控飞行条件并且定位跑道。在最终接近时，机组自动化系统100可将飞行器减速，并且最终使飞行器着陆。如果机组自动化系统100确定着陆不可行(例如，障碍物或不可接受的飞行条件)，则机组自动化系统100可开始错过的接近例程或其他意外事件例程。例如，机组自动化系统100可在相同位置处重新尝试着陆，或将飞行器导航到替代的着陆位置。用于使飞行器在替代的着陆位置处着陆的示例系统通过标题为“自主货运递送系统(Autonomous Cargo Delivery System)”的共同拥有的美国专利申请No.2015/0323932公开。
机组自动化系统100和衍生技术可应用于广泛范围的飞行器和飞行模拟器。从飞行器飞行测试导出的飞行性能特性可用于改善训练飞行员所使用的飞行模拟器的保真度。提供飞行模拟器访问实际飞行器性能数据对于飞行模拟器操作员而言具有巨大价值。机组自动化系统100的另一益处在于当飞行器被修改用于特殊飞行计划时，诸如增加可影响空气动力学性能和飞行处理质量(例如，飞行器开发)的传感器和天线，其合成飞行性能特性的能力。此外，由机组自动化系统100捕获的数据可用于飞行器健康监控，使用预测感测维护需要。
机组自动化系统100提升商业航空操作的安全性和实用性，同时显著节省了人力操作成本。例如，机组自动化系统100可应用于长途航空货运公司以增加安全性和效率以及该先进的飞行员辅助技术的成本节省。此外，例如，最终状态机可充当飞行员飞行中的训练工具，或充当安全系统，在传统的单飞行员飞行器中提供第二组眼睛。人机接口126的部分使所有有人驾驶的飞行操作简单化，甚至使多机组操作简单化。
上述专利和专利公开的全部内容以引用方式并入本文。虽然已经参考特定配置的部分、特征等描述了各种实施例，但是这并不意在穷举所有可能的配置或特征，并且许多其他实施例、修改及其变型对于本领域内技术人员而言是可以确定的。因此，应当理解，本发明可以不同于上面具体描述的方式实施。

Claims (15)

1.一种用于在飞行器中使用的机组自动化系统(100)，所述机组自动化系统(100)包括：
核心平台(102)，其被配置成：
经由一个或多个接口(234)可操作地连接多个系统或子系统；以及
至少部分基于飞行状况数据将命令传达到所述飞行器的飞行控制系统；
致动系统，其与所述核心平台(102)可操作地耦接以执行所述命令并收集数据，所述致动系统包括：
光学传感器，其被配置成在视觉上识别对应于所述飞行控制系统的一个或多个驾驶舱仪表(558)；
力传感器(550)，其被配置成当所述致动系统与所述一个或多个驾驶舱仪表(558)发生接触时测量力；以及
数据获取系统，其用于基于由所述光学传感器和所述压力传感器收集的所述数据来映射所述一个或多个驾驶舱仪表(558)的定位、类型和位置。
2.根据权利要求1所述的机组自动化系统(100)，其中所述光学传感器为红外摄像机和视觉摄像机中的一个。
3.根据权利要求1或权利要求2所述的机组自动化系统(100)，其中所述力传感器(550)包括一个或多个数位，所述一个或多个数位能够由所述控制器(402)单独操纵。
4.根据权利要求3所述的机组自动化系统(100)，其中每个数位包括相应的力传感器(550)。
5.根据权利要求1、权利要求2、权利要求3或权利要求4所述的机组自动化系统(100)，其中所述致动系统包括机器人臂(550)，所述机器人臂(550)被配置成在驾驶舱环境内以六个自由度机动。
6.根据权利要求5所述的机组自动化系统(100)，其中所述光学传感器和所述力传感器(550)在所述机器人臂(550)的远侧端部处并置，所述远侧端部被配置成对所述一个或多个驾驶舱仪表(558)成像和接触所述一个或多个驾驶舱仪表(558)。
7.根据权利要求1、权利要求2、权利要求3、权利要求4、权利要求5或权利要求6所述的机组自动化系统(100)，进一步包括知识获取系统(114)，所述知识获取系统(114)与所述核心平台(102)可操作地耦接以确定所述飞行器特有的信息。
8.根据权利要求1、权利要求2、权利要求3、权利要求4、权利要求5、权利要求6或权利要求7所述的机组自动化系统(100)，进一步包括感知系统，其与所述核心平台(102)可操作地耦接以监控所述飞行器的所述一个或多个驾驶舱仪表(558)从而生成飞行状况数据。
9.根据权利要求1、权利要求2、权利要求3、权利要求4、权利要求5、权利要求6、权利要求7或权利要求8所述的机组自动化系统(100)，进一步包括人机接口(234)，所述人机接口(234)与所述核心平台(102)可操作地耦接以在飞行员和所述机组自动化系统(100)之间提供接口(234)从而向所述飞行员显示数据并且从所述飞行员接收命令。
10.根据权利要求1、权利要求2、权利要求3、权利要求4、权利要求5、权利要求6、权利要求7、权利要求8或权利要求9所述的机组自动化系统(100)，其中所述致动系统被配置有在所述远侧端部处的多用工具，所述多用工具被配置成与所述一个或多个驾驶舱仪表(558)中的对应的仪表相互作用。
11.一种实施用于在飞行器中使用的机组自动化系统(100)的方法，所述方法包括：
接收改变所述飞行器航向的命令；
激活机器人臂(550)，所述机器人臂(550)被配置成操纵一个或多个驾驶舱仪表(558)；
用所述机器人臂(550)接触旋钮，所述旋钮被配置成改变所述飞行器航向；
确定所述旋钮接触的测量的力概况匹配存储的力概况值；以及
转动所述旋钮以反映所述命令的航向。
12.根据权利要求11所述的方法，进一步包括在接触所述旋钮之前读取第一航向。
13.根据权利要求12所述的方法，进一步包括基于所述第一航向的读数和所述命令的航向计算实现所述命令的航向所需的改变量。
14.根据权利要求11、权利要求12或权利要求13所述的方法，进一步包括：
在转动所述旋钮之后读取第二航向；以及
将所述第二航向与所述命令的航向进行比较。
15.根据权利要求14所述的方法，进一步包括：
确定所述第二航向不匹配所述命令的航向；以及
基于所述第二航向的读数和所述命令的航向计算实现所述命令的航向所需的第二改变量。
CN201810794463.8A 2017-07-27 2018-07-19 具有集成成像和力感测模态的机组自动化系统和方法 Pending CN109308076A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/661,149 US10509415B2 (en) 2017-07-27 2017-07-27 Aircrew automation system and method with integrated imaging and force sensing modalities
US15/661,149 2017-07-27

Publications (1)

Publication Number Publication Date
CN109308076A true CN109308076A (zh) 2019-02-05

Family

ID=63035897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810794463.8A Pending CN109308076A (zh) 2017-07-27 2018-07-19 具有集成成像和力感测模态的机组自动化系统和方法

Country Status (8)

Country Link
US (2) US10509415B2 (zh)
EP (1) EP3457083B1 (zh)
JP (1) JP2019048618A (zh)
KR (1) KR20190013475A (zh)
CN (1) CN109308076A (zh)
AU (1) AU2018204057B2 (zh)
IL (1) IL260261A (zh)
RU (1) RU2018119135A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589835A (zh) * 2021-08-13 2021-11-02 北京科技大学 一种基于自主感知的智能机器人飞行员飞行方法及装置
CN113778113A (zh) * 2021-08-20 2021-12-10 北京科技大学 一种基于多模态生理信号的飞行员辅助驾驶方法及系统
CN114090006A (zh) * 2021-11-23 2022-02-25 商飞软件有限公司 一种民机驾驶舱人机界面布局评估系统及评估方法
US11649060B2 (en) * 2021-09-14 2023-05-16 Beta Air, Llc Method and system for propulsion in an electric aircraft

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509415B2 (en) * 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
US10565799B2 (en) * 2018-06-21 2020-02-18 Lockheed Martin Corporation Automatic cockpit identification and augmented image placement
US11305886B1 (en) * 2018-07-30 2022-04-19 The Boeing Company Graphical user interface in a computer system in an aircraft
US11262900B1 (en) 2018-07-30 2022-03-01 The Boeing Company Graphical user interface in a computer system in an aircraft
US10604274B1 (en) * 2018-08-06 2020-03-31 Rockwell Collins, Inc. System and method for data transfer via a display device including a bezel light sensor
USD914744S1 (en) * 2019-03-29 2021-03-30 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD915452S1 (en) 2019-03-29 2021-04-06 Snap Inc. Display screen or portion thereof with a graphical user interface
US11628936B2 (en) 2019-04-17 2023-04-18 Goodrich Corporation Wireless mobile maintenance display unit and system for cargo handling system
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN211149409U (zh) * 2019-09-27 2020-07-31 富港电子(昆山)有限公司 应用于无线鼠标的开关模块
US12001206B2 (en) * 2020-01-16 2024-06-04 Honeywell International Inc. Methods and systems for remote operation of vehicles using hands-free functionality
CN114981780A (zh) * 2020-01-20 2022-08-30 Abb瑞士股份有限公司 管理机器人控制器的系统配置
RU2758870C2 (ru) * 2020-01-21 2021-11-02 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ КАЗЕННОЕ ВОЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ Военная академия Ракетных войск стратегического назначения имени Петра Великого МИНИСТЕРСТВА ОБОРОНЫ РОССИЙСКОЙ ФЕДЕРАЦИИ Способ адаптивного группового управления роботизированными комплексами и система для его осуществления
EP3862835B1 (en) * 2020-02-10 2023-10-25 Volocopter GmbH Method and system for monitoring a condition of a vtol-aircraft
JP6713700B1 (ja) * 2020-03-09 2020-06-24 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム
CN111552315B (zh) * 2020-05-11 2023-07-18 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行驾驶方法、装置、设备和存储介质
US11971728B1 (en) 2020-10-23 2024-04-30 Rockwell Collins, Inc. Platform guidance system incorporating hierarchical modular arbitration architecture
US11851215B2 (en) * 2021-05-27 2023-12-26 Honeywell International Inc. Systems and methods for calibrating a synthetic image on an avionic display
CN113467501B (zh) * 2021-07-20 2023-03-28 福州大学 作业飞行机器人动态滑翔抓取与力位混合控制方法
CN114035425B (zh) 2021-11-05 2022-07-26 广东工业大学 一种无人机数字孪生系统的虚实状态同步方法和系统
CN118660789A (zh) * 2021-12-21 2024-09-17 Y软股份公司 用于自动化机器操作的方法、装置和系统
US11509154B1 (en) 2022-01-13 2022-11-22 Beta Air, Llc System for establishing a primary function display in an electrical vertical takeoff and landing aircraft
US11829589B2 (en) * 2022-04-22 2023-11-28 Rockwell Collins, Inc. Electronic checklist command sequencer
US20230419271A1 (en) * 2022-06-24 2023-12-28 Gm Cruise Holdings Llc Routing field support to vehicles for maintenance
US12037140B2 (en) 2022-11-22 2024-07-16 The Boeing Company System, apparatus, and method for inspecting an aircraft window
CN117708745B (zh) * 2024-02-02 2024-04-26 广东控银实业有限公司 一种用于vr设备的摇杆控制异常检测方法

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4063073A (en) 1974-11-29 1977-12-13 Strayer Larry G Computer system to prevent collision between moving objects such as aircraft moving from one sector to another
US5157615A (en) 1990-01-09 1992-10-20 Ryan International Corporation Aircraft traffic alert and collision avoidance device
JPH07115677B2 (ja) 1990-10-30 1995-12-13 嘉三 藤本 航空機の飛行情報記録方法とその装置
EP1252060B1 (en) * 2000-02-03 2005-11-16 Honeywell International Inc. Event based aircraft image and data recording system
CN1283428C (zh) * 2000-03-31 2006-11-08 索尼公司 机器人设备、控制机器人设备动作的方法
US20020008661A1 (en) 2000-07-20 2002-01-24 Mccall Hiram Micro integrated global positioning system/inertial measurement unit system
US6655631B2 (en) * 2000-07-28 2003-12-02 John Frederick Austen-Brown Personal hoverplane with four tiltmotors
FR2821452B1 (fr) 2001-02-26 2003-06-13 Eads Airbus Sa Dispositif de surveillance d'une pluralite de systemes d'un aeronef, en particulier d'un avion de transport
US20030065428A1 (en) 2001-10-01 2003-04-03 Ehud Mendelson Integrated aircraft early warning system, method for analyzing early warning data, and method for providing early warnings
US6604044B1 (en) 2002-02-14 2003-08-05 The Mitre Corporation Method for generating conflict resolutions for air traffic control of free flight operations
US8996169B2 (en) * 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
US6820006B2 (en) 2002-07-30 2004-11-16 The Aerospace Corporation Vehicular trajectory collision conflict prediction method
BRPI0306710B1 (pt) 2002-11-11 2016-12-20 Aeromechanical Services Ltd sistema e método para coleta e transmissão de dados de aeronaves
US8301809B2 (en) * 2003-07-02 2012-10-30 Infortrend Technology, Inc. Storage virtualization computer system and external controller thereof
CA2543279C (en) * 2003-10-28 2012-07-17 Aew Delford Group Ltd Improved pick and place gripper
US7106219B2 (en) 2003-11-07 2006-09-12 Pearce James W Decentralized vehicular traffic status system
US7460029B2 (en) 2003-12-24 2008-12-02 The Boeing Company Systems and methods for presenting and obtaining flight control information
US7193729B1 (en) 2004-04-29 2007-03-20 Yazaki North America, Inc Instrument cluster with laser beam illumination
US20060209019A1 (en) * 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
WO2006011141A2 (en) 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
US7437220B2 (en) 2004-08-17 2008-10-14 Arinc, Inc. Systems and methods for crew interaction and coordination using portable electronic data storage and display devices
WO2006039403A1 (en) * 2004-09-29 2006-04-13 Northwestern University System and methods to overcome gravity-induced dysfunction in extremity paresis
US9900669B2 (en) * 2004-11-02 2018-02-20 Pierre Touma Wireless motion sensor system and method
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
US7789349B2 (en) 2005-05-12 2010-09-07 Aspen Avionics, Inc. Aircraft vertical speed instrument device with multi-functional design aspects
US7873240B2 (en) * 2005-07-01 2011-01-18 The Boeing Company Method for analyzing geographic location and elevation data and geocoding an image with the data
US7848698B2 (en) 2005-07-22 2010-12-07 Appareo Systems Llc Flight training and synthetic flight simulation system and method
US7650232B1 (en) 2005-09-22 2010-01-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Trajectory specification for high capacity air traffic control
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7624943B2 (en) 2006-03-22 2009-12-01 The Boeing Company Multi-mode unmanned and manned vehicle systems and methods
US7823837B2 (en) * 2006-03-31 2010-11-02 The Boeing Company Two part spacecraft servicing vehicle system with adaptors, tools, and attachment mechanisms
US7668797B2 (en) * 2006-04-07 2010-02-23 Gary Kuvich Active semiotic system for image and video understanding by robots and unmanned vehicles, methods and apparatus
EP3624086A1 (en) 2007-01-25 2020-03-18 Magna Electronics Inc. Radar sensing system for vehicle
EP2134606B1 (en) * 2007-03-09 2018-05-09 MacDonald, Dettwiler and Associates Inc. Satellite refuelling system and method
JP2008290228A (ja) * 2007-04-24 2008-12-04 Fanuc Ltd 嵌合装置
WO2008139530A1 (ja) 2007-04-27 2008-11-20 Honda Motor Co., Ltd. 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
US8049658B1 (en) 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
US20080316010A1 (en) 2007-06-23 2008-12-25 Appro Technology Inc. Recording system and method for capturing images of driving conditions and driving images identification method
CA2696190C (en) 2007-08-17 2014-02-18 Bell Helicopter Textron Inc. System for optical recognition, interpretation, and digitization of human readable instruments, annunciators, and controls
US8255098B2 (en) 2007-10-17 2012-08-28 The Boeing Company Variably manned aircraft
WO2009049654A1 (en) * 2007-10-19 2009-04-23 Force Dimension S.A.R.L. Device for movement between an input member and an output member
US8290638B2 (en) 2008-02-04 2012-10-16 Lockheed Martin Corporation Apparatus, program product, and methods for updating data on embedded control systems
CN101909829B (zh) * 2008-02-28 2012-08-29 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂的控制程序、及机器人手臂控制用集成电子电路
US8063798B2 (en) 2008-06-03 2011-11-22 Honeywell International Inc. Methods and apparatus to assist pilots under conditions in which spatial disorientation may be present
WO2009147832A1 (ja) * 2008-06-06 2009-12-10 パナソニック株式会社 ロボット、ロボットの制御装置、制御方法、及び制御プログラム
US7819183B2 (en) * 2008-06-16 2010-10-26 Halliburton Energy Services, Inc. Work string controller
AT507035B1 (de) 2008-07-15 2020-07-15 Airbus Defence & Space Gmbh System und verfahren zur kollisionsvermeidung
JP5415040B2 (ja) * 2008-08-01 2014-02-12 三重電子株式会社 自動工具交換装置用モジュール
JP4434296B1 (ja) 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
US9610131B2 (en) * 2008-11-05 2017-04-04 The Johns Hopkins University Rotating needle driver and apparatuses and methods related thereto
US8195346B1 (en) 2009-01-21 2012-06-05 Garmin International, Inc. Envelope protection for mechanically-controlled aircraft
WO2010084743A1 (ja) * 2009-01-22 2010-07-29 パナソニック株式会社 ロボットアームの制御装置及び制御方法、ロボット、ロボットアームの制御プログラム、並びに、集積電子回路
US8319665B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Adaptive instrument and operator control recognition
US8319666B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US7954965B1 (en) 2009-04-13 2011-06-07 Yazaki North America, Inc. Method for multiple gauges in a scanning laser based display device
US8026827B1 (en) 2009-05-04 2011-09-27 Yazaki North America, Inc. Virtual push button switch
US10002538B2 (en) 2009-05-14 2018-06-19 Honeywell International Inc. Aircraft clearance enforcement
KR101043450B1 (ko) 2009-07-31 2011-06-21 삼성전기주식회사 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
JP4759660B2 (ja) * 2009-08-21 2011-08-31 パナソニック株式会社 ロボットアーム制御用の装置、方法、プログラム及び集積電子回路、並びに、組立ロボット
US8306672B2 (en) 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
US8725402B2 (en) 2009-11-13 2014-05-13 The Boeing Company Loss of separation avoidance maneuvering
US8616884B1 (en) 2009-12-01 2013-12-31 The Boeing Company Integrated live and simulation environment system for an aircraft
US9099009B2 (en) 2009-12-01 2015-08-04 The Boeing Company Performance-based simulation system for an aircraft
WO2011153624A2 (en) * 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates
US9075416B2 (en) * 2010-09-21 2015-07-07 Toyota Jidosha Kabushiki Kaisha Mobile body
US8616883B2 (en) 2010-12-15 2013-12-31 The Boeing Company Simulation control system for an integrated live and simulation environment for an aircraft
US9087450B2 (en) 2011-05-17 2015-07-21 Innovative Solutions And Support, Inc. Upgraded flight management system and method of providing the same
JP2013002927A (ja) 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
US8768534B2 (en) 2011-11-14 2014-07-01 Arinc Incorporated Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA)
FR2983177B1 (fr) * 2011-11-29 2014-06-06 Airbus Operations Sas Dispositif de dialogue interactif entre un operateur d'un aeronef et un systeme de guidage dudit aeronef.
FR2988836B1 (fr) 2012-03-28 2014-04-25 Dassault Aviat Procede de determination d'une masse estimee d'un aeronef et systeme correspondant
CN104540739B (zh) 2012-08-07 2018-05-04 庞巴迪公司 核对单显示系统、方法及其图形显示器
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9070283B2 (en) 2013-01-29 2015-06-30 Honeywell International Inc. Flight deck display systems and methods for generating in-trail procedure windows including aircraft flight path symbology
US9557742B2 (en) 2013-11-27 2017-01-31 Aurora Flight Sciences Corporation Autonomous cargo delivery system
FR3023911B1 (fr) 2014-07-18 2018-07-13 Thales Traitement des donnees d'un plan de vol
US9840007B1 (en) 2014-08-25 2017-12-12 X Development Llc Robotic operation libraries
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
CA2955169A1 (en) 2014-09-03 2016-03-10 University Of Malta A human machine interface device for aircraft
JP6179000B2 (ja) * 2014-10-27 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行情報を提供する方法、プログラム及び端末
US9701398B2 (en) 2014-11-03 2017-07-11 Douglas Allen SCHULTZ Method and apparatus for augmented pilot operations of fly-by-wire vehicles
US9764852B2 (en) 2015-03-13 2017-09-19 Honeywell International Inc. Methods and systems for integrating auto pilot functions on a display
US20160275802A1 (en) 2015-03-20 2016-09-22 Northrop Grumman Systems Corporation Unmanned aircraft detection and targeting of other aircraft for collision avoidance
US20170084183A1 (en) 2015-09-18 2017-03-23 Robert M. Knox Automatic aircraft separation assurance
US9542851B1 (en) 2015-11-03 2017-01-10 The Boeing Company Avionics flight management recommender system
SG11201804933SA (en) * 2015-12-16 2018-07-30 Mbl Ltd Robotic kitchen including a robot, a storage arrangement and containers therefor
US10359779B2 (en) * 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
US10816970B2 (en) * 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10453351B2 (en) * 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) * 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589835A (zh) * 2021-08-13 2021-11-02 北京科技大学 一种基于自主感知的智能机器人飞行员飞行方法及装置
CN113589835B (zh) * 2021-08-13 2024-05-14 北京科技大学 一种基于自主感知的智能机器人飞行员飞行方法及装置
CN113778113A (zh) * 2021-08-20 2021-12-10 北京科技大学 一种基于多模态生理信号的飞行员辅助驾驶方法及系统
CN113778113B (zh) * 2021-08-20 2024-03-26 北京科技大学 一种基于多模态生理信号的飞行员辅助驾驶方法及系统
US11649060B2 (en) * 2021-09-14 2023-05-16 Beta Air, Llc Method and system for propulsion in an electric aircraft
CN114090006A (zh) * 2021-11-23 2022-02-25 商飞软件有限公司 一种民机驾驶舱人机界面布局评估系统及评估方法

Also Published As

Publication number Publication date
US20200241565A1 (en) 2020-07-30
AU2018204057B2 (en) 2023-08-03
EP3457083A2 (en) 2019-03-20
AU2018204057A1 (en) 2019-02-14
JP2019048618A (ja) 2019-03-28
RU2018119135A (ru) 2019-11-25
US20190033888A1 (en) 2019-01-31
EP3457083B1 (en) 2021-12-22
KR20190013475A (ko) 2019-02-11
EP3457083A3 (en) 2019-05-29
US11378988B2 (en) 2022-07-05
US10509415B2 (en) 2019-12-17
IL260261A (en) 2019-01-31

Similar Documents

Publication Publication Date Title
CN109308076A (zh) 具有集成成像和力感测模态的机组自动化系统和方法
US11693407B2 (en) Aircrew automation system and method
CN109131908A (zh) 用于执行紧急降落和着陆的系统和方法
US11181935B2 (en) System and method for detecting obstacles in aerial systems
CN111046097B (zh) 可适应的交通工具监视系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190205