CN110723303B - 辅助决策的方法、装置、设备、存储介质及系统 - Google Patents
辅助决策的方法、装置、设备、存储介质及系统 Download PDFInfo
- Publication number
- CN110723303B CN110723303B CN201911060776.1A CN201911060776A CN110723303B CN 110723303 B CN110723303 B CN 110723303B CN 201911060776 A CN201911060776 A CN 201911060776A CN 110723303 B CN110723303 B CN 110723303B
- Authority
- CN
- China
- Prior art keywords
- target operation
- pilot
- information
- decision
- airplane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000004891 communication Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种辅助决策的方法、装置、设备、存储介质及系统。所述方法包括获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息；将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备；实时引导所述飞行员执行所述目标操作。本发明实施例通过采用上述技术方案，能够辅助飞行员进行决策，降低飞机的事故发生率。
Description
技术领域
本发明涉及航空电子技术领域，尤其涉及一种辅助决策的方法、装置、设备、存储介质及系统。
背景技术
随着民航运输业快速发展，大型客机运行场景和能力需求不断增长，飞机各系统的系统功能进一步得到增强，但同时也使得系统本身愈发复杂。
现代飞行员培训除了基本飞行知识和机型指示培训外，基本上都是按照飞行手册来进行培训，要求飞行员在训练模拟器、全任务模拟器以及真实飞机上开展训练工作。飞行员在运行飞行中也是按照飞行手册的要求操控飞机。当面临超出了飞行员的认知范围的系统故障或者特殊情况时，飞行员会通过查询飞行手册来进行操作与排故。
但是，一方面飞机系统之间复杂的交联关系以及庞大的系统构成使得飞机一旦发生问题，飞行员很难做出准确的判断，另一方面飞机在出现问题时，留给飞行员的处理事件非常短，因此，飞行员往往会由于很难全面掌握复杂的飞行态势而出现判断失误、错误操作或操作不及时的情况，导致飞机的事故发生率较高。
发明内容
有鉴于此，本发明实施例提供一种辅助决策的方法、装置、设备、存储介质及系统，以辅助飞行员进行决策，降低飞机的事故发生率。
第一方面，本发明实施例提供了一种辅助决策的方法，包括：
获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息；
将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备；
实时引导所述飞行员执行所述目标操作。
第二方面，本发明实施例提供了一种辅助决策的装置，包括：
信息获取模块，用于获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息；
第一操作确定模块，用于将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备；
引导模块，用于实时引导所述飞行员执行所述目标操作。
第三方面，本发明实施例提供了一种机载终端设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例所述的辅助决策的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的辅助决策的方法。
第五方面，本发明实施例还提供了一种辅助决策的系统，其特征在于，包括地面终端设备和机载终端设备，其中，
所述地面终端设备，用于根据包含飞机的状态信息及其对应的目标操作的训练样本训练得到辅助决策模型，并在与所述机载终端建立通信连接后，将所述辅助决策模型上传给所述机载终端设备；
所述机载终端设备，用于与所述地面终端设备建立通信连接，接收并存储所述地面终端设备发送的辅助决策模型；以及，获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息；将所述状态信息输入至所述辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作；实时引导所述飞行员执行所述目标操作。
在上述辅助决策的技术方案中，获取飞机的状态信息，将该状态信息输入机载终端设备存储的、由地面终端设备训练得到并上传给机载终端设备的辅助决策模型中，得到飞机飞行员在当前飞行阶段所需执行的目标操作，并实时引导飞行员执行该目标操作。本发明实施例通过采用上述技术方案，能够辅助飞行员进行决策，降低飞机的事故发生率，并减轻飞行员的负担；并且，通过由地面终端设备进行模型训练，由机载终端设备进行决策，还能够进一步减少机载终端设备的资源占用，提高机载终端设备进行辅助决策时的决策速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种辅助决策的方法的流程示意图；
图2为本发明实施例二提供的一种辅助决策的方法的流程示意图；
图3为本发明实施例三提供的一种辅助决策的装置的结构框图；
图4为本发明实施例四提供的一种机载终端设备的结构示意图；
图5为本发明实施例五提供的一种辅助决策的系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合
实施例一
本发明实施例一提供一种辅助决策的方法。该方法可以由辅助决策的装置执行，其中，该装置可以由软件和/或硬件实现，一般可集成于飞机的机载终端设备中，典型的，可以集成于飞机分布式综合模块化航电架构的核心处理系统中或集成于飞机的电子飞行包中，可适用于辅助飞行员进行决策的情况。图1是本发明实施例一提供的一种辅助决策的方法的流程示意图，如图1所示，所述方法包括：
S110、获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息。
在本实施例中，可以直接通过相应的检测器件(如传感器等)检测得到飞机的状态信息；也可以自其他系统获取飞机的状态信息，如由飞机的综合航电系统检测飞机的状态信息，相应的，本端(即机载端，亦即机载终端设备)可以通过数据总线与综合航电系统建立通信连接，从而，通过该数据总线获取飞机的状态信息。
其中，飞机可以为任意需要飞行员进行驾驶的飞机，典型的，可以为大型商用客机；飞机的环境信息可以理解为描述飞机所处外部环境的信息，如可以包括但不限于飞机当前时刻所处环境的气压、温度、风速和空中交通等等；位姿信息可以理解为描述飞机的位置和姿态的信息，如飞机的高度、速度、加速度、俯仰角和/或横滚角等等；系统信息可以理解为飞机上各系统的主要运行参数信息，其可以通过与飞机的各系统进行通信获得；飞机的状态信息可以包括但不限于飞机的环境信息、位姿信息和系统信息，如飞机的状态信息还可以进一步飞机内外的场面状况信息(如障碍物/地面信息、机场信息、飞机内部各人员的位置信息)等，此时，飞机可以通过设置于飞机驾驶舱内外的摄像头获取飞机内外的场面状况信息。
S120、将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备。
具体的，将所获取的飞机的状态信息输入至机载终端设备存储的辅助决策模型中，并获取辅助决策模型的输出，从而得到飞行员在当前飞行阶段所需执行的操作，即目标操作。其中，辅助决策模型可以理解为用于根据输入的状态信息确定飞行员需执行的目标操作的模型，其可以由本端或地面端(即地面终端设备)训练得到，优选可以由地面端(如由地面端中的训练器)训练得到，以在保证决策的及时性、高准确率和覆盖率的前提下，避免模型训练对机载端运算资源和传输资源产生的占用，最大程度发挥飞机各系统的功效，相应的，本端可以从地面端获取辅助决策模型，并对其进行存储。从而，通过拥有强大计算能力、能够进行大数据处理的地面端进行离线训练，保证辅助决策模型的可靠性和决策的准确性，且不需要全航路覆盖的高宽度链路，降低对网络传输资源的要求；通过机载端运行训练完成的模型，减小对飞机系统硬件资源的要求，实时的做出决策，并能够适应机载系统，具有较强的可实现性和实用性。
在对辅助决策模型进行训练时，优选的，可以采用迭代训练的方式进一步提高辅助决策模型所输出决策(即目标操作)的准确率。例如，首先获取包含大量训练样本的原始训练样本集，采用该原始训练样本集训练得到辅助决策模型；各飞机的机载端在通过该决策模型进行决策时，记录飞机的状态信息和飞行员的操作信息；地面端在不影响飞机各系统性能的前提下(如在飞机处于未飞行状态时或在飞机与本端建立连接之后)获取各飞机的飞机状态信息和操作信息，以得到新的训练样本，在当前条件符合辅助决策模型的迭代训练条件时，采用新的训练样本再次对辅助决策模型进行训练，将训练得到的辅助决策模型发送给机载端，以供机载端基于该模型进行决策，并返回上述机载端记录飞机的状态信息和飞行员的操作信息的步骤，以此类推，即可实现对辅助决策模型的迭代训练，不断提高决策模型所作出决策的正确性，实现对辅助决策模型的优化。
其中，训练辅助决策模型时所采用的算法可以根据需要选取，如可以采用基于深度神经网络的机器学习技术训练得到飞机的辅助决策模型；各训练样本由状态信息及其对应的目标操作组成，某一状态信息对应的目标操作可以由地面端或专门的工作人员(如专家)标定得到，如在采集飞机的状态信息的同时确定飞行员在该状态下所执行的操作，由地面端或工作人员根据飞行员执行该操作后飞机的状态信息确定飞行员所执行的操作是否为正确的操作，若是，则将其确定为该状态信息所对应的目标操作；迭代训练条件可以为当前时间周期到达迭代训练的时间周期、新的训练样本的数量达到设定数量或工作人员触发生成迭代训练指令等；训练得到新的辅助决策模型后，可以通过联网升级(如飞机停靠在廊桥时4G/WIFI方式)或直接生成新软件拷贝覆盖的方式将新的辅助决策模型传输给各飞机的机载端，以实现对每一架装备了机载端的飞机进行软件升级。
在本实施例中，可以基于各型号的飞机的状态数据和目标操作训练得到各机型均适用的辅助决策模型；也可以分别采用每一型号的飞机的状态数据和目标操作训练得到相应机型适用的辅助决策模型，本实施例不对此进行限制。由于不同机型所可能遭遇的故障和处理模式可能是不相同的，因此，为了进一步降低辅助决策模型对机载端存储空间的占用，并进一步提高辅助决策模型的决策速率，优选的，可以分别针对不同型号的飞机生成不同的辅助决策模型，从而确保辅助决策模型具备更强的决策处理能力和更准确的决策指引能力。此时，相应的，在进行软件升级时，地面端可以根据当前需要进行软件升级的飞机的机型信息，将与该机型信息对应的辅助决策模型发送给该飞机的机载端进行升级。
S130、实时引导所述飞行员执行所述目标操作。
具体的，可以根据该目标操作生成并呈现引导信息，从而实时引导飞行员执行该目标操作。其中，引导信息可以为提醒飞行员执行所述目标操作的提醒信息，以降低引导信息的复杂程度，也可以为包含所述目标操作的执行流程的指引信息，以提高飞行员执行目标操作的精准度，引导信息的呈现方式可以根据需要选取，如可以在显示屏上以文字或图片的方式将飞行信息呈现给飞行员；也可以通过语音播报的方式将引导信息呈现给飞行员。目标操作可以包括飞机正常状态下在不同飞行阶段(如推出滑行阶段、滑跑阶段、起飞阶段、爬升阶段、巡航阶段、下降阶段、进近阶段、着陆阶段、滑行阶段和/或离机阶段)时应当执行的操作、飞机遭遇各种突发状况进入非正常状态(如失速、着陆时遭遇风切变、湍流、鸟撞、雷击、交通冲突等)应当执行的操作和飞机发动机和/或机载系统出现故障时应当执行的操作中的至少一种，优选可以包含上述三种类型的操作，以使得操作建议可以覆盖飞机完整飞行过程中与飞行员相关的所有操作，提高辅助决策的全面性。
本发明实施例一提供的辅助决策的方法，获取飞机的状态信息，将该状态信息输入机载终端设备存储的、由地面终端设备训练得到的辅助决策模型中，得到飞机飞行员在当前飞行阶段所需执行的目标操作，并引导飞行员执行该目标操作。本实施例通过采用上述技术方案，能够辅助飞行员进行决策，降低飞机的事故发生率，并减轻飞行员的负担；并且，通过由地面终端设备进行模型训练，由机载终端设备进行决策，还能够进一步减少机载终端设备的资源占用，提高机载终端设备进行辅助决策时的决策速度。
实施例二
图2为本发明实施例二提供的一种辅助决策的方法的流程示意图，本实施例在上述实施例的基础上进行优化，进一步地，在所述将所述状态信息输入至机载终端设备存储的辅助决策模型中之前，还包括：根据所述状态信息查询指导手册，并确定所述指导手册中未记载与所述状态信息相符的目标操作，所述指导手册包括飞行手册和快速检查单；相应的，所述方法还包括：如果指导手册中记载有与所述状态信息相符的目标操作，则实时引导所述飞行员执行所述目标操作。
进一步地，所述状态信息还包括故障信息和/或特性信息，相应的，在所述获取飞机的状态信息之前，还包括：确定所述飞机存在故障系统和/或发生特殊情况。
进一步地，在所述实时引导所述飞行员执行所述目标操作之后，还包括：控制飞机的舱内摄像头采集所述飞行员的图像信息，并根据所述图像信息确定所述飞行员的预执行操作与所述目标操作是否相同；如果所述预执行操作与所述目标操作不相同，则发出提示信息。
相应的，如图2所示，本实施例提供的辅助决策的方法包括：
S210、确定所述飞机上存在故障系统和/或发生特殊情况。
在本实施例中，可以在任何正常和非正常情况下都辅助驾驶员进行决策，也可以仅在非正常情况下，如在飞机发生特殊情况(如失速、风切变等)或出现故障时，辅助驾驶员进行决策。考虑到在正常情况下飞行员一般能自行做出正确的决策，因此，本实施例优选可以仅在非正常情况下辅助驾驶员进行决策。
在本步骤中，飞机上是否存在故障系统以及是否发生特殊情况可以通过检测飞机上配置的告警装置是否发出告警信息确定，如果检测到告警装置发出告警信息，则确定飞机上存在故障系统和/或发生特殊情况，并基于该告警信息确定飞机是存在故障系统还是发生特殊情况，进而确定其出现故障的系统和/或所发生特殊情况的类型，以存在故障系统为例，可以根据告警信息中的故障类型确定故障系统，例如，若故障告警信息提示飞机发动机供油不足，则可以确定飞机的燃油系统出现故障，即故障系统为燃油系统。其中，告警装置可以在飞机出现故障时，发出故障告警信息；相应的，机载端可以在接收到告警装置发出的告警信息或者在检测到告警装置被触发时，确定告警装置发出告警信息。
S220、获取飞机的状态信息，所述状态信息包括环境信息、位姿信息，还包括故障信息和/或特性信息。
在本实施例中，故障信息具体可以理解为故障系统的全部信息(包括主要运行参数信息和非主要运行参数信息)，其可以通过与故障系统进行通信获取，如在确定某一系统出现故障时，向该系统发送信息获取请求，并接收该系统基于该信息获取请求返回的系统信息；特情信息具体可以理解为与所发生的特殊情况相关的信息，其可以通过检测获得。
其中，故障系统可以理解为飞机上出现故障的系统，飞机上的系统可以包含但不限于燃油系统、液压系统、起落架系统、环控系统、电源系统、显示系统、通信系统、导航系统和中央维护系统；故障信息可以为故障系统的全部运行状态信息，以故障系统为燃油系统为例，其故障信息可以包括燃油系统左右油箱的油量、燃油温度、在各阀门处的压力值、在各阀门处的粘稠度以及在各阀门处的流速等；机载端可以通过无线或有线(如总线)的方式与故障系统进行通信。
S230、根据所述状态信息查询确定指导手册是否记载有与所述状态信息相符的目标操作，若是，则执行S250；若否，则执行S240。
示例性的，可以将飞机的状态信息与飞机处于正常状态时的状态信息对比，确定飞机的状态信息相对于其正常时的状态信息的变化，并查询指导手册中是否记载有与该变化相对应的措施；或者，也可以首先根据飞机的飞行状态信息确定故障系统的故障类型，然后根据该故障类型查询指导手册中是否记载有应对该类型故障的措施，若是，则确定指导手册中记载有与该状态信息相符的目标操作，并基于指导手册中记载的与上述变化相对应的措施或与上述故障类型相对应的措施确定飞行员在当前飞行阶段所需执行的目标操作；若否，则确定指导手册中未记载与该状态信息相符的操作。
S240、将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到。
S250、实时引导所述飞行员执行所述目标操作。
在本实施例中，由于应对同一故障的措施可能有多种，因此，当飞机出现故障时，飞行员可执行的操作也可能有多种，即所确定的目标操作的数量可能为多个。由此，在引导飞行员执行所确定的目标操作时，可以首先判定目标操作的数量是否为一个，当目标操作的数量为一个时，引导飞行员执行该目标操作即可；当目标操作的数量不为一个时，即当目标操作的数量为多个时，可以按照一定的规则，如优先级，对各目标操作进行排序，并引导飞行员执行位于排序结果最前面的目标操作，或者，随机选取一个目标操作，并引导飞行员执行该目标操作。
为了进一步提高引导飞行员执行目标操作后能够有效修复故障系统的故障的概率，当目标操作的数量为多个时，优选可以按照各目标操作的优先级确定引导飞行员执行的目标操作，此时，所述实时引导所述飞行员执行所述目标操作，可以包括：按照优先级对各目标操作进行排序，并将优先级最高的目标操作确定为当前目标操作；实时引导所述飞行员执行所述当前目标操作。其中，各目标操作的优先级可以与各目标操作能够有效修复当前所出现的故障的概率正相关，各目标操作的优先级可以按照其在指导手册中的排序或工作人员在训练辅助决策模型时的标定确定。
在本步骤中，当目标操作的数量为多个时，可以仅引导飞行员执行一个目标操作，也可以依次引导飞行员执行各目标操作，本实施例不对此进行限制。为了进一步提高故障被修复的概率，本实施例优选可以依次引导飞行员执行各目标操作，直至故障修复或各目标操作均执行完成为止，此时，在所述当前目标操作执行完成之后，还可以检测所述故障系统是否恢复正常；如果所述故障系统尚未恢复正常，则将下一目标操作确定为当前目标操作，并返回执行实时引导所述飞行员执行所述当前目标操作的操作，直至所述故障系统恢复正常或各目标操作均执行完成为止。
S260、控制飞机的舱内摄像头采集所述飞行员的图像信息，并根据所述图像信息确定所述飞行员的预执行操作与所述目标操作是否相同。
S270、如果所述预执行操作与所述目标操作不相同，则发出提示信息。
相应的，如果所述预执行操作与所述目标操作相同，则不发出提示信息。
在本实施例中，在引导飞行员执行目标操作后，还可以对飞行员将要执行的操作进行预判，并在判定其将要执行的操作与目标操作不相同时，进行提示，以确保飞行员能够正确的执行目标操作，进一步提高飞机飞行时的安全性。
在确定飞行员预执行的操作与目标操作是否相同时，示例性的，可以首先根据飞行员的图像信息确定飞行员各部位的位置信息和运动信息(如速度和/或加速度等)，然后判断该位置信息和运动信息与预先记录的飞行员在执行目标操作的过程中某一时刻的位置信息和运行信息是否相符，若相符，则确定飞行员的预执行操作与目标操作相同，否则，则确定飞行员的预执行操作与目标操作不相同；也可以首先根据飞行员的图像信息确定飞行员各部位的位置信息和运动信息，然后根据该位置信息和运动信息确定飞行员的预执行操作，进而判断该预执行操作与目标操作是否相同。其中，飞行员在执行目标操作过程中每一时刻的位置信息和运动方向信息可以统计得到；预执行操作可以基于预先训练得到的预判模型得到，即将所确定的位置信息和运动信息输入至预判模型中，基于预判模型的输出确定飞行员的预执行操作。
此外，在故障修复后，机载端还可以存储故障修复前后飞机的状态信息和飞行员执行的目标操作，从而，后续通过拷贝或建立网络连接的方式将所存储的状态信息和目标操作传输给地面端进行存储，以使地面端基于存储的状态信息和目标操作对辅助决策模型进行迭代训练。
本发明实施例二提供的辅助决策的方法，在飞机存在故障系统或发生特殊情况时，优先依据指导手册确定飞行员需执行的目标操作，当指导手册未记载此时飞行员需执行的目标操作时，再基于辅助决策模型确定飞行员需执行的目标操作，实时引导飞行员执行所确定的目标操作，并在实时引导飞行员执行目标操作之后，根据飞行员的图像信息确定飞行员的预执行操作与目标操作是否相同，如果不相同，则发出提示信息。本实施例通过采用上述技术方案，能够提高辅助决策的实用性和准确性，从而在避免频繁引导对飞行员所造成的干扰的前提下，进一步降低飞机的事故发生率。
实施例三
本发明实施例三提供一种辅助决策的装置。该装置可以由软件和/或硬件实现，一般可集成于飞机的机载终端设备中，典型的，可以集成于飞机分布式综合模块化航电架构的核心处理系统中或集成于飞机的电子飞行包中，可通过执行辅助决策的方法辅助飞行员进行决策。图3为本发明实施例三提供的辅助决策的装置的结构框图，如图3所示，所述辅助决策的装置包括信息获取模块301、操作确定模块302和引导模块303，其中，
信息获取模块301，用于获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息；
操作确定模块302，用于将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备；
引导模块303，用于实时引导所述飞行员执行所述目标操作。
本发明实施例三提供的辅助决策的装置，通过信息获取模块获取飞机的状态信息，通过操作确定模块，用于将该状态信息输入机载终端设备存储的、由地面终端设备训练得到并上传给机载终端设备的辅助决策模型中，得到飞机飞行员在当前飞行阶段所需执行的目标操作，并通过引导模块实时引导飞行员执行该目标操作。本实施例通过采用上述技术方案，能够辅助飞行员进行决策，降低飞机的事故发生率，并减轻飞行员的负担；并且，通过由地面终端设备进行模型训练，由机载终端设备进行决策，还能够进一步减少机载终端设备的资源占用，提高机载终端设备进行辅助决策时的决策速度。
进一步地，所述辅助决策的装置还可以包括：手册查询模块，用于在所述将所述状态信息输入至机载终端设备存储的辅助决策模型中之前，根据所述状态信息查询指导手册，并确定所述指导手册中未记载与所述状态信息相符的目标操作，所述指导手册包括飞行手册和快速检查单，相应的，所述引导模块303还用于在指导手册中记载有与所述状态信息相符的目标操作时，实时引导所述飞行员执行所述目标操作。
进一步地，所述状态信息还包括故障信息和/或特情信息，相应的，所述辅助决策的装置还可以包括：故障特情确定模块，在所述获取飞机的状态信息之前，确定所述飞机存在故障系统和/或发生特殊情况。
在上述方案中，所述引导模块303可以包括：排序单元，用于按照优先级对各目标操作进行排序，并将优先级最高的目标操作确定为当前目标操作；引导单元，用于实时引导所述飞行员执行所述当前目标操作。
进一步地，所述辅助决策的装置还可以包括：故障检测模块，用于在所述当前目标操作执行完成之后，检测所述故障系统是否恢复正常；如果所述故障系统尚未恢复正常，则将下一目标操作确定为当前目标操作，并返回执行实时引导所述飞行员执行所述当前目标操作的操作，直至所述故障系统恢复正常或各目标操作均执行完成为止。
进一步地，所述辅助决策的装置还可以包括：提示模块，用于在所述实时引导所述飞行员执行所述目标操作之后，控制飞机的舱内摄像头采集所述飞行员的图像信息，并根据所述图像信息确定所述飞行员的预执行操作与所述目标操作是否相同；如果所述预执行操作与所述目标操作不相同，则发出提示信息。
本发明实施例三提供的辅助决策的装置可执行本发明任意实施例提供的辅助决策的方法，具备执行辅助决策的方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的辅助决策的方法。
实施例四
图4为本发明实施例四提供的一种机载终端设备的结构示意图，如图4所示，该机载终端设备包括处理器40和存储器41，还可以包括输入装置42、输出装置43和摄像头44；机载终端设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；机载终端设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的辅助决策的方法对应的程序指令/模块(例如，辅助决策的装置中的信息获取模块301、操作确定模块302和引导模块303)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行机载终端设备的各种功能应用以及数据处理，即实现上述的辅助决策的方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至机载终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与机载终端设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
摄像头44可用于采集飞机驾驶舱的图像数据，其可以包括用于采集驾驶舱舱内图像数据(如飞行员的操作动作和驾驶舱重要的控制组件的工作状态)的舱内摄像头，还可以进一步包括用于采集驾驶舱舱外数据(如飞机外部的图像信息)的舱外摄像头，从而基于舱外摄像头采集的图像信息可以识别确定跑道相对位置、跑道灯标识、障碍物标识、场面其他飞行器或移动车辆标识、滑行道标识线等信息。
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种辅助决策的方法，该方法包括：
获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息；
将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备；
实时引导所述飞行员执行所述目标操作。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的辅助决策的方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述辅助决策的装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
本发明实施例五提供一种辅助决策的系统。该系统可通过执行辅助决策的方法辅助飞行员进行决策。图5为本发明实施例五提供的辅助决策的系统的结构示意图，如图5所示，所述辅助决策的系统包括地面终端设备1和机载终端设备2，其中，
所述地面终端设备1，用于根据包含飞机的状态信息及其对应的目标操作的训练样本训练得到辅助决策模型，并在与所述机载终端建立通信连接后，将所述辅助决策模型上传给所述机载终端设备2；
所述机载终端设备2，用于与所述地面终端设备1建立通信连接，接收并存储所述地面终端设备1发送的辅助决策模型；以及，获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息；将所述状态信息输入至所述辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作；实时引导所述飞行员执行所述目标操作。
可选的，机载终端设备可配置有一套辅助决策软件、若干个(如4个)舱内摄像头和若干个(如3-4个)舱外摄像头。在此，辅助决策软件可以由软件算法模块(如辅助决策的装置中的信息获取模型和第一操作确定模块)和人机交互模块(如辅助决策的装置中的引导模块)组成。机载端辅助决策软件可配置于机载端内部，也可以集成于现有的飞机系统中，优选可集成于现有的飞机系统中，如将软件算法模块设置于分布式综合模块化航电架构的核心处理系统中，将人机交互模块设置于飞机的电子飞行包中，或者，在飞机未配备电子飞行包时，将人机交互模块设置于Smart显示器或分布式综合模块化航电架构中，以减少所增加的硬件设备的数量，提高辅助决策系统的可实现性。
在上述可选方案中，软件算法模块是人工智能辅助决策系统的核心，其可以包含感知、识别、规划、决策四大子模块。其中，感知子模块可通过航电数据总线和驾驶舱内外的摄像头获取飞机的位置、姿态、速度/加速度、大气环境、系统状态、飞控模式、气象、空中交通、机场场面状况等数据，即获取飞机的状态信息，是决策判定的基础。识别子模块可根据感知子模块获取的状态信息判定当前飞行状态，识别飞行阶段，定义系统状态等，如果当前存在故障或者特殊情况则，则识别故障类型。规划子模块可确定本次航行的飞行计划，接收地面空管的指令，输出当前飞行状态下的所有约束条件(包括飞行包线等)，决策子模块是软件算法模块核心子模块，其可以根据识别子模块所输出的飞行状态，规划子模块的约束条件，根据决策算法(飞行规则、检查单等)，输出当前应用执行的操作建议信息，即目标操作。
人机交互模块是飞行员获取辅助决策软件提供的操作建议信息以及向决策辅助软件输入请求指令的接口，人机交互模块可以根据当前的飞行状态以及飞机计划，不断以文字和语音(语音模式可以由飞行员主动触发或关闭)两种模式向飞行员提供应当进行的飞行/驾驶舱操作(即目标操作)。飞行员可通过语音或者触控输入(无触控的飞机可采用CCD+MKB的方式输入)指令，例如：查询飞行手册、查询快速检查单、查找管制指令、输入故障名称查询处理方式等等。辅助决策软件的人机交互模块和软件算法模块可以通过A661协议进行通信。
本发明实施例五提供的辅助决策系统，通过地面终端设备进行辅助决策模型迭代训练并上传至机载终端设备，并通过机载终端设备基于飞机的状态信息，采用辅助决策模型辅助飞行员进行决策，不但能够实现对辅助飞行员进行决策，降低飞机的事故发生率，并减轻飞行员的负担；还能够进一步减少机载终端设备的资源占用，提高机载终端设备进行辅助决策时的决策速度。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种辅助决策的方法，其特征在于，包括：
确定飞机存在故障系统和/或发生特殊情况；
获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息，还包括故障信息和/或特情信息；
将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备；
实时引导所述飞行员执行所述目标操作；
其中，所述实时引导所述飞行员执行所述目标操作，包括：
按照优先级对各目标操作进行排序，并将优先级最高的目标操作确定为当前目标操作；
实时引导所述飞行员执行所述当前目标操作；
所述方法还包括：
在所述当前目标操作执行完成之后，检测所述故障系统是否恢复正常；
如果所述故障系统尚未恢复正常，则将下一目标操作确定为当前目标操作，并返回执行实时引导所述飞行员执行所述当前目标操作的操作，直至所述故障系统恢复正常或各目标操作均执行完成为止。
2.根据权利要求1所述的方法，其特征在于，在所述将所述状态信息输入至机载终端设备存储的辅助决策模型中之前，还包括：
根据所述状态信息查询指导手册，并确定所述指导手册中未记载与所述状态信息相符的目标操作，所述指导手册包括飞行手册和快速检查单；
相应的，所述方法还包括：
如果指导手册中记载有与所述状态信息相符的目标操作，则实时引导所述飞行员执行所述目标操作。
3.根据权利要求1或2所述的方法，其特征在于，在所述实时引导所述飞行员执行所述目标操作之后，还包括：
控制飞机的舱内摄像头采集所述飞行员的图像信息，并根据所述图像信息确定所述飞行员的预执行操作与所述目标操作是否相同；
如果所述预执行操作与所述目标操作不相同，则发出提示信息。
4.一种辅助决策的装置，其特征在于，包括：
故障特情确定模块，确定飞机存在故障系统和/或发生特殊情况；
信息获取模块，用于获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息，还包括故障信息和/或特情信息；
操作确定模块，用于将所述状态信息输入至机载终端设备存储的辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作，所述辅助决策模型由地面终端设备训练得到并上传至所述机载终端设备；
引导模块，用于实时引导所述飞行员执行所述目标操作；
其中，所述引导模块包括：
排序单元，用于按照优先级对各目标操作进行排序，并将优先级最高的目标操作确定为当前目标操作；
引导单元，用于实时引导所述飞行员执行所述当前目标操作；
所述装置还包括：
故障检测模块，用于在所述当前目标操作执行完成之后，检测所述故障系统是否恢复正常；如果所述故障系统尚未恢复正常，则将下一目标操作确定为当前目标操作，并返回执行实时引导所述飞行员执行所述当前目标操作的操作，直至所述故障系统恢复正常或各目标操作均执行完成为止。
5.一种机载终端设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的辅助决策的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的辅助决策的方法。
7.一种辅助决策的系统，其特征在于，包括地面终端设备和机载终端设备，其中，
所述地面终端设备，用于根据包含飞机的状态信息及其对应的目标操作的训练样本训练得到辅助决策模型，并在与所述机载终端建立通信连接后，将所述辅助决策模型上传给所述机载终端设备；
所述机载终端设备，用于与所述地面终端设备建立通信连接，接收并存储所述地面终端设备发送的辅助决策模型；以及，确定所述飞机存在故障系统和/或发生特殊情况；获取飞机的状态信息，所述状态信息包括环境信息、位姿信息以及系统信息，还包括故障信息和/或特情信息；将所述状态信息输入所述辅助决策模型中，以得到所述飞机的飞行员在当前飞行阶段所需执行的目标操作；实时引导所述飞行员执行所述目标操作；
其中，所述实时引导所述飞行员执行所述目标操作，包括：按照优先级对各目标操作进行排序，并将优先级最高的目标操作确定为当前目标操作；实时引导所述飞行员执行所述当前目标操作；所述机载终端设备还用于：在所述当前目标操作执行完成之后，检测所述故障系统是否恢复正常；如果所述故障系统尚未恢复正常，则将下一目标操作确定为当前目标操作，并返回执行实时引导所述飞行员执行所述当前目标操作的操作，直至所述故障系统恢复正常或各目标操作均执行完成为止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911060776.1A CN110723303B (zh) | 2019-11-01 | 2019-11-01 | 辅助决策的方法、装置、设备、存储介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911060776.1A CN110723303B (zh) | 2019-11-01 | 2019-11-01 | 辅助决策的方法、装置、设备、存储介质及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110723303A CN110723303A (zh) | 2020-01-24 |
| CN110723303B true CN110723303B (zh) | 2021-07-09 |
Family
ID=69223648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911060776.1A Active CN110723303B (zh) | 2019-11-01 | 2019-11-01 | 辅助决策的方法、装置、设备、存储介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110723303B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113468710A (zh) * | 2020-03-30 | 2021-10-01 | 中国石化工程建设有限公司 | 一种石化生产辅助操作方法 |
| CN113665839B (zh) * | 2020-05-15 | 2023-06-02 | 中国商用飞机有限责任公司 | 用于控制飞机部件的测量过程的方法 |
| CN112035517B (zh) * | 2020-07-23 | 2024-03-29 | 中国商用飞机有限责任公司 | 用于辅助飞机操控的便携式操作辅助设备、系统及方法 |
| CN112114593A (zh) * | 2020-09-21 | 2020-12-22 | 飞的科技有限公司 | 一种控制系统 |
| CN112346469A (zh) * | 2020-10-15 | 2021-02-09 | 西北工业大学 | 一种辅助应急动力控制方法装置及服务器 |
| CN113328788B (zh) * | 2021-06-08 | 2023-09-26 | 中国商用飞机有限责任公司 | 一种用于机载北斗短报文收发系统的测试系统及测试方法 |
| CN114333431A (zh) * | 2021-12-29 | 2022-04-12 | 中国航空工业集团公司西安飞机设计研究所 | 一种飞机辅助驾驶方法及其系统 |
| CN114545970A (zh) * | 2022-02-23 | 2022-05-27 | 广东汇天航空航天科技有限公司 | 飞行汽车的飞行辅助方法、装置、飞行汽车及介质 |
| CN115099532B (zh) * | 2022-08-22 | 2022-12-06 | 珠海翔翼航空技术有限公司 | 基于机器学习的飞行器着陆风险预测方法、系统及设备 |
| CN117034661B (zh) * | 2023-10-08 | 2024-01-16 | 商飞软件有限公司 | 一种适用于多机型的故障告警仿真系统及仿真方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3009396B1 (fr) * | 2013-07-31 | 2017-03-17 | Airbus Operations Sas | Procede et programme d'ordinateur d'aide a la maintenance d'equipements d'un aeronef |
| CN106741988A (zh) * | 2016-12-14 | 2017-05-31 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于物联网的飞机自主式保障系统与方法 |
| CN106828969B (zh) * | 2017-03-16 | 2019-05-24 | 烟台南山学院 | 一种民航飞机故障远程传输和智能分析支持系统 |
| US10112727B1 (en) * | 2017-08-29 | 2018-10-30 | Kitty Hawk Corporation | Actuator monitoring system using inertial sensors |
| CN109426273A (zh) * | 2017-08-29 | 2019-03-05 | 深圳市道通智能航空技术有限公司 | 一种飞行器控制方法及装置 |
| CN108762225B (zh) * | 2018-04-24 | 2020-11-10 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种飞行控制系统中的故障应对时的机下设备决策方法 |
-
2019
- 2019-11-01 CN CN201911060776.1A patent/CN110723303B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110723303A (zh) | 2020-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110723303B (zh) | 辅助决策的方法、装置、设备、存储介质及系统 | |
| CN104700661B (zh) | 以文本和以图形呈现空中交通控制语音信息的系统和方法 | |
| US8335601B2 (en) | System and method of automated fault analysis and diagnostic testing of an aircraft | |
| CN106910376B (zh) | 一种空中交通运行管制指令监控方法与系统 | |
| US11249494B2 (en) | Systems and methods for sensing and avoiding external objects for aircraft | |
| CN109478374A (zh) | 飞行器控制系统 | |
| CN108630019B (zh) | 用于渲染供atc条件许可指令使用的飞机驾驶舱显示的系统和方法 | |
| CN111915930B (zh) | 机载空管增强协处理系统及方法 | |
| CN115298720A (zh) | 用于基于相机的飞行器检测和避免的机器学习架构 | |
| US8655507B2 (en) | Method and system for dynamically managing a flight procedure of an aircraft flight plan | |
| CN108762225B (zh) | 一种飞行控制系统中的故障应对时的机下设备决策方法 | |
| WO2019012298A1 (en) | DRONE FLIGHT DASH DATABASE FOR AIRCRAFT INSPECTION USING RELATIVE MAPPING | |
| CN112133137B (zh) | Itwr系统与atc系统相关一致性检查方法及装置 | |
| CN114610078B (zh) | 一种无人机空中航路冲突预警方法及系统 | |
| CN115064008A (zh) | 无人机跑道冲突自主预警系统 | |
| EP3767230B1 (en) | Method and system to display object locations during a search and rescue operation | |
| CN113906304A (zh) | 用于感测和避让外部物体的飞行器系统的分层软件架构 | |
| Lunlong et al. | Analysis of requirements and architecture of the next generation flight management system | |
| US11875034B2 (en) | Systems and methods for flight deck customization and pilot performance analytics | |
| EP4155685B1 (en) | Systems and methods for flight deck customization and pilot performance analytics | |
| CN114442651B (zh) | 用云飞行管理系统判定机载飞行管理系统工作模式的方法 | |
| US20240144833A1 (en) | Customized preoperational graphical user interface and remote vehicle monitoring for aircraft systems check | |
| EP4155685A1 (en) | Systems and methods for flight deck customization and pilot performance analytics | |
| CN117311396B (zh) | 飞行监控方法、装置、设备及介质 | |
| EP4080484A1 (en) | Method and system for generating a training data set to train an artificial intelligence module for assisting air traffic control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |