CN113297994B - 一种飞行员行为分析方法及系统 - Google Patents

一种飞行员行为分析方法及系统 Download PDF

Info

Publication number
CN113297994B
CN113297994B CN202110599988.8A CN202110599988A CN113297994B CN 113297994 B CN113297994 B CN 113297994B CN 202110599988 A CN202110599988 A CN 202110599988A CN 113297994 B CN113297994 B CN 113297994B
Authority
CN
China
Prior art keywords
behavior analysis
pilot
analysis model
signals
combat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110599988.8A
Other languages
English (en)
Other versions
CN113297994A (zh
Inventor
王夏爽
毛磊
张金鹏
王智斌
郭宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute Of Casic
Original Assignee
Second Research Institute Of Casic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute Of Casic filed Critical Second Research Institute Of Casic
Priority to CN202110599988.8A priority Critical patent/CN113297994B/zh
Publication of CN113297994A publication Critical patent/CN113297994A/zh
Application granted granted Critical
Publication of CN113297994B publication Critical patent/CN113297994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)

Abstract

本发明提供了一种飞行员行为分析方法及系统。方法包括：获取飞行员与飞行任务相关的生理信号；基于DT算法，计算多种生理信号的贡献度值，将贡献度值大于设定阈值的生理信号作为特征集中的特征信号；根据预设比例将特征集划分为训练集和测试集；根据训练集中的特征信号构建并训练作战行为分析模型；根据测试集中的特征信号对训练后的作战行为分析模型进行测试，判断测试结果与测试集中的特征信号的标签的相符程度是否小于设定阈值；若否，则训练后的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型。根据最终的作战行为分析模型，可有效解决分析飞行员行为时数据处理困难、建模特征冗杂和建模精度较低的问题。

Description

一种飞行员行为分析方法及系统
技术领域
本发明涉及测试评估技术领域，特别是涉及一种飞行员行为分析方法及系统。
背景技术
随着脑科学技术、人机工效技术、人工智能技术的迅速发展，将这些关键技术交叉融合后应用到人类行为探索中成为了发展新方向。
飞行员作为高技能、高风险的职业，其行为的判断、决策会对整个作战任务的完成情况产生较大影响。而且，飞行员的行为是飞行行为建模与仿真的重要部分，同时也可将飞行员的行为用于辅助预备飞行员的飞行模拟训练。
然而，目前的飞行员飞行行为建模方式存在数据处理困难、建模特征冗杂和建模精度较低等问题。
发明内容
为了解决上述问题，本发明提出了一种飞行员行为分析方法及系统。将DT(决策树)算法与卷积神经网络模型相结合，基于从多模态生理信号中提取的贡献度值较高的飞行员的脑电特征、眼动特征和心电特征，建立用于分析飞行员行为的作战行为分析模型，可有效解决分析飞行员行为时数据处理困难、建模特征冗杂和建模精度较低的问题。
为实现上述目的，本发明提供了如下方案：
一种飞行员行为分析方法，包括：
获取飞行员与飞行任务相关的生理信号；
基于DT算法，计算多种所述生理信号的贡献度值，将所述贡献度值大于设定阈值的所述生理信号作为特征集中的特征信号；
根据预设比例将所述特征集划分为训练集和测试集；
根据训练集中的特征信号构建并训练作战行为分析模型；
根据测试集中的特征信号对训练后的作战行为分析模型进行测试，判断测试结果与所述测试集中的特征信号的标签的相符程度是否小于设定阈值；
若是，则采用优化算法对所述训练后的作战行为分析模型的参数进行优化；若否，则所述训练后的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型。
具体的，所述生理信号包括：
与飞行任务相关的脑电信号、眼动信号和心电信号。
具体的，在获取飞行员与飞行任务相关的生理信号之后还包括：
对所述生理信号进行预处理，得到预处理后生理信号；
基于DT算法，计算所述预处理后生理信号的所述贡献度值。
具体的，基于DT算法，计算多种所述生理信号的贡献度值包括：
将多种所述生理信号两两划分为一个特征组；
飞行员判断每个所述特征组中两个所述生理信号在飞行任务中的相对重要程度；
每个所述特征组中相对重要程度较高的所述生理信号的特征贡献为一；
每个所述特征组中相对重要程度较低的所述生理信号的特征贡献为零；
将所有所述特征组中每个所述生理信号的特征贡献求和，得到每个所述生理信号的贡献度值。
具体的，基于交叉验证方法，对所述作战行为分析模型进行训练和测试。
具体的，基于监督学习方法，根据所述测试集中的特征信号对所述训练后的作战行为分析模型进行测试。
具体的，采用梯度下降法对所述训练后的作战行为分析模型的参数进行优化。
具体的，所述作战行为分析模型以卷积神经网络模型为主体；
所述卷积神经网络模型中卷积的计算公式表示为：
其中，表示所述卷积神经网络模型中第一层卷积层的mth个通道激活值，/>通过所述卷积神经网络模型的上一个卷积层和偏置项卷积得出，/>表示所述第一层卷积层mth通道的输出，f(·)表示所述卷积神经网络模型的激活函数，p表示特征信号对应的训练集或测试集，/>表示所述卷积神经网络模型的卷积函数，/>表示/>的偏置；
所述卷积神经网络中池化的计算公式表示为：
ul＝wlxl-1+bl；
其中，down(·)表示所述卷积神经网络模型的降采样函数，表示所述卷积神经网络模型的偏移系数，/>表示特征信号的偏置系数；ul表示lth所述卷积神经网络中全连接层的激活值，wl和bl分别表示所述全连接层的权重和偏差。
本发明还提供了一种飞行员行为分析系统，包括：
生理信号获取模块，用于获取飞行员与飞行任务相关的生理信号；
贡献度计算模块，用于基于DT算法，计算多种所述生理信号的贡献度值，将所述贡献度值大于设定阈值的所述生理信号作为特征集中的特征信号；
特征集划分模块，用于根据预设比例将所述特征集划分为训练集和测试集；
模型训练模块，用于根据训练集中的特征信号构建并训练作战行为分析模型；
模型测试模块，用于根据测试集中的特征信号对训练后的作战行为分析模型进行测试，判断测试结果与所述测试集中的特征信号的标签的相符程度是否小于设定阈值；
若是，则采用优化算法对所述训练后的作战行为分析模型的参数进行优化；若否，则所述训练后的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型。
具体的，所述最终的作战行为分析模型以卷积神经网络模型为主体，包括：
依次串联的第一数据输入层、第一卷积计算层、第一最大池化层、第二卷积计算层、第一最大池化层、第一全局最大池化层、第四全连接层、第一dropout层和第五全连接层；
所述第一数据输入层接收所述飞行员与飞行任务相关的生理信号，经所述最终的作战行为分析模型处理后，于所述第五全连接层输出预测的任务类型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种飞行员行为分析方法及系统，先获取飞行员与飞行任务相关的多模态生理信号，然后利用DT算法从多模态生理信号中筛选出贡献度值较高的生理信号，并基于这些筛选出的生理信号构建并训练作战行为分析模型。在构建并训练好作战行为分析模型后，利用测试集中的特征信号及其标签对训练好的作战行为分析模型进行测试，将测试结果与测试集中的特征信号对应的标签的相符程度作为判断训练好的作战行为分析模型是否符合预设要求的标准。若两者的相符程度小于预设阈值，则认为训练好的作战行为分析模型不符合预设要求，可以通过优化算法对训练好的作战行为分析模型的参数进行进一步的优化；反之，若两者的相符程度大于或等于预设阈值，则认为训练好的作战行为分析模型符合预设要求，可以直接将训练好的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型。
综上所述，本发明中将飞行员的多模态生理信号与DT算法和卷积神经网络相结合，构建出了能够快捷精确分析飞行员行为的作战行为分析模型，能够有效解决现有存在的飞行员飞行行为建模方式存在数据处理困难、建模特征冗杂和建模精度较低等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中飞行员行为分析方法的流程图；
图2为本发明实施例2中多模态生理信号贡献度结果示意图；
图3为本发明实施例2中利用作战行为分析模型分别对训练集和测试集进行分析时的准确率示意图；
图4为本发明实施例2中利用作战行为分析模型分别对训练集和测试集进行分析时的loss示意图；
图5为本发明实施例3中飞行员行为分析系统的结构示意图；
图6为本发明实施例3中作战行为分析模型的网络结构示意图。
符号说明：
1-生理信号获取模块，2-贡献度计算模块，3-特征集划分模块，4-模型训练模块，5-模型测试模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如背景技术中所述，现有的飞行员飞行行为建模方式存在数据处理困难、建模特征冗杂和建模精度较低等问题。若飞行员飞行行为建模方式本身存在这些问题，则在利用现有的飞行员飞行行为分析模型对飞行员的行为进行分析时，会导致其对飞行员行为的分析相对不准确，进而会对飞行员后续的飞行作战、训练效果产生较差的影响。
因此，若能够有效解决现有存在的飞行员飞行行为建模方式的数据处理困难、建模特征冗杂和建模精度较低等问题，将有效提高对飞行员行为的分析精度，进而能够有效提升飞行员后续的飞行作战、训练效果。
为此，本发明提供了一种飞行员行为分析方法及系统，能够有效实现上述技术效果，能够有效解决现有的飞行员飞行行为建模方式的数据处理困难、建模特征冗杂和建模精度较低等问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
如图1所示，本发明在实施例1中介绍了一种飞行员行为分析方法，其中的S1-S5分别对应方法中的各个步骤：
S1：获取飞行员与飞行任务相关的生理信号；
S2：基于DT算法，计算多种生理信号的贡献度值，将贡献度值大于设定阈值的生理信号作为特征集中的特征信号；
S3：根据预设比例将特征集划分为训练集和测试集；
S4：根据训练集中的特征信号构建并训练作战行为分析模型；
S5：根据测试集中的特征信号对训练后的作战行为分析模型进行测试，判断测试结果与测试集中的特征信号的标签的相符程度是否小于设定阈值；
若是，则采用优化算法对训练后的作战行为分析模型的参数进行优化；若否，则训练后的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型。
其中，由于飞行员与飞行任务相关的生理信号是多种多样的，且在数值上存在差异，若直接利用所有的生理信号对飞行员的行为进行分析，将由于多种生理信号与飞行任务贡献度的差异以及数值上的差异导致对飞行员行为分析的不准确性。因此，本发明中采用了DT算法，先根据贡献度值对飞行员与飞行任务相关的多种生理信号进行筛选，挑选出其中对飞行任务分析准确率影响相对最大的生理信号，然后再在后续利用筛选出的这些生理信号构建并训练作战行为分析模型。筛选后的生理信号能够保证作战行为分析模型的构建精度以及利用作战行为分析模型对飞行员行为分析的准确度。进而能够有效解决现有的飞行员飞行行为建模方式中数据处理困难、建模特征冗杂和建模精度较低等问题。
在筛选出贡献度值较高的多种生理信号后，本发明中将这些生理信号作为了特征集中的特征信号。然后根据设定的比例将特征集划分为了训练集和测试集，即，将特征集中的所有特征信号按照设定的比例分别作为训练集和测试集中的特征信号。之后利用训练集中的特征信号构建并训练以卷积神经网络(CNN)模型为主体的作战行为分析模型。在得到训练后的作战行为分析模型后，需要利用测试集中的特征信号对作战行为分析模型进行测试，以确保得到的作战行为分析模型对飞行员行为的分析精度。在该过程中，将筛选出的生理信号作为作战行为分析模型的输入数据，通过作战行为分析模型可输出与该生理信号对应的预测的飞行员行为。之后将每个预测的飞行员行为与对应生理信号的实际标签(实际的飞行员行为)进行比对，判断利用作战行为分析模型得到的所有预测的飞行员行为与实际的飞行员行为的比对准确率，作为预测数据与实际数据的相符程度数值，若该相符程度数值小于设定阈值，则认为训练得到的作战行为分析模型不符合要求，不能实现对飞行员飞行行为的准确分析。此时可以利用优化算法对作战行为分析模型的参数进行优化，待得到优化后的作战行为分析模型后，再次利用测试集中的特征信号对其进行测试，直到作战行为分析模型的预测数据与实际数据的相符程度数值大于或等于设定阈值为止。若两者的相符程度数值大于或等于设定阈值，则可以直接利用该作战行为分析模型(相符程度数值大于或等于设定阈值的作战行为分析模型)根据实时输入的飞行员多模态生理信号对飞行员的行为进行分析。
综上所述，本发明在构建作战行为分析模型前，考虑到了飞行员的多模态生理信号对飞行员行为分析影响的差异；在构建和训练作战行为分析模型时，进一步考虑到了作战行为分析模型对飞行员实际飞行行为的分析准确度。基于此，本发明中将DT算法、贡献度值筛选、卷积神经网络模型和优化算法结合，有效保证了构建出的用于分析飞行员行为的作战行为分析模型的分析准确度，并且能够有效避免数据冗杂、数据处理难度大等问题。
接下来在实施例2中以实际数据对实施例1中的飞行员行为分析方法的具体过程进行进一步说明。
实施例2：
如图2所示，为本发明实施例2中多模态生理信号贡献度结果示意图。其中的NN50、alpha、theta、delta、SDANN、hf、If、Ifnorm、Position Y、RMSSD、Average Pupil Size[px]X、PNN50、Position X、SDNNI、hfnorm、SDNN、Dispersion Y、Average Pupil Size[px]Y、Ifhf、Average Pupil Diameter[mm]和Dispersion X分别表示飞行员的多模态生理信号，包括发飞行员脑电信号、飞行员眼动信号和飞行员心电信号。图2中的顺序表示相应的生理信号在所有输入的多模态生理信号中的输入位置。
在获取飞行员的多模态生理信号后，将多模态生理信号中的生理信号两两划分为一个特征组，飞行员判断每个特征组中两个生理信号分别对飞行任务的贡献程度，将认为贡献程度相对较大的生理信号的贡献程度加一，将认为贡献程度相对较小的生理信号的贡献程度加零，最后将所有特征组中同一生理信号的贡献程度的值求和，即得到了多模态生理信号中每个生理信号对应的贡献度值。最后通过设定阈值，利用DT算法构建的决策树对多模态生理信号的贡献度值进行筛选，将贡献度值相对较高的预设数量的生理信号作为后续用于构建、训练和测试作战行为分析模型的特征信号。
由图2可看出，其中的生理信号NN50、alpha和theta的贡献度值相对较高，因此，实施例2中选取了飞行员多模态生理信号中的NN50、alpha和theta这几种生理信号作为了后续作战行为分析模型的特征信号。
另外，本发明中的作战行为分析模型以卷积神经网络模型为主体；
卷积神经网络模型中卷积的计算公式表示为：
其中，表示卷积神经网络模型中第一层卷积层的mth个通道激活值，/>通过卷积神经网络模型的上一个卷积层和偏置项卷积得出，/>表示第一层卷积层mth通道的输出，f(·)表示卷积神经网络模型的激活函数，p表示特征信号对应的训练集或测试集，/>表示卷积神经网络模型的卷积函数，/>表示/>的偏置；
卷积神经网络中池化的计算公式表示为：
ul＝wlxl-1+bl；
其中，down(·)表示卷积神经网络模型的降采样函数，表示卷积神经网络模型的偏移系数，/>表示特征信号的偏置系数；ul表示lth卷积神经网络中全连接层的激活值，wl和bl分别表示全连接层的权重和偏差。
在利用如实施例1中所述的飞行员行为分析方法基于上述的多模态生理信号构建并训练好作战行为分析模型后，若作战行为分析模型基于测试集中的特征信号得到的输出结果与实际结果的相符程度小于预设范围，则认为得到的训练后的作战行为分析模型不符合要求。此时可以利用优化算法对作战行为分析模型中上述的卷积计算公式和池化计算公式中的参数进行优化，并得到优化后的作战行为分析模型。待利用测试集中的特征信号输入优化后的作战行为分析模型得到的输出结果与实际结果的相符程度大于或等于预设范围时，认为得到了能够有效保证飞行员飞行行为分析准确度的作战行为分析模型，并可直接利用此模型对飞行员实际的飞行行为进行分析。
如图3所示，为本发明实施例2中利用作战行为分析模型分别对训练集和测试集进行分析时的准确率示意图；如图4所示，为本发明实施例2中利用作战行为分析模型分别对训练集和测试集进行分析时的loss示意图。其中的细线表示利用作战行为分析模型对训练集进行分析时的准确率变化曲线图，粗线表示利用作战行为分析模型对测试集进行分析时的准确率变化曲线图。另外，图3和图4的横坐标分别表示输入到作战行为分析模型的筛选后的生理信号的数量，图3的纵坐标表示作战行为分析模型输出结果与实际标签的相符程度值，图4的纵坐标表示作战行为分析模型输出结果与实际标签的误差值。结合图3和图4可看出，随着作战行为分析模型输入生理信号的数量的增加，利用本发明中提供的飞行员行为分析方法构建的作战行为分析模型能够保证较高的行为分析准确度，能够根据飞行员的多模态生理信号实现对飞行员行为与飞行任务关系的准确分析。
实施例3：
如图5所示，本发明在实施例3中介绍了一种飞行员行为分析系统。其中，系统包括生理信号获取模块1、贡献度计算模块2、特征集划分模块3、模型训练模块4和模型测试模块5。
其中，
生理信号获取模块1用于获取飞行员与飞行任务相关的生理信号；
贡献度计算模块2用于基于DT算法，计算多种生理信号的贡献度值，将贡献度值大于设定阈值的生理信号作为特征集中的特征信号；
特征集划分模块3用于根据预设比例将特征集划分为训练集和测试集；
模型训练模块4用于根据训练集中的特征信号构建并训练作战行为分析模型；
模型测试模块5用于根据测试集中的特征信号对训练后的作战行为分析模型进行测试，判断测试结果与测试集中的特征信号的标签的相符程度是否小于设定阈值；
若是，则采用优化算法对训练后的作战行为分析模型的参数进行优化；若否，则训练后的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型。
即，本发明实施例3中飞行员行为分析系统的各模块与实施例1中飞行员行为分析方法的各步骤在功能上一一对应，飞行员行为分析系统依次经获取飞行员的多模态生理信号、DT算法筛选、训练集和测试集的划分、作战行为分析模型的构建和训练、作战行为分析模型的测试等步骤后，也能得到能够有效保证飞行员行为分析准确度的作战行为分析模型，也能够有效解决现有的飞行员飞行行为建模方式中数据处理困难、建模特征冗杂和建模精度较低等问题。
如图6所示，为本发明实施例3中作战行为分析模型的网络结构示意图，该作战行为分析模型以卷积神经网络模型为主体。如图6所示，其中的conv1d_1_input:InputLayer表示第一数据输入层；conv1d_1:Conv1D表示第一卷积计算层；max_pooling1d_1:MaxPooling1D表示第一最大池化层；conv1d_2:Conv1D表示第二卷积计算层；max_pooling1d_2:MaxPooling1D表示第二最大池化层；global_average_pooling1d_1:GlobalAveragePooling1D表示第一全局最大池化层；dense_4:Dense表示第四全连接层；dropout_1:Dropout表示第一dropout层；dense_5:Dense表示第五全连接层。另外，其中的input和output分别表示各层的输入和输出。
在利用训练集中的特征信号构建并得到训练后的作战行为分析模型后，若利用该作战行为分析模型得到的输出结果与实际结果的相符程度小于预设阈值，则认为得到的作战行为分析模型并不能实现飞行员行为的准确分析，此时，可以利用优化算法，例如梯度下降法，对上述作战行为分析模型中的第一数据输入层、第一卷积计算层、第一最大池化层、第二卷积计算层、第二最大池化层、第一全局最大池化层、第四全连接层、第一dropout层和第五全连接层中的任意一层或几层的参数进行优化，得到优化后的作战行为分析模型。此后，再重新对优化后的作战行为分析模型进行测试，直到优化后的作战行为分析模型能够实现飞行员飞行行为的准确预测为止。
综上所述，本发明中提供的一种飞行员行为分析方法及系统，将飞行员的多模态生理信号与DT算法和卷积神经网络相结合，构建出了能够快捷精确分析飞行员行为的作战行为分析模型，能够有效解决现有存在的飞行员飞行行为建模方式存在数据处理困难、建模特征冗杂和建模精度较低等问题，能够利用得到的最终的作战行为分析模型实现飞行员飞行行为的准确预测，进而能够有效提升飞行员后续的飞行作战、训练效果。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，对以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种飞行员行为分析方法，其特征在于，包括：
获取飞行员与飞行任务相关的生理信号；
基于DT算法，计算多种所述生理信号的贡献度值，将所述贡献度值大于设定阈值的所述生理信号作为特征集中的特征信号；
根据预设比例将所述特征集划分为训练集和测试集；
根据训练集中的特征信号构建并训练作战行为分析模型；
根据测试集中的特征信号对训练后的作战行为分析模型进行测试，判断测试结果与所述测试集中的特征信号的标签的相符程度是否小于设定阈值；
若是，则采用优化算法对所述训练后的作战行为分析模型的参数进行优化；若否，则所述训练后的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型；
所述生理信号包括：
与飞行任务相关的脑电信号、眼动信号和心电信号；
在获取飞行员与飞行任务相关的生理信号之后还包括：
对所述生理信号进行预处理，得到预处理后生理信号；
基于DT算法，计算所述预处理后生理信号的所述贡献度值；
基于DT算法，计算多种所述生理信号的贡献度值包括：
将多种所述生理信号两两划分为一个特征组；
飞行员判断每个所述特征组中两个所述生理信号在飞行任务中的相对重要程度；
每个所述特征组中相对重要程度较高的所述生理信号的特征贡献为一；
每个所述特征组中相对重要程度较低的所述生理信号的特征贡献为零；
将所有所述特征组中每个所述生理信号的特征贡献求和，得到每个所述生理信号的贡献度值；
基于交叉验证方法，对所述作战行为分析模型进行训练和测试；
基于监督学习方法，根据所述测试集中的特征信号对所述训练后的作战行为分析模型进行测试；
采用梯度下降法对所述训练后的作战行为分析模型的参数进行优化；
所述作战行为分析模型以卷积神经网络模型为主体；
所述卷积神经网络模型中卷积的计算公式表示为：
；
其中，表示所述卷积神经网络模型中第一层卷积层的/>个通道激活值，/>通过所述卷积神经网络模型的上一个卷积层和偏置项卷积得出，/>表示所述第一层卷积层/>通道的输出，/>表示所述卷积神经网络模型的激活函数，/>表示特征信号对应的训练集或测试集，/>表示所述卷积神经网络模型的卷积函数，/>表示/>的偏置；
所述卷积神经网络中池化的计算公式表示为：
；
；
其中，表示所述卷积神经网络模型的降采样函数，/>表示所述卷积神经网络模型的偏移系数，/>表示特征信号的偏置系数；/>表示/>所述卷积神经网络中全连接层的激活值，/>和/>分别表示所述全连接层的权重和偏差。
2.一种飞行员行为分析系统，其特征在于，用于实现如权利要求1所述的一种飞行员行为分析方法，包括：
生理信号获取模块，用于获取飞行员与飞行任务相关的生理信号；
贡献度计算模块，用于基于DT算法，计算多种所述生理信号的贡献度值，将所述贡献度值大于设定阈值的所述生理信号作为特征集中的特征信号；
特征集划分模块，用于根据预设比例将所述特征集划分为训练集和测试集；
模型训练模块，用于根据训练集中的特征信号构建并训练作战行为分析模型；
模型测试模块，用于根据测试集中的特征信号对训练后的作战行为分析模型进行测试，判断测试结果与所述测试集中的特征信号的标签的相符程度是否小于设定阈值；
若是，则采用优化算法对所述训练后的作战行为分析模型的参数进行优化；若否，则所述训练后的作战行为分析模型作为用于分析飞行员行为的最终的作战行为分析模型。
3.根据权利要求2所述的飞行员行为分析系统，其特征在于，所述最终的作战行为分析模型以卷积神经网络模型为主体，包括：
依次串联的第一数据输入层、第一卷积计算层、第一最大池化层、第二卷积计算层、第二最大池化层、第一全局最大池化层、第四全连接层、第一dropout层和第五全连接层；
所述第一数据输入层接收所述飞行员与飞行任务相关的生理信号，经所述最终的作战行为分析模型处理后，于所述第五全连接层输出预测的任务类型。
CN202110599988.8A 2021-05-31 2021-05-31 一种飞行员行为分析方法及系统 Active CN113297994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599988.8A CN113297994B (zh) 2021-05-31 2021-05-31 一种飞行员行为分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599988.8A CN113297994B (zh) 2021-05-31 2021-05-31 一种飞行员行为分析方法及系统

Publications (2)

Publication Number Publication Date
CN113297994A CN113297994A (zh) 2021-08-24
CN113297994B true CN113297994B (zh) 2023-08-18

Family

ID=77326317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599988.8A Active CN113297994B (zh) 2021-05-31 2021-05-31 一种飞行员行为分析方法及系统

Country Status (1)

Country Link
CN (1) CN113297994B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397482B (zh) * 2021-05-19 2023-01-06 中国航天科工集团第二研究院 一种人类行为分析方法及系统
CN113397567B (zh) * 2021-05-19 2023-03-21 中国航天科工集团第二研究院 一种人类行为脑电信号分类方法及系统
CN114046870B (zh) * 2021-11-29 2023-05-12 国网江苏省电力有限公司经济技术研究院 一种电力系统宽频振荡的广域监测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1638689A (zh) * 2001-03-07 2005-07-13 沃尔特里德陆军研究所 预测人类认知表现的方法和系统
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
CN102246198A (zh) * 2008-10-14 2011-11-16 普罗秋斯生物医学公司 用于在游戏环境中结合生理数据的方法和系统
CN107087431A (zh) * 2014-05-09 2017-08-22 谷歌公司 用于辨别眼睛信号和连续生物识别的系统和方法
CN110163180A (zh) * 2019-05-29 2019-08-23 长春思帕德科技有限公司 运动想象脑电数据分类方法及系统
CN111240350A (zh) * 2020-02-13 2020-06-05 西安爱生无人机技术有限公司 一种无人机飞行员动态行为评估系统
CN111583962A (zh) * 2020-05-12 2020-08-25 南京农业大学 一种基于声学分析的羊反刍行为监测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1638689A (zh) * 2001-03-07 2005-07-13 沃尔特里德陆军研究所 预测人类认知表现的方法和系统
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
CN102246198A (zh) * 2008-10-14 2011-11-16 普罗秋斯生物医学公司 用于在游戏环境中结合生理数据的方法和系统
CN107087431A (zh) * 2014-05-09 2017-08-22 谷歌公司 用于辨别眼睛信号和连续生物识别的系统和方法
CN110163180A (zh) * 2019-05-29 2019-08-23 长春思帕德科技有限公司 运动想象脑电数据分类方法及系统
CN111240350A (zh) * 2020-02-13 2020-06-05 西安爱生无人机技术有限公司 一种无人机飞行员动态行为评估系统
CN111583962A (zh) * 2020-05-12 2020-08-25 南京农业大学 一种基于声学分析的羊反刍行为监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经网络与专家系统的智能决策支持系统;祝世虎等;《电光与控制》(第第1期期);第8-11页 *

Also Published As

Publication number Publication date
CN113297994A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113297994B (zh) 一种飞行员行为分析方法及系统
CN113627518B (zh) 利用迁移学习实现神经网络脑电情感识别模型的方法
CN112131760A (zh) 基于cbam模型的航空发动机剩余寿命预测方法
CN111368885B (zh) 一种航空发动机气路故障诊断方法
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CA3148847A1 (en) Automated neural network generation using fitness estimation
CN113486578B (zh) 一种工业过程中设备剩余寿命的预测方法
CN112859898B (zh) 一种基于双通道双向神经网络的飞行器轨迹预测方法
CN111680913B (zh) 一种舰员的超负荷工作检测方法及系统
CN108319928A (zh) 一种基于多目标微粒群算法优化的深度学习模型及应用
CN111638034B (zh) 基于深度学习的应变天平温度梯度误差补偿方法及系统
EP3968337A1 (en) Target object attribute prediction method based on machine learning and related device
CN114190952B (zh) 一种基于导联分组的12导联心电信号多标签分类方法
CN113576481B (zh) 一种脑力负荷评估方法、装置、设备、介质
CN111477329B (zh) 一种基于图文结合评估心理状态的方法
CN116842475A (zh) 基于多模态信息融合的疲劳驾驶检测方法
CN116129510A (zh) 基于眼动数据评估飞行员对不同编码信息感知的方法与装置
CN113951868B (zh) 机械通气患者人机不同步检测方法及装置
CN111477328A (zh) 一种非接触式的心理状态预测方法
CN117547270A (zh) 一种多源数据融合的飞行员认知负荷反馈系统
CN109119155B (zh) 基于深度学习的icu死亡危险性评估系统
Liu et al. MRD-NETS: multi-scale residual networks with dilated convolutions for classification and clustering analysis of spacecraft electrical signal
CN115048873B (zh) 一种用于飞机发动机的剩余使用寿命预测系统
CN114912829B (zh) 一种飞行员高原适飞的评估方法及系统
CN108021873B (zh) 一种聚类非对称互信息的脑电信号癫痫分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant