CN117171681B - 非平衡小样本下的无人机舵面智能故障诊断方法及装置 - Google Patents
非平衡小样本下的无人机舵面智能故障诊断方法及装置 Download PDFInfo
- Publication number
- CN117171681B CN117171681B CN202311455764.5A CN202311455764A CN117171681B CN 117171681 B CN117171681 B CN 117171681B CN 202311455764 A CN202311455764 A CN 202311455764A CN 117171681 B CN117171681 B CN 117171681B
- Authority
- CN
- China
- Prior art keywords
- fault
- sample
- control surface
- model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003062 neural network model Methods 0.000 claims abstract description 57
- 238000012360 testing method Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 230000035945 sensitivity Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 58
- 238000012795 verification Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 10
- 238000005259 measurement Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 238000012352 Spearman correlation analysis Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及无人机舵面智能故障诊断技术领域，公开了一种非平衡小样本下的无人机舵面智能故障诊断方法及装置，步骤包括：a.从无人机非平衡小样本数据集中选择舵面故障敏感参数并归一化；b.采用滑动窗口和随机采样方法构建输入样本对；c.建立基于卷积门控循环单元的双路神经网络模型进行故障特征提取；d.利用L1距离函数计算输入样本对故障特征间的相似性，引入加权二元交叉熵损失函数优化模型训练过程中对多数类和少数类的分类效果；e.对预训练模型使用微调策略增强模型对测试数据的适应性，输出模型在测试样本上的故障诊断性能指标。本发明在舵面故障非平衡小样本及环境扰动下具有优异的故障诊断性能，为无人机舵面智能故障诊断提供了有效方案。
Description
技术领域
本发明涉及无人机舵面故障诊断技术领域，具体涉及一种非平衡小样本下的无人机舵面智能故障诊断方法及装置。
背景技术
舵面作为无人机飞控系统的重要组成部分，以升降舵、方向舵和副翼为核心，在无人机的气动操纵和飞行增稳中发挥着关键作用。然而，由于舵面长期处于恶劣环境中，如高速、高低温剧烈变化和高压环境等，频繁承受变载荷和大力矩作用，容易出现结构损伤和执行故障。一旦发生故障，无人机的操纵效率将受到严重影响，甚至可能导致飞行任务失败或安全事故的发生。
为了保证无人机飞行任务的顺利执行，需要准确发现舵面故障以及时更换处理，为了达到这一目的，现有研究提出了一系列无人机舵面故障诊断方法。其中，数据驱动的方法主要是在收集舵面故障样本的基础上，通过机器学习或深度学习模型提取故障特征并自动进行故障的分类识别。
但是，目前大多数方法良好性能的实现，都是建立在无人机舵面的各类故障样本数量充足且平衡的假设基础之上。然而，现实中，各类无人机由于其使用途径、飞行环境、以及自身的形状结构的不同，导致舵面故障的发生原因和形成故障的类别都是千差万别的。因而实际上很难收集齐所有故障类别对应的故障样本，无法保证各个故障类别的样本数据都是平衡的，而且每次飞行任务均会受到外界环境因素影响。因此，当故障样本不平衡和故障特征不完备时，会造成模型故障诊断的结果出现较大偏差，且模型对环境扰动下故障分类的适应性较差。
为此，现有的大多解决方案是通过增强少数类故障的样本以降低故障类别不平衡和故障特征不完备导致的诊断偏差，但是增强样本的质量难以保证，扩充后的样本一定程度上增加了模型训练的计算成本。
发明内容
本发明提供了一种非平衡小样本下的无人机舵面智能故障诊断方法，用于实现无人机舵面准确智能的故障诊断，能够显著降低有限故障数据和非平衡数据对智能诊断模型性能的不利影响，增强了模型对于分布不一致测试数据的适应性。
本发明采取的技术方案为：
非平衡小样本下的无人机舵面智能故障诊断方法，该方法包括以下步骤：
步骤一，使用相关性分析技术从无人机非平衡小样本飞行数据中选择舵面故障敏感参数，并进行归一化得到初始故障数据；将初始故障数据按照16:4:5的比例划分为训练集、验证集和测试集；
步骤二，采用具有固定长度和步长的滑动窗口对初始故障数据进行分割和重组，得到舵面状态矩阵，通过随机采样方法构建输入样本对；
步骤三，构建基于卷积门控循环单元CNN-GRU的初始双路神经网络模型DCNN，对输入的训练样本对进行故障特征提取，得到一一对应的输入样本对故障特征；
步骤四，利用L1距离函数计算输入样本对故障特征间的相似性，并引入加权二元交叉熵损失函数优化初始双路神经网络模型训练过程中对不平衡数据中多数类和少数类的分类效果，选择在验证集上分类准确率最高的模型作为优化双路神经网络模型；
步骤五，加载预训练好的优化双路神经网络模型，使用测试集中10%-20%的样本对优化双路神经网络模型的网络参数进行微调，以得到最终双路神经网络模型；将测试集中剩余的测试样本输入到最终双路神经网络模型，输出模型在测试样本上的故障诊断性能指标；
其中，步骤一中使用的相关性分析技术为斯皮尔曼等级相关系数rs，其取值范围为[-1,1]，计算公式为：
其中，表示变量的数量；/>和/>分别为变量/>和/>的等级。
优选地，步骤一中对敏感参数使用最小-最大归一化方法将样本值变换至[-1,1]区间，即：
。
其中，V min为舵面故障敏感参数样本值V i的最小值，V max为舵面故障敏感参数样本值V i的最大值，为使用最小-最大归一化方法归化后形成的初始故障数据样本值。
优选地，步骤二中使用的滑动窗口的长度为80，步长为1，随机采样获得的样本对为Y=，其中/>分别为/>的故障标签，/>为整个样本对的标签。
优选地，步骤三中设计的初始双路神经网络模型由两个结构相同且权重共享的CNN-GRU子网络组成，每个子网络包括四个卷积层，第一层卷积采用大卷积核的核尺寸为16*1以过滤样本中的噪声,后三层卷积均使用较小卷积核的核尺寸为3*1以避免过拟合，每个卷积层后依次附有BN层、ReLU激活函数和最大池化层；输入样本对中的单样本经过各层的依次处理，从第层获得的第/>个故障特征为：
其中，MP代表最大池化层，ReLU代表ReLU激活函数，BN代表批归一化层；Conv1D代表一维卷积，代表训练卷积的权重张量；/>是第/>层的第/>个特征向量；/>是对应的偏置项。
优选地，将步骤三中获得的关于每个样本的故障特征分别输入GRU子网络进行特征提取，其过程涉及的更新门/>和重置门/>等操作可以描述为：
其中，为Sigmoid激活函数；/> 和/>分别表示前馈权重矩阵；/>为/>时刻的输入；/> 和/>分别代表循环权重矩阵；/>为偏差；/>和/>分别为/>时刻的候选记忆和隐藏层输出；其中各字母的上标/> 和/>分别对应着更新门、重置门和隐藏单元；/>表示矩阵点乘。
优选地，在步骤三中经过GRU子网络获得的特征进一步输入全局平均池化层进行特征降维得到最终故障特征。
优选地，步骤四中使用的距离函数对输入样本对故障特征间的相似性计算过程为：
其中，代表两个样本故障特征/>和/>之间的距离；计算得到的距离值输入最后的预测层，通过Sigmoid激活函数转换为范围为[0,1]的概率进行输出。
优选地，步骤四中引入的加权二元交叉熵损失函数WBCEL能够根据多数类和少数类的样本数量分别施加权重约束，加权二元交叉熵损失函数WBCEL的数学表达式如下所示：
其中，和/>分别表示模型预测样本对的标签为1和0时的概率；权重系数/>和/>根据每个训练批次中相同和不同样本对的数量/>的比值关系计算得来，其中/>，/>；当训练样本类别完全平衡时，加权二元交叉熵损失函数WBCEL自动退化为传统的二元交叉熵损失函数; 加权二元交叉熵损失函WBCEL和传统的二元交叉熵损失均采用以上公式计算得到，两者的区别仅在于传统的二元交叉熵损失函数中权重系数均为0.5。
优选地，测试阶段使用的微调训练样本占所有测试样本的10%；步骤五中在形成最终双路神经网络模型后，在剩余的测试样本上进行评估，采用的故障诊断性能指标包括精确率Precision、召回率Recall、F1分数、准确率Accuracy和宏平均MF1分数，计算方法分别如下：
其中，TN、TP、FN、FP分别是真阴性、真阳性、假阴性、假阳性样本的数量；各个指标的下标分别代表对应的类别；表示类别总数。
本发明还提供了一种非平衡小样本下的无人机舵面智能故障诊断装置，采用前述的非平衡小样本下的无人机舵面智能故障诊断方法。
本发明的原理及有益效果：
现有的基于深度学习的方法对无人机舵面故障进行诊断时，模型训练过度依赖于充足且平衡的故障样本，由于实际工况下故障样本难以获取，且各类故障样本数量不平衡，往往导致模型容易出现误诊、漏诊以及泛化性能降低等后果；只有使用数量越多、类别越平衡的样本数据训练模型才能得到尽可能真实的故障判断结果，但是导致对算力的需求不断提升；无人机每次飞行任务所处的环境条件不同，使得模型对于环境扰动下的故障适应性较差。
针对目前本领域技术人员在处理无人机舵面故障诊断时面临的挑战，本方案直接从源头出发，针对类别不平衡的小样本故障数据，能够经过本方法处理后进行故障判断，且判断结果的准确性整体优于现有故障判断方法。通过本发明，有效降低了对舵面故障样本数量的要求，在不需要花费过多算力的前提下，利用较少故障样本数据即可实现较为准确的故障诊断，从而针对故障原因及时修复或者更换无人机舵面，减少因为舵面故障带来的风险和损失。
与现有技术相比，本方案巧妙地将非平衡小样本下的舵面故障诊断转换为舵面故障样本对的相似性度量问题，利用相关性分析构建基于敏感参数的样本对，通过建立的双路神经网络模型DCNN （Dual-channel neural network model）和L1距离函数计算样本对的相似性，使即使在小样本的情况下，也能够通过多次相似性和相关性的判断，来建立各个故障特征之间的联系，即使是未发现的新故障特征也能够被精准判断出来；同时，利用加权二元交叉熵损失函数优化模型对不平衡数据的分类，避免故障类别不平衡造成的诊断误差，利用微调策略能够实现对环境扰动下具有分布差异的测试样本的准确诊断，其综合诊断性能远远超越现有方法。
附图说明
图1是本发明的整体流程图；
图2是本发明的模型网络结构参数；
图3是构建的数据集说明图；
图4是平衡小样本条件下提出模型与现有方法的准确率对比图；
图5是非平衡小样本条件下各类模型对舵面故障的分类性能对比图；
图6是模型在环境扰动下非平衡小样本数据上的故障诊断性能准确率对比图；
图7是模型在环境扰动下非平衡小样本数据上的故障诊断性能MF1分数对比图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例一
实施例基本如附图1所示：本实施例利用基于卷积门控循环单元（CNN-GRU）的双路神经网络模型DCNN，将非平衡小样本下的舵面故障诊断转换为故障样本对的相似性度量问题。利用双路神经网络模型权重共享的训练方式实现输入样本到度量空间的特征映射，并衡量特征间的相似性进行小样本舵面故障的分类，并引入加权二元交叉熵损失函数优化模型对不平衡样本的分类效果，实现对不同工况下无人机舵面故障的准确识别。本实施例中，非平衡小样本下的无人机舵面智能故障诊断方法具体包括以下步骤：
步骤1，使用相关性分析技术从无人机非平衡小样本飞行数据中选择舵面故障敏感参数，具体得到俯仰角、x轴线性加速度、北向速度、高度、地速、空速和四通道动作控制指令共10种舵面故障敏感参数，并对其进行归一化；
步骤2，采用具有固定长度和步长的滑动窗口对数据进行分割和重组，其中所选窗口的长度80和步长1兼顾了样本处理时间和双路神经网络模型故障诊断准确率，进而得到舵面的状态矩阵，通过随机采样方法构建输入样本对；
步骤3，构建基于卷积门控循环单元（CNN-GRU）的双路神经网络模型DCNN，对输入的样本对进行故障特征提取；
步骤4，利用L1距离函数计算输入样本对故障特征间的相似性，并引入加权二元交叉熵损失函数优化模型训练过程中对不平衡数据中多数类和少数类样本的分类效果；引入的加权二元交叉熵损失函数能够根据多数类和少数类的样本数量分别施加权重约束，使得模型在反向传播过程中对少数类样本给予更多关注；
步骤5，加载预训练好的模型，使用测试集10%-20%的故障样本对预训练模型的网络参数进行微调，然后将其应用于测试样本，并输出模型在测试样本上的故障诊断性能指标。
本发明针对在无人机飞行过程中故障样本稀少、不同故障发生概率各异导致的舵面故障数据小样本不平衡、诊断准确率和泛化性能差的问题，提出一种智能故障诊断方法。首先从获取的多变量飞行数据中筛选与舵面故障密切相关的参数，并对其进行归一化操作；为了捕捉故障样本间时序和空间特征，使用滑动窗口截取样本以获得舵面状态矩阵和样本对；构建基于卷积门控循环单元（CNN-GRU）的双路神经网络模型DCNN，从输入样本对中提取故障特征并进行相似性度量；通过加权二元交叉熵损失函数优化模型分类能力，将模型在小样本不平衡数据上进行训练；将训练好的模型利用一定数量的不同分布的测试样本进行微调，在剩余测试样本上验证模型的故障分类能力。本发明能够在有限且数量不平衡的舵面故障样本上进行有效训练，通过故障特征相似性度量和加权二元交叉熵损失函数，有效解决了小样本不平衡故障诊断和环境扰动下模型适应性差的问题，为实现无人机舵面的智能故障诊断提供了先进方案。
如图1所示，本实施例的非平衡小样本下的无人机舵面智能故障诊断装置，包括用来进行无人机非平衡小样本数据采集的测试平台，其中，采用一架小型固定翼无人机作为测试平台，由无人机、地面控制站和遥控发射器组成，该小型无人机翼展为1.2米，由电池供电，具有两个控制舵面，地面控制站运行在一台笔记本电脑上，通过无线电调制解调器实现与无人机的通信和控制。为了避免无人机在自主模式下由于注入的舵面故障发生失控坠落，遥控发射器配备了手动操作模式，整个飞行测试过程使用了Paparazzi开源飞控系统。收集的数据包括无人机在不同日期飞行任务下，右舵面的30%损伤故障（d1）、左舵面的90%-30%损伤故障（d2-d8），以及正常状态（d0）共9种状态下的数据。
非平衡小样本下的无人机舵面智能故障诊断装置，还包括用来对无人机非平衡小样本数据进行预处理得到初始故障数据的预处理模块，用来产生最终双神经网络模型的模型生成模块，以及分别与测试平台、预处理模块和模型生成模块通信连接的中央处理器；所述模型生成模块内，预存有基于卷积门控循环单元CNN-GRU的初始双路神经网络模型DCNN；中央处理器，按照16:4:5的比例对初始故障数据进行划分，得到训练集、验证集和测试集；模型生成模块，从训练集中对输入的训练样本对进行故障特征提取，得到一一对应的输入样本对故障特征，将输入样本对故障特征代入到初始双路神经网络模型DCNN，同时，利用L1距离函数计算输入样本对故障特征间的相似性，并引入加权二元交叉熵损失函数优化初始双路神经网络模型训练过程中对不平衡数据中多数类和少数类的分类效果，选择在验证集上分类准确率最高的模型作为优化双路神经网络模型；然后，加载预训练好的优化双路神经网络模型，使用测试集中10%-20%的样本对优化双路神经网络模型的网络参数进行微调，以得到最终双路神经网络模型。
本实施例中，中央处理器、预处理模块和模型生成模块可以选择集成一体的一体式电脑，或者具有类似功能的PC电脑、平板电脑，或者现有具有同样数据处理功能的其他数据处理设备和智能设备。
对比试验1：本方案模型在平衡小样本下的故障诊断性能对比
为了验证本方案模型的性能，利用数据集C设置平衡小样本实验，即训练样本数量有限且各类故障样本数量相等，将本方案模型与三大类经典的故障诊断方法进行了全面对比，包括机器学习算法—支持向量机（SVM），深度学习方法—1D CNN、GRU和1D CNN-GRU（CNNG），小样本学习方法—DCNN变体模型（DCNN’），其中DCNN’与DCNN的唯一区别是前者使用了传统的二元交叉熵损失函数。
参照图1，本发明的无人机传感器零样本故障检测方法，采用无人机实验平台，完成以下步骤：
步骤1，使用斯皮尔曼相关性分析技术从无人机非平衡小样本飞行数据的42个飞行状态参数中选择了10种舵面故障敏感参数，包括俯仰角、x轴线性加速度、北向速度、高度、地速、空速和四通道动作控制指令，并对这些参数进行归一化，其中，斯皮尔曼等级相关系数rs，其取值范围为[-1,1]，计算公式为：
其中，表示变量的数量；/>和/>分别为变量/>和/>的等级。
使用最小-最大归一化方法将样本值变换至[-1,1]区间，即：
其中，V min为舵面故障敏感参数样本值V i的最小值，V max为舵面故障敏感参数样本值V i的最大值，为使用最小-最大归一化方法归化后形成的初始故障数据样本值。
步骤2，采用大小为80，步长为1的滑动窗口对数据进行分割和重组，快速且准确地得到舵面的状态矩阵，通过随机采样方法构建输入样本对，其中/>分别为的故障标签，/>为整个样本对的标签，如图3所示，最后从每类故障样本中分别随机采样400和100个样本作为训练集和测试集，其中训练集20%的样本用作验证集，计算可知，本实施例中，按照训练集、验证集和测试集比例为16:4:5划分，这样划分能够克服小样本、非平衡的缺点，为后面的准确判断提供前提。
步骤3，构建双路神经网络模型进行故障特征提取，该模型由两个结构相同且权重共享的CNN-GRU子网络组成，如图2所示，每个子网络包括四个卷积层，第一层卷积采用大卷积核以过滤样本中的噪声,后三层卷积均使用较小卷积核以避免过拟合，每个卷积层后依次附有BN层、ReLU函数和最大池化层。以样本对中的单样本为例，经过各层的依次处理，从第层获得的第/>个故障特征为：
其中，MP代表最大池化层，ReLU代表ReLU激活函数，BN代表批归一化层；Conv1D代表一维卷积，代表训练卷积的权重张量；/>是第/>层的第/>个特征向量；/>是对应的偏置项。
上述获得的关于每个样本的故障特征分别输入GRU单元进行特征提取，其过程涉及的更新门/>和重置门/>等操作可以描述为：
其中，为Sigmoid激活函数；/> 和/>分别表示前馈权重矩阵；/>为/>时刻的输入；/> 和/>分别代表循环权重矩阵；/>为偏差；/>和/>分别为/>时刻的候选记忆和隐藏层输出；其中各字母的上标/> 和/>分别对应着更新门、重置门和隐藏单元；/>表示矩阵点乘。
上述经过GRU获得的特征进一步输入全局平均池化层进行特征降维，相比传统的全连接层，全局平均池化层具有更少的模型参数和更强的特征可解释性。
步骤4，利用L1距离函数计算输入样本对故障特征间的相似性，
其中，代表两个样本故障特征/>和/>之间的距离；计算得到的距离值输入最后的预测层，通过Sigmoid激活函数转换为范围为[0,1]的概率进行输出。
引入的加权二元交叉熵损失函数WBCEL，能够根据多数类和少数类的样本数量分别施加权重约束，使得模型在反向传播过程中对少数类样本给予更多关注，加权二元交叉熵损失函数WBCEL的数学表达式如下所示：
其中，和/>分别表示模型预测样本对的标签为1和0时的概率；权重系数/>和/>根据每个训练批次中相同和不同样本对的数量/>的比值关系计算得来，其中/>，/>。当训练样本类别完全平衡时，加权二元交叉熵损失函数WBCEL自动退化为传统的二元交叉熵损失函数;加权二元交叉熵损失函WBCEL和传统的二元交叉熵损失均采用以上公式计算得到，两者的区别仅在于传统的二元交叉熵损失函数中权重系数均为0.5。
设置训练阶段的批次大小为64，Adam优化器学习率为0.0006，引入了早停机制，开始模型的训练；
步骤5，加载预训练好的模型，使用10%的测试样本对预训练模型的网络参数进行微调，然后将其应用于测试样本，并输出模型在测试样本上的故障诊断性能指标。采用的模型性能评价指标包括精确率Precision、召回率Recall、F1分数、准确率Accuracy和宏平均MF1分数，计算方法如下：
其中，TN、TP、FN、FP分别是真阴性、真阳性、假阴性、假阳性样本的数量；各个指标的下标分别代表对应的类别；表示类别总数。
结合图4，实验结果证明在平衡小样本下，当训练样本数量较少时，如样本数量为180时，SVM作为经典的小样本机器学习算法，其准确率仅为76.43%，1D CNN，GRU和CNNG的性能只维持在60%左右，说明现有方法由于参数优化不充分，受小样本数据的影响更为显著；对于提出的DCNN模型及其变种DCNN’，因为此时各类故障样本数量平衡，它们的性能十分接近；DCNN模型在5-shot任务中的准确率最高，超过SVM的指标4.16%，优于具有相同结构的CNNG模型性能15.67%。当训练样本数量增加至360时，所有模型的准确率获得了显著提高，但是提出的DCNN模型仍然最优；直到训练样本数量增长至3600时，对比模型的性能逐渐与DCNN模型性能持平。以上结果证明本发明基于样本对组织方式，通过对样本对中的空间和时序混合特征的提取和相似性度量，能够有效克服故障样本不足对模型性能的不利影响，特别是在样本极度有限的情况下，提出模型比现有方法具有更优的性能表现。
对比试验2：本方案模型在非平衡小样本下的故障诊断性能对比
进一步，验证模型在非平衡和小样本共存条件下的舵面故障诊断问题，从数据集C的训练样本中随机取出360个样本，其中80%用作训练，剩余用作测试。需要注意的是，每类故障的训练样本数量各不相同，以模拟类别不平衡的情况。
结合图5，可以看出，在非平衡小样本条件下模型对各类故障的具体分类情况，模型对各类故障的诊断难度是不同的，其中正常状态与d2、d3类故障最难识别，d1、d6、d7、d8类故障比较容易识别。提出的DCNN模型在d1—d5类故障中均取得最高的精确率，分别为97.03%，82.72%，89.72%，97.85%和94.85%，比传统深度学习模型最多高出38.82%（d4类故障）；比其变体模型DCNN’平均高出2%—8%，说明了加权二元交叉熵损失函数能够有效提升模型在不平衡样本上的训练效果。同时，提出的DCNN模型在5-shot故障任务中获得了最高的F1分数，该对比实验证明提出的模型在非平衡小样本下也具有较好的故障诊断性能。
对比试验3：本方案模型在环境扰动非平衡小样本下的故障诊断性能对比
无人机飞行是一个涉及多因素的复杂动态过程，系统自身状态变化的同时，还受到多种外部环境因素的影响，如风和结冰等，很难保证每次飞行任务均在相同的外部环境下执行。为此，使用在不同日期不同风速下收集的数据集A和B进行实验验证，其中，A→B表示使用从数据集A中随机采样的360个类别不平衡的样本训练（80%）和验证（20%）模型，并使用数据集B中的全部测试样本进行测试，B→A则反之。设置该对比实验验证模型在环境扰动下对于非平衡小样本故障诊断的泛化性。
结合图6和图7，可以发现所有模型的准确率及宏平均MF1（Macro F1）均产生了不同程度的下降，说明了环境扰动对模型诊断性能具有较大影响。在A→B中使用微调策略后，对比的SVM的准确率和MF1仅分别为62.92%和63.21%，对比的深度学习模型的准确率和MF1在76%-78%，提出的DCNN模型在5-shot中准确率和MF1分别达到了81.65%和81.54；在B→A实验中，对比模型的准确率和MF1均低于提出的DCNN。以上结果说明本发明通过使用10%的测试样本进行微调，有效提高了模型对环境扰动下非平衡小样本故障的泛化性。
综上所述，本发明针对无人机舵面故障中存在的故障类别不平衡和故障样本有限的问题，构建了一种基于卷积门控循环单元（CNN-GRU）的双路神经网络模型DCNN。首先从多变量飞行数据中选择舵面故障敏感参数并构建样本对，输入建立的双路神经网络模型和L1距离函数衡量样本对的相似性，利用加权二元交叉熵损失函数优化模型对不平衡样本的分类，通过小型固定翼测试平台进行了实验验证，证明了在平衡小样本条件下、非平衡小样本条件下以及环境扰动非平衡小样本条件下，相比现有的机器学习算法、深度学习算法和小样本学习方法，本发明均能实现较好的舵面故障诊断性能，具有较高的实际应用潜力。
实施例二
本实施例中，在步骤5中分别采用13%、15%、17%、20%的测试样本对预训练模型的网络参数进行微调，在其他步骤不变的情况下，得到各自对应的最终双路神经网络模型。
本实施例得到的最终双路神经网络模型和实施例一中的最终双路神经网络模型的结构是一样的，都是基于卷积门控循环单元CNN-GRU的初始双路神经网络模型DCNN结构，最终双神经网络模型的结构由两个结构相同且权重共享的CNN-GRU子网络组成，每个子网络分别包括四个卷积层，第一层卷积采用大卷积核16*1以过滤样本中的噪声，后三层卷积均使用较小卷积核3*1以避免过拟合，每个卷积层后依次附有BN层、ReLU函数和最大池化层；输入样本对中的单样本经过各层的依次处理，从第层获得的第/>个故障特征为：
其中，MP代表最大池化层，ReLU代表ReLU激活函数，BN代表批归一化层；Conv1D代表一维卷积，代表训练卷积的权重张量；/>是第/>层的第/>个特征向量；/>是对应的偏置项。
经过测试集中不同比例样本的训练微调后，最终双神经网络模型中的网络参数会有所差别，集中体现在练卷积的权重张量的不同导致最终提取出来的故障特征/>有差异，进而导致得到的诊断结果会有一些区别。
经过本实施例，发现针对不同规模数量的测试样本，其不同比例的测试集来微调形成最终双神经网络模型，会对最终双神经网络模型的诊断准确性有一定的影响。
具体地，当测试集中样本数量大于等于1000时，测试集中10%-20%范围内任意比例形成的微调样本集，都可以对优化双路神经模型进行代入比对后完成对网络参数的微调，形成的最终双神经网络模型的区别不大。
当测试集中样本数量大于等于500小于1000时，测试集中17%比例形成的微调样本集，对优化双路神经模型进行代入比对后完成对网络参数的微调，形成的最终双神经网络模型的诊断结果更加接近真实结果，效果准确性最佳。当测试集中样本数量大于等于300小于500时，测试集中13%比例形成的微调样本集，对优化双路神经模型进行代入比对后完成对网络参数的微调，形成的最终双神经网络模型的诊断结果更加接近真实结果，效果准确性最佳。
当测试集中样本数量大于0小于300时，测试集中10%比例形成的微调样本集，对优化双路神经模型进行代入比对后完成对网络参数的微调，形成的最终双神经网络模型的诊断结果更加接近真实结果，效果准确性最佳。
以上所述的仅是本发明的实施例，方案中公知的具体技术方案和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明技术方案的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，该方法包括以下步骤：
步骤一，使用相关性分析技术从无人机非平衡小样本飞行数据中选择舵面故障敏感参数，具体得到俯仰角、x轴线性加速度、北向速度、高度、地速、空速和四通道动作控制指令共10种舵面故障敏感参数，并进行归一化得到初始故障数据；将初始故障数据按照16:4:5的比例划分为训练集、验证集和测试集；
步骤二，采用具有固定长度和步长的滑动窗口对初始故障数据进行分割和重组，得到舵面状态矩阵，通过随机采样方法构建输入样本对；
步骤三，构建基于卷积门控循环单元CNN-GRU的初始双路神经网络模型DCNN，对输入的训练样本对进行故障特征提取，得到一一对应的输入样本对故障特征；
步骤四，利用L1距离函数计算输入样本对故障特征间的相似性，并引入加权二元交叉熵损失函数优化初始双路神经网络模型训练过程中对不平衡数据中多数类和少数类的分类效果，选择在验证集上分类准确率最高的模型作为优化双路神经网络模型；
步骤五，加载预训练好的优化双路神经网络模型，使用测试集中10％-20％的样本对优化双路神经网络模型的网络参数进行微调，以得到最终双路神经网络模型；将测试集中剩余的测试样本输入到最终双路神经网络模型，输出模型在测试样本上的故障诊断性能指标；
其中，步骤一中使用的相关性分析技术为斯皮尔曼等级相关系数rs，其取值范围为[-1，1]，计算公式为：
其中，n表示变量的数量；R(xi)和R(yi)分别为变量xi和yi的等级。
2.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，步骤一中对敏感参数使用最小-最大归一化方法将样本值vi变换至[-1，1]区间，即：
其中，vmin为舵面故障敏感参数样本值Vi的最小值，vmax为舵面故障敏感参数样本值vi的最大值，v′i为使用最小-最大归一化方法归化后形成的初始故障数据样本值。
3.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，步骤二中使用的滑动窗口的长度为80，步长为1，随机采样获得的样本对为Y＝{(x1，y1)，(x2，y2)}，其中y1，y2分别为x1，x2的故障标签，Y为整个样本对的标签。
4.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，步骤三中设计的初始双路神经网络模型由两个结构相同且权重共享的CNN-GRU子网络组成，每个子网络分别包括四个卷积层，第一层卷积采用大卷积核的核尺寸为16*1以过滤样本中的噪声，后三层卷积均使用卷积核的核尺寸为3*1以避免过拟合，每个卷积层后依次附有BN层、ReLU激活函数和最大池化层；输入样本对中的单样本经过各层的依次处理，从第l层获得的第j个故障特征为：
其中，MP代表最大池化层，ReLU代表ReLU激活函数，BN代表批归一化层；Conv1D代表一维卷积；代表训练卷积的权重张量；/>是第l-1层的第i个特征向量；/>是对应的偏置项。
5.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，将步骤三中获得的关于每个样本的故障特征fi，i＝1，2分别输入GRU子网络进行特征提取，其过程涉及的更新门zt和重置门rt操作可以描述为：
zt＝σ(Wzfi (t)+Uzh(t-1)+bz)
rt＝σ(Wrfi (t)+Urh(t-1)+br)
h*＝tanh(Whfi (t)+Uh(h(t-1)⊙rt)+bh)
ht＝(1-zt)⊙h(t-1)+zt⊙ht*
其中，σ为Sigmoid激活函数；Wz，Wr和Wh分别表示前馈权重矩阵；fi (t)为t时刻的输入；Uz，Ur和Uh分别代表循环权重矩阵；b为偏差；ht*和ht分别为t时刻的候选记忆和隐藏层输出；其中各字母的上标z，r和h分别对应着更新门、重置门和隐藏单元；⊙表示矩阵点乘。
6.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，在步骤三中经过GRU子网络获得的特征进一步输入全局平均池化层进行特征降维得到最终故障特征。
7.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，步骤四中使用的L1距离函数对输入样本对故障特征间的相似性计算过程为：
其中，代表两个样本故障特征/>和/>之间的距离；计算得到的距离值输入最后的预测层，通过Sigmoid激活函数转换为范围为[0，1]的概率进行输出。
8.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，步骤四中引入的加权二元交叉熵损失函数WBCEL能够根据多数类和少数类的样本数量分别施加权重约束，加权二元交叉熵损失函数WBCEL的数学表达式如下所示：
其中，P(Yi＝1|(x1，x2))和P(Yi＝0|(x1，x2))分别表示模型预测样本对的标签为1和0时的概率；权重系数ω1和ω0根据每个训练批次中相同和不同样本对的数量n1，n0的比值关系计算得来，其中ω1＝|n0|/(|n1|+|n0|)，ω0＝|n1|/(|n1|+|n0|)；当训练样本类别完全平衡时，加权二元交叉熵损失函数WBCEL自动退化为传统的二元交叉熵损失函数；加权二元交叉熵损失函WBCEL和传统的二元交叉熵损失均采用以上公式计算得到，两者的区别仅在于传统的二元交叉熵损失函数中权重系数均为0.5。
9.根据权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法，其特征在于，测试阶段使用的微调训练样本占所有测试样本的10％；步骤五中在形成最终双路神经网络模型后，在剩余的测试样本上进行评估，采用的故障诊断性能指标包括精确率Precision、召回率Recall、F1分数、准确率Accuracy和宏平均MF1分数，计算方法分别如下：
其中，TN、TP、FN、FP分别是真阴性、真阳性、假阴性、假阳性样本的数量；各个指标的下标分别代表对应的类别；s表示类别总数。
10.非平衡小样本下的无人机舵面智能故障诊断装置，其特征在于，采用如权利要求1所述的非平衡小样本下的无人机舵面智能故障诊断方法；所述装置，包括用来进行无人机非平衡小样本数据采集的测试平台，用来对无人机非平衡小样本数据进行预处理得到初始故障数据的预处理模块，用来产生最终双神经网络模型的模型生成模块，以及分别与测试平台、预处理模块和模型生成模块通信连接的中央处理器；
所述模型生成模块内，预存有基于卷积门控循环单元CNN-GRU的初始双路神经网络模型DCNN；中央处理器，按照16:4:5的比例对初始故障数据进行划分，得到训练集、验证集和测试集；
模型生成模块，从训练集中对输入的训练样本对进行故障特征提取，得到一一对应的输入样本对故障特征，将输入样本对故障特征代入到初始双路神经网络模型DCNN，同时，利用L1距离函数计算输入样本对故障特征间的相似性，并引入加权二元交叉熵损失函数优化初始双路神经网络模型训练过程中对不平衡数据中多数类和少数类的分类效果，选择在验证集上分类准确率最高的模型作为优化双路神经网络模型；然后，加载预训练好的优化双路神经网络模型，使用测试集中10％-20％的样本对优化双路神经网络模型的网络参数进行微调，以得到最终双路神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311455764.5A CN117171681B (zh) | 2023-11-03 | 2023-11-03 | 非平衡小样本下的无人机舵面智能故障诊断方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311455764.5A CN117171681B (zh) | 2023-11-03 | 2023-11-03 | 非平衡小样本下的无人机舵面智能故障诊断方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117171681A CN117171681A (zh) | 2023-12-05 |
| CN117171681B true CN117171681B (zh) | 2024-01-30 |
Family
ID=88930257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311455764.5A Active CN117171681B (zh) | 2023-11-03 | 2023-11-03 | 非平衡小样本下的无人机舵面智能故障诊断方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171681B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004050855A (ja) * | 2002-07-16 | 2004-02-19 | Shimadzu Corp | 舵面異常検出装置 |
| GB2398771A (en) * | 2003-02-28 | 2004-09-01 | Bae Systems Plc | Apparatus for detecting abnormal operating condition of an external feature of an aircraft |
| CN107608335A (zh) * | 2017-09-14 | 2018-01-19 | 山东科技大学 | 一种无人机飞行控制系统故障检测与故障分离的数据驱动方法 |
| CN107830996A (zh) * | 2017-10-10 | 2018-03-23 | 南京航空航天大学 | 一种飞行器舵面系统故障诊断方法 |
| CN112328588A (zh) * | 2020-11-27 | 2021-02-05 | 哈尔滨工程大学 | 一种工业故障诊断非平衡时序数据扩充方法 |
| CN113255078A (zh) * | 2021-05-31 | 2021-08-13 | 南京信息工程大学 | 一种样本不均衡条件下的轴承故障检测方法及装置 |
| CN113850138A (zh) * | 2021-08-25 | 2021-12-28 | 哈尔滨工业大学 | 一种基于数据驱动的无人飞行器传感器故障检测方法、系统及装置 |
| CN115204302A (zh) * | 2022-07-22 | 2022-10-18 | 贵州大学 | 一种无人机小样本故障诊断系统及方法 |
| CN115320886A (zh) * | 2022-08-31 | 2022-11-11 | 西北工业大学 | 一种飞行器舵面故障实时监测方法及系统 |
| CN116046396A (zh) * | 2023-02-07 | 2023-05-02 | 杭州安脉盛智能技术有限公司 | 一种轴承故障诊断方法、装置、设备及介质 |
-
2023
- 2023-11-03 CN CN202311455764.5A patent/CN117171681B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004050855A (ja) * | 2002-07-16 | 2004-02-19 | Shimadzu Corp | 舵面異常検出装置 |
| GB2398771A (en) * | 2003-02-28 | 2004-09-01 | Bae Systems Plc | Apparatus for detecting abnormal operating condition of an external feature of an aircraft |
| CN107608335A (zh) * | 2017-09-14 | 2018-01-19 | 山东科技大学 | 一种无人机飞行控制系统故障检测与故障分离的数据驱动方法 |
| CN107830996A (zh) * | 2017-10-10 | 2018-03-23 | 南京航空航天大学 | 一种飞行器舵面系统故障诊断方法 |
| CN112328588A (zh) * | 2020-11-27 | 2021-02-05 | 哈尔滨工程大学 | 一种工业故障诊断非平衡时序数据扩充方法 |
| CN113255078A (zh) * | 2021-05-31 | 2021-08-13 | 南京信息工程大学 | 一种样本不均衡条件下的轴承故障检测方法及装置 |
| CN113850138A (zh) * | 2021-08-25 | 2021-12-28 | 哈尔滨工业大学 | 一种基于数据驱动的无人飞行器传感器故障检测方法、系统及装置 |
| CN115204302A (zh) * | 2022-07-22 | 2022-10-18 | 贵州大学 | 一种无人机小样本故障诊断系统及方法 |
| CN115320886A (zh) * | 2022-08-31 | 2022-11-11 | 西北工业大学 | 一种飞行器舵面故障实时监测方法及系统 |
| CN116046396A (zh) * | 2023-02-07 | 2023-05-02 | 杭州安脉盛智能技术有限公司 | 一种轴承故障诊断方法、装置、设备及介质 |
Non-Patent Citations (5)
| Title |
|---|
| A deep convolution neural network based fusion method of two-direction vibration signal data for health state identification of planetary gearboxes;Huipeng Chen等;《Measurement》;第146卷;268-278 * |
| A Self-Supervised Fault Detection for UAV Based on Unbalanced Flight Data Representation Learning and Wavelet Analysis;Shenghan Zhou等;《Aerospace 2023》;第10卷(第3期);1-21 * |
| 基于EEMD分解和多分类支持向量机的飞行器舵面系统故障诊断;肖东等;《电光与控制》;第25卷(第8期);93-97 * |
| 基于空洞卷积神经网络与注意力机制GRU的滚动轴承故障诊断;葛超等;《中国冶金》;第32卷(第4期);99-105+131 * |
| 无人机飞控系统故障诊断技术研究综述;安雪等;《计算机工程与应用》;1-14 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117171681A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109766583B (zh) | 基于无标签、不均衡、初值不确定数据的航空发动机寿命预测方法 | |
| CN111832216B (zh) | 基于eemd-mcnn-gru的滚动轴承剩余使用寿命预测方法 | |
| CN110533631B (zh) | 基于金字塔池化孪生网络的sar图像变化检测方法 | |
| CN109141847B (zh) | 一种基于mscnn深度学习的飞机系统故障诊断方法 | |
| CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
| CN111126575A (zh) | 基于机器学习的气体传感器阵列混合气体检测方法及装置 | |
| CN110082738B (zh) | 基于高斯混合和张量循环神经网络的雷达目标识别方法 | |
| CN114218872B (zh) | 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法 | |
| CN111638034B (zh) | 基于深度学习的应变天平温度梯度误差补偿方法及系统 | |
| CN111680875A (zh) | 基于概率基线模型的无人机状态风险模糊综合评价方法 | |
| CN115828140A (zh) | 邻域互信息与随机森林相融合故障检测方法、系统及应用 | |
| CN115204302A (zh) | 一种无人机小样本故障诊断系统及方法 | |
| CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
| CN112504682A (zh) | 基于粒子群优化算法的底盘发动机故障诊断方法及系统 | |
| CN114297918A (zh) | 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法 | |
| CN114169374A (zh) | 一种斜拉桥斜拉索损伤识别方法及电子设备 | |
| CN112734131B (zh) | 一种基于深度学习算法的风机叶片覆冰状态预测方法 | |
| Ruan et al. | Remaining useful life prediction for aero-engine based on lstm and cnn | |
| Akrim et al. | A framework for generating large data sets for fatigue damage prognostic problems | |
| CN115290326A (zh) | 一种滚动轴承故障智能诊断方法 | |
| CN117171681B (zh) | 非平衡小样本下的无人机舵面智能故障诊断方法及装置 | |
| CN116894215A (zh) | 一种基于半监督动态图注意的齿轮箱故障诊断方法 | |
| CN111985158A (zh) | 一种基于迁移学习的电液伺服阀故障诊断方法及系统 | |
| CN112560252B (zh) | 一种航空发动机剩余寿命预测方法 | |
| CN113935413A (zh) | 一种基于卷积神经网的配网录波文件波形识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |