CN113867307B - 基于深度神经网络的航天器智能故障诊断方法 - Google Patents

基于深度神经网络的航天器智能故障诊断方法 Download PDF

Info

Publication number
CN113867307B
CN113867307B CN202110958518.6A CN202110958518A CN113867307B CN 113867307 B CN113867307 B CN 113867307B CN 202110958518 A CN202110958518 A CN 202110958518A CN 113867307 B CN113867307 B CN 113867307B
Authority
CN
China
Prior art keywords
data
network
neural network
function
fault diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110958518.6A
Other languages
English (en)
Other versions
CN113867307A (zh
Inventor
窦立谦
季春惠
张秀云
张睿隆
唐艺璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110958518.6A priority Critical patent/CN113867307B/zh
Publication of CN113867307A publication Critical patent/CN113867307A/zh
Application granted granted Critical
Publication of CN113867307B publication Critical patent/CN113867307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24065—Real time diagnostics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及航天器故障诊断技术领域，为实现航天器智能故障诊断，保证航天器的安全平稳运行，同时降低检测成本，本发明，基于深度神经网络的航天器智能故障诊断方法，首先，搭建基于深度卷积神经网络的故障诊断模型，从带有强噪声的遥测数据集中提取故障特征；其次，利用其它航天器经验数据对网络进行预训练，得到初始网络参数；最后，基于迁移学习中的领域自适应方法，构造基于最大均值差异的代价函数，对网络模型进行参数重调，提升故障数据诊断的准确性。本发明主要应用于航天器故障检测诊断场合。

Description

基于深度神经网络的航天器智能故障诊断方法
技术领域
本发明涉及航天器故障诊断技术领域，特别是一种面向基于深度神经网络的航天器智能故障诊断领域。具体涉及基于深度神经网络的航天器智能故障诊断方法。
背景技术
航天器是指按照天体力学规律，在太空中运行并按照一定要求执行探索开发任务的空间飞行器，主要包括发射航天飞行器的火箭、人造卫星、空间探测器、宇宙飞船、航天飞机和各种空间站。随着我国不断深入开展探月计划以及火星探测等深空任务，对整个航天器系统尤其是对航天器控制系统的稳定性、可靠性以及自主运行能力的要求都明显提升。但是，由于航天器长时间运行于外太空恶劣的环境中，难免会出现各式各样的错误或者故障，会导致系统性能的下降甚至可能造成系统完全崩溃，以致无可估量的损失或者灾难性的后果。因此，对航天器进行有效故障诊断对其飞行任务的成败极为重要，将有效提高未知多变空间环境下航天器稳定且可靠的运行能力。故障诊断技术的发展可以让航天器更加自主化、智能化，脱离繁琐的人工监视模式，不仅能拥有更好的容错性，也能大大降低航天器的开发成本和飞行任务的风险，研究与之相关的科学问题具有实用性及前瞻性，能够满足在轨航天器数据样本小、噪声高、未标记情形下的故障诊断需求，为航天器故障诊断技术的发展提供了一种新思路，提升我国在航天领域的创新发展能力。
航天器故障诊断是指通过数据检测，统计分析，逻辑判定来诊断和分析系统故障特征一项关键技术。迁移学习是指把已训练好的模型参数迁移到新的模型来帮助新模型训练的一种机器学习方法，通过经验的迁移，能够将适用于大数据的模型迁移到小数据上，发现问题的共性。深度迁移学习是通过深度神经网络对源域数据进行预训练，然后基于源域预训练的部分网络迁移到为目标域设计的新网络，并进行微调，实现深度学习与迁移学习的结合，从而适应新网络的需求。在航天器故障诊断技术与深度迁移学习方面，国内外学者已经进行了相关的探索研究，但将二者相结合的研究仍处于初步阶段，目前存在的不足之处主要体现在以下几个方面：(1)航天器在轨遥测数据具有噪声大、样本小、未标记的特点，数据采集和标注费用高昂，构建大规模的标注良好的数据集非常困难，充分利用其他航天器的经验数据对在轨航天器进行诊断，是一个研究难点。(2)航天器数据难以直接用于神经网络的训练，需要考虑合适的航天器数据预处理方法。(3)目前，航天器故障诊断普遍采用基于解析模型方法，数据利用不充分，且空间环境仿真和实际存在较大差距，有可能导致设计参数不准确，使得诊断出现错误。
在本发明研究中，采用了基于深度迁移学习的航天器故障诊断方法，首先，搭建基于深度卷积神经网络的故障诊断模型框架，从带有强噪声的遥测数据中提取故障特征；其次，考虑在轨航天器遥测故障数据样本小的特点，利用地面测试数据和其他航天器在轨数据进行预训练，得到诊断模型的初始网络参数，达到学习其他诊断任务经验的目的；最后，为将学习到的经验扩展到当前诊断任务中，研究基于迁移学习的模型参数重调方法，考虑航天器原始遥测数据未标记的特点，构造基于最大平均差异的代价函数，实现对初始网络参数的重新调整，提高故障数据诊断的准确性。此方法适用于航天器数据样本较少的情况，这种方法放宽了训练数据必须与测试数据独立同分布的假设，启发我们可以应用迁移学习来解决训练数据不足的问题，能够提高诊断模型的稳定性和可泛化性，减少对标注数据的依赖。
本发明涉及航天器故障诊断技术领域。具体来说，首先搭建了基于深度神经网络的故障诊断模型框架，进一步结合迁移学习方法对诊断模型进行训练，随后通过Pytorch框架仿真验证了本发明提出故障诊断方法的有效性。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于深度神经网络的航天器智能故障诊断方法。一方面，考虑到航天器所处太空环境的不确定及各方面摄动力的影响，为顺利完成日益复杂的航天任务，需要对航天器中发生的故障进行及时检测分析，以保证航天器的安全平稳运行；另外，由于在轨航天器数据样本小、噪声高、无标记，且数据的采集和标注成本较高，可利用其它航天器的经验数据对当前在轨航天器进行诊断；此外，传统航天器故障诊断方法对模型依赖较大，而深度神经网络基于数据样本进行训练，能够充分利用数据集，进而提升设计参数的准确性。为此，本发明采取的技术方案是，基于深度神经网络的航天器智能故障诊断方法，首先，搭建基于深度卷积神经网络的故障诊断模型，从带有强噪声的遥测数据集中提取故障特征；其次，利用其它航天器经验数据对网络进行预训练，得到初始网络参数；最后，基于迁移学习中的领域自适应方法，构造基于最大均值差异的代价函数，对网络模型进行参数重调，提升故障数据诊断的准确性。
具体步骤如下：
第一部分，数据预处理：将其他航天器经验数据与当前在轨航天器遥测数据分为已标记的源数据集和未标记的目标数据集；为便于神经网络进行特征提取，将两个数据集中的时域数据转换为二维灰度图，其中数据值的大小与图像像素相关；
第二部分，航天器故障诊断模型框架搭建：搭建基于深度卷积神经网络的诊断模型框架，基于网络对源数据集的诊断误差构造交叉熵代价函数对网络进行预训练，进而获取诊断模型的初始网络参数；
第三部分，基于迁移学习的模型参数重调：为将从源域数据中学习到的知识迁移到当前在轨航天器的诊断任务中来，根据源域数据和目标域数据集的分布差异，基于最大均值差异重构网络训练的交叉熵代价函数，减小二者的分布差异实现知识迁移，进一步训练网络并对诊断模型的参数进行微调，实现在轨航天器的故障诊断，并提升故障诊断的准确性。
搭建Pytorch框架下的深度迁移学习的航天器故障诊断仿真实验，验证本发明提出诊断方法的有效性。
详细步骤如下：
第一步，数据预处理
转换过程如下：
随机选择的时域信号样本大小为M×M，将其转换成长度为M2的序列，序列中的每个数值为转换得到的灰度图像素值，基于数据归一化方法的转换函数为：
Figure RE-GDA0003366252760000031
其中，i＝1,2,...M2，j＝1,2,...M，k＝1,2,...M。上式中，M为图像大小，L(i)代表图像的像素灰度值，round(·)为取整函数；
第二步：智能故障诊断模型预训练
分为以下几个步骤进行：
1)将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；
2)将源数据集中的时域数据转换为2-D图像实现对数据的预处理，其中数据值的大小与图像像素相关，这一转换避免了传统数据预处理方法中手工操作繁琐且特征信息易丢失的缺点；
3)考虑卷积神经网络能从带噪声的原始数据中有效提取故障特征，搭建基于卷积神经网络的深度神经网络模型框架；
4)基于深度神经网络的故障诊断的误差构造交叉熵代价函数，并利用转换后的2-D图像对网络模型进行预训练；
以预处理后得到的2-D灰度图作为故障诊断网络模型的输入；进一步地，残差网络利用卷积模块提取故障特征；
卷积模块中所包含的卷积神经网络，由大量的神经元依次联接构成，即以一个神经元的输出作为另一个神经元的输入，神经元的输入-输出关系可以看作一种数学映射，称为激活函数，激活函数表达式分别如下所示：
(a)Sigmoid函数：
Figure RE-GDA0003366252760000032
(b)Tanh函数：
Figure RE-GDA0003366252760000033
(c)Relu函数：
Figure RE-GDA0003366252760000034
(d)LeakeyRelu函数：
Figure RE-GDA0003366252760000035
其中，α为正常数，LeakeyRelu激活函数为Relu的衍生版本，主要解决了输入为负时，Relu输出为0的问题，即当输入小于0时，输出值虽然很小但不为零，达到保留该部分输入信息的作用；
卷积神经网络CNN(convolutional neural networks),引入如下的定义。
定义1:假设有两个
Figure RE-GDA0003366252760000041
的函数f(x,y)和g(x,y)，那么f和g的卷积即为一个新的
Figure RE-GDA0003366252760000042
的函数c(x,y)，它通过下式得到：
Figure RE-GDA0003366252760000043
将上述卷积公式写成离散形式为：
Figure RE-GDA0003366252760000044
式中，将f(或F)看作权值函数，那么所谓“卷积”实际上是一种加权求和过程：即以(x,y) 为中心，把g(或G)距离中心(-s,-t)距离处的值乘以权值f(s,t)(或F(s,t))后相加，最终得到卷积结果，对数字图像进行式(8)所示的离散卷积操作称为滤波，F称为卷积核或滤波器，
结合定义1及神经网络模型设计的卷积神经网络，其结构主要包含三种层：卷积层CONV (Convolutional layer)、池化层POOL(Pooling layer)，全连接层FC(FullyConnected layer)；
1)卷积层
假设单一通道输入矩阵的坐标为x,y，卷积核大小为p×q，权重为ω，输入矩阵的值为v，则一次卷积操作后所得输出值为：
Figure RE-GDA0003366252760000045
式中，i＝1,2,...,p*q；
进行卷积操作时，为更好地拟合数据通常会加入偏置(bias),并引入非线性激活函数f(·)，经过激活函数后，得到的结果为：
Figure RE-GDA0003366252760000046
2)池化层
池化操作采用：
最大值池化(Max pooling):将输入的图像划分为若干个矩形子区域，对每个子区域输出最大值；
或者，平均值池化(Average pooling):将输入的图像划分为若干个矩形子区域，将每个子区域各个元素求平均值作为输出；
3)全连接层
全连接层在卷积神经网络中充当分类器的作用，其上的所有单元与上一层完全连接，对前面提取的特征结果作加权和，最终实现目标分类
深度卷积神经网络是由卷积层与池化层组成，在卷积层中，采用大小的卷积核对输入数据进行卷积，在卷积之后，采用RELU激活函数对数据进行非线性映射,则第l层神经网络经卷积操作和激活函数映射后，得到的输出表示为：
yl＝Relu(conv(Wl,xl)+biasl) (11)
其中，xl表示第l-1层输入，Wl为网络第l层的权值，biasl为第l层偏置值标量，yl为第l 层的输出；
由于上述网络的最终的诊断任务实际上是一个二分类问题，以网络输出的预测标签与样本数据的实际标签之间测误差作为衡量模型故障诊断性能的指标，构建交叉熵损失函数作为网络的分类损失函数，其表达式为：
Figure RE-GDA0003366252760000051
其中，
Figure RE-GDA0003366252760000052
为网络初步训练后的输出结果，将其作为数据集的伪标签，而y为数据集的实际标签，L(·)为网络的分类损失；
基于式(12)对网络进行预训练，以最小化分类损失函数为优化目标，获取卷积神经网络的初始参数，从而提升深度神经网络模型的故障诊断性能；
第三步：基于迁移学习的模型参数重调
定义1：域(Domain)，以D(χ,P(x))表示，其中χ为数据特征空间，x∈χ表示单个实例特征，P(x)为其概率分布；在迁移学习任务中，将有知识、包含大量数据标签的源数据集称为源域，将最终要赋予标签的目标数据集称为目标域；
定义2：任务(Task)，以T(Y,f(·))表示，其中Y表示标签空间，y∈Y表示单个实例标签；f(·)为目标预测函数，它是网络学习的成果；
基于上述定义1及定义2，假设给出源域Ds及其任务Ts，目标域Dt及目标域的任务Tt，则迁移学习旨在将利用(Ds,Ts)习得的知识去改进目标域的预测函数ft(·)，其中 Ds≠Dt或Ts≠Tt；
引入最大均值差异MMD(Maximum Mean Discrepancy)作为源域与目标域数据之间的相似性的度量准则：
Figure RE-GDA0003366252760000053
其中，φ(·)是完备的希尔伯特映射函数，X1,X2分别为源域和目标域；
为增大源域与目标域之间的相似性，减小二者的分布差异以完成迁移学习，结合式(13) 与式(12)，重构故障诊断网络的训练损失函数，定义为：
Figure RE-GDA0003366252760000061
其中，超参数λ为MMD距离的权重。
综上所述，对深度神经网络进行参数重调的优化目标为：
Figure RE-GDA0003366252760000062
通过上述训练，学习最优的网络映射函数φ(·)，使得迁移后的网络具有更好的模型泛化能力，提升网络对目标域数据集的故障诊断能力。
本发明的特点及有益效果是：
本发明构造基于最大均值差异(Maximum mean discrepancy,MMD)的代价函数，实现对初始网络参数的重新调整，提高故障诊断的准确性
实验中，训练回合达到40左右时的故障诊断准确率已经达到90％以上，且此后随着训练回合数增加故障准确率始终保持在该水平，说明本发明使用迁移学习的诊断网络能够适用于当前航天器的故障诊断任务，诊断准确率反映出该诊断模型具有较好的故障诊断性能。
附图说明：
图1基于卷积神经网络的故障诊断模型框架。
图2航天器数据预处理过程。
图3常用激活函数。
图4卷积操作原理图。
图5源域数据预处理灰度图。
图6目标域数据预处理灰度图。
图7情形1网络训练损失曲线图。
图8情形1故障诊断准确率变化曲线图。
图9情形2网络训练损失曲线图。
图10情形2故障诊断准确率变化曲线图。
具体实施方式
本发明的目的在于提出一种基于深度神经网络的航天器智能故障诊断方法。一方面，考虑到航天器所处太空环境的不确定及各方面摄动力的影响，为顺利完成日益复杂的航天任务，需要对航天器中发生的故障进行及时检测分析，以保证航天器的安全平稳运行；另外，由于在轨航天器数据样本小、噪声高、无标记，且数据的采集和标注成本较高，基于迁移学习的方法，利用其它航天器的经验数据对当前在轨航天器进行诊断；此外，传统航天器故障诊断方法对模型依赖较大，而深度神经网络基于数据样本进行训练，能够充分利用数据集，进而提升设计参数的准确性。基于此，本发明提出了一种基于深度迁移学习的航天器故障诊断方法。首先，搭建基于深度卷积神经网络的故障诊断模型，从带有强噪声的遥测数据集中提取故障特征；其次，利用其它航天器经验数据对网络进行预训练，得到初始网络参数；最后，基于迁移学习中的领域自适应方法，构造基于最大均值差异的代价函数，对网络模型进行参数重调，提升故障数据诊断的准确性。
本发明提出的基于深度迁移学习的故障诊断模型框架，摆脱了传统故障诊断方法对航天器模型的依赖，利用卷积神经网络对带有强噪声的航天器数据进行特征提取，提升了数据样本的利用率；提出的模型参数重调方法，利用其它航天器的经验数据集进行预训练，进一步迁移至当前诊断任务中，有效地解决了在轨航天器数据样本小、未标记带来的故障难以检测的问题。
本发明提出的基于深度神经网络的航天器智能故障诊断方法，包括基于卷积神经网络的故障诊断模型框架搭建和基于迁移学习的模型参数重调两部分，流程框架图如图1所示，具体技术方案如下：
第一部分，数据预处理：将其他航天器经验数据与当前在轨航天器遥测数据分为已标记的源数据集和未标记的目标数据集；为便于神经网络进行特征提取，将两个数据集中的时域数据转换为二维灰度图，其中数据值的大小与图像像素相关。
第二部分，航天器故障诊断模型框架搭建：搭建基于深度卷积神经网络的诊断模型框架，基于网络对源数据集的诊断误差构造交叉熵代价函数对网络进行预训练，进而获取诊断模型的初始网络参数。
第三部分，基于迁移学习的模型参数重调：为将从源域数据中学习到的知识迁移到当前在轨航天器的诊断任务中来，根据源域数据和目标域数据集的分布差异，基于最大均值差异重构网络训练的交叉熵代价函数，减小二者的分布差异实现知识迁移，进一步训练网络并对诊断模型的参数进行微调，实现在轨航天器的故障诊断，并提升故障诊断的准确性。
最后为了验证本发明提出的故障诊断方法的有效性，搭建Pytorch框架下的深度迁移学习的航天器故障诊断仿真实验，验证本发明提出诊断方法的有效性。
为了验证本发明提出的基于深度迁移学习的航天器故障诊断方法的有效性，首先为便于进行特征提取，对数据进行了预处理工作；接着，在Pytorch框架下搭建基于ResNet-50网络的深度卷积神经网络模型，并利用其他航天器经验数据进行预训练；最后，基于最大均值差异重构代价函数，对网络参数进行重调，具体实验过程如下：
(1)参数设置
1)数据预处理：为便于卷积神经网络对数据进行特征提取，对原始数据进行预处理，本发明采用一种将时域数据信号转变为图像的数据预处理方法，将原始数据信号分成长度为 28×28的若干个序列，利用归一化方法将每一个数据处理为灰度图的像素值，进一步利用 python程序将其处理输出为一张二维灰度图，并以此作为深度神经网络的输入。
2)网络训练时，相关参数设置为：网络训练的总回合数：rounds＝150；每个回合输入数据个数：n＝280/round；数据总量：50000条，初始学习率设置为：η＝0.004；损失函数重构时，超参数的选择为：
Figure RE-GDA0003366252760000081
其中，i为当前训练的回合数。
(2)结果分析
在进行网络训练之前，对数据进行预处理，处理结果示例如图5及图6所示。进一步地，为说明本方法的有效性，下面将进行两种情况下的仿真：
情形1：未使用迁移学习重构损失函数；情形2：使用迁移学习重构损失函数。
情形1未使用迁移学习方法，将基于源数据集进行预训练后的网络直接应用于当前在轨航天器的故障诊断任务，相应的仿真结果如图7-图8所示。其中，图7为网络训练的损失函数变化曲线。从图中可以看出，网络训练损失在训练到第40个回合后始终保持震荡趋势，且训练损失在0.6～0.8之间，数值较大说明为使用迁移学习的网络对在轨航天器的分类误差较大；图8未使用迁移学习的网络对在轨航天器的故障诊断准确率变化曲线，从图中可以看出未使用迁移学习的网络故障诊断准确率仅为75％左右，且不会随着训练回合数的增加有所提高。图5-图6的仿真结果表明，未使用迁移学习情形下，直接将预训练网络应用于在轨航天的故障诊断，其网络训练损失较高，检测性能较差，因而故障诊断的准确率较低。
情形2的仿真结果如图9-图10所示。其中，图9为网络训练损失函数变化曲线，从图中可以看出随着训练回合数的增加网络分类损失呈下降趋势，说明网络的分类误差逐渐减小；图10为迁移后网络对在轨航天器故障的诊断准确率变化曲线，从图中可以看出，训练回合达到40左右时的故障诊断准确率已经达到90％以上，且此后随着训练回合数增加故障准确率始终保持在该水平，说明使用迁移学习的诊断网络能够适用于当前航天器的故障诊断任务，诊断准确率反映出该诊断模型具有较好的故障诊断性能。
针对在轨航天器原始遥测数据样本小、噪声高且无标记带来的故障信号难以检测的问题，本节研究基于深度迁移学习的智能故障诊断方法。首先，搭建基于深度卷积神经网络的故障诊断模型框架，利用地面测试数据和其他航天器在轨数据进行预训练，得到诊断模型的初始网络参数；接着，研究基于迁移学习的模型参数重调方法，构造基于最大均值差异(Maximum mean discrepancy,MMD)的代价函数，实现对初始网络参数的重新调整，提高故障诊断的准确性。
本发明以深度神经网络与迁移学习理论为主要研究手段，提出一种基于深度迁移学习的航天器故障诊断方法，具体实现过程如下。
第一步，数据预处理。为便于卷积神经网络进行特征提取，需要首先对原始数据进行预处理。本发明采用一种将时域数据信号转变为图像的数据预处理方法，转换过程如图1所示。
随机选择的时域信号样本大小为M×M，将其转换成长度为M2的序列，序列中的每个数值为转换得到的灰度图像素值，基于数据归一化方法的转换函数为：
Figure RE-GDA0003366252760000082
其中，i＝1,2,...M2，j＝1,2,...M，k＝1,2,...M。上式中，M为图像大小，L(i)代
表图像的像素灰度值，round(·)为取整函数。利用该方法，将一维时域数据转换为二维形式，便于神经网络对数据进行特征提取，且使得获取数据集的频域特征成为可能。
第二步：智能故障诊断模型预训练。基于深度神经网络搭建故障诊断模型框架，主要由两个基本部分组成：卷积模块(Convolution Block)和特性模块(Identity Block)。由于卷积神经网络最终是要将输入图像转换为很小但是深度很高的特征映射，一般采用小映射核及深层网络结构，这样容易导致输出结构的复杂性增加；因此考虑在输入进入特性模块之前，加入卷积模块对其进行维度转换，从而降低输出特性的复杂程度。
本发明选取深度残差网络ResNet50作为特征提取层，该网络首先对输入做卷积操作，之后经过四个残差块(Residual Block)；最后，利用全连接层进行全连接操作，以便于分类任务的进行。
基于上述网络结构，搭建智能故障诊断模型框架如图2所示，用地面测试数据和其他航天器的在轨数据对模型进行预训练，主要分为以下几个步骤进行：
1)将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；
2)将源数据集中的时域数据转换为2-D图像实现对数据的预处理，其中数据值的大小与图像像素相关，这一转换避免了传统数据预处理方法中手工操作繁琐且特征信息易丢失的缺点；
3)考虑卷积神经网络能从带噪声的原始数据中有效提取故障特征，搭建基于卷积神经网络的深度神经网络模型框架；
4)基于深度神经网络的故障诊断的误差构造交叉熵代价函数，并利用转换后的2-D图像对网络模型进行预训练。
基于上述故障诊断模型框架，以预处理后得到的2-D灰度图作为故障诊断网络模型的输入；进一步地，残差网络利用卷积模块提取故障特征，用于航天器的故障诊断任务。
卷积模块中所包含的卷积神经网络，本质上属于人工神经网络(artificialneural network，ANN)，是一种模仿生物神经网络结构和功能的数学计算模型。神经网络由大量的神经元依次联接构成，即以一个神经元的输出作为另一个神经元的输入。神经元的输入-输出关系可以看作一种数学映射，称为激活函数。
激活函数可以采用多种形式，图3给出了几个常用的激活函数形式，其中(a)-(d)的函数表达式分别如下所示：
(e)Sigmoid函数：
Figure RE-GDA0003366252760000091
(f)Tanh函数：
Figure RE-GDA0003366252760000092
(g)Relu函数：
Figure RE-GDA0003366252760000101
(h)LeakeyRelu函数：
Figure RE-GDA0003366252760000102
其中，α为正常数。LeakeyRelu激活函数为Relu的衍生版本，主要解决了输入为负时，Relu输出为0的问题，即当输入小于0时，输出值虽然很小但不为零，达到保留该部分输入信息的作用。
卷积神经网络CNN(convolutional neural networks),是一种基于人工神经网络的多层感知机，是常用的深度学习模型之一。为便于理解，引入如下的定义。
定义1:假设有两个
Figure RE-GDA0003366252760000103
的函数f(x,y)和g(x,y)，那么f和g的卷积即为一个新的
Figure RE-GDA0003366252760000104
的函数c(x,y)，它通过下式得到：
Figure RE-GDA0003366252760000105
将上述卷积公式写成离散形式为：
Figure RE-GDA0003366252760000106
式中，将f(或F)看作权值函数，那么所谓“卷积”实际上是一种加权求和过程：即以(x,y) 为中心，把g(或G)距离中心(-s,-t)距离处的值乘以权值f(s,t)(或F(s,t))后相加，最终得到卷积结果。对数字图像进行式(8)所示的离散卷积操作称为滤波，F称为卷积核或滤波器。
结合定义1及神经网络模型设计的卷积神经网络，可以通过大量的参数学习设计特定的卷积核，实现图片的特征提取及图像识别功能。卷积神经网络的结构主要包含三种层(layer)：卷积层(Convolutional layer,CONV)、池化层(Pooling layer,POOL)，全连接层(Fully Connected layer,FC)。
1)卷积层
CNN的卷积操作通过一种2-D卷积实现，即卷积核只能在x,y轴滑动位移，不能进行深度 (跨通道)位移。CNN卷积层的实现原理如图4所示，本质上是输入映射与一个2-D卷积核之间的一种二维空间滤波。
假设单一通道输入矩阵的坐标为x,y，卷积核大小为p×q，权重为ω，输入矩阵的值为v，则一次卷积操作后所得输出值为：
Figure RE-GDA0003366252760000107
式中，i＝1,2,...,p*q。
进行卷积操作时，为更好地拟合数据通常会加入偏置(bias),并引入非线性激活函数f(·)，经过激活函数后，得到的结果为：
Figure RE-GDA0003366252760000111
2)池化层
池化是一种降采样操作，是为了提取一定区域的主要特征，并减少参数数量，在保证特征不变性的基础上，实现特征降维，并在一定程度上防止过拟合。目前主要的池化操作有：
a)最大值池化(Max pooling):将输入的图像划分为若干个矩形子区域，对每个子区域输出最大值。
b)平均值池化(Average pooling):将输入的图像划分为若干个矩形子区域，将每个子区域各个元素求平均值作为输出。
3)全连接层
全连接层在卷积神经网络中充当分类器的作用，其上的所有单元与上一层完全连接，对前面提取的特征结果作加权和，最终实现目标分类
深度卷积神经网络是由卷积层与池化层组成。在卷积层中，采用大小的卷积核对输入数据进行卷积。在卷积之后，采用RELU激活函数对数据进行非线性映射,则第l层神经网络经卷积操作和激活函数映射后，得到的输出表示为：
yl＝Relu(conv(Wl,xl)+biasl) (11)
其中，xl表示第l-1层输入，Wl为网络第l层的权值，biasl为第l层偏置值标量，yl为第l 层的输出。
由于上述网络的最终的诊断任务实际上是一个二分类问题，以网络输出的预测标签与样本数据的实际标签之间测误差作为衡量模型故障诊断性能的指标，构建交叉熵损失函数作为网络的分类损失函数，其表达式为：
Figure RE-GDA0003366252760000112
其中，
Figure RE-GDA0003366252760000113
为网络初步训练后的输出结果，将其作为数据集的伪标签，而y为数据集的实际标签，L(·)为网络的分类损失。
基于式(12)对网络进行预训练，以最小化分类损失函数为优化目标，获取卷积神经网络的初始参数，从而提升深度神经网络模型的故障诊断性能。
第三步：基于迁移学习的模型参数重调。为将预训练学习到的经验扩展到当前在轨航天器的诊断任务中，本部分研究基于迁移学习的模型参数重调方法。首先，介绍迁移学习的相关概念：
定义1：域(Domain)，以D(χ,P(x))表示，其中χ为数据特征空间，x∈χ表示单个实例特征，P(x)为其概率分布；在迁移学习任务中，将有知识、包含大量数据标签的源数据集称为源域(Source Domain)，将最终要赋予标签的目标数据集称为目标域(Target Domain)。
定义2：任务(Task)，以T(Y,f(·))表示，其中Y表示标签空间，y∈Y表示单个实例标签；f(·)为目标预测函数，它是网络学习的成果。
基于上述定义1及定义2，假设给出源域Ds及其任务Ts，目标域Dt及目标域的任务Tt，则迁移学习旨在将利用(Ds,Ts)习得的知识去改进目标域的预测函数ft(·)，其中 Ds≠Dt或Ts≠Tt。
迁移学习的核心是找到地面测试数据及其他航天器在轨数据与待检测的航天器数据之间的相似性，并选用合适的度量来定量地表达这种相似性。为此，我们引入最大均值差异 (Maximum Mean Discrepancy,MMD)作为源域与目标域数据之间的相似性的度量准则：
Figure RE-GDA0003366252760000121
其中，φ(·)是完备的希尔伯特映射函数，X1,X2分别为源域和目标域。
为增大源域与目标域之间的相似性，减小二者的分布差异以完成迁移学习，结合式(13) 与式(12)，重构故障诊断网络的训练损失函数，定义为：
Figure RE-GDA0003366252760000122
其中，超参数λ为MMD距离的权重。
综上所述，对深度神经网络进行参数重调的优化目标为：
Figure RE-GDA0003366252760000123
通过上述训练，学习最优的网络映射函数φ(·)，使得迁移后的网络具有更好的模型泛化能力，提升网络对目标域数据集的故障诊断能力。
基于以上三步，就完成了整个基于深度迁移学习的航天器故障过程。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于深度神经网络的航天器智能故障诊断方法，其特征是，首先，搭建基于深度卷积神经网络的故障诊断模型，从带有强噪声的遥测数据集中提取故障特征；其次，利用其它航天器经验数据对网络进行预训练，得到初始网络参数；最后，基于迁移学习中的领域自适应方法，构造基于最大均值差异的代价函数，对网络模型进行参数重调，提升故障数据诊断的准确性；具体步骤如下：
第一步，数据预处理
转换过程如下：
随机选择的时域信号样本大小为M×M，将其转换成长度为M2的序列，序列中的每个数值为转换得到的灰度图像素值，基于数据归一化方法的转换函数为：
Figure FDA0003822703060000011
其中，i＝1,2,...M2，j＝1,2,...M，k＝1,2,...M，上式中，M为图像大小，L(i)代表图像的像素灰度值，round()为取整函数；
第二步：智能故障诊断模型预训练
分为以下几个步骤进行：
1)将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；
2)将源数据集中的时域数据转换为2-D图像实现对数据的预处理，其中数据值的大小与图像像素相关，这一转换避免了传统数据预处理方法中手工操作繁琐且特征信息易丢失的缺点；
3)考虑卷积神经网络能从带噪声的原始数据中有效提取故障特征，搭建基于卷积神经网络的深度神经网络模型框架；
4)基于深度神经网络的故障诊断的误差构造交叉熵代价函数，并利用转换后的2-D图像对网络模型进行预训练；
以预处理后得到的2-D灰度图作为故障诊断网络模型的输入；进一步地，残差网络利用卷积模块提取故障特征；
卷积模块中所包含的卷积神经网络，由大量的神经元依次联接构成，即以一个神经元的输出作为另一个神经元的输入，神经元的输入-输出关系可以看作一种数学映射，称为激活函数，激活函数表达式分别如下所示：
(a)Sigmoid函数：
Figure FDA0003822703060000012
(b)Tanh函数：
Figure FDA0003822703060000013
(c)Relu函数：
Figure FDA0003822703060000021
(d)LeakeyRelu函数：
Figure FDA0003822703060000022
其中，α为正常数，LeakeyRelu激活函数为Relu的衍生版本，主要解决了输入为负时，Relu输出为0的问题，即当输入小于0时，输出值虽然很小但不为零，达到保留该部分输入信息的作用；
卷积神经网络CNN(convolutional neural networks),引入如下的定义；
定义1:假设有两个
Figure FDA0003822703060000023
的函数f(x,y)和g(x,y)，那么f和g的卷积即为一个新的
Figure FDA0003822703060000024
的函数c(x,y)，它通过下式得到：
Figure FDA0003822703060000025
将上述卷积公式写成离散形式为：
Figure FDA0003822703060000026
式中，将f或F看作权值函数，那么所谓“卷积”实际上是一种加权求和过程：即以(x,y)为中心，把g或G距离中心(-s,-t)距离处的值乘以权值f(s,t)或F(s,t)后相加，最终得到卷积结果，对数字图像进行式(8)所示的离散卷积操作称为滤波，F称为卷积核或滤波器，
结合定义1及神经网络模型设计的卷积神经网络，其结构主要包含三种层：卷积层CONV(Convolutional layer)、池化层POOL(Poolinglayer)，全连接层FC(Fully Connectedlayer)；
1)卷积层
假设单一通道输入矩阵的坐标为x,y，卷积核大小为p×q，权重为ω，输入矩阵的值为v，则一次卷积操作后所得输出值为：
Figure FDA0003822703060000027
式中，i＝1,2,...,p*q；
进行卷积操作时，加入偏置(bias)以更好地拟合数据,并引入非线性激活函数f()，经过激活函数后，得到的结果为：
Figure FDA0003822703060000028
2)池化层
池化操作采用：
最大值池化(Max pooling):将输入的图像划分为若干个矩形子区域，对每个子区域输出最大值；
或者，平均值池化(Average pooling):将输入的图像划分为若干个矩形子区域，将每个子区域各个元素求平均值作为输出；
3)全连接层
全连接层在卷积神经网络中充当分类器的作用，其上的所有单元与上一层完全连接，对前面提取的特征结果作加权和，最终实现目标分类
深度卷积神经网络是由卷积层与池化层组成，在卷积层中，采用大小的卷积核对输入数据进行卷积，在卷积之后，采用RELU激活函数对数据进行非线性映射,则第l层神经网络经卷积操作和激活函数映射后，得到的输出表示为：
yl＝Relu(conv(Wl,xl)+biasl) (11)
其中，xl表示第l-1层输入，Wl为网络第l层的权值，biasl为第l层偏置值标量，yl为第l层的输出；
由于上述网络的最终的诊断任务实际上是一个二分类问题，以网络输出的预测标签与样本数据的实际标签之间测误差作为衡量模型故障诊断性能的指标，构建交叉熵损失函数作为网络的分类损失函数，其表达式为：
Figure FDA0003822703060000031
其中，
Figure FDA0003822703060000032
为网络初步训练后的输出结果，将其作为数据集的伪标签，而y为数据集的实际标签，L()为网络的分类损失；
基于式(12)对网络进行预训练，以最小化分类损失函数为优化目标，获取卷积神经网络的初始参数，从而提升深度神经网络模型的故障诊断性能；
第三步：基于迁移学习的模型参数重调
定义1：域(Domain)，以D(χ,P(x))表示，其中χ为数据特征空间，x∈χ表示单个实例特征，P(x)为其概率分布；在迁移学习任务中，将有知识、包含大量数据标签的源数据集称为源域，将最终要赋予标签的目标数据集称为目标域；
定义2：任务(Task)，以T(Y,f())表示，其中Y表示标签空间，y∈Y表示单个实例标签；f()为目标预测函数，它是网络学习的成果；
基于上述定义1及定义2，假设给出源域Ds及其任务Ts，目标域Dt及目标域的任务Tt，则迁移学习旨在将利用(Ds,Ts)习得的知识去改进目标域的预测函数ft()，其中Ds≠Dt或Ts≠Tt；
引入最大均值差异MMD(Maximum Mean Discrepancy)作为源域与目标域数据之间的相似性的度量准则：
Figure FDA0003822703060000041
其中，φ()是完备的希尔伯特映射函数，X1,X2分别为源域和目标域；
为增大源域与目标域之间的相似性，减小二者的分布差异以完成迁移学习，结合式(13)与式(12)，重构故障诊断网络的训练损失函数，定义为：
Figure FDA0003822703060000042
其中，超参数λ为MMD距离的权重，
综上所述，对深度神经网络进行参数重调的优化目标为：
Figure FDA0003822703060000043
通过上述训练，学习最优的网络映射函数φ()，使得迁移后的网络具有更好的模型泛化能力，提升网络对目标域数据集的故障诊断能力。
2.如权利要求1所述的基于深度神经网络的航天器智能故障诊断方法，其特征是，具体步骤如下：
第一部分，数据预处理：将其他航天器经验数据与当前在轨航天器遥测数据分为已标记的源数据集和未标记的目标数据集；为便于神经网络进行特征提取，将两个数据集中的时域数据转换为二维灰度图，其中数据值的大小与图像像素相关；
第二部分，航天器故障诊断模型框架搭建：搭建基于深度卷积神经网络的诊断模型框架，基于网络对源数据集的诊断误差构造交叉熵代价函数对网络进行预训练，进而获取诊断模型的初始网络参数；
第三部分，基于迁移学习的模型参数重调：为将从源域数据中学习到的知识迁移到当前在轨航天器的诊断任务中来，根据源域数据和目标域数据集的分布差异，基于最大均值差异重构网络训练的交叉熵代价函数，减小二者的分布差异实现知识迁移，进一步训练网络并对诊断模型的参数进行微调，实现在轨航天器的故障诊断，并提升故障诊断的准确性。
3.如权利要求1所述的基于深度神经网络的航天器智能故障诊断方法，其特征是，搭建Pytorch框架下的深度迁移学习的航天器故障诊断仿真实验，验证所述诊断方法的有效性。
CN202110958518.6A 2021-08-20 2021-08-20 基于深度神经网络的航天器智能故障诊断方法 Active CN113867307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110958518.6A CN113867307B (zh) 2021-08-20 2021-08-20 基于深度神经网络的航天器智能故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110958518.6A CN113867307B (zh) 2021-08-20 2021-08-20 基于深度神经网络的航天器智能故障诊断方法

Publications (2)

Publication Number Publication Date
CN113867307A CN113867307A (zh) 2021-12-31
CN113867307B true CN113867307B (zh) 2022-10-21

Family

ID=78990728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110958518.6A Active CN113867307B (zh) 2021-08-20 2021-08-20 基于深度神经网络的航天器智能故障诊断方法

Country Status (1)

Country Link
CN (1) CN113867307B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722952B (zh) * 2022-04-20 2023-05-26 哈尔滨工业大学 一种基于表示学习的轴承故障检测和分类的一体化方法
CN115018020A (zh) * 2022-08-08 2022-09-06 深圳市优米特新材料科技有限公司 一种改进型深度学习的钛合金加工设备故障检测方法
CN116246145B (zh) * 2023-01-15 2023-10-20 北京控制工程研究所 一种航天器故障的辨识方法和装置
CN116127279B (zh) * 2023-02-24 2024-04-19 上海师范大学 一种小样本液压泵气蚀诊断方法及装置
CN118468144B (zh) * 2024-07-12 2024-09-24 山东大学 基于扩散模型域适应的深海潜水器故障诊断方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255441A (zh) * 2018-10-18 2019-01-22 西安电子科技大学 基于人工智能的航天器故障诊断方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861383B (zh) * 2017-10-23 2021-07-09 天津大学 基于自适应观测器的卫星故障诊断与容错控制方法
CN109150104A (zh) * 2018-08-10 2019-01-04 江南大学 一种基于随机森林算法的光伏阵列故障诊断方法
CN109918752B (zh) * 2019-02-26 2022-12-16 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN111413091B (zh) * 2020-04-02 2022-05-27 天津大学 一种基于数据驱动的强噪声干扰下齿轮箱故障诊断方法
CN111898095B (zh) * 2020-07-10 2024-04-19 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备
CN113239720B (zh) * 2021-03-30 2022-08-23 河海大学 一种基于深度迁移学习的地铁车辆走行部故障诊断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255441A (zh) * 2018-10-18 2019-01-22 西安电子科技大学 基于人工智能的航天器故障诊断方法

Also Published As

Publication number Publication date
CN113867307A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113867307B (zh) 基于深度神经网络的航天器智能故障诊断方法
Mascarenhas et al. A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification
Gamboa Deep learning for time-series analysis
CN103793718B (zh) 一种基于深度学习的人脸表情识别方法
Zhang et al. Chromosome classification with convolutional neural network based deep learning
CN107657204A (zh) 深层网络模型的构建方法及人脸表情识别方法和系统
Tripathi et al. Image classification using small convolutional neural network
CN115659174A (zh) 基于图正则化CNN-BiLSTM的多传感器故障诊断方法、介质及设备
CN115482230A (zh) 基于深度卷积脉冲神经网络的肺结核辅助决策系统
De Andrade Best practices for convolutional neural networks applied to object recognition in images
CN115032602A (zh) 一种基于多尺度卷积胶囊网络的雷达目标识别方法
CN114357372A (zh) 一种基于多传感器数据驱动的飞机故障诊断模型生成方法
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
CN112434145A (zh) 一种基于图像识别和自然语言处理的看图作诗方法
Burugupalli Image classification using transfer learning and convolution neural networks
Romano et al. An improved pooling scheme for convolutional neural networks
Sridevi et al. Generalized Deep-learning Models to Classify Allen Telescope Data
Chakraborty et al. Bengali handwritten character transformation: basic to compound and compound to basic using convolutional neural network
Bhullar Interpreting Capsule Networks for Classification by Routing Path Visualization
Song FusionNet: a New Perspective of CNN for Image Classification
Gupta et al. Implementing a foveal-pit inspired filter in a spiking convolutional neural network: a preliminary study
Assem et al. Robust deep convolutional neural network-Based Classifiers
CN114578307B (zh) 一种雷达目标融合识别方法及系统
Mdrafi Data-driven sparse computational imaging with deep learning
Schwartz et al. Active learning in deep convolutional neural networks for image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant