CN117272211A - 基于长短期记忆模型的轻量化航天器故障检测分类方法 - Google Patents

Abstract

本发明公开了一种基于长短期记忆模型的轻量化航天器故障检测分类方法，选择更适合处理序列数据的长短期记忆网络，以充分提取并建模特征序列中的时空双重维度信息，学习更高层次的时序特征，从而获得更准确的预测结果。本发明使用的数据处理方式，将不同故障模式、不同运行模式的数据集进行维度补全，拼合数据集以便于统一训练模型，做到一个模型可以检测和分类不同数据格式的航天器故障数据集。本发明使用细粒度的基于软滤波的加权剪枝方法和量化技术进行深度神经网络模型轻量化处理，从而优化模型，加快模型的运行速度，更好地进行航天器异常诊断的异构计算。本发明进行模型的重训练以恢复模型的判别精度。

Description

基于长短期记忆模型的轻量化航天器故障检测分类方法

技术领域

本发明涉及故障检测技术领域，尤其涉及一种基于长短期记忆模型的轻量化航天器故障检测分类方法。

背景技术

航天器在各种领域中占据了极其重要的地位，航天器作为现代技术中必不可少的装备，对安全稳定运行能力提出了迫切需求。故障诊断作为一种从系统层面克服产品固有可靠性不足、提升航天器安全可靠稳定运行能力的有效手段，在国内外已被广泛应用于航天器的管理中。然而，近几年来国内外多次出现的由于控制分系统故障导致航天器业务中断、甚至整体完全失效的严重事件表明，现有故障诊断与航天器安全可靠稳定运行需求之间差距巨大。主要表现在：智能化水平不高，现有方法对大数据的使用和挖掘深度不够；对不确定工况的适应性差。由于航天器分系统的复杂闭环特性，其测量数据具有强耦合性、不确定性、多样性和不完整性的特点，现有的故障诊断方法都很难对这种数据进行预警和诊断。人工智能技术具备强大的数据融合、知识学习和特征识别能力，其在航天器故障诊断方面的应用已具备条件。所以亟需充分利用人工智能技术，采用数据挖掘和机器学习的方法，实现航天器控制分系统故障自主监测、预警和诊断。

由于人的错误、测量设备的限制或数据收集的过程的漏洞等都可能会导致各种问题，从而导致数据的值乃至整个数据对象都可能会丢失。因此，为了高质量的模型训练，需进行数据预处理。数据预处理的目的是为信息处理过程提供干净、准确、简洁的数据，从而提高数据质量、信息处理率和准确性，使训练过程更加有效，更加容易，同时也提高训练结果的质量。数据预处理的对象主要是清理其中的噪声数据、空缺数据和不一致数据。

故障诊断的输入数据多是时序信号，其中隐含了大量的时序关联信息，暗示着序列的发展趋势。虽然在空间特征上进行了充分的提取，但其在时间特征上的挖掘还远远不够。

发明内容

为解决现有技术存在的局限和缺陷，本发明提供一种基于长短期记忆模型的轻量化航天器故障检测分类方法，包括：

获得在轨航天器的运行数据；

对所述运行数据进行数据清洗；

通过数据切片的方式将数据之间的空格冗余信息清除，以消除数据之间的差异；将不同故障模式、不同运行模式的数据集进行维度补全，拼合数据集以实现统一训练模型对不同数据格式的航天器故障数据集进行检测和分类；消除数据集的冗余信息；

使用预设长度的滑动窗口提取数据的时序特征，根据标签数据构造序列列表，每个序列分配对应的标签，保存所述标签，根据所述序列与故障间隔是否存在重叠确定所述序列对应标签的值；对于所有未对准故障，若切片的至少一个时间步长在故障开始时间之后，将所述切片标记为故障；对于所有对准故障，将每个切片标记为故障；

使用长短期记忆模型对数据进行特征提取和分类，将每个时间步长的最后一维进行数据切片，输送所述数据切片到全链接层，所述全链接层对数据进行特征提取、概率计算以及数据分类；

根据组平衡稀疏方法将矩阵的每一行分割成预设数量的大小相同的组，在每个组内使用细粒度剪枝，根据权重的绝对值大小决定所述细粒度剪枝的重要性；

使用与首次训练相同的数据集进行模型重训练，对超参数进行预设的调整，所述超参数包括学习速率、批次大小。

可选的，所述对所述运行数据进行数据清洗的步骤包括：

对所述运行数据进行去噪、插值补全、归一化的操作；

将不同型号、不同维度、不同记录方式的数据集改写为统一文件格式。

可选的，所述消除数据集的冗余信息的步骤包括：

对数据进行维度绘制，分辨不同维度的数据代表的含义，对全零值维度、无变化维度、时间戳维度、传感器标志位维度进行筛选和删除。

本发明具有下述有益效果：

本发明提供一种基于长短期记忆模型的轻量化航天器故障检测分类方法，选择更适合处理序列数据的长短期记忆网络，以充分提取并建模特征序列中的时空双重维度信息，学习更高层次的时序特征，从而获得更准确的预测结果。本发明使用的数据处理方式，将不同故障模式、不同运行模式的数据集进行维度补全，拼合数据集以便于统一训练模型，做到一个模型可以检测和分类不同数据格式的航天器故障数据集。本发明对数据集进行数据清洗，将不同型号，不同维度，不同记录方式的数据集改写成统一文件格式，以应对航天器不同型号、不同传感器导致的数据格式维度不一致的情况，通过数据切片的方式清除数据之间的空格冗余信息，以减小数据之间的差异，提高模型的预测性能。本发明使用细粒度的基于软滤波的加权剪枝方法和量化技术进行深度神经网络模型轻量化处理，从而优化模型，加快模型的运行速度，更好地进行航天器异常诊断的异构计算。本发明进行模型的重训练以恢复模型的判别精度。

附图说明

图1为本发明实施例一提供的基于长短期记忆模型的轻量化航天器故障检测分类方法的流程图。

图2为本发明实施例二提供的基于长短期记忆模型的轻量化航天器故障检测分类方法的数据处理流程图。

图3为本发明实施例一提供的基于长短期记忆模型的轻量化航天器故障检测分类方法的标签分配示意图。

图4为本发明实施例一提供的不同比例数据集训练精度变化示意图。

图5a为本发明实施例一提供的模型剪枝后精度对比示意图。

图5b为本发明实施例一提供的模型恢复后精度对比示意图。

图6为本发明实施例一提供的模型故障检测效果混淆矩阵示意图。

图7为本发明实施例一提供的模型轻量化后故障检测效果混淆矩阵示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的基于长短期记忆模型的轻量化航天器故障检测分类方法进行详细描述。

实施例一

为了充分学习空间和时间双重维度上的特征，这里引入了循环神经网络（Recurrent Neural Network，RNN）及其变体长短期记忆（Long Short-Term Memory，LSTM）。RNN相对其他算法而言，更适合处理序列数据，这是由于其具有能使信息从上一时间步传递至下一时间步的循环结构，这令RNN有了记忆，让它能够获取很久之前的信息，挖掘数据中的时序信息，具有充分利用语义信息的深度表达能力。LSTM作为其变体，一定程度上解决了长序列中的梯度消失和梯度爆炸引起的长期依赖问题，是最常用的RNN变体。

通过深度神经网络压缩实现所提深度学习故障诊断模型的超轻量处理。深度神经网络的压缩主要通过模型剪枝和权值压缩实现。已有的剪枝方法主要包含两大类，结构化剪枝以及非结构化剪枝。其中结构化剪枝的结果更加规律，且更易于实现，因此在实际应用中有着广泛的前景，而非结构化剪枝更加的深入和具有针对性，但是在网络结构上不够规律，因此更加适合特定场景的模型压缩深入研究。

模型重训练和精度恢复在深度学习模型的压缩和优化中占有极其重要的地位。模型剪枝和权重压缩等操作虽然可以显著减小模型的体积和计算量，但同时也可能导致模型性能的下降。为了挽回部分甚至全部的性能损失，模型重训练和精度恢复技术被广泛应用。重训练就是在新的压缩后的模型结构上，再次使用原始训练数据进行训练，以调整剪枝或压缩后的权重。这一步骤可以部分或完全恢复模型的精确度，同时保持模型的小体积和低计算量。通过精心设计和调整，可以使压缩后的模型既保持轻量，又不牺牲过多的性能。这对于需要在有限资源环境下运行复杂深度学习模型的任务来说，具有重要的实际意义。

本实施例旨在满足航天器在有限计算资源下进行实时且准确的故障诊断分类的需求。由于故障诊断的输入数据多是时序信号，其中隐含了大量的时序关联信息，CNN虽然在空间特征上进行了充分的提取，但其在时间特征上的挖掘还远远不够。针对这个问题，同时考虑到虑模型在硬件环境中部署的问题，为了满足航天器在有限计算资源下进行实时、准确的多变量时间序列故障检测的需求，本实施例提供了一种基于异构计算的高能效人工智能故障诊断模型深度优化策略，并设计了一个流程。

本实施例选择更适合处理序列数据的LSTM网络，以充分提取并建模特征序列中的时空双重维度信息，学习更高层次的时序特征，从而获得更准确的预测结果。同时，使用了创新的数据处理方式，将不同故障模式、运行模式的数据集进行维度补全，拼合数据集以便于统一训练模型，做到一个模型可以检测和分类不同数据格式的航天器故障数据集。并对数据集进行数据清洗，将不同型号，不同维度，不同记录方式的数据集改写成统一文件格式，以应对在实际情况中经常遇到的航天器不同型号、不同传感器导致的数据格式维度不一致的情况，并通过数据切片的方式将数据之间的空格冗余信息清除，以减小数据间的差异并提高模型的预测性能。

其次，为了更好地进行航天器异常诊断的异构计算，且在实际的硬件环境中的有效部署，本实施例同时使用了细粒度的基于软滤波的加权剪枝方法和量化技术进行深度神经网络模型轻量化处理，旨在优化模型并加速其运行速度。为了保持判别精度，本实施例在流程最后进行模型的重训练以恢复判别精度。

本实施例专注于解决航天器在有限计算资源限制下进行实时、精确的多变量时间序列故障检测的挑战，通过引入一种基于异构计算的高能效人工智能故障诊断模型深度优化策略，创建了一套全新的流程。

在模型训练过程中，本实施例借助LSTM网络对提取出的特征序列进行建模和深度分析，学习更高层的时序信息从而得到更准确的预测结果。与传统针对不同型号、不同维度数据的分离训练方式不同，本实施例采用了滑动窗口方法来提取时序特征，其中窗口长度可根据需求灵活调整。同时，通过整合不同数据集至统一框架，保证了数据的一致性和完整性，也显著降低了模型复杂性，增强了硬件环境中的适应性和灵活性。而在本实施例的数据处理策略中，首先使用滑动窗口的方式提取数据的时序特征，滑动窗口的长度可以根据实验的需要进行调整，同时整合不同数据集在同一个框架内，以减小模型的复杂性，提高了其在硬件环境中的适应性和灵活性，同时本实施例采用了基于软滤波的加权剪枝方法和量化技术，这些在重训练过程中，不仅减小了模型规模，保持了检测精度，而且优化了运行效率。

图1为本发明实施例一提供的基于长短期记忆模型的轻量化航天器故障检测分类方法的流程图。训练人工智能故障诊断模型的流程按照图1中所示，在预处理时加入了数据整合和切片的操作，具体步骤包括数据预处理，模型训练分类和模型剪枝、量化和重训练回复精度。

图2为本发明实施例二提供的基于长短期记忆模型的轻量化航天器故障检测分类方法的数据处理流程图。数据预处理的步骤如图2所示。对于不同型号，不同传感器、不同维度、数据含义不同的航天器故障时序数据，本实施例首先进行数据清洗，包括去噪、插值补全、归一化的操作，将不同型号，不同维度，不同记录方式的数据集改写成统一文件格式，并通过数据切片的方式将数据之间的空格冗余信息清除，以减小数据间的差异并提高模型的预测性能。同时，为了更好地进行航天器异常诊断的异构计算，将不同故障模式、运行模式的数据集进行维度补全，拼合数据集以便于统一训练模型，做到一个模型可以检测和分类不同数据格式的航天器故障数据集。为了减小数据冗余并减小模型大小以及训练时间，额外对数据集数据进行维度绘制，分辨不同维度的数据所代表的含义，并将全0值维度、无变化维度、时间戳维度、以及传感器标志位维度进行筛选和删除，进一步减小数据集的冗余信息。

图3为本发明实施例一提供的基于长短期记忆模型的轻量化航天器故障检测分类方法的标签分配示意图。如图3所示，使用滑动窗口的方式提取数据的时序特征，滑动窗口的长度可以根据实验的需要进行调整。对于有标签数据，本实施例构造了一个序列列表，并为每个序列分配了一个标签并保存，标签的值取决于该序列是否与故障间隔有重叠。对于所有未对准故障，如果切片的至少一个时间步长在故障开始时间之后，则该切片被标记为故障。对于未对准故障，每个切片都被标记为故障。最后，处理好的序列和对应的标签用于后续的模型训练和测试。

本实施例采用监督学习方法，训练LSTM模型进行特征提取和分类；LSTM模块设置了多个隐藏层，并且每个隐藏层都有大量神经元，以便更好地提取输入数据中的特征。数据经过LSTM层之后将每个时间步的最后一维进行数据切片，并输送进起到分类器作用的全链接层中，进行特征的提取铺平和概率计算并分类。

同时，本实施例选择交叉墒损失作为损失函数。它衡量了模型预测结果与实际结果之间的差距，是优化模型参数的关键指标之一。在模型训练完成后，使用精确率（Precision）、准确率（Accuracy）、召回率（Recall）、F1值、进行模型训练的效果判别。

在使用训练数据完成模型的训练之后，为了在实际的硬件环境中的有效部署，本实施例使用了细粒度的基于软滤波的加权剪枝方法和量化技术进行深度神经网络模型轻量化处理，旨在优化模型并加速其运行速度。本实施例使用组平衡稀疏（Bank-BalancedSparsity，BBS）这种可以在高稀疏度下保持模型精度的稀疏模式。这种剪枝方法的基本流程是：将矩阵每一行分割成多个相同大小的组，然后在每个组内应用细粒度剪枝，细粒度剪枝的重要性由权重的绝对值大小决定。BBS剪枝能够维持矩阵的所有组之间相同稀疏度的同时，通过保留组内的大值权重从而尽可能保留矩阵内的大值权重。在这种剪枝方法中，本实施例很好地对故障分类模型进行剪枝，去除了70%的模型参数量并依旧保持了模型的精度。

为了弥补模型轻量化处理之后的精度损失，本实施例在流程之后加入了模型重训练的策略。在模型重训练阶段，使用和首次训练相同的数据集，并对学习速率、批次大小等超参数进行了适当的调整。这些调整使得模型能够在较短的时间内快速收敛，达到恢复甚至提高精确度的目的。这使得本实施例提出的方法能够在实际航天器故障检测场景中，以更低的计算资源消耗，提供更为可靠和高效的故障诊断服务。

本实施例提供的基于长短期记忆模型的轻量化航天器故障检测分类方法的有益效果体现在以下几个方面：

综合数据处理能力：实施例充分考虑了航天器故障时序数据的多样性和复杂性。通过将不同维度、不同格式的数据集拼接统一处理，成功地实现了一个模型可以检测不同维度的故障数据，保持了数据的统一性和完整性。这一处理不仅增强了模型的通用性，而且减少了额外的定制开发工作，节约了时间和资源。

高效的时间序列分析：实施例为了满足航天器在有限计算资源下进行实时、准确的多变量时间序列故障检测的需求，特别选择了LSTM网络结构。LSTM的独特设计使其能够充分提取并建模特征序列中的时空双重维度信息，学习更高层次的时序特征，从而获得更准确的预测结果。这一设计保证了模型在处理复杂、动态变化的航天器故障数据时仍能保持高准确度。

合理的模型优化：通过采用剪枝和量化技术，实施例对模型进行了精细化优化。这一优化在保持故障检测和分类精度的同时，有效降低了模型的大小和复杂性。模型轻量化不仅使其更易于在异构计算平台上进行部署和运行，还有效地减少了航天器计算资源的占用，有助于满足在有限资源环境下的实时运行需求。

实际应用价值：实施例的设计融合了航天器实际应用场景的特殊需求，有针对性和实用性。它的成功实施将极大提高航天器故障诊断的精确度和效率，降低了人工干预的依赖，有助于航天任务的安全和成功执行。

本实施例以在轨卫星信号CMG实际运行数据集为例，分别包含了108维、135维不同通道传感器的遥测数据信息，记录了63种不同模式的故障数据异常，对此，本实施例使用了多通道数据集处理方法。对于这些时序数据，本实施例首先使用滑动窗口的方式提取数据的时序特征，滑动窗口的长度可以根据实验的需要进行调整。同时，进行数据清洗，包括去噪、插值补全、归一化的操作，将不同型号，不同维度，不同记录方式的数据集改写成统一文件格式，并通过数据切片的方式将数据之间的空格冗余信息清除，以减小数据间的差异并提高模型的预测性能。同时，为了更好地进行航天器异常诊断的异构计算，将不同故障模式、运行模式的数据集进行维度补全，拼合数据集以便于统一训练模型，做到一个模型可以检测和分类不同数据格式的航天器故障数据集。

同时，为了减小数据冗余并减小模型大小以及训练时间，额外对数据集数据进行维度绘制，分辨不同维度的数据所代表的含义，并将全0值维度、无变化维度、时间戳维度、以及传感器标志位维度进行筛选和删除，进一步减小数据集的冗余信息。

为减小数据集的冗余信息，在108维数据中，本实施例删除了1,2,3,8,9,10,11,12,13,14,15,16,26,27,28,29,33,34,35,36,37,81,82,83,84,85,86,87共20维冗余数据。在135维数据中，本实施例删除了3,6,9,12,13,14,15,16,17,18,19,20,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,55,62,67,69,71,75,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,97,98,99,100,101,102,103,104,105,106,107,108,109,114,115,120,121,126,127,128,129,132,131,132,133,135共85维冗余数据。在标记标签的过程中，本实施例构造了一个序列列表，并为每个序列分配了一个标签并保存，标签的值取决于该序列是否与故障间隔有重叠。处理好的序列和对应的标签用于后续的模型训练和测试。

本实施例采用监督学习方法，训练LSTM模型进行特征提取和分类；在经过训练后已达到目的指标的模型中，本实施例使用了LSTM层和全连接层进行故障的检测和分类，模型的结构具体结构如下：

数据经过LSTM层之后将每个时间步的最后一维进行数据切片，并输送进起到分类器作用的全链接层中，进行特征的提取铺平和概率计算并分类。

在模型训练的过程中，选择batch_size=32，hidden_size=100，lr=0.001作为超参数，能更好地提升模型的分类精度，实现对不同维度，不同传感器航天器的在轨运行数据集的故障识别检测。

在模型训练完成后，使用精确率（Precision）、准确率（Accuracy）、召回率（Recall）、F1值、进行模型训练的效果判别。图4为本发明实施例一提供的不同比例数据集训练精度变化示意图。为了在算力资源有限且在得到最佳精度同时节省训练时间，本实施例选择了不同比例的数据集用于训练，以在不同情况下选择数据集大小。

在使用训练数据完成模型的训练之后，为了在实际的硬件环境中的有效部署，本实施例使用了细粒度的基于软滤波的加权剪枝方法和量化技术进行深度神经网络模型轻量化处理，旨在优化模型并加速其运行速度。本实施例使用组平衡稀疏（Bank-BalancedSparsity，BBS）这种可以在高稀疏度下保持模型精度的稀疏模式。这种剪枝方法的基本流程是：将矩阵每一行分割成多个相同大小的组，然后在每个组内应用细粒度剪枝，细粒度剪枝的重要性由权重的绝对值大小决定。BBS剪枝能够维持矩阵的所有组之间相同稀疏度的同时，通过保留组内的大值权重从而尽可能保留矩阵内的大值权重。图5a为本发明实施例一提供的模型剪枝后精度对比示意图。图5b为本发明实施例一提供的模型恢复后精度对比示意图。在这种剪枝方法中，本实施例很好地对故障分类模型进行剪枝，去除了60%的模型参数量并依旧保持了模型的精度。

经过训练，对于包含了108维、135维不同通道传感器的遥测数据信息，记录了63种不同模式的故障数据集。图6为本发明实施例一提供的模型故障检测效果混淆矩阵示意图。在测试集上已经实现了故障检测准确率达98.84%，召回率达98.84%，精确率达98.93%，F1值达98.85%。

图7为本发明实施例一提供的模型轻量化后故障检测效果混淆矩阵示意图。经过轻量化后的模型，在60%剪枝率下，重训练恢复京都之后准确率依旧保持在98.35%，同时参数量减少65%，flops变为压缩前的40%，达到预期目标。

如表1和表2所示，为了更好地突出故障检测部分的精度，本部分还计算了除去正常类别后纯故障分类检测的轻量化前后指标，在60%剪枝率重训练恢复下，纯故障数据检测准确率达97.05%，平均召回率达94.37%，精确率达94.91%，F1值达93.77%。

本实施例的创新之处在于：

合适的模型结构：通过选择LSTM网络，结合时空双重维度信息的提取，本实施例设计了一种混合的模型结构，既利用了LSTM的长时记忆特性，又整合了全连接层的神经网络结构以实现更精确的特征抽取。

数据预处理与统一化：本实施例采取了一种创新的数据预处理策略，确保不同源的数据集能够整合在一个统一的框架内，从而减小模型的复杂性，并提高其灵活性和适用性。数据清洗、切片和拼合等方法都增强了模型对于真实环境下不一致数据的处理能力。

细粒度剪枝与量化：通过基于软滤波的加权剪枝方法和量化技术，本实施例提供了一种精准的模型轻量化方案。细粒度的剪枝确保了只有冗余的神经元被移除，保持了网络的性能；而量化进一步减少了模型的存储需求和计算负担。

模型重训练与精度恢复：本实施例还考虑了模型重训练的流程，以确保轻量化后的模型精度损失能够得到有效补偿。

硬件和软件的协同优化：由于航天器的计算资源有限，本实施例还深入考虑了模型与具体硬件环境的兼容性和协同工作能力，通过硬件和软件的协同设计，实现了模型在实际硬件环境中的高效运行。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (3)

1.一种基于长短期记忆模型的轻量化航天器故障检测分类方法，其特征在于，包括：

获得在轨航天器的运行数据；

对所述运行数据进行数据清洗；

通过数据切片的方式将数据之间的空格冗余信息清除，以消除数据之间的差异；将不同故障模式、不同运行模式的数据集进行维度补全，拼合数据集以实现统一训练模型对不同数据格式的航天器故障数据集进行检测和分类；消除数据集的冗余信息；

使用预设长度的滑动窗口提取数据的时序特征，根据标签数据构造序列列表，每个序列分配对应的标签，保存所述标签，根据所述序列与故障间隔是否存在重叠确定所述序列对应标签的值；对于所有未对准故障，若切片的至少一个时间步长在故障开始时间之后，将所述切片标记为故障；对于所有对准故障，将每个切片标记为故障；

使用长短期记忆模型对数据进行特征提取和分类，将每个时间步长的最后一维进行数据切片，输送所述数据切片到全链接层，所述全链接层对数据进行特征提取、概率计算以及数据分类；

根据组平衡稀疏方法将矩阵的每一行分割成预设数量的大小相同的组，在每个组内使用细粒度剪枝，根据权重的绝对值大小决定所述细粒度剪枝的重要性；

使用与首次训练相同的数据集进行模型重训练，对超参数进行预设的调整，所述超参数包括学习速率、批次大小。

2.根据权利要求1所述的基于长短期记忆模型的轻量化航天器故障检测分类方法，其特征在于，所述对所述运行数据进行数据清洗的步骤包括：

对所述运行数据进行去噪、插值补全、归一化的操作；

将不同型号、不同维度、不同记录方式的数据集改写为统一文件格式。

3.根据权利要求1所述的基于长短期记忆模型的轻量化航天器故障检测分类方法，其特征在于，所述消除数据集的冗余信息的步骤包括：

对数据进行维度绘制，分辨不同维度的数据代表的含义，对全零值维度、无变化维度、时间戳维度、传感器标志位维度进行筛选和删除。