CN111582396A - 一种基于改进卷积神经网络的故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于改进卷积神经网络的故障诊断方法，涉及故障诊断技术领域，该方法建立改进的卷积神经网络模型，改进的卷积神经网络模型依次包括输入层、若干层特征提取层、新增卷积层、全连接层和输出层，每层特征提取层分别依次包括卷积层和池化层，使用训练集和测试集基于改进的卷积神经网络模型训练得到故障诊断模型，即可用于自动化的故障诊断，该方法在特征提取层和全连接层之间还设置了一个新增卷积层，新增卷积层可以提取模型深层特征，有效增强模型的泛化能力，同时对特征提取层也进行了改进，在一定程度上可以减少过拟合的风险并加快计算速度。

Description

一种基于改进卷积神经网络的故障诊断方法

技术领域

本发明涉及故障诊断技术领域，尤其是一种基于改进卷积神经网络的故障诊断方法。

背景技术

近些年来，机器学习在指纹识别、文本识别、语音识别、故障诊断和图片分类等领域的应用愈加广泛，基本达到商业化的要求。作为机器学习的分支，深度学习解决了传统的深层神经网络训练困难的问题。

作为深度学习模型中的一员，CNN(卷积神经网络)在图片识别和故障诊断领域应用广泛，能实现自适应特征提取和智能分类，对高维和非线性数据有很强大的处理能力，此外，CNN在保持一定降噪滤波效果的同时能保证特征提取不变性，因此在大数据背景的故障诊断领域广为应用。CNN将卷积操作与反向传播算法相结合，完成卷积核参数的自学习训练，但是CNN具有深度学习以及传统神经网络的固有缺点：梯度消失、过拟合、计算量大以及模型泛化能力弱。

发明内容

本发明人针对上述问题及技术需求，提出了一种基于改进卷积神经网络的故障诊断方法，该方法包括如下步骤：

获取样本数据集，样本数据集中包括各个状态类型的时间序列数据，对样本数据集进行数据预处理得到训练集和测试集，训练集和测试集中分别包括若干个状态类型对应的时序图，状态类型包括正常状态以及q类故障状态，q为正整数，每个时序图中包括p个数据；

建立改进的卷积神经网络模型，改进的卷积神经网络模型依次包括输入层、若干层特征提取层、新增卷积层、全连接层和输出层，每层特征提取层分别依次包括卷积层和池化层；

将训练集输入改进的卷积神经网络模型训练得到故障诊断模型，将测试集输入训练得到的故障诊断模型对故障诊断模型进行测试；

获取系统运行过程中的待诊断的时间序列数据，将待诊断的时间序列数据输入测试完成的故障诊断模型得到对应的状态类型完成对系统的故障诊断。

本发明的有益技术效果是：

本申请提供了一种基于改进卷积神经网络的故障诊断方法，基于改进的卷积神经网络模型训练得到故障诊断模型，本申请的改进的卷积神经网络模型中在内部包括成对出现的卷积层和池化层的特征提取层之余，在特征提取层和全连接层之间还设置了一个新增卷积层，新增卷积层可以提取模型深层特征，有效增强模型的泛化能力。同时本申请对特征提取层也进行了改进，特征提取层内的卷积层由若干个卷积核构成，对信号进行特征提取得到特征图，池化层对卷积层的输出进行分割和压缩，缩小特征图尺寸，在一定程度上可以减少过拟合的风险并加快计算速度，训练得到的故障诊断模型可以用于系统的故障诊断，在改善了过拟合和计算速度的同时大大提升了模型的泛化能力。

附图说明

图1是本申请中的改进的卷积神经网络模型的模型结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请提供了一种基于改进卷积神经网络的故障诊断方法，该方法包括如下步骤：

步骤S1，获取样本数据集，对样本数据集进行数据预处理得到训练集和测试集，其中，样本数据集中包括各个状态类型的时间序列数据，本申请状态类型包括正常状态以及q类故障状态，q为正整数，则获取到的样本数据集可以表示为{正常状态的时间序列数据，故障状态1的时间序列数据，故障状态2的时间序列数据……故障状态q的时间序列数据}，每一组时间序列数据中包括若干个数据点。

基于样本数据集准备得到训练集和测试集的方法包括如下步骤S1a-S1d：

步骤S1a，对样本数据集按状态类型分为q+1个时间序列数据集，每个时间序列数据集包括对应的状态类型的时间序列数据，也即将上述举例的样本数据集分为{正常状态的时间序列数据}，{故障状态1的时间序列数据}，{故障状态2的时间序列数据}……{故障状态q的时间序列数据}，每个时间序列数据集中的时间序列数据中包括若干个数据点。

步骤S1b，对q+1个时间序列数据集进行标准化处理。本申请对每个时间序列数据集采用z-score标准化处理使其均值为0、标准差为1：

其中，x^*表示对时间序列数据集中的时间序列数据标准化后的数据，x为时间序列数据集中的时间序列数据，μ为时间序列数据集中的时间序列数据的均值，σ为时间序列数据集中的时间序列数据的标准差。由此可以得到q+1个标准化处理后的时间序列数据集。

步骤S1c，对标准化处理后的每个时间序列数据集进行随机分段得到对应的分段数据集，分段的数量为p，每个分段数据集包括对应的状态类型的p个时间序列数据，由此可以得到q+1个分段数据集分别表示为{正常状态的时间序列数据1，正常状态的时间序列数据2……正常状态的时间序列数据p}，{故障状态1的时间序列数据1，故障状态1的时间序列数据2……故障状态1的时间序列数据p}，……{故障状态q的时间序列数据1，故障状态q的时间序列数据2……故障状态q的时间序列数据p}。

步骤S1d，将每个状态类型对应的分段数据集转换成对应的时序图得到q+1种时序图，将q+1个状态类型对应的时序图划分为训练集和测试集，训练集和测试集中分别包括若干个状态类型对应的时序图，每个时序图中包括p个数据。

步骤S2，建立改进的卷积神经网络模型，本申请中的改进的卷积神经网络模型具有新型的CNN结构，请参考图1，该改进的卷积神经网络模型依次包括输入层、若干层特征提取层、新增卷积层、全连接层和输出层，每层特征提取层分别依次包括成对出现的卷积层和池化层。

步骤S3，将训练集输入改进的卷积神经网络模型训练得到故障诊断模型，改进的卷积神经网络模型对输入的每个时序图的处理过程如下：

1、输入层：输入层位于改进的卷积神经网络模型的第一层，输入层将输入的时序图处理为初始特征，由于每个时序图中包括p个数据，因此处理得到p个初始特征，可以表示为

其中

表示第一层的输入层处理得到的第k个初始特征，k∈[1，p]。

2、特征提取层：特征提取层中的卷积层和池化层在改进的卷积神经网络模型中所处的层数根据该特征提取层所在层数决定：第一层特征提取层中的卷积层位于改进的卷积神经网络模型的第二层、池化层位于改进的卷积神经网络模型的第三层，第二层特征提取层中的卷积层位于改进的卷积神经网络模型的第四层、池化层位于改进的卷积神经网络模型的第五层，依次类推。

每层特征提取层对获取到的输入特征进行故障特征提取得到故障特征映射并输出，其中第一层特征提取层获取到的输入特征即为输入层处理得到的初始特征，其他层特征提取层获取到的输入特征为上一层特征提取层输出的故障特征映射。

对于每层特征提取层，假设该层特征提取层内的卷积层位于改进的卷积神经网络模型中的第l层、池化层位于改进的卷积神经网络模型中的第l+1层，则该层特征提取层的处理过程包括如下子步骤：

(1)卷积层，其处理过程包括如下几个子步骤：

(1.1)对获取到的各个输入特征提取得到n个初始特征映射，n为参数且n的取值可以自定义配置，得到每个初始特征映射的计算过程如下：

其中，

为第l层的第j个初始特征映射，j∈[1，n]，l≥2。M_j表示上一层即第l-1层中的第j个卷积区域，

为从上一层即第l-1层获取到的第i个输入特征，i为参数，i∈M_j表示第i个输入特征为第j个卷积区域对应的生成的输入特征，

为第l层在生成第j个初始特征映射时应用在第l-1层输入的第i个输入特征上的卷积核，

为第l层输出第j个初始特征映射时的偏置矩阵。

由此可以得到n个初始特征映射，表示为

(1.2)对n个初始特征映射进行批归一化处理得到n个重构输出，得到每个重构输出的计算过程如下：

其中，

为对第l层的第j个初始特征映射批归一化处理后的结果，μ_β是从上一层获取到的各个输入特征的均值，σ_β是从上一层获取到的各个输入特征的标准差，ε、γ和β均为参数，ε通常是一个极小值，

为第l层的第j个重构输出。由此可以得到n个重构输出为

(1.3)将n个重构输出输入ReLU激活函数得到n个中间特征映射，得到每个中间特征映射的计算过程如下：

其中，

为第l层的第j个中间特征映射，由此可以得到n个中间特征映射为

(2)池化层，本申请采用最大池化，池化层对n个中间特征映射进行矩形分割和压缩得到

个故障特征映射并输出，S为池化层的尺寸，其为参数、具体尺寸值可以自定义配置，计算过程如下：

其中，

为第l+1层池化层所在的特征提取层输出的第j₀个故障特征映射，

为所述卷积层输出的第l层的第j个中间特征映射中第r个神经元的值，r∈[(j₀-1)S+1,j₀S]。由此可以得到池化层输出的n个故障特征映射、也即池化层所在的特征提取层输出的n个故障特征映射即为

3、新增卷积层：新增卷积层在改进的卷积神经网络模型中所处的层数根据该特征提取层所在层数决定，本申请假定新增卷积层位于改进的卷积神经网络模型中的第m层。新增卷积层对特征提取层提取后的故障特征映射进一步提取生成特征。新增卷积层的处理过程与特征提取层中的卷积层的处理过程基本相同，其对最后一层特征提取层输出的故障特征映射进行进一步故障特征提取得到n′个初始特征映射，然后对n′个初始特征映射进行批归一化处理得到n′个重构输出，然后将n′个重构输出输入ReLU激活函数直接得到n′个故障特征映射，无需再经过池化层，各步骤的计算公式可以参考上述特征提取层卷积层的各个对应步骤的计算公式，本申请不再详细赘述。同样的，n′为参数且n′的取值可以自定义配置。

4、全连接层：通过逐层的卷积和池化等操作后，全连接层对新增卷积层输出的n′个故障特征映射进行组合，连接前一层即新增卷积层的所有神经元。使用softmax针对每个输入返回的概率，将输入分配到其中一个互斥类得到概率序列{y₁₁,y₁₂,…y_1B；y₂₁,y₂₂,…y_2B；…y_A1,y_A2,…y_AB}，其中，A为样本数量且A＝p+1，B为类别数且B＝q+1，y_ab表示属于第b个类别的样本a的输出，也就是softmax的输出，它表示网络将样本a归为类别b的概率，1≤a≤A，1≤b≤B。并计算损失函数，损失函数为：

其中，t_ab表示第a个样本是否属于第b个类别。

5、输出层，输出层通常为分类神经网络。

以最小损失函数为学习目标，使用具有动量的随机梯度下降反向更新改进的卷积神经网络模型的模型参数，当损失函数满足预设终止条件时完成模型训练得到故障诊断模型。模型的训练可以采用随机梯度下降、批量梯度下降、小批量梯度下降等，本申请中采用具有动量的随机梯度下降算法，每次从训练集中随机选择一个时序图进行学习，计算梯度的指数加权平均值，并利用梯度更新特征提取层中卷积层在输出第j个初始特征映射时使用的卷积核K_ij和偏置矩阵b_j，更新过程如下：

其中，η为学习率，v_K(t)为第t次学习时卷积核K_ij的动量，v_b(t)为第t次学习时偏置矩阵b_j的动量，且v_K(t)和v_b(t)的自更新过程为：

其中，momentum为动量因子且momentum∈[0,1]。如果t时刻更新的v_K(t)与上一时刻更新的v_K(t-1)的方向相同就会加速，反之则会减速，v_b(t)同样。对新增卷积层使用的卷积核和偏置矩阵的更新过程也如上，加入动量因子后可以加速收敛，提高精度，若干次计算后可以保证下降方向的最优，减少收敛过程中的振荡。

步骤S4，将测试集输入训练得到的故障诊断模型对故障诊断模型进行测试，统计故障诊断模型的分类准确率，作为对该故障诊断模型的评估。

步骤S5，获取系统运行过程中的待诊断的时间序列数据，将待诊断的时间序列数据输入测试完成的故障诊断模型得到对应的状态类型完成对系统的故障诊断。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种基于改进卷积神经网络的故障诊断方法，其特征在于，所述方法包括：

获取样本数据集，所述样本数据集中包括各个状态类型的时间序列数据，对所述样本数据集进行数据预处理得到训练集和测试集，所述训练集和所述测试集中分别包括若干个状态类型对应的时序图，所述状态类型包括正常状态以及q类故障状态，q为正整数，每个所述时序图中包括p个数据；

建立改进的卷积神经网络模型，所述改进的卷积神经网络模型依次包括输入层、若干层特征提取层、新增卷积层、全连接层和输出层，每层所述特征提取层分别依次包括卷积层和池化层；

将所述训练集输入所述改进的卷积神经网络模型训练得到故障诊断模型，将所述测试集输入训练得到的所述故障诊断模型对所述故障诊断模型进行测试；

获取系统运行过程中的待诊断的时间序列数据，将所述待诊断的时间序列数据输入测试完成的故障诊断模型得到对应的状态类型完成对所述系统的故障诊断。

2.根据权利要求1所述的方法，其特征在于，所述将所述训练集输入所述改进的卷积神经网络模型训练得到故障诊断模型，包括对于输入的每个时序图：

所述输入层将所述时序图处理为初始特征；

每层所述特征提取层对获取到的输入特征进行故障特征提取得到故障特征映射，第一层特征提取层获取到的输入特征为所述初始特征，其他层特征提取层获取到的输入特征为上一层特征提取层输出的故障特征映射；在每层所述特征提取层中，所述特征提取层中的卷积层对获取到的输入特征提取得到n个初始特征映射、对所述n个初始特征映射进行批归一化处理得到n个重构输出、将所述n个重构输出输入ReLU激活函数得到n个中间特征映射，所述特征提取层中的池化层对所述n个中间特征映射进行矩形分割和压缩得到

个故障特征映射并输出，S为所述池化层的尺寸；

所述新增卷积层对最后一层特征提取层输出的故障特征映射进行进一步故障特征提取得到n′个初始特征映射、对所述n′个初始特征映射进行批归一化处理得到n′个重构输出、将所述n′个重构输出输入ReLU激活函数得到n′个故障特征映射；

所述全连接层对所述新增卷积层输出的n′个故障特征映射进行组合，使用softmax针对每个输入返回的概率，将输入分配到其中一个互斥类得到概率序列{y₁₁,y₁₂,…y_1B；y₂₁,y₂₂,…y_2B；…y_A1,y_A2,…y_AB}并计算损失函数，其中，A为样本数量且A＝p+1，B为类别数且B＝q+1，y_ab表示属于第b个类别的样本a的输出，1≤a≤A，1≤b≤B；

以最小损失函数为学习目标，使用具有动量的随机梯度下降反向更新所述改进的卷积神经网络模型的模型参数，当损失函数满足预设终止条件时完成模型训练得到所述故障诊断模型。

3.根据权利要求2所述的方法，其特征在于，在每层所述特征提取层中，所述特征提取层中的卷积层对获取到的输入特征提取得到n个初始特征映射，包括当所述卷积层位于所述改进的卷积神经网络模型中的第l层时，计算方法为：

其中，

为第l层的第j个初始特征映射，j∈[1，n]，l≥2，

为从上一层即第l-1层获取到的第i个输入特征，i为参数，M_j表示上一层即第l-1层中的第j个卷积区域，所述

为第l层在生成第j个初始特征映射时应用在第l-1层输入的第i个输入特征上的卷积核，

为第l层输出第j个初始特征映射时的偏置矩阵。

4.根据权利要求2所述的方法，其特征在于，在每层所述特征提取层中，当所述卷积层位于所述改进的卷积神经网络模型中的第l层时，所述卷积层对所述n个初始特征映射进行批归一化处理得到n个重构输出，包括计算：

所述卷积层对将所述n个重构输出输入ReLU激活函数得到n个中间特征映射，包括计算：

其中，

为第l层的第j个初始特征映射，j∈[1，n]，l≥2，

为对第l层的第j个初始特征映射批归一化处理后的结果，μ_β是从上一层获取到的各个输入特征的均值，σ_β是从上一层获取到的各个输入特征的标准差，ε、γ和β均为参数，

为第l层的第j个重构输出，

为第l层的第j个中间特征映射。

5.根据权利要求2所述的方法，其特征在于，在每层所述特征提取层中，当所述卷积层位于所述改进的卷积神经网络模型中的第l层、所述池化层位于所述改进的卷积神经网络模型中的第l+1层时，所述池化层采用最大池化，则所述池化层对所述n个中间特征映射进行矩形分割和压缩得到

个故障特征映射并输出，包括计算：

其中，

为第l+1层池化层所在的所述特征提取层输出的第j₀个故障特征映射，

为所述卷积层输出的第l层的第j个中间特征映射中第r个神经元的值，r∈[(j₀-1)S+1,j₀S]，j∈[1，n]，l≥2。

6.根据权利要求3所述的方法，其特征在于，所述损失函数为：

其中，t_ab表示第a个样本是否属于第b个类别。

7.根据权利要求6所述的方法，其特征在于，所述使用具有动量的随机梯度下降反向更新所述改进的卷积神经网络模型的模型参数，包括：

每次从所述训练集中随机选择一个时序图进行学习，计算梯度的指数加权平均值，并利用所述梯度更新每一层在输出第j个初始特征映射时使用的卷积核K_ij和偏置矩阵b_j，更新过程如下：

其中，η为学习率，v_K(t)为第t次学习时卷积核K_ij的动量，v_b(t)为第t次学习时偏置矩阵b_j的动量，且v_K(t)和v_b(t)的自更新过程为：

其中，momentum为动量因子且momentum∈[0,1]。

8.根据权利要求1所述的方法，其特征在于，所述对所述样本数据集进行数据预处理得到训练集和测试集，包括：

对所述样本数据集按状态类型分为q+1个时间序列数据集，每个时间序列数据集包括对应的状态类型的时间序列数据；

对所述q+1个时间序列数据集进行标准化处理；

对标准化处理后的每个时间序列数据集进行随机分段得到对应的分段数据集，分段的数量为p，每个所述分段数据集包括对应的状态类型的p个时间序列数据；

将每个状态类型对应的分段数据集转换成对应的时序图，将q+1个状态类型对应的时序图划分为所述训练集和所述测试集。

9.根据权利要求8所述的方法，其特征在于，所述对所述q+1个时间序列数据集进行标准化处理，包括对每个时间序列数据集中的时间序列数据进行z-score标准化处理使其均值为0、标准差为1：

其中，x^*表示对所述时间序列数据集中的时间序列数据标准化后的数据，x为所述时间序列数据集中的时间序列数据，μ为所述时间序列数据集中的时间序列数据的均值，σ为所述时间序列数据集中的时间序列数据的标准差。

Images