CN110398650A - 基于k-邻近SMOTE和深度学习的变压器故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于k‑邻近SMOTE和深度学习的变压器故障诊断方法，包括对初始不平衡样本集做预处理、DNN神经网络训练、诊断测试步骤。本发明在进行插值前，先对少数类样本进行聚类，以聚类划分的区域进行插值，避免了在插入数据的过程中由于存在泛化性而导致数据分布边缘化以及模糊正负类边界的问题；生成的插值在簇心和原始少数类样本点的连线上，这样就不会存在数据分布边缘化的情况，改善了诊断效果。

Description

基于k-邻近SMOTE和深度学习的变压器故障诊断方法

技术领域

本发明涉及一种变压器故障诊断方法，尤其涉及一种基于k-邻近SMOTE和深度学习的变压器故障诊断方法，属于供电技术领域。

背景技术

变压器故障是变压器本身及其应用环境综合作用和长期积累的结果，故障的特征量多种多样，故障特征量与故障机理间的联系也错综复杂，给建立变压器故障诊断模型造成了很大的困难。

在变压器故障诊断中，由于变压器故障是小概率事件，非正常状态变压器真实分布非常少，同时存在变压器故障案例报告记录信息不全面和案例库中记录信息不全的问题，故障表征数据是非均衡分布的，简称为非均衡数据集。由于非均衡数据集的类别数量分布极端不均衡，会极大地影响分类任务的分析预测，模型会偏向于多数类进行判断，使得故障诊断结果错误。

非均衡数据集的类别数量分布极端不均衡，在机器学习模型进行分类任务的分析预测，会出现过拟合、欠拟合等问题，极大降低了机器学习模型的准确性和鲁棒性。

合成少数类过采样技术(Synthetic Minority Oversampling Technique，SMOTE)是基于随机过采样的改进，通过线性插值的方法来生成新的少数类样本，添加到原始数据集中，在一定程度上避免了欠采样中出现的过拟合问题。

但SMOTE自身也存在着以下问题。第一，SMOTE在确定近邻值k时存在一定的盲目性，k是超参数，即人为规定的一个参数，k是一个经验值，所以在进行近邻选择时存在着一定的主观性，可能会导致采样效果很差。第二，在进行SMOTE过采样之后，容易产生数据分布边缘化，改变了非均衡数据集的数据分布，从而产生模糊正负类边界的问题。若原样本点在少数类样本的边界，则可能会引起新插值对象向多数类样本靠近，进而改变了原始非均衡数据集的分布，从而模糊了正负类样本的边界。

随着计算机技术和人工智能理论的快速发展，逐渐出现了专家系统、机器学习、深度学习等智能技术，为电力变压器智能故障诊断开辟了新的途径。

发明内容

本发明要解决的技术问题是提供一种基于k-邻近SMOTE和深度学习的变压器故障诊断方法。

为解决上述技术问题，本发明采用的技术方案是：

一种基于k-邻近SMOTE和深度学习的变压器故障诊断方法，包括以下步骤：

步骤1：对初始不平衡样本集做预处理：

步骤1-1：计算油色谱溶解气体样本集的CH₄/H₂、C₂H₂/C₂H₄、C₂H₄/C₂H₆、C₂H₂/(C₁+C₂)、H₂/(H₂+C₁+C₂)、C₂H₄/(C₁+C₂)、CH₄/(C₁+C₂)、C₂H₆/(C₁+C₂)、(CH₄+C₂H₄)/(C₁+C₂)的，得到无编码比值，其中C₁是以CH₄为代表的一阶碳氢化合物，C₂是以C₂H₆、C₂H₂、C₂H₄为代表的二阶碳氢化合物；

步骤1-2：按比例划分样本集，得到无编码比值的训练数据和无编码比值的测试数据；

(x_train，y_train)_number＝ζN (1)

(x_test，y_test)_number＝(1-ζ)N (2)

其中(x_train，y_train)_number为训练样本数量，(x_test，y_test)_number为测试样本数量，N为样本集总数量，为(1,0)的随机数；

步骤1-3：少数类样本中无编码比值的训练数据进行新样本合成，得到均衡的训练样本集：

x_inew＝x_i+ζ(x_in-x_i) (3)

其中，x_i为无编码比值的训练数据中少数类样本中的点，x_in为x_i的k个近邻点中的点，x_inew为均衡的训练样本集中的点，为一个0到1之间的随机数；

步骤1-4：无编码比值的测试数据不进行处理，作为诊断测试的输入；

步骤2：DNN神经网络训练，包括以下步骤：

步骤2-1：均衡的训练样本集作为特征量输入DNN神经网络，DNN神经网络开始特征学习和训练，均衡的训练集的输入信号由9个属性描述，输入信号的9个属性分别是CH₄/H₂、C₂H₂/C₂H₄、C₂H₄/C₂H₆、C₂H₂/(C₁+C₂)、H₂/(H₂+C₁+C₂)、C₂H₄/(C₁+C₂)、CH₄/(C₁+C₂)、C₂H₆/(C₁+C₂)、(CH₄+C₂H₄)/(C₁+C₂)。9种气体产期速率比值；输出信号为7维实值向量；输出信号的7维实值向量分别为变压器正常状态以及局部放电、火花放电、电弧放电、低温过热、中温过热和高温过热故障状态；

步骤2-2：通过误差信号的反向传播和梯度下降法，不断修改、更新各层神经元的阈值θ_i′←θ_i+Δθ_i以及连接权重w_i′←w_i+Δw_i，使误差值达到最小，过程如下：

对于训练集(x_k，y_k)，神经网络的输出为

神经网络在上的均方误差为：

给定学习率η∈(0，1)：

令第i个神经元的输入为β_i：

步骤3：诊断测试：

将无编码比值测试数据作为特征量输入已训练好的DNN神经网络；输出模型的性能度量表，性能度量表包括故障类型、准确率(P)、召回率(R)、F1分数以及宏F1分数。

采用上述技术方案所取得的技术效果在于：

1、本发明在进行插值前，先对少数类样本进行聚类，以聚类划分的区域进行插值，避免了在插入数据的过程中由于存在泛化性而导致数据分布边缘化以及模糊正负类边界的问题；

2、本发明生成的插值在簇心和原始少数类样本点的连线上，这样就不会存在数据分布边缘化的情况；

3、本发明将k-邻近SMOTE和DNN结合使用，改善了诊断效果。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明的流程图；

图2是本发明实施例1中k-means SMOTE前CH₄/(C₁+C₂)的分布散点图；

图3是本发明实施例1中k-means SMOTE后(CH₄/(C₁+C₂)的分布散点图。

具体实施方式

实施例1：

一种基于k-邻近SMOTE和深度学习的变压器故障诊断方法，包括以下步骤：

步骤1：对初始不平衡样本集做预处理：

步骤1-1：计算油色谱溶解气体样本集的CH₄/H₂、C₂H₂/C₂H₄、C₂H₄/C₂H₆、C₂H₂/(C₁+C₂)、H₂/(H₂+C₁+C₂)、C₂H₄/(C₁+C₂)、CH₄/(C₁+C₂)、C₂H₆/(C₁+C₂)、(CH₄+C₂H₄)/(C₁+C₂)的，得到无编码比值，其中C₁是以CH₄为代表的一阶碳氢化合物，C₂是以C₂H₆、C₂H₂、C₂H₄为代表的二阶碳氢化合物；

步骤1-2：按比例划分样本集，得到无编码比值的训练数据和无编码比值的测试数据；

(x_train，y_train)_number＝ζN (1)

(x_test，y_test)_number＝(1-ζ)N (2)

其中(x_train，y_train)_number为训练样本数量，(x_test，y_test)_number为测试样本数量，N为样本集总数量，ζ为(1,0)的随机数；

步骤1-3：少数类样本中无编码比值的训练数据进行新样本合成，得到均衡的训练样本集：

x_inew＝x_i+ζ(x_in-x_i) (3)

其中，x_i为无编码比值的训练数据中少数类样本中的点，x_in为x_i的k个近邻点中的点,k个近邻点为离x_i最近的k个少数类样本点，通过欧式距离排列得到的，x_inew为均衡的训练样本集中的点，ζ为一个0到1之间的随机数；

步骤1-4：无编码比值的测试数据不进行处理，作为诊断测试的输入；

步骤2：DNN神经网络训练，包括以下步骤：

步骤2-1：均衡的训练样本集作为特征量输入DNN神经网络，DNN神经网络开始特征学习和训练，均衡的训练集的输入信号由9个属性描述，输入信号的9个属性分别是CH₄/H₂、C₂H₂/C₂H₄、C₂H₄/C₂H₆、C₂H₂/(C₁+C₂)、H₂/(H₂+C₁+C₂)、C₂H₄/(C₁+C₂)、CH₄/(C₁+C₂)、C₂H₆/(C₁+C₂)、(CH₄+C₂H₄)/(C₁+C₂)。9种气体产期速率比值；输出信号为7维实值向量；输出信号的7维实值向量分别为变压器正常状态以及局部放电、火花放电、电弧放电、低温过热、中温过热和高温过热故障状态；

步骤2-2：通过误差信号的反向传播和梯度下降法，不断修改、更新各层神经元的阈值θ_i′←θ_i+Δθ_i以及连接权重w_i′←w_i+Δw_i，使误差值达到最小，过程如下：

对于训练集(x_k，y_k)，神经网络的输出为

神经网络在上的均方误差为：

给定学习率η∈(0，1)：

令第i个神经元的输入为β_i：

步骤3：诊断测试：

将无编码比值测试数据作为特征量输入已训练好的DNN神经网络；输出模型的性能度量表，性能度量表包括故障类型、准确率(P)、召回率(R)、F1分数以及宏F1分数。

k-邻近SMOTE算法的基本原理是：首先，找到所有少数类样本，用k-邻近算法对少数类样本进行聚类，使少数类样本分为k个簇并记录每个簇的簇中心；然后针对每个簇的样本点，找到其与簇中心的连线，在该连线上进行线性插值。

K-近邻算法是一个通过采用计算不同特征值之间的距离来完成分类的机器学习算法。他的基本思想是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据(最近邻)的分类标签。

相比SMOTE算法，k-邻近SMOTE算法具有如下两个优势，一是新生成的样本点更加符合真实少数类样本点的特征，二是新生成的样本点更趋近于簇心，而不会趋近正样本点，从而避免了模糊正负样本边界的问题。

在测试数据集上进行测试，使用k-邻近SMOTE方法对变压器的9个特征量进行合成采样，k-邻近SMOTE前后训练样本数据的分布情况对比如表1所示。

经过k-邻近SMOTE之后，每种故障类型的样本数由原来几十个上升至与正常样本数相同，从而实现了训练样本数据分布的均衡化。以CH₄/(C₁+C₂)为例，k-meansSMOTE前的分布散点图如图2所示，图3是k-meansSMOTE后的CH₄/(C₁+C₂)数据分布散点图，灰度不同对应不同的故障类型，其中0、1、2、3、4、5、6分别代表变压器正常以及局部放电、火花放电、电弧放电、低温过热、中温过热和高温过热故障。对比图2和图3得，新生成的数据大部分处于某一个区域，都位于原始数CH₄/(C₁+C₂)的范围内，偏差较小，符合真实数据的分布。

然后使用DNN进行变压器故障诊断，将进行k-邻近SMOTE之后的无编码比值训练数据作为特征量输入DNN，DNN网络开始进行特征学习，根据初始连接权重和阈值开始训练，低层特征属性逐渐转化为高层特征属性，通过误差信号的反向传播和梯度下降法，不断修改、更新各层神经元的阈值以及连接权重，使误差值达到最小，模型参数不断优化，满足迭代停止条件，得到训练好的DNN网络。

实际使用中，将无编码比值测试数据作为特征量输入已训练好的DNN神经网络，该方法输出变压器的故障类型和各项参数。

表1

Claims (1)

1.一种基于k-邻近SMOTE和深度学习的变压器故障诊断方法，其特征在于：包括以下步骤：

步骤1：对初始不平衡样本集做预处理：

步骤1-1：计算油色谱溶解气体样本集的CH₄/H₂、C₂H₂/C₂H₄、C₂H₄/C₂H₆、C₂H₂/(C₁+C₂)、H₂/(H₂+C₁+C₂)、C₂H₄/(C₁+C₂)、CH₄/(C₁+C₂)、C₂H₆/(C₁+C₂)、(CH₄+C₂H₄)/(C₁+C₂)的，得到无编码比值，其中C₁是以CH₄为代表的一阶碳氢化合物，C₂是以C₂H₆、C₂H₂、C₂H₄为代表的二阶碳氢化合物；

步骤1-2：按比例划分样本集，得到无编码比值的训练数据和无编码比值的测试数据；

(x_train，y_train)_number＝ζN (1)

(x_test，y_test)_number＝(1-ζ)N (2)

其中(x_train，y_train)_number为训练样本数量，(X_test，y_test)_number为测试样本数量，N为样本集总数量，ζ为(1，0)的随机数；

步骤1-3：少数类样本中无编码比值的训练数据进行新样本合成，得到均衡的训练样本集：

x_inew＝x_i+ζ(x_in-x_i) (3)

其中，x_i为无编码比值的训练数据中少数类样本中的点，x_in为x_i的k个近邻点中的点，x_inew为均衡的训练样本集中的点，ζ为一个0到1之间的随机数；

步骤1-4：无编码比值的测试数据不进行处理，作为诊断测试的输入；

步骤2：DNN神经网络训练，包括以下步骤：

步骤2-1：均衡的训练样本集作为特征量输入DNN神经网络，DNN神经网络开始特征学习和训练，均衡的训练集的输入信号由9个属性描述，输入信号的9个属性分别是CH₄/H₂、C₂H₂/C₂H₄、C₂H₄/C₂H₆、C₂H₂/(C₁+C₂)、H₂/(H₂+C₁+C₂)、C₂H₄/(C₁+C₂)、CH₄/(C₁+C₂)、C₂H₆/(C₁+C₂)、(CH₄+C₂H₄)/(C₁+C₂)。9种气体产期速率比值；输出信号为7维实值向量；输出信号的7维实值向量分别为变压器正常状态以及局部放电、火花放电、电弧放电、低温过热、中温过热和高温过热故障状态；

步骤2-2：通过误差信号的反向传播和梯度下降法，不断修改、更新各层神经元的阈值θ_i′←θ_i+△θ_i以及连接权重w_i←w_i+Δw_i，使误差值达到最小，过程如下：

对于训练集(x_k，y_k)，神经网络的输出为

神经网络在上的均方误差为：

给定学习率η∈(0，1)：

令第i个神经元的输入为β_i：

步骤3：诊断测试：

将无编码比值测试数据作为特征量输入已训练好的DNN神经网络；输出模型的性能度量表，性能度量表包括故障类型、准确率(P)、召回率(R)、F1分数以及宏F1分数。