CN116244657A - 基于生成对抗网络和集成学习的列车轴温异常识别方法 - Google Patents

基于生成对抗网络和集成学习的列车轴温异常识别方法 Download PDF

Info

Publication number
CN116244657A
CN116244657A CN202310394434.3A CN202310394434A CN116244657A CN 116244657 A CN116244657 A CN 116244657A CN 202310394434 A CN202310394434 A CN 202310394434A CN 116244657 A CN116244657 A CN 116244657A
Authority
CN
China
Prior art keywords
data
samples
train
training
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310394434.3A
Other languages
English (en)
Inventor
郑帅
张哲�
张子名
张艺珲
周健
叶鑫
邢宗义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310394434.3A priority Critical patent/CN116244657A/zh
Publication of CN116244657A publication Critical patent/CN116244657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明公开了一种基于生成对抗网络和集成学习的列车轴温异常识别方法，该方法为：采集城轨列车实际运行中的运行数据，预处理后得到一个类别不平衡的二分类数据集，划分为训练集与测试集；利用训练集中的异常数据样本训练生成对抗网络的构造器与判别器，并使用贝叶斯优化算法实现网络的自动调参；利用训练好的生成对抗网络模型合成异常样本，与原始训练集共同构建一个类别平衡的训练集；使用交叉委员会过滤技术对噪声样本进行过滤筛选；利用AdaBoost方法构建轴温异常识别分类器，利用训练集训练该集成学习模型，将测试集输入得到检验结果。本发明解决了城轨列车轴温异常样本缺失和数据不平衡问题，提高了轴温异常识别的准确度和正确率。

Description

基于生成对抗网络和集成学习的列车轴温异常识别方法
技术领域
本发明涉及数据挖掘和城轨列车轴温异常检测技术领域，具体涉及一种基于生成对抗网络和集成学习的列车轴温异常识别方法。
背景技术
为了保障列车的安全可靠运行，对车辆系统的关键部件及运行状态(例如，轴温、受电弓磨耗、羊角状态等)进行在线监控是目前城轨列车系统运行安全保障的重点。利用红外辐射测温，动态测量铁路列车运行状态下的轴承温度，防止列车轴温过高造成燃轴切轴事故，是保证铁路行车安全的重要手段之一。
轴承是城轨列车上的一个关键部件，与列车能否安全运行密切相关。轴温是监测列车轴承健康与否的一项重要指标，目前针对轴温异常检测的方法主要是通过制定相应的逻辑规则与温度阈值来实现轴承状态辨识，但这种轴温异常检测方法具有很大的缺陷，他没有考虑到轴温变化的趋势，没有对历史数据进行系统的分析，也没有考虑速度以及环境温度等因素的影响，无法做到对轴温进行早期的异常检测并发出预警，这意味着一旦发生此类温度报警就意味着列车轴承出现了重大损伤，可能会导致重大事故发生。
近年来利用城轨列车运行时的数据对轴承温度进行异常检测的方法变得十分丰富，但由于城轨列车在实际运行中很少出现事故，所以轴温异常检测领域十分缺少异常样本，导致很多轴温异常检测方法的数据集是极度不平衡的，使得异常识别的正确率和准确度偏低。所以寻找一种能够有效学习异常样本信息且能够有效提高异常识别准确度和正确率的轴温异常检测方法，变得十分重要。对城轨轴温在线检测系统获取的数据分析可知，轴承温度异常情况可分为：微热、强热和激热。将城轨列车正常运行的数据与这三种异常类数据组合形成的数据集，即是一个不平衡的二分类数据集，所以城轨列车轴温异常检测可以抽象为对一个不平衡的二分类数据集进行分类的任务。
针对不平衡数据的分类问题，研究人员已经提出许多的解决方法，生成少数类样本被认为是解决类不平衡的有效方法。其中，随机过采样(ROS)、合成少数类过采样技术(SMOTE)以及基于类边界的合成少数过采样技术(Borderline SMOTE)被人为是最好的传统意义上的过采样算法。但是，在处理类别极度不平衡问题时，这类传统过采样算法的性能会明显下降。
发明内容
本发明的目的在于提供一种基于生成对抗网络和集成学习的列车轴温异常识别方法，结合列车的多元特征并使用生成对抗网络克服在轴温异常检测领域异常样本十分稀缺的问题，同时采用集成学习中AdaBoost算法，进行轴温异常识别的分类训练，提高在类不平衡场景下城轨轴温异常识别的综合性能。
实现本发明目的的技术解决方案为：一种基于生成对抗网络和集成学习的列车轴温异常识别方法，包括以下步骤：
步骤1，对采集到的城轨列车实际运行中的数据进行预处理，得到轴温正常与异常的样本，构成一个类别不平衡的二分类数据集，并将划分为训练集与测试集；
步骤2，构建生成对抗网络模型即CWGAN-GP模型，CWGAN-GP模型为条件Wasserstein生成对抗网络，采用Wasserstein距离来度量实际样本分布与生成样本分布之间的差异，生成器和判别器的输入信息中增加数据类别，并且采用梯度惩罚来代替权值修剪策略，使得生成数据更加多样化；
步骤3、利用训练集中的轴温异常样本训练CWGAN-GP模型的构造器与判别器，并使用贝叶斯优化算法实现网络的自动调参；
步骤4，使用上述训练好的CWGAN-GP模型生成异常样本加入到训练集中，得到类别平衡的训练集；
步骤5，使用交叉委员会过滤技术CVCF，对采样过程中产生的噪声样本进行过滤筛选；
步骤6，采用集成学习中AdaBoost算法构建轴温异常识别分类器，得到集成学习模型，利用经数据筛选后的训练集对集成学习模型进行训练，训练完成后，在测试集上检验分类效果，得到各个评价指标。
进一步地，在步骤1中，对采集到的城轨列车实际运行中的数据进行预处理，具体包括：
提取列车运行的多元数据信息，包括列车车号、列车车型、行驶方向、主控端、环境温度、列车速度、轴箱位置、轴箱温升、轴温温度峰值、轴箱温度平均值；
计算该轴箱与列车同列轴箱平均温度的比值，计为同列比；计算该轴箱与列车全部轴箱平均温度的比值，计为同辆比；提取该列车该轴箱最近五次的温度值，计为五次查询值；同列比、同辆比、五次查询值共同构成轴温多元信息数据集；
将实际数据中的正常样本标记为正类，所有异常类样本标记为负类，并对其中的分类特征进行One-Hot编码，对数据特征进行标准化处理，对缺失和重复的数据进行删除。
进一步地，在步骤2中，CWGAN-GP模型的优化函数为：
Figure BDA0004177136500000031
其中，LossWGAN-GP表示模型的优化函数，z表示噪声，y表示标签信息，E代表期望值，pr和pz代表真实数据分布和噪声数据分布，λ是惩罚系数，
Figure BDA0004177136500000032
是惩罚项，
Figure BDA0004177136500000033
是真实数据x与合成数据
Figure BDA0004177136500000034
之间的逐点插值，
Figure BDA0004177136500000035
是这些线性插值的采样分布，
Figure BDA0004177136500000036
是判别器的输出相对于插值的梯度；
采用三层全连接层构建CWGAN-GP模型的生成网络和判别网络，去除BN层与dropout层，使用Adam作为优化算法，其中初始学习率α＝0.0001，控制一阶变量β1＝0.5，控制二阶变量β2＝0.9；随机噪声从高斯分布中取样，初始长度为100，惩罚系数λ＝10。
进一步地，在步骤3中，利用训练集中的轴温异常样本训练CWGAN-GP模型的构造器与判别器，训练过程中采用贝叶斯优化算法来实现网络的自动调参，在给定目标函数的情况下，以贝叶斯定理为基础，通过不断添加样本点来估计目标函数的后验分布，然后再根据分布选择下一个采样的超参数组合，反复迭代直至估计的目标函数后验分布逼近真实分布。
进一步地，在步骤3中，设定batch size为每轮训练批次大小，n为迭代次数，CWGAN-GP模型的训练过程具体如下：
(3.1)加载数据集，筛选异常样本；
(3.2)定义生成器与判别器，各有3个全连接层；生成器最终输出与数据集具有相同维度的数据作为模拟样本；判别器输出维度为1的数值表示判别结果；
(3.3)从噪声数据分布pz(z)抽取噪声样本z，从真实数据分布Pr(x)中抽取真实样本x，选取随机数ε∈[0,1]；
(3.4)通过生成器得到合成样本：
Figure BDA0004177136500000037
(3.5)根据惩罚系数在真实数据与合成数据随机取样：
Figure BDA0004177136500000038
(3.6)计算判别器损失
Figure BDA0004177136500000039
(3.7)计算梯度惩罚项
Figure BDA00041771365000000310
(3.8)重复步骤(3.3)～(3.7)，直至本批次k个样本训练结束；
(3.9)更新判别器参数
Figure BDA0004177136500000041
(3.10)重复步骤(3.3)～(3.9)，直至迭代n次；
(3.11)从噪声空间取m个样本：
Figure BDA0004177136500000042
并添加条件信息：
Figure BDA0004177136500000043
(3.12)计算生成器损失，更新生成器参数：
Figure BDA0004177136500000044
Figure BDA0004177136500000045
(3.13)重复步骤(3.3)～(3.12)，直到达到纳什均衡。
进一步地，在步骤4中，类别平衡的训练集构建过程具体如下：
计算出训练集中正负类样本的数量，利用训练好的CWGAN-GP模型生成异常样本，加入到训练集中，使得训练集中的正常样本和异常样本数量差值在设定阈值内，得到类别平衡的训练集。
进一步地，在步骤6中，采用集成学习中AdaBoost算法构建轴温异常识别分类器的具体步骤为：
(6.1)对原始数据集初始化权重；
(6.2)用带权值数据集训练弱学习器；
(6.3)根据弱学习器的误差计算弱学习的权重；
(6.4)调整数据集的权重；
(6.5)重复步骤(6.2)～(6.4)K-1次；
(6.6)将K-1个弱学习器的结果进行加权组合，具体公式为:
Figure BDA0004177136500000046
Figure BDA0004177136500000047
其中，Hfinall为集成学习得到的强分类器，Ct(x)为第t个决策树弱分类器，sign函数用来取t个弱分类器结果加权后的正负，αt为第t个决策树弱分类器的权重，et为第t个决策树弱分类器分类的错误率。
本发明与现有技术相比，其显著优点为：(1)克服了传统基于阈值的温度异常检测的缺陷，考虑到轴温变化的趋势，对历史数据进行系统的分析，同时考虑速度以及环境温度等因素的影响，能够对轴温进行早期的异常检测并发出预警，能够避免重大事故的发生；(2)结合列车的多元特征使用生成对抗网络，克服了在轴温异常检测领域异常样本十分稀缺的问题，提高了异常识别的正确率和准确度；(3)采用集成学习中AdaBoost算法，进行轴温异常识别的分类训练，提高了在类不平衡场景下城轨轴温异常识别的综合性能。
附图说明
图1为本发明基于生成对抗网络和集成学习的列车轴温异常识别方法的流程图。
图2为本发明基于生成对抗网络和集成学习的列车轴温异常识别方法中CWGAN-GP生成器与判别器的网络结构图。
图3为本发明基于生成对抗网络和集成学习的列车轴温异常识别方法中CWGAN-GP模块的训练流程图。
图4为合成样本与真实样本的高斯核密度估计图。
具体实施方式
本发明提供一种基于改进生成对抗网络和集成学习的城轨列车轴温异常识别方法，包括以下步骤：
步骤1，对采集到的城轨列车实际运行中的数据进行预处理，得到轴温正常与异常的样本，构成一个类别不平衡的二分类数据集，并将划分为训练集与测试集；
步骤2，构建生成对抗网络模型即CWGAN-GP模型，CWGAN-GP模型为条件Wasserstein生成对抗网络，采用Wasserstein距离来度量实际样本分布与生成样本分布之间的差异，生成器和判别器的输入信息中增加数据类别，并且采用梯度惩罚来代替权值修剪策略，使得生成数据更加多样化；
步骤3、利用训练集中的轴温异常样本训练CWGAN-GP模型的构造器与判别器，并使用贝叶斯优化算法实现网络的自动调参；
步骤4，使用上述训练好的CWGAN-GP模型生成异常样本加入到训练集中，得到类别平衡的训练集；
步骤5，使用交叉委员会过滤技术CVCF，对采样过程中产生的噪声样本进行过滤筛选；
步骤6，采用集成学习中AdaBoost算法构建轴温异常识别分类器，得到集成学习模型，利用经数据筛选后的训练集对集成学习模型进行训练，训练完成后，在测试集上检验分类效果，得到各个评价指标。
作为一种具体示例，在步骤1中，对采集到的城轨列车实际运行中的数据进行预处理，具体包括：
提取列车运行的多元数据信息，包括列车车号、列车车型、行驶方向、主控端、环境温度、列车速度、轴箱位置、轴箱温升、轴温温度峰值、轴箱温度平均值；
计算该轴箱与列车同列轴箱平均温度的比值，计为同列比；计算该轴箱与列车全部轴箱平均温度的比值，计为同辆比；提取该列车该轴箱最近五次的温度值，计为五次查询值；同列比、同辆比、五次查询值共同构成轴温多元信息数据集；
将实际数据中的正常样本标记为正类，所有异常类样本标记为负类，并对其中的分类特征进行One-Hot编码，对数据特征进行标准化处理，对缺失和重复的数据进行删除。
作为一种具体示例，在步骤2中，所述的生成对抗网络(CWGAN-GP)为条件Wasserstein生成对抗网络，其采用Wasserstein距离来度量实际样本分布与生成样本分布之间的差异，生成器和判别器的输入信息中都增加了数据类别，并且采用梯度惩罚来代替权值修剪策略，使得生成数据更加多样化。
CWGAN-GP模型的优化函数为：
Figure BDA0004177136500000061
其中，LossWGAN-GP表示模型的优化函数，z表示噪声，y表示标签信息，E代表期望值，pr和pz代表真实数据分布和噪声数据分布，λ是惩罚系数，
Figure BDA0004177136500000062
是惩罚项，
Figure BDA0004177136500000063
是真实数据x与合成数据
Figure BDA0004177136500000064
之间的逐点插值，
Figure BDA0004177136500000065
是这些线性插值的采样分布，
Figure BDA0004177136500000066
是判别器的输出相对于插值的梯度。
采用三层全连接层构建CWGAN-GP模型的生成网络和判别网络，因为GP的引入，跟一般GAN、WGAN中通常需要加的BN层会起冲突，去除BN层与dropout层，使用Adam作为优化算法，其中初始学习率α＝0.0001，控制一阶变量β1＝0.5，控制二阶变量β2＝0.9；随机噪声从高斯分布中取样，初始长度为100，WGAN-GP中的惩罚系数λ＝10。
作为一种具体示例，在步骤3中，利用训练集中的轴温异常样本训练CWGAN-GP模型的构造器与判别器。因为贝叶斯调参迭代次数少，速度快，而使用网格搜索速度慢,参数多时易导致维度爆炸。训练过程中采用贝叶斯优化算法来实现网络的自动调参，在给定目标函数的情况下，以贝叶斯定理为基础，通过不断添加样本点来估计目标函数的后验分布，然后再根据分布选择下一个采样的超参数组合，反复迭代直至估计的目标函数后验分布逼近真实分布。
进一步地，在步骤3中，设定batch size为每轮训练批次大小，n为迭代次数，CWGAN-GP模型的训练过程具体如下：
(3.1)加载数据集，筛选异常样本；
(3.2)定义生成器与判别器，各有3个全连接层；生成器最终输出与数据集具有相同维度的数据作为模拟样本；判别器输出维度为1的数值表示判别结果；
(3.3)从噪声数据分布pz(z)抽取噪声样本z，从真实数据分布Pr(x)中抽取真实样本x，选取随机数ε∈[0,1]；
(3.4)通过生成器得到合成样本：
Figure BDA0004177136500000071
(3.5)根据惩罚系数在真实数据与合成数据随机取样：
Figure BDA0004177136500000072
(3.6)计算判别器损失
Figure BDA0004177136500000073
(3.7)计算梯度惩罚项
Figure BDA0004177136500000074
(3.8)重复步骤(3.3)～(3.7)，直至本批次k个样本训练结束；
(3.9)更新判别器参数
Figure BDA0004177136500000075
(3.10)重复步骤(3.3)～(3.9)，直至迭代n次；
(3.11)从噪声空间取m个样本：
Figure BDA0004177136500000076
并添加条件信息：
Figure BDA0004177136500000077
(3.12)计算生成器损失，更新生成器参数：
Figure BDA0004177136500000078
Figure BDA0004177136500000079
(3.13)重复步骤(3.3)～(3.12)，直到达到纳什均衡。
作为一种具体示例，在步骤4中，类别平衡的训练集构建过程具体如下：
计算出训练集中正负类样本的数量，利用训练好的CWGAN-GP模型生成异常样本，加入到训练集中，使得训练集中的正常样本和异常样本数量差值在设定阈值内，得到类别平衡的训练集。
作为一种具体示例，在步骤5中，利用CVCF进行噪声筛选的目的在与：原始轴温数据集中负类样本十分稀少，在经过CWGAN-GP合成一些负类样本后，可能出现噪类样本和类重叠样本，会影响分类器的分类效果。
作为一种具体示例，在步骤6中，采用集成学习中AdaBoost算法构建轴温异常识别分类器的具体步骤为：
(6.1)对原始数据集初始化权重；
(6.2)用带权值数据集训练弱学习器；
(6.3)根据弱学习器的误差计算弱学习的权重；
(6.4)调整数据集的权重；
(6.5)重复步骤(6.2)～(6.4)K-1次；
(6.6)将K-1个弱学习器的结果进行加权组合，具体公式为:
Figure BDA0004177136500000081
Figure BDA0004177136500000082
其中，Hfinall为集成学习得到的强分类器，Ct(x)为第t个决策树弱分类器，sign函数用来取t个弱分类器结果加权后的正负，αt为第t个决策树弱分类器的权重，et为第t个决策树弱分类器分类的错误率。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例
本实施例提供一种基于改进生成对抗网络和集成学习的城轨列车轴温异常识别方法，该方法包括：
步骤1，对采集到的城轨列车实际运行中的轴温数据进行预处理，得到轴温正常与异常的样本，构成一个别别不平衡的二分类数据集，并将其划分为训练集与测试集；
步骤2，利用轴温异常样本训练改进生成对抗网络模型(CWGAN-GP)的构造器与判别器；
步骤3，使用上述训练好的CWGAN-GP模型生成异常样本，加入到训练集中，使得训练集中的正常样本的异常样本数量相近，得到类别平衡的训练集；
步骤4，使用交叉委员会过滤技术(CVCF)对采样过程中产生的噪声样本进行过滤筛选；
步骤5，利用上述经数据清洗后的训练集训练AdaBoost，训练完成后，在测试集上检验分类效果，得到各个评价指标。
步骤1中，其中本发明方式所使用的点的数据集来自城轨列车在实际运行中传感器所采得的数据，包括异常样本与正常样本。其中预处理操作包括轴温多元特征的提取、去除重复或带有缺失值的行；由于数据集中存在分类特征，是离散的无序的，所以对分类特征列进行One-Hot编码；连续的数字列进行标准化处理，将其缩放成均值为0，方差为1的状态。并按照一定比例划分训练集和测试集；
步骤2中，生成网络和判别网络采用三层全连接层来构建这两个网络，去除了BN层与dropout层，因为这个GP要求判别器的一个输入对应一个输出，但是BN会将一个批次中的样本进行归一化，BN是一批输入对应一批输出，因而用BN后无法正确求出判别器对于每个输入样本的梯度。同时BN层也会引入同个batch中不同样本的互相依赖关系。在构建神经网络的过程中所使用的激活函数包括leaky relu和tanh，同时在判别器上添加sigmod激活函数以获得类别概率，它们的数学表达式为：
Figure BDA0004177136500000091
Figure BDA0004177136500000092
Figure BDA0004177136500000093
除此之外，使用Adam作为优化算法(其中学习率α＝0.0001，β1＝0.5，β2＝0.9)。随机噪声从高斯分布中取样，长度为100。WGAN-GP中的惩罚系数λ＝10。
CWGAN-GP的具体训练步骤如下，其中为每轮训练批次大小，n为迭代次数。
(1)加载数据集，筛选异常样本；
(2)定义生成器与判别器，各有3个全连接层。生成器最终输出与数据集具有相同维度的数据作为模拟样本。判别器输出维度为1的数值表示其判别结果；
(3)从噪声数据分布pz(z)抽取噪声样本z，从真实数据分布Pr(x)中抽取真实样本x,选取随机数ε∈[0,1]；
(4)通过生成器得到合成样本：
Figure BDA0004177136500000101
(5)根据惩罚系数在真实数据与合成数据随机取样：
Figure BDA0004177136500000102
(6)计算判别器损失
Figure BDA0004177136500000103
(7)计算梯度惩罚项
Figure BDA0004177136500000104
(8)重复第(3)步到第(7)步，直至本批次k个样本训练结束；
(9)更新判别器参数
Figure BDA0004177136500000105
(10)重复第(3)步到第(9)步，直至迭代n次；
(11)从噪声空间取m个样本：
Figure BDA0004177136500000106
并添加条件信息：
Figure BDA0004177136500000107
(12)计算生成器损失，更新生成器参数：
Figure BDA0004177136500000108
Figure BDA0004177136500000109
(13)重复第(3)步到第(12)步，直到达到纳什均衡；
同时，由于生成对抗网络对超参数较为敏感，所以使用贝叶斯优化算法来实现网络的自动调参。贝叶斯优化的核心是概率模型和采集函数，概率模型用来表示待评估模型的未知目标函数，通过反复的迭代更新概率模型的参数，可以使估计的目标函数分布逐渐向真实分布靠拢。
步骤3中，构建类别平衡的训练集，具体包括：首先，计算出训练集中正负类样本的数量，计算不平衡率，利用训练好的CWGAN-GP模型生成异常数据样本，最后将合成的异常数据样本加入到训练集中，使得训练集正负类样本数量相同，图4所示为生成样本与真实样本的高斯核密度估计结果；
步骤4中，交叉委员会过滤(CVCF)技术作为一种有效的噪声过滤技术，能够采用交叉验证策略对噪声样本进行有效识别，并在最终分类过程中将其删除；
步骤5中，AdaBoost的具体步骤为：
(1)初始化训练数据的权值分布。对每一个样本最开始都被赋予相同的权值，初始化权值分布
Figure BDA00041771365000001010
(2)选取一个当前误差率最低的弱分类器h作为第t个基本分类器Ht，并计算弱分类器ht:X→{-1,1},该弱分类器在分布Dt上的误差为：
Figure BDA0004177136500000111
(3)计算该弱分类器在最终分类器中所占权重：
Figure BDA0004177136500000112
(4)更新训练样本的权值分布：
Figure BDA0004177136500000113
其中Zt为归一化常数
Figure BDA0004177136500000114
(5)重复迭代(2)～(4),t＝1,…T；
(6)按照弱分类器权重αt组合各个弱分类器,通过符号函数sign的作用，得到一个强分类器
Figure BDA0004177136500000115
本实施例基于改进生成对抗网络和集成学习的城轨列车轴温异常识别方法，进行以下仿真：构建城轨列车轴温异常识别二分类数据集，该数据集包括2000个城轨列车轴温的数据，其中故障数据256个，正常数据1744个，进行预处理后，使用SMOTEBagging、SMOTEBoost、EasyEnsemble和BalanceCascade以及本发明所提出的CWGAN-AdaBoost算法在数据集上进行分类训练，在训练集上比较各个性能指标。选用准确率Accuracy、召回率Recall、AUC、G-mean值和F1作为评价指标，且各个评价指标取5折交叉验证的平均值作为最终结果。分类所构造的混淆矩阵如表1所示：
表1分类所构造的混淆矩阵
Figure BDA0004177136500000116
其中，AUC对应的是分类器给随机选择的正类样本的预测概率比随机选择的负类样本的预测概率大。这从根本上避免了类别不平衡对评价指标的影响；G-mean以一种平衡的方式评估多数类和少数类的准确性。G-mean的另一个重要特征是非线性，错误分类对少数群体类的G-mean度量有更大的影响，从而避免了因忽视重要的少数类样本而造成的损失；F1 score是一个平均数，是对精确率与召回率进行平均的一个结果，同时兼顾了精确率与召回率，它们的计算公式为：
Figure BDA0004177136500000121
Figure BDA0004177136500000122
Figure BDA0004177136500000123
Figure BDA0004177136500000124
Figure BDA0004177136500000125
Figure BDA0004177136500000126
表2实验结果对比表
Figure BDA0004177136500000127
本发明的实验效果如表2所示，由表2可知，在城轨列车轴温异常识别分类数据集上的表现，本发明所提出的方法在各个评价指标上均优于SMOTEBagging、SMOTEBoost、EasyEnsemble和BalanceCascade.
综上所述，本发明克服了传统基于阈值的轴温异常识别的缺陷，结合轴温的多元信息数据构成数据集，并通过生成对抗网络生成稀缺的异常样本来降低数据集的不平衡度，同时采用CVCF算法来减轻噪声对分类性能的影响，并采用AdaBoost集成来对数据集进行分类，实验结果表明，本发明方法对轴温异常识别的识别综合性能得到提高。

Claims (7)

1.一种基于生成对抗网络和集成学习的列车轴温异常识别方法，其特征在于，包括以下步骤：
步骤1，对采集到的城轨列车实际运行中的数据进行预处理，得到轴温正常与异常的样本，构成一个类别不平衡的二分类数据集，并将划分为训练集与测试集；
步骤2，构建生成对抗网络模型即CWGAN-GP模型，CWGAN-GP模型为条件Wasserstein生成对抗网络，采用Wasserstein距离来度量实际样本分布与生成样本分布之间的差异，生成器和判别器的输入信息中增加数据类别，并且采用梯度惩罚来代替权值修剪策略，使得生成数据更加多样化；
步骤3、利用训练集中的轴温异常样本训练CWGAN-GP模型的构造器与判别器，并使用贝叶斯优化算法实现网络的自动调参；
步骤4，使用上述训练好的CWGAN-GP模型生成异常样本加入到训练集中，得到类别平衡的训练集；
步骤5，使用交叉委员会过滤技术CVCF，对采样过程中产生的噪声样本进行过滤筛选；
步骤6，采用集成学习中AdaBoost算法构建轴温异常识别分类器，得到集成学习模型，利用经数据筛选后的训练集对集成学习模型进行训练，训练完成后，在测试集上检验分类效果，得到各个评价指标。
2.如权利要求1所述的基于生成对抗网络和集成学习的列车轴温异常识别方法，其特征在于，在步骤1中，对采集到的城轨列车实际运行中的数据进行预处理，具体包括：
提取列车运行的多元数据信息，包括列车车号、列车车型、行驶方向、主控端、环境温度、列车速度、轴箱位置、轴箱温升、轴温温度峰值、轴箱温度平均值；
计算该轴箱与列车同列轴箱平均温度的比值，计为同列比；计算该轴箱与列车全部轴箱平均温度的比值，计为同辆比；提取该列车该轴箱最近五次的温度值，计为五次查询值；同列比、同辆比、五次查询值共同构成轴温多元信息数据集；
将实际数据中的正常样本标记为正类，所有异常类样本标记为负类，并对其中的分类特征进行One-Hot编码，对数据特征进行标准化处理，对缺失和重复的数据进行删除。
3.如权利要求1所述的基于生成对抗网络和集成学习的列车轴温异常识别方法，其特征在于，在步骤2中，CWGAN-GP模型的优化函数为：
Figure FDA0004177136490000021
其中，LossWGAN-GP表示模型的优化函数，z表示噪声，y表示标签信息，E代表期望值，pr和pz代表真实数据分布和噪声数据分布，λ是惩罚系数，
Figure FDA0004177136490000022
是惩罚项，
Figure FDA0004177136490000023
是真实数据x与合成数据
Figure FDA0004177136490000024
之间的逐点插值，
Figure FDA0004177136490000029
是这些线性插值的采样分布，
Figure FDA0004177136490000025
是判别器的输出相对于插值的梯度；
采用三层全连接层构建CWGAN-GP模型的生成网络和判别网络，去除BN层与dropout层，使用Adam作为优化算法，其中初始学习率α＝0.0001，控制一阶变量β1＝0.5，控制二阶变量β2＝0.9；随机噪声从高斯分布中取样，初始长度为100，惩罚系数λ＝10。
4.如权利要求3所述的基于生成对抗网络和集成学习的列车轴温异常识别方法，其特征在于，在步骤3中，利用训练集中的轴温异常样本训练CWGAN-GP模型的构造器与判别器，训练过程中采用贝叶斯优化算法来实现网络的自动调参，在给定目标函数的情况下，以贝叶斯定理为基础，通过不断添加样本点来估计目标函数的后验分布，然后再根据分布选择下一个采样的超参数组合，反复迭代直至估计的目标函数后验分布逼近真实分布。
5.如权利要求4所述的基于生成对抗网络和集成学习的列车轴温异常识别方法，其特征在于，在步骤3中，设定batch size为每轮训练批次大小，n为迭代次数，CWGAN-GP模型的训练过程具体如下：
(3.1)加载数据集，筛选异常样本；
(3.2)定义生成器与判别器，各有3个全连接层；生成器最终输出与数据集具有相同维度的数据作为模拟样本；判别器输出维度为1的数值表示判别结果；
(3.3)从噪声数据分布pz(z)抽取噪声样本z，从真实数据分布Pr(x)中抽取真实样本x，选取随机数ε∈[0,1]；
(3.4)通过生成器得到合成样本：
Figure FDA0004177136490000026
(3.5)根据惩罚系数在真实数据与合成数据随机取样：
Figure FDA0004177136490000027
(3.6)计算判别器损失
Figure FDA0004177136490000028
(3.7)计算梯度惩罚项
Figure FDA0004177136490000031
(3.8)重复步骤(3.3)～(3.7)，直至本批次k个样本训练结束；
(3.9)更新判别器参数
Figure FDA0004177136490000032
(3.10)重复步骤(3.3)～(3.9)，直至迭代n次；
(3.11)从噪声空间取m个样本：
Figure FDA0004177136490000033
并添加条件信息：
Figure FDA0004177136490000034
(3.12)计算生成器损失，更新生成器参数：
Figure FDA0004177136490000035
Figure FDA0004177136490000036
(3.13)重复步骤(3.3)～(3.12)，直到达到纳什均衡。
6.如权利要求1所述的基于生成对抗网络和集成学习的列车轴温异常识别方法，其特征在于，在步骤4中，类别平衡的训练集构建过程具体如下：
计算出训练集中正负类样本的数量，利用训练好的CWGAN-GP模型生成异常样本，加入到训练集中，使得训练集中的正常样本和异常样本数量差值在设定阈值内，得到类别平衡的训练集。
7.如权利要求1所述的基于生成对抗网络和集成学习的列车轴温异常识别方法，其特征在于，在步骤6中，采用集成学习中AdaBoost算法构建轴温异常识别分类器的具体步骤为：
(6.1)对原始数据集初始化权重；
(6.2)用带权值数据集训练弱学习器；
(6.3)根据弱学习器的误差计算弱学习的权重；
(6.4)调整数据集的权重；
(6.5)重复步骤(6.2)～(6.4)K-1次；
(6.6)将K-1个弱学习器的结果进行加权组合，具体公式为:
Figure FDA0004177136490000037
Figure FDA0004177136490000038
其中，Hfinall为集成学习得到的强分类器，Ct(x)为第t个决策树弱分类器，sign函数用来取t个弱分类器结果加权后的正负，αt为第t个决策树弱分类器的权重，et为第t个决策树弱分类器分类的错误率。
CN202310394434.3A 2023-04-13 2023-04-13 基于生成对抗网络和集成学习的列车轴温异常识别方法 Pending CN116244657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310394434.3A CN116244657A (zh) 2023-04-13 2023-04-13 基于生成对抗网络和集成学习的列车轴温异常识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310394434.3A CN116244657A (zh) 2023-04-13 2023-04-13 基于生成对抗网络和集成学习的列车轴温异常识别方法

Publications (1)

Publication Number Publication Date
CN116244657A true CN116244657A (zh) 2023-06-09

Family

ID=86628004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310394434.3A Pending CN116244657A (zh) 2023-04-13 2023-04-13 基于生成对抗网络和集成学习的列车轴温异常识别方法

Country Status (1)

Country Link
CN (1) CN116244657A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235628A (zh) * 2023-11-10 2023-12-15 天津花栗鼠软件科技有限公司 一种基于混合贝叶斯深度网络测井曲线预测方法及系统
CN117540277A (zh) * 2023-11-27 2024-02-09 西南石油大学 一种基于WGAN-GP-TabNet算法的井漏预警方法
CN117892233A (zh) * 2024-01-12 2024-04-16 中国矿业大学 一种基于多类别指数损失函数的不平衡数据软分类方法
CN118311880A (zh) * 2024-06-07 2024-07-09 天津阿尔法优联电气有限公司 基于数据分析的司控器智能控制方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235628A (zh) * 2023-11-10 2023-12-15 天津花栗鼠软件科技有限公司 一种基于混合贝叶斯深度网络测井曲线预测方法及系统
CN117235628B (zh) * 2023-11-10 2024-01-26 天津花栗鼠软件科技有限公司 一种基于混合贝叶斯深度网络测井曲线预测方法及系统
CN117540277A (zh) * 2023-11-27 2024-02-09 西南石油大学 一种基于WGAN-GP-TabNet算法的井漏预警方法
CN117540277B (zh) * 2023-11-27 2024-06-21 西南石油大学 一种基于WGAN-GP-TabNet算法的井漏预警方法
CN117892233A (zh) * 2024-01-12 2024-04-16 中国矿业大学 一种基于多类别指数损失函数的不平衡数据软分类方法
CN117892233B (zh) * 2024-01-12 2024-09-06 中国矿业大学 一种基于多类别指数损失函数的不平衡数据软分类方法
CN118311880A (zh) * 2024-06-07 2024-07-09 天津阿尔法优联电气有限公司 基于数据分析的司控器智能控制方法及系统

Similar Documents

Publication Publication Date Title
CN116244657A (zh) 基于生成对抗网络和集成学习的列车轴温异常识别方法
CN110070060B (zh) 一种轴承设备的故障诊断方法
CN103034691B (zh) 一种基于支持向量机的专家系统知识获取方法
CN113376516A (zh) 一种基于深度学习的中压真空断路器运行故障自诊断与预警方法
CN111339478B (zh) 基于改进模糊层次分析法的气象数据质量评估方法
CN112147432A (zh) 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统
CN111680875A (zh) 基于概率基线模型的无人机状态风险模糊综合评价方法
CN110737976A (zh) 一种基于多维度信息融合的机械设备健康评估方法
CN109214604A (zh) 基于Adaboost的输变电设备的雾霾灾害风险预测方法及系统
CN114926299A (zh) 一种基于大数据分析的预测车辆事故风险预测方法
CN113255591A (zh) 一种基于随机森林和融合特征的轴承故障诊断方法
CN115545101A (zh) 一种基于残差神经网络的高速列车转向架故障诊断方法
CN113609480B (zh) 基于大规模网络流的多路学习入侵检测方法
CN110956331A (zh) 数字工厂运营状态预测方法、系统、装置
CN114611604A (zh) 一种基于电驱总成载荷特征融合与聚类的用户筛选方法
CN117591986A (zh) 基于人工智能的汽车数据实时处理方法
CN117669808A (zh) 一种基于贝叶斯优化的滑坡易发性预测方法
CN111708865B (zh) 一种基于改进XGBoost算法的技术预见及专利预警分析方法
CN110490218B (zh) 一种基于两级dbn的滚动轴承故障自学习方法
CN112163630A (zh) 一种基于不平衡学习的复合故障诊断方法及装置
CN114547796B (zh) 一种基于优化bn网络的球磨机特征融合故障诊断方法
CN116304941A (zh) 一种基于多模型组合的海洋数据质量控制方法及装置
CN113610148B (zh) 一种基于偏置加权AdaBoost的故障诊断方法
CN114970600A (zh) 基于粒化散布熵和优化kelm的滚动轴承故障诊断方法、装置
Tang et al. The improvement of remaining useful life prediction for aero-engines by classification and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination