CN115859175B - 基于跨模态生成式学习的液压减震器设备异常检测方法 - Google Patents
基于跨模态生成式学习的液压减震器设备异常检测方法 Download PDFInfo
- Publication number
- CN115859175B CN115859175B CN202310123497.5A CN202310123497A CN115859175B CN 115859175 B CN115859175 B CN 115859175B CN 202310123497 A CN202310123497 A CN 202310123497A CN 115859175 B CN115859175 B CN 115859175B
- Authority
- CN
- China
- Prior art keywords
- data
- cross
- sensor data
- mode model
- dual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000006096 absorbing agent Substances 0.000 title claims abstract description 19
- 230000035939 shock Effects 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 230000005856 abnormality Effects 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000007704 transition Effects 0.000 claims abstract description 9
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Testing Or Calibration Of Command Recording Devices (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及预测性维护技术领域,公开了一种基于跨模态生成式学习的液压减震器设备异常检测方法,采集生产时的传感器数据,输入到线性分类器中,得到液压减震器设备状态的预测结果;线性分类器的训练方法包括:获取液压减震器的传感器数据;构建由编码器、过渡器、解码器组成的具有多层结构的双流跨模态模型;将双流跨模态模型的编码器与两个全连接层组成所述线性分类器;该双流跨模态模型的编码器只需要无标签的数据来执行预训练任务,就能捕获丰富的上下文特征,并缩小两种模态之间的差异,从而为下游的微调任务提供有效的初始化。此外,本发明的下游微调任务只需要少量有标签数据即可得到一个优秀的线性分类器。
Description
技术领域
本发明涉及预测性维护领域,具体涉及一种基于跨模态生成式学习的液压减震器设备异常检测方法。
背景技术
因为近些年深度学习自动提取数据特征和实现状态分类的能力,深度学习被广泛应用于设备状态异常检测。现有的设备状态异常检测算法利用有标签数据进行有监督学习、无监督学习或半监督学习,这些方法主要包括两个步骤:(1)进行数据特征提取;(2)使用分类算法模型进行状态分类。以上方法应用在现实的工业场景下,存在一些局限性:一方面由于有监督模型需要依赖于大量有标签数据进行检测,而对大量的数据进行标记需要消耗大量人力、物力和时间,代价昂贵。另一方面,设备大部分时间处于正常运行状态,处于异常状态的时间远小于正常状态时间,所以正常数据与异常数据的数据量的比例一般为10/1、50/1、100/1、1000/1或是更大量级的比例,这种数据不平衡的情况对现有方法造成了很大挑战。
发明内容
为解决上述技术问题,本发明提供一种基于跨模态生成式学习的液压减震器设备异常检测方法。
为解决上述技术问题,本发明采用如下技术方案:
一种基于跨模态生成式学习的液压减震器设备异常检测方法,采集实际生产时液压减震器的传感器数据,输入到完成训练的线性分类器中,得到液压减震器设备状态的预测结果;
线性分类器的训练方法包括以下步骤:
步骤一:获取液压减震器的传感器数据,对部分传感器数据进行标注形成有标签数据集,其余未经标注的传感器数据形成无标签数据集;传感器数据包括x轴传感器数据、y轴传感器数据/>和z轴传感器数据/>,对传感器数据进行预处理,并将/>和/>组合为xy轴传感器数据/>;
步骤二:构建由编码器、过渡器、解码器组成的具有多层结构的双流跨模态模型,将无标签数据集中的、/>输入双流跨模态模型的编码器,分别提取z轴数据特征和xy轴数据特征,并将xy轴数据特征和z轴数据特征经过解码器和过渡器处理,通过计算总体损失函数对双流跨模态模型进行初步训练;
步骤三:冻结双流跨模态模型的参数,将双流跨模态模型的编码器与两个全连接层组成所述线性分类器,利用有标签数据集对线性分类器进行训练,损失函数为交叉熵损失。
具体地,步骤一中,无标签数据集中传感器数据的数量大于有标签数据集中传感器数据的数量。
要特别说明的是,本方法中采用的是大量无标签数据进行特征提取,仅利用少量有标签数据进行线性分类器训练,以此来减少对有标签数据的依赖,但是同时也能获得优秀的训练结果。
具体地,步骤一中,对传感器数据进行标注时,将传感器数据分为正常数据和异常数据,其中正常数据量大于异常数据量;然后通过合成少数类样本的过采样技术扩大异常数据量,使异常数据量等于正常数据量。
具体地,双流跨模态网络包括五个编码器、五个解码器以及四个过渡器;编码器-解码器架构基于特征金字塔网络结构进行构建;将VGG16的主干网络中全连接层均替换为卷积层并删除最后一个池化层,形成所述的编码器。
步骤二中通过计算总体损失函数对双流跨模态模型进行初步训练时,利用绝对值计算总体损失函数,具体包括:
其中,是z轴传感器数据/>经过双流跨模态模型后在对应解码器/>处重构的数据特征/>的损失值之和,/>是xy轴传感器数据/>经过双流跨模态模型后在对应解码器/>处重构的数据特征/>的损失值之和,/>为双流跨模态模型的总体损失函数,/>表示/>在双流跨模态模型解码器/>处提取的数据特征,/>表示/>在双流跨模态模型解码器/>处提取的数据特征。
与现有技术相比,本发明的有益技术效果是:
本发明根据传感器在空间上维度分布的特性,设计了一种基于自监督的、具有先进架构的双流跨模态模型,来刻画减震器的工作状态。该双流跨模态模型的编码器只需要无标签的数据来执行预训练任务,就能使网络捕获丰富的上下文特征,并缩小两种模态之间的差异,从而为下游的微调任务提供有效的初始化。此外,本发明的下游微调任务只需要少量有标签数据即可得到一个优秀的线性分类器。
本发明在利用少量有标签数据的使用方式上进行改进,减少对大量有标签数据依赖的同时不削减已有先验数据的利用率,即对正常数据不进行过度欠采样,克服数据分布不平衡带来的影响,最终实现液压减震器的设备状态异常检测。
附图说明
图1为本发明线性分类器的训练方法流程图;
图2为本发明双流跨模态模型的网络结构示意图;
图3为本发明微调任务的示意图;
图4为本发明液压减震器设备异常检测方法的实验结果图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
如图1所示,线性分类器的训练方法包括以下步骤。
步骤S1:获取液压减震器的传感器数据,传感器数据包括x轴传感器数据、y轴传感器数据/>和z轴传感器数据/>,先对传感器数据/>和/>进行去除零漂和异常值的操作,再使用滑动窗口法进行数据划分;将x轴传感器数据/>和y轴传感器数据/>组合成为时序数据,也称为xy轴传感器数据/>。
步骤S1具体包含如下步骤:
S13:由于和/>是一整条时序数据,需要对其进行切分,本发明使用滑动窗口法对/>以步长/>和宽度/>进行切分,分别得到/>的m个时序片段,/>表示时序片段的数据量。这里的宽度/>设为256,步长/>也设为256。后续将传感器数据输入到模型中进行训练时,实际上是将传感器数据切分得到的时序片段作为训练样本输入模型中。
S14:对分别进行归一化,使得归一化后传感器数据的均值为0,方差为1。训练数据、验证数据、测试数据在送入网络模型前,都需要进行归一化操作。使用归一化简化并规整了传感器数据的分布,增强数据可靠性,提高模型效果。
步骤S2:将、/>输入双流跨模态模型的编码器,分别提取z轴数据特征和xy轴数据特征。将xy轴数据特征和z轴数据特征经过解码器和过渡器处理,并逐步从高层到低层整合细节,优化每层数据特征与跨模态数据之间损失,从而不断恢复完整数据。
步骤S2具体包括如下步骤:
S21:双流跨模态模型的网络架构由五个编码器、四个过渡器,以及五个解码器/>组成。编码器(Encoder)-解码器(Decoder)架构基于特征图金字塔网络(Feature Pyramid Networks,FPN)。编码器是基于/>的主干网络,但将/>主干网络中的全连接层全部修改为卷积层,并且抛弃最后一个池化层,具体如图2所示。利用双流跨模态模型对/>进行跨模态特征提取,分别获得经过五个解码器解码后的对应数据特征/>;同样地,利用双流跨模态模型对/>进行跨模态特征提取,分别获得经过五个解码器解码后的对应数据特征/>;特征/>表示xy轴传感器数据/>在双流跨模态模型解码器/>处提取的数据特征,特征/>表示z轴传感器数据/>在对应模型解码器/>处提取的数据特征。
S22:利用绝对值计算双流跨模态模型的总体损失函数,计算公式如下:
是z轴传感器数据/>经过双流跨模态模型后在对应解码器/>处重构的数据特征/>的损失值/>总和。/>是xy轴传感器数据/>经过双流跨模态模型后在对应解码器/>处重构的数据特征/>的损失值/>总和。/>是双流跨模态模型的总体损失函数。
步骤S3:通过双流跨模态模型提取的数据特征,结合有标签数据进行线性分类器训练。
步骤S3具体包括如下步骤:
S31:利用先验信息构建有标签数据集,有标签数据集分为正常数据和异常数据。在进行预训练时,取出足够多的正常数据标记为正常,同样也取出足够多的异常数据标记为异常,但异常数据的总量远少于正常数据的总量,本实施例中最后取出的正常数据与异常数据的数量比为800:50,构成训练数据集。
S32:通过合成少数类样本的过采样技术(SyntheticMinority Over-samplingTechnique,SMOTE),将训练数据集中正常数据与异常数据的数量比转化为800:800。
S33:如图3所示,冻结双流跨模态模型的参数,将双流跨模态模型的编码器对提取的数据特征/>、对/>提取的数据特征/>,进行数据拼接,并在编码器后方增加两个全连接层构成线性分类器,利用步骤S31构造的训练数据集对线性分类器进行训练,训练的损失为交叉熵损失。
图4中,横轴均代表数据点,浅色部分代表训练数据集的正常数据部分,深色部分代表训练数据集的异常数据部分,图4从上往下依次是x轴、y轴和z轴的传感器数据标准归一化后的数据图以及实验结果图,fot_occur=64000表示在第64000个数据之后的传感器数据均为故障数据。test_lable为线性分类器在测试集上的预测结果,在0处表示预测该点为正常数据,test_label在1处表示预测该点为异常数据。实验结果表明,本发明预测设备状态的准确率达到100%。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立技术方案,说明书的这种叙述方式仅仅是为了清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (4)
1.一种基于跨模态生成式学习的液压减震器设备异常检测方法,其特征在于,采集实际生产时液压减震器的传感器数据,输入到完成训练的线性分类器中,得到液压减震器设备状态的预测结果;
线性分类器的训练方法包括以下步骤:
步骤一:获取液压减震器的传感器数据,对部分传感器数据进行标注形成有标签数据集,其余未经标注的传感器数据形成无标签数据集;传感器数据包括x轴传感器数据、y轴传感器数据/>和z轴传感器数据/>,对传感器数据进行预处理,并将/>和/>组合为xy轴传感器数据/>;
步骤二:构建由编码器、过渡器、解码器组成的具有多层结构的双流跨模态模型,将无标签数据集中的、/>输入双流跨模态模型的编码器,分别提取z轴数据特征和xy轴数据特征,并将xy轴数据特征和z轴数据特征经过解码器和过渡器处理,通过计算总体损失函数对双流跨模态模型进行初步训练;
步骤三:冻结双流跨模态模型的参数,将双流跨模态模型的编码器与两个全连接层组成所述线性分类器,利用有标签数据集对线性分类器进行训练,损失函数为交叉熵损失;
步骤一中,无标签数据集中传感器数据的数量大于有标签数据集中传感器数据的数量;
步骤三中,将有标签数据分为正常数据和异常数据,其中正常数据量大于异常数据量;然后通过合成少数类样本的过采样技术扩大异常数据量,使异常数据量等于正常数据量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310123497.5A CN115859175B (zh) | 2023-02-16 | 2023-02-16 | 基于跨模态生成式学习的液压减震器设备异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310123497.5A CN115859175B (zh) | 2023-02-16 | 2023-02-16 | 基于跨模态生成式学习的液压减震器设备异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115859175A CN115859175A (zh) | 2023-03-28 |
CN115859175B true CN115859175B (zh) | 2023-05-23 |
Family
ID=85658211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310123497.5A Active CN115859175B (zh) | 2023-02-16 | 2023-02-16 | 基于跨模态生成式学习的液压减震器设备异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115859175B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906605A (zh) * | 2021-03-05 | 2021-06-04 | 南京航空航天大学 | 一种高准确率的跨模态行人重识别方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR1299787A (fr) * | 1960-07-18 | 1962-07-27 | Ass Elect Ind | Appareillages de commutation pour télécommunication automatique |
CN107437100A (zh) * | 2017-08-08 | 2017-12-05 | 重庆邮电大学 | 一种基于跨模态关联学习的图像位置预测方法 |
CN110580695B (zh) * | 2019-08-07 | 2022-06-21 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
CN111931637B (zh) * | 2020-08-07 | 2023-09-15 | 华南理工大学 | 基于双流卷积神经网络的跨模态行人重识别方法和系统 |
CN112100383B (zh) * | 2020-11-02 | 2021-02-19 | 之江实验室 | 一种面向多任务语言模型的元-知识微调方法及平台 |
US20220147761A1 (en) * | 2020-11-10 | 2022-05-12 | Nec Laboratories America, Inc. | Video domain adaptation via contrastive learning |
CN112784965B (zh) * | 2021-01-28 | 2022-07-29 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
CN113628294B (zh) * | 2021-07-09 | 2023-06-20 | 南京邮电大学 | 一种面向跨模态通信系统的图像重建方法及装置 |
CN114791958B (zh) * | 2022-04-28 | 2023-04-07 | 电子科技大学 | 一种基于变分自编码器的零样本跨模态检索方法 |
-
2023
- 2023-02-16 CN CN202310123497.5A patent/CN115859175B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906605A (zh) * | 2021-03-05 | 2021-06-04 | 南京航空航天大学 | 一种高准确率的跨模态行人重识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115859175A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210166350A1 (en) | Fusion network-based method for image super-resolution and non-uniform motion deblurring | |
Nguyen et al. | Automatic image filtering on social networks using deep learning and perceptual hashing during crises | |
Sohaib et al. | Fault diagnosis of rotary machine bearings under inconsistent working conditions | |
CN104655423A (zh) | 一种基于时频域多维振动特征融合的滚动轴承故障诊断方法 | |
CN113723489A (zh) | 一种改进关系网络的滚动轴承故障识别方法 | |
CN113639993B (zh) | 多模态多任务卷积神经网络的齿轮箱故障诊断方法 | |
Lv et al. | Deep transfer network with multi-kernel dynamic distribution adaptation for cross-machine fault diagnosis | |
Wang et al. | Construction of the efficient attention prototypical net based on the time–frequency characterization of vibration signals under noisy small sample | |
CN112669313A (zh) | 一种金属表面缺陷定位及分类方法 | |
CN104463242A (zh) | 基于特征变换和词典学习的多特征动作识别方法 | |
CN110599458A (zh) | 基于卷积神经网络的地下管网检测评估云系统 | |
CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
Zhang et al. | An adaptive graph morlet wavelet transform for railway wayside acoustic detection | |
Huijie et al. | Structured sparsity assisted online convolution sparse coding and its application on weak signature detection | |
CN115859175B (zh) | 基于跨模态生成式学习的液压减震器设备异常检测方法 | |
CN113469938B (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
CN113076920B (zh) | 一种基于非对称域对抗自适应模型的智能故障诊断方法 | |
CN108764287B (zh) | 基于深度学习和分组卷积的目标检测方法及系统 | |
CN114595635A (zh) | 火电机组主汽温度数据的特征选择方法、系统及设备 | |
CN113792597A (zh) | 一种基于自监督特征提取的机械设备异常声音检测方法 | |
CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
CN110348510B (zh) | 一种基于深水油气钻井过程阶段性特征的数据预处理方法 | |
CN115424635B (zh) | 一种基于声音特征的水泥厂设备故障诊断方法 | |
CN114781450B (zh) | 一种基于参数优化momeda-mia-cnn的列车滚动轴承状态识别方法 | |
CN112016403B (zh) | 一种视频异常事件检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |