CN115168608A - 基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法，该方法包括：根据采集的泥浆泵各部件的噪点音频数据，进行部件声源定位和波形特征提取；获取泥浆泵各部件的关键参数；其中，关键参数包括振动信号、液缸压力和应力值信号数据；构建泥浆泵故障诊断相关的知识图谱本体模型，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱；基于构建的知识图谱，采用多模态数据表示、对齐和融合，以及利用自然语言处理和知识图谱对泥浆泵各部件之间关联关系进行深层语义挖掘，得到泥浆泵故障诊断结果。本发明显著提高了泥浆泵检修效率，从而提升石油钻井企业的生产效率，对于企业的生产实践具有极其重要的意义。

Description

基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法

技术领域

本发明涉及石油钻井勘探技术领域，特别是一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法。

背景技术

在现有泥浆泵故障诊断技术中，有如下几种类型的方案：其一，通过振动传感器检测泥浆泵的振动，利用数据线传输给动态信号测试仪，最后上传数据处理模块，利用数据处理模块进行信号处理与诊断；其二，根据多个参数(主轴承温度、十字头温度、润滑油温度和压力、缸套压力、泵压、泵冲)来进行实时监测和预警，便于快速确定泥浆泵故障点；其三，在泥浆泵的各个液缸上设置若干单声音传感器，采集各液缸单声音信号进行融合运算，可以分离出各个液缸的噪声信号，然后对所采集声音信号进行分析，预测诊断泥浆泵的故障。

目前，这三种方案主要依靠音频信号和传感器数据信号实现泥浆泵故障诊断，且均没有结合这两种模态数据综合分析运用以提高故障预测准确率；此外，泥浆泵各部件之间(泥浆泵缸套、缸顶套、缸盖、拉杆、活塞、活塞压板、皮碗、活塞座、活塞杆、柱塞杆、进排水阀、进排水阀阀座、十字头、十字头滑套、十字头销轴、曲轴、连杆、连杆上下瓦、连杆铜套、连杆螺钉及母、冠型螺母、骨架油封、O型密封圈、轴承及相配套的齿轮、轴)并非孤立的，而是相互作用的，通过结构说明书和操作手册等非结构化文档进行深层语义挖掘并构建部件之间的相互作用关系图谱对于故障原因分析也起到很大的作用。

发明内容

为了解决现有技术存在的上述问题，本发明目的在于提供一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法,解决了单一模态数据分析对泥浆泵故障诊断准确率较低的问题，显著提高了泥浆泵检修效率，从而提升石油钻井企业的生产效率，对于企业的生产实践具有极其重要的意义。

本发明公开了一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法，包括以下步骤：

步骤1：根据采集的泥浆泵各部件的噪点音频数据，进行部件声源定位和波形特征提取；

步骤2：获取泥浆泵各部件的关键参数；其中，所述关键参数包括振动信号、液缸压力和应力值信号数据；

步骤3：构建泥浆泵故障诊断相关的知识图谱本体模型，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱；

步骤4：基于构建的知识图谱，采用多模态数据表示、对齐和融合，以及利用自然语言处理和知识图谱对泥浆泵各部件之间关联关系进行深层语义挖掘，得到泥浆泵故障诊断结果；所述多模态数据包括噪点音频、传感器数据和说明书文本数据。

进一步地，所述步骤1包括：

通过在泥浆泵各部件的噪点位置放置多个声音传感器，每个传感器用于采集特定部件在运行过程中的噪点音频数据；基于傅里叶变换和小波变换的时域-频域滤波，对噪点音频数据去噪，然后进行部件声源定位和波形特征提取。

进一步地，基于傅里叶变换和梅尔倒谱分析，对所述噪点音频数据进行处理，建立模型M1，提取时域特征、频域特征、感知特征，利用AdaBoost元算法形成故障分类器C1。

进一步地，所述时域特征包括自相关；所述频域特征包括MFCC；所述感知特征包括响度和尖锐度。

进一步地，所述步骤2包括：

在泥浆泵各部件加入振动传感器和压力传感器收集泥浆泵振动信号、液缸压力和应力值信号数据，并将收集到的关键参数实时传输到数据库中。

进一步地，基于所述振动信号、液缸压力和应力值信号数据，建立主成分分析模型M2，通过AdaBoost元算法，故障发生时间段的数据变化特征形成故障分类器C2；其中，所述数据变化特征包括波形、峰度、偏度。

进一步地，所述步骤3包括：

结合行业专家构建泥浆泵故障诊断相关的知识图谱本体模型，根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱。

进一步地，所述根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱，包括：

步骤301：根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，确定设备部件作为实体，设备部件结构特征作为实体之间的关系，故障现象、可能原因、排除方法作为设备部件的属性；

步骤302：结合行业词典和信息抽取技术，提取文本中的实体、关系、属性；利用深层语义分析，建立普通文本到实体/关系之间的映射。

进一步地，所述步骤4中，采用基于transformer框架的预训练多模态模型对文本数据进行特征表示；其中，所述文本数据包括音频波形图像和故障现象描述、结构图。

进一步地，所述步骤4包括：

步骤41：将故障描述的文本作为输入，通过关键词抽取提取出文本中的关键特征；其中，所述关键特征包括过高的压力；

步骤42：将步骤1中形成的故障分类器C1和步骤2中形成的故障分类器C2输出的故障类别打分，采用集成学习进行融合，最后输出结果；

步骤43：对步骤41中提取的关键特征在知识图谱中查找对应的故障现象与对应的可能原因和排除方法，与步骤42中的输出结果进行对比，排除可能原因中的干扰项，获得最终的故障原因，并根据排除方法快速解决泥浆泵故障。

由于采用了上述技术方案，本发明具有如下的优点：

1)在模型构建过程中，本发明取代传统的单一模型故障检验方法及人工故障检测方法，利用基于Transformer的多模态表示学习和融合算法与文本信息抽取等技术的组合，用多模多维数据融合代替了传统的方法，可以提高算法的准确率，提高效率，利用AdaBoost元算法可支持多种分类器(支持向量机、随机森林、BP神经网络)的自定义添加，进行故障的检测，训练并使本发明具有自主诊断故障发生的能力，而不需要借助人工进行情况判断；

2)经过训练后，本发明可以对各类机床加工设备、生产设备有相当程度的普遍适用性，能够广泛适用于各种可能出现的种种机械生产故障的工业生产应用场景中，适于推广使用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法的流程示意图。

具体实施方式

结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

参见图1，本发明提供了一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法的实施例，该方法能够现场检测泥浆泵的工作状态，在发生故障时对泥浆泵进行故障检测，确保快速准确的诊断故障，节约了维修时间。

相较之前的单一模态(噪点声音信号数据或泥浆泵振动信号数据)数据单维分析对泥浆泵的故障诊断方法，本发明采用多模态数据表示、对齐、融合技术，通过多维多模数据分析，可以进一步提高泥浆泵故障的诊断正确率。本发明的方法包括以下步骤：

步骤1：根据采集的泥浆泵各部件的噪点音频数据，进行部件声源定位和波形特征提取；

步骤2：获取泥浆泵各部件的关键参数；其中，关键参数包括振动信号、液缸压力和应力值信号数据；

步骤3：构建泥浆泵故障诊断相关的知识图谱本体模型，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱；

步骤4：基于构建的知识图谱，采用多模态数据表示、对齐和融合，以及利用自然语言处理和知识图谱对泥浆泵各部件之间关联关系进行深层语义挖掘，得到泥浆泵故障诊断结果；所述多模态数据包括噪点音频、传感器数据和说明书文本数据。

本实施例中，步骤1包括：

通过在泥浆泵各部件的噪点位置放置多个声音传感器，每个传感器用于采集特定部件在运行过程中的噪点音频数据；基于傅里叶变换和小波变换的时域-频域滤波，对噪点音频数据去噪，然后进行部件声源定位和波形特征提取。

本实施例中，基于傅里叶变换和梅尔倒谱分析，对噪点音频数据进行处理，建立模型M1，提取时域特征、频域特征、感知特征，利用AdaBoost元算法形成故障分类器C1。

本实施例中，时域特征包括自相关；频域特征包括MFCC；感知特征包括响度和尖锐度。

本实施例中，步骤2包括：

在泥浆泵各部件加入振动传感器和压力传感器收集泥浆泵振动信号、液缸压力和应力值信号数据，并将收集到的关键参数实时传输到数据库中。

本实施例中，基于振动信号、液缸压力和应力值信号数据，建立主成分分析模型M2，通过AdaBoost元算法，故障发生时间段的数据变化特征形成故障分类器C2；其中，数据变化特征包括波形、峰度、偏度。

本实施例中，步骤3包括：

结合行业专家构建泥浆泵故障诊断相关的知识图谱本体模型，根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱。

本实施例中，根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱，包括：

步骤301：根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，确定设备部件作为实体，设备部件结构特征作为实体之间的关系，故障现象、可能原因、排除方法作为设备部件的属性；

步骤302：结合行业词典和信息抽取技术，提取文本中的实体、关系、属性；利用深层语义分析，建立普通文本到实体/关系之间的映射。

本实施例中，步骤4中，采用基于transformer框架的预训练多模态模型对文本数据进行特征表示；其中，文本数据包括音频波形图像和故障现象描述、结构图。

本实施例中，步骤4包括：

步骤41：将故障描述的文本作为输入，通过关键词抽取提取出文本中的关键特征；其中，关键特征包括过高的压力；

步骤42：将步骤1中形成的故障分类器C1和步骤2中形成的故障分类器C2输出的故障类别打分，采用集成学习进行融合，最后输出结果；

步骤43：对步骤41中提取的关键特征在知识图谱中查找对应的故障现象与对应的可能原因和排除方法，与步骤42中的输出结果进行对比，排除可能原因中的干扰项，获得最终的故障原因，并根据排除方法快速解决泥浆泵故障。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法，其特征在于，包括以下步骤：

步骤1：根据采集的泥浆泵各部件的噪点音频数据，进行部件声源定位和波形特征提取；

步骤2：获取泥浆泵各部件的关键参数；其中，所述关键参数包括振动信号、液缸压力和应力值信号数据；

步骤3：构建泥浆泵故障诊断相关的知识图谱本体模型，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱；

步骤4：基于构建的知识图谱，采用多模态数据表示、对齐和融合，以及利用自然语言处理和知识图谱对泥浆泵各部件之间关联关系进行深层语义挖掘，得到泥浆泵故障诊断结果；所述多模态数据包括噪点音频、传感器数据和说明书文本数据。

2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：

通过在泥浆泵各部件的噪点位置放置多个声音传感器，每个传感器用于采集特定部件在运行过程中的噪点音频数据；基于傅里叶变换和小波变换的时域-频域滤波，对噪点音频数据去噪，然后进行部件声源定位和波形特征提取。

3.根据权利要求2所述的方法，其特征在于，基于傅里叶变换和梅尔倒谱分析，对所述噪点音频数据进行处理，建立模型M1，提取时域特征、频域特征、感知特征，利用AdaBoost元算法形成故障分类器C1。

4.根据权利要求3所述的方法，其特征在于，所述时域特征包括自相关；所述频域特征包括MFCC；所述感知特征包括响度和尖锐度。

5.根据权利要求1所述的方法，其特征在于，所述步骤2包括：

在泥浆泵各部件加入振动传感器和压力传感器收集泥浆泵振动信号、液缸压力和应力值信号数据，并将收集到的关键参数实时传输到数据库中。

6.根据权利要求5所述的方法，其特征在于，基于所述振动信号、液缸压力和应力值信号数据，建立主成分分析模型M2，通过AdaBoost元算法，故障发生时间段的数据变化特征形成故障分类器C2；其中，所述数据变化特征包括波形、峰度、偏度。

7.根据权利要求1所述的方法，其特征在于，所述步骤3包括：

结合行业专家构建泥浆泵故障诊断相关的知识图谱本体模型，根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱。

8.根据权利要求7所述的方法，其特征在于，所述根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，提取泥浆泵故障诊断相关实体和关系，并构建知识图谱，包括：

步骤301：根据泥浆泵结构图、故障诊断说明书、泥浆泵使用说明书，确定设备部件作为实体，设备部件结构特征作为实体之间的关系，故障现象、可能原因、排除方法作为设备部件的属性；

步骤302：结合行业词典和信息抽取技术，提取文本中的实体、关系、属性；利用深层语义分析，建立普通文本到实体/关系之间的映射。

9.根据权利要求1所述的方法，其特征在于，所述步骤4中，采用基于transformer框架的预训练多模态模型对文本数据进行特征表示；其中，所述文本数据包括音频波形图像和故障现象描述、结构图。

10.根据权利要求1所述的方法，其特征在于，所述步骤4包括：

步骤41：将故障描述的文本作为输入，通过关键词抽取提取出文本中的关键特征；其中，所述关键特征包括过高的压力；

步骤42：将步骤1中形成的故障分类器C1和步骤2中形成的故障分类器C2输出的故障类别打分，采用集成学习进行融合，最后输出结果；

步骤43：对步骤41中提取的关键特征在知识图谱中查找对应的故障现象与对应的可能原因和排除方法，与步骤42中的输出结果进行对比，排除可能原因中的干扰项，获得最终的故障原因，并根据排除方法快速解决泥浆泵故障。

Images