CN116187508A - 一种融合知识图谱和深度学习的风电机组故障预测方法 - Google Patents

Abstract

本发明为一种融合知识图谱和深度学习的风电机组故障预测方法。包括：获取风电机组的故障知识数据，并对数据进行预处理；从预处理后的数据中抽取出包括实体、属性和关系的知识图谱元素，将得到的知识图谱元素在图数据库中构建出风电知识图谱；对步骤二构建的风电知识图谱进行预训练，然后利用深度学习算法建立故障预测模型，将预训练得到的数据输入该故障预测模型中进行训练，并在训练完成后保存模型参数；根据故障预测模型预测出的数据对风电场中的风电机组进行运维管理，及时排查故障。实现了故障诊断方面的知识和资源的共享与重用以及不同类型和业务数据间的贯穿统一，具有极强的完备性。

Description

一种融合知识图谱和深度学习的风电机组故障预测方法

技术领域

本发明属于风电技术领域，涉及一种融合知识图谱和深度学习的风电机组故障预测方法。

背景技术

随着社会经济的快速发展，我国的能源需求也在发生变化，以化石能源为主的传统不可再生能源正在逐渐过渡到以风能等为代表的的清洁可再生能源。近年来，风能作为典型的清洁能源代表引起了社会的关注与重视，风电行业的稳步上升使得风电领域成为了能源领域的重要驱动力。随着风力发电规模逐步增大，风电机组的数量也随之增多，因此风电场具有分布面积广、数量多等特点。但是，风电场所处的环境通常十分复杂，大多风电场靠近海边或位于偏远山区，长期工作在暴风、雷雨、冰冻等极端恶劣天气中，导致风电机组具有故障率高、故障种类多等特点。风电机组是一个由多自由度组成的复杂机电系统，一个小部件的损坏都可能“牵一发而动全身”，严重时甚至会导致整个风电机组瘫痪停机，从而大幅度影响发电量，造成巨大的经济损失。风电机组的故障诊断困难及运维成本高成为了风电行业的绊脚石。因此，如何及时发现并解决风电机组故障，降低风电机组的运维管理成本，从而提高风电场的经济效益，成为风电行业亟待解决的重要问题。

目前大部分的风电企业主要依靠SCADA系统和人工经验进行故障诊断，且主要针对风电机组当前的运行状态，对于故障诊断方面的知识和资源的共享率和重用率较低，当出现同类故障时，不具备快速诊断和提前预测的功能，造成人力物力的大量浪费、运维管理效率降低和运维管理成本提高。因此，构建具有预测功能和通用性的智能化风电机组运维系统是解决问题的关键。

发明内容

本发明所要解决的技术问题是如何利用风电场产生的多源海量故障知识数据构建风电知识图谱，同时在此基础上使用深度学习算法建立故障预测模型，对风电机组中系统关键部件及时排查，实现风电场的智慧运维管理，提供一种融合知识图谱和深度学习的风电机组故障预测方法。

本发明针对上述技术问题所采用的技术方案如下：

一种融合知识图谱和深度学习的风电机组故障预测方法，该方法包括以下步骤：

步骤一：获取风电机组的故障知识数据，并对数据进行预处理；

步骤二：从预处理后的数据中抽取出包括实体、属性和关系的知识图谱元素，将得到的知识图谱元素在图数据库中构建出风电知识图谱；

步骤三：对步骤二构建的风电知识图谱进行预训练，然后利用深度学习算法建立故障预测模型，将预训练得到的数据输入该故障预测模型中进行训练，并在训练完成后保存模型参数；

步骤四：根据故障预测模型预测出的数据对风电场中的风电机组进行运维管理，及时排查故障。

进一步地，所述步骤一中，数据预处理的具体步骤如下：

步骤1.1：将风电机组的故障知识数据划分为结构化数据和非结构化数据；

步骤1.2：对步骤1.1的结构化数据和非结构化数据中的残缺数据、错误数据、重复数据进行数据清洗。

进一步地，所述步骤二中，构建风电知识图谱的具体步骤如下：

步骤2.1：对于结构化数据，将其所包含的表格中行、列和对应单元格中的内容分别作为风电知识图谱的实体节点名称、关系名称和属性节点名称；

步骤2.2：对非结构化数据进行实体或属性抽取操作，该操作旨在从风电机组的故障知识数据抽取出表示实体或属性节点名称的词；

步骤2.3：对非结构化数据进行共指消解操作，该操作旨在将风电机组的故障知识数据中具有相同含义但表述不同的实体或属性进行合并；

步骤2.4：对非结构化数据进行关系抽取操作，该操作基于BERT模型，旨在从风电机组的故障知识数据中判别实体之间是否存在关系以及关系类型；

步骤2.5：整合结构化数据与非结构化数据的处理结果，得到所有包括实体、属性和关系的知识图谱元素，并基于图数据库Neo4j构建出风电知识图谱。

进一步地，步骤2.2中对非结构化数据进行实体或属性抽取操作，包括：首先采用隐马尔可夫模型将风电机组的故障知识数据文本切分成单独的词；然后将切分好的词逐一在风电领域专业术语集中进行检索，将检索到匹配项的词作为风电知识图谱的部分实体或属性节点名称。

进一步地，所述步骤2.3中对非结构化数据进行共指消解操作，包括：首先对词性相同的实体或属性进行分类，形成若干个词性集合；然后使用word2vec算法将每个词性集合中的词表示成指定维度的向量，分别计算词向量之间的余弦值进而判断两个词是否属于同一实体或属性；整理出属于同一实体或属性的词形成若干个同义词集，并将同义词集在风电领域专业术语集中进行检索，将检索到的匹配项的词作为风电知识图谱的部分实体或属性节点名称。

进一步地，所述步骤2.4中对非结构化数据进行关系抽取操作，包括：，首先利用包含一种或多种关系的少量标注语料对BERT模型进行训练；然后抽取预测结果不好的部分样本进行标注，数次迭代后BERT模型训练完成；最后利用训练完成的BERT模型对非结构化数据进行关系抽取。

进一步地，所述步骤三中，建立故障预测模型的具体步骤如下：

步骤3.1：采用TransR嵌入方法对风电知识图谱做预训练，具体包括：对于给定的三元组(h,r,t)，将实体空间中的头实体向量h和尾实体向量t通过矩阵M_r投影到关系r的空间，最终获得风电知识图谱中节点的低维稠密嵌入向量；

步骤3.2：对于风电机组某一系统的一组关键部件C＝{C₁，C₂，...，C_m}，在风电知识图谱所代表的节点的嵌入表示为

通过查阅风电机组的故障日志，得到某一关键部件C_m在过去一段时间产生的故障模式序列F＝{F₁，F₂，...，F_n}，其中该故障模式序列按照时间顺序排列，在风电知识图谱所代表的节点的嵌入表示为/>

利用故障模式的序列信息预测关键部件C_m未来可能会产生的D个同类故障，该操作通过滑动L+D大小的窗口来实现，每个窗口会产生一个训练实例；

步骤3.3：提取一段时间t₀内的L个故障模式序列的嵌入向量

采用卷积神经网络对其进行处理，该卷积神经网络包括N个卷积核，每个卷积核会对L个故障模式序列的嵌入向量构成的矩阵进行从上到下的卷积运算，运算结果表示为：

其中

为第G次卷积运算的结果；然后对c^K执行最大池化操作，输出结果为：

p＝{max(c¹),max(c²),...,max(c^N)}

步骤3.4：采用注意力机制对L个故障模式序列的嵌入向量构成的矩阵进行处理，利用基于tanh激活函数的前馈神经网络计算矩阵中每个故障模式的嵌入向量对其余故障模式的嵌入向量的注意力分数：

其中，W₁、W₂、b₁为第一层参数，

为第二层参数；通过Softmax函数对上述注意力分数进行归一化，得到最终的注意力权重：

利用所述注意力权重得到一个新的融合表示，如下式所示：

步骤3.5：采用连接策略将卷积层和自注意力层得到的结果相结合，得到L个故障模式序列的最终表示：

其中，W₃、b₂为第一层参数；

为RELU函数；/>

包含了关键部件C_m一段时间内故障模式的信息；

步骤3.6：利用点积运算关键部件C_m的嵌入向量

与L个故障模式序列的最终表示/>

的相似度：

根据相似度矩阵S，得到关键部件C_m级别的注意力向量：

/>

其中，S_i代表相似度矩阵S的第i行向量；

步骤3.7：采用连接策略将关键部件C_m级别的注意力向量与关键部件C_m的嵌入向量

连接，并进行如下变换：

其中，W₄、b₅为第一层参数；σ(x)＝1/(1+e^-x)；P^(m,τ)表示关键部件C_m在未来一段时间τ内可能会产生故障模式

的概率；

步骤3.8：使用二元交叉熵作为故障预测模型的损失函数，如下所示：

其中，TIME_j＝{L+1,L+2,...,n}表示对故障模式进行预测的时间步长；

表示要预测的D个故障模式的嵌入向量的集合；通过P^(m,τ)值的大小对预测关键部件C_m未来最大概率可能会产生的故障模式，P^(m,τ)值越大代表该故障模式最有可能产生。个卷积核，每个卷积核会对个本发明的有益效果：

相比其他风电机组故障预测方法，本发明所述方法充分利用了风电场中的多源海量故障知识数据，实现了故障诊断方面的知识和资源的共享与重用以及不同类型和业务数据间的贯穿统一，具有极强的完备性。同时，对于风电机组的故障诊断在很大程度上摆脱了对人工经验的依赖，提高了故障诊断的准确率，当出现同类故障时，能够提前预测快速诊断并及时排查故障，把故障消除在萌芽状态，有效提高运维效率，降低运维成本，实现了风电场的智慧运维管理。

利用知识图谱技术与深度学习算法对风电机组进行故障预测，可以大幅度提高运维管理效率并降低运维管理成本，对风电场的智能运维中起到积极的作用，具有较大的实用价值和研究意义。

附图说明

图1是本发明实施例提供的系统工作流程场景图。

图2是本发明实施例提供的系统工作流程时序图。

图3是本发明实施例提供的数据预处理流程示意图。

图4是本发明实施例提供的风电知识图谱构建流程示意图。

图5是本发明实施例提供的故障预测模型训练流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合附图，对本发明的具体实施方式进行详细的描述。

图1为本发明的系统工作流程场景图。

图2为本发明的系统工作流程时序图，本发明提供融合知识图谱和深度学习的风电机组故障预测方法，具体包括以下步骤：

步骤一：获取风电机组的故障知识数据，并对数据进行预处理；

步骤二：从预处理后的数据中抽取出实体、属性、关系等知识图谱元素，将得到的知识图谱元素在图数据库中构建出风电知识图谱；

步骤三：对步骤二构建的风电知识图谱进行预训练，然后利用深度学习算法建立故障预测模型，将预训练得到的数据输入该故障预测模型中进行训练，并在训练完成后保存模型参数；

步骤四：根据故障预测模型预测出的数据对风电场中的风电机组进行运维管理，及时排查故障。

图3是本发明的数据预处理流程示意图，其中，具体步骤如下：

步骤1.1：将风电机组的故障知识数据划分为结构化数据和非结构化数据；

步骤1.2：对结构化数据和非结构化数据中的残缺数据、错误数据、重复数据进行数据清洗。

图4是本发明的风电知识图谱构建流程示意图，具体步骤如下：

步骤2.1：对于结构化数据，将其所包含的表格中行、列和对应单元格中的内容分别作为风电知识图谱的实体节点名称、关系名称和属性节点名称；

步骤2.2：对非结构化数据进行实体或属性抽取操作。该操作旨在从风电机组的故障知识数据抽取出表示实体或属性节点名称的词。首先采用隐马尔可夫模型将风电机组的故障知识数据文本切分成单独的词；然后将切分好的词逐一在风电领域专业术语集中进行检索，将检索到匹配项的词作为风电知识图谱的部分实体或属性节点名称；

步骤2.3：对非结构化数据进行共指消解操作。该操作旨在将风电机组的故障知识数据中具有相同含义但表述不同的实体或属性进行合并。首先对词性相同的实体或属性进行分类，形成若干个词性集合；然后使用word2vec算法将每个词性集合中的词表示成指定维度的向量，分别计算词向量之间的余弦值进而判断两个词是否属于同一实体或属性；最后整理出属于同一实体或属性的词形成若干个同义词集，并基于风电领域专业术语集选取风电知识图谱的部分实体或属性节点名称；

步骤2.4：对非结构化数据进行关系抽取操作。该操作基于BERT模型，旨在从风电机组的故障知识数据中判别实体之间是否存在关系以及关系类型。首先利用包含一种或多种关系的少量标注语料对BERT模型进行训练；然后抽取预测结果不好的部分样本进行标注，数次迭代后BERT模型训练完成；最后利用训练完成的BERT模型对非结构化数据进行关系抽取；

步骤2.5：整合结构化数据与非结构化数据的处理结果，得到所有实体、属性、关系等知识图谱元素。最终基于图数据库Neo4j构建出风电知识图谱。

在详解本发明故障预测模型的具体建立步骤前，对问题进行以下描述：

首先，基于风电知识图谱进行数据预训练得到节点的嵌入向量，然后将嵌入向量送入故障预测模型进行训练与预测，分析该模型的预测能力，根据损失函数的结果不断调整该模型的结构及参数，进而提高本发明的可行性。最终本发明确定采用深度学习算法中的卷积神经网络和注意力网络和作为主要结构，并对参数进行优化进一步提高预测准确率，最终将训练完成的参数保存。

图5是本发明的故障预测模型训练流程示意图，具体步骤如下：

步骤3.1：采用TransR嵌入方法对风电知识图谱做预训练，具体来说，对于给定的三元组(h,r,t)，将实体空间中的头实体向量h和尾实体向量t通过矩阵M_r投影到关系r的空间，最终获得风电知识图谱中节点的低维稠密嵌入向量；

步骤3.2：对于风电机组某一系统的一组关键部件C＝{C₁，C₂，...，C_m}，它们在风电知识图谱所代表的节点的嵌入表示为

通过查阅风电机组的故障日志，得到某一关键部件C_m在过去一段时间产生的故障模式序列F＝{F₁，F₂，...，F_n}，其中该故障模式序列按照时间顺序排列，它们在风电知识图谱所代表的节点的嵌入表示为

利用故障模式的序列信息预测关键部件C_m未来可能会产生的D个同类故障，该操作通过滑动L+D大小的窗口来实现，每个窗口会产生一个训练实例；

步骤3.3：提取一段时间t₀内的L个故障模式序列的嵌入向量

采用卷积神经网络对其进行处理，该卷积神经网络有N个卷积核，每个卷积核会对L个故障模式序列的嵌入向量构成的矩阵进行从上到下的卷积运算，运算结果表示为：

其中

为第G次卷积运算的结果；然后对c^K执行最大池化操作，输出结果为：

p＝{max(c¹),max(c²),...,max(c^N)}

步骤3.4：采用注意力机制对L个故障模式序列的嵌入向量构成的矩阵进行处理，利用基于tanh激活函数的前馈神经网络计算矩阵中每个故障模式的嵌入向量对其余故障模式的嵌入向量的注意力分数：

其中，W₁、W₂、b₁为第一层参数，

为第二层参数；通过Softmax对上述注意力分数进行归一化，得到最终的注意力权重：

利用该注意力权重得到了一个新的融合表示，如下式所示：

步骤3.5：采用连接策略将卷积层和自注意力层得到的结果相结合，得到L个故障模式序列的最终表示：

其中，W₃、b₂为第一层参数；

为RELU函数；/>

包含了关键部件C_m一段时间内故障模式的信息；

步骤3.6：利用点积运算关键部件C_m的嵌入向量

与L个故障模式序列的最终表示/>

的相似度：

根据相似度矩阵S，得到关键部件C_m级别的注意力向量：

其中，S_i代表相似度矩阵S的第i行向量；

步骤3.7：采用连接策略将关键部件C_m级别的注意力向量与关键部件C_m的嵌入向量

连接，并进行如下变换：

其中，W₄、b₅为第一层参数；σ(x)＝1/(1+e^-x)；P^(m,τ)表示关键部件C_m在未来一段时间τ内可能会产生故障模式

的概率；

步骤3.8：使用二元交叉熵作为故障预测模型的损失函数，如下所示：

其中，TIME_j＝{L+1,L+2,...,n}表示对故障模式进行预测的时间步长；

表示要预测的D个故障模式的嵌入向量的集合；通过P^(m,τ)值的大小对预测关键部件C_m未来最大概率可能会产生的故障模式，P^(m,τ)值越大代表该故障模式最有可能产生。/>

Claims (7)

1.一种融合知识图谱和深度学习的风电机组故障预测方法，其特征在于，该方法包括以下步骤：

步骤一：获取风电机组的故障知识数据，并对数据进行预处理；

步骤二：从预处理后的数据中抽取出包括实体、属性和关系的知识图谱元素，将得到的知识图谱元素在图数据库中构建出风电知识图谱；

步骤三：对步骤二构建的风电知识图谱进行预训练，然后利用深度学习算法建立故障预测模型，将预训练得到的数据输入该故障预测模型中进行训练，并在训练完成后保存模型参数；

步骤四：根据故障预测模型预测出的数据对风电场中的风电机组进行运维管理，及时排查故障。

2.按照权利要求1所述的一种融合知识图谱和深度学习的风电机组故障预测方法，其特征在于，所述步骤一中，数据预处理的具体步骤如下：

步骤1.1：将风电机组的故障知识数据划分为结构化数据和非结构化数据；

步骤1.2：对步骤1.1的结构化数据和非结构化数据中的残缺数据、错误数据、重复数据进行数据清洗。

3.按照权利要求1所述的一种融合知识图谱和深度学习的风电机组故障预测方法，其特征在于，所述步骤二中，构建风电知识图谱的具体步骤如下：

步骤2.1：对于结构化数据，将其所包含的表格中行、列和对应单元格中的内容分别作为风电知识图谱的实体节点名称、关系名称和属性节点名称；

步骤2.2：对非结构化数据进行实体或属性抽取操作，该操作旨在从风电机组的故障知识数据抽取出表示实体或属性节点名称的词；

步骤2.3：对非结构化数据进行共指消解操作，该操作旨在将风电机组的故障知识数据中具有相同含义但表述不同的实体或属性进行合并；

步骤2.4：对非结构化数据进行关系抽取操作，该操作基于BERT模型，旨在从风电机组的故障知识数据中判别实体之间是否存在关系以及关系类型；

步骤2.5：整合结构化数据与非结构化数据的处理结果，得到所有包括实体、属性和关系的知识图谱元素，并基于图数据库Neo4j构建出风电知识图谱。

4.按照权利要求3所述的一种融合知识图谱和深度学习的风电机组故障预测方法，其特征在于，步骤2.2中对非结构化数据进行实体或属性抽取操作，包括：首先采用隐马尔可夫模型将风电机组的故障知识数据文本切分成单独的词；然后将切分好的词逐一在风电领域专业术语集中进行检索，将检索到匹配项的词作为风电知识图谱的部分实体或属性节点名称。

5.按照权利要求3所述的一种融合知识图谱和深度学习的风电机组故障预测方法，其特征在于，所述步骤2.3中对非结构化数据进行共指消解操作，包括：首先对词性相同的实体或属性进行分类，形成若干个词性集合；然后使用word2vec算法将每个词性集合中的词表示成指定维度的向量，分别计算词向量之间的余弦值进而判断两个词是否属于同一实体或属性；整理出属于同一实体或属性的词形成若干个同义词集，并将同义词集在风电领域专业术语集中进行检索，将检索到的匹配项的词作为风电知识图谱的部分实体或属性节点名称。

6.按照权利要求3所述的一种融合知识图谱和深度学习的风电机组故障预测方法，其特征在于，所述步骤2.4中对非结构化数据进行关系抽取操作，包括：，首先利用包含一种或多种关系的少量标注语料对BERT模型进行训练；然后抽取预测结果不好的部分样本进行标注，数次迭代后BERT模型训练完成；最后利用训练完成的BERT模型对非结构化数据进行关系抽取。

7.按照权利要求1所述的一种融合知识图谱和深度学习的风电机组故障预测方法，其特征在于，所述步骤三中，建立故障预测模型的具体步骤如下：

步骤3.1：采用TransR嵌入方法对风电知识图谱做预训练，具体包括：对于给定的三元组(h,r,t)，将实体空间中的头实体向量h和尾实体向量t通过矩阵M_r投影到关系r的空间，最终获得风电知识图谱中节点的低维稠密嵌入向量；

步骤3.2：对于风电机组某一系统的一组关键部件C＝{C₁，C₂，...，C_m}，在风电知识图谱所代表的节点的嵌入表示为

通过查阅风电机组的故障日志，得到某一关键部件C_m在过去一段时间产生的故障模式序列F＝{F₁，F₂，...，F_n}，其中该故障模式序列按照时间顺序排列，在风电知识图谱所代表的节点的嵌入表示为

利用故障模式的序列信息预测关键部件C_m未来可能会产生的D个同类故障，该操作通过滑动L+D大小的窗口来实现，每个窗口会产生一个训练实例；

步骤3.3：提取一段时间t₀内的L个故障模式序列的嵌入向量

采用卷积神经网络对其进行处理，该卷积神经网络包括N个卷积核，每个卷积核会对L个故障模式序列的嵌入向量构成的矩阵进行从上到下的卷积运算，运算结果表示为：

其中

为第G次卷积运算的结果；然后对c^K执行最大池化操作，输出结果为：

p＝{max(c¹),max(c²),...,max(c^N)}

步骤3.4：采用注意力机制对L个故障模式序列的嵌入向量构成的矩阵进行处理，利用基于tanh激活函数的前馈神经网络计算矩阵中每个故障模式的嵌入向量对其余故障模式的嵌入向量的注意力分数：

其中，W₁、W₂、b₁为第一层参数，

为第二层参数；通过Softmax函数对上述注意力分数进行归一化，得到最终的注意力权重：

利用所述注意力权重得到一个新的融合表示，如下式所示：

步骤3.5：采用连接策略将卷积层和自注意力层得到的结果相结合，得到L个故障模式序列的最终表示：

其中，W₃、b₂为第一层参数；

为RELU函数；/>

包含了关键部件C_m一段时间内故障模式的信息；

步骤3.6：利用点积运算关键部件C_m的嵌入向量

与L个故障模式序列的最终表示/>

的相似度：

根据相似度矩阵S，得到关键部件C_m级别的注意力向量：

其中，S_i代表相似度矩阵S的第i行向量；

步骤3.7：采用连接策略将关键部件C_m级别的注意力向量与关键部件C_m的嵌入向量

连接，并进行如下变换：

其中，W₄、b₅为第一层参数；σ(x)＝1/(1+e^-x)；P^(m,τ)表示关键部件C_m在未来一段时间τ内可能会产生故障模式

的概率；

步骤3.8：使用二元交叉熵作为故障预测模型的损失函数，如下所示：

其中，TIME_j＝{L+1,L+2,...,n}表示对故障模式进行预测的时间步长；

表示要预测的D个故障模式的嵌入向量的集合；通过P^(m,v)值的大小对预测关键部件C_m未来最大概率可能会产生的故障模式，P^(m,v)值越大代表该故障模式最有可能产生。/>

Images