CN115617990A - 基于深度学习算法的电力设备缺陷短文本分类方法和系统 - Google Patents
基于深度学习算法的电力设备缺陷短文本分类方法和系统 Download PDFInfo
- Publication number
- CN115617990A CN115617990A CN202211191939.1A CN202211191939A CN115617990A CN 115617990 A CN115617990 A CN 115617990A CN 202211191939 A CN202211191939 A CN 202211191939A CN 115617990 A CN115617990 A CN 115617990A
- Authority
- CN
- China
- Prior art keywords
- training
- family
- semantic
- feature vectors
- power equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度学习算法的电力设备缺陷短文本的分类方法和系统,其中分类方法具体包括:对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示,获取实施语义特征向量;将预训练家族特征矩阵和实施语义特征向量进行线性变换后,输入至改进的多头注意力模块进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和语义特征向量的隐藏特征,得到转换后的特征向量;基于Softmax分类函数,对转换后的特征向量进行平均池化和非线性激活,确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果;实现对人工录入的不规则的缺陷描述进行标准化分类,同时提高分类的准确度。
Description
技术领域
本发明涉及电力设备缺陷短文本的分类领域,特别涉及一种基于深度学习算法的电力设备缺陷短文本分类方法和系统。
背景技术
随着物理设备与信息系统的互联互通及各地电网生产设备全生命周期管理系统的广泛应用,在电力设备运维检修领域积累了大量的设备缺陷记录,目前相关的缺陷记录主要依靠人工的方式在系统进行录入。通常来说,人工录入的缺陷描述文本不超50个字,尽管电网企业已建立了一套标准的电力设备缺陷文本描述库,但不同运维人员对录入的缺陷表述不一,同一缺陷不同人员描述可能存在较大偏差,使后续检修人员无法根据缺陷描述准确定位问题和提供缺陷处理手段,延误了缺陷处理时间。
尽管当前已有学者利用基于机器学习的组合算法开展缺陷文本的分类研究,然而仍存在以下的不足:
(1)在对缺陷文本数据处理的方法方面,之前提出的大多数方案需要在前期对训练文本进行分词、去停用词等预处理过程,将缺陷文本拆分为不同的词组进入向量化表示后再输入分类器,这种方法尽管可以在一定程度上针对特定领域的知识提高分类的精度,但由于前期文本预处理工作量较大,不仅增加模型处理时间及增加模型累计误差,模型的普遍适用性也有待提高。
申请号为CN202210026653.1的发明专利提出了《一种基于组合算法的电力设备缺陷文本特征的分类方法》,该技术方案采用jieba分词、建立词典和停用词表等对缺陷文本进行了预处理操作;
申请号为CN201810355793.7的发明专利提出了《一种基于TensorFlow框架的电力设备缺陷文本处理方法》,其技术方案采用中科院的开源分词系统ICTCLAS5.0对文本进行分词处理;
申请号为CN202010430653.9的发明专利提出了一种《一种基于特征扩展的Bert电网缺陷文本分类方法》,其技术方案虽然未采用分词、去停用词方法进行预处理,但其采用k-means聚类方法对文本特征进行了预处理。
(2)在分类的结果方面,之前提出的大多数方案仅按照缺陷等级进行分类,即分类为一般、重大、紧急三种类型,分类的种类较少,如CN108596470A、CN114372464A。本专利适用于现实场景下,具备对多种典型的缺陷类型进行分类的能力,如分类为颜色异常、温度异常、元器件故障、腐蚀、渗漏等。
发明内容
本发明为了克服以上技术的不足,提供了一种基于深度学习算法的电力设备缺陷短文本的分类方法和系统,采用归纳式学习方法,独创的提出了家族特征融合模型和改进的多头注意力模型,通过运用语义表示模块、家族特征融合模块、改进的多头注意力模块和Softmax分类器模块,在训练阶段融合每种类别的历史家族特征,实现在实施阶段对输入文本提高短文本分类的准确度,从而规范人工录入的缺陷描述。
本发明克服其技术问题所采用的技术方案是:
本申请的第一个方面提出了一种基于深度学习算法的电力设备缺陷短文本的分类方法,至少包括实施阶段,具体包括:对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示,从而获取对应描述不规则的电力设备缺陷短文本的一组实施语义特征向量;将两组相同的预训练家族特征矩阵和一组实施语义特征向量进行线性变换后,输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和语义特征向量的隐藏特征,得到转换后的特征向量;基于Softmax分类函数,对转换后的特征向量进行平均池化和非线性激活,确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
进一步的,还包括模型训练阶段,从而获得所述预训练家族特征矩阵,具体包括:将第一轮用于训练的短文本基于Bert算法进行语义表示,从而获取对应用于训练的短文本的第一轮的一组训练语义特征向量;基于全连接层对所述一组训练语义特征向量进行增维得到增维语义特征向量;通过对增维语义特征向量与第一家族特征矩阵进行平均池化,将平均池化后含有所述增维语义特征向量对应的信息,作为一种历史信息融入到第一家族特征矩阵中;基于全连接层对融入历史信息的第一家族特征矩阵进行降维,从而形成第二家族特征矩阵,用于下一轮训练,作为下一轮训练的第一家族特征矩阵;若本轮训练为最后一轮,则将第二家族特征矩阵作为预训练家族特征矩阵。
根据训练阶段短文本的历史信息,有效利用同类文本特征,利用训练样本不断强化家族特征信息,更新家族特征矩阵,从而增强整体系统的学习能力。
进一步的,所述模型训练阶段还包括更新模型参数,具体包括:将两组相同的第一家族特征矩阵和第一轮的一组训练语义特征向量进行变换后,输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,提取第一家族特征矩阵和第一轮的一组训练语义特征向量的隐藏特征,得到转换后的特征向量;基于Softmax分类函数,将转换后的特征向量经过平均池化和非线性激活,获取对应不同类别的损失函数并取其最优值,从而确定第一轮用于训练的短文本对应某一种标准化描述的缺陷类型的最佳匹配结果;基于反向传播算法,对模型训练阶段的参数进行更新,并将更新后的参数用于第二轮训练;重复上述训练过程,直至第一轮训练为最后一轮模型训练阶段,则更新后的参数用于实施阶段。
进一步的,首轮训练用的第一家族特征矩阵为随机生成矩阵。
进一步的,所述输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,具体包括:将两组相同的家族特征矩阵和一组语义特征向量进行线性变换后,输入至改进的多头注意力模块,得到与家族特征矩阵及一组语义特征向量的隐含类别特征;将隐含类别特征与线性变换后的语义特征向量进行残差连接;将残差连接和加性注意力预设权重矩阵进行若干次拼接后得到向量,作为所述转换后的特征向量,输出至Softmax分类器模块。
利用改进的多头注意力机制,使含有同类历史文本语义信息的家族特征融入语义表达,增强语义类别特征,将有助于消除类别决策边界模糊的缺点,提高分离超平面的分类效果。
进一步的,模型训练阶段更新的参数至少包括,反向传播算法更新训练过程的参数,至少包括全连接层的参数,Bert算法的参数和加性注意力权重矩阵的参数。
本发明的另一个方面提出了一种基于深度学习算法的电力设备缺陷短文本的分类系统,至少包括耦接的语义表示模块,家族特征融合模块,改进的多头注意力模块和Softmax分类器模块,所述语义表示模块基于Bert算法模型,用于对输入的电力设备缺陷短文本提取语义特征向量,分别输出至家族特征融合模块和改进的多头注意力模块;所述家族特征融合模块用于提供预训练家族特征矩阵至改进的多头注意力模块;所述改进的多头注意力模块用于将两组相同的家族特征矩阵和一组语义特征向量作为输入量,进行加性注意力机制、残差连接、拼接以及线性变换运算,提取家族特征矩阵和语义特征向量的隐藏特征,从而得到转换后的特征向量输出至Softmax分类器模块;所述Softmax分类器模块将输入的转换后的特征向量进行平均池化和非线性激活,从而确定电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
进一步的,所述改进的多头注意力模块至少包括加性注意力单元,所述改进的多头注意力模块用于将语义特征向量和家族特征矩阵进行线性变换,输入到加性注意力单元;所述加性注意力单元用于进行注意力机制运算;所述改进的多头注意力模块还用于将隐含类别特征与线性变换后的语义特征进行残差连接,以及,基于残差连接和加性注意力权重矩阵经过拼接和线性变换,得到转换后的特征向量。
把传统的缩放点乘注意力scale-dot product attention单元改为加性注意力additive attention单元,并且增加了残差链接,缓解梯度消失,加快模型收敛速度,增加了模型的学习能力,提高了算法精度。
本发明的有益效果是:
1、通过归纳式学习方法,融合每种类别的历史家族特征,实现对输入文本增强语义表示,从而提高短文本分类的准确度;
2、直接将电力设备缺陷短文本送入Bert模型中进行语义表示,得到语义特征向量,未另外对短文本进行复杂的预处理;
3、独创提出了家族特征融合算法模型,根据训练阶段短文本的历史信息,有效利用同类文本特征,利用训练样本不断强化家族特征信息,更新家族特征矩阵,从而增强整体系统的学习能力;
4、基于多头注意力机制,使含有同类历史文本语义信息的家族特征融入语义表达,增强语义类别特征,将有助于消除类别决策边界模糊的缺点,提高分离超平面的分类效果;
5、独创提出了改进的多头注意力模型,把传统的缩放点乘注意力scale-dotproduct attention单元改为加性注意力additive attention单元,并且增加了残差链接,缓解梯度消失,加快模型收敛速度,增加了模型的学习能力,提高了算法精度;
6、从应用效果上来说,减少了预处理的时间,提高了算法速度,并实现对人工录入的不规则的缺陷描述分类,表示为标准化的缺陷类型,提高设备缺陷处理的效率及标准化、智能化水平,同时为后续开展故障分析、设备状态评价、辅助决策等研究奠定了基础;
7、不仅适用于专用的电力设备缺陷文本,该方法也适用于一些通用的中英文数据集;在对通用的中英文短文本数据集进行分类场景中,取得了较好的分类准确度且具有较好的鲁棒性以及普适性,同时能够扩展应用于具有一定口语化且文本稀疏性高的电力行业其他工作场景。
附图说明
图1为本发明实施例的深度学习算法的电力设备缺陷短文本的分类方法流程示意图;
图2为缺陷描述和缺陷类型示例;
图3为本发明实施例的改进的多头注意力模块的原理示意图;
图4为本发明实施例的模型训练过程的流程示意图;
图5为本发明实施例的获得预训练家族特征矩阵的原理示意图;
图6为本发明实施例的深度学习算法的电力设备缺陷短文本的分类系统原理框图;
图7为通用的中文文本数据集本模型与部分传统模型的性能对比示意图;
图8为通用的英文文本数据集本模型与部分传统模型的性能对比示意图。
具体实施方式
为了进一步理解本发明,首先对本发明提到的部分术语进行解释:
Bert算法:Bidirectional Encoder Representation from Transformers,基于Transformers的双向编码表示算法;
Averaging:平均池化;
Concat:拼接;
Addition:残差连接;
Additive Attention:加性注意力算法;
Linear layer:线性层;
Linear:线性变换;
Softmax:归一化指数函数;
FC:Fully Connected Layer,全连接层;
Bert-TriF:本文所述的基于深度学习算法的电力设备缺陷短文本分类方法
为了便于本领域人员更好的理解本发明,下面结合附图和具体实施例对本发明做进一步详细说明,下述仅是示例性的不限定本发明的保护范围。
如图1所示,本实施例所述的深度学习算法的电力设备缺陷短文本的分类方法的实施阶段的流程示意图,至少包括以下步骤。
S1,对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示,从而获取对应描述不规则的电力设备缺陷短文本的一组实施语义特征向量。
如图2所示的缺陷描述,为人工录入的描述不规则的电力设备缺陷短文本,由于不同人员的描述方式不一致,因此电力缺陷短文本的描述差别很大。
S2,将预训练家族特征矩阵和实施语义特征向量进行线性变换后,输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和语义特征向量的隐藏特征,得到转换后的特征向量;
在本发明的一个实施例中,将两组相同的预训练家族特征矩阵Fm和一组实施语义特征向量xm进行线性变换,作为三组向量输入到加性注意力单元。如图3所示,将V、K、Q输入至改进的多头注意力模块中,进行转换处理,其中,V指实施语义特征向量xm,K与Q为预训练家族特征矩阵Fm。
基于加性注意力机制,从预设家族特征矩阵中提取与实施语义特征向量相关的隐含类别特征fh,具体公式如(1)所示。
S3,基于Softmax分类函数,对转换后的特征向量进行平均池化和非线性激活,确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
其中,softmax(xi)=exp(xi)/∑jexp(xj)。
本发明提出的一种基于深度学习算法的电力设备缺陷短文本的分类方法,还包括模型训练阶段,其中,模型训练阶段中获得预训练家族特征矩阵的流程示意如图4所示。原理示意图如图5所示。
S1',将第一轮用于训练的短文本基于Bert算法进行语义表示,从而获取对应用于训练的短文本的第一轮的一组训练语义特征向量。
S2',基于全连接层对一组训练语义特征向量进行增维得到增维语义特征向量。
xh=LeakyReLU(Whxm+bh) (5)
S3',通过对增维语义特征向量与第一家族特征矩阵进行平均池化,将平均池化后含有所述增维语义特征向量对应的信息,作为一种历史信息融入到第一家族特征矩阵中。
记第一家族特征矩阵为初始化为零矩阵其中,N为文本类别数量,每一列为第n类文本家族特征。通过对增维语义特征向量与相应类别家族特征进行平均池化,将最新类别信息融入第一轮家族历史特征矩阵,得到更新后的家族特征矩阵fn′。
S4',基于全连接层对融入历史信息的第一家族特征矩阵fn′进行降维,从而形成第二家族特征矩阵,用于下一轮训练,若本轮训练为最后一轮,则将第二家族特征矩阵作为预训练家族特征矩阵。
Fm=LeakyReLU(WmF+Bm), (6)
在本发明的一个实施例中,首轮训练用的第一家族特征矩阵为随机生成矩阵。
需要说明的是,第一家族特征矩阵并不特指首次进行训练的矩阵。为了方便对于训练过程进行描述,因此第一家族特征矩阵为一轮模型训练中所应用的基准家族特征矩阵,第二家族特征矩阵为对应本轮模型训练得到的家族特征矩阵。重复模型训练过程,如果本轮训练为最后一轮模型训练过程,则将得到的第二家族特征矩阵作为预训练家族特征矩阵。
对于模型训练过程,还包括更新模型参数过程,如图4所示,具体包括:
S5',将两组相同的第一家族特征矩阵和第一轮的一组训练语义特征向量进行线性变换后,输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,提取第一家族特征矩阵和第一轮的一组训练语义特征向量的隐藏特征,得到转换后的特征向量。
在本发明的一个实施例中,本步骤计算过程可如步骤S2中的计算过程一致。
S6',基于Softmax分类函数,将转换后的特征向量经过平均池化和非线性激活,获取对应不同类别的损失函数并取其最优值,从而确定第一轮用于训练的短文本对应某一种标准化描述的缺陷类型的最佳匹配结果;
在本发明的一个实施例中,本步骤计算过程可如步骤S3中的计算过程一致。
S7',基于反向传播算法,对模型训练阶段的参数进行更新,并将更新后的参数用于第二轮训练。
其中,基于反向传播算法对模型训练阶段的参数进行更新,更新训练过程的参数,至少包括全连接层的参数,Bert算法的参数和加性注意力权重矩阵的参数。参数更新后参与模型训练阶段获得所述预训练家族特征矩阵的过程。
S8',重复上述训练过程,直至第一轮训练为最后一轮模型训练阶段,则更新后的参数用于实施阶段。
在本发明的一个实施例中,参数设置如下。
Bert算法采用Google提供的Bert-Base预训练模型,其中,网络结构层数L=12,隐藏层维数H=dm=768,自注意力机制头数A=12,参数达到110M。在家族特征融合模块中,增维语义特征向量维度dh置为1024。在改进的多头注意力模块中,特征变换维度dl置为512,平行堆叠的注意力层数ha=6,ELU激活函数的负半平面参数置为1,即
此外,模型学习率初始化为1e-4,每批训练集的数据量为128,共有hf=6个家族特征融合模块与对应的改进多头注意力模块平行堆叠,其中,LeakyRELU激活函数的负半平面参数置为0.2,即
本发明的另一个方面还提出了一种基于深度学习算法的电力设备缺陷短文本的分类系统,用于运行上述基于深度学习算法的电力设备缺陷短文本的分类方法,如图6所示为其原理示意图。至少包括耦接的语义表示模块,家族特征融合模块,改进的多头注意力模块和Softmax分类器模块,其中,语义表示模块基于Bert算法模型,用于对输入的电力设备缺陷短文本提取语义特征向量,分别输出至家族特征融合模块和改进的多头注意力模块;家族特征融合模块用于提供预训练家族特征矩阵至改进的多头注意力模块;改进的多头注意力模块用于将两组相同的家族特征矩阵和一组语义特征向量作为输入量,进行加性注意力机制、残差连接、拼接以及线性变换运算,提取家族特征矩阵和语义特征向量的隐藏特征,从而得到转换后的特征向量输出至Softmax分类器模块;Softmax分类器模块将输入的转换后的特征向量进行平均池化和非线性激活,从而确定电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
其中,改进的多头注意力模块至少包括加性注意力单元,改进的多头注意力模块用于将语义特征向量和家族特征矩阵进行线性变换,输入到加性注意力单元;加性注意力单元用于进行注意力机制运算;改进的多头注意力模块还用于将隐含类别特征与线性变换后的语义特征进行残差连接,以及,基于残差连接和加性注意力权重矩阵经过拼接和线性变换,得到转换后的特征向量。
如图7和图8所示,为本申请的基于深度学习组合算法的电力设备缺陷短文本的分类方法和系统,与其他模型的性能对比图,图7是对于通用的中文文本数据集本模型与部分传统模型的性能对比示意,图8是对于通用的英文文本数据集本模型与部分传统模型的性能对比示意。因此,本申请除适用于专用的电力设备缺陷文本以外,也适用于一些通用的中英文数据集;二是在对通用的中英文短文本数据集进行分类实验中,与一些传统的模型进行对比,取得了较好的分类准确度,同时验证模型具有较好的鲁棒性以及普适性,能够应用于具有一定口语化且文本稀疏性高的电力运检场景,构建一种基于Bert与家族特征融合算法的电力设备缺陷短文本分类方法和系统,减少了预处理的时间,提高了算法速度。同时也实现对人工录入的不规则的缺陷描述分类,表示为标准化的缺陷类型,提高设备缺陷处理的效率及标准化、智能化水平,同时为后续开展故障分析、设备状态评价、辅助决策等研究奠定了基础。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
Claims (8)
1.一种基于深度学习算法的电力设备缺陷短文本的分类方法,其特征在于,至少包括实施阶段,具体包括:
对描述不规则的电力设备缺陷短文本基于Bert算法进行语义表示,从而获取对应描述不规则的电力设备缺陷短文本的一组实施语义特征向量;
将两组相同的预训练家族特征矩阵和一组实施语义特征向量进行线性变换后,输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,从而提取预训练家族特征矩阵和语义特征向量的隐藏特征,得到转换后的特征向量;
基于Softmax分类函数,对转换后的特征向量进行平均池化和非线性激活,确定描述不规则的电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
2.根据权利要求1所述的基于深度学习算法的电力设备缺陷短文本的分类方法,其特征在于,还包括模型训练阶段,从而获得所述预训练家族特征矩阵,具体包括:
将第一轮用于训练的短文本基于Bert算法进行语义表示,从而获取对应用于训练的短文本的第一轮的一组训练语义特征向量;
基于全连接层对所述一组训练语义特征向量进行增维得到增维语义特征向量;
通过对增维语义特征向量与第一家族特征矩阵进行平均池化,将平均池化后含有所述增维语义特征向量对应的信息,作为一种历史信息融入到第一家族特征矩阵中;
基于全连接层对融入历史信息的第一家族特征矩阵进行降维,从而形成第二家族特征矩阵,用于下一轮训练,作为下一轮训练的第一家族特征矩阵;
若本轮训练为最后一轮,则将第二家族特征矩阵作为预训练家族特征矩阵。
3.根据权利要求2所述的基于深度学习算法的电力设备缺陷短文本的分类方法,其特征在于,所述模型训练阶段还包括更新模型参数,具体包括:
将两组相同的第一家族特征矩阵和第一轮的一组训练语义特征向量进行变换后,输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,提取第一家族特征矩阵和第一轮的一组训练语义特征向量的隐藏特征,得到转换后的特征向量;
基于Softmax分类函数,将转换后的特征向量经过平均池化和非线性激活,获取对应不同类别的损失函数并取其最优值,从而确定第一轮用于训练的短文本对应某一种标准化描述的缺陷类型的最佳匹配结果;
基于反向传播算法,对模型训练阶段的参数进行更新,并将更新后的参数用于第二轮训练;
重复上述训练过程,直至第一轮训练为最后一轮模型训练阶段,则更新后的参数用于实施阶段。
4.根据权利要求2所述的基于深度学习算法的电力设备缺陷短文本的分类方法,其特征在于,首轮训练用的第一家族特征矩阵为随机生成矩阵。
5.根据权利要求1-4任一项所述的基于深度学习算法的电力设备缺陷短文本的分类方法,其特征在于,所述输入至改进的多头注意力模块,至少进行加性注意力机制、残差连接、拼接以及线性变换运算,具体包括:
将两组相同的家族特征矩阵和一组语义特征向量进行线性变换后,输入至改进的多头注意力模块,得到与家族特征矩阵及一组语义特征向量的隐含类别特征;
将隐含类别特征与线性变换后的语义特征向量进行残差连接;
将残差连接和加性注意力预设权重矩阵进行若干次拼接后得到向量,作为所述转换后的特征向量,输出至Softmax分类器模块。
6.根据权利要求3所述的基于深度学习算法的电力设备缺陷短文本的分类方法,其特征在于,模型训练阶段更新的参数至少包括,反向传播算法更新训练过程的参数,至少包括全连接层的参数,Bert算法的参数和加性注意力权重矩阵的参数。
7.一种基于深度学习算法的电力设备缺陷短文本的分类系统,其特征在于,至少包括耦接的语义表示模块,家族特征融合模块,改进的多头注意力模块和Softmax分类器模块,
所述语义表示模块基于Bert算法模型,用于对输入的电力设备缺陷短文本提取语义特征向量,分别输出至家族特征融合模块和改进的多头注意力模块;
所述家族特征融合模块用于提供预训练家族特征矩阵至改进的多头注意力模块;
所述改进的多头注意力模块用于将两组相同的家族特征矩阵和一组语义特征向量作为输入量,进行加性注意力机制、残差连接、拼接以及线性变换运算,提取家族特征矩阵和语义特征向量的隐藏特征,从而得到转换后的特征向量输出至Softmax分类器模块;
所述Softmax分类器模块将输入的转换后的特征向量进行平均池化和非线性激活,从而确定电力设备缺陷短文本对应某一种标准化描述的缺陷类型的最佳匹配结果。
8.根据权利要求7所述的基于深度学习算法的电力设备缺陷短文本的分类系统,其特征在于,所述改进的多头注意力模块至少包括加性注意力单元,
所述改进的多头注意力模块用于将语义特征向量和家族特征矩阵进行线性变换,输入到加性注意力单元;
所述加性注意力单元用于进行注意力机制运算;
所述改进的多头注意力模块还用于将隐含类别特征与线性变换后的语义特征进行残差连接,以及,基于残差连接和加性注意力权重矩阵经过拼接和线性变换,得到转换后的特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211191939.1A CN115617990B (zh) | 2022-09-28 | 2022-09-28 | 基于深度学习算法的电力设备缺陷短文本分类方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211191939.1A CN115617990B (zh) | 2022-09-28 | 2022-09-28 | 基于深度学习算法的电力设备缺陷短文本分类方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115617990A true CN115617990A (zh) | 2023-01-17 |
CN115617990B CN115617990B (zh) | 2023-09-05 |
Family
ID=84860879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211191939.1A Active CN115617990B (zh) | 2022-09-28 | 2022-09-28 | 基于深度学习算法的电力设备缺陷短文本分类方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115617990B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116775871A (zh) * | 2023-06-15 | 2023-09-19 | 南京航空航天大学 | 基于seBERT预训练模型的深度学习软件缺陷报告分类方法 |
CN117435933A (zh) * | 2023-12-22 | 2024-01-23 | 浙江大学 | 融合预训练语言模型和图谱的变压器设备健康度评价方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866117A (zh) * | 2019-10-25 | 2020-03-06 | 西安交通大学 | 一种基于语义增强与多层次标签嵌入的短文本分类方法 |
CN110895565A (zh) * | 2019-11-29 | 2020-03-20 | 国网湖南省电力有限公司 | 一种电力设备故障缺陷文本分类方法与系统 |
CN112199496A (zh) * | 2020-08-05 | 2021-01-08 | 广西大学 | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 |
CN112528668A (zh) * | 2020-11-27 | 2021-03-19 | 湖北大学 | 深层情感语义识别方法、系统、介质、计算机设备及终端 |
US20210232766A1 (en) * | 2020-01-27 | 2021-07-29 | Walmart Apollo, Llc | Systems and Methods for Short Text Identification |
CN113239690A (zh) * | 2021-03-24 | 2021-08-10 | 浙江工业大学 | 基于Bert与全连接神经网络融合的中文文本意图识别方法 |
CN113239700A (zh) * | 2021-04-27 | 2021-08-10 | 哈尔滨理工大学 | 改进bert的文本语义匹配设备、系统、方法及存储介质 |
CN113987188A (zh) * | 2021-11-10 | 2022-01-28 | 重庆邮电大学 | 一种短文本分类方法、装置及电子设备 |
-
2022
- 2022-09-28 CN CN202211191939.1A patent/CN115617990B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866117A (zh) * | 2019-10-25 | 2020-03-06 | 西安交通大学 | 一种基于语义增强与多层次标签嵌入的短文本分类方法 |
CN110895565A (zh) * | 2019-11-29 | 2020-03-20 | 国网湖南省电力有限公司 | 一种电力设备故障缺陷文本分类方法与系统 |
US20210232766A1 (en) * | 2020-01-27 | 2021-07-29 | Walmart Apollo, Llc | Systems and Methods for Short Text Identification |
CN112199496A (zh) * | 2020-08-05 | 2021-01-08 | 广西大学 | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 |
CN112528668A (zh) * | 2020-11-27 | 2021-03-19 | 湖北大学 | 深层情感语义识别方法、系统、介质、计算机设备及终端 |
CN113239690A (zh) * | 2021-03-24 | 2021-08-10 | 浙江工业大学 | 基于Bert与全连接神经网络融合的中文文本意图识别方法 |
CN113239700A (zh) * | 2021-04-27 | 2021-08-10 | 哈尔滨理工大学 | 改进bert的文本语义匹配设备、系统、方法及存储介质 |
CN113987188A (zh) * | 2021-11-10 | 2022-01-28 | 重庆邮电大学 | 一种短文本分类方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
DONGXUE BAO等: "Short Text Classification Model Based on BERT and Fusion Network", 《CSAI \'21: PROCEEDINGS OF THE 2021 5TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND ARTIFICIAL INTELLIGENCEDECEMBER 2021》 * |
谢乐: "基于数据挖掘的电容型设备缺陷文本研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116775871A (zh) * | 2023-06-15 | 2023-09-19 | 南京航空航天大学 | 基于seBERT预训练模型的深度学习软件缺陷报告分类方法 |
CN117435933A (zh) * | 2023-12-22 | 2024-01-23 | 浙江大学 | 融合预训练语言模型和图谱的变压器设备健康度评价方法 |
CN117435933B (zh) * | 2023-12-22 | 2024-04-16 | 浙江大学 | 融合预训练语言模型和图谱的变压器设备健康度评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115617990B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115617990A (zh) | 基于深度学习算法的电力设备缺陷短文本分类方法和系统 | |
CN111488459B (zh) | 一种基于关键词的产品分类方法 | |
CN113312501A (zh) | 基于知识图谱的安全知识自助查询系统的构建方法及装置 | |
CN112883197B (zh) | 一种用于封闭开关设备的知识图谱构建方法与系统 | |
CN111767397A (zh) | 一种电力系统二次设备故障短文本数据分类方法 | |
CN114818703B (zh) | 基于BERT语言模型和TextCNN模型的多意图识别方法及系统 | |
CN111460097B (zh) | 一种基于tpn的小样本文本分类方法 | |
CN112199496A (zh) | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 | |
CN113255366A (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN113672726A (zh) | 一种基于重采样的多轮对话分类方法 | |
CN116662565A (zh) | 基于对比学习预训练的异质信息网络关键词生成方法 | |
CN115687609A (zh) | 一种基于Prompt多模板融合的零样本关系抽取方法 | |
CN113392191B (zh) | 一种基于多维度语义联合学习的文本匹配方法和装置 | |
CN117852541A (zh) | 一种实体关系三元组抽取方法、系统及计算机设备 | |
CN113742396A (zh) | 一种对象学习行为模式的挖掘方法及装置 | |
CN116186562B (zh) | 基于编码器的长文本匹配方法 | |
CN116186350B (zh) | 基于知识图谱和主题文本的输电线路工程搜索方法和装置 | |
CN111460817A (zh) | 一种刑事法律文书相关法条的推荐方法和系统 | |
CN113342982B (zh) | 融合RoBERTa和外部知识库的企业行业分类方法 | |
CN115357718A (zh) | 主题集成服务重复材料发现方法、系统、设备和存储介质 | |
CN114064888A (zh) | 一种基于bert-cnn的金融文本分类方法及系统 | |
CN114610882A (zh) | 一种基于电力短文本分类的异常设备编码检测方法和系统 | |
CN113487194B (zh) | 一种基于文本分类的电力系统调度员等级评估系统 | |
CN116578611B (zh) | 一种孕育知识的知识管理方法和系统 | |
CN118194964A (zh) | 基于半监督元伪标签学习法的小样本事件的数据增广方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |