CN111651603A - 一种基于lav参数微调的电力工单层次文本分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于LAV参数微调的电力工单层次文本分类方法及系统，包括，利用注意力机制对文本特征向量分配不同的注意力权重并进行加权求和，获得标签特征向量；结合全连接神经网络和sigmoid函数计算标签特征向量的分类概率，输出分类预测结果；基于交叉熵构建损失函数训练文本特征向量、标签特征向量及分类概率；将训练完成的上层标签的标签特征向量的参数值作为下层标签的标签特征向量的初始值，对其进行训练微调，直至完成标签结构中全部的标签注意力向量训练，得到与其对应的分类结果。本发明通过参数微调改善下层标签因训练文本数据太少导致的分类效果较差的问题，实现了对层次结构标签电力工单文本的快速、准确分类。

Description

一种基于LAV参数微调的电力工单层次文本分类方法及系统

技术领域

本发明涉及计算机自然语言文本分类的技术领域，尤其涉及一种基于LAV参数微调的电力工单层次文本分类方法及系统。

背景技术

通过文本分类技术实现电力工单的自动分类可加快电力工单的处理效率,有利于电力客户诉求的及时处理，从而提高客户对电力公司的满意度。电力工单的类别标签具有树形的层次结构，树中的父类标签与子类标签有依赖关系。例如：“低压架空线路故障”、“低压电缆线路故障”、“低压设备故障”，这三个标签有一个共同的父标签“低压故障”；而在“低压设备故障”这个标签下又有“熔断器故障”、“隔离开关故障”、“漏电保护器故障”、“断路器故障”等多个子标签。在分类时，属于某子标签的电力工单必然也同时属于其父标签。层次分类的这一特点，会造成层次结构中靠近根结点的上层标签如“低压故障”训练文本数据充足，而下层标签如“断路器故障”训练文本数据缺乏。机器学习方法需要大量的标记数据作为模型的训练数据。如果训练数据不足将直接导致不良的测试结果。现有的电力工单分类方法，因未考虑类别标签之间的层次结构，从而受到树形层次结构中下层标签训练文本数据不足的影响，分类效果并不理想。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种基于LAV参数微调的电力工单层次文本分类方法及系统，能够提高下层标签分类效果。

为解决上述技术问题，本发明提供如下技术方案：包括，利用注意力机制对文本特征向量分配不同的注意力权重并进行加权求和，获得标签特征向量；结合全连接神经网络和sigmoid函数计算所述标签特征向量的分类概率，输出分类预测结果；基于交叉熵构建损失函数训练所述文本特征向量、所述标签特征向量及所述分类概率；将训练完成的上层标签的所述标签特征向量的参数值作为下层标签的所述标签特征向量的初始值，对其进行训练微调，直至完成标签结构中全部的所述标签注意力向量训练，得到与其对应的分类结果。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类方法的一种优选方案，其中：获得所述文本特征向量，包括，将待分类的电力工单文本进行分词以获得词序列；依次转换所述词序列中每个词的语义信息对应成为词向量，集成词向量矩阵；将所述词向量矩阵输入卷积神经网络中，利用卷积窗口矩阵提取所述文本特征向量。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类方法的一种优选方案，其中：获得所述标签特征向量包括，对类别标签层次结构中第一层的每个标签创建标签注意向量并随机初始化；利用所述注意力机制为所述文本特征向量分配不同的所述注意力权重；对每个所述文本特征向量与所述注意力权重进行加权求和，得到所述标签特征向量；最终获得与所述标签层次结构中第一层的所有标签相对应的所述标签特征向量。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类方法的一种优选方案，其中：计算所述分类概率包括，将所述标签特征向量连接全连接神经网络；利用所述sigmoid函数计算所述全连接网络的输出，得到每个所述标签的所述分类概率；根据所述分类概率输出所述分类预测结果。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类方法的一种优选方案，其中：进行所述训练微调，具体包括，将所述标签分类预测结果与所述待分类电力工单文本的真实类别标签作为所述交叉熵，计算损失函数值；利用Adam梯度下降最小化优化所述损伤函数值；训练、更新、微调所述文本特征向量、所述标签特征向量及所述分类概率。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类方法的一种优选方案，其中：所述微调包括，将第一层标签的所述标签注意力向量的参数作为初始值赋给第二层中的子标签；对其进行训练微调，待所述损伤函数收敛后，将第二层标签的所述标签注意力向量参数作为所述初始值赋给第三层中的子标签；对其进行训练微调，最终完成三层标签结构中全部的所述标签注意力向量的训练，得到与其对应的所述分类结果。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类方法的一种优选方案，其中：所述第一层标签包括，低压故障、客户内部故障、电能质量故障、计量故障、非电力故障、高压故障；所述第二层标签包括，低压架空线路、低压设备、居民客户内部故障、非居民客户内部故障、电压、客户误报、紧急消缺、变压器；所述第三层标签包括，电缆本体、导线、连接线、设备台架、电缆保护管、接线端子、标签开关、隔离开关。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类方法的一种优选方案，其中：获得所述词序列，具体包括，将待分类的所述电力供电文本进行分词，得到所述词序列；定义每个所述词序列中有n个词，且所述n是预先设定的序列长度，若文本词数超过所述n，则多余的部分将被剔除；若所述文本词数不满足所述n，则自动填充占位符。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类系统的一种优选方案，其中：包括，采集模块，用于获取待分类的所述电力工单文本信息，收集各类特征向量参数构建数据集；数据处理中心模块，用于接收、计算、存储、输出待处理的向量参数和权重数据，其包括运算单元、数据库和输入输出管理单元，所述运算单元与所述采集模块相连接，用于接收所述采集模块获取的特征向量信息，对其进行特征提取及加权求和运算，所述数据库连接于各个模块，用于存储接收的所有数据信息，为所述数据处理中心模块提供调配供应服务，所述输入输出管理单元用于接收各个模块的信息并输出所述运算单元的运算结果。

作为本发明所述的一种基于LAV参数微调的电力工单层次文本分类系统的一种优选方案，其中：还包括，分类模块连接于所述数据处理中心模块，其用于对所述运算结果进行分类，所述分类模块包括分析单元和校对单元，所述分析单元用于接收所述运算结果，调用分析处理策略依次判断所述采集模块采集的数据信息与所述运算结果的吻合度，得到初步分析结果后传输至所述校对单元进行验证；所述校对单元获取所述数据库内存储的数据信息，将其与所述初步分析结果进行对比，得到最终的分析验证结果并输出，形成所述分类结果。

本发明的有益效果：本发明引入神经网络注意力机制，利用标签注意力向量获取每个标签的标签特征向量，并结合父类标签与子类标签的依赖关系，在训练完类别标签层次结构中上层标签的标签注意力向量后，将其参数值作为初始值赋给下层的子类标签的标签注意力向量，并通过参数微调改善下层标签因训练文本数据太少导致的分类效果较差的问题，实现了对层次结构标签电力工单文本的快速、准确分类。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的一种基于LAV参数微调的电力工单层次文本分类方法的流程示意图；

图2为本发明第一个实施例所述的一种基于LAV参数微调的电力工单层次文本分类方法的类别标签层次结构示意图；

图3为本发明第一个实施例所述的一种基于LAV参数微调的电力工单层次文本分类方法的分类算法整体框架示意图；

图4为本发明第二个实施例所述的一种基于LAV参数微调的电力工单层次文本分类系统的模块结构分布示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

在电力工单层次文本分类中，类别标签层次结构中的下层标签因训练文本数据不足而导致分类效果并不佳，若能利用上下层之间的依赖关系，将上层标签对模型的训练结果应用到下层标签的分类训练，则会对下层标签的分类效果提高有所帮助；本发明针对上述问题提出了一种基于标签注意力向量参数微调的电力工单层次文本分类方法，其原理是先训练上层标签的标签注意力向量，然后将其参数值作为初始值赋给下层的子类标签的标签注意力向量，并通过参数微调提高下层标签的分类效果。

具体的，参照图1～图3，为本发明的第一个实施例，该实施例提供了一种基于LAV参数微调的电力工单层次文本分类方法，包括：

S1：利用注意力机制对文本特征向量分配不同的注意力权重并进行加权求和，获得标签特征向量。其中需要说明的是，获得标签特征向量包括：

对类别标签层次结构中第一层的每个标签创建标签注意向量并随机初始化；

利用注意力机制为文本特征向量分配不同的注意力权重，如下，

其中，a_i：标签i的标签注意向量，α_ij：分配给文本特征向量c_j的注意权重；

对每个文本特征向量与注意力权重进行加权求和，得到标签特征向量，如下，

最终获得与标签层次结构中第一层的所有标签相对应的标签特征向量l_i。

具体的，获得文本特征向量，包括：

将待分类的电力工单文本进行分词以获得词序列；

依次转换词序列中每个词的语义信息对应成为词向量e_t，集成词向量矩阵E＝[e₁,e₂……e_n],t为词序列中的序列号；

将词向量矩阵E输入卷积神经网络中，利用卷积窗口矩阵E∈R^h*d提取文本特征矩阵C＝[c₁,c₂……c_n]；

c_i＝f(e_i:i+h-1*W+b)

其中，c_i：文本特征向量，f：非线性激活函数，b∈R：偏差，h：卷积窗口的大小为h个词，而d：词向量的维数。

进一步的是，获得词序列，具体包括：

将待分类的电力供电文本进行分词，得到词序列；

定义每个词序列中有n个词，且n是预先设定的序列长度，若文本词数超过n，则多余的部分将被剔除；

若文本词数不满足n，则自动填充占位符。

S2：结合全连接神经网络和sigmoid函数计算标签特征向量的分类概率，输出分类预测结果。本步骤需要说明的是，计算分类概率包括：

将标签特征向量连接全连接神经网络；

利用sigmoid函数计算全连接网络的输出，得到每个标签的分类概率，如下，

其中，

对应标签i的全连接神经网络线性变换矩阵，

对应标签i的全连接神经网络偏差，p_i：分类概率；

根据分类概率输出分类预测结果。

S3：基于交叉熵构建损失函数训练文本特征向量、标签特征向量及分类概率。其中还需要说明的是，进行训练微调，具体包括：

将标签分类预测结果与待分类电力工单文本的真实类别标签作为交叉熵，计算损失函数值；

利用Adam梯度下降最小化优化损伤函数值；

训练、更新、微调文本特征向量、标签特征向量及分类概率，计算如下，

其中，J_CE：交叉熵损失函数，p_i和y_i分别表示标签i的预测结果和真实结果。

S4：将训练完成的上层标签的标签特征向量的参数值作为下层标签的标签特征向量的初始值，对其进行训练微调，直至完成标签结构中全部的标签注意力向量训练，得到与其对应的分类结果。本步骤还需要说明的是，微调包括：

将第一层标签的标签注意力向量的参数作为初始值赋给第二层中的子标签；

对其进行训练微调，待损伤函数收敛后，将第二层标签的标签注意力向量参数作为初始值赋给第三层中的子标签；

对其进行训练微调，最终完成三层标签结构中全部的标签注意力向量的训练，得到与其对应的分类结果。

具体的，第一层标签包括，低压故障、客户内部故障、电能质量故障、计量故障、非电力故障、高压故障；

第二层标签包括，低压架空线路、低压设备、居民客户内部故障、非居民客户内部故障、电压、客户误报、紧急消缺、变压器；

第三层标签包括，电缆本体、导线、连接线、设备台架、电缆保护管、接线端子、标签开关、隔离开关。

优选的是，为了更好地理解本发明方法的实施应用，本实施例以2019年某供电公司全年的电力工单文本数据为例，结合附图对本发明方法作进一步的解释说明，如下所示：

表1：数据集特征表。

表2：数据集类别标签层次结构表。

参照图3，电力工单文本：低压居民客户…无电，可转换为词序列：低压、居民、客户、…、无电。

由于词序列长度不一，需要统一到长度n，不足n的填充占位符pad，实施例中n取10，结果如下表所示：

表3：统一词序列长度表。

1	2	3	4	5	6	7	8	9	10
										低压	居民	客户	报修	一户	无电	。	pad	pad	pad

将词序列中所有词转换成对应的词向量，如词序列：低压、居民、客户、报修、一户、无电，每个词转换成d维词向量后(d取100)的结果如下表所示：

表4：词向量表。

最终得到形状为10*100的词向量矩阵。

参照图3的示意，将10*100的词向量矩阵输入卷积神经网络提取文本特征，利用标签注意力向量给文本特征分配不同的注意力权重，从而获取标签特征向量；例如，先以均值为0、方差为1的正态分布随机初始化类别标签层次结构中根结点下的第一层“低压故障”、“客户内部故障”、“电能质量故障”、“计量故障”、“非电力故障”、“高压故障”6个标签的的标签注意力向量，然后用这6个标签注意力向量分别提取6个标签特征向量。

较佳的是，将第一层标签的标签注意力向量的参数作为初始值赋给其第二层中的子标签，例如：“低压架空线路”、“低压电缆线路”、“低压设备”这三个第二层标签是第一层标签“低压故障”的子标签，因此这三个标签的标签注意力向量的参数值不再随机初始化，而是直接将“低压故障”的标签注意力向量的参数值作为初始值，对其进行训练微调，待损失函数收敛后，再将第二层标签的标签注意力向量参数作为初始值赋给其第三层中的子标签；例如：将第二层“低压设备”的标签注意力向量参数作为初始值赋给其第三层中的子标签“熔断器故障”、“隔离开关故障”、“漏电保护器故障”、“断路器故障”等的标签注意力向量，对第三层的标签注意力向量进行训练微调，最终得到三层标签结构中所有标签注意力向量的训练并得到与其对应的分类结果。

优选的，为了对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的卷积神经网络方法与本发明方法进行对比测试，以科学论证的手段对比实验结果，以验证本发明方法所具有的真实效果；传统的卷积神经网络方法分类效果不佳，为验证本发明方法相较于传统方法具有较高的分类准确度、全面度、分类效率，本实施例中将采用传统神经网络方法和本发明方法分别对2019年某供电公司电力工单进行实时测试对比，并采用被广泛用于层次文本分类方法性能评价指标P@K来评估实验结果，指标定义为：

其中，K取1、2、3，y∈{0,1}，若标签是待分类文本的标签，则y为1，否则为0；

标签的预测概率，

待分类文本预测概率最高的前K个标签的索引集合，最终的P@K分数：所有待分类文本的P@K值的平均数。

实验结果如下所示：

表5：P@K分数表。

方法	P@1	P@2	P@3
				传统神经网络方法	91.4	82.8	75.5
本发明方法	91.6	84.3	77.7

参照表5，能够直观的看出本发明方法在2019年某供电公司电力工单数据集上获得了优于传统神经网络方法的效果，特别是在P@2、P@3指标上有较大提高，验证了本发明方法能有效提高训练样本较少的类别层次结构中下层标签的分类效果，实现了对层次结构标签电力工单文本的快速、准确分类。

实施例2

参照图4，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于LAV参数微调的电力工单层次文本分类系统，包括：

采集模块100，用于获取待分类的电力工单文本信息，收集各类特征向量参数构建数据集。

数据处理中心模块200，用于接收、计算、存储、输出待处理的向量参数和权重数据，其包括运算单元201、数据库202和输入输出管理单元203，运算单元201与采集模块100相连接，用于接收采集模块100获取的特征向量信息，对其进行特征提取及加权求和运算，数据库202连接于各个模块，用于存储接收的所有数据信息，为数据处理中心模块200提供调配供应服务，输入输出管理单元203用于接收各个模块的信息并输出运算单元201的运算结果。

分类模块300连接于数据处理中心模块200，其用于对运算结果进行分类，分类模块300包括分析单元301和校对单元302，分析单元301用于接收运算结果，调用分析处理策略依次判断采集模块100采集的数据信息与运算结果的吻合度，得到初步分析结果后传输至校对单元302进行验证；校对单元302获取数据库202内存储的数据信息，将其与初步分析结果进行对比，得到最终的分析验证结果并输出，形成分类结果。

需要说明的是，数据处理中心模块200主要分为三个层次，包括控制层、运算层及存储层，控制层是数据处理中心模块200的指挥控制中心，由指令寄存器IR、指令译码器ID和操作控制器OC组成，控制层能够根据用户预先编好的程序，依次从存储器中取出各条指令，放在指令寄存器IR中，通过指令译码器分析确定，通知操作控制器OC进行操作，按照确定的时序向相应的部件发出微操作控制信号；运算层是数据处理中心模块200的核心，能够执行算术运算(如加减乘除及其附加运算)和逻辑运算(如移位、逻辑测试或两个值比较)，其连接于控制层，通过接受控制层的控制信号进行运算操作；存储层是数据处理中心模块200的数据库，能够存放数据(待处理及已经处理过的数据)。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于LAV参数微调的电力工单层次文本分类方法，其特征在于：包括，

利用注意力机制对文本特征向量分配不同的注意力权重并进行加权求和，获得标签特征向量；

结合全连接神经网络和sigmoid函数计算所述标签特征向量的分类概率，输出分类预测结果；

基于交叉熵构建损失函数训练所述文本特征向量、所述标签特征向量及所述分类概率；

将训练完成的上层标签的所述标签特征向量的参数值作为下层标签的所述标签特征向量的初始值，对其进行训练微调，直至完成标签结构中全部的所述标签注意力向量训练，得到与其对应的分类结果。

2.根据权利要求1所述的基于LAV参数微调的电力工单层次文本分类方法，其特征在于：获得所述文本特征向量，包括，

将待分类的电力工单文本进行分词以获得词序列；

依次转换所述词序列中每个词的语义信息对应成为词向量，集成词向量矩阵；

将所述词向量矩阵输入卷积神经网络中，利用卷积窗口矩阵提取所述文本特征向量。

3.根据权利要求1或2所述的基于LAV参数微调的电力工单层次文本分类方法，其特征在于：获得所述标签特征向量包括，

对类别标签层次结构中第一层的每个标签创建标签注意向量并随机初始化；

利用所述注意力机制为所述文本特征向量分配不同的所述注意力权重；

对每个所述文本特征向量与所述注意力权重进行加权求和，得到所述标签特征向量；

最终获得与所述标签层次结构中第一层的所有标签相对应的所述标签特征向量。

4.根据权利要求3所述的基于LAV参数微调的电力工单层次文本分类方法，其特征在于：计算所述分类概率包括，

将所述标签特征向量连接全连接神经网络；

利用所述sigmoid函数计算所述全连接网络的输出，得到每个所述标签的所述分类概率；

根据所述分类概率输出所述分类预测结果。

5.根据权利要求4所述的基于LAV参数微调的电力工单层次文本分类方法，其特征在于：进行所述训练微调，具体包括，

将所述标签分类预测结果与所述待分类电力工单文本的真实类别标签作为所述交叉熵，计算损失函数值；

利用Adam梯度下降最小化优化所述损伤函数值；

训练、更新、微调所述文本特征向量、所述标签特征向量及所述分类概率。

6.根据权利要求5所述的基于LAV参数微调的电力工单层次文本分类方法，其特征在于：所述微调包括，

将第一层标签的所述标签注意力向量的参数作为初始值赋给第二层中的子标签；

对其进行训练微调，待所述损伤函数收敛后，将第二层标签的所述标签注意力向量参数作为所述初始值赋给第三层中的子标签；

对其进行训练微调，最终完成三层标签结构中全部的所述标签注意力向量的训练，得到与其对应的所述分类结果。

7.根据权利要求6所述的基于LAV参数微调的电力工单层次文本分类方法，其特征在于：所述第一层标签包括，低压故障、客户内部故障、电能质量故障、计量故障、非电力故障、高压故障；

所述第二层标签包括，低压架空线路、低压设备、居民客户内部故障、非居民客户内部故障、电压、客户误报、紧急消缺、变压器；

所述第三层标签包括，电缆本体、导线、连接线、设备台架、电缆保护管、接线端子、标签开关、隔离开关。

8.根据权利要求2所述的基于LAV参数微调的电力工单层次文本分类方法，其特征在于：获得所述词序列，具体包括，

将待分类的所述电力供电文本进行分词，得到所述词序列；

定义每个所述词序列中有n个词，且所述n是预先设定的序列长度，若文本词数超过所述n，则多余的部分将被剔除；

若所述文本词数不满足所述n，则自动填充占位符。

9.一种基于LAV参数微调的电力工单层次文本分类系统，其特征在于：包括，

采集模块(100)，用于获取待分类的所述电力工单文本信息，收集各类特征向量参数构建数据集；

数据处理中心模块(200)，用于接收、计算、存储、输出待处理的向量参数和权重数据，其包括运算单元(201)、数据库(202)和输入输出管理单元(203)，所述运算单元(201)与所述采集模块(100)相连接，用于接收所述采集模块(100)获取的特征向量信息，对其进行特征提取及加权求和运算，所述数据库(202)连接于各个模块，用于存储接收的所有数据信息，为所述数据处理中心模块(200)提供调配供应服务，所述输入输出管理单元(203)用于接收各个模块的信息并输出所述运算单元(201)的运算结果。

10.根据权利要求9所述的基于LAV参数微调的电力工单层次文本分类系统，其特征在于：还包括，

分类模块(300)连接于所述数据处理中心模块(200)，其用于对所述运算结果进行分类，所述分类模块(300)包括分析单元(301)和校对单元(302)，所述分析单元(301)用于接收所述运算结果，调用分析处理策略依次判断所述采集模块(100)采集的数据信息与所述运算结果的吻合度，得到初步分析结果后传输至所述校对单元(302)进行验证；

所述校对单元(302)获取所述数据库(202)内存储的数据信息，将其与所述初步分析结果进行对比，得到最终的分析验证结果并输出，形成所述分类结果。

Images