CN116579342A - 基于双特征联合提取的电力营销命名实体识别方法 - Google Patents

基于双特征联合提取的电力营销命名实体识别方法 Download PDF

Info

Publication number
CN116579342A
CN116579342A CN202310539890.2A CN202310539890A CN116579342A CN 116579342 A CN116579342 A CN 116579342A CN 202310539890 A CN202310539890 A CN 202310539890A CN 116579342 A CN116579342 A CN 116579342A
Authority
CN
China
Prior art keywords
feature
electric power
power marketing
dual
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310539890.2A
Other languages
English (en)
Inventor
蒙琦
张希翔
艾徐华
董贇
黄汉华
周迪贵
古哲德
覃宁
陶思恒
谢菁
谭期文
韦宗慧
陈昭利
张丽媛
陈燕雁
陈燕
梁增福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Guangxi Power Grid Co Ltd
Original Assignee
Guangxi University
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University, Guangxi Power Grid Co Ltd filed Critical Guangxi University
Priority to CN202310539890.2A priority Critical patent/CN116579342A/zh
Publication of CN116579342A publication Critical patent/CN116579342A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Water Supply & Treatment (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于双特征联合提取的电力营销命名实体识别方法，属于电力技术领域；通过RoBERTa‑wwm预训练模型将电力文本数据进行词向量化；以RoBERTa‑wwm输出的语义表征向量作为输入，输入到本发明构建的DFENN神经网络中并行获取文本局部特征和全局特征并进行融合；再引入注意力机制，将模型的RoBERTa‑wwm层输出用作辅助分类层，DFENN层输出作为主分类层，通过注意力机制计算两个层的权重，然后通过这两个粒度的向量特征相乘得到新的特征输入到CRF层中，得到最合理的标签序列，完成电力营销领域命名实体识别，实现基于整词遮蔽和双特征联合提取的电力营销命名实体识别模型，使模型在电力营销领域命名实体识别数据集中取得更好的评估指标。

Description

基于双特征联合提取的电力营销命名实体识别方法
技术领域
本发明涉及电力技术领域，特别是一种基于双特征联合提取的电力营销命名实体识别方法。
背景技术
近年来，命名实体识别开始应用在NLP、智能问答和知识图谱等领域，其主要工作是从非结构化文本中识别出有意义的名词或短语，并加以分类。随着自然语言处理技术的发展，命名实体识别也越来越多地被应用到各个领域。就电力营销而言，命名实体识别主要是对电力营销文本进行实体识别。例如，通过提取投诉意见工单中的非结构化信息，可以迅速地了解到投诉的时间、投诉用户的信息、所处台区线路、线路所属的站点等，这将能够有效地提升营销人员的工作效率，而且构建基于电力营销领域中不同业务模块命名实体的识别模型，可以提取出关键业务信息，能够确定客户的本质诉求，准确定位管理缺陷，挖掘客户服务需求，为之后电力营销方面知识图谱的构建或电力客服智能问答系统的构建提供了基础。
与传统的实体抽取不同，电力营销领域数据具有复杂性和特殊性，相关的实体信息还具有领域性强等特性，这会在一定程度上提升命名实体识别的难度。若命名实体识别准确率低，则会导致下游任务受到严重影响，因此如何提高电力营销领域命名实体识别的准确率是当前急需解决的问题。以此为出发点，需要对传统的BiLSTM-CRF命名实体模型进行改进以提升命名实体识别的精度，从而减小命名实体识别结果对后续下游任务的影响，因此，改进传统的BiLSTM-CRF命名实体模型十分重要。
发明内容
本发明的发明目的是，针对上述问题，提供一种基于双特征联合提取的电力营销命名实体识别方法，构建一套识别效率高并且可用的电力营销领域命名实体模型。
为达到上述目的，本发明所采用的技术方案是：
基于双特征联合提取的电力营销命名实体识别方法，包括以下内容：
步骤S1、构建电力营销领域命名实体识别语料库；
步骤S2、搭建基于整词遮蔽以及通过双特征提取神经网络(Dual FeatureExtraction Neural Network，DFENN)提取全局特征和局部特征双特征联合提取的电力营销领域命名实体识别模型，根据步骤S1的电力营销领域命名实体语料库进行模型训练，得到评价指标结果最优的命名实体识别模型；
步骤S3、使用步骤S2训练得到的命名实体识别模型，在电力营销领域文本数据中识别出命名实体检测结果，并将该检测结果标记出来。
其中，步骤S1包括以下内容：
步骤S1-1、对电力营销系统筛选出来的非结构化数据进行去重及去噪；
步骤S1-2、通过对电力营销领域数据集的分析，根据数据集中的实体信息按照知识图谱的应用需求划分实体类型；步骤S1-2将实体类型按照知识图谱的应用需求分为时间、电压等级、线路、厂站、组织、设备电器、人员人名、地址和其它的九个实体类型；
步骤S1-3、根据步骤S1-2的实体类型对步骤S1-1处理过的非结构化数据进行标注，构建电力营销领域命名实体识别语料库；步骤S1-3中，采用BIO标注法对非结构化数据进行标注；其中，“B-实体类型”表示实体的第一个字符，“I-实体类型”表示实体中除第一个字符外的其他字符，“O”则代表非实体。
步骤S2包括以下内容：
步骤S2-1、将步骤S1中构建好的电网营销领域命名实体识别语料库的数据集作为输入文本，采用RoBERTa-wwm预训练模型进行训练，得到词向量；
步骤S2-2、采用双特征提取神经网络对步骤S2-1输出的词向量的文本特征进行并行提取，获取文本序列的全局特征序列和局部特征序列；然后，将全局特征序列和局部特征序列进行拼接融合，得到双特征序列；双特征提取神经网络为并列配置的BiLSTM网络和IDCNN网络，且BiLSTM网络和IDCNN网络并行处理；
步骤S2-3、将RoBERTa-wwm预训练模型输出层作为辅助分类层，将双特征提取神经网络输出层作为主分类层，采用注意力机制对辅助分类层和主分类层进行权重的计算，然后对词向量和双特征序列进行加权融合，得到融合特征向量；步骤S2-3利用Similarity函数计算获取辅助分类层和主分类层特征权重，然后通过这两个粒度的向量特征相乘得到融合特征向量；
步骤S2-4、采用CRF模型对步骤S2-3的融合特征向量进行处理，先统计所有可能标签识别出来的概率，再输出概率最高的标签序列；然后，进行迭代处理，根据准确率、召回率和F1值的评价指标结果训练得到指标结果最优的电力营销领域命名实体识别模型。
由于采用上述技术方案，本发明具有以下有益效果：
1.本发明在得到电力营销领域数据集之后，首先通过RoBERTa-wwm预训练模型将电力文本数据进行词向量化；接下来以RoBERTa-wwm输出的语义表征向量作为输入，输入到本发明构建的DFENN神经网络中并行获取文本局部特征和全局特征并进行融合；再引入注意力机制，将模型的RoBERTa-wwm层输出用作辅助分类层，DFENN层输出作为主分类层，通过注意力机制计算两个层的权重，然后通过这两个粒度的向量特征相乘得到新的特征输入到条件随机场(CRF)层中，得到最合理的标签序列，完成电力营销领域命名实体识别，实现基于整词遮蔽和双特征联合提取的电力营销命名实体识别模型，使模型在电力营销领域命名实体识别数据集中取得更好的评估指标，有助于提升电力营销行业中专业信息的提取，是电力营销领域中智能问答系统及知识图谱构建的重要基础。
2.本发明构建了双特征提取神经网络(DFENN)来对文本特征进行提取，采用并行的方式分别对文本特征的全局语义信息和局部语义信息进行提取，其中BiLSTM负责提取的是文本序列的全局特征，IDCNN负责提取的是文本序列的局部特征，由于这两个提取任务是并行的方式同时进行，所以这并不会导致模型训练时间的增加，可以在保证文本特征质量的同时兼顾到训练的效率。最后，将BiLSTM和IDCNN提取到的特征进行拼接融合，融合后的特征不仅包含了全局的上下文语义和语法信息，还包含了局部语义信息，这就使得最后获得的特征更加的完整，从而能进一步提高电力营销命名实体识别的效率。
3.本发明深刻考虑到电力营销领域数据的领域性、复杂性和电力相关实体数据区分度较大等问题，在传统的BiLSTM-CRF模型上进行创新，设计了一种基于整词遮蔽和双特征联合提取的电力营销命名实体识别方法，可以有效的解决电力营销领域下传统模型不能解决的实体边界不明确、一词多义和专业术语识别度不高的问题，并且在命名实体识别准确率上得到了一定的提升。
附图说明
图1是本发明的命名实体识别方法步骤流程图。
图2是本发明的命名实体识别方法处理流程图。
图3是本发明的命名实体识别模型结构图。
图4是本发明的RoBERTa-wwm模型结构图。
图5是本发明的RoBERTa-wwm与BERT模型掩码方案的区别示意图。
图6是本发明的LSTM模型的结构图。
具体实施方式
以下结合附图对发明的具体实施进一步说明。
如图1-图3所示，本发明的基于双特征联合提取的电力营销命名实体识别方法，包括如下步骤：
步骤1.获取电力营销领域数据集，通过获取大量的电力营销领域数据来支持后续的工作，并且按照8:1:1的比例将数据集划分训练集、验证集与测试集。具体包含以下三个步骤：
步骤1-1.本发明实验采用的是某电网公司提供的近两年营销系统数据，对电力营销系统筛选出来的非结构化数据进行去重及去噪。
步骤1-2.在得到所需的电力营销领域数据集后，根据数据集中的实体信息，通过对电力营销领域数据集的分析，将实体类型分为时间、电压等级、线路、厂站、组织、设备电器、人员人名、地址和其它九个实体类别；在之后的识别过程将实体区分到对应的类别中，并且为了方便标注，分别使用英文表示为time、level、line、station、org、equ、name、add和other。
步骤1-3.数据集采用人工标注的方式进行标注，本发明在标记命名实体时以采用BIO标注法为例说明。其中，B表示实体的起始，I表示实体的内部，O表示实体的外部，若数据集中某一个词被标注为B/I-XXX，则说明该词是命名实体的起始部分或内部部分，其中XXX表示命名实体的类型，对应步骤1-2中的英文表示，比如time、level等，当词被标注为O时表示该词不是一个命名实体。
步骤2.搭建基于整词遮蔽和双特征联合提取的电力营销命名实体识别模型，如图3所示为该模型架构图，包括整词遮蔽层(选用RoBERTa-wwm预训练模型)、双特征提取神经网络(选用BiLSTM网络和IDCNN网络)提取融合层、Attention加权融合分类层及CRF层，采用该模型对训练集进行学习，在进行算法训练时，初始学习率为0.0001，利用Adam梯度优化算法更新参数，同时采取Dropout策略以防止过拟合，Dropout值设为0.5，根据相关评价指标的值即准确率、召回率和F1值得到此模型训练好的算法模型。具体内容如下：
2-1.RoBERTa-wwm预训练模型整词遮蔽
本发明采用的是哈工大与科大讯飞联合实验室推出的RoBERTa-wwm预训练模型对词向量进行训练，本质上，RoBERTa模型是从BERT模型的基础上改进升级而来，首先采用动态Masking机制，每次向模型输入一个序列时，都会生成一种新的遮盖方式，其次是删除了Next Sentence Prediction(NSP)任务，最后增加了预训练过程的语料规模，扩大BatchSize的同时增加了训练的步长。但是由于RoBERTa模型是在英文数据的基础上所被提出的，如果直接使用原版RoBERTa模型应用到电力营销领域中文数据集，这将会直接影响到该模型最终的效果。因此，针对本发明所构建的电力营销领域中文数据集，采用的是哈工大与讯飞联合实验室提出的RoBERTa-wwm模型，该模型是在中文数据的基础上提出的，并且结合了中文整词遮蔽(Whole WordMasking)技术以及RoBERTa模型的优势，它的模型结构包括12层Transformer,见图4所示，其中T＝{t1,t2,t3,...,tn}作为模型输入的文本，经过由多个双向Transformer模型的encoder部分堆叠组成网络框架后，能更彻底地捕捉文本中的双向关系，其中模型的输出H＝{h1,h2,h3,...,hn}就是目标单词的词向量，输出的词向量中含有预训练阶段RoBERTa-wwm获取的先验语义知识，训练RoBERTa-wwm模型时，它的参数会随训练集的变化而进行微调，它的数值会持续更新，以便更好的学习训练集中的语义知识。RoBERTa-wwm模型与BERT模型在掩码方案上的区别如图5所示。与BERT模型相比，RoBERTa--wwm主要在以下三个方面对预训练方法进行了改进：
1)掩码方案采用全词掩码代替单字符掩码。
2)模型任务中采用动态遮蔽代替静态遮蔽。
3)删除预训练阶段的下一句预测(NSP)任务。
该模型在位置嵌入中融合了文本的相对位置信息，并将词嵌入、段嵌入及位置嵌入的总和作为模型的输入，以更好地对实体信息进行识别。位置嵌入的计算公式如下所示：
PE(pos,2i)＝sin(pos/100002i/dmodel)
PE(pos，2i+1)＝cos(pos/100002i/dinodel)
上式中，pos代表的是句中当前词所在的位置，取值范围是[0,max sequencelength)，i指的是词向量的维度，取值范围是[0,embedding dimension)，给定一个输入句子序列S＝{s1,s2,s3,...,sn}，句子中的两个实体可以表示为e1(sm)和e1(sz)(m,z∈[1,n],m≠z)。经过RoBERTa-wwm预训练模型在句子输入序列的上下文处理后，得出向量表示如下式:
H＝{h1,h2,h3,...,hn}
另外，位置向量的添加也在一定程度上提升了实体识别的效果。每个词的位置向量pi(i＝1,2,3,...,n)都由两个向量拼接而成，其中第一个向量是由该词与实体e1的相对距离di1(i＝1,2,3,...,n)组成，另一个向量是该词与实体e2的相对距离di2(i＝1,2,3,...,n)构成。最后，对各个词进行词向量和位置向量的组合，行成词向量表示。
预训练阶段结束后，可将RoBERTa-wwm输出的词向量输入到下一层的双特征提取神经网络(DFENN)中进行全局信息和局部信息的同时提取。
2-2.双特征提取神经网络
在命名实体识别任务中，BiLSTM通常是更加倾向于捕捉文本序列的全局语义信息，但是这也会导致丢失了局部语义信息，文本序列的局部语义信息对于命名实体识别也是起着关键的作用的，如果忽略了局部的语义信息可能会导致最终提取到的特征稀疏，语义信息不够完整，导致最终命名实体识别的准确率不够高。IDCNN相比于传统的CNN具有更大的接受域，其更加倾向于捕捉文本序列中的局部信息，这点是跟BiLSTM正好相反的。所以为了能够更加全面的对文本特征进行提取，本发明构建了双特征提取神经网络(DFENN)来对文本特征进行提取，模型结构图如图3所示，将RoBERTa-wwm输出的词向量分别输入到BiLSTM网络和IDCNN网络中，采用并行的方式分别对文本特征的全局语义信息和局部语义信息进行提取，其中BiLSTM负责提取的是文本序列的全局特征，IDCNN负责提取的是文本序列的局部特征，由于这两个提取任务是并行的方式同时进行，所以这并不会导致模型训练时间的增加，可以在保证文本特征质量的同时兼顾到训练的效率。最后，将BiLSTM和IDCNN提取到的特征进行拼接融合，融合后的特征不仅包含了全局的上下文语义和语法信息，还包含了局部语义信息，这就使得最后获得的特征更加的完整，从而能进一步提高电力营销命名实体识别的效率。该层网络由BiLSTM、IDCNN和双特征融合三个模块构成，下面分别对BiLSTM、IDCNN和双特征融合进行详细的介绍，其中BiLSTM和IDCNN是同时进行的。
2-2.1)BiLSTM网络
长短期记忆网络(Long Short-Term Memory，LSTM)是一种特殊的循环神经网络(Recurrent Neural Network，RNN)。与传统的RNN不同，LSTM在处理序列数据时可以更好地解决梯度消失和梯度爆炸的问题。LSTM包含一个称为“细胞状态”(cell state)的内部状态，可以控制信息的流动和遗忘，从而更好地处理长序列数据。LSTM也包含三个门控单元：输入门、输出门和遗忘门，可以控制信息的输入、输出和遗忘。这些门控单元通过学习自适应权重，可以根据输入数据的不同情况来控制信息的流动。这样可以有效地避免了单个重复神经元中出现“过拟合”现象，从而提高模型的精度和性能。LSTM单元结构如图6所示。
LSTM模型第一步是计算遗忘门并选择需要遗忘的信息。遗忘门的计算公式如下：
ft＝σ(Wfx[ht-1,xt]+bf)
公式中记xt为细胞的状态，ht-1为上一时间的隐藏层状态，这个隐藏层状态包含之前节点的相关信息，同样也会经过一个线性变换的过程，Wf为神经元权重，bf为偏差参数，用于对变量和状态的线性变换，σ为Sigmoid计算公式。
LSTM模型第二步是计算记忆门并选择需要记忆的信息。记忆门计算的公式如下所示：
it＝σ(Wi x[ht-1,xt]+bi)
公式中记xt为细胞的状态，ht-1为上一时间的隐藏层状态，这个隐藏状态包含之前节点的相关信息，同样也会经过一个线性变换的过程，Wi为神经元权重，bi为偏差参数，用于对变量和状态的线性变换，t为当前时间，σ为Sigmoid计算公式，it为输入门。
候选记忆细胞的公式如下，其中tanh函数是对候选记忆细胞激活函数进行激活，其值将映射在[-1,1]，计算公式如下：
公式中记xt为细胞的状态，ht-1为上一时间的隐藏层状态，这个隐藏状态包含之前节点的相关信息，同样也会经过一个线性变幻的过程，Wc为神经元权重，bc为偏差参数，用于对变量和状态的线性变换，为当前时间的临时细胞状态。
更新完旧细胞状态后，为限制候选记忆细胞进入记忆门的比例，其计算公式如下:
公式中当前的细胞状态将从Ct-1更新到Ct，需要完成丢弃旧数据添加新数据的操作，将遗忘门ft与Ct-1进行加权操作，控制上一时刻的记忆细胞Ct-1的数据通过遗忘门的比例，将输入门it与进行加权，最后通过结合获得Ct为细胞状态。
LSTM模型的第三步是计算输出门以及隐藏层在当前时刻的状态，更新完细胞状态后需要根据输入的ht-1和xt来判断输出细胞的哪些状态特征，这里需要将输入经过一个称为输出门的sigmoid层得到判断条件，然后将细胞状态经过tanh层得到一个-1～1之间值的向量，该向量与输出门得到的判断条件相乘就得到了最终该RNN单元的输出。其计算公式如下：
Ot＝σ(WO x[ht-1,xt]+bO)
ht＝Ot x tanh(Ct)
通过上面公式计算，最终可以得到与句子长度相似的隐藏层状态序列{h1,h2,h3,…,hn}。
基于上面LSTM模型的三个步骤，可以看出LSTM模型选择性的丢弃了一些没有用的信息，增强了神经元的记忆力，可以更好地解决长时依赖问题。然而，LSTM没有充分利用电力营销数据的上下文信息。为此，本发明采用BiLSTM模型对电力营销领域命名实体识别中的关键特征进行提取。所谓的BiLSTM，就是双向LSTM.单向的LSTM模型只能捕捉到从前向后传递的信息，而双向的网络可以同时捕捉正向信息和反向信息，使得对电力营销文本信息的利用更全面，效果也更好。其计算公式如下：
其中，和/>代表的是隐藏层状态，/>旨在通过前向LSTM获取从前向后的电力营销文本信息，/>旨在通过后向LSTM获取从后向前的电力营销文本信息；/>代表的是正向特征向量表示；/>代表的是反向的特征向量表示；最后的隐藏层状态ht就是作为电力营销数据的特征，最终BiLSTM的输出结果为(h1,h2,...,hn)。
虽然BiLSTM能够捕捉文本序列中的长距离的语义信息，但是其主要倾向的是建模文本序列的全局长期依赖，忽略了局部语义的信息，所以为了能够同时获取到全局特征信息和局部特征信息，还需要并行的使用IDCNN进行局部特征的提取。
2-2.2)IDCNN网络
IDCNN是由4个大小相同的膨胀卷积块堆叠在一起组成，其中每一个膨胀卷积块又由3个膨胀卷积层组成，每一个膨胀卷积块堆叠的层数也不能太多，堆叠层数太多也会导致参数量过大，最终导致模型的过拟合。本发明中，设置了3层卷积层和4次迭代，每一层膨胀卷积层在仿射变换后的输出作为下一层膨胀卷积的输入，并且给这三个膨胀卷积层设置相同的的卷积核大小和过滤器大小。在本发明中，三个膨胀卷积层的膨胀宽度分别设置为1、2、4，这样的设置是该网络在提取文本特征的时候可以顾及到每个字符的信息，又可以使网络的感受域名随着膨胀宽度的增加而指数上升，最终也能提取到距离相对较远的语义信息。
在双特征提取网络中，IDCNN的第一层膨胀宽度是1，卷积核的大小设置为3x3，其计算公式如下：
式中，表示膨胀宽度设置为j的第i个膨胀卷积层，/>表示的是第一层，/>就是xt在经过第一次膨胀卷积之后的输出。
然后使用relu激活函数对前一个膨胀卷积层的输出进行激活，就可以得到下一个膨胀卷积层的输出，其计算公式如下：
式中，代表的就是第n个膨胀卷积层的输出，Ln代表的就是每一个膨胀卷积的层数。
最后面一层膨胀卷积的输出的计算公式如下：
式中，代表的是权值矩阵，/>代表的是偏置项。
由于一个膨胀卷积块由三个膨胀卷积层组成，所以在上述三层就就可以当做是一个膨胀卷积块，用B(i)表示，i代表的是第i个卷积块，上一个膨胀卷积快的输出作为下一个膨胀卷积块的输入，本发明中，膨胀卷积块之间是共享参数的，开始的时候：
第m个膨胀卷积块的输入就是第m-1个膨胀卷积块的输出，其计算公式如下：
完成迭代后，最终就会得到最终输出的局部特征序列为(b1,b2,...,bn)。
2-2.3)双特征融合
在经过并行的方式进行双特征提取后，将IDCNN得到的局部特征序列(b1,b2,...,bn)和BiLSTM得到的全局特征序列(h1,h2,...,hn)进行拼接融合，就可以得到新的并且包含有局部特征和全局特征的特征序列，其计算公式如下:
式中，代表的是讲全局特征和局部特征拼接结合在一起。经过融合后的特征不仅包含了长距离的上下语义信息和语法信息，还把局部语义信息加入进行了补充，最终得到了更加全面的特征，从而进一步提升命名实体识别的效果。完成融合后，最终输出的融合后的新特征序列(双特征序列)为(f1,f2,...,fn)。
2-3.Attention模型加权融合分类层
神经网络中的注意力机制是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。在命名实体识别任务中，模型的输入往往都是长序列，但是并非序列里全部的信息都对实体识别任务有用，我们只需要保存重要且有用的信息即可。所以我们将注意力机制引入到命名实体识别任务中，注意力机制可以帮助模型对输入的部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断。
本发明采用RoBERTa-wwm的输出当做辅助分类器，DFENN输出层则作为主分类器。通过训练后，RoBERTa-wwm层输出的词向量融合了丰富的上下文语义信息，再将其输入到DFENN模型后可以学习到长距离全局特征信息和局部特征信息，最后将两者输出的向量通过注意力机制函数计算权重，再经过加权融合后可以更好的进行电力营销数据的序列标注。采用Similarity函数作为度量RoBERTa-wwm层输出向量与BiLSTM层输出向量之间相关性系数大小的得分函数。本发明中，分别使用了如下三种得分函数，Similarity函数的计算公式如下：
(皮尔逊相关系数)
Similarity(ht，fs)＝W(ht-fs)TS-1(ht-fs)(马氏距离)
Similarity(ht，fs)＝tanh(W[ht；fs])(感知机)
其中ht代表的是RoBERTa-wwm层的输出结果，即辅助分类器；fs代表的是DFENN层的输出结果，即主分类器；W代表权重矩阵；代表分类器平均值；S为协方差矩阵。三种注意力值函数的实验对比如表1所示，经过对比发现，对于本发明中的电力营销领域数据集，采用皮尔逊相关系数取得的效果最好，感知机的效果最差，马氏距离的效果略优于感知机。这是因为皮尔逊相关系数和马氏距离都是机器学习中用来衡量两个变量之间的相似度或相关度的方法，也是相对简单有效的方法，但是它们的计算方式有所不同，皮尔逊相关系数是通过计算两个变量之间的协方差来衡量它们的相关度，皮尔逊相关系数的取值范围在-1到1之间，取值越接近1或-1表示两个变量之间的相关度越强，取值越接近0表示两个变量之间的相关度越弱。马氏距离是通过计算两个变量之间的距离来衡量它们的相似度，马氏距离的取值范围在0到正无穷之间，取值越小表示两个变量之间的相似度越高。在应用场景的区别上，皮尔逊系数更加广泛应用在机器学习中的特征选择和特征提取等任务中，而马氏距离更多的是用于图像匹配、图像检索等任务。感知机的结构在这三个注意力值函数里面是最复杂的，也是最容易导致过拟合的，优化起来也更加的困难。因此，本发明最后选取了效果较优的皮尔逊相关系数为注意力值的计算函数。利用Similarity函数获取两层特征权重，然后通过这两个粒度的向量特征相乘得到新的特征传入到CRF层中。
2-4.CRF层输出
在进行电力营销领域的命名实体识别任务时，DFENN模型虽然能够对提取文本序列的全局特征和局部特征，但是并不能处理好相邻标签间的依赖关系。条件随机场(CRF)可以通过考虑相邻标签之间的关系得到全局最佳的标记序列。对于输入序列X＝(X1,X2,…,Xn)，提取特征可以得到输出矩阵P＝(P1,P2,…,Pn)，对于预测序列Y＝(y1,y2,…,yn)，其分数函数计算公式如下：
公式中Ayi,yi+1代表的是yi转移到yi+1的分数，Pi,yi代表的是该字符被预测为第yi个标签的分数，首先利用softmax层统计所有可能标签识别出来的概率，最后输出概率最高的标签序列。
2-5.获得最佳模型
通过迭代多次上述建立的模型，根据相关评价指标结果(即准确率、召回率和F1值)训练得到此模型指标最优结果的算法模型，相关的评价指标对于本发明中的模型均有较大提升。
步骤3.利用训练好的算法模型对划分的电力营销领域测试集数据进行命名实体识别并标注测试的结果，然后即可使用，在电力营销领域文本数据中识别出命名实体检测结果并将该检测结果标记出来。测试具体步骤如下：
利用基于整词遮蔽和双特征联合提取的电力营销命名实体识别模型对测试集样本进行测试，直接将测试样本送入到模型进行测试，测试过程中可能会存在命名实体分类不准确等问题，后续可以对识别出错的样本进行进一步分析以继续提升模型的识别准确率。
步骤4.实验结果对比
下表1及表2给出了本发明的RoBERTa-wwm+DFENN+Att+CRF模型的两组实验比对，具体如下：
表1：不同算法的电力营销领域命名实体识别的结果
算法 P/％ R/％ F1/％
BiLSTM+CRF 83.5 82.3 82.9
BERT+BiLSTM+CRF 84.4 83.2 83.8
RoBERTa-wwm+BiLSTM+CRF 85.5 85.2 85.3
RoBERTa-wwm+IDCNN+CRF 85.3 84.8 85.0
RoBERTa-wwm+DFENN+CRF 88.2 86.5 87.3
RoBERTa-wwm+DFENN+Att+CRF 88.7 87.2 87.9
表1是电力营销领域命名实体识别的结果，从中可以看出本发明的模型相较于其他模型效果最优，F1值达到了87.9％，相对于没有使用预训练模型的BiLSTM-CRF算法提升了5％。在使用了预训练模型后，使用RoBERTa-wwm模型的效果也比BERT模型的效果更优，F1值提升了1.5％，这是因为RoBERTa-wwm预训练模型使用的是全词遮蔽方案，更加适用于中文的命名实体。在使用了本发明的DFENN模型后与RoBERTa-wwm-BiLSTM-CRF模型相比F1值也提升了2％，与RoBERTa-wwm-IDCNN-CRF模型相比F1值提升了2.3％，这是因为本发明构建的双特征抽取神经网络可以并行的获取输入文本的全局特征信息和局部特征信息，这就弥补了BiLSTM只注重全文信息的提取而不重视局部信息的不足，同时也弥补了IDCNN只能获取到局部特征而获取不到长距离的全局特征的不足，并且由于采用的是并行获取的方式，所以在时间上并没有多余的消耗。最终在电力营销领域的命名实体任务上取得了不错的效果。
表2：本发明的RoBERTa-wwm+DFENN+Att+CRF模型在不同注意力机制函数下命名实体识别的结果
注意力值函数 P/％ R/％ F1/％
感知机 88.1 86.2 87.1
马氏距离 88.3 86.8 87.5
皮尔逊相关系数 88.7 87.2 87.9
表2是本发明使用的RoBERTa-wwm+DFENN+Att+CRF模型在不同注意力机制函数下命名实体识别的结果，从中可以发现使用皮尔逊相关系数得到的结果最好，感知机得到的结果最差，马氏距离的效果略优于感知机。所以本发明最终使用的是更适合的皮尔逊相关系数。最终本发明的模型使用注意力层加权融合后模型效果相比没加注意力层又增加了0.6％，这是因为RoBERTa-wwm层输出的词向量融合了丰富的上下文语义信息，再将其输入到DFENN神经网络模型后可以学习到文本的全局特征和文本的局部特征信息，最后将两者输出的向量通过注意力机制函数计算权重，再经过加权融合后可以更好的进行电力营销数据的序列标注，因此识别效果更加的理想。
需要指出的是，上述实施例的实例可以根据实际需要优选一个或两个以上相互组合，而多个实例采用一套组合技术特征的附图说明，在此就不一一展开说明。
上述说明是针对本发明较佳可行实施例的详细说明和例证，但这些描述并非用以限定本发明所要求保护范围，凡本发明所提示的技术教导下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利保护范围。

Claims (8)

1.一种基于双特征联合提取的电力营销命名实体识别方法，其特征在于，包括以下内容：
步骤S1、构建电力营销领域命名实体识别语料库；
步骤S2、搭建基于整词遮蔽以及通过双特征提取神经网络提取全局特征和局部特征双特征联合提取的电力营销领域命名实体识别模型，根据步骤S1的电力营销领域命名实体语料库进行模型训练，得到评价指标结果最优的命名实体识别模型；
步骤S3、使用步骤S2训练得到的命名实体识别模型，在电力营销领域文本数据中识别出命名实体检测结果，并将该检测结果标记出来。
2.根据权利要求1所述的基于双特征联合提取的电力营销命名实体识别方法，其特征在于：所述步骤S1包括以下内容：
步骤S1-1、对电力营销系统筛选出来的非结构化数据进行去重及去噪；
步骤S1-2、通过对电力营销领域数据集的分析，根据数据集中的实体信息按照知识图谱的应用需求划分实体类型；
步骤S1-3、根据步骤S1-2的实体类型对步骤S1-1处理过的非结构化数据进行标注，构建电力营销领域命名实体识别语料库。
3.根据权利要求2所述的基于双特征联合提取的电力营销命名实体识别方法，其特征在于：所述步骤S1-2将实体类型按照知识图谱的应用需求分为时间、电压等级、线路、厂站、组织、设备电器、人员人名、地址和其它的九个实体类型。
4.根据权利要求2所述的基于双特征联合提取的电力营销命名实体识别方法，其特征在于：所述步骤S1-3中，采用BIO标注法对非结构化数据进行标注；其中，“B-实体类型”表示实体的第一个字符，“I-实体类型”表示实体中除第一个字符外的其他字符，“O”则代表非实体。
5.根据权利要求1所述的基于双特征联合提取的电力营销命名实体识别方法，其特征在于：所述步骤S2包括以下内容：
步骤S2-1、将步骤S1中构建好的电网营销领域命名实体识别语料库的数据集作为输入文本，采用RoBERTa-wwm预训练模型进行训练，得到词向量；
步骤S2-2、采用双特征提取神经网络对步骤S2-1输出的词向量的文本特征进行并行提取，获取文本序列的全局特征序列和局部特征序列；然后，将全局特征序列和局部特征序列进行拼接融合，得到双特征序列；
步骤S2-3、将RoBERTa-wwm预训练模型输出层作为辅助分类层，将双特征提取神经网络输出层作为主分类层，采用注意力机制对辅助分类层和主分类层进行权重的计算，然后对词向量和双特征序列进行加权融合，得到融合特征向量；
步骤S2-4、采用CRF模型对步骤S2-3的融合特征向量进行处理，先统计所有可能标签识别出来的概率，再输出概率最高的标签序列；然后，进行迭代处理，根据准确率、召回率和F1值的评价指标结果训练得到指标结果最优的电力营销领域命名实体识别模型。
6.根据权利要求1或5所述的基于双特征联合提取的电力营销命名实体识别方法，其特征在于：所述双特征提取神经网络为并列配置的BiLSTM网络和IDCNN网络，且BiLSTM网络和IDCNN网络并行处理。
7.根据权利要求5所述的基于双特征联合提取的电力营销命名实体识别方法，其特征在于：所述步骤S2-2中，将IDCNN得到的局部特征序列(b1,b2,...,bn)和BiLSTM得到的全局特征序列(h1,h2,...,hn)进行拼接融合，计算公式如下：
式中，代表的是讲全局特征和局部特征拼接结合在一起；完成融合后输出的融合后的双特征序列为(f1,f2,...,fn)。
8.根据权利要求5所述的基于双特征联合提取的电力营销命名实体识别方法，其特征在于：所述步骤S2-3利用Similarity函数计算获取辅助分类层和主分类层特征权重，然后通过这两个粒度的向量特征相乘得到融合特征向量；其中Similarity函数使用皮尔逊相关系数函数。
CN202310539890.2A 2023-05-15 2023-05-15 基于双特征联合提取的电力营销命名实体识别方法 Pending CN116579342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539890.2A CN116579342A (zh) 2023-05-15 2023-05-15 基于双特征联合提取的电力营销命名实体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539890.2A CN116579342A (zh) 2023-05-15 2023-05-15 基于双特征联合提取的电力营销命名实体识别方法

Publications (1)

Publication Number Publication Date
CN116579342A true CN116579342A (zh) 2023-08-11

Family

ID=87542704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539890.2A Pending CN116579342A (zh) 2023-05-15 2023-05-15 基于双特征联合提取的电力营销命名实体识别方法

Country Status (1)

Country Link
CN (1) CN116579342A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756624A (zh) * 2023-08-17 2023-09-15 中国民用航空飞行学院 一种面向民航监管事项检查记录处理的文本分类方法
CN118071385A (zh) * 2024-04-18 2024-05-24 湖北华中电力科技开发有限责任公司 一种面向全物联网架构的营销业务融合方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756624A (zh) * 2023-08-17 2023-09-15 中国民用航空飞行学院 一种面向民航监管事项检查记录处理的文本分类方法
CN116756624B (zh) * 2023-08-17 2023-12-12 中国民用航空飞行学院 一种面向民航监管事项检查记录处理的文本分类方法
CN118071385A (zh) * 2024-04-18 2024-05-24 湖北华中电力科技开发有限责任公司 一种面向全物联网架构的营销业务融合方法和系统

Similar Documents

Publication Publication Date Title
CN109684440B (zh) 基于层级标注的地址相似度度量方法
CN107992597B (zh) 一种面向电网故障案例的文本结构化方法
CN110866542B (zh) 一种基于特征可控融合的深度表示学习方法
CN116579342A (zh) 基于双特征联合提取的电力营销命名实体识别方法
CN110929034A (zh) 一种基于改进lstm的商品评论细粒度情感分类方法
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN112883714B (zh) 基于依赖图卷积和迁移学习的absc任务句法约束方法
CN110232395A (zh) 一种基于故障中文文本的电力系统故障诊断方法
CN112699685B (zh) 基于标签引导的字词融合的命名实体识别方法
CN113742733B (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN114912423A (zh) 一种基于迁移学习的方面级别情感分析方法及装置
Chen et al. Deep neural networks for multi-class sentiment classification
Yao et al. Knowledge enhanced person-job fit for talent recruitment
CN111177402A (zh) 基于分词处理的评价方法、装置、计算机设备及存储介质
CN110874392B (zh) 基于深度双向注意力机制的文本网络信息融合嵌入方法
CN114579741B (zh) 融合句法信息的gcn-rn方面级情感分析方法和系统
Cai et al. Image captioning with semantic-enhanced features and extremely hard negative examples
CN112347780B (zh) 基于深度神经网络的司法事实查明生成方法、装置、介质
CN114648029A (zh) 一种基于BiLSTM-CRF模型的电力领域命名实体识别方法
CN114048314A (zh) 一种自然语言隐写分析方法
CN117034921B (zh) 一种基于用户数据的提示学习训练方法、装置和介质
CN116342167B (zh) 基于序列标注命名实体识别的智能成本度量方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination