CN115033702A - 一种基于集成学习的变电站选址知识抽取方法 - Google Patents
一种基于集成学习的变电站选址知识抽取方法 Download PDFInfo
- Publication number
- CN115033702A CN115033702A CN202210206991.3A CN202210206991A CN115033702A CN 115033702 A CN115033702 A CN 115033702A CN 202210206991 A CN202210206991 A CN 202210206991A CN 115033702 A CN115033702 A CN 115033702A
- Authority
- CN
- China
- Prior art keywords
- training
- lstm
- entity
- relationship
- site selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 16
- 241000288105 Grus Species 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于集成学习的变电站选址知识抽取方法,包括如下步骤,采集变电站工程选址相关标准和规范,作为训练集数据;将LSTM‑LSTM‑Bias模型和BERT‑BIGRU‑CRF模型进行结合改进,形成BcBERT‑BiGRU‑LSTM模型;利用训练数据集和bagging算法训练依次对LSTM‑LSTM‑Bias模型、BERT‑BIGRU‑CRF模型和BcBERT‑BiGRU‑LSTM模型进行数据训练得到三个个体学习器和三种预测实体关系集合;使用投票方式将三个个体学习器进行组合,投票结果则为最终的预测结果,即获得实体关系集合;对获得的实体集合进行属性抽取。本发明所述方法将集成学习中的bagging算法应用于知识图谱中的实体关系联合抽取技术中,提高系统的泛化能力,减少整体的错误率,提高对变电站规范文本中实体和关系的识别效果。
Description
技术领域
本发明涉及变电站选址技术领域,特别是一种基于集成学习的变电站选址知识抽取方法。
背景技术
目前,常用的变电站选址知识抽取方法有用于实体抽取的基于规则和词典的方法,基于统计的方法,基于深度学习的方法等,有用于关系抽取的基于模板的关系抽取方法,基于监督学习的关系抽取方法等,而实体关系联合抽取技术广泛应用深度学习技术,实体关系联合抽取模型广泛应用的LSTM-LSTM-Bias 模型,BERT-BIGRU-CRF模型等均应用了深度学习技术。而集成学习也是一种十分强大的学习模型,通过将多个学习器组合起来成为一个强学习器,进而提高系统的性能,在许多学科和工程领域得到了应用。若将集成学习中的bagging 算法应用于知识提取中可以有效提升实体识别的识别效果,在数据集上也将有更好地预测性能。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的基于集成学习的变电站选址知识抽取方法中存在的问题,提出了本发明。
因此,本发明所要解决的问题在于如何提供一种基于集成学习的变电站选址知识抽取方法。
为解决上述技术问题,本发明提供如下技术方案:一种基于集成学习的变电站选址知识抽取方法,其包括,采集变电站工程选址相关标准和规范,作为训练集数据;将LSTM-LSTM-Bias模型和BERT-BIGRU-CRF模型进行结合改进,形成BcBERT-BiGRU-LSTM模型;利用训练数据集和bagging算法训练依次对 LSTM-LSTM-Bias模型、BERT-BIGRU-CRF模型和BcBERT-BiGRU-LSTM模型进行数据训练得到三个个体学习器和三种预测实体关系集合;使用投票方式将三个个体学习器进行组合,投票结果则为最终的预测结果,即获得实体关系集合;对获得的实体集合进行属性抽取,至此获得训练数据集的实体、关系和属性集合,即完成知识抽取工作。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:创建BcBERT-BiGRU-LSTM模型包括如下步骤:构造词嵌入层,该层由变电站知识选址知识文本和通用领域BERT组成,将单词转化成词嵌入向量;构造编码层,其由两个并行的GRU组成;构造解码层,其由一个LSTM网络层构成,用于产生标记序列;构造output-software层,将解码层的输出向量进行归一化处理,创建BcBERT-BiGRU-LSTM模型。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:获得三个不同的个体学习器和三种预测实体关系集合包括如下步骤,用训练数据集和bagging算法训练训练BcBERT-BiGRU-LSTM模型得到个体学习器1,并获得个体学习器1的预测实体关系集合entity-relat1;用训练数据集和bagging算法训练训练LSTM-LSTM-Bias模型得到个体学习器2,并获得个体学习器2的预测实体关系集合entity-relat2;用训练数据集和bagging算法训练训练 BERT-BIGRU-CRF模型得到个体学习器3,并获得个体学习器3的预测实体关系集合entity-relat3。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:所述bagging算法中,输入样本集D={(x1,y1),(x2,y2),....,(xm, ym)},弱分类器迭代次数T,最终输出强分类器f(x),对训练集进行t次随机采样,其中t=1,2,...,T,共采样n次,得到采样集Dt,通过采样集Dt训练三种模型。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:获得实体关系集合包括如下步骤,对entity—relat1和entity—relat2进行投票,将其中相同的元素保留下来,并将其存放于公共集合entity_all当中;对 entity—relat2和entity—relat3进行投票,将其中相同的元素保留下来,同时判断集合entity_all中是否存在这些元素,已存在的元素不再重复添加,将集合 entity_all中不存在的元素添加到集合entity_all中;对entity—relat1和entity—relat3 进行投票,将其中相同的元素保留下来,同时判断集合entity_all中是否存在这些元素,已存在的元素不再重复添加,将集合entity_all中不存在的元素添加到集合entity_all中。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:对获得的实体集合进行属性抽取时,采用BiLSTM-CRF模型进行抽取。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:使用BiLSTM-CRF模型对所述实体集合进行所述训练集数据的属性抽取,并得到属性集合包括以下步骤:使用skip-gram和CBOW方法获得词向量;对获得的词向量进行双向信息读取,从而更好地获取上下文信息;对获得的上下文信息进行序列标注和分词任务,进而可以抽取出属性和属性值。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:构造词嵌入层时,一个句子表示为长度为L的序列,每个单词用多维的向量wi表示,即W={w1,...,wn}。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:构造编码层时,根据当前时刻输入量wi、前一个时刻记忆单元输出向量 yt-1、前一个时刻隐藏层的状态ht-1的共同作用得到当前隐藏层的状态向量ht。
作为本发明所述基于集成学习的变电站选址知识抽取方法的一种优选方案,其中:构造解码层时,根据前一个时刻的记忆单元输出的向量yt-1、预测的结果 Tt-1、隐藏层状态ht-1和当前时刻的隐藏层状态ht计算出当前时刻隐藏层状态。
本发明有益效果为:将集成学习中的bagging算法应用于知识图谱中的实体关系联合抽取技术中,提高系统的泛化能力,减少整体的错误率,提高对变电站规范文本中实体和关系的识别效果,对提高变电站选址知识图谱的覆盖率具有重要意义和良好的使用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为基于集成学习的变电站选址知识抽取方法的流程图。
图2为基于集成学习的变电站选址知识抽取方法的BcBERT-BiGRU-LSTM 模型图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1和图2,为本发明第一个实施例,该实施例提供了一种基于集成学习的变电站选址知识抽取方法,基于集成学习的变电站选址知识抽取方法包括如下步骤,
S1:采集变电站工程选址相关标准和规范,作为训练集数据;
S2:将LSTM-LSTM-Bias模型和BERT-BIGRU-CRF模型进行结合改进,形成 BcBERT-BiGRU-LSTM模型;
S3:利用训练数据集和bagging算法训练依次对LSTM-LSTM-Bias模型、 BERT-BIGRU-CRF模型和BcBERT-BiGRU-LSTM模型进行数据训练得到三个个体学习器和三种预测实体关系集合;
S4:使用投票方式将三个个体学习器进行组合,投票结果则为最终的预测结果,即获得实体关系集合;
S5:对获得的实体集合进行属性抽取,至此获得训练数据集的实体、关系和属性集合,即完成知识抽取工作。
具体的,在步骤S2中,经搜索关于实体关系联合抽取的资料,得知目前广泛使用的实体关系联合抽取模型为LSTM-LSTM-Bias和BERT-BIGRU-CRF,故而采用上述两个模型。
进一步的,步骤S2中,BcBERT-BiGRU-LSTM模型的创建包括如下步骤,
S21:构造词嵌入层,该层由变电站知识选址知识文本和通用领域BERT组成,将单词转化成词嵌入向量,一个句子表示为长度为L的序列,每个单词用多维的向量wi表示,即W={w1,...,wn};
S22:构造编码层,其由两个并行的GRU组成,并且两个GRU分别为前向GRU层和后向GRU层,根据当前时刻输入量wi、前一个时刻记忆单元输出向量yt-1、前一个时刻隐藏层的状态ht-1的共同作用得到当前隐藏层的状态向量 ht;
S23:构造解码层,其由一个LSTM网络层构成,用于产生标记序列,解码层根据前一个时刻的记忆单元输出的向量yt-1、预测的结果Tt-1、隐藏层状态ht-1和当前时刻的隐藏层状态ht计算出当前时刻隐藏层状态;
S24:构造output-software层,将解码层的输出向量进行归一化处理,至此构造出改进的实体关系联合抽取模型BcBERT-BiGRU-LSTM。
进一步的,在步骤S3中,获得三个不同的个体学习器和三种预测实体关系集合包括如下步骤,
S31:用训练数据集和bagging算法训练训练BcBERT-BiGRU-LSTM模型得到个体学习器1,并获得个体学习器1的预测实体关系集合entity-relat1;
S32:用训练数据集和bagging算法训练训练LSTM-LSTM-Bias模型得到个体学习器2,并获得个体学习器2的预测实体关系集合entity-relat2;
S33:用训练数据集和bagging算法训练训练BERT-BIGRU-CRF模型得到个体学习器3,并获得个体学习器3的预测实体关系集合entity-relat3;
在bagging算法中,输入样本集D={(x1,y1),(x2,y2),....,(xm,ym)},弱分类器迭代次数T,最终输出强分类器f(x),对训练集进行t次随机采样,其中t=1,2,...,T,共采样n次,得到采样集Dt,通过采样集Dt训练三种模型。采样集中的样本是用来训练弱学习器的,如果没有采样集则训练弱学习器的样本太多,工作量太大。采样集中的各样本是独立的,采用上述方法得到的采样集相对独立,各个数据不相互影响。
在步骤S4中,获得实体关系集合包括如下步骤,
S41:对entity—relat1和entity—relat2进行投票,将其中相同的元素保留下来,并将其存放于公共集合entity_all当中;
S42:对entity—relat2和entity—relat3进行投票,将其中相同的元素保留下来,同时判断集合entity_all中是否存在这些元素,已存在的元素不再重复添加,将集合entity_all中不存在的元素添加到集合entity_all中;
S43:对entity—relat1和entity—relat3进行投票,将其中相同的元素保留下来,同时判断集合entity_all中是否存在这些元素,已存在的元素不再重复添加,将集合entity_all中不存在的元素添加到集合entity_all中。
在步骤S5中,使用BiLSTM-CRF模型对所述实体集合进行所述训练集数据的属性抽取,具体包括以下步骤,
S51:使用skip-gram和CBOW方法获得词向量;
S52:对获得的词向量进行双向信息读取,从而更好地获取上下文信息;
S53:对获得的上下文信息进行序列标注和分词任务,进而可以抽取出属性和属性值。
综上所述,本发明将集成学习中的bagging算法应用于知识图谱中的实体关系联合抽取技术中,提高系统的泛化能力,减少整体的错误率,提高对变电站规范文本中实体和关系的识别效果,对提高变电站选址知识图谱的覆盖率具有重要意义和良好的使用价值。
实施例2
本发明第二个实施例提供了一种基于集成学习的变电站选址知识抽取方法的具体示例。
具体的,将变电站选址相关规范、标准等资料进行处理,按照其中实体与关系的类别,筛选出其中38360条与变电站选址领域密切相关的语句作为变电站选址领域的数据集,用以检验本文提出的模型在变电站选址实体关系抽取的表现,将数据集的数据按照2:1的比例随机划分为训练集和测试集,该数据集的具体信息如表1示。
表1变电站选址领域的数据集
为了验证本发明提出的集成学习模型在变电站选址数据集上的有效性,对不同模型进行对比实验,测试命名实体识别、关系抽取的Precision、Recall以及 F1值,具体结果如表2所示。
表2对比实验结果
在评价变电站选址领域的实体关系抽取效果时,若实体边界被模型标记正确,则认为实体识别结果正确;若实体边界及所属关系类别均标记正确,即三元组抽取正确,则判定关系抽取结果正确。通过准确率(Precision)、召回率(Recall)以及F1值这3项指标来评价模型的性能,其中Precision=Nr/Nt, Recall=Nr/NA,F1=2*Precision*Recall/(Precision+Recall)。Nr为抽取的正确三元组的数量,NA为测试集中标记的三元组的数量,Nt为抽取的三元组数量。将F1 值作为评价模型性能的综合性指标,属性抽取结果如表3所示。
表3 BiLSTM-CRF模型的属性抽取结果
训练数据集中出现的属性个数 | 19126 |
抽取出来的属性 | 11651 |
正确抽取的属性 | 4710 |
测试集中属性的个数 | 9330 |
Precision | 40.43% |
Recall | 50.48% |
本发明提出的集成学习模型在实体识别和关系抽取任务上都取得最高的 F1值,说明该模型能有效地抽取变电站领域的实体和关系。与LSTM-LSTM-Bias 模型和BERT-BIGRU-CRF模型相比BcBERT-BiGRU-LSTM模型提前进行了变电站文本深度训练,使得预训练语言模型具备一定的领域适配性,更适合实体识别任务,其命名实体识别和关系抽取的F1均为最高值。集成学习模型则通过bagging算法将三种模型巧妙地结合在一起,F1值在实体识别和关系抽取任务上相较于BcBERT-BiGRU-LSTM模型分别提升了2.8%和7.2%,综合性能优于前三种独立模型,该实验证明了集成学习更加适合变电站工程选址领域实体识别和关系抽取的任务。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于集成学习的变电站选址知识抽取方法,其特征在于:包括如下步骤,
采集变电站工程选址相关标准和规范,作为训练集数据;
将LSTM-LSTM-Bias模型和BERT-BIGRU-CRF模型进行结合改进,形成BcBERT-BiGRU-LSTM模型;
利用训练数据集和bagging算法训练依次对LSTM-LSTM-Bias模型、BERT-BIGRU-CRF模型和BcBERT-BiGRU-LSTM模型进行数据训练得到三个个体学习器和三种预测实体关系集合;
使用投票方式将三个个体学习器进行组合,投票结果则为最终的预测结果,即获得实体关系集合;
对获得的实体集合进行属性抽取,至此获得训练数据集的实体、关系和属性集合,即完成知识抽取工作。
2.如权利要求1所述的基于集成学习的变电站选址知识抽取方法,其特征在于:创建BcBERT-BiGRU-LSTM模型包括如下步骤:
构造词嵌入层,该层由变电站知识选址知识文本和通用领域BERT组成,将单词转化成词嵌入向量;
构造编码层,其由两个并行的GRU组成;
构造解码层,其由一个LSTM网络层构成,用于产生标记序列;
构造output-software层,将解码层的输出向量进行归一化处理,创建BcBERT-BiGRU-LSTM模型。
3.如权利要求2所述的基于集成学习的变电站选址知识抽取方法,其特征在于:获得三个不同的个体学习器和三种预测实体关系集合包括如下步骤,
用训练数据集和bagging算法训练训练BcBERT-BiGRU-LSTM模型得到个体学习器1,并获得个体学习器1的预测实体关系集合entity-relat1;
用训练数据集和bagging算法训练训练LSTM-LSTM-Bias模型得到个体学习器2,并获得个体学习器2的预测实体关系集合entity-relat2;
用训练数据集和bagging算法训练训练BERT-BIGRU-CRF模型得到个体学习器3,并获得个体学习器3的预测实体关系集合entity-relat3。
4.如权利要求1~3任一所述的基于集成学习的变电站选址知识抽取方法,其特征在于:所述bagging算法中,输入样本集D={(x1,y1),(x2,y2),....,(xm,ym)},弱分类器迭代次数T,最终输出强分类器f(x),对训练集进行t次随机采样,其中t=1,2,...,T,共采样n次,得到采样集Dt,通过采样集Dt训练三种模型。
5.如权利要求4所述的基于集成学习的变电站选址知识抽取方法,其特征在于:获得实体关系集合包括如下步骤,
对entity—relat1和entity—relat2进行投票,将其中相同的元素保留下来,并将其存放于公共集合entity_all当中;
对entity—relat2和entity—relat3进行投票,将其中相同的元素保留下来,同时判断集合entity_all中是否存在这些元素,已存在的元素不再重复添加,将集合entity_all中不存在的元素添加到集合entity_all中;
对entity—relat1和entity—relat3进行投票,将其中相同的元素保留下来,同时判断集合entity_all中是否存在这些元素,已存在的元素不再重复添加,将集合entity_all中不存在的元素添加到集合entity_all中。
6.如权利要求5所述的基于集成学习的变电站选址知识抽取方法,其特征在于:对获得的实体集合进行属性抽取时,采用BiLSTM-CRF模型进行抽取。
7.如权利要求6所述的基于集成学习的变电站选址知识抽取方法,其特征在于:使用BiLSTM-CRF模型对所述实体集合进行所述训练集数据的属性抽取,并得到属性集合包括以下步骤:
使用skip-gram和CBOW方法获得词向量;
对获得的词向量进行双向信息读取,从而更好地获取上下文信息;
对获得的上下文信息进行序列标注和分词任务,进而可以抽取出属性和属性值。
8.如权利要求2或3所述的基于集成学习的变电站选址知识抽取方法,其特征在于:构造词嵌入层时,一个句子表示为长度为L的序列,每个单词用多维的向量wi表示,即W={w1,...,wn}。
9.如权利要求8所述的基于集成学习的变电站选址知识抽取方法,其特征在于:构造编码层时,根据当前时刻输入量wi、前一个时刻记忆单元输出向量yt-1、前一个时刻隐藏层的状态ht-1的共同作用得到当前隐藏层的状态向量ht。
10.如权利要求9所述的基于集成学习的变电站选址知识抽取方法,其特征在于:构造解码层时,根据前一个时刻的记忆单元输出的向量yt-1、预测的结果Tt-1、隐藏层状态ht-1和当前时刻的隐藏层状态ht计算出当前时刻隐藏层状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210206991.3A CN115033702B (zh) | 2022-03-04 | 2022-03-04 | 一种基于集成学习的变电站选址知识抽取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210206991.3A CN115033702B (zh) | 2022-03-04 | 2022-03-04 | 一种基于集成学习的变电站选址知识抽取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115033702A true CN115033702A (zh) | 2022-09-09 |
CN115033702B CN115033702B (zh) | 2024-06-04 |
Family
ID=83119382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210206991.3A Active CN115033702B (zh) | 2022-03-04 | 2022-03-04 | 一种基于集成学习的变电站选址知识抽取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115033702B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826303A (zh) * | 2019-11-12 | 2020-02-21 | 中国石油大学(华东) | 一种基于弱监督学习的联合信息抽取方法 |
CN110990547A (zh) * | 2019-11-29 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 一种话术生成方法和系统 |
CN111626056A (zh) * | 2020-04-11 | 2020-09-04 | 中国人民解放军战略支援部队信息工程大学 | 基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置 |
WO2021082953A1 (zh) * | 2019-10-29 | 2021-05-06 | 平安科技(深圳)有限公司 | 机器阅读理解方法、设备、存储介质及装置 |
CN113032570A (zh) * | 2021-04-12 | 2021-06-25 | 武汉工程大学 | 一种基于ATAE-BiGRU的文本方面情感分类方法及系统 |
CN113051887A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市北科瑞声科技股份有限公司 | 一种公告信息元素抽取方法、系统及装置 |
CN113221569A (zh) * | 2021-05-27 | 2021-08-06 | 中国人民解放军军事科学院国防工程研究院工程防护研究所 | 一种毁伤试验文本信息抽取方法 |
CN113392986A (zh) * | 2021-02-01 | 2021-09-14 | 重庆交通大学 | 一种基于大数据的公路桥梁信息抽取方法及管理养护系统 |
-
2022
- 2022-03-04 CN CN202210206991.3A patent/CN115033702B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021082953A1 (zh) * | 2019-10-29 | 2021-05-06 | 平安科技(深圳)有限公司 | 机器阅读理解方法、设备、存储介质及装置 |
CN110826303A (zh) * | 2019-11-12 | 2020-02-21 | 中国石油大学(华东) | 一种基于弱监督学习的联合信息抽取方法 |
CN110990547A (zh) * | 2019-11-29 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 一种话术生成方法和系统 |
CN113051887A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市北科瑞声科技股份有限公司 | 一种公告信息元素抽取方法、系统及装置 |
CN111626056A (zh) * | 2020-04-11 | 2020-09-04 | 中国人民解放军战略支援部队信息工程大学 | 基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置 |
CN113392986A (zh) * | 2021-02-01 | 2021-09-14 | 重庆交通大学 | 一种基于大数据的公路桥梁信息抽取方法及管理养护系统 |
CN113032570A (zh) * | 2021-04-12 | 2021-06-25 | 武汉工程大学 | 一种基于ATAE-BiGRU的文本方面情感分类方法及系统 |
CN113221569A (zh) * | 2021-05-27 | 2021-08-06 | 中国人民解放军军事科学院国防工程研究院工程防护研究所 | 一种毁伤试验文本信息抽取方法 |
Non-Patent Citations (2)
Title |
---|
BOAN TONG等: "research on named entity recognition based on bert-bigru-crf model in spacecraft field", 2021 IEEE INITERNATIONAL CONFERENCE ON COMPUTER SCIENCE, ELECTRONIC INFORMATION ENGINEERING AND INTELLIGENT CONTROL TECHNOLOGY, 26 September 2021 (2021-09-26), pages 747 - 753, XP034001367, DOI: 10.1109/CEI52496.2021.9574470 * |
李灵芳;杨佳琦;李宝山;杜永兴;胡伟健;: "基于BERT的中文电子病历命名实体识别", 内蒙古科技大学学报, vol. 39, no. 01, 15 March 2020 (2020-03-15), pages 71 - 77 * |
Also Published As
Publication number | Publication date |
---|---|
CN115033702B (zh) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110209823B (zh) | 一种多标签文本分类方法及系统 | |
CN109885824B (zh) | 一种层次的中文命名实体识别方法、装置及可读存储介质 | |
JP5128629B2 (ja) | 品詞タグ付けシステム、品詞タグ付けモデルのトレーニング装置および方法 | |
CN111738004A (zh) | 一种命名实体识别模型的训练方法及命名实体识别的方法 | |
CN109785833A (zh) | 用于智能设备的人机交互语音识别方法及系统 | |
CN111782768A (zh) | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 | |
CN109992775A (zh) | 一种基于高级语义的文本摘要生成方法 | |
CN112347780B (zh) | 基于深度神经网络的司法事实查明生成方法、装置、介质 | |
CN112200664A (zh) | 基于ernie模型和dcnn模型的还款预测方法 | |
CN111145914A (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN114168754A (zh) | 一种基于句法依赖和融合信息的关系抽取方法 | |
CN114387537A (zh) | 一种基于描述文本的视频问答方法 | |
CN116070632A (zh) | 一种非正式文本实体标签识别方法和装置 | |
CN117113937A (zh) | 一种基于大规模语言模型的电力领域阅读理解方法和系统 | |
CN114490954A (zh) | 一种基于任务调节的文档级生成式事件抽取方法 | |
CN114781381A (zh) | 基于规则和神经网络模型融合的标准指标抽取方法 | |
CN113065352B (zh) | 一种电网调度工作文本的操作内容识别方法 | |
CN111666375B (zh) | 文本相似度的匹配方法、电子设备和计算机可读介质 | |
CN116049349B (zh) | 基于多层次注意力和层次类别特征的小样本意图识别方法 | |
JP2011028638A (ja) | 要約文作成装置、要約文作成方法、プログラム | |
CN115033702B (zh) | 一种基于集成学习的变电站选址知识抽取方法 | |
CN116562294A (zh) | 一种基于提示学习的桥梁文本小样本命名实体识别方法 | |
CN115358227A (zh) | 一种基于短语增强的开放域关系联合抽取方法及系统 | |
CN115964486A (zh) | 一种基于数据增强的小样本意图识别方法 | |
CN115525777A (zh) | 一种基于自然语言问答的知识图谱三元组显著性评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |