CN113935502B - 基于双重注意力机制的面向大坝应急工况事件抽取方法 - Google Patents
基于双重注意力机制的面向大坝应急工况事件抽取方法 Download PDFInfo
- Publication number
- CN113935502B CN113935502B CN202111202116.XA CN202111202116A CN113935502B CN 113935502 B CN113935502 B CN 113935502B CN 202111202116 A CN202111202116 A CN 202111202116A CN 113935502 B CN113935502 B CN 113935502B
- Authority
- CN
- China
- Prior art keywords
- dam
- graph
- network
- attention
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 37
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 230000009977 dual effect Effects 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 88
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000007689 inspection Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000001419 dependent effect Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract 1
- 238000009792 diffusion process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于双重注意力机制的面向大坝应急工况事件抽取方法，步骤包括数据预处理、构建依赖关系图、构建双重注意力网络和文档级论元填充。数据预处理步骤包括大坝应急工况语料库的标记处理以及句子编码。构建依赖关系图步骤包括借助依赖关系，辅助模型挖掘句法关系。构建双重注意力网络步骤包括基于图转换网络，加权融合注意力网络，捕捉句中关键的语义信息。文档级论元填充步骤包括利用关键句检测和相似性排序，进行文档级论元填充。本发明引入依赖关系，基于双重注意力机制，克服了长距离依赖，识准确率高，减少了大量的人工成本。
Description
技术领域
本发明涉及一种基于双重注意力机制的面向大坝应急工况事件抽取方法，属于自然语言处理技术领域。
背景技术
在水利工程领域，大坝集防洪、蓄水、发电等功能于一身，在其长周期运行过程中，会遇到很多自然风险事件，如地震、洪水、暴雨等事件。在这些特殊事件发生后，全面地专项检查对大坝维护来说至关重要，此外，大坝的日常检查与检修也是保障大坝安全的重要措施。历年来，大坝应急工况下的安全运行记录会产出繁多的专项检查报告和日常巡检报告，报告都相对冗长，如何从这些大量的非结构化的文本数据中挖掘出有使用价值的信息，仍是一个难题。信息抽取研究正是这种背景下应运而生的，事件抽取是信息抽取研究中最具挑战性的任务之一。在信息时代的背景下，单纯依靠手工劳动来识别事件论元并整理成结构化数据费时又费力，因此大坝应急工况事件的自动抽取具有重要的意义。
我们在事件抽取的研究中发现，现有的卷积神经网络和递归神经网络等深度学习网络已被用于生成低维向量，以自动表示文本语义信息,并基于这些语义向量进一步提取事件论元。虽然深度神经网络可以自动学习底层特征，但没有充分利用句法关系，且事件信息通常分散在文档的多个句子中，易出现论元角色缺失的现象。
发明内容
发明目的：为了克服现有技术中存在的问题与不足，本发明引入依赖关系，提出基于双重注意力机制的面向大坝应急工况事件抽取方法。将大坝历年专项检查报告和日常巡检报告里的信息，以结构化的方式存储和展现，供用户查询和研究人员分析利用，极大地提高从非结构化信息中获取重要信息的效率。
技术方案：一种基于双重注意力机制的面向大坝应急工况事件抽取方法，能够基于图转换注意网络和注意力网络来挖掘句法关系，对大坝应急工况语料库进行事件论元角色抽取和填充，包括以下步骤：
(1)数据预处理：包括对大坝应急工况语料库的标记处理以及将包含大坝应急工况事件信息的句子和文档进行编码；
(2)构建依赖关系图：引入依赖关系，借助句子结构和语义结构构建依赖关系图，以识别和分类大坝应急工况事件的所有参数；
(3)构建双重注意力网络：基于图转换注意网络生成新的依赖弧，并聚合节点信息，捕获长程依赖关系和潜在交互；然后，引入注意力网络，将图转换注意网络层和注意力网络层提取的特征按设定比例融合，捕捉句中关键的语义信息，抽取句子级事件论元；
(4)文档级论元填充：检测大坝应急工况文档中具备关键事件的句子，利用孪生神经网络将周围句子中相似度最高的论元角色填充到关键事件缺失的部分，从而实现了面向大坝应急工况事件抽取。
进一步的，所述应急工况指的是：大坝在自然灾害下的工作状态。
进一步的，所述大坝应急工况语料库包括大坝历年专项检查报告和日常巡检报告。
进一步的，所述步骤(1)中数据预处理的具体步骤如下：采用BIO模式将大坝专项检查报告和日常巡检报告的数据进行标注；用ALBERT模型最后一层312维向量作为词嵌入向量，串联事件类型嵌入向量、实体类型嵌入向量和词性标注嵌入向量；通过双向长短记忆网络挖掘串联后的嵌入向量，得到隐藏向量H＝h1,...,hn；所述事件类型嵌入向量为地震、暴雨、泄洪、汛前安全大检查、全面专项检查、日常检修、日常检查等典型事件所对应的数学向量，所述实体类型嵌入向量为人名、组织、位置、时间、日期、数值、百分比等对应的数学向量，所述词性标注嵌入向量为名词、动词、形容词、数量词、代词等对应的数学向量。
进一步的，所述步骤(2)中构建依赖关系图的具体步骤如下：根据大坝应急工况语料库中的单词关系构建依赖树的邻接矩阵Ad和依赖标签分数矩阵
通过计算步骤(1)获得的隐藏向量hi和hj之间分数得到语义分数矩阵As；将Ad、
As串联得到依赖关系图矩阵
进一步的，所述步骤(3)中构建双重注意力网络的具体步骤如下：提出图转换注意网络，将图卷积网络替换为图注意网络，进行合理的权重分配，图转换注意网络是对图转化网络的改进，将图转换网络中的图卷积网络替换成图注意网络。为依赖关系中触发器和关键论元的弧赋予更高的权重是合理的，能充分发挥依赖关系的作用；图转换注意网络通过图转换器层对邻接矩阵A集合采用1×1卷积，通过矩阵相乘生成新的元路径图Al(新的依赖弧)；图注意层对元路径图Al每个通道应用图注意网络，并将多个节点表示串联为Z向量；计算注意力网络层权重矩阵αa，将αa点乘隐藏向量H生成向量
用超参数λ连接图转换注意网络层生成的Z向量和注意力网络层生成的
向量得到融合向量
融合公式如下：
其中，σ是sigmoid函数，最后通过序列标注的方式进行事件抽取，利用条件随机场CRF挖掘特征融合向量
以预测每个字符的标签，以Focal loss损失函数和Adam优化器解决无用信息O冗余导致的样本不均衡问题。
进一步的，所述步骤(4)中文档级论元填充的具体步骤如下：将大坝专项检查报告和日常巡检报告的论元标签、实体类型、句子信息和文档信息四种嵌入向量进行串联；建立文本卷积神经网络，将串联后的向量作为输入向量，检测事件中关键句子并判别关键事件；使用基于曼哈顿长短记忆网络的孪生神经网络，计算句子间语义相似性，进行论元角色填充。
基于双重注意力机制的面向大坝应急工况事件抽取系统，其特征在于，包括以下模块：
(1)数据预处理模块：包括对大坝应急工况语料库的标记处理以及将包含大坝应急工况事件信息的句子和文档进行编码；
(2)构建依赖关系图模块：引入依赖关系，借助句子结构和语义结构构建依赖关系图，以识别和分类大坝应急工况事件的所有参数；
(3)构建双重注意力网络模块：基于图转换注意网络生成新的依赖弧，并聚合节点信息，捕获长程依赖关系和潜在交互；然后，引入注意力网络，将图转换注意网络层和注意力网络层提取的特征按设定比例融合，捕捉句中关键的语义信息，抽取句子级事件论元；
(4)文档级论元填充模块：检测大坝应急工况文档中具备关键事件的句子，利用孪生神经网络将周围句子中相似度最高的论元角色填充到关键事件缺失的部分。
系统的具体实现与方法相同。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的基于双重注意力机制的面向大坝应急工况事件抽取方法。
一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的基于双重注意力机制的面向大坝应急工况事件抽取方法的计算机程序。
有益效果：本发明与现有技术相比具有以下优点：从大坝专项检查报告和日常巡检报告等非结构化信息中抽取出有用的事件，并以结构化的方式呈现，提升了检索信息的能力，节约了人力成本。从大坝应急工况的文本数据中提取特征，构建词嵌入向量，并结合双向长短记忆网络捕获上下文重要信息，提升了模型预测能力；通过图转换注意网络生成新的依赖弧和聚合节点信息，捕获长程依赖关系和潜在交互，加权结合注意力网络，捕捉句中关键的语义信息，抽取句子级事件论元，提高事件论元角色抽取的性能；融入事件类型信息，将含多个事件的句子按事件类型分别进行论元识别，解决角色重叠的问题；解决论元缺失问题，提高论元分类的准确性。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明具体实施例中文本卷积神经网络方法框架图；
图3为本发明具体实施例中基于曼哈顿长短记忆网络的孪生神经网络方法框架图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，一种基于双重注意力机制的面向大坝应急工况事件抽取方法，具体包含以下步骤：
步骤(1)数据预处理：包括对大坝应急工况语料库的标记处理以及基于四种嵌入向量将包含大坝应急工况事件信息的句子和文档进行编码；
(1.1)采用BIO模式将大坝专项检查报告和日常巡检报告的数据进行标注，将每个元素标记为B-X、I-X或O，其中，B-X表示属于X类型的关键论元的开始部分，I-X表示属于X类型的关键论元中间部分，O表示句中除关键论元外其他单词；
例如，“2018年8月13日在云南玉溪市通海县发生M5.0级地震，震源深度7公里，地震震中距漫湾电站大坝直线距离约为231公里。”的BIO模式数据标注如下：2B-Time0I-Time1I-Time8I-Time年I-Time8I-Time月I-Time1I-Time3I-Time日I-Time在O云B-Place南I-Place玉I-Place溪I-Place市I-Place通I-Place海I-Place县I-Place发生MB-Magnitude5I-Magnitude.I-Magnitude0I-Magnitude级I-Magnitude地O震O，O震O源O深O度O7B-Depth公I-Depth里I-Depth，O地O震O震O中O距O漫B-Place湾I-Place电I-Place站I-Place大I-Place坝I-Place直O线O距O离O约O为O2B-Range3I-Range1I-Range公I-Range里I-Range。O
(1.2)给定一个长为n的句子W＝w1,w2,...,wn；
(1.3)用ALBERT模型最后一层312维向量作为词嵌入向量，事件类型嵌入向量、实体类型嵌入向量和词性标注嵌入向量通过可训练查找表生成；
(1.4)将词嵌入向量、事件类型嵌入向量、实体类型嵌入向量和词性标注嵌入向量进行串联，通过BiLSTM挖掘串联后的嵌入向量，捕获上下文重要信息，得到隐藏向量序列H＝h1,...,hn，并作为下一步表示向量。
步骤(2)构建依赖关系图：引入依赖关系，借助句子结构和语义结构构建依赖关系图，以识别和分类大坝应急工况事件的所有参数；
(2.1)使用依赖树的邻接矩阵Ad作为事件抽取的句法结构之一，Ad是一个N×N的二元矩阵，当单词wi和wj在依赖树中有链接，则Ad(i,j)值设为1，否则为0；
(2.2)根据依赖标签初始化矩阵Adl，当单词wi和wj之间存在依赖边且依赖标签为r，Adl(i,j)从可训练的嵌入查找表中找到r的嵌入向量，该向量维度为p，否则用p维全零向量初始化Adl(i,j)；
(2.3)将依赖标签矩阵Adl转化成依赖标签分数矩阵
转换公式如下：
其中，U是可训练权重矩阵；
(2.4)计算隐藏向量hi和hj之间分数获得语义分数矩阵As，计算公式如下：
ki＝Ukhi,qi＝Uqhi,
其中，Uk和Uq是可训练权重矩阵；
(2.5)依赖关系图矩阵
其中Ad是依赖树的邻接矩阵，
是依赖标签分数矩阵，As是语义分数矩阵。
步骤(3)构建双重注意力网络：基于图转换注意网络生成新的依赖弧，并聚合节点信息，捕获长程依赖关系和潜在交互；然后，引入注意力网络，将图转换注意网络层和注意力网络层提取的特征按设定比例融合，捕捉句中关键的语义信息，抽取句子级事件论元；
(3.1)提出图转换注意网络，将图卷积网络替换为图注意网络，进行合理的权重分配，图注意层生成的向量经过Dropout层，防止模型过拟合；图转换注意网络是对图转化网络的改进，将图转换网络中的图卷积网络替换成图注意网络。为依赖关系中触发器和关键论元的弧赋予更高的权重是合理的，能充分发挥依赖关系的作用。
(3.2)图转换注意网络由图转换层和图注意层两部分组成，图转换层对邻接矩阵A集合采用1×1卷积，软选择1x1卷积后的矩阵向量中两个中间邻接矩阵Q1和Q2，通过矩阵Q1和Q2相乘生成新的元路径图Al；
(3.3)图注意层对元路径图Al每个通道应用图注意网络，并将多个节点表示串联为Z，串联公式如下：
其中，中||是连接运算符，C表示通道数量，
是Al的第i个通道的邻接矩阵，
是
的度矩阵，V是一个跨通道共享的可训练权重矩阵，X是一个特征矩阵，I是单位矩阵。
(3.4)计算注意力网络层权重矩阵
计算公式如下：
其中，hk是BiLSTM生成的隐藏向量H中的第k个向量，Wa是可训练权重矩阵，bk是偏置；
(3.5)将注意力网络层权重矩阵αa点乘隐藏向量H生成新的向量
用超参数λ连接图转换注意网络层生成的Z向量和注意力网络层生成的
向量得到融合向量
融合公式如下：
其中，σ是sigmoid函数；
(3.6)利用条件随机场挖掘特征融合向量
来预测每个字符的标签。
步骤(4)文档级论元填充：检测大坝应急工况文档中具备关键事件的句子，利用孪生神经网络将周围句子中相似度最高的论元角色填充到关键事件缺失的部分；
(4.1)采用one-hot标签形式，设置事件论元标签初始向量由1和0组成，关键论元位置为1，其他为0，然后利用Word2vec将随机生成的初始向量训练成128维的嵌入向量；
(4.2)通过查找随机初始化的嵌入表生成实体类型，设置其嵌入向量维度为128；
(4.3)通过ALBERT将句子信息和文档信息各转化成312维的嵌入向量；
(4.4)将论元标签、实体类型、句子信息和文档信息四种嵌入向量进行串联，生成880维新向量；
(4.5)建立文本卷积神经网络，方法框架如图2所示，将步骤(4.4)获得的880维新向量作为输入向量，检测事件中关键句子并判别关键事件，文本卷积神经网络由嵌入层、卷积层、池化层和全连接层四部分组成，嵌入层通过一个隐藏层将输入的880维向量投影到维度为128的低维空间，以助于编码语义特征；卷积层设置3、4、5三种卷积核尺寸，每种卷积核个数都为128，其宽度与特征向量维度一致，通过向下移动卷积核，提取词与词间的局部相关性；池化层通过抽取每个特征向量最大值表示该特征，并拼接各个池化值来生成最终的特征向量，最后通过全连接层判断句子是否包含关键事件；
(3.6)基于曼哈顿长短记忆网络的孪生神经网络，方法框架如图3所示，处理<关键句,相邻句>句子对，以表征空间中的相似性进而推断句子潜在的语义相似性，取卷积网络中的最终隐藏状态作为两个句子的向量表示，用曼哈顿距离度量两个句子的相似度，计算关键句与其上下文句子的相似度值，按照相似度按从高到低排序，寻找对应缺失论元且用相似度最高的相邻句中的论元角色进行填充。
为了验证本发明的有效性，采用大坝应急工况语料库进行实验。该预料库的案例如表1所示，事件类型及对应的事件论元情况如表2所示。实验选用的评价标准是P、R和F1值，其中P是精确率，R为召回率，F1值时评价一般分类问题的综合评价标准。参与比较的事件抽取方法包括：“DMCNN”表示根据事件触发器和论元使用动态多池层来进行事件抽取；“C-BiLSTM”表示用卷积双向长短记忆模型从字符级序列标记范式的角度进行中文事件提取；“JRNN”表示采用基于循环神经网络的事件抽取联合模型进行事件抽取；“HMEAE”表示基于概念层次，为每个基本单元设计神经模块网络，再运用逻辑运算组成面向角色的模块网络，去分类特定的论元角色；“JMCEE”表示基于预先训练的语言模型的共享特征表示，联合执行对事件触发器和事件论元的预测。
表1大坝数据集案例
表2大坝数据集中事件类型和对应的事件论元
本发明实施例与DMCNN、C-BiLSTM、JRNN、HMEAE和JMCEE五种方法相比较的结果如表3所示。结果表明本发明实施例充分利用句法关系和语义结构，对于大坝应急工况语料库的事件抽取效果优于所比较的五种方法。
表3不同事件抽取方法对比实验结果
基于双重注意力机制的面向大坝应急工况事件抽取系统，其特征在于，包括以下模块：
(1)数据预处理模块：包括对大坝应急工况语料库的标记处理以及将包含大坝应急工况事件信息的句子和文档进行编码；
(2)构建依赖关系图模块：引入依赖关系，借助句子结构和语义结构构建依赖关系图，以识别和分类大坝应急工况事件的所有参数；
(3)构建双重注意力网络模块：基于图转换注意网络生成新的依赖弧，并聚合节点信息，捕获长程依赖关系和潜在交互；然后，引入注意力网络，将图转换注意网络层和注意力网络层提取的特征按设定比例融合，捕捉句中关键的语义信息，抽取句子级事件论元；
(4)文档级论元填充模块：检测大坝应急工况文档中具备关键事件的句子，利用孪生神经网络将周围句子中相似度最高的论元角色填充到关键事件缺失的部分。
系统的具体实现与方法相同。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于双重注意力机制的面向大坝应急工况事件抽取方法各步骤或基于双重注意力机制的面向大坝应急工况事件抽取系统各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
Claims (10)
1.一种基于双重注意力机制的面向大坝应急工况事件抽取方法，其特征在于，基于图转换注意网络和注意力网络来挖掘句法关系，对大坝应急工况语料库进行事件论元角色抽取和填充，包括以下步骤：
(1)数据预处理：包括对大坝应急工况语料库的标记处理以及将包含大坝应急工况事件信息的句子和文档进行编码；
(2)构建依赖关系图：引入依赖关系，借助句子结构和语义结构构建依赖关系图，以识别和分类大坝应急工况事件的所有参数；
(3)构建双重注意力网络：基于图转换注意网络生成新的依赖弧，并聚合节点信息，捕获长程依赖关系和潜在交互；然后，引入注意力网络，将图转换注意网络层和注意力网络层提取的特征按设定比例融合，捕捉句中关键的语义信息，抽取句子级事件论元；
(4)文档级论元填充：检测大坝应急工况文档中具备关键事件的句子，利用孪生神经网络将周围句子中相似度最高的论元角色填充到关键事件缺失的部分。
2.根据权利要求1所述的基于双重注意力机制的面向大坝应急工况事件抽取方法，其特征在于，所述大坝应急工况语料库包括大坝历年专项检查报告和日常巡检报告。
3.根据权利要求1所述的基于双重注意力机制的面向大坝应急工况事件抽取方法，其特征在于，所述步骤(1)中数据预处理的具体步骤如下：采用BIO模式将大坝专项检查报告和日常巡检报告的数据进行标注；用ALBERT模型最后一层312维向量作为词嵌入向量，串联事件类型嵌入向量、实体类型嵌入向量和词性标注嵌入向量；通过双向长短记忆网络挖掘串联后的嵌入向量，得到隐藏向量H＝h1,...,hn。
4.根据权利要求1所述的基于双重注意力机制的面向大坝应急工况事件抽取方法，其特征在于，所述步骤(2)中构建依赖关系图的具体步骤如下：根据大坝应急工况语料库中的单词关系构建依赖树的邻接矩阵Ad和依赖标签分数矩阵
通过计算步骤(1)获得的隐藏向量hi和hj之间分数得到语义分数矩阵As；将Ad、
As串联得到依赖关系图矩阵
5.根据权利要求1所述的基于双重注意力机制的面向大坝应急工况事件抽取方法，其特征在于，所述步骤(3)中构建双重注意力网络的具体步骤如下：提出图转换注意网络，将图卷积网络替换为图注意网络，进行合理的权重分配；图转换注意网络通过图转换器层对邻接矩阵A集合采用1×1卷积，通过矩阵相乘生成新的元路径图Al；图注意层对元路径图Al每个通道应用图注意网络，并将多个节点表示串联为Z向量；计算注意力网络层权重矩阵αa，将αa点乘隐藏向量H生成向量
用超参数λ连接图转换注意网络层生成的Z向量和注意力网络层生成的
向量得到融合向量
融合公式如下：
其中，σ是sigmoid函数。
6.根据权利要求1所述的基于双重注意力机制的面向大坝应急工况事件抽取方法，其特征在于，所述步骤(4)中文档级论元填充的具体步骤如下：将大坝专项检查报告和日常巡检报告的论元标签、实体类型、句子信息和文档信息四种嵌入向量进行串联；建立文本卷积神经网络，将串联后的向量作为输入向量，检测事件中关键句子并判别关键事件；使用基于曼哈顿长短记忆网络的孪生神经网络，计算句子间语义相似性，进行论元角色填充。
7.根据权利要求1所述的基于双重注意力机制的面向大坝应急工况事件抽取方法，其特征在于，所述应急工况指的是：大坝在自然灾害下的工作状态。
8.一种基于双重注意力机制的面向大坝应急工况事件抽取系统，其特征在于，包括以下模块：
(1)数据预处理模块：包括对大坝应急工况语料库的标记处理以及将包含大坝应急工况事件信息的句子和文档进行编码；
(2)构建依赖关系图模块：引入依赖关系，借助句子结构和语义结构构建依赖关系图，以识别和分类大坝应急工况事件的所有参数；
(3)构建双重注意力网络模块：基于图转换注意网络生成新的依赖弧，并聚合节点信息，捕获长程依赖关系和潜在交互；然后，引入注意力网络，将图转换注意网络层和注意力网络层提取的特征按设定比例融合，捕捉句中关键的语义信息，抽取句子级事件论元；
(4)文档级论元填充模块：检测大坝应急工况文档中具备关键事件的句子，利用孪生神经网络将周围句子中相似度最高的论元角色填充到关键事件缺失的部分。
9.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-7中任一项所述的基于双重注意力机制的面向大坝应急工况事件抽取方法。
10.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利要求1-7中任一项所述的基于双重注意力机制的面向大坝应急工况事件抽取方法的计算机程序。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111202116.XA CN113935502B (zh) | 2021-10-15 | 2021-10-15 | 基于双重注意力机制的面向大坝应急工况事件抽取方法 |
| US17/965,814 US11842324B2 (en) | 2021-10-15 | 2022-10-14 | Method for extracting dam emergency event based on dual attention mechanism |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111202116.XA CN113935502B (zh) | 2021-10-15 | 2021-10-15 | 基于双重注意力机制的面向大坝应急工况事件抽取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113935502A CN113935502A (zh) | 2022-01-14 |
| CN113935502B true CN113935502B (zh) | 2022-04-22 |
Family
ID=79279886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111202116.XA Active CN113935502B (zh) | 2021-10-15 | 2021-10-15 | 基于双重注意力机制的面向大坝应急工况事件抽取方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11842324B2 (zh) |
| CN (1) | CN113935502B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116049345B (zh) * | 2023-03-31 | 2023-10-10 | 江西财经大学 | 基于双向事件完全图的文档级事件联合抽取方法及系统 |
| CN116665130B (zh) * | 2023-06-07 | 2024-04-02 | 河海大学 | 基于时空图的大坝安全监测多元时间序列异常检测方法 |
| CN116719974B (zh) * | 2023-08-11 | 2023-10-31 | 江西财经大学 | 基于依存关系结构增强的事件检测方法及系统 |
| CN116934127B (zh) * | 2023-09-19 | 2023-11-24 | 中国铁塔股份有限公司吉林省分公司 | 基于智慧平台的应急预案生成方法及系统 |
| CN117609874B (zh) * | 2023-11-09 | 2024-05-10 | 中国地震局地球物理研究所 | 基于集成深度学习的岩石断层摩擦微震检测方法和系统 |
| CN117454987B (zh) * | 2023-12-25 | 2024-03-19 | 临沂大学 | 基于事件自动抽取的矿山事件知识图谱构建方法及装置 |
| CN117521658B (zh) * | 2024-01-03 | 2024-03-26 | 安徽思高智能科技有限公司 | 一种基于篇章级事件抽取的rpa流程挖掘方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680159A (zh) * | 2020-06-11 | 2020-09-18 | 华东交通大学 | 数据处理方法、装置及电子设备 |
| CN113312500A (zh) * | 2021-06-24 | 2021-08-27 | 河海大学 | 一种面向大坝安全运行的事件图谱构建方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090313243A1 (en) * | 2008-06-13 | 2009-12-17 | Siemens Aktiengesellschaft | Method and apparatus for processing semantic data resources |
| US8145636B1 (en) * | 2009-03-13 | 2012-03-27 | Google Inc. | Classifying text into hierarchical categories |
| US11164087B2 (en) * | 2016-05-20 | 2021-11-02 | Disney Enterprises, Inc. | Systems and methods for determining semantic roles of arguments in sentences |
| US10380259B2 (en) * | 2017-05-22 | 2019-08-13 | International Business Machines Corporation | Deep embedding for natural language content based on semantic dependencies |
| RU2020109236A (ru) * | 2017-08-03 | 2021-09-03 | Конинклейке Филипс Н.В. | Иерархические нейронные сети с грануляризированным вниманием |
| US11574235B2 (en) * | 2018-09-19 | 2023-02-07 | Servicenow, Inc. | Machine learning worker node architecture |
| US20220405524A1 (en) * | 2021-06-17 | 2022-12-22 | International Business Machines Corporation | Optical character recognition training with semantic constraints |
-
2021
- 2021-10-15 CN CN202111202116.XA patent/CN113935502B/zh active Active
-
2022
- 2022-10-14 US US17/965,814 patent/US11842324B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680159A (zh) * | 2020-06-11 | 2020-09-18 | 华东交通大学 | 数据处理方法、装置及电子设备 |
| CN113312500A (zh) * | 2021-06-24 | 2021-08-27 | 河海大学 | 一种面向大坝安全运行的事件图谱构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图注意力网络的因果关系抽取;许晶航等;《计算机研究与发展》;20200115(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113935502A (zh) | 2022-01-14 |
| US20230119211A1 (en) | 2023-04-20 |
| US11842324B2 (en) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113935502B (zh) | 基于双重注意力机制的面向大坝应急工况事件抽取方法 | |
| CN112487203B (zh) | 一种融入动态词向量的关系抽取系统 | |
| Xu et al. | Predicting semantically linkable knowledge in developer online forums via convolutional neural network | |
| CN107808011B (zh) | 信息的分类抽取方法、装置、计算机设备和存储介质 | |
| CN113312500A (zh) | 一种面向大坝安全运行的事件图谱构建方法 | |
| US20130103662A1 (en) | Methods and apparatuses for generating search expressions from content, for applying search expressions to content collections, and/or for analyzing corresponding search results | |
| Rizk et al. | A computationally efficient multi-modal classification approach of disaster-related Twitter images | |
| WO2023159767A1 (zh) | 目标词语的检测方法、装置、电子设备及存储介质 | |
| Lai et al. | A natural language processing approach to understanding context in the extraction and geocoding of historical floods, storms, and adaptation measures | |
| Romero et al. | A framework for event classification in tweets based on hybrid semantic enrichment | |
| CN113704420A (zh) | 文本中的角色识别方法、装置、电子设备及存储介质 | |
| CN113312490A (zh) | 一种针对突发事件的事件知识图谱构建方法 | |
| Zhu et al. | CCBLA: a lightweight phishing detection model based on CNN, BiLSTM, and attention mechanism | |
| Gopal et al. | Machine learning based classification of online news data for disaster management | |
| Kamoji et al. | Effective Flood prediction model based on Twitter Text and Image analysis using BMLP and SDAE-HHNN | |
| Ballatore et al. | Tracking museums’ online responses to the Covid-19 pandemic: a study in museum analytics | |
| CN117574898A (zh) | 基于电网设备的领域知识图谱更新方法及系统 | |
| CN112270189A (zh) | 一种提问式的分析节点生成方法、系统及存储介质 | |
| Nair et al. | Fake news detection model for regional language | |
| CN114638222B (zh) | 自然灾害数据的分类方法及其模型训练方法、装置 | |
| CN110019814A (zh) | 一种基于数据挖掘与深度学习的新闻信息聚合方法 | |
| Tao | [Retracted] Parameter Optimization of Educational Network Ecosystem Based on BERT Deep Learning Model | |
| CN112329439B (zh) | 基于图卷积神经网络模型的食品安全事件检测方法及系统 | |
| CN115270746A (zh) | 问题样本生成方法和装置、电子设备及存储介质 | |
| Tang | [Retracted] Analysis of English Multitext Reading Comprehension Model Based on Deep Belief Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cheng Yong Inventor after: Zhang Chunrui Inventor after: Tan Bin Inventor after: Xie Wenming Inventor after: Nie Bingbing Inventor after: Chen Zhixiang Inventor after: Yang Chunrui Inventor after: Mao Yingchi Inventor after: Xiao Haibin Inventor after: Zhan Weiyong Inventor after: Chen Hao Inventor after: Wang Longbao Inventor after: Zhao Fugang Inventor after: Fang Han Inventor after: Zhou Xiaofeng Inventor before: Cheng Yong Inventor before: Zhang Chunrui Inventor before: Tan Bin Inventor before: Xie Wenming Inventor before: Nie Binbin Inventor before: Chen Zhixiang Inventor before: Yang Chunrui Inventor before: Mao Yingchi Inventor before: Xiao Haibin Inventor before: Zhan Weiyong Inventor before: Chen Hao Inventor before: Wang Longbao Inventor before: Zhao Fugang Inventor before: Fang Han Inventor before: Zhou Xiaofeng |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |