CN113723108A - 一种事件提取方法、装置、电子设备及存储介质 - Google Patents
一种事件提取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113723108A CN113723108A CN202110921072.XA CN202110921072A CN113723108A CN 113723108 A CN113723108 A CN 113723108A CN 202110921072 A CN202110921072 A CN 202110921072A CN 113723108 A CN113723108 A CN 113723108A
- Authority
- CN
- China
- Prior art keywords
- target text
- feature vector
- event extraction
- neural network
- expressing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 104
- 239000013598 vector Substances 0.000 claims abstract description 194
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 49
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 25
- 125000004122 cyclic group Chemical group 0.000 claims description 21
- 230000000306 recurrent effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 11
- 230000000052 comparative effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 241000288105 Grus Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种事件提取方法、装置、电子设备及存储介质。所述方法包括：获取目标文本，将目标文本输入至事件提取模型中，得到事件提取结果；事件提取模型是基于目标文本和目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；目标文本对应的正样本为表达目标文本上下文语义的第一特征向量，目标文本对应的负样本为表达目标文本局部语义的第二特征向量。本申请实施例通过经过对比学习训练的事件提取模型进行文本事件提取，可以减少文本局部语义信息的干扰，提高识别文本事件的准确率。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种事件提取方法、装置、电子设备及存储介质。
背景技术
事件抽取(Event Extraction,EE)是自然语言处理领域中一种经典的信息抽取任务，其从含有事件信息的非结构化文本中抽取出用户感兴趣的事件信息，以结构化的形式呈现出来，在商业和军事等领域的情报工作中应用非常广泛。
在现有技术中，通常是基于传统神经网络模型对文本全文语义特征进行捕捉，然而这种网络模型对文本上下文的语义特征的捕捉并不充分，无法捕捉到更丰富的语境特征，存在局部语义信息的干扰，影响了最终的事件抽取效果。
发明内容
由于现有方法存在上述问题，本申请实施例提供一种事件提取方法、装置、电子设备及存储介质。
具体的，本申请实施例提供了以下技术方案：
第一方面，本申请实施例提供了一种事件提取方法，包括：
获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；
其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
可选的，所述事件提取模型由循环神经网络和卷积神经网络组成；
其中，所述循环神经网络用于提取所述目标文本上下文语义的第一特征向量，所述卷积神经网络用于提取所述目标文本局部语义的第二特征向量。
可选的，所述事件提取模型基于以下步骤进行训练，包括：
步骤1：提取所述目标文本中的词并映射为词向量；
步骤2：将所述词向量输入至循环神经网络和卷积神经网络中，分别得到表达所述目标文本上下文语义的第一特征向量和表达所述目标文本局部语义特征的第二特征向量；
步骤3：根据所述第一特征向量和所述第二特征向量，求解预设的对比损失函数，所述对比损失函数越小表示所述第一特征向量和所述而特征向量越接近；
步骤4：通过不断优化所述对比损失函数进行所述循环神经网络和所述卷积神经网络的优化，当所述对比损失函数小于预设阈值时训练结束，从而获取训练好的由所述循环神经网络和所述卷积神经网络所组成的事件提取模型。
可选的，将所述词向量输入至循环神经网络中，得到表达所述目标文本上下文语义的第一特征向量，包括：
将所述词向量输入至循环神经网络中，得到所述循环神经网络正向输出的所述目标文本上文特征向量和后向输出的所述目标文本下文特征向量；
将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量。
可选的，所述对比损失函数为：
其中，LN为对比损失函数，f(x)T为锚点特征向量，f(x+)为表达所述目标文本上下文语义的第一特征向量，N为目标文本数量，f(xi)为第i个表达所述目标文本局部语义特征的第二特征向量。
可选的，将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量，包括：
根据下面第一公式将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量；所述第一公式为：
其中，Ht为第一特征向量，wT为转置向量，
为上文特征向量，
为下文特征向量，b为偏置值，α和β分别为上文特征向量和下文特征向量对应的权值。
可选的，将所述词向量输入至卷积神经网络中，得到表达所述目标文本局部语义特征的第二特征向量，包括：
根据下面第二公式将所述词向量输入至卷积神经网络中，得到表达所述目标文本局部语义特征的第二特征向量；所述第二公式为：
ft＝f(kivt:t+j-1+b)
其中，ft为第二特征向量，j为卷积核k的窗口大小，b为偏置值，i为当前卷积神经网络层数，ki为第i层卷积核，kivt:t+j-1为第t到第t+j-1的词向量。
第二方面，本申请实施例提供了一种事件提取装置，包括：
处理模块，用于获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；
其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的事件提取方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的事件提取方法。
由上面技术方案可知，本申请实施例通过将目标文本输入至训练好的事件提取模型中，从而得到事件提取结果。其中，事件提取模型是基于目标文本和目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；目标文本对应的正样本为表达目标文本上下文语义的第一特征向量，目标文本对应的负样本为表达目标文本局部语义的第二特征向量。由此可知，本申请实施例通过具有上下文全局整体特征的向量和具有局部语义特征的向量进行对比学习，从而减少了文本中局部语义信息的干扰，提高了事件提取的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本申请实施例提供的事件提取方法的步骤流程图之一；
图2是本申请实施例提供的事件提取方法的步骤流程图之二；
图3是本申请实施例提供的事件提取模型训练的流程图之一；
图4是本申请实施例提供的事件提取模型训练的流程图之二；
图5是本申请实施例提供的事件提取模型训练的流程图之三；
图6是本申请实施例提供的事件提取装置的结构示意图；
图7是本申请实施例的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本申请实施例提供的事件提取方法的步骤流程图之一，图2是本申请实施例提供的事件提取方法的步骤流程图之二。下面结合图1和图2对本申请实施例提供的事件提取方法进行详细解释和说明。
如图1所示，本申请实施例提供的一种事件提取方法，包括：
步骤101：获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；
其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
在本步骤中，首先利用BERT语言模型对事件提取模型进行预训练，目的是让事件提取模型具备提取文本语义的能力。在事件提取模型经过预训练后，可以提取目标文本中的词并映射为词向量。需要说明的是，事件提取模型由卷积神经网络和循环神经网络构建而成。可选的，可以采用BI-GRU循环神经网络和CNN卷积神经网络。其中，BI-GRU循环神经网络包含前向和后向两个子GRU网络，分别向前和向后传递每个GRU需要经过网络的前向传播公式，当词向量输入后，分别由BI-GRU循环神经网络中的两个词网络正向输出目标文本上文特征向量以及反向输出目标文本下文特征向量。然后通过全连接层将正向与后向特征向量融合，生成用于表达目标文本上下文语义的第一特征向量。CNN卷积神经网络是一种前馈神经网络，通过卷积神经网络的特性，对目标文本句子中的每个词提取局部特征，形成用于表达目标文本局部语义的第二特征向量。
在本步骤中，由于BI-GRU循环神经网络生成的第一特征向量具有目标文本上下文全局整体特征，CNN卷积神经网络生成的第二特征向量具有目标文本局部信息的特征。因此，将两个特征向量进行对比学习，从而减少目标文本中局部语义信息的干扰，增强事件提取模型的事件分类能力，最终达到更好的事件抽取效果。具体为：将BI-GRU循环神经网络生成的第一特征向量作为正样本，将CNN卷积神经网络生成的第二特征向量作为负样本，将正负样本带入预设的对比损失函数中进行优化计算，当对比损失函数小于预设阈值时训练结束，从而获取训练好的由循环神经网络和卷积神经网络所组成的事件提取模型。
由上面技术方案可知，本申请实施例通过将目标文本输入至训练好的事件提取模型中，从而得到事件提取结果。其中，事件提取模型是基于目标文本和目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；目标文本对应的正样本为表达目标文本上下文语义的第一特征向量，目标文本对应的负样本为表达目标文本局部语义的第二特征向量。由此可知，本申请实施例通过具有上下文全局整体特征的向量和具有局部语义特征的向量进行对比学习，从而减少了文本中局部语义信息的干扰，提高了事件提取的精确度。
基于上述实施例的内容，在本实施例中，所述事件提取模型由循环神经网络和卷积神经网络组成；
其中，所述循环神经网络用于提取所述目标文本上下文语义的第一特征向量，所述卷积神经网络用于提取所述目标文本局部语义的第二特征向量。
基于上述实施例的内容，在本实施例中，所述事件提取模型基于以下步骤进行训练，包括：
步骤1：提取所述目标文本中的词并映射为词向量；
步骤2：将所述词向量输入至循环神经网络和卷积神经网络中，分别得到表达所述目标文本上下文语义的第一特征向量和表达所述目标文本局部语义特征的第二特征向量；
步骤3：根据所述第一特征向量和所述第二特征向量，求解预设的对比损失函数，所述对比损失函数越小表示所述第一特征向量和所述而特征向量越接近；
步骤4：通过不断优化所述对比损失函数进行所述循环神经网络和所述卷积神经网络的优化，当所述对比损失函数小于预设阈值时训练结束，从而获取训练好的由所述循环神经网络和所述卷积神经网络所组成的事件提取模型。
在本实施例中，首先利用BERT模型来捕捉目标文本中词级别的语义特征，并将其转换成高维的动态词向量，最后在分别用CNN网络和BI-GRU网络提取目标文本的局部语义信息和上下文语义信息，并基于对比学习方法通过正负样本对的对比，让事件提取模型的识别具有更多目标文本中上下文的语义信息向量，从而提高模型的分类能力。
基于上述实施例的内容，在本实施例中，将所述词向量输入至循环神经网络中，得到表达所述目标文本上下文语义的第一特征向量，包括：
将所述词向量输入至循环神经网络中，得到所述循环神经网络正向输出的所述目标文本上文特征向量和后向输出的所述目标文本下文特征向量；
将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量。
基于上述实施例的内容，在本实施例中，所述对比损失函数为：
其中，LN为对比损失函数，f(x)T为锚点特征向量，f(x+)为表达所述目标文本上下文语义的第一特征向量，N为目标文本数量，f(xi)为第i个表达所述目标文本局部语义特征的第二特征向量。
基于上述实施例的内容，在本实施例中，将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量，包括：
根据下面第一公式将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量；所述第一公式为：
其中，Ht为第一特征向量，wT为转置向量，
为上文特征向量，
为下文特征向量，b为偏置值，α和β分别为上文特征向量和下文特征向量对应的权值。
基于上述实施例的内容，在本实施例中，将所述词向量输入至卷积神经网络中，得到表达所述目标文本局部语义特征的第二特征向量，包括：
根据下面第二公式将所述词向量输入至卷积神经网络中，得到表达所述目标文本局部语义特征的第二特征向量
ft＝f(kivt:t+j-1+b)
其中，ft为第二特征向量，j为卷积核k的窗口大小，b为偏置值，i为当前卷积神经网络层数，ki为第i层卷积核，kivt:t+j-1为第t到第t+j-1的词向量。
下面通过具体实施例进行说明：
实施例一：
在本实施例中，首先利用BERT网络进行模型与训练。具体的，在BERT层中，在Embedding过程中，首先将给定的由n个词组成的中文句子S＝{w1,w2,w3,w4,…,wn}每一个词wi转化成一个维度为640x1的词向量ei即E＝{e1,e2,e3,e4,…,en}。
在本实施例中，如图3所示，在BI-GRU网络中，由于BI-GRU网络包含前向和后向两个子GRU网络，分别向前和向后传递每个GRU需要经过网络的前向传播公式，其中ht是此时刻的输入，ht-1是上一时刻的记忆输出，Wr、Wz、Wh、Wo分别是模型的参数。网络的前向传播公式：
Zt＝σ(wt×[ht-1，xt])
rt＝σ(wt×[ht-1，xt]
在本实施例中，将词向量输入至BI-GRU网络后，正向输出的特征向量为
后向输出的特征向量为
通过全连接层将正向与后向特征向量融合且降维，为了使前向与后向特征向量融合时减少关键语义的特征丢失，引入权值α和β。优化后公式为：
在本实施例中，如图4所示，将词向量输入至CNN卷积神经网络后，利用卷积神经网络的特性，对词向量映射矩阵进行卷积运算，得到目标文本的语义映射矩阵，然后利用池化算法对目标文本的语义映射矩阵进行降维得到目标文本的局部语义特征向量。其中，卷积就相当于采用卷积核在输入矩阵上滑动进行乘积求和的一个过程。目标词向量可形成局部特征向量ft其表达式为：
ft＝f(kivt：t+j-1+b)
其中vt为输入的词向量矩阵，j为卷积核k的窗口大小，b为偏置值，为ReLU激活函数。
在本实施例中，由于BI-GRU网络生成的特征向量具有上下文全局整体特征，而CNN网络生成的特征向量主要包含局部信息，因此将两个特征向量进行对比学习，可以减少局部语义信息的干扰，增强模型事件分类能力，最终达到更好的事件抽取效果。
如图5所示，本申请实施例将BI-GRU网络生成的特征向量作为正样本，CNN网络生成的特征向量作为负样本，在计算中引入引入权值变量θ∈(0,1)来平衡损失函数，优化后的损失函数为：
由此可见，本申请实施例首先使用BERT模型来捕捉词级别的语义特征，并将其转换成高维的动态词向量。然后分别利用BI-GRU网络和CNN网络同时按照从前到后以及从后向前的两个方向时间步进行特征捕捉，可以获得目标文本上下文语义，借此捕捉到了更丰富的语境特征，提高了分类准确率。最后使两个特征向量进行对比学习，可以减少局部语义信息的干扰，增强模型事件分类能力，最终尽可能的排除无关的语义影响达到更好的事件抽取效果。
基于相同的发明构思，本发明另一实施例提供了一种事件提取装置，如图6所示，本申请实施例提供的一种事件提取装置，包括：
处理模块，用于获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；
其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
在本实施例中，首先利用BERT语言模型对事件提取模型进行预训练，目的是让事件提取模型具备提取文本语义的能力。在事件提取模型经过预训练后，可以提取目标文本中的词并映射为词向量。需要说明的是，事件提取模型由卷积神经网络和循环神经网络构建而成。可选的，可以采用BI-GRU循环神经网络和CNN卷积神经网络。其中，BI-GRU循环神经网络包含前向和后向两个子GRU网络，分别向前和向后传递每个GRU需要经过网络的前向传播公式，当词向量输入后，分别由BI-GRU循环神经网络中的两个词网络正向输出目标文本上文特征向量以及反向输出目标文本下文特征向量。然后通过全连接层将正向与后向特征向量融合，生成用于表达目标文本上下文语义的第一特征向量。CNN卷积神经网络是一种前馈神经网络，通过卷积神经网络的特性，对目标文本句子中的每个词提取局部特征，形成用于表达目标文本局部语义的第二特征向量。
在本实施例中，由于BI-GRU循环神经网络生成的第一特征向量具有目标文本上下文全局整体特征，CNN卷积神经网络生成的第二特征向量具有目标文本局部信息的特征。因此，将两个特征向量进行对比学习，从而减少目标文本中局部语义信息的干扰，增强事件提取模型的事件分类能力，最终达到更好的事件抽取效果。具体为：将BI-GRU循环神经网络生成的第一特征向量作为正样本，将CNN卷积神经网络生成的第二特征向量作为负样本，将正负样本带入预设的对比损失函数中进行优化计算，当对比损失函数小于预设阈值时训练结束，从而获取训练好的由循环神经网络和卷积神经网络所组成的事件提取模型。
由上面技术方案可知，本申请实施例通过将目标文本输入至训练好的事件提取模型中，从而得到事件提取结果。其中，事件提取模型是基于目标文本和目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；目标文本对应的正样本为表达目标文本上下文语义的第一特征向量，目标文本对应的负样本为表达目标文本局部语义的第二特征向量。由此可知，本申请实施例通过具有上下文全局整体特征的向量和具有局部语义特征的向量进行对比学习，从而减少了文本中局部语义信息的干扰，提高了事件提取的精确度。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图7所述电子设备的结构示意图，具体包括如下内容：处理器701、存储器702、通信接口703和通信总线704；
其中，所述处理器701、存储器702、通信接口703通过所述通信总线704完成相互间的通信；所述通信接口703用于实现各设备之间的信息传输；
所述处理器701用于调用所述存储器702中的计算机程序，所述处理器执行所述计算机程序时实现上述一种事件提取方法的全部步骤，例如，获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种事件提取方法的全部步骤，例如，获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的事件提取方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种事件提取方法，其特征在于，包括：
获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；
其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
2.根据权利要求1所述的事件提取方法，其特征在于，所述事件提取模型由循环神经网络和卷积神经网络组成；
其中，所述循环神经网络用于提取所述目标文本上下文语义的第一特征向量，所述卷积神经网络用于提取所述目标文本局部语义的第二特征向量。
3.根据权利要求2所述的事件提取方法，其特征在于，所述事件提取模型基于以下步骤进行训练，包括：
步骤1：提取所述目标文本中的词并映射为词向量；
步骤2：将所述词向量输入至循环神经网络和卷积神经网络中，分别得到表达所述目标文本上下文语义的第一特征向量和表达所述目标文本局部语义特征的第二特征向量；
步骤3：根据所述第一特征向量和所述第二特征向量，求解预设的对比损失函数，所述对比损失函数越小表示所述第一特征向量和所述而特征向量越接近；
步骤4：通过不断优化所述对比损失函数进行所述循环神经网络和所述卷积神经网络的优化，当所述对比损失函数小于预设阈值时训练结束，从而获取训练好的由所述循环神经网络和所述卷积神经网络所组成的事件提取模型。
4.根据权利要求3所述的事件提取方法，其特征在于，将所述词向量输入至循环神经网络中，得到表达所述目标文本上下文语义的第一特征向量，包括：
将所述词向量输入至循环神经网络中，得到所述循环神经网络正向输出的所述目标文本上文特征向量和后向输出的所述目标文本下文特征向量；
将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量。
5.根据权利要求3所述的事件提取方法，其特征在于，所述对比损失函数为：
其中，LN为对比损失函数，f(x)T为锚点特征向量，f(x+)为表达所述目标文本上下文语义的第一特征向量，N为目标文本数量，f(xi)为第i个表达所述目标文本局部语义特征的第二特征向量。
6.根据权利要求4所述的事件提取方法，其特征在于，将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量，包括：
根据下面第一公式将所述上文特征向量与所述下文特征向量进行特征融合，得到表达所述目标文本上下文语义的第一特征向量；所述第一公式为：
其中，Ht为第一特征向量，wT为转置向量，
为上文特征向量，
为下文特征向量，b为偏置值，α和β分别为上文特征向量和下文特征向量对应的权值。
7.根据权利要求3所述的事件提取方法，其特征在于，将所述词向量输入至卷积神经网络中，得到表达所述目标文本局部语义特征的第二特征向量，包括：
根据下面第二公式将所述词向量输入至卷积神经网络中，得到表达所述目标文本局部语义特征的第二特征向量；所述第二公式为：
ft＝f(kivt：t+j-1+b)
其中，ft为第二特征向量，j为卷积核k的窗口大小，b为偏置值，i为当前卷积神经网络层数，ki为第i层卷积核，kivt：t+j-1为第t到第t+j-1的词向量。
8.一种事件提取装置，其特征在于，包括：
处理模块，用于获取目标文本，将所述目标文本输入至事件提取模型中，得到事件提取结果；
其中，所述事件提取模型是基于所述目标文本和所述目标文本对应的正负样本，通过对比学习的方式进行训练后得到的；所述目标文本对应的正样本为表达所述目标文本上下文语义的第一特征向量，所述目标文本对应的负样本为表达所述目标文本局部语义的第二特征向量。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述事件提取方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述事件提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921072.XA CN113723108A (zh) | 2021-08-11 | 2021-08-11 | 一种事件提取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110921072.XA CN113723108A (zh) | 2021-08-11 | 2021-08-11 | 一种事件提取方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113723108A true CN113723108A (zh) | 2021-11-30 |
Family
ID=78675620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110921072.XA Pending CN113723108A (zh) | 2021-08-11 | 2021-08-11 | 一种事件提取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723108A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529191A (zh) * | 2022-02-16 | 2022-05-24 | 支付宝(杭州)信息技术有限公司 | 用于风险识别的方法和装置 |
| CN116484010A (zh) * | 2023-03-15 | 2023-07-25 | 北京擎盾信息科技有限公司 | 知识图谱构建方法、装置、存储介质及电子装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871444A (zh) * | 2019-01-16 | 2019-06-11 | 北京邮电大学 | 一种文本分类方法及系统 |
| CN111950269A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学 | 文本语句处理方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-11 CN CN202110921072.XA patent/CN113723108A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871444A (zh) * | 2019-01-16 | 2019-06-11 | 北京邮电大学 | 一种文本分类方法及系统 |
| CN111950269A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学 | 文本语句处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 颜亮;姬少培;陈月华;杨辉;: "基于VDCNN和BiGRU混合的文本分类研究", 计算机仿真, no. 10, 15 October 2020 (2020-10-15), pages 450 - 455 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529191A (zh) * | 2022-02-16 | 2022-05-24 | 支付宝(杭州)信息技术有限公司 | 用于风险识别的方法和装置 |
| CN116484010A (zh) * | 2023-03-15 | 2023-07-25 | 北京擎盾信息科技有限公司 | 知识图谱构建方法、装置、存储介质及电子装置 |
| CN116484010B (zh) * | 2023-03-15 | 2024-01-16 | 北京擎盾信息科技有限公司 | 知识图谱构建方法、装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020228376A1 (zh) | 文本处理方法、模型训练方法和装置 | |
| CN110609891A (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
| CN111522908A (zh) | 一种基于BiGRU和注意力机制的多标签文本分类方法 | |
| CN111160452A (zh) | 一种基于预训练语言模型的多模态网络谣言检测方法 | |
| CN113326374B (zh) | 基于特征增强的短文本情感分类方法及系统 | |
| CN110879938A (zh) | 文本情感分类方法、装置、设备和存储介质 | |
| CN113596007A (zh) | 一种基于深度学习的漏洞攻击检测方法和设备 | |
| CN109947931A (zh) | 基于无监督学习的文本自动摘要方法、系统、设备及介质 | |
| CN109214006A (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN113723108A (zh) | 一种事件提取方法、装置、电子设备及存储介质 | |
| CN110069611B (zh) | 一种主题增强的聊天机器人回复生成方法及装置 | |
| CN111858878A (zh) | 从自然语言文本中自动提取答案的方法、系统及存储介质 | |
| CN117992800B (zh) | 图文数据匹配检测方法、装置、设备及介质 | |
| CN111597341A (zh) | 一种文档级关系抽取方法、装置、设备及存储介质 | |
| CN113627550A (zh) | 一种基于多模态融合的图文情感分析方法 | |
| CN111709223A (zh) | 基于bert的句子向量生成方法、装置及电子设备 | |
| CN113705196A (zh) | 基于图神经网络的中文开放信息抽取方法和装置 | |
| CN118038238A (zh) | 一种视觉问答方法、装置及电子设备和存储介质 | |
| CN115269768A (zh) | 要素文本处理方法、装置、电子设备和存储介质 | |
| CN113159168B (zh) | 基于冗余词删除的预训练模型加速推理方法和系统 | |
| CN113761874A (zh) | 事件事实性预测方法、装置、电子设备与存储介质 | |
| CN113408289A (zh) | 一种多特征融合的供应链管理实体知识抽取的方法及系统 | |
| CN113094504A (zh) | 基于自动机器学习的自适应文本分类方法及装置 | |
| CN113821610A (zh) | 信息匹配方法、装置、设备及存储介质 | |
| CN112529637A (zh) | 基于情景感知的服务需求动态预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |