CN111126056A - 一种识别触发词的方法及装置 - Google Patents
一种识别触发词的方法及装置 Download PDFInfo
- Publication number
- CN111126056A CN111126056A CN201911242217.2A CN201911242217A CN111126056A CN 111126056 A CN111126056 A CN 111126056A CN 201911242217 A CN201911242217 A CN 201911242217A CN 111126056 A CN111126056 A CN 111126056A
- Authority
- CN
- China
- Prior art keywords
- target text
- matrix
- vector
- mapping
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种识别触发词的方法,包括:对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征;根据所得到的关系矩阵和所述目标文本在多个语义空间的特征,采用图神经网络识别所述目标文本中的触发词。本申请能够提取多个语义空间的特征,对文本的语义提取更加充分。
Description
技术领域
本文涉及计算机领域,尤指一种识别触发词的方法及装置。
背景技术
互联网上每天都会产生大量的新闻数据,描述许多已经发生的事件。但由于事件种类繁多,无法快速而且准确地分辨事件的类型。对发生的公共事件或者特定行业内所发生的事件进行区分和掌握,不仅有助于实时把握事件的发展趋势以及整个行业的发展方向,也可辅助高层决策,降低风险,具有重要的实际应用价值和研究意义。而且事件的类型往往可以从一些关键词中获取,比如”枪杀”,“袭击”等,这类词就被称为触发词。因此快速准确地识别出这些触发词就极其重要。
现有技术中采用的基于注意力机制神经网络和机器学习的方法虽然也可以提取特征,但是无法充分利用触发词与句子中其他词汇之间的关系,因此特征提取比较单一。
另外,现有技术中还采用的基于规则的方法往往需要领域专家撰写一定量的规则,需要一定量的人力和财力。同时,不同领域的规则大不相同,很难做到通用性。
发明内容
本申请提供了一种识别触发词的方法及装置能够达到提取多个语义空间的特征的目的。
本申请提供了一种识别触发词的方法,包括对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征;根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文本中的触发词。
在一个示例性实施例中,上述确定所述目标文本的各分词之间的关联关系,包括:对每个分词进行词性标注和依存句法分析,得到所述目标文本所有分词的依存关系树;根据所得到的依存关系树确定所述目标文本的各分词中每两个分词之间的关联关系。
在一个示例性实施例中,上述对目标文本的每个分词进行编码映射,获取目标文本的向量,包括:对目标文本的每个分词进行编码映射,获取每个分词的词向量、词性向量、及位置向量,将所述词向量、词性向量、及位置向量进行合并得到所述目标文本的向量。
在一个示例性实施例中,上述获取每个分词的词向量、词性向量、及位置向量,包括:获取所述目标文本的每个分词的分词ID,根据所述分词ID和所述目标文本的每个分词的初始化向量,得到所述目标文本的词向量;获取所述目标文本的每个分词的词性ID,根据所述词性ID和预设的词性向量得到所述目标文本的词性向量;获取所述目标文本的每个分词的位置ID,根据所述位置ID和预设的位置向量得到所述目标文本的词性向量。
在一个示例性实施例中,上述获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵,包括:获取所述目标文本的向量并输入双向LSTM网络,将得到的两个方向的输出结果进行合并,得到所述目标文本的编码特征矩阵。
在一个示例性实施例中,上述根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征,包括:将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征;将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征;根据所得到的多头注意力权重特征与所述多个映射特征中的一个指定映射特征得到所述目标文本的多个语义空间特征,并对所得到的多个语义空间进行维度转换,得到所述目标文的语义特征。
在一个示例性实施例中,上述指定数量的矩阵包括维度相同的第一矩阵、第二矩阵、第三矩阵;所述将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征,包括:将所述得到的编码特征矩阵分别与维度相同的第一矩阵、第二矩阵、第三矩阵相乘,得到分别对应所述第一矩阵、第二矩阵、第三矩阵的第一转换特征、第二转换特征、及第三转换特征;将所得到的第一转换特征、第二转换特征、及第三转换特征分别映射到多个语义空间,得到对应的第一映射特征、第二映射特征、第三映射特征;所述将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征包括:将所得到的第一映射特征乘以转置后的第二映射特征得到多头注意力权重特征;所述根据所得到的多头注意力权重特征与多个映射特征中的一个指定映射特征得到所述目标文本的多个语义空间特征包括:将得到的多头注意力权重特征与第三映射特征相乘得到所述目标文本的多个语义空间特征。
在一个示例性实施例中,上述根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文中的触发词,包括:将得到的关系矩阵与语义特征输入训练好的图神经网络进行计算,得到关系特征向量;将所得到关系特征向量进行线性变换,得到变化后的特征,再将所得到的变化后的特征进行softmax计算,获取每一分词属于每一类事件的概率;根据所获取的每一分词属于每一类事件的概率,确定所述目标文本中所有分词中的触发词。
在一个示例性实施例中,上述对目标文本进行分词之前还包括:去除所述目标文本中的指定特征。
本申请还提供了一种识别触发词的装置,包括关系确定模块,用于对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;编码模块,用于对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;语义分析模块,用于根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征;识别模块,用于根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文本中的触发词。
与相关技术相比,本申请通过对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征;根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文本中的触发词,从而能够实现提取多个语义空间的特征,使得对目标文本的语义提取更加充分。
在一个示例性实施例中,相对于一般的注意力机制或自注意力机制,本申请实施例使用multi-head自注意力机制能够提取多个语义空间的特征,对句子的语义提取更加充分。
在一个示例性实施例中,相对于当前主流的神经网络如循环神经网络,卷积神经网络等,图神经网络(GCN)可充分利用句子中每个分词与其他单词之间的依赖关系,更加符合当前应用场景。如触发词“injure”必然与一些主体如人,地点,时间等存在关联。而普通的神经网络则无法捕捉这种关系。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。
图1本申请实施例识别触发词的方法流程图;
图2本申请实施例识别触发词的装置模块示意图。
具体实施方式
本申请描述了多个实施例,但是该描述是示例性的,而不是限制性的,并且对于本领域的普通技术人员来说显而易见的是,在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合,并在具体实施方式中进行了讨论,但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外,任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用,或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合,以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合,以形成另一个由权利要求限定的独特的发明方案。因此,应当理解,在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此,除了根据所附权利要求及其等同替换所做的限制以外,实施例不受其它限制。此外,可以在所附权利要求的保护范围内进行各种修改和改变。
此外,在描述具有代表性的实施例时,说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而,在该方法或过程不依赖于本文所述步骤的特定顺序的程度上,该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的,其它的步骤顺序也是可能的。因此,说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外,针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤,本领域技术人员可以容易地理解,这些顺序可以变化,并且仍然保持在本申请实施例的精神和范围内。
如图1所示,本申请实施例一种识别触发词的方法,所述方法包括如下步骤:
S1、对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;
S2、对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;
S3、根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征;
S4、根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文本中的触发词。
在一个示例性实施例中,目标文本可以为句子,段落,文章等等。
在一个示例性实施例中,步骤S1中所述对目标文本进行分词之前还包括步骤S5:去除所述目标文本中的指定特征。
示例性的,去除所述目标文本中的指定特征是指:对数据进行清洗,去除目标文本中的一些不必要的符号如表情符号、网址链接以及多余的标点等。
在一个示例性实施例中,步骤S1中所述确定所述目标文本的各分词之间的关联关系,包括如下步骤:
S11、对每个分词进行词性标注和依存句法分析,得到所述目标文本所有分词的依存关系树;
S22、根据所得到的依存关系树确定所述目标文本的各分词中每两个分词之间的关联关系。
示例性的,以目标文本为句子为例,在对数据进行清洗后,使用standfordNLP工具进行词性标注和依存句法分析,得到每个分词的词性和依存树。根据依存树判断两个词之间是否存在关联关系,因此可以得到一个关系矩阵R:[S,S],其中S为句子长度。对于R中的每一个值,如果两个词之间有关系,值为1,否则为0。
另外,在训练过程中标记进行误差调整,然后进行序列标注:比如对于一句话”小明被公安局逮捕了”,在这句话中,显然”逮捕”是事件的触发词,在进行序列标注的时候,”逮捕”被标记为T,而其他单词被标记为”O”,整句话则标记为”O O O O O O T T O”.其中T是一个集合,包含所定义的事件类型,如果有n种事件,则T就有n种。
在一个示例性实施例中,步骤S2中所述对目标文本的每个分词进行编码映射,获取目标文本向量,包括:
对目标文本的每个分词进行编码映射,获取每个分词的词向量、词性向量、及位置向量,将所述词向量、词性向量、及位置向量进行合并得到所述目标文本的向量。
在一个示例性实施例中,步骤S2中所述获取每个分词的词向量、词性向量、及位置向量,包括:
S20、获取所述目标文本的每个分词的分词ID,根据所述分词ID和所述目标文本的每个分词的初始化向量,得到所述目标文本的词向量;
S21、获取所述目标文本的每个分词的词性ID,根据所述词性ID和预设的词性向量得到目标文本的词性向量;
S22、获取所述目标文本的每个分词的位置ID,根据所述位置ID和预设的位置向量得到目标文本的词性向量。
示例性的,以目标文本为句子为例,因计算机无直接处理汉字,因此需要将一句话转换为到数字的一系列表示。假设语料中一共有20000个不同的汉字(包括其他常用符号),每个汉字随机初始化为一个300维的向量,那么即可得到一个维度为[20000,300]的向量D,其中对于索引ID从0至19999,每个ID对应一个不同的汉字。那么对于一句话(长度为S)中的每一个分词,都可以在D中找到对应的id,从而获取对应的向量,因此可以得到一个维度为[S,300]的向量。
同上,为了获取句子中不同单词的词性信息,采用了词性向量M(类似于向量D),设定M的维度为[60,50],其中60为语料中词性的总数,50为对应词性的特征数。那么对于一句话(长度为S)中的每一个分词,都可以在M中找到对应的id,从而获取对应的向量,因此可以得到一个维度为[S,50]的向量。
同上,为了获取句子中不同字符的位置信息,采用了位置向量P(类似于向量D),设定P的维度为[200,50],其中S=200为样本句子的最大长度,50为对应位置的特征数。假设句子sent的实际长度为61,那么sent的位置ID即为1,2,3,4,..,61,剩下的S-61个为0。对于每一个位置ID,都可以在向量P中找到对应的向量。因此对于每一个句子都可以得到一个维度为[S,50]的向量。
最后,对于每个句子得到的以上三个向量进行合并(例如:横向拼接),因此可以得到一个维度为[S,400]的向量(300+50+50=400)。
在一个示例性实施例中,步骤S2中所述获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵,包括:
获取所述目标文本的向量并输入双向LSTM网络,将得到两个方向的输出结果进行合并,得到所述目标文本的编码特征矩阵。
在一个示例性实施例中,步骤S3中所述根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征,包括如下步骤:
S31、将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征;
S32、将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征;
S33、根据所得到的多头注意力权重特征与所述多个映射特征中一个指定映射特征得到所述目标文本的多个语义空间特征,并对所得到的多个语义空间特征进行维度转换,得到所述目标文的语义特征。
示例性的,对所得到的多个语义空间特征进行维度转换是指:将多个语义空间特征进行组合拼接成一个全面的语义特征。
在一个示例性实施例中,步骤S3中所述指定数量的矩阵包括维度相同的第一矩阵、第二矩阵、第三矩阵;
在一个示例性实施例中,步骤S31中所述将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征,包括:
将所述得到的编码特征矩阵分别与维度相同的第一矩阵、第二矩阵、第三矩阵相乘,得到分别对应所述第一矩阵、第二矩阵、第三矩阵的第一转换特征、第二转换特征、及第三转换特征;
将所得到的第一转换特征、第二转换特征、及第三转换特征分别映射到多个语义空间,得到对应的第一映射特征、第二映射特征、第三映射特征;
在一个示例性实施例中,步骤S32中所述将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征包括:
将所得到的第一映射特征乘以转置后的第二映射特征得到多头注意力权重特征;
在一个示例性实施例中,步骤S33中所述根据所得到的多头注意力权重特征与多个映射特征中的一个指定映射特征,得到所述目标文本的多个语义空间特征包括:
将得到的多头注意力权重特征与第三映射特征相乘得到所述多个语义空间特征。
示例性的,将上述得到的句子的合并向量使用双向LSTM网络进行特征提取,然后将双向长短期记忆网络所得的两个方向的输出结果进行合并(例如,横向拼接),得到句子的初步特征结果即编码特征矩阵T1,维度为[S,E](设E=100)。
其次将编码特征矩阵T1分别进行三次转换:即乘以三个不同的矩阵:第一矩阵T21、第二矩阵T22、第三矩阵T23。三个矩阵的维度相同,假设为[E,E2],从而得到三个特征矩阵第一转换特征T31、第二转换特征T32、及第三转换特征T33,维度均为[S,E2](设E2=400=4*E)。
然后将第一转换特征T31、第二转换特征T32、及第三转换特征T33分别进行维度转换:即由原来的[S,E2]->[4,S,E],映射到了4个语义空间得到对应的第一映射特征、第二映射特征、第三映射特征(仍记为T31,T32,T33,只是维度变换,没有改变值),然后进行矩阵运算得到多头注意力权重特征T41=T31*(T32)T,(T41维度为[4,S,S]);然后将多头注意力权重特征T41与第三映射特征T33相乘即得到多个语义空间特征T5=T41*T33(T5维度为[4,S,E])。
最后将多个语义空间特征T5进行维度转换即[4,S,E]->[S,4*E]->[S,E2],即可获取句子的语义特征T6。
在一个示例性实施例中,步骤S4中所述根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文中的触发词,包括:
S41、将得到的关系矩阵与语义特征输入训练好的图神经网络进行计算,得到关系特征向量;
S42、将所得到关系特征向量进行线性变换,得到变化后的特征,再将所得到的变化后的特征进行softmax计算,获取每一分词属于每一类事件的概率;
S43、根据所获取的每一分词属于每一类事件的概率,确定所述目标文本中所有分词中的触发词。
示例性的,将上述得到的关系矩阵R与语义特征T6通过(多层)图神经网络进行计算,最终得到一个维度为[S,E3]的关系特征向量T7。相对与其他神经网络,图神经网络能够充分利用词与词之间的关系,即使在多层图神经网络中,关系矩阵R始终都参与计算,因此能够充分提取触发词以及相关主体之间的关系特征。
该过程有两步,第一步是将所得到的关系特征向量T7进行线性变换即连接一个全连接网络(相当于乘以一个维度为[E3,N]的矩阵,其中N为事件的类型数),从而得到一个变化后的特征T8,维度为[S,N],然后进行softmax计算即T9=softmax(T8),此时T9中的每一行元素就代表这个单词属于每一类事件的概率。
在测试阶段,根据T9即可判断每个词是否是触发词。在训练阶段,通过T7与预先做的序列标注的结果采用交叉熵的方法进行误差计算,并进行梯度反向传播,完成整个训练过程。
如图2所示,本申请实施例一种识别触发词的装置,所述装置包括如下模块:
关系确定模块10,用于对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;
编码模块20,用于对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;
语义分析模块30,用于根据所得到的编码特征矩阵进行语义映射得到所述目标文本的语义特征;
识别模块40,用于根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文本中的触发词。
在一个示例性实施例中,关系确定模块10,用于确定所述目标文本的各分词之间的关联关系,是指:
关系确定模块10,用于对每个分词进行词性标注和依存句法分析,得到所述目标文本所有分词的依存关系树;
关系确定模块10,用于根据所得到的依存关系树确定所述目标文本的各分词中每两个分词之间的关联关系。
在一个示例性实施例中,编码模块20,用于对目标文本的每个分词进行编码映射,获取目标文本向量,是指:
编码模块20,用于对目标文本的每个分词进行编码映射,获取每个分词的词向量、词性向量、及位置向量,将所述词向量、词性向量、及位置向量进行合并得到所述目标文本的向量。
在一个示例性实施例中,编码模块20,用于获取每个分词的词向量、词性向量、及位置向量,包括:
编码模块20,用于获取所述目标文本的每个分词的分词ID,根据所述分词ID和所述目标文本的每个分词的初始化向量,得到所述目标文本的词向量;
编码模块20,用于获取所述目标文本的每个分词的词性ID,根据所述词性ID和预设的词性向量得到目标文本的词性向量;
编码模块20,用于获取所述目标文本的每个分词的位置ID,根据所述位置ID和预设的位置向量得到目标文本的词性向量。
在一个示例性实施例中,编码模块20,用于获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵,是指:
编码模块20,用于获取所述目标文本的向量并输入双向LSTM网络,将得到两个方向的输出结果进行合并,得到所述目标文本的编码特征矩阵。
在一个示例性实施例中,语义分析模块30,用于根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征,是指:
语义分析模块30,用于将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征;
语义分析模块30,用于将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征;
语义分析模块30,用于根据所得到的多头注意力权重特征与所述多个映射特征中的一个指定映射特征得到的多个语义空间特征,并对所得到的多个语义空间特征进行维度转换,得到所述目标文的语义特征。
在一个示例性实施例中,语义分析模块30,用于指定数量的矩阵包括维度相同的第一矩阵、第二矩阵、第三矩阵;
在一个示例性实施例中,语义分析模块30,用于所述将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征,是指:
语义分析模块30,用于将所述得到的编码特征矩阵分别与维度相同的第一矩阵、第二矩阵、第三矩阵相乘,得到分别对应所述第一矩阵、第二矩阵、第三矩阵的第一转换特征、第二转换特征、及第三转换特征;
语义分析模块30,用于将所得到的第一转换特征、第二转换特征、及第三转换特征分别映射到多个语义空间,得到对应的第一映射特征、第二映射特征、第三映射特征;
在一个示例性实施例中,语义分析模块30,用于所述将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征,是指:
语义分析模块30,用于将所得到的第一映射特征乘以转置后的第二映射特征得到多头注意力权重特征;
在一个示例性实施例中,语义分析模块30,用于所述根据所得到的多头注意力权重特征与多个映射特征中的一个指定映射特征得到的多个语义空间特征,是指:
语义分析模块30,用于将得到的多头注意力权重特征与第三映射特征相乘得到所述多个语义空间特征。
在一个示例性实施例中,识别模块40,用于所述根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文中的触发词,是指:
识别模块40,用于将得到的关系矩阵与语义特征输入训练好的图神经网络进行计算,得到关系特征向量;
识别模块40,用于将所得到关系特征向量进行线性变换,得到变化后的特征,再将所得到的变化后的特征进行softmax计算,获取每一分词属于每一类事件的概率;
识别模块40,用于根据所获取的每一分词属于每一类事件的概率,确定所述目标文本中所有分词中的触发词。
在一个示例性实施例中,上述装置还包括清洗模块50,用于在关系确定模块10对目标文本进行分词之前还去除所述目标文本中的指定特征。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
Claims (10)
1.一种识别触发词的方法,其特征在于,所述方法包括:
对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;
对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;
根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征;
根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文本中的触发词。
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标文本的各分词之间的关联关系,包括:
对每个分词进行词性标注和依存句法分析,得到所述目标文本所有分词的依存关系树;
根据所得到的依存关系树确定所述目标文本的各分词中每两个分词之间的关联关系。
3.根据权利要求1所述的方法,其特征在于,所述对目标文本的每个分词进行编码映射,获取目标文本的向量,包括:
对目标文本的每个分词进行编码映射,获取每个分词的词向量、词性向量、及位置向量,将所述词向量、词性向量、及位置向量进行合并得到所述目标文本的向量。
4.根据权利要求2所述的方法,其特征在于,所述获取每个分词的词向量、词性向量、及位置向量,包括:
获取所述目标文本的每个分词的分词ID,根据所述分词ID和所述目标文本的每个分词的初始化向量,得到所述目标文本的词向量;
获取所述目标文本的每个分词的词性ID,根据所述词性ID和预设的词性向量得到所述目标文本的词性向量;
获取所述目标文本的每个分词的位置ID,根据所述位置ID和预设的位置向量得到所述目标文本的词性向量。
5.根据权利要求1所述的方法,其特征在于,所述获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵,包括:
获取所述目标文本的向量并输入双向LSTM网络,将得到的两个方向的输出结果进行合并,得到所述目标文本的编码特征矩阵。
6.根据权利要求1所述的方法,其特征在于,所述根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征,包括:
将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征;
将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征;
根据所得到的多头注意力权重特征与所述多个映射特征中的一个指定映射特征得到所述目标文本的多个语义空间特征,并对所得到的多个语义空间进行维度转换,得到所述目标文的语义特征。
7.根据权利要求6所述的方法,其特征在于,所述指定数量的矩阵包括维度相同的第一矩阵、第二矩阵、第三矩阵;
所述将所得到的编码特征矩阵进行指定数量的矩阵转换得到对应的指定数量的转换矩阵,并分别映射到多个语义空间,得到与所述转换矩阵对应的多个映射特征,包括:
将所述得到的编码特征矩阵分别与维度相同的第一矩阵、第二矩阵、第三矩阵相乘,得到分别对应所述第一矩阵、第二矩阵、第三矩阵的第一转换特征、第二转换特征、及第三转换特征;
将所得到的第一转换特征、第二转换特征、及第三转换特征分别映射到多个语义空间,得到对应的第一映射特征、第二映射特征、第三映射特征;
所述将所得到的多个映射特征中的指定映射特征进行矩阵运算,得到多头注意力权重特征包括:
将所得到的第一映射特征乘以转置后的第二映射特征得到多头注意力权重特征;
所述根据所得到的多头注意力权重特征与多个映射特征中的一个指定映射特征得到所述目标文本的多个语义空间特征包括:
将得到的多头注意力权重特征与第三映射特征相乘得到所述目标文本的多个语义空间特征。
8.根据权利要求7所述的方法,其特征在于,所述根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文中的触发词,包括:
将得到的关系矩阵与语义特征输入训练好的图神经网络进行计算,得到关系特征向量;
将所得到关系特征向量进行线性变换,得到变化后的特征,再将所得到的变化后的特征进行softmax计算,获取每一分词属于每一类事件的概率;
根据所获取的每一分词属于每一类事件的概率,确定所述目标文本中所有分词中的触发词。
9.根据权利要求1所述的方法,其特征在于,所述对目标文本进行分词之前还包括:去除所述目标文本中的指定特征。
10.一种识别触发词的装置,其特征在于,所述装置包括:
关系确定模块,用于对目标文本进行分词并确定所述目标文本的各分词中每两个分词之间的关联关系,并根据所确定的关联关系得到关系矩阵;
编码模块,用于对目标文本的每个分词进行编码映射,获取所述目标文本的向量并输入循环神经网络,得到所述目标文本的编码特征矩阵;
语义分析模块,用于根据所得到的编码特征矩阵进行语义映射,得到所述目标文本的语义特征;
识别模块,用于根据所得到的关系矩阵和所述目标文本的语义特征,识别所述目标文本中的触发词。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911242217.2A CN111126056B (zh) | 2019-12-06 | 2019-12-06 | 一种识别触发词的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911242217.2A CN111126056B (zh) | 2019-12-06 | 2019-12-06 | 一种识别触发词的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126056A true CN111126056A (zh) | 2020-05-08 |
CN111126056B CN111126056B (zh) | 2023-05-09 |
Family
ID=70496229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911242217.2A Active CN111126056B (zh) | 2019-12-06 | 2019-12-06 | 一种识别触发词的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126056B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113836928A (zh) * | 2021-09-28 | 2021-12-24 | 平安科技(深圳)有限公司 | 文本实体生成方法、装置、设备及存储介质 |
WO2022048204A1 (zh) * | 2020-09-03 | 2022-03-10 | 平安科技(深圳)有限公司 | 图像生成方法、装置、电子设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180113856A1 (en) * | 2016-10-26 | 2018-04-26 | Abbyy Infopoisk Llc | Producing training sets for machine learning methods by performing deep semantic analysis of natural language texts |
CN110263323A (zh) * | 2019-05-08 | 2019-09-20 | 清华大学 | 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 |
CN110532558A (zh) * | 2019-08-29 | 2019-12-03 | 杭州涂鸦信息技术有限公司 | 一种基于句子结构深层解析的多意图识别方法及系统 |
-
2019
- 2019-12-06 CN CN201911242217.2A patent/CN111126056B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180113856A1 (en) * | 2016-10-26 | 2018-04-26 | Abbyy Infopoisk Llc | Producing training sets for machine learning methods by performing deep semantic analysis of natural language texts |
CN110263323A (zh) * | 2019-05-08 | 2019-09-20 | 清华大学 | 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 |
CN110532558A (zh) * | 2019-08-29 | 2019-12-03 | 杭州涂鸦信息技术有限公司 | 一种基于句子结构深层解析的多意图识别方法及系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022048204A1 (zh) * | 2020-09-03 | 2022-03-10 | 平安科技(深圳)有限公司 | 图像生成方法、装置、电子设备及计算机可读存储介质 |
CN113836928A (zh) * | 2021-09-28 | 2021-12-24 | 平安科技(深圳)有限公司 | 文本实体生成方法、装置、设备及存储介质 |
CN113836928B (zh) * | 2021-09-28 | 2024-02-27 | 平安科技(深圳)有限公司 | 文本实体生成方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111126056B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111695352A (zh) | 基于语义分析的评分方法、装置、终端设备及存储介质 | |
US20180053107A1 (en) | Aspect-based sentiment analysis | |
CN112633419A (zh) | 小样本学习方法、装置、电子设备和存储介质 | |
CN110765785A (zh) | 基于神经网络的中英翻译方法、及其相关设备 | |
CN109460434B (zh) | 数据提取模型建立方法及装置 | |
CN111723569A (zh) | 一种事件抽取方法、装置和计算机可读存储介质 | |
CN111599340A (zh) | 一种多音字读音预测方法、装置及计算机可读存储介质 | |
CN111581345A (zh) | 一种文档级别的事件抽取方法和装置 | |
CN112800239A (zh) | 意图识别模型训练方法、意图识别方法及装置 | |
CN111126056B (zh) | 一种识别触发词的方法及装置 | |
CN114218945A (zh) | 实体识别方法、装置、服务器及存储介质 | |
CN116245097A (zh) | 训练实体识别模型的方法、实体识别方法及对应装置 | |
CN115392235A (zh) | 字符匹配方法、装置、电子设备及可读存储介质 | |
CN115062134A (zh) | 知识问答模型训练及知识问答方法、装置和计算机设备 | |
CN115203372A (zh) | 文本意图分类方法、装置、计算机设备及存储介质 | |
CN112487813B (zh) | 命名实体识别方法及系统、电子设备及存储介质 | |
CN111859933B (zh) | 马来语识别模型的训练方法、识别方法、装置、设备 | |
US20210271705A1 (en) | Generating accurate and natural captions for figures | |
WO2023108981A1 (zh) | 文本生成模型的训练方法、装置、存储介质及计算机设备 | |
CN111401069A (zh) | 会话文本的意图识别方法、意图识别装置及终端 | |
CN112416754B (zh) | 一种模型评测方法、终端、系统及存储介质 | |
CN115470861A (zh) | 数据处理方法、装置和电子设备 | |
CN114820212A (zh) | 非连续疾病实体抽取方法、装置及电子设备 | |
CN113128231A (zh) | 一种数据质检方法、装置、存储介质和电子设备 | |
CN112925961A (zh) | 一种基于企业实体的智能问答方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |