CN114239566B - 基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质 - Google Patents
基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质 Download PDFInfo
- Publication number
- CN114239566B CN114239566B CN202111528511.7A CN202111528511A CN114239566B CN 114239566 B CN114239566 B CN 114239566B CN 202111528511 A CN202111528511 A CN 202111528511A CN 114239566 B CN114239566 B CN 114239566B
- Authority
- CN
- China
- Prior art keywords
- event
- character
- representation
- word
- trigger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 29
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012512 characterization method Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 11
- 230000036961 partial effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于信息增强实现两步中文事件精准检测的方法，其中，该方法包括：输入包含中文的事件句和事件句文档进行分词处理；对事件句中的每一个字符进行多粒度事件信息混合表示的处理；将每一个字符的最终表征用于构建残差型门限空洞卷积网络；采用首尾双指针的标注策略对所有中文事件中的触发词进行识别处理；利用所述的事件句和事件句文档构建包含实体‑主体‑候选触发词的交互图模型；使用Softmax层预测事件触发词的事件类别分布特征，并通过概率分布计算出各个触发词所属的事件类别。本发明还涉及一种相应的装置、处理器及其存储介质。采用了本发明的该基于信息增强实现两步中文事件精准检测的方法，显著地提高了事件触发词分类的准确率。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及事件抽取和检测技术领域，具体是指一种 基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质。
背景技术
事件抽取是信息抽取领域非常重要的研究任务之一。事件抽取的目标是从自然语言文本 中将事件信息以结构化的形式呈现出来。事件抽取作为事件挖掘领域的关键技术，在事件检 索、自动问答、事件追踪等方面均有广泛应用。事件抽取又分为事件检测和事件论元抽取两 个环节。事件检测是指从文本中发现事件并识别事件的类别，事件论元抽取是指对确定事件 类型的事件构成要素进行抽取。本发明重点关注中文事件抽取中的事件检测子任务。
事件检测任务包括触发词识别和触发词分类两个阶段任务。传统事件检测会采用一个统 一的模型一次性处理两个阶段任务，将模型输入的事件表示一次性用到了两个子过程中，同 时在一定程度上也减少了错误传递，也取得了较好的事件检测效果。但是对于事件检测的两 个阶段任务来说，所需要的上下文等语义信息存在一定的差异性，且两个阶段任务的目标也 存在一定的差异性。具体来说：
对于中文事件触发词识别来说，其主要目标是从事件句中识别出(标注出)合适的候选 词语，然后根据上下文信息判断是否为触发词即可。本阶段所需要的语义信息相对较少，甚 至仅标注事件句中的核心动词或名词作为事件触发词也能获得较好的识别准确率。也就是说， 事件触发词识别阶段的重点是能够利用一定的语义信息标注出适当的词语作为候选触发词。 由于中文存在分词错误等，中文事件触发词存在完全匹配型触发词(Exact)、部分词型触发 词(Part)和跨词型触发词(Cross)等多种类型，使得中文事件检测面临着触发词不匹配的 问题。在之前的研究中，研究者们一般采用BIO或BIOES的标注策略来解决中文事件触发词 不匹配的问题，识别效果依然不理想。
对于中文事件触发词分类任务来说，需要将触发词识别阶段中识别出的候选触发词分类 到正确的事件类型。因此，事件触发词分类阶段的重点是能够寻找到丰富的事件句表征以及 候选触发词的表征以实现触发词事件类型的正确分类。事件触发词分类任务面临着诸多问题， 其中触发词的歧义问题和多触发词问题最具挑战。在之前的事件检测研究中，研究者们常在 联合模型中采用丰富的上下文信息表示(字符表示、词表示、位置表示等)和事件句结构图 表示(句法结构图、依存图、字词图等)来提高模型的表征能力。然而这对于事件触发词歧 义区分和多触发词处理的能力仍然是有限的。这是因为之前的事件检测任务是一次性完成触 发词识别和触发词分类，在构建事件句的上下文信息或结构图信息的时候，仅能考虑事件句 中的所有词语间的关联，触发词识别过程中的很多中间信息不能利用，例如：候选触发词之 间的关联、候选触发词与事件关键信息之间的关联、候选触发词与事件主题的关联等。这些 过程信息对于解决中文事件触发词歧义以及事件多触发词等问题大有裨益。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种能够针对性的利用有效且合理 的事件信息以解决事件检测中的触发词不匹配、多触发词和触发词歧义的问题的基于信息增 强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质。
为了实现上述目的，本发明的基于信息增强实现两步中文事件精准检测的方法、装置、 处理器及其计算机可读存储介质如下：
该基于信息增强实现两步中文事件精准检测的方法，其主要特点是，所述的方法包括以 下步骤：
(1)输入包含中文的事件句和事件句文档进行分词处理；
(2)对事件句中的每一个字符进行多粒度事件信息混合表示的处理，以获取每一个字符 融合后的最终表征；
(3)将每一个字符的最终表征用于进行多层带扰动的残差型门限空洞卷积网络的构建， 以进行后续中文事件的检测；
(4)采用首尾双指针的标注策略对所有中文事件中的触发词进行识别处理；
(5)利用所述的事件句和事件句文档构建包含实体-主体-候选触发词的交互图模型；
(6)针对上述处理过程使用Softmax层预测事件触发词的事件类别分布特征，并通过概 率分布计算出各个触发词所属的事件类别。
较佳地，(2.1)对于中文事件句中的每一个字符，从字词训练向量模型中查找事件句中 每一个字符对应的字符表征；
(2.2)采用全词切分的方式获取事件句中每一个字符对应的全词语表征；
(2.3)根据下列公式计算事件句中每一个字符对应的位置表征，以提高整体事件句信息 表征对字符位置的感知和敏感度：
其中，i为事件句中的第i个字符，dpe为位置表征的维度，PE(i,2k)为位置表征第2k个元 素的数值，PE(i,2k+1)为位置表征第2k+1个元素的数值，
(2.4)将每一个字符对应的字符表征、全词语表征以及位置表征累加获取该字符的最终 表征。
较佳地，所述的步骤(2.2)具体包括以下步骤：
(2.2.1)在预训练模型中查找每一个字符对应的所有的词语表征WEik；
(2.2.2)并根据下列公式计算当前该字符对应的所有词语表征的平均值，将其作为该字 符最终的全词语表征：
其中，i为事件句中的第i个字符，k为当前字符的第k个全词语表征，K为当前字符的 全词语表征总数。
较佳地，所述的步骤(3)具体包括以下步骤：
所述的步骤(3)具体包括以下步骤：
(3.1)根据上述字符表征方式，获得事件向量序列为X＝[X1,X2,X3,…,Xn]，其中Xi是事 件句中每一个字符的表示；
(3.2)在所述的空洞卷积网络上添加Sigmoid门控函数，并将门控函数值域范围设置为 [0,1]，采用下列计算公式进行更新和遗忘前置部分的信息：
其中，AConv1D1(X)、AConv1D2(X)表示输入序列X的一维空洞卷积，表示两个向量的点乘运算，σ表示门限机制函数；
(3.3)在所述的空洞卷积网络中引入残差机制，将事件句的事件向量序列X＝[X1,X2, X3,…,Xn]得到的浅层原始特征，与通过所述的门限机制的空洞卷积网络计算之后的得到深层 卷积特征进行融合，使得事件句表征更加综合全面，具体为采用以下公式进行特征融合：
σ′＝σ(AConv1D2(X))；
(3.4)在所述的空洞卷积网络中采用以下公式加入正则化的参数扰动，从而构建所述的 带扰动的残差型门限空洞卷积网络Hsgr-aconv，以提升模型的鲁棒性：
(3.5)基于所述的带扰动的残差型门限空洞卷积网络的训练，所述的训练句中的每一个 字符均转化为一个隐藏层向量。
较佳地，所述的步骤(4)具体包括以下步骤：
(4.1)根据带扰动的残差型门限空洞卷积网络，根据以下公式计算出每一个触发词开始 位置Ostart和终止位置Oend的得分：
Ostart＝WstartHsgr-acovn+bstart；
Oend＝WendHsgr-acovn+bend；
其中，Wstart和Wend是触发词开始位置和结束位置的权重矩阵，bstart和bend是触发词开 始位置和终止位置的偏置；
(4.2)根据以下公式使用Sigmoid函数计算每一个候选触发词的开始位置和终止 位置/>的概率值：
(4.3)针对计算出的每一个候选触发词的开始位置和终止位置的概率值，如果该候选触 发词的开始位置的概率值大于设定阈值且终止位置的概率值也大于设定阈值，则将该候选触 发词识别为触发词。
较佳地，所述的步骤(5)具体包括以下步骤：
所述的步骤(5)具体包括以下步骤：
(5.1)基于获取到的当前事件句文档中所有事件的候选触发词，获取所有事件句所包含 的实体以及各个事件对应的主题；
(5.2)如果当前存在实体、主题以及候选触发词出现在同一个事件句中，则将其在所述 的交互图模型中添加一条对应关联的边；
(5.3)各条边的权重采用对应的实体、主题以及候选触发词在共同出现的句子中的数量 进行表示；
(5.4)使用图卷积网络计算所述的交互图模型中每一个节点的表示，从而构建完成包含 实体-主体-候选触发词的交互图模型，并获取交互图表征。
较佳地，所述的步骤(6)具体包括以下步骤：
所述的步骤(6)具体包括以下步骤：
(6.1)将相应字符计算出的最终表征、从所述的字词训练向量模型中获取的候选触发词 表征以及交互图表征进行累加融合，得到候选触发词分类的最终输入特征表示，并将其作为 触发词分类模型的输入；
(6.2)根据模型输出，计算每一个候选触发词的得分，并使用softmax层根据以下公式 计算候选触发词属于每一个不同事件类别的概率：
O＝WHsgr-acovn+b；
其中，W和b分别是候选触发词事件类别的权重矩阵和偏置值，det是触发词事件类别数量， O为触发词分类模型的隐层输出向量，Oi表示第i个位置的隐层输出值，TCi为候选触发词属 于第i个事件类别的概率。
(6.3)根据上述计算出的相应的候选触发词属于不同事件类别的概率，选择概率值最大 的事件类别作为该候选触发词的事件类别。
该基于信息增强实现两步中文事件精准检测的装置，其主要特点是，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行 时，实现上述所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
该基于信息增强实现两步中文事件精准检测的处理器，其主要特点是，所述的处理器被 配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述 所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可 被处理器执行以实现上述所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
采用了本发明的该基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其 计算机可读存储介质，将事件检测的触发词识别和触发词分类分两步进行，并针对不同任务 的不同目标，采用针对性的、合理的、有效的事件信息以解决事件检测各个阶段任务的触发 词不匹配、多触发词和触发词歧义等不同问题。首先构建一个用于触发词识别和触发词分类 的事件信息深度表征通用框架——即带扰动的残差型门限空洞卷积网络框架，用于捕捉事件 句中的各类表征(字符表征、全词表征、位置表征)，以增强事件检测各阶段模型的深度表征 能力。然后，分别地，针对事件触发词识别，采用“首尾双指针”的标注策略，对事件句进 行首尾两次标注，分别标注事件触发词的开始位置和终止位置，获取更多可能性的候选事件 触发词，以解决跨词型触发词、部分词型触发词等触发词识别不匹配的问题，进一步提高了 中文事件触发词识别的召回率。针对事件触发词分类，利用第一阶段触发词识别的结果，构 建基于“触发词-实体”、“触发词-主题”、“触发词-触发词”等之间的事件句图网络，充分利 用候选触发词之间、以及候选触发词与其他事件信息之间的关系，从而增强候选触发词的信 息表征，解决多触发词和触发词歧义的问题，进一步提高事件触发词分类的准确率。并且， 本技术方案创新性地将事件检测的两个阶段任务分开处理，充分挖掘事件检测中有效的过程 信息(候选触发词之间的关联)，相较于现有技术而言具有一定的创新性。
附图说明
图1为本发明的基于信息增强实现两步中文事件精准检测的方法的流程图。
图2为本发明的基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计 算机可读存储介质的结构示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含” 或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或 者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、 物品或者设备所固有的要素。
请参阅图1所示，该基于信息增强实现两步中文事件精准检测的方法，其中，所述的方 法包括以下步骤：
(1)输入包含中文的事件句和事件句文档进行分词处理；
(2)对事件句中的每一个字符进行多粒度事件信息混合表示的处理，以获取每一个字符 融合后的最终表征；
(3)将每一个字符的最终表征用于进行多层带扰动的残差型门限空洞卷积网络的构建， 以进行后续中文事件的检测；
(4)采用首尾双指针的标注策略对所有中文事件中的触发词进行识别处理；
(5)利用所述的事件句和事件句文档构建包含实体-主体-候选触发词的交互图模型；
(6)针对上述处理过程使用Softmax层预测事件触发词的事件类别分布特征，并通过概 率分布计算出各个触发词所属的事件类别。
作为本发明的优选实施方式，所述的步骤(2)具体包括以下步骤：
(2.1)对于中文事件句中的每一个字符，从字词训练向量模型中查找事件句中每一个字 符对应的字符表征；
(2.2)采用全词切分的方式获取事件句中每一个字符对应的全词语表征；
(2.3)根据下列公式计算事件句中每一个字符对应的位置表征，以提高整体事件句信息 表征对字符位置的感知和敏感度：
其中，i为事件句中的第i个字符，dpe为位置表征的维度，PE(i,2k)为位置表征第2k个元 素的数值，PE(i,2k+1)为位置表征第2k+1个元素的数值，
(2.4)将每一个字符对应的字符表征、全词语表征以及位置表征累加获取该字符的最终 表征。
作为本发明的优选实施方式，所述的步骤(2.2)具体包括以下步骤：
(2.2.1)在预训练模型中查找每一个字符对应的所有的词语表征WEik；
(2.2.2)并根据下列公式计算当前该字符对应的所有词语表征的平均值，将其作为该字 符最终的全词语表征：
其中，i为事件句中的第i个字符，k为当前字符的第k个全词语表征，K为当前字符的 全词语表征总数。
作为本发明的优选实施方式，所述的步骤(3)具体包括以下步骤：
(3.1)根据上述字符表征方式，获得事件向量序列为X＝[X1,X2,X3,…,Xn]，其中Xi是事 件句中每一个字符的表示；
(3.2)在所述的空洞卷积网络上添加Sigmoid门控函数，并将门控函数值域范围设置为 [0,1]，采用下列计算公式进行更新和遗忘前置部分的信息：
其中，AConv1D1(X)、AConv1D2(X)表示输入序列X的一维空洞卷积，表示两个向量的点乘运算，σ表示门限机制函数；
(3.3)在所述的空洞卷积网络中引入残差机制，将事件句的事件向量序列X＝[X1，X2， X3，...，Xn]得到的浅层原始特征，与通过所述的门限机制的空洞卷积网络计算之后的得到深层 卷积特征进行融合，使得事件句表征更加综合全面，具体为采用以下公式进行特征融合：
σ′＝σ(AConv1D2(X))；
(3.4)在所述的空洞卷积网络中采用以下公式加入正则化的参数扰动，从而构建所述的 带扰动的残差型门限空洞卷积网络Hsgr-aconv，以提升模型的鲁棒性：
(3.5)基于所述的带扰动的残差型门限空洞卷积网络的训练，所述的训练句中的每一个 字符均转化为一个隐藏层向量。
作为本发明的优选实施方式，所述的步骤(4)具体包括以下步骤：
(4.1)根据带扰动的残差型门限空洞卷积网络，根据以下公式计算出每一个触发词开始 位置Ostart和终止位置Oend的得分：
Ostart＝WstartHsgr-acovn+bstart；
Oend＝WendHsgr-acovn+bend；
其中，Wstart和Wend是触发词开始位置和结束位置的权重矩阵，bstart和bend是触发词开 始位置和终止位置的偏置；
(4.2)根据以下公式使用Sigmoid函数计算每一个候选触发词的开始位置和终止 位置/>的概率值：
(4.3)针对计算出的每一个候选触发词的开始位置和终止位置的概率值，如果该候选触 发词的开始位置的概率值大于设定阈值且终止位置的概率值也大于设定阈值，则将该候选触 发词识别为触发词。
作为本发明的优选实施方式，所述的步骤(5)具体包括以下步骤：
所述的步骤(5)具体包括以下步骤：
(5.1)基于获取到的当前事件句文档中所有事件的候选触发词，获取所有事件句所包含 的实体以及各个事件对应的主题；
(5.2)如果当前存在实体、主题以及候选触发词出现在同一个事件句中，则将其在所述 的交互图模型中添加一条对应关联的边；
(5.3)各条边的权重采用对应的实体、主题以及候选触发词在共同出现的句子中的数量 进行表示；
(5.4)使用图卷积网络计算所述的交互图模型中每一个节点的表示，从而构建完成包含 实体-主体-候选触发词的交互图模型，并获取交互图表征。
作为本发明的优选实施方式，所述的步骤(6)具体包括以下步骤：
(6.1)将相应字符计算出的最终表征、从所述的字词训练向量模型中获取的候选触发词 表征以及交互图表征进行累加融合，得到候选触发词分类的最终输入特征表示，并将其作为 触发词分类模型的输入；
(6.2)根据模型输出，计算每一个候选触发词的得分，并使用softmax层根据以下公式 计算候选触发词属于每一个不同事件类别的概率：
O＝WHsgr-acovn+b；
其中，W和b分别是候选触发词事件类别的权重矩阵和偏置值，det是触发词事件类别数量， O为触发词分类模型的隐层输出向量，Oi表示第i个位置的隐层输出值，TCi为候选触发词属 于第i个事件类别的概率。
(6.3)根据上述计算出的相应的候选触发词属于不同事件类别的概率，选择概率值最大 的事件类别作为该候选触发词的事件类别。
该基于信息增强实现两步中文事件精准检测的装置，其中，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行 时，实现上述所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
该基于信息增强实现两步中文事件精准检测的处理器，其中，所述的处理器被配置成执 行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基 于信息增强实现两步中文事件精准检测的方法的各个步骤。
该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器 执行以实现上述所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
在实际应用当中，本技术方案首先构建了一个用于触发词识别和分类的事件信息深度表 征通用框架，用于捕捉事件句中的各类信息，以增强事件检测各阶段模型的表征能力。然后， 分别地，针对事件触发词识别，提出了一个新的“首尾双指针”标注策略，以解决触发词不 匹配的问题；针对事件触发词分类，提出了“实体-主题-候选触发词”交互图，通过增强候 选触发词的信息表征，以解决触发词歧义的问题，从而进一步提高事件触发词分类的准确率。
该方法具体如下：
步骤一，多粒度事件信息混合表示。本发明以事件句中的每一个字符为主体，对于每一 个字符综合考虑该字符的多粒度混合表征(Multi-granularity HybridRepresentation,MHR)，主 要包括：(1)字符表征。对于中文事件句中的每一个字符，从预训练模型中获得相应的字符 表征；(2)全词表征。每一个中文事件句可能存在多种分词方式，如果只考虑某一种容易造 成误差传递问题，本发明采用全词切分方式，以取得所有可能的分词形式，从根本上避免可 能分词形式的遗漏，以获得更全面的词表征，进一步增强事件句的信息表征；(3)位置表征。 本发明增加字符位置表征以提高整体事件句信息表征对字符位置的感知和敏感度。
步骤二，带扰动的残差型门限空洞卷积网络构建。本发明采用空洞卷积网络(Atrous Convolution Neural Network,ACNN)作为中文事件触发词识别和触发词抽取的基础网络，进 一步，首先，在空洞卷积网络中引入门限机制，更新和遗忘前置部分信息，从而改善模型噪 声信息过滤能力和梯度消失问题；然后，在空洞卷积网络中引入残差机制，将事件句的浅层 原始特征和深层卷积特征进行融合，使得事件句表征更加综合全面，以提高空洞卷积网络的 信息融合能力；最后，为进一步提高事件检测网络的鲁棒性，加入了正则化的参数扰动，从 而构建了用于中文事件检测(触发词识别和触发词分类阶段共用该网络)的带扰动的残差型 门限空洞卷积网络(Shake-Gated and Residual based AtrousConvolution Neural Network, SGR-ACNN)。
步骤三，基于“首尾双指针”标注策略的中文事件触发词识别。本发明会对事件句进行 首尾两次标注，分别标注事件触发词的开始位置和终止位置。基于上述多粒度事件信息混合 表示和带扰动的残差型门限空洞卷积网络，事件句的每一个字符均可以转化为一个隐藏层向 量，首先采用一个全连接层来计算每一个字符属于触发词开始位置和终止位置的得分，然后 使用一个Sigmoid层来计算其相应的概率值，最后根据每一个字符是否属于某个触发词的开 始或终止位置的概率实现候选触发词的识别和抽取。
步骤四，“实体-主题-候选触发词”交互图构建。在事件检测的第二阶段(触发词分类) 中，基于“触发词-实体”、“触发词-主题”、“触发词-触发词”等之间的关联构建事件句图网 络。具体地，对于文档中的所有事件句，经过事件检测第一阶段的处理，可以获得当前文档 中所有事件的候选触发词；然后对所有事件句获取其所包含的实体和各事件对应的主题；接 着对于每一个实体、主题和候选词触发词，如果他们出在同一个事件句中，则在交互图构建 的时候在他们之间添加一条边，同时，边的权重用他们共现的句子数量表示；最后使用图卷 积网络计算该交互图中每一个节点的表示。
步骤五，基于信息增强的中文事件触发词分类。基于上述多粒度事件信息混合表示、“实 体-主题-候选触发词”交互图表示和带扰动的残差型门限空洞卷积网络，获得触发词识别阶 段的候选触发词的事件类别特征，使用一个Softmax层来预测事件触发词的事件类别分布特 征，通过概率分布计算出触发词所属的事件类别。
在本发明的一具体实施例中，请参阅图1所示，以事件句“B1B2B3B4B5B6B7B8B9”检测为例，本发明的中文事件检测方法包括以下步骤：
1.数据准备。从中文事件语料中读取事件文本数据，以及其所在的文档数据。例如，读 取一条中文事件句：“B1B2B3B4B5B6B7B8B9。”，其所在文档数据为：“… AAAAAAAAAAAAAB1B2B3B4B5B6B7B8B9CCCCCCCC…”。
2.事件句分词。对事件句进行全分词处理，切分后的结果为：{“B1”、“B2”、“B3”、“B4”、 “B5”、“B6”、“B7”、“B8”、“B9”}。
多粒度事件句嵌入表征。1)对事件句中的每一个字符，从预训练模型中查找其字符表征 CEi；2)在预训练模型中查找每一字符对应的全词表征WEik，然后计算该字符对应的所有词 语表征的平均值作为该字符最终的全词语表征3)根据如下公式(1)， 计算事件句中每个字符的位置表征PEi；4)计算事件句中每一个字符的最终表征：
4.多层带扰动的残差型门限空洞卷积网络表征。将获得的事件句的字符表征作为带扰动 的残差型门限空洞卷积网络的输入，根据公式(2)计算多层网络之后的事件句表征。
5.候选触发词识别计算。针对卷积层的输出，根据公式(3)计算每一个字符为触发词 开始或结束位置的得分，
根据每一个字符的计算得分，使用Sigmoid层来计算每一个字符是触发词开始或结束位 置的概率，从而得到所有候选触发词。计算公式如下(4)所示。
6.候选触发词识别预测。对于事件句“B1B2B3B4B5B6B7B8B9”，对于每一字符计算得到 的概率标注为：{0,0.01,0.01,0.02,0,0,0,0,0,0,0,0,0.9,0.8,0.2,0,0,0.8,0.8}，那么候选触 发词的标注结果为：“B4”、“B6”。
7.“实体-主题-候选触发词”交互图构建。对事件句所在文档进行主题抽取和实体抽取， 并基于“触发词-实体”、“触发词-主题”、“触发词-触发词”等之间的关联构建事件句交互图 网络，具体地说，对于每一个实体、主题和候选词触发词，如果他们出在同一个事件句中， 则在交互图构建的时候在他们之间添加一条边，同时，边的权重用他们共现的句子数量表示
8.图卷积网络表示。对于第6步获得的交互图，本发明采用图卷积网络计算每一个节点 的表示，每一层网络的计算公式如下(5)所示。
其中，m+k+t表示交互图中节点的数量(包括实体、主题、候选触发词)； 表示是交互图的邻接矩阵；l表示交互图的层数；L(0)＝X表示交互图初始各 个节点的嵌入矩阵。
9.多层带扰动的残差型门限空洞卷积网络表征。综合事件句的字符表征、候选触发词表 征、交互图表征作为带扰动的残差型门限空洞卷积网络的输入，根据公式(2)计算多层网络 之后的事件句深层表征Hsgr-acovn。
10.触发词分类计算。采用Softmax预测候选触发词类别的概率分布，如下式(6)所示。
O＝WHsgr-acovn+b
触发词分类预测。对事件句“B1B2B3B4B5B6B7B8B9”的候选触发词“B4”和“B6”， 触发词分类概率计算结果分别为：{B4：Business/End-Org:0.89；Business/End- Position:0.33；……}、{B6：Business/End-Org:0.19；Business/End-Position:0.96；……}，那么 最后模型分类结果为：B4：Business/End-Org、B6：Business/End-Position。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或 更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且 本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根 据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所 属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施 方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件 来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以 通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在 执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或 “实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于 本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是 相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多 个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进 行变化、修改、替换和变型。
采用了本发明的该基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其 计算机可读存储介质，将事件检测的触发词识别和触发词分类分两步进行，并针对不同任务 的不同目标，采用针对性的、合理的、有效的事件信息以解决事件检测各个阶段任务的触发 词不匹配、多触发词和触发词歧义等不同问题。首先构建一个用于触发词识别和触发词分类 的事件信息深度表征通用框架——即带扰动的残差型门限空洞卷积网络框架，用于捕捉事件 句中的各类表征(字符表征、全词表征、位置表征)，以增强事件检测各阶段模型的深度表征 能力。然后，分别地，针对事件触发词识别，采用“首尾双指针”的标注策略，对事件句进 行首尾两次标注，分别标注事件触发词的开始位置和终止位置，获取更多可能性的候选事件 触发词，以解决跨词型触发词、部分词型触发词等触发词识别不匹配的问题，进一步提高了 中文事件触发词识别的召回率。针对事件触发词分类，利用第一阶段触发词识别的结果，构 建基于“触发词-实体”、“触发词-主题”、“触发词-触发词”等之间的事件句图网络，充分利 用候选触发词之间、以及候选触发词与其他事件信息之间的关系，从而增强候选触发词的信 息表征，解决多触发词和触发词歧义的问题，进一步提高事件触发词分类的准确率。并且， 本技术方案创新性地将事件检测的两个阶段任务分开处理，充分挖掘事件检测中有效的过程 信息(候选触发词之间的关联)，相较于现有技术而言具有一定的创新性。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种 修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限 制性的。
Claims (8)
1.一种基于信息增强实现两步中文事件精准检测的方法，其特征在于，所述的方法包括以下步骤：
(1)输入包含中文的事件句和事件句文档进行分词处理；
(2)对事件句中的每一个字符进行多粒度事件信息混合表示的处理，以获取每一个字符融合后的最终表征；
(3)将每一个字符的最终表征用于进行多层带扰动的残差型门限空洞卷积网络的构建，以进行后续中文事件的检测；
(4)采用首尾双指针的标注策略对所有中文事件中的触发词进行识别处理；
(5)利用所述的事件句和事件句文档构建包含实体-主体-候选触发词的交互图模型；
(6)针对上述处理过程使用Softmax层预测事件触发词的事件类别分布特征，并通过概率分布计算出各个触发词所属的事件类别；
步骤(2)具体包括以下步骤：
(2.1)对于中文事件句中的每一个字符，从字词训练向量模型中查找事件句中每一个字符对应的字符表征；
(2.2)采用全词切分的方式获取事件句中每一个字符对应的全词语表征；
(2.3)根据下列公式计算事件句中每一个字符对应的位置表征，以提高整体事件句信息表征对字符位置的感知和敏感度：
其中，i为事件句中的第i个字符，dpe为位置表征的维度，PE(i,2k)为位置表征第2k个元素的数值，PE(i,2k+1)为位置表征第2k+1个元素的数值，
(2.4)将每一个字符对应的字符表征、全词语表征以及位置表征累加获取该字符的最终表征；
步骤(2.2)具体包括以下步骤：
(2.2.1)在预训练模型中查找每一个字符对应的所有的词语表征WEik；
(2.2.2)并根据下列公式计算当前该字符对应的所有词语表征的平均值，将其作为该字符最终的全词语表征：
其中，i为事件句中的第i个字符，k为当前字符的第k个全词语表征，K为当前字符的全词语表征总数。
2.根据权利要求1所述的基于信息增强实现两步中文事件精准检测的方法，其特征在于，步骤(3)具体包括以下步骤：
(3.1)根据上述字符表征方式，获得事件向量序列为X＝[X1,X2,X3,…,Xn]，其中Xi是事件句中每一个字符的表示；
(3.2)在所述的空洞卷积网络上添加Sigmoid门控函数，并将门控函数值域范围设置为[0,1]，采用下列计算公式进行更新和遗忘前置部分的信息：
其中，AConv1D1(X)、AConv1D2(X)表示输入序列X的一维空洞卷积，表示两个向量的点乘运算，σ表示门限机制函数，Haconv表示经过卷积计算后得到的隐藏层；
(3.3)在所述的空洞卷积网络中引入残差机制，将事件句的事件向量序列X＝[X1,X2,X3,…,Xn]得到的浅层原始特征，与通过所述的门限机制的空洞卷积网络计算之后的得到深层卷积特征进行融合，使得事件句表征更加综合全面，具体为采用以下公式进行特征融合：
σ′＝σ(AConv1D2(X))；
其中，σ′表示门限机制函数经过变换后得到的一维空洞卷积；
(3.4)在所述的空洞卷积网络中采用以下公式加入正则化的参数扰动，从而构建所述的带扰动的残差型门限空洞卷积网络Hsgr-aconv，以提升模型的鲁棒性：
其中，α为取值在[-0.1,0.1]内的均匀随机数张量，表示正则化的参数扰动；
(3.5)基于所述的带扰动的残差型门限空洞卷积网络的训练，所述的训练句中的每一个字符均转化为一个隐藏层向量。
3.根据权利要求2所述的基于信息增强实现两步中文事件精准检测的方法，其特征在于，步骤(4)具体包括以下步骤：
(4.1)根据带扰动的残差型门限空洞卷积网络，根据以下公式计算出每一个触发词开始位置Ostarr和终止位置Oend的得分：
Ostart＝WstartHsgr-acovn+bstart；
Oend＝WendHsgr-acovn+bend；
其中，Wstart和Wend是触发词开始位置和结束位置的权重矩阵，bstart和bend是触发词开始位置和终止位置的偏置；
(4.2)根据以下公式使用Sigmoid函数计算每一个候选触发词的开始位置和终止位置/>的概率值：
其中，表示第i个触发词开始位置，/>表示第i个触发词结束位置；
(4.3)针对计算出的每一个候选触发词的开始位置和终止位置的概率值，如果该候选触发词的开始位置的概率值大于设定阈值且终止位置的概率值也大于设定阈值，则将该候选触发词识别为触发词。
4.根据权利要求3所述的基于信息增强实现两步中文事件精准检测的方法，其特征在于，步骤(5)具体包括以下步骤：
(5.1)基于获取到的当前事件句文档中所有事件的候选触发词，获取所有事件句所包含的实体以及各个事件对应的主题；
(5.2)如果当前存在实体、主题以及候选触发词出现在同一个事件句中，则将其在所述的交互图模型中添加一条对应关联的边；
(5.3)各条边的权重采用对应的实体、主题以及候选触发词在共同出现的句子中的数量进行表示；
(5.4)使用图卷积网络计算所述的交互图模型中每一个节点的表示，从而构建完成包含实体-主体-候选触发词的交互图模型，并获取交互图表征。
5.根据权利要求4所述的基于信息增强实现两步中文事件精准检测的方法，其特征在于，步骤(6)具体包括以下步骤：
(6.1)将相应字符计算出的最终表征、从所述的字词训练向量模型中获取的候选触发词表征以及交互图表征进行累加融合，得到候选触发词分类的最终输入特征表示，并将其作为触发词分类模型的输入；
(6.2)根据模型输出，计算每一个候选触发词的得分，并使用softmax层根据以下公式计算候选触发词属于每一个不同事件类别的概率：
O＝WHsgr-acovn+b；
其中，W和b分别是候选触发词事件类别的权重矩阵和偏置值，det是触发词事件类别数量，O为触发词分类模型的隐层输出向量，Oi表示第i个位置的隐层输出值，TCi为候选触发词属于第i个事件类别的概率；
(6.3)根据上述计算出的相应的候选触发词属于不同事件类别的概率，选择概率值最大的事件类别作为该候选触发词的事件类别。
6.一种基于信息增强实现两步中文事件精准检测的装置，其特征在于，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现权利要求1至5中任一项所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
7.一种基于信息增强实现两步中文事件精准检测的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1至5中任一项所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1至5中任一项所述的基于信息增强实现两步中文事件精准检测的方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111528511.7A CN114239566B (zh) | 2021-12-14 | 2021-12-14 | 基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111528511.7A CN114239566B (zh) | 2021-12-14 | 2021-12-14 | 基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114239566A CN114239566A (zh) | 2022-03-25 |
| CN114239566B true CN114239566B (zh) | 2024-04-23 |
Family
ID=80755923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111528511.7A Active CN114239566B (zh) | 2021-12-14 | 2021-12-14 | 基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114239566B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943221A (zh) * | 2022-04-11 | 2022-08-26 | 哈尔滨工业大学（深圳） | 片段指针交互模型的构建方法及社会传感灾情监测方法 |
| CN114841162B (zh) * | 2022-05-20 | 2024-01-05 | 中国电信股份有限公司 | 文本处理方法、装置、设备及介质 |
| CN115022329B (zh) * | 2022-07-08 | 2023-08-04 | 国泰君安证券股份有限公司 | 基于sse实现投顾实时图文直播的系统、方法、装置、处理器及其计算机可读存储介质 |
| CN115600583B (zh) * | 2022-08-09 | 2023-04-18 | 中国搜索信息科技股份有限公司 | 一种字词多粒度混合的中文语言模型预训练方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163416A (zh) * | 2020-10-09 | 2021-01-01 | 北京理工大学 | 一种融合句法和实体关系图卷积网络的事件联合抽取方法 |
| CN112307740A (zh) * | 2020-12-30 | 2021-02-02 | 中国人民解放军国防科技大学 | 一种基于混合注意力网络的事件检测方法及装置 |
| WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
| CN113468887A (zh) * | 2021-06-21 | 2021-10-01 | 上海交通大学 | 基于边界与片段分类的学者信息关系抽取方法和系统 |
| WO2021203581A1 (zh) * | 2020-04-10 | 2021-10-14 | 深圳壹账通智能科技有限公司 | 基于精标注文本的关键信息抽取方法、装置及存储介质 |
| CN113505200A (zh) * | 2021-07-15 | 2021-10-15 | 河海大学 | 一种结合文档关键信息的句子级中文事件检测的方法 |
| CN113742733A (zh) * | 2021-08-09 | 2021-12-03 | 扬州大学 | 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10573295B2 (en) * | 2017-10-27 | 2020-02-25 | Salesforce.Com, Inc. | End-to-end speech recognition with policy learning |
| US11615311B2 (en) * | 2018-12-10 | 2023-03-28 | Baidu Usa Llc | Representation learning for input classification via topic sparse autoencoder and entity embedding |
| US11727243B2 (en) * | 2019-01-30 | 2023-08-15 | Baidu Usa Llc | Knowledge-graph-embedding-based question answering |
-
2021
- 2021-12-14 CN CN202111528511.7A patent/CN114239566B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
| WO2021203581A1 (zh) * | 2020-04-10 | 2021-10-14 | 深圳壹账通智能科技有限公司 | 基于精标注文本的关键信息抽取方法、装置及存储介质 |
| CN112163416A (zh) * | 2020-10-09 | 2021-01-01 | 北京理工大学 | 一种融合句法和实体关系图卷积网络的事件联合抽取方法 |
| CN112307740A (zh) * | 2020-12-30 | 2021-02-02 | 中国人民解放军国防科技大学 | 一种基于混合注意力网络的事件检测方法及装置 |
| CN113468887A (zh) * | 2021-06-21 | 2021-10-01 | 上海交通大学 | 基于边界与片段分类的学者信息关系抽取方法和系统 |
| CN113505200A (zh) * | 2021-07-15 | 2021-10-15 | 河海大学 | 一种结合文档关键信息的句子级中文事件检测的方法 |
| CN113742733A (zh) * | 2021-08-09 | 2021-12-03 | 扬州大学 | 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于图的新闻事件主题句抽取方法;王雍凯;毛存礼;余正涛;郭剑毅;洪旭东;罗林;;南京理工大学学报;20160830(04);全文 * |
| 基于时间卷积网络的机器阅读理解;林世平;陈璐;陈开志;吴运兵;廖祥文;;福州大学学报(自然科学版);20200509(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114239566A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114239566B (zh) | 基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质 | |
| CN108920622B (zh) | 一种意图识别的训练方法、训练装置和识别装置 | |
| US10762296B2 (en) | Risk address identification method and apparatus, and electronic device | |
| Logeswaran et al. | Sentence ordering and coherence modeling using recurrent neural networks | |
| CN110069709B (zh) | 意图识别方法、装置、计算机可读介质及电子设备 | |
| CN112528034B (zh) | 一种基于知识蒸馏的实体关系抽取方法 | |
| CN109344404B (zh) | 情境感知的双重注意力自然语言推理方法 | |
| CN111666758B (zh) | 中文分词方法、训练设备以及计算机可读存储介质 | |
| CN113591483A (zh) | 一种基于序列标注的文档级事件论元抽取方法 | |
| CN117076653A (zh) | 基于思维链及可视化提升上下文学习知识库问答方法 | |
| CN109983473B (zh) | 灵活的集成识别和语义处理 | |
| WO2018023356A1 (en) | Machine translation method and apparatus | |
| CN111966812A (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
| Benzebouchi et al. | Multi-classifier system for authorship verification task using word embeddings | |
| US20200279079A1 (en) | Predicting probability of occurrence of a string using sequence of vectors | |
| Feng et al. | Probing and fine-tuning reading comprehension models for few-shot event extraction | |
| CN114896386A (zh) | 基于BiLSTM的电影评论语义情感分析方法及系统 | |
| CN114781375A (zh) | 一种基于bert与注意力机制的军事装备关系抽取方法 | |
| CN112214595A (zh) | 类别确定方法、装置、设备及介质 | |
| Heid et al. | Reliable part-of-speech tagging of historical corpora through set-valued prediction | |
| CN110110137A (zh) | 一种确定音乐特征的方法、装置、电子设备及存储介质 | |
| US20240028828A1 (en) | Machine learning model architecture and user interface to indicate impact of text ngrams | |
| Soykan et al. | A comprehensive gold standard and benchmark for comics text detection and recognition | |
| CN110889284B (zh) | 一种基于双向长短时记忆网络的多任务学习中文语病诊断方法 | |
| CN113705207A (zh) | 语法错误识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |