CN112597366B - 基于Encoder-Decoder的事件抽取方法 - Google Patents

基于Encoder-Decoder的事件抽取方法 Download PDF

Info

Publication number
CN112597366B
CN112597366B CN202011336692.9A CN202011336692A CN112597366B CN 112597366 B CN112597366 B CN 112597366B CN 202011336692 A CN202011336692 A CN 202011336692A CN 112597366 B CN112597366 B CN 112597366B
Authority
CN
China
Prior art keywords
text
encoder
decoder
event
event type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011336692.9A
Other languages
English (en)
Other versions
CN112597366A (zh
Inventor
胡浩
胥小波
范晓波
徐舒霖
康英来
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic Technology Cyber Security Co Ltd
Original Assignee
China Electronic Technology Cyber Security Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic Technology Cyber Security Co Ltd filed Critical China Electronic Technology Cyber Security Co Ltd
Priority to CN202011336692.9A priority Critical patent/CN112597366B/zh
Publication of CN112597366A publication Critical patent/CN112597366A/zh
Application granted granted Critical
Publication of CN112597366B publication Critical patent/CN112597366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于Encoder‑Decoder的事件抽取方法，S1，文本预处理，对开放域数据进行文本预处理，提取所需的正文内容，对预处理之后的数据进行词向量训练；S2，标注文本，对预处理之后的文本进行打标，标识句子对应的事件类型；S3，结合GRU+Attention机制来搭建并训练用于判定事件类型的Encoder‑Decoder模型，得到轻量级深度学习Encoder‑Decoder网络模型并持续训练，对事件抽取任务进行抽象与表征，得到预测结果；S4，基于步骤S3中已训练的轻量级深度学习Encoder‑Decoder网络来完成事件抽取任务，得出相应事件类型等；本发明具有领域适应能力强，抽象学习能力高，模型简洁，计算过程需要消耗少量的资源和时间等优点。

Description

基于Encoder-Decoder的事件抽取方法
技术领域
本发明涉及自然语言处理领域，更为具体的，涉及一种基于Encoder-Decoder的事件抽取方法。
背景技术
随着互联网的快速发展，尤其是移动互联网，互联网上的资源呈爆炸式增长。在如此海量的互联网资源信息中如何快速、准确的抽取有价值的信息，已经成为人们面临的重大难题。在如此背景之下，人们投入大量的精力到信息抽取中。事件抽取是一种复杂的信息抽取形式，它能够提供更高层次的内容处理抽象能力，主要指从非结构化数据中抽取出用户感兴趣的事件，以结构化的方式存储在数据库中供用户使用。
随着事件抽取技术的蓬勃发展，早期的研究方法主要通过在特定领域表现良好的模式匹配中进行。由于基于规则和模式匹配的事件抽取方法可移植性差，众多学者把目光集中于机器学习方法。近年来，随着深度学习在自然语言处理任务中的不断创新，已成为事件抽取研究的主流方法。
现有技术往往针对某一特定领域，存在领域适应能力，抽象学习能力较差，模型繁杂，计算过程需要消耗大量的资源和时间等问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于Encoder-Decoder的事件抽取方法，具有领域适应能力强，抽象学习能力高，模型简洁，计算过程需要消耗少量的资源和时间等优点。
本发明的目的是通过以下方案实现的：
一种基于Encoder-Decoder的事件抽取方法，包括步骤：
S1，文本预处理，对网络爬虫从互联网上爬取的开放域数据，进行文本预处理，预处理包括去除原始数据中的冗余标签，提取所需的正文内容，对预处理之后的数据进行词向量训练；
S2，标注文本，对预处理之后的文本进行打标，标识句子对应的事件类型；
S3，结合GRU+Attention机制来搭建并训练用于判定事件类型的Encoder-Decoder模型，得到轻量级深度学习Encoder-Decoder网络模型并持续训练，对事件抽取任务进行抽象与表征；
S4，基于步骤S3中已训练的轻量级深度学习Encoder-Decoder网络来完成事件抽取任务，得出相应事件类型。
进一步地，步骤S1包括：
S101，根据收集的网页URL链接，爬取网络中的目标文本消息；
S102，将爬取的文本进行提炼，去除冗余信息，保存所需正文内容；
S103，将每一条文本消息进行切词处理，然后输入到词向量训练模型中进行词向量训练。
进一步地，步骤S2中，除人工打标之外，将一些不属于用户指定任一事件类型的文本也添加到语料中单独作为一类，以增加神经网络模型的噪音，提高泛化能力。
进一步地，步骤S2中，包括对目标文本消息所属事件类型进行标注，其中事件类型的个数是有限的，由用户自定义所关注的相应事件类型。
进一步地，步骤S3中，
S301，Encoder过程：将标注好的语料，以训练好的词向量代表句子中的词语输入到GRU中进行编码，得到初始特征向量；
S302，Attention机制：将Encoder之后的特征向量进行Attention机制自学习，进一步表征特征向量；
S303，Decoder过程：将Attention机制表征的特征向量输入到另一个GRU模型中进行解码，最后接入全连接层，计算输出预测事件类型的概率。
进一步地，步骤S302包括：
S3021，基于上下文特征向量，将Encoder之后的特征向量经过全连接层输出，再经过softmax激活函数得到输出
Figure BDA0002797448280000031
其中全连接层输出，y＝WTx+b，WT为权重系数，b为偏置，s为经过softmax函数输出结果，K为特征数量，yi为特征向量；
S3022，通过上下文特征向量ht与softmax激活函数输出结果s进行点乘，得到Attention之后的处理结果Att，即Att＝multiply([ht,s])。
进一步地，步骤S303中，使用softmax激活函数计算预测事件类型的概率。
进一步地，步骤S4中，包括：
S401，读取待判定的文本语料，采用步骤S1对其进行预处理；
S402，将步骤S401处理后的待判定语料，输入到步骤S3中已训练的轻量级深度学习Encoder-Decoder网络模型进行预测，得出预测结果；
S403，循环步骤S401～S402，直至完成事件抽取任务。
进一步地，步骤S402中，设定事件类型判定的概率阈值，当输出的预测概率值大于阈值，即表明该文本属于该事件类型，一个文本能够对应多个事件类型；若小于阈值，则该文本则不属于任何事件类型。
进一步地，步骤S2中，采用人工标注文本，对预处理之后的文本进行人工打标，标识句子对应的事件类型。
本发明的有益效果是：
本发明具有领域适应能力强，抽象学习能力高，模型简洁，计算过程需要消耗少量的资源和时间等优点；具体的，针对开放领域构建模型，使用深度学习方法，采用GRU+Attention机制进行事件抽取。在Encoder阶段，GRU中使用词向量表征输入的词，相当于传统方法具有更好的抽象学习能力，除此之外，结合GRU的特性对句子级别的特征表达能力，具有更好的领域适应能力。在Decoder阶段，结合基于Encoder阶段的特征向量的表达，能更好的输出用户自定义的事件类型。相对于机器翻译和LSTM的复杂性，事件抽取任务采用GRU而非LSTM，在保证最终识别效果的同时，使整个模型结构更简洁，计算过程消耗的资源和时间都优于原始传统的Encoder-Decoder模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明事件抽取方法实施例流程示意图；
图2为Encoder-Decoder深度学习模型架构图；
图3为GRU模型示意图；
图4为Encoder阶段(GRU+Attention)详细流程图；
图5为Decoder阶段(GRU+MLP)输出详细流程图。
具体实施方式
本说明书中所有实施例公开的所有特征(包括任何附加权利要求、摘要和附图)，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
如图1～5所示，一种基于Encoder-Decoder的事件抽取方法，包括步骤：
S1，文本预处理，对网络爬虫从互联网上爬取的开放域数据，进行文本预处理，预处理包括去除原始数据中的冗余标签，提取所需的正文内容，对预处理之后的数据进行词向量训练；
S2，标注文本，对预处理之后的文本进行打标，标识句子对应的事件类型；
S3，结合GRU+Attention机制来搭建并训练用于判定事件类型的Encoder-Decoder模型，得到轻量级深度学习Encoder-Decoder网络模型并持续训练，对事件抽取任务进行抽象与表征；
S4，基于步骤S3中已训练的轻量级深度学习Encoder-Decoder网络来完成事件抽取任务，得出相应事件类型。
进一步地，步骤S1包括：
S101，根据收集的网页URL链接，爬取网络中的目标文本消息；
S102，将爬取的文本进行提炼，去除冗余信息，保存所需正文内容；
S103，将每一条文本消息进行切词处理，然后输入到词向量训练模型中进行词向量训练。
进一步地，步骤S2中，除人工打标之外，将一些不属于用户指定任一事件类型的文本也添加到语料中单独作为一类，以增加神经网络模型的噪音，提高泛化能力。
进一步地，步骤S2中，包括对目标文本消息所属事件类型进行标注，其中事件类型的个数是有限的，由用户自定义所关注的相应事件类型。
进一步地，步骤S3中，
S301，Encoder过程：将标注好的语料，以训练好的词向量代表句子中的词语输入到GRU中进行编码，得到初始特征向量；
S302，Attention机制：将Encoder之后的特征向量进行Attention机制自学习，进一步表征特征向量；
S303，Decoder过程：将Attention机制表征的特征向量输入到另一个GRU模型中进行解码，最后接入全连接层，计算输出预测事件类型的概率。
进一步地，步骤S302包括：
S3021，基于上下文特征向量，将Encoder之后的特征向量经过全连接层输出，再经过softmax激活函数得到输出
Figure BDA0002797448280000061
其中全连接层输出，y＝WTx+b；y为，WT为权重系数，T为，b为偏置，s为经过softmax函数输出结果，K为特征数量，yi为特征向量；(注：WT表示W转置，是对矩阵的一种操作)。
S3022，通过上下文特征向量ht与softmax激活函数输出结果s进行点乘，得到Attention之后的处理结果Att，即Att＝multiply([ht,s])。
进一步地，步骤S303中，使用softmax激活函数计算预测事件类型的概率。
进一步地，步骤S4中，包括：
S401，读取待判定的文本语料，采用步骤S1对其进行预处理；
S402，将步骤S401处理后的待判定语料，输入到步骤S3中已训练的轻量级深度学习Encoder-Decoder网络模型进行预测，得出预测结果；
S403，循环步骤S401～S402，直至完成事件抽取任务。
进一步地，步骤S402中，设定事件类型判定的概率阈值，当输出的预测概率值大于阈值，即表明该文本属于该事件类型，一个文本能够对应多个事件类型；若小于阈值，则该文本则不属于任何事件类型。
进一步地，步骤S2中，采用人工标注文本，对预处理之后的文本进行人工打标，标识句子对应的事件类型。
在本发明的其他实施例中，如图1所示，本发明包括文本预处理、人工标注文本、轻量级Encoder-Decoder机制训练、事件抽取；文本预处理：对网络爬虫从互联网上爬取的开放域数据进行文本预处理，预处理包括去除原始数据中的冗余标签，只提取所需的正文内容，对预处理之后的数据进行词向量训练；人工标注文本：对预处理之后的文本进行人工打标，标识句子对应的事件类型；轻量级Encoder-Decoder机制：搭建并训练用于判定事件类型的Encoder-Decoder模型，网络结构基于GRU+Attention机制；事件抽取：基于上述Encoder-Decoder机制，针对未标记的文本，采取之前相同的文本预处理步骤，将训练好的模型对其进行识别，得出相应事件类型。
下面分别对各步骤进行详细说明。
1.文本预处理
整个预处理过程主要对网络爬虫从互联网上爬取的开放域数据进行文本预处理工作，包括去除原始数据中的冗余标签，只提取所需的正文内容，对预处理之后的数据进行词向量训练，下面逐一介绍。
(1)去除冗余标签
根据收集的网页URL链接，爬取网络中的目标文本消息，如中文、英文或其它语种的文本消息。将上述文本进行提炼，去除冗余信息，只保存所需正文内容；
(2)词向量训练
将每一条文本消息进行切词处理，如英文语料，直接以空格切分，如中文语料则需要用结巴分词工具进行分词，最后输入到Word2Vec进行词向量训练。
2.人工标注文本
用户自定义所关注的事件类型，对预处理之后的文本进行人工打标，标识句子对应的事件类型；除此之外，将一些不属于用户指定任一事件类型的文本也添加到语料中，以增加神经网络模型的噪音，提高泛化能力。
3.轻量级Encoder-Decoder机制训练模型
步骤1：Encoder过程：将标注好的语料，以训练好的词向量代表句子中的词语输入到GRU中进行编码，得到初始特征向量。
步骤2：Attention机制：将Encoder之后的特征向量进行Attention机制自学习，进一步表征特征向量。具体步骤：基于上下文特征向量ht，将Encoder过程得到的初始特征向量经过全连接层，再经过softmax激活函数得到输出
Figure BDA0002797448280000081
其中全连接层输出，y＝WTx+b，最后通过上下文特征向量ht与softmax激活函数输出结果s进行点乘，得到Attention之后的处理结果，即Att＝multiply([ht,s])，
步骤3：Decoder过程：将Attention机制表征后的特征向量输入到另一个GRU模型中进行解码，最后接入一个全连接层并使用softmax激活函数预测事件类型的概率，方法同步骤1、2。
4.事件抽取
步骤1：读取待判定的文本语料，对其进行上述所述文本预处理；
步骤2：将待判定的语料按照上述模型训练的输入方式，输入已训练的深度学习Encoder-Decoder网络进行预测，得出预测结果。设定事件类型判定的概率阈值，当输出的预测概率值大于阈值，即表明该文本属于该事件类型，一个文本可以对应多个事件类型。若小于阈值，则该文本不属于任何事件类型。
步骤3：循环上述步骤，完成事件抽取任务。
本发明未详细阐述部分属于本领域公开技术。
本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，在一台计算机设备(可以是个人计算机，服务器，或者网络设备等)以及相应的软件中执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、或者光盘等各种可以存储程序代码的介质，进行测试或者实际的数据在程序实现中存在于只读存储器(Random Access Memory，RAM)、随机存取存储器(Random Access Memory，RAM)等。

Claims (8)

1.一种基于Encoder-Decoder的事件抽取方法，其特征在于，包括步骤：
S1，文本预处理，对网络爬虫从互联网上爬取的开放域数据，进行文本预处理，预处理包括去除原始数据中的冗余标签，提取所需的正文内容，对预处理之后的数据进行词向量训练；
S2，标注文本，对预处理之后的文本进行打标，标识句子对应的事件类型；
S3，结合GRU+Attention机制来搭建并训练用于判定事件类型的Encoder-Decoder模型，得到轻量级深度学习Encoder-Decoder网络模型并持续训练，对事件抽取任务进行抽象与表征；步骤S3中，包括：
S301，Encoder过程：将标注好的语料，以训练好的词向量代表句子中的词语输入到GRU中进行编码，得到初始特征向量；
S302，Attention机制：将Encoder之后的特征向量进行Attention机制自学习，进一步表征特征向量；
S303，Decoder过程：将Attention机制表征的特征向量输入到另一个GRU模型中进行解码，最后接入全连接层，计算输出预测事件类型的概率；
步骤S302包括：
S3021，基于上下文特征向量，将Encoder之后的特征向量经过全连接层输出，再经过softmax激活函数得到输出
Figure FDA0003463682340000011
其中全连接层输出，y＝WTx+b，WT为权重系数，b为偏置，s为经过softmax函数输出结果，K为特征数量，yi为特征向量；
S3022，通过上下文特征向量ht与softmax激活函数输出结果s进行点乘，得到Attention之后的处理结果Att，即Att＝multiply([ht,s])；
S4，基于步骤S3中已训练的轻量级深度学习Encoder-Decoder网络来完成事件抽取任务，得出相应事件类型。
2.根据权利要求1所述的基于Encoder-Decoder的事件抽取方法，其特征在于，步骤S1包括：
S101，根据收集的网页URL链接，爬取网络中的目标文本消息；
S102，将爬取的文本进行提炼，去除冗余信息，保存所需正文内容；
S103，将每一条文本消息进行切词处理，然后输入到词向量训练模型中进行词向量训练。
3.根据权利要求1所述的基于Encoder-Decoder的事件抽取方法，其特征在于，步骤S2中，除人工打标之外，将一些不属于用户指定任一事件类型的文本也添加到语料中单独作为一类，以增加神经网络模型的噪音，提高泛化能力。
4.根据权利要求1所述的基于Encoder-Decoder的事件抽取方法，其特征在于，步骤S2中，包括对目标文本消息所属事件类型进行标注，其中事件类型的个数是有限的，由用户自定义所关注的相应事件类型。
5.根据权利要求1所述的基于Encoder-Decoder的事件抽取方法，其特征在于，步骤S303中，使用softmax激活函数计算预测事件类型的概率。
6.根据权利要求1所述的基于Encoder-Decoder的事件抽取方法，其特征在于，步骤S4中，包括：
S401，读取待判定的文本语料，采用步骤S1对其进行预处理；
S402，将步骤S401处理后的待判定语料，输入到步骤S3中已训练的轻量级深度学习Encoder-Decoder网络模型进行预测，得出预测结果；
S403，循环步骤S401～S402，直至完成事件抽取任务。
7.根据权利要求1所述的基于Encoder-Decoder的事件抽取方法，其特征在于，步骤S402中，设定事件类型判定的概率阈值，当输出的预测概率值大于阈值，即表明该文本属于该事件类型，一个文本能够对应多个事件类型；若小于阈值，则该文本则不属于任何事件类型。
8.根据权利要求6所述的基于Encoder-Decoder的事件抽取方法，其特征在于，步骤S2中，采用人工标注文本，对预处理之后的文本进行人工打标，标识句子对应的事件类型。
CN202011336692.9A 2020-11-25 2020-11-25 基于Encoder-Decoder的事件抽取方法 Active CN112597366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011336692.9A CN112597366B (zh) 2020-11-25 2020-11-25 基于Encoder-Decoder的事件抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011336692.9A CN112597366B (zh) 2020-11-25 2020-11-25 基于Encoder-Decoder的事件抽取方法

Publications (2)

Publication Number Publication Date
CN112597366A CN112597366A (zh) 2021-04-02
CN112597366B true CN112597366B (zh) 2022-03-18

Family

ID=75184174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011336692.9A Active CN112597366B (zh) 2020-11-25 2020-11-25 基于Encoder-Decoder的事件抽取方法

Country Status (1)

Country Link
CN (1) CN112597366B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609391B (zh) * 2021-08-06 2024-04-19 北京金堤征信服务有限公司 事件识别方法及装置、电子设备、介质和程序
CN114757189B (zh) * 2022-06-13 2022-10-18 粤港澳大湾区数字经济研究院(福田) 事件抽取方法、装置、智能终端及存储介质
CN116992034B (zh) * 2023-09-26 2023-12-22 之江实验室 一种智能事件打标方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710919A (zh) * 2018-11-27 2019-05-03 杭州电子科技大学 一种融合注意力机制的神经网络事件抽取方法
CN110134771A (zh) * 2019-04-09 2019-08-16 广东工业大学 一种基于多注意力机制融合网络问答系统的实现方法
CN111222338A (zh) * 2020-01-08 2020-06-02 大连理工大学 基于预训练模型和自注意力机制的生物医学关系抽取方法
CN111428054A (zh) * 2020-04-14 2020-07-17 中国电子科技网络信息安全有限公司 一种网络空间安全领域知识图谱的构建与存储方法
CN111966917A (zh) * 2020-07-10 2020-11-20 电子科技大学 一种基于预训练语言模型的事件检测与摘要方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK179049B1 (en) * 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
CN106599032B (zh) * 2016-10-27 2020-01-14 浙江大学 一种结合稀疏编码和结构感知机的文本事件抽取方法
US11222253B2 (en) * 2016-11-03 2022-01-11 Salesforce.Com, Inc. Deep neural network model for processing data through multiple linguistic task hierarchies
US10657955B2 (en) * 2017-02-24 2020-05-19 Baidu Usa Llc Systems and methods for principled bias reduction in production speech models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710919A (zh) * 2018-11-27 2019-05-03 杭州电子科技大学 一种融合注意力机制的神经网络事件抽取方法
CN110134771A (zh) * 2019-04-09 2019-08-16 广东工业大学 一种基于多注意力机制融合网络问答系统的实现方法
CN111222338A (zh) * 2020-01-08 2020-06-02 大连理工大学 基于预训练模型和自注意力机制的生物医学关系抽取方法
CN111428054A (zh) * 2020-04-14 2020-07-17 中国电子科技网络信息安全有限公司 一种网络空间安全领域知识图谱的构建与存储方法
CN111966917A (zh) * 2020-07-10 2020-11-20 电子科技大学 一种基于预训练语言模型的事件检测与摘要方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Efficient FPGA Implementation of Softmax Function for DNN Applications;Zhenmin Li 等;《2018 12th IEEE International Conference on Anti-counterfeiting, Security, and Identification (ASID)》;20190418;212-216 *
融合self-attention机制的卷积神经网络文本分类模型;邵清 等;《小型微型计算机系统》;20190614;第40卷(第6期);1137-1141 *

Also Published As

Publication number Publication date
CN112597366A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112597366B (zh) 基于Encoder-Decoder的事件抽取方法
CN113254599B (zh) 一种基于半监督学习的多标签微博文本分类方法
CN111143576A (zh) 一种面向事件的动态知识图谱构建方法和装置
CN111914097A (zh) 基于注意力机制和多层级特征融合的实体抽取方法与装置
CN110209802B (zh) 一种提取摘要文本的方法及装置
Yang et al. Rits: Real-time interactive text steganography based on automatic dialogue model
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN110502742B (zh) 一种复杂实体抽取方法、装置、介质及系统
CN107391565B (zh) 一种基于主题模型的跨语言层次分类体系匹配方法
CN111967267B (zh) 一种基于XLNet的新闻文本地域提取的方法及系统
CN111078881B (zh) 细粒度情感分析方法、系统、电子设备和存储介质
CN111339772B (zh) 俄语文本情感分析方法、电子设备和存储介质
CN114818891A (zh) 小样本多标签文本分类模型训练方法及文本分类方法
CN113988079A (zh) 一种面向低数据的动态增强多跳文本阅读识别处理方法
CN116070632A (zh) 一种非正式文本实体标签识别方法和装置
CN111241820A (zh) 不良用语识别方法、装置、电子装置及存储介质
CN114328934A (zh) 一种基于注意力机制的多标签文本分类方法及系统
CN110569355A (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
Lee et al. Detecting suicidality with a contextual graph neural network
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN114388108A (zh) 一种基于多任务学习的用户反馈分析方法
CN115809658A (zh) 平行语料的生成方法及装置和无监督同义转写方法及装置
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
CN115730232A (zh) 基于主题相关的异构图神经网络跨语言文本分类方法
CN114330296A (zh) 新词发现方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant