CN114936559B - 一种基于多模型融合的多级事件抽取方法和抽取系统 - Google Patents

一种基于多模型融合的多级事件抽取方法和抽取系统 Download PDF

Info

Publication number
CN114936559B
CN114936559B CN202210009599.XA CN202210009599A CN114936559B CN 114936559 B CN114936559 B CN 114936559B CN 202210009599 A CN202210009599 A CN 202210009599A CN 114936559 B CN114936559 B CN 114936559B
Authority
CN
China
Prior art keywords
event
model
extracted
extraction
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210009599.XA
Other languages
English (en)
Other versions
CN114936559A (zh
Inventor
胡沛弦
蔡传宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Guixin Trust Co ltd
Original Assignee
Huaneng Guixin Trust Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Guixin Trust Co ltd filed Critical Huaneng Guixin Trust Co ltd
Priority to CN202210009599.XA priority Critical patent/CN114936559B/zh
Publication of CN114936559A publication Critical patent/CN114936559A/zh
Application granted granted Critical
Publication of CN114936559B publication Critical patent/CN114936559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多模型融合的多级事件抽取方法、抽取系统、计算机设备和存储介质，其中一实施例的多级事件抽取方法包括：使用筛选模型分别对输入的多个待抽取文本按照段落进行语义提取、拼接并分类以输出对应的第一事件结果；根据各待抽取文本的第一事件结果将多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出待抽取文本的第二事件结果；使用融合单元对各深度事件模型输出的各多个待抽取文本的第二事件结果进行融合并生成第三事件结果。本发明提供的实施例能够根据预建立的事件类型体系快速识别非结构化文档中的事件类型和事件元素，有效提高事件抽取的抽取效率，具有实际应用价值。

Description

一种基于多模型融合的多级事件抽取方法和抽取系统
技术领域
本发明涉及计算机自然语言处理技术领域，特别是涉及一种基于多模型融合的多级事件抽取方法、多级事件抽取系统、计算机可读存储介质和计算机设备。
背景技术
随着深度学习技术的进一步发展，计算机自然语言处理已经成为炙手可热的技术，应用于日常生活的方方面面。具体的，事件抽取是指从非结构化信息中抽取出用户感兴趣的事件，并以结构化的方式呈现出来。例如，在中国专利文件中，一名为《一种基于图神经网络算法的金融篇章级多关联事件抽取方法》申请号为202010394858.6，介绍了一种基于图神经网络算法的金融篇章级多关联事件抽取方法，首先对输入的语句进行切分，并通过BERT+CRF抽取事件候选元素；其次，构建GCNN节点，获取所述事件候选元素的表征、元素位置编码、所在句表征、句位置编码后拼接成节点表征；然后，构建GCNN边；再其次，基于GCNN网络更新所述事件候选元素的表征，并通过Linear层+Multi-Sigmoid层后获取各个元素对应的事件类型和事件角色分类结果；最后，输出抽取的信息。该发明所应用的图卷积神经网络在一定程度上能够有效捕获句间多事件元素相互关联的信息，并通过采用BERT+CRF的算法结构在一定程度上能够精准、全面的描述GCNN中节点向量及其所对应句向量，但存在模型结构复杂、抽取效率低的问题。
中国专利文件中，一名为《一种事件抽取方法、装置、设备及存储介质》申请号为CN202110301630.2，介绍了一种一种事件抽取方法、装置、设备及存储介质，该方法包括：获取待处理文本；将所述待处理文本输入到事件检测模型进行检测处理，确定所述待处理文本中的事件类型；基于所述事件类型构建第一问询语料；将所述待处理文本和所述第一问询语料输入到阅读理解模型中，确定所述待处理文本中的事件元素；基于所述事件类型和所述事件元素，确定所述待处理文本的事件抽取结果。该发明使用了事件检测模型和阅读理解模型在一定程度上能够精准地确定出待处理文本中的事件类型和事件元素，然而对于待处理文本的长度存在一定的局限性，同时该发明存在处理流程多且结构复杂、抽取效率低的问题。
发明内容
为了解决上述问题至少之一，本发明第一个实施例提供一种基于多模型融合的多级事件抽取方法，包括：
S1：使用筛选模型分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果；
S2：根据各待抽取文本的第一事件结果将所述多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，每个深度事件模型包括用于事件抽取的至少一个事件子模型、以及用于汇集各事件子模型输出的第二事件结果的汇集单元，不同的深度事件模型对应不同的事件类型体系；
S3：使用融合单元对各深度事件模型输出的各所述多个待抽取文本的第二事件结果进行融合并生成第三事件结果，所述第三事件结果包括第三事件类型和对应的第三事件元素。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述筛选模型包括第一文本特征提取模型和第一分类器，所述S1进一步包括：
S11：使用所述第一文本特征提取模型对所述待抽取文本按照段落进行语义提取并输出各段落的段落文本语义特征；
S12：使用所述第一分类器对各段落的段落文本语义特征进行拼接并输出第一拼接语义特征，并根据所述第一拼接语义特征进行分类输出所述待抽取文本的第一事件结果，所述第一事件结果包括第一事件类型。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述深度事件模型包括第一事件子模型，包括第二文本特征提取模型、第一条件随机场模型和第一事件汇集模块，所述S2进一步包括：
S211：使用所述第二文本特征提取模型对输入的所述待抽取文本进行篇章级别语义提取并输出第一语义特征向量；
S212：使用所述第一条件随机场模型对所述第一语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第一标签，所述第一标签包括具有事件类型和事件元素类型的第一事件边界向量、以及具有事件类型和事件元素类型的第一事件内部向量；
S213：使用所述第一事件汇集模块根据所述第一事件边界向量和第一事件内部向量输出第二事件结果，所述第二事件结果包括第一子事件类型和对应的第一子事件元素。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述深度事件模型包括第二事件子模型，包括第三文本特征提取模型、第二条件随机场模型和第二事件汇集模块，所述S2进一步包括：
S221：使用所述第三文本特征提取模型对输入的所述待抽取文本的各段落进行段落级别语义提取并输出第二语义特征向量；
S222：使用所述第二条件随机场模型对所述第二语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第二标签，所述第二标签包括具有事件类型和事件元素类型的第二事件边界向量、具有事件类型和事件元素类型的第二事件内部向量；
S223：使用所述第二事件汇集模块根据所述第二事件边界向量和第二事件内部向量输出第二事件结果，所述第二事件结果包括第二子事件类型和对应的第二子事件元素。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述深度事件模型包括第三事件子模型，包括第四文本特征提取模型、第三条件随机场模型和第三事件汇集模块，所述S2进一步包括：
S231：使用所述第四文本特征提取模型对输入的所述待抽取文本的各段落的各语句进行语句级别语义提取并输出第三语义特征向量；
S232：使用所述第三条件随机场模型对所述第三语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第三标签，所述第三标签包括具有事件类型和事件元素类型的第三事件边界向量、具有事件类型和事件元素类型的第三事件内部向量；
S233：使用所述第三事件汇集模块根据所述第三事件边界向量和第三事件内部向量输出第二事件结果，所述第二事件结果包括第三子事件类型和对应的第三子事件元素。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述S2进一步包括：
所述深度事件模型并行使用所述第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果；
或者
所述深度事件模型串行使用所述第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述第一文本特征提取模型、所述第三文本特征提取模型和所述第四文本特征提取模型为BERT-wwm模型、RoBERTa模型、ERNIE模型、NEZHA模型和XLNet模型中的一个。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述第一文本特征提取模型、所述第三文本特征提取模型和所述第四文本特征提取模型包括12层编码器，所述多级事件抽取方法进一步包括：
使用最后3层编码器的输出结果的平均值作为所述语义特征向量。
例如，在本申请一些实施例提供的多级事件抽取方法中，所述第二文本特征提取模型为XLNet-base模型，包括12层编码器。
本发明第二个实施例提供一种应用第一个实施例所述的多级事件抽取方法的多级事件抽取系统，包括：
文档预筛选模型，配置为分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果；
多个事件抽取模型，配置为根据各待抽取文本的第一事件结果将所述多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，每个深度事件模型包括用于事件抽取的至少一个事件子模型、以及用于汇集各事件子模型输出的第二事件结果的汇集单元，不同的深度事件模型对应不同的事件类型体系；以及
事件融合模型，配置为对各深度事件模型输出的各所述多个待抽取文本的第二事件结果进行融合并生成第三事件结果，所述第三事件结果包括第三事件类型和对应的第三事件元素。
本发明第三个实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一个实施例所述的方法。
本发明第四个实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一个实施例所述的方法。
本发明的有益效果如下：
本发明针对目前现有的问题，制定一种基于多模型融合的多级事件抽取方法、抽取系统、计算机设备和存储介质，通过筛选模型过滤出包含有效事件信息的待抽取文本以提高抽取效率，同时通过具有至少一个事件子模型的深度事件模型在不同粒度层面进行事件抽取，并将各事件子模型因对待抽取文本的关注范围不同而抽取到的事件元素进行相互补充以整体提升事件抽取的召回率，最后通过融合单元融合多个深度事件模型的抽取结果以提升事件抽取精确度，并且有效简化现有事件抽取方法的步骤，从而弥补了现有技术中存在的问题，具有实际应用价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明的一个实施例所述多级事件抽取方法的流程图；
图2示出本发明的一个实施例所述多级事件抽取系统的结构示意图；
图3示出本发明的一个实施例所述筛选模型的结构示意图；
图4示出本发明的一个实施例所述筛选模型的第一文本特征提取模型的结构示意图；
图5示出本发明的一个实施例所述第一文本特征提取模型的结构图；
图6示出本发明的一个实施例所述第一事件子模型的结构示意图；
图7示出本发明的一个实施例所述第二事件子模型的结构示意图；
图8示出本发明的一个实施例所述汇集单元的结构示意图；
图9示出本发明的另一个实施例所述的一种计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
随着网络信息技术的不断发展，互联网上在线文本信息数量急剧增加，尤其是金融领域存在大量的金融文件，例如工商信息类事件文章、司法诉讼类事件文章、以及经营风险类事件文章，因此，事件抽取在金融领域是投资分析、资产管理的重要决策参考，组成事件图谱后对于事件分析、图谱推理分析的过程有较大帮助。然而，上述文章大多为非结构化数据，现有事件抽取方法存在事件抽取模型结构复杂、步骤多、效率低的问题。
根据上述问题，如图1所示，本申请一个实施例提供一种基于多模型融合的多级事件抽取方法，包括：
S1：使用筛选模型分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果；
S2：根据各待抽取文本的第一事件结果将所述多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，每个深度事件模型包括用于事件抽取的至少一个事件子模型、以及用于汇集各事件子模型输出的第二事件结果的汇集单元，不同的深度事件模型对应不同的事件类型体系；
S3：使用融合单元对各深度事件模型输出的各所述多个待抽取文本的第二事件结果进行融合并生成第三事件结果，所述第三事件结果包括第三事件类型和对应的第三事件元素。
在本实施例中，通过筛选模型过滤出包含有效事件信息的待抽取文本以提高抽取效率，同时通过具有至少一个事件子模型的深度事件模型在不同粒度层面进行事件抽取，并将各事件子模型因对待抽取文本的关注范围不同而抽取到的事件元素进行相互补充以整体提升事件抽取的召回率，最后通过融合单元融合多个深度事件模型的抽取结果以提升事件抽取精确度，并且有效简化现有事件抽取方法的步骤，从而弥补了现有技术中存在的问题，具有实际应用价值。
具体的，事件抽取是指从非结构化信息中抽取出用户感兴趣的事件，并以结构化的方式呈现出来。如图2所示为本申请的多级事件抽取系统，包括文档预筛选模型、多个事件抽取模型和事件融合模型，其中，文档预筛选模型根据预设置的触发词过滤掉无关文本、同时根据提取的语义特征进行分类，针对每个待抽取文本输出对应的第一事件结果；事件抽取模型包括对应于多个不同事件类型体系的深度事件模型，每个深度事件模型包括事件子模型，使用不同事件子模型对待抽取文本进行事件抽取以获得事件类型和事件元素；事件融合模型针对输入的多个待抽取文本获得的各时间类型和事件元素进行融合，以获得整体的事件类型和事件元素。
在一个具体的实施例中，以一个具体的文本处理为例进行说明，输入的待抽取文本为：
某大清空某腾网络总套现约105亿港元，预计亏损85亿港元。
为缓解现金流紧张，中国某大清空了某腾网络的全部股份。
11月18日早间，中国某大和某腾网络同步公告，中国某大已将持有的所有某腾股份约16.62亿股卖给了某合某源投资控股有限公司，出售价格为1.28港元/股，较11月17日收盘价1.94港元/股折让约24.26％，总计21.27亿港元。
在此次出售股份之后，中国某大不再持有某腾网络股份。中国某大在公告中称，根据销售股份和代价截至6月30日的账面价值之间的差额计算，中国某大预计将从交易中产生约85亿港元的亏损。
具体的，所述筛选模型包括第一文本特征提取模型和第一分类器，所述使用筛选模型分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果进一步包括：
S11：使用所述第一文本特征提取模型对所述待抽取文本按照段落进行语义提取并输出各段落的段落文本语义特征。
在本实施例中，例如，如图3所示，所述待抽取文本包括4个段落，使用第一文本特征提取模型分别对各段落的内容进行语义抽取。
例如，如图4所示，所述待抽取文本的第一个段落内容为“某大清空某腾网络......亏损85亿港元。”。
首先，对输入的文本按照字符进行拆分并形成对应的字输入向量，所述字输入向量包括字向量、片段向量和位置向量。例如，将输入的文本分别拆分为“某”、“大”、“清”等，并形成对应于各字符的字向量、片段向量和位置向量。
然后，将各字输入向量输入第一文本特征提取模型，在一个可选的实施例中，所述第一文本特征提取模型为BERT-wwm模型、RoBERTa模型、ERNIE模型、NEZHA模型和XLNet模型中的一个。本领域技术人员应当根据实际应用需求选择适当的模型以实现对字输入向量的处理。在本实施例中，以第一文本特征提取模型为BERT-wwm模型为例进行说明，如图5所示，所述BERT-wwm模型包括12层编码器Transformer，为了更好地利用模型得到的语义表征信息，使用最后3层编码器的输出结果的平均值作为所述语义特征向量[CLS]，在本实施例中为段落文本语义特征向量，能够有效提升语义特征提取的准确性。具体的，本实施例采用将第十层、第十一层和第十二层编码器的输出结果进行平均作为BERT-wwm模型输出的语义特征向量，即图2中的T1 10、T1 11和T1 12。基于获得的语义特征向量，事件类型判断和事件抽取的最终准确度指标能够分别提升2-4％和3-6％。
S12：使用所述第一分类器对各段落的段落文本语义特征进行拼接并输出第一拼接语义特征，并根据所述第一拼接语义特征进行分类输出所述待抽取文本的第一事件结果，所述第一事件结果包括第一事件类型。
最后，将三个段落分别经第一文本特征提取模型获取的段落文本语义特征向量进行拼接，所述第一分类器根据预设置的触发词进行分类并输出第一事件结果，通过该步骤能够过滤掉输入的多个待抽取文本中的无关文本，例如未包括预设置的触发词的待抽取文本，同时根据预设置的触发词对剩余的待抽取文本进行分类并输出第一事件结果，例如待抽取文本为第一类事件文章、第二类事件文章和第三类事件文章中的一种。
在本实施例中，所述第一分类器为Softmax，使用Softmax进行概率预测该段文本中包含哪类事件，例如上述实施例中包含经营风险类事件中的“减持”事件。
本实施例筛选模型经过提取多个段落语义特征，拼接后分类的方式，对比只采用整篇文本提取篇章语义特征的方式，多段落语义特征拼接的方式能够提升筛选模型的分类精确度3-4％左右。同时，通过筛选模型过滤出包含有效事件信息的待抽取文本，能够有效提高抽取效率。
在一个可选的实施例中，如图6所示，所述深度事件模型包括第一事件子模型，包括第二文本特征提取模型、第一条件随机场模型和第一事件汇集模块，所述根据各待抽取文本的第一事件结果将所述多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果进一步包括：
S211：使用所述第二文本特征提取模型对输入的所述待抽取文本进行篇章级别语义提取并输出第一语义特征向量。
在本实施例中，如图6所示，将输入的待抽取文本的全文按照字符进行拆分并形成对应的字输入向量，在首尾位置分别加上“[CLS]”和“[SEP]”，然后输入到第二文本特征提取模型中，所述第二文本特征提取模型根据所述待抽取文本的全文的字输入向量进行语义提取以输出第一语义特征向量。
在一个可选的实施例中，所述第二文本特征提取模型为XLNet-base模型，包括12层编码器。在本实施例中，所述第二文本特征提取模型为基于XLNet-base模型微调(finetune)后的编码模型，包括12层Transformer-XL，输出的语义特征向量为最后一层Transformer-XL的输出向量结果。
具体的，所述第一语义特征向量包括对应于上述实施例每个字符的文本特征向量，每个特征向量的维度为1x768，上述实施例得到共计229个特征向量。
S212：使用所述第一条件随机场模型对所述第一语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第一标签，所述第一标签包括具有事件类型和事件元素类型的第一事件边界向量、以及具有事件类型和事件元素类型的第一事件内部向量。
在本实施例中，如图6所示，所述第一条件随机场模型对所述第一语义特征向量进行运算，判断符合文本最大概率的标签路径，采用BIO标签体系，判断并输出每个字符对应的具有事件类型和事件元素类型的第一事件边界向量、具有事件类型和事件元素类型的第一事件内部向量、以及其他标识向量。如图6所示，待抽取文本为“...为缓解现金流紧张，中国某大清空了某腾网络...”，所述第一标签包括具有事件类型和事件元素类型的第一事件边界向量Bun，tar、Bun，sub、Bun，trg和Bun，obj，具有事件类型和事件元素类型的第一事件内部向量Iun，tar、Iun，sub、Iun，trg和Iun，obj，以及其他标识向量O，其中，每个标签带有两个子标签，前一个子标签代表事件类型，后一个子标签代表事件元素，即“event，role”的形式，经过特定规则后得到对应事件的元素；具体的，“un”代表“underweight”减持事件，“tar”代表“target”减持目的，“sub”代表“subject”主体，“trg”代表“trigger”触发词，“obj”代表“object”客体，“B”为事件边界位置，“I”为事件内部位置，“O”为其他。
S213：使用所述第一事件汇集模块根据所述第一事件边界向量和第一事件内部向量输出第二事件结果，所述第二事件结果包括第一子事件类型和对应的第一子事件元素。
在本实施例中，如图6所示，在上述实施例的示例片段中，第二事件结果包括第一子事件类型“underweight”减持，第一子事件元素的第一事件元素为“减持目的”、对应的事件元素取值为“缓解现金流紧张”，第一子事件元素的第二事件元素为“减持主体”、对应的事件元素取值为“中国某大”，第一子事件元素的第三事件元素为“触发词”、对应的事件元素取值为“清空”，第一子事件元素的第四事件元素为“减持客体”、对应的事件元素取值为“某腾网络”。
本实施例通过第一事件子模型，即篇章级事件抽取模型，采用了基于XLNet-base模型微调后的特征提取器提取文本特征，结合特殊设计的BIO标签体系，将事件类型和事件元素融合成为一个大标签带两个子标签的形式，利用这样的BIO标签体系直接输入CRF层得到字符对应的标签，然后利用规则确定事件元素的边界。通过设计特殊的标签体系能够将传统事件抽取中识别事件判断类型和抽取事件元素两个步骤简化为一个步骤进行，提高了事件抽取的效率5％左右，同时由于减少了模型的级联，事件抽取结果的精确度也有1-2％的提升。
在一个可选的实施例中，如图7所示，所述深度事件模型包括第二事件子模型，包括第三文本特征提取模型、第二条件随机场模型和第二事件汇集模块，所述根据各待抽取文本的第一事件结果将多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出待抽取文本的第二事件结果进一步包括：
S221：使用所述第三文本特征提取模型对输入的所述待抽取文本的各段落进行段落级别语义提取并输出第二语义特征向量。
在本实施例中，如图7所示，将输入的待抽取文本的一个段落按照字符进行拆分并形成对应的字输入向量，在每个段落的首尾位置分别加上“[CLS]”和“[SEP]”，然后输入到第三文本特征提取模型中，所述第三文本特征提取模型根据该段落的字输入向量进行语义提取以输出第二语义特征向量。
具体的，所述第三文本特征提取模型为BERT-wwm模型，输出的第二语义特征向量的维度为1x768，每个段落的特征向量数量与字符数量相等，分别为26、26、92、85个。
S222：使用所述第二条件随机场模型对所述第二语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第二标签，所述第二标签包括具有事件类型和事件元素类型的第二事件边界向量、具有事件类型和事件元素类型的第二事件内部向量。
在本实施例中，如图7所示，所述第二条件随机场模型对所述第二语义特征向量进行运算，判断符合文本最大概率的标签路径，同样采用BIO标签体系，判断并输出每个字符对应的具有事件类型和事件元素类型的第二事件边界向量、具有事件类型和事件元素类型的第二事件内部向量、以及其他标识向量。例如上述实施例中，第三段文本“11月18日早间，中国某大和某腾网络同步公告，中国某大已将持有的所有某腾股份约16.62亿股卖给了某合某源投资控股有限公司，出售价格为1.28港元/股，较11月17日收盘价1.94港元/股折让约24.26％，总计21.27亿港元。”经过第二条件随机场模型后部分文本的一个标签为“11月18日”对应“Bun，tme，Iun，tme，Iun，tme，Iun，tme，Iun，tme，Iun，tme”，其中，“un”代表事件类型为“underweight”减持事件，“tme”代表事件元素为“time”时间；一个标签为“16.62亿股”对应“Bun，amt，Iun，amt，Iun，amt，Iun，amt，Iun，amt，Iun，amt，Iun，amt”，其中，“un”与前述意思相同，“amt”代表事件元素“amount”数量；一个标签为“1.28港元”对应“Bun，pri，Iun，pri，Iun，pri，Iun，pri，Iun，pri，Iun，pri”，“un”与前述意思相同，“pri”代表事件元素“price”价格等。
S223：使用所述第二事件汇集模块根据所述第二事件边界向量和第二事件内部向量输出第二事件结果，所述第二事件结果包括第二子事件类型和对应的第二子事件元素。
在本实施例中，如图7所示，第二事件结果的第二子事件类型为“underweight”减持，第二子事件元素包括“time”减持时间、“amount”减持数量、“price”减持价格等，具体的，第二子事件元素的第一事件元素为“减持时间”、对应的事件元素取值为“11月18日”，第二子事件元素的第二事件元素为“减持数量”、对应的事件元素取值为“16.62亿”，第二子事件元素的第三事件元素为“减持价格”、对应的事件元素取值为“1.28亿港元”。
本实施例通过第二事件子模型，即段落章级事件抽取模型，采用基于BERT-wwm模型优化并微调后的特征提取器提取文本特征，结合与篇章级事件抽取模型相同的特殊设计的BIO标签体系，提升事件抽取效率约5％，提升事件抽取结果的精确度约3-5％。
在一个可选的实施例中，所述深度事件模型包括第三事件子模型，包括第四文本特征提取模型、第三条件随机场模型和第三事件汇集模块，所述根据各待抽取文本的第一事件结果将多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出待抽取文本的第二事件结果进一步包括：
S231：使用所述第四文本特征提取模型对输入的所述待抽取文本的各段落的各语句进行语句级别语义提取并输出第三语义特征向量。
在本实施例中，使用第四文本特征提取模型对各语句进行语义提取，即进行更细粒度的语义提取获得语义特征向量，所述第四文本特征提取模型与所述第三文本特征提取模型相同，具体实施方式参见前述实施例，在此不再赘述。
S232：使用所述第三条件随机场模型对所述第三语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第三标签，所述第三标签包括具有事件类型和事件元素类型的第三事件边界向量、具有事件类型和事件元素类型的第三事件内部向量。
在本实施例中，使用第三条件随机场模型对所述第三语义特征向量进行运算，所述第三条件随机场模型与所述第二条件随机场模型相同，具体实施方式参见前述实施例，在此不再赘述。
S233：使用所述第三事件汇集模块根据所述第三事件边界向量和第三事件内部向量输出第二事件结果，所述第二事件结果包括第三子事件类型和对应的第三子事件元素。
在本实施例中，所述第三事件汇集模块与所述第二事件汇集模块相同，具体实施方式参见前述实施例，在此不再赘述。
在一个可选的实施例中，所述深度事件模型并行使用所述第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果。
在本实施例中，所述深度事件模型采用并行方式，同时使用第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，运算速度快，效率高，但需要的运算资源多。
在另一个可选的实施例中，所述深度事件模型串行使用所述第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果。
在本实施例中，所述深度事件模型采用串行方式，依次使用第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，运算速度稍慢，但需要的运算资源少。
在本实施例中，每个深度事件模型包括多个事件子模型，每个事件子模型输出一个第二事件结果，使用汇集单元对深度事件模型的各事件子模型输出的第二事件结果进行汇集并输出第二时间结果。
具体的，如图8所示，仍以上述示例进行说明：
针对输入的待抽取文本，使用第一事件子模型，即篇章级模型进行事件抽取后，得到的第二事件类型为“减持”，第一子事件元素的第一事件元素为“减持目的”、对应的事件元素取值为“缓解现金流紧张”，第一子事件元素的第二事件元素为“减持主体”、对应的事件元素取值为“中国某大”，第一子事件元素的第三事件元素为“触发词”、对应的事件元素取值为“清空”，第一子事件元素的第四事件元素为“减持客体”、对应的事件元素取值为“某腾网络”。
针对输入的待抽取文本的各个段落，分别使用第二事件子模型，即段落级模型进行事件抽取后：
对应第一段落的段落模型1，得到的第二事件类型为“减持”，第二子事件元素的第一事件元素为“减持主体”、对应的事件元素取值为“某大”，第二子事件元素的第二事件元素为“触发词”、对应的事件元素取值为“清空”，第二子事件元素的第三事件元素为“减持客体”、对应的事件元素取值为“某腾网络”，第二子事件元素的第四事件元素为“减持收益”、对应的事件元素取值为“亏损85亿港元”。
对应第一段落的段落模型2，得到的第二事件类型为“减持”，第二子事件元素的第一事件元素为“减持目的”、对应的事件元素取值为“缓解现金流紧张”，第二子事件元素的第二事件元素为“减持主体”、对应的事件元素取值为“某大”，第二子事件元素的第三事件元素为“触发词”、对应的事件元素取值为“清空”，第二子事件元素的第四事件元素为“减持客体”、对应的事件元素取值为“某腾网络”。
对应第一段落的段落模型3，得到的第二事件类型为“减持”，第二子事件元素的第一事件元素为“减持时间”、对应的事件元素取值为“11月18日”，第二子事件元素的第二事件元素为“减持数量”、对应的事件元素取值为“16.62亿”，第二子事件元素的第三事件元素为“减持价格”、对应的事件元素取值为“1.28亿港元”，第二子事件元素的第四事件元素为“交易对手”、对应的事件元素取值为“某合某源投资控股有限公司”。
对应第一段落的段落模型4，得到的第二事件类型为“减持”，第二子事件元素的第一事件元素为“持股比例”、对应的事件元素取值为“不再持有”，第二子事件元素的第二事件元素为“减持收益”、对应的事件元素取值为“约85亿港元的亏损”。
使用汇集单元对深度事件模型的各事件子模型输出的第二事件结果进行汇集并输出第二时间结果。
如图8所示，所述汇集单元对各事件子模型输出的第二事件结果取并集，形成结构化数据的第二事件结果并输出至融合单元。汇集单元收集篇章级和所有段落级模型的抽取结果，然后对所有结果中角色相同的元素进行归并，对语义相近的字段进行归一化处理，形成篇章级的事件抽取结果。例如减持主体的抽取结果有“中国某大”和“某大”，归一化至“中国某大”，减持收益的抽取结果有“亏损85亿港元”和“约85亿港元的亏损”两种描述，归一化为“亏损85亿港元”。
值得说明的是，多级事件抽取系统包括多个深度事件模型，每个深度事件模型根据输入的待抽取文本输出对应的第二事件结果。针对输入的多个待抽取文本，使用融合单元对各深度事件模型输出的各多个待抽取文本的第二事件结果进行融合并生成第三事件结果。
在本实施例中，所述多个深度事件模型包括工商信息类事件模型、司法诉讼类事件模型和经营风险类事件模型。针对输入的多个待抽取文本，融合单元对各深度事件模型输出的第二事件结果进行合并，例如取并集操作，合并所有事件结果，从而形成所述多个待抽取文本的第三事件结果。
至此，完成对输入的多个待抽取文本的事件抽取。
本实施例通过筛选模型—多个深度事件模型—融合单元对输入的多个待抽取文本进行事件抽取，通过筛选模型过滤待抽取文本中的有效事件信息，避免了抽取无事件文本造成的计算资源浪费，通过多个深度事件模型的各文本关注范围从篇章到段落各有不同互为补充，将抽取得到的事件元素通过汇集单元进行合并得到整体篇章的事件结果，再将各待抽取文本的事件结果进行融合，提升事件抽取的精确度。
与上述实施例提供的多级事件抽取方法相对应，本申请的一个实施例还提供一种应用上述多级事件抽取方法的多级事件抽取系统，由于本申请实施例提供的多级事件抽取系统与上述几种实施例提供的多级事件抽取方法相对应，因此在前实施方式也适用于本实施例提供的多级事件抽取系统，在本实施例中不再详细描述。
如图2所示，本申请的一个实施例还提供一种应用上述多级事件抽取方法的多级事件抽取系统，包括：
文档预筛选模型，配置为分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果；
多个事件抽取模型，配置为根据各待抽取文本的第一事件结果将所述多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，每个深度事件模型包括用于事件抽取的至少一个事件子模型、以及用于汇集各事件子模型输出的第二事件结果的汇集单元，不同的深度事件模型对应不同的事件类型体系；以及
事件融合模型，配置为对各深度事件模型输出的各所述多个待抽取文本的第二事件结果进行融合并生成第三事件结果，所述第三事件结果包括第三事件类型和对应的第三事件元素。
本实施例通过文档预筛选模型过滤出包含有效事件信息的待抽取文本以提高抽取效率，同时通过具有至少一个事件子模型的多个事件抽取模型在不同粒度层面进行事件抽取，并将各事件子模型因对待抽取文本的关注范围不同而抽取到的事件元素进行相互补充以整体提升事件抽取的召回率，最后通过事件融合模型融合多个深度事件模型的抽取结果以提升事件抽取精确度，并且有效简化现有事件抽取方法的步骤，从而弥补了现有技术中存在的问题，具有实际应用价值。
基于上述实施例的多级事件抽取方法和多级事件抽取系统，在一个实际的对比测试中，使用相同的10篇金融领域文本作为测试样例，经过人工标注后得到包含工商信息类事件的文本2篇，共有2个事件8个事件元素，包含司法诉讼类事件的文本4篇，共有4个事件24个事件元素，包含经营风险类事件的文本4篇，共有4个事件23个事件元素。具体事件类型与事件元素如表1所示：
表1
Figure GDA0004038979000000151
采用现有技术中的ODEE[1]模型和本申请的多级事件抽取系统进行测试，相应的测试结果如表2所示：
表2
Figure GDA0004038979000000152
Figure GDA0004038979000000161
由表1和表2可以看出，本申请提取的多级事件抽取系统在抽取事件元素数量、准确抽取事件元素数量和事件抽取F1值多个指标上都显著优于ODEE模型(13-16％)。
本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：S1：使用筛选模型分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果；S2：根据各待抽取文本的第一事件结果将所述多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，每个深度事件模型包括用于事件抽取的至少一个事件子模型、以及用于汇集各事件子模型输出的第二事件结果的汇集单元，不同的深度事件模型对应不同的事件类型体系；S3：使用融合单元对各深度事件模型输出的各所述多个待抽取文本的第二事件结果进行融合并生成第三事件结果，所述第三事件结果包括第三事件类型和对应的第三事件元素。
在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
如图9所示，本发明的另一个实施例提供的一种计算机设备的结构示意图。图9显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图9中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种基于多模型融合的多元关系抽取方法。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (11)

1.一种基于多模型融合的多级事件抽取方法，其特征在于，包括：
S1：使用筛选模型分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果，所述筛选模型包括第一文本特征提取模型和第一分类器，进一步包括：
S11：使用所述第一文本特征提取模型对所述待抽取文本按照段落进行语义提取并输出各段落的段落文本语义特征；
S12：使用所述第一分类器对各段落的段落文本语义特征进行拼接并输出第一拼接语义特征，并根据所述第一拼接语义特征进行分类输出所述待抽取文本的第一事件结果，所述第一事件结果包括第一事件类型；
S2：根据各待抽取文本的第一事件结果的第一事件类型将所述多个待抽取文本分别输入与所述第一事件类型对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，每个深度事件模型包括用于事件抽取的至少一个事件子模型、以及用于汇集各事件子模型输出的第二事件结果的汇集单元，不同的深度事件模型对应不同的事件类型体系；
S3：使用融合单元对各深度事件模型输出的各所述多个待抽取文本的第二事件结果进行融合并生成第三事件结果，所述第三事件结果包括第三事件类型和对应的第三事件元素。
2.根据权利要求1所述的多级事件抽取方法，其特征在于，所述深度事件模型包括第一事件子模型，包括第二文本特征提取模型、第一条件随机场模型和第一事件汇集模块，所述S2进一步包括：
S211：使用所述第二文本特征提取模型对输入的所述待抽取文本进行篇章级别语义提取并输出第一语义特征向量；
S212：使用所述第一条件随机场模型对所述第一语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第一标签，所述第一标签包括具有事件类型和事件元素类型的第一事件边界向量、以及具有事件类型和事件元素类型的第一事件内部向量；
S213：使用所述第一事件汇集模块根据所述第一事件边界向量和第一事件内部向量输出第二事件结果，所述第二事件结果包括第一子事件类型和对应的第一子事件元素。
3.根据权利要求2所述的多级事件抽取方法，其特征在于，所述深度事件模型包括第二事件子模型，包括第三文本特征提取模型、第二条件随机场模型和第二事件汇集模块，所述S2进一步包括：
S221：使用所述第三文本特征提取模型对输入的所述待抽取文本的各段落进行段落级别语义提取并输出第二语义特征向量；
S222：使用所述第二条件随机场模型对所述第二语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第二标签，所述第二标签包括具有事件类型和事件元素类型的第二事件边界向量、具有事件类型和事件元素类型的第二事件内部向量；
S223：使用所述第二事件汇集模块根据所述第二事件边界向量和第二事件内部向量输出第二事件结果，所述第二事件结果包括第二子事件类型和对应的第二子事件元素。
4.根据权利要求3所述的多级事件抽取方法，其特征在于，所述深度事件模型包括第三事件子模型，包括第四文本特征提取模型、第三条件随机场模型和第三事件汇集模块，所述S2进一步包括：
S231：使用所述第四文本特征提取模型对输入的所述待抽取文本的各段落的各语句进行语句级别语义提取并输出第三语义特征向量；
S232：使用所述第三条件随机场模型对所述第三语义特征向量进行运算，判断并输出所述待抽取文本中每个字符的第三标签，所述第三标签包括具有事件类型和事件元素类型的第三事件边界向量、具有事件类型和事件元素类型的第三事件内部向量；
S233：使用所述第三事件汇集模块根据所述第三事件边界向量和第三事件内部向量输出第二事件结果，所述第二事件结果包括第三子事件类型和对应的第三子事件元素。
5.根据权利要求4所述的多级事件抽取方法，其特征在于，所述S2进一步包括：
所述深度事件模型并行使用所述第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果；
或者
所述深度事件模型串行使用所述第一事件子模型、所述第二事件子模型和所述第三事件子模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果。
6.根据权利要求4所述的多级事件抽取方法，其特征在于，所述第一文本特征提取模型、所述第三文本特征提取模型和所述第四文本特征提取模型为BERT-wwm模型、RoBERTa模型、ERNIE模型、NEZHA模型和XLNet模型中的一个。
7.根据权利要求6所述的多级事件抽取方法，其特征在于，所述第一文本特征提取模型、所述第三文本特征提取模型和所述第四文本特征提取模型包括12层编码器，所述多级事件抽取方法进一步包括：
使用最后3层编码器的输出结果的平均值作为所述语义特征向量。
8.根据权利要求3所述的多级事件抽取方法，其特征在于，所述第二文本特征提取模型为XLNet-base模型，包括12层编码器。
9.一种应用如权利要求1-8中任一项所述的基于多模型融合的多级事件抽取方法的多级事件抽取系统，其特征在于，包括：
文档预筛选模型，配置为分别对输入的多个待抽取文本按照段落进行语义提取，对每个待抽取文本的各段落所提取的语义特征进行拼接并分类以输出对应的第一事件结果；
多个事件抽取模型，配置为根据各待抽取文本的第一事件结果将所述多个待抽取文本分别输入对应的深度事件模型，每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第二事件结果，每个深度事件模型包括用于事件抽取的至少一个事件子模型、以及用于汇集各事件子模型输出的第二事件结果的汇集单元，不同的深度事件模型对应不同的事件类型体系；以及
事件融合模型，配置为对各深度事件模型输出的各所述多个待抽取文本的第二事件结果进行融合并生成第三事件结果，所述第三事件结果包括第三事件类型和对应的第三事件元素。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一项所述的方法。
CN202210009599.XA 2022-01-05 2022-01-05 一种基于多模型融合的多级事件抽取方法和抽取系统 Active CN114936559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210009599.XA CN114936559B (zh) 2022-01-05 2022-01-05 一种基于多模型融合的多级事件抽取方法和抽取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210009599.XA CN114936559B (zh) 2022-01-05 2022-01-05 一种基于多模型融合的多级事件抽取方法和抽取系统

Publications (2)

Publication Number Publication Date
CN114936559A CN114936559A (zh) 2022-08-23
CN114936559B true CN114936559B (zh) 2023-04-07

Family

ID=82862879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210009599.XA Active CN114936559B (zh) 2022-01-05 2022-01-05 一种基于多模型融合的多级事件抽取方法和抽取系统

Country Status (1)

Country Link
CN (1) CN114936559B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761875A (zh) * 2021-07-21 2021-12-07 中国科学院自动化研究所 事件抽取方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135457B (zh) * 2019-04-11 2021-04-06 中国科学院计算技术研究所 基于自编码器融合文档信息的事件触发词抽取方法及系统
US11227128B2 (en) * 2019-06-07 2022-01-18 Raytheon Bbn Technologies Corp. Linguistically rich cross-lingual text event embeddings
CN111967256B (zh) * 2020-06-30 2023-08-04 北京百度网讯科技有限公司 事件关系的生成方法、装置、电子设备和存储介质
CN111967268B (zh) * 2020-06-30 2024-03-19 北京百度网讯科技有限公司 文本中的事件抽取方法、装置、电子设备和存储介质
CN111783394B (zh) * 2020-08-11 2024-03-08 深圳市北科瑞声科技股份有限公司 事件抽取模型的训练方法、事件抽取方法和系统及设备
CN112528676B (zh) * 2020-12-18 2022-07-08 南开大学 文档级别的事件论元抽取方法
CN112905868A (zh) * 2021-03-22 2021-06-04 京东方科技集团股份有限公司 事件抽取方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761875A (zh) * 2021-07-21 2021-12-07 中国科学院自动化研究所 事件抽取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114936559A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
Day et al. Deep learning for financial sentiment analysis on finance news providers
Li et al. News impact on stock price return via sentiment analysis
Huang et al. A multilabel text classification algorithm for labeling risk factors in SEC form 10-K
CN110276054B (zh) 一种保险文本结构化实现方法
CN111666480A (zh) 一种基于滚动式协同训练的虚假评论识别方法
CN111897963A (zh) 一种基于文本信息和机器学习的商品分类方法
US20230028664A1 (en) System and method for automatically tagging documents
CN112967144A (zh) 一种金融信用风险事件抽取方法、可读存储介质及设备
CN114925693B (zh) 一种基于多模型融合的多元关系抽取方法和抽取系统
Albahli et al. A deep learning method DCWR with HANet for stock market prediction using news articles
Padmanayana et al. Stock market prediction using twitter sentiment analysis
CN113378090B (zh) 一种互联网网站相似度分析方法、装置以及可读存储介质
Michel et al. Identification of Decision Rules from Legislative Documents Using Machine Learning and Natural Language Processing.
CN113220999A (zh) 用户特征的生成方法、装置、电子设备和存储介质
Kamaruddin et al. A text mining system for deviation detection in financial documents
CN110888983B (zh) 一种正负面情感分析方法、终端设备及存储介质
CN114936559B (zh) 一种基于多模型融合的多级事件抽取方法和抽取系统
Park et al. Automatic Construction of Context-Aware Sentiment Lexicon in the Financial Domain Using Direction-Dependent Words
CN114741501A (zh) 舆情预警方法、装置、可读存储介质及电子设备
CN113051396B (zh) 文档的分类识别方法、装置和电子设备
US20230196023A1 (en) Classification of user sentiment based on machine learning
CN115187066A (zh) 风险识别方法、装置、电子设备及存储介质
Divernois et al. StockTwits classified sentiment and stock returns
Hristova et al. RatingBot: A Text Mining Based Rating Approach.
Islam et al. Stock market prediction of Bangladesh using multivariate long short-term memory with sentiment identification.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant