CN113688631B - 一种嵌套命名实体识别方法、系统、计算机和存储介质 - Google Patents

一种嵌套命名实体识别方法、系统、计算机和存储介质 Download PDF

Info

Publication number
CN113688631B
CN113688631B CN202110764616.6A CN202110764616A CN113688631B CN 113688631 B CN113688631 B CN 113688631B CN 202110764616 A CN202110764616 A CN 202110764616A CN 113688631 B CN113688631 B CN 113688631B
Authority
CN
China
Prior art keywords
text
boundary
word
vector representation
named entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110764616.6A
Other languages
English (en)
Other versions
CN113688631A (zh
Inventor
周玲
仇晶
丁杰
李鉴明
方滨兴
顾钊铨
田志宏
韩伟红
王乐
李树栋
唐可可
王海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Peng Cheng Laboratory
Original Assignee
Guangzhou University
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University, Peng Cheng Laboratory filed Critical Guangzhou University
Priority to CN202110764616.6A priority Critical patent/CN113688631B/zh
Publication of CN113688631A publication Critical patent/CN113688631A/zh
Application granted granted Critical
Publication of CN113688631B publication Critical patent/CN113688631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提供了一种嵌套命名实体识别方法、系统、计算机和存储介质，通过将待识别文本的第一文本词向量表示进行边界检测得到对应的边界词概率和边界文本向量表示，再采用条件随机场进行解码和标注得到第一实体识别结果，以及根据边界词概率和预设概率阈值判断边界文本向量表示中是否存在嵌套命名实体边界词，并在存在时，将相邻嵌套命名实体边界词之间的边界文本向量表示合并得到的第二文本词向量表示进行边界检测开始下一轮实体识别迭代，反之，停止迭代，将第一实体识别结果作为待识别文本的实体识别结果的方法，有效识别命名实体的边界且缩减了候选实体子序列的数目，有效降低命名实体的解码复杂度，进一步提高嵌套实体预测识别能力和实用性。

Description

一种嵌套命名实体识别方法、系统、计算机和存储介质
技术领域
本发明涉及自然语言处理技术领域，特别是涉及一种基于长短期记忆网络的嵌套命名实体的识别方法、系统、计算机设备和存储介质。
背景技术
命名实体识别(NER，Named Entity Recognition)，也称为专名识别，是指识别文本中具有特定意义的实体(如人名，地名，组织等)，是自然语言处理领域构造知识图过程中一个重要的基础任务，其作用在于定位实体的边界并预测其类别。自然语言序列中存在一个实体中包含一个或多个实体的嵌套实体现象，如英文文本“Activation of thecd28surface receptor provides”，“cd28 surface”是一个Protein类型的实体，而“cd28surface receptor”也是一个Protein类型的实体；同理，中文文本序列“广州大学”中，“广州”是一个地名，而“广州大学”则是一个学校名。然而，基于非嵌套命名实体展开的识别应用在嵌套实体现象的处理上并不能取得预期结果，针对嵌套实体的嵌套命名实体识别(Nested NER)也渐引起了更多学者的重视。
嵌套实体识别问题的重点和难点在于如何确定实体的边界和预测实体的类别。现有的嵌套实体识别方法主要分为三类：1)通过设计文本的匹配规则来抽取自然语言中的实体，如采用领域专家手工编写规则来匹配文本中的实体的基于领域词典的实体识别方法；2)基于特征工程的有监督学习方法，如通过设计特征模板、结合维特比算法来对文本序列中的文本类别进行预测的条件随机场方法；3)基于实体跨度的深度学习的方法，如利用神经网络来提取文本的特征的基于字符级特征的深度学习方法，以及通过枚举出可能为实体的子序列，然后对子序列进行预测的穷举候选实体的嵌套实体识别方法。上述三种方法虽然在能够一定程度上能够解决嵌套实体识别问题，但其分别对应的缺陷也是显而易见的：第一类方法主要依赖领域语言专家手工编写的规则，不仅非常耗时耗力，而且不同领域间的可迁移性较差；第二类方法尽管不再依赖于领域专家手工编写的规则，但其特征模板的设计仍就依赖于专家的经验，且具体的应用效果受领域文本语料的分布情况的影响较大；第三类方法是目前主流的方法，虽然能够利用深度学习抽取文本的字符和单词特征，但其深度学习本身参数多，计算的复杂度较高，穷举候选实体的方法更是增加了模型的时间复杂度，且不利于模型性能的提升。
因此，亟需提供一种能够有效识别实体的边界和缩减候选实体子序列数目，同时使得实体的解码复杂度大大降低，有效解决嵌套命名实体识别过程中实体边界难以确定以及嵌套实体解码问题的嵌套命名实体识别方法。
发明内容
本发明的目的是提供一种基于长短期记忆网络改进的嵌套命名实体识别方法，通过将长短期记忆网络与多层感知机结合用于解决嵌套命名实体识别过程中实体边界难以确定以及嵌套实体解码问题，能够有效识别中英文命名实体的边界，有效缩减候选实体子序列的数目，有效降低命名实体的解码复杂度，进一步提高嵌套实体的预测识别能力和实用性。
为了实现上述目的，有必要针对上述技术问题，提供了一种嵌套命名实体识别方法、系统、计算机设备和存储介质。
第一方面，本发明实施例提供了一种嵌套命名实体识别方法，所述方法包括以下步骤：
获取待识别文本的第一文本词向量表示；所述待识别文本包括中文文本和英文文本；
对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示；
对所述边界文本向量表示进行解码和标注，得到第一实体识别结果；
根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词；
若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示，并对所述第二文本词向量表示进行边界检测，开始下一轮实体识别迭代，反之，则停止迭代，将所述第一实体识别结果作为所述待识别文本的实体识别结果。
进一步地，所述获取待识别文本的第一文本词向量表示的步骤包括：
当所述待识别文本为中文文本时，采用分词词库得到所述中文文本的文本词语列表，并将所述文本词语列表输入Word2Vec模型，得到所述第一文本词向量表示；
当所述待识别文本为英文文本时，采用双向LSTM网络编码器得到所述英文文本的字符向量表示和单词向量表示，并将所述字符向量表示和单词向量表示拼接，得到所述第一文本词向量表示。
进一步地，所述对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示的步骤包括：
将所述文本词向量表示输入LSTM单元，得到文本词特征向量；所述LSTM单元为长短期记忆网络模型的基本单元；
将所述文本词特征向量输入多层感知机MLP，得到所述边界词概率；所述边界词概率的公式为：
Figure BDA0003148675520000031
式中，
Figure BDA0003148675520000041
为待识别文本中第t个文本词对应的边界词概率；/>
Figure BDA0003148675520000042
ft为经过2个非线性激活函数求和线性变换后的词向量表示，wi和bi分别为第i个非线性激活函数对应的权重系数和偏置参数；h′t＝LSTM(x′t)，h′t、x′t分别为待识别文本中第t个文本词对应文本词特征向量和第一文本词向量表示；
将所述第一文本词向量表示与对应的所述边界词概率融合，得到所述边界文本向量表示；所述边界文本向量表示的公式为：
Figure BDA0003148675520000043
/>
式中，
Figure BDA0003148675520000044
x′t、/>
Figure BDA0003148675520000045
分别为待识别文本中第t个文本词对应的边界文本向量表示、第一文本词向量表示和边界词概率；w为边界融合权重系数。
进一步地，所述对所述边界文本向量表示进行解码和标注，得到第一实体识别结果的步骤包括：
采用条件随机场对所述边界文本向量表示进行解码，并判断解码结果是否为命名实体；
若所述解码结果为所述命名实体，则输出对应的实体类型，反之，则采用BIO标记法将所述边界文本向量表示标注为O类型。
进一步地，所述根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词的步骤包括：
预先统计所述待识别文本的嵌套命名实体比例，并将所述嵌套命名实体比例作为预设概率阈值；
判断是否存在所述边界词概率大于所述预设概率阈值，若存在，则判定所述边界文本向量表示中存在嵌套命名实体边界词，反之，则判定所述边界文本向量表示中不存在嵌套命名实体边界词。
进一步地，所述若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示的步骤包括：
采用一维卷积神经网络对相邻所述嵌套命名实体边界词之间的文本进行合并，得到所述第二文本词向量表示。
第二方面，本发明实施例提供了一种嵌套命名实体识别系统，所述系统包括：
预处理模块，用于获取待识别文本的第一文本词向量表示；所述待识别文本包括中文文本和英文文本；
边界检测模块，用于对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示；
实体解码模块，用于对所述边界文本向量表示进行解码和标注，得到第一实体识别结果；
嵌套检测模块，用于根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词；
结果获取模块，用于若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示，并对所述第二文本词向量表示进行边界检测，开始下一轮实体识别迭代，反之，则停止迭代，将所述第一实体识别结果作为所述待识别文本的实体识别结果。
进一步地，所述边界检测模块由在LSTM单元的输出隐藏层上增加多层感知机MLP得到；所述LSTM单元为长短期记忆网络模型的基本单元。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种嵌套命名实体识别方法、系统、计算机设备及存储介质，通过所述方法，实现了获取待识别文本的第一文本词向量表示，再对第一文本词向量表示进行边界检测得到对应的边界词概率和边界文本向量表示，采用条件随机场对边界文本向量表示进行解码和标注得到第一实体识别结果，以及根据边界词概率和预设概率阈值判断边界文本向量表示中是否存在嵌套命名实体边界词，并在边界文本向量表示中存在嵌套命名实体边界词时，将相邻嵌套命名实体边界词之间的边界文本向量表示进行合并得到第二文本词向量表示，并对该第二文本词向量表示进行边界检测开始下一轮实体识别迭代，反之，则停止迭代，将第一实体识别结果作为待识别文本的实体识别结果的技术方案。与现有技术相比，该嵌套命名实体识别方法通过将长短期记忆网络与多层感知机结合用于解决嵌套命名实体识别过程中实体边界难以确定以及嵌套实体解码问题，能够有效识别中英文文本语料中的命名实体的边界，有效缩减了候选实体子序列的数目，有效降低了命名实体的解码复杂度，进一步提高了嵌套实体的预测识别能力和实用性。
附图说明
图1是本发明实施例中嵌套命名实体识别方法的应用场景示意图；
图2是本发明实施例中嵌套命名实体识别方法方法的流程示意图；
图3是图2中步骤S11根据待识别文本类型获取对应的第一文本向量表示的流程示意图；
图4是本发明实施例中边界检测模块的现有LSTM单元的结构示意图示意图；
图5是本发明实施例中边界检测模块的结构示意图；
图6是图2中步骤S12对文本向量表示进行边界词概率检测，并将边界词概率融入文本向量表示的流程示意图；
图7是图2中步骤S13对边界文本向量表示进行解码和标注的流程示意图；
图8是图2中步骤S14根据预设概率阈值判断边界文本向量表示中是否存在嵌套命名实体边界词的流程示意图；
图9是本发明实施例中嵌套命名实体识别方法中的一维卷积神经网络应用示意图；
图10是本发明实施例中嵌套命名实体识别方法应用于英文文本的实体识别过程和结果示意图；
图11是本发明实施例中嵌套命名实体识别系统的结构示意图；
图12是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的嵌套命名实体识别方法可以应用于如图1所示的终端或服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可以基于待分析的中文文本或英文文本，采用本发明提供的嵌套命名实体识别方法完成对相应文本语料中的普通命名实体和嵌套命名实体的识别，并将最终得到的命名实体识别结果应用于服务器上其他学习任务，或者将其传送至终端，以供终端使用者接收使用。
在一个实施例中，如图2所示，提供了一种嵌套命名实体识别方法，包括以下步骤：
S11、获取待识别文本的第一文本词向量表示；所述待识别文本包括中文文本和英文文本；
其中，第一文本词向量表示即词嵌入向量表示，为利用基于待识别文本的上下文联系得到的稠密向量表示，其具体获取方式与文本的语言类型有直接关系，且对于同种语言类型的文本处理方式也可以根据使用需求从现有技术中按需选取，此处不作具体限制。优选地，如图3所示，所述获取待识别文本的第一文本词向量表示的步骤包括：
S111、当所述待识别文本为中文文本时，采用分词词库得到所述中文文本的文本词语列表，并将所述文本词语列表输入Word2Vec模型，得到所述第一文本词向量表示；
其中，分词词库可以根据实际需求进行选取，如可采用jieba分词、第三方词库等得到对应文本词语列表。Word2Vec模型是一种把自然语言中的每一个词都表示成一个统一意义统一维度上的短向量的模型，特别适用于数据间存在着较强关联性的文本序列的处理。虽然，使用中文文本词语序列得到第一文本词向量表示也可以采用LSTM模型、Glove、fast text等词向量训练工具实现，但本实施优选采用Word2Vec模型来实现，不仅保证了训练速度，而且能很好的保留了上下文词语之间的语义相关性。
S112、当所述待识别文本为英文文本时，采用双向LSTM网络编码器得到所述英文文本的字符向量表示和单词向量表示，并将所述字符向量表示和单词向量表示拼接，得到所述第一文本词向量表示。
其中，双向LSTM网络编码器如图4所示，首先使用该双向LSTM网络编码器按顺序输入文本序列编码英文文本中的英文字符，依照下述公式(1)-(6)得到该英文文本的正向字符向量表示
Figure BDA0003148675520000081
Figure BDA0003148675520000082
Figure BDA0003148675520000083
Figure BDA0003148675520000084
Figure BDA0003148675520000085
Figure BDA0003148675520000091
Figure BDA0003148675520000092
其中，
Figure BDA0003148675520000093
为英文文本中第t个词的字符；ht-1、/>
Figure BDA0003148675520000094
和/>
Figure BDA0003148675520000095
分别英文文本中第t个词的字符的前一时刻细胞状态、遗忘门输出、记忆门输出、临时细胞状态、当前细胞状态和输出门。/>
同上所述，再采用双向LSTM网络编码器按逆序输入文本序列编码英文文本中的英文字符，得到该英文文本的逆向字符向量表示
Figure BDA0003148675520000096
Figure BDA0003148675520000097
在采用上述步骤得到正向字符向量表示
Figure BDA0003148675520000098
和逆向字符向量表示/>
Figure BDA0003148675520000099
后，将二者拼接得到字符向量表示/>
Figure BDA00031486755200000910
Figure BDA00031486755200000911
式中，Concat(·)表示将两个向量按行横向拼接的函数，如x1＝[0.1，0.2，0.3]，x2＝[0.4，0.1，0.2]，则Concat(x1，x2)＝[0.1，0.2，0.3，0.4，0.1，0.2]。
为了保证后续使用字符向量处理的高效性，此处进一步对上述得到的字符向量表示
Figure BDA00031486755200000912
进行归一化处理，得到最终的英文文本的字符向量表示/>
Figure BDA00031486755200000913
Figure BDA00031486755200000914
式中，LayerNorm(·)为层归一化，用于对隐藏层状态进行逐层归一化。
上述(1)-(8)式表示的双向LSTM网络编码器执行过程，为了下文叙述方便，统称为LSTM，同理，采用双向LSTM网络编码器得到英文文本的单词向量表示
Figure BDA00031486755200000915
Figure BDA00031486755200000916
将公式(9)和(10)得到的字符向量表示
Figure BDA00031486755200000917
和单词向量表示/>
Figure BDA00031486755200000918
拼接，并经过线性激活函数对拼接得到的文本词向量进行线性变化，确保结果在同一尺度内，得到下述第一文本词向量表示x′t，并对其进行后续的边界检测。
Figure BDA00031486755200000919
S12、对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示；
其中，边界检测使用如图5所示的边界检测模块，其由在LSTM单元的输出隐藏层上增加多层感知机MLP得到；所述LSTM单元为长短期记忆网络模型的基本单元。需要说明的是，该边界检测模块相比于LSTM单元，在输出隐藏层的基础上增加了两个非线性激活层和一个softmax全连接层分类器，即图5示出的MLP部分，其用于判断当前第一文本词向量表示为边界词的概率，且将得到的边界词概率融入到该第一文本词向量表示中。如图6所示，所述对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示的步骤S12包括：
S121、将所述文本词向量表示输入LSTM单元，得到文本词特征向量；所述LSTM单元为长短期记忆网络模型的基本单元；
其中，LSTM单元如图4所示，具体如何根据文本词向量表示得到文本词特征向量的过程参见前文公式(1)-(6)的LSTM单元处理过程，此处不再赘述。
S122、将所述文本词特征向量输入多层感知机MLP，得到所述边界词概率；所述边界词概率的公式为：
Figure BDA0003148675520000101
式中，
Figure BDA0003148675520000102
为待识别文本中第t个文本词对应的边界词概率；/>
Figure BDA0003148675520000103
ft为经过2个非线性激活函数求和线性变换后的词向量表示，wi和bi分别为第i个非线性激活函数对应的权重系数和偏置参数；h′t＝LSTM(x′t)，h′t、x′t分别为待识别文本中第t个文本词对应文本词特征向量和第一文本词向量表示；
S123、将所述第一文本词向量表示与对应的所述边界词概率融合，得到所述边界文本向量表示；所述边界文本向量表示的公式为：
Figure BDA0003148675520000111
式中，
Figure BDA0003148675520000112
x′t、/>
Figure BDA0003148675520000113
分别为待识别文本中第t个文本词对应的边界文本向量表示、第一文本词向量表示和边界词概率；w为边界融合权重系数。
本实施例使用引入多层感知机MLP的LSTM单元进行对文本进行边界词识别，通过在LSTM单元的输出隐藏层的基础上增加两个非线性激活层和一个softmax分类器函数，不仅准确地获取了待识别文本对应的每个第一文本词向量表示的边界概率信息，而且还将对应的边界概率信息融入到词向量表示中，为后续的普通实体识别和嵌套实体识别提供了可靠且有效的依据。
S13、对所述边界文本向量表示进行解码和标注，得到第一实体识别结果；
其中，边界文本向量表示是通过上述步骤得到的融合边界词概率信息的文本向量表示，本实施例中针对此种情况，选择条件随机场对边界文本向量表示进行解码和标注。如图7所示，所述对所述边界文本向量表示进行解码和标注，得到第一实体识别结果的步骤S13包括：
S131、采用条件随机场对所述边界文本向量表示进行解码，并判断解码结果是否为命名实体；
其中，条件随机场CRF是随机场的一种，是在给定一组输入随机变量X的条件下输出另一组随机变量Y的马尔可夫随机场的条件概率分布模型P(Y|X)，其可被看作是最大熵马尔可夫模型在标注问题上的推广，常用于序列标注或分析时序序列资料等问题，如自然语言文字或是生物序列。将边界文本向量表示通过条件随机场解码，即可根据对应的解码结果得到对应的实体，具体的在边界文本向量表示的第一次解码时就可以实现对文本中的普通命名实体进行识别。本实施例中使用的条件随机场CRF模型如下所示：
Figure BDA0003148675520000114
Figure BDA0003148675520000121
式中，λ为待训练模型参数，
Figure BDA0003148675520000122
为归一化因子，fj为特征函数。
S132、若所述解码结果为所述命名实体，则输出对应的实体类型，反之，则采用BIO标记法将所述边界文本向量表示标注为O类型。
其中，BIO标记法是一种通用的序列标注标记法，采用B(Begin)表示起始位置，I(Inside)表示序列的中间位置，B和I一起组成命名实体的标记，O(Outside)表示非命名实体部分。具体如何使用BIO标记法进行标记，参考现有技术实现即可，此处不再详述。
S14、根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词；
其中，预设概率阈值可以根据实际应用需求选取确定，本实施例中优选采用预先统计待识别文本中嵌套命名实体的比例作为预设概率阈值的方法对待识别文本中是否存在嵌套命名实体的情况进行有效的判断，如图8所示，所述根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词的步骤S14包括：
S141、预先统计所述待识别文本的嵌套命名实体比例，并将所述嵌套命名实体比例作为预设概率阈值；
其中，预设概率阈值的选取方法中英文通用，此处仅以英文文本语料进行说明，实验所用语料为生物医学的英文数据集GENIA，统计语料中训练集总的单词数W约为412936，所含嵌套实体数目ne约为74328，则ne/W约等于0.18，此时将ne/W对应的数值向下取整作为预设概率阈值。
S142、判断是否存在所述边界词概率大于所述预设概率阈值，若存在，则判定所述边界文本向量表示中存在嵌套命名实体边界词，反之，则判定所述边界文本向量表示中不存在嵌套命名实体边界词。
其中，嵌套命名实体边界词的识别判断即等同于对待识别文本中是否存在嵌套命名实体的判断，本实施例通过引入预设概率阈值作为检测文本中是否存在嵌套命名实体的方法，有效提高嵌套命名实体识别的准确率的同时，还有效降低了嵌套命名实体识别的复杂度。
S15、若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示，并对所述第二文本词向量表示进行边界检测，开始下一轮实体识别迭代，反之，则停止迭代，将所述第一实体识别结果作为所述待识别文本的实体识别结果。
其中，第二文本词向量表示是基于嵌套命名实体的检测，对检测到的相邻嵌套命名实体边界词及其中间的边界文本向量表示进行合并得到。具体的对文本合并的方法也可以根据实际应用需求进行选择，本实施例优选的采用一维卷积神经网络实现。一维卷积神经网络选用的滑窗大小、卷积核的大小与数量，都可根据实际情况确定，此处不作具体限制。如滑窗大小n可根据实际检测到的向量嵌套命名实体边界词之间的文本词数目而定，即使用一维卷积神经网络合并后得到的第二文本词向量表示对应的文本区域起始范围为[t，t+n]，且该一维卷积神经网络表示为：
Figure BDA0003148675520000131
式中，
Figure BDA0003148675520000132
和/>
Figure BDA0003148675520000133
分别为第l次命名实体识别迭代对应的合并前第t个词第一文本词向量表示、第t+n个词第一文本词向量表示，以及合并后第t个词第二文本词向量表示；max(·)为最大池化函数；f(·)为对第t个词第一文本词向量表示、第t+n个词第一文本词向量表示进行特征值提取合并的函数；Conv1d(·)为一维卷积神经网络。
下面以如图9所示的一维卷积网络应用实例进行说明，输入一维卷积神经网络的数据维度为8*7，共7个文本词：Activation、of、the、cd28、surface、receptor和provides，每个文本词的词向量表示维度为8，识别的嵌套命名实体边界词为cd28、surface和provides，此时选用包含两个核8*2和8*3的一维卷积神经网络对上述识别的向量嵌套命名实体边界词之间的文本进行合并，在前三个第一文本向量词表示维持不变的基础上，得到两个新的特征向量：cd28 surface和surface receptor provides，即经过一维卷积神经网络处理后得到数据大小为8*5，可见第二文本向量表示的数量为5个：Activation、of、the、cd28 surface和surface receptor provides。
通过上述方法步骤得到合并后的第二文本向量表示后，并不代表实体识别任务的结束，而是要将该第二文本向量表示再次进行边界检测得到与之对应的边界词概率和边界文本向量表示，并在采用条件随机场对新的边界文本向量表示进行解码和标注后，通过判断第二文本向量表示检测得到的边界词概率是否存在大于预设概率阈值的嵌套命名实体边界词来判定是否需要继续进行卷积合并得到新的文本词向量表示再进行命名实体识别迭代。本实施例中以命名实体没有变化为判断实体识别任务结束的标准，即通过对合并后的第二文本向量表示进行边界检测得到的边界词概率均小于预设概率阈值时，认为当前的嵌套命名实体识别任务结束，停止实体识别迭代，把得到的实体识别结果做为最终的命名实体识别结果即可。对应于图9给出的一维卷积神经网络应用实例的最终命名实体识别的结果如图10所示，即给出的标记个数为4个，分别为：Activation、of、the、cd28 surfacereceptor provides。
本实施例采用长短期记忆网络LSTM和Word2vec分别对英文文本和中文文本序列进行编码得到对应的文本词向量表示后，使用引入多层感知机的长短期记忆网络LSTM单元对命名实体的边界进行划分给出边界词概率信息，以及将该边界词概率信息融入到文本词向量表示中进行命名实体解码和标注，再结合预设概率阈值判断是否存在嵌套命名实体，当存在时，再使用一维卷积神经网络将相邻嵌套命名实体边界及中间的边界文本向量表示合并得到第二文本词向量表示，再开始新的命名实体识别的方法，能够有效识别中英文自然语言序列中具有特定意义实体的边界，有效缩减了候选实体子序列的数目，进而降低实体识别模型的计算和解码复杂度且有效提高了嵌套命名实体识别的召回率和F1分数，进而提升了模型预测嵌套实体的能力和实用性。
为了验证本发明嵌套命名实体识别方法的技术效果，将上述方法对应的模型采用交叉熵损失函数和随机梯度下降(SGD)法分别针对获取的中英文文本语料进行训练优化后，基于新浪财经收集的上市高管简历数据集和GENIA测试集进行嵌套命名实体的识别验证，并与同类型的其他模果进行比对，结果分别如表1和表2所示，从给出的精确度、召回率和F1分数可见本发明的嵌套命名实体识别方法应用在英文文本集和中文文本集上对应的综合效果都比同类命名体识别模型的有所提升。
表1基于GENIA英文文本测试集的实验结果比对
Model Precision Recall F1-score
HMM 81.29 56.47 66.39
CRF 88.17 55.86 67.99
BiLSTM 85.35 61.61 71.32
BiLSTM-CRF 88.04 61.74 72.14
Span-Based 73.3 68.3 70.7
Hypergraph-Based 75.4 66.8 71.1
Our model(Flat Layer) 87.56 63.97 73.50
Our model(Nested Layer) 85.49 72.18 77.97
表2基于新浪财经收集的上市公司高管简历数据集的实验结果比对
Figure BDA0003148675520000151
Figure BDA0003148675520000161
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。
在一个实施例中，如图11所示，提供了一种嵌套命名实体识别系统，所述系统包括：
预处理模块1，用于获取待识别文本的第一文本词向量表示；所述待识别文本包括中文文本语料和英文文本语料；
边界检测模块2，用于对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示；
其中，边界检测模块2的结构如图5所示，其由在LSTM单元的输出隐藏层上增加多层感知机MLP得到；所述LSTM单元为长短期记忆网络模型的基本单元。
实体解码模块3，用于对所述边界文本向量表示进行解码和标注，得到第一实体识别结果；
嵌套检测模块4，用于根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词；
结果获取模块5，用于若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示，并对所述第二文本词向量表示进行边界检测，开始下一轮实体识别迭代，反之，则停止迭代，将所述第一实体识别结果作为所述待识别文本的识别结果。
关于一种嵌套命名实体识别系统的具体限定可以参见上文中对于一种嵌套命名实体识别方法的限定，在此不再赘述。上述一种嵌套命名实体识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图12示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图12所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种嵌套命名实体识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种嵌套命名实体识别方法、系统、计算机设备及存储介质，其嵌套命名实体识别方法通过采用长短期记忆网络LSTM和Word2vec分别对英文文本和中文文本序列进行编码得到对应的文本词向量表示后，使用引入多层感知机的长短期记忆网络LSTM单元对命名实体的边界进行划分给出边界词概率信息，以及将该边界词概率信息融入到文本词向量表示中进行命名实体解码和标注，再结合预设概率阈值判断是否存在嵌套命名实体，当存在时，再使用一维卷积神经网络将相邻嵌套命名实体边界及中间的文本合并得到第二文本词向量表示，再开始新的命名实体识别直至不再得到新的命名实体停止命名实体识别迭代，并将当前得到的命名实体识别结果作为对应文本的最终命名实体识别结果的技术方案。与现有技术相比，该嵌套体命名实体识别方法，能够有效识别中英文自然语言序列中具有特定意义实体的边界，有效缩减了候选实体子序列的数目，进而降低实体识别模型的计算和解码复杂度且有效提高普通命名实体和嵌套命名实体识别的召回率和F1分数，进而提升了模型预测嵌套实体的能力和实用性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种嵌套命名实体识别方法，其特征在于，所述方法包括以下步骤：
获取待识别文本的第一文本词向量表示；所述待识别文本包括中文文本和英文文本；
对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示；
对所述边界文本向量表示进行解码和标注，得到第一实体识别结果；
根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词；
若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示，并对所述第二文本词向量表示进行边界检测，开始下一轮实体识别迭代，反之，则停止迭代，将所述第一实体识别结果作为所述待识别文本的实体识别结果；
其中，所述对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示的步骤包括：
将所述文本词向量表示输入LSTM单元，得到文本词特征向量；所述LSTM单元为长短期记忆网络模型的基本单元；
将所述文本词特征向量输入多层感知机MLP，得到所述边界词概率；所述边界词概率的公式为：
Figure FDA0004203066350000011
式中，
Figure FDA0004203066350000012
为待识别文本中第t个文本词对应的边界词概率；
Figure FDA0004203066350000013
ft为经过2个非线性激活函数求和线性变换后的词向量表示，wi和bi分别为第i个非线性激活函数对应的权重系数和偏置参数；h′t＝LSTM(x′t)，h′t、x′t分别为待识别文本中第t个文本词对应文本词特征向量和第一文本词向量表示；
将所述第一文本词向量表示与对应的所述边界词概率融合，得到所述边界文本向量表示；所述边界文本向量表示的公式为：
Figure FDA0004203066350000021
式中，
Figure FDA0004203066350000022
x′t、/>
Figure FDA0004203066350000023
分别为待识别文本中第t个文本词对应的边界文本向量表示、第一文本词向量表示和边界词概率；w为边界融合权重系数。
2.如权利要求1所述的嵌套命名实体识别方法，其特征在于，所述获取待识别文本的第一文本词向量表示的步骤包括：
当所述待识别文本为中文文本时，采用分词词库得到所述中文文本的文本词语列表，并将所述文本词语列表输入Word2Vec模型，得到所述第一文本词向量表示；
当所述待识别文本为英文文本时，采用双向LSTM网络编码器得到所述英文文本的字符向量表示和单词向量表示，并将所述字符向量表示和单词向量表示拼接，得到所述第一文本词向量表示。
3.如权利要求1所述的嵌套命名实体识别方法，其特征在于，所述对所述边界文本向量表示进行解码和标注，得到第一实体识别结果的步骤包括：
采用条件随机场对所述边界文本向量表示进行解码，并判断解码结果是否为命名实体；
若所述解码结果为所述命名实体，则输出对应的实体类型，反之，则采用BIO标记法将所述边界文本向量表示标注为O类型。
4.如权利要求1所述的嵌套命名实体识别方法，其特征在于，所述根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词的步骤包括：
预先统计所述待识别文本的嵌套命名实体比例，并将所述嵌套命名实体比例作为预设概率阈值；
判断是否存在所述边界词概率大于所述预设概率阈值，若存在，则判定所述边界文本向量表示中存在嵌套命名实体边界词，反之，则判定所述边界文本向量表示中不存在嵌套命名实体边界词。
5.如权利要求1所述的嵌套命名实体识别方法，其特征在于，所述若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示的步骤包括：
采用一维卷积神经网络对相邻所述嵌套命名实体边界词之间的文本进行合并，得到所述第二文本词向量表示。
6.一种嵌套命名实体识别系统，其特征在于，所述系统包括：
预处理模块，用于获取待识别文本的第一文本词向量表示；所述待识别文本包括中文文本和英文文本；
边界检测模块，用于对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示；
实体解码模块，用于对所述边界文本向量表示进行解码和标注，得到第一实体识别结果；
嵌套检测模块，用于根据所述边界词概率和预设概率阈值，判断所述边界文本向量表示中是否存在嵌套命名实体边界词；
结果获取模块，用于若所述边界文本向量表示中存在嵌套命名实体边界词，则将相邻所述嵌套命名实体边界词之间的所述边界文本向量表示进行合并，得到第二文本词向量表示，并对所述第二文本词向量表示进行边界检测，开始下一轮实体识别迭代，反之，则停止迭代，将所述第一实体识别结果作为所述待识别文本的实体识别结果；
其中，所述对所述第一文本词向量表示进行边界检测，得到对应的边界词概率和边界文本向量表示，包括：
将所述文本词向量表示输入LSTM单元，得到文本词特征向量；所述LSTM单元为长短期记忆网络模型的基本单元；
将所述文本词特征向量输入多层感知机MLP，得到所述边界词概率；所述边界词概率的公式为：
Figure FDA0004203066350000041
/>
式中，
Figure FDA0004203066350000042
为待识别文本中第t个文本词对应的边界词概率；/>
Figure FDA0004203066350000043
ft为经过2个非线性激活函数求和线性变换后的词向量表示，wi和bi分别为第i个非线性激活函数对应的权重系数和偏置参数；h′t＝LSTM(x′t)，h′t、x′t分别为待识别文本中第t个文本词对应文本词特征向量和第一文本词向量表示；
将所述第一文本词向量表示与对应的所述边界词概率融合，得到所述边界文本向量表示；所述边界文本向量表示的公式为：
Figure FDA0004203066350000044
式中，
Figure FDA0004203066350000045
x′t、/>
Figure FDA0004203066350000046
分别为待识别文本中第t个文本词对应的边界文本向量表示、第一文本词向量表示和边界词概率；w为边界融合权重系数。
7.如权利要求6所述的嵌套命名实体识别系统，其特征在于，所述边界检测模块由在LSTM单元的输出隐藏层上增加多层感知机MLP得到；所述LSTM单元为长短期记忆网络模型的基本单元。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一所述方法的步骤。
CN202110764616.6A 2021-07-05 2021-07-05 一种嵌套命名实体识别方法、系统、计算机和存储介质 Active CN113688631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110764616.6A CN113688631B (zh) 2021-07-05 2021-07-05 一种嵌套命名实体识别方法、系统、计算机和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110764616.6A CN113688631B (zh) 2021-07-05 2021-07-05 一种嵌套命名实体识别方法、系统、计算机和存储介质

Publications (2)

Publication Number Publication Date
CN113688631A CN113688631A (zh) 2021-11-23
CN113688631B true CN113688631B (zh) 2023-06-09

Family

ID=78576731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110764616.6A Active CN113688631B (zh) 2021-07-05 2021-07-05 一种嵌套命名实体识别方法、系统、计算机和存储介质

Country Status (1)

Country Link
CN (1) CN113688631B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330343B (zh) * 2021-12-13 2023-07-25 广州大学 词性感知嵌套命名实体识别方法、系统、设备和存储介质
CN114118093B (zh) * 2022-01-27 2022-04-15 华东交通大学 一种扁平化标记增强的嵌套命名实体识别方法与系统
CN114722822B (zh) * 2022-03-22 2024-01-19 平安科技（深圳）有限公司 命名实体识别方法、装置、设备和计算机可读存储介质
CN114462414A (zh) * 2022-04-11 2022-05-10 北京微聚未来科技有限公司 基于嵌套命名实体识别技术的个人信用评估方法及系统
CN115034204B (zh) * 2022-05-12 2023-05-23 浙江大学 结构化医学文本的生成方法、计算机设备、存储介质
CN115858791B (zh) * 2023-02-17 2023-09-15 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160032A (zh) * 2019-12-17 2020-05-15 浙江大华技术股份有限公司 一种命名实体提取方法、装置、电子设备及存储介质
CN112487812A (zh) * 2020-10-21 2021-03-12 上海旻浦科技有限公司 一种基于边界识别的嵌套实体识别方法及系统
CN112861533A (zh) * 2019-11-26 2021-05-28 阿里巴巴集团控股有限公司 实体词识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861533A (zh) * 2019-11-26 2021-05-28 阿里巴巴集团控股有限公司 实体词识别方法及装置
CN111160032A (zh) * 2019-12-17 2020-05-15 浙江大华技术股份有限公司 一种命名实体提取方法、装置、电子设备及存储介质
CN112487812A (zh) * 2020-10-21 2021-03-12 上海旻浦科技有限公司 一种基于边界识别的嵌套实体识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Boundary Enhanced Neural Span Classification for Nested Named Entity Recognition;Chuanqi Tan et al.;《The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20)》;第9016-9023页 *
基于多特征双向门控神经网络的 领域专家实体抽取方法;张柯文 等;《南京师大学报( 自然科学版)》;第44卷(第1期);第128-135页 *

Also Published As

Publication number Publication date
CN113688631A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113688631B (zh) 一种嵌套命名实体识别方法、系统、计算机和存储介质
CN112214995B (zh) 用于同义词预测的分层多任务术语嵌入学习
US11348352B2 (en) Contract lifecycle management
Zheng et al. Joint entity and relation extraction based on a hybrid neural network
CN108121700B (zh) 一种关键词提取方法、装置及电子设备
CN110263325B (zh) 中文分词系统
Zhang et al. An emotional classification method of Chinese short comment text based on ELECTRA
Wu et al. Sentiment classification using attention mechanism and bidirectional long short-term memory network
CN114330343B (zh) 词性感知嵌套命名实体识别方法、系统、设备和存储介质
CN112966068A (zh) 基于网页信息的简历识别方法和装置
CN117076653B (zh) 基于思维链及可视化提升上下文学习知识库问答方法
CN113486178B (zh) 文本识别模型训练方法、文本识别方法、装置以及介质
Zhang et al. Joint model of entity recognition and relation extraction based on artificial neural network
Wang et al. Application of an emotional classification model in e-commerce text based on an improved transformer model
WO2023116572A1 (zh) 一种词句生成方法及相关设备
CN116306606A (zh) 一种基于增量学习的金融合同条款提取方法和系统
CN116089605A (zh) 基于迁移学习和改进词袋模型的文本情感分析方法
CN113779994B (zh) 一种要素抽取方法、装置、计算机设备和存储介质
Du et al. Sentiment classification via recurrent convolutional neural networks
CN114398482A (zh) 一种词典构造方法、装置、电子设备及存储介质
Zhu et al. A named entity recognition model based on ensemble learning
Rahman et al. A deep learning framework for non-functional requirement classification
CN115840817A (zh) 基于对比学习的信息聚类处理方法、装置和计算机设备
Lei et al. Incorporating task-oriented representation in text classification
CN112183103A (zh) 融合不同预训练词向量的卷积神经网络实体关系抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant