CN114048749A - 一种适用于多领域的中文命名实体识别方法 - Google Patents

一种适用于多领域的中文命名实体识别方法 Download PDF

Info

Publication number
CN114048749A
CN114048749A CN202111374828.XA CN202111374828A CN114048749A CN 114048749 A CN114048749 A CN 114048749A CN 202111374828 A CN202111374828 A CN 202111374828A CN 114048749 A CN114048749 A CN 114048749A
Authority
CN
China
Prior art keywords
domain
data
representing
features
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111374828.XA
Other languages
English (en)
Other versions
CN114048749B (zh
Inventor
王进
林兴
王猛旗
何晓莲
陈乔松
杜雨露
胡珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yiyin Technology Co ltd
Yami Technology Guangzhou Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202111374828.XA priority Critical patent/CN114048749B/zh
Publication of CN114048749A publication Critical patent/CN114048749A/zh
Application granted granted Critical
Publication of CN114048749B publication Critical patent/CN114048749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于命名实体识别领域，具体涉及一种适用于多领域的中文命名实体识别方法，该方法包括：对中文命名实体数据集进行特定的领域分类；采用样本学习法对领域分类后的数据进行采样，得到数据集，将数据集输入到模型的共享编码表示层；通过域分类器，得到数据的所属领域概率分布，各领域专家层提取领域独有特征，公共专家层根据所属领域概率分布综合各领域专家的特征，将各专家层提取的特征输入到对应的CRF层，得到实体识别结果；本发明将多任务学习技术应用到中文命名实体识别领域中，不同域的数据被单独视为一个训练任务并设计特定的多专家模型结构来提取域独有特征和域共有特征，使不同域之间相互辅助，提升识别效果。

Description

一种适用于多领域的中文命名实体识别方法
技术领域
本发明属于深度学习、迁移学习、自然语言处理、命名实体识别领域，具体涉及一种适用于多领域的中文命名实体识别方法。
背景技术
命名实体识别技术是自然语言处理领域中一项关键的技术，是其他自然语言处理应用的基础，旨在从文本中抽取人们所关注的实体片段，例如人名、机构名、地名等。目前，针对单领域的中文命名实体识别已经取得较好的性能。
随着自然语言处理技术的深入应用，以及社会各行业的发展。文本的种类也越来越多，比如广播对话、电视新闻、网络博客等。在不同的领域所定义的命名实体也不尽相同。然而，目前存在的问题有：单领域命名实体识别需要大量的标注数据，多数领域需要专业人员的标注，标注代价昂贵；当训练集测试集发生域转移时，性能会大幅下降；为了得到可用的效果需要花费大量时间重新训练模型。因此，如何充分利用已有领域数据提高命名实体模型的泛化能力是目前亟待解决的问题。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种适用于多领域的中文命名实体识别方法，该方法包括：获取待识别的实体数据；将待识别的实体数据输入到中文命名实体识别模型中，得到识别的结果，对识别的结果进行标记；
对中文命名实体识别模型进行训练的过程包括：
S1：获取原始中文命名实体数据集，对该数据集中的数据进行领域分类处理；
S2：采用样本学习法对领域分类后的数据进行采样，得到训练集；
S3：将训练集中的数据输入到模型的共享编码表示层，得到输入数据中每个词的向量表示；
S4：将每个词向量表示输入到域分类器中，得到该数据的所属领域的概率分布；
S5：采用领域专家层提取每个词的向量表示的领域独有特征；公共专家层根据概率分布和词向量表示的领域独有特征提取词向量的公有领域特征；
S6：将领域独有特征和公有领域特征分别输入到对应的CRF层，得到实体命名结果；
S7：计算模型的损失函数，将训练集中的数据依次输入到模型中，不断调整模型的参数，当损失函数值最小时完成模型的训练。
优选的，对该数据集中的数据进行领域分类处理的过程包括：根据数据集中的数据来源将各个数据划分到不同的领域中，对每个领域设置命名实体标签空间和数据标签；对于数据集中的中尉数据进行特定的处理，该特定的处理包括删除所有非中文、非英文和非正常标点的特殊符号，将删掉特殊符号的数据过滤停用词和噪声，并根据实体库进行分词处理；采用BIO标注法对数据集中的标签进行编码处理，使得样本中的每一个字符对应一个标签。
优选的，采用共享编码表示层对输入数据进行向量表示的过程包括：共享编码表示层为双向门控循环单元，将该单元作为上下文语义的编码器；将输入数据的样本进行向量表示为X＝(x1，x2，...，xm)，将输入样本输入到编码器中进行编码处理，得到每个词的向量表示。
进一步的，编码器对输入样本向量进行处理的公式为：
zl＝σUzxl+Rzhl-1+bz
rl＝σUrxl+Rrhl-1+br
nl＝tanh Uhxl+Rhrl*hl-1+bh
hl＝zl*hl-1+1-zl*nl
其中，zl表示更新门向量，σ表示激活函数Sigmoid，xl表示第l步输入，rl表示复位门向量，U，R，b分别表示编码器随机初始化的可学习的参数，nl表示新的门向量，tanh表示双曲正切函数，hl表示l时间步的隐藏状态。
优选的，采用域分类器对词向量表示进行处理的过程包括：
S41：将隐藏层向量h输入到多层感知机MLP中提取域分类特征；得到域分类特征的公式为：
C＝MLP(relu(h))
S42：将域分类特征输入到Softmax层中，得到所属领域概率分布Yd，公式为：
Figure BDA0003363498650000031
其中，relu表示分段线性函数，MLP表示多层感知机网络，
Figure BDA0003363498650000032
表示属于第n个领域的概率值，softmax表示归一化函数。
优选的，采用领域专家层提取每个词的向量表示的领域独有特征的公式为：
Fi＝Experti(h)
其中，Fi表示词向量表示的领域独有特征，Experti表示特征抽取网络，即包括但不限于CNN、MLP，h表示隐藏层向量。
优选的，公共专家层根据概率分布和词向量表示的领域独有特征提取词向量的公有领域特征的公式为：
Figure BDA0003363498650000033
其中，Fpublic表示词向量的公有领域特征，n表示已知数据中领域的数量，Fi表示词向量表示的领域独有特征，
Figure BDA0003363498650000034
表示词向量表示所属领域的概率分布。
优选的，将领域独有特征和公有领域特征分别输入到对应的CRF层进行处理的过程包括：
S61：将领域独有特征和公有领域特征输出矩阵当作字符的标签分类概率P，，其中P的大小为m×k，m表示字的个数，k表示标签个数；
S62：根据训练集各领域标签空间中的标签依赖关系学习转移矩阵A，根据转移矩阵得到转移得分；
S63：根据转移得分和标签分类概率计算每条候选预测序列的得分：
Figure BDA0003363498650000041
其中，
Figure BDA0003363498650000042
表示在标签空间中第i个标签到第i+1个标签的转移得分，Pj表示第j个字符的标签分类概率；
S64：使用Viterbi算法对每条候选预测序列的得分进行解码，将分数最大的预测序列作为预测结果。
优选的，模型的损失函数为：
Figure BDA0003363498650000043
其中，n表示已知数据中领域的数量，SDi表示第i个领域的得分，Fi表示词向量表示的领域独有特征，Li表示第i个领域的标签空间，
Figure BDA0003363498650000044
表示公有领域的得分，Fpublic表示词向量的公有领域特征，LAll表示所有领域标签空间之和，CrossEntropy表示交叉熵损失函数，
Figure BDA0003363498650000045
表示所属领域概率分布，Yd表示领域分类的真实标签。
本发明将多任务学习技术应用到中文命名实体识别领域中，不同域的数据被单独视为一个训练任务并设计特定的多专家模型结构来提取域独有特征和域共有特征，使不同域之间相互辅助，提升识别效果。设计域分类器模块使各领域的特征空间对齐。本发明提出的模型具有泛化能力和鲁棒性，对未知领域文本的命名实体识别有一定效果。
附图说明
图1为本发明的命名实体识别方法的流程图；
图2为本发明的命名实体识别模型架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种适用于多领域的中文命名实体识别方法，该方法包括获取待识别的实体数据；将待识别的实体数据输入到中文命名实体识别模型中，得到识别的结果，对识别的结果进行标记。
对中文命名实体识别模型进行训练的过程包括：
S1：获取原始中文命名实体数据集，对该数据集中的数据进行领域分类处理；
S2：采用样本学习法对领域分类后的数据进行采样，得到训练集；
S3：将训练集中的数据输入到模型的共享编码表示层，得到输入数据中每个词的向量表示；
S4：将每个词向量表示输入到域分类器中，得到该数据的所属领域的概率分布；
S5：采用领域专家层提取每个词的向量表示的领域独有特征；公共专家层根据概率分布和词向量表示的领域独有特征提取词向量的公有领域特征；
S6：将领域独有特征和公有领域特征分别输入到对应的CRF层，得到实体命名结果；
S7：计算模型的损失函数，将训练集中的数据依次输入到模型中，不断调整模型的参数，当损失函数值最小时完成模型的训练。
一种适用于多领域的中文命名实体识别方法的具体实施方式，如图1所示，该方法包括：
S1：对中文命名实体数据集进行领域分类；
S2：将不同域数据以N-way K-shot采样构建Batch输入到模型的共享编码表示层；
S3：将S2得到的编码向量输入到域分类器，得到数据的所属领域概率分布；
S4：将S2得到的编码向量输入到各领域专家层提取领域独有特征，公共专家层根据S3输出的所属领域概率分布综合各领域专家的特征；
S5：将各专家层提取的特征输入到对应的CRF层；
S6：模型预测已知领域文本或未知领域文本。
对该数据集中的数据进行领域分类处理的过程包括：根据数据集中的数据来源将各个数据划分到不同的领域中，对每个领域设置命名实体标签空间和数据标签；对于数据集中的中尉数据进行特定的处理，该特定的处理包括删除所有非中文、非英文和非正常标点的特殊符号，将删掉特殊符号的数据过滤停用词和噪声，并根据实体库进行分词处理；采用BIO标注法对数据集中的标签进行编码处理，使得样本中的每一个字符对应一个标签。
整体模型流程图如图2所示，首先需要准备数据集，对已有的中文命名实体数据集进行领域分类，进行数据预处理操作，具体步骤为：
S11：将已有数据集根据其产生来源细分为n不同的领域DAll{D1,D2,...,Dn},不同下标代表不同的领域，如广播对话、电视新闻、网络博客等。在每个数据域Dn中设置有命名实体标签空间Ln和数据标签LAll{L1,L2,...,LN}，常见的命名实体有人名、地点、机构等。
S12：对数据集中的中文数据进行特定的处理，特定的处理包括删掉所有的非中文、非英文、非正常标点的特殊符号；过滤停用词以及噪声；根据已有实体库进行分词。
S13：数据标注：本发明使用BIO标注法将训练数据集的标签进行编码，样本中的每一个字符对应一个标签。用B-X表示实体的开头、I-X表示实体的中间、O表示非实体。
步骤S2将不同域数据以N-way K-shot采样构建Batch输入到模型的共享编码表示层具体为：
S21：为了使所有领域训数据均匀分布在每一个训练Batch中，本发明采取N-wayK-shot方法构建DataLoader。在训练阶段，从n个领域中分别抽取K条训练样本组成训练Batch，在测试阶段，随机抽取组成Batch。
S22：输入共享编码表示层：本例使用双向门控循环单元(Bi-GRU)作为上下文语义的编码器，该模块为公共部分，即所有领域训练数据都需要通过该层，定义输入样本的向量表示为X＝(x1，x2，...，xm)，编码器具体公式为：
zl＝σUzxl+Rzhl-1+bz
rl＝σUrxl+Rrhl-1+br
nl＝tanh Uhxl+Rhrl*hl-1+bh
hl＝zl*hl-1+1-zl*nl
其中，zl表示更新门向量，σ激活函数Sigmoid，xl表示第1步输入，rl表示复位门向量，U，R，b分别表示编码器随机初始化的可学习的参数，nl表示新的门向量，tanh表示双曲正切函数，hl表示1时间步的隐藏状态。
S23：编码层输出每个词的向量表示
Figure BDA0003363498650000071
步骤S3将S2得到的编码向量输入到域分类器，得到数据的所属领域概率分布，具体为：
S31：将S2的得到的隐藏层向量h，输入多层感知机MLP提取域分类特征：
C＝MLP(relu(h))
S32：输入Softmax层，得到所属领域概率分布Yd：
Figure BDA0003363498650000072
其中，relu表示分段线性函数，MLP表示多层感知机网络，
Figure BDA0003363498650000073
表示属于第n个领域的概率值，softmax表示归一化函数。
步骤S4将S2得到的编码向量输入到各领域专家层提取领域独有特征，公共专家层根据S3输出的所属领域概率分布综合各领域专家的特征，具体为：
S41：将S2的得到的隐藏层向量h，输入各领域专家层提取域独有特征Fi：
Fi＝Experti(h)
其中，Fi表示词向量表示的领域独有特征，Experti表示特征抽取网络，包括但不限于CNN、MLP，h表示隐藏层向量。
S42：根据S3的输出
Figure BDA0003363498650000081
综合各领域特征得到公有领域特征Fpublic：
Figure BDA0003363498650000082
其中，Fpublic表示词向量的公有领域特征，n已有数据中的领域数量，Fi表示词向量表示的领域独有特征，
Figure BDA0003363498650000083
表示词向量表示所属领域的概率分布。
将领域独有特征和公有领域特征分别输入到对应的CRF层进行处理的过程包括：
步骤1：将领域独有特征和公有领域特征输出矩阵当作字符的标签分类概率P，其中P的大小为m×k，m表示字的个数，k表示标签个数；
步骤2：根据训练集各领域标签空间中的标签依赖关系学习转移矩阵A，其中A的大小为(k+2)×(k+2)；
步骤3：根据转移得分和标签分类概率计算每条候选预测序列的得分：
Figure BDA0003363498650000084
其中，
Figure BDA0003363498650000085
表示在标签空间中第i个标签到第i+1个标签的转移得分，Pj表示第j个字符的标签分类概率；
步骤4：使用Viterbi算法对每条候选预测序列的得分进行解码，将分数最大的预测序列作为预测结果。
将各专家层提取的特征输入到对应的CRF层得到各个CRF层对应的损失函数的步骤包括：
S51：将S4得到的领域特征分别输入到对应的CRF层中，得到每个域的CRF损失和公共领域的损失，定义每个域预测序列的得分函数为：
Figure BDA0003363498650000086
Figure BDA0003363498650000091
其中，SDn表示第n个领域的得分，Fn表示表示领域n词向量表示的领域独有特征，Ln表示第n个领域的标签空间，m表示样本长度，
Figure BDA0003363498650000092
表示在领域标签空间L中第j个标签到j+1个标签的转移的分，
Figure BDA0003363498650000093
表示第j个字符的标签分类概率，
Figure BDA0003363498650000094
表示公共领域得分，LAll表示所有标签组成的标签空间，Fpublic表示词向量的公有领域特征。
S52：计算整个模型的损失Loss：
Figure BDA0003363498650000095
其中，n表示有n个领域，CrossEntropy表示交叉熵损失函数，
Figure BDA0003363498650000096
表示所属领域概率分布，Yd表示领域分类真实标签。
步骤S6模型预测已知领域文本或未知领域文本具体为：
S61：针对已知领域的文本，直接输入给定领域名称，模型自动通过该领域的专家模块得到预测结果。
S62：针对未知领域的文本，先后通过域分类器，在通过公共域专家层得到最终预测结果。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种适用于多领域的中文命名实体识别方法，其特征在于，包括：获取待识别的实体数据；将待识别的实体数据输入到中文命名实体识别模型中，得到识别的结果，对识别的结果进行标记；
对中文命名实体识别模型进行训练的过程包括：
S1：获取原始中文命名实体数据集，对该数据集中的数据进行领域分类处理；
S2：采用样本学习法对领域分类后的数据进行采样，得到训练集；
S3：将训练集中的数据输入到模型的共享编码表示层，得到输入数据中每个词的向量表示；
S4：将每个词向量表示输入到域分类器中，得到该数据的所属领域的概率分布；
S5：采用领域专家层提取每个词的向量表示的领域独有特征；公共专家层根据概率分布和词向量表示的领域独有特征提取词向量的公有领域特征；
S6：将领域独有特征和公有领域特征分别输入到对应的CRF层，得到实体命名结果；
S7：计算模型的损失函数，将训练集中的数据依次输入到模型中，不断调整模型的参数，当损失函数值最小时完成模型的训练。
2.根据权利要求1所述的一种适用于多领域的中文命名实体识别方法，其特征在于，对该数据集中的数据进行领域分类处理的过程包括：根据数据集中的数据来源将各个数据划分到不同的领域中，对每个领域设置命名实体标签空间和数据标签；对于数据集中的中尉数据进行特定的处理，该特定的处理包括删除所有非中文、非英文和非正常标点的特殊符号，将删掉特殊符号的数据过滤停用词和噪声，并根据实体库进行分词处理；采用BIO标注法对数据集中的标签进行编码处理，使得样本中的每一个字符对应一个标签。
3.根据权利要求1所述的一种适用于多领域的中文命名实体识别方法，其特征在于，采用共享编码表示层对输入数据进行向量表示的过程包括：共享编码表示层为双向门控循环单元，将该单元作为上下文语义的编码器；将输入数据的样本进行向量表示为X＝(x1,x2,...,xm)，将输入样本输入到编码器中进行编码处理，得到每个词的向量表示。
4.根据权利要求3所述的一种适用于多领域的中文命名实体识别方法，其特征在于，编码器对输入样本向量进行处理的公式为：
zl＝σUzxl+Rzhl-1+bz
rl＝σUrxl+Rrhl-1+br
nl＝tanh Uhxl+Rh rl*hl-1+bh
hl=zl*hl-1+1-zl*nl
其中，zl表示更新门向量，σ表示激活函数Sigmoid，xl表示第l步输入，rl表示复位门向量，hl-1表示l-1时间步的隐藏状态，U,R,b分别表示编码器随机初始化的可学习的参数，nl表示新的门向量，tanh表示双曲正切函数，hl表示l时间步的隐藏状态。
5.根据权利要求1所述的一种适用于多领域的中文命名实体识别方法，其特征在于，采用域分类器对词向量表示进行处理的过程包括：
S41：将隐藏层向量h输入到多层感知机MLP中提取域分类特征；得到域分类特征的公式为：
C＝MLP(relu(h))
S42：将域分类特征输入到Softmax层中，得到所属领域概率分布Yd，公式为：
Figure FDA0003363498640000021
其中，relu表示分段线性函数，MLP表示多层感知机网络，
Figure FDA0003363498640000022
表示属于第n个领域的概率值，softmax表示归一化函数。
6.根据权利要求1所述的一种适用于多领域的中文命名实体识别方法，其特征在于，采用领域专家层提取每个词的向量表示的领域独有特征的公式为：
Fi＝Experti(h)
其中，Fi表示词向量表示的领域独有特征，Experti表示特征抽取网络，h表示隐藏层向量。
7.根据权利要求1所述的一种适用于多领域的中文命名实体识别方法，其特征在于，公共专家层根据概率分布和词向量表示的领域独有特征提取词向量的公有领域特征的公式为：
Figure FDA0003363498640000031
其中，Fpublic表示词向量的公有领域特征，n表示已知数据中领域的数量，Fi表示词向量表示的领域独有特征，
Figure FDA0003363498640000032
表示词向量表示所属领域的概率分布。
8.根据权利要求1所述的一种适用于多领域的中文命名实体识别方法，其特征在于，将领域独有特征和公有领域特征分别输入到对应的CRF层进行处理的过程包括：
S61：将领域独有特征和公有领域特征输出矩阵当作字符的标签分类概率P，，其中P的大小为m×k，m表示字的个数，k表示标签个数；
S62：根据训练集各领域标签空间中的标签依赖关系学习转移矩阵A，根据转移矩阵得到转移得分；
S63：根据转移得分和标签分类概率计算每条候选预测序列的得分：
Figure FDA0003363498640000033
其中，
Figure FDA0003363498640000034
表示在标签空间中第i个标签到第i+1个标签的转移得分，Pj表示第j个字符的标签分类概率；
S64：使用Viterbi算法对每条候选预测序列的得分进行解码，将分数最大的预测序列作为预测结果。
9.根据权利要求1所述的一种适用于多领域的中文命名实体识别方法，其特征在于，模型的损失函数为：
Figure FDA0003363498640000041
其中，n表示已知数据中领域的数量，SDi表示第i个领域的得分，Fi表示词向量表示的领域独有特征，Li表示第i个领域的标签空间，
Figure FDA0003363498640000042
表示公有领域的得分，Fpublic表示词向量的公有领域特征，LAll表示所有领域标签空间之和，CrossEntropy表示交叉熵损失函数，
Figure FDA0003363498640000043
表示所属领域概率分布，Yd表示领域分类的真实标签。
CN202111374828.XA 2021-11-19 2021-11-19 一种适用于多领域的中文命名实体识别方法 Active CN114048749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111374828.XA CN114048749B (zh) 2021-11-19 2021-11-19 一种适用于多领域的中文命名实体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111374828.XA CN114048749B (zh) 2021-11-19 2021-11-19 一种适用于多领域的中文命名实体识别方法

Publications (2)

Publication Number Publication Date
CN114048749A true CN114048749A (zh) 2022-02-15
CN114048749B CN114048749B (zh) 2024-02-02

Family

ID=80210117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111374828.XA Active CN114048749B (zh) 2021-11-19 2021-11-19 一种适用于多领域的中文命名实体识别方法

Country Status (1)

Country Link
CN (1) CN114048749B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994537A (zh) * 2023-01-09 2023-04-21 杭州实在智能科技有限公司 用于解决实体重叠与实体嵌套的多任务学习方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
WO2018218705A1 (zh) * 2017-05-27 2018-12-06 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN111209738A (zh) * 2019-12-31 2020-05-29 浙江大学 一种联合文本分类的多任务命名实体识别方法
US20210011974A1 (en) * 2019-07-12 2021-01-14 Adp, Llc Named-entity recognition through sequence of classification using a deep learning neural network
CN113609859A (zh) * 2021-08-04 2021-11-05 浙江工业大学 一种基于预训练模型的特种设备中文命名实体识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018218705A1 (zh) * 2017-05-27 2018-12-06 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
US20210011974A1 (en) * 2019-07-12 2021-01-14 Adp, Llc Named-entity recognition through sequence of classification using a deep learning neural network
CN111209738A (zh) * 2019-12-31 2020-05-29 浙江大学 一种联合文本分类的多任务命名实体识别方法
CN113609859A (zh) * 2021-08-04 2021-11-05 浙江工业大学 一种基于预训练模型的特种设备中文命名实体识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994537A (zh) * 2023-01-09 2023-04-21 杭州实在智能科技有限公司 用于解决实体重叠与实体嵌套的多任务学习方法及系统

Also Published As

Publication number Publication date
CN114048749B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN112084337B (zh) 文本分类模型的训练方法、文本分类方法及设备
CN108984526B (zh) 一种基于深度学习的文档主题向量抽取方法
CN109214003B (zh) 基于多层注意力机制的循环神经网络生成标题的方法
CN114169330B (zh) 融合时序卷积与Transformer编码器的中文命名实体识别方法
CN111291195B (zh) 一种数据处理方法、装置、终端及可读存储介质
CN114757182A (zh) 一种改进训练方式的bert短文本情感分析方法
CN113190656A (zh) 一种基于多标注框架与融合特征的中文命名实体抽取方法
CN114429132B (zh) 一种基于混合格自注意力网络的命名实体识别方法和装置
CN113553510B (zh) 一种文本信息推荐方法、装置及可读介质
CN112446211A (zh) 文本处理装置、方法、设备和计算机可读存储介质
CN110569505A (zh) 一种文本输入方法及装置
CN112232087A (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN113239663B (zh) 一种基于知网的多义词中文实体关系识别方法
Zhang et al. Multifeature named entity recognition in information security based on adversarial learning
CN111368542A (zh) 一种基于递归神经网络的文本语言关联抽取方法和系统
Adi et al. Analysis of sentence embedding models using prediction tasks in natural language processing
Aziguli et al. A robust text classifier based on denoising deep neural network in the analysis of big data
CN116527357A (zh) 一种基于门控Transformer的Web攻击检测方法
CN111400492A (zh) 基于sfm-dcnn的层次特征文本分类方法和系统
CN115203372A (zh) 文本意图分类方法、装置、计算机设备及存储介质
CN114707517A (zh) 一种基于开源数据事件抽取的目标跟踪方法
CN114048749B (zh) 一种适用于多领域的中文命名实体识别方法
CN118262874A (zh) 一种基于知识图谱的中医诊疗模型数据扩充系统及方法
Cui et al. A chinese text classification method based on bert and convolutional neural network
CN118095278A (zh) 一种基于预训练模型的共指消解文档级关系抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240104

Address after: Room 1104, 11th Floor, Building 16, No. 6 Wenhuayuan West Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100000

Applicant after: Beijing Yiyin Technology Co.,Ltd.

Address before: Room 801, No. 85, Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province, 510000

Applicant before: Yami Technology (Guangzhou) Co.,Ltd.

Effective date of registration: 20240104

Address after: Room 801, No. 85, Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province, 510000

Applicant after: Yami Technology (Guangzhou) Co.,Ltd.

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

GR01 Patent grant
GR01 Patent grant