CN108628823A - 结合注意力机制和多任务协同训练的命名实体识别方法 - Google Patents
结合注意力机制和多任务协同训练的命名实体识别方法 Download PDFInfo
- Publication number
- CN108628823A CN108628823A CN201810210591.3A CN201810210591A CN108628823A CN 108628823 A CN108628823 A CN 108628823A CN 201810210591 A CN201810210591 A CN 201810210591A CN 108628823 A CN108628823 A CN 108628823A
- Authority
- CN
- China
- Prior art keywords
- character
- word
- sentence
- vector
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007246 mechanism Effects 0.000 title claims abstract description 19
- 239000013598 vector Substances 0.000 claims abstract description 94
- 238000012512 characterization method Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000000644 propagated effect Effects 0.000 claims description 8
- 238000003058 natural language processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001494479 Pecora Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种结合注意力机制和多任务协同训练的命名实体识别方法,该方法包括如下步骤:(1)对训练数据进行预处理操作,通过字符层级的映射获得句子的字符向量表征;(2)将步骤(1)中获得的字符向量表征输入一个双向LSTM网络,获得每个词语的字符向量表征;(3)通过词语层级的映射,获得每一个句子的词向量表征;(4)通过注意力机制对步骤(3)中获得的词向量表征和步骤(1)中获得的字符向量表征进行拼接,传入双向LSTM神经网络,获得句子的语义特征向量;(5)针对步骤(4)中得到的语义特征向量,利用条件随机场对每个单词进行实体标注,解码出实体标签。
Description
技术领域
本发明涉及神经网络的命名实体识别方法领域,更具体地,涉及一种结合注意力机制和多任务协同训练的命名实体识别方法。
背景技术
命名实体识别(Named Entity Recognition,NER)作为自然语言处理(NLP)领域中一些复杂任务(例如信息提取、问答系统、机器翻译)的基础工作,就是从一段自然语言文本中找出相关实体,并标注出其位置以及类型。作为NLP领域的研究热点,命名实体识别是一个充满挑战性的工作。一方面,人们通常很难获取到大量的有标注数据用于模型训练;另一方面,实体的特征往往是千变万化的,因此,想要获得一个泛化能力较强的模型,往往需要大量的特征工程。
基于规则和词典的方法是命名实体识别中最早使用的方法,这种方法严重依赖于人工规则和词典,其缺点是显而易见的:模型构建周期长、移植性差、难以涵盖所有的语言现象。因此基于传统机器学习方法的模型得以广泛推广,主要包括隐马尔可夫模型(HiddenMarkovMode,HMM)、最大熵(MaxmiumEntropy,ME)、支持向量机(SupportVectorMachine,SVM)、条件随机场(ConditionalRandom Fields,CRF)等。
近年来,随着深度学习在人工智能领域的发展,神经网络结构被广泛运用到命名实体识别的工作中,且取得了不错的效果。尤其是2015年左右,涌现出一系列使用RNN结构并结合传统机器学习中条件随机场(CRF)的方法,由于这类方法继承了深度学习方法的优势,无需特征工程,使用词向量以及字符向量就可以达到很好的效果,成为目前基于深度学习的NER方法中的主流。
现有的基于RNN+CRF模式的方法,归纳起来主要包含Embedding层(主要有词向量,字符向量以及一些额外特征),双向RNN层(通常使用LSTM或者GRU),tanh隐层以及最后的CRF层。其中绝大多数方法通过LSTM或者CNN处理字符向量,获得词语在字符层级上的向量表达,然后直接拼接词向量和字符向量获得词语的向量表达。这些方法虽然考虑到了词语在字符层面上的形态特征,但是拼接方法比较简单粗暴,难以根据训练数据灵活调整字符特征和词语特征之间的权重;另外,没有考虑到具体的训练数据分布对于字符向量权重的影响,仅仅只通过实体识别任务的反向传播来调整字符向量权重,难以学习到字符间的分布规律。
发明内容
本发明提供一种提升识别准确率的结合注意力机制和多任务协同训练的命名实体识别方法。
为了达到上述技术效果,本发明的技术方案如下:
一种结合注意力机制和多任务协同训练的命名实体识别方法,包括以下步骤:
(1)、对训练数据进行预处理操作,通过字符层级的映射获得句子的字符向量表征;
(2)、将步骤(1)中获得的字符向量表征输入一个双向LSTM网络,获得每个词语的字符向量表征;
(3)、通过词语层级的映射,获得每一个句子的词向量表征;
(4)、通过注意力机制对步骤(3)中获得的词向量表征和步骤1中获得的字符向量表征进行拼接,传入双向LSTM神经网络,获得句子的语义特征向量;
(5)、针对步骤(4)中得到的语义特征向量,利用条件随机场对每个单词进行实体标注,解码出实体标签。
进一步地,所述步骤(1)的具体过程为:
(1.1)、对训练数据进行分句、分词操作,将文档处理为句子的集合,将每个句子处理为单个词语的集合,如果训练数据为中文,需要使用jieba分词等自然语言处理工具;
(1.2)、对单词和标签进行统计,得到词汇表W和标签表L,对单词表中的字符进行统计,得到字符表C;
(1.3)、对于由词语xi组成的单个句子s={x1,x2,x3,...,xn},将词语拆解为字符的组合,使用空格作为词与词之间的连接符,最后在句子的的开头和补上一个空格,获得句子的字符表示s={c0,-,c1,0,c1,1,c1,2,...,c1,-,c2,1,c2,2,…,cn,-},
其中ci,-表示空格,记录空格连接符的位置索引p={p0,-,p1,-,p2,-,...,pn,-},如果训练数据为中文,按照在线新华字典提供的汉字部件构造拆解方式,对单字进行拆解;
(1.4)、通过字符层级的Embedding映射获得句子的字符向量表征。令dc为每个字符向量的维度,nc为拆解为字符的句子长度含空格,则获得的句子表达
进一步地,其中步骤(2)的具体过程为:
(2.1)、将步骤(1)中获得的字符向量表征Sc输入双向LSTM网络,以前向传播层为例,令ct为t时刻输入的字符,ht为t时刻的输出,Ct为t时刻的cell state,Wi,Wf,Wc,Uo和bi,bf,bc,bo分别为四个门函数的权重和偏置参数,σ为sigmoid函数;
(2.2)、在t时刻计算forget gate、input gate、cell gate、out gate,计算公式如下所示:
(2.3)在t时刻更新cell state的值:
(2.4)计算t时刻的输出:同理可得到任意时刻的输出和后向传播层的输出将两个输出进行拼接获得双向LSTM的隐藏层输出
(2.5)、按照之前记录的空格连接符的位置索引信息,选出前向传播层的n个输出和后向传播层的n个输出将其级联起来作为单个词语的字符向量表达;
(2.6)、除了提取词语的字符向量,这一层双向LSTM同时承担训练语言模型的任务,采样空格位置在前向传播层上的输出和后向传播层上的输出级联,则i时刻的模型输出将输入的词语xi(i∈1,2,...,n)作为标签,令为对应于xi的模型参数,则i时刻输出为xi的条件概率
(2.7)、定义语言模型部分的损失函数:
进一步地,其中步骤(3)的具体过程为:
(3.1)、初始化预训练词向量为映射矩阵;
(3.2)、令dw为每个字符向量的维度,n为拆解为词语的句子长度,通过词语层级的Embedding映射,获得的句子的词向量表征
进一步地,其中步骤(4)的具体过程为:
(4.1)、令和分别表示t时刻输入的词向量表征和字符向量表征;
(4.2)、令为构造注意力函数的参数,σ为sigmoid函数,对a中的xt和mt实现加权拼接,获得每个词语的语义特征计算公式如下:
(4.3)将b中得到的特征向量输入一个双向LSTM网络,同理可以得到隐藏层输出H={h1,h2,h3,h4...,hn}(n为输入的句子包含词语的个数)即为句子的句子的语义特征向量。
进一步地,其中步骤(5)的具体过程为:
(5.1)、对于步骤(4)中得到的输出序列H={h1,h2,h3,h4...,hn},我们将其作为CRF层的输入,令y={y1,y2,y3,y4...,yn}表示CRF层可能的输出标签,YH表示所有可能输出标签的集合,P和A分别表示CRF层的概率发射矩阵和概率转移矩阵,则对于给定的H,所有可能的输出标签序列的条件可以通过如下公式计算:
(5.2)、在训练阶段,取p(y|H)的负对数作为实体识别部分的损失函数,即
令λ为自定义参数,定义整体的损失函数
Lmodel=Lcrf+λ·Llanguage_model;
(5.3)在测试阶段,通过下面的公式从所有可能的标签序列中找出条件概率最高的对序列进行标注:
与现有技术相比,本发明技术方案的有益效果是:
本发明利用一个共享的双向LSTM层,同时进行无监督语言模型训练和提取字符向量的工作,在学习字符之间分布规律的同时,通过注意力机制提取出对NER标注任务有用的信息,能够提升NER任务的准确率,同时训练出更有效的字符向量。
附图说明
图1为结合注意力机制和多任务协同训练的命名实体识别方法的模型图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行进一步阐述。本发明是一种基于神经网络的Bi-LSTM+CRF模型的变体,主要是结合了注意力机制和多任务协同训练的方法,将字符向量和词向量进行加权组合,以达到更好的识别效果。如图1所示,每个词语的字符特征向量由一个任务共享的双向LSTM神经网络生成,字符特征向量与预训练的词向量经过注意力函数加权组合(图1中attention部分),得到的结果输入到上层LSTM网络中生成完整的特征向量,然后经由CRF层生成识别结果。在整个网络的不同层之间都加入了dropout layer以防止神经网络过拟合。
本发明的具体步骤(1)~(5)如下:
(1)对训练数据进行预处理操作,通过字符层级的映射获得句子的字符向量表征。
(1.1)对训练数据进行分句、分词操作,将文档处理为句子的集合,将每个句子处理为单个词语的集合,如果训练数据为中文,需要使用jieba分词等自然语言处理工具;
(1.2)对单词和标签进行统计,得到词汇表W和标签表L,对单词表中的字符进行统计,得到字符表C;
(1.3)对于由词语xi组成的单个句子s={x1,x2,x3,...,xn},将词语拆解为字符的组合,使用空格作为词与词之间的连接符,最后在句子的的开头和补上一个空格,获得句子的字符表示s={c0,-,c1,0,c1,1,c1,2,...,c1,-,c2,1,c2,2,...,cn,-}(ci,-表示空格),记录空格连接符的位置索引p={p0,-,p1,-,p2,-,...,pn,-}。如果训练数据为中文,按照在线新华字典(http://tool.httpcn.com/Zi/)提供的汉字部件构造拆解方式,对单字进行拆解。
(1.4)通过字符层级的Embedding映射获得句子的字符向量表征。令dc为每个字符向量的维度,nc为拆解为字符的句子长度(含空格),则获得的句子表达
(2)将步骤1.4中获得的字符向量表征输入一个双向LSTM网络,获得每个词语的字符向量表征。
(2.1)将步骤1.4中获得的字符向量表征Sc输入双向LSTM网络,以前向传播层为例,令ct为t时刻输入的字符,ht为t时刻的输出,Ct为t时刻的cell state,Wi,Wf,Wc,Uo和bi,bf,bc,bo分别为四个门函数的权重和偏置参数,σ为sigmoid函数。
(2.2)在t时刻计算forget gate、input gate、cell gate、out gate,计算公式如下所示:
(2.3)在t时刻更新cell state的值:
(2.4)计算t时刻的输出:同理可得到任意时刻的输出和后向传播层的输出将两个输出进行拼接获得双向LSTM的隐藏层输出
(2.5)按照之前记录的空格连接符的位置索引信息,选出前向传播层的n个输出和后向传播层的n个输出将其级联起来作为单个词语的字符向量表达;
(2.6)除了提取词语的字符向量,这一层双向LSTM同时承担训练语言模型的任务,采样空格位置在前向传播层上的输出和后向传播层上的输出级联,则i时刻的模型输出将输入的词语xi(i∈1,2,...,n)作为标签,令为对应于xi的模型参数,则i时刻输出为xi的条件概率
(2.7)定义语言模型部分的损失函数:
(3)通过词语层级的映射,获得每一个句子的词向量表征。
(3.1)初始化预训练词向量为映射矩阵;
(3.2)令dw为每个字符向量的维度,n为拆解为词语的句子长度,通过词语层级的Embedding映射,获得的句子的词向量表征
(4)通过注意力机制对步骤3中获得的词向量表征和步骤1中获得的字符向量表征进行拼接,传入到双向LSTM神经网络,获得句子的语义特征向量。
(4.1)令和分别表示t时刻输入的词向量表征(步骤3.2获得)和字符向量表征(步骤2.5获得)
(4.2)令为构造注意力函数的参数,σ为sigmoid函数,对4.1中的xt和mt实现加权拼接,获得每个词语的语义特征计算公式如下:
(4.3)将上一步中得到的特征向量输入一个双向LSTM网络,同理可以得到隐藏层输出H={h1,h2,h3,h4...,hn}(n为输入的句子包含词语的个数)即为句子的句子的语义特征向量。
(5)针对步骤4.3中得到的语义特征向量,利用条件随机场对每个单词进行实体标注,解码出实体标签。
(5.1)对于步骤4.3中得到的输出序列H={h1,h2,h3,h4...,hn},我们将其作为CRF层的输入,令y={y1,y2,y3,y4...,yn}表示CRF层可能的输出标签,YH表示所有可能输出标签的集合,P和A分别表示CRF层的概率发射矩阵和概率转移矩阵,则对于给定的H,所有可能的输出标签序列的条件可以通过如下公式计算:
(5.2)在训练阶段,取p(y|H)的负对数作为实体识别部分的损失函数,即
令λ为自定义参数,定义整体的损失函数
Lmodel=Lcrf+λ·Llanguage_model
(5.3)在测试阶段,通过下面的公式从所有可能的标签序列中找出条件概率最高的对序列进行标注:
实施例
以CONLL2003数据为例,将上述方法应用于文中进行文本命名识别,个不会走中具体参数和做法如下:
1.对训练数据进行分句、分词操作,将文档处理为句子的集合,将每个句子处理为单个词语的集合,将每个词语处理为单个字符的集合,如果训练数据为中文,需要使用jieba分词等自然语言处理工具;
2.对单词和标签进行统计,得到词汇表W和标签表L,对单词表中的字符进行统计,得到字符表C;训练数据标签含有“PER(人名)”,“LOC(地名)”,“ORG(组织)”,“MISC(杂项)”四类,训练文档共有14987个句子,4915个单词(以<unk>替换低频率词后的结果);
3.对于由词语xi组成的单个句子s={x1,x2,x3,...,xn},将词语拆解为字符的组合,使用空格作为词与词之间的连接符,最后在句子的的开头和补上一个空格,获得句子的字符表示s={c0,-,c1,0,c1,1,c1,2,...,c1,-,c2,1,c2,2,...,cn,-}(ci,-表示空格),记录空格连接符的位置索引p={p0,-,p1,-,p2,-,...,pn,-}。特别的,如果训练数据为中文,按照在线新华字典(http://tool.httpcn.com/Zi/)提供的汉字部件构造拆解方式,对单字进行拆解。中英文拆解示例如下:
训练语句1(中文):迎着朝阳奔跑。
词拆解:(空格)/迎着/朝阳/奔跑/。/(空格)
字符拆解:(空格)/卬辶口羊目/(空格)/十日十月阝日/(空格)/大十廾足勹巳/。/(空格)
训练语句2(英文):Run against the sun.
词拆解:Run/against/the/sun.
字符拆解:(space)/R/u/n/(space)/a/g/a/i/n/s/t/(space)/t/h/e/s/u/n/(space)/./(space)
4.通过字符层级的Embedding映射获得句子的字符向量表征。令dc为每个字符向量的维度,nc为拆解为字符的句子长度(含空格),则获得的句子表达
5.将步骤4中获得的字符向量表征Sc输入双向LSTM网络,得到输出
6.按照之前记录的空格连接符的位置索引信息,选出前向传播层的n个输出和后向传播层的n个输出将其级联起来作为单个词语的字符向量表达;
7.采样空格位置在前向传播层上的输出和后向传播层上的输出并进行级联,令为对应于xi的模型参数,定义语言模型部分的损失函数:
8.初始化预训练词向量Glove 100维向量,为映射矩阵,令dw为每个字符向量的维度,n为拆解为词语的句子长度,通过词语层级的Embedding映射,获得的句子的词向量表征
9.令和分别表示t时刻输入的词向量表征(8获得)和字符向量表征(6获得);
10.令为构造注意力函数的参数,σ为sigmoid函数,对(1)中的xt和mt实现加权拼接,获得每个词语的语义特征计算公式如下:
11.将上一步中得到的特征向量输入上层的双向LSTM网络,得到句子的语义特征向量H={h1,h2,h3,h4...,hn};
12.将11中得到的H输入CRF层的,对于给定的标签序列y={y1,y2,y3,y4...,yn}通过如下公式计算损失函数:
13.令λ为自定义参数,定义整体的损失函数
Lmodel=Lcrf+λ·Llanguage_model
使用反向传播算法对模型参数进行更新,训练过程中取batchsize=10,动量参数为0.9,dropout rate取0.5,采用SGD算法对参数进行迭代更新;
14.在测试阶段,通过下面的公式从所有可能的标签序列中找出条件概率最高的对序列进行标注,实际操作中,使用Viterbi算法进行解码操作;
15.测试结果:经过74次迭代后,在验证集上取得的最好结果dev_F1=0.9517,dev_acc=0.9884,在测试集上取得的最好结果test_F1:0.9193,test_acc:0.9797。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (6)
1.一种结合注意力机制和多任务协同训练的命名实体识别方法,其特征在于,包括以下步骤:
(1)、对训练数据进行预处理操作,通过字符层级的映射获得句子的字符向量表征;
(2)、将步骤(1)中获得的字符向量表征输入一个双向LSTM网络,获得每个词语的字符向量表征;
(3)、通过词语层级的映射,获得每一个句子的词向量表征;
(4)、通过注意力机制对步骤(3)中获得的词向量表征和步骤1中获得的字符向量表征进行拼接,传入双向LSTM神经网络,获得句子的语义特征向量;
(5)、针对步骤(4)中得到的语义特征向量,利用条件随机场对每个单词进行实体标注,解码出实体标签。
2.根据权利要求1所述的结合注意力机制和多任务协同训练的命名实体识别方法,其特征在于,所述步骤(1)的具体过程为:
(1.1)、对训练数据进行分句、分词操作,将文档处理为句子的集合,将每个句子处理为单个词语的集合,如果训练数据为中文,需要使用jieba分词等自然语言处理工具;
(1.2)、对单词和标签进行统计,得到词汇表W和标签表L,对单词表中的字符进行统计,得到字符表C;
(1.3)、对于由词语xi组成的单个句子s={x1,x2,x3,...,xn},将词语拆解为字符的组合,使用空格作为词与词之间的连接符,最后在句子的的开头和补上一个空格,获得句子的字符表示s={c0,-,c1,0,c1,1,c1,2,...,c1,-,c2,1,c2,2,...,cn,-},其中ci,-表示空格,记录空格连接符的位置索引p={p0,-,p1,-,p2,-,...,pn,-},如果训练数据为中文,按照在线新华字典提供的汉字部件构造拆解方式,对单字进行拆解;
(1.4)、通过字符层级的Embedding映射获得句子的字符向量表征。令dc为每个字符向量的维度,nc为拆解为字符的句子长度含空格,则获得的句子表达
3.根据权利要求2所述的结合注意力机制和多任务协同训练的命名实体识别方法,其特征在于,其中步骤(2)的具体过程为:
(2.1)、将步骤(1)中获得的字符向量表征Sc输入双向LSTM网络,以前向传播层为例,令ct为t时刻输入的字符,ht为t时刻的输出,Ct为t时刻的cell state,Wi,Wf,Wc,Uo和bi,bf,bc,bo分别为四个门函数的权重和偏置参数,σ为sigmoid函数;
(2.2)、在t时刻计算forget gate、input gate、cell gate、out gate,计算公式如下所示:
(2.3)在t时刻更新cell state的值:
(2.4)计算t时刻的输出:同理可得到任意时刻的输出和后向传播层的输出将两个输出进行拼接获得双向LSTM的隐藏层输出
(2.5)、按照之前记录的空格连接符的位置索引信息,选出前向传播层的n个输出和后向传播层的n个输出将其级联起来作为单个词语的字符向量表达;
(2.6)、除了提取词语的字符向量,这一层双向LSTM同时承担训练语言模型的任务,采样空格位置在前向传播层上的输出和后向传播层上的输出级联,则i时刻的模型输出将输入的词语xi(i∈1,2,...,n)作为标签,令为对应于xi的模型参数,则i时刻输出为xi的条件概率
(2.7)、定义语言模型部分的损失函数:
4.根据权利要求3所述的结合注意力机制和多任务协同训练的命名实体识别方法,其特征在于,其中步骤(3)的具体过程为:
(3.1)、初始化预训练词向量为映射矩阵;
(3.2)、令dw为每个字符向量的维度,n为拆解为词语的句子长度,通过词语层级的Embedding映射,获得的句子的词向量表征
5.根据权利要求4所述的结合注意力机制和多任务协同训练的命名实体识别方法,其特征在于,其中步骤(4)的具体过程为:
(4.1)、令和分别表示t时刻输入的词向量表征和字符向量表征;
(4.2)、令为构造注意力函数的参数,σ为sigmoid函数,对a中的xt和mt实现加权拼接,获得每个词语的语义特征计算公式如下:
(4.3)将b中得到的特征向量输入一个双向LSTM网络,同理可以得到隐藏层输出H={h1,h2,h3,h4...,hn}(n为输入的句子包含词语的个数)即为句子的句子的语义特征向量。
6.根据权利要求5所述的结合注意力机制和多任务协同训练的命名实体识别方法,其特征在于,其中步骤(5)的具体过程为:
(5.1)、对于步骤(4)中得到的输出序列H={h1,h2,h3,h4...,hn},我们将其作为CRF层的输入,令y={y1,y2,y3,y4...,yn}表示CRF层可能的输出标签,YH表示所有可能输出标签的集合,P和A分别表示CRF层的概率发射矩阵和概率转移矩阵,则对于给定的H,所有可能的输出标签序列的条件可以通过如下公式计算:
(5.2)、在训练阶段,取p(y|H)的负对数作为实体识别部分的损失函数,即
令λ为自定义参数,定义整体的损失函数
Lmodel=Lcrf+λ·Llanguage_model;
(5.3)在测试阶段,通过下面的公式从所有可能的标签序列中找出条件概率最高的对序列进行标注:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810210591.3A CN108628823B (zh) | 2018-03-14 | 2018-03-14 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810210591.3A CN108628823B (zh) | 2018-03-14 | 2018-03-14 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108628823A true CN108628823A (zh) | 2018-10-09 |
CN108628823B CN108628823B (zh) | 2022-07-01 |
Family
ID=63706193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810210591.3A Active CN108628823B (zh) | 2018-03-14 | 2018-03-14 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108628823B (zh) |
Cited By (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109284400A (zh) * | 2018-11-28 | 2019-01-29 | 电子科技大学 | 一种基于Lattice LSTM和语言模型的命名实体识别方法 |
CN109635917A (zh) * | 2018-10-17 | 2019-04-16 | 北京大学 | 一种多智能体合作决策及训练方法 |
CN109657239A (zh) * | 2018-12-12 | 2019-04-19 | 电子科技大学 | 基于注意力机制和语言模型学习的中文命名实体识别方法 |
CN109684449A (zh) * | 2018-12-20 | 2019-04-26 | 电子科技大学 | 一种基于注意力机制的自然语言语义表征方法 |
CN109697285A (zh) * | 2018-12-13 | 2019-04-30 | 中南大学 | 增强语义表示的层次BiLSTM中文电子病历疾病编码标注方法 |
CN109783812A (zh) * | 2018-12-28 | 2019-05-21 | 中国科学院自动化研究所 | 基于自注意力机制的中文命名实体识别方法及装置 |
CN109858041A (zh) * | 2019-03-07 | 2019-06-07 | 北京百分点信息科技有限公司 | 一种半监督学习结合自定义词典的命名实体识别方法 |
CN109871545A (zh) * | 2019-04-22 | 2019-06-11 | 京东方科技集团股份有限公司 | 命名实体识别方法及装置 |
CN109885827A (zh) * | 2019-01-08 | 2019-06-14 | 北京捷通华声科技股份有限公司 | 一种基于深度学习的命名实体的识别方法和系统 |
CN109902309A (zh) * | 2018-12-17 | 2019-06-18 | 北京百度网讯科技有限公司 | 翻译方法、装置、设备和存储介质 |
CN109933801A (zh) * | 2019-03-25 | 2019-06-25 | 北京理工大学 | 基于预测位置注意力的双向lstm命名实体识别方法 |
CN109992773A (zh) * | 2019-03-20 | 2019-07-09 | 华南理工大学 | 基于多任务学习的词向量训练方法、系统、设备及介质 |
CN110096713A (zh) * | 2019-03-21 | 2019-08-06 | 昆明理工大学 | 一种基于SVM-BiLSTM-CRF的老挝语机构名称识别方法 |
CN110135427A (zh) * | 2019-04-11 | 2019-08-16 | 北京百度网讯科技有限公司 | 用于识别图像中的字符的方法、装置、设备和介质 |
CN110134954A (zh) * | 2019-05-06 | 2019-08-16 | 北京工业大学 | 一种基于Attention机制的命名实体识别方法 |
CN110162772A (zh) * | 2018-12-13 | 2019-08-23 | 北京三快在线科技有限公司 | 命名实体识别方法及装置 |
CN110162749A (zh) * | 2018-10-22 | 2019-08-23 | 哈尔滨工业大学(深圳) | 信息提取方法、装置、计算机设备及计算机可读存储介质 |
CN110196967A (zh) * | 2019-06-05 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 基于深度转换架构的序列标注方法和装置 |
CN110472238A (zh) * | 2019-07-25 | 2019-11-19 | 昆明理工大学 | 基于层级交互注意力的文本摘要方法 |
CN110633470A (zh) * | 2019-09-17 | 2019-12-31 | 北京小米智能科技有限公司 | 命名实体识别方法、装置及存储介质 |
CN110674303A (zh) * | 2019-09-30 | 2020-01-10 | 北京明略软件系统有限公司 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
CN110738319A (zh) * | 2019-11-11 | 2020-01-31 | 四川隧唐科技股份有限公司 | 一种基于crf识别中标单位的lstm模型单元训练方法及装置 |
CN110750992A (zh) * | 2019-10-09 | 2020-02-04 | 吉林大学 | 命名实体识别方法、装置、电子设备及介质 |
CN110781305A (zh) * | 2019-10-30 | 2020-02-11 | 北京小米智能科技有限公司 | 基于分类模型的文本分类方法及装置,以及模型训练方法 |
CN110852103A (zh) * | 2019-10-28 | 2020-02-28 | 青岛聚好联科技有限公司 | 一种命名实体识别方法及装置 |
CN110956041A (zh) * | 2019-11-27 | 2020-04-03 | 重庆邮电大学 | 一种基于深度学习的并购重组公告摘要方法 |
CN111079418A (zh) * | 2019-11-06 | 2020-04-28 | 科大讯飞股份有限公司 | 命名体识别方法、装置、电子设备和存储介质 |
CN111091004A (zh) * | 2019-12-18 | 2020-05-01 | 上海风秩科技有限公司 | 一种语句实体标注模型的训练方法、训练装置及电子设备 |
CN111126069A (zh) * | 2019-12-30 | 2020-05-08 | 华南理工大学 | 一种基于视觉对象引导的社交媒体短文本命名实体识别方法 |
CN111144111A (zh) * | 2019-12-30 | 2020-05-12 | 北京世纪好未来教育科技有限公司 | 翻译方法、装置、设备及存储介质 |
CN111160467A (zh) * | 2019-05-31 | 2020-05-15 | 北京理工大学 | 一种基于条件随机场和内部语义注意力的图像描述方法 |
CN111310468A (zh) * | 2020-01-15 | 2020-06-19 | 同济大学 | 一种利用不确定分词信息实现中文命名实体识别方法 |
CN111310471A (zh) * | 2020-01-19 | 2020-06-19 | 陕西师范大学 | 一种基于bblc模型的旅游命名实体识别方法 |
CN111368545A (zh) * | 2020-02-28 | 2020-07-03 | 北京明略软件系统有限公司 | 一种基于多任务学习的命名实体识别方法和装置 |
CN111382569A (zh) * | 2018-12-27 | 2020-07-07 | 深圳市优必选科技有限公司 | 对话语料中实体的识别方法、装置和计算机设备 |
CN111435411A (zh) * | 2019-01-15 | 2020-07-21 | 菜鸟智能物流控股有限公司 | 命名体类型识别方法和装置以及电子设备 |
CN111435408A (zh) * | 2018-12-26 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 对话纠错方法、装置和电子设备 |
CN111444719A (zh) * | 2020-03-17 | 2020-07-24 | 车智互联(北京)科技有限公司 | 一种实体识别方法、装置和计算设备 |
CN111444726A (zh) * | 2020-03-27 | 2020-07-24 | 河海大学常州校区 | 基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置 |
CN111611789A (zh) * | 2019-02-25 | 2020-09-01 | 北京嘀嘀无限科技发展有限公司 | 语句表示方法、表示模型训练方法及装置 |
CN111858933A (zh) * | 2020-07-10 | 2020-10-30 | 暨南大学 | 基于字符的层次化文本情感分析方法及系统 |
CN111859964A (zh) * | 2019-04-29 | 2020-10-30 | 普天信息技术有限公司 | 一种语句中命名实体的识别方法及装置 |
CN111967265A (zh) * | 2020-08-31 | 2020-11-20 | 广东工业大学 | 一种数据集自动生成的中文分词与实体识别联合学习方法 |
CN112307764A (zh) * | 2019-07-30 | 2021-02-02 | 百度(美国)有限责任公司 | 用于神经命名实体识别的共指感知表示学习 |
CN112395882A (zh) * | 2020-12-07 | 2021-02-23 | 震坤行网络技术(南京)有限公司 | 用于命名实体识别的方法、电子设备和存储介质 |
CN112541364A (zh) * | 2020-12-03 | 2021-03-23 | 昆明理工大学 | 融合多层次语言特征知识的汉越神经机器翻译的方法 |
CN112711948A (zh) * | 2020-12-22 | 2021-04-27 | 北京邮电大学 | 一种中文句子的命名实体识别方法及装置 |
CN112800756A (zh) * | 2020-11-25 | 2021-05-14 | 重庆邮电大学 | 一种基于prado的实体识别方法 |
CN112949320A (zh) * | 2021-03-30 | 2021-06-11 | 平安科技(深圳)有限公司 | 基于条件随机场的序列标注方法、装置、设备及介质 |
CN113051931A (zh) * | 2021-04-02 | 2021-06-29 | 中山大学 | 一种基于语义-情感双重关注的细粒度文本情感转换模型 |
CN113221539A (zh) * | 2021-07-08 | 2021-08-06 | 华东交通大学 | 一种集成句法信息的嵌套命名实体识别方法与系统 |
CN113239694A (zh) * | 2021-06-04 | 2021-08-10 | 北京理工大学 | 一种基于论元短语的论元角色识别的方法 |
CN113609857A (zh) * | 2021-07-22 | 2021-11-05 | 武汉工程大学 | 基于级联模型和数据增强的法律命名实体识别方法及系统 |
CN113962223A (zh) * | 2021-09-30 | 2022-01-21 | 西安交通大学 | 基于表示学习命名实体识别方法、系统、设备和存储介质 |
CN114417873A (zh) * | 2022-01-17 | 2022-04-29 | 软通动力信息技术(集团)股份有限公司 | 一种少样本实体识别方法、装置、介质及设备 |
CN114818721A (zh) * | 2022-06-30 | 2022-07-29 | 湖南工商大学 | 一种结合序列标注的事件联合抽取模型与方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978587A (zh) * | 2015-07-13 | 2015-10-14 | 北京工业大学 | 一种基于文档类型的实体识别合作学习算法 |
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
CN106980608A (zh) * | 2017-03-16 | 2017-07-25 | 四川大学 | 一种中文电子病历分词和命名实体识别方法及系统 |
CN107168957A (zh) * | 2017-06-12 | 2017-09-15 | 云南大学 | 一种中文分词方法 |
CN107239446A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络与注意力机制的情报关系提取方法 |
US20170357720A1 (en) * | 2016-06-10 | 2017-12-14 | Disney Enterprises, Inc. | Joint heterogeneous language-vision embeddings for video tagging and search |
CN107748757A (zh) * | 2017-09-21 | 2018-03-02 | 北京航空航天大学 | 一种基于知识图谱的问答方法 |
CN107797992A (zh) * | 2017-11-10 | 2018-03-13 | 北京百分点信息科技有限公司 | 命名实体识别方法及装置 |
-
2018
- 2018-03-14 CN CN201810210591.3A patent/CN108628823B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978587A (zh) * | 2015-07-13 | 2015-10-14 | 北京工业大学 | 一种基于文档类型的实体识别合作学习算法 |
US20170357720A1 (en) * | 2016-06-10 | 2017-12-14 | Disney Enterprises, Inc. | Joint heterogeneous language-vision embeddings for video tagging and search |
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
CN106980608A (zh) * | 2017-03-16 | 2017-07-25 | 四川大学 | 一种中文电子病历分词和命名实体识别方法及系统 |
CN107239446A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络与注意力机制的情报关系提取方法 |
CN107168957A (zh) * | 2017-06-12 | 2017-09-15 | 云南大学 | 一种中文分词方法 |
CN107748757A (zh) * | 2017-09-21 | 2018-03-02 | 北京航空航天大学 | 一种基于知识图谱的问答方法 |
CN107797992A (zh) * | 2017-11-10 | 2018-03-13 | 北京百分点信息科技有限公司 | 命名实体识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
GUL KHAN SAFI QAMAS 等: "基于深度神经网络的命名实体识别方法研究", 《技术研究》 * |
Cited By (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635917B (zh) * | 2018-10-17 | 2020-08-25 | 北京大学 | 一种多智能体合作决策及训练方法 |
CN109635917A (zh) * | 2018-10-17 | 2019-04-16 | 北京大学 | 一种多智能体合作决策及训练方法 |
US11461654B2 (en) | 2018-10-17 | 2022-10-04 | Peking University | Multi-agent cooperation decision-making and training method |
CN110162749A (zh) * | 2018-10-22 | 2019-08-23 | 哈尔滨工业大学(深圳) | 信息提取方法、装置、计算机设备及计算机可读存储介质 |
CN109284400A (zh) * | 2018-11-28 | 2019-01-29 | 电子科技大学 | 一种基于Lattice LSTM和语言模型的命名实体识别方法 |
CN109284400B (zh) * | 2018-11-28 | 2020-10-23 | 电子科技大学 | 一种基于Lattice LSTM和语言模型的命名实体识别方法 |
CN109657239A (zh) * | 2018-12-12 | 2019-04-19 | 电子科技大学 | 基于注意力机制和语言模型学习的中文命名实体识别方法 |
CN109657239B (zh) * | 2018-12-12 | 2020-04-21 | 电子科技大学 | 基于注意力机制和语言模型学习的中文命名实体识别方法 |
CN110162772A (zh) * | 2018-12-13 | 2019-08-23 | 北京三快在线科技有限公司 | 命名实体识别方法及装置 |
CN109697285A (zh) * | 2018-12-13 | 2019-04-30 | 中南大学 | 增强语义表示的层次BiLSTM中文电子病历疾病编码标注方法 |
CN110162772B (zh) * | 2018-12-13 | 2020-06-26 | 北京三快在线科技有限公司 | 命名实体识别方法及装置 |
CN109902309A (zh) * | 2018-12-17 | 2019-06-18 | 北京百度网讯科技有限公司 | 翻译方法、装置、设备和存储介质 |
CN109902309B (zh) * | 2018-12-17 | 2023-06-02 | 北京百度网讯科技有限公司 | 翻译方法、装置、设备和存储介质 |
CN109684449A (zh) * | 2018-12-20 | 2019-04-26 | 电子科技大学 | 一种基于注意力机制的自然语言语义表征方法 |
CN109684449B (zh) * | 2018-12-20 | 2021-12-10 | 电子科技大学 | 一种基于注意力机制的自然语言语义表征方法 |
CN111435408A (zh) * | 2018-12-26 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 对话纠错方法、装置和电子设备 |
CN111435408B (zh) * | 2018-12-26 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 对话纠错方法、装置和电子设备 |
CN111382569A (zh) * | 2018-12-27 | 2020-07-07 | 深圳市优必选科技有限公司 | 对话语料中实体的识别方法、装置和计算机设备 |
CN111382569B (zh) * | 2018-12-27 | 2024-05-03 | 深圳市优必选科技有限公司 | 对话语料中实体的识别方法、装置和计算机设备 |
CN109783812A (zh) * | 2018-12-28 | 2019-05-21 | 中国科学院自动化研究所 | 基于自注意力机制的中文命名实体识别方法及装置 |
CN109885827B (zh) * | 2019-01-08 | 2023-10-27 | 北京捷通华声科技股份有限公司 | 一种基于深度学习的命名实体的识别方法和系统 |
CN109885827A (zh) * | 2019-01-08 | 2019-06-14 | 北京捷通华声科技股份有限公司 | 一种基于深度学习的命名实体的识别方法和系统 |
CN111435411A (zh) * | 2019-01-15 | 2020-07-21 | 菜鸟智能物流控股有限公司 | 命名体类型识别方法和装置以及电子设备 |
CN111611789B (zh) * | 2019-02-25 | 2024-06-07 | 北京嘀嘀无限科技发展有限公司 | 语句表示方法、表示模型训练方法及装置 |
CN111611789A (zh) * | 2019-02-25 | 2020-09-01 | 北京嘀嘀无限科技发展有限公司 | 语句表示方法、表示模型训练方法及装置 |
CN109858041B (zh) * | 2019-03-07 | 2023-02-17 | 北京百分点科技集团股份有限公司 | 一种半监督学习结合自定义词典的命名实体识别方法 |
CN109858041A (zh) * | 2019-03-07 | 2019-06-07 | 北京百分点信息科技有限公司 | 一种半监督学习结合自定义词典的命名实体识别方法 |
CN109992773B (zh) * | 2019-03-20 | 2020-10-27 | 华南理工大学 | 基于多任务学习的词向量训练方法、系统、设备及介质 |
CN109992773A (zh) * | 2019-03-20 | 2019-07-09 | 华南理工大学 | 基于多任务学习的词向量训练方法、系统、设备及介质 |
CN110096713A (zh) * | 2019-03-21 | 2019-08-06 | 昆明理工大学 | 一种基于SVM-BiLSTM-CRF的老挝语机构名称识别方法 |
CN109933801A (zh) * | 2019-03-25 | 2019-06-25 | 北京理工大学 | 基于预测位置注意力的双向lstm命名实体识别方法 |
CN110135427A (zh) * | 2019-04-11 | 2019-08-16 | 北京百度网讯科技有限公司 | 用于识别图像中的字符的方法、装置、设备和介质 |
CN110135427B (zh) * | 2019-04-11 | 2021-07-27 | 北京百度网讯科技有限公司 | 用于识别图像中的字符的方法、装置、设备和介质 |
CN109871545A (zh) * | 2019-04-22 | 2019-06-11 | 京东方科技集团股份有限公司 | 命名实体识别方法及装置 |
CN111859964A (zh) * | 2019-04-29 | 2020-10-30 | 普天信息技术有限公司 | 一种语句中命名实体的识别方法及装置 |
CN110134954B (zh) * | 2019-05-06 | 2023-12-22 | 北京工业大学 | 一种基于Attention机制的命名实体识别方法 |
CN110134954A (zh) * | 2019-05-06 | 2019-08-16 | 北京工业大学 | 一种基于Attention机制的命名实体识别方法 |
CN111160467B (zh) * | 2019-05-31 | 2021-12-10 | 北京理工大学 | 一种基于条件随机场和内部语义注意力的图像描述方法 |
CN111160467A (zh) * | 2019-05-31 | 2020-05-15 | 北京理工大学 | 一种基于条件随机场和内部语义注意力的图像描述方法 |
CN110196967A (zh) * | 2019-06-05 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 基于深度转换架构的序列标注方法和装置 |
CN110472238B (zh) * | 2019-07-25 | 2022-11-18 | 昆明理工大学 | 基于层级交互注意力的文本摘要方法 |
CN110472238A (zh) * | 2019-07-25 | 2019-11-19 | 昆明理工大学 | 基于层级交互注意力的文本摘要方法 |
CN112307764B (zh) * | 2019-07-30 | 2024-01-19 | 百度(美国)有限责任公司 | 用于神经命名实体识别的共指感知表示学习 |
CN112307764A (zh) * | 2019-07-30 | 2021-02-02 | 百度(美国)有限责任公司 | 用于神经命名实体识别的共指感知表示学习 |
CN110633470A (zh) * | 2019-09-17 | 2019-12-31 | 北京小米智能科技有限公司 | 命名实体识别方法、装置及存储介质 |
CN110674303A (zh) * | 2019-09-30 | 2020-01-10 | 北京明略软件系统有限公司 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
CN110674303B (zh) * | 2019-09-30 | 2022-03-01 | 北京明略软件系统有限公司 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
CN110750992A (zh) * | 2019-10-09 | 2020-02-04 | 吉林大学 | 命名实体识别方法、装置、电子设备及介质 |
CN110750992B (zh) * | 2019-10-09 | 2023-07-04 | 吉林大学 | 命名实体识别方法、装置、电子设备及介质 |
CN110852103A (zh) * | 2019-10-28 | 2020-02-28 | 青岛聚好联科技有限公司 | 一种命名实体识别方法及装置 |
CN110781305A (zh) * | 2019-10-30 | 2020-02-11 | 北京小米智能科技有限公司 | 基于分类模型的文本分类方法及装置,以及模型训练方法 |
CN111079418A (zh) * | 2019-11-06 | 2020-04-28 | 科大讯飞股份有限公司 | 命名体识别方法、装置、电子设备和存储介质 |
CN111079418B (zh) * | 2019-11-06 | 2023-12-05 | 科大讯飞股份有限公司 | 命名体识别方法、装置、电子设备和存储介质 |
CN110738319A (zh) * | 2019-11-11 | 2020-01-31 | 四川隧唐科技股份有限公司 | 一种基于crf识别中标单位的lstm模型单元训练方法及装置 |
CN110956041A (zh) * | 2019-11-27 | 2020-04-03 | 重庆邮电大学 | 一种基于深度学习的并购重组公告摘要方法 |
CN111091004B (zh) * | 2019-12-18 | 2023-08-25 | 上海风秩科技有限公司 | 一种语句实体标注模型的训练方法、训练装置及电子设备 |
CN111091004A (zh) * | 2019-12-18 | 2020-05-01 | 上海风秩科技有限公司 | 一种语句实体标注模型的训练方法、训练装置及电子设备 |
CN111144111A (zh) * | 2019-12-30 | 2020-05-12 | 北京世纪好未来教育科技有限公司 | 翻译方法、装置、设备及存储介质 |
WO2021135193A1 (zh) * | 2019-12-30 | 2021-07-08 | 华南理工大学 | 一种基于视觉对象引导的社交媒体短文本命名实体识别方法 |
CN111126069A (zh) * | 2019-12-30 | 2020-05-08 | 华南理工大学 | 一种基于视觉对象引导的社交媒体短文本命名实体识别方法 |
CN111310468A (zh) * | 2020-01-15 | 2020-06-19 | 同济大学 | 一种利用不确定分词信息实现中文命名实体识别方法 |
CN111310468B (zh) * | 2020-01-15 | 2023-05-05 | 同济大学 | 一种利用不确定分词信息实现中文命名实体识别方法 |
CN111310471A (zh) * | 2020-01-19 | 2020-06-19 | 陕西师范大学 | 一种基于bblc模型的旅游命名实体识别方法 |
CN111368545B (zh) * | 2020-02-28 | 2024-04-30 | 北京明略软件系统有限公司 | 一种基于多任务学习的命名实体识别方法和装置 |
CN111368545A (zh) * | 2020-02-28 | 2020-07-03 | 北京明略软件系统有限公司 | 一种基于多任务学习的命名实体识别方法和装置 |
CN111444719B (zh) * | 2020-03-17 | 2023-10-20 | 车智互联(北京)科技有限公司 | 一种实体识别方法、装置和计算设备 |
CN111444719A (zh) * | 2020-03-17 | 2020-07-24 | 车智互联(北京)科技有限公司 | 一种实体识别方法、装置和计算设备 |
CN111444726B (zh) * | 2020-03-27 | 2024-02-09 | 河海大学常州校区 | 基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置 |
CN111444726A (zh) * | 2020-03-27 | 2020-07-24 | 河海大学常州校区 | 基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置 |
CN111858933A (zh) * | 2020-07-10 | 2020-10-30 | 暨南大学 | 基于字符的层次化文本情感分析方法及系统 |
CN111967265B (zh) * | 2020-08-31 | 2023-09-15 | 广东工业大学 | 一种数据集自动生成的中文分词与实体识别联合学习方法 |
CN111967265A (zh) * | 2020-08-31 | 2020-11-20 | 广东工业大学 | 一种数据集自动生成的中文分词与实体识别联合学习方法 |
CN112800756B (zh) * | 2020-11-25 | 2022-05-10 | 重庆邮电大学 | 一种基于prado的实体识别方法 |
CN112800756A (zh) * | 2020-11-25 | 2021-05-14 | 重庆邮电大学 | 一种基于prado的实体识别方法 |
CN112541364A (zh) * | 2020-12-03 | 2021-03-23 | 昆明理工大学 | 融合多层次语言特征知识的汉越神经机器翻译的方法 |
CN112395882A (zh) * | 2020-12-07 | 2021-02-23 | 震坤行网络技术(南京)有限公司 | 用于命名实体识别的方法、电子设备和存储介质 |
CN112395882B (zh) * | 2020-12-07 | 2021-04-06 | 震坤行网络技术(南京)有限公司 | 用于命名实体识别的方法、电子设备和存储介质 |
CN112711948A (zh) * | 2020-12-22 | 2021-04-27 | 北京邮电大学 | 一种中文句子的命名实体识别方法及装置 |
CN112949320B (zh) * | 2021-03-30 | 2024-06-11 | 平安科技(深圳)有限公司 | 基于条件随机场的序列标注方法、装置、设备及介质 |
CN112949320A (zh) * | 2021-03-30 | 2021-06-11 | 平安科技(深圳)有限公司 | 基于条件随机场的序列标注方法、装置、设备及介质 |
CN113051931A (zh) * | 2021-04-02 | 2021-06-29 | 中山大学 | 一种基于语义-情感双重关注的细粒度文本情感转换模型 |
CN113239694A (zh) * | 2021-06-04 | 2021-08-10 | 北京理工大学 | 一种基于论元短语的论元角色识别的方法 |
CN113221539B (zh) * | 2021-07-08 | 2021-09-24 | 华东交通大学 | 一种集成句法信息的嵌套命名实体识别方法与系统 |
CN113221539A (zh) * | 2021-07-08 | 2021-08-06 | 华东交通大学 | 一种集成句法信息的嵌套命名实体识别方法与系统 |
CN113609857A (zh) * | 2021-07-22 | 2021-11-05 | 武汉工程大学 | 基于级联模型和数据增强的法律命名实体识别方法及系统 |
CN113609857B (zh) * | 2021-07-22 | 2023-11-28 | 武汉工程大学 | 基于级联模型和数据增强的法律命名实体识别方法及系统 |
CN113962223A (zh) * | 2021-09-30 | 2022-01-21 | 西安交通大学 | 基于表示学习命名实体识别方法、系统、设备和存储介质 |
CN114417873A (zh) * | 2022-01-17 | 2022-04-29 | 软通动力信息技术(集团)股份有限公司 | 一种少样本实体识别方法、装置、介质及设备 |
CN114818721B (zh) * | 2022-06-30 | 2022-11-01 | 湖南工商大学 | 一种结合序列标注的事件联合抽取模型与方法 |
CN114818721A (zh) * | 2022-06-30 | 2022-07-29 | 湖南工商大学 | 一种结合序列标注的事件联合抽取模型与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108628823B (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108628823A (zh) | 结合注意力机制和多任务协同训练的命名实体识别方法 | |
Chen et al. | GRN: Gated relation network to enhance convolutional neural network for named entity recognition | |
CN107145483B (zh) | 一种基于嵌入式表示的自适应中文分词方法 | |
Dong et al. | Character-based LSTM-CRF with radical-level features for Chinese named entity recognition | |
Liu et al. | Multi-timescale long short-term memory neural network for modelling sentences and documents | |
Tao et al. | A radical-aware attention-based model for chinese text classification | |
Zhang et al. | Neural networks incorporating dictionaries for Chinese word segmentation | |
CN111291556B (zh) | 基于实体义项的字和词特征融合的中文实体关系抽取方法 | |
Zheng et al. | A new method of improving bert for text classification | |
Cai et al. | Intelligent question answering in restricted domains using deep learning and question pair matching | |
CN111222318A (zh) | 基于双通道双向lstm-crf网络的触发词识别方法 | |
CN106909537A (zh) | 一种基于主题模型和向量空间的一词多义分析方法 | |
Cao et al. | Stacked residual recurrent neural network with word weight for text classification | |
Aggarwal et al. | Recurrent neural networks | |
CN110276396A (zh) | 基于物体显著性和跨模态融合特征的图片描述生成方法 | |
Cao et al. | Social media text generation based on neural network model | |
CN111145914A (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN111222329B (zh) | 句向量训练方法及模型、句向量预测方法及系统 | |
Jia et al. | Attention in character-based BiLSTM-CRF for Chinese named entity recognition | |
Liu et al. | Research on advertising content recognition based on convolutional neural network and recurrent neural network | |
CN113779249A (zh) | 跨领域文本情感分类方法、装置、存储介质以及电子设备 | |
CN116720519B (zh) | 一种苗医药命名实体识别方法 | |
Chowdhury et al. | A continuous space neural language model for bengali language | |
Qi et al. | Adversarial transfer for classical Chinese NER with translation word segmentation | |
Rutherford et al. | Neural network models for implicit discourse relation classification in english and chinese without surface features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |