CN110175330A - 一种基于注意力机制的命名实体识别方法 - Google Patents

一种基于注意力机制的命名实体识别方法 Download PDF

Info

Publication number
CN110175330A
CN110175330A CN201910455412.7A CN201910455412A CN110175330A CN 110175330 A CN110175330 A CN 110175330A CN 201910455412 A CN201910455412 A CN 201910455412A CN 110175330 A CN110175330 A CN 110175330A
Authority
CN
China
Prior art keywords
layer
output
character
matrix
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910455412.7A
Other languages
English (en)
Other versions
CN110175330B (zh
Inventor
黄志春
张定国
周志勇
伍宇文
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weihong Intelligent Technology Co Ltd
Original Assignee
Guangzhou Weihong Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weihong Intelligent Technology Co Ltd filed Critical Guangzhou Weihong Intelligent Technology Co Ltd
Priority to CN201910455412.7A priority Critical patent/CN110175330B/zh
Publication of CN110175330A publication Critical patent/CN110175330A/zh
Application granted granted Critical
Publication of CN110175330B publication Critical patent/CN110175330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于注意力机制的命名实体识别方法，包括以下步骤：S1、对文本数据进行数据预处理；S1.1、对文本进行分句，分字符处理；S1.2、对句子、字符和标签进行统计，形成句表、字符表和标签表；S1.3、通过查询预训练好的字符向量表得到字符表中每个字符的字符向量表示，本发明利用注意力机制替代了编码‑解码架构中常用的递归神经网络和卷积神经网络，更容易捕获“长距离依赖信息”，能够提升命名实体任务的准确率，并且基于注意力机制的网络架构更易于并行处理，计算效率得到巨大的提升，解决现有技术中的模型无法考虑长距离的上下文信息和上下文信息相关性的问题，从而使得识别的准确率受到限制的技术问题。

Description

一种基于注意力机制的命名实体识别方法
技术领域
本发明涉及自然语言处理技术领域，具体为一种基于注意力机制的命名实体识别方法。
背景技术
命名实体是任何一个可以被专有名称指代的事物，命名实体识别任务是在文本中找出构成专有名称的文本片段，并标记它们所指向的实体类别，通用的命名实体识别系统主要关注人名、地名和机构名的识别，特定领域的命名实体识别系统会提取具有特定意义的实体，譬如基因名、设备名、设备型号和金融资产等等，命名实体识别是多数信息提取程序的首要任务，在问答系统、情感分析、机器翻译等领域有重要应用。
目前命名实体识别的解决方案，主要有两类：基于特征的统计学习方法和基于神经网络的深度学习方法。基于特征的统计学习方法主要包括隐马尔可夫模型(HMM)和条件随机场模型(CRF)，基于神经网络的深度学习方法主要包括卷积神经网络(CNN)和LSTM神经网络。
现有技术中基于特征的统计学习方法无法考虑长距离的上下文信息，基于神经网络的深度学习方法在决定一个单词所对应实体类别时，所用的上下文信息是整句话的信息，这种获取上下文信息方式存在着较多的冗余信息，这些冗余信息所带来的噪音在决定该单词所对应的实体类别时会产生负面影响。
发明内容
本发明提供一种基于注意力机制的命名实体识别方法，可以有效解决上述背景技术中提出现有技术中基于特征的统计学习方法无法考虑长距离的上下文信息，基于神经网络的深度学习方法在决定一个单词所对应实体类别时，所用的上下文信息是整句话的信息，这种获取上下文信息方式存在着较多的冗余信息，这些冗余信息所带来的噪音在决定该单词所对应的实体类别时会产生负面影响的问题。
为实现上述目的，本发明提供如下技术方案：一种基于注意力机制的命名实体识别方法，包括以下步骤：
S1、对文本数据进行数据预处理；
S2、将字符序列(x1，...，xn)输入到编码器，得到字符序列的
其中n>1，dm＝512，编码器由1个输入表示层和6个结构相同的编码层依次叠加而成；
每一层的输出分别记为X^((l))，其中l＝0，...，6；
X(0)就是输入表示层的输出，作为第一个编码层的输入，然后每一个编码层的输出X(l)作为下一个编码层的输入，然后得到输出X(l+1)，1≤l≤6；
S3、给定编码器的输出解码器依次生成输出标签序列(y1，…，yn)的每一个字符，在第t个时间步生成第t个标签字符yt，其中1≤t≤n；
解码器由1个输出表示层、6个结构相同的解码层和1个分类层依次叠加而成；
每一层的输出分别记为Y(l)，l＝0，…，6，Y(0)就是输出表示层的输出，作为第一个解码层的输入，然后每一个解码层的输出Y(l)作为下一个解码层的输入，然后得到输出Y(l +1)，其中1≤l≤6，最后一个解码层的输出Y(6)作为分类层的输入，分类层输出预测标签在标签表中的序号；
S4、为了编码器和解码器更快地收敛，自注意力层、编码-解码注意力层和前馈神经网络层之后都会再连接一个残差连接层和一个标准化层；
自注意力层、编码-解码注意力层和前馈神经网络层的输入为X，输出为Y，那么经过残差连接层和标准化层后得到的输出为Z，它的第l个行向量分别为：
Zi＝LayerNorm(Xl+Yl)，
其中l＝1,…,n，其中LayerNorm是对向量的标准化操作，即：
根据上述技术方案，所述步骤S1的具体步骤如下：
S1.1、对文本进行分句，分字符处理；
S1.2、对句子、字符和标签进行统计，形成句表、字符表和标签表；
S1.3、通过查询预训练好的字符向量表得到字符表中每个字符的字符向量表示。
根据上述技术方案，所述步骤S2中输入表示层的结构如下：
S2.1.1、对于每个字符xi，通过查询预训练好的字符向量表，得到一个字符表示向量
S2.1.2、通过对xi在序列(x1，…，xn)中的位置进行编码，得到它的一个位置表示向量它的第j个分量pij的计算公式如下:
其中j＝1，…，dm；
S2.1.3、输入表示层的输出X(0)的第i个行向量为
根据上述技术方案，所述步骤S2中编码层的输入为编码层的结构如下：
S2.2.1、构造查询矩阵Qi，键矩阵Ki和值矩阵Vi，进一步得到自注意力矩阵A，它们的计算公式如下：
A＝(A1,…,Ah)WO；
其中i＝1，…，h＝8，softmax是针对矩阵每一个行向量做的，即：
S2.2.2、将注意力矩阵A的每一个行向量Al输入到一个全连接前馈神经网络,得到：
Fl＝max(0,AlW1+b1)W2+b2)，
其中记F＝[F1；…；Fn]。
根据上述技术方案，所述步骤S3中第t个时间步，解码器的输出表示层的输出为其中矩阵的第l个行向量为：
其中是第l个标签字符在第t-1个时间步，解码器最后一层解码层的输出，pl是字符序列(x1,…,xt)第l个位置的位置编码表示，1≤l≤t。
根据上述技术方案，所述步骤S3中解码层的输入为解码层的结构如下：
构造查询矩阵Qi，键矩阵Ki和值矩阵Vi，进一步得到自注意力矩阵A，它们的计算公式如下：
A＝(A1,...,Ah)WO；
其中 这里和编码层不一样的是，多了一步mask矩阵操作，它将矩阵的对角线右上方的元素全置为负无穷-∞，使得第i个位置的编码表示是前i个位置的值向量表示的加权求和；
其中矩阵的对角线不包括对角线上的元素，第i个位置包括其自身的第i个位置。
根据上述技术方案，所述步骤S4中编码层不同的是，多了一个编码-解码注意力层，改注意力层的键矩阵和值矩阵由编码器的输出Z得到：
其中I＝1，…，h＝8。
根据上述技术方案，所述步骤S4中将编码-解码注意力矩阵的每一个行向量输入到一个全连接前馈神经网络,得到
其中记F＝[F1；…；Fn]。
根据上述技术方案，所述步骤S4中将解码器最后一层解码层的输出Y(6)，输入到分类层，分类层输出的是每个标签表中每个标签字符为第t个字符xt的标签的概率，分类层的结构如下：
P＝softmax(Y(6)W+b)；
其中这里dc是标签表的标签字符个数；解码器的输出就是概率最大的标签字符。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，利用注意力机制替代了编码-解码架构中常用的递归神经网络和卷积神经网络，更容易捕获“长距离依赖信息”，能够提升命名实体任务的准确率，并且基于注意力机制的网络架构更易于并行处理，计算效率得到巨大的提升，解决现有技术中的模型无法考虑长距离的上下文信息和上下文信息相关性的问题，从而使得识别的准确率受到限制的技术问题。
具体实施方式
应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：本发明提供技术方案，一种基于注意力机制的命名实体识别方法，包括以下步骤：
S1、对文本数据进行数据预处理；
S2、将字符序列(x1，…，xn)输入到编码器，得到字符序列的
其中n>1，dm＝512，编码器由1个输入表示层和6个结构相同的编码层依次叠加而成；
每一层的输出分别记为X^((l))，其中l＝0，…，6；
X(0)就是输入表示层的输出，作为第一个编码层的输入，然后每一个编码层的输出X(l)作为下一个编码层的输入，然后得到输出X(l+1)，1≤l≤6；
S3、给定编码器的输出解码器依次生成输出标签序列(y1，…，yn)的每一个字符，在第t个时间步生成第t个标签字符yt，其中1≤t≤n；
解码器由1个输出表示层、6个结构相同的解码层和1个分类层依次叠加而成；
每一层的输出分别记为Y(l)，l＝0，…，6，Y(0)就是输出表示层的输出，作为第一个解码层的输入，然后每一个解码层的输出Y(l)作为下一个解码层的输入，然后得到输出Y(l +1)，其中1≤l≤6，最后一个解码层的输出Y(6)作为分类层的输入，分类层输出预测标签在标签表中的序号；
S4、为了编码器和解码器更快地收敛，自注意力层、编码-解码注意力层和前馈神经网络层之后都会再连接一个残差连接层和一个标准化层；
自注意力层、编码-解码注意力层和前馈神经网络层的输入为X，输出为Y，那么经过残差连接层和标准化层后得到的输出为Z，它的第l个行向量分别为：
Zi＝LayerNorm(Xl+Yl)，
其中l＝1,…,n，其中LayerNorm是对向量的标准化操作，即：
根据上述技术方案，步骤S1的具体步骤如下：
S1.1、对文本进行分句，分字符处理；
S1.2、对句子、字符和标签进行统计，形成句表、字符表和标签表；
S1.3、通过查询预训练好的字符向量表得到字符表中每个字符的字符向量表示。
根据上述技术方案，步骤S2中输入表示层的结构如下：
S2.1.1、对于每个字符xi，通过查询预训练好的字符向量表，得到一个字符表示向量
S2.1.2、通过对xi在序列(x1，…，xn)中的位置进行编码，得到它的一个位置表示向量它的第j个分量pij的计算公式如下:
其中j＝1，…，dm；
S2.1.3、输入表示层的输出X(0)的第i个行向量为
根据上述技术方案，步骤S2中编码层的输入为编码层的结构如下：
S2.2.1、构造查询矩阵Qi，键矩阵Ki和值矩阵Vi，进一步得到自注意力矩阵A，它们的计算公式如下：
A＝(A1,…,Ah)WO；
其中 softmax是针对矩阵每一个行向量做的，即：
S2.2.2、将注意力矩阵A的每一个行向量Al输入到一个全连接前馈神经网络,得到：
Fl＝max(0,AlW1+b1)W2+b2)，
其中记F＝[F1；…；Fn]。
根据上述技术方案，步骤S3中第t个时间步，解码器的输出表示层的输出为其中矩阵的第l个行向量为：
其中是第l个标签字符在第t-1个时间步，解码器最后一层解码层的输出，pl是字符序列(x1,…,xt)第l个位置的位置编码表示，1≤l≤t。
根据上述技术方案，步骤S3中解码层的输入为解码层的结构如下：
构造查询矩阵Qi，键矩阵Ki和值矩阵Vi，进一步得到自注意力矩阵A，它们的计算公式如下：
A＝(A1,…,Ah)WO；
其中 这里和编码层不一样的是，多了一步mask矩阵操作，它将矩阵的对角线右上方的元素全置为负无穷-∞，使得第i个位置的编码表示是前i个位置的值向量表示的加权求和；
其中矩阵的对角线不包括对角线上的元素，第i个位置包括其自身的第i个位置。
根据上述技术方案，步骤S4中编码层不同的是，多了一个编码-解码注意力层，改注意力层的键矩阵和值矩阵由编码器的输出Z得到：
其中
根据上述技术方案，步骤S4中将编码-解码注意力矩阵的每一个行向量输入到一个全连接前馈神经网络,得到
其中记F＝[F1；…；Fn]。
根据上述技术方案，步骤S4中将解码器最后一层解码层的输出Y(6)，输入到分类层，分类层输出的是每个标签表中每个标签字符为第t个字符xt的标签的概率，分类层的结构如下：
P＝softmax(Y(6)W+b)；
其中这里dc是标签表的标签字符个数；解码器的输出就是概率最大的标签字符。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，利用注意力机制替代了编码-解码架构中常用的递归神经网络和卷积神经网络，更容易捕获“长距离依赖信息”，能够提升命名实体任务的准确率，并且基于注意力机制的网络架构更易于并行处理，计算效率得到巨大的提升，解决现有技术中的模型无法考虑长距离的上下文信息和上下文信息相关性的问题，从而使得识别的准确率受到限制的技术问题。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于注意力机制的命名实体识别方法，其特征在于：包括以下步骤：
S1、对文本数据进行数据预处理；
S2、将字符序列(x1，…，xn)输入到编码器，得到字符序列的编码表示
其中n>1，dm＝512，编码器由1个输入表示层和6个结构相同的编码层依次叠加而成；
每一层的输出分别记为X^((l))，其中l＝0，…，6；
X(0)就是输入表示层的输出，作为第一个编码层的输入，然后每一个编码层的输出X(l)作为下一个编码层的输入，然后得到输出X(l+1)，1≤l≤6；
S3、给定编码器的输出解码器依次生成输出标签序列(y1，…，yn)的每一个字符，在第t个时间步生成第t个标签字符yt，其中1≤t≤n；
解码器由1个输出表示层、6个结构相同的解码层和1个分类层依次叠加而成；
每一层的输出分别记为Y(l)，l＝0，…，6，Y(0)就是输出表示层的输出，作为第一个解码层的输入，然后每一个解码层的输出Y(l)作为下一个解码层的输入，然后得到输出Y(l+1)，其中1≤l≤6，最后一个解码层的输出Y(6)作为分类层的输入，分类层输出预测标签在标签表中的序号；
S4、为了编码器和解码器更快地收敛，自注意力层、编码-解码注意力层和前馈神经网络层之后都会再连接一个残差连接层和一个标准化层；
自注意力层、编码-解码注意力层和前馈神经网络层的输入为X，输出为Y，那么经过残差连接层和标准化层后得到的输出为Z，它的第l个行向量分别为：
Zi＝LayerNorm(Xl+Yl)，
其中l＝1,…,n，其中LayerNorm是对向量的标准化操作，即：
2.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S1的具体步骤如下：
S1.1、对文本进行分句，分字符处理；
S1.2、对句子、字符和标签进行统计，形成句表、字符表和标签表；
S1.3、通过查询预训练好的字符向量表得到字符表中每个字符的字符向量表示。
3.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S2中输入表示层的结构如下：
S2.1.1、对于每个字符xi，通过查询预训练好的字符向量表，得到一个字符表示向量
S2.1.2、通过对xi在序列(x1，…，xn)中的位置进行编码，得到它的一个位置表示向量它的第j个分量pij的计算公式如下:
其中j＝1，…，dm；
S2.1.3、输入表示层的输出X(0)的第i个行向量为
4.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S2中编码层的输入为编码层的结构如下：
S2.2.1、构造查询矩阵Qi，键矩阵Ki和值矩阵Vi，进一步得到自注意力矩阵A，它们的计算公式如下：
Qi＝XWi Q，Ki＝XWi K，Vi＝XWi V；
A＝(A1,…,Ah)WO；
其中i＝1，…，h＝8，softmax是针对矩阵每一个行向量做的，即：
S2.2.2、将注意力矩阵A的每一个行向量Al输入到一个全连接前馈神经网络,得到：
Fl＝max(0,AlW1+b1)W2+b2)，
其中l＝1,...,n，记F＝[F1；...；Fn]。
5.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S3中第t个时间步，解码器的输出表示层的输出为其中矩阵的第l个行向量为：
其中是第l个标签字符在第t-1个时间步，解码器最后一层解码层的输出，pl是字符序列(x1,...,xt)第l个位置的位置编码表示，1≤l≤t。
6.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S3中解码层的输入为解码层的结构如下：
构造查询矩阵Qi，键矩阵Ki和值矩阵Vi，进一步得到自注意力矩阵A，它们的计算公式如下：
Qi＝XWi Q，Ki＝XWi K，Vi＝XWi V；
A＝(A1,...,Ah)WO；
其中I＝1,...,h＝8，这里和编码层不一样的是，多了一步mask矩阵操作，它将矩阵的对角线右上方的元素全置为负无穷-∞，使得第i个位置的编码表示是前i个位置的值向量表示的加权求和；
其中矩阵的对角线不包括对角线上的元素，第i个位置包括其自身的第i个位置。
7.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S4中编码层不同的是，多了一个编码-解码注意力层，改注意力层的键矩阵和值矩阵由编码器的输出Z得到：
其中I＝1，...，h＝8。
8.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S4中将编码-解码注意力矩阵的每一个行向量输入到一个全连接前馈神经网络,得到
其中l＝1,...,n，记F＝[F1；…；Fn]。
9.根据权利要求1所述的一种基于注意力机制的命名实体识别方法，其特征在于：所述步骤S4中将解码器最后一层解码层的输出Y(6)，输入到分类层，分类层输出的是每个标签表中每个标签字符为第t个字符xt的标签的概率，分类层的结构如下：
P＝softmax(Y(6)W+b)；
其中这里dc是标签表的标签字符个数；解码器的输出就是概率最大的标签字符。
CN201910455412.7A 2019-05-29 2019-05-29 一种基于注意力机制的命名实体识别方法 Active CN110175330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910455412.7A CN110175330B (zh) 2019-05-29 2019-05-29 一种基于注意力机制的命名实体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910455412.7A CN110175330B (zh) 2019-05-29 2019-05-29 一种基于注意力机制的命名实体识别方法

Publications (2)

Publication Number Publication Date
CN110175330A true CN110175330A (zh) 2019-08-27
CN110175330B CN110175330B (zh) 2023-07-14

Family

ID=67696568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910455412.7A Active CN110175330B (zh) 2019-05-29 2019-05-29 一种基于注意力机制的命名实体识别方法

Country Status (1)

Country Link
CN (1) CN110175330B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001167A (zh) * 2020-08-26 2020-11-27 四川云从天府人工智能科技有限公司 一种标点符号添加方法、系统、设备和介质
CN112395882A (zh) * 2020-12-07 2021-02-23 震坤行网络技术(南京)有限公司 用于命名实体识别的方法、电子设备和存储介质
CN112926323A (zh) * 2021-01-26 2021-06-08 江南大学 基于多级残差卷积与注意力机制的中文命名实体识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114197A1 (en) * 2010-11-09 2012-05-10 Microsoft Corporation Building a person profile database
US20140163958A1 (en) * 2012-12-12 2014-06-12 International Business Machines Corporation Approximate named-entity extraction
CN105574111A (zh) * 2015-12-10 2016-05-11 天津海量信息技术有限公司 基于企业属性库的企业实体认证方法
CN109359293A (zh) * 2018-09-13 2019-02-19 内蒙古大学 基于神经网络的蒙古文命名实体识别方法及其识别系统
CN109582955A (zh) * 2018-11-14 2019-04-05 金色熊猫有限公司 医疗术语的标准化方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114197A1 (en) * 2010-11-09 2012-05-10 Microsoft Corporation Building a person profile database
US20140163958A1 (en) * 2012-12-12 2014-06-12 International Business Machines Corporation Approximate named-entity extraction
CN105574111A (zh) * 2015-12-10 2016-05-11 天津海量信息技术有限公司 基于企业属性库的企业实体认证方法
CN109359293A (zh) * 2018-09-13 2019-02-19 内蒙古大学 基于神经网络的蒙古文命名实体识别方法及其识别系统
CN109582955A (zh) * 2018-11-14 2019-04-05 金色熊猫有限公司 医疗术语的标准化方法、装置及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001167A (zh) * 2020-08-26 2020-11-27 四川云从天府人工智能科技有限公司 一种标点符号添加方法、系统、设备和介质
CN112395882A (zh) * 2020-12-07 2021-02-23 震坤行网络技术(南京)有限公司 用于命名实体识别的方法、电子设备和存储介质
CN112395882B (zh) * 2020-12-07 2021-04-06 震坤行网络技术(南京)有限公司 用于命名实体识别的方法、电子设备和存储介质
CN112926323A (zh) * 2021-01-26 2021-06-08 江南大学 基于多级残差卷积与注意力机制的中文命名实体识别方法
CN112926323B (zh) * 2021-01-26 2024-02-02 江南大学 基于多级残差卷积与注意力机制的中文命名实体识别方法

Also Published As

Publication number Publication date
CN110175330B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111985239B (zh) 实体识别方法、装置、电子设备及存储介质
WO2022178919A1 (zh) 一种基于噪声标签学习的纳税人行业分类方法
Kim et al. Efficient dialogue state tracking by selectively overwriting memory
Zhang et al. Track, attend, and parse (tap): An end-to-end framework for online handwritten mathematical expression recognition
CN109472031B (zh) 一种基于双记忆注意力的方面级别情感分类模型及方法
Zhang et al. Multi-scale attention with dense encoder for handwritten mathematical expression recognition
Zhang et al. Watch, attend and parse: An end-to-end neural network based approach to handwritten mathematical expression recognition
Mouchere et al. Crohme2011: Competition on recognition of online handwritten mathematical expressions
CN112182191B (zh) 多轮口语理解的结构化记忆图网络模型
CN110442707A (zh) 一种基于seq2seq的多标签文本分类方法
CN109886072B (zh) 基于双向Ladder结构的人脸属性分类系统
CN109492202A (zh) 一种基于拼音的编码与解码模型的中文纠错方法
CN108763510A (zh) 意图识别方法、装置、设备及存储介质
CN111881677A (zh) 基于深度学习模型的地址匹配算法
CN110175330A (zh) 一种基于注意力机制的命名实体识别方法
CN110909736A (zh) 一种基于长短期记忆模型与目标检测算法的图像描述方法
CN113486669B (zh) 应急救援输入语音的语义识别方法
CN112084336A (zh) 一种高速公路突发事件的实体提取和事件分类方法及装置
Hong et al. Residual BiRNN based Seq2Seq model with transition probability matrix for online handwritten mathematical expression recognition
CN114841151B (zh) 基于分解-重组策略的医学文本实体关系联合抽取方法
CN107452374A (zh) 基于单向自标注辅助信息的多视角语言识别方法
CN115545033A (zh) 融合词汇类别表征的中文领域文本命名实体识别方法
CN114548106A (zh) 一种基于albert的科协活动命名实体识别的方法
CN117473561A (zh) 基于人工智能的隐私信息识别系统、方法、设备及介质
CN112634878B (zh) 语音识别后处理方法和系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 207, Building 1, No. 315, Huangpu Avenue Middle, Tianhe District, Guangzhou, Guangdong 510000

Patentee after: Guangzhou Weihong Intelligent Technology Co.,Ltd.

Address before: 510660 room 401-404, 4th floor, building B, Anding building, No. 93, Qiming street, chepo, Tianhe District, Guangzhou, Guangdong

Patentee before: Guangzhou Weihong Intelligent Technology Co.,Ltd.