CN111782768A - 基于双曲空间表示和标签文本互动的细粒度实体识别方法 - Google Patents
基于双曲空间表示和标签文本互动的细粒度实体识别方法 Download PDFInfo
- Publication number
- CN111782768A CN111782768A CN202010622631.2A CN202010622631A CN111782768A CN 111782768 A CN111782768 A CN 111782768A CN 202010622631 A CN202010622631 A CN 202010622631A CN 111782768 A CN111782768 A CN 111782768A
- Authority
- CN
- China
- Prior art keywords
- entity
- context
- label
- matrix
- fine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及细粒度实体识别技术领域,尤其涉及一种基于双曲空间表示和标签文本互动的细粒度实体识别方法。包括步骤:S1、基于数据集中已标注的实体和上下文,并对实体和上下文进行交互,得到实体‑上下文表示;S2、在双曲空间下,基于数据集中的标签,并结合预先训练的图卷积神经网络模型,得到词级标签关系矩阵;S3、将实体‑上下文表示和词级标签关系矩阵输入预先训练的基于双曲空间的标签文本互动机制模型,输出实体最终的标签分类结果。解决了现有技术中共现关系含噪、双曲空间文本标签映射匹配差的技术问题。
Description
技术领域
本发明涉及细粒度实体识别技术领域,尤其涉及一种基于双曲空间表示和标签文本互动的细粒度实体识别方法。
背景技术
命名实体识别一直以来都是信息抽取、问答系统、机器翻译等自然语言处理领域中重要的研究任务的基础。其目的是识别出文本中表示命名实体的成分并进行分类。
细粒度实体识别与一般的实体识别相比,不仅包含简单的标签分类(例如人名、地名),还按照实体粒度不同进行更加细致、更加复杂的识别分类(例如职业、公司)。对于其它的自然语言处理任务,细粒度命名实体识别往往蕴含更多信息,可以提供宝贵的先验知识信息,更加有效地为下游任务提供更多的知识,比如关系抽取、事件抽取、指代消解和问答系统。
细粒度实体识别可以提供更加精细化、层次性、不同粒度的实体信息,更适应于实际复杂场景的应用。一般通过标签的层级关系来体现出实体的层次、粒度,如何通过建模的方法来表示更好的标签的层级关系是研究的重点。现有方法中,有为了获取适用于更加开放、实际应用的标签层级关系,采用基于标签共现信息的图神经网络的方法;也有使用双曲空间来获取标签层级关系的方法。
但是基于标签本身的共现信息会含有一定噪音,共现关系只能体现部分相关性;双曲空间方法只对于精细粒度的实体更有效果,对于粗粒度的实体表现不足,在标签和文本的对应上固定的映射方法导致标签预测数量固定,获得标签的层次关系和对于文本模型更好的建模表示两个工作往往是分割独立的,在标签关系的构建过程中缺失文本信息的指导,通常是独自构建完再去和文本做简单的交互,忽略了文本与标签之间的关系。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足,本发明提供一种基于双曲空间表示和标签文本互动的细粒度实体识别方法,其解决了现有技术中共现关系含噪、双曲空间文本标签映射匹配差的技术问题。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括:
本发明实施例提供一种基于双曲空间表示和标签文本互动的细粒度实体识别方法,包括以下步骤:
S1、基于数据集中的实体和上下文,对实体和上下文进行交互,得到实体-上下文表示;
S2、在双曲空间下,基于数据集中对实体进行标注的标签,结合预先训练的图卷积神经网络模型,得到与标签对应的词级标签关系矩阵;
预先训练的图卷积神经网络模型是基于训练集中的标签和对应的标签关联矩阵,进行训练得到的模型;
S3、将实体-上下文表示和词级标签关系矩阵输入预先训练的基于双曲空间的标签文本互动机制模型,输出实体最终的标签分类结果;
预先训练的基于双曲空间的标签文本互动机制模型是基于训练集中实体-上下文表示、词级标签关系矩阵和对应的标签分类结果,进行训练得到的模型。
本发明实施例提出的基于双曲空间表示和标签文本互动的细粒度实体识别方法,基于标签文本互动机制,并利用细粒度实体识别任务中数据具有层次性的特性,在双曲空间这样天然契合的空间中加强这种层级关系,使得标签和文本的匹配效果更好。
可选地,步骤S1包括:
S11、基于数据集中的实体和上下文,在学习模型上对实体和上下文进行编码;
采用基于字符的卷积神经网络模型对实体编码;采用Bi-LSTM模型对上下文编码,输出每一个时刻的隐含状态,然后将隐含状态在顶层进行自注意力机制层的交互获得上下文特征;
S12、将编码后的实体和上下文特征进行拼接,得到实体-上下文表示。
可选地,步骤S12包括:
S121、通过映射函数对编码后的实体进行矩阵变换,使得编码后的实体的矩阵空间与上下文特征的矩阵空间维度对应一致;
S122、通过Attention模型生成编码后的实体与上下文特征的关联矩阵;
S123、根据关联矩阵,得到编码后的实体与上下文特征的初步交互后的回馈信息;
S124、基于编码后的实体与上下文特征的初步交互后的回馈信息,得到实体与上下文交互的信息;
S125、将实体与上下文交互的信息与上下文特征进行左右拼接,得到实体-上下文表示。
可选地,步骤S121中,经过连接层Wm∈Rhm×hc的线性变换和tanh函数操作,hm和hc均为特征维度,满足以下关系:
可选地,步骤S122中的关联矩阵满足以下公式:
A=mproj×Wa×C,A∈R1×lc
式中,A为关联矩阵,Wa为可习得矩阵,用于获取实体提及与上下文特征相关部分交互的回馈,C为上下文特征,lc为上下文标注的数量。
可选地,步骤S123中包括:
将关联矩阵标准化,满足以下公式:
再基于关联矩阵的标准化结果和上下文特征得到编码后的实体与上下文特征的初步交互后的回馈信息,满足以下公式:
式中,rc为编码后的实体与上下文特征的初步交互后的回馈信息。
可选地,步骤S124中实体与上下文交互的信息,满足以下公式:
r=ρ(Wr[rc;mproj;rc-mproj])
g=σ(Wg[rc;mproj;rc-mproj])
o=g*r+(1-g)*mproj
式中,r为实体上下文混合特征,g为高斯误差线性单元,o为为实体与上下文交互的信息,Wr为实体上下文混合特征对应的可学习矩阵,Wg为高斯误差线性单元对应的可学习矩阵。
可选地,图卷积神经网络模型的训练过程包括:
101、在双曲空间下,基于数据集中的标签,得到标签的共现信息;
102、将标签作为图卷积神经网络模型中图的结点,标签的共现信息作为边,获取标签关联矩阵;
103、将标签关联矩阵输入到预先训练的图卷积神经网络模型中,得到与标签对应的词级标签关系矩阵。
可选地,词级标签关系矩阵在图卷积神经网络模型中遵循以下传播规则:
A'word满足以下公式:
式中,Aword为词级标签关联矩阵。
可选地,基于双曲空间的标签文本互动机制模型的训练过程包括:
基于标签-文本注意力机制,将实体-上下文表示和标签关系矩阵输入基于双曲空间的标签文本互动机制模型,输出实体最终的标签分类结果,满足以下公式:
式中,p为实体最终的标签分类结果,σ为sigmoid标准化函数,f为矩阵拼接函数,N为标签数量,df为拼接后的矩阵维度。
(三)有益效果
本发明的有益效果是:本发明的基于双曲空间表示和标签文本互动的细粒度实体识别方法,提出了一种基于双曲空间的标签文本交互机制,通过一个注意力模块来获取上下文和标签相关性,然后在标签关系生成过程中起到帮助。与此同时,利用细粒度实体识别任务中数据具有层次性的特性,在双曲空间这样天然契合的空间中加强这种层级关系,用庞加莱距离替代原有的余弦相似度方式进行计算,使得标签和文本的匹配效果更好。
附图说明
图1为本发明提供的基于双曲空间表示和标签文本互动的细粒度实体识别方法的流程图;
图2为本发明提供的实施例1中标签数据的层次结构示意图;
图3为本发明提供的实施例1中双曲空间的结构图;
图4为本发明提供的模型框架的示意图;
图5为本发明实施例2中Ultra-Fine数据集和OntoNotes数据集的标签分布比例图;
图6为本发明实施例2中本发明中标签文本互动机制模型与对比实验中模型的精确率-召回率示意图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
细粒度实体识别可以提供更加精细化、层次性、不同粒度的实体信息,更适应于实际复杂场景的应用。一般通过标签的层级关系来体现出实体的层次、粒度,如何通过建模的方法来表示更好的标签的层级关系是研究的重点。
在本发明的第一相关实施例中,提出通过给定的标签层次结构来设计hierarchy-aware loss的方法。在本发明的第二相关实施例中,提出将word与type在欧式空间进行联合表示的方法。这些方法都基于实体类型数据集事先预定义好标签类型结构。然而,知识库在实际应用场景中,无法包含所有类型在其中,比如预先设定好person/female/teacher,没有person/female/nurse形式,那么对于不在知识库的nurse类别则无法有效识别。因此,对于大量的未知未定义的新类型,基于这些知识库训练的模型很难有效去学习识别。在本发明的第三相关实施例中,提出在包含超过10,000未知类型的数据集的更加开放的场景中进行实体识别。在本发明的第四相关实施例中,提出引入一个图传播层,利用标签的共现信息生成标签的邻接矩阵来捕获深层次的潜在标签关系。但是单独考虑标签的共现信息,可能会因为忽略上下文语境而产生的一定的噪声影响结果。
细粒度命名实体识别经常随着语境不同产生不同的结果,同时又具有一定的逻辑规律性。如何根据文本语境的不同建立合乎语境逻辑、关系逻辑的表示,是关键挑战。比如在同一个语境下,一个实体如果是“法官”,那么同时是“被告人”的可能性很低,这符合我们的逻辑性,因为这两个身份跨度确实很大又在同一个语境中。但随着语境的不同,对于跨度不大的身份,简单的认为一个实体是“老师”的同时是“学生”的可能性很低就存在一定的问题。因为一个人在学校的时候是一名老师,在健身房的时候又是一名学员是可以成立的。因此逻辑性是建立在语境关系的基础上,当我们忽略上下文文本和标签的关系时,模型的效果是受到影响的。
在本发明的第五相关实施例中,提出一种基于欧式空间的联合嵌入学习的编码方法。然而,对于欧式空间来说不可能将任意的层次信息在嵌入的时候进行表示,对于具有层次信息的数据来说会造成信息丢失。在本发明的第六相关实施例中,提出双曲空间比欧式空间更适合层次信息的嵌入编码。因为在双曲空间中从源点中心到边缘的距离是指数型增长的,对于每层包含的类型数量也会随着层数增加呈指数增长,两者有天然的结构契合。在本发明的第七相关实施例中,提出双曲空间对于非常细粒度的数据的效果要比欧式空间更好。但是,细粒度实体任务不仅仅只有超精细粒度的实体也包含粗粒度的实体,仅仅是某一粒度的表现好是不够的。同时,在双曲空间中文本实体不具有层次结构,如何在双曲空间中和层次性的标签进行更好的匹配也是需要解决的问题。
基于上述,本发明实施例提出的基于双曲空间表示和标签文本互动的细粒度实体识别方法,提出了一种基于双曲空间的标签文本交互机制,通过一个注意力模块来获取上下文和标签相关性,然后在标签关系生成过程中起到帮助。与此同时,利用细粒度实体识别任务中数据具有层次性的特性,在双曲空间这样天然契合的空间中加强这种层级关系,用庞加莱距离替代原有的余弦相似度方式进行计算,使得标签和文本的匹配效果更好。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更清楚、透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例1
如图1所示,为本实施例提供的基于双曲空间表示和标签文本互动的细粒度实体识别方法的流程图,包括以下步骤:
S1、基于数据集中的实体和上下文,对实体和上下文进行交互,得到实体-上下文表示。
具体包括以下步骤:
S11、基于数据集中的实体和上下文,在学习模型上对实体和上下文进行编码:采用基于字符的卷积神经网络(Convolutional Neural Networks,CNN)模型对实体编码;采用Bi-LSTM模型对上下文编码,输出每一个时刻的隐含状态,然后将隐含状态在顶层进行自注意力机制层的交互获得上下文特征。
实体表示为M∈Rhm,上下文特征表示为C∈Rlc×hc,hm和hc均为特征维度,lc为上下文标注的数量。
S12、将编码后的实体和上下文特征进行拼接,得到实体-上下文表示。
进一步地,在步骤S12中具体包括:
S121、通过映射函数对编码后的实体进行矩阵变换,使得编码后的实体的矩阵空间与上下文特征的矩阵空间维度对应一致。具体地,经过连接层Wm∈Rhm×hc的线性变换和tanh函数操作,满足以下关系:
S122、通过Attention模型生成编码后的实体与上下文特征的关联矩阵,满足以下公式:
A=mproj×Wa×C,A∈R1×lc (2)
式中,A为关联矩阵,Wa为可习得矩阵,用于获取实体提及与上下文特征相关部分交互的回馈,C为上下文特征。
S123、根据关联矩阵,得到编码后的实体与上下文特征的初步交互后的回馈信息。
其中,将关联矩阵标准化,满足以下公式:
基于关联矩阵的标准化结果和上下文特征得到编码后的实体与上下文特征的初步交互后的回馈信息,满足以下公式:
式中,rc为编码后的实体与上下文特征的初步交互后的回馈信息。
S124、基于编码后的实体与上下文特征的初步交互后的回馈信息,得到实体与上下文交互的信息,满足以下公式:
r=ρ(Wr[rc;mproj;rc-mproj]) (5)
g=σ(Wg[rc;mproj;rc-mproj]) (6)
o=g*r+(1-g)*mproj (7)
式中,r为实体上下文混合特征,g为高斯误差线性单元,o为输出,即为实体与上下文交互的信息,Wr为实体上下文混合特征对应的可学习矩阵,Wg为高斯误差线性单元对应的可学习矩阵。
S125、将实体与上下文交互的信息与上下文特征进行左右拼接f[o;C],得到实体-上下文表示。
S2、在双曲空间下,基于数据集中对实体进行标注的标签,结合预先训练的图卷积神经网络模型,得到与标签对应的词级标签关系矩阵。其中,预先训练的图卷积神经网络模型是基于训练集中的标签和对应的标签关联矩阵,进行训练得到的模型。
图卷积神经网络模型的训练过程包括:
101、在双曲空间下,基于数据集中的标签,得到标签的共现信息。具体地,将数据集中的标签的向量嵌入到双曲空间之中,根据余弦相似度计算邻点,生成相关性矩阵,作为共现信息的依据。
双曲结构是针对具有常负曲率的非欧空间的研究。在二维空间里,双曲空间可以被认为是一个开放的没有边界的圆盘,也就是所谓的庞加莱圆盘,其表达的圆盘是无穷大的。当一个点在双曲空间中趋近于无穷时,可以等同于庞加莱圆盘中趋近于无穷的一个点。推广到n维的情况,庞加莱圆盘的模型就会变成一个庞加莱球。在庞加莱球上,u、v两个点的距离满足以下公式:
式中,dH(u,v)为庞加莱球上,u、v两个点的距离。
如果用源点O和空间中的两个点x1、x2来举例,那么当两个点x1、x2向庞加莱球边缘进行移动的时候,两个点之间的路径都收敛于源点O,可以看做是对树状层次结构的连续模拟,兄弟结点之间最短的路径一定经过他们的祖先。与此同时,越靠近空间边缘的点到源点O的距离是呈指数增长的。具有树状层次结构的细粒度标签同样随着深度的增加,标签数量呈指数增长。因此,在结构上双曲空间与层次性的数据具有天然的适应性。如图2所示,为标签数据的层次结构示意图。
如图3所示为双曲空间的结构图,通过在庞加莱球中嵌入层次结构,使得层次结构顶部的项被放置在原点附近,而底部的项被放置在无穷大附近。当使用向量相似度来表示类型关系时,可以提高准确性。在非常细粒度的数据集上,层次结构反映了带注释的类型分布,在这方面双曲空间优于欧几里德空间。
102、将标签作为图卷积神经网络模型中图的结点,标签的共现信息作为边,获取标签关联矩阵。
在细粒度实体识别任务中,实体类型通常表示为一个树状的结构。在图表示的模型中,图中的结点一般直接表示为实体类型,而结点之间的边是比较模糊的,并且哪些结点需要用边来连接也是未知的。需要通过一种类型共现矩阵(即标签关联矩阵):这里有两个类型t1、t2两个都是关于实体的真实类型,如果两个类型之间有依赖关系,那么就通过边来连接两个结点。通过标签的共现信息来建立这样的共现矩阵作为共现关系图的邻接矩阵。
103、将标签关联矩阵输入到图卷积神经网络模型中,得到与标签对应的词级标签关系矩阵。在双曲空间中,这种成对的依赖关系可以由庞加莱距离来计算。为了编码这种邻点信息,本发明遵循图卷积神经网络的传播规则,具体地:
词级标签关系矩阵在图卷积神经网络模型中遵循以下传播规则:
式中,AL为标签关联矩阵,即邻接矩阵,IN为特征矩阵用来添加自相关的边的信息。
A'word满足以下公式:
式中,Aword为词级标签关联矩阵。
综合上述,通过词级标签关联矩阵获取词级标签关系矩阵。通过上述公式,可以看出对于实体的真实类型ti的预测依赖于其最近的邻点。所以,本发明中采用1跳传播信息,忽略图卷积神经网络的非线性激活,因为会在标签的权重矩阵的尺度上引入不必要的约束。
S3、将实体-上下文表示和词级标签关系矩阵输入预先训练的基于双曲空间的标签文本互动机制模型,输出实体最终的标签分类结果。其中,预先训练的基于双曲空间的标签文本互动机制模型是基于训练集中实体-上下文表示、词级标签关系矩阵和对应的标签分类结果,进行训练得到的模型。
基于双曲空间的标签文本互动机制模型的训练过程包括:
基于标签-文本注意力机制,将实体-上下文表示和标签关系矩阵输入基于双曲空间的标签文本互动机制模型,输出实体最终的标签分类结果,满足以下公式:
式中,p为当前标签的概率,即实体最终的标签分类结果,σ为sigmoid标准化函数,f为矩阵拼接函数,N为标签数量,df为拼接后的矩阵维度。
进一步地,如图4所示,为本发明中模型框架的示意图,将实体和上下文进行编码后,基于Attention模型进行交互,得到实体-上下文表示;在双曲空间下,基于数据集中的标签,结图卷积神经网络模型,得到标签关系矩阵;基于实体-上下文表示和标签关系矩阵,并结合双曲空间的标签文本互动机制模型,得到实体最终的标签分类结果。
进一步地,与实体、上下文交互相似,标签、上下文交互同样基于一个注意层。将词级标签关系矩阵作为目标,上下文作为存储器,则可以利用Attention机制进行交互。
实施例2
本实施例中将本发明提供的基于双曲空间表示和标签文本互动的细粒度实体识别方法与其他模型进行对比实验。为遵循对比一致的原则,采用和基线模型一样的公开数据集进行实验。如表1所示,为实验的部分参数。
表1实验的部分参数
主要的实验数据集为Ultra-Fine数据集,包含10331个标签并且大多数被定义为自由形式的未知的短语。训练集通过远程监督的方法进行注释,主要根据KB,Wikipedia和基于头字的关系依赖树来作为注释源,最终形成一个25.4M的训练样本,另外还包括大概6000个众包样本,平均每个样本都包含5个真实标签。
为了更好地体现实验的延展性、可迁移性,本实施例中还在常用的OntoNotes数据集上进行实验。与Ultra-Fine数据集不同,OntoNotes是一个数据量更小并且复杂度不高的一个数据集。主要为了体现我们模型的一种延展性:不仅对于含有大量超精细粒度实体与共现信息丰富的数据集有效,同时对于OntoNotes这样小体量的数据集有效。OntoNotes数据集平均每个样本大约只包含1.5个标签。
以上两个数据集既可以体现复杂的情景又能表明在相对简单的场景模型的性能。如图5所示,为Ultra-Fine数据集和OntoNotes数据集的标签分布比例图。
(一)Ultra-Fine数据集
对于Ultra-Fine数据集,本实施例中选取基线模型(AttentiveNER模型、MultiTask模型、LabelGCN模型和FREQ模型)进行对比。
如表2所示,为Ultra-Fine数据集上,本发明提供的模型与各个基线模型的比较结果和消融实验结果。
表2 Ultra-Fine数据集上本发明提供的模型与各个基线模型的比较结果和消融实验结果
注:P-精确率,R-召回率,F1-深度学习的评价指标。
由表2可知,本发明提供的模型结果几乎在各项评价指标上都取得了当前最好的效果,尤其是在召回率上。在决策阈值上,为了公平所有模型采取同样的0.5进行比较。与AttentiveNER模型相比,本发明的模型F1值有明显提高,但准确率略低,这是因为二分类交叉熵(BCE)作为模型训练的损失函数的时候往往更容易预测到相关性最高的那一个,但是对于其它的不那么敏感导致,导致准确率高但是召回率低的问题。本发明的模型在二者的平衡上与性能上要优于它。与MultiTask模型相比,本发明的模型全部评价指标都优于前者。与LabelGCN模型相比,这个任务和我们的方法比较类似使用了GCN来进行标签关系的捕获,但是本质的区别在于我们不仅考虑了标签本身的相互关系,还加入了文本的上下文信息与标签进行一个交互机制提高性能并且引入了双曲空间增强标签之间的关系表示。因此,我们同样在性能表现上更好并且因为有了文本信息的加入,召回率提升很明显。与FREQ模型相比,本发明的模型采用了双曲空间来加强标签关系的表示。但是FREQ任务主要是提高了超精细粒度实体的准确率,对于粗细粒度与细粒度的实体提升并不明显导致整体效果不好。就像该模型作者在文中所说,双曲空间比欧式空间更适合复杂性的数据任务,对于粗粒度的反而效果不好。我们的模型虽然使用了双曲空间作为嵌入,但是同时也保留了欧式空间的嵌入信息,所以整体性能上取得了不错的效果。
通过消融实验可知:没有标签文本互动模块的条件下,与最好的效果相差了0.9%;没有双曲空间模块的条件下,与最好的效果相差0.5%。由此,可以分析出对于实验效果提升最明显的是标签文本交互模块,这也符合我们实现对于模型设计的初衷。确实引入文本信息来和标签进行关系建立,提升标签的关系表示可以取得更好的效果。双曲空间虽然单独使用提升效果并不明显,但对最终的效果仍然有帮助。最后,在标签文本交互和双曲空间共同作用下模型取得了最好的效果,一方面说明标签关系建立过程中文本信息起了很大的作用,另一方面也说明将标签文本交互来获得关系表示引入到双曲空间中可以再次提升效果。
进一步地,如图6所示为模型的精确率-召回率示意图,采用和LabelGCN模型一致的实验设定和评测方式,用于评价模型的整体性能。从图6可知,本发明提供的模型(用Ours表示)在平衡点上的效果是最好的。
如表3所示,为本发明模型与LabelGCN模型的评价对比。
表3本发明模型与LabelGCN模型的评价对比
Mi-P | Mi-R | Mi-F | Ma-F | |
LabelGCN | 50.2 | 25.3 | 33.7 | 36.6 |
Ours | 46.2 | 28.1 | 34.9 | 37.8(↑1.2) |
(二)OntoNotes数据集
对于OntoNotes数据集,本实施例中选取基线模型(AttentiveNER模型、AFET模型、LNR模型、NFETC模型、MultiTask模型和LabelGCN模型)进行对比。
如表4所示,为OntoNotes数据集上,本发明提供的模型与各个基线模型的比较结果。
表4 OntoNotes数据集上本发明提供的模型与各个基线模型的比较结果
Model | Accuracy | Macro-F1 | Micro-F1 |
AttentiveNER | 51.7 | 71.0 | 64.9 |
AFET | 55.1 | 71.1 | 64.7 |
LNR | 57.2 | 71.5 | 66.1 |
NFETC | 60.2 | 76.4 | 70.2 |
MultiTask | 59.5 | 76.8 | 71.8 |
LabelGCN | 59.6 | 77.8 | 72.2 |
OurModel | 60.5 | 79.0 | 72.7 |
注:Accuracy-准确率,Macro-F1-宏平均F1值,Micro-F1-微平均F1值。
由表4可知,本发明的模型在各项评价指标中均高于其他模型。在OntoNotes数据集同样采用和LabelGCN模型一致的实验设定和评测标准。因为加入了标签文本互动信息,在标签本身共现信息不丰富的情境下还可以依据上下文来建立标签关系,所以在性能上还是获得了提升。同时,准确率也取得了最好的效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例,或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是,在权利要求中,不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中,这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用,仅是为了表述方便,而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外,需要说明的是,在本说明书的描述中,术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例,但本领域的技术人员在得知了基本创造性概念后,则可对这些实施例作出另外的变更和修改。所以,权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也应该包含这些修改和变型在内。
Claims (10)
1.一种基于双曲空间表示和标签文本互动的细粒度实体识别方法,其特征在于,包括以下步骤:
S1、基于数据集中的实体和上下文,对实体和上下文进行交互,得到实体-上下文表示;
S2、在双曲空间下,基于数据集中对实体进行标注的标签,结合预先训练的图卷积神经网络模型,得到与标签对应的词级标签关系矩阵;
预先训练的图卷积神经网络模型是基于训练集中的标签和对应的标签关联矩阵,进行训练得到的模型;
S3、将实体-上下文表示和词级标签关系矩阵输入预先训练的基于双曲空间的标签文本互动机制模型,输出实体最终的标签分类结果;
预先训练的基于双曲空间的标签文本互动机制模型是基于训练集中实体-上下文表示、词级标签关系矩阵和对应的标签分类结果,进行训练得到的模型。
2.如权利要求1所述的细粒度实体识别方法,其特征在于,步骤S1包括:
S11、基于数据集中的实体和上下文,在学习模型上对实体和上下文进行编码;
采用基于字符的卷积神经网络模型对实体编码;采用Bi-LSTM模型对上下文编码,输出每一个时刻的隐含状态,然后将隐含状态在顶层进行自注意力机制层的交互获得上下文特征;
S12、将编码后的实体和上下文特征进行拼接,得到实体-上下文表示。
3.如权利要求2所述的细粒度实体识别方法,其特征在于,步骤S12包括:
S121、通过映射函数对编码后的实体进行矩阵变换,使得编码后的实体的矩阵空间与上下文特征的矩阵空间维度对应一致;
S122、通过Attention模型生成编码后的实体与上下文特征的关联矩阵;
S123、根据关联矩阵,得到编码后的实体与上下文特征的初步交互后的回馈信息;
S124、基于编码后的实体与上下文特征的初步交互后的回馈信息,得到实体与上下文交互的信息;
S125、将实体与上下文交互的信息与上下文特征进行左右拼接,得到实体-上下文表示。
5.如权利要求4所述的细粒度实体识别方法,其特征在于,步骤S122中的关联矩阵满足以下公式:
A=mproj×Wa×C,A∈R1×lc
式中,A为关联矩阵,Wa为可习得矩阵,用于获取实体提及与上下文特征相关部分交互的回馈,C为上下文特征,lc为上下文标注的数量。
7.如权利要求6所述的细粒度实体识别方法,其特征在于,步骤S124中实体与上下文交互的信息,满足以下公式:
r=ρ(Wr[rc;mproj;rc-mproj])
g=σ(Wg[rc;mproj;rc-mproj])
o=g*r+(1-g)*mproj
式中,r为实体上下文混合特征,g为高斯误差线性单元,o为实体与上下文交互的信息,Wr为实体上下文混合特征对应的可学习矩阵,Wg为高斯误差线性单元对应的可学习矩阵。
8.如权利要求7所述的细粒度实体识别方法,其特征在于,图卷积神经网络模型的训练过程包括:
101、在双曲空间下,基于数据集中的标签,得到标签的共现信息;
102、将标签作为图卷积神经网络模型中图的结点,标签的共现信息作为边,获取标签关联矩阵;
103、将标签关联矩阵输入到预先训练的图卷积神经网络模型中,得到与标签对应的词级标签关系矩阵。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010622631.2A CN111782768B (zh) | 2020-06-30 | 2020-06-30 | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 |
PCT/CN2021/090507 WO2022001333A1 (zh) | 2020-06-30 | 2021-04-28 | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010622631.2A CN111782768B (zh) | 2020-06-30 | 2020-06-30 | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111782768A true CN111782768A (zh) | 2020-10-16 |
CN111782768B CN111782768B (zh) | 2021-04-27 |
Family
ID=72761486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010622631.2A Active CN111782768B (zh) | 2020-06-30 | 2020-06-30 | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111782768B (zh) |
WO (1) | WO2022001333A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111302A (zh) * | 2021-04-21 | 2021-07-13 | 上海电力大学 | 一种基于非欧空间的信息提取方法 |
WO2022001333A1 (zh) * | 2020-06-30 | 2022-01-06 | 首都师范大学 | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 |
CN114139531A (zh) * | 2021-11-30 | 2022-03-04 | 哈尔滨理工大学 | 一种基于深度学习的医疗实体预测方法及系统 |
CN114722823A (zh) * | 2022-03-24 | 2022-07-08 | 华中科技大学 | 构建航空知识图谱的方法及装置、计算机可读介质 |
CN114880473A (zh) * | 2022-04-29 | 2022-08-09 | 支付宝(杭州)信息技术有限公司 | 一种标签分类方法、装置、存储介质及电子设备 |
CN114880473B (zh) * | 2022-04-29 | 2024-07-02 | 支付宝(杭州)信息技术有限公司 | 一种标签分类方法、装置、存储介质及电子设备 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114580424B (zh) * | 2022-04-24 | 2022-08-05 | 之江实验室 | 一种用于法律文书的命名实体识别的标注方法和装置 |
CN115935994B (zh) * | 2022-12-12 | 2024-03-08 | 芽米科技(广州)有限公司 | 一种智能识别电商标题方法 |
CN116304061B (zh) * | 2023-05-17 | 2023-07-21 | 中南大学 | 基于层次文本图结构学习的文本分类方法、装置及介质 |
CN117609902B (zh) * | 2024-01-18 | 2024-04-05 | 北京知呱呱科技有限公司 | 一种基于图文多模态双曲嵌入的专利ipc分类方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107797992A (zh) * | 2017-11-10 | 2018-03-13 | 北京百分点信息科技有限公司 | 命名实体识别方法及装置 |
CN109062893A (zh) * | 2018-07-13 | 2018-12-21 | 华南理工大学 | 一种基于全文注意力机制的商品名称识别方法 |
US20190236139A1 (en) * | 2018-01-31 | 2019-08-01 | Jungle Disk, L.L.C. | Natural language generation using pinned text and multiple discriminators |
CN110597970A (zh) * | 2019-08-19 | 2019-12-20 | 华东理工大学 | 一种多粒度医疗实体联合识别的方法及装置 |
US20200110809A1 (en) * | 2018-02-01 | 2020-04-09 | Jungle Disk, L.L.C. | Collating Information From Multiple Sources To Create Actionable Categories And Associated Suggested Actions |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100829401B1 (ko) * | 2006-12-06 | 2008-05-15 | 한국전자통신연구원 | 세부분류 개체명 인식 장치 및 방법 |
CN109919175B (zh) * | 2019-01-16 | 2020-10-23 | 浙江大学 | 一种结合属性信息的实体多分类方法 |
CN111782768B (zh) * | 2020-06-30 | 2021-04-27 | 首都师范大学 | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 |
-
2020
- 2020-06-30 CN CN202010622631.2A patent/CN111782768B/zh active Active
-
2021
- 2021-04-28 WO PCT/CN2021/090507 patent/WO2022001333A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107797992A (zh) * | 2017-11-10 | 2018-03-13 | 北京百分点信息科技有限公司 | 命名实体识别方法及装置 |
US20190236139A1 (en) * | 2018-01-31 | 2019-08-01 | Jungle Disk, L.L.C. | Natural language generation using pinned text and multiple discriminators |
US20200151396A1 (en) * | 2018-01-31 | 2020-05-14 | Jungle Disk, L.L.C. | Natural language generation using pinned text and multiple discriminators |
US20200110809A1 (en) * | 2018-02-01 | 2020-04-09 | Jungle Disk, L.L.C. | Collating Information From Multiple Sources To Create Actionable Categories And Associated Suggested Actions |
CN109062893A (zh) * | 2018-07-13 | 2018-12-21 | 华南理工大学 | 一种基于全文注意力机制的商品名称识别方法 |
CN110597970A (zh) * | 2019-08-19 | 2019-12-20 | 华东理工大学 | 一种多粒度医疗实体联合识别的方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022001333A1 (zh) * | 2020-06-30 | 2022-01-06 | 首都师范大学 | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 |
CN113111302A (zh) * | 2021-04-21 | 2021-07-13 | 上海电力大学 | 一种基于非欧空间的信息提取方法 |
CN113111302B (zh) * | 2021-04-21 | 2023-05-12 | 上海电力大学 | 一种基于非欧空间的信息提取方法 |
CN114139531A (zh) * | 2021-11-30 | 2022-03-04 | 哈尔滨理工大学 | 一种基于深度学习的医疗实体预测方法及系统 |
CN114139531B (zh) * | 2021-11-30 | 2024-05-14 | 哈尔滨理工大学 | 一种基于深度学习的医疗实体预测方法及系统 |
CN114722823A (zh) * | 2022-03-24 | 2022-07-08 | 华中科技大学 | 构建航空知识图谱的方法及装置、计算机可读介质 |
CN114880473A (zh) * | 2022-04-29 | 2022-08-09 | 支付宝(杭州)信息技术有限公司 | 一种标签分类方法、装置、存储介质及电子设备 |
CN114880473B (zh) * | 2022-04-29 | 2024-07-02 | 支付宝(杭州)信息技术有限公司 | 一种标签分类方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111782768B (zh) | 2021-04-27 |
WO2022001333A1 (zh) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111782768B (zh) | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 | |
CN107330032B (zh) | 一种基于递归神经网络的隐式篇章关系分析方法 | |
CN112926303B (zh) | 一种基于BERT-BiGRU的恶意URL检测方法 | |
CN112732916B (zh) | 一种基于bert的多特征融合模糊文本分类系统 | |
CN108062388A (zh) | 人机对话的回复生成方法和装置 | |
CN112487812B (zh) | 一种基于边界识别的嵌套实体识别方法及系统 | |
CN114896388A (zh) | 一种基于混合注意力的层级多标签文本分类方法 | |
CN112733866A (zh) | 一种提高可控图像文本描述正确性的网络构建方法 | |
CN112306494A (zh) | 一种基于卷积和循环神经网络的代码分类及聚类方法 | |
CN115145551A (zh) | 一种面向机器学习应用低代码开发的智能辅助系统 | |
CN112749274A (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
Peng et al. | Image to LaTeX with graph neural network for mathematical formula recognition | |
CN111145914A (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN110941958A (zh) | 一种文本类目标注方法、装置、电子设备及存储介质 | |
CN111723649B (zh) | 一种基于语义分解的短视频事件检测方法 | |
CN113609857A (zh) | 基于级联模型和数据增强的法律命名实体识别方法及系统 | |
CN112434512A (zh) | 一种结合上下文语境的新词确定方法及装置 | |
CN110674265B (zh) | 面向非结构化信息的特征判别与信息推荐系统 | |
CN113434698B (zh) | 基于全层级注意力的关系抽取模型建立方法及其应用 | |
CN114048749B (zh) | 一种适用于多领域的中文命名实体识别方法 | |
CN115730232A (zh) | 基于主题相关的异构图神经网络跨语言文本分类方法 | |
CN115359486A (zh) | 一种文档图像中自定义信息的确定方法及系统 | |
CN115017260A (zh) | 一种基于子主题建模的关键词生成方法 | |
CN107967472A (zh) | 一种使用动态形状编码的搜索词语方法 | |
CN113449517A (zh) | 基于bert门控多窗口注意力网络模型的实体关系抽取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220209 Address after: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5 Patentee after: NORTH CHINA University OF TECHNOLOGY Address before: 100048 No. 105 West Third Ring Road North, Beijing, Haidian District Patentee before: Capital Normal University |
|
TR01 | Transfer of patent right |