CN112270179B - 一种实体识别方法、装置及电子设备 - Google Patents

一种实体识别方法、装置及电子设备 Download PDF

Info

Publication number
CN112270179B
CN112270179B CN202011103763.0A CN202011103763A CN112270179B CN 112270179 B CN112270179 B CN 112270179B CN 202011103763 A CN202011103763 A CN 202011103763A CN 112270179 B CN112270179 B CN 112270179B
Authority
CN
China
Prior art keywords
target
vector
information
identified
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011103763.0A
Other languages
English (en)
Other versions
CN112270179A (zh
Inventor
肖杰
莫永卓
赵顺峰
练睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Workway Shenzhen Information Technology Co ltd
Original Assignee
Workway Shenzhen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Workway Shenzhen Information Technology Co ltd filed Critical Workway Shenzhen Information Technology Co ltd
Priority to CN202011103763.0A priority Critical patent/CN112270179B/zh
Publication of CN112270179A publication Critical patent/CN112270179A/zh
Application granted granted Critical
Publication of CN112270179B publication Critical patent/CN112270179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种实体识别方法、装置以及电子设备,方法包括以下步骤:获取待识别信息;根据待识别信息,得到第一目标向量;将第一目标向量分别投影到多个空间模型中,得到多个投影模型;根据多个投影模型,得到第二目标向量;根据第二目标向量,确定目标第二标签;输出目标第二标签,目标第二标签表征在待识别信息内识别到的实体;其中,多个空间模型相互存在差异,且每一空间模型均对应至少一个第一标签,每一第一标签均对应多个第二标签。本申请通过将第一目标向量投影到多个空间模型内,使得在确定目标第二标签时,只需要从目标第一标签对应的第二标签中确定目标第二标签即可,大大减小了确定目标第二标签的运算量。

Description

一种实体识别方法、装置及电子设备
技术领域
本发明涉及自然语言理解领域,尤其涉及一种实体识别方法、装置及电子设备。
背景技术
在自然语言理解技术领域,在解析一句话的语义时,需要对句子中的实体进行识别。在一些方法中,采用直接建模的方法,通过调整网络结构(将卷积神经网络、循环神经网络等网络堆砌起来,构成新的深度网络)、调整损失函数(采用局部和全局损失函数进行综合决策)、加入标签特征(标签树转化为标签球形嵌入、标签图嵌入)等方式来优化模型。在一些情况下,一些学者不考虑标签的上下级联系,直接对底层标签进行建模。通过加入预训练模型、标签嵌入等方式来优化模型。但由于大多场景下,标签的数量都是非常多的,采用上述模型进行识别,会因为标签数量多,导致运算量过大等问题。
发明内容
有鉴于此,本发明提供一种实体识别方法、装置及电子设备,至少部分解决现有技术中存在的问题。
根据本申请的一方面,本申请提供一种实体识别方法,包括以下步骤:
获取待识别信息;
根据所述待识别信息,得到第一目标向量;
将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型;
根据多个所述投影模型,得到第二目标向量;
根据所述第二目标向量,确定目标第二标签;
输出所述目标第二标签,所述目标第二标签表征在所述待识别信息内识别到的实体;
其中,多个空间模型相互存在差异,且每一所述空间模型均对应至少一个第一标签,每一所述第一标签均对应多个第二标签,所述第二目标向量能够表征所述第一目标向量或所述待识别信息与每一所述空间模型的关联度,以从至少一个所述第一标签内确定出目标第一标签。
在本公开的一种示例性实施例中,所述将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型,包括:
根据所述待识别信息确定投影方法;
根据所述投影方法,将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型。
在本公开的一种示例性实施例中,所述投影方法包括:极坐标变换、傅里叶变换、拉普拉斯变换、高斯变换、黎曼流形变换。
在本公开的一种示例性实施例中,所述根据多个所述投影模型,得到第二目标向量,包括:
计算每一所述空间模型的权重,得到每一所述空间模型对应的权重表征向量;
根据整合规则,将多个投影模型与多个所述权重表征向量整合为第二目标向量。
在本公开的一种示例性实施例中,所述计算每一所述空间模型的权重,得到每一所述空间模型对应的权重表征向量,包括:
获取每一所述空间模型对应的权重矩阵;
根据每一所述空间模型对应的权重矩阵和投影向量,得到每一所述空间模型的权重;
根据每一空间模型对应的标签表征向量和权重,得到每一所述空间模型对应的权重表征向量。
在本公开的一种示例性实施例中,在所述将所述第一目标向量分别投影到多个空间模型中之前,所述方法还包括:
根据多个所述第一标签,确定每一所述第一标签对应的空间模型和标签表征向量。
在本公开的一种示例性实施例中,所述根据所述待识别信息,得到第一目标向量,包括:
根据所述待识别信息,得到第一类表征向量和至少一个第二类表征向量;
通过整合函数将所述第一类表征向量和至少一个所述第二类表征向量整合为第一目标向量。
在本公开的一种示例性实施例中,所述第一类表征向量为所述待识别信息对应的字向量;
至少一个所述第二类表征向量包括以下至少一个:所述待识别信息对应的词性向量、所述待识别信息对应的分块向量、所述待识别信息对应的字典向量。
根据本申请的一方面,本申请提供一种实体识别装置,包括:
获取模块,用于获取待识别信息;
第一转换模块,用于根据所述待识别信息,得到第一目标向量;
第二转换模块,用于将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型;
第三转换模块,用于根据多个所述投影模型,得到第二目标向量;
确定模块,用于根据所述第二目标向量,确定目标第二标签;
输出模块,用于输出所述目标第二标签,所述目标第二标签表征在所述待识别信息内识别到的实体;
其中,多个空间模型相互存在差异,且每一所述空间模型均对应至少一个第一标签,每一所述第一标签均对应多个第二标签。
根据本申请的一方面,本申请提供一种电子设备,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行上述任一项所述的实体识别方法。
根据本申请的一方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的实体识别方法。
本申请提供一种实体识别方法、装置以及电子设备,在应用时,能够先从待识别信息中提取到第一目标向量,第一目标向量能够表征待识别信息中的至少部分信息。通过将第一目标向量投影到多个与不同第一标签对应的空间模型中,得到投影模型,并根据投影模型生成第二目标向量。第二目标向量能够表征第一目标向量或待识别语句与不同空间模型的关联度,从而使得能够通过第二目标向量得知待识别语句与哪一个或哪一些第一标签具有足够的关联度,并确定为目标第一标签。如此,在确定目标第二标签时,只需要从目标第一标签对应的第二标签中确定目标第二标签即可,大大减小了确定目标第二标签的运算量。同时,本申请是通过将第一目标向量投影到多个空间模型中,将普通的一维向量转换为多维的投影模型,并依此进行后续识别,使得信息不会在数据转化过程中造成过大的信息损失,保证甚至提高了后续识别的精准度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本实施提供的一种实体识别方法的流程示意图;
图2为本实施提供的一种实体识别方法中标签树的示意图;
图3为本实施提供的一种实体识别装置的示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合;并且,基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本示例实施方式中首先提供了一种实体识别方法,该实体识别方法可以运行于对话系统,也可应用于智能音箱等智能设备之中。当然,应用的AI模型也是可以运行在诸如服务器、云端、PC机等具有一定算力的设备上。本示例性实施例中对此不做特殊限定。参考图1所示,该实体识别方法可以包括以下步骤:
步骤S100,获取待识别信息。
待识别信息可以是用户通过输入界面主动输入的,也可以是通过语音识别得到的。本实施例中对待识别信息的获取方式不加限定。
步骤S200,根据所述待识别信息,得到第一目标向量。
第一目标向量是根据待识别信息中的至少部分特征转换为向量特征后得到的,其中,至少部分特征可以为待识别信息的句子向量、字向量、词向量、词性向量、字典向量、字块向量等等,具体实施可根据需求进行选择和搭配。
步骤S300,将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型。
步骤S400,根据多个所述投影模型,得到第二目标向量。
将第一目标向量投影到多个与不同第一标签对应的空间模型中,得到投影模型,并根据投影模型生成第二目标向量。第二目标向量能够表征第一目标向量或待识别语句与不同空间模型的关联度,以从至少一个所述第一标签内确定出目标第一标签,从而使得能够通过第二目标向量得知待识别语句与哪一个或哪一些第一标签具有足够的关联度,并确定为目标第一标签。
步骤S500,根据所述第二目标向量,确定目标第二标签。
通过上述内容可知,第二目标向量能够表征第一目标向量或待识别信息与多个空间模型的关联度,从而选择出目标第一标签。如此,在根据第二目标向量确定目标第二标签时,只需要从目标第一标签对应的多个第二标签中进行筛选即可。
步骤S600,输出所述目标第二标签,所述目标第二标签表征在所述待识别信息内识别到的实体。
其中,多个空间模型相互存在差异,且每一所述空间模型均对应至少一个第一标签,每一所述第一标签均对应多个第二标签。值得说明的是,本实施例中,第一标签和第二标签可以根据业务类型自行设置标签系统,其中,第一标签可设置为中层次的标签,其下属的第二标签则是低层次的标签,即最终对应实体的标签。由此可以看出,本实施例中,标签系统中的多个标签是成树状结构分布的,第二标签即代表树状结构最底层的叶节点。同时要强调,本实施例中只区分了第一标签和第二标签,但不限定本实施例使用的标签系统仅仅是两层结构,而是可以根据实际业务需求设置成多层的,此时第一标签泛指中间层次的标签。
由上述内容可知,本实施例提供的一种实体识别方法,在应用时,能够先从待识别信息中提取到第一目标向量,第一目标向量能够表征待识别信息中的至少部分信息。通过将第一目标向量投影到多个与不同第一标签对应的空间模型中,得到投影模型,并根据投影模型生成第二目标向量。第二目标向量能够表征第一目标向量或待识别语句与不同空间模型的关联度,从而使得能够通过第二目标向量得知待识别语句与哪一个或哪一些第一标签具有足够的关联度,并确定为目标第一标签。如此,在确定目标第二标签时,只需要从目标第一标签对应的第二标签中确定目标第二标签即可,大大减小了确定目标第二标签的运算量。同时,本实施例是通过将第一目标向量投影到多个空间模型中,将普通的一维向量转换为多维的投影模型,并依此进行后续识别,使得信息不会在数据转化过程中造成过大的信息损失,保证甚至提高了后续识别的精准度。
在本实施例的一种示例性实施例中,步骤S300可以包括:
步骤S310,根据所述待识别信息确定投影方法。
步骤S320,根据所述投影方法,将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型。
本实施例提供的方法可以用于多种业务场景或业务类型等。但根据每种不同的场景,其信息的构成方式和文字的叙述方法都存在一定的差异。故而为了让本方法能在不同的场景中也达到足够高的识别准确度,本实施例可针对不同的场景预先设置或训练多种投影方法。在对待识别信息进行识别时,可根据待识别信息和当前的业务场景等来选择适合的投影方法。值得说明的是,为了保证得到的多个投影空间能够在同一维度上进行比较,在将第一目标向量投影至多个空间模型时,需要采用相同的投影方法。
进一步地,在本实施例的一种示例性实施例中,提供一些候选的投影方法,具体包括:极坐标变换、傅里叶变换、拉普拉斯变换、高斯变换、黎曼流形变换。但实际应用时,投影方法可以不局限于上述的几种方法,本领域技术人员能够在现有技术的掌握基础上进行合理的选择。
同时,在进行投影方法的选择时,可以根据下述内容进行选择:
在实数域选择旋转变换(极坐标变换);
在复数域选择傅里叶变换和拉普拉斯变换;
在概率空间选择高斯过程;
在流形空间选择黎曼流形。
在本实施例的一种示例性实施例中,步骤S400,可以包括:
步骤S410,计算每一所述空间模型的权重,得到每一所述空间模型对应的权重表征向量。
步骤S420,根据整合规则,将多个投影模型与多个所述权重表征向量整合为第二目标向量。
其中,计算每一空间模型的权重可采用得分函数等能够对不同空间模型进行打分的函数。整合规则可以为,叠加、组合等方式。
相应地,步骤S410,可以包括:
步骤S411,获取每一所述空间模型对应的权重矩阵;
步骤S412,根据每一所述空间模型对应的权重矩阵和投影向量,得到每一所述空间模型的权重;
步骤S413,根据每一空间模型对应的标签表征向量和权重,得到每一所述空间模型对应的权重表征向量。
其中,每一空间模型的权重矩阵可以通过预先的设置或训练得到。每一空间模型对应的标签表征向量,可以理解为每一第一标签对应的标签表征向量,标签表征向量为训练所学习到第一标签的表示向量。
相应地,在本实施例中,在步骤S300之前,所述方法还包括:
步骤S301,根据多个所述第一标签,确定每一所述第一标签对应的空间模型和标签表征向量。其中,空间模型和标签表征向量都可通过模型训练的方式得到。
值得说明的是,本实施提供的实体识别方法,在应用于AI模型中时,期内也要设置损失函数模块,损失函数模块主要用于根据样本中的正负样本,在训练过程中,对样本进行转换,并调整其他模块中的参数,使输出结果尽可能与样本中的表示结果相同。
在本实施例的一种示例性实施例中,步骤S200,包括:
步骤S210,根据所述待识别信息,得到第一类表征向量和至少一个第二类表征向量;
步骤S220,通过整合函数将所述第一类表征向量和至少一个所述第二类表征向量整合为第一目标向量。
其中,第一类表征向量和第二类表征向量在特征上存在差异,其可以体现为,第一类表征向量为基础的文字信息等。而第二类表征向量可以为待识别信息的关联信息,即第二类表征向量为特殊表征向量。
具体地,在实施例中,所述第一类表征向量为所述待识别信息对应的字向量;
至少一个所述第二类表征向量包括以下至少一个:所述待识别信息对应的词性向量、所述待识别信息对应的分块向量、所述待识别信息对应的字典向量。
具体应用时,第二类表征向量可以为一个或多个,可从上述的几种向量中进行选择。同时,上述的向量均为使用不同的转换方式对待处理信息进行转换后得到的。转换方式可以为数据库查找、转换模型等。本实施例中,第二类表征向量为三个,分别为所述待识别信息对应的词性向量、所述待识别信息对应的分块向量、所述待识别信息对应的字典向量。
本实施例中,根据上述的实体识别方法,提供一个在现实场景下的应用说明,以银行场景进行举例:
根据银行场景建立一个简单的标签树,如图2所示,其中,中间层的标签即为第一标签,也就时相互独立的标签。每一第一标签下层对应的即为第二标签。
根据标签树选出5个独立的标签(操作词、渠道、证件、产品、卡种介质),生成5个相对应的标签向量,即:
Figure BDA0002726275030000091
训练时随机初始化。
标签空间转换函数为:
Figure BDA0002726275030000092
其中1≤j≤5表示有5个独立空间,τ∈(R,C,G,P)表示实数域、复数域、概率空间、流形空间。
在实数域我们选择旋转变换(极坐标变换);
在复数域我们选择傅里叶变换和拉普拉斯变换;
在概率空间我们选择高斯过程;
在流形空间我们选择黎曼流形。
在下面的例子中我们选择实数域上的旋转变换。
确定相关业务的词典:
例如:手机银行、龙支付、房贷......总2000个单词。
利用word2vec工具学习字向量,然后生成对应的词向量,所有单词相对应的词向量矩阵为Mdict
确定所有词性:
这里我们采用jieba分词工具进行分词,整理jieba里面包含所有的词性。用one-hot的方式初步生成对应的词性向量矩阵,然后用全连接进行学习得到相对应的词性向量矩阵Mpos
确定block向量:
这里采用依存句法进行分块,生成有block和没有block两种向量,得到的block向量矩阵为:Mblock
具体流程;
例:为什么我的手机银行里面的龙支付用不了了?
输入:sentence='为什么我的手机银行里面的龙支付用不了了?'
s=['为','什','么','我','的','手','机','银','行','里','面','的','龙','支','付','用','不','了','了','?']
对应的符合表示为:s=(c1,c2,…,ci,…,c19,c20),1≤i≤20。
(1)采用BERT预训练模型对s进行编码,得到x=(x1,x2,…,xi,…,x19,x20),xi∈R768
(2)采用jieba分词,得到:[('为什么','r'),('我','r'),('的','uj'),('手机','n'),('银行','n'),('里面','f'),
('的','uj'),('龙','n'),('支付','v'),('用','p'),('不了','v'),('了','ul'),('?','x')],'银行'的词性为n,通过Mpos矩阵查询得到n的向量vn,这样'银','行'的词性向量都为vn,于是可以得到句子s的词性特征为:pos=(pos1,pos2,…,posi,…,pos19,pos20),pos8=pos9=vn,posi∈R25
(3)通过字典匹配得到字典特征,手机银行和龙支付都在字典里面,故这几个字符都具有字典特征,其他的字符没有字典特征,其向量特征可以通过字典向量矩阵Mdict查询得到,具体由向量表示为:
dict=(dict1,dict2,…,dicti,…,dict19,dict20),dicti∈R25
(4)添加区块特征,可以通过区块特征向量矩阵Mblock查询得到,具体由向量表示为:
block=(block1,block2,…,blocki,…,block19,block20),blocki∈R25
(5)通过特征整合函数f,这里我们采用concatenation,即:
t=(t1,t2,…,ti,…,t19,t20)=f(x,pos,block,dict),ti∈R843
(6)投影到5个相对独立空间,t在每个空间里得到不同的表示,这里以实数域为例采用旋转变换。即:
Figure BDA0002726275030000101
Figure BDA0002726275030000111
通过得分函数计算出每个空间的权重,通过对5个对立空间进行线性组合得到句子最后的表征向量,即:
Figure BDA0002726275030000112
Figure BDA0002726275030000113
这里
Figure BDA0002726275030000114
为训练所学习到独立标签的表示向量,
W1,W2,W3,W4,W5是依赖对应空间的权重矩阵,由训练所学习得到。句子最后的表征向量为:
Figure BDA0002726275030000115
这里:
Figure BDA0002726275030000116
(7)用CRF进行解码识别出句子中的实体即输出,即:
Figure BDA0002726275030000117
对于:s=['为','什','么','我','的','手','机','银','行','里','面','的','龙','支','付','用','不','了','了','?'],最后得到:['O','O','O','O','O','B-个人手机银行','I-个人手机银行','I-个人手机银行','I-个人手机银行','O','O','O','B-龙支付','I-龙支付','I-龙支付','O','O','O','O','O']。
最后再用解析得到实体:[{'entity_type':'个人手机银行','start_pos':5,'end_pos':9,'word':'手机银行'},{'entity_type':'龙支付','start_pos':12,'end_pos':15,'word':'龙支付'}]。
解释为:从句子“为什么我的手机银行里面的龙支付用不了了?”,识别出实体“手机银行”及其类型为“个人手机银行”和实体“龙支付”及其类型为“龙支付”。
最后进行总结一下:
输入:
为什么我的手机银行里面的龙支付用不了了?
输出:
[{'entity_type':'个人手机银行','start_pos':5,'end_pos':9,'word':'手机银行'},
{'entity_type':'龙支付','start_pos':12,'end_pos':15,'word':'龙支付'}]
本实施例中,我们还提供了一种新的损失函数模块,具体如下:
针对独立的标签空间进行学习设置层次空间标签损失,对得到的
Figure BDA0002726275030000121
经过得分函数g,即:
Figure BDA0002726275030000122
这里:
Figure BDA0002726275030000123
为第j个相对独立标签的表示向量,
Figure BDA0002726275030000124
Figure BDA0002726275030000125
可以理解为第j个空间的权重。损失函数定义如下:
Figure BDA0002726275030000126
这里z+,z-分别为正负样本,这使得句子经过标签空间变换后转向正的方面。
对每个空间的句子表征进行加权得到句子最后的表征为:
Figure BDA0002726275030000127
针对特定任务设任务损失函数Jt,这里假设句子最后的表征记为zi
对于分类任务:对于得到的zi,经过全连接得到:
Figure BDA0002726275030000128
Figure BDA0002726275030000129
对于命名实体识别任务:这里我们采用条件随机场进行解码,
Figure BDA00027262750300001210
本实施例还提供了一种实体识别装置,参考图3所示,该实体识别装置可以包括:获取模块、第一转换模块、第二转换模块、第三转换模块、确定模块、输出模块。
获取模块,用于获取待识别信息;
第一转换模块,用于根据所述待识别信息,得到第一目标向量;
第二转换模块,用于将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型;
第三转换模块,用于根据多个所述投影模型,得到第二目标向量;
确定模块,用于根据所述第二目标向量,确定目标第二标签;
输出模块,用于输出所述目标第二标签,所述目标第二标签表征在所述待识别信息内识别到的实体;
其中,多个空间模型相互存在差异,且每一所述空间模型均对应至少一个第一标签,每一所述第一标签均对应多个第二标签。
本实施例提供一种实体识别装置,在应用时,能够先从待识别信息中提取到第一目标向量,第一目标向量能够表征待识别信息中的至少部分信息。通过将第一目标向量投影到多个与不同第一标签对应的空间模型中,得到投影模型,并根据投影模型生成第二目标向量。第二目标向量能够表征第一目标向量或待识别语句与不同空间模型的关联度,从而使得能够通过第二目标向量得知待识别语句与哪一个或哪一些第一标签具有足够的关联度,并确定为目标第一标签。如此,在确定目标第二标签时,只需要从目标第一标签对应的第二标签中确定目标第二标签即可,大大减小了确定目标第二标签的运算量。同时,本实施例是通过将第一目标向量投影到多个空间模型中,将普通的一维向量转换为多维的投影模型,并依此进行后续识别,使得信息不会在数据转化过程中造成过大的信息损失,保证甚至提高了后续识别的精准度。
上述实体识别装置中各模块的具体细节已经在对应的实体识别方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本实施例的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本实施例中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本实施例实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本实施例实施方式的方法。
在本实施例的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于:上述至少一个处理单元、上述至少一个存储单元、连接不同系统组件(包括存储单元和处理单元)的总线。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元执行,使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元可以执行如图1中所示的步骤S100,获取待识别信息。步骤S200,根据所述待识别信息,得到第一目标向量。步骤S300,将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型。步骤S400,根据多个所述投影模型,得到第二目标向量。步骤S500,根据所述第二目标向量,确定目标第二标签。步骤S600,输出所述目标第二标签,所述目标第二标签表征在所述待识别信息内识别到的实体。
存储单元可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)和/或高速缓存存储单元,还可以进一步包括只读存储单元(ROM)。
存储单元还可以包括具有一组(至少一个)程序模块的程序/实用工具,这样的程序模块包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备交互的设备通信,和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且,电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器通过总线与电子设备的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本实施例实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本实施例实施方式的方法。
在本实施例的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种实体识别方法,其特征在于,包括以下步骤:
获取待识别信息;
根据所述待识别信息,得到第一目标向量;
将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型;
计算每一所述空间模型的权重,得到每一所述空间模型对应的权重表征向量;
根据整合规则,将多个投影模型与多个所述权重表征向量整合为第二目标向量;
根据所述第二目标向量,确定目标第二标签;
输出所述目标第二标签,所述目标第二标签表征在所述待识别信息内识别到的实体;
其中,多个空间模型相互存在差异,且每一所述空间模型均对应至少一个第一标签,每一所述第一标签均对应多个第二标签,所述第二目标向量能够表征所述第一目标向量或所述待识别信息与每一所述空间模型的关联度,以从至少一个所述第一标签内确定出目标第一标签。
2.根据权利要求1所述的实体识别方法,其特征在于,所述将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型,包括:
根据所述待识别信息确定投影方法;
根据所述投影方法,将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型。
3.根据权利要求2所述的实体识别方法,其特征在于,所述投影方法包括:极坐标变换、傅里叶变换、拉普拉斯变换、高斯变换、黎曼流形变换。
4.根据权利要求1所述的实体识别方法,其特征在于,所述计算每一所述空间模型的权重,得到每一所述空间模型对应的权重表征向量,包括:
获取每一所述空间模型对应的权重矩阵;
根据每一所述空间模型对应的权重矩阵和投影向量,得到每一所述空间模型的权重;
根据每一空间模型对应的标签表征向量和权重,得到每一所述空间模型对应的权重表征向量。
5.根据权利要求1所述的实体识别方法,其特征在于,在所述将所述第一目标向量分别投影到多个空间模型中之前,所述方法还包括:
根据多个所述第一标签,确定每一所述第一标签对应的空间模型和标签表征向量。
6.根据权利要求1-5任一项所述的实体识别方法,其特征在于,所述根据所述待识别信息,得到第一目标向量,包括:
根据所述待识别信息,得到第一类表征向量和至少一个第二类表征向量;
通过整合函数将所述第一类表征向量和至少一个所述第二类表征向量整合为第一目标向量。
7.根据权利要求6所述的实体识别方法,其特征在于,
所述第一类表征向量为所述待识别信息对应的字向量;
至少一个所述第二类表征向量包括以下至少一个:所述待识别信息对应的词性向量、所述待识别信息对应的分块向量、所述待识别信息对应的字典向量。
8.一种实体识别装置,其特征在于,包括:
获取模块,用于获取待识别信息;
第一转换模块,用于根据所述待识别信息,得到第一目标向量;
第二转换模块,用于将所述第一目标向量分别投影到多个空间模型中,得到多个投影模型;
第三转换模块,用于计算每一所述空间模型的权重,得到每一所述空间模型对应的权重表征向量;并根据整合规则,将多个投影模型与多个所述权重表征向量整合为第二目标向量;
确定模块,用于根据所述第二目标向量,确定目标第二标签;
输出模块,用于输出所述目标第二标签,所述目标第二标签表征在所述待识别信息内识别到的实体;
其中,多个空间模型相互存在差异,且每一所述空间模型均对应至少一个第一标签,每一所述第一标签均对应多个第二标签;所述第二目标向量能够表征所述第一目标向量或所述待识别信息与每一所述空间模型的关联度,以从至少一个所述第一标签内确定出目标第一标签。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的实体识别方法。
CN202011103763.0A 2020-10-15 2020-10-15 一种实体识别方法、装置及电子设备 Active CN112270179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011103763.0A CN112270179B (zh) 2020-10-15 2020-10-15 一种实体识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011103763.0A CN112270179B (zh) 2020-10-15 2020-10-15 一种实体识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112270179A CN112270179A (zh) 2021-01-26
CN112270179B true CN112270179B (zh) 2021-11-09

Family

ID=74337521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011103763.0A Active CN112270179B (zh) 2020-10-15 2020-10-15 一种实体识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112270179B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886516A (zh) * 2017-02-27 2017-06-23 竹间智能科技(上海)有限公司 自动识别语句关系和实体的方法及装置
CN109885833A (zh) * 2019-02-18 2019-06-14 山东科技大学 一种基于多域数据集联合嵌入的性感极性检测方法
CN110457486A (zh) * 2019-07-05 2019-11-15 中国人民解放军战略支援部队信息工程大学 基于知识图谱的人物实体对齐方法及装置
US10496752B1 (en) * 2018-01-04 2019-12-03 Facebook, Inc. Consumer insights analysis using word embeddings
CN110705299A (zh) * 2019-09-26 2020-01-17 北京明略软件系统有限公司 实体和关系的联合抽取方法、模型、电子设备及存储介质
CN111274412A (zh) * 2020-01-22 2020-06-12 腾讯科技(深圳)有限公司 信息提取方法、信息提取模型训练方法、装置及存储介质
CN111767409A (zh) * 2020-06-14 2020-10-13 南开大学 一种基于多头自注意力机制的实体关系抽取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3101534A1 (en) * 2015-06-01 2016-12-07 Siemens Aktiengesellschaft Method and computer program product for semantically representing a system of devices
CN108874997A (zh) * 2018-06-13 2018-11-23 广东外语外贸大学 一种面向电影评论的人名命名实体识别方法
CN109902186B (zh) * 2019-03-12 2021-05-11 北京百度网讯科技有限公司 用于生成神经网络的方法和装置
CN110750992B (zh) * 2019-10-09 2023-07-04 吉林大学 命名实体识别方法、装置、电子设备及介质
CN111291566B (zh) * 2020-01-21 2023-04-28 北京明略软件系统有限公司 一种事件主体识别方法、装置、存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886516A (zh) * 2017-02-27 2017-06-23 竹间智能科技(上海)有限公司 自动识别语句关系和实体的方法及装置
US10496752B1 (en) * 2018-01-04 2019-12-03 Facebook, Inc. Consumer insights analysis using word embeddings
CN109885833A (zh) * 2019-02-18 2019-06-14 山东科技大学 一种基于多域数据集联合嵌入的性感极性检测方法
CN110457486A (zh) * 2019-07-05 2019-11-15 中国人民解放军战略支援部队信息工程大学 基于知识图谱的人物实体对齐方法及装置
CN110705299A (zh) * 2019-09-26 2020-01-17 北京明略软件系统有限公司 实体和关系的联合抽取方法、模型、电子设备及存储介质
CN111274412A (zh) * 2020-01-22 2020-06-12 腾讯科技(深圳)有限公司 信息提取方法、信息提取模型训练方法、装置及存储介质
CN111767409A (zh) * 2020-06-14 2020-10-13 南开大学 一种基于多头自注意力机制的实体关系抽取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于文本语料的上下位关系识别研究综述;邱科达 等;《情报科学》;20200731;第38卷(第7期);第162-172页 *
基于模型合并的无监督降维方法研究;崔凯;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;第I138-6646页 *

Also Published As

Publication number Publication date
CN112270179A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
WO2021082953A1 (zh) 机器阅读理解方法、设备、存储介质及装置
US11093707B2 (en) Adversarial training data augmentation data for text classifiers
CN109101537B (zh) 基于深度学习的多轮对话数据分类方法、装置和电子设备
US11455473B2 (en) Vector representation based on context
US11915123B2 (en) Fusing multimodal data using recurrent neural networks
CN109783490B (zh) 数据融合方法、装置、计算机设备及存储介质
US20200227030A1 (en) Adversarial Training Data Augmentation for Generating Related Responses
CN114676234A (zh) 一种模型训练方法及相关设备
CN113064964A (zh) 文本分类方法、模型训练方法、装置、设备以及存储介质
CN111666416A (zh) 用于生成语义匹配模型的方法和装置
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN114398881A (zh) 基于图神经网络的交易信息识别方法、系统及介质
CN112949758A (zh) 应答模型的训练方法、应答方法、装置、设备及存储介质
CN113434683A (zh) 文本分类方法、装置、介质及电子设备
CN113918710A (zh) 文本数据处理方法、装置、电子设备和可读存储介质
CN113239702A (zh) 意图识别方法、装置、电子设备
US11734602B2 (en) Methods and systems for automated feature generation utilizing formula semantification
CN113343692B (zh) 搜索意图的识别方法、模型训练方法、装置、介质及设备
CN114692624A (zh) 一种基于多任务迁移的信息抽取方法、装置及电子设备
CN113869068A (zh) 场景服务推荐方法、装置、设备及存储介质
CN117349402A (zh) 一种基于机器阅读理解的情绪原因对识别方法及系统
CN116450943A (zh) 基于人工智能的话术推荐方法、装置、设备及存储介质
CN112270179B (zh) 一种实体识别方法、装置及电子设备
US11663251B2 (en) Question answering approach to semantic parsing of mathematical formulas
CN118132687A (zh) 语句处理和类目模型的训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant