CN112541589B - 基于ahe对齐超平面的文本知识嵌入方法 - Google Patents
基于ahe对齐超平面的文本知识嵌入方法 Download PDFInfo
- Publication number
- CN112541589B CN112541589B CN202011520861.4A CN202011520861A CN112541589B CN 112541589 B CN112541589 B CN 112541589B CN 202011520861 A CN202011520861 A CN 202011520861A CN 112541589 B CN112541589 B CN 112541589B
- Authority
- CN
- China
- Prior art keywords
- ahe
- vector
- text
- hyperplane
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/027—Frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于AHE对齐超平面的文本知识嵌入方法,包括以下步骤:步骤S1:对数据集进行预训练词向量,获得文本描述的精确表示;步骤S2:采用AHE对齐超平面策略,将文本向量与内部向量对齐为统一的隐含层维度,并分别对头尾实体进行文本超平面投影,获得交互增强的表示向量,并将其应用至知识库基础模型中。解决了传统文本联合学习模型对文本描述引入的不精确性和不灵活性,进一步有效提高知识图谱补全效果。
Description
技术领域
本发明涉及知识图谱领域,具体涉及一种基于AHE对齐超平面的文本知识嵌入方法。
背景技术
现有的方法在文本描述的利用上已经有了一定的成功,但仍然存在一些问题。在DKRL]中,每一个实体分别关联了结构表示向量和描述表示向量,但是其最终的联合模型采用的是简单的一阶约束来同时学习两类向量,这无法有效地捕获文本与三元组的相关性。Han等人的SSP方法改进了这一点,通过建立头尾描述特定的语义超平面来投影内部结构的得分,并在内部结构得分和投影得分之间通过λ超参数权衡二者,这在某种程度上是能够精确捕获的,但其性能依赖于头尾描述信息的语义组成函数,这影响了模型的可扩展性。另外,二者的文本描述向量与结构表示向量都是联合学习的,文本向量的学习通常需要深层神经网络的支持,这产生了很长的训练周期,而结构表示向量往往不需要这一点,联合学习的方法无法在训练时长和训练精度上有一个很好的折衷。
发明内容
有鉴于此,本发明的目的在于提供一种基于AHE对齐超平面的文本知识嵌入方法,解决了传统文本联合学习模型对文本描述引入的不精确性和不灵活性,进一步有效提高知识图谱补全效果。
为实现上述目的,本发明采用如下技术方案:
一种基于AHE对齐超平面的文本知识嵌入方法,包括以下步骤:
步骤S1:对数据集进行预训练词向量,获得文本描述的精确表示;
步骤S2:采用AHE对齐超平面策略,将文本向量与内部向量对齐为统一的隐含层维度,并分别对头尾实体进行文本超平面投影,获得交互增强的表示向量,并将其应用至知识库基础模型中。
进一步的,所述数据集包括FB-Text数据集和WN9-Text数据集。
进一步的,对于FB-Text数据集,采用word2vec框架中为Freebase实体提供的预训练词向量,具体的预训练词向量通过在Google News Dataset上使用skip-gram模型训练得到,并应用l2范数获得向量的归一化表示。
进一步的,对于WN9-Text数据集,采用AutoExtend框架,具体的使用预训练的300维Golve词向量,当Golve中不存在对应的含义嵌入时,AutoExtend将为这样的同义词生成值为0的初始化向量,并应用l2范数获得向量的归一化表示。
进一步的,所述步骤S2具体为:
步骤S21:对于一个三元组(s,r,o),通过步骤S1得到它们文本描述向量sw(ow),以及通过随机初始化的方法得到内部结构向量si(oi);
步骤S22:利用AHE对齐过程将sw(ow)对齐到与si(oi)统一的空间中,得到snew(onew);
步骤S23:通过si(oi)在snew(onew)的超平面投影,建模它们之间的交互,得到s'(o');
步骤S24:将得到的s'(o')输入到原始模型的得分函数中,得到融合文本描述信息的新得分。
进一步的,所述AHE对齐过程包括直接映射和串联映射
具体地,设全连接权重M和偏移量b,则直接映射方法的公式如下:
enew=M·ew+b (2)
串联映射具体为,对于输入ew和ei,利用拼接函数将二者在纵向进行拼接,得到新的向量,然后经过全连接层提取它们的联合特征,公式如下:
enew=M·concat(ew;ei)+b (3)。
进一步的,所述超平面投影具体为:
将新的文本向量enew视为正交特征,并将内部表示向量投影到文本向量的超平面上,对于头尾实体采用一致的操作;
给定实体内部表示向量ei,将enew视为超平面的法向量,则新的实体向量的计算过程如下:
进一步的,所述知识库基础模型包括传统翻译模型TransE、语义匹配模型DistMult以及旋转翻译模型RotatE。
进一步的,所述传统翻译模型TransE、语义匹配模型DistMult以及旋转翻译模型RotatE得分函数分别为
TransE:fr(s,o)=||s+r-t||1 (6)
DistMult:fr(s,o)=sTdiag(r) o (7)
RotatE:fr(s,o)=||sor-o||1 (8)
对于RotatE,对其实部和虚部的表示分别进行了AHE步骤,即e1'=AHE(e1,ew)和e2'=AHE(e2,ew),其中e1和e2分别表示RotatE复数嵌入的实部和虚部;
扩展后的各模型,分别命名为AHE-TransE,AHE-DistMult和AHE-RotatE,其得分函数分别定义为:
AHE-TransE:fr(s,o)=||AHE(s)+r-AHE(o)||1 (9)
AHE-DistMult:fr(s,o)=AHE(s)Tdiag(r)AHE(o) (10)
AHE-RotatE:fr(s,o)=||AHE(s)or-AHE(o)||1 (11)。
进一步的,所述原始模型的损失函数采用RotatE中的自对抗负采样损失函数,其公式如下:
其中p(s′n,r,o′n)表示负采样三元组的概率分布,它是三元组特定的概率分布,即:
超参数α表示采样温度。
本发明与现有技术相比具有以下有益效果:
1、本发明解决了传统文本联合学习模型对文本描述引入的不精确性和不灵活性,有效提高知识图谱补全效果;
2、本发明采用预训练语言向量充分建模文本描述的语义特征,并为此提出了两种简单的对齐策略,在不影响模型鲁棒性的前提下,对齐了文本表示和内部结构表示;
3、本发明将内部结构表示投影到文本的超平面中,得到了文本联合的实体表示,达到了扩展基础模型的目的。
附图说明
图1是本发明一实施例中AHE的总体结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1,本发明提供一种基于AHE对齐超平面的文本知识嵌入方法,包括以下步骤:
步骤S1:对数据集进行预训练词向量,获得文本描述的精确表示;
步骤S2:采用AHE对齐超平面策略,将文本向量与内部向量对齐为统一的隐含层维度,并分别对头尾实体进行文本超平面投影,获得交互增强的表示向量,并将其应用至知识库基础模型中。
在本实施例中,表1为本实施例的相关符号定义;
在本实施例中,采用文本建模策略,对于FB-Text数据集,采用word2vec框架中为Freebase实体提供的预训练词向量(1000维),具体的预训练词向量通过在Google NewsDataset上使用skip-gram模型训练得到,并应用l2范数获得向量的归一化表示。
对于WN9-Text数据集,采用AutoExtend框架,具体的使用预训练的300维Golve词向量,当Golve中不存在对应的含义嵌入时,AutoExtend将为这样的同义词生成值为0的初始化向量,并应用l2范数获得向量的归一化表示。
在本实施例中,AHE对齐超平面策略具体为:对于一个三元组(s,r,o),通过步骤S1得到它们文本描述向量sw(ow),以及通过随机初始化的方法得到内部结构向量si(oi);利用AHE对齐过程将sw(ow)对齐到与si(oi)统一的空间中,得到snew(onew);通过si(oi)在snew(onew)的超平面投影,建模它们之间的交互,得到s'(o');将得到的s'(o')输入到原始模型的得分函数中,得到融合文本描述信息的新得分。
优选的,AHE对齐过程包括直接映射和串联映射
a)直接映射。一种简单迅速得到确定维度向量的方法。具体地,假设全连接权重M和偏移量b,则直接映射方法的公式如下:
enew=M·ew+b (2)
b)串联映射。全连接的方法可以达到迅速改变维度的目的,但这样无法确保信息之间的充分交互,为此,我们提出采用串联映射的方法。具体地,对于输入ew和ei,我们利用拼接函数将二者在纵向进行拼接,得到新的向量,然后经过全连接层提取它们的联合特征,公式如下:
enew=M·concat(ew;ei)+b
(3)
优选的,为了保持AHE策略的简洁性和易扩展性,不采用卷积的方法建模二者的交互,其缘由在于卷积会给特征联合过程带来了昂贵的计算复杂度,从而影响模型的性能。
在本实施例中,所述超平面投影具体为:
将新的文本向量enew视为正交特征,并将内部表示向量投影到文本向量的超平面上,对于头尾实体采用一致的操作;
给定实体内部表示向量ei,将enew视为超平面的法向量,则新的实体向量的计算过程如下:
在本实施例中,在三个不同种类的表示学习模型下尝试应用AHE策略,分别是传统翻译模型TransE[3]、语义匹配模型DistMult[4]以及旋转翻译模型RotatE[5],它们的得分函数如下:
TransE:fr(s,o)=||s+r-t||1 (6)
DistMult:fr(s,o)=sTdiag(r) o (7)
RotatE:fr(s,o)=||sor-o||1 (8)
对于RotatE,对其实部和虚部的表示分别进行了AHE步骤,即e1'=AHE(e1,ew)和e2'=AHE(e2,ew),其中e1和e2分别表示RotatE复数嵌入的实部和虚部;
扩展后的各模型,分别命名为AHE-TransE,AHE-DistMult和AHE-RotatE,其得分函数分别定义为:
AHE-TransE:fr(s,o)=||AHE(s)+r-AHE(o)||1 (9)
AHE-DistMult:fr(s,o)=AHE(s)Tdiag(r)AHE(o) (10)
AHE-RotatE:fr(s,o)=||AHE(s)or-AHE(o)||1 (11)。
优选的,在本实施中,损失函数采用RotatE中的自对抗负采样损失函数,其公式如下:
其中p(s′n,r,o′n)表示负采样三元组的概率分布,它是三元组特定的概率分布,即:
超参数α表示采样温度。
实施例1:
本实施例,为验证本发明的有效性,在数据集FB-Text和WN9-Text上进行了知识图谱补全,每个数据集都划分成了训练集和测试集。
对于测试集中的每一个三元组,利用知识图谱中的全部实体,去替换其尾实体或者头实体(不同时替换),来产生全新的三元组,并利用新的得分fr(s,o)对其进行评分。在对这些得分降序排列之后,获得原始三元组在一次查询中的排名次序。采用平均排名(MeanRank,MR)和排名小于等于N的测试三元组比例(Hits@N,N=1,3,10)以及平均排名倒数(Mean Reciprocal Rank,MRR)作为评估指标。较低的MR和较高的Hits@N、MRR都意味着模型有更好的性能。
在本实施例中,使用Adam作为优化算法,并使用栅格检索法来寻找最适合的超参,参考Sun等人的设置,本模型需要调整的超参数及其范围如表1所示。
表1 AHE的超参数和范围
本发明实现的三个扩展模型,最终的调参结果如表2所示。对于DistMult族模型,可能会使用N3正则化策略,本文统一设置正则化系数为2e-6。
表2 AHE调参结果
得到高评估指标的模型F之后,将模型应用于G中,遍历G中的所有实体和关系,组合成(s,r,?)的查询对,同时过滤掉已经出现在G中的查询,最后得到的集合作为查询集。对于查询集中的每一个查询,通过F预测出它对应的尾实体o,这样每一个查询都得到了补全,变成了三元组,将它们加入G,最后得到W。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (6)
1.一种基于AHE对齐超平面的文本知识嵌入方法,其特征在于,包括以下步骤:
步骤S1:对数据集进行预训练词向量,获得文本描述的精确表示;
步骤S2:采用AHE对齐超平面策略,将文本向量与内部向量对齐为统一的隐含层维度,并分别对头尾实体进行文本超平面投影,获得交互增强的表示向量,并将其应用至知识库基础模型中;
所述步骤S2具体为:
步骤S21:对于一个三元组(s,r,o),通过步骤S1得到它们文本描述向量sw(ow),以及通过随机初始化的方法得到内部结构向量si(oi);
步骤S22:利用AHE对齐过程将sw(ow)对齐到与si(oi)统一的空间中,得到snew(onew);
步骤S23:通过si(oi)在snew(onew)的超平面投影,建模它们之间的交互,得到s'(o');
步骤S24:将得到的s'(o')输入到知识库基础模型的得分函数中,得到融合文本描述信息的新得分;
所述超平面投影具体为:
将新的文本向量enew视为正交特征,并将内部表示向量投影到文本向量的超平面上,对于头尾实体采用一致的操作;
给定实体内部表示向量ei,将enew视为超平面的法向量,则新的实体向量的计算过程如下:
所述知识库基础模型包括传统翻译模型TransE、语义匹配模型DistMult以及旋转翻译模型RotatE;
所述传统翻译模型TransE、语义匹配模型DistMult以及旋转翻译模型RotatE得分函数分别为
TransE:fr(s,o)=||s+r-t||1 (6)
DistMult:fr(s,o)=sΤdiag(r)o (7)
对于RotatE,对其实部和虚部的表示分别进行了AHE步骤,即e1'=AHE(e1,ew)和e2'=AHE(e2,ew),其中e1和e2分别表示RotatE复数嵌入的实部和虚部;
扩展后的各模型,分别命名为AHE-TransE,AHE-DistMult和AHE-RotatE,其得分函数分别定义为:
AHE-TransE:fr(s,o)=||AHE(s)+r-AHE(o)||1 (9)
AHE-DistMult:fr(s,o)=AHE(s)Τdiag(r)AHE(o) (10)
2.根据权利要求1所述的基于AHE对齐超平面的文本知识嵌入方法,其特征在于,所述数据集包括FB-Text数据集和WN9-Text数据集。
3.根据权利要求2所述的基于AHE对齐超平面的文本知识嵌入方法,其特征在于,对于FB-Text数据集,采用word2vec框架中为Freebase实体提供的预训练词向量,具体的预训练词向量通过在Google News Dataset上使用skip-gram模型训练得到,并应用l2范数获得向量的归一化表示。
4.根据权利要求2所述的基于AHE对齐超平面的文本知识嵌入方法,其特征在于,对于WN9-Text数据集,采用AutoExtend框架,具体的使用预训练的300维Golve词向量,当Golve中不存在对应的含义嵌入时,AutoExtend将为这样的同义词生成值为0的初始化向量,并应用l2范数获得向量的归一化表示。
5.根据权利要求1所述的基于AHE对齐超平面的文本知识嵌入方法,其特征在于,所述AHE对齐过程包括直接映射和串联映射
具体地,设全连接权重M和偏移量b,则直接映射方法的公式如下:
enew=M·ew+b (2)
串联映射具体为,对于输入ew和ei,利用拼接函数将二者在纵向进行拼接,得到新的向量,然后经过全连接层提取它们的联合特征,公式如下:
enew=M·concat(ew;ei)+b (3)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011520861.4A CN112541589B (zh) | 2020-12-21 | 2020-12-21 | 基于ahe对齐超平面的文本知识嵌入方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011520861.4A CN112541589B (zh) | 2020-12-21 | 2020-12-21 | 基于ahe对齐超平面的文本知识嵌入方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112541589A CN112541589A (zh) | 2021-03-23 |
CN112541589B true CN112541589B (zh) | 2022-10-14 |
Family
ID=75018981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011520861.4A Active CN112541589B (zh) | 2020-12-21 | 2020-12-21 | 基于ahe对齐超平面的文本知识嵌入方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112541589B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765276A (zh) * | 2019-10-21 | 2020-02-07 | 北京明略软件系统有限公司 | 知识图谱中的实体对齐方法及装置 |
CN111339320A (zh) * | 2020-03-02 | 2020-06-26 | 北京航空航天大学 | 一种引入实体类型自动化表示的知识图谱嵌入与推理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10839298B2 (en) * | 2016-11-30 | 2020-11-17 | International Business Machines Corporation | Analyzing text documents |
CN109241290A (zh) * | 2017-07-10 | 2019-01-18 | 华东师范大学 | 一种知识图谱补全方法、装置与存储介质 |
CN109299284B (zh) * | 2018-08-31 | 2021-07-20 | 中国地质大学(武汉) | 一种基于结构信息与文本描述的知识图谱表示学习方法 |
US11507099B2 (en) * | 2018-09-10 | 2022-11-22 | Drisk, Inc. | Systems and methods for graph-based AI training |
CN109753571B (zh) * | 2019-01-11 | 2022-04-19 | 中山大学 | 一种基于二次主题空间投影的场景图谱低维空间嵌入方法 |
CN110378489B (zh) * | 2019-07-30 | 2022-10-25 | 哈尔滨工程大学 | 基于实体超平面投影的知识表示学习模型 |
CN111723215B (zh) * | 2020-06-19 | 2022-10-04 | 国家计算机网络与信息安全管理中心 | 基于文本挖掘的生物技术信息知识图谱构建装置与方法 |
-
2020
- 2020-12-21 CN CN202011520861.4A patent/CN112541589B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765276A (zh) * | 2019-10-21 | 2020-02-07 | 北京明略软件系统有限公司 | 知识图谱中的实体对齐方法及装置 |
CN111339320A (zh) * | 2020-03-02 | 2020-06-26 | 北京航空航天大学 | 一种引入实体类型自动化表示的知识图谱嵌入与推理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112541589A (zh) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111581395B (zh) | 一种基于深度学习的模型融合三元组表示学习系统及方法 | |
WO2020143137A1 (zh) | 基于受限文本空间的多步自注意力跨媒体检索方法及系统 | |
CN105975573B (zh) | 一种基于knn的文本分类方法 | |
CN109359302B (zh) | 一种领域化词向量的优化方法及基于其的融合排序方法 | |
CN106055675B (zh) | 一种基于卷积神经网络和距离监督的关系抽取方法 | |
WO2022095573A1 (zh) | 一种结合主动学习的社区问答网站答案排序方法及系统 | |
CN111897944B (zh) | 基于语义空间共享的知识图谱问答系统 | |
CN112818889B (zh) | 基于动态注意力的超网络融合视觉问答答案准确性的方法 | |
CN112256847B (zh) | 融合事实文本的知识库问答方法 | |
CN113673254B (zh) | 基于相似度保持的知识蒸馏的立场检测方法 | |
CN113140254A (zh) | 元学习药物-靶点相互作用预测系统及预测方法 | |
CN116757164A (zh) | 一种gpt生成语言识别与检测系统 | |
CN113535897A (zh) | 一种基于句法关系和意见词分布的细粒度情感分析方法 | |
CN115269861A (zh) | 基于生成式对抗模仿学习的强化学习知识图谱推理方法 | |
CN112667797B (zh) | 自适应迁移学习的问答匹配方法、系统及存储介质 | |
CN114399661A (zh) | 一种实例感知主干网络训练方法 | |
CN112015760B (zh) | 基于候选答案集重排序的自动问答方法、装置和存储介质 | |
CN116610795B (zh) | 文本检索方法及装置 | |
CN112084312B (zh) | 一种基于知识图构建的智能客服系统 | |
CN113779252A (zh) | 一种基于electra+atten+BiLSTM的针对中文短文本情感分类方法 | |
CN111581365B (zh) | 一种谓词抽取方法 | |
CN112541589B (zh) | 基于ahe对齐超平面的文本知识嵌入方法 | |
CN110569368B (zh) | 面向rdf知识库问答的查询松弛方法 | |
CN112100342A (zh) | 一种基于知识表示学习技术的知识图谱问答方法 | |
CN114970563B (zh) | 融合内容和形式多样性的中文问题生成方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |