CN112287120A - 一种基于强化学习的双系统知识图谱的知识推理方法 - Google Patents
一种基于强化学习的双系统知识图谱的知识推理方法 Download PDFInfo
- Publication number
- CN112287120A CN112287120A CN202011219474.7A CN202011219474A CN112287120A CN 112287120 A CN112287120 A CN 112287120A CN 202011219474 A CN202011219474 A CN 202011219474A CN 112287120 A CN112287120 A CN 112287120A
- Authority
- CN
- China
- Prior art keywords
- vector
- model
- inference
- path
- conve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于强化学习的双系统知识图谱的知识推理方法,通过融合高精度的分布式表示推理的单步推理算法和强化学习策略路径,搭建用于推理的推理系统和用于评价的评价系统。训练完备的评价系统帮助推理系统训练,使得推理系统可以学习评价系统中的网络信息。基于训练完备的评价系统对推理系统的推理路径评价,完成路径推理。
Description
技术领域
本发明涉及,具体涉及一种基于强化学习的双系统知识图谱的知识推理方法。
背景技术
人工智能走入产业后,可以分为感知智能、认知智能和行为智能,后两者更与生产力相对应,NLP和知识图谱是发展认知智能的基础。一方面,在面对数据多样、复杂,孤岛化,且单一数据价值不高的应用场景时,使用知识图谱推理技术将带来最佳的应用价值。另一方面,认知智能在是探寻人类学习、理解、产生决策的生物能力,而知识图谱推理是实现认知推理的关键技术。同时,对于自动搭建的知识图谱和手动搭建的图谱,往往都面临不完整、知识缺失、实例正确性判断等问题,难以应用到垂直搜索、问答系统等领域。解决方案之一是通过对知识图谱实施有效的知识多步推理,进行知识图谱补全、链接预测、实例正确性判断。这其中包括基于一阶谓词逻辑规则的推理算法、本体推理算法、基于随机路径游走的推理算法和基于分布式表示的推理算法。
发明内容
本发明为了克服以上技术的不足,提供了一种基于Bert预训练,融合强化学习思想和分布式表示推理的多步路径推理方法。
本发明克服其技术问题所采用的技术方案是:
一种基于强化学习的双系统知识图谱的知识推理方法,包括如下步骤:
a)将知识图谱的三元组数据输入基于Bert的预训练模型,处理得到三元组的嵌入向量表示vectorv~(e,r);
b)将嵌入向量表示vectorv~(e,r)分别输入ComplEx模型和基于神经网络的ConvE模型后分别训练测试,两个训练测试互不干扰,得到训练完备的评价系统;
c)选择多层感知机模型或多层Transformer的Encoder,完成路径的推理,根据评价系统建立推理系统,得到训练完备的推理系统;
d)根据训练完备的评价系统和推理系统完成路径推理。
进一步的,步骤a)中通过公式计算得到三元组的嵌入向量表示vectorv~(e,r),式中e1为头实体,e2为尾实体,e1∈ξ,e2∈ξ,ξ为所有的实体集合,r∈R,R为所有的关系集合,为所有以Bert为基础的预训练模型。
进一步的,步骤b)中将嵌入向量表示vectorv~(e,r)输入ComplEx模型训练测试的步骤为:
b-1.1)设模型的评分函数为s,s=σ(φ(rv,ev1,ev2;Θ))=σ(<Re(rv),Im(ev1),Im(ev2)>+<Im(rv),Re(ev1),Re(ev2)>-<Im(rv),Im(ev1),Re(ev2)>),评分函数s表示关系rv与共轭向量ev1、共轭向量ev2的乘积求和并保留结果的实部,e1通过映射得到ev1,e2通过映射得到ev2,式中Re()表示取实部计算,Im()表示取实部计算表示取虚部计算,σ为对矩阵最后维度的求和计算,Θ为当前模型参数,<>为复数之间的乘积;
b-1.2)将嵌入向量表示vectorv~(e,r)输入到ComplEx模型中的进行训练测试,得到最优的模型ComplEx和模型精度CompleExmrr。
进一步的,步骤b)中将嵌入向量表示vectorv~(e,r)输入基于神经网络的ConvE模型训练测试的步骤为:
b-2.2)将嵌入向量表示vectorv~(e,r)输入到基于神经网络的ConvE模型中的进行训练测试,得到最优的模型ConvE和模型精度ConvEmrr。
进一步的,步骤c)包括如下步骤:
c-1)设推理路径为(estart,r1,e2,r2,eend),r1,e2,r2为推理系统的训练路径,其中r1和r2关系集合中的关系,estart与eend为向量表示,设路径长度为3;
c-2)将estart与eend进行向量堆叠,得到[estart,eend];
c-3)将[estart,eend]输入到评价系统的ComplEx模型中得到ComplEx输出Vcomplex,将[estart,eend]输入到评价系统的基于神经网络的ConvE模型中得到ConvE输出Vconve,通过公式Vassess=Vcomplex*ComplExmrr+Vconve*Convemrr计算评价系统的模型输出Vassess;
c-5)将[estart,eend]输入到推理系统中得到模型输出向量Vpred;
c-6)根据Vr,true和Vpred的差值作为推理系统的损失,更新推理系统网络模型,将Vr,true对应的关系作为路径下一跳即r1;
c-7)将estart和r1进行向量堆叠,得到[estart:r1];
c-8)迭代步骤c-3)至步骤c-6),直至完成整个路径的推理;
c-9)在训练集上训练,得到训练后的推理系统。
进一步的,步骤d)包括如下步骤:
d-1)设模型推理路径为(estart,ro 1,eo 2,ro 2,eend),ro 1,eo 2,ro 2为推理系统的推理路径;
d-2)将estart与eend进行向量堆叠,得到[estart,eend];
d-3)将[estart,eend]输入到推理系统中得到模型输出向量Vpred;
d-5)分别计算Vassess与的欧几里得距离并分别记为distv1,distv2,distv3,取distv1,distv2,distv3中距离最小的变量对应的向量的关系作为推理路径的下一跳即ro 1;
d-6)迭代步骤d-2)至步骤d-5),完成整个路径的推理。
本发明的有益效果是:通过基于强化学习的双系统知识图谱的知识推理方法建模融合高精度的单步推理算法和强化学习的策略路径的方法,搭建用于推理的推理系统和用于评价的评价系统。训练完备的评价系统帮助推理系统训练,使得推理系统可以学习评价系统中的网络信息。基于训练完备的评价系统对推理系统的推理路径评价,完成路径推理。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于强化学习的双系统知识图谱的知识推理方法,包括如下步骤:
a)将知识图谱的三元组数据输入基于Bert的预训练模型,处理得到三元组的嵌入向量表示vectorv~(e,r)。
b)将嵌入向量表示vectorv~(e,r)分别输入ComplEx模型和基于神经网络的ConvE模型后分别训练测试,两个训练测试互不干扰,得到训练完备的评价系统。c)选择多层感知机模型或多层Transformer的Encoder,完成路径的推理,根据评价系统建立推理系统,得到训练完备的推理系统。如果数据规模小,则以多层感知机模型搭建推理系统,如果数据规模大,则以多层Transformer的Encoder搭建推理系统。
d)根据训练完备的评价系统和推理系统完成路径推理。
传统的知识推理方法中基于规则的推理算法,虽然实现了很高的推理精度,但是推理模式却不适用大规模复杂关系的知识图谱,基于随机路径游走的推理算法随着问题规模的扩大计算复杂度和计算资源消耗将呈现指数式增长,难以应用到大规模知识图谱中,基于分布式表示的推理算法是研究单步推理的推理算法。本发明的基于强化学习的双系统知识图谱的知识推理方法建模融合高精度的单步推理算法和强化学习的策略路径的方法,搭建用于推理的推理系统和用于评价的评价系统。训练完备的评价系统帮助推理系统训练,使得推理系统可以学习评价系统中的网络信息。基于训练完备的评价系统对推理系统的推理路径评价,完成路径推理。该方法综合运用了强化学习策略和分布式表示推理搭建知识图谱推理的双系统,运用到知识图谱的多步推理的场景中,进一步推动了知识图谱推理领域的相关研究。
步骤a)中通过公式计算得到三元组的嵌入向量表示vectorv~(e,r),式中e1为头实体,e2为尾实体,e1∈ξ,e2∈ξ,ξ为所有的实体集合,r∈R,R为所有的关系集合,为所有以Bert为基础的预训练模型。
步骤b)中将嵌入向量表示vectorv~(e,r)输入ComplEx模型训练测试的步骤为:b-1.1)设模型的评分函数为s,s=σ(φ(rv,ev1,ev2;Θ))=σ(<Re(rv),Im(ev1),Im(ev2)>+<Im(rv),Re(ev1),Re(ev2)>-<Im(rv),Im(ev1),Re(ev2)>),评分函数s表示关系rv与共轭向量ev1、共轭向量ev2的乘积求和并保留结果的实部,e1通过映射得到ev1,e2通过映射得到ev2,式中Re()表示取实部计算,Im()表示取实部计算表示取虚部计算,σ为对矩阵最后维度的求和计算,Θ为当前模型参数,<>为复数之间的乘积;
b-1.2)将嵌入向量表示vectorv~(e,r)输入到ComplEx模型中的进行训练测试,得到最优的模型ComplEx和模型精度CompleExmrr。
步骤b)中将嵌入向量表示vectorv~(e,r)输入基于神经网络的ConvE模型训练测试的步骤为:
b-2.2)将嵌入向量表示vectorv~(e,r)输入到基于神经网络的ConvE模型中的进行训练测试,得到最优的模型ConvE和模型精度ConvEmrr。
步骤c)包括如下步骤:
c-1)设推理路径为(estart,r1,e2,r2,eend),r1,e2,r2为推理系统的训练路径,其中r1和r2关系集合中的关系,estart与eend为向量表示,设路径长度为3;
c-2)将estart与eend进行向量堆叠,得到[estart,eend];
c-3)将[estart,eend]输入到评价系统的ComplEx模型中得到ComplEx输出Vcomplex,将[estart,eend]输入到评价系统的基于神经网络的ConvE模型中得到ConvE输出Vconve,通过公式Vassess=Vcomplex*ComplExmrr+Vconve*Convemrr计算评价系统的模型输出Vassess;
c-5)将[estart,eend]输入到推理系统中得到模型输出向量Vpred;
c-6)根据Vr,true和Vpred的差值作为推理系统的损失,更新推理系统网络模型,将Vr,true对应的关系作为路径下一跳即r1;
c-7)将estart和r1进行向量堆叠,得到[estart:r1];
c-8)迭代步骤c-3)至步骤c-6),直至完成整个路径的推理;
c-9)在训练集上训练,得到训练后的推理系统。
步骤d)包括如下步骤:
d-1)设模型推理路径为(estart,ro 1,eo 2,ro 2,eend),ro 1,eo 2,ro 2为推理系统的推理路径;
d-2)将estart与eend进行向量堆叠,得到[estart,eend];
d-3)将[estart,eend]输入到推理系统中得到模型输出向量Vpred;
d-5)分别计算Vassess与的欧几里得距离并分别记为distv1,distv2,distv3,取distv1,distv2,distv3中距离最小的变量对应的向量的关系作为推理路径的下一跳即ro 1;
d-6)迭代步骤d-2)至步骤d-5),完成整个路径的推理。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于强化学习的双系统知识图谱的知识推理方法,其特征在于,包括如下步骤:
a)将知识图谱的三元组数据输入基于Bert的预训练模型,处理得到三元组的嵌入向量表示vectorv~(e,r);
b)将嵌入向量表示vectorv~(e,r)分别输入ComplEx模型和基于神经网络的ConvE模型后分别训练测试,两个训练测试互不干扰,得到训练完备的评价系统;
c)选择多层感知机模型或多层Transformer的Encoder,完成路径的推理,根据评价系统建立推理系统,得到训练完备的推理系统;
d)根据训练完备的评价系统和推理系统完成路径推理。
3.根据权利要求2所述的基于强化学习的双系统知识图谱的知识推理方法,其特征在于,步骤b)中将嵌入向量表示vectorv~(e,r)输入ComplEx模型训练测试的步骤为:
b-1.1)设模型的评分函数为s,评分函数s表示关系rv与共轭向量ev1、共轭向量ev2的乘积求和并保留结果的实部,e1通过映射得到ev1,e2通过映射得到ev2,式中Re()表示取实部计算,Im()表示取实部计算表示取虚部计算,σ为对矩阵最后维度的求和计算,Θ为当前模型参数,< >为复数之间的乘积;
b-1.2)将嵌入向量表示vectorv~(e,r)输入到ComplEx模型中的进行训练测试,得到最优的模型ComplEx和模型精度CompleExmrr。
5.根据权利要求4所述的基于强化学习的双系统知识图谱的知识推理方法,其特征在于,步骤c)包括如下步骤:
c-1)设推理路径为(estart,r1,e2,r2,eend),r1,e2,r2为推理系统的训练路径,其中r1和r2关系集合中的关系,estart与eend为向量表示,设路径长度为3;
c-2)将estart与eend进行向量堆叠,得到[estart,eend];
c-3)将[estart,eend]输入到评价系统的ComplEx模型中得到ComplEx输出Vcomplex,将[estart,eend]输入到评价系统的基于神经网络的ConvE模型中得到ConvE输出Vconve,通过公式Vassess=Vcomplex*ComplExmrr+Vconve*Convemrr计算评价系统的模型输出Vassess;
c-5)将[estart,eend]输入到推理系统中得到模型输出向量Vpred;
c-6)根据Vr,true和Vpred的差值作为推理系统的损失,更新推理系统网络模型,将Vr,true对应的关系作为路径下一跳即r1;
c-7)将estart和r1进行向量堆叠,得到[estart:r1];
c-8)迭代步骤c-3)至步骤c-6),直至完成整个路径的推理;
c-9)在训练集上训练,得到训练后的推理系统。
6.根据权利要求5所述的基于强化学习的双系统知识图谱的知识推理方法,其特征在于,步骤d)包括如下步骤:
d-1)设模型推理路径为(estart,ro 1,eo 2,ro 2,eend),ro 1,eo 2,ro 2为推理系统的推理路径;
d-2)将estart与eend进行向量堆叠,得到[estart,eend];
d-3)将[estart,eend]输入到推理系统中得到模型输出向量Vpred;
d-5)分别计算Vassess与的欧几里得距离并分别记为distv1,distv2,distv3,取distv1,distv2,distv3中距离最小的变量对应的向量的关系作为推理路径的下一跳即ro 1;
d-6)迭代步骤d-2)至步骤d-5),完成整个路径的推理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011219474.7A CN112287120A (zh) | 2020-11-04 | 2020-11-04 | 一种基于强化学习的双系统知识图谱的知识推理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011219474.7A CN112287120A (zh) | 2020-11-04 | 2020-11-04 | 一种基于强化学习的双系统知识图谱的知识推理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112287120A true CN112287120A (zh) | 2021-01-29 |
Family
ID=74350457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011219474.7A Pending CN112287120A (zh) | 2020-11-04 | 2020-11-04 | 一种基于强化学习的双系统知识图谱的知识推理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287120A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114818671A (zh) * | 2022-03-10 | 2022-07-29 | 中国电子科技集团公司第十研究所 | 一种融合价值堆叠的异构知识动态表示学习方法 |
CN115860179A (zh) * | 2022-11-01 | 2023-03-28 | 清华大学 | 轨迹预测方法、装置、设备、存储介质及程序产品 |
-
2020
- 2020-11-04 CN CN202011219474.7A patent/CN112287120A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114818671A (zh) * | 2022-03-10 | 2022-07-29 | 中国电子科技集团公司第十研究所 | 一种融合价值堆叠的异构知识动态表示学习方法 |
CN114818671B (zh) * | 2022-03-10 | 2023-05-26 | 中国电子科技集团公司第十研究所 | 一种融合价值堆叠的异构知识动态表示学习方法 |
CN115860179A (zh) * | 2022-11-01 | 2023-03-28 | 清华大学 | 轨迹预测方法、装置、设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11461654B2 (en) | Multi-agent cooperation decision-making and training method | |
CN112418343B (zh) | 多教师自适应联合的学生模型训练方法 | |
CN110717627B (zh) | 一种基于对偶图框架的全量交通预测方法 | |
CN107636691A (zh) | 用于识别图像中的文本的方法和设备 | |
CN111340076B (zh) | 一种对新体制雷达目标未知模式的零样本识别方法 | |
Barzola-Monteses et al. | Energy consumption of a building by using long short-term memory network: a forecasting study | |
CN114118375B (zh) | 一种基于时序图Transformer的连续动态网络表征学习方法 | |
CN112287120A (zh) | 一种基于强化学习的双系统知识图谱的知识推理方法 | |
Li | Neural network models for intelligent support of mark‐up estimation | |
CN113535904A (zh) | 一种基于图神经网络的方面级情感分析方法 | |
CN113190688A (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及系统 | |
CN110414718A (zh) | 一种深度学习下的配电网可靠性指标优化方法 | |
CN116052254A (zh) | 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法 | |
CN114611617A (zh) | 基于原型网络的深度领域自适应图像分类方法 | |
CN112146879A (zh) | 一种滚动轴承故障智能诊断方法及其系统 | |
Couture et al. | Novel image-based rapid RUL prediction for li-ion batteries using a capsule network and transfer learning | |
Leke et al. | Proposition of a theoretical model for missing data imputation using deep learning and evolutionary algorithms | |
Abiyev | Fuzzy wavelet neural network for prediction of electricity consumption | |
Li et al. | Neural network credit-risk evaluation model based on back-propagation algorithm | |
CN117116048A (zh) | 基于知识表示模型和图神经网络的知识驱动交通预测方法 | |
Sineglazov et al. | Forecasting aircraft miles flown time series using a deep learning-based hybrid approach | |
Sun et al. | Application of neural network model combining information entropy and ant colony clustering theory for short-term load forecasting | |
Kavipriya et al. | Adaptive Weight Deep Convolutional Neural Network (AWDCNN) Classifier for Predicting Student’s Performance in Job Placement Process | |
Gangloff et al. | A general parametrization framework for pairwise Markov models: An application to unsupervised image segmentation | |
CN108665056A (zh) | 一种基于nrl的智能搬运机器人预测任务状态的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210129 |