CN110825884B - 基于人工智能的嵌入表示处理方法、装置及电子设备 - Google Patents
基于人工智能的嵌入表示处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110825884B CN110825884B CN201911070339.8A CN201911070339A CN110825884B CN 110825884 B CN110825884 B CN 110825884B CN 201911070339 A CN201911070339 A CN 201911070339A CN 110825884 B CN110825884 B CN 110825884B
- Authority
- CN
- China
- Prior art keywords
- entity
- embedded representation
- neighbor
- determining
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 45
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000010801 machine learning Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 230000003213 activating effect Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000001994 activation Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012954 risk control Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于人工智能的嵌入表示处理方法、装置、电子设备及存储介质；方法包括：对多个初始三元组进行路径查找处理得到序列路径；确定待处理实体在多个初始三元组中的第一邻居，并根据第一邻居确定待处理实体的第一嵌入表示；确定待处理实体在序列路径中的第二邻居，并根据第二邻居确定待处理实体的第二嵌入表示；根据第一嵌入表示和第二嵌入表示，确定待处理实体的输出嵌入表示，并确定第一邻居及第二邻居内关系的输出嵌入表示；根据初始三元组内实体及关系的输出嵌入表示更新知识图谱。通过本发明，能够提升得到的知识图谱中嵌入表示的准确性，同时提升知识图谱的完整性。
Description
技术领域
本发明涉及人工智能技术，尤其涉及一种基于人工智能的嵌入表示处理方法、装置、电子设备及存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。自然语言处理(NLP，Nature Language Processing)是人工智能领域中的一个重要方向，主要研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
知识图谱是自然语言处理的一个分支，通常是由多个表现为“实体-关系-实体”的三元组构建的庞大关系网络。但是，由于数据的更新迭代以及数据本身存在的缺失性，导致知识图谱可能不完整。该问题的一种解决方式是对三元组包含的邻居信息进行处理，得到实体及关系的嵌入表示，从而在知识图谱中进行关系预测，但是在相关技术提供的方案中，引入的邻居信息不全面，进行关系预测及补全知识图谱的效果差。
发明内容
本发明实施例提供一种基于人工智能的嵌入表示处理方法、装置、电子设备及存储介质，能够提升得到的嵌入表示的准确性，加强通过关系预测补全知识图谱的效果。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于人工智能的嵌入表示处理方法，包括：
对用于指示实体之间关系的多个初始三元组进行路径查找处理，得到序列路径；
确定待处理实体在多个所述初始三元组中的第一邻居，并根据所述第一邻居内实体及关系的初始嵌入表示，确定所述待处理实体的第一嵌入表示；
确定所述待处理实体在所述序列路径中的第二邻居，并根据所述第二邻居内实体及关系的更新嵌入表示，确定所述待处理实体的第二嵌入表示；
根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并
根据所述第一邻居及所述第二邻居内关系的初始嵌入表示，确定所述关系的输出嵌入表示；
根据所述初始三元组内实体及关系的输出嵌入表示更新知识图谱。
在上述方案中，所述确定待处理实体在多个所述初始三元组中的第一邻居，包括：
将包括待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第一邻居；
将包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第一邻居；
所述确定所述待处理实体在所述序列路径中的第二邻居，包括：
将所述序列路径中包括所述待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第二邻居；
将所述序列路径中包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第二邻居。
本发明实施例提供一种基于人工智能的嵌入表示处理装置，包括：
路径查找模块，用于对用于指示实体之间关系的多个初始三元组进行路径查找处理，得到序列路径；
第一邻居确定模块，用于确定待处理实体在多个所述初始三元组中的第一邻居，并根据所述第一邻居内实体及关系的初始嵌入表示，确定所述待处理实体的第一嵌入表示；
第二邻居确定模块，用于确定所述待处理实体在所述序列路径中的第二邻居，并根据所述第二邻居内实体及关系的更新嵌入表示，确定所述待处理实体的第二嵌入表示；
输出模块，用于根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并
根据所述第一邻居及所述第二邻居内关系的初始嵌入表示，确定所述关系的输出嵌入表示；
更新模块，用于根据所述初始三元组内实体及关系的输出嵌入表示更新知识图谱。
在上述方案中，所述第一邻居确定模块，还用于：
将包括待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第一邻居；
将包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第一邻居；
所述第二邻居确定模块，还用于：
将所述序列路径中包括所述待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第二邻居；
将所述序列路径中包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第二邻居。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的嵌入表示处理方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的嵌入表示处理方法。
本发明实施例具有以下有益效果：
本发明实施例对多个初始三元组进行路径查找处理，得到序列路径，通过初始三元组确定第一邻居，通过构建序列路径得到第二邻居，并根据第一邻居和第二邻居更新实体及关系的输出嵌入表示，从而更新知识图谱，本发明实施例通过确定第一邻居和第二邻居，提升了知识图谱中嵌入表示的准确性，也提升了更新后的知识图谱的完整性。
附图说明
图1是本发明实施例提供的基于人工智能的嵌入表示处理系统的一个可选的架构示意图；
图2是本发明实施例提供的服务器的一个可选的架构示意图；
图3是本发明实施例提供的基于人工智能的嵌入表示处理装置的一个可选的架构示意图；
图4A是本发明实施例提供的基于人工智能的嵌入表示处理方法的一个可选的流程示意图；
图4B是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图；
图4C是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图；
图4D是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图；
图4E是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图；
图5是本发明实施例提供的更新实体的嵌入表示的一个可选的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)三元组：在自然语言处理中，指主语-谓语-宾语(Subject-Predication-Object)三元组，用于指示实体之间的关系。例如，三元组为“张三-工作-歌手”。
2)嵌入表示(Embedding)：在数学上表示一个映射关系，F:X->Y。在自然语言处理中，嵌入表示特指从语义空间到向量空间的映射结果，即用一个低维度向量表示一个实体。
3)路径：指由至少两个实体以及实体之间的关系构成的路径。
4)二分图：又称二部图，是图论中的一种特殊模型。设G＝(V，E)是一个无向图，若顶点V可分割为两个互不相交的子集(A，B)，并且图中的每条边(i，j)所关联的两个顶点i和j分别属于这两个不同的顶点集(iin A，j in B)，则称图G为一个二分图。
5)机器学习模型：研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的模型。
发明人在实施本发明实施例的过程中发现，由于数据缺失及数据迭代更新等原因，知识图谱存在不完整性，故需要通过关系预测补全知识图谱。作为关系预测的关键，相关技术提供的方案通常致力于通过各种邻居的信息来学习实体和关系的嵌入表示，例如在论文《Learning Attention-based Embeddings for Relation Prediction in KnowledgeGraphs》(学习针对知识图谱关系预测的基于注意力的嵌入，发表于2019年6月4日)中，提出了一种基于注意力机制的嵌入网络，具体在路径上每个邻居与实体间建立辅助关系，辅助关系的嵌入表示是路径上所有关系的累加和，然而其引入的路径往往是很短的路径，一般只有两跳左右；又例如，在异构图注意力网络(Heterogeneous graph Attention Network，HAN)中，提出了融合不同路径上节点层次和语义层次的信息，但其中路径的信息缺失了实体和关系的有序性，导致得到的嵌入表示并不准确。综上，在相关技术提供的方案中，引入的邻居信息不全面，嵌入表示的准确性低，进行关系预测的效果差。
本发明实施例提供一种基于人工智能的嵌入表示处理方法、装置、电子设备及存储介质，能够提升得到的嵌入表示的准确性，加强通过关系预测补全知识图谱的效果，下面说明本发明实施例提供的电子设备的示例性应用。
参见图1，图1是本发明实施例提供的基于人工智能的嵌入表示处理系统100的一个可选的架构示意图，为实现支撑一个基于人工智能的嵌入表示处理应用，终端设备400(示例性示出了终端设备400-1和终端设备400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
终端设备400用于将用户设置的初始三元组发送至服务器200，该初始三元组用于指示实体之间的关系；服务器200用于对多个初始三元组进行路径查找处理，得到序列路径；确定待处理实体在多个初始三元组中的第一邻居，并根据第一邻居内实体及关系的初始嵌入表示，确定待处理实体的第一嵌入表示；确定待处理实体在序列路径中的第二邻居，并根据第二邻居内实体及关系的更新嵌入表示，确定待处理实体的第二嵌入表示；根据第一嵌入表示和第二嵌入表示，确定待处理实体的输出嵌入表示，并根据第一邻居及第二邻居内关系的初始嵌入表示，确定该关系的输出嵌入表示；根据初始三元组内实体及关系的输出嵌入表示更新知识图谱，并将更新后的知识图谱发送至终端设备400；终端设备400还用于获取用户的问题语句，根据知识图谱对问题语句进行关联处理，生成答案语句，并在图形界面410(示例性示出了图形界面410-1和图形界面410-2)显示答案语句。
值得说明的是，服务器200在完成对知识图谱的更新后，也可将知识图谱存储在服务器200本地。在获取到终端设备400发送的问题语句后，服务器200根据知识图谱对问题语句进行关联处理得到答案语句，并将答案语句发送至终端设备400。本发明实施例对此不做限定。
当然，除此之外，知识图谱还可应用于更多不同的场景。举例来说，可将知识图谱应用于反欺诈，通过设定欺诈判断策略，从而对知识图谱中的数据进行不一致性检测。具体地，在金融反欺诈场景中，可通过引入借款人的信息构建知识图谱，便于根据知识图谱确定是否对借款人发放贷款。在传统方式中，由于借款人提供的信息可能存在缺失，导致知识图谱不完整，对借款人信息的核验效果差。通过本发明实施例提供的方式，可对知识图谱进行有效补全，例如，借款人提供的初始三元组包括(借款人A，同事，借款人B)，(借款人A，被雇佣，公司C)，(借款人B，……)，在已有初始三元组的基础上确定序列路径，从而通过实体层次和路径层次更新嵌入表示，更新(补全)知识图谱。在更新后的知识图谱中，挖掘出与借款人B存在雇佣关系的公司是公司D，此时，在更新后的知识图谱中，借款人A和借款人B之间的关系为同事，但是雇佣借款人A的公司与雇佣借款人B的公司不一致，因此，根据欺诈判断策略为借款人A和借款人B均设置存疑标签，作为银行方对其借款的参考。
又如，知识图谱还可用于风险控制。举例来说，初始三元组包括(公司A，产品受众，群体B)、(公司C，产品受众，群体B)、(公司C，供应商，公司D)及(公司C，竞争对手，公司E)等，根据初始三元组确定序列路径，通过实体层次和路径层次更新嵌入表示，从而更新知识图谱。在更新后的知识图谱中，新增了(公司A，竞争对手，公司C)的三元组，如此，公司A可通过更新后的知识图谱便捷知悉自身的经营状况，调整自身的经营策略，还可进行风险控制，如在公司A的供应商同样为公司D的情况下，公司A可更换供应商。
又如，知识图谱还可用于社交推荐。具体地，将个人用户的信息作为初始三元组，如(用户A，地区，B市)、(用户A，爱好，篮球)、(用户A，爱好，钢琴)、(用户C，地区，B市)、(用户C，爱好，钢琴)及(用户C，感兴趣，用户D)等，根据初始三元组构建序列路径，通过实体层次和路径层次更新嵌入表示，并更新知识图谱。在更新后的知识图谱中，新增了(用户A，感兴趣，用户C)的三元组，根据该三元组，将用户C推荐给用户A，实现针对性的好友扩展。
再如，知识图谱还可用于商品推荐。具体地，引入大量的与商品相关的信息构成初始三元组，如(用户A，年龄，二十岁)、(用户A，感兴趣，商品B)及(用户C，年龄，二十岁)等，根据初始三元组构建序列路径，通过实体层次和路径层次更新嵌入表示，并更新知识图谱。在更新后的知识图谱中，新增了(用户C，感兴趣，商品B)的三元组，根据该三元组，向用户C推荐商品B，实现针对性的商品推荐，提升用户的购物体验。
下面继续说明本发明实施例提供的电子设备的示例性应用。电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端设备，也可以实施为服务器。下面，以电子设备为服务器为例进行说明。
参见图2，图2是本发明实施例提供的服务器200(例如，可以是图1所示的服务器200)的架构示意图，图2所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的基于人工智能的嵌入表示处理装置可以采用软件方式实现，图2示出了存储在存储器250中的基于人工智能的嵌入表示处理装置255，其可以是程序和插件等形式的软件，包括以下软件模块：路径查找模块2551、第一邻居确定模块2552、第二邻居确定模块2553、输出模块2554及更新模块2555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的基于人工智能的嵌入表示处理装置可以采用硬件方式实现，作为示例，本发明实施例提供的基于人工智能的嵌入表示处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于人工智能的嵌入表示处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Spe cific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex ProgrammableLogic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
本发明实施例提供的基于人工智能的嵌入表示处理方法可以由上述的服务器执行，也可以由终端设备(例如，可以是图1所示的终端设备400-1和终端设备400-2)执行，或者由服务器和终端设备共同执行。
下面将结合上文记载的电子设备的示例性应用和结构，说明电子设备中通过嵌入的基于人工智能的嵌入表示处理装置而实现基于人工智能的嵌入表示处理方法的过程。
参见图3和图4A，图3是本发明实施例提供的基于人工智能的嵌入表示处理装置255的一个可选的架构示意图，示出了通过一系列模块实现嵌入表示更新及知识图谱更新的流程，图4A是本发明实施例提供的基于人工智能的嵌入表示处理方法的流程示意图，将结合图3对图4A示出的步骤进行说明。
在步骤101中，对用于指示实体之间关系的多个初始三元组进行路径查找处理，得到序列路径。
作为示例，参见图3，在路径查找模块2551中，对获取的多个初始三元组进行路径查找处理，得到至少一条序列路径，其中，不同的序列路径之间互不相交，即不存在共同的实体。对于初始三元组，可直接获取，也可获取初始知识图谱，将初始知识图谱包括的三元组确定为初始三元组。
在步骤102中，确定待处理实体在多个所述初始三元组中的第一邻居，并根据所述第一邻居内实体及关系的初始嵌入表示，确定所述待处理实体的第一嵌入表示。
这里，待处理实体是指多个初始三元组包括的任一实体，如此命名仅是为了便于区分。作为示例，参见图3，在第一邻居确定模块2552中，将包括待处理实体的初始三元组确定为第一邻居，并根据第一邻居内实体及关系的初始嵌入表示，确定待处理实体的第一嵌入表示，具体确定方式在后文进行阐述。值得说明的是，本发明实施例对确定初始嵌入表示的方式不做限定，例如，可通过TransE模型对多个初始三元组进行处理，将初始三元组中的实体及关系映射为低维的嵌入表示。
在步骤103中，确定所述待处理实体在所述序列路径中的第二邻居，并根据所述第二邻居内实体及关系的更新嵌入表示，确定所述待处理实体的第二嵌入表示。
作为示例，参见图3，在第二邻居确定模块2553中，确定待处理实体所在的序列路径，将该序列路径中包括待处理实体的初始三元组确定为第二邻居，并根据第二邻居内实体及关系的更新嵌入表示，确定待处理实体的第二嵌入表示。
在一些实施例中，在步骤103之前，还包括：通过机器学习模型对所述序列路径进行更新处理，得到更新嵌入表示；其中，所述更新处理的方式包括以下的任意一种：通过机器学习模型，对所述序列路径包括的实体及关系共同进行更新处理，得到所述实体及所述关系的更新嵌入表示；通过第一机器学习模型对所述序列路径包括的实体进行更新处理，得到所述实体的更新嵌入表示，并通过第二机器学习模型对所述序列路径包括的关系进行更新处理，得到所述关系的更新嵌入表示；根据所述序列路径包括的关系对机器学习模型的权重参数进行更新，并根据更新后的所述机器学习模型，对所述序列路径包括的实体进行更新处理，得到所述实体的更新嵌入表示。
为了挖掘序列路径上实体和关系的长距离有序信息，在本发明实施例中，通过机器学习模型对序列路径进行更新处理，具体的更新处理方式可应用以下的任意一种：
(1)将实体和关系同等看待，通过训练好的机器学习模型，对序列路径包括的实体及关系共同进行更新处理，得到实体及关系的更新嵌入表示。
(2)将实体和关系区分看待，将序列路径分割为一条仅包括实体的实体路径和另一条仅包括关系的关系路径，并通过实体对应的第一机器学习模型对实体路径包括的实体进行更新处理，得到实体的更新嵌入表示；通过关系对应的第二机器学习模型对关系路径包括的关系进行更新处理，得到关系的更新嵌入表示。
(3)将实体和关系区分看待，将序列路径分割为一条仅包括实体的实体路径和另一条仅包括关系的关系路径，但与(2)方式不同的是，在本方式中，根据关系路径中关系的不同类型，对机器学习模型的权重参数进行更新，再根据更新后的机器学习模型对实体路径进行更新处理，得到实体路径中各实体的更新嵌入表示。其中，关系类型和权重参数之间的映射关系可预先设定，对于方式(3)，关系的更新嵌入表示可为该关系的初始嵌入表示。
另外，更新处理中所用的机器学习模型，是根据标注序列路径和标注嵌入表示训练得到的。在训练过程中，将标注序列路径作为机器学习模型的输入参数，确定机器学习模型经处理后输出的嵌入表示与标注嵌入表示之间的差异，根据该差异在机器学习模型中反向传播，在反向传播的过程中更新机器学习模型的权重参数，以使机器学习模型输出的嵌入表示与标注嵌入表示更为接近。机器学习模型可为利于处理序列数据的循环神经网络(RNN，Recurrent Neural Network)模型，例如长短期记忆网络(LSTM，Long Short-TermMemory)模型或门控循环单元(GRU，Gated Recurrent Unit)模型等。通过上述方式，有效学习到了序列路径上的长距离有序信息，提升了得到的更新嵌入表示的准确性。
在一些实施例中，可以通过这样的方式来实现上述的确定待处理实体在多个所述初始三元组中的第一邻居：将包括待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第一邻居；将包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第一邻居；
可以通过这样的方式来实现上述的确定所述待处理实体在所述序列路径中的第二邻居：将所述序列路径中包括所述待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第二邻居；将所述序列路径中包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第二邻居。
在本发明实施例中，确定出的邻居具有方向属性，方向属性是待处理实体的入边或出边。例如，初始三元组包括(张三，邻居，李四)和(李四，舅舅，王五)，那么，在待处理实体为李四时，(张三，邻居，李四)为该处理实体的方向属性属于入边的第一邻居，(李四，舅舅，王五)为该处理实体的方向属性属于出边的第一邻居。
对于第二邻居，例如序列路径为(张三，邻居，李四，舅舅，王五)，那么，在待处理实体为李四时，(张三，邻居，李四)为该处理实体的方向属性属于入边的第二邻居，(李四，舅舅，王五)为该处理实体的方向属性属于出边的第二邻居。通过上述方式，可有效确定入边和出边两个方向的邻居，提升捕获邻居信息的全面性。
在步骤104中，根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并根据所述待处理实体关系的初始嵌入表示，确定所述第一邻居及所述第二邻居内关系的输出嵌入表示。
作为示例，参见图3，在输出模块2554中，待处理实体和关系的嵌入表示更新方式不同，对于待处理实体，根据第一嵌入表示和第二嵌入表示确定输出嵌入表示；对于第一邻居和第二邻居内的关系，直接根据该关系的初始嵌入表示确定输出嵌入表示。
在一些实施例中，可以通过这样的方式来实现上述的根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并根据所述第一邻居及所述第二邻居内关系的初始嵌入表示，确定所述关系的输出嵌入表示：将所述第一嵌入表示和所述第二嵌入表示进行拼接；根据拼接得到的嵌入表示和所述待处理实体的初始嵌入表示，确定所述待处理实体的输出嵌入表示；对所述第一邻居及所述第二邻居内关系的初始嵌入表示进行加权处理，得到所述关系的输出嵌入表示。
作为示例，参见图3，在输出模块2554中，对待处理实体的第一嵌入表示和第二嵌入表示进行向量拼接，由于第一嵌入表示和第二嵌入表示均具有两种方向属性，即入边和出边，故实际上是将入边的第一嵌入表示、出边的第一嵌入表示、入边的第二嵌入表示及出边的第二嵌入表示进行向量拼接。然后，根据实体线性矩阵对拼接得到的嵌入表示进行加权，并将加权后的嵌入表示和待处理实体的初始嵌入表示的相加结果，确定为待处理实体的输出嵌入表示，其中，实体线性矩阵可以是设定的，也可以是通过训练得到的，初始嵌入表示也可预先经初始线性矩阵进行加权。
对于第一邻居及第二邻居内的关系，根据关系线性矩阵对该关系的初始嵌入表示进行加权处理，并将加权处理的结果确定为该关系的输出嵌入表示，同样地，关系线性矩阵可预先设定，或根据其他方式训练得到，本发明实施例不做限定。由于关系可能在其他三元组中也存在，故通过上述的区分处理的方式，提升了得到的输出嵌入表示的准确性。
在步骤105中，根据所述初始三元组内实体及关系的输出嵌入表示更新知识图谱。
作为示例，参见图3，在更新模块2555中，根据初始三元组内实体及关系的输出嵌入表示，进行关系预测，从而更新知识图谱，该更新后的知识图谱可用于对话场景、推理场景或其他场景。在对话场景中，根据更新后的知识图谱对问题语句进行关联，得到答案语句，例如，更新后的知识图谱中包括(张三，邻居，李四)的三元组，问题语句是“张三的邻居是谁？”，则可根据知识图谱得到答案语句“张三的邻居是李四”。
通过发明实施例对于图4A的上述示例性实施可知，本发明实施例对多个初始三元组进行路径查找处理，得到序列路径，从而在两个层面确定实体的邻居信息，从而对实体及关系的嵌入表示进行更新，提升了得到的输出嵌入表示的准确性，也提升了根据输出嵌入表示进行关系预测及知识图谱补全的效果。
在一些实施例中，参见图4B，图4B是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图，图4A示出的步骤101可以通过步骤201至步骤203实现，将结合各步骤及图3进行说明。
在步骤201中，根据用于指示实体之间关系的多个初始三元组构建二分图；其中，所述二分图中的节点与所述初始三元组中的实体对应
作为示例，参见图3，在路径查找模块2551中，根据多个初始三元组构建二分图，二分图包括两个互不相交的节点集，其中，二分图中的节点与初始三元组中的实体对应，初始三元组中的实体对应二分图中的至少一个节点。例如，在某些情况中构建二分图时，一个实体可能对应两个节点，如“张三”在二分图中对应“张三+”和“张三-”，“张三+”属于节点集A，“张三－”属于节点集B，节点集A和节点集B互不相交。
在步骤202中，将所述二分图中不共享起始节点或结束节点的边确定为匹配边，并将包括数量最多的匹配边的集合确定为最大匹配集，得到N个最大匹配集；其中，所述N为大于0的整数。
作为示例，参见图3，在路径查找模块2551中，通过建立最大匹配集，从而确定序列路径。具体地，将二分图中的一个节点集内的节点确定为起始节点，将另一个节点集内的节点确定为结束节点，将不共享起始节点或结束节点的至少两条边均确定为匹配边，此处的边是指二分图的两个互不相交的节点集中，一个节点集的节点与另一个节点集的节点之间的连接，这里的连接是任意连接，并不限定于初始三元组中的关系连接。由于二分图的复杂度通常较高，故往往会确定出多种不同的匹配边，故确定各种模式得到的匹配边的数量，将包括数量最多的匹配边的集合确定为最大匹配集，得到N个最大匹配集，其中N为大于0的整数。
在步骤203中，将所述最大匹配集中匹配边的结束节点确定为匹配节点，将所述最大匹配集中除所述匹配节点外的节点确定为输入节点，得到与各所述最大匹配集一一对应的输入节点集合。
输入节点也称为控制节点(driver node)，输入节点集合即为控制整个二分图所需的最少节点的集合。对于每一个最大匹配集，将其中除匹配节点外的节点确定为输入节点，得到输入节点集合，如此，可确定每一个最大匹配集对应的输入节点集合。
在步骤204中，在所述最大匹配集中确定所述输入节点集合对应的序列路径，直到遍历完成N个所述最大匹配集。
对于每个最大匹配集，在该最大匹配集中确定输入节点集合对应的序列路径，直到遍历完成N个最大匹配集，得到每个最大匹配集对应的序列路径为止。
在一些实施例中，可以通过这样的方式来实现上述的在所述最大匹配集中确定所述输入节点集合对应的序列路径：在所述最大匹配集中，确定以任一未访问的所述输入节点作为起始的路径，将所述路径确定为序列路径，并在所述最大匹配集中移除所述序列路径包括的匹配边，直至访问完成所述输入节点集合中的所有输入节点；将所述最大匹配集中剩余的节点，添加至所述输入节点集合，直至所述最大匹配集和所述输入节点集合中均不存在未访问的节点。
在初始时，输入节点集合内的所有输入节点均被标记为未访问。在一个最大匹配集中，确定以输入节点集合中任一未访问的输入节点作为起始的最长路径，将该最长路径确定为序列路径，然后，在最大匹配集中移除该序列路径包括的匹配边，直到访问完成输入节点集合中的所有输入节点为止，其中，序列路径包括的节点被标记为已访问。在访问完成输入节点集合中的所有输入节点时，最大匹配集中可能仍存在未访问的节点，故将最大匹配集中剩余的未访问节点添加至输入节点集合，再在最大匹配集中，确定以输入节点集合中任一未访问的输入节点作为起始的序列路径。
值得说明的是，对于一个最大匹配集，确定出的序列路径互不相交，但是，对于不同的最大匹配集A和最大匹配集B，最大匹配集A对应的序列路径与最大匹配集B对应的序列路径可能会产生相交的情况。另外，在根据最大匹配集确定出序列路径后，将该最大匹配集中仅与该序列路径存在连接的节点确定为孤立节点，并丢弃该孤立节点。例如，在根据最大匹配集确定序列路径时，一个节点i已经出现在某条序列路径中，若该最大匹配集中的另一个节点j只与节点i存在连接，则将节点j确定为孤立节点，并丢弃节点j。
通过发明实施例对于图4B的上述示例性实施可知，本发明实施例通过构建二分图，并通过查找最大匹配集来确定不相交的序列路径，提供了序列路径的一种有效确定方式。
在一些实施例中，参见图4C，图4C是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图，图4A示出的步骤101可以通过步骤301至步骤303实现，将结合各步骤及图3进行说明。
在步骤301中，根据用于指示实体之间关系的多个初始三元组构建初始图，将所述初始图中的所有实体均标记为未访问实体。
作为示例，参见图3，在路径查找模块2551中，还可利用深度优先遍历的方式确定序列路径。具体地，根据多个初始三元组构建初始图，将该初始图中的所有实体均标记为未访问实体，此处的初始图与二分图不同，例如可为无向图。
在步骤302中，将任一所述未访问实体确定为起始实体；其中，所述起始实体被标记为已访问。
将初始图中任一未访问实体确定为起始实体，起始实体在初始图中仅为一个，且初始实体在确定时即被标记为已访问。
在步骤303中，当所述起始实体存在邻接的未访问实体时，将邻接的任一未访问实体确定为新的起始实体。
当起始实体存在关系连接的未访问实体时，将邻接的任一未访问实体确定为新的起始实体，同时构建从旧的起始实体到新的起始实体的路径。
在步骤304中，当所述起始实体不存在邻接的未访问实体、且访问得到的路径包括至少两个实体时，将所述访问得到的路径确定为序列路径，并将剩余的任一未访问实体确定为新的起始实体，直到所有实体均被标记为已访问。
当起始实体不存在邻接的未访问实体、且访问得到的路径仅包括一个实体(即起始实体本身)时，将起始实体确定为孤立实体，并丢弃该孤立实体，继续将剩余的任一未访问实体确定为新的起始实体；当起始实体不存在邻接的未访问实体、且访问得到的路径包括至少两个实体时，将访问得到的路径确定为序列路径，并将剩余的任一未访问实体确定为新的起始实体，直到所有实体均被标记为已访问为止。值得说明的是，步骤301～步骤304可执行多次，即多次执行深度优先遍历，从而增加得到的序列路径的数量。
通过发明实施例对于图4C的上述示例性实施可知，本发明实施例通过对初始图进行深度优先遍历，提供了序列路径的另一种有效确定方式。
在一些实施例中，参见图4D，图4D是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图，图4A示出的步骤102可以通过步骤401至步骤403实现，将结合各步骤及图3进行说明。
在步骤401中，确定待处理实体在多个所述初始三元组中的第一邻居，并将所述第一邻居内实体及关系的初始嵌入表示，拼接为所述第一邻居的邻居嵌入表示。
作为示例，参见图3，在第一邻居确定模块2552中，对于待处理实体的第一邻居，将第一邻居内实体及关系的初始嵌入表示，通过线性转化器拼接为第一邻居的邻居嵌入表示。
在步骤402中，根据邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，得到注意力值。
作为示例，参见图3，在第一邻居确定模块2552中，应用注意力机制计算注意力值，具体地，根据邻居线性矩阵对邻居嵌入表示进行激活处理，例如，通过LeakyRelu激活函数对邻居线性矩阵和邻居嵌入表示进行激活处理，得到激活嵌入表示。然后，对得到的激活嵌入表示进行归一化处理，例如通过soft max归一化函数对激活嵌入表示进行归一化处理，得到注意力值。其中，邻居线性矩阵可以是设定的线性矩阵，也可以是一个可学习、不断更新的参数矩阵，此处不做限定。
在一些实施例中，可以通过这样的方式来实现上述的对得到的激活嵌入表示进行归一化处理，得到注意力值：对所述第一邻居的激活嵌入表示进行指数处理，得到分子嵌入表示；确定所述第一邻居的方向属性，对所述方向属性对应的所有第一邻居的激活嵌入表示分别进行指数处理，并对指数处理得到的多个结果进行融合处理，得到分母嵌入表示；根据所述分子嵌入表示和所述分母嵌入表示，确定注意力值。
例如，第一邻居为第一邻居A，对第一邻居A的激活嵌入表示进行指数处理得到分子嵌入表示，这里，可将以自然常数e为底数，以第一邻居A的激活嵌入表示为指数得到的结果，确定为分子嵌入表示。同时，确定第一邻居A的方向属性，对与该方向属性相同的所有第一邻居(包括第一邻居A)的激活嵌入表示分别进行同样的指数处理，并将指数处理得到的多个结果相加，得到分母嵌入表示。将分子嵌入表示除以分母嵌入表示得到的结果，确定为第一邻居A的注意力值。通过上述方式，完成了激活嵌入表示的归一化，便于后续进行注意力加权。
在步骤403中，根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示；其中，所述方向属性是所述待处理实体的入边或出边。
在确定出每个第一邻居的邻居嵌入表示和注意力值后，根据方向属性为入边的所有第一邻居的邻居嵌入表示和注意力值，确定待处理实体在入边的第一嵌入表示；根据方向属性为出边的所有第一邻居的邻居嵌入表示和注意力值，确定待处理实体在出边的第一嵌入表示。
值得说明的是，在第二邻居确定模块2553中，确定待处理实体的第二嵌入表示的过程与步骤401～步骤403类似，不同之处在于将步骤401～步骤403中的第一邻居更换为第二邻居，此处不再赘述。
在一些实施例中，可以通过这样的方式来实现上述的根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示：根据所述注意力值对所述邻居嵌入表示进行加权处理，得到加权嵌入表示；对方向属性相同的所有第一邻居的加权嵌入表示进行融合处理，并对融合处理的结果进行激活处理，得到所述待处理实体在所述方向属性上的第一嵌入表示。
例如第一邻居为第一邻居A，在得到第一邻居A的注意力值后，根据注意力值对第一邻居A的邻居嵌入表示进行加权处理，得到加权嵌入表示。确定第一邻居A的方向属性，并按照该加权方式，得到该方向属性对应的所有第一邻居(包括第一邻居A)的加权嵌入表示，再将各加权嵌入表示进行相加，对相加后的结果进行激活处理，得到待处理实体在该方向属性上的第一嵌入表示。此处的激活处理可通过sigmoid激活函数实现。通过上述注意力加权的方式，提升了得到的第一嵌入表示的准确性。
在一些实施例中，可以通过这样的方式来实现上述的根据邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，得到注意力值：获取L个邻居线性矩阵，分别根据L个所述邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，直到得到L个注意力值；其中，所述L为大于0的整数；
可以通过这样的方式来实现上述的根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示：根据方向属性相同的所有第一邻居的邻居嵌入表示和L个注意力值，分别确定所述待处理实体在所述方向属性上的L个第一嵌入表示；将L个所述第一嵌入表示，拼接为更新后的所述待处理实体在所述方向属性上的第一嵌入表示。
为了使得到的结果更为稳定，在本发明实施例中，可应用L次注意力机制，其中，L为大于0的整数，例如L可取2。具体地，获取L个邻居线性矩阵，并在L轮的每一轮中，根据对应的邻居线性矩阵对邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，得到注意力值，直到得到每一轮的注意力值为止。如此，对于每个第一邻居，都会得到L个注意力值。
在根据注意力值确定第一嵌入表示时，同样分为L轮，在每一轮中，根据方向属性相同的所有第一邻居的邻居嵌入表示和该轮对应的注意力值，确定待处理实体在该轮、且在该方向属性上的第一嵌入表示。最后，将待处理实体在该方向属性上的L个第一嵌入表示，拼接为更新后的在该方向属性上的第一嵌入表示。通过上述方式，进一步提升了得到的第一嵌入表示的准确性。
通过发明实施例对于图4D的上述示例性实施可知，本发明实施例通过拼接、激活处理及归一化处理的一系列操作，有效地捕获了邻居的有序信息，提升了第一嵌入表示的准确性。
在一些实施例中，参见图4E，图4E是本发明实施例提供的基于人工智能的嵌入表示处理方法的另一个可选的流程示意图，图4A示出的步骤105可以通过步骤501至步骤504实现，将结合各步骤及图3进行说明。
在步骤501中，根据所述初始三元组内实体及关系的输出嵌入表示，对关系预测模型中的权重参数进行更新。
这里，关系预测模型同样为机器学习模型，本发明实施例对关系预测模型的具体种类不做限定。
在一些实施例中，可以通过这样的方式来实现上述的根据所述初始三元组内实体及关系的输出嵌入表示，对关系预测模型中的权重参数进行更新：获取用于指示实体之间的无效关系的无效三元组；根据所述初始三元组内实体及关系的输出嵌入表示，确定初始度量值；根据所述无效三元组内实体及关系的输出嵌入表示，确定无效度量值；根据所述初始度量值和所述无效度量值，确定关系预测模型的损失函数的最小损失值；将所述关系预测模型的权重参数，更新为所述最小损失值对应的权重参数。
在训练关系预测模型时，获取用于指示实体之间无效关系的无效三元组，该无效三元组可预先设定，也可由对初始三元组进行组合得到，其中，无效三元组内的实体及关系在多个初始三元组内出现过。
然后，根据初始三元组内实体及关系的输出嵌入表示，确定初始度量值，例如，对于初始三元组，可计算“作为主语的实体的输出嵌入表示+关系的输出嵌入表示－作为宾语的实体的输出嵌入表示”，再将得到的向量的L1范数确定为初始度量值。确定无效三元组的无效度量值的方式与确定初始度量值的方式相同，不再赘述。根据得到的初始度量值和无效度量值，确定关系预测模型的损失函数的最小损失值，将取得最小损失值时的权重参数，确定为关系预测模型的权重参数。损失函数的构建方式在后文进行详细阐述。通过上述方式训练关系预测模型，使得更新后的关系预测模型能够较准确地预测出三元组是否合理，具有较好的预测效果。
在步骤502中，对多个所述初始三元组内的实体及关系进行组合，得到多个互不相同的组合三元组。
将多个初始三元组内的实体及关系进行组合，得到与初始三元组不同、且互不相同的多个组合三元组，组合策略可根据实际应用场景进行设定，例如可设定为，在符合三元组格式的基础上任意组合。
在步骤503中，通过更新后的所述关系预测模型对所述组合三元组进行预测处理，得到有效分数。
这里，得到的有效分数即指示组合三元组的合理程度。
在步骤504中，当所述有效分数超过分数阈值时，将对应的组合三元组确定为预测三元组，并根据所述初始三元组和所述预测三元组构建知识图谱。
对于超过分数阈值的有效分数，确定关系预测成功，将对应的组合三元组确定为预测三元组，并根据初始三元组和预测三元组构建知识图谱，如此，进行知识图谱的补全，使得知识图谱的完整性更高，利用进行基于知识图谱的对话及推理等任务。
通过发明实施例对于图4E的上述示例性实施可知，本发明实施例通过获取无效三元组，根据初始三元组和无效三元组训练关系预测模型，提升了关系预测及知识图谱补全的效果，提升了知识图谱的完整性。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
参见图5，图5是本发明实施例提供的更新实体的嵌入表示的一个可选的示意图。图5分为了路径层次和实体层次，首先对路径层次进行说明。
路径构建模块是路径层次的重要组成部分，由于路径通常具有冗余性和多样性，构建全部的路径是不现实且无意义的，因此，在路径构建模块中，为了确定尽可能覆盖所有实体和关系的有意义路径，提供了两种路径构建方式，即构建控制路径的方式及构建随机路径的方式。
控制路径是基于控制理论构建的，具体体现在，一个二分图是可控的，当且仅当在有限时间内，通过可数的输入信息，该图能从初始状态到达目标状态。一条控制路径就是信号从某个输入节点到达目标节点所经过的路径。在本发明实施例中，使用最大匹配算法来构建控制路径，其中，一个二分图可能有多个最大匹配集，不同的最大匹配集表示不同的控制模式，不同最大匹配集对应的控制路径也是不同的。为了便于理解，以伪代码形式进行说明控制路径的构建过程：
输入：根据多个初始三元组构建的二分图，二分图中最大匹配集的数量N，N为大于0的整数；
输出：控制路径集合P；
1.确定一个未被访问过的最大匹配集M，以及与该最大匹配集对应的输入节点集合I；
2.对于I中的任意一个输入节点i，循环遍历M，构造从i开始的最长路径pi，将路径pi加入至控制路径集合P中，同时，将路径pi中的匹配边从M中移除；
3.循环执行步骤2，直到I中的所有输入节点均被访问过；
4.将M中剩余的节点加入I中，继续执行步骤2～步骤3；
5.循环执行步骤1～步骤4，循环执行的次数为N次，直至所有的最大匹配集都被访问过
对于随机路径，使用深度优先遍历的方式得到，深度优先遍历可重复执行一次以上。具体地，根据多个初始三元组构建初始图，将初始图中的所有实体均标记为未访问实体。将任一未访问实体确定为起始实体，起始实体默认被标记为已访问，当起始实体存在邻接的未访问实体时，将邻接的任一未访问实体确定为新的起始实体；当起始实体不存在邻接的未访问实体、且访问得到的路径包括至少两个实体时，将访问得到的路径确定为序列路径，并将剩余的任一未访问实体确定为新的起始实体，直到所有实体均被标记为已访问。值得说明的是，在两种路径构建方式中，丢弃没有与关系相连接的孤立节点，例如，一个节点i已经出现在某条路径中，则不能出现在另一条路径中，此时若另一个节点j只与节点i存在连接，则将节点j确定为孤立节点，并丢弃节点j，不纳入路径构建的范围。
在实际应用场景中，可采用控制路径或随机路径，为了便于理解，将路径构建模块得到的路径命名为序列路径。序列路径的集合可用P表示，P＝{p1,p2,…,pN}，pi＝(ei,1,ri,1,ei,2,ri,2,…,ri,n-1,ei,n)，此处的N是序列路径的个数，n是路径pi中实体的个数。路径pi的初始嵌入表示为Hi＝{x1,x2,…,x2n-1}＝{hi1,si1,…,sin-1,hin}，其中hiv是实体ei,v的初始嵌入表示，siv是关系ri,v的初始嵌入表示。本发明实施例对初始嵌入表示的确定方式不做限定，例如可通过TransE模型对多个初始三元组进行处理，将初始三元组中的实体及关系映射为低维的初始嵌入表示。
然后，通过机器学习模型如RNN模型来学习序列路径上的长距离依赖信息，RNN模型具体可以采用LSTM模型或GRU模型等。这里，可通过下列三种方式来挖掘序列路径上的有序信息：
(1)And方式，即平等方式，具体将实体和关系同等看待，通过RNN模型直接对序列路径pi＝(ei,1,ri,1,ei,2,ri,2,…,ri,n-1,ei,n)进行更新处理，得到序列路径中实体及关系的更新嵌入表示。
(2)Or方式，即区别方式，具体将序列路径pi＝(ei,1,ri,1,ei,2,ri,2,…,ri,n-1,ei,n)分割为一条实体路径pi e＝(ei,1,ei,2,…,ei,n)和一条关系路径pi r＝(ri,1,ri,2,…,ri,n-1)。通过实体路径对应的第一RNN模型对实体路径进行更新处理，得到实体路径中各实体的更新嵌入表示；通过关系路径对应的第二RNN模型对关系路径进行更新处理，得到关系路径中各关系的更新嵌入表示。
(3)Relation方式，即权重方式，具体进行与Or方式同样的路径分割。不同之处在于，根据关系路径为RNN模型赋予不同的权重参数，例如序列路径pi＝(ei,1,ri,1,ei,2,ri,2,…,ri,n-1,ei,n)中，若ri,1与ri,2不同，则为RNN模型赋予的权重参数不同。然后，根据更新了权重参数的RNN模型对实体路径进行更新处理，得到实体路径中各实体的更新嵌入表示。对于关系路径，可将关系的初始嵌入表示确定为该关系的更新嵌入表示。
在实际应用场景中，可采用上面三种方式的任一种。经过更新处理后，序列路径上的每个实体及关系都携带了长距离的有序信息，体现于更新嵌入表示中。经过RNN模型后的序列路径的更新嵌入表示可记为Yi＝{y1,y2,…,y2n-1}。然后，基于构建知识图谱的方式，根据多个初始三元组构建原始图G(与二分图不同)，根据所有序列路径上的三元组构建一个新的图G’，将新图G’和原始图G共同输入实体层次，从而学习实体的直接邻居所携带的信息。
在实体层次中，直接邻居的来源有两种：原始图G和新图G’。原始图G中的邻居为上文的第一邻居，新图G’中的邻居为上文的第二邻居，这两种来源的邻居信息将用同样的方式分别计算，最后拼接在一起。因此，以原始图G为例进行阐述。
由于实体的入边邻居和出边邻居都会对其嵌入表示产生影响，故需要对入边邻居和出边邻居的信息进行结合，其中，入边邻居即为上文的方向属性为入边的邻居，出边邻居为上文的方向属性为出边的邻居。
对于任意的初始三元组，实体和对应关系的特征通过线性转化器拼接在一起，公式为：
其中，是入边邻居(ei,rm,ek)的嵌入表示，即上文的邻居嵌入表示，是出边邻居(ek,rn,eo)的嵌入表示，hk、hi和ho分别是实体ek、ei和eo的初始嵌入表示，sm和sn分别是关系rm和rn的初始嵌入表示，和表示线性矩阵。
对于入边邻居和出边邻居来说，计算其内实体的输出嵌入表示的方式相同，因此，以入边邻居计算实体的输出嵌入表示为例进行说明。在计算过程中，使用LeakyRelu和softmax等函数计算每个入边邻居的注意力值：
其中，exp()为指数函数，是线性矩阵，即上文的邻居线性矩阵，即上文的激活嵌入表示，即上文的注意力值，表示实体ek的入边邻居中的实体的集合，表示实体ek的入边邻居中的关系的集合。值得说明的是，指的是对实体ek的所有入边邻居的激活嵌入表示进行指数处理，并将指数处理的结果相加，而不是指对和中的元素进行遍历组合。
为了使计算过程更加稳定，对注意力值进行L轮计算，实体ek的第一入边嵌入表示可体现为各入边邻居的邻居嵌入表示与对应的注意力值的加权结果的和，其中，L为大于0的整数，如取2，第一入边嵌入表示即为上文的方向属性为入边的第一嵌入表示。第一入边嵌入表示的计算公式为：
其中，为实体ek的第一入边嵌入表示，表示将L个结果拼接在一起，函数σ为sigmoid激活函数。
根据同样的方式，可计算出实体ek的第一出边嵌入表示在新图G’中的第二入边嵌入表示及在新图G’中的第二出边嵌入表示将以上四种嵌入表示拼接在一起，得到实体ek从路径层次及实体层次学习到的嵌入表示，公式为：
其中，Wh为上文的实体线性矩阵。最终，实体ek的输出嵌入表示是拼接得到的嵌入表示h'k与初始嵌入表示hk(经初始线性矩阵Wf加权)的和，关系rm的输出嵌入表示是初始嵌入表示sm与关系线性矩阵Ws的乘积，公式为：
通过上述方式，可有效更新初始三元组内实体及关系的嵌入表示，便于更准确地进行关系预测。在关系预测过程中，可通过训练关系预测模型，从而根据关系预测模型得到三元组的有效分数，关系预测模型可通过下文的方式进行训练。
关系预测模型可包括一个编码器和一个解码器，其中，编码器是对实体和关系所携带的信息进行编码表示，编码器的损失函数用于最小化L1-范数相异度量值。对于一个三元组tkmj＝(ek,rm,ej)，其L1-范数相异度量值为则编码器的损失函数可为下式：
其中，γ1是边缘参数，S指有效的三元组的集合，S'指无效的三元组的集合，即上文的初始度量值，即上文的无效度量值。
解码器用于根据编码器输出的编码表示，预测对应的三元组的有效分数。这里，解码器中有效分数的计算公式可为：
其中，D是解码器中过滤器的数量，ωd指第d个过滤器，*表示卷积操作，W表示线性变换矩阵，ReLU是激活函数。解码器的损失函数可表示为：
其中，γ2是另一个边缘参数。在训练时，先根据损失函数L1对编码器进行训练，得到最小损失值，将编码器相关的权重参数更新为取得最小损失值时的权重参数。然后，在此基础上，根据损失函数L2对解码器进行训练，得到L2的最小损失值，将解码器相关的权重参数更新为取得该L2的最小损失值时的权重参数。权重参数是指编码器及解码器中可学习的参数，例如解码器损失函数中的α，并不特指某一参数。
训练完成后，便可将三元组输入至编码器，将解码器输出的有效分数，作为该三元组的有效分数。
下面继续说明本发明实施例提供的基于人工智能的嵌入表示处理装置255实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的基于人工智能的嵌入表示处理装置255中的软件模块可以包括：路径查找模块2551，用于对用于指示实体之间关系的多个初始三元组进行路径查找处理，得到序列路径；第一邻居确定模块2552，用于确定待处理实体在多个所述初始三元组中的第一邻居，并根据所述第一邻居内实体及关系的初始嵌入表示，确定所述待处理实体的第一嵌入表示；第二邻居确定模块2553，用于确定所述待处理实体在所述序列路径中的第二邻居，并根据所述第二邻居内实体及关系的更新嵌入表示，确定所述待处理实体的第二嵌入表示；输出模块2554，用于根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并根据所述第一邻居及所述第二邻居内关系的初始嵌入表示，确定所述关系的输出嵌入表示；更新模块2555，用于根据所述初始三元组内实体及关系的输出嵌入表示更新知识图谱。
在一些实施例中，路径查找模块2551，还用于：根据用于指示实体之间关系的多个初始三元组构建二分图；其中，所述二分图中的节点与所述初始三元组中的实体对应；将所述二分图中不共享起始节点或结束节点的边确定为匹配边，并将包括数量最多的匹配边的集合确定为最大匹配集，得到N个最大匹配集；其中，所述N为大于0的整数；将所述最大匹配集中匹配边的结束节点确定为匹配节点，将所述最大匹配集中除所述匹配节点外的节点确定为输入节点，得到与各所述最大匹配集一一对应的输入节点集合；在所述最大匹配集中确定所述输入节点集合对应的序列路径，直到遍历完成N个所述最大匹配集。
在一些实施例中，路径查找模块2551，还用于：在所述最大匹配集中，确定以任一未访问的所述输入节点作为起始的路径，将所述路径确定为序列路径，并在所述最大匹配集中移除所述序列路径包括的匹配边，直至访问完成所述输入节点集合中的所有输入节点；将所述最大匹配集中剩余的节点，添加至所述输入节点集合，直至所述最大匹配集和所述输入节点集合中均不存在未访问的节点。
在一些实施例中，路径查找模块2551，还用于：根据用于指示实体之间关系的多个初始三元组构建初始图，将所述初始图中的所有实体均标记为未访问实体；将任一所述未访问实体确定为起始实体；其中，所述起始实体被标记为已访问；当所述起始实体存在邻接的未访问实体时，将邻接的任一未访问实体确定为新的起始实体；当所述起始实体不存在邻接的未访问实体、且访问得到的路径包括至少两个实体时，将所述访问得到的路径确定为序列路径，并将剩余的任一未访问实体确定为新的起始实体，直到所有实体均被标记为已访问。
在一些实施例中，基于人工智能的嵌入表示处理装置255还包括：模型更新模块，用于通过机器学习模型对所述序列路径进行更新处理，得到更新嵌入表示；其中，所述更新处理的方式包括以下的任意一种：通过机器学习模型，对所述序列路径包括的实体及关系共同进行更新处理，得到所述实体及所述关系的更新嵌入表示；通过第一机器学习模型对所述序列路径包括的实体进行更新处理，得到所述实体的更新嵌入表示，并通过第二机器学习模型对所述序列路径包括的关系进行更新处理，得到所述关系的更新嵌入表示；根据所述序列路径包括的关系对机器学习模型的权重参数进行更新，并根据更新后的所述机器学习模型，对所述序列路径包括的实体进行更新处理，得到所述实体的更新嵌入表示。
在一些实施例中，第一邻居确定模块2552，还用于：将所述第一邻居内实体及关系的初始嵌入表示，拼接为所述第一邻居的邻居嵌入表示；根据邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，得到注意力值；根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示；其中，所述方向属性是所述待处理实体的入边或出边。
在一些实施例中，第一邻居确定模块2552，还用于：对所述第一邻居的激活嵌入表示进行指数处理，得到分子嵌入表示；确定所述第一邻居的方向属性，对所述方向属性对应的所有第一邻居的激活嵌入表示分别进行指数处理，并对指数处理得到的多个结果进行融合处理，得到分母嵌入表示；根据所述分子嵌入表示和所述分母嵌入表示，确定注意力值。
在一些实施例中，第一邻居确定模块2552，还用于：根据所述注意力值对所述邻居嵌入表示进行加权处理，得到加权嵌入表示；对方向属性相同的所有第一邻居的加权嵌入表示进行融合处理，并对融合处理的结果进行激活处理，得到所述待处理实体在所述方向属性上的第一嵌入表示。
在一些实施例中，第一邻居确定模块2552，还用于：获取L个邻居线性矩阵，分别根据L个所述邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，直到得到L个注意力值；其中，所述L为大于0的整数；
根据方向属性相同的所有第一邻居的邻居嵌入表示和L个注意力值，分别确定所述待处理实体在所述方向属性上的L个第一嵌入表示；将L个所述第一嵌入表示，拼接为更新后的所述待处理实体在所述方向属性上的第一嵌入表示。
在一些实施例中，第一邻居确定模块2552，还用于：将包括待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第一邻居；将包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第一邻居；
第二邻居确定模块2553，还用于：将所述序列路径中包括所述待处理实体、且所述待处理实体为宾语的初始三元组，确定为方向属性属于入边的第二邻居；将所述序列路径中包括所述待处理实体、且所述待处理实体为主语的初始三元组，确定为方向属性属于出边的第二邻居。
在一些实施例中，输出模块2554，还用于：将所述第一嵌入表示和所述第二嵌入表示进行拼接；根据拼接得到的嵌入表示和所述待处理实体的初始嵌入表示，确定所述待处理实体的输出嵌入表示；对所述第一邻居及所述第二邻居内关系的初始嵌入表示进行加权处理，得到所述关系的输出嵌入表示。
在一些实施例中，更新模块2555，还用于：根据所述初始三元组内实体及关系的输出嵌入表示，对关系预测模型中的权重参数进行更新；对多个所述初始三元组内的实体及关系进行组合，得到多个互不相同的组合三元组；通过更新后的所述关系预测模型对所述组合三元组进行预测处理，得到有效分数；当所述有效分数超过分数阈值时，将对应的组合三元组确定为预测三元组，并根据所述初始三元组和所述预测三元组构建知识图谱。
在一些实施例中，更新模块2555，还用于：获取用于指示实体之间的无效关系的无效三元组；根据所述初始三元组内实体及关系的输出嵌入表示，确定初始度量值；根据所述无效三元组内实体及关系的输出嵌入表示，确定无效度量值；根据所述初始度量值和所述无效度量值，确定关系预测模型的损失函数的最小损失值；将所述关系预测模型的权重参数，更新为所述最小损失值对应的权重参数。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的基于人工智能的嵌入表示处理方法，例如，如图4A、4B、4C、4D或4E示出的基于人工智能的嵌入表示处理方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，本发明实施例在路径层次和实体层次对嵌入表示进行更新，提升了捕获到的邻居信息的全面性，并且有效挖掘到了路径层次中的有序信息，提升了得到的输出嵌入表示的准确性，也提升了关系预测及知识图谱补全的准确性。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (12)
1.一种基于人工智能的嵌入表示处理方法，其特征在于，包括：
对用于指示实体之间关系的多个初始三元组进行路径查找处理，得到序列路径；
确定待处理实体在多个所述初始三元组中的第一邻居，将所述第一邻居内实体及关系的初始嵌入表示，拼接为所述第一邻居的邻居嵌入表示；根据邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，得到注意力值；根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示；其中，所述方向属性是所述待处理实体的入边或出边；
确定所述待处理实体在所述序列路径中的第二邻居，并根据所述第二邻居内实体及关系的更新嵌入表示，确定所述待处理实体的第二嵌入表示，其中，获取所述第二嵌入表示的原理与获取所述第一嵌入表示的原理相同；
根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并
根据所述第一邻居及所述第二邻居内关系的初始嵌入表示，确定所述关系的输出嵌入表示；
根据所述初始三元组内实体及关系的输出嵌入表示更新知识图谱；
其中，所述路径查找处理通过以下任意一种方式实现：
根据用于指示实体之间关系的多个初始三元组构建二分图；其中，所述二分图中的节点与所述初始三元组中的实体对应；将所述二分图中不共享起始节点或结束节点的边确定为匹配边，并将包括数量最多的匹配边的集合确定为最大匹配集，得到N个最大匹配集；其中，所述N为大于0的整数；将所述最大匹配集中匹配边的结束节点确定为匹配节点，将所述最大匹配集中除所述匹配节点外的节点确定为输入节点，得到与各所述最大匹配集一一对应的输入节点集合；在所述最大匹配集中确定所述输入节点集合对应的序列路径，直到遍历完成N个所述最大匹配集；
根据用于指示实体之间关系的多个初始三元组构建初始图，将所述初始图中的所有实体均标记为未访问实体；将任一所述未访问实体确定为起始实体；其中，所述起始实体被标记为已访问；当所述起始实体存在邻接的未访问实体时，将邻接的任一未访问实体确定为新的起始实体；当所述起始实体不存在邻接的未访问实体、且访问得到的路径包括至少两个实体时，将所述访问得到的路径确定为序列路径，并将剩余的任一未访问实体确定为新的起始实体，直到所有实体均被标记为已访问。
2.根据权利要求1所述的嵌入表示处理方法，其特征在于，所述在所述最大匹配集中确定所述输入节点集合对应的序列路径，包括：
在所述最大匹配集中，确定以任一未访问的所述输入节点作为起始的路径，将所述路径确定为序列路径，并
在所述最大匹配集中移除所述序列路径包括的匹配边，直至访问完成所述输入节点集合中的所有输入节点；
将所述最大匹配集中剩余的节点，添加至所述输入节点集合，直至所述最大匹配集和所述输入节点集合中均不存在未访问的节点。
3.根据权利要求1所述的嵌入表示处理方法，其特征在于，所述确定所述待处理实体在所述序列路径中的第二邻居之前，所述方法还包括：
通过机器学习模型对所述序列路径进行更新处理，得到更新嵌入表示；
其中，所述更新处理的方式包括以下的任意一种：
通过机器学习模型，对所述序列路径包括的实体及关系共同进行更新处理，得到所述实体及所述关系的更新嵌入表示；
通过第一机器学习模型对所述序列路径包括的实体进行更新处理，得到所述实体的更新嵌入表示，并通过第二机器学习模型对所述序列路径包括的关系进行更新处理，得到所述关系的更新嵌入表示；
根据所述序列路径包括的关系对机器学习模型的权重参数进行更新，并根据更新后的所述机器学习模型，对所述序列路径包括的实体进行更新处理，得到所述实体的更新嵌入表示。
4.根据权利要求1所述的嵌入表示处理方法，其特征在于，所述对得到的激活嵌入表示进行归一化处理，得到注意力值，包括：
对所述第一邻居的激活嵌入表示进行指数处理，得到分子嵌入表示；
确定所述第一邻居的方向属性，对所述方向属性对应的所有第一邻居的激活嵌入表示分别进行指数处理，并
对指数处理得到的多个结果进行融合处理，得到分母嵌入表示；
根据所述分子嵌入表示和所述分母嵌入表示，确定注意力值。
5.根据权利要求1所述的嵌入表示处理方法，其特征在于，所述根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示，包括：
根据所述注意力值对所述邻居嵌入表示进行加权处理，得到加权嵌入表示；
对方向属性相同的所有第一邻居的加权嵌入表示进行融合处理，并对融合处理的结果进行激活处理，得到所述待处理实体在所述方向属性上的第一嵌入表示。
6.根据权利要求1所述的嵌入表示处理方法，其特征在于，
所述根据邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，得到注意力值，包括：
获取L个邻居线性矩阵，分别根据L个所述邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，直到得到L个注意力值；其中，所述L为大于0的整数；
所述根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示，包括：
根据方向属性相同的所有第一邻居的邻居嵌入表示和L个注意力值，分别确定所述待处理实体在所述方向属性上的L个第一嵌入表示；
将L个所述第一嵌入表示，拼接为更新后的所述待处理实体在所述方向属性上的第一嵌入表示。
7.根据权利要求1所述的嵌入表示处理方法，其特征在于，所述根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并根据所述第一邻居及所述第二邻居内关系的初始嵌入表示，确定所述关系的输出嵌入表示，包括：
将所述第一嵌入表示和所述第二嵌入表示进行拼接；
根据拼接得到的嵌入表示和所述待处理实体的初始嵌入表示，确定所述待处理实体的输出嵌入表示；
对所述第一邻居及所述第二邻居内关系的初始嵌入表示进行加权处理，得到所述关系的输出嵌入表示。
8.根据权利要求1至7任一项所述的嵌入表示处理方法，其特征在于，所述根据所述初始三元组内实体及关系的输出嵌入表示更新知识图谱，包括：
根据所述初始三元组内实体及关系的输出嵌入表示，对关系预测模型中的权重参数进行更新；
对多个所述初始三元组内的实体及关系进行组合，得到多个互不相同的组合三元组；
通过更新后的所述关系预测模型对所述组合三元组进行预测处理，得到有效分数；
当所述有效分数超过分数阈值时，将对应的组合三元组确定为预测三元组，并根据所述初始三元组和所述预测三元组构建知识图谱。
9.根据权利要求8所述的嵌入表示处理方法，其特征在于，所述根据所述初始三元组内实体及关系的输出嵌入表示，对关系预测模型中的权重参数进行更新，包括：
获取用于指示实体之间的无效关系的无效三元组；
根据所述初始三元组内实体及关系的输出嵌入表示，确定初始度量值；
根据所述无效三元组内实体及关系的输出嵌入表示，确定无效度量值；
根据所述初始度量值和所述无效度量值，确定关系预测模型的损失函数的最小损失值；
将所述关系预测模型的权重参数，更新为所述最小损失值对应的权重参数。
10.一种基于人工智能的嵌入表示处理装置，其特征在于，包括：
路径查找模块，用于对用于指示实体之间关系的多个初始三元组进行路径查找处理，得到序列路径，通过以下任意一种方式实现：
根据用于指示实体之间关系的多个初始三元组构建二分图；其中，所述二分图中的节点与所述初始三元组中的实体对应；将所述二分图中不共享起始节点或结束节点的边确定为匹配边，并将包括数量最多的匹配边的集合确定为最大匹配集，得到N个最大匹配集；其中，所述N为大于0的整数；将所述最大匹配集中匹配边的结束节点确定为匹配节点，将所述最大匹配集中除所述匹配节点外的节点确定为输入节点，得到与各所述最大匹配集一一对应的输入节点集合；在所述最大匹配集中确定所述输入节点集合对应的序列路径，直到遍历完成N个所述最大匹配集；
根据用于指示实体之间关系的多个初始三元组构建初始图，将所述初始图中的所有实体均标记为未访问实体；将任一所述未访问实体确定为起始实体；其中，所述起始实体被标记为已访问；当所述起始实体存在邻接的未访问实体时，将邻接的任一未访问实体确定为新的起始实体；当所述起始实体不存在邻接的未访问实体、且访问得到的路径包括至少两个实体时，将所述访问得到的路径确定为序列路径，并将剩余的任一未访问实体确定为新的起始实体，直到所有实体均被标记为已访问；
第一邻居确定模块，用于确定待处理实体在多个所述初始三元组中的第一邻居，将所述第一邻居内实体及关系的初始嵌入表示，拼接为所述第一邻居的邻居嵌入表示；根据邻居线性矩阵对所述邻居嵌入表示进行激活处理，并对得到的激活嵌入表示进行归一化处理，得到注意力值；根据方向属性相同的所有第一邻居的邻居嵌入表示和注意力值，确定所述待处理实体在所述方向属性的第一嵌入表示；其中，所述方向属性是所述待处理实体的入边或出边；
第二邻居确定模块，用于确定所述待处理实体在所述序列路径中的第二邻居，并根据所述第二邻居内实体及关系的更新嵌入表示，确定所述待处理实体的第二嵌入表示，其中，获取所述第二嵌入表示的原理与获取所述第一嵌入表示的原理相同；
输出模块，用于根据所述第一嵌入表示和所述第二嵌入表示，确定所述待处理实体的输出嵌入表示，并
根据所述第一邻居及所述第二邻居内关系的初始嵌入表示，确定所述关系的输出嵌入表示；
更新模块，用于根据所述初始三元组内实体及关系的输出嵌入表示更新知识图谱。
11.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至9任一项所述的基于人工智能的嵌入表示处理方法。
12.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至9任一项所述的基于人工智能的嵌入表示处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070339.8A CN110825884B (zh) | 2019-11-05 | 2019-11-05 | 基于人工智能的嵌入表示处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070339.8A CN110825884B (zh) | 2019-11-05 | 2019-11-05 | 基于人工智能的嵌入表示处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110825884A CN110825884A (zh) | 2020-02-21 |
| CN110825884B true CN110825884B (zh) | 2024-05-24 |
Family
ID=69552623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911070339.8A Active CN110825884B (zh) | 2019-11-05 | 2019-11-05 | 基于人工智能的嵌入表示处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825884B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931505A (zh) * | 2020-05-22 | 2020-11-13 | 北京理工大学 | 一种基于子图嵌入的跨语言实体对齐方法 |
| CN111782818A (zh) * | 2020-06-05 | 2020-10-16 | 牛张明 | 生物医疗知识图谱的构建装置、方法、系统及存储器 |
| CN111737535B (zh) * | 2020-06-22 | 2022-10-18 | 复旦大学 | 一种基于元结构和图神经网络的网络表征学习方法 |
| CN111882381B (zh) * | 2020-06-30 | 2022-06-03 | 桂林电子科技大学 | 一种基于协同记忆网络的旅游推荐方法 |
| CN111597358A (zh) * | 2020-07-22 | 2020-08-28 | 中国人民解放军国防科技大学 | 基于关系注意力的知识图谱推理方法、装置和计算机设备 |
| CN111949764B (zh) * | 2020-08-18 | 2021-06-29 | 桂林电子科技大学 | 一种基于双向注意力机制的知识图谱补全方法 |
| CN112417063B (zh) * | 2020-12-11 | 2022-07-26 | 哈尔滨工业大学 | 一种基于异构关系网络的相容功能项推荐方法 |
| CN112905809B (zh) * | 2021-03-30 | 2024-05-03 | 第四范式（北京）技术有限公司 | 知识图谱学习方法和系统 |
| CN113393084B (zh) * | 2021-05-13 | 2024-06-11 | 上海湃道智能科技有限公司 | 作业票流程管理系统 |
| CN113254580B (zh) * | 2021-05-24 | 2023-10-03 | 厦门大学 | 一种特殊群体搜索方法及系统 |
| CN113257383B (zh) * | 2021-06-16 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 匹配信息确定方法、显示方法、装置、设备及存储介质 |
| WO2024098195A1 (zh) * | 2022-11-07 | 2024-05-16 | 华为技术有限公司 | 嵌入表示管理方法及装置 |
| CN117076720B (zh) * | 2023-10-18 | 2024-02-02 | 北京燧原智能科技有限公司 | 一种嵌入表访问方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763237A (zh) * | 2018-03-21 | 2018-11-06 | 浙江大学 | 一种基于注意力机制的知识图谱嵌入方法 |
| CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109964224A (zh) * | 2016-09-22 | 2019-07-02 | 恩芙润斯公司 | 用于语义信息可视化和指示生命科学实体之间显著关联的时间信号推断的系统、方法和计算机可读介质 |
-
2019
- 2019-11-05 CN CN201911070339.8A patent/CN110825884B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763237A (zh) * | 2018-03-21 | 2018-11-06 | 浙江大学 | 一种基于注意力机制的知识图谱嵌入方法 |
| CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110825884A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110825884B (zh) | 基于人工智能的嵌入表示处理方法、装置及电子设备 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN112307214A (zh) | 一种基于深度强化学习的推荐方法及推荐装置 | |
| CN111090756B (zh) | 基于人工智能的多目标推荐模型的训练方法及装置 | |
| WO2022140900A1 (zh) | 个人知识图谱构建方法、装置及相关设备 | |
| CN115129848A (zh) | 一种视觉问答任务的处理方法、装置、设备和介质 | |
| US11995547B2 (en) | Predicting and visualizing outcomes using a time-aware recurrent neural network | |
| CN112561031A (zh) | 基于人工智能的模型搜索方法、装置及电子设备 | |
| CN112836502B (zh) | 一种金融领域事件隐式因果关系抽取方法 | |
| CN111898675A (zh) | 信贷风控模型生成方法、装置、评分卡生成方法、机器可读介质及设备 | |
| CN110515986A (zh) | 一种社交网络图的处理方法、装置及存储介质 | |
| CN116992008B (zh) | 知识图谱多跳问答推理方法、装置和计算机设备 | |
| CN112116589B (zh) | 虚拟形象的评测方法、装置、设备及计算机可读存储介质 | |
| Concolato et al. | Data science: A new paradigm in the age of big-data science and analytics | |
| US20230080424A1 (en) | Dynamic causal discovery in imitation learning | |
| CN114600196A (zh) | 特定领域的人类模型协同注释工具 | |
| CN112905754B (zh) | 基于人工智能的视觉对话方法、装置及电子设备 | |
| CN116975434A (zh) | 内容推荐方法以及相关设备 | |
| CN111177493B (zh) | 数据处理方法、装置、服务器和存储介质 | |
| CN110738318B (zh) | 网络结构运行时间评估及评估模型生成方法、系统和装置 | |
| CN116868207A (zh) | 原生于图数据库的决策树 | |
| CN114065640B (zh) | 联邦树模型的数据处理方法、装置、设备及存储介质 | |
| CN110162579A (zh) | 一种智能学习平台 | |
| CN118333132B (zh) | 情感识别模型训练方法、情感识别方法及相关设备 | |
| CN117976238A (zh) | 传染病趋势预测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021922 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |