CN112528033A - 知识图谱多跳推理方法、装置、电子设备及存储介质 - Google Patents

知识图谱多跳推理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112528033A
CN112528033A CN202011242473.4A CN202011242473A CN112528033A CN 112528033 A CN112528033 A CN 112528033A CN 202011242473 A CN202011242473 A CN 202011242473A CN 112528033 A CN112528033 A CN 112528033A
Authority
CN
China
Prior art keywords
entity
current access
access entity
knowledge graph
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011242473.4A
Other languages
English (en)
Inventor
李涓子
吕鑫
韩旭
侯磊
张鹏
唐杰
许斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011242473.4A priority Critical patent/CN112528033A/zh
Publication of CN112528033A publication Critical patent/CN112528033A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种知识图谱多跳推理方法、装置、电子设备及存储介质，其中，该方法包括：若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表；根据当前访问实体对应的状态和当前访问实体对应的动作列表，获取当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体。本发明提供的知识图谱多跳推理方法、装置、电子设备及存储介质，根据当前访问实体对应的状态和当前访问实体的出边，对当前访问实体对应的状态对应的动作列表进行补充，将未知实体的初步预测结果补充到当前访问实体对应的状态中，能实现对稀疏的连通性较差的知识图谱更高准确性的补全。

Description

知识图谱多跳推理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种知识图谱多跳推理方法、装置、电子设备及存储介质。
背景技术
知识图谱将知识表示为一个个结构化的三元组，例如三元组(中国，首都，北京)描述了中国的首都是北京这一条知识。
但是目前的知识图谱多数是自动构建的，还面临着很严重的不完备性，有很多的知识还无法在知识图谱中找到。为了解决这个问题，需要对知识图谱进行补全。
为了增加预测结果的解释能力，目前较多运用多跳推理方法进行知识图谱补全。例如对于未知的三元组(英国，首都，？)，现有多跳推理方法(例如MultiHopKG模型)从头实体“英国”出发，在知识图谱上选择它的邻居实体进行跳跃，之后再跳往邻居的邻居，直到最大跳数停止，此时所在的实体便是最终预测的尾实体，而经由的这样一条路径便是一条可解释性的路径，可以作为预测的解释。
但现有多跳推理方法在比较稠密的连通性比较好的知识图谱上的预测结果比较准确，而用于稀疏的连通性比较差的知识图谱，则难以获取准确的预测结果。
发明内容
本发明提供一种知识图谱多跳推理方法、装置、电子设备及存储介质，用以解决现有技术中的对稀疏的连通性比较差的知识图谱的预测准确性较低的缺陷，实现对稀疏的连通性比较差的知识图谱高准确性的补全。
本发明提供一种知识图谱多跳推理方法，包括：
若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表；
根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表，获取所述当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；
其中，所述当前访问实体对应的状态包括所述当前访问实体、待补全三元组中的关系、历史路径信息、所述待补全三元组中未知实体的初步预测结果；所述历史路径信息，指从所述待补全三元组中的已知实体，经过各访问实体，到达所述当前访问实体的路径；所述当前访问实体对应的动作列表中的动作，包括所述目标知识图谱中所述当前访问实体的扩展关系和所述扩展关系指向的实体；所述扩展关系包括补充关系和所述目标知识图谱中所述当前访问实体的出边表示的关系；任一所述补充关系指向的实体，与所述目标知识图谱中与所述当前访问实体的任一出边指向的实体不同。
根据本发明提供的一种知识图谱多跳推理方法，所述根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表之前，还包括：
根据表示学习模型、所述待补全三元组中的已知实体和关系，获取所述待补全三元组中未知实体的初步预测结果；
其中，所述表示学习模型，是根据所述目标知识图谱中已有的三元组进行预训练后获得的。
根据本发明提供的一种知识图谱多跳推理方法，所述根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表的具体步骤包括：
根据所述当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系；
对于每一补充关系，根据所述表示学习模型、中间三元组中的已知实体和关系，获取第二数量的所述中间三元组中未知实体的预测结果，作为所述每一补充关系指向的实体；
将各所述补充关系、各所述补充关系指向的实体和所述目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表；
其中，所述中间三元组中的已知实体为所述当前访问实体，所述中间三元组中的关系为所述每一补充关系。
根据本发明提供的一种知识图谱多跳推理方法，所述根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表，获取所述当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体的具体步骤包括：
根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表输入策略网络，输出所述当前访问实体对应的动作列表中的一个动作中的实体，作为所述下一访问实体；
其中，所述策略网络，是根据目标知识图谱中已有的三元组进行训练后获得的。
根据本发明提供的一种知识图谱多跳推理方法，所述根据所述当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系之前，还包括：
根据预设的比例、所述当前访问实体的出边的数量和预设的动作数量阈值，获取补充动作的数量；
根据所述补充动作的数量和所述第二数量，获取所述第一数量。
根据本发明提供的一种知识图谱多跳推理方法，所述根据所述当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系的具体步骤包括：
根据所述当前访问实体对应的状态，获取所述目标知识图谱中各关系的注意力权值；
获取所述注意力权值最大的所述第一数量的关系，作为所述补充关系。
根据本发明提供的一种知识图谱多跳推理方法，所述根据所述当前访问实体对应的状态，获取所述目标知识图谱中各关系的注意力权值的具体步骤包括：
根据多层感知器、softmax函数、所述当前访问实体对应的状态和所述目标知识图谱中的各关系，获取所述目标知识图谱中每一关系的注意力权值。
本发明还提供一种知识图谱多跳推理装置，包括：
动态预测与补全模块，用于若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表；
跳跃推理模块，用于根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表，获取所述当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；
其中，所述当前访问实体对应的状态包括所述当前访问实体、待补全三元组中的关系、历史路径信息、所述待补全三元组中未知实体的初步预测结果；所述历史路径信息，指从所述待补全三元组中的已知实体，经过各访问实体，到达所述当前访问实体的路径；所述当前访问实体对应的动作列表中的动作，包括所述目标知识图谱中所述当前访问实体的扩展关系和所述扩展关系指向的实体；所述扩展关系包括补充关系和所述目标知识图谱中所述当前访问实体的出边表示的关系；任一所述补充关系指向的实体，与所述目标知识图谱中与所述当前访问实体的任一出边指向的实体不同。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述知识图谱多跳推理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述知识图谱多跳推理方法的步骤。
本发明提供的知识图谱多跳推理方法、装置、电子设备及存储介质，根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，对当前访问实体对应的状态对应的动作列表进行额外的补充，并将未知实体的初步预测结果补充到当前访问实体对应的状态中，能指示跳跃前进的方向并缓解知识图谱稀疏性的问题，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全，能扩展多跳推理方法的适用范围。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将实施例对或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种知识图谱多跳推理方法的流程示意图；
图2是本发明提供的一种知识图谱多跳推理装置的结构示意图；
图3是本发明提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
为了克服现有技术的上述问题，本发明实施例提供一种知识图谱多跳推理方法、装置、电子设备及存储介质，其发明构思是，通过动态预测策略预先获取一个待补全三元组中未知实体的初步预测结果，以帮助多跳推理模型提前确定跳跃前进的方向，加速在稀疏知识图谱上的训练收敛过程，并通过动态补全策略动态的为知识图谱添加一些新的边，来缓解知识图谱稀疏性的问题，从而可以对稀疏的连通性比较差的知识图谱进行效果很好的补全。
为了便于对本发明下述各实施例的理解，下面先对本发明下述各实施例涉及的概念进行说明。
本发明下述任一实施例提供的知识图谱多跳推理方法，适用于根据目标知识图谱，对待补全三元组进行补全。该待补全三元组，为其中的关系和某一个实体已知，另一个实体未知的三元组。补全的目的，是为了确定未知的实体是目标知识图谱中的哪个实体。待补全三元组中已知的实体称为已知实体，未知的实体称为未知实体。待补全三元组中的未知实体可以是头实体或尾实体。
补全待补全三元组，可以称为未知的三元组查询。以未知实体为尾实体为例，待补全三元组可以表示为(es,rq,？)。其中，es是待补全三元组中的已知实体；rq是查询关系，即待补全三元组中的关系。
多跳推理方法可以化为一个马尔科夫决策过程(MDP)，并基于强化学习框架进行学习训练。即该方法会训练一个智能体(agent)，该智能体会从待补全三元组的已知实体es出发，选择一个关系跳至下一个实体，直到达到了最大跳数T停止。
该马尔科夫决策过程可以分为以下4个主要部分：
状态(state)：在多跳推理的过程中，第t步之后，智能体选择经由哪一条边跳往下一个实体，不仅取决于当前所在的实体et(即当前访问实体)和查询关系rq，还与历史跳跃的路径信息有关系，因而马尔科夫决策过程的状态可以被定义为st＝(rq,et,ht)，其中ht是历史跳跃的路径信息的表示。在本发明各实施例中，可以使用一个长短期记忆网络(LSTM)来保存智能体的路径信息，并用第t步的输出作为ht。第t步，指第t次跳跃。
动作(action)：对于一个状态st＝(rq,et,ht)，如果在目标知识图谱中存在一个三元组(et,rn,en)，那么(rn,en)便是状态st的一个动作。状态st的所有动作组成了它的状态集合
Figure BDA0002768874920000071
其中
Figure BDA0002768874920000072
是目标知识图谱中的三元组集合。此外，对于所有的实体，本发明各实施例中会额外增加一个指向自身的自环边，这个边类似一个终止的动作。
转移(transition)：如果当前的状态是st＝(rq,et,ht)，且智能体选择了
Figure BDA0002768874920000081
作为下一个动作，那么状态将会由st转移至st+1＝(rq,en,ht+1)。因为本发明各实施例限制了最大跳数为T，所以转移最终会停止在状态sT＝(rq,eT,hT)。
反馈(reward)：对于一个未知的三元组查询(es,rq,？)，正确的尾实体应为eo，如果智能体最终停在了正确的尾实体，即eT＝eo，那么反馈为1，否则反馈为介于0和1之间的一个连续的值。这个值由函数f(es,rq,eT)给出，其中函数f是由一个预训练的知识图谱表示学习模型给出，用于判断三元组(es,rq,eT)的正确性。
对于上述的马尔科夫决策过程，需要用策略网络来指导智能体在不同的状态下选择正确的动作，并最终到达正确的尾实体。
类似于之前的表示学习模型，可以为知识图谱中的每一个实体和关系学习一个向量表示，那么在第t步的动作(r,e)可以被表示为at＝[r；e]，其中r和e分别代表r和e的向量表示。
使用LSTM来学习历史路径信息，即
ht＝LSTM(ht-1,at-1)
状态st＝(rq,et,ht)可以被表示为
st＝[rq；et；ht]
之后将所有的动作堆叠起来，得到
Figure BDA0002768874920000082
的表示
Figure BDA0002768874920000083
其中，d是实体和关系向量表示的维度。
图1是本发明实施例提供的一种知识图谱多跳推理方法的流程示意图。下面结合图1描述本发明实施例的知识图谱多跳推理方法。如图1所示，该方法包括：步骤S101、若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表。
其中，当前访问实体对应的状态包括当前访问实体、待补全三元组中的关系、历史路径信息、待补全三元组中未知实体的初步预测结果；历史路径信息，指从待补全三元组中的已知实体，经过各访问实体，到达当前访问实体的路径；当前访问实体对应的动作列表中的动作，包括目标知识图谱中当前访问实体的扩展关系和扩展关系指向的实体；扩展关系包括补充关系和目标知识图谱中当前访问实体的出边表示的关系；任一补充关系指向的实体，与目标知识图谱中与当前访问实体的任一出边指向的实体不同。
具体地，步骤S101之前，可以预先采用现有的任一种知识图谱推理方法，根据待补全三元组中的关系和已知实体，确定目标知识图谱中的一个实体作为未知实体的初步预测结果。
未知实体的初步预测结果，可以指示每次跳跃前进的方向。
与传统的知识图谱推理方法不同的是，本发明实施例中，将未知实体的初步预测结果加入每一跳的状态中，即第t次跳跃之后，将st的表示修改为
st＝[ep；rq；et；ht]。
获取未知实体的初步预测结果属于动态预测策略，结合知识图谱表示学习方法鲁棒性的优点，不依赖于知识图谱的连通性，因而会更加鲁棒，在稀疏知识图谱上的表现也更好。
当前访问实体，为上一跳的目的实体。
通过上一跳确定当前访问实体之后，可以判断已进行的跳跃次数是否已达到预设的最大跳数T。
最大跳数T可以根据实际情况设定，例如3。对于最大跳数的具体取值，本发明实施例不进行具体限定。
若达到，则将当前访问实体作为知识图谱多跳推理的结果。
若未达到，则可以根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，预测一些边作为当前访问实体的扩展出边，对当前访问实体的出边进行扩展。
扩展出边表示的关系，为补充关系。任一补充关系，可以与当前访问实体的任一出边表示的关系相同或不同，但任一补充关系指向的实体，与当前访问实体的任一出边指向的实体不同。
当前访问实体为出边的起点实体，由于出边表示的关系和指向的实体构成一个动作，因而，扩展出边表示的关系和指向的实体也构成一个动作。扩展出边指向的实体，即扩展出边表示的关系指向的实体。
本发明实施例中，当前访问实体对应的动作列表
Figure BDA0002768874920000101
可以通过在状态st的所有动作组成的集合的基础上，加上根据每一补充关系和该补充关系指向的实体获得的动作集合
Figure BDA0002768874920000102
获得。
状态st的所有动作组成的集合为状态st对应的动作列表，根据每一补充关系和该补充关系指向的实体获得的动作集合为额外的动作列表，将状态st对应的动作列表与额外的动作列表合并，作为最终使用的动作列表，即当前访问实体对应的动作列表。
Figure BDA0002768874920000103
当前访问实体对应的动作列表属于动态补全策略，直接的解决了多跳推理模型对连通性依赖过强的问题。
步骤S102、根据当前访问实体对应的状态和当前访问实体对应的动作列表，获取当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体。
具体地，获取当前访问实体对应的动作列表
Figure BDA0002768874920000104
之后，可以根据当前访问实体对应的动作列表
Figure BDA0002768874920000105
和当前访问实体对应的状态st，进行马尔科夫决策，通过智能体选择一个
Figure BDA0002768874920000106
作为下一个动作，状态由st转移至st+1＝[ep；rq；en；ht+1]。
下一个动作(rn,en)中的实体en为下一访问实体。
直观地理解，本发明实施例一边在目标知识图谱上进行跳跃，一边对跳跃的路径进行补全，即一边走路一边修路，从而能缓解多跳推理对路径连通性的依赖问题。
本发明实施例根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，对当前访问实体对应的状态对应的动作列表进行额外的补充，并将未知实体的初步预测结果补充到当前访问实体对应的状态中，能指示跳跃前进的方向并缓解知识图谱稀疏性的问题，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全，能扩展多跳推理方法的适用范围。
基于上述各实施例的内容，根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表之前，还包括：根据表示学习模型、待补全三元组中的已知实体和关系，获取待补全三元组中未知实体的初步预测结果。
其中，表示学习模型，是根据目标知识图谱中已有的三元组进行预训练后获得的。
具体地，可以根据目标知识图谱中已有的三元组进行预训练，获取目标知识图谱的表示学习模型。该表示学习模型，用于获取目标知识图谱中的每一实体是待补全三元组中的未知实体的概率(即反馈)。
目标知识图谱中的每一实体是待补全三元组中的未知实体的概率，构成该未知实体在所有实体上的概率分布。
根据该未知实体在所有实体上的概率分布，可以根据预先确定的选择策略，从上述所有实体中选择一个实体作为该未知实体的初步预测结果。
选择策略可以是最大策略、采样策略或平均策略。
最大策略，指选择概率最大的那个实体，作为未知实体的初步预测结果。
采样策略，指通过概率分布进行采样，得到一个实体，作为未知实体的初步预测结果。
平均策略，指将概率分布作为权值，对所有实体的向量表示做加权平均，获取未知实体的初步预测结果。
优选地，可以采用最大策略，可以获得更好的推理结果，补全的效果更佳。
本发明实施例通过表示学习模型、待补全三元组中的已知实体和关系，获取待补全三元组中未知实体的初步预测结果，从而能根据未知实体的初步预测结果指示跳跃前进的方向，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全。
基于上述各实施例的内容，根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表的具体步骤包括：根据当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系。
具体地，根据当前访问实体对应的状态st，从目标知识图谱中选择x个关系组成一个新的关系集合
Figure BDA0002768874920000121
其中，x为正整数，表示第一数量。
该新的关系集合中的元素(即关系)，称为补充关系。
第一数量可以根据实际情况设定，例如5。对于第一数量的具体取值，本发明实施例不进行具体限定。
可以根据与状态st之间的相关性等标准，对目标知识图谱中的关系进行筛选，选择x个关系，作为补充关系。
例如，可以选择与状态st之间的相关性最大的x个关系，作为补充关系。
对于每一补充关系，根据表示学习模型、中间三元组中的已知实体和关系，获取第二数量的中间三元组中未知实体的预测结果，作为每一补充关系指向的实体。
其中，中间三元组中的已知实体为当前访问实体，中间三元组中的关系为每一补充关系。
具体地，对于
Figure BDA0002768874920000122
中的每个关系ri和当前访问实体et，使用前述表示学习模型来预测中间三元组(et,ri,？)尾实体的概率分布。
实体et为中间三元组中的已知实体，补充关系ri为中间三元组中的关系。
根据中间三元组(et,ri,？)尾实体的概率分布，选择概率最大的k个尾实体，为(et,ri,？)形成了k个额外的动作
Figure BDA0002768874920000131
其中，k为正整数，表示预设的第二数量。
根据各补充关系、各补充关系指向的实体和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表。
具体地，根据各补充关系和各补充关系指向的实体，可以获得由每一补充关系获得的k个额外的动作
Figure BDA0002768874920000132
组成的额外的动作列表
Figure BDA0002768874920000133
上述额外的动作，即补充动作。
根据目标知识图谱中当前访问实体的出边，可以获取状态st对应的动作列表。
将将状态st对应的动作列表与额外的动作列表合并，作为最终使用的动作列表，即当前访问实体对应的动作列表。
Figure BDA0002768874920000134
本发明实施例通过当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，对当前访问实体对应的状态对应的动作列表进行额外的补充，能缓解知识图谱稀疏性的问题，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全。
基于上述各实施例的内容，根据当前访问实体对应的状态和当前访问实体对应的动作列表，获取当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体的具体步骤包括：将当前访问实体对应的状态和当前访问实体对应的动作列表输入策略网络，输出当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体。
其中，策略网络，是根据目标知识图谱中已有的三元组进行训练后获得的。
具体地，策略网络可以表示为
πθ(at|st)＝softmax(At(W1ReLu(W2st)))
其中，W1和W2是两个线性的神经网络；πθ(at|st)是
Figure BDA0002768874920000141
中所有动作的概率分布；at表示
Figure BDA0002768874920000142
中的动作；softmax表示softmax函数；ReLu表示ReLu函数。
W1和W2，可以根据目标知识图谱中已有的三元组进行训练后获得的。
根据策略网络可以获取
Figure BDA0002768874920000143
中所有动作的概率分布，根据
Figure BDA0002768874920000144
中所有动作的概率分布，可以将概率最大的动作中的实体，作为下一访问实体。
需要说明的是，可以使用典型的强化学习来进行训练来最大化每个未知三元组的反馈，即是
Figure BDA0002768874920000145
其中，J表示策略网络的损失函数；θ表示策略网络中的参数；
Figure BDA0002768874920000146
表示知识图谱中的所有三元组，E表示期望，R为马尔科夫决策过程的反馈(Reward),sT为最后一步也就是第T步的状态。
策略网络中的参数可以通过以下方式进行优化
Figure BDA0002768874920000147
Figure BDA0002768874920000148
其中，β表示学习速率。
本发明实施例通过将当前访问实体对应的状态和当前访问实体对应的动作列表输入策略网络，输出下一访问实体，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全，能扩展多跳推理方法的适用范围。
基于上述各实施例的内容，根据当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系之前，还包括：根据预设的比例、当前访问实体的出边的数量和预设的动作数量阈值，获取补充动作的数量。
具体地，为了避免补充动作的数量过多，导致多跳推理的速度过低和耗时过多，可以预先设定动作数量阈值M和一个比例α。
状态st的补充动作的数量Nadd的计算公式为
Figure BDA0002768874920000151
其中，N是当前状态已有的动作数量，即状态st对应的动作列表中动作的数量；
Figure BDA0002768874920000152
表示取整。取整可以向上取整、向下取整或四舍五入。
根据补充动作的数量和第二数量，获取第一数量。
具体地，第一数量x的计算公式为
Figure BDA0002768874920000153
其中，
Figure BDA0002768874920000154
表示取整。取整可以向上取整、向下取整或四舍五入。
本发明实施例根据预设的比例、当前访问实体的出边的数量和预设的动作数量阈值，获取补充动作的数量，能保证多跳推理的效率和速度，能减少多跳推理的耗时。
基于上述各实施例的内容，根据当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系的具体步骤包括：根据当前访问实体对应的状态，获取目标知识图谱中各关系的注意力权值。
具体地，对于当前访问实体对应的状态st，可以采用注意力机制，根据当前访问实体对应的状态st，获取目标知识图谱中每个关系的注意力(attention)权值w。
获取注意力权值最大的第一数量的关系，作为补充关系。
具体地，可以目标知识图谱中每个关系的注意力权值，选择x个关系，作为补充关系。
具体可以选择注意力权值最大的x个关系，作为补充关系。
本发明实施例通过选取目标知识图谱中注意力权值最大的x个关系，作为补充关系，能更好地对当前访问实体对应的状态对应的动作列表进行额外的补充，从而能更有效地缓解知识图谱稀疏性的问题，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全。
基于上述各实施例的内容，根据当前访问实体对应的状态，获取目标知识图谱中各关系的注意力权值的具体步骤包括：根据多层感知器、softmax函数、当前访问实体对应的状态和目标知识图谱中的各关系，获取目标知识图谱中每一关系的注意力权值。
具体地，注意力权值w的计算公式为
w＝Softmax(MLP(st)·[r1,…,r|R|])
其中，softmax表示softmax函数；MLP表示多层感知器；r1,…,r|R|表示目标知识图谱中的各关系；|R|表示目标知识图谱中关系的数量。
本发明实施例基于多层感知器、softmax函数和当前访问实体对应的状态，获取目标知识图谱中各关系的注意力权值，从而能根据注意力权值筛选出更合适的补充关系，能更好地对当前访问实体对应的状态对应的动作列表进行额外的补充，从而能更有效地缓解知识图谱稀疏性的问题，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全。
通过对知识图谱数据集FB15K-237分别进行10％、20％和50％的采样，构建稀疏知识图谱数据集。在这3个数据集上的结果表明，本发明上述各实施例提供的多跳推理方法显著的优于传统的多跳推理方法，且知识图谱的稀疏性越严重，本发明上述各实施例的优势更明显。
此外，还基于NELL和Wikidata构建了NELL23K和WD-singer数据集，其中WD-singer是一个歌手领域的数据集。在这两个数据集上，本发明上述各实施例提供的多跳推理方法均明显优于传统的多跳推理方法。
通过上述实例，可以证明本发明上述各实施例提供的多跳推理方法具有通用性，可以适用于多种知识图谱。
下面对本发明实施例提供的知识图谱多跳推理装置进行描述，下文描述的知识图谱多跳推理装置与上文描述的知识图谱多跳推理方法可相互对应参照。
图2是根据本发明实施例提供的知识图谱多跳推理装置的结构示意图。基于上述各实施例的内容，如图2所示，该装置包括动态预测与补全模块201和跳跃推理模块202，其中：
动态预测与补全模块201，用于若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表；
跳跃推理模块202，用于根据当前访问实体对应的状态和当前访问实体对应的动作列表，获取当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；
其中，当前访问实体对应的状态包括当前访问实体、待补全三元组中的关系、历史路径信息、待补全三元组中未知实体的初步预测结果；历史路径信息，指从待补全三元组中的已知实体，经过各访问实体，到达当前访问实体的路径；当前访问实体对应的动作列表中的动作，包括目标知识图谱中当前访问实体的扩展关系和扩展关系指向的实体；扩展关系包括补充关系和目标知识图谱中当前访问实体的出边表示的关系；任一补充关系指向的实体，与目标知识图谱中与当前访问实体的任一出边指向的实体不同。
具体地，动态预测与补全模块201和跳跃推理模块202电连接。
动态预测与补全模块201判断已进行的跳跃次数是否已达到预设的最大跳数T；若未达到，则可以根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，预测一些边作为当前访问实体的扩展出边，对当前访问实体的出边进行扩展，获取当前访问实体对应的动作列表。
跳跃推理模块202可以根据当前访问实体对应的动作列表
Figure BDA0002768874920000181
和当前访问实体对应的状态st，进行马尔科夫决策，通过智能体选择一个
Figure BDA0002768874920000182
作为下一个动作，状态由st转移至st+1＝[ep；rq；en；ht+1]。下一个动作(rn,en)中的实体en为下一访问实体。
该知识图谱多跳推理装置还可以包括初步预测模块，用于根据表示学习模型、待补全三元组中的已知实体和关系，获取待补全三元组中未知实体的初步预测结果。
其中，表示学习模型，是根据目标知识图谱中已有的三元组进行预训练后获得的。
动态预测与补全模块201可以包括：
关系补充单元，用于根据当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系；
动作补充单元，用于对于每一补充关系，根据表示学习模型、中间三元组中的已知实体和关系，获取第二数量的中间三元组中未知实体的预测结果，作为每一补充关系指向的实体；
列表获取单元，用于将各补充关系、各补充关系指向的实体和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表；
其中，中间三元组中的已知实体为当前访问实体，中间三元组中的关系为每一补充关系。
跳跃推理模块202具体用于根据当前访问实体对应的状态和当前访问实体对应的动作列表输入策略网络，输出当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；
其中，策略网络，是根据目标知识图谱中已有的三元组进行训练后获得的。
动态预测与补全模块201还可以包括数量确定模块，用于根据预设的比例、当前访问实体的出边的数量和预设的动作数量阈值，获取补充动作的数量；根据补充动作的数量和第二数量，获取第一数量。
关系补充单元，可以包括：
权值获取子单元，用于根据当前访问实体对应的状态，获取目标知识图谱中各关系的注意力权值；
关系补充子单元，用于获取注意力权值最大的第一数量的关系，作为补充关系。
权值获取子单元，具体用于根据多层感知器、softmax函数、当前访问实体对应的状态和目标知识图谱中的各关系，获取目标知识图谱中每一关系的注意力权值。
本发明实施例提供的知识图谱多跳推理装置，用于执行本发明上述各实施例提供的知识图谱多跳推理方法，该知识图谱多跳推理装置包括的各模块实现相应功能的具体方法和流程详见上述知识图谱多跳推理方法的实施例，此处不再赘述。
该知识图谱多跳推理装置用于前述各实施例的知识图谱多跳推理方法。因此，在前述各实施例中的知识图谱多跳推理方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
本发明实施例根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，对当前访问实体对应的状态对应的动作列表进行额外的补充，并将未知实体的初步预测结果补充到当前访问实体对应的状态中，能指示跳跃前进的方向并缓解知识图谱稀疏性的问题，能实现对稀疏的连通性比较差的知识图谱更高准确性的补全，能扩展多跳推理方法的适用范围。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302和总线303；其中，处理器301和存储器302通过总线303完成相互间的通信；处理器301用于调用存储在存储器302中并可在处理器301上运行的计算机程序指令，以执行上述各方法实施例提供的知识图谱多跳推理方法，该方法包括：若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表；根据当前访问实体对应的状态和当前访问实体对应的动作列表，获取当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；其中，当前访问实体对应的状态包括当前访问实体、待补全三元组中的关系、历史路径信息、待补全三元组中未知实体的初步预测结果；历史路径信息，指从待补全三元组中的已知实体，经过各访问实体，到达当前访问实体的路径；当前访问实体对应的动作列表中的动作，包括目标知识图谱中当前访问实体的扩展关系和扩展关系指向的实体；扩展关系包括补充关系和目标知识图谱中当前访问实体的出边表示的关系；任一补充关系指向的实体，与目标知识图谱中与当前访问实体的任一出边指向的实体不同。
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的知识图谱多跳推理方法，该方法包括：若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表；根据当前访问实体对应的状态和当前访问实体对应的动作列表，获取当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；其中，当前访问实体对应的状态包括当前访问实体、待补全三元组中的关系、历史路径信息、待补全三元组中未知实体的初步预测结果；历史路径信息，指从待补全三元组中的已知实体，经过各访问实体，到达当前访问实体的路径；当前访问实体对应的动作列表中的动作，包括目标知识图谱中当前访问实体的扩展关系和扩展关系指向的实体；扩展关系包括补充关系和目标知识图谱中当前访问实体的出边表示的关系；任一补充关系指向的实体，与目标知识图谱中与当前访问实体的任一出边指向的实体不同。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的知识图谱多跳推理方法，该方法包括：若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中当前访问实体的出边，获取当前访问实体对应的动作列表；根据当前访问实体对应的状态和当前访问实体对应的动作列表，获取当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；其中，当前访问实体对应的状态包括当前访问实体、待补全三元组中的关系、历史路径信息、待补全三元组中未知实体的初步预测结果；历史路径信息，指从待补全三元组中的已知实体，经过各访问实体，到达当前访问实体的路径；当前访问实体对应的动作列表中的动作，包括目标知识图谱中当前访问实体的扩展关系和扩展关系指向的实体；扩展关系包括补充关系和目标知识图谱中当前访问实体的出边表示的关系；任一补充关系指向的实体，与目标知识图谱中与当前访问实体的任一出边指向的实体不同。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种知识图谱多跳推理方法，其特征在于，包括：
若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表；
根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表，获取所述当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；
其中，所述当前访问实体对应的状态包括所述当前访问实体、待补全三元组中的关系、历史路径信息、所述待补全三元组中未知实体的初步预测结果；所述历史路径信息，指从所述待补全三元组中的已知实体，经过各访问实体，到达所述当前访问实体的路径；所述当前访问实体对应的动作列表中的动作，包括所述目标知识图谱中所述当前访问实体的扩展关系和所述扩展关系指向的实体；所述扩展关系包括补充关系和所述目标知识图谱中所述当前访问实体的出边表示的关系；任一所述补充关系指向的实体，与所述目标知识图谱中与所述当前访问实体的任一出边指向的实体不同。
2.根据权利要求1所述的知识图谱多跳推理方法，其特征在于，所述根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表之前，还包括：
根据表示学习模型、所述待补全三元组中的已知实体和关系，获取所述待补全三元组中未知实体的初步预测结果；
其中，所述表示学习模型，是根据所述目标知识图谱中已有的三元组进行预训练后获得的。
3.根据权利要求2所述的知识图谱多跳推理方法，其特征在于，所述根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表的具体步骤包括：
根据所述当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系；
对于每一补充关系，根据所述表示学习模型、中间三元组中的已知实体和关系，获取第二数量的所述中间三元组中未知实体的预测结果，作为所述每一补充关系指向的实体；
将各所述补充关系、各所述补充关系指向的实体和所述目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表；
其中，所述中间三元组中的已知实体为所述当前访问实体，所述中间三元组中的关系为所述每一补充关系。
4.根据权利要求1至3任一所述的知识图谱多跳推理方法，其特征在于，所述根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表，获取所述当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体的具体步骤包括：
根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表输入策略网络，输出所述当前访问实体对应的动作列表中的一个动作中的实体，作为所述下一访问实体；
其中，所述策略网络，是根据目标知识图谱中已有的三元组进行训练后获得的。
5.根据权利要求3所述的知识图谱多跳推理方法，其特征在于，所述根据所述当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系之前，还包括：
根据预设的比例、所述当前访问实体的出边的数量和预设的动作数量阈值，获取补充动作的数量；
根据所述补充动作的数量和所述第二数量，获取所述第一数量。
6.根据权利要求3或5所述的知识图谱多跳推理方法，其特征在于，所述根据所述当前访问实体对应的状态，确定目标知识图谱中第一数量的关系，作为补充关系的具体步骤包括：
根据所述当前访问实体对应的状态，获取所述目标知识图谱中各关系的注意力权值；
获取所述注意力权值最大的所述第一数量的关系，作为所述补充关系。
7.根据权利要求6所述的知识图谱多跳推理方法，其特征在于，所述根据所述当前访问实体对应的状态，获取所述目标知识图谱中各关系的注意力权值的具体步骤包括：
根据多层感知器、softmax函数、所述当前访问实体对应的状态和所述目标知识图谱中的各关系，获取所述目标知识图谱中每一关系的注意力权值。
8.一种知识图谱多跳推理装置，其特征在于，包括：
动态预测与补全模块，用于若判断获知未达到预设的最大跳数，则根据当前访问实体对应的状态和目标知识图谱中所述当前访问实体的出边，获取所述当前访问实体对应的动作列表；
跳跃推理模块，用于根据所述当前访问实体对应的状态和所述当前访问实体对应的动作列表，获取所述当前访问实体对应的动作列表中的一个动作中的实体，作为下一访问实体；
其中，所述当前访问实体对应的状态包括所述当前访问实体、待补全三元组中的关系、历史路径信息、所述待补全三元组中未知实体的初步预测结果；所述历史路径信息，指从所述待补全三元组中的已知实体，经过各访问实体，到达所述当前访问实体的路径；所述当前访问实体对应的动作列表中的动作，包括所述目标知识图谱中所述当前访问实体的扩展关系和所述扩展关系指向的实体；所述扩展关系包括补充关系和所述目标知识图谱中所述当前访问实体的出边表示的关系；任一所述补充关系指向的实体，与所述目标知识图谱中与所述当前访问实体的任一出边指向的实体不同。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的知识图谱多跳推理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的知识图谱多跳推理方法的步骤。
CN202011242473.4A 2020-11-09 2020-11-09 知识图谱多跳推理方法、装置、电子设备及存储介质 Pending CN112528033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011242473.4A CN112528033A (zh) 2020-11-09 2020-11-09 知识图谱多跳推理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011242473.4A CN112528033A (zh) 2020-11-09 2020-11-09 知识图谱多跳推理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112528033A true CN112528033A (zh) 2021-03-19

Family

ID=74979992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011242473.4A Pending CN112528033A (zh) 2020-11-09 2020-11-09 知识图谱多跳推理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112528033A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989024A (zh) * 2021-03-29 2021-06-18 腾讯科技（深圳）有限公司 文本内容的关系提取方法、装置、设备及存储介质
CN115640410A (zh) * 2022-12-06 2023-01-24 南京航空航天大学 基于强化学习路径推理的知识图谱多跳问答方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989024A (zh) * 2021-03-29 2021-06-18 腾讯科技（深圳）有限公司 文本内容的关系提取方法、装置、设备及存储介质
CN115640410A (zh) * 2022-12-06 2023-01-24 南京航空航天大学 基于强化学习路径推理的知识图谱多跳问答方法

Similar Documents

Publication Publication Date Title
CN111625361B (zh) 一种基于云端服务器和IoT设备协同的联合学习框架
CN110225535B (zh) 基于深度确定性策略梯度的异构无线网络垂直切换方法
CN110908667B (zh) 神经网络联合编译的方法、装置和电子设备
CN108075975B (zh) 一种物联网环境中的路由传输路径的确定方法及确定系统
CN112528033A (zh) 知识图谱多跳推理方法、装置、电子设备及存储介质
CN113784410B (zh) 基于强化学习td3算法的异构无线网络垂直切换方法
CN113098714A (zh) 一种基于深度强化学习的低时延网络切片的方法
CN113487018A (zh) 一种基于会话推荐的全局上下文增强图神经网络方法
CN110996365B (zh) 一种基于多目标优化模型的异构网络垂直切换算法及系统
US11914672B2 (en) Method of neural architecture search using continuous action reinforcement learning
CN113613332B (zh) 基于协作分布式dqn联合模拟退火算法的频谱资源分配方法和系统
Yu et al. A heterogeneous guided ant colony algorithm based on space explosion and long–short memory
US20190205763A1 (en) Information processing device, information processing method and information processing program
CN112131089B (zh) 软件缺陷预测的方法、分类器、计算机设备及存储介质
CN114090108A (zh) 算力任务执行方法、装置、电子设备及存储介质
CN116527558A (zh) 基于q学习的多目标路由规划方法及装置
CN115001937B (zh) 面向智慧城市物联网的故障预测方法及装置
CN115150335B (zh) 一种基于深度强化学习的最优流量分割的方法和系统
JP7488375B2 (ja) ニューラルネットワークの生成方法、機器及びコンピュータ可読記憶媒体
CN114399119A (zh) 基于条件卷积生成式对抗网络的mmp预测方法及装置
CN113298255A (zh) 基于神经元覆盖率的深度强化学习鲁棒训练方法和装置
CN115210717A (zh) 硬件优化的神经架构搜索
US20240104365A1 (en) Node, and method performed thereby, for predicting a behavior of users of a communications network
CN117151206B (zh) 一种多智能体协同决策强化学习方法、系统及装置
CN109670602B (zh) 带有师生机制的社会强化学习实现群体规范快速涌现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination