CN114239834A

CN114239834A - 基于多轮对抗属性共享的对手关系推理方法和装置

Info

Publication number: CN114239834A
Application number: CN202111362662.XA
Authority: CN
Inventors: 张峰; 李晓东; 李渊; 章杰元; 李晟泽
Original assignee: National Defense Technology Innovation Institute PLA Academy of Military Science
Current assignee: National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date: 2021-11-17
Filing date: 2021-11-17
Publication date: 2022-03-25
Anticipated expiration: 2041-11-17
Also published as: CN114239834B

Abstract

本发明涉及基于多轮对抗属性共享的对手关系推理方法和装置，方法包括：利用各轮对抗场景的博弈信息，对应构建包含事件层和属性层的知识图谱；对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱；分析全局知识图谱，确定对手实体间的协同关系。本发明以博弈对抗过程产生的多轮博弈对抗数据为切入点，以大数据分析为驱动，对单个轮次的对抗过程构建包含“属性层”和“事件层”两个逻辑层次的知识图谱，然后基于“属性层”共享思维，将多轮对抗过程的知识图谱融合，实现对多轮博弈对抗数据的充分挖掘，最终对融合的知识图谱进行分析，实现对对手实体间的协同关系的推断，推理结果的准确性高且可解释型强。

Description

基于多轮对抗属性共享的对手关系推理方法和装置

技术领域

本发明涉及数据挖掘领域，尤其涉及基于多轮对抗属性共享的对手关系推理方法和装置。

背景技术

博弈对抗通常是多轮次多实体对抗，多轮次之间实体间相互关系不变，但交互产生的数据并不是机械重复；在每一轮次的对抗过程中双方往往会在己方宏观策略指导下，综合运用所有实体进行分工合作，并且隐藏真实企图，逐步朝己方目标推进。例如，即时策略游戏中对方可能声东击西，故意隐藏重要角色之间的配合关系；兵棋模拟推演中对方可能隐真饰假，故意隐藏兵力之间主攻佯动的协同关系等。而如果能够借助多轮次交互产生的数据在对抗迷雾中去伪存真，准确推断对方实体间的关系，则有助于进一步明确之后对方的行动计划和策略，从而可针对性制定我方博弈策略，采取卓有成效的对抗措施。因此厘清博弈对抗过程中对手实体间关系是至关重要的。

然而，对手的实体间关系往往难以直观推断，主要源于对抗场景下表现出的如下特征：1.隐蔽性：对手会将真实意图隐藏，并且可能释放“烟雾弹”，通过采取虚假行动造成我方误判。2：复杂性：对抗过程可能进行多个轮次，持续时间长，交互多，从而导致触发事件规模大，错综复杂，难以分析。3：多样性：在不同对抗上下文中，同样两个实体可能具有不同角色，也会具有不同关系。故而，如何在博弈对抗中借助多轮次交互产生的数据厘清对手实体间相互关系是亟需解决的难题。

现有技术中主要采用人工分析法和智能化方法去厘清对手实体间相互关系，人工分析法可以充分利用人的丰富经验，但随着对抗过程时间增长，交互增多，关系日益复杂，在结果准确性和分析效率上难以满足要求。智能化方法包括贝叶斯推断、强化学习和知识图谱等方法。贝叶斯推断方法基于贝叶斯模型，具有良好的可理解性，但对数据稀疏敏感，概率结果不具有数值意义，而且独立同分布的假设太强，影响结果准确性；强化学习方法在经过大量训练收敛后往往具有较高的关系推断准确率，但其推断过程完全黑盒，推断的结果对人不可理解，难以信任继而应用。知识图谱技术具有可理解性同时具备关系推断的潜力，但是目前知识图谱技术主要擅长对社交网络、领域知识体系等静态知识进行建模，对于过程性的动态知识的表示并不直观；而且对于多轮次的交互过程产生的大量数据无法有效利用，直观的方法会将多次交互过程建模为多个相互独立的知识图谱，然后分别分析结果，最后求平均值。但单个知识图谱由于数据量小，存在数据稀疏性，导致稀疏数据被忽略，影响单个图谱分析结果的准确性；而基于多个不准确的结果进行平均则可能导致误差累积，因此难以直接用于多轮交互过程中的关系推断。

发明内容

针对现有技术存在的问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于多轮对抗属性共享的对手关系推理方法和装置。

第一方面，本发明实施例提供一种多轮对抗属性共享的对手关系推理方法，包括：

利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱；其中，所述博弈信息包括：对手的对抗事件以及执行对抗事件的实体的装备信息；

对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱；

分析全局知识图谱，确定对手实体间的协同关系。

根据本发明提供的多轮对抗属性共享的对手关系推理方法，所述利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱，包括：

对于各轮对抗场景的博弈信息中的对抗事件，以所述对抗事件中的实体为节点，以所述对抗事件中实体间的动作关系为边，构建各轮对抗场景对应的事件层；

以执行所述对抗事件的实体及其装备为节点，以执行所述对抗事件的实体及其装备之间的配置关系为边，构建各轮对抗场景对应的属性层；

将各轮对抗场景对应的事件层与属性层中相同的实体连接，生成各轮对抗场景对应的知识图谱。

根据本发明提供的多轮对抗属性共享的对手关系推理方法，所述对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱，包括：

将各轮对抗场景对应的知识图谱的属性层取并集，并将其作为全局知识图谱的属性层；

基于全局知识图谱的属性层，融合各轮对抗场景对应的知识图谱，生成全局知识图谱。

根据本发明提供的多轮对抗属性共享的对手关系推理方法，所述分析全局知识图谱，确定对手实体间的协同关系，包括：

从全局知识图谱中抽取以“第一节点，边，第二节点”的形式表示的三元组；

确定所述三元组中第一节点、边和第二节点分别对应的低维向量；

基于所述低维向量，确定所述三元组中第一节点与第二节点各自对应的实体之间的协同关系。

根据本发明提供的多轮对抗属性共享的对手关系推理方法，所述确定所述三元组中第一节点、边和第二节点分别对应的低维向量，包括：

利用所述三元组生成第一训练集；

将所述第一训练集的各三元组中第一节点或第二节点随机替换为全局知识图谱中的任一节点，生成第二训练集；

基于第一训练集，第二训练集、预先选定的向量表示学习算法以及预设的损失函数，训练向量表示学习模型；

在向量表示学习模型收敛之后，获取向量表示学习模型此时的所述三元组中第一节点、边和第二节点分别对应的低维向量。

根据本发明提供的多轮对抗属性共享的对手关系推理方法，所述预设的损失函数，具体通过以下公式计算：

其中，

表示从全局知识图谱中抽取的三元组d₁对应的低维向量偏差值，

表示将d₁中第一节点或第二节点随机替换后得到的三元组d₂对应的低维向量偏差值，S表示第一训练集，S′表示第二训练集，γ表示超参数，

表示如果

则取

否则取0；三元组d₁/d₂对应的低维向量偏差值为三元组d₁/d₂中第一节点与三元组d₁/d₂中边的低维向量之和与三元组d₁/d₂中第二节点的低维向量的差值。

根据本发明提供的多轮对抗属性共享的对手关系推理方法，所述基于所述低维向量，确定所述三元组中第一节点与第二节点各自对应的实体之间的协同关系，包括：

若所述三元组对应的低维向量偏差值小于预设阈值，则所述三元组中第一节点与第二节点各自对应的实体之间存在协同关系；

否则，所述三元组中第一节点与第二节点各自对应的实体之间不存在协同关系；其中，所述三元组对应的低维向量偏差值为所述三元组中第一节点与所述三元组中边的低维向量之和与所述三元组中第二节点的低维向量的差值。

第二方面，本发明还提供一种多轮对抗属性共享的对手关系推理装置，包括：

知识图谱构建模块，用于利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱；其中，所述博弈信息包括：对手的对抗事件以及执行对抗事件的实体的装备信息；

全局知识图谱生成模块，用于对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱；

分析模块，用于分析全局知识图谱，确定对手实体间的协同关系。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述多轮对抗属性共享的对手关系推理方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述多轮对抗属性共享的对手关系推理方法的步骤。

本发明以博弈对抗过程产生的多轮博弈对抗数据为切入点，以大数据分析为驱动，对单个轮次的对抗过程构建包含“属性层”和“事件层”两个逻辑层次的知识图谱，然后基于“属性层”共享思维，将多轮对抗过程的知识图谱融合，实现对多轮博弈对抗数据的充分挖掘，最终对融合的知识图谱进行分析，实现对对手实体间的协同关系的推断，推理结果的准确性高与可解释型强。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的多轮对抗属性共享的对手关系推理方法流程图；

图2是本发明提供的对手关系推理方法执行流程图。

图3是本发明提供的“属性”-“事件”双层知识图谱示例图；

图4是本发明提供的基于“属性层”共享的知识图谱融合示意图；

图5是本发明提供的多轮对抗属性共享的对手关系推理装置结构图；

图6是本发明提供的实现多轮对抗属性共享的对手关系推理方法的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于理解，下面对本申请实施例中出现的词语进行解释说明。

博弈对抗：是对手与我方为了达成各自目标运用各自实体(力量单位)进行的对抗性策略互动，且通常是多轮对抗形式的；其既可以发生在实际场景下，例如各种球类比赛、商业活动；也可以发生在虚拟场景下，例如即时策略游戏、兵棋模拟推演。

多轮对抗：是指在同样的实体和同样的目标下重复进行多个轮次的博弈活动，多轮次之间，实体间相互关系不变，但交互产生的数据并不是机械重复。原因在于博弈过程单方采取行动不同、行动顺序不同以及随机因素等都会导致另一方的反应不同，而不同的反应又会导致对方采取的应对策略不同，进而使得不同轮次产生的数据之间存在很大差异。

知识图谱的链接预测：是指从知识图谱中已有的事实集合出发，经过计算机推理，建立实体之间的新关联，进而从现有知识中推理新知识的方法。

表示学习：是指利用机器学习技术，将知识图谱中的点和边分别表示为低维向量，从而将图谱中的关系推理转化为向量运算的方法。

下面结合图1-图6描述本发明提供的基于多轮对抗属性共享的对手关系推理方法和装置。

第一方面，如图1所示，本发明提供一种于多轮对抗属性共享的对手关系推理方法，包括：

S11、利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱；其中，所述博弈信息包括：对手的对抗事件以及执行对抗事件的实体的装备信息；

本发明技术领域中，博弈对抗过程通常是多轮对抗形式，多轮对抗过程中，对抗双方的实体以及目标都是恒定的，但是产生的博弈对抗数据并不是机械重复。因此任何一方都可以根据对手在多轮博弈对抗过程中产生的博弈对抗数据(包括：对手的对抗事件，例如对手派遣己方飞机A打击我方舰船B；执行对抗事件的实体的装备信息，例如：飞机A的挂载弹药是C)分析得到对手实体间的关系，

目前，博弈对抗场景下的对手关系推断，因对手隐真饰假的行为而存在难以准确分析的挑战，现有手段虽然也对对手在多轮博弈对抗过程中产生的博弈对抗数据进行分析实现对手关系推定，但是由于手段本身的特点，其存在假设性强、准确率低和/或不可解释等不足。鉴于此，本发明对单个轮次的对抗过程构建包含“属性层”和“事件层”两个逻辑层次的知识图谱，实现对单个轮次博弈对抗数据的充分挖掘，为对手实体间关系的准确分析提供基础。

S12、对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱；

由于多轮对抗过程产生的多轮博弈对抗数据是相同实体在相同实体运用策略下推演多次产生的，因此每轮对抗过程对应的知识图谱之间，其“属性层”理应完全相同，故可整合为一个公共“属性层”，并基于公共“属性层”将多个知识图谱联立，形成面向多轮对抗过程的全局知识图谱架构。

S13、分析全局知识图谱，确定对手实体间的协同关系。

本发明全局知识图谱是对手对抗行为的具体体现，蕴含着对手实体、实体装备情况以及实体之间的协同性等等重要信息，通过有效的分析全局知识图谱，即可将这些信息推理出来。

本发明以博弈对抗过程产生的多轮博弈对抗数据为切入点，以大数据分析为驱动，对单个轮次的对抗过程构建包含“属性层”和“事件层”两个逻辑层次的知识图谱，然后基于“属性层”共享思维，将多轮对抗过程的知识图谱融合，实现对多轮博弈对抗数据的充分挖掘，最终对融合的知识图谱进行分析，实现对对手实体间的协同关系的推断，推理结果的准确性高与可解释型强。此外，本发明基于博弈对抗过程产生的大量数据，自动分析和推理对手组成单位之间的关系。相对于现有手段方法存在的假设性强、准确率低、不可解释等不足，本方法可以更加有效利用对抗过程产生的多轮数据，且预测准确率随数据积累而提高，综合提升了博弈对抗场景下对对手的认知程度，从而可以进一步为我方的博弈决策提供支撑。

在上述各实施例的基础上，作为一种可选的实施例，所述利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱，包括：

需要注意的是，在进行知识图谱构建之前，需要对博弈信息进行预处理，例如：删除无关数据，重复数据，处理缺失值和异常值等。

本发明针对每一轮对抗，将该轮对抗的博弈对抗数据(主要指对手在对抗中产生的数据)建模为包含“属性层”和“事件层”两层元素的知识图谱。其中属性层主要表示实体(力量单位)本身的能力特点(即实体的装备信息，例如：飞机A的挂载弹药是C)，事件层主要表示实体(力量单位)在交互过程中产生的事件(即对抗事件，例如对手派遣己方飞机A打击我方舰船B；)基于此，每轮对抗过程都可以表示为一张知识图谱。

在建立知识图谱过程中还需要注意：假设“对手派遣10架飞机A打击我方舰船B，那么在属性层中飞机A和弹药C为节点，飞机A与弹药C之间的挂载关系为飞机A指向弹药C的单向边；在事件层中，10架飞机A和舰船B为节点(即建立11个节点)，10架飞机A与舰船B之间的打击关系为10架飞机A分别指向舰船B的单向边(即建立10条单向边)；这样设置的目的没事保证不遗漏有效信息，也不添加冗余信息。

本发明针对对抗的特性，从事件和属性两个维度建立表征对抗过程对手对抗策略的知识图谱，知识图谱层次分明便于理解；知识图谱的建立为多轮对抗过程属性共享的对手协同关系分析提供了保障。

在上述各实施例的基础上，作为一种可选的实施例，所述对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱，包括：

每轮对抗过程对应的知识图谱之间的“属性层”理应完全相同，但为了防止因一些数据缺失而导致的“属性层”略有不同的情况出现，本发明实施例以各轮对抗场景对应的知识图谱的属性层的并集作为全局知识图谱的属性层，以保证数据的充分利用。

本发明通过“属性层”共享的方式，有效融合各轮对抗场景对应的知识图谱，进而将有效信息均聚集在全局知识图谱上，保证了博弈对抗过程中产生的多轮博弈对抗数据的有效利用，为分析对手实体间关系提供充分且准确的数据来源。

在上述各实施例的基础上，作为一种可选的实施例，所述分析全局知识图谱，确定对手实体间的协同关系，包括：

在本发明技术领域中，全局知识图谱的事件层中“点，边，点”形式表示的三元组代表的是一个真实的对抗事件，属性层中“点，边，点”形式表示的三元组代表的是真实的实体装备配置情况。这些三元组由公共的实体互相关联，从而在逻辑上形成知识图谱。

本发明以向量表示学习方式得到知识图谱中每个节点和边对应的低维向量，进而用于对手实体件协同关系的判断；

基于所述向量表示，确定所述三元组中第一节点与第二节点各自对应的实体之间的协同关系。

如果代表一个事实的三元组(h，l，t)在知识图谱中存在，则第二实体t的低维向量

应该接近第一实体h的低维向量

和关系l的低维向量

之和，即有：

因此，通过对全局知识图谱中点和边对应的低维向量的计算，既可以确定全局知识图谱中实体之间的协同关系，方法准确性高且可解释性强。

在上述各实施例的基础上，作为一种可选的实施例，所述确定所述三元组中第一节点、边和第二节点分别对应的低维向量，包括：

利用所述三元组生成第一训练集；

在本发明中第一训练集中的三元组为正例三元组(正常的三元组)，为真实的三元组，每一个三元组表示一个事件或者一个属性关系；

在本发明中第二训练集中的三元组为负例三元组(被破坏的三元组)，是通过随机替换三元组的第一实体或者第二实体构建的；需要注意的是：考虑到与正例三元组的对照，负例三元组不能同时替换第一实体和第二实体。

目前根据应用场景不同，业界提出许多不同的向量表示学习模型，其目的均是使得训练得到的低维向量尽量蕴含知识图谱中已经成立的事实，本发明采用比较成熟的TransE方法作为预先选定的向量表示学习算法进行实施，

本发明设定的损失函数的优化目标是使正例三元组对应的低维向量偏差值尽量小而与其对照的负例三元组尽量大，即使得正常三元组成立的情况尽量多而使得被破坏的三元组成立的情况尽量小。本发明节点和边对应的低维向量被随机初始化，然后通过随机梯度下降方法，迭代训练知识图谱所有节点和边的低维向量。

需要注意的是，所述三元组对应的低维向量偏差值为所述三元组中第一节点与所述三元组中边的低维向量之和与所述三元组中第二节点的低维向量的差值。

本发明利用向量表示学习方式算法、第一训练集，第二训练集和损失函数，训练向量表示学习模型，进而在模型收敛后，得到全局知识图谱中点和边分别对应的低维向量，提高了全局知识图谱中点和边分别对应的低维向量的计算准确度，进而为推理对手实体间的协同关系奠定基石。

在上述各实施例的基础上，作为一种可选的实施例，所述预设的损失函数，具体通过以下公式计算：

其中，

表示如果

则取

本发明给出一种损失函数设定方法，这里提及的超参数，代表的是正例三元组(即由全局知识图谱中抽取的三元组)和负例三元组(即由整理三元组碎甲变换得到的三元组)在得分之间的间隔，损失函数越小越好；

在模型训练时，利用损失函数对模型中的参数进行调整，因此损失函数的设定直接关系到模型训练的准确性，上述实施例仅是一种可行的方式，可以用其它合理方式进行替换。

通过设定合适的损失函数可以保证模型训练的准确性，进而保证全局知识图谱中点和边的低维向量的准确度，最终提高对手实体件协同关系的判断准确度。

在上述各实施例的基础上，作为一种可选的实施例，所述基于所述低维向量，确定所述三元组中第一节点与第二节点各自对应的实体之间的协同关系，包括：

若所述三元组对应的低维向量偏差值小于预设阈值，则所述三元组中第一节点与第二节点各自对应的实体之间存在协同关系；否则，所述三元组中第一节点与第二节点各自对应的实体之间不存在协同关系；其中，所述三元组对应的低维向量偏差值为所述三元组中第一节点与所述三元组中边的低维向量之和与所述三元组中第二节点的低维向量的差值。

本发明预设阈值是由专家根据经验确定的，协同关系判定方法是通过对以往的博弈对抗数据分析经验设定的，通过这样的设定，可以保证对手实体之间系如同关系分析的准确性。

图2是本发明示例的对手关系推理方法执行流程图，如图2所示，执行流程主要包括如下四个步骤：

(1)多轮次交互过程建模。

这里的建模仅指知识图谱架构搭建，包括两部分。首先针对一轮对抗过程(一次交互过程)，将其建模为包含“属性层”和“事件层”两层元素的知识图谱。其中属性层主要表示力量单位本身的能力特点；事件层主要表示力量单位在交互过程中产生的事件。基于此，每次交互过程都可以表示为一张知识图谱。然后，针对多次交互过程，由于多次交互过程产生的博弈对抗数据是相同兵力在相同兵力运用策略下推演多次产生的，则每次对抗过程对应的知识图谱之间，其“属性层”是完全相同的，故可整合为一个公共“属性层”，并基于公共“属性层”将多个知识图谱联立，形成面向多轮对抗过程的全局知识图谱架构。

(2)基于“属性层”共享的多轮次交互过程图谱构建。

博弈对抗产生的样本数据往往是非结构化或半结构化的，其中存在着冗余、不完整、不一致、有异常的数据，因此需要对样本数据进行清洗，提高数据质量。

数据清洗的主要工作是基于步骤(1)的建模对样本数据进行处理，包括删除原始数据集中的无关数据、重复数据，平滑噪声数据(即删除出现频率小于预设阈值的数据)，筛选任务相关数据，处理缺失值、异常值等。将经过处理后样本数据填充在架构上，得到面向多轮对抗过程的全局知识图谱。

这里处理缺失值，指的是以正常值填充处理；处理异常值，指的是以正常值更正处理，这里的正常值是从相关途径中获取的。

(3)知识图谱向量表示学习。

近年来，随着机器学习技术的不断发展，基于表示学习的方法在链接预测准确率方面不断取得进步。本发明采用向量表示学习方式将全局知识图谱中每个节点和边都表示为一个低维向量。节点和边对应的低维向量被随机初始化，然后通过随机梯度下降方法，迭代训练知识图谱所有节点和边的低维向量。目前根据应用场景不同，业界提出许多不同的向量表示学习模型，其目的均是使得训练得到的低维向量尽量蕴含知识图谱中已经成立的事实。

(4)对手实体关系推理。

向量表示的训练收敛后，全局知识图谱中的每个顶点和边均表示为向量。则对于对手的任意两个实体a、b，协同关系r，可基于步骤(3)中的表示学习模型，计算三元组[a，r,b]是否成立，如果成立，则表示实体a与b之间存在协同关系。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将以军事即时策略游戏的博弈对抗场景为例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

(一)问题描述

军事即时策略游戏博弈对抗场景，是指敌我双方围绕各自的作战目标，分配和综合运用各自兵力进行的对抗性策略互动。其中，如何准确判断敌手弱点、综合运用己方兵力克敌制胜是达成作战目标的关键。这就需要准确分析对手的用兵策略，其中一项重要的分析内容即为对手兵力的协同关系。分析对手兵力协同关系，有助于了解对手的兵力运用体系，简化分析要素，更加清晰地洞察对方的用兵策略，从而进一步分析敌手薄弱点，有针对性地采取克制措施。然而，由于博弈本身的对抗性，对手往往会隐真饰假，故意隐藏真实的协同关系，所以难以根据简单的表象确定对手兵力协同关系。

(二)解决思路

虽然对手的兵力协同关系难以直观分析，但这种关系却真实地体现在博弈对抗的行为中。因此本发明以博弈对抗过程数据为切入点，将博弈对抗过程建模为知识图谱，进而基于知识图谱的链接预测技术进行协同关系的分析。设计思路主要包括两步。

针对一次对抗过程，将其建模为包含“属性层”和“事件层”两层元素的知识图谱。其中属性层主要表示兵力本身的特点，包括其能力特征和挂载情况；事件层主要表示兵力在交互过程中产生的事件，基于此，每次对抗过程都可以表示为图3示例的“属性”-“事件”双层知识图谱示例图；针对多轮对抗过程，基于属性层共享，将多轮对抗过程对应的知识图谱融合，形成一张全局知识图谱。由于多轮对抗过程产生的博弈对抗数据是相同兵力在相同兵力运用策略下推演多次产生的，则每轮对抗过程对应的知识图谱之间，其属性层是完全相同的，故可整合为一个公共“属性层”，并基于公共“属性层”将多个知识图谱联立，形成面向多轮对抗过程的全局知识图谱，如图4提供的基于“属性层”共享的知识图谱融合示意图所示。相对于现有技术中独立图谱分别分析再平均的方法，本发明方法可更加充分利用多轮对抗数据，避免数据稀疏导致的分析误差。最后利用知识图谱的链接预测技术进行关系推理，实现对对手兵力协同关系的预测。

(三)具体方法

基于多轮对抗过程属性共享的对手协同关系分析，主要包含四个步骤。

首先需要对博弈对抗过程进行建模，即确定对抗过程的哪些因素表示为图谱的节点、哪些因素表示为图谱的边；然后基于建模表示，对对抗过程数据进行清洗，构建对抗过程知识图谱并进行融合；其次进行表示学习，得到知识图谱中的所有节点和边的低维向量；最后基于得到的低维向量，对对手实体间是否具有协同关系进行预测。

为尽可能表述清楚，定义事件e表示对抗过程中发生的事件“飞机A打击舰船B”，属性p表示“飞机A的挂载弹药是C”，会在后续表述中使用。

1、博弈对抗过程的建模表示：

建模是对博弈对抗过程性数据的抽象组织，是从数据到知识的首要工作。本发明面向博弈对抗过程特点，借由领域专家知识，分别定义事件层和属性层的表示，如表1所示。图谱中的边都是有向边。例如，对于事件e，在图谱的事件层存在一条类型为“打击”的边由“飞机A”指向“舰船B”；对于属性p，在图谱的属性层存在一条类型为“挂载”的边由“飞机A”指向“弹药C”。

表1

2、基于“属性层”共享的多轮次博弈对抗过程图谱构建：

数据清洗的主要工作是基于表1所示的模板对样本数据进行处理，包括删除原始数据集中的无关数据、重复数据，平滑噪声数据(删除出现频率小于预设阈值的数据)，筛选任务相关数据，处理缺失值、异常值等。

针对一次对抗过程，经过数据处理，最终得到表1所示模板对应的数据实例构成的集合

其中E表示表1中所有节点构成的集合，L表示表1所有边构成的集合。本发明通过将多轮次对抗博弈过程中的每一个事件实例、每一个属性实例均表示为形如(h，l，t)的三元组形式。例如事件e表示为三元组(“飞机A”,“打击”,“舰船B”)，属性p表示为三元组(“飞机A”,“挂载”,“弹药C”)。这些三元组由公共的实体互相关联，从而在逻辑上形成知识图谱。

针对多轮对抗过程，由于不同轮次对抗过程的独立知识图谱均包含“属性层”和“事件层”两层，而不同轮次知识图谱的“属性层”完全相同，故可整合为一个公共“属性层”，并基于公共“属性层”将多个知识图谱联立，形成面向多轮对抗过程的全局知识图谱。

3、向量表示学习

向量表示学习的目的是将知识图谱中每个节点和边都表示为一个低维向量，使此向量尽量蕴含知识图谱中已经成立的事实关系。当前业界表示学习方法很多，这里采用比较成熟的TransE方法进行实施。TransE的基本算法原理，是将图谱中节点之间的关系建模为向量空间中节点之间的变换(translation)：给定一个由三元组(h，l，t)构成的训练集S，其中h，t∈E(知识图谱的节点集合)，l∈L(知识图谱的边集合)，TransE学习得到每个节点和边对应的低维向量。如果代表一个事实的三元组(h，l，t)在知识图谱中存在，则第二实体(也称为尾实体)t的低维向量

应该接近第一实体(也称为头实体)h的低维向量

和关系l的低维向量

之和，即有：

为了得到每个实体和关系的低维向量，首先定义损失函数L为：

其中，[x]₊表示如果x>0，则取x，否则取0；σ为

与

的统一表示，

表示向量

和向量

之间的差异，值越小表示三元组(h，l，t)成立的概率越大；S′是被破坏(corrupted)的三元组集合，定义为：

S′＝{(h′，l，t)|h′∈E}∪{(h，l,t′)|t′∈E}

S′是在训练集的三元组集合S的基础上，通过随机替换三元组的头实体或者尾实体构建的，考虑到与正常三元组的对照，被破坏的三元组不能同时替换头尾实体。针对损失函数L的优化目标是使

尽量小而使d(σ)尽量大，即，使得正常三元组成立的情况尽量多而使得被破坏的三元组成立的情况尽量小。优化通过随机梯度下降实现。

4、对手关系分析

算法训练收敛后，知识图谱中的每个节点和边分别表示为一个低维向量。基于低维向量之间的运算，则可以推理实体之间的关系。例如对方某兵力a的低维向量为

兵力b的低维向量为

协同关系的低维向量为

则基于阈值σ(由经验值确定)，计算向量

和向量

之间的差异

如果

则认为对方兵力a和b之间具有协同关系，否则，不具备协同关系。

第二方面，对本发明提供的多轮对抗属性共享的对手关系推理装置进行描述，下文描述的多轮对抗属性共享的对手关系推理装置与上文描述的多轮对抗属性共享的对手关系推理方法可相互对应参照。图5示例了一种多轮对抗属性共享的对手关系推理装置的结构示意图，如图5所示，该装置包括：知识图谱构建模块21、全局知识图谱生成模块22和分析模块23；

其中，知识图谱构建模块21，用于利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱；其中，所述博弈信息包括：对手的对抗事件以及执行对抗事件的实体的装备信息；全局知识图谱生成模块22，用于对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱；分析模块23，用于分析全局知识图谱，确定对手实体间的协同关系。

本发明实施例提供的多轮对抗属性共享的对手关系推理装置具体执行上述各多轮对抗属性共享的对手关系推理方法实施例的内容，在此不再赘述。

本发明实施例提供的多轮对抗属性共享的对手关系推理装置，以博弈对抗过程产生的多轮博弈对抗数据为切入点，以大数据分析为驱动，对单个轮次的对抗过程构建包含“属性层”和“事件层”两个逻辑层次的知识图谱，然后基于“属性层”共享思维，将多轮对抗过程的知识图谱融合，实现对多轮博弈对抗数据的充分挖掘，最终对融合的知识图谱进行分析，实现对对手实体间的协同关系的推断，推理结果的准确性高与可解释型强。第三方面，图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行多轮对抗属性共享的对手关系推理方法，该方法包括：利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱；其中，所述博弈信息包括：对手的对抗事件以及执行对抗事件的实体的装备信息；对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱；分析全局知识图谱，确定对手实体间的协同关系。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的多轮对抗属性共享的对手关系推理方法，该方法包括：利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱；其中，所述博弈信息包括：对手的对抗事件以及执行对抗事件的实体的装备信息；对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱；分析全局知识图谱，确定对手实体间的协同关系。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种多轮对抗属性共享的对手关系推理方法，其特征在于，所述方法包括：

分析全局知识图谱，确定对手实体间的协同关系。

2.根据权利要求1所述的多轮对抗属性共享的对手关系推理方法，其特征在于，所述利用各轮对抗场景的博弈信息，构建各轮对抗场景对应的包含事件层和属性层的知识图谱，包括：

3.根据权利要求2所述的多轮对抗属性共享的对手关系推理方法，其特征在于，所述对各轮对抗场景对应的知识图谱进行属性层共享，得到全局知识图谱，包括：

4.根据权利要求3所述的多轮对抗属性共享的对手关系推理方法，其特征在于，所述分析全局知识图谱，确定对手实体间的协同关系，包括：

5.根据权利要求4所述的多轮对抗属性共享的对手关系推理方法，其特征在于，所述确定所述三元组中第一节点、边和第二节点分别对应的低维向量，包括：

利用所述三元组生成第一训练集；

6.根据权利要求5所述的多轮对抗属性共享的对手关系推理方法，其特征在于，所述预设的损失函数，具体通过以下公式计算：

其中，

表示如果

则取

7.根据权利要求4所述的多轮对抗属性共享的对手关系推理方法，其特征在于，所述基于所述低维向量，确定所述三元组中第一节点与第二节点各自对应的实体之间的协同关系，包括：

否则，所述三元组中第一节点与第二节点各自对应的实体之间不存在协同关系；

其中，所述三元组对应的低维向量偏差值为所述三元组中第一节点与所述三元组中边的低维向量之和与所述三元组中第二节点的低维向量的差值。

8.一种多轮对抗属性共享的对手关系推理装置，其特征在于，所述装置包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多轮对抗属性共享的对手关系推理方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多轮对抗属性共享的对手关系推理的步骤。