CN114611621A

CN114611621A - 一种基于注意力超图神经网络的协同聚类方法

Info

Publication number: CN114611621A
Application number: CN202210266293.2A
Authority: CN
Inventors: 石川; 杨成; 杨天持
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2022-03-17
Filing date: 2022-03-17
Publication date: 2022-06-10

Abstract

本发明公开了一种基于注意力超图神经网络的协同聚类方法，包括以下步骤：S1、构建一个超图来对完整交互进行建模，其中每个完整交互都表示为一条连接了所有相关对象的超边；S2、设计一个注意力超图神经网络来显式地学习完整交互的表示，同时通过注意力机制选择相关的关键属性以作为解释，所述的注意力机制通过显著性方法来指导；S3、对完整交互和相应的属性选择分布进行协同聚类，以实现基于聚类的一致性。与现有方法对比，本发明对完整交互进行了更全面的建模和表示，并且直接针对交互本身进行聚类分析，而不是对交互中的对象进行聚类分析，因此可以发现更全面的交互模式，此外，本发明还通过考虑两个一致性，进一步提高了聚类性能和可解释性。

Description

一种基于注意力超图神经网络的协同聚类方法

技术领域

本发明涉及通信技术领域，尤其涉及一种基于注意力超图神经网络的协同聚类方法。

背景技术

早期的研究通常使用图表示方法只编码结构信息，然后对对象进行聚类。随后，为了考虑属性的增益，研究人员基于属性图来探索结合结构信息和属性信息的优势以获得更好的聚类性能，例如传统的统计学习方法、图神经网络等。最近，逐渐有研究进一步开发了异质图方法，通过进一步考虑节点或边的不同类型来更准确地对交互进行建模和编码。

然而，现有的聚类方法仅对真实交互中的部分信息进行了建模和利用，即要么将整个交互分解为了若干个成对的子交互以进行简化，要么只专注于对某些特定类型的交互对象进行聚类，而不是针对完整交互，限制了聚类性能。

聚类的可解释性因为可以揭示模型决策的机理，也吸引了广泛的关注。现有方法通常通过寻找或选择交互中涉及的属性来提供聚类的解释，这些工作可以大致分为两组。一组被称为后解释性(post-modeling explainability)，但这类方法被质疑不能提供对模型决策的直接洞察。另一组则通常将决策树或规则学习模块集成到聚类方法中以选择关键属性，从而达到前解释性(pre-modeling explainability)。然而，这些方法都是针对特定问题的聚类方法，并不能简单地推广到本发明所提出的对完整交互进行聚类的问题。

最近，一些研究人员进一步将图表示方法推广到了超图，并开发了相应的超图神经网络方法，以便可以利用更复杂和更广泛的信息。然而，这些方法仍然只关注了某些特定类型的对象，并不能学习完整交互自身的表示。此外，他们也不能选择出重要的属性来提供聚类的解释性。

因此，本发明提出新的任务：尝试针对完整交互进行聚类，而不是传统方法中的简单交互，并通过选择关键属性来提供聚类结果的解释性。但由于以下挑战，这一任务并不简单：(1)如何有效地对完整交互进行建模和编码？每个完整交互都涉及了不确定个数带有属性的交互对象和交互环境以及多个对象之间的交互关系。因此，使用前文提到的图或方法是不足以对这种完整交互进行建模和编码的。(2)如何使选择的关键属性具有更好的解释性？注意力机制是一种广泛采用的用于选择关键属性的模块，但因为它给出的注意力权重有时与真正的重要性并不一致，导致它在解释性方面广受质疑。(3)如何在聚类完整交互时，同时提高聚类的效果和可解释性？由于在注意力机制中，聚类得到的类簇与属性选择分布之间并没有严格的相关性，这既损害了聚类的性能又损害了解释性。

发明内容

本发明针对上述问题和挑战，设计一种基于注意力超图神经网络的协同聚类方法。

为了实现上述目的，本发明提供如下技术方案：

本发明提供的一种基于注意力超图神经网络的协同聚类方法，包括以下步骤：

S1、构建一个超图来对完整交互进行建模，其中每个完整交互都表示为一条连接了所有相关对象的超边；

S2、设计一个注意力超图神经网络来显式地学习完整交互的表示，同时通过注意力机制选择相关的关键属性以作为解释，所述的注意力机制通过显著性方法来指导；

S3、对完整交互和相应的属性选择分布进行协同聚类，以实现基于聚类的一致性。

进一步地，步骤S1中超图构建过程为：

S101、给定对象的集合

对象属性的集合

以及交互环境的集合

一个完整交互被定义一个多元组

其中包括所有涉及的对象

他们的属性

以及对应的交互环境

S102、对于涉及多个对象n₁、…、n_j的完整交互e₁，构建一条超边将这些对象连接起来；

S103、将这些对象的属性a_j(j＝1，…，n)附加到节点特征上，并将交互环境

附到超边特征上。

进一步地，步骤S2注意力超图神经网络的学习过程为：

S201、初始化：将超边和节点的表示初始化为特征矩阵，其中特征矩阵的每一行表示节点或超边的某个特定属性；

S202、层级聚合：超边的新表示由自身及其所连接的节点聚合得到，节点的新表示由自身及其所连接的超边聚合得到；

S303、输出：将每一层的表示相加作为完整交互和节点的最终表示。

进一步地，步骤S202中所述超边及其连接的节点的特征矩阵按行拼接成一个组合特征矩阵，然后通过特征感知的软注意力机制得到超边的新表示和对于完整交互的属性选择分布。

进一步地，步骤S203中使用第一层中的注意力权重作为完整交互的属性选择分布。

进一步地，步骤S2中通过积分梯度来指导注意力机制的学习。

进一步地，步骤S2中通过积分梯度来指导注意力机制的学习的公式为：

其中，IG表示基向量为O时的积分梯度，x^(k)表示组合特征矩阵

的第k行，⊙表示哈达玛积。

进一步地，模型训练方法为：

通过计算出的超边和节点表示，应用基于距离的对比损失来重建超图的关联矩阵H：

d_ij＝||e_i-n_j||

其中y_ij表示超边i和节点j之间是否存在连接关系，m是间隔超参数，d_ij表示超边i的向量表示e_i与节点j的向量表示n_j之间的距离，该距离可表示模型针对二者之间是否存在连接关系给出的预测，

表示自监督损失，这里代表基于距离的对比损失；

通过合并上述子目标函数，得出最终的以下损失函数：

其中γ_c和γ_g是损失系数，

是协同聚类的损失函数，

是积分梯度指导注意力机制所对应的损失函数，η是模型参数||Θ||的正则化系数；

其中，Q_wgt和P_wgt分别为注意力权重计算分配分布和目标分布，Q_emb和P_emb分别为完整交互计算分配分布和目标分布。

进一步地，设置间隔超参数m＝1。

进一步地，设置η＝0.1用于模型参数||Θ||的正则化。

与现有技术相比，本发明的有益效果为：

本发明首次尝试对完整交互进行聚类，同时选择相关的关键属性作为聚类解释，可以提取到更全面的先验知识从而帮助下游任务。为此，本发明提出了一种新的基于注意力超图神经网络的完整交互的协同聚类方法(CIAH)，同时考虑了两个一致性以进一步提高聚类性能和可解释性。具体来说，对于基于显著性的一致性，本发明引入了一种显著性方法，即积分梯度来指导注意力机制。最后，本发明提出了一种新的协同聚类的方法来对完整交互和相应的属性选择分布进行协同聚类，以实现基于聚类的一致性。与现有方法对比，本发明对完整交互进行了更全面的建模和表示，并且直接针对交互本身进行聚类分析，而不是对交互中的对象进行聚类分析，因此可以发现更全面的交互模式，此外，本发明还通过考虑两个一致性，进一步提高了聚类性能和可解释性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于注意力超图神经网络的协同聚类方法流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对完整交互提出了一种新的基于注意力超图神经网络的协同聚类方法，同时选择出相关的关键属性来作为聚类解释。如图1所示，协同聚类的方法包括以下步骤：首先构建一个超图来对完整交互进行建模，其中每个完整交互都表示为一条连接了所有相关对象的超边。然后本发明设计了一个注意力超图神经网络来显式地学习完整交互(超边)的表示，同时通过注意力机制选择相关的关键属性以作为解释。此外，对于基于显著性的一致性，本发明引入了一种显著性方法，即积分梯度来指导注意力机制。最后，本发明提出了一种新的协同聚类的方法来对完整交互和相应的属性选择分布进行协同聚类，以实现基于聚类的一致性。

首先给出前面提及以及后续需要使用的一些基础概念的形式化定义。如前所述，一个完整交互可以被视为在某些交互环境(例如时空上下文等)下发生在多个带有属性的交互对象之间的一个动作。本发明将完整交互形式化如下。

定义1.完整交互

给定对象的集合

对象属性的集合

以及交互环境的集合

一个完整交互被定义一个多元组

其中包括所有涉及的对象

他们的属性

以及对应的交互环境

由于完整交互的复杂性，现有方法仅对完整交互中的部分信息进行了建模和利用。但在本发明中，本发明的目标是对完整交互进行聚类，同时提供聚类的解释性。因此，问题可以形式化如下。

定义2.完整交互的聚类

给定完整交互的集合ε＝{e₁，…，e_|ε|}以及聚类的目标个数C，完整交互的聚类目标是将ε划分为C个互不相交的子集，使得同一类簇内的完整交互e_s，e_t∈ε具有相似的属性选择分布

而不同类簇中的则不相似，其中

P(·)代表属性的选择分布。

因此，类簇是从所有涉及的对象和属性中总结得到的，并且根据属性选择的分布选择得到关键属性，从而使聚类变得具有解释性。

接下来，对于各步骤的详细介绍如下。

1、完整交互超图

如图1左侧所示，本发明将完整交互建模成超图，其中每条超边代表了一个完整交互，它连接了该交互所涉及的所有类型的对象节点。

具体来说，例如，对于涉及了5个对象n₁、…、n₅的完整交互e₁，本发明将构建一条超边将这些对象连接起来。此外，本发明将这些对象的属性a_j(j＝1，…，5)附加到节点特征上，并将交互环境

例如时空上下文(应该被视为交互的属性而不是对象的属性)附到超边特征上。因此，这样的一条超边及其连接节点及其特征合在一起，就可以表示一个完整交互的实例。

2、注意力超图神经网络

2.1初始化

为了促使注意力机制可以选择属性，本发明将超边和节点的表示初始化为特征矩阵而不是向量。形式地，

和

分别表示超边e_i和节点n_j的初始d维表示，其中特征矩阵的每一行表示节点/超边的某个特定属性。

2.2层级聚合

给定一个超图与其关联矩阵

令D_e，D_n和W分别表示边的度对角矩阵，节点度对角矩阵和超边的预定义权重(默认都为1)。谱超图卷积可以简化并形式化为：

其中X表示节点的特征矩阵，Θ是过滤器的可训练参数。

这种形式也可以理解为如下的信息聚合规则：节点特征首先通过乘以矩阵

依据超边进行聚合，形成超边特征。然后通过聚合超边特征来获得更新后的节点特征，即通过乘以H来实现。

本发明将此信息聚合过程参数化为两阶段的基于注意力的聚合规则，以从l层到l+1层为例，如下所示：

以等式第一个公式为例，超边e_i的新表示

由自身及其所连接的节点

聚合而得到。为了在聚类完整交互过程中识别并选择出重要的属性，本发明将这条超边及其连接的节点的特征矩阵按行拼接成一个组合特征矩阵

然后应用一个特征感知的软注意力机制。公式如下：

其中a^(l)是注意力中的参数向量。

通过特征感知的软注意力机制，本发明可以得到超边的新表示

和对于完整交互e_i的属性选择分布

类似地，本发明也可以得到节点的新表示

2.3输出

由于每一层代表某个特定阶的关系，本发明将每一层的表示相加作为完整交互和节点的最终表示，即

和

简单起见，本发明仅使用第一层中的注意力权重

作为完整交互e_i的属性选择分布。

2.4显著性指导

由于注意力权重和真实重要性存在不一致性，属性选择的分布可能也是存在质疑的。因此，本发明引入了积分梯度来指导注意力机制的学习，公式如下：

其中使用SoftMax函数将梯度转换为分布，然后应用KL散度让它指导注意力权重的分布。这里IG表示基向量为0时的积分梯度。对于α_i的每个元素α_ik而言(表示第k-th个属性在第i-次整个交互中的权重)，本发明有：

其中x^(k)表示前文提及的组合特征矩阵

的第k行，⊙表示哈达玛积(Hadamardproduct)。

需要说明的是，本实施例中采用了KL散度来使两个分布互相接近，该KL散度还可等效的替换为如交叉熵、JS散度等其他度量两个分布之间距离的函数。本实施例采用的积分梯度的显著性方法，这里可等效地替换为其他显著性方法，如梯度方法。

3、协同聚类

考虑到聚类得到的类簇有时与对应的属性选择分布并不一致，本发明提出了一种新的协同聚类方法来对完整交互及其相应的注意力权重进行协同聚类，从而确保基于聚类的一致性。

经过以上模块，本发明得到了完整交互的表示与对应的属性选择分布。具体地，给定第i个交互的表示e_i和第u个可训练的聚类质心μ_u，遵循现有的神经聚类方法，本发明可以以学生t分布为核来测量它们之间的相似性，如下所示：

其中v是学生t分布的自由度，本发明令v＝1。q_iu可以认为是将交互i分配给类簇u的概率，即软分配。这里将所有交互的分配分布记作

然后本发明可以通过学得的高置信度分配来优化Q_emb，即形如如下目标分布P_emb＝[p_iu]：

通过最小化Q_emb和P_emb之间的KL散度，目标分布P_emb可以帮助模型实现高内聚和低耦合的聚类要求，从而实现聚类过程。

然而，在本发明的任务中，本发明的目标是确保每个类簇一一对应于属性选择分布，即基于聚类的一致性。因此，对于每个完整交互的属性选择分布α，本发明也可以通过类似的可训练的聚类质心ν，为注意力权重计算分配分布Q_wgt和目标分布P_wgt。最后，为了这两组分布可以相互指导直到收敛，本发明开创性地提出了一种协同聚类方法，即交换它们的目标分布。形式化地，本发明最小化以下等式：

通过上述目标函数，本发明既可以实现分别对完整交互和注意力权重的聚类，又可以使它们相互学习和促进。本发明将在后续给出一个简短的证明。

4、模型训练

对于本发明模型的自监督训练，本发明通过计算出的超边和节点表示，应用基于距离的对比损失来重建超图的关联矩阵H：

d_ij＝||e_i-n_j||，

其中y_ij表示超边i和节点j之间是否存在连接关系，m是间隔超参数。在本实施例中，置m＝1。d_ij表示超边i的向量表示e_i与节点j的向量表示n_j之间的距离，该距离可表示模型针对二者之间是否存在连接关系给出的预测，

表示自监督损失，这里代表基于距离的对比损失。

最后通过合并上述子目标函数，本发明可以得出最终的以下损失函数，

其中γ_c和γ_g是损失系数。

是协同聚类的损失函数，

是积分梯度指导注意力机制所对应的损失函数，η是模型参数||Θ||的正则化系数。为简单起见，本发明设置η＝0.1用于模型参数||Θ||的正则化。

5、协同聚类的理论分析

接下来，本发明提供了一个简短的理论分析来说明为什么本发明提出的协同聚类是有效的。

定理1.

定义的目标函数等价于找到满足下列要求的解：Q_emb＝P_emb，Q_wgt＝P_wgt，以及基于聚类的一致性Q_emb＝Q_wgt。

Proof等式

定义的目标函数本质上是在解如下方程组：

其中

为便于描述，本发明将

根据等式

重写为Q的函数。

显然，只要证明若P在给定初值时会局部收敛到某个解Q^*，则复合函数

在相同初始值时也会局部收敛到同一个解Q^*。因为在这种情况下，本发明有

类似地，Q_wgt＝P_wgt。因此实现基于聚类的一致性Q_emb＝P_wgt＝Q_wgr。

请注意，该收敛性是由P函数决定的。实际上，由于神经网络的旋转不变性，P函数的收敛性在矩阵空间

中并不是唯一的。然而，记

为保持不变性的旋转集合，则商空间

是一个Banach空间，而P在这个商空间中将成为一个压缩映射并具有唯一的收敛性。

根据Banach不动点定理，由于

是一个非空的完备度量空间，其中||·||是度量函数，在本工作中为欧氏距离，则在Q_*的邻域

中存在L∈[0，1)，使得

本发明有||P(Q_x)-P(Q_y)||≤L||Q_x-Q_y||。那么，本发明可以继续推导出：

综上所述，

也会以更快的收敛速度L²收敛到Q^*。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。