CN111241289A

CN111241289A - 一种基于图理论的som算法

Info

Publication number: CN111241289A
Application number: CN202010054710.8A
Authority: CN
Inventors: 刘博�; 王慧娜
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2020-01-17
Filing date: 2020-01-17
Publication date: 2020-06-05
Anticipated expiration: 2040-01-17
Also published as: CN111241289B

Abstract

一种基于图理论的SOM算法涉及机器学习领域和离散数学领域，其包括如下步骤：步骤1、获取文本数据，并对数据进行分词、去除停用词处理；步骤2、使用word2vec方法生成文本数据内每个词对应的词特征向量表达，用于词与词之间关系的度量；步骤3、将步骤1和2得到的词特征向量表达数据由输入层采用全连接的方式输入到竞争层；步骤4、训练SOM网络，并将SOM网络的输出作为图切割层的输入；步骤5、在图切割层对由SOM网络的输出构成的无向图进行图切割；步骤6、将图切割层得到的矩阵输入到输出层，在输出层采用WTA(Winner Takes All)机制得到最终聚类结果。本发明解决文本聚类时最佳聚类数目不易确定的问题。

Description

一种基于图理论的SOM算法

技术领域：

本发明涉及机器学习领域和离散数学领域，即通过图论和SOM算法相结合解决文本聚类问题。解决了文本聚类时最佳聚类数目不易确定的问题，即本发明所提出的算法在训练过程中无需给定准确的网络单元数目和结构形状，也可得到最好的聚类结果。

背景技术：

在这个信息化、数据化的时代中，我们的日常生活方式越来越方便，从信息的获取到网络和数字图书馆的日益普及，计算机技术的发展正在潜移默化的改变着我们的生活，同时也带给我们海量的文本信息数据。但现实中我们所获得的大量文本数据没有标签数据，因此对海量无标签的文本数据进行聚类显得尤为重要。目前许多学者已经提出了很多聚类算法以及其改进算法并将其应用于文本聚类，其中最典型的聚类算法包括K-Means聚类、层次聚类、t-SNE聚类、DBSCAN聚类等。近年来，随着神经网络的快速发展，许多学者也在尝试研究基于神经网络的聚类算法。而基于神经网络的聚类法中最典型的算法是自组织映射算法。自组织映射(Self-organizing Maps,SOM)算法由芬兰赫尔辛基大学教授TeuvoKohonen于1981年提出后，现在已成为应用最广泛的自组织神经网络方法，其中的WTA(Winner Takes All)竞争机制反映了自组织学习最根本特征。该算法根据人脑神经元的特点无监督地、自组织地进行学习。但该算法也存在许多不足之处，如训练过程中会产生死神经元、训练开始时需预先给定网络单元数目及其结构形状等，目前很多学者提出了很多相应的改进算法，其中最典型的算法有FKCM(Fuzzy Kohnen Clustering Network)、TGSOM、GCS(Growing Cell Structure)、Kohonen SOFM-C、LVQ(Learn Vector Quantification)和VR2SOM算法等，这些改进算法极大的提高了SOM算法的性能。

本发明在已有的研究成果上提出了一种基于图理论的SOM聚类算法用于解决文本聚类问题，本发明中通过图理论的方式解决了SOM聚类算法训练开始时预先给定网络单元数目及其结构形状的问题，此外，该方法也可用于解决文本聚类时最优聚类簇数不易确定的问题。

发明内容：

1、一种基于图理论的SOM聚类算法在文本聚类中的应用，其特征在于，具体包含以下步骤：

步骤1、获取文本数据，并对数据进行分词、去除停用词处理；

步骤2、使用word2vec方法生成文本数据内每个词对应的词特征向量表达，用于词与词之间关系的度量；

步骤3、将步骤1和2得到的词特征向量表达数据由输入层采用全连接的方式输入到竞争层，并多次迭代训练SOM网络；

步骤4、将SOM网络的输出作为图切割层的输入；

步骤5、在图切割层对由SOM网络的输出构成的无向图进行图切割；

步骤6、将图切割层得到的矩阵输入到输出层，在输出层采用WTA(WinnerTakesAll)机制得到最终的聚类结果。

2、进一步，步骤3具体包括：

假设训练样本为N个互异的文本，设经过word2vec训练后的词向量为X＝{X₁，X₂，X₃，…，X_i，1≤i≤N}，其中，N为文本数量，X_i＝{x_i1，x_i2，x_i3，…x_im}表示第i个文本经word2vec训练得到的词向量，m为词向量的维度，构成了输入神经网络的维度，x_im表示第i个文本经word2vec训练后第m个词的值。

3.1：输入层通过全连接的方式与竞争层相连；

3.2：设置竞争层有p(

N为待处理的文本数量，也为词向量X的行数)个神经元结点。竞争层权值向量为W_j＝[w_j1，w_j2，w_j3，...，w_jm],(1≤j≤p,m为竞争层神经元的维数)。首先使用较小的随机值初始化权值，同时设置初始化学习率η(0＜η＜1)；

3.3：对网络当前输入向量X_i(X_i∈X，1＜i＜N，N为文本数量)和竞争层中各神经元对应的权重向量W_j(第j个神经元的权重，1≤j≤p，p为竞争层神经元数量)进行归一化，使得X_i和W_j模为1，向量归一化的公式如下:

3.4：当向网络内输入向量X_i(X_i∈X，1≤i≤N)时，将竞争层的所有神经元对应的权重向量均与向量X_i(X_i∈X，1≤i≤N)进行相似性比较，并将最相似的权重向量判为竞争获胜神经元。归一化后，相似度最大就是内积最大。内积最大的神经元即为获胜神经元，内积的计算公式如下：

3.5：对获胜神经元拓扑邻域内的神经元的权重进行更新，定义t时刻获胜神经元为第j^*(1≤j^*≤p)个神经元(下文中称为获胜神经元j^*)，其拓扑邻域为N_j*(t)(1≤j^*≤p)。学习率随时间的增加不断减小，定义t时刻学习率为η(t)(0＜η(t)＜1)。拓扑邻域随迭代次数的增加不断收缩，对所有神经元的权重进行更新的公式如下,其中N_j*(t)为t时刻获胜神经元j^*(1≤j^*≤p)的拓扑域：

3.6：判断获胜神经元j^*是若为初次获胜，若该神经元是初次获胜，则以输入向量X_i(X_i∈X，1≤i≤N)归一化后的向量作为获胜神经元的权重，否则以该获胜神经元内权值与输入向量之间的均值作为获胜神经元学习之后的权重，获胜神经元内权重更新公式如下，其中w_j*(t)为t时刻获胜神经元j^*的权重：

3.7：权重学习后，对所有神经元的权值进行重新归一化；

3、进一步，步骤4具体包括：

4.1：竞争层训练结束后可得p个神经元，通过稀疏K-共享近邻可得到由p个神经元内权值所构成的邻接矩阵C，通过稀疏K-共享近邻构造邻接矩阵方法为：

p个权值构成的数据集为S＝{S₁，S₂，S₃，…，S_p}，其中，S_l＝{s_l1，s_l2，s_l3，...s_lm}(1≤l≤p，表示第l个神经元的权值，slm表示第l个神经元的权值的第m维度上的值。p为神经元的数量，m为每个神经元的权值的维度。下文中将每个权值向量称为点。

对于S内的任意两个点S_l(1≤l≤p)和S_e(1≤e≤p，e≠l)，knn(S_l)表示S_l的k近邻域内的点的集合，knn(S_l，S_e)表示点S_l和S_e的k邻近点集的交集，即点S_l和S_e的k-共享近邻。对于S内的任意两点S_l和S_e，通过C_le表示S_l和S_e之间的相似度。对于任意的1≤l≤p，1≤e≤p，e≠l，及1≤t≤p，若

即S_t不是S_l和S_e的k-共享近邻，则令C_lt＝C_tl＝0且C_et＝C_te＝0。若S_t∈knn(S_l，S_e)，即S_t是S_l和S_e的k-共享近邻，则令C_lt＝C_tl且C_et＝C_te，通过以上方法可以得到邻接矩阵C；

4.2：为了更好的保留竞争层训练结束后每个神经元的信息，构造一个p*p的矩阵D。矩阵D是一个对角矩阵，该矩阵只有主对角线上的值n_l，表示第l(1≤l≤p)个神经元内存储训练结束后该神经元内样本的数量。定义如下：

4.3：通过矩阵稀疏k-近邻矩阵C和元素矩阵D，我们可以得到p个神经元结点的邻接矩阵L＝D-C，由于D和C都是对称矩阵，因此得到的矩阵L为拉普拉斯矩阵；

4.4：为得到最好的子图，在此使用谱聚类内的Ncut切图方式对4.3步骤得到的拉普拉斯矩阵L进行切割。Ncut切割方法利用拉普拉斯矩阵的性质，首先构建标准化后的拉普拉斯矩阵

即优化的目标函数。计算使

最小的k₁(1≤k₁＜p)个特征值以及各个特征值对应的特征向量f，对特征向量f组成的矩阵按行标准化，最终组成p*k₁维的特征矩阵H。将H中的每一行作为一个k₁维的样本，共有p个样本。

附图说明：

图1本发明所涉及方法的总体流程图；

图2SOM算法内部流程图；

图3图切割内部流程图；

具体实施方式：

以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明所用到的硬件设备有PC机1台；

假设训练样本为N个互异的文本，设经过word2vec训练后的词向量为X＝{X₁，X₂，X₃，...，X_i，1≤i≤N}，其中，N为文本数量，X_i＝{x_i1，x_i2，x_i3，...x_im}表示第i个文本经word2vec训练得到的词向量，m为词向量的维度，构成了输入神经网络的维度，x_im表示第i个文本经word2vec训练后第m个词的值。

1)：输入层通过全连接的方式与竞争层相连；

2)：设置竞争层有p(

N为待处理的文本数量，也为词向量X的行数)个神经元结点。竞争层权值向量为W_j＝[w_j1，w_j2，w_j3，...，w_jm],(1≤j≤p,竞争层神经元的维数与输入向量的维度保持一致均为m)。首先使用较小的随机值初始化权值，同时设置初始化学习率η(0＜η＜1)；

3)：对网络当前输入向量X_i(X_i∈X，1＜i＜N，N为文本数量)和竞争层中各神经元对应的权重向量W_j(第j个神经元的权重，1<j<p，p为竞争层神经元数量)进行归一化，使得X_i和W_j模为1，向量归一化的公式如下:

4)：寻找获胜神经元，当向网络内输入向量X_i(X_i∈X，1≤i≤N)时，将竞争层的所有神经元对应的权重向量均与向量X_i(X_i∈X，1≤i≤N)进行相似性比较，并将最相似的权重向量判为竞争获胜神经元。归一化后，相似度最大就是内积最大。内积最大的神经元即为获胜神经元，内积的计算公式如下：

5)：对获胜神经元拓扑邻域内的神经元的权重进行更新，定义t时刻获胜神经元为第j^*(1≤j^*≤p)个神经元(下文中称为获胜神经元j^*)，其拓扑邻域为N_j*(t)(1≤j^*≤p)。学习率随时间的增加不断减小，定义t时刻学习率为η(t)(0＜η(t)＜1)。拓扑邻域随迭代次数的增加不断收缩，对所有神经元的权重进行更新的公式如下,其中

为t时刻获胜神经元j^*(1≤j^*≤p)的拓扑邻域：

6)：若神经元j^*是初次获胜，则以输入向量X_i(X_i∈X，1≤i≤N)归一化后的向量作为获胜神经元的权重，否则以该获胜神经元内权值与输入向量之间的均值作为获胜神经元学习之后的权重，获胜神经元内权重更新公式如下，其中w_j*(t)为t时刻获胜神经元j^*的权重：

7)：权重学习后，对所有神经元的权值进行重新归一化；

步骤4、在图切割层对由SOM网络的输出构成的无向图进行图切割；

1)：竞争层训练结束后可得p个神经元，通过稀疏K-共享近邻得到由p个神经元构成的邻接矩阵C，通过稀疏K-共享近邻构造邻接矩阵方法为：

p个权值构成的数据集为S＝{S₁，S₂，S₃，...，S_p}，其中，S_l＝{s_l1，s_l2，s_l3，...s_lm}(1≤l≤p，表示第l个神经元的权值，slm表示第l个神经元的权值的第m维度上的值。p为神经元的数量，m为每个神经元的权值的维度。下文中将每个权值向量称为点。

2)：为了更好的保留竞争层训练结束后每个神经元的信息，构造一个p*p的矩阵D。矩阵D是一个对角矩阵，该矩阵只有主对角线上的值n_l，表示第l(1≤l≤p)个神经元内存储训练结束后该神经元内样本的数量。定义如下：

3)：通过矩阵稀疏k-近邻矩阵C和元素矩阵D，我们可以得到p个神经元结点的邻接矩阵L＝D-C，由于D和C都是对称矩阵，因此得到的矩阵L为拉普拉斯矩阵；

4)：为得到最好的子图，在此使用谱聚类内的Ncut切图方式对4.3步骤得到的拉普拉斯矩阵L进行切割。Ncut切割方法利用拉普拉斯矩阵的性质，首先构建标准化后的拉普拉斯矩阵

即优化的目标函数。计算使

最小的k₁(1≤k₁＜p)个特征值以及各个特征值对应的特征向量f，对特征向量f组成的矩阵按行标准化，最终组成p*k₁维的特征矩阵H。将H中的每一行作为一个k₁维的样本，共有p个样本；

步骤5：以图切割层得到的矩阵输入输出层，在输出层采用WTA机制得到最终的聚类结果；

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims

1.一种基于图理论的SOM算法，其特征在于：

步骤4、将SOM网络的输出作为图切割层的输入；

步骤6、将图切割层得到的矩阵输入到输出层，在输出层采用WTA(Winner Takes All)机制得到最终的聚类结果。

2.根据权利要求1所述的方法，步骤3具体包括：

假设训练样本为N个互异的文本，设经过word2vec训练后的词向量为X＝{X₁，X₂，X₃，…，X_i，1≤i≤N}，其中，N为文本数量，X_i＝{x_i1，x_i2，x_i3，…x_im}表示第i个文本经word2vec训练得到的词向量，m为词向量的维度，构成了输入神经网络的维度，x_im表示第i个文本经word2vec训练后第m个词的值；

3.1：输入层通过全连接的方式与竞争层相连；

3.2：设置竞争层有p个神经元结点；其中

N为待处理的文本数量，也为词向量X的行数；竞争层权值向量为W_j＝[w_j1，w_j2，w_j3，...，w_jm],其中1≤j≤p,m为竞争层神经元的维数；首先使用较小的随机值初始化权值，同时设置初始化学习率η，0＜η＜1；

3.3：对网络当前输入向量X_i和竞争层中各神经元对应的权重向量W_j进行归一化，使得X_i和W_j模为1；其中X_i∈X，1＜i＜N，N为文本数量，W_j表示第j个神经元的权重，1≤j≤p，p为竞争层神经元数量；向量归一化的公式如下:

3.4：当向网络内输入向量X_i时，其中X_i∈X，1≤i≤N，将竞争层的所有神经元对应的权重向量均与向量X_i进行相似性比较，并将最相似的权重向量判为竞争获胜神经元；归一化后，相似度最大就是内积最大；内积最大的神经元即为获胜神经元，内积的计算公式如下：

3.5：对获胜神经元拓扑邻域内的神经元的权重进行更新，定义t时刻获胜神经元为第j^*个神经元，j^*的取值范围是1≤j^*≤p，在下文我们称为获胜神经元j^*，其拓扑邻域为N_j*(t)；学习率随时间的增加不断减小，定义t时刻学习率为η(t)，0＜η(t)＜1；拓扑邻域随迭代次数的增加不断收缩，对所有神经元的权重进行更新的公式如下,其中N_j*(t)为t时刻获胜神经元j^*的拓扑域：

3.6：判断获胜神经元j^*是若为初次获胜，若该神经元是初次获胜，则以输入向量X_i归一化后的向量作为获胜神经元的权重，否则以获胜神经元内权值与输入向量之间的均值作为获胜神经元学习之后的权重，其中X_i∈X，1＜i＜N，N为文本数量；获胜神经元内权重更新公式如下，其中

为t时刻获胜神经元j^*的权重：

3.7：权重学习后，对所有神经元的权值进行重新归一化。

3.根据权利要求1所述的方法，步骤4具体包括：

4.1：竞争层训练结束后得p个神经元，通过稀疏K-共享近邻得到由p个神经元内权值所构成的邻接矩阵C，通过稀疏K-共享近邻构造邻接矩阵方法为：

p个权值构成的数据集为S＝{S₁，S₂，S₃，...，S_p}，其中，S_l＝{s_l1，s_l2，s_l3，…s_lm}，1≤l≤p，表示第l个神经元的权值，s_lm表示第l个神经元的权值的第m维度上的值；p为神经元的数量，m为每个神经元的权值的维度；下文中将每个权值向量称为点；

对于S内的任意两个点S_l和S_e其中1≤1≤p，1≤e≤p，e≠l，knn(S_l)表示S_l的k近邻域内的点的集合，knn(S_l，S_e)表示点S_l和S_e的k邻近点集的交集，即点S_l和S_e的k-共享近邻；对于S内的任意两点S_l和S_e，通过C_le表示S_l和S_e之间的相似度；对于任意的1≤l≤p，1≤e≤p，e≠l，及1≤t≤p，若

即S_t不是S₁和S_e的k-共享近邻，则令C_lt＝C_tl＝0且C_et＝C_te＝0；若S_t∈knn(S_l，S_e)，即S_t是S_l和S_e的k-共享近邻，则令C_lt＝C_tl且C_et＝C_te，通过以上方法得到邻接矩阵C；

4.2：为了更好的保留竞争层训练结束后每个神经元的信息，构造一个p*p的矩阵D；矩阵D是一个对角矩阵，该矩阵只有主对角线上的值n_l，表示第l个神经元内存储训练结束后该神经元内样本的数量，其中l的取值范围是1≤l≤p；定义如下：

4.3：通过矩阵稀疏k-近邻矩阵C和元素矩阵D，我们得到p个神经元结点的邻接矩阵L＝D-C，由于D和C都是对称矩阵，因此得到的矩阵L为拉普拉斯矩阵；

4.4：为得到最好的子图，在此使用谱聚类内的Ncut切图方式对4.3步骤得到的拉普拉斯矩阵L进行切割；Ncut切割方法利用拉普拉斯矩阵的性质，首先构建标准化后的拉普拉斯矩阵

即优化的目标函数；计算使

最小的k₁个特征值以及各个特征值对应的特征向量f，对特征向量f组成的矩阵按行标准化，最终组成p*k₁维的特征矩阵H；将H中的每一行作为一个k₁维的样本，共有p个样本。