CN109815986A - 融合局部与全局特征的半监督分类方法 - Google Patents

Abstract

本公开涉及一种融合局部与全局特征的半监督分类方法，包括准备数据集、使用数据集构造初始图、利用局部链路预测方法和全局链路预测方法分别对初始图进行预测并进行对称化和归一化处理、融合处理结果得到概率矩阵、将已标记的信息融合到构造的概率转移矩阵并归一化、传播、保持传播后的标记矩阵中前L行数据不变、判断更新后的标记矩阵是否收敛并根据判断结果完成分类或返回继续执行等步骤。本公开的分类方法解决了现有技术中分类的方法只考虑数据的部分特征、不能贴近实际情况、分类不准确、分类效率低等问题。

Description

融合局部与全局特征的半监督分类方法

技术领域

本公开涉及数据分类方法，具体地讲，涉及一种融合局部与全局特征的半监督分类方法。

背景技术

现有的数据分类方法包括有监督分类、半监督分类、无监督分类等方法。其中监督分类方法中需要大量的已标记样本来训练模型，限制了其应用场景；无监督分类不需要数据的类别信息，应用广泛，但由于缺乏类别信息导致分类效果不好。半监督因只需少量的已标记的数据，获取成本低，又能通过学习大量的未标记数据的数据分布而得到较好的分类效果，因而具有广泛的应用场景。

基于图的半监督分类方法由于充分利用了数据样本之间的关系，往往取得较好的效果，得到广泛的关注。在基于图的半监督分类中，通常需要先构造一个全连通的图结构，图结构代表了数据之间的相互关系，即数据的相似度矩阵，同时该矩阵可以进一步转化为数据之间进行标签传播的概率转移矩阵，进而利用带标记数据的类别信息进行标记传播，得到分类结果。

然而目前基于图的半监督分类问题中，构造图时往往只考虑了部分的特征，由于对数据的特征考虑不全面，数据的内在结构表达不准确，导致分类结果不够贴近实际情况，分类效果不理想，准确度较低，分类效率也较低。

发明内容

针对上述问题，本公开提出了一种融合局部与全局特征的半监督分类方法，解决了现有技术中分类的方法只考虑数据的部分特征、分类不准确、分类效率低的问题。

本公开的分类方法在构图时融合了数据的局部特征和全局特征，并且增加使用数据的类别信息来计算两个数据点之间的相似度，较为贴近实际情况；另外，将链路预测方法运用于图形构造，在考虑图形的基本结构的情况下，对非常密集、会降低分类性能的图形预测新的连接关系，提高图形的质量，使构造的图能够准确表达数据的内在结构，从而达到更好的分类效果，提高了分类的准确率和分类效率。

具体的，本公开提出了一种融合局部与全局特征的半监督分类方法，包括：

S100、准备数据集X，所述数据集X包括已标记数据X_L和未标记数据X_U两部分，已标记数据X_L的标记信息为F_L，数据的特征通过数据属性信息来描述，L表示已标记数据的个数；

S200、对步骤S100准备的数据集X，提取数据的基础关系，构造初始图G0(V，E0)，其中V代表图中的节点，E0代表图G0中的边；

S300、通过局部链路预测的方法对初始图G0中不存在的边进行预测，并对预测出的边进行排序，选择一定的比例的所述预测的边加入到初始图G0中得到图G1(V，E1)，其中V代表图中的节点，E1代表图G1中边；

S400、对步骤S300中得到图G1的相似度矩阵W1进行对称化，再对对称化处理后的图G1的相似度矩阵W1进行归一化；

S500、通过全局链路预测的方法对初始图G0中不存在的边进行预测，对预测出的边进行排序，选择一定的比例的所述预测的边加入到初始图G0中得到图G2(V，E2)，其中V代表图中的节点，E2代表图G2中；

S600、对步骤S500中得到图G2的相似度矩阵W2进行对称化，再对对称化处理后的图G2的相似度矩阵W2进行归一化；

S700、对步骤S400中得到的图G3和步骤S600中得到的图G4，利用公式P₀＝αG3+(1-α)G4进行融合，得到概率矩阵P₀(N*N)，其中α为超参，取在(0，1)之间的数，N代表节点数；

S800、基于步骤S700中得到的概率矩阵P₀构造概率转移矩阵，并将已标记的信息融合到概率转移矩阵中，再进行归一化，得到归一化的概率转移矩阵；

S900、将节点的标记信息按照步骤S800得到的归一化的概率转移矩阵中定义的概率进行传播；

S1000、使传播后的标记矩阵中的前L行数据与原始标记矩阵中的前L行数据一致，防止已标记信息被污染；

S1100、对步骤S1000中更新计算出的标记矩阵进行判断，如果该矩阵已经收敛不再变化，执行步骤S1200；否则，返回继续执行步骤S800；

S1200、得到融合局部与全局特征的半监督分类结果图G5，使得数据集X中未标记数据Xu赋予对应的标记信息Fu，完成分类。

与现有技术相比，本公开具有下述有益技术效果：

(1)全面考虑了数据的特征，在构图时融合了数据的局部特征和全局特征，并且增加使用数据的类别信息来计算两个数据点之间的相似度，能较为贴近实际情况；

(2)将链路预测方法运用于图形构造，在考虑图形的基本结构的情况下，对非常密集、会降低分类性能的图形预测新的连接关系，提高图形的质量，使构造的图能够准确表达数据的内在结构，从而达到更好的分类效果，提高了分类的准确率和分类效率。

附图说明

图1表示本公开的融合局部与全局特征的半监督分类方法流程图；

图2现有CN、katz方法与本公开的分类方法对多种不同数据集进行分类的准确率对比示意图。

具体实施方式

以下结合附图1说明本公开的融合局部与全局特征的半监督分类方法的具体流程。

在一个实施例中，提供了一种融合局部与全局特征的半监督分类方法，包括：

S100、准备数据集X，所述数据集X包括已标记数据X_L和未标记数据X_U两部分，已标记数据X_L的标记信息为F_L，数据的特征通过数据属性信息来描述，L表示已标记数据的个数；

S200、对步骤S100准备的数据集X，提取数据的基础关系，构造初始图G0(V，E0)，其中V代表图中的节点，E0代表图G0中的边；

S300、通过局部链路预测的方法对初始图G0中不存在的边进行预测，并对预测出的边进行排序，选择一定的比例的所述预测的边加入到初始图G0中得到图G1(V，E1)，其中V代表图中的节点，E1代表图G1中边；

S400、对步骤S300中得到图G1的相似度矩阵W1进行对称化，再对对称化处理后的图G1的相似度矩阵W1进行归一化；

S500、通过全局链路预测的方法对初始图G0中不存在的边进行预测，对预测出的边进行排序，选择一定的比例的所述预测的边加入到初始图G0中得到图G2(V，E2)，其中V代表图中的节点，E2代表图G2中；

S600、对步骤S500中得到图G2的相似度矩阵W2进行对称化，再对对称化处理后的图G2的相似度矩阵W2进行归一化；

S700、对步骤S400中得到的图G3和步骤S600中得到的图G4，利用公式P₀＝αG3+(1-α)G4进行融合，得到概率矩阵P₀(N*N)，其中α为超参，取在(0，1)之间的数，N代表节点数；

S800、基于步骤S700中得到的概率矩阵P₀构造概率转移矩阵，并将已标记的信息融合到概率转移矩阵中，再进行归一化，得到归一化的概率转移矩阵；

S900、将节点的标记信息按照步骤S800得到的归一化的概率转移矩阵中定义的概率进行传播；

S1000、使传播后的标记矩阵中的前L行数据与原始标记矩阵中的前L行数据一致，防止已标记信息被污染；

S1100、对步骤S1000中更新计算出的标记矩阵进行判断，如果该矩阵已经收敛不再变化，执行步骤S1200；否则，返回继续执行步骤S800；

S1200、得到融合局部与全局特征的半监督分类结果图G5，使得数据集X中未标记数据Xu赋予对应的标记信息Fu，完成分类。

在该实施例中，数据集X的一行代表一个数据，一列代表数据的属性；

步骤S1000所述的已标记信息被污染是指，步骤S900处理后，已标记数据的标记可能发生更改，导致已标记数据的标记发生错误，称为标签信息污染。

在该实施例中，详细说明了本公开提出的分类方法的执行步骤，包括准备数据集、使用数据集构造初始图、利用局部链路预测方法和全局链路预测方法分别对初始图进行预测并进行对称化和归一化处理、融合处理结果得到概率矩阵、将已标记的信息融合到构造的概率转移矩阵并归一化、传播、保持传播后的标记矩阵中前L行数据不变、判断更新后的标记矩阵是否收敛并根据判断结果完成分类或返回继续执行等步骤。本公开的分类方法考虑了局部和全局特征，更能贴近实际情况，使分类结果更为准确，并且分类效率也更高。

在一个优选的实施例中，所述步骤S200中，提取数据的基础关系构造初始图是通过K-近邻(KNN)算法或最小生成树算法来实现。

K-近邻(KNN)算法和最小生成树算法都是现有技术中常用的用于分类问题的算法；K近邻(KNN)算法是在确定相似度度量的前提下，在数据集中找到每个样本最相似的k个样本，常用的计算相似度矩阵的公式为 其中exp表示指数函数，W_ij表示W中第i行第j列的元素，d(x_i，x_j)图中存在连接的节点x_i和x_j的距离，采用欧氏距离作为测度计算出数据点x_i和x_j之间的相似性：d(x_i，x_j)＝||x_i-x_j||²，其中ρ为超参，ρ越大，函数的局部影响的范围就越大，常用取值3；最小生成树算法Minimum spanning treealgorithm，一个有n个结点的连通图的生成树是原图的极小连通子图，且包含原图中的所有n个结点，并且有保持图连通的最少的边。

本实施例中选用了现有常用的K-近邻(KNN)算法和最小生成树算法对步骤S100准备的数据集X提取数据的基础关系，构造初始图G0(V，E0)，实际中还可以选用其他的常用算法来提取数据的基础关系。

在一个优选的实施例中，所述步骤S300中，局部链路预测的方法选用共同邻居(CN)方法对图G0中不存在的边进行计算。

共同邻居(CN)方法是当两个用户有着很多共同的邻居，就认为这两个用户很有可能建立联系。两个用户的相似性就用他们共同邻居的数量表示：S_xy＝|Γ(x)∩Γ(y)，其中Γ(y)表示图G0中节点x的邻居，Γ(y)表示图G0中节点y的邻居，则S_xy表示x节点和y节点之间的共有邻居数量。在该实施例中，局部链路预测的方法选用共同邻居(CN)方法，根据共同邻居(CN)的计算公式(S_xy＝|Γ(x)∩Γ(y))对图G0中不存在的边进行计算。

在一个优选的实施例中，所述步骤S300和S500中，选择一定的比例是按照5％-10％的比例。

在该实施例中，选取的比例是可以根据实际情况而定的，一般选择5％-10％的比例是比较合适的，例如选择10％的比例。

在一个优选的实施例中，所述步骤S400中，

对步骤S300中得到图G1计算相似度矩阵W1，计算公式为径向基函数：

其中exp表示指数函数，W1_ij表示W1中第i行第j列的元素，d(x_i，x_j)表示G1中存在连接的节点x_i和x_j的距离，采用欧氏距离作为测度计算出数据点x_i和x_j之间的相似性：d(x_i，x_j)＝||x_i-x_j||²，σ为超参，用来调整径向基函数的局部作用范围，σ取值越大，局部影响力越大；其中σ可取值为3，也可以根据实际需要选取另外的取值；

对图G1的相似度矩阵W1进行对称化处理，对称化处理的公式为：其中W1表示图G1的相似度矩阵，大小为N*N，W1′为W1的转置矩阵，其大小为N*N；

再对对称化处理后的图G1的相似度矩阵W1进行归一化处理，用NW1表示相似度矩阵W1的归一化矩阵，其大小为N*N，归一化处理的计算公式为其中NW1_ij代表归一化矩阵中的第i行第j列元素的值，W1_ij代表相似度矩阵W1中第i行第j列元素的值，min(W1_i)代表取相似度矩阵W1第i行中的最小值，max(W1_i)代表取相似度矩阵W1第i行中的最大值；

归一化后，NW1的数据都在[0，1]范围内，得到NW1对应的图G3(V，E3)，其中V表示代表图中的节点，E3代表图G3中边。

在一个优选的实施例中，所述步骤S500中，全局链路预测的方法选用Katz算法对G0中不存在的边进行计算。

Katz算法是现有的基于不同长度的路径的算法，它是直接与路径集合相加，并且按长度指数进行衰减变化的。在该实施例中，选择根据Katz算法对G0中不存在的边进行计算。Katz算法是现有算法，此处不再赘述。

再一个优选的实施例中，所述步骤S600中，

对步骤S500中得到图G2计算相似度矩阵W2，计算公式为径向基函数：

其中exp表示指数函数，W2_ij表示W2中第i行第j列的元素，d(x_i，x_j)表示G2中存在连接的节点x_i和x_j的距离，采用欧氏距离作为测度计算出数据点x_i和x_j之间的相似性：d(x_i，x_j)＝||x_i-x_j||²，σ为超参，用来调整径向基函数的局部作用范围，σ取值越大，局部影响力越大；其中σ可取值为3，也可以根据实际需要选取另外的取值；

对步骤S500中得到图G2的相似度矩阵W2进行对称化处理，对称化处理公式为其中W2表示图G2的相似度矩阵，大小为N*N，W2′为W2的转置矩阵，其大小为N*N；

再对对称化处理后的图G2的相似度矩阵W2进行归一化处理，用NW2表示相似度矩阵W2的归一化矩阵，其大小为N*N，归一化处理的计算公式为其中NW2_ij代表归一化矩阵中的第i行第j列元素的值，W2_ij代表相似度矩阵W2中第i行第j列元素的值，min(W2_i)代表取相似度矩阵W2第i行中的最小值，max(W2_i)代表取相似度矩阵W2第i行中的最大值；

归一化后，NW2的数据都在[0，1]范围内，得到NW2对应的图G4(V，E4)，其中V代表图G4中的节点，E4代表图G4中边。

在一个优选的实施例中，所述步骤S800具体为：

将含有已标记信息F_L的数据集X用矩阵的形式表示，得到初始标记矩阵F₀(N*C)，其中N代表节点个数，C代表特征类别数；

将初始标记矩阵F₀与概率矩阵P₀相乘，得到标记矩阵F_t，并用公式Q＝P_t+βF_t*F_t′，将已标记的信息融合到概率转移矩阵中，其中P_t表示概率转移矩阵，P_t的初始值为P₀，t代表迭代次数，F_t′表示F_t的转置矩阵，β为超参，取值在(0，1)之间，Q表示带有融合了已标记信息但未归一化的矩阵；

按公式对Q进行归一化，其中Q_ij表示矩阵Q中第i行第j列的元素，表示第i行元素之和，得到归一化的概率转移矩阵P_t+1。

在一个优选的实施例中，所述步骤S900中，传播公式为：F_t+1＝P_t+1×F_t，其中F_t+1代表第t次传播后得到的标记矩阵。

在一个优选的实施例中，所述步骤S1000中，利用公式使传播后的标记矩阵F_t+1中前L行数据与原始标记矩阵F₀中的前L行数据一致，防止已标记信息被污染；其中表示初始标记矩阵F₀中的前L行，表示F_t+1中的前L行，L表示一开始数据集X中已有标记信息的数据的个数。

在该实施例中，是为了防止通过步骤S900的处理后，已标记数据的标签被污染，因此需要进行重新赋值。

在一个优选的实施例中，对步骤S1000中更新计算出的标记矩阵F_t+1进行判断，如果该矩阵已经收敛不再变化，执行步骤S1200；否则，返回继续执行步骤S800；

S1200是判断步骤S1000中更新计算出的标记矩阵F_t+1收敛后，即得到融合局部与全局特征的半监督分类结果图G5，使得数据集X中未标记数据Xu赋予对应的标记信息Fu，使得未标记数据也有了对应的分类标记信息，完成了对原始数据集的分类过程。

收敛之后的矩阵F_t+1中每一行数据表示该数据的类别，如果F_t+1中的元素F_ij值为1，则第i个数据的类别为j，从而从F_t+1矩阵中能获得每个数据对应的类别，得到原始数据集的分类结果。

如果判断F_t+1没有收敛，那么还需要返回步骤S800继续执行分类的过程。

以上是对本公开的融合局部与全局特征的半监督分类方法的详细说明，根据该方法对数据进行分类，考虑了局部和全局特征，更能贴近实际情况，使分类结果更为准确，并且分类效率也更高。

实验：

为了验证本公开提出的融合局部与全局特征的半监督分类方法相比现有技术分类方法的优点，进行了实验比较验证。

在实验中，针对现有的多种不同的数据集(如图2横坐标所示)，采用CN+LPA(CN共同邻居+标记传播)、katz+LPA(katz+标记传播)、以及本发明的方法FLG+LPA(融合局部和全局特征+标记传播)的方法进行了数据分类的比较，数据集选用的是六种常用的半监督分类测试数据集g241c，g241n，USPS，digit1，COIL1，COIL2。测试数据集选取的样本及的各个特征如表1所示：

表1

测试数据集	样本数	特征属性数	类别
				g241c	1500	241	2
g241n	1500	241	2
				USPS	1500	241	2
digit1	1500	241	2
				COIL1	1500	241	2
COIL2	1500	241	2

图2对比表示了上述三种方法在不同数据集上分类结果的准确率，图中ACC表示不同方法的分类精度，从图2中可以发现，采用本公开的分类方法(FLG+LPA)得到的分类结果要优于现有技术CN+LPA或katz+LPA，分类的准确率和效率都更高。

尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (10)

1.一种融合局部与全局特征的半监督分类方法，包括：

S100、准备数据集X，所述数据集X包括已标记数据X_L和未标记数据X_U两部分，已标记数据X_L的标记信息为F_L，数据的特征通过数据属性信息来描述，L表示已标记数据的个数；

S200、对步骤S100准备的数据集X，提取数据的基础关系，构造初始图G0(V，E0)，其中V代表图中的节点，E0代表图G0中的边；

S300、通过局部链路预测的方法对初始图G0中不存在的边进行预测，并对预测出的边进行排序，选择一定的比例的所述预测的边加入到初始图G0中得到图G1(V，E1)，其中V代表图中的节点，E1代表图G1中边；

S400、对步骤S300中得到图G1的相似度矩阵W1进行对称化，再对对称化处理后的图G1的相似度矩阵W1进行归一化；

S500、通过全局链路预测的方法对初始图G0中不存在的边进行预测，对预测出的边进行排序，选择一定的比例的所述预测的边加入到初始图G0中得到图G2(V，E2)，其中V代表图中的节点，E2代表图G2中；

S600、对步骤S500中得到图G2的相似度矩阵W2进行对称化，再对对称化处理后的图G2的相似度矩阵W2进行归一化；

S700、对步骤S400中得到的图G3和步骤S600中得到的图G4，利用公式P₀＝αG3+(1-α)G4进行融合，得到概率矩阵P₀(N*N)，其中α为超参，取在(0，1)之间的数，N代表节点数；

S800、基于步骤S700中得到的概率矩阵P₀构造概率转移矩阵，并将已标记的信息融合到概率转移矩阵中，再进行归一化，得到归一化的概率转移矩阵；

S900、将节点的标记信息按照步骤S800得到的归一化的概率转移矩阵中定义的概率进行传播；

S1000、使传播后的标记矩阵中的前L行数据与原始标记矩阵中的前L行数据一致，防止已标记信息被污染；

S1100、对步骤S1000中更新计算出的标记矩阵进行判断，如果该矩阵已经收敛不再变化，执行步骤S1200；否则，返回继续执行步骤S800；

S1200、得到融合局部与全局特征的半监督分类结果图G5，使得数据集X中未标记数据Xu赋予对应的标记信息Fu，完成分类。

2.根据权利要求1所述的方法，优选的，所述步骤S200中，提取数据的基础关系构造初始图是通过K-近邻(KNN)算法或最小生成树算法来实现。

3.根据权利要求1所述的方法，所述步骤S300中，局部链路预测的方法选用共同邻居(CN)方法对图G0中不存在的边进行计算。

4.根据权利要求1所述的方法，所述步骤S300和S500中，选择一定的比例是按照5％-10％的比例。

5.根据权利要求1所述的方法，所述步骤S400中，

对步骤S300中得到图G1计算相似度矩阵W1，计算公式为径向基函数：其中exp表示指数函数，W1_ij表示W1中第i行第j列的元素，d(x_i，x_j)表示G1中存在连接的节点x_i和x_j的距离，采用欧氏距离作为测度计算出数据点x_i和x_j之间的相似性：d(x_i，x_j)＝||x_i-x_j||²，σ为超参，用来调整径向基函数的局部作用范围，σ取值越大，局部影响力越大；

对图G1的相似度矩阵W1进行对称化处理，对称化处理的公式为：其中W1表示图G1的相似度矩阵，大小为N*N，W1′为W1的转置矩阵，其大小为N*N；

再对对称化处理后的图G1的相似度矩阵W1进行归一化处理，用NW1表示相似度矩阵W1的归一化矩阵，其大小为N*N，归一化处理的计算公式为其中NW1_ij代表归一化矩阵中的第i行第j列元素的值，W1_ij代表相似度矩阵W1中第i行第j列元素的值，min(W1_i)代表取相似度矩阵W1第i行中的最小值，max(W1_i)代表取相似度矩阵W1第i行中的最大值；

归一化后，NW1的数据都在[0，1]范围内，得到NW1对应的图G3(V，E3)，其中V表示代表图中的节点，E3代表图G3中边。

6.根据权利要求1所述的方法，所述步骤S500中，全局链路预测的方法选用Katz算法对G0中不存在的边进行计算。

7.根据权利要求1所述的方法，所述步骤S600中，

对步骤S500中得到图G2计算相似度矩阵W2，计算公式为径向基函数：其中exp表示指数函数，W2_ij表示W2中第i行第j列的元素，d(x_i，x_j)表示G2中存在连接的节点x_i和x_j的距离，采用欧氏距离作为测度计算出数据点x_i和x_j之间的相似性：d(x_i，x_j)＝||x_i-x_j||²，σ为超参，用来调整径向基函数的局部作用范围，σ取值越大，局部影响力越大；

对图G2的相似度矩阵W2进行对称化处理，对称化处理的公式为其中W2表示图G2的相似度矩阵，大小为N*N，W2′为W2的转置矩阵，其大小为N*N；

再对对称化处理后的图G2的相似度矩阵W2进行归一化处理，用NW2表示相似度矩阵W2的归一化矩阵，其大小为N*N，归一化处理的计算公式为其中NW2_ij代表归一化矩阵中的第i行第j列元素的值，W2_ij代表相似度矩阵W2中第i行第j列元素的值，min(W2_i)代表取相似度矩阵W2第i行中的最小值，max(W2_i)代表取相似度矩阵W2第i行中的最大值；

归一化后，NW2的数据都在[0，1]范围内，得到NW2对应的图G4(V，E4)，其中V代表图G4中的节点，E4代表图G4中边。

8.根据权利要求1所述的方法，所述步骤S800具体为：

将含有已标记信息F_L的数据集X用矩阵的形式表示，得到初始标记矩阵F₀(N*C)，其中N代表节点个数，C代表特征类别数；

将初始标记矩阵F₀与概率矩阵P₀相乘，得到标记矩阵F_t，并用公式Q＝P_t+βF_t*F_t′，将已标记的信息融合到概率转移矩阵中，其中P_t表示概率转移矩阵，P_t的初始值为P₀，t代表迭代次数，F_t′表示F_t的转置矩阵，β为超参，取值在(0，1)之间，Q表示带有融合了已标记信息但未归一化的矩阵；

按公式对Q进行归一化，其中Q_ij表示矩阵Q中第i行第j列的元素，表示第i行元素之和，得到归一化的概率转移矩阵P_t+1。

9.根据权利要求8所述的方法，所述步骤S900中，传播公式为：

F_t+1＝P_t+1×F_t，其中F_t+1代表第t次传播后得到的标记矩阵。

10.根据权利要求9所述的方法，所述步骤S1000中，利用公式使传播后的标记矩阵F_t+1中前L行数据与原始标记矩阵F₀中的前L行数据一致，防止已标记信息被污染；其中表示初始标记矩阵F₀中的前L行，表示F_t+1中的前L行，L表示一开始数据集X中已有标记信息的数据的个数。