CN109918542B

CN109918542B - 一种用于关系图数据的卷积分类方法及系统

Info

Publication number: CN109918542B
Application number: CN201910080643.4A
Authority: CN
Inventors: 许勇; 周恒晟
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-01-28
Filing date: 2019-01-28
Publication date: 2021-12-17
Anticipated expiration: 2039-01-28
Also published as: CN109918542A

Abstract

本发明公开了一种用于关系图数据的卷积分类方法，包括：(1)导入原始数据样本，对数据样本进行采样、清洗及预处理；(2)选定关系属性和标签属性，对其余属性进行编码操作；(3)根据选定的关系属性，构建关系图数据并计算关系图的拉普拉斯矩阵和切比雪夫多项式的系数；(4)对关系图数据进行分类训练和交叉检验；(5)根据训练和检验结果对关系图卷积模型的参数进行调节，得到最优分类器。在本发明中，能够提取数据在关系图中的结构信息，结合数据自身特征，可以通过少量的训练数据得到较好的分类结果。

Description

一种用于关系图数据的卷积分类方法及系统

技术领域

本发明涉及数据识别分类领域，尤其涉及一种用于关系图数据的卷积分类方法及系统。

背景技术

卷积神经网络是近年来神经网络发展的最新成果，在图像处理上，卷积算子是一个由人为设定的固定大小的感知域，采用离散卷积方式。离散卷积本质上是一种加权求和，因此卷积神经网络中的卷积操作本质上是通过计算中心像素和在感知域内的邻近像素的加权求和来提取图像上的特征。卷积神经网络处理的图像或者视频数据属于典型的欧几里得结构数据，当中的像素点以十分规整的形式排列并且能够以矩阵的形式进行表示。

与传统神经网络所处理的数据，尤其是卷积神经网络处理的图像数据不同，关系数据通常以由顶点和边组成的拓扑图进行表示。例如，在社交网络中，所有的用户通过某种关系属性相互连接，并且用户也作为社交关系图的顶点呈现。同时，用户的特征可以通过彼此之间的连接关系相互影响。一方面，受到卷积神经网络大获成功的影响，卷积操作很自然地被尝试推广到关系数据的识别分类上；另一方面，由于关系图数据自身的性质，如缺乏全局参数化和位移不变性，在拓扑图节点与节点之间的相邻节点数量不一定会一致，所以无法像卷积神经网络中设定一个固定尺寸的卷积核。

几何深度学习是一类新兴技术的总称，其试图将结构化深层神经网络模型推广到非欧几里得域，比如图和流形。在其中一个领域中，光谱图形卷积将拓扑图中的节点处理为图像中被视为信号的像素。在此框架下，卷积操作定义在图的拉普拉斯矩阵及其本征空间上。

拉普拉斯矩阵(Laplacian matrix)也叫导纳矩阵、基尔霍夫矩阵或离散拉普拉斯算子，主要应用在图论中，作为一个图的矩阵表示。通过图的度矩阵和邻接矩阵计算得来，是一种基于欧式距离的测度，提供了对于图中任意两个点之间距离的参考。此外，该矩阵是对称的半正定矩阵。

发明内容

本发明的目的在于克服现有技术的不足，提供一种用于关系图数据的卷积分类方法，本发明将卷积操作推广到关系图数据的分类上，具有较好的分类结果与效率。

本发明的目的能够通过以下技术方案实现：

一种用于关系图数据的卷积分类方法，具体步骤包括：

(1)导入原始数据样本，对数据样本进行采样、清洗及预处理；

(2)选定关系属性和标签属性，对其余属性进行编码操作；

(3)根据选定的关系属性，构建关系图数据并计算关系图的拉普拉斯矩阵和切比雪夫多项式的系数；

(4)对关系图数据进行分类训练和交叉检验；

(5)根据训练和检验结果对关系图卷积模型的参数进行调节，得到最优分类器。

具体地，所述步骤(1)中，对数据样本采样，保证所有数据样本处于同一分布空间；对数据样本清洗，保证每一个数据样本属性的完整；对数据样本预处理，对数值型属性和非数值型属性进行编码操作。

具体地，所述步骤(3)中，根据选定的关系属性构建关系图数据，包括构建关系图的邻接矩阵和提取关系特征。

在确定关系属性后，所有的数据样本被视为关系图中的节点，符合关系属性要求的任意两个节点之间存在边，关系图采用邻接矩阵形式进行表示，具体方法为：假定关系图中节点的数量为N，从1至N为所有节点编号，邻接矩阵A即为N*N的二维矩阵，若节点i和节点j之间存在边，则二维矩阵对应位置设置为A[i][j]＝1。

更进一步地，对于提取关系特征，类比卷积神经网络中卷积操作：

H^(l)＝Θ(W^TH^(l-1)) (1)

将关系图数据中的卷积操作定义为：

H^(l)＝f(H^(l-1),A) (2)

其中，W表示卷积神经网络的卷积核参数，H表示隐藏层的输出，f表示关系图的卷积函数，A表示关系图的邻接矩阵。

更进一步，关系图的卷积操作定义如下：

f(H^(l),A)＝Θ(Ug_θU^TH^(l)W_λ ^(l)) (3)

其中，Θ表示激活函数，W_λ表示权重矩阵，U表示图拉普拉斯矩阵分解后的特征向量矩阵，g_θ表示以图拉普拉斯矩阵特征值为参数的函数，比如g_θ(λ)，λ表示图拉普拉斯矩阵的特征值矩阵。

为了简化计算，g_θ(λ)可以通过k阶的切比雪夫截断展开多项式进行近似操作：

以此为扩展得到关系图卷积的多项式近似公式：

其中，

L表示图的拉普拉斯矩阵，λ_max是L的最大特征值，K表示截断阶数，根据具体的需求人为设定，C表示切比雪夫多项式，可以通过C_k(x)＝2xC_k-1(x)-C_k-2(x)循环定义。

具体地，所述步骤(4)中，对数据样本按照一定比例随机分为训练集、验证集和测试集；设定模型结构参数，包括输入数据尺寸、图卷积层数量、隐藏层大小等；所述训练参数包括学习速率、迭代次数、正则项系数、提前停止的限度等。

本发明的另一目的在于提供一种用于关系图数据的卷积分类系统。

本发明的另一目的能够通过以下技术方案实现：

一种用于关系图数据的卷积分类系统，包括数据处理模块、关系图构建模块和关系图卷积模块；

所述数据处理模块，用于对数据样本进行处理；

所述关系图构建模块，用于根据选取的关系属性，以邻接矩阵的形式表示关系图并以比例划分训练集、验证集和测试集；

所述关系图卷积模块包括模型训练模块、模型结果模块和模型调整模块；

所述模型训练模块，通过选择默认网络参数的关系图卷积模型或者用户设定的关系图卷积模型，对训练集数据样本进行训练并结合训练集和验证集的分类准确率，采用早停止策略得到该网络参数下学习到的最佳模型；

所述模型结果模型，用于展示最终的测试集分类准确率；

所述模型调整模块，用于对数据处理模块的参数进行微调。

具体地，所述默认网络参数包括输入数据样本向量长度、网络层数、隐层神经单元数量等。

具体地，所述对样本数据进行处理，包括数据样本的采集、清洗和预处理，以及样本属性的编码。

所述数据处理模块主要针对该数据集进行处理，具体为：采集原始数据中处于同一样本分布空间的数据，对样本进行清洗排除掉属性有缺失的数据样本。最后在选定关系属性和标签属性后，对属性进行编码并以矩阵进行表现。

具体地，所述关系图构建模块中，拉普拉斯矩阵计算工具用于计算出关系图的拉普拉斯矩阵，对其进行矩阵分解得到拉普拉斯矩阵的最大特征值，并利用切比雪夫多项式近似计算以特征值为参数的卷积核函数。

本发明相较于现有技术，具有以下的有益效果：

1、本发明根据二维卷积的定义在关系图数据这一数据结构上泛化了卷积操作，通过计算关系图的拉普拉斯矩阵及特征分解提取关系图的拓扑特征，并通过切比雪夫多项式近似来提高计算效率，因此，卷积操作从卷积神经玩那个罗中的固定大小的卷积核转换成k阶近邻匹配，即加权平均k阶邻接域中所有的邻接节点。

2、本发明参考数据之间的关联关系，能够挖掘本身属性所体现不到的潜在特征。参与训练与识别的数据不再局限于自身固有的属性，通过挖掘关系特征可以为计算机视觉、自然语言处理、语音识别以外的任务提供一种新的方法。

3、本发明只需要少量的训练数据即可完成训练并得到不错的分类结果，一旦原始数据能够选定关系属性并构建关系图，该模型即可在短时间内依靠少量的训练数据完成分析识别的任务。在实际过程中，能够根据分类识别的结果来调整模型参数，得到最优模型，提高分类准确度。

附图说明

图1为本发明实施例中一种用于关系图数据的卷积分类方法的流程图。

图2为本发明实施例中一种用于关系图数据的卷积分类方法的系统框图。

图3为本发明实施例中所使用的数据集及其相互关系的示意图。

图4为本发明实施例中属性编码的示意图。

图5为本发明实施例中卷积操作定义的示意图。

图6为本发明实施例中训练结果示意图。

图7为本发明实施例中参数调整的结果示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示为一种用于关系图数据的卷积分类方法的流程图，具体步骤包括：

在本实施例中，采用一份匿名的开放大学学习分析数据集进行分类，结如图3所示，每一个部分的信息都存储在一份逗号分隔值文件表中，主要的两部分是学生基本信息和课程基本信息，课程有一些额外的信息如该课程的考核安排和该课程可供访问的教学材料，学生有一些额外的信息如对应课程的注册信息、在对应课程上的考核结果以及访问对应课程的教学材料信息。

具体地，对系统进行初始化，设定数据集路径，导入数据集中所有的文件。

在本实施例中，统计课程的考核信息，选取拥有同一种类考核安排的课程并采集学生基本信息表中注册过这些课程的学生数据样本。

对采集后的数据样本集进行清洗，若属性存在缺失则将该样本清洗出样本集；根据清洗后的数据样本集中，每一条数据的学生id和课程id，将学生在对应课程中的考核成绩和访问课程材料的数据统计并加入学生基本信息表中。

(2)选定关系属性和标签属性，对其余属性进行编码操作；

在本实施例中，关系属性为“是否注册同一课程”，标签属性为“该学生在对应课程的最终成绩”。对学生数据样本属性进行编码，具体为：对字符型的属性进行独热编码处理，对数值型属性进行标准化编码处理。

构建数据集，具体为：构建六个与样本数据集等长的数组，其中train mask、valmask、test mask对应训练集、验证集和测试集的特征向量集。y train、y val、y test对应训练集、验证集和测试集的标签向量集。其中M表示样本数据集的长度。当某一个数据样本被划分进训练集时，train mask中的对应位置被设为True，其余特征向量集中对应位置被设为False；y train中的对应位置被设为该数据样本的标签，其余标签向量集保持默认值。以此类推完成数据集的划分。

根据关系属性构建邻接矩阵并计算拉普拉斯矩阵，在选定有关卷积范围的参数k后，计算k阶的切比雪夫截断展开多项式，计算结果如表1所示，以python元组的形式保存，分别存储了关系图中边的信息，对应边计算出的切比雪夫多项式系数，以及该关系图的大小。

表1 k阶截断的切比雪夫多项式系统

选择设定网络参数或使用默认的网络参数，在本实施例中选取默认的网络参数，其中网络共有2层GC1-GC2，GC表示图卷积层，输入样本大小为5299*40，结构参数如表2所示。

表2默认网络结构参数

	类型	尺寸	核尺寸
				I	输入	40	—
GC1	图卷积层	16	K＝2
				GC2	图卷积层	4	K＝2

(4)对关系图数据进行分类训练和交叉检验；

在本实施例中，经过采集后的数据样本大小为5299，经过数据编码后每个数据样本对应特征向量长度为40，经过数据集划分后，训练集大小为600，验证集大小为1000，测试集大小为3699。每一个训练样本在经过图卷积层时，根据计算得到的多项式系数，对在关系图上卷积范围内的相邻样本进行加权求和，最后一层图卷积层提取得到的特征经过softmax函数输出得到分类标签。模型训练时，使用训练集和验证集对网络进行训练，通过对比较网络的输出结果和真实标签，得到训练集和验证集的分类准确率。在训练过程中，使用早停止策略默认设置是在训练过程中，则停止训练输出最优网络。使用测试集对网络进行测试，将输出的分类结果与其真实标签进行对比，最终得到测试集的分类准确率。输出训练过程的曲线如图6所示。

(5)根据训练和检验结果调节关系图卷积模型参数，得到最优分类器。

由于采用了早停止策略，迭代次数设为一较大的固定值即可，本实施例中的设定为200。分别建立学习率为0.001、0.005、0.01、0.05、0.1，迭代次数固定为200的分类模型。如图7所示为参数调整的结果示意图，由图7中可得出，当学习率为0.001时能够获取最佳分类结果。根据图6训练过程示意图对数据处理模块的方法进行微调。

如图2所示为一种用于关系图数据的卷积分类系统的结构示意图，包括数据处理模块、关系图构建模块和关系图卷积模块；

所述数据处理模块，用于对数据样本进行处理；

所述模型结果模型，用于展示最终的测试集分类准确率；

所述模型调整模块，用于对数据处理模块的参数进行微调。

所述数据处理模块主要针对该数据集进行处理，具体为：采集原始数据中处于同一样本分布空间的数据，对样本进行清洗排除掉属性有缺失的数据样本，鉴于在本实施例中会以多份文件分布式存储，需要在预处理阶段对分散的样本属性进行统计整合。最后在选定关系属性和标签属性后，对属性进行编码并以矩阵进行表现。属性编码如图4所示。

具体地，所述关系图构建模块中，拉普拉斯矩阵计算工具用于计算出关系图的拉普拉斯矩阵，并对其进行矩阵分解得到拉普拉斯矩阵的最大特征值。切比雪夫多项式计算系数工具用于设定参数k，参数k意义如图5所示，表示该卷积操作所涉及的邻接节点的范围，计算k阶截断的切比雪夫多项式系数。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种用于关系图数据的卷积分类方法，其特征在于，具体步骤包括：

(2)选定关系属性和标签属性，对其余属性进行编码操作；

关系属性为“是否注册同一课程”，标签属性为“学生在对应课程的最终成绩”；对学生数据样本属性进行编码，具体为：对字符型的属性进行独热编码处理，对数值型属性进行标准化编码处理；

构建数据集，具体为：构建六个与样本数据集等长的数组，其中train mask、valmask、test mask对应训练集、验证集和测试集的特征向量集；y train、y val、y test对应训练集、验证集和测试集的标签向量集；其中M表示样本数据集的长度；当某一个数据样本被划分进训练集时，train mask中的对应位置被设为True，其余特征向量集中对应位置被设为False；y train中的对应位置被设为该数据样本的标签，其余标签向量集保持默认值；以此类推完成数据集的划分；

(4)对关系图数据进行分类训练和交叉检验；

(5)根据训练和检验结果对关系图卷积模型的参数进行调节，得到最优分类器；

原始数据样本为同一种类考核安排的课程并采集学生基本信息表中注册过这些课程学生数据样本；

所述步骤(4)中，对数据样本按照一定比例随机分为训练集、验证集和测试集；设定模型结构参数，包括输入数据尺寸、图卷积层数量、隐藏层大小；所述训练参数包括学习速率、迭代次数、正则项系数、提前停止的限度。

2.根据权利要求1所述的一种用于关系图数据的卷积分类方法，其特征在于，所述步骤(1)中，对数据样本预处理，即对数值型属性和非数值型属性进行编码操作。

3.根据权利要求1所述的一种用于关系图数据的卷积分类方法，其特征在于，所述步骤(3)中，根据选定的关系属性构建关系图数据，包括构建关系图的邻接矩阵和提取关系特征。

4.根据权利要求3所述的一种用于关系图数据的卷积分类方法，其特征在于，构建关系图的邻接矩阵的方法为：假定关系图中节点的数量为N，从1至N为所有节点编号，邻接矩阵A即为N*N的二维矩阵，若节点i和节点j之间存在边，则二维矩阵对应位置设置为A[i][j]＝1。

5.根据权利要求3所述的一种用于关系图数据的卷积分类方法，其特征在于，对于提取关系特征，类比卷积神经网络中卷积操作：

H^(l)＝Θ(W^TH^(l-1)) (1)

将关系图数据中的卷积操作定义为：

H^(l)＝f(H^(l-1),A) (2)

其中，W表示卷积神经网络的卷积核参数，H表示隐藏层的输出，f表示关系图的卷积函数，A表示关系图的邻接矩阵；

关系图的卷积操作具体定义如下：

f(H^(l),A)＝Θ(Ug_θU^TH^(l)W_λ ^(l)) (3)

其中，Θ表示激活函数，W_λ表示权重矩阵，U表示图拉普拉斯矩阵分解后的特征向量矩阵，g_θ表示以图拉普拉斯矩阵特征值为参数的函数，λ表示图拉普拉斯矩阵的特征值矩阵；

g_θ(λ)通过k阶的切比雪夫截断展开多项式进行近似操作：

以此为扩展得到关系图卷积的多项式近似公式：

其中，

L表示图的拉普拉斯矩阵，λ_max是L的最大特征值，K表示截断阶数，根据具体的需求人为设定，C表示切比雪夫多项式，通过C_k(x)＝2xC_k-1(x)-C_k-2(x)循环定义。

6.一种用于实现权利要求1-5任一项的用于关系图数据的卷积分类系统，其特征在于，包括数据处理模块、关系图构建模块和关系图卷积模块；

所述数据处理模块，用于对数据样本进行处理；

所述模型结果模块，用于展示最终的测试集分类准确率；

所述模型调整模块，用于对数据处理模块的参数进行微调。

7.根据权利要求6所述的一种用于关系图数据的卷积分类系统，其特征在于，所述默认网络参数包括输入数据样本向量长度、网络层数、隐层神经单元数量。

8.根据权利要求6所述的一种用于关系图数据的卷积分类系统，其特征在于，所述数据处理模块针对该数据集进行处理，具体为：采集原始数据中处于同一样本分布空间的数据，对样本进行清洗排除掉属性有缺失的数据样本；最后在选定关系属性和标签属性后，对属性进行编码并以矩阵进行表现。