CN106991132A - 一种基于图集重构与图核降维的图分类方法 - Google Patents

Abstract

本发明提供公开了一种基于图集重构与图核降维的图分类方法，包括如下步骤：1)对用于训练的图数据集进行频繁子图挖掘，对找出的频繁子图，以其在正负两类中出现的频度差的大小作为判别性指标，进行判别性子图筛选；2)用筛选出的具有判别性的频繁子图重构原图集；3)对重构好的新图集，采用Weisfeiler‑Lehman最短路径核方法获得用于描述图集中每两个图之间相似性的核矩阵，并利用训练图的类标签信息，采用KFDA方法对高维核矩阵降维；4)基于极限学习机对投影到低维向量空间的图数据进行训练，构建出分类器；5)规范化需要进行分类的图数据，将其投影到训练得到的低维空间，并把投影后的数据输入到分类器中，得到分类结果。本发明可直接对无类标签的图数据进行分类，且分类的准确性较高。

Description

一种基于图集重构与图核降维的图分类方法

技术领域

本发明涉及到频繁子图挖掘、图核映射、分类器构建等方面，具体涉及的是一种基于图集重构与图核降维的图分类方法，属于机器学习与数据挖掘技术领域。

背景技术

随着数据挖掘在情报学、生物信息学、网络入侵检测等多领域的应用，越来越多的数据呈现出结构化强、数据间关系复杂等新特点，如电路、图像、化合物、蛋白质结构、生物学网络等。图作为一种数据结构类型，可以用来清晰地描述各种事物以及它们之间的相互关系。如生物信息学领域，生物学家希望找到频繁出现的与有毒物质具有相同子结构的物质，此时分子结构可以被描述为图结构，其中的分子对应图中的顶点，而分子间的化学键则可表示为图中对应的边，通过对分子结构图集的挖掘，可以预先发现分子结构之间的内在关系或共享模式，从而实现对未知物质的毒性分类。

图分类作为图挖掘领域的一个分支，它的主体学习思想与传统数据分类类似，都是通过对已获得分类标记的图数据进行学习，从而建立出分类模型，再通过这个模型实现对新获得的未知标记的图数据进行类别预测。图分类总体上可以分为基于核函数的分类方法与基于特征向量构造的分类方法两类。

基于核函数的图分类方法的核心思想是通过一种非线性映射将图结构的数据映射到高维特征空间，然后利用线性学习的方法在新空间分析和处理数据。基于核函数的图分类方法无需提前知道非线性映射的具体形式与参数，而是引入核函数，通过改变核函数的形式与参数，隐式地实现从图数据到高维特征空间的映射，利用图核函数，可以获得用于描述图与图之间相似性的矩阵(Marginalized kernels between labeledgraphs.Kashima,H.,Tsuda,K.,Inokuchi,A.)。尽管基于核函数的图分类方法的分类性能较好，但是由于其计算中所不可避免的NP问题，因此该方法只适合于小规模的图数据集，扩展性能较差。

基于特征向量构造的图分类方法是事先选定一个划分标准，然后将每一张图数据按照这个标准转化为向量型数据，再利用传统的分类方法对其进行分类。基于特征的图分类方法又可以细化为基于频繁子图特征的分类方法和基于理论指标特征的分类方法。基于频繁子图特征的分类方法主要步骤为频繁子图挖掘、选择分类特征、构造分类模型。为了获得更高的分类性能，从频繁子图模式集中选择有判别力的特征模式是一个关键问题(MoSS:a program for molecular substructure mining.Borgelt,Christian,Meinl)。基于理论指标特征的分类多以特征路径长度、聚类系数、介数等作为刻画图数据信息的统计量(Classifying Graphs Using Theoretical Metrics:A Study of Feasibility.Zhu L,NgW K,Han S),或是各自特定领域的专家应用他们的专业背景知识指定出物理化学特征(如分子重量、分子密度等)作为划分标准，虽然这样可以避免过拟合，算法简单易造，但是容易丢失结构信息，而且需要过强的专业知识，普适性差。

本发明基于现有图分类方法的研究成果与存在的问题，提出一种基于图集重构与图核降维的图分类方法，利用频繁子图中判别性强的子图重构原图集，然后对重构好的新图集采用图核映射至高维空间，并采用基于类别的特征选择方法对高维核矩阵降维，最后以此训练分类器。该方法可以高效且准确地实现对图数据的分类。

发明内容

本发明所要解决的技术问题是图数据的分类问题，提出一种基于图集重构与图核降维的图分类方法。该方法利用判别性较强的频繁子图重构原图集，有效地降低了原始图集的规模，通过Weisfeiler-Lehman最短路径图核函数将图集映射到高维空间，并采用KFDA算法对高维核矩阵进行降维，在降维的同时考虑了图的类别信息，提升了后续分类的准确性。

本发明提供一种基于图集重构与图核降维的图分类方法，该方法包括训练和应用两个阶段，具体包括如下步骤：

步骤1)，对用于训练的图数据集进行频繁子图挖掘，对找出的频繁子图，以其在正负两类中出现的频度差的大小作为判别性指标，进行判别性子图筛选；

步骤2)，根据步骤1)筛选出的具有判别性的频繁子图，重构原图集；

步骤3)，根据步骤2)中重构好的新图集，采用Weisfeiler-Lehman最短路径核方法获得用于描述图集中每两个图之间相似性的核矩阵，并利用训练图的类标签信息，采用KFDA(Kernel Fisher Discriminant Analysis)方法对高维核矩阵降维；

步骤4)，根据步骤3)得到的低维数据，基于极限学习机对投影到低维向量空间的图数据进行训练，构建出分类器；

步骤5)，根据步骤3)中的图核降维过程，规范化需要进行分类的图数据，将其投影到训练得到的低维空间，并把投影后的数据输入到步骤4)构建出的分类器中，得到分类结果。

进一步的，本发明的基于图集重构与图核降维的图分类方法，步骤1)对用于训练的图数据集进行频繁子图挖掘，对找出的频繁子图，以其在正负两类中出现的频度差的大小作为判别性指标，进行判别性子图筛选。本发明采用gSpan频繁子图挖掘算法对训练图集进行频繁子图挖掘，频繁子图挖掘过程中，人为地指定所要挖掘的子图的支持度，支持度定义为：

公式中，G_s表示一个子图，G为图数据D中的一个图，当一个子图的支持度大于人为指定的阈值时，该子图即为频繁子图。通过gSpan算法，可以找出训练图数据集中所有支持度大于设定阈值的子图，并且获得这些子图分别出现在图集中的哪些图中，以及子图中包含的节点与边的信息。利用频繁子图挖掘的结果，得以获得各个频繁子图在图集的正类图中的支持度r⁺(G)与负类图中的支持度r^-(G)，其中：

将各个子图在正负两类图中的支持度相减后得到的结果，作为各个频繁子图的判别性得分：

score(G)＝|r⁺(G)-r^-(G)|

将所有频繁子图按照判别性得分的高低降序排序，然后根据人为设定的判别性子图比例筛选出得分排在前面的子图作为判别性子图。

进一步的，本发明的基于图集重构与图核降维的图分类方法，步骤2)根据步骤1)筛选出的具有判别性的频繁子图，重构原图集。gSpan频繁子图挖掘算法的输出结果中包含各个频繁子图中所包含的节点与边的信息，以及该频繁子图所处的图的编号，对于原图集的重构过程，是依次对原图集中的每一个图，考察各个判别性子图是否在该图中出现，如果出现，则将该判别性子图中所包含的节点与边信息加到与原图集对应的新图集里去，如果没有出现，则继续考察下一个判别性子图。该步骤结束后即可获得一个与原图集一一对应、仅由判别性子图重构而成的新图集。

进一步的，本发明的基于图集重构与图核降维的图分类方法，步骤3)根据步骤2)中重构好的新图集，采用Weisfeiler-Lehman最短路径核方法获得用于描述图集中每两个图之间相似性的核矩阵，Weisfeiler-Lehman算法的最短路径图核定义为：

其中最短路径核k_SP作为该图核的基函数，定义为：

其中i∈{0,…,h}表示第i次迭代过程，ω表示三元组之间的核函数，如果两条最短路径e、e'的起始节点、终止节点以及路径长度均相同，则ω(e,e')的值为1，否则为0。人为地指定迭代次数h之后，对于输入的训练图集G_train＝{G₁,G₂,…,G_N}，利用最短路径核方法可以得到核矩阵在此基础上，利用该核矩阵与各个训练图对应的类标签信息，采用KFDA算法对利用图核映射到特征空间中的高维数据进行降维，KFDA的目标函数为：

其中分子表示类间距离，分母表示类内距离，ω∈F空间，任意F空间内的解ω都可以由投影到F空间内的原数据组合得到，即：Φ表示一个投影到F特征空间的映射函数。训练图在ω的投影为：

于是可得到由向量表示的、包含了训练图集的主要特征也使得问题的分析解决更加合理化的低维数据集

进一步的，本发明的基于图集重构与图核降维的图分类方法，步骤4)根据步骤3)得到的低维数据，基于极限学习机(ELM)对投影到低维向量空间的图数据进行训练，构建出分类器。该步骤中需要人为地指定ELM隐藏层神经元个数L，然后ELM随机分配输入权重w_i与偏置b_i，从而计算出隐藏层节点的输出：

然后根据计算出输出权重，其中是矩阵H的广义逆，T为期望输出。

进一步的，本发明的基于图集重构与图核降维的图分类方法，步骤5)根据步骤3)中的图核降维过程，规范化需要进行分类的图数据，将其投影到训练得到的低维空间。首先使用Weisfeiler-Lehman最短路径核方法计算待分类的图数据与训练图集中各个图之间的相似性，得到相似性向量[k_SP(G₁,G),k_SP(G₂,G),…,k_SP(G_N,G)]，然后采用KFDA降维方法，使用下式对其进行降维：

将降维后的数据输入到步骤4构建出的ELM分类器中，即可根据Hβ＝T得到类标签未知的图的分类结果。

有益效果

本发明针对机器学习与数据挖掘中的图数据分类问题，通过图集重构与图核降维，实现图数据分类模型的构建，并以此对类标签未知的图数据进行分类。本发明的有点主要体现在三个方面：(1)以频度差作为筛选标准，找出判别性较强的子图并以此重构原始图集，可以减小图集的规模，并将图集中对分类结果具有混淆作用的部分去除；(2)采用图核函数将图数据映射到高维空间，再使用KFDA算法对高维矩阵进行降维，该过程充分利用了训练图集的类别信息，提升了分类器的性能；(3)可以直接对类标签未知的图数据进行测试和分类。

附图说明

图1是基于图集重构与图核降维的图分类方法的流程图。

图2是Weisfeiler-Lehman图核函数迭代过程示意图。图中以一次迭代为例，展示了图核映射中的多标签映射、标签排序、标签压缩与标签重新分配的过程。

具体实施方式

下面结合附图对技术方案的实施作进一步的详细描述：

结合流程图及实施案例对本发明所述的基于图集重构与图核降维的图分类方法作进一步的详细描述。

本实施案例对带有类标签的训练图集采用图集重构与图核降维的方法，并使用极限学习机构造分类器，通过此分类器可实现对未知图数据的分类。如图1所示，本方法包含如下步骤：

步骤10，对用于训练的图数据集进行频繁子图挖掘，对找出的频繁子图，以其在正负两类中出现的频度差的大小作为判别性指标，进行判别性子图筛选；

步骤101，采用gSpan频繁子图挖掘算法对训练图集进行频繁子图挖掘，所要挖掘的频繁子图的支持度是在gSpan算法的输入阶段人为设定的，在这里取支持度为0.4，通过gSpan算法，可以找出训练图集中所有支持度大于0.4的频繁子图，并且获得这些子图分别出现在图集中的哪些图中，以及子图中包含的节点与边的信息；

步骤102，根据公式和分别计算通过gSpan算法获得的每个频繁子图在训练集的正类图中的支持度r⁺(G)与负类图中的支持度r^-(G)；

步骤103，根据公式score(G)＝|r⁺(G)-r^-(G)|，将各个频繁子图在正负两类图中的支持度相减后得到的结果，作为各个频繁子图的判别性得分；

步骤104，将所有频繁子图按照判别性得分的高低降序排序，然后根据预先设定的判别性子图比例筛选出得分较高的一部分频繁子图作为判别性子图，在这里取判别性子图比例为50％，即选择判别性得分排在前50％的子图作为判别性子图；

步骤20，根据上一步得到的判别性子图，重构原图集；

步骤201，gSpan频繁子图挖掘算法的输出结果中包含各个频繁子图中所包含的节点与边的信息，以及该频繁子图所处的图的编号，对于原图集的重构过程，是依次对原图集中的每一个图，考察各个判别性子图是否在该图中出现；

步骤202，如果一个判别性频繁子图在该图中出现，则将该判别性子图中所包含的节点与边信息加到与原图集对应的新图集里去，如果没有出现，则继续考察下一个判别性子图；

步骤203，针对原图集中的一张图，对所有的判别性子图执行步骤202的操作，即可对该训练图进行重构；

步骤204，对训练图集中的每一张图执行步骤201-203的操作，即可获得一个与原图集一一对应、仅由判别性子图重构而成的新图集；

步骤30，根据上一步重构好的新图集，采用Weisfeiler-Lehman最短路径核方法获得用于描述图集中每两个图之间相似性的核矩阵，并利用训练图的类标签信息，采用KFDA算法对高维核矩阵降维；

步骤301，Weisfeiler-Lehman图核映射函数的迭代过程如图2所示，图2以一次迭代为例，展示了图核映射中的多标签映射、标签排序、标签压缩与标签重新分配的过程，Weisfeiler-Lehman最短路径核的迭代次数h需要人为设定，这里设置为5次；

步骤302，根据公式k_SP(G,G')＝∑_e∈S∑_e'∈S'ω(e,e')与

计算出经过5次迭代之后，重构图集中每两个图之间的相似性，从而得到核矩阵

步骤303，根据核矩阵与各个训练图对应的类标签信息，采用KFDA算法对利用图核映射到特征空间中的高维数据进行降维，即最大化目标函数得到

步骤304，根据公式计算训练图在ω上的投影，从而获得由训练图集转化而成、用向量表示的低维数据集

步骤40，根据上一步得到的低维数据，基于极限学习机对投影到低维向量空间的图数据进行训练，构建出分类器；

步骤401，极限学习机在训练前需要人为指定其隐藏层神经元个数L，在这里设置为200；

步骤402，极限学习机随机分配输入权重w_i与偏置b_i，然后根据公式

计算出隐藏层节点的输出；

步骤403，根据公式计算出输出权重；

步骤50，根据步骤30中的图核降维过程，规范化需要进行分类的图数据，将其投影到训练得到的低维空间，并把投影后的数据输入到步骤40构建出的分类器中，得到分类结果；

步骤501，使用Weisfeiler-Lehman最短路径核方法，计算待分类的图数据与训练图集中各个图之间的相似性，得到相似性向量[k_SP(G₁,G),k_SP(G₂,G),…,k_SP(G_N,G)]；

步骤502，采用KFDA算法，根据公式对待分类图的相似性向量进行降维；

步骤503，将降维后的数据输入到步骤40构建出的极限学习机分类器中，根据公式Hβ＝T得到类标签未知的图的分类结果。

Claims (6)

1.一种基于图集重构与图核降维的图分类方法，其特征在于，包括训练和应用两个阶段，具体包括如下步骤：

步骤1)，对用于训练的图数据集进行频繁子图挖掘，对找出的频繁子图，以其在正负两类中出现的频度差的大小作为判别性指标，进行判别性子图筛选；

步骤2)，根据步骤1)筛选出的具有判别性的频繁子图，重构原图集；

步骤3)，根据步骤2)中重构好的新图集，采用Weisfeiler-Lehman最短路径核方法获得用于描述图集中每两个图之间相似性的核矩阵，并利用训练图的类标签信息，采用KFDA即Kernel Fisher Discriminant Analysis方法对高维核矩阵降维；

步骤4)，根据步骤3)得到的低维数据，基于极限学习机对投影到低维向量空间的图数据进行训练，构建出分类器；

步骤5)，根据步骤3)中的图核降维过程，规范化需要进行分类的图数据，将其投影到训练得到的低维空间，并把投影后的数据输入到步骤4)构建出的分类器中，得到分类结果。

2.如权利要求1所述的方法，其特征在于，步骤1)对用于训练的图数据集进行频繁子图挖掘，对找出的频繁子图，以其在正负两类中出现的频度差的大小作为判别性指标，进行判别性子图筛选；采用gSpan频繁子图挖掘算法对训练图集进行频繁子图挖掘，频繁子图挖掘过程中，人为地指定所要挖掘的子图的支持度，支持度定义为：

公式中，G_s表示一个子图，G为图数据D中的一个图，当一个子图的支持度大于人为指定的阈值时，该子图即为频繁子图；通过gSpan算法，可以找出训练图数据集中所有支持度大于设定阈值的子图，并且获得这些子图分别出现在图集中的哪些图中，以及子图中包含的节点与边的信息；利用频繁子图挖掘的结果，得以获得各个频繁子图在图集的正类图中的支持度r⁺(G)与负类图中的支持度r^-(G)，其中：

$r^{+}\left(G\right)=\frac{\left|sup(G,D^{+})\right|}{\left|D^{+}\right|}$

$r^{-}\left(G\right)=\frac{\left|sup(G,D^{-})\right|}{\left|D^{-}\right|}$

将各个子图在正负两类图中的支持度相减后得到的结果，作为各个频繁子图的判别性得分：

score(G)＝|r⁺(G)-r^-(G)|

将所有频繁子图按照判别性得分的高低降序排序，然后根据人为设定的判别性子图比例筛选出得分排在前面的子图作为判别性子图。

3.如权利要求1所述的方法，其特征在于，步骤2)根据步骤1)筛选出的具有判别性的频繁子图，重构原图集；gSpan频繁子图挖掘算法的输出结果中包含各个频繁子图中所包含的节点与边的信息，以及该频繁子图所处的图的编号，对于原图集的重构过程，是依次对原图集中的每一个图，考察各个判别性子图是否在该图中出现；如果出现，则将该判别性子图中所包含的节点与边信息加到与原图集对应的新图集里去；如果没有出现，则继续考察下一个判别性子图；该步骤结束后即获得一个与原图集一一对应、仅由判别性子图重构而成的新图集。

4.如权利要求1所述的方法，其特征在于，步骤3)根据步骤2)中重构好的新图集，采用Weisfeiler-Lehman最短路径核方法获得用于描述图集中每两个图之间相似性的核矩阵，Weisfeiler-Lehman算法的最短路径图核定义为：

$k_{WLshortestpath}^h(G,G^{\′})=k_{SP}(G_0,G_0^{\′})+k_{SP}(G_1,G_1^{\′})+...+k_{SP}(G_i,G_i^{\′})+...+k_{SP}(G_h,G_h^{\′})$

其中最短路径核k_SP作为该图核的基函数，定义为：

$k_{SP}(G,G^{\′})=\underset{e\∈S}{\Σ}\underset{e^{\′}\∈S^{\′}}{\Σ}\mathrm{\ω}(e,e^{\′})$

其中i∈{0,…,h}表示第i次迭代过程，ω表示三元组之间的核函数，如果两条最短路径e、e'的起始节点、终止节点以及路径长度均相同，则ω(e,e')的值为1，否则为0；人为地指定迭代次数h之后，对于输入的训练图集G_train＝{G₁,G₂,…,G_N}，利用最短路径核方法得到核矩阵在此基础上，利用该核矩阵与各个训练图对应的类标签信息，采用KFDA算法对利用图核映射到特征空间中的高维数据进行降维，KFDA的目标函数为：

$\max J\left(\mathrm{\ω}\right)=\frac{{\mathrm{\ω}}^T{S}_B^{\mathrm{\Φ}}\mathrm{\ω}}{{\mathrm{\ω}}^T{S}_W^{\mathrm{\Φ}}\mathrm{\ω}}$

其中分子表示类间距离，分母表示类内距离，ω∈F空间，任意F空间内的解ω由投影到F空间内的原数据组合得到，即：Φ表示一个投影到F特征空间的映射函数；训练图在ω的投影为：

$(\mathrm{\ω}\·\mathrm{\Φ}(x\left)\right)=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_{i}k(x_i,x)$

于是可得到由向量表示的、包含了训练图集的主要特征也使得问题的分析解决更加合理化的低维数据集

5.如权利要求1所述的方法，其特征在于，步骤4)根据步骤3)得到的低维数据，基于极限学习机ELM对投影到低维向量空间的图数据进行训练，构建出分类器；该步骤中需要人为地指定ELM隐藏层神经元个数L，然后ELM随机分配输入权重w_i与偏置b_i，从而计算出隐藏层节点的输出：

$H=\left[\begin{array}{c}h\left(x_1\right)\\ .\\ .\\ .\\ h\left(x_N\right)\end{array}\right]={\left[\begin{array}{ccc}g(w_1\·x_1+b_1)& \mathrm{...}& g(w_L\·x_1+b_L)\\ .& & .\\ .& \mathrm{...}& .\\ .& & .\\ g(w_1\·x_N+b_1)& \mathrm{...}& g(w_L\·x_N+b_L)\end{array}\right]}_{n\×L}$

然后根据计算出输出权重，其中是矩阵H的广义逆，T为期望输出。

6.如权利要求1所述的方法，其特征在于，步骤5)根据步骤3)中的图核降维过程，规范化需要进行分类的图数据，将其投影到训练得到的低维空间；首先使用Weisfeiler-Lehman最短路径核方法计算待分类的图数据与训练图集中各个图之间的相似性，得到相似性向量[k_SP(G₁,G),k_SP(G₂,G),…,k_SP(G_N,G)]，然后采用KFDA降维方法，使用下式对其进行降维：

$\mathrm{\ω}\·\mathrm{\Φ}\left(G\right)=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i\mathrm{\Φ}\left(G_i\right)\·\mathrm{\Φ}\left(G\right)=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_{i}k(G_i,G)$

将降维后的数据输入到步骤4构建出的ELM分类器中，即根据Hβ＝T得到类标签未知的图的分类结果。