CN110675352A - 一种混合高低阶图卷积传播系统 - Google Patents

一种混合高低阶图卷积传播系统 Download PDF

Info

Publication number
CN110675352A
CN110675352A CN201910705353.4A CN201910705353A CN110675352A CN 110675352 A CN110675352 A CN 110675352A CN 201910705353 A CN201910705353 A CN 201910705353A CN 110675352 A CN110675352 A CN 110675352A
Authority
CN
China
Prior art keywords
layer
pooling
graph
graph convolution
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910705353.4A
Other languages
English (en)
Inventor
雷方元
刘勋
戴青云
蔡君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201910705353.4A priority Critical patent/CN110675352A/zh
Publication of CN110675352A publication Critical patent/CN110675352A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及一种混合高低阶图卷积传播系统，其特征在于包括输入层，与输入层相连的图卷积池化层，以及与图卷积池化层相连的采用softmax函数进行多分类输出的输出层；所述图卷积池化层至少为两个，并且图卷积池化层之间依次相连；所述图卷积池化层由图卷积层和与图卷积层相连的信息融合池化层构成，所述输入层与其相连的图卷积池化层中图卷积层相连，而后连接于输入层的图卷积池化层中的信息融合池化层与下一个相邻的图卷积池化层中的图卷积层相连；与经典的一阶图卷积和其他高阶图卷积方法相比，本系统的信息融合池化层实现了对应空间位置节点的信息融合，保留了网络的空间信息，进而实现了最高的精度，而且也保证了最好的稳定性。

Description

一种混合高低阶图卷积传播系统
技术领域
本发明涉及一种混合高低阶图卷积传播系统。
背景技术
信息在图中的传播过程不仅与其一阶邻域相关，也与其高阶邻域相关。先前有人提出了经典GCN的构造中采用1阶邻域顶点的均值方式来实现，这种方法将带来截断误差，将导致无法捕获图中节点之间的高阶交互信息，这也限制了该模型的能力。因此，合理的利用二阶邻域，三阶邻域等高阶邻域信息将有利于目标分类预测精度。
有人在GCN基础上将图卷积拓展到了高阶，并提出高阶图卷积传播模型，如公式(1)所示。在该模型中，第l+1层的传递函数中是第l层中的1-p阶领域的列串联。在传播模型中同一卷积层对不同阶采用不同权重。
Figure BDA0002151911740000011
其中
Figure BDA0002151911740000012
但是，在这种方法中，随着网络层数增加，层与层之间传的信息H(l+1)的维度将增大。待训练权重参数W(l)的维度将增大。这将增加了训练时长和增大参数量。
发明内容
本发明针对现有技术的不足，提供一种混合高低阶图卷积传播系统；该系统提出一个新的融合池化层去混合图网络的高阶邻域和低阶邻域信息，并且提出高阶邻域和低价邻域权重共享机制来减少计算复杂度和参数量，从而实现了最高精度，也保证了最好的稳定性。
为了达到上述目的，本发明一种混合高低阶图卷积传播系统，所述系统主要包括输入层，与输入层相连的图卷积池化层，以及与图卷积池化层相连的采用softmax函数进行多分类输出的输出层；所述图卷积池化层至少为两个，并且图卷积池化层之间依次相连；所述图卷积池化层由图卷积层和与图卷积层相连的信息融合池化层构成，所述输入层与其相连的图卷积池化层中图卷积层相连，而后连接于输入层的图卷积池化层中的信息融合池化层与下一个相邻的图卷积池化层中的图卷积层相连；
设系统输出层的输出为Y，则：
Figure BDA0002151911740000021
其中p为邻域的阶数，
Figure BDA0002151911740000022
σ(·)表示激活函数，Wl+1表示图网络中的l+1层的权重，FP(·)表示采用信息融合；H(l+1)的卷积层之间的传递值，其迭代表达形式为：
Figure BDA0002151911740000023
当l＝0时为图传播模型的第一卷积层，即H(0)＝X∈Rn×r，表示初始化时图网络的输入。
优选地，所述信息融合池化层包括最大值信息融合池化，均值信息融合池化和累计信息池化三种池化类型；
设最大值信息融合池化为FPmax，均值信息融合池化为FPavg，累计信息池化为FPsum；所述最大值信息融合池化，均值信息融合池化和累计信息池化的实现方式分别如式(4)、(5)和(6)所示；这种定义方式为对应空间位置节点的信息融合，保留了网络的空间信息。
Figure BDA0002151911740000025
Figure BDA0002151911740000026
以一个具体二阶实例来说明这三种信息融合方式，高阶情况类似。假设邻域的阶数k＝2，假设其一阶邻域为h1,二阶邻域为h2，信息融合过程为：
那么，最大值信息池化融合
Figure BDA0002151911740000032
均值信息融合池化
Figure BDA0002151911740000033
累计信息池化融合
Figure BDA0002151911740000034
优选地，所述图卷积池化层为两个；所述每个图卷积层的阶数为一阶、二阶、三阶、四阶或四阶以上阶数中的一种，或者任意多种阶数的组合。在实验中发现两层图卷积池化层比一层图卷积池化层的分类结果更好，而堆叠更多层数并未提高图识别任务的精度，因此，本系统采用2层图卷积池化层。在进一步的实验中，本发明发现式(2)中，对于多目标分类时，目标类别大于三类时，当p＝2和p＝3的系统模型在监督学习和非监督学习的分类任务中，在分类精度和计算复杂度之间已经有非常不错的性能表现。采用p＝4或更高的p值，分类精度未有显著的提高。当目标类别为2类或者3类时，采用p＝4或更高的p值，分类精度将提升。
本系统设置较少的隐藏神经元个数来减少计算复杂度和参数量，其对不同阶图卷积采用权重共享机制避免额外的参数量。与经典的一阶图卷积和高阶图卷积方法相比，本系统实现了最高的精度，而且也保证了最好的稳定性。
附图说明
图1为本发明的系统模型示意图。
具体实施方式
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
参照图1，本发明实施例一种混合高低阶图卷积传播系统，所述系统主要包括输入层1，与输入层1相连的图卷积池化层，以及与图卷积池化层相连的采用softmax函数进行多分类输出的输出层4；所述图卷积池化层至少为两个，并且图卷积池化层之间依次相连；所述图卷积池化层由图卷积层2和与图卷积层2相连的信息融合池化层3构成，所述输入层1与其相连的图卷积池化层中图卷积层相连，而后连接于输入层1的图卷积池化层中的信息融合池化层与下一个相邻的图卷积池化层中的图卷积层相连；
设系统输出层的输出为Y，则：
Figure BDA0002151911740000041
其中p为邻域的阶数，
Figure BDA0002151911740000042
σ(·)表示激活函数，Wl+1表示图网络中的l+1层的权重，FP(·)表示采用信息融合；H(l+1)的卷积层之间的传递值，其迭代表达形式为：
Figure BDA0002151911740000043
当l＝0时为图传播模型的第一卷积层，即H(0)＝X∈Rn×r，表示初始化时图网络的输入。
优选地，所述信息融合池化层包括最大值信息融合池化，均值信息融合池化和累计信息池化三种池化类型；
设最大值信息融合池化为FPmax，均值信息融合池化为FPavg，累计信息池化为FPsum；所述最大值信息融合池化，均值信息融合池化和累计信息池化的实现方式分别如式(4)、(5)和(6)所示；这种定义方式为对应空间位置节点的信息融合，保留了网络的空间信息。
Figure BDA0002151911740000044
Figure BDA0002151911740000045
Figure BDA0002151911740000046
以一个具体二阶实例来说明这三种信息融合方式，高阶情况类似。假设邻域的阶数k＝2，假设其一阶邻域为h1,二阶邻域为h2，信息融合过程为：
那么，最大值信息池化融合
Figure BDA0002151911740000052
均值信息融合池化
Figure BDA0002151911740000053
累计信息池化融合
Figure BDA0002151911740000054
本发明将式(2)中，p＝2的模型，即采用1阶和2阶邻域混合模型称为HLHG-2模型。将p＝3的模型，即采用1阶、2阶和3阶邻域混合模型称为HLHG-3模型。将p＝n的模型，即采用1阶到n阶邻域混合模型称为HLHG-n模型。
在模型中同一图卷积层的各阶邻域均采用相同权重参数，来实现权重共享和降低参数量。具体体现在公式(8)和(9)中的参数W1和W2的选择。
在本发明中将采用最大值信息融合池化模型称为HLHGM-p模型；将采用均值信息融合池化模型称为HLHGA-p模型；将采用累计信息融合池化模型称为HLHGS-p；在这些模型中参数p代表模型的邻域矩阵的最高阶数。
因此，在本实施例的内容中HLHGM-p模型只讨论p＝2和p＝3两种情况，高阶情况类似。
本发明将式(3)中，p＝2的模型，即采用1阶和2阶邻域混合模型称为HLHG-2模型。将p＝3的模型，即采用1阶、2阶和3阶邻域混合模型称为HLHG-3模型。
在HLHG-2模型中，假设图网络为2层，激活函数采用Relu，信息池化层采用最大值信息融合池化FPmax。则HLHGM-2模型的输出Y可以表示为：
其中，
Figure BDA0002151911740000061
Pmax表示采用最大值信息融合池化操作。
与HLHGM-2模型相似，HLHGM-3模型的输出值Y可以表示为：
Figure BDA0002151911740000062
其中，
对于大尺度的图网络，直接计算高阶邻域矩阵是难以接受的，如
Figure BDA0002151911740000064
因此，本发明采用左乘方式来降低计算复杂度，计算过程为
Figure BDA0002151911740000065
HLHGM-2模型的算法实现过程：
1)
Figure BDA0002151911740000066
2)h3＝Pmax(h1，h2)，
3)h4＝Relu(h3)，为了降低计算量和提高泛化能力采用Dropout＝0.5，
4)
Figure BDA0002151911740000067
5)h7＝Pmax(h5，h6)，
6)Y＝softmax(h7)。
本系统设置较少的隐藏神经元个数来减少计算复杂度和参数量，其对不同阶图卷积采用权重共享机制避免额外的参数量。与经典的一阶图卷积和高阶图卷积方法相比，本系统实现了最高的精度，而且也保证了最好的稳定性。
本发明实施例将在三个公开的引用网络数据集Pubmed，Citeseer，Cora上采用半监督方法进行试验对比分析，试验结果如下：
试验分类精度结果
Figure BDA0002151911740000071
表一
表一数据说明：(±表示标准差)。
计算复杂度和参数量
Figure BDA0002151911740000072
Figure BDA0002151911740000081
表二
表二参数说明：假设
Figure BDA0002151911740000082
中包含m个非零元素，r为数据集的特征数。
在典型的文本网络数据集R8、R52、OH、20NG和MR中利用监督学习方法对发明的HLHGM-2和HLHGM-3模型进行验证。
Figure BDA0002151911740000083
表三
表三数据说明：±表示标准差。
本发明提出的混合高低阶图卷积传播系统，利用高低阶权重共享机制来降低模型网络参数量.本发明提出的三种信息融合池化方式来将高阶和低阶邻域信息进行融合，保持了网络拓扑结构，提高了分类准确度。在实验证明了本发明提出的传播模型可应用于监督学习和半监督学习，实现了将图网络泛化应用到非规则结构网络中。
以上已将本发明做一详细说明，但显而易见，本领域的技术人员可以进行各种改变和改进，而不背离所附权利要求书所限定的本发明的范围。

Claims (3)

1.一种混合高低阶图卷积传播系统，其特征在于：所述系统主要包括输入层，与输入层相连的图卷积池化层，以及与图卷积池化层相连的采用softmax函数进行多分类输出的输出层；所述图卷积池化层至少为两个，并且图卷积池化层之间依次相连；所述图卷积池化层由图卷积层和与图卷积层相连的信息融合池化层构成，所述输入层与其相连的图卷积池化层中图卷积层相连，而后连接于输入层的图卷积池化层中的信息融合池化层与下一个相邻的图卷积池化层中的图卷积层相连；
设系统输出层的输出为Y，则：
Figure FDA0002151911730000011
其中p为邻域的阶数，σ(·)表示激活函数，Wl+1表示图网络中的l+1层的权重，FP(·)表示采用信息融合；H(l+1)的卷积层之间的传递值，其迭代表达形式为：
Figure FDA0002151911730000013
当l＝0时为图传播模型的第一卷积层，即H(0)＝X∈Rn×r，表示初始化时图网络的输入。
2.根据权利要求1所述的一种混合高低阶图卷积传播系统，其特征在于：所述信息融合池化层包括最大值信息融合池化，均值信息融合池化和累计信息池化三种池化类型；
设最大值信息融合池化为FPmax，均值信息融合池化为FPavg，累计信息池化为FPsum；所述最大值信息融合池化，均值信息融合池化和累计信息池化的实现方式分别如式(4)、(5)和(6)所示；
Figure FDA0002151911730000014
Figure FDA0002151911730000015
Figure FDA0002151911730000021
3.根据权利要求1所述的一种混合高低阶图卷积传播系统，其特征在于：所述高阶图卷积池化层为两个；所述每个图卷积层的阶数为二阶、三阶或三阶以上阶数中的一种，或者任意复数种阶数的组合。
CN201910705353.4A 2019-08-01 2019-08-01 一种混合高低阶图卷积传播系统 Pending CN110675352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910705353.4A CN110675352A (zh) 2019-08-01 2019-08-01 一种混合高低阶图卷积传播系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910705353.4A CN110675352A (zh) 2019-08-01 2019-08-01 一种混合高低阶图卷积传播系统

Publications (1)

Publication Number Publication Date
CN110675352A true CN110675352A (zh) 2020-01-10

Family

ID=69068694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910705353.4A Pending CN110675352A (zh) 2019-08-01 2019-08-01 一种混合高低阶图卷积传播系统

Country Status (1)

Country Link
CN (1) CN110675352A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085127A (zh) * 2020-10-26 2020-12-15 安徽大学 一种混合高低阶邻居信息的半监督分类方法
CN112329746A (zh) * 2021-01-04 2021-02-05 中国科学院自动化研究所 多模态谎言检测方法、装置、设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085127A (zh) * 2020-10-26 2020-12-15 安徽大学 一种混合高低阶邻居信息的半监督分类方法
CN112329746A (zh) * 2021-01-04 2021-02-05 中国科学院自动化研究所 多模态谎言检测方法、装置、设备
CN112329746B (zh) * 2021-01-04 2021-04-16 中国科学院自动化研究所 多模态谎言检测方法、装置、设备

Similar Documents

Publication Publication Date Title
CN112085190A (zh) 一种神经网络的量化参数确定方法及相关产品
CN114219076B (zh) 量子神经网络训练方法及装置、电子设备和介质
CN109583588B (zh) 一种短期风速预测方法及系统
CN110675352A (zh) 一种混合高低阶图卷积传播系统
JP7381814B2 (ja) マルチタスク向けの予めトレーニング言語モデルの自動圧縮方法及びプラットフォーム
CN104318303A (zh) 遗传算法优化的rbf神经网络的焦化炉温度预测方法
CN116186390A (zh) 一种融合超图的对比学习会话推荐方法
Zuo et al. Artificial Intelligence Prediction and Decision Evaluation Model Based on Deep Learning
CN105608295A (zh) 焦化炉压力的多目标遗传算法与rbf神经网络优化建模方法
CN113487018A (zh) 一种基于会话推荐的全局上下文增强图神经网络方法
US10929755B2 (en) Optimization processing for neural network model
CN110222816B (zh) 深度学习模型的建立方法、图像处理方法及装置
Chae et al. Robust imitation learning against variations in environment dynamics
CN117096875B (zh) 一种基于Spatio-Temporal Transformer模型的短期负荷预测方法及系统
CN114329900A (zh) 一种基于神经网络的器件参数获取方法、系统及相关组件
CN114065033A (zh) 用于推荐Web服务组合的图神经网络模型的训练方法
CN111291193B (zh) 一种知识图谱在零次学习上的运用方法
CN116821519A (zh) 一种基于图结构的系统过滤和降噪的智能推荐方法
WO2022117127A2 (zh) 一种基于深度代理模型的工程叉车多目标性能优化方法
CN116302088A (zh) 一种代码克隆检测方法、存储介质及设备
CN115619563A (zh) 一种基于神经网络的股票价格分析方法
CN115130663A (zh) 基于图神经网络和注意力机制的异质网络属性补全方法
TWI807905B (zh) 推薦系統中建構特徵交互的全交互方法與裝置
Xu et al. Efficient block pruning based on kernel and feature stablization
CN116796834A (zh) 一种有机无机杂化钙钛矿性能预测方法、预测系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination