CN111966865A - 利用基于查表子网络的空域图卷积层进行特征提取的方法 - Google Patents

利用基于查表子网络的空域图卷积层进行特征提取的方法 Download PDF

Info

Publication number
CN111966865A
CN111966865A CN202010704755.5A CN202010704755A CN111966865A CN 111966865 A CN111966865 A CN 111966865A CN 202010704755 A CN202010704755 A CN 202010704755A CN 111966865 A CN111966865 A CN 111966865A
Authority
CN
China
Prior art keywords
node
convolution
neighborhood
position code
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010704755.5A
Other languages
English (en)
Other versions
CN111966865B (zh
Inventor
胡景钊
张效齐
王晨
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202010704755.5A priority Critical patent/CN111966865B/zh
Publication of CN111966865A publication Critical patent/CN111966865A/zh
Application granted granted Critical
Publication of CN111966865B publication Critical patent/CN111966865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种利用基于查表子网络的空域图卷积层进行特征提取的方法,首先初始化设置和输入数据;从邻接矩阵中查询卷积中心节点的n阶邻域内的节点;通过位置编码器查询卷积中心节点的n阶邻域内的节点的位置编码;两两融合卷积中心节点与其n阶邻域内的节点的位置编码;通过查表子网络分别查询分配给卷积中心节点n阶邻域内的节点的卷积核权重;计算卷积中心节点的n阶邻域内的节点的特征与卷积核的互相关值,并加上偏置与通过激活函数,得到激活值即卷积中心节点的新特征。本发明解决了现有方法损失了部分空间信息等问题,提供了一种满足局部性与权重共享、模型容量易于控制、采用互相关操作同时整合空间和通道维度信息等特性的图卷积层。

Description

利用基于查表子网络的空域图卷积层进行特征提取的方法
技术领域
本发明属于深度学习技术领域,具体涉及一种利用基于查表子网络的空域图卷积层进行特征提取的方法。
背景技术
随着深度学习的发展,很多模型已经能较好的处理处于欧式空间的数据,这种数据被表示为不同维度的张量的形式送入神经网络,比如二维的矩阵和一维的序列数据。图是一种由顶点和边以及其上的属性构成的一种处于非欧空间的数据,它很难直接被组织成张量的形式送入神经网络进行有效的特征提取。因此,如何高效地对图进行建模是深度学习领域的重要挑战之一,也是近年来的研究热点。
卷积神经网络是深度学习的重要模型之一,因其强大的特征提取能力和普适性,如何将卷积层适配至图数据是图神经网络领域的重要工作之一。当前的图卷积神经网络可以被大体分为两类:空域图卷积神经网络和频域图卷积神经网络。空域图卷积神经网络是尝试直接对卷积中心节点和其邻接节点进行特征整合以有效地综合结点特征和邻接关系上的信息,其难点是如何有效为卷积中心节点和其邻接节点确定卷积核权重。频域图卷积神经网络,又称谱图卷积神经网络,是借助谱图理论将图变换至谱空间,并在谱空间定义卷积核和滤波操作,随后变换回图空间。其有着完善的理论支持,但依然存在着运行效率低、模型容量不好控制、不易支持图内节点批量学习等问题。综合上面两种思路,其大体可以被归纳成由一个或多个特征聚合及特征变换操作组合而成的神经网络层。特征聚合是指对卷积中心节点和其邻接节点的特征进行整合,其有不定个数个节点特征作为输入,新的卷积中心节点特征作为输出。特征变换是指对节点上的特征施加某种变换以重新分配特征内表达的信息,其一般由矩阵操作或神经网络定义。
比较欧式空间的卷积神经网络使用的卷积核与特征图之间的互相关操作,可以发现特征聚合操作损失了部分空间信息,除此之外基于特征聚合与特征变换的图卷积神经网络还存在以下待解决问题:卷积核权重共享与局部性并不总得到保证、模型容量不易于控制、空间与通道维度的信息没有得到充分整合、感受野不易于控制、不易支持图内节点批量学习。
例如使用图卷积神经网络(GCN)对引文网络数据的节点进行分类,图卷积神经网络是一种经典的图神经网络,它能在提取特征时考虑图结构所包含的信息;引文网络数据是一种将论文表示为节点,将论文之间的引用关系表达为节点之间的无向边的数据,节点上的特征是论文的文本特征;其任务根据给定的论文的类别来预测其它的论文的类别;因为图卷积神经网络部分的存在前文所述的问题,如果能合理的解决问题,有望从节点特征和图结构中更好的提取特征以达到更好的分类性能。
发明内容
针对现有技术中的缺陷和不足,本发明提供了一种利用基于查表子网络的空域图卷积层进行特征提取的方法,克服现有方法特征聚合操作损失了部分空间信息、卷积核权重共享与局部性并不总得到保证、模型容量不易于控制、空间与通道维度的信息没有得到充分整合、感受野不易于控制、不易支持图内节点批量学习等缺陷。
为达到上述目的,本发明采取如下的技术方案:
一种利用基于查表子网络的空域图卷积层进行特征提取的方法,该方法包括以下步骤:
步骤一,设置卷积核个数与感受野大小,获取外部定义好的查表子网络的集合和位置编码器,并初始化邻域节点集合为空;所述感受野大小为卷积中心节点的n阶邻域大小n;
步骤二,输入图的邻接矩阵和特征矩阵,并指定要进行特征提取的卷积中心节点,将卷积中心节点放入邻域节点集合;所述卷积中心节点是图中一个节点;
在邻接矩阵或特征矩阵中每个节点对应的下标为该节点的节点索引,邻接矩阵和特征矩阵的节点下标是一致的;
位置编码器的输入为节点索引,输出为输入节点索引的位置编码;
步骤三,在邻接矩阵上查询卷积中心节点的n阶邻域内的所有节点,并放入邻域节点集合;
步骤四,通过位置编码器,由邻域节点集合内的节点索引查询所有节点的位置编码,得到邻域节点位置编码集合;
步骤五,将卷积中心节点的位置编码分别与邻域节点位置编码集合内的每一个位置编码两两融合,得到邻域节点融合位置编码集合;
步骤六,通过查表子网络,由邻域节点融合位置编码集合内的融合位置编码查询分配给卷积中心节点n阶邻域内对应节点的卷积核权重;
所述查表子网络的输入为邻域节点融合位置编码,输出为分配给该邻域节点的卷积核权重;
步骤七,从特征矩阵中查询邻域节点集合内节点的特征得到邻域节点特征矩阵;计算邻域节点特征矩阵与步骤六中得到的卷积核权重的互相关值,随后加上偏置,最后通过激活函数,得到激活值即卷积中心节点的新特征。
本发明还包括如下技术特征:
具体的,所述查表子网络为一神经网络,输入为某邻域节点的融合位置编码,输出为分配给该邻域节点的卷积核权重;
所述位置编码器为一神经网络,输入为节点索引,输出为输入节点索引的位置编码。
具体的,所述步骤三包括:
步骤3.1,在邻接矩阵中查询邻域节点集合内所有节点的直接可达节点,命名为当前阶邻域节点集合;
步骤3.2,合并邻域节点集合与当前阶邻域节点集合;
步骤3.3,重复步骤3.1到3.2,直至满足感受野指定阶数n,得到卷积中心节点的n阶邻域内的所有节点。
具体的,所述步骤五包括:
步骤5.1,从邻域节点位置编码集合查看卷积中心节点的位置编码;
步骤5.2,分别用邻域节点位置编码集合内的每个位置编码减去卷积中心节点的位置编码,得到邻域节点融合位置编码集合。
具体的,所述步骤六包括:将邻域节点融合位置编码集合内的融合位置编码送入每个查表子网络得到分配给每个节点的每个卷积核的权重;
其中,查表子网络的个数即为卷积核的个数。
具体的,所述步骤七包括:
步骤7.1,从已知的特征矩阵中查询邻域节点集合内节点的特征并组织成矩阵的形式,记作邻域节点特征矩阵;
步骤7.2,依次计算邻域节点特征矩阵与每个卷积核对应权重矩阵的互相关值,并除以邻域节点集合的元素个数;
步骤7.3,为每个卷积核滤波得到的互相关值加上偏置,并整理为向量;
步骤7.4,通过激活函数,得到激活值即卷积中心节点的新特征。
一种利用基于查表子网络的空域图卷积层进行特征提取的装置,包括:
初始化模块,用于设置卷积核个数与感受野大小,获取外部定义好的查表子网络的集合和位置编码器,并初始化邻域节点集合为空;
所述感受野大小为卷积中心节点的n阶邻域大小n;
数据输入模块,用于输入图的邻接矩阵和特征矩阵,并指定要进行特征提取的卷积中心节点,将卷积中心节点放入邻域节点集合;所述卷积中心节点是图中一个节点;
感受野内节点查询模块,用于在邻接矩阵上查询卷积中心节点的n阶邻域内的所有节点;
位置编码查询模块,用于通过位置编码器,由节点索引查询卷积中心节点的n阶邻域内的所有节点的位置编码,得到邻域节点位置编码集合;
位置编码融合模块,用于将卷积中心节点的位置编码分别与邻域节点位置编码集合内的每一个位置编码两两融合,得到邻域节点融合位置编码集合;
卷积核权重查询模块,用于通过查表子网络,由邻域节点融合位置编码查询分配给卷积中心节点n阶邻域内对应节点的卷积核权重;
卷积模块,用于计算卷积中心节点n阶邻域内节点特征矩阵与卷积核权重的互相关值,随后加上偏置,最后通过激活函数,得到激活值即卷积中心节点的新特征;
所述邻域节点特征矩阵是从特征矩阵中查询邻域节点集合内节点的特征得到的。
本发明与现有技术相比,有益的技术效果是:
(Ⅰ)本发明通过邻域阶数有效的控制图卷积层感受野,和在各节点上共享查表子网络,天然地保留了欧式空间卷积层的局部性与权重共享特性。克服了基于特征聚合与变换的图卷积层并不总是保证局部性与权重共享的问题。
(Ⅱ)本发明通过查表子网络查询感受野内节点的卷积核权重,可以通过调整查表子网络的复杂程度和卷积核的个数,方便地控制模型的容量。克服了基于特征聚合与变换的图卷积层的参数量不易于控制的问题。
(Ⅲ)本发明通过感受野内节点的特征与卷积核做互相关性计算的操作同时整合空间和通道维度的信息,克服了基于特征聚合与变换的图卷积层损失了部分空间信息的问题。
(Ⅳ)本发明通过卷积中心节点邻域可达的阶数定义感受野,克服了基于特征聚合与变换的图卷积层不易于控制感受野的问题。
(Ⅴ)本发明通过整合多个卷积中心的数据,批量查询位置编码和卷积核参数,天然支持图内节点批量操作。克服了基于特征聚合与变换的图卷积层不易于支持图内节点批量操作的问题。
(Ⅵ)本发明可通过与其它必要的神经网络层组合构成可应用于节点分类、图分类等定义在图空间上的任务的能更有效的提取特征的图神经网络以达到更好的性能,例如:引文网络数据中的节点分类、蛋白质-蛋白质互相作用数据中的图分类等。
附图说明
图1为本发明的流程图。
具体实施方式
以下对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
本发明希望设计一种新型的图卷积层,动机是将欧式空间卷积层的相关概念更平滑的迁移至非欧空间,核心是借助查表子网络灵活为卷积中心节点和其邻接节点分配卷积核参数,希望其能在保留欧式空间卷积操作相关概念的基础上继承其强大的性能,其至少满足如下特性:局部性与权重共享、模型容量易于控制、采用互相关操作同时整合空间和通道维度信息、支持感受野、支持图内节点批量学习。
本发明中,图是一种由顶点和边以及其上的属性构成的一种处于非欧空间的数据,它很难直接被组织成张量的形式送入神经网络进行有效的特征提取。
在图数据结构中的,邻接矩阵表示横纵所代表的两两节点之间是否有边进行连接;特征矩阵是节点上的特征向量堆叠而成的矩阵;卷积中心节点,是一个节点,由调用方指定,代表在卷积的过程中信息将会向这个节点汇聚;或者希望计算这个节点在通过卷积层后的新特征;指定了卷积中心节点和n之后,就可以在邻接矩阵上查询出来这个节点n跳范围之内的所有节点。本发明中的自包含邻接矩阵是指,在查询的过程中,总能在第0跳查到卷机中心节点自己。
空域图卷积层:是指直接在空域上定义图的卷积操作并添加偏置和激活的一种神经网络层。
卷积层是深度神经网络中的一种层,卷积层具体包括:卷积核与输入张量进行互相关计算、加上偏置、通过激活函数。或者说,卷积层是一种概念,但凡使用了上述类似原理的都可以称之为卷积层。
位置编码器本质是一个神经网络,输入为节点索引(本质是一个数字),输出为节点位置编码(本质是一个向量);
查表子网络本质是一个神经网络,输入为融合位置编码(本质是一个向量),输出为卷积中心节点所对应的融合位置编码的节点的卷积核参数(本质是一个向量)。
卷积核是卷积层的一部分;位置编码器和查表子网络,一个用于生成位置编码,一个用于生成卷积核参数,其在整个算法中承担不同的功能。
互相关计算:卷积神经网络中定义在张量上的互相关操作是指卷积核在特征图上滑动,并计算对应位置的点积的一种操作。
神经网络中,加上偏置是指给计算结果加上一个可训练的参数。通过激活函数是将所有的计算结果送进激活函数。激活函数是一种概念,具体是一个函数,一般由调用方指定。
如图1所示,本发明提供一种利用基于查表子网络的空域图卷积层进行特征提取的方法,该方法:首先设置空域图卷积层的卷积核个数、感受野大小、查表子网络集合和位置编码器,以完成空域图卷积层的初始化设置;然后输入图的邻接矩阵和特征矩阵,以及要进行特征提取的卷积中心节点;再从自包含的邻接矩阵中查询卷积中心节点的n阶邻域内的节点,即感受野内的节点;通过位置编码器查询卷积中心节点的n阶邻域内的节点的位置编码;分别两两融合卷积中心节点与其n阶邻域内的节点的位置编码;通过查表子网络分别查询分配给卷积中心节点n阶邻域内的节点的卷积核权重;最后,计算卷积中心节点的n阶邻域内的节点的特征与卷积核的互相关值,并加上偏置与通过激活函数,得到激活值即卷积中心节点的特征。
具体的,该方法包括如下步骤:
步骤一,设置卷积核个数与感受野大小,获取外部定义好的查表子网络的集合和位置编码器,并初始化邻域节点集合为空;所述感受野大小为卷积中心节点的n阶邻域大小n;
步骤二,输入图的邻接矩阵和特征矩阵,并指定要进行特征提取的卷积中心节点,将卷积中心节点放入邻域节点集合;所述卷积中心节点是图中一个节点;
在邻接矩阵或特征矩阵中每个节点对应的下标为该节点的节点索引,邻接矩阵和特征矩阵的节点下标是一致的;
位置编码器的输入为节点索引,输出为输入节点索引的位置编码;
步骤三,在邻接矩阵上查询卷积中心节点的n阶邻域内的所有节点,并放入邻域节点集合;
步骤3.1,在邻接矩阵中查询邻域节点集合内所有节点的直接可达节点,命名为当前阶邻域节点集合;
步骤3.2,合并邻域节点集合与当前阶邻域节点集合;
步骤3.3,重复步骤3.1到3.2,直至满足感受野指定阶数n,得到卷积中心节点的n阶邻域内的所有节点;
步骤四,通过位置编码器,由邻域节点集合内的节点索引查询所有节点的位置编码,得到邻域节点位置编码集合;
步骤五,将卷积中心节点的位置编码分别与邻域节点位置编码集合内的每一个位置编码两两融合,得到邻域节点融合位置编码集合;
步骤5.1,从邻域节点位置编码集合查看卷积中心节点的位置编码;
步骤5.2,分别用邻域节点位置编码集合内的每个位置编码减去(特征融合)卷积中心节点的位置编码,得到邻域节点融合位置编码集合;
步骤六,通过查表子网络,由邻域节点融合位置编码集合内的融合位置编码查询分配给卷积中心节点n阶邻域内对应节点的卷积核权重;
查表子网络的输入为邻域节点融合位置编码,输出为分配给该邻域节点的卷积核权重;
步骤6.1,获取所有外部定义好的查表子网络,(查表子网络为一神经网络,输入为某邻域节点的融合位置编码,输出为分配给该邻域节点的卷积核权重。)其中,查表子网络的个数即为卷积核的个数;
步骤6.2,将邻域节点融合位置编码集合内的编码送入每个查表子网络得到分配给每个节点的每个卷积核的权重;
步骤七,从特征矩阵中查询邻域节点集合内节点的特征得到邻域节点特征矩阵;计算邻域节点特征矩阵与步骤六中得到的卷积核权重的互相关值,随后加上偏置,最后通过激活函数,得到激活值即卷积中心节点的新特征。
步骤7.1,从已知的特征矩阵中查询邻域节点集合内节点的特征并组织成矩阵的形式,记作邻域节点特征矩阵;
步骤7.2,依次计算邻域节点特征矩阵与每个卷积核对应权重矩阵的互相关值,并除以邻域节点集合的元素个数;
步骤7.3,为每个卷积核滤波得到的互相关值加上偏置,并整理为向量;
步骤7.4,通过激活函数,得到激活值即卷积中心节点的新特征。
本发明还提供一种利用基于查表子网络的空域图卷积层进行特征提取的装置,包括:
初始化模块,用于设置卷积核个数与感受野大小,获取外部定义好的查表子网络的集合和位置编码器,并初始化邻域节点集合为空;
感受野大小为卷积中心节点的n阶邻域大小n;
数据输入模块,用于输入图的邻接矩阵和特征矩阵,并指定要进行特征提取的卷积中心节点,将卷积中心节点放入邻域节点集合;所述卷积中心节点是图中一个节点;
感受野内节点查询模块,用于在邻接矩阵上查询卷积中心节点的n阶邻域内的所有节点;
位置编码查询模块,用于通过位置编码器,由节点索引查询卷积中心节点的n阶邻域内的所有节点的位置编码,得到邻域节点位置编码集合;
位置编码融合模块,用于将卷积中心节点的位置编码分别与邻域节点位置编码集合内的每一个位置编码两两融合,得到邻域节点融合位置编码集合;
卷积核权重查询模块,用于通过查表子网络,由邻域节点融合位置编码查询分配给卷积中心节点n阶邻域内对应节点的卷积核权重;
卷积模块,用于计算卷积中心节点n阶邻域内节点特征矩阵与卷积核权重的互相关值,随后加上偏置,最后通过激活函数,得到激活值即卷积中心节点的新特征;
邻域节点特征矩阵是从特征矩阵中查询邻域节点集合内节点的特征得到的。
实施例1:
本实施例以对引文网络数据中的节点进行分类的神经网络中的基于查表子网络的空域图卷积层为例,具体参数设置以Cora数据集中的设置为例,包括如下步骤:
步骤一,初始化设置:
设置卷积核个数为185,感受野大小为2。获取外部定义好的由三层全链接层构成的查表子网络的集合和由单层嵌入层构成的位置编码器。
步骤二,数据输入:
输入Cora数据集的邻接矩阵和特征矩阵,并指定要进行特征提取的卷积中心节点为待分类的节点。
步骤三,查询感受野内的节点:
在已知的Cora数据集的自包含的邻接矩阵上,递归的查询卷积中心节点的2阶邻域内的所有节点;
步骤四,查询位置编码:
通过外部定义好的由单层嵌入层构成的位置编码器,由节点索引查询由步骤一得到的卷积中心节点的所有2阶邻域内的所有节点的位置编码;
步骤五,融合位置编码:
两两融合卷积中心节点的位置编码与其2阶邻域内的所有节点位置编码;
步骤六,查询卷积核权重:
通过外部定义好的由三层全链接层构成的查表子网络,由步骤三得到的融合位置编码查询分配给卷积中心节点2阶邻域内对应节点的卷积核权重;
步骤七,卷积:
计算卷积中心节点2阶邻域内节点特征与步骤四中得到的卷积核的互相关值,随后加上偏置,最后通过激活函数。
分别在Cora、Citeseer、Pubmed数据集上的节点的分类准确率如表1所示。
表1不同方法的分类准确率
Figure BDA0002594267060000131
表1:本发明及其对照方法在三种引文网络数据集节点分类任务上的准确率。其中,多层感知机是一种经典的神经网络结构,在执行节点分类时不借助图结构信息。图卷积神经网络是一种经典的图神经网络,在执行节点分类时考虑图的结构信息。

Claims (7)

1.一种利用基于查表子网络的空域图卷积层进行特征提取的方法,其特征在于,该方法包括以下步骤:
步骤一,设置卷积核个数与感受野大小,获取外部定义好的查表子网络的集合和位置编码器,并初始化邻域节点集合为空;所述感受野大小为卷积中心节点的n阶邻域大小n;
步骤二,输入图的邻接矩阵和特征矩阵,并指定要进行特征提取的卷积中心节点,将卷积中心节点放入邻域节点集合;所述卷积中心节点是图中一个节点;
在邻接矩阵或特征矩阵中每个节点对应的下标为该节点的节点索引,邻接矩阵和特征矩阵的节点下标是一致的;
位置编码器的输入为节点索引,输出为输入节点索引的位置编码;
步骤三,在邻接矩阵上查询卷积中心节点的n阶邻域内的所有节点,并放入邻域节点集合;
步骤四,通过位置编码器,由邻域节点集合内的节点索引查询所有节点的位置编码,得到邻域节点位置编码集合;
步骤五,将卷积中心节点的位置编码分别与邻域节点位置编码集合内的每一个位置编码两两融合,得到邻域节点融合位置编码集合;
步骤六,通过查表子网络,由邻域节点融合位置编码集合内的融合位置编码查询分配给卷积中心节点n阶邻域内对应节点的卷积核权重;
所述查表子网络的输入为邻域节点融合位置编码,输出为分配给该邻域节点的卷积核权重;
步骤七,从特征矩阵中查询邻域节点集合内节点的特征得到邻域节点特征矩阵;计算邻域节点特征矩阵与步骤六中得到的卷积核权重的互相关值,随后加上偏置,最后通过激活函数,得到激活值即卷积中心节点的新特征。
2.如权利要求1所述的利用基于查表子网络的空域图卷积层进行特征提取的方法,其特征在于,所述查表子网络为一神经网络,输入为某邻域节点的融合位置编码,输出为分配给该邻域节点的卷积核权重;
所述位置编码器为一神经网络,输入为节点索引,输出为输入节点索引的位置编码。
3.如权利要求1所述的利用基于查表子网络的空域图卷积层进行特征提取的方法,其特征在于,所述步骤三包括:
步骤3.1,在邻接矩阵中查询邻域节点集合内所有节点的直接可达节点,命名为当前阶邻域节点集合;
步骤3.2,合并邻域节点集合与当前阶邻域节点集合;
步骤3.3,重复步骤3.1到3.2,直至满足感受野指定阶数n,得到卷积中心节点的n阶邻域内的所有节点。
4.如权利要求1所述的利用基于查表子网络的空域图卷积层进行特征提取的方法,其特征在于,所述步骤五包括:
步骤5.1,从邻域节点位置编码集合查看卷积中心节点的位置编码;
步骤5.2,分别用邻域节点位置编码集合内的每个位置编码减去卷积中心节点的位置编码,得到邻域节点融合位置编码集合。
5.如权利要求1所述的利用基于查表子网络的空域图卷积层进行特征提取的方法,其特征在于,所述步骤六包括:将邻域节点融合位置编码集合内的融合位置编码送入每个查表子网络得到分配给每个节点的每个卷积核的权重;
其中,查表子网络的个数即为卷积核的个数。
6.如权利要求1所述的利用基于查表子网络的空域图卷积层进行特征提取的方法,其特征在于,所述步骤七包括:
步骤7.1,从已知的特征矩阵中查询邻域节点集合内节点的特征并组织成矩阵的形式,记作邻域节点特征矩阵;
步骤7.2,依次计算邻域节点特征矩阵与每个卷积核对应权重矩阵的互相关值,并除以邻域节点集合的元素个数;
步骤7.3,为每个卷积核滤波得到的互相关值加上偏置,并整理为向量;
步骤7.4,通过激活函数,得到激活值即卷积中心节点的新特征。
7.一种利用基于查表子网络的空域图卷积层进行特征提取的装置,其特征在于,包括:
初始化模块,用于设置卷积核个数与感受野大小,获取外部定义好的查表子网络的集合和位置编码器,并初始化邻域节点集合为空;
所述感受野大小为卷积中心节点的n阶邻域大小n;
数据输入模块,用于输入图的邻接矩阵和特征矩阵,并指定要进行特征提取的卷积中心节点,将卷积中心节点放入邻域节点集合;所述卷积中心节点是图中一个节点;
感受野内节点查询模块,用于在邻接矩阵上查询卷积中心节点的n阶邻域内的所有节点;
位置编码查询模块,用于通过位置编码器,由节点索引查询卷积中心节点的n阶邻域内的所有节点的位置编码,得到邻域节点位置编码集合;
位置编码融合模块,用于将卷积中心节点的位置编码分别与邻域节点位置编码集合内的每一个位置编码两两融合,得到邻域节点融合位置编码集合;
卷积核权重查询模块,用于通过查表子网络,由邻域节点融合位置编码查询分配给卷积中心节点n阶邻域内对应节点的卷积核权重;
卷积模块,用于计算卷积中心节点n阶邻域内节点特征矩阵与卷积核权重的互相关值,随后加上偏置,最后通过激活函数,得到激活值即卷积中心节点的新特征;
所述邻域节点特征矩阵是从特征矩阵中查询邻域节点集合内节点的特征得到的。
CN202010704755.5A 2020-07-21 2020-07-21 利用基于查表子网络的空域图卷积层进行特征提取的方法 Active CN111966865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010704755.5A CN111966865B (zh) 2020-07-21 2020-07-21 利用基于查表子网络的空域图卷积层进行特征提取的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010704755.5A CN111966865B (zh) 2020-07-21 2020-07-21 利用基于查表子网络的空域图卷积层进行特征提取的方法

Publications (2)

Publication Number Publication Date
CN111966865A true CN111966865A (zh) 2020-11-20
CN111966865B CN111966865B (zh) 2023-09-22

Family

ID=73362456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010704755.5A Active CN111966865B (zh) 2020-07-21 2020-07-21 利用基于查表子网络的空域图卷积层进行特征提取的方法

Country Status (1)

Country Link
CN (1) CN111966865B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168524A (zh) * 2017-04-19 2017-09-15 华南理工大学 一种基于深度学习混合模型的稳态视觉诱发电位分类方法
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN109766935A (zh) * 2018-12-27 2019-05-17 中国石油大学(华东) 一种基于超图p-Laplacian图卷积神经网络的半监督分类方法
CN109977223A (zh) * 2019-03-06 2019-07-05 中南大学 一种融合胶囊机制的图卷积网络对论文进行分类的方法
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN110363282A (zh) * 2019-06-06 2019-10-22 中国科学院信息工程研究所 一种基于图卷积网络的网络节点标签主动学习方法和系统
CN110377738A (zh) * 2019-07-15 2019-10-25 昆明理工大学 融合依存句法信息和卷积神经网络的越南语新闻事件检测方法
US20200125957A1 (en) * 2018-10-17 2020-04-23 Peking University Multi-agent cooperation decision-making and training method
CN111325099A (zh) * 2020-01-21 2020-06-23 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168524A (zh) * 2017-04-19 2017-09-15 华南理工大学 一种基于深度学习混合模型的稳态视觉诱发电位分类方法
US20200125957A1 (en) * 2018-10-17 2020-04-23 Peking University Multi-agent cooperation decision-making and training method
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN109766935A (zh) * 2018-12-27 2019-05-17 中国石油大学(华东) 一种基于超图p-Laplacian图卷积神经网络的半监督分类方法
CN109977223A (zh) * 2019-03-06 2019-07-05 中南大学 一种融合胶囊机制的图卷积网络对论文进行分类的方法
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN110363282A (zh) * 2019-06-06 2019-10-22 中国科学院信息工程研究所 一种基于图卷积网络的网络节点标签主动学习方法和系统
CN110377738A (zh) * 2019-07-15 2019-10-25 昆明理工大学 融合依存句法信息和卷积神经网络的越南语新闻事件检测方法
CN111325099A (zh) * 2020-01-21 2020-06-23 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUDONG SONG; XIAOCHEN FAN; CHAOCAN XIANG; QIANWEN YE; LEYU LIU; ZUMIN WANG; XIANGJIAN HE; NING YANG; GENGFA FANG: "A Novel Convolutional Neural Network Based Indoor Localization Framework With WiFi Fingerprinting", IEEE ACCESS, pages 110698 - 110709 *
冯宁: "基于时空图卷积网络的高速公路流量预测方法研究", 中国优秀硕士学位论文全文数据库, pages 034 - 1137 *
杨红菊;李尧;: "基于深度卷积网络的特征融合图像检索方法", 山西大学学报(自然科学版), no. 01, pages 119 - 124 *

Also Published As

Publication number Publication date
CN111966865B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
Gama et al. Graphs, convolutions, and neural networks: From graph filters to graph neural networks
CN110175671A (zh) 神经网络的构建方法、图像处理方法及装置
CN112989064B (zh) 一种聚合知识图神经网络和自适应注意力的推荐方法
CN110782015A (zh) 神经网络的网络结构优化器的训练方法、装置及存储介质
CN109858390A (zh) 基于端到端时空图学习神经网络的人体骨架的行为识别方法
CN113011282A (zh) 图数据处理方法、装置、电子设备及计算机存储介质
CN108171279A (zh) 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
CN103902704A (zh) 面向大规模图像视觉特征的多维倒排索引与快速检索算法
Wong et al. Attendnets: tiny deep image recognition neural networks for the edge via visual attention condensers
CN106209989A (zh) 基于spark平台的空间数据并行计算系统及其方法
de Mauro et al. Similarity learning for graph-based image representations
Dupuis et al. Sensitivity analysis and compression opportunities in dnns using weight sharing
CN113595993A (zh) 边缘计算下模型结构优化的车载感知设备联合学习方法
KR20230050340A (ko) 테이블 형식의 컨볼루션 및 가속
US20220335293A1 (en) Method of optimizing neural network model that is pre-trained, method of providing a graphical user interface related to optimizing neural network model, and neural network model processing system performing the same
KR101467707B1 (ko) 지식 베이스의 개체 매칭 방법 및 이를 위한 장치
CN111966865A (zh) 利用基于查表子网络的空域图卷积层进行特征提取的方法
Wazarkar et al. Fashion image classification using matching points with linear convolution
CN110427870B (zh) 眼部图片识别方法、目标识别模型训练方法及装置
Hamilton The graph neural network model
Babu et al. Context aware reliable sensor selection in IoT
CN110325984A (zh) 在图形中进行层次社区检测的系统和方法
CN113761243A (zh) 在线检索方法和系统
CN117194737B (zh) 基于距离阈值的近似近邻搜索方法、系统、介质及设备
Xiao et al. Customer requirement information mapping method for product module configuration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant