CN111160436A - 旋转等变的图卷积神经网络的球形图像分类方法及系统 - Google Patents

旋转等变的图卷积神经网络的球形图像分类方法及系统 Download PDF

Info

Publication number
CN111160436A
CN111160436A CN201911330871.9A CN201911330871A CN111160436A CN 111160436 A CN111160436 A CN 111160436A CN 201911330871 A CN201911330871 A CN 201911330871A CN 111160436 A CN111160436 A CN 111160436A
Authority
CN
China
Prior art keywords
graph
spherical
pooling
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911330871.9A
Other languages
English (en)
Other versions
CN111160436B (zh
Inventor
李成林
杨琴
戴文睿
邹君妮
熊红凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911330871.9A priority Critical patent/CN111160436B/zh
Publication of CN111160436A publication Critical patent/CN111160436A/zh
Application granted granted Critical
Publication of CN111160436B publication Critical patent/CN111160436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种旋转等变的图卷积神经网络的球形图像分类方法及系统，该方法包括：利用测地线二十面体采样方式构建球形图，利用构建的球形图表示球形图像；利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对球形图进行图卷积；利用细分构图逆操作的池化层保持旋转等变性，对经过图卷积后的球形图进行图池化；利用基于图节点的均值及方差统计的过渡层，对经过图池化后的球形图的节点上的信号值进行统计，以通过全连接层对信号统计值进行处理进而对球形图像进行分类。该系统包括：依次连接的球形图构建模块、图卷积模块、图池化模块及图过渡模块。通过本发明，提高了对旋转图像的特征提取能力和识别能力，具有良好的实用性和扩展性。

Description

旋转等变的图卷积神经网络的球形图像分类方法及系统
技术领域
本发明涉及视频通信技术领域，特别涉及一种旋转等变的图卷积神经网络的球形图像分类方法及系统。
背景技术
全方位摄像头可以通过捕捉现实世界360度的景象生成球形图像，用户通过转动头部自由调整头戴式显示器中的观看视角，选取感兴趣区域，获得沉浸式体验。近来360度视频扮演着虚拟现实技术中的重要角色，在机器人、自动驾驶等领域中逐渐流行。大量的360度视频内容的产生促使对球形图像的分析和处理技术的需求日益增加。
传统卷积神经网络在二维平面图像的处理任务中取得显著的性能提升，如图像识别，目标检测，图像分割等任务。但是将传统卷积神经网络应用于非欧几里得球面以分析球形图像是非常具有挑战性的。主要原因在于为了适应卷积神经网络特性，将球形图像投影到二维平面会造成图像畸变。
经过对现有技术的检索发现，Coors等人在《European Conference on ComputerVision 2018,pages 518–533》会议上发表了题为“SphereNet:Learning sphericalrepresentations for detection and classification in omnidirectional images”的文章，该文章提出根据球形图像投影到二维平面的畸变程度改变传统卷积神经网络的卷积核形状，从而一定程度补偿畸变带来的识别性能下降。但是该文章没有保证旋转的等变性，对球面上高纬度的物体识别效果很差，性能不稳定。
经检索还发现，Cohen等人在《6th International Conference on LearningRepresentations,Vancouver,BC,Canada,April 2018.》会议上发表了题为“SphericalCNNs”的文章，该文章通过引入谱域中具有旋转等变性质的球形互相关操作，设计了直接处理球形图像的球形卷积神经网络。但是球形互相关操作执行的每一步都需要进行傅里叶变换，这导致很高的计算复杂度和极大的内存占用。
发明内容
本发明针对上述现有技术中存在的问题，提出一种旋转等变的图卷积神经网络的球形图像分类方法及系统，对旋转的图像具有很强的特征提取能力和识别能力，具有良好的实用性和扩展性。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种旋转等变的图卷积神经网络的球形图像分类方法，其包括以下步骤：
利用测地线二十面体采样方式构建球形图，利用构建的球形图表示球形图像；
S12：第一图卷积：利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对球形图进行第一图卷积；
S13：第一图池化：利用细分构图逆操作的池化层保持旋转等变性，对经过所述第一图卷积后的球形图进行第一图池化；
S14：图过渡：利用基于图节点的均值及方差统计的过渡层，对经过所述第一图池化后的球形图的节点上的信号值进行统计，以通过全连接层对信号统计值进行处理进而对球形图像进行分类。
较佳地，所述S13和S14之间进一步包括：
S21：第二图卷积：利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对经过所述第一图池化后的球形图进行第二图卷积；
S22：第二图池化：利用细分构图逆操作的池化层保持旋转等变性，对经过所述第二图卷积后的球形图进行第二图池化。
较佳地，所述S11与S14之间的图卷积操作以及图池化操作分别包括三个或三个以上；
所述图卷积操作与所述图池化操作间隔排布。
较佳地，所述S11中的利用测地线二十面体采样方式构建球形图进一步包括：
不断细分所述测地线二十面体的每一个三角形面，形成新的四个三角形，并将新的节点投影到球面上，形成新的测地线二十面体，所述新的节点作为球形图的节点。除了正二十面体的十二个顶点有五个相邻的节点外，所述球形图的其他每个节点均有六个相邻节点。
较佳地，所述S11中的利用测地线二十面体采样方式构建球形图进一步包括：
S111：找到所述测地线二十面体的每个面的三条边的中心点，将三个中心点两两相连形成新的四个三角形；
S112：发射从球心到三角形边的中心点的一条射线，找到射线与球面相交的交点，以所述交点替代原测地线二十面体三角形边的中心点与原三角形的顶点相连，且三个新的交点两两相连，形成新的测地线二十面体；所述交点作为球形图的节点，连边作为球形图的边。
较佳地，所述S12中利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层进一步包括：
设球形图为G＝(V,E,A)，其中：v是大小为|v|＝N的球形图的节点的集合，ε是球形图的节点连边的集合，A是邻接矩阵，Aij＝w(vi,vj)表征连接节点vi和vj的边上的权重，如果节点vi和vj不相连，则Aij的值为零；
归一化拉普拉斯算子表示为
Figure BDA0002329521090000031
其中度矩阵D∈RN×N为
Figure BDA0002329521090000041
I是单位矩阵；
对球形图信号的频域卷积定义为：
Figure BDA0002329521090000042
其中x为球形图信号，
Figure BDA0002329521090000043
λmax为L的最大特征值，θk为可学习的参数，
Figure BDA0002329521090000044
为切比雪夫多项式，可通过
Figure BDA0002329521090000045
迭代求得，其中T0＝1，
Figure BDA0002329521090000046
切比雪夫多项式滤波器对图等距变换具有等变性，基于测地线二十面体构造的球形图的60阶二十面体群I的每个旋转元素均为图等距变换，则此切比雪夫多项式滤波器对构造的球形图具有旋转等变性质。
较佳地，所述S13进一步包括：
对第l层球形图进行粗化，保留对应第l-1层球形图的所有节点，得到第l-1层的球形图。由此并不改变球形图的等变旋转群，所提出的池化层在提取球形图的多尺度层次特征的同时，保证了对于旋转的等变性。
较佳地，所述S14进一步包括：
S141：利用不同阶数的切比雪夫多项式对球形图信号进行特征提取，得到一系列多尺度球面信号；
S142：然后对每个球面信号的所有节点上的信号值分别进行均值和方差的统计；
S143：最后将所述一系列多尺度球面信号的均值及方差拼接成为特征向量，以利用全连接层对所述特征向量进行处理进而对球形图像进行分类。
上述的特征向量对于旋转具有不变性，利于球形图像的分类。
本发明还提供一种旋转等变的图卷积神经网络的球形图像分类系统，其包括：依次连接的球形图构建模块、图卷积模块、图池化模块以及图过渡模块；其中，
所述球形图构建模块用于利用测地线二十面体采样方式构建球形图，利用构建的球形图表示球形图像；
所述图卷积模块用于利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对球形图进行图卷积；
所述图池化模块用于利用细分构图逆操作的池化层保持旋转等变性，对经过所述图卷积后的球形图进行图池化；
所述图过渡模块用于利用基于图节点的均值及方差统计的过渡层，对经过所述图池化后的球形图的节点上的信号值进行统计，以通过全连接层对信号统。计值进行处理进而对球形图像进行分类
较佳地，所述图卷积模块以及所述图池化模块分别包括两个或两个以上；
所述图卷积模块与所述图池化模块间隔排布。
相较于现有技术，本发明具有以下优点：
(1)本发明提供的旋转等变的图卷积神经网络的球形图像分类方法，通过结合测地线二十面体采样方式构建球形图，基于切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层；同时设计了细分构图逆操作的池化层以保持旋转等变性；最后对图节点进行均值及方差统计的过渡层保持旋转不变以对球形图像分类，对旋转的图像具有很强的特征提取能力和识别能力；
(2)本发明提供的旋转等变的图卷积神经网络的球形图像分类方法，通过基于图卷积神经网络，适应卷积神经网络特性，解决了球形图像投影到二维平面的图像畸变问题；
(3)本发明提供的旋转等变的图卷积神经网络的球形图像分类方法，通过对旋转的图像的保持识别的性能鲁棒性，具有良好的实用性和扩展性，为球形图像的分析打下了坚实基础。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明一实施例的旋转等变的图卷积神经网络的球形图像分类方法的流程图；
图2为本发明一较佳实施例的旋转等变的图卷积神经网络的球形图像分类方法的系统框图；
图3为本发明一较佳实施例的图池化操作示意图；
图4为本发明一实施例的旋转等变的图卷积神经网络的球形图像分类系统的结构示意图；
图5为本发明一较佳实施例的旋转等变的图卷积神经网络的球形图像分类系统的结构示意图。
标号说明：1-球形图构建模块，2-图卷积模块，3-图池化模块，4-图过渡模块；
21-第一图卷积模块，22-第二图卷积模块；
31-第一图池化模块，32-第二图池化模块。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示为本发明一实施例的旋转等变的图卷积神经网络的球形图像分类方法的流程图。
请参考图1，本实施例的旋转等变的图卷积神经网络的球形图像分类方法包括以下步骤：
S11：构图层：基于测地线二十面体采样方式的构图层，通过不断细分正二十面体形成近似球面的测地线二十面体，顶点作为图的节点，构建球形图，利用构建的球形图表示球形图像；
S12：第一图卷积层：基于切比雪夫多项式滤波器的图卷积层利用对于图等距变换具有等变性的多项式滤波器，构造对于旋转具有等变性的图卷积操作，对球形图进行第一图卷积；
S13：第一图池化层：基于细分构图逆操作的池化层，通过保持测地线二十面体的构图形式，保持了旋转等变性，对经过第一图卷积后的球形图进行第一图池化；
S14：图过渡层：基于图节点均值方差统计的过渡层，通过对经过第一图池化后的球形图的节点上的信号值进行统计，保持了旋转不变性，以通过全连接层对信号统计值进行处理进而对球形图像进行分类。
具体地，一实施例中，S11中的基于测地线二十面体采样方式构造球形图具体地为：基于正十二面体构建的图为G0，该图具有12个节点，对应正二十面体的12个顶点。L表示对正二十面体细化的次数。则基于L＝1层的测地线二十面体的球形图可表示为G1，所述球形图有42个节点。以此类推，基于L＝l层的测地线二十面体的球形图表示为Gl，所述球形图有N＝10*22l+2个节点。由此构造的球形图具有一个60阶旋转对称群I，该旋转对称群是连续旋转群SO(3)的子群。所述旋转对称群I中的每个旋转元素均为等距变换。
一实施例中，S12中利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层进一步包括：设通过构造的球形图表示球形图像为G＝(V,E,A)，其中：v是大小为|v|＝N的球形图节点的集合，ε是球形图节点连边的集合，A是邻接矩阵，Aij＝w(vi,vj)表征连接节点vi和vj的边上的权重。如果节点vi和vj不相连，则Aij的值为零。
归一化拉普拉斯算子表示为
Figure BDA0002329521090000081
其中度矩阵D∈RN×N为
Figure BDA0002329521090000082
I是单位矩阵。对球面图信号的频域卷积则定义为：
(1)
Figure BDA0002329521090000083
其中x为球面图信号，
Figure BDA0002329521090000084
λmax为L的最大特征值，θk为可学习的参数。
Figure BDA0002329521090000085
为切比雪夫多项式，可通过
Figure BDA0002329521090000086
Figure BDA0002329521090000087
迭代求得，其中T0＝1，
Figure BDA0002329521090000088
此频域卷积对应的第K阶多项式是K局部化的，一个节点的响应仅与路径长度k＜K上的节点及相应的边权重有关。
经此构造的多项式滤波器对图等距变换具有等变性，基于测地线二十面体构造的球形图的60阶二十面体群I的每个旋转元素均为图等距变换，则此多项式滤波器对构造的球形图具有旋转等变性质。
一实施例中，S13进一步包括：对于经过第hth层的图卷积层提取的所有特征图
Figure BDA0002329521090000089
执行同样的池化操作。假设输入的球形图为第l0层，则第hth层的特征图对应的球形图为第l0-h层。池化操作即为保留
Figure BDA00023295210900000811
球形图所有对应l0-h-1层球形图节点的信号值。池化操作算法如下：
Figure BDA00023295210900000810
Figure BDA0002329521090000091
一实施例中，S14进一步包括：利用K个阶数分别为k＝0,1,…,K的切比雪夫多项式
Figure BDA0002329521090000092
对球形图提取特征得一系列图信号
Figure BDA0002329521090000093
Figure BDA0002329521090000094
所述图信号具有多尺度的分辨率，且对于旋转具有等变性。然后对每个图信号tk的所有节点信号值进行统计得到均值μk和方差σk。最后将一系列图信号对应的统计值进行拼接得到特征向量[μ1,σ1,μ2,σ2,…,μK,σk]。特征向量即为过渡层的输出向量，其对旋转具有不变性。
较佳实施例中，S13与S14之间还包括：
S21：第二图卷积：利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对经过第一图池化后的球形图进行第二图卷积；
S22：第二图池化：利用细分构图逆操作的池化层保持旋转等变性，对经过第二图卷积后的球形图进行第二图池化。
如图2所示为该较佳实施例的旋转等变的图卷积神经网络的球形图像分类方法的系统框图，其包括：一个构图层，两个图卷积层、两个图池化层、一个过渡层、一个全连接层。如图3所示为该较佳实施例的两个图池化层的图池化操作示意图。一具体实例中，对构图层，构造的球形图为G4，具有2562个节点，第一层图卷积层和图池化层有32个滤波器，第二层图卷积层和图池化层有64个滤波器。所有的图卷积层输出都会经过ReLU激活函数，且所有多项式滤波器的阶数为25。对所有数据集均采用动量优化方法，动量为0.9，批量大小为10，共训练50个epoch。为了防止过拟合，采用了批量归一化的方式，丢弃因子设为0.9，动量衰减率为5e-4，学习率在前33个epoch时为0.02，后33个epoch时为0.002。
一具体实例中，关键参数的设置为：实验数据为S-MNIST,S-CIFAR-10及ModelNet40。S-MNIST及S-CIFAR-10的构造首先将MNIST及CIFAR-10数据集放置于球面的切平面上，然后通过球形投影将图像投影到整个球面上。ModelNet40数据集包括40类3D物体，其有9843个训练样本，2468个测试样本。为了对3D物体进行分类，需要将它投影到球面上，通过从球心发射中心射线，记录射线与3D物体相交点到球心点的距离，及射线的sin和cos值，形成3通道数据，并对3D物体的凸包进行同样的投影以增加另外3通道数据，形成6通道的信号。
较佳实施例中，在上述实施例的基础上，图卷积操作以及图池化操作还可以分别包括三个或三个以上，图卷积操作与图池化操作间隔排布。如：分别包括三个时，为在上述S22与S14之间依次包括：第三图卷积操作以及第三图池化操作；包括三个以上时，以此类推，此处不再赘述。
本发明还提供一种旋转等变的图卷积神经网络的球形图像分类系统，其可以实现上述实施例中的旋转等变的图卷积神经网络的球形图像分类方法，结构示意图如图4所示，其包括：依次连接的球形图构建模块1、图卷积模块2、图池化模块3以及图过渡模块4。其中，球形图构建模块1用于利用测地线二十面体采样方式构建球形图，利用构建的球形图表示球形图像；图卷积模块2用于利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对球形图进行图卷积；图池化模块3用于利用细分构图逆操作的池化层保持旋转等变性，对经过图卷积后的球形图进行图池化；图过渡模块4用于利用基于图节点的均值及方差统计的过渡层，对经过图池化后的球形图的节点上的信号值进行统计，以通过全连接层对信号统计值进行处理进而对球形图像进行分类。
较佳实施例中，图卷积模块2以及图池化模块3分别包括两个或两个以上；图卷积模块与图池化模块间隔排布。如图5所示为以分别包括两个为例的结构示意图，图卷积包括2包括：第一图卷积模块21以及第二图卷积模块22；图池化模块3包括：第一图池化模块31以及第二图池化模块32；这样球形图像分类系统就包括依次连接的：球形图构建模块1、第一图卷积模块21、第一图池化模块31、第二图卷积模块22、第二图池化模块32以及图过渡模块4。图卷积模块2以及图池化模块3分别包括三个或三个以上的，以此类推，此处不再赘述。
上述实施例提供的旋转等变的图卷积神经网络的球形图像分类方法及系统，可以适应卷积神经网络特性，解决了球形图像投影到二维平面的图像畸变问题，提出了基于图卷积神经网络的球形图像分类模型；对旋转的图像具有很强的特征提取能力和识别能力，具有良好的实用性和扩展性，为球形图像的分析打下了坚实基础。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，包括以下步骤：
S11：利用测地线二十面体采样方式构建球形图，利用构建的球形图表示球形图像；
S12：第一图卷积：利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对球形图进行第一图卷积；
S13：第一图池化：利用细分构图逆操作的池化层保持旋转等变性，对经过所述第一图卷积后的球形图进行第一图池化；
S14：图过渡：利用基于图节点的均值及方差统计的过渡层，对经过所述第一图池化后的球形图的节点上的信号值进行统计，以通过全连接层对信号统计值进行处理进而对球形图像进行分类。
2.根据权利要求1所述的旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，所述S13和S14之间进一步包括：
S21：第二图卷积：利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对经过所述第一图池化后的球形图进行第二图卷积；
S22：第二图池化：利用细分构图逆操作的池化层保持旋转等变性，对经过所述第二图卷积后的球形图进行第二图池化。
3.根据权利要求2所述的旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，所述S11与S14之间的图卷积操作以及图池化操作分别包括三个或三个以上；
所述图卷积操作与所述图池化操作间隔排布。
4.根据权利要求1所述的旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，所述S11中的利用测地线二十面体采样方式构建球形图进一步包括：
不断细分所述测地线二十面体的每一个三角形面，形成新的四个三角形，并将新的节点投影到球面上，形成新的测地线二十面体，所述新的节点作为球形图的节点。
5.根据权利要求4所述的旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，所述S11中的利用测地线二十面体采样方式构建球形图进一步包括：
S111：找到所述测地线二十面体的每个面的三条边的中心点，将三个中心点两两相连形成新的四个三角形；
S112：发射从球心到三角形边的中心点的一条射线，找到射线与球面相交的交点，以所述交点替代原测地线二十面体三角形边的中心点与原三角形的顶点相连，且三个新的交点两两相连，形成新的测地线二十面体；所述交点作为球形图的节点，连边作为球形图的边。
6.根据权利要求1所述的旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，所述S12中利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层进一步包括：
设球形图为G＝(V，E，A)，其中：v是大小为|v|＝N的球形图的节点的集合，ε是球形图的节点连边的集合，A是邻接矩阵，Aij＝w(vi，vj)表征连接节点vi和vj的边上的权重，如果节点vi和vj不相连，则Aij的值为零；
归一化拉普拉斯算子表示为
Figure FDA0002329521080000021
其中度矩阵D∈RN×N为
Figure FDA0002329521080000022
I是单位矩阵；
对球形图信号的频域卷积定义为：
Figure FDA0002329521080000023
其中x为球形图信号，
Figure FDA0002329521080000024
λmax为L的最大特征值，θk为可学习的参数，
Figure FDA0002329521080000025
为切比雪夫多项式，可通过
Figure FDA0002329521080000026
迭代求得，其中T0＝1，
Figure FDA0002329521080000027
7.根据权利要求1所述的旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，所述S13进一步包括：
对第l层球形图进行粗化，保留对应第l-1层球形图的所有节点，得到第l-1层的球形图。
8.根据权利要求1所述的旋转等变的图卷积神经网络的球形图像分类方法，其特征在于，所述S14进一步包括：
S141：利用不同阶数的切比雪夫多项式对球形图信号进行特征提取，得到一系列多尺度球面信号；
S142：然后对每个球面信号的所有节点上的信号值分别进行均值和方差的统计；
S143：最后将所述一系列多尺度球面信号的均值及方差拼接成为特征向量，以利用全连接层对所述特征向量进行处理进而对球形图像进行分类。
9.一种旋转等变的图卷积神经网络的球形图像分类系统，其特征在于，包括：依次连接的球形图构建模块、图卷积模块、图池化模块以及图过渡模块；其中，
所述球形图构建模块用于利用测地线二十面体采样方式构建球形图，利用构建的球形图表示球形图像；
所述图卷积模块用于利用切比雪夫多项式滤波器构建具有旋转等变性质的图卷积层，对球形图进行图卷积；
所述图池化模块用于利用细分构图逆操作的池化层保持旋转等变性，对经过所述图卷积后的球形图进行图池化；
所述图过渡模块用于利用基于图节点的均值及方差统计的过渡层，对经过所述图池化后的球形图的节点上的信号值进行统计，以通过全连接层对信号统计值进行处理进而对球形图像进行分类。
10.根据权利要求9所述的旋转等变的图卷积神经网络的球形图像分类系统，其特征在于，所述图卷积模块以及所述图池化模块分别包括两个或两个以上；
所述图卷积模块与所述图池化模块间隔排布。
CN201911330871.9A 2019-12-20 2019-12-20 旋转等变的图卷积神经网络的球形图像分类方法及系统 Active CN111160436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911330871.9A CN111160436B (zh) 2019-12-20 2019-12-20 旋转等变的图卷积神经网络的球形图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911330871.9A CN111160436B (zh) 2019-12-20 2019-12-20 旋转等变的图卷积神经网络的球形图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN111160436A true CN111160436A (zh) 2020-05-15
CN111160436B CN111160436B (zh) 2023-04-21

Family

ID=70557735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911330871.9A Active CN111160436B (zh) 2019-12-20 2019-12-20 旋转等变的图卷积神经网络的球形图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN111160436B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950707A (zh) * 2020-08-10 2020-11-17 中国平安人寿保险股份有限公司 基于行为共现网络的行为预测方法、装置、设备及介质
CN112163990A (zh) * 2020-09-08 2021-01-01 上海交通大学 360度图像的显著性预测方法及系统
CN112257753A (zh) * 2020-09-23 2021-01-22 北京大学 基于偏微分算子的广义等变卷积网络模型的图像分类方法
CN113591804A (zh) * 2021-09-27 2021-11-02 阿里巴巴达摩院(杭州)科技有限公司 图像特征提取方法、计算机可读存储介质以及计算机终端
CN116883996A (zh) * 2023-09-01 2023-10-13 武汉互创联合科技有限公司 基于旋转等变网络的胚胎发育阶段预测与质量评估系统
CN117037844A (zh) * 2023-10-10 2023-11-10 中国传媒大学 基于全景视频的全景音频生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218827A (zh) * 2013-03-21 2013-07-24 上海交通大学 基于形状传递联合分割和图匹配校正的轮廓跟踪方法
CN103700089A (zh) * 2013-12-01 2014-04-02 北京航空航天大学 一种三维医学图像多尺度异构特征的提取与分类方法
CN103729631A (zh) * 2014-01-15 2014-04-16 中国人民解放军国防科学技术大学 一种基于视觉的连接器表面特征自动识别方法
US20180182083A1 (en) * 2016-12-27 2018-06-28 Intel IP Corporation Convolutional neural network for wide-angle camera images
CN108960288A (zh) * 2018-06-07 2018-12-07 山东师范大学 基于卷积神经网络的三维模型分类方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218827A (zh) * 2013-03-21 2013-07-24 上海交通大学 基于形状传递联合分割和图匹配校正的轮廓跟踪方法
CN103700089A (zh) * 2013-12-01 2014-04-02 北京航空航天大学 一种三维医学图像多尺度异构特征的提取与分类方法
CN103729631A (zh) * 2014-01-15 2014-04-16 中国人民解放军国防科学技术大学 一种基于视觉的连接器表面特征自动识别方法
US20180182083A1 (en) * 2016-12-27 2018-06-28 Intel IP Corporation Convolutional neural network for wide-angle camera images
CN108960288A (zh) * 2018-06-07 2018-12-07 山东师范大学 基于卷积神经网络的三维模型分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
N. PERRAUDIN;M. DEFFERRARD等: "DeepSphere: Efficient spherical convolutional neural network with HEALPix sampling for cosmological applications" *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950707A (zh) * 2020-08-10 2020-11-17 中国平安人寿保险股份有限公司 基于行为共现网络的行为预测方法、装置、设备及介质
CN111950707B (zh) * 2020-08-10 2024-05-03 中国平安人寿保险股份有限公司 基于行为共现网络的行为预测方法、装置、设备及介质
US11823432B2 (en) 2020-09-08 2023-11-21 Shanghai Jiao Tong University Saliency prediction method and system for 360-degree image
CN112163990A (zh) * 2020-09-08 2021-01-01 上海交通大学 360度图像的显著性预测方法及系统
WO2022052750A1 (zh) * 2020-09-08 2022-03-17 上海交通大学 360度图像的显著性预测方法及系统
CN112163990B (zh) * 2020-09-08 2022-10-25 上海交通大学 360度图像的显著性预测方法及系统
CN112257753A (zh) * 2020-09-23 2021-01-22 北京大学 基于偏微分算子的广义等变卷积网络模型的图像分类方法
WO2022062164A1 (zh) * 2020-09-23 2022-03-31 北京大学 基于偏微分算子的广义等变卷积网络模型的图像分类方法
CN112257753B (zh) * 2020-09-23 2023-04-07 北京大学 基于偏微分算子的广义等变卷积网络模型的图像分类方法
CN113591804A (zh) * 2021-09-27 2021-11-02 阿里巴巴达摩院(杭州)科技有限公司 图像特征提取方法、计算机可读存储介质以及计算机终端
CN113591804B (zh) * 2021-09-27 2022-02-22 阿里巴巴达摩院(杭州)科技有限公司 图像特征提取方法、计算机可读存储介质以及计算机终端
CN116883996A (zh) * 2023-09-01 2023-10-13 武汉互创联合科技有限公司 基于旋转等变网络的胚胎发育阶段预测与质量评估系统
CN116883996B (zh) * 2023-09-01 2023-12-08 武汉互创联合科技有限公司 基于旋转等变网络的胚胎发育阶段预测与质量评估系统
CN117037844A (zh) * 2023-10-10 2023-11-10 中国传媒大学 基于全景视频的全景音频生成方法及系统

Also Published As

Publication number Publication date
CN111160436B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN111160436A (zh) 旋转等变的图卷积神经网络的球形图像分类方法及系统
Lin et al. Convolution in the cloud: Learning deformable kernels in 3d graph convolution networks for point cloud analysis
Lu et al. Remote sensing scene classification by unsupervised representation learning
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
Chen et al. Deep learning features at scale for visual place recognition
Juefei-Xu et al. Local binary convolutional neural networks
Duchenne et al. Segmentation by transduction
Henderson et al. Unsupervised object-centric video generation and decomposition in 3D
Spezialetti et al. Learning to orient surfaces by self-supervised spherical cnns
Guan et al. BRISKS: Binary features for spherical images on a geodesic grid
Chidester et al. Rotation equivariance and invariance in convolutional neural networks
JP7439153B2 (ja) 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み
Hernández et al. CUDA-based parallelization of a bio-inspired model for fast object classification
Li et al. A novel deep feature fusion network for remote sensing scene classification
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
Tombe et al. Adaptive deep co-occurrence feature learning based on classifier-fusion for remote sensing scene classification
CN113935433B (zh) 基于深度光谱空间倒残差网络的高光谱图像分类方法
Peri et al. ReF--Rotation Equivariant Features for Local Feature Matching
Avola et al. Low-level feature detectors and descriptors for smart image and video analysis: A comparative study
CN112150359B (zh) 基于机器学习和特征点识别的无人机图像快速拼接方法
Elashry et al. Feature matching enhancement using the graph neural network (gnn-ransac)
Yu et al. Learning hierarchical representation with sparsity for RGB-D object recognition
Ahmed et al. Classification of semantic segmentation using fully convolutional networks based unmanned aerial vehicle application
CN113807164A (zh) 一种基于余弦损失函数的人脸识别方法
Uskenbayeva et al. Contour analysis of external images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant