CN112634281A - 一种基于图卷积网络的网格分割方法 - Google Patents

一种基于图卷积网络的网格分割方法 Download PDF

Info

Publication number
CN112634281A
CN112634281A CN202011455359.XA CN202011455359A CN112634281A CN 112634281 A CN112634281 A CN 112634281A CN 202011455359 A CN202011455359 A CN 202011455359A CN 112634281 A CN112634281 A CN 112634281A
Authority
CN
China
Prior art keywords
graph
layer
features
convolution
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011455359.XA
Other languages
English (en)
Inventor
倪天宇
郑友怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011455359.XA priority Critical patent/CN112634281A/zh
Publication of CN112634281A publication Critical patent/CN112634281A/zh
Priority to PCT/CN2021/126910 priority patent/WO2022121545A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图卷积网络的网格分割方法，本发明中使用的方法以网格的面为基本单元，并在基于面的邻接关系形成的对偶图中进行图卷积运算，以获得对于面的特征表示。在特征获取阶段，本发明同时利用了静态与动态的边卷积，在利用实际邻接关系的同时也获得了从面之间潜在联系学习信息的能力。除此之外，本发明还利用了实例分割中特征嵌入的思路对于特征进行了进一步的增强，最终利用增强后的特征对于网格的各部位进行分割。本发明在多个部位分割的数据集上都取得了较好的结果。

Description

一种基于图卷积网络的网格分割方法
技术领域
本发明属于计算机图形学以及计算机视觉领域，尤其涉及一种基于图卷积网络的网格部位分割方法。
背景技术
语义分割是计算机视觉中的关键问题之一，随着深度学习的发展，在二维图像领域利用神经网络进行语义分割得到了广泛的探索与研究。当这一问题扩展到三维网格时，由于它的不规则性，基于图像的操作往往不能直接适用。之前的方法往往将三维模型体素化或是用多视角的二维图像对于三维物体进行表示，然后对于二维图像中的方法进行应用。前者往往因为数据的稀疏性而增大了计算量，后者放弃了三维物体的原有结构，并且计算量仍较大。对于三维的网格数据，我们以面为节点将其转化到对偶空间之中，并基于该图利用图卷积神经网络进行特征的学习。
早期的图卷积神经网络往往需要静态的图结构，而最近的动态图卷积上的研究表明动态的边可以取得更好的效果。我们的方法同时利用了静态边卷积与动态边卷积对于特征进行学习，在利用原本的几何结构的同时也考虑了潜在的相似联系。
在实例分割领域，特征嵌入是一种较为常用的方法，其主要思路为获得一个同类别距离较近而不同类别距离较远的表示，然后利用这一表示获得最终的实例分割。我们的方法也参考了这一思路，并且利用了特征嵌入获得的表示进行最终的部位分割。
发明内容
本发明的提出了一种基于GCN网络的网格分割方法，将网格根据面的邻接关系形成图表示，从而通过图卷积以及特征嵌入实现有效的特征学习。同时在本发明中使用的图卷积同时使用了静态的边卷积与动态的边卷积，同时考虑了原本的几何结构与特征空间中的关系。并且本发明使用特征嵌入的方法，约束了特征在特征空间中的分布。
本发明是通过以下技术方案来实现的：
一种基于图卷积网络的网格分割方法，包括以下步骤：
步骤一：将网格模型变换到指定的面片数量，并进行标准化处理。
步骤二：将步骤一处理后的模型转换为图表示，并对每个面进行初步特征提取后输入到训练好的图卷积神经网络中，对网格中每个面属于的部位种类进行预测。其中，所述图卷积神经网络包括：
变换模块，用于使输入的初步特征的朝向相近。
图卷积模块，用于根据变换后的初步特征学习与实际空间中邻面以及特征空间中邻面有关的特征。
特征嵌入模块，用于根据图卷积模块获得的特征获取同类相近不同类距离较远的特征。
输出模块，用于根据图卷积层学到的特征以及特征嵌入的结果获得预测分割结果。
进一步地，所述步骤一通过以下子步骤来实现：
(1.1)对于输入模型，将其简化或细分到指定面片数量。
(1.2)对于变换后的模型，对其进行平移和缩放操作，使模型中所有顶点的均值为0，离原点的最大距离为1。
进一步地，所述变换模块由一层静态卷积层、一层最大池化层与若干全连接层组成，所述一层静态卷积层、一层最大池化层与若干全连接层用于预测一个旋转矩阵，并通过旋转矩阵对于输入的初步特征进行变换。
进一步地，所述图卷积模块包括静态卷积层、动态卷积层、全连接层和池化层，其中，静态卷积层、动态卷积层各层学到的特征连接并输入到全连接层进行总结并通过池化层得到总体特征。
进一步地，所述特征嵌入模块由全连接层组成。
进一步地，所述特征嵌入模块训练时利用三个损失函数对其约束，Lvar约束同类特征相近，Ldist约束不同类别的特征较远，Lreg约束特征嵌入的范围。
进一步地，本发明中，静态卷积层、动态卷积层均采取边缘条件卷积(Edge-Conditioned Convolution)结构。
本发明的有益效果是：
本发明提出了一种基于图卷积神经网络的网格分割方法。与先前的基于多视角图像或基于体素的表示进行特征学习的基于学习的网格分割方法不同，本发明利用了三角网格本身的结构，然后在基于面的图表示中引入图卷积运算，并利用了特征嵌入的方法得到了进一步的表示。本发明利用了网格的自然结构进行表示，并且对于训练阶段和推断阶段都是轻量级的。在图卷积中，本发明同时使用了静态卷积与动态卷积，同时从原本我网格结构以及特征空间中的相似度学习信息。本发明在多个网格部位分割数据集上都取得了较好的效果。
附图说明
图1是本发明进行网格分割的过程示意图。
图2是本发明的网格分割效果图，其中相邻不同类别的分割用黑白区分。
具体实施方式
本发明的思路为：利用网格中面的邻接关系形成图，在这一图上利用图卷积神经网络以及特征嵌入学习特征，最终使用全连接层对于每个面获得属于各类别的得分，最终对于每个面属于的类别进行预测，具体包括如下步骤：
步骤一：将网格模型变换到指定的面片数量，并进行居中与缩放操作。
步骤二：将步骤一处理后的模型转换为图表示，并对于每个面进行初步的特征提取后输入到训练好的对应图卷积神经网络中，对于网格中每个面属于的部位种类进行预测。其中，所述图卷积神经网络由变换模块、图卷积模块、特征嵌入模块以及全连接层组成。
步骤一为预处理步骤，步骤二中的图卷积神经网络结构如图1所示。
对于一个输入的网格模型M＝{V,F}，其中V表示所有顶点，F表示所有面。对其进行特征提取后建立一个无向图G＝{Q,E,Φ}，对于每个fi∈F，创建一个节点qi∈Q，同时对于每对相邻面fifj创建一条无向边(qi,qj)∈E。Φ为每个节点的特征，对于fi其对应的φi＝{ci,ni,vi,ai}，分别表示面fi对应的质心坐标、法向、顶点坐标以及面积。
本发明使用的图卷积网络使用了多个卷积层，采用的是(Wang,Yue,et al."Dynamic graph cnn for learning on point clouds."Acm Transactions On Graphics(tog)38.5(2019):1-12.)中的基本结构。其中对于第l层的图Gl＝{Ql,El,Φl}，节点特征按下式更新：
Figure BDA0002828573950000031
其中
Figure BDA0002828573950000032
为带有可学习参数θ的非线性函数。这一更新方式既考虑了全局特征φi，也考虑了反映相邻面之间关系的局部特征
Figure BDA0002828573950000033
在静态边卷积中边El为初始的面邻接关系，在动态边卷积中，考虑在特征空间中使用欧几里得距离作为度量，并将距离最近的k个面视为邻面。
变换模块组合了一次静态卷积、一次最大池化与若干全连接层，对于每个输入的特征图预测一个旋转矩阵，然后通过旋转矩阵对于初始的输入特征进行变换，以使后续进行处理的特征尽可能针对相近的朝向。
图卷积块由三层静态边卷积层与三层动态卷积层构成，其中动态卷积层选择特征空间中距离最近的10个面作为邻面，最终各层结果相连输入到池化层中得到一个总体的特征表示。
特征嵌入模块主要是基于图卷积学习到的特征，利用全连接层对于每个面预测其在特征空间中的表示si，以及与其对应类别在特征空间中所占大小有关的值σi。在训练过程中，对于特征嵌入模块的损失函数由下式给出：
Figure BDA0002828573950000041
Figure BDA0002828573950000042
Figure BDA0002828573950000043
L＝α*Lvar+β*dist+γ*Lreg
该损失函数由(De Brabandere,Bert,Davy Neven,and Luc Van Gool."SemanticInstance Segmentation with a Discriminative Loss Function."arXiv(2017):arXiv-1708.)提出。其中C为类别数量，Nc为c类中的面数量，Rc为c类中面的集合，uc为c类中si的均值。δv和δd为阈值，分别设置为0.01和3，α,β,γ为上述各部分的权重，实际训练中设置为1、1、0.001。cA、cB是表示不同类别。在上述损失函数中Lvar使当前嵌入与该类的均值接近，Ldist使不同类别的嵌入远离，而Lreg约束嵌入的范围。
在训练过程中，面i输出类别c的概率
Figure BDA0002828573950000044
其中
Figure BDA0002828573950000045
为该类别范围的均值。最终基于该概率以及真实类别计算一个交叉熵损失项。
在得到特征嵌入的结果后，最终的输出层以之前的图卷积层学到的特征以及特征嵌入的结果为输入，通过若干全连接层后得到最终的预测结果，并计算其交叉熵损失。其中除了最后一层均使用了leakyRELU作为激活函数以及批处理规范化。全连接层的主要作用在于对于之前获得的特征进行加权处理重新映射到类别空间中，即全连接层的输出为面片数×类别数的张量，所获得的最终输出进行softmax后即相当于各类别预测的概率。
其中，训练时使用的数据集可以通过如下方式获取：对于有标记模型简化到相近面片数(所有模型的面数与指定面数最接近)就可以得到可用于训练的数据集。
部分分割结果如图2所示，从图中可以看出，本发明在多种类别的模型上都有着很好的分割效果。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (6)

1.一种基于图卷积网络的网格分割方法，其特征在于，包括以下步骤：
步骤一：将网格模型变换到指定的面片数量，并进行标准化处理。
步骤二：将步骤一处理后的模型转换为图表示，并对每个面进行初步特征提取后输入到训练好的图卷积神经网络中，对网格中每个面属于的部位种类进行预测。其中，所述图卷积神经网络包括：
变换模块，用于使输入的初步特征的朝向相近。
图卷积模块，用于根据变换后的初步特征学习与实际空间中邻面以及特征空间中邻面有关的特征。
特征嵌入模块，用于根据图卷积模块获得的特征获取同类相近不同类距离较远的特征。
输出模块，用于根据图卷积层学到的特征以及特征嵌入的结果获得预测分割结果。
2.根据权利要求1所述的一种基于图卷积网络的网格分割方法，其特征在于，所述步骤一通过以下子步骤来实现：
(1.1)对于输入模型，将其简化或细分到指定面片数量。
(1.2)对于变换后的模型，对其进行平移和缩放操作，使模型中所有顶点的均值为0，离原点的最大距离为1。
3.根据权利要求1所述的一种基于图卷积网络的网格分割方法，其特征在于，所述变换模块由一层静态卷积层、一层最大池化层与若干全连接层组成，所述一层静态卷积层、一层最大池化层与若干全连接层用于预测一个旋转矩阵，并通过旋转矩阵对于输入的初步特征进行变换。
4.根据权利要求1所述的一种基于图卷积网络的网格分割方法，其特征在于，所述图卷积模块包括静态卷积层、动态卷积层、全连接层和池化层，其中，静态卷积层、动态卷积层各层学到的特征连接并输入到全连接层进行总结并通过池化层得到总体特征。
5.根据权利要求1所述的一种基于图卷积网络的网格分割方法，其特征在于，所述特征嵌入模块由全连接层组成。
6.根据权利要求1所述的一种基于图卷积网络的网格分割方法，其特征在于，所述特征嵌入模块训练时利用三个损失函数对其约束，Lvar约束同类特征相近，Ldist约束不同类别的特征较远，Lreg约束特征嵌入的范围。
CN202011455359.XA 2020-12-10 2020-12-10 一种基于图卷积网络的网格分割方法 Pending CN112634281A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011455359.XA CN112634281A (zh) 2020-12-10 2020-12-10 一种基于图卷积网络的网格分割方法
PCT/CN2021/126910 WO2022121545A1 (zh) 2020-12-10 2021-10-28 一种基于图卷积网络的网格分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011455359.XA CN112634281A (zh) 2020-12-10 2020-12-10 一种基于图卷积网络的网格分割方法

Publications (1)

Publication Number Publication Date
CN112634281A true CN112634281A (zh) 2021-04-09

Family

ID=75310104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011455359.XA Pending CN112634281A (zh) 2020-12-10 2020-12-10 一种基于图卷积网络的网格分割方法

Country Status (2)

Country Link
CN (1) CN112634281A (zh)
WO (1) WO2022121545A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121545A1 (zh) * 2020-12-10 2022-06-16 浙江大学 一种基于图卷积网络的网格分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255791A (zh) * 2018-07-19 2019-01-22 杭州电子科技大学 一种基于图卷积神经网络的形状协同分割方法
US20190095806A1 (en) * 2017-09-28 2019-03-28 Siemens Aktiengesellschaft SGCNN: Structural Graph Convolutional Neural Network
CN109934826A (zh) * 2019-02-28 2019-06-25 东南大学 一种基于图卷积网络的图像特征分割方法
CN110838122A (zh) * 2018-08-16 2020-02-25 北京大学 点云的分割方法、装置及计算机存储介质
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993748B (zh) * 2019-03-30 2023-06-20 华南理工大学 一种基于点云处理网络的三维网格物体分割方法
CN110021069B (zh) * 2019-04-15 2022-04-15 武汉大学 一种基于网格形变的三维模型重建方法
CN112634281A (zh) * 2020-12-10 2021-04-09 浙江大学 一种基于图卷积网络的网格分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190095806A1 (en) * 2017-09-28 2019-03-28 Siemens Aktiengesellschaft SGCNN: Structural Graph Convolutional Neural Network
CN109255791A (zh) * 2018-07-19 2019-01-22 杭州电子科技大学 一种基于图卷积神经网络的形状协同分割方法
CN110838122A (zh) * 2018-08-16 2020-02-25 北京大学 点云的分割方法、装置及计算机存储介质
CN109934826A (zh) * 2019-02-28 2019-06-25 东南大学 一种基于图卷积网络的图像特征分割方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEEP LEARNING FOR ROBOTIC VISION, WORKSHOP AT CVPR: "Semantic Instance Segmentation with a Discriminative Loss Function", 《DEEP LEARNING FOR ROBOTIC VISION, WORKSHOP AT CVPR》 *
YUE WANG, ET.AL: ""Dynamic graph CNN for learning on point clouds", 《ARXIV：1801.0782V2》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121545A1 (zh) * 2020-12-10 2022-06-16 浙江大学 一种基于图卷积网络的网格分割方法

Also Published As

Publication number Publication date
WO2022121545A1 (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
US11501415B2 (en) Method and system for high-resolution image inpainting
CN110781775B (zh) 一种多尺度特征支持的遥感影像水体信息精确分割方法
CN110390638B (zh) 一种高分辨率三维体素模型重建方法
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
CN111259904B (zh) 一种基于深度学习和聚类的语义图像分割方法及系统
CN109961407B (zh) 基于人脸相似性的人脸图像修复方法
CN112348959A (zh) 一种基于深度学习的自适应扰动点云上采样方法
CN112634149A (zh) 一种基于图卷积网络的点云去噪方法
WO2023277974A1 (en) Systems and methods of hierarchical implicit representation in octree for 3d modeling
CN112967296B (zh) 一种点云动态区域图卷积方法、分类方法及分割方法
CN112634281A (zh) 一种基于图卷积网络的网格分割方法
Zhao et al. NormalNet: learning-based mesh normal denoising via local partition normalization
CN113643303A (zh) 基于双路注意力编解码网络的三维图像分割方法
CN117115563A (zh) 基于区域语义感知的遥感土地覆盖分类方法及系统
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置
Wang et al. Mdisn: Learning multiscale deformed implicit fields from single images
CN115131245A (zh) 一种基于注意力机制的点云补全方法
CN112365456B (zh) 基于三维点云数据的变电站设备分类方法
CN112837420A (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
CN116363329B (zh) 基于CGAN与LeNet-5的三维图像生成方法及系统
CN113807233B (zh) 基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法
KR102475218B1 (ko) 딥러닝과 구체의 형태 변형을 이용한 단일 이미지에서의 3D Mesh 재구축 방법
Xue et al. Image Feature Enhancement Using Hybrid Superpixel Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210409

RJ01 Rejection of invention patent application after publication