CN113570692A - 一种使用面片卷积的三维模型特征提取方法 - Google Patents
一种使用面片卷积的三维模型特征提取方法 Download PDFInfo
- Publication number
- CN113570692A CN113570692A CN202110649718.3A CN202110649718A CN113570692A CN 113570692 A CN113570692 A CN 113570692A CN 202110649718 A CN202110649718 A CN 202110649718A CN 113570692 A CN113570692 A CN 113570692A
- Authority
- CN
- China
- Prior art keywords
- patch
- layer
- convolution
- patches
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 90
- 239000013598 vector Substances 0.000 claims abstract description 158
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 12
- 230000011218 segmentation Effects 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013145 classification model Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种使用面片卷积的三维模型特征提取方法，包括：确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。本发明提供的方法中，提取的特征具有排列不变性，可支持传统的机器学习和深度学习，应用于三维模型分类、分割、检索和形状对应等，可提高准确度和健壮性。
Description
技术领域
本发明涉及三维模型技术领域，尤其涉及一种使用面片卷积的三维模型特征提取方法。
背景技术
网格(Mesh)是对三维模型形状的一种常用的描述方式，广泛应用于建模、渲染、动画、3D打印等。通常一个网格定义了三维空间中的顶点，顶点之间的连接关系所定义的面片。最为常用的网格是三角网格和四边网格：三角网格中所有的面片是三角形，四边网格中所有的面片是四边形。
在图像、自然语言处理、点云等数据格式上的理解分析与生成，深度神经网络相较于传统方法已经取得了显著进步。
现有的基于三角网格的特征提取方法通常使用机器学习的方式。在二维的基于卷积神经网络的特征提取方案中，神经网络通过图像卷积操作提取图像中的特征。但是对于基于三角网格表示的三维模型而言，因为三角网格缺乏如同图像的规则结构，使得传统图像方法卷积难以应用，导致基于三角网格表示的三维形状的特征提取无法通过机器学习的模式实现。此前已有方法尝试对网格的节点、边设计卷积操作，比如Hanocka等人提出的MeshCNN。但是这些卷积都只能支持一种卷积核大小，不能支持空洞，因此缺乏灵活度，感受野受限。
因此，如何避免现有的三角网格的特征提取中由于卷积操作难以实现，导致深度神经网络难以设计，机器学习方法难以应用，相关系统难以提升效果，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明提供一种使用面片卷积的三维模型特征提取方法，用以解决现有的深度学习方法难以实现非规则三角数据的学习和表示问题，通过一个或者多个面片卷积层，对三角网格中的面片以预设规则进行卷积操作，提供一种对三角网格这种不规则图形的卷积操作规则，可以提取三角网格的特征，具有顺序不变性，可以支持传统的机器学习方法和深度学习方法，使得图像领域中有效的深度卷积神经网络可以应用于三角网格表示的三维模型。
本发明提供一种使用面片卷积的三维模型特征提取方法，包括：
确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；
将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；
其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
根据本发明提供的一种使用面片卷积的三维模型特征提取方法，所述特征提取模块由一个或者多个面片卷积层构成，具体包括：
若所述特征提取模块由一个面片卷积层构成，则该面片卷积层对输入的所述三角网格，基于每个面片的形状描述和位姿描述以预设规则进行卷积操作，输出该三角网格每个面片的特征向量；
若所述特征提取模块由多个面片卷积层构成，则第m层面片卷积层将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量至第m+1层面片卷积层，所述特征提取模块输出第L层特征向量；其中，m＝1，2，…,L，L为所述多层面片卷积层中的总层数，第零层特征向量为所述三角网格的面片形状描述和面片位姿描述构成。
根据本发明提供的一种使用面片卷积的三维模型特征提取方法，所述将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量，具体包括：
遍历输入的三角网格中的每个面片，以遍历顺序依次以任一面片为中心面片计算所述任一面片的第m层特征向量并输出；
其中，对于任一中心面片，基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合；
以面片顺序不变卷积方式对所述计算面片集合进行卷积操作。
根据本发明提供的一种使用面片卷积的三维模型特征提取方法，所述基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合，具体包括：
若卷积核大小k和空洞d同时满足k＝3和d＝1时，中心面片的邻域范围为其相邻的三个面片；
若卷积核大小k和空洞d同时满足k>3和d>1时，设定中心面片的邻域内面片到所述中心面片的最大距离为
以预设度量规则确定邻域内相邻面片间的间隔距离,基于所述最大距离和所述间隔距离确定邻域范围所包含的面片。
根据本发明提供的一种使用面片卷积的三维模型特征提取方法，所述预设度量规则为以逆时针采用zig步伐和以顺时针采用zag步伐进行延伸得到的之字形路线进行度量。
根据本发明提供的一种使用面片卷积的三维模型特征提取方法，所述以面片顺序不变卷积方式对所述计算面片集合进行卷积操作，具体包括：
以深度优先顺序对所述中心面片的计算面片集合进行排序；
对于输入的任一中心面片的第m-1层特征向量，基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项；
基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量。
根据本发明提供的一种使用面片卷积的三维模型特征提取方法，所述基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项，具体包括：
通过如下公式确定任一中心面片i的第m层中心差项
和任一中心面片i的第m层环形差项
其中，
为所述任一中心面片i的第m-1层特征向量，所述任一中心面片i的周围面片按照深度优先顺序排列后对应的第m-1层特征向量分别为
n为所述周围面片的总数量，
abs(·)为求绝对值函数；
对应地，所述基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量，具体包括：
通过如下公式计算所述任一中心面片i的第m-1层特征向量经过第m层面片卷积层后输出的第m层特征向量conv(fi)：
其中，
为所述任一中心面片i的第m层中心差项，
为所述任一中心面片i的第m层环形差项，w0,w1,w2和w3均为预设权重矩阵。
本发明还提供一种用于三维网格的深度卷积神经网络，包括如上述任一种使用面片卷积的三维模型特征提取方法中的所述特征提取模块和特定任务模块，
训练过程中，
所述特征提取模块提取输入样本三角网格模型的每个面片的样本特征向量并输出至所述特定任务模块；
所述特定任务模块以特定规则处理所述样本特征向量得到预测结果；
基于所述预测结果和面片标签构建以预设学习目标构建损失函数；其中，所述预设学习目标为网格分类或三角网格模型实物类型识别。
本发明还提供一种使用面片卷积的三维模型特征提取装置，包括：
输入单元，用于确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；
输出单元，用于将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；
其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种使用面片卷积的三维模型特征提取方法的步骤。
本发明还提供一种一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种使用面片卷积的三维模型特征提取方法的步骤。
本发明提供的使用面片卷积的三维模型特征提取方法，通过确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成。由于所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作，提供一种对三角网格这种不规则数据结构的卷积操作规则，可以提取三维模型的特征，供三维模型应用于三维模型分类、分割、检索、形状对应等具体应用使用。通过设定的对三角网格的卷积操作方式，实现类似基于图像卷积的流程，而以往方法无法提供规则且灵活的三角网格卷积方式，可支持传统的机器学习和深度学习，应用于三维模型分类、分割、检索和形状对应等，可提学习系统的高准确度和健壮性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种使用面片卷积的三维模型特征提取方法的流程示意图；
图2为本发明提供的卷积运算具体操作的面片卷积示例图；
图3为本发明提供的卷积运算操作过程示例图；
图4为本发明提供的重复访问解释原理图；
图5为本发明提供的复杂卷积核大小与空洞组合下的卷积运算示例图；
图6为本发明提供的之字形空洞示意图；
图7为本发明提供的一种使用面片卷积的三维模型特征提取装置的结构示意图；
图8为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有的适合深度学习的特征提取方法难以实现非规则的三维数据学习和表示的问题，本发明。
下面结合图1-图6描述本发明的一种使用面片卷积的三维模型特征提取方法。图1为本发明提供的一种使用面片卷积的三维模型特征提取方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状。
具体地，首先接收输入的三维模型，再以三角网格的形式将所述三维模型进行描述表达；其中，三维模型可以是多种物体或者场景，如人物动物模型、服装布料模型、人体器官模型、家具模型、工业产品模型、影视特效模型、雕塑建筑模型、室内场景模型等。确定三维模型的三角网格的方式有多种，例如使用建模软件人为构建或者按照一定算法自动生成的三角网格，或者是基于各个方向采集的物体或者场景的多视点图像构建的三维点云，再进行网格化处理，或者是基于全向雷达扫描得到的物体或者场景的的三维点云，再进行网格化处理，等等，此处不作具体限定。本发明提供的使用面片卷积的三维模型特征提取方法是在当前步骤110中确定的三维模型的三角网格的基础上，对该网格中的各个三角面片提取特征向量。
步骤120，将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；
其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
此处对于输出的特征向量进行说明，经过所述特征提取模块得到的每个面片的特征向量描述该面片以及该面片周围面片的几何或者语义信息，其具体物理含义由面片卷积层的预设权重矩阵决定，所述面片卷积层的预设权重可人为指定，也可以通过机器学习的方式，根据学习目标训练得到。
其中，所述输出的特征向量可以支持传统的机器学习方法，如支持向量机等。具体地，以所述输出的特征向量为输入数据，用于训练机器学习模型，该机器学习模型的学习目标可以为解决三维模型分类、三维模型分割、三维模型检索、三维模型形状对应等任务，也可应用于深度学习中。具体地，将一个或者多个所述特征提取模块作为深度神经网络的网络层，其中，一个所述特征提取模块可以包括一个面片卷积层或者多个面片卷积层，对于任一面片卷积层，其中的运算机制都是将输入所述任一面片卷积层的每个面片的特征向量以预设规则进行卷积操作并输出，此处需要说明的是，当所述特征提取模块包括多个面片卷积层时，所述多个面片卷积层之间为级联形式即依次连接的关系，上一层输出的每个面片的特征向量会作为下一层的输入，所述下一层将上一层输出的每个面片的特征向量以所述预设规则进行卷积后得到的每个面片的特征向量再输出至下下一层面片卷积层。
本发明提供的使用面片卷积的三维模型特征提取方法，通过确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成。由于所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作，提供一种对三角网格这种不规则数据结构的卷积操作规则，可以提取三维模型的特征，供三维模型应用于三维模型分类、分割、检索、形状对应等具体应用使用。通过设定的对三角网格的卷积操作方式，实现类似基于图像卷积的流程，而以往方法无法提供规则且灵活的三角网格卷积方式，可支持传统的机器学习和深度学习，应用于三维模型分类、分割、检索和形状对应等，可提学习系统的高准确度和健壮性。
基于上述实施例，该方法中，所述特征提取模块由一个或者多个面片卷积层构成，具体包括：
若所述特征提取模块由一个面片卷积层构成，则该面片卷积层对输入的所述三角网格，基于每个面片的形状描述和位姿描述以预设规则进行卷积操作，输出该三角网格每个面片的特征向量；
若所述特征提取模块由多个面片卷积层构成，则第m层面片卷积层将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量至第m+1层面片卷积层，所述特征提取模块输出第L层特征向量；其中，m＝1，2，…,L，L为所述多层面片卷积层中的总层数，第零层特征向量为所述三角网格的面片形状描述和面片位姿描述构成。
具体的，此处进一步对面片的形状描述和位姿描述中的具体参数类型进行限定，所述形状描述，包括面面片积、面片各个内角大小和面片各个顶点的曲率项，所述位姿描述，包括面片的中心坐标和面片的法相方向，所述提取每个面片的形状描述和位姿描述为将各个参数拼接成为向量表示。
若所述特征提取模块由一个面片卷积层构成，则该面片卷积层对输入三角网格中的面片，提取每个面片的形状描述和位姿描述，以预设规则进行卷积操作后，输出该三角网格每个面片的特征向量；
若所述特征提取模块由多个面片卷积层构成，则第一层输入为三角网格中的面片，提取每个面片的形状描述和位姿描述，以预设规则进行卷积操作，输出每个面片的第一层特征向量，第二层面片卷积层以第一层特征向量为输入，以预设规则进行卷积操作后，输出每个面片的第二层特征向量，以此类推，最后一层输出的每个面片的特征向量为该三角网格经过所述特征提取模块后每个面片的特征向量。
基于上述实施例，该方法中，所述将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量，具体包括：
遍历输入的三角网格中的每个面片，以遍历顺序依次以任一面片为中心面片计算所述任一面片的第m层特征向量并输出；
其中，对于任一中心面片，基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合；
以面片顺序不变卷积方式对所述计算面片集合进行卷积操作。
具体地，对于输入第m层面片卷积层的待处理三角网格模型和对应的每个面片的第m-1层特征向量，以预设顺序规则遍历所述待处理三角网格模型中的每一个面片，其中，所述预设顺序规则可以是一行一行依次进行的z字型遍历，也可以是一列一列的H字型遍历，此处不作具体限定，只要求要将所述待处理网格模型中的每一个面片都访问到，然后以遍历顺序依次以任一面片为中心面片计算所述任一面片的第m层特征向量并输出，此处需要说明的是，所述待处理网格模型中的每个面片都会给它计算出一个卷积数值，而卷积运算的操作是当需要计算面片A的卷积值时，需要以面片A为中心面片，获取面片A的周围可参与卷积运算的其他面片，对它们的第m-1层特征向量以预设规则进行卷积处理，所述“以任一面片为中心面片”表意计算任意一个面片的卷积值都是以该任意一个面片为中心面片的卷积运算。卷积核的大小和空洞两个参数组合起来能对参与卷积的计算面片集合进行确定，在确定了需要参与的卷积运算的计算面片集合后，以面片顺序不变卷积方式对所述计算面片集合进行卷积操作，此处需要说明的是，本发明提供的卷积运算是针对于三角网格面片的卷积操作，只在三角网格面片的几何关系中起作用。
基于上述实施例，该方法中，所述基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合，具体包括：
若卷积核大小k和空洞d同时满足k＝3和d＝1时，中心面片的邻域范围为其相邻的三个面片；
若卷积核大小k和空洞d同时满足k>3和d>1时，设定中心面片的邻域内面片到所述中心面片的最大距离为
以预设度量规则确定邻域内相邻面片间的间隔距离,基于所述最大距离和所述间隔距离确定邻域范围所包含的面片。
具体地，给定一个三角网格，基于面片和面片的邻域定义卷积模式，由于每个三角面片有且只有三个邻接面片，指定邻域范围后，参与卷积的面片数量是一定的，因此在面片上进行卷积，卷积核可以在任意面片上可以保持同样的形状。
最简单的卷积核大小为3时，中心面片的邻域为其相邻的三个面片。图2为本发明提供的卷积运算具体操作的三角卷积示例图，如图2所示，左边第一个图形中中心面片为大三角正中间带有斜方格的小三角面片，周围三个带有斜线的小三角面片即为中心面片的邻域，其中，k为卷积核的大小，d为卷积核的空洞个数，图3为本发明提供的卷积运算操作过程示例图，如图3所示，作为参考，卷积核大小为3且空洞为1的图像卷积如图3中最左边的图形所示。
设置更大的卷积核大小，此时k>3，设置邻域内面片到中心面片的最大距离为
则此时卷积核内面片数量为
如图2中的左起第二个图形所示，作为参考卷积核大小更大的图像卷积如图3中的左起第二个图形所示，图3中的左起第二个图形中的由斜方格填充的中心面片周围的9个由斜线填充的面片为邻域。
程序实现可以使用深度优先搜索寻找距离范围内面片。上述假设每个面片不会重复访问，而实际情况可能访问到重复的面片，此时视每次访问到的面片为不同的面片，加入到卷积过程中，图4为本发明提供的重复访问解释原理图，如图4所示，每个图形中，由斜线填充的面片只访问了一次，由竖直方格填充的面片访问了两次，因为这些面片通过在深度优先搜索时，通过两侧的由斜线填充的面片分别被访问到。
上述均为卷积为空洞为1的卷积。空洞更大时，即d>1时，其意义为卷积的面片之间相邻的距离，中间空余的面片不参与卷积运算，如图2中的左起第三个图形所示，无填充的面片不参与卷积运算，由斜线填充的面片是中心面片的邻域。作为参考，设置空洞的图像卷积如图3中的左起第三个图形所示，值得注意的是，设置空洞不会改变邻域的面片数量，邻域里最远的面片距离中心面片为
图5为本发明提供的复杂卷积核大小与空洞组合下的卷积运算示例图，如图5所示，其中两个图形展示了更复杂的卷积核大小与空洞的组合。
基于上述实施例，该方法中，所述预设度量规则为以逆时针采用zig步伐和以顺时针采用zag步伐进行延伸得到的之字形路线进行度量。
具体地，邻域相邻面片的距离是按照之字形路线度量的，图6为本发明提供的之字形空洞示意图，如图6所示，由斜方格填充的小三角为中心面片，由斜线填充的小三角为邻域面片，由竖线填充的小三角为之字形路线上邻域面片的前一个面片。之字形路线计算过程包含zig和zag两种步伐，分别以逆时针、顺时针方向的方向延伸，zig和zag的总数量即为之字形距离。
基于上述实施例，该方法中，所述以面片顺序不变卷积方式对所述计算面片集合进行卷积操作，具体包括：
以深度优先顺序对所述中心面片的计算面片集合进行排序；
对于输入的任一中心面片的第m-1层特征向量，基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项；
基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量。
具体地，在确定参与第m层面片卷积层的卷积运算的任一中心面片的邻域范围的所有面片后，设定卷积运算所包括的项目，其中，为了提取所述任一中心面片和邻域中所有其他面片之间的第m-1层特征向量的差异，设定了第m层中心差项，为了提取邻域中的所有其他面片之间的第m-1层特征向量之间的差异，设定了第m层环形差项，之所以称之为环形差项，是因为先以深度优先顺序对所述任一中心面片的周围面片进行排序，然后基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为环形差项。最终所述任一中心面片的卷积结果第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量确定。由于卷积核大小和空洞规定了卷积的模式，即参与卷积的面片集合，进一步地，三角网格中，面片没有先后顺序，因此提出了面片顺序不变卷积计算方法。
基于上述实施例，该方法中，所述基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项，具体包括：
通过如下公式确定任一中心面片i的第m层中心差项
和任一中心面片i的第m层环形差项
其中，
为所述任一中心面片i的第m-1层特征向量，所述任一中心面片i的周围面片按照深度优先顺序排列后对应的第m-1层特征向量分别为
n为所述周围面片的总数量，
abs(·)为求绝对值函数；
对应地，所述基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量，具体包括：
通过如下公式计算所述任一中心面片i的第m-1层特征向量经过第m层面片卷积层后输出的第m层特征向量conv(fi)：
其中，
为所述任一中心面片i的第m层中心差项，
为所述任一中心面片i的第m层环形差项，w0,w1,w2和w3均为预设权重矩阵。
具体地，若任一中心面片i的第m-1层特征向量为
周围面片按照深度优先顺序排列，它们的第m-1层特征向量分别为
n为邻域面片总数量。特别的，令
计算公式包含四项顺序无关项，分别为所述任一中心面片的第m-1层特征向量
邻域面片特征的和
中心面片与邻域面片特征的差的和
邻域面片排列成环后前项与后项差的和
这四项都是与具体面片顺序无关的；卷积核包含4个预设权重矩阵，分别为w0,w1，w2，w3卷积计算结果为上述四项与参数的加权和，总的公式为：
由于所述中心差项、所述环形差项与输入面片顺序无关，这样的计算方式使得输出特征向量与输入面片顺序无关。
此处解释预设参数矩阵的设置方式。参数矩阵可为人为设定，比如，若设置w0≠0，w1＝w2＝w3＝0，则进过一层面片卷积层后，输出的特征向量仅提取中心面片的输入特征。若设置w1≠0，w0＝w0＝w0＝0，则进过一层面片卷积层后，输出的特征向量提取中心面片与周围面片输入特征的平滑表示。参数矩阵也可通过机器学习方式进行学习，设置学习目标后，如对三维模型进行分类，则通过大量三维模型数据与类别标注，经过损失函数反向传导可得到参数矩阵，则此时的卷积输出特征表示三维模型类别。如对三维模型进行分割，则输出特征表示该三维模型中此面片所属的部位。
基于此卷积可以构建三角网格上的卷积神经网络，神经网络网络中可含有多层面片卷积层，通过聚合邻域特征，提取局部特征，从而实现三维模型的三角网格面片或者三维模型整体的特征的学习。当该卷积神经网络应用于三维模型分类的中时，神经网络将包含多个面片卷积层、全局特征池化层与分类全连接层，对应的神经网络的训练目标是给定一个三角网格表示的三维模型，得到所述三维模型对应物体的类别，如区分家具模型为桌子、椅子或者沙发等。具体的，该神经网络可包含多个卷积层，卷积层进行如上的卷积运算，实现对输入特征的聚合与变换。最后得到的多个面片的特征，通过对每一个特征维度取所有面片的均值，即可得到网格整体的特征向量，之后再通过全连接层得到输入网格的类别。
基于上述实施例，本发明还提供一种用于三维网格的深度卷积神经网络，包括如任一上述实施例中的所述特征提取模块和特定任务模块，
训练过程中，
所述特征提取模块提取输入样本三角网格模型的每个面片的样本特征向量并输出至所述特定任务模块；
所述特定任务模块以特定规则处理所述样本特征向量得到预测结果；
基于所述预测结果和面片标签构建以预设学习目标构建损失函数；其中，所述预设学习目标为网格分类或三角网格模型实物类型识别。
具体地，例如预设学习目标为物体类别识别方法，那么该物体类别识别方法包括如下步骤：确定待识别物体的原始三维网格；将所述原始三维网格输入分类模型，输出所述待识别物体的类型；其中，所述分类模型为基于样本原始三维网格和对应的物体类型标签进行训练得到的，所述分类模型包括依次连接的如上述任一实施例中的所述特征提取模块、特征融合模块和分类全连接层，所述特征提取模块中对网格中的面片以预设规则进行卷积操作。在该物体类别识别方法中，所述分类模型训练过程中，特征提取模块对输入的样本原始三维网格中每个面片的特征以预设规则进行卷积计算，得到每个面片的特征向量并输出至特征融合模块；所述特征融合模块对所述每个面片的特征向量以预设融合规则进行融合，得到样本原始三维网格的整体特征向量并输出至分类全连接层；所述分类全连接层基于所述整体特征向量确定所述样本原始三维网格对应的预测物体类型；其中，所述预测物体类型用于构建所述分类模型训练时的损失函数，对任一面片以预设规则进行卷积计算用于聚合所述任一面片的邻域面片特征，以提取所述任一面片的局部特征。
下面对本发明提供的使用面片卷积的三维模型特征提取装置进行描述，下文描述的使用面片卷积的三维模型特征提取装置与上文描述的一种使用面片卷积的三维模型特征提取方法可相互对应参照。
图7为本发明提供的使用面片卷积的三维模型特征提取装置的结构示意图，如图7所示，该装置包括输入单元710和输出单元720，其中，
所述输入单元710，用于确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；
所述输出单元720，用于将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；
其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
本发明提供的装置，通过确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成。由于所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作，提供一种对三角网格这种不规则数据结构的卷积操作规则，可以提取三维模型的特征，供三维模型应用于三维模型分类、分割、检索、形状对应等具体应用使用。通过设定的对三角网格的卷积操作方式，实现类似基于图像卷积的流程，而以往方法无法提供规则且灵活的三角网格卷积方式，可支持传统的机器学习和深度学习，应用于三维模型分类、分割、检索和形状对应等，可提学习系统的高准确度和健壮性。
基于上述实施例，该装置中，所述特征提取模块由一个或者多个面片卷积层构成，具体为：
若所述特征提取模块由一个面片卷积层构成，则该面片卷积层对输入的所述三角网格，基于每个面片的形状描述和位姿描述以预设规则进行卷积操作，输出该三角网格每个面片的特征向量；
若所述特征提取模块由多个面片卷积层构成，则第m层面片卷积层将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量至第m+1层面片卷积层，所述特征提取模块输出第L层特征向量；其中，m＝1，2，…，L，L为所述多层面片卷积层中的总层数，第零层特征向量为所述三角网格的面片形状描述和面片位姿描述构成。
基于上述实施例，该装置中，所述将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量，具体包括：
遍历输入的三角网格中的每个面片，以遍历顺序依次以任一面片为中心面片计算所述任一面片的第m层特征向量并输出；
其中，对于任一中心面片，基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合；
以面片顺序不变卷积方式对所述计算面片集合进行卷积操作。
基于上述实施例，该装置中，所述基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合，具体包括：
若卷积核大小k和空洞d同时满足k＝3和d＝1时，中心面片的邻域范围为其相邻的三个面片；
若卷积核大小k和空洞d同时满足k>3和d>1时，设定中心面片的邻域内面片到所述中心面片的最大距离为
以预设度量规则确定邻域内相邻面片间的间隔距离,基于所述最大距离和所述间隔距离确定邻域范围所包含的面片。
基于上述实施例，该装置中，所述预设度量规则为以逆时针采用zig步伐和以顺时针采用zag步伐进行延伸得到的之字形路线进行度量。
基于上述实施例，该装置中，所述以面片顺序不变卷积方式对所述计算面片集合进行卷积操作，具体包括：
以深度优先顺序对所述中心面片的计算面片集合进行排序；
对于输入的任一中心面片的第m-1层特征向量，基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项；
基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量。
基于上述实施例，该装置中，所述基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项，具体包括：
通过如下公式确定任一中心面片i的第m层中心差项
和任一中心面片i的第m层环形差项
其中，
为所述任一中心面片i的第m-1层特征向量，所述任一中心面片i的周围面片按照深度优先顺序排列后对应的第m-1层特征向量分别为
n为所述周围面片的总数量，
abs(·)为求绝对值函数；
对应地，所述基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量，具体包括：
通过如下公式计算所述任一中心面片i的第m-1层特征向量经过第m层面片卷积层后输出的第m层特征向量conv(fi)：
其中，
为所述任一中心面片i的第m层中心差项，
为所述任一中心面片i的第m层环形差项，w0,w1,w2和w3均为预设权重矩阵。
图8为本发明提供的一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行使用面片卷积的三维模型特征提取方法，该方法包括：确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的使用面片卷积的三维模型特征提取方法，该方法包括：确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的使用面片卷积的三维模型特征提取方法，该方法包括：确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
以上所描述的服务器实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种使用面片卷积的三维模型特征提取方法，其特征在于，包括：
确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；
将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；
其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
2.根据权利要求1所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述特征提取模块由一个或者多个面片卷积层构成，具体包括：
若所述特征提取模块由一个面片卷积层构成，则该面片卷积层对输入的所述三角网格，基于每个面片的形状描述和位姿描述以预设规则进行卷积操作，输出该三角网格每个面片的特征向量；
若所述特征提取模块由多个面片卷积层构成，则第m层面片卷积层将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量至第m+1层面片卷积层，所述特征提取模块输出第L层特征向量；其中，m＝1,2,…,L，L为所述多层面片卷积层中的总层数，第零层特征向量为所述三角网格的面片形状描述和面片位姿描述构成。
3.根据权利要求2所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述将输入的每个面片的第m-1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量，具体包括：
遍历输入的三角网格中的每个面片，以遍历顺序依次以任一面片为中心面片计算所述任一面片的第m层特征向量并输出；
其中，对于任一中心面片，基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合；
以面片顺序不变卷积方式对所述计算面片集合进行卷积操作。
4.根据权利要求3所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合，具体包括：
若卷积核大小k和空洞d同时满足k＝3和d＝1时，中心面片的邻域范围为其相邻的三个面片；
若卷积核大小k和空洞d同时满足k>3和d>1时，设定中心面片的邻域内面片到所述中心面片的最大距离为
以预设度量规则确定邻域内相邻面片间的间隔距离,基于所述最大距离和所述间隔距离确定邻域范围所包含的面片。
5.根据权利要求4所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述预设度量规则为以逆时针采用zig步伐和以顺时针采用zag步伐进行延伸得到的之字形路线进行度量。
6.根据权利要求3所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述以面片顺序不变卷积方式对所述计算面片集合进行卷积操作，具体包括：
以深度优先顺序对所述中心面片的计算面片集合进行排序；
对于输入的任一中心面片的第m-1层特征向量，基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项；
基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量。
7.根据权利要求6所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述基于所述排序确定中心面片和所述周围面片之间对应的第m-1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m-1层特征向量差之和为第m层环形差项，具体包括：
通过如下公式确定任一中心面片i的第m层中心差项
和任一中心面片i的第m层环形差项
其中，
为所述任一中心面片i的第m-1层特征向量，所述任一中心面片i的周围面片按照深度优先顺序排列后对应的第m-1层特征向量分别为
n为所述周围面片的总数量，
abs(·)为求绝对值函数；
对应地，所述基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m-1层特征向量和所述周围面片对应的第m-1层特征向量，确定所述任一中心面片的第m层特征向量，具体包括：
通过如下公式计算所述任一中心面片i的第m-1层特征向量经过第m层面片卷积层后输出的第m层特征向量conv(fi)：
其中，
为所述任一中心面片i的第m层中心差项，
为所述任一中心面片i的第m层环形差项，w0,w1,w2和w3均为预设权重矩阵。
8.一种用于三维网格的深度卷积神经网络，包括如权利要求1-7中任一项中的所述特征提取模块和特定任务模块，其特征在于：
训练过程中，
所述特征提取模块提取输入样本三角网格模型的每个面片的样本特征向量并输出至所述特定任务模块；
所述特定任务模块以特定规则处理所述样本特征向量得到预测结果；
基于所述预测结果和面片标签构建以预设学习目标构建损失函数；其中，所述预设学习目标为网格分类或三角网格模型实物类型识别或三角网格模型实物检索或三角网格模型实物形状匹配。
9.一种使用面片卷积的三维模型特征提取装置，其特征在于，包括：
输入单元，用于确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；
输出单元，用于将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；
其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的使用面片卷积的三维模型特征提取方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的使用面片卷积的三维模型特征提取方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021106212916 | 2021-06-03 | ||
| CN202110621291 | 2021-06-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113570692A true CN113570692A (zh) | 2021-10-29 |
Family
ID=78161937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110649718.3A Pending CN113570692A (zh) | 2021-06-03 | 2021-06-10 | 一种使用面片卷积的三维模型特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570692A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914571A (zh) * | 2014-04-25 | 2014-07-09 | 南京大学 | 一种基于网格分割的三维模型检索方法 |
| CN104103093A (zh) * | 2014-07-10 | 2014-10-15 | 北京航空航天大学 | 一种基于深度卷积神经网络的三维网格语义标记方法 |
| CN110163974A (zh) * | 2019-05-22 | 2019-08-23 | 南京大学 | 一种基于无向图学习模型的单图像面片重建方法 |
| CN111028335A (zh) * | 2019-11-26 | 2020-04-17 | 浙江大学 | 一种基于深度学习的点云数据的分块面片重建方法 |
| CN111898654A (zh) * | 2020-07-14 | 2020-11-06 | 上海眼控科技股份有限公司 | 三维对象特征获取方法、装置、计算机设备和存储介质 |
| EP3767521A1 (en) * | 2019-07-15 | 2021-01-20 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
-
2021
- 2021-06-10 CN CN202110649718.3A patent/CN113570692A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914571A (zh) * | 2014-04-25 | 2014-07-09 | 南京大学 | 一种基于网格分割的三维模型检索方法 |
| CN104103093A (zh) * | 2014-07-10 | 2014-10-15 | 北京航空航天大学 | 一种基于深度卷积神经网络的三维网格语义标记方法 |
| CN110163974A (zh) * | 2019-05-22 | 2019-08-23 | 南京大学 | 一种基于无向图学习模型的单图像面片重建方法 |
| EP3767521A1 (en) * | 2019-07-15 | 2021-01-20 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
| CN111028335A (zh) * | 2019-11-26 | 2020-04-17 | 浙江大学 | 一种基于深度学习的点云数据的分块面片重建方法 |
| CN111898654A (zh) * | 2020-07-14 | 2020-11-06 | 上海眼控科技股份有限公司 | 三维对象特征获取方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| RANA HANOCKA ET AL.: "MeshCNN: A Network with an Edge", ACM TRANSACTIONS ON GRAPHICS, 31 July 2019 (2019-07-31), pages 1 - 12 * |
| SHI-MIN HU ET AL.: "Subdivision-based Mesh Convolution Networks", ACM TRANSACTIONS ON GRAPHICS, 3 July 2022 (2022-07-03), pages 1 - 16 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| Lenssen et al. | Deep iterative surface normal estimation | |
| KR20180055070A (ko) | 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치 | |
| CN109359534B (zh) | 一种三维物体几何特征提取方法及系统 | |
| EP3905194A1 (en) | Pose estimation method and apparatus | |
| Denninger et al. | 3d scene reconstruction from a single viewport | |
| CN112927353A (zh) | 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端 | |
| Silva et al. | Enhanced, robust genetic algorithms for multiview range image registration | |
| CN112084849A (zh) | 图像识别方法和装置 | |
| CN112102480B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN113593001A (zh) | 目标对象三维重建方法、装置、计算机设备和存储介质 | |
| CN111008631A (zh) | 图像的关联方法及装置、存储介质和电子装置 | |
| CN113593033A (zh) | 一种基于网格细分结构的三维模型特征提取方法 | |
| CN117851630A (zh) | 具有神经场景表示数据的方法和装置 | |
| CN115147692A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN116977592B (zh) | 基于卷绕数的三维结构化重建方法、装置和计算机介质 | |
| CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与系统 | |
| Bode et al. | Bounded: Neural boundary and edge detection in 3d point clouds via local neighborhood statistics | |
| Wu et al. | Context-based local-global fusion network for 3D point cloud classification and segmentation | |
| US20100322472A1 (en) | Object tracking in computer vision | |
| Sharma et al. | Parameter Extraction and Performance Analysis of 3D Surface Reconstruction Techniques | |
| CN113439909A (zh) | 一种对象的三维尺寸测量方法和移动终端 | |
| CN113570692A (zh) | 一种使用面片卷积的三维模型特征提取方法 | |
| CN114723973A (zh) | 大尺度变化鲁棒的图像特征匹配方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |