CN116187200A - 基于图卷积网络的轻量化三维cad模型分类与检索的方法 - Google Patents

Abstract

本发明公开了一种基于图卷积网络的轻量化三维CAD模型分类与检索的方法，S1、构建一个三维CAD模型数据集；S2、对三维CAD模型数据集进行数据预处理与特征抽取，进而得到几何信息和拓扑信息，并将抽取的几何信息和拓扑信息转换为以图结构表示的三维模型描述符；S3、构建图卷积网络FuS‑GCN，根据图卷积网络FuS‑GCN，以三维模型描述符为输入指导三维CAD模型分类与检索，得到全局特征向量，S4、全局特征向量作为输入通过一个全连接层获得分类结果；S5、将由图卷积网络FuS‑GCN和全连接层组成的分类检索模型运用于数据集进行训练测试。该方法基于B‑rep图设计了名为FuS‑GCN的轻量化融合自注意力GCNs框架，用以聚合拓扑几何特征，实现了CAD模型的分类与检索。

Description

基于图卷积网络的轻量化三维CAD模型分类与检索的方法

技术领域

本发明涉及智能制造知识复用技术领域，具体指一种基于特征融合自注意力池化的图卷积网络用于由B-rep表示的三维CAD模型特征抽取、分类与检索的方法。

背景技术

作为整个生产过程的基础，三维CAD(Computer-Aided Design)模型在工业制造中起着至关重要的作用。随着智能制造技术和智能制造系统技术的发展，三维CAD模型的数据量迅速增加。这些模型包含了大量值得复用的嵌入式知识。但是设计师需要花费大量的精力来寻找符合他们要求的模型。其中现有相当大比例的三维CAD模型可以被重新用于新产品的开发，至少75％的新产品设计复用了现有的知识和模型。只有20％的零件需要全新的设计，而其中40％可以通过直接复用来构建，另外还有40％的零件可以通过修改现有的CAD模型来构建。由此可知，复用现有模型大大缩短了工业制造的开发周期，极大的降低了开发成本。

而在实现三维CAD模型复用所涉及的技术中，三维CAD模型分类与检索是其中的关键技术之一，有待更加深入的研究。然而，B-rep作为CAD应用中描述三维形状的标准方式，难以被直接用于神经网络学习中的模型分类与检索，以此直接实现复用。影响直接实现复用的主要技术困难有如下几点：

首先，现实工业应用中的三维CAD模型具有复杂的组成结构、多样的拓扑信息、精确的几何特征，并且是与该领域紧密相关的，包含丰富的工程语义细节。即使同一类别的两个模型虽然包含着相似的工程语义，也可能在外观上有很大区别。因此，以合理的方式抽取模型中丰富的拓扑和几何信息而不损失工程语义至关重要。现有的分类或检索方法大多是基于点云、多视图图像等的应用成果，这些三维模型描述符只能抽取并表示从三维模型表面拟合的离散信息。这意味着B-rep中包含的丰富的内部拓扑信息、工程语义细节等在特征构建过程中没有被利用。

其次，在工程中很难找到合适的描述符高效地表达工程语义，并以一种通用方法对来自不同CAD系统的三维模型以精确描述进行表征。现有的CAD模型格式多样，不同的CAD系统(如SolidWorks、CATIA、AutoCAD等)使用非互通的文件存储与传输格式。该领域的大部分研究都是在特定的离散数据格式上进行的，但这种离散数据并不适合精确地表示三维CAD模型。此外，很少有通用方法能够统一处理不同格式的三维CAD模型并进行分类与检索。

最后，从三维模型中提取的图描述符包含了大量而复杂的信息，经典的GCNs(Graph Convolutional Networks)和图池化方法难以对其进行有效处理。且现有的图级别的图神经网络方法的分类能力并没有达到可用于三维CAD模型复用的理想效果。另一方面，为了提高对三维模型识别准确率，制作更深更复杂的三维形状识别模型成为趋势，不可避免地使网络模型参数量愈来愈大，过高的计算资源需求与时间成本导致了这些拥有较好识别效果的模型难以投入现实工业中的CAD模型复用任务。

发明内容

本发明针对现有技术得不足，提出一种基于图卷积网络的轻量化三维CAD模型分类与检索的方法，该方法从B-rep信息中提取出模型的拓扑几何信息。B-rep数据存储在以STEP(Standard for the Exchange of Product Data)作为存储与传输格式的三维模型文件中。基于B-rep图设计了名为FuS-GCN的轻量化融合自注意力GCNs框架，用以聚合拓扑几何特征，并有效地学习全局三维CAD形状特征描述符。在此基础上，实现了CAD模型的分类与检索。

为了解决上述技术问题，本发明的技术方案为：

一种基于图卷积网络的轻量化三维CAD模型分类与检索的方法，包括如下步骤：

步骤S1：构建一个用于工业制造场景的三维CAD模型数据集。从当地制造工业零件的公司与工厂收集了一部分应用于实际生产的工业零件数据库，其中的三维CAD模型均为精确表示，以STEP(Standard for the Exchange of Product Data)标准作为文件储存与传输格式。并且通过筛选，整理出一个总共含有9419个零件，这些零件被标注为四十个类别的三维CAD模型数据集。

步骤S2：对该三维CAD模型数据集进行数据预处理与特征抽取，从三维CAD模型复杂的B-rep信息中尽可能地完整抽取几何信息与拓扑信息，并将其构造为适合现存神经网络有效学习并使用的表示形式，具体步骤如下：

步骤S21：基于三维CAD模型的B-rep信息，抽取其拓扑信息与几何信息，具体步骤如下：

步骤S211：根据其面边之间的相邻关系，抽取模型的拓扑结构信息。

步骤S212：根据其面边的形状、大小、方向等几何数据抽取模型的面与边的几何信息。

步骤S22：根据特征抽取所得的拓扑信息与几何信息，构建适用于神经网络的图结构的三维模型描述符，以图结构的形式表示三维模型的拓扑结构，以图中的节点属性与边属性表示三维模型的面与边的几何信息。同时对数据集中各个类别的三维模型样本数据进行统计分析。

步骤S3：构建可基于拓扑几何信息学习图数据的全局信息与局部信息融合表示的图卷积网络FuS-GCN，完整的FuS-GCN架构包括三个结构相同的FuS-GCN子模块，每个FuS-GCN子模块由图卷积模块、融合自注意力图池化模块组成，实现对图结构信息的聚合与基于几何拓扑信息的特征融合进行自注意力图池化，最后通过Readout模块获得融合多层图数据局部信息的全局表示的全局特征向量，具体步骤如下：

步骤S31：图卷积模块为基于谱图卷积的图卷积方法GCNConv(GraphConvolutional Network Layer)。一个图卷积模块包含一个图卷积隐藏层与一个激活函数层叠加而成。图结构的三维模型以图邻接矩阵与节点特征矩阵的形式输入隐藏层，随后经过激活函数获得输出。在隐藏层中，图节点之间会进行消息传递，捕获邻域内的局部信息，公式如下：

其中H^l为第l层的节点表示，A∈R^N×N表示图的邻接矩阵，

表示拥有自连接的邻接矩阵，I表示单位矩阵，/>

为/>

的对角节点度矩阵，W^l表示第l个神经网络层的权重矩阵，σ(·)表示一个非线性激活函数，比如ReLU。

步骤S32：自注意力图池化模块分为第一子模块和第二子模块，第一子模块是对基于几何信息和拓扑信息特征融合的自注意力分数计算，第二子模块是基于两种自注意力分数做特征融合，构造融合自注意力Mask，具体步骤如下：

步骤S321：分别计算三维模型的几何信息与拓扑结构自注意力评价分数，具体分为两个步骤：

步骤S3211：使用GCNConv计算拓扑结构自注意力分数S_topology∈R^N×1，计算公式如下：

其中X∈R^N×F表示具有N个节点和特征尺寸为F的图的输入特征，θ_att∈R^F×1表示权重参数矩阵。

步骤S3212：使用一个全连接层计算几何信息自注意力分数S_geometric∈R^N×1，计算公式如下：

S_geometric＝σ(Linear(X，A))

其中σ(·)表示一个非线性激活函数，Linear(·)表示一个全连接层，X表示节点特征矩阵，A为图的邻接矩阵。

步骤S322：首先对计算得到的两种自注意力评价分数做特征融合，然后构造基于top-k选择的融合自注意力Mask完成节点选择，最后进行图池化操作，具体步骤如下：

步骤S3221：构造一个可被学习的融合特征权重矩阵W^β，通过训练优化该权重矩阵，并使用该权重矩阵完成几何信息自注意力与拓扑结构自注意力的特征融合，公式如下：

其中S表示经过特征融合得到的最终自注意力分数，W^β表示指导特征融合的权重矩阵，S_topology与S_geometric分别为步骤S3211与步骤S3212中计算所得的两种自注意力评价分数。

步骤S3222：构造融合自注意力Mask，实现对图数据的节点选择与池化。基于步骤S3221构造的融合自注意力分数，保留输入图数据的拥有[kN]个节点的子集，k∈(0，1]为池化比率超参数，控制池化过程中保留的节点个数，N表示输入图数据的节点个数。构造融合自注意力Mask的计算公式如下：

idx＝top-rank(S，[KN])，S_mask＝S_idx

其中top-rank(·)表示基于融合自注意力分数对节点由高到低排序的操作，返回节点的自注意力分数集S中[kN]个最高分数所对应的图节点索引，·_idx表示索引操作，S_mask表示构造的融合自注意力Mask。

步骤S3223：基于步骤S3222中构造的融合自注意力Mask实现下采样与图池化操作，从而得到一个当前输入图数据的子图：

X_pooled＝X_idx，：⊙S_mask，A_pooled＝A_idx，idx

其中X_pooled与A_pooled表示经过图池化后所获得的特征矩阵及对应的邻接矩阵，X_idx，：表示按行(即节点)索引的特征矩阵，⊙为广播点积运算符，A_idx，idx表示按行和按列索引的邻接矩阵。

步骤S33：使用Readout模块聚合节点特征，从而以固定尺寸的向量表示图数据。该模块融合多层级的全局表示所得的全局特征向量公式如下：

其中N是节点数，x_i是第i个节点的特征向量，||表示拼接操作。

步骤S4：根据步骤S3中所获的三维CAD模型全局特征表示向量，指导三维CAD模型分类与检索。全局特征向量作为输入通过一个全连接层，获得分类结果。全局特征向量作为三维模型的高维嵌入表示，基于对样本间的度量实现检索。

步骤S5：将构建好的网络模型运用于数据集进行训练测试，以验证网络模型的分类与检索性能，以及模型参数量与推理计算时间。具体步骤如下：

步骤S51：对比业内前沿的三维模型分类方法在本文构建的三维CAD模型数据集与公开数据集FabWave上的分类实验效果。

步骤S52：对比业内前沿的执行图级别任务的图神经网络方法在本文构建的三维CAD模型数据集上的分类实验效果。

步骤S53：在本文构建的三维CAD模型数据集上验证检索任务的实验效果。

步骤S54：对比不同结构下的融合自注意力图池化模块的实验效果。

步骤S55：对比业内前沿的三维模型分类方法与本文中构建的FuS-GCN的模型参数量与计算时间。

步骤S6：使用训练后的网络模型对三维CAD模型实现智能分类、检索与复用。

本发明具有以下的特点和有益效果：

1.能够智能分类、检索并复用由B-rep数据表示的三维CAD模型的轻量化方法，更直观和自然地使用图结构信息来克服使用三维模型的复杂拓扑和工程语义作为特征的挑战，现有研究大多难以利用三维模型的子构件间的精准拓扑关系与几何信息，并且拥有较高三维形状分类准确率的研究大多拥有较高的网络模型参数量，对计算成本与时间成本有较高的要求。该方法通过对B-rep数据的出色特征抽取与优化的网络模型在学习复杂图数据方面的卓越性能，于没有人工干预的情况下，在三维CAD模型分类的任务中达到了最高的准确率，在检索任务中获得了出色的表现。通过训练的网络模型能够在三维模型分类与检索任务上满足智能制造CAD模型复用的需求，并且在与三维形状分类前沿方法比较的对比实验中达到了业内先进的水平。

2.基于B-rep的三维CAD模型的新特征描述符，以图结构的形式捕获拓扑信息，以节点与边属性的形式捕获模型的面与边的几何特征。该描述符可以统一地表示来自不同CAD系统的三维CAD模型，克服了领域内难以以精确方法表示三维CAD模型，从不同数据格式构造特征描述符的过程复杂而困难，难以使用通用方法对不同数据格式的三维CAD模型构建用于神经网络学习的特征描述符等痛点。

3.为改善现有图神经网络处理图级别任务的效果，我们基于本场景中的复杂图数据的特点，使用融合自注意力池化方法，结合三维模型拓扑结构与几何信息合理地压缩并聚合图数据，使网络更加适用于三维CAD模型分类与检索的任务场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明具体运行过程的流程图。

图2是本发明自建的数据集样本图。

图3是基于B-rep表示的三维CAD模型的示意图。

图4是本发明抽取实体模型的B-rep信息中的拓扑几何信息的示意图。

图5是本发明抽取实体模型中拓扑几何信息的伪代码流程图。

图6是本发明构建的图结构三维CAD模型描述符示意图。

图7是本发明的模型整体架构图。

图8是本发明使用的图卷积网络结构图。

图9是本发明设计的融合自注意力图池化模块的示意图。

图10是本发明在检索任务中的实验结果，根据输入的Query模型，从数据库中召回与之最为相似的10个三维模型。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

本发明提供了一种基于图卷积网络的轻量化三维CAD模型分类与检索的方法，如图1所示，具体步骤为：

步骤S1：由于网络上可用的三维CAD实体模型的数据集很少，并且大部分都是用网格或点云来表示，如Princeton ModelNet数据集。然而，基于这些形状描述符的模型对于有高精度要求的工业制造来说并不实用。基于这种情况，我们从当地公司和工厂收集了一个工业零件数据库。这些零件模型被应用于实际生产中。它们是精确的基于B-rep表示的，可以简便快捷地转换为STEP标准格式。该数据集拥有9419个零件的三维CAD模型，在专业人士的指导下被标记为40个类别并构建。由于这个三维模型数据库有40类模型，我们将其命名为CadNet40。在本发明中，我们在这个数据集上进行了实验，以验证所提出的方法的有效性和可行性。

该数据集的一些实体模型样例，如图2所示。可见数据集包括工业零件的3D-CAD模型，如轴承座、锻造卸扣、端部扳手等。

步骤S2：对该三维CAD模型数据集进行数据预处理与特征抽取，从三维CAD模型复杂的B-rep信息中尽可能地完整抽取几何与拓扑信息，并将其构造为适合神经网络有效学习并使用的通用表示形式，具体步骤如下：

步骤S21：B-rep通过一组封闭的面来表示一个实体模型，每一个面由其属性与边界表示。一个面的边界是由一组边连接而成。这种表示方法既包含了三维模型的拓扑结构的拓扑信息，也包含了三维模型的几何信息。拓扑信息如同实体模型边界表示的骨架，几何信息如同附着在骨架上的血肉。B-rep表示方法的数据结构由以下几个带有属性的拓扑实体(构件)组成：面、边和顶点，如图3所示。这些拓扑实体(构件)之间的关系描述了三维模型的拓扑信息。而模型的几何信息是由实体(构件)的属性描述的，比如面的类型(平面、锥面、曲面、柱面等)，边的类型(直线、曲线、B样条曲线等)，边的长度等等。但由于B-rep信息的数据结构复杂，难以使用其原有表示形式输入神经网络进行学习。

其中，STEP AP203标准是由国际标准化组织(International Organization forStandardization)制定，基于B-rep信息，用于表示零件、组件，以及用于计算机辅助设计(CAD)、制造(CAM)、分析(CAE)和检验(CMM)软件之间的数据交换和互操作性的产品和制造信息。因此STEP标准是工业界存储和传输CAD模型的基础格式，几乎适用于所有CAD建模系统。可以方便、快捷地将来自不同CAD系统的三维CAD模型转换为统一的STEP文件格式。随后基于三维CAD模型的B-rep信息，根据其面边之间的相邻关系，抽取模型的拓扑结构的拓扑信息，其次抽取模型的面与边的几何信息。

抽取拓扑信息与几何信息的具体步骤如下：

步骤S211：基于B-rep的图描述符(B-rep图)是以带有属性的面邻接图作为数据结构，用于建模实体模型的拓扑信息，如图4所示。模型的拓扑信息由以下公式表达：

G＝{N，E，ψ}

其中N表示图节点的集合，E表示图的边的集合，ψ表示节点与边直接连接关系的集合。三维模型的一个面由多条边组成，而两个面又通过共享一条边而连接。B-rep图中的节点对应这三维模型的面，而节点之间的连接对应着三维模型的边。

本实施例的进一步设置，如图5所示，基于STEP标准，三维模型面的集合可以通过遍历其中的B-rep数据获得：当前子构件→当前面→边环→边→下一个面→下一个子构件。一个实体模型由一个或多个子构件组成，一个子构件由多个面构成，一个面由一个或多个边环组成。发现的边会被标记对应到相关的面。面(节点)的集合被构建后，会遍历过程中标记过的属于每个面的边。已被标记的边作为该节点的一个节点，并寻找另一个包含该边的面作为另一个节点。由此，基于B-rep的三维CAD模型中所有的面边关系与集合都可以得到有效挖掘与抽取。

步骤S212：三维CAD模型的几何信息从面边属性中抽取，并作为B-rep图的节点与边属性存储并表示。面的几何信息被储存与节点属性中，边的几何信息被储存与节点之间相连接的边的属性中。如图4与图6所示，不同样式的图节点表示不同类型的面，不同的样式的边表示不同种类的边。如图5所示，这些几何信息在遍历面集合与边集合的过程中被抽取，用于与拓扑结构联合表示该实体模型。B-rep图的节点与边(三维模型的面边)属性作为可选的输入特征，应用于三维CAD模型领域不同的任务场景。每一个拓扑边也拥有其几何信息，包括边的类型、长度与方向等。

步骤S22：如图6所示，步骤S211与步骤S212中基于B-rep抽取所得的拓扑几何信息将被自然地转化为带有属性的图结构数据，数据集中各个类别的三维模型样本数据的相关统计分析如表1所示。

/>

/>

/>

/>

表1是本发明三维CAD模型数据集的图结构三维描述符样本统计表

该基于B-rep的图描述符继承了B-rep在逻辑和可解释性方面的优点，另一方面又解决了复杂的B-rep信息难以直接用于现存神经网络学习的问题。将所有三维CAD模型构建为该描述符之后，对本数据集中各个类别的三维模型样本所得的图结构数据进行统计分析，详细统计信息见表1。

本发明中的这种无向异质图被命名为B-rep图，每个图节点与边都有其对应的属性。B-rep图的基本结构基于步骤S211中挖掘的面边关系构建。完整的拓扑结构蕴含在这些面边关系中，他们被面邻接图抽取捕获并表示。因此局部与全局拓扑信息都可以有效地被B-rep图捕获。为保证模型的高效，我们实验中只使用最具有表征能力的面的类型与面积作为节点属性，在实际应用中可根据需要选择多个几何特征作为节点属性，在有关边的几何信息中，我们选用了边的类型与长度作为图的连接边的属性。基于上述的两种抽取所得的信息，B-rep图可以尽可能地精确地完整描述三维实体模型的拓扑几何信息，为后续的模型分类与检索提供良好基础。该图结构数据将被处理为邻接矩阵的形式，作为FuS-GCN神经网络的输入。

步骤S3：如图7所示，构建可基于拓扑几何信息学习图数据的全局信息与局部信息融合表示的图卷积网络FuS-GCN，完整的FuS-GCN架构包括三个结构相同的FuS-GCN子模块，每个FuS-GCN子模块由图卷积模块、融合自注意力图池化模块组成，实现对图结构信息的聚合与基于几何拓扑信息的特征融合进行自注意力图池化，最后通过Readout模块获得融合多层图数据局部信息的全局表示的全局特征向量，具体步骤如下：

步骤S31：图卷积模块为基于谱图卷积的图卷积方法GCNConv(GraphConvolutional Network Layer)。如图8所示，一个图卷积模块由一个图卷积隐藏层与一个激活函数层叠加而成。输入为图邻接矩阵A与节点特征矩阵H^l，A可以被视为对拓扑结构的表达，H^l则是对节点特征的表达。输出为经过聚合与特征抽取得到的新图。

图结构的三维模型以图邻接矩阵与节点特征矩阵的形式输入隐藏层，随后经过激活函数获得输出。在隐藏层中，图节点之间会进行消息传递，捕获邻域内的局部信息，公式如下：

其中H^l为第l层的节点表示，A∈R^N×N表示图的邻接矩阵，

表示拥有自连接的邻接矩阵，I表示单位矩阵，/>

为/>

的对角节点度矩阵，W^l表示第l个神经网络层的权重矩阵，σ(·)表示一个非线性激活函数，比如ReLU。

步骤S32：本实施例使用了自注意力机制来优化评价方法，从而区分需要被保留的图节点与需要被删除的图节点，这种机制帮助神经网络可以专注于更加关键的特征。基于该机制，设计了名为FuSPool的融合自注意力图池化模块，可以较全面的评价图节点的重要性，从而构建合理的池化Mask(掩码)。

具体的，如图9所示，该FuSPool图池化模块主要分为第一子模块和第二子模块，第一子模块是对基于几何与拓扑信息特征的自注意力分数计算，第二子模块是基于两种自注意力分数做特征融合，随后构造融合自注意力Mask。具体步骤如下：

步骤S321：分别计算三维模型的几何信息与拓扑结构自注意力评价分数，具体分为两个步骤：

步骤S3211：使用GCNConv计算拓扑结构自注意力分数S_topology∈R^N×1，计算公式如下：

其中X∈R^N×F表示具有N个节点和特征尺寸为F的图的输入特征，θ_att∈R^Fx1表示权重参数矩阵。

步骤S3212：使用一个全连接层计算几何信息自注意力分数S_geometric∈R^N×1，计算公式如下：

S_geometric＝σ(Linear(X，A))

其中σ(·)表示一个非线性激活函数，Linear(·)表示一个全连接层，X表示节点特征矩阵，A为图的邻接矩阵。

步骤S322：首先对计算得到的两种自注意力评价分数做特征融合，然后构造基于top-k选择的融合自注意力Mask完成节点选择，最后进行图池化操作，具体步骤如下：

步骤S3221：构造一个可被学习的融合特征权重矩阵W^β，通过训练优化该权重矩阵，并使用该权重矩阵完成几何信息自注意力与拓扑结构自注意力的特征融合，公式如下：

其中S表示经过特征融合得到的最终自注意力分数，W^β表示指导特征融合的权重矩阵，S_topology与S_geometric分别为步骤S3211与步骤S3212中计算所得的两种自注意力评价分数。

步骤S3222：构造融合自注意力Mask，实现对图数据的节点选择与池化。基于步骤S3221构造的融合自注意力分数，保留输入图数据的拥有[kN]个节点的子集，k∈(0，1]为池化比率超参数，控制池化过程中保留的节点个数，N表示输入图数据的节点个数。构造融合自注意力Mask的计算公式如下：

idx＝top-rank(S，[KN])，S_mask＝S_idx

其中top-rank(·)表示基于融合自注意力分数对节点由高到低排序的操作，返回节点的自注意力分数集S中[kN]个最高分数所对应的图节点索引，·_idx表示索引操作，S_mask表示构造的融合自注意力Mask。

步骤S3223：基于步骤S3222中构造的融合自注意力Mask实现下采样与图池化操作，从而得到一个由当前输入图数据的子图：

X_pooled＝X_idx，：⊙S_mask，A_pooled＝A_idx，idx

其中X_pooled与A_pooled表示经过图池化后所获得的特征矩阵及对应的邻接矩阵，X_idx，：表示按行(即节点)索引的特征矩阵，⊙为广播点积运算符，A_idx，idx表示按行和按列索引的邻接矩阵。

步骤S33：使用Readout模块聚合节点特征，从而以固定尺寸的向量表示图数据。该模块融合多层级的全局表示所得的全局特征向量，其表达式如下：

其中N是节点数，x_i是第i个节点的特征向量，||表示拼接操作。

步骤S4：根据步骤S3中所获的三维CAD模型全局特征表示向量，指导三维CAD模型分类与检索。全局特征向量作为输入通过一个全连接层，获得分类结果。全局特征向量将借助度量学习，获得在特征空间内更加合理的分布，通过计算三维模型嵌入的余弦相似度实现检索。

步骤S5：将构建好的网络模型运用于数据集进行训练测试，以验证网络模型的分类与检索性能，以及模型参数量与推理计算时间。具体步骤如下：

步骤S51：对比业内前沿的三维模型分类方法在本文构建的三维CAD模型数据集以及公开数据集上的实验效果。本文复现了一些三维模型分类领域前沿的方法来进行对比实验，包括LFD、3D ShapeNets、PointNet++、MVCNN、MeshCNN、DGCNN、KPConv、CurveNet与UV-Net。在实现时，本文构建的数据集与公开三维CAD数据集FabWave会被转为这些方法相对应的三维模型描述符，如点云、片网、多视图等。

/>

表2是本发明与业内前沿三维模型分类方法在三维CAD模型自建数据集CadNet40与公开数据集FabWave上的分类性能对比表

表2展示了行业常见的前沿三维模型分类方法与本文提出的三维模型描述符以及改进的深度模型在三维CAD模型数据集上的对照结果。实验中采用Top-1准确率作为评价指标，通过与业内前沿的方法进行对比，更加客观地验证了本文三维模型描述符与深度模型的性能优越性。

步骤S52：对比业内前沿的执行图级别任务的图神经网络方法在本文构建的三维CAD模型数据集上的实验效果。为了验证本文提出Fus-GCN模型的有效性以及先进性，本文在构建的三维CAD模型数据集上，使用相同的图结构三维模型描述符(B-rep graph)进行了多组对比实验，其中参与对比实验的为行业前沿的处理图级别任务的图神经网络方法有：GCN、HGP-SL、Graph U-Nets、SAGPool。

池化方法	特征描述符	图卷积网络结构	Top-1准确率
				GCNConv	B-rep graph	GCN	95.0
DiffPool	B-rep graph	HGP-SL	93.2
				gPool	B-rep graph	Graph U-Nets	96.2
SAGPool	B-rep graph	SAGPool	97.0
				FuSPool	B-rep graph	FuS-GCN	99.3

表3是本发明与业内前沿图神经网络方法在自建三维CAD模型数据集CadNet40上的分类性能对比表

在表3中，展示了业内前沿的执行图级别任务的图神经网络方法与本文方法在三维CAD模型数据集上的对照结果，可见本文提出的模型在处理三维模型场景下的复杂图数据具有优越的性能与准确率，说明了本文中基于数据特点改进优化的模型的有效性。

步骤S53：使用训练后的模型在自建数据集上进行检索实验结果可视化。为了验证本文方法在检索任务中的有效性，我们基于训练后的模型获得自建数据集中所有三维模型的高维嵌入向量表示，从训练集中随机选取了7个三维CAD模型，随后基于向量间的欧氏距离，召回数据集中最为相似的前10个三维模型。图10中展示了检索实验的可视化结果，可见本文方法有效召回了高度相似的三维模型，拥有良好的检索性能。

步骤S54：对比不同结构下的融合自注意力图池化模块的实验效果。为了分析FuSPool中不同组件的有效性，以及研究FuSPool层的影响，我们从FuSPool整体架构设计中删除或替换一些模块，比如在池化中抛弃拓扑或几何信息，或者用加权和运算代替特征融合技术。通过对不同结构的FuSPool池化层的消融实验，可以更加客观地验证FuSPool的每个组成部分的有效性与其作用。

表4是本发明与业内前沿三维模型分类方法有关模型复杂度、计算时间的性能对比表

表4中，“拓扑信息模块”表示使用了拓扑信息来进行池化，“几何信息模块”表示使用了几何信息来进行池化，“特征融合模块”表示我们使用特征融合方法来结合两种特征，而不是直接使用加权和运算。结果显示，无论是拓扑结构或几何特征在池化过程中被使用，都可以提高整体精度。但如果仅使用拓扑信息或仅使用几何信息进行池化，并不能获得的最高的分类准确率。除此之外，如果我们以加权的方式来结合这两个特征，反而会对模型产生负面影响。若通过使用特征融合来有效地结合这两种特征，效果提高约2.3％，达到最优的模型精度。

步骤S55：对比业内前沿的三维模型分类方法与本文中构建的FuS-GCN的模型参数量与推理计算时间。

表5是本发明对不同结构下的融合自注意力图池化模块FuSPool进行测试的实验结果表

表5展示了在本文的三维模型数据集上，本发明方法与业内前沿的三维模型分类方法在模型复杂度方面的对照实验结果。可见本文的FuS-GCN模型在模型复杂度(参数量)、推理计算时间与分类精度之间可以达到较好的权衡，相比与其他方法本文的模型更加轻量化。受益于本发明中构造的B-rep图，我们的三维模型描述符对三维CAD模型的拓扑结构与几何信息有更加简洁并强力的表征能力，包含了大量有关三维模型的精确信息，并且可以根据不同的任务场景有选择性地增减几何特征。因此我们的模型不需要使用较复杂的模型结构来学习离散数据中的模型信息，保证了本文方法的轻量化，从而实现高效的分类与检索，满足工业制造中三维CAD模型复用的需求。

上述技术方案针对现有三维CAD模型分类与检索的不足，提出一种新颖高效的神经网络架构和图结构特征描述符，通过直接对三维CAD实体模型进行学习并生成全局特征嵌入来解决分类与检索任务。该方法智能地从基于B-rep的实体模型中提取精确的拓扑以及几何信息，并使用融合自注意力优化的GCNs，提高分类和检索任务的精度和效率。本发明旨在克服基于B-rep的三维CAD模型分类与检索领域中普遍存在的以下亟待解决的三个关键问题：

如何使用一种更加通用有效的方法分类并检索来自不同CAD系统中基于B-rep的实体模型。大多数三维模型分类与检索方法都是基于点云和网格的数据格式。虽然它们实现了较好的精度，但模型复杂度高，难以兼顾效率与准确性，不适合现实智能制造产业中的应用。此外，它们对不同CAD系统数据格式的兼容性还有待提高，同时，将三维CAD模型转换为点云或网格等数据表示方法的过程普遍比较复杂。

如何自然有效地从三维CAD模型中提取并表示结构语义与几何信息。当前流行的特征提取方法，如多视图图像和点云，通过图片或离散数据表示三维形状。这些描述符只能部分表示模型的外部拓扑结构和几何信息，不能实现精确表示，且会造成内部子构件间拓扑结构的缺失。完整的三维拓扑结构是三维模型的一个显著的区分性特征。当然，精确的几何特征也有助于提高分类与检索能力，如何提取并结合两者从而构建用于神经网络学习的特征描述符，是该领域亟需解决的一个基础问题。

如何优化深度神经网络的效能，以满足学习并分类大型复杂图数据的任务需求。当前图池化方法的聚合能力有待得到提升，合理有效地对复杂的基于B-rep的图数据进行向下采样，并将输入压缩为统一维度的全局特征向量至关重要。这是神经网络进行学习的基础，该特征向量需要包含来自全局的局部拓扑和几何信息，同时也保留池化后相对来说更加重要的特征。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (8)

1.一种基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，包括如下步骤：

S1、构建一个三维CAD模型数据集；

S2、对三维CAD模型数据集进行数据预处理与特征抽取，进而得到几何信息和拓扑信息，并将抽取的几何信息和拓扑信息转换为以图结构表示的三维模型描述符；

S3、构建可基于拓扑信息和几何信息学习图数据的全局信息与局部信息融合表示的图卷积网络FuS-GCN，根据图卷积网络FuS-GCN，以三维模型描述符为输入指导三维CAD模型分类，得到全局特征向量，

所述图卷积网络FuS-GCN包三个结构相同的FuS-GCN子模块和Readout模块；

S4、全局特征向量作为输入通过一个全连接层获得分类结果；以及根据全局特征向量之间的相似度获得检索结果；

S5、将由图卷积网络FuS-GCN和全连接层组成的分类检索模型运用于数据集进行训练测试；

S6、使用训练好的分类检索模型对三维CAD模型实现分类、检索和重用。

2.根据权利要求1所述的基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，所述步骤S1中构建的三维CAD模型数据集是以STEP标准作为文件存储与传输的格式。

3.根据权利要求1所述的基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，所述步骤S1中，数据集中数据预处理的方法为：将三维CAD模型转为B-rep表示，以及数据标注。

4.根据权利要求1所述的基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，所述步骤S2中，

抽取几何信息和拓扑信息的方法为：从三维CAD模型的B-rep信息中，根据面边之间的相邻关系，抽取拓扑结构的拓扑信息，同时根据面边的几何数据抽取面与边的几何信息；

转换为三维模型描述符的方法为：以图结构表示三维CAD模型的拓扑结构，以图中节点属性与边属性表示三维CAD模型的面与边的几何信息。

5.根据权利要求1所述的基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，所述步骤S3中，每个所述FuS-GCN子模块由图卷积模块、融合自注意力图池化模块组成，实现对三维模型描述符的聚合，以及与基于几何信息和拓扑信息的特征融合进行自注意力图池化，最后通过Readout模块获得融合多层图数据局部信息的全局表示，进而得到全局特征向量。

6.根据权利要求5所述的基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，所述图卷积模块由一个图卷积隐藏层与一个激活函数层叠加而成，所述图卷积隐藏层以三维模型描述符的图邻接矩阵与图节点特征矩阵的形式作为输入，随后经过激活函数层获得输出，在图卷积隐藏层中，图节点之间会进行消息传递，捕获邻域内的局部信息，公式如下：

其中H^l为第l层的节点表示，A∈R^N×N表示图的邻接矩阵，

表示拥有自连接的邻接矩阵，I表示单位矩阵，/>

为/>

的对角节点度矩阵，W^l表示第l个神经网络层的权重矩阵，σ(·)表示一个非线性激活函数。

7.根据权利要求6所述的基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，所述自注意力图池化模块包括第一子模块和第二子模块，所述第一子模块是对基于几何拓扑信息特征融合的自注意力分数计算，所述第二子模块是基于两种自注意力分数做特征融合，构造融合自注意力Mask；具体步骤如下：

分别计算几何信息与拓扑结构自注意力评价分数：

使用GCNConv计算拓扑结构自注意力分数S_topology∈R^N×1，计算公式如下：

其中X∈R^N×F表示具有N个节点和特征尺寸为F的图的输入特征，θ_att∈R^F×1表示权重参数矩阵；

使用一个全连接层计算几何信息自注意力分数S_geometric∈R^N×1，计算公式如下：

S_geometric＝σ(Linear(X，A))

其中σ(·)表示一个非线性激活函数，Linear(·)表示一个全连接层，X表示节点特征矩阵，A为图的邻接矩阵；

对计算得到的两种自注意力评价分数做特征融合，构造基于top-k选择的融合自注意力Mask完成节点选择，最后进行图池化操作，具体步骤如下：

构造一个可被学习的融合特征权重矩阵W^β，通过训练优化该权重矩阵，并使用该权重矩阵完成几何信息自注意力与拓扑结构自注意力的特征融合，公式如下：

其中S表示经过特征融合得到的最终自注意力分数，Wβ表示指导特征融合的权重矩阵；

构造融合自注意力Mask，实现对图数据的节点选择与池化，基于特征融合得到的最终自注意力分数，保留输入图数据的拥有[kN]个节点的子集，k∈(0，1]为池化比率超参数，控制池化过程中保留的节点个数，N表示输入图数据的节点个数，构造融合自注意力M_ask的计算公式如下：

idx＝top-rank(S，[KN])，S_mask＝S_idx

其中top-rank(·)表示基于融合自注意力分数对节点由高到低排序的操作，返回节点的自注意力分数集S中[kN]个最高分数所对应的图节点索引，·_idx表示索引操作，S_mask表示构造的融合自注意力Mask；

基于构造的融合自注意力M_ask实现下采样与图池化操作，从而得到一个由当前输入图数据的子图：

X_pooled＝X_idx，：⊙S_mask，A_pooled＝A_idx，idx

其中X_pooled与A_pooled表示经过图池化后所获得的特征矩阵及对应的邻接矩阵，X_idx，：表示按行(即节点)索引的特征矩阵，⊙为广播点积运算符，A_idx，idx表示按行和按列索引的邻接矩阵。

8.根据权利要求7所述的基于图卷积网络的轻量化三维CAD模型分类与检索的方法，其特征在于，所述Readout模块输出方式为：

从而以固定尺寸的向量表示图数据，该模块融合多层级的全局表示所得的全局特征向量公式如下：

其中N是节点数，x_i是第i个节点的特征向量，||表示拼接操作。

Images