CN111125395A - 一种基于双分支深度学习的cad图纸检索方法及系统 - Google Patents

Abstract

本发明提出一种基于双分支深度学习的CAD图纸检索方法，包括CAD图纸标注，双支深度卷积网络构建，包括获取样本浅层深度特征的共享层、类间特征提取分支和类内特征分支；进行损失函数设置，三元测试组的构建，训练样本的构建，包括从CAD图纸库中以随机抽取的方式，选取具有不同构成的三元图例组作为训练样本，每组图例中保证至少有两个图例是属于同一对象或类别；对每组图例进行锚图例、正图例和负图例的分配；空间映射，根据训练样本对双支深度卷积网络进行训练，将CAD图纸从原始的图像空间映射到特征表达向量空间；对于任意待检索CAD图纸，利用训练好的双支深度卷积网络实现空间映射，获取匹配结果。

Description

一种基于双分支深度学习的CAD图纸检索方法及系统

技术领域

本发明涉及通信技术领域，尤其是涉及一种基于双分支深度学习的CAD图纸检索方法及系统。

背景技术

凭借强大的图形处理能力与简洁的实操性，计算机辅助设计(CAD)技术已经被广泛应用于建筑工程、化工设计等各个领域。作为CAD技术的核心组成部分，CAD图纸也越来越多的成为工程开发、产品设计的重要组成部分。面对种类繁多，需求巨大的CAD图纸数据，如何快速、精准的查找到满足用户特定需求的设计图纸，日渐成为各领域研发和创新面临的重大问题和挑战。

现有检索识别技术大多依赖于CAD图纸的几何特征和拓扑特征，忽略了局部显著特征对图纸检索识别的重要影响，另外常用的基于深度学习的图像检索技术通常将整个CAD图纸图像作为输入，直接获取视觉特征，在识别效率和精度上都有所欠缺。这是由于CAD图纸种类繁多，不同类别的图纸，如室内装修CAD图纸和工场建造CAD图纸，具有明显的类间视觉差异；相同类别的不同CAD图纸具有个体化的类内视觉差异。本专利充分利用类间与类内的差异特点与联系，设计双支深度卷积网络，分别实现类内与类间两个层次的特征提取，根据多层次特征，实现CAD图纸更快速，更准确的检索。

发明内容

为解决上述现有技术的问题，本发明提供一种双分支深度学习的CAD图纸检索方法及系统。

本发明的技术方案提供一种基于双分支深度学习的CAD图纸检索方法，包括如下步骤：

步骤1，CAD图纸标注，包括对CAD图纸库中各图纸数据进行预先标注，将图纸CADrawing_i标注格式定义为(img_i,Class_i,ID_i)，其中img_i表示图纸的序号，每个图纸的img_i唯一且各不相同；ID_i表示该图纸对应的实体身份，一个ID_i能够对应多个img_i；Class_i表示该实体的隶属类别；

步骤2，双支深度卷积网络构建，包括获取样本浅层深度特征的共享层、类间特征提取分支和类内特征分支，共享层分别连接类间特征提取分支和类内特征分支，最后将两类特征融合后，进行双层全连接映射输入到损失函数中；

步骤3，损失函数设置，包括设以三元测试组＜anc_i,pos_i,neg_i＞作为网络输入，其中anc_i是图像img_i的锚图例，pos_i是anc_i的正图例，即与img_i具有相同ID_i的图像，neg是与img_i具有不同ID_i的图像，称为负图例，通过优化空间构建损失函数L如下，

其中，函数

对网络进行训练时，f(·)表示训练使用的是步骤2)构建的双支深度卷积网络，N表示某一类图样本的样本数量，α是用来控制样本信息传递的边界参数，通过L的最大化实现网络的训练和优化；

步骤4，三元测试组的构建，包括设定对于任意的三元图例组，锚图例的选取是任意、无约束的，剩余两个图例进行正图例和负图例的分配；

步骤5，训练样本的构建，包括从CAD图纸库中以随机抽取的方式，选取具有不同构成的三元图例组作为训练样本，每组图例中保证至少有两个图例是属于同一对象或类别；根据步骤4对每组图例进行锚图例、正图例和负图例的分配；

步骤6，空间映射，根据步骤4所得训练样本对步骤2所得双支深度卷积网络进行训练，将CAD图纸从原始的图像空间映射到特征表达向量空间；

步骤7，检索实现，包括对于任意待检索CAD图纸，利用步骤6训练好的双支深度卷积网络实现空间映射，获取匹配结果。

而且，步骤4中，设定正图例和负图例的分配方式如下，

对于三元组图例＜CADrawing_j1,CADrawing_j2,CADrawing_j3＞，设任意选取其中图例CADrawing_j1作为锚图例，

对图例CADrawing_j2与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j12，CADrawing_j3与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j13；

当

时，选取max(Siftnum_j12,Siftnum_j13)对应的图例作为正图例，选取min(Siftnum_j12,Siftnum_j13)对应的图例作为负图例；其它情况下，CADrawing_j2，CADrawing_j3任意选取作为正或负图例；其中θ是控制三元组距离度量的常参数，θ越大表示选取的正负图例视觉特征差别越大。

本发明提供一种基于双分支深度学习的CAD图纸检索系统，包括如下模块：

CAD图纸标注模块，用于对CAD图纸库中各图纸数据进行预先标注，将图纸CADrawing_i标注格式定义为(img_i,Class_i,ID_i)，其中img_i表示图纸的序号，每个图纸的img_i唯一且各不相同；ID_i表示该图纸对应的实体身份，一个ID_i能够对应多个img_i；Class_i表示该实体的隶属类别；

双支深度卷积网络构建模块，用于获取样本浅层深度特征的共享层、类间特征提取分支和类内特征分支，共享层分别连接类间特征提取分支和类内特征分支，最后将两类特征融合后，进行双层全连接映射输入到损失函数中；

损失函数模块，用于设以三元测试组＜anc_i,pos_i,neg_i＞作为网络输入，其中anc_i是图像img_i的锚图例，pos_i是anc_i的正图例，即与img_i具有相同ID_i的图像，neg是与img_i具有不同ID_i的图像，称为负图例，通过优化空间构建损失函数L如下，

其中，函数

对网络进行训练时，f(·)表示训练使用的是构建的双支深度卷积网络，N表示某一类图样本的样本数量，α是用来控制样本信息传递的边界参数，通过L的最大化实现网络的训练和优化；

三元测试组构建模块，用于设定对于任意的三元图例组，锚图例的选取是任意、无约束的，剩余两个图例进行正图例和负图例的分配；

训练样本构建模块，用于从CAD图纸库中以随机抽取的方式，选取具有不同构成的三元图例组作为训练样本，每组图例中保证至少有两个图例是属于同一对象或类别；根据三元测试组构建模块的设定对每组图例进行锚图例、正图例和负图例的分配；

空间映射模块，用于根据训练样本构建模块所得训练样本对构建所得双支深度卷积网络进行训练，将CAD图纸从原始的图像空间映射到特征表达向量空间；

检索实现模块，用于包括对于任意待检索CAD图纸，利用空间映射模块训练好的双支深度卷积网络实现空间映射，获取匹配结果。

而且，三元测试组构建模块中，设定正图例和负图例的分配方式如下，

对于三元组图例＜CADrawing_j1,CADrawing_j2,CADrawing_j3＞，设任意选取其中图例CADrawing_j1作为锚图例，

对图例CADrawing_j2与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j12，CADrawing_j3与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j13；

当

时，选取max(Siftnum_j12,Siftnum_j13)对应的图例作为正图例，选取min(Siftnum_j12,Siftnum_j13)对应的图例作为负图例；其它情况下，CADrawing_j2，CADrawing_j3任意选取作为正或负图例；其中θ是控制三元组距离度量的常参数，θ越大表示选取的正负图例视觉特征差别越大。

现有CAD图纸检索方法多是依赖传统的手工提取特征的方式，实现对象检索，这种方法过分依赖于特征的选择，提取的特征也难以完全表达跨场景跨类型的CAD图纸。本方案将深度卷积网络框架引入到CAD图纸检索领域中，设计构造具有二分支架构的深度卷积网络：其中一个分支负责高层特征(类间特征)的提取；另一个分支负责底层特征(类内特征)的提取。最终利用三元组损失函数对网络进行监督学习，实现端对端多层次的深度特征的提取与目标检索。分层特征的构建与获取，从根本上提升了检索识别效率。同时借助针对CAD图纸检测的三元组损失函数的设计与构建，进一步提升了检索的辨识粒度，大幅度地提升了检索结果的准确度。

附图说明

图1为本发明构建的双支深度卷积网络结构示意图。

图2为本发明实施例的流程图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。

参见图2，本发明实施例提供的一种基于深度学习的CAD图纸检索方法，包括以下步骤：

1)CAD图纸标注。具体实施时，可以利用已有的CAD图纸库，或者预先收集CAD图纸样本数据，并对各图纸数据进行预先标注，图纸CADrawing_i标注格式定义为(img_i,Class_i,ID_i)，其中img_i表示图纸的序号，每个图纸的img_i唯一且各不相同；ID_i表示该图纸对应的实体身份，一个ID_i能够对应多个img_i；Class_i表示该实体的隶属类别(如室内装修类，室外场景类等)。

2)双支深度卷积网络构建。VGG网络是最常用的基于深度学习的识别模型之一，在目标识别任务中具有优秀的性能和出众的表现，,本专利提出在VGG网络结构的基础上构建双支深度学习模型，以实现更高效能的检索模型。双支网络结构如附图1所示，卷积层1-卷积层3作为共享层，获取样本的浅层深度特征，类间特征提取作为网络的一支，根据图纸种类Class作为标签，通过卷积层4_1，卷积层5_1和两个全连接层(全连接层6_1和全连接层7_1)获取图纸的类别特征Attribute_feature，以实现类别识别；类似，类内特征利用相似的结构，通过卷积层4_2，卷积层5_2和两个全连接层(全连接层6_2和全连接层7_2)获取图纸的类内特征Sample_feature，以实现实例聚类；共享层分别连接类间特征提取分支和类内特征分支，最后将两类特征融合(拼接)后，进行双层全连接映射输入到损失函数中。其中，卷积层1、卷积层2、卷积层5_1、卷积层5_2带有池化层。

3)损失函数设计。深度学习中，常用的分类方法是利用softmax等函数直接输出样本的类别，这种方式一定程度上限制了图像检中对检索对象的辨识粒度，本发明提出利用三元组损失函数训练深度网络，提升检索辨识能力。

具体步骤：设以三元测试组＜anc_i,pos_i,neg_i＞作为网络输入，其中anc_i是图像img_i的锚(Anchor)图例，即图像img_i本身，pos_i是anc_i的正(Positive)图例，即与img_i具有相同ID(ID_i)的图像(img_i本身除外)，neg是与img_i具有不同ID(ID_i)的图像，称为负(Negative)图例，通过优化空间构建函数L：

其中，函数

对网络进行训练时，f(·)表示训练使用的是步骤2)构建的双支深度卷积网络(深度学习模型)，N表示某一类图样本的样本数量，α是用来控制样本信息传递的边界参数，实施例优选设置的默认取值是0.5。通过L的最大化实现网络的训练和优化。

4)三元测试组的构建。

对于任意的三元图例组＜CADrawing_j1,CADrawing_j2,CADrawing_j3＞，anc的选取是任意、无约束的，剩余两个图例根据下述步骤进行pos图例和neg图例的分配。

具体步骤：对于三元组图例＜CADrawing_j1,CADrawing_j2,CADrawing_j3＞，任意选取其中一个图例作为anc，如选取图例CADrawing_j1作为anc。对图例CADrawing_j2与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j12，CADrawing_j3与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j13。当

时，选取max(Siftnum_j12,Siftnum_j13)对应的图例作为pos图例，选取min(Siftnum_j12,Siftnum_j13)对应的图例作为neg图例；其它情况下，CADrawing_j2，CADrawing_j3可以任意选取作为pos或neg图例。其中θ是控制三元组距离度量的常参数，θ越大表示选取的正负图例视觉特征差别越大，实施例优选设置的默认选取0.3。

5)训练样本的构建。从CAD图纸库中以随机抽取的方式，选取M组具有不同构成的三元图例组，每组图例中保证至少有两个图例是属于同一对象或类别，表示为

根据步骤4对每组图例CADrawing_k1,CADrawing_k2,CADrawing_k3进行＜anc,pos,neg＞的分配，将＜anc,pos,neg＞作为输入，maxL作为优化标准，对网络进行训练。

6)空间映射。根据步骤5)所得M组三元组，步骤2)选取的深度卷积网络(深度学习模型)可得充分的训练，输出图例的特征表达向量，将CAD图纸从原始的图像空间映射到特征表达向量空间{Vec}，可表示为：对于CAD图纸样本CADrawing_l，f(CADrawing_l)→Vec_l，其中f(·)表示训练使用的是步骤2)构建的深度卷积网络(深度学习模型)。在{Vec}中，向量之间的欧式距离可以直接反应向量之间的相似程度。

实施例中，对步骤5所得M组三元组，输入到步骤2)中提出的双支深度卷积网络中，进行组内向量优化(类内距离尽可能小，类间距离尽可能大)，最后得到的是每个图纸的向量化表达，向量之间的距离直接表示了对应图纸间的相似度。

7)实现检索。对于任意待检索CAD图纸CADrawing_jc，利用训练好的深度网络f(·)实现空间映射：f(CADrawing_jc)→Vec_jc，根据优选采用的匹配指标Top-5 Match，即在{Vec}中选取距离Vec_jc最近的5个向量，这五个向量对应的CAD图纸即是CADrawing_jc的TOP-5最优匹配。

具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。本发明实施例提供一种基于双分支深度学习的CAD图纸检索系统，包括如下模块：

CAD图纸标注模块，用于对CAD图纸库中各图纸数据进行预先标注，将图纸CADrawing_i标注格式定义为(img_i,Class_i,ID_i)，其中img_i表示图纸的序号，每个图纸的img_i唯一且各不相同；ID_i表示该图纸对应的实体身份，一个ID_i能够对应多个img_i；Class_i表示该实体的隶属类别；

双支深度卷积网络构建模块，用于获取样本浅层深度特征的共享层、类间特征提取分支和类内特征分支，共享层分别连接类间特征提取分支和类内特征分支，最后将两类特征融合后，进行双层全连接映射输入到损失函数中；

损失函数模块，用于设以三元测试组＜anc_i,pos_i,neg_i＞作为网络输入，其中anc_i是图像img_i的锚图例，pos_i是anc_i的正图例，即与img_i具有相同ID_i的图像，neg是与img_i具有不同ID_i的图像，称为负图例，通过优化空间构建损失函数L如下，

其中，函数

对网络进行训练时，f(·)表示训练使用的是构建的双支深度卷积网络，N表示某一类图样本的样本数量，α是用来控制样本信息传递的边界参数，通过L的最大化实现网络的训练和优化；

三元测试组构建模块，用于设定对于任意的三元图例组，锚图例的选取是任意、无约束的，剩余两个图例进行正图例和负图例的分配；

训练样本构建模块，用于从CAD图纸库中以随机抽取的方式，选取具有不同构成的三元图例组作为训练样本，每组图例中保证至少有两个图例是属于同一对象或类别；根据三元测试组构建模块的设定对每组图例进行锚图例、正图例和负图例的分配；

空间映射模块，用于根据训练样本构建模块所得训练样本对构建所得双支深度卷积网络进行训练，将CAD图纸从原始的图像空间映射到特征表达向量空间；

检索实现模块，用于包括对于任意待检索CAD图纸，利用空间映射模块训练好的双支深度卷积网络实现空间映射，获取匹配结果。

具体模块实现可参见相应步骤，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替换。

Claims (4)

1.一种基于双分支深度学习的CAD图纸检索方法，其特征在于，包括如下步骤：

步骤1，CAD图纸标注，包括对CAD图纸库中各图纸数据进行预先标注，将图纸CADrawing_i标注格式定义为(img_i,Class_i,ID_i)，其中img_i表示图纸的序号，每个图纸的img_i唯一且各不相同；ID_i表示该图纸对应的实体身份，一个ID_i能够对应多个img_i；Class_i表示该实体的隶属类别；

步骤2，双支深度卷积网络构建，包括获取样本浅层深度特征的共享层、类间特征提取分支和类内特征分支，共享层分别连接类间特征提取分支和类内特征分支，最后将两类特征融合后，进行双层全连接映射输入到损失函数中；

步骤3，损失函数设置，包括设以三元测试组＜anc_i,pos_i,neg_i＞作为网络输入，其中anc_i是图像img_i的锚图例，pos_i是anc_i的正图例，即与img_i具有相同ID_i的图像，neg是与img_i具有不同ID_i的图像，称为负图例，通过优化空间构建损失函数L如下，

其中，函数

对网络进行训练时，f(·)表示训练使用的是步骤2)构建的双支深度卷积网络，N表示某一类图样本的样本数量，α是用来控制样本信息传递的边界参数，通过L的最大化实现网络的训练和优化；

步骤4，三元测试组的构建，包括设定对于任意的三元图例组，锚图例的选取是任意、无约束的，剩余两个图例进行正图例和负图例的分配；

步骤5，训练样本的构建，包括从CAD图纸库中以随机抽取的方式，选取具有不同构成的三元图例组作为训练样本，每组图例中保证至少有两个图例是属于同一对象或类别；根据步骤4对每组图例进行锚图例、正图例和负图例的分配；

步骤6，空间映射，根据步骤4所得训练样本对步骤2所得双支深度卷积网络进行训练，将CAD图纸从原始的图像空间映射到特征表达向量空间；

步骤7，检索实现，包括对于任意待检索CAD图纸，利用步骤6训练好的双支深度卷积网络实现空间映射，获取匹配结果。

2.根据权利要求1所述的基于双分支深度学习的CAD图纸检索方法，其特征在于：步骤4中，设定正图例和负图例的分配方式如下，

对于三元组图例＜CADrawing_j1,CADrawing_j2,CADrawing_j3＞，设任意选取其中图例CADrawing_j1作为锚图例，

对图例CADrawing_j2与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j12，CADrawing_j3与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j13；

当

时，选取max(Siftnum_j12,Siftnum_j13)对应的图例作为正图例，选取min(Siftnum_j12,Siftnum_j13)对应的图例作为负图例；其它情况下，CADrawing_j2，CADrawing_j3任意选取作为正或负图例；其中θ是控制三元组距离度量的常参数，θ越大表示选取的正负图例视觉特征差别越大。

3.一种基于双分支深度学习的CAD图纸检索系统，其特征在于，包括如下模块：

CAD图纸标注模块，用于对CAD图纸库中各图纸数据进行预先标注，将图纸CADrawing_i标注格式定义为(img_i,Class_i,ID_i)，其中img_i表示图纸的序号，每个图纸的img_i唯一且各不相同；ID_i表示该图纸对应的实体身份，一个ID_i能够对应多个img_i；Class_i表示该实体的隶属类别；

双支深度卷积网络构建模块，用于获取样本浅层深度特征的共享层、类间特征提取分支和类内特征分支，共享层分别连接类间特征提取分支和类内特征分支，最后将两类特征融合后，进行双层全连接映射输入到损失函数中；

损失函数模块，用于设以三元测试组＜anc_i,pos_i,neg_i＞作为网络输入，其中anc_i是图像img_i的锚图例，pos_i是anc_i的正图例，即与img_i具有相同ID_i的图像，neg是与img_i具有不同ID_i的图像，称为负图例，通过优化空间构建损失函数L如下，

其中，函数

对网络进行训练时，f(·)表示训练使用的是构建的双支深度卷积网络，N表示某一类图样本的样本数量，α是用来控制样本信息传递的边界参数，通过L的最大化实现网络的训练和优化；

三元测试组构建模块，用于设定对于任意的三元图例组，锚图例的选取是任意、无约束的，剩余两个图例进行正图例和负图例的分配；

训练样本构建模块，用于从CAD图纸库中以随机抽取的方式，选取具有不同构成的三元图例组作为训练样本，每组图例中保证至少有两个图例是属于同一对象或类别；根据三元测试组构建模块的设定对每组图例进行锚图例、正图例和负图例的分配；

空间映射模块，用于根据训练样本构建模块所得训练样本对构建所得双支深度卷积网络进行训练，将CAD图纸从原始的图像空间映射到特征表达向量空间；

检索实现模块，用于包括对于任意待检索CAD图纸，利用空间映射模块训练好的双支深度卷积网络实现空间映射，获取匹配结果。

4.根据权利要求3所述的基于双分支深度学习的CAD图纸检索系统，其特征在于：三元测试组构建模块中，设定正图例和负图例的分配方式如下，

对于三元组图例＜CADrawing_j1,CADrawing_j2,CADrawing_j3＞，设任意选取其中图例CADrawing_j1作为锚图例，

对图例CADrawing_j2与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j12，CADrawing_j3与CADrawing_j1做SIFT特征点匹配，匹配点个数记为Siftnum_j13；

当

时，选取max(Siftnum_j12,Siftnum_j13)对应的图例作为正图例，选取min(Siftnum_j12,Siftnum_j13)对应的图例作为负图例；其它情况下，CADrawing_j2，CADrawing_j3任意选取作为正或负图例；其中θ是控制三元组距离度量的常参数，θ越大表示选取的正负图例视觉特征差别越大。

Images