CN110188228B - 基于草图检索三维模型的跨模态检索方法 - Google Patents

Abstract

本发明公开了一种基于草图检索三维模型的跨模态检索方法，该方法为基于联合特征映射的端到端三维模型草图检索方法，输入来自不同域的草图和三维模型构建共享数据空间，在共享数据空间内完成联合特征映射构建共享联合特征分布，以缩小域间差异性，提高检索准确率，再根据完成的联合特征分布来进行相似评价检索。本发明方法检索性能突出，可有效完成跨模态检索，有着更好的准确度，操作简单，实用性强。

Description

基于草图检索三维模型的跨模态检索方法

技术领域

本发明涉及计算机图形学、计算机视觉与智能识别的技术领域，尤其是指一种基于草图检索三维模型的跨模态检索方法。

背景技术

近年来,随着计算机辅助设计、三维扫描和三维打印技术的普及,三维模型的数量急剧增加、形式复杂多样,检索需求也愈加急迫.由于实例方法表达准确,基于实例的匹配及检索难度较低,相关研究得到了广泛关注,产生了一系列工作.然而,这类方法要求用户预先拥有被检索三维模型,这往往是不现实的.草图对三维模型有一定表征能力,且具有描述便捷、普适亲民的特点,于是基于草图的三维模型检索成为了新的研究方向.

基于草图的三维模型检索具有以下几个突出特点:1、易用性.草图易于构建,不受专业和年龄限制,可以非常容易的通过简单的线条表达设计思想；2、域间差异性.如图1所示,左侧一列和右侧三列分别给出了隶属同一类别的三维模型及草图.显然,三维模型和草图来源于不同的数据域,前者表征准确、信息丰富,后者表征简洁、信息抽象,因此彼此之间具有巨大的域间差异性；3、草图域内多样性.受主观意识和环境等因素的影响,同类草图之间具有显著的域内多样性；4、三维模型复杂性.三维模型数据具有非结构化特性,表征复杂.因此,基于草图的三维模型检索应用潜力巨大但仍然相当困难.现有方法主要通过以跨域检索显式地构建共享数据空间,将三维模型转换为和草图较为相似的线条图,以减小域间差异性.另一类方式提取各域数据的特征并通过深度学习等方法建立跨域数据的共享空间,以减小域间差异.本发明认为,以上两种方式都只在局部范围内考虑了草图和三维模型跨域数据之间的差异性,并不能充分利用深度学习机制自动构建“保留类别属性且减小域间差异性的特征”,一定程度影响检索效果.

部分工作将三维模型转换为视图,然后将视图转换为线条图,再分别提取草图和线条图的特征,最终进行相似评价以完成检索.如基于弥散张量成像的方法[Yoon S M,Scherer M,Schreck T,et al.Sketch-based 3D model retrieval using diffusiontensor fields of suggestive contours[C]//Proceedings of the internationalconference on Multimedia-MM2010:193],基于词袋模型的方法[Eitz M,Richter R,Boubekeur T,et al.Sketch-based shape retrieval[J].ACM Transactions onGraphics,2012,31(4):1-10.],基于高斯混合模型费舍编码的方法[Mao D,Yin H,Li H,etal.3D model retrieval based on hand-drawn sketches[J].Journal of systemsimulation,2015(10):2607-2614.].也有工作用传统方式对草图和三维模型的多视图分别提取描述符,并构建流型空间实现跨模态嵌入[Furuya T,Ohbuchi R.Ranking oncross-domain manifold for sketch-based 3D model retrieval[C]//Proceedings ofCyberworlds(CW),2013International Conference on.IEEE,2013:274-281.].该方法在草图-三维模型检索领域做出了有益的尝试,取得了一定的效果.然而,由于草图-三维模型检索的域间差异性、草图域内多样性、三维模型复杂性,这些特性相互交织,使得人工方式提取出一种合适的特征非常困难.因而这些方法的检索准确率普遍较低.

基于深度学习的方法.草图-三维模型的检索包括特征提取(如果是将三维模型表征为多视图,则三维模型的特征提取又可分为视图特征提取和特征融合两个子部分)和特征跨域嵌入两部分.按照深度学习在检索过程中承担作用的不同,可细分为以下三类.

第一类方法中,用传统方法对数据预先提取特征,然后利用深度学习完成特征嵌入.如,DCML[Dai G,Xie J,Zhu F,et al.Deep Correlated Metric Learning forSketch-based 3D Shape Retrieval[C]//Proceedings of/AAAI.2017:4002-4008.]和DCHML[Dai G,Xie J,Fang Y.Deep Correlated Holistic Metric Learning for Sketch-based 3D Shape Retrieval[J].IEEE Transactions on Image Processing,2018:1-1.]利用3D-SIFT对三维形状进行表征；PCDNN则利用ScSPM和LD-SIFT对草图和三维形状分别表征[14].然后以提取的特征为输入,用深度学习模型完成跨模态数据的嵌入.

第二类方法不考虑跨域数据间的差异性,利用深度学习提取三维模型(或其对应的多视图)和草图的特征,然后直接基于各自的特征完成跨域相似评价.如刘等人所提出的融合信息熵和CNN的方法[Liu Y,Song Y,Li Z et al.Hand-drawn 3D model retrievalbased on fusion information entropy and CNN[J].Journal of Graphics 39.4:735-741].

以上两种方法人为地将特征提取和特征嵌入分为两步,难以充分利用深度学习的特征学习能力学习一种减小模态差异的特征描述符,检索效果并不理想.

第三类方法利用深度学习完成特征提取和特征嵌入.典型工作有Siamese[WangF,Kang L,Li Y.Sketch-based 3D shape retrieval using convolutional neuralnetworks[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2015:1875-1883],LWBR[Xie J,Dai G,Zhu F,et al.Learningbarycentric representations of 3D shapes for sketch-based 3D shape retrieval[C]//Proceedings of 2017IEEE Conference on Computer Vision and PatternRecognition(CVPR).IEEE],MVPR[Li H,Wu H,He X et al.Multi-view pairwiserelationship learning for sketch based 3D shape retrieval[C]//Proceedings of2017IEEE International Conference on Multimedia and Expo(ICME).IEEE,2017],DCA[Chen J,Fang Y.Deep cross-modality adaptation via semantics preservingadversarial learning for sketch-based 3D shape Retrieval[J].2018].由于全局性地利用深度学习完成特征提取到嵌入,这类方法在特征提取、特征嵌入的各个阶段均利用了深度学习良好的学习能力,效果普遍较好.只是Siamese、LWBR、DCA均在特征嵌入之前预先进行三维模型多视图之间的特征融合,可能造成有益信息的过早丢失.MVPR将特征融合放在特征嵌入的决策阶段进行,可充分保留三维模型多视图特征的完整信息；不足之处在于人为地将特征提取及特征嵌入分为两个阶段独立地进行,可能产生与整体最优解不匹配的中间决策。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于草图检索三维模型的跨模态检索方法，检索性能突出，可有效完成跨模态检索，有着更好的准确度，操作简单，实用性强。

为实现上述目的，本发明所提供的技术方案为：基于草图检索三维模型的跨模态检索方法，该方法为基于联合特征映射的端到端三维模型草图检索方法，输入来自不同域的草图和三维模型构建共享数据空间，在共享数据空间内完成联合特征映射构建共享联合特征分布，以缩小域间差异性，提高检索准确率，再根据完成的联合特征分布来进行相似评价检索；其包括以下步骤：

S1、共享数据空间构建

数据集选用标准的SHREC2013、SHREC2014数据集，每个数据集包括三维模型数据子集和草图数据子集，分别针对两个数据集划分训练数据集和测试数据集；

S2、数据预处理

针对训练集和测试集的数据，将其中三维模型处理成满足网络输入尺寸的多视图形式，草图大小与其相同；

S3、特征提取网络构建

针对草图-三维模型检索，需有效地度量输入样本和库内模型之间的相似性即距离，拟利用深度度量学习的方法完成特征嵌入；

S4、构建联合特征分布

引入深度度量学习形成三维模型和草图之间的联合特征映射，在放松域间同类数据绝对距离约束的同时，确保类内数据和类间数据的相对距离，以更加符合跨模态数据检索的特性；

S5、相似排序检索

对于同类模型，因其在高维空间中分布趋近，令输入草图为query，所以只需度量query在检索库中映射位置所属即可，分别用平均欧式距离、最小欧式距离、平均推土机距离和最小推土机距离四种度量方式，完成草图-三维模型的有效检索。

在步骤S1中，选用数据集为SHREC2013和SHREC2014，SHREC2013包含90个类，7200个草图，1258个三维模型；SHREC2014包含171个类，13680个草图和8978个三维模型。

在步骤S2中，选择了多视图卷积神经网络MVCNN所提出的视图渲染方法，采用二维投影即视图的形式来表征三维模型，至此，三维模型转换为一组二维视图的集合，建立了草图和三维模型之间的共享数据空间。

在步骤S3中，采用网络模型AlexNet提取输入草图和视图的公共语义特征，共包含9层，第一层为输入层，第二至八层为隐藏层，第九层为输出层，各层结构如下：

第一层，输入层：将通过数据增广获得的增广视图作为训练样本输入到网络；

第二层，隐藏层：包含一个卷积层、一个激活函数层、一个池化层和一个局部相应归一化层；

第三层，隐藏层：包含一个卷积层和一个激活函数层；

第四层，隐藏层：包含一个卷积层和一个激活函数层；

第五层，隐藏层：包含一个卷积层和一个激活函数层、一个池化层和一个DropOut层；

第七层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；

第八层，隐藏层：包含一个全连接层、一个激活函数层；

第九层，输出层：一个全连接层；

该网络应能根据输入的二维图像逐层抽象高层语义属性。

在步骤S4中，在构建联合特征分布时，对于特征提取网络采取共享权值的方法进行特征提取，使得不同分布的数据的特征映射在同一个高维空间之中，为使二者有着同类相近，异类相远的特点，选择了三元组Triplet度量学习方法以建立跨域数据的联合特征分布；

基于以上分析，设正样本对距离和负样本对距离分别为d^p＝||f(s,ω)-f(v^p,ω)||²和dⁿ＝||f(s,ω)-f(vⁿ,ω)||²，为使正样本对相对距离近，负样本对相对距离远，即dⁿ＞d^p，有dⁿ-d^p＞α，α＞0；则损失函数定义如下：

式中，s为查询库，v^p为库内同类视图样本，vⁿ为异类视图样本，N为一个批次中样本总数α为正负样本间相对距离，f为网络学习到的映射函数；

基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域数据的联合特征映射，形成了跨域数据依据类别呈簇状分布的稳定状态，对于以特征间距离为标准的检索起到良好的支撑作用。

在步骤S5中，对于同类模型，因其在高维空间中分布趋近，所以只需度量输入query在检索库中映射位置所属即可，在联合特征分布中，得到了跨域数据的联合特征分布空间F；对于草图s_i∈S有其特征x＝f(s_i,ω),x∈F，对于三维模型m_k∈M，用l个视图v^j来表示模型m_k，其视图特征y＝{y^j＝f(v^j,ω),y∈F,v^j∈m_k,1≤j≤l}，其中F为联合特征分布空间，ω为学习的权重，M为模型数据空间。

本发明与现有技术相比，具有如下优点与有益效果：

1、提出一种端到端的跨域深度学习架构，该架构将特征提取、特征嵌入融于一体，形成全局优化策略，减小域间差异性的同时更好地保留数据内容属性。

2、引入深度度量学习形成三维模型和草图之间的联合特征映射，在放松域间同类数据绝对距离约束的同时，确保类内数据和类间数据的相对距离，更加符合跨模态数据检索的特性。

3、为了达到更好的相似性排序，本发明使用了欧式距离来进行相似度衡量。平均距离可以更加全面地考虑各个视图的综合特征，而结合欧式距离达到更好地效果。

4、为全面评价检索算法的性能，本文选用三维模型检索领域通用的Precision-Recall曲线(PR曲线)、Nearest Neighbor(NN)、First Tier(FT)、Second Tier(ST):、E-Measure(E)、Discounted Cumulative Gain(DCG)、Mean Average Precision(MAP)七个指标作为评价标准。

5、本发明在草图检索三维模型方面有着更好的准确度，操作简单，实用性强，具有很好的利用前景。

6、网络结构简单，仅采用修改过的AlexNet为主要特征提取网络。

7、本发明在网络训练之时无需预训练，即无需额外训练，现有的跨模型检索网络(尤指度量学习方法)通常要对网络进行预训练再进行微调，本方法只需训练后使用即可，节省了大量时间。

8、基于大型标准数据集SHREC13和SHREC14的测试结果表明，在无需任何预训练的情况下，本方法在同类工作中取得了领先水平，获得了目前最先进的成果。

附图说明

图1为三维模型及所对应的草图示例。

图2为本发明方法框架图。

图3为跨域数据联合特征映射图。

图4为在SHREC2013数据集上的PR曲线比较图。

图5为在SHREC2013数据集上的检索性能比较图。

图6为在SHREC2013数据集上的检索实例展示图。

图7为在SHREC2014数据集上的PR曲线比较图。

图8为在SHREC2014数据集上的检索性能比较图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的基于草图检索三维模型的跨模态检索方法，基于联合特征映射的端到端三维模型草图检索，建立跨域数据的联合特征分布，以缩小域间差异性，提高检索准确率，如图2所示框架，展示了跨域数据联合特征映射算法，节旨在构建深度学习网络以提取输入草图和视图的公共语义特征。该网络应能根据输入的二维图像逐层抽象高层语义属性，并建立联合特征映射，形成联合特征分布。本文提了出了一种端到端深度学习框架：在训练阶段输入草图和三维模型，经过多视图提取及数据预处理构建其共享数据空间，经特征提取及跨域联合特征映射构建跨域数据的联合特征分布。在检索阶段输入草图，基于学习建立的跨域数据联合特征分布进行相似评价，返回检索结果。其包括以下步骤：

S1、共享数据空间构建

选用数据集为SHREC2013和SHREC2014，SHREC2013包含90个类，7200个草图，1258个三维模型；SHREC2014包含171个类，13680个草图和8978个三维模型。

选每类中50个三维模型为训练数据，30个为测试数据。

S2、数据预处理

S2.1、采用MVCNN[Su H,Maji S,Kalogerakis E,et al.Multi-viewconvolutional neural networks for 3d shape recognition[C]//Proceedings of theIEEE international conference on computer vision.2015:945-953.]的方法，将三维模型处理成视图渲染的形式。

S2.2、针对每一个草图和视图，将其缩放至256×256，使得图片尺寸一致，并将视图转换为灰度图。

S2.3、将S2.1中数据转换成LMDB格式，使得网络易于读取。

S2.4、将S2.2所得图片减去对应图像均值的方式实现图像归一化，使得数据分布中心化。

S2.5、利用顺时针或逆时针旋转30°及随机裁剪的方式获取225×225的扩增图像。由于裁剪和旋转是随机的，本操作可增加训练数据并提高训练样本的多样性，进而减小网络的过拟合，提高预测的鲁棒性。

S3、特征提取网络的构建

在构建深度度量学习网络中，选择所需的深度神经网络，并构造联合特征映射网络；其中，所述基深度神经网络需要完成特征提取，综合考虑三维模型库及其对应二维视图的规模及复杂性，选择AlexNet作为面向单个二维视图分类的深度学习模型，同时也将其应用于草图。所述基学习器的AlexNet共包含9层，第一层为输入层，第二至八层为隐藏层，第九层为输出层，各层结构如下：

第一层，输入层：将通过数据增广获得的增广视图作为训练样本输入到网络；

第二层，隐藏层：包含一个卷积层(卷积核尺寸为11*11，步长为4，输出维度为96)、一个激活函数层、一个池化层(尺寸为3*3,步长为2)和一个局部相应归一化层(size为5*5,Bias＝,ɑ＝1e-4,β＝0.75)；

第三层，隐藏层：包含一个卷积层(卷积核尺寸为5*5，步长为1，输出维度为256)、一个激活函数层、一个池化层(尺寸为3*3,步长为2)和一个局部相应归一化层(size为5*5,Bias＝,ɑ＝1e-4,β＝0.75)；

第四层，隐藏层：包含一个卷积层(卷积核尺寸为3*3,步长为1，输出维度为384)和一个激活函数层；

第五层，隐藏层：包含一个卷积层(卷积核尺寸为3*3,步长为1，输出维度为384)和一个激活函数层；

第六层，隐藏层：包含一个卷积层(卷积核尺寸为3*3,步长为1，输出维度为256)和一个激活函数层、一个池化层和一个DropOut层(概率P＝0.5)；

第七层，隐藏层：包含一个全连接层(输出维度为4096)、一个激活函数层和一个DropOut层(概率P＝0.5)；

第八层，隐藏层：包含一个全连接层(输出维度为4096)、一个激活函数层；

第九层，输出层：一个全连接层(输出维度为250)。

S4、构建联合特征分布

在构建联合特征分布时，对于特征提取网络采取共享权值的方法进行特征提取。使得不同分布的数据的特征映射在同一个高维空间之中。为使二者有着同类相近，异类相远的特点。本发明选择共享权值与Triplet度量学习结合的方法建立跨域数据的联合特征分布，跨域数据联合特征映射如图3所示。

假定正样本对距离和负样本对距离分别为d^p＝||f(s,ω)-f(v^p,ω)||²和dⁿ＝||f(s,ω)-f(vⁿ,ω)||²。为使正样本对相对距离较近，负样本对相对距离较远，即dⁿ＞d^p，有dⁿ-d^p＞α(α＞0)。则损失函数定义如下：

式中，s为查询库，v^p为库内同类视图样本，vⁿ为异类视图样本，N为一个批次中样本总数α为正负样本间相对距离，f为网络学习到的映射函数。

基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域数据的联合特征映射，形成了跨域数据依据类别呈簇状分布的稳定状态，对于以特征间距离为标准的检索起到良好的支撑作用。在训练时，和视图的网络选用完全权值共享的方式和随机梯度下降(SGD)+牛顿动量法优化。这是因为对于大型数据集,SGD法训练和收敛速度快,但是依赖于鲁棒的初始值和良好的学习速率调整,存在不稳定的问题；而牛顿动量的加入可以一定程度的抑制振荡,提高网络学习的稳定性，更新公式如下：

θ_new＝θ-λ▽θ+εv_t-1

式中，θ_new和θ分别表示当前参数和原始参数；▽θ表示参数在当前位置的梯度；v_t-1表示之前所有步骤累计的动量和；ε为动量所占权重，本文取值为0.9；λ表示当前学习速率，初始化为0.0001,并利用下列公式现自适应调整，以进一步提高收率速度，确保训练的稳定性。

式中，λ_new和λ分别表示当前学习速率和原始学习速率；α为迭代次数；k和γ为学习速率更新公式中设定的参数,本文中分别取0.75和0.0001。

S5、相似排序检索

对于同类模型，因其在高维空间中分布趋近，所以只需度量输入query在检索库中映射位置所属即可，在联合特征分布中，得到了跨域数据的联合特征分布空间F；对于草图s_i∈S有其特征x＝f(s_i,ω),x∈F，对于三维模型m_k∈M，用l个视图v^j来表示模型m_k，其视图特征y＝{y^j＝f(v^j,ω),y∈F,v^j∈m_k,1≤j≤l}，其中F为联合特征分布空间，ω为学习的权重，M为模型数据空间。

定义草图s_i到三维模型m_k的平均距离为D_avg(x→y)，如公式

所示，式中，d(x,y^j)为草图和三维模型第j个视图间的距离。

定义草图s_i到三维模型m_k的最小距离为D_min(x→y)，如公式D_min(x→y)＝min_jd(x,y^j),1≤j≤l所示。

给定任一草图或视图，设其对应的特征f∈F，可表征为d维特征向量f＝{f₁,f₂,…,f_d}。则草图与视图之间的距离计算可分别采用欧氏距离(Euclidean distance)与推土机距离(Wasserstein distance)，计算公式为

和

式中d_im是x_i到

空间距离，r_im是x_i到

的移动距离。在本方法中，我们分别用EUD_avg，EUD_min，EMD_avg，EMD_min来表示平均欧式距离、最小欧式距离、平均推土机距离和最小推土机距离四种度量方式，并在表1中给出了SHREC13上的检索结果对比，充分展示了欧式平均方法良好表现。

表1不同度量方式的实验结果对比

距离度量	NN	FT	ST	E	DCG	MAP
							EUD_Ave	0.869	0.793	0.871	0.415	0.902	0.818
EUD_Min	0.83	0.749	0.850	0.405	0.875	0.795
							EMD_Ave	0.847	0.772	0.861	0.409	0.888	0.816
EMD_Min	0.826	0.745	0.848	0.404	0.873	0.792

基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域数据的联合特征映射，形成了跨域数据依据类别呈簇状分布的稳定状态，对于以特征间距离为标准的检索起到良好的支撑作用。

本发明实验的硬件环境为Intel Core i7 2600k+GTX 1070 8G+8G RAM，软件环境为windows 7x64+CUDA 8。0+CuDNN 5。1+Caffe+Python+Matlab。使用Matlab完成检索指标评价及部分可视化效果，使用Python处理数据、存储图像特征并完成检索实验。

一、SHREC2013检索结果及对比

图4给出了各种检索方法在SHREC2013数据集上的PR曲线.由图可见:①本文方法拥有最高查准率.在不同召回率下,本文方法的查询准确率均高于其它方法；平均来看,本文方法的查准率分别高出LWBR,DCML和Siamese等方法63.0％,89.6％和77.1％.②本文方法的查询准确率非常稳定:在召回率低于85％时,准确率稳定在80％以上；在召回率达到100％时,准确率也高达54％。

图5补充给出了各种方法所对应的其它评价指标,包括NN,FT,ST,E,DCG和MAP.由图可见,本文方法在各个指标上均明显优于其它方法,这也再次验证了本文方法的有效性。

图6给出了本文方法在SHREC2013数据集上的部分检索实例.图中左边一栏给出了查询时输入的草图,右侧按照距离的升序依次给出了前10个检索结果.正确结果渲染为深灰色；错误结果渲染为浅灰色,并标出了真正的标签.由图可见,对于类Airplane,Car和Hand,10个检索结果均正确；对于类Ant,Brain,Dragon和Stand-bird,所有结果都已返回,在不满足10个检索目标的情况下,又增列返回了其它相似模型(在库内Ant,Brain,Dragon和Stand-bird分别包含5个、7个、6个、7个三维模型)；只有类Helicopter的10个返回结果中包含了1个与其极其相似的飞机模型.整体来看,本文方法检索准确率高,且top-C的召回率高,对用户检索极其友好。

二、SHREC2014检索结果及对比

SHREC2014是一个更大的数据集,其三维模型的数量为SHREC2013的七倍有余,类内模型数量最少为10个,最多达到300个,因此也是一个更具挑战性的测试数据集.本节将选择该数据集对本文方法做一个更加全面的测试和比较。

图7和图8分别给出了各种方法在数据集SHREC2014上的PR曲线及其它六项检索指标。显然,本文方法在各个性能指标上均优于其它方法,这充分说明本文所提出检索方法性能突出，能够有效应用于大型数据集。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.基于草图检索三维模型的跨模态检索方法，其特征在于，该方法为基于联合特征映射的端到端三维模型草图检索方法，输入来自不同域的草图和三维模型构建共享数据空间，在共享数据空间内完成联合特征映射构建共享联合特征分布，以缩小域间差异性，提高检索准确率，再根据完成的联合特征分布来进行相似评价检索；包括以下步骤：

S1、共享数据空间构建

数据集选用标准的SHREC2013、SHREC2014数据集，每个数据集包括三维模型数据子集和草图数据子集，分别针对两个数据集划分训练数据集和测试数据集；

S2、数据预处理

针对训练集和测试集的数据，将其中三维模型处理成满足网络输入尺寸的多视图形式，草图大小与其相同；

S3、特征提取网络构建

采用网络模型AlexNet提取输入草图和视图的公共语义特征，共包含9层，第一层为输入层，第二至八层为隐藏层，第九层为输出层，各层结构如下：

第一层，输入层：将通过数据增广获得的增广视图作为训练样本输入到网络；

第二层，隐藏层：包含一个卷积层、一个激活函数层、一个池化层和一个局部相应归一化层；

第三层，隐藏层：包含一个卷积层和一个激活函数层；

第四层，隐藏层：包含一个卷积层和一个激活函数层；

第五层，隐藏层：包含一个卷积层和一个激活函数层、一个池化层和一个DropOut层；

第七层，隐藏层：包含一个全连接层、一个激活函数层和一个DropOut层；

第八层，隐藏层：包含一个全连接层、一个激活函数层；

第九层，输出层：一个全连接层；

该网络根据输入的二维图像逐层抽象高层语义属性；

针对草图-三维模型检索，需有效地度量输入样本和库内模型之间的相似性即距离，利用深度度量学习的方法完成特征嵌入；

S4、构建联合特征分布

引入深度度量学习形成三维模型和草图之间的联合特征映射，在放松域间同类数据绝对距离约束的同时，确保类内数据和类间数据的相对距离，以更加符合跨模态数据检索的特性；

在构建联合特征分布时，对于特征提取网络采取共享权值的方法进行特征提取，使得不同分布的数据的特征映射在同一个高维空间之中，为使二者有着同类相近，异类相远的特点，选择了三元组Triplet度量学习方法以建立跨域数据的联合特征分布；

基于以上分析，设正样本对距离和负样本对距离分别为d^p＝||f(s,ω)-f(v^p,ω)||²和dⁿ＝||f(s,ω)-f(vⁿ,ω)||²，为使正样本对相对距离近，负样本对相对距离远，即dⁿ＞d^p，有dⁿ-d^p＞α，α＞0；则损失函数定义如下：

式中，s为查询库，v^p为库内同类视图样本，vⁿ为异类视图样本，N为一个批次中样本总数α为正负样本间相对距离，f为网络学习到的映射函数；

基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域数据的联合特征映射，形成了跨域数据依据类别呈簇状分布的稳定状态，对于以特征间距离为标准的检索起到良好的支撑作用；

S5、相似排序检索

对于同类模型，因其在高维空间中分布趋近，令输入草图为query，所以只需度量query在检索库中映射位置所属即可，分别用平均欧式距离、最小欧式距离、平均推土机距离和最小推土机距离四种度量方式，完成草图-三维模型的有效检索。

2.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法，其特征在于：在步骤S1中，选用数据集为SHREC2013和SHREC2014，SHREC2013包含90个类，7200个草图，1258个三维模型；SHREC2014包含171个类，13680个草图和8978个三维模型。

3.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法，其特征在于：在步骤S2中，选择了多视图卷积神经网络MVCNN所提出的视图渲染方法，采用二维投影即视图的形式来表征三维模型，至此，三维模型转换为一组二维视图的集合，建立了草图和三维模型之间的共享数据空间。

4.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法，其特征在于：在步骤S5中，对于同类模型，因其在高维空间中分布趋近，所以只需度量输入query在检索库中映射位置所属即可，在联合特征分布中，得到了跨域数据的联合特征分布空间F；对于草图s_i∈S有其特征x＝f(s_i,ω),x∈F，对于三维模型m_k∈M，用l个视图v^j来表示模型m_k，其视图特征y＝{y^j＝f(v^j,ω),y∈F,v^j∈m_k,1≤j≤l}，其中F为联合特征分布空间，ω为学习的权重，M为模型数据空间。

Images