CN107122396A - 基于深度卷积神经网络的三维模型检索算法 - Google Patents
基于深度卷积神经网络的三维模型检索算法 Download PDFInfo
- Publication number
- CN107122396A CN107122396A CN201710147284.0A CN201710147284A CN107122396A CN 107122396 A CN107122396 A CN 107122396A CN 201710147284 A CN201710147284 A CN 201710147284A CN 107122396 A CN107122396 A CN 107122396A
- Authority
- CN
- China
- Prior art keywords
- projection
- feature
- hand
- dimensional model
- sketch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 67
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 239000000592 Artificial Cell Substances 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 241000894006 Bacteria Species 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 241001632422 Radiola linoides Species 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 27
- 238000013461 design Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241001632427 Radiola Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000012489 doughnuts Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度卷积神经网络的三维模型检索算法,该方法采用度量学习算法得到一个欧氏嵌入空间,将手绘草图与模型投影嵌入同一特征空间,在该特征嵌入空间中的欧氏距离可以直接代表草图和模型投影之间的相似度,解决了草图与模型投影图之间的跨域匹配问题。同时设计一种排序机制,使得在该特征空间中同类别图像之间的距离小于不同类别图像之间的距离,可以区分不同类别间的细微差异并且适应同类别不同风格的变体;并且本发明采用卷积神经网络来学习超完备的特征过滤器组组成特征提取器,提取出高级抽象特征,有效的解决了手工设计的低级几何特征描述子的算法泛化能力弱,难以扩展到未知数据集的问题。
Description
技术领域
本发明属于计算机视觉技术领域,涉及基于深度卷积神经网络的三维模型检索的算法。
背景技术
目前三维模型已经在诸如虚拟现实、工业设计、3D游戏和视觉设计等领域广泛应用。随着三维图形建模技术和三维数据获取技术的发展,产生了海量的三维模型数据库。因此,为了充分利用现有的三维模型,帮助用户方便高效的获取符合需求的三维模型,三维检索技术成为当前热点研究问题。
三维模型检索的工作流程是根据用户输入的查询请求,在模型数据库中搜索出相关的模型集合最终反馈给用户。一类算法通过已有三维模型作为输入表达查询意图,但通常用户难以获取合适的现有模型用来查询。另一类算法通过文字描述目标模型来表达查询意图,但用户通常难以用语言精确的描述目标模型,而且模型库通常也没有充分标签化,因此这种算法使用场景也十分有限。人类自从史前时期就已经使用手绘草图来描绘视觉世界了,直至今日,手工绘制草图可能是唯一一种所有人都具备的绘画能力。近期的神经科学研究表明:大脑认知简单抽象的草图的方式和认知真实世界物体的方式相同。因此,手绘草图作为一种方便快捷的交互方式可以更好的表达用户的查询意图。
在基于手绘草图的三维模型检索算法中,用户通过绘制二维草图表达查询意图,而直接匹配二维草图和三维模型十分困难,通常此类检索算法首先根据非真实感渲染技术(Non-Photorealistic Render)在多个视角下渲染出三维模型的二维投影图,将问题映射为单个查询草图和数据库中目标模型生成的若干张投影图之间的相似度匹配问题,然后通过匹配用户输入的草图和模型投影图完成检索。手绘草图及模型投影示意如图2所示。基于手绘草图的三维模型检索具有以下特点及挑战:(1)手绘草图由于经过人脑的艺术加工处理,具有很强的抽象性,而三维模型是参照现实世界中的物体建模产生,具有精确性,从而三维模型的二维投影图也具有与手绘草图不同的写实风格。二者处于不同域,难以直接进行相似度计算,这给相似度度量造成很大挑战,需要检索算法能很好的解决跨域匹配(Cross Domain Matching)问题。(2)手绘草图是二值线条信息,与自然图像相比缺少颜色和纹理信息,不同物体通常被绘制成相似的草图,例如轮胎和甜甜圈绘制成草图后,由于缺乏颜色和细节纹理信息,变得很难区分,这对检索算法区分不同物体之间差异的能力提出极高的要求。(3)由于不同用户的思维方式、领域背景知识和手绘习惯偏好等不同,对同一物体的绘制会产生风格迥异,抽象程度不同,形状外观相去甚远的草图,如图2中对同一模型绘制的草图几何外观差异很大。这就对检索算法对同类模型图像的大量变体有极高的适应性。(4)由于模型数据库规模巨大,为了使检索系统在大规模数据集上有较强的可用性,对检索算法的计算效率提出很高要求。(5)由于算法设计阶段掌握的样本数量有限,当检索系统上线运行时会遇到大量未知样本数据,所以要求算法有较强的泛化能力。
特征提取算法是三维模型检索最重要的环节,特征表达能力的强弱直接影响查询效果。传统的基于手工设计特征描述子的算法都基于一个基本假设:手绘草图和模型及其投影之间的风格差异造成的跨域匹配问题可以很容易的通过手工设计的描述低级几何信息的视觉特征描述子解决。但事实上,在扩展到大规模数据集时,由于手绘草图风格千变万化,模型外观复杂度上升,很难实现通过手工设计的特征描述子来解决跨域匹配问题。同时,手工设计的特征描述子往往泛化能力(generalization ability)弱,难以适应未知数据集,限制了在线查询系统的可扩展性。
本发明的工作和卷积神经网络息息相关。近年来,深度学习在计算机视觉任务上取得了瞩目的成就。特别是深度卷积神经网络不断打破图像识别标准记录,大幅超越手工设计特征描述子的算法。卷积神经网络(CNN)是一种常见的深度学习架构,受生物自然视觉认知机制启发而来。CNN能够以极少的预处理操作学习到图像原始像素的一种高抽象层次的结构化特征表达。CNN通常由卷积层、池化层、各种非线性激活层以及损失函数构成。局部信号首先通过与一组过滤器卷积,进一步经由池化层降采样整合局部信号,减少参数,防止过拟合,再由非线性激活层对信号进行非线性映射,学习到抽象层次高的特征表达。CNN的学习过程采用随机梯度下降法(Stochastic Gradient Descent,SGD)等优化算法。
深度卷积神经网络具有强大的表达能力,可通过深层非线性网络结构,实现复杂函数逼近,学习到输入数据的分布式表示,并具有强大的从少数样本集中学习数据集本质特征的能力。因此,本发明基于深度卷积神经网络设计特征提取器提高检索系统的性能。
发明内容
本发明的目的是针对现有技术的不足,提出一种基于深度卷积神经网络的三维模型检索方法。该方法采用度量学习算法得到一个欧氏嵌入空间,将手绘草图与模型投影嵌入同一特征空间,在该特征嵌入空间中的欧氏距离可以直接代表草图和模型投影之间的相似度,很好的解决了草图与模型投影图之间的跨域匹配问题。同时设计一种排序机制,使得在该特征空间中同类别图像之间的距离小于不同类别图像之间的距离,从而得到健壮的特征表示,可以区分不同类别间的细微差异并且适应同类别不同风格的变体。并且本发明采用卷积神经网络来自动学习超完备的特征过滤器组组成特征提取器,提取出高级抽象特征,该特征除了能够容忍非线性形变之外,在未知数据集上也有很强的泛化能力,有效的解决了手工设计的低级几何特征描述子的算法泛化能力弱,难以扩展到未知数据集的问题。最终,将上述约束形式化为一个统一的目标函数,设计出一个集成化的检索方法。
基于深度卷积神经网络的三维模型检索算法,包括以下步骤:
步骤1,设三维模型数据库M={m1,m2,...,mn};
步骤11,设单位球面三角网格U={V,T},V是三角形顶点集合,T是三角形集合;
步骤12,从三角形顶点集合V中随机选择d个顶点作为种子顶点,所述d个种子顶点组成种子顶点集合Se,
步骤131,以Seeds中所有种子顶点作为劳埃德松弛算法的种子,得到d个沃罗诺伊原胞,所述d个沃罗诺伊原胞的中心分别为Cent1,Cent2,...,Centd;
步骤132,将Seeds中的每个种子顶点分别移动到对应的沃罗诺伊原胞的中心,即令vertex1=Cent1,vertex2=Cent2,...,vertexd=Centd,所述Seeds中的所有种子顶点移动到对应的沃罗诺伊原胞的中心的距离记为D={distance1,distance2,...,distanced},且将D中的最大值记为Maxdistance;
步骤133,重复步骤131至步骤132,直到Maxdistance<0.01,执行步骤14;
步骤14,将沃罗诺伊原胞的中心Centj,j=1...d作为视角vj,得到视角集合Views={v1,v2,...,vj,...vd};
任选三维模型数据库M={m1,m2,...,mn}中的任一个三维模型mi,i=1,2,…,n,n为大于等于1的自然数;将mi做归一化处理后,依次采用视角集合Views中的所有视角对三维模型mi进行线渲染得到的投影图集合其中,为选用视角集合Views中的任一视角vj,对三维模型mi进行线渲染得到投影视图,j=1,2,...d;
步骤15,重复步骤14得到三维模型数据库M={m1,m2,...,mn}中所有模型的投影图数据集
步骤2,设手绘草图数据集为S={s1,s2,...,sa,...,sk},a=1,2,…,k;
步骤21,将S∪P作为GoogLeNet网络的输入,将GoogLeNet网络中的全连接层节点个数设置为模型类别数,将学习率设置为0.01,权重衰减设置为0.0001,动量设置为0.95,以随机梯度下降法作为优化算法,迭代训练GoogLeNet网络得到分类器C(x);
步骤22,将投影图数据集中的每一个投影图作为分类器C(x)的输入,得到投影图数据集P中所有图像的索引I(key,value),所述key为投影图数据集P中所有投影图所属类别的编号;设key=c,c为大于等于1的自然数,投影图数据集P中属于类别c的投影图集合为value为在分类器globalpool层的特征向量组成的集合
步骤3,生成三元组数据集合,包括:
步骤31,任取手绘草图数据集S中的任一手绘草图作为当前手绘草图sa;
将当前手绘草图sa输入分类器C(x)得到分类预测分数向量其中,当前手绘草图sa的预测类别向量 为绘草图sa的预测类别编号,b=1,2,…,C,C为预测类别总数,C为大于等于1的自然数,表示手绘草图sa属于类别的概率,
步骤31,设当前手绘草图sa的类别标签为la,la∈Ca,将类别标签la作为正类标签pa,从当前手绘草图sa的预测类别向量中任选5个不同于pa的标签作为负类标签集合
步骤32,从索引I中得到标记为正类标签pa的所有投影图的特征向量集合计算当前手绘草图sa的特征向量Cgp(sa)与所有正类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为正样本,得到5个正样本;
步骤331,任选负类标签集合na中的任一负类标签作为当前负类标签
从索引I中得到标记为当前负类标签的所有投影图的特征向量集合计算当前手绘草图sa的特征向量Cgp(sa)与所有负类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为负样本;
步骤332,重复步骤331,直至负类标签集合na中所有的负类标签都被作为当前负类标签,共得到25个负样本,执行步骤34;
步骤34,将5个正样本和25个负样本组成125个三元组对组成的集合Tripleta;
步骤35,重复步骤31至步骤34,直至手绘草图数据集S中所有的手绘草图都被作为当前手绘草图,得到三元组集合
步骤4,设三元组集合中的任一三元组其中为三元组中的正样本图片,为三元组中的手绘草图,为三元组中的负样本图片;
步骤41,将三元组中的正样本输入Netp得到将三元组中的负样本输入Netn得到将三元组中的手绘草图输入Netg得到
其中,Netp,Netg,Netn为构建用于度量学习的卷积神经网络G中包含的三个子卷积神经网络;
步骤42,通过式(1)得到卷积神经网络G的损失函数值L:
式(1)中,N为三元组的数量,α为正样本和负样本之间的间隔;
步骤43,采用随机梯度下降法作为最优化算法,以损失函数值L为目标训练卷积神经网络G,所述卷积神经网络G输出嵌入函数E(x);
步骤5,包括:
步骤51,将三维模型mi的投影图集合中的任一张模型投影图作为当前模型投影图
采用嵌入函数E(x)将当前模型投影图嵌入到欧式特征空间中,得到欧式特征空间中的特征点
步骤52,重复步骤51,得到三维模型mi的投影图集合中所有模型投影图的欧式特征空间中的特征点集合;
步骤53,重复步骤51至步骤52,将三维模型数据库M={m1,m2,...,mn}中的所有三维模型都嵌入到欧式空间中,得到三维模型数据库中所有模型投影图的欧式特征空间中的特征点集合。
进一步地,还包括:
步骤6,设待测试手绘草图为xs;
步骤61,采用嵌入函数E(x)将xs嵌入到欧式特征空间中,得到xs在欧式特征空间中的特征点E(xs);
步骤62,在欧式特征空间中搜索与测试手绘草图为xs类别标签相同的投影图特征点集合F,计算F中每个特征点和特征点E(xs)之间的欧氏距离;
步骤63,选取欧式距离最小的前K个投影图特征点所对应的模型作为与待测试手绘草图xs最相近的K个模型。
与现有技术相比,本发明具有以下技术效果:
本发明有效的解决了以手绘草图检索三维模型过程中难以实现跨域匹配的问题,通过度量学习方法得到一种辨识度高的特征表达及相应的相似度度量方法。实验表明,相较于其他基于手工设计低级几何特征描述符的算法,本发明的检索性能有很大提升。
附图说明
图1是本发明的流程图;
图2(a)~(e)是属于同一类别的六个手绘草图;(f)是和手绘草图属于同一类别的模型投影示意图;
图3是度量学习神经网络架构图;
图4是嵌入特定样本时网络内部状态示意图;
图5是本发明与其他方法准确率召回率曲线对比图;
图6是学习到的特征空间示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例1
本实施例提供了基于深度卷积神经网络的三维模型检索算法,包括以下步骤:
步骤1,设三维模型数据库M={m1,m2,...,mn};
本实施例选用SHREC,13数据集;
步骤11,设单位球面三角网格U={V,T},V是三角形顶点集合,T是三角形集合;
步骤12,从三角形顶点集合V中随机选择d个顶点作为种子顶点,所述d个种子顶点组成种子顶点集合Se,
步骤131,以Seeds中所有种子顶点作为劳埃德松弛算法的种子,得到d个沃罗诺伊原胞,所述d个沃罗诺伊原胞的中心分别为Cent1,Cent2,...,Centd;
本实施例所采用的劳埃德松弛算法为:Lloyd S.Least squares quantizationin PCM[J].IEEE transactions on information theory,1982,28(2):129-137.
本实施例计算d个沃罗诺伊原胞的中心所采用的方法为:Berg M D.计算几何:算法与应用[M].邓俊辉,译.北京:清华大学出版社,2009.
步骤132,将Seeds中的每个种子顶点分别移动到对应的沃罗诺伊原胞的中心,即令vertex1=Cent1,vertex2=Cent2,...,vertexd=Centd,所述Seeds中的所有种子顶点移动到对应的沃罗诺伊原胞的中心的距离记为D={distance1,distance2,...,distanced},且将D中的最大值记为Maxdistance;
步骤133,重复步骤131至步骤132,直到Maxdistance<0.01,得到执行步骤14;
步骤14,将沃罗诺伊原胞的中心Centj,j=1...d作为视角vj,得到视角集合Views={v1,v2,...,vj,...vd};
本实施例是将沃罗诺伊原胞中心Centj,j=1...d作为摄像机位置,将摄像机指向单位球面U的质心作为视角vj。
任选三维模型数据库M={m1,m2,...,mn}中的任一个三维模型mi,i=1,2,…,n,n为大于等于1的自然数;将mi做归一化处理后,依次采用视角集合Views中的所有视角对三维模型mi进行线渲染得到的投影图集合其中,为选用视角集合Views中的任一视角vj,对三维模型mi进行线渲染得到投影视图,j=1,2,...d;
本实施例所采用的线渲染方法为Suggestive contour算法,Decarlo D,Finkelstein A,Rusinkiewicz S,et al.Suggestive contours for conveying shape[J].Acm Transactions on Graphics,2003,22(3):848-855.
步骤15,重复步骤14得到三维模型数据库M={m1,m2,...,mn}中所有模型的投影图数据集
步骤2,设手绘草图数据集为S={s1,s2,...,sa,...,sk},a=1,2,…,k;
步骤21,将S∪P作为GoogLeNet网络的输入,将GoogLeNet网络中的全连接层节点个数设置为模型类别数,以在ImageNet数据集上预训练的GoogLeNet网络的参数初始化权重,将学习率设置为0.01,权重衰减设置为0.0001,动量设置为0.95,以随机梯度下降法作为优化算法,迭代训练GoogLeNet网络得到分类器C(x);x为一张图像(投影图或草图)数据,分类器的输出为一个c维的向量,c为数据集中模型类别的数量,向量的第b个元素为分类器判断输入的图像x属于第b类的概率值。
本实施例中的GoogLeNet卷神经网络的构建方法为:Szegedy C,Liu W,Jia Y,etal.Going deeper with convolutions[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2015:1-9.
所构建出的GoogLeNet网络如表1所示:
表1 GoogLeNet结构明细表
步骤22,将投影图数据集中的每一个投影图作为分类器的输入,得到投影图数据集P中所有图像的索引I(key,value),所述key为投影图数据集P中所有投影图所属类别的编号;设key=c,c为大于等于1的自然数,投影图数据集P中属于类别c的投影图集合为value为在分类器global pool层的特征向量组成的集合
步骤31,任取手绘草图数据集S中的任一手绘草图作为当前手绘草图sa;
将当前手绘草图sa输入分类器C(x)得到分类预测分数向量其中,当前手绘草图sa的预测类别向量 为绘草图sa的预测类别编号,b=1,2,…,C,C为预测类别总数,C为大于等于1的自然数,表示手绘草图sa属于类别的概率,
步骤31,设当前手绘草图sa的类别标签为la,la∈Ca,将类别标签la作为正类标签pa,从当前手绘草图sa的预测类别向量中任选5个不同于pa的标签作为负类标签集合
步骤32,从索引I中得到标记为正类标签pa的所有投影图的特征向量集合计算当前手绘草图sa的特征向量Cgp(sa)与所有正类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为正样本,得到5个正样本;
步骤331,任选负类标签集合na中的任一负类标签作为当前负类标签
从索引I中得到标记为当前负类标签的所有投影图的特征向量集合计算当前手绘草图sa的特征向量Cgp(sa)与所有负类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为负样本;
步骤332,重复步骤331,直至负类标签集合na中所有的负类标签都被作为当前负类标签,共得到25个负样本,执行步骤34;
步骤34,将5个正样本和25个负样本组成125个三元组对组成的集合Tripleta;
步骤35,重复步骤31至步骤34,直至手绘草图数据集S中所有的手绘草图都被作为当前手绘草图,得到三元组集合该三元组集合中每个元素为一个三元组:(正样本模型投影图,锚点手绘草图,负样本模型投影图);
步骤4,设三元组集合中的任一三元组其中为三元组中的正样本图片,为三元组中的手绘草图(锚点),为三元组中的负样本图片;
步骤41,将三元组中的正样本输入Netp得到将三元组中的负样本输入Netn得到将三元组中的手绘草图输入Netg得到
其中,Netp,Netg,Netn为构建用于度量学习的卷积神经网络G中包含的三个子卷积神经网络;
本实施例中,卷积神经网络G的网络结果如图2所示,每个子卷积神经网络的基础模型都从表1所示的GoogLeNet最后一层softmax去除所得,Netp,Neta,Netn三个子网络共享同一组参数,三个子网络的输出都记为f(·)。最终同时使用Netp,Neta,Netn三个网络的输出计算损失函数值。
步骤42,通过式(1)得到卷积神经网络G的损失函数值L:
式(1)中,N为三元组的数量,α为正样本和负样本之间的间隔;
通过最优化算法修正该网络的参数使得L最小化后,该网络即可将输入的图像映射到一个可以完成跨域匹配的特征空间。
步骤43,采用随机梯度下降法作为最优化算法,以损失函数值L为目标训练卷积神经网络G,所述卷积神经网络G输出嵌入函数E(x);
本实施例所采用的随机梯度下降法的参考文献为:Bottou L.Large-scalemachine learning with stochastic gradient descent[M]//Proceedings ofCOMPSTAT'2010.Physica-Verlag HD,2010:177-186.
训练过程包含2个阶段:
第一阶段是前向传播阶段,将训练样本输入网络的数据层,经过网络中各种隐含层进行逐层变换,逐层映射,直到输出层按照损失函数L计算损失值。
第二阶段是反向传播阶段,用损失值计算各个参数的梯度值,将参数向负梯度方向更新,进一步对整个卷积神经网络的参数进行监督优化。
步骤51,将三维模型mi的投影图集合中的任一张模型投影图作为当前模型投影图
采用嵌入函数E(x)将当前模型投影图嵌入到欧式特征空间中,得到欧式特征空间中的特征点
步骤52,重复步骤51,得到三维模型mi的投影图集合中所有模型投影图的欧式特征空间中的特征点集合;
步骤53,重复步骤51至步骤52,将三维模型数据库M={m1,m2,...,mn}中的所有三维模型都嵌入到欧式空间中,得到三维模型数据库中所有模型投影图的欧式特征空间中的特征点集合。
实施例2
本实施例在实施例1的基础上,还包括:
步骤6,设待测试手绘草图为xs;
步骤61,采用嵌入函数E(x)将xs嵌入到欧式特征空间中,得到xs在欧式特征空间中的特征点E(xs);
步骤62,在欧式特征空间中搜索与测试手绘草图为xs类别标签相同的投影图特征点集合F,计算F中每个特征点和特征点E(xs)之间的欧氏距离;
步骤63,选取欧式距离最小的前K个投影图特征点所对应的模型作为与待测试手绘草图xs最相近的K个模型。
实验结果
实施例1和实施例2选用SHREC'13数据集进行实验,实施例1和实施例2选用的SHREC’13数据集参考文献为:B.Li,Y.Lu,Afzal Godil,Tobias Schreck, Masaki Aono,Henry Johan,Jose M.Saavedra,S.Tashiro,In:S.Biasotti,I.Pratikakis,U.Castellani,T.Schreck,A.Godil,and R.Veltkamp(eds.),SHREC'13Track:Large ScaleSketch-Based 3D Shape Retrieval,Eurographics Workshop on3D Object Retrieval2013(3DOR 2013):89-96,2013.。
SHREC'13数据集包含1258个三维模型,每个模型配有80张手绘草图,共有90个类别,每个类别下的模型数量是不均匀的。本次实验用MXNET深度学习库实现所有卷积神经网络的训练过程。训练时间和三元组数据对的数量以及训练纪元(epoch)有关,在SHREC'13数据集上,共生成787500组三元组训练数据和112500个测试数据对。经过30次迭代过程结束网络的训练。本发明实验的机器配置为Intel Core-i5-6600K 3.2Hz CPU、16GB内存、Nvidia GTX 1060 6GB GPU×2、CUDA v8.0、CuDNN v5.1、MXNET v0.9.3、Ubuntu16.04操作系统。本发明提出的卷积神经网络是用MXNET深度学习库实现的。在预先计算所有模型投影的特征后,每张草图的查询处理时间平均大约为0.002秒,说明本发明设计的算法有较高的可用性。
本发明的算法模型在常见的类别上表现良好,例如桌子,人脸,树木等。通过观察发现算法对一些相似草图的查询结果也很准确,比如骷髅头和人脸草图,只有细节不同,而本发明算法依然能正确区分出来,反映了本发明算法学习到的特征空间满足了同类特征间在嵌入空间距离近,而不同模型之间的特征在特征空间中距离远,证实了度量学习的有效性,反映出算法对模型的辨识度较高。
在图5中,展示了本发明算法与SHREC'13数据集上其他算法的查准率-查全率曲线比较。从图5中可见本发明的算法大幅超越其他基于手工设计特征描述子的算法。这是由于本发明算法采用表达能力强的深度卷积神经网络模型作为特征提取器,提取出了高级抽象视觉特征,而不是手工设计的描述子提取出的低级几何特征。
在查全率(recall)较小时,本发明算法相对于SHREC'13最好结果的性能提升将近30%。在查全率逐渐增大的过程中,整个曲线下降的速度相较于其他算法更缓慢,说明本发明算法有更强的稳定性。当查准率增加到1时,本发明算法的查准率相较于其他算法有将近5%的提升。
表2查询性能评价指标对比
表2展示了本发明算法的其他查询性能评价指标与现有方法的对比结果。其中,NN即Nearest Neighbor,代表了查询结果的top-1精确度。由表中可见,本发明算法的NN指数相较于对照方法有很大的提高,说明本发明方法对用户查询意图的把握更为精准,查询结果质量高。由于对照方法是无监督的,本发明算法在选择三元组时使用了监督学习方法,利用了模型的语义标签信息,所以结果有了较大提升。说明将几何视觉信息以外的语义信息融合进特征表达对检索性能的提升有很大帮助。FT即First Tier,假设有C个相关模型,FT是检索的top-C召回率。相似的ST即Second Tier代表top-2C召回率。这两个指标从不同程度上说明了本发明方法的查询结果质量较高。由于大多数用户只关注搜索结果的第一页,E-Measure是对top-32结果的查准率和查全率综合考虑的指标。它反映了查询结果第一页的查全率和查准率。计算方法如下:
DCG是Discounted Cumulated Gain,该指标的设计动机是用户关注相关模型在查询列表里出现的位置,因为用户希望相关模型排在靠前的位置。DCG被定义为相关模型位置的正则化累积值。为了计算DCG,首先将查询列表R转换为一个向量G,当Ri是相关模型的时候Gi=1,否则Gi=0。然后根据公式:
计算出DCG。由表2可见本发明的查询结果中相关模型的排序也是很靠前的,说明本发明算法学习到的相似度度量有很强的鲁棒性。
由于训练数据量较少,在训练过程结束时发现,模型训练过程存在一定的过拟合现象。这表明算法性能有进一步提升的空间,可以通过微调参数以及增大训练数据量对算法调优。
图4是对学习到的特征进行可视化展示。本发明算法提取的视觉特征的抽象程度随着网络层次的加深而提高。同时,可见训练的卷积神经网络中包含了一组过完备的多尺度不同抽象程度的过滤器组,能够提取到不同尺度的多种视觉特征。而手工设计的特征描述子过滤器数量有限,所以相对能提取出的特征种类也有限。另外,卷积神经网络中的过滤器参数是由数据驱动直接调整得到的,而手工设计的特征描述子是通过先验知识设计过滤器参数的,显然通过数据驱动方式训练的过滤器对数据的适应性更强。
如图6所示,将草图和投影图混合,随机选择5000个对应的学习到的特征向量,特征向量的维度是1024,使用PCA算法降维到2维进行可视化。图6中,数据点是草图和投影图对应的特征点,为了更直观的展现效果,随机挑选若干个数据点,将其对应的模型的视图绘制在点云上以便观察。可以看出,相似模型的特征点自然聚合在一起,例如右下角飞机模型类和左上角汽车模型类等。本发明算法是一种弱监督学习方法,图中的分布说明了学习到的特征表达对于域内匹配和跨域匹配都有很好的适应性。所以,本发明算法通过度量学习学到的特征表达符合前文所述的性质,即在该特征空间中,欧氏距离可以直接代表样本的相似度,同类模型的特征点之间的欧氏距离小,而不同模型特征点之间欧氏距离大,很好的解决了难以跨域匹配的问题。
Claims (2)
1.基于深度卷积神经网络的三维模型检索算法,其特征在于,包括以下步骤:
步骤1,设三维模型数据库M={m1,m2,...,mn};
步骤11,设单位球面三角网格U={V,T},V是三角形顶点集合,T是三角形集合;
步骤12,从三角形顶点集合V中随机选择d个顶点作为种子顶点,所述d个种子顶点组成种子顶点集合
步骤131,以Seeds中所有种子顶点作为劳埃德松弛算法的种子,得到d个沃罗诺伊原胞,所述d个沃罗诺伊原胞的中心分别为Cent1,Cent2,...,Centd;
步骤132,将Seeds中的每个种子顶点分别移动到对应的沃罗诺伊原胞的中心,即令vertex1=Cent1,vertex2=Cent2,...,vertexd=Centd,所述Seeds中的所有种子顶点移动到对应的沃罗诺伊原胞的中心的距离记为D={distance1,distance2,...,distanced},且将D中的最大值记为Maxdistance;
步骤133,重复步骤131至步骤132,直到Maxdistance<0.01,执行步骤14;
步骤14,将沃罗诺伊原胞的中心Centj,j=1...d作为视角vj,得到视角集合Views={v1,v2,...,vj,...vd};
任选三维模型数据库M={m1,m2,...,mn}中的任一个三维模型mi,i=1,2,…,n,n为大于等于1的自然数;将mi做归一化处理后,依次采用视角集合Views中的所有视角对三维模型mi进行线渲染得到的投影图集合其中,为选用视角集合Views中的任一视角vj,对三维模型mi进行线渲染得到投影视图,j=1,2,...d;
步骤15,重复步骤14得到三维模型数据库M={m1,m2,...,mn}中所有模型的投影图数据集
步骤2,设手绘草图数据集为S={s1,s2,...,sa,...,sk},a=1,2,…,k;
步骤21,将S∪P作为GoogLeNet网络的输入,将GoogLeNet网络中的全连接层节点个数设置为模型类别数,将学习率设置为0.01,权重衰减设置为0.0001,动量设置为0.95,以随机梯度下降法作为优化算法,迭代训练GoogLeNet网络得到分类器C(x);
步骤22,将投影图数据集中的每一个投影图作为分类器C(x)的输入,得到投影图数据集P中所有图像的索引I(key,value),所述key为投影图数据集P中所有投影图所属类别的编号;设key=c,c为大于等于1的自然数,投影图数据集P中属于类别c的投影图集合为value为在分类器global pool层的特征向量组成的集合
步骤3,生成三元组数据集合,包括:
步骤31,任取手绘草图数据集S中的任一手绘草图作为当前手绘草图sa;
将当前手绘草图sa输入分类器C(x)得到分类预测分数向量其中,当前手绘草图sa的预测类别向量 为绘草图sa的预测类别编号,b=1,2,…,C,C为预测类别总数,C为大于等于1的自然数,表示手绘草图sa属于类别的概率,
步骤31,设当前手绘草图sa的类别标签为la,la∈Ca,将类别标签la作为正类标签pa,从当前手绘草图sa的预测类别向量中任选5个不同于pa的标签作为负类标签集合
步骤32,从索引I中得到标记为正类标签pa的所有投影图的特征向量集合计算当前手绘草图sa的特征向量Cgp(sa)与所有正类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为正样本,得到5个正样本;
步骤331,任选负类标签集合na中的任一负类标签作为当前负类标签
从索引I中得到标记为当前负类标签的所有投影图的特征向量集合计算当前手绘草图sa的特征向量Cgp(sa)与所有负类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为负样本;
步骤332,重复步骤331,直至负类标签集合na中所有的负类标签都被作为当前负类标签,共得到25个负样本,执行步骤34;
步骤34,将5个正样本和25个负样本组成125个三元组对组成的集合Tripleta;
步骤35,重复步骤31至步骤34,直至手绘草图数据集S中所有的手绘草图都被作为当前手绘草图,得到三元组集合
步骤4,设三元组集合中的任一三元组其中为三元组中的正样本图片,为三元组中的手绘草图,为三元组中的负样本图片;
步骤41,将三元组中的正样本输入Netp得到将三元组中的负样本输入Netn得到将三元组中的手绘草图输入Netg得到
其中,Netp,Netg,Netn为构建用于度量学习的卷积神经网络G中包含的三个子卷积神经网络;
步骤42,通过式(1)得到卷积神经网络G的损失函数值L:
式(1)中,N为三元组的数量,α为正样本和负样本之间的间隔;
步骤43,采用随机梯度下降法作为最优化算法,以损失函数值L为目标训练卷积神经网络G,所述卷积神经网络G输出嵌入函数E(x);
步骤5,包括:
步骤51,将三维模型mi的投影图集合中的任一张模型投影图作为当前模型投影图
采用嵌入函数E(x)将当前模型投影图嵌入到欧式特征空间中,得到欧式特征空间中的特征点
步骤52,重复步骤51,得到三维模型mi的投影图集合中所有模型投影图的欧式特征空间中的特征点集合;
步骤53,重复步骤51至步骤52,将三维模型数据库M={m1,m2,...,mn}中的所有三维模型都嵌入到欧式空间中,得到三维模型数据库中所有模型投影图的欧式特征空间中的特征点集合。
2.如权利要求1所述的基于深度卷积神经网络的三维模型检索算法,其特征在于,还包括:
步骤6,设待测试手绘草图为xs;
步骤61,采用嵌入函数E(x)将xs嵌入到欧式特征空间中,得到xs在欧式特征空间中的特征点E(xs);
步骤62,在欧式特征空间中搜索与测试手绘草图为xs类别标签相同的投影图特征点集合F,计算F中每个特征点和特征点E(xs)之间的欧氏距离;
步骤63,选取欧式距离最小的前K个投影图特征点所对应的模型作为与待测试手绘草图xs最相近的K个模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710147284.0A CN107122396B (zh) | 2017-03-13 | 2017-03-13 | 基于深度卷积神经网络的三维模型检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710147284.0A CN107122396B (zh) | 2017-03-13 | 2017-03-13 | 基于深度卷积神经网络的三维模型检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107122396A true CN107122396A (zh) | 2017-09-01 |
CN107122396B CN107122396B (zh) | 2019-10-29 |
Family
ID=59717473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710147284.0A Expired - Fee Related CN107122396B (zh) | 2017-03-13 | 2017-03-13 | 基于深度卷积神经网络的三维模型检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107122396B (zh) |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107704888A (zh) * | 2017-10-23 | 2018-02-16 | 大国创新智能科技(东莞)有限公司 | 一种基于联合聚类深度学习神经网络的数据识别方法 |
CN107748798A (zh) * | 2017-11-07 | 2018-03-02 | 中国石油大学(华东) | 一种基于多层视觉表达和深度网络的手绘图像检索方法 |
CN107895028A (zh) * | 2017-11-17 | 2018-04-10 | 天津大学 | 采用深度学习的草图检索方法 |
CN108009222A (zh) * | 2017-11-23 | 2018-05-08 | 浙江工业大学 | 基于较优视图和深度卷积神经网络的三维模型检索方法 |
CN108090508A (zh) * | 2017-12-12 | 2018-05-29 | 腾讯科技(深圳)有限公司 | 一种分类训练方法、装置及存储介质 |
CN108170823A (zh) * | 2018-01-04 | 2018-06-15 | 江西师范大学 | 一种基于高层语义属性理解的手绘交互式三维模型检索方法 |
CN108389251A (zh) * | 2018-03-21 | 2018-08-10 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
CN108399428A (zh) * | 2018-02-09 | 2018-08-14 | 哈尔滨工业大学深圳研究生院 | 一种基于迹比准则的三元组损失函数设计方法 |
CN108427740A (zh) * | 2018-03-02 | 2018-08-21 | 南开大学 | 一种基于深度度量学习的图像情感分类与检索算法 |
CN108596329A (zh) * | 2018-05-11 | 2018-09-28 | 北方民族大学 | 基于端到端深度集成学习网络的三维模型分类方法 |
CN109033144A (zh) * | 2018-06-11 | 2018-12-18 | 厦门大学 | 基于草图的三维模型检索方法 |
CN109145128A (zh) * | 2018-08-15 | 2019-01-04 | 东北大学 | 一种大规模数据在线可视化方法 |
CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
CN109213884A (zh) * | 2018-11-26 | 2019-01-15 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
CN109242922A (zh) * | 2018-08-17 | 2019-01-18 | 华东师范大学 | 一种基于径向基函数网络的地形合成方法 |
CN109492120A (zh) * | 2018-10-31 | 2019-03-19 | 四川大学 | 模型训练方法、检索方法、装置、电子设备及存储介质 |
CN109684499A (zh) * | 2018-12-26 | 2019-04-26 | 清华大学 | 一种自由视角的立体对象检索方法与系统 |
CN109816714A (zh) * | 2019-01-15 | 2019-05-28 | 西北大学 | 一种基于三维卷积神经网络的点云物体类型识别方法 |
CN109933684A (zh) * | 2019-02-14 | 2019-06-25 | 北京工业大学 | 基于pcl库和特征值提取的飞机零件三维模型的检索方法 |
CN109961509A (zh) * | 2019-03-01 | 2019-07-02 | 北京三快在线科技有限公司 | 三维地图的生成及模型训练方法、装置及电子设备 |
CN110119772A (zh) * | 2019-05-06 | 2019-08-13 | 哈尔滨理工大学 | 一种基于几何形状特征融合的三维模型分类方法 |
CN110245249A (zh) * | 2019-05-15 | 2019-09-17 | 西安交通大学 | 一种基于双层深度残差网络的三维cad模型智能检索方法 |
CN110245614A (zh) * | 2019-06-17 | 2019-09-17 | 浙江通耀科技有限公司 | 一种用于视觉训练的三维中文字库及其使用方法 |
CN110378372A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 图数据识别方法、装置、计算机设备和存储介质 |
WO2019213857A1 (en) * | 2018-05-09 | 2019-11-14 | Hewlett-Packard Development Company, L.P. | 3-dimensional model identification |
CN110489587A (zh) * | 2019-07-31 | 2019-11-22 | 西安邮电大学 | 局部梯度方向三值模式的轮胎痕迹图像特征提取方法 |
CN110580302A (zh) * | 2019-08-13 | 2019-12-17 | 天津大学 | 一种基于半异构联合嵌入网络的草图图像检索方法 |
CN111144466A (zh) * | 2019-12-17 | 2020-05-12 | 武汉大学 | 一种图像样本自适应的深度度量学习方法 |
CN111242184A (zh) * | 2020-01-03 | 2020-06-05 | 支付宝(杭州)信息技术有限公司 | 图像特征提取模型的训练方法和图像检索方法 |
CN111328396A (zh) * | 2017-11-15 | 2020-06-23 | 高通科技公司 | 用于图像中的对象的姿态估计和模型检索 |
CN111373417A (zh) * | 2017-11-16 | 2020-07-03 | 三星电子株式会社 | 与基于度量学习的数据分类相关的设备及其方法 |
CN111580560A (zh) * | 2020-05-29 | 2020-08-25 | 中国科学技术大学 | 一种基于深度模仿学习的无人直升机自主特技飞行方法 |
CN112101132A (zh) * | 2020-08-24 | 2020-12-18 | 西北工业大学 | 一种基于图嵌入模型和度量学习的交通状况预测方法 |
CN113032613A (zh) * | 2021-03-12 | 2021-06-25 | 哈尔滨理工大学 | 一种基于交互注意力卷积神经网络的三维模型检索方法 |
CN113392244A (zh) * | 2021-06-10 | 2021-09-14 | 北京印刷学院 | 一种基于深度度量学习的三维模型检索方法及系统 |
CN113537317A (zh) * | 2021-06-30 | 2021-10-22 | 中国海洋大学 | 基于可解释深度学习的遥感图像跨域分类方法 |
CN113554115A (zh) * | 2021-08-12 | 2021-10-26 | 同济大学 | 一种基于不确定学习的三维模型草图检索方法 |
CN113628329A (zh) * | 2021-08-20 | 2021-11-09 | 天津大学 | 一种零样本草图三维点云检索方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6144388A (en) * | 1998-03-06 | 2000-11-07 | Bornstein; Raanan | Process for displaying articles of clothing on an image of a person |
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
CN104090972A (zh) * | 2014-07-18 | 2014-10-08 | 北京师范大学 | 用于三维城市模型检索的图像特征提取和相似性度量方法 |
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索系统及方法 |
-
2017
- 2017-03-13 CN CN201710147284.0A patent/CN107122396B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6144388A (en) * | 1998-03-06 | 2000-11-07 | Bornstein; Raanan | Process for displaying articles of clothing on an image of a person |
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
CN104090972A (zh) * | 2014-07-18 | 2014-10-08 | 北京师范大学 | 用于三维城市模型检索的图像特征提取和相似性度量方法 |
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索系统及方法 |
CN104850633B (zh) * | 2015-05-22 | 2018-10-12 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索系统及方法 |
Non-Patent Citations (1)
Title |
---|
陈俊英等: ""基于 RBF 神经网络集成的三维模型分类和检索"", 《图 学 学 报》 * |
Cited By (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107704888B (zh) * | 2017-10-23 | 2021-04-16 | 大国创新智能科技(东莞)有限公司 | 一种基于联合聚类深度学习神经网络的数据识别方法 |
CN107704888A (zh) * | 2017-10-23 | 2018-02-16 | 大国创新智能科技(东莞)有限公司 | 一种基于联合聚类深度学习神经网络的数据识别方法 |
CN107748798A (zh) * | 2017-11-07 | 2018-03-02 | 中国石油大学(华东) | 一种基于多层视觉表达和深度网络的手绘图像检索方法 |
CN111328396A (zh) * | 2017-11-15 | 2020-06-23 | 高通科技公司 | 用于图像中的对象的姿态估计和模型检索 |
CN111373417B (zh) * | 2017-11-16 | 2024-04-26 | 三星电子株式会社 | 与基于度量学习的数据分类相关的设备及其方法 |
CN111373417A (zh) * | 2017-11-16 | 2020-07-03 | 三星电子株式会社 | 与基于度量学习的数据分类相关的设备及其方法 |
CN107895028A (zh) * | 2017-11-17 | 2018-04-10 | 天津大学 | 采用深度学习的草图检索方法 |
CN107895028B (zh) * | 2017-11-17 | 2019-11-29 | 天津大学 | 采用深度学习的草图检索方法 |
CN108009222A (zh) * | 2017-11-23 | 2018-05-08 | 浙江工业大学 | 基于较优视图和深度卷积神经网络的三维模型检索方法 |
CN108009222B (zh) * | 2017-11-23 | 2020-07-17 | 浙江工业大学 | 基于较优视图和深度卷积神经网络的三维模型检索方法 |
US11017220B2 (en) | 2017-12-12 | 2021-05-25 | Tencent Technology (Shenzhen) Company Limited | Classification model training method, server, and storage medium |
CN108090508B (zh) * | 2017-12-12 | 2020-01-31 | 腾讯科技(深圳)有限公司 | 一种分类训练方法、装置及存储介质 |
CN108090508A (zh) * | 2017-12-12 | 2018-05-29 | 腾讯科技(深圳)有限公司 | 一种分类训练方法、装置及存储介质 |
CN108170823A (zh) * | 2018-01-04 | 2018-06-15 | 江西师范大学 | 一种基于高层语义属性理解的手绘交互式三维模型检索方法 |
CN108399428A (zh) * | 2018-02-09 | 2018-08-14 | 哈尔滨工业大学深圳研究生院 | 一种基于迹比准则的三元组损失函数设计方法 |
CN108427740A (zh) * | 2018-03-02 | 2018-08-21 | 南开大学 | 一种基于深度度量学习的图像情感分类与检索算法 |
CN108389251B (zh) * | 2018-03-21 | 2020-04-17 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
CN108389251A (zh) * | 2018-03-21 | 2018-08-10 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
WO2019213857A1 (en) * | 2018-05-09 | 2019-11-14 | Hewlett-Packard Development Company, L.P. | 3-dimensional model identification |
CN108596329A (zh) * | 2018-05-11 | 2018-09-28 | 北方民族大学 | 基于端到端深度集成学习网络的三维模型分类方法 |
CN108596329B (zh) * | 2018-05-11 | 2020-08-07 | 北方民族大学 | 基于端到端深度集成学习网络的三维模型分类方法 |
CN109033144B (zh) * | 2018-06-11 | 2021-10-22 | 厦门大学 | 基于草图的三维模型检索方法 |
CN109033144A (zh) * | 2018-06-11 | 2018-12-18 | 厦门大学 | 基于草图的三维模型检索方法 |
CN109165589A (zh) * | 2018-08-14 | 2019-01-08 | 北京颂泽科技有限公司 | 基于深度学习的车辆重识别方法和装置 |
CN109145128B (zh) * | 2018-08-15 | 2021-06-29 | 东北大学 | 一种大规模数据在线可视化方法 |
CN109145128A (zh) * | 2018-08-15 | 2019-01-04 | 东北大学 | 一种大规模数据在线可视化方法 |
CN109242922A (zh) * | 2018-08-17 | 2019-01-18 | 华东师范大学 | 一种基于径向基函数网络的地形合成方法 |
CN109242922B (zh) * | 2018-08-17 | 2023-04-07 | 华东师范大学 | 一种基于径向基函数网络的地形合成方法 |
CN109492120A (zh) * | 2018-10-31 | 2019-03-19 | 四川大学 | 模型训练方法、检索方法、装置、电子设备及存储介质 |
CN109213884A (zh) * | 2018-11-26 | 2019-01-15 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
CN109213884B (zh) * | 2018-11-26 | 2021-10-19 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
CN109684499A (zh) * | 2018-12-26 | 2019-04-26 | 清华大学 | 一种自由视角的立体对象检索方法与系统 |
CN109684499B (zh) * | 2018-12-26 | 2020-11-06 | 清华大学 | 一种自由视角的立体对象检索方法与系统 |
CN109816714A (zh) * | 2019-01-15 | 2019-05-28 | 西北大学 | 一种基于三维卷积神经网络的点云物体类型识别方法 |
CN109933684A (zh) * | 2019-02-14 | 2019-06-25 | 北京工业大学 | 基于pcl库和特征值提取的飞机零件三维模型的检索方法 |
CN109961509B (zh) * | 2019-03-01 | 2020-05-05 | 北京三快在线科技有限公司 | 三维地图的生成及模型训练方法、装置及电子设备 |
CN109961509A (zh) * | 2019-03-01 | 2019-07-02 | 北京三快在线科技有限公司 | 三维地图的生成及模型训练方法、装置及电子设备 |
CN110119772A (zh) * | 2019-05-06 | 2019-08-13 | 哈尔滨理工大学 | 一种基于几何形状特征融合的三维模型分类方法 |
CN110119772B (zh) * | 2019-05-06 | 2022-05-03 | 哈尔滨理工大学 | 一种基于几何形状特征融合的三维模型分类方法 |
CN110245249A (zh) * | 2019-05-15 | 2019-09-17 | 西安交通大学 | 一种基于双层深度残差网络的三维cad模型智能检索方法 |
CN110245249B (zh) * | 2019-05-15 | 2021-08-13 | 西安交通大学 | 一种基于双层深度残差网络的三维cad模型智能检索方法 |
CN110378372A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 图数据识别方法、装置、计算机设备和存储介质 |
CN110245614A (zh) * | 2019-06-17 | 2019-09-17 | 浙江通耀科技有限公司 | 一种用于视觉训练的三维中文字库及其使用方法 |
CN110489587A (zh) * | 2019-07-31 | 2019-11-22 | 西安邮电大学 | 局部梯度方向三值模式的轮胎痕迹图像特征提取方法 |
CN110489587B (zh) * | 2019-07-31 | 2023-04-28 | 西安邮电大学 | 局部梯度方向三值模式的轮胎痕迹图像特征提取方法 |
CN110580302A (zh) * | 2019-08-13 | 2019-12-17 | 天津大学 | 一种基于半异构联合嵌入网络的草图图像检索方法 |
CN110580302B (zh) * | 2019-08-13 | 2022-12-02 | 天津大学 | 一种基于半异构联合嵌入网络的草图图像检索方法 |
CN111144466B (zh) * | 2019-12-17 | 2022-05-13 | 武汉大学 | 一种图像样本自适应的深度度量学习方法 |
CN111144466A (zh) * | 2019-12-17 | 2020-05-12 | 武汉大学 | 一种图像样本自适应的深度度量学习方法 |
CN111242184A (zh) * | 2020-01-03 | 2020-06-05 | 支付宝(杭州)信息技术有限公司 | 图像特征提取模型的训练方法和图像检索方法 |
CN111242184B (zh) * | 2020-01-03 | 2022-07-26 | 支付宝(杭州)信息技术有限公司 | 图像特征提取模型的训练方法和图像检索方法 |
CN111580560A (zh) * | 2020-05-29 | 2020-08-25 | 中国科学技术大学 | 一种基于深度模仿学习的无人直升机自主特技飞行方法 |
CN112101132A (zh) * | 2020-08-24 | 2020-12-18 | 西北工业大学 | 一种基于图嵌入模型和度量学习的交通状况预测方法 |
CN113032613A (zh) * | 2021-03-12 | 2021-06-25 | 哈尔滨理工大学 | 一种基于交互注意力卷积神经网络的三维模型检索方法 |
CN113032613B (zh) * | 2021-03-12 | 2022-11-08 | 哈尔滨理工大学 | 一种基于交互注意力卷积神经网络的三维模型检索方法 |
CN113392244A (zh) * | 2021-06-10 | 2021-09-14 | 北京印刷学院 | 一种基于深度度量学习的三维模型检索方法及系统 |
CN113537317A (zh) * | 2021-06-30 | 2021-10-22 | 中国海洋大学 | 基于可解释深度学习的遥感图像跨域分类方法 |
CN113537317B (zh) * | 2021-06-30 | 2023-12-22 | 中国海洋大学 | 基于可解释深度学习的遥感图像跨域分类方法 |
CN113554115B (zh) * | 2021-08-12 | 2022-09-13 | 同济大学 | 一种基于不确定学习的三维模型草图检索方法 |
CN113554115A (zh) * | 2021-08-12 | 2021-10-26 | 同济大学 | 一种基于不确定学习的三维模型草图检索方法 |
CN113628329A (zh) * | 2021-08-20 | 2021-11-09 | 天津大学 | 一种零样本草图三维点云检索方法 |
CN113628329B (zh) * | 2021-08-20 | 2023-06-06 | 天津大学 | 一种零样本草图三维点云检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107122396B (zh) | 2019-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122396B (zh) | 基于深度卷积神经网络的三维模型检索方法 | |
Zhang et al. | Cross-domain correspondence learning for exemplar-based image translation | |
Wan et al. | Automated colorization of a grayscale image with seed points propagation | |
Huang et al. | Shape synthesis from sketches via procedural models and convolutional networks | |
CN109213884B (zh) | 一种基于草图检索三维模型的跨模态检索方法 | |
CN110069656B (zh) | 一种基于生成对抗网络的二维图片检索三维模型的方法 | |
CN109741268B (zh) | 一种针对壁画的破损图像补全方法 | |
WO2017181332A1 (zh) | 一种基于单幅图像的全自动三维头发建模方法 | |
CN104200240B (zh) | 一种基于内容自适应哈希编码的草图检索方法 | |
CN104637090B (zh) | 一种基于单张图片的室内场景建模方法 | |
CN111967533B (zh) | 一种基于场景识别的草图图像翻译方法 | |
CN106844620B (zh) | 一种基于视图的特征匹配三维模型检索方法 | |
CN105868706A (zh) | 一种基于稀疏自编码的三维模型识别方法 | |
CN101477529A (zh) | 一种三维对象的检索方法和装置 | |
CN114510594A (zh) | 一种基于自注意力机制的传统纹样子图检索方法 | |
CN109409388B (zh) | 一种基于图形基元的双模深度学习描述子构造方法 | |
CN112784782A (zh) | 一种基于多视角双注意网络的三维物体识别方法 | |
Feng et al. | 3D shape retrieval using a single depth image from low-cost sensors | |
CN104751463A (zh) | 一种基于草图轮廓特征的三维模型最佳视角选取方法 | |
Zhao et al. | Learning best views of 3D shapes from sketch contour | |
CN111354076A (zh) | 一种基于嵌入空间的单幅图像三维零件组合式建模方法 | |
Jertec et al. | On using pointnet architecture for human body segmentation | |
Wu et al. | Deep texture exemplar extraction based on trimmed T-CNN | |
Chen | Classification and model method of convolutional features in sketch images based on deep learning | |
CN113191207B (zh) | 一种基于多视角特征的工件识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191029 |