CN109033144B - 基于草图的三维模型检索方法 - Google Patents

基于草图的三维模型检索方法 Download PDF

Info

Publication number
CN109033144B
CN109033144B CN201810597066.1A CN201810597066A CN109033144B CN 109033144 B CN109033144 B CN 109033144B CN 201810597066 A CN201810597066 A CN 201810597066A CN 109033144 B CN109033144 B CN 109033144B
Authority
CN
China
Prior art keywords
dimensional model
sketch
classification
training
sketches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810597066.1A
Other languages
English (en)
Other versions
CN109033144A (zh
Inventor
姚俊峰
刘笑寒
代诚朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810597066.1A priority Critical patent/CN109033144B/zh
Publication of CN109033144A publication Critical patent/CN109033144A/zh
Application granted granted Critical
Publication of CN109033144B publication Critical patent/CN109033144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明一种基于草图的三维模型检索方法，将三维模型处理成多张视角截图的形式，再使用不同的轮廓提取算子将其处理成不同样式的草图，得到草图数据集，将数据集设置好标签后用于训练和测试过程；在卷积神经网络的基础上加入了层次网络方法，1个大分类网络用于训练大的分类，将输入的草图分类到40个大类中，40个小分类网络分别训练每一类模型中的具体差异，将输入的草图分类到某个大类中一个具体的三维模型上，可以较高准确度地检索出三维模型，信息冗余小，本发明使用采样轮廓点计算出的角度矩阵作为卷积神经网络的输入，更加符合草图的特性，检索精确度高。

Description

基于草图的三维模型检索方法
技术领域
本发明涉及一种基于草图的三维模型检索方法。
背景技术
现有的结合深度学习的基于草图的模型检索技术都是将草图直接分类到每一个模型上，这在检索与匹配的流程中会出现大量的信息冗余。而且大多与图像检索相同，直接采用图片像素输入，没有考虑到草图像素较稀疏的特性，因此精确度较差。
发明内容
本发明的目的在于提供一种基于草图的三维模型检索方法，实现了基于草图的三维模型检索，用户手绘草图输入，可以快速检索出相似的三维模型，并将相似度高的至少一个模型输出给用户。
本发明基于草图的三维模型检索方法，将三维模型处理成多张视角截图的形式，再使用不同的轮廓提取算子将其处理成不同样式的草图，在草图轮廓上采样点计算出维度相同的角度矩阵，设置好标签后得到数据集，将数据集用于训练和测试过程；
基于层次网络划分数据集，将整个数据集划分为41个网络，其中，1个大分类网络用于训练大的分类，将输入的草图分类到40个大类中，40个小分类网络分别训练每一类模型中的具体差异，将输入的草图分类到某个大类中一个具体的三维模型上；
训练时，使用GoogleNet卷积神经网络框架，结合1+40分类网络进行特征提取，首先，输入训练样本至卷积神经网络中进行自动的特征选取和特征表示；然后，这些特征以及权重会被送入每次迭代后生成的.mat文件中作为分类模型；在分类模型建立的同时系统会抽取测试样本中的各个草图进行检索，来验证分类模型的预测结果准确度，并根据这些预测结果的准确度来修改卷积神经网络的参数，然后再输入训练样本提取特征，送入上次生成的.mat文件中作为分类模型，验证分类模型的预测结果准确度，并根据这些预测结果的准确度来修改卷积神经网络的参数，如此迭代，直至准确度和训练效率符合阈值条件；
输入需要检索和匹配的草图至大分类网络的分类模型中，得到草图所属的大类；取得该大类下小分类网络的分类模型；再次输入草图，匹配输出草图所属的三维模型编号；根据该编号从三维模型库调取对应三维模型输出给用户。
进一步，先从三维模型库选取任一三维模型作为训练样本，将该三维模型渲染生成若干个视角的二维截图；使用不同的轮廓提取算子对每张二维截图分别进行轮廓提取，生成若干张类草图；对所有生成的类草图，在其轮廓上采样点计算出维度相同的角度矩阵，该角度矩阵作为训练的数据集。
进一步，将匹配出的三维模型输出给用户时，以增强现实方式呈现给用户。
采用本发明的技术方案后，从功能上实现了基于草图的三维模型检索，信息利用率和精确度高，快捷高效；从结构上定义了1+40网络结构，信息冗余小。本发明使用采样轮廓点计算出的角度矩阵作为卷积神经网络的输入，更加符合草图的特性，检索精确度高。
附图说明
图1为本发明的三维模型搜索引擎整体框架示意图；
图2为本发明训练的流程示意图；
图3为本发明检索与匹配流程示意图。
以下结合实施例对本发明做进一步详述。
具体实施方式
如图1所示，本发明是结合深度学习的基于草图的三维模型检索方法，以Matlab作为平台，使用其MatConvNet工具箱进行卷积神经网络搭建，使用GoogleNet和VGG-F作为训练框架，在卷积神经网络的基础上加入了层次网络方法，对每个大类再进行小类的划分并进行训练，可以较高准确度地检索出三维模型，具体包括如下步骤：
步骤1、形成训练的数据集
先从三维模型库选取任一三维模型作为训练样本，将该三维模型渲染生成12个视角的二维截图；针对每一张二维截图根据视角的不同，分别使用不同的轮廓提取算子进行轮廓提取，若使用6个轮廓提取算子，就会生成6张类草图；对所有生成的类草图，在其轮廓上采样点计算出维度相同的角度矩阵；
上述每个训练样本对应12张二维视图和72张类草图以及72个角度矩阵，该角度矩阵作为训练的数据集；
步骤2、基于层次网络划分数据集
首先划分第一个分类网络，即大分类网络，在大分类网络中有40个大类，每个类别选取1个典型的三维模型，总共使用40个典型的三维模型，也就是2880个角度矩阵，所有的三维模型分属于40个大类；剩下的40个小分类网络，使用的是数据集的所有数据；将整个数据集划分为41个网络，其中，1个大分类网络用于训练大的分类，将输入的草图分类到40个大类中，40个小分类网络分别训练每一类模型中的具体差异，将输入的草图分类到某个大类中一个具体的三维模型上；
最后，为每个三维模型对应的各类草图和角度矩阵设置相应的类别标签；
步骤3、分类模型训练过程
训练时，使用GoogleNet卷积神经网络框架，结合1+40分类网络进行特征提取，其中“1”是指的包括40个大类的大分类网络，用于区分三维模型不同种类的差异，比如飞机和花瓶，这些三维模型之间的差异很大，不用大量的数据便能使分类结果优异；“40”是指40个小分类网络，用于识别同类三维模型中不同样式的差异，比如都属于“飞机”的客机和战斗机，40个小分类网络使用数据集中每个三维模型的数据进行训练；在训练的过程中，采用迭代优化的方法来选择卷积神经网络的接近最优的参数；
首先，输入训练样本至卷积神经网络(CNN网络)中进行自动的特征选取和特征表示；然后，这些特征以及权重会被送入每次迭代后生成的.mat文件中作为分类模型；在分类模型建立的同时系统会抽取测试样本中的各个草图进行检索，并计算准确率，来验证分类模型的预测结果准确度，并根据这些预测结果的准确度来修改卷积神经网络的参数，然后再输入训练样本提取特征，送入上次生成的.mat文件中做为分类模型，验证准确度，修改网络参数，如此迭代，直至准确度和训练效率满意为止，如图2；
步骤3、如图3所示，利用训练好的分类模型对草图进行检索，匹配出三维模型
输入需要检索和匹配的草图；
将输入草图处理为阈值大小；
将处理好的草图输入大分类网络的分类模型，得到草图所属的大类；
取得该大类下小分类网络的分类模型；
再次输入草图，匹配输出草图所属的三维模型编号；
根据该编号从三维模型库调取对应三维模型，并渲染后输出反馈给用户，在用户端可以增强现实方式呈现该匹配出的三维模型。
以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (3)

1.基于草图的三维模型检索方法，其特征在于：
将三维模型处理成多张视角截图的形式，再使用不同的轮廓提取算子将其处理成不同样式的草图，在草图轮廓上采样点计算出维度相同的角度矩阵，设置好标签后得到数据集，将数据集用于训练和测试过程；
基于层次网络划分数据集，将整个数据集划分为41个网络，其中，1个大分类网络用于训练大的分类，将输入的草图分类到40个大类中，40个小分类网络分别训练每一类模型中的具体差异，将输入的草图分类到某个大类中一个具体的三维模型上；
训练时，使用GoogleNet卷积神经网络框架，结合1+40分类网络进行特征提取，首先，输入训练样本至卷积神经网络中进行自动的特征选取和特征表示；然后，这些特征以及权重会被送入每次迭代后生成的.mat文件中作为分类模型；在分类模型建立的同时系统会抽取测试样本中的各个草图进行检索，来验证分类模型的预测结果准确度，并根据这些预测结果的准确度来修改卷积神经网络的参数，然后再输入训练样本提取特征，送入上次生成的.mat文件中作为分类模型，验证分类模型的预测结果准确度，并根据这些预测结果的准确度来修改卷积神经网络的参数，如此迭代，直至准确度和训练效率符合阈值条件；
输入需要检索和匹配的草图至大分类网络的分类模型中，得到草图所属的大类；取得该大类下小分类网络的分类模型；再次输入草图，匹配输出草图所属的三维模型编号；根据该编号从三维模型库调取对应三维模型输出给用户。
2.根据权利要求1所述的基于草图的三维模型检索方法，其特征在于：先从三维模型库选取任一三维模型作为训练样本，将该三维模型渲染生成若干个视角的二维截图；使用不同的轮廓提取算子对每张二维截图分别进行轮廓提取，生成若干张类草图；对所有生成的类草图，在其轮廓上采样点计算出维度相同的角度矩阵，该角度矩阵作为训练的数据集。
3.根据权利要求1所述的基于草图的三维模型检索方法，其特征在于：将匹配出的三维模型输出给用户时，以增强现实方式呈现给用户。
CN201810597066.1A 2018-06-11 2018-06-11 基于草图的三维模型检索方法 Active CN109033144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810597066.1A CN109033144B (zh) 2018-06-11 2018-06-11 基于草图的三维模型检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810597066.1A CN109033144B (zh) 2018-06-11 2018-06-11 基于草图的三维模型检索方法

Publications (2)

Publication Number Publication Date
CN109033144A CN109033144A (zh) 2018-12-18
CN109033144B true CN109033144B (zh) 2021-10-22

Family

ID=64612586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810597066.1A Active CN109033144B (zh) 2018-06-11 2018-06-11 基于草图的三维模型检索方法

Country Status (1)

Country Link
CN (1) CN109033144B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162655B (zh) * 2019-04-30 2021-07-27 厦门大学 一种基于草图的三维模型局部检索方法、装置、终端设备
CN111368123B (zh) * 2020-02-17 2022-06-28 同济大学 一种基于跨模态向导网络的三维模型草图检索方法
CN112085072B (zh) * 2020-08-24 2022-04-29 北方民族大学 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN113129447A (zh) * 2021-04-12 2021-07-16 清华大学 基于单张手绘草图的三维模型生成方法、装置和电子设备
CN113139241B (zh) * 2021-05-13 2024-04-16 大连理工大学 一种基于图像的车身结构概念模型自动建模方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593205A (zh) * 2009-06-24 2009-12-02 清华大学 基于视频的三维模型检索方法
KR20130059035A (ko) * 2011-11-28 2013-06-05 연세대학교 산학협력단 스케치를 이용한 시나리오 콘티의 자동 완성 장치 및 방법, 그리고 이를 이용한 애니메이션 제작 시스템
CN104200240A (zh) * 2014-09-24 2014-12-10 梁爽 一种基于内容自适应哈希编码的草图检索方法
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
CN107122396A (zh) * 2017-03-13 2017-09-01 西北大学 基于深度卷积神经网络的三维模型检索算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529569B (zh) * 2016-10-11 2019-10-18 北京航空航天大学 基于深度学习的三维模型三角面特征学习分类方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593205A (zh) * 2009-06-24 2009-12-02 清华大学 基于视频的三维模型检索方法
KR20130059035A (ko) * 2011-11-28 2013-06-05 연세대학교 산학협력단 스케치를 이용한 시나리오 콘티의 자동 완성 장치 및 방법, 그리고 이를 이용한 애니메이션 제작 시스템
CN104200240A (zh) * 2014-09-24 2014-12-10 梁爽 一种基于内容自适应哈希编码的草图检索方法
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
CN107122396A (zh) * 2017-03-13 2017-09-01 西北大学 基于深度卷积神经网络的三维模型检索算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D Sketch-based 3D Model Retrieval with Convolutional Neural Network;Yuxiang Ye etc.;《2016 23rd International Conference on Pattern Recognition (ICPR)》;20161208;第2949-2954页 *
基于手绘草图的图像检索技术研究进展;辛雨璇 等;《智能系统学报》;20150430;第10卷(第2期);第167-177页 *
安勃卿.基于手绘草图的三维模型检索研究与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018,第I138-2466页. *

Also Published As

Publication number Publication date
CN109033144A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109033144B (zh) 基于草图的三维模型检索方法
CN109614979B (zh) 一种基于选择与生成的数据增广方法及图像分类方法
CN109816725B (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
US9129191B2 (en) Semantic object selection
US9129192B2 (en) Semantic object proposal generation and validation
CN109284729A (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
CN110210431B (zh) 一种基于点云语义标注和优化的点云分类方法
CN105868706A (zh) 一种基于稀疏自编码的三维模型识别方法
CN111597920B (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN112132197A (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN111062441A (zh) 基于自监督机制和区域建议网络的场景分类方法及装置
JP6787831B2 (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN112052687A (zh) 基于深度可分离卷积的语义特征处理方法、装置及介质
CN111125396B (zh) 一种单模型多分支结构的图像检索方法
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
Li et al. Primitive fitting using deep geometric segmentation
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN111191065B (zh) 一种同源图像确定方法及装置
CN113033386A (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN116883740A (zh) 相似图片识别方法、装置、电子设备和存储介质
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置
CN115098732B (zh) 数据处理方法及相关装置
CN109493279B (zh) 一种大规模无人机图像并行拼接方法
CN113282781B (zh) 图像检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant