CN110162655B - 一种基于草图的三维模型局部检索方法、装置、终端设备 - Google Patents

一种基于草图的三维模型局部检索方法、装置、终端设备 Download PDF

Info

Publication number
CN110162655B
CN110162655B CN201910358403.6A CN201910358403A CN110162655B CN 110162655 B CN110162655 B CN 110162655B CN 201910358403 A CN201910358403 A CN 201910358403A CN 110162655 B CN110162655 B CN 110162655B
Authority
CN
China
Prior art keywords
dimensional
sketch
outer contour
dimensional model
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910358403.6A
Other languages
English (en)
Other versions
CN110162655A (zh
Inventor
姚俊峰
刘笑寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910358403.6A priority Critical patent/CN110162655B/zh
Publication of CN110162655A publication Critical patent/CN110162655A/zh
Application granted granted Critical
Publication of CN110162655B publication Critical patent/CN110162655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于草图的三维模型局部检索方法、装置、终端设备，该方法包括：输入二维草图；将三维模型进行投影，得到不同角度的二维视图；提取二维视图的外轮廓；对外轮廓上进行采样，采样时通过自适应的角点检测算法获得外轮廓关键的点；对采样得到的点，根据点之间的距离进行聚类，聚类将外轮廓划分为K部分，K>1；对划分后的每一部分计算角度特征，得到N×N维的角度矩阵；对二维草图同样计算得到对应的角度矩阵；将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练；训练后得到一个一维向量，根据一维向量计算相似分数，相似分数代表三维模型与草图的相似分数；输出相似分数最高的前W个三维模型呈现给用户，完成模型的检索，其中W>1。本发明可以使得用户能方便直观地找到所需模型。

Description

一种基于草图的三维模型局部检索方法、装置、终端设备
技术领域
本申请涉及搜索技术领域，尤其涉及一种基于草图的三维模型局部检索方法、装置、终端设备。
背景技术
当前基于草图的三维模型检索技术没有充分考虑草图中像素值稀疏、有任意性的特性，而且只能检索到和草图整体相似的模型，对于部分与草图相似而其他部分不相似的模型则很难检索到。
发明内容
鉴于现有技术中的上述缺陷或不足，提供一种基于草图的三维模型局部检索方法、装置、终端设备和存储介质。以根据用户手绘的草图检索出整体相似或局部相似的三维模型，把相似度最高的几个模型输出给用户，以便用户能方便直观地找到所需模型。
第一方面，本申请实施例提供了一种基于草图的三维模型局部检索方法，其特征在于，该方法包括：
输入二维草图；
将三维模型进行投影，得到不同角度的二维视图；
提取二维视图的外轮廓；
对外轮廓上进行采样，采样时通过自适应的角点检测算法获得外轮廓关键的点；对采样得到的点，根据点之间的距离进行聚类，聚类将外轮廓划分为K部分，K>1；对划分后的每一部分计算角度特征，得到N×N维的角度矩阵；
对二维草图同样计算得到对应的角度矩阵；
将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练；训练后得到一个一维向量，根据一维向量计算相似分数，相似分数代表三维模型与草图的相似分数；
输出相似分数最高的前W个三维模型呈现给用户，完成模型的检索，其中W>1。第二方面，本申请实施例提供了一种基于草图的三维模型局部检索装置，其特征在于，该装置包括：
输入模块，用于输入二维草图；
角度特征提取模块，用于将三维模型进行投影，得到不同角度的二维视图；提取二维视图的外轮廓；对外轮廓上进行采样，采样时通过自适应的角点检测算法获得外轮廓关键的点；对采样得到的点，根据点之间的距离进行聚类，聚类将外轮廓划分为K部分，K>1；对划分后的每一部分计算角度特征，得到N×N维的角度矩阵；对二维草图同样计算得到对应的角度矩阵；
训练模块，用于将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练；训练后得到一个一维向量，根据一维向量计算相似分数，相似分数代表三维模型与草图的相似分数；
输出模块，用于输出相似分数最高的前W个三维模型呈现给用户，完成模型的检索，其中W>1。
第三方面，本申请实施例提供了一种终端设备，其特征在于，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请实施例描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本申请实施例描述的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的导览机器人路径规划方法的流程示意图；
图2示出了本申请又一实施例提供的导览机器人路径规划装置结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，图1示出了本申请实施例提供的基于草图的三维模型局部检索方法的流程示意图。
如图1所示，该方法包括：
步骤10，输入二维草图；
步骤20，将三维模型进行投影，得到不同角度的二维视图；
步骤30，提取二维视图的外轮廓；
步骤40，对外轮廓上进行采样，采样时通过自适应的角点检测算法获得外轮廓关键的点；
步骤50，对采样得到的点，根据点之间的距离进行聚类，聚类将外轮廓划分为K部分，K>1；
步骤60，对划分后的每一部分计算角度特征，得到N×N维的角度矩阵；
具体地，矩阵中每个元素计算公式如下：
Figure BDA0002046126280000031
其中，i、j代表采样点的序号，d代表采样点的间隔，取d＝2；qiqj代表第i个点与第j个点之间的连线向量，<l1,l2>代表向量l1、l2的夹角，θij代表矩阵中第i行第j列个元素。
步骤70，对二维草图同样计算得到对应的角度矩阵；
步骤80，将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练；具体地，卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
步骤90，训练后得到一个一维向量，根据一维向量计算相似分数，相似分数代表三维模型与草图的相似分数；
步骤100，输出相似分数最高的前W个三维模型呈现给用户，完成模型的检索，其中W>1。
请参考图2，图2示出了本申请又一实施例提供基于草图的三维模型局部检索装置
该装置包括：
输入模块10，用于输入二维草图；
角度特征提取模块20，用于将三维模型进行投影，得到不同角度的二维视图；提取二维视图的外轮廓；对外轮廓上进行采样，采样时通过自适应的角点检测算法获得外轮廓关键的点；对采样得到的点，根据点之间的距离进行聚类，聚类将外轮廓划分为K部分，K>1；对划分后的每一部分计算角度特征，得到N×N维的角度矩阵；对二维草图同样计算得到对应的角度矩阵；
具体地，矩阵中每个元素计算公式如下：
Figure BDA0002046126280000041
其中，i、j代表采样点的序号，d代表采样点的间隔，取d＝2；qiqj代表第i个点与第j个点之间的连线向量，<l1,l2>代表向量l1、l2的夹角，θij代表矩阵中第i行第j列个元素。
训练模块30，用于将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练；训练后得到一个一维向量，根据一维向量计算相似分数，相似分数代表三维模型与草图的相似分数；
具体地，卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
输出模块40，用于输出相似分数最高的前W个三维模型呈现给用户，完成模型的检索，其中W>1。
作为另一方面，本申请还提供了一种终端设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请实施例描述的方法。
作为另一方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请实施例描述的方法。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于草图的三维模型局部检索方法，其特征在于，该方法包括：
输入二维草图；
将三维模型进行投影，得到不同角度的二维视图；
提取二维视图的外轮廓；
对外轮廓上进行采样，采样时通过自适应的角点检测算法获得外轮廓关键的点；对采样得到的点，根据点之间的距离进行聚类，聚类将外轮廓划分为K部分，K>1；
对划分后的每一部分计算角度特征，得到N×N维的角度矩阵；
对二维草图同样计算得到对应的角度矩阵；
将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练；
训练后得到一个一维向量，根据一维向量计算相似分数，相似分数代表三维模型与草图的相似分数；
输出相似分数最高的前W个三维模型呈现给用户，完成模型的检索，其中W>1；
其中，矩阵中每个元素计算公式如下：
Figure FDA0003062739390000011
其中，i、j代表采样点的序号，d代表采样点的间隔，取d＝2；qiqj代表第i个点与第j个点之间的连线向量，<l1,l2>代表向量l1、l2的夹角，θij代表矩阵中第i行第j列个元素。
2.根据权利要求1所述的方法，其特征在于，卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
3.一种基于草图的三维模型局部检索装置，其特征在于，该装置包括：
输入模块，用于输入二维草图；
角度特征提取模块，用于将三维模型进行投影，得到不同角度的二维视图；提取二维视图的外轮廓；对外轮廓上进行采样，采样时通过自适应的角点检测算法获得外轮廓关键的点；对采样得到的点，根据点之间的距离进行聚类，聚类将外轮廓划分为K部分，K>1；对划分后的每一部分计算角度特征，得到N×N维的角度矩阵；对二维草图同样计算得到对应的角度矩阵；
训练模块，用于将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练；训练后得到一个一维向量，根据一维向量计算相似分数，相似分数代表三维模型与草图的相似分数；
输出模块，用于输出相似分数最高的前W个三维模型呈现给用户，完成模型的检索，其中W>1；
其中，矩阵中每个元素计算公式如下：
Figure FDA0003062739390000021
其中，i、j代表采样点的序号，d代表采样点的间隔，取d＝2；qiqj代表第i个点与第j个点之间的连线向量，<l1,l2>代表向量l1、l2的夹角，θij代表矩阵中第i行第j列个元素。
4.根据权利要求3所述的装置，其特征在于，卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
5.一种终端设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-2中任一所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-2中任一所述的方法。
CN201910358403.6A 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备 Active CN110162655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910358403.6A CN110162655B (zh) 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910358403.6A CN110162655B (zh) 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备

Publications (2)

Publication Number Publication Date
CN110162655A CN110162655A (zh) 2019-08-23
CN110162655B true CN110162655B (zh) 2021-07-27

Family

ID=67633063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358403.6A Active CN110162655B (zh) 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备

Country Status (1)

Country Link
CN (1) CN110162655B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159456B (zh) * 2019-12-30 2022-09-06 云南大学 基于深度学习与传统特征的多尺度服装检索方法及系统
CN113392244A (zh) * 2021-06-10 2021-09-14 北京印刷学院 一种基于深度度量学习的三维模型检索方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
CN104751511A (zh) * 2013-12-30 2015-07-01 北京师范大学 一种三维场景构建方法和装置
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
US10074218B1 (en) * 2013-12-23 2018-09-11 Dassault Systemes Solidworks Corporation 3D content creation tool with automatic mating
CN109033144A (zh) * 2018-06-11 2018-12-18 厦门大学 基于草图的三维模型检索方法
CN109213884A (zh) * 2018-11-26 2019-01-15 北方民族大学 一种基于草图检索三维模型的跨模态检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
US10074218B1 (en) * 2013-12-23 2018-09-11 Dassault Systemes Solidworks Corporation 3D content creation tool with automatic mating
CN104751511A (zh) * 2013-12-30 2015-07-01 北京师范大学 一种三维场景构建方法和装置
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
CN109033144A (zh) * 2018-06-11 2018-12-18 厦门大学 基于草图的三维模型检索方法
CN109213884A (zh) * 2018-11-26 2019-01-15 北方民族大学 一种基于草图检索三维模型的跨模态检索方法

Also Published As

Publication number Publication date
CN110162655A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
US11670071B2 (en) Fine-grained image recognition
Kejriwal et al. High performance loop closure detection using bag of word pairs
CN109960742B (zh) 局部信息的搜索方法及装置
CN112487168B (zh) 知识图谱的语义问答方法、装置、计算机设备及存储介质
JP6888484B2 (ja) 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN113361636B (zh) 一种图像分类方法、系统、介质及电子设备
CN110146080B (zh) 一种基于移动机器人的slam回环检测方法及装置
CN110162655B (zh) 一种基于草图的三维模型局部检索方法、装置、终端设备
CN111859004B (zh) 检索图像的获取方法、装置、设备及可读存储介质
US20210117648A1 (en) 3-dimensional model identification
CN111523463B (zh) 基于匹配-回归网络的目标跟踪方法及训练方法
KR102352942B1 (ko) 객체 경계정보의 주석을 입력하는 방법 및 장치
CN104751463A (zh) 一种基于草图轮廓特征的三维模型最佳视角选取方法
JP4570995B2 (ja) マッチング方法およびマッチング装置ならびにプログラム
CN113792594B (zh) 一种基于对比学习的视频中语言片段定位方法及装置
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN114586075A (zh) 用于位置识别的视觉对象实例描述符
CN114168768A (zh) 图像检索方法及相关设备
Ho et al. Manifold learning for multivariate variable-length sequences with an application to similarity search
Xu et al. Skeleton graph matching based on critical points using path similarity
CN116152579A (zh) 基于离散Transformer的点云3D目标检测方法与模型
Bui et al. A texture-based local soft voting method for vanishing point detection from a single road image
CN112257686B (zh) 人体姿态识别模型的训练方法、装置及存储介质
CN115169448A (zh) 一种基于深度学习的三维描述生成和视觉定位的统一方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant