CN108537887A - 基于3d打印的草图与模型库三维视图匹配方法 - Google Patents
基于3d打印的草图与模型库三维视图匹配方法 Download PDFInfo
- Publication number
- CN108537887A CN108537887A CN201810352372.9A CN201810352372A CN108537887A CN 108537887 A CN108537887 A CN 108537887A CN 201810352372 A CN201810352372 A CN 201810352372A CN 108537887 A CN108537887 A CN 108537887A
- Authority
- CN
- China
- Prior art keywords
- model
- printing
- printing model
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010146 3D printing Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000000875 corresponding Effects 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 55
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 description 20
- 238000004519 manufacturing process Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000002965 rope Substances 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 240000000218 Cannabis sativa Species 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
Abstract
本发明提供了一种基于3D打印的草图与模型库三维视图匹配方法,涉及计算机图像处理技术领域,首先获取待检索的2D草图,对该2D草图进行特征提取以获得草图特征;然后将草图特征与预先建立的特征库中的3D模型特征进行匹配,从特征库中选取目标3D模型特征;最后根据该目标3D模型特征,从预先建立的元模型库中选取与该目标3D模型特征对应的目标轮廓图和目标3D打印模型以生成检索结果集。用户可以根据自己的需求绘制草图,将草图与3D打印模型进行匹配,以快速准确的获取满足设计需求的3D打印模型,实现了3D打印模型的复用和共享。
Description
技术领域
本发明涉及计算机图像处理技术领域,尤其是涉及一种基于3D打印的草图与模型库三维视图匹配方法。
背景技术
3D打印是快速成形技术的一种。它采用分层加工、叠加成型的方式,通过逐层增加材料来生成3D实体。3D打印设备具有良好的数字化接口,在实现制造业的网络化、智能化、云端化方面具有光明前景。个性化制造是3D打印技术相对于传统制造最具优势的领域。但是用于3D打印的三维模型设计门槛较高,很多用户没有制造方面的专业背景,使得他们无法创建理想的三维模型。另外,虽然现在互联网上存在很多3D打印模型资源,但是缺乏组织和管理,人们无法有效复用和共享,这导致了人们获取个性化设计资源的困难,限制了3D打印技术在制造领域的应用,使其无法发挥个性化制造的优势。因此,如何帮助人们快速准确获取所需要的3D打印模型逐渐成为一个挑战,需要研究面向3D打印的模型检索技术。
云制造技术是一种基于网络的、面向服务的制造新模式。融合与发展了现有信息化制造技术(信息化设计、生产、实验、仿真、集成)及新兴信息技术(云计算、物联网、服务计算、智能科学、高效能计算等)。将各类制造资源和制造能力虚拟化、服务化,构成服务云池,并进行统一集中的管理和经营通过网络实现随时按客户需求获取制造资源与能力服务,以完成其制造全生命周期的各类活动。基于面向云制造的3D打印服务平台,可以实现3D打印模型在线绘制、个性化定制、案例的模型库检索的在线设计模式。
目前三维模型的检索技术主要集中在基于内容的检索技术研究上,但是由于基于内容的检索技术主要抽取的是模型数据,而三维模型数据表现的多样性,增加了研究通用的三维模型检索技术的难度,难以实现3D打印模型的复用和共享。
发明内容
有鉴于此,本发明的目的在于提供一种基于3D打印的草图与模型库三维视图匹配方法,以快速准确的获取满足设计需求的3D打印模型,实现了3D打印模型的复用和共享。
第一方面,本发明实施例提供了一种基于3D打印的草图与模型库三维视图匹配方法,包括:
获取待检索的2D草图,对所述2D草图进行特征提取以获得草图特征;
将所述草图特征与预先建立的特征库中的3D模型特征进行匹配,从所述特征库中选取目标3D模型特征;
根据所述目标3D模型特征,从预先建立的元模型库中选取与所述目标3D模型特征对应的目标轮廓图和目标3D打印模型以生成检索结果集。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述元模型库的建立过程包括:
获取3D打印模型文件,对所述3D打印模型文件进行预处理以得到规范化3D打印模型;
获取所述规范化3D打印模型在多个视角方向的轮廓图;
根据所述轮廓图及所述3D打印模型建立所述元模型库。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述元模型库的建立过程还包括:采用普林斯顿形状基准PSB,对所述元模型库进行格式调整。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述获取所述规范化3D打印模型在多个视角方向的轮廓图包括:
计算所述规范化3D打印模型的外接球的球心位置和半径以确定所述外接球;
在所述外接球表面选取多个视点,将所述视点至质心的方向确定为视角方向;
提取所述3D打印模型的各个所述视角方向对应的轮廓图。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述特征库的建立过程包括:
获取3D打印模型文件,对所述3D打印模型文件进行预处理以得到规范化3D打印模型;
获取所述规范化3D打印模型在多个视角方向的轮廓图,对所述轮廓图进行特征提取以获得3D模型特征并创建索引;
根据所述3D模型特征及所述索引建立所述特征库。
结合第一方面的第一种或者第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述对所述3D打印模型文件进行预处理以得到规范化3D打印模型包括:
对所述3D打印模型文件按照预设标准进行命名;
对所述3D打印模型文件中的3D打印模型的坐标、坐标系方向及坐标尺度大小进行标准化处理,以得到规范化3D打印模型。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,在生成结果检索集之后还包括:
获取用户在所述结果检索集中的目标3D打印模型中选取的实际3D打印模型的数量;
获取所述结果检索集中的目标3D打印模型的数量;
根据所述实际3D打印模型的数量和所述目标3D打印模型的数量,生成所述结果检索集的评价结果。
本发明实施例带来了以下有益效果:
在本发明提供的实施例中,首先获取待检索的2D草图,对该2D草图进行特征提取以获得草图特征;然后将草图特征与预先建立的特征库中的3D模型特征进行匹配,从特征库中选取目标3D模型特征;最后根据该目标3D模型特征,从预先建立的元模型库中选取与该目标3D模型特征对应的目标轮廓图和目标3D打印模型以生成检索结果集。用户可以根据自己的需求绘制草图,将草图与3D打印模型进行匹配,以快速准确的获取满足设计需求的3D打印模型,实现了3D打印模型的复用和共享。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的3D打印模型检索过程的一种流程示意图;
图2为本发明实施例提供的轮廓图不同方式的展示效果对比图;
图3为本发明实施例提供的基于3D打印的草图与模型库三维视图匹配方法的流程示意图;
图4为本发明实施例提供的2D草图绘制流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前由于基于内容的检索技术主要抽取的是模型数据,而三维模型数据表现的多样性,增加了研究通用的三维模型检索技术的难度,难以实现3D打印模型的复用和共享。基于此,本发明实施例提供的一种基于3D打印的草图与模型库三维视图匹配方法,以快速准确的获取满足设计需求的3D打印模型,实现了3D打印模型的复用和共享。
具体地,本发明实施例提供的技术方案,通过构建一套面向3D打印的草图与3D模型库的三维视图检索系统,能够帮助用户将海量的3D打印模型与自己绘制的草图进行快速、精确的匹配,从而更好的发挥3D打印在个性化制造方面的优势。
如图1所示,本技术方案包括离线处理部分和在线检索部分。其中离线处理是为3D打印模型文件建立元模型库和特征库,以便后续的进行在线特征匹配过程。在线检索是将用户的草图与3D打印模型进行特征匹配,将检索结果集反馈给用户,并确认是否满足检索需求的过程。
为便于对本实施例进行理解,首先对本发明实施例所公开的元模型库和特征库的建立过程,及上述离线处理过程进行详细介绍。
参见图1,上述元模型库和特征库的建立过程如下:获取3D打印模型文件,对该3D打印模型文件进行预处理以得到规范化3D打印模型;获取上述规范化3D打印模型在多个视角方向的轮廓图,根据上述轮廓图及3D打印模型建立元模型库;对该轮廓图进行特征提取以获得3D模型特征并创建索引;根据上述3D模型特征及上述索引建立特征库。
具体地,上述元模型库的建立过程包括:
(a1)获取3D打印模型文件,对该3D打印模型文件进行预处理以得到规范化3D打印模型。
具体地,可以从基于云制造平台大数据中心的3D打印案例库或互联网3D打印社区中,可获取大量3D打印模型文件。在可能的实施例中,3D打印模型文件为STL(STereoLithography)文件格式。STL文件由3D Systems公司的创始人Charles Hull于1988年发明,现已成为全世界CAD/CAM系统接口文件格式的工业标准。STL文件通过三角形网格描述了三维物体表面的几何信息,不包含颜色、纹理以及其他CAD模型的参数。
在可能的实施例中,上述(a1)步骤中,该3D打印模型文件进行预处理以得到规范化3D打印模型包括:对该3D打印模型文件按照预设标准进行命名;对3D打印模型文件中的3D打印模型的坐标、坐标系方向及坐标尺度大小进行标准化处理,以得到规范化3D打印模型。
由于3D打印模型的来源不同,产生的软件也各种各样,因此模型的位置、尺寸、方向等可能都不统一。在检索过程中,三维模型的特征描述符一般要求在进行相似度计算时,不能受到模型的平移、旋转和缩放的影响,因此在获取3D打印模型的特征之前,需要对3D打印模型文件中的3D打印模型进行预处理,使得提取的模型特征具有统一的信息。对3D打印模型进行预处理主要是对模型的位置、尺寸和方向进行统一。三维模型的预处理主要包括以下三个方面:(1)通过对3D打印模型坐标进行预处理,保证平移不变性;(2)对坐标系方向预处理,保证旋转不变性;(3)坐标尺度大小预处理,保证缩放不变性。
对于STL文件格式的三维文件,本实施例采用了基于主元分析法(PrincipalComponent Analysis,PCA)的模型坐标标准化处理方法,此法根据所给模型的点集合来构造相应的协方差矩阵,然后计算出特征值和特征向量。由此得到三个互相正交的特征向量。由这三个特征向量定义新的坐标系来归一化坐标方向。对三维模型进行预处理后,三维模型应该在位置、方向和尺度上进行统一。
在以下模型坐标标准化具体操作中,我们假设G代表3D打印模型中顶点原始坐标的集合,g代表G中某个顶点坐标。预处理步骤如下:
第一步:计算3D打印模型的质心坐标,建立三维坐标系统,通过平移将质心坐标与坐标系原点重合。
由于3D打印模型是由三角片面组成,则3D打印模型的质心坐标计算公式如下:
其中,i表示三角面片的序号,其中vi为第i个三角面片的质心坐标,Si为第i个三角面片的面积,S为三角面片的面积之和。求出3D打印模型的质心坐标之后,对于三角面片中的每一个点g,都进行坐标变换由此得到3D打印模型的新的顶点坐标的集合。
第二步:进行姿势校准,即调整坐标系方向,使得所有的3D打印模型具有统一的方向。
3D打印模型的姿势校准可以采用主元分析法(PCA,Principal ComponentsAnalysis),主元分析法是一种信号分析方法,在信号处理和数据统一分析中得到广泛应用。它首先根据点集合的协方差矩阵计算出相应特征值,然后求出对应的特征向量,通过将特征向量转置来构造旋转矩阵。设点集合的协方差矩阵为M,计算公式如下:
其中,S为三角面片的面积之和,m为顶点数目,j为顶点序号,gj为序号为j的顶点坐标,gj T为序号为j的顶点坐标转置,。计算出协方差矩阵M之后,计算该矩阵的特征向量,设特征向量组为{e1 T,e2 T,e3 T,......en T},将特征向量转置得到旋转矩阵:
R={e1 T,e2 T,e3 T,......en T}T (3)
第三步:对3D打印模型进行缩放使得模型具有统一坐标尺度。
缩放系数L的计算公式为:
其中,m为顶点数目,j为顶点序号,gjx为序号为j的顶点的x轴坐标,gjy为序号为j的顶点的y轴坐标,gjz为序号为j的顶点的z轴坐标。
则由以上第一步至第三部,3D打印模型预处理的过程可以用以下几何变换表示:
G代表3D打印模型中顶点原始坐标的集合,g代表G中某个顶点坐标,L是缩放系数,g′为3D打印模型的新的顶点坐标,R是旋转矩阵,h是3D打印模型质心坐标。经过平移、旋转和缩放操作,所有3D打印模型将拥有统一的坐标位置、坐标系方向和坐标尺度大小的规范化3D打印模型,便于后续的轮廓图获取和特征提取。
(a2)获取上述规范化3D打印模型在多个视角方向的轮廓图。
由于后续步骤需要将D打印模型的轮廓图与用户绘制的草图进行特征匹配,但由于无从得知用户会选择哪个视角,因此在获取3D打印模型的轮廓图时,需要考虑视角的设定问题。在本实施例中首先选择一个球体包含整个三维模型,然后根据球体的经纬度坐标,来确定投影视角的坐标,这样可以获得包括外轮廓线最长的视角在内的一系列视角。
在可能的实施例中,上述步骤(a2)具体包括:计算规范化3D打印模型的外接球的球心位置和半径以确定该外接球;在该外接球表面选取多个视点,将该视点至质心的方向确定为视角方向;提取该3D打印模型的各个视角方向对应的轮廓图。
在具体操作中,通过借助外接体的概念来选择包围球体,外接体是一种具备标准形状且刚好可以容纳目标物体的最小体积单位。因此可以先计算包围模型的外接球,然后对外接球进行一定的尺度变换,作为视角承载的球体。通过计算的外接球的球心位置以及半径来确定外接球。例如可以选择模型质心作为球心位置,并计算所有顶点与质心的距离,取其中最大的作为外接球的半径。在确定球体尺寸之后,按经纬度分布,选取多个视点,从视点看向质心的方向即为视角方向。在经过投影和轮廓图提取之后可以得到该3D打印模型的多张投影视图即轮廓图。
进一步地,针对如何充分表现3D打印模型形状特征的多视角的二维轮廓图研究中,本实施例主要通过非真实感绘制方式来突出模型的主要信息,忽略不相关的次要信息。在非真实感绘制中,轮廓线(Contour)是应用最广泛的一种,轮廓线能够描述3D打印模型的外部形状。而谷线、脊线以及启发轮廓线能够对细节进行补充。尤其是结合轮廓线和启发轮廓线的视图,可以很好地展示模型的形状特征,具有较好的视觉效果,如图2所示。因此,本实施例采取了轮廓线+启发轮廓线的方式以获取相应视角的轮廓图,并以此表达3D打印模型的形状特征。
以下是针对轮廓线、谷线和脊线、启发轮廓线获取方式的具体描述:
轮廓线:给定一个平滑闭合的表面S,设定视角方向为视点至3D打印模型质心,那么首先获得满足一下条件的点集:
np*vp=0 (6)
其中P是表面上的一个点,np是点P的单位法向量,vp是视角方向向量,由于3D打印模型是由三角片面组成,因此其轮廓线可以看作3D打印模型的前向面和后向面的公共边组成的轮廓。对于三维网格模型,设一个三角面片有t个顶点,每个顶点为uk,其中k=1,...,t。对于每个顶点uk,设其单位法向量为则可以定义该面片的法向量为:
当视点位置确定之后,可以确定视线向量。当视线向量与该面片向量的点积为正时,判定此面为前向面。当视线向量与该面片向量的点积为负时,判定此面为后向面。当前向面与反向面有公共边时,则此边就是轮廓线。
谷线和脊线:轮廓线与视点的位置有关,当视点位置变化时,轮廓线也随着变化。与此相反,谷线和脊线与视点的位置无关。通过对边进行遍历,我们可以获取每个三角面片的法向量。谷线和脊线的定义是,当两个面法向量的夹角大于某阈值时,判定其公共边为脊线。当两个面法向量的夹角小于某阈值时,判定其公共边为谷线。设某三角面片的法向量为另一个三角面片的法向量为则判别规则如下:
脊线满足
谷线满足
启发轮廓线:启发式轮廓线(Suggestive contour)利用曲率信息来提取特征线,是轮廓线的一种补充,启发式轮廓线将会随着视角方向的变化而变化。以下是启发式轮廓线的获取方法:
首先定义视点和视角方向,设视角方向为V,对于曲面上的一点P,得到V在过P点的切平面的投影设为I。在切平面上沿I方向径向曲率为0且在I方向上的方向导数大于0的点即为满足条件的点。但是由于3D打印模型的三角面片结构中表面不是连续的,而是离散的,所以得到的不是连续的曲线,而是离散的线段的集合。对于三维网格模型,可以先计算所有经过某顶点的面的曲率,然后通过加权平均作为该顶点的曲率。
(a3)根据上述轮廓图及3D打印模型建立元模型库。
具体地,利用轮廓线+启发轮廓线的方式获取相应视角的轮廓图,并将该轮廓图与相应的3D打印模型进行存储,生成元模型库。
在可能的实施例中,上述元模型库的建立过程还包括:
(a4)采用普林斯顿形状基准PSB(Princeton Shape Benchmark),对上述元模型库进行格式调整。
具体地,针对后续步骤中3D打印模型与用户的手绘草图的匹配,目前还没有标准的测试集,因此本实施例采用PSB(Princeton Shape Benchmark)标准调整元模型库作为实验模型库。并以此实验模型库作为后续对匹配效果进行评估的参考数据集。
在可能的实施例中,上述特征库的建立过程包括:
(b1)获取3D打印模型文件,对该3D打印模型文件进行预处理以得到规范化3D打印模型。
具体地,步骤(b1)与上述步骤(a1)相同,这里不再赘述。
(b2)获取上述规范化3D打印模型在多个视角方向的轮廓图,对该轮廓图进行特征提取以获得3D模型特征并创建索引。
具体地,上述获取上述规范化3D打印模型在多个视角方向的轮廓图的过程与上述步骤(a2)相同,这里不再赘述。另外,通过创建索引可以快速的定位该索引对应的轮廓图,进而定位3D打印模型。
进一步地,为了对3D打印模型的轮廓图进行特征提取,在可能的实施例中采用了基于尺度不变特征变换算法(Scale-invariant feature transform,SIFT)的视觉词袋模型实现对轮廓图的特征提取,以获得3D模型特征。采用该视觉词袋模型可以显著提高检索速度,从而实现图像的快速匹配。利用视觉词袋模型可以将一副图像(即轮廓图)表示为特征向量,其具体过程如下:首先是针对图像集中的所有图像进行局部特征提取,每幅图像得到若干个关键点及其描述,即每幅图像的视觉词汇。然后针对所有视觉词汇进行聚类处理,根据预设的聚类中心数量得到词典。词典的大小即为聚类中心的数量。最后根据词典,统计每个视觉词汇在一副图像中出现的次数,从而实现用一个特征向量来表示这幅图像。
在视觉词袋模型中,对于有若干个图像的集合,基于集合可以建立一个词典,词典中的视觉词汇为所有图像中出现的不同的视觉词汇。则对于该集合中的某个图像,根据其视觉词汇和词典中词汇的索引号,统计视觉词汇出现的次数,就可以构造一个特征向量,用来表示这个图像。
(b3)根据上述3D模型特征及上述索引建立特征库。
具体地,将上述3D模型特征及上述索引进行存储,生成元模型库。
通过上述元模型库和特征库的建立,并对3D打印模型的特征建立索引,实现了对3D打印模型的有效管理,有利于3D打印模型的复用和共享。
在元模型库和特征库建立完成后,可以利用该元模型库和特征库进行3D打印模型的检索。下面对在线检索部分进行详细描述,如图3所示,本实施例提供的基于3D打印的草图与模型库三维视图匹配方法包括:
步骤S101,获取待检索的2D草图,对该2D草图进行特征提取以获得草图特征。
具体地,上述2D草图可以是用户在线绘制的草图或者是上传已有草图。在可能的实施例中,采用基于HTML5的Canvas技术实现用户在线绘制草图功能。参见图4,通过Html5的Canvas标签绘制草图的基本流程如下所示:
首先是获取Canvas对象,然后监听鼠标事件。当鼠标按下并且移动时,在Canvas画布上绘制2D草图;当鼠标松开时,停止绘制2D草图并继续监测鼠标事件。当监听到save事件后,会保存Canvas画布中的2D草图为图片。其中本实施例通过将Canvas对象的内容进行Base64的编码,并通过URL的方式传送给后台,后台再进行Base64的解码,从而得到用户绘制的草图,并进行下一步的特征提取。
具体地,对该2D草图进行特征提取的过程与上述步骤(b2)中对该轮廓图进行特征提取的过程类似,同样采用了基于尺度不变特征变换算法(Scale-invariant featuretransform,SIFT)的视觉词袋模型,以实现对2D草图的特征提取。
步骤S102,将上述草图特征与预先建立的特征库中的3D模型特征进行匹配,从该特征库中选取目标3D模型特征。
通过对3D打印模型的轮廓图构建及轮廓图与2D草图的特征提取后,特征向量的维数取决于视觉词典的大小,也就是聚类中心的数量。这样每幅图像(轮廓图与2D草图)之间相似性度量就转化为特征向量之间相似性度量的问题。
采用相似度度量时,如果相似度越小,则说明两个个体之间相似性就越小。余弦相似度是常用的相似度度量函数。它采用空间中两个向量之间夹角的余弦值来度量两个向量之间的相似度。如果余弦值越小,说明两个向量之间的夹角越大,而相似度就越小。对于用户输入的一幅2D草图,在提取其关键点以及特征描述(特征提取)之后,采用视觉词袋模型根据视觉词典就能得到特征向量。然后计算2D草图的特征向量与预先建立的特征库中3D特征向量之间的余弦值作为相似度,将相似度大于预设阈值的特征向量作为与之相似的目标3D特征向量。其中相似度计算公式如下:
其中,A表示特征库中的轮廓图的3D特征向量,B表示2D草图的特征向量。在计算2D草图与轮廓图的相似度时,将2D草图的特征向量与特征库中所有轮廓图的特征向量进行相似度比较。即需要将2D草图与所有的轮廓图特征向量进行计算,为避免采用穷举搜索造成的庞大计算量及时间消耗,在可能的实施例中采用PSB(Princeton Shape Benchmark)标准调整元模型库作为实验模型库,将该实验模型库为基础建立索引,采用了Kd-树的最近邻搜索算法实现特征向量的快速匹配,从而大幅度降低了由相似度匹配问题造成的巨大计算量。
步骤S103,根据目标3D模型特征,从预先建立的元模型库中选取与目标3D模型特征对应的目标轮廓图和目标3D打印模型以生成检索结果集。
在特征库中确定目标3D模型特征后,根据预先创建的索引定位到元特征库中的目标轮廓图,进而定位到相应的目标3D打印模型。将目标轮廓图和目标3D打印模型存储为检索结果集。
在可能的实施例中,对于同一张2D草图,利用视觉词袋模型进行检索之后,可能会包含某一个3D打印模型的不同视角的多张轮廓图。因此,对于这种情况,在返回检索结果集时,对于属于同一个3D打印模型的轮廓图,选取其相似度最高(即匹配度最高)的轮廓图作为目标轮廓图,将该目标轮廓图及其相应的目标3D打印模型存储至检索结果集。
在本实施例中,用户可以根据自己的需求绘制草图,将草图与3D打印模型进行匹配,以快速准确的获取满足设计需求的3D打印模型,实现了3D打印模型的复用和共享。
进一步地,为使用户可以看到与提交的2D草图相匹配的三维模型预览图,在可能的实施方案中中使用WebGL技术对3D打印模型进行渲染,方便用户检查检索结果是否满足要求。WebGL是一种3D绘图标准。它通过结合JavaScript与OpenGL,能够借助系统硬件来实现3D渲染。随着支持JavaScript的V8引擎的发展,在客户端的浏览器中也能够很好的实现3D模型的渲染与展示。
在可能的实施例中,为了便于用于对检索结果的评价,提供了一种检索结果评价机制。上述步骤S103中在生成结果检索集之后还包括:
获取用户在结果检索集中的目标3D打印模型中选取的实际3D打印模型的数量;获取结果检索集中的目标3D打印模型的数量;根据实际3D打印模型的数量和目标3D打印模型的数量,生成结果检索集的评价结果。
上述评价结果包括准确率和召回率,通过准确率和召回率对检索结果进行衡量和评估。具体地,准确率Pre=K/M,Rec=(M-K)/M;其中K表示用户在结果检索集中的目标3D打印模型中选取的实际3D打印模型的数量,M表示结果检索集中的目标3D打印模型的数量。
综上所述,本发明实施例提供的基于3D打印的草图与模型库三维视图匹配方法,将用户通过画图工具Canvas绘制的草图与元模型库中三维模型的轮廓图进行匹配,使用户可以实现其绘制的草图与专业三维模型相匹配的设计需求。本发明采用基于视觉词袋模型的设计方法进行草图与3D打印模型的轮廓图的匹配,并通过特征提取、构建视觉词典、特征量化、相似性度量的流程实现了整个匹配过程。这样,一方面可以帮助用户快速准确地获取所需要的3D打印模型,另一方面通过对3D打印模型的各项3D模型特征建立索引,对3D打印模型进行有效的管理,根据3D打印模型的特点,对3D打印模型进行有效管理,实现3D打印模型的复用和共享,从而推动3D打印在制造领域的实际应用。
附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。
此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (7)
1.一种基于3D打印的草图与模型库三维视图匹配方法,其特征在于,包括:
获取待检索的2D草图,对所述2D草图进行特征提取以获得草图特征;
将所述草图特征与预先建立的特征库中的3D模型特征进行匹配,从所述特征库中选取目标3D模型特征;
根据所述目标3D模型特征,从预先建立的元模型库中选取与所述目标3D模型特征对应的目标轮廓图和目标3D打印模型以生成检索结果集。
2.根据权利要求1所述的方法,其特征在于,所述元模型库的建立过程包括:
获取3D打印模型文件,对所述3D打印模型文件进行预处理以得到规范化3D打印模型;
获取所述规范化3D打印模型在多个视角方向的轮廓图;
根据所述轮廓图及所述3D打印模型建立所述元模型库。
3.根据权利要求2所述的方法,其特征在于,所述元模型库的建立过程还包括:采用普林斯顿形状基准PSB,对所述元模型库进行格式调整。
4.根据权利要求2所述的方法,其特征在于,所述获取所述规范化3D打印模型在多个视角方向的轮廓图包括:
计算所述规范化3D打印模型的外接球的球心位置和半径以确定所述外接球;
在所述外接球表面选取多个视点,将所述视点至质心的方向确定为视角方向;
提取所述3D打印模型的各个所述视角方向对应的轮廓图。
5.根据权利要求1所述的方法,其特征在于,所述特征库的建立过程包括:
获取3D打印模型文件,对所述3D打印模型文件进行预处理以得到规范化3D打印模型;
获取所述规范化3D打印模型在多个视角方向的轮廓图,对所述轮廓图进行特征提取以获得3D模型特征并创建索引;
根据所述3D模型特征及所述索引建立所述特征库。
6.根据权利要求2或5所述的方法,其特征在于,所述对所述3D打印模型文件进行预处理以得到规范化3D打印模型包括:
对所述3D打印模型文件按照预设标准进行命名;
对所述3D打印模型文件中的3D打印模型的坐标、坐标系方向及坐标尺度大小进行标准化处理,以得到规范化3D打印模型。
7.根据权利要求1所述的方法,其特征在于,在生成结果检索集之后还包括:
获取用户在所述结果检索集中的目标3D打印模型中选取的实际3D打印模型的数量;
获取所述结果检索集中的目标3D打印模型的数量;
根据所述实际3D打印模型的数量和所述目标3D打印模型的数量,生成所述结果检索集的评价结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810352372.9A CN108537887A (zh) | 2018-04-18 | 2018-04-18 | 基于3d打印的草图与模型库三维视图匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810352372.9A CN108537887A (zh) | 2018-04-18 | 2018-04-18 | 基于3d打印的草图与模型库三维视图匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108537887A true CN108537887A (zh) | 2018-09-14 |
Family
ID=63477914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810352372.9A Pending CN108537887A (zh) | 2018-04-18 | 2018-04-18 | 基于3d打印的草图与模型库三维视图匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108537887A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109472861A (zh) * | 2018-12-03 | 2019-03-15 | 山东大学 | 交互式树木建模方法、模型生成方法、系统及仿生树木 |
WO2020143427A1 (zh) * | 2019-01-09 | 2020-07-16 | 广州黑格智造信息科技有限公司 | 3d打印参数值的确定方法及装置 |
CN112581426A (zh) * | 2020-11-06 | 2021-03-30 | 上海达适医疗科技有限公司 | 一种红外热成像图像的左右腿识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
CN105243137A (zh) * | 2015-09-30 | 2016-01-13 | 华南理工大学 | 一种基于草图的三维模型检索视点选择方法 |
WO2017020140A1 (es) * | 2015-08-03 | 2017-02-09 | Orand S.A. | Sistema de búsqueda de imágenes por sketches usando histogramas de orientaciones de celdas y extracción de contornos basado en características de nivel medio |
CN107194312A (zh) * | 2017-04-12 | 2017-09-22 | 广东银禧科技股份有限公司 | 一种基于3d打印模型内容的模型推荐方法 |
CN107633065A (zh) * | 2017-09-21 | 2018-01-26 | 天津大学 | 一种基于手绘草图的识别方法 |
-
2018
- 2018-04-18 CN CN201810352372.9A patent/CN108537887A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
WO2017020140A1 (es) * | 2015-08-03 | 2017-02-09 | Orand S.A. | Sistema de búsqueda de imágenes por sketches usando histogramas de orientaciones de celdas y extracción de contornos basado en características de nivel medio |
CN105243137A (zh) * | 2015-09-30 | 2016-01-13 | 华南理工大学 | 一种基于草图的三维模型检索视点选择方法 |
CN107194312A (zh) * | 2017-04-12 | 2017-09-22 | 广东银禧科技股份有限公司 | 一种基于3d打印模型内容的模型推荐方法 |
CN107633065A (zh) * | 2017-09-21 | 2018-01-26 | 天津大学 | 一种基于手绘草图的识别方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109472861A (zh) * | 2018-12-03 | 2019-03-15 | 山东大学 | 交互式树木建模方法、模型生成方法、系统及仿生树木 |
WO2020143427A1 (zh) * | 2019-01-09 | 2020-07-16 | 广州黑格智造信息科技有限公司 | 3d打印参数值的确定方法及装置 |
CN112581426A (zh) * | 2020-11-06 | 2021-03-30 | 上海达适医疗科技有限公司 | 一种红外热成像图像的左右腿识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Feixas et al. | A unified information-theoretic framework for viewpoint selection and mesh saliency | |
CN108509848B (zh) | 三维物体的实时检测方法及系统 | |
CN100456300C (zh) | 基于二维草图的三维模型检索方法 | |
CN108875813B (zh) | 一种基于几何图像的三维网格模型检索方法 | |
EP3335195A2 (en) | Methods of generating personalized 3d head models or 3d body models | |
CN107358648A (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
CN104751511B (zh) | 一种三维场景构建方法和装置 | |
CN105354593B (zh) | 一种基于nmf的三维模型分类方法 | |
CN108537887A (zh) | 基于3d打印的草图与模型库三维视图匹配方法 | |
Zheng et al. | 4D reconstruction of blooming flowers | |
Sheng et al. | A lightweight surface reconstruction method for online 3D scanning point cloud data oriented toward 3D printing | |
Zhang et al. | Research on 3D architectural scenes construction technology based on augmented reality | |
CN113593001A (zh) | 目标对象三维重建方法、装置、计算机设备和存储介质 | |
CN111460193B (zh) | 一种基于多模态信息融合的三维模型分类方法 | |
Yu et al. | Mean value coordinates–based caricature and expression synthesis | |
Kazmi et al. | Efficient sketch‐based creation of detailed character models through data‐driven mesh deformations | |
CN111354076A (zh) | 一种基于嵌入空间的单幅图像三维零件组合式建模方法 | |
Dong et al. | A time-critical adaptive approach for visualizing natural scenes on different devices | |
CN114723884A (zh) | 三维人脸重建方法、装置、计算机设备及存储介质 | |
Yin et al. | Virtual reconstruction method of regional 3D image based on visual transmission effect | |
CN107133284A (zh) | 一种基于流行学习的视图三维模型检索方法 | |
Lu et al. | Research on 3D reconstruction method of human-computer interaction scene based on support vector machine in cloud manufacturing environment | |
Liang et al. | Decorin: an automatic method for plane-based decorating | |
Zeng et al. | 3D plants reconstruction based on point cloud | |
Zhao et al. | Three-dimensional face reconstruction of static images and computer standardization issues |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |
|
RJ01 | Rejection of invention patent application after publication |