CN114817595A - 基于草图的三维模型检索方法、装置、设备及介质 - Google Patents

基于草图的三维模型检索方法、装置、设备及介质 Download PDF

Info

Publication number
CN114817595A
CN114817595A CN202210266100.3A CN202210266100A CN114817595A CN 114817595 A CN114817595 A CN 114817595A CN 202210266100 A CN202210266100 A CN 202210266100A CN 114817595 A CN114817595 A CN 114817595A
Authority
CN
China
Prior art keywords
sketch
dimensional
sample
dimensional model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210266100.3A
Other languages
English (en)
Inventor
何彩梅
刘锦烽
何勇军
赵晶
陈建华
覃明诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Donghui Precision Mechanical & Electrical Co ltd
Original Assignee
Shenzhen Donghui Precision Mechanical & Electrical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Donghui Precision Mechanical & Electrical Co ltd filed Critical Shenzhen Donghui Precision Mechanical & Electrical Co ltd
Priority to CN202210266100.3A priority Critical patent/CN114817595A/zh
Publication of CN114817595A publication Critical patent/CN114817595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于草图的三维模型检索方法、装置、设备及介质，其中，该基于草图的三维模型检索方法包括：基于训练草图的视线方向采用预设的三维模型视点组对训练草图进行投影，获取二维草图视图组；采用边缘检测算法和样本增强算法获取二维草图视图组的增强草图集；提取增强草图集对应的样本特征生成样本特征集，基于样本特征集，获取公共特征嵌入空间；基于公共特征嵌入空间对待检索草图进行检索，以获取三维模型对应的模型检索结果。该方法可有效准确快速地识别各种视线方向的三维物体的种类，具有泛化性可应用于不同种类的三维物体的种类识别。

Description

基于草图的三维模型检索方法、装置、设备及介质
技术领域
本发明涉及三维模型检索技术领域，尤其涉及一种基于草图的三维模型检索方法、装置、设备及介质。
背景技术
近年来，随着3D打印技术和计算机技术的快速发展，三维模型数据井喷式增长。三维模型已经应用到自动驾驶、医疗生物、工业生产以及游戏娱乐等行业。海量的三维模型为设计者提供了更多的选择，但同时也带来另一个难题，那就是如何在数量庞大的三维模型库中找出感兴趣的目标模型，即三维模型检索。
以草图为输入的三维模型检索是一种灵活便捷的检索方式，基于草图的三维模型检索实际上是草图与三维模型的相似性对比问题。草图具有高度抽象性，它只是三维模型一个视点下的粗略描述。
传统方法是利用人工设计的编码算法提取草图和三维模型投影出的视图特征描述符，然后进行相似度对比从而达到检索目的。传统方法又分为基于全局特征的方法和基于局部特征的方法。基于全局特征的方法是根据草图的整体形状来进行特征计算。基于局部特征的方法是利用局部特征的计算来代表整体的全局特征。传统的基于草图的三维模型检索方法应用范围有限，提取效率、通用性和检索准确率低。
发明内容
本发明实施例提供一种基于草图的三维模型检索方法、装置、设备及介质，以解决传统的基于草图的三维模型检索方法应用范围有限，提取效率、通用性和检索准确率低的问题。
一种基于草图的三维模型检索方法，包括：
获取三维物体的训练草图，基于训练草图的视线方向采用预设的三维模型视点组对训练草图进行投影，获取二维草图视图组；
采用边缘检测算法和样本增强算法获取二维草图视图组的增强草图集；
提取增强草图集对应的样本特征生成样本特征集，基于样本特征集，获取与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间；
获取三维模型的待检索草图，并基于公共特征嵌入空间对待检索草图进行检索，以获取三维模型对应的模型检索结果。
一种基于草图的三维模型检索装置，包括：
获取训练草图模块，用于获取三维物体的训练草图，基于训练草图的视线方向采用预设的三维模型视点组对训练草图进行投影，获取二维草图视图组；
获取增强草图集模块，用于采用边缘检测算法和样本增强算法获取二维草图视图组的增强草图集；
获取公共特征嵌入空间模块，用于提取增强草图集对应的样本特征生成样本特征集，基于样本特征集，获取与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间；
获取模型检索结果模块，用于获取三维模型的待检索草图，并基于公共特征嵌入空间对待检索草图进行检索，以获取三维模型对应的模型检索结果。
一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于草图的三维模型检索方法。
一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于草图的三维模型检索方法。
上述基于草图的三维模型检索方法、装置、设备及介质，通过将训练草图以其视线方向投影成二维草图视图组，用以训练与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间，用来识别跨域空间的不同种类的三维物体，可有效准确快速地识别各种视线方向的三维物体的种类，具有泛化性可应用于不同种类的三维物体的种类识别。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于草图的三维模型检索方法的应用环境示意图；
图2是本发明一实施例中基于草图的三维模型检索方法的流程图；
图3是本发明一实施例中基于草图的三维模型检索方法的第一流程图；
图4是本发明一实施例中基于草图的三维模型检索方法的三维模型视点组的模型示意图；
图5是本发明一实施例中基于草图的三维模型检索方法的第二流程图；
图6是本发明一实施例中基于草图的三维模型检索方法的第三流程图；
图7是本发明一实施例中基于草图的三维模型检索方法的第四流程图；
图8是本发明一实施例中基于草图的三维模型检索方法的不同层次的训练草图、二维视图和多层次伪草图的对比示意图；
图9是本发明一实施例中基于草图的三维模型检索方法的第五流程图；
图10本发明一实施例中基于草图的三维模型检索方法的第六流程图；
图11是本发明一实施例中基于草图的三维模型检索方法的三元网络模型的模型构成示意图；
图12是本发明一实施例中基于草图的三维模型检索方法的整体流程示意图；
图13是本发明一实施例中基于草图的三维模型检索装置的示意图；
图14是本发明一实施例中设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于草图的三维模型检索方法，可应用在如图1的应用环境中，该基于草图的三维模型检索方法应用在基于草图的三维模型检索系统中，该基于草图的三维模型检索系统包括客户端和服务器，其中，客户端通过网络与服务器进行通信。客户端又称为用户端，是指与服务器相对应，为客户端提供本地服务的程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于草图的三维模型检索方法，以该方法应用在图1中的服务器为例进行说明，具体包括如下步骤：
S10.获取三维物体的训练草图，基于训练草图的视线方向采用预设的三维模型视点组对训练草图进行投影，获取二维草图视图组。
其中，三维物体的训练草图是绘有已知物体种类的初始化表达设计或者形体的图。本实施例中的草图可为二维的或三维草图。在创建二维草图时，须先确定草图所依附的平面，即草图坐标系确定的坐标面。当草图的坐标面确定，其相对于单位正方体的视线方向即可确定。可以理解地，单位正方体具有六个面，也即具有六个视线方向为：上、下、左、右、前以及后向。
三维模型视点组是由每一视线方向对应的将训练草图投影为二维草图视图的至少三个视点(一个主视点，于该主视点对称的两个辅助视点)构成的集合，也即二维草图视图是将训练草图通过三维模型视点组投射后形成的二维草图。单一方向上每个视点对应的二维草图，构成该方向上训练草图对应的二维草图视图组。
具体地，单位正方体可外接于一球体，单位正方体上的每个面上的多个点投射到球体上，可形成该面(该视线方向)相对于球体的至少三个视点。
绘制的训练草图可通过草图坐标系确定的坐标面获取其相对于单位正方体的视线方向，并基于该视线方向对应的三维模型视点组进行投射，形成单一方向对应的至少三张二维草图视图。
在步骤S10中，训练草图可通过三维模型视点组获取准确方向上的二维草图视图，利于后续步骤高效地处理二维草图视图，降低计算复杂度。
S20.采用边缘检测算法和样本增强算法获取二维草图视图组的增强草图集。
其中，边缘检测算法是指利用灰度值的不连续性质，以灰度突变为基础分割出目标区域的方法，用来提取图像特征，本实施例可采用Canny算子、Marr-Hildreth算子等，此处不作具体限定。
样本增强算法也叫样本扩增算法，用于在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。比如，对于单样本数据增强，包括几何变换类，颜色变换类等，此处不作具体限定。
S30.提取增强草图集对应的样本特征生成样本特征集，基于样本特征集，获取与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间。
其中，于本实施例中，样本特征即为图像图纸，图像特征主要分为四类：直观性特征、灰度统计特征、变换系数特征与代数特征等。
公共特征嵌入空间是一个抽象概念，在这个空间里存放着所有图像的物体类型对应的特征向量。公共特征嵌入空间可通过loss函数(损失函数)来约束特征向量的分布位置，拉近同类图像的特征向量，拉远异类图像的特征向量，最终实现同类的图像呈簇状分布。其中，损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。
具体地，为了全面地体现三维物体的类型特征，本实施例可尽可能多地提取增强草图集对应的样本特征，包括标准类型特征、同类型物体的特征以及远离标准类型物体的特征等，并将所述前述提取的样本特征通过类型索引模式保存到公共特征嵌入空间中。
S40.获取三维模型的待检索草图，并基于公共特征嵌入空间对待检索草图进行检索，以获取三维模型对应的模型检索结果。
具体地，通过提取三维模型的待检索草图中与公共特征嵌入空间中匹配保存的特征，可快速有效地检索出三维模型对应的模型检索结果。检索时，以三维模型的待检索草图为输入，利用CNN(卷积神经网络，Convolutional Neural Networks)提取特征，在公共特征嵌入空间中进行相似性评价，最终检索出与待检索草图最具相似性的三维模型。
本实施例提供的基于草图的三维模型检索方法，通过将训练草图以其视线方向投影成二维草图视图组，用以训练与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间，用来识别跨域空间的不同种类的三维物体，可有效准确快速地识别各种视线方向的三维物体的种类，具有泛化性可应用于不同种类的三维物体的种类识别。
在一具体实施例中，如图3所示，在步骤S10之前，即在获取三维模型的训练草图之前，还具体包括如下步骤：
S101.获取内接于球体的单位正方体，单位正方体的六个视面分别对应一视线方向。
其中，单位正方体((unit cube)一种特殊的正方体，是棱长均为1单位的立方体，总表面积是6平方单位。视面即为单位正方体六个面。
视线方向视视面所对应的视线方向，包括上、下、左、右、前和后六个方向。
S102.将每一视面的中心投影到对应的视线方向上的球体的球面上，获取视面的中心在球体的球面上的主视点。
其中，主视点是视面的中心在球体上对应的视线方向上的投影点。
步骤S102可确认主视点在单位正方体的外接球体上的位置，利于后续基于三维物体在球体上的旋转方向点确认三维模型对应主视点，从而确认三维模型的视线方向。具体地，不同类别的草图在绘画时会有偏向点，例如飞机倾向于画其侧面而不是正面，蚂蚁更倾向于画顶面而不是侧面。可以根据不同类别草图的特点进行选择和确认三维模型的视线方向。
S103.在与视面相对的球面上，围绕主视点至少设置一对相互对称的辅助视点，主视点和辅助视点构成单一视线方向上的单向视点组。
具体地，为了增加数据的多样性以及准确定位草图的视点方向，增强Triplet模型的鲁棒性，本实施例可围绕主视点设置四对相互对称的辅助视点。在每个主视点的上下、左右、左上右下、左下右上分别设置8个辅助视点，即每个视点组共设置9个视点(主视点加八个辅助视点)，共计54个视点。三维模型视点组设置如图4所示。
S104.结合所有单向视点组构成三维模型视点组。
具体地，本实施例可生成包括六个视线方向的三维模型视点组。
步骤S101至S104中，本实施例可构成三维模型视点组，用于增加数据的多样性以及准确定位草图的视点方向。
在一具体实施例中，三维模型视点组包括至少一个视线方向上的单向视点组，单向视点组包括至少三个视点位置。如图5所示，在步骤S10中，即基于训练草图的视线方向采用预设的三维模型视点组对训练草图进行投影，获取二维草图视图组，具体包括如下步骤：S11.基于训练草图对应的视线方向，从三维模型视点组中匹配对应的单向视点组。
具体地，本实施例可通过三维物体的中心基于外接球体的旋转方向确定对应的球体上的主视点，从而通过该主视点获取对应的三维模型视点组中的单向视点组。
S12.基于单向视点组，对训练草图在单一视线方向上的至少三个视点位置分别进行投影，以获取训练草图对应的二维草图视图组。
具体地，本实施例继续基于每个视线方向上包括九个视点为例进行说明。基于草图视点方向，生成原草图在九个细微方向和位置略有区别的原草图的投影形式的二维草图。九张二维草图形成训练草图对应的二维草图视图组。
步骤S11至S12中，本实施例可生成训练草图对应的二维草图视图组，以将三维物体投射为正确视线方向上的由一张训练草图生成的多个二维草图，增强识别鲁棒性。
在一具体实施例中，如图6所示，在步骤S20之前，即在采用边缘检测算法和样本增强算法获取所述二维草图视图组的增强草图集之前，还具体包括如下步骤：
S201.将二维草图视图组作为标准样本集，获取与三维物体同类别的正向样本集以及与三维物体同不类别的负向样本集。
S202.结合标准样本集、正向样本集以及负向样本集生成训练草图对应的第一增强样本集。
具体地，第一增强样本集的数量(Ct)由正向样本集的数量(Cp)，标准样本集的数量(Ca)以及负向样本集的数量(Cn)决定，可生成的不重复第一增强样本集(由三元组构成的)的最大数量为：
Ct＝Ca×Cp×C
其中，标准样本集是与训练草图同类别的草图集，正向样本集是指与标准样本同类别的伪草图集合，负向样本是与标准样本不同类别的伪草图集合。
在步骤S201至S202中，本实施例可通过结合正负向伪草图集结合标准样本集的第一增强样本集，利于后续有效突出靠近样本集的集中特征，同时具备区别于标准样本的远离特征。
在一具体实施例中，第一增强样本集包括至少三个增强样本图。如图7所示，即在步骤S20中，即采用边缘检测算法和样本增强算法获取二维草图视图组的增强草图集，具体包括如下步骤：
S211.采用边缘检测算法生成第一增强样本集中的每一增强样本图对应的多层次伪图组，多层次伪图组包括至少两张二维伪图。
其中，伪草图是通过边缘检测算法中的阈值调整，得到不同阈值的二维伪图。多层次伪草图是从多个二维伪图中选取其中几种阈值的二维伪图进行组合参与后续训练的草图。
具体地，本实施例以Canny算子为例，获取二维草图视图组的增强草图集的视线过程如下：
Canny算子的目标是找到一个最优的边缘，其最优边缘的定义是：1.好的检测--算法能够尽可能多地标示出图像中的实际边缘；2.好的定位--标识出的边缘要与实际图像中的实际边缘尽可能接近；以及3.最小响应--图像中的边缘只能标识一次，并且可能存在的图像噪声不应该标识为边缘。
Canny算法的具体实现步骤如下：
(1).高斯(Gaussian)滤波：根据待滤波的增强样本图上的像素点及其邻域点的灰度值按照高斯公式生成的参数规则进行加权平均，可以有效滤去图像中叠加的高频噪声(noise)。
(2).计算梯度图像与角度图像：使用高斯滤波器进行梯度计算得到的滤波器，得到类似Sobel算子的结果，即距离中心点越近的像素点权重越大。角度图像的计算则较为简单，其作用为非极大值抑制的方向提供指导。
(3).对梯度图像进行非极大值抑制：从上一步得到的梯度图像存在边缘粗宽、弱边缘干扰等问题，使用非极大值抑制来寻找像素点局部最大值，将非极大值所对应的灰度值置0，可剔除大部分非边缘的像素点。
(4).使用双阈值进行边缘连接：经过以上三步之后得到的边缘质量已经很高的图像，但还存在很多伪边缘，因此Canny算法中所采用的算法为双阈值法，具体思路为选取两个阈值，即低阈值(low)和高阈值(high)来筛选边缘点像素。以大脑和飞机的训练草图为例进行说明，将高阈值设置为50，当低阈值取值不同时，不同层次的训练草图、二维视图和多层次伪草图的对比图像如图8所示。
步骤S212中，采用边缘检测算法生成的多层次伪图组不仅解决了不同草图间细节信息差异导致的与伪草图差别过大的问题，还增加了数据多样性，可以有效提高检索准确率。
S212.结合所有多层次伪图组生成第二增强样本集。
S213.采用样本增强算法对第二增强样本集进行扩容，获取二维草图视图组对应的增强草图集。
其中，样本增强算法是由于受到环境，光线等的影响，拍摄的照片清晰度和对比度比较低，不能够突出图像中的重点时，突出图像细节或者增加图像数量的算法。样本增强视线过程可增强图像的对比度，使得其中的人物或者事物更加明显，利于后续的图像识别等处理。
在步骤S211至S213涉及的数据均衡过程中，由于训练草图和增强样本图仍然属于不同的域空间，本实施例可通过边缘检测算法提取每个增强样本图的多层次伪草图，不仅可解决单张伪草图丢失视图细节信息的问题，而且有效地缩小了域差异。其中，域空间是抽象的说法，增强草图是由三维模型得到的真实图像，它的形状，位置以及大小均是视图域对应的三维模型直接得到的。而训练草图是基于草图域人为绘制的，不同的人画出的草图，或者同一个人针对同一物体每次画的草图都是不一样的，其包含信息量，大小以及形态均不相同。
在一具体实施例中，如图9所示，在步骤S20中，即边缘检测算法和样本增强算法获取二维草图视图组的增强草图集，具体包括如下步骤：
S221.采用边缘检测算法获取二维草图视图组对应的第二增强样本集。
S222.采用样本增强算法对第二增强样本集进行扩容，获取二维草图视图组对应的增强草图集，样本增强算法包括对第二增强样本集进行旋转和/或裁剪，其中旋转对应的旋转角度为0°-40°。
具体地，旋转操作不改变图像的大小，而裁剪会改变图像的大小。通常在训练的时候会采用随机裁剪的方法，在测试的时候选择裁剪中间部分或者不裁剪。需要注意的是，裁剪输入的多个版本然后将结果进行融合，对预测的改进效果非常明显。以上旋转和裁剪操作都不会使得图像产生失真现象。
在步骤S212至S222中，本实施例可通过旋转和裁剪能够得到二维草图视图组对应的包括更多图像的增强草图集，用于训练时提高网络的鲁棒性。
在一具体实施例中，样本特征集包括标准样本特征集、正向样本特征集以及负向样本特征集。如图10所示，在步骤S30中，即基于样本特征集，获取与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间，具体包括如下步骤：
S31.基于标准样本特征集、正向样本特征集以及负向样本特征集分别训练共享权值的三元网络模型，获取训练草图对应的三元网络检索结果。
其中，本实施例可采用Triplet网络作为三元网络模型，其中，triplet loss是Triplet网络中深度学习的一种损失函数，主要用于训练差异性小的样本；其次在训练目标是得到样本的嵌入任务中，triplet loss也经常使用，比如文本、和图片的嵌入。
具体地，首先，本实施例可采用Sketch-A-Net(手绘图像识别)网络分别提取标准样本特征集、正向样本特征集以及负向样本特征集的图像特征，用于后续学习一个特征映射。然后采用Triplet网络，对triplet loss的损失公式输入三个参数，即锚点a，正例p和负例n，分别对应本实施例中前述获取的标准样本集、正向样本集以及负向样本集。Tripletloss的目标在于：使具有相同标签的样本在嵌入空间中尽量接近；使具有不同标签的样本在嵌入空间中尽量远离。遵循以上两点，最后嵌入空间中相同类别的样本会聚集到一个很小的圈子里，即同一类别的样本簇中样本间的距离很小。
进一步地，Triplet网络的特征嵌入网络如图11所示。图中三个输入分支对应三个共享权值的CNN网络进行特征提取。
S32.通过三元网络检索结果建立草图索引，将样本特征集映射到公共特征嵌入空间，用于约束标准样本特征集和正向样本特征集的分布位置呈簇状分布。
其中，草图索引是指根据草图的类别与观察位置的信息建立索引，再根据训练好的网络最后能够形成每类草图与视图的检索相似程度的对应关系。三元网络模型的输入端输入训练草图，通过Triplet loss进行映射，以使输出端输出训练草图的检索结果，并映射到公共特征嵌入空间中。
步骤S31至S32中，本实施例可通过Triplet网络减小训练草图与伪草图间的差异性，提高检索的准确率。
本实施例提供的基于草图的三维模型检索方法，通过将训练草图以其视线方向投影成二维草图视图组，用以训练与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间，用来识别跨域空间的不同种类的三维物体，可有效准确快速地识别各种视线方向的三维物体的种类，具有泛化性可应用于不同种类的三维物体的种类识别。
在一具体实施例中，基于草图的三维模型检索方法的整体流程如图12所示，具体包括如下步骤：
S1、数据对齐：
一张模型草图----》
九张二维视点投影视图----》
S2、数据均衡：
每张二维视点投影草图再生成N张多层次伪草图(到这里为止，已生成9*N张伪草图)----》9*N张伪草图进行数据增强，获取至少225×225张扩增图像为三元组增强数据(增强数据包括三种类型：正向样本集、标准样本集和负向样本集)----》
S3、三元组训练：
提取三元组增强数据的特征----》
通过三元组增强数据的特征训练Triplet网络得到输出值---》
将Triplet网络得到输出值作为索引再映射到公共特征嵌入空间中。
S4、草图检索。
进一步地，本实施例提供的基于草图的三维模型检索方法，还可构成三维模型视点组，用于增加数据的多样性以及准确定位草图的视点方向；生成训练草图对应的二维草图视图组，以将三维物体投射为正确视线方向上的由一张训练草图生成的多个二维草图，增强识别鲁棒性；通过结合正负向伪草图集结合标准样本集的第一增强样本集，利于后续有效突出靠近样本集的集中特征，同时具备区别于标准样本的远离特征；通过边缘检测算法提取每个增强样本图的多层次伪草图，不仅可解决单张伪草图丢失视图细节信息的问题，而且有效地缩小了域差异；通过旋转和裁剪能够得到二维草图视图组对应的包括更多图像的增强草图集，用于训练时提高网络的鲁棒性；通过Triplet网络减小训练草图与伪草图间的差异性，提高检索的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于草图的三维模型检索装置，该基于草图的三维模型检索装置与上述实施例中基于草图的三维模型检索方法一一对应。如图13所示，该基于草图的三维模型检索装置包括获取训练草图模块10、获取增强草图集模块20、获取公共特征嵌入空间模块30以及获取模型检索结果模块40。各功能模块详细说明如下：
获取训练草图模块10，用于获取三维物体的训练草图，基于训练草图的视线方向采用预设的三维模型视点组对训练草图进行投影，获取二维草图视图组；
获取增强草图集模块20，用于采用边缘检测算法和样本增强算法获取二维草图视图组的增强草图集；
获取公共特征嵌入空间模块30，用于提取增强草图集对应的样本特征生成样本特征集，基于样本特征集，获取与三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间；
获取模型检索结果模块40，用于获取三维模型的待检索草图，并基于公共特征嵌入空间对待检索草图进行检索，以获取三维模型对应的模型检索结果。
优选地，该基于草图的三维模型检索装置还包括获取单位正方体模块、获取主视点模块、设置辅助视点模块以及构成三维视点组模块。各功能模块详细说明如下：
获取单位正方体模块，用于获取内接于球体的单位正方体，单位正方体的六个视面分别对应一视线方向；
获取主视点模块，用于将每一视面的中心投影到对应的视线方向上的球体的球面上，获取视面的中心在球体的球面上的主视点；
设置辅助视点模块，用于在与视面相对的球面上，围绕主视点至少设置一对相互对称的辅助视点，主视点和辅助视点构成单一视线方向上的单向视点组；
构成三维视点组模块，用于结合所有单向视点组构成三维模型视点组。
优选地，获取训练草图模块10包括匹配单向视点组子模块和获取二维草图视图组子模块。各功能模块详细说明如下：
匹配单向视点组子模块，用于基于训练草图对应的视线方向，从三维模型视点组中匹配对应的单向视点组；
获取二维草图视图组子模块，用于基于单向视点组，对训练草图在单一视线方向上的至少三个视点位置分别进行投影，以获取训练草图对应的二维草图视图组。
优选地，该基于草图的三维模型检索装置还包括获取样本集模块和生成第一样本集模块。各功能模块详细说明如下：
获取样本集模块，用于将二维草图视图组作为标准样本集，获取与三维物体同类别的正向样本集以及与三维物体同不类别的负向样本集；
生成第一样本集模块，用于结合标准样本集、正向样本集以及负向样本集生成训练草图对应的第一增强样本集。
优选地，获取增强草图集模块20包括生成多层次伪图组子模块、生成第二样本集子模块以及获取增强草图集子模块。各功能模块详细说明如下：
生成多层次伪图组子模块，用于采用边缘检测算法生成第一增强样本集中的每一增强样本图对应的多层次伪图组，多层次伪图组包括至少两张二维伪图；
生成第二样本集子模块，用于结合所有多层次伪图组生成第二增强样本集；
获取增强草图集子模块，用于采用样本增强算法对第二增强样本集进行扩容，获取二维草图视图组对应的增强草图集。
优选地，获取增强草图集模块20包括获取增强样本集子模块和对增强样本扩容子模块。各功能模块详细说明如下：
获取增强样本集子模块，用于采用边缘检测算法获取二维草图视图组对应的第二增强样本集；对增强样本扩容子模块，用于采用样本增强算法对第二增强样本集进行扩容，获取二维草图视图组对应的增强草图集，样本增强算法包括对第二增强样本集进行旋转和/或裁剪，其中旋转对应的旋转角度为0°-40°。
优选地，获取公共特征嵌入空间模块30包括获取检索结果子模块和映射三元网络检索结果子模块。各功能模块详细说明如下：
获取检索结果子模块，用于基于标准样本特征集、正向样本特征集以及负向样本特征集分别训练共享权值的三元网络模型，获取训练草图对应的三元网络检索结果；
映射三元网络检索结果子模块，用于通过三元网络检索结果建立草图索引，将样本特征集映射到公共特征嵌入空间，用于约束标准样本特征集和正向样本特征集的分布位置呈簇状分布。
关于基于草图的三维模型检索装置的具体限定可以参见上文中对于基于草图的三维模型检索方法的限定，在此不再赘述。上述基于草图的三维模型检索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一实施例中，提供了一种设备，该设备可以是服务器，其内部结构图可以如图14所示。该设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该设备的处理器用于提供计算和控制能力。该设备的存储器包括非易失性介质、内存储器。该非易失性介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性介质中的操作系统和计算机程序的运行提供环境。该设备的数据库用于基于草图的三维模型检索方法相关的数据。该设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于草图的三维模型检索方法。
在一实施例中，提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例基于草图的三维模型检索方法，例如图2所示S10至步骤S40。或者，处理器执行计算机程序时实现上述实施例中基于草图的三维模型检索装置的各模块/单元的功能，例如图13所示模块10至模块40的功能。为避免重复，此处不再赘述。
在一实施例中，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例基于草图的三维模型检索方法，例如图2所示S10至步骤S40。或者，该计算机程序被处理器执行时实现上述装置实施例中基于草图的三维模型检索装置中各模块/单元的功能，例如图13所示模块10至模块40的功能。为避免重复，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于草图的三维模型检索方法，其特征在于，包括：
获取三维物体的训练草图，基于所述训练草图的视线方向采用预设的三维模型视点组对所述训练草图进行投影，获取二维草图视图组；
采用边缘检测算法和样本增强算法获取所述二维草图视图组的增强草图集；
提取所述增强草图集对应的样本特征生成样本特征集，基于所述样本特征集，获取与所述三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间；
获取三维模型的待检索草图，并基于所述公共特征嵌入空间对所述待检索草图进行检索，以获取所述三维模型对应的模型检索结果。
2.根据权利要求1所述基于草图的三维模型检索方法，其特征在于，在所述获取三维模型的训练草图之前，还包括：
获取内接于球体的单位正方体，所述单位正方体的六个视面分别对应一视线方向；
将每一所述视面的中心投影到对应的视线方向上的所述球体的球面上，获取所述视面的中心在所述球体的球面上的主视点；
在与所述视面相对的球面上，围绕所述主视点至少设置一对相互对称的辅助视点，所述主视点和所述辅助视点构成单一视线方向上的单向视点组；
结合所有所述单向视点组构成所述三维模型视点组。
3.根据权利要求1所述基于草图的三维模型检索方法，其特征在于，所述三维模型视点组包括至少一个视线方向上的单向视点组，所述单向视点组包括至少三个视点位置；
所述基于所述训练草图的视线方向采用预设的三维模型视点组对所述训练草图进行投影，获取二维草图视图组，包括：
基于所述训练草图对应的视线方向，从所述三维模型视点组中匹配对应的单向视点组；
基于所述单向视点组，对所述训练草图在单一视线方向上的至少三个所述视点位置分别进行投影，以获取所述训练草图对应的二维草图视图组。
4.根据权利要求1所述基于草图的三维模型检索方法，其特征在于，在所述采用边缘检测算法和样本增强算法获取所述二维草图视图组的增强草图集之前，还包括：
将所述二维草图视图组作为标准样本集，获取与所述三维物体同类别的正向样本集以及与所述三维物体同不类别的负向样本集；
结合所述标准样本集、正向样本集以及负向样本集生成所述训练草图对应的第一增强样本集。
5.根据权利要求4所述基于草图的三维模型检索方法，其特征在于，所述第一增强样本集包括至少三个增强样本图；
所述采用边缘检测算法和样本增强算法获取所述二维草图视图组的增强草图集，包括：
采用边缘检测算法生成所述第一增强样本集中的每一所述增强样本图对应的多层次伪图组，所述多层次伪图组包括至少两张二维伪图；
结合所有所述多层次伪图组生成第二增强样本集；
采用样本增强算法对所述第二增强样本集进行扩容，获取所述二维草图视图组对应的增强草图集。
6.根据权利要求1所述基于草图的三维模型检索方法，其特征在于，所述采用边缘检测算法和样本增强算法获取所述二维草图视图组的增强草图集，包括：
采用边缘检测算法获取所述二维草图视图组对应的第二增强样本集；
采用样本增强算法对所述第二增强样本集进行扩容，获取所述二维草图视图组对应的增强草图集，所述样本增强算法包括对所述第二增强样本集进行旋转和/或裁剪，其中旋转对应的旋转角度为0°- 40°。
7.根据权利要求1所述基于草图的三维模型检索方法，其特征在于，所述样本特征集包括标准样本特征集、正向样本特征集以及负向样本特征集；
所述基于所述样本特征集，获取与所述三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间，包括：
基于所述标准样本特征集、正向样本特征集以及负向样本特征集分别训练共享权值的三元网络模型，获取所述训练草图对应的三元网络检索结果；
通过所述三元网络检索结果建立草图索引，将所述样本特征集映射到所述公共特征嵌入空间，用于约束所述标准样本特征集和正向样本特征集的分布位置呈簇状分布。
8.一种基于草图的三维模型检索装置，其特征在于，包括：
获取训练草图模块，用于获取三维物体的训练草图，基于所述训练草图的视线方向采用预设的三维模型视点组对所述训练草图进行投影，获取二维草图视图组；
获取增强草图集模块，用于采用边缘检测算法和样本增强算法获取所述二维草图视图组的增强草图集；
获取公共特征嵌入空间模块，用于提取所述增强草图集对应的样本特征生成样本特征集，基于所述样本特征集，获取与所述三维物体对应的同类图像的特征呈簇状分布的公共特征嵌入空间；
获取模型检索结果模块，用于获取三维模型的待检索草图，并基于所述公共特征嵌入空间对所述待检索草图进行检索，以获取所述三维模型对应的模型检索结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于草图的三维模型检索方法。
10.一种计算机可读介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于草图的三维模型检索方法。
CN202210266100.3A 2022-03-17 2022-03-17 基于草图的三维模型检索方法、装置、设备及介质 Pending CN114817595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210266100.3A CN114817595A (zh) 2022-03-17 2022-03-17 基于草图的三维模型检索方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210266100.3A CN114817595A (zh) 2022-03-17 2022-03-17 基于草图的三维模型检索方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114817595A true CN114817595A (zh) 2022-07-29

Family

ID=82528941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210266100.3A Pending CN114817595A (zh) 2022-03-17 2022-03-17 基于草图的三维模型检索方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114817595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363320A (zh) * 2023-06-01 2023-06-30 摩尔线程智能科技(北京)有限责任公司 重建模型的训练和三维模型重建方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363320A (zh) * 2023-06-01 2023-06-30 摩尔线程智能科技(北京)有限责任公司 重建模型的训练和三维模型重建方法、装置、设备及介质
CN116363320B (zh) * 2023-06-01 2023-08-25 摩尔线程智能科技(北京)有限责任公司 重建模型的训练和三维模型重建方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Yin et al. Fisheyerecnet: A multi-context collaborative deep network for fisheye image rectification
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
Truong et al. Pdc-net+: Enhanced probabilistic dense correspondence network
Zhou et al. Neurvps: Neural vanishing point scanning via conic convolution
Geng et al. Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles
CN112767478B (zh) 一种基于表观指导的六自由度位姿估计方法
CN111553869A (zh) 一种空基视角下的生成对抗网络图像补全方法
Chelani et al. How privacy-preserving are line clouds? recovering scene details from 3d lines
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
Nousias et al. A saliency aware CNN-based 3D model simplification and compression framework for remote inspection of heritage sites
CN115018999A (zh) 一种多机器人协作的稠密点云地图构建方法及装置
Xu et al. Extended non-local feature for visual saliency detection in low contrast images
Madessa et al. A deep learning approach for specular highlight removal from transmissive materials
Wang et al. Effective light field de-occlusion network based on Swin transformer
CN114817595A (zh) 基于草图的三维模型检索方法、装置、设备及介质
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN111339342B (zh) 一种基于角度三元中心损失的三维模型检索方法
Ervan et al. A histogram‐based sampling method for point cloud registration
CN115018886B (zh) 运动轨迹识别方法、装置、设备及介质
Bei et al. GeoGlue: feature matching with self-supervised geometric priors for high-resolution UAV images
CN114723973A (zh) 大尺度变化鲁棒的图像特征匹配方法及装置
CN113962846A (zh) 图像对齐方法及装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination