CN113628329A - 一种零样本草图三维点云检索方法 - Google Patents

一种零样本草图三维点云检索方法 Download PDF

Info

Publication number
CN113628329A
CN113628329A CN202110958526.0A CN202110958526A CN113628329A CN 113628329 A CN113628329 A CN 113628329A CN 202110958526 A CN202110958526 A CN 202110958526A CN 113628329 A CN113628329 A CN 113628329A
Authority
CN
China
Prior art keywords
point cloud
sketch
reconstruction
sample
constraint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110958526.0A
Other languages
English (en)
Other versions
CN113628329B (zh
Inventor
雷建军
陈琳
彭勃
宋嘉慧
潘兆庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110958526.0A priority Critical patent/CN113628329B/zh
Publication of CN113628329A publication Critical patent/CN113628329A/zh
Application granted granted Critical
Publication of CN113628329B publication Critical patent/CN113628329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种零样本草图三维点云检索方法，包括：从手绘草图中随机抽取一个来自相同类别点云作为正样本以及一个来自不同类别点云作为负样本，构成三元组输入；构建基于草图特征提取分支和点云特征提取分支的草图‑点云双分支特征提取网络；基于草图特征提取分支获取更具判别力的草图特征；基于点云特征提取分支以点云特征投影的方式提取点云主视图、俯视图和左视图三视图方向特征并融合，从而获取与草图特征在物理意义和特征结构上相似的点云特征；构建由交叉重建约束，三元组约束和语义重建约束组成的交叉重建约束机制对网络进行训练，得到跨模态更加一致的特征表示，实现零样本草图三维点云检索。本发明提升零样本草图三维点云检索准确率。

Description

一种零样本草图三维点云检索方法
技术领域
本发明涉及三维点云检索领域，尤其涉及一种零样本草图三维点云检索方法。
背景技术
草图三维模型检索旨在根据给定的手绘草图从三维模型库中检索对应的三维模型，目前已广泛应用于工业设计等领域。现有的草图三维模型检索方法大多使用多视图表示三维模型。然而，从多视图中提取三维模型的立体结构信息难度较大，且不同视角的视图信息存在冗余。点云是三维模型空间点的集合，其充分保留了三维模型的空间结构信息，在三维重建、目标检测等领域得到了广泛应用。随着三维点云模型的增加，对点云进行检索的需求也将逐渐增长。因此，草图三维点云检索具有重要的研究意义和应用价值。
现有的二维到三维跨模态检索方法分别提取不同模态的特征，然后在共同的嵌入空间使用度量学习策略对齐跨模态特征。例如，Jing等人采用不同的特征提取网络分别提取点云、网格和图像特征，然后通过跨模态中心损失拉近同类别特征间距离、拉远不同类别特征间距离，从而使得嵌入空间中相同类别跨模态特征分布聚集、不同类别跨模态特征之间能够区分。然而，所提取的三维点云特征从特征结构以及物理意义上均与卷积提取的二维图像特征具有较大差异，因此难以有效地减小跨模态差异。此外，该类方法需要大规模标注，其性能依赖于在此基础上训练学习到的类别先验知识，在从未见过的新类别上难以获得较好的性能。
如何提取二维草图与三维点云跨模态一致的特征表示，在减少跨模态差异的同时提高网络的泛化能力是草图三维点云检索任务的关键。此外，零样本设置要求在有限类别上训练的网络模型适用于更多类别，以提高网络的泛化能力，从而使得网络能够应用于更多实际场景。因此，基于跨模态相关性探索零样本草图三维点云检索方法至关重要。
发明内容
为了学习二维草图与三维点云跨模态一致的特征表示并有效提高网络的泛化能力，本发明提出了一种零样本草图三维点云检索方法，以点云特征投影的方式显式地减小跨模态差异，并通过交叉重建约束机制进一步学习跨模态一致的特征表示，从而提升零样本草图三维点云检索准确率，详见下文描述：
一种零样本草图三维点云检索方法，所述方法包括以下步骤：
从手绘草图中随机抽取一个来自相同类别点云作为正样本以及一个来自不同类别点云作为负样本，构成三元组输入；
构建基于草图特征提取分支和点云特征提取分支的草图-点云双分支特征提取网络；基于草图特征提取分支获取更具判别力的草图特征；基于点云特征提取分支以点云特征投影的方式提取点云主视图、俯视图和左视图三视图方向特征并融合，从而获取与草图特征在物理意义和特征结构上相似的点云特征；
构建由交叉重建约束、三元组约束和语义重建约束组成的交叉重建约束机制对网络进行训练，得到跨模态更加一致的特征表示(草图特征和点云特征)，实现零样本草图三维点云检索。
其中，所述点云特征提取分支将点云正样本体素化并旋转，通过三个特征投影模块分别提取旋转后的三维点云特征并将其映射到二维空间，得到与草图特征在物理意义和特征结构上相似的点云主视图、俯视图和左视图特征；
进行点云主视图、俯视图和左视图特征的融合获取到正样本的点云特征，同理获取负样本的点云特征。
优选地，所述交叉重建约束为：点云重建约束和草图重建约束的加权总和，将点云正样本特征送入草图重建解码器得到重建的草图、草图特征送入点云重建解码器得到重建的点云；
点云重建约束通过计算重建得到的点云与点云正样本之间的距离，来约束重建点云的几何位置；草图重建约束通过逐像素地计算重建得到的草图与输入草图之间的距离，约束重建草图与真实草图的相似性。
优选地，所述语义重建约束为：将点云正样本嵌入特征和草图嵌入特征送入语义特征解码器进行语义重建，得到重建词向量；计算所述重建词向量与对应类别词向量之间的余弦距离，约束重建词向量与类别词向量的一致性。
进一步地，所述特征投影模块由3层子流形卷积、3层稀疏卷积以及1个空间注意力单元组成。
其中，所述草图重建解码器由5层反卷积层构成，点云重建解码器由5层全连接层构成。
优选地，所述语义特征解码器由3层全连接层构成。
进一步地，所述点云重建约束的表达式为：
Figure BDA0003221223900000031
其中，x为点云P+中的任意一点，y为重建得到的点云P'中的任意一点。
其中，所述草图重建约束Lmse(S',S)的表达式定义为：
Figure BDA0003221223900000032
其中，m为草图中的任意一个像素点，n为重建得到的草图中的任意一个像素点，N为草图中像素的总数。
进一步地，所述语义重建约束的表达式为：
Figure BDA0003221223900000033
其中，
Figure BDA0003221223900000034
和Ws为重建词向量，W为词向量。
本发明提供的技术方案的有益效果是：
1、本发明提出了一种零样本草图三维点云检索方法，通过探索草图-点云之间的跨模态相关性，在减小跨模态差异的同时提高网络的泛化能力；
2、本发明通过点云三视图方向特征投影，将三维点云特征投影至二维空间，从而得到与草图特征在物理意义和特征结构上相似的点云特征表示，显式地缩小跨模态差异；
3、本发明通过交叉重建约束机制进一步鼓励网络学习跨域一致的特征表示，并通过语义重建保留特征中的语义信息，借助词向量中类别属性知识的迁移特性提升网络在不可见类别上的检索准确率。
附图说明
图1为基于深度学习的零样本草图三维点云检索方法的流程图；
图2为基于深度学习的零样本草图三维点云检索方法的框图；
图3为不同方法在TU-Berlin数据集的草图数据和ModelNet40数据集中对应类别的点云数据上进行的对比试验结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本发明实施例提出了一种零样本草图三维点云检索方法，参见图1和图2，该方法包括以下步骤：
一、获取草图-点云跨模态样本对
对于手绘草图S，随机抽取一个来自相同类别点云作为正样本P+以及一个来自不同类别点云作为负样本P-，构成三元组输入(S,P+,P-)。
二、构建草图-点云双分支特征提取网络
草图-点云双分支特征提取网络包括：草图特征提取分支和点云特征提取分支。
其中，草图特征提取分支首先使用一种基于深度学习的二维图像特征提取网络提取草图特征，然后引入空间注意力单元对草图特征进行增强，使得网络更加关注重要特征区域，最终获得更具判别力的草图特征Fs。为了有效减小点云与草图之间的跨模态差异，设计点云特征提取分支提取点云特征。点云特征提取分支由三个并行的特征投影模块、视图池化层和二维特征提取模块构成。以点云正样本P+为例，首先将点云正样本P+体素化并旋转，然后通过三个特征投影模块分别提取旋转后的三维点云特征并将其映射到二维空间，得到与草图特征在物理意义和特征结构上相似的点云主视图、俯视图和左视图特征
Figure BDA0003221223900000041
和
Figure BDA0003221223900000042
从而显式地减小跨模态差异。每个特征投影模块均由3层子流形卷积、3层稀疏卷积以及1个空间注意力单元组成。
其中，3层子流形卷积和3层稀疏卷积按照子流形卷积-稀疏卷积-子流形卷积-子流形卷积-稀疏卷积-稀疏卷积的顺序搭建，该结构在提取旋转后体素特征的同时对高度维度进行压缩，得到投影至二维平面的点云特征。然后引入一个空间注意力单元，将投影至二维平面的点云特征增强。
具体实现时，选用子流形卷积缓解传统卷积对稀疏点云数据进行特征提取时的子流形扩展问题，并且有效节约计算资源，为本领域技术人员所公知，本发明实施例在此不做赘述。
在此基础上，通过视图池化层将三视图特征融合，公式表示如下：
Figure BDA0003221223900000051
其中，
Figure BDA0003221223900000052
为三视图特征融合后得到的总特征。
最后，为了得到与草图特征Fs维度一致的特征，将
Figure BDA0003221223900000053
送入二维特征提取模块进行进一步的特征提取，得到点云特征提取分支最终提取的点云正样本特征
Figure BDA0003221223900000054
其中二维特征提取模块在本发明中基于VGG16后三组特征提取模块搭建，由9层全连接层、9层激活层和3层池化层组成。
对于点云负样本P-同样送入上述点云特征提取分支，得到点云负样本特征
Figure BDA0003221223900000055
三、构建交叉重建约束机制
交叉重建约束机制旨在鼓励网络学习适合于零样本草图点云检索的特征表示，交叉重建约束机制由交叉重建约束，三元组约束和语义重建约束组成。
(1)交叉重建约束
交叉重建约束旨在约束网络学习跨模态更加一致的点云特征和草图特征，包括：点云重建约束和草图重建约束两部分。
具体来说，首先将点云正样本特征
Figure BDA0003221223900000056
送入草图重建解码器得到重建的草图S'、草图特征Fs送入点云重建解码器得到重建的点云P'。
其中，草图重建解码器由5层反卷积层构成，点云重建解码器由5层全连接层构成。然后，点云重建约束通过计算重建得到的点云P'与点云正样本P+之间的距离，来约束重建点云的几何位置。点云重建约束Lcd(P',P+)定义为：
Figure BDA0003221223900000057
其中，x为点云P+中的任意一点，y为重建得到的点云P'中的任意一点。
此外，草图重建约束通过逐像素地计算重建得到的草图S'与输入草图S之间的距离，约束重建草图与真实草图的相似性。
其中，草图重建约束Lmse(S',S)定义为：
Figure BDA0003221223900000058
其中，m为草图S中的任意一个像素点，n为重建得到的草图S'中的任意一个像素点，N为草图S中像素的总数。
最后，交叉重建约束Lrec为点云重建约束Lcd(P',P+)和草图重建约束Lmse(S',S)的加权总和，公式如下所示：
Lrec＝Lmse(S',S)+λLcd(P',P+) (4)
其中，λ为用于平衡点云重建约束和草图重建约束的权重参数，在本发明实施例中设为0.01。交叉重建约束Lrec通过跨模态特征的重建，使网络挖掘草图特征中包含的点云信息、点云特征中包含的草图信息，鼓励网络学习跨模态一致的特征，从而进一步缓解跨模态差异，提升检索的准确率。
(2)三元组约束
在交叉重建的同时，点云正样本特征
Figure BDA0003221223900000061
点云负样本特征
Figure BDA0003221223900000062
被送入点云特征嵌入模块，草图特征Fs被送入草图特征嵌入模块，得到点云正样本嵌入特征
Figure BDA0003221223900000063
点云负样本嵌入特征
Figure BDA0003221223900000064
和草图嵌入特征Fs em，其中点云特征嵌入模块和草图特征嵌入模块均由3层全连接层构成。
为了提高检索准确率，需要嵌入空间中属于同一类别的跨模态特征分布尽可能聚集，属于不同类别的跨模态特征尽可能分散。
因此，本发明实施例引入三元组约束作为距离度量函数，以缩小同类别跨模态特征间距离、增大不同类别跨模态特征间距离，该约束公式表示如下：
Figure BDA0003221223900000065
其中，m表示三元组约束中的偏置，m＞0，在本发明实施例中设为1。
(3)语义重建约束
为了保证嵌入特征中包含类别语义信息，本发明实施例引入语义重建约束，从而构建嵌入特征与类别词向量之间的映射关系，借助词向量中类别属性知识的迁移特性提升不可见类别的检索准确率。
具体来说，首先将点云正样本嵌入特征
Figure BDA0003221223900000066
和草图嵌入特征Fs em送入语义特征解码器进行语义重建，从而得到重建词向量
Figure BDA0003221223900000067
和Ws，其中语义特征解码器由3层全连接构成。然后，利用余弦相似性函数构建语义重建约束，通过计算
Figure BDA0003221223900000071
和Ws与对应类别词向量W之间的余弦距离，约束重建词向量与类别词向量的一致性。语义重建约束Lsem的定义如下：
Figure BDA0003221223900000072
(4)总体目标函数
最后，交叉重建约束机制的总体目标函数为交叉重建约束，三元组约束和语义重建约束的总和：
Ltotal＝Lrec+Ltri+Lsem (7)
通过总体目标函数Ltotal对网络进行训练，有效减小了跨模态差异并保留类别语义信息，使得网络学习跨模态更加一致的特征表示，从而实现更为精确的零样本草图三维点云检索。
本发明提出的方法在TU-Berlin数据集的草图数据和ModelNet40数据集中对应类别的点云数据上进行了实验。此外，由于目前并无工作探索零样本草图三维点云检索任务，本发明将先进的零样本草图图像检索工作Doodle中的图像特征提取部分网络改为广泛使用的点云特征提取网络DGCNN并在数据集上重新训练，得到了对比方法的检索结果。实验结果表明，所提出的方法优于对比方法Doodle。图3展示了本发明提出的方法与Doodle在评价指标“前100位检索结果准确率”和“平均精度均值”上的对比结果，两个评价指标的数值越小，代表方法性能越好。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种零样本草图三维点云检索方法，其特征在于，所述方法包括以下步骤：
从手绘草图中随机抽取一个来自相同类别点云作为正样本以及一个来自不同类别点云作为负样本，构成三元组输入；
构建基于草图特征提取分支和点云特征提取分支的草图-点云双分支特征提取网络；基于草图特征提取分支获取更具判别力的草图特征；基于点云特征提取分支以点云特征投影的方式提取点云主视图、俯视图和左视图三视图方向特征并融合，从而获取与草图特征在物理意义和特征结构上相似的点云特征；
构建由交叉重建约束、三元组约束和语义重建约束组成的交叉重建约束机制对网络进行训练，得到跨模态更加一致的特征表示，实现零样本草图三维点云检索。
2.根据权利要求1所述的一种零样本草图三维点云检索方法，其特征在于，
所述点云特征提取分支将点云正样本体素化并旋转，通过三个特征投影模块分别提取旋转后的三维点云特征并将其映射到二维空间，得到与草图特征在物理意义和特征结构上相似的点云主视图、俯视图和左视图特征；
进行点云主视图、俯视图和左视图特征的融合获取到正样本的点云特征，同理获取负样本的点云特征。
3.根据权利要求1所述的一种零样本草图三维点云检索方法，其特征在于，所述交叉重建约束为：点云重建约束和草图重建约束的加权总和，
将点云正样本特征送入草图重建解码器得到重建的草图、草图特征送入点云重建解码器得到重建的点云；
点云重建约束通过计算重建得到的点云与点云正样本之间的距离，来约束重建点云的几何位置；
草图重建约束通过逐像素地计算重建得到的草图与输入草图之间的距离，约束重建草图与真实草图的相似性。
4.根据权利要求1所述的一种零样本草图三维点云检索方法，其特征在于，所述语义重建约束为：
将点云正样本嵌入特征和草图嵌入特征送入语义特征解码器进行语义重建，得到重建词向量；
计算所述重建词向量与对应类别词向量之间的余弦距离，约束重建词向量与类别词向量的一致性。
5.根据权利要求2所述的一种零样本草图三维点云检索方法，其特征在于，所述特征投影模块由3层子流形卷积、3层稀疏卷积以及1个空间注意力单元组成。
6.根据权利要求3所述的一种零样本草图三维点云检索方法，其特征在于，所述草图重建解码器由5层反卷积层构成，点云重建解码器由5层全连接层构成。
7.根据权利要求5所述的一种零样本草图三维点云检索方法，其特征在于，所述语义特征解码器由3层全连接层构成。
8.根据权利要求3所述的一种零样本草图三维点云检索方法，其特征在于，所述点云重建约束的表达式为：
Figure FDA0003221223890000021
其中，x为点云P+中的任意一点，y为重建得到的点云P'中的任意一点。
9.根据权利要求3所述的一种零样本草图三维点云检索方法，其特征在于，所述草图重建约束Lmse(S',S)的表达式定义为：
Figure FDA0003221223890000022
其中，m为草图中的任意一个像素点，n为重建得到的草图中的任意一个像素点，N为草图中像素的总数。
10.根据权利要求4所述的一种零样本草图三维点云检索方法，其特征在于，所述语义重建约束的表达式为：
Figure FDA0003221223890000023
其中，
Figure FDA0003221223890000031
和Ws为重建词向量，W为词向量。
CN202110958526.0A 2021-08-20 2021-08-20 一种零样本草图三维点云检索方法 Active CN113628329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110958526.0A CN113628329B (zh) 2021-08-20 2021-08-20 一种零样本草图三维点云检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110958526.0A CN113628329B (zh) 2021-08-20 2021-08-20 一种零样本草图三维点云检索方法

Publications (2)

Publication Number Publication Date
CN113628329A true CN113628329A (zh) 2021-11-09
CN113628329B CN113628329B (zh) 2023-06-06

Family

ID=78386879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110958526.0A Active CN113628329B (zh) 2021-08-20 2021-08-20 一种零样本草图三维点云检索方法

Country Status (1)

Country Link
CN (1) CN113628329B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637880A (zh) * 2022-02-18 2022-06-17 厦门大学 基于多视角投影的跨维数据检索方法
CN117726822A (zh) * 2024-02-18 2024-03-19 安徽大学 基于双分支特征融合的三维医学图像分类分割系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122396A (zh) * 2017-03-13 2017-09-01 西北大学 基于深度卷积神经网络的三维模型检索算法
CN110175251A (zh) * 2019-05-25 2019-08-27 西安电子科技大学 基于语义对抗网络的零样本草图检索方法
CN110188228A (zh) * 2019-05-28 2019-08-30 北方民族大学 基于草图检索三维模型的跨模态检索方法
CN111581405A (zh) * 2020-04-26 2020-08-25 电子科技大学 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
US20210192271A1 (en) * 2019-12-23 2021-06-24 Beijing Institute Of Technology Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122396A (zh) * 2017-03-13 2017-09-01 西北大学 基于深度卷积神经网络的三维模型检索算法
CN110175251A (zh) * 2019-05-25 2019-08-27 西安电子科技大学 基于语义对抗网络的零样本草图检索方法
CN110188228A (zh) * 2019-05-28 2019-08-30 北方民族大学 基于草图检索三维模型的跨模态检索方法
US20210192271A1 (en) * 2019-12-23 2021-06-24 Beijing Institute Of Technology Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction
CN111581405A (zh) * 2020-04-26 2020-08-25 电子科技大学 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637880A (zh) * 2022-02-18 2022-06-17 厦门大学 基于多视角投影的跨维数据检索方法
CN117726822A (zh) * 2024-02-18 2024-03-19 安徽大学 基于双分支特征融合的三维医学图像分类分割系统及方法
CN117726822B (zh) * 2024-02-18 2024-05-03 安徽大学 基于双分支特征融合的三维医学图像分类分割系统及方法

Also Published As

Publication number Publication date
CN113628329B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN110120097B (zh) 大场景机载点云语义建模方法
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
Wu et al. Stereo matching with fusing adaptive support weights
CN111627065A (zh) 一种视觉定位方法及装置、存储介质
CN112085072B (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN113628329B (zh) 一种零样本草图三维点云检索方法
CN112330825A (zh) 一种基于二维图像信息的三维模型检索方法
CN115757857A (zh) 一种水下三维跨模态联合检索方法、存储介质和电子设备
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
Liang et al. MVCLN: multi-view convolutional LSTM network for cross-media 3D shape recognition
Liu et al. 3D model retrieval based on multi-view attentional convolutional neural network
Cao et al. Parallel K nearest neighbor matching for 3D reconstruction
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
Lai et al. 2D3D-MVPNet: Learning cross-domain feature descriptors for 2D-3D matching based on multi-view projections of point clouds
CN113408651A (zh) 基于局部判别性增强的无监督三维物体分类方法
Liu et al. Deep learning of directional truncated signed distance function for robust 3D object recognition
CN112101475A (zh) 若干幅无序影像智能分类与拼接方法
CN112085837A (zh) 一种基于几何形状和lstm神经网络的三维模型分类方法
Bojanić et al. A review of rigid 3D registration methods
Xu et al. Learning discriminative and generative shape embeddings for three-dimensional shape retrieval
Wang et al. A geometry feature aggregation method for point cloud classification and segmentation
CN111414802B (zh) 蛋白质数据特征提取方法
An et al. PointTr: Low-Overlap Point Cloud Registration with Transformer
Liang et al. Multimodal information fusion based on LSTM for 3D model retrieval
Ma et al. Vision-based indoor positioning method by joint using 2d images and 3d point cloud map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant