CN113283468A - 基于三维形状知识图谱的三维模型检索方法及装置 - Google Patents

基于三维形状知识图谱的三维模型检索方法及装置 Download PDF

Info

Publication number
CN113283468A
CN113283468A CN202110401476.6A CN202110401476A CN113283468A CN 113283468 A CN113283468 A CN 113283468A CN 202110401476 A CN202110401476 A CN 202110401476A CN 113283468 A CN113283468 A CN 113283468A
Authority
CN
China
Prior art keywords
dimensional model
dimensional
knowledge graph
shape knowledge
dimensional shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110401476.6A
Other languages
English (en)
Inventor
贾东宁
魏志强
许佳立
殷波
褚宏奎
马猛飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Qingdao National Laboratory for Marine Science and Technology Development Center
Original Assignee
Ocean University of China
Qingdao National Laboratory for Marine Science and Technology Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China, Qingdao National Laboratory for Marine Science and Technology Development Center filed Critical Ocean University of China
Priority to CN202110401476.6A priority Critical patent/CN113283468A/zh
Publication of CN113283468A publication Critical patent/CN113283468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于三维形状知识图谱的三维模型检索方法及装置。所述基于三维形状知识图谱的三维模型检索方法包括：获取三维模型数据库，所述三维模型数据库中包括多个三维模型，每个三维模型具有一个识别标签；对每个三维模型进行处理，从而获取每个三维模型的三元组；生成三维形状知识图谱；获取待检索三维模型；将待检索三维模型与所述三维形状知识图谱中的各个节点进行相似度对比，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模型。本申请的三维形状知识图谱有效地表示两个不同形状之间的关系和三维模型的结构信息且本申请不依赖三维模型来训练网络参数，从而获得更准确的检索结果。

Description

基于三维形状知识图谱的三维模型检索方法及装置
技术领域
本发明涉及三维模型检索技术领域，具体涉及一种基于三维形状知识图 谱的三维模型检索方法以及基于三维形状知识图谱的三维模型检索装置。
背景技术
随着数字化技术和计算机视觉技术的发展，三维模型在计算机辅助设计、 医学诊断、生物信息学、3D打印、医学影像、数字娱乐等领域得到了广泛的 应用。如何在大规模数据上理解三维模型并处理模型检索问题是近年来备受 关注的问题。随着深度学习的发展，人们提出了许多相关的方法来处理三维 模型检索问题。比如：MVCNN提取他们呈现的视图集合在二维图像和组合 信息从多个视图的三维形状到一个单一和紧凑的形状描述符；PointNet使用 密度占用网格表示输入数据，并使用PointNet++递归地把它放到一个层次神 经网络中去得到一个三维形状的表示；Gao等人提出了一种多环视图卷积神 经网络的三维形状检索；MV3D网络提出了融合激光雷达点云数据和视图数 据进行模型检索的方法。这些方法都侧重于基于不同深度学习网络的全局结 构信息描述的设计，并忽略了模型的局部结构信息和局部结构的相关信息。
三维模型检索目前面临的主要挑战为:1)依赖于大规模的三维模型来训 练网络的参数；2)不适合跨域数据集，目标域的训练模型很难从源域得到良好 的结果。
因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述 缺陷。
发明内容
本发明的目的在于提供一种基于三维形状知识图谱的三维模型检索方 法，来克服或至少减轻现有技术的至少一个上述缺陷。
本发明的一个方面，提供一种基于三维形状知识图谱的三维模型检索方 法，所述所述基于三维形状知识图谱的三维模型检索方法包括：
获取三维模型数据库，所述三维模型数据库中包括多个三维模型，每个 三维模型具有一个识别标签；
对所有三维模型进行处理，从而获取三维模型的一组三元组，所述三元 组包括几何关系，几何词实体和三维模型；
根据各个三维模型的识别标签以及获取的三元组，生成三维形状知识图 谱，所述三维形状知识图谱包括多个节点，一个节点表示一个所述三维模型； 将三维形状知识图谱进行图嵌入，从而获取三维形状知识图谱的嵌入特征；
获取待检索三维模型；
将待检索三维模型与所述三维形状知识图谱进行相似性度量，从而获得 三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模 型。
可选地，所述对所有三维模型进行处理，从而获取三维模型的一组三元 组包括：
将每个三维模型利用三维模型分割方法(PointNet++)分割成各个部件 的集合，然后利用K-means方法(K均值聚类算法(K-means Clustering Algorithm，K-means))对集合进行聚类，将同一类别的部件映射到一个唯 一的几何词实体；
根据以上的过程,得到一组三元组，其中，每个所述三维模型所拆分的部 件所映射的几何词实体，该三维模型以及几何词实体和三维模型之间的关系 组成所述三元组。
将各个三维模型的识别标签以及获取的三元组，生成三维形状知识图谱。
可选地，所述将三维形状知识图谱进行图嵌入，从而获取三维形状知识 图谱的嵌入特征包括：
利用改进的struct2vec方法对所构建的三维形状知识图谱进行图嵌入， 从而获得三维形状知识图谱的特征嵌入矩阵，所述三维形状知识图谱的特征 嵌入矩阵包括三维形状知识图谱中每一个几何词实体的特征。
首先节点u和v之间的结构距离表示如下：
fk(u,v)＝fk-1(u,v)+g(s(Rk(u)),s(Rk(v)))
其中，fk(u,v)表示u和v之间距离为k的环路上的结构距离，u,v表示三 维形状知识图谱中的节点，k表示某个节点的k阶邻居，s(Rk(u))表示节点u 的k个有序度序列，s(Rk(v))表示节点v的k个有序度序列，Rk(u)和Rk(v)分别 表示距离节点u，v为k的集合。
为保证结构相似性的准确性，衡量k个有序度序列s(Rk(u))和s(Rk(v))之间 的距离表示如下：
Figure BDA0003020482980000031
Figure BDA0003020482980000032
Figure BDA0003020482980000033
其中，ul和vl分别表示节点u,v的标签信息，M表示三维形状知识图谱 的三维模型实体，G表示三维形状知识图谱的几何词实体。
可选地，所述将待检索三维模型与所述三维形状知识图谱进行相似性度 量，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对 应的三维模型包括：
获取待检索三维模型的待检索三维模型的几何词实体特征矩阵；
将待检索三维模型与所述三维形状知识图谱进行相似性度量，从而获得 三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模 型。
可选地，所述获取待检索三维模型的待检索三维模型的几何词实体特征 矩阵包括：
将待检索三维模型利用三维模型分割方法(PointNet++)分割成各个部 件的集合，然后利用K近邻((k-Nearest Neighbor，KNN)方法生成待检索三维模 型的几何词实体特征矩阵；
可选地，将待检索三维模型与所述三维形状知识图谱进行相似性度量， 从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的 三维模型：
将所述待检索三维模型的几何词实体特征矩阵与所述三维形状知识图谱 的特征嵌入矩阵进行相似度计算，从而获得各个节点的相似度；
获取相似度最高的节点所对应的三维模型。
本申请还提供了一种基于三维形状知识图谱的三维模型检索装置，所述 基于三维形状知识图谱的三维模型检索装置包括：
三维模型数据库获取模块，所述三维模型数据库获取模块用于获取三维 模型数据库，所述三维模型数据库中包括多个三维模型，每个三维模型具有 一个识别标签；
三元组获取模块，所述三元组获取模块用于对所有三维模型进行处理， 从而获取三维模型的三元组集合；
三维形状知识图谱生成模块，所述三维形状知识图谱生成模块用于根据 各个三维模型的识别标签以及三维模型的三元组集合，生成三维形状知识图 谱，所述三维形状知识图谱包括多个节点，一个节点表示一个所述三维模型；
三维形状知识图谱嵌入模块，所述三维形状知识图谱嵌入模块用于对三 维形状知识图谱进行特征嵌入矩阵的生成。
待检索三维模型获取模块，所述待检索三维模型获取模块用于获取待检 索三维模型；
相似性度量模块，所述相似性度量模块用于将所述待检索三维模型的几 何词实体特征矩阵与所述三维形状知识图谱的特征嵌入矩阵进行相似度计 算，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对 应的三维模型。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在所述存 储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算 机程序时实现如上所述的基于基于三维形状知识图谱的三维模型检索方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存 储有计算机程序，所述计算机程序被处理器执行时能够实现如上所述的基于 三维形状知识图谱的三维模型检索方法。
有益效果
1、本申请通过构建三维形状知识图谱，它可以有效地表示和保存两个不 同形状之间的关系和每个三维模型的结构信息。
2、本申请通过使用知识图嵌入的多实体检索方法，它能有效地考虑三维 模型的几何结构信息，任何模型都可以在这个三维形状知识图谱中找到自己 的映射，完全可以用于处理跨域模型检索；
3、本申请不依赖大规模的三维模型来训练网络参数，能够有效的保证最 终的检索性能，从而获得更准确的检索结果。
附图说明
图1为本申请第一实施例的基于三维形状知识图谱的三维模型检索方法 的流程示意图。
图2是能够实现根据本申请一个实施例提供的基于三维形状知识图谱的 三维模型检索方法的计算设备的示例性结构图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请 实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附 图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似 功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。 下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能 理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没 有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范 围。下面结合附图对本申请的实施例进行详细说明。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、 “前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系， 仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件 必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请 保护范围的限制。
图1为本申请第一实施例的基于三维形状知识图谱的三维模型检索方法 的流程示意图。
如图1所示的基于三维形状知识图谱的三维模型检索方法包括：
步骤1：获取三维模型数据库，三维模型数据库中包括多个三维模型， 每个三维模型具有一个识别标签；
步骤2：对所有三维模型进行处理，从而获取三维模型的一组三元组， 三元组包括几何关系，几何词实体和三维模型；
步骤3：根据各个三维模型的识别标签以及获取的三元组，生成三维形 状知识图谱，三维形状知识图谱包括多个节点，一个节点表示一个所述三维 模型；
步骤4：将三维形状知识图谱进行图嵌入，从而获取三维形状知识图谱 的嵌入特征；
步骤5：获取待检索三维模型；
步骤6：将待检索三维模型与所述三维形状知识图谱进行相似性度量， 从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的 三维模型。
有益效果
1、本申请通过构建三维形状知识图谱，它可以有效地表示和保存两个不 同形状之间的关系和每个三维模型的结构信息。
2、本申请通过使用知识图嵌入的多实体检索方法，它能有效地考虑三维 模型的几何结构信息，任何模型都可以在这个三维形状知识图谱中找到自己 的映射，完全可以用于处理跨域模型检索；
3、本申请不依赖大规模的三维模型来训练网络参数，能够有效的保证最 终的检索性能，从而获得更准确的检索结果。
在本实施例中，步骤2：对所有三维模型进行处理，从而获取三维模型 的一组三元组包括：
步骤21：将每个三维模型利用三维模型分割方法(PointNet++)分割成 各个部件的集合，然后利用K-means方法对集合进行聚类，将同一类别的部 件映射到一个唯一的几何词实体；
步骤22：根据以上的过程,得到一组三元组，其中，每个所述三维模型所 拆分的部件所映射的几何词实体，该三维模型以及几何词实体和三维模型之 间的关系组成所述三元组；
步骤23：将各个三维模型的识别标签以及获取的三元组，生成三维形状 知识图谱。
在本实施例中，步骤4：将三维形状知识图谱进行图嵌入，从而获取三 维形状知识图谱的嵌入特征包括：
步骤41：利用改进的struct2vec方法对所构建的三维形状知识图谱进行 图嵌入，从而获得三维形状知识图谱的特征嵌入矩阵，所述三维形状知识图 谱的特征嵌入矩阵包括三维形状知识图谱中每一个几何词实体的特征；
步骤42：首先计算节点u和v之间的结构距离表示如下：
fk(u,v)＝fk-1(u,v)+g(s(Rk(u)),s(Rk(v)))
其中，fk(u,v)表示u和v之间距离为k的环路上的结构距离，u,v表示三 维形状知识图谱中的节点，k表示某个节点的k阶邻居，s(Rk(u))表示节点u 的k个有序度序列，s(Rk(v))表示节点v的k个有序度序列，Rk(u)和Rk(v)分别 表示距离节点u，v为k的集合。
步骤43：为保证结构相似性的准确性，衡量k个有序度序列s(Rk(u))和 s(Rk(v))之间的距离表示如下：
Figure BDA0003020482980000081
Figure BDA0003020482980000082
Figure BDA0003020482980000083
其中，ul和vl分别表示节点u,v的标签信息，M表示三维形状知识图谱 的三维模型实体，G表示三维形状知识图谱的几何词实体。
在本实施例中，步骤6：将待检索三维模型与所述三维形状知识图谱进 行相似性度量，从而获得三维形状知识图谱中与待检索三维模型相似度最高 的节点所对应的三维模型包括：
步骤61：获取待检索三维模型的待检索三维模型的几何词实体特征矩 阵；
步骤62：将待检索三维模型与所述三维形状知识图谱进行相似性度量， 从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的 三维模型。
在本实施例中，步骤61：获取待检索三维模型的待检索三维模型的几何 词实体特征矩阵包括：
步骤611：将待检索三维模型利用三维模型分割方法(PointNet++)分割 成各个部件的集合，然后利用K近邻方法生成待检索三维模型的几何词实体 特征矩阵；
在本实施例中，步骤62：将待检索三维模型与所述三维形状知识图谱进 行相似性度量，从而获得三维形状知识图谱中与待检索三维模型相似度最高 的节点所对应的三维模型包括：
步骤621：将所述待检索三维模型的几何词实体特征矩阵与所述三维形 状知识图谱的特征嵌入矩阵进行相似度计算，从而获得各个节点的相似度；
下面以举例的方式对本申请进行详细阐述，可以理解的是，该举例并不 构成对本申请的任何限制。
步骤1：获取三维模型数据库，所述三维模型数据库中包括多个三维模 型，每个三维模型具有一个识别标签。
步骤2：对所有三维模型进行处理，从而获取三维模型的一组三元组， 所述三元组包括几何关系，几何词实体和三维模型；
具体地，将所有三维模型数据集利用三维模型分割方法(PointNet++) 分割成一系列部件，然后利用K-means方法构造唯一的几何词实体，同一类 的部件都可以映射成唯一的几何词实体，基于以上的过程,可以得到一组三元 组,其中包括几何关系,几何词实体和三维模型实体。
步骤3：根据各个三维模型的识别标签以及获取的三元组，生成三维形 状知识图谱，所述三维形状知识图谱包括多个节点，一个节点表示一个所述 三维模型。
将各个三维模型的识别标签以及获取的三元组，生成三维形状知识图谱。
具体地，通过属性边连接三维模型和其相关部分映射而成的几何词实体， 通过分类边连接三维模型和另一个有相同识别标签的三维模型，从而构建成 三维形状知识图谱。
步骤4：将三维形状知识图谱进行图嵌入，从而获取三维形状知识图谱 的嵌入特征；
利用改进的struct2vec方法对所构建的三维形状知识图谱进行图嵌入， 从而获得三维形状知识图谱的特征嵌入矩阵，所述三维形状知识图谱的特征 嵌入矩阵包括三维形状知识图谱中每一个几何词实体的特征；
节点u和v之间的结构距离表示如下：
fk(u,v)＝fk-1(u,v)+g(s(Rk(u)),s(Rk(v)))
其中，fk(u,v)表示u和v之间距离为k的环路上的结构距离，u,v表示三 维形状知识图谱中的节点，k表示某个节点的k阶邻居，s(Rk(u))表示节点u 的k个有序度序列，s(Rk(v))表示节点v的k个有序度序列，Rk(u)和Rk(v)分别 表示距离节点u，v为k的集合；
为保证结构相似性的准确性，衡量k个有序度序列s(Rk(u))和s(Rk(v))之间 的距离表示如下：
Figure BDA0003020482980000101
Figure BDA0003020482980000102
Figure BDA0003020482980000103
其中，ul和vl分别表示节点u,v的标签信息，M表示三维形状知识图谱 的三维模型实体，G表示三维形状知识图谱的几何词实体；
计算两个节点之间的边缘权重由下式给出：
Figure BDA0003020482980000104
计算两个节点之间的本实例方法中仅基于k＝1构造一层加权图；
为保证节点u的上下文有结构相似的节点,独立于它们在三维形状知识图 谱中的标签和位置，利用随机游程来生成节点序列以确定给定节点的上下文， 计算从节点u到节点v在k层游走的概率由下式给出：
Figure BDA0003020482980000105
步骤5：获取待检索三维模型；
步骤6：将待检索三维模型与所述三维形状知识图谱进行相似性度量， 从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的 三维模型。
将待检索三维模型利用三维模型分割方法(PointNet++)分割成各个部 件的集合P＝{p1,p2,...,pn}，然后利用K近邻方法生成待检索三维模型的几何 词实体特征矩阵fP＝{f1 q,f2 q,...,fm q}，从而来表示待检索三维模型的嵌入特征和 在三维形状知识图谱中的位置；
两个不同实体之间的相似度是通过余弦相似度来计算：
Figure BDA0003020482980000111
其中，
Figure BDA0003020482980000112
和
Figure BDA0003020482980000113
是实体的嵌入特征；
待检索模型与候选三维模型的最终相似度函数计算由下式给出：
Figure BDA0003020482980000114
其中，q为待检索模型，m为候选模型属于三维模型数据库的子集，α为 相似系数，Mw＝{f1 w,f2 w,...,fO w}表示三维形状知识图谱的每一个几何词实体的 嵌入特征，gw表示包含三维形状知识图谱中的所有几何词实体的嵌入特征。
实验实例
通过一系列比较实验实例对本申请所提出的基于三维形状知识图谱的三 维模型检索方法进行有效验证。其中实验实例所使用的数据库是基于 ModelNet40的数据库来进行的，该数据集包括12311个CAD模型，并分为 40个类别，ModelNet40的训练和测试子集包括9843个和2468个模型。同 时，利用几种常用的指标对这些比较实验进行了比较，包括NN(Nearest NeighborPrecision)：用于评价返回的第一个结果的准确率；FT(First Tier)：是衡量前τ个结果的召回率的指标，τ指的是检索模型所属类别在数据库中的 模型数目；ST(SecondTier)：是衡量前2τ个结果的召回率的指标；F-measure： 是查全率和查准率加权调和平均，主要是对前k个检索结果的查全率和查准 率进行综合衡量的标准，且k值固定；DCG(Discountedcumulative gain)：是 对结果的相关度进行加权求和，按照检索排列顺序，越靠后的检索结果权重 越低；ANMRR(AverageNormalizedModifiedRetrieval Rate,平均归一化检索 秩)作为衡量检索结果标准之一，其值越小，检索效果越好。
本实验实例主要进行以下三个实验：
实验一：为验证本申请中改进的图嵌入方法有效性，通过选择几种经典 的图嵌入方法作为比较方法并在ModelNet40数据集上进行实验，其实验结 果如表1所示；
实验二：为验证本申请的基于三维形状知识图谱的三维模型检索方法的 有效性，通过选择几种经典的三维模型检索方法作为比较并在ModelNet40 数据集上进行实验。其实验结果如表2所示；
实验三：为验证本申请的基于三维形状知识图谱的三维模型检索方法在 跨域数据集上的有效性，通过选择ModelNet40测试数据集中的三维模型模 型作为查询模型，从shapenetcore55测试数据集中检索三维模型，选取了几 种经典的三维模型检索方法作为比较，其实验结果如表3所示。
通过实验实例验证，本申请的基于三维形状知识图谱的三维模型检索方 法相较于其他三维模型检索方法具有更好的效果，并且完全适用于跨域模型 检索。
Figure BDA0003020482980000121
表1：本申请图嵌入方法与一些经典的图嵌入方法比较
Figure BDA0003020482980000131
表2：本申请三维模型检索方法与几种经典的三维模型检索方法比较
Figure BDA0003020482980000132
表3：为本申请三维模型检索方法在跨域数据集与几种经典的三维模型检索 方法比较
本申请还提供了一种基于三维形状知识图谱的三维模型检索装置，所述 基于三维形状知识图谱的三维模型检索装置包括三维模型数据库获取模块、 三元组获取模块、三维形状知识图谱生成模块、三维形状知识图谱嵌入模块、 待检索三维模型获取模块以及相似性度量模块，三维模型数据库获取模块用 于获取三维模型数据库，三维模型数据库中包括多个三维模型，每个三维模 型具有一个识别标签；三元组获取模块用于对所有三维模型进行处理，从而 获取三维模型的三元组集合；三维形状知识图谱生成模块用于根据各个三维 模型的识别标签以及三维模型的三元组集合，生成三维形状知识图谱，三维 形状知识图谱包括多个节点，一个节点表示一个所述三维模型；三维形状知 识图谱嵌入模块用于对三维形状知识图谱进行特征嵌入矩阵的生成；待检索 三维模型获取模块用于获取待检索三维模型；相似性度量模块用于将待检索 三维模型的几何词实体特征矩阵与三维形状知识图谱的特征嵌入矩阵进行相 似度计算，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节 点所对应的三维模型。
需要说明的是，前述对方法实施例的解释说明也适用于本实施例的装置， 此处不再赘述。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器 中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上 的基于三维形状知识图谱的三维模型检索方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有 计算机程序，计算机程序被处理器执行时能够实现如上的基于三维形状知识 图谱的三维模型检索方法。
图2是能够实现根据本申请一个实施例提供的基于三维形状知识图谱的 三维模型检索方法的电子设备的示例性结构图。
如图2所示，电子设备包括输入设备501、输入接口502、中央处理器 503、存储器504、输出接口505以及输出设备506。其中，输入接口502、 中央处理器503、存储器504以及输出接口505通过总线507相互连接，输 入设备501和输出设备506分别通过输入接口502和输出接口505与总线507 连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外 部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中 央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处 理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后 通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信 息输出到电子设备的外部供用户使用。
也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可 执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计 算机可执行指令时可以实现结合图1描述的基于三维形状知识图谱的三维模 型检索方法。
在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504， 被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储 器504中存储的可执行程序代码，以执行上述实施例中的基于三维形状知识 图谱的三维模型检索方法。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以 由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、 其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可 编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁 带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储 可以被计算设备访问的信息。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机 程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软 件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含 有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述 的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。 第一、第二等词语用来标识名称，而不标识任何特定的顺序。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和 计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或 框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程 序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指 令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以 不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以 基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而 定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程 图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统 来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可 编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器 件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处 理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在 存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装 置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中， 存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放 功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数 据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存 储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存 储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存 卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存 储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存 储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流 程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储 于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述 各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程 序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记 录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、 电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介 质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增 减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任 何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动 和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以 由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、 其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可 编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁 带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储 可以被计算设备访问的信息。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机 程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软 件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含 有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述 的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。 第一、第二等词语用来标识名称，而不标识任何特定的顺序。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和 计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或 框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程 序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指 令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以 不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以 基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而 定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程 图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统 来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可 编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器 件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处 理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在 存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装 置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中， 存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放 功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数 据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存 储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存 储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存 卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存 储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存 储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流 程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储 于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述 各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程 序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记 录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、 电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介 质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增 减。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描 述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员 而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或 改进，均属于本发明要求保护的范围。

Claims (9)

1.一种基于三维形状知识图谱的三维模型检索方法，其特征在于，所述基于三维形状知识图谱的三维模型检索方法包括：
获取三维模型数据库，所述三维模型数据库中包括多个三维模型，每个三维模型具有一个识别标签；
对各个三维模型进行处理，从而获取每个三维模型的三元组，所述三元组包括几何关系，几何词实体和三维模型；
根据各个三维模型的识别标签以及获取的三元组，生成三维形状知识图谱，所述三维形状知识图谱包括多个节点，一个节点表示一个所述三维模型；
将三维形状知识图谱进行图嵌入，从而获取三维形状知识图谱的嵌入特征；
获取待检索三维模型；
将待检索三维模型与所述三维形状知识图谱进行相似性度量，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模型。
2.如权利要求1所述的基于三维形状知识图谱的三维模型检索方法，其特征在于，所述对各个三维模型进行处理，从而获取每个三维模型的三元组，所述三元组包括几何关系，几何词实体和三维模型包括：
将每个三维模型利用三维模型分割方法分割成各个部件的集合，然后利用K-means方法对集合进行聚类，将同一类别的部件映射到一个唯一的几何词实体从而获取一组三元组，其中，每个所述三维模型所拆分的部件所映射的几何词实体，该三维模型以及几何词实体和三维模型之间的关系组成所述三元组。
3.如权利要求2所述的基于三维形状知识图谱的三维模型检索方法，其特征在于，所述将三维形状知识图谱进行图嵌入，从而获取三维形状知识图谱的嵌入特征包括：
利用改进的struct2vec方法对所构建的三维形状知识图谱进行图嵌入，从而获得三维形状知识图谱的特征嵌入矩阵，所述三维形状知识图谱的特征嵌入矩阵包括三维形状知识图谱中每一个几何词实体的特征；
首先节点u和v之间的结构距离表示如下：
fk(u,v)＝fk-1(u,v)+g(s(Rk(u)),s(Rk(v)))
其中，fk(u,v)表示u和v之间距离为k的环路上的结构距离，u,v表示三维形状知识图谱中的节点，k表示某个节点的k阶邻居，s(Rk(u))表示节点u的k个有序度序列，s(Rk(v))表示节点v的k个有序度序列，Rk(u)和Rk(v)分别表示距离节点u，v为k的集合；
为保证结构相似性的准确性，衡量k个有序度序列s(Rk(u))和s(Rk(v))之间的距离表示如下：
Figure FDA0003020482970000021
s.t.u,v∈G,
Figure FDA0003020482970000022
s.t.u,v∈M,
Figure FDA0003020482970000023
s.t.u∈M,v∈G.
其中，ul和vl分别表示节点u,v的标签信息，M表示三维形状知识图谱的三维模型实体，G表示三维形状知识图谱的几何词实体。
4.如权利要求3所述的基于三维形状知识图谱的三维模型检索方法，其特征在于，所述将待检索三维模型与所述三维形状知识图谱进行相似性度量，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模型包括：
获取待检索三维模型的待检索三维模型的几何词实体特征矩阵；
将待检索三维模型与所述三维形状知识图谱进行相似性度量，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模型。
5.如权利要求4所述的基于三维形状知识图谱的三维模型检索方法，其特征在于，所述获取待检索三维模型的待检索三维模型的几何词实体特征矩阵包括：
将待检索三维模型利用三维模型分割方法分割成各个部件的集合，然后利用K近邻方法生成待检索三维模型的几何词实体特征矩阵。
6.如权利要求5所述的基于三维形状知识图谱的三维模型检索方法，其特征在于，所述将待检索三维模型与所述三维形状知识图谱进行相似性度量，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模型：
将所述待检索三维模型的几何词实体特征矩阵分别与每个所述三维形状知识图谱的特征嵌入矩阵进行相似度计算，从而获得各个节点的相似度；
获取相似度最高的节点所对应的三维模型。
7.一种基于三维形状知识图谱的三维模型检索装置，其特征在于，所述基于三维形状知识图谱的三维模型检索装置包括：
三维模型数据库获取模块，所述三维模型数据库获取模块用于获取三维模型数据库，所述三维模型数据库中包括多个三维模型，每个三维模型具有一个识别标签；
三元组获取模块，所述三元组获取模块用于对各个三维模型进行处理，从而获取每个三维模型的三元组，所述三元组包括几何关系，几何词实体和三维模型；
三维形状知识图谱生成模块，所述三维形状知识图谱生成模块用于根据各个三维模型的识别标签以及三维模型的三元组集合，生成三维形状知识图谱，所述三维形状知识图谱包括多个节点，一个节点表示一个所述三维模型；
三维形状知识图谱嵌入模块，所述三维形状知识图谱嵌入模块用于对三维形状知识图谱进行特征嵌入矩阵的生成，从而获取三维形状知识图谱的嵌入特征；
待检索三维模型获取模块，所述待检索三维模型获取模块用于获取待检索三维模型；
相似性度量模块，所述相似性度量模块用于将待检索三维模型与所述三维形状知识图谱进行相似性度量，从而获得三维形状知识图谱中与待检索三维模型相似度最高的节点所对应的三维模型。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于三维形状知识图谱的三维模型检索方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能够实现如权利要求1至7中任一项所述的基于三维形状知识图谱的三维模型检索方法。
CN202110401476.6A 2021-04-14 2021-04-14 基于三维形状知识图谱的三维模型检索方法及装置 Pending CN113283468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110401476.6A CN113283468A (zh) 2021-04-14 2021-04-14 基于三维形状知识图谱的三维模型检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110401476.6A CN113283468A (zh) 2021-04-14 2021-04-14 基于三维形状知识图谱的三维模型检索方法及装置

Publications (1)

Publication Number Publication Date
CN113283468A true CN113283468A (zh) 2021-08-20

Family

ID=77276731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110401476.6A Pending CN113283468A (zh) 2021-04-14 2021-04-14 基于三维形状知识图谱的三维模型检索方法及装置

Country Status (1)

Country Link
CN (1) CN113283468A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423947A (zh) * 2022-11-03 2022-12-02 成都飞机工业（集团）有限责任公司 三维模型检索方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241241A (zh) * 2020-01-08 2020-06-05 平安科技（深圳）有限公司 基于知识图谱的案件检索方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241241A (zh) * 2020-01-08 2020-06-05 平安科技（深圳）有限公司 基于知识图谱的案件检索方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIZHI NIE 等: "3D Model Retrieval Based on a 3D Shape Knowledge Graph", 《IEEE》 *
李文辉: "基于内容的三维模型检索关键技术研究", 《万方数据》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423947A (zh) * 2022-11-03 2022-12-02 成都飞机工业（集团）有限责任公司 三维模型检索方法、装置、设备及介质
CN115423947B (zh) * 2022-11-03 2023-03-24 成都飞机工业（集团）有限责任公司 三维模型检索方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Shashank et al. Private content based image retrieval
WO2022033252A1 (zh) 视频匹配方法、基于区块链的侵权存证方法和装置
US9098741B1 (en) Discriminitive learning for object detection
US8849030B2 (en) Image retrieval using spatial bag-of-features
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
Zhang et al. An efficient assembly retrieval method based on Hausdorff distance
CN112329460B (zh) 文本的主题聚类方法、装置、设备及存储介质
CN116386801B (zh) 基于聚类算法构建患者身份标识的方法、装置及电子设备
JP6863926B2 (ja) データ分析システム及びデータ分析方法
JP4937395B2 (ja) 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム
CN105320764A (zh) 一种基于增量慢特征的3d模型检索方法及其检索装置
CN111583332B (zh) 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置
CN109829065A (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
CN115424053A (zh) 小样本图像识别方法、装置、设备及存储介质
JP2012079186A (ja) 画像検索装置、画像検索方法及びプログラム
CN113283468A (zh) 基于三维形状知识图谱的三维模型检索方法及装置
CN114168768A (zh) 图像检索方法及相关设备
Abudalfa et al. A dynamic linkage clustering using KD-tree
CN110209895B (zh) 向量检索方法、装置和设备
CN111008294B (zh) 交通图像处理、图像检索方法及装置
Wu et al. A vision-based indoor positioning method with high accuracy and efficiency based on self-optimized-ordered visual vocabulary
CN116186297A (zh) 一种基于图流形学习的文献关系发现方法及系统
CN111460325B (zh) Poi搜索方法、装置与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820