CN110458946B - 构建3d模型特征向量和根据图像特征搜索3d模型方法 - Google Patents

构建3d模型特征向量和根据图像特征搜索3d模型方法 Download PDF

Info

Publication number
CN110458946B
CN110458946B CN201910734479.4A CN201910734479A CN110458946B CN 110458946 B CN110458946 B CN 110458946B CN 201910734479 A CN201910734479 A CN 201910734479A CN 110458946 B CN110458946 B CN 110458946B
Authority
CN
China
Prior art keywords
model
image
projection
dimensional
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910734479.4A
Other languages
English (en)
Other versions
CN110458946A (zh
Inventor
李韬
夏宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Mourui Network Technology Co ltd
Original Assignee
Changsha Mourui Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Mourui Network Technology Co ltd filed Critical Changsha Mourui Network Technology Co ltd
Priority to CN201910734479.4A priority Critical patent/CN110458946B/zh
Publication of CN110458946A publication Critical patent/CN110458946A/zh
Application granted granted Critical
Publication of CN110458946B publication Critical patent/CN110458946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种提取图像特征搜索3D模型的方法，以解决用户在数量庞大的3D模型资源库中，通过图像搜索的方式，快速找到相同或相似的3D模型资源问题。所述方法包括：对3D模型资源建立多角度的二维投影，对二维投影作图像特征的向量提取并保存，当接收到图像搜索指令时，对待搜索图像作特征提取，根据搜索图像的特征和3D模型投影特征的匹配度，按照预设的准确率和查全率，给出资源库中的一个模型或多个相似的3D模型。本方法只需要用户提供和模型特征相似的图像，即可搜索到不同行业类别，不同复杂度的3D模型资源。其优点是以图像搜索3D模型，可以方便用户不需要准确描述3D模型特征，即可在海量的模型库中，直观快捷的找到模型资源。

Description

构建3D模型特征向量和根据图像特征搜索3D模型方法
技术领域
本发明涉及用于计算机的3D建模和模型特性的抽取，涉及应用电子设备进行识别的方法，尤指一种构建3D模型特征向量和根据图像特征搜索3D模型的方法。
背景技术
随着互联网技术的发展，3D技术的不断进步，将会有越来越多的互联网应用以3D模型的方式呈现给用户，包括网络游戏、虚拟社区、电子商务、远程教育、家装、工业设备、BIM建筑等等，各个行业的3D模型资源越来越多，而3D模型越来越复杂，如何快速的找到用户想要的3D模型资源，就成为了一个需要迫切解决的问题。类似于输入图像搜索图像的技术应用，用户也希望输入图像搜索3D模型资源。
特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。
深度学习(Deep Learning,DL)是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。
目前没有相关的模型搜索项目先例，而在较为成熟的“以图搜图”领域，传统搜索方法更多地注重图像色彩，而忽视了图像的纹理、形状等特征。基于深度学习的图像搜索技术，可以提取图像的高级语义信息，兼顾了颜色、纹理等特征，目前成为研究的热点。
发明内容
针对现有技术的缺失和科技术发展的需求，本发明的目的在于提供一种构建3D模型特征向量和根据图像特征搜索3D模型的方法。
所述3D模型是一个虚拟的三维事物，关键特征有在一个三维坐标空间下的颜色、形状、角度、大小、尺寸、贴图图案、材质、纹理，而三维空间的模型视觉特征是多个平面角度的二维图像特征集合。
本发明解决其技术问题所采用的技术方案之一是：提供一种构建3D模型特征向量的方法，包括如下步骤：
S11.对3D模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；(投影图的数量无限制，是综合搜索准确度和搜索时间得到一个合理值。理论上投影图越多，搜索结果越准确，但是当投影图数量过多时会造成检索时间过长，影响到最终的结果展示体验。)
S12.将得到的二维投影图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的多个投影特征提取成向量，存储在服务器的文件系统中；
S13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中。
本发明解决其技术问题所采用的技术方案之二是：根据图像特征搜索3D模型的方法，其特征在于包括如下步骤：
S21.提供一个搜索入口，允许用户上传图像和进行搜索操作。
S22.将搜索请求上送的图像作特征向量提取；
S23.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同文件服务器中二维投影向量的特征匹配比对,比对时，评价标准是曼哈顿距离
Figure BDA0002161705290000031
其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；
X1k，下标k表示维度，X1k是一个维度空间下的点坐标；
x2k，同上X2k是有别于X1k是同一个空间维度下的另一个点坐标，两者间的距离即为曼哈顿距离和向量内积
Figure BDA0002161705290000032
Figure BDA0002161705290000033
为二维空间内的向量a的大小；
Figure BDA0002161705290000034
为二维空间内的向量b的大小；
θ为向量a和b的夹角；
(当采用曼哈顿距离时，距离越小，向量越接近，图像越相似；采用向量内积时，内积越大，向量间夹角越小，图像越相似。)图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得该批投影的索引；
S24.根据筛选后的投影索引，通过数据库查询定位到具体的3D模型资源文件，并作为搜索结果返回；
S25.展示搜索到的3D模型。
本发明提取搜索图像的特征，通过分布式计算平台Spark，逐一和存于hdfs中的每个模型的投影向量比较，得到特征匹配最接近的投影，然后通过数据库索引找到对应的模型资源地址，最后将3D模型资源通过网页的形式展示给客户
与现有技术相比，本发明的优点是：以图像搜索3D模型，可以方便用户在没法用文字准确描述3D模型特征时，在海量的模型库中，直观快捷的找到模型资源。
附图说明
下面结合附图对本发明作进一步的描述。
图1是本发明构建3D模型特征向量流程示意图。
图2是本发明根据图像特征搜索3D模型的方法流程示意图，
具体实施方式
参见附图，本发明一种构建3D模型的方法的一个具体实施例，包括如下步骤：
S31.对3D模型文件做二维投影处理,包括如下步骤：
S311.将一个3D模型水平放置，先从顶部视角和底部视角渲染两张图像；
S312.将模型按水平方向逆时针递增旋转，每旋转45度渲染一张图像，360度旋转后得到8张图像；
S313.将模型沿水平线向上倾斜45度，沿倾斜角逆时针水平递增旋转，每旋转45度渲染一张图像，得到8张图像；
S314.将模型沿水平线向下倾斜45度，依照步骤S313方法旋转渲染，同样得到8张图像；
S315.综上共得到26张投影图；
S32.将得到的26张二维投影特征图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成512维的归一化向量，网络输入为224×224×3尺寸的图像，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的26个投影特征提取成向量存储在云服务器的分布式文件系统hdfs中，每一个模型的26个投影是一个具有关联关系的集合；
S33.对每一个投影向量建立数据库索引，同时将同一模型资源的投影向量索引之间的关联关系则保存在数据库表中。
本发明一种根据图像特征搜索3D模型的方法的一个具体实施例，包括如下步骤：
S41.提供一个搜索入口，允许用户上传图像和进行搜索操作。
S42.将搜索请求上送的图像作特征提取，获取搜索图像的特征向量；
S43.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同二维投影向量文件服务器中的投影特征匹配比对,比对时，评价标准是曼哈顿距离
Figure BDA0002161705290000061
其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；
X1k，下标k表示维度，X1k是一个维度空间下的点坐标；
x2k，同上X2k是有别于X1k是同一个空间维度下的另一个点坐标，两者间的距离即为曼哈顿距离和向量内积
Figure BDA0002161705290000062
Figure BDA0002161705290000063
为二维空间内的向量a的大小；
Figure BDA0002161705290000064
为二维空间内的向量b的大小；
θ为向量a和b的夹角；
图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得该批投影的索引；
S44.根据筛选后的投影索引，通过数据库查询定位到具体的3D模型资源文件，并作为搜索结果返回；
S45.展示搜索到的3D模型。

Claims (1)

1.一种构建3D模型特征向量和根据图像特征搜索3D模型方法，其特征在于，包括如下步骤：S21.提供一个搜索入口，允许用户上传图像和进行搜索操作；S22.将搜索请求上传的图像作特征向量提取；S23.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同文件服务器中二维投影向量的特征匹配比对，比对时，评价标准是曼哈顿距离
Figure DEST_PATH_IMAGE001
其中：d12为两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的曼哈顿距离； X1k，下标k表示维度，X1k是一个维度空间下的点坐标；X2k，X2k是有别于X1k是同一个维度空间下的另一个点坐标，X1k与X2k两者间的距离即为曼哈顿距离；
和向量内积
Figure 906811DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
为二维空间内的向量a的大小；
Figure 122154DEST_PATH_IMAGE004
为二维空间内的向量b的大小；
Figure DEST_PATH_IMAGE005
为向量a和b的夹角；
图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得一个或多个匹配的投影的索引；
S24.根据筛选后的投影索引，通过数据库查询定位到具体的3D模型文件，并作为搜索结果返回；
S25.展示搜索到的3D模型；
该方法还包括构建3D模型特征向量，具体包括以下步骤：
S11.对3D模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；
S12.将得到的二维投影图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的多个投影特征提取成向量，存储在服务器的文件系统中；
S13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中；
其中，对3D模型文件做二维投影处理,包括如下步骤：
S311.将一个3D模型水平放置，先从顶部视角和底部视角渲染两张图像；
S312.将模型按水平方向逆时针递增旋转，每旋转45度渲染一张图像，360度旋转后得到8张图像；
S313.将模型沿水平线向上倾斜45度，沿倾斜角逆时针水平递增旋转，每旋转45度渲染一张图像，得到8张图像；
S314.将模型沿水平线向下倾斜45度，依照步骤S313方法旋转渲染，同样得到8张图像；
S315.综上共得到26张投影图。
CN201910734479.4A 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法 Active CN110458946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910734479.4A CN110458946B (zh) 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910734479.4A CN110458946B (zh) 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法

Publications (2)

Publication Number Publication Date
CN110458946A CN110458946A (zh) 2019-11-15
CN110458946B true CN110458946B (zh) 2022-11-04

Family

ID=68485730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910734479.4A Active CN110458946B (zh) 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法

Country Status (1)

Country Link
CN (1) CN110458946B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327324A (zh) * 2021-06-25 2021-08-31 广东博智林机器人有限公司 三维建筑模型的构建方法、装置、计算机设备及存储介质
CN114758058A (zh) * 2022-03-01 2022-07-15 深圳市小秤砣科技有限公司 3d模型评分方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135417A (zh) * 2010-12-26 2011-07-27 北京航空航天大学 一种全自动三维特征提取方法
CN105930382A (zh) * 2016-04-14 2016-09-07 严进龙 一种用2d图片搜索3d模型的方法
CN109886297A (zh) * 2019-01-16 2019-06-14 中德（珠海）人工智能研究院有限公司 一种用于从二维图像识别三维模型对象的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5024767B2 (ja) * 2006-11-10 2012-09-12 国立大学法人豊橋技術科学大学 三次元モデルの検索方法、コンピュータプログラム及び三次元モデルの検索システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135417A (zh) * 2010-12-26 2011-07-27 北京航空航天大学 一种全自动三维特征提取方法
CN105930382A (zh) * 2016-04-14 2016-09-07 严进龙 一种用2d图片搜索3d模型的方法
CN109886297A (zh) * 2019-01-16 2019-06-14 中德（珠海）人工智能研究院有限公司 一种用于从二维图像识别三维模型对象的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像和三维模型检索算法的研究与实现;邓皓文;《万方学术》;20180321;第12-52页 *

Also Published As

Publication number Publication date
CN110458946A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN108509848B (zh) 三维物体的实时检测方法及系统
Han et al. SeqViews2SeqLabels: Learning 3D global features via aggregating sequential views by RNN with attention
CN100456300C (zh) 基于二维草图的三维模型检索方法
Huang et al. Shape synthesis from sketches via procedural models and convolutional networks
CN108875813B (zh) 一种基于几何图像的三维网格模型检索方法
JP5721233B2 (ja) 画像認識システム
Zakharov et al. 3d object instance recognition and pose estimation using triplet loss with dynamic margin
CN106599053B (zh) 一种三维模型检索方法
CN106062827A (zh) 3d模型比较方法和系统
CN110458946B (zh) 构建3d模型特征向量和根据图像特征搜索3d模型方法
CN109993748A (zh) 一种基于点云处理网络的三维网格物体分割方法
CN108073682A (zh) 基于参数视图函数查询数据库
Köthur et al. Visual analytics for comparison of ocean model output with reference data: Detecting and analyzing geophysical processes using clustering ensembles
CN111179440B (zh) 一种面向自然场景的三维物体模型检索方法
CN104751511A (zh) 一种三维场景构建方法和装置
CN108537887A (zh) 基于3d打印的草图与模型库三维视图匹配方法
Liu et al. Model-driven indoor scenes modeling from a single image
CN101359342A (zh) 基于反馈的混合特征的三维模型检索方法
CN110209864A (zh) 三维立体模型测量改尺标注重新建模的网络平台系统
JP7075654B2 (ja) ３次元ｃａｄモデル部分検索方法及び３次元ｃａｄモデル検索方法
CN107016732A (zh) 使用描述符的3d对象定位
Dutagaci et al. SHREC'11 Track: Generic Shape Retrieval.
CN112270762A (zh) 一种基于多模态融合的三维模型检索方法
US20200134909A1 (en) Shaped-based techniques for exploring design spaces
Yang et al. 3D model retrieval using constructive-learning for cross-model correlation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant