CN110458946A - 构建3d模型特征向量和根据图像特征搜索3d模型方法 - Google Patents

构建3d模型特征向量和根据图像特征搜索3d模型方法 Download PDF

Info

Publication number
CN110458946A
CN110458946A CN201910734479.4A CN201910734479A CN110458946A CN 110458946 A CN110458946 A CN 110458946A CN 201910734479 A CN201910734479 A CN 201910734479A CN 110458946 A CN110458946 A CN 110458946A
Authority
CN
China
Prior art keywords
model
image
vector
projection
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910734479.4A
Other languages
English (en)
Other versions
CN110458946B (zh
Inventor
李韬
夏宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Mou Rui Network Technology Co Ltd
Original Assignee
Changsha Mou Rui Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Mou Rui Network Technology Co Ltd filed Critical Changsha Mou Rui Network Technology Co Ltd
Priority to CN201910734479.4A priority Critical patent/CN110458946B/zh
Publication of CN110458946A publication Critical patent/CN110458946A/zh
Application granted granted Critical
Publication of CN110458946B publication Critical patent/CN110458946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种提取图像特征搜索3D模型的方法，以解决用户在数量庞大的3D模型资源库中，通过图像搜索的方式，快速找到相同或相似的3D模型资源问题。所述方法包括：对3D模型资源建立多角度的二维投影，对二维投影作图像特征的向量提取并保存，当接收到图像搜索指令时，对待搜索图像作特征提取，根据搜索图像的特征和3D模型投影特征的匹配度，按照预设的准确率和查全率，给出资源库中的一个模型或多个相似的3D模型。本方法只需要用户提供和模型特征相似的图像，即可搜索到不同行业类别，不同复杂度的3D模型资源。其优点是以图像搜索3D模型，可以方便用户不需要准确描述3D模型特征，即可在海量的模型库中，直观快捷的找到模型资源。

Description

构建3D模型特征向量和根据图像特征搜索3D模型方法
技术领域
本发明涉及用于计算机的3D建模和模型特性的抽取，涉及应用电子设备进行识别的方法，尤指一种构建3D模型特征向量和根据图像特征搜索3D模型的方法。
背景技术
随着互联网技术的发展，3D技术的不断进步，将会有越来越多的互联网应用以3D模型的方式呈现给用户，包括网络游戏、虚拟社区、电子商务、远程教育、家装、工业设备、BIM建筑等等，各个行业的3D模型资源越来越多，而3D模型越来越复杂，如何快速的找到用户想要的3D模型资源，就成为了一个需要迫切解决的问题。类似于输入图像搜索图像的技术应用，用户也希望输入图像搜索3D模型资源。
特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。
深度学习(Deep Learning,DL)是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。
目前没有相关的模型搜索项目先例，而在较为成熟的“以图搜图”领域，传统搜索方法更多地注重图像色彩，而忽视了图像的纹理、形状等特征。基于深度学习的图像搜索技术，可以提取图像的高级语义信息，兼顾了颜色、纹理等特征，目前成为研究的热点。
发明内容
针对现有技术的缺失和科技术发展的需求，本发明的目的在于提供一种构建3D模型特征向量和根据图像特征搜索3D模型的方法。
所述3D模型是一个虚拟的三维事物，关键特征有在一个三维坐标空间下的颜色、形状、角度、大小、尺寸、贴图图案、材质、纹理，而三维空间的模型视觉特征是多个平面角度的二维图像特征集合。
本发明解决其技术问题所采用的技术方案之一是：提供一种构建3D模型特征向量的方法，包括如下步骤：
S11.对3D模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；(投影图的数量无限制，是综合搜索准确度和搜索时间得到一个合理值。理论上投影图越多，搜索结果越准确，但是当投影图数量过多时会造成检索时间过长，影响到最终的结果展示体验。)
S12.将得到的二维投影图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的多个投影特征提取成向量，存储在服务器的文件系统中；
S13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中。
本发明解决其技术问题所采用的技术方案之二是：根据图像特征搜索3D模型的方法，其特征在于包括如下步骤：
S21.提供一个搜索入口，允许用户上传图像和进行搜索操作。
S22.将搜索请求上送的图像作特征向量提取；
S23.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同文件服务器中二维投影向量的特征匹配比对,比对时，评价标准是曼哈顿距离
其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；
X1k，下标k表示维度，X1k是一个维度空间下的点坐标；
x2k，同上X2k是有别于X1k是同一个空间维度下的另一个点坐标，两者间的距离即为曼哈顿距离和向量内积
为二维空间内的向量a的大小；
为二维空间内的向量b的大小；
θ为向量a和b的夹角；
(当采用曼哈顿距离时，距离越小，向量越接近，图像越相似；采用向量内积时，内积越大，向量间夹角越小，图像越相似。)图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得该批投影的索引；
S24.根据筛选后的投影索引，通过数据库查询定位到具体的3D模型资源文件，并作为搜索结果返回；
S25.展示搜索到的3D模型。
本发明提取搜索图像的特征，通过分布式计算平台Spark，逐一和存于hdfs中的每个模型的投影向量比较，得到特征匹配最接近的投影，然后通过数据库索引找到对应的模型资源地址，最后将3D模型资源通过网页的形式展示给客户
与现有技术相比，本发明的优点是：以图像搜索3D模型，可以方便用户在没法用文字准确描述3D模型特征时，在海量的模型库中，直观快捷的找到模型资源。
附图说明
下面结合附图对本发明作进一步的描述。
图1是本发明构建3D模型特征向量流程示意图。
图2是本发明根据图像特征搜索3D模型的方法流程示意图，
具体实施方式
参见附图，本发明一种构建3D模型的方法的一个具体实施例，包括如下步骤：
S31.对3D模型文件做二维投影处理,包括如下步骤：
S311.将一个3D模型水平放置，先从顶部视角和底部视角渲染两张图像；
S312.将模型按水平方向逆时针递增旋转，每旋转45度渲染一张图像，360度旋转后得到8张图像；
S313.将模型沿水平线向上倾斜45度，沿倾斜角逆时针水平递增旋转，每旋转45度渲染一张图像，得到8张图像；
S314.将模型沿水平线向下倾斜45度，依照步骤S313方法旋转渲染，同样得到8张图像；
S315.综上共得到26张投影图；
S32.将得到的26张二维投影特征图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成512维的归一化向量，网络输入为224×224×3尺寸的图像，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的26个投影特征提取成向量存储在云服务器的分布式文件系统hdfs中，每一个模型的26个投影是一个具有关联关系的集合；
S33.对每一个投影向量建立数据库索引，同时将同一模型资源的投影向量索引之间的关联关系则保存在数据库表中。
本发明一种根据图像特征搜索3D模型的方法的一个具体实施例，包括如下步骤：
S41.提供一个搜索入口，允许用户上传图像和进行搜索操作。
S42.将搜索请求上送的图像作特征提取，获取搜索图像的特征向量；
S43.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同二维投影向量文件服务器中的投影特征匹配比对,比对时，评价标准是曼哈顿距离
其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；
X1k，下标k表示维度，X1k是一个维度空间下的点坐标；
x2k，同上X2k是有别于X1k是同一个空间维度下的另一个点坐标，两者间的距离即为曼哈顿距离和向量内积
为二维空间内的向量a的大小；
为二维空间内的向量b的大小；
θ为向量a和b的夹角；
图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得该批投影的索引；
S44.根据筛选后的投影索引，通过数据库查询定位到具体的3D模型资源文件，并作为搜索结果返回；
S45.展示搜索到的3D模型。

Claims (3)

1.一种构建3D模型特征向量的方法，其特征在于包括如下步骤：
S11.对3D模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；
S12.将得到的二维投影图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的多个投影特征提取成向量，存储在服务器的文件系统中；
S13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中。
2.一种根据图像特征搜索3D模型的方法，其特征在于包括如下步骤：
S21.提供一个搜索入口，允许用户上传图像和进行搜索操作；
S22.将搜索请求上送的图像作特征向量提取；
S23.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同文件服务器中二维投影向量的特征匹配比对,比对时，评价标准是曼哈顿距离
其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；
X1k，下标k表示维度，X1k是一个维度空间下的点坐标；
x2k，同上X2k是有别于X1k是同一个空间维度下的另一个点坐标，X1k与X2k两者间的距离即为曼哈顿距离；
和向量内积
为二维空间内的向量a的大小；
为二维空间内的向量b的大小；
θ为向量a和b的夹角；
图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得一个或多个匹配的投影的索引；
S24.根据筛选后的投影索引，通过数据库查询定位到具体的3D模型资源文件，并作为搜索结果返回；
S25.展示搜索到的3D模型。
3.根据权利要求1所述的构建3D模型特征向量的方法，其特征在于：所述对3D模型文件做二维投影处理,包括如下步骤：
S311.将一个3D模型水平放置，先从顶部视角和底部视角渲染两张图像；
S312.将模型按水平方向逆时针递增旋转，每旋转45度渲染一张图像，360度旋转后得到8张图像；
S313.将模型沿水平线向上倾斜45度，沿倾斜角逆时针水平递增旋转，每旋转45度渲染一张图像，得到8张图像；
S314.将模型沿水平线向下倾斜45度，依照步骤S313方法旋转渲染，同样得到8张图像；
S315.综上共得到26张投影图。
CN201910734479.4A 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法 Active CN110458946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910734479.4A CN110458946B (zh) 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910734479.4A CN110458946B (zh) 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法

Publications (2)

Publication Number Publication Date
CN110458946A true CN110458946A (zh) 2019-11-15
CN110458946B CN110458946B (zh) 2022-11-04

Family

ID=68485730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910734479.4A Active CN110458946B (zh) 2019-08-09 2019-08-09 构建3d模型特征向量和根据图像特征搜索3d模型方法

Country Status (1)

Country Link
CN (1) CN110458946B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327324A (zh) * 2021-06-25 2021-08-31 广东博智林机器人有限公司 三维建筑模型的构建方法、装置、计算机设备及存储介质
CN114758058A (zh) * 2022-03-01 2022-07-15 深圳市小秤砣科技有限公司 3d模型评分方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054607A1 (en) * 2006-11-10 2010-03-04 National University Corporation Toyohashi University Of Technology Three-Dimensional Model Search Method, Computer Program, and Three-Dimensional Model Search System
CN102135417A (zh) * 2010-12-26 2011-07-27 北京航空航天大学 一种全自动三维特征提取方法
CN105930382A (zh) * 2016-04-14 2016-09-07 严进龙 一种用2d图片搜索3d模型的方法
CN109886297A (zh) * 2019-01-16 2019-06-14 中德（珠海）人工智能研究院有限公司 一种用于从二维图像识别三维模型对象的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054607A1 (en) * 2006-11-10 2010-03-04 National University Corporation Toyohashi University Of Technology Three-Dimensional Model Search Method, Computer Program, and Three-Dimensional Model Search System
CN102135417A (zh) * 2010-12-26 2011-07-27 北京航空航天大学 一种全自动三维特征提取方法
CN105930382A (zh) * 2016-04-14 2016-09-07 严进龙 一种用2d图片搜索3d模型的方法
CN109886297A (zh) * 2019-01-16 2019-06-14 中德（珠海）人工智能研究院有限公司 一种用于从二维图像识别三维模型对象的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓皓文: "基于深度学习的图像和三维模型检索算法的研究与实现", 《万方学术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327324A (zh) * 2021-06-25 2021-08-31 广东博智林机器人有限公司 三维建筑模型的构建方法、装置、计算机设备及存储介质
CN114758058A (zh) * 2022-03-01 2022-07-15 深圳市小秤砣科技有限公司 3d模型评分方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110458946B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US10755128B2 (en) Scene and user-input context aided visual search
CN108509848B (zh) 三维物体的实时检测方法及系统
Li et al. A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries
Tung et al. The augmented multiresolution Reeb graph approach for content-based retrieval of 3D shapes
JP5721233B2 (ja) 画像認識システム
CN101937549B (zh) 网络购物导航领域的图片导航系统
CN105205135B (zh) 一种基于主题模型的3d模型检索方法及其检索装置
CN110019914A (zh) 一种支持三维场景交互的三维模型数据库检索方法
CN101950400A (zh) 网络购物导航方法
CN108537887A (zh) 基于3d打印的草图与模型库三维视图匹配方法
Pham et al. SHREC’18: Rgb-d object-to-cad retrieval
CN104778281A (zh) 一种基于社区分析的图像索引并行构建方法
CN110458946A (zh) 构建3d模型特征向量和根据图像特征搜索3d模型方法
Liu et al. Model-driven indoor scenes modeling from a single image
Min et al. Mobile landmark search with 3D models
CN108875828A (zh) 一种相似图像的快速匹配方法和系统
Zhao et al. Learning best views of 3D shapes from sketch contour
JP7075654B2 (ja) ３次元ｃａｄモデル部分検索方法及び３次元ｃａｄモデル検索方法
Kleiman et al. Dynamic maps for exploring and browsing shapes
Giorgi et al. 3D shape retrieval based on best view selection
Tan et al. Local features and manifold ranking coupled method for sketch-based 3D model retrieval
CN109272013B (zh) 基于学习的相似性度量方法
CN109684499B (zh) 一种自由视角的立体对象检索方法与系统
Liang et al. Decorin: An automatic method for plane-based decorating
CN106845543B (zh) 一种基于特征匹配的三维模型分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant