CN111382301A - 一种基于生成对抗网络的三维模型生成方法及系统 - Google Patents
一种基于生成对抗网络的三维模型生成方法及系统 Download PDFInfo
- Publication number
- CN111382301A CN111382301A CN202010196911.1A CN202010196911A CN111382301A CN 111382301 A CN111382301 A CN 111382301A CN 202010196911 A CN202010196911 A CN 202010196911A CN 111382301 A CN111382301 A CN 111382301A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- dimensional
- model
- network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明涉及一种基于生成对抗网络的三维模型生成方法及系统。该方法包括：基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图；基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络；提取待识别三维模型的特征图；基于所述三维网络模型，根据所述待识别三维模型的特征图，生成符合与所述待识别三维模型相似度要求的三维模型。本发明能够提高检索的准确性。
Description
技术领域
本发明涉及三维模型生成领域，特别是涉及一种基于生成对抗网络的三维模型生成方法及系统。
背景技术
在计算机视觉和模式识别中，三维模型检索是一个热门的课题。当今有关三维模型的科学技术越来越成熟并且应用的范围也越来越广，例如计算机辅助设计、计算机图形学、计算机视觉等等。三维模型可携带比文本和图像更多的信息，展示形势也多种多样。
目前三维模型检索算法分为两类：基于文本检索和基于内容检索。
(1)基于文本检索需要事先人工标注，在根据用户输入的文本查询条件进行语义检索。但是随着三维模型数量的增加，这类检索方法需要人为添加大量的文本描述标注，而这些文本描述存在内容不准确、不全面、主观性强等的缺点，影响检索的准确性。
(2)基于内容检索，由于立体模型包含的信息量较大，导致计算量和计算复杂，从而也会影响检索的准确性。
发明内容
本发明的目的是提供一种基于生成对抗网络的三维模型生成方法及系统，能够提高检索的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于生成对抗网络的三维模型生成方法，包括：
基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图；
基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络；
提取待识别三维模型的特征图；
基于所述三维网络模型，根据所述待识别三维模型的特征图，生成符合与所述待识别三维模型相似度要求的三维模型。
可选的，所述卷积神经网络包括依次连接的卷积层、池化层、加权层及全连接层；所述卷积层的卷积核大小为3×3。
可选的，所述基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图，具体包括：
针对每一三维参考模型，获取所述三维参考模型的多视角二维图；
针对每一二维图，通过所述卷积层从所述二维图中提取第一特征图，所述第一特征图中包含描述信息的边缘特征；
通过所述池化层从所述第一特征图中提取第二特征图，所述第二特征图包含描述信息的轮廓特征；
通过所述加权层，将各所述第二特征图进行特征加权，得到所述三维参考模型对应的特征图；
通过所述全连接层，输出各三维参考模型对应的特征图。
可选的，所述基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络，具体包括：
针对每一特征图，分别从所述特征图进行特征提取，得到对应的H×D×L维度的特征图，各所述特征图由H×D×L个特征子图构成；
针对每一特征子图，提取所述特征子图的语义特征；
根据各所述语义特征，确定所述特征图的全局特征；
根据所述生成对抗网络和所述全局特征，建立三维模型网络。
可选的，所述根据所述生成对抗网络和所述全局特征，建立三维模型网络，还包括：
根据反向传播算法，计算对比损失值；
根据所述对比损失值，确定收敛的三维模型网络的参数；
根据所述参数，修正所述三维模型网络。
可选的，根据反向传播算法，计算对比损失值，具体包括：
根据反向传播算法通过公式
计算对比损失值；
其中，E表示对比损失函数，n为全部特征图，S(.)为相似度函数，S(p,q)为特征图p与特征图q的相似度，p≠q，p≠m。
一种基于生成对抗网络的三维模型生成系统，包括：
第一提取模块，用于基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图；
模型建立模块，用于基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络；
第二提取模块，用于提取待识别三维模型的特征图；
三维模型生成模块，用于基于所述三维网络模型，根据所述待识别三维模型的特征图，生成符合与所述待识别三维模型相似度要求的三维模型。
可选的，所述模型建立模块，具体包括：
特征提取单元，用于针对每一特征图，分别从所述特征图进行特征提取，得到对应的H×D×L维度的特征图，各所述特征图由H×D×L个特征子图构成；
语义特征提取单元，用于针对每一特征子图，提取所述特征子图的语义特征；
全局特征确定单元，用于根据各所述语义特征，确定所述特征图的全局特征；
三维模型网络建立单元，用于根据所述生成对抗网络和所述全局特征，建立三维模型网络。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过卷积神经网络对模型数据库中的三维参考模型进行特征提取，得到特征图；基于生成对抗网络，建立用于信息搜索的三维模型网络，可直接、准确地识别出符合与所述待识别三维模型相似度要求的三维模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于生成对抗网络的三维模型生成方法流程图；
图2为本发明基于生成对抗网络的三维模型生成系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于生成对抗网络的三维模型生成方法及系统，能够提高检索的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于生成对抗网络的三维模型生成方法流程图。如图1所示，一种基于生成对抗网络的三维模型生成方法包括：
步骤101：基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图。
进一步地，所述卷积神经网络包括依次连接的卷积层、池化层、加权层及全连接层。优选地，所述卷积层的卷积核大小为3×3，激活函数采用ReLU激活函数。
步骤101具体包括：
针对每一三维参考模型，获取所述三维参考模型的多视角二维图。
针对每一二维图，通过所述卷积层从所述二维图中提取第一特征图，所述第一特征图中包含描述信息的边缘特征。
通过所述池化层从所述第一特征图中提取第二特征图，所述第二特征图包含描述信息的轮廓特征。
通过所述加权层，将各所述第二特征图进行特征加权，得到所述三维参考模型对应的特征图。
通过所述全连接层，输出各三维参考模型对应的特征图。
步骤102：基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络。
步骤103：提取待识别三维模型的特征图。
步骤104：基于所述三维网络模型，根据所述待识别三维模型的特征图，生成符合与所述待识别三维模型相似度要求的三维模型，具体包括：
步骤1041：针对每一特征图，分别从所述特征图进行特征提取，得到对应的H×D×L维度的特征图，各所述特征图由H×D×L个特征子图构成。
步骤1042：针对每一特征子图，提取所述特征子图的语义特征。
步骤1043：根据各所述语义特征，确定所述特征图的全局特征。
步骤1044：根据所述生成对抗网络和所述全局特征，建立三维模型网络。
作为一种优选的实施例，步骤104还包括：
步骤1045：根据反向传播算法，计算对比损失值。
步骤1046：根据所述对比损失值，确定收敛的三维模型网络的参数。
步骤1047：根据所述参数，修正所述三维模型网络。
作为一种优选的实施例，步骤1045具体包括：
根据反向传播算法通过公式
计算对比损失值。
其中，E表示对比损失函数，n为全部特征图，S(.)为相似度函数，S(p,q)为特征图p与特征图q的相似度，p≠q，p≠m。
在本实例中，通过欧氏距离计算相似度。
本发明通过卷积神经网络对模型数据库中的三维参考模型进行特征提取，得到特征图；基于生成对抗网络，建立用于信息搜索的三维模型网络，可直接、准确地识别出符合与所述待识别三维模型相似度要求的三维模型。
本发明还提供一种基于生成对抗网络的三维模型生成系统。图2为本发明基于生成对抗网络的三维模型生成系统结构图。如图2所示，一种基于生成对抗网络的三维模型生成系统包括：
第一提取模块201，用于基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图。
模型建立模块202，用于基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络。
第二提取模块203，用于提取待识别三维模型的特征图。
三维模型生成模块204，用于基于所述三维网络模型，根据所述待识别三维模型的特征图，生成符合与所述待识别三维模型相似度要求的三维模型。
所述模型建立模块202，具体包括：
特征提取单元，用于针对每一特征图，分别从所述特征图进行特征提取，得到对应的H×D×L维度的特征图，各所述特征图由H×D×L个特征子图构成。
语义特征提取单元，用于针对每一特征子图，提取所述特征子图的语义特征。
全局特征确定单元，用于根据各所述语义特征，确定所述特征图的全局特征。
三维模型网络建立单元，用于根据所述生成对抗网络和所述全局特征，建立三维模型网络。
相对于现有技术，本发明基于生成对抗网络的三维模型生成系统与上述基于生成对抗网络的三维模型生成方法的有益效果相同，在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于生成对抗网络的三维模型生成方法，其特征在于，包括：
基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图；
基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络；
提取待识别三维模型的特征图；
基于所述三维网络模型，根据所述待识别三维模型的特征图，生成符合与所述待识别三维模型相似度要求的三维模型。
2.根据权利要求1所述的基于生成对抗网络的三维模型生成方法，其特征在于，所述卷积神经网络包括依次连接的卷积层、池化层、加权层及全连接层；所述卷积层的卷积核大小为3×3。
3.根据权利要求2所述的基于生成对抗网络的三维模型生成方法，其特征在于，所述基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图，具体包括：
针对每一三维参考模型，获取所述三维参考模型的多视角二维图；
针对每一二维图，通过所述卷积层从所述二维图中提取第一特征图，所述第一特征图中包含描述信息的边缘特征；
通过所述池化层从所述第一特征图中提取第二特征图，所述第二特征图包含描述信息的轮廓特征；
通过所述加权层，将各所述第二特征图进行特征加权，得到所述三维参考模型对应的特征图；
通过所述全连接层，输出各三维参考模型对应的特征图。
4.根据权利要求1所述的基于生成对抗网络的三维模型生成方法，其特征在于，所述基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络，具体包括：
针对每一特征图，分别从所述特征图进行特征提取，得到对应的H×D×L维度的特征图，各所述特征图由H×D×L个特征子图构成；
针对每一特征子图，提取所述特征子图的语义特征；
根据各所述语义特征，确定所述特征图的全局特征；
根据所述生成对抗网络和所述全局特征，建立三维模型网络。
5.根据权利要求4所述的基于生成对抗网络的三维模型生成方法，其特征在于，所述根据所述生成对抗网络和所述全局特征，建立三维模型网络，还包括：
根据反向传播算法，计算对比损失值；
根据所述对比损失值，确定收敛的三维模型网络的参数；
根据所述参数，修正所述三维模型网络。
6.根据权利要求5所述的基于生成对抗网络的三维模型生成方法，其特征在于，根据反向传播算法，计算对比损失值，具体包括：
根据反向传播算法通过公式
计算对比损失值；
其中，E表示对比损失函数，n为全部特征图，S(.)为相似度函数，S(p,q)为特征图p与特征图q的相似度，p≠q，p≠m。
7.一种基于生成对抗网络的三维模型生成系统，其特征在于，包括：
第一提取模块，用于基于卷积神经网络，对模型数据库中的三维参考模型进行特征提取，得到对应的特征图；
模型建立模块，用于基于生成对抗网络，根据各所述特征图，建立用于信息搜索的三维模型网络；
第二提取模块，用于提取待识别三维模型的特征图；
三维模型生成模块，用于基于所述三维网络模型，根据所述待识别三维模型的特征图，生成符合与所述待识别三维模型相似度要求的三维模型。
8.根据权利要求7所述的基于生成对抗网络的三维模型生成系统，其特征在于，所述模型建立模块，具体包括：
特征提取单元，用于针对每一特征图，分别从所述特征图进行特征提取，得到对应的H×D×L维度的特征图，各所述特征图由H×D×L个特征子图构成；
语义特征提取单元，用于针对每一特征子图，提取所述特征子图的语义特征；
全局特征确定单元，用于根据各所述语义特征，确定所述特征图的全局特征；
三维模型网络建立单元，用于根据所述生成对抗网络和所述全局特征，建立三维模型网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010196911.1A CN111382301B (zh) | 2020-03-19 | 2020-03-19 | 一种基于生成对抗网络的三维模型生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010196911.1A CN111382301B (zh) | 2020-03-19 | 2020-03-19 | 一种基于生成对抗网络的三维模型生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111382301A true CN111382301A (zh) | 2020-07-07 |
| CN111382301B CN111382301B (zh) | 2024-02-02 |
Family
ID=71217322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010196911.1A Active CN111382301B (zh) | 2020-03-19 | 2020-03-19 | 一种基于生成对抗网络的三维模型生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382301B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113611568A (zh) * | 2021-09-06 | 2021-11-05 | 辽宁石油化工大学 | 一种基于遗传卷积深度网络的真空断路器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243139A (zh) * | 2015-10-10 | 2016-01-13 | 天津大学 | 一种基于深度学习的三维模型检索方法及其检索装置 |
| CN109213884A (zh) * | 2018-11-26 | 2019-01-15 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
| CN110069656A (zh) * | 2019-03-28 | 2019-07-30 | 天津大学 | 一种基于生成对抗网络的二维图片检索三维模型的方法 |
-
2020
- 2020-03-19 CN CN202010196911.1A patent/CN111382301B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243139A (zh) * | 2015-10-10 | 2016-01-13 | 天津大学 | 一种基于深度学习的三维模型检索方法及其检索装置 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
| CN109213884A (zh) * | 2018-11-26 | 2019-01-15 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
| CN110069656A (zh) * | 2019-03-28 | 2019-07-30 | 天津大学 | 一种基于生成对抗网络的二维图片检索三维模型的方法 |
Non-Patent Citations (2)
| Title |
|---|
| YAROSLAV GANIN等: "Domain-Adversarial Training of Neural Networks" * |
| 王新颖;王亚;: "权值优化集成卷积神经网络及其在三维模型识别中的应用" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113611568A (zh) * | 2021-09-06 | 2021-11-05 | 辽宁石油化工大学 | 一种基于遗传卷积深度网络的真空断路器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111382301B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111625635B (zh) | 问答处理方法、装置、设备及存储介质 | |
| KR101856120B1 (ko) | 이미지로부터 상가 발견 | |
| CN104850633B (zh) | 一种基于手绘草图部件分割的三维模型检索系统及方法 | |
| GB2574087A (en) | Compositing aware digital image search | |
| CN110928992B (zh) | 文本搜索方法、装置、服务器及存储介质 | |
| CN109918506A (zh) | 一种文本分类方法及装置 | |
| Chen et al. | Integrated content and context analysis for mobile landmark recognition | |
| CN113762309B (zh) | 对象匹配方法、装置及设备 | |
| US10217224B2 (en) | Method and system for sharing-oriented personalized route planning via a customizable multimedia approach | |
| CN117078790B (zh) | 图像生成方法、装置、计算机设备和存储介质 | |
| CN111523463A (zh) | 基于匹配-回归网络的目标跟踪方法及训练方法 | |
| CN112085120A (zh) | 多媒体数据的处理方法、装置、电子设备及存储介质 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN111382301A (zh) | 一种基于生成对抗网络的三维模型生成方法及系统 | |
| CN111143515B (zh) | 文本匹配方法及装置 | |
| CN112836611A (zh) | 确定身体部位语义图、模型训练和行人重识别方法及设备 | |
| CN117252947A (zh) | 图像处理方法、装置、计算机、存储介质及程序产品 | |
| JP2006260311A (ja) | マッチング方法およびマッチング装置ならびにプログラム | |
| CN114972947B (zh) | 一种基于模糊语义建模的深度场景文本检测方法和装置 | |
| CN113687830B (zh) | 可视化界面生成方法、系统及计算机存储介质 | |
| CN115169448A (zh) | 一种基于深度学习的三维描述生成和视觉定位的统一方法 | |
| CN114332599A (zh) | 图像识别方法、装置、计算机设备、存储介质和产品 | |
| CN114241470A (zh) | 一种基于注意力机制的自然场景文字检测方法 | |
| CN115994405B (zh) | 基于bim技术的城市信息管理平台构建方法 | |
| CN115358379B (zh) | 神经网络处理、信息处理方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |