CN112837420A - 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 - Google Patents

基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 Download PDF

Info

Publication number
CN112837420A
CN112837420A CN202110259051.6A CN202110259051A CN112837420A CN 112837420 A CN112837420 A CN 112837420A CN 202110259051 A CN202110259051 A CN 202110259051A CN 112837420 A CN112837420 A CN 112837420A
Authority
CN
China
Prior art keywords
point cloud
terracotta
different scales
shape
feature vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110259051.6A
Other languages
English (en)
Other versions
CN112837420B (zh
Inventor
耿国华
吉晓瑶
刘晓宁
周明全
刘景怡
姚文敏
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202110259051.6A priority Critical patent/CN112837420B/zh
Publication of CN112837420A publication Critical patent/CN112837420A/zh
Application granted granted Critical
Publication of CN112837420B publication Critical patent/CN112837420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统，所述方法包括：将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；其中，兵马俑点云形状补全模型的获取方法包括：使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；获得不同尺度的特征向量；获得不同尺度的点云，形成多尺度结构；生成密集完整点云；计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失。本发明的方法直接在原始点云上进行操作，能够在Shapenet和兵马俑数据集上都产生较完整的、高分辨率的补全结果。

Description

基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
技术领域
本发明属于文物形状修复技术领域，特别涉及一种基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统。
背景技术
三维形状补全是处理真实世界三维测量所面临的一个基本问题，不论传感器的形式如何(如多视图立体声、光传感器的结构、RGB-D相机、激光雷达等)，输出点云都有可能会由于视角有限、测量不可靠(因为材料特性或无纹理区域)等问题出现缺失。
现有的三维形状补全方法大致可以分为基于几何的、基于对齐的和基于学习的方法。
基于几何的方法在不需要任何外部数据的情况下，利用局部输入的几何线索来逼近完整的形状；这类方法假设输入是较为完整的，其中丢失区域的几何结构可以直接从观测区域中提取出来，但是这种假设并不适用于现实世界中大多数不完整的数据。
基于对齐的方法通过将部分输入与来自大型形状数据库的模板模型匹配来补全形状，但这些方法需要在推理期间进行昂贵的优化，这使得它们不适用于在线应用程序，且对噪音也很敏感。
基于学习的方法是通过一个参数化的模型(通常是一个深度神经网络)来补全形状，该模型直接将部分输入映射到一个完整的形状，从而提供快速的推理和更好的泛化。有些方法是基于体素进行形状补全的，然而基于体素的技术在分辨率上受到限制，因为网络复杂度和所需计算量会随着分辨率的增加而指数增加。有些方法是基于GAN网络进行形状补全的，为了避免GAN不稳定且难以训练的问题，在潜在特征向量上训练GAN网络，同时为了减少迭代次数使用强化学习代理为GAN选择最好的种子来生成完整的模型，虽然强化学习代理的使用节省了时间，但是其也给补全过程增加了损耗，使得其训练效果与真实对照点云之间存在差距，且其补全结果分辨率较低。有些方法不利用任何关于底层形状的结构描述或注释，直接在原始点云上进行操作，能够在保持少量参数的同时，生成较高分辨率的补全。
由于兵马俑数据集的特殊性，以上现有方法均不能产生较好的、高分辨率的补全效果。
发明内容
本发明的目的在于提供一种基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统，以解决上述存在的一个或多个技术问题。本发明提出的多尺度生成结构和基于折叠的解码器相结合的方法，直接在原始点云上进行操作，能够在Shapenet和兵马俑数据集上都产生较完整的、高分辨率的补全结果。
为达到上述目的，本发明采用以下技术方案：
本发明的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，包括以下步骤：
将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；
其中，所述训练好的兵马俑点云形状补全模型的获取方法包括以下步骤：
基于预获取的兵马俑数据集，获得训练数据集；
使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；
基于获得的所述潜在特征向量，获得不同尺度的特征向量；
基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构；
将所述潜在特征向量、所述不同尺度的点云以及随机生成的二维网格连接在一起，利用折叠的解码器，生成密集完整点云；
计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失；
基于所述训练损失训练获得训练好的兵马俑点云形状补全模型。
本发明的进一步改进在于，所述基于预获取的兵马俑数据集，获得训练数据集的步骤具体包括：
对预获取的兵马俑数据集进行预处理，形成训练数据集；其中，所述预处理包括去噪、坐标转换、归一化处理。
本发明的进一步改进在于，所述基于获得的所述潜在特征向量，获得不同尺度的特征向量的步骤具体包括：
对所述潜在特征向量进行全连接操作，得到三个不同尺度的特征向量。
本发明的进一步改进在于，所述基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构的步骤具体包括：
利用获得的三个不同尺度的特征向量，通过卷积操作，得到三个不同尺度的完整点云，形成多尺度结构。
本发明的进一步改进在于，所述将所述潜在特征向量、所述不同尺度的点云以及随机生成的二维网格连接在一起，利用折叠的解码器，生成密集完整点云的步骤具体包括：
将所述潜在特征向量、所述三个不同尺度的点云以及随机生成的二维网格连接在一起，利用一个折叠的解码器，生成密集完整点云。
本发明的进一步改进在于，所述计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失的步骤具体包括：
计算所述三个不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的四个距离按权重相加，得到训练损失。
本发明的进一步改进在于，所述基于所述训练损失训练获得训练好的兵马俑点云形状补全模型的步骤中，采用的优化器为Adam。
本发明的进一步改进在于，所述基于所述训练损失训练获得训练好的兵马俑点云形状补全模型的步骤具体包括：
在训练过程中，BatchSize设置为32，优化器为Adam,学习率设置为0.0001，一共训练1000轮。
本发明的一种基于多尺度和折叠结构的兵马俑点云的形状补全系统，包括：
形状补全模块，用于将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；
其中，所述训练好的兵马俑点云形状补全模型的获取方法包括以下步骤：
基于预获取的兵马俑数据集，获得训练数据集；
使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；
基于获得的所述潜在特征向量，获得不同尺度的特征向量；
基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构；
将所述潜在特征向量、所述不同尺度的点云以及随机生成的二维网格连接在一起，利用折叠的解码器，生成密集完整点云；
计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失；
基于所述训练损失训练获得训练好的兵马俑点云形状补全模型。
与现有技术相比，本发明具有以下有益效果：
本发明为了解决三维点云有可能会由于视角有限、传感器测量不可靠等问题出现缺失的问题，提出了一种基于深度学习的形状补全方法，通过一个多尺度的网络，利用多阶段的补全损失，以由粗到细的方式生成密集的、完整的点云。具体地，为了使补全结果更加真实，本发明利用多尺度生成结构，高分辨率特征会影响低分辨率特征的表达，低分辨率特征会将局部几何信息添加到高分辨率的预测结果中；通过三个尺度的特征向量，生成三个不同尺度的点云，使生成的点云更为真实；为了生成完整的、高分辨率的点云，本发明利用基于折叠的解码器，解码过程中，利用不同尺度的点云特征，共同生成密集的、完整的点云。综上，本发明的方法，直接在原始点云上进行操作，能够在Shapenet和兵马俑数据集上都产生较完整的、高分辨率的补全结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法的流程示意图；
图2是本发明实施例中，网络结构示意图；
图3是本发明实施例中，数据集car的补全结果示意图；
图4是本发明实施例中，兵马俑的补全结果示意图；
图5是本发明实施例中，数据集car的不同方法对比示意图；其中，图5中的(a)为输入的car残缺模型示意图，图5中的(b)为本发明实施例方法的补全效果示意图，图5中的(c)为现有PCN方法的补全效果示意图，图5中的(d)为真实的完整的对照模型示意图，图5中的(e)为现有RL-GAN-Net方法的补全效果示意图；
图6是本发明实施例中，兵马俑数据的不同方法对比示意图；其中，图6中的(a)为输入的兵马俑残缺模型示意图，图6中的(b)为本发明方法的补全效果示意图，图6中的(c)为现有PCN方法的补全效果示意图，图6中的(d)为真实的完整的对照模型示意图，图6中的(e)为现有RL-GAN-Net方法的补全效果示意图。
具体实施方式
为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。
请参阅图1，本发明实施例的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，也即一种基于深度学习的兵马俑点云的形状补全方法，具体包括以下步骤：
步骤1：对兵马俑数据集进行预处理，去噪、坐标转换、归一化处理等，形成训练数据集；
步骤2：使用多层感知机(Multilayer Perceptron，MLP)对步骤1得到的训练集进行操作,提取出数据的潜在特征向量；
步骤3：对步骤2得到的特征向量，进行全连接操作，得到三个不同尺度的特征向量；
步骤4：利用步骤3的三个不同尺度的特征向量，通过卷积操作，得到三个不同尺度的完整点云，形成多尺度结构；
步骤5：将步骤2的特征向量、步骤4的三个不同尺度的点云、一个随机生成二维网格连接在一起，利用一个折叠的解码器，生成一个密集的、完整的点云。
步骤6：计算步骤4中三个不同尺度的点云与地面真实点云的距离、计算步骤5中生成的点云与地面真实点云的距离，将这四个距离按权重相加，得到训练损失。
步骤7：利用adam进行训练。
本发明实施例的方法具有的效果包括：
(1)本发明利用多尺度生成结构，高分辨率特征会影响低分辨率特征的表达，低分辨率特征会将局部几何信息添加到高分辨率的预测结果中。通过三个尺度的特征向量，生成三个不同尺度的点云，使生成的点云更为真实。
(2)本发明利用基于折叠的解码器，解码过程中，利用不同尺度的点云特征，共同生成密集的、完整的点云，使点云在注重形状补全的同时，更注重点云的细节特征。
请参阅图1和图2，本发明实施例的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，具体包括以下步骤：
步骤1，预处理阶段。
对于兵马俑数据集：
首先利用Geomagic软件对兵马俑数据进行离散点去噪操作和填充孔洞处理得到点云P；再利用PCA进行坐标系转换，得到点云P1,计算使用公式(1)表示为
P1＝P*desc_sort(eig(P))， (1)
其中，eig求得点云P的特征向量，desc_sort将特征向量按照其对应的特征值的大小降序排序。
再利用公式(2)进行归一化和缩放处理，保证模型的平移、旋转、缩放不变性；
P2＝dis_max*(P1-mean(P1))， (2)
其中，mean求得点云P1的平均坐标，dis_max是P1中的点到平均坐标的最远欧式距离。
对点云P2进行均匀采样分别得到16384个点的点云P3和2048个点的点云P4；其中P3作为地面真实点云数据，再对P4进行残缺处理得到点云P5作为残缺数据集。
其中残缺处理是在P4中随机选择一个点，删除距离该点最近的M个点，使其残缺率达到5％，15％，25％，35％，45％，55％，65％，75％。
对于ShapeNet中的car数据集，使用与PCN中相同的数据集。由于RL-GAN-Net方法每次只能对相同残缺率的数据进行训练，所以训练RL-GAN-Net时，本文对PCN数据集进行挑选，选择出其中点数相同的数据。
步骤2：提取潜在特征向量。
将残缺点云P5(n*3)作为输入，利用公式(3)得到全局特征Global_feature(1*256),将Global_feature进行n倍重复扩张后，与mlp_conv(P5)拼接在一起，得到Global_feature_expand(n*512)；再利用公式(3)得到新的全局特征Global_feature(1*1024)。
Global_feature＝maxpool(mlp_conv(P5))， (3)
其中mlp_conv是对点云P5进行两层一维卷积，maxpool是进行最大值池化。
步骤3：三个不同尺度的特征向量。
将步骤2中得到的Global_feature(1*1024)进行三个不同尺度的全连接操作，分别得到feature_1(1*1024),feature_2(1*512),feature_3(1*256)。
步骤4：不同尺度的点云。
feature_3通过公式(4)得到PC_3(64*3)；feature_2通过公式(4)得到PC_2_temp，再与PC_3相加后，得到PC_2(128*3)；feature_1通过公式(4)得到PC_1_temp,再与PC_2相加后，得到PC_1(1024*3)；因此得到了三个不同尺度的点云PC_1,PC_2,PC_3。
PC＝reshape(mlp_conv(dense(feature)))， (4)
其中，reshape是重构矩阵大小，dense是全连接操作。
步骤5：生成密集、完整点云。
在[-grid_scale,grid_scale]范围内随机生成一个4*4的二维网格grid，将步骤2的特征向量Global_feature、步骤四的三个不同尺度的点云PC_1,PC_2,PC_3、随机生成的二维网格grid分别通过公式(5)后拼接在一起，再通过多层感知机，生成一个密集的、完整的点云PC_result。
PC_temp＝reshape(tile(Globalfeature))， (5)
其中，tile是矩阵扩展操作。
步骤6:训练损失：利用公式6分别计算步骤4中的PC_1,PC_2,PC_3与地面真实点云的距离loss_1、loss_2、loss_3,再计算步骤5中的PC_result与地面真实点云的距离loss_4；利用公式(7)计算最终的训练损失loss。
Figure BDA0002967935140000091
其中，|·|表示点云中点的个数。‖·‖表示二阶范式。
loss＝loss_4+λ(loss_3+loss_2+loss_1) (7)
其中λ表示为权重。
步骤7：开始训练。
在训练过程中，BatchSize设置为32，优化器为Adam,学习率设置为0.0001，一共训练1000轮。本发明形状补全网络模型构建所使用的数据集是公共数据集ShapeNet中的car数据集和由激光扫描仪扫描的兵马俑数据集。
请参阅图3，图3中P5为输入的car残缺模型，点数是646；PC_1、PC_2、PC_3为步骤4中得到的三个不同尺度的点云，点数分别是1024、128、64；PC_result为最终的补全效果，点数是16384；ground_truth为真实的完整的对照模型，点数是16384。由图可以看出，对于公共数据集ShapeNet中的car数据集，该实验方法可以补全输入模型的残缺部分，生成一个完整的、密集的car点云。
请参阅图4，图4中P5为输入的兵马俑残缺模型，点数是1532；PC_1、PC_2、PC_3为步骤4中得到的三个不同尺度的点云点数分别是1024、128、64；PC_result为最终的补全效果，点数是16384；ground_truth为真实的完整的对照模型，点数是16384。由图可以看出，对于兵马俑数据集，该实验方法可以生成一个完整的、高分辨率的兵马俑点云。
请参阅图5，图5中的(a)为输入的car残缺模型，(b)为本文方法的补全效果；(c)为PCN(PCN Point Completion Network)方法的补全效果；(d)为真实的完整的对照模型；(e)为RL-GAN-Net(A Reinforcement Learning Agent Controlled GAN Network forReal-Time Point Cloud Shape Completion)方法的补全效果。从图中可以看出，(b)、(c)方法都可以对残缺的模型进行完整、高分辨率的补全，(e)方法对于残缺模型也可以进行补全，但是其分辨率较低。
请参阅图6，图6中的(a)为输入的兵马俑残缺模型；(b)为本文方法的补全效果；(c)为PCN方法的补全效果；(d)为真实的完整的对照模型；(e)为RL-GAN-Net方法的补全效果。从图中可以看出，(b)、(c)、(e)方法都可以对残缺的模型进行完整的补全，但是(b)方法相对于(c)而言，整体形状与真实模型更为接近，头部和腿部的形状更真实；(b)方法相对于(e)方法，补全结果的分辨率更高。
本发明的一种基于多尺度和折叠结构的兵马俑点云的形状补全系统，包括：
形状补全模块，用于将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；
其中，所述训练好的兵马俑点云形状补全模型的获取方法包括以下步骤：
基于预获取的兵马俑数据集，获得训练数据集；
使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；
基于获得的所述潜在特征向量，获得不同尺度的特征向量；
基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构；
将所述潜在特征向量、所述不同尺度的点云以及随机生成的二维网格连接在一起，利用折叠的解码器，生成密集完整点云；
计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失；
基于所述训练损失训练获得训练好的兵马俑点云形状补全模型。
本发明的系统中，形状补全网络模型构建所使用的数据集是公共数据集ShapeNet中的car数据集和由激光扫描仪扫描的兵马俑数据集。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (9)

1.一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，包括以下步骤：
将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；
其中，所述训练好的兵马俑点云形状补全模型的获取方法包括以下步骤：
基于预获取的兵马俑数据集，获得训练数据集；
使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；
基于获得的所述潜在特征向量，获得不同尺度的特征向量；
基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构；
将所述潜在特征向量、所述不同尺度的点云以及随机生成的二维网格连接在一起，利用折叠的解码器，生成密集完整点云；
计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失；
基于所述训练损失训练获得训练好的兵马俑点云形状补全模型。
2.根据权利要求1所述的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，所述基于预获取的兵马俑数据集，获得训练数据集的步骤具体包括：
对预获取的兵马俑数据集进行预处理，形成训练数据集；其中，所述预处理包括去噪、坐标转换、归一化处理。
3.根据权利要求1所述的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，所述基于获得的所述潜在特征向量，获得不同尺度的特征向量的步骤具体包括：
对所述潜在特征向量进行全连接操作，得到三个不同尺度的特征向量。
4.根据权利要求3所述的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，所述基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构的步骤具体包括：
利用获得的三个不同尺度的特征向量，通过卷积操作，得到三个不同尺度的完整点云，形成多尺度结构。
5.根据权利要求4所述的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，所述将所述潜在特征向量、所述不同尺度的点云以及随机生成的二维网格连接在一起，利用折叠的解码器，生成密集完整点云的步骤具体包括：
将所述潜在特征向量、所述三个不同尺度的点云以及随机生成的二维网格连接在一起，利用一个折叠的解码器，生成密集完整点云。
6.根据权利要求5所述的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，所述计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失的步骤具体包括：
计算所述三个不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的四个距离按权重相加，得到训练损失。
7.根据权利要求1所述的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，所述基于所述训练损失训练获得训练好的兵马俑点云形状补全模型的步骤中，采用的优化器为Adam。
8.根据权利要求7所述的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，其特征在于，所述基于所述训练损失训练获得训练好的兵马俑点云形状补全模型的步骤具体包括：
在训练过程中，BatchSize设置为32，优化器为Adam,学习率设置为0.0001，一共训练1000轮。
9.一种基于多尺度和折叠结构的兵马俑点云的形状补全系统，其特征在于，包括：
形状补全模块，用于将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；
其中，所述训练好的兵马俑点云形状补全模型的获取方法包括以下步骤：
基于预获取的兵马俑数据集，获得训练数据集；
使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；
基于获得的所述潜在特征向量，获得不同尺度的特征向量；
基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构；
将所述潜在特征向量、所述不同尺度的点云以及随机生成的二维网格连接在一起，利用折叠的解码器，生成密集完整点云；
计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失；
基于所述训练损失训练获得训练好的兵马俑点云形状补全模型。
CN202110259051.6A 2021-03-09 2021-03-09 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 Active CN112837420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110259051.6A CN112837420B (zh) 2021-03-09 2021-03-09 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259051.6A CN112837420B (zh) 2021-03-09 2021-03-09 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统

Publications (2)

Publication Number Publication Date
CN112837420A true CN112837420A (zh) 2021-05-25
CN112837420B CN112837420B (zh) 2024-01-09

Family

ID=75929938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259051.6A Active CN112837420B (zh) 2021-03-09 2021-03-09 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统

Country Status (1)

Country Link
CN (1) CN112837420B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528920A (zh) * 2022-01-19 2022-05-24 西北大学 基于生成对抗网络的兵马俑色彩复原方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192050A1 (en) * 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
JP2020052543A (ja) * 2018-09-25 2020-04-02 日本電信電話株式会社 形状補完装置、形状補完学習装置、方法、及びプログラム
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN111931790A (zh) * 2020-08-10 2020-11-13 武汉慧通智云信息技术有限公司 一种激光点云提取方法及装置
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及系统
EP3767521A1 (en) * 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192050A1 (en) * 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
JP2020052543A (ja) * 2018-09-25 2020-04-02 日本電信電話株式会社 形状補完装置、形状補完学習装置、方法、及びプログラム
EP3767521A1 (en) * 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN111931790A (zh) * 2020-08-10 2020-11-13 武汉慧通智云信息技术有限公司 一种激光点云提取方法及装置
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
WENTAO YUAN等: "PCN:Point Completion Network", 《ARXIV》 *
WENTAO YUAN等: "PCN:Point Completion Network", 《ARXIV》, 2 August 2018 (2018-08-02), pages 1 - 17 *
ZITIAN HUANG等: "PF-Net: Point Fractal Network for 3D Point Cloud Completion", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
ZITIAN HUANG等: "PF-Net: Point Fractal Network for 3D Point Cloud Completion", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2020 (2020-12-31), pages 1 - 9 *
ZIXUAN HUANG等: "HMS-Net: Hierarchical Multi-Scale Sparsity-Invariant Network for Sparse Depth Completion", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 29, pages 3429 - 3441, XP011769271, DOI: 10.1109/TIP.2019.2960589 *
缪永伟等: "基于生成对抗网络的点云形状保结构补全", 中国科学:信息科学, vol. 50, no. 5, pages 675 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528920A (zh) * 2022-01-19 2022-05-24 西北大学 基于生成对抗网络的兵马俑色彩复原方法
CN114528920B (zh) * 2022-01-19 2023-08-18 西北大学 基于生成对抗网络的兵马俑色彩复原方法

Also Published As

Publication number Publication date
CN112837420B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
Qian et al. PUGeo-Net: A geometry-centric network for 3D point cloud upsampling
Sharp et al. Pointtrinet: Learned triangulation of 3d point sets
US11727584B2 (en) Shape supplementation device, shape supplementation learning device, method, and program
CN111696196B (zh) 一种三维人脸模型重建方法及装置
Yu et al. Part-wise AtlasNet for 3D point cloud reconstruction from a single image
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN113052955A (zh) 一种点云补全方法、系统及应用
Kawana et al. Neural star domain as primitive representation
CN117454495B (zh) 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置
Cheng et al. Dense point cloud completion based on generative adversarial network
Sharma et al. Point cloud upsampling and normal estimation using deep learning for robust surface reconstruction
Wei et al. GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds
Ukwuoma et al. Image inpainting and classification agent training based on reinforcement learning and generative models with attention mechanism
Maruani et al. Voromesh: Learning watertight surface meshes with voronoi diagrams
CN112837420B (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
Correia et al. 3D reconstruction of human bodies from single-view and multi-view images: A systematic review
Wang et al. MDISN: Learning multiscale deformed implicit fields from single images
Wang et al. Two-stage point cloud super resolution with local interpolation and readjustment via outer-product neural network
Zhang et al. A method for identifying and repairing holes on the surface of unorganized point cloud
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置
Hao et al. HyperGraph based human mesh hierarchical representation and reconstruction from a single image
Zhu et al. PDE patch-based surface reconstruction from point clouds
Ghadai et al. Learning and visualizing localized geometric features using 3d-cnn: An application to manufacturability analysis of drilled holes
Aremu et al. 3D Object Reconstruction with Deep Learning
Sorokin et al. Conversion of Point Cloud Data to 3D Models Using PointNet++ and Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant