CN112241997A - 基于多尺度点云上采样的三维模型建立、修复方法及系统 - Google Patents
基于多尺度点云上采样的三维模型建立、修复方法及系统 Download PDFInfo
- Publication number
- CN112241997A CN112241997A CN202010962487.7A CN202010962487A CN112241997A CN 112241997 A CN112241997 A CN 112241997A CN 202010962487 A CN202010962487 A CN 202010962487A CN 112241997 A CN112241997 A CN 112241997A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- scale
- cloud data
- data
- repaired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 230000008439 repair process Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于三维数字化文物修复领域，公开了一种基于多尺度点云上采样的三维模型建立、修复方法及系统。修复方法首先对文物数据集进行预处理；其次通过识别孔洞获取缺失区域，并将网格模型转化为点云模型；接着基于多尺度点云上采样GAN网络补全缺失点云模型；最后提取补全点云模型中的孔洞区域与原始模型合并完成三维形状复原。本发明的方法得到的三维文物补全结果从点云密集度和形状真实感上都更加接近原始模型，能够保持数字化文物模型的完整性，为后续文物拼接提供依据。
Description
技术领域
本发明属于三维数字化文物修复领域，尤其涉及一种基于多尺度点云上采样的三维模型建立、修复方法及系统。
背景技术
由于自然环境导致的表面腐蚀和出土破坏等因素，很多兵马俑出土时表面极易出现破裂、孔洞和残缺，不仅导致模型失去了本身的完整性，而且影响了三维虚拟展示、模型拼接等后续处理过程。传统文物修复采用手工翻模或黏土塑形，这类接触式修复方式不可避免会对文物造成二次损伤。近年来，随着三维激光扫描、虚拟现实和可视化等技术的发展，利用新技术为文物保护提供科学和精确的数据和支撑，已经成为当前文物保护的重要科研方向。三维数字化修复是计算机图形学和数字几何领域的重要问题。
现有模型修补算法方法主要基于三维进行修复，分为基于模板匹配和网格曲面的传统几何方法，以及基于体素和点云的深度神经网络。基于模板的填充方法适用于修复有较大孔洞的三维模型，最简单的方法是从三维模版库中寻找与缺失区域相似的块用于填充孔洞，将模板填充到模型缺损位置。基于网格曲面的方法可以用于修复较小的孔洞，利用三维网格的拓扑关系对孔洞区域拟合重构。然而由于传统的几何方法采用曲率和拓扑结构等信息进行创建，对于尖锐复杂的几何特征无法准确修复，且运行算法效率低。基于体素和点云的方法是针对三维模型不同的表示形式学习先验知识补全缺失区域。深度学习的最新进展在3D形状补全方面有很好的表现。早期的工作通过体素卷积网络将不完整模型补全为完整模型，但是体素化模型时会丢失部分几何信息导致模型分辨率受到限制。点云数据为三维模型提供更简洁的表示，随着Pointnet的提出，为卷积网络直接作用于无序的点云上提供可能。许多研究使用编码器将输入的点云数据转化为潜在向量，再使用解码器解码回点云数据。随着GAN网络在三维模型上得到很好的应用，很多方法将GAN和AE结合在一起融合了AE对三维物体的重建能力和GAN的鉴别器的指导能力。是目前主流的算法。
与传统的修复方法相比，基于深度学习的方法有更合理的填充结果，然而基于点云的方法要求点云的大小是恒定值，例如，输入大小通常为1024或2048。由于三维文物模型的结构复杂多样，除非对点云进行降采样，否则不可能直接将它们输入到基于点云的网络中。但是在下采样的过程中会缺失部分细节特征，导致生成模型分辨率低。无法在生成高分辨率且表面均匀的情况下补全具有较多特征信息文物模型。
发明内容
本发明的目的在于提供一种基于多尺度点云上采样的模型建立、修复方法及系统，用以解决现有技术中的对于文物的三维模型构建精度低的问题。
为了实现上述任务，本发明采用以下技术方案：
基于多尺度点云上采样的模型建立方法，包括如下步骤：
步骤1：获取三维数据，对三维数据进行预处理，获得点云数据；
步骤2：对点云数据依次进行三次下采样，分别获得第一尺度点云数据、第二尺度点云数据和第三尺度点云数据；
步骤3：建立多尺度点云上采样GAN网络模型，所述多尺度点云上采样GAN网络模型包括三个生成器，还包括每个生成器对应的鉴别器；
将第一尺度点云数据、第二尺度点云数据和第三尺度点云数据分别输入三组生成器，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据并在鉴别器里分别与步骤1的点云数据对比，根据对比结果对多尺度点云上采样GAN网络模型进行训练，训练好的多尺度点云上采样GAN网络模型作为三维点云模型。
基于多尺度点云上采样的模型修复方法，包括如下步骤：
步骤a：获取包含缺失区域的待修复三维数据，对待修复三维数据进行预处理，并对缺失区域进行标记，获得待修复点云数据；
步骤b：对待修复点云数据依次进行三次下采样，分别获得第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据；
步骤c：将第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据输入权利要求1所述的三维点云模型，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据；
步骤d：分别提取第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据的缺失区域并进行合并，获得点云补丁，将点云补丁与待修复三维数据进行融合，获得点云模型修复结果。
进一步的，所述预处理包括对文物的不同区域的进行切割、对各区域通过平移和剪裁操作获得网格块数据、将网格块数据转化为点云数据并将点云数据的坐标归一化为以原点为中心并缩放到单位长度。
进一步的，所述下采样采用迭代最远点采样方法。
基于多尺度点云上采样的模型修复系统，包括数据预处理模块、下采样模块、三维点云模型和模型修复模块；
所述数据预处理模块用于获取包含缺失区域的待修复三维数据，对待修复三维数据进行预处理，并对缺失区域进行标记，获得待修复点云数据；
所述下采样模块用于对待修复的点云数据依次进行三次下采样，分别获得第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据；
所述三维模型通过权利要求1所述的基于多尺度点云上采样的模型建立方法建立，用于输入第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据；
所述模型修复模块用于分别提取第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据的缺失区域并进行合并，获得点云补丁，将点云补丁与待修复的三维数据进行融合，获得点云模型修复结果。
进一步的，所述预处理包括对不同区域的进行切割、对各区域通过平移和剪裁操作获得网格块数据、将网格块数据转化为点云数据并将点云数据的坐标归一化为以原点为中心并缩放到单位长度。
进一步的，所述下采样采用迭代最远点采样方法。
本发明与现有技术相比具有以下技术特点：
(2)本发明搭建了多尺度点云上采样的生成对抗网络，并使用处理后的数据集进行训练，训练完成后，保存训练好的网络。对于较小的孔洞，单尺度的上采样网络可以便可以获得接近原始模型的结果。但是对于较大的孔洞，由于无法获得更多的特征信息，上采样网络无法一次性的将其补全，但本发明通过构建多尺度点云上采样网络，并结合低层次特征和高层次特征获得的缺失区域的高质量输出。
(2)本发明拟通过建立深度神经网络对兵马俑数据进行修复，可在不改变原始模型坐标的情况下输入不固定的点云数据，进而生成密集且均匀的补全后的预测数据，适合于具有较多点数和多个孔洞的兵马俑模型，并对不同部位兵马俑模型具备较高的鲁棒性。
附图说明
图1是本发明实施例提供的基于多尺度点云上采样的三维兵马俑点云模型修复方法流程图；
图2是本发明实施例提供的基于多尺度点云上采样的三维兵马俑点云模型修复方法的实现流程图；
图3是本发明实施例提供的基于多尺度点云上采样的三维兵马俑点云模型修复方法网络结构图；
图4是本发明实施例提供的生成器结构中的特征提取模块结构图；
图5是本发明实施例提供的三维兵马俑模型不同部位修复结果示意图；
图6是本发明实施例提供的三维兵马俑模型不同孔洞大小修复结果示意图。
具体实施方式
在本实施方式中三维数据是指对各种文物如陶器瓷器扫描后得到的三维数据，公开了一种基于多尺度点云上采样的模型建立方法，包括如下步骤：
步骤1：获取三维数据，对三维数据进行预处理，获得点云数据；
步骤2：对点云数据依次进行三次下采样，分别获得第一尺度点云数据、第二尺度点云数据和第三尺度点云数据；
步骤3：建立多尺度点云上采样GAN网络模型，所述多尺度点云上采样GAN网络模型包括三个生成器，还包括每个生成器对应的鉴别器；三个生成器和鉴别器的结构分别是一样的，主要用于对不同尺度的上采样工作；
将第一尺度点云数据、第二尺度点云数据和第三尺度点云数据分别输入三组生成器，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据并在鉴别器里分别与步骤1的点云数据对比，根据对比结果对多尺度点云上采样GAN网络模型进行训练，训练好的多尺度点云上采样GAN网络模型作为三维点云模型。
具体的，多尺度点云上采样GAN网络模型以PU-Net网络为基础，包括生成器和鉴别器。生成器主要用于从输入点云产生密集点云，鉴别用户区分数是否由生成器产生，在训练阶段仅仅训练生成器上采样2倍的网络参数，使得网络能够基于原始点云分布特征输出符合原始分布的上采样2倍的点云模型。使用生成器生成上采样2倍的干净的、密集的完整点云数据，将每个尺度的输出点云数据作为鉴别器的输入判断真假数据。
具体的，所述生成器主要包括特征提取，特征扩展和点集重建模块。对于特征提取模块，在卷积层内基于特征相似度的KNN进行分组，然后使用密集链接的MLPs从输入点云数据中提取特征，目的是对各组特征进行细化。特征扩展通过增加点的数量上采样点云模型，在特征扩展的上采样模块使用注意力模块提高表面均匀性。具体如图4所示，主要分为上下扩展单元来扩展点的特征，首先对点进行上采样，并将其进行向下采样。然后计算上采样之前和下采样之后的特征之间的差异。通过将两者之间的差异上采样和上采样之后的特征融合，进行特征上采样过程中自我校正，从而使得扩展后的特征和原始模型特征分布尽可能的相似。点集重建模块包括一系列全连接层对每个点的特征进行三维坐标重建。为了获取全局特征，在特征扩展模块，实际特征扩展的倍数为4倍。而在坐标重建阶段，采用迭代最远点采样(IFPS)的方法采样2倍的点云，在保证获得全局特征的同时生成均匀的点云模型。
具体的，所述鉴别器的网络输入是由原始点云模型和生成器预测的点云模型的合在一起的特征向量。鉴别器网络通过一组全连接层和最大池化层产生全局特征，其次结合全局特征和局部特通过自注意力单元提高特征集成。最后通过一组MLPs、最大池化层和全连接层生成置信值，用以判断输入数据是否接近真实分布。利用构建的鉴别器网络对生成的多尺度点云模型进行鉴别，网络输入为同一模型不同尺度的补全模型，预测的输出为一个在0-1之间的置信值，当鉴别器的输出的置信值越接近于1，表示输入的越真实。
具体的，为了保证多尺度上采样点云GAN网络的稳定性，减小生成的点云和原始点云之间的差异，在训练时采用最小二乘生成对抗损失函数τgen和重建损失函数τdis相加，训练直到损失函数收敛，最终得到基于多尺度点云的上采样生成对抗网络：
其中D(P)表示为鉴别器的输出，D(Pgt)是原始模型的置信值，生成器试图生成“真实”的样本来欺骗鉴别器，而鉴别器的作用是区分输入数据是来自真实数据还是生成数据。
在本实施方式中还公开了一种基于多尺度点云上采样的三维文物模型修复方法，包括如下步骤：
步骤a：获取包含缺失区域的待修复三维数据，对待修复三维数据进行预处理，并对缺失区域进行标记，获得待修复点云数据；
步骤b：对待修复点云数据依次进行三次下采样，分别获得第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据；
步骤c：将第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据输入权利要求1所述的三维点云模型，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据；
步骤d：分别提取第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据的缺失区域并进行合并，获得点云补丁，将点云补丁与待修复三维数据进行融合，获得点云模型修复结果。
具体的，所述预处理包括对文物的不同区域的进行切割、对各区域通过平移和剪裁操作获得网格块数据、将网格块数据转化为点云数据并将点云数据的坐标归一化为以原点为中心并缩放到单位长度。
具体的，所述下采样采用迭代最远点采样方法。
在本实施方式中还公开了一种基于多尺度点云上采样的三维文物模型修复系统，包括数据预处理模块、下采样模块、三维文物模型和模型修复模块；
所述数据预处理模块用于获取待修复的文物三维数据，对待修复的文物三维数据进行预处理，并对缺失区域进行标记，获得待修复的文物点云数据；
所述下采样模块用于对待修复的文物点云数据依次进行三次下采样，分别获得第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据；
所述三维文物模型通过基于多尺度点云上采样的文物模型建立方法建立，用于输入第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据；
所述模型修复模块用于分别提取第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据的缺失区域并进行合并，获得点云补丁，将点云补丁与待修复的文物三维数据进行融合，获得文物模型修复结果。
实施例1
在本实施例中，所述三维数据是使用三维扫描仪在秦始皇帝陵博物馆扫描获得的兵马俑三维数据，公开了以下技术特征：
一种基于多尺度点云上采样的文物模型建立方法，包括如下步骤：
步骤1：获取兵马俑obj三维数据，对兵马俑obj三维数据进行预处理，获得兵马俑点云数据；
步骤2：对兵马俑点云数据依次进行三次下采样，分别获得第一尺度点云数据、第二尺度点云数据和第三尺度点云数据；
步骤3：建立多尺度点云上采样GAN网络模型，所述多尺度点云上采样GAN网络模型包括三个生成器，还包括每个生成器对应的判别器；将第一尺度点云数据、第二尺度点云数据和第三尺度点云数据分别输入三组生成器进行训练，训练好的多尺度点云上采样GAN网络模型作为三维文物模型。
具体的，所述预处理包括使用geomagic软件对兵马俑佣体进行分类切割：共分为头、手臂、身体、腿四个部位。
具体的，所述下采样采用迭代最远点采样方法是指通过迭代最远点采样(IFPS)的方法简化点云点数为2048，并针对2048点云再次下采样2倍到1024，制造2048-1024点对数据集，用于三维修复网络的输入。主要目的是将下采样后数据(1024点云)作为网络输入，下采样前的数据(2048点云)作为原始模型用于衡量生成器性能。
具体的，兵马俑点云数据p可以为不固定点数的点云模型，将其输入到多尺度点云上采样GAN网络模型中，网络将其分为1024的点云块，针对每一个1024的点云块分别上采样两倍，再将同一点云的所有点云块合并获得上采样2倍的点云模型。比如输入为4096点数的点云模型，将其输入到预训练好的网络中，网络将其分为4个1024的点云块，并分别对每个1024点云块上采样2倍，最后合并一起为8192点数的点云数据。
具体的，针对p进行下采样生成三个不同尺度的第一尺度点云数据p1、第二尺度点云数据p2和第三尺度点云数据p3，其中p1由p下采样2倍所得，同理p2由p1下采样所得，p3由p2下采样所得。利用预训练GAN模型生成器预测输入模型的补全结果，分别输p1，p2，p3到多尺度点云上采样网络获得密集的点云数据。
优选的，通过以下的重建损失函数提高生成器的生成准确率。重建损失由三个(d1、d2、d3)项组成，表示点云数据的不同尺度通过鉴别器获得的置信值。将最小匹配距离定义为重建损失：
其中Pgt表示原始点云数据，P(i)表示生成器生成的点云数据，重建损失函数主要获得两者之间的L1距离，重建损失越小，表示模型补全效果越好。因此，MU-GAN的总体损失函数定义为：
τGAN＝ατgen+βτrec+γτdis (4)
其中，α，β，γ分别为生成器损失、重建损失和鉴别器损失的权重系数，值分别为0.5,100,0.5。
本实施例的具体实验结果如图5和图6所示，实验主要分为两个部分，第一个为针对不同部位的兵马俑模型分别进行测试，主要测试兵马俑模型的鲁棒性。从图5中可以看出来不论特征点数较多的头部，还是特征点数较少的身体都能够产生更合理的修复结果。本发明的工作是从预测的结果中提取孔洞补丁并和原始模型合并在一起，能够在保留模型的高保真特性的同时填充孔洞。
第二个部分为针对同一部位的不同缺失程度的文物点云模型进行修复，对于较小的孔洞，最终的输出结构和原始模型的相似度较高。如图6所示，对于孔较大的模型，由于无法从较大的孔洞中获得更多的信息，无法上采样生成完整的结果。但可以通过不同的尺度合并底层特征修复不完全模型。该方法能较好得保留不同缺失程度的输入点云的结构信息。
在测试阶段，为验证该发明的效果，使用Earth Movers distance(EMD)和Chamferdistance(CD)距离衡量三维补全结果，详细如下：
CD(P,Pgt)表示CD距离计算输入的真实点云Pgt和生成的点云P之间的距离，其中P为网络输出点云数据，Pgt为真实点云，i和j分别是P和Pgt中的点，i、j为正整数。距离公式是对称的，第一部分保证了生成的点云和真实点云之间的最小的距离，后一部分保证真实的点云尽可能的被输出点云所覆盖。EMD(P,Pgt)表示EMD距离，其中
P→Pgt表示生成点云到真实点云的点映射关系，
表示P中第i个点在Pgt中的映射点，而EMD是使得真实点云和预测点云之间的平均距离最小。EMD距离一般会高于CD距离，这是因为EMD是点对点的对应关系，而CD可以是一对多的关系。结果如下表所示，其中Our-SU为单尺度的修复结果，Our-MU为本发明多尺度的修复结果，多尺度修复结果由于单尺度修复结果：
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.基于多尺度点云上采样的三维模型建立方法，其特征在于，包括如下步骤：
步骤1：获取三维数据，对三维数据进行预处理，获得点云数据；
步骤2：对点云数据依次进行三次下采样，分别获得第一尺度点云数据、第二尺度点云数据和第三尺度点云数据；
步骤3：建立多尺度点云上采样GAN网络模型，所述多尺度点云上采样GAN网络模型包括三个生成器，还包括每个生成器对应的鉴别器；
将第一尺度点云数据、第二尺度点云数据和第三尺度点云数据分别输入三组生成器，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据并在鉴别器里分别与步骤1的点云数据对比，根据对比结果对多尺度点云上采样GAN网络模型进行训练，训练好的多尺度点云上采样GAN网络模型作为三维点云模型。
2.基于多尺度点云上采样的三维模型修复方法，其特征在于，包括如下步骤：
步骤a：获取包含缺失区域的待修复三维数据，对待修复三维数据进行预处理，并对缺失区域进行标记，获得待修复点云数据；
步骤b：对待修复点云数据依次进行三次下采样，分别获得第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据；
步骤c：将第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据输入权利要求1所述的三维点云模型，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据；
步骤d：分别提取第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据的缺失区域并进行合并，获得点云补丁，将点云补丁与待修复三维数据进行融合，获得点云模型修复结果。
3.如权利要求2所述的基于多尺度点云上采样的三维模型修复方法，其特征在于，所述预处理包括对文物的不同区域的进行切割、对各区域通过平移和剪裁操作获得网格块数据、将网格块数据转化为点云数据并将点云数据的坐标归一化为以原点为中心并缩放到单位长度。
4.如权利要求2所述的基于多尺度点云上采样的三维模型修复方法，其特征在于，所述下采样采用迭代最远点采样方法。
5.基于多尺度点云上采样的三维模型修复系统，其特征在于，包括数据预处理模块、下采样模块、三维点云模型和模型修复模块；
所述数据预处理模块用于获取包含缺失区域的待修复三维数据，对待修复三维数据进行预处理，并对缺失区域进行标记，获得待修复点云数据；
所述下采样模块用于对待修复的点云数据依次进行三次下采样，分别获得第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据；
所述三维模型通过权利要求1所述的基于多尺度点云上采样的模型建立方法建立，用于输入第一尺度待修复点云数据、第二尺度待修复点云数据和第三尺度待修复点云数据，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据；
所述模型修复模块用于分别提取第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据的缺失区域并进行合并，获得点云补丁，将点云补丁与待修复的三维数据进行融合，获得点云模型修复结果。
6.如权利要求5所述的基于多尺度点云上采样的三维模型修复系统，其特征在于，所述预处理包括对不同区域的进行切割、对各区域通过平移和剪裁操作获得网格块数据、将网格块数据转化为点云数据并将点云数据的坐标归一化为以原点为中心并缩放到单位长度。
7.如权利要求5所述的基于多尺度点云上采样的三维模型修复系统，其特征在于，所述下采样采用迭代最远点采样方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962487.7A CN112241997B (zh) | 2020-09-14 | 2020-09-14 | 基于多尺度点云上采样的三维模型建立、修复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962487.7A CN112241997B (zh) | 2020-09-14 | 2020-09-14 | 基于多尺度点云上采样的三维模型建立、修复方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112241997A true CN112241997A (zh) | 2021-01-19 |
| CN112241997B CN112241997B (zh) | 2024-03-26 |
Family
ID=74170860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010962487.7A Active CN112241997B (zh) | 2020-09-14 | 2020-09-14 | 基于多尺度点云上采样的三维模型建立、修复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112241997B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785526A (zh) * | 2021-01-28 | 2021-05-11 | 南京大学 | 一种用于图形处理的三维点云修复方法 |
| CN112819960A (zh) * | 2021-02-01 | 2021-05-18 | 电子科技大学 | 一种对抗性点云生成方法、存储介质和终端 |
| CN112837420A (zh) * | 2021-03-09 | 2021-05-25 | 西北大学 | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 |
| CN112927359A (zh) * | 2021-03-22 | 2021-06-08 | 南京大学 | 一种基于深度学习和体素的三维点云补全方法 |
| CN113052955A (zh) * | 2021-03-19 | 2021-06-29 | 西安电子科技大学 | 一种点云补全方法、系统及应用 |
| CN113205104A (zh) * | 2021-04-23 | 2021-08-03 | 广西大学 | 一种基于深度学习的点云补全方法 |
| CN113313835A (zh) * | 2021-07-29 | 2021-08-27 | 深圳市数字城市工程研究中心 | 一种基于机载LiDAR点云的建筑物屋顶自动建模方法 |
| CN113424220A (zh) * | 2021-03-30 | 2021-09-21 | 商汤国际私人有限公司 | 生成点云补全网络及点云数据的处理 |
| CN113538261A (zh) * | 2021-06-21 | 2021-10-22 | 昆明理工大学 | 一种基于深度学习的残缺钟乳石点云的形状修复方法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
| CN113920271A (zh) * | 2021-09-07 | 2022-01-11 | 北京理工大学 | 三维点云补全方法、装置及设备 |
| CN114419258A (zh) * | 2022-03-29 | 2022-04-29 | 苏州浪潮智能科技有限公司 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
| CN114677322A (zh) * | 2021-12-30 | 2022-06-28 | 东北农业大学 | 基于注意力引导点云特征学习的奶牛体况自动评分方法 |
| WO2022193909A1 (zh) * | 2021-03-19 | 2022-09-22 | 杭州朝厚信息科技有限公司 | 去除牙齿三维数字模型上的附件的方法 |
| WO2022246724A1 (zh) * | 2021-05-27 | 2022-12-01 | Oppo广东移动通信有限公司 | 点云解码、上采样及模型训练方法与装置 |
| CN116777848A (zh) * | 2023-06-06 | 2023-09-19 | 北京师范大学 | 一种玉石器相似度分析方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160125226A1 (en) * | 2013-09-17 | 2016-05-05 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Method and system for automatically optimizing quality of point cloud data |
| CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
-
2020
- 2020-09-14 CN CN202010962487.7A patent/CN112241997B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160125226A1 (en) * | 2013-09-17 | 2016-05-05 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Method and system for automatically optimizing quality of point cloud data |
| CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 杨军;党吉圣;: "采用深度级联卷积神经网络的三维点云识别与分割", 光学精密工程, no. 05 * |
| 贝子勒;赵杰煜;: "一种基于深度学习的点云修复模型", 无线通信技术, no. 02 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785526A (zh) * | 2021-01-28 | 2021-05-11 | 南京大学 | 一种用于图形处理的三维点云修复方法 |
| CN112785526B (zh) * | 2021-01-28 | 2023-12-05 | 南京大学 | 一种用于图形处理的三维点云修复方法 |
| CN112819960A (zh) * | 2021-02-01 | 2021-05-18 | 电子科技大学 | 一种对抗性点云生成方法、存储介质和终端 |
| CN112837420A (zh) * | 2021-03-09 | 2021-05-25 | 西北大学 | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 |
| CN112837420B (zh) * | 2021-03-09 | 2024-01-09 | 西北大学 | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 |
| CN113052955A (zh) * | 2021-03-19 | 2021-06-29 | 西安电子科技大学 | 一种点云补全方法、系统及应用 |
| CN113052955B (zh) * | 2021-03-19 | 2023-06-30 | 西安电子科技大学 | 一种点云补全方法、系统及应用 |
| WO2022193909A1 (zh) * | 2021-03-19 | 2022-09-22 | 杭州朝厚信息科技有限公司 | 去除牙齿三维数字模型上的附件的方法 |
| CN112927359B (zh) * | 2021-03-22 | 2024-01-30 | 南京大学 | 一种基于深度学习和体素的三维点云补全方法 |
| CN112927359A (zh) * | 2021-03-22 | 2021-06-08 | 南京大学 | 一种基于深度学习和体素的三维点云补全方法 |
| CN113424220A (zh) * | 2021-03-30 | 2021-09-21 | 商汤国际私人有限公司 | 生成点云补全网络及点云数据的处理 |
| CN113424220B (zh) * | 2021-03-30 | 2024-03-01 | 商汤国际私人有限公司 | 生成点云补全网络及点云数据的处理 |
| CN113205104A (zh) * | 2021-04-23 | 2021-08-03 | 广西大学 | 一种基于深度学习的点云补全方法 |
| WO2022246724A1 (zh) * | 2021-05-27 | 2022-12-01 | Oppo广东移动通信有限公司 | 点云解码、上采样及模型训练方法与装置 |
| CN113538261A (zh) * | 2021-06-21 | 2021-10-22 | 昆明理工大学 | 一种基于深度学习的残缺钟乳石点云的形状修复方法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
| CN113706686B (zh) * | 2021-07-09 | 2023-07-21 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
| CN113313835A (zh) * | 2021-07-29 | 2021-08-27 | 深圳市数字城市工程研究中心 | 一种基于机载LiDAR点云的建筑物屋顶自动建模方法 |
| CN113313835B (zh) * | 2021-07-29 | 2021-11-09 | 深圳市数字城市工程研究中心 | 一种基于机载LiDAR点云的建筑物屋顶自动建模方法 |
| CN113920271A (zh) * | 2021-09-07 | 2022-01-11 | 北京理工大学 | 三维点云补全方法、装置及设备 |
| CN114677322A (zh) * | 2021-12-30 | 2022-06-28 | 东北农业大学 | 基于注意力引导点云特征学习的奶牛体况自动评分方法 |
| CN114419258B (zh) * | 2022-03-29 | 2022-07-15 | 苏州浪潮智能科技有限公司 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
| CN114419258A (zh) * | 2022-03-29 | 2022-04-29 | 苏州浪潮智能科技有限公司 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
| CN116777848A (zh) * | 2023-06-06 | 2023-09-19 | 北京师范大学 | 一种玉石器相似度分析方法及系统 |
| CN116777848B (zh) * | 2023-06-06 | 2024-05-31 | 北京师范大学 | 一种玉石器相似度分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112241997B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112241997B (zh) | 基于多尺度点云上采样的三维模型建立、修复方法及系统 | |
| CN104299260B (zh) | 一种基于sift和lbp的点云配准的接触网三维重建方法 | |
| Hu et al. | Structure‐aware 3D reconstruction for cable‐stayed bridges: A learning‐based method | |
| CN113379646B (zh) | 一种利用生成对抗网络进行稠密点云补全的算法 | |
| Son et al. | Automatic segmentation and 3D modeling of pipelines into constituent parts from laser-scan data of the built environment | |
| CN109741268B (zh) | 一种针对壁画的破损图像补全方法 | |
| CN114332302A (zh) | 一种基于多尺度自注意力网络的点云补全系统及方法 | |
| Son et al. | Fully automated as-built 3D pipeline segmentation based on curvature computation from laser-scanned data | |
| CN106204503A (zh) | 基于改进置信度更新函数及匹配准则的图像修复算法 | |
| CN109461177B (zh) | 一种基于神经网络的单目图像深度预测方法 | |
| Tabib et al. | Learning-based hole detection in 3D point cloud towards hole filling | |
| CN109064556B (zh) | 一种面向isr的地貌高精度仿真建模系统 | |
| CN117454495B (zh) | 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置 | |
| CN116309144A (zh) | 一种基于扩散概率模型的点云形状补全方法 | |
| CN113723294B (zh) | 数据处理方法、装置及对象识别方法、装置 | |
| Chen et al. | MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers | |
| CN115661340B (zh) | 一种基于源信息融合的三维点云上采样方法与系统 | |
| Kıvılcım et al. | Parametric Architectural Elements from Point Clouds for HBIM Applications | |
| CN112837420B (zh) | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 | |
| CN115731390A (zh) | 一种灰岩隧道岩体结构面识别方法及设备 | |
| Cao et al. | Understanding 3D point cloud deep neural networks by visualization techniques | |
| Jain et al. | New Perspectives on Heritage: A Deep Learning Approach to Heritage Object Classification | |
| Chu et al. | Hole-filling framework by combining structural and textural information for the 3D Terracotta Warriors | |
| CN113610971A (zh) | 一种细粒度三维模型构建方法、装置及电子设备 | |
| CN117292067B (zh) | 基于扫描实物获得的虚拟3d模型方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |