CN115546050A - 一种基于点云补全的陶瓷文物智能复原网络及复原方法 - Google Patents

一种基于点云补全的陶瓷文物智能复原网络及复原方法 Download PDF

Info

Publication number
CN115546050A
CN115546050A CN202211136634.0A CN202211136634A CN115546050A CN 115546050 A CN115546050 A CN 115546050A CN 202211136634 A CN202211136634 A CN 202211136634A CN 115546050 A CN115546050 A CN 115546050A
Authority
CN
China
Prior art keywords
point cloud
cloud data
network
point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211136634.0A
Other languages
English (en)
Inventor
赵书良
杨依涵
穆翔宇
孙婧涵
丁雪怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Normal University
Original Assignee
Hebei Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Normal University filed Critical Hebei Normal University
Priority to CN202211136634.0A priority Critical patent/CN115546050A/zh
Publication of CN115546050A publication Critical patent/CN115546050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于点云补全的陶瓷文物智能复原网络及复原方法，智能复原网络生成式对抗网络，包括生成器、鉴别器、设置参数模块、优化参数模块、参数倒角距离损失模块和鉴别器损失模块。复原方法包括对点云数据格式进行转换，迭代最远点采样，对点云文件进行以原点为中心的归一化处理等数据预处理；搭建深度学习网络，训练该网络；将生成的残缺部分碎片与现实碎片配准而找到匹配碎片并进一步求点云的表面曲率进行距离与阈值比较步骤。本发明倒角距离损失与生成式对抗网络的鉴别器损失相结合，加上空间注意力和通道注意力模块，既考虑了全局特征，又保留了局部细节，提升了点云补全时的局部细节补全效果。

Description

一种基于点云补全的陶瓷文物智能复原网络及复原方法
技术领域
本发明涉及一种陶瓷破碎文物智能复原方法，尤其涉及一种基于点云补全的陶瓷文物智能复原网络及复原方法，属于计算机视觉技术领域。
背景技术
陶瓷文物包含大量古代社会信息。考古活动中往往发掘出大量碎瓷片、碎陶片，通常以筐计，但陶瓷碎片的拼接复原以及碎片的数字化保护一直是困扰文物界的难题。目前陶瓷碎片的拼接工作主要以手工方式进行，首先将碎片清洗、分类、计数、称重、分析，然后专家手工从千万种可能的组合中找出正确的那片进行拼接。文物碎片分拣拼合极其艰苦、繁重，效率低下，遗留下大量的碎片等待处理。因此，利用计算机实现陶瓷破碎文物智能虚拟复原具有极宝贵的现实意义。
对于三维点云处理方面，Charles R Qi等人2017年发布在CVPR上的基于点云分类和分割的深度神经网络(Deep Learning on Point Sets for 3D Classification andSegmentation，pointNet)解决了处理无序点集的问题。因此，可以直接在无序点上进行形状补全任务的算法得到了显著的发展。Yaoqing Yang等人2018年发布在CVPR上的基于深度网格变形的点云自动编码器(Point Cloud Auto-encoder via Deep Grid Deformation，FoldingNet)引入了一种新的解码操作，用作2D到3D的映射。点补全网络提出了第一个基于学习的结构，主要应用于形状补全这类任务。2019年，为了实现实时点云补全，MuhammadSarmad发布在CVPR上的强化学习控制GAN网络(A Reinforcement Learning AgentControlled GAN Network for Real-Time Point Cloud Shape Completion，RL-GAN-Net)，用于实时点云形状的补全,同时还提出了一种基于强化学习控制的生成对抗网络(Generative Adversarial Network，GAN)，但是该方法只考虑了全局架构，没有保留局部细节。智能复原技术最大的问题是两块碎片是否能拼接，怎么拼接，是否属于同一个瓷器。多层感知器(Multilayer Perceptron，MLP)是一种前馈人工神经网络模型，常应用于神经网络中，可以帮助解决上述问题。
除此之外，陶瓷文物存在有部分缺失或者存在一个器型的某些碎片丢失如何将其进行复原完整器型等问题。这些问题现阶段无法得到较好地解决。
发明内容
本发明要解决的技术问题是提供一种基于点云补全的陶瓷文物智能复原网络及复原方法。
为解决上述技术问题，本发明所采取的技术方案是：
技术方案一：一种基于点云补全及碎片表面的陶瓷文物智能复原网络，所述智能复原网络为生成式对抗网络，包括生成器块、鉴别器、设置参数模块、优化参数模块、参数倒角距离损失模块和鉴别器损失模块；所述生成器网络模块包括编码器、解码器；编码器的输出端接解码器的输入端，解码器的输出端分别接鉴别器和倒角距离损失模块的输入端，优化参数模块的输入端分别接倒角距离损失模块和鉴别器损失模块的输出端，其输出端经优化参数模块接设置参数模块的输入端；设置参数模块的输出端分别接生成器和鉴别器的输入端；所述编码器为多分辨率编码器，所述解码器为金字塔解码器，所述多分辨率编码器包括通道注意力单元、空间注意力单元。
进一步，所述编码器包括第一至第四MLP网络、第一拼接网络；所述第一MLP网络、第二MLP网络、第三MLP网络结构相同；所述解码器包括第一全连接层、重构网络；所述鉴别器网络模块包括顺次连接的第五MLP网络、第二拼接网络、第二全连接层；所述第一拼接网络的相应输入端分别接第一至第三MLP网络的输出端，其输出端依次经所述第四MLP网络、第一全连接层连接所述重构网络，所述重构网络的输出端分别连接第五MLP网络和倒角距离损失模块的输入端。
更进一步，所述第一MLP网络包括卷积网络cov1-cov2、通道注意力单元、空间注意力单元、卷积网络cov3-cov6、最大池化单元maxpool1-maxpool4、拼接模块cat1；所述第一拼接网络包括拼接模块cat2；所述第四MLP网络包括卷积网络cov1D；所述第一全连接层包括顺次连接的全连接层linear1-linear3；所述重构网络包括重构层reshape1、相加重构reshape2-reshape3；所述第五MLP网络包括顺次连接的卷积网络cov7-cov10、最大池化单元maxpool5-maxpool7；第二拼接网络包括拼接模块cat3；第二全连接层包括顺次连接的全连接子层linear4-linear7和sigmoid函数层；
所述卷积网络cov1-cov2、通道注意力单元、空间注意力单元、卷积网络cov3-cov6顺次连接，最大池化单元maxpool1-maxpool4的输入端分别接卷积网络cov3-cov6的相应输出端，其输出端接拼接模块cat1的相应输入端；拼接模块cat1的输出端作为第一MLP网络的输出端；拼接模块cat2的相应输入端分别接第一至第三MLP网络的输出端，其输出端依次经卷积网络cov1D接全连接层linear1的输入端；所述全连接层linear3的输出端连接所述重构层reshape1的输入端；所述相加重构reshape2的相应输入端分别连接所述重构层reshape1和全连接层linear2的输出端；所述相加重构层reshape3的相应输入端分别连接所述相加重构层reshape2和全连接层linear1的输出端，其输出端分别连接卷积网络cov7和倒角距离损失模块的输入端；最大池化单元maxpool5-maxpool7的输入端分别接卷积网络cov3-cov6的相应输出端，其输出端接拼接模块cat3的相应输入端；拼接模块cat3的输出端依次经全连接子层linear4-linear7接sigmoid函数层，sigmoid函数层的输出端作为鉴别器的输出端。
再进一步，所述卷积网络cov1的输入通道为1，输出通道为64；卷积网络cov2的输入通道为64，输出通道为64；通道注意力模块的输入通道为64，输出通道为64；空间注意力模块的输入通道为64，输出通道为64；卷积网络cov3的输入通道为64，输出通道为128；卷积网络cov4的输入通道为128，输出通道为256；卷积网络cov5的输入通道为256，输出通道为512；卷积网络cov6的输入通道为512，输出通道为1024；最大池化单元maxpool1输入通道为128，输出通道为128；最大池化单元maxpool2输入通道为256，输出通道为256；最大池化单元maxpool3输入通道为512，输出通道为512；maxpool4输入通道为1024，输出通道为1024；拼接模块cat1输出维度为1920的第一特征向量；拼接模块cat2的输出维度为5760的第二特征向量。
再进一步，卷积网络cov1D输入的特征维度为5760，输出的特征维度为1920。
再进一步，全连接子层linear1的输入通道为1920，输出通道为1024；全连接子层linear2输入通道为1024，输出通道为512；全连接子层linear3的输入通道为512，输出通道为256；重构层reshape1输出为长为64，宽为3的矩阵；相加重构层reshape2输出为长为128，宽为3的矩阵；相加重构层输出为长为512，宽为3的矩阵。
再进一步，卷积网络cov7的输入通道为1，输出通道为64；卷积网络cov8的输入通道为64，输出通道为64；卷积网络cov9的输入通道为64，输出通道为128；卷积网络cov10的输入通道为128，输出通道为256。
再进一步，最大池化层maxpool5的输入通道为64，输出通道为64；最大池化层maxpool6的输入通道为128，输出通道为128；最大池化层maxpool7的输入通道为256，输出通道为256。
再进一步，拼接模块cat3的三个输入通道分别为64，128，256，输出通道为448。
再进一步，全连接子层linear4的输入通道为448，输出通道为256；全连接子层linear5的输入通道为256，输出通道为128；全连接子层linear6的输入通道为128，输出通道为16；全连接子层linear7的输入通道为16，输出通道为1。
再进一步，sigmoid函数层的输出为0到1之间的值。
技术方案二：
一种用于技术方案一中的基于点云补全的陶瓷文物智能复原网络的复原方法：包括以下步骤：
步骤1：点云数据预处理：由以下具体步骤组成：
步骤1-1：获取点云数据集P＝{P1,...,Pi,…,PN}，Pi＝{(Pi1x,Pi1y,Pi1z),...,(Pimx,Pimy,Pimz),…,(PiMx,PiMy,PiMz)}，N代表点云数据的个数，1≤i≤N，1≤m≤M，M表示第i个点云数据的坐标点个数；
步骤1-2：逐一对各点云数据进行下采样：
步骤1-2-1：建立空集Ai作为当前点云数据Pi的采样点集，从当前点云数据Pi中随机挑选一个坐标点移入采样点集Ai；
步骤1-2-2：当前点云数据Pi更新为Pi-Ai；
步骤1-2-3：逐一计算当前点云数据Pi中各坐标点和当前采样点集Ai中各坐标点的距离：
Figure BDA0003851705990000051
ailx,bily,cilz分别为采样点集Ai中第l个点所对应的x坐标、y坐标、z坐标，Pimx,Pimy,Pimz分别为当前点云数据Pi中的第m个点的x坐标、y坐标、z坐标；
步骤1-2-4：选取当前点云数据Pi中各坐标点和当前采样点集Ai中各坐标点的距离最大值对应的当前点云数据Pi中的坐标点加入当前采样点集Ai；
步骤1-2-5：判断当前采样点集Ai中的坐标点数目是否达到预设点数J，如果未达到，转向步骤1-2-2；否则，转向步骤1-3；
步骤1-3：逐一对当前采样点集Ai中的各坐标点进行归一化处理：
Figure BDA0003851705990000061
Figure BDA0003851705990000062
Figure BDA0003851705990000063
P′ijx＝Pijx-μ1
P′ijy＝Pijy-μ2
P′ijz＝Pijz-μ3
Figure BDA0003851705990000064
Figure BDA0003851705990000065
Figure BDA0003851705990000066
其中，1≤i≤N，Pijx,Pijy,Pijz分别当前采样点集Ai的第j个点的x坐标、y坐标、z坐标，P″ijx、P″ijy、P″ijz分别为当前采样点集Ai中第j个坐标点的归一化x坐标、归一化y坐标、归一化z坐标；
步骤1-4：根据设定的缺失点数X，逐一去除当前采样点集Ai中坐标点：
随机选取当前采样点集Ai中一个坐标点作为中心点，计算中心点与其余坐标点的距离并按照从小到大的顺序排序，去除前X个距离所对应的坐标点移入补全的当前真实值点集Pi2，得到当前残缺点集Pi1＝Ai-Pi2，1≤i≤N，各当前残缺点集Pi1组成残缺点云数据集，各当前真实值点集Pi2组成补全的真实值点云数据集；
步骤1-5：对当前残缺点集Pi1和当前真实值点集Pi2分别进行两次下采样，当前残缺点集Pi1和当前真实值点集Pi2中坐标点的数目分别降低为当前残缺点集Pi1和当前真实值点集Pi2中坐标点的数目的
Figure BDA0003851705990000071
和
Figure BDA0003851705990000072
得到第一至第二当前下采样残缺数据Pi11和Pi12、第一至第二当前下采样真实数据Pi21和Pi22；
步骤2：搭建所述智能复原网络；
步骤3：训练智能复原网络：
步骤3-1：初始化参数：设置当前训练轮次epoch为0，优化参数模块中的各参数数值设置为初始化参数；优化参数模块中的参数包括生成器中的权重ωG、学习率η、生成器中的偏置值bG、鉴别器中的权重ωD、鉴别器中的偏置值bD；
步骤3-2：网络参数配置：优化参数模块将通过设置参数模块为生成器、鉴别器、鉴别器损失模块、倒角距离损失模块配置参数；
步骤3-3：输出训练数据：逐一将当前残缺点集Pi1、第一至第二当前下采样残缺数据Pi11和Pi12，1≤i≤N，输入到生成器中，重构成当前缺失区域形状点云Pi31、当前缺失区域扩展点云Pi32和当前细节补全点云Pi3；
步骤3-4：计算倒角距离损失：
Lcom＝dCD1(Pi3，Pi2)+αdCD2(Pi31，Pi21)+2αdCD3(Pi32，Pi22)
Figure BDA0003851705990000073
Figure BDA0003851705990000081
Figure BDA0003851705990000082
步骤3-5：判断倒角距离损失Lcom值是否为0，如果是，转向步骤3-7，否则，转向步骤3-6；
步骤3-6：使用梯度下降法反向传播误差来更新参数：
Figure BDA0003851705990000083
Figure BDA0003851705990000084
步骤3-7：将当前细节补全点云Pi3输入鉴别器，鉴别器输出取值为0-1之间的预测值G′i；
步骤3-8：计算鉴别器损失：
Figure BDA0003851705990000085
其中N是鉴别器输出数据的数目；
步骤3-9：判断鉴别器损失Ladv值是否为0，如果是，转向步骤3-11，否则，转向步骤3-10；
步骤3-10：使用梯度下降法反向传播误差来更新参数：
Figure BDA0003851705990000086
Figure BDA0003851705990000087
步骤3-11：计算计算总体损失：
L＝λcomLcom+λadvLadv
λcom+λadv＝1
步骤3-12：判断总体损失L是否为0，如果是，转向步骤3-14，否则，转向步骤3-13；
步骤3-13：使用梯度下降法反向传播误差来更新参数：
Figure BDA0003851705990000091
Figure BDA0003851705990000092
步骤3-14：判断训练轮数是否达到预设轮数，如果是，则转向步骤4；否则，转向步骤3-15；
步骤3-15：当前训练轮次epoch＝epoch+1，转向步骤3-2；
步骤4：将残缺点云数据Ptest1输入编码器，生成相应的缺失碎片点云数据Ptest2，缺失碎片点云数据Ptest2中的坐标点的个数为w；设置当前匹配次数为1；
步骤5：将缺失碎片点云数据Ptest2与碎片数据集Preal中的现实碎片点云数据Prealc逐一进行最近点点对点迭代配准，选取相适配的现实碎片点云数据作为匹配现实碎片点云数据，Prealc∈Preal，1≤c≤C，C为碎片数据集Preal中的现实碎片点云数据数目，由以下具体步骤组成：
步骤5-1：将现实碎片点云数据Prealc下采样至由w个坐标点组成的下采样现实碎片点云数据P′realc，按照∑|pci-qci|值最小原则确定下采样现实碎片点云数据P′realc各坐标点pci在缺失碎片点云数据Ptest2的对应坐标点集q＝{q1,…,qci,…,qw}，1≤ci≤w；
步骤5-2：利用最小二乘法计算由缺失碎片点云数据Ptest2对应坐标点集q变换到现实碎片点云数据P′realc中各点pci的旋转矩阵R和平移矩阵t，使得误差函数最小,误差函数E(R，t)如下：
Figure BDA0003851705990000093
步骤5-3：使用所述旋转矩阵R和平移矩阵t对缺失碎片点云数据Ptest2的对应坐标点集q进行旋转和平移变换，得到缺失碎片点云数据Ptest2对应变换坐标点集q′＝{q′1,…,q′ci,…,q′w}；
步骤5-4：计算缺失碎片点云数据Ptest2对应变换坐标点集q′中坐标点q′ci与下采样现实碎片点云数据P′realc中对应坐标点集pci的平均距离：
Figure BDA0003851705990000101
步骤5-5：判断平均距离d是否小于预设阈值或者大于预设迭代次数，如果是，转向步骤5-7，否则，转向步骤5-6；
步骤5-6：用缺失碎片点云数据Ptest2对应变换坐标点集q′更新下采样现实碎片点云数据P′realc各坐标点pci在缺失碎片点云数据Ptest2的对应坐标点集q，转向步骤5-2；
步骤5-7：计算倒角距离：
Figure BDA0003851705990000102
如果倒角距离dCD(p′,q)小于倒角阈值，当前现实碎片点云数据作为匹配现实碎片点云数据，则转向步骤6；否则，转向步骤5-8；
步骤5-8：判断当前匹配次数是否等于现实碎片点云数据数目，如果是，转向步骤5-10；否则，转向步骤5-9；
步骤5-9：当前匹配次数加1；换用下一个现实碎片点云数据，转向步骤5-1；
步骤5-10：选取最小的倒角距离对应的现实碎片点云数据作为匹配现实碎片点云数据，转向步骤6；
步骤6：分别求缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量αtest2和αreal2，缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量求取方法相同，缺失碎片点云数据Ptest2的表面曲率向量αtest2＝{αk}求取方法由以下具体步骤组成：
步骤6-1：逐一求缺失碎片点云数据Ptest2中每个坐标点xk，1≤k≤w的特征值λ0k，λ1k，λ2k，特征值λ0k，λ1k，λ2k为xk协方差矩阵Tk的特征值，xk协方差矩阵Tk的计算方法为：
Figure BDA0003851705990000111
Figure BDA0003851705990000112
其中，xs为缺失碎片点云数据Ptest2中坐标点xk给定半径范围内的坐标点，1≤s≤R，R为缺失碎片点云数据Ptest2中坐标点xk给定半径范围内的坐标点数目；
步骤6-2：求缺失碎片点云数据Ptest2中坐标点xk的表面曲率αk：
Figure BDA0003851705990000113
步骤6-3：缺失碎片点云数据Ptest2中各坐标点xk的表面曲率αk构建缺失碎片点云数据Ptest2的表面曲率向量αtest2；
步骤7：对缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量αtest2和αreal2进行相似性比对，计算杰卡德距离：
Figure BDA0003851705990000114
步骤8：判断杰卡德距离J(αtest2,αreal2)是否小于拼接阈值，如果是，将缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm进行拼接，否则，反馈无法拼接信息。
采用上述技术方案所产生的有益效果在于：
(1)本发明对点云数据做出一系列的预处理，使点云数据规范化，输入本发明构建的网络中，一定程度上提升了模型的补全效果。
(2)本发明中的点云补全部分将混合注意力模块与多分辨率编码器相结合提取特征，并且使用金字塔解码器与生成式对抗网络，既考虑了全局特征，也保留了局部细节特征，降低了倒角距离损失值和真实值与预测值的损失值。
(3)本发明将点云补全技术直接应用于陶瓷破碎文物智能复原，将补全的残缺部分与现实碎片进行对比，找到与原碎片可拼接的另一半，还可对完整器型的部分丢失碎片进行补全，得到完整器型的可视化。这样做不仅可实现对现实碎片进行拼接，而且实现了对不完整器型的修复，有较强的实用价值。
(4)碎片经过磨损会有一定程度的损坏，缺角以及整体陶瓷形状的部分碎片缺失会导致拼接的形状不够完全。本发明实现了图像的修复补全功能，由于瓷器的形状较为固定，圆形瓷器，方形瓷器等，所以通过对不同类别不同形状的器型进行充分大量的训练，并通过预训练模型对缺失点的点云文件进行补全。
(5)本发明在进行相似度比对时采用两种方式，分别为点云配准和表面曲率的相似度比较，并且采用不同的阈值，这提升了碎片能否拼接的精度，保证了陶瓷破碎文物智能虚拟复原的正确性与准确性。
本发明通过提出一种基于点云补全及碎片表面的陶瓷文物智能复原方法，不仅可以提升寻找缺失部分碎片的准确性，而且可以对部分丢失碎片进行虚拟修复补全。
附图说明
图1为本发明实施例2的流程图。
图2为本发明实施例1的框图。
图3为本发明实施例1的生成器框图。
具体实施方式
以下实施例用于说明本发明。
实施例1
所述智能复原网络为生成式对抗网络，包括生成器块、鉴别器、设置参数模块、优化参数模块、参数倒角距离损失模块和鉴别器损失模块；所述生成器网络模块包括编码器、解码器；编码器的输出端接解码器的输入端，解码器的输出端分别接鉴别器和倒角距离损失模块的输入端，优化参数模块的输入端分别接倒角距离损失模块和鉴别器损失模块的输出端，其输出端经优化参数模块接设置参数模块的输入端；设置参数模块的输出端分别接生成器和鉴别器的输入端；所述编码器为多分辨率编码器，所述解码器为金字塔解码器，所述多分辨率编码器包括通道注意力单元、空间注意力单元。
所述编码器包括第一至第四MLP网络、第一拼接网络；所述第一MLP网络、第二MLP网络、第三MLP网络结构相同；所述解码器包括第一全连接层、重构网络；所述鉴别器网络模块包括顺次连接的第五MLP网络、第二拼接网络、第二全连接层；所述第一拼接网络的相应输入端分别接第一至第三MLP网络的输出端，其输出端依次经所述第四MLP网络、第一全连接层连接所述重构网络，所述重构网络的输出端分别连接第五MLP网络和倒角距离损失模块的输入端。
所述第一MLP网络包括卷积网络cov1-cov2、通道注意力单元、空间注意力单元、卷积网络cov3-cov6、最大池化单元maxpool1-maxpool4、拼接模块cat1；所述第一拼接网络包括拼接模块cat2；所述第四MLP网络包括卷积网络cov1D；所述第一全连接层包括顺次连接的全连接层linear1-linear3；所述重构网络包括重构层reshape1、相加重构reshape2-reshape3；所述第五MLP网络包括顺次连接的卷积网络cov7-cov10、最大池化单元maxpool5-maxpool7；第二拼接网络包括拼接模块cat3；第二全连接层包括顺次连接的全连接子层linear4-linear7和sigmoid函数层；
所述卷积网络cov1-cov2、通道注意力单元、空间注意力单元、卷积网络cov3-cov6顺次连接，最大池化单元maxpool1-maxpool4的输入端分别接卷积网络cov3-cov6的相应输出端，其输出端接拼接模块cat1的相应输入端；拼接模块cat1的输出端作为第一MLP网络的输出端；拼接模块cat2的相应输入端分别接第一至第三MLP网络的输出端，其输出端依次经卷积网络cov1D接全连接层linear1的输入端；所述全连接层linear3的输出端连接所述重构层reshape1的输入端；所述相加重构reshape2的相应输入端分别连接所述重构层reshape1和全连接层linear2的输出端；所述相加重构层reshape3的相应输入端分别连接所述相加重构层reshape2和全连接层linear1的输出端，其输出端分别连接卷积网络cov7和倒角距离损失模块的输入端；最大池化单元maxpool5-maxpool7的输入端分别接卷积网络cov3-cov6的相应输出端，其输出端接拼接模块cat3的相应输入端；拼接模块cat3的输出端依次经全连接子层linear4-linear7接sigmoid函数层，sigmoid函数层的输出端作为鉴别器的输出端。
所述卷积网络cov1的输入通道为1，输出通道为64；卷积网络cov2的输入通道为64，输出通道为64；通道注意力模块的输入通道为64，输出通道为64；空间注意力模块的输入通道为64，输出通道为64；卷积网络cov3的输入通道为64，输出通道为128；卷积网络cov4的输入通道为128，输出通道为256；卷积网络cov5的输入通道为256，输出通道为512；卷积网络cov6的输入通道为512，输出通道为1024；最大池化单元maxpool1输入通道为128，输出通道为128；最大池化单元maxpool2输入通道为256，输出通道为256；最大池化单元maxpool3输入通道为512，输出通道为512；maxpool4输入通道为1024，输出通道为1024；拼接模块cat1输出维度为1920的第一特征向量；拼接模块cat2的输出维度为5760的第二特征向量，卷积网络cov1D输入的特征维度为5760，输出的特征维度为1920；全连接子层linear1的输入通道为1920，输出通道为1024；全连接子层linear2输入通道为1024，输出通道为512；全连接子层linear3的输入通道为512，输出通道为256；重构层reshape1输出为长为64，宽为3的矩阵；相加重构层reshape2输出为长为128，宽为3的矩阵；相加重构层输出为长为512，宽为3的矩阵；卷积网络cov7的输入通道为1，输出通道为64；卷积网络cov8的输入通道为64，输出通道为64；卷积网络cov9的输入通道为64，输出通道为128；卷积网络cov10的输入通道为128，输出通道为256；最大池化层maxpool5的输入通道为64，输出通道为64；最大池化层maxpool6的输入通道为128，输出通道为128；最大池化层maxpool7的输入通道为256，输出通道为256；拼接模块cat3的三个输入通道分别为64，128，256，输出通道为448；全连接子层linear4的输入通道为448，输出通道为256；全连接子层linear5的输入通道为256，输出通道为128；全连接子层linear6的输入通道为128，输出通道为16；全连接子层linear7的输入通道为16，输出通道为1；sigmoid函数层的输出为0到1之间的值。
实施例2
一种用于实施例1中的基于点云补全的陶瓷文物智能复原网络的复原方法：包括以下步骤：
步骤1：点云数据预处理：由以下具体步骤组成：
步骤1-1：获取点云数据集P＝{P1,...,Pi,…,PN}，Pi＝{(Pi1x,Pi1y,Pi1z),...,(Pimx,Pimy,Pimz),…,(PiMx,PiMy,PiMz)}，N代表点云数据的个数，1≤i≤N，1≤m≤M，M表示第i个点云数据的坐标点个数；
步骤1-2：逐一对各点云数据进行下采样：
步骤1-2-1：建立空集Ai作为当前点云数据Pi的采样点集，从当前点云数据Pi中随机挑选一个坐标点移入采样点集Ai；
步骤1-2-2：当前点云数据Pi更新为Pi-Ai；
步骤1-2-3：逐一计算当前点云数据Pi中各坐标点和当前采样点集Ai中各坐标点的距离：
Figure BDA0003851705990000151
ailx,bily,cilz分别为采样点集Ai中第l个点所对应的x坐标、y坐标、z坐标，Pimx,Pimy,Pimz分别为当前点云数据Pi中的第m个点的x坐标、y坐标、z坐标；
步骤1-2-4：选取当前点云数据Pi中各坐标点和当前采样点集Ai中各坐标点的距离最大值对应的当前点云数据Pi中的坐标点加入当前采样点集Ai；
步骤1-2-5：判断当前采样点集Ai中的坐标点数目是否达到预设点数J，如果未达到，转向步骤1-2-2；否则，转向步骤1-3；
步骤1-3：逐一对当前采样点集Ai中的各坐标点进行归一化处理：
Figure BDA0003851705990000161
Figure BDA0003851705990000162
Figure BDA0003851705990000163
P′ijx＝Pijx-μ1
P′ijy＝Pijy-μ2
P′ijz＝Pijz-μ3
Figure BDA0003851705990000164
Figure BDA0003851705990000165
Figure BDA0003851705990000166
其中，1≤i≤N，Pijx,Pijy,Pijz分别当前采样点集Ai的第j个点的x坐标、y坐标、z坐标，P″ijx、P″ijy、P″ijz分别为当前采样点集Ai中第j个坐标点的归一化x坐标、归一化y坐标、归一化z坐标；
步骤1-4：根据设定的缺失点数X，逐一去除当前采样点集Ai中坐标点：
随机选取当前采样点集Ai中一个坐标点作为中心点，计算中心点与其余坐标点的距离并按照从小到大的顺序排序，去除前X个距离所对应的坐标点移入补全的当前真实值点集Pi2，得到当前残缺点集Pi1＝Ai-Pi2，1≤i≤N，各当前残缺点集Pi1组成残缺点云数据集，各当前真实值点集Pi2组成补全的真实值点云数据集；
步骤1-5：对当前残缺点集Pi1和当前真实值点集Pi2分别进行两次下采样，当前残缺点集Pi1和当前真实值点集Pi2中坐标点的数目分别降低为当前残缺点集Pi1和当前真实值点集Pi2中坐标点的数目的
Figure BDA0003851705990000171
和
Figure BDA0003851705990000172
得到第一至第二当前下采样残缺数据Pi11和Pi12、第一至第二当前下采样真实数据Pi21和Pi22；
步骤2：搭建所述智能复原网络；
步骤3：训练智能复原网络：
步骤3-1：初始化参数：设置当前训练轮次epoch为0，优化参数模块中的各参数数值设置为初始化参数；优化参数模块中的参数包括生成器中的权重ωG、学习率η、生成器中的偏置值bG、鉴别器中的权重ωD、鉴别器中的偏置值bD；
步骤3-2：网络参数配置：优化参数模块将通过设置参数模块为生成器、鉴别器、鉴别器损失模块、倒角距离损失模块配置参数；
步骤3-3：输出训练数据：逐一将当前残缺点集Pi1、第一至第二当前下采样残缺数据Pi11和Pi12，1≤i≤N，输入到生成器中，重构成当前缺失区域形状点云Pi31、当前缺失区域扩展点云Pi32和当前细节补全点云Pi3；
步骤3-4：计算倒角距离损失：
Lcom＝dCD1(Pi3，Pi2)+αdCD2(Pi31，Pi21)+2αdCD3(Pi32，Pi22)
Figure BDA0003851705990000173
Figure BDA0003851705990000181
Figure BDA0003851705990000182
步骤3-5：判断倒角距离损失Lcom值是否为0，如果是，转向步骤3-7，否则，转向步骤3-6；
步骤3-6：使用梯度下降法反向传播误差来更新参数：
Figure BDA0003851705990000183
Figure BDA0003851705990000184
步骤3-7：将当前细节补全点云Pi3输入鉴别器，鉴别器输出取值为0-1之间的预测值G′i；
步骤3-8：计算鉴别器损失：
Figure BDA0003851705990000185
其中N是鉴别器输出数据的数目；
步骤3-9：判断鉴别器损失Ladv值是否为0，如果是，转向步骤3-11，否则，转向步骤3-10；
步骤3-10：使用梯度下降法反向传播误差来更新参数：
Figure BDA0003851705990000186
Figure BDA0003851705990000187
步骤3-11：计算计算总体损失：
L＝λcomLcom+λadvLadv
λcom+λadv＝1
步骤3-12：判断总体损失L是否为0，如果是，转向步骤3-14，否则，转向步骤3-13；
步骤3-13：使用梯度下降法反向传播误差来更新参数：
Figure BDA0003851705990000191
Figure BDA0003851705990000192
步骤3-14：判断训练轮数是否达到预设轮数，如果是，则转向步骤4；否则，转向步骤3-15；
步骤3-15：当前训练轮次epoch＝epoch+1，转向步骤3-2；
步骤4：将残缺点云数据Ptest1输入编码器，生成相应的缺失碎片点云数据Ptest2，缺失碎片点云数据Ptest2中的坐标点的个数为w；设置当前匹配次数为1；
步骤5：将缺失碎片点云数据Ptest2与碎片数据集Preal中的现实碎片点云数据Prealc逐一进行最近点点对点迭代配准，选取相适配的现实碎片点云数据作为匹配现实碎片点云数据，Prealc∈Preal，1≤c≤C，C为碎片数据集Preal中的现实碎片点云数据数目，由以下具体步骤组成：
步骤5-1：将现实碎片点云数据Prealc下采样至由w个坐标点组成的下采样现实碎片点云数据P′realc，按照∑|pci-qci|值最小原则确定下采样现实碎片点云数据P′realc各坐标点pci在缺失碎片点云数据Ptest2的对应坐标点集q＝{q1,…,qci,…,qw}，1≤ci≤w；
步骤5-2：利用最小二乘法计算由缺失碎片点云数据Ptest2对应坐标点集q变换到现实碎片点云数据P′realc中各点pci的旋转矩阵R和平移矩阵t，使得误差函数最小,误差函数E(R，t)如下：
Figure BDA0003851705990000193
步骤5-3：使用所述旋转矩阵R和平移矩阵t对缺失碎片点云数据Ptest2的对应坐标点集q进行旋转和平移变换，得到缺失碎片点云数据Ptest2对应变换坐标点集q′＝{q′1,…,q′ci,…,q′w}；
步骤5-4：计算缺失碎片点云数据Ptest2对应变换坐标点集q′中坐标点q′ci与下采样现实碎片点云数据P′realc中对应坐标点集pci的平均距离：
Figure BDA0003851705990000201
步骤5-5：判断平均距离d是否小于预设阈值或者大于预设迭代次数，如果是，转向步骤5-7，否则，转向步骤5-6；
步骤5-6：用缺失碎片点云数据Ptest2对应变换坐标点集q′更新下采样现实碎片点云数据P′realc各坐标点pci在缺失碎片点云数据Ptest2的对应坐标点集q，转向步骤5-2；
步骤5-7：计算倒角距离：
Figure BDA0003851705990000202
如果倒角距离dCD(p′,q)小于倒角阈值，当前现实碎片点云数据作为匹配现实碎片点云数据，则转向步骤6；否则，转向步骤5-8；
步骤5-8：判断当前匹配次数是否等于现实碎片点云数据数目，如果是，转向步骤5-10；否则，转向步骤5-9；
步骤5-9：当前匹配次数加1；换用下一个现实碎片点云数据，转向步骤5-1；
步骤5-10：选取最小的倒角距离对应的现实碎片点云数据作为匹配现实碎片点云数据，转向步骤6；
步骤6：分别求缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量αtest2和αreal2，缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量求取方法相同，缺失碎片点云数据Ptest2的表面曲率向量αtest2＝{αk}求取方法由以下具体步骤组成：
步骤6-1：逐一求缺失碎片点云数据Ptest2中每个坐标点xk，1≤k≤w的特征值λ0k，λ1k，λ2k，特征值λ0k，λ1k，λ2k为xk协方差矩阵Tk的特征值，xk协方差矩阵Tk的计算方法为：
Figure BDA0003851705990000211
Figure BDA0003851705990000212
其中，xs为缺失碎片点云数据Ptest2中坐标点xk给定半径范围内的坐标点，1≤s≤R，R为缺失碎片点云数据Ptest2中坐标点xk给定半径范围内的坐标点数目；
步骤6-2：求缺失碎片点云数据Ptest2中坐标点xk的表面曲率αk：
Figure BDA0003851705990000213
步骤6-3：缺失碎片点云数据Ptest2中各坐标点xk的表面曲率αk构建缺失碎片点云数据Ptest2的表面曲率向量αtest2；
步骤7：对缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量αtest2和αreal2进行相似性比对，计算杰卡德距离：
Figure BDA0003851705990000214
步骤8：判断杰卡德距离J(αtest2,αreal2)是否小于拼接阈值，如果是，将缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm进行拼接，否则，反馈无法拼接信息。
本实施例将公共数据集三维模型中下载的杯子，盘子，碗，瓶子等点云数据作为处理对象，将点云数据转换为便于后期模型处理的格式，即从后缀为pcd的文件格式转换为后缀为pts的文件格式，pts文件的每一行为一个三维坐标点，列数为点云数据的点的个数。在这一阶段处理的是完整无残缺的三维点云数据。
本实施例对点云数据进行迭代最远点采样以实现下采样，每次选择距离已经采样点集合的最远点，直到选取到固定点数结束，本发明设置的点数为2888。
经过这种方式下采样，三维物体的整体架构特征不改变，然后对点云数据进行以原点为中心的归一化处理。首先求质心，也就是求每个坐标轴上的平均值；然后去质心，即每个坐标点减去相对应坐标轴上的均值；之后计算点云中的点与坐标原点的最大距离；最后将去质心后的点云坐标点除以这个最大距离，进行缩放，本实施例得到数值范围在[-1,1]之间的坐标点。
所述多分辨率编码器网络流程是使点云数据经过1×3大小卷积核的卷积层，将由三维坐标表示的特征从1通道变为64通道，然后经过以通道注意力和空间注意力为顺序的混合注意力模块，通道注意力是关注哪个通道上的特征是足够有价值的，在每个通道上进行全局平均池化和最大池化操作，得到的两个特征图相加并且通过Sigmoid函数得到权重系数，在0到1之间，再与特征图对应位置相乘，得到最终输出的特征图，而空间注意力模块则关注在空间中哪部分的特征有价值，将特征图进行通道维度上的最大池化和平均池化再连接起来，经过一个卷积层把特征图降为1个通道，通过Sigmoid函数生成空间权重系数，与输入特征图相乘得到最终的特征图，至此不同意义的点云坐标通过两个注意力模块被赋予了不同的权重；再经过1×1大小卷积核的卷积层，通道数不变；经过1×1大小卷积核的卷积层，变为128通道；经过1×1大小卷积核的卷积层，变为256通道；经过1×1大小卷积核的卷积层，变为512通道；经过1×1大小卷积核的卷积层，变为1024通道。将最后四层特征拼接，作为点云的特征向量。
编码器是对点云数据进行特征提取，使用上述MLP网络将每个点编码为多个维度，64-128-256-512-1024，在第一层卷积层和最后一层卷积层后边加入上述通道和空间注意力模块，并将MLP的最后四层的输出作最大池化操作，即在每个通道上取特征的最大值构成多维特征向量fi,其中fi＝128,256,512,1024，其中i＝1,2,3,4。然后把得到的特征向量连接起来，形成向量F，维度为1920维，此时编码得到的点云特征既包含了高维度特征信息，也包含了低维度特征信息。
解码器的基线是全连接降维。解码器将编码器的最终特征向量作为输入，经过全连接降维，从1920维降到1024维，再从1024维降到512维，再从512维降为256维。然后通过reshape方法以及根据真实缺失区域反向传播的误差来重构成代表缺失区域形状的64×3矩阵，代表着64个点的点云架构，再以这64个点为中心点通过卷积以及reshape重构成128×3点云，最终生成缺失点个数×3点云，即为最终缺失区域形状。这样做的好处是既考虑了全局区域的特征，又保留了局部细节的补全。
步骤2-3：GAN鉴别器是一个分类器，通过对一个多层感知器的最后三层输出在每个通道上求最大值，并且连接起来得到特征向量，该特征向量为448维，特征向量通过全连接层以及Sigmoid函数得到最终的预测值，在0到1之间。
步骤3：具体的训练步骤如下：
设置参数，训练轮数设置为201轮，缺失点可以自己设定，训练过程中对完整三维物体通过以任意选取一个视点为中心，以一定的半径进行去除点操作，得到点数量为缺失点个数的残缺点云，并且使用最远点采样方式得到三种分辨率的残缺点云。即64，128，缺失点个数进行训练。损失由两部分组成来反向传播，分别是生成的残缺部分与真实值的倒角距离损失和鉴别器损失。
因为此网络的输入是三种分辨率的不完整点云，所以倒角距离损失为三项的加权和。
三种分辨率的残缺部分点云和残缺部分点云的真实值参与运算。
所述鉴别器网络是一个分类器。训练完成后得到参数文件，测试阶段直接传入该参数文件和碎片的点云，以输出模型生成的缺失部分的点云。
本发明采用点对点的ICP配准算法，主要思想是：通过ICP迭代修正两个原始点云的刚体变换，来最小化所有点集之间的距离。
对点集A中每一个点Pai加初始变换T0，得到Pai’,从点集B中寻找距离点Pai’最近的点Pbi，形成对应的点对，最后求解最优变换ΔT，公式表示为：
Figure BDA0003851705990000241
根据前后两次的迭代误差以及迭代次数等条件判断是否收敛。如果收敛，则输出最终结果T＝ΔT*T0,否则T0＝ΔT*T0，重复步骤。
最终结果根据重叠区域的度量指标以及所有内在对应关系的均方根误差来判断现实碎片是否是补全的残缺碎片部分，即是否能与原残缺碎片进行拼接。这里重叠程度度量阈值设置为0.9，均方根误差设置为0.1。
步骤5：求点云的表面曲率进行距离与阈值比较。
主要思想是通过求取被补全的陶瓷文物的残缺部分点云以及现实中其它碎片的表面曲率，设定阈值，根据欧氏距离的大小来判断两块碎片能否拼接。
对碎片的所有特征点求出表面曲率，组成特征向量，对每块碎片进行相似性比对，比较特征向量相似度的主要应用方法有欧氏距离，Jaccard距离，J皮尔逊相关系数，可综合使用，提升比较的准确性。这里的度量指标阈值都设置为0.95。
具体工程实现如下：根据步骤3的预训练模型将完整器型补全之后，允许用户继续输入大块碎片，考古人员等用户在输入入口输入几个较大碎片的点云文件，本发明首先判断是否是点云文件，如果是，则遍历输入的点云，分别提取这些点云的特征点，并且分别求出这些特征点的表面曲率，每个点云文件对应一个关于表面曲率的特征向量，提取整个器型补全的缺失点云部分的特征点，保证与考古人员输入碎片的特征点个数相同，求特征点的表面曲率，组成一个特征向量，遍历上述用户输入的每个点云对应的特征向量与该特征向量进行相似度度量，找出相似度最大的那块碎片，如果相似度超过给定的阈值，那么本发明规定两块碎片可以进行拼接，并将几号碎片与其拼接的信息反馈给用户，同时将碎片对应编号存入数据库中；相反，如果输入的判断不是点云文件则提示请输入正确的点云文件。
需要说明：目前，本发明的技术方案已经进行了小规模中试，并在小范围内开展了用户使用调研，调研结果表明用户满意度较高。现在已开始着手准备技术转化应用，同时进行了知识产权风险预警。

Claims (10)

1.一种基于点云补全的陶瓷文物智能复原网络，其特征在于：所述智能复原网络为生成式对抗网络，包括生成器、鉴别器、设置参数模块、优化参数模块、参数倒角距离损失模块和鉴别器损失模块；所述生成器网络模块包括编码器、解码器；编码器的输出端接解码器的输入端，解码器的输出端分别接鉴别器和倒角距离损失模块的输入端，优化参数模块的输入端分别接倒角距离损失模块和鉴别器损失模块的输出端，其输出端经优化参数模块接设置参数模块的输入端；设置参数模块的输出端分别接生成器和鉴别器的输入端；所述编码器为多分辨率编码器，所述解码器为金字塔解码器，所述多分辨率编码器包括通道注意力单元、空间注意力单元。
2.根据权利要求1所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：所述编码器包括第一至第四MLP网络、第一拼接网络；所述第一MLP网络、第二MLP网络、第三MLP网络结构相同；所述解码器包括第一全连接层、重构网络；所述鉴别器网络模块包括顺次连接的第五MLP网络、第二拼接网络、第二全连接层；所述第一拼接网络的相应输入端分别接第一至第三MLP网络的输出端，其输出端依次经所述第四MLP网络、第一全连接层连接所述重构网络，所述重构网络的输出端分别连接第五MLP网络和倒角距离损失模块的输入端。
3.根据权利要求2所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：所述第一MLP网络包括卷积网络cov1-cov2、通道注意力单元、空间注意力单元、卷积网络cov3-cov6、最大池化单元maxpool1-maxpool4、拼接模块cat1；所述第一拼接网络包括拼接模块cat2；所述第四MLP网络包括卷积网络cov1D；所述第一全连接层包括顺次连接的全连接层linear1-linear3；所述重构网络包括重构层reshape1、相加重构reshape2-reshape3；所述第五MLP网络包括顺次连接的卷积网络cov7-cov10、最大池化单元maxpool5-maxpool7；第二拼接网络包括拼接模块cat3；第二全连接层包括顺次连接的全连接子层linear4-linear7和sigmoid函数层；
所述卷积网络cov1-cov2、通道注意力单元、空间注意力单元、卷积网络cov3-cov6顺次连接，最大池化单元maxpool1-maxpool4的输入端分别接卷积网络cov3-cov6的相应输出端，其输出端接拼接模块cat1的相应输入端；拼接模块cat1的输出端作为第一MLP网络的输出端；拼接模块cat2的相应输入端分别接第一至第三MLP网络的输出端，其输出端依次经卷积网络cov1D接全连接层linear1的输入端；所述全连接层linear3的输出端连接所述重构层reshape1的输入端；所述相加重构reshape2的相应输入端分别连接所述重构层reshape1和全连接层linear2的输出端；所述相加重构层reshape3的相应输入端分别连接所述相加重构层reshape2和全连接层linear1的输出端，其输出端分别连接卷积网络cov7和倒角距离损失模块的输入端；最大池化单元maxpool5-maxpool7的输入端分别接卷积网络cov3-cov6的相应输出端，其输出端接拼接模块cat3的相应输入端；拼接模块cat3的输出端依次经全连接子层linear4-linear7接sigmoid函数层，sigmoid函数层的输出端作为鉴别器的输出端。
4.根据权利要求3所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：
所述卷积网络cov1的输入通道为1，输出通道为64；卷积网络cov2的输入通道为64，输出通道为64；通道注意力模块的输入通道为64，输出通道为64；空间注意力模块的输入通道为64，输出通道为64；卷积网络cov3的输入通道为64，输出通道为128；卷积网络cov4的输入通道为128，输出通道为256；卷积网络cov5的输入通道为256，输出通道为512；卷积网络cov6的输入通道为512，输出通道为1024；最大池化单元maxpool1输入通道为128，输出通道为128；最大池化单元maxpool2输入通道为256，输出通道为256；最大池化单元maxpool3输入通道为512，输出通道为512；maxpool4输入通道为1024，输出通道为1024；拼接模块cat1输出维度为1920的第一特征向量；拼接模块cat2的输出维度为5760的第二特征向量，卷积网络cov1D输入的特征维度为5760，输出的特征维度为1920；全连接子层linear1的输入通道为1920，输出通道为1024；全连接子层linear2输入通道为1024，输出通道为512；全连接子层linear3的输入通道为512，输出通道为256；重构层reshape1输出为长为64，宽为3的矩阵；相加重构层reshape2输出为长为128，宽为3的矩阵；相加重构层输出为长为预设残缺点数X，宽为3的矩阵；卷积网络cov7的输入通道为1，输出通道为64；卷积网络cov8的输入通道为64，输出通道为64；卷积网络cov9的输入通道为64，输出通道为128。
5.根据权利要求3所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：卷积网络cov10的输入通道为128，输出通道为256。
6.根据权利要求3所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：最大池化层maxpool5的输入通道为64，输出通道为64；最大池化层maxpool6的输入通道为128，输出通道为128；最大池化层maxpool7的输入通道为256，输出通道为256。
7.根据权利要求3所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：拼接模块cat3的三个输入通道分别为64，128，256，输出通道为448；全连接子层linear4的输入通道为448，输出通道为256。
8.根据权利要求3所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：全连接子层linear5的输入通道为256，输出通道为128；全连接子层linear6的输入通道为128，输出通道为16；全连接子层linear7的输入通道为16，输出通道为1。
9.根据权利要求3所述的基于点云补全的陶瓷文物智能复原网络，其特征在于：sigmoid函数层的输出为0到1之间的值。
10.一种用于权利要求1-9中任一基于点云补全的陶瓷文物智能复原网络的复原方法，其特征在于：包括以下步骤：
步骤1：点云数据预处理：由以下具体步骤组成：
步骤1-1：获取点云数据集P＝{P1，...，Pi，...，PN}，Pi＝{(Pi1x，Pi1y，Pi1z)，...，(Pimx，Pimy，Pimz)，...，(PiMx，PiMy，PiMz)}，N代表点云数据的个数，1≤i≤N，1≤m≤M，M表示第i个点云数据的坐标点个数；
步骤1-2：逐一对各点云数据进行下采样：
步骤1-2-1：建立空集Ai作为当前点云数据Pi的采样点集，从当前点云数据Pi中随机挑选一个坐标点移入采样点集Ai；
步骤1-2-2：当前点云数据Pi更新为Pi-Ai；
步骤1-2-3：逐一计算当前点云数据Pi中各坐标点和当前采样点集Ai中各坐标点的距离：
Figure FDA0003851705980000051
ailx，bily，cilz分别为采样点集Ai中第l个点所对应的x坐标、y坐标、z坐标，Pimx，Pimy，Pimz分别为当前点云数据Pi中的第m个点的x坐标、y坐标、z坐标；
步骤1-2-4：选取当前点云数据Pi中各坐标点和当前采样点集Ai中各坐标点的距离最大值对应的当前点云数据Pi中的坐标点加入当前采样点集Ai；
步骤1-2-5：判断当前采样点集Ai中的坐标点数目是否达到预设点数J，如果未达到，转向步骤1-2-2；否则，转向步骤1-3；
步骤1-3：逐一对当前采样点集Ai中的各坐标点进行归一化处理：
Figure FDA0003851705980000052
Figure FDA0003851705980000053
Figure FDA0003851705980000054
P′ijx＝Pijx-μ1
P′ijy＝Pijy-μ2
P′ijz＝Pijz-μ3
Figure FDA0003851705980000055
Figure FDA0003851705980000056
Figure FDA0003851705980000061
其中，1≤i≤N，Pijx，Pijy，Pijz分别当前采样点集Ai的第j个点的x坐标、y坐标、z坐标，P″ijx、P″ijy、P″ijz分别为当前采样点集Ai中第j个坐标点的归一化x坐标、归一化y坐标、归一化z坐标；
步骤1-4：根据设定的缺失点数X，逐一去除当前采样点集Ai中坐标点：
随机选取当前采样点集Ai中一个坐标点作为中心点，计算中心点与其余坐标点的距离并按照从小到大的顺序排序，去除前X个距离所对应的坐标点移入补全的当前真实值点集Pi2，得到当前残缺点集Pi1＝Ai-Pi2，1≤i≤N，各当前残缺点集Pi1组成残缺点云数据集，各当前真实值点集Pi2组成补全的真实值点云数据集；
步骤1-5：对当前残缺点集Pi1和当前真实值点集Pi2分别进行两次下采样，当前残缺点集Pi1和当前真实值点集Pi2中坐标点的数目分别降低为当前残缺点集Pi1和当前真实值点集Pi2中坐标点的数目的
Figure FDA0003851705980000062
和
Figure FDA0003851705980000063
得到第一至第二当前下采样残缺数据Pi11和Pi12、第一至第二当前下采样真实数据Pi21和Pi22；
步骤2：搭建所述智能复原网络；
步骤3：训练智能复原网络：
步骤3-1：初始化参数：设置当前训练轮次epoch为0，优化参数模块中的各参数数值设置为初始化参数；优化参数模块中的参数包括生成器中的权重ωG、学习率η、生成器中的偏置值bG、鉴别器中的权重ωD、鉴别器中的偏置值bD；
步骤3-2：网络参数配置：优化参数模块将通过设置参数模块为生成器、鉴别器、鉴别器损失模块、倒角距离损失模块配置参数；
步骤3-3：输出训练数据：逐一将当前残缺点集Pi1、第一至第二当前下采样残缺数据Pi11和Pi12，1≤i≤N，输入到生成器中，重构成当前缺失区域形状点云Pi31、当前缺失区域扩展点云Pi32和当前细节补全点云Pi3；
步骤3-4：计算倒角距离损失：
Lcom＝dCD1(Pi3，Pi2)+αdCD2(Pi31，Pi21)+2αdCD3(Pi32，Pi22)
Figure FDA0003851705980000071
Figure FDA0003851705980000072
Figure FDA0003851705980000073
步骤3-5：判断倒角距离损失Lcom值是否为0，如果是，转向步骤3-7，否则，转向步骤3-6；
步骤3-6：使用梯度下降法反向传播误差来更新参数：
Figure FDA0003851705980000074
Figure FDA0003851705980000075
步骤3-7：将当前细节补全点云Pi3输入鉴别器，鉴别器输出取值为0-1之间的预测值G′i；
步骤3-8：计算鉴别器损失：
Figure FDA0003851705980000081
其中N是鉴别器输出数据的数目；
步骤3-9：判断鉴别器损失Ladv值是否为0，如果是，转向步骤3-11，否则，转向步骤3-10；
步骤3-10：使用梯度下降法反向传播误差来更新参数：
Figure FDA0003851705980000082
Figure FDA0003851705980000083
步骤3-11：计算计算总体损失：
L＝λcomLcom+λadvLadv
λcom+λadv＝1
步骤3-12：判断总体损失L是否为0，如果是，转向步骤3-14，否则，转向步骤3-13；
步骤3-13：使用梯度下降法反向传播误差来更新参数：
Figure FDA0003851705980000084
Figure FDA0003851705980000085
步骤3-14：判断训练轮数是否达到预设轮数，如果是，则转向步骤4；否则，转向步骤3-15；
步骤3-15：当前训练轮次epoch＝epoch+1，转向步骤3-2；
步骤4：将残缺点云数据Ptest1输入编码器，生成相应的缺失碎片点云数据Ptest2，缺失碎片点云数据Ptest2中的坐标点的个数为w；设置当前匹配次数为1；
步骤5：将缺失碎片点云数据Ptest2与碎片数据集Preal中的现实碎片点云数据Prealc逐一进行最近点点对点迭代配准，选取相适配的现实碎片点云数据作为匹配现实碎片点云数据，Prealc∈Preal，1≤c≤C，C为碎片数据集Preal中的现实碎片点云数据数目，由以下具体步骤组成：
步骤5-1：将现实碎片点云数据Prealc下采样至由w个坐标点组成的下采样现实碎片点云数据P′realc，按照∑|pci-qci|值最小原则确定下采样现实碎片点云数据P′realc各坐标点pci在缺失碎片点云数据Ptest2的对应坐标点集q＝{q1，...，qci，...，qw}，1≤ci≤w；
步骤5-2：利用最小二乘法计算由缺失碎片点云数据Ptest2对应坐标点集q变换到现实碎片点云数据P′realc中各点pci的旋转矩阵R和平移矩阵t，使得误差函数最小，误差函数E(R，t)如下：
Figure FDA0003851705980000091
步骤5-3：使用所述旋转矩阵R和平移矩阵t对缺失碎片点云数据Ptest2的对应坐标点集q进行旋转和平移变换，得到缺失碎片点云数据Ptest2对应变换坐标点集q′＝{q′1，...，q′ci，...，q′w}；
步骤5-4：计算缺失碎片点云数据Ptest2对应变换坐标点集q′中坐标点q′ci与下采样现实碎片点云数据P′realc中对应坐标点集pci的平均距离：
Figure FDA0003851705980000092
步骤5-5：判断平均距离d是否小于预设阈值或者大于预设迭代次数，如果是，转向步骤5-7，否则，转向步骤5-6；
步骤5-6：用缺失碎片点云数据Ptest2对应变换坐标点集q′更新下采样现实碎片点云数据P′realc各坐标点pci在缺失碎片点云数据Ptest2的对应坐标点集q，转向步骤5-2；
步骤5-7：计算倒角距离：
Figure FDA0003851705980000101
如果倒角距离dCD(p′，q)小于倒角阈值，当前现实碎片点云数据作为匹配现实碎片点云数据，则转向步骤6；否则，转向步骤5-8；
步骤5-8：判断当前匹配次数是否等于现实碎片点云数据数目，如果是，转向步骤5-10；否则，转向步骤5-9；
步骤5-9：当前匹配次数加1；换用下一个现实碎片点云数据，转向步骤5-1；
步骤5-10：选取最小的倒角距离对应的现实碎片点云数据作为匹配现实碎片点云数据，转向步骤6；
步骤6：分别求缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量αtest2和αreal2，缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量求取方法相同，缺失碎片点云数据Ptest2的表面曲率向量αtest2＝{αk}求取方法由以下具体步骤组成：
步骤6-1：逐一求缺失碎片点云数据Ptest2中每个坐标点xk，1≤k≤w的特征值λ0k，λ1k，λ2k，特征值λ0k，λ1k，λ2k为xk协方差矩阵Tk的特征值，xk协方差矩阵Tk的计算方法为：
Figure FDA0003851705980000111
Figure FDA0003851705980000112
其中，xs为缺失碎片点云数据Ptest2中坐标点xk给定半径范围内的坐标点，1≤s≤R，R为缺失碎片点云数据Ptest2中坐标点xk给定半径范围内的坐标点数目；
步骤6-2：求缺失碎片点云数据Ptest2中坐标点xk的表面曲率αk：
Figure FDA0003851705980000113
步骤6-3：缺失碎片点云数据Ptest2中各坐标点xk的表面曲率αk构建缺失碎片点云数据Ptest2的表面曲率向量αtest2；
步骤7：对缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm的表面曲率向量αtest2和αreal2进行相似性比对，计算杰卡德距离：
Figure FDA0003851705980000114
步骤8：判断杰卡德距离J(αtest2，αreal2)是否小于拼接阈值，如果是，将缺失碎片点云数据Ptest2与匹配现实碎片点云数据Prealm进行拼接，否则，反馈无法拼接信息。
CN202211136634.0A 2022-09-19 2022-09-19 一种基于点云补全的陶瓷文物智能复原网络及复原方法 Pending CN115546050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211136634.0A CN115546050A (zh) 2022-09-19 2022-09-19 一种基于点云补全的陶瓷文物智能复原网络及复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211136634.0A CN115546050A (zh) 2022-09-19 2022-09-19 一种基于点云补全的陶瓷文物智能复原网络及复原方法

Publications (1)

Publication Number Publication Date
CN115546050A true CN115546050A (zh) 2022-12-30

Family

ID=84727539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211136634.0A Pending CN115546050A (zh) 2022-09-19 2022-09-19 一种基于点云补全的陶瓷文物智能复原网络及复原方法

Country Status (1)

Country Link
CN (1) CN115546050A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670689A (zh) * 2024-01-31 2024-03-08 四川辰宇微视科技有限公司 一种通过ai算法控制提高紫外像增强器图像质量的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670689A (zh) * 2024-01-31 2024-03-08 四川辰宇微视科技有限公司 一种通过ai算法控制提高紫外像增强器图像质量的方法

Similar Documents

Publication Publication Date Title
CN108510532B (zh) 基于深度卷积gan的光学和sar图像配准方法
CN113205466B (zh) 一种基于隐空间拓扑结构约束的残缺点云补全方法
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN111161364B (zh) 一种针对单视角深度图的实时形状补全和姿态估计方法
WO2024060395A1 (zh) 一种基于深度学习的高精度点云补全方法及装置
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
CN113077501B (zh) 一种基于特征学习的端到端点云配准方法
CN113239897B (zh) 基于时空特征组合回归的人体动作评价方法
CN111204476A (zh) 一种基于强化学习的视触融合精细操作方法
CN113536925A (zh) 一种基于引导注意力机制的人群计数方法
CN109785409B (zh) 一种基于注意力机制的图像-文本数据融合方法和系统
Mayer et al. FFHNet: Generating multi-fingered robotic grasps for unknown objects in real-time
CN113516133A (zh) 一种多模态图像分类方法及系统
CN111612046B (zh) 特征金字塔图卷积神经网络及其在3d点云分类中的应用
CN115546050A (zh) 一种基于点云补全的陶瓷文物智能复原网络及复原方法
CN110986949B (zh) 一种基于人工智能平台下的路径识别方法
CN116704596A (zh) 一种基于骨骼序列的人体行为识别方法
CN116844004A (zh) 一种面向数字孪生场景的点云自动语义化建模方法
CN114782503A (zh) 一种基于多尺度特征相似度约束的点云配准方法及系统
CN118298906A (zh) 蛋白质和小分子对接方法、装置、电子设备和存储介质
CN117689702A (zh) 一种基于几何注意力机制的点云配准方法和装置
CN117671666A (zh) 一种基于自适应图卷积神经网络的目标识别方法
CN116894940A (zh) 一种基于特征融合与注意机制的点云语义分割方法
CN112396089B (zh) 基于lfgc网络和压缩激励模块的图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination