CN114998103A - 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法 - Google Patents

一种基于孪生网络的点云文物碎片的三维虚拟拼接方法 Download PDF

Info

Publication number
CN114998103A
CN114998103A CN202210593034.0A CN202210593034A CN114998103A CN 114998103 A CN114998103 A CN 114998103A CN 202210593034 A CN202210593034 A CN 202210593034A CN 114998103 A CN114998103 A CN 114998103A
Authority
CN
China
Prior art keywords
point
point cloud
fragment
points
fragments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210593034.0A
Other languages
English (en)
Inventor
罗哉
洪诚康
杨力
江文松
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202210593034.0A priority Critical patent/CN114998103A/zh
Publication of CN114998103A publication Critical patent/CN114998103A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于孪生网络的点云文物碎片的三维虚拟拼接方法。解决现有技术中采用人工拼接，存在工作量大、耗时长，容易对文物造成二次伤害的问题。方法包括扫描获取碎片点云数据，输入孪生网络输出相似度高的碎片对，对碎片点云中每个点根据其法向量对点云的外表面进行分割，从分割的面中筛选出断裂面，计算断裂面的几何特征，进行特征匹配，获得两个碎片的拼接可视化结果，根据获取的多个拼接可视化结果，转化得到完整的文物可视化模型。本发明基于断裂面特征，对点云进行虚拟拼接，分割点云表面，并根据断裂面处的几何特征进行匹配，完成点云的配对，相比现有人工拼接，减少了人力物力财力的消耗。

Description

一种基于孪生网络的点云文物碎片的三维虚拟拼接方法
技术领域
本发明涉及三维数字化文物修复领域，尤其是涉及一种基于孪生网络的点云文物碎片的三维虚拟拼接方法。
背景技术
随着三维激光扫描、虚拟拼接和人工智能等技术的发展，这些技术逐渐被应用到文物碎片修复工作当中。相对于传统的人工拼接，数字化的拼接有以下的优点：可以提高文物拼接的效率，得益于计算机强大的算力，使用计算机进行文物数字化虚拟拼接，缩短了匹配拼接的时间；减少拼接过程中对文物的“二次伤害”，可以避免实际拼接过程中的碎片接触；减少了拼接中消耗的人力物力财力。
在大量出土的文物碎片中，存在种类不一、数量庞大和表面腐蚀等问题，要完成文物碎片拼接需要从碎片分类和碎片拼接两个方面入手。现有的碎片分类的方法主要从颜色、纹理以及提取碎片外表面轮廓等特征进行分类，但是由于风化腐蚀等问题会导致碎片颜色脱落，纹理浅化，因此可从碎片的三维模型总体进行分类。随着PointNet系列的提出，卷积网络可作用于无序点云，将三维的点云扩展为多维的空间特征信息，因此提出用孪生网络的方法，计算两个碎片点云的相似度，将匹配相似度高的碎片作为可拼接的碎片对，以此解决碎片分类的问题。
发明内容
本发明主要是解决现有技术中采用人工拼接，存在工作量大、耗时长，容易对文物造成二次伤害的问题，提供了一种基于孪生网络的点云文物碎片的三维虚拟拼接方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，包括以下步骤：
S1.扫描获取碎片点云数据，对点云数据进行预处理；
S2.预先训练好相似点判断孪生网络，将预处理后碎片点云数据以成对形式输入孪生网络，获取高相似度的两个碎片；通过孪生网络输出不同碎片点云之间的相似度值，根据阈值筛选出相似度高的碎片点云对视为相邻的两个碎片。
S3.对于匹配的两个碎片，对碎片点云中每个点根据其法向量对点云的外表面进行分割，从分割的面中筛选出断裂面，计算断裂面的几何特征，进行特征匹配，获得两个碎片的拼接可视化结果；
S4.根据获取的多个拼接可视化结果，转化得到完整的文物可视化模型。
本发明基于断裂面特征，对点云进行虚拟拼接，分割点云表面，并根据断裂面处的几何特征进行匹配，完成点云的配对，相比现有人工拼接，减少了人力物力财力的消耗。匹配过程采用先特征匹配后ICP方法，相比较其他数字化拼接方法能够更加精确得到拼接后的可视化效果。
作为一种优选方案，述点云数据进行预处理包括，
S11.多视角点云合并，将两个视角下扫描获取的碎片点云进行配准，形成完整的碎片点云模型；一般通过两个视角对碎片上下表面进行扫描，根据扫描的视角分别将对应的碎片点云合并形成完整的碎片点云模型。
S12.点云去噪，删除碎片点云模型外孤点，保留全部碎片点云保存为第一碎片点云文件；对每个碎片点云都进行去噪，保留全部的碎片点云保存为第一碎片点云文件。
S13.均匀降采样，对第一碎片点云文件进行均匀降采样，保存为第二碎片点云文件。均匀降采样，使得每个碎片点云为设定个点，如均匀降采样后每个碎片点云为2048个点，将均匀降采样后的碎片点云保存为第二碎片点云文件，都以pcd格式进行保存。由于用三维扫描器获得的点云密集，保留了完整的碎片信息，更加便于后续几何拼接，但利用孪生网络进行训练，点数过大会导致网络训练时间过长，因此需要进行降采样处理。
作为一种优选方案，先训练孪生网络的过程包括：
S21.利用3D软件形成多种不同形状的瓷器模型，且分别复制多个相同的模型；本方案优选采用3ds Max软件来形成瓷器模型。
S22.对瓷器模型进行虚拟破碎，随机生成碎片，并在碎片断裂面处加入噪声；采用RayFire插件对瓷器进行虚拟破碎，在断裂面加入噪声，用以模拟碎片腐蚀的效果。
S23.将碎片点云模型以三维形式进行保存；优选以三角面片的三维形式进行保存，用obj文件格式导出。
S24.对每个碎片点云均匀降采样为设定点数；用CloudCompre软件打开导出文件，每个碎片点云均匀降采样为2048个点，用pcd文件格式保存。
S25.将两两碎片点云组成为一个训练样本，对两碎片点云根据是否相邻进行标记；对于同一瓷器且相邻的两个碎片点云设置为positive，对不同模型以及不相邻的碎片点云设置为negative。
S26.搭建基于PointNet的孪生网络，将训练样本输入孪生网络进行训练，训练完成后保存训练好的孪生网络模型。训练好的孪生网络用于输入两个不同碎片点云对，输出这对碎片点云的相似度，相似度越高表示这对碎片点云相邻可能性越大。
判断碎片点云相似度的孪生网络以PointNet网络为基础，双通道输入碎片点云N*3，其中N表示2048个点，3表示XYZ坐标；
将PointNet网络作为孪生网络的主干网络，先通过最远点采样算法对点云进行降采样，然后经过多次特征提取层的卷积操作，提取采样点的特征，输出256*512的张量，表示256个点，每个点包含512维向量；
对两个不同碎片点云的输出张量，相减取绝对值，输出认为256*512；
采用三层卷积操作对碎片点云对的特征进行分析，输出128*256的张量，通过3次全连接层，每层的节点分别设置为[2048，1024，1]，输出一个数值为0-1之间的相似度预测值。
作为一种优选方案，所述的对碎片点云中每个点根据其法向量对点云的外表面进行分割的过程包括：
S301.根据匹配的两个碎片获取原始碎片点云，采用PCA对碎片点云中所有点进行平面拟合，计算平面的法线作为该点的法向量；PCA为主成分分析法，PCA中最小特征值对应的特征方向，就是该点的法线方向。
S302.将获取的原始碎片点云和法向量作为输入，根据区域生长分割法对点云的外表面进行分割，获得分割后碎片点云的多个面。
作为一种优选方案，在计算获取碎片点云各点法向量后，对法向量进行中值滤波，过程包括：
建立碎片点云之间的拓扑关系，检索每个点周围最近的若干邻点的法向量信息，将邻点的曲率值按大小进行排序，取中间值作为当前点的曲率值，且将邻点法向量的XYZ分量分别按大小进行排序，取中间值作为当前点的法向量。本方案中根据kd-tree的数据结构来构建点云之间的拓扑关系。对点云法线进行中值滤波，由于区域生长分割算法需要输入点云的法线，不同半径尺度下估算点云法线方向存在差异，且点云法线方向影响着区域生长分割的结果好坏。在碎片断裂面和非断裂面的交界处，由于形状的突变会导致分界处出现旋转表面法线，从而导致断裂面边缘点的缺失。对法线方向进行中值滤波，可以避免因为法线方向突变而导致的面缺失和过分割的问题。中值滤波后碎片点云的法线更加平滑，在后续区域生长分割中能更好保留断裂面的边缘信息。
作为一种优选方案，所述的从分割的面中筛选出断裂面包括：
将分割后的多个面根据点云数量进行排序，剔除两个点的个数最多的面，剩下的面为碎片的断裂面。由于碎片断裂面的面积较碎片内外表面面积更小，断裂面点云的点个数较少，因此存在点较多的两个面为上下表面，去掉两个表面后剩下的为断裂面。
作为一种优选方案，所述的计算断裂面的几何特征，进行特征匹配，获得两个碎片的拼接可视化结果包括：
S311.计算断裂面的角点；采用3D Harris检测算法来计算断裂面的角点。
S312.用球领域查找角点的附近点，获得角点附近点集；球领域球半径设为4倍的原始碎片点云即第一碎片点云文件的点云平均间距。聚合这些点保存在角点附近点集中。断裂面存在多个角点，则根据多个角点获取的所有附近点都保存在角点附近点集中。
S313.根据角点附近点集计算各断裂面特征描述子，通过两个断裂面特征描述子的特征匹配进行相互对应估计，计算两个断裂面配准的R，T矩阵，采用随机采样一致性方法剔除错误的对应关系。本方案中采用PFH算法即特征直方图算法来计算断裂面特征描述子，该计算方法为现有技术。
S314.将计算得到的R，T矩阵作为初始旋转平移矩阵，用迭代最近点法(ICP)对不同断裂面角点附近点集进行点云匹配，获得准确的旋转平移矩阵，根据准确的旋转平移矩阵对两个碎片进行拼接，获得两个碎片的拼接可视化结果。根据准确的旋转平移矩阵对两个碎片任一个进行旋转平移，将两个碎片拼合得到拼接可视化结果。
作为一种优选方案，所述计算断裂面的角点过程包括：
S3111.以断裂面点云中选取点p作为原点建立一个局部坐标系，Z轴为p点法线方向，X，Y轴方向和Z轴垂直；
S3112.在p点上建立一个边长为d的正方体检测窗口，d为10倍第一碎片点云文件的点云平均间距，将正方体检测窗口在断裂面点云曲面上移动，判断正方体检测窗口内点云个数，若点云个数大于设定阈值，则将正方体检测窗口所在p点作为该断裂面点云的角点。
作为一种优选方案，所述的通过两个断裂面特征描述子的特征匹配进行相互对应估计过程包括：
根据第一个断裂面点集中的点到第二个断裂面点集中搜索对应点，然后根据第二个断裂面点集中的点到第一个断裂面点集中搜索对应点，取对应点交集作为最终对应点，随机选取其中N个点为最佳匹配点。根据最佳匹配点来计算两个断裂面点集的旋转平移R，T矩阵。
作为一种优选方案，所述步骤S4具体包括：
获取多个碎片点云之间的R，T矩阵，经过齐次矩阵相乘，转化得到完整的物体可视化模型。
因此，本发明的优点是：
1.基于断裂面特征，对点云进行虚拟拼接，分割点云表面，并根据断裂面处的几何特征进行匹配，完成点云的配对，相比现有人工拼接，减少了人力物力财力的消耗。匹配过程采用先特征匹配后ICP方法，相比较其他数字化拼接方法能够更加精确得到拼接后的可视化效果。
2.剔除孪生网络的方法，通过孪生网络输出不同碎片点云之间的相似度值，根据阈值筛选出相似度高的碎片点云对视为相邻的可拼接两个碎片，解决了碎片分类的问题。
附图说明
图1是本发明的一种流程示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，如图1所示，包括以下步骤：
S1.扫描获取碎片点云数据，对点云数据进行预处理；
采用scanworks perceptron v5 3D扫描仪对文物碎片进行扫描，扫描方式为分别对文物碎片两面进行扫描，获得碎片点云模型的bin格式。通过Geomagic Studio软件对三维数据进行预处理，过程包括：
S11.多视角点云合并，将两个视角下扫描获取的碎片点云进行配准，形成完整的碎片点云模型；上述通过两个视角对碎片上下表面进行扫描，根据扫描的视角分别将对应的碎片点云合并形成完整的碎片点云模型。
S12.点云去噪，删除每个碎片点云模型外孤点，保留全部碎片点云保存为第一碎片点云文件，以pcd格式进行保存；
S13.均匀降采样，对第一碎片点云文件进行均匀降采样，均匀降采样后每个碎片点云为2048个点，保存为第二碎片点云文件，以pcd格式进行保存。
S2.预先训练好相似点判断孪生网络，将预处理后碎片点云数据以成对形式输入孪生网络，获取高相似度的两个碎片；
其中预先训练孪生网络的过程包括：
S21.利用3ds Max软件形成5种不同形状的瓷器模型，且分别复制多个相同的模型；
S22.采用RayFire插件对瓷器模型进行虚拟破碎，每次打碎都是随机生成碎片，并在碎片断裂面处加入噪声，模拟碎片腐蚀的效果。
S23.将破碎后的碎片点云模型以以三角面片的三维形式进行保存，用obj文件格式导出。
S24.用CloudCompre软件打开导出文件，对每个碎片点云均匀降采样为2048个点，用pcd文件格式保存。
S25.将两两碎片点云组成为一个训练样本，对两碎片点云根据是否相邻进行标记；其中对于同一瓷器且相邻的两个碎片点云设置为positive，对不同模型以及不相邻的碎片点云设置为negative。
S26.搭建基于PointNet的孪生网络，将训练样本输入孪生网络进行训练，训练完成后保存训练好的孪生网络模型。训练好的孪生网络用于输入两个不同碎片点云对，输出这对碎片点云的相似度，相似度越高表示这对碎片点云相邻可能性越大。
判断碎片点云相似度的孪生网络以PointNet网络为基础，双通道输入碎片点云N*3，其中N表示2048个点，3表示XYZ坐标；
将PointNet网络作为孪生网络的主干网络，先通过最远点采样算法对点云进行降采样，然后经过多次特征提取层的卷积操作，提取采样点的特征，输出256*512的张量，表示256个点，每个点包含512维向量；
对两个不同碎片点云的输出张量，相减取绝对值，输出认为256*512；
采用三层卷积操作对碎片点云对的特征进行分析，输出128*256的张量，通过3次全连接层，每层的节点分别设置为[2048，1024，1]，输出一个数值为0-1之间的相似度预测值。
S3.对于匹配的两个碎片，对碎片点云中每个点根据其法向量对点云的外表面进行分割，从分割的面中筛选出断裂面，计算断裂面的几何特征，进行特征匹配，获得两个碎片的拼接可视化结果；具体包括：
S31.根据匹配的两个碎片获取原始碎片点云，采用PCA(主成分分析法)对碎片点云中所有点进行平面拟合，计算平面的法线作为该点的法向量；PCA中最小特征值对应的特征方向就是该点的法线方向。
在计算获取碎片点云各点法向量后，对法向量进行中值滤波，由于区域生长分割算法需要输入点云的法线，不同半径尺度下估算点云法线方向存在差异，且点云法线方向影响着区域生长分割的结果好坏。在碎片断裂面和非断裂面的交界处，由于形状的突变会导致分界处出现旋转表面法线，从而导致断裂面边缘点的缺失。对法线方向进行中值滤波，可以避免因为法线方向突变而导致的面缺失和过分割的问题。中值滤波后碎片点云的法线更加平滑，在后续区域生长分割中能更好保留断裂面的边缘信息。中值滤波过程为：
以kd-tree的数据结构建立碎片点云之间的拓扑关系，检索每个点周围最近的K个邻点的法向量信息，表示为PiK＝{pi1，pi2，pi3，…，piK}。将邻点的曲率值按大小进行排序，取中间值作为当前点的曲率值，同理，将邻点法向量的XYZ分量分别按大小进行排序，取中间值作为当前点的法向量。
S32.将获取的原始碎片点云和处理后的法向量作为输入，根据区域生长分割法对点云的外表面进行分割，获得分割后碎片点云的多个面。具体过程包括：
S321.输入碎片点云和法向量，查找出曲率最小的点Pseed为种子点，将该点添加到种子点集；
S322.利用kd-tree搜索该种子点周边的Kl个最近邻点，本实施例中以40个为例，表示为
Figure BDA0003666341890000101
计算邻点与种子点法线之间的角度差，如果邻点的法线与种子点的法线角度差小于设定阈值，本实施例阈值设定为40°，则视该邻点与种子点为同一聚类的点，若大于设定阈值，则不设为同一聚类；
S323.若邻点被视为同一聚类的点，则搜索该邻点周围Kl个最近邻点，其中已经经过聚类判定的点不在重复计算，判断邻点与种子点之间法线的角度差，直到没有邻点小于设定阈值，则该种子点的聚类完成；
若邻点不是同一聚类点，则不再继续搜索该点周围最近邻点；
S324.一次聚类分割完成后，在余下的点中继续查找曲率最小的点，并把该点加入到种子点集中，重复步骤S322、步骤S323；
S325.当剩下的点数小于设定的可聚类的最小点数，聚类结束；每一个聚类的点云为分割后的一个表面。
S33.从分割的面中筛选出断裂面，包括：
将分割后的多个面根据点云数量进行排序，剔除两个点的个数最多的面，剩下的面为碎片的断裂面。由于碎片断裂面的面积较碎片内外表面面积更小，断裂面点云的点个数较少，因此存在点较多的两个面为上下表面，去掉两个表面后剩下的为断裂面。
S34.采用3D Harris检测算法计算断裂面的角点；具体过程包括：
S341.以断裂面点云中选取点p作为原点建立一个局部坐标系，Z轴为p点法线方向，X，Y轴方向和Z轴垂直；
S342.在p点上建立一个边长为d的正方体检测窗口，d为10倍第一碎片点云文件的点云平均间距，将正方体检测窗口在断裂面点云曲面上移动，判断正方体检测窗口内点云个数，若点云个数大于设定阈值，则将正方体检测窗口所在p点作为该断裂面点云的角点。
S35.用球领域查找角点的附近点，获得的附近点保存在角点附近点集；球领域球半径设为4倍的原始碎片点云即第一碎片点云文件的点云平均间距。若断裂面存在多个角点，则根据多个角点获取的所有附近点都保存在角点附近点集中。
S36.根据角点附近点集计算各断裂面特征描述子，通过两个断裂面特征描述子的特征匹配进行相互对应估计，过程包括：
根据第一个断裂面点集中的点到第二个断裂面点集中搜索对应点，然后根据第二个断裂面点集中的点到第一个断裂面点集中搜索对应点，取对应点交集作为最终对应点，随机选取其中N个点为最佳匹配点。
根据最佳匹配点来计算两个断裂面配准的R，T矩阵，采用随机采样一致性方法(RANSAC)剔除错误的对应关系。
S37.将计算得到的R，T矩阵作为初始旋转平移矩阵，用迭代最近点法(ICP)对不同断裂面角点附近点集进行点云匹配，获得准确的旋转平移矩阵，根据准确的旋转平移矩阵对两个碎片进行拼接，获得两个碎片的拼接可视化结果。
S4.根据获取的多个拼接可视化结果，转化得到完整的文物可视化模型。具体包括：
获取多个碎片点云之间的R，T矩阵，经过齐次矩阵相乘，转化得到完整的物体可视化模型。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征在于：包括以下步骤：
S1.扫描获取碎片点云数据，对点云数据进行预处理；
S2.预先训练好相似点判断孪生网络，将预处理后碎片点云数据以成对形式输入孪生网络，获取高相似度的两个碎片；
S3.对于匹配的两个碎片，对碎片点云中每个点根据其法向量对点云的外表面进行分割，从分割的面中筛选出断裂面，计算断裂面的几何特征，进行特征匹配，获得两个碎片的拼接可视化结果；
S4.根据获取的多个拼接可视化结果，转化得到完整的文物可视化模型。
2.根据权利要求1所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是所述点云数据进行预处理包括，
S11.多视角点云合并，将两个视角下扫描获取的碎片点云进行配准，形成完整的碎片点云模型；
S12.点云去噪，删除碎片点云模型外孤点，保留全部碎片点云保存为第一碎片点云文件；
S13.均匀降采样，对第一碎片点云文件进行均匀降采样，保存为第二碎片点云文件。
3.根据权利要求1或2所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是预先训练孪生网络的过程包括：
S21.利用3D软件形成多种不同形状的瓷器模型，且分别复制多个相同的模型；
S22.对瓷器模型进行虚拟破碎，随机生成碎片，并在碎片断裂面处加入噪声；
S23.将碎片点云模型以三维形式进行保存；
S24.对每个碎片点云均匀降采样为设定点数；
S25.将两两碎片点云组成为一个训练样本，对两碎片点云根据是否相邻进行标记；
S26.搭建基于PointNet的孪生网络，将训练样本输入孪生网络进行训练，训练完成后保存训练好的孪生网络模型。
4.根据权利要求2所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是所述的对碎片点云中每个点根据其法向量对点云的外表面进行分割的过程包括：
S301.根据匹配的两个碎片获取原始碎片点云，采用PCA对碎片点云中所有点进行平面拟合，计算平面的法线作为该点的法向量；
S302.将获取的原始碎片点云和法向量作为输入，根据区域生长分割法对点云的外表面进行分割，获得分割后碎片点云的多个面。
5.根据权利要求4所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是在计算获取碎片点云各点法向量后，对法向量进行中值滤波，过程包括：
建立碎片点云之间的拓扑关系，检索每个点周围最近的若干邻点的法向量信息，将邻点的曲率值按大小进行排序，取中间值作为当前点的曲率值，且将邻点法向量的XYZ分量分别按大小进行排序，取中间值作为当前点的法向量。
6.根据权利要求4所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是所述的从分割的面中筛选出断裂面包括：
将分割后的多个面根据点云数量进行排序，剔除两个点的个数最多的面，剩下的面为碎片的断裂面。
7.根据权利要求6所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是所述的计算断裂面的几何特征，进行特征匹配，获得两个碎片的拼接可视化结果包括：
S311.计算断裂面的角点；
S312.用球领域查找角点的附近点，获得角点附近点集；
S313.根据角点附近点集计算各断裂面特征描述子，通过两个断裂面特征描述子的特征匹配进行相互对应估计，计算两个断裂面配准的R，T矩阵，采用随机采样一致性方法剔除错误的对应关系；
S314.将计算得到的R，T矩阵作为初始旋转平移矩阵，用迭代最近点法对不同断裂面角点附近点集进行点云匹配，获得准确的旋转平移矩阵，根据准确的旋转平移矩阵对两个碎片进行拼接，获得两个碎片的拼接可视化结果。
8.根据权利要求7所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是所述计算断裂面的角点过程包括：
S3111.以断裂面点云中选取点p作为原点建立一个局部坐标系，Z轴为p点法线方向，X，Y轴方向和Z轴垂直；
S3112.在p点上建立一个边长为d的正方体检测窗口，d为10倍第一碎片点云文件的点云平均间距，将正方体检测窗口在断裂面点云曲面上移动，判断正方体检测窗口内点云个数，若点云个数大于设定阈值，则将正方体检测窗口所在p点作为该断裂面点云的角点。
9.根据权利要求7所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是所述的通过两个断裂面特征描述子的特征匹配进行相互对应估计过程包括：
根据第一个断裂面点集中的点到第二个断裂面点集中搜索对应点，然后根据第二个断裂面点集中的点到第一个断裂面点集中搜索对应点，取对应点交集作为最终对应点，随机选取其中N个点为最佳匹配点。
10.根据权利要求7所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法，其特征是所述步骤S4具体包括：
获取多个碎片点云之间的R，T矩阵，经过齐次矩阵相乘，转化得到完整的物体可视化模型。
CN202210593034.0A 2022-05-27 2022-05-27 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法 Pending CN114998103A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210593034.0A CN114998103A (zh) 2022-05-27 2022-05-27 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210593034.0A CN114998103A (zh) 2022-05-27 2022-05-27 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法

Publications (1)

Publication Number Publication Date
CN114998103A true CN114998103A (zh) 2022-09-02

Family

ID=83028983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210593034.0A Pending CN114998103A (zh) 2022-05-27 2022-05-27 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法

Country Status (1)

Country Link
CN (1) CN114998103A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188719A (zh) * 2023-04-27 2023-05-30 中地云智慧科技有限公司 一种实景三维数据的碎片去除方法
CN117495674A (zh) * 2023-10-31 2024-02-02 北京建筑大学 一种文物碎片的点云拼接方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188719A (zh) * 2023-04-27 2023-05-30 中地云智慧科技有限公司 一种实景三维数据的碎片去除方法
CN116188719B (zh) * 2023-04-27 2023-11-17 中地云智慧科技有限公司 一种实景三维数据的碎片去除方法
CN117495674A (zh) * 2023-10-31 2024-02-02 北京建筑大学 一种文物碎片的点云拼接方法

Similar Documents

Publication Publication Date Title
Xu et al. Voxel-based representation of 3D point clouds: Methods, applications, and its potential use in the construction industry
US11830246B2 (en) Systems and methods for extracting and vectorizing features of satellite imagery
CN108830326B (zh) 一种mri图像的自动分割方法及装置
Sun et al. Aerial 3D building detection and modeling from airborne LiDAR point clouds
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN114998103A (zh) 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN110598030B (zh) 一种基于局部cnn框架的甲骨拓片分类方法
Zhang et al. A statistical approach for extraction of feature lines from point clouds
CN112365503A (zh) 基于点云数据的变电站场景分割方法
WO2024021413A1 (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
CN110349159B (zh) 基于权重能量自适应分布的三维形状分割方法及系统
Tabib et al. Learning-based hole detection in 3D point cloud towards hole filling
CN114492619A (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
CN112926556A (zh) 一种基于语义分割的航拍输电线路散断股识别方法及系统
Luo et al. Supervoxel-based region growing segmentation for point cloud data
Zhang et al. Splitting and merging based multi-model fitting for point cloud segmentation
US20210150078A1 (en) Reconstructing an object
Srivastava et al. Drought stress classification using 3D plant models
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
Chiang et al. Voxel-based shape decomposition for feature-preserving 3D thumbnail creation
Geng et al. A thin-plate CAD mesh model splitting approach based on fitting primitives
Yu et al. Supervoxel-based graph clustering for accurate object segmentation of indoor point clouds
Zhang et al. Multi-Data UAV Images for Large Scale Reconstruction of Buildings
Fayolle et al. User-assisted reverse modeling with evolutionary algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination