CN113191387A - 结合无监督学习与数据自增强的文物碎片点云分类方法 - Google Patents
结合无监督学习与数据自增强的文物碎片点云分类方法 Download PDFInfo
- Publication number
- CN113191387A CN113191387A CN202110329225.1A CN202110329225A CN113191387A CN 113191387 A CN113191387 A CN 113191387A CN 202110329225 A CN202110329225 A CN 202110329225A CN 113191387 A CN113191387 A CN 113191387A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- classifier
- sample
- enhancer
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012634 fragment Substances 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000003623 enhancer Substances 0.000 claims abstract description 76
- 238000000605 extraction Methods 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims description 87
- 239000013598 vector Substances 0.000 claims description 38
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 abstract description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于设计三维文物碎片点云数据的分类技术领域，公开了一种结合无监督学习与数据自增强的文物碎片点云分类方法，所述文物碎片点云分类方法包括：使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；使用增强器网络生成增强样本，根据损失函数更新自身参数；利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。本发明有效解决现有文物碎片点云数据集规模较小，网络无法充分训练的问题，同时考虑了分类网络的能力和训练样本的复杂性，为进一步的文物保护与复原工作奠定坚实基础。
Description
技术领域
本发明属于设计三维文物碎片点云数据的分类技术领域，尤其涉及一种结合无监督学习与数据自增强的文物碎片点云分类方法。
背景技术
目前，文物碎片点云的识别分类具体是指提取三维模型特征，并使用相应的算法区分出各类文物碎片。目前提出的分类方法可大致分为：传统分类方法与神经网络分类方法。神经网络分类方法主要包括点云数据处理，特征提取，网络搭建和损失函数设定四个主要工作。但是传统的文物碎片分类方法主要利用人的领域知识手工构造特征，不仅耗费人力，而且在特征的表达能力上也存在局限性，且准确性较低。因此，亟需一种新的文物碎片点云分类方法。
通过上述分析，现有技术存在的问题及缺陷为：传统的文物碎片分类方法主要利用人的领域知识手工构造特征，不仅耗费人力，而且在特征的表达能力上也存在局限性，且准确性较低。
解决以上问题及缺陷的难度为：
1)为了充分利用大量无标注数据集，需要构建无监督特征学习网络，且需要学习到能充分代表点云模型的特征向量。将大样本无监督特征提取与小样本有监督点云分类相结合；
2)为了能够生成适应于网络的增强样本，需要添加增强网络模块，通过神经网络的学习对输入数据进行增强处理；
3)结合无监督特征提取模块与数据自增强分类模块达到更高精度的文物碎片分类效果；
解决以上问题及缺陷的意义为：
提高计算机对于现实物体的识别精度，为现代人的生活提供更多便利。兵马俑的虚拟修复需要对出土碎片根据身体部位预先分类，为之后的拼接修复打好基础。
发明内容
针对现有技术存在的问题，本发明提供了一种结合无监督学习与数据自增强的文物碎片点云分类方法，尤其涉及一种基于无监督预训练与数据自增强网络的结合无监督学习与数据自增强的文物碎片点云分类方法。
本发明是这样实现的，一种文物碎片点云分类方法，所述文物碎片点云分类方法包括：使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；使用增强器网络生成增强样本，根据损失函数更新自身参数；利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。其中，在训练过程中，固定另外一个网络的学习参数，交替地优化和更新增强器与分类器中的参数。
进一步，所述文物碎片点云分类方法包括以下步骤：
步骤一，对于文物碎片点云数据集T＝{x1，x2，...，xm}利用类PointNet对T中的点云数据进行特征提取，得到特征向量F＝RN*C，其中C为特征通道数；使用两个独立模块进行回归处理，形状回归模块生成变换矩阵M∈R3*3，点回归模块生成位移矩阵D∈RN*3；M是结合旋转和缩放的线性矩阵，D为逐点平移和抖动变换矩阵；利用M和D，根据公式T*M+D生成增强样本T′；M矩阵的作用是学习需要对原始输入样本进行的旋转缩放操作，D矩阵的作用是学习需要对原始输入样本进行的平移抖动操作，增强器最终学习生成一个特定的函数来增强每个输入样本。
步骤二，对于输入样本数据Ti，利用增强器生成增强样本Ti；通过计算增强器损失来更新增强器中的可学习参数；固定分类器参数，更新增强器后，保持增强器不变，生成更新后的Ti′；将Ti和Ti′逐一输入到分类器中，通过计算分类器损失来更新分类器中的可学习参数，实现端到端的优化和训练；联合分类器与增强器，增强器能够学习产生最适合分类器的增强样本，分类器能够拟合出准确率更高的分类函数。
进一步，所述基于折叠解码操作的点云特征提取，包括：
(1)对每一个输入的数据规模为n的点云模型，计算每个点的3*3局部协方差矩阵，并向量化成n*9大小，然后将这个n*9的矩阵和原始输入的n*3的矩阵相连接成n*12的矩阵；
(2)在编码器部分，将步骤(1)得到的n*12的矩阵输入到三层感知器中，再将感知器的输出输入到两个连续的graph层，其中每层graph对每个节点的邻居作Max Pooling操作，最后再将其输入到一层感知器中，得到能够代表该完整点云的特征向量，大小为1*512；
(3)将步骤(2)得到的点云特征向量重复叠加m次，得到m*512矩阵，再利用随机生成的二维网格点来进行折叠操作；在解码器部分，进行两次折叠操作，得到输入点云的重建结果；
(4)根据Chamfer Distance来优化和更新网络参数，经多轮epoch的迭代更新后，直至网络收敛，编码器部分即为最终的无监督特征提取器。
进一步，所述点云分类方法，还包括：
设点云中的一点x，依据KNN算法思想，利用欧氏距离找到距离x点最近的k个点。对这k个点的x，y，z坐标分别求和，求平均数，得到质心位置。然后根据公式：
计算出x点的协方差矩阵。将该矩阵拍平为一维向量，与x点坐标相连接。对点云的每一个点进行相同操作，得到大小为n*12的输入数据。
利用三层感知器对n*12的输入数据进行逐点的特征提取，每一次的卷积之后都会加上一层批规范化层。将提取到的特征作为输入，进行两层图卷积。假设图形层的输入矩阵是X，knn图具有邻接矩阵A，图形层的传播按照如下方式：
Y＝Amax(X)K；
使用Max Pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异，使用ReLU作为激活函数；经两层图卷积之后使用MaxPooling操作得到大小为1*1024全局特征向量；再经过一层带有批规范化层的感知器中，得到大小为1*512特征向量；将该特征向量重复叠加m次，得到m*512矩阵，再加上随机生成的大小为m*2二维网格点来进行折叠操作。由三层感知器逐行处理，输出大小为m*3的矩阵；再次将该m*3矩阵与上面的m*512矩阵连接，并将其送入一个s三层感知器，此输出即为重建点云T。单个点云的点数为2048，在一个正方形中选择m个网格点，所以将m的大小设置为2025，它是最接近2048的平方数。输入点云x与重建点云x之前的重建损失定义为：
具有两个连续的折叠运算，第一个折叠二维网格到三维空间，第二个折叠在三维空间内。两次折叠操作的组合可以产生相当精细的表面形状。
进一步，所述文物碎片点云分类方法，还包括：采用类PointNet的结构作为增强器的特征提取器。首先提取点云特征F＝RN*C，然后使用Max Pooling来获得每个点云的全局特征向量G∈R1*C。为了得到形状变化矩阵M，基于高斯分布生成一个C维的噪声向量，将其与G连接起来。为了得到平移变化矩阵D，将G和复制N次的F连接起来。再加上一个N*C的噪声矩阵。利用多层感知器来获得M与D，最后根据T*M+D得到与原始输入相对应的增强样本。分类器将原始样本和增强样本作为两个独立的输入，首先从T或T′中提取每个形状的全局特征fg或
然后利用全连接层得出类标签。分类器的特征提取部分使用前向已经预训练好的编码器。其中，所述训练策略如下：
(1)固定分类器参数，向增强器输入原始样本Ti，获取其增强样本Ti′。计算损失函数LA更新增强器中的可学习参数。增强器的损失函数的具体定义为：
LA＝L(Ti′)+λ|1.0-exp(L(Ti′)-ρL(Ti))|；
其中，L(Ti)与L(Ti′)分别代表原始样本和增强样本的交叉熵损失，λ是一个固定的超参数，用于控制每个项的相对权重，λ的值设定为1。ρ设定为动态参数，定义为：
其中，
表示当Ti属于第C类时的one-hot真实标签，yc∈{0，1}表示预测Ti为第C类的概率。预测概率yc一开始的值较小，确保ρ≥1是为了在训练初期更注重训练分类器。
(2)将Ti和Ti′作为独立输入，预测相应的类标签y和y′。计算损失函数Lc更新分类器中的可学习参数。分类器的损失函数的具体定义为：
Lc＝L(Ti′)+L(Ti)+γ||fg-fg′||2；
其中，γ用来平衡不同损失的权重，将γ的值设定为10。||fg-fg′||2表示原始样本特征与增强样本的距离，惩罚增强样本和原始样本之间的特征差异。
本发明的另一目的在于提供一种应用所述的文物碎片点云分类方法的改进的点云分类器，所述改进的点云分类器包括增强器与分类器两部分，采用对抗式学习策略来联合优化增强器网络和分类器网络，使增强器能够学习生成最适合分类器的增强样本。
本发明的另一目的在于提供一种应用所述的文物碎片点云分类方法的点云分类系统，所述点云分类系统包括：
预训练模块，用于使用无标注数据集预训练无监督特征提取网络；
特征提取模块，用于使用无监督特征提取网络对文物碎片点云进行特征提取；
增强器训练模块，用于使用增强器网络生成增强样本，根据损失函数更新自身参数；
分类器训练模块，用于利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
分类识别模块，用于采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；
使用增强器网络生成增强样本，根据损失函数更新自身参数；
利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；
使用增强器网络生成增强样本，根据损失函数更新自身参数；
利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的文物碎片点云分类系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于无监督预训练与数据自增强网络的文物碎片点云分类方法，首先使用无标注点云数据集训练无监督特征提取网络；然后将无监督特征提取网络的编码器部分做为分类网络的特征提取器；再联合自增强网络与改进后的分类网络进行训练。在训练过程中，固定另外一个网络的学习参数，交替地优化和更新增强器与分类器中的参数。本发明通过无监督预训练，结合点云的无监督特征和数据自增强网络，获得了更好的文物碎片分类结果。
同时，本发明方法结合了基于折叠解码操作的点云特征提取网络和三维点云的数据自增强框架，有效解决了现有文物碎片点云数据集规模较小，网络无法充分训练的问题，同时考虑了分类网络的能力和训练样本的复杂性，增强器能够根据分类器的学习状态动态调整增强器的学习参数，从而在不同的训练阶段生成最适合分类器的增强样本，改善最终的文物碎片点云分类结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的文物碎片点云分类方法流程图。
图2是本发明实施例提供的文物碎片点云分类系统结构框图；
图中：1、预训练模块；2、特征提取模块；3、增强器训练模块；4、分类器训练模块；5、分类识别模块。
图3是本发明实施例提供的文物碎片点云分类方法的兵马俑碎片数据图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种结合无监督学习与数据自增强的文物碎片点云分类方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的结合无监督学习与数据自增强的文物碎片点云分类方法包括以下步骤：
S101，使用无标注数据集预训练无监督特征提取网络；
S102，使用增强器网络生成增强样本，根据损失函数更新自身参数；
S103，利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
S104，采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
如图2所示，本发明实施例提供的文物碎片点云分类系统包括：
预训练模块1，用于使用无标注数据集预训练无监督特征提取网络；
特征提取模块2，用于使用无监督特征提取网络对文物碎片点云进行特征提取；
增强器训练模块3，用于使用增强器网络生成增强样本，根据损失函数更新自身参数；
分类器训练模块4，用于利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
分类识别模块5，用于采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
除非另有说明，本发明中所述术语根据本领域常规认识理解。
下面结合实施例对本发明的技术方案作进一步描述。
实施例1
本发明提供的基于无监督预训练与数据自增强网络的文物碎片点云分类方法，首先使用无标注点云数据集训练无监督特征提取网络；然后将无监督特征提取网络的编码器部分做为分类网络的特征提取器；再联合自增强网络与改进后的分类网络进行训练。在训练过程中，固定另外一个网络的学习参数，交替地优化和更新增强器与分类器中的参数。
本发明首先提供了一种基于折叠解码操作的点云特征提取方法。
步骤1，对每一个输入的数据规模为n的点云模型，计算每个点的3*3局部协方差矩阵，并向量化成n*9大小，然后将这个n*9的矩阵和原始输入的n*3的矩阵相连接成n*12的矩阵；
步骤2，在编码器部分，将步骤1得到的n*12的矩阵输入到三层感知器中，再将感知器的输出输入到两个连续的graph层，其中每层graph对每个节点的邻居作Max Pooling操作，最后再将其输入到一层感知器中，得到能够代表该完整点云的特征向量，大小为1*512；
步骤3，将步骤2得到的点云特征向量重复叠加m次，得到m*512矩阵，再利用随机生成的二维网格点来进行折叠操作。在解码器部分，本发明进行两次折叠操作，得到输入点云的重建结果；
步骤4，最后根据Chamfer Distance来优化和更新网络参数，经多轮epoch的迭代更新后，直至网络收敛，编码器部分即为最终的无监督特征提取器。
进一步，本发明提供了一种改进的文物碎片点云分类器，为此，本发明提供的点云分类方法包括了增强器与分类器两部分，采用对抗式学习策略来联合优化增强器网络和分类器网络，使增强器能够学习生成最适合分类器的增强样本，分类器网络的分类精度进一步提升，具体步骤如下：
步骤一，对于文物碎片点云数据集T＝{x1，x2，...，xm}利用类PointNet对T中的点云数据进行特征提取，得到特征向量F＝RN*C，其中C为特征通道数，再使用两个独立模块进行回归处理，形状回归模块生成变换矩阵M∈R3*3，点回归模块生成位移矩阵D∈RN*3。M是结合了旋转和缩放的线性矩阵，D为逐点平移和抖动变换矩阵。利用M和D，根据公式T*M+D生成增强样本T′；M矩阵的作用是学习需要对原始输入样本进行的旋转缩放操作，D矩阵的作用是学习需要对原始输入样本进行的平移抖动操作，增强器最终学习生成一个特定的函数来增强每个输入样本。
步骤二，对于输入样本数据Ti，首先利用增强器生成增强样本Ti′。然后，通过计算增强器损失来更新增强器中的可学习参数。在这一步，固定分类器参数。更新增强器后，保持增强器不变，生成更新后的Ti′。然后将Ti和Ti′逐一输入到分类器中，通过计算分类器损失来更新分类器中的可学习参数，实现端到端的优化和训练；联合分类器与增强器，增强器能够学习产生最适合分类器的增强样本，分类器能够拟合出准确率更高的分类函数。
本发明方法结合了基于折叠解码操作的点云特征提取网络和三维点云的数据自增强框架，有效解决了现有文物碎片点云数据集规模较小，网络无法充分训练的问题，同时考虑了分类网络的能力和训练样本的复杂性，增强器能够根据分类器的学习状态动态调整增强器的学习参数，从而在不同的训练阶段生成最适合分类器的增强样本，改善最终的文物碎片点云分类结果。
实施例2
本发明所述三维点云数据为本领域常规理解的概念，数据格式是常用的三维模型数据格式，例如以.ply、.pcd和.obj为后缀的三维模型。相较于图像分类，三维点云数据固有的旋转不变性和排列不变性加大了分类的难度。在本实施方案中的三维数据是指常用的公共数据集ModelNet40和ShapeNet part。
这里对ModelNet40数据集和ShapeNet part数据集进行简单说明：ModelNet40数据集包含9843个训练模型和2468个测试模型。ShapeNet part数据集包含来自16种不同类别的数据模型，两个数据集中的每个点云都包含2048个点，其x，y，z坐标位置归一化到单位球体内。每个点云模型都有对应的语义标签(例如飞机，桌子，椅子，床等)。
该实施例的点云特征提取方法如下：
首先对于点云中的每个点做如下操作，这里以点云中的一点x为例：
依据KNN算法思想，利用欧氏距离找到距离x点最近的k个点。对这k个点的x，y，z坐标分别求和，求平均数，得到质心位置。然后根据公式：
计算出x点的协方差矩阵。将该矩阵拍平为一维向量，与x点坐标相连接。对点云的每一个点进行相同操作，得到大小为n*12的输入数据。
接下来利用三层感知器对n*12的输入数据进行逐点的特征提取，每一次的卷积之后都会加上一层批规范化层。将提取到的特征作为输入，进行两层图卷积。假设图形层的输入矩阵是X，knn图具有邻接矩阵A，图形层的传播按照如下方式：
Y＝Amax(X)K；
本发明使用一个简单的Max Pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异，使用ReLU作为激活函数。经两层图卷积之后使用Max Pooling操作得到大小为1*1024全局特征向量。再经过一层带有批规范化层的感知器中，得到大小为1*512特征向量。将该特征向量重复叠加m次，得到m*512矩阵，再加上随机生成的大小为m*2二维网格点来进行折叠操作。具体由三层感知器逐行处理，输出大小为m*3的矩阵。之后再次将该m*3矩阵与上面的m*512矩阵连接，并将其送入一个s三层感知器，此输出即为重建点云T。在实验中单个点云的点数为2048，在一个正方形中选择m个网格点，所以将m的大小设置为2025，它是最接近2048的平方数。输入点云x与重建点云x′之前的重建损失定义为Chamfer Distance：
本发明具有两个连续的折叠运算。第一个折叠二维网格到三维空间，第二个折叠在三维空间内。两次折叠操作的组合可以产生相当精细的表面形状。
本发明采用类PointNet的结构作为增强器的特征提取器。首先提取点云特征F＝RN*C，然后使用Max Pooling来获得每个点云的全局特征向量G∈R1*C。为了得到形状变化矩阵M，基于高斯分布生成一个C维的噪声向量，将其与G连接起来，这样做可以增强增强网络自身的鲁棒性。为了得到平移变化矩阵D，将G和复制N次的F连接起来，这样做进一步结合了局部与全局特征。再加上一个N*C的噪声矩阵。利用多层感知器来获得M与D，最后根据T*M+D得到与原始输入相对应的增强样本。分类器将原始样本和增强样本作为两个独立的输入，首先从T或T′中提取每个形状的全局特征fg或
然后利用全连接层得出类标签。分类器的特征提取部分使用前向已经预训练好的编码器。具体的训练策略如下：
步骤1：固定分类器参数，向增强器输入原始样本Ti，获取其增强样本Ti′。计算损失函数LA更新增强器中的可学习参数。增强器的损失函数的具体定义为：
LA＝L(Ti′)+λ|1.0-exp(L(Ti′)-ρL(Ti))|；
其中，L(Ti)与L(Ti′)分别代表原始样本和增强样本的交叉熵损失，λ是一个固定的超参数，用于控制每个项的相对权重，本发明中λ的值设定为1。为了限制增大器的变化幅度，ρ设定为动态参数，具体的定义为：
其中，
表示当Ti属于第C类时的one-hot真实标签，yc∈{0，1}表示预测Ti为第C类的概率。预测概率yc一开始的值较小，确保ρ≥1是为了在训练初期更注重训练分类器。
步骤2：将Ti和Ti作为独立输入，预测相应的类标签y和y。计算损失函数Lc更新分类器中的可学习参数。分类器的损失函数的具体定义为：
Lc＝L(Ti′)+L(Ti)+γ||fg-fg′||2；
其中，γ用来平衡不同损失的权重，本发明将γ的值设定为10。||fg-fg′||2表示原始样本特征与增强样本的距离，惩罚增强样本和原始样本之间的特征差异。
实验使用的是数据集ModelNet40和ShapeNet part，第一阶段的无监督特征提取网络使用ShapeNet part数据集进行预训练，使用Adam对其训练400epoch，初始学习率0.0001、batch size为16。一阶动量为0.9，二阶动量为0.999。第二阶段的基于样本自增强的分类网络使用ModelNet40数据集进行训练与测试。训练周期设为250，batch size为24。增强器使用Adam优化器，初始学习率设定为为0.001。分类器使用初始学习率为0.001的Adam优化器，学习率每20个周期以0.5的衰减率逐渐降低，具体实验对比结果见表1。
表1实验对比结果
| 方法 | cls_loss | train_acc | test_acc |
| PointNet | - | - | 89.2 |
| PointNet+PA | 3.06 | 95.2 | 90.7 |
| 本专利 | 2.82 | 99.1 | 91.8 |
实施例3
在本实施例中，所述三维数据是使用三维扫描仪在秦始皇帝陵博物馆扫描获得的兵马俑三维数据，公开了以下技术特征：
一种基于文物碎片点云分类方法的文物模型分类方法，包括如下步骤：
获取兵马俑obj三维数据，对兵马俑obj三维数据进行预处理，获得兵马俑点云数据；
该实施例的点云特征提取方法如下：
首先对于点云中的每个点做如下操作，这里以点云中的一点x为例：
依据KNN算法思想，利用欧氏距离找到距离x点最近的k个点。对这k个点的x，y，z坐标分别求和，求平均数，得到质心位置。然后根据公式：
计算出x点的协方差矩阵。将该矩阵拍平为一维向量，与x点坐标相连接。对点云的每一个点进行相同操作，得到大小为n*12的输入数据。
接下来利用三层感知器对n*12的输入数据进行逐点的特征提取，每一次的卷积之后都会加上一层批规范化层。将提取到的特征作为输入，进行两层图卷积。假设图形层的输入矩阵是X，knn图具有邻接矩阵A，图形层的传播按照如下方式：
Y＝Amax(X)K；
本发明使用一个简单的Max Pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异，使用ReLU作为激活函数。经两层图卷积之后使用Max Pooling操作得到大小为1*1024全局特征向量。再经过一层带有批规范化层的感知器中，得到大小为1*512特征向量。将该特征向量重复叠加m次，得到m*512矩阵，再加上随机生成的大小为m*2二维网格点来进行折叠操作。具体由三层感知器逐行处理，输出大小为m*3的矩阵。之后再次将该m*3矩阵与上面的m*512矩阵连接，并将其送入一个s三层感知器，此输出即为重建点云T′。在实验中单个点云的点数为2048，在一个正方形中选择m个网格点，所以将m的大小设置为2025，它是最接近2048的平方数。输入点云x与重建点云x′之前的重建损失定义为Chamfer Distance：
本发明具有两个连续的折叠运算。第一个折叠二维网格到三维空间，第二个折叠在三维空间内。两次折叠操作的组合可以产生相当精细的表面形状。
本发明采用类PointNet的结构作为增强器的特征提取器。首先提取点云特征F＝RN*C，然后使用Max Pooling来获得每个点云的全局特征向量G∈R1*C。为了得到形状变化矩阵M，基于高斯分布生成一个C维的噪声向量，将其与G连接起来，这样做可以增强增强网络自身的鲁棒性。为了得到平移变化矩阵D，将G和复制N次的F连接起来，这样做进一步结合了局部与全局特征。再加上一个N*C的噪声矩阵。利用多层感知器来获得M与D，最后根据T*M+D得到与原始输入相对应的增强样本。分类器将原始样本和增强样本作为两个独立的输入，首先从T或T′中提取每个形状的全局特征fg或
然后利用全连接层得出类标签。分类器的特征提取部分便用前向已经预训练好的编码器。具体的训练策略如下：
步骤1：固定分类器参数，向增强器输入原始样本Ti，获取其增强样本Ti′。计算损失函数LA更新增强器中的可学习参数。增强器的损失函数的具体定义为：
LA＝L(Ti′)+λ|1.0-exp(L(Ti′)-ρL(Ti))|；
其中，L(Ti)与L(Ti′)分别代表原始样本和增强样本的交叉熵损失，λ是一个固定的超参数，用于控制每个项的相对权重，本发明中λ的值设定为1。为了限制增大器的变化幅度，ρ设定为动态参数，具体的定义为：
其中，
表示当Ti属于第C类时的one-hot真实标签，yc∈{0，1}表示预测Ti为第C类的概率。预测概率yc一开始的值较小，确保ρ≥1是为了在训练初期更注重训练分类器。
步骤2：将Ti和Ti′作为独立输入，预测相应的类标签y和y。计算损失函数Lc更新分类器中的可学习参数。分类器的损失函数的具体定义为：
Lc＝L(Ti′)+L(Ti)+γ||fg-fg′||2；
其中，γ用来平衡不同损失的权重，本发明将γ的值设定为10。||fg-fg′||2表示原始样本特征与增强样本的距离，惩罚增强样本和原始样本之间的特征差异。
实验预处理包括使用geomagic软件对兵马俑佣体进行分类切割：共分为头、手臂、身体、腿四个部位。
实验下采样采用迭代最远点采样方法是指通过迭代最远点采样(IFPS)的方法简化点云点数为2048，
实验使用的是ShapeNetpart数据集和兵马俑碎片点云数据集，第一阶段的无监督特征提取网络使用ShapeNetpart数据集进行预训练，使用Adam对其训练400epoch，初始学习率0.0001、batch size为16。一阶动量为0.9，二阶动量为0.999。第二阶段的基于样本自增强的分类网络使用兵马俑碎片点云数据集进行训练与测试。训练周期设为300，batchsize为24。增强器使用Adam优化器，初始学习率设定为为0.001。分类器使用初始学习率为0.001的Adam优化器，学习率每20个周期以0.5的衰减率逐渐降低，具体实验对比结果见表2。
表2实验对比结果
| 方法 | cls_loss | train_acc | test_acc |
| PointNet | - | - | 86.45 |
| PointNet+PA | 4.12 | 94.26 | 89.83 |
| 本专利 | 3.24 | 97.53 | 90.28 |
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种结合无监督学习与数据自增强的文物碎片点云分类方法，其特征在于，所述结合无监督学习与数据自增强的文物碎片点云分类方法包括：使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；使用增强器网络生成增强样本，根据损失函数更新自身参数；利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类；其中，在训练过程中，固定另外一个网络的学习参数，交替地优化和更新增强器与分类器中的参数。
2.如权利要求1所述的结合无监督学习与数据自增强的文物碎片点云分类方法，其特征在于，所述结合无监督学习与数据自增强的文物碎片点云分类方法包括以下步骤：
步骤一，对于文物碎片点云数据集T＝{x1，x2，...，xm}利用类PointNet对T中的点云数据进行特征提取，得到特征向量F＝RN*C，其中C为特征通道数；使用两个独立模块进行回归处理，形状回归模块生成变换矩阵M∈R3*3，点回归模块生成位移矩阵D∈RN*3；M是结合旋转和缩放的线性矩阵，D为逐点平移和抖动变换矩阵；利用M和D，根据公式T*M+D生成增强样本T′；M矩阵的作用是学习需要对原始输入样本进行的旋转缩放操作，D矩阵的作用是学习需要对原始输入样本进行的平移抖动操作，增强器最终学习生成一个特定的函数来增强每个输入样本；
步骤二，对于输入样本数据Ti，利用增强器生成增强样本Ti′；通过计算增强器损失来更新增强器中的可学习参数；固定分类器参数，更新增强器后，保持增强器不变，生成更新后的Ti′；将Ti和Ti′逐一输入到分类器中，通过计算分类器损失来更新分类器中的可学习参数，实现端到端的优化和训练；联合分类器与增强器，增强器能够学习产生最适合分类器的增强样本，分类器能够拟合出准确率更高的分类函数。
3.如权利要求1所述的结合无监督学习与数据自增强的文物碎片点云分类方法，其特征在于，所述基于折叠解码操作的点云特征提取，包括：
(1)对每一个输入的数据规模为n的点云模型，计算每个点的3*3局部协方差矩阵，并向量化成n*9大小，然后将这个n*9的矩阵和原始输入的n*3的矩阵相连接成n*12的矩阵；
(2)在编码器部分，将步骤(1)得到的n*12的矩阵输入到三层感知器中，再将感知器的输出输入到两个连续的graph层，其中每层graph对每个节点的邻居作Max Pooling操作，最后再将其输入到一层感知器中，得到能够代表该完整点云的特征向量，大小为1*512；
(3)将步骤(2)得到的点云特征向量重复叠加m次，得到m*512矩阵，再利用随机生成的二维网格点来进行折叠操作；在解码器部分，进行两次折叠操作，得到输入点云的重建结果；
(4)根据Chamfer Distance来优化和更新网络参数，经多轮epoch的迭代更新后，直至网络收敛，编码器部分即为最终的无监督特征提取器。
4.如权利要求1所述的结合无监督学习与数据自增强的文物碎片点云分类方法，其特征在于，所述点云分类方法，还包括：设点云中的一点x，依据KNN算法思想，利用欧氏距离找到距离x点最近的k个点；对这k个点的x，y，z坐标分别求和，求平均数，得到质心位置；然后根据公式：
计算出x点的协方差矩阵；将该矩阵拍平为一维向量，与x点坐标相连接；对点云的每一个点进行相同操作，得到大小为n*12的输入数据；
利用三层感知器对n*12的输入数据进行逐点的特征提取，每一次的卷积之后都会加上一层批规范化层；将提取到的特征作为输入，进行两层图卷积；假设图形层的输入矩阵是X，knn图具有邻接矩阵A，图形层的传播按照如下方式：
Y＝Amax(X)K；
使用Max Pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异，使用ReLU作为激活函数；经两层图卷积之后使用MaxPooling操作得到大小为1*1024全局特征向量；再经过一层带有批规范化层的感知器中，得到大小为1*512特征向量；将该特征向量重复叠加m次，得到m*512矩阵，再加上随机生成的大小为m*2二维网格点来进行折叠操作；由三层感知器逐行处理，输出大小为m*3的矩阵；再次将该m*3矩阵与上面的m*512矩阵连接，并将其送入一个s三层感知器，此输出即为重建点云T′；单个点云的点数为2048，在一个正方形中选择m个网格点，所以将m的大小设置为2025，它是最接近2048的平方数；输入点云x与重建点云x′之前的重建损失定义为：
具有两个连续的折叠运算，第一个折叠二维网格到三维空间，第二个折叠在三维空间内；两次折叠操作的组合可以产生相当精细的表面形状。
5.如权利要求1所述的结合无监督学习与数据自增强的文物碎片点云分类方法，其特征在于，所述点云分类方法，还包括：采用类PointNet的结构作为增强器的特征提取器；首先提取点云特征F＝RN*C，然后使用Max Pooling来获得每个点云的全局特征向量G∈R1*C；为了得到形状变化矩阵M，基于高斯分布生成一个C维的噪声向量，将其与G连接起来；为了得到平移变化矩阵D，将G和复制N次的F连接起来；再加上一个N*C的噪声矩阵；利用多层感知器来获得M与D，最后根据T*M+D得到与原始输入相对应的增强样本；分类器将原始样本和增强样本作为两个独立的输入，首先从T或T′中提取每个形状的全局特征fg或
然后利用全连接层得出类标签；分类器的特征提取部分使用前面已经预训练好的编码器；其中，所述训练策略如下：
(1)固定分类器参数，向增强器输入原始样本Ti，获取其增强样本Ti′；计算损失函数LA更新增强器中的可学习参数；增强器的损失函数的具体定义为：
LA＝L(Ti′)+λ|1.0-exp(L(Ti′)-ρL(Ti))|；
其中，L(Ti)与L(Ti′)分别代表原始样本和增强样本的交叉熵损失，λ是一个固定的超参数，用于控制每个项的相对权重，λ的值设定为1；ρ设定为动态参数，定义为：
其中，
表示当Ti属于第C类时的one-hot真实标签，yc∈{0，1}表示预测Ti为第C类的概率；预测概率yc一开始的值较小，确保ρ≥1是为了在训练初期更注重训练分类器；
(2)将Ti和Ti′作为独立输入，预测相应的类标签y和y′；计算损失函数Lc更新分类器中的可学习参数；分类器的损失函数的具体定义为：
Lc＝L(Ti′)+L(Ti)+γ||fg-fg′||2；
其中，γ用来平衡不同损失的权重，将γ的值设定为10；||fg-fg′||2表示原始样本特征与增强样本的距离，惩罚增强样本和原始样本之间的特征差异。
6.一种实施权利要求1～5任意一项所述的结合无监督学习与数据自增强的文物碎片点云分类方法的改进的点云分类器，其特征在于，所述改进的点云分类器包括增强器与分类器两部分，采用对抗式学习策略来联合优化增强器网络和分类器网络，使增强器能够学习生成最适合分类器的增强样本。
7.一种实施权利要求1～5任意一项所述的结合无监督学习与数据自增强的文物碎片点云分类方法的点云分类系统，其特征在于，所述点云分类系统包括：
预训练模块，用于使用无标注数据集预训练无监督特征提取网络；
特征提取模块，用于使用无监督特征提取网络对文物碎片点云进行特征提取；
增强器训练模块，用于使用增强器网络生成增强样本，根据损失函数更新自身参数；
分类器训练模块，用于利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
分类识别模块，用于采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对点云进行特征提取；
使用增强器网络生成增强样本，根据损失函数更新自身参数；
利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对点云进行特征提取；
使用增强器网络生成增强样本，根据损失函数更新自身参数；
利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；
采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述的点云分类系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329225.1A CN113191387B (zh) | 2021-03-27 | 2021-03-27 | 结合无监督学习与数据自增强的文物碎片点云分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329225.1A CN113191387B (zh) | 2021-03-27 | 2021-03-27 | 结合无监督学习与数据自增强的文物碎片点云分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191387A true CN113191387A (zh) | 2021-07-30 |
| CN113191387B CN113191387B (zh) | 2024-03-29 |
Family
ID=76974064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110329225.1A Active CN113191387B (zh) | 2021-03-27 | 2021-03-27 | 结合无监督学习与数据自增强的文物碎片点云分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191387B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792859A (zh) * | 2021-09-13 | 2021-12-14 | 中南大学 | 一种无监督形状对应方法及人体形状对应方法 |
| CN113836330A (zh) * | 2021-09-13 | 2021-12-24 | 清华大学深圳国际研究生院 | 基于生成对抗性自动增强网络的图像检索方法及装置 |
| CN114297237A (zh) * | 2021-12-14 | 2022-04-08 | 重庆邮电大学 | 基于类别融合的三维点云数据检索方法、装置及计算机设备 |
| CN114359894A (zh) * | 2022-01-13 | 2022-04-15 | 浙大城市学院 | 一种佛教造像文物三维模型识别归类方法 |
| CN114373108A (zh) * | 2021-12-31 | 2022-04-19 | 华南理工大学 | 基于深度学习的时序点云数据增强方法 |
| CN114399465A (zh) * | 2021-12-08 | 2022-04-26 | 紫东信息科技(苏州)有限公司 | 良恶性溃疡识别方法及系统 |
| CN114782449A (zh) * | 2022-06-23 | 2022-07-22 | 中国科学技术大学 | 下肢x光影像中关键点提取方法、系统、设备及存储介质 |
| CN114897692A (zh) * | 2022-05-06 | 2022-08-12 | 广州紫为云科技有限公司 | 搭载基于零样本学习的整体点云上采样算法的手持设备 |
| CN115641583A (zh) * | 2022-12-26 | 2023-01-24 | 苏州赫芯科技有限公司 | 一种基于自监督和主动学习的点云检测方法、系统及介质 |
| CN116610770A (zh) * | 2023-04-26 | 2023-08-18 | 重庆邮电大学 | 一种基于大数据的司法领域类案推送方法 |
| CN116664825A (zh) * | 2023-06-26 | 2023-08-29 | 北京智源人工智能研究院 | 面向大场景点云物体检测的自监督对比学习方法及系统 |
| CN117495674A (zh) * | 2023-10-31 | 2024-02-02 | 北京建筑大学 | 一种文物碎片的点云拼接方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111582105A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 基于局部全局双向推理的无监督点云特征学习方法及装置 |
| US20210019918A1 (en) * | 2019-07-15 | 2021-01-21 | Peking Universtiy Shenzhen Graduate School | Point cloud geometric compression method based on depth auto-encoder |
| CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
| CN112489117A (zh) * | 2020-12-07 | 2021-03-12 | 东南大学 | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 |
-
2021
- 2021-03-27 CN CN202110329225.1A patent/CN113191387B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210019918A1 (en) * | 2019-07-15 | 2021-01-21 | Peking Universtiy Shenzhen Graduate School | Point cloud geometric compression method based on depth auto-encoder |
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111582105A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 基于局部全局双向推理的无监督点云特征学习方法及装置 |
| CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
| CN112489117A (zh) * | 2020-12-07 | 2021-03-12 | 东南大学 | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张越;夏鸿斌;: "基于弱监督预训练CNN模型的情感分析方法", 计算机工程与应用, no. 13 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113836330A (zh) * | 2021-09-13 | 2021-12-24 | 清华大学深圳国际研究生院 | 基于生成对抗性自动增强网络的图像检索方法及装置 |
| CN113792859B (zh) * | 2021-09-13 | 2022-06-17 | 中南大学 | 一种无监督形状对应方法及人体形状对应方法 |
| CN113792859A (zh) * | 2021-09-13 | 2021-12-14 | 中南大学 | 一种无监督形状对应方法及人体形状对应方法 |
| CN114399465A (zh) * | 2021-12-08 | 2022-04-26 | 紫东信息科技(苏州)有限公司 | 良恶性溃疡识别方法及系统 |
| CN114399465B (zh) * | 2021-12-08 | 2022-11-25 | 紫东信息科技(苏州)有限公司 | 良恶性溃疡识别方法及系统 |
| CN114297237A (zh) * | 2021-12-14 | 2022-04-08 | 重庆邮电大学 | 基于类别融合的三维点云数据检索方法、装置及计算机设备 |
| CN114373108A (zh) * | 2021-12-31 | 2022-04-19 | 华南理工大学 | 基于深度学习的时序点云数据增强方法 |
| CN114373108B (zh) * | 2021-12-31 | 2024-09-17 | 华南理工大学 | 基于深度学习的时序点云数据增强方法 |
| CN114359894B (zh) * | 2022-01-13 | 2024-04-30 | 浙大城市学院 | 一种佛教造像文物三维模型识别归类方法 |
| CN114359894A (zh) * | 2022-01-13 | 2022-04-15 | 浙大城市学院 | 一种佛教造像文物三维模型识别归类方法 |
| CN114897692A (zh) * | 2022-05-06 | 2022-08-12 | 广州紫为云科技有限公司 | 搭载基于零样本学习的整体点云上采样算法的手持设备 |
| CN114897692B (zh) * | 2022-05-06 | 2024-04-26 | 广州紫为云科技有限公司 | 搭载基于零样本学习的整体点云上采样算法的手持设备 |
| CN114782449A (zh) * | 2022-06-23 | 2022-07-22 | 中国科学技术大学 | 下肢x光影像中关键点提取方法、系统、设备及存储介质 |
| CN115641583B (zh) * | 2022-12-26 | 2023-03-31 | 苏州赫芯科技有限公司 | 一种基于自监督和主动学习的点云检测方法、系统及介质 |
| CN115641583A (zh) * | 2022-12-26 | 2023-01-24 | 苏州赫芯科技有限公司 | 一种基于自监督和主动学习的点云检测方法、系统及介质 |
| CN116610770A (zh) * | 2023-04-26 | 2023-08-18 | 重庆邮电大学 | 一种基于大数据的司法领域类案推送方法 |
| CN116610770B (zh) * | 2023-04-26 | 2024-02-27 | 火眼金睛数据服务(雄安)有限公司 | 一种基于大数据的司法领域类案推送方法 |
| CN116664825A (zh) * | 2023-06-26 | 2023-08-29 | 北京智源人工智能研究院 | 面向大场景点云物体检测的自监督对比学习方法及系统 |
| CN117495674A (zh) * | 2023-10-31 | 2024-02-02 | 北京建筑大学 | 一种文物碎片的点云拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191387B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113191387B (zh) | 结合无监督学习与数据自增强的文物碎片点云分类方法 | |
| CN111489358B (zh) | 一种基于深度学习的三维点云语义分割方法 | |
| CN111583263B (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| US10204299B2 (en) | Unsupervised matching in fine-grained datasets for single-view object reconstruction | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| Cheng et al. | Bi-pointflownet: Bidirectional learning for point cloud based scene flow estimation | |
| CN113838109B (zh) | 一种低重合度点云配准方法 | |
| Jaus et al. | Panoramic panoptic segmentation: Towards complete surrounding understanding via unsupervised contrastive learning | |
| CN112200266B (zh) | 基于图结构数据的网络训练方法、装置以及节点分类方法 | |
| Sun et al. | PGCNet: patch graph convolutional network for point cloud segmentation of indoor scenes | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN113435520A (zh) | 神经网络的训练方法、装置、设备及计算机可读存储介质 | |
| CN110263855B (zh) | 一种利用共基胶囊投影进行图像分类的方法 | |
| US11682166B2 (en) | Fitting 3D primitives to a high-resolution point cloud | |
| CN112634149A (zh) | 一种基于图卷积网络的点云去噪方法 | |
| CN116075820A (zh) | 用于搜索图像数据库的方法、非暂时性计算机可读存储介质和设备 | |
| CN113642716A (zh) | 深度变分自编码器模型训练方法、装置、设备和存储介质 | |
| CN116977872A (zh) | 一种CNN+Transformer遥感图像检测方法 | |
| CN110188621B (zh) | 一种基于ssf-il-cnn的三维人脸表情识别方法 | |
| Di et al. | 3D face modeling algorithm for film and television animation based on lightweight convolutional neural network | |
| CN118628736A (zh) | 基于聚类思想的弱监督室内点云语义分割方法、装置及介质 | |
| US20220229943A1 (en) | Joint retrieval and mesh deformation | |
| CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
| CN117372617A (zh) | 一种基于GCN-Transformer模型的点云数据重建方法及电子设备 | |
| Tan et al. | Using multi-level consistency learning for partial-to-partial point cloud registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |