CN113128591A - 基于自监督学习的旋转鲁棒的点云分类方法 - Google Patents
基于自监督学习的旋转鲁棒的点云分类方法 Download PDFInfo
- Publication number
- CN113128591A CN113128591A CN202110422581.8A CN202110422581A CN113128591A CN 113128591 A CN113128591 A CN 113128591A CN 202110422581 A CN202110422581 A CN 202110422581A CN 113128591 A CN113128591 A CN 113128591A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- point cloud
- network
- self
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000000844 transformation Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910015234 MoCo Inorganic materials 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于自监督学习的旋转鲁棒的点云分类方法，所述的方法包括如下：S1：获取三维点云数据，对三维点云数据进行预处理，得到三维点云的三维坐标序列；S2：将三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；S3：将三维点云进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；S5：在预测阶段，将待分类的三维点云模型预处理后，输入目标分类器完成点云分类。
Description
技术领域
本发明涉及三维点云识别和特征学习技术领域，更具体地，涉及一种基于自监督学习的旋转鲁棒的点云分类方法。
背景技术
点云在计算机视觉、自动驾驶、机器人等领域有着广泛的应用，近年来受到越来越多的关注。深度学习作为人工智能中的一种主流技术，已经成功地应用于解决各种二维视觉问题。然而，由于用深度神经网络处理点云所面临的独特挑战，对点云的深度学习仍处于起步阶段。随着Qi等人提出pointnet[Charles R Qi,Hao Su,Kaichun Mo,and Leonidas JGuibas.Pointnet:Deep learning on point sets for 3d classification andsegmentation.In Computer Vision and Pattern Recogni-tion,pages652–660,2017]，创新的解决了点云数据无序性的问题，各类用于点云深度学习的算法层出不穷。
减少数据标注成本已经成为深度学习领域一个不可回避的研究课题，最近，何凯明等人提出的自监督算法MoCo[He,Kaiming,et al."Momentum contrast forunsupervised visual representation learning."Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2020]，表现出了优异的性能，使得自监督学习这一领域火热起来。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。考虑到三维数据标注的人工成本，研究如何用自监督学习方法在大量激光雷达扫描得到的无标注数据上学习表征意义重大。
点云的深度学习网络应该具有一定的鲁棒性，以便应用到现实的场景中。然而，当前的大部分点云深度学习网络并不能很好的平衡性能和算法的健壮性，许多在对齐数据集上性能优异的网络，基本上无法正确分类扰动后的数据，即使进行旋转相关的数据增强，网络的泛化性能也会大幅度降低。另一方面，某些研究专注于设计具有旋转不变能力的网络，通过获取点云数据中旋转不变的特征实现，但因为这个过程中信息的损失，性能稍有下降。
现有技术之一，通过逐点变换实现无监督图神经网络共变特征学习[Gao,Xiang,Wei Hu,and Guo-Jun Qi."GraphTER:Unsupervised learning of graph transformationequivariant representations via auto-encoding node-wise transformations."Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2020]，提出了一种基于图的自动编码器网络。该网络对原始图和变换后的图进行编码，以便可以从这两种特征表示中重建出图信号上的变换。具体为通过预测图的变换，如平移、剪切、旋转，实现自监督学习，得到点云的表征，应用到分类任务时需要固定骨干网络的参数，有监督地训练分类器。
然而该方法的旋转鲁棒性较差。即使经过任意旋转的数据增强，对输入的三维点云数据进行任意旋转后，测试集的分类准确率会下降，也即网络的泛化能力下降。
现有技术之二，一种基于深度学习的点云旋转不变网络[Zhang,Zhiyuan,et al."Rotation invariant convolutions for 3d point clouds deep learning."2019International Conference on 3D Vision(3DV).IEEE,2019]，该发明通过手工构造旋转不变的特征，如长度，夹角，重心等，然后输入到神经网络中训练得到点云的分类分割结果。
然而该方法提取的特征为作者手工构造，丢失了部分信息，使得分类的效果下降。
发明内容
本发明为克服上述现有的技术难以兼顾性能和旋转鲁棒性的问题，提供了一种基于自监督学习的旋转鲁棒的点云分类方法，其能实现在保持较高性能的情况下拥有较高的旋转鲁棒性。
为解决上述技术问题，本发明的技术方案如下：一种基于自监督学习的旋转鲁棒的点云分类方法，所述的方法步骤包括如下：
S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；
S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；
S3：将步骤S1得到的三维点云的三维坐标序列进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；
S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；
S5：在预测阶段，将待分类的三维点云数据进行预处理后，输入目标分类器完成点云分类。
优选地，所述的预处理包括归一化、采样，将三维点云的坐标归一化到-1到1之间，然后用最远点采样算法对每个三维点云数据进行采样，从而得到三维点云的三维坐标序列。
进一步地，对自监督学习网络训练如下：
S201：对三维点云的三维坐标序列X进行随机旋转变换t得到变换后的三维点云的三维坐标序列Y，将三维坐标序列X、三维坐标序列Y分别输入到骨干网络中得到对应模型的高维特征
和高维特征
S202：将高维特征
和高维特征
输入到预设的投影神经网络，高维特征
和高维特征
经过非线性的激活函数激活后得到能够判别特征之间对应变换的高维特征
和高维特征
S203：把高维特征
和高维特征
级联，输入到预设的神经网络判别器，得到每个点的空间变换
对初始变换t和预测的变换
用平均平方误差损失函数计算损失进行反向传播，训练得到S21中骨干网络的参数。
再进一步地，所述的骨干网络采用去掉最后全连接层的DGCNN。
再进一步地，步骤S3，具体地，对每个三维点云的三维坐标序列做如下变换，绕三维空间中的x轴，分别旋转1/4，2/4，3/4和1个弧度，再加上原始的三维点云，分别输入到骨干网络中，得到5个高维表征。
再进一步地，步骤S4，具体地，
S401：将5个高维表征通分别过一个卷积模块压缩特征，然后在维度方向上分别进行全局最大池化和全局平均池化，将两种池化得到的结果级联得到中间特征，把这些中间特征在维度方向上拼接，得到维度为5*C的拼接特征，其中C为中间特征的维度；
S402：将拼接特征进行全局最大池化和全局平均池化，然后再级联，得到最终用于分类的最终特征；将最终特征输入预设的神经网络分类器模块，得到包括每个类别置信度得分的向量，用该向量与输入三维模型的对应类别计算交叉熵损失用于训练，得到目标分类器的网络参数。
再进一步地，在训练过程中，骨干网络的参数冻结，不参与训练。
再进一步地，步骤S5，待分类的三维点云通过归一化、采样进行预处理后，按照S402的方法得到最终特征，再输入目标分类器网络，得到包括每个类别预测得分的向量，向量中分数最大的值所对应的类别即为整个网络对该输入的三维点云预测的类别。
一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现所述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现所述的方法的步骤。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过自监督学习自动提取点云的结构信息，这些信息中包含了旋转变换相关的信息，使得本发明在无需人工构造特征的情况下可以有较好的旋转鲁棒性。
本发明在学习骨干网络参数时无需使用有标注的数据而是通过自监督学习，可以利用到大量其他数据集的无标注三维点云数据参与训练，提高自监督学习得到的高维表征的泛化性能，有助于提高后续训练目标分类器模块的性能。
附图说明
图1为本发明提供的点云分类方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，仅用于示例性说明，不能理解为对本专利的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于自监督学习的旋转鲁棒的点云分类方法，所述的方法步骤包括如下：
S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；
S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；
S3：将步骤S1得到的三维点云的三维坐标序列进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；
S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；
S5：在预测阶段，将待分类的三维点云数据进行预处理后，输入目标分类器完成点云分类。
在一个具体的实施例中，所述的预处理包括归一化、采样，所述的三维点云数据来自与ModelNet40数据集，该数据集包含了40个类别的三维模型的每个点的原始三维坐标以及该点上的法向量，只需要取出其中的原始三维坐标，然后将三维点云的坐标归一化到-1到1之间，然后用最远点采样算法对每个三维点云数据进行采样，从而得到三维点云的三维坐标序列。
在一个具体的实施例中，对自监督学习网络训练如下：
S201：对三维点云的三维坐标序列X进行随机旋转变换t得到变换后的三维点云的三维坐标序列Y，将三维坐标序列X、三维坐标序列Y分别输入到骨干网络中得到对应模型的高维特征
和高维特征
所述的骨干网络采用去掉最后全连接层的DGCNN。
本实施例中的骨干网络可用现有的其他点云分类网络的特征提取模块替代，主要以pointnet++为代表，此类网络是对部分采样点提取特征，在进行自监督任务前需要进行反卷积以增加特征在点数量方向上的维度，在这个过程中会损失部分信息。
S202：将高维特征
和高维特征
输入到预设的投影神经网络，高维特征
和高维特征
经过非线性的激活函数激活后得到能够判别特征之间对应变换的高维特征
和高维特征
S203：把高维特征
和高维特征
级联，输入到预设的神经网络判别器，得到每个点的空间变换
对初始变换t和预测的变换
用平均平方误差损失函数计算损失进行反向传播，训练得到S21中骨干网络的参数。
在一个具体的实施例中，步骤S3，具体地，对每个三维点云的三维坐标序列做如下变换，绕三维空间中的x轴，分别旋转1/4，2/4，3/4和1个弧度，再加上原始的三维点云，分别输入到骨干网络中，得到5个高维表征。
在一个具体的实施例中，步骤S4，具体地，S401：将5个高维表征通分别过一个卷积模块压缩特征，然后在维度方向上分别进行全局最大池化和全局平均池化，将两种池化得到的结果级联得到中间特征，把这些中间特征在维度方向上拼接，得到维度为5*C的拼接特征，其中C为中间特征的维度；
S402：将拼接特征进行全局最大池化和全局平均池化，然后再级联，得到最终用于分类的最终特征；将最终特征输入预设的神经网络分类器模块，得到包括每个类别置信度得分的向量，用该向量与输入三维模型的对应类别计算交叉熵损失用于训练，得到目标分类器的网络参数。在训练过程中，骨干网络的参数冻结，不参与训练。
本实施例中的提取最终特征的卷积模块压缩特征，可用其他具有排列不变性的模块替代，如Set Transformer，但该方案的内存占用较大、速度较慢且实现复杂，本方案中采用简单的具有排列不变性性质的池化函数，容易实现且训练成本较低。
在一个具体的实施例中，步骤S5，待分类的三维点云通过归一化、采样进行预处理后，按照S402的方法得到最终特征，再输入目标分类器网络，得到包括每个类别预测得分的向量，向量中分数最大的值所对应的类别即为整个网络对该输入的三维点云预测的类别。
本实施例通过自监督学习自动提取点云的结构信息，这些信息中包含了旋转变换相关的信息，使得本发明在无需人工构造特征的情况下可以有较好的旋转鲁棒性，同时性能上也有较好的表现，在ModelNet40数据集的测试集上达到了89.36％的分类准确率。
本实施例在学习骨干网络参数时无需使用有标注的数据而是通过自监督学习，可以利用到大量其他数据集的无标注三维点云数据参与训练，提高自监督学习得到的高维表征的泛化性能，有助于提高后续训练目标分类器模块的性能。
本实施例中的骨干网络在训练好以后即固定参数，只需根据不同的分类任务重新训练分类器，在这个过程中无需重新训练骨干网络，节约了训练成本。在训练和使用分类器的时候，由于多个变换后的模型之间没有依赖关系，使用共享的骨干网络提取特征，所以可以用并行计算进行优化，极大的提升训练和预测的速度。根据算力和需求之间的权衡，本发明可以相对应地调整输入分类器的三维模型的变换数量，以满足不同情况下的需求。
实施例2
一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现的方法步骤如下：
S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；
S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；
S3：将步骤S1得到的三维点云进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；
S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；
S5：在预测阶段，将待分类的三维点云模型预处理后，输入目标分类器完成点云分类。
实施例3
一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现所述的方法步骤如下：
S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；
S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；
S3：将步骤S1得到的三维点云进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；
S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；
S5：在预测阶段，将待分类的三维点云模型预处理后，输入目标分类器完成点云分类。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：所述的方法步骤包括如下：
S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；
S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；
S3：将步骤S1得到的三维点云的三维坐标序列进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；
S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；
S5：在预测阶段，将待分类的三维点云数据进行预处理后，输入目标分类器完成点云分类。
2.根据权利要求1所述的基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：所述的预处理包括归一化、采样，将三维点云的坐标归一化到-1到1之间，然后用最远点采样算法对每个三维点云数据进行采样，从而得到三维点云的三维坐标序列。
3.根据权利要求2所述的基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：对自监督学习网络训练如下：
S201：对三维点云的三维坐标序列X进行随机旋转变换t得到变换后的三维点云的三维坐标序列Y，将三维坐标序列X、三维坐标序列Y分别输入到骨干网络中得到对应模型的高维特征
和高维特征
S202：将高维特征
和高维特征
输入到预设的投影神经网络，高维特征
和高维特征
经过非线性的激活函数激活后得到能够判别特征之间对应变换的高维特征
和高维特征
S203：把高维特征
和高维特征
级联，输入到预设的神经网络判别器，得到每个点的空间变换
对初始变换t和预测的变换
用平均平方误差损失函数计算损失进行反向传播，训练得到S21中骨干网络的参数。
4.根据权利要求3所述的基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：所述的骨干网络采用去掉最后全连接层的DGCNN。
5.根据权利要求4所述的基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：步骤S3，具体地，对每个三维点云的三维坐标序列做如下变换，绕三维空间中的x轴，分别旋转1/4，2/4，3/4和1个弧度，再加上原始的三维点云，分别输入到骨干网络中，得到5个高维表征。
6.根据权利要求5所述的基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：步骤S4，具体地，
S401：将5个高维表征通分别过一个卷积模块压缩特征，然后在维度方向上分别进行全局最大池化和全局平均池化，将两种池化得到的结果级联得到中间特征，把这些中间特征在维度方向上拼接，得到维度为5*C的拼接特征，其中C为中间特征的维度；
S402：将拼接特征进行全局最大池化和全局平均池化，然后再级联，得到最终用于分类的最终特征；将最终特征输入预设的神经网络分类器模块，得到包括每个类别置信度得分的向量，用该向量与输入三维模型的对应类别计算交叉熵损失用于训练，得到目标分类器的网络参数。
7.根据权利要求6所述的基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：在训练过程中，骨干网络的参数冻结，不参与训练。
8.根据权利要求7所述的基于自监督学习的旋转鲁棒的点云分类方法，其特征在于：步骤S5，待分类的三维点云通过归一化、采样进行预处理后，按照S402的方法得到最终特征，再输入目标分类器网络，得到包括每个类别预测得分的向量，向量中分数最大的值所对应的类别即为整个网络对该输入的三维点云预测的类别。
9.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述的处理器执行所述的计算机程序时，实现如权利要求1～8任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时，实现如权利要求1～8任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110422581.8A CN113128591B (zh) | 2021-04-14 | 2021-04-14 | 基于自监督学习的旋转鲁棒的点云分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110422581.8A CN113128591B (zh) | 2021-04-14 | 2021-04-14 | 基于自监督学习的旋转鲁棒的点云分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128591A true CN113128591A (zh) | 2021-07-16 |
| CN113128591B CN113128591B (zh) | 2023-12-05 |
Family
ID=76777791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110422581.8A Active CN113128591B (zh) | 2021-04-14 | 2021-04-14 | 基于自监督学习的旋转鲁棒的点云分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128591B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870160A (zh) * | 2021-09-10 | 2021-12-31 | 北京交通大学 | 一种基于变换器神经网络的点云数据处理方法 |
| CN114211490A (zh) * | 2021-12-17 | 2022-03-22 | 中山大学 | 一种基于Transformer模型的机械臂抓手位姿预测方法 |
| CN114419372A (zh) * | 2022-01-13 | 2022-04-29 | 南京邮电大学 | 一种多尺度点云分类方法及系统 |
| CN114882020A (zh) * | 2022-07-06 | 2022-08-09 | 深圳市信润富联数字科技有限公司 | 产品的缺陷检测方法、装置、设备及计算机可读介质 |
| CN115131361A (zh) * | 2022-09-02 | 2022-09-30 | 北方健康医疗大数据科技有限公司 | 目标分割模型的训练、病灶分割方法及装置 |
| CN115421158A (zh) * | 2022-11-07 | 2022-12-02 | 中国人民解放军国防科技大学 | 自监督学习的固态激光雷达三维语义建图方法与装置 |
| CN115719443A (zh) * | 2022-12-01 | 2023-02-28 | 上海人工智能创新中心 | 利用2d预训练模型作为3d下游任务主干网络的方法及系统 |
| CN117541810A (zh) * | 2023-11-17 | 2024-02-09 | 粤港澳大湾区(广东)国创中心 | 三维特征提取方法、装置、电子设备以及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160154999A1 (en) * | 2014-12-02 | 2016-06-02 | Nokia Technologies Oy | Objection recognition in a 3d scene |
| CN109685848A (zh) * | 2018-12-14 | 2019-04-26 | 上海交通大学 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
| CN110276266A (zh) * | 2019-05-28 | 2019-09-24 | 暗物智能科技(广州)有限公司 | 一种基于旋转的点云数据的处理方法、装置及终端设备 |
| CN111401474A (zh) * | 2020-04-13 | 2020-07-10 | Oppo广东移动通信有限公司 | 视频分类模型的训练方法、装置、设备及存储介质 |
| CN111860520A (zh) * | 2020-07-21 | 2020-10-30 | 南京航空航天大学 | 基于深度学习的大飞机点云模型自监督语义分割方法 |
| CN112232391A (zh) * | 2020-09-29 | 2021-01-15 | 河海大学 | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 |
| CN112464879A (zh) * | 2020-12-10 | 2021-03-09 | 山东易视智能科技有限公司 | 基于自监督表征学习的海洋目标检测方法及系统 |
| CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
-
2021
- 2021-04-14 CN CN202110422581.8A patent/CN113128591B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160154999A1 (en) * | 2014-12-02 | 2016-06-02 | Nokia Technologies Oy | Objection recognition in a 3d scene |
| CN109685848A (zh) * | 2018-12-14 | 2019-04-26 | 上海交通大学 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
| CN110276266A (zh) * | 2019-05-28 | 2019-09-24 | 暗物智能科技(广州)有限公司 | 一种基于旋转的点云数据的处理方法、装置及终端设备 |
| CN111401474A (zh) * | 2020-04-13 | 2020-07-10 | Oppo广东移动通信有限公司 | 视频分类模型的训练方法、装置、设备及存储介质 |
| CN111860520A (zh) * | 2020-07-21 | 2020-10-30 | 南京航空航天大学 | 基于深度学习的大飞机点云模型自监督语义分割方法 |
| CN112232391A (zh) * | 2020-09-29 | 2021-01-15 | 河海大学 | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 |
| CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
| CN112464879A (zh) * | 2020-12-10 | 2021-03-09 | 山东易视智能科技有限公司 | 基于自监督表征学习的海洋目标检测方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| POURSAEED ET AL.: "Self-Supervised Learning of Point Clouds via Orientation Estimation", 《2020 | 2020 INTERNATIONAL CONFERENCE ON 3D VISION (3DV 2020) 》, pages 1018 - 1028 * |
| 文沛: "基于深度学习的点云分类方法综述", 《激光与光电子学进展》 * |
| 文沛: "基于深度学习的点云分类方法综述", 《激光与光电子学进展》, no. 16, 8 February 2021 (2021-02-08), pages 1 - 27 * |
| 李健 等: "基于深度学习的几何特征匹配方法", 《计算机科学》, vol. 46, no. 07, pages 274 - 279 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870160A (zh) * | 2021-09-10 | 2021-12-31 | 北京交通大学 | 一种基于变换器神经网络的点云数据处理方法 |
| CN113870160B (zh) * | 2021-09-10 | 2024-02-27 | 北京交通大学 | 一种基于变换器神经网络的点云数据处理方法 |
| CN114211490A (zh) * | 2021-12-17 | 2022-03-22 | 中山大学 | 一种基于Transformer模型的机械臂抓手位姿预测方法 |
| CN114211490B (zh) * | 2021-12-17 | 2024-01-05 | 中山大学 | 一种基于Transformer模型的机械臂抓手位姿预测方法 |
| CN114419372A (zh) * | 2022-01-13 | 2022-04-29 | 南京邮电大学 | 一种多尺度点云分类方法及系统 |
| CN114882020A (zh) * | 2022-07-06 | 2022-08-09 | 深圳市信润富联数字科技有限公司 | 产品的缺陷检测方法、装置、设备及计算机可读介质 |
| CN115131361A (zh) * | 2022-09-02 | 2022-09-30 | 北方健康医疗大数据科技有限公司 | 目标分割模型的训练、病灶分割方法及装置 |
| CN115421158A (zh) * | 2022-11-07 | 2022-12-02 | 中国人民解放军国防科技大学 | 自监督学习的固态激光雷达三维语义建图方法与装置 |
| CN115719443A (zh) * | 2022-12-01 | 2023-02-28 | 上海人工智能创新中心 | 利用2d预训练模型作为3d下游任务主干网络的方法及系统 |
| CN117541810A (zh) * | 2023-11-17 | 2024-02-09 | 粤港澳大湾区(广东)国创中心 | 三维特征提取方法、装置、电子设备以及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128591B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113128591A (zh) | 基于自监督学习的旋转鲁棒的点云分类方法 | |
| Ahmed et al. | Salient segmentation based object detection and recognition using hybrid genetic transform | |
| Wang et al. | Deep learning algorithms with applications to video analytics for a smart city: A survey | |
| Eckart et al. | Self-supervised learning on 3d point clouds by learning discrete generative models | |
| Lin et al. | RSCM: Region selection and concurrency model for multi-class weather recognition | |
| CN111339343A (zh) | 图像检索方法、装置、存储介质及设备 | |
| CN113011568B (zh) | 一种模型的训练方法、数据处理方法及设备 | |
| US11270425B2 (en) | Coordinate estimation on n-spheres with spherical regression | |
| Xia et al. | Weakly supervised multimodal kernel for categorizing aerial photographs | |
| CN114926469A (zh) | 语义分割模型训练方法、语义分割方法、存储介质及终端 | |
| Farnoosh et al. | DeepPBM: deep probabilistic background model estimation from video sequences | |
| CN115223020A (zh) | 图像处理方法、装置、电子设备以及可读存储介质 | |
| JP2022113135A (ja) | ニューラルネットワークトレーニング方法及び装置 | |
| CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
| CN114373099A (zh) | 一种基于稀疏图卷积的三维点云分类方法 | |
| CN115661538A (zh) | 一种基于多粒度Transformer的图像分类方法 | |
| Rao et al. | PointGLR: Unsupervised structural representation learning of 3D point clouds | |
| Di et al. | 3D face modeling algorithm for film and television animation based on lightweight convolutional neural network | |
| CN114492581A (zh) | 基于迁移学习和注意力机制元学习应用在小样本图片分类的方法 | |
| Goswami et al. | A comprehensive review on real time object detection using deep learing model | |
| CN112926368B (zh) | 一种识别障碍物的方法和装置 | |
| Li et al. | Group-level emotion recognition based on faces, scenes, skeletons features | |
| CN114333062A (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 | |
| Lee et al. | SGNet: Design of optimized DCNN for real-time face detection | |
| Wang et al. | Keyframe image processing of semantic 3D point clouds based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |