CN114511745A - 三维点云分类及旋转姿态预测方法及系统 - Google Patents
三维点云分类及旋转姿态预测方法及系统 Download PDFInfo
- Publication number
- CN114511745A CN114511745A CN202210133958.2A CN202210133958A CN114511745A CN 114511745 A CN114511745 A CN 114511745A CN 202210133958 A CN202210133958 A CN 202210133958A CN 114511745 A CN114511745 A CN 114511745A
- Authority
- CN
- China
- Prior art keywords
- rotation
- point cloud
- axis
- classification
- invariance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 104
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000013461 design Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000036544 posture Effects 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 15
- 238000002474 experimental method Methods 0.000 claims description 14
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开三维点云分类及旋转姿态预测方法及系统，旋转不变性表示模块中先计算点云中每个点对应的法向量。在法向量点云上聚类得到与输入点云旋转同变的参考轴，以此参考轴固定点云的旋转姿态。在点云分类网络中，输入点云先经过旋转不变性表示模块多次旋转后输入共享参数的点云特征提取网络得到类内一致性特征表示。在点云旋转姿态预测网络中，经过旋转不变性表示模块并记录该次旋转的旋转矩阵，利用分类神经网络预测姿态分类结果对应第二个旋转矩阵，两次的旋转矩阵共同得出对旋转姿态的预测。本发明以旋转不变性表示模块作为前置模块设计了旋转鲁棒的点云分类神经网络以及旋转姿态预测网络，可以更进一步提高了三维点云处理网络的旋转鲁棒性。
Description
技术领域
本发明涉及三维点云分类技术领域，具体来说是一种三维点云分类及旋转姿态预测方法及系统。
背景技术
三维点云分类神经网络是以点云作为输入数据的分类神经网络，是神经网络处理点云数据的基础，其他点云的处理任务如点云分割、点云补全都以分类网络作为其骨干网络，所以三维点云分类网络的设计就显得至关重要，影响着下游相关任务的性能。
由于三维点云的旋转涉及三个自由的方向，而一般的三维点云神经网络仅仅考虑固定姿态的点云模型作为输入，导致三维点云神经网络往往具有较差的旋转鲁棒性。为解决该问题，传统的方法是使用主成分分析固定点云姿态，但该方法得出的参考向量具有二义性，导致点云姿态并未完全固定，并且这种方法所固定的姿态往往与现实世界中物体的实际姿态相差甚远，不利于人进行理解和分辨。
如申请号为CN202110973556.9公开的三维点云全自动分类方法及深度神经网络模型，包括获取三维点云数据集；对三维点云数据集代表的三维点云下采样，选取三维点云中的部分点作为采样点，基于采样点构建点云区域组，提取点云区域组的全局特征，用采样点代替其所在的点云区域组；将三维点云进行上采样，以将三维点云的点数量恢复至初始数量，将三维点云中每点所在点云区域组的全局特征进行拼接融合，得到每点的融合特征；对经过三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。该发明将同类整体点云的类别与每个点的单体语义类别相同的先验知识融合进深度神经网络，提高了点云的分类精度。该发明设计了一个分类网络，完成点云分类，但是对于点云旋转鲁棒性未提出设计。
发明内容
本发明所要解决的技术问题在于如何现有技术中缺乏点云旋转鲁棒性的研究。
本发明通过以下技术手段实现解决上述技术问题的：
三维点云分类及旋转姿态预测方法，基于以下定义：
将具有n个点的点云表示为
其中第i行表示点云P中的第i个点Xi的笛卡尔坐标(xi,yi,zi)；方法包括以下步骤：
步骤1、设计三维点云旋转不变性表示模块，具体包括：
步骤1.1、对输入点云中的任意一个点，计算出距离其最近的k个近邻点，所述k个近邻点包含着物体局部的表面信息；
步骤1.2、估算所述k个近邻点所对应的点云局部法向量，具体的公式表示为：
Xij代表中心点Xi邻域内的第j个点，
代表这k个邻域点的均值，Ci代表这k个邻域点的协方差，计算该协方差矩阵最小的特征值所对应的特征向量即为所需要的点云表面法向量；
步骤1.3、将所有点处得到的法向量聚合为一个法向量点云
步骤1.4、对法向量点云
进行聚类求得参考z轴，所述z轴代表点云中最大平面法向量的方向，旋转该点云使真实z轴与参考z轴重合；将所有点投影到xy平面，删除与原点距离小于设定值以内的点，将剩余点全部单位化，形成平面上的圆环形状的点云，对该平面点云再次进行聚类操作，选取第二个参考轴，将其作为参考x轴，所述参考x轴由点云中第二大平面决定；再次旋转该点云，使参考x轴与真实x轴重合；此时点云的旋转姿态被固定；
步骤2、以旋转不变性表示模块作为前置模块，设计具有旋转鲁棒性的三维点云分类神经网络，具体包括：
步骤2.1、输入具有随机旋转的点云，经过旋转不变性表示模块后对于同一点云将具有唯一固定的方向；
步骤2.2、将步骤2.1中固定角度的点云进行24次旋转后输入共享参数的DGCNN特征提取结构中得到24个对应的点云特征向量；
步骤2.3、将所述24个对应的点云特征向量输入最大池化层，得到最终的类内一致性特征向量，输入最终用于分类的全连接层，得到最终的分类结果；
步骤3、以旋转不变性表示模块为基础，设计旋转姿态预测网络，具体包括：
步骤3.1、在所述DGCNN之前加入旋转不变性表示模块，所述旋转不变性表示模块用以固定点云的旋转角度为某一个规律的方向，并记录所经过的旋转矩阵R1；
步骤3.2、将DGCNN网络的类别数修改为24，用来预测24个规律的旋转姿态，所述旋转不变性表示模块可以记录随机旋转后的输入点云将旋转姿态固定过程中的旋转矩阵，将旋转姿态固定过程中的旋转矩阵与24个类别对应的旋转矩阵相乘即可得到最终预测的旋转矩阵；
步骤3.3、训练过程中，需要得到经过旋转不变性表示模块处理后的点云所对应的旋转分类标签，将数据集中原始的对齐点云姿态设置为类别0，将其旋转24次并将每一次的旋转结果对应一个类别，记录对应的固定旋转矩阵，原始对齐的点云经过一个随机旋转以及一个旋转不变性表示模块所施加的旋转后作为DGCNN网络的输入，将两个旋转矩阵相乘后与分类类别对应的旋转矩阵相比较，两者角度差最小的作为最终姿态分类标签；
步骤3.4、测试阶段将旋转不变性表示模块求得的旋转矩阵与分类标签对应的旋转矩阵相乘的逆作为对最终旋转姿态所对应旋转矩阵的预测值，求得预测值相对于实际值的角度误差作为评判网络效果的指标。
本发明公开了基于三维点云旋转不变性表示模块的一种分类网络和一种旋转姿态预测网络；旋转不变性表示模块中首先使用主成分分析(PCA)计算点云中每个点对应的法向量。在法向量点云上使用DBSCAN聚类算法得到与输入点云旋转同变的参考轴，以此参考轴固定点云的旋转姿态。在点云分类网络中，输入点云首先经过该旋转不变性表示模块，多次旋转后输入共享参数的点云特征提取网络并使用最大池化得到类内一致性特征表示。在点云旋转姿态预测网络中，经过旋转不变性表示模块并记录该次旋转的旋转矩阵，利用分类神经网络预测姿态分类结果对应第二个旋转矩阵，两次的旋转矩阵共同得出对旋转姿态的预测。采用本发明的方法对ModelNet40数据集三个自由方向上的任意旋转后进行分类处理，经测试，在该数据集上分类正确率为87.5％，对ModelNet10数据集三个自由方向上的任意旋转后进行旋转姿态预测，经测试，在该数据集上误差15°以内所占的比例为70.9％。
进一步的，所述步骤1.4中已知两个坐标轴，需要旋转点云使之重合，具体用到的公式可以表示为：
q0＝cos(θ/2)、q1＝x·sin(θ/2)、q2＝y·sin(θ/2)、q3＝z·sin(θ/2)、
其中θ表示从参考轴到真实坐标轴的角度，(x,y,z)表示参考轴与真实坐标轴叉积的结果，(q0,q1,q2,q3)表示从参考轴到真实坐标轴旋转的四元组，R表示从参考轴到真实坐标轴的旋转矩阵。
进一步的，所述步骤3.3中通过旋转矩阵求对应的旋转角度的方法：
根据旋转矩阵计算得出对应的旋转角度的公式表示为：Ra＝R1R2、
其中R1表示经过随机旋转以及旋转不变性表示模块后的总的旋转矩阵，R2表示预测旋转姿态类别所对应的旋转矩阵的逆，24个旋转姿态分类对应24个旋转矩阵，分别代入R2求得对应的24个角度θ，以最小的一个θ对应的分类作为真实标签，来训练本实施例的旋转姿态预测网络。
进一步的，步骤2和步骤3中训练网络模型的实验设置如下：实验均在CentOSLinux7的集群上运行，使用一块Tesla V100 32G的gpu以及10.1版本的cuda。
与上述方法对应的，本发明还提供一种三维点云分类及旋转姿态预测系统，基于以下定义：
将具有n个点的点云表示为
其中第i行表示点云P中的第i个点Xi的笛卡尔坐标(xi,yi,zi)；方法包括以下步骤：
三维点云旋转不变性表示模块设计模块，用以设计三维点云旋转不变性表示模块，具体包括：
步骤1.1、对输入点云中的任意一个点，计算出距离其最近的k个近邻点，所述k个近邻点包含着物体局部的表面信息；
步骤1.2、估算所述k个近邻点所对应的点云局部法向量，具体的公式表示为：
Xij代表中心点Xi邻域内的第j个点，
代表这k个邻域点的均值，Ci代表这k个邻域点的协方差，计算该协方差矩阵最小的特征值所对应的特征向量即为所需要的点云表面法向量；
步骤1.3、将所有点处得到的法向量聚合为一个法向量点云
步骤1.4、对法向量点云
进行聚类求得参考z轴，所述z轴代表点云中最大平面法向量的方向，旋转该点云使真实z轴与参考z轴重合；将所有点投影到xy平面，删除与原点距离小于设定值以内的点，将剩余点全部单位化，形成平面上的圆环形状的点云，对该平面点云再次进行聚类操作，选取第二个参考轴，将其作为参考x轴，所述参考x轴由点云中第二大平面决定；再次旋转该点云，使参考x轴与真实x轴重合；此时点云的旋转姿态被固定；
三维点云分类神经网络设计模块，用以以旋转不变性表示模块作为前置模块，设计具有旋转鲁棒性的三维点云分类神经网络，具体包括：
步骤2.1、输入具有随机旋转的点云，经过旋转不变性表示模块后对于同一点云将具有唯一固定的方向；
步骤2.2、将步骤2.1中固定角度的点云进行24次旋转后输入共享参数的DGCNN特征提取结构中得到24个对应的点云特征向量；
步骤2.3、将所述24个对应的点云特征向量输入最大池化层，得到最终的类内一致性特征向量，输入最终用于分类的全连接层，得到最终的分类结果；
旋转姿态预测网络设计模块，用以以旋转不变性表示模块为基础，设计旋转姿态预测网络，具体包括：
步骤3.1、在所述DGCNN之前加入旋转不变性表示模块，所述旋转不变性表示模块用以固定点云的旋转角度为某一个规律的方向，并记录所经过的旋转矩阵R1；
步骤3.2、将DGCNN网络的类别数修改为24，用来预测24个规律的旋转姿态，所述旋转不变性表示模块可以记录随机旋转后的输入点云将旋转姿态固定过程中的旋转矩阵，将旋转姿态固定过程中的旋转矩阵与24个类别对应的旋转矩阵相乘即可得到最终预测的旋转矩阵；
步骤3.3、训练过程中，需要得到经过旋转不变性表示模块处理后的点云所对应的旋转分类标签，将数据集中原始的对齐点云姿态设置为类别0，将其旋转24次并将每一次的旋转结果对应一个类别，记录对应的固定旋转矩阵，原始对齐的点云经过一个随机旋转以及一个旋转不变性表示模块所施加的旋转后作为DGCNN网络的输入，将两个旋转矩阵相乘后与分类类别对应的旋转矩阵相比较，两者角度差最小的作为最终姿态分类标签；
步骤3.4、测试阶段将旋转不变性表示模块求得的旋转矩阵与分类标签对应的旋转矩阵相乘的逆作为对最终旋转姿态所对应旋转矩阵的预测值，求得预测值相对于实际值的角度误差作为评判网络效果的指标。
进一步的，所述步骤1.4中已知两个坐标轴，需要旋转点云使之重合，具体用到的公式可以表示为：
q0＝cos(θ/2)、q1＝x·sin(θ/2)、q2＝y·sin(θ/2)、q3＝z·sin(θ/2)、
其中θ表示从参考轴到真实坐标轴的角度，(x,y,z)表示参考轴与真实坐标轴叉积的结果，(q0,q1,q2,q3)表示从参考轴到真实坐标轴旋转的四元组，R表示从参考轴到真实坐标轴的旋转矩阵。
进一步的，所述步骤3.3中通过旋转矩阵求对应的旋转角度的方法：
根据旋转矩阵计算得出对应的旋转角度的公式表示为：Ra＝R1R2、
其中R1表示经过随机旋转以及旋转不变性表示模块后的总的旋转矩阵，R2表示预测旋转姿态类别所对应的旋转矩阵的逆，24个旋转姿态分类对应24个旋转矩阵，分别代入R2求得对应的24个角度θ，以最小的一个θ对应的分类作为真实标签，来训练本实施例的旋转姿态预测网络。
进一步的，所述步骤2和步骤3中训练网络模型的实验设置如下：实验均在CentOSLinux 7的集群上运行，使用一块Tesla V100 32G的gpu以及10.1版本的cuda。
本发明还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
本发明的优点在于：本发明公开了基于三维点云旋转不变性表示模块的一种分类网络和一种旋转姿态预测网络；旋转不变性表示模块中首先使用主成分分析(PCA)计算点云中每个点对应的法向量。在法向量点云上使用DBSCAN聚类算法得到与输入点云旋转同变的参考轴，以此参考轴固定点云的旋转姿态。在点云分类网络中，输入点云首先经过该旋转不变性表示模块，多次旋转后输入共享参数的点云特征提取网络并使用最大池化得到类内一致性特征表示。在点云旋转姿态预测网络中，经过旋转不变性表示模块并记录该次旋转的旋转矩阵，利用分类神经网络预测姿态分类结果对应第二个旋转矩阵，两次的旋转矩阵共同得出对旋转姿态的预测。采用本发明的方法对ModelNet40数据集三个自由方向上的任意旋转后进行分类处理，经测试，在该数据集上分类正确率为87.5％，对ModelNet10数据集三个自由方向上的任意旋转后进行旋转姿态预测，经测试，在该数据集上误差15°以内所占的比例为70.9％。本发明所设计的三维点云旋转不变性表示模块，聚类点云法向量，通过旋转同变的参考轴重新度量点云坐标，固定点云旋转姿态，以该模块为前置模块设计了旋转鲁棒的点云分类神经网络以及旋转姿态预测网络，可以更进一步提高了三维点云处理网络的旋转鲁棒性。
附图说明
图1是本发明实施例中三维点云旋转不变性表示模块的结构图；
图2是本发明实施例中三维点云分类网络的结构图；
图3是本发明实施例中三维点云旋转姿态预测网络的结构图；
图4为本发明实施例中24个点云旋转姿态示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于三维点云旋转不变性表示模块的三维点云分类及旋转姿态预测方法，基于以下定义：
将具有n个点的点云表示为
其中第i行表示点云P中的第i个点Xi的笛卡尔坐标(xi,yi,zi)。
方法包括：
步骤1：使用主成分分析算法和DBSCAN聚类算法设计三维点云旋转不变性表示模块，具体包括：
步骤1.1、对输入点云中的任意一个点，使用k最近邻算法(KNN)得出距离其最近的k个点，这k个点包含着物体局部的表面信息。
步骤1.2、使用主成分分析法(PCA)估算这k个近邻点所对应的点云局部法向量，具体的公式表示为：
Xij代表中心点Xi邻域内的第j个点，
代表这k个邻域点的均值，Ci代表这k个邻域点的协方差，计算该协方差矩阵最小的特征值所对应的特征向量即为所需要的点云表面法向量。k值均设置为10。
步骤1.3、将所有点处得到的法向量聚合为一个法向量点云
步骤1.4、对法向量点云
进行一次DBSCAN聚类求得本实施例所需要的参考z轴，该轴代表点云中最大平面法向量的方向，旋转该点云使真实z轴与参考z轴重合；将所有点投影到xy平面，删除与原点距离小于0.3以内的点，将剩余点全部单位化，形成一个平面上的圆环形状的点云，对该平面点云再次进行DBSCAN聚类操作，选取第二个参考轴，将其作为参考x轴，该轴由点云中第二大平面决定。再次旋转该点云，使参考x轴与真实x轴重合。此时点云的旋转姿态被固定，该姿态只与物体自身性质有关而与输入点云的随机旋转无关。本实施例的聚类算法中的半径值均设置为0.0025，且为了剔除没有较大平面的实例，设置了一个阈值，一旦所有点周围球域内的点数统计值均小于该阈值，则此时本实施例以主成分分析方法得到的参考方向作为替代参考轴，在本实施例的实验中该阈值均设置为输入点数的四十分之一。
步骤1.4中已知两个坐标轴，需要旋转点云使之重合，具体用到的公式可以表示为：q0＝cos(θ/2)、q1＝x·sin(θ/2)、、q2＝y·sin(θ/2)、q3＝z·sin(θ/2)、
其中θ表示从参考轴到真实坐标轴的角度，(x,y,z)表示参考轴与真实坐标轴叉积的结果，(q0,q1,q2,q3)表示从参考轴到真实坐标轴旋转的四元组，R表示从参考轴到真实坐标轴的旋转矩阵。
步骤2：以旋转不变性表示模块作为前置模块，设计了一个具有旋转鲁棒性的三维点云分类神经网络，具体包括：
步骤2.1、输入具有随机旋转的点云，经过旋转不变性表示模块后对于同一点云将具有唯一固定的方向。
步骤2.2、尽管该旋转不变性表示模块实现了同一点云的旋转不变性，但在同一类别内点云的不同实例之间仍然存在差异，将该固定角度的点云进行24次旋转后输入共享参数的DGCNN特征提取结构中得到24个对应的点云特征向量。DGCNN的特征提取模块由四层边卷积组成，将四层边卷积的结果相连后输入到卷积核为1的卷积层，为了提取全局特征将卷积的结果分别经过最大池化和平均池化后进行连接，得到最终的点云全局特征。
步骤2.2中将分类类别设置为24的原因为：
之所以用到24个规律的旋转姿态是因为旋转不变性模块中使用了正交的参考轴，考虑了一个接近实际物体且理想化的情况：对于一个正立方体生成的点云，寻找的第一个参考轴可能出现6种不同的情况，之后，寻找的第二个参考轴可能出现4种情况，也即共有可能出现24种不同的旋转姿态。为了消除类内特征的不一致，对于一个旋转固定的点云，本实施例对其进行旋转操作，共计24种旋转类别，分别对应24个旋转矩阵。如图4所示。
步骤2.3、将这24个特征向量输入最大池化层，得到最终的类内一致性特征向量，输入最终用于分类的全连接层，得到最终的分类结果。
步骤3、以旋转不变性表示模块为基础，设计了一个旋转姿态预测网络，具体包括：
步骤3.1、该网络也直接由DGCNN修改而来，在DGCNN之前加入旋转不变性表示模块，该模块的作用是固定点云的旋转角度为某一个规律的方向，并记录所经过的旋转矩阵R1。
步骤3.2、将DGCNN网络的类别数修改为24，用来预测24个规律的旋转姿态，本实施例的网络实际上预测的是经过旋转不变性表示模块后点云所在的24个离散的固定旋转姿态的其中的一个，由于本实施例的旋转不变性表示模块可以记录随机旋转后的输入点云将旋转姿态固定过程中的旋转矩阵，所以，将该旋转矩阵与24个类别对应的旋转矩阵相乘即可得到最终预测的旋转矩阵。
步骤3.3、训练过程中，需要得到经过旋转不变性表示模块处理后的点云所对应的旋转分类标签，将数据集中原始的对齐点云姿态设置为类别0，将其旋转24次并将每一次的旋转结果对应一个类别，记录对应的固定旋转矩阵，原始对齐的点云经过一个随机旋转以及一个旋转不变性表示模块所施加的旋转后作为DGCNN网络的输入，本实施例将这这两个旋转矩阵相乘后与分类类别对应的旋转矩阵相比较，两者角度差最小的作为最终姿态分类标签。
步骤3.4、测试阶段将旋转不变性表示模块求得的旋转矩阵与分类标签对应的旋转矩阵相乘的逆作为对最终旋转姿态所对应旋转矩阵的预测值，求得预测值相对于实际值的角度误差作为评判网络效果的指标。
步骤3.3中通过旋转矩阵求对应的旋转角度的方法：
由于本实施例只需要求得旋转角度，而并不需要知道旋转轴，所以只根据旋转矩阵计算得出对应的旋转角度即可，具体的公式表示为：Ra＝R1R2、
其中R1表示经过随机旋转以及旋转不变性表示模块后的总的旋转矩阵，R2表示预测旋转姿态类别所对应的旋转矩阵的逆，24个旋转姿态分类对应24个旋转矩阵，分别代入R2求得对应的24个角度θ，以最小的一个θ对应的分类作为真实标签，来训练本实施例的旋转姿态预测网络。
本实施例中，步骤2和步骤3中训练网络模型的实验设置如下：
实验均在CentOS Linux 7的集群上运行，使用一块Tesla V100 32G的gpu以及10.1版本的cuda。
两部分实验的骨干网络均采用dgcnn，使用随机Adam优化算法，交叉熵损失。为了得到最终稳定的结果，实验中手动设置了学习率衰减策略：分别在第50、80、120、150次迭代时进行学习率衰减，衰减率分别设置为0.1、0.1、0.2、0.2，初始学习率为0.001。为了防止过拟合，在每个全连接层后都加入了batch normalization层和参数为0.5的dropout层。分类网络进行200轮迭代，每一轮迭代的批处理数为2；旋转姿态预测网络的迭代次数为100轮，批处理参数设置为32。
本发明公开了基于三维点云旋转不变性表示模块的一种分类网络和一种旋转姿态预测网络；旋转不变性表示模块中首先使用主成分分析(PCA)计算点云中每个点对应的法向量。在法向量点云上使用DBSCAN聚类算法得到与输入点云旋转同变的参考轴，以此参考轴固定点云的旋转姿态。在点云分类网络中，输入点云首先经过该旋转不变性表示模块，多次旋转后输入共享参数的点云特征提取网络并使用最大池化得到类内一致性特征表示。在点云旋转姿态预测网络中，经过旋转不变性表示模块并记录该次旋转的旋转矩阵，利用分类神经网络预测姿态分类结果对应第二个旋转矩阵，两次的旋转矩阵共同得出对旋转姿态的预测。采用本发明的方法对ModelNet40数据集三个自由方向上的任意旋转后进行分类处理，经测试，在该数据集上分类正确率为87.5％，对ModelNet10数据集三个自由方向上的任意旋转后进行旋转姿态预测，经测试，在该数据集上误差15°以内所占的比例为70.9％。
参照图1、图2和图3，以具体的实例说明本发明的基于三维点云旋转不变性表示模块的分类和旋转姿态预测网络具体实现步骤包括：
将ModelNet40数据集作为三维点云分类网络的实验数据集。该数据集由40个对象类别组成，包含了12311个人造CAD模型。实验中使用与PointNet相同的标准分割方法，9,843个样本用于模型训练，2,468个样本用于模型测试。ModelNet40数据集的原始CAD模型采用网格面的数据结构，从每个网格面模型中对面均匀采样2,048个点，得到所需要的3D点云模型，然后平移每个点云使其质心与坐标原点重合并单位化。模型输入只使用采样点的(x,y,z)坐标，并在输入模型前加上对应类型的随机旋转。
在三维点云旋转姿态预测实验中使用ModelNet10数据集，其为Modelnet40的子数据集，使用标准的分割方式：3991个训练样本，908个测试样本。与ModelNet40中相同的设置，每个点云进行独立且随机的旋转后输入网络。
构建旋转不变性表示模块，如图1所示，对于具有任意旋转的点云，对点云中的每一个点使用最近邻算法(KNN)找出该点的k个近邻点，对这k个点使用主成分分析算法估算出该点所代表的表面法向量，聚类所有的法向量找出最大平面所对应的法向量作为参考z轴，旋转点云使参考z轴与真实z轴重合。将法向量投影到xy平面删除距离原点过近的点(最大平面上的点对应的法向量)，剩下的点单位化后再次聚类得到参考y轴，旋转点云使参考y轴与真实y轴重合，此时输入点云的旋转姿态被固定且只与点云本身属性有关，与输入点云的旋转姿态无关。
图2示出了旋转鲁棒的三维点云分类神经网络的结构及训练图。输入为3×N的经过三个自由维度随机旋转之后的点云，网络结构依次是：旋转不变性表示前置模块，将输入点云的旋转姿态进行固定，随后进行24次旋转得到24个不同朝向的点云，接下来输入共享参数的DGCNN特征提取网络提取点云特征，每个点云得到维度为2048的点云全局特征，对其进行最大池化得到维度为2048的类内一致的全局特征表示，随后经过512×265×40的全连接层得到输入点云的类别标签。
DGCNN特征提取网络中输入点云首先经过四层边卷积(edgeConv)提取点云局部特征值，每一层输出维度分别为64×N、64×N、128×N、256×N，经过残差连接后在最后一层连接成维度大小为512×N的点云局部特征向量，随后经过1×1的卷积层将维度调整为1024×N，分别经过最大池化和平均池化得到维度大小为1024的点云全局向量，将两者合并为维度为2048的全局特征向量。
边卷积(edgeConv)层中，记输入局部特征维度大小为c×N，在每个点处使用knn算法找出特征最相近的k个点，使用每个中心点坐标与紧邻边构筑近邻图，特征维度为2c×k×N，随后使用1×1卷积与最大池化得到特征维度大小为o×N的输出特征向量。
图3是点云旋转姿态预测网络的结构及训练图。网络由旋转不变性表示模块，DGCNN特征提取模块，512×265×24的全连接模块共同组成。
训练过程中输入点云先要经过随机旋转，记录其旋转矩阵，经过旋转不变性表示模块后得到旋转姿态固定的点云，再次记录其旋转矩阵，将这两次的旋转矩阵相乘后与24分类标签对应的固定的旋转矩阵相比较，得出真实旋转标签，该标签用于训练，对应步骤3.3。
测试过程中经过随机旋转的输入点云经过旋转不变性表示模块固定姿态，记录旋转不变性表示模块中的旋转矩阵，随后经过DGCNN特征提取模块提取特征输入全连接层得到对应的24分类标签，该分类标签对应一个固定的旋转矩阵，联合这两个旋转矩阵即使该网络给出的点云旋转矩阵的预测结果，对应步骤3.4。
与上述方法对应的，本发明还公开一种基于三维点云旋转不变性表示模块的三维点云分类及旋转姿态预测系统，基于以下定义：
将具有n个点的点云表示为
其中第i行表示点云P中的第i个点Xi的笛卡尔坐标(xi,yi,zi)。
方法包括：
三维点云旋转不变性表示模块设计模块，使用主成分分析算法和DBSCAN聚类算法设计三维点云旋转不变性表示模块，具体包括：
步骤1.1、对输入点云中的任意一个点，使用k最近邻算法(KNN)得出距离其最近的k个点，这k个点包含着物体局部的表面信息。
步骤1.2、使用主成分分析法(PCA)估算这k个近邻点所对应的点云局部法向量，具体的公式表示为：
Xij代表中心点Xi邻域内的第j个点，
代表这k个邻域点的均值，Ci代表这k个邻域点的协方差，计算该协方差矩阵最小的特征值所对应的特征向量即为所需要的点云表面法向量。k值均设置为10。
步骤1.3、将所有点处得到的法向量聚合为一个法向量点云
步骤1.4、对法向量点云
进行一次DBSCAN聚类求得本实施例所需要的参考z轴，该轴代表点云中最大平面法向量的方向，旋转该点云使真实z轴与参考z轴重合；将所有点投影到xy平面，删除与原点距离小于0.3以内的点，将剩余点全部单位化，形成一个平面上的圆环形状的点云，对该平面点云再次进行DBSCAN聚类操作，选取第二个参考轴，将其作为参考x轴，该轴由点云中第二大平面决定。再次旋转该点云，使参考x轴与真实x轴重合。此时点云的旋转姿态被固定，该姿态只与物体自身性质有关而与输入点云的随机旋转无关。本实施例的聚类算法中的半径值均设置为0.0025，且为了剔除没有较大平面的实例，设置了一个阈值，一旦所有点周围球域内的点数统计值均小于该阈值，则此时本实施例以主成分分析方法得到的参考方向作为替代参考轴，在本实施例的实验中该阈值均设置为输入点数的四十分之一。
步骤1.4中已知两个坐标轴，需要旋转点云使之重合，具体用到的公式可以表示为：q0＝cos(θ/2)、q1＝x·sin(θ/2)、、q2＝y·sin(θ/2)、q3＝z·sin(θ/2)、
其中θ表示从参考轴到真实坐标轴的角度，(x,y,z)表示参考轴与真实坐标轴叉积的结果，(q0,q1,q2,q3)表示从参考轴到真实坐标轴旋转的四元组，R表示从参考轴到真实坐标轴的旋转矩阵。
三维点云分类神经网络设计模块，以旋转不变性表示模块作为前置模块，设计了一个具有旋转鲁棒性的三维点云分类神经网络，具体包括：
步骤2.1、输入具有随机旋转的点云，经过旋转不变性表示模块后对于同一点云将具有唯一固定的方向。
步骤2.2、尽管该旋转不变性表示模块实现了同一点云的旋转不变性，但在同一类别内点云的不同实例之间仍然存在差异，将该固定角度的点云进行24次旋转后输入共享参数的DGCNN特征提取结构中得到24个对应的点云特征向量。DGCNN的特征提取模块由四层边卷积组成，将四层边卷积的结果相连后输入到卷积核为1的卷积层，为了提取全局特征将卷积的结果分别经过最大池化和平均池化后进行连接，得到最终的点云全局特征。
步骤2.2中将分类类别设置为24的原因为：
之所以用到24个规律的旋转姿态是因为旋转不变性模块中使用了正交的参考轴，考虑了一个接近实际物体且理想化的情况：对于一个正立方体生成的点云，寻找的第一个参考轴可能出现6种不同的情况，之后，寻找的第二个参考轴可能出现4种情况，也即共有可能出现24种不同的旋转姿态。为了消除类内特征的不一致，对于一个旋转固定的点云，本实施例对其进行旋转操作，共计24种旋转类别，分别对应24个旋转矩阵。如图4所示。
步骤2.3、将这24个特征向量输入最大池化层，得到最终的类内一致性特征向量，输入最终用于分类的全连接层，得到最终的分类结果。
旋转姿态预测网络设计模块，以旋转不变性表示模块为基础，设计了一个旋转姿态预测网络，具体包括：
步骤3.1、该网络也直接由DGCNN修改而来，在DGCNN之前加入旋转不变性表示模块，该模块的作用是固定点云的旋转角度为某一个规律的方向，并记录所经过的旋转矩阵R1。
步骤3.2、将DGCNN网络的类别数修改为24，用来预测24个规律的旋转姿态，本实施例的网络实际上预测的是经过旋转不变性表示模块后点云所在的24个离散的固定旋转姿态的其中的一个，由于本实施例的旋转不变性表示模块可以记录随机旋转后的输入点云将旋转姿态固定过程中的旋转矩阵，所以，将该旋转矩阵与24个类别对应的旋转矩阵相乘即可得到最终预测的旋转矩阵。
步骤3.3、训练过程中，需要得到经过旋转不变性表示模块处理后的点云所对应的旋转分类标签，将数据集中原始的对齐点云姿态设置为类别0，将其旋转24次并将每一次的旋转结果对应一个类别，记录对应的固定旋转矩阵，原始对齐的点云经过一个随机旋转以及一个旋转不变性表示模块所施加的旋转后作为DGCNN网络的输入，本实施例将这这两个旋转矩阵相乘后与分类类别对应的旋转矩阵相比较，两者角度差最小的作为最终姿态分类标签。
步骤3.4、测试阶段将旋转不变性表示模块求得的旋转矩阵与分类标签对应的旋转矩阵相乘的逆作为对最终旋转姿态所对应旋转矩阵的预测值，求得预测值相对于实际值的角度误差作为评判网络效果的指标。
步骤3.3中通过旋转矩阵求对应的旋转角度的方法：
由于本实施例只需要求得旋转角度，而并不需要知道旋转轴，所以只根据旋转矩阵计算得出对应的旋转角度即可，具体的公式表示为：Ra＝R1R2、
其中R1表示经过随机旋转以及旋转不变性表示模块后的总的旋转矩阵，R2表示预测旋转姿态类别所对应的旋转矩阵的逆，24个旋转姿态分类对应24个旋转矩阵，分别代入R2求得对应的24个角度θ，以最小的一个θ对应的分类作为真实标签，来训练本实施例的旋转姿态预测网络。
本实施例中，步骤2和步骤3中训练网络模型的实验设置如下：
实验均在CentOS Linux 7的集群上运行，使用一块Tesla V100 32G的gpu以及10.1版本的cuda。
两部分实验的骨干网络均采用dgcnn，使用随机Adam优化算法，交叉熵损失。为了得到最终稳定的结果，实验中手动设置了学习率衰减策略：分别在第50、80、120、150次迭代时进行学习率衰减，衰减率分别设置为0.1、0.1、0.2、0.2，初始学习率为0.001。为了防止过拟合，在每个全连接层后都加入了batch normalization层和参数为0.5的dropout层。分类网络进行200轮迭代，每一轮迭代的批处理数为2；旋转姿态预测网络的迭代次数为100轮，批处理参数设置为32。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.三维点云分类及旋转姿态预测方法，其特征在于，基于以下定义：
将具有n个点的点云表示为
其中第i行表示点云P中的第i个点Xi的笛卡尔坐标(xi,yi,zi)；方法包括以下步骤：
步骤1、设计三维点云旋转不变性表示模块，具体包括：
步骤1.1、对输入点云中的任意一个点，计算出距离其最近的k个近邻点，所述k个近邻点包含着物体局部的表面信息；
步骤1.2、估算所述k个近邻点所对应的点云局部法向量，具体的公式表示为：
Xij代表中心点Xi邻域内的第j个点，
代表这k个邻域点的均值，Ci代表这k个邻域点的协方差，计算该协方差矩阵最小的特征值所对应的特征向量即为所需要的点云表面法向量；
步骤1.3、将所有点处得到的法向量聚合为一个法向量点云
步骤1.4、对法向量点云
进行聚类求得参考z轴，所述z轴代表点云中最大平面法向量的方向，旋转该点云使真实z轴与参考z轴重合；将所有点投影到xy平面，删除与原点距离小于设定值以内的点，将剩余点全部单位化，形成平面上的圆环形状的点云，对该平面点云再次进行聚类操作，选取第二个参考轴，将其作为参考x轴，所述参考x轴由点云中第二大平面决定；再次旋转该点云，使参考x轴与真实x轴重合；此时点云的旋转姿态被固定；
步骤2、以旋转不变性表示模块作为前置模块，设计具有旋转鲁棒性的三维点云分类神经网络，具体包括：
步骤2.1、输入具有随机旋转的点云，经过旋转不变性表示模块后对于同一点云将具有唯一固定的方向；
步骤2.2、将步骤2.1中固定角度的点云进行24次旋转后输入共享参数的DGCNN特征提取结构中得到24个对应的点云特征向量；
步骤2.3、将所述24个对应的点云特征向量输入最大池化层，得到最终的类内一致性特征向量，输入最终用于分类的全连接层，得到最终的分类结果；
步骤3、以旋转不变性表示模块为基础，设计旋转姿态预测网络，具体包括：
步骤3.1、在所述DGCNN之前加入旋转不变性表示模块，所述旋转不变性表示模块用以固定点云的旋转角度为某一个规律的方向，并记录所经过的旋转矩阵R1；
步骤3.2、将DGCNN网络的类别数修改为24，用来预测24个规律的旋转姿态，所述旋转不变性表示模块可以记录随机旋转后的输入点云将旋转姿态固定过程中的旋转矩阵，将旋转姿态固定过程中的旋转矩阵与24个类别对应的旋转矩阵相乘即可得到最终预测的旋转矩阵；
步骤3.3、训练过程中，需要得到经过旋转不变性表示模块处理后的点云所对应的旋转分类标签，将数据集中原始的对齐点云姿态设置为类别0，将其旋转24次并将每一次的旋转结果对应一个类别，记录对应的固定旋转矩阵，原始对齐的点云经过一个随机旋转以及一个旋转不变性表示模块所施加的旋转后作为DGCNN网络的输入，将两个旋转矩阵相乘后与分类类别对应的旋转矩阵相比较，两者角度差最小的作为最终姿态分类标签；
步骤3.4、测试阶段将旋转不变性表示模块求得的旋转矩阵与分类标签对应的旋转矩阵相乘的逆作为对最终旋转姿态所对应旋转矩阵的预测值，求得预测值相对于实际值的角度误差作为评判网络效果的指标。
2.根据权利要求1所述的三维点云分类及旋转姿态预测方法，其特征在于，所述步骤1.4中已知两个坐标轴，需要旋转点云使之重合，具体用到的公式可以表示为：
q0＝cos(θ/2)、q1＝x·sin(θ/2)、q2＝y·sin(θ/2)、q3＝z·sin(θ/2)、
其中θ表示从参考轴到真实坐标轴的角度，(x,y,z)表示参考轴与真实坐标轴叉积的结果，(q0,q1,q2,q3)表示从参考轴到真实坐标轴旋转的四元组，R表示从参考轴到真实坐标轴的旋转矩阵。
3.根据权利要求1所述的三维点云分类及旋转姿态预测方法，其特征在于，所述步骤3.3中通过旋转矩阵求对应的旋转角度的方法：
根据旋转矩阵计算得出对应的旋转角度的公式表示为：Ra＝R1R2、
其中R1表示经过随机旋转以及旋转不变性表示模块后的总的旋转矩阵，R2表示预测旋转姿态类别所对应的旋转矩阵的逆，24个旋转姿态分类对应24个旋转矩阵，分别代入R2求得对应的24个角度θ，以最小的一个θ对应的分类作为真实标签，来训练本实施例的旋转姿态预测网络。
4.根据权利要求1所述的三维点云分类及旋转姿态预测方法，其特征在于，步骤2和步骤3中训练网络模型的实验设置如下：实验均在CentOS Linux 7的集群上运行，使用一块Tesla V100 32G的gpu以及10.1版本的cuda。
5.三维点云分类及旋转姿态预测系统，其特征在于，基于以下定义：
将具有n个点的点云表示为
其中第i行表示点云P中的第i个点Xi的笛卡尔坐标(xi,yi,zi)；方法包括以下步骤：
三维点云旋转不变性表示模块设计模块，用以设计三维点云旋转不变性表示模块，具体包括：
步骤1.1、对输入点云中的任意一个点，计算出距离其最近的k个近邻点，所述k个近邻点包含着物体局部的表面信息；
步骤1.2、估算所述k个近邻点所对应的点云局部法向量，具体的公式表示为：
Xij代表中心点Xi邻域内的第j个点，
代表这k个邻域点的均值，Ci代表这k个邻域点的协方差，计算该协方差矩阵最小的特征值所对应的特征向量即为所需要的点云表面法向量；
步骤1.3、将所有点处得到的法向量聚合为一个法向量点云
步骤1.4、对法向量点云
进行聚类求得参考z轴，所述z轴代表点云中最大平面法向量的方向，旋转该点云使真实z轴与参考z轴重合；将所有点投影到xy平面，删除与原点距离小于设定值以内的点，将剩余点全部单位化，形成平面上的圆环形状的点云，对该平面点云再次进行聚类操作，选取第二个参考轴，将其作为参考x轴，所述参考x轴由点云中第二大平面决定；再次旋转该点云，使参考x轴与真实x轴重合；此时点云的旋转姿态被固定；
三维点云分类神经网络设计模块，用以以旋转不变性表示模块作为前置模块，设计具有旋转鲁棒性的三维点云分类神经网络，具体包括：
步骤2.1、输入具有随机旋转的点云，经过旋转不变性表示模块后对于同一点云将具有唯一固定的方向；
步骤2.2、将步骤2.1中固定角度的点云进行24次旋转后输入共享参数的DGCNN特征提取结构中得到24个对应的点云特征向量；
步骤2.3、将所述24个对应的点云特征向量输入最大池化层，得到最终的类内一致性特征向量，输入最终用于分类的全连接层，得到最终的分类结果；
旋转姿态预测网络设计模块，用以以旋转不变性表示模块为基础，设计旋转姿态预测网络，具体包括：
步骤3.1、在所述DGCNN之前加入旋转不变性表示模块，所述旋转不变性表示模块用以固定点云的旋转角度为某一个规律的方向，并记录所经过的旋转矩阵R1；
步骤3.2、将DGCNN网络的类别数修改为24，用来预测24个规律的旋转姿态，所述旋转不变性表示模块可以记录随机旋转后的输入点云将旋转姿态固定过程中的旋转矩阵，将旋转姿态固定过程中的旋转矩阵与24个类别对应的旋转矩阵相乘即可得到最终预测的旋转矩阵；
步骤3.3、训练过程中，需要得到经过旋转不变性表示模块处理后的点云所对应的旋转分类标签，将数据集中原始的对齐点云姿态设置为类别0，将其旋转24次并将每一次的旋转结果对应一个类别，记录对应的固定旋转矩阵，原始对齐的点云经过一个随机旋转以及一个旋转不变性表示模块所施加的旋转后作为DGCNN网络的输入，将两个旋转矩阵相乘后与分类类别对应的旋转矩阵相比较，两者角度差最小的作为最终姿态分类标签；
步骤3.4、测试阶段将旋转不变性表示模块求得的旋转矩阵与分类标签对应的旋转矩阵相乘的逆作为对最终旋转姿态所对应旋转矩阵的预测值，求得预测值相对于实际值的角度误差作为评判网络效果的指标。
6.根据权利要求5所述的三维点云分类及旋转姿态预测系统，其特征在于，所述步骤1.4中已知两个坐标轴，需要旋转点云使之重合，具体用到的公式可以表示为：
q0＝cos(θ/2)、q1＝x·sin(θ/2)、q2＝y·sin(θ/2)、q3＝z·sin(θ/2)、
其中θ表示从参考轴到真实坐标轴的角度，(x,y,z)表示参考轴与真实坐标轴叉积的结果，(q0,q1,q2,q3)表示从参考轴到真实坐标轴旋转的四元组，R表示从参考轴到真实坐标轴的旋转矩阵。
7.根据权利要求5所述的三维点云分类及旋转姿态预测系统，其特征在于，所述步骤3.3中通过旋转矩阵求对应的旋转角度的方法：
根据旋转矩阵计算得出对应的旋转角度的公式表示为：Ra＝R1R2、
其中R1表示经过随机旋转以及旋转不变性表示模块后的总的旋转矩阵，R2表示预测旋转姿态类别所对应的旋转矩阵的逆，24个旋转姿态分类对应24个旋转矩阵，分别代入R2求得对应的24个角度θ，以最小的一个θ对应的分类作为真实标签，来训练本实施例的旋转姿态预测网络。
8.根据权利要求5所述的三维点云分类及旋转姿态预测系统，其特征在于，所述步骤2和步骤3中训练网络模型的实验设置如下：实验均在CentOS Linux 7的集群上运行，使用一块Tesla V100 32G的gpu以及10.1版本的cuda。
9.一种处理设备，其特征在于，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210133958.2A CN114511745B (zh) | 2022-02-14 | 2022-02-14 | 三维点云分类及旋转姿态预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210133958.2A CN114511745B (zh) | 2022-02-14 | 2022-02-14 | 三维点云分类及旋转姿态预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511745A true CN114511745A (zh) | 2022-05-17 |
| CN114511745B CN114511745B (zh) | 2024-03-12 |
Family
ID=81550800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210133958.2A Active CN114511745B (zh) | 2022-02-14 | 2022-02-14 | 三维点云分类及旋转姿态预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511745B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092038A (zh) * | 2023-04-07 | 2023-05-09 | 中国石油大学(华东) | 一种基于点云的大件运输关键道路空间通行性判定方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685848A (zh) * | 2018-12-14 | 2019-04-26 | 上海交通大学 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
| US20210192271A1 (en) * | 2019-12-23 | 2021-06-24 | Beijing Institute Of Technology | Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction |
-
2022
- 2022-02-14 CN CN202210133958.2A patent/CN114511745B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685848A (zh) * | 2018-12-14 | 2019-04-26 | 上海交通大学 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
| US20210192271A1 (en) * | 2019-12-23 | 2021-06-24 | Beijing Institute Of Technology | Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092038A (zh) * | 2023-04-07 | 2023-05-09 | 中国石油大学(华东) | 一种基于点云的大件运输关键道路空间通行性判定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114511745B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242199B (zh) | 图像分类模型的训练方法及分类方法 | |
| CN110222580B (zh) | 一种基于三维点云的人手三维姿态估计方法和装置 | |
| CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
| CN111625667A (zh) | 一种基于复杂背景图像的三维模型跨域检索方法及系统 | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN110674685B (zh) | 一种基于边缘信息增强的人体解析分割模型及方法 | |
| CN114299150A (zh) | 一种深度6d位姿估计网络模型及工件位姿估计方法 | |
| CN111209974A (zh) | 基于张量分解的异构大数据核心特征提取的方法及系统 | |
| CN105809113A (zh) | 三维人脸识别方法及应用其的数据处理装置 | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN111738319B (zh) | 一种基于大规模样本的聚类结果评价方法及装置 | |
| CN111754637A (zh) | 一种样本相似度抑制的大尺度三维人脸合成系统 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN110400370B (zh) | 一种构建三维cad模型的语义级部件模板的方法 | |
| CN115115815A (zh) | 三维网格模型的特征提取网络的训练方法、装置和系统 | |
| CN114511745A (zh) | 三维点云分类及旋转姿态预测方法及系统 | |
| Yang et al. | An improved algorithm for the detection of fastening targets based on machine vision | |
| CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
| Gao et al. | Efficient view-based 3-D object retrieval via hypergraph learning | |
| CN112085837A (zh) | 一种基于几何形状和lstm神经网络的三维模型分类方法 | |
| CN111209530A (zh) | 基于张量分解的异构大数据因子特征提取的方法及系统 | |
| CN114913330A (zh) | 点云部件分割方法、装置、电子设备与存储介质 | |
| CN109658489B (zh) | 一种基于神经网络的立体网格数据处理方法和系统 | |
| Shi et al. | Point cloud object recognition method via histograms of dual deviation angle feature | |
| CN111783711B (zh) | 基于身体部件层面的骨架行为识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |