CN113705655A - 三维点云全自动分类方法及深度神经网络模型 - Google Patents
三维点云全自动分类方法及深度神经网络模型 Download PDFInfo
- Publication number
- CN113705655A CN113705655A CN202110973556.9A CN202110973556A CN113705655A CN 113705655 A CN113705655 A CN 113705655A CN 202110973556 A CN202110973556 A CN 202110973556A CN 113705655 A CN113705655 A CN 113705655A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- sampling
- points
- dimensional point
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003062 neural network model Methods 0.000 title claims description 23
- 238000005070 sampling Methods 0.000 claims abstract description 134
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 230000000052 comparative effect Effects 0.000 description 21
- 238000002474 experimental method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000350052 Daniellia ogea Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种三维点云全自动分类方法，包括：获取三维点云数据集；对三维点云数据集代表的三维点云下采样，选取三维点云中的部分点作为采样点，基于采样点构建点云区域组，提取点云区域组的全局特征，用采样点代替其所在的点云区域组；将三维点云进行上采样，以将三维点云的点数量恢复至初始数量，将三维点云中每点所在点云区域组的全局特征进行拼接融合，得到每点的融合特征；对经过三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。本发明将同类整体点云的类别与每个点的单体语义类别相同的先验知识融合进深度神经网络，提高了点云的分类精度。
Description
技术领域
本发明涉及三维点云分类技术领域。更具体地说，本发明涉及一种三维点云全自动分类方法及深度神经网络模型。
背景技术
近年来，随着三维传感技术的快速发展，三维激光点云的获取变得越来越便捷。三维激光点云是一个点集，记录了被量测物体的表面信息，被广泛的应用于众多领域，如自动驾驶、城市的三维重建、植被监测等领域，而点云的分类是点云数据应用的前提工作。点云分类，即将点云分类到不同的点云集，同一个点云集具有相似或相同的属性。目前对点云进行分类的方法大致分为三种：①.基于点的分类方法，如点签名法，旋转图像法和体素网格法等。该类方法虽然可以进行多种类目标识别，但当点云数据含有噪声或存在部分遮挡的情况时，识别效果较差；②.基于机器学习的方法。该类方法的本质是借助模型进行特征的自适应学习和分类，常见的有支持向量机、随机森林等方法。该类方法在结构简单的模型上分类效果较好，对于结构复杂的三维模型的识别精度较低；③.基于深度学习的点云分类方法。深度学习开辟了点云分类的新方向，提高了点云分类的自动化与智能化程度。当前通过深度学习技术进行点云分类的方法不需要改变点云数据格式，可将点云直接输入进网络。斯坦福大学的Qi团队提出了PointNet++网络，该网络利用多层感知机(MLP)提取得到点云的全局特征，并通过将点云划分成多个重叠区域，对每个区域应用多层感知机提取局部全局特征作为整体点云的局部特征，并使用最大值对称函数解决了点云无序性问题；但是该网络忽略了同类点云的整体语义与每个点的单体语义相同的特点，未对识别结果进行核验便直接作为点云的最终预测的类别，导致精度较低，对于点云缺失的情况，鲁棒性一般，精度受点云采样点数量影响较大。
发明内容
本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种三维点云全自动分类方法及深度神经网络模型，将同类整体点云的类别与每个点的单体语义类别相同的先验知识融合进深度神经网络，提高了点云的分类精度。
为了实现根据本发明的这些目的和其它优点，提供了一种三维点云全自动分类方法，包括：
获取三维点云数据集；
对三维点云数据集代表的三维点云进行多次下采样，下采样过程包括：选取三维点云中的部分点作为采样点，基于每一采样点构建点云区域组，提取每个点云区域组的全局特征作为三维点云的局部特征，用采样点代替其所在的点云区域组；
将经过下采样处理后的三维点云进行与下采样相同次数的上采样，以将三维点云的点数量恢复至初始数量，并将三维点云中每点在多次下采样中每次所在点云区域组的全局特征进行拼接融合，得到每点的融合特征；
对经过上采样处理后的三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；
统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。
优选的是，下采样过程进行两次，上采样过程也进行两次。
优选的是，下采样过程中采样点的选取数量为预设的，采样算法为Farthestpoint sampling算法。
优选的是，基于每一采样点构建点云区域组的过程包括：以采样点为圆心，根据预设半径和预设点数量选择采样点周围的点共同组成点云区域组。
优选的是，上采样过程中采用插值法将三维点云的点数量恢复至初始数量。
优选的是，所述三维点云全自动分类方法通过深度神经网络模型执行。
优选的是，所述深度神经网络模型训练过程中利用损失函数，通过梯度反向传播算法对模型参数进行更新，所述损失函数为负对数似然损失函数。
本发明还提供了一种用于三维点云全自动分类的深度神经网络模型，包括：
输入层，用于获取三维点云数据集；
点云下采样层，用于对三维点云数据集代表的三维点云进行多次下采样，下采样过程包括：选取三维点云中的部分点作为采样点，基于每一采样点构建点云区域组，提取每个点云区域组的全局特征作为三维点云的局部特征，用采样点代替其所在的点云区域组；
点云数量恢复层，用于将经过下采样处理后的三维点云进行与下采样相同次数的上采样，以将三维点云的点数量恢复至初始数量，并将三维点云中每点在多次采样中每次所在点云区域组的全局特征进行拼接融合，得到每点的融合特征；
全连接层，用于对经过上采样处理后的三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；
IRS机制处理单元，用于统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。
本发明还提供了一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的三维点云全自动分类方法。
本发明还提供了存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现上述的三维点云全自动分类方法。
本发明至少包括以下有益效果：本发明在对点云的每个点进行分类的基础上增加了IRS机制处理单元(识别结果筛选单元)，将同类整体点云的类别与每个点的单体语义类别相同的先验知识融合进深度神经网络，提高了点云的分类精度，本发明的深度神经网络对门、浴缸、汽车、人物、楼梯等元素的分类精度可达100％，常见的四十种元素的分类精度可达97.28％；本发明也加强了对数量稀少点云种类识别的鲁棒性，当点云数量从2048逐渐减少至200时，本发明的深度神经网络对常见的四十种元素的分类精度均在90％以上；本发明的神经网络迭代次数较少(仅为100)的情况下仍然可以取得96.22％的分类精度，更有利于避免过拟合现象的发生。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明披露的一个实施例的实施场景示意图；
图2为本发明一个实施例的用于三维点云全自动分类的深度神经网络模型的结构示意图；
图3为本发明一个实施例的下采样过程示意图；
图4为本发明一个实施例的上采样过程示意图；
图5为本发明一个实施例的深度神经网络模型的工作过程图；
图6为本发明一个实施例的IRS机制处理单元的工作过程图；
图7为本发明一个实施例的三维点云全自动分类方法的流程图；
图8为本发明中实施例与对比例的精度结果对比图；
图9为本发明中不同采样点情况下的实施例与对比例的鲁棒性对比图；
图10为本发明中不同采样点情况下的实施例与对比例训练过程对比图；
图11为本发明中迭代次数为100的情况下实施例与对比例的精度结果变化对比图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，为本说明书披露的一个实施例的实施场景示意图。首先，使用FaroFocus3D X130扫描仪扫描待处理的三维物体，得到待处理三维物体的三维点云数据，将待处理三维物体的三维点云数据依次进行配准、去噪、抽稀处理，得到三维点云数据集，将三维点云数据集输入到深度神经网络模型中，深度神经网络模型基于三维点云数据集对三维点云中的每点进行语义分割，对每一点都进行类别判断，再通过IRS机制在语义分割的基础上进行二次统计，IRS机制首先统计三维点云中各个类别包含的点数量，然后选择点数量最多的类别作为最终的该整体三维点云的预测标签。
下面结合深度神经网络模型的结构，描述三维点云全自动分类方法的过程，图2示出根据本说明书一个实施例的用于三维点云全自动分类的深度神经网络模型的结构示意图。需要理解，该深度神经网络模型可以通过任何适当的计算机程序代码语言来实现。如图2所示，所述深度神经网络模型至少包括：
输入层，用于获取三维点云数据集；
点云下采样层，用于对三维点云数据集代表的三维点云进行多次下采样，下采样过程包括：选取三维点云中的部分点作为采样点，基于每一采样点构建点云区域组，提取每个点云区域组的全局特征作为三维点云的局部特征，用采样点代替其所在的点云区域组；
在一实施例中，所述点云下采样层包括点云下采样单元、区域组构建单元和全局特征提取单元。点云下采样单元用于对输入层的三维点云进行采样，只保留部分点进入下一层网络，这里点云下采样单元采用Farthest point sampling(FPS)算法选取采样点，以保证采样点均匀分布在整个三维点云上。区域组构建单元用于基于每一采样点构建点云区域组，该过程包括：以采样点为圆心，根据预设半径和预设点数量选择采样点周围的点共同组成点云区域组。全局特征提取单元作为特征提取器包括两个旋转变换层、两个卷积层(每个卷积层包含三层MLP层)与一个池化层，全局特征提取单元用于提取出点云的全局特征，这里当点云区域组构建完成后，全局特征提取单元提取每个点云区域组的全局特征作为三维点云的局部特征，用采样点代替其所在的点云区域组(如图3所示)。点云下采样层进行多次下采样时，在前一次下采样的基础上进行后一次下采样。
点云数量恢复层，用于将经过下采样处理后的三维点云进行与下采样相同次数的上采样，以将三维点云的点数量恢复至初始数量，并将三维点云中每点在多次采样中每次所在点云区域组的全局特征进行拼接融合，得到每点的融合特征(如图4所示)；
在一实施例中，点云数量恢复层包括上采样单元和特征拼接融合单元。上采样单元利用已知点和未知点的近邻关系和位置信息，通过特征差值计算，将三维点云的点数量恢复至目标数量，特征差值计算公式如式1所示：
其中，ωj(pi)代表的是权值，是未知点和已知点的距离的倒数，
代表未知的插值点的特征差值信息，fj代表已知点的特征值信息，pi代表已知点，pj代表未知点，N(pi)代表已知点所在点云区域组。
特征拼接融合单元用于将三维点云中每点在多次采样中每次所在点云区域组的全局特征进行拼接融合，得到每点的融合特征，这里拼接融合方法是将三维点云中每个点的特征进行直接相连，然后通过多层感知机(MLP)进行特征维度转换。
这里以点云下采样层进行了两次下采样为例说明点云数量恢复层的工作过程：假设三维点云的点初始数量为N个，经过第一次下采样后，得到N1个下采样点，三维点云中的点a第一次下采样后其所在点云区域组的全局特征为C1，经过第二次下采样后，得到N2个下采样点，点a第二次下采样后其所在点云区域组的全局特征为C2，那么点云数量恢复层先将三维点云的点数量由N2个恢复至N1个，同时将点a第二次下采样后其所在点云区域组的全局特征C2直接连接到第一次下采样后其所在点云区域组的全局特征C1上，即C1+C2，然后通过多层感知机(MLP)将C1+C2转换为C3，点云数量恢复层再将三维点云的点数量由N1个恢复至N个，此时，若点a在三维点云数据集中包含初始特征C0，则将点a两次下采样后其所在点云区域组的全局特征C3，直接连接到初始特征C0上，即C0+C3，然后通过多层感知机(MLP)将C0+C3转换为C4，若点a在三维点云数据集中不包含初始特征C0，则通过多层感知机(MLP)将C3转换为C4’。(如图5所示)
全连接层，用于对经过上采样处理后的三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；
IRS机制处理单元，用于统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。如：某同类点云共包含10000个点，已完成语义分割，通过IRS机制的的统计功能，统计结果如下：点云中有5500个点判定为飞机，1500个点判定为植物，1500个点判定为显示器，1500个点判定为窗帘，再通过IRS机制的二次筛选作用，选择点数最多的类别作为三维点云的最终类别，最终该点云预测判定为飞机。(如图6所示)
在一实施例中，上述深度神经网络模型训练过程中利用损失函数，通过梯度反向传播算法对模型参数进行更新，所述损失函数为负对数似然损失函数，负对数似然损失函数输入的是一个对数概率矩阵和一个目标标签，由于网络的输出值并不是矩阵形式，则需要在负对数似然损失函数前增加softmax层(式2)和对数处理层(式3)得到概率矩阵，然后经过负对数似然损失函数(式4)得到损失值。公式如下：
其中，exp(xi)代表e(xi)，分母代表所有数值分别经过对数处理的求和运算，实现了概率矩阵的归一化。
xi＝log(xi) 式(3)
其中，xn为预测出来的概率矩阵，yn为数据的标签值，是和xn同维度的概率矩阵。
回顾以上深度神经网络模型的结构和处理过程可以看到，IRS机制处理单元(识别结果筛选单元)，将同类整体点云的类别与每个点的单体语义类别相同的先验知识融合进深度神经网络，提高了点云的分类精度。
另一方面，本发明还提供一种三维点云全自动分类方法。图7示出根据一个实施例的说话人识别的方法流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图7所示，该方法包括以下步骤：
S1、获取三维点云数据集；
具体的，三维点云数据集中至少包括每点的坐标信息；
S2、对三维点云数据集代表的三维点云进行多次下采样，下采样过程包括：选取三维点云中的部分点作为采样点，基于每一采样点构建点云区域组，提取每个点云区域组的全局特征作为三维点云的局部特征，用采样点代替其所在的点云区域组；
具体的，下采样次数可以为两次，下采样过程中采样点的选取数量为预设的，采样算法为Farthest point sampling算法，多次下采样时，在前一次下采样的基础上进行后一次下采样。基于每一采样点构建点云区域组的过程包括：以采样点为圆心，根据预设半径和预设点数量选择采样点周围的点共同组成点云区域组。
S3、将经过下采样处理后的三维点云进行与下采样相同次数的上采样，以将三维点云的点数量恢复至初始数量，并将三维点云中每点在多次下采样中每次所在点云区域组的全局特征进行拼接融合，得到每点的融合特征；
具体的，上采样过程可以为两次，上采样过程中采用插值法将三维点云的点数量恢复至初始数量，主要是利用已知点和未知点的近邻关系和位置信息，通过特征差值计算，将三维点云的点数量恢复至目标数量，特征差值计算公式如式1所示。拼接融合方法是将三维点云中每个点的特征进行直接相连，然后通过多层感知机(MLP)进行特征维度转换。
S4、对经过上采样处理后的三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；
S5、统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。
上述三维点云全自动分类方法采用深度神经网络模型执行时，深度神经网络模型训练过程中利用损失函数，通过梯度反向传播算法对模型参数进行更新，所述损失函数为负对数似然损失函数。
下面分别以本发明提供的深度神经网络模型作为实施例和以PointNet++模型作为对比例，在ModelNet40公共数据集进行不同目的的对比试验。
本发明所进行的试验在Win10系统下的Pycharm中进行，具体的环境参数为：Python 3.7，CUDA 10.1，CuDnn 7.6.5，PyTorch 1.7.1。
本发明试验所采用的数据集是ModelNet40公共数据集，该数据集收集了40个不同类别的三维对象数据，共有12311个样本，包含9843个训练样本与2468个测试样本。为了进行试验对比，本发明的实施例实验采用与对比例(PointNet++)相同的数据预处理方法，只采用数据的三维坐标作为输入特征。
在本发明进行的分类实验中，实施例网络模型超参数设置如下所示：批处理大小(Batch)设置为8，该参数为同时输入进网络的数据量，影响网络模型的收敛速度，取决于计算机GPU的性能，通过预实验，本文将Batch设置为8；使用交叉熵损失函数实现梯度下降进行网络模型参数更新；为了快速找到最优解，采用Adam优化器；学习率(Learning Rate，lr)为网络更新参数的幅度，设置为0.001；学习率衰减率设置为0.7。
①.模型精度对比
本实施例首先采用控制变量法进行本发明的深度神经网络的精度验证，将迭代次数(Epoch)设置为251，采样点数量(Npoints)设置为2048，在相同条件下进行实施例和对比例的实验对比。训练过程精度对比如图8所示：
图8说明了在相同的训练条件(等迭代次数与等采样点)下，本发明的实施例的训练精度要一直高于对比例。二者最终的具体训练精度与各个单一类别的训练精度如表1所示：
表1实施例与对比例在2048个采样点下的精度和各个类别精度对比(Acc/％)
续表
续表
续表
续表
根据表1可知，本发明的实施例最终的整体精度达到97.28％，比对比例增长了11.34％；各类别平均精度达到96.35％，比对比例增长了10.05％；最优精度达到97.45，比对比例增长了7.24％；各个类别的精度均高于对比例的精度，如本发明实施例对浴缸(Bathtub)、汽车(Car)、门(Door)、人(Person)、楼梯(Stairs)等物品的识别精度可达到100％的分类效果。
②模型鲁棒性验证
为了验证本发明中实施例的鲁棒性，本实施例进行了实施例与对比例的鲁棒性对比实验。对比实验采用控制变量的方法，通过设置不同数量的采样点数(Npoints)，保持其他实验条件一致进行两个网络的鲁棒性的对比。本实施例将采样点数分别设置为200、400、600、1024、2048，迭代次数均设置为251，每组对比实验的实施例与对比例网络模型的最优精度如图9所示。通过图9可以观察到，当点云的采样点数量从2048降到200的过程中，实施例的精度都要高于对比例，对点云数量稀少的情况仍然具有较高的精度，表现出较好的鲁棒性。
本实施例还将五组对比实验的训练过程进行比较，结果如图10所示，通过图10可知，每组对比实验中点云采样点数相同的情况下，实施例的训练精度一直优于对比例；即使当点云采样点降到最小值200时，实施例的精度变化过程仍要优于采样点数为2048情况下的对比例的精度变化。由此可见，即使点云中点的数量十分稀少，但是实施例仍然表现出较高的精度，说明本发明的实施例具有更强的鲁棒性。
③模型训练迭代次数对比
迭代次数是深度学习中的重要超参数，该超参数影响着模型的精度与迁移性。迭代次数设置过低，网络模型的训练精度会较低；迭代次数设置过高，虽然训练精度会提高，但是测试精度与迁移能力都会降低，从而发生过拟合现象。因此，需要找到网络型的最优迭代次数，既能使网络精度达到最优，同时又避免发生拟合现象。
为了研究迭代次数对本发明的实施例网络精度的影响，本实施例首先在采样点数(Npoints)设置为2048、迭代次数(Epoch)设置为100的情况进行实施例和对比例的训练，两个网络的训练精度变化如图11所示：
通过图11可看出，随着迭代次数的增加，实施例和对比例网络模型的整体精度(Accuracy)呈现持续递增的趋势，Epoch＝100时的整体识别精度分别为79.43％和96.22％，本发明的实施例的精度提升速度远快于对比例。
该结果表明，相比于对比例，本发明的实施例通过更少的迭代次数取得了更高的分类精度，说明本发明的实施例网络模型在保证精度的情况下，更不易发生过拟合，具有更好的迁移性。
本实施例对训练完成的网络进行点云类别预测的测试，测试结果如下：
表2衣柜与书架的识别结果对比
本发明还提供了一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的三维点云全自动分类方法。
本发明还提供了存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现上述的三维点云全自动分类方法。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (10)
1.三维点云全自动分类方法，其特征在于，包括：
获取三维点云数据集；
对三维点云数据集代表的三维点云进行多次下采样，下采样过程包括：选取三维点云中的部分点作为采样点，基于每一采样点构建点云区域组，提取每个点云区域组的全局特征作为三维点云的局部特征，用采样点代替其所在的点云区域组；
将经过下采样处理后的三维点云进行与下采样相同次数的上采样，以将三维点云的点数量恢复至初始数量，并将三维点云中每点在多次下采样中每次所在点云区域组的全局特征进行拼接融合，得到每点的融合特征；
对经过上采样处理后的三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；
统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。
2.如权利要求1所述的三维点云全自动分类方法，其特征在于，下采样过程进行两次，上采样过程也进行两次。
3.如权利要求1所述的三维点云全自动分类方法，其特征在于，下采样过程中采样点的选取数量为预设的，采样算法为Farthest point sampling算法。
4.如权利要求1所述的三维点云全自动分类方法，其特征在于，基于每一采样点构建点云区域组的过程包括：以采样点为圆心，根据预设半径和预设点数量选择采样点周围的点共同组成点云区域组。
5.如权利要求1所述的三维点云全自动分类方法，其特征在于，上采样过程中采用插值法将三维点云的点数量恢复至初始数量。
6.如权利要求1所述的三维点云全自动分类方法，其特征在于，所述三维点云全自动分类方法通过深度神经网络模型执行。
7.如权利要求6所述的三维点云全自动分类方法，其特征在于，所述深度神经网络模型训练过程中利用损失函数，通过梯度反向传播算法对模型参数进行更新，所述损失函数为负对数似然损失函数。
8.用于三维点云全自动分类的深度神经网络模型，其特征在于，包括：
输入层，用于获取三维点云数据集；
点云下采样层，用于对三维点云数据集代表的三维点云进行多次下采样，下采样过程包括：选取三维点云中的部分点作为采样点，基于每一采样点构建点云区域组，提取每个点云区域组的全局特征作为三维点云的局部特征，用采样点代替其所在的点云区域组；
点云数量恢复层，用于将经过下采样处理后的三维点云进行与下采样相同次数的上采样，以将三维点云的点数量恢复至初始数量，并将三维点云中每点在多次采样中每次所在点云区域组的全局特征进行拼接融合，得到每点的融合特征；
全连接层，用于对经过上采样处理后的三维点云中每点依据其融合特征进行类别判别，得到每点的类别信息；
IRS机制处理单元，用于统计每个类别包含点的数量，选择包含点的数量最多的类别作为三维点云的类别。
9.电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1～7中任一项所述的方法。
10.存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1～7中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110973556.9A CN113705655B (zh) | 2021-08-24 | 2021-08-24 | 三维点云全自动分类方法及深度神经网络模型 |
| US17/748,185 US20230076092A1 (en) | 2021-08-24 | 2022-05-19 | Full-automatic classification method for three-dimensional point cloud and deep neural network model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110973556.9A CN113705655B (zh) | 2021-08-24 | 2021-08-24 | 三维点云全自动分类方法及深度神经网络模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705655A true CN113705655A (zh) | 2021-11-26 |
| CN113705655B CN113705655B (zh) | 2023-07-18 |
Family
ID=78654355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110973556.9A Active CN113705655B (zh) | 2021-08-24 | 2021-08-24 | 三维点云全自动分类方法及深度神经网络模型 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230076092A1 (zh) |
| CN (1) | CN113705655B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311534A (zh) * | 2022-08-26 | 2022-11-08 | 中国铁道科学研究院集团有限公司 | 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246121B (zh) * | 2023-05-12 | 2023-08-11 | 山东科技大学 | 一种基于改进最远点采样的点云数据处理方法 |
| CN117473105B (zh) * | 2023-12-28 | 2024-04-05 | 浪潮电子信息产业股份有限公司 | 基于多模态预训练模型的三维内容生成方法及相关组件 |
| CN117726822B (zh) * | 2024-02-18 | 2024-05-03 | 安徽大学 | 基于双分支特征融合的三维医学图像分类分割系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006117A1 (en) * | 2013-07-01 | 2015-01-01 | Here Global B.V. | Learning Synthetic Models for Roof Style Classification Using Point Clouds |
| CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
| CN110222767A (zh) * | 2019-06-08 | 2019-09-10 | 西安电子科技大学 | 基于嵌套神经网络和栅格地图的三维点云分类方法 |
| CN110414577A (zh) * | 2019-07-16 | 2019-11-05 | 电子科技大学 | 一种基于深度学习的激光雷达点云多目标地物识别方法 |
| US20200272825A1 (en) * | 2019-05-27 | 2020-08-27 | Beijing Dajia Internet Information Technology Co., Ltd. | Scene segmentation method and device, and storage medium |
| CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113269040A (zh) * | 2021-04-25 | 2021-08-17 | 南京大学 | 结合图象识别与激光雷达点云分割的驾驶环境感知方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12080078B2 (en) * | 2019-11-15 | 2024-09-03 | Nvidia Corporation | Multi-view deep neural network for LiDAR perception |
| EP4172876A4 (en) * | 2020-07-27 | 2024-07-10 | Waymo Llc | PROCESSING IMAGES WITH PERSPECTIVE FIELD OF VIEW USING NEURAL NETWORKS |
| US20230035475A1 (en) * | 2021-07-16 | 2023-02-02 | Huawei Technologies Co., Ltd. | Methods and systems for semantic segmentation of a point cloud |
-
2021
- 2021-08-24 CN CN202110973556.9A patent/CN113705655B/zh active Active
-
2022
- 2022-05-19 US US17/748,185 patent/US20230076092A1/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006117A1 (en) * | 2013-07-01 | 2015-01-01 | Here Global B.V. | Learning Synthetic Models for Roof Style Classification Using Point Clouds |
| CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
| US20200272825A1 (en) * | 2019-05-27 | 2020-08-27 | Beijing Dajia Internet Information Technology Co., Ltd. | Scene segmentation method and device, and storage medium |
| CN110222767A (zh) * | 2019-06-08 | 2019-09-10 | 西安电子科技大学 | 基于嵌套神经网络和栅格地图的三维点云分类方法 |
| CN110414577A (zh) * | 2019-07-16 | 2019-11-05 | 电子科技大学 | 一种基于深度学习的激光雷达点云多目标地物识别方法 |
| CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113269040A (zh) * | 2021-04-25 | 2021-08-17 | 南京大学 | 结合图象识别与激光雷达点云分割的驾驶环境感知方法 |
Non-Patent Citations (6)
| Title |
|---|
| GUANG ZENG 等: "Point cloud up-sampling network with multi-level spatial local feature aggregation", 《COMPUTERS & ELECTRICAL ENGINEERING》, vol. 94, pages 1 - 10 * |
| YANCHAO LIAN 等: "A dense pointnet++ architecture for 3D point cloud semantic segmentation", 《IGARSS 2019-2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》, pages 5061 - 5064 * |
| 张晓光: "基于深度学习的室内点云语义分割方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 08, pages 138 - 441 * |
| 肖铭杰: "基于深度学习的单视图三维点云重建方法研究", 《中国优秀硕士学位论文全文数据库信息科技》, no. 02, pages 138 - 1625 * |
| 范筱媛: "基于深度学习的三维目标检测与语义分割", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 08, pages 138 - 596 * |
| 赵江洪 等: "一种基于分割结果实现三维点云分类的方法", 《测绘科学》, vol. 47, no. 03, pages 85 - 95 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311534A (zh) * | 2022-08-26 | 2022-11-08 | 中国铁道科学研究院集团有限公司 | 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230076092A1 (en) | 2023-03-09 |
| CN113705655B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
| CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
| CN113705655B (zh) | 三维点云全自动分类方法及深度神经网络模型 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN106897738A (zh) | 一种基于半监督学习的行人检测方法 | |
| CN106407986A (zh) | 一种基于深度模型的合成孔径雷达图像目标识别方法 | |
| CN110930387A (zh) | 基于深度可分离卷积神经网络的织物疵点检测方法 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN110222767B (zh) | 基于嵌套神经网络和栅格地图的三维点云分类方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN110659601B (zh) | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 | |
| CN106991411B (zh) | 基于深度形状先验的遥感图像目标精细化提取方法 | |
| CN109165658B (zh) | 一种基于Faster-RCNN的强负样本水下目标检测方法 | |
| CN110728694A (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
| CN110147707A (zh) | 一种高精度车辆识别方法及系统 | |
| CN109035300A (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
| CN111739017A (zh) | 一种在样本不平衡条件下显微图像的细胞识别方法及系统 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108876776A (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| CN114882301A (zh) | 基于感兴趣区域的自监督学习医学图像识别方法及装置 | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
| CN111210398A (zh) | 基于多尺度池化的白细胞识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |