CN110222767A - 基于嵌套神经网络和栅格地图的三维点云分类方法 - Google Patents
基于嵌套神经网络和栅格地图的三维点云分类方法 Download PDFInfo
- Publication number
- CN110222767A CN110222767A CN201910493994.8A CN201910493994A CN110222767A CN 110222767 A CN110222767 A CN 110222767A CN 201910493994 A CN201910493994 A CN 201910493994A CN 110222767 A CN110222767 A CN 110222767A
- Authority
- CN
- China
- Prior art keywords
- layer
- sampling
- point cloud
- dimensional point
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于嵌套神经网络和栅格地图的三维点云分类方法，实现步骤为：(1)构建嵌套神经网络；(2)获取遥感卫星三维点云数据；(3)预处理三维点云数据；(4)获取网络权重模型；(5)对三维点云数据进行分类；(6)生成梯度图、类别图、混合图；(7)修改混合图中栅格的类别标签；(8)修改三维点云的类别标签。本发明利用嵌套卷积神经网络对三维点云数据进行了分类，并且还结合了栅格地图方法对分类错误的点云进行修改，大大提高了卫星遥感三维点云数据的分类精度，利用嵌套卷积神经网络可以很好的学习到点云的局部深层特征，算法鲁棒性较强，精度较高。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于嵌套神经网络和栅格地图的三维点云分类方法。本发明可以用于对卫星获取的城市遥感三维点云数据进行分类识别，得到地物目标分类后的类别标签。
背景技术
点云是在获取物体表面每个采样点的空间坐标和目标表面特性后的海量点的集合。在遥感图像领域，三维点云数据是记录物体的位置信息的一种重要载体。激光雷达能够快速、大范围地获取到较高精度的三维点云数据，是现在三维空间数据采集与更新的主要工具。点云分类是指为点云中的每个点分配语义标签。对三维点云数据进行语义分类，是使用三维点云数据进行空间认知与分析的重要手段。基于神经网络的点云分类方法是指将点云直接输入到神经网络中从而完成点云的分类任务的方法，该方法充分保留了点云数据的空间信息，大大减小了数据训练过程中的计算量，分类精度较高，是现在点云分类工作中主要应用的方法。
南京大学在其申请的专利文献“一种基于模式识别的森林点云分类方法”(专利申请号：201310283752.9，授权公告号：CN101763655A)中提出了一种基于模式识别的森林点云分类方法。该方法首先获取森林的三维激光点云数据，然后选取每个类别的训练样本，对每个训练样本的显著特征进行计算，再利用基于期望最大化算法得到高斯混合模型的算法程序对点云数据进行初始分类，最后利用孤立点去除滤波器、边缘滤波器等滤波器对初始分类结果进行分类后处理。该方法虽然不需要破坏森林的冠层结构，适用性较强，但是，该方法仍然存在的不足之处是，由于该方法采用期望最大化算法，导致训练结果易受噪声影响，鲁棒性不高，同时使用了孤立点去除滤波器，导致对孤立点分类能力差。
北京数字绿土科技有限公司在其申请的专利文献“激光雷达点云数据分类方法及装置”(专利申请号：201711222953.2，公开号：CN108133227A)中公开了一种激光雷达点云数据分类方法。该方法首先获取样本点云数据及待分类的激光雷达点云数据，然后根据样本点云数据建立点云分类器，最后通过点云分类器对待分类的激光雷达点云数据进行分类。该方法虽然大大减少了分类过程中的人工干预成份，自动化程度高，成本低，但是，该方法仍然存在的不足之处是，由于在点云分类器的建立过程中，样本特征提取次数少，对样本特征学习不够充分，使分类精度不够高，并且各地物类别间存在较多错分类的情况。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于嵌套神经网络和栅格地图的三维点云分类方法，在点云分类过程中对其分类方法进行改进，解决了三维点云分类精度不高的问题，分类结果的区域一致性较好，不同类别之间有明显的区分效果，小样本分类结果更优，鲁棒性和精度得到提高。
本发明实现的思路是，首先搭建嵌套神经网络并设置每层参数，然后从数据集中按三维点云场景提取遥感卫星三维点云数据，并将所提取的每个三维点云场景中所有三维点云数据组成一个序列，接着对序列中的每个元素进行标准化处理，然后将这些标准化后的元素输入到构建的嵌套神经网络中进行训练，获得网络权重模型，再使用网络权重模型对待分类的三维点云数据进行分类，最后生成梯度图、类别图、混合图，修改混合图中栅格的类别标签，修改三维点云的类别标签，得到最终分类结果。
本发明实现的具体步骤包括如下：
(1)构建嵌套神经网络：
(1a)构建一个由四个模块组成的嵌套神经网络：
所述第一个模块的结构依次为：输入层→第一下采样层→第十上采样层→第四全连接层→第四Dropout层→第四Softmax层；
所述第二个模块的结构依次为：第二下采样层→第八上采样层→第九上采样层→第三全连接层→第三Dropout层→第三Softmax层；
所述第三个模块的结构依次为：第三下采样层→第五上采样层→第六上采样层→第七上采样层→第二全连接层→第二Dropout层→第二Softmax层；
所述第四个模块的结构依次为：第四下采样层→第一上采样层→第二上采样层→第三上采样层→第四上采样层→第一全连接层→第一Dropout层→第一Softmax层；
上述所有模块中的上采样层的结构依次为：特征插值层→上采样卷积层→上采样卷积层→上采样卷积层；
上述所有模块中的下采样层的结构依次为：点云采样层→点云分组层→下采样卷积层→下采样卷积层→下采样卷积层→最大池化层；
将第一个模块的第一下采样层、第二个模块的第二下采样层、第三个模块的第三下采样层、第四个模块的第四下采样层依次连接，将第一个模块的第四Softmax层、第二个模块的第三Softmax层、第三个模块的第四Softmax层、第四个模块的第一Softmax层分别与特征聚合层连接，得到嵌套神经网络；
(1b)所述下采样层中的点云采样层使用最远点采样法在点云空间中选择采样中心点；所述下采样层中的点云分组层以采样中心点作为球心，截取出设定半径范围内的点云区域作为下采样卷积层的输入；
(1c)所述上采样层中的特征插值层通过插值方式，生成特征矩阵作为上采样卷积层的输入；
(1d)设置嵌套神经网络各层参数如下：
将第一下采样层、第二下采样层、第三下采样层、第四下采样层的采样中心点数目依次设置为1024、256、64、16，半径依次设置为0.1、0.2、0.4、0.8，卷积核大小均设置为1*1，将第一下采样层的三个卷积核数目依次设置为32、32、64，将第二下采样层的三个卷积核数目依次设置为64、64、128，将第三下采样层的三个卷积核数目依次设置为128、128、256，将第四下采样层的三个卷积核数目依次设置为256、256、512；
将第一上采样层、第二上采样层、第三上采样层、第四上采样层、第五上采样层、第六上采样层、第七上采样层、第八上采样层、第九上采样层、第十上采样层的卷积核大小均设置为1*1，将第一上采样层的三个卷积核数目依次设置为512、256、256，将第二上采样层、第五上采样层中每一层的三个卷积核数目均依次设置为256、128、128，将第三上采样层、第六上采样层、第八上采样层中每一层的三个卷积核数目均依次设置为128、128、64，将第四上采样层、第七上采样层、第九上采样层、第十上采样层中每一层的三个卷积核数目均依次设置为64、32、32；
将第一全连接层、第二全连接层、第三全连接层、第四全连接层节点总数均设置为32；
将第一Dropout层、第二Dropout层、第三Dropout层、第四Dropout层节点总数设置为32，置零概率设置为0.5；
将第一Softmax层、第二Softmax层、第三Softmax层、第四Softmax层节点总数设置为5；
(1e)嵌套神经网络的总损失函数为第一Softmax层、第二Softmax层、第三Softmax层、第四Softmax层输出的分类概率值的交叉熵损失函数的平均值，其单个交叉熵损失函数的计算方法如下公式表示：
其中，L表示损失函数值，B表示批量的大小，∑表示求和操作，b表示样本的序号，D表示类别权重向量，Yb表示第b个样本的真实值，Z表示第b个样本的分类概率值；
(1f)网络模型的优化器使用的为学习率为0.0001的Adam优化器；
(2)获取遥感卫星三维点云数据：
从数据集中按三维点云场景提取遥感卫星的三维点云数据，将所提取的每个三维点云场景中所有三维点云数据组成一个序列，每个元素中包括三个坐标值和两个特征值，坐标值包括x轴、y轴和z轴坐标值，特征值包括强度值和返回次数；
(3)预处理三维点云数据：
使用标准化方法，计算每个序列的每个元素中每个标准化后的特征值；
(4)获取网络权重模型：
将所有的特征值输入到嵌套神经网络中进行训练，直到步骤(1e)所述的交叉熵损失函数收敛，将收敛时的嵌套神经网络中的所有权重参数组成网络权重模型；
(5)对三维点云数据进行分类：
(5a)从待分类三维点云数据中随机采样8024个元素输入到网络权重模型中，输出赋予每个元素类别标签后的所有被采样元素；
(5b)从待分类三维点云数据中选取一个未被采样的元素，使用K近邻算法，找到与所选未被采样元素相邻的13个已被分类的元素，选择该相邻13个已被分类元素中数量最多的元素类别作为该未被采样元素的类别；
(5c)判断是否选完三维点云数据中所有未被采样元素，若是，则执行步骤(6)，否则，执行步骤(5b)；
(6)生成梯度图、类别图、混合图：
(6a)删除三维点云数据分类结果为树木的元素，利用K近邻算法，找出与分类结果不为树木的每个元素相邻的8个相邻元素；
(6b)求每个元素与其所有相邻元素的z轴坐标值的差值，将所有差值的平均值作为该元素的梯度值；
(6c)利用坐标投影法，根据三维点云与二维栅格地图的坐标的对应关系，将三维点云投影到二维栅格地图中；
(6d)利用梯度阈值法，设置栅格的像素值，组成梯度图；
(6e)统计投影到每个栅格中的每个类别的元素的数量，取元素数量最多的类别作为栅格的类别，不同的类别指定不同的像素值，组成类别图；
(6f)找出所有梯度图中的所有像素值为255的像素点；
(6g)找出类别图中所有与梯度图中像素值为255的像素点的位置相同的像素点，用类别图上相同位置的每一个像素点值一一对应替代梯度图中的每一个为255的像素点值，得到混合图；
(7)修改混合图中栅格的类别标签：
(7a)搜索混合图中像素值为255的像素点围成的闭合区域，统计闭合区域内每个栅格的类别标签，找到栅格数目最多的类别，用栅格数目最多的类别替换闭合区域内每个栅格的类别；
(7b)对每个元素进行强度值归一化处理，得到每个元素的归一化后的强度值；
(7c)利用坐标投影法，将每个元素的归一化后的强度值投影到对应的栅格中，取投影到每个栅格中所有元素的归一化后的强度值的最大值，作为该栅格的像素值，将所有栅格的像素值组成强度图；
(7d)从混合图中选取一个分类结果为建筑的栅格，以强度图中相同位置的栅格为中心，搜索其相邻3×3区域内的栅格，将搜索区域中的每一个栅格的像素值与区域中心的像素值做差，将差值为±5的栅格的类别修改为建筑类别；
(7e)判断混合图中建筑类别的栅格是否被选完，若是，则得到修改后混合图执行步骤(8)，否则，执行步骤(7d)；
(8)修改三维点云的类别标签：
(8a)找到修改后混合图中建筑类别的栅格对应的三维点云，将对应的三维点云的分类结果修改为建筑类别；
(8b)输出修改后三维点云的分类结果。
本发明与现有技术相比具有如下优点：
第一，由于本发明在构建嵌套神经网络中，构建了嵌套神经网络用于提取点云的多尺度特征，克服了现有技术点云分类时，样本特征提取次数少，对样本特征学习不够充分的缺点，使得本发明的点云分类的精度更高。
第二，由于本发明在构建嵌套神经网络中，构建了嵌套神经网络，并与K近邻算法相结合进行三维点云分类，克服了现有技术点云分类时，训练结果易受噪声影响并对孤立点分类能力差的缺点，使得本发明对点云分类的鲁棒性更高，点云分类更准确。
第三，由于本发明在修改三维点云的类别标签时，利用了栅格地图方法纠正点云的分类结果，克服了现有技术中的各地物类别间存在较多错分类，使得本发明点云分类的精度更高。
附图说明
图1是本发明的流程图；
图2是本发明中嵌套神经网络的结构图。
具体实施方式
下面结合附图对本发明作进一步的描述。
参照图1，对本发明的具体实现步骤作进一步的描述。
步骤1，构建嵌套神经网络。
参照图2，对构建的嵌套神经网络的结构做进一步的描述。
构建一个由四个模块组成的嵌套神经网络。
所述第一个模块的结构依次为：输入层→第一下采样层→第十上采样层→第四全连接层→第四Dropout层→第四Softmax层。
所述第二个模块的结构依次为：第二下采样层→第八上采样层→第九上采样层→第三全连接层→第三Dropout层→第三Softmax层。
所述第三个模块的结构依次为：第三下采样层→第五上采样层→第六上采样层→第七上采样层→第二全连接层→第二Dropout层→第二Softmax层。
所述第四个模块的结构依次为：第四下采样层→第一上采样层→第二上采样层→第三上采样层→第四上采样层→第一全连接层→第一Dropout层→第一Softmax层。
上述所有模块中的上采样层的结构依次为：特征插值层→上采样卷积层→上采样卷积层→上采样卷积层。
上述所有模块中的下采样层的结构依次为：点云采样层→点云分组层→下采样卷积层→下采样卷积层→下采样卷积层→最大池化层。
将第一个模块的第一下采样层、第二个模块的第二下采样层、第三个模块的第三下采样层、第四个模块的第四下采样层依次连接，将第一个模块的第四Softmax层、第二个模块的第三Softmax层、第三个模块的第四Softmax层、第四个模块的第一Softmax层分别与特征聚合层连接，得到嵌套神经网络。
其中下采样层中的点云采样层使用最远点采样法在点云空间中选择采样中心点。下采样层中的点云分组层以采样中心点作为球心，截取出设定半径范围内的点云区域作为下采样卷积层的输入。
所述的最远点采样法具体步骤如下：
第1步，计算输入的三维点云数据中各个元素之间的欧式距离；
第2步，从输入的三维点云数据中随机选择一个元素，把该所选元素记为采样中心点；
第3步，从输入的三维点云数据中的未选择元素中继续选择一个与被记为采样中心点的所有元素欧式距离合最小的元素，把该所选元素记为采样中心点；
第4步，判断所选的采样中心点的个数是否等于需求个数，若是则停止选择，若否则执行第3步。
其中上采样层中的特征插值层通过插值方式，生成特征矩阵作为上采样卷积层的输入。
所述的插值方式如下：
其中f(v)(x)表示元素x第v个特征矩阵，∑表示求和操作，f(v)(xu)表示元素xu第v个特征矩阵，元素xu为距离元素x最近的三个元素之一，wu(x)＝1/d(x,xu)2，d(x,xu)表示元素xu和元素x之间的距离，C表示特征总数。
设置嵌套神经网络各层参数如下：
将第一下采样层、第二下采样层、第三下采样层、第四下采样层的采样中心点数目依次设置为1024、256、64、16，半径依次设置为0.1、0.2、0.4、0.8，卷积核大小均设置为1*1，将第一下采样层的三个卷积核数目依次设置为32、32、64，将第二下采样层的三个卷积核数目依次设置为64、64、128，将第三下采样层的三个卷积核数目依次设置为128、128、256，将第四下采样层的三个卷积核数目依次设置为256、256、512；
将第一上采样层、第二上采样层、第三上采样层、第四上采样层、第五上采样层、第六上采样层、第七上采样层、第八上采样层、第九上采样层、第十上采样层的卷积核大小均设置为1*1，将第一上采样层的三个卷积核数目依次设置为512、256、256，将第二上采样层、第五上采样层中每一层的三个卷积核数目均依次设置为256、128、128，将第三上采样层、第六上采样层、第八上采样层中每一层的三个卷积核数目均依次设置为128、128、64，将第四上采样层、第七上采样层、第九上采样层、第十上采样层中每一层的三个卷积核数目均依次设置为64、32、32；
将第一全连接层、第二全连接层、第三全连接层、第四全连接层节点总数均设置为32；
将第一Dropout层、第二Dropout层、第三Dropout层、第四Dropout层节点总数设置为32，置零概率设置为0.5；
将第一Softmax层、第二Softmax层、第三Softmax层、第四Softmax层节点总数设置为5。
特征聚合层将第1、2、3、4个Softmax层的输出按对应位置进行相加生成特征矩阵。
嵌套神经网络的总损失函数为第1、2、3、4个Softmax层输出分类概率值的损失函数的平均值，其单个损失函数的计算方法如下公式表示：
其中，L表示损失函数值，B表示批量的大小，∑表示求和操作，b表示样本的序号，D表示类别权重向量，Yb表示第b个样本的真实值，Z表示第b个样本的分类概率值。
所述的类别权重向量计算方法如下：
其中，a表示类别的序号，Da表示第a类的权重，ha表示第a类元素的数量，H表示元素总数。
网络模型的优化器使用的为学习率为0.0001的Adam优化器。
步骤2，获取遥感卫星三维点云数据。
从数据集中按三维点云场景提取遥感卫星的三维点云数据，将所提取的每个三维点云场景中所有三维点云数据组成一个序列，每个元素中包括三个坐标值和两个特征值，坐标值包括x轴、y轴和z轴坐标值，特征值包括强度值和返回次数。
步骤3，预处理三维点云数据。
使用标准化方法，计算每个序列的每个元素中每个标准化后的特征值。
所述的标准化方法是指，按照下式，分别计算每个序列的每个元素中每个标准化后的特征值：
其中，表示第i个序列中第j个元素的第q个特征值标准化后的特征值，表示第i个序列的第j个元素中第q个特征值的初始值，Ri,q表示第i个序列中所有元素的第q个特征值的平均值，k表示序列的总数，∑表示求和操作，Pi,q表示第i个序列中所有元素的第q个特征值的方差值，·表示相乘操作，Ni表示第i个序列中元素的个数。
步骤4，获取网络权重模型。
将所有的特征值输入到嵌套神经网络中进行训练，直到步骤(1e)所述的交叉熵损失函数收敛，将收敛时的嵌套神经网络中的所有权重参数组成网络权重模型。
步骤5，对三维点云数据进行分类。
(5.1)从待分类三维点云数据中随机采样8024个元素输入到网络权重模型中，输出赋予每个元素类别标签后的所有被采样元素。
所述的元素类别标签包括：地面，建筑，植被，水，高架桥。
(5.2)从待分类三维点云数据中选取一个未被采样的元素，使用K近邻算法，找到与所选未被采样元素相邻的13个已被分类的元素，选择该相邻13个已被分类元素中数量最多的元素类别作为该未被采样元素的类别。
所述的K近邻算法具体步骤如下：
第1步，计算样本元素与其他元素之间的欧式距离，所述的样本元素指的是所选元素，所述的欧式距离使用的是由x、y、z坐标构成的三维空间上的欧式距离；
第2步，根据欧式距离的大小，从小到大对其他元素进行排序；
第3步，选择出欧式距离最小的K个元素，K取13。
(5.3)判断是否选完三维点云数据中所有未被采样的元素，若是，则执行步骤6，否则，执行本步骤的(5.2)。
步骤6，生成梯度图、类别图、混合图。
删除三维点云数据分类结果为树木的元素，利用K近邻算法，找出与分类结果不为树木的每个元素相邻的8个相邻元素。
所述的K近邻算法具体步骤如下：
第1步，计算样本元素与其他元素之间的欧式距离，所述的样本元素指的是除分类结果为植被外的所有元素，所述的欧式距离使用的是由x、y坐标构成的二维空间上的欧式距离；
第2步，根据欧式距离的大小，从小到大对其他元素进行排序；
第3步，选择出欧式距离最小的K个元素，K取8。
求每个元素与其所有相邻元素的z轴坐标值的差值，将所有差值的平均值作为该元素的梯度值。
利用坐标投影法，根据三维点云与二维栅格地图的坐标的对应关系，将三维点云投影到二维栅格地图中。
所述的坐标投影法为：
第1步，将数据集中三维点云的x轴坐标、y轴坐标的最大值和最小值，作为三维点云在x轴和y轴上的坐标范围；
第2步，将三维点云在x轴和y轴上的坐标范围，作为二维栅格地图的x轴边长和y轴边长；
第3步，将三维点云按照坐标投影到二维栅格地图中。
利用梯度阈值法，设置栅格的像素值，组成梯度图。
所述的梯度阈值法如下：
第1步，将投影到每个栅格中的所有元素的最大梯度值作为该栅格的梯度值；
第2步，将所有梯度值大于0.25的栅格的像素值设置为255；
第3步，将所有梯度值小于0.25的栅格的像素值设置为0；
第4步，将所有栅格组成梯度图。
统计投影到每个栅格中的每个类别的元素的数量，取元素数量最多的类别作为栅格的类别，不同的类别指定不同的像素值，组成类别图。
找出所有梯度图中的所有像素值为255的像素点。
找出类别图中所有与梯度图中像素值为255的像素点的位置相同的像素点，用类别图上相同位置的每一个像素点值一一对应替代梯度图中的每一个为255的像素点值，得到混合图。
步骤7，修改混合图中栅格的类别标签。
(7.1)搜索混合图中像素值为255的像素点围成的闭合区域，统计闭合区域内每个栅格的类别标签，找到栅格数目最多的类别，用栅格数目最多的类别替换闭合区域内每个栅格的类别。
(7.2)对每个元素进行强度值归一化处理，得到每个元素的归一化后的强度值。
所述的强度值归一化处理如下：
第1步，对每个元素的强度值做归一化处理；
第2步，对每个归一化处理后的元素强度值乘以255，作为每个元素的归一化后的强度值。
(7.3)利用坐标投影法，将每个元素的归一化后的强度值投影到对应的栅格中，取投影到每个栅格中所有元素的归一化后的强度值的最大值，作为该栅格的像素值，将所有栅格的像素值组成强度图。
所述的坐标投影法为：
第1步，将数据集中三维点云的x轴坐标、y轴坐标的最大值和最小值，作为三维点云在x轴和y轴上的坐标范围；
第2步，将三维点云在x轴和y轴上的坐标范围，作为二维栅格地图的x轴边长和y轴边长；
第3步，将三维点云按照坐标投影到二维栅格地图中。
(7.4)从混合图中选取一个分类结果为建筑的栅格，以强度图中相同位置的栅格为中心，搜索其相邻3×3区域内的栅格，将搜索区域中的每一个栅格的像素值与区域中心的像素值做差，将差值为±5的栅格的类别修改为建筑类别；
(7.5)判断混合图中建筑类别的栅格是否被选完，若是，则得到修改后的混合图后执行步骤8，否则，执行本步骤的(7.4)。
步骤8，修改三维点云的类别标签。
找到修改后混合图中建筑类别的栅格对应的三维点云，将对应的三维点云的分类结果修改为建筑类别。
输出修改后三维点云的分类结果。
Claims (10)
1.一种基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，构建并训练嵌套神经网络，使用栅格地图修改网络权重模型输出的三维点云分类结果，该方法的具体步骤如下：
(1)构建嵌套神经网络：
(1a)构建一个由四个模块组成的嵌套神经网络：
所述第一个模块的结构依次为：输入层→第一下采样层→第十上采样层→第四全连接层→第四Dropout层→第四Softmax层；
所述第二个模块的结构依次为：第二下采样层→第八上采样层→第九上采样层→第三全连接层→第三Dropout层→第三Softmax层；
所述第三个模块的结构依次为：第三下采样层→第五上采样层→第六上采样层→第七上采样层→第二全连接层→第二Dropout层→第二Softmax层；
所述第四个模块的结构依次为：第四下采样层→第一上采样层→第二上采样层→第三上采样层→第四上采样层→第一全连接层→第一Dropout层→第一Softmax层；
上述所有模块中的上采样层的结构依次为：特征插值层→上采样卷积层→上采样卷积层→上采样卷积层；
上述所有模块中的下采样层的结构依次为：点云采样层→点云分组层→下采样卷积层→下采样卷积层→下采样卷积层→最大池化层；
将第一个模块的第一下采样层、第二个模块的第二下采样层、第三个模块的第三下采样层、第四个模块的第四下采样层依次连接，将第一个模块的第四Softmax层、第二个模块的第三Softmax层、第三个模块的第四Softmax层、第四个模块的第一Softmax层分别与特征聚合层连接，得到嵌套神经网络；
(1b)所述下采样层中的点云采样层使用最远点采样法在点云空间中选择采样中心点；所述下采样层中的点云分组层以采样中心点作为球心，截取出设定半径范围内的点云区域作为下采样卷积层的输入；
(1c)所述上采样层中的特征插值层通过插值方式，生成特征矩阵作为上采样卷积层的输入；
(1d)设置嵌套神经网络各层参数如下：
将第一下采样层、第二下采样层、第三下采样层、第四下采样层的采样中心点数目依次设置为1024、256、64、16，半径依次设置为0.1、0.2、0.4、0.8，卷积核大小均设置为1*1，将第一下采样层的三个卷积核数目依次设置为32、32、64，将第二下采样层的三个卷积核数目依次设置为64、64、128，将第三下采样层的三个卷积核数目依次设置为128、128、256，将第四下采样层的三个卷积核数目依次设置为256、256、512；
将第一上采样层、第二上采样层、第三上采样层、第四上采样层、第五上采样层、第六上采样层、第七上采样层、第八上采样层、第九上采样层、第十上采样层的卷积核大小均设置为1*1，将第一上采样层的三个卷积核数目依次设置为512、256、256，将第二上采样层、第五上采样层中每一层的三个卷积核数目依次设置为256、128、128，将第三上采样层、第六上采样层、第八上采样层中每一层的三个卷积核数目依次依次设置为128、128、64，将第四上采样层、第七上采样层、第九上采样层、第十上采样层中每一层的三个卷积核数目依次设置为64、32、32；
将第一全连接层、第二全连接层、第三全连接层、第四全连接层节点总数均设置为32；
将第一Dropout层、第二Dropout层、第三Dropout层、第四Dropout层节点总数均设置为32，置零概率均设置为0.5；
将第一Softmax层、第二Softmax层、第三Softmax层、第四Softmax层节点总数均设置为5；
(1e)嵌套神经网络的总损失函数为第一Softmax层、第二Softmax层、第三Softmax层、第四Softmax层输出的分类概率值的交叉熵损失函数的平均值，其单个交叉熵损失函数的计算方法如下公式表示：
其中，L表示损失函数值，B表示批量的大小，∑表示求和操作，b表示样本的序号，D表示类别权重向量，Yb表示第b个样本的真实值，Z表示第b个样本的分类概率值；
(1f)网络模型的优化器使用的为学习率为0.0001的Adam优化器；
(2)获取遥感卫星三维点云数据：
从数据集中按三维点云场景提取遥感卫星的三维点云数据，将所提取的每个三维点云场景中所有三维点云数据组成一个序列，每个元素包括三个坐标值和两个特征值，坐标值包括x轴、y轴和z轴坐标值，特征值包括强度值和返回次数；
(3)预处理三维点云数据：
使用标准化方法，计算每个序列的每个元素中每个标准化后的特征值；
(4)获取网络权重模型：
将所有的特征值输入到嵌套神经网络中进行训练，直到步骤(1e)所述的交叉熵损失函数收敛，将收敛时的嵌套神经网络中的所有权重参数组成网络权重模型；
(5)对三维点云数据进行分类：
(5a)从待分类三维点云数据中随机采样8024个元素输入到网络权重模型中，输出赋予每个元素类别标签后的所有被采样元素；
(5b)从待分类三维点云数据中选取一个未被采样的元素，使用K近邻算法，找到与所选未被采样元素相邻的13个已被分类的元素，选择该相邻13个已被分类元素中数量最多的元素类别作为该未被采样元素的类别；
(5c)判断是否选完三维点云数据中所有未被采样元素，若是，则执行步骤(6)，否则，执行步骤(5b)；
(6)生成梯度图、类别图、混合图：
(6a)删除三维点云数据分类结果为树木的元素，利用K近邻算法，找出与分类结果不为树木的每个元素相邻的8个相邻元素；
(6b)求每个元素与其所有相邻元素的z轴坐标值的差值，将所有差值的平均值作为该元素的梯度值；
(6c)利用坐标投影法，根据三维点云与二维栅格地图的坐标的对应关系，将三维点云投影到二维栅格地图中；
(6d)利用梯度阈值法，设置栅格的像素值，组成梯度图；
(6e)统计投影到每个栅格中的每个类别的元素的数量，取元素数量最多的类别作为栅格的类别，不同的类别指定不同的像素值，组成类别图；
(6f)找出所有梯度图中的所有像素值为255的像素点；
(6g)找出类别图中所有与梯度图中像素值为255的像素点的位置相同的像素点，用类别图上相同位置的每一个像素点值一一对应替代梯度图中的每一个为255的像素点值，得到混合图；
(7)修改混合图中栅格的类别标签：
(7a)搜索混合图中像素值为255的像素点围成的闭合区域，统计闭合区域内每个栅格的类别标签，找到栅格数目最多的类别，用栅格数目最多的类别替换闭合区域内每个栅格的类别；
(7b)对每个元素进行强度值归一化处理，得到每个元素的归一化后的强度值；
(7c)利用坐标投影法，将每个元素的归一化后的强度值投影到对应的栅格中，取投影到每个栅格中所有元素的归一化后的强度值的最大值，作为该栅格的像素值，将所有栅格的像素值组成强度图；
(7d)从混合图中选取一个分类结果为建筑的栅格，以强度图中相同位置的栅格为中心，搜索其相邻3×3区域内的栅格，将搜索区域中的每一个栅格的像素值与区域中心的像素值做差，将差值为±5的栅格的类别修改为建筑类别；
(7e)判断混合图中建筑类别的栅格是否被选完，若是，则得到修改后混合图执行步骤(8)，否则，执行步骤(7d)；
(8)修改三维点云的类别标签：
(8a)找到修改后混合图中建筑类别的栅格对应的三维点云，将对应的三维点云的分类结果修改为建筑类别；
(8b)输出修改后三维点云的分类结果。
2.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(1b)所述的最远点采样法具体步骤如下：
第一步，计算输入的三维点云数据中各个元素之间的欧式距离；
第二步，从输入的三维点云数据中随机选择一个元素，把该所选元素记为采样中心点；
第三步，从输入的三维点云数据中的未选择元素中继续选择一个与被记为采样中心点的所有元素欧式距离合最小的元素，把该所选元素记为采样中心点；
第四步，判断所选的采样中心点的个数是否等于需求个数，若是则停止选择，若否则执行第三步。
3.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(1c)所述的插值方式如下：
其中f(v)(x)表示元素x第v个特征矩阵，∑表示求和操作，f(v)(xu)表示元素xu第v个特征矩阵，元素xu为距离元素x最近的三个元素之一，wu(x)＝1/d(x,xu)2，d(x,xu)表示元素xu和元素x之间的距离，C表示特征总数。
4.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(1e)所述的类别权重向量计算方法如下：
其中，a表示类别的序号，Da表示第a类的权重，ha表示第a类元素的数量，H表示元素总数。
5.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(3)所述的标准化方法是指，按照下式，分别计算每个序列的每个元素中每个标准化后的特征值：
其中，表示第i个序列中第j个元素的第q个特征值标准化后的特征值，表示第i个序列的第j个元素中第q个特征值的初始值，Ri,q表示第i个序列中所有元素的第q个特征值的平均值，k表示序列的总数，∑表示求和操作，Pi,q表示第i个序列中所有元素的第q个特征值的方差值，·表示相乘操作，Ni表示第i个序列中元素的个数。
6.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(5a)所述的元素类别标签包括：地面，建筑，树木，水，桥。
7.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(5b)、步骤(6a)中所述的K近邻算法具体步骤如下：
第一步，计算样本元素与其他元素之间的欧式距离，所述的样本元素在步骤(5b)中指的是所选元素，在步骤(6a)中指的是除分类结果为树木外的所有元素；
第二步，根据欧式距离的大小，从小到大对其他元素进行排序；
第三步，选择出欧式距离最小的K个元素，作为与样本元素的K个相邻元素，所述的K在步骤(5b)、步骤(6a)中分别取13、8。
8.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(6c)、步骤(7c)中所述的坐标投影法如下：
第一步，将数据集中三维点云的x轴坐标、y轴坐标的最大值和最小值，作为三维点云在x轴和y轴上的坐标范围；
第二步，将三维点云在x轴和y轴上的坐标范围，作为二维栅格地图的x轴边长和y轴边长；
第三步，将三维点云按照坐标投影到二维栅格地图中。
9.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(6d)中所述的梯度阈值法如下：
第一步，将投影到每个栅格中的所有元素的最大梯度值作为该栅格的梯度值；
第二步，将所有梯度值大于0.25的栅格的像素值设置为255；
第三步，将所有梯度值小于0.25的栅格的像素值设置为0；
第四步，将所有栅格组成梯度图。
10.根据权利要求1所述的基于嵌套神经网络和栅格地图的三维点云分类方法，其特征在于，步骤(7b)中所述的强度值归一化处理如下：
第一步，对每个元素的强度值做归一化处理；
第二步，对每个归一化处理后的元素强度值乘以255，作为每个元素的归一化后的强度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910493994.8A CN110222767B (zh) | 2019-06-08 | 2019-06-08 | 基于嵌套神经网络和栅格地图的三维点云分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910493994.8A CN110222767B (zh) | 2019-06-08 | 2019-06-08 | 基于嵌套神经网络和栅格地图的三维点云分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110222767A true CN110222767A (zh) | 2019-09-10 |
| CN110222767B CN110222767B (zh) | 2021-04-06 |
Family
ID=67816262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910493994.8A Active CN110222767B (zh) | 2019-06-08 | 2019-06-08 | 基于嵌套神经网络和栅格地图的三维点云分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222767B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110597293A (zh) * | 2019-10-12 | 2019-12-20 | 上海复亚智能科技有限公司 | 一种无人机自主飞行方法、装置、设备及存储介质 |
| CN111028151A (zh) * | 2019-12-03 | 2020-04-17 | 西安科技大学 | 基于图残差神经网络融合的点云数据拼接方法 |
| CN111337898A (zh) * | 2020-02-19 | 2020-06-26 | 北京百度网讯科技有限公司 | 激光点云的处理方法、装置、设备及存储介质 |
| CN111414953A (zh) * | 2020-03-17 | 2020-07-14 | 集美大学 | 点云分类方法和装置 |
| CN111428619A (zh) * | 2020-03-20 | 2020-07-17 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计系统和方法 |
| CN113705655A (zh) * | 2021-08-24 | 2021-11-26 | 北京建筑大学 | 三维点云全自动分类方法及深度神经网络模型 |
| CN115290650A (zh) * | 2022-09-29 | 2022-11-04 | 南京航空航天大学 | 基于点云的复材壁板孔特征的检测方法及其系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103063202A (zh) * | 2012-12-30 | 2013-04-24 | 同济大学 | 基于遥感影像的蓝藻生物量时空变化监测与可视化方法 |
| CN105069471A (zh) * | 2015-07-31 | 2015-11-18 | 西安电子科技大学 | 基于模糊标签的高光谱数据子空间投影和分类方法 |
| CN106228197A (zh) * | 2016-08-15 | 2016-12-14 | 南京信息工程大学 | 一种基于自适应极限学习机的卫星图像云量识别方法 |
| US9523772B2 (en) * | 2013-06-14 | 2016-12-20 | Microsoft Technology Licensing, Llc | Object removal using lidar-based classification |
| CN107358260A (zh) * | 2017-07-13 | 2017-11-17 | 西安电子科技大学 | 一种基于表面波cnn的多光谱图像分类方法 |
| CN107622244A (zh) * | 2017-09-25 | 2018-01-23 | 华中科技大学 | 一种基于深度图的室内场景精细化解析方法 |
| US20190147245A1 (en) * | 2017-11-14 | 2019-05-16 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
-
2019
- 2019-06-08 CN CN201910493994.8A patent/CN110222767B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103063202A (zh) * | 2012-12-30 | 2013-04-24 | 同济大学 | 基于遥感影像的蓝藻生物量时空变化监测与可视化方法 |
| US9523772B2 (en) * | 2013-06-14 | 2016-12-20 | Microsoft Technology Licensing, Llc | Object removal using lidar-based classification |
| CN105069471A (zh) * | 2015-07-31 | 2015-11-18 | 西安电子科技大学 | 基于模糊标签的高光谱数据子空间投影和分类方法 |
| CN106228197A (zh) * | 2016-08-15 | 2016-12-14 | 南京信息工程大学 | 一种基于自适应极限学习机的卫星图像云量识别方法 |
| CN107358260A (zh) * | 2017-07-13 | 2017-11-17 | 西安电子科技大学 | 一种基于表面波cnn的多光谱图像分类方法 |
| CN107622244A (zh) * | 2017-09-25 | 2018-01-23 | 华中科技大学 | 一种基于深度图的室内场景精细化解析方法 |
| US20190147245A1 (en) * | 2017-11-14 | 2019-05-16 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
Non-Patent Citations (2)
| Title |
|---|
| TIMO HACKEL 等: "Joint classification and contour extraction of large 3D point clouds", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
| 刘璐 等: "采用流形近邻传播聚类的极化SAR图像分类", 《信号处理》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110597293A (zh) * | 2019-10-12 | 2019-12-20 | 上海复亚智能科技有限公司 | 一种无人机自主飞行方法、装置、设备及存储介质 |
| CN111028151A (zh) * | 2019-12-03 | 2020-04-17 | 西安科技大学 | 基于图残差神经网络融合的点云数据拼接方法 |
| CN111028151B (zh) * | 2019-12-03 | 2023-05-26 | 西安科技大学 | 基于图残差神经网络融合的点云数据拼接方法 |
| CN111337898A (zh) * | 2020-02-19 | 2020-06-26 | 北京百度网讯科技有限公司 | 激光点云的处理方法、装置、设备及存储介质 |
| CN111414953A (zh) * | 2020-03-17 | 2020-07-14 | 集美大学 | 点云分类方法和装置 |
| CN111414953B (zh) * | 2020-03-17 | 2023-04-18 | 集美大学 | 点云分类方法和装置 |
| CN111428619A (zh) * | 2020-03-20 | 2020-07-17 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计系统和方法 |
| CN111428619B (zh) * | 2020-03-20 | 2022-08-05 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计系统和方法 |
| CN113705655A (zh) * | 2021-08-24 | 2021-11-26 | 北京建筑大学 | 三维点云全自动分类方法及深度神经网络模型 |
| CN113705655B (zh) * | 2021-08-24 | 2023-07-18 | 北京建筑大学 | 三维点云全自动分类方法及深度神经网络模型 |
| CN115290650A (zh) * | 2022-09-29 | 2022-11-04 | 南京航空航天大学 | 基于点云的复材壁板孔特征的检测方法及其系统 |
| CN115290650B (zh) * | 2022-09-29 | 2023-01-17 | 南京航空航天大学 | 基于点云的复材壁板孔特征的检测方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110222767B (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
| CN110222767A (zh) | 基于嵌套神经网络和栅格地图的三维点云分类方法 | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| EP3614308A1 (en) | Joint deep learning for land cover and land use classification | |
| CN109829399A (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
| CN105488528B (zh) | 基于改进自适应遗传算法的神经网络图像分类方法 | |
| CN109446970A (zh) | 一种基于深度学习的变电站巡检机器人道路场景识别方法 | |
| CN106845487A (zh) | 一种端到端的车牌识别方法 | |
| CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| JP6980289B2 (ja) | 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ | |
| CN108510504A (zh) | 图像分割方法和装置 | |
| CN112215847B (zh) | 基于对抗学习多尺度特征的重叠染色体自动分割方法 | |
| CN115205692B (zh) | 基于生成对抗网络的典型地物要素智能识别与提取方法 | |
| CN117157678A (zh) | 用于基于图的全景分割的方法和系统 | |
| CN107239759A (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
| CN113705580A (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| Gleason et al. | A fusion approach for tree crown delineation from lidar data. | |
| CN114283162A (zh) | 基于对比自监督学习的现实场景图像分割方法 | |
| CN114120067A (zh) | 一种物体识别方法、装置、设备及介质 | |
| CN113627440A (zh) | 一种基于轻量级神经网络的大规模点云语义分割方法 | |
| CN109657082A (zh) | 基于全卷积神经网络的遥感图像多标签检索方法及系统 | |
| EP4174792A1 (en) | Method for scene understanding and semantic analysis of objects | |
| Gupta et al. | Tree annotations in LiDAR data using point densities and convolutional neural networks | |
| CN117437382A (zh) | 一种数据中心部件的更新方法及系统 | |
| CN113111740A (zh) | 一种遥感图像目标检测的特征编织方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |