CN109829399A - 一种基于深度学习的车载道路场景点云自动分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车载道路场景点云自动分类方法及系统，构建训练样本集，包括采集道路场景车载激光的三维点云数据，标注类别标签，将三维点云数据和对应的类别标签信息打包作为点云数据集；设计基于八叉树数据结构的三维深度学习网络模型，所述三维深度学习网络模型采用U型全卷积神经网络模型；利用对各类别加权的损失函数，解决道路场景车载激光点云不同类别点数量差异大的问题，基于训练样本集，对网络模型进行训练，得到训练好的点云分类模型；输入待分类的车载激光三维点云数据。采用本发明技术方案能稳定、精确地对具有不同种类、数量和尺寸的分类目标的车载道路场景下的激光点云进行自动分类。

Description

一种基于深度学习的车载道路场景点云自动分类方法

技术领域

本发明属于车载道路场景激光点云自动分类领域，具体涉及一种基于深度学习的车载道路场景激光点云自动分类方法。该方法通过对已标注类别标签的三维激光点云数据集进行学习与训练，最终训练得到的深度学习模型能稳定、精确地对具有不同种类、数量和尺寸的分类目标的车载道路场景下的激光点云进行自动分类。

背景技术

激光点云自动分类技术指对原始的具有三维空间坐标等信息的激光点云，利用合适的特征提取、学习以及分类方法，自动将每个三维点分到某一特定类别的过程。高效、高精度地对街道场景车载激光点云进行分类，在室外机器人、自动驾驶以及高精度地图等方面都具有广泛应用，因此，街道场景激光点云分类具有重要的研究价值。

传统的激光点云分类方法的一般流程是先对点云进行分割操作，然后对每个分割块人工设计一系列具有区分性的特征，比如高度，体积特征等，再通过一定的训练数据对某种机器学习分类器进行训练，然后用训练好的分类器对测试点云进行自动分类，最后利用条件随机场，图割优化等后处理方法对初步分类结果进行优化，进一步提高分类精度。但是这种分类流程存在很多不足，比如某些特征是针对某个特定数据集设计的，当换个数据集时，待分类目标类型、类别数量、点云密度等发生变化时，这些分类特征将不能有效地对新的点云数据集进行分类，这说明传统分类器的泛化和学习能力是很有限的。

近年来，深度学习在二维图像领域有很多成功的应用，比如目标检测、语义分割、图像分类等。深度学习方法可以通过对大量的标注数据进行学习，自动提取出有效的、鲁棒的特征。受到深度学习在二维领域的启发，越来越多的研究将深度学习应用到三维领域，希望能够从大量的三维数据中主动学习特征，从而自适应地对更多的三维数据集进行自动分类。在众多三维数据源中，三维点云数据是一种较常见并且有效的数据来源，因此利用深度学习对原始三维点云进行分类、识别是一个热点问题。

然而，要将在二维图像中广泛使用的卷积神经网络扩展应用到三维点云分类中来会遇到诸多问题。二维图像是由规则排列的像素组成，而三维点云往往是无规则的，离散的。因此如果要将卷积神经网络应用到三维点云数据，最直接的策略是对点云进行三维体素化，从而可以对体素化的点云进行卷积、池化、反卷积等经典操作。然而道路场景下的车载点云数据数据量庞大，并且点云覆盖体积大，从而导致对三维体素化后的数据进行卷积等操作计算量大并且消耗大量内存。因此，常见的三维卷积神经网络往往只能接受小尺寸的输入数据，并且网络模型深度也很浅，这会直接限制神经网络的学习与泛化能力。

另一种利用深度学习进行点云分类的常见方法是基于投影图像的方法。为了直接避免基于体素化方法的上述问题，该类方法将待分类的三维点云投影到二维平面，得到一系列的投影图像，然后利用一些经典的二维卷积神经网络模型进行处理，最终将二维的分类结果反投影回三维点云上得到最终分类结果。这种类型的方法可以有效地利用二维图像中成熟的网络结构，并且利用海量的二维图像标注数据进行预训练，从而达到良好的三维分类效果。但是该方法将三维空间点投影到一系列二维平面，将不可避免地损失一定量的空间细节信息。同时还存在投影视角选择、自遮挡等一系列问题。因此不能根本解决利用深度学习处理三维数据的难点问题。

发明内容

为了克服以上技术问题，本发明提出了一种新的基于深度学习的车载道路场景点云自动分类方法。由于直接把二维的卷积神经网络扩展到三维，用稠密的规则三维格网做三维卷积，计算量和内存消耗将随着输入分辨率增加呈现三次方增长。实际上，三维点云数据是离散、稀疏的，将点云覆盖体积范围全部进行体素化，是对资源的浪费，尤其对于背景没有激光点的部分。所以本发明利用基于八叉树的稀疏表示数据结构，当有点存在时，迭代地将当前格网往下细分成相同大小的八份。最终背景部分用较大格网表示，而有点的地方，尤其是点数比较稠密的地方用较小格网表示。基于这样一种数据结构，可以使得三维卷积神经网络既保留点云细节部分又节省大量计算内存空间。最终实现对大范围的车载激光点云数据进行高精度的自动分类。

本发明技术方案提供一种基于深度学习的车载道路场景点云自动分类方法，包括以下步骤，

步骤1，构建训练样本集，包括采集道路场景车载激光的三维点云数据，标注类别标签，将三维点云数据和对应的类别标签信息打包作为点云数据集；

步骤2，设计基于八叉树数据结构的三维深度学习网络模型，所述三维深度学习网络模型采用U型全卷积神经网络模型，实现如下，

步骤2.1，将原始三维点云体素化，然后将所得体素格网用八叉树结构表示；

步骤2.2，编码器采用4组级联的卷积层和池化层，每组操作后均生成一组特征映射图，最后连接一个卷积层；

步骤2.3，连接4组级联的上采样层和卷积层构成解码器，将每组最终生成的特征映射图与编码器中同等大小尺寸的特征映射图连接；

步骤2.3，在编码器第四组中池化层前面加上嵌入式残差网结构，该网络结构对输入层分成四个通道同时进行不同次数和尺度的卷积操作，最终将四个通道的输出特征图进行连接，使得网络同时获得不同尺度的细节特征；

步骤2.4，在解码器最后使用Softmax层得到每个体素的类别预测结果；

步骤3，利用对各类别加权的损失函数，解决道路场景车载激光点云不同类别点数量差异大的问题，基于训练样本集，对网络模型进行训练，得到训练好的点云分类模型；

步骤4，基于步骤3所得训练好的点云分类模型输入待分类的车载激光三维点云数据，对测试数据进行点云自动分类并评定精度。

而且，U型全卷积神经网络模型中编码器和解码器的卷积核大小统一为3×3×3。

而且，所述嵌入式残差网结构的四个通道中，通道1包括1个1×1×1的卷积核，通道2包括1个1×1×1的卷积核和1个3×3×3的卷积核，通道3包括依次连接的1个1×1×1的卷积核和2个3×3×3的卷积核，通道4包括依次连接的1个1×1×1的卷积核和3个3×3×3的卷积核。

而且，步骤3中，定义类别加权的损失函数如下，

其中，N表示八叉树的叶子节点数，C表示分类类别总数，表示网络模型在第c个类别第n个叶子节点处的类别预测值，表示在第c个类别第n个叶子节点处的类别真值，log表示底数为10的对数函数，类别权重w_c的计算公式为：

其中median表示中值计算，frequency_c表示类别编号为c的样本在总训练样本中的出现频率。

本发明还提供一种基于深度学习的车载道路场景点云自动分类系统，包括以下模块，

第一模块，用于构建训练样本集，包括采集道路场景车载激光的三维点云数据，标注类别标签，将三维点云数据和对应的类别标签信息打包作为点云数据集；

第二模块，用于设计基于八叉树数据结构的三维深度学习网络模型，所述三维深度学习网络模型采用U型全卷积神经网络模型，实现如下，

将原始三维点云体素化，然后将所得体素格网用八叉树结构表示；

编码器采用4组级联的卷积层和池化层，每组操作后均生成一组特征映射图，最后连接一个卷积层；

连接4组级联的上采样层和卷积层构成解码器，将每组最终生成的特征映射图与编码器中同等大小尺寸的特征映射图连接；

在编码器第四组中池化层前面加上嵌入式残差网结构，该网络结构对输入层分成四个通道同时进行不同次数和尺度的卷积操作，最终将四个通道的输出特征图进行连接，使得网络同时获得不同尺度的细节特征；

在解码器最后使用Softmax层得到每个体素的类别预测结果；

第三模块，用于利用对各类别加权的损失函数，解决道路场景车载激光点云不同类别点数量差异大的问题，基于训练样本集，对网络模型进行训练，得到训练好的点云分类模型；

第四模块，用于基于第三模块所得训练好的点云分类模型输入待分类的车载激光三维点云数据，对测试数据进行点云自动分类并评定精度。

而且，U型全卷积神经网络模型中编码器和解码器的卷积核大小统一为3×3×3。

而且，所述嵌入式残差网结构的四个通道中，通道1包括1个1×1×1的卷积核，通道2包括1个1×1×1的卷积核和1个3×3×3的卷积核，通道3包括依次连接的1个1×1×1的卷积核和2个3×3×3的卷积核，通道4包括依次连接的1个1×1×1的卷积核和3个3×3×3的卷积核。

而且，步骤3中，定义类别加权的损失函数如下，

其中，N表示八叉树的叶子节点数，C表示分类类别总数，表示网络模型在第c个类别第n个叶子节点处的类别预测值，表示在第c个类别第n个叶子节点处的类别真值，log表示底数为10的对数函数，类别权重w_c的计算公式为：

其中median表示中值计算，frequency_c表示类别编号为c的样本在总训练样本中的出现频率。

本发明与现有技术相比，具有以下三个优点：

(1)特征学习、泛化能力强，免除复杂耗时的人工设计特征过程；

本发明使用深度学习方法，通过基于八叉树的三维卷积神经网络自动地对大量道路场景车载激光三维点云训练样本进行学习，得到一个端对端的点云自动分类模型。该模型无需人工设计特征，并且对不同采集设备采集的、不同地理位置、不同点云密度的数据集均适用，可移植性、泛化能力强。能有效替代传统方法中复杂的特征设计过程。

(2)有效解决卷积神经网络应用于三维数据时高计算量高内存占用的难题；

本发明利用一种基于八叉树的数据结构。基于该结构，传统的卷积、池化、反卷积等运算仍然可以有效地运行。在体素化过程中保留点云细节的同时，大大地节约了内存占用与计算量。

(3)对不同三维点云目标尺寸差异的适应性强；

本发明在设计网络模型的结构时，对不同层次的特征映射图进行了连接，融合了语义性强的高层特征和分辨率高的低层特征，加强了网络模型对复杂道路场景下不同尺寸目标的适应性，能灵活有效地对具有不同尺寸的类别点云进行分类。

(4)解决了不同类别对象点数差异大的问题；

本发明通过对损失函数加上类别权重，与一些利用降采样或者升采样操作进行类别平衡的方法相比，本发明在不丢失任何样本的同时，自适应地调整网络参数，相较于不加类别权重的损失函数训练得到的网络模型能得到更优的分类精度。

终上所述，本发明提供了稳定、精确的车载道路场景点云自动分类技术，可以提高后续道路网提取等应用的效率。

附图说明

图1为本发明实施例的网络模型结构图。

图2为本发明实施例的嵌入残差网结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施示例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于深度学习的车载道路场景点云自动分类方法，包括以下步骤：

步骤1，构建训练样本集，包括采集道路场景车载激光三维点云数据，对原始激光三维点云数据标注类别标签。将三维点云数据和对应的类别标签信息打包作为点云数据集；

具体实施时，可以利用使用三维点云标注软件进行标注类别标签，预先实现构建训练样本集。

实施例中，包括以下子步骤：

步骤1.1，以车载三维激光器为数据源，获取道路场景的三维激光点云，每行存储单个激光点的x、y、z坐标。

步骤1.2，用CloudCompare软件将原始三维点云数据打开并显示，利用裁剪及添加标签功能对每个点打上类别标签，最终存储标记好类别标签的点云数据。

步骤1.3，将所有标记好的车载点云数据打包构建成训练样本集。

步骤2，设计基于八叉树数据结构的三维深度学习网络模型。使用U型结构的全卷积神经网络，使得网络输入和输出尺寸相同，从而避免重复卷积运算，提升计算效率。使用级联的基于八叉树结构的卷积层、池化层和上采样层提取输入点云的特征，并对具有不同语义性和分辨率的特征映射图进行连接。植入残差网结构对输入特征采用不同大小的卷积核进行卷积操作，使得网络可同时提取出不同尺度的特征，并且利用残差结构加速计算。

实施例中，设计如图1所示的基于八叉树数据结构的U型全卷积神经网络模型，该网络主要包含编码器和解码器两个部分，其中卷积核大小统一为3×3×3，具体包括以下子步骤：

步骤2.1，将原始三维点云体素化，然后将该体素格网用八叉树结构表示。体素化的步骤如下：先找到当前三维点云覆盖三维坐标范围的最小包围盒，然后与二维图像领域的像素概念类似，将最小包围盒分成大小相等的三维体素，若体素内包含多个点，则该体素内的值则为该体素内所有点的特征的平均值。

步骤2.2，编码器采用4组级联的卷积层和池化层，每组操作后均生成一组特征映射图，最后连接一个卷积层；如图1中Encoder-Conv1到Encoder-Conv5所示结构，依次有卷积层Encoder-Conv1、池化层Pool1、卷积层Encoder-Conv2、池化层Pool2、卷积层Encoder-Conv3、池化层Pool3、卷积层Encoder-Conv4、池化层Pool4，最后设置卷积层Encoder-Conv5，每组操作后均生成一组特征映射图。

步骤2.3，接着连接4组级联的上采样层和卷积层构成解码器，如图1中Unpool1到Decoder-Conv4所示结构，依次有上采样层Unpool1、卷积层Decoder-Conv1、上采样层Unpool2、卷积层Decoder-Conv2、上采样层Unpool3、卷积层Decoder-Conv3、上采样层Unpool4、卷积层Decoder-Conv4，并且将每组最终生成的特征映射图与编码器中同等大小尺寸的特征映射图连接。

步骤2.3，在编码器Encoder-Conv4层后加上如图2所示的嵌入式残差网结构。该网络结构对输入层分成四个通道同时进行不同次数和尺度的卷积操作，最终将四个通道的输出特征图进行连接，使得网络可以同时获得不同尺度的细节特征。其中，通道1包括1个1×1×1的卷积核，通道2包括1个1×1×1的卷积核和1个3×3×3的卷积核，通道3包括依次连接的1个1×1×1的卷积核和2个3×3×3的卷积核，通道4包括依次连接的1个1×1×1的卷积核和3个3×3×3的卷积核。

步骤2.4，在解码器最后使用Softmax层得到每个体素的类别预测结果。

步骤3，利用对各类别加权的损失函数，基于训练样本集，对网络模型进行训练。

使用类别加权的损失函数，以解决道路场景车载激光点云不同类别点数量差异大的问题。基于随机梯度下降算法，将深度模型输出结果尽可能接近真实类别标签信息，通过反向传播迭代求解最小化损失函数的网络参数，从而得到训练好的点云分类模型。

实施例中，包括以下子步骤：

步骤3.1，定义类别加权的损失函数：

其中，N表示八叉树的叶子节点数，C表示分类类别总数，表示网络模型在第c个类别第n个叶子节点处的类别预测值，表示在第c个类别第n个叶子节点处的类别真值，log表示底数为10的对数函数，类别权重w_c的计算公式为：

其中median表示中值计算，frequency_c表示类别编号为c的样本在总训练样本中的出现频率。

步骤3.2，使用随机梯度下降算法，迭代求解最小化损失函数loss的网络参数，得到训练好的网络模型。

随机梯度下降算法为现有技术，本发明不予赘述。网络参数包括卷积神经网络里的卷积核、偏移量等参数，是网络通过最小化损失函数自动学习调整得到的。

步骤4，输入待分类的车载激光三维点云数据，对测试数据进行点云自动分类并评定精度：

步骤4.1，将待分类的车载激光三维点云数据进行体素化后并用八叉树数据结构表示；

步骤4.2，将该测试数据输入已经训练好的网络模型中，得到每个体素的类别预测结果：

步骤4.3，将每个体素的类别预测值赋给该体素内所有三维点，得到整个点云的分类结果，包括地面、低的植被、高的植被等；

步骤4.4，对最终分类结果利用经典的性能评价指标精确率和召回率进行定量评价。具体计算方法如下：假设类别数为N，C是一个N×N的混淆矩阵，C_ij表示矩阵C中第i行第j列的元素值，同时也表真实类别为i的点被分为第j类的点个数，其中i，j∈{1,…,N}。那么每个类别的精确率和召回率计算公式分别如下：

具体实施时，可采用软件技术实现以上流程的自动运行，也可以采用模块化方式提供相应系统。本发明实施例还提供一种基于深度学习的车载道路场景点云自动分类系统，包括以下模块，

第一模块，用于构建训练样本集，包括采集道路场景车载激光的三维点云数据，标注类别标签，将三维点云数据和对应的类别标签信息打包作为点云数据集；

第二模块，用于设计基于八叉树数据结构的三维深度学习网络模型，所述三维深度学习网络模型采用U型全卷积神经网络模型，实现如下，

将原始三维点云体素化，然后将所得体素格网用八叉树结构表示；

采用4组级联的卷积层和池化层构成编码器，每组操作后均生成一组特征映射图；

连接4组级联的上采样层和卷积层构成解码器，将每组最终生成的特征映射图与编码器中同等大小尺寸的特征映射图连接；

在编码器第四组中池化层前面加上嵌入式残差网结构，该网络结构对输入层分成四个通道同时进行不同次数和尺度的卷积操作，最终将四个通道的输出特征图进行连接，使得网络同时获得不同尺度的细节特征；

在解码器最后使用Softmax层得到每个体素的类别预测结果；

第三模块，用于利用对各类别加权的损失函数，解决道路场景车载激光点云不同类别点数量差异大的问题，基于训练样本集，对网络模型进行训练，得到训练好的点云分类模型；

第四模块，用于基于第三模块所得训练好的点云分类模型输入待分类的车载激光三维点云数据，对测试数据进行点云自动分类并评定精度。

具体各模块实现可参见相应步骤，本发明不予赘述。

通过本发明对实际道路环境下采集的车载激光三维点云进行自动分类的结果可以看出，本发明能稳定、精确地对具有不同种类、数量和尺寸的分类目标的车载道路场景下的激光点云进行自动分类。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度学习的车载道路场景点云自动分类方法，其特征在于：包括以下步骤，

步骤1，构建训练样本集，包括采集道路场景车载激光的三维点云数据，标注类别标签，将三维点云数据和对应的类别标签信息打包作为点云数据集；

步骤2，设计基于八叉树数据结构的三维深度学习网络模型，所述三维深度学习网络模型采用U型全卷积神经网络模型，实现如下，

步骤2.1，将原始三维点云体素化，然后将所得体素格网用八叉树结构表示；

步骤2.2，编码器采用4组级联的卷积层和池化层，每组操作后均生成一组特征映射图，最后连接一个卷积层；

步骤2.3，连接4组级联的上采样层和卷积层构成解码器，将每组最终生成的特征映射图与编码器中同等大小尺寸的特征映射图连接；

步骤2.3，在编码器第四组中池化层前面加上嵌入式残差网结构，该网络结构对输入层分成四个通道同时进行不同次数和尺度的卷积操作，最终将四个通道的输出特征图进行连接，使得网络同时获得不同尺度的细节特征；

步骤2.4，在解码器最后使用Softmax层得到每个体素的类别预测结果；

步骤3，利用对各类别加权的损失函数，解决道路场景车载激光点云不同类别点数量差异大的问题，基于训练样本集，对网络模型进行训练，得到训练好的点云分类模型；

步骤4，基于步骤3所得训练好的点云分类模型输入待分类的车载激光三维点云数据，对测试数据进行点云自动分类并评定精度。

2.根据权利要求1所述基于深度学习的车载道路场景点云自动分类方法，其特征在于：U型全卷积神经网络模型中编码器和解码器的卷积核大小统一为3×3×3。

3.根据权利要求1所述基于深度学习的车载道路场景点云自动分类方法，其特征在于：所述嵌入式残差网结构的四个通道中，通道1包括1个1×1×1的卷积核，通道2包括1个1×1×1的卷积核和1个3×3×3的卷积核，通道3包括依次连接的1个1×1×1的卷积核和2个3×3×3的卷积核，通道4包括依次连接的1个1×1×1的卷积核和3个3×3×3的卷积核。

4.根据权利要求1或2或3所述基于深度学习的车载道路场景点云自动分类方法，其特征在于：步骤3中，定义类别加权的损失函数如下，

其中，N表示八叉树的叶子节点数，C表示分类类别总数，表示网络模型在第c个类别第n个叶子节点处的类别预测值，表示在第c个类别第n个叶子节点处的类别真值，log表示底数为10的对数函数，类别权重w_c的计算公式为：

其中median表示中值计算，frequency_c表示类别编号为c的样本在总训练样本中的出现频率。

5.一种基于深度学习的车载道路场景点云自动分类系统，其特征在于：包括以下模块，

第一模块，用于构建训练样本集，包括采集道路场景车载激光的三维点云数据，标注类别标签，将三维点云数据和对应的类别标签信息打包作为点云数据集；

第二模块，用于设计基于八叉树数据结构的三维深度学习网络模型，所述三维深度学习网络模型采用U型全卷积神经网络模型，实现如下，

将原始三维点云体素化，然后将所得体素格网用八叉树结构表示；

编码器采用4组级联的卷积层和池化层，每组操作后均生成一组特征映射图，最后连接一个卷积层；

连接4组级联的上采样层和卷积层构成解码器，将每组最终生成的特征映射图与编码器中同等大小尺寸的特征映射图连接；

在编码器第四组中池化层前面加上嵌入式残差网结构，该网络结构对输入层分成四个通道同时进行不同次数和尺度的卷积操作，最终将四个通道的输出特征图进行连接，使得网络同时获得不同尺度的细节特征；

在解码器最后使用Softmax层得到每个体素的类别预测结果；

第三模块，用于利用对各类别加权的损失函数，解决道路场景车载激光点云不同类别点数量差异大的问题，基于训练样本集，对网络模型进行训练，得到训练好的点云分类模型；

第四模块，用于基于第三模块所得训练好的点云分类模型输入待分类的车载激光三维点云数据，对测试数据进行点云自动分类并评定精度。

6.根据权利要求5所述基于深度学习的车载道路场景点云自动分类系统，其特征在于：U型全卷积神经网络模型中编码器和解码器的卷积核大小统一为3×3×3。

7.根据权利要求6所述基于深度学习的车载道路场景点云自动分类系统，其特征在于：所述嵌入式残差网结构的四个通道中，通道1包括1个1×1×1的卷积核，通道2包括1个1×1×1的卷积核和1个3×3×3的卷积核，通道3包括依次连接的1个1×1×1的卷积核和2个3×3×3的卷积核，通道4包括依次连接的1个1×1×1的卷积核和3个3×3×3的卷积核。

8.根据权利要求5或6或7所述基于深度学习的车载道路场景点云自动分类系统，其特征在于：步骤3中，定义类别加权的损失函数如下，

其中，N表示八叉树的叶子节点数，C表示分类类别总数，表示网络模型在第c个类别第n个叶子节点处的类别预测值，表示在第c个类别第n个叶子节点处的类别真值，log表示底数为10的对数函数，类别权重w_c的计算公式为：

其中median表示中值计算，frequency_c表示类别编号为c的样本在总训练样本中的出现频率。