CN110570429B - 一种基于三维点云的轻量级实时语义分割方法 - Google Patents

Abstract

本发明公开了一种基于三维点云的轻量级实时语义分割方法，包括步骤：1)获取基础数据；2)将数据集中的三维点云投影成二维球形图；3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器，每一层都提取语义特征图，构造多层语义特征图；4)通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器‑解码器主干的语义分割器；5)构建训练数据集，对语义分割器进行训练；6)获取待检测三维点云并利用训练好的分割器进行语义分割。本发明够利用激光雷达获得的三维点云进行实时语义分割，在各种光照情况条件下满足自动驾驶中环境感知所需要的实时性与准确性。

Description

一种基于三维点云的轻量级实时语义分割方法

技术领域

本发明涉及计算机视觉、深度学习、语义分割的技术领域，尤其是指一种基于三维点云的轻量级实时语义分割方法。

背景技术

近年来，语义分割任务在生产生活中应用越来越广泛，越来越多的应用场景需要精确且高效的分割技术，如室外自动驾驶，室内导航等。特别是自动驾驶，需要对汽车周边环境精确，实时，鲁棒的感知，分割。二维图片的语义分割面临着准确度受光线，玻璃反射等问题影响较大的挑战，而三维点云通过激光扫描获取，不会受到上面所说的光照问题的影响。但是三维点云有着稀疏，点数量大需要高性能计算平台来分割的挑战，因此在嵌入式平台的轻量级的实时语义分割进行更深层级的研究具有重大意义。

目前，语义分割技术研究方面主要采用基于深度学习模型的方法，但还面临如下问题：

(1)深度学习模型往往是由数据驱动，需要基于大量的数据集进行训练，但很多应用领域并没有大量的标注数据，或者数据量大但标注成本很高导致无法实际应用。

(2)在二维图像采集过程中，由于环境、光照、拍摄视角、遮挡以及物体自身的非刚体形变，导致物体在图像中的表观特征具有很大的多样性，对语义分割算法的鲁棒性提出了很高的要求。

(3)对于场景信息、语义信息等图像中的原有信息的利用不充分，造成一些有效信息的缺失。

(4)目前的算法，特别是三维点云的语义分割，为保证检测准确率，需要重型的网络以及高性能的计算平台进行推理，且推理时间长，无法适应嵌入式平台下实时分割的要求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于三维点云的轻量级实时语义分割方法，能够利用激光雷达获得的三维点云进行实时语义分割，在各种光照情况条件下满足自动驾驶中环境感知所需要的实时性与准确性。

为实现上述目的，本发明所提供的技术方案为：一种基于三维点云的轻量级实时语义分割方法，包括以下步骤：

1)获取基础数据，包括支持集类别的图像数据、标签及验证三维点云；

2)将数据集中的三维点云投影成二维球形图；

3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器，每一层都提取语义特征图，构造多层语义特征图；

4)通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器-解码器主干的语义分割器；

5)构建训练数据集，对语义分割器进行训练；

6)获取待检测三维点云并利用训练好的语义分割器进行语义分割。

在步骤1)中，所述支持集类别的图像数据是指从数据集中获得的用作模型支持集的三维点云，所述标签为三维点云中每个点所属类别，所述验证三维点云是指从数据集中支持集以外随机获取的用于验证分割器效果的三维点云。

在步骤2)中，每个原始三维点云中的点用笛卡尔坐标系来表示：(x,y,z)，其中，x表示横坐标，y表示纵坐标，z表示竖轴上的坐标；将数据集中的三维点云投影成二维球形图，具体是将三维点云数据投影成基于网格的密集的球形图，三维点云的点与球形图的对应关系如下：

其中，θ表示顶角，

表示方位角，

表示二维网格图中每个点的位置，Δθ与

表示投影的分辨率，使用Velodyne HDL-64E LiDAR激光扫描仪获得的激光在垂直方向上是64线，即高度64，取扫描正前方90°的前景转换成512个网格，因此数据集中每张三维点云投影图为64×512×5大小，其中5为特征数，分别为笛卡尔坐标x、y、z及强度、范围。

在步骤3)中，通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器，每一层都提取语义特征图，构造多层语义特征图，包括以下步骤：

3.1)每个包含N个三维点云示例的支持集C的集合描述为：

C＝{(x₁,L₁),...,(x_N,L_N)}

其中，x_i表示三维点云示例，L_i表示其标签，下标i＝1,2,3,…,N，为索引号；

3.2)轻量化的卷积模块ShuffleSqueeze Block是将标准的3×3卷积分解为多个小的1×1卷积与3×3卷积达到减少内存占用的目的，从而实现轻量化，每个点的卷积运算为：

其中，y为输出的特征映射，p₀为每个像素的位置，R为卷积核，有R＝{(-1,1),(-1,0),...,(0,1),(1,1)}，p_i为卷积核中每个点的坐标，w(p₀)为位置p₀的权重，x为输入的原始图像，通过该卷积运算得到其可视化特征向量f(x)；

3.3)每经过一层ShuffleSqueeze Block生成一层语义特征图，随着层数加深，特征图的语义信息越来越丰富，空间信息越来越稀疏。

在步骤4)中，通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器-解码器主干的语义分割器，包括以下步骤：

4.1)通过反卷积提升语义特征图大小，通过卷积来精修解码特征，反复进行反卷积与卷积的操作，将特征图恢复到原二维球形图大小，利用语义信息来恢复空间信息；

4.2)假设靠近原始数据的ShuffleSqueeze Block的语义特征图在L_i层，比L_i更深一层的语义特征图在L_i+1层，当将编码器的L_i层的语义特征图与解码器的L_i的语义特征图融合时，通过引入经过空间注意力模块的L_i+1层的编码器的语义特征图来引导两个语义特征图更好的融合；

4.3)逐层将语义特征图恢复到输入二维球形图的大小，并得到每个点的分割结果D；

4.4)使用softmax归一化算子将分割结果D进行归一化得到每个点的为每个类别的概率prob：

prob＝softmax(D)

4.5)根据prob的大小确定其类别；

4.6)训练时使用交叉熵作为损失函数L：

其中，y为实际结果,

为预测结果。

在步骤5)中构建训练数据集，对语义分割器进行训练，包括以下步骤：

5.1)构建训练数据集，使用公开数据集KITTI，包含三维点云、标签；

5.2)通过取2000个随机三维点云投影图像作为验证图像，输入分割器并通过损失函数不断调整提高分割器效果，训练完成后得到一个三维点云的轻量级实时语义分割器。

在步骤6)中，获取待检测三维点云并利用训练好的语义分割器进行语义分割，包括以下步骤：

6.1)将Velodyne HDL-64E LiDAR激光扫描仪接入PC，获取的实时三维点云投影成为64×512作为待检测图像；

6.2)将待检测图像输入语义分割器进行语义分割，得到分割结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明首次提出轻量级的卷积模块ShuffleSqueeze Block，实现了更轻量化卷积。

2、本发明首次提出了轻量级的实时三维点云语义分割网络Shuffle SqueezeSeg，能够实时有效分割汽车、行人等路面常见物体。

3、本发明基于编码器-解码器的语义分割器架构，可以利用经过编码器-解码器模型后的语义信息，且融合编码器浅层的高分辨率特征，能够有效处理小目标，通过轻量化的卷积模块，加深了网络，在保证了实时性的前提下提高了分割精度。

附图说明

图1为本发明分割流程示意图。

图2为基于编码器-解码器的语义分割器架构构造过程示意图。

图3为ShuffleSqueeze Block结构图，图中(a)为轻量级卷积模块ShuffleSqueeze Block的架构，(b)为用于提高通道数的同架构。

图4为轻量级卷积GFire图，图中(a)为轻量级卷积GFire的架构，(b)为GFire的等价架构。

图5为特征精修流程图，图中(a)为特征精修，(b)空间注意力模块。

具体实施方式

下面结合具体实施例及附图对本发明作进一步说明，但本发明的实施方式不限于此。

如图1至图5所示，本实施例所提供的基于三维点云的轻量级实时语义分割方法，使用了Velodyne HDL-64E LiDAR激光扫描仪作为辅助设备，其包括以下步骤：

1)获取基础数据，包括支持集类别的点云数据、标签及验证三维点云，所述支持集类别的图像数据是指从数据集中获得的用作模型支持集的三维点云，所述标签为三维点云中每个点所属类别，所述验证三维点云是指从数据集中支持集以外随机获取的用于验证分割器效果的三维点云。

2)将三维点云数据投影成基于网格的密集的球形图，每个原始三维点云中的点通常用笛卡尔坐标系来表示：(x,y,z)，其中x表示横坐标，y表示纵坐标，z表示竖轴上的坐标，三维点云的点与二维球形图的对应关系如下：

其中，θ表示顶角，

表示方位角，

表示二维网格图中每个点的位置，Δθ与

表示投影的分辨率，使用Velodyne HDL-64E LiDAR激光扫描仪获得的激光在垂直方向上是64线，即高度64，取扫描正前方90°的前景转换成512个网格，因此数据集中每张三维点云投影图为64×512×5大小，其中5为特征数，分别为笛卡尔坐标x、y、z及强度、范围。

3)通过叠加多层我们设计的轻量化卷积模块ShuffleSqueeze Block组成编码器，每一层都提取语义特征图，并构造多层语义特征图，包括以下步骤：

3.1)每个包含N个三维点云示例的支持集C的集合描述为：

C＝{(x₁,L₁),...,(x_N,L_N)}

其中，x_i表示三维点云示例，L_i表示其标签，下标i＝1,2,3,…,N，为索引号；

3.2)轻量化的卷积模块ShuffleSqueeze Block是将标准的3×3卷积分解为多个小的1×1卷积与3×3卷积达到减少内存占用的目的，从而实现轻量化，每个点的卷积运算为：

其中，y为输出的特征映射，p₀为每个像素的位置，R为卷积核，有R＝{(-1,1),(-1,0),...,(0,1),(1,1)}，p_i为卷积核中每个点的坐标，w(p₀)为位置p₀的权重，x为输入的原始图像，通过该卷积运算得到其可视化特征向量f(x)；ShuffleSqueeze Block与GFire设计见图3，图4；

3.3)每经过一层ShuffleSqueeze Block生成一层语义特征图，随着层数加深，特征图的语义信息越来越丰富，空间信息越来越稀疏。

4)通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器-解码器主干的语义分割器，包括以下步骤：

4.1)通过反卷积提升语义特征图大小，通过卷积来精修解码特征，反复进行反卷积与卷积的操作，将特征图恢复到原二维球形图大小，利用语义信息来恢复空间信息；

4.2)假设靠近原始数据的ShuffleSqueeze Block的语义特征图在L_i层，比L_i更深一层的语义特征图在L_i+1层，当将编码器的L_i层的语义特征图与解码器的L_i的语义特征图融合时，通过引入经过图5中(b)的空间注意力模块的L_i+1层的编码器的语义特征图来引导两个语义特征图更好的融合；

4.3)逐层将语义特征图恢复到输入二维球形图的大小，并得到每个点的分割结果D；

4.4)使用softmax归一化算子将分割结果D进行归一化得到每个点的为每个类别的概率prob：

prob＝softmax(D)

4.5)根据prob的大小确定其类别；

4.6)训练时使用交叉熵作为损失函数L：

其中，y为实际结果,

为预测结果。

5)构建训练数据集，对语义分割器进行训练，包括以下步骤：

5.1)构建训练数据集，使用公开数据集KITTI，包含三维点云、标签；

5.2)通过取2000个随机三维点云投影图像作为验证图像，输入分割器并通过损失函数不断调整提高分割器效果，训练完成后得到一个三维点云的轻量级实时语义分割器。

6)获取待检测三维点云并利用训练好的语义分割器进行语义分割，包括以下步骤：

6.1)将Velodyne HDL-64E LiDAR激光扫描仪接入PC，获取的实时三维点云投影成为64×512作为待检测图像；

6.2)将待检测图像输入语义分割器进行语义分割，得到分割结果。

综上所述，采用以上方案，本发明为轻量级的实时三维点云语义分割提供了新的方法，提出了一种新的轻量级卷积模块以及基于该模块建立的轻量级语义分割网络架构，具有研究价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于三维点云的轻量级实时语义分割方法，其特征在于，包括以下步骤：

1)获取基础数据，包括支持集类别的图像数据、标签及验证三维点云；

2)将数据集中的三维点云投影成二维球形图；

3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器，每一层都提取语义特征图，并构造多层语义特征图，包括以下步骤：

3.1)每个包含N个三维点云示例的支持集C的集合描述为：

C＝{(x₁,L₁),...,(x_N,L_N)}

其中，x_i表示三维点云示例，L_i表示其标签，下标i＝1,2,3,…,N，为索引号；

3.2)轻量化的卷积模块ShuffleSqueeze Block是将标准的3×3卷积分解为多个小的1×1卷积与3×3卷积达到减少内存占用的目的，从而实现轻量化，每个点的卷积运算为：

其中，y为输出的特征映射，p₀为每个像素的位置，R为卷积核，有R＝{(1,1),(-1,0),...,(0,1),(1,1)}，p_i为卷积核中每个点的坐标，w(p₀)为位置p₀的权重，x为输入的原始图像，通过该卷积运算得到其可视化特征向量f(x)；

3.3)每经过一层ShuffleSqueeze Block生成一层语义特征图，随着层数加深，特征图的语义信息越来越丰富，空间信息越来越稀疏；

4)通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器-解码器主干的语义分割器；

5)构建训练数据集，对语义分割器进行训练；

6)获取待检测三维点云并利用训练好的语义分割器进行语义分割。

2.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法，其特征在于：在步骤1)中，所述支持集类别的图像数据是指从数据集中获得的用作模型支持集的三维点云，所述标签为三维点云中每个点所属类别，所述验证三维点云是指从数据集中支持集以外随机获取的用于验证分割器效果的三维点云。

3.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法，其特征在于：在步骤2)中，每个原始三维点云中的点用笛卡尔坐标系来表示：(x,y,z)，其中，x表示横坐标，y表示纵坐标，z表示竖轴上的坐标；将数据集中的三维点云投影成二维球形图，具体是将三维点云数据投影成基于网格的密集的球形图，三维点云的点与球形图的对应关系如下：

其中，θ表示顶角，

表示方位角，

表示二维网格图中每个点的位置，Δθ与

表示投影的分辨率，使用Velodyne HDL-64E LiDAR激光扫描仪获得的激光在垂直方向上是64线，即高度64，取扫描正前方90°的前景转换成512个网格，因此数据集中每张三维点云投影图为64×512×5大小，其中5为特征数，分别为笛卡尔坐标x、y、z及强度、范围。

4.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法，其特征在于：在步骤4)中，通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器-解码器主干的语义分割器，包括以下步骤：

4.1)通过反卷积提升语义特征图大小，通过卷积来精修解码特征，反复进行反卷积与卷积的操作，将特征图恢复到原二维球形图大小，利用语义信息来恢复空间信息；

4.2)假设靠近原始数据的ShuffleSqueeze Block的语义特征图在L_i层，比L_i更深一层的语义特征图在L_i+1层，当将编码器的L_i层的语义特征图与解码器的L_i的语义特征图融合时，通过引入经过空间注意力模块的L_i+1层的编码器的语义特征图来引导两个语义特征图更好的融合；

4.3)逐层将语义特征图恢复到输入二维球形图的大小，并得到每个点的分割结果D；

4.4)使用softmax归一化算子将分割结果D进行归一化，得到每个点的为每个类别的概率prob：

prob＝softmax(D)

4.5)根据prob的大小确定其类别；

4.6)训练时使用交叉熵作为损失函数L：

其中，y为实际结果,

为预测结果。

5.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法，其特征在于：在步骤5)中构建训练数据集，对语义分割器进行训练，包括以下步骤：

5.1)构建训练数据集，使用公开数据集KITTI，包含三维点云、标签；

5.2)通过取2000个随机三维点云投影图像作为验证图像，输入分割器并通过损失函数不断调整提高分割器效果，训练完成后得到一个三维点云的轻量级实时语义分割器。

6.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法，其特征在于：在步骤6)中，获取待检测三维点云并利用训练好的语义分割器进行语义分割，包括以下步骤：

6.1)将Velodyne HDL-64E LiDAR激光扫描仪接入PC，获取的实时三维点云投影成为64×512作为待检测图像；

6.2)将待检测图像输入语义分割器进行语义分割，得到分割结果。

Images