CN110853037A - 一种基于球面投影的轻量化彩色点云分割方法 - Google Patents

Abstract

本发明公开一种基于球面投影的轻量化彩色点云分割方法，包括以下步骤：先标定激光雷达及相机，再使用激光雷达获取点云数据，同时使用相机获取彩色图像数据，然后将点云数据与彩色图像数据进行融合，得彩色点云，随后将彩色点云投影到二维球面上，以获得彩色点云的8层表示，最后对投影后的彩色点云进行语义分割，得无人车周围环境的目标信息，完成基于球面投影的轻量化彩色点云分割，该方法能够准确、高效的实现彩色点云的分割。

Description

一种基于球面投影的轻量化彩色点云分割方法

技术领域

本发明属于无人驾驶汽车技术中的交通场景感知领域，涉及一种基于球面投影的轻量化彩色点云分割方法。

背景技术

根据世界卫生组织2015年报告，交通事故已经成为全球性的问题，全世界每年交通事故的死伤人数超过125万，造成的经济损失高达数十亿元。因此集自动控制、人工智能、模式识别等技术于一体的无人驾驶应运而生。为了实时可靠的感知环境信息，无人驾驶汽车上装备了各种传感器，包括相机、激光雷达和GPS/IMU。无人驾驶汽车的安全性备受公众关注，因而，准确识别并定位交通环境中的目标成为无人驾驶技术最重要的一环。其中，激光雷达因其可以对车辆周围环境进行立体感知而受到广泛使用，但是，现有点云数据分割算法并不能够达到理想的精度。直觉上，视觉信息能够更加准确地识别目标，但是视觉信息存在固有缺陷，它不能够提供目标的空间位置信息，因而不能够单独用于目标的定位。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于球面投影的轻量化彩色点云分割方法，该方法能够准确、高效的实现彩色点云的分割。

为达到上述目的，本发明所述的基于球面投影的轻量化彩色点云分割方法包括以下步骤：

先标定激光雷达及相机，再使用激光雷达获取点云数据，同时使用相机获取彩色图像数据，然后将点云数据与彩色图像数据进行融合，得彩色点云，随后将彩色点云投影到二维球面上，以获得彩色点云的8层表示，最后对投影后的彩色点云进行语义分割，得无人车周围环境的目标信息，完成基于球面投影的轻量化彩色点云分割。

具体包括以下步骤：

1)对相机进行标定，获取相机的内参数，对激光雷达进行标定，获取相机相对于激光雷达的外参数；

2)使用激光雷达采集关于车辆周围环境的点云数据，使用相机获取关于车辆周围环境的彩色图像数据；

3)利用步骤1)中获取的相机内参数及相机相对于激光雷达的外参数，为点云数据额外附加RGB信息，得彩色点云数据；

4)将彩色点云投影到二维球面，得关于彩色点云的8层表示；

5)将步骤4)得到的关于彩色点云的8层表示输入到视觉信息辅助的轻量级点云分割算法神经网络，以完成对彩色点云数据的分割。

步骤1)的具体操作过程为：

1.1)在车辆顶部安装相机及激光雷达；

1.2)使用张正友标定法标定相机，得相机的内参数矩阵P；

1.3)使用相机与激光雷达标定方法，对相机相对于激光雷达的相对位姿进行标定，得相机相对于激光雷达的外参数矩阵R。

步骤2)的具体操作过程为：

2.1)以激光雷达安装位置为参考点定义三维直角坐标系，计算激光雷达每一线激光倾斜向下的扫描面相对于垂直方向的夹角α_i；

2.2)建立激光雷达扫描极坐标系到三维直角坐标系的转换关系，根据所述转换关系获取激光雷达数据点L_i在三维直角坐标系中的坐标值，每一个激光雷达扫描的极坐标数据点均包括扫描面倾角α、发射角度β_i及扫描距离d_i，则激光雷达数据点L_i＝(α，β_i，d_i)在三维直角坐标系的坐标值P_i＝(x_i，y_i，z_i)，其中，

x_i＝sinα·cosβ_i·d_i

y_i＝sinβ_i·d_i

z_i＝cosα·cosβ_i·d_i

2.3)使用激光雷达采集点云数据，然后将采集到的点云数据转换到三维直角坐标系中，并保留点云数据中的反射率参数intensity和极坐标系中极点到点云数据点的距离depth(＝d_i)；

2.4)使用相机采集车辆正前方交通场景的图像数据。

步骤3)的具体操作为：

3.1)建立步骤2)构建的激光雷达三维直角坐标系到图像二维平面坐标系的转换关系，根据所述转换关系获取激光点云数据点P_i在图像二维平面坐标系中的图像二维平面坐标值，其中，从激光雷达三维直角坐标到图像二维平面坐标，需要经历两步变换，第一步为：激光雷达三维直角坐标到相机三维直角坐标的变换；第二步为：从相机三维直角坐标到图像二维平面坐标的变换，利用步骤1)获取的相机内参数矩阵P及相机相对于激光雷达的外参数矩阵R，得P_i＝(x_i，y_i，z_i)投影到图像二维平面坐标系中的坐标值Q_i＝(u_i，v_i)，其中，

其中，

代表Q_i的增广矩阵，

代表P_i的增广矩阵；

3.2)利用步骤3.1)中的转换关系将点云数据投影到图像二维平面坐标系中，并将同时刻拍摄的图像上的对应点的RGB值赋值给原始的点云数据点P_i，得彩色点云数据点CP_i。

步骤4)的具体操作过程为：

4.1)建立激光雷达三维直角坐标系到二维球面坐标系的转换关系，根据所述转换关系将彩色点云数据点CP_i投影到二维球面坐标系中，其中，二维球面坐标数据点包括俯仰角θ及偏航角则点云数据点Pi＝(x_i，y_i，z_i)在二维球面坐标系中的坐标值其中，

4.2)将二维球面坐标系中的球面划分为64×512的网格，根据步骤4.1)的投影结果，将二维球面坐标数据点按其在激光雷达俯仰角及偏航角范围内的比例投影到球面上，其中，每个网格同时获得彩色点云x、y、z、intensity、depth、R、G及B，即获得彩色点云的8层表示。

步骤5)的具体操作过程为：

5.1)将步骤4)中获取的彩色点云的8层表示输入到视觉信息辅助的轻量级点云分割算法神经网络中，以获得彩色点云的语义分割图；

5.2)对彩色点云的语义分割图进行分析，给出点云数据表示交通环境中的目标数量、种类及位置信息。

本发明具有以下有益效果：

本发明所述的基于球面投影的轻量化彩色点云分割方法在具体操作时，通过相机获取彩色图像数据，通过激光雷达获取点云数据，并将两者进行融合，得到彩色点云，再将点云数据投影到二维球面上，以获取彩色点云的8层表示，最后根据彩色点云的8层表示对彩色点云进行语义分割，以识别出交通环境中目标的所属种类及空间位置。需要说明的是，本发明在激光雷达点云数据中融合了视觉信息，相较于传统只利用点云数据对点云进行分割，可以更准确地对点云进行分割。

附图说明

图1为本发明中激光雷达和相机安装的位置示意图；

图2为本发明中激光雷达三维直角坐标系图；

图3为本发明中基于球面投影的轻量化彩色点云分割方法神经网络的总体框图；

图4为本发明中相机内参数标定使用的标定板示意图；

图5为本发明中相机外参数标定使用的标定物示意图；

图6为本发明中彩色点云的示意图；

图7为本发明中二维球面投影的示意图；

图8为本发明中彩色点云的8层表示示意图；

图9为本发明中视觉信息辅助的轻量级点云分割算法的结构图；

图10为本发明中超级挤压残差模块的示意图；

图11为本发明中语义连接模块的示意图；

图12为本发明中视觉信息辅助的轻量级点云分割算法神经网络的语义分割效果图。

具体实施方式

下面结合附图对本发明作详细说明。

本发明所述的基于球面投影的轻量化彩色点云分割方法包括以下步骤：

先标定激光雷达及相机，再使用激光雷达获取点云数据，同时使用相机获取彩色图像数据，然后将点云数据与彩色图像数据进行融合，得彩色点云，随后将彩色点云投影到二维球面上，以获得彩色点云的8层表示，最后对投影后的彩色点云进行语义分割，得无人车周围环境的目标信息，完成基于球面投影的轻量化彩色点云分割。

具体，本发明所述的基于球面投影的轻量化彩色点云分割方法包括以下步骤：

1)对相机进行标定，获取相机的内参数，对激光雷达进行标定，获取相机相对于激光雷达的外参数；

步骤1)的具体操作过程为：

1.1)如图1所示，在车辆顶部安装相机及激光雷达；

1.2)利用如图4所示的标定板，使用张正友标定法标定相机，得相机的内参数矩阵P，其中，标定板棋盘格的长宽均为5cm；

1.3)利用如图5所示的标定物，使用相机与激光雷达标定方法(A toolbox forautomatic calibration of range and camera sensors using a single shot.)，对相机相对于激光雷达的相对位姿进行标定，得相机相对于激光雷达的外参数矩阵R，其中，标定物棋盘格的长宽均为5cm；

2)使用激光雷达采集关于车辆周围环境的点云数据，使用相机获取关于车辆周围环境的彩色图像数据；

步骤2)的具体操作过程为：

2.1)以激光雷达安装位置为参考点定义如图2所示的三维直角坐标系，计算激光雷达每一线激光倾斜向下的扫描面相对于垂直方向的夹角α；

2.2)由于激光雷达为扫描式的主动传感器，其数据是以激光雷达为极点，正前方或其他特定方向为极轴的极坐标系的距离及角度，而后面的计算全部是基于直角坐标系来实现的，因此需建立激光雷达扫描极坐标系到三维直角坐标系的转换关系，根据所述转换关系获取激光雷达数据点L_i在三维直角坐标系中的坐标值，每一个激光雷达扫描的极坐标数据点均包括扫描面倾角α、发射角度β_i及扫描距离d_i，则激光雷达数据点L_i＝(α，β_i，d_i)在三维直角坐标系的坐标值P_i＝(x_i，y_i，z_i)，其中，

x_i＝sinα·cosβ_i·d_i

y_i＝sinβ_i·d_i

z_i＝cosα·cosβ_i·d_i

2.3)使用激光雷达采集点云数据，然后将采集到的点云数据转化到三维直角坐标系中，并保留点云数据中的反射率参数intensity和极坐标系中极点到点云数据点的距离depth(＝d_i)，此时，每一个激光点云数据点均包含x、y、z、intensity及depth五种信息；

2.4)使用相机采集车辆正前方交通场景的图像数据，其中，通过安装在激光雷达底部的触发装置，保证相机拍摄时机与激光雷达扫描正前方道路场景时一致。

3)利用步骤1)中获取的相机内参数及相机相对于激光雷达的外参数，为点云数据额外附加RGB信息，得彩色点云数据；

步骤3)的具体操作为：

3.1)点云数据本身不包含彩色信息，要想得到彩色点云，必须借助相机传感器采集的图像数据，而点云数据为三维结构，图像数据为二维结构，要为点云数据增加彩色信息，需将点云投影到二维平面坐标系，然后建立与图像数据点间的多对一关系；

建立步骤2)构建的激光雷达三维直角坐标系到图像二维平面坐标系的转换关系，根据所述转换关系获取激光点云数据点Pi在图像二维平面坐标系中的图像二维平面坐标值，其中，从激光雷达三维直角坐标到图像二维平面坐标，需要经历两步变换，第一步为：激光雷达三维直角坐标到相机三维直角坐标的变换；第二步为：从相机三维直角坐标到图像二维平面坐标的变换，利用步骤1)获取的相机内参数矩阵P及相机相对于激光雷达的外参数矩阵R，得P_i＝(x_i，y_i，z_i)投影到图像二维平面坐标系中的坐标值Q_i＝(u_i，v_i)，其中，

其中，

代表Q_i的增广矩阵，

代表P_i的增广矩阵；

3.2)利用步骤3.1)中的转换关系将点云数据投影到图像二维平面坐标系中，并将同时刻拍摄的图像上的对应点的RGB值赋值给原始的点云数据点P_i，得彩色点云数据点CP_i，如图6所示，此时，每一个激光点云数据点均包含x、y、z、intensity、depth、R、G及B八种信息；

4)将彩色点云投影到二维球面，得关于彩色点云的8层表示；

步骤4)的具体操作过程为：

4.1)彩色激光点云数据不能够直接输入到神经网络中进行分析，需要再经过一次投影，将彩色点云投影到一个球形平面上，获得彩色点云的8层表示；

具体的，建立激光雷达三维直角坐标系到二维球面坐标系的转换关系，根据所述转换关系将彩色点云数据点CP_i投影到二维球面坐标系中，其中，二维球面坐标数据点包括俯仰角θ及偏航角

则点云数据点P_i＝(x_i，y_i，z_i)在二维球面坐标系中的坐标值

其中，

4.2)本发明中使用64线激光雷达，故将球面在垂直方向上划分为64个网格，同时将前方90°视野划分为512个网格，即将二维球面坐标系中的球面划分为64×512的网格，根据步骤4.1)的投影结果，将二维球面坐标数据点按其在激光雷达俯仰角及偏航角范围内的比例投影到球面上，其中，当多个点云数据点投影到同一个网格时，仅取距离球心最近点进行投影，即depth值最小的点，每个网格同时获得彩色点云x、y、z、intensity、depth、R、G及B，即获得彩色点云的8层表示，如图8所示。

5)将步骤4)得到的关于彩色点云的8层表示输入到视觉信息辅助的轻量级点云分割算法神经网络，以完成对彩色点云数据的分割。

图9为视觉信息辅助的轻量级点云分割算法神经网络的结构图，神经网络的输入为步骤4)中得到的彩色点云的8层表示，输出为每个像素的标签。本发明为该神经网络设计了如图10所示的超级挤压残差模块和如图11所示的稀疏语义连接模块，以提升分割精度，同时减少神经网络参数，图12展示了使用视觉信息辅助的轻量级点云分割算法进行语义分割后得到的结果。

对于超级挤压残差模块的详细描述如下：如图10所示，超级挤压残差模块的输入为维度为H×W×C的特征图，其中，H、W、C分别表示特征图高、宽、通道数，输出为同样维度的特征图。超级挤压残差模块的第一层为1×1卷积层，第二层为并行的1×1卷积层和3×3卷积层，第三层为逐像素相加层，将第二层两卷积层的输出逐像素相加，第四层为并行的1×1卷积层和3×3卷积层，第五层为通道连接层，第六层为逐像素相加层，将模块输入与第五层输出逐像素相加。

对于稀疏语义连接模块的详细描述如下：神经网络中低层特征噪声太大不能提供足够的信息，经过球面投影后的特征，由于包含许多缺失点，则会造成从编码器到解码器的直接跳跃连接带有噪声，使得信息恢复无法产生预期效果，因此，在连接信息流中应保证更加干净的特征，高层特征包含语义信息，因而比低层特征更纯净，语义连接通过连接更高层的语义特征改善编码器和解码器之间的连接，具体做法为：将高一层特征图通过3×3卷积和上采样，然后与低一层特征图逐像素相乘，如图11所示。

步骤5)的具体操作过程为：

5.1)将步骤4)中获取的彩色点云的8层表示输入到视觉信息辅助的轻量级点云分割算法神经网络中，以获得彩色点云的语义分割图；

5.2)对彩色点云的语义分割图进行分析，给出点云数据表示交通环境中的目标的数量、种类及位置信息，用于交通环境的实时、准确的感知，如图12所示，点云数据本身包含空间坐标，能够标示出目标的空间位置。

Claims (7)

1.一种基于球面投影的轻量化彩色点云分割方法，其特征在于，包括以下步骤：

先标定激光雷达及相机，再使用激光雷达获取点云数据，同时使用相机获取彩色图像数据，然后将点云数据与彩色图像数据进行融合，得彩色点云，随后将彩色点云投影到二维球面上，以获得彩色点云的8层表示，最后对投影后的彩色点云进行语义分割，得无人车周围环境的目标信息，完成基于球面投影的轻量化彩色点云分割。

2.根据权利要求1所述的基于球面投影的轻量化彩色点云分割方法，其特征在于，具体包括以下步骤：

1)对相机进行标定，获取相机的内参数，对激光雷达进行标定，获取相机相对于激光雷达的外参数；

2)使用激光雷达采集关于车辆周围环境的点云数据，使用相机获取关于车辆周围环境的彩色图像数据；

3)利用步骤1)中获取的相机内参数及相机相对于激光雷达的外参数，为点云数据额外附加RGB信息，得彩色点云数据；

4)将彩色点云投影到二维球面，得关于彩色点云的8层表示；

5)将步骤4)得到的关于彩色点云的8层表示输入到视觉信息辅助的轻量级点云分割算法神经网络，以完成对彩色点云数据的分割。

3.根据权利要求2所述的基于球面投影的轻量化彩色点云分割方法，其特征在于，步骤1)的具体操作过程为：

1.1)在车辆顶部安装相机及激光雷达；

1.2)使用张正友标定法标定相机，得相机的内参数矩阵P；

1.3)使用相机与激光雷达标定方法，对相机相对于激光雷达的相对位姿进行标定，得相机相对于激光雷达的外参数矩阵R。

4.根据权利要求2所述的基于球面投影的轻量化彩色点云分割方法，其特征在于，步骤2)的具体操作过程为：

2.1)以激光雷达安装位置为参考点定义三维直角坐标系，计算激光雷达每一线激光倾斜向下的扫描面相对于垂直方向的夹角α；

2.2)建立激光雷达扫描极坐标系到三维直角坐标系的转换关系，根据所述转换关系获取激光雷达数据点L_i在三维直角坐标系中的坐标值，每一个激光雷达扫描的极坐标数据点均包括扫描面倾角α、发射角度β_i及扫描距离d_i，则激光雷达数据点L_i＝(α，β_i，d_i)在三维直角坐标系的坐标值P_i＝(x_i，y_i，z_i)，其中，

x_i＝sinα·cosβ_i·d_i

y_i＝sinβ_i·d_i

z_i＝cosα·cosβ_i·d_i

2.3)使用激光雷达采集点云数据，然后将采集到的点云数据转换到三维直角坐标系中，并保留点云数据中的反射率参数intensity和极坐标系中极点到点云数据点的距离depth(＝d_i)；

2.4)使用相机采集车辆正前方交通场景的图像数据。

5.根据权利要求2所述的基于球面投影的轻量化彩色点云分割方法，其特征在于，步骤3)的具体操作为：

3.1)建立步骤2)构建的激光雷达三维直角坐标系到图像二维平面坐标系的转换关系，根据所述转换关系获取激光点云数据点P_i在图像二维平面坐标系中的图像二维平面坐标值，其中，从激光雷达三维直角坐标到图像二维平面坐标，需要经历两步变换，第一步为：激光雷达三维直角坐标到相机三维直角坐标的变换；第二步为：从相机三维直角坐标到图像二维平面坐标的变换，利用步骤1)获取的相机内参数矩阵P及相机相对于激光雷达的外参数矩阵R，得P_i＝(x_i，y_i，z_i)投影到图像二维平面坐标系中的坐标值Q_i＝(u_i，v_i)，其中，

其中，代表Q_i的增广矩阵，代表P_i的增广矩阵；

3.2)利用步骤3.1)中的转换关系将点云数据投影到图像二维平面坐标系中，并将同时刻拍摄的图像上的对应点的RGB值赋值给原始的点云数据点P_i，得彩色点云数据点CP_i。

6.根据权利要求2所述的基于球面投影的轻量化彩色点云分割方法，其特征在于，步骤4)的具体操作过程为：

4.1)建立激光雷达三维直角坐标系到二维球面坐标系的转换关系，根据所述转换关系将彩色点云数据点CP_i投影到二维球面坐标系中，其中，二维球面坐标数据点包括俯仰角θ及偏航角

则点云数据点P_i＝(x_i，y_i，z_i)在二维球面坐标系中的坐标值其中，

4.2)将二维球面坐标系中的球面划分为64×512的网格，根据步骤4.1)的投影结果，将二维球面坐标数据点按其在激光雷达俯仰角及偏航角范围内的比例投影到球面上，其中，每个网格同时获得彩色点云x、y、z、intensity、depth、R、G及B，即获得彩色点云的8层表示。

7.根据权利要求2所述的基于球面投影的轻量化彩色点云分割方法，其特征在于，步骤5)的具体操作过程为：

5.1)将步骤4)中获取的彩色点云的8层表示输入到视觉信息辅助的轻量级点云分割算法神经网络中，以获得彩色点云的语义分割图；

5.2)对彩色点云的语义分割图进行分析，给出点云数据表示交通环境中的目标数量、种类及位置信息。

Images