CN112819832A - 基于激光点云的城市场景语义分割细粒度边界提取方法 - Google Patents

Abstract

本发明涉及基于激光点云的城市场景语义分割细粒度边界提取方法，本发明设计了适应城市场景的深度卷积神经网络模型，对模型进行训练，然后用训练得到的模型对获取到的数据中的影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；通过后处理式和嵌入式两种条件随机场进行精细化边界提取；最后，通过直接变换算法根据相机的内方位元素计算出相机的外方位元素，得到影像与对应激光点云之间的整体映射，在此基础上输入点云，得到基于激光点云的精细化语义分割结果。本发明能够提高城市场景语义分割的精度和效果。

Description

基于激光点云的城市场景语义分割细粒度边界提取方法

技术领域

本发明涉及一种基于激光点云的城市场景语义分割细粒度边界提取方法。

背景技术

近年来，随着大规模数据集的出现，计算机硬件成本的降低以及GPU并行计算能力的提高，深层神经网络(Deep Convolutional Neural Networks,DCNNs)的应用更加广泛。DCNNs与传统手工制作的特征不同，DCNNs能够从数据中自动学习丰富的特征表示，因此在语义分割等许多计算机视觉问题上表现出色。DCNNs中的全卷积神经网络(FullyConvolutional Networks,FCNs)是DCNNs的一种，其在提取特征上的表现尤为突出。对于场景语义分割任务来说，不同类别标签之间的全局上下文信息影响其精准定位。然而，FCNs由于其全卷积特性不具备为不同类别标签之间的上下文关系进行建模的能力；具有较大感受野的卷积核得到的语义分割结果比较粗糙；同时，池化层产生的层次特征也会丢失部分定位信息，进一步降低了输出精细化语义分割结果的可能性，场景分割效果示例如图1所示。

2017年，斯坦福大学的Charles等人提出了PointNet和PointNet++框架，直接以原始点云作为深度神经网络的输入，属于深度学习成功应用于三维点云的一项开创性的工作，为分类(classification)、构件分割(part segmentation)和场景语义分割(semanticsegmentation)提供了一个通用框架。PointNet模型针对点云数据的特点，使用MaxPooling作为对称函数来处理点云模型的无序性，使用两个T-net网络对模型进行旋转不变性处理。该模型的不足之处在于只使用一个MaxPooling层整合单点特征，网络对模型局部信息的提取能力不足。针对该问题，同年6月该研究团队对PointNet进行改进，提出了其分层网络结构PointNet++，该模型先对点云进行采样(sampling)和区域划分(grouping)，在各个小区域内采用基础的PointNet网络进行特征提取，根据需求使该过程迭代多次，然后对点云的全局和局部特征进行融合，但由于该模型首先要为每个区域选择质点，然后为每个质点在其大规模邻域内运行PointNet，计算量代价非常大，计算效率远远低于PointNet。

后续，在此启发下，并以此为基准，相继出现了一些新的LiDAR点云语义分割框架。但由于点云数据具有海量，无规则等特性，计算复杂度远超对2D图像的处理，计算效率明显降低。另外，经DCNNs模型训练得到的分割结果，可实现三维点级的分割，并且保持较高精度，但其分割边缘信息细粒度不够完整。具有多个最大池化层的深层模型有较好的分类性能，然而空洞卷积带来的大的感受野和模型固有的不变性不能得到很好的目标定位，只能产生平滑的响应，网络中并没有考虑三维点之间的关联性。

针对该挑战，目前基于深度卷积神经网络的多目标分割边界细化问题，主要集中在图像分割领域。在处理多类图像分割和标签任务时，常见的方法是用CRFs对图像的像素或者图像块进行最大后验推理。CRFs势函数合并了在相似像素中最大化标签一致性的平滑项，并且可以整合建模各类别间上下文关系的更加复杂的项。

传统上的CRFs被用来平滑有噪声的分割映射。典型情况下，这些模型将相邻的节点耦合在一起，假设空间相邻节点具有相似性，作为一个弱监督的方法去预测边缘相似节点的labels，可有效消除噪声，让分割边缘更加平滑。从质量上讲，这些短距离CRFs(short-range CRFs)的主要功能是清除建立在本地手工定义特征之上的弱分类器的虚假预测。与这些较弱的分类器相比，现代的DCNNs体系结构产生的得分图和语义标签预测在质量上是不同的。得分图一般比较平滑，分类结果一致。这时使用短距离的CRFs反而带来不好的效果，因为语义分割不是要让得分图更平滑，而是要发掘得分图中的细节，比如边缘部分的分割效果。2017年，DeepLab提出一种基于DCNNs的识别能力和全连通条件随机场(Fullyconnected CRFs,FC-CRF)的细粒度定位精度耦合方法，将对比度敏感的势函数与FC-CRF结合使用，可以提高定位能力，并表明它在解决定位挑战、产生准确的语义分割结果和在现有方法所无法达到的细节级别恢复对象边界方面取得了显著的成功，后续研究者们延续了这一方向。在图像物体分割领域，采用条件随机场对像素类别进行判断，由于该模型考虑了像素与其相邻像素之间关系，可高效区分不同类别间的界限。FC-CRF进一步考虑了图像中每个像素和其它像素关系，可得到更精确的分割结果。FC-CRF应用于语义分割的后期推理具有提高模型捕获的精细细节、能够捕获细微的边缘细节、能够适应长距离的依赖以及对分割后的边缘进行快速推理等优势。

对于基于深度学习的LiDAR点云多目标分割边界的细粒度提取问题，上述方法只考虑了规则整齐的网格数据，散乱的点云数据则研究不多。目前，有关CRFs与LiDAR点云的结合主要用于地面单一目标的分割，而不是城市场景分割后期推理中的细粒度边界提取问题研究，导致现有技术的语义分割结果精度较低。

发明内容

本申请的目的在于提供一种基于激光点云的城市场景语义分割细粒度边界提取方法，用以解决现有技术语义分割结果精度较低的问题。

为实现上述目的，本发明提出了一种基于激光点云的城市场景语义分割细粒度边界提取方法，包括以下步骤：

1)训练深度卷积神经网络模型，利用训练得到的模型对获取的2D影像和3D点云中的2D影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；

2)采用后处理式条件随机场对分割边界进行精细化提取：将深度卷积神经网络的输出作为后处理式条件随机场的输入，通过最大似然估计和平均场近似算法进行CRF学习和推理，从而对分割边界进行精细化提取；

3)将2D影像映射到激光点云，得到激光点云城市场景语义分割结果。

进一步的，所述CRF学习采用最大似然估计算法，通过最大化样本对数似然函数来估计CRFs模型的参数；所述CRF学习包括一元势能函数和二元势能函数，所述一元势能函数包含了图像的形状、纹理、位置和颜色，二元势能函数使用对比度敏感的双核势能。

进一步的，所述CRF推理是为每一个像素分配一个标签，使所述一元势能函数和二元势能函数整体上达到最小值。

进一步的，通过直接变换算法、根据相机的内方位元素计算相机的外方位元素，得到2D影像与激光点云之间的整体映射。

进一步的，采用MS COCO、PASCAL VOC 2012和Cityscapes数据集进行深度卷积神经网络模型的训练。

本发明还提出了另一种基于激光点云的城市场景语义分割细粒度边界提取方法，其特征在于，包括如下步骤：

1)训练深度卷积神经网络模型，利用训练得到的模型对获取的2D影像和3D点云中的2D影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；

2)将嵌入式条件随机场与所述深度卷积神经网络构成一个完整的模型进行端到端的训练；深度卷积神经网络的输出作为嵌入式条件随机场的一元势能的输入，本次边缘分布估计作为下一次边缘概率估计的输入，循环学习直至获得最佳嵌入式条件随机场的参数；

3)将2D影像映射到激光点云，得到激光点云城市场景语义分割结果。

进一步的，将深度卷积神经网络输出的得分图进行上采样，将其恢复到原始分辨率，然后在其后添加一个名为多阶段均值场的网络层，将原图像和网络输出的初步分割结果同时输入所述多阶段均值场进行最大后验推理，使得相似像素和像素近邻的标签一致性最大化。

进一步的，通过直接变换算法、根据相机的内方位元素计算相机的外方位元素，得到2D影像与激光点云之间的整体映射。

进一步的，采用MS COCO、PASCAL VOC 2012和Cityscapes数据集进行深度卷积神经网络模型的训练。

传统上的CRFs被用来平滑有噪声的分割映射，作为一个弱监督的方法去预测边缘相似节点的labels，消除噪声，让分割边缘更加平滑；CRFs与LiDAR点云的结合也主要用于地面单一目标的分割。本发明对传统的CRFs进行改进，与深度卷积神经网络相结合，采用后处理式和嵌入式两种策略进行城市场景多目标语义分割细粒度边界提取。其中后处理式条件随机场简化了深度神经网络结构，减少了网络模型学习参数，加快网络模型训练速度。而嵌入式条件随机场实现了条件随机场参数的自主学习，避免了分阶段对语义分割边界进行细粒度提取。总的来说，本发明提高了城市场景语义分割的精度和效果。本方法充分利用深度神经网络在2D影像语义分割中取得的显著效果，采用直接线性变换算法将在2D影像中的细粒度分割结果映射到3D激光点云上，降低了语义分割的难度，提高了城市场景语义分割细粒度边界提取的效率。

附图说明

图1是基于DeepLab-V2 ResNet101的城市场景语义分割效果图，(a)为原图，(b)为语义标签，(c)为分割结果；

图2是实施例1的技术路线图；

图3是实施例2的技术路线图；

图4是6种数据集的统计结果图；

图5是基于PASCAL VOC 2012验证集的语义分割初步结果示例；(a)为原图，(b)为语义标签，(c)为初步分割结果；

图6是激光点云城市场景语义分割效果示例；(a)为3D点云，(b)为全局语义分割初步结果，(c)为全局语义分割细粒度边界提取效果，(d)为局部语义分割初步结果，(e)局部语义分割细粒度边界提取效果。

具体实施方式

实施例1

1，对2D影像数据集进行统计分析，以选定数据集；

通过柱状图，折线图和散点图三种形式对比分析了在城市场景语义分割领域被广泛应用的六个基准数据集：SIFT-flow,PASCAL VOC2012,PASCAL-part,MS COCO,Cityscapes和PASCAL-Context。对其训练集和验证集进行统计，不包括测试集。首先统计出六个数据集中训练集和测试集总的类别数、总的实例数；然后通过程序设计统计出每张图片中包含的类别数、每张图片中包含的实例数、包含每一个具体类别的图片数(即每个具体类型在多少张图片中出现)以及类别数与实例数的对应关系。其中每张图片中类别数的统计结果如图4所示。可以看出，MS COCO类别信息最丰富，共包含80个语义类；Cityscapes数据集中每张图片所包含的类别数取值范围是[4,21]，PASCAL-Context数据集中每张图片所包含的类别数取值范围是[1,24]；而PASCAL VOC 2012和PASCAL-Part数据集中每张图片中所包含的类别数最大是6，SIFT-flow每张图片中所包含的类别数最大是12，说明Cityscapes和PASCAL-Context数据集比其它数据集有较高的复杂度。另外，PASCAL VOC2012数据集中类别数适中，且影像数据具有不同尺度，适用于多尺度语义分割。

图4中，横轴为“Number or categories”，纵轴为“percentage or images”，图例由上至下依次为“SIFT-flow(4.4)，MS COCO(2.9),Cityscapes(14.1)，PASCAL-part(1.4),PASCAL VOC2012(1.5),PASCAL-Context(6.5)”。

因此，根据统计分析结果，本实施例采用的数据集为MS COCO、PASCAL VOC 2012和Cityscapes。

2，基于DeepLab模型在语义分割领域的突出表现及网络模型深度对分割性能的影响，以DeepLabV2 ResNet-101为基模型，对其精调，并在所选择的数据集上进行预训练。DeepLabV2原始基模型为VGG16，ResNet-101的深度为VGG16的六倍，但仍具有较低的复杂度且易于优化。

以PASCAL VOC 2012为例进行语义分割。以PASCAL VOC 2012为例，训练过程中训练集和验证集分别为1,464和1,449张图片，使用了数据增益及多尺度随机采样(采样因子为[0.5,0.75,1.0,1,25,1.5])，带孔金字塔卷积(带孔率atrous_rate＝[6,12,18,24])等技术。训练得到的语义分割初步结果如图5所示，可以看出基于DCNNs的分割结果边界比较平滑，而语义分割的最终目的不是要得到平滑的分割结果，以此进行目标识别，而且要得到具有细粒度边界的语义分割结果。所以，第3个步骤是对基于DCNNs的语义分割结果进行细粒度边界提取。

3，细粒度边界提取

如图2所示，本实施例基于后处理式随机场进行细粒度边界提取。

后处理式条件随机场是基于DCNNs语义分割之后的一个独立过程，深度卷积神经网络的输出作为后处理式条件随机场的输入，后处理式条件随机场不参与模型训练。优点是简化深度神经网络结构，减少网络模型学习参数，加快网络模型训练速度。其核心技术包括CRF学习和CRF推导。

对于2D影像来说，将其看成图模型G＝(V,E)，其中每个顶点对应一个像素点，即V＝{X₁,X₂,……,X_n}。定义隐变量X_i为像素点i的分类标签，变量值域为分类的语义标签L＝{l₁,l₂,l₃……}；I_i为每个随机变量X_i的观测，也就是每个像素点被分类的颜色值。条件随机场的图像语义分割的目标就是：通过观测变量I_i，推理出隐变量X_i的对应类别标签。(X,I)构成条件随机场，其概率分布服从高斯(Gibbs)分布，可表示为：

其中，I表示输入影像，Z(I)表示归一化因子，确保P为概率分布。E(x|I)称为x的能量函数，其中x表示影像中分配给像素的标签。该式将CRF的最大后验概率问题转换为能量函数的最小化问题，能量函数可表示为：

其中，θ_i(x_i)为单个隐变量x_i的一元势能函数项，表示隐变量x_i为某个语义类别的代价。模型最后一层的输出作为一元势能函数的输入，其计算公式为：

θ_i(x_i)＝-logP(x_i) (3)

而θ_ij(x_i,x_j)为相互连接的两个隐变量(x_i,x_j)的二元势能函数项，表示两个类别一致性代价，可表示为高斯核函数的线性组合：

其中，μ(x_i,x_j)为类别标签兼容性函数，当x_i≠x_j时，μ(x_i,x_j)＝1，否则为0。k(f_i,f_j)两个组成部分分别表示不同特征空间的两个高斯核函数，其中第一个双边核函数与像素位置(以P表示)和RBG值(以I表示)有关；第二个核函数仅与位置有关。超参数θ_α、θ_β和θ_γ为尺度参数，用来控制核函数的规模。

一元势能包含了图像的形状、纹理、位置和颜色。二元势能使用了对比度敏感的双核势能，CRF的二元势函数一般是描述像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关，这样CRF能够使图像尽量在边界处分割。全连接CRF模型的不同就在于其二元势函数描述的是每一个像素与其他所有像素的关系，使用该模型在图像中的所有像素对上建立点对势能从而实现极大地细化和分割。

CRF学习问题实际上是根据训练数据集估计CRFs的参数。CRFs实际上是定义在时间序列数据上的对数线性模型，采用的学习方法是最大似然估计(Maximum LikelihoodEstimation,MLE)，其根据已知的样本结果反推最有可能(最大概率)得到该结果的模型参数。最大似然函数如公式(5)所示，MLE算法就是通过最大化样本对数似然函数来估计CRFs模型的参数θ。

其中，L表示样本对数似然函数，

为CRFs模型的参数θ的最大值，argmax为函数最大值。

CRF推理是为每一个像素ⅰ分配一个标签x_i，使一元势能和二元势能整体上达到最小值。所以CRFs模型推理问题又称为CRFs能量函数最小化问题。直接求确切的概率分布值P(x)难度较大，通常采用近似分布Q(x)＝Π_iQ_i(x_i)表示每个变量独立边缘概率的乘积，其公式最终推导形式如公式(6)所示。

4.数据映射

第3步得到的细粒度边界提取结果是基于2D影像的分割结果，最后要将第3步的结果映射到3D空间。要完成二维图像空间到三维点云空间的映射，需要确定二维像平面坐标系到三维点云空间坐标系的转换参数，包括相机相对于激光扫描仪的安置参数以及相机的内参数，即图像的外方位元素和内方位元素。外架数码相机相对于三维激光扫描仪的安置参数即为数码相机相对于激光扫描仪坐标系的外方位元素。根据共线条件，并考虑相机内部参数，可建立像方点坐标、物方点坐标、相机内参数、外方位元素间的关系方程式。对于多像外方位元素标定，外架相机固定在激光扫描仪上，仅围绕激光扫描仪Z轴以ξ角度旋转，初始位置图像在水平位置进行一次标定，其他位置图像的外方位元素通过旋转角度以及初始位置的外方位元素计算得到。

根据DCNNs对图像进行分割，得到像素坐标系下各个像素点所对应的label，根据像素坐标系与影像物理坐标系的关系，如公式(6)，可将像素坐标(u,v)转换为影像坐标(x,y)，再根据式公式(7)可得到对应的点坐标，即可得到三维点云的初步分割结果。

其中，f为焦距，R_i和T_i为第i张影像的外方位元素导出的旋转矩阵与平移向量。

映射之后，得到在激光点云上的细粒度边界语义分割结果，效果如图6(a)、(b)、(c)、(d)、(e)所示，从而在LiDAR点云三维点级别上实现全连通CRFs模型的有效推断。

实施例2

如图3所示，与实施例1区别在于本实施例采用嵌入式条件随机场对2D影像的分割结果进行细粒度边界提取。

DeepLabV2 ResNet-101模型的最后一个网络层为上采样层，对卷积神经网络输出的粗糙的得分图进行上采样，将其恢复到原始分辨率，然后在其后集成全连接条件随机场，具体为添加了一个名为多阶段均值场(Multiple Stage Mean Field Layer,MSMFL)的网络层，将原图像和网络输出的初步分割结果同时输入MSMFL进行最大后验推理，使得相似像素和像素近邻的标签一致性最大化。MSMFL层实质为把CRF推理算法进行了转化，把转化步骤看作为一层一层的神经网络，然后将这些层重新连接组合，即为多阶段均值场层。多阶段均值场层嵌入在DCNNs的后面，作为其中的一层，通过反向转播算法进行CRF参数优化。具体又细化为消息传递、兼容性转换、局部更新和归一化四个步骤，如算法1所示，分析了每个步骤的时间复杂度，体现算法优化的突破口。其中初步语义分割结果的输出作为一元势能的输入，归一化之后的结果作为下一次边缘分布估计的输入。与传统的条件随机场算法相比，该方法将CRF嵌入到了深度神经网络中，实现了条件随机场参数的自主学习，避免了分阶段对语义分割边界进行细粒度提取。

条件随机场以多阶段神经网络层的形式嵌入在重新设计的深度卷积神经网络ResNet-101中实现端到端的训练，尝试同时预测模型的所有核参数，实现了自主学习。

Claims (9)

1.基于激光点云的城市场景语义分割细粒度边界提取方法，其特征在于，包括如下步骤：

1)训练深度卷积神经网络模型，利用训练得到的模型对同步获取的2D影像和3D点云中的2D影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；

2)采用后处理式条件随机场对分割边界进行精细化提取：将深度卷积神经网络的输出作为后处理式条件随机场的一元势能输入，通过最大似然估计和平均场近似算法进行CRF学习和推理，从而对分割边界进行精细化提取；

3)将2D影像映射到激光点云，得到激光点云城市场景语义分割结果。

2.根据权利要求1所述的方法，其特征在于，所述CRF学习采用最大似然估计算法，通过最大化样本对数似然函数来估计CRFs模型的参数；所述CRF学习包括一元势能函数和二元势能函数，所述一元势能函数包含了图像的形状、纹理、位置和颜色，二元势能函数使用对比度敏感的双核势能。

3.根据权利要求2所述的方法，其特征在于，所述CRF推理是为每一个像素分配一个标签，使所述一元势能函数和二元势能函数整体上达到最小值。

4.根据权利要求1所述的方法，其特征在于，通过直接变换算法、根据相机的内方位元素计算相机的外方位元素，得到2D影像与激光点云之间的整体映射。

5.根据权利要求1所述的方法，其特征在于，采用MS COCO、PASCAL VOC 2012和Cityscapes数据集进行深度卷积神经网络模型的训练。

6.基于激光点云的城市场景语义分割细粒度边界提取方法，其特征在于，包括如下步骤：

1)训练深度卷积神经网络模型，利用训练得到的模型对同步获取的2D影像和3D点云中的2D影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；

2)将嵌入式条件随机场以循环神经网络的形式与所述深度卷积神经网络构成一个完整的模型进行端到端的训练；深度卷积神经网络的输出作为嵌入式条件随机场的一元势能的输入，本次边缘分布估计作为下一次边缘概率估计的输入，循环学习直至获得最佳嵌入式条件随机场的参数；

3)将2D影像映射到3D激光点云，得到激光点云城市场景语义分割结果。

7.根据权利要求6所述的方法，其特征在于，将深度卷积神经网络输出的得分图进行上采样，将其恢复到原始分辨率，然后在其后添加一个名为多阶段均值场的网络层，将原图像和网络输出的初步分割结果同时输入所述多阶段均值场进行最大后验推理，使得相似像素和像素近邻的标签一致性最大化。

8.根据权利要求6所述的方法，其特征在于，通过直接变换算法、根据相机的内方位元素计算相机的外方位元素，得到2D影像与激光点云之间的整体映射。

9.根据权利要求6所述的方法，其特征在于，采用MS COCO、PASCAL VOC 2012和Cityscapes数据集进行深度卷积神经网络模型的训练。

Images