CN112257637A - 一种融合点云和多视图的车载激光点云多目标识别方法 - Google Patents

Abstract

本发明涉及一种融合点云和多视图的车载激光点云多目标识别方法，基于独立点云对象，构建深度模型PGVNet进行面上地物类别预测：利用点云特征提取模块对独立点云对象进行点云局部特征提取；生成独立对象的多视角图像，并利用视图特征提取模块采用视图分组与组特征融合，提取最优视图特征；基于注意力机制利用点云‑视图特征融合模块将最优视图特征与点云特征进行融合，获取融合注意力的点云全局特征；最后利用分类器MLP进行车载激光点云面上独立地物目标的类别预测。本发明一方面减少相似视图间的信息冗余问题，另一方面则能利用最优视图特征指导模型对点云局部特征的学习，提高模型分类精度，为车载激光点云路侧多目标精细分类提供一种新的研究方法。

Description

一种融合点云和多视图的车载激光点云多目标识别方法

技术领域

本发明涉及车载激光扫描点云数据处理领域，特别是一种融合点云和多视图的车载激光点云多目标识别方法。

背景技术

道路两侧复杂多样的行道树、杆状目标(路灯、交通标志牌)等构成了城市建设和管理中的重要基础设施，准确、高精度的路侧目标识别对于城市道路规划、城市建模以及自动驾驶等方面具有重要作用。车载激光扫描系统作为快速发展的高新测绘技术，能够快速、准确地获取道路及其两侧地物高精度的三维空间信息，被广泛应用于城市交通信息的采集和更新。

传统的方法主要围绕“局部邻域”中点云的高程、强度、法向量、投影密度等基础特征，然后结合传统机器学习方法，如：决策树、支持向量机、BP神经网络等，实现车载激光点云的目标提取与识别。尽管这些局部基础特征在车载激光点云目标识别与重建任务中取得一定的进展，但目标分类精度依赖基础的特征设计与选择，随着城市场景的增大以及复杂性的增强，直接用这些基本特征进行目标分类与识别，经常表现不足。

近年来，一些学者将深度学习方法引入点云目标分类与识别中，一些学者将一个对象表示为三维体素网格，然后将获得的表示作为3D卷积神经网络的输入，实现点云目标的分类。一些学者基于围绕三维模型的多视角图像，利用共享权重的卷积神经网络实现三维目标的识别。但是将点云对象转换成图像、特征表达或进行体素化，地物的分类精度和效率易受图像分辨率及体素大小的影响。因此有学者直接基于原始点云的方法直接在三维点云上工作，如Pointnet、Pointnet++、Pointsift、PointCNN、SO-Net以及DGCNN等，但是对于点云而言，其在3D空间中的分布不连续性，使得点云的邻域结构成为一个很难处理的问题。

因此少数学者还进行了多视角图像特征和点云特征融合的研究，如PVNet、PVRNet等，但是现有研究在多视图特征处理过程中并未对不同视角图像对识别当前目标的重要性做出很好的区别与利用，容易产生特征信息缺失或冗余。

发明内容

有鉴于此，本发明的目的是提供一种融合点云和多视图的车载激光点云多目标识别方法，根据独立对象点云与其对应的多视角图像的空间位置关系，通过引入注意力机制建立点云和多视角图像的特征聚合机制，利用多视图分支的高级全局特征自适应指导网络对点云目标不同局部特征的提取能力，实现车载激光点云路侧多目标的精确识别。

本发明采用以下方案实现：一种融合点云和多视图的车载激光点云多目标识别方法，包括以下步骤：

步骤S1：基于连通分支聚类的车载激光点云面上地物分割，获得独立点云对象；

步骤S2：基于分割后的独立点云对象，生成多视角图像；

步骤S3：基于EdgeConv构建PGVNet模型的点云特征提取模块，对分割后的独立点云对象进行特征提取；

步骤S4：基于多视角图像，利用卷积神经网络构建PGVNet模型的最优视图特征提取模块，对多视角图像进行特征提取并进行多视图分组和视图特征融合，得到最优视图特征；

步骤S5：基于注意力机制构建PGVNet模型的点云-视图特征融合模块，将最优视图特征与点云特征进行融合，输出融合注意力的点云特征O₂(P，V_e),并最终获取点云全局特征P_g；

步骤S6：将上述步骤的点云特征提取模块、最优视图特征提取模块以及点云-视图特征融合模块拼接后，嵌入深度神经网络，并通过共享权重的多层感知机(Multi-LayerPerceptron，MLP)构建分类器，从而构建了深度模型PGVNet，然后利用该模型进行车载激光点云独立面上地物独立目标对象的多类别预测，包含行道树、车辆、杆状目标以及其他共四类地物，输出每个对象对应各类别的概率值大小。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：基于布料模拟算法滤除点云场景中的地面点云，只保留非地面点；

步骤S12：基于步骤S11非地面点云提取结果，通过连通分支聚类获得独立的点云对象，并利用基于体素的归一化割方法优化通过连通分支聚类后依然相互粘连的点云对象。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：基于得到的独立点云目标，假定点云对象是直立的；

步骤S22：面向对象中心将一组虚拟摄像机以45度间隔放置在8个径向对称的位置上，视角高度为0度，以此来获取多视角图像，并渲染成尺寸为224×224像素的图像。

进一步地，所述步骤S3具体包括以下步骤：

步骤S31：对得到的包含n个点的独立点云对象构造基于每个点的k近邻局部邻域图结构G＝(V,E)，其中顶点V＝{x_i，x′₁，...，x′_j}，i∈n，j∈k，边E定义为E＝{e_i1，e_i2，...，e_ij}，i∈n，j∈k；其中边特征e_ij定义为：

e_ij＝ψ_θ((x_i，x′_j-x_i))

其中ψ_θ(·)是一个具有一组可学习参数θ的非线性函数；

步骤S32：通过EdgeConv模块的通道对称聚合操作实现对邻域图结构G＝(V,E)中邻域特征的聚合，并最终输出第i个顶点的聚合特征f_xi；

步骤S33：然后堆叠两个EdgeConv模块，作为PGVNet模型的点云特征提取模块，利用最大池化操作将提取的邻域特征聚合成点云特征张量p；

其中

为第二个EdgeConv模块提取的点云邻域特征。

进一步地，所述步骤S4具体包括以下步骤：

步骤S41：通过构建的包含七层的卷积网络作为初始特征提取网络FCN(FullyConvolutional Network)提取多视角图像的初始特征v_i，同时采用由一层卷积层组成的特征变换网络CNN(Convolutional Neural Network)提取视图的最终视图特征

步骤S42：基于提取的初始特征v_i，首先利用一个全连接层将其映射到样本标记空间，然后使用得分函数ξ(·)定量的评估同一点云目标的不同视图初始特征对该目标识别的贡献分数，然后将视图划分到N个视图组中；

步骤S43：基于得到的视图分组，通过一个视图池化层将同一视图组内的视图特征融合成一个组视图特征

其中λ_i为指示系数，表示视图i是否属于视图组G_j，若视图i属于视图组G_j，则λ_i＝1，反之，λ_i＝0；

步骤S44：基于得到的视图分组，依据每组视图对目标识别的重要性赋予不同的组权重值用于组特征融合，在这里定义每组视图G_j的权重W(G_j)：

步骤S45：基于获取的组视图特征

和每组视图G_j的权重W(G_j)，将组视图特征

进行进一步的融合，得到点云目标的最优视图特征V_b：

步骤S46：基于步骤S41至步骤S45构建了PGVNet模型的最优视图特征提取模块，然后使用由一层全连接层构成的嵌入网络将步骤S45的多视图最优视图特征V_b映射到点云特征空间生成嵌入式视图特征V_e。

进一步地，所述步骤S5具体包括以下步骤：

步骤S51:基于提取的点云特征张量p和提取的嵌入式视图特征V_e，将视图特征重复n次后与点云特征相连接，以此作为二者的关系特征φ(P，V_e)；

φ(P，V_e)＝Concat(repeat(V_e，n)，P)

其中n为点云特征P第一维的维度值；

步骤S52:然后使用一个多层感知机结构对步骤S51所提关系特征进行高层特征映射，并通过归一化函数ζ(·)进一步量化，生成软注意力掩膜S_ai(P，V_e)：

S_ai(P，V_e)＝ζ(MLP(φ(P，V_e)))

ζ(·)＝sigmoid(log(clip(abs(·))))

步骤S53：最后以残差的方式，将软注意力掩膜S_ai(P，V_e)应用于基于点云的网络分支中，用以增强更具区分性的点云特征并抑制无用特征，输出融合注意力的点云特征O_i(P，V_e)定义为：

O_i(P，V_e)＝E(P)*(1+S_ai(P，V_e))

其中E(p)为当前注意力模块中EdgeConv提取的点云局部特征。

步骤S54：由步骤S51至步骤S53建了注意力融合模块，为了实现不同层次的点云-视图特征融合，通过堆叠两个注意力融合模块构建PGVNet模型的点云-视图特征融合模块，第一个融合模块得到的优化的点云特征是O₁(P，V_e)，然后再对O₁(P，V_e)输入第二个注意力融合模块，最终得到第二个注意力模块的输出，也就是融合注意力的点云特征O₂(P，V_e)，最后基于融合注意力的点云特征O₂(P，V_e)，利用一个全连接层组成的MLP及最大池化层提取点云全局特征T_g；

P_g＝maxpool(MLP(O₂(P，V_e)))。

进一步地，所述步骤S6具体包括以下步骤：

步骤S61：融合点云特征提取模块、最优视图特征提取模块以及点云-视图特征融合模块，然后合并嵌入式视图特征V_e和点云全局特征P_g，通过由全连接层组成的多层感知机MLP{512，256，4}输出每个对象对应多类别的概率值大小；

步骤S62：基于迁移学习的思想，采用预训练的DGCNN网络中的前两个EdgeConv层参数对步骤S3中点云特征提取模块参数进行初始化；同时采用在ImageNet数据集上预训练的VGG16模型的前7层卷积层参数及最后一层卷积层参数分别对PGVNet模型的最优视图特征提取模块中的FCN和CNN层进行参数的初始化；

步骤S63：采用交替训练的策略进行PGVNet模型的训练；首先，在前10轮次(epoch)训练中冻结点云特征提取模块以及最优视图特征提取模块的网络参数，仅更新点云-视图特征融合模块以及分类器MLP的网络层参数；

步骤S64：对于拥有C类的分类任务，所提网络框架的最后一层输入为(C×1)的矢量，表示当前对象被网络分类成C个类别对应的概率值大小，并利用argmax(·)确定概率值最大的那一类作为当前独立目标的类别，实现车载激光点云多目标分类。

与现有技术相比，本发明具有以下有益效果：

本发明打破了传统方法对车载激光点云目标精细分类仅单独利用点云或多视图特征的局限，直接面向车载激光点云分割后的独立地物目标，基于独立点云目标直接生成多视角图像，根据独立对象点云与其对应的多视角图像的空间位置关系，通过引入注意力机制建立点云和多视角图像的特征聚合机制，利用多视图分支的高级全局特征自适应指导网络对点云目标不同局部特征的提取能力，实现车载激光点云路侧多目标的精确识别。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的基于EdgeConv的点云特征提取图。

图3为本发明实施例的基于原始点云对象的多视角图像生成图。

图4为本发明实施例的基于VGG16初始化的多视图特征提取图。

图5为本发明实施例的视图分组模块图。

图6为本发明实施例的分组视图特征池化及组特征融合图。

图7为本发明实施例的点云-最优视图特征融合模块图。

图8为本发明实施例的注意力融合模块图。

图9为本发明实施例的融合点云和多视图的地物识别模型：PGVNet。

图10为本发明实施例的实验数据面上地物分类结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种融合点云和多视图的车载激光点云多目标识别方法，包括以下步骤：

步骤S1：基于连通分支聚类的车载激光点云面上地物分割，获得独立点云对象；

步骤S2：基于分割后的独立点云对象，生成多视角图像；

步骤S3：基于EdgeConv构建PGVNet模型的点云特征提取模块，对分割后的独立点云对象进行特征提取；

步骤S4：基于多视角图像，利用卷积神经网络构建PGVNet模型的最优视图特征提取模块，对多视角图像进行特征提取并进行多视图分组和视图特征融合，得到最优视图特征；

步骤S5：基于注意力机制构建PGVNet模型的点云-视图特征融合模块，将最优视图特征与点云特征进行融合，输出融合注意力的点云特征O₂(P，V_e)，并最终获取点云全局特征P_g；

步骤S6：将上述步骤的点云特征提取模块、最优视图特征提取模块以及点云-视图特征融合模块拼接后，(将这几个模块按图9的形式进行连接)，嵌入深度神经网络，并通过共享权重的多层感知机(Multi-Layer Perceptron，MLP)构建分类器，从而构建了深度模型PGVNet，然后利用该模型进行车载激光点云独立面上地物独立目标对象的多类别预测，包含行道树、车辆、杆状目标以及其他共四类地物，输出每个对象对应各类别的概率值大小。

在本实施例中，所述步骤S1具体包括以下步骤：

步骤S11：基于布料模拟算法滤除点云场景中的地面点云，只保留非地面点；

步骤S12：基于步骤S11非地面点云提取结果，通过连通分支聚类获得独立的点云对象，并利用基于体素的归一化割方法优化通过连通分支聚类后依然相互粘连的点云对象。

在本实施例中，所述步骤S2具体包括以下步骤：

步骤S21：基于得到的独立点云目标，假定点云对象是直立的；

步骤S22：面向对象中心将一组虚拟摄像机以45度间隔放置在8个径向对称的位置上，视角高度为0度，以此来获取多视角图像，并渲染成尺寸为224×224像素的图像。

在本实施例中，所述步骤S3具体包括以下步骤：

步骤S31：对得到的包含n个点的独立点云对象构造基于每个点的k近邻局部邻域图结构G＝(V，E)，其中顶点V＝{x_i，x′₁，...，x′_j}，i∈n，j∈k，边E定义为E＝{e_i1，e_i2，...，e_ij}，i∈n，j∈k；其中边特征e_ij定义为：

e_ij＝ψ_θ((x_i，x′_j-x_i))

其中ψ_θ(·)是一个具有一组可学习参数θ的非线性函数；

步骤S32：通过EdgeConv模块的通道对称聚合操作实现对邻域图结构G＝(V，E)中邻域特征的聚合，并最终输出第i个顶点的聚合特征f_xi；

步骤S33：然后堆叠两个EdgeConv模块，作为PGVNet模型的点云特征提取模块，利用最大池化操作将提取的邻域特征聚合成点云特征张量p；

其中

为第二个EdgeConv模块提取的点云邻域特征。

在本实施例中，所述步骤S4具体包括以下步骤：

步骤S41：通过构建的包含七层的卷积网络作为初始特征提取网络FCN(FullyConvolutional Network)提取多视角图像的初始特征v_i，同时采用由一层卷积层组成的特征变换网络CNN(Convolutional Neural Network)提取视图的最终视图特征

步骤S42：基于提取的初始特征v_i，首先利用一个全连接层将其映射到样本标记空间，然后使用得分函数ξ(·)定量的评估同一点云目标的不同视图初始特征对该目标识别的贡献分数，然后将视图划分到N个视图组中；

步骤S43：基于得到的视图分组，通过一个视图池化层将同一视图组内的视图特征融合成一个组视图特征

其中λ_i为指示系数，表示视图i是否属于视图组G_j，若视图i属于视图组G_j，则λ_i＝1，反之，λ_i＝0；

步骤S44：基于得到的视图分组，依据每组视图对目标识别的重要性赋予不同的组权重值用于组特征融合，在这里定义每组视图G_j的权重W(G_j)：

步骤S45：基于获取的组视图特征

和每组视图G_j的权重W(G_j)，将组视图特征

进行进一步的融合，得到点云目标的最优视图特征V_b：

步骤S46：基于步骤S41至步骤S45构建了PGVNet模型的最优视图特征提取模块，然后使用由一层全连接层构成的嵌入网络将步骤S45的多视图最优视图特征V_b映射到点云特征空间生成嵌入式视图特征V_e。

较佳的，在本实施例中，步骤S41中所述构建的包含七层的卷积网络作为FCN结构和现有技术中成熟的卷积网络VGG16的前7层卷积层是一样的，然后后面S61中的参数初始化也是用的在ImageNet数据集上预训练好的VGG16的参数对这部分网络的参数进行的初始化。

在本实施例中，所述步骤S5具体包括以下步骤：

步骤S51：基于提取的点云特征张量p和提取的嵌入式视图特征V_e，将视图特征重复n次后与点云特征相连接，以此作为二者的关系特征φ(P，V_e)；

φ(P，V_e)＝Concat(repeat(V_e，n)，P)

其中n为点云特征P第一维的维度值；

步骤S52：然后使用一个多层感知机结构对步骤S51所提关系特征进行高层特征映射，并通过归一化函数ζ(·)进一步量化，生成软注意力掩膜S_ai(P，V_e)：

S_ai(P，V_e)＝ζ(MLP(φ(P，V_e)))

ζ(·)＝sigmoid(log(clip(abs(·))))

步骤S53：最后以残差的方式，将软注意力掩膜S_ai(P，V_e)应用于基于点云的网络分支中，用以增强更具区分性的点云特征并抑制无用特征，输出融合注意力的点云特征O_i(P，V_e)定义为：

O_i(P，V_e)＝E(P)*(1+S_ai(P，V_e))

其中E(p)为当前注意力模块中EdgeConv提取的点云局部特征。

步骤S54：由步骤S51至步骤S53建了注意力融合模块，为了实现不同层次的点云-视图特征融合，通过堆叠两个注意力融合模块构建PGVNet模型的点云-视图特征融合模块，第一个融合模块得到的优化的点云特征是O₁(P，V_e)，然后再对O₁(P，V_e)输入第二个注意力融合模块，最终得到第二个注意力模块的输出，也就是融合注意力的点云特征O₂(P，V_e)，最后基于融合注意力的点云特征O₂(P，V_e)，利用一个全连接层组成的MLP及最大池化层提取点云全局特征T_g；

P_g＝maxpool(MLP(O₂(P，V_e)))。

在本实施例中，所述步骤S6具体包括以下步骤：

步骤S61：融合点云特征提取模块、最优视图特征提取模块以及点云-视图特征融合模块，然后合并嵌入式视图特征V_e和点云全局特征P_g，通过由全连接层组成的多层感知机MLP{512,256,4}输出每个对象对应多类别的概率值大小；

步骤S62：基于迁移学习的思想，采用预训练的DGCNN网络中的前两个EdgeConv层参数对步骤S3中点云特征提取模块参数进行初始化；同时采用在ImageNet数据集上预训练的VGG16模型的前7层卷积层参数及最后一层卷积层参数分别对PGVNet模型的最优视图特征提取模块中的FCN和CNN层进行参数的初始化；

步骤S63：采用交替训练的策略进行PGVNet模型的训练；首先，在前10轮次(epoch)训练中冻结点云特征提取模块以及最优视图特征提取模块的网络参数，仅更新点云-视图特征融合模块以及分类器MLP的网络层参数；

步骤S64：对于拥有C类的分类任务，所提网络框架的最后一层输入为(C×1)的矢量，表示当前对象被网络分类成C个类别对应的概率值大小，并利用argmax(·)确定概率值最大的那一类作为当前独立目标的类别，实现车载激光点云多目标分类。

较佳的，在本实施例中，DGCNN网络为提出EdgeConv模块的现有点云深度网络模型，这里是用了DGCNN在本文所用训练数据上预训练的模型的前两层EdgeConv参数对本文PGVNet模型的两个EdgeConv层参数进行初始化。

较佳的，本实施例通过利用原始点云对象的多视角图像与点云之间的空间位置关系，依据不同视图对点云目标识别的重要性，对多视角图像进行分组赋权后，融合成最优视图特征，然后基于注意力机制融合最优视图特征与点云特征，最后利用一组共享MLP将分布式特征表示映射到样本标记空间，实现典型地物的精确识别与分类。其特征在于基于分割后的独立点云对象：利用EdgeConv进行对分割后的独立点云对象进行特征提取；生成独立对象的多视角的图像，并利用积神经网络进行多视图特征提取并进行多视图分组和视图特征融合，得到多视图最优视图特征；基于注意力机制将多视图最优视图特征与点云特征进行融合，输出融合注意力的点云特征；最后构建深度图模型PGVNet，利用该模型进行车载激光点云独立面上地物独立目标对象的多类别预测，输出每个对象对应多类别的概率值大小。

与现有技术相比，本实施例直接面向三维激光点云对象通过构建一个适用于点云及其多视角图像融合的路侧多目标分类深度学习框架，通过多视图分支的高级全局特征指导网络对点云目标不同局部结构关注的注意力度，实现独立地物目标的精细分类；同时在多视图特征提取的过程中，引入视图特征分组的思想，区分不同视角图像对于点云目标识别的重要性，一方面减少相似视图间的信息冗余问题，另一方面则能提取更有用的视图特征，为车载激光点云路侧多目标精细分类提取提供了一种新的研究方法。

较佳的，本实施例的具体实现过程如下：

步骤A：基于连通分支聚类算法的车载激光点云面上地物分割，获得独立点云对象，具体包括以下步骤：

步骤A1：基于布料模拟算法滤除点云场景中的地面点云，只保留面上点云地物。

步骤A2：基于步骤A1面上点云，本发明通过连通分支聚类算法获得独立的面上点云对象，并利用基于体素的归一化割方法优化聚类后依然相互粘连的点云对象，以此作为本发明的研究对象。

步骤B：基于分割后的独立点云对象，生成多视角图像，具体包括以下步骤：

步骤B1：基于步骤A2得到的独立点云目标，本发明假定点云对象是直立的。

步骤B2：面向对象中心将一组虚拟摄像机以45度间隔放置在8个径向对称的位置上，视角高度为0度，以此来获取多视角图像，并渲染成尺寸为224×224像素的图像，如图3所示。

步骤C：基于EdgeConv的对分割后的独立点云对象进行特征提取，具体包括以下步骤：

步骤C1：给定一个包含n个点的F维点云对象：

在本实施例中，F＝3即三维坐标点x_i＝(x_i，y_i，z_i)。EdgeConv模块逐点计算点对之间的欧式距离，对输入点云目标构造基于每个点的k近邻(k-Nearest Neighbor，kNN)局部邻域图结构G＝(V,E)，其中顶点V＝{x_i，x′₁，...，x′_j}，i∈m，j∈k，由当前中心点x_i与距离其最邻近的k个点构成，边E定义为E＝{e_i1，e_i2，...，e_ij}，i∈n，j∈k，其中边特征e_ij定义为：

e_ij＝ψ_θ((x_i，x′_j-x_i))

其中ψ_θ(·)是一个具有一组可学习参数θ的非线性函数。

步骤C2：通过对邻域边特征的提取，显示地将由中心点x_i的坐标获取的全局形状结构与(x′_j-x_i)获取的局部邻域信息结合起来。最后EdgeConv通过通道对称聚合操作(max-pooling)实现对邻域特征的聚合，并最终输出第i个顶点的聚合特征f_xi。

步骤C3：本发明将EdgeConv模块作为点云特征提取模块基本的网络层，通过堆叠(stack)两个EdgeConv模块来构建PGVNet模型的点云特征提取模块。如图2所示，首先，通过空间变换网络(Spatial Transform)计算仿射变换矩阵，以使网络对于输入的任意点云对象具备几何变换不变性。然后利用两个EdgeConv层获取不同层次的点云目标邻域特征F_l。最后利用最大池化(Max-pooling)操作将EdgeConv层提取的邻域特征聚合成64维的点云特征张量p。

其中

为第二个EdgeConv模块提取的点云邻域特征。

步骤D：基于多视角图像，利用卷积神经网络进行多视图特征提取并进行多视图分组和视图特征融合，得到多视图最优视图特征，具体包括以下步骤：

步骤D1：本发明通过构建包含七层的卷积网络作为FCN(Fully ConvolutionalNetwork)提取多视角图像的初始特征v_i，同时采用更深层次的卷积网络提取视图的最终视图特征

该步骤具体通过以下分步骤实现：

步骤D1-1：对于一个卷积操作，给定一张RGB图像输入，本发明中输入图像大小为(224×224×3)，假定卷积核(filter)大小为w_f×h_f×c_f，那么在卷积层的计算过程中，特征图中第i个节点的取值为：

其中a_x，y，z表示输入图像每个像素的值，uⁱ _x，y，z是卷积核的值，i表示卷积核在输入图像上从左上角移动到右下角时对应的位置信息。

步骤D1-2：基于步骤D1-1的卷积值与输入图像是线性函数关系，在实际使用中，通过引入激活函数，来增加整个网络的非线性表达能力，否则，若干线性操作层的堆叠仍然是线性映射，无法形成复杂函数，也就无法捕获实际应用中非线性特征的表达形式。因此基本的卷积层结构由卷积(convolution)加ReLU激活函数组成，则卷积值采用下面公式计算：

步骤D1-3：构建包含七层的卷积网络作为FCN提取多视角图像的初始特征v_i，同时采用更深层次的卷积网络提取视图的最终视图特征，其结构如图4。为保证网络特征提取的有效性，基于迁移学习的思想，以在ImageNet数据集上预训练的VGG16模型对FCN进行初始化，同时采用VGG16最后一层卷积层提取的视图特征作为当前视图的最终视图特征

步骤D2：为了实现对同一目标的不同视图进行分组，本实施例采用如图5所示结构，首先通过一层全连接层将步骤D1提取的初始特征v_i映射到样本标记空间，然后使用得分函数ξ(·)定量的评估同一点云目标的不同视图初始特征对该目标识别的贡献分数。如下式，当输入大于5或者小于-5时，sigmoid(·)函数的输出值就会集中于0或者1附近，不利于定量的评价不同视图的区分性，因此视图特征映射在输入sigmoid(·)函数前，增加了取绝对值(abs(·))和取对数(log(·))的操作，最终得分函数ξ(·)的输出值均匀的分布在0-1之间。然后将(0，1)等分成N份，根据每个视图得分的不同，将视图划分到N个视图组中。同时由于不同视图对于目标识别的贡献率可能相同，因此在对视图进行分组时，可能存在一些得分阈值范围内存在多个视图，反之，也可能存在视图数量为零的视图组。

ξ(·)＝sigmoid(log(abs(·)))

步骤D3：基于步骤D2，点云目标的多视角图像被分成了具有不同权重值的M组(1≤M≤N)，而同一视图组内的视图往往具有相似的特征信息，因此，本发明通过一个视图池化层将同一视图组内的视图特征融合成一个组视图特征，最后再将组视图特征进一步融合，从而得到点云目标的最优视图特征(如图6)。假定

为视图i的最终视图特征，

为视图组G_j的组视图特征，由此视图组G_j和视图i之间的关系可由下式表示：

其中λ_i为指示系数，表示视图i是否属于视图组G_j，若视图i属于视图组G_j，则λ_i＝1，反之，λ_i＝0；

步骤D4：基于步骤D2得到的视图分组，本发明依据每组视图对目标识别的重要性赋予不同的组权重值用于组特征融合，视图组越利于点云目标的识别则权重值越高，反之亦然。因此每组视图G_j的权重W(G_j)定义为：

步骤D5：基于分组视图特征，本发明希望能够获取当前点云对象的形状特征，因此基于步骤D3和D4获取的组视图特征

和每组视图G_j的权重W(G_j)，本发明将组视图特征

进行进一步的融合，可得点云目标的最优视图特征V_b：

步骤D6：本发明使用嵌入网络将步骤D5的多视图最优视图特征V_b映射到点云特征空间生成嵌入式视图特征V_e。

步骤E：基于注意力机制，采用堆叠两个注意力融合模块将最优视图特征与点云特征进行融合，输出融合注意力的点云特征(如图7和图8)，具体包括以下步骤：

步骤E1：基于步骤B3提取的点云特征张量p和步骤D6提取的嵌入式视图特征V_e，本发明将视图特征重复n次后与点云特征相连接，以此作为二者的关系特征φ(P，V_e)；

步骤E2：然后使用一个多层感知机(MLP)结构对步骤E1所提关系特征进行高层特征映射，并通过归一化函数ζ(·)进一步量化，生成软注意力掩膜S_ai(P，V_e)：

ζ(·)＝sigmoid(log(clip(abs(·))))

S_ai(P，V_e)＝ζ(MLP(φ(P，V_e)))

其中，clip(·)函数为值约束函数，用来约束初始视图特征中值等于0的特征，即若当前特征某一维度值为0，则将其替换成一个极小值，在本文中为1×10^-8，以避免log(·)函数在0处无意义，导致模型发生梯度爆炸，无法拟合。

步骤E3：最后以残差的方式，将软注意力掩膜应用于基于点云的网络分支中，以增强更具区分性的点云特征并抑制无用特征，输出融合注意力的最终特征O_i(P，V_e)定义为：

O_i(P，V_e)＝E(P)*(1+S_ai(P，V_e))

其中E(p)为当前注意力模块中EdgeConv提取的点云局部特征。

步骤F：构建深度模型PGVNet，利用该模型进行车载激光点云独立面上地物独立目标对象的多类别预测，输出每个对象对应多类别的概率值大小，具体包括以下步骤：

步骤F1：基于迁移学习的思想，本实施例采用预训练的DGCNN网络中的前两个EdgeConv层参数对步骤B中点云特征提取模块参数进行初始化；同时采用在ImageNet数据集上预训练的VGG16模型的部分参数对步骤D中PGVNet模型的最优视图特征提取模块进行参数的初始化确保视图特征提取的有效性，同时减少PGVNet模型训练所需时间。

步骤F2：本实施例所提网络以端到端的形式进行训练，同时由于特征提取部分的网络由预训练的模型参数进行初始化，在模型训练初期具有较好的特征提取能力，因此采用交替训练的策略进行模型的训练。首先，在前10轮次(epoch)训练中冻结点云特征提取模块以及最优视图特征提取模块的网络参数，仅更新注意力融合模块以及分类器MLP部分网络层的参数。同时希望特征提取模块能够学习更多当前训练数据中特有的特征信息，因此在网络训练10轮次以后，开始更新当前网络的所有参数，使得网络对当前训练数据拟合效果更好，更加鲁棒

步骤F3：基于以上步骤的实现，构建本发明所提目标分类网络PGVNet，如图9所示，输入网络中每个点云对象包含2048个点，同时围绕点云对象生成8个视角图像。分别将点云和多视角图像输入到各自的特征提取网络分支中，然后对最优视图特征提取模块提取的视图特征进行分组并赋予不同的权重，将多视图分组特征进行融合以获取当前多视图所表示的最优视图特征，利用注意力嵌入模块将最优视图特征提取模块得到的最优视图特征合并到点云分支中。融合后的最终特征再用于分类任务。对于拥有C类的分类任务，本发明所提网络框架的最后一层输入为(C×1)的矢量，表示当前对象被网络分类成C个类别对应的概率值大小。

如图10实验数据面上地物结果所示，本实施例构建的深度模型PGVNet能够准确识别道路场景中面上地物车、树杆。对于因遮挡导致缺失的目标，深度模型PGVNet能够准确的将这些缺失点云对象分类，能够克服原始数据质量及分割结果对点云对象形状的影响。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种融合点云和多视图的车载激光点云多目标识别方法，其特征在于：

包括以下步骤：

步骤S1：基于连通分支聚类的车载激光点云面上地物分割，获得独立点云对象；

步骤S2：基于分割后的独立点云对象，生成多视角图像；

步骤S3：基于EdgeConv构建PGVNet模型的点云特征提取模块，对分割后的独立点云对象进行特征提取；

步骤S4：基于多视角图像，利用卷积神经网络构建PGVNet模型的最优视图特征提取模块，对多视角图像进行特征提取并进行多视图分组和视图特征融合，得到最优视图特征；

步骤S5：基于注意力机制构建PGVNet模型的点云-视图特征融合模块，将最优视图特征与点云特征进行融合，输出融合注意力的点云特征O₂(P，V_e)，并最终获取点云全局特征P_g；

步骤S6：将上述步骤的点云特征提取模块、最优视图特征提取模块以及点云-视图特征融合模块拼接后，嵌入深度神经网络，并通过共享权重的多层感知机构建分类器，从而构建了深度模型PGVNet，然后利用该模型进行车载激光点云独立面上地物独立目标对象的多类别预测，包含行道树、车辆、杆状目标以及其他共四类地物，输出每个对象对应各类别的概率值大小。

2.根据权利要求1所述的一种融合点云和多视图的车载激光点云多目标识别方法，其特征在于：所述步骤S1具体包括以下步骤：

步骤S11：基于布料模拟算法滤除点云场景中的地面点云，只保留非地面点；

步骤S12：基于步骤S11非地面点云提取结果，通过连通分支聚类获得独立的点云对象，并利用基于体素的归一化割方法优化通过连通分支聚类后依然相互粘连的点云对象。

3.根据权利要求1所述的一种融合点云和多视图的车载激光点云多目标识别方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S21：基于得到的独立点云目标，假定点云对象是直立的；

步骤S22：面向对象中心将一组虚拟摄像机以45度间隔放置在8个径向对称的位置上，视角高度为0度，以此来获取多视角图像，并渲染成尺寸为224×224像素的图像。

4.根据权利要求1所述的一种融合点云和多视图的车载激光点云多目标识别方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S31：对得到的包含n个点的独立点云对象构造基于每个点的k近邻局部邻域图结构G＝(V,E)，其中顶点V＝{x_i，x′₁，...，x′_j}，i∈n，j∈k，边E定义为E＝{e_i1，e_i2，...，e_ij}，i∈n，j∈k；其中边特征e_ij定义为：

e_ij＝ψ_θ((x_i，x′_j-x_i))

其中ψ_θ(·)是一个具有一组可学习参数θ的非线性函数；

步骤S32：通过EdgeConv模块的通道对称聚合操作实现对邻域图结构G＝(V,E)中邻域特征的聚合，并最终输出第i个顶点的聚合特征f_xi；

步骤S33：然后堆叠两个EdgeConv模块，作为PGVNet模型的点云特征提取模块，利用最大池化操作将提取的邻域特征聚合成点云特征张量P；

其中，

为第二个EdgeConv模块提取的点云邻域特征。

5.根据权利要求1所述的一种融合点云和多视图的车载激光点云多目标识别方法，其特征在于：所述步骤S4具体包括以下步骤：

步骤S41：通过构建的包含七层的卷积网络作为初始特征提取网络FCN提取多视角图像的初始特征v_i，同时采用由一层卷积层组成的特征变换网络CNN提取视图的最终视图特征

步骤S42：基于提取的初始特征v_i，首先利用一个全连接层将其映射到样本标记空间，然后使用得分函数ξ(·)定量的评估同一点云目标的不同视图初始特征对该目标识别的贡献分数，然后将视图划分到N个视图组中；

步骤S43：基于得到的视图分组，通过一个视图池化层将同一视图组内的视图特征融合成一个组视图特征

其中λ_i为指示系数，表示视图i是否属于视图组G_j，若视图i属于视图组G_j，则λ_i＝1，反之，λ_i＝0；

步骤S44：基于得到的视图分组，依据每组视图对目标识别的重要性赋予不同的组权重值用于组特征融合，在这里定义每组视图G_j的权重W(G_j)：

步骤S45：基于获取的组视图特征

和每组视图G_j的权重W(G_j)，将组视图特征

进行进一步的融合，得到点云目标的最优视图特征V_b：

步骤S46：基于步骤S41至步骤S45构建了PGVNet模型的最优视图特征提取模块，然后使用由一层全连接层构成的嵌入网络将步骤S45的多视图最优视图特征V_b映射到点云特征空间生成嵌入式视图特征V_e。

6.根据权利要求1所述的一种融合点云和多视图的车载激光点云多目标识别方法，其特征在于：所述步骤S5具体包括以下步骤：

步骤S51：基于提取的点云特征张量p和提取的嵌入式视图特征V_e，将视图特征重复n次后与点云特征相连接，以此作为二者的关系特征φ(P，V_e)；

φ(P，V_e)＝Concat(repeat(V_e，n)，P)

其中n为点云特征P第一维的维度值；

步骤S52：然后使用一个多层感知机结构对步骤S51所提关系特征进行高层特征映射，并通过归一化函数ζ(·)进一步量化，生成软注意力掩膜S_ai(P，V_e)：

S_ai(P，V_e)＝ζ(MLP(φ(P，V_e)))

ζ(·)＝sigmoid(log(clip(abs(·))))

步骤S53：最后以残差的方式，将软注意力掩膜S_ai(P，V_e)应用于基于点云的网络分支中，用以增强更具区分性的点云特征并抑制无用特征，输出融合注意力的点云特征O_i(P，V_e)定义为：

O_i(P，V_e)＝E(P)*(1+S_ai(P，V_e))

其中E(p)为当前注意力模块中EdgeConv提取的点云局部特征；

步骤S54：由步骤S51至步骤S53建了注意力融合模块，为了实现不同层次的点云-视图特征融合，通过堆叠两个注意力融合模块构建PGVNet模型的点云-视图特征融合模块，第一个融合模块得到的优化的点云特征是O₁(P，V_e)，然后再对O₁(P，V_e)输入第二个注意力融合模块，最终得到第二个注意力模块的输出，也就是融合注意力的点云特征O₂(P，V_e)，最后基于融合注意力的点云特征O₂(P，V_e)利用一个全连接层组成的MLP及最大池化层提取点云全局特征T_g；

P_g＝maxpool(MLP(O₂(P，V_e)))。

7.根据权利要求1所述的一种融合点云和多视图的车载激光点云多目标识别方法，其特征在于：所述步骤S6具体包括以下步骤：

步骤S61：融合点云特征提取模块、最优视图特征提取模块以及点云-视图特征融合模块，然后合并嵌入式视图特征V_e和点云全局特征T_g，通过由全连接层组成的多层感知机MLP{512，256，4}输出每个对象对应多类别的概率值大小；

步骤S62：基于迁移学习的思想，采用预训练的DGCNN网络中的前两个EdgeConv层参数对步骤S3中点云特征提取模块参数进行初始化；同时采用在ImageNet数据集上预训练的VGG16模型的前7层卷积层参数及最后一层卷积层参数分别对PGVNet模型的最优视图特征提取模块中的FCN和CNN层进行参数的初始化；

步骤S63：采用交替训练的策略进行PGVNet模型的训练；首先，在前10轮次训练中冻结点云特征提取模块以及最优视图特征提取模块的网络参数，仅更新点云-视图特征融合模块以及分类器MLP的网络层参数；

步骤S64：对于拥有C类的分类任务，所提网络框架的最后一层输入为(C×1)的矢量，表示当前对象被网络分类成C个类别对应的概率值大小，并利用argmax(·)确定概率值最大的那一类作为当前独立目标的类别，实现车载激光点云多目标分类。

Images