CN114120115A - 一种融合点特征和网格特征的点云目标检测方法 - Google Patents

Abstract

本发明公开了一种融合点特征和网格特征的点云目标检测方法，包括使用图神经网络提取原始点云基于点的特征，使用网格化点云方式提取基于网格的特征，将基于点的特征融合到基于网格的特征中，再将融合后的特征转为伪图像形式，通过卷积神经网络继续提取高层次特征，在通过卷积神经网络提取特征的过程中，始终保持高分辨率特征以及特征的多尺度融合，后续以混合密度的方式拟合数据分布以输出更好的目标建议框结果。本发明在使用二维卷积速度快的同时，将基于点特征融合到基于网格化的点云特征中，这样也保留了点云的部分三维结构特征，并采用并联结构以提取高分辨率特征。使用基于高斯分布的混合密度网络，能更好的拟合数据分布。

Description

一种融合点特征和网格特征的点云目标检测方法

技术领域

本发明属于基于深度学习的计算机视觉技术领域，具体涉及一种融合点特征和网格特征的点云目标检测方法。

背景技术

点云目标检测是指用激光雷达将场景采集为三维点云形式，从点云中估计物体的形状与位置的计算机视觉任务。点云目标检测是自动驾驶汽车环境感知中关键技术之一。

凭借其强大的表示学习能力，深度学习的方法大大提高了点云目标检测的准确性，并且使基于深度学习的点云目标检测具有越来越好的发展前景。

基于深度学习的点云目标检测算法主要可分为基于网格的点云目标检测算法和基于点的点云目标检测算法等。

基于网格的目标检测算法，可以解决点云不规则数据格式，大部分工作将点云投影到规则网格上，通过2D或者3D CNN处理。这种基于网格的方法对于精确的3D建议框是有效的，但是感受野受2D/3D卷积核大小的限制。

基于点的目标检测算法主要从原始点云生成3D建议框，而不是投影为2D图像，基于点的方法大多基于PointNet系列，尤其是集合抽象操作，为点云特征学习提供了灵活的感受野。

尽管基于深度学习的点云目标检测效果显著，但仍然面临许多问题，基于网格的目标检测由于网格的划分无法保留对象的细粒度3D结构，定位的性能与网格的大小有很大关系，网格变小，虽然可以获得更细粒度特征，但是运算量也会变大。基于点的方法虽然提供了更多的原始3D表示，效果也会更好，但是庞大的点云数据需要大量的计算成本，有些基于点的方法借鉴2D目标检测方法会采用两阶段方法，优点是精度高，回归准确，但是速度慢。

发明内容

为解决上述问题，本发明公开了一种融合点特征和网格特征的点云目标检测方法，使用双流网络将点的特征和网格化特征结合，可以包含更准确的对象3D结构信息。这使得能够将细粒度的3D表示强加给在网格化过程中丢失结构的网格化特征；并且通过混合密度的方式可以更好的拟合数据分布，获得更好的结果。

为达到上述目的，本发明的技术方案如下：

一种融合点特征和网格特征的点云目标检测方法，包括以下步骤：

步骤1、使用Point-GNN中的图结构来对点云特征进行提取，具体操作如下，输入处理后的含有N个点的点云集合P＝{p1,p2,…,pN}，其中pi＝(xi,si)代表点的坐标以及激光反射度，P作为图顶点，然后连接固定半径r内的点，使用K-Nearest Neighbor(K最近邻法，简称KNN)构造图G＝{P,E}，图构造完毕，特征更新网络使用多层感知机，对于每一个图节点，通过节点的邻居节点以及边特征来更新图的节点信息。

步骤2、采用Point-Pillar方式来做点云网格化操作，输入的处理后点云数据形式为(P,F)，其中P为点云数量，F为点云属性，包含点的坐标以及激光反射强度，按照点云数据所在的X,Y轴，将点云划分为一个个网格，数据变为(M,N,D)，其中M代表选取的pillar数量，N是每个pillar存储的最大点云数量，D是点云属性，由于点云的稀疏性，如果某个pillar中的点云个数大于N，则抛弃，如果小于N，则用零补全，接着通过全连接网络提取pillar信息，最终取每个pillar中最大的特征作为每个pillar特征，即此部分输出数据为(M,C)，步骤1中基于点的特征维度也是C，两者相同。

步骤3、基于步骤1我们得到基于点的特征(N,C)，基于步骤2，我们得到了基于网格的特征(M,C)，对于每一个基于pillar的特征，将它与步骤1中的所有点特征做点乘操作，得到二维关系矩阵(N,C)，通过此矩阵得到每个pilar关系最大的K个点的索引，再通过索引到点特征中取出这K个点的特征(K,C)，将每个pillar的特征与这K个点的特征作点乘，再经过Softmax操作，得到K个值，这K个值相当于取出的K个特征的匹配概率，也可以理解为K个特征的权重，再让每个点乘以自己的匹配概率然后相加，最后和pillar特征拼接，得到融合了点特征的pillar特征，维度为(M,2C)。

步骤4、将步骤3中得到的特征转为伪图像表示(H,W,2C)，输入RPN网络中，这样就可以利用CNN继续提取特征，将得到的(H,W,2C)输入到具有高分辨率的RPN网络结构中，此网络结构包括两次下采样过程，第一层的数据维度始终保持(H,W,2C)，第二层始终保持(H/2,W/2,4C)的数据维度，第三层始终保持(H/4,W/4,8C)的数据维度，这三层为并行结构，层与层之间也有数据交互，比如第二层会上采样为(H,W,2C)，与第一层的数据进行融合，同样，第三层也会上采样到第二层和第一层和他们进行数据融合，网络结构的输出采用第一层的结果，RPN网络的输出一般包括两个分支，一个用来物体分类，一个用来3D框回归，此处与SECOND网络一样，多引入一个对物体方向进行分类的分支，每个3D框用一个7维的向量(w,y,z,w,h,l,θ)，其中(x,y,z)表示物体框的中心，w,h,l则表示框的尺寸，θ为框的方向角，由于直接预测这7个参数难度太高，与2D目标检测类似，在数据处理时也会预生成9种anchor box，那么检测框回归任务中要学习的参数为7个变量的偏移量：

Δθ＝sin(θ^gt-θ^a)

其中x^gt和x^a分别为真实标签值和anchor box，

对于目标分类的损失，我们使用focal loss：

l_cls＝-α_a(1-p^a)^rlogp^a

其中p^a表示anchor的类别概率，在实验中设置α＝0.25，r＝2为了更好的拟合数据分布，我们采用混合密度网络来输出3D框回归的结果。

步骤5、基于SSD的目标检测头进行目标框回归

所述的基于双流网络和混合密度的点云目标检测方法，步骤4的混合密度网络具体方法是：对于给定的点云数据x，我们的目标是学习一个函数f：x→θ，即函数的输出是一系列的混合模型输出参数θ＝{μ，σ，α}，

μ＝{μ₁，μ₂，...，μ_M|μ_i∈R^7N}，σ＝{σ₁...，σ_M|σ_i∈R}，α＝{α₁，...，α_M|0≤a_i≤1，∑_iα_i＝1}，它们分别是混合模型的均值，方差和混合系数，M是高斯核的个数，我们将高斯分布作为混合密度网络的基本概率分布，并使用五个高斯核，对于给定输入x的概率密度y可以表示为高斯核函数的线性组合：

对于不使用混合密度网络，RPN网络输出包括(M，7)，7即为上述的步骤四中的7个偏移量，使用五个高斯核的混合密度网络，输出为(M，45)，因为对于每一个高斯核需要输出包括7个均值μ，一个方差θ，以及一个权重系数α，

给定K组训练数据{X，Y}＝{{x_i，y_i}i＝1，2，…，K}，X表示点云特征，Y表示真实标注框，我们的目标就是找到最大的后验可学习权重w，假设数据都是独立同分布的那么w的最大后验分布表示为：

其中Ψ是超参数，M代表了高斯核个数，α_j可看作每个高斯核权重，相加为1，φ_j为高斯概率分布，

μ_j(x)和σ_j(x)表示第j个高斯核的均值和方差。优化网络权重也可以最小化负对数后验获得即：

因此对于损失函数，我们便可以定义如下：

其中0≤α_j(x)≤1

最终的RPN网络回归框的输出我们将五个高斯分布分别乘以对应的系数权重求和得到。

将上述结果输入到基于SSD的目标检测头进行目标框回归

本发明的有益效果为：

本发明所述的一种融合点特征和网格特征的点云目标检测方法，结合了基于点以及基于网格的点云目标检测算法，使得融合后的特征的信息更加丰富，将特征转为伪图片形式，使用基于CNN高分辨率的RPN网络，融合了多尺度特征的同时，始终保留了高分辨特征，并且基于2D卷积加快了网络的推理速度，减少了运算量；使用混合密度网络，更好了拟合了数据分布，使得网络的输出更加准确。

附图说明

图1是本发明的整体流程图；

图2是本发明方法的RPN网络即图1中Backbone结构图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

一种融合点特征和网格特征的点云目标检测方法，包括以下步骤：

步骤1、实验数据集是KITTI，KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集之一，KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。将处理后的点云数据输入图1上半部分的Point-GNN网络中，由于点云数据量过大，会从中采样点云数据作为图中的节点，但为了保留初始的点云特征，会使用一层图网络提取来作为顶点的初始的状态值。后续通过四层图神经网络，每层神经网络使用多层感知机来进一步提取节点和边的特征。最终得到图1中上半部分Point-GNN的输出。

步骤2、将处理后的点云数据输入图1下半部分，将点云规则化为pillar形式，假设沿着X,Y方向的单位网格大小为x,y，那么划分的网格大小为(X/x,Y/y)，根据每个点云所在位置，放入对应的网格中，同时规定每个网格内部最大的点云数量，若超过，则丢弃，少于则补零。然后提取每个网格的特征，得到图1中下半部分Pillars的输出。

步骤3、将图1中上半部分的输出特征结合到下半部分的输出特征上。具体过程就是对下半部分的每一个输出，选取上半部分与其关系最大的K个点，然后对于每个pillar,通过类似Softmax操作，计算它与这K个点的匹配概率，再让每个点乘以自己的匹配概率然后相加，最后和下半部分的特征拼接，得到融合了点特征的pillar特征，假定维度为(M,2C)。M表示pillar数量，再将其转为伪图像形式即(H,W,2C)。

步骤4、将步骤3中得到的伪图像特征输入到Backbone网络中，其中Backbone的网络结构如图2所示，网络结构包含三层，假设输入的特征为(C,H,W)，第一层的卷积过程始终保持输入的(C,H,W)高分辨特征，每一个卷积块包括卷积、Batchnorm和Relu激活三个操作，第二层由输入经过卷积得到(2C,H/2,W/2)，通道数加倍，宽高维度减半，同样的第二层的卷积过程中特征形状始终保持不边，第三层由第二层经过四次卷积后，再经过一次卷积得到(4C,H/4,W/4)，第三层的卷积过程也始终保持特征维度不变，为了融合多尺度特征，在每层经过四次卷积块操作后，都会有多尺度融合的过程，第一次融合将(2C,H/2,W/2)的特征，通过上采样以及通道数改变得到和第一层特征维度一样的(C,H,W)，然后两者相加，作为第一层后续卷积过程的输入，将第一层的(C,H,W)经过卷积操作得到(2C,H/2,W/2)的特征，然后与第二层的结果相加，将此结果作为后续的第二层卷积过程的输入。每层再经过四次卷积之后，还会有多尺度融合的过程，与之前一样，新添的第三层会分别上采样到和第一层，第二层相同的特征维度，和它们的特征相加，由于三层均有特征输出，我们最终将第一层的结果特征作为输出。

步骤5、为了更好的拟合数据分布，我们采用基于高斯分布混合密度网络来作为RPN网络最后的输出，使用五个高斯核，每个高斯核的均值就是我们所需要的偏移z，输出的内容包括均值，方差，和每个高斯核的权重，权重之和应该为1，对应的回归框的损失函数使用对数函数来优化权重。

步骤6、将上述结果输入到基于SSD的目标检测头进行目标框回归

以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，凡是在此技术方案基础上所做的任何改动，都属于本发明提出的技术思想，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种融合点特征和网格特征的点云目标检测方法，其特征在于：包括：

步骤1、读取点云数据，进行相关数据处理，将点云数据组织为图结构，通过节点的邻节点来更新节点特征，即使用图神经网络提取点云特征；

步骤2、将点云数据沿x和y轴的俯视图按固定尺寸分为若干个小格子，沿着z轴向上拉就变成柱体，按点云位置将各个点划入分成的柱体中，将每个柱体中的点云看作一个集合，提取其中点云的特征，最后采用最大池化然后提取每个柱体的特征；

步骤3、将步骤1中提取的基于网格特征融入基于点的特征中，首先计算步骤2中每个柱体特征与步骤一中每个点特征的相似度分数，对每个柱体选取最大的k个点，将此k个点的特征融合到柱体特征中；这样柱体特征中就包含了图神经网络提取的三维结构信息，这是柱体特征所不具备的；

步骤4、将步骤3中融合后的柱体特征转化为伪图像形式，采用基于CNN进一步提取特征；使用保持高分辨结构的区域建议网络，将不同分辨率的特征进行并联，在并联的同时，不同分辨率特征之间进行交互；并采用混合密度网络来拟合数据分布，得到预选框的高斯均值，方差以及高斯权重；

步骤5、基于Single Shot Detector的目标检测头进行目标框回归。

2.根据权利要求1所述的一种融合点特征和网格特征的点云目标检测方法， 其特征在于，所述步骤1：

对于点云的每一个点，根据K近邻算法，挑选其邻居节点来构建图；在前向传播过程中，使用边的特征来更新节点的特征，再根据节点特征来更新边特征，网络使用Multi-LayerPerception来进行特征更新；最后得到每个点的特征。

3.根据权利要求1所述的一种融合点特征和网格特征的点云目标检测方法， 其特征在于，所述步骤2：

将点云的俯视图按设定好的固定尺寸分为若干个小格子，沿着z轴向上拉就变成柱体，将每个柱体中的点云看作一个集合，采用全连接网络提取每个柱体中点云的特征，通过最大池化得到每个柱体的特征。

4.根据权利要求1所述的一种融合点特征和网格特征的点云目标检测方法，其特征在于，所述步骤3：

对于每个柱体的特征，计算它与步骤一中每个点的特征的匹配概率，选取匹配概率最大的k个点，按权重不同将这k个点的特征加起来，然后与每个柱体特征拼接，最终得到融合的柱体特征，因为在划分柱体时，丢失了点云的结构特征，融合了经过图神经网络提取的点特征后，弥补信息的丢失。

5.根据权利要求1所述的一种融合点特征和网格特征的点云目标检测方法，其特征在于，所述步骤4：

将柱体特征转为二维结构后，通过CNN进一步提取特征，高分辨网络采用三个并行的结构，每层的特征图保持不变，下面一层较上面一层的特征图大小减半，通道数加倍，并且，层与层之间也会有特征融合的操作；输出部分我们采用混合密度网络，输出高斯核的均值，方差以及权重，其中均值就是我们的预选框属性，这样可以更好的拟合数据分布。

Images