CN111832655B - 一种基于特征金字塔网络的多尺度三维目标检测方法 - Google Patents

Abstract

本发明公开了一种基于特征金字塔网络的多尺度三维目标检测方法。针对复杂情况（如目标部分遮挡，远距离成像分辨率低）下目标易丢失的问题，本方法结合RGB图像和雷达点云在检测任务中的优势，将3D点云表示为多通道鸟瞰图，设计了金字塔特征提取器，分别构建鸟瞰图和RGB图像的多尺度、强语义特征表示；在每个特征输出层上都应用先验锚框，经过特征裁剪操作获得区域融合特征，直接输入共享分类器和回归器完成跨尺度检测，得到最佳目标分类和定位结果。本方法是一种单阶段检测方法，省去了生成提议框的步骤，网络结构简单，保证了检测的实时性、准确性和鲁棒性，有效地提高了部分遮挡和远距离目标的检测率以及定位准确率。

Description

一种基于特征金字塔网络的多尺度三维目标检测方法

技术领域

本发明涉及一种三维目标检测算法，用来提高复杂环境下部分遮挡目标和远距离小目标的检测准确率，帮助机器更好地感知三维环境，确定感兴趣目标的位置，属于计算机视觉领域。

背景技术

三维目标检测旨在研究如何有效感知环境信息，准确分类及定位感兴趣目标，在自动驾驶系统中占有重要的地位。深度学习的发展使图像识别、语义分割等二维视觉任务取得了很大的突破，但现实世界是三维空间，基于二维图像的研究在现实场景应用中具有一定的局限性。相比于二维检测，三维目标检测在此基础上增加了目标深度、尺寸和姿态等信息的估计，在准确性、实时性等方面还有较大的提升空间。目前已有很多优秀的三维目标检测算法，根据需要的数据分为三类：基于单目图像的三维目标检测、基于多视图的目标检测和基于点云的目标检测。然而在现实场景中，由于目标存在部分遮挡以及距离远时成像分辨率低等情况，这类目标的检测仍然是一个具有挑战性的问题。

图像和点云是场景理解问题中重要的数据源，前者提供丰富的视觉信息，后者提供更加准确的几何、形状和位置等信息，利用两者信息的互补性，可以有效捕捉部分遮挡目标和远距离小目标。因此很多方法都研究了点云和图像的特征学习方法和融合方式，由于点云具有不规则性和无序性，无法直接进行特征学习，很多方法将点云映射为体素网格、鸟瞰图或前视图等规则的数据结构，再利用现有的成熟的检测框架进行处理。特征金字塔网络解决了一般深度网络不同层级间语义差距较大的问题，采用编码器和解码器结合底层细节信息和高层语义信息，可得到多尺度、强语义的金字塔特征。本发明采用了将点云表示为多通道鸟瞰图的方式，利用特征金字塔网络和跨尺度检测方式，提高复杂场景下部分遮挡目标和远距离小目标的检测准确率。

发明内容

本发明所要解决的技术问题是：基于特征金字塔网络和跨尺度检测方法，充分利用不同尺度特征图的语义信息，提高复杂场景下部分遮挡目标和远距离小目标的检测准确率。

本发明的解决方案是：使用金字塔特征提取器构建点云鸟瞰图和RGB图像的多尺度、强语义特征表示，然后采用跨尺度检测方法，在三个不同尺度的特征图上应用先验锚框获得对应的区域融合特征，最后输入相同的检测器，进行综合分析，从而提高复杂场景下部分遮挡目标和远距离小目标的检测准确率。

本发明为实现上诉解决方案，其方法步骤如下所示：

1.获得RGB图像和鸟瞰图的多尺度、强语义特征表示。首先根据[Chen X,Ma H,WanJ,et al.Multi-View 3D Object Detection Network for Autonomous Driving[J].2017.]中将三维点云表示为多通道鸟瞰图的方法获得点云的二维表示，利用现有的成熟的图像检测框架对鸟瞰图进行处理。依据[Lin T-Y,Dollár P,Girshick R,et al.FeaturePyramid Networks for Object Detection[J].2016.]提出的特征金字塔网络的构建原理，本方法设计了以VGG16为骨干网络的金字塔特征提取器，将鸟瞰图和RGB图像输入包含编码器和解码器的特征提取器中，通过对强语义特征图进行上采样，能够得到在每个尺度上都具有强语义的特征金字塔，最终得到两者的多尺度、强语义特征表示。

2.得到基于先验锚框的RGB图像和点云鸟瞰图的区域融合特征。点云稀疏且不规则，基于点云和图像的三维目标检测方法都需要解决两者特征如何有效融合的问题。本发明采用的单阶段检测方法，直接将二维图像划分为网格，采用维度聚类算法得到先验锚框的尺寸，在每个网格上得到密集先验锚框，通过将先验锚框映射到鸟瞰图和RGB图像金字塔特征的同一特征输出层上，采用特征裁剪以及元素平均操作得到两者的区域融合特征。

3.将区域融合特征输入共享分类器和回归器中预测目标类别分数、方向和位置，同时为了解决多尺度目标问题，我们采用跨尺度检测方式来提高远距离小目标的检测率和定位准确率。三维空间中目标存在远小近大的特点，解决多尺度目标检测问题是提高三维目标检测精度的关键。在卷积网络中，深层特征具有很大的感受野和丰富的语义信息，抽象程度更高，但分辨率降低导致细节信息丢失。因此深层特征适合用于检测大目标，浅层特征适合检测小目标。常见的解决多尺度目标检测的方法有两种：将多层特征进行组合后再预测，以及分别在多个尺度特征图上进行预测，[Redmon J,Farhadi A.YOLOv3:AnIncremental Improvement[J].2018.]中就采用了跨尺度检测方式，提高了网络的检测能力。本发明在特征提取网络后添加三组由几个全接连层构成的分类和回归网络，输入区域融合特征，完成对象的类别预测、边界框的位置坐标和方向预测。通过在三个尺度融合特征上执行相同的检测器，并且对三层预测结果综合应用非极大值抑制方法(NMS)，得到最佳分类和定位结果。

附图说明

以下对说明书附图进行进一步地描述：

1.图1是本发明提出的基于特征金字塔网络的多尺度三维目标检测方法的具体网络结构。

2.图2是设计的金字塔特征提取器的网络结构。包含两个部分：自底向上的编码器和自顶向下的解码器，用于生成点云鸟瞰图和图像的多尺度、强语义特征表示。

3.图3是在单个输出特征层上的检测结构图。在得到鸟瞰图和RGB图像的特征金字塔之后，在输出特征层上应用先验锚框，经过特征裁剪、元素平均操作得到区域融合特征，将特征直接输入由多层全连接层组成的分类器和共享器中可以完成单输出层上的检测。

4.图4是关于车辆检测结果的可视化。左侧为点云上的预测边界框和真实边界框，右侧分别为对应场景的目标二维边界框(上)和三维边界框的预测结果(下)。

具体实施方式

下面对具体的实施方法作进一步地详细描述：

1.从0.1米分辨率的体素网格转化为六通道鸟瞰图。首先对点云进行过滤，根据KITTI基准上对点云坐标系的定义，只考虑三个轴上分别在[0,70][-40,40][0,2.5]内的点。同时在Z轴上将网格均匀划分为5个切片，分别对应鸟瞰图的五个通道，使用切片上单元格内全部点的最大高度来编码。第六个通道表示整体点云XY平面内单元的点密度信息，计算公式为：

其中N表示该单元内的点数，由此可得到维度为(800,700,6)的鸟瞰图。通过将三维点云表示为规则的鸟瞰图，能够直接利用成熟的图像特征提取器，得到有效可靠的高级特征。

2.本发明设计的金字塔特征提取器主要用于生成点云鸟瞰图和图像的多尺度特征表示。骨干网络包含两个部分：自底向上的编码器和自顶向下的解码器。

编码器部分是由VGG16经过修改得到的，主要去掉了conv4层后的网络，并且修改了每组卷积层的卷积核个数。通常卷积网络中同一层级的多个网络层输出大小相同，并且越深的网络层具有越强的特征表示，因此将使用每个层级中的最后一个网络层输出用于构建金字塔。具体地说，在VGG16中，使用con1_2、conv2_2、conv3_3以及conv4_3层的输出层来构建金字塔层级，分别表示为{C1，C2，C3，C4}。由于VGG16中每个层级后都有最大池化层，缩放步长为2，因此C4大小为网络原始输入大小的

解码器部分是从分辨率更小但语义级别更强的特征图开始，通过上采样得到更高分辨率的特征，并且通过横向连接与编码器部分相结合，对上采样结果进行信息增强。简单来说，首先对C4进行上采样两倍得到与C3大小相同、通道数相同的特征图，将该特征图与C3进行通道合并，在合并的特征图上使用3×3卷积(卷积核个数为32)，仍然得到与C3大小相同的特征图P3以用于最终预测。以此类推，最终将依次得到一组特征图{P1，P2，P3}，分别与自底向上部分大小相同的{C1，C2，C3}一一对应。考虑内存的占用率和算法的执行效率，修改了特征金字塔的结构，并且选择只在金字塔的三个层级{P1，P2，P3}上进行检测。

3.在特征输出层上完成检测。在得到鸟瞰图和RGB图像的特征金字塔之后，在输出特征层上应用先验锚框，经过特征裁剪、元素平均操作得到区域融合特征，将特征直接输入由多层全连接层组成的分类器和检测器中可以完成单输出层上的检测。本发明也采用锚机制生成密集的三维锚框，直接进行目标分类、边界框的位置和方向回归。这些锚框主要由6个参数tx,ty,tz,dx,dy,dz决定，分别表示中心点的位置和与坐标轴对齐方向上的长度。其中tx，ty是在鸟瞰图范围内使用0.5米的间隔进行采样得到的，tz由传感器取决于传感器高于地面的高度，尺寸是根据训练样本中的车辆尺寸采用K-means++维度聚类算法计算得到的。首先建立一系列可能包含目标的有向三维框，过滤掉不包含点云的三维框后，再将该三维框转化为先验锚框。目标位置和方向的是通过对可能包含目标的先验锚框与真实框的差异进行回归得到的。

4.为了解决多尺度目标问题，我们采用跨尺度检测方式来提高远距离小目标的检测率和定位准确率。本发明的检测方法将在三个特征层上进行目标边界框的预测。具体来说，将锚框投影到鸟瞰图和RGB图像特征金字塔的P1、P2和P3层上，对特征图进行裁剪、放缩以及元素平均操作得到该锚框对应的区域融合特征。最后在特征提取网络后添加三组由几个全接连层构成的网络，输入区域融合特征，完成对象的类别预测、边界框的位置坐标和方向预测。通过在三个尺度融合特征上执行相同的检测器，并且对三层预测结果综合应用非极大值抑制方法，得到最佳分类和定位结果。

5.本发明采用端到端的训练方式在多个特征输出层上完成跨尺度检测，整个模型的输出包含目标分类得分、三维边界框的位置和方向。整体损失函数为P1、P2和P3密集检测后的损失函数之和，并且某一层的损失函数都由分类损失L_cls和回归损失L_reg组成。整体损失函数定义为：

其中i表示特征层级。

对于某一层上的分类损失L_cls，采用focal loss函数。由于采用了区域内密集采样的锚机制，通常一张图像上的背景框的数量远多于前景框，导致了前景和背景类别不平衡问题。在训练密集检测器时，直接使用交叉熵损失将使得容易分类的背景样本主导损失值和梯度变化。采用[Lin T-Y,Goyal P,Girshick R,et al.Focal Loss for Dense ObjectDetection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2017,PP(99):2999-3007.]中提出的基于交叉熵损失函数改进的focal loss函数，着重训练容易分类错误的困难样本，能有效提高检测的精度。分类损失函数的定义如下：

其中i是锚框索引；λ₁为分类任务的权重；α_t为权重因子，用于平衡正负样本的重要性；(1-Ρ_t)^γ部分为调节因子，用于区分简单和困难样本；P_i为模型预测该锚框是正样本的概率；N_cls为参与分类任务的锚框的数量。

对于某一层上的回归损失L_reg，主要包括三维框的定位损失和方向损失。本发明使用比L2更加鲁棒的smooth L1损失函数计算每个可能包含对象的边界框的回归损失值。回归目标是相对于锚框与真实目标边界框的位置和方向偏差定义的，通过减少预估偏差值和真实偏差值的差距，即可在预测阶段得到目标框的位置和方向。回归损失函数定义如下：

其中i表示参与回归任务的锚框的索引；Loc_i和Ori_i分别表示模型预估偏差；Loc_i ^*和Ori_i ^*表示锚框与真实目标框之间真实偏差；λ₂和λ₃表示任务权重；N_reg表示可能包含目标的锚框数量。

6.在KITTI验证集上得到车辆检测的可视化结果。由于本发明方法利用了点云和图像信息互补的优点，在部分遮挡或点云稀疏的情况下都能准确地估计三维边界框的位置。同时由于还采用了维度聚类和跨尺度检测方式，对于多尺度目标检测也得到了更好的结果。通过使用本发明的检测方法，不仅准确地找到已标注目标，同时能够检测到未作为标注样本的远处小目标，能够有效地解决多尺度目标的检测问题。

Claims (1)

1.一种基于特征金字塔网络的多尺度三维目标检测方法，其特征在于整体方法包括以下步骤：

1)将点云鸟瞰图和RGB图像输入以VGG16为骨干网络的金字塔特征提取器，通过对深层强语义特征进行上采样以及使用横向连接进行信息增强，生成点云鸟瞰图和RGB图像的多尺度、强语义特征表示{P1，P2，P3}；

2)采用跨尺度检测方法，将锚框投影到点云鸟瞰图和RGB图像P1、P2和P3特征层上，使用裁剪、放缩以及元素平均操作得到对应的区域融合特征，然后将三个特征层上的区域融合特征输入共享分类器和回归器，最后综合应用非极大值抑制方法，得到最佳的目标分类和定位结果；

3)采用端到端的训练方式实现三维目标检测，整体损失函数定义如下：

其中i表示特征层级，

表示i特征层上的分类损失，

表示i特征层上的回归损失；单个特征层上的分类损失L_cls，采用focal loss函数，定义如下：

其中i是锚框索引；λ₁为分类任务的权重；α_t为权重因子，用于平衡正负样本的重要性；(1-P_t)^γ部分为调节因子，用于区分简单和困难样本；P_i为模型预测该锚框是正样本的概率；N_cls为参与分类任务的锚框的数量； 单个特征层上的回归损失L_reg，采用smooth L1函数，定义如下：

其中i表示参与回归任务的锚框的索引；Loc_i和Ori_i分别表示模型预估位置和方向偏差；Loc_i ^*和Ori_i ^*表示锚框与真实目标框之间的真实位置和方向偏差；λ₂和λ₃表示任务权重；N_reg表示可能包含目标的锚框数量。

Images