CN118038017A - 一种基于多视图融合的三维点云目标检测方法 - Google Patents

Abstract

本发明提出了一种基于多视图融合的三维点云目标检测方法。首先，将3D点云在XOY进行投影得到2D俯视图，将3D点云转到柱坐标并将柱面剪开摊平为矩形得到2D前视图，结合3D点云的高度、密度、深度和反射强度信息对两个2D视图进行编码处理得到三通道伪RGB图像，然后利用双边滤波对图像去噪，之后将其作为目标检测网络的输入，利用能够针对点云数据进行目标检测的Complex‑YOLOv4网络作为目标检测网络，分别对前视图和俯视图进行目标检测，最后将前视图和俯视图分别得到的目标检测结果进行融合，将加权D‑S证据理论应用到多视图融合中，利用基于BPA的决策方法对其分类做判决，得到最终目标检测结果。本发明将基于3D点云多视图投影的目标检测进行融合，提高了目标检测的精度。

Description

一种基于多视图融合的三维点云目标检测方法

技术领域

本发明属于汽车驾驶道路目标识别方法技术领域，具体涉及一种基于多视图融合的三维点云目标检测方法。

背景技术

随着汽车激光雷达传感器的发展，如今基于激光雷达的3D采集技术发展日益成熟，使用3D点云的应用正在增长，激光雷达可以轻松获取汽车周围的三维世界信息，所以基于点云的目标检测对于自动驾驶有着不可替代的作用，它与汽车道路环境感知紧密联系在一起，因此为预测和运动规划奠定了基础，点云目标检测在自动驾驶中变得越来越重要。

目前主要研究方法是围绕深度学习网络，使用卷积神经网络(CNN)做点云目标检测，由于激光雷达采集的每帧点云的点数多达十几万个，直接处理3D点云的目标检测方法需要处理的数据量太大，且3D CNN计算复杂，所以诞生了在3D点云的2D投影视图上做目标检测的方法。

目前基于投影的目标检测方法主要利用点云的前视图或俯视图这两种视图，相对于直接处理3D点云数据，利用其投影视图做目标检测可以减少计算复杂性，从而实现更高的处理速度和实时性，还可以利用现在已有的2D图像目标检测的一些方法作为工具，更容易对数据进行预处理、分割和增强。若仅基于前视图做目标检测，在投影过程中可能会损失一些关于场景深度和空间结构的信息，这可能影响目标检测的准确性和鲁棒性，且在2D前视图中，可能会出现遮挡问题，导致目标检测的漏检。仅基于俯视图做目标检测，因为它从上方直接观察场景，可以减少或避免由于物体遮挡而导致的漏检问题，然而从俯视图角度观察场景可能会导致点云数据的密度不均，且在投影中会丢失部分高度信息，可能影响目标检测的准确性。

将点云投影前视图和俯视图进行结合，用俯视图减少前视图因为遮挡产生的漏检情况，用密集的前视图保留的更多高度信息补充俯视图的丢失的信息，二者相互补充可以有效提高目标检测性能。

发明内容

本发明的目的提供一种基于多视图融合的三维点云目标检测方法。相比与直接处理点云的目标检测方法，本发明利用3D到2D转换减少了大量的数据处理和CNN计算开销，并且本发明融合了前视图和俯视图这两个视图，相互弥补了基于单个投影视图的不足，减少漏检，提高了目标检测的精度。

本发明所采用的技术方案为：一种基于D-S证据理论多视图融合的3D点云目标检测方法，具体包括以下步骤：

步骤一、利用激光雷达采集得到3D点云；

步骤二、将3D点云进行投影处理得到2D伪RGB的前视图和俯视图；

步骤三、对前视图和俯视图进行双边滤波去噪；

步骤四、将前视图和俯视图分别输入到各自视图训练好的complex-yolov4网络中进行独立地目标检测任务，得到目标类别和置信度；

步骤五、利用D-S证据理论将前视图和俯视图的目标检测结果进行融合；

步骤六、将步骤五的融合结果进行基于可信度的决策方法进行判决得到目标类别。

所述步骤二中包括以下步骤：

步骤二(1)筛选出传感器正前方50m×50m的ROI区域，高度限定在4m以内；

步骤二(2)直接将点云投影到XOY平面上，并将点云栅格化到网格分辨率为8cm的二维网格图中，转化为一张俯视的三通道图片；

三通道分别由点云高度信息B_g(S_j)＝max(P_Ωi→j·[0,0,1]^T)、点云强度信息B_b(S_j)＝max(I(P_Ωi→j))、点云密度信息B_r(S_j)＝min(1.0,log(N+1)/64)N＝|P_Ωi→j|进行编码；

其中，S_j表示每个像素的点云映射函数，P_Ω表示感兴趣区域范围内的所有点集，I(·)表示点的反射强度，N表示每个像素中的点数；

在投影过程中可能会有多个点投影到前视图中的一个像素点上，选取这些点中深度、高度、反射强度最大值作为三通道的数值；

步骤二(3)将点云转到柱坐标系，再将柱面剪开摊平为矩形，生成前视图，利用前视图投影公式对3D点云进行投影得到分辨率为C×R的2D三通道前视图，C和R分别表示图像的长度和宽度，投影公式c＝arctan(y/x)/Δθ、

其中，(x,y,z)表示3D点云的坐标，Δθ、Δμ分别表示水平分辨角与垂直分辨角，在2D前视图的每个像素中；

三通道利用3D点云中的信息中的高度F_g(S_j)＝max(P_Ωi→j·[0,0,1]^T)、反射强度F_b(S_j)＝max(I(P_Ωi→j))以及计算得到的前视图深度F_r(S_j)＝max(D(P_Ωi→j))进行编码；

其中F_r表示最大深度，F_g表示最大高度，F_b表示最大反射强度，表示点(x,y,z)处的深度；

所述步骤三采用的双边滤波具有良好的边缘保持能力，主要可以对2D投影视图的值域和空域进行平滑去噪，有效去除图像中的高斯噪声，双边滤波公式为：

其中，I(·)表示像素值，表示更新后输出的像素值，W_p表示归一化权重因子，G_σs、G_σr分别是表示图像的空间域核和像素域核的二维高斯公式，q表示输入像素，p表示中心点像素。

所述步骤五中包括以下步骤：

步骤五(1)构建辨识框架：在D-S证据理论中，辨识框架Θ定义为非空集合Θ＝{θ₁,θ₂,…,θ_i,…,θ_N}，i＝1,2,…,N，θ_i表示辨识框架中的元素，是N个两两互斥且相互独立的元素，本方法将前视图和俯视图为证据源，幂集2^Θ定义为辨识框架中包含的所有子集的集合，表示为

将步骤四中检测到的行人、车辆、骑车的人三种类别作为辨识框架中的元素θ₁、θ₂、θ₃，则如果函数m:2^Θ→[0,1]满足：

则m称为基本概论分配函数(Basic ProbabilityAssignment，BPA)或mass函数，m(A)是命题A基本概率分配，当m(A)>0时，称A为2^Θ的一个焦元，将步骤四中得到的置信度作为BPA函数。

步骤五(2)引入证据权：本方法有前视图和俯视图这2个证据源，系统对其中信任程度最高的证据称为首要证据源，另一个称为次要证据源。首要证据源的证据权为β₁＝1，次要证据源相对于首要证据源的信任度为β₂，则β₂为次要证据源相对于首要证据源的证据权，0<β_i≤1(i＝1,2)。

在本方法中，证据权来自前视图和俯视图在目标检测网络中各自检测结果的平均精度P₁、P₂，若P₁>P₂，以俯视图为首要证据源，前视图证据源相对于首要证据源的证据权为β₂＝P₂/P₁，m₁、m₂分别是在目标检测辨识框架Θ中的前视图和俯视图的BPA，则俯视图中各类别加权后的BPA不变即m₁'＝m₁，加入证据权之后前视图中各类别的BPA为m₁'、m₂'：

U表示不确定情况。

步骤五(3)D-S组合规则：将m₁'和m₂'融合后的新BPA表示为m₁'⊕m₂'，则融合规则为：

其中A_i，B_j∈2^Θ，θ_o∈Θ(o＝1,2,3)，为冲突系数，表示两个不同视图证据源的冲突或不一致性程度。它是一个介于0到1之间的值，其中0表示无冲突，1表示最大的冲突。

所述步骤六中本方法主要是行人、车辆、骑车的人三种类别的单类别检测,θ_o∈Θ(o＝1,2,3)则是这三种类别，且利用步骤五(3)得到的三种类别最终BPA为m'(θ_o1)>m'(θ_o2)>m'(θ_o3)>0，通过基于BPA的决策方法决策出最终类别判决，如果满足：

ε₂和ε₁是提前设置好的阈值，则类别判决为θ_o1，若不满足该条件，则判决为无目标。

附图说明

图1为本发明方法的系统模块框图；

图2为3D点云实例及其三通道投影视图，(a)是3D点云，(b)是俯视投影图，(c)是前视投影图；

具体实施方式

为使本领域技术人员理解本发明技术方案，下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述。

如图1所示，一种基于多视图融合的三维点云目标检测方法，具体步骤包括：

步骤一、利用激光雷达采集得到3D点云；

步骤二、将3D点云进行投影处理得到2D伪RGB的前视图和俯视图，具体步骤如下：

如图1中点云数据处理模块所示，利用点云中的深度、高度、反射强度、密度信息对投影视图进行编码：

步骤二(1)筛选出传感器正前方50m×50m的感兴趣区域，高度限定在4m以内，具体就是将点云中不同时满足x<50m、y<50m、z<4m这三个条件的点都移除掉；

步骤二(2)直接将点云投影到XOY平面上，并将点云栅格化到网格分辨率为8cm的二维网格图中，转化为一张俯视的三通道图片，三通到分别由点云高度信息B_g(S_j)＝max(P_Ωi→j·[0,0,1]^T)，强度信息B_b(S_j)＝max(I(P_Ωi→j))，密度信息B_r(S_j)＝min(1.0,log(N+1)/64)N＝|P_Ωi→j|三种信息进行编码，S_j表示每个像素的点云映射函数，P_Ω表示感兴趣区域范围内的所有点集，I(·)表示点的反射强度，N表示每个像素中的点数。在投影过程中可能会有多个点投影到前视图中的一个像素点上，选取这些点中深度、高度、反射强度最大值作为三通道的数值。

步骤二(3)由于点云直接进行投影到前视图会导致前视图显的比较稀疏，为了得到一个叫稠密的2D前视图，先将点云转到柱坐标系，再将柱面剪开摊平为矩形，生成前视图，利用前视图投影公式对3D点云进行投影得到分辨率为C×R的2D三通道前视图，C和R分别表示图像的长度和宽度，投影公式为c＝arctan(y/x)/Δθ、其中，(x,y,z)表示3D点云的坐标，Δθ、Δμ分别表示水平分辨角与垂直分辨角。

在2D前视图的每个像素中，三通道利用3D点云中的信息中的高度F_g(S_j)＝max(P_Ωi→j·[0,0,1]^T)、反射强度F_b(S_j)＝max(I(P_Ωi→j))以及计算得到的前视图深度F_r(S_j)＝max(D(P_Ωi→j))进行编码，其中表示点(x,y,z)处的深度；

步骤三、对前视图和俯视图进行双边滤波去噪，具体步骤为：

在3D点云投影到2D多视图的过程中，由于投影矩阵的估计误差或3D点云在采集时的环境造成的误差，可能会产生重投影误差，这些误差会在2D投影图中引入噪声，采用的双边滤波具有良好的边缘保持能力，主要可以对2D投影视图的值域和空域进行平滑去噪，有效去除图像中的高斯噪声，双边滤波公式为：

其中，I(·)表示像素值，表示更新后输出的像素值，W_p表示归一化权重因子，分别是表示图像的空间域核和像素域核的二维高斯公式，q表示输入像素，p表示中心点像素。

步骤四、将前视图和俯视图分别输入到各自视图训练好的Complex-YOLOv4网络中进行独立地目标检测任务，得到目标类别和置信度；

Complex-YOLOv4网络是根据YOLOv4改进而来，在YOLOv4的基础上，提出了一种特定欧拉区域建议网络(Euler-Region Proposal Network，E-RPN)，通过在回归网络中添加虚分数和实分数来估计目标的姿态，可以估计出每个行人、车辆的准确航向。

步骤五、利用D-S证据理论将前视图和俯视图的目标检测结果进行融合，具体步骤包括：

步骤五(1)构建辨识框架：在D-S证据理论中，辨识框架Θ定义为非空集合Θ＝{θ₁,θ₂,…,θ_i,…,θ_N}，i＝1,2,…,N，θ_i表示辨识框架中的元素，是N个两两互斥且相互独立的元素，本方法将前视图和俯视图为证据源，幂集2^Θ定义为辨识框架中包含的所有子集的集合，表示为i＝1,2,…,N。将步骤四中检测到的行人、车辆、骑车的人三种类别作为辨识框架中的元素θ₁、θ₂、θ₃，则如果函数m:2^Θ→[0,1]满足：

则m称为基本概论分配函数(Basic ProbabilityAssignment，BPA)或mass函数，m(A)是命题A基本概率分配，当m(A)>0时，称A为2^Θ的一个焦元，将步骤四中得到的置信度作为BPA函数。

步骤五(2)引入证据权：本方法有前视图和俯视图这2个证据源，系统对其中信任程度最高的证据称为首要证据源，另一个称为次要证据源。首要证据源的证据权为β₁＝1，次要证据源相对于首要证据源的信任度为β₂，则β₂为次要证据源相对于首要证据源的证据权，0<β_i≤1(i＝1,2)。

在本方法中，证据权来自前视图和俯视图在目标检测网络中各自检测结果的全类平均精度(meanAverage Precision，mAP)P₁、P₂，若P₁>P₂，以俯视图为首要证据源，前视图证据源相对于首要证据源的证据权为β₂＝P₂/P₁，m₁、m₂分别是在目标检测辨识框架Θ中的前视图和俯视图的BPA，则俯视图中各类别加权后的BPA不变即m₁'＝m₁，加入证据权之后前视图中各类别的BPA为m₁'、m₂'：

U表示不确定情况。

步骤五(3)D-S组合规则：将m₁'和m₂'融合后的结果就是新BPA，表示为m₁'⊕m₂'，则融合规则为：

其中A_i，B_j∈2^Θ，θ_o∈Θ(o＝1,2,3)，为冲突系数，表示两个不同视图证据源的冲突或不一致性程度。它是一个介于0到1之间的值，其中0表示无冲突，1表示最大的冲突。

步骤六、将步骤五的融合结果进行基于可信度的决策方法进行判决得到目标类别；

本方法主要是行人、车辆、骑车的人三种类别的单类别检测,θ_o∈Θ(o＝1,2,3)则是这三种类别，且利用步骤五(3)得到的三种类别最终BPA为m'(θ_o1)>m'(θ_o2)>m'(θ_o3)>0，通过基于BPA的决策方法决策出最终类别判决，如果满足：

ε₂和ε₁是提前设置好的阈值，一般设为，则类别判决为θ_o1，若不满足该条件，则判决为无目标。

Claims (5)

1.一种基于多视图融合的三维点云目标检测方法，其特征在于包括以下步骤：

步骤一、利用激光雷达采集得到3D点云；

步骤二、将3D点云进行投影处理得到2D伪RGB的前视图和俯视图；

步骤三、对前视图和俯视图进行双边滤波去噪；

步骤四、将前视图和俯视图分别输入到各自视图训练好的Complex-YOLOv4网络中进行独立地目标检测任务，得到目标类别和置信度；

步骤五、利用D-S证据理论将前视图和俯视图的目标检测结果进行融合；

步骤六、将步骤五的融合结果进行基于可信度的决策方法进行判决得到目标类别。

2.根据权利要求1所述的一种基于D-S证据理论多视图融合的3D点云目标检测方法，其特征在于：所述步骤二中包括以下步骤：

步骤二(1)筛选出传感器正前方50m×50m的感兴趣区域，高度限定在4m以内；

步骤二(2)直接将点云投影到XOY平面上，并将点云栅格化到网格分辨率为8cm的二维网格图中，转化为一张俯视的三通道图片，三通道分别由点云高度信息B_g(S_j)＝max(P_Ωi→j·[0,0,1]^T)、点云强度信息B_b(S_j)＝max(I(P_Ωi→j))、点云密度信息B_r(S_j)＝min(1.0,log(N+1)/64)N＝|P_Ωi→j|进行编码，S_j表示每个像素的点云映射函数，P_Ω表示感兴趣区域范围内的所有点集，I(·)表示点的反射强度，N表示每个像素中的点数。在投影过程中可能会有多个点投影到前视图中的一个像素点上，选取这些点中深度、高度、反射强度最大值作为三通道的数值；

步骤二(3)将点云转到柱坐标系，再将柱面剪开摊平为矩形，生成前视图，利用前视图投影公式对3D点云进行投影得到分辨率为C×R的2D三通道前视图，C和R分别表示图像的长度和宽度，投影公式c＝arctan(y/x)/Δθ、其中，(x,y,z)表示3D点云的坐标，Δθ、Δμ分别表示水平分辨角与垂直分辨角，在2D前视图的每个像素中，三通道利用3D点云中的信息中的高度F_g(S_j)＝max(P_Ωi→j·[0,0,1]^T)、反射强度F_b(S_j)＝max(I(P_Ωi→j))以及计算得到的前视图深度F_r(S_j)＝max(D(P_Ωi→j))进行编码，其中表示点(x,y,z)处的深度。

3.根据权利要求1所述的一种基于D-S证据理论多视图融合的3D点云目标检测方法，其特征在于步骤三采用的双边滤波具有良好的边缘保持能力，主要可以对2D投影视图的值域和空域进行平滑去噪，有效去除图像中的高斯噪声，双边滤波公式为：

其中，I(·)表示像素值，表示更新后输出的像素值，W_p表示归一化权重因子，分别是表示图像的空间域核和像素域核的二维高斯公式，q表示输入像素，p表示中心点像素。

4.根据权利要求1所述的一种基于D-S证据理论多视图融合的3D点云目标检测方法，其特征在于：所述步骤五中包括以下步骤：

步骤五(1)构建辨识框架：在D-S证据理论中，辨识框架Θ定义为非空集合Θ＝{θ₁,θ₂,…,θ_i,…,θ_N}，i＝1,2,…,N，θ_i表示辨识框架中的元素，是N个两两互斥且相互独立的元素，本方法将前视图和俯视图为证据源，幂集2^Θ定义为辨识框架中包含的所有子集的集合，表示为将步骤四中检测到的行人、车辆、骑车的人三种类别作为辨识框架中的元素θ₁、θ₂、θ₃，则如果函数m:2^Θ→[0,1]满足：

则m称为基本概论分配函数(Basic Probability Assignment，BPA)或mass函数，m(A)是命题A基本概率分配，当m(A)>0时，称A为2^Θ的一个焦元，将步骤四中得到的置信度作为BPA函数。

步骤五(2)引入证据权：本方法有前视图和俯视图这2个证据源，系统对其中信任程度最高的证据称为首要证据源，另一个称为次要证据源。首要证据源的证据权为β₁＝1，次要证据源相对于首要证据源的信任度为β₂，则β₂为次要证据源相对于首要证据源的证据权，0<β_i≤1(i＝1,2)。在本方法中，证据权来自前视图和俯视图在目标检测网络中各自检测结果的全类平均精度(mean Average Precision，mAP)P₁、P₂，若P₁>P₂，以俯视图为首要证据源，前视图证据源相对于首要证据源的证据权为β₂＝P₂/P₁，m₁、m₂分别是在目标检测辨识框架Θ中的前视图和俯视图的BPA，则俯视图中各类别加权后的BPA不变即m₁'＝m₁，加入证据权之后前视图中各类别的BPA为m₁'、m₂'：

U表示不确定情况。

步骤五(3)D-S组合规则：将m₁'和m₂'融合后的新BPA表示为则融合规则为：

其中A_i，B_j∈2^Θ，θ_o∈Θ(o＝1,2,3)，为冲突系数，表示两个不同视图证据源的冲突或不一致性程度。它是一个介于0到1之间的值，其中0表示无冲突，1表示最大的冲突。

5.根据权利要求1所述的一种基于D-S证据理论多视图融合的3D点云目标检测方法，其特征在于步骤六中本方法主要是行人、车辆、骑车的人三种类别的单类别检测,θ_o∈Θ(o＝1,2,3)则是这三种类别，且利用步骤五(3)得到的三种类别最终BPA为m'(θ_o1)>m'(θ_o2)>m'(θ_o3)>0，通过基于BPA的决策方法决策出最终类别判决，如果满足：

ε₂和ε₁是提前设置好的阈值，则类别判决为θ_o1，若不满足该条件，则判决为无目标。