CN114049616B - 一种基于模糊分类的立体空间目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于模糊分类的立体空间目标检测方法及系统，所述方法包括：根据立体空间目标检测算法，对接收的激光雷达点云数据生成边界框，并计算每个边界框的置信度；选取置信度大于设定阈值的边界框，计算每个边界框的体积和密度；将每个边界框的体积和密度输入预先建立的模糊系统，通过IF‑THEN模糊规则构建模糊规则库，实现模糊分类，得到包括大体积高密度LVHD、小体积高密度SVHD和低密度LD三种类别的边界框；为LVHD、SVHD和LD三种类别的边界框分别设置合适的IoU阈值，并分别输入NMS筛选检测模块，得到每个类别选定的边界框，从而得到目标检测结果。本发明的方法提高了立体空间目标检测算法的准确性。

Description

一种基于模糊分类的立体空间目标检测方法及系统

技术领域

本发明涉及到自动驾驶领域的立体空间目标检测算法，提出一种基于模糊分类的立体空间目标检测方法及系统。

背景技术

自动驾驶系统的核心可以概述为感知、规划和控制三个部分，其中感知技术是自动驾驶中至关重要的一环。感知是指自动驾驶系统从环境中收集信息并从中提取相关知识的能力，主要有环境感知和高精定位两种。环境感知特指对于环境的场景理解能力，例如障碍物的位置、道路标志/标记的检测及行人车辆的检测等。目前环境感知技术已是业内研究的热点，立体空间目标检测直接输出行人、车辆等立体空间的位置和尺寸，能够为车辆的规划和控制提供实时的障碍物信息，近些年来备受工业界和研究界的关注。

立体空间目标检测主要是基于点云、双目、单目、4D毫米波等数据来获取三维空间中物体的位置和类别信息，其中，点云数据由于具有较为丰富的几何信息，相比于其它单模态数据更为稳定，基于激光雷达点云数据的立体空间目标检测算法得到越来越多的研究。目前基于雷达的立体空间目标检测方法主要是基于点和体素进行特征提取。基于点的特征提取方法可以使用精确的点坐标进行逐点特征学习，例如，F-PointNets将点云转换为2D检测的视锥体，以缩小点云中的搜索范围，并通过视锥体直接返回到三维边界框。PointR-CNN直接自下而上地处理原始点云，并根据三维框标注的分割生成三维提议区域。PointNet++在多个尺度上使用邻域来实现鲁棒性和细节捕获。它学习自适应地权衡在不同尺度上检测到的模式，并根据输入组合多尺度特征。基于体素的方法通过划分体素空间中的点来提取点的局部特征，例如，VoxelNet提出了一种有效的点云对象检测方法，该方法受益于稀疏点结构和体素网格上的同步处理。SECOND用稀疏卷积代替了VoxelNet中的三维卷积来提取特征图，并引入了角度损失回归方法和数据增强方案来提高性能。PointPillars除了将点云在三个方向上进行划分外，还利用点云在垂直柱状结构中的特点，进一步提出了流线型的下游网络。上述模型在点云数据检测中都有着不错的表现，但普遍在小物体检测上表现不佳，这里小物体既包括实际体积小的物体，也包括在远距离观测上表现小的物体，因此提升各个模型在小物体上的检测变得尤为重要。而非极大值抑制NMS(Non MaximumSuppression)作为上述模型共有的后处理模块，或是解决问题的关键。

长期以来，NMS在目标检测中受到了极大的关注。NMS通常用于筛选检测头中初步预测的边界框，从现有的工作中可以发现，NMS的IoU(Intersection over Union)阈值会严重影响检测性能，且由于点云的边界框比图像重叠更少，所以立体空间目标检测中的NMS的改进更为重要。传统的NMS模块为所有边界框设置同一IoU阈值，使得边界框的筛选略显粗糙。在点云数据中，NMS模块的IoU阈值常设为0.01，几乎等同于不考虑边界框的重叠。但实际上，行人这类小目标有着聚集性的特点，生成的边界框密度高，难免有重叠部分，应设置一定的IoU阈值。由此来看，如何利用边界框的数学特征进行分类并按类别设置IoU阈值非常值得研究。

发明内容

现有的立体空间目标检测模型都有着小物体检测不佳的问题，导致这个问题的一部分原因是现有的筛选检测头NMS筛选过于粗糙，本发明的目的在于克服上述现有技术缺陷，设计了一种在NMS中通过模糊分类改进立体空间目标检测的方法，旨在通过对边界框分类来设计更加精细的NMS筛选检测模块，以获得更好的立体空间目标检测效果。

为了实现上述目的，本发明提出了一种基于模糊分类的立体空间目标检测方法，所述方法包括：

步骤1)根据立体空间目标检测算法，对接收的激光雷达点云数据生成边界框，并计算每个边界框的置信度；

步骤2)选取置信度大于设定阈值的边界框，计算每个边界框的体积和密度；

步骤3)将每个边界框的体积和密度输入预先建立的模糊系统，通过IF-THEN模糊规则构建模糊规则库，实现模糊分类，得到包括大体积高密度LVHD、小体积高密度SVHD和低密度LD三种类别的边界框；

步骤4)为LVHD、SVHD和LD三种类别的边界框分别设置合适的IoU阈值，并分别输入NMS筛选检测模块，得到每个类别选定的边界框，从而得到目标检测结果。

作为上述方法的一种改进，所述步骤1)具体包括：

将接收的激光雷达点云数据导入立体空间目标检测算法，获取生成的边界框信息(x_i,y_i,z_i,dx_i,dy_i,dz_i)，以及边界框的置信度score，其中，(x_i,y_i,z_i)表示边界框i的中心点，i＝1,2,3....，dx_i,dy_i,dz_i分别为边界框i的长度、宽度和高度。

作为上述方法的一种改进，所述步骤2)的边界框体积满足下式：

dv_i＝dx_i×dy_i×dz_i

其中,dv_i表示边界框i的体积。

作为上述方法的一种改进，所述步骤2)的边界框密度的获取具体包括：

把边界框的中心坐标作为输入，通过DBSCAN聚类算法实现相邻边界框的聚合，聚成同一簇的边界框享有相同密度，根据下式得到聚类形成的第k个簇的密度D_k：

其中，N_k是第k个簇包含的边界框数，k＝1,2,…，N₀代表噪声点，max()表示最大值函数。

作为上述方法的一种改进，所述模糊系统的模糊集合合成运算采用极大-极小合成法，隶属度函数为三角隶属度函数，逆模糊化方法选择质心解模糊。

作为上述方法的一种改进，所述步骤3)具体包括：

将边界框的体积和密度这两个输入变量分为4个模糊集：ZE、PS、PM、PB，将输出变量分成3个模糊集：S、M、B，其中S、M和B分别代表低密度LD、小体积高密度SVHD和大体积高密度LVHD三个类别，根据实验获取的先验知识，通过IF-THEN模糊规则构建模糊规则库，把输入变量和输出变量相互联系，实现模糊分类。

一种基于模糊分类的立体空间目标检测系统，所述系统包括：边界框生成及置信度计算模块、边界框体积和密度计算模块、模糊分类模块和目标检测模块；其中，

所述边界框生成及置信度计算模块，用于根据立体空间目标检测算法，对接收的激光雷达点云数据生成边界框，并计算每个边界框的置信度；

所述边界框体积和密度计算模块，用于选取置信度大于设定阈值的边界框，计算每个边界框的体积和密度；

所述模糊分类模块，用于将每个边界框的体积和密度输入预先建立的模糊系统，通过IF-THEN模糊规则构建模糊规则库，实现模糊分类，得到包括大体积高密度LVHD、小体积高密度SVHD和低密度LD三种类别的边界框；

所述目标检测模块，用于为LVHD、SVHD和LD三种类别的边界框分别设置合适的IoU阈值，并分别输入NMS筛选检测模块，得到每个类别选定的边界框，从而得到目标检测结果。

一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

一种非易失性存储介质，用于存储计算机程序，所述计算机程序当被处理器执行时执行上述任一项所述的方法。

与现有技术相比，本发明的优势在于：

1、与现有技术相比，本发明使用模糊方法有效地利用边界框的数学特征对边界框分类，设计了更加精细的NMS筛选模块，提高了立体空间目标检测算法的准确性；

2、为了更好的体现边界框的密度特性，本发明设计了一种基于DBSCAN聚类的框密度表达，在常见的立体空间目标检测算法中做了验证，被验证可以有效地提升立体空间中检测小物体的精度，主要是针对行人这类小目标的检测。

附图说明

图1是本发明实施例1的基于模糊分类的立体空间目标检测方法流程图；

图2是采用本发明实施例2的基于模糊分类的立体空间目标检测系统(Fuzzy-NMS)的立体空间目标检测框架示意图；

图3是本发明的Mmdani模糊系统结构示意图。

具体实施方式

本发明提出一种基于模糊分类的立体空间目标检测方法及系统，可以有效的利用边界框的数学特征通过模糊分类方法对边界框分类，并按分类确定不同的IoU阈值，从而设计更加精细的NMS筛选模块，经过验证，该方法是有效的。

在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

一种基于模糊分类的立体空间目标检测方法，包括步骤：

步骤1、通过立体空间目标检测算法生成边界框，获取边界框的中心坐标(x,y,z)，边界框的长度、宽度和高度(dx,dy,dz)，以及每个边界框的置信度。

步骤2、初步生成的边界框数量众多，需要对其缩减。通过设置置信度阈值将一些置信度过低的边界框过滤，保留置信度较高的边界框。

步骤3、利用边界框的长度、宽度和高度，直接计算步骤2得到的每个边界框的体积。

步骤4、把边界框的中心坐标(x,y,z)当作输入，并通过DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)密度聚类方法实现相邻边界框的聚合，聚成同一簇的边界框享有相同密度。每个簇的密度等于每个簇的边界框数除以最大簇的边界框数，计算步骤2得到的每个边界框的密度。

步骤5、构建的Mamdani模糊系统，其中糊集合合成运算采用极大-极小合成法，属度函数选择三角型，模糊化方法选择质心解模糊，然后把步骤3、4得到的边界框体积、密度作为模糊系统输入。根据实验获取的先验知识，通过IF-THEN模糊规则构建模糊规则库，把边界框划分成大体积高密度LVHD(Large volume and high density)、小体积高密度SVHD(Small volume and high density)和低密度LD(Low density)三类。

步骤6、为步骤5划分的LVHD、SVHD和LD三类边界框分别设置合适的IoU阈值，并将其分别代入NMS筛选检测模块，每个类别选定的边界框即检测结果。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

如图1所示，本发明的实施例1提出了一种基于模糊分类的立体空间目标检测方法，包括步骤如下：

步骤1、采集自动驾驶场景下的激光雷达点云，并选择一个带有NMS筛选模块的立体空间目标检测算法。由于算法的验证要保证公开有效，所以在公开数据集KITTI上进行相关的实验。

步骤2、将点云数据导入立体空间目标检测算法，获取生成的边界框信息(x_i,y_i,z_i,dx_i,dy_i,dz_i)，以及边界框的置信度score，其中(x_i,y_i,z_i)为边界框i的中心点坐标，(dx_i,dy_i,dz_i)为边界框i的长度、宽度和高度。

步骤3、对边界框的体积和密度进行计算。

1)框体积的计算，其数学表达如下：

dv_i＝dx_i×dy_i×dz_i (1)

通过上式计算框体积，其中,i＝1,2,3....，dv_i表示第i个候选框的体积，dx_i表示第i个候选框的长，dy_i表示第i个候选框的宽，dz_i表示第i个候选框的高。

2)通过基于密度的DBSCAN聚类算法来获得边界框中心的聚类，DBSCAN算法将从邻域参数Eps和MinPts出发(Eps代表核心点搜索空间的领域半径，MinPts代表核心点搜索空间中样本个数的阈值。)，对每个点(核心点、边界点或噪声点)进行标记。在删除噪声点后，用一条边连接距离小于Eps的核心点，此时连接的核心点之间形成一个簇，最后再把边界点分派到核心点关联的半径范围内，完成聚类。经过DBSCAN聚类算法实现了相邻边界框聚类，为了更好的体现边界框的密度特性，设计了一种基于DBSCAN聚类结果的框密度表达式。

其中，k表示聚类形成的第k个簇，D_k是第k个簇的密度表达，N_k是第k个簇包含的边界框数，需要特别说明的是N₀代表噪声点，通常噪声点是稀疏的。通过上式，将边界框在空间中密度分布情况标准化到0到1之间，以方便后续计算。

步骤4、把边界框的体积和密度作为输入，创建Mamdani模糊系统，其结构示意图如图3。需要说明的是，Mamdani模糊系统的搭建、测试的硬件和软件平台为Ubuntu16.04+MatlabR2021a+python3.7+scikit-fuzzy0.4.2。

1)模糊系统中模糊集合合成运算采用极大-极小合成法。

这里∨代表取小(min)，∧代表取大(max)，B、A、R代表输入与输出的模糊集，而μ_B(y)、μ_A(x)和μ_R(x,y)分别代表模糊集B、A、R上的隶属值。

2)模糊系统的逆模糊化方法选择质心解模糊。

其中，ν_O代表隶属度函数曲线与横坐标围成面积的重心，μ_ν(v)代表隶属度函数曲线。

3)模糊系统选择的隶属度函数为三角隶属度函数。

其中，参数a和c决定了三角形的“脚”，参数b决定了三角形的“峰”。

4)确定模糊系统的基本属性以后，将边界框的体积和密度这两个输入变量分为4个模糊集：ZE、PS、PM、PB，将输出变量分成3个模糊集：S、M、B，其中S、M、B分别代表低密度(LD)、小体积高密度(SVHD)和高体积高密度(LVHD)三类。并根据实验获取的先验知识，通过IF-THEN模糊规则构建模糊规则库，把输入变量和输出变量相互联系，以建立模糊分类系统。

步骤5、把模糊分类融于传统的NMS模块构成Fuzzy-NMS模块，该模块将边界框划分的LVHD、SVHD和LD三类，并分别为每一类设置合适的IoU阈值，实现边界框精细筛选。

实施例2

本发明的实施例2提出了一种基于模糊分类的立体空间目标检测系统，所述系统包括：边界框生成及置信度计算模块、边界框体积和密度计算模块、模糊分类模块和目标检测模块；其中，

所述边界框生成及置信度计算模块，用于根据立体空间目标检测算法，对接收的激光雷达点云数据生成边界框，并计算每个边界框的置信度；

所述边界框体积和密度计算模块，用于选取置信度大于设定阈值的边界框，计算每个边界框的体积和密度；

所述模糊分类模块，用于将每个边界框的体积和密度输入预先建立的模糊系统，通过IF-THEN模糊规则构建模糊规则库，实现模糊分类，得到包括大体积高密度LVHD、小体积高密度SVHD和低密度LD三种类别的边界框；

所述目标检测模块，用于为LVHD、SVHD和LD三种类别的边界框分别设置合适的IoU阈值，并分别输入NMS筛选检测模块，得到每个类别选定的边界框，从而得到目标检测结果。

如图2，将本系统即Fuzzy-NMS模块替换掉立体空间目标检测框架中的传统NMS模块，然后把点云数据作为三维目标检测算法的输入，可以验证Fuzzy-NMS模块的有效性。

实施例3

本发明的实施例3还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。

在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：

执行实施例1的方法的步骤。

实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

实施例4

本发明实施例4提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现实施例1中方法的各个步骤。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于模糊分类的立体空间目标检测方法，所述方法包括：

步骤1)根据立体空间目标检测算法，对接收的激光雷达点云数据生成边界框，并计算每个边界框的置信度；

步骤2)选取置信度大于设定阈值的边界框，计算每个边界框的体积和密度；

步骤3)将每个边界框的体积和密度输入预先建立的模糊系统，通过IF-THEN模糊规则构建模糊规则库，实现模糊分类，得到包括大体积高密度LVHD、小体积高密度SVHD和低密度LD三种类别的边界框；

步骤4)为LVHD、SVHD和LD三种类别的边界框分别设置合适的IoU阈值，并分别输入NMS筛选检测模块，得到每个类别选定的边界框，从而得到目标检测结果；

所述步骤2)的边界框密度的获取具体包括：

把边界框的中心坐标作为输入，通过DBSCAN聚类算法实现相邻边界框的聚合，聚成同一簇的边界框享有相同密度，根据下式得到聚类形成的第k个簇的密度D_k：

其中，N_k是第k个簇包含的边界框数，k＝1,2,…，N₀代表噪声点，max()表示最大值函数。

2.根据权利要求1所述的基于模糊分类的立体空间目标检测方法，其特征在于，所述步骤1)具体包括：

将接收的激光雷达点云数据导入立体空间目标检测算法，获取生成的边界框信息(x_i,y_i,z_i,dx_i,dy_i,dz_i)，以及边界框的置信度score，其中，(x_i,y_i,z_i)表示边界框i的中心点，i＝1,2,3...，dx_i,dy_i,dz_i分别为边界框i的长度、宽度和高度。

3.根据权利要求2所述的基于模糊分类的立体空间目标检测方法，其特征在于，所述步骤2)的边界框体积满足下式：

dv_i＝dx_i×dy_i×dz_i

其中,dv_i表示边界框i的体积。

4.根据权利要求1所述的基于模糊分类的立体空间目标检测方法，其特征在于，所述模糊系统的模糊集合合成运算采用极大-极小合成法，隶属度函数为三角隶属度函数，逆模糊化方法选择质心解模糊。

5.根据权利要求4所述的基于模糊分类的立体空间目标检测方法，其特征在于，所述步骤3)具体包括：

将边界框的体积和密度这两个输入变量分为4个模糊集：ZE、PS、PM、PB，将输出变量分成3个模糊集：S、M、B，其中S、M和B分别代表低密度LD、小体积高密度SVHD和大体积高密度LVHD三个类别，根据实验获取的先验知识，通过IF-THEN模糊规则构建模糊规则库，把输入变量和输出变量相互联系，实现模糊分类。

6.一种基于模糊分类的立体空间目标检测系统，其特征在于，所述系统包括：边界框生成及置信度计算模块、边界框体积和密度计算模块、模糊分类模块和目标检测模块；其中，

所述边界框生成及置信度计算模块，用于根据立体空间目标检测算法，对接收的激光雷达点云数据生成边界框，并计算每个边界框的置信度；

所述边界框体积和密度计算模块，用于选取置信度大于设定阈值的边界框，计算每个边界框的体积和密度；

所述模糊分类模块，用于将每个边界框的体积和密度输入预先建立的模糊系统，通过IF-THEN模糊规则构建模糊规则库，实现模糊分类，得到包括大体积高密度LVHD、小体积高密度SVHD和低密度LD三种类别的边界框；

所述目标检测模块，用于为LVHD、SVHD和LD三种类别的边界框分别设置合适的IoU阈值，并分别输入NMS筛选检测模块，得到每个类别选定的边界框，从而得到目标检测结果；

所述边界框体积和密度计算模块中边界框密度的获取具体包括：

把边界框的中心坐标作为输入，通过DBSCAN聚类算法实现相邻边界框的聚合，聚成同一簇的边界框享有相同密度，根据下式得到聚类形成的第k个簇的密度D_k：

其中，N_k是第k个簇包含的边界框数，k＝1,2,…，N₀代表噪声点，max()表示最大值函数。

7.一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。

8.一种非易失性存储介质，用于存储计算机程序，所述计算机程序当被处理器执行时执行权利要求1至5中任一项所述的方法。

Images