CN115641462A - 一种雷达图像目标识别方法 - Google Patents

Abstract

本发明属于雷达目标识别领域，具体提供一种雷达图像目标识别方法，用以提高目标识别的精度和效率。本发明首先计算点云数据中每个点数据的法向量，再将法向量映射至三维坐标系中得到对应法向点，并对所有法向点进行聚类，得到多个聚类簇；然后计算每个聚类簇的法向一致性与法向变化连续性，并根据法向一致性与法向变化连续性对聚类簇所在体素格的边长进行自适应调节；最后对点云数据进行自适应体素滤波，将滤波后的点云数据输入到神经网络中，由神经网络输出车辆目标的3D包围框，根据3D包围框对雷达图像中的车辆目标进行识别。本发明在减少点云数据中数据量的同时保留目标物体的细节信息，有效提高目标识别的精度和效率。

Description

一种雷达图像目标识别方法

技术领域

本发明属于雷达目标识别领域，具体提供一种雷达图像目标识别方法。

背景技术

随着汽车雷达的工作环境越来越复杂，道路、行人识别能力的要求也越来越高，汽车雷达必须具备高精度区分感兴趣目标的能力，并根据点云的分割结果实现雷达图像目标识别。激光雷达主动发射激光束，通过测量光线打到物体或表面后反射回来所需要的时间，计算激光雷达到目标点的距离，这个行为快速重复过程中会获取数百万个数据点，根据这些数据点构建出空间表面的复杂“地图”，即得到雷达图像，也称为点云；点云实际上就是一堆点数据的集合，每个点数据都包含三维坐标信息。

由于汽车雷达需要不断地进行快速扫描，每次扫描都会产生大量的数据点，为了降低数据量，提高对目标的识别效率，往往需要对获得的点云数据进行滤波；其中，体素滤波是较为常用的一种滤波方法，可以实现向下采样且基本不破坏点云本身几何结构的功能，同时可以去除一定程度的噪音点及离群点，但是会移动点的位置。

体素滤波的原理是：首先计算一个能够刚好包裹住点云数据的大立方体，然后将该大立方体分割成不同的小立方体，并采用每个小立方体的质心坐标来近似该立方体内的若干点。传统的体素格滤波中，由于点云数据的数据量很大，且体素格的大小为人为设定，导致其对整个点云数据的各个位置上的处理是相同的；但在实际环境中，目标物体往往包含更多的细节信息，体素格过大会导致目标物体细节丢失，影响目标识别的精度；体素格过小会导致点云数据中数据量仍然较大，在将滤波后点云数据输入神经网络确定包围框时，影响目标识别的效率。

发明内容

本发明的目的在于提供一种雷达图像目标识别方法，用以提高目标识别的精度和效率；本发明首先计算点云数据中每个点数据的法向量，再将法向量映射至三维坐标系中得到对应法向点，并对所有法向点进行聚类，得到多个聚类簇；然后计算每个聚类簇的法向一致性与法向变化连续性，并根据法向一致性与法向变化连续性对聚类簇所在体素格的边长进行自适应调节；最后对点云数据进行自适应体素滤波，将滤波后的点云数据输入到神经网络中，由神经网络输出车辆目标的3D包围框，根据3D包围框对雷达图像中的车辆目标进行识别。本发明在自适应体素滤波过程中，对包含道路、树木等背景区域按照初始体素格进行滤波，对包含车辆的目标区域进行体素格自适应调节，根据调节后的自适应体素格进行滤波，最终在减少点云数据中数据量的同时保留目标物体的细节信息，有效提高目标识别的精度和效率。

为实现上述目的，本发明采用的技术方案为：

一种雷达图像目标识别方法，包括以下步骤：

步骤1、获取汽车雷达图像，并获取汽车雷达图像中行进方向上的点云数据；计算点云数据中每个点数据的法向量，并设置体素格的初始边长对点云数据进行划分，得到初始体素格；

步骤2、将点云数据中每个点数据的法向量映射至三维坐标系中得到对应法向点，并对所有法向点进行聚类，得到多个聚类簇；

步骤3、计算每个聚类簇的法向一致性；

步骤4、计算每个聚类簇的法向变化连续性；

步骤5、针对每个聚类簇，根据聚类簇的法向一致性与法向变化连续性，对聚类簇所在体素格的边长进行自适应调节；

步骤6、根据每个聚类簇所在体素格的自适应边长对点云数据进行自适应体素滤波，得到滤波后的点云数据；

步骤7、将滤波后的点云数据输入到神经网络中，由神经网络输出车辆目标的3D包围框，根据3D包围框对雷达图像中的车辆目标进行识别。

进一步的，步骤1中，体素格的初始边长设置为最大尺寸。

进一步的，步骤1中，计算点云数据中每个点数据的法向量的具体过程为：对于任一点数据，使用kd-tree搜索该点数据在K维空间中最邻近的A个邻近点，对A个邻近点进行主成分分析，得到K个方向上的特征值，将其中最小的特征值对应的特征向量作为该点数据的法向量。

进一步的，步骤3中，具体过程为：对于任一聚类簇，计算聚类簇中所有法向点两两之间的欧式距离，进而计算得到欧式距离的方差，作为聚类簇的类内方差；对类内方差的相反数进行归一化处理，得到聚类簇的法向一致性。

进一步的，步骤4中，具体过程为：对于任一聚类簇，获取聚类簇中每个法向点分别投影在x轴、y轴和z轴方向上的坐标值，并提取聚类簇中所有法向点分别投影在x轴、y轴和z轴方向上的最大坐标值和最小坐标值，将得到x轴、y轴和z轴方向上的最大坐标值与最小坐标值的差值分别作为聚类簇在x轴、y轴和z轴方向上的分布范围；

进而分别计算聚类簇在x轴、y轴和z轴方向上的变化连续性：

，

，

，

其中，ΔX _j 、ΔY _j 、ΔZ _j 分别表示第j个聚类簇在x轴、y轴、z轴方向上的分布范围，g _xj 、g _yj 、g _zj 分别表示第j个聚类簇在x轴、y轴和z轴方向上的变化连续性，α _xr 、α _yr 、α _zr 分别表示为第j个聚类簇中法向量点投影到x轴、y轴和z轴上第r次连续坐标值为0的区域与上一次连续坐标值为0的区域的距离，r表示连续坐标值为0的区域的序号，n _x 、n _y 、n _z 分别表示x轴、y轴、z轴方向上连续坐标值为0的区域的总数；

最后计算聚类簇的法向变化连续性：

，

其中，G _j 表示第j个聚类簇的法向变化连续程度。

进一步的，步骤5中，具体过程为：设置法向一致性阈值δ与法向变化连续性阈值ε；对于任一聚类簇：当Z _j ≥δ时，聚类簇所在体素格的边长进行自适应调节得到自适应边长；当Z _j <δ且G _j <ε时，聚类簇所在体素格的边长作为自适应边长；当Z _j <δ且G _j ≥ε时，聚类簇所在体素格的边长进行自适应调节得到自适应边长，Z _j 为第j个聚类簇的法向一致性，G _j 为第j个聚类簇的法向变化连续程度。

更进一步的，步骤5中，自适应调节的具体过程为：计算体素格的边长的调节系数：

，

其中，ΔL _j 为第j个聚类簇所在体素格的边长的调节系数；

再根据调节系数计算体素格的自适应边长：

，

其中，L _j 为第j个聚类簇所在体素格的自适应边长，L ₀为体素格的初始边长。

进一步的，步骤6中，自适应体素滤波的具体过程为：对于边长进行自适应调节的体素格，在初始体素格内部进行重新划分，其他初始体素格保持不变；再利用自适应调节后体素格对点云数据进行滤波处理。

进一步的，步骤7中，采用PointRCNN神经网络。

基于上述技术方案，本发明的有益效果在于：

本发明提供一种雷达图像目标识别方法，包括获取汽车雷达图像，并获取汽车雷达图像中行进方向上的点云数据；计算点云数据中每个点数据的法向量，并设置体素格的初始边长对点云数据进行划分，得到初始体素格；将点云数据中每个点数据的法向量映射至三维坐标系中得到对应法向点，并对所有法向点进行聚类，得到多个聚类簇；根据聚类簇的法向一致性与法向变化连续性，对聚类簇所在体素格的边长进行自适应调节；根据调整后的体素格的边长对聚类簇中的点云数据进行自适应体素滤波，得到滤波后的点云数据；在实际滤波中对不同类型的区域进行不同程度的滤波，以实现尽量多得保留目标区域（如车辆的点数据），并尽量少得保留背景区域的点数据，从而有效降低雷达图像中点云数据量，再将其输入到神经网络中，由神经网络输出车辆目标的3D包围框，根据3D包围框对雷达图像中的车辆目标进行识别，保证对雷达图像中目标识别的准确性。

附图说明

图1为本发明提供的雷达图像目标识别方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案与有益效果更加清楚明白，下面结合附图和实施例对本发明做进一步详细说明。

本实施例提供一种雷达图像目标识别方法，其流程如图1所示，具体包括以下步骤：

步骤1、获取汽车雷达图像，并获取汽车雷达图像中行进方向上的点云数据；计算点云数据中每个点数据的法向量，并设置体素格的初始边长对点云数据进行划分，得到初始体素格；

在对雷达图像进行体素滤波时，最基础的就是设置体素格的大小，因此，本发明需要设置一个初始边长来得到最开始的初始体素格；体素格的边长一般设置为20cm、10cm、5cm、2cm，为了尽可能多的对点云数据进行降采样，设置体素格初始边长为最大尺寸，即本实施例设置的体素格的初始边长L ₀=20cm，则一个体素格的大小为20cm×20cm×20cm，由此得到多个初始体素格；

计算点数据的法向量的具体过程为：对于任一点数据，使用kd-tree搜索该点数据在K维空间中最邻近的A个邻近点；本实施例中邻近点设置为10个，实施者可根据实际情况自行设置；对这些邻近点的坐标进行PCA（主成分分析方法）分析，由于激光雷达扫描的点数据为三维数据，本实施例中kd-tree的搜索维度为3，PCA分析得到三个方向上的特征值；将PCA分析得到的三个特征值中最小特征值所对应的特征向量作为该点数据的法向量；以此类推，得到每个点数据的法向量。

步骤2、获取点云数据的法向点，并对法向点进行聚类，得到多个聚类簇；

汽车激光雷达扫描的点云数据中包含车辆等目标区域，也包含道路等背景区域；由于道路多为平面结构，包含的细节信息较少，但是该区域中又往往包含较多的点数据，这些道路区域中的点数据并不会对雷达图像中目标的识别提供帮助，只会增加点云数据的计算量；而车辆等目标区域在整个点云数据中的占比较小，其相对于道路存在更多的变化，也就是包含较多的细节信息，因此，本发明期望在对点云数据进行滤波时，能够对平面数据进行较大程度的滤波，对于包含较多细节信息的目标区域进行较小程度的滤波；为实现该期望，本发明需要获取点云数据中每个点数据的法向量，进而得到法向点，根据对法向点的分布信息自适应调节体素格的边长；

获取点云数据中每个点数据的法向量，将各个法向量映射到三维坐标系（新的坐标系）中，该坐标系中包含x轴、y轴与z轴，此时每个法向量均对应三维坐标系中的一个法向点，使用DBSCAN算法对三维坐标系中的所有法向点的坐标进行聚类，得到M个聚类簇，每个聚类簇均对应一组连续分布的法向点；

通过上述处理，本发明可以将体素格中不同的平面和曲面区分开来，以便对单个面依次进行处理，防止不同面之间的相互干扰。

步骤3、计算每个聚类簇的法向一致性；

由于平面结构中各个点数据的法向量方向基本一致，即点数据之间的法向量差异越小，这些点数据呈现为平面结构的可能性越高；因此，计算每个聚类簇的法向一致性，具体过程为：对于任一聚类簇，根据聚类簇中每个法向点的坐标计算所有法向点两两之间的欧式距离，进而计算得到欧式距离的方差，并将其作为聚类簇的类内方差，对类内方差的相反数进行归一化处理，将归一化处理的结果作为聚类簇的法向一致性，得到聚类簇的法向一致性；计算公式为：

，

其中，Z _j 表示第j个聚类簇的法向一致性，S _j 表示第j个聚类簇的类内方差，exp( )表示用于实现归一化的归一化函数，j=1,2,...,M。

步骤4、计算每个聚类簇的法向变化连续性；

然而，并非所有包含较多细节信息的区域都需要进行较小程度的滤波，实际道路场景仍然存在一些目标识别过程中不需要关注的点，如道路两侧树木的树叶，这些点也包含较多的细节信息，但是不会对目标识别提供帮助，反而会干扰目标识别；而车辆等目标区域与树叶等区域的区别在于：车辆目标区域具有局部平面性，也就是说，在局部区域内表现为平面特征或者变化较为平缓的曲面特征，此类区域中虽然点数据的法向量之间差异较大，但是法向量之间的差异变化较为平缓，即法向量之间变化的连续性较强；因此，需要计算每个聚类簇的法向变化连续程度，用来作为调整体素格的边长的指标之一；

由于车辆等目标物体的外壳曲面变化是连续的，对应其法向量之间的变化也是连续的，则各个法向量所对应的法向点的变化也是连续的，也就是说法向点之间的变化存在一个过渡现象，不会出现突变的情况，对应法向点在各个坐标轴的方向上的变化也是连续的；而树叶较小，其点数据之间的法向量的变化并不连续；因此，本实施例根据每个聚类簇在各个方向上法向点坐标变化的连续性对树叶区域与车辆曲面区域进行区分，从而保证识别结果的准确性；

对于任一聚类簇，获取聚类簇中每个法向点分别投影在x轴、y轴和z轴方向上的坐标值；提取聚类簇中所有法向点分别投影在x轴、y轴和z轴方向上的最大坐标值和最小坐标值，将得到x轴、y轴和z轴方向上的最大坐标值与最小坐标值的差值作为聚类簇分别在x轴、y轴和z轴方向上的分布范围：

，

其中，ΔX _j 为聚类簇在x轴方向上的分布范围，x _max、x _min分别表示聚类簇中所有法向点投影在x轴方向上的最大坐标值、最小坐标值；ΔY _j 为聚类簇在y轴方向上的分布范围，y _max、y _min分别表示聚类簇中所有法向点投影在y轴方向上的最大坐标值、最小坐标值；ΔZ _j 为聚类簇在z轴方向上的分布范围，z _max、z _min分别表示聚类簇中所有法向点投影在z轴方向上的最大坐标值、最小坐标值；

分别计算聚类簇在x轴、y轴和z轴方向上的变化连续性：

，

，

，

其中，ΔX _j 、ΔY _j 、ΔZ _j 分别表示第j个聚类簇在x轴、y轴、z轴方向上的分布范围，g _xj 、g _yj 、g _zj 分别表示第j个聚类簇在x轴、y轴和z轴方向上的变化连续性，α _xr 、α _yr 、α _zr 分别表示为第j个聚类簇中法向量点投影到x轴、y轴和z轴上第r次连续坐标值为0的区域与上一次连续坐标值为0的区域的距离，r表示连续坐标值为0的区域的序号，n _x 、n _y 、n _z 分别表示x轴、y轴、z轴方向上连续坐标值为0的区域的总数；

根据聚类簇在各个方向上的分布范围与变化连续性，计算得到聚类簇的法向变化连续性：

，

其中，G _j 表示第j个聚类簇的法向变化连续程度；

在上述过程中，由于x轴、y轴和z轴三个方向上的法向点的分布情况存在差异，分布范围越广表示法向量方向变化越大，而法向量与物体表面是垂直的，对应表示物体表面变化也越大，如果该方向上法向变化并不连续，则该聚类簇为树叶形成点数据的概率越大；因此，本发明将各个方向上的分布范围与三个方向上分布范围之和的比值作为各个方向的参考权重，即分布范围越大的方向参考权重越大，分布范围越小的方向参考权重越小，如x轴方向上的分布范围的参考权重为

；最终将三个方向上的变化连续性进行加权得到聚类簇的法向变化连续程度。

步骤5、针对每个聚类簇，根据聚类簇的法向一致性与法向变化连续性，对聚类簇所在体素格的边长进行自适应调节；

设置法向一致性阈值δ与法向变化连续性阈值ε，法向一致性阈值δ与法向变化连续性阈值ε均为预设经验阈值，本实施例提供示例值：δ=0.5、ε=0.6；

对于任一聚类簇：当Z _j ≥δ时，认为该聚类簇中法向一致性较高，对应为平面区域的概率较大，此时法向变化连续性越小表示该平面区域越平整，对体素格的边长调节幅度越小；当Z _j <δ且G _j <ε时，认为该聚类簇中不存在明显的结构特征，对应为道路两侧的树叶区域的概率较大，聚类簇所在体素格的边长作为自适应边长；当Z _j <δ且G _j ≥ε时，认为该聚类簇对应目标物体的曲面区域，且变化连续性越大，说明曲面的弯曲程度越大，进而对体素格的边长调节幅度越大；Z _j 为第j个聚类簇的法向一致性，G _j 为第j个聚类簇的法向变化连续程度；

基于此，首先计算体素格的边长的调节系数：

，

其中，ΔL _j 为第j个聚类簇所在体素格的边长的调节系数；

再根据调节系数计算体素格的边长：

，

其中，L _j 为第j个聚类簇所在体素格的自适应边长。

步骤6、对点云数据进行滤波处理；

根据每个聚类簇所在体素格的自适应边长对点云数据进行自适应体素滤波，得到滤波后的点云数据；自适应体素滤波过程中，对于边长进行自适应调节的体素格，在初始体素格内部进行重新分割，不会干扰其他初始体素格；

在上述自适应体素滤波过程中，当某一个聚类簇的法向一致性和法向变化连续程度同时小于设定的阈值时，该聚类簇中对应的体素格中不存在结构特性，为不需要关注的点数据，如道路两旁树木的树叶区域，此类区域中即使细节丢失也不会对目标识别造成影响，因此对其使用初始体素格进行滤波；当某一个聚类簇的法向一致性大于设定的阈值时，该聚类簇中对应点为多平面结构，此时需要对初始体素格进行分割，从而对不同的平面进行滤波；当某一个聚类簇的法向一致性小于设定的阈值，且法向变化连续程度大于设定的阈值时，该聚类簇对应体素格中为曲面结构，根据曲面的弯曲程度，也就是法向量之间的差异程度对体素格进行不同程度的分割，从而在自适应体素滤波过程中尽可能保留细节信息。

步骤7、对点云数据进行目标识别；

将滤波后的点云数据输入到PointRCNN神经网络中，输出车辆目标的3D包围框，从而实现对车辆目标的雷达图像目标识别；

本实施例采用PointRCNN神经网络，使用激光雷达采集的包含车辆的点云数据集作为训练集，对PointRCNN神经网络进行训练，采用训练好的PointRCNN神经网络对滤波后的点云数据进行目标识别；

上述PointRCNN神经网络分为两个阶段，第一阶段是基于PointNet++网络对点云数据进行特征提取，从而获取点云数据中的前景点，本发明中即为车辆目标所对应的点，得到3D包围框；第二阶段是对3D包围框进行细化，即对3D包围框做旋转平移，然后通过点云池化等操作得到每个3D包围框的特征，再结合第一阶段得到的特征，进行感兴趣区域的修正和置信度的打分，从而得到最终的3D包围框；PointRCNN神经网络的训练过程为公知技术，此处不做赘述。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (9)

1.一种雷达图像目标识别方法，其特征在于，包括以下步骤：

步骤1、获取汽车雷达图像，并获取汽车雷达图像中行进方向上的点云数据；计算点云数据中每个点数据的法向量，并设置体素格的初始边长对点云数据进行划分，得到初始体素格；

步骤2、将点云数据中每个点数据的法向量映射至三维坐标系中得到对应法向点，并对所有法向点进行聚类，得到多个聚类簇；

步骤3、计算每个聚类簇的法向一致性；

步骤4、计算每个聚类簇的法向变化连续性；

步骤5、针对每个聚类簇，根据聚类簇的法向一致性与法向变化连续性，对聚类簇所在体素格的边长进行自适应调节；

步骤6、根据每个聚类簇所在体素格的自适应边长对点云数据进行自适应体素滤波，得到滤波后的点云数据；

步骤7、将滤波后的点云数据输入到神经网络中，由神经网络输出车辆目标的3D包围框，根据3D包围框对雷达图像中的车辆目标进行识别。

2.根据权利要求1所述雷达图像目标识别方法，其特征在于，步骤1中，体素格的初始边长设置为最大尺寸。

3.根据权利要求1所述雷达图像目标识别方法，其特征在于，步骤1中，计算点云数据中每个点数据的法向量的具体过程为：对于任一点数据，使用kd-tree搜索该点数据在K维空间中最邻近的A个邻近点，对A个邻近点进行主成分分析，得到K个方向上的特征值，将其中最小的特征值对应的特征向量作为该点数据的法向量。

4.根据权利要求1所述雷达图像目标识别方法，其特征在于，步骤3中，具体过程为：对于任一聚类簇，计算聚类簇中所有法向点两两之间的欧式距离，进而计算得到欧式距离的方差，作为聚类簇的类内方差；对类内方差的相反数进行归一化处理，得到聚类簇的法向一致性。

5.根据权利要求1所述雷达图像目标识别方法，其特征在于，步骤4中，具体过程为：对于任一聚类簇，获取聚类簇中每个法向点分别投影在x轴、y轴和z轴方向上的坐标值，并提取聚类簇中所有法向点分别投影在x轴、y轴和z轴方向上的最大坐标值和最小坐标值，将得到x轴、y轴和z轴方向上的最大坐标值与最小坐标值的差值分别作为聚类簇在x轴、y轴和z轴方向上的分布范围；

进而分别计算聚类簇在x轴、y轴和z轴方向上的变化连续性：

，

，

，

其中，ΔX _j 、ΔY _j 、ΔZ _j 分别表示第j个聚类簇在x轴、y轴、z轴方向上的分布范围，g _xj 、g _yj 、g _zj 分别表示第j个聚类簇在x轴、y轴和z轴方向上的变化连续性，α _xr 、α _yr 、α _zr 分别表示为第j个聚类簇中法向量点投影到x轴、y轴和z轴上第r次连续坐标值为0的区域与上一次连续坐标值为0的区域的距离，r表示连续坐标值为0的区域的序号，n _x 、n _y 、n _z 分别表示x轴、y轴、z轴方向上连续坐标值为0的区域的总数；

最后计算聚类簇的法向变化连续性：

，

其中，G _j 表示第j个聚类簇的法向变化连续程度。

6.根据权利要求1所述雷达图像目标识别方法，其特征在于，步骤5中，具体过程为：设置法向一致性阈值δ与法向变化连续性阈值ε；对于任一聚类簇：当Z _j ≥δ时，聚类簇所在体素格的边长进行自适应调节得到自适应边长；当Z _j <δ且G _j <ε时，聚类簇所在体素格的边长作为自适应边长；当Z _j <δ且G _j ≥ε时，聚类簇所在体素格的边长进行自适应调节得到自适应边长，Z _j 为第j个聚类簇的法向一致性，G _j 为第j个聚类簇的法向变化连续程度。

7.根据权利要求6所述雷达图像目标识别方法，其特征在于，步骤5中，自适应调节的具体过程为：计算体素格的边长的调节系数：

，

其中，ΔL _j 为第j个聚类簇所在体素格的边长的调节系数；

再根据调节系数计算体素格的自适应边长：

，

其中，L _j 为第j个聚类簇所在体素格的自适应边长，L ₀为体素格的初始边长。

8.根据权利要求1所述雷达图像目标识别方法，其特征在于，步骤6中，自适应体素滤波的具体过程为：对于边长进行自适应调节的体素格，在初始体素格内部进行重新划分，其他初始体素格保持不变；再利用自适应调节后体素格对点云数据进行滤波处理。

9.根据权利要求1所述雷达图像目标识别方法，其特征在于，步骤7中，采用PointRCNN神经网络。

Images