CN110210389A - 一种面向道路交通场景的多目标识别跟踪方法 - Google Patents

Abstract

本发明公开了一种面向道路交通场景的多目标识别跟踪方法。该方法结合道路交通现场环境及障碍物特点，通过激光雷达检测道路现场周围的动态障碍物，步骤如下：首先对激光雷达数据进行预处理，将其转换成一幅二值图像，其次运用背景差法提取动态障碍物并进行聚类分析，进而运用PointCNN算法进行分类识别并通过迭代最邻近算法获取障碍物的位姿变换，最后针对障碍物分类分别使用UKF进行跟踪。本发明提出的多目标识别跟踪方法具有良好的实时性、识别精度和跟踪精度，能够有效地实现对道路交通场景的安全监控。

Description

一种面向道路交通场景的多目标识别跟踪方法

技术领域

本发明涉及道路交通安全领域，特别是涉及一种面向道路交通场景的多目标识别跟踪方法。

背景技术

随着经济社会的发展，道路交通安全问题日益突出。在道路交通事故及其救援过程中的二次事故中，由视野盲区导致的案件比例很大，严重危害了公众的生命财产安全。针对交通事故防范问题，可以通过布置路侧感知单元(如，三维激光雷达)，对道路情况实时监控，预防交通事故的发生，如图2所示；针对道路救援场景，可以利用车载感知单元(如，三维激光雷达)，对道路救援场景进行安全监控，从而降低二次事故发生的可能，如图3所示。

目前针对以上两种场景的环境监控技术尚不成熟，但是在其相近领域已有相关研究成果，如智能车领域的自车周边环境监控，其利用激光雷达进行环境监控的主要流程为：首先利用基于欧式距离和密度的聚类方法提取障碍物目标，其次对分割得到的点云进行特征提取，进而使用提取出来的特征训练分类器进行分类，最后计算其形心作为该障碍物的中心并使用状态转移的方法对障碍物进行跟踪。但是，此类传统方法存在以下问题：传统的基于手动提取特征对目标识别分类的方法仅从曲率、法向量等有限角度提取特征，无法完全利用三维点云的全部信息，且这些特征仅对某些特定的变换存在不变性，泛化能力差，难以准确获取障碍物的类别；由遮挡等引起的障碍物点云缺失，使得聚类形心无法准确替代障碍物形心，从而导致跟踪精度降低。因此该方法无法适用于上述两种道路交通场景。

发明内容

为解决上述存在的问题，本发明提供一种面向道路交通场景的多目标识别跟踪方法，首先进行激光雷达数据预处理，将其转换成一幅二值图像，其次运用背景差法提取动态障碍物并运用PointCNN算法将其分类为机动车、自行车和行人三类，进而通过迭代最邻近算法获取障碍物在相邻帧间的位姿变换，最后针对障碍物类别分别使用UKF进行跟踪，实现对道路交通场景的安全监控。该方法无需人为提取点云特征，利用深度神经网络的端到端检测算法可以极大地提高目标检测分类的精度；当障碍物点云部分缺失时，利用迭代最邻近算法直接处理两帧间的聚类点云，可以避免由聚类形心代替目标形心所产生的误差，提高跟踪的精度。

为了达到上述目的，本发明提供如下技术方案：

一种面向道路交通场景的多目标识别跟踪方法，包括如下步骤：

步骤(一)激光雷达数据预处理：

激光雷达水平安装于路侧或救援车左侧车身中部，其数据点坐标系OXYZ，以雷达中心为原点，道路前进方向为OX轴，OZ轴为垂直于OX轴朝上方向，OY轴通过右手定则定义，监控角度为从OX轴起逆时针180°范围；

对深度范围(0,Y_thr)、宽度范围(-X_thr,X_thr)内的目标区域构建二维栅格平面，栅格大小为D×D，则目标区域栅格化生成的栅格个数Y_thr根据道路宽度选定，通常为5m～15m，X_thr根据雷达分辨率选定，通常为20m～60m；

确定栅格边长方法如下：首先要计算雷达水平分辨率D_r，水平分辨率是指雷达探测范围内相邻激光线之间的最大弧长，可得雷达水平分辨率D_r在极坐标系下的计算公式：D_r＝Δangle·d·π/180，其中Δangle为雷达相邻两条激光线之间的夹角，d为雷达最大探测距离；只有当栅格边长不小于雷达水平分辨率时才能有效避免栅格虚设，所以取栅格边长D＝2D_r；

接下来，将栅格划分为障碍物栅格和非障碍物栅格，划分依据为：

(Num_k>n)&(Z_k_max>m) 语句1

其中，Num_k为第k个栅格中数据点的个数，Z_k_max为第k个栅格中所有数据点间的最大高度差，计算这一参数是为了避免斜坡的影响，k＝1,2,…,N；n、m为设定阈值；满足语句1的栅格为障碍物栅格，将其栅格属性标记为1，否则为非障碍物栅格，标记为0；至此，三维激光雷达数据转换为一幅二值栅格图像I(u,v)，每个栅格对应于栅格图像中的一个像素点，每个栅格的属性相当于栅格图像中点(u,v)处的像素值，栅格的行号u＝1,2,…,u_max，栅格的列号v＝1,2,…,v_max，且u_max·v_max＝N；

步骤(二)利用背景差法提取动态障碍物栅格并进行聚类分析：

利用背景差法，比较前后帧障碍物栅格的位置属性关系，提取动态障碍物栅格，具体做法如下：

选取一帧数据作为背景帧，之后每T_B秒选取新的一帧数据作为新的背景帧；判断数据帧中的障碍物栅格是否为动态障碍物栅格的依据为：

(I_B(u_m,v_w)＝0)&(I(u_m,v_w)＝1) 语句2其中，I_B(u_m,v_w)是背景帧中栅格(u_m,v_w)的属性，I(u_m,v_w)是数据帧中栅格(u_m,v_w)的属性，u_m＝1,2,…,u_max,v_w＝1,2,…,v_max；满足语句2的障碍物栅格即为动态障碍物栅格；提取出动态障碍物栅格后，对这些栅格进行聚类，具体如下：

从左至右、从上到下遍历所有栅格，若取出的栅格不是障碍栅格则不做处理，取下一个栅格进行判断；若遇到障碍栅格OB，对其左侧(L)、左上(LU)、上侧(U)和右上(RU)四个邻域栅格进行判断，分为以下7种情况：

1)若L是障碍栅格、RU不是障碍栅格，则将L的标记号赋给OB，结束当前处理；

2)若L是障碍栅格、RU是障碍栅格，则将L的标记号赋给OB、RU，结束当前处理；

3)若L不是障碍栅格、LU是障碍栅格、RU不是障碍栅格，则将LU的标记号赋给OB，结束当前处理；

4)若L不是障碍栅格、LU是障碍栅格、RU是障碍栅格，则将LU的标记号赋给OB、RU，并结束当前处理；

5)若L不是障碍栅格、LU不是障碍栅格、U是障碍栅格，则将U的标记号赋给OB，并结束当前处理；

6)若L不是障碍栅格、LU不是障碍栅格、U不是障碍栅格、RU是障碍栅格，则将RU的标记号赋给OB，并结束当前处理；

7)若L、LU、U、RU都不是障碍栅格，则为OB创建一个新的标记号,结束当前处理；

至此，得到当前t时刻的栅格聚类集合其中ct为聚类个数，表示第i个聚类的原始三维点云集合，i＝1,2,…,ct；

步骤(三)运用PointCNN算法进行目标识别分类：

本发明利用PointCNN算法，在卷积操作前通过深度网络学习一个置换矩阵，对点云数据进行排序和加权，使得卷积能够保留点云的空间位置信息，且不依赖于点的输入顺序，从而将所提取的聚类集合识别分类为机动车自行车和行人三类，其中，分别为机动车、自行车、行人的聚类个数，且

步骤(四)通过迭代最邻近算法获取各目标的位姿变换：

对于行人点云，使用聚类形心表示其形心；对于机动车和自行车，使用初次检测到的聚类形心表示其形心并作为该目标的起始帧，在后续帧利用迭代最邻近算法获取其相对于前一帧的位姿变换，通过累计可以得到各目标的位姿估计(x,y,ω)，其中，x、y为目标的横、纵坐标，ω为偏航角，即与OX轴的夹角，取逆时针方向为正，范围[0,2π)；具体子步骤为：

子步骤1)制定目标关联准则，判断相邻两帧探测的目标是否属于同一目标

针对聚类形心点基于横向位置偏差阈值与欧式距离偏差阈值，对相邻两帧的目标进行匹配关联，以机动车为例，判定依据为：

其中，分别为t时刻机动车类第i_c个聚类形心点的横、纵坐标，i_c＝1,…,ct_c，分别为t+Δt时刻机动车类第j_c个聚类形心点的横、纵坐标，j_c＝1,…,ct_c，为机动车横向位置偏差阈值，为机动车欧式距离偏差阈值；满足语句3的两个聚类视为同一目标；

子步骤2)对两帧间同一目标使用迭代最邻近算法求得其相对位姿变换

对各目标点云直接采用迭代最邻近算法计算其两帧间的平移参数T＝[Δx Δy]^T和旋转参数其中Δω为目标绕OZ轴旋转角，若Δω小于预设阈值则记Δω＝0；假设P为上一时刻某目标的数据集合，数据个数为N_P；Q为当前时刻该目标的数据集合，数据个数为N_Q；迭代最邻近算法匹配问题就是求解运动参数{R,T}，使得数据点p_i∈P，经过运动变换得到p′_i＝R·p_i+T，集合P变为P′＝R·P+T，使得P′与Q误差最小，具体步骤为：

(1)对P中每一个p_i,i＝1,…,N_P，在Q寻找距离其最近的一点q_j,j＝1,…,N_Q；

(2)使用最小二乘法或者奇异值分解法求解公式(1)得到参数{R,T}的解；

(3)根据参数{R,T}将P更新为R·P+T；

(4)重复上述方法得到新的参数{R,T}；

(5)计算两次求得{R,T}的误差，若小于预设阈值则退出迭代运算，否则按照步骤(1-4)反复迭代，直到误差小于预设阈值或迭代次数超过预设阈值；

步骤(五)基于UKF的自适应目标跟踪方法

采用基于UKF的自适应目标跟踪方法，根据跟踪目标分类结果，对机动车、自行车和行人分别建立目标跟踪滤波器，在同一时刻对多目标实现混合跟踪处理，具体子步骤为：

子步骤1)建立状态空间模型：定义机动车状态向量为X_c＝(x,y,v,ω,dθ)^T，量测向量为M_c＝(x,y,ω)^T，自行车状态向量为X_b＝(x,y,v,ω,dθ)^T，量测向量为M_b＝(x,y,ω)^T；其中，v为速度，dθ为偏航角速度，dθ＝Δω/Δt；则机动车跟踪模型描述为：

自行车跟踪模型描述为：

其中，观测矩阵由状态转移矩阵A可得状态转移方程：

定义行人状态向量为X_p＝(x,y,vx,vy)^T，其中vx、vy分别为其在OX、OY方向的分速度，量测向量为M_p＝(x,y)^T，则行人跟踪模型描述为：

其中，状态转移矩阵观测矩阵

Q_c、Q_b、Q_p和R_c、R_b、R_p分别为各目标模型的过程误差和量测误差，其为互不相关的零均值高斯白噪声向量；

子步骤2)多模型混合跟踪：在上述模型的基础上，利用标准UKF递推算法，同时建立机动车、自行车、行人目标跟踪滤波器，对当前运动目标实现混合跟踪，更新当前时刻各目标最优状态估计并预测下一时刻状态；系统实时监控动态障碍物的位置，一旦预计其与雷达中心的距离小于预设阈值，立刻通过预警机制发出预警，从而有效减少和避免交通事故以及救援作业时二次事故的发生。

与现有技术相比，本发明具有如下优点和有益效果：

1、本发明针对性强，只针对道路交通场景的动态障碍物识别，对静止的障碍物如墙壁、树木、停靠的车辆等不影响道路交通安全的因素进行了排除。

2、本发明使用深度学习方法，提高了障碍物识别分类的准确率。

3、本发明基于聚类形心点的横向位置偏差阈值与欧式距离偏差阈值，对相邻两帧的目标进行匹配关联，处理速度快，匹配效果好。

4、本发明使用迭代最邻近算法求取位姿变换，并基于分类结果建立UKF滤波器，跟踪精度高，能够有效减少和避免交通事故以及救援作业时二次事故的发生，从而提高主动安全预警性能。

5、本发明方法具有良好的实时性、识别精度和跟踪精度，能够有效地实现对道路交通场景的安全监控。

附图说明

图1为多目标识别跟踪方法的总体方案流程图。

图2为交通事故防范场景环境监控示意图。

图3为道路救援场景环境监控示意图。

图4为雷达水平分辨率示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供的一种面向道路交通场景的多目标识别跟踪方法，其总体流程如图1所示，具体步骤包括：

步骤(一)激光雷达数据预处理

为有效监控道路区域，三维激光雷达需水平安装于路侧或救援车左侧车身中部。由于激光雷达数据量庞大，为保证道路交通场景安全监控的实时性，本发明采用栅格化方法将每一帧激光雷达数据转换成一幅二值图像，提高了数据处理的效率。

本发明中激光雷达的数据点坐标系OXYZ是以雷达中心为原点，道路前进方向为OX轴，OZ轴为垂直于OX轴朝上方向，OY轴通过右手定则定义(见图2,3)，监控角度为从OX轴起逆时针180°范围。对深度范围(0,Y_thr)、宽度范围(-X_thr,X_thr)内的目标区域构建二维栅格平面，栅格大小为D×D，则目标区域栅格化生成的栅格个数Y_thr根据道路宽度选定，通常为5m～15m；X_thr根据雷达分辨率选定，通常为20m～60m。由于激光雷达相邻的激光射线之间存在一定的夹角，若栅格边长设定太小，会导致一定距离外的栅格内没有激光点存在，导致栅格虚设，若栅格边长设定太大，会导致分辨率不足，影响障碍物识别效果。确定栅格边长首先要计算雷达水平分辨率D_r，水平分辨率是指雷达探测范围内相邻激光线之间的最大弧长(见图4)。依据几何知识，可得雷达水平分辨率D_r在极坐标系下的计算公式：

D_r＝Δangle·d·π/180 (1)

式(1)中Δangle为雷达相邻两条激光线之间的夹角，d为雷达最大探测距离。因为只有当栅格边长不小于雷达水平分辨率时才能有效避免栅格虚设，所以本发明中取栅格边长D＝2Dr。

接下来，将栅格划分为障碍物栅格和非障碍物栅格，划分依据为：

(Num_k＞n)&(Z_{k_}max＞m) 语句1

其中，Num_k为第k个栅格中数据点的个数，Z_{k_}max为第k个栅格中所有数据点间的最大高度差，计算这一参数是为了避免斜坡的影响，k＝1，2，…，N；n、m为设定阈值；满足语句1的栅格为障碍物栅格，将其栅格属性标记为1，否则为非障碍物栅格，标记为0；至此，三维激光雷达数据转换为一幅二值栅格图像I(u，v)，每个栅格对应于栅格图像中的一个像素点，每个栅格的属性相当于栅格图像中点(u，v)处的像素值，栅格的行号u＝1，2，…，u_max，栅格的列号v＝1，2，…，v_max，且u_max·v_max＝N。

步骤(二)利用背景差法提取动态障碍物栅格并进行聚类分析

在道路交通场景中，静态障碍物(如路边的墙、树、停靠的车辆等)对交通事故的发生以及事故后的救援作业不构成影响，因此只需要关心动态障碍物。静态障碍物所形成的障碍物栅格位置相对固定，步骤(一)中已经将激光雷达数据转换成二值图像I(u，v)，利用背景差法，比较前后帧障碍物栅格的位置属性关系，可以提取动态障碍物栅格，具体做法如下：

选取一帧数据作为背景帧，之后每T_B秒选取新的一帧数据作为新的背景帧。判断数据帧中的障碍物栅格是否为动态障碍物栅格的依据为：

(I_B(u_m，v_w)＝0)&(I(u_m，v_w)＝1) 语句2

其中，I_B(u_m，v_w)是背景帧中栅格(u_m，v_w)的属性，I(u_m，v_w)是数据帧中栅格(u_m，v_w)的属性，u_m＝1，2，…，u_max，v_w＝1，2，…，v_max；满足语句2的障碍物栅格即为动态障碍物栅格。

提取出动态障碍物栅格后，对这些栅格进行聚类。本发明中采用基于距离相关性的区域标记算法，其特点在于简单高效，具体如下：

从左至右、从上到下遍历所有栅格，若取出的栅格不是障碍栅格则不做处理，取下一个栅格进行判断；若遇到障碍栅格OB，对其左侧(L)、左上(LU)、上侧(U)和右上(RU)四个邻域栅格进行判断，分为以下7种情况：

1)若L是障碍栅格、RU不是障碍栅格，则将L的标记号赋给OB，结束当前处理；

2)若L是障碍栅格、RU是障碍栅格，则将L的标记号赋给OB、RU，结束当前处理；

3)若L不是障碍栅格、LU是障碍栅格、RU不是障碍栅格，则将LU的标记号赋给OB，结束当前处理；

4)若L不是障碍栅格、LU是障碍栅格、RU是障碍栅格，则将LU的标记号赋给OB、RU，并结束当前处理；

5)若L不是障碍栅格、LU不是障碍栅格、U是障碍栅格，则将U的标记号赋给OB，并结束当前处理；

6)若L不是障碍栅格、LU不是障碍栅格、U不是障碍栅格、RU是障碍栅格，则将RU的标记号赋给OB，并结束当前处理；

7)若L、LU、U、RU都不是障碍栅格，则为OB创建一个新的标记号,结束当前处理。

至此，得到当前t时刻的栅格聚类集合其中ct为聚类个数，表示第i个聚类的原始三维点云集合，i＝1,2,…,ct。

步骤(三)运用PointCNN算法进行目标识别分类

基于深度学习的目标识别方法可以全面利用三维点云的特征信息，但是由于点云数据的无序性以及分布不规则的特点，直接使用卷积神经网络会丢失点云的形状信息，且出现采样不均的问题，从而影响特征提取的速度和精度，因此无法直接应用卷积操作自动提取点云局部相关性特征。现有的针对三维点云的深度学习方法有PointNet、PointNet++、VoxelNet和PointCNN。PointNet采用两次STN(spacial transform network)，将空间中的点云旋转至一个更有利于分类或分割的角度，并对提取出的64维特征进行对齐，其缺点在于只考虑了全局特征，丢失了每个点的局部信息，从而限制了其泛化能力；PointNet++对PointNet进行了改进，使用了分层抽取特征的思想，并使用多尺度分组和多分辨率分组方法解决采集时出现的采样密度不均问题；VoxelNet基于稀疏点云和并行处理的体素网格，实现了对机动车、自行车、行人点云的高精度识别，但是运行速度太慢；PointCNN(YangyanLi,Rui Bu,Mingchao Sun,Wei Wu,Xinhan Di,and Baoquan Chen.PointCNN:ConvolutionOn X-Transformed Points.arXiv preprint arXiv:1801.07791,2018)在卷积操作前通过深度网络学习一个置换矩阵，对点云数据进行排序和加权，使得卷积能够保留点云的空间位置信息，且不依赖于点的输入顺序，其分类精度高于PointNet++且实时性优于VoxelNet。因此本发明中采用PointCNN将点云聚类分为机动车自行车和行人三类，其中，分别为机动车、自行车、行人的聚类个数，且

步骤(四)通过迭代最邻近算法获取各目标的位姿变换

相较于机动车和自行车，行人点云的分布相对集中且距离雷达较近，保证了对行人描述的完整性，因此可以使用聚类形心表示行人形心。对于机动车和自行车，使用初次检测到的聚类形心表示其形心并作为该目标的起始帧，在后续帧利用迭代最邻近算法获取其相对于前一帧的位姿变换，通过累计可以得到各目标的位姿估计(x,y,ω)，其中，x、y为目标的横、纵坐标，ω为偏航角，即与OX轴的夹角，取逆时针方向为正，范围[0,2π)；具体子步骤为：

子步骤1)制定目标关联准则，判断相邻两帧探测的目标是否属于同一目标

目标关联方法分为概率统计法和确定性法两大类。概率统计目标关联的方法主要针对的是环境信息中包含大量杂波且目标机动性较大的情况，需要保存连续几帧数据中每一个目标所有可能的关联，因此计算量和内存消耗较大，不适用于道路交通场景。确定性法一般通过建立运动约束组合得到最佳匹配关系，其计算量和内存消耗较小。同时，考虑到道路交通场景中目标机动性较小，即同一目标在连续两帧数据中的位置不会发生突变，本发明针对聚类形心点基于横向位置偏差阈值与欧式距离偏差阈值，对相邻两帧的目标进行匹配关联，以机动车为例，判定依据为：

其中，分别为t时刻机动车类第i_c个聚类形心点的横、纵坐标，i_c＝1,…,ct_c，分别为t+Δt时刻机动车类第j_c个聚类形心点的横、纵坐标，j_c＝1,…,ct_c，为机动车横向位置偏差阈值，为机动车欧式距离偏差阈值。满足语句3的两个聚类视为同一目标。

子步骤2)对两帧间同一目标使用迭代最邻近算法求得其相对位姿变换

对三维点云的配准通常利用相邻帧点云中所提取的特征点进行匹配从而恢复帧间运动量(旋转和位移)，对帧间运动量进行累计可以得到基于起始帧的位姿估计。因为需要对各目标分别求取其帧间运动量，若仍提取各目标特征点，特征点过于稀少会导致位姿估计误差过大，所以本发明对各目标点云直接采用迭代最邻近算法计算其两帧间的平移参数T＝[Δx Δy]^T和旋转参数其中Δω为目标绕OZ轴旋转角，若Δω小于预设阈值则记Δω＝0。假设P为上一时刻某目标的数据集合，数据个数为N_P；Q为当前时刻该目标的数据集合，数据个数为N_Q。迭代最邻近算法匹配问题就是求解运动参数{R,T}，使得数据点p_i∈P，经过运动变换得到p′_i＝R·p_i+T，集合P变为P′＝R·P+T，使得P′与Q误差最小，具体步骤为：

(1)对P中每一个p_i,i＝1,…,N_P，在Q寻找距离其最近的一点q_j,j＝1,…,N_Q；

(2)使用最小二乘法或者奇异值分解法求解公式(2)得到参数{R,T}的解；

(3)根据参数{R,T}将P更新为R·P+T；

(4)重复上述方法得到新的参数{R,T}；

(5)计算两次求得{R,T}的误差，若小于预设阈值则退出迭代运算，否则按照步骤(1-4)反复迭代，直到误差小于预设阈值或迭代次数超过预设阈值。

步骤(五)基于UKF的自适应目标跟踪方法

在非线性模型观测领域中常使用扩卡尔曼滤波EKF和无迹卡尔曼滤波UKF。EKF通过对非线性模型的泰勒展开式进行一阶线性化截断，用得到的一阶近似项作为原状态方程和测量方程的近似表达式，从而将非线性问题转化为线性问题。但由于忽略了模型的部分非线性特性，其线性化近似处理会引入较大误差，从而导致估计效果下降以及滤波收敛速度缓慢的问题。此外，EKF需要用到Jacobian矩阵，其计算过程相对繁琐。因此EKF不适用于道路交通场景下的多目标跟踪问题。

UKF基于“对随机变量的概率分布进行逼近要比对非线性函数进行逼近容易的多”的思想，采用经无迹变换后生成的采样点集来逼近非线性函数概率分布，精度可达到非线性函数泰勒级数展开的三阶或更高阶。因此，本发明采用基于UKF的自适应目标跟踪方法，根据跟踪目标分类结果，对机动车、自行车和行人分别建立目标跟踪滤波器，在同一时刻对多目标实现混合跟踪处理。具体子步骤为：

子步骤1)建立状态空间模型：

在相邻帧时间间隔Δt较小的情况下，可以认为机动车、自行车在Δt时间内做恒定转率和速度运动(CTRV)，定义机动车状态向量为X_c＝(x,y,v,ω,dθ)^T，量测向量为M_c＝(x,y,ω)^T，自行车状态向量为X_b＝(x,y,v,ω,dθ)^T，量测向量为M_b＝(x,y,ω)^T，其中，v为速度，dθ为偏航角速度，dθ＝Δω/Δt；则机动车跟踪模型描述为：

自行车跟踪模型描述为：

其中，观测矩阵由状态转移矩阵A可得状态转移方程：

在相邻帧时间间隔Δt较小的情况下，可以认为行人在Δt时间内做匀速直线运动，定义行人状态向量为X_p＝(x,y,vx,vy)^T，其中vx、vy分别为其在OX、OY方向的分速度，量测向量为M_p＝(x,y)^T，则行人跟踪模型描述为：

其中，状态转移矩阵观测矩阵

Q_c、Q_b、Q_p和R_c、R_b、R_p分别为各目标模型的过程误差和量测误差，其为互不相关的零均值高斯白噪声向量。

子步骤2)多模型混合跟踪：在上述模型的基础上，利用标准UKF递推算法，同时建立机动车、自行车、行人目标跟踪滤波器，对当前运动目标实现混合跟踪，更新当前时刻各目标最优状态估计并预测下一时刻状态。

系统实时监控动态障碍物的位置，一旦预计其与雷达中心的距离小于预设阈值，立刻通过预警机制发出预警，从而有效减少和避免交通事故以及救援作业时二次事故的发生。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (1)

1.一种面向道路交通场景的多目标识别跟踪方法，其特征在于，包含如下步骤：

步骤(一)激光雷达数据预处理：

激光雷达水平安装于路侧或救援车左侧车身中部，其数据点坐标系OXYZ，以雷达中心为原点，道路前进方向为OX轴，OZ轴为垂直于OX轴朝上方向，OY轴通过右手定则定义，监控角度为从OX轴起逆时针180°范围；

对深度范围(0，Y_thr)、宽度范围(-X_thr，X_thr)内的目标区域构建二维栅格平面，栅格大小为D×D，则目标区域栅格化生成的栅格个数其中，Y_thr根据道路宽度选定，通常为5m～15m，X_thr根据雷达分辨率选定，通常为20m～60m；

确定栅格边长方法如下：首先要计算雷达水平分辨率D_r，水平分辨率是指雷达探测范围内相邻激光线之间的最大弧长，可得雷达水平分辨率D_r在极坐标系下的计算公式：D_r＝Δangle·d·π/180，其中Δangle为雷达相邻两条激光线之间的夹角，d为雷达最大探测距离；只有当栅格边长不小于雷达水平分辨率时才能有效避免栅格虚设，所以取栅格边长D＝2D_r；

接下来，将栅格划分为障碍物栅格和非障碍物栅格，划分依据为：

(Num_k＞n)&(Z_k_max＞m) 语句1

其中，Num_k为第k个栅格中数据点的个数，Z_k_max为第k个栅格中所有数据点间的最大高度差，计算这一参数是为了避免斜坡的影响，k＝1，2，…，N；n、m为设定阈值；满足语句1的栅格为障碍物栅格，将其栅格属性标记为1，否则为非障碍物栅格，标记为0；至此，三维激光雷达数据转换为一幅二值栅格图像I(u，v)，每个栅格对应于栅格图像中的一个像素点，每个栅格的属性相当于栅格图像中点(u，v)处的像素值，栅格的行号u＝1，2，…，u_max，栅格的列号v＝1，2，…，v_max，且u_max·v_max＝N；

步骤(二)利用背景差法提取动态障碍物栅格并进行聚类分析：

利用背景差法，比较前后帧障碍物栅格的位置属性关系，提取动态障碍物栅格，具体做法如下：

选取一帧数据作为背景帧，之后每T_B秒选取新的一帧数据作为新的背景帧；判断数据帧中的障碍物栅格是否为动态障碍物栅格的依据为：

(I_B(u_m，v_w)＝0)&(I(u_m，v_w)＝1) 语句2

其中，I_B(u_m，v_w)是背景帧中栅格(u_m，v_w)的属性，I(u_m，v_w)是数据帧中栅格(u_m，v_w)的属性，u_m＝1，2，…，u_max，v_w＝1，2，…，v_max；满足语句2的障碍物栅格即为动态障碍物栅格；提取出动态障碍物栅格后，对这些栅格进行聚类，具体如下：

从左至右、从上到下遍历所有栅格，若取出的栅格不是障碍栅格则不做处理，取下一个栅格进行判断；若遇到障碍栅格OB，对其左侧(L)、左上(LU)、上侧(U)和右上(RU)四个邻域栅格进行判断，分为以下7种情况：

1)若L是障碍栅格、RU不是障碍栅格，则将L的标记号赋给OB，结束当前处理；

2)若L是障碍栅格、RU是障碍栅格，则将L的标记号赋给OB、RU，结束当前处理；

3)若L不是障碍栅格、LU是障碍栅格、RU不是障碍栅格，则将LU的标记号赋给OB，结束当前处理；

4)若L不是障碍栅格、LU是障碍栅格、RU是障碍栅格，则将LU的标记号赋给OB、RU，并结束当前处理；

5)若L不是障碍栅格、LU不是障碍栅格、U是障碍栅格，则将U的标记号赋给OB，并结束当前处理；

6)若L不是障碍栅格、LU不是障碍栅格、U不是障碍栅格、RU是障碍栅格，则将RU的标记号赋给OB，并结束当前处理；

7)若L、LU、U、RU都不是障碍栅格，则为OB创建一个新的标记号，结束当前处理；

至此，得到当前t时刻的栅格聚类集合其中ct为聚类个数，表示第i个聚类的原始三维点云集合，i＝1，2，…，ct；

步骤(三)运用PointCNN算法进行目标识别分类：

利用PointCNN算法，在卷积操作前通过深度网络学习一个置换矩阵，对点云数据进行排序和加权，使得卷积能够保留点云的空间位置信息，且不依赖于点的输入顺序，从而将所提取的聚类集合识别分类为机动车自行车和行人三类，其中，分别为机动车、自行车、行人的聚类个数，且

步骤(四)通过迭代最邻近算法获取各目标的位姿变换：

对于行人点云，使用聚类形心表示其形心；对于机动车和自行车，使用初次检测到的聚类形心表示其形心并作为该目标的起始帧，在后续帧利用迭代最邻近算法获取其相对于前一帧的位姿变换，通过累计可以得到各目标的位姿估计(x，y，ω)，其中，x、y为目标的横、纵坐标，ω为偏航角，即与OX轴的夹角，取逆时针方向为正，范围[0，2π)；具体子步骤为：

子步骤1)制定目标关联准则，判断相邻两帧探测的目标是否属于同一目标

针对聚类形心点基于横向位置偏差阈值与欧式距离偏差阈值，对相邻两帧的目标进行匹配关联，以机动车为例，判定依据为：

其中，分别为t时刻机动车类第i_c个聚类形心点的横、纵坐标，i_c＝1，…，ct_c，分别为t+Δt时刻机动车类第j_c个聚类形心点的横、纵坐标，j_c＝1，…，ct-c，为机动车横向位置偏差阈值，为机动车欧式距离偏差阈值；满足语句3的两个聚类视为同一目标；

子步骤2)对两帧间同一目标使用迭代最邻近算法求得其相对位姿变换

对各目标点云直接采用迭代最邻近算法计算其两帧间的平移参数T＝[Δx Δy]^T和旋转参数其中Δω为目标绕OZ轴旋转角，若Δω小于预设阈值则记Δω＝0；假设P为上一时刻某目标的数据集合，数据个数为N_P；Q为当前时刻该目标的数据集合，数据个数为N_Q；迭代最邻近算法匹配问题就是求解运动参数{R，T}，使得数据点p_i∈P，经过运动变换得到p′_i＝R·p_i+T，集合P变为P′＝R·P+T，使得P′与Q误差最小，具体步骤为：(1)对P中每一个p_i，i＝1，...，N_P，在Q寻找距离其最近的一点q_j，j＝1，...，N_Q；

(2)使用最小二乘法或者奇异值分解法求解公式(1)得到参数{R，T}的解；

(3)根据参数{R，T}将P更新为R·P+T；

(4)重复上述方法得到新的参数{R，T}；

(5)计算两次求得{R，T}的误差，若小于预设阈值则退出迭代运算，否则按照步骤(1-4)反复迭代，直到误差小于预设阈值或迭代次数超过预设阈值；

步骤(五)基于UKF的自适应目标跟踪方法

采用基于UKF的自适应目标跟踪方法，根据跟踪目标分类结果，对机动车、自行车和行人分别建立目标跟踪滤波器，在同一时刻对多目标实现混合跟踪处理，具体子步骤为：

子步骤1)建立状态空间模型：定义机动车状态向量为X_c＝(x，y，v，ω，dθ)^T，量测向量为M_c＝(x，y，ω)^T，自行车状态向量为X_b＝(x，y，v，ω，dθ)^T，量测向量为M_b＝(x，y，ω)^T；其中，v为速度，dθ为偏航角速度，dθ＝Δω/Δt；则机动车跟踪模型描述为：

自行车跟踪模型描述为：

其中，观测矩阵由状态转移矩阵A可得状态转移方程：

定义行人状态向量为X_p＝(x，y，vx，vy)^T，其中vx、vy分别为其在OX、OY方向的分速度，量测向量为M_p＝(x，y)^T，则行人跟踪模型描述为：

其中，状态转移矩阵观测矩阵

Q_c、Q_b、Q_p和R_c、R_b、R_p分别为各目标模型的过程误差和量测误差，其为互不相关的零均值高斯白噪声向量；

子步骤2)多模型混合跟踪：在上述模型的基础上，利用标准UKF递推算法，同时建立机动车、自行车、行人目标跟踪滤波器，对当前运动目标实现混合跟踪，更新当前时刻各目标最优状态估计并预测下一时刻状态；系统实时监控动态障碍物的位置，一旦预计其与雷达中心的距离小于预设阈值，立刻通过预警机制发出预警，从而有效减少和避免交通事故以及救援作业时二次事故的发生。