CN112036471B - 一种基于毫米波雷达的多人跟踪方法 - Google Patents

Abstract

本发明涉及毫米波雷达信号处理技术领，公开了一种基于毫米波雷达的多人跟踪方法，用以提高毫米波雷达在实际应用中的多目标跟踪精度和跟踪速度。本发明首先从毫米波雷达数据立方中生成点云数据，然后采用轨迹聚类的方法对轨迹和凝聚点进行跟踪难度的分类；采用多模跟踪方法对跟踪难易程度不同的轨迹采用不同的跟踪方法进行跟踪；对不同跟踪方法的结果进行融合，并根据跟踪结果进行多模态的轨迹起始和终止。本发明适用于多人员跟踪。

Description

一种基于毫米波雷达的多人跟踪方法

技术领域

本发明涉及毫米波雷达信号处理技术领域，特别涉及一种基于毫米波雷达的多人跟踪方法。

背景技术

多目标跟踪(Multiple Object Tracking,MOT)技术是计算机视觉、图像处理、雷达信号处理、多源数据融合等领域中的一个非常重要的基础问题。多人跟踪是多目标跟踪的一个重要特例，多人跟踪能够计算场景内人员的个体运动轨迹和群体数量，是实现场景感知的重要技术，在重要场所安全管理、高级驾驶员辅助系统、智能化的人机交互等领域有着重要的应用。

目前实现多人跟踪可以通过光学摄像头、红外摄像头、激光雷达以及毫米波雷达等传感器来实现。基于光学摄像头的多人目标跟踪技术多采用深度学习(Deep Learning,DL)的方法进行人员特征提取，精度高，但是价格相对较贵，且容易受到天气和环境的影响；红外摄像头准确度低且作用距离较近；激光雷达价格昂贵。基于毫米波雷达传感器的方案价格低廉，且受天气和环境的影响较小，作用距离较远。

目前雷达多目标跟踪方法可以分为以下几种：第一，采用简单的全局最近邻数据关联算法(Global Nearest Neighbor,GNN)，如德州仪器(Texas Instruments,TI)的毫米波雷达多目标跟踪方案就是采用GNN；第二，采用单帧的联合概率数据互联算法(JointProbability Data Association,JPDA)；第三，采用多假设跟踪算法(MultipleHypothesis Tracking,MHT),这种方法被认为是工程领域最有效的方法；第四，随机有限集算法(Random Finite Set,RFS)。RFS已经应用于波音公司的雷达系统中。由于MHT和RFS复杂度很高，因此在低成本的小型化毫米波雷达中应用很少。

在现有的基于毫米波雷达的多人目标跟踪和计数中，存在以下问题：采用简单的全局最近邻数据关联算法(Global Nearest Neighbor,GNN)，在目标比较密集且相互之间存在遮挡的情况时容易出现关联错误；对所有的轨迹和量测采用单一的跟踪算法，无法有效地区分容易处理的轨迹和量测以及处理比较困难的轨迹和量测，无法解决算法有效性和实时性的冲突问题；采用直觉式的轨迹起始和终止管理策略，无法处理复杂情况下的轨迹出现、合并和消失情况。

发明内容

本发明要解决的技术问题是：提供一种基于毫米波雷达的多人跟踪方法，用以提高毫米波雷达在实际应用中的多目标跟踪精度和跟踪速度。

为解决上述问题，本发明采用的技术方案是：首先从毫米波雷达数据立方中生成点云数据，然后采用轨迹聚类的方法对轨迹和凝聚点进行跟踪难度的分类；采用多模跟踪方法对跟踪难易程度不同的轨迹采用不同的跟踪方法进行跟踪；对不同跟踪方法的结果进行融合，并根据跟踪结果进行多模态的轨迹起始和终止。

具体的，所述点云数据包括点迹的数量、距离、多普勒信息和角度参数。轨迹聚类时采用近邻聚类方法，距离小于某一阈值的轨迹聚到同一个簇中，对于轨迹数量大于某个阈值或者位置方差小于某个阈值的簇，分类为跟踪困难的簇；对于轨迹数量小于阈值而且位置方差大于某个阈值的簇，分类为跟踪容易的簇。

进一步的，本发明对较难处理的轨迹采用多假设跟踪算法(Multiple HypothesisTracking,MHT)进行跟踪，对容易处理的轨迹采用全局最近邻数据关联算法(GlobalNearest Neighbor,GNN)进行跟踪。本发明综合考虑MHT的结果和GNN的结果，根据MHT的关联情况和轨迹得分，以及GNN的关联情况提出新的轨迹起始和终止策略，保留质量较高的轨迹，丢弃质量较低的轨迹，并起始新的可靠轨迹，从而在不增加计算量的前提下保证算法的准确性。

现有的毫米波雷达多目标跟踪算法对所有轨迹和凝聚点采用相同的跟踪算法，都属于单模态跟踪，很难做到准确性和实时性的均衡。本发明提出对轨迹进行近邻聚类，然后根据各个聚类簇的轨迹数量和密集程度对轨迹进行分类，轨迹数量较多较为密集的簇采用多假设跟踪算法处理，轨迹数量很少或者较为分散的簇采用GNN算法处理，在MHT处理的轨迹附近的凝聚点(量测)送入MHT，其余凝聚点送入GNN，这样可以对少数跟踪困难的轨迹采用较多的凝聚点和较复杂的跟踪算法，又可以对大多数跟踪容易的轨迹采用较少的凝聚点和较简单的跟踪算法，同时保证了准确性和实时性。

进一步的，本发明对现有MHT算法进行了一定的优化，具体包括：在生成假设树时，基于距离约束和局部最大关联数约束生成假设树；在生成不兼容超簇(IncompatibilitySuper Cluster,ISC)的邻接矩阵时，如果两个假设对应的轨迹当前位置相近，且最近两帧关联了同样的量测，认为两条轨迹近似，并保留置信度较高的轨迹，丢弃置信度较低的轨迹；多假设跟踪算法在每次完成最佳假设计算之后，会根据计算结果在一个周期内进行多次假设树裁剪，保留当前假设树节点置信度和最高的子树。采用基于轨迹的多假设跟踪算法时，现有的MHT算法假设数随着跟踪帧数指数增长。本发明在生成假设树时，提出距离约束及局部最大关联数约束准则，极大地缩减了假设的数量；在生成不兼容超簇的邻接矩阵时，提出了基于轨迹关联情况、轨迹状态以及轨迹得分的轨迹合并策略，缩减邻接矩阵的规模，降低最大加权独立集合(Maximum Weight Independent Set,MWIS)算法的复杂度；提出了与多假设跟踪周期独立的短周期次优假设树裁剪策略，尽可能保留假设树信息的前提下缩减假设树的规模。

进一步的，本发明对跟踪结果进行融合的步骤包括：

1)输出多假设跟踪算法跟踪的轨迹和全局最近邻数据关联算法跟踪的轨迹；

2)若多假设跟踪算法跟踪的轨迹和全局最近邻数据关联算法跟踪的轨迹中某条轨迹漏检的概率高于某个阈值，则该轨迹终止；

3)若多假设跟踪算法跟踪的轨迹和全局最近邻数据关联算法跟踪的轨迹之间的位置小于某个阈值，则丢弃全局最近邻数据关联算法的轨迹，保留多假设跟踪算法跟踪轨迹；

4)对未被任何轨迹关联的凝聚点，采用逻辑法起始轨迹，若连续多帧起始轨迹能够关联到凝聚点，则转为确认轨迹并送入跟踪模块中，否则轨迹终止。

本发明的有益效果是：

1.通过毫米波雷达实现抗遮挡密集多人多模跟踪与计数算法,成本低廉；

2.能够实现相互遮挡情况下密集目标的准确跟踪；

3.能够在嵌入式平台上实现相互遮挡情况下密集目标的实时跟踪；

4.在嵌入式平台上实现了融合MHT和GNN的实时多目标跟踪算法；

5.本算法有很强的实用性，可以直接扩展用于光学成像多目标跟踪、红外成像多目标跟踪、激光雷达多目标跟踪等其它领域。

附图说明

图1是实施例的雷达信号处理流程图；

图2是实施例所提出的MHT算法的具体流程图；

图3是聚类得到的轨迹簇和凝聚点分类的示意图；

图4是假设树生成方法对比图，其中A为已有的MHT关联树生成示意，B为实施例的MHT关联树生成示意图；

图5是生成不兼容超簇的邻接矩阵时有无假设合并的对比图，其中A为已有的MHT无假设合并的示意，B为实施例基于轨迹位置和历史关联情况的假设合并示意。

图4和图5中，G1、G2分别是两种不同轨迹，D1-D4是四种不同的凝聚点。

具体实施方式

为了提高毫米波雷达在实际应用中的多目标跟踪精度和跟踪速度，本发明提出了一种基于毫米波雷达的多人跟踪与计数方法，该方法首先从雷达数据立方(Data Cube)中生成点云数据，然后对点云数据进行凝聚操作得到凝聚点，对当前帧所有轨迹进行近邻聚类，根据聚类结果区分容易处理的轨迹和较难处理的轨迹，对较难处理的轨迹采用复杂的数据关联算法进行跟踪；对容易处理的轨迹，采用简单的数据关联算法进行跟踪；根据数据关联情况起始和终止相应轨迹，最终得到多人跟踪结果。

图1为本发明所提出的雷达信号处理流程。“距离、角度、多普勒测量”模块采用已有的方案，得到点云数据后，进行点云聚类得到凝聚点，同时对已有的轨迹进行聚类得到轨迹簇，根据轨迹簇中轨迹的数量和密度以及与凝聚点的距离对轨迹和凝聚点进行分类，对容易跟踪的轨迹采用全局最近邻算法进行跟踪，对跟踪困难的轨迹采用多假设跟踪算法进行跟踪，两种算法的跟踪结果进行融合，输出融合后的跟踪结果，并在下一帧进行轨迹起始和终止，最终完成整个算法流程。

以下通过实施例对本发明做进一步说明。

实施例提供了一种基于毫米波雷达的抗遮挡密集多人多模跟踪与计数方法，采用射频60GHz带宽4GHz的毫米波雷达模块。

算法流程如图1所示，包括以下四个部分：

(1)采用毫米波雷达结合固有的信号处理模块得到回波点云数据。

点云数据为雷达接受单元RX接收到的数据立方进行测距测速测角以及恒虚警率检测后的结果，点云数据包括点迹的数量,每个点迹的距离、多普勒(速度)和角度参数。

(2)对点云数据进行凝聚得到凝聚点，对轨迹数据进行聚类得到轨迹簇，根据轨迹簇对轨迹和凝聚点进行分类。

目标跟踪接收点云数据后:

1)首先对点云数据进行凝聚得到凝聚点，通过近邻联通算法实现；

2)对轨迹数据进行聚类得到轨迹簇。

如图3所示，其中，共有10条轨迹，采用近邻聚类方法，距离小于某一阈值的轨迹聚到同一个簇中，得到4个轨迹簇。对凝聚点，计算与其最近的轨迹，然后将凝聚点分配到该轨迹所在的簇中，最终聚类结果如图所示。计算每个轨迹簇内的轨迹数量和轨迹位置方差，轨迹数量越大、位置方差越小，表示轨迹越密集，遮挡情况越严重。对于轨迹数量大于某个阈值或者位置方差小于某个阈值的簇，分类为跟踪困难的簇，采用MHT算法进行跟踪；对于轨迹数量小于阈值而且位置方差大于某个阈值的簇，分类为跟踪容易的簇，采用GNN算法进行跟踪。

(3)对不同的轨迹采用不同的跟踪算法进行跟踪。

1)对跟踪困难的簇，采用MHT算法进行跟踪。图2为实施例的MHT算法具体流程，在输入分类后的凝聚点和轨迹后，首先生成假设树，然后生成不兼容树，根据不兼容树得到邻接矩阵并对邻接矩阵进行约简，得到包含结果轨迹的最佳假设，输出跟踪结果，并根据跟踪结果对假设树进行裁剪，送入下一帧的跟踪过程，最终完成整个算法流程。

图4为实施例所提出的假设树生成方法与已有的MHT假设树生成方法对比图，其中A为已有的MHT关联树生成示意，B为实施例的MHT关联树生成示意图。如图所示，其中，该簇内有2条轨迹和4个凝聚点。已有的假设树生成方法需要考虑所有的可能关联情况，因此产生两棵树12个节点；实施例提出了基于距离约束和局部最大关联数约束的假设树生成方法，只有轨迹和凝聚点之间的马氏距离(Mahalanobis Distance,MD)小于某一阈值才形成关联此外，每条轨迹在当前帧中除了漏检的情况外最多只能再关联两个凝聚点。图4中，轨迹G1只与凝聚点D1的MD满足条件，因此只有两种关联；轨迹G2与凝聚点D2、D3、D4的MD都满足条件，但是由于最多只能关联两个凝聚点，所以选取MD最小的D2和D4凝聚点进行关联，最终产生两棵树7个节点，较已有的生成方法节点数更少。由于关联树随着层数增加节点数呈指数增长，因此实施例提出的方法在多层关联树中节点比已有的方法显著减小。

关联树生成后，根据点-轨关联对生成超簇并生成不兼容树，对于每一个超簇，根据不兼容树生成邻接矩阵，即使采用关联树生成距离约束和局部最大关联数约束，每一个超簇对应的邻接矩阵可能达到150×150大小，因此实施例提出改进的基于轨迹位置和历史关联情况的假设合并(Hypothesis Merging)策略。MHT中假设对应关联树的一个完整分支。实施例提出的合并策略为:如果两个假设对应的轨迹当前位置相近，且最近两帧关联了同样的量测，认为两条轨迹近似，并保留置信度较高的轨迹，丢弃置信度较低的轨迹。如图5所示，在假设合并后，第二颗树的节点数由8个减少为5个。进行假设合并后，每一个超簇的邻接矩阵最大达到81×81，相对于未进行合并的邻接矩阵，规模减小了3倍。

根据得到的邻接矩阵采用MWIS算法计算最佳假设，然后用扩展卡尔曼滤波(Extended Kalman Filter,EKF)对最佳假设对应的轨迹进行状态估计和更新，并输出MHT跟踪结果。

现有的MHT算法将当前帧的假设树直接输入到下一帧中继续进行假设树生成，完成一个周期后进行假设树裁剪，这样会使得一个周期内假设树规模急剧增大，实施例提出了在一个周期内进行多次假设树裁剪，保留当前假设树节点置信度和最高的子树，丢弃根节点和其它子树，从而保留置信度最高的轨迹，丢弃置信度较低的轨迹。

2)对跟踪容易的簇，采用GNN方法进行跟踪。

(4)对MHT和GNN的跟踪结果进行融合，输出最终跟踪结果并重新进行轨迹起始和终止。

1)输出MHT跟踪的轨迹和GNN跟踪的轨迹；

2)若MHT和GNN中某条轨迹漏检的概率高于某个阈值，则该轨迹终止；

3)若GNN跟踪的轨迹和MHT跟踪的轨迹位置小于某个阈值，则丢弃GNN跟踪的轨迹，保留MHT跟踪的轨迹；

4)对未被任何轨迹关联的凝聚点，采用逻辑法起始轨迹，若连续多帧起始轨迹能够关联到凝聚点，则转为确认轨迹并送入跟踪模块中，否则轨迹终止。

Claims (6)

1.一种基于毫米波雷达的多人跟踪方法，其特征在于，首先从毫米波雷达数据立方中生成点云数据，然后采用轨迹聚类的方法对轨迹和凝聚点进行跟踪难度的分类；采用多模跟踪方法对跟踪难易程度不同的轨迹采用不同的跟踪方法进行跟踪，对不同跟踪方法的结果进行融合，并根据跟踪结果进行多模态的轨迹起始和终止；

轨迹聚类时采用近邻聚类方法，距离小于某一阈值的轨迹聚到同一个簇中，对于轨迹数量大于某个阈值或者位置方差小于某个阈值的簇，分类为跟踪困难的簇；对于轨迹数量小于阈值而且位置方差大于某个阈值的簇，分类为跟踪容易的簇；

对较难处理的轨迹采用多假设跟踪算法进行跟踪，对容易处理的轨迹采用全局最近邻数据关联算法进行跟踪。

2.如权利要求1所述一种基于毫米波雷达的多人跟踪方法，其特征在于，所述点云数据包括点迹的数量、距离、多普勒信息和角度参数。

3.如权利要求1所述一种基于毫米波雷达的多人跟踪方法，其特征在于，多假设跟踪算法在生成假设树时，基于距离约束和局部最大关联数约束生成假设树。

4.如权利要求1所述一种基于毫米波雷达的多人跟踪方法，其特征在于，多假设跟踪算法在生成不兼容超簇的邻接矩阵时，如果两个假设对应的轨迹当前位置相近，且最近两帧关联了同样的量测，认为两条轨迹近似，并保留置信度较高的轨迹，丢弃置信度较低的轨迹。

5.如权利要求1所述一种基于毫米波雷达的多人跟踪方法，其特征在于，多假设跟踪算法在每次完成最佳假设计算之后，会根据计算结果在一个周期内进行多次假设树裁剪，保留当前假设树节点置信度和最高的子树。

6.如权利要求1所述一种基于毫米波雷达的多人跟踪方法，其特征在于，跟踪结果融合的步骤包括：

1)输出多假设跟踪算法跟踪的轨迹和全局最近邻数据关联算法跟踪的轨迹；

2)若多假设跟踪算法跟踪的轨迹和全局最近邻数据关联算法跟踪的轨迹中某条轨迹漏检的概率高于某个阈值，则该轨迹终止；

3)若多假设跟踪算法跟踪的轨迹和全局最近邻数据关联算法跟踪的轨迹之间的位置小于某个阈值，则丢弃全局最近邻数据关联算法的轨迹，保留多假设跟踪算法跟踪轨迹；

4)对未被任何轨迹关联的凝聚点，采用逻辑法起始轨迹，若连续多帧起始轨迹能够关联到凝聚点，则转为确认轨迹并送入跟踪模块中，否则轨迹终止。

Images