CN114299417A - 一种基于雷视融合的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于雷视融合的多目标跟踪方法，该方法通过解析雷达信号，获取雷达帧多个目标状态信息；视频监控设备获取的图像输入至卷积模型进行目标识别，得到视频态目标状态信息；利用透视变换雷达信号和目标信号变换至相同坐标系，建立雷达目标与视频目标之间的数据关联，融合雷视信息并存入跟踪器；预测跟踪器内目标下一时刻状态，关联预测目标和观测目标数据信息并进行航迹匹配；利用滤波算法和参数阈值对关联后的信号进行滤波更新，完成多目标跟踪。本发明方法融合了雷达和视频信息，克服了单一信息系统带来的目标不准确性、雷达对静态目标的测不准和大目标多测、单一视频检测易受环境光线干扰等问题，实现了更加全面、准确的目标检测。

Description

一种基于雷视融合的多目标跟踪方法

技术领域

本发明属于智能交通检测领域，特别是一种基于多源信息的多目标跟踪方法，尤其涉及一种基于雷视融合的多目标跟踪方法。

背景技术

近年来，随着“智慧城市”建设地位的日益提高，交通监控系统应用越来越广泛。为降低交通事故的发生率，减少交通伤亡那个和交通损失，需要对监测区域进行精准识别与航迹追踪。

传统目标跟踪基于单传感器采集的信号进行分析，存在各种弊端。毫米波雷达通过对检测区域进行调制连续波的发射和接收进行目标检测跟踪，可较为精准的获取目标位置和速度信息，当目标物为静止状态或者体积较大时，信号消失或者出现多个检测目标，造成跟踪不准；激光雷达通过发射激光束进行目标定位，测距和分辨率很高，但无法测速且受天气影响较大；视频传感检测通过提取目标特征进行分类及定位，可直观获取目标的位置、尺寸及类别信息，但是受天气、昼夜影响较大。

单一视频在目标检测阶段常使用背景减除法、Codebook算法混和高斯模型等对运动目标进行检测，在目标跟踪阶段使用CSK算法、颜色特征算法、Struck算法等，其中对于跟踪目标的速度依靠两帧之间位置变化计算得到，设计的算法和处理过程较多，且受限条件较多，甚至有些视频检测算法依据手动提取目标特征的方式，基于目标的多样性，不能做到完全覆盖。基于单雷达的检测算法，因信息有限，做信号跟踪时对虚假点进行过滤，在目标由静止到突然运动的情况下，易出现跟踪器无法准确跟踪的现象。

发明内容

本发明的目的在于针对上述单一检测跟踪方法的缺点，提供一种基于雷视融合的多目标跟踪方法，采用基于深度学习的检测方法进行视频目标检测，利用聚类分析实现雷达点检测，融合雷达和视频检测信息以实现多目标的准确跟踪。既保证了足够大的检测区域、足够精确的数据、气候条件影响的忽略，又能提供现场影像信息，实现了多目标的精准跟踪。

实现本发明目的的技术解决方案为：一种基于雷视融合的多目标跟踪方法，所述方法包括以下步骤：

步骤1，采集雷达信号并解析，获取雷达检测点状态信息，包括位置、速度；

步骤2，采集实时视频流，加载目标检测模型，将获取的视频图像输入检测模型进行推理，得到视频目标的状态信息，包括位置、类别、尺寸；

步骤3，利用透视变换将雷达目标映射至视频坐标系，得到雷达跟踪信号在视频帧的位置信息；

步骤4，利用同一坐标系下雷达信号目标和视频目标的位置信息关联两种信号，依据关联状态进行雷视信息融合；

步骤5，建立目标跟踪器并存入融合目标，预测跟踪器目标下一时刻的位置信息并与观测目标即雷视融合后的目标进行数据关联，实现跟踪目标的航迹匹配，利用滤波算法和参数阈值对匹配信号进行滤波更新，更新跟踪器目标信息，完成多目标跟踪。

进一步地，步骤1所述采集雷达信号并解析，获取雷达检测点状态信息，包括位置、速度，具体包括：

通过去噪、滤波、K-Means聚类分析解析得到雷达检测的各种目标信息，包括静态目标和动态目标信息，滤除静态目标信息，依据动态目标信息获取目标的位置及速度信息。

进一步地，步骤2中目标的检测框架为darknet，目标检测模型为利用训练集训练后的yolov3模型，所述数据集包括不同的交通数据场景并依据检测目标类型进行标定，并在推理过程即模型训练和验证中使用TensorRT加速推理框架加速推理。

进一步地，该方法通过选取多组不共线的雷达目标与视频目标点对信息，完成透视变换矩阵的计算，并通过该矩阵实现雷达信号在视频帧图像的坐标映射，步骤3中所述透视变换过程中坐标对中视频目标点的选择为：选择视频检测框的中间靠下1/3位置处作为视频检测点坐标：

式中，x_img和y_img为视频检测点坐标，x_o和y_o为视频检测框左上角点，width和height分别为检测框的宽和高；

雷达在视频坐标系的映射计算公式为：

式中，M为透视变换矩阵，(X,Y,Z)为雷达点在世界坐标系的坐标，分别为横纵向位置信息及高度信息，(x_r,y_r)为在雷达点在雷达坐标系的坐标，x_{r_v}和y_{r_v}为雷达检测点在视频坐标系的坐标，Width和Height为检测图像的宽和高。

进一步地，步骤4中雷视目标依据透视变换进行位置信息关联,凭借多状态判定实现雷视准确融合，融合过程具体包括：

步骤4-1，输入雷达目标检测点和视频目标检测框，依据透视变换矩阵将雷达目标检测点变换至视频坐标系，计算每个视频检测点与每个雷达目标检测点的距离，构建距离矩阵；

步骤4-2，将距离矩阵作为参数输入匈牙利匹配算法关联雷达目标与视频目标，判定形成关联关系的雷达目标和视频目标为同一目标，雷视关联状态判定为融合态，未关联的雷达目标雷视关联状态判定为单雷达态，未关联的视频目标雷视关联状态判定为单视频态；

步骤4-3，对于单雷达态目标，分配ID，初始化检测目标真假点状态为假点状态，以雷达目标检测点为中心、目标的实际尺寸作为长宽，在雷达坐标系虚拟一个雷达检测框，并将其透视变换到视频坐标系作为单雷达态的初始化检测框；对于单视频态目标，分配ID，初始化检测目标真假点状态为假点状态，以视频检测点逆透视变换到雷达坐标系作为单视频态的初始化雷达检测点；

步骤4-4，对于处于融合态的检测目标，分配ID，融合两种检测信息，包括雷达检测的位置和速度信息，视频检测的检测框位置信息、目标类别信息，判断所有融合态检测目标是否存在一检测框多雷达点现象，对于一框一点的检测目标，判定真假点状态为真点状态，对于一框多点的检测目标，选择距视频检测点最近的雷达检测目标所对应的ID为真点，其余框内ID判定为假点；

步骤4-5，依据检测目标的速度信息判断目标的运动状态，单雷达态和融合态目标速度均为雷达检测提供的速度信息，单视频态目标速度为0，对所有融合后的目标是否在检测区域内进行判断，若在检测区域内则保留目标，反之，删除目标，将最终保留的目标作为融合后的结果。

进一步地，步骤4中雷视融合信息具体包括：检测目标ID号，雷达及视频位置信息，静止启动状态，雷视关联状态，检测目标类别，真假点状态，速度信息。ID号根据雷达检测目标数量进行分配，目标在雷达及视频坐标的位置信息，由检测器检测和透视变换计算共同组成，静止启动状态根据一段时间内跟踪目标的速度及速度阈值判定。

进一步地，步骤4所述融合过程中，进行视频检测框的向前预测以实现视频与雷达帧的检测信息同步，视频检测框推理更新时，选用更新后的检测框作为视频检测框，未更新时，利用融合信息的速度信息，跟踪频率进行检测框的向前预测，选用计算检测框作为视频检测框。

进一步地，该方法中目标跟踪器记录检测目标的整个存在生命周期，跟踪器中当前所存目标为当前时刻目标的观测态，利用位置、速度、加速度及采样周期进行检测目标下一时刻的状态预测，将预测信息与下一时刻的关测目标通过位置信息进行匈牙利匹配关联，整个过程参考真假点进行选择性匹配。该方法利用最近邻域关联法将跟踪目标当前预测信息和观测信息进行关联，并通过卡尔曼滤波进行噪声滤波，利用目标融合状态的阈值进行跟踪器更新。步骤5跟踪器跟踪过程包括以下步骤：

步骤5-1，建立目标跟踪器，并输入新采集的雷视融合后的目标即观测目标信息，判断是否为第一帧跟踪信息，若是，则初始化未匹配参数均为0，否则执行下一步；其中，未匹配参数包括：未匹配视频检测框帧数、为匹配雷达点帧数，并将融合目标信息存入目标跟踪器；

步骤5-2，依据跟踪器中跟踪目标的位置速度信息以及跟踪频率进行跟踪目标下一时刻的状态预测，然后利用预测目标和观测目标的雷达位置信息进行距离计算，利用匈牙利匹配关联预测目标与观测目标；

步骤5-3，对关联结果进行分析，对于没有与观测目标匹配上的跟踪器预测目标，未匹配参数加1；对于没有与跟踪器预测目标匹配上的目标，新增加至跟踪器，并初始化各种状态；对于存在关联性的两种目标，预测目标的位置、速度信息及真假点状态信息更新为观测目标的位置信息；对于雷视关联状态，更新依据如下：若预测目标和观测目标雷视关联状态均为同一种状态，则雷视关联状态不变，若二者雷视关联状态不同，则更新关联状态为融合态；

步骤5-4，对跟踪器内目标的速度进行运动状态更新，其中，运动状态包括：启动状态、静止状态、启动次数和静止次数，当启动次数由0达到预设阈值时，静止次数置0，运动状态设置为启动状态，反之设置为静止状态；

步骤5-5，对状态更新后的跟踪器目标的删除进行状态阈值决策，当跟踪器目标不在检测区域时、或者静止次数超过预设阈值时、或者启动态跟踪器目标未匹配雷达点次数超过阈值阈值时、或者静止态未匹配视频检测框超过预设阈值时，删掉跟踪器内的该目标；

步骤5-6，利用卡尔曼滤波对跟踪器内的目标进行噪声滤除，然后筛选出为真点的跟踪目标进行目标显示，判断跟踪是否结束，若未结束则返回步骤5-2进行下一次跟踪

本发明与现有技术相比，其显著优点为：

1、本发明选择雷视融合信息作为目标检测器的输入信息，克服了单雷达带来的不可视化、静止目标判断不准确、大目标物拆分的弊端，以及单视频易受到光线影响、能见度影响、低检测帧率的弊端，增强了多目标跟踪识别的鲁棒性。

2、本发明选用视频检测框的中心靠下位置，充分考虑雷达测物时反射位置，相比于检测框随机选点作为视频目标检测点，增强了透视变换的准确性，为雷视融合提供了可靠的依据。

3、本发明设置多种状态阈值约束跟踪器中目标，实现了跟踪目标的准确定位跟踪及及时删除，极大程度上减少了目标跟踪中的频发切ID、目标跟丢现象，相比于现有技术，该方法可塑性强，依据跟踪状态及环境变换切换跟踪模式，实现检测目标的准确跟踪，增强了多目标识别跟踪的全面性，为智能交通管理提供的新方法。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中基于雷视融合的多目标跟踪方法的流程示意图。

图2为一个实施例中基于雷视融合的多目标跟踪方法的解析雷达数据的聚类分析图。

图3为一个实施例中基于雷视融合的多目标跟踪方法的单雷达多目标示意图。

图4为一个实施例中基于雷视融合的多目标跟踪方法的视频帧目标检测示意图。

图5为一个实施例中基于雷视融合的多目标跟踪方法的雷达目标透视变换示意图。

图6为一个实施例中基于雷视融合的多目标跟踪方法的雷视融合流程图。

图7为一个实施例中基于雷视融合的多目标跟踪方法的雷视融合结果示意图。

图8为一个实施例中基于雷视融合的多目标跟踪方法的目标跟踪流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，结合图1，提供了一种基于雷视融合的多目标跟踪方法，包括以下步骤：

步骤1，采集雷达信号并解析，获取雷达检测点状态信息，包括位置、速度；

步骤2，采集实时视频流，加载目标检测模型，将获取的视频图像输入检测模型进行推理，得到视频目标的状态信息，包括位置、类别、尺寸；

步骤3，利用透视变换将雷达目标映射至视频坐标系，得到雷达跟踪信号在视频帧的位置信息；

步骤4，利用同一坐标系下雷达信号目标和视频目标的位置信息关联两种信号，依据关联状态进行雷视信息融合；

步骤5，建立目标跟踪器并存入融合目标，预测跟踪器目标下一时刻的位置信息并与观测目标即雷视融合后的目标进行数据关联，实现跟踪目标的航迹匹配，利用滤波算法和参数阈值对匹配信号进行滤波更新，更新跟踪器目标信息，完成多目标跟踪。

在本发明的实施例中，雷达解析是通过去噪、滤波、K-Means聚类分析解析得到的；视频帧进行目标检测识别所用卷积模型为Darknet，结合Yolov3算法，所识别的目标包括：car,bus,person,bike,truck,并且在目标检测中使用TensorRT加速推理；雷达信号与视频信号之间的透视变换矩阵利用点集密集区域覆盖进行求解，减少矩阵的不准确带来的雷视信息无法关联；视频与雷达信息利用最近邻域关联法进行关联，设置各种状态变量用于区分真假跟踪点，并且进行多点对应同一检测区域时多余点的删除及非关联点的取舍；建立目标跟踪器并放入融合目标，依据是当前融合目标的位置、速度、加速度、采样时间进行当前帧信号的向后预测，并采用卡尔曼滤波进行状态预测，通过匈牙利匹配算法进行预测目标与观测目标之间的关联匹配,建立ID进行目标轨迹的追踪；噪声滤波依据卡尔曼滤波算法，所述算法中的噪声参数通过对雷达原始数据的拟合分析得到，滤波后的目标信息进行状态更新为下一次雷视信息融合做准备；跟踪器中更新的信息为视频帧融合信息通过透视逆变换转换为物理坐标系坐标，并且对一些位置状态信息进行更新。

本发明针对智能交通中全方位、实时、准确、高效的综合运输管理体系要求、提升交通运输的安全水平和减轻交通堵塞，提出了一种基于雷视融合的多目标跟踪方法，该算法从多源信息角度出发，综合两种数据源优势，实现多目标检测跟踪。该算法具体为首先进行雷达信号的解析与处理，建立跟踪器，基于雷达信号完成初级目标跟踪；通过视频信息获得图像层面的目标检测结果；依据坐标透视变换进行雷视两种信号的坐标统一，两中信号数据关联后再进行逆透视变换至雷达坐标系存储在跟踪器，完成终极目标跟踪。

雷达信号解析

雷达信号源数据处理为，由雷达获取云数据集，依据K-Means对点云数据进行聚类分析，设置类别数K值及每个类别的初始质心对相似的数据进行划分，以欧式距离作为归类指标，反复迭代致使各类样本到聚类中心距离的平方和最小，提取各种动态数据，提出相对静止数据，聚类分析结果如图2所示，图3为雷达解析后的可视化显示结果。

视频信号获取与目标检测

进行视频目标检测首先需要得到卷积检测模型，本实施例选择Darknet模型并采用YoloV3算法进行训练，对跟踪目标种类进行标记，包括：car、person、truck、bus、bike，然后进行卷积模型权重参数的训练，其中训练集与验证集之间的样本比例为7:3，batchsize设置为64，learning_rate设置为0.001，并通过设置旋转角度、调整饱和度、曝光量及色调生成更多训练样本，学习率调整策略选择steps,当训练达到一定次数时改变学习率的衰减。训练好的卷积模型是网络模型和权重参数的结合，将模型文件传入TensorRT深度学习框架进行解析，生成ONNX通用模型再转化为TRT模型，进行加速推理及部署。具体操作为对采集的视频帧图像首先进行尺寸变换，使得输入图片尺寸为416×416，然后输入至yolov3检测模型进行推理，并利用TensorRT加速推理，图4为目标识别结果，获得目标的位置、尺寸、类别及概率信息。

雷视信息融合

雷视信息融合的前提条件为进行雷达信号和视频信号处于同一坐标系，因目标尺寸的差异，探究点与区域的位置关系较点与点的位置关系更具有合理性，本实施例将雷达信号映射到视频图像坐标系，如图5，并通过判断雷达点与目标检测框的位置关系进行两种数据的关联，坐标转换需要的透视变换矩阵通过点集密集区域覆盖的方式进行求解。

经坐标变换后的雷达信号与视频检测框存在对应关系，因雷达检测对大目标检测物效果不佳，易存在目标多雷达点现象，因此建立两种信号关联关系时需要进行目标点的剔除。两种信号凭借相对距离建立关联，求解方式如下式，x_i和y_i为雷达坐标点的位置信息，x_o和y_o为目标检测框的前三分之一中心位置坐标，w和h分别为检测框的宽与高，以此相对距离建立二者的相关关系。针对多雷达点对应同一检测框的现象，按相对距离排序，距离较远的雷达点进行删除处理。目标静止没有雷达信息，利用视频信息进行校正，与目标跟踪器中的静止目标进行匹配，对匹配上的目标进行阈值参数更改。雷视融合过程如图6所示，对于关联匹配上的数据点进行二者信息融合操作，得到融合目标与图像坐标上的位置信息，速度信息，加速度信息，类别信息，尺寸信息及状态信息，未匹配上的雷达目标做保留观察处理，添加未匹配的图像目标做目标补充处理。将融合后的目标信息显示在可视化界面上，进行精度检测，其结果如图7所示。

融合目标的跟踪过程如图8，包括跟踪器中前一帧目标在当前帧的状态预测、预测目标与观测目标的数据关联及匹配、当前帧目标的滤波处理及更新跟踪器中目标。对前一帧中获取的目标进行当前帧的状态预测，其预测方式如下式所示，依据t-1时刻的位置、速度、加速度信息对t时刻的目标状态进行预测。

建立t时刻预测信号和观测信号的关联矩阵，假设t-1时刻存在M个目标，t时刻存在N个目标，建立一个M×N的关联矩阵，并存入每一个预测目标和观测目标之间的欧式距离，利用最近邻邻域关联算法和匈牙利匹配进行目标匹配，具体为对关联矩阵先做行变换减去每一行最小值，在针对列做同样的变换，通过寻不同行不同列的零找最优解指派，当零个数未达到行或列的最小值时，调整矩阵再次重复上述过程的反操作，直到零个数未达到行或列的最小值为止。

前一帧未匹配的目标保留处理，后一帧未匹配的目标分配新ID，建立新的航迹线并存入跟踪器，对跟踪器中的目标进行卡尔曼滤波处理，其过程考虑过程噪声和观测噪声，分析原始数据信息，利用位置、速度、加速度进行数据拟合，确定雷达自身噪声带来的影响，其噪声确定方式如下式所示：

分别从横向变化和纵向变化考虑，将得到的噪声带入至下式中的B中进行当前时刻的过程预测，进行相应的噪声补偿，在此基础上，进行协方差矩阵的求解，并利用当前时刻的观测信号进行卡尔曼增益求解，最终得到当前时刻目标数据的滤波信号。

X_t-predict＝F*X_t-1+B

跟踪器最新结果更新为滤波过后的信息，对跟踪结果在物理坐标系进行阈值约束，利用透视逆变换矩阵进行坐标变换，通过对其状态分析，经过阈值判断，剔除监测区域之外的数据，跟新跟踪器，完成当前时刻的多目标跟踪。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于雷视融合的多目标跟踪方法，其特征在于，所述方法包括以下步骤：

步骤1，采集雷达信号并解析，获取雷达检测点状态信息，包括位置、速度；

步骤2，采集实时视频流，加载目标检测模型，将获取的视频图像输入检测模型进行推理，得到视频目标的状态信息，包括位置、类别、尺寸；

步骤3，利用透视变换将雷达目标映射至视频坐标系，得到雷达跟踪信号在视频帧的位置信息；

步骤4，利用同一坐标系下雷达信号目标和视频目标的位置信息关联两种信号，依据关联状态进行雷视信息融合；

步骤5，建立目标跟踪器并存入融合目标，预测跟踪器目标下一时刻的位置信息并与观测目标即雷视融合后的目标进行数据关联，实现跟踪目标的航迹匹配，利用滤波算法和参数阈值对匹配信号进行滤波更新，更新跟踪器目标信息，完成多目标跟踪。

2.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤1所述采集雷达信号并解析，获取雷达检测点状态信息，包括位置、速度，具体包括：

通过去噪、滤波、K-Means聚类分析解析得到雷达检测的各种目标信息，包括静态目标和动态目标信息，滤除静态目标信息，依据动态目标信息获取目标的位置及速度信息。

3.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤2中目标的检测框架为darknet，目标检测模型为利用训练集训练后的yolov3模型，所述数据集来源于不同的交通数据场景并依据检测目标类型进行标定，并在推理过程即模型验证中使用TensorRT加速推理框架加速推理。

4.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤3中所述透视变换过程中坐标对中视频目标点的选择为：选择视频检测框的中间靠下1/3位置处作为视频检测点坐标：

式中，x_img和y_img为视频检测点坐标，x_o和y_o为视频检测框左上角点，width和height分别为检测框的宽和高；

雷达在视频坐标系的映射计算公式为：

式中，M为透视变换矩阵，(X,Y,Z)为雷达点在世界坐标系的坐标，(x_r,y_r)为在雷达点在雷达坐标系的坐标，x_{r_v}和y_{r_v}为雷达检测点在视频坐标系的坐标，Width和Height为检测图像的宽和高。

5.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤4中雷视目标依据透视变换进行位置信息关联,凭借多状态判定实现雷视准确融合，融合过程具体包括：

步骤4-1，输入雷达目标检测点和视频目标检测框，依据透视变换矩阵将雷达目标检测点变换至视频坐标系，计算每个视频检测点与每个雷达目标检测点的距离，构建距离矩阵；

步骤4-2，将距离矩阵作为参数输入匈牙利匹配算法关联雷达目标与视频目标，判定形成关联关系的雷达目标和视频目标为同一目标，雷视关联状态判定为融合态，未关联的雷达目标雷视关联状态判定为单雷达态，未关联的视频目标雷视关联状态判定为单视频态；

步骤4-3，对于单雷达态目标，分配ID，初始化检测目标真假点状态为假点状态，以雷达目标检测点为中心、目标的实际尺寸作为长宽，在雷达坐标系虚拟一个雷达检测框，并将其透视变换到视频坐标系作为单雷达态的初始化检测框；对于单视频态目标，分配ID，初始化检测目标真假点状态为假点状态，以视频检测点逆透视变换到雷达坐标系作为单视频态的初始化雷达检测点；

步骤4-4，对于处于融合态的检测目标，分配ID，融合两种检测信息，包括雷达检测的位置和速度信息，视频检测的检测框位置信息、目标类别信息，判断所有融合态检测目标是否存在一检测框多雷达点现象，对于一框一点的检测目标，判定真假点状态为真点状态，对于一框多点的检测目标，选择距视频检测点最近的雷达检测目标所对应的ID为真点，其余框内ID判定为假点；

步骤4-5，依据检测目标的速度信息判断目标的运动状态，单雷达态和融合态目标速度均为雷达检测提供的速度信息，单视频态目标速度为0，对所有融合后的目标是否在检测区域内进行判断，若在检测区域内则保留目标，反之，删除目标，将最终保留的目标作为融合后的结果。

6.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤4中雷视融合信息具体包括：检测目标ID号，雷达及视频位置信息，静止启动状态，关联状态，检测目标类别，真假点状态，速度信息。

7.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤4所述融合过程中，进行视频检测框的向前预测以实现视频与雷达帧的检测信息同步，视频检测框推理更新时，选用更新后的检测框作为视频检测框，未更新时，利用融合信息的速度信息，跟踪频率进行检测框的向前预测，选用计算检测框作为视频检测框。

8.根据权利要求1或5所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤5跟踪器跟踪过程包括以下步骤：

步骤5-1，建立目标跟踪器，并输入新采集的雷视融合后的目标即观测目标信息，判断是否为第一帧跟踪信息，若是，则初始化未匹配参数均为0，否则执行下一步；其中，未匹配参数包括：未匹配视频检测框帧数、为匹配雷达点帧数，并将融合目标信息存入目标跟踪器；

步骤5-2，依据跟踪器中跟踪目标的位置速度信息以及跟踪频率进行跟踪目标下一时刻的状态预测，然后利用预测目标和观测目标的雷达位置信息进行距离计算，利用匈牙利匹配关联预测目标与观测目标；

步骤5-3，对关联结果进行分析，对于没有与观测目标匹配上的跟踪器预测目标，未匹配参数加1；对于没有与跟踪器预测目标匹配上的目标，新增加至跟踪器，并初始化各种状态；对于存在关联性的两种目标，预测目标的位置、速度信息及真假点状态信息更新为观测目标的位置信息；对于雷视关联状态，更新依据如下：若预测目标和观测目标雷视关联状态均为同一种状态，则雷视关联状态不变，若二者雷视关联状态不同，则更新关联状态为融合态；

步骤5-4，对跟踪器内目标的速度进行运动状态更新，其中，运动状态包括：启动状态、静止状态、启动次数和静止次数，当启动次数由0达到预设阈值时，静止次数置0，运动状态设置为启动状态，反之设置为静止状态；

步骤5-5，对状态更新后的跟踪器目标的删除进行状态阈值决策，当跟踪器目标不在检测区域时、或者静止次数超过预设阈值时、或者启动态跟踪器目标未匹配雷达点次数超过阈值阈值时、或者静止态未匹配视频检测框超过预设阈值时，删掉跟踪器内的该目标；

步骤5-6，利用卡尔曼滤波对跟踪器内的目标进行噪声滤除，然后筛选出为真点的跟踪目标进行目标显示，判断跟踪是否结束，若未结束则返回步骤5-2进行下一次跟踪。

Images