CN116958189B - 基于线段关联的运动点目标时空域轨迹跟踪方法 - Google Patents

Abstract

本发明涉及运动点目标的轨迹提取与跟踪领域，特别涉及一种基于线段关联的运动点目标时空域轨迹跟踪方法。该方法包括：将高速相机拍摄的运动点目标视频等时间间隔地划分为多个基本处理单元，获得各基本处理单元内包含空域位置信息和时域时刻信息的三维候选点目标；通过三维霍夫变换构建投票网格，并由单个基本处理单元内的候选目标点进行投票，实现单个基本处理单元内线段轨迹的检测与优化；利用各基本处理单元内线段轨迹的平均位置、平均速度及轨迹外观构建状态变量，并输入DeepSORT跟踪模型，对各基本处理单元的线段轨迹进行轨迹关联与维护，实现对运动点目标的轨迹跟踪。本发明实现了运动点目标的跟踪，提高了准确率，降低了虚警率。

Description

基于线段关联的运动点目标时空域轨迹跟踪方法

技术领域

本发明涉及运动点目标的轨迹提取与跟踪领域，特别涉及一种基于线段关联的运动点目标时空域轨迹跟踪方法。

背景技术

运动点目标的轨迹跟踪在军事、国防等领域都有着重要的应用潜力，目前也是目标检测与跟踪领域的热点之一。监测高威胁动态目标时需要较大的视场，因此地面分辨率较小，目标在视频的单帧图像中接近单像元，且通常缺乏纹理信息，为低信噪比的暗弱点目标。检测过程中暗弱的高速运动点目标与背景噪声通常难以区分，单帧图像的检测结果中通常存在较多的虚警点，轨迹提取与跟踪的难度较大。

主流的目标跟踪方法可以分为无检测跟踪（Detection Free Tracking, DFT）和有检测跟踪（Detection-Based-Tracking, DBT）。无检测跟踪方法首先通过目标检测或人工手动选择一个ROI（Region of Interest，感兴趣）区域作为跟踪对象的初始状态，接下来仅使用跟踪器对ROI区域进行跟踪。跟踪器利用的是相邻帧ROI区域的特征相似度，可以分为经典跟踪算法、核相关滤波跟踪算法和深度学习方法。国际光学工程学会（SPIE）按照目标所占像元数目的多少，定义小目标为尺寸小于80个像元的目标，其中尺寸约为1个像元的小目标称为点目标。无检测跟踪方法对大尺寸目 标跟踪效果较好，但对于缺乏纹理、尺寸信息的小目标跟踪问题效果不佳。有检测跟踪方法通过目标检测器为跟踪器提供每一帧的检测结果，再通过跟踪器提取正确的轨迹，常用的跟踪器有卡尔曼滤波跟踪器、SORT（Simple Online and Realtime Tracking）和DeepSORT等。有检测跟踪方法能够在目标漏检和误检的情况下提取正确的轨迹，并能够解决目标遮挡和多轨迹重叠的问题。

由于暗弱运动点目标的尺寸接近单像元，且信噪比极低，易被背景噪声淹没，缺乏纹理特征信息，因此无检测的跟踪方法难以实现ROI区域的特征提取，目标轨迹跟踪效果较差。有检测的跟踪算法将对每帧的检测结果都进行轨迹匹配，而暗弱运动点目标的检测结果在单帧图像内为接近单像元的点状目标，且存在较多的背景噪声导致的误检点，因此仅使用传统的有检测跟踪算法将导致目标跟踪效率低下。

发明内容

本发明的目的在于解决运动点目标检测与轨迹提取中虚警点的干扰问题，本发明提供一种基于线段关联的运动点目标时空域轨迹跟踪方法，利用各基本处理单元内候选点的时空域信息去除检测过程中存在的虚警点，并通过改进的DeepSORT跟踪方法进一步优化目标轨迹。该方法可以有效解决低信噪比运动点目标多轨迹提取难题，提高检测准确率，同时降低虚警率。

为达到上述目的，本发明通过下述技术方案实现。

本发明提出了一种基于线段关联的运动点目标时空域轨迹跟踪方法，所述方法包括：

将高速相机拍摄的运动点目标视频等时间间隔地划分为多个基本处理单元，获得各基本处理单元内包含空域位置信息和时域时刻信息的三维候选点目标；通过三维霍夫变换构建投票网格，并由单个基本处理单元内的候选目标点进行投票，实现单个基本处理单元内线段轨迹的检测与优化；

利用各基本处理单元内线段轨迹的平均位置、平均速度及轨迹外观构建状态变量，并输入DeepSORT跟踪模型，对各基本处理单元的线段轨迹进行轨迹关联与维护，实现对运动点目标的轨迹跟踪。

作为上述技术方案的改进之一，所述获得各基本处理单元内包含空域位置信息和时域时刻信息的三维候选点目标，具体包括：

每个基本处理单元中运动点目标经过单像元时会在其时域上产生瞬态扰动，针对每个像元判断是否存在瞬态扰动即可得到各基本处理单元内具有时域与空域三维信息的候选点目标。

作为上述技术方案的改进之一，所述通过三维霍夫变换构建投票网格，具体包括：

针对各基本处理单元内的三维候选目标点设定三维空间原点，并将候选点平移使得它们的中心与原点重合；

将单个基本处理单元内的目标轨迹看作直线段；

假设通过单个基本处理单元内某运动目标的直线段轨迹的直线为，用一过原点且垂直于直线/>的平面/>，及在平面/>坐标系下的直线/>和平面/>的交点/>对直线/>进行表示；对于在直线/>上的任意一点/>，平面/>坐标系下的/>计算如下：

其中，/>表示直线方向的向量/>；

直线上的任意一点p在平面/>坐标系下表示为：

对通过直线段轨迹的直线L的方向向量的与平面/>分别进行离散化，得到霍夫变换的三维参数空间，以及参数空间的投票网格。

作为上述技术方案的改进之一，对单个基本处理单元内通过直线段轨迹的直线L的方向向量进行离散化时，采用正多面体的顶点作为离散化的方向向量；

对平面进行离散化时，取步长为/>对平面/>进行离散化，得到平面/>的投票网格空间大小为/>；/>表示向上取整；参数空间的投票网格的数量为：

其中，为正多面体的顶点数；/>表示候选点在二维平面/>坐标系上的坐标限度：将三维候选点的中心平移到原点后，候选点在二维平面/>坐标系上/>的取值范围为与/>，计算式如下：

其中，/>和/>分别表示三维候选点平移后分别在/>上的最大值和最小值。

作为上述技术方案的改进之一，所述由单个基本处理单元内的候选目标点进行投票，实现单个基本处理单元内线段轨迹的检测与优化，具体包括：

将单个基本处理单元内中心已平移至原点的三维候选点分别带入交点在平面/>坐标系中的计算式，得到参数空间中的映射，并在投票网格中进行投票；

对于投票数大于预先设定的阈值的每个网格，根据直线/>上的任意一点p在平面坐标系中的计算式计算出三维空间中的一条候选直线方程；

遍历该基本处理单元内的候选点，找到该候选直线方程附近的所有候选点，若候选点数目大于预先设定的阈值，则认为该候选直线方程为候选点中存在的直线段轨迹；

根据周围的候选点进行直线的修正，保存直线段轨迹参数与周围候选点参数，并完成轨迹优化。

作为上述技术方案的改进之一，所述利用各基本处理单元内线段轨迹的平均位置、平均速度及轨迹外观构建状态变量，并输入DeepSORT跟踪模型，对各基本处理单元的线段轨迹进行轨迹关联与维护，具体包括：

通过卡尔曼滤波跟踪器对于输入的当前基本处理单元运动点目标直线段轨迹的状态变量进行预测，获得下一基本处理单元的预测状态；

使用直线段轨迹的代价矩阵匹配下一基本处理单元的预测状态与检测结果；

根据匹配结果对输入的运动点目标直线段轨迹进行关联维护，同时对卡尔曼滤波跟踪器进行更新，获得下一基本处理单元的最终估计状态。

作为上述技术方案的改进之一，所述通过卡尔曼滤波跟踪器对于输入的当前基本处理单元运动点目标直线段轨迹的状态变量进行预测，获得下一基本处理单元的预测状态，具体包括：

构建单位时间内运动点目标轨迹的状态变量，表示为：

其中，/>和/>分别表示点目标运动轨迹的平均位置和平均速度，/>、/>和/>表示点目标运动轨迹外观在空间与时间上的长度；

在相邻两个基本处理单元内，将目标的运动认为是一个恒速的运动模型；基于卡尔曼滤波跟踪器根据上一基本处理单元轨迹的状态变量对当前基本处理单元的状态进行预测，预测过程如下：

其中，/>表示目标在第/>个基本处理单元的预测状态；/>表示目标轨迹在第/>个基本处理单元的运动轨迹观测值；/>表示从第/>个基本处理单元到第/>个基本处理单元的状态转移矩阵；/>表示运动模型的噪声；/>表示第/>个基本处理单元预测状态的协方差矩阵；/>表示第/>个基本处理单元状态的协方差矩阵；角标T表示转置；Q表示状态转移过程的噪声协方差矩阵。

作为上述技术方案的改进之一，所述使用直线段轨迹的代价矩阵匹配下一基本处理单元的预测状态与检测结果，具体包括：

构建点目标轨迹的代价匹配矩阵：

其中，/>表示第/>个基本处理单元有/>个跟踪对象；/>表示第/>个基本处理单元有/>个跟踪对象；/>表示第/>个跟踪对象和第/>个检测目标之间匹配的代价，i=1,2...M，j=1,2,...,N，计算公式如下：

其中，为第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的平均位置与第/>个基本处理单元内第/>个检测目标的平均位置/>间的欧氏距离，表示二者匹配时的位置代价；/>为第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的平均速度/>与第/>个基本处理单元内第/>个检测目标的平均速度/>两个向量间的余弦距离，表示二者匹配时的速度代价；/>表示第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的外观形状/>与第/>个基本处理单元内第/>个检测目标的外观形状在二者匹配时的外观代价；/>、/>、/>分别为/>、/>、/>的加权系数；

、/>、/>分别计算如下所示：

使用代价匹配矩阵将上一基本处理单元的/>个预测结果与下一基本处理单元的/>个检测结果进行匹配，并通过匈牙利算法求得最优匹配解，得到的匹配成功的轨迹、未匹配的轨迹与未匹配的检测结果。

作为上述技术方案的改进之一，所述根据匹配结果对输入的运动点目标直线段轨迹进行关联维护，同时对卡尔曼滤波跟踪器进行更新，获得下一基本处理单元的最终估计状态，具体包括：

将所跟踪轨迹对象分为初始态、确认态和删除态三种状态；

对于未匹配的检测结果，新建卡尔曼跟踪器并将该目标轨迹记为初始态；

对于匹配成功的轨迹与结果，若该轨迹处于初始态，则重新匹配；当连续多次成功匹配后将初始态转换为确认态，确认态的目标在匹配过程中的优先级高于初始态目标；

对于未匹配的轨迹，引入超参数，当轨迹连续未匹配次数超过/>时确认该跟踪对象彻底丢失，将其状态转换为删除态，并在参与匹配的轨迹中删除该轨迹；

匹配成功后，根据观测值对预测状态进行修改，并对卡尔曼滤波跟踪器进行更新，更新过程如下：

其中，/>表示第/>个基本处理单元修正后的最终估计状态；/>为第/>个基本处理单元的卡尔曼增益，计算如下：

表示第/>个基本处理单元状态的协方差矩阵；/>表示第/>个基本处理单元预测状态的协方差矩阵；I表示单位矩阵，/>为将预测状态从状态空间转换到观测空间的状态转移矩阵；R表示测量噪声协方差矩阵；/>为观测值与预测值的残差，计算如下：

其中，/>表示第/>个基本处理单元的观测值，即轨迹的检测结果。

相比于传统运动点目标轨迹跟踪方法相比，基于线段关联的运动点目标时空域轨迹跟踪方法具有以下优势：

1. 该方法结合了运动点目标的时域和空域信息，利用高帧频相机拍摄的点目标短时间内运动轨迹近似于直线的时空域特性，通过三维霍夫变换实现运动点目标轨迹的提取，有效地降低了虚警率。

2. 针对运动点目标在空域特征弱，难以区分多目标轨迹的问题，基于运动点目标的轨迹特征提出了适用于点目标的时空域DeepSORT轨迹跟踪方法，将一定时间内点目标轨迹的特征描述子即状态变量作为DeepSORT跟踪模型的输入特征，提升了低信噪比运动点目标的跟踪准确率，并能正确处理轨迹交叉与目标遮挡的情况。

附图说明

图1(a)和图1(b)是本发明方法中三维霍夫变换的Robert直线表示法示意图，其中，图1 (a)是使用两个参数方位角和仰角/>表示直线方向的向量/>示意图，图1 (b)是Robert直线表示法；

图2(a)-图2 (c)分别是本发明方法中三维霍夫变换方向向量离散化使用的12、21和81个顶点正多面体示意图；

图3 (a)-图3 (e)是本发明方法中步骤A对含有单运动目标视频的检测结果进行轨迹提取的实验结果示意图，其中，图3 (a)是含单运动点目标的视频的第634帧中目标的示意图，图3 (b)是在单个基本处理单元内的目标检测结果，图3 (c)是该视频中目标轨迹真值，图3 (d)是各基本处理单元的检测结果，图3(e)是经过基于直线检测的轨迹提取后得到的轨迹结果；

图4是本发明方法中构建单位时间内点目标轨迹状态变量的示意图；

图5 (a)-图5 (d)是本发明方法的轨迹提取与轨迹跟踪的实验结果示意图，其中，图5 (a)为含多运动目标视频的运动轨迹真值，共包含四条轨迹，其中轨迹2存在与轨迹1和轨迹3重叠的情况，轨迹4存在由于遮挡导致的轨迹中断情况，图5 (b)表示各基本处理单元的检测结果，图5 (c)表示各基本处理单元进行基于直线检测的轨迹提取的结果，图5 (d)表示轨迹提取的结果经过轨迹跟踪得到的多目标轨迹结果。

具体实施方式

为了解决运动点目标检测与轨迹提取中虚警点的干扰问题，本文申请提出一种基于线段关联的运动点目标时空域轨迹跟踪方法，包括如下步骤：

步骤A：将高速相机在一定时间内拍摄的图像序列作为基本处理单元，将高速相机拍摄的运动点目标视频等时间间隔地划分为多个基本处理单元，对各基本处理单元内暗弱运动点目标进行检测，获得各基本处理单元内包含空域位置信息和时域时刻信息的三维候选点目标，并将包含空域坐标与时域坐标的三维点通过三维霍夫变换构建投票网格，投票数大于阈值的直线将作为候选轨迹，利用直线周围候选点信息进行轨迹优化。

步骤B：针对多目标轨迹难以区分的问题，通过适用于暗弱点目标检测的DeepSORT跟踪框架，用初始态、确认态和删除态三个状态描述一个所跟踪对象的状态，可实现多目标的轨迹跟踪。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

本发明方案由两个部分组成：对各基本处理单元内检测到的具有时域与空域三维信息的候选点目标进行基于三维霍夫变换的直线检测，提取目标的候选轨迹，剔除误检点；根据上一基本处理单元运动轨迹的状态信息与当前基本处理单元的轨迹信息进行轨迹关联和跟踪。

轨迹点的三个维度分别为单帧视频内图像在平面上的、/>两个维度，与时域上的/>维度。本发明将高速相机在一定时间内拍摄的图像序列作为一个基本处理单元，在步骤A中将单个视频分解为多个基本处理单元进行轨迹提取，并在步骤B中对各个基本处理单元中的短时轨迹进行轨迹关联与跟踪。

第一步：轨迹提取

步骤A: 将高速相机拍摄的运动点目标视频等时间间隔地划分为多个基本处理单元，先用时域检测方法对视频中各基本处理单元内的点目标进行检测，得到运动点目标候选点的时域和空域位置信息，再构建直线在三位霍夫变换后得到的参数空间投票网格，最后通过候选点在参数空间投票网格中的投票结果提取候选直线轨迹，并遍历找出候选直线周围的候选目标点，对直线进行修正，具体过程包括：

步骤A1: 待检测的视频为高速相机拍摄的高帧频视频数据，将待检测的视频等时间间隔地划分为多个基本处理单元；由于每个基本处理单元中运动点目标经过单像元时会在其时域上产生一个瞬态的扰动，针对每个运动像元判断是否存在瞬态扰动即可得到各基本处理单元内具有时域与空域三维信息的候选点目标。因此可以通过高阶谱分析、核函数方法及深度学习等方法检测该扰动，使用任意一种检测方法可以得到包含空域位置信息和时域的时刻信息的三维候选点目标。空域指的是单帧图像在平面上的坐标，即x,y平面。

步骤A2: 将单个基本处理单元内的三维候选点平移使得它们的中心与原点重合，并基于三维霍夫变换建立参数空间的投票网格。

由于高速相机拍摄的单个基本处理单元持续时间极短，因此单个基本处理单元内的目标轨迹可以看作近似直线段。假设通过单个基本处理单元内某运动目标的直线段轨迹的直线为；

三维空间中的直线可以用单位向量/>与锚点/>表示：

其中表示直线方向的向量可以用如图1 (a)所示的两个参数方位角/>和仰角/>表示：

如果使用锚点 表示直线的位置，将存在一个冗余的参数。因此我们采用如图1 (b)所示的Robert直线表示法，用一过原点且垂直于直线/>的平面/> ，及在平面坐标系下的直线/>和平面/>的交点/> 对直线/>进行表示。

因此对于在直线上的任意一点/>，平面/>坐标系下的/>可计算如下：

综上可知，点可由下式表示：

接下来对参数空间进行离散化，创建投票网格。

对单个基本处理单元内通过直线段轨迹的直线L的方向向量的三个参数分别进行离散化，将带来巨大的计算量，因此我们采用正多面体的顶点作为离散化的方向向量。如图2 (a)所示，正二十面体有/>个顶点，顶点坐标分别为：

除正二十面体外，也可以采用如图2 (b)、(c)的21个顶点的多面体和81个顶点的多面体等。顶点数越多，得到的直线方程就越精确，但霍夫变换的计算量与多面体的顶点数/>成正比，因此可根据实际情况选择合适的方向向量/>的细分粒度。

对平面的离散化需要将一组三维候选点的中心平移到原点，候选点在二维平面坐标系上/>的取值范围为/>与/>。/>由三维候选点平移后分别在/>上的最大、最小值/>计算如下：

取步长为对平面/>进行离散化，可以得到平面/>的投票网格空间大小为。

由以上Robert直线表示法、方向向量离散化与平面/>离散化的步骤，可以得到霍夫变换的三维参数空间，并建立了参数空间的投票网格，其投票网格的数量如下：

步骤A3: 在单个基本处理单元内使用基于三位霍夫变换的投票网格选出候选短时轨迹，并利用候选轨迹周围的候选点目标进行轨迹优化。

将单个基本处理单元内中心已平移至原点的三维候选点分别带入公式(0.3)与公式(0.4)，得到参数空间中的映射，并在步骤A2中创建的投票网格中进行投票。

对于投票数大于预先设定的阈值的每个网格，根据公式(0.5)计算出三维空间中的一条候选直线方程。

遍历该基本处理单元内的候选点并找到所有该直线方程附近的所有候选点，若候选点数目大于预先设定的阈值，则认为该直线为候选点中存在的直线段轨迹，根据周围的候选点进行直线的修正，并保存直线段轨迹参数与周围候选点参数，完成轨迹优化。

图3 (a)为含单运动点目标的视频的第634帧中目标的示意图，图3 (b)表示在单个基本处理单元内的目标检测结果，可以看到除目标外有很多误检点。图3 (c)表示该视频中目标轨迹真值，图3 (d)、图3(e)分别表示各基本处理单元的检测结果与经过基于直线检测的轨迹提取后得到的轨迹结果，可以看到基本滤除了误检点。

第二步：轨迹关联和跟踪

步骤B: 得到各个基本处理单元的短时轨迹后，本发明结合DeepSORT跟踪模型进行轨迹的关联与跟踪。首先构建单个基本处理单元的状态特征描述子，并用卡尔曼滤波进行下一基本处理单元的状态预测，接下来用代价矩阵匹配现有线段轨迹的预测状态与该时域检测单元的检测结果，并对初始态、确认态和删除态的目标进行轨迹更新与检测结果的修正，具体过程包括：

步骤B1: 构建单位时间内的点目标轨迹状态变量，基于卡尔曼预测得到下一基本处理单元内的预测结果。

通常DeepSORT跟踪模型中的卡尔曼预测常用于视频中具有纹理信息的目标检测，如行人检测等。本发明根据不具有纹理信息的暗弱点目标轨迹跟踪任务的目标轨迹特征，构建如下的单位时间内点目标轨迹的特征描述子，作为卡尔曼预测的输入状态量。

一个基本处理单元内的点目标轨迹状态可以由运动状态与轨迹外观状态两部分组成。运动状态可以由轨迹点的平均位置/>和平均速度/>表示，轨迹外观状态/>可以由轨迹点在空间与时间上的长度/>、/>和/>表示，如图4所示。

本发明综合目标轨迹的运动状态与外观状态/>，利用各基本处理单元内线段轨迹的平均位置、平均速度及轨迹外观构建状态变量，具体用下式描述一个基本处理单元内运动轨迹的状态变量/>。

在相邻两个基本处理单元内，可以认为目标的运动是一个恒速的运动模型，本发明基于卡尔曼滤波跟踪器根据上一基本处理单元轨迹的状态对当前基本处理单元的状态进行预测的过程如下：

其中表示目标在第/>个基本处理单元的预测状态；/>表示目标轨迹在第/>个基本处理单元的运动轨迹观测值；/>表示从第/>个基本处理单元到第/>个基本处理单元的状态转移矩阵；/>表示运动模型的噪声；/>表示第/>个基本处理单元预测状态的协方差矩阵；/>表示第/>个基本处理单元状态的协方差矩阵；

步骤B2: 构建点目标轨迹的代价匹配矩阵，将上一基本处理单元的/>个预测结果与下一基本处理单元的/>个检测结果进行匹配。

多目标的轨迹关联通常被建模为数学上的最小成本估计的二位矩形分配问题，构建代价匹配矩阵后通过匈牙利算法求得最优匹配解。

本发明对相邻两个基本处理单元内目标轨迹的状态变量匹配提出以下的代价匹配矩阵：

其中表示第/>个基本处理单元有/>个跟踪对象；/>表示第/>个基本处理单元有/>个跟踪对象；/>表示第/>个跟踪对象和第/>个检测目标之间匹配的代价，计算公式如下：

其中、/>、/>分别表示位置代价、速度代价和外观代价，/>、/>、/>分别为、/>、/>的加权系数。/>、/>、/>分别计算如下所示：

为第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的平均位置与第/>个基本处理单元内第/>个检测目标的平均位置/>间的欧氏距离，表示二者匹配时的位置代价。

为第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的平均速度/>与第/>个基本处理单元内第/>个检测目标的平均速度/>两个向量间的余弦距离，表示二者匹配时的速度代价。

表示第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的外观形状与第/>个基本处理单元内第/>个检测目标的外观形状/>在二者匹配时的外观代价。

步骤B3:通过DeepSORT跟踪框架对匹配后得到的匹配成功的轨迹、未匹配的轨迹与未匹配的检测结果进行当前轨迹的维护以及卡尔曼滤波跟踪器的更新。

DeepSORT跟踪框架将所跟踪轨迹对象分为初始态、确认态和删除态三种状态。对于未匹配的检测结果，新建卡尔曼跟踪器并将该目标轨迹记为初始态；对于匹配成功的轨迹与结果，若该轨迹处于初始态，为了应对误检问题，当连续3次成功匹配后将初始态转换为确认态，确认态的目标在匹配过程中的优先级高于初始态目标；对于未匹配的轨迹，为了应对遮挡导致的轨迹缺失，引入超参数，当轨迹连续未匹配次数超过/>时确认该跟踪对象彻底丢失，将其状态转换为删除态，并在参与匹配的轨迹中删除该轨迹。

匹配成功后，根据观测值对预测状态进行修改，并对卡尔曼滤波跟踪器进行更新如下：

其中表示第/>个基本处理单元修正后的最终估计状态；/>为第/>个基本处理单元的卡尔曼增益；/>表示第/>个基本处理单元状态的协方差矩阵；/>表示第/>个基本处理单元预测状态的协方差矩阵；I表示单位矩阵，/>为将预测状态从状态空间转换到观测空间的状态转移矩阵；/>为观测值与预测值的残差，计算如下：

其中表示第/>个基本处理单元的观测值，即轨迹的检测结果。

第个基本处理单元的卡尔曼增益/>的计算如下：

图5 (a)为含多运动目标视频的运动轨迹真值，共包含四条轨迹，其中轨迹2存在与轨迹1和轨迹3重叠的情况，轨迹4存在由于遮挡导致的轨迹中断情况。图5 (b)表示各基本处理单元的检测结果，图5 (c)表示各基本处理单元进行基于直线检测的轨迹提取的结果，图5 (d)表示轨迹提取的结果经过轨迹跟踪得到的多目标轨迹结果。

由上述可知，本发明将高速相机拍摄的视频等时间间隔地分割为多个基本处理单元，首先通过基于三维霍夫变换的直线检测方法对各基本处理单元中的目标线段轨迹进行提取，剔除大量的误检点，再通过改进的DeepSORT跟踪方法对各基本检测单元内的线段轨迹进行关联，实现了暗弱运动点目标的高效跟踪。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于线段关联的运动点目标时空域轨迹跟踪方法，所述方法包括：

将高速相机拍摄的运动点目标视频等时间间隔地划分为多个基本处理单元，获得各基本处理单元内包含空域位置信息和时域时刻信息的三维候选点目标；通过三维霍夫变换构建投票网格，并由单个基本处理单元内的候选目标点进行投票，实现单个基本处理单元内线段轨迹的检测与优化；

利用各基本处理单元内线段轨迹的平均位置、平均速度及轨迹外观构建状态变量，并输入DeepSORT跟踪模型，对各基本处理单元的线段轨迹进行轨迹关联与维护，实现对运动点目标的轨迹跟踪；

所述利用各基本处理单元内线段轨迹的平均位置、平均速度及轨迹外观构建状态变量，并输入DeepSORT跟踪模型，对各基本处理单元的线段轨迹进行轨迹关联与维护，包括：

通过卡尔曼滤波跟踪器对于输入的当前基本处理单元运动点目标直线段轨迹的状态变量进行预测，获得下一基本处理单元的预测状态；

使用直线段轨迹的代价矩阵匹配下一基本处理单元的预测状态与检测结果；

根据匹配结果对输入的运动点目标直线段轨迹进行关联维护，同时对卡尔曼滤波跟踪器进行更新，获得下一基本处理单元的最终估计状态；

所述通过卡尔曼滤波跟踪器对于输入的当前基本处理单元运动点目标直线段轨迹的状态变量进行预测，获得下一基本处理单元的预测状态，包括：

构建单位时间内运动点目标轨迹的状态变量，表示为：

其中，/>和/>分别表示点目标运动轨迹的平均位置和平均速度，/>、/>和/>表示点目标运动轨迹外观在空间与时间上的长度；

在相邻两个基本处理单元内，将目标的运动认为是一个恒速的运动模型；基于卡尔曼滤波跟踪器根据上一基本处理单元轨迹的状态变量对当前基本处理单元的状态进行预测，预测过程如下：

其中，表示目标在第/>个基本处理单元的预测状态；/>表示目标轨迹在第/>个基本处理单元的运动轨迹观测值；/>表示从第/>个基本处理单元到第/>个基本处理单元的状态转移矩阵；/>表示运动模型的噪声；/>表示第/>个基本处理单元预测状态的协方差矩阵；/>表示第/>个基本处理单元状态的协方差矩阵；角标T表示转置；Q表示状态转移过程的噪声协方差矩阵

所述使用直线段轨迹的代价矩阵匹配下一基本处理单元的预测状态与检测结果，包括：

构建点目标轨迹的代价匹配矩阵：

其中，表示第/>个基本处理单元有/>个跟踪对象；/>表示第/>个基本处理单元有个跟踪对象；/>表示第/>个跟踪对象和第/>个检测目标之间匹配的代价，i=1,2...M，j=1,2,...,N，计算公式如下：

其中，为第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的平均位置与第/>个基本处理单元内第/>个检测目标的平均位置/>间的欧氏距离，表示二者匹配时的位置代价；/>为第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的平均速度/>与第/>个基本处理单元内第/>个检测目标的平均速度/>两个向量间的余弦距离，表示二者匹配时的速度代价；/>表示第/>个基本处理单元内第/>个跟踪对象的预测轨迹点的外观形状/>与第/>个基本处理单元内第/>个检测目标的外观形状/>在二者匹配时的外观代价；/>、/>、/>分别为/>、/>、/>的加权系数；

、/>、/>分别计算如下所示：

使用代价匹配矩阵将上一基本处理单元的/>个预测结果与下一基本处理单元的/>个检测结果进行匹配，并通过匈牙利算法求得最优匹配解，得到的匹配成功的轨迹、未匹配的轨迹与未匹配的检测结果；

所述根据匹配结果对输入的运动点目标直线段轨迹进行关联维护，同时对卡尔曼滤波跟踪器进行更新，获得下一基本处理单元的最终估计状态，包括：

将所跟踪轨迹对象分为初始态、确认态和删除态三种状态；

对于未匹配的检测结果，新建卡尔曼跟踪器并将该目标轨迹记为初始态；

对于匹配成功的轨迹与结果，若该轨迹处于初始态，则重新匹配；当连续多次成功匹配后将初始态转换为确认态，确认态的目标在匹配过程中的优先级高于初始态目标；

对于未匹配的轨迹，引入超参数，当轨迹连续未匹配次数超过/>时确认该跟踪对象彻底丢失，将其状态转换为删除态，并在参与匹配的轨迹中删除该轨迹；

匹配成功后，根据观测值对预测状态进行修改，并对卡尔曼滤波跟踪器进行更新，更新过程如下：

其中，表示第/>个基本处理单元修正后的最终估计状态；/>为第/>个基本处理单元的卡尔曼增益，计算如下：

，/>表示第/>个基本处理单元状态的协方差矩阵；/>表示第/>个基本处理单元预测状态的协方差矩阵；I表示单位矩阵，/>为将预测状态从状态空间转换到观测空间的状态转移矩阵；/>表示测量噪声协方差矩阵；/>为观测值与预测值的残差，计算如下：

其中，表示第/>个基本处理单元的观测值，即轨迹的检测结果。

2.根据权利要求1所述的基于线段关联的运动点目标时空域轨迹跟踪方法，其特征在于，所述获得各基本处理单元内包含空域位置信息和时域时刻信息的三维候选点目标，具体包括：

每个基本处理单元中运动点目标经过单像元时会在其时域上产生瞬态扰动，针对每个像元判断是否存在瞬态扰动即可得到各基本处理单元内具有时域与空域三维信息的候选点目标。

3.根据权利要求1所述的基于线段关联的运动点目标时空域轨迹跟踪方法，其特征在于，所述通过三维霍夫变换构建投票网格，具体包括：

针对各基本处理单元内的三维候选目标点设定三维空间原点，并将候选点平移使得它们的中心与原点重合；

将单个基本处理单元内的目标轨迹看作直线段；

假设通过单个基本处理单元内某运动目标的直线段轨迹的直线为，用一过原点且垂直于直线/>的平面/>，及在平面/>坐标系下的直线/>和平面/>的交点/>对直线/>进行表示；对于在直线/>上的任意一点/>，平面/>坐标系下的/>计算如下：

其中，表示直线方向的向量/>；

直线上的任意一点p在平面/>坐标系下表示为：

对通过直线段轨迹的直线L的方向向量/>的与平面分别进行离散化，得到霍夫变换的三维参数空间，以及参数空间的投票网格。

4.根据权利要求3所述的基于线段关联的运动点目标时空域轨迹跟踪方法，其特征在于，对单个基本处理单元内通过直线段轨迹的直线L的方向向量进行离散化时，采用正多面体的顶点作为离散化的方向向量；

对平面进行离散化时，取步长为/>对平面/>进行离散化，得到平面/>的投票网格空间大小为/>；/>表示向上取整；参数空间的投票网格的数量为：

其中，/>为正多面体的顶点数；/>表示候选点在二维平面/>坐标系上的坐标限度：将三维候选点的中心平移到原点后，候选点在二维平面/>坐标系上的取值范围为/>与/>，计算式如下：

其中，/>和分别表示三维候选点平移后分别在/>上的最大值和最小值。

5.根据权利要求3所述的基于线段关联的运动点目标时空域轨迹跟踪方法，其特征在于，所述由单个基本处理单元内的候选目标点进行投票，实现单个基本处理单元内线段轨迹的检测与优化，具体包括：

将单个基本处理单元内中心已平移至原点的三维候选点分别带入交点在平面/>坐标系中的计算式，得到参数空间中的映射，并在投票网格中进行投票；

对于投票数大于预先设定的阈值的每个网格，根据直线/>上的任意一点p在平面/>坐标系中的计算式计算出三维空间中的一条候选直线方程；

遍历该基本处理单元内的候选点，找到该候选直线方程附近的所有候选点，若候选点数目大于预先设定的阈值，则认为该候选直线方程为候选点中存在的直线段轨迹；

根据周围的候选点进行直线的修正，保存直线段轨迹参数与周围候选点参数，并完成轨迹优化。