CN114612506B - 一种简易高效抗干扰的高空抛物轨迹识别与定位方法 - Google Patents

Abstract

本发明公开了一种简易高效抗干扰的高空抛物轨迹识别与定位方法，首先将输入视频转化为图像帧，用ViBe检测算法对图像帧进行背景建模，同时实现前景检测，得到二值图；接下来使用形态学滤波得到候选目标检测框；然后，采用dHash算法计算相似度，在候选目标检测框中筛选出目标检测框；之后对目标检测框使用Sort算法进行多目标轨迹跟踪，获得目标的轨迹集合；再对目标轨迹集合，进行轨迹坐标差分，采用卷积神经网络进行分类，得到抛物轨迹坐标集合；最后将初始帧图像中目标检测框的中心位置作为本次高空抛物行为抛物起始点的定位位置。本发明方法提高了高空抛物行为识别的准确率，并且极大的减少了误检噪声对高空抛物跟踪的影响。

Description

一种简易高效抗干扰的高空抛物轨迹识别与定位方法

技术领域

本发明属于目标跟踪技术领域，具体涉及一种高空抛物轨迹识别与定位方法。

背景技术

随着城市化进程的不断加快，高层建筑小区和办公楼数量的增多，高空抛物现象随之增加，该现象极大地威胁了居民的生命安全，因此对高空抛物识别与定位的研究十分重要。在高空抛物中，常见物体有酒瓶、垃圾袋、花盆、硬纸箱等等，其重量和体积具有较大的变化，外部的天气、光照等条件也多有不同。此外，为了逃避惩罚，抛物行为具有较强的隐蔽性，加之绿化的存在，部分抛物轨迹可能被遮挡。因此，实现抛物轨迹识别与定位具有较大的挑战。

常见的高空抛物轨迹识别与定位技术可看作是运动目标检测和目标跟踪的组合。运动目标检测的方法主要有帧差法、背景建模法。为提高跟踪的抗干扰能力，学者提出了基于改进帧差法和背景差法的多目标跟踪算法，克服了空洞效果。背景建模法包括高斯混合模型、ViBe算法等。目标追踪算法有光流法、Sort算法等。Alex Bewley等人提出了Sort算法，该算法结合卡尔曼滤波和匈牙利算法使目标跟踪精度达到了当时的领先水平。Wojke在Sort算法的基础上引入了外观特征，所提出的Deep Sort算法是目前较先进的目标追踪算法。传统的轨迹分类模型仅针对轨迹点的属性特征进行建模，如目标物体在该轨迹点时的速度、加速度等。而基于深度学习的方法，可提取轨迹的语义特征，如时间规律、序列依赖性、位置偏好等。相较于传统方法，基于深度学习的方法能提取到更丰富的信息。

发明内容

为了克服现有技术的不足，本发明提供了一种简易高效抗干扰的高空抛物轨迹识别与定位方法，首先将输入视频转化为图像帧，用ViBe检测算法对图像帧进行背景建模，同时实现前景检测，得到二值图；接下来使用形态学滤波得到候选目标检测框；然后，采用dHash算法计算相似度，在候选目标检测框中筛选出目标检测框；之后对目标检测框使用Sort算法进行多目标轨迹跟踪，获得目标的轨迹集合；再对目标轨迹集合，进行轨迹坐标差分，采用卷积神经网络进行分类，得到抛物轨迹坐标集合；最后将初始帧图像中目标检测框的中心位置作为本次高空抛物行为抛物起始点的定位位置。本发明方法提高了高空抛物行为识别的准确率，并且极大的减少了误检噪声对高空抛物跟踪的影响。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：将输入视频转化为图像帧，用ViBe检测算法对图像帧进行背景建模，同时实现前景检测，得到二值图；

步骤2：使用形态学滤波中的开运算、闭运算以及单独的膨胀、腐蚀操作对二值图进行去噪与去空洞，将二值图的各个前景连通域作为运动目标域，并使用矩形框在图像帧圈出作为候选目标检测框；

步骤3：对于步骤2得到的候选目标检测框，采用dHash算法分别计算当前帧和历史帧对应检测框位置处图像块的哈希序列的汉明距离，若存在任一历史帧与当前帧的汉明距离大于预设阈值dis，则判定图像块为误检的运动目标，将该候选目标检测框丢弃；否则判定图像块为运动目标，将该候选目标检测框保留，作为目标检测框；

步骤4：对目标检测框使用Sort算法进行多目标轨迹跟踪，获得目标的轨迹集合；

Sort算法采用如下的状态转移矩阵：

其中， 为目标检测框的中心点，area为目标检测框面积，w/h为目标检测框的横纵比，Δx,Δy,Δarea分别为/>area的变化量；

采用如下的状态转移矩阵F_k，以利于高空目标跟踪；

其中，g表示重力加速度，g＝9.8；

步骤5：对步骤4得到的目标轨迹集合，进行轨迹坐标差分；将轨迹坐标差分的结果送入多尺度融合的一维卷积神经网络进行分类；当分类结果为1，则判断目标轨迹为抛物轨迹，加入抛物轨迹坐标集合；

步骤6：根据步骤5的抛物轨迹坐标集合，进行可视化与窗口定位；

用直线连接抛物轨迹坐标集合中的轨迹点，将初始帧图像中目标检测框的中心位置作为本次高空抛物行为抛物起始点的定位位置，实现轨迹可视化。

进一步地，所述步骤1的具体步骤如下：

步骤1-1：对图像帧进行背景建模；对于初始图像帧，表示如下式：

M₀(x,y)＝{v₀(x_i,y_i)|(x_i,y_i)∈N_G(x,y)}

其中N_G(x,y)为空间内与任意像素点(x,y)相邻的像素点(x_i,y_i)的集合，v₀(x_i,y_i)为初始图像帧的点(x_i,y_i)的像素值；在初始背景样本集M₀(x,y)的随机选值过程中，N_G(x,y)中的每个像素点(x_i,y_i)有的概率被选中，φ为可变超参数，取φ＝16；

步骤1-2：对图像帧进行前景检测；

将指定点的像素值v(x,y)，与该指定点对应的背景样本集M(x,y)作差值，得到差值的集合d(x,y)；枚举d(x,y)中的所有元素d_i(x,y)，依次与差值阈值R进行比较，计算出满足d_i(x,y)>R的个数N_d；若N_d大于个数阈值T，则判断像素点(x,y)为前景点。。

进一步地，所述步骤3的具体步骤如下：

步骤3-1：将当前图像帧的每个候选目标检测框所在的图像块patch_cur和其前k帧中候选目标检测框对应位置的图像块patch_k的尺寸缩小至W×H，并进行灰度化，得到灰度图；

步骤3-2：计算灰度图中左右相邻两个像素的差值，并将尺寸为(W-1)×H大小的二维差值结果拉直为尺寸为[(W-1)×H，1]大小的哈希序列h_k；

步骤3-3：依次计算各个候选目标检测框的patch_cur与对应patch_k的哈希序列的汉明距离，若存在任一patch_k与patch_cur的哈希序列的汉明距离小于等于指定阈值dis，则判定两个图像块相似的，从而将图像块处的候选目标检测框定义为误检框并抛弃；否则前k帧中的图像块与当前帧的图像块都判定为不相似，保留为目标检测框；

进一步地，所述步骤4的具体步骤如下：

步骤4-1：初始化Sort算法中的轨迹预测队列为空，轨迹预测队列包含一系列待预测下一帧目标检测框的轨迹，每条轨迹由一系列目标检测框组合成的队列以及一个卡尔曼滤波器用于跟踪，每个目标检测框包含具体坐标；基于ViBe算法中视频的第二帧才出现目标检测框，将步骤3得到的第二帧中每个目标检测框分别作为一条新轨迹的起始框，然后利用当前轨迹队列中所有目标检测框来初始化每条轨迹的卡尔曼滤波器的运动状态；

步骤4-2：在轨迹预测队列中，使用每条轨迹的卡尔曼滤波器的运动状态来估计它在下一帧图像中的所有可能出现的目标检测框，然后计算估计的目标检测框与下一帧中的目标检测框的IoU值；

步骤4-3：由步骤4-2中每条轨迹的卡尔曼滤波器所估计的检测框与下一帧中目标检测框之间的IoU值组成相似度矩阵，通过匈牙利算法将下一帧的目标检测框分配至轨迹预测队列的每条轨迹中进行匹配；

步骤4-4：将匹配目标检测框成功的轨迹保留，并更新对应的轨迹的卡尔曼滤波器的运动状态；对于未匹配到目标检测框的轨迹，进行连续未匹配帧数的计数，若超过p帧，说明其跟踪周期结束，将其从轨迹预测队列中删除，否则继续保留该轨迹和其卡尔曼滤波器的运动状态；而剩下的未匹配的目标检测框作为新的轨迹的起始框加入轨迹预测队列中，并初始化相应的卡尔曼滤波器；

步骤4-5：循环重复步骤4-2到步骤4-4直到遍历所有轨迹，获得目标的轨迹集合；

进一步地，所述步骤5的具体步骤如下：

步骤5-1：对目标的轨迹集合进行轨迹坐标差分；

步骤5-2：将差分后的轨迹以定长处理，然后输入至多尺度融合的一维卷积神经网络中，若分类网络的输出为1，则判断为抛物轨迹，加入抛物轨迹坐标集合；否则进行丢弃。

进一步地，所述步骤6的具体步骤如下：

步骤6-1：根据步骤5得到的抛物轨迹坐标集合，其中每条轨迹的坐标集合，是由抛物行为在视频的图像帧上检测到的目标检测框的中心坐标构成；此外，每个中心坐标都有唯一轨迹标识码与帧标识码，即该坐标所属的轨迹和其出现的时间位置；

步骤6-2：创建一个值为0的mask图，在mask图上，对当前图像帧的坐标与它所属的轨迹的前一帧的坐标进行连线，接着对每一帧都在原图像和mask图进行像素级的加操作，若已到达轨迹的最后一个坐标，则进行轨迹擦除操作，即在该完整轨迹上进行0赋值；此外在每条轨迹出现的第一帧处，采用单独创建一个额外mask图绘画其轨迹，并与原图像进行加操作后，保存到本地，以初始帧图像的目标检测框作为原始抛物窗口，从而实现了视频中实时的轨迹可视化以及离线的存储。

本发明的有益效果如下：

1、对于检测中的前景噪声，常用解决方案是形态学滤波，然而，形态学滤波对获得背景的二值图进行开、闭运算处理和膨胀、腐蚀等处理无法去除所有噪声，仍存留误检的情况或其他干扰的前景点，考虑上述缺陷以及高空抛物过程中对于大部分运动目标在某一区域的停留均很短暂，本发明采用dHash算法进行“历史相似度”的判断来解决上述问题；

2、在轨迹可视化中，轨迹由关联检测框的中心点集合组成。真实场景中，在已知抛物轨迹的情况下，通过纯粹的物理模型分析便可实现轨迹分类，但图像中的抛物轨迹与真实场景的轨迹并不一致，并且非高空抛物轨迹的种类繁多，使用传统的线性回归模型无法很好地解决该分类问题。受到TextCNN与多尺度特征融合的启发，本方面构建了一种基于多尺度特征融合的一维卷积神经网络的模型来实现轨迹分类，网络的输入数据是每条候选抛物轨迹点坐标集合。

附图说明

图1为本发明方法的框架流程图。

图2为本发明多尺度融合的一维卷积神经网络结构图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明采用dHash算法排除前景干扰和鬼影，利用神经网络二分类轨迹模型进行分类，其提高了高空抛物行为识别的准确率，并且极大的减少了误检噪声对跟踪的影响，同时对拍摄参数等无要求，并形成以了一个高空抛物行为识别与定位的新框架。

如图1所示，一种简易高效抗干扰的高空抛物轨迹识别与定位方法，包括如下步骤：

步骤1：将输入视频转化为图像帧，用ViBe检测算法对图像帧进行背景建模，同时实现前景检测，得到二值图；

步骤2：使用形态学滤波中的开运算、闭运算以及单独的膨胀、腐蚀操作对二值图进行去噪与去空洞，将二值图的各个前景连通域作为运动目标域，并使用矩形框在图像帧圈出作为候选目标检测框；

步骤3：对于步骤2得到的候选目标检测框，采用dHash算法分别计算当前帧和历史帧对应检测框位置处图像块的哈希序列的汉明距离，若存在任一历史帧与当前帧的汉明距离大于预设阈值dis，则判定图像块为误检的运动目标，将该候选目标检测框丢弃；否则判定图像块为运动目标，将该候选目标检测框保留，作为目标检测框；

步骤4：对目标检测框使用Sort算法进行多目标轨迹跟踪，获得目标的轨迹集合；

Sort算法采用如下的状态转移矩阵：

其中， 为目标检测框的中心点，area为目标检测框面积，w/h为目标检测框的横纵比，Δx,Δy,Δarea分别为/>area的变化量；

采用如下的状态转移矩阵F_k，以利于高空目标跟踪；

其中，g表示重力加速度，g＝9.8；

步骤5：对步骤4得到的目标轨迹集合，进行轨迹坐标差分；将轨迹坐标差分的结果送入多尺度融合的一维卷积神经网络进行分类，如图2所示；当分类结果为1，则判断目标轨迹为抛物轨迹，加入抛物轨迹坐标集合；

步骤6：根据步骤5的抛物轨迹坐标集合，进行可视化与窗口定位；

用直线连接抛物轨迹坐标集合中的轨迹点，将初始帧图像中目标检测框的中心位置作为本次高空抛物行为抛物起始点的定位位置，实现轨迹可视化。

进一步地，所述步骤1的具体步骤如下：

步骤1-1：对图像帧进行背景建模；对于初始图像帧，表示如下式：

M₀(x,y)＝{v₀(x_i,y_i)|(x_i,y_i)∈N_G(x,y)}

其中N_G(x,y)为空间内与任意像素点(x,y)相邻的像素点(x_i,y_i)的集合，v₀(x_i,y_i)为初始图像帧的点(x_i,y_i)的像素值；在初始背景样本集M₀(x,y)的随机选值过程中，N_G(x,y)中的每个像素点(x_i,y_i)有的概率被选中，φ为可变超参数，取φ＝16；

步骤1-2：对图像帧进行前景检测；

将指定点的像素值v(x,y)，与该指定点对应的背景样本集M(x,y)作差值，得到差值的集合d(x,y)；枚举d(x,y)中的所有元素d_i(x,y)，依次与差值阈值R进行比较，计算出满足d_i(x,y)>R的个数N_d；若N_d大于个数阈值T，则判断像素点(x,y)为前景点。。

进一步地，所述步骤3的具体步骤如下：

步骤3-1：将当前图像帧的每个候选目标检测框所在的图像块patch_cur和其前k帧(默认k＝1,2,3,4,5)中候选目标检测框对应位置的图像块patch_k的尺寸缩小至W×H，并进行灰度化，得到灰度图；

步骤3-2：计算灰度图中左右相邻两个像素的差值，并将尺寸为(W-1)×H大小的二维差值结果拉直为尺寸为[(W-1)×H，1]大小的哈希序列h_k；

步骤3-3：依次计算各个候选目标检测框的patch_cur与对应patch_k的哈希序列的汉明距离，若存在任一patch_k与patch_cur的哈希序列的汉明距离小于等于指定阈值dis，则判定两个图像块相似的，(即“历史相似度”高)，意味着这两个图像块为前后无变化或变化微小的背景图，从而将图像块处的候选目标检测框定义为误检框并抛弃；否则前k帧中的图像块与当前帧的图像块都判定为不相似，相应地图像块前后变化较大，可能存在运动物体，保留为目标检测框。

进一步地，所述步骤4的具体步骤如下：

步骤4-1：初始化Sort算法中的轨迹预测队列为空，轨迹预测队列包含一系列待预测下一帧目标检测框的轨迹，每条轨迹由一系列目标检测框组合成的队列以及一个卡尔曼滤波器用于跟踪，每个目标检测框包含具体坐标；基于ViBe算法中视频的第二帧才出现目标检测框，将步骤3得到的第二帧中每个目标检测框分别作为一条新轨迹的起始框，然后利用当前轨迹队列中所有目标检测框来初始化每条轨迹的卡尔曼滤波器的运动状态；

步骤4-2：在轨迹预测队列中，使用每条轨迹的卡尔曼滤波器的运动状态来估计它在下一帧图像中的所有可能出现的目标检测框，然后计算估计的目标检测框与下一帧中的目标检测框的IoU值；

步骤4-3：由步骤4-2中每条轨迹的卡尔曼滤波器所估计的检测框与下一帧中目标检测框之间的IoU值组成相似度矩阵，通过匈牙利算法将下一帧的目标检测框分配至轨迹预测队列的每条轨迹中进行匹配；

步骤4-4：将匹配目标检测框成功的轨迹保留，并更新对应的轨迹的卡尔曼滤波器的运动状态；对于未匹配到目标检测框的轨迹，进行连续未匹配帧数的计数，若超过p帧(默认p＝3)，，说明其跟踪周期结束，将其从轨迹预测队列中删除，否则继续保留该轨迹和其卡尔曼滤波器的运动状态；而剩下的未匹配的目标检测框作为新的轨迹的起始框加入轨迹预测队列中，并初始化相应的卡尔曼滤波器；

步骤4-5：循环重复步骤4-2到步骤4-4直到遍历所有轨迹，获得目标的轨迹集合；

进一步地，所述步骤5的具体步骤如下：

步骤5-1：对目标的轨迹集合进行轨迹坐标差分；

步骤5-2：将差分后的轨迹以定长处理，然后输入至多尺度融合的一维卷积神经网络中，若分类网络的输出为1，则判断为抛物轨迹，加入抛物轨迹坐标集合；否则进行丢弃。

进一步地，所述步骤6的具体步骤如下：

步骤6-1：根据步骤5得到的抛物轨迹坐标集合，其中每条轨迹的坐标集合，是由抛物行为在视频的图像帧上检测到的目标检测框的中心坐标构成；此外，每个中心坐标都有唯一轨迹标识码与帧标识码，即该坐标所属的轨迹和其出现的时间位置；

步骤6-2：创建一个值为0的mask图，在mask图上，对当前图像帧的坐标与它所属的轨迹的前一帧的坐标进行连线，接着对每一帧都在原图像和mask图进行像素级的加操作，若已到达轨迹的最后一个坐标，则进行轨迹擦除操作，即在该完整轨迹上进行0赋值；此外在每条轨迹出现的第一帧处，采用单独创建一个额外mask图绘画其轨迹，并与原图像进行加操作后，保存到本地，以初始帧图像的目标检测框作为原始抛物窗口，从而实现了视频中实时的轨迹可视化以及离线的存储。具体实施例：

在目标检测与跟踪方法的基础上，本发明提出一种全天候复杂环境下的高空抛物轨迹识别与定位方法。其具体步骤为：

(1)输入视频流进行切帧，用ViBe检测前景，结合dHash相似度算法来排除前景干扰和鬼影，详细改进如下：

对于当前帧的检测框所在的patch_cur，找到其前β帧中检测框所在的patch_i，依次计算patch_cur与各个patch_i的相似度，若存在一个patch_i与patch_cur的相似度不小于阈值sim，则判断其“历史相似度”高，并去除该检测框。

(2)通过(1)，得到视频中所有候选目标框，用Sort算法进行多目标跟踪，该算法主要用到匈牙利算法和卡尔曼滤波。

(3)对(2)得到的每条轨迹的帧目标框，取目标框的中心坐标形成轨迹坐标集合，依次输入基于一维神经网络的二分类模型进行判断。

该分类模型在训练阶段：

依次输入所有轨迹的坐标集合与轨迹标注，标注为0或1，0表示非抛物轨迹，1表示抛物轨迹。先对坐标集合进行一阶差分以提取特征，再输入二分类轨迹模型，进行模型训练，获得最优的模型参数。

该分类模型在测试和具体使用阶段：

对输入的轨迹坐标进行差分，以提取特征，然后直接输入上述已预训练好的模型；

(4)可视化轨迹，定位抛物点并保存轨迹到本地便于后期查询，对高空抛物的定位指标提出改进。

近些年关于高空抛物轨迹识别的定位的技术研究并不成熟，本发明提供了一套完整的可在全天候复杂环境下进行高空抛物轨迹识别与定位的步骤，并对其中一些关键步骤进行了改进。本发明关注的是在全天候，复杂环境下使用，并且能够对树枝晃动、阳台衣服晃动、飞鸟等干扰轨迹进行有效排除。

本发明引入dHash相似度检测来排除前景干扰和鬼影，引入二分类神经网络来提升识别性能，具体实施过程包括以下步骤：

1：首先进行背景建模。当获取第一帧图像时，如下式：

M₀(x,y)＝{v₀(x_i,y_i)|(x_i,y_i)∈N_G(x,y)}

2：进行前景检测。将指定点的像素值v(x,y)，与其对应的背景样本集M(x,y)作差值，得到差值的集合d(x,y)。枚举d(x,y)中的所有元素d_i(x,y)，依次与差值阈值R进行比较，计算出满足d_i(x,y)>R的个数N_d。若存在N_d>T，则判断该点为前景点。

3：使用形态学滤波对获得背景的二值图进行开、闭运算处理，接着进行多次单独的膨胀操作与腐蚀操作。

4：最终得到二值图的各个白色连通域暂时作为运动目标，并使用矩形框圈出，得到候选目标检测框。

5：将候选目标检测框在当前帧与历史帧对应位置处的图像块(分别设为patch_cur与patch_k)的尺寸缩小至W×H，并进行灰度化。

6：依次计算灰度图中左右相邻两个像素的差值，并将尺寸为(W-1)×H大小的二维差值结果拉直为尺寸为[(W-1)×H，1]大小的哈希序列。

7：对于当前帧候选目标检测框的patch_cur的哈希序列，依次计算它与其候选目标检测框在前k帧中对应处的patch_k(默认k＝1,2,3,4,5)的哈希序列，如果至少存在一个patch_k与当前patch_cur的哈希序列的汉明距离小于等于指定阈值dis，则判定该检测框失效，否则判定为运动目标检测框。

8：初始化Sort算法中的轨迹预测队列为空，将视频中的第2帧经由第7步筛选后得到的每个运动目标检测框分别作为一条新轨迹的起始框，然后利用当前轨迹队列中所有检测框来初始化每条轨迹的卡尔曼滤波器的运动状态；

9：在轨迹预测队列中，使用每条轨迹的卡尔曼滤波器的运动状态来估计它在下一帧图像中的所有可能出现的检测框，然后计算估计的检测框与下一帧中的目标检测框的IoU值；

10：由第9步中每条轨迹的卡尔曼滤波器所估计的检测框与下一帧中目标检测框之间的IoU值组成相似度矩阵，通过匈牙利算法将下一帧的目标检测框合理分配至轨迹预测队列的每条轨迹中；

11：将匹配检测框成功的轨迹保留，并更新对应的轨迹的卡尔曼滤波器的运动状态；对于未匹配到检测框的轨迹，进行连续未匹配帧数的计数，若超过p帧(默认p＝3)，说明其跟踪周期结束，将其从轨迹预测队列中删除，否则继续保留该轨迹和其卡尔曼滤波器的运动状态；而剩下的未匹配的检测框作为新的轨迹的起始框加入轨迹预测队列中，并初始化相应的卡尔曼滤波器；

12：循环重复第9步到第11步，直到所有轨迹跟踪周期结束。

13：将Sort多目标跟踪算法得到的轨迹集合，进行轨迹坐标差分。

14：将差分后的轨迹以定长处理，然后输入至多尺度融合的一维卷积神经网络中，若网络的分类结果为1，则判断为抛物轨迹，否则进行丢弃。

15：用直线连接轨迹坐标集合，可视化最终的抛物轨迹；第一帧出现目标框的中心位置作为本次高空抛物行为抛物起始点的定位位置，将抛物轨迹接近实时的显示在抛物视频的每一帧上，便实现轨迹可视化。

Claims (6)

1.一种简易高效抗干扰的高空抛物轨迹识别与定位方法，其特征在于，包括如下步骤：

步骤1：将输入视频转化为图像帧，用ViBe检测算法对图像帧进行背景建模，同时实现前景检测，得到二值图；

步骤2：使用形态学滤波中的开运算、闭运算以及单独的膨胀、腐蚀操作对二值图进行去噪与去空洞，将二值图的各个前景连通域作为运动目标域，并使用矩形框在图像帧圈出作为候选目标检测框；

步骤3：对于步骤2得到的候选目标检测框，采用dHash算法分别计算当前帧和历史帧对应检测框位置处图像块的哈希序列的汉明距离，若存在任一历史帧与当前帧的汉明距离大于预设阈值dis，则判定图像块为误检的运动目标，将该候选目标检测框丢弃；否则判定图像块为运动目标，将该候选目标检测框保留，作为目标检测框；

步骤4：对目标检测框使用Sort算法进行多目标轨迹跟踪，获得目标的轨迹集合；

Sort算法采用如下的状态转移矩阵：

其中， 为目标检测框的中心点，area为目标检测框面积，w/h为目标检测框的横纵比，Δx,Δy,Δarea分别为/>的变化量；

采用如下的状态转移矩阵F_k，以利于高空目标跟踪；

其中，g表示重力加速度，g＝9.8；

步骤5：对步骤4得到的目标轨迹集合，进行轨迹坐标差分；将轨迹坐标差分的结果送入多尺度融合的一维卷积神经网络进行分类；当分类结果为1，则判断目标轨迹为抛物轨迹，加入抛物轨迹坐标集合；

步骤6：根据步骤5的抛物轨迹坐标集合，进行可视化与窗口定位；

用直线连接抛物轨迹坐标集合中的轨迹点，将初始帧图像中目标检测框的中心位置作为本次高空抛物行为抛物起始点的定位位置，实现轨迹可视化。

2.根据权利要求1所述的一种简易高效抗干扰的高空抛物轨迹识别与定位方法，其特征在于，所述步骤1的具体步骤如下：

步骤1-1：对图像帧进行背景建模；对于初始图像帧，表示如下式：

M₀(x,y)＝{v₀(x_i,y_i)|(x_i,y_i)∈N_G(x,y)}

其中N_G(x,y)为空间内与任意像素点(x,y)相邻的像素点(x_i,y_i)的集合，v₀(x_i,y_i)为初始图像帧的点(x_i,y_i)的像素值；在初始背景样本集M₀(x,y)的随机选值过程中，N_G(x,y)中的每个像素点(x_i,y_i)有的概率被选中，φ为可变超参数，取φ＝16；

步骤1-2：对图像帧进行前景检测；

将指定点的像素值v(x,y)，与该指定点对应的背景样本集M(x,y)作差值，得到差值的集合d(x,y)；枚举d(x,y)中的所有元素d_i(x,y)，依次与差值阈值R进行比较，计算出满足d_i(x,y)>R的个数N_d；若N_d大于个数阈值T，则判断像素点(x,y)为前景点。

3.根据权利要求2所述的一种简易高效抗干扰的高空抛物轨迹识别与定位方法，其特征在于，所述步骤3的具体步骤如下：

步骤3-1：将当前图像帧的每个候选目标检测框所在的图像块patch_cur和其前k帧中候选目标检测框对应位置的图像块patch_k的尺寸缩小至W×H，并进行灰度化，得到灰度图；

步骤3-2：计算灰度图中左右相邻两个像素的差值，并将尺寸为(W-1)×H大小的二维差值结果拉直为尺寸为[(W-1)×H，1]大小的哈希序列h_k；

步骤3-3：依次计算各个候选目标检测框的patch_cur与对应patch_k的哈希序列的汉明距离，若存在任一patch_k与patch_cur的哈希序列的汉明距离小于等于指定阈值dis，则判定两个图像块相似的，从而将图像块处的候选目标检测框定义为误检框并抛弃；否则前k帧中的图像块与当前帧的图像块都判定为不相似，保留为目标检测框。

4.根据权利要求3所述的一种简易高效抗干扰的高空抛物轨迹识别与定位方法，其特征在于，所述步骤4的具体步骤如下：

步骤4-1：初始化Sort算法中的轨迹预测队列为空，轨迹预测队列包含一系列待预测下一帧目标检测框的轨迹，每条轨迹由一系列目标检测框组合成的队列以及一个卡尔曼滤波器用于跟踪，每个目标检测框包含具体坐标；基于ViBe算法中视频的第二帧才出现目标检测框，将步骤3得到的第二帧中每个目标检测框分别作为一条新轨迹的起始框，然后利用当前轨迹队列中所有目标检测框来初始化每条轨迹的卡尔曼滤波器的运动状态；

步骤4-2：在轨迹预测队列中，使用每条轨迹的卡尔曼滤波器的运动状态来估计它在下一帧图像中的所有可能出现的目标检测框，然后计算估计的目标检测框与下一帧中的目标检测框的IoU值；

步骤4-3：由步骤4-2中每条轨迹的卡尔曼滤波器所估计的检测框与下一帧中目标检测框之间的IoU值组成相似度矩阵，通过匈牙利算法将下一帧的目标检测框分配至轨迹预测队列的每条轨迹中进行匹配；

步骤4-4：将匹配目标检测框成功的轨迹保留，并更新对应的轨迹的卡尔曼滤波器的运动状态；对于未匹配到目标检测框的轨迹，进行连续未匹配帧数的计数，若超过p帧，说明其跟踪周期结束，将其从轨迹预测队列中删除，否则继续保留该轨迹和其卡尔曼滤波器的运动状态；而剩下的未匹配的目标检测框作为新的轨迹的起始框加入轨迹预测队列中，并初始化相应的卡尔曼滤波器；

步骤4-5：循环重复步骤4-2到步骤4-4直到遍历所有轨迹，获得目标的轨迹集合。

5.根据权利要求4所述的一种简易高效抗干扰的高空抛物轨迹识别与定位方法，其特征在于，所述步骤5的具体步骤如下：

步骤5-1：对目标的轨迹集合进行轨迹坐标差分；

步骤5-2：将差分后的轨迹以定长处理，然后输入至多尺度融合的一维卷积神经网络中，若分类网络的输出为1，则判断为抛物轨迹，加入抛物轨迹坐标集合；否则进行丢弃。

6.根据权利要求5所述的一种简易高效抗干扰的高空抛物轨迹识别与定位方法，其特征在于，所述步骤6的具体步骤如下：

步骤6-1：根据步骤5得到的抛物轨迹坐标集合，其中每条轨迹的坐标集合，是由抛物行为在视频的图像帧上检测到的目标检测框的中心坐标构成；此外，每个中心坐标都有唯一轨迹标识码与帧标识码，即该坐标所属的轨迹和其出现的时间位置；

步骤6-2：创建一个值为0的mask图，在mask图上，对当前图像帧的坐标与它所属的轨迹的前一帧的坐标进行连线，接着对每一帧都在原图像和mask图进行像素级的加操作，若已到达轨迹的最后一个坐标，则进行轨迹擦除操作，即在该完整轨迹上进行0赋值；此外在每条轨迹出现的第一帧处，采用单独创建一个额外mask图绘画其轨迹，并与原图像进行加操作后，保存到本地，以初始帧图像的目标检测框作为原始抛物窗口，从而实现了视频中实时的轨迹可视化以及离线的存储。