CN110390292A - 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，解决了跟踪精度低，稳定性差，算法不灵活的问题。实现步骤有：按帧截取图像，对首帧图像做动目标检测和创建存储空间储存目标；对后续帧图像，检测候选运动目标，从存储空间选历史目标估计位置并与候选运动目标匹配后更新历史目标状态并整理存储空间，存储新出现目标。本发明用道路掩膜滤除道路区域外的干扰，用动态关联灵活添加删除目标，用群体效应对消失运动目标状态估计优化，用轨迹优化法提高跟踪精度。仿真实验也证明本发明减少了计算量，提高跟踪精度和稳定性，用于车流监测，行驶路线分析，军事情报获取领域。

Description

基于动态关联模型的遥感视频车辆目标检测与跟踪方法

技术领域

本发明属于图像处理技术领域，涉及动目标检测以及多个运动目标状态预测与匹配，具体是一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，用于对遥感视频中车辆目标进行检测与跟踪。

背景技术

遥感视频卫星是一种新型对地观测卫星，最大特点是可以采用“凝视”的方式持续观测某一目标区域，并以视频的形式进行存储，从中可以获得更多时空相关的信息，为连续对地目标检测与跟踪提供了新的契机。卫星视频成像手段为遥感对地观测提供了重要数据支撑。如何利用卫星遥感视频实现重要目标智能化的检测和跟踪是遥感应用的重要研究内容。

常用的两种遥感视频卫星分为两种：一种是使用静止轨道光学成像卫星；另一种是使用具有高姿态敏捷能力或具备图像运动补偿能力的低轨光学卫星。静止轨道光学卫星主要有美国“莫尔纹”卫星，分辨率为1m，视场为10km×10km，帧率1帧/秒。欧洲“GO3S”卫星，分辨率为3m，视场为100km×100km，帧率5帧/秒。低轨视频卫星主要有美国的Skybox卫星，印尼与德国合作发射的LAPAN-TUBSAT卫星，中国发射的“天拓”系列卫星，“吉林一号”视频星等。“吉林一号”视频01、02星分辨率可达1.13m，成像区域4.6km×3.4km，帧率25帧/秒。

多目标跟踪的主要任务是检测出视频中的多个运动目标，并对各帧中的运动物体进行关联匹配，得到运动目标的历史轨迹。相比于单目标跟踪相比，多目标跟踪还需解决目标频繁遮挡，轨迹的初始化和终止以及多目标间相互影响等问题，确定目标间的关联。对于遥感视频多目标跟踪来说，目标更小，外观更相似，且由于图像采集设备硬件的原因，经常会出现视频模糊的现象。

目前，国内对于遥感视频的研究多集中在动目标检测领域，目的在于更好的提取目标的边界信息。国外对于遥感视频目标跟踪的研究更早，主要的方法是使用卡尔曼滤波预测目标位置，之后对帧间目标进行关联，但对于目标的初始化和消失判定一般是在第一帧检测目标，之后只在边界处对目标进入和离开进行处理。卡尔曼滤波方法是一种通过系统的观测数据，估计出系统状态的方法。在目标跟踪中，常用卡尔曼滤波器利用历史目标位置，预测出物体下一帧的位置和状态信息。但由于车辆目标行驶状态具有规律性，在路口，立交桥入口等地方，目标运动状态变化较大，卡尔曼滤波器难以很好处理这种变化。传统方法常在边界处判别目标出现消失状态，这种方法符合常识，且计算量相对较小，简化了算法流程，但当实际跟踪过程中出现跟踪器丢失目标的时候，算法不会重新为丢失的目标分配跟踪器，也不会从存储数据中删除已失去目标的跟踪器，这都会降低算法的计算速度，并造成存储资源的不合理应用。

实际应用中，对于遥感视频运动车辆跟踪，难以获得准确的首帧目标位置，且因遥感视频图像的分辨率低、噪声干扰较多，仅在首帧检测目标位置作为后续跟踪的初始位置，准确率较低。在出现车辆行驶到立交桥下，树阴遮挡等情况时，车辆目标在监控范围内但在首帧中无法检测到，使用传统方法不会对其进行跟踪。传统方法中使用卡尔曼滤波方法对目标位置进行预测，但卡尔曼滤波方法难以适应目标运动状态变化较大的情况，会造成跟踪精度降低，跟踪轨迹平滑度差。同时传统方法仅在边界处判断目标出现消失状态，若目标丢失，不会删除目标的跟踪器，这也会造成内存的浪费。

发明内容

本发明的目的在于针对现有技术的不足，提出一种可以更加稳定、灵活的基于动态关联模型的遥感视频车辆目标检测与跟踪的方法。

本发明是一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，其特征在于，包括如下步骤：

(1)按帧截取遥感图像：将遥感视频按照时间顺序截取为多帧静止图像，对于首帧图像和后续帧图像进行不同操作；

(2)对于首帧图像进行操作：

(2.1)动目标检测：由于遥感视频视角固定，仅在首帧提取道路掩膜以供后续使用，使用背景减除法结合道路掩膜检测首帧图像当前场景中的运动目标，得到首帧图像中的一组候选运动车辆目标；

(2.2)创建存储空间及存储目标：创建待定表和稳定表，待定表用于存储新出现目标并对其进行观察，判断其为噪声还是跟踪的目标；稳定表用于存储稳定跟踪目标。所有候选运动车辆目标均为新跟踪目标，对所有新跟踪目标创建预测器，并为其分配目标编号。将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性打包存入待定表中，作为待定表中的历史目标，以便对该目标进行跟踪和状态观察；

(3)对于后续帧图像进行操作：

(3.1)动目标检测：使用背景减除法结合道路掩膜检测当前帧图像中的运动目标，检测得到的目标构成当前帧图像的一组候选运动车辆目标；

(3.2)从存储空间中挑选历史目标：当稳定表中存在未被选择过的历史目标时，按照存储先后顺序选择稳定表中一个未被选择过的历史目标，作为被挑选历史目标，执行步骤(3.3)，估计其在当前帧的位置；当稳定表中的历史目标均已被选择过，或稳定表无存储目标时，则按照存储先后顺序选择待定表中一个未被选择过的历史目标，作为被挑选历史目标，进行步骤(3.3)，估计其在当前帧的位置；当存储空间即稳定表和待定表中的所有历史目标均已被选择过时，则进行步骤(3.6)，整理存储空间；

(3.3)估计被挑选历史目标在当前帧的位置：使用卡尔曼滤波方法预测被挑选历史目标在当前帧的位置，得到当前帧中被挑选历史目标的估计位置；

(3.4)被挑选历史目标与候选运动车辆目标匹配：使用轨迹优化方法，将被挑选历史目标与候选运动车辆目标逐一进行匹配，在被挑选历史目标估计位置邻域内，进行方向阈值和特征阈值的筛选，凡是小于方向阈值和特征阈值的候选运动车辆目标，再进行特征阈值差异排序，从中选取特征阈值差异最小的候选运动车辆目标作为该被挑选历史目标的匹配候选目标，认为其与之前存储的被挑选历史目标为同一目标，即该被挑选历史目标在当前帧成功匹配到一个候选运动车辆目标；否则，在被挑选历史目标估计位置邻域内，不存在满足方向变化和特征差异均小于方向阈值和特征阈值的候选运动车辆目标，匹配失败，即在当前帧中，该被挑选历史目标与候选运动车辆目标匹配失败；

(3.5)历史目标状态更新：匹配成功后，用匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零，返回步骤(3.2)循环迭代。匹配失败后，使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零；同样返回步骤(3.2)循环迭代；

(3.6)存储空间整理：待定表中历史目标稳定跟踪计数值超过稳定阈值时，将其移入稳定表中，认为该历史目标是稳定跟踪目标，而不是噪声干扰。待定表和稳定表中历史目标消失计数值超过消失阈值时，删除该目标，认为该目标是误检目标，或是目标已经离开视频的监控范围；

(3.7)创建新跟踪目标：将剩余未与历史目标匹配的候选运动车辆目标视为新跟踪目标，为其创建预测器、分配编号，并将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性，打包放入待定表观察，返回步骤(3.2)，反复迭代实现在线的遥感视频运动车辆目标检测与跟踪；

本发明在运动目标检测时使用先验知识，在差异图的基础上使用道路掩模，在运动目标状态预测时使用结合群体效应的卡尔曼滤波方法，在目标匹配时考虑轨迹的平滑性，整体框架使用动态关联模型；

本发明与现有的技术相比具有以下优点：

1、本发明采用使用道路掩膜的方法对背景减除法得到的差异图进行选择，滤除道路区域外的其他变化干扰，减少计算量，提高目标检测准确度，减少错检目标数量。

2、本发明使用动态关联方法，使用待定表和稳定表分别储存新出现目标和稳定跟踪目标，通过对新出现目标进行观察，随时间推进，逐步提高跟踪准确度以及目标的跟踪质量，使用稳定跟踪阈值和消失阈值判断目标状态，更加灵活的控制目标的初始化和销毁，优化资源使用。

3、本发明使用轨迹优化的方法，使得车辆运动轨迹更加平滑，提高跟踪准确率。

4、本发明使用群体效应预测目标状态，使得目标在消失时的状态估计更准确，降低跟踪目标闪烁次数，提高跟踪的稳定性。

附图说明

图1是本发明的流程示意图；

图2(a)是本发明仿真采用的“吉林一号”视频卫星拍摄的美国明尼阿波利斯地区的视频图像，图2(b)是第一帧使用背景减除法得到的差异图，图2(c)是实验中使用的道路掩膜；

图3是本发明仿真时随时间推进，正确检测目标数量、漏检数量和错检数量变化曲线；

图4是本发明仿真跟踪目标轨迹示意图。

具体实施方式

下面参照附图和实施例对本发明详细说明。

实施例1

现有方法通常分别进行运动目标检测和跟踪工作，对于跟踪要求在第一帧给定跟踪目标的准确位置，后续不再对新出现目标进行检测添加，跟踪过程中使用卡尔曼滤波方法预测目标位置，使用相似性度量对帧间目标进行关联，只有在目标离开边界时认为目标消失。跟踪中常使用卡尔曼滤波方法对目标运动状态进行预测，但由于遥感视频运动车辆目标跟踪任务中常出现路口减速等待、立交桥遮挡等情况，仅使用卡尔曼滤波算法难以在类似场景中获得准确、稳定的跟踪效果。理想情况下的遥感运动车辆目标检测会在首帧给出跟踪车辆的具体位置，但在实际应用中，准确标定每一个运动车辆目标的做法代价昂贵。常用的在边界处处理目标出现消失状态的做法，在跟踪器丢失目标时，算法不会重新对目标进行跟踪，也不会删除丢失目标的跟踪器，在跟踪后期，将导致算法计算速度缓慢，内存严重浪费。

针对此现状，本发明展开研究与创新，提出一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，参见图1，本发明的具体实施包括有如下步骤：

(1)按帧截取遥感图像：将遥感视频按照时间顺序截取为多帧静止图像，对于首帧图像和后续帧图像进行不同操作。

(2)对于首帧图像进行操作：

(2.1)动目标检测：由于遥感视频视角固定，仅在首帧提取道路掩膜以供后续使用，使用背景减除法结合道路掩膜检测首帧图像当前场景中的运动目标，得到首帧图像中的一组候选运动车辆目标。

(2.2)创建存储空间及存储目标：创建待定表和稳定表，待定表用于存储新出现目标并对其进行观察，判断其为噪声还是跟踪的目标；稳定表用于存储稳定跟踪目标。创建稳定表索引和待定表索引，用于指示稳定表和待定表中未处理目标的位置，由于稳定表和待定表中目标按照存储顺序进行处理，所以索引只记录表中第一个未处理目标位置，存储表中存储位置大于等于索引的目标均为未处理目标。由于在首帧处理时无可用的历史信息，即稳定表和待定表中均未存储目标，因此认为所有候选运动车辆目标均为新跟踪目标，对所有新跟踪目标创建预测器，并为其分配目标编号，目标编号在遥感视频的整个跟踪过程中与跟踪目标一一对应，目标销毁后不会将其重新分配给其他跟踪目标，将新跟踪目标的预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性打包存入待定表中，作为待定表中的历史目标，以便后续对该目标进行跟踪和状态观察；在首帧图像中，所有的候选车辆目标均为新跟踪目标。

(3)对于后续帧图像进行操作：

(3.1)动目标检测：使用背景减除法结合道路掩膜检测当前帧图像中的运动目标，检测得到的目标构成当前帧图像的一组候选运动车辆目标。

(3.2)从存储空间中挑选历史目标：当稳定表中存在未被选择过的历史目标时，按照存储先后顺序选择稳定表中一个未被选择过的历史目标，作为被挑选历史目标，执行步骤(3.3)，估计其在当前帧的位置；当稳定表中的历史目标均已被选择过，或稳定表无存储目标时，则按照存储先后顺序选择待定表中一个未被选择过的历史目标，作为被挑选历史目标，进行步骤(3.3)，估计其在当前帧的位置。当存储空间即稳定表和待定表中的所有历史目标均已被选择过时，则进行步骤(3.6)，整理存储空间。本发明一次循环中只选定一个被挑选历史目标进行位置估计和匹配。本发明中存储空间就是稳定表和待定表。从存储空间中挑选历史目标的过程分步叙述如下：

(3.2.1)清空索引：如果当前处理的这一帧是新的一帧，首次执行(3.2)操作，则稳定表和待定表的索引清零，表示当前帧中所有存储的历史目标均为未与候选运动车辆目标进行匹配。

(3.2.2)判断稳定表和待定表状态并挑选历史目标：若稳定表索引小于稳定表存储历史目标个数，则按照储存先后顺序选择索引指示的稳定表中的历史目标，复制目标得到被挑选的历史目标，稳定表索引加一。若稳定表索引大于等于稳定表历史目标个数，则判断待定表状态。若稳定表索引大于等于稳定表历史目标个数，且待定表索引小于待定表存储的历史目标个数，则按照储存先后顺序选择待定表索引指示的稳定表中的历史目标，复制目标得到被挑选的历史目标，待定表索引加一。若稳定表索引大于等于稳定表历史目标个数，且待定表索引大于等于待定表存储的历史目标个数，表示存储空间即稳定表和待定表中的历史目标均已被选择过，则进行步骤(3.6)，整理存储空间。

(3.3)估计被挑选历史目标在当前帧的位置：使用卡尔曼滤波方法预测被挑选历史目标在当前帧的位置，得到当前帧中被挑选历史目标的估计位置。

(3.4)被挑选历史目标与候选运动车辆目标匹配：使用轨迹优化方法，将被挑选历史目标与候选运动车辆目标逐一进行匹配，在被挑选历史目标估计位置邻域内，进行方向阈值和特征阈值的筛选，凡是小于方向阈值和特征阈值的候选运动车辆目标，再进行特征阈值差异排序，从中选取特征阈值差异最小的候选运动车辆目标作为该被挑选历史目标的匹配候选目标，认为其与之前存储的被挑选历史目标为同一目标，即该被挑选历史目标在当前帧成功匹配到一个候选运动车辆目标，匹配成功。否则，在被挑选历史目标估计位置邻域内，不存在满足方向变化和特征差异均小于方向阈值和特征阈值的候选运动车辆目标，匹配失败，即在当前帧中，该被挑选历史目标与候选运动车辆目标匹配失败。

(3.5)历史目标状态更新：匹配成功后，用匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零；返回步骤(3.2)循环迭代，继续从存储空间中挑选历史目标完成估计匹配过程，直至存储空间中历史目标均被挑选完毕，执行步骤(3.6)整理存储空间。匹配失败后，使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零；同样返回步骤(3.2)循环迭代。

(3.6)存储空间整理：待定表中历史目标稳定跟踪计数值超过稳定阈值时，将其移入稳定表中，认为该历史目标是稳定跟踪目标，而非噪声干扰。待定表和稳定表中历史目标消失计数值超过消失阈值时，删除该目标，认为该目标是误检目标，或是目标已经离开视频的监控范围。

(3.7)创建新跟踪目标：将剩余未与历史目标匹配的候选运动车辆目标视为新跟踪目标，为其创建预测器、分配编号，并将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性，打包放入待定表观察，返回步骤(3)，反复迭代实现在线的遥感视频运动车辆目标检测与跟踪。

本发明基于动态关联模型的遥感视频多个车辆目标检测与跟踪方法，主要解决遥感视频分辨率较低、目标较小，以及多目标之间互相影响，轨迹的初始化、终止和优化问题。首帧处理主要包括：使用背景减除法获得差异图，经过道路掩膜滤除跟踪区域外的干扰，获得道路区域的候选运动目标；建立待定表和稳定表，将候选目标的特征、目标编号、运动状态、当前位置稳定跟踪计数和消失计数储存到待定表中，以便后续对待定目标进行观察。后续帧步骤主要包括：使用背景减除法获得差异图，经过道路掩膜滤除获得道路区域的候选运动目标；使用卡尔曼滤波方法结合群体效应预测储存的车辆目标的当前帧位置；寻找匹配的候选目标范围限制在预测位置周围且与目标运动方向偏差角度小于阈值的区域内，若成功匹配，目标稳定跟踪计数加一；若储存目标在当前帧未能匹配到目标，目标消失计数加一，若达到阈值，则删除目标；若待定表中目标稳定跟踪计数达到阈值，则将该目标移入稳定表；将当前帧剩余候选运动目标放入待定表观察。本发明使用背景减除法和道路掩膜提取动目标，并使用卡尔曼滤波器预测运动车辆目标位置，利用动态关联策略实现目标跟踪，在其基础上使用群体效应对消失运动目标状态估计进行优化，增强跟踪鲁棒性，使用轨迹优化方法提高跟踪精度，降低匹配过程的计算量。经仿真实验证明本发明可以减少计算量，提高跟踪稳定性，增强跟踪鲁棒性，可用于车流监测，行驶路线分析，军事情报获取领域。

实施例2

基于动态关联模型的遥感视频车辆目标检测与跟踪方法同实施例1，步骤(2.1)中动目标检测步骤如下：

(2a)建立背景模型，使用背景减除法获得差异图，并根据面积筛选运动目标区域。

更具体的操作描述如下：

(2a.1)对背景模型，使用道路提取或手工分割方法获得道路掩膜；建立背景模型。不再对连续视频中所有帧求其均值，而是先进行初步筛选，选择视频中当前位置“静止”的帧的像素值求均值作为当前位置的背景像素值。具体操作如下：若当前帧(x,y)位置上的像素值与历史背景(x,y)位置上像素值偏差超过阈值，则认为当前帧(x,y)位置像素属于运动目标，不对历史背景进行更新；若偏差小于阈值，则认为当前帧(x,y)位置像素属于背景，与历史背景(x,y)处保存像素和相加并求均值，作为新的历史背景(x,y)处像素值。

(2a.2)使用背景减除法获得差异图。使用(2a.1)建立的背景模型与原图像比较，变化区域为1，不变区域为0。

(2a.3)对检测出的运动目标，使用面积信息进行二次筛选。由于遥感视频分辨率较低，例如实验使用的数据分辨率为1.13m，普通轿车在视频中的面积仅为4～7个像素，容易与噪声等混淆，因此对与背景做差值得到的目标进行区域生长，得到连接区域并求其面积，若面积超过面积阈值则认为是运动目标；若小于面积阈值，则判定为噪声。其中面积阈值用于滤除图像中的噪声，根据跟踪视频的分辨率选取。

(2b)使用道路掩膜滤除道路区域外的干扰目标，差异图与道路掩膜进行“与”操作，并使用形态学操作和连通性分析，获得候选运动车辆目标。道路掩膜是一个与视频中各帧图像尺寸相同的一个二值矩阵，用于指示原视频图像对应位置像素是否属于道路，其中1代表对应位置像素属于道路，0对应位置像素属于其他区域。道路掩膜可以使用道路分割方法获得也可以手动分割。将道路掩膜与上一步中所提到的背景减除法所得到的变化区域进行“与”操作，滤除道路以外的变化信息，之后进行形态学操作得到多个候选运动目标。

本发明采用使用道路掩膜的方法对背景减除法得到的差异图进行选择，滤除道路区域外的其他变化干扰，减少计算量，提高目标检测精度。

实施例3

基于动态关联模型的遥感视频车辆目标检测与跟踪方法同实施例1-2，步骤(3.4)中所述的使用轨迹优化方法，具体步骤如下：

轨迹优化是指在每一帧之间保证方向的稳定变化，使得整个轨迹相对平滑。根据常识，认为车辆在行驶过程中不允许突然大角度转向，逆行，所以车辆的行驶角度变化不应超过方向阈值，即

|θ_t-1-θ_t|≤θ_threshold

轨迹优化方法具体步骤如下：

(3.4a)计算车辆目标历史运动方向

(3.4b)计算加入候选目标后，车辆目标新的运动方向

(3.4c)计算方向变化，要求差值小于允许方向变化阈值|θ_t-1-θ_t|≤θ_threshold。

相比于传统方法直接在估计位置邻域内搜索匹配候选目标，使用轨迹优化方法将搜索范围限定在目标估计位置邻域内目标方向变化小于方向阈值的区域中，减小搜索范围，提高算法速度。方向阈值根据实际测试时对精度、速度要求合理选择。同时相比于离线的全局目标位置轨迹优化方法，本发明使用的在每一帧中对轨迹进行优化的方法，可以在线使用。本发明使用轨迹优化的方法，使得车辆运动轨迹更加平滑，提高跟踪准确度。

实施例4

基于动态关联模型的遥感视频车辆目标检测与跟踪方法同实施例1-3，步骤(3.5)中群体效应优化方法具体步骤如下：

群体效应在这里主要指社会趋同效应，即个体受到所在群体的影响，缩小相互之间差距，区域相同意见、观点和行为倾向。在算法中，当目标消失时，将使用邻域内，且行驶方向与之接近(即角度偏差小于方向阈值，与轨迹优化类似)的稳定跟踪目标运动状态与消失目标自身历史运动状态的均值作为消失目标当前帧的运动状态，并以此预测消失目标当前帧位置。

(3.5a)在消失目标邻域内，进行方向阈值和特征阈值筛选，凡是小于方向阈值和特征阈值的稳定跟踪目标组成该目标的相似群体。方向阈值根据经验选择，用角度表示。特征阈值根据跟踪目标大小，跟踪视频质量，以特征变化与原特征模值的百分比表示。例如模糊、噪声等干扰出现情况以及光照变化等因素确定。

(3.5b)计算群体的运动状态均值更新该目标运动状态。

传统算法中经常直接使用卡尔曼滤波器预测的运动目标状态更新消失目标状态，或是认为消失目标运动状态保持不变，不予更新。上述的两种传统方法无法适应消失目标运动状态变化较大的情况。本发明使用群体效应预测消失目标状态，通过计算与消失目标状态相似的历史目标状态均值代替消失目标历史状态，使得目标在消失时的状态估计更准确，提高了遥感视频车辆目标的稳定性。本发明使用动态关联方法，使用待定表和稳定表分别储存新出现目标和稳定跟踪目标，通过对新出现目标的观察提高跟踪精度以及稳定性，使用稳定跟踪阈值和消失阈值判断目标状态，更加灵活的控制目标的初始化和销毁，优化资源使用。使用轨迹优化方法，对候选运动车辆目标进行筛选，减少后期匹配环节的计算复杂度。使用群体效应对消失目标进行状态更新，更加准确的预测消失目标状态。

实施例5

基于动态关联模型的遥感视频车辆目标检测与跟踪方法同实施例1-4，步骤(3.3)中卡尔曼滤波步骤如下：

卡尔曼滤波算法主要包括时间更新和状态更新两部分：

时间更新：

(1)

(2)

状态更新：

(3)

(4)

(5)

卡尔曼滤波器工作流程：

(3.3a)使用公式(1)由第k-1帧的最优位置去预测第k帧目标的位置

(3.3b)使用公式(2)由上一帧的误差协方差P_k-1和过程噪声Q预测当前误差协方差

(3.3c)根据公式(3)计算卡尔曼增益K_k。

(3.3d)使用公式(4)对预测位置进行矫正，得到k时刻最优位置估计。

(3.3e)根据公式(5)更新状态。

目标状态预测使用视频跟踪中常用的卡尔曼滤波器，相比于线性预测，卡尔曼滤波器考虑了观察噪声干扰因素，提高了目标状态预测精度。本发明方法中也可以使用线性预测方法，但在实际使用中线性预测的预测精度低于卡尔曼滤波器。

本发明的效果可以通过以下仿真实验进一步说明：

实施例6

基于动态关联模型的遥感视频车辆目标检测与跟踪方法同实施例1-5。

仿真条件：

仿真实验采用“吉林一号”视频卫星拍摄的美国明尼阿波利斯地区的遥感视频数据，地面分辨率1.13米，每秒10帧，视角固定。

仿真实验在CPU为Intel(R)Core(TM)i7-7700HQ、主频2.80GHz，内存为8G的WINDOWS 10系统上使用Python3.6软件进行。

仿真内容及分析：

本发明对“吉林一号”视频卫星拍摄的美国明尼阿波利斯地区的视频图像中的车辆进行跟踪。

仿真步骤：

(1)按帧截取遥感图像：将遥感视频按照时间顺序截取为多帧静止图像，图2(a)是仿真中使用的遥感视频的首帧图像。

(2)对于首帧图像进行操作：

(2.1)动目标检测：使用背景减除法结合道路掩模检测首帧图像当前场景中的运动目标，得到首帧图像中的一组候选运动目标。

(2.2)创建存储空间及存储目标：创建待定表和稳定表，待定表用于存储新出现目标并对其进行观察，判断其为噪声还是跟踪的目标；稳定表用于存储稳定跟踪目标。稳定表和待定表在初建后均为空表，没有存储历史目标，因此认为步骤(2.1)检测得到的候选运动目标均为新出现目标。对于每个新出现目标创建对应的预测器，这里的预测器是卡尔曼滤波器。并为每个新出现目标分配目标编号，目标编号是后续对目标跟踪评价的唯一标识，在遥感视频的整个跟踪过程中与跟踪目标一一对应，目标销毁后不会将其重新分配给其他跟踪目标。将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性打包存入待定表中，作为待定表中的历史目标。以便对目标进行跟踪和状态观察。

(3)对于后续帧图像进行操作：

(3.1)动目标检测：与本例中步骤(2.1)动目标检测相似，使用背景减除法结合道路掩膜检测当前帧图像中的运动目标，检测得到的目标构成当前帧图像的一组候选运动车辆目标。由于遥感视频视角固定，且道路分割信息短时间内不会改变，因此这里使用的道路掩膜与本例中的步骤(2.1)相同。

(3.2)从存储空间中挑选历史目标：当稳定表中存在未被选择过的历史目标时，按照存储先后顺序选择稳定表中一个未被选择过的历史目标，作为被挑选历史目标，执行步骤(3.3)，即估计其在当前帧的位置；当稳定表中的历史目标均已被选择过，或稳定表无存储目标时，则按照存储先后顺序选择待定表中一个未被选择过的历史目标，作为被挑选历史目标，进行步骤(3.3)，估计其在当前帧的位置；当存储空间即稳定表和待定表中的所有历史目标均已被选择过时，则进行步骤(3.6)，进入存储空间的整理。

(3.3)估计被挑选历史目标在当前帧的位置：使用卡尔曼滤波方法预测被挑选历史目标在当前帧的位置，得到当前帧中被挑选历史目标的估计位置。

(3.4)被挑选历史目标与候选运动车辆目标匹配：使用轨迹优化方法，将被挑选历史目标与候选运动车辆目标逐一进行匹配，在被挑选历史目标估计位置邻域内，即匹配范围中，进行方向阈值和特征阈值的筛选，凡是小于方向阈值和特征阈值的候选运动车辆目标，再进行特征差异排序，从中选取特征差异最小的候选运动车辆目标作为该被挑选历史目标的匹配候选目标，认为其与之前存储的被挑选历史目标为同一目标，即该被挑选历史目标在当前帧成功匹配到一个候选运动车辆目标；否则，在被挑选历史目标估计位置邻域内，不存在满足方向变化和特征差异均小于方向阈值和特征阈值的候选运动车辆目标，匹配失败，即在当前帧中，该被挑选历史目标与候选运动车辆目标匹配失败。仿真中，使用的匹配范围为5，方向阈值为45°，使用的特征阈值为20％。匹配范围表示，认为车辆目标实际位置与车辆目标估计位置图像中欧式距离小于5，即目标邻域范围为与估计位置为中心，匹配范围为半径的圆内。方向阈值表示，认为车辆目标的运动过程中，两帧之间方向转变左右两个方向均小于45°。仿真中使用欧式距离计算历史目标和候选运动车辆目标之间的特征差异，当特征差异小于历史目标特征模值的20％时，历史目标与对应的候选运动车辆目标匹配。

(3.5)历史目标状态更新：匹配成功后，用被挑选历史目标的匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零；匹配失败的被挑选历史目标使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零。返回步骤(3.2)循环迭代，继续从存储空间中挑选历史目标完成估计匹配过程。这里，群体效应使用参数群体个数为20，即选择与消失目标距离最近的20个历史目标，选择其中符合上述条件的目标组成消失目标的状态相似群体，用群体中历史目标运动状态的均值更新消失目标的运动状态。

(3.6)存储空间整理：待定表中历史目标稳定跟踪计数值超过稳定阈值时，将其移入稳定表中，认为该历史目标是稳定跟踪目标，而不是噪声干扰；待定表和稳定表中历史目标消失计数值超过消失阈值时，删除该目标，认为该目标是误检目标，或是目标已经离开视频的监控范围。这里使用的稳定阈值为5，待定表消失阈值为2，稳定表消失阈值为8。稳定阈值用于控制跟踪目标由待定观察状态转为稳定跟踪状态所需时间，消失阈值用于控制认定跟踪目标消失或离开监控区域的时间。为优化存储资源，待定表消失阈值小于稳定表消失阈值，但随着待定表消失阈值的增加，跟踪稳定性会随之提高。

(3.7)创建新跟踪目标：将剩余未与历史目标匹配的候选运动车辆目标视为新跟踪目标，为其创建预测器、分配编号，并将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性，打包放入待定表观察，返回步骤(3)，反复迭代实现在线的遥感视频运动车辆目标检测与跟踪。

仿真分析：

图2(a)是实验使用的视频首帧图像，图2(b)是本发明第一帧使用背景减除法得到的差异图，图2(c)是本发明中得到的道路掩膜，由三幅图比较可见，本发明针对道路区域外存在很多变化的点进行过滤，道路外的这些点对于跟踪没有意义，如果不滤除会加大计算量，还会影响检测精度，图2(c)可见本发明有效地滤除其他干扰和噪声，减少算法的计算量。

实施例7

基于动态关联模型的遥感视频车辆目标检测与跟踪方法同实施例1-5，仿真条件和步骤同实施例6。

仿真分析：

图3(a)是本发明实验中跟踪目标随时间推进的变化曲线。图3(b)是本发明算法准确率、完整率和跟踪质量随时间推进的变化趋势。

完整率(Completeness)，正确率(Correctness)，跟踪质量(Quality)使用以下计算公式获得：

其中，True Positives(TPs)表示算法正确跟踪的车辆目标，即正确检测个数，FalseNegatives(FNs)表示算法未能检出的车辆目标，即漏检个数，False Positives(FP)，即错检个数也称虚警个数。

对比图3最上方的正确检测目标曲线，现有技术方法通常仅处理边界处的进入驶出情况，随着帧数增加，正确检测目标数目会逐步降低；对比图3下方两条曲线，漏检、错检目标数量在整个跟踪过程中保持稳定。由图3可见，本发明方法使用更加灵活的跟踪方式，在跟踪初始阶段，会对目标进行观察，随着帧数的增加，待定表中的目标稳定跟踪一段时间后会被认为是稳定跟踪目标，正确检测目标数量增加，漏检目标数量逐步减少，因本发明中使用待定表对新出现目标进行观察，因此错检目标数目维持在较低水平，可以更好地滤除噪声干扰，提高跟踪稳定性。

表1是使用的待定表消失阈值与使用的跟踪器数量，平均跟踪目标，目标闪烁次数和跟踪器更换次数的关系。

表1本发明消失阈值与跟踪稳定性关系表

由表1可见，随着待定表消失阈值的增加，平均每帧需要储存更多的目标，与此同时，更换跟踪器次数降低，闪烁次数稳定，代表跟踪稳定性提高。

实施例8

基于动态关联模型的遥感视频车辆目标检测与跟踪方法同实施例1-5，仿真条件和步骤同实施例6。

仿真分析：

图4是本发明跟踪图2(a)目标的轨迹图，因为图片尺寸过大，难以清晰显示出道路目标的轨迹，为便于清晰区分目标，仅选用部分结果图，图中每一个目标轨迹颜色互不相同。如图可见，图中存在的车辆目标数目较多，且遥感视频分辨率较低，车辆目标与周围干扰外形相似，本发明很好的区别各个跟踪的车辆目标，得到的跟踪目标轨迹平滑、稳定，对于大部分跟踪车辆距离较近，或是相对而过的情况可以保持跟踪的准确度，对于跟踪过程中途出现的目标也可以很好的跟踪，可以有效地过滤光照变化或噪声带来的干扰，在立交桥、转弯处可以稳定的跟踪车辆目标。

本发明使用背景减除法和道路掩膜提取动目标，并使用卡尔曼滤波器预测运动车辆目标位置，利用动态关联策略实现目标跟踪，在其基础上使用群体效应对消失运动目标状态估计进行优化，增强跟踪鲁棒性，使用轨迹优化方法提高跟踪精度，降低匹配过程的计算量。经仿真实验证明本发明可以减少计算量，提高跟踪稳定性，增强跟踪鲁棒性，与现有方法相比具有一定优势。

综上，本发明公开的基于动态关联模型的遥感视频多个车辆目标检测与跟踪方法，解决了跟踪精度低，计算量大，只在边界处处理目标的初始化和删除的问题。实现步骤有：按帧截取遥感图像，对于首帧图像进行动目标检测和创建存储空间储存目标，对后续帧图像，检测候选运动目标，从存储空间中挑选历史目标并估计其位置，被挑选历史目标与候选运动目标匹配，更新历史目标的状态并整理存储空间，将新出现目标存入存储空间。本发明使用背景减除法和道路掩膜提取动目标，用卡尔曼滤波器预测运动车辆目标位置，用动态关联策略实现目标跟踪，用群体效应对消失运动目标状态估计优化，增强跟踪鲁棒性，用轨迹优化法提高跟踪精度，降低匹配计算量。仿真实验证明本发明减少了计算量，提高跟踪稳定性，增强跟踪鲁棒性，用于车流监测，行驶路线分析，军事情报获取领域。

Claims (4)

1.一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，其特征在于，包括如下步骤：

(1)按帧截取遥感图像：将遥感视频按照时间顺序截取为多帧静止图像，对于首帧图像和后续帧图像进行不同操作；

(2)对于首帧图像进行操作：

(2.1)动目标检测：由于遥感视频视角固定，仅在首帧提取道路掩膜以供后续使用，使用背景减除法结合道路掩膜检测首帧图像当前场景中的运动目标，得到首帧图像中的一组候选运动车辆目标；

(2.2)创建存储空间及存储目标：创建待定表和稳定表，待定表用于存储新出现目标并对其进行观察，判断其为噪声还是跟踪的目标；稳定表用于存储稳定跟踪目标；所有候选运动车辆目标均为新跟踪目标，对所有新跟踪目标创建预测器，并为其分配目标编号，将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性打包存入待定表中，作为待定表中的历史目标，以便对该目标进行跟踪和状态观察；

(3)对于后续帧图像进行操作：

(3.1)动目标检测：使用背景减除法结合道路掩膜检测当前帧图像中的运动目标，检测得到的目标构成当前帧图像的一组候选运动车辆目标；

(3.2)从存储空间中挑选历史目标：当稳定表中存在未被选择过的历史目标时，按照存储先后顺序选择稳定表中一个未被选择过的历史目标，作为被挑选历史目标，执行步骤(3.3)，估计其在当前帧的位置；当稳定表中的历史目标均已被选择过，或稳定表无存储目标时，则按照存储先后顺序选择待定表中一个未被选择过的历史目标，作为被挑选历史目标，进行步骤(3.3)，估计其在当前帧的位置；当存储空间即稳定表和待定表中的所有历史目标均已被选择过时，则进行步骤(3.6)，整理存储空间；

(3.3)估计被挑选历史目标在当前帧的位置：使用卡尔曼滤波方法预测被挑选历史目标在当前帧的位置，得到当前帧中被挑选历史目标的估计位置；

(3.4)被挑选历史目标与候选运动车辆目标匹配：使用轨迹优化方法，将被挑选历史目标与候选运动车辆目标逐一进行匹配，在被挑选历史目标估计位置邻域内，进行方向阈值和特征阈值的筛选，凡是小于方向阈值和特征阈值的候选运动车辆目标，再进行特征阈值差异排序，从中选取特征阈值差异最小的候选运动车辆目标作为该被挑选历史目标的匹配候选目标，认为其与之前存储的被挑选历史目标为同一目标，即该被挑选历史目标在当前帧成功匹配到一个候选运动车辆目标；否则，在被挑选历史目标估计位置邻域内，不存在满足方向变化和特征差异均小于方向阈值和特征阈值的候选运动车辆目标，匹配失败，即在当前帧中，该被挑选历史目标与候选运动车辆目标匹配失败；

(3.5)历史目标状态更新：匹配成功后，用被挑选历史目标的匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零；匹配失败的被挑选历史目标使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零；返回步骤(3.2)循环迭代，继续从存储空间中挑选历史目标完成估计匹配过程；

(3.5)历史目标状态更新：匹配成功后，用匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零；返回步骤(3.2)循环迭代，匹配失败后，使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零；同样返回步骤(3.2)循环迭代；

(3.6)存储空间整理：待定表中历史目标稳定跟踪计数值超过稳定阈值时，将其移入稳定表中，认为该历史目标是稳定跟踪目标，而不是噪声干扰；待定表和稳定表中历史目标消失计数值超过消失阈值时，删除该目标，认为该目标是误检目标，或是目标已经离开视频的监控范围；

(3.7)创建新跟踪目标：将剩余未与历史目标匹配的候选运动车辆目标视为新跟踪目标，为其创建预测器、分配编号，并将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性，打包放入待定表观察，返回步骤(3)，反复迭代实现在线的遥感视频运动车辆目标检测与跟踪。

2.根据权利要求1所述的遥感视频车辆目标检测与跟踪方法，其中步骤(2.1)中动目标检测具体步骤如下：

(2.1a)对背景模型，使用道路提取或手工分割方法获得道路掩膜；

(2.1b)使用背景减除法获得差异图，差异图与道路掩膜进行“与”操作，滤除道路区域外的干扰目标，并使用形态学操作和连通性分析，获得候选运动车辆目标。

3.根据权利要求1所述的遥感视频车辆目标检测与跟踪方法，其中步骤(3.4)中轨迹优化方法具体步骤如下：

(3.4a)计算车辆目标历史运动方向

(3.4b)计算加入候选目标后，车辆目标新的运动方向

(3.4c)计算方向变化，要求差值小于允许方向变化阈值|θ_t-1-θ_t|≤θ_threshold。

4.根据权利要求1所述的遥感视频车辆目标检测与跟踪方法，其中步骤(3.5)中群体效应优化方法具体步骤如下：

(3.5a)在消失目标邻域内，进行方向阈值和特征阈值筛选，凡是小于方向阈值和特征阈值的稳定跟踪目标组成该目标的相似群体；

(3.5b)计算群体的运动状态均值更新该目标运动状态。