CN104318589A - 基于ViSAR的异常变化检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种基于ViSAR的异常变化检测与跟踪方法，包括第一步：目标检测，利用视频最初的三帧图像上下两帧相减的方法确定前景图像、背景图像，图像的前景图像和背景图像设定完毕在确定背景区域、运动区域，对运动区域进行标定为目标，提取标定目标的位置信息和统计直方图作为标定目标的特征，将标定目标与标定目标的携带的位置信息和统计直方图带入下一帧，进入第二步；第二步：目标跟踪定位。第三步：目标异常变化检测“即动态序列建模”。使用本发明方法可使监控设备不受光照、云雾、暴雨和雾霾等天气条件的影响；而且通过特殊算法解决了SAR成像本身的散焦、目标模糊不清的问题。

Description

基于ViSAR的异常变化检测与跟踪方法

技术领域

本发明涉及一种异常变化检测与跟踪方法，尤其涉及一种基于ViSAR的异常变化检测与跟踪方法。

背景技术

ViSAR成像不受光照，云雾，暴雨，雾霾等恶劣天气的影响，可以全天候的对ViSAR视场内提供观测。如果用ViSAR成像作为机场或者交通枢纽的监控，将具有比常规的监控更稳健的安全和反恐效果。

本项目将动态图像序列建模与分类引入到多时相ViSAR图像异常变化检测的跟踪与分析中，研究如何将复杂场景下的ViSAR图像分类并定量进行描述，用主体帧差模型表示图像变化信息作为多时相图像变化的状态，并计算状态间概率，作为评价图像异常的隐状态，给出基于因子隐马可夫和联合隐马可夫模型的多级融合模型的异常跟踪理论和有效设计方法；在此基础上，对训练样本特征采用线性混合高斯状态空间模型，在训练样本数量较少的条件下，仍然保证有较高的识别率和拒判功能。这一思想是我们首次提出，在国内外还未见其他科研组开展这一工作。

首先是SAR目标阴影的分割问题，目前针对SAR图像阴影的分割算法主要分为两类：一类是基于数据驱动的算法，另外一类是基于模型驱动的算法。基于数据驱动的算法不需要先验知识，直接根据图像进行分割。基于模型驱动的算法则依赖对先验信息的分析。

基于数据驱动的算法主要有边缘增强算法和最优阈值分割算法。这两种算法都是利用像素的强度信息，结合实际SAR图像的统计分布。第一种算法首先找出边缘进行并对边缘进行增强，然后进行分割。第二种算法则是在统计分布的基础上MAP准则下最优分割。基于边缘增强算法的问题在于无法提前预知增强的上界，无法控制起始和结束的时间。另外，如果噪声影响较大，前面边缘增强可能同时增强了噪声，造成后面过分割。基于MAP的最优阈值分割同样难以克服噪声对图像各部分直方图分布的影响，很难获得高的分割精度。

基于模型的分割代表有双参数恒虚警和随机马尔科夫随机场分割等。双参数恒虚警首先评估SAR图像分布模型，然后根据背景区域先验信息再给出分割阈值，最后一般用形态几何学滤掉多余信息。这种方法分割速度快，但是由于背景的复杂性，很难获得稳定的背景信息，导致这种方法分割精度不高。马尔科夫随机场分割方法利用局部相关信息进行分割。这种分割方法分割精度很高，但是分割速度慢，而且由于待分割是人工目标，局部关联性不高，因此这种算法很可能陷入局部优化。

阴影分割需要尽量的使阴影部分从周围分离出来，阴影部分的特点是比较平滑，幅度值相对小，如果有选择的只增强背景和目标部分，阴影才能有明显的边界，使得阴影部分能够分离出来。

其次是图像序列建模的问题，动态图像序列是由一系列具有相对次序的帧图像组成。除了具有与图像一样的空间特性外，动态图像序列还具有时序特性，即变化信息。动态图像序列建模对序列中的变化模式进行分析和识别，并用自然语言加以描述，是计算机视觉领域的重要研究方向之一，在智能监控、人机交互、动作分析等领域有非常重要的应用。动态图像序列对于异常变化检测有非常明显的优势，通过积累图像序列，建立变化之间的转换模型，动态就可以有效的检测和描述图像序列中的变化信息。

HMM成功的将图像序列中的动态和静态信息结合起来，充分体现了图像序列本身的特点和变化，通过计算每帧图像与隐状态之间的距离以及每类的聚集程度，以其为基础计算观测概率矩阵，作为变化检测跟踪与分析的理论依据。由于图像是高维数据，从中提取的能够有效的表征图像的特征的维数也比较高，很难用高斯或混合高斯函数来描述它，无法训练连续HMM，因此在本方案建模均使用离散HMM。使用HMM描述动态图像序列时，隐状态的选择是非常重要的问题，一般情况下隐状态选择对图像序列进行平均分类，简单使用每类观测的平均作为隐状态。

发明内容

针对以上问题本发明提供了一种在即使在恶劣天气情况下也可全天候、全天时进行成像监控的基于ViSAR的异常变化检测与跟踪方法。

技术方案：为了解决以上问题本发明提供了一种基于ViSAR的异常变化检测与跟踪方法，其特征在于：包括以下步骤：

第一步：目标检测

利用视频最初的三帧图像上下两帧相减，得到两幅相减后的图像，对两幅得到图像的所有点的绝对值与设定阈值T0进行比较，两幅图像对应点的值均大于阈值的为前景图像，小于阈值的为背景图像，图像的前景图像和背景图像设定完毕；从第四帧图像开始，将当前帧图像与背景图像进行比较，如果当前帧对应的值减去背景区域的对应值小于设定阈值T1的为背景区域，大于设定阈值的为运动区域，对运动区域进行标定为目标，提取标定目标的位置信息和统计直方图作为标定目标的特征，将标定目标与标定目标的携带的位置信息和统计直方图带入下一帧，进入第二步；

第二步：目标跟踪定位

根据第一步中标定目标携带的目标位置信息和帧差时间估计本帧目标位置区域和候选目标统计直方图；

同时按照第一步的方式计算本帧的标定目标并提取标定目标的位置信息和统计直方图；

如果本帧的标定目标在根据第一步标定目标估计的位置区域，则用基于目标统计直方图的相关匹配，用Bhattacharyya系数度量第一步中标定目标与第二步中标定目标直方图的相似度，如果满足Bhattacharyya相似，则更新第二步中标定目标位候选目标，在图像中画出目标并显示标定图像，完成运动目标的跟踪定位；如果本帧的标定目标位置不满足第一步标定目标估计的位置区域或者本帧的标定目标的统计直方图与上一帧统计直方图不满足Bhattacharyya相似，则报警或者降低相似度量准则进行重新跟踪定位；

第三步：目标异常变化检测“即动态序列建模”

第一步和第二部已经完成了动态目标的检测与跟踪，但是对于目标的移动是否异常并没有给出判断。异常变化检测的算法为：根据第一步和第二步的步骤，对于跟踪到动目标的图像连续检测5帧，利用标定目标携带的位置信息和统计直方图计算目标每上下两帧之间的运动速度、运动方向、运动目标的轮廓作为运动目标的特征，并求出这5帧的运动速度、运动方向、运动目标的轮廓的平均值(运动目标的轮廓是二维数组，先用傅里叶描述子将二维数组转化为一维数组再求平均)，并将平均值作为Viterbi算法的隐状态；

再用同样的方法继续连续测5帧，得到后面运动目标的运动速度、运动方向、运动目标的轮廓的平均值，将平均值作为Viterbi算法的观测状态；

通过隐状态观测状态与隐状态之间的距离以及每类的聚集程度，以此为基础计算Viterbi算法的观测矩阵；

由于Viterbi算法可以通过给定观测序列和模型参数计算满足这种观察序列意义上最优的隐含状态序列。因此在本文中我们可以通过观测状态序列和观测矩阵来反推隐状态，如果隐状态满足观测序列的最优隐含状态序列，就认为目标在正常移动，继续观测，如果不满足上述条件系统就提出警报。

本发明针对SAR图像移动目标的特殊算法：由于SAR成像的特殊性，运动目标在成像时会散焦，导致目标信息难以提取，但是SAR目标的阴影信息一直非常稳定，因此在本发明中提取目标的阴影作为检测对象。

有益效果：使用本发明方法可使监控设备不受光照、云雾、暴雨和雾霾等天气条件的影响；而且通过特殊算法解决了SAR成像本身的散焦、目标模糊不清的问题。

附图说明

图1红灯，车辆静止，车辆和阴影同时存在示意图；

图2红灯转绿灯，车辆启动，车辆已经散焦，但是阴影依然存在的示意图；

图3本发明方法运动目标检测流程图；

图4本发明方法运动目标定位跟踪流程图。

具体实施方式

下面结合附图，对本发明作进一步详细说明。

图1和图2是ViSAR视频截频图，从图1中可以看出，这是一个红绿灯路口，在红灯的时候，车辆停止，可以成像，但是当绿灯时(图2)，车辆就散焦了，但是目标的阴影特征一直比较稳定，因此可以提取阴影作为目标信息利用。

如图3、4所示，本发明提供了一种基于ViSAR的异常变化检测与跟踪方法，包括以下步骤：

第一步：目标检测

利用视频最初的三帧图像上下两帧相减，得到两幅相减后的图像，对两幅得到图像的所有点的绝对值与设定阈值T0进行比较，两幅图像对应点的值均大于阈值的为前景图像，小于阈值的为背景图像，图像的前景图像和背景图像设定完毕。从第四帧图像开始，将当前帧图像与背景图像进行比较，如果当前帧对应的值减去背景区域的对应值小于设定阈值T1的为背景区域，大于设定阈值的为运动区域，对运动区域进行标定为目标，提取标定目标的位置信息和统计直方图作为标定目标的特征，将标定目标与标定目标的携带的位置信息和统计直方图带入下一帧，进入第二步；

第二步：目标跟踪定位

根据第一步中标定目标携带的目标位置信息和帧差时间估计本帧目标位置区域和候选目标统计直方图；

同时按照第一步的方式计算本帧的标定目标并提取标定目标的位置信息和统计直方图；

如果本帧的标定目标在根据第一步标定目标估计的位置区域，则用基于目标统计直方图的相关匹配，用Bhattacharyya系数度量第一步中标定目标与第二步中标定目标直方图的相似度，如果满足Bhattacharyya相似，则更新第二步中标定目标位候选目标，在图像中画出目标并显示标定图像，完成运动目标的跟踪定位；如果本帧的标定目标位置不满足第一步标定目标估计的位置区域或者本帧的标定目标的统计直方图与上一帧统计直方图不满足Bhattacharyya相似，则报警或者降低相似度量准则进行重新跟踪定位。

第三步：目标异常变化检测“即动态序列建模”

第一步和第二部已经完成了动态目标的检测与跟踪，但是对于目标的移动是否异常并没有给出判断。异常变化检测的算法为：根据第一步和第二步的步骤，对于跟踪到动目标的图像连续检测5帧，利用标定目标携带的位置信息和统计直方图计算目标每上下两帧之间的运动速度、运动方向、运动目标的轮廓作为运动目标的特征，并求出这5帧的运动速度、运动方向、运动目标的轮廓的平均值(运动目标的轮廓是二维数组，先用傅里叶描述子将二维数组转化为一维数组再求平均)，并将平均值作为Viterbi算法的隐状态。

再用同样的方法继续连续测5帧，得到后面运动目标的运动速度、运动方向、运动目标的轮廓的平均值，将平均值作为Viterbi算法的观测状态。

通过隐状态观测状态与隐状态之间的距离以及每类的聚集程度，以此为基础计算Viterbi算法的观测矩阵。

由于Viterbi算法可以通过给定观测序列和模型参数计算满足这种观察序列意义上最优的隐含状态序列。因此在本文中我们可以通过观测状态序列和观测矩阵来反推隐状态，如果隐状态满足观测序列的最优隐含状态序列，就认为目标在正常移动，继续观测，如果不满足上述条件系统就提出警报。

以上所述仅为本发明的优选实施例而已，并不限制于本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (1)

1.基于ViSAR的异常变化检测与跟踪方法，其特征在于：包括以下步骤：

第一步：目标检测

利用视频最初的三帧图像上下两帧相减，得到两幅相减后的图像，对两幅得到图像的所有点的绝对值与设定阈值T0进行比较，两幅图像对应点的值均大于阈值的为前景图像，小于阈值的为背景图像，图像的前景图像和背景图像设定完毕；从第四帧图像开始，将当前帧图像与背景图像进行比较，如果当前帧对应的值减去背景区域的对应值小于设定阈值T1的为背景区域，大于设定阈值的为运动区域，对运动区域进行标定为目标，提取标定目标的位置信息和统计直方图作为标定目标的特征，将标定目标与标定目标的携带的位置信息和统计直方图带入下一帧，进入第二步；

第二步：目标跟踪定位

根据第一步中标定目标携带的目标位置信息和帧差时间估计本帧目标位置区域和候选目标统计直方图；

同时按照第一步的方式计算本帧的标定目标并提取标定目标的位置信息和统计直方图；

如果本帧的标定目标在根据第一步标定目标估计的位置区域，则用基于目标统计直方图的相关匹配，用Bhattacharyya系数度量第一步中标定目标与第二步中标定目标直方图的相似度，如果满足Bhattacharyya相似，则更新第二步中标定目标位候选目标，在图像中画出目标并显示标定图像，完成运动目标的跟踪定位；如果本帧的标定目标位置不满足第一步标定目标估计的位置区域或者本帧的标定目标的统计直方图与上一帧统计直方图不满足Bhattacharyya相似，则报警或者降低相似度量准则进行重新跟踪定位；

第三步：目标异常变化检测“即动态序列建模”

第一步和第二部已经完成了动态目标的检测与跟踪，但是对于目标的移动是否异常并没有给出判断；异常变化检测的算法为：根据第一步和第二步的步骤，对于跟踪到动目标的图像连续检测5帧，利用标定目标携带的位置信息和统计直方图计算目标每上下两帧之间的运动速度、运动方向、运动目标的轮廓作为运动目标的特征，并求出这5帧的运动速度、运动方向、运动目标的轮廓的平均值“运动目标的轮廓是二维数组，先用傅里叶描述子将二维数组转化为一维数组再求平均”，并将平均值作为Viterbi算法的隐状态；

再用同样的方法继续连续测5帧，得到后面运动目标的运动速度、运动方向、运动目标的轮廓的平均值，将平均值作为Viterbi算法的观测状态；

通过隐状态观测状态与隐状态之间的距离以及每类的聚集程度，以此为基础计算Viterbi算法的观测矩阵；

由于Viterbi算法可以通过给定观测序列和模型参数计算满足这种观察序列意义上最优的隐含状态序列；因此可以通过观测状态序列和观测矩阵来反推隐状态，如果隐状态满足观测序列的最优隐含状态序列，就认为目标在正常移动，继续观测，如果不满足上述条件系统就提出警报。