CN104243916A - 一种基于压缩传感的运动目标检测和跟踪方法 - Google Patents

Abstract

本发明公开了一种基于压缩传感的运动目标检测和跟踪方法，包括对视频序列进行融合支撑集和残差补偿的序列重建，利用基于压缩传感的背景减法进行目标检测，并根据改进的粒子滤波算法对运动目标进行跟踪。在进行背景提取时，压缩传感域的计算量将远远小于空间域的计算量，这就节省了大量的存储和技术开销，同时将图像序列中的各帧图像间的相关性作为先验信息用于压缩传感的重构过程，可以减少搜索空间，提高重构算法的重构精度。融合压缩传感理论、遮挡判断和基于动态权值选择的改进的跟踪算法在光照阴影、遮挡情况下的跟踪性能更精确，对退化问题的改善更显著。

Description

一种基于压缩传感的运动目标检测和跟踪方法

技术领域

本发明属于智能视频监控领域，具体涉及一种融合压缩传感技术的运动目标检测与跟踪图像处理方法，实现对输入的视频信号中异常行为的检测和识别。

背景技术

伴随着当前社会对安全问题的日益关注和数字视频技术的飞速发展，视频监控成为计算机视觉领域的一个研究热点，并向着智能化和网络化方向不断前进。智能视频监控在不需要人为干预的情况下实现对动态场景中的目标的检测、提取、识别和跟踪，并在此基础上完成对运动目标行为的理解，从而既能达到日常管理功能又能在异常情况发生时及时做出判断。目前，快速准确的运动检测和跟踪技术，基于移动摄像机的监控技术，运动分析及行为理解技术和异常事件检测技术等成为视频监控的研究热点。

运动目标检测和跟踪包括运动目标检测的预处理、运动目标分割、运动目标跟踪三大步骤。运动目标检测是指从序列图像中将感兴趣的目标区域尽可能完整的提取出来，运动目标检测的预处理过程中常用的方法包括相邻帧差法、背景减法或边缘检测的方法，得到差值图像后再进行二值化处理、形态学处理和阴影消除等，进一步锁定检测目标。通过图像预处理得到的图像再进行运动目标分割得到被检测目标，运动目标的分割和识别是一个整体过程。运动目标跟踪主要应用于目标检测确认、目标检测估计和目标平均速度估计等。

目前常用的运动目标检测方法分为有固定背景下的目标检测方法和变动背景的目标检测方法，帧间差分法和背景减法属于前者，而光流法属于后者。由于光流法计算复杂，实时性差，设备昂贵，在实际环境中很少被使用；帧间差分法得到的前景目标容易出现空洞或重叠现象；而背景减法操作简单，计算量小，能够得到最完整的运动目标信息，而且复杂度低，实时性好，因此基于背景减法的目标检测方法受到了广泛的应用。

发明内容

本发明的目的是以视频序列为研究对象，融合支撑集和残差补偿对采集的视频序列进行序列重建，满足了数据采集端低成本和低复杂度的实际要求，并在重建序列的基础上采用基于压缩传感的背景减法进行目标检测，显著减少处理的数据量，最后根据改进的粒子滤波算法对运动目标进行跟踪，在保证跟踪性能的基础上减少运算代价，在整个检测和跟踪过程中，包括序列重建、背景减法和目标跟踪，都使用了压缩传感理论。

常见的视觉跟踪算法包括基于区域的跟踪、基于变形模板的跟踪、基于特征的跟踪和基于模型的跟踪，而按照跟踪方法设计的思路，现有的跟踪方法可以分为确定性跟踪和随机跟踪两类。目前对于运动目标的跟踪算法研究热点主要包括Mean-shift和粒子滤波算法两种方法，它们也分别是确定性跟踪和随机跟踪的典型代表。其中，Mean-shift算法是一种无参数核密度估计方法，具有实时性、鲁棒性以及易于实现的特点，运算效率更高；粒子滤波算法能够处理非高斯、非线性的问题，且能够保持状态的多模态假设，跟踪性能更好。

压缩传感，也称作压缩感知，是一种利用稀疏的或可压缩的信号进行信号重建的技术。压缩传感理论在信号获取和处理过程中将传统的数据采集和数据压缩合二为一，从而有效地解决了奈奎斯特采样定理计算资源浪费的问题。压缩传感的基本思想是如果一个未知的信号在已知的正交基或者过完备的正交基上是稀疏的，或者可压缩的，那么采用非自适应线性投影保持信号的原始结构，通过数值最优化问题就可以准确重构原始信号，这大大减少了重构信号所需要的采样值数目。压缩感知能从少量的非相关观测值中获取可压缩信号的信息决定了其在压缩处理、数据重构等领域有着广阔的应用前景。本发明就是将压缩传感技术融入目标检测和跟踪系统中，降低整个过程的代价。

实现本发明目的技术方案是：

一种基于压缩传感的运动目标检测和跟踪方法，包括以下过程：

S1、对视频序列进行融合支撑集和残差补偿的序列重建；

S2、利用基于压缩传感的背景减法进行目标检测；

S3、根据改进的粒子滤波算法对运动目标进行跟踪。

进一步，所述步骤S1、S2、S3执行具体过程为：

步骤1、通过摄像机和图像采集设备采集视频序列信息；

步骤2、结合支撑集和残差补偿对从步骤1中获得的视频序列进行重建；

步骤3、利用基于压缩传感理论的背景减法对从步骤2中获得的视频重建序列进行目标检测，并采用形态学处理和阴影消除方法进一步增强目标特征，锁定检测目标；

步骤4、在步骤3的基础上采用改进的粒子滤波算法对运动目标进行跟踪；

步骤5、将步骤4获得的运动目标跟踪信息输出给用户，以待进一步处理。

进一步，所述步骤1中视频序列的采集流程包括下列步骤：

步骤11、观测点选取，安置摄像设备；

步骤12、打开摄像头，获取设备参数；

步骤13、设置视频的制式和帧格式；

步骤14、开始视频序列采集；

步骤15、获取视频序列。

进一步，所述步骤2中视频序列进行重建的过程包括下列步骤：

步骤21、初始化：获取视频序列第1帧图像的图像系数估计和支撑集估计；

步骤22、近似求解：由t-1帧图像系数的支撑集估计，利用Modified-BPDN算法求出第t帧图像系数近似解；

步骤23、初始估计：由第t帧图像系数近似解初始估计第t帧图像系数；

步骤24、残差计算：由第t帧图像系数估计值求出残差测量值；

步骤25、残差重建：由第t帧图像残差测量值重构出残差；

步骤26、残差补偿：由第t帧图像残差重构值对第t帧图像系数估计值进行补偿，求出第t帧图像系数的最终估计值；

步骤27、支撑集更新：由第t帧图像系数最终估计值对其支撑集进行更新。

进一步，所述步骤3的具体过程如下：

步骤31、利用视频序列的压缩传感测量值获取背景图像的测量值；

步骤32、根据当前帧图像和背景图像的测量值相减得到前景图像测量值；

步骤33、利用最小L₁范数法对前景图像测量值求解实现前景图像重构；

步骤34、对前景图像进行自适应阈值二值化处理；

步骤35、利用形态学后处理和阴影算法进一步增强目标特征；

步骤36、利用自适应的背景更新算法对背景图像测量值进行更新。

进一步，所述步骤36中自适应的背景更新算法，具体包括：

通过引入学习率α，背景图像测量值y_bi的更新公式为：

$y_{\mathrm{bi}}=\left\{\begin{array}{cc}{\mathrm{\&alpha;y}}_{b(i-1)}+\frac{(1-\mathrm{\&alpha;})}{k}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{y}_{t(i-k+j-1)}& |y_{\mathrm{ti}}-y_{t(i-1)}|\&GreaterEqual;T_{\mathrm{th}\_i}\\ y_{b(i-1)}& |y_{\mathrm{ti}}-y_{t(i-1)}|<T_{\mathrm{th}\_i}\end{array}\right.$

其中，k表示步长，y_t是视频序列的图像测量值，T_{th_i}是判断运动与否的实时更新的阈值，其表达式为：T_{th_i}＝aT_{th_(i-1)}+(1-a)(b|y_t(i-1)-y_b(i-1)|)。

进一步，所述步骤4的具体过程如下：

步骤41、从处理过后的视频图像的初始分布中抽样得到初始粒子集

步骤42、将当前帧的状态空间划分为有效状态S_t和剩余状态L_t，并利用压缩传感理论将剩余状态L_t表示为稀疏向量Λ_t和其支撑集Sup(Λ_t)的集合；

步骤43、对有效状态S_t和支撑集Sup(Λ_t)分别进行重要性采样；

步骤44、对稀疏向量Λ_t进行峰值跟踪，并根据目标遮挡程度调整重构算法进行求解，再对支撑集Sup(Λ_t)进行更新，改进的算法为：

$\underset{{\mathrm{\&Lambda;},V}_s}{\min }P\left(Y_t\right|S_t^i,\mathrm{\&Phi;\&Lambda;})+\mathrm{\&beta;}\frac{{\left|\right|{(\mathrm{\&Lambda;}-{\mathrm{\&Lambda;}}_{t-1}^i)}_{\mathrm{Sup}\left({\mathrm{\&Lambda;}}_i\right)}\left|\right|}_2^2}{{2\mathrm{\&sigma;}}_l^2}+\mathrm{\&gamma;}{\left|\right|{\mathrm{\&Lambda;}}_{\mathrm{Sup}{\left({\mathrm{\&Lambda;}}_i\right)}^c}\left|\right|}_1+{\mathrm{\&zeta;\&gamma;}}^{\&prime;}{\left|\right|V_s\left|\right|}_1;$

其中，S_t为有效状态，L_t为剩余状态，Ф为测量矩阵，表示高斯游走模型中所服从的高斯独立同分布ζ表示遮挡因子，V_s表示异常值；

步骤45、对采样的粒子计算重要性权值，并进行归一化处理；

步骤46、对权值加以选择并以最小均方误差估计的方式输出估计状态；

步骤47、判断是否需要重采样，若需要重新抽取粒子并形成新的粒子集。

本发明的有益效果是：在进行背景提取时，压缩传感域的计算量将远远小于空间域的计算量，这就节省了大量的存储和技术开销，同时将图像序列中的各帧图像间的相关性作为先验信息用于压缩传感的重构过程，可以减少搜索空间，提高重构算法的重构精度。融合压缩传感理论、遮挡判断和基于动态权值选择的改进的跟踪算法在光照阴影、遮挡情况下的跟踪性能更精确，对退化问题的改善更显著。对比如图5中PF(粒子滤波算法)、PF-MT(峰值跟踪粒子滤波算法)和MPFCS(改进的粒子滤波视觉跟踪算法)三种算法的归一化均方误差和图6中的有效粒子数，我们发现，融合压缩传感理论、遮挡判断和基于动态权值选择的MPFCS算法在光照阴影、遮挡情况下具有良好的归一化性能，对目标的追踪效果更加精确，且其有效粒子数平均值相对PF-MT算法、PF-MT算法有所提高，在解决退化问题上明显更加有效。

附图说明

图1图像序列的采集流程图。

图2图像序列重建流程图。

图3运动目标检测流程图。

图4运动目标跟踪流程图。

图5归一化均方误差对比图。

图6有效粒子数对比图。

具体实施方式

下面结合附图做进一步说明。

一种基于压缩传感的运动目标检测和跟踪方法，包括对视频序列进行融合支撑集和残差补偿的序列重建，利用基于压缩传感的背景减法进行目标检测，并根据改进的粒子滤波算法对运动目标进行跟踪。所述运动目标检测和跟踪系统执行以下步骤：

步骤1图像序列的采集：通过摄像机和图像采集设备采集图像序列信息；

步骤2图像序列重建：结合支撑集和残差补偿对从步骤1中获得的图像序列进行重建；

步骤3运动目标检测：利用基于压缩传感理论的背景减法对从步骤2中获得的重建序列进行目标检测，并采用形态学处理和阴影消除等方法进一步增强目标特征，锁定检测目标；

步骤4运动目标跟踪：在步骤3的基础上采用改进的粒子滤波算法对运动目标进行跟踪；

步骤5运动目标信息输出：将步骤4获得的运动目标跟踪信息输出给用户，以待进一步处理。

如图1所示，步骤1视频序列的采集流程包括下列步骤：

步骤S11观测点选取，安置摄像设备；

步骤S12打开摄像头，获取设备参数，包括视频输入和音频输入输出参数；

步骤S13设置视频的制式和帧格式，制式包括PAL、NTSC，帧格式包括宽度和高度等；

步骤S14开始视频序列采集；

步骤S15获取视频序列。

如图2所示，步骤2视频序列重建的流程包括下列步骤：

步骤S21初始化：获取视频序列第1帧图像系数s₁的估计值和支撑集估计 $\hat{S}\mathrm{up}\left(X_1\right)=\{j:{\left({\hat{s}}_1\right)}_j>\mathrm{\&alpha;}\},$ 其中α为系数阈值；

步骤S22近似求解：由t-1帧图像系数的支撑集估计利用Modified-BPDN算法求出第t帧图像系数s_t的近似解其中表示支撑集的补集，Θ为M×N的矩阵，γ为修正参数，取值为0.7；

步骤S23初始估计：由第t帧图像系数近似解初始估计第t帧图像系数；

步骤S24残差计算：由第t帧图像系数估计值求出残差测量值；

步骤S25残差重建：由第t帧图像残差测量值重构出残差；

步骤S26残差补偿：由第t帧图像残差重构值对第t帧图像系数估计值进行补偿，求出第t帧图像系数的最终估计值；

步骤S27支撑集更新：由第t帧图像系数最终估计值对其支撑集进行更新。

如图3所示，步骤3运动目标检测的流程包括下列步骤：

步骤S31利用视频序列的压缩传感测量值获取背景图像的测量值；

步骤S32根据当前帧图像和背景图像的测量值相减得到前景图像测量值；

步骤S33利用最小L₁范数法对前景图像测量值求解实现前景图像重构，其中Θ为M×N的矩阵，y为M维信号；

步骤S34对前景图像进行自适应阈值二值化处理，即通过分析明显峰值与图像均值之间的关系确定阈值，并将图像变为黑白图；

步骤S35利用形态学处理对图像做腐蚀或膨胀运算消除噪声并利用阴影消除算法进一步增强目标特征；

步骤S36利用自适应的背景更新算法对背景图像测量值进行更新。

所述步骤S36中自适应的背景更新算法，具体包括：

通过引入学习率α体现背景图像对场景变化的响应，背景图像测量值y_bi的更新公式为：

$y_{\mathrm{bi}}=\left\{\begin{array}{cc}{\mathrm{\&alpha;y}}_{b(i-1)}+\frac{(1-\mathrm{\&alpha;})}{k}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{y}_{t(i-k+j-1)}& |y_{\mathrm{ti}}-y_{t(i-1)}|\&GreaterEqual;T_{\mathrm{th}\_i}\\ y_{b(i-1)}& |y_{\mathrm{ti}}-y_{t(i-1)}|<T_{\mathrm{th}\_i}\end{array}\right.$

其中，k表示步长，取k＝4，学习率取α＝0.3，y_t是视频序列的图像测量值，T_{th_i}是判断运动与否的实时更新的阈值，其表达式为：T_{th_i}＝aT_{th_(i-1)}+(1-a)(b|y_t(i-1)-y_b(i-1)|)。

如图4所示，步骤4运动目标跟踪的流程包括下列步骤：

步骤S41从处理过后的视频图像的初始分布中抽样得到初始粒子集

步骤S42将当前帧的状态空间划分为有效状态S_t和剩余状态L_t，并利用压缩传感理论将剩余状态L_t表示为稀疏向量Λ_t和其支撑集Sup(Λ_t)的集合；

步骤S43对有效状态S_t和支撑集Sup(Λ_t)分别进行重要性采样；

步骤S44峰值跟踪：对稀疏向量Λ_t进行峰值跟踪，并根据目标遮挡程度调整重构算法进行求解，即将观测噪声中的异常值V_s根据遮挡因子ζ得到的处理项ζγ′||V_s||₁加入压缩传感算法中，再对支撑集Sup(Λ_t)进行更新，改进的算法为：

$\underset{{\mathrm{\&Lambda;},V}_s}{\min }P\left(Y_t\right|S_t^i,\mathrm{\&Phi;\&Lambda;})+\mathrm{\&beta;}\frac{{\left|\right|{(\mathrm{\&Lambda;}-{\mathrm{\&Lambda;}}_{t-1}^i)}_{\mathrm{Sup}\left({\mathrm{\&Lambda;}}_i\right)}\left|\right|}_2^2}{{2\mathrm{\&sigma;}}_l^2}+\mathrm{\&gamma;}{\left|\right|{\mathrm{\&Lambda;}}_{\mathrm{Sup}{\left({\mathrm{\&Lambda;}}_i\right)}^c}\left|\right|}_1+{\mathrm{\&zeta;\&gamma;}}^{\&prime;}{\left|\right|V_s\left|\right|}_1;$

其中，S_t为有效状态，L_t为剩余状态，Ф为测量矩阵，表示高斯游走模型中所服从的高斯独立同分布ζ表示遮挡因子，V_s表示异常值；

步骤S45对采样的粒子计算重要性权值，并进行归一化处理；

步骤S46对权值加以选择并以最小均方误差估计的方式输出估计状态；

步骤S47判断是否需要重采样，若需要重新抽取粒子并形成新的粒子集。

如图5-6所示，对比如图5中PF(粒子滤波算法)、PF-MT(峰值跟踪粒子滤波算法)和MPFCS(改进的粒子滤波视觉跟踪算法)三种算法的归一化均方误差和图6中的有效粒子数，我们发现，融合压缩传感理论、遮挡判断和基于动态权值选择的MPFCS算法在光照阴影、遮挡情况下具有良好的归一化性能，对目标的追踪效果更加精确，且其有效粒子数平均值相对PF-MT算法、PF-MT算法有所提高，在解决退化问题上明显更加有效。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围。

Claims (7)

1.一种基于压缩传感的运动目标检测和跟踪方法，其特征在于，包括以下过程：

S1、对视频序列进行融合支撑集和残差补偿的序列重建；

S2、利用基于压缩传感的背景减法进行目标检测；

S3、根据改进的粒子滤波算法对运动目标进行跟踪。

2.根据权利要求1所述的一种基于压缩传感的运动目标检测和跟踪方法，其特征在于，所述步骤S1、S2、S3执行具体过程为：

步骤1、通过摄像机和图像采集设备采集视频序列信息；

步骤2、结合支撑集和残差补偿对从步骤1中获得的视频序列进行重建；

步骤3、利用基于压缩传感理论的背景减法对从步骤2中获得的视频重建序列进行目标检测，并采用形态学处理和阴影消除方法进一步增强目标特征，锁定检测目标；

步骤4、在步骤3的基础上采用改进的粒子滤波算法对运动目标进行跟踪；

步骤5、将步骤4获得的运动目标跟踪信息输出给用户，以待进一步处理。

3.根据权利要求2所述的一种基于压缩传感的运动目标检测和跟踪方法，其特征在于，所述步骤1中视频序列的采集流程包括下列步骤：

步骤11、观测点选取，安置摄像设备；

步骤12、打开摄像头，获取设备参数；

步骤13、设置视频的制式和帧格式；

步骤14、开始视频序列采集；

步骤15、获取视频序列。

4.根据权利要求2所述的一种基于压缩传感的运动目标检测和跟踪方法，其特征在于，所述步骤2中视频序列进行重建的过程包括下列步骤：

步骤21、初始化：获取视频序列第1帧图像的图像系数估计和支撑集估计；

步骤22、近似求解：由t-1帧图像系数的支撑集估计，利用Modified-BPDN算法求出第t帧图像系数近似解；

步骤23、初始估计：由第t帧图像系数近似解初始估计第t帧图像系数；

步骤24、残差计算：由第t帧图像系数估计值求出残差测量值；

步骤25、残差重建：由第t帧图像残差测量值重构出残差；

步骤26、残差补偿：由第t帧图像残差重构值对第t帧图像系数估计值进行补偿，求出第t帧图像系数的最终估计值；

步骤27、支撑集更新：由第t帧图像系数最终估计值对其支撑集进行更新。

5.根据权利要求2所述的一种基于压缩传感的运动目标检测和跟踪方法，其特征在于，所述步骤3的具体过程如下：

步骤31、利用视频序列的压缩传感测量值获取背景图像的测量值；

步骤32、根据当前帧图像和背景图像的测量值相减得到前景图像测量值；

步骤33、利用最小L₁范数法对前景图像测量值求解实现前景图像重构；

步骤34、对前景图像进行自适应阈值二值化处理；

步骤35、利用形态学后处理和阴影算法进一步增强目标特征；

步骤36、利用自适应的背景更新算法对背景图像测量值进行更新。

6.根据权利要求5所述的一种基于压缩传感的运动目标检测和跟踪方法，其特征在于，所述步骤36中自适应的背景更新算法，具体包括：

通过引入学习率α，背景图像测量值y_bi的更新公式为：

$y_{\mathrm{bi}}=\left\{\begin{array}{cc}{\mathrm{\&alpha;y}}_{b(i-1)}+\frac{(1-\mathrm{\&alpha;})}{k}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{y}_{t(i-k+j-1)}& |y_{\mathrm{ti}}-y_{t(i-1)}|\&GreaterEqual;T_{\mathrm{th}\_i}\\ y_{b(i-1)}& |y_{\mathrm{ti}}-y_{t(i-1)}|<T_{\mathrm{th}\_i}\end{array}\right.$

其中，k表示步长，y_t是视频序列的图像测量值，T_{th_i}是判断运动与否的实时更新的阈值，其表达式为：T_{th_i}＝aT_{th_(i-1)}+(1-a)(b|y_t(i-1)-y_b(i-1)|)。

7.根据权利要求2所述的一种基于压缩传感的运动目标检测和跟踪方法，其特征在于，所述步骤4的具体过程如下：

步骤41、从处理过后的视频图像的初始分布中抽样得到初始粒子集

步骤42、将当前帧的状态空间划分为有效状态S_t和剩余状态L_t，并利用压缩传感理论将剩余状态L_t表示为稀疏向量Λ_t和其支撑集Sup(Λ_t)的集合；

步骤43、对有效状态S_t和支撑集Sup(Λ_t)分别进行重要性采样；

步骤44、对稀疏向量Λ_t进行峰值跟踪，并根据目标遮挡程度调整重构算法进行求解，再对支撑集Sup(Λ_t)进行更新，改进的算法为：

$\underset{{\mathrm{\&Lambda;},V}_s}{\min }P\left(Y_t\right|S_t^i,\mathrm{\&Phi;\&Lambda;})+\mathrm{\&beta;}\frac{{\left|\right|{(\mathrm{\&Lambda;}-{\mathrm{\&Lambda;}}_{t-1}^i)}_{\mathrm{Sup}\left({\mathrm{\&Lambda;}}_i\right)}\left|\right|}_2^2}{{2\mathrm{\&sigma;}}_l^2}+\mathrm{\&gamma;}{\left|\right|{\mathrm{\&Lambda;}}_{\mathrm{Sup}{\left({\mathrm{\&Lambda;}}_i\right)}^c}\left|\right|}_1+{\mathrm{\&zeta;\&gamma;}}^{\&prime;}{\left|\right|V_s\left|\right|}_1;$

其中，S_t为有效状态，L_t为剩余状态，Ф为测量矩阵，表示高斯游走模型中所服从的高斯独立同分布ζ表示遮挡因子，V_s表示异常值；

步骤45、对采样的粒子计算重要性权值，并进行归一化处理；

步骤46、对权值加以选择并以最小均方误差估计的方式输出估计状态；

步骤47、判断是否需要重采样，若需要重新抽取粒子并形成新的粒子集。