CN103065326A - 基于时-空多尺度运动注意力分析的目标检测方法 - Google Patents

Abstract

本发明公开了一种时-空多尺度运动注意力分析的目标检测方法，具体按照以下步骤实施：步骤1、创建时-空运动融合注意力模型；步骤2、对运动矢量场进行时-空滤波，在时间维度上，通过对运动矢量场滤波得到不同时间尺度下的运动矢量场，并按照一定原则选取最佳时间尺度；步骤3、进行多尺度运动注意力融合。本发明的方法优点是：1）选择合适的时间尺度处理运动矢量场并进行注意力计算，减少了光流估算错误等因素对目标检测的影响，克服了传统方法的局限性。2）在全局运动场景下能有效地检测运动目标区域，具有比同类方法更好的鲁棒性。

Description

基于时-空多尺度运动注意力分析的目标检测方法

技术领域

本发明属于图像分割技术领域，涉及一种基于时-空多尺度运动注意力分析的目标检测方法。

背景技术

运动目标检测是一项具有挑战性的研究工作，由于其在社会和军事领域有着广泛的应用价值，为目标识别、目标行为理解、视频内容分析等提供了技术基础，因此成为视频分析领域的研究热点问题之一。

运动目标检测根据镜头静止和运动两种情况，可分为局部运动场景和全局运动场景下目标检测。局部运动场景下的目标检测主要采用背景差分法和帧间差分法。背景差分法是通过构建背景，并与当前帧作差分获取目标区域，其优点在于能完整地检测出所有运动目标，其缺点在于背景的选取和更新会消耗大量时间；帧间差分法是通过时间上相近的前后帧作差分获取目标初始位置，其优点是能快速地获得当前目标区域，缺点是目标检测结果可能出现空洞区域，检测效果不理想。

在全局运动场景下，由于背景不断变化，背景差分法和帧间差分法并不适用，只能通过对光流场的分析处理确定目标区域。目前，采用的主要方法是全局运动补偿策略，全局运动补偿策略的关键环节是全局运动估计，其主要思路是通过使目标帧和参考帧的误差函数最小化获得全局运动参数，假定从参考帧到目标帧的运动场用d(x；a)表示，其中a表示全局运动参数，则预测误差是：

其中，x_n表示像素，

表示估计全局运动所用的所有像素，w_n是像素x_n的加权系数，全局运动补偿的目标检测方法主要流程如图1所示。

全局运动估计的精确性受到两个方面的因素影响：1）光流估算本身缺陷导致的错误结果，当图像纹理变化平坦时，光流估算会出现较大误差，导致在许多复杂情况下不能真实描述运动变化信息；2）目标大小和运动强度的影响，当目标所占图像面积较大或运动较强烈时，场景内运动信息受目标影响较大。上述两种因素都使全局运动估算的难度增大，限制了全局运动估计补偿策略的目标检测效果和适用范围。

近些年，视觉感知研究逐渐融入了人类生理和心理的研究成果，尤其是关于视觉注意力的研究，2002年Itti和Koch等人提出了注意力区域的概念，并建立了亮度、颜色和方向等静态图像特征为主的视觉注意力模型，这一概念首次引入了人类视觉对图像观察本身的特性，它与图像具体内容无关，取决于构成图像的元素自身引起的视觉反差，反差越大的区域就越容易吸引起视觉系统的注意力。

在后续的研究中，人们还在注意力模型中加入了动态注意力，Guironnet，M.等将静态注意力和动态注意力融合，并在时间上对显著图进行滤波处理，最终获取注意力区域。Yu-Fei Ma根据从MPEG码流中解压所得到的运动矢量场的运动矢量能量、空间相关性和时间相关性综合定义了运动注意力模型，通过该模型可以得到运动显著性区域，应用于视频检索。

近些年来，人们还尝试采用注意力计算方法解决目标检测和分割的问题，Zhiwen Yu等对静止图像的注意力区域计算进行了区域分级处理，使注意力区域逐渐逼近目标对象区域，建立了数据驱动机理的视觉注意力和视觉高层语义之间的关系。Junwei Han将注意力分为静态注意力和动态注意力两种，静态注意力主要由图像的亮度、颜色等信息引起，动态注意力是在全局运动补偿的基础上计算区域的变化像素的比例进行定义的，注意力模型最终由静态注意力和动态注意力融合得到主要应用于运动目标检测。YumingFang等提出了一种自底向上和自顶向下相结合的视觉注意力模型用于检测人造运动目标，该模型选取了自底向上亮度注意力特征和自顶向下的朝向特征进行融合获取目标区域。

虽然现有文献的研究方法都涉及采用注意力机制解决目标检测或分割问题，但对于在全局运动场景下的目标检测问题，这些方法都有其局限性，比如，仅仅针对了静止图像目标检测问题；虽然建立了动态注意力模型，但其方法仍然依靠全局运动补偿实现；对目标的检测注意使用了亮度注意力和方向注意力，并且对目标具备一定的先验知识。

发明内容

本发明的目的是提供一种基于时-空多尺度运动注意力分析的目标检测方法，解决了现有技术中，虽然都涉及采用注意力机制解决目标检测或分割问题，但对于在全局运动场景下的目标检测，这些方法都有其局限性的问题。

本发明所采用的技术方案是，一种时-空多尺度运动注意力分析的目标检测方法，该方法按照以下步骤具体实施：

步骤1、创建时-空运动融合注意力模型

在时间维度上，邻域内定义运动矢量差值描述时间注意力因子，定义

的时间注意力因子是： $A_{k,i,j}^T=\left|\mathrm{\ΔV}\right|=|{\stackrel{\→}{V}}_{k,i,j}-{\stackrel{\→}{V}}_{k-1,i,j}|,---\left(2\right)$

式中的

和

分别代表在k帧和k-1帧中坐标位置为(i,j)的运动矢量，

假定MB_k，i，j是k帧中坐标为(i,j)的宏块，i和j分别表示宏块的横纵坐标；Λ_k，i，j表示包含宏块MB_k，i，j及其相邻宏块的集合，那么定义

的空间注意力因子是： $A_{k,i,j}^S=a\·|{\stackrel{\→}{V}}_{k,i,j}-{\stackrel{\→}{u}}_{k,i,j}|+b\·\mathrm{PLog}\frac{1}{P},---\left(3\right)$

式中的a,b是系数，

分别代表在k帧中坐标位置为(i,j)的运动矢量，·代表系数与矢量的乘积，其中

P为当前运动场矢量估算的正态高斯概率函数，其表达式为 $P=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\δ}}\exp [-\frac{1}{2}{\left(\frac{\stackrel{\→}{v}-\hat{u}}{\widehat{\mathrm{\δ}}}\right)}^2],$ 其中的

和

由无偏估计决定， $\hat{u}=\frac{1}{N}\mathrm{\Σ}{\stackrel{\‾}{V}}_k,$ $\widehat{\mathrm{\δ}}=\frac{1}{N-1}\mathrm{\Σ}({\stackrel{\→}{V}}_k-{\stackrel{\‾}{V}}_k),$

本方法定义运动注意力模型为时间和空间注意力因子的线性融合模型，线性组合是： $A_{k,i,j}=\mathrm{\α}\·A_{k,i,j}^T+\mathrm{\β}\·A_{k,i,j}^S,---\left(4\right)$

其中的α、β为正值的系数，

最终借鉴融合模型进行运动注意力融合，公式如下：

${\tilde{A}}_{k,i,j}=A_{k,i,j}+\frac{1}{2}\mathrm{\δ}\·\max (A_{k,i,j}^T,A_{k,i,j}^S)\·\mathrm{\σ}$

$=\mathrm{\α}\·A_{k,i,j}^T+\mathrm{\β}\·A_{k,i,j}^S+\frac{1}{2}\mathrm{\δ}\·\max (A_{k,i,j}^T,A_{k,i,j}^S)\·|A_{k,i,j}^T-A_{k,i,j}^S|,---\left(5\right)$

其中δ为正值，公式（5）中的后半部分代表时-空对注意力影响的偏置；

步骤2、对运动矢量场进行时-空滤波

时间尺度滤波定义是：假设运动矢量场时间序列为

指t时刻运动矢量场中的运动矢量，那么低通滤波后的运动矢量场

由以下迭代公式确定： ${\mathrm{ML}}_i(\stackrel{\→}{v},t)={\∂}_i\·{\mathrm{ML}}_i(\stackrel{\→}{v},t-1)+(1-{\∂}_i)\·\mathrm{MVF}(\stackrel{\→}{v},t),---\left(6\right)$

公式中，t＞0，M_v为初始化系数，

滤波系数

决定了当前运动场在滤波后所占的程度大小，运动场的滤波效果取决于

系数的大小；的取值需要考虑运动场的时间频率和所需的时间尺度，上述公式变形为下式：

${\mathrm{ML}}_i(\stackrel{\→}{v},t)=(1-{\∂}_i)\·\underset{j=1}{\overset{t}{\mathrm{\Σ}}}{\∂}_i^{t-j}\·\mathrm{MVF}(\stackrel{\→}{v},t)+{\∂}_i^t\·M_v,---\left(7\right)$

式中，ML_i为滤波后的运动矢量场，在时间滤波后，对运动矢量进行空间上的中值滤波处理得到真正反映视频对象运动的运动矢量，

运动矢量中值滤波过程如下：对于每一个非零运动矢量，用相邻的运动矢量中值代替其值，

在空间维度上，采用多分辨率分析理论，将图像帧在空间上进行多分辨率分解，在不同尺度空间中进行运动估计，选用具有紧支集的正交小波基来构造滤波器进行分解，多尺度分解后，在每个级别的低频尺度空间上作运动估计，得到不同尺度下的运动矢量场；

步骤3、进行多尺度运动注意力融合

融合过程考虑了图像像素分布的相关性，相关性程度高的像素宏块进行合并，采用共生矩阵的相关性系数来衡量当前像素块的像素值分布特点，共生矩阵的相关系数是用来衡量共生矩阵中元素在行或列方向上的相似程度，设f为大小m×n的图像，则相关系数是：

$\mathrm{Cor}={\mathrm{\Σ}}_{i,j=0}^{N_g-1}{P}_{i,j}\left[\frac{\left({i-u}_i\right)\·(j-u_j)}{{\mathrm{\δ}}_i^2\·{\mathrm{\δ}}_j^2}\right],---\left(8\right)$

式（8）中， $u_i={\mathrm{\Σ}}_{i,j=0}^{N_g-1}i\·P_{(i,j)},$

$u_j={\mathrm{\Σ}}_{i,j=0}^{N_g-1}j\·P_{(i,j)},$

${\mathrm{\δ}}_i^2={\mathrm{\Σ}}_{i,j=0}^{N_g-1}{P}_{(i,j)}\·{\left({i-u}_i\right)}^2,$

${\mathrm{\δ}}_j^2={\mathrm{\Σ}}_{i,j=0}^{N_g-1}{P}_{(i,j)}\·{(j-u_j)}^2,$

多尺度注意力融合的具体过程是：判断第n层Cor(PB_i，j)与阈值T作比较，若Cor(PB_i,j)＞T，说明像素的分布相关性大，光流运动估算的出现误差的可能性小，则选择当前宏块对应的注意力值，并按照四叉树形式将下一尺度对应的四个宏块注意力值进行赋值；

若Cor(PB_i,j)＜T，说明像素的分布相关性小，光流运动估算的出现误差的可能性大，因此该宏块不取当前值，按照从低尺度向高尺度逐层判断的顺序，最终得到融合后的注意力图。

本发明的有益效果是：1）本方法根据光流估算的运动场时-空运动矢量分布定义注意力显著图，选择合适的时间尺度处理运动矢量场并进行注意力计算，并融合多个空间尺度的注意力得到运动注意力图，采用形态学等方法最终提取目标区域，减少了光流估算错误等因素对目标检测的影响，克服了传统方法的局限性。2）多个不同视频序列测试的结果显示本方法在全局运动场景下能有效地检测运动目标区域，具有比同类方法更好的鲁棒性。

附图说明

图1是本发明方法所用到的全局运动补偿原理示意图。

图2是本发明方法中的运动矢量在空间的运动反差示意图；

图3是本发明方法中的运动矢量在时间的运动反差示意图；

图4是本发明方法在经过时-空滤波后的运动矢量场的“蜂鸟”原始帧；

图5是图4对应的原始运动矢量场；

图6是图4对应的时间滤波后的动矢量场；

图7是图4对应的时-空滤波后的运动矢量场；

图8是本发明方法自顶而下的融合过程示意图；

图9是本发明方法空间多尺度注意力融合过程中的“蜂鸟”原始帧；

图10是图9对应的时-空滤波后的运动矢量场；

图11是图9对应的次低尺度运动矢量场；

图12是图9对应的低尺度运动矢量场，

图13是图9对应的原始层注意力图，

图14是图9对应的次低尺度注意力图，

图15是图9对应的低尺度层注意力图，

图16是图9对应的融合后注意力图；

图17是本发明方法的运动目标区域的初步测试结果一；

图18是本发明方法的运动目标区域的初步测试结果二；

图19是第一组实施例测试图像的原始帧；

图20是采用本发明方法初步融合后的图19对应的注意力图；

图21是采用本发明方法最后得到的图19对应的运动目标区域；

图22是另一组实施例测试图像的原始帧；

图23是采用本发明方法初步融合后的图22对应的注意力图；

图24是采用本发明方法最后得到的图22对应的运动目标区域。

具体实施方式

如图1所示，本发明方法利用了全局运动补偿的目标检测方法，其主要流程包括设置参数、运动估计、全局运动估计、全局运动补偿、运动目标区域提取；运动估计还可以绕过全局运动估计直接转到全局运动补偿。

本发明的时-空多尺度运动注意力分析的目标检测方法，具体按照以下步骤实施：

步骤1、创建时-空运动融合注意力模型

运动矢量场反映了视频信号中的运动信息，运动目标在全局场景中与镜头运动形成运动反差形成运动注意力，这种运动反差在运动矢量场中表现为运动矢量时-空分布的不一致性，图2和图3分别显示了运动矢量在空间和时间上的运动反差。本发明将根据运动矢量在时间和空间上的分布特点定义时-空运动融合注意力模型。

本发明方法采用运动矢量在时-空上的变化程度描述运动反差的强烈程度，变化程度越小意味着运动矢量运动反差越小，引起注意的因素越低；反之则反差越大，引起注意的因素越高。

在时间维度上，邻域内定义运动矢量差值描述时间注意力因子，定义

的时间注意力因子是： $A_{k,i,j}^T=\left|\mathrm{\ΔV}\right|=|{\stackrel{\→}{V}}_{k,i,j}-{\stackrel{\→}{V}}_{k-1,i,j}|,---\left(2\right)$

式中，

和

分别代表在k帧和k-1帧中坐标位置为(i,j)的运动矢量，

在空间维度上，注意力由两部分构成，一方面采用运动矢量空间邻域内的运动矢量均值与该运动矢量的差值来描述局部注意力程度，另一方面，对当前运动场的所有运动矢量进行高斯建模，采用运动矢量的熵衡量其在整个运动场的注意力程度。

具体定义如下，假定MB_k，i，j是k帧中坐标为(i,j)的宏块，i和j分别表示宏块的横纵坐标；Λ_k，i，j表示包含宏块MB_k，i，j及其相邻宏块的集合，那么定义

的空间注意力因子是：

$A_{k,i,j}^S=a\·|{\stackrel{\→}{V}}_{k,i,j}-{\stackrel{\→}{u}}_{k,i,j}|+b\·\mathrm{PLog}\frac{1}{P},---\left(3\right)$

式中的a,b是系数，

分别代表在k帧中坐标位置为(i,j)的运动矢量，·代表系数与矢量的乘积，其中

P为当前运动场矢量估算的正态高斯概率函数，其表达式为 $P=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\δ}}\exp [-\frac{1}{2}{\left(\frac{\stackrel{\→}{v}-\hat{u}}{\widehat{\mathrm{\δ}}}\right)}^2],$ 其中的

和

由无偏估计决定， $\hat{u}=\frac{1}{N}\mathrm{\Σ}{\stackrel{\‾}{V}}_k,$ $\widehat{\mathrm{\δ}}=\frac{1}{N-1}\mathrm{\Σ}({\stackrel{\→}{V}}_k-{\stackrel{\‾}{V}}_k).$

由于运动注意力包含时间和空间两方面的因素，因此运动注意力模型的构建需要考虑时间注意力与空间注意力两方面的信息融合，本发明方法定义运动注意力模型为时间和空间注意力因子的线性融合模型，线性组合是：

$A_{k,i,j}=\mathrm{\α}\·A_{k,i,j}^T+\mathrm{\β}\·A_{k,i,j}^S,---\left(4\right)$

其中的α、β为正值的系数。

如公式（4）所示，线性运算具备了简洁和高效的模型构成，但从时间和空间对注意力影响的角度看，其不足以合理反映出时间与空间注意力的影响对比的变化。本发明方法基于时间和空间注意力在不同时刻对注意力的影响偏重是不同的，这取决于这两方面运动反差大小的变化，因此在运动注意力模型中，应加入对注意力的影响力变化的部分，这样才能真正有效反映客观变化，因此，最终借鉴融合模型进行运动注意力融合，公式如下：

${\tilde{A}}_{k,i,j}=A_{k,i,j}+\frac{1}{2}\mathrm{\δ}\·\max (A_{k,i,j}^T,A_{k,i,j}^S)\·\mathrm{\σ}$

$=\mathrm{\α}\·A_{k,i,j}^T+\mathrm{\β}\·A_{k,i,j}^S+\frac{1}{2}\mathrm{\δ}\·\max (A_{k,i,j}^T,A_{k,i,j}^S)\·|A_{k,i,j}^T-A_{k,i,j}^S|,---\left(5\right)$

其中δ为正值，公式（5）中的后半部分代表时-空对注意力影响的偏置，其反映了时间和空间注意力中影响力变化时，较大者对注意力的整体影响。

步骤2、对运动矢量场进行时-空滤波

在时间维度上，通过对运动矢量场滤波得到不同时间尺度下的运动矢量场，并按照一定原则选取最佳时间尺度。

时间尺度滤波定义是，假设运动矢量场时间序列为

指t时刻运动矢量场中的运动矢量，那么低通滤波后的运动矢量场

由以下迭代公式确定： ${\mathrm{ML}}_i(\stackrel{\→}{v},t)={\∂}_i\·{\mathrm{ML}}_i(\stackrel{\→}{v},t-1)+(1-{\∂}_i)\·\mathrm{MVF}(\stackrel{\→}{v},t),---\left(6\right)$

公式（6）中，t＞0，

M_v为初始化系数，滤波系数

决定了当前运动场在滤波后所占的程度大小，运动场的滤波效果取决于

系数的大小；

的取值需要考虑运动场的时间频率和所需的时间尺度，上述公式变形为下式：

${\mathrm{ML}}_i(\stackrel{\→}{v},t)=(1-{\∂}_i)\·\underset{j=1}{\overset{t}{\mathrm{\Σ}}}{\∂}_i^{t-j}\·\mathrm{MVF}(\stackrel{\→}{v},t)+{\∂}_i^t\·M_v,---\left(7\right)$

公式（7）中，ML_i为滤波后的运动矢量场。在时间滤波后，对运动矢量进行空间上的中值滤波处理得到真正反映视频对象运动的运动矢量。

运动矢量中值滤波过程如下：对于每一个非零运动矢量，用相邻的运动矢量中值代替其值。

图4-图7显示了在经过时-空滤波后的运动矢量场，其中的图4是视频的原始帧，图5是原始运动矢量场，图6是经过时间滤波后的运动矢量场，图7是经过时-空滤波后的运动矢量场。

在空间维度上，本发明方法采用Mallat提出多分辨率分析理论，将图像帧在空间上进行多分辨率分解，在不同尺度空间中进行运动估计。选用具有紧支集的正交小波基来构造滤波器进行分解，多尺度分解后，在每个级别的低频尺度空间上作运动估计，得到不同尺度下的运动矢量场。

步骤3、进行多尺度运动注意力融合

为消除光流估计的误差，本发明方法将多尺度空间注意力进行融合得到最终的注意力结果。融合过程考虑了图像像素分布的相关性，为减少光流估算存在的误差，相关性程度高的像素宏块进行合并。本发明方法采用共生矩阵的相关性系数来衡量当前像素块的像素值分布特点，共生矩阵的相关系数是用来衡量共生矩阵中元素在行或列方向上的相似程度，

相关系数定义如下：设f为大小m×n的图像，则相关系数是：

$\mathrm{Cor}={\mathrm{\Σ}}_{i,j=0}^{N_g-1}{P}_{i,j}\left[\frac{\left({i-u}_i\right)\·(j-u_j)}{{\mathrm{\δ}}_i^2\·{\mathrm{\δ}}_j^2}\right],---\left(8\right)$

公式（8）中， $u_i={\mathrm{\Σ}}_{i,j=0}^{N_g-1}i\·P_{(i,j)},$ $u_j={\mathrm{\Σ}}_{i,j=0}^{N_g-1}j\·P_{(i,j)},$ ${\mathrm{\δ}}_i^2={\mathrm{\Σ}}_{i,j=0}^{N_g-1}{P}_{(i,j)}\·{\left(i-u_i\right)}^2,$ ${\mathrm{\δ}}_j^2={\mathrm{\Σ}}_{i,j=0}^{N_g-1}{P}_{(i,j)}\·{(j-u_j)}^2.$

多尺度注意力融合过程：判断第n层Cor(PB_i,j)与阈值T作比较；若Cor(PB_i,j)＞T，说明像素的分布相关性大，光流运动估算的出现误差的可能性小，则选择当前宏块对应的注意力值，并按照四叉树形式将下一尺度对应的四个宏块注意力值进行赋值；若Cor(PB_i，j)＜T，说明像素的分布相关性小，光流运动估算的出现误差的可能性大，因此该宏块不取当前值。按照图8所示的从低尺度向高尺度逐层判断的顺序，最终得到融合后的注意力图，结果如图9-图16所示是空间多尺度注意力融合，其中的图9是“蜂鸟”原始帧；图10是时-空滤波后的运动矢量场；图11是次低尺度运动矢量场；图12是低尺度运动矢量场；图13是原始层注意力图；图14是次低尺度注意力图；图15是低尺度层注意力图；图16是融合后注意力图。

步骤4、确定目标在全局场景中的运动位置

注意力图主要由运动目标的边界或内部局部区域构成，可能还存在场景中干扰因素的区域，通过阈值对注意力明显的区域进行二值化处理，公式如下：

$A_{t,i,j}=\left\{\begin{array}{cc}\&GreaterEqual;T& {\mathrm{MB}}_{k,i,j}=1\\ <T& {\mathrm{MB}}_{k,i,j}=0\end{array}\right.,---\left(10\right)$

然后，通过二值图像数学形态学闭运算填补目标内部空洞、连接邻近物体、平滑其边界，采用形态学的闭操作消除目标区域的内部空洞区域，以确定区域的重心位置，并以此为检测目标的位置结果，图17-图18显示了运动目标区域的初步测试结果，其中的图17是二值化的运动注意力图，图18是根据运动注意力二值化图中心确定的目标位置。

本发明的时-空多尺度运动注意力分析的目标检测方法，是一种基于自适应机制的图像快速运动估计方法，能够通过三个方面对运动矢量场进行分析，包括：在连续的两个运动矢量场之间，运动矢量变化程度（MVVD）的分析；矢量场中，局部区域的运动相似程度（LMSD）的分析；运动矢量的变化程度和局部区域运动相似程度之间的关系分析。

由于到目前为止，现有的全局运动场景中的目标检测问题多数采用运动补偿方法或其改进方法，较少涉及其它方法，因此本发明方法从以下几方面与全局运动补偿方法作对比实验：1）在目标足够大的情况下考察对运动目标检测的准确性；2）在图像纹理复杂，光流估算容易出现误差时的目标检测效果；3）在同一场景中多个目标检测的效果。

本发明方法的实施例在Dell Core2.0GHz、1GB RAM的计算机上完成，实验环境为Matlab2010，实验中采用不同的视频场景序列进行测试，测试序列为高分辨率视频序列（1920×1080），以上测试序列均为全局运动视频场景。

图19-图21是本发明方法的一组检测效果示意图，其中的图19是测试图像的原始帧；图20是本发明方法初步融合后的对应组注意力图；图21为最后得到的对应组运动目标区域。

图22-图24是本发明方法的另一组检测效果示意图，其中的图22是测试图像的原始帧；图23是本发明方法初步融合后的对应组注意力图；图24为最后得到的对应组运动目标区域。

从实施例各组图像经过处理最后得到的效果图中可以看出，本发明方法对全局场景中的运动目标的检测具有较高的准确性和实时性。

Claims (2)

1.一种时-空多尺度运动注意力分析的目标检测方法，其特征在于：该方法按照以下步骤具体实施：

步骤1、创建时-空运动融合注意力模型

在时间维度上，邻域内定义运动矢量差值描述时间注意力因子，定义

的时间注意力因子是： $A_{k,i,j}^T=\left|\mathrm{\&Delta;V}\right|=|{\stackrel{\&RightArrow;}{V}}_{k,i,j}-{\stackrel{\&RightArrow;}{V}}_{k-1,i,j}|,---\left(2\right)$

式中的和

分别代表在k帧和k-1帧中坐标位置为(i,j)的运动矢量，

假定MB_k，i，j是k帧中坐标为(i,j)的宏块，i和j分别表示宏块的横纵坐标；Λ_k，i，j表示包含宏块MB_k，i，j及其相邻宏块的集合，那么定义

的空间注意力因子是： $A_{k,i,j}^S=a\&CenterDot;|{\stackrel{\&RightArrow;}{V}}_{k,i,j}-{\stackrel{\&RightArrow;}{u}}_{k,i,j}|+b\&CenterDot;\mathrm{PLog}\frac{1}{P},---\left(3\right)$

式中的a,b是系数，

分别代表在k帧中坐标位置为(i,j)的运动矢量，·代表系数与矢量的乘积，其中

P为当前运动场矢量估算的正态高斯概率函数，其表达式为 $P=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&delta;}}\exp [-\frac{1}{2}{\left(\frac{\stackrel{\&RightArrow;}{v}-\hat{u}}{\widehat{\mathrm{\&delta;}}}\right)}^2],$ 其中的

和

由无偏估计决定， $\hat{u}=\frac{1}{N}\mathrm{\&Sigma;}{\stackrel{\&OverBar;}{V}}_k,$ $\widehat{\mathrm{\&delta;}}=\frac{1}{N-1}\mathrm{\&Sigma;}({\stackrel{\&RightArrow;}{V}}_k-{\stackrel{\&OverBar;}{V}}_k),$

本方法定义运动注意力模型为时间和空间注意力因子的线性融合模型，线性组合是： $A_{k,i,j}=\mathrm{\&alpha;}\&CenterDot;A_{k,i,j}^T+\mathrm{\&beta;}\&CenterDot;A_{k,i,j}^S,---\left(4\right)$

其中的α、β为正值的系数，

最终借鉴融合模型进行运动注意力融合，公式如下：

${\tilde{A}}_{k,i,j}=A_{k,i,j}+\frac{1}{2}\mathrm{\&delta;}\&CenterDot;\max (A_{k,i,j}^T,A_{k,i,j}^S)\&CenterDot;\mathrm{\&sigma;}$

$=\mathrm{\&alpha;}\&CenterDot;A_{k,i,j}^T+\mathrm{\&beta;}\&CenterDot;A_{k,i,j}^S+\frac{1}{2}\mathrm{\&delta;}\&CenterDot;\max (A_{k,i,j}^T,A_{k,i,j}^S)\&CenterDot;|A_{k,i,j}^T-A_{k,i,j}^S|,---\left(5\right)$

其中δ为正值，公式（5）中的后半部分代表时-空对注意力影响的偏置；

步骤2、对运动矢量场进行时-空滤波

时间尺度滤波定义是：假设运动矢量场时间序列为

指t时刻运动矢量场中的运动矢量，那么低通滤波后的运动矢量场

由以下迭代公式确定： ${\mathrm{ML}}_i(\stackrel{\&RightArrow;}{v},t)={\&PartialD;}_i\&CenterDot;{\mathrm{ML}}_i(\stackrel{\&RightArrow;}{v},t-1)+(1-{\&PartialD;}_i)\&CenterDot;\mathrm{MVF}(\stackrel{\&RightArrow;}{v},t),---\left(6\right)$

公式中，t＞0，

M_v为初始化系数，

滤波系数

决定了当前运动场在滤波后所占的程度大小，运动场的滤波效果取决于

系数的大小；

的取值需要考虑运动场的时间频率和所需的时间尺度，上述公式变形为下式：

${\mathrm{ML}}_i(\stackrel{\&RightArrow;}{v},t)=(1-{\&PartialD;}_i)\&CenterDot;\underset{j=1}{\overset{t}{\mathrm{\&Sigma;}}}{\&PartialD;}_i^{t-j}\&CenterDot;\mathrm{MVF}(\stackrel{\&RightArrow;}{v},t)+{\&PartialD;}_i^t\&CenterDot;M_v,---\left(7\right)$

式中，ML_i为滤波后的运动矢量场，在时间滤波后，对运动矢量进行空间上的中值滤波处理得到真正反映视频对象运动的运动矢量，

运动矢量中值滤波过程如下：对于每一个非零运动矢量，用相邻的运动矢量中值代替其值，

在空间维度上，采用多分辨率分析理论，将图像帧在空间上进行多分辨率分解，在不同尺度空间中进行运动估计，选用具有紧支集的正交小波基来构造滤波器进行分解，多尺度分解后，在每个级别的低频尺度空间上作运动估计，得到不同尺度下的运动矢量场；

步骤3、进行多尺度运动注意力融合

融合过程考虑了图像像素分布的相关性，相关性程度高的像素宏块进行合并，采用共生矩阵的相关性系数来衡量当前像素块的像素值分布特点，共生矩阵的相关系数是用来衡量共生矩阵中元素在行或列方向上的相似程度，设f为大小m×n的图像，则相关系数是：

$\mathrm{Cor}={\mathrm{\&Sigma;}}_{i,j=0}^{N_g-1}{P}_{i,j}\left[\frac{\left({i-u}_i\right)\&CenterDot;(j-u_j)}{{\mathrm{\&delta;}}_i^2\&CenterDot;{\mathrm{\&delta;}}_j^2}\right],---\left(8\right)$

式（8）中， $u_i={\mathrm{\&Sigma;}}_{i,j=0}^{N_g-1}i\&CenterDot;P_{(i,j)},$

$u_j={\mathrm{\&Sigma;}}_{i,j=0}^{N_g-1}j\&CenterDot;P_{(i,j)},$

${\mathrm{\&delta;}}_i^2={\mathrm{\&Sigma;}}_{i,j=0}^{N_g-1}{P}_{(i,j)}\&CenterDot;{\left(i-u_i\right)}^2,$

${\mathrm{\&delta;}}_j^2={\mathrm{\&Sigma;}}_{i,j=0}^{N_g-1}{P}_{(i,j)}\&CenterDot;{(j-u_j)}^2,$

多尺度注意力融合的具体过程是：判断第n层Cor(PB_i,j)与阈值T作比较，若Cor(PB_i,j)＞T，说明像素的分布相关性大，光流运动估算的出现误差的可能性小，则选择当前宏块对应的注意力值，并按照四叉树形式将下一尺度对应的四个宏块注意力值进行赋值；

若Cor(PB_i,j)＜T，说明像素的分布相关性小，光流运动估算的出现误差的可能性大，因此该宏块不取当前值，按照从低尺度向高尺度逐层判断的顺序，最终得到融合后的注意力图。

2.根据权利要求1所述的时-空多尺度运动注意力分析的目标检测方法，其特征在于：

所述的步骤3之后，还包括步骤4，即确定目标在场景中的运动位置，具体步骤是：

注意力图主要由运动目标的边界或内部局部区域构成，可能还存在场景中干扰因素的区域，通过阈值对注意力明显的区域进行二值化处理，公式是：

$A_{t,i,j}=\left\{\begin{array}{cc}\&GreaterEqual;T& {\mathrm{MB}}_{k,i,j}=1\\ <T& {\mathrm{MB}}_{k,i,j}=0\end{array}\right.,---\left(10\right)$

然后，通过二值图像数学形态学闭运算填补目标内部空洞、连接邻近物体、平滑其边界，采用形态学的闭操作消除目标区域的内部空洞区域，以确定区域的重心位置，并以此为检测目标的位置结果。

Images