CN103077536A - 时空变尺度运动目标检测方法 - Google Patents

Abstract

本发明公开了一种时空变尺度运动目标检测方法，具体为：将原始图像转换为反差图像；根据差分强度与帧间间隔的单调递增且收敛关系，得到次优帧间间隔

通过计算t₀和

时刻两帧图像反差图像的灰度相关性得到半运动显著性图像；在半运动显著性图像空间二维四叉树分解，得到半运动显著性字块；将相邻子块合并，合并后提取运动感兴趣区域；对各感兴趣区域做时间二叉树分解，得到最优帧间间隔；在各个感兴趣区域内通过多帧累积差分提取运动目标。本发明消除背景噪音的干扰，同时也降低了光流场计算；通过指定最佳帧间间隔，移动对象可以达到最佳的运动显著状态；通过累计多帧差法能够准确地提取出运动目标。

Description

时空变尺度运动目标检测方法

技术领域

本发明属于计算机视觉与成像自动目标识别的技术领域，具体涉及一种时空变尺度运动目标检测分析方法。

背景技术

与静止目标和背景相比，运动目标是X-Y-Z-T四维空间的独特模式。当利用成像传感器从某个特定的观察位置（视点）获取该运动目标的动态图像，运动目标的像可视为X-Y-T三维空间的独特模式。由于新增加了时间维T，除了常规的形状、尺度、灰度特征以外，目标的运动特征成为检测识别的重要信息来源。

Watson等人认为人类运动感知过程的前端存在一种运动传感器机制。人类看见事物在移动并且还能以某种精度判断事物移动得多快及其移动方向。同时，我们还能够看到在图像的不同部分显现的不同运动，例如两个不同物体相对的运动。有证据显示，人类的视觉含有两种分离的子系统分别处理和表示移动的和静止的图像。这些子系统被认为在空间-时间敏感性上是不同的。运动子系统更易于响应快速的移动模式（低的空间频率和高的时间频率，即大的空间尺度），静止子系统更易于响应缓慢移动的模式（高的空间频率和小的时间频率，即空间尺度小，时间尺度大）。这表明，人类的运动感知在时间-空间维都存在多尺度感知的特点。

有两种处理运动对象检测和分析的途径：直接在空间—时间维处理；将空间—时间维信息变换为空间—时间的频域处理。前者经典的方法有光流法、时间差分法等。

使用多种恒常性假设的光流场方法，建立在微分计算的基础上。除了易受噪声影响外，微分的正确性也是以Δx,Δy,Δt等趋于无穷小为前提。因此，在离散条件下，(Δx,Δy,Δt)越小越好，以免产生大的计算误差。显然，光流方法没有时间和空间尺度的概念，同时，基于恒常性方程的计算量是相当可观的。

另一种常用的光流场计算方法是曾广泛用于视频编码的块匹配法，不受上述条件限制。该法将光流(u,v)定义为不同时刻图像中某小区域图像子块的位移量Δd=(Δx,Δy)。利用平均绝对差或互相关度量对下一帧图像进行该图像子块的匹配计算，获取Δd的估计量。显然，“下一帧”没有时间尺度的含义，子块大小的空间尺度含义不明确。另外，实际场景中的运动目标通常是少数，直接计算不仅计算量很大，而且也是不明智的。

发明内容

本发明的技术目的在于提供一种时空变尺度运动目标检测方法，能够精确定位运动目标。

针对运动的成像器平台所拍摄的运动目标的图像序列，对于序列中的任意帧图像比如在时刻t＝t₀时获取的图像，本发明步骤包括：时空变尺度运动目标检测方法，具体为：

（1）建立当前时刻t₀的帧图像

的半运动显著性特征图像m_f：

分别计算时刻t₀~t₀+r_t的图像

的反差图像，进而分别计算图像

与

的反差图像的半运动显著性度量值；从中找出最大半运动显著性度量值，其对应的图像

与图像

的帧间间隔记为次优帧间间隔通过计算图像与

的反差图的灰度相关性得到半运动显著性特征图像m_f；

（2）在半运动显著性特征图像m_f内提取运动感兴趣区域：

将图像

分为四个大小相同的子块，确定各分块是否满足继续分块条件；将符合继续分块条件的子块按相同方式进一步划分子块，依次内推，直到所有的子块都不能被继续划分；所述继续分块条件为子块的长宽大于预定分块阈值，并且子块内的运动显著性度量值也大于预定显著性阈值；

对于每一相邻的半显著性子块，判断其与其他相邻子块间的半运动显著性度量值的相似性，当相似性大于预设相似性阈值时将两者合并；

在合并后得到的M个子块内提取连通的子块得到M个运动感兴趣区域R_i，i＝1,2,...,M；

（3）计算各运动感兴趣区域的最优帧间间隔：

计算图像

与

的反差图像内感兴趣区域R_i的半运动显著性度量值；从中找出最大半运动显著性度量值，其对应的图像与图像

的帧间间隔记为最优帧间间隔

（4）在感兴趣区域内通过多帧累积差分增强感兴趣区域：

增强感兴趣区域 $d_t^i(x,y)=\sqrt{d_{t-\mathrm{\Δ}{\tilde{t}}_i,t}^i(x,y)\×d_{t,t+\mathrm{\Δ}{\tilde{t}}_i}^i(x,y)}$

其中， $d_{t-\mathrm{\Δ}{\tilde{t}}_i,t}^i(x,y)=\underset{n=1}{\overset{\mathrm{\Δ}{\tilde{t}}_i}{\mathrm{\Σ}}}|f_t(x,y)-f_{t-n}(x,y)|/\mathrm{\Δ}{\tilde{t}}_i,$

$d_{t,t+\mathrm{\Δ}{\tilde{t}}_i}^i(x,y)=\underset{n=1}{\overset{\mathrm{\Δ}{\tilde{t}}_i}{\mathrm{\Σ}}}|f_t(x,y)-f_{t+n}(x,y)|/\mathrm{\Δ}{\tilde{t}}_i,$

(x,y)∈R_i；

（5）在各增强感兴趣区域内进行阈值分割和形态学处理，得到多个运动目标；

所述半运动显著性度量值的计算方法为：

令两幅图像的反差图像表示为

和和

的半运动显著性度量值

的计算公式为：

${\mathrm{value}}_R(c_{f_s},c_{f_e})=1-\frac{{\mathrm{\Σ}}_{(x,y)\∈R}{c}_{f_s}(x,y)\×c_{f_e}(x,y)}{\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R}{\left[c_{f_s}(x,y)\right]}^2}\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R}{\left[c_{f_e}(x,y)\right]}^2}},$

R表示图像的所有像素点集。

本发明的技术效果体现在：

原始图像易受光照环境影响，运动显著性计算不稳定。本发明将原始图像变换为反差图像，对反差图像序列进行多尺度运动显著性分析，产生运动显著性图像，再对运动显著性特征图像进行八叉树分解（先进行空间四叉树分解，再进行时间二叉树分解），递推计算各子块的运动显著性值，对相邻的子块进行聚类合并得到感兴趣区域。

在检测到感兴趣区之后，进一步通过多帧累积差分提取时—空感兴趣区内运动目标。然而在实际场景中，目标的运动速度有快有慢，尺寸有大有小，采用单一的帧间间隔下的差分方法难以精确定位和提取各个运动目标的位置和轮廓。本发明中使用的时空变尺度方法可以有效地、实时地解决这个问题。首先，潜在的运动区域可以通过半运动的显着性检测。它可以消除背景噪音的干扰。其次，指定每个区域的最佳帧间间隔，移动对象具有不同的尺寸和速度可以达到最佳的运动显著状态。第三，累计多帧差法，可以准确地提取出两个图像的运动物体。最后，在没有普通的跟踪步骤和光流计算的情况下，可以在此期间提取移动物体的速度和方向。

附图说明

图1是本发明总体流程图；

图2是t₀时刻的原始图像；

图3是t₀时刻的图像的反差图像；

图4是图像空间四叉树分解示意图，其中，图4（a）为对图像进行四叉树分块示例，图4（b）为分块之间的层次结构示例；

图5是t₀时刻的原始图像得空间四叉树分解结果；

图6是由空间四叉树分解得到的感兴趣区域；

图7是各个感兴趣区不同帧间间隔下的灰度差值；

图8是在原始图像上绘制出感兴趣区域；

图9展示提取某一感兴趣区域中的目标的过程；

图10展示提取该感兴趣区域中目标的结果；

图11是t₀时刻的原始图像中所有运动目标的检测结果。

具体实施方式

下面结合附图和实例对本发明作进一步详细的说明。

本发明总体流程图如图1所示。设图像序列中t时刻获取的图像为f_t，对于t=t₀时刻的图像

其时空变尺度运动目标检测方法具体为：

（1）建立当前时刻t₀的帧图像

的半运动显著性特征图像m_f：

（11）分别计算时刻t₀~t₀+r_t的图像

的反差图像。

由于原始图像易受光照环境影响，因此在进行后续操作之前将原始图像转换为反差图像。反差图像的计算方法如下所示：

$c_f(x,y)=\frac{f(x,y)-\mathrm{\μ}(x,y)}{\mathrm{\μ}(x,y)}$

其中，f(x,y)为原始图像，μ(x,y)为像素点(x,y)邻域内的灰度均值，经过量化后的c_f(x,y)即为变换后的反差图像；

（12）分别计算图像

与

的反差图像的半运动显著性度量值；r_t为预先设置的帧间间隔的上限，，一般设置在5-10帧之间。

（13）从中找出最大半运动显著性度量值，其对应的图像

与图像

的帧间间隔记为次优帧间间隔

令两幅帧图像的反差图像表示为

和

和的半运动显著性度量值其计算公式如下：

${\mathrm{value}}_R(c_{f_s},c_{f_e})=1-\frac{{\mathrm{\Σ}}_{(x,y)\∈R}{c}_{f_s}(x,y)\×c_{f_e}(x,y)}{\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R}{\left[c_{f_s}(x,y)\right]}^2}\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R}{\left[c_{f_e}(x,y)\right]}^2}},$ R为帧图像的所有像素点集。

（14）通过计算图像

与

的反差图的灰度相关性得到半运动显著性特征图像m_f。

（2）在半运动显著性特征图像m_f内提取运动感兴趣区域：

（21）使用四叉树分解方法将半运动显著性图像m_f分解成不相交的对称子块，空间四叉树分解的基本过程如下：首先，将图像分为四个大小相同的子块，然后确定分块是否满足继续分块的条件。如果不符合继续分块的条件，不会被划分子块，否则将被进一步划分子块。以同样的方式将分别四个子块划分成成更小的子块。递归过程将继续，直到所有的子块都不能被继续划分。最后，分解结果可能包含许多不同大小的子块。本发明中采用的可继续划分条件为子块的长宽和子块内的运动显著性度量值，只有当子块的长宽大于设置的分块阈值，并且子块内的运动显著性度量值也大于显著性阈值时，才可以将子块继续划分。一般将分块阈值设为4个像素，显著性阈值设为0.01，可根据具体情况适当调整这两个阈值。图4是图像空间四叉树分解示意图,图4（a）为对图像进行四叉树分块示例,图4（b）为分块之间的层次结构示例。

（22）将相邻的半显著性子块合并。对于四叉树分解得到的各个子块，分别判断其与周围邻域内的其他子块之间半运动显著性度量值的相似性，当相似性大于预设的相似性阈值时将两者合并。假设当前子块的半运动显著性度量值为α,其周围领域内一个子块的半运动显著性度量值为β,这两个子块之间半运动显著性度量值的相似性计算方法如下：

$\mathrm{sim}(\mathrm{\α},\mathrm{\β})=\frac{\min (\mathrm{\α},\mathrm{\β})}{\max (\mathrm{\α},\mathrm{\β})}$

即用两个半运动显著性度量值中的较小值除以较大值，当相似性sim(α,β)大于相似性阈值时，将两个子块合并，相似性阈值一般设为0.9，根据不同的精度需求可适当调整。

（23）当合并完成后，提取连通的子块，即为运动感兴趣区域。设有M个感兴趣区域，设每个感兴趣区域为R_i，其中i＝1,2,...,M。

（3）计算各运动感兴趣区域的最优帧间间隔：

计算图像

与

的反差图像内感兴趣区域R_i的半运动显著性度量值；从中找出最大半运动显著性度量值，其对应的图像与图像

的帧间间隔记为最优帧间间隔

令两幅图像的反差图像表示为

和

计算

和

中R_i区域内的半运动显著性度量值

其计算公式如下：

${\mathrm{value}}_{R_i}(c_{f_s},c_{f_e})=1-\frac{{\mathrm{\Σ}}_{(x,y)\∈R_i}{c}_{f_s}(x,y)\×c_{f_e}(x,y)}{\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R_i}{\left[c_{f_s}(x,y)\right]}^2}\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R_i}{\left[c_{f_e}(x,y)\right]}^2}}$

的取值范围在0到1之间。

通过上面的步骤，可以求出每个感兴趣区域R_i的最优帧间间隔，

$\mathrm{\Δ}{\tilde{t}}_i,i=\mathrm{1,2},...,M.$

（4）在感兴趣区域内通过多帧累积差分增强感兴趣区域：

本发明提出的多帧累积差分定义如下：

$d_{t-\mathrm{\Δ}{\tilde{t}}_i,t}^i(x,y)=\underset{n=1}{\overset{\mathrm{\Δ}{\tilde{t}}_i}{\mathrm{\Σ}}}|f_t(x,y)-f_{t-n}(x,y)|/\mathrm{\Δ}{\tilde{t}}_i,(x,y)\∈R_i$

$d_{t,t+\mathrm{\Δ}{\tilde{t}}_i}^i(x,y)=\underset{n=1}{\overset{\mathrm{\Δ}{\tilde{t}}_i}{\mathrm{\Σ}}}|f_t(x,y)-f_{t+n}(x,y)|/\mathrm{\Δ}{\tilde{t}}_i,(x,y)\∈R_i$

式中，为了消除多帧差分产生的重影部分，采用对称差分的思想，分别求第

帧到第t帧感兴趣区域R_i的累积差分图像

（其中(x,y)∈R_i），以及第t帧到第帧感兴趣区域R_i的累积差分图像

（其中(x,y)∈R_i），然后进行图像融合，增强两幅图像中感兴趣区域R_i内差分强度相似的区域，同时抑制两幅图像中感兴趣区域R_i内差分强度差异较大的区域：

$d_t^i(x,y)=\sqrt{d_{t-\mathrm{\Δ}{\tilde{t}}_i,t}^i(x,y)\×d_{t,t+\mathrm{\Δ}{\tilde{t}}_i}^i(x,y)},(x,y)\∈R_i$

（5）在各增强感兴趣区域内进行阈值分割和形态学处理，得到多个运动目标。

在增强后的感兴趣区域

（其中(x,y)∈R_i，i＝1,2,...,M）内通过OTSU阈值分割、形态学处理，检测出图像中的运动目标。

设检查到的目标数量为N，每个目标用O_j（j=1,2,...N）表示，同时得到包围目标O_j的最小外接矩形的长和宽

O_j相对于其局部背景的反差c_j，O_j所占区域Ω_i的形心位置坐标

计算每个运动目标的7维特征向量。对于某个目标O_j，

其中

为包围目标O_j的最小外接矩形的长和宽；

为O_j运动的表观速度；c_j为O_j相对于其局部背景的反差；

为O_j所占区域Ω_i的形心位置坐标。

c_j在步骤（5）中目标提取的过程中计算出来。O_j的运动表观速度

可以如下计算：

$u_{o_j}=\frac{x_{t_0+\mathrm{\Δ}\tilde{t}}-x_{t_0}}{\mathrm{\Δ}{\tilde{t}}_j}$

$v_{o_j}=\frac{y_{t_0+\mathrm{\Δ}\tilde{t}}-y_{t_0}}{\mathrm{\Δ}{\tilde{t}}_j}$

其中

为目标O_j在t₀时刻的形心位置，

为O_j在

时刻的形心位置,

是t₀时刻目标的最优帧间间隔，目标的速度等于时刻t₀到时刻

的平均速度。

下面给出实例：

图2是t₀时刻的原始图像，图3是t₀时刻的图像的反差图像。图5是t₀时刻的原始图像得空间四叉树分解结果。图6所示为对图像进行空间四叉树分解得到的感兴趣区域。图7是各个感兴趣区不同帧间间隔下的灰度差值。从图中可以看到，不同感兴趣区的最优帧间间隔可能会不同。图8在原始图像上绘制出了感兴趣区域。图9展示提取某一感兴趣区域中的目标的过程，图10展示提取该感兴趣区域中目标的结果。图11是t₀时刻的原始图像中所有运动目标的检测结果，从图中可以看到，本发明提出的方法能够很好的检测出所有的运动目标。表1是所有运动目标的7维特征向量计算结果。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims (1)

1.时空变尺度运动目标检测方法，具体为：

（1）建立当前时刻t₀的帧图像

的半运动显著性特征图像m_f：

分别计算时刻t₀~t₀+r_t的图像

的反差图像，进而分别计算图像

与

的反差图像的半运动显著性度量值；从中找出最大半运动显著性度量值，其对应的图像

与图像

的帧间间隔记为次优帧间间隔通过计算图像与

的反差图的灰度相关性得到半运动显著性特征图像m_f；

（2）在半运动显著性特征图像m_f内提取运动感兴趣区域：

将图像

分为四个大小相同的子块，确定各分块是否满足继续分块条件；将符合继续分块条件的子块按相同方式进一步划分子块，依次内推，直到所有的子块都不能被继续划分；所述继续分块条件为子块的长宽大于预定分块阈值，并且子块内的运动显著性度量值也大于预定显著性阈值；

对于每一相邻的半显著性子块，判断其与其他相邻子块间的半运动显著性度量值的相似性，当相似性大于预设相似性阈值时将两者合并；

在合并后得到的M个子块内提取连通的子块得到M个运动感兴趣区域R_i，i＝1,2,...,M；

（3）计算各运动感兴趣区域的最优帧间间隔：

计算图像与

的反差图像内感兴趣区域R_i的半运动显著性度量值；从中找出最大半运动显著性度量值，其对应的图像与图像

的帧间间隔记为最优帧间间隔

（4）在感兴趣区域内通过多帧累积差分增强感兴趣区域：

增强感兴趣区域 $d_t^i(x,y)=\sqrt{d_{t-\mathrm{\Δ}{\tilde{t}}_i,t}^i(x,y)\×d_{t,t+\mathrm{\Δ}{\tilde{t}}_i}^i(x,y)}$

其中， $d_{t-\mathrm{\Δ}{\tilde{t}}_i,t}^i(x,y)=\underset{n=1}{\overset{\mathrm{\Δ}{\tilde{t}}_i}{\mathrm{\Σ}}}|f_t(x,y)-f_{t-n}(x,y)|/\mathrm{\Δ}{\tilde{t}}_i,$

$d_{t,t+\mathrm{\Δ}{\tilde{t}}_i}^i(x,y)=\underset{n=1}{\overset{\mathrm{\Δ}{\tilde{t}}_i}{\mathrm{\Σ}}}|f_t(x,y)-f_{t+n}(x,y)|/\mathrm{\Δ}{\tilde{t}}_i,$

(x,y)∈R_i；

（5）在各增强感兴趣区域内进行OTSU阈值分割和形态学处理，得到多个运动目标；

所述半运动显著性度量值的计算方法为：

令两幅图像的反差图像表示为

和

和

的半运动显著性度量值的计算公式为：

${\mathrm{value}}_R(c_{f_s},c_{f_e})=1-\frac{{\mathrm{\Σ}}_{(x,y)\∈R}{c}_{f_s}(x,y)\×c_{f_e}(x,y)}{\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R}{\left[c_{f_s}(x,y)\right]}^2}\sqrt{{\mathrm{\Σ}}_{(x,y)\∈R}{\left[c_{f_e}(x,y)\right]}^2}},$

R表示图像的所有像素点集。

Images