CN101901334A - 静态目标检测方法 - Google Patents

Abstract

本发明提出了一种静态目标检测方法，属于计算机视觉领域，本方法有如下步骤：步骤1：由初始化单元对输入视频初始化；步骤2：由特征提取单元提取目标的运动特征；步骤3：由特征提取单元提取目标的统计特征；步骤4：由检测单元使用变步长的模板匹配方法对目标检测；步骤5：由检测单元使用融合运动特征和目标模型统计特征的静态目标检测方法对目标进行检测。本方法采用基于错位相减的帧间差分结果，抑制干扰，实时性良好；依据模板与候选区域的统计特征，检测当前帧是否存在目标，运算简单，采用积分图优化特征提取来满足实时性的要求；采用模板匹配算法来搜索与模板最相似的区域，动态更新模板，保证了检测结果的准确性。

Description

静态目标检测方法

技术领域

本发明属于计算机视觉领域，涉及一类静态目标检测方法，用于行为识别领域里的人员在岗的检测。

背景技术

在有执勤、值班任务要求的场合，往往要求执勤人员、值班人员坚守岗位。这些执勤人员往往担负着重要场所、岗位的执勤任务，如看守弹药库、监狱、首长住所、重要办公场所的卫兵执勤等。一旦执勤人员擅自脱离岗位或受到非法袭击等特殊事件，可能会造成重大安全事故，甚至威胁到场所内值班人员的生命和财产安全。因此，需要对这类目标的状态进行实时监控，确保目标处于在岗状态。

静态目标检测的任务从根本上就是从视频序列中检测是否有感兴趣的目标存在，如果存在则属于正常状态，否则进行报警提示。从这个意义上讲，静态目标检测技术需要通过对执勤人员的检测来完成，即需要通过行人检测(Humandetection)技术来实现。

研究人员提出了不同的方法来解决行人检测中的各种问题，根据所利用的信息的不同，行人检测方法可以分为基于运动的识别方法和基于形状的识别方法两类。

基于运动的识别方法又可以分成两种情况：基于背景减除算法和步态识别的方法。基于背景减除的方法，首先检测出场景中的运动目标，然后根据行人在形状、大小、速度等特征来判断是否为行人。基于步态识别的方法，则是通过对行人的步态的分析与行人步态的周期性模式相比较，识别出行人。基于运动的识别方法对背景十分依赖，只能识别出运动的行人。

基于形状识别的方法，主要用于静态图像或动态场景中的行人检测。研究人员采用局部曲线段来表示人的形状，或以分级策略直接对全局形状进行建模，或用全局或局部描述子间接来表示人的形状。基于形状识别的方法大都需要收集样本，对训练样本提取特征。通过SVM、Adaboost或其他分类器来训练分类器，在检测时提取同样的特征，用学习之后得到的分类器进行分类。该类方法需要足够多的样本进行学习，用于检测时也需要对整幅图像进行处理，因此计算复杂，实时性差，当场景复杂时，会导致较大的误差。

发明内容

本发明提出了一种融合运动特征和目标模型统计特征的静态目标检测方法。采用行列错位相减图像的帧差来提取目标运动特征，采用基于目标模型和候选区域的统计特征匹配来检测目标，并根据目标运动特征和模板与候选区域的相似性度量动态更新模板。为了提高检测的实时性，本发明还采用积分图进行优化特征提取。

一种静态目标检测方法，该方法包括：

步骤(1)：由初始化单元对输入视频初始化；

步骤(2)：由特征提取单元提取目标的运动特征；

步骤(3)：由特征提取单元提取目标的统计特征；

步骤(4)：由检测单元使用变步长的模板匹配方法对目标检测；

步骤(5)：由检测单元使用融合运动特征和目标模型统计特征的静态目标检测方法对目标进行检测。

进一步，该方法还包括，步骤(2)中，采用基于错位相减图像的帧差图像来提取运动特征。

进一步，该方法还包括，步骤(3)中，采用积分图优化目标的统计特征进行提取。

进一步，该方法还包括，步骤(4)中，所述变步长的模板匹配方法为根据当前的模板和候选区域的模板之间的距离来调整搜索步长，如果距离较大，则增大搜索的步长；否则，减小搜索的步长。

进一步，该方法还包括，步骤(5)中检测单元使用静态目标检测方法进行检测中，采用模板更新策略判断目标是否进行显著运动。

进一步，该方法还包括，步骤(5)中检测单元使用静态目标检测方法进行检测中，当目标相对静止或存在微小运动时，如果模板与当前帧的候选区域之间距离的最小值小于给定的阈值，则目标还处于场景中；否则，更新模板，进行下两帧的比对。

判断目标是否离开的检测方法，该方法包括：

步骤(1)：由初始化单元对输入视频初始化；

步骤(2)：由特征提取单元将前后两帧图像错位相减后进行求帧差运算，根据得到的帧差图像来提取运动特征；

步骤(3)：根据提取到的运动特征判断是否发生了显著运动，如果发生了显著运动，则转到步骤(4)，否则，转到步骤(7)；

步骤(4)：判断目标是否离开岗位，如果目标离开岗位时，则转到步骤(5)，否则，转到步骤(6)；

步骤(5)：如果目标满足返岗的条件，则消除报警提示，转到步骤(6)；否则，转到步骤(2)；

步骤(6)，更新目标模板，转到步骤(2)；

步骤(7)，判断目标是否离开场景的检测区域，如果离开，转到步骤(2)；否则，转到步骤(8)；

步骤(8)，计算模板和当前帧的最小距离，如果该距离小于给定的阈值Td，目标离开场景的检测区域，转到步骤(9)；否则，转到步骤(6)；

步骤(9)，如果目标离开时间大于预定时间，如果条件成立，转到步骤(10)；否则，转到步骤(2)；

步骤(10)，给出报警提示，表明目标已经离开，转到步骤(2)，直至所有图像帧处理完毕。

进一步，所述步骤(1)的视频初始化包括：初始化参数和目标模型，设定检测区域、目标模型区域的位置，以及给出目标是否在岗的信息。

进一步，所述步骤(2)的运动特征包括：连通域的个数、面积、宽和高。

本发明静态目标检测方法与现有技术相比，其优点在于：

1、采用基于错位相减的帧间差分结果，作为目标运动特征，能抑制干扰，满足实时性要求。

2、依据模板与候选区域的统计特征，检测当前帧是否存在目标，运算简单，采用积分图优化特征提取来满足实时性的要求。

3、根据目标运动特征及模板和候选区域之间的相似性度量，采用模板匹配算法来搜索与模板最相似的区域，动态更新模板，保证了模板准确性，从而保证了检测结果的准确性。

附图说明

图1为本发明静态目标检测方法的流程图；

图2a为本发明积分图的示意图；

图2b为本发明利用积分图计算任意矩形内元素和的示意图；

图3为本发明判断目标是否离开的检测方法流程图。

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明，在描述过程中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

本发明提供了一种静态目标检测方法，如图1所示，该方法包括如下步骤：

步骤1，由初始化单元对输入视频初始化。

对于输入的视频，首先由初始化单元初始化该视频的参数，并建立目标模型，包括：设定检测区域和目标模型区域的位置，在初始化时还需要给出目标是否在岗的信息。一旦初始化完成，如下的目标检测可按设定自动进行。

步骤2，由特征提取单元提取目标的运动特征。

为了滤除图像中的噪声，先通过错位相减，即用原图像和其在行和列方向上存在一个像素偏差的图像进行减法运算，从而提取图像的梯度信息，把图像中的边缘特征突出出来，运算简单，实时性能高。首先求取输入图像当前帧I_t灰度值的列间梯度：

I_t，GH(x，y)＝|I_t(x，y)-I_t(x，y-1)|            (1)

再求取I_t灰度值的行间梯度：

I_t，GV(x，y)＝|I_t(x，y)-I_t(x-1，y)|            (2)

则采用像素灰度值在行列间梯度的最大值I_t，G(x，y)，作为图像当前帧I_t对应的行列错位相减的结果：

I_t，G(x，y)＝max(I_t，GH，I_t，GV)                (3)

同理，计算出I_t-1的行列错位相减的灰度值。运动像素的判断则通过前后帧在行列间错位相减的图像差异进行，得到运动像素的二值掩码M(x，y)：

$M(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|I_{t,G}(x,y)-I_{t-1,G}(x,y)|>T\\ 0& \mathrm{else}\end{array}\right.---\left(4\right)$

其中，T为给定的阈值，对M(x，y)采用连通域分析的方法提取运动的Blob(连通域)，并根据目标的先验知识和Blob之间的关系，对Blob进行合并；统计合并后的Blob的数目B_N，第i个Blob的面积B_s(i)、宽B_w(i)、高B_h(i)等参数，其中，i＝1，2，...，B_N，得到目标的运动特征。

分别按照公式(1)和公式(2)对当前帧进行行列错位相减，其最终的结果用公式(3)表示。这样经过错位相减后的图像，图像的梯度信息得以保留，而变化平缓的区域，经过错位相减后，其梯度信息很小。再按照公式(4)，通过对前后两帧的图像进行帧间差分，就可以把运动的像素突出出来。

其中，阈值T的选择可根据具体的应用场景调整。本实施例中，以原始图像灰度值均值的一半作为判断是否为运动像素的阈值。由于运动像素的差异比较大，灰度值差值大于该阈值T的像素为运动像素，灰度值差值小于或等于该阈值T的像素为静止像素。

对运动的像素进行连通域的分析，可得到运动Blob的数目，及每个Blob的面积、宽、高等属性，从而可以根据这些属性来表示目标的运动特征。

步骤3，由特征提取单元提取目标的统计特征。

由步骤2得，I_t，G为错位相减后得到的图像，目标区域在该图像中对应位置为I_t，GM，目标区域的宽度为K，目标区域的高度为L。为了增强统计的鲁棒性，目标区域I_t，GM在水平方向上被分成m份，在垂直方向上被分成n份。这样目标区域I_t，GM被均等的分成了mn个小区域I_t，GMj，其中j＝1，...，mn，mn＝m×n。目标特征的提取将在每个小的区域I_t，GMj上进行。

为了表示目标在水平方向上的特征，特征提取单元首先提取在水平方向的纹理。在这里纹理用水平上相邻像素梯度的差异来表示，

$D_h(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|I_{t,\mathrm{GMj}}(x,y)-I_{t,\mathrm{GMj}}(x,y+1)|>T_2\\ 0& \mathrm{else}\end{array}\right.---\left(5\right)$

其中，T₂为一个预先给定的灰度值的阈值，取决于图像的噪声水平，实验中取10。D_h(x，y)为1表示在水平上相邻像素之间的灰度值差异较大，大于给定的阈值T₂；当其取值为0时，表示在水平上相邻像素之间的灰度值没有明显的差异，则第j个小区域I_t，GMj的特征为：

V′_h(j)＝∑D_h(x，y)            (6)

但是该特征只包括水平方向的变化，事实上目标可能会垂直或倾斜运动，为此，分别在这些方向统计该区域的特征，所选取的方向包括垂直方向v，与当前像素成45度方向s1和与当前像素成负45度方向s2，则相应的相邻像素的梯度差异分别为：

$D_v(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|I_{t,\mathrm{GMj}}(x,y)-I_{t,\mathrm{GMj}}(x+1,j)|>T_2\\ 0& \mathrm{else}\end{array}\right.---\left(7\right)$

$D_{s1}(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|I_{t,\mathrm{GMj}}(x,y)-I_{t,\mathrm{GNj}}(x-1,y+1)|>T_2\\ 0& \mathrm{else}\end{array}\right.---\left(8\right)$

$D_{s2}(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|I_{t,\mathrm{GMj}}(x,y)-I_{t,\mathrm{GMj}}(x+1,y+1)|>T_2\\ 0& \mathrm{else}\end{array}\right.---\left(9\right)$

同理，可以得到这三个方向的特征：

V′_u(j)＝∑D_u(x，y)            (10)

其中，u＝{v，s1，s2}分别表示垂直方向，正45度和负45度方向区域j的纹理特征。

以上得到的只是每个子区域在不同方向上的纹理特征，则整个目标区域的纹理特征为：

V′_M＝(V′_h，V′_v，V′_s1，V′_s2)            (11)

其中，V′_u＝(V′_u(1)…V′_u(mn))，u＝{h，v，s1，s2}，则总的特征维数为4mn。为了使该特征具有相对不变性，需要对特征进行归一化。首先对每个方向的特征进行归一化处理，然后再对总的特征进行归一化。

V_M＝(V_h，V_v，V_s1，V_s2)                (12)

其中，V_u分别为不同方向上特征V′_u的归一化特征向量，u＝{h，v，s1，s2}。

上述特征的求取能够满足单路视频的需求，但是现场的应用中往往要求在同一台PC上，能够同时监视多路视频，也就是需要同时运行多个实例，采用积分图来优化特征的提取可以显著改善算法的性能。

用ii表示积分图，ii(x，y)表示在(x，y)的左上角区域所包含元素之和，如下式所示：

$\mathrm{ii}(x,y)=\underset{x^{\&prime;}<x,y^{\&prime;}<y}{\mathrm{\&Sigma;}}i(x^{\&prime;},y^{\&prime;})---\left(13\right)$

其中，i(x′，y′)为输入图像。如图2a所示，ii(x，y)表示积分图在(x，y)处的值。整个积分图的计算可以通过如下的方式，对图像遍历一次得到：

s(x，y)＝s(x，y-1)+i(x，y)            (14)

ii(x，y)＝ii(x-1，y)+s(x，y)          (15)

在计算出积分图后，就可以计算任意矩形内的元素和。如图2b所示，在位置1处的积分图的值s₁为矩形A内元素和，在位置2处的积分图的值s₂为A和B内元素和，在位置3处的积分图的值s₃为A和C内元素和，在位置4处的积分图的值s₄为A、B、C和D内的元素和，则矩形D内的元素之和s_D可以通过下式计算：

s_D＝s₁+s₄-(s₂+s₃)                    (16)

设当前帧I_t的行列错位相减的结果I_t，G，特征提取是在每个搜索区域内分块进行统计与当前像素在位置上处于水平(→)、垂直(↓)、成45度成负45度四个方向的特征。

为了利用积分图，这里先计算整幅图像I_t，G在上述四个方向的特征，即：

$I_{\mathrm{Du}}(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|I_{t,G}(x,y)-I_{t,\mathrm{Gu}}(x,y)|>T_2\\ 0& \mathrm{else}\end{array}\right.---\left(17\right)$

其中，u表示四个方向，u＝{→，↓，

}。I_t，Gu(x，y)表示I_t，G(x，y)分别在u方向上移动一个像素后得到的图像。然后按照公式(14)和公式(15)，计算这四个方向上特征图像I_Du(x，y)的积分图I_Fu(x，y)。这样在模板匹配的过程中，任意小区域的特征都可以由积分图上的四次查表和四次加减运算得到。在得到每个小区域的特征后，按照公式(11)和(12)就能很方便得到候选区域的特征。

步骤4，由检测单元使用变步长模板匹配的方法对目标检测。

输入图像为I，模板图像为I_m。模板匹配的方法是通过逐点比较的方法，从图像I中找到与I_m最为匹配的部分。不同于传统的模板匹配的算法，本发明的检测单元不是直接用图像进行比较，而是比较图像特征之间的相似程度。模板图像的特征为V_M，待匹配区域的图像特征为V_T。两者之间的相似度用欧式距离来衡量，如下式：

$d=\sqrt{\underset{j}{\overset{M}{\mathrm{\&Sigma;}}}{(V_{M,j}-V_{T,j})}^2}---\left(18\right)$

其中，M为向量中分量的个数，V_M，j、V_T，j分别为向量V_M和V_T的第j个特征分量。如果d的最小值d_min小于给定的阈值T_d，则认为找到了匹配的区域。否则，匹配失败，更新模板，进行图像的下两帧的比对。

本方法采用一种变步长的搜索策略，来加快搜索过程。搜索步长决定了搜索的快慢，步长越大，搜索速度越快；步长越小，搜索速度越慢。

假设初始的搜索步长为S，则可以根据相似度来更新步长：

$S=S\&times;(1+\frac{a}{d-\mathrm{\&beta;}})---\left(19\right)$

其中，α为一比例因子，用于控制步长更新的程度。α越大对步长的影响程度越大。β为一阈值，来决定是增加还是减少步长上式表明如果当d大于β时，说明两者相似程度小，因此应该增加搜索步长；当d小于β时，说明两者比较相似，因此应该减少搜索步长。

从搜索方式的角度来说，当模板图像和待匹配图像之间的相似程度较大时，由公式(18)可得d的值较小，进而由公式(19)可得搜索步长S较大，则搜索的速度较快，针对待匹配图像进行较粗略的搜索；同理，当模板图像和待匹配图像之间的相似程度较小时，由公式(18)可得d的值较大，进而由公式(19)可得搜索步长S较小，则搜索的速度较慢，针对待匹配图像进行较精细的搜索。

步骤5，由检测单元使用融合运动特征和目标模型统计特征的静态目标检测方法对目标进行检测。

模板更新

本方法的检测单元在使用静态目标检测方法进行检测时，采用了一种在线更新模板的方式，基于两种情况来更新模板：

(1)显著运动时的模板更新

当场景中存在显著运动，表明目标处于监控场景中。所谓的显著运动是指通过和目标模型相比，在运动特征上通过对Blob的数目，以及每个Blob的面积B_s(i)、宽B_w(i)、高B_h(i)等参数综合比较，可以判断目标是否处于较大范围的运动状态。这种较大范围的运动称为显著运动，如目标巡逻、换岗、返回等。目标在巡逻、换岗及离岗返回的过程中随时会停下来，保持相对静止的状态，此过程中需要及时更新模板，来反映哨兵在场景中的状态变化。也就是只要场景中存在着显著的运动，就需要及时更新模板。

(2)相对静止或存在微小运动时的模板更新

当目标处于相对静止的状态时或存在微小运动时，都会导致初始模板和当前图像帧中的最匹配区域的相似度降低。如果这种运动是渐进的，其累积效果会导致模板与候选区域极不相似。当目标此时静止不动，就可能误认为场景中没有和模型相似的目标，从而做出目标离开场景的判断。

此时的模板更新，可以根据模板与当前帧所在的候选区域之间距离的最小值d_min来判断。如果该最小值小于给定的阈值T_d，则说明目标还处于场景中，在姿态、形体等表观上发生了轻微的变化，此时应当用最匹配的区域来更新模板，以反映这种变化。

对目标进行检测包括目标离开检测和目标返回检测两种。

1、目标离开检测：如果场景中没有检测到运动目标，且当d_min大于给定的阈值T_d时，认为目标离开了场景。如果在连续的时间段T_s内都没有检测到目标，则给出目标离开的提示。

2、目标返回检测：目标离开岗位后，随时都会返回岗位，返回后应当消除报警提示，并及时更新模板。目标返回的检测可以通过显著运动进行判断，如果存在显著运动，且持续时间大于特定阈值T_m(T_m表示目标进行显著运动时间的阈值)，并且此时与模板最匹配的距离小于2T_d，即2倍的给定的阈值T_d，则认为目标返回岗位。同标返回岗位，则消除报警提示，更新模板。

本发明判断目标是否离开位置的检测方法如图3所示。

(1)对于输入的视频，首先由初始化单元对其进行初始化参数和目标模型，这里需要设定检测区域和目标模型区域的位置，在系统初始化时还需要给出目标是否在岗的信息，一旦初始化完成，目标检测就可以自动进行了。

(2)采用基于错位相减图像得到的帧差图像来提取运动特征。

(3)根据检测到的运动信息，即将帧差图像的二值化后的结果提取连通域，根据连通域的面积、个数，和连通域的宽度、高度来判断目标是否发生了运动。如连通域的面积较大或者连通域数目较多或者连通域的宽度和高度较大，表明前后两帧中，目标发生了较大幅度的运动，则认为目标发生了显著运动，则转(4)；否则，前后两帧中目标发生了的运动幅度不大，转(7)。

(4)判断目标是否离开岗位。如果目标离开岗位时，则转(5)，否则，转(6)。

(5)判断是否满足目标返岗的条件。如果存在显著运动，且持续时间大于特定阈值T_m，并且此时与模板最匹配的距离小于2T_d则认为目标返回岗位。如果满足目标返岗的条件，则消除报警提示，转(6)；否则，转(2)。

(6)更新目标模板，转(2)。

(7)判断目标是否离开，如果离开，转(2)；否则转(8)。

(8)计算模板和当前帧的最小距离d_min。如果d_min是小于给定的阈值T_d，目标离开场景，转(9)。否则，转(6)。

(9)目标离开时间是否大于T_s。如果条件成立，转(10)。否则，转(2)。

(10)目标已经离开给出报警提示，转(2)，直至所有图像帧处理完毕。

尽管已经示出并描述了本发明的实施例，但是本领域技术人员可以理解，在不偏离本发明的精神和原理的基础上，可以对此实施例进行改变，本发明的范围由所附权利要求和它们的等同变换限定。

Claims (9)

1.一种静态目标检测方法，其特征在于，包括：

步骤(1)：由初始化单元对输入视频初始化；

步骤(2)：由特征提取单元提取目标的运动特征；

步骤(3)：由特征提取单元提取目标的统计特征；

步骤(4)：由检测单元使用变步长的模板匹配方法对目标检测；

步骤(5)：由检测单元使用融合运动特征和目标模型统计特征的静态目标检测方法对目标进行检测。

2.根据权利要求1所述的方法，其特征在于，步骤(2)中，采用基于错位相减图像的帧差图像来提取运动特征。

3.根据权利要求1所述的方法，其特征在于，步骤(3)中，采用积分图优化目标的统计特征进行提取。

4.根据权利要求1所述的方法，其特征在于，步骤(4)中，所述变步长的模板匹配方法为根据当前的模板和候选区域的模板之间的距离来调整搜索步长，如果距离较大，则增大搜索的步长；否则，减小搜索的步长。

5.根据权利要求1所述的方法，其特征在于，步骤(5)中检测单元使用静态目标检测方法进行检测中，采用模板更新的方式判断目标是否进行显著运动。

6.根据权利要求1或5所述的方法，其特征在于，步骤(5)中检测单元使用静态目标检测方法进行检测中，当目标相对静止或存在微小运动时，如果模板与当前帧的候选区域之间距离的最小值小于给定的阈值，则目标还处于场景中；否则，更新模板，进行下两帧的比对。

7.一种判断目标是否离开的检测方法，其特征在于，包括：

步骤(1)：由初始化单元对输入视频初始化；

步骤(2)：由特征提取单元将前后两帧图像错位相减后进行求帧差运算，根据得到的帧差图像来提取运动特征；

步骤(3)：根据提取到的运动特征判断是否发生了显著运动，如果发生了显著运动，则转到步骤(4)，否则，转到步骤(7)；

步骤(4)：判断目标是否离开岗位，如果目标离开岗位时，则转到步骤(5)，否则，转到步骤(6)；

步骤(5)：如果目标满足返岗的条件，则消除报警提示，转到步骤(6)；否则，转到步骤(2)；

步骤(6)，更新目标模板，转到步骤(2)；

步骤(7)，判断目标是否离开场景的检测区域，如果离开，转到步骤(2)；否则，转到步骤(8)；

步骤(8)，计算模板和当前帧的最小距离，如果该距离小于给定的阈值Td，目标离开场景的检测区域，转到步骤(9)；否则，转到步骤(6)；

步骤(9)，如果目标离开时间大于预定时间，如果条件成立，转到步骤(10)；否则，转到步骤(2)；

步骤(10)，给出报警提示，表明目标已经离开，转到步骤(2)，直至所有图像帧处理完毕。

8.根据权利要求7所述的方法，其特征在于，所述步骤(1)的视频初始化包括：初始化参数和目标模型，设定检测区域、目标模型区域的位置，以及给出目标是否在岗的信息。

9.根据权利要求7所述的方法，其特征在于，所述步骤(2)的运动特征包括：连通域的个数、面积、宽和高。

Images