CN101159855A - 基于特征点分析的多目标分离预测方法 - Google Patents

Abstract

本发明涉及基于特征点分析的多目标分离预测方法，属于视频监控图像处理技术领域。该方法包括提取背景、确定移动检测门限、移动检测聚类及矩形化、一次匹配与滤波、确定角点、形成向量、二次匹配步骤。采用本发明后，即使目标物体被局部遮挡，也不影响分析预测结果，从而解决了现有技术无能为力的多移动目标相互干扰的难题，将其应用到视频监控系统后，可以有效实现对邻近多目标的识别和跟踪监控。

Description

基于特征点分析的多目标分离预测方法

技术领域

本发明涉及一种用于对监控视频临近多目标进行识别的方法，尤其涉及一种利用图像特征点分析对邻近多目标进行匹配及分离的方法，属于视频监控图像处理技术领域。

背景技术

目前，对视频图像进行处理，从而达到目标物体的识别、跟踪等各种监控目的，已经在诸多领域得到普及应用。现有技术中对视频图像中移动目标进行检测比较常用的方法是背景减法。背景减法的检测和跟踪大体包括以下步骤：

1、分离背景——通过消除前景运动引起的干扰提取背景，再将背景与前景分离，达到捕捉画面中目标物体的目的。

背景减法通过提取背景，从而分离前景和背景，达到检测画面中移动物体的目的。目前常用的方法是假设前景移动物体所形成的干扰为高斯噪声，在一个相对较长的时间段里对像素进行平均，从而消除前景运动引起的干扰，得到单纯背景。

背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向、影子、树叶随风摇动等。

2、移动检测——相对背景检测出当前画面中像素灰度值变化较大的像素。利用当前图像与背景图像的差分来检测出运动像素集。

3、像素聚类——从选定的种子像素点出发，按照预定连通方式和规则检查周围邻近的像素点，以是否具有和种子像素点相似的性质确定邻近的像素点是否属于同一区域。

4.目标匹配与预测——通过对前面连续若干帧图像中目标物体信息的统计(线性一步匹配预测或卡尔曼滤波法)，预测出其运动趋势，从而获得当前帧中对应目标物体的估计值。

1)线性一步滤波预测

线性一步滤波预测通过对前n帧图像信息的统计，来获得当前帧的估计值。其计算是基于在n帧中，物体是做直线运动的。此方法在物体运动不太剧烈的时候比较有效。其基本思路是先在上一帧找到本帧中移动物体的匹配物体，由此递归前推n帧。得到特定物体的运动序列，在此序列中拟合直线，对当前位置进行一步估计，在物体没有检测到的时候，进行一步预测。从而达到滤波和预测的目的。此法目前解决不了剧烈运动，以及固定干扰等问题。

2)卡尔曼滤波(即匹配)

这是一种常用的跟踪算法，首先用前一时刻状态进行预测；然后根据预测状态和误差协方差确定搜索范围，在该范围内查找特征进行匹配得到测量值，用测量值和增益矩阵对预测状态修正，得到状态参数的后验估计。卡尔曼滤波由于用概率来描述跟踪过程中的不确定信息(如噪声、杂乱背景等)，同时保留了尽可能多的历史信息，因此跟踪更加鲁棒。

以上步骤可以在监控图像中比较有效地识别出单个移动物体，并描出其大体轮廓，以及运动趋势。但在视频计数和跟踪应用中，常会碰到遮挡以及众多目标在运动中非常邻近相互干扰的情况。此时，上述现有技术就显得无能为力了。另外，上述两种匹配算法(线性一步滤波预测或卡尔曼滤波法)中，寻找目标物体都是通过前后帧移动物体距离最近来解决，在多目标及快速运动的情况下往往会失效。

发明内容

本发明的要解决的技术问题是：针对以上现有技术存在的缺点，提出一种可以有效避免相邻多目标在运动中相互遮挡干扰的基于特征点分析的多目标分离预测方法。

为了解决以上技术问题，本发明基于特征点分析的多目标分离预测方法的基本过程包括以下步骤：

1)提取背景——对输入的视频当前帧，通过将其中每一个像素的灰度值与原先的背景灰度值比较，确定其是否属于背景；当相差的结果小于预定阈值时，该像素作为背景提取，否则视为移动目标点；

2)确定移动检测门限——对移动目标点像素进行回顾判断，若上一帧该像素也为移动目标点，则本帧中该点的移动检测门限按预定系数降低，否则以视频画面该点在时间上的方差值计算得出移动检测的门限；

3)移动检测——对当前帧图像和背景进行差分，将像素亮度相对变化大于移动检测门限的点判为移动目标物体的点，简称为热点；

4)聚类及矩形化——搜索某一热点(例如利用八邻域法)周围相邻热点，将其连接起来，形成移动目标物体的基本轮廓；再以移动目标物体的基本轮廓确定其最小外接矩形；

5)一次匹配与滤波——根据移动目标物体前后帧之间对应的距离和方向(必要时结合其各灰度等级像素所占比例)，寻找到前后帧中相匹配的移动目标物体，如移动目标物体是误差小于预定值的一对一匹配，则形成序列，由此序列预测出移动目标物体运动趋势；若移动目标物体是误差小于预定值的多对一匹配，则判为多个移动目标物体出现了重合，待后续处理跟踪；

6)确定角点——以移动目标物体最小外接矩形内部的像素点在其邻域内各个方向上灰度变换值超过预定值确定角点(又称兴趣点或特征点)；

7)形成向量——在移动目标物体的最小外接矩形中，由最小外接矩形的几何中心连接到每个角点，形成活动特征向量；

8)二次匹配——根据移动目标物体的活动特征向量，在移动目标物体、尤其是判为出现重合的移动目标物体上一帧中寻找对应物体，进而预测出其运动趋势，以便跟踪监测。

由于本发明在对移动目标物体基本轮廓矩形化的基础上，构建起其几何中心至各角点的一组活动特性向量，并通过对各活动特征向量的匹配，做出对移动目标物体的最终预测，因此即使移动目标物体被局部遮挡，也不构成对分析预测结果实质性的影响，从而解决了现有技术无能为力的多移动目标相互干扰的难题，将其应用到视频监控系统后，可以有效实现对邻近多目标的识别和跟踪监控。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明一个实施例的主要步骤框图。

图2为图1实施例二次预测的具体步骤逻辑框图。

图3为图1实施例中八邻域示意图，以P₅像素为核心，其周围八个像素称为八领域。

具体实施方式

本实施例的多目标分离预测方法主要步骤如图1所示，其基本过程为：在依据现有技术完成至一次匹配与滤波步骤之后，用Harris算子找出每个移动目标物体中的角点，然后根据移动检测、聚类及第一次匹配滤波的结果计算并保存活动特征向量。再根据活动特征向量的合并具有相似特征的大体重合物体。最后对移动目标物体做出判断并结合活动特征向量进行二次匹配。

图2为图1实施例中二次预测的具体步骤逻辑框图。首先根据活动特征向量的数目及相似性找上一帧中目标物体在当前帧中的对应物体，如在当前帧中有对应物体，则把其加入该物体的序列，预测出其运动趋势。如没有，则根据以往该物体序列的情况预测出一个目标，同时该物体预测计数器加1，当预测计数器值大于事先给定的门限的时候，则认为该物体已经消失。

具体而言，该方法可以叙述如下：

1)自适应背景提取

设定连续视频帧中每一个像素均是独立的，并且其灰度值遵循高斯分布，随着第n幅新帧的到来，对于图像中的每一个像素值λ，可以计算出其滑动平均值

和标准方差的更新值：

${\stackrel{\‾}{\mathrm{\λ}}}_{n+1}=\mathrm{\α}{\mathrm{\λ}}_n+(1-\mathrm{\α}){\stackrel{\‾}{\mathrm{\λ}}}_n$

${\stackrel{\‾}{\mathrm{\σ}}}_{n+1}=\mathrm{\α}{|\mathrm{\λ}}_{n+1}-{\stackrel{\‾}{\mathrm{\λ}}}_{n-1}|+(1-\mathrm{\α}){\stackrel{\‾}{\mathrm{\σ}}}_n$

式中α是遗忘因子，决定背景更新的快慢。当新帧图像上的像素值与背景平均值的差别大于一个设定的门限值时，即：

$|{\mathrm{\&lambda;}}_n-{\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{n-1}|<{k\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}_n$

则该像素作为背景提取。

在更新背景时，借助更新遗忘因子，可以使背景在及时更新的同时，对以前的背景情况具有记忆。

2)自适应移动检测门限

对在背景提取中获得的运动目标点像素进行进一步的判断，若上一帧该像素也判断为运动目标点，则本帧移动检测门限sn按系数降低。具体公式如下：

如上一帧该点是移动目标点，则有：

s_n＝ms_n-1其中0＜m＜1为系数

如上一帧该点不是移动目标点，则类似背景提取的门限有：

$s_n=k{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}_n$

如有s_n＜th，则s_n＝th；th为最低门限值。

3)移动检测

使用背景减法来实现移动检测，设I和B分别表示视频帧和背景图像，I_t(x，y)和B_t(x，y)分别表示t时刻当前视频帧和背景图像中位置(x，y)处的像素亮度，S_t(x，y)表示在(x，y)处的移动检测门限值，则满足下面条件的点为运动目标点，简称热点：

$\frac{|I_t(x,y)-B_t(x,y)|}{B_t(x,y)}>S_t(x,y)$

4)聚类并得到目标的最小外接矩形

在每个热点周围八邻域搜索(参见图3)，如在此八个点中有热点，则把他们连接起来，并以新像素为中心，继续搜索其八邻域的像素有无热点，如此递归，一直到某热点像素的八邻域不再有其他热点像素为止，得到一个移动目标物体。在此移动目标物体像素中，根据横坐标和纵坐标的最小和最大值，得到一个移动目标物体的最小外接矩形。

5)一次匹配与预测

根据移动目标物体前后帧之间对应的距离和方向，计算前一帧中待选移动目标物体在当前帧中的最佳匹配(综合块匹配算法，同时计算各目标的各灰度等级像素所占比例，给出最接近的目标)。如移动目标物体是误差小于预定值的一对一匹配，则形成表征移动目标物体的轨迹序列，由此序列对移动目标物体当前位置、目标大小进行估计预测，并把估计值作为当前值，初步预测出其运动趋势；若移动目标物体是误差小于预定值的多对一匹配，则判为多个移动目标物体出现了重合，将当前帧中此移动目标物体进行划分，后续处理跟踪。

6)角点检测

角点检测使用Harris算子，Harris算子是C.Harris和M.J.Stephens提出的一种基于信号的点特征提取算子，具有计算简单、提取的角点特征均匀合理、可以定量提取特征点以及算子稳定的特点。其处理过程表示如下：

$C=\left[\begin{array}{cc}\mathrm{\&Sigma;}{I}_x^2& \mathrm{\&Sigma;}{I}_x{I}_y\\ \mathrm{\&Sigma;}{I}_x{I}_y& \mathrm{\&Sigma;}{I}_y^2\end{array}\right]$

其中，I_x为x方向的梯度，I_y为y方向的梯度，∑I_x ²为该像素点周围一个区域对x方向的梯度平方求和，∑I_y ²为该像素点周围一个区域对x方向的梯度平方求和，∑I_xI_y该像素点周围一个区域对x方向的梯度和y方向的梯度的乘积求和。由于C为对称阵，所以其可表示为：

$C=R^{-1}\left[\begin{array}{cc}{\mathrm{\&lambda;}}_1& 0\\ 0& {\mathrm{\&lambda;}}_2\end{array}\right]R$

R为一个旋转阵。

寻找一个角点的步骤如下：

·计算每一像素点处梯度的幅值；

·在一个小窗口区域中构建一个矩阵C；

·使用线性代数方法求取λ₁和λ₂；

·如果它们都很大，则找到了一个角点。

7)形成向量

在移动目标物体的最小外接矩形中，由最小外接矩形的几何中心连接到该目标内的每个角点，形成一组活动特征向量。

8)二次匹配与预测

首先根据活动特征向量的数目及相似性找上一帧中移动目标物体在当前帧中对应物体。两个目标A，B的特征向量若数量相等且每个特征向量满足以下条件则认为二者是对应物体：

|R_a-R_b|＞k_r  |ω_a-ω_b|＞k_ω

其中R_a，R_b分别是对应特征向量在极坐标中的极径，ω_a，ω_b分别是对应特征向量在极坐标中的极角，k_r，k_ω分别是极径和极角的偏差门限。

如在当前帧中有对应物体，则把该物体加入该移动目标物体的序列，进行预测；如没有，则根据以往该移动目标物体序列的情况预测出一个目标物体，同时该移动目标物体预测计数器加1。当预测计数器值大于事先给定的门限的时候，则认为该移动目标物体已经消失。

基于移动目标物体序列中的位置及大小，对目标进行线形一步匹配，以预测值作为当前的位置及大小，以便跟踪监测。

此步骤不仅对判为出现重合的移动目标物体十分有效，而且可以作为对一次匹配与预测的进一步确认。

以上本实施例的方法在初步匹配预测之后，通过6)-8)，合理利用了矩形化的基础，构建起几何中心至各角点的活动特性向量，并通过对活动特征向量的匹配分析，得出对移动目标物体的最终预测结果。由于活动特征向量取决于几何中心与角点，可以忽略中间过程，因此即使移动目标物体被局部遮挡，也不会对一组活动特征向量的匹配构成实质性的影响，从而可以实现存在相互干扰的邻近多移动目标物体的预测、识别和跟踪监控。

Claims (4)

1.基于特征点分析的多目标分离预测方法，包括以下步骤：

1)提取背景——对输入的视频当前帧，通过将其中每一个像素的灰度值与原先的背景灰度值比较，确定其是否属于背景；当相差的结果小于预定阈值时，该像素作为背景提取，否则视为移动目标点；

2)确定移动检测门限——对移动目标点像素进行回顾判断，若上一帧该像素也为移动目标点，则本帧中该点的移动检测门限按预定系数降低，否则以视频画面该点在时间上的方差值计算得出移动检测的门限；

3)移动检测——对当前帧图像和背景进行差分，将像素亮度相对变化大于移动检测门限的点判为移动目标物体的点，作为热点；

4)聚类及矩形化——搜索某一热点周围相邻热点，将其连接起来，形成移动目标物体的基本轮廓；再以移动目标物体的基本轮廓确定其最小外接矩形；

5)一次匹配与滤波——根据移动目标物体前后帧之间对应的距离和方向，寻找到前后帧中相匹配的移动目标物体，如移动目标物体是误差小于预定值的一对一匹配，则形成序列，由此序列预测出移动目标物体运动趋势，若移动目标物体是误差小于预定值的多对一匹配，则判为多个移动目标物体出现了重合，待后续处理跟踪；

其特征在于还包括：

6)确定角点——以移动目标物体最小外接矩形内部的像素点在其邻域内各个方向上灰度变换值超过预定值确定角点；

7)形成向量——在移动目标物体的最小外接矩形中，由最小外接矩形的几何中心连接到每个角点，形成活动特征向量；

8)二次匹配——根据移动目标物体的活动特征向量，在移动目标物体、尤其是判为出现重合的移动目标物体上一帧中寻找对应物体，进而预测出其运动趋势。

2.根据权利要求1所述基于特征点分析的多目标分离预测方法，其特征在于：所述步骤4)中利用八邻域法进行周围相邻热点搜索。

3.根据权利要求2所述基于特征点分析的多目标分离预测方法，其特征在于：所述步骤5)中根据移动目标物体前后帧之间对应的距离和方向，并结合其各灰度等级像素所占比例，寻找到前后帧中相匹配的移动目标物体。

4.根据权利要求1所述基于特征点分析的多目标分离预测方法，其特征在于：所述步骤8)首先根据活动特征向量的数目及相似性寻找上一帧中该移动目标物体在当前帧中对应物体，如在当前帧中有对应物体，则把该物体加入所述移动目标物体的序列，用以预测出其运动趋势；如没有，则根据以往该移动目标物体序列的情况预测出一个目标物体，同时该移动目标物体的预测计数器加1，当所述预测计数器中的数值大于预定门限时，判定该移动目标物体消失。

Images