CN101527044A - 多视频运动目标的自动分割与跟踪方法 - Google Patents

Abstract

本发明公开了一种可以实现静止背景下多个视频运动目标的实时自动分割与准确跟踪的多视频运动目标的自动分割与跟踪方法，其步骤是：1)输入视频图像；2)自适应背景建模；3)对背景差图像进行空域滤波；4)自适应阀值化与运动目标轮廓的提取；5)运动目标质心的求取与质心标记；6)跟踪运动目标。本发明所述的自动分割与跟踪方法主要应用于基于内容的视频检索与视频监控的底层视频处理技术中。

Description

多视频运动目标的自动分割与跟踪方法

技术领域

本发明涉及到视频运动目标的分割与跟踪方法，尤其涉及到一种多视频运动目标的自动分割与跟踪方法。

背景技术

运动目标跟踪是指通过对运动检测和运动对象分割处理后得到的图像序列进行分析，计算出目标在每帧图像上的二维位置坐标，并根据不同的特征值，将图像序列中不同帧中同一运动目标关联起来，得到完整的运动轨迹。运动目标跟踪不但可以提供被监控目标的运动轨迹，而且为许多交通参数和交通事件提供了可靠的数据来源。因此，视频对象跟踪在军事领域，智能视频监控，智能交通，医疗诊断等领域有着广阔的应用前景。

典型的视频对象跟踪方法可分为以下几类：基于特征的跟踪方法、基于模型的方法、基于区域的方法和基于动态轮廓的方法。视频对象跟踪建立在视频运动对象自动分割的基础之上，目前针对多视频运动目标的实时自动分割和跟踪方法存在以下缺陷：算法的鲁棒性差，对环境变化及噪声敏感；算法通用性差，满足不了应用的实时性要求；当视频中存在多个运动目标且出现遮挡、分裂等行为时，其分割与跟踪的稳定性和准确性有待进一步提高。

发明内容

本发明所要解决的技术问题是：提供一种可以实现静止背景下多个视频运动目标的实时自动分割与准确跟踪的多视频运动目标的自动分割与跟踪方法。

为解决上述技术问题，本发明采用的技术方案为：多视频运动目标的自动分割与跟踪方法，其步骤是：

1)输入视频图像；

2)自适应背景建模：采用分析差异积累动态矩阵来决定某像素属于前景或背景的方法，确定背景的更新模型；

3)采用变系数空域滤波器掩模对背景差图像进行空域滤波；

4)自适应阀值化，并采用增强的Otsu法提取运动目标的轮廓信息；

5)运动目标质心的求取与质心标记，其步骤为：

①运动目标质心的求取；

②运动目标质心标记；

6)跟踪运动目标，其步骤为：

①运动对象质心的关联跟踪；

②绘制运动目标运动轨迹，输出运动目标。

所述的采用增强的Otsu法提取运动目标的轮廓信息，其步骤为：

①求取增强的Otsu法最优二值化阀值；

②对步骤3)中经空域滤波后的背景差图像采用求得的最优二值化阀值进行阀值化；

③对阈值化后的图像采用形态学腐蚀及膨胀操作，结合形态学提取边界的方法提取视频运动对象轮廓。

本发明的有益效果是：

1.采用变系数空域滤波器对自适应更新的背景差图像进行空域滤波，提高了运动区域的连通性和运动对象分割的准确性。通过调整或改变空域滤波器掩模系数，该算法能够适应不同场合视频图像的滤波，提高了算法的通用性和适应性。

2.采用增强的Otsu法所求取最优二值化阀值对变系数滤波后的背景差图像进行阀值化，可使运动区域更具连通性，提高了运动目标分割的准确度。

3.采用目标轮廓信息来计算多个运动目标的质心位置，降低了计算量，提高了目标的跟踪速度。

4.采用空间欧氏距离最短的方法对多视频运动目标进行关联跟踪，避免了常规算法计算量大的缺陷，提高了多运动目标跟踪的实时性。

附图说明

图1是本发明所述的自动分割与跟踪方法的流程图。

图2是3×3的变系数空域滤波器掩模的示意图；

具体实施方式

下面结合附图，详细描述本发明的具体实施方案。

如图1所示，本发明所述的多视频运动目标的自动分割与跟踪方法，其步骤是：

1)输入视频图像；

2)自适应背景建模，其步骤为：

采用分析差异积累动态矩阵来决定某像素属于前景或背景的方法，确定背景的更新模型；设有M帧视频序列f(x，y，t₁)，f(x，y，t₂)，…，f(x，y，t_M)，取f(x，y，t₁)为基准图像，再取第k-r帧图像f(x，y，t_k-r)为求取差异积累图像的参考帧，则当前帧f(x，y，t_k)与参考帧f(x，y，t_k-r)之间的差异图像F(x，y，t_kr)为

$F(x,y,t_{\mathrm{kr}})=\left\{\begin{array}{cc}1,& \left|\right|f(x,y,t_k)-f(x,y,t_{k-r})\left|\right|>T\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中T为事先设定好的阀值。差异积累动态矩阵D(x，y，t_k)为

$D(x,y,t_k)=\left\{\begin{array}{cc}D(x,y,t_k)+1,& F(x,y,t_{\mathrm{kr}})=0,D(x,y,t_{k-1})<\mathrm{\&lambda;}\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中λ为记录每个像素差异积累的深度。以获取的第一帧图像作为初始背景B(x，y，t₁)，则当D(x，y，t_k)积累至λ值时，相应位置的背景像素值可根据下式

B(x，y，t_k)＝αf(x，y，t_k)+(1-α)B(x，y，t_k-1)

进行自适应更新；

其中：系数α影响着背景缓存平滑滤波的程度及更新的速度，α取值区间为[0，1]。而对D(x，y，t_k)为0的点则不更新背景像素值，保持原背景像素值不变；

3)采用变系数空域滤波器掩模对背景差图像进行空域滤波；将当前帧f(x，y，t_k)与更新所得背景B(x，y，t₁)相减得背景差图，记为

B_d(x，y，t_k)＝||f(x，y，t_k)-B(x，y，t_k)||

再采用一种如图2所示的3×3的变系数空域滤波器掩模对背景差图像B_d(x，y，t_k)进行空域滤波；

其中：ω为待整定的系数，取值为ω≥1；ω的整定采用最大类间方差的原理，比较不同ω系数下滤波图像在特定阈值下的类间方差，从而整定ω值；

4)自适应阀值化，并采用一种增强的Otsu法提取运动目标的轮廓信息，其具体步骤为：

①求取增强的Otsu法最优二值化阀值；

由常规Otsu法求得的当前滤波后背景差帧的最优二值化阈值为T_Ok，定义增强的Otsu法最优二值化阈值为T_tk，则T_tk可表示为

$T_{\mathrm{tk}}=\left\{\begin{array}{cc}{T}_{\mathrm{OA}},& T_{\mathrm{Ok}}<\&Element;T_{\mathrm{OA}}\\ T_{\mathrm{Ok}},& \mathrm{otherwise}\end{array}\right.$

其中：

$\left\{\begin{array}{c}{T}_{\mathrm{Ok}}=\arg \underset{i\&Element;[1,n]}{\max }\left[{\mathrm{\&sigma;}}^2\left(T_{\mathrm{ki}}\right)\right]\\ T_{\mathrm{OA}}=\underset{k=1}{\overset{\mathrm{\&beta;}}{\mathrm{\&Sigma;}}}\frac{T_k}{\mathrm{\&beta;}},\mathrm{\&beta;}=k-1,\mathrm{\&beta;}\&GreaterEqual;1\end{array}\right.$

即：T_OA为前k-1个T_k值的非零最优二值化阈值的均值，当β＝0时，T_OA需设为适当的初始阈值；∈为一个权系数，经验值区间为[0.5，1]。

②对步骤3)中经空域滤波后的背景差图像采用求得的最优二值化阀值进行阀值化；

③对阈值化后的图像采用形态学腐蚀及膨胀操作，结合形态学提取边界的方法提取视频运动对象轮廓的步骤；

5)运动目标质心的求取与质心标记，其步骤为：

①运动目标质心的求取；

A.计算由步骤4)提取的轮廓像素的灰度平均值，将这个平均值作为一个阈值Ta；

B.根据阈值Ta将视频对象二值化为图像g_i(x，y)；

C.根据下式计算二值图像g_i(x，y)的质心坐标C_i＝(x_i，y_i)：

$\left\{\begin{array}{c}{m}_{p,q}={\mathrm{\&Sigma;}}_x{\mathrm{\&Sigma;}}_y{g}_i(x,y)x^p{y}^q\\ (x_i,y_i)=(\frac{m_{\mathrm{1,0}}}{m_{\mathrm{0,0}}},\frac{m_{\mathrm{0,1}}}{m_{p\mathrm{0,0}}})\end{array}\right.$

②标记运动目标质心，其步骤为：

对求取的运动目标的质心坐标C_i＝(x_i，y_i)进行符号标记，这里用点表示运动目标质心；

6)跟踪运动目标，其步骤为：

①运动对象质心的关联跟踪；

利用视频序列第k帧与第k-1帧中同一视频运动对象质心的欧氏距离最短的特点实现对视频运动对象的跟踪；

设当前视频帧为第k帧，并含有N_k个视频运动对象，记Z_i(k)＝(z_ix，z_iy)为第k帧第i个运动对象的质心坐标向量，其中：i＝1，2，…，N_k。如果第k-1帧中含有N_k-1个视频运动对象，则第k帧中的某个视频运动对象质心Z_i(k)与第k-1帧中N_k-1个视频运动对象质心间最短的欧氏距离d_ij ^min可表示为：

$d_{\mathrm{ij}}^{\min }=\arg \min \left|\right|Z_i\left(k\right)-Z_j(k-1)\left|\right|$

其中j＝1，2，…，N。则d_ij ^min所对应的第k-1帧N_k-1个视频运动对象中的第j个运动对象质心向量Z_j(k-1)与Z_i(k)关联，实现了对第k帧视频运动对象i质心坐标的跟踪关联。当Z_i(k)中的i从1变化到N_k时，即可在第k-1帧的N_k-1个视频运动对象中找到相应的关联，从而实现对两帧之间同一视频运动对象的跟踪。这里还需要考虑当N_k大于、小于和等于N_k-1的三种情况。这三种情况在算法实现时需分别进行考虑，以自动地创建、释放及保持跟踪器资源，保证每个视频运动对象均有对应的跟踪器，从而实现自适应地对每个视频运动对象进行跟踪。

②绘制运动目标运动轨迹并输出运动目标，其步骤为：

运动目标质心用点表示，再将不同帧所对应的运动对象的质心用线段连接起来，并实时地输出到原始视频序列图像中。

Claims (2)

1.多视频运动目标的自动分割与跟踪方法，其步骤是：

1)输入视频图像；

2)自适应背景建模：采用分析差异积累动态矩阵来决定某像素属于前景或背景的方法，确定背景的更新模型；

3)采用变系数空域滤波器掩模对背景差图像进行空域滤波；

4)自适应阀值化，并采用增强的Otsu法提取运动目标的轮廓信息；

5)运动目标质心的求取与质心标记，其步骤为：

①运动目标质心的求取；

②运动目标质心标记；

6)跟踪运动目标，其步骤为：

①运动对象质心的关联跟踪；

②绘制运动目标运动轨迹，输出运动目标。

2.如权利要求1所述的自动分割与跟踪方法，其特征在于：所述的采用增强的Otsu法提取运动目标的轮廓信息，其步骤为；

①求取增强的Otsu法最优二值化阀值；

②对步骤3)中经空域滤波后的背景差图像采用求得的最优二值化阀值进行阀值化；

③对阈值化后的图像采用形态学腐蚀及膨胀操作，结合形态学提取边界的方法提取视频运动对象轮廓。

Images