CN101504771A - 一种非参数化模型的视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种非参数化模型的视觉跟踪方法，该方法首先通过模式判断环节选择跟踪模式，当目标与背景有一定差异时，选择普通模式A，当目标与背景差异不明显时，选择增强模式B；然后建立自适应跟踪窗口D；对于增强模式B进行图像灰度均衡变换后再计算分割阈值T₂，并进行图像分割，而对于普通模式A则直接进行分割阈值T₂计算和图像分割；最后在视频图像中标记出目标，并驱动实现持续的视觉跟踪。本发明的方法不需要建立参数模型，实现方便，易于操作，而且实时性好，准确性高，自适应性好。

Description

一种非参数化模型的视觉跟踪方法

技术领域

本发明属于图像工程技术领域，具体涉及一种非参数化模型的视觉跟踪新方法。

背景技术

随着计算机技术的发展，视觉跟踪技术逐渐成为机器视觉领域中的研究热点。

在机器人视觉、增强现实等领域中，视觉跟踪技术主要是通过图像配准技术利用求解一定的参数化运动模型来实现的。首先计算需要配准的两帧图像中的特征点，并相互匹配出一定数量的精确匹配点对。然后在两帧图像间建立合适的变换模型(如平移变换、仿射变换、透视变换等)，解出变换参数。最后把目标在前一帧图像中的位置代入变换模型求出当前的目标位置，实现对目标的跟踪。该方法对特征点的依赖很大，当图像中特征点信息不明显时需要人工设立标志物来完成特征点的提取，这就减低了算法的适应性。另外该算法计算复杂耗时，实时性不好。有的学者利用光流场建立运动模型的方法检测与大背景运动趋势不同的小目标，虽然也取得了一定效果但算法复杂度却大大增加，不能满足视觉跟踪实时性的要求。

上述传统的视觉跟踪算法大都是更多利用背景的信息建立运动模型来实现目标的跟踪。由于背景往往面积大特征复杂，所以这种视觉跟踪算法十分复杂。实际上为了实现对特定目标的跟踪，我们完全可以首先指定待跟踪的目标，然后对该目标施行一定邻域内的连续跟踪。与算法无关的特征以及距离目标较远的非兴趣背景可以不去考虑。这样就大大提高了视觉跟踪的准确性和实时性。

在图像处理学中已经有很多成熟的分割方法可以把图像中有一定特征的部分提取出来，如提取细胞组织图像中的细胞核。

发明内容

本发明提出了一种非参数化模型的视觉跟踪方法。本发明以灰度图像为原始数据，主要包括自适应跟踪窗口的建立和自适应目标提取的实现。首先通过模式判断环节选择目标分割的模式即普通模式或增强模式。当目标与背景有一定差异时选择普通模式，直接通过图像分割法二值分割提取出目标；当目标与背景差异不明显时，选择增强模式，先通过图像变换算法放大目标与背景的差异，然后做图像二值分割提取出目标。自适应跟踪窗口的建立包括区域大小的确定和质心位置的确定。在目标提取阶段，将图像二值化分割后像素少的部分定义为前景区域，因此跟踪窗口的定义为二值图像中前景像素数量λ倍的正方形(λ>2)。质心位置的确定则是通过迭代运算出的一个稳定位置值。

一种非参数化模型的视觉跟踪方法，包括如下步骤：

步骤1：通过模式判断环节选择跟踪模式，即普通模式A、增强模式B。

步骤2：建立自适应跟踪窗口D。初始时需要手动划定跟踪窗口D，以后跟踪窗口D为二值图像中前景像素数量λ倍的正方形。重复计算跟踪窗口D的大小与质心位置，当其质心位置变化小于一定阈值T₁时，以当前质心位置为跟踪窗口D的几何中心。

步骤3：对增强模式B下的图像进行灰度均衡变换。当目标与背景差异不明显时，对图像进行灰度均衡处理来放大目标与背景的差异，为图像分割提供基础。

步骤4：计算分割阈值T₂，并进行图像分割。通过图像分割算法，计算分割阈值T₂，将跟踪窗口D二值分割，将像素少的部分定义为目标并将二值图像中对应像素灰度赋值255，其余像素灰度赋值为0。

步骤5：在视频图像中标记出目标，并驱动相机运动，实现持续的视觉跟踪。

本发明的优点在于：

(1)实时性好：本发明跟踪方法不用建立繁琐的参数模型，实现方便，易于操作，运算量小，能够满足视觉跟踪系统实时性的要求。

(2)准确性高：本发明的跟踪方法能够准确提取出目标的全部或局部的特性信息，而不是基于粗略的运动估计，从而能够实现目标的准确定位。

(3)自适应性好：本发明建立了自适应图像分割阈值和自适应跟踪窗口，能够适应更多的跟踪情况。

附图说明

图1是本发明一种非参数化模型的视觉跟踪方法的流程图；

图2是本发明一种非参数化模型的视觉跟踪方法的白色目标黑色背景图；

图3是本发明一种非参数化模型的视觉跟踪方法的白色目标白色背景图；图4是本发明一种非参数化模型的视觉跟踪方法的二值图像表示图；

图5是本发明一种非参数化模型的视觉跟踪方法的跟踪窗口D求解流程图；

图6是本发明一种非参数化模型的视觉跟踪方法的白色目标白色背景灰度均衡图；

图7是本发明一种非参数化模型的视觉跟踪方法的跟踪效果图；

具体实施方式

下面结合附图对本发明提供的基于图像分割的自适应视觉跟踪方法进行详细说明。

本发明考虑到实际应用中所需跟踪目标具有一定的特点或是相对背景有一定的差异，可以以此来实现目标的提取。为了方便计算与比较，将目标与背景的特征用单一信息量来表示，即采用图像的灰度信息作为原始计算数据，当目标与背景灰度有较大差异时可以选择普通模式，通过图像分割算法提取目标；当目标与背景灰度接近时可以选择增强模式，先通过图像变换放大目标与背景的差异，再做图像分割提取目标。这种基于图像分割的视觉跟踪算法直接从目标与背景的灰度特征着手，并且只是在作用域内实施算法，较运动估计算法实现方便、实时性好。

本发明提供一种非参数化模型的视觉跟踪方法。该方法通过模式判断环节选择当前跟踪模式(普通模式A或增强模式B)。普通模式A下直接做图像二值分割，增强模式B下先通过图像灰度平衡变换增强目标与背景的差异然后做图像二值分割。跟踪窗口D为目标二值分割的作用区域，跟踪窗口D的定义为二值分割图像中前景像素数量λ倍的正方形(λ>2)。跟踪窗口D的几何中心是经迭代运算确定的前景中心。

如图1所示，本发明的具体实施步骤如下：

步骤1：通过模式判断环节选择跟踪模式，即普通模式A、增强模式B。

当目标与背景有一定差异时，如附图2，目标为白色，背景为黑色，此时选择普通模式A，直接通过图像分割提取目标；当目标与背景差异不明显时，如附图3，目标为白色，背景也是白色，此时选择增强模式B，需要先对图像进行灰度均衡变换处理，放大目标与背景的差异后再通过图像分割提取目标。

对视觉来说，在观察物体时，起决定作用的是目标物体和背景的灰度差异，所以目标检测与识别的理论一般都是基于目标与背景的灰度对比展开的。

目标-背景的对比度定义为 $C_{\mathrm{ob}}=\frac{|I_o-I_b|}{I_b},$ I_o是被观测的目标物体灰度；I_b是目标所在的背景灰度；C_ob为目标一背景对比度。定义跟踪窗口D为二值分割图像中前景像素数量λ倍的正方形(λ>2)，存在跟踪窗口平均灰度 $I_c=\frac{I_o+(\mathrm{\&lambda;}-1)I_b}{\mathrm{\&lambda;}},$ 故 $I_b=\frac{\mathrm{\&lambda;}{I}_c-I_o}{\mathrm{\&lambda;}-1}.$ 以跟踪窗口D中心的一定邻域内像素灰度均值作为被观测的目标物体灰度I_o，代入 $I_b=\frac{\mathrm{\&lambda;}{I}_c-I_o}{\mathrm{\&lambda;}-1}$ 计算出I_b，再将I_o、I_b代入 $C_{\mathrm{ob}}=\frac{|I_o-I_b|}{I_b},$ 求出目标-背景的对比度C_ob。当C_ob<T₀时，认为目标与背景差异不明显，此时选择增强模式B，否则认为目标与背景有一定差异，此时选择普通模式A。

本发明中取阈值T₀>20。

步骤2：建立自适应跟踪窗口D。

为了对比和表示方便，做一个与视频图像大小相同、位置相对的二值图像，如图4所示，跟踪窗口D中用白色表示前景，黑色表示背景，跟踪窗口D外用灰色表示。初始时跟踪窗口D是手动划定的矩形，以后跟踪窗口D的确定通过下面步骤实现，流程如附图5：

a、计算二值图像中跟踪窗口D的零阶矩 $Z_{00}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}I(x,y),$ 计算像素坐标x和y的一阶矩 $Z_{10}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y),$ $Z_{01}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y).$ 式中，I(x，y)是像素坐标为(x，y)的像素值，x和y的变化范围为跟踪窗口D的范围。

b、计算跟踪窗口D的质心为C(x_c，y_c)，其中x_c＝Z₁₀/Z₀₀，y_c＝Z₀₁/Z₀₀。

c、根据质心C(x_c，y_c)，重新计算跟踪窗口D的大小，得到新的跟踪窗口D′的边长为 $d=\sqrt{\mathrm{\&lambda;}\frac{Z_{00}}{255}},$ 考虑到对称性，d取与计算结果最接近的奇数，λ取2.5～4。

d、移动新的跟踪窗口D′中心到质心C(x_c，y_c)，计算新的跟踪窗口D′的质心为

则质心位置的变化量 $\mathrm{\&Delta;C}=|x_c-x_c^{\&prime;}|+|y_c-y_c^{\&prime;}|.$

e、如果ΔC>T₁，重复步骤a、b、c、d；如果ΔC<T₁，则质心收敛，输出此时的跟踪窗口D的大小和位置。其中参数T₁取1～3个像素单位。

步骤3：在增强模式B下进行图像灰度均衡变换。

在增强模式B下，目标与背景差异不明显，待处理区域灰度集中在某个范围内即灰度分布不均衡，经均衡处理后原本灰度接近的像素灰度距离会有一定增加。因此灰度均衡为后续的目标分割提供了执行基础。

设像素p(x，y)的灰度值为h，经灰度均衡处理后灰度值h_s，存在h_s＝Temp[h]×255/Total，其中Temp[h]代表跟踪窗口D中灰度值小于或等于h的像素的数量，Total代表跟踪窗口D内像素总数。如附图6是白色目标在白色背景中跟踪窗口D经灰度均衡变换后的效果图，变换后白色目标与白色背景之间的差异明显增强。

步骤4：计算图像分割阈值，并进行图像分割。

首先计算图像分割阈值T₂，包括以下几步：

a、选择一个分割阈值T₂的初始估计值本实施例取跟踪窗口D中所有像素的灰度均值作为初始估计值

b、用分割阈值

分割图像，得到两组像素区域：G₁和G₂，G₁由所有灰度值大于

的像素组成，而G₂由所有灰度值小于或等于

的像素组成。

c、对区域G₁和G₂中所有像素计算平均灰度值μ₁和μ₂。

d、计算新的分割阈值

$T_2^{\&prime;\&prime;}=\frac{1}{2}({\mathrm{\&mu;}}_1+{\mathrm{\&mu;}}_2),$ 则分割阈值变换量 $\mathrm{\&Delta;T}=|T_2^{\&prime;}-T_2^{\&prime;\&prime;}|.$

e、如果ΔT>T₃，则重复步骤b、c、d；否则确定分割阈值 $T_2=T_2^{\&prime;\&prime;}.$ 本实施例中T₃取1～3。

根据上述的分割阈值T₂进行图像分割，做出二值分割图像。在区域G₁和G₂中令像素数量少的为前景，像素数量多的为背景，将前景像素在二值分割图像中的对应像素赋值为255，将背景像素在二值分割图像中的对应像素赋值为0，其余跟踪窗口D外的像素赋值为125，如附图4，白色表示前景，黑色表示背景，跟踪窗口D外用灰色表示。

步骤5：在视频图像中标记出目标，并驱动实现持续的视觉跟踪。在视频图像中标记出目标，计算跟踪窗口D中心位置相对图像视野中心的偏移，以此计算相机的运动参数并驱动相机运动，实现持续的视觉跟踪。如附图7，白色方形框为目标的标记框，中心圆形为视野中心，通过实时驱动相机运动使目标时刻保持在视野中心。

如果需要继续跟踪则重复步骤2～4，否则结束跟踪。

至此，本发明通过图像自适应阈值分割和自适应跟踪窗口建立的方法实现了实时视觉跟踪的目的。

Claims (4)

1、一种非参数化模型的视觉跟踪方法，其特征在于如下步骤：

步骤一：通过模式判断环节选择跟踪模式，即普通模式A、增强模式B；当目标与背景有一定差异时，选择普通模式A，当目标与背景差异不明显时，选择增强模式B；

步骤二：建立自适应跟踪窗口D；

步骤三：对增强模式B进行图像灰度均衡变换；

步骤四：计算分割阈值T₂，并进行图像分割；

步骤五：在视频图像中标记出目标，并驱动实现持续的视觉跟踪。

2、根据权利要求1所述的一种非参数化模型的视觉跟踪方法，其特征在于所述的根据目标与背景的差异情况，通过模式判断环节选择跟踪模式过程为：

首先定义跟踪窗口D为二值分割图像中前景像素数量λ倍的正方形，λ>2，存在跟踪窗口D平均灰度 $I_c=\frac{I_o+(\mathrm{\&lambda;}-1)I_b}{\mathrm{\&lambda;}},$ 故 $I_b=\frac{\mathrm{\&lambda;}{I}_c-I_o}{\mathrm{\&lambda;}-1},$ 以跟踪窗口D中心的一定邻域内像素灰度均值作为被观测的目标物体灰度I_o，再将I_o、I_b代入 $C_{\mathrm{ob}}=\frac{|I_o-I_b|}{I_b},$ 求出目标—背景的对比度C_ob，当C_ob<T₀时，认为目标与背景差异不明显，此时选择增强模式B，否则认为目标与背景有一定差异，此时选择普通模式A，其中T₀>20。

3、根据权利要求1所述的一种非参数化模型的视觉跟踪方法，其特征在于步骤二中建立自适应跟踪窗口D具体过程为：

a、计算二值图像中跟踪窗口D的零阶矩 $Z_{00}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}I(x,y),$ 计算像素坐标x和y的一阶矩 $Z_{10}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y),$ $Z_{01}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y),$ 式中，I(x，y)是像素坐标为(x，y)的像素值，x和y的变化范围为跟踪窗口D的范围；

b、计算跟踪窗口D的质心为C(x_c，y_c)，其中x_c＝Z₁₀/Z₀₀，y_c＝Z₀₁/Z₀₀；

c、根据质心C(x_c，y_c)，重新计算跟踪窗口D的大小，得到新的跟踪窗口D′的边长为 $d=\sqrt{\mathrm{\&lambda;}\frac{Z_{00}}{255}},$ d取与计算结果最接近的奇数，λ取2.5～4；

d、移动新的跟踪窗口D′中心到质心C(x_c，y_c)，计算新的跟踪窗口D′的质心为

质心位置的变化量 $\mathrm{\&Delta;C}=|x_c-x_c^{\&prime;}|+|y_c-y_c^{\&prime;}|;$

e、如果ΔC>T₁，重复步骤a、b、c、d；否则认为质心收敛，输出此时的跟踪窗口D的大小和位置，其中参数T₁取1～3个像素单位。

4、根据权利要求1所述的一种非参数化模型的视觉跟踪方法，其特征在于当目标与背景的灰度差异不大时，通过灰度均衡和阈值分割两部分联合实现目标提取：

灰度均衡的具体作法为：设像素p(x，y)的灰度值为h，经灰度均衡处理后灰度值h_s，h_s＝Temp[h]×255/Total，其中Temp[h]代表跟踪窗口D中灰度值小于或等于h的像素的数量，Total代表跟踪窗口D内像素总数；

计算分割阈值T₂的具体步骤为：

a、选择一个分割阈值T₂的初始估计值

取跟踪窗口D中所有像素的灰度均值作为初始估计值

b、用分割阈值

分割图像，得到两组像素区域：G₁和G₂，G₁由所有灰度值大于

的像素组成，而G₂由所有灰度值小于或等于

的像素组成；

c、对区域G₁和G₂中所有像素计算平均灰度值μ₁和μ₂；

d、计算新的分割阈值

： $T_2^{\&prime;\&prime;}=\frac{1}{2}({\mathrm{\&mu;}}_1+{\mathrm{\&mu;}}_2),$ 则分割阈值变换量 $\mathrm{\&Delta;T}=|T_2^{\&prime;}-T_2^{\&prime;\&prime;}|;$

e、如果ΔT>T₃，则重复步骤b、c、d；否则确定分割阈值 $T_2=T_2^{\&prime;\&prime;}$ ；其中的参数T₃取1～3。

Images