CN102598057B - 自动对象识别、然后根据对象形状进行对象跟踪的方法和系统 - Google Patents

Abstract

已知多种跟踪方法及扩展方案用于对象跟踪，包括跟踪对象形状。但是其中只在图像面内并因此只2维地计算取向，从而对象形状不能适配于对象在三维空间中的实际运动。为了提供在具有至少一个具有用于记录视频序列的摄像机(K)的数字视频系统中进行自动对象识别然后进行对象跟踪并且传输及进一步处理或分析视频数据的方法，该方法除了定位和跟踪运动对象之外还能确定对象并因此使得能在已有测量数据的情况下计算对象在空间中的取向，根据权利要求1，基于高斯混合模型GMM的对象识别算法和扩展后的基于均值移位的对象跟踪相互组合，方法是：对象识别根据背景的模型被扩展以改善的阴影去除，所生成的二值模板(BM)被用于生成非对称的滤波核，然后实际的用于形状自适应的对象跟踪的算法扩展以用于形状适配的分割步骤地被初始化，使得能够至少确定对象形状或对象轮廓或对象在空间中的取向。本发明涉及自动对象识别然后对象跟踪的领域。

Description

自动对象识别、然后根据对象形状进行对象跟踪的方法和系统

技术领域

本发明涉及一种自动对象识别、然后根据对象形状进行对象跟踪的方法。此外，本发明还涉及一种用于此的系统。

背景技术

对运动对象的自动识别和跟踪不仅在视频监控中、而且在视频技术和图像处理的很多其他领域中都是非常重要的。对于视频跟踪，存在大量所谓的跟踪方法，但是它们通常限于确定当前的对象位置。但是对于很多应用，除了当前的对象位置之外，对象的轮廓或在空间中的取向也是受到关注的。

存在大量跟踪方法用于对象跟踪。最有名且广泛流传的方法例如有卡尔曼滤波跟踪、均值移位跟踪和粒子滤波跟踪以及其扩展方案和变形方案。例如，US6590999B1介绍了一种针对对象形状可变的目标(例如人)实时地根据均值移位跟踪的对象跟踪方法和设备。这个对象跟踪基于能视觉识别的特征，例如颜色或结构，其中该特征的统计分布表征该目标。在第一阶段中计算预定目标与比较基准之间的相似程度，并且在下一阶段中计算程度本身，其由巴氏(Bhattacharyya)系数所推导出的度量来表达。然后使用由巴氏系数的最大值所推导出的梯度矢量来在随后的阶段中确定比较基准的最可能的位置。

传统的方法都能够相当鲁棒地确定对象位置，并且可以部分地还确定大小。但是，借助于传统的方法不可能确定实际的对象形状或对象的取向。

只有通过对原来的方法进行扩展和改进，才可能也实现对对象形状的跟踪。主要是粒子滤波跟踪以及均值移位跟踪在这个方向上被进一步开发了。

在Rathi,Y和Vaswani,N和Tannenbaum,A和Yezzi,A于2005年2月在IEEE Computer Society Conference on Computer Vision andPattern Recognition上的会议论文“Particle filtering for geometricactive contours with application to tracking moving and deformingobjects”中介绍了这样一种粒子滤波方案。虽然对象形状能够被很好地跟踪，但是该方案还具有一些不足。

因此，例如关于对象形状的一些信息必须被提供给算法，从而即使在对象被更大地覆盖的情况下其形状也还可以被描述。但是，这又导致在形状变化非常大的情况下不再能非常准确地跟踪形状。

如果对象在更长的时间中被完全覆盖，则该方法的能力还会极度地降低。

A.Yilmaz于2007年6月在Proc.IEEE Conference on ComputerVision and Patern Recognition上的会议论文“Object racking byAsymmetrie Kernel Mean Shift with Automatic Scale and OrientationSelection”第1至6页中介绍了用于跟踪对象形状的均值移位方法的一扩展方案。代替对称的滤波核，使用适配对象形状的由水平集函数确定的滤波核。此外，在缩放和取向维度上扩展搜寻空间。由此，除了对象位置之外还可以确定对象的大小和取向或其轮廓。但是因为只在图像面内并因此只2D地计算取向，所以对象形状不能适配于三维空间中对象的实际运动。

并不对应于上述三个基本方法之一的一种同样非常令人信服的跟踪算法基于所谓的机器学习方案。为了计算对象形状，不仅考虑隐马尔可夫模型，而且还考虑几何对象特性。因为该方法通过分类来确定对象的轮廓点，所以该方法必须首先借助于分类器上的训练集(特定的特征)而被训练。为此，自然必须先一次存在或生成训练集合。此外因为每个像素在分类时被观察，所以需要特别大量的特征，并且因此需要相对大的训练集。

此外一般性地对于大多数的跟踪方法都不能自动地识别要跟踪的对象。很多跟踪算法因此要么依赖于用户输入，要么依赖于事先执行的对象识别的结果。因此，用于对象跟踪的系统通常由用于对象识别的部件和实际的跟踪算法构成。

在图9中示出了现有技术中这样的系统的自动化对象跟踪的示意性流程，由基于高斯混合模型和均值移位跟踪的对象识别构成。

自适应的高斯混合模型是进一步处理后的背景去除法。如在C.Stauffer和W.E.L.Grimson在Proc.IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,vol.2,1999中的“Adaptive background mixture model for real-time tracking”中所介绍的那样，一场景的每个像素可以通过由K个不同高斯函数构成的混合来模型化。建模基于对每个像点的色值的概率密度的估计。假设一像素的色值通过成像在被观察的像素上的对象的表面来确定。在没有噪声的理想的静止场景的情况下，像素的色值的概率密度通过单位脉冲函数描述。但是由于摄像机噪声和略微的照明变化，在实际的静止场景中像素的色值随着时间而变化。

此外在非静止场景中可以观察到：多达K个不同的对象k＝1…K可以被成像到一像点上。因此，对于单色的视频序列，由对象k导致的像素色值X的概率密度通过平均值为μ_k且标准偏差为σ_k的以下高斯函数来模型化：

$\mathrm{\η}(X,{\mathrm{\μ}}_k,{\mathrm{\σ}}_k)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_k}{e}^{-\frac{1}{2}{\left(\frac{X-{\mathrm{\μ}}_k}{{\mathrm{\σ}}_k}\right)}^2}---\left(1\right)$

$\mathrm{\η}(X,{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)=\frac{1}{{2\mathrm{\π}}^{\frac{n}{2}}{\left|{\mathrm{\Σ}}_k\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(X-{\mathrm{\μ}}_k){\mathrm{\Σ}}_k^{-1}(X-{\mathrm{\μ}}_k)}---\left(2\right)$

其中Σ是形状的n×n的大的协方差矩阵Σ_k＝σ_k ²I，因为假设RGB颜色通道相互独立并且具有相同的标准偏差。虽然这个假设并不对应于实际情况，但是避免了计算非常密集的矩阵求逆。

图像t中的像素x具有色值X的概率对应于可以成像在所观察的像素上的k＝1…K个对象的概率密度函数的加权混合：

$P\left(X_t\right)={\mathrm{\Σ}}_{k=1}^K{\mathrm{\ω}}_{k,t}\·\mathrm{\η}(X_t,{\mathrm{\μ}}_{k,t},{\mathrm{\Σ}}_{k,t})---\left(3\right)$

其中加权系数为ω_k。实践中，K经常限于3到5之间的数值。

GMM算法现在可以分为两个步骤。首先必须为视频序列的每个新的图像更新已经存在的模型。然后借助于模型形成背景的当前图像，然后可以将当前图像划分为前景和背景。为了更新模型而检验是否可以将当前色值分配给K个现有的高斯函数之一。如果下式成立，则将像素分配给高斯函数k：

||X_t-μ_k，t-1||＜d·σ_k，t-1   (4)

其中d是由用户定义的参数。因此相对于平均值偏离少于d·σ_k，t-1的所有色值被分配给第k个高斯函数。另一方面，也可以将条件解释为使得所有色值被分配给位于对应于概率p₀的面内的高斯函数：

$\underset{{\mathrm{\μ}}_{k,t-1}-d\·{\mathrm{\σ}}_{k,t-1}}{\overset{{\mathrm{\μ}}_{k,t-1}+d\·{\mathrm{\σ}}_{k,t-1}}{\∫}}\mathrm{\η}(X_t,{\mathrm{\μ}}_{k,t-1},{\mathrm{\Σ}}_{k,t-1}){\mathrm{dX}}_t=p_0---\left(5\right)$

如果X可以被分配给一分布，则模型参数如下地适配：

ω_k，t＝(1-α)ω_k，t-1+α   (6)

μ_k，t＝(1-ρ_k，t)μ_k，t-1+ρ_k，tX_t   (7)

${\mathrm{\σ}}_{k,t}=\sqrt{(1-{\mathrm{\ρ}}_{k,t}){\mathrm{\σ}}_{k,t-1}^2+{\mathrm{\ρ}}_{k,t}{\left(\right||X_t-{\mathrm{\μ}}_{k,t}|\left|\right)}^2}---\left(8\right)$

其中按照P.W.Power和J.A.Schoonees在Proc.Image andVision Computing,2002的“Understanding background mixuremodels for foreground segmentation”第267至271页，ρ_k,t＝α/ω_k,t。对于X不能被分配给的其余分布，对应于公式(9)只计算ω_k，t的值。

ω_k，t＝(1-α)ω_k，t-1   (9)

其中其他参数保持不变。

高斯函数根据可靠性度量ω_k,t/σ_k，t被分类为使得随着脚标k的增大，可靠性降低。如果一个像素可以分配给不止一个高斯分布，则其被分配给具有最高可靠性的那个。如果公式(4)中的条件不满足并且一色值不能被分配给任何高斯分布，则可靠性最低的高斯函数被以当前像点作为平均值的新的高斯分布替代。这个新的高斯函数以小的出现概率和大的标准偏差而被初始化。然后，所有ω_k,t被缩放。色值在经常出现(ω_k高)以及改变不大(ω_k低)的情况下以更高的概率(k更小)被视为背景。为了确定对背景建模的B个分布，使用由用户定义的在先的概率T作为阈值：

$B=\underset{b}{\arg \min }(\underset{k=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_k>T)---\left(10\right)$

其余K-B个分布构成前景。

用于对象识别的GMM算法(参见1)首先形成当前背景的模型。通过从当前帧中减去(参见2)当前背景模型，识别变化的图像区域。然后，借助于求阈值(参见3)由背景和当前图像之间的差别确定包含运动图像区域的二值模板BM。通过简单的形貌操作(参见4)，经常由噪声导致的小的误检测被去除，并且二值模板BM因此被改善。为了确定关联的对象区域，然后对二值模板进行所谓的连通域分析(参见5)。

如果所识别到的区域出现在多个连续的图像中，则将它们分类为可靠识别到的对象(参见6)。通过简单地比较所识别出的对象和已经跟踪的对象，确定新的识别出的对象(参见7或7a：没有新的对象跟踪)。

如果检测到新的对象，则确定对象周围简单的矩形形式的边界框。在边界框内又确定椭圆(参见8)，椭圆的大小通过边界框的大小来限定。然后借助于位于椭圆内的像点构成关于典型的对象特征(例如颜色)的直方图。为了构成直方图(参见9)，使用Epanechnikov滤波核，Epanechnikov滤波核为位于椭圆边缘的像点的特征配备更小的权重。由此会降低可能出现在椭圆边缘上的背景像点对直方图的影响。

对象的加权后的直方图也被称为所谓的目标模型，因为均值移位跟踪(参见10)的目标是实现下一图像中尽可能相似的直方图或对象模型。利用这个目标模型，现在对传统的均值移位跟踪初始化，并且借助于控制室KR中摄像机K的输出端上的对象位置OP和视频信号VS开始对象跟踪。

DE102007041893A1中为视频监控系统公开了一种用于在除了运动对象之外还可能出现干扰对象和/或干扰区域的监控场景中检测和/或跟踪运动对象的方法、设备以及计算机程序。视频监控系统通常包括多个监控摄像机，并且被用于监视公共区域或工业区域。为此，根据DE102007041893A1的主题，公开了一种以图像为基础的用于检测和/或跟踪监控场景中运动对象的方法，该方法优选借助于数字图像处理而被转换。在这个上下文环境中，探测包括对运动对象的首次识别，跟踪包括在监控场景的后续图像中对该运动对象的再次识别。该方法被构造为检测或跟踪一个或多个运动对象。为此，在监控场景中定义可以具有任意形状(例如圆形、长方形或正方形)的多个区域，这些区域可以是无重叠的或甚至可以重叠地设置。其中区域被定义为监控场景的在监控时间段中优选静止定位的图像块。这些区域被划分到不同的区域等级，其中第一区域等级包括灵敏区域，在灵敏区域中没有干扰物和/或有不关心的干扰物和/或有能忽略的干扰物以及/或者预料没有干扰物和/或有不关心的干扰物和/或有能忽略的干扰物。通过对监控场景的第一(例如图像支持的)内容分析，例如自动地和/或由用户手动地划分到区域等级中。在灵敏区域中执行灵敏的内容分析，尤其是视频内容分析，以检测和/或跟踪运动对象。灵敏的内容分析例如包括形成或接收场景参考图像、分割对象、检测和/或跟踪分割后的对象的步骤。此外还建议使用第二区域等级，半灵敏的区域被划分到和/或能被划分到第二区域等级中，其中在半灵敏的区域中设置有和/或会预期有尤其是静止的和/或不动的干扰物。为了检测和/或跟踪半灵敏区域中的运动对象，执行半灵敏的内容分析，半灵敏的内容分析在所使用的图像处理算法方面比灵敏的内容分析受到限制和/或有改变。此外还建议用半灵敏区域对不灵敏区域进行补充和/或替代，其中在半灵敏区域中至少执行对监控场景的受限的内容分析。一方面可以利用简化的图像处理算法来进行这个受限的内容分析，另一方面可以在半灵敏区域中进一步使用在灵敏区域中获得的运动对象信息并且以该方式通过信息传递来支持在半灵敏区域中对运动对象的检测和/或跟踪。虽然对于视频监控通过这个方式始终还剩余难以检测的区域，但是被构造为盲点的区域被排除或至少最小化。可选地，在本发明的一优选扩展方案中，区域被划分到第三区域等级，第三区域等级包括其中例如设置有干扰物的不灵敏区域，其中在不灵敏区域中不执行用于检测和/或跟踪运动对象的内容分析。因此在本发明的这个优选扩展方案中，监控场景的多个区域被划分为正好三个区域等级，即灵敏区域、半灵敏区域和不灵敏区域。在本发明的一扩展实施方式中设置有多个半灵敏的区域等级，其中不同的半灵敏区域等级通过内容分析的方式来区分。为了转换，运动对象被检测和/或跟踪，方法是：确定相对于半灵敏区域独特的运动模式。如果半灵敏区域中的一对象逆着这个半灵敏区域中的一般运动方向运动，则出现独特的运动模式的一个例子。这种情形在实践中例如在人或车辆逆着一般的行动方向或行驶方向运动时出现。独特的运动模式的另一例子在半灵敏区域中的一对象以以定向运动移动、而在这个半灵敏区域中只能检测到非定向的运动时出现。优选地，通过分析半灵敏区域中的光学流来检测运动模式。光学流是指说明图像序列的像点或像素或者图像区域的2D运动方向和速度的矢量场。DE102007041893A1的主题所介绍的设备具有分类模块，分类模块被构造为限定监控场景中的区域并且将这些区域划分到不同的区域等级。第一区域等级涉及灵敏区域，在灵敏区域中没有设置有和/或不会预期有任何干扰物以及/或者设置有和/或预期有要忽略的干扰物；第二区域等级涉及半灵敏区域，在半灵敏区域中设置有和/或预期有干扰物。该设备至少具有第一和第二分析模块，其中第一分析模块被构造为执行灵敏的内容分析以检测和/或跟踪灵敏区域中的运动对象，第二分析模块被构造为在半灵敏区域中执行半灵敏的内容分析，半灵敏的内容分析相对于灵敏的内容分析是受到限制的和/或改变过的。内容分析尤其被构造为视频内容分析(VGA)，并且优选通过数字图像处理来实现。

此外，DE102008006709A1公开了一种基于视频的监控，尤其是用于识别基于视频的监控系统中的静止对象，其中为了改善地识别静止对象，该监控系统被构造为具有：

-用于采集具有感兴趣的图像区域的视频片段的图像采集模块；

-运动识别模块，其构造为识别所采集的视频片段的感兴趣的图像区域中是否存在运动对象；以及

-静止识别模块，其被构造为识别感兴趣的图像区域中是否存在静止的对象，并且其在运动识别模块在所采集的视频片段的当前视频图像的感兴趣的图像区域中没有发现运动对象时变为活动的，

其中静止识别模块还包括：

-像素比较模块，其被构造为将当前视频图像中感兴趣的图像区域中像素的像素值与前一视频图像中相应像素的像素值进行比较，以确定当前视频图像的感兴趣的图像区域中像素值与前一视频图像中相应像素的像素值一致的像素的数量；

-用于标识背景的背景标识模块，其被构造为基于将像素值与背景像素值进行比较来标识当前视频图像中感兴趣的图像区域中作为背景的一部分的像素；以及

-信号生成装置，用于在当前视频图像中去除被标识为背景一部分的那些像素之后，在当前视频图像与前一视频图像之间一致的数量超过阈值时生成输出信号以便显示对静止对象的识别。

DE102008006709A1中所介绍的监控方法包括以下步骤：

-采集具有感兴趣的图像区域的视频片段；

-基于背景去除方法确定在所采集的视频片段的感兴趣的图像区域中是否存在运动对象；以及

-在基于所述背景去除方法在所采集的视频片段的当前视频图像的感兴趣的图像区域中没有识别到运动对象的情况下，执行检验，以识别在感兴趣的图像区域中是否存在静止的对象，

其中这个检验包括以下进一步的步骤：

-将当前视频图像中感兴趣的图像区域中像素的像素值与前一视频图像中相应像素的像素值进行比较，以确定当前视频图像的感兴趣的图像区域中像素值与前一视频图像中相应像素的像素值一致的像素的数量；

-基于将像素值与背景像素值进行比较来标识当前视频图像中感兴趣的图像区域中作为背景一部分的像素；以及

-在当前视频图像中去除被标识为背景一部分的那些像素之后，在当前视频图像与前一视频图像之间一致的数量超过阈值时生成输出信号，以便显示对静止对象的识别。

DE102008006709A1中所介绍的思想是提供一种方法，通过该方法以最小的计算功率实现对静止对象的持续识别。一旦利用背景去除方法由于背景去除算法所固有的限制而不能识别静止对象，则所提出的方法发生作用。在一实施方式中，为了改善反应时间，静止识别模块只有在运动识别模块在所采集的视频片段的前一视频图像的感兴趣的视频区域中识别到运动对象之后在所采集的视频片段的当前视频图像的感兴趣的图像区域中不能识别到运动对象时才被调用。此外，通过只包含背景的生成感兴趣的图像区域的图像直方图来计算背景像素值，并且由此根据直方图的方式确定像素值。这个功率特征提供了以下优点：只需要一个背景像素值来确定当前视频图像中的像素是背景的一部分还是静止对象的一部分。所述运动识别模块具有基于自适应混合高斯法的背景去除算法。前述背景去除方法对于多模的背景分布特别有用。

最后，WO2004/081875A1公开了一种用于跟踪运动中的对象的整体形状的系统和方法，其中沿着整体形状的初始轮廓定义一个或多个基准点，在对象处于运动中并且估计处于运动中的基准点的位置的不确定性时这一个或多个基准点中每一个被跟踪。用于表示不确定性的一种方式是协方差矩阵。在使用子空间形状约束模型的情况下，利用非正交投射和/或信息融合来利用不确定性，并且显示每个后续的轮廓。在WO2004/081875A1中所公开的用于光学跟踪对象形状的运动的系统中，生成一个或多个第一颜色矢量，以便展示沿着形状轮廓的基准点的收缩，生成一个或多个第二基准矢量，以便展示沿着形状轮廓的基准点的扩张，并且第一和第二颜色矢量被周期性地显示并且由此显示形状的运动。

如上面对现有技术的介绍所表明的那样，已知大量跟踪方法及扩展方案用于对象跟踪，包括用于跟踪对象形状。但是，其中只在图像面内并且因此仅仅2维地计算取向，从而对象形状不能适配于三维空间中对象的实际运动。

发明内容

本发明要解决的问题是构造一种进行自动对象识别、然后进行对象跟踪的方法和系统，使得其除了定位和跟踪运动对象之外还能确定对象形状并且因此使得在现有测量数据的情况下能够计算对象在空间中的取向。

一方面，该问题通过以下方式由一种用于在具有用于记录视频序列的至少一个摄像机的数字视频系统中进行自动对象识别、然后进行对象跟踪并且传输及进一步处理或分析视频数据的方法来解决：基于高斯混合模型GMM的对象识别算法和扩展的基于均值移位的对象跟踪相互组合，方法是

-根据背景的模型为对象识别扩展以改善的阴影去除，根据公式φ<(φ₂-φ₁/r₂-r₁)*(r-r₁)+φ₁进行对本影和边沿阴影的识别，从而使得能够利用总共仅仅四个参数来同时去除本影和边沿阴影，其中r₁为允许的最大亮度的下限，r₂为允许的最大亮度的上限，r为当前亮度值，φ₁为说明当前像点的颜色饱和度相对于背景的所允许的最小偏差的角度，φ₂为说明当前像点的颜色饱和度相对于背景的所允许的最大偏差的角度，φ为表明当前像点的颜色饱和度相对于背景的实际偏差的角度，

-所生成的二值模板被用于生成不对称的滤波核，

-然后初始化被扩展以用于形状匹配的分割步骤的本来的用于形状自适应的对象跟踪的算法，

使得能够实现至少对对象形状或对象轮廓或对象在空间中的取向的确定。

此外，另一方面，该问题通过以下方式由一种具有至少一个用于记录视频序列的摄像机的系统，用于自动对象识别的装置以及用于对象跟踪的装置连接到摄像机，并且用于进一步处理或分析摄像机的视频信号的装置连接到摄像机：摄像机的视频信号被馈送给具有基于高斯混合模型GMM的对象识别算法的装置以及具有扩展的基于均值移位的对象跟踪的装置，对象识别装置包括用于根据被扩展有改善的阴影去除的背景模型进行对象识别的装置，其中根据公式φ<(φ₂-φ₁/r₂-r₁)*(r-r₁)+φ₁进行对本影和边沿阴影的识别，从而使得能够利用总共仅仅四个参数来同时去除本影和边沿阴影，其中r₁为允许的最大亮度的下限，r₂为允许的最大亮度的上限，r为当前亮度值，φ₁为说明当前像点的颜色饱和度相对于背景的所允许的最小偏差的角度，φ₂为说明当前像点的颜色饱和度相对于背景的所允许的最大偏差的角度，φ为表明当前像点的颜色饱和度相对于背景的实际偏差的角度，能在对象识别装置的输出端获得的二值模板被馈送给对象跟踪装置，对象跟踪装置具有用于生成非对称的滤波核的装置和用于形状自适应的对象跟踪的装置并且被扩展以用于形状适配的分割步骤，能在对象跟踪装置的输出端获得的视频信号被馈送给用于确定对象形状或对象轮廓或对象取向的处理/分析装置。

根据本发明的方法和根据本发明的系统具有以下优点，即运动对象首先自动地借助于基于GMM的方法被识别，然后借助于修改后的均值移位跟踪既确定对象位置也确定对象轮廓。

选择均值移位跟踪作为本来的跟踪算法的基础，移位其计算复杂性低并且在没有训练集的情况下也能使用。此外，在相应地选择参考模型时能够跟踪对象，即使该对象被完全覆盖。所有根据本发明的方法在下面被称为形状自适应的对象跟踪。

附图说明

从以下参考附图对本发明的优选实施方式的介绍中可以了解其他优点和细节。在附图中：

图1示出了具有形状自适应的对象跟踪的用于视频监控的系统架构的框图；

图2详细地示出了根据图1的整个系统的框图；

图3详细地示出了根据图1的对象识别的框图；

图4详细地示出了根据图1的对象跟踪的框图；

图5示出了对象识别的基本流程；

图6a示出了在两个步骤中对核心阴影和边缘阴影的识别；

图6b示出了在一个步骤中对核心阴影和边缘阴影的识别；

图7示出了根据现有技术的跟踪方法的结构与形状自适应的对象跟踪的结果的比较；

图8示出了传统的均值移位跟踪(红色)和形状自适应的对象跟踪(绿色)的比较；

图9示出了现有技术中自动对象识别的示意性流程；

图10为视频序列“街道”示出了所有像点的所有高斯分布的最小、中等和最大的标准偏差；

图11示出了视频序列“停车场”；

图12示出了根据图11的视频序列“停车场”的二值模板BM，其是通过以位置和时间相关工作的GMM方法生成的；

图13示出了用于视频序列“停车场”的最终的二值模板。

具体实施方式

图1和图2为应用情形“视频监控系统”给出了关于根据本发明的具有形状自适应的对象跟踪的视频监控系统的概况。如从系统架构的框图中能看到的那样，根据图1和图2的系统主要是由后面跟有实际的对象跟踪装置(细节参见图4)的对象识别装置(细节参见图3)构成。

如尤其是图1所示的那样，摄像机K的视频信号VS被馈送给具有基于高斯混合模型GMM的对象识别算法的装置OE以及具有扩展的基于均值移位的对跟踪的装置OV。对象识别装置OE具有用于根据被扩展有改善的阴影去除的背景模型进行对象识别的装置(细节参见图2和图3)。在对象识别装置OE的输出端能获得的二值模板BM(在将所识别的对象与已经跟踪的对象进行比较并且确定新识别到对象(参见图7或7a：没有新的对象跟踪)之后)被馈送给对象跟踪装置OV，对象跟踪装置OV具有用于生成非对称的滤波核的装置和用于形状自适应的对象跟踪的装置并且被扩展有用于形状适配的分割步骤。除了摄像机K的视频信号VS之外，在对象跟踪装置OV的输出端能获得的包含关于对象位置OP和对象形状OF的信息的视频信号OP+OF也被馈送给处理/分析装置，尤其是控制室KR，用于确定对象形状或对象轮廓或对象取向。

图2和图3详细地示出了对象识别装置OE。这个对象识别装置具有串联设置的用于限制标准偏差的装置ESA、用于考虑时间相关性的装置EZK、用于阴影去除的装置ES和用于考虑位置相关性的装置用于考虑位置相关性的装置与减法电路S的输入端连接。摄像机K的视频信号VS被馈送给减法电路的另一输入端，并且在减法电路S的输出端能获得二值模板BM。

图2和图4详细地示出了对象跟踪装置OV。这个对象跟踪装置具有用于通过直方图生成目标模型的装置VZ、用于借助于二值模板BM生成滤波核的装置VAK以及用于形状自适应的对象跟踪的装置VFO。摄像机K的视频信号VS被馈送到用于生成滤波核的装置VAK的输入端和用于通过直方图生成目标模型的装置VZ的输入端。在用于形状自适应的对象跟踪的装置VFO的输出端能获得馈送给处理/分析装置KR的视频信号OP+OF，用于形状自适应的对象跟踪的装置VFO与用于通过直方图生成目标模型的装置VZ的输出端连接。

与现有技术中用于对象跟踪的系统中类似，为了自动识别运动对象或改变的对象区域，使用对象识别算法。图5示出了对象识别的主要流程。其中，摄像机K的视频信号VS既被馈送给用于计算背景的装置EH，也被馈送给用于对对象识别装置OE求差的装置ED。用于计算背景的装置EH的输出端连接到用于求差的装置ED的第二输入端。此外，用于阈值形成的装置ESW连接到用于求差的装置ED的输出端，用于阈值形成的装置ESW串联连接有用于阴影去除的装置ES、用于执行连通域分析的装置ECC和用于将组分与被跟踪的对象进行比较的装置EVG，其中在其输出端上能获得二值模板BM。

在所述情形下，对象识别算法基于高斯混合模型GMM，通过高斯混合模型GMM形成当前图像背景的模型。其中，模型形成可以考虑不同对象特征，尤其是颜色、边沿和结构信息或专门的特征，如优选是所谓的SIFT特征(尺度不变特征变换)。在基于SIFT的背景模型中，不考察序列的新图像的每个像点，而是只在特定的像点、关键点进行模型形成并因此也进行运动检测。因为为了计算SIFT特征需要各个点，所以代替经常使用的边沿识别而使用角点检测器。角点函数R(x,y)可以按照下面的公式(A)来确定：

R(x，y)＝det(A(x，y))-q·spur(A(x，y))²

                                      (A)

其中，det(A)是矩阵A的行列式，spur(A)是矩阵A的迹。例如可以选择0.06作为常数q的值，其中如果矩阵A在该位置上具有两个大的特征值，则对于函数R得到高的值。因此，图像中的角点可以基于函数R(x,y)通过阈值判断来确定。因为角点函数R的绝对值是依赖于图像的图像内容和对比度，所以与角点函数的最大值相关地给出阈值。将最大值的0.00001至0.01的分量作为阈值被证实是实践中有利的。阈值被设置得越小，图像中越多的点被识别为角点。因为整个方法的复杂性直接取决于关键点的数量，所以方法因此可以适配于技术可能性，其中重要的是保持角点之间的最小间距。基于具有相应SIFT特征矢量的所确定的角点，生成背景的模型并且将背景适配于序列的每个新的图像。模型的适配以三个步骤进行，并且不依赖于每个所确定的关键点。首先，在各个角点的周围搜寻模型条目。对于所找到的每个条目，确定其与相应关键点的相似性。作为相似性的度量，根据以下公式(B)计算位置(x,y)处角点的SIFT特征与位置(x_m,y_m)处条目的平均值特征之间的矢量相关性C：

其中，°是内积，||V||表示矢量V的长度。在第二步骤中确定关键点是否可以被分配给条目之一。如果根据下式成立的话，则关键点现在被分配给这个模型条目：

C(x，y，x′_m，y′_m)＞μ_C(x′_m，y′_m)-σ_C(x′_m，y′_m)

                                         (C)

也就是说，关键点的特征与模型条目的特征的相关性必须超过可变的阈值。在第三步骤中，现在调整模型。如果所观察的角点被分配给条目，则参数μ_C(x′_m,y′_m)、和被调整。如果在第二步骤中在所搜寻的关键点的周围没有发现任何模型条目，则在位置(x,y)处设置新的条目。根据关键点在第二步骤中是否能被分配给背景模型，关键点被标记为背景或前景。在为当前图像中的每个角点执行模型适配之后，模型的所有条目的计数器被降低。如果条目的计数器读数下降到零，则从模型中去除该条目。从而确保例如在展开新的背景之后，旧的条目可以被新条目替代。在搜寻对关键点适当的模型条目时，不仅可以考察角点的位置，而且可以考察该点周围的小区域。将搜寻扩展到小区域的优点在于模型相对于图像中角点小的偏移的鲁棒性。如果背景的角点由于很小的照明变化、风对摄像机的移动或一些像点周围的摆动而移位，则其尽管如此仍然可以被分配给正确的模型条目。

为了获得背景的尽可能好的模型，如尤其是图2和图3所示的那样，标准偏差的限制(参见ESA)以及时间相关性(参见EZK)和位置相关性(参见)的利用被集成到根据本发明的GMM方法中。

由于所形成的模型与视频序列之间的不利的局面可能出现：对前景建模的高斯函数的标准偏差取非常大的值。主要是在像点的色值明显偏离所分配的高斯函数的平均值并且在模型更新时出现大数值||X-μ_k,t||时出现这样的情形。但是σ_k越大，则同一高斯函数可以被分配给越多的色值。这又提高了对于||X-μ_k,t||出现大数值的可能性。

图10示出了对于分辨率为480×270像点的视频序列“街道”的前150个图像标准偏差随时间的变化。GMM方法的蚕食设置为K＝3，T＝0.7，α＝0.01，并且d＝2.5。图10示出了所有像点的所有高斯分布的最小、中等和最大标准偏差(虚线)。最大标准偏差随着时间而上升，并且达到非常高的数值。因此，不能分配给其他高斯函数的所有像点被分配给具有大σ值的这个高斯函数。由此，出现概率提高，并且分布k被分类为背景高斯函数。这进一步导致前景的颜色以略微错误的方式被标识为背景颜色。

为了解决这个问题，将标准偏差限制到其初始值σ0，参见图10中与图像轴平行的直线。

对标准偏差的限制防止或减少了前景特征被错误地识别为前景特征的情形。

如大量实验已经展示的那样，对参数α的选择有很大的意义，因为其对识别算法的工作能力具有很大的影响，如图11中下面一行中视频序列“停车场”所能看到的那样。一方面，α应被选择为尽可能大，以便将模型适配于图像内容的新的情形。另一方面，短时间的改变不应影响模型，从而α应选择为尽可能地小。

在标准方法中只考虑序列中色值的平均的时间频率。所观察的像点月频繁地具有特定的色值，相应高斯函数的出现概率就越大。但是不考虑色值的直接时间相关性。

因此，根据本发明提出了一种简单的情形，以便检测静止的背景区域并且改善模型对该区域的适配。为此，该方法被扩展以参数c，该参数用作为像点与特定高斯函数的时间上相继的分配的计数器：

其中k_t-1是分配给在先图像中像素色值的分布，k_t表示当前分配的高斯函数。

如果计数器c超过阈值c_min，则因子α与常数s>1相乘：

因子α_t现在是倚赖于时间的，并且α₀对应于用户所确定的值a。在具有静止图像内容的图像区域中，模型因此更快地适配于背景。因为方法不依赖于参数σ和ω，所以在覆盖的图像区域中也确保该函数。

在图11的上面喊中示出了序列“停车场”和相应背景的原始图像，相应背景是以被扩展以时间相关性的GMM方法(α₀＝0.001，s＝10并且c_min＝15)计算出的。α＝0.001和α＝0.01的标准方法的识别结果在图11中下面一行中示出。标准方法要么将过多的要么将过少的图像区域识别为前景，而根据本发明的方法在考虑时间相关性的情况下提供非常好的二值模板。对于所有实验将参数设置为K＝3，T＝0.7，α＝0.01并且d＝2.5。

GMM标准方法分别处理每个像点。而不考虑相邻像点之间的位置相关性。因此导致误肯定检测，它是由于由噪声决定的超过公式(4)中的d·σ_k,t-1或者由于小的照明变化所引起的。由于噪声而错误地被识别为前景的像素单独地出现并且不作为更大的连续的图像区域出现，而由照明变化导致的误肯定检测经常覆盖更大的连续区域，如其经常在阴影边沿、所谓的半暗部处出现。通过关注位置相关性，可以避免这两种形式的误肯定检测。

用于考虑位置相关性的根据本发明的非常简单的方法是在后处理步骤中将形貌操作应用到二值模板上。但是因为形貌操作正好应用于二值模板，所以所有像点以相同的权重流入这些操作中。为了减少误肯定检测，优选进行具有用于分配可靠性的权重的加权判断，而不是固定的判断。因此下面介绍相应权重的一个例子，利用其可以处理像点(对应于其可靠性被加权)。

因为在误肯定检测的情况下像素x的色值X位于B个背景高斯函数之一的平均值附近，所以对于至少一个高斯分布k∈[1...B]为||X_t-μ_k,t||得到小数值。对于实际的前景像点，这一般不出现。

现在，代替二值模板，生成模板M，模板M为每个前景像点分配权重。对于每个像点如下地计算其加权后的模板值：

背景像点又以零加权，而前景像点以相对于背景高斯函数的平均值的距离的最小值加权。因此，前景像素偏离所有背景高斯函数越强，其就被加权得越强。为了使用位置相关性，即如在T.Aach,A.Kaup和R.Mester的“Satistical model-based change detection in movingvideo”，Signal Processing,vol.31,no.2,第165-180页，1993或者在T.Aach和A.Kaup的“Bayesian algorithms for change detection inimage sequences using Markov random fields”，Signal Processing:Image Communication,vol.7,no.2,第147-160页，1995中所建议的那样，当前像点周围方形窗W内的权重被加和。这个加和也可以类似于中央滤波地进行。通过然后用阈值M_min形成阈值，误肯定检测的数量被降低，并且二值模板M_B可以根据加权后的模板M如下地确定：

图12示出了通过以位置和时间相关性工作的GMM方法生成的视频序列“停车场”的二值模板BM。用于位置相关性的参数被设置为M_min＝980并且W＝7×7。

对时间相关性的考虑负责将静止图像区域更快地标识为背景，而对位置相关性的考虑减少了由噪声或照明变化导致的被错误识别为前景的像点的数量。

通过从当前帧减去当前的背景模型，识别改变的图像区域。然后，通过阈值判断而由背景与当前图像之间的差别确定包含运动图象区域的二值模板。由于GMM方法的扩展，模板的质量已经非常好。但是通过修改后的用于阴影去除的方法还可以进一步改善图像质量。

虽然对位置相关性的考虑可以减少对半影像素的错误识别，但是始终还有过多的阴影像素被识别为前景的对象。主要是核阴影(也被称为本影)也被识别为前景对象。因此，前面所介绍的识别方法与在F.Porikli和O.Tuzel于2003年的Proc.IEEE International Workshopon Performance Evaluation of Tracking and Surveillance发表的“Human body tracking by adaptive background models andmean-shift analysis”中所介绍的用于阴影去除的方法组合。因为阴影只影响颜色的饱和度和亮度，但是对色调没有影响，所以可以如下地识别阴影像素。亮度的改变在RGB颜色空间中通过将颜色矢量X投影到背景颜色矢量U上来计算：

$h\frac{\&lang;X,U\&rang;}{\left|U\right|}---\left(15\right)$

为了测量U和X之间的亮度差，定义比率r＝|U|/h。而颜色矢量X与背景颜色矢量U之间的角度φ＝arccos(h/X)测量当前的饱和度相对于背景的偏离。

每个前景像点如果满足以下两个条件就被分类为阴影像素：

r₁<r<r₂和φ<φ₁   (16)

其中r₁表示所允许的最低亮度值，r₂表示所允许的最大亮度值，φ₁表示允许的最大角度。因为核阴影的像点比半影像素更黑，所以所述条件不能同时对于本影和半影都满足。因此，用于阴影去除的方法被划分，以便r₁、r₂和φ₁的数值可以相应地为为去除边沿阴影或核阴影而设置。划分为核阴影去除和边沿阴影去除意味着：在φ-r面中，所识别的阴影通过两个矩形来表示，参见图6a。

如从前面的解释可以看出的那样，阴影一般对于色调没有影响，而是只影响颜色的饱和度和亮度。因此像点在没有低于允许的最大暗度的下限(r₁)并且没有超过允许的最大亮度的上限(r₂)并且饱和度没有过强地偏离模型的背景颜色的饱和度(φ₁)的情况下可以借助于其色值被分类为阴影。在已知方法中必须分别执行核阴影和边沿阴影的检测。也就是说，必须两次分别确定三个参数并且必须根据条件

r₁<r<r₂和φ<φ₁   (16)

判断像素是否被分类为阴影像素并因此是否分类为背景的像点。

在图6a中，通过两个绘制的矩形表示φ-r面中对核阴影和边沿阴影的识别。虽然分别去除核阴影和边沿阴影改善了阴影去除的质量，但是需要三个附加的参数。但是通过引入另一参数φ₂，可以用下式代替上面的公式的第二部分：

φ＜(φ₂-φ₁/r₂-r₁)*(r-r₁)+φ₁   (17)

通过根据本发明引入另一角度φ₂并且用公式(17)代替公式(16)，在φ-r面中所识别的阴影通过.楔形面来描述(参见图6b)。因此，本影和半影可以同时在一个而非两个步骤中被去除，并且对于原来的阴影去除并非是补充三个参数而是只补充一个参数。

为了说明所介绍的阴影去除的工作能力，将两个扩展后的用于阴影去除的方法应用于结果。对于两步骤方法，选择以下参数用于去除边沿阴影：r₁＝1，r₂＝1.6并且φ₁＝2，而用于去除核阴影的参数被设置为r₁＝1.6，r₂＝2.3并且φ₁＝4。单步骤方法以参数r₁＝1，r₂＝2.3并且φ₂＝4来执行。

图13示出了用于由具有所有这里提出的扩展的根据本发明的GMM方法提供的视频序列“停车场”的最终二值模板。由此，以总共仅仅四个参数来同时去除核阴影和边沿阴影变为可能了。被修改后的方法识别为阴影的区域在图6b中通过绘制的梯形来表示。

阴影去除之后，对二值模板进行所谓的连通域分析，以便确定连续的对象区域。如果在多个连续的图像中存在所识别的区域，则其被分类为可靠识别的对象。如果这些可靠识别的对象还没有被跟踪，则可以开始如图4中所示的实际的对象跟踪。传统的均值跟踪以对称的滤波核工作。但是，对称的滤波核不能非常精确地描述对象的形状。因此，在使用对称的滤波核的情况下，不能完全避免在对象跟踪时可能导致错误的背景颜色信息的影响。为了克服由此导致的困难，根据本发明使用非对称并且各向异性的滤波核。为此，对于可靠识别的对象借助于当前的二值模板生成尽可能好地描述对象形状的非对称的滤波核。

因为均值移位方法不能自主地初始化，所以要么依赖于用户输入，要么优选地根据A.Elgammal,D.Harwood,L.Davis在2000年6/7月的Proc.Of the6^th European Conference on Computer Vision第751-767页上发表的“Non-parametric Model for BackgroundSubtraction”依赖于提供所识别对象的二值模板的在先对象识别的结果。通过为模板内每个像点计算归一化后的与对象边沿相距的距离来生成非对称的滤波核。在生成目标模型期间，现在用非对称的滤波核对对象特征的直方图加权。具体地，从二值模板或对象模板出发构建非对称的滤波核，方法是如下地为对象面内每个像素x_i＝(x,y)确定归一化后的与对象边沿相距的距离：

K(x_i)＝x_i_与对象边沿相距的距离/max_与对象边沿相距的距离(18)

其中通过形貌操作来确定与对象边沿相距的距离。为了借助于均值移位迭代对滤波核的大小进行缩放，搜索区域优选被扩展以缩放维度。于是算法不是在位置区域中而是在这个扩展后的搜索区域Ω＝(x,y,σ)中工作，扩展后的搜索区域由图像坐标(x,y)和缩放维度σ构成。由此可以同时通过均值移位迭代确定对象位置和对象大小的改变。

假设对象或对象轮廓可以通过闭合的曲线来描述，则对象像素x_i的图像坐标可以借助于简单地转换到缩放空间而被推导出：

${\mathrm{\&sigma;}}_i=\frac{\mathrm{\&delta;}\left(x_i\right)}{r\left({\mathrm{\&theta;}}_i\right)}=\frac{\left|\right|x_i-\hat{x}\left|\right|}{r\left({\mathrm{\&theta;}}_i\right)}---\left(19\right)$

其中δ(x_i)是对象像素x_i与对象重心之间的距离，r(θ_i)表示在角度为θ_i的情况下滤波核的宽度，σ_i是对象像点的缩放。

在扩展后的搜索区域(也被称为空间缩放空间)中执行均值移位迭代中的一个重要特征在于：在缩放平均值两侧的缩放值之和是相等的：

${\mathrm{\&sigma;}}_i={\&Integral;}_0^{2\mathrm{\&pi;}}{\&Integral;}_0^{\widehat{\mathrm{\&sigma;}}r\left(\mathrm{\&alpha;}\right)}\frac{\mathrm{\&delta;}}{r\left(\mathrm{\&alpha;}\right)}\mathrm{d\&delta;d\&alpha;}={\&Integral;}_0^{2\mathrm{\&pi;}}{\&Integral;}_{\widehat{\mathrm{\&sigma;}}r\left(\mathrm{\&alpha;}\right)}^{r\left(\mathrm{\&alpha;}\right)}\frac{\mathrm{\&delta;}}{r\left(\mathrm{\&alpha;}\right)}\mathrm{d\&delta;d\&alpha;}---\left(20\right)$

通过积分得到然后通过这个公式变形而得到缩放平均值 $\widehat{\mathrm{\&sigma;}}=\frac{1}{\sqrt{2}}.$

缩放平均值因此是常量并且因此不依赖于对象形状。现在使用均值移位迭代来更新缩放值。其中新的缩放值通过来确定。

为了使用更新后的缩放值，还必须生成滤波核的缩放和宽度之间的关系。在A.Yilmaz于2007年6月的Proc.IEEE Conference onComputer Vision and Pattern Recognition第1-6页发表的“ObjectTracking by Asymmetric Kernel Mean Shift with Automatic Scale andOrientation Selection”中通过因子来定义这个关系。这个因子被用于计算新的窗口宽度r_new(α)＝dr(α)。

然后，实际对象跟踪的算法以所形成的目标模型来初始化。为了在扩展后的搜索区域中执行均值移位迭代，通过基于对象的滤波核与用于缩放维度的滤波核二者的乘积来定义三维滤波核：

K(x，y，σ_i)＝K(x，y)K(σ)

                           (21)

使用通过在|z|<1时k(z)＝1-|z|、否则为0(其中)的函数而确定的一维Epanechnikov滤波核作为用于缩放维度的滤波核。在扩展后的搜索区域中现在如下地确定均值移位矢量：

$\mathrm{\&Delta;\&Omega;}=\frac{{\mathrm{\&Sigma;}}_{i}K({\mathrm{\&Omega;}}_i-\widehat{\mathrm{\&Omega;}})\mathrm{\&omega;}\left(x_i\right)({\mathrm{\&Omega;}}_i-\widehat{\mathrm{\&Omega;}})}{{\mathrm{\&Sigma;}}_{i}K({\mathrm{\&Omega;}}_i-\widehat{\mathrm{\&Omega;}})\mathrm{\&omega;}\left(x_i\right)}---\left(22\right)$

其中ΔΩ＝(Δx,Δy,Δσ)。从第一图像的对象模板出发计算对象重心和目标模型。为了使目标模型健壮，首先确定相邻背景的直方图。既在目标模型的直方图中也在对象附近的直方图中出现的颜色然后在目标模型的直方图中被设置为零。由此避免与相邻背景非常相似的对象颜色的影响。因为对象模板可能不是精确地描述实际的对象形状，所以可能出现：如果与对象直接相邻的背景一起进入相邻直方图中，则过多的颜色信息在目标模型中被抑制。为了防止该现象，不考虑直接相邻的背景的颜色。

从图像中位置处目标模型的颜色分布出发，算法如下地迭代：

1.以对图像n+1中的侯选模型的位置初始化，并且设置d₀＝1

2.连续计算颜色分布 $p\left({\hat{x}}_0\right)=\{p_u{\left({\hat{x}}_0\right)\}}_{u=1...m}$ 和 $\mathrm{\&rho;}\left[p\left({\hat{x}}_0\right),q\left(\hat{x}\right)\right]={\mathrm{\&Sigma;}}_{u=1}^m\sqrt{{\hat{p}}_u\left({\hat{x}}_0\right){\hat{q}}_u\left(\hat{x}\right)}$

3.根据公式(4)计算权重ω(x_i)

4.借助于均值移位矢量公式(11)计算

侯选模型的新位置

因子 $d_1=d_0(1+\sqrt{2}\text{\&Delta;\&sigma;})$

$\left\{p_u{\left({\hat{x}}_1\right)}_{u=1...m}\right\}$

$\mathrm{\&rho;}[p\left({\hat{x}}_1\right),q\left(\hat{x}\right)]$

5.如果则停止，否则并且转向步骤2。

算法在步骤4中使用均值移位矢量以便使巴氏系数最大。步骤5中的阈值ε作为中断标准。这个阈值表示：矢量和出现在相同的像点或相同的图像坐标上。算法因此要么在为巴氏系数确定了相同的或更小的数值时终止，要么在侯选模型在两个连续图像中没有改变其位置时终止。

在均值移位迭代收敛之后，从缩放后的对象形状出发确定最终的对象形状。为此对图像进行颜色分割。相应地按照D.Comaniciu,PMeer于2002年5月在IEEE Transactions on Pattern Analysis andMachine Intelligence,vol.24,第603-619页中所发表的“Mean Shift:A Robust Approach Toward Feature Space Analysis”同样借助于均值移位方法执行分割。对于对象内和对象紧邻附近中的每个片段，现在必须判断其是属于对象还是属于背景。

完全包含在对象区域中的所有片段被分类为对象片段。同样，颜色信息优选至少50％包含在当前目标模型中的所有片段被分类为对象片段。但是，优选超过50％被包含在对象区域中并且包含很多从目标模型中被排除掉的颜色信息的可能对象片段在所述判断中不被考虑或被错误地分类为背景。为了防止这些片段可能的丢失，应用另一几何条件。因此，优选不止50％包含在初始的对象区域中的片段同样被分类为对象片段。

例如可以使用三种不同类型的对象片段：蓝色片段是完全包含在对象区域中的片段，黄色片段是至少50％包含在当前目标模型中的片段，而绿色片段是至少50％落到对象区域中的片段。背景的片段用红色呈现。现在，最终的对象形状通过所有对象片段的轮廓来确定，并且成像到要跟踪的对象上。

从最后的对象形状出发，现在可以确定基于下一对象的滤波核，然后对于下一图像初始化和启动均值移位迭代。

非对称的且适配于对象形状的滤波核的优点在于：直接与对象相邻的背景的颜色信息不一起进入到直方图形成中，并且因此考虑均值移位跟踪的错误方式，如其在传统的均值移位方法中那样。由此，根据本发明的对象跟踪鲁棒性更强，并且同样满足跟踪对象形状的第一个重要的前提，因为跟踪算法已经在初始化期间获得了关于对象形状的信息。

与传统的均值移位跟踪不同，根据本发明的方法中的均值移位过程(如在A.Yilmaz于2007年6月的Proc.IEEE Conference onComputer Vision and Pattern Recognition所发表的会议文章“ObjectTracking by Asymmetrie Kernel Mean Shift with Automatic Scale andOrientation Selection”第1-6页中中所介绍的那样)在扩展以缩放维度的搜索范围中执行。由此实现了将非对称的滤波核大小适配于实际的对象形状。为了尽可能准确地将缩放后的对象形状适配于实际对象形状，例如进一步进行对象区域及其直接相邻周围的基于均值移位的颜色分割。然后，借助于两个判断标准将各个片段分类为对象区域或非对象区域。与在A.Yilmaz于2007年6月的Proc.IEEE Conferenceon Computer Vision and Pattern Recognition中所发表的会议文章“Object Tracking by Asymmetrie Kernel Mean Shift with AutomaticScale and Orientation Selection”第1-6页中所介绍的方法或通过仿射变换而可能实现的相比，以该方式方法可以更好的适配对象形状。

图7在上面示出了根据现有技术的跟踪方法的结果，其中对象形状的大小和取向只能2D地确定，并且在下面示出了根据本发明的形状自适应的对象跟踪的结果。根据本发明的方法因此能够即使在所谓的离面转动的情况下也不仅确定对象位置、而且还确定对象形状或其轮廓。

图8与传统均值移位跟踪结果相比地示出了所提出的方法的结果，其中传统的均值移位跟踪用红色表示，根据本发明的形状自适应的对象跟踪用绿色表示。

在通过运动识别算法确定第一对象模板之后，计算对象重心和基于模板的非对称的滤波核。基于模板的滤波核然后用于确定RGB空间中的加权后的直方图。其中每个颜色通道的色值被投影到32个直方图值，从而直方图具有总共32×32×32个值。对于缩放维度，使用窗口宽度为ha＝0.4的Epanechnikov滤波核。对于均值移位分割，根据C.Stauffer和W.E.L.Grimson于1999年的Proc.IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition，vol.2中所发表的“Adaptive background mixture models for real-timetracking”中的公式(35)由两个Epanechnikov滤波核(一个用于位置范围(图像坐标)，一个用于数值范围(颜色))的乘积而生成多变量的滤波核。位置Epanechnikov滤波核的窗口宽度被设置为hr＝4，并且数值范围Epanechnikov滤波核的窗口宽度被设置为hs＝5。最小的片段大小被确定为5像素。

所述算法以多个视频序列来测试。在图7中比较所述形状自适应的方法的结果(绿色轮廓)与只适配缩放和2D取向的均值移位对象跟踪的结果。在对象跟踪开始时，在两个方法之间没有感觉到什么区别，但是一旦汽车开始旋转，自适应的对象跟踪提供明显更好的结果。

在图8中比较自适应的对象跟踪方法与使用±10％方法的标准均值移位跟踪。标准方法可以只根据条件地确定白色厢式货车的位置和大小，而自适应的对象跟踪不仅非常好地跟踪白色厢式货车的位置也非常好地跟踪其轮廓。仅仅由于对象颜色和背景颜色之间高的颜色相似性，自适应的对象跟踪不能明确地将白色厢式货车的发动机盖与背景区别开。

为了更准确地评价对象跟踪的工作能力，识别率RD和错误识别的误报率RFP以及未识别前景像素的误报率RFN被计算并且在各个序列上进行平均，即

R_D＝正确识别的前景像点的数量：基准的前景像点的数量

R_FP＝被识别为背景像点的数量：基准的背景像点的数量

R_FN＝未识别的前景像点的数量：基准的前景像点的数量。

表格1示出了视频序列“停车场”的R_D、R_FP和R_FN。通过将对象跟踪的结果与手动生成的基准进行比较来计算所有比率。RD确定为被识别出并且也对应于真实对象像素(即位于手动生成的基准的对象区域内)的像素的数量。误肯定是被错误地识别为前景像素的误检测(即背景像素)的数量。误否定对应于未识别的对象像素的数量。

视频序列   帧	RD(％)    RFP(％)    RFN(％)
		停车场     35	98.54      8.25      1.45

所提出的方法扩展标准均值移位算法，使得可以跟踪对象形状和大小。这通过使用借助于对象模板生成的用于跟踪3维搜索区域中对象的非对称滤波核来实现。其中，不仅对象位置、而且对象大小被更新。为了还更准确地将所确定的对象轮廓适配于对象的实际轮廓，在均值移位迭代之后有分割步骤。因此，对象形状即使在3D旋转的情况下也被很好地描述。只有在对象和相邻背景之间的颜色相似性大的情况下，该方法才碰到其极限，并且可能导致对象跟踪错误，因为在可能的情况下过多的对象颜色被从目标模型中去除。

根据本发明的方法或系统可以用于以后的数字视频监控系统。尤其是在对机场的停机坪监控中，可以通过二维视频图像中准确确定的对象形状，确定对象在空间中的取向，如果存在相应的制图数据的话。由此可以及早自动地识别错误转弯的车辆和飞机，以便避免或纠正由于交通引导系统的改变导致的驾驶者或飞行员的错误行为。

本发明不限于所展示和所介绍的实施例，而是也包括所有在本发明的意义上相同作用的实施方式。在本发明的范围中，除了SIFT(尺度不变特征变换)特征或均值移位特征之外也可以使用CDOF特征或KLT特征。此外，本发明可以由所有总共所公开的各个特征中特定特征的每种任意的其他组合。这意味着，本发明的每个特征可以被略去或者由至少一个在本申请其他地方公开的特征来代替。

Claims (12)

1.一种用于在数字的视频系统中进行自动对象识别、然后进行对象跟踪并且传输以及进一步处理或分析视频数据的方法，所述视频系统具有用于记录视频序列的至少一个摄像机(K)，其特征在于，基于高斯混合模型GMM的对象识别算法和扩展后的基于均值移位的对象跟踪相互组合，方法是：

-对象识别根据背景的模型被扩展以改善的阴影去除，根据公式φ<(φ₂-φ₁/r₂-r₁)*(r-r₁)+φ₁进行对本影和边沿阴影的识别，从而使得能够利用总共仅仅四个参数来同时去除本影和边沿阴影，其中r₁为允许的最大亮度的下限，r₂为允许的最大亮度的上限，r为当前亮度值，φ₁为说明当前像点的颜色饱和度相对于背景的所允许的最小偏差的角度，φ₂为说明当前像点的颜色饱和度相对于背景的所允许的最大偏差的角度，φ为表明当前像点的颜色饱和度相对于背景的实际偏差的角度；

-所生成的二值模板(BM)被用于生成非对称的滤波核，并且

-然后实际的用于形状自适应的对象跟踪的算法以用于形状适配的分割步骤扩展地被初始化，

从而使得能够至少确定对象形状或对象轮廓或对象在空间中的取向。

2.根据权利要求1所述的方法，其特征在于，使用适配于对象形状的非对称的滤波核，并且均值移位算法只以实际的对象特征：颜色信息、边缘信息或结构信息工作，使得已经在初始化期间获得关于对象轮廓的信息。

3.根据权利要求1或2所述的方法，其特征在于，为了尽可能准确地将所定位的对象区域适配于实际对象形状，进行对象区域及其直接相邻的周围的颜色分割或基于均值移位的颜色分割，超过50％落入对象区域中的所有片段被分类为对象片段，同样，颜色信息超过50％包含在当前目标模型中的所有片段也被分类为对象片段。

4.根据权利要求1所述的方法，其特征在于，在建模时考虑对象特征：颜色信息、边缘信息或结构信息中至少一个或者所谓的SIFT特征，并且标准偏差的限制以及对时间和位置相关性的使用被集成到GMM方法中。

5.根据权利要求1所述的方法，其特征在于，通过从视频序列的当前图像中去除当前的背景模型来识别改变的图像区域，然后通过阈值判断由背景和当前图像之间的差别确定包含运动的图像区域的二值模板(BM)。

6.根据权利要求1所述的方法，其特征在于，在使用角点检测器的情况下，角点函数R(x,y)按照下面的公式(A)来确定：

R(x，y)＝det(A(x，y))-q·spur(A(x，y))²

(A)

其中，det(A)是矩阵A的行列式，spur(A)是矩阵A的迹，并且图像中的角点基于函数R(x,y)通过阈值判断来确定。

7.根据权利要求1所述的方法，其特征在于，在阴影去除之后为了确定连续的对象区域，对二值模板(BM)进行所谓的连通域分析。

8.根据权利要求7所述的方法，其特征在于，如果区域在多个连续的图像中被识别，则这些区域被分类为可靠识别的对象，并且通过为二值模板(BM)内的每个像点计算相对于对象边沿的归一化的距离，为可靠识别的对象借助于当前的二值模板(BM)生成非对称的滤波核。

9.一种具有至少一个摄像机(K)的视频系统，摄像机用于记录视频序列，用于自动对象识别的装置以及用于对象跟踪的装置连接到摄像机并且用于进一步处理或分析摄像机(K)的视频信号(VS)的装置(KR)连接到摄像机，其特征在于，摄像机(K)的视频信号(VS)不仅被馈送给具有基于高斯混合模型GMM的对象识别算法的装置(OE)，而且被馈送给具有扩展的基于均值移位的对象跟踪的装置(OV)，对象识别装置(OE)包括被扩展以改进的阴影去除的用于根据背景的模型进行对象识别的装置，其中根据公式φ<(φ₂-φ₁/r₂-r₁)*(r-r₁)+φ₁进行对本影和边沿阴影的识别，从而使得能够利用总共仅仅四个参数来同时去除本影和边沿阴影，其中r₁为允许的最大亮度的下限，r₂为允许的最大亮度的上限，r为当前亮度值，φ₁为说明当前像点的颜色饱和度相对于背景的所允许的最小偏差的角度，φ₂为说明当前像点的颜色饱和度相对于背景的所允许的最大偏差的角度，φ为表明当前像点的颜色饱和度相对于背景的实际偏差的角度，

能在对象识别装置(OE)的输出端获得的二值模板(BM)被馈送给对象跟踪装置(OV)，对象跟踪装置(OV)被扩展以用于形状适配的分割步骤地具有用于生成非对称的滤波核的装置和用于形状自适应的对象跟踪的装置，并且能在对象跟踪装置(OV)的输出端获得的视频信号(OP+OF)被馈送给处理/分析装置(KR)用于确定对象形状或对象轮廓或对象取向。

10.根据权利要求9所述的视频系统，其特征在于，对象识别装置(OE)具有串联的用于限制标准偏差的装置(ESA)、用于考虑时间相关性的装置(EZK)、用于阴影去除的装置(ES)和用于考虑位置相关性的装置用于考虑位置相关性的装置与减法电路(S)的一个输入端连接，摄像机(K)的视频信号(VS)被馈送到减法电路(S)的另一输入端，并且在减法电路(S)的输出端能获得二值模板(BM)。

11.根据权利要求9所述的视频系统，其特征在于，对象跟踪装置(OV)包括用于通过直方图生成目标模型的装置(VZ)、用于借助于二值模板(BM)生成滤波核的装置(VAK)和用于形状自适应的对象跟踪的装置(VFO)，并且二值模板(BM)被馈送到用于生成滤波核的装置(VAK)的输入端，摄像机(K)的视频信号(VS)被馈送到用于通过直方图生成目标模型的装置(VZ)的输入端，其中在用于形状自适应的对象跟踪的装置(VFO)的输出端能获得被馈送给处理/分析装置(KR)的视频信号(OP+OF)，用于自适应的对象跟踪的装置(VFO)与用于通过直方图生成目标模型的装置(VZ)的输出端相连。

12.根据权利要求9所述的视频系统，其特征在于，摄像机(K)的视频信号(VS)既被馈送给用于计算背景的装置(EH)也被馈送给对象识别装置(OE)的用于求差的装置(ED)，其中用于计算背景的装置(EH)的输出端连接到用于求差的装置(ED)的第二输入端，并且用于阈值形成的装置(ESW)连接到用于求差的装置(ED)的输出端，用于阈值形成的装置具有串联的用于阴影去除的装置(ES)、用于执行连通域分析的装置(ECC)和用于将分量与被跟踪的对象进行比较的装置(EVG)，在用于将分量与被跟踪的对象进行比较的装置的输出端能获得二值模板(BM)。