CN102231207A

CN102231207A - 基于Mean Shift和块匹配的运动目标跟踪方法

Info

Publication number: CN102231207A
Application number: CN 201110168136
Authority: CN
Inventors: 王志伟; 刘本永; 廖翔
Original assignee: Guizhou University
Current assignee: Guizhou University
Priority date: 2011-06-22
Filing date: 2011-06-22
Publication date: 2011-11-02

Abstract

本发明公开了一种基于MeanShift和块匹配的运动目标跟踪方法，其特征在于：包括以下步骤：步骤一：确定首要目标模型与次要目标模型；步骤二：用MeanShift算法求出次要目标模型在当前帧所处位置；步骤三：根据步骤二得到的次要目标模型位置，采用块匹配在次要目标模型范围内得出首要目标模型的最佳位置。本发明提高了MeanShift算法跟踪的精度，实现了对某些MeanShift所不能跟踪到的情形的精确跟踪，可以在智能视频监控系统、人机交互、机器人视觉导航、图像压缩、智能交通系统、军事上的制导和导航方面等领域获得应用。

Description

基于Mean Shift和块匹配的运动目标跟踪方法

技术领域

本发明涉及一种运动目标跟踪方法，属于计算机视觉技术和视频图像处理技术领域。

背景技术

视频目标跟踪是计算机视觉研究领域中最热门的研究课题之一，是一项融合图像处理、模式识别、人工智能及自动控制等多种不同领域的先进技术，形成了一种能从图像信号中实时提取目标位置、自动跟踪运动目标的技术。随着科学的迅速发展，计算机的计算能力得到了明显增强，从而使利用计算机实现人类的视觉功能成为可能。无论在民用还是在军事领域，运动目标跟踪技术的应用前景都是十分广阔的，特别是近年来，目标跟踪问题正处于国际研究热潮之中。目标跟踪技术除了在智能视频监控系统中具有非常重要的应用外，在人机交互、机器人视觉导航、图像压缩、智能交通系统等领域也有重要应用。除了上述民用方面的应用之外，运动目标跟踪技术在军事上特别是制导和导航方面也有广泛的应用前景。

视频目标跟踪是指从包含有运动目标的视频中提取、识别和跟踪运动目标，进而获得其位置及运动轨迹等运动目标的运动参数，经过进一步的分析和处理，达到理解目标运动行为的目的，进而可以完成更高级别的任务。然而，对人类视觉跟踪的实现机理的认识目前在科学界并不完全统一，使得建立一个统一的视觉跟踪数学模型更是不可能的，因此，基于视觉的目标跟踪仍然还需要进行不断地探索和改进。

目前，常用的跟踪方法有：卡尔曼滤波、粒子滤波器、Mean Shift算法及动态贝叶斯网络等等。计算机视觉领域的研究重点且难点问题之一在于如何对运动目标进行稳定、鲁棒的跟踪。复杂的背景、目标发生形变、摄像机发生相对位移、光照改变、目标被遮挡等因素都会增加目标跟踪的复杂性。现有技术常用的跟踪方法存在着不能对运动目标进行稳定跟踪、精确跟踪等缺陷。

发明内容

本发明要解决的技术问题是，提供一种基于Mean Shift和块匹配的运动目标跟踪方法，以克服现有技术存在的不能对运动目标进行稳定跟踪等不足。

为了解决所述的技术问题，本发明采用以下技术方案：它包括以下步骤：

步骤一，确定首要目标模型与次要目标模型。读取视频，在视频的参考帧手动选取感兴趣的目标作为首要目标模型，在该首要目标模型周围扩展n个像素作为次要模型；

步骤二，用Mean Shift算法求出次要目标模型在当前帧所处位置。基于次要目标模型的RGB颜色分布特征，利用Mean Shift算法根据前一帧的信息跟踪次要目标模型，找出该次要目标模型在当前帧的最佳位置；

步骤三，根据步骤二得到的次要目标模型位置，采用块匹配在次要目标模型范围内得出首要目标模型的位置。

在次要目标模型的范围内利用基于互相关系数的块匹配准则，从左上角逐点求取次要目标模型范围内与主要目标模型相同大小的块的相关系数，找出次要目标模型范围内与主要目标模型相关系数最大的块，即为首要模型的最佳位置。

本发明提出了基于Mean Shift和块匹配的视频运动目标跟踪方法。本发明提高了Mean Shift算法跟踪的精度，实现了对某些Mean Shift所不能跟踪到的情形的精确跟踪。

智能视频监控系统、人机交互、机器人视觉导航、图像压缩、智能交通系统、军事上的制导和导航方面等领域都会涉及到视频目标跟踪问题，本发明可以解决单独应用Mean Shift所不能跟踪到目标的部分实际问题，为相关领域解决相关问题提供有效的技术支持和协作。

附图说明

图1为本发明的流程图；

图2为参考帧图像及主要目标模型、次要目标模型的位置；

图3为当前帧跟踪结果，其中Mean Shift算法算出的次要目标模型最佳位置，块匹配所定位的主要目标模型最佳位置；

图4、图5为整个算法在一个完整的测试序列得出的实验仿真结果。

具体实施方式

本发明的实施例：为使本发明的目的、技术方案和效果更加清楚，以下结合具体实施步骤，并参照附图，对本发明进一步详细说明。图1为本发明方法的流程图，具体包括以下几个步骤：

步骤一，确定首要目标模型与次要目标模型。读取视频后，在参考帧上手动选取主要目标模型与次要目标模型，如图2所示，尺寸较小的框为主要目标模型，尺寸较大的框为次要目标模型。

步骤二，用Mean Shift算法求出次要目标模型在当前帧所处位置。Mean shift算法是一种半自动跟踪方法，在参考帧，通过手工确定搜索窗口来选择运动目标。计算核函数加权下的搜索窗口的直方图分布，用同样的方法计算当前帧对应窗口的直方图分布，以两个分布的相似性最大为原则，使搜索窗口沿密度增加最大的方向，移动目标的真实位置，如图3所示，尺寸较大的框内即为Mean Shift算法在当前帧所算出的最佳位置。其过程如下：

1) 初始帧的目标模型。将RGB颜色空间中的每个子空间R、G或者B分成k个相等的区间，每个区间成为一个特征值，构成特征空间，特征空间的特征值的个数为u=k ³。那么在初始帧，包含目标的搜索窗口中，第u个特征值的概率为。

式中x ₀是搜索窗口的中心像素坐标，x _i是第i个像素的坐标；k(||x||²)是核函数，h表示核函数的带宽，一般等于窗口宽度的一半；函数b和

的作用是判断x _i处的颜色值是否属于特征值u；C是一个标准化的常量系数，使得所有特征值的概率和为1。

2) 当前帧的模型。类似式(1)，计算当前帧(第N帧)中搜索窗口的特征值u的概率为

Figure 201110168136X100002DEST_PATH_IMAGE006

式中y ₀是当前帧搜索窗口的中心像素坐标，x _i是第i个像素的坐标；C _h对应于式(1)中的C。

3) 相似性函数。相似性函数描述初始帧目标模型和当前帧模型的相似性度量，定义为

4) Mean shift向量。为使ρ(y)最大，在当前帧中，以前一帧搜索窗口的位置作为当前帧搜索窗口的位置，设窗口中心为y ₀，在y ₀邻域内寻找局部最优目标位置y ₁。对(3)式在

Figure 201110168136X100002DEST_PATH_IMAGE010

( y ₀)处进行泰勒展开，相似性函数可近似为：

Figure 201110168136X100002DEST_PATH_IMAGE012

其中

Figure 201110168136X100002DEST_PATH_IMAGE014

通过对相似性函数求最大值，可以推导出Mean Shift向量

Figure 201110168136X100002DEST_PATH_IMAGE016

Mean Shift算法反复迭代，最后得到在当前帧目标的最优位置y。

步骤三，用块匹配在次要目标模型范围内得出首要目标模型的位置。其过程如下：

1) 块匹配。采用基于互相关系数的块匹配准则。假设两幅进行匹配计算的图像中的小图像为g,大小为m×n,大图像为S,大小为M×N。用S _x,y表示S中以(x, y)为左上角点与g大小相同的子块。利用相关系数公式计算小图像和大图像中每一个和小图像尺寸相同的块之间的相关系数,得到相关系数ρ(x,y),找出使大图像中与小图像的相关系数最大的块。如图3所示，尺寸较小的框即为块匹配在尺寸较大框范围内所匹配出的最佳位置。ρ(x,y)的定义为

Figure 201110168136X100002DEST_PATH_IMAGE018

式中σ(S _x,y, g)是S _x,y和g的协方差；D _x,y为S _x,y的方差，

Figure 201110168136X100002DEST_PATH_IMAGE020

D为g的方差,

Figure 201110168136X100002DEST_PATH_IMAGE022

；和

Figure 201110168136X100002DEST_PATH_IMAGE026

分别表示图像S _x,y和g的灰度均值。

2)基于Mean Shift与块匹配的目标跟踪。在步骤二中，使用Mean Shift算法反复迭代得出次要目标模型在当前帧的最佳位置y。而后主要目标模型在次要目标模型的范围内利用基于互相关系数的块匹配准则，从左上角逐点求取次要目标中与主要目标模型相同大小的块的相关系数，找出次要目标模型范围内与主要目标模型最相似的块，图4、5为本文算法对一个完整视频序列跟踪结果。实验结果表明，本发明极大地提高了Mean Shift算法的精度，解决了单独应用Mean Shift所不能跟踪目标的部分实际问题。

以上所述的具体实施例，对本发明的目的、技术方案和效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施实例而已，并不用于限制本发明。凡在本发明的精神和原则之内，所做的任何修改、同等替换、改进等，均应包含在本发明的保护范围内。

Claims

1.一种基于Mean Shift和块匹配的运动目标跟踪方法，其特征在于：包括以下步骤：

步骤一：确定首要目标模型与次要目标模型；

步骤二：用Mean Shift算法求出次要目标模型在当前帧所处位置；

步骤三：根据步骤二得到的次要目标模型位置，采用块匹配在次要目标模型范围内得出首要目标模型的最佳位置。

2.根据权利要求1所述的基于Mean Shift和块匹配的运动目标跟踪方法，其特征在于，步骤一中确定首要目标模型与次要目标模型，需要读取视频，在视频的参考帧中选取感兴趣的目标模型作为主要目标模型，在该首要目标模型周围扩展n个像素作为次要模型。

3.根据权利要求1所述的基于Mean Shift和块匹配的运动目标跟踪方法，其特征在于，步骤二中用Mean Shift算法求出次要目标模型在当前帧所处位置，是基于次要目标模型的RGB颜色分布特征，利用Mean Shift算法根据前一帧的信息跟踪次要目标模型，找出该次要目标模型在当前帧的最佳位置。

4.根据权利要求1所述的基于Mean Shift和块匹配的运动目标跟踪方法，其特征在于，步骤三中根据步骤二得到的次要目标模型位置，采用块匹配在次要目标模型范围内得出首要目标模型的最佳位置，是指采用块匹配在该次要模型的范围内，利用相关系数逐点进行计算，找出相关系数最大的首要目标模型位置，即为首要模型的最佳位置。