CN101739692A - 实时视频目标的快速相关跟踪方法 - Google Patents

Abstract

本发明涉及一种实时视频目标的快速相关跟踪方法，包括：(1)在一帧图像中选取跟踪目标，确定模板图像；(2)根据压缩比例因子对模板图像和当前帧图像进行压缩，得到新的模板图像M和当前帧图像；(3)在当前帧图像中确定搜索范围；(4)在搜索范围内计算每个子区域图像与模板图像的相关特征参数Q，选择具有最大相关特征参数Q_max的子区域图像作为当前跟踪目标；(5)当相关特征参数大于最大阈值T1时，更新模板图像；(6)当相关特征参数小于中间阈值T2且大于最小阈值T3时，采用变分辨率方法更新模板图像。本发明设计合理，实现了大目标和大搜索范围内的实时跟踪，提高了跟踪精度和搜索速度，保证了在目标逐渐变大或变小时的正确跟踪，改善了跟踪效果。

Description

实时视频目标的快速相关跟踪方法

技术领域

本发明属于视频图像处理领域，尤其是一种实时视频目标的快速相关跟踪方法。

背景技术

视频图像跟踪技术是计算机视觉中一个必不可少的关键技术，它在机器人视觉导航、军事视觉制导、安全监测、交通管制、医疗诊断、视频压缩及气象分析等许多方面都有广泛应用。例如，视频目标跟踪技术已经成功地应用在武器的成像制导、军事侦察和监视等方面；用于社区和重要设施的保安监控，保证了社区及重要设施的安全；用于智能交通系统，实现了对运行车辆的实时检测和追踪，同时获得车流量、车型、车速、车流密度等重要交通流参数，有效地进行检测事故或故障等突发状况。

视频目标的检测与跟踪是指通过对拍摄的图像序列进行分析，检测出运动目标并计算出跟踪目标在每帧图像上的位置，然后得到相关的参数。现有的视频目标跟踪处理方法，通常是预先建立一个表示目标或待检测物体的模板作为识别和确定目标位置的依据，用目标模板与实时图像中的各个子区域图像进行比较，找出和目标模板最相似的子区域图像的位置，就认为是当前目标的位置。图3所示为一种相关跟踪算法，其对模板图像与实时图像中的各个子区域图像进行比较时，采用计算相关特征参数的方法进行比较，当相关特征参数大于特定阈值时，更新模板图像。其存在的问题是：(1)需要将模板图像与实时图像中的各个子区域图像进行比较，计算量大，当目标较大或搜索范围较大时，其处理速度较慢，不能满足实时跟踪的需求，会出现丢帧的现象；(2)通过建立模板图像作为识别和确定目标位置的依据，当跟踪目标逐渐变大或变小时，模板图像并没有及时更新，这时模板图像和跟踪目标不再匹配，会出现目标丢失或跟踪错误的现象。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够保证跟踪精度和搜索速度并且保证在目标逐渐变大或变小时的正确跟踪的实时视频目标的快速相关跟踪方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种实时视频目标的快速相关跟踪方法，包括以下步骤：

(1)在一帧图像中选取跟踪目标，确定模板图像；

(2)根据压缩比例因子对模板图像和当前帧图像进行压缩，得到新的模板图像M和当前帧图像；

(3)在当前帧图像中确定搜索范围；

(4)在搜索范围内计算每个子区域图像与模板图像的相关特征参数Q，选择具有最大相关特征参数Q_max的子区域图像作为当前跟踪目标；

(5)当相关特征参数大于最大阈值T1时，更新模板图像；

(6)当相关特征参数小于中间阈值T2且大于最小阈值T3时，采用变分辨率方法更新模板图像。

(7)循环处理(2)～(6)直至所有帧图像处理结束。

而且，所述的压缩比例因子是根据模板图像大小来确定的，当模板图像大于当前帧图像的5％时，该压缩比例因子为大于1的整数，否则压缩比例因子等于1。

而且，步骤(3)所述的确定搜索范围的方法为：当压缩比例因子为1时，其搜索范围为：以当前目标图像的中央为中心，以当前目标图像长宽的2倍作为长宽的矩形区域范围；当压缩比例因子大于1时，其搜索范围为：以当前目标图像的中央为中心，以当前目标图像的长宽扩大30～80％的像素作为长宽的矩形区域范围。

而且，步骤(6)所述的采用变分辨率方法更新模板图像的步骤包括：

(1)将模板图像M按缩放比例分别放大、缩小后得到放大模板图像M_large和缩小模板图像M_small，将目标图像按缩放比例分别放大、缩小后得到放大目标图像P_large和缩小目标图像P_small；

(2)计算放大目标图像P_large与放大模板图像M_large的相关特征参数Q_large，如果该相关特征参数Q_large大于最大相关特征参数Q_max，则将放大模板图像Q_large更新为模板图像M；否则，计算缩小目标图像P_small与缩小模板图像M_small的相关特征参数，如果该相关特征参数Q_small大于最大相关特征参数Q_max，则将缩小模板图像Q_small更新为模板图像M。

而且，所述的缩放比例为1～3之间的任意整数或小数。

而且，所述的相关特征参数Q的计算方法为：

$Q=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{x}\·\stackrel{\‾}{y}}{{\left(\stackrel{\‾}{x}\right)}^2+{\left(\stackrel{\‾}{y}\right)}^2}\·\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}$

其中：x为模板图像，y为待检测的子区域图像，

x＝{x_i|i＝1，2，...，N}，y＝{y_i|i＝1，2，...，N}

$\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i$

${{\mathrm{\σ}}_x}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2,$ ${{\mathrm{\σ}}_y}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2$

${{\mathrm{\σ}}_{\mathrm{xy}}}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})$

而且，所述的最大阈值T1＝0.85～0.95，中间阈值T2＝0.7～0.8，最小阈值T3＝0.2～0.4。

本发明的优点和积极效果是：

1、本快速相关跟踪方法在现有技术的基础上，根据模板图像尺寸选择合适的压缩比例因子对模板图像和当前帧图像进行压缩，并选择合适的搜索范围，从而大大减小了计算量，实现了大目标和大搜索范围内的实时跟踪，同时提高了跟踪精度和搜索速度。

2、本快速相关跟踪方法在分析相关特征参数时，采用变分辨率方法实现抗尺度变换，在跟踪目标逐渐变大缩小时，能够及时更新模板图像，保证了在目标逐渐变大或变小时的正确跟踪。

3、本发明设计合理，实现了大目标和大搜索范围内的实时跟踪，提高了跟踪精度和搜索速度，保证了在目标逐渐变大或变小时的正确跟踪，改善了跟踪效果。

附图说明

图1是本发明的流程图；

图2是本发明的具体实施方式的流程图；

图3是现有的相关跟踪方法的流程图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种实时视频目标的快速相关跟踪方法，是在现有的相关跟踪方法的基础上，通过选取合适的压缩比例因子对模板图像和当前帧图像进行压缩以选择合适的搜索范围，并采用变分辨率方法实现抗尺度变换，在跟踪目标逐渐变大缩小时，能够及时更新模板图像以保证正常的跟踪。在本实施例中，每帧图像数据源的分辨率均为720*576像素，其他相关参数为：模板图像的缩放比例为1.5，最大阀值T1＝0.95，中间阀值T2＝0.75，最小阀值T3＝0.3。

如图2所示，本实时视频目标的快速相关跟踪方法包括如下步骤：

1、在第一帧图像中选取跟踪目标，确定模板图像。

2、根据压缩比例因子对模板图像和当前帧图像进行压缩，得到新的模板图像M和当前帧图像。

在本步骤中，压缩比例因子是根据模板图像大小来确定的，通常当模板图像大于当前帧图像的5％时，该压缩比例因子为应当为大于1的整数，否则压缩比例因子等于1。在本实施例中，如果模板图像长宽均小于25时，压缩比例因子为1；否则图像的压缩比例因子为5。

3、在当前帧图像中确定搜索范围。

在本步骤中，当压缩比例因子为1时，其在当前帧图像中的搜索范围为：以当前目标图像的中央为中心，以当前目标图像长宽的2倍作为长宽的矩形区域范围；当压缩比例因子为5时，其搜索范围为：以当前目标图像的中央为中心，以当前目标图像的长宽各扩大30～80％的像素作为长宽的矩形区域范围，即以当前目标图像的长宽各扩大20像素作为长宽的矩形区域范围。

4、在搜索范围内计算每个子区域图像与模板图像的相关特征参数Q，选择具有最大相关特征参数Q_max的子区域图像作为当前跟踪目标：

在本步骤中，每个子区域图像的大小与模板图像M大小相同，子区域图像与模板图像M的相关特征参数Q采用下述方法进行计算：

设定模板图像为灰度图像x，待检测的子区域图像为灰度图像y，图像x和y均有N个像素点，图像x和y的灰度值分别为：

x＝{x_i|i＝1，2，...，N}

y＝{y_i|i＝1，2，...，N}

则，两幅图像的相关特征参数的计算公式为：

$Q=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{x}\·\stackrel{\‾}{y}}{{\left(\stackrel{\‾}{x}\right)}^2+{\left(\stackrel{\‾}{y}\right)}^2}\·\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}$ (公式1)

式中： $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i$

${{\mathrm{\σ}}_x}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2,$ ${{\mathrm{\σ}}_y}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2$

${{\mathrm{\σ}}_{\mathrm{xy}}}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})$

5、当相关特征参数大于预置最大阈值T1时，更新模板图像。

在本步骤中，如果最大相关特征参数Q_max大于最大阈值T1，则跟踪成功，当前跟踪目标图像P和模板图像M匹配，将模板图像M更新为当前跟踪目标图像P。

6、分析相关特征参数，采用变分辨率方法更新模板图像：

(1)若特征参数小于最大阈值T1且大于中间阈值T2，跟踪成功，模板图像M不更新；

(2)若特征参数小于中间阈值T2且大于最小阈值T3，跟踪成功，即：当前跟踪目标图像P和模板图像M不匹配，按照下述方式处理：

在本实施例中，缩放比例为1.5，因此分别将模板图像M扩大1.5倍和缩小1.5倍，得到放大的模板图像M_large和缩小的模板图像M_small；选取以当前目标图像P的中央为中心、以前目标图像P长宽的1.5倍为长宽的矩形图像为放大的目标图像P_large，选取以P的中央为中心、以P长宽的1/1.5倍(图像长宽向下取整)为长宽的矩形图像为缩小的目标图像P_small；

计算放大目标图像P_large与放大模板图像M_large的相关特征参数Q_large，若Q_large＞Q_max，则将放大模板图像Q_large更新为模板图像M；否则，计算缩小的目标图像P_small1与缩小模板图像M_small的相关特征参数Q_small，若Q_small＞Q_max，则将缩小模板图像Q_small更新为模板图像M；若以上两条件均不满足，模板图像不更新；

(3)若特征参数小于最小阀值T3，跟踪失败，模板图像M不更新。

7、取下一帧图像的灰度数据，返回步骤2，继续下一帧图像的跟踪处理，直至完成。

通过上述步骤即可实现实时视频目标的快速相关跟踪方法。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (7)

1.一种实时视频目标的快速相关跟踪方法，其特征在于：包括以下步骤：

(1)在一帧图像中选取跟踪目标，确定模板图像；

(2)根据压缩比例因子对模板图像和当前帧图像进行压缩，得到新的模板图像M和当前帧图像；

(3)在当前帧图像中确定搜索范围；

(4)在搜索范围内计算每个子区域图像与模板图像的相关特征参数Q，选择具有最大相关特征参数Q_max的子区域图像作为当前跟踪目标；

(5)当相关特征参数大于最大阈值T1时，更新模板图像；

(6)当相关特征参数小于中间阈值T2且大于最小阈值T3时，采用变分辨率方法更新模板图像。

(7)循环处理(2)～(6)直至所有帧图像处理结束。

2.根据权利要求1所述的实时视频目标的快速相关跟踪方法，其特征在于：所述的压缩比例因子是根据模板图像大小来确定的，当模板图像大于当前帧图像的5％时，该压缩比例因子为大于1的整数，否则压缩比例因子等于1。

3.根据权利要求1或2所述的实时视频目标的快速相关跟踪方法，其特征在于：步骤(3)所述的确定搜索范围的方法为：当压缩比例因子为1时，其搜索范围为：以当前目标图像的中央为中心，以当前目标图像长宽的2倍作为长宽的矩形区域范围；当压缩比例因子大于1时，其搜索范围为：以当前目标图像的中央为中心，以当前目标图像的长宽扩大30～80％的像素作为长宽的矩形区域范围。

4.根据权利要求1所述的实时视频目标的快速相关跟踪方法，其特征在于：步骤(6)所述的采用变分辨率方法更新模板图像的步骤包括：

(1)将模板图像M按缩放比例分别放大、缩小后得到放大模板图像M_large和缩小模板图像M_small，将目标图像按缩放比例分别放大、缩小后得到放大目标图像P_large和缩小目标图像P_small；

(2)计算放大目标图像P_large与放大模板图像M_large的相关特征参数Q_large，如果该相关特征参数Q_large大于最大相关特征参数Q_max，则将放大模板图像Q_large更新为模板图像M；否则，计算缩小目标图像P_small与缩小模板图像M_small的相关特征参数，如果该相关特征参数Q_small大于最大相关特征参数Q_max，则将缩小模板图像Q_small更新为模板图像M。

5.根据权利要求4所述的实时视频目标的快速相关跟踪方法，其特征在于：所述的缩放比例为1～3之间的任意整数或小数。

6.根据权利要求1或4所述的实时视频目标的快速相关跟踪方法，其特征在于：所述的相关特征参数Q的计算方法为：

$Q=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{x}\·\stackrel{\‾}{y}}{{\left(\stackrel{\‾}{x}\right)}^2+{\left(\stackrel{\‾}{y}\right)}^2}\·\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}$

其中：x为模板图像，y为待检测的子区域图像，

x＝{x_i|i＝1，2，...，N}，y＝{y_i|i＝1，2，...，N}

$\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i$

${{\mathrm{\σ}}_x}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2,$ ${{\mathrm{\σ}}_y}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2$

${{\mathrm{\σ}}_{\mathrm{xy}}}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})$

7.根据权利要求1所述的实时视频目标的快速相关跟踪方法，其特征在于：所述的最大阈值T1＝0.85～0.95，中间阈值T2＝0.7～0.8，最小阈值T3＝0.2～0.4。

Images