CN103700115A

CN103700115A - 一种复杂背景下运动目标相关匹配跟踪方法

Info

Publication number: CN103700115A
Application number: CN201210365935.0A
Authority: CN
Inventors: 冯雪; 崔述金; 王楠; 石春雷
Original assignee: No207 Institute Of No2 Research Institute Of Avic
Current assignee: No207 Institute Of No2 Research Institute Of Avic
Priority date: 2012-09-27
Filing date: 2012-09-27
Publication date: 2014-04-02
Anticipated expiration: 2032-09-27
Also published as: CN103700115B

Abstract

本发明属于运动目标的光电跟踪技术，具体涉及一种复杂背景下运动目标相关匹配跟踪方法。相关匹配跟踪方法分为目标模板尺寸变化准则、目标模板更新准则两个部分；（1）目标模板尺寸变化准则方法流程：根据前一帧原始模板按比例计算出放大模板和缩小模板；计算分别针对三种模板的匹配度并据此确定模板；（2）目标模板更新：首先在当前跟踪窗内从左上角开始以1个像素为步长选取和当前模板等大小的区域，逐个与当前模板进行匹配，按照步骤（1）中的匹配度计算公式计算出每一个匹配度c_n，选择最大匹配度对应的区域作为最佳匹配区；然后设定第1帧以目标区域作为当前模板，之后计算每一帧得到更新的模板，通过上述两个步骤控制每一帧定位目标。

Description

一种复杂背景下运动目标相关匹配跟踪方法

技术领域

本发明属于运动目标的光电跟踪技术，具体涉及一种复杂背景下运动目标相关匹配跟踪方法。

背景技术

基于模板匹配方法的跟踪是一种逐个像素比较的方法，其基本思想是将已知的对象作为模板在所采集的图像上进行平移，计算对象与子图像的相关值，相关值最大的认为是所要跟踪的对象。传统的相关匹配方法中是将模板的大小和形状看作保持不变的，而实际上两者总是变化的。当目标靠近或是远离摄像机，亦或摄像机视场变化时，目标会变大或变小，而模板尺寸保持不变就可能造成两个问题：一是目标变小时，模板中会引入多于目标的背景像素；二是目标变大时，模板中只存在小部分目标，将没有足够的目标像素用来区分目标与背景。由于这两个问题，模板将容易与背景相匹配，而使目标跟踪的误警率上升，导致目标跟踪失败。

在图像相关跟踪系统中，模板的更新机制是一个非常重要的技术关键，将直接影响目标跟踪性能：若更新频率过低，则模板跟不上目标的变化；若更新过于频繁，又容易受到光照和噪声的影响而引入误差，并使误差不断地累积，从而导致跟踪窗口的漂移。所以模板不能轻易地更新，必须选择适宜的模板更新准则，使目标跟踪持续而稳定。

早期的模板匹配方法对于对象尺寸的变化和旋转的情况较难处理，于是有了变形模板匹配来处理这些问题。此外为了减少模板匹配的计算量，需要利用一些先验知识来减少需要匹配的位置，或者利用降低分辨率的方法以加快方法的运算速度。当前亟需的是一种应用于复杂背景下的运动目标匹配跟踪方法，选取形状、特征点和惯量特征等构建相关函数，通过选取相关函数并计算相关值。

发明内容

本发明要解决的技术问题是提供一种复杂背景下运动目标相关匹配跟踪方法，通过在相关匹配跟踪的不同阶段采取针对性的处理方法，解决在真实环境中发生目标遮挡、目标姿态及尺寸变化、光线变化等情况时如何实现有效跟踪的问题。

为了实现这一目的，本发明采取的技术方案是：

一种复杂背景下运动目标相关匹配跟踪方法，应用于在真实环境中发生目标遮挡、目标姿态及尺寸变化、光线变化情况下的目标跟踪，跟踪目标大小大于5×5像素，相关匹配跟踪方法分为目标模板尺寸变化准则、目标模板更新准则两个部分；

（1）目标模板尺寸变化准则方法流程：

根据前一帧原始模板按比例计算出放大模板和缩小模板，设置三种缩放比例的模板——原始模板、放大模板、缩小模板；

Step1.用设置好的三种模板与实时采集的当前图像进行匹配，计算分别针对三种模板的匹配度c₀、c₁、c₂，计算公式如下：

c (m, n) = \frac{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} s (m + i, n + j) t (i, j)}{\sqrt{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} s^{2} (m + i, n + j)} \sqrt{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} t^{2} (i, j)}}

其中，K×L为模板大小，s(m+i,n+j)表示以(m,n)为当前图像中候选区域的左上角像素，t(i，j)为模板区域像素，μ_s、μ_t分别为当前图像候选区域灰度均值、目标模板灰度均值；

Step2.当c₀、c₁、c₂的值相互间差的绝对值不超过设定的判定阈值时，不更新模板，仍然使用原始模板；

当c₀、c₁、c₂的值相互间差的绝对值超过设定的判定阈值时，取最大匹配度对应的模板作为新的模板；

（2）目标模板更新：

首先在当前跟踪窗内从左上角开始以1个像素为步长选取和当前模板等大小的区域，逐个与当前模板进行匹配，按照步骤（1）中的匹配度计算公式计算出每一个匹配度c_n，选择最大匹配度对应的区域作为最佳匹配区；然后设定第1帧以目标区域作为当前模板，之后每一帧通过下述公式计算得到更新的模板：

t_{n + 1} = \{\begin{matrix} {λc}_{\max} b_{n} + (1 - λ c_{\max}) t_{n} & if c_{\max} > τ_{t} \\ t_{n} & otherwise \end{matrix}

其中，t_n是当前模板内容，t_n+1是更新的模板内容；c_max是步骤（1）中确定的目标与模板的最大匹配度；b_n是当前跟踪窗中的最佳匹配区；τ_t为阈值；λ＝0~0.3，为加权系数；

通过上述两个步骤控制每一帧定位目标。

进一步的，如上所述的一种复杂背景下运动目标相关匹配跟踪方法，其中：目标区域中的图像通过选自以下两种方法之一的方法确定：自动检测、人工选定。

进一步的，如上所述的一种复杂背景下运动目标相关匹配跟踪方法，其中：步骤（1）Step2中设定的判定阈值为0.05。

进一步的，如上所述的一种复杂背景下运动目标相关匹配跟踪方法，其中：步骤（2）中，目标模板更新准则公式中阈值取值为0.84，加权系数取值为0.16。

进一步的，如上所述的一种复杂背景下运动目标相关匹配跟踪方法，其中：步骤（1）中，计算放大模板时取为原始模板的110%比例，计算缩小模板时取为原始模板的90%比例。

本发明已成功应用在深圳大运会视频监控系统中，在目标遮挡、目标姿态及尺寸变化、光线变化等十分苛刻的情景下构建了目标跟踪系统，确保了在各种复杂情况下每一帧都能稳定、准确定位目标。

具体实施方式

下面对本发明技术方案进行进一步详细说明。

本发明技术方案采用目标模板尺寸变化准则解决模板尺寸变化问题；采用目标模板更新准则解决长时间稳定跟踪的问题，通过设计改进的模板更新准则使得模板更新稳定性好，不会因目标被遮挡而导致模板突变，影响图像匹配，从而导致目标跟踪失败。

本实施例中，图像信号处理器硬件平台采用TI公司生产的TMS320C6416DSP构建。本发明提出的相关匹配跟踪方法其软件代码采用TMS320C6416DSP专用C语言和专用汇编语言混合编程实现，经编译后固化在图像信号处理器硬件上，加电后DSP自动加载程序运行。

本实施例中，本发明一种复杂背景下运动目标相关匹配跟踪方法，应用于在真实环境中发生目标遮挡、目标姿态及尺寸变化、光线变化情况下的目标跟踪，跟踪目标大小大于5×5像素，相关匹配跟踪方法分为目标模板尺寸变化准则、目标模板更新准则两个部分；目标区域中的图像通过选自以下两种方法之一的方法确定：自动检测、人工选定。

（1）目标模板尺寸变化准则方法流程：

此具体实施例中，计算放大模板时取为原始模板的110%比例，计算缩小模板时取为原始模板的90%比例。

c (m, n) = \frac{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} s (m + i, n + j) t (i, j)}{\sqrt{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} s^{2} (m + i, n + j)} \sqrt{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} t^{2} (i, j)}}

此具体实施例中，判定阈值选为0.05。

（2）目标模板更新：

t_{n + 1} = \{\begin{matrix} {λc}_{\max} b_{n} + (1 - λ c_{\max}) t_{n} & if c_{\max} > τ_{t} \\ t_{n} & otherwise \end{matrix}

其中，t_n是当前模板内容，t_n+1是更新的模板内容；c_max是步骤（1）中确定的目标与模板的最大匹配度；b_n是当前跟踪窗中的最佳匹配区；τ_t为阈值；λ=0~0.3，为加权系数；

此具体实施例中，目标模板更新准则公式中阈值取值优选值为0.84，加权系数取值优选值为0.16。

通过上述两个步骤控制每一帧定位目标。

可以看出，当前最佳匹配区的权重小于模板的权重，即由当前最佳匹配区引入的噪声影响会减少。与之前一般的模板更新方法相比，更新的模板不再是由当前帧的最佳匹配区得到，而是由当前帧的最佳匹配区和当前帧的模板加权求和得到的。当前模板与最佳匹配区在更新后模板中所占的权值由最佳匹配区的匹配度决定，最佳匹配度越高则最佳匹配区在更新后模板中占的比重越大。改进的模板更新准则不会过快地根据最佳匹配区更新模板，摄像机运动并跟踪目标时不断随机变化的背景像素不会变成模板的主要部分。相反的，属于目标的像素不会变化过快，所以它们的影响随着时间推移在模板中将变得越来越重要。其最终结果是模板中将只包含目标信息而没有邻近的噪声。从而，改进的模板更新准则既处理了短期的邻近噪声，又在一定程度上减少了目标从模板中漂移的趋势。

Claims

1.一种复杂背景下运动目标相关匹配跟踪方法，应用于在真实环境中发生目标遮挡、目标姿态及尺寸变化、光线变化情况下的目标跟踪，跟踪目标大小大于5×5像素，其特征在于：相关匹配跟踪方法分为目标模板尺寸变化准则、目标模板更新准则两个部分；

（1）目标模板尺寸变化准则方法流程：

c (m, n) = \frac{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} s (m + i, n + j) t (i, j)}{\sqrt{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} s^{2} (m + i, n + j)} \sqrt{Σ_{i = 0}^{K - 1} Σ_{j = 0}^{L - 1} t^{2} (i, j)}}

（2）目标模板更新：

t_{n + 1} = \{\begin{matrix} {λc}_{\max} b_{n} + (1 - λ c_{\max}) t_{n} & if c_{\max} > τ_{t} \\ t_{n} & otherwise \end{matrix}

通过上述两个步骤控制每一帧定位目标。

2.如权利要求1所述的一种复杂背景下运动目标相关匹配跟踪方法，其特征在于：目标区域中的图像通过选自以下两种方法之一的方法确定：自动检测、人工选定。

3.如权利要求1所述的一种复杂背景下运动目标相关匹配跟踪方法，其特征在于：步骤（1）Step2中设定的判定阈值为0.05。

4.如权利要求1所述的一种复杂背景下运动目标相关匹配跟踪方法，其特征在于：步骤（2）中，目标模板更新准则公式中阈值取值为0.84，加权系数取值为0.16。

5.如权利要求1所述的一种复杂背景下运动目标相关匹配跟踪方法，其特征在于：步骤（1）中，计算放大模板时取为原始模板的110%比例，计算缩小模板时取为原始模板的90%比例。