CN104851111A - 一种使用连续变焦探测器的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种使用连续变焦探测器的目标跟踪方法。该方法包括：记录初始跟踪时刻被跟踪目标的初始面积；实时获取被跟踪目标在当前时刻的当前面积和当前视场角；当被跟踪目标当前视场角为最小视场角，且被跟踪目标的当前面积小于或等于预定倍数的初始面积时，使用形态学滤波轨迹关联算法对被跟踪目标进行跟踪；否则，缩小视场角并使用模板匹配跟踪算法对被跟踪目标进行跟踪。通过使用本发明所提供的使用连续变焦探测器的目标跟踪方法，可以使用连续变焦探测器对被跟踪目标进行连续跟踪。

Description

一种使用连续变焦探测器的目标跟踪方法

技术领域

本发明涉及图像处理与模式识别技术，特别涉及一种使用连续变焦探测器的目标跟踪方法。

背景技术

目标跟踪是机器视觉的核心问题之一，是一个融合图像处理、模式识别、人工智能及自动控制等不同领域的先进成果的高新技术，在军事制导、视频监控、医疗诊断、产品检测、虚拟现实等众多领域有重要的实用价值和广阔的发展前景。然而，由于被跟踪目标本身特征的多样性和外部环境的复杂性，目标跟踪一直是一个极富挑战性的课题。

低空飞行器(例如，直升机、小型客机和航模等)，从起飞到消失，存在旋转、尺度变化以及地物背景和低空背景的转变。因此，使用连续变焦探测器(例如，焦距范围可达100mm-1000mm)辅助人眼对低空飞行器进行观测，可以大大提高可视距离。但是，随着目标距离的增加，目标在靶面上所成的像素越来越少，对比度和信噪比降低，使得对低空目标进行连续的跟踪极易失败。因此，如何对低空目标进行连续而有效的跟踪具有十分重要的现实意义。

然而，现有技术中所使用的各种基于图像处理的目标跟踪技术，在针对简单背景(例如，干扰较少、背景较干净的情况)下的空中目标时，跟踪效果较好；但是，当被跟踪目标所处的背景比较复杂，或被跟踪目标存在较大形变或者翻转时，对被跟踪目标的跟踪则极易失败。

发明内容

有鉴于此，本发明提供一种使用连续变焦探测器的目标跟踪方法，从而可以使用连续变焦探测器对被跟踪目标进行连续跟踪。

本发明的技术方案具体是这样实现的：

一种使用连续变焦探测器的目标跟踪方法，该方法包括：

记录初始跟踪时刻被跟踪目标的初始面积；

实时获取被跟踪目标在当前时刻的当前面积和当前视场角；

当被跟踪目标当前视场角为最小视场角，且被跟踪目标的当前面积小于或等于预定倍数的初始面积时，使用形态学滤波轨迹关联算法对被跟踪目标进行跟踪；否则，缩小视场角并使用模板匹配跟踪算法对被跟踪目标进行跟踪。

较佳的，所述缩小视场角并使用模板匹配跟踪算法对目标进行跟踪包括：

A1、按照预定步长缩小视场角；

A2、判断被跟踪目标的当前面积是否大于或等于初始面积，如果是，执行步骤A3；否则，返回执行步骤A1；

A3、使用模板匹配跟踪算法对被跟踪目标进行跟踪。

较佳的，所述的预定倍数为0.3倍。

较佳的，所述使用模板匹配跟踪算法对被跟踪目标进行跟踪包括：：

为目标模板区域中的各个像素点设置对应的加权系数，使得离区域的中心点越远的像素点的加权系数越小；

根据原模板矩阵和各个像素点的加权系数，计算得到加权后的模板矩阵；

根据所述加权后的模板矩阵，使用模板匹配跟踪算法对被跟踪目标进行跟踪。

较佳的，所述像素点的加权系数使用如下所述的公式进行计算：

$\mathrm{sigma}=(1-|\frac{2x}{W}\left|\right)(1-|\frac{2y}{H}\left|\right),-\frac{H}{2}\≤y\≤\frac{H}{2}-\frac{W}{2}\≤x\≤\frac{W}{2};$

其中，sigma是像素点(x,y)的加权系数，W和H分别为模板区域的宽度和高度，x和y分别为模板区域离模板中心的横向和纵向距离。

较佳的，所述加权后的模板矩阵使用如下所述的公式进行计算：

Temp_new(x,y)＝Temp(x,y)*sigma(x,y)；

其中，Temp_new(x,y)是加权后的模板矩阵，Temp(x,y)是原模板矩阵，sigma(x,y)是加权系数矩阵。

较佳的，所述使用模板匹配跟踪算法对被跟踪目标进行跟踪包括：

根据当前时刻，从预先设置的第一对应关系中选取对应的搜索区域时间因子；

根据当前视场角，从预先设置的第二对应关系中选取对应的搜索区域面积因子；

根据所选取的搜索区域时间因子和搜索区域面积因子确定当前的搜索区域面积。

较佳的，所述第一对应关系为：

在跟踪初始阶段的预设时长内，所述搜索区域时间因子的值为第一取值；

在所述预设时长之后，所述搜索区域时间因子的值为第二取值；

其中，所述第二取值小于第一取值。

较佳的，所述预设时长为1秒；所述第一取值为2；所述第二取值为1。

较佳的，所述第二对应关系可以为：

$A=\left\{\begin{array}{cc}1200& V_{\min }\&le;V_{\mathrm{cur}}\&le;\frac{V_{\max }}{4}\\ 600& \frac{V_{\max }}{4}<V_{\mathrm{cur}}\&le;\frac{V_{\max }}{2}\\ 300& \frac{V_{\max }}{2}<V_{\mathrm{cur}}\&le;\frac{{3V}_{\max }}{4}\\ 150& \frac{{3V}_{\max }}{4}<V_{\mathrm{cur}}\&le;V_{\max }\end{array}\right.;$

其中，A为搜索区域面积因子，V_cur为当前视场角，V_min为最小视场角，V_max为最大视场角。

较佳的，所述当前的搜索区域面积使用如下所述的公式计算得到：

S_search＝A*alpha；

其中，S_search为当前的搜索区域面积，A为搜索区域面积因子，alpha为搜索区域时间因子。

如上可见，在本发明所提供的使用连续变焦探测器的目标跟踪方法中，可以根据被跟踪目标在当前时刻的当前面积和当前视场角，来选择所使用的跟踪方法，例如，对于纹理较为清晰的“大目标”，可以使用匹配跟踪算法对被跟踪目标进行跟踪，而对于没有纹理特征的“小目标”，则可以使用形态学滤波轨迹关联算法对目标进行跟踪，从而可以针对跟踪目标(例如，低空飞行器：航模、直升机等)当前的具体情况，自适应地选择所使用的跟踪算法，从而可以实现使用连续变焦探测器对被跟踪目标进行连续跟踪，可以有效地提高跟踪精度进度和稳定性。进一步的，在本发明的技术方案中，为了尽量剔除背景的干扰，还将对跟踪模板进行加权处理，排除了目标边缘处背景的干扰；还可以根据被跟踪目标当前所处时刻以及当前探测器视场角，自适应地选择搜索区域大小，降低了伺服系统超调对跟踪效果的影响，提高了跟踪的稳定性。

附图说明

图1为本发明实施例中的使用连续变焦探测器的目标跟踪方法的流程示意图。

图2为本发明实施例中的设置加权系数的示意图。

图3为本发明实施例中的搜索区域时间因子随时间变化的关系曲线图。

图4为本发明实施例中的搜索区域面积因子与视场角大小的关系曲线图。

图5为本发明一个实施例中的使用连续变焦探测器的目标跟踪方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本实施例提供了一种使用连续变焦探测器的目标跟踪方法。

图1为本发明实施例中的使用连续变焦探测器的目标跟踪方法的流程示意图。如图1所示，本发明实施例中的使用连续变焦探测器的目标跟踪方法主要包括如下所述的步骤：

步骤101，记录初始跟踪时刻被跟踪目标的初始面积。

在本发明的技术中，在初始跟踪时刻时，需要记录被跟踪目标的初始面积S₀。其中，所述初始面积为被跟踪目标在初始跟踪时刻在探测器靶面上的成像区域的面积。

步骤102，实时获取被跟踪目标在当前时刻的当前面积和当前视场角。

步骤103，当被跟踪目标当前视场角为最小视场角，且被跟踪目标的当前面积小于或等于预定倍数的初始面积时，使用形态学滤波轨迹关联算法对被跟踪目标进行跟踪；否则，缩小视场角并使用模板匹配跟踪算法对被跟踪目标进行跟踪。

较佳的，在本发明的具体实施例中，所述缩小视场角并使用模板匹配跟踪算法对目标进行跟踪包括如下所述的步骤：

步骤31，按照预定步长缩小视场角；

在本发明的技术方案中，可以根据实际应用情况，预先设定所述的步长，使得可以按照预定步长缩小视场角。具体的设定方式在此不再赘述。

步骤32，判断被跟踪目标的当前面积S是否大于或等于初始面积S₀，如果是，执行步骤33；否则，返回执行步骤31；

步骤33，使用模板匹配跟踪算法对被跟踪目标进行跟踪。

在本发明的技术方案中，所述的预定倍数也可以根据实际应用情况预先设定。例如，较佳的，在本发明的具体实施例中，所述的预定倍数可以是0.3倍，也可以是其它的预设数值。

根据上述的方法可知，在本发明的技术方案中，对于即将起飞或者刚起飞不久的被跟踪目标(例如，低空飞行器)，此时被跟踪目标距离探测器的距离较近，被跟踪目标在探测器靶面上的成像区域的面积(简称面积，下同)较大，纹理较丰富，纹理轮廓较为清晰，并且当被跟踪目标处于天地分界线以下时，地物背景复杂而多变，干扰较多，因此采用模板匹配跟踪算法对被跟踪目标进行跟踪时跟踪稳定性较好。

随着被跟踪目标与探测器之间的距离不断增加，被跟踪目标在靶面上的成像区域将不断变小，此时需要进行相应的判断，以确定是否需要更换跟踪算法。例如，当被跟踪目标的当前面积S小于或等于预定倍数(例如，0.3倍)的初始面积S₀时，可以通过控制电机缩小视场角，使得当前面积S变大；当通过缩小视场角使得当前面积S大于或等于初始面积S₀时，继续使用模板匹配跟踪算法对被跟踪目标进行跟踪；当被跟踪目标的当前面积S小于或等于预定倍数(例如，0.3倍)的初始面积S₀，且当前视场角为探测器视场角的最小值(即最小视场角)时，说明被跟踪目标已经飞得比较远了，例如，处于天空背景，背景比较干净，但是由于距离较远，被跟踪目标在靶面上的成像缺少纹理信息，如果此时仍然使用模板匹配跟踪算法进行跟踪将极易失败。由于形态学滤波轨迹关联算法对于背景较干净的目标的跟踪比较稳定，所以此时可以将跟踪算法自动切换为形态学滤波轨迹关联算法对被跟踪目标进行跟踪，以实现对被跟踪目标的连续跟踪。

另外，在现有技术中，模板匹配跟踪算法中的各个像素点的权重是相同的，因此，对于被跟踪目标的边缘部分，将不可避免的包含进了背景成分。

为了克服上述缺点，在使用本发明的技术方案中，还可以进一步对现有技术中的模板匹配跟踪算法进行改进，对算法中的目标模板进行加权，使得离目标中心点越远的像素点的权重越小，从而尽可能地弱化由于背景成分而带来的对被跟踪目标进行跟踪的干扰。

例如，较佳的，在本发明的具体实施例中，所述使用模板匹配跟踪算法对被跟踪目标进行跟踪包括：

为目标模板区域中的各个像素点设置对应的加权系数，使得离区域的中心点越远的像素点的加权系数越小；

根据原模板矩阵和各个像素点的加权系数，计算得到加权后的模板矩阵；

根据所述加权后的模板矩阵，使用模板匹配跟踪算法对被跟踪目标进行跟踪。

图2为本发明实施例中的设置加权系数示意图。如图2所示，较佳的，在本发明的具体实施例中，所述像素点的加权系数可以使用如下所述的公式进行计算：

$\mathrm{sigma}=(1-|\frac{2x}{W}\left|\right)(1-|\frac{2y}{H}\left|\right),-\frac{H}{2}\&le;y\&le;\frac{H}{2}-\frac{W}{2}\&le;x\&le;\frac{W}{2}---\left(1\right)$

其中，sigma是像素点(x,y)的加权系数，W和H分别为模板区域的宽度和高度，x和y分别为模板区域离模板中心的横向和纵向距离。

较佳的，在本发明的具体实施例中，所述加权后的模板矩阵可以使用如下所述的公式进行计算：

Temp_new(x,y)＝Temp(x,y)*sigma(x,y)    (2)

其中，Temp_new(x,y)是加权后的模板矩阵，Temp(x,y)是不加权的模板矩阵(即原模板矩阵)，sigma(x,y)是加权系数矩阵。

此外，在现有技术中，模板匹配跟踪算法中的搜索区域是固定不变的，因此难以适应连续变焦探测器的视场动态范围广的特点。例如，在某一视场角度下可以适用的搜索范围，当视场角变化后，该搜索范围可能将不再适用，从而导致跟踪失败。

为了克服上述缺点，在使用本发明的技术方案中，也可以进一步对现有技术中的模板匹配跟踪算法进行改进，使得模板匹配跟踪算法的搜索区域可以进行自适应调节，从而提高跟踪算法的精度和稳定性。

对于实际的探测器的伺服系统，在跟踪的初始阶段，由于超调较大，因此跟踪稳定性较弱；而随着超调减小，跟踪稳定性随之提高。因此，在本发明的技术方案中，在跟踪的初始阶段，为防止伺服系统跟丢目标，将加大搜索区域；而当跟踪稳定后，为尽量排除伪目标对跟踪精度的影响，将缩小搜索区域。

例如，较佳的，在本发明的具体实施例中，所述使用模板匹配跟踪算法对被跟踪目标进行跟踪包括：

根据当前时刻，从预先设置的第一对应关系中选取对应的搜索区域时间因子；

根据当前视场角，从预先设置的第二对应关系中选取对应的搜索区域面积因子；

根据所选取的搜索区域时间因子和搜索区域面积因子确定当前的搜索区域面积。

在本发明的技术方案中，所述第一对应关系和第二对应关系可以根据实际应用情况预先设置。

例如，较佳的，在本发明的具体实施例中，所述第一对应关系为：

在跟踪初始阶段的预设时长内，所述搜索区域时间因子alpha的值为第一取值；

在所述预设时长之后，所述搜索区域时间因子alpha的值为第二取值；

其中，所述第二取值小于第一取值。

图3为本发明实施例中搜索区域时间因子随时间变化的关系曲线图。如图3所示，较佳的，在本发明的具体实施例中，其中，所述预设时长可以为1秒，也可以是其它预设的值。

较佳的，在本发明的具体实施例中，所述第一取值为2，所述第二取值为1。

此时，所述第一对应关系为：

$\mathrm{alpha}=\left\{\begin{array}{cc}2& 0\&le;t\&le;1\\ 1& 1<t\end{array}\right.---\left(3\right)$

由图3可知，在本发明的技术方案中，在跟踪初始阶段的1秒钟时间内，伺服系统稳定性较弱，因此可以将所述搜索区域时间因子alpha设置为2；1秒钟后，伺服系统趋于稳定，因此可以将所述搜索区域时间因子alpha设置为1

图4为本发明实施例中的搜索区域面积因子与视场角大小的关系曲线图。如图4所示，较佳的，在本发明的具体实施例中，所述第二对应关系可以为：

$A=\left\{\begin{array}{cc}1200& V_{\min }\&le;V_{\mathrm{cur}}\&le;\frac{V_{\max }}{4}\\ 600& \frac{V_{\max }}{4}<V_{\mathrm{cur}}\&le;\frac{V_{\max }}{2}\\ 300& \frac{V_{\max }}{2}<V_{\mathrm{cur}}\&le;\frac{{3V}_{\max }}{4}\\ 150& \frac{{3V}_{\max }}{4}<V_{\mathrm{cur}}\&le;V_{\max }\end{array}\right.---\left(4\right)$

其中，A为搜索区域面积因子，V_cur为当前视场角，V_min为最小视场角，V_max为最大视场角。

根据上述第二对应关系可知，在本发明的技术方案中，当前视场角越小时，伺服系统越容易出现超调，因此为了保证跟踪的稳定性，当当前视场角越小时，搜索区域应相应增大。

根据上述的公式(4)以及图4可知，在本发明的较佳实施例中，针对水面光电监控系统探测器的视场角范围，以及图像的分辨率(例如，720*288)，可以将视场角分成四个区间，每个区间对应的搜索区域面积因子A大小如公式(4)所示。

此时，当前的搜索区域面积可以使用如下所述的公式计算得到：

S_search＝A*alpha    (5)

其中，S_search为当前的搜索区域面积。

根据上述公式可知，在本发明的技术方案中，由于搜索区域面积因子A可以根据当前视场角的大小进行调节，而搜索区域时间因子alpha则可根据跟踪时刻来进行调节，因此当前的搜索区域面积能够进行自适应调节，从而可以有效地提高跟踪算法的精度和稳定性。

在本发明的技术方案中，还提供了如下所述的一个具体实时例，从而对本发明的是技术方案进行详细的介绍。

图5为本发明一个实施例中的使用连续变焦探测器的目标跟踪方法的流程示意图。如图5所示：

步骤501，记录初始跟踪时刻被跟踪目标的初始面积S₀。

步骤502，实时获取被跟踪目标在当前时刻的当前面积和当前视场角。

步骤503，使用模板匹配跟踪算法对被跟踪目标进行跟踪。

步骤504，判断被跟踪目标当前视场角是否为最小视场角，且被跟踪目标的当前面积S是否小于或等于0.3S₀；如果是，执行步骤505；否则，执行步骤507；

步骤505，按照预定步长缩小视场角；

步骤506，判断S是否大于或等于S₀，如果是，返回执行步骤502；否则，返回执行步骤505；

步骤507，使用形态学滤波轨迹关联算法对被跟踪目标进行跟踪。

通过上述的步骤501～507，即可实现对被跟踪目标进行连续跟踪，保证跟踪的精度和稳定性。

另外，本发明所提供的方法可以使用在多种应用领域，例如，可以适用于水面光电监控系统。在本发明的技术方案中，所使用的图像信号处理器硬件平台可以采用TI公司生产的TMS320C6416 DSP进行构建。在本发明的技术方案中，本发明中所提出的上述方法可以采用TMS320C6416 DSP专用C语言编程实现，经编译后固化在图像信号处理器硬件上，加电后DSP自动加载程序运行。

综上可知，在本发明所提供的使用连续变焦探测器的目标跟踪方法中，可以根据被跟踪目标在当前时刻的当前面积和当前视场角，来选择所使用的跟踪方法，例如，对于纹理较为清晰的“大目标”，可以使用匹配跟踪算法对被跟踪目标进行跟踪，而对于没有纹理特征的“小目标”，则可以使用形态学滤波轨迹关联算法对目标进行跟踪，从而可以针对跟踪目标(例如，低空飞行器：航模、直升机等)当前的具体情况，自适应地选择所使用的跟踪算法，从而可以实现使用连续变焦探测器对被跟踪目标进行连续跟踪，可以有效地提高跟踪精度进度和稳定性。进一步的，在本发明的技术方案中，为了尽量剔除背景的干扰，还将对跟踪模板进行加权处理，排除了目标边缘处背景的干扰；还可以根据被跟踪目标当前所处时刻以及当前探测器视场角，自适应地选择搜索区域大小，降低了伺服系统超调对跟踪效果的影响，提高了跟踪的稳定性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种使用连续变焦探测器的目标跟踪方法，其特征在于，该方法包括：

记录初始跟踪时刻被跟踪目标的初始面积；

实时获取被跟踪目标在当前时刻的当前面积和当前视场角；

当被跟踪目标当前视场角为最小视场角，且被跟踪目标的当前面积小于或等于预定倍数的初始面积时，使用形态学滤波轨迹关联算法对被跟踪目标进行跟踪；否则，缩小视场角并使用模板匹配跟踪算法对被跟踪目标进行跟踪。

2.根据权利要求1所述的方法，其特征在于，所述缩小视场角并使用模板匹配跟踪算法对目标进行跟踪包括：

A1、按照预定步长缩小视场角；

A2、判断被跟踪目标的当前面积是否大于或等于初始面积，如果是，执行步骤A3；否则，返回执行步骤A1；

A3、使用模板匹配跟踪算法对被跟踪目标进行跟踪。

3.根据权利要求1或2所述的方法，其特征在于：

所述的预定倍数为0.3倍。

4.根据权利要求1所述的方法，其特征在于，所述使用模板匹配跟踪算法对被跟踪目标进行跟踪包括：

为目标模板区域中的各个像素点设置对应的加权系数，使得离区域的中心点越远的像素点的加权系数越小；

根据原模板矩阵和各个像素点的加权系数，计算得到加权后的模板矩阵；

根据所述加权后的模板矩阵，使用模板匹配跟踪算法对被跟踪目标进行跟踪。

5.根据权利要求4所述的方法，其特征在于，所述像素点的加权系数使用如下所述的公式进行计算：

$\mathrm{sigma}=(1-|\frac{2x}{W}\left|\right)(1-|\frac{2y}{H}\left|\right),-\frac{H}{2}\&le;y\&le;\frac{H}{2}-\frac{W}{2}\&le;x\&le;\frac{W}{2};$

其中，sigma是像素点(x,y)的加权系数，W和H分别为模板区域的宽度和高度，x和y分别为模板区域离模板中心的横向和纵向距离。

6.根据权利要求5所述的方法，其特征在于，所述加权后的模板矩阵使用如下所述的公式进行计算：

Temp_new(x,y)＝Temp(x,y)*sigma(x,y)；

其中，Temp_new(x,y)是加权后的模板矩阵，Temp(x,y)是原模板矩阵，sigma(x,y)是加权系数矩阵。

7.根据权利要求1所述的方法，其特征在于，所述使用模板匹配跟踪算法对被跟踪目标进行跟踪包括：

根据当前时刻，从预先设置的第一对应关系中选取对应的搜索区域时间因子；

根据当前视场角，从预先设置的第二对应关系中选取对应的搜索区域面积因子；

根据所选取的搜索区域时间因子和搜索区域面积因子确定当前的搜索区域面积。

8.根据权利要求7所述的方法，其特征在于，所述第一对应关系为：

在跟踪初始阶段的预设时长内，所述搜索区域时间因子的值为第一取值；

在所述预设时长之后，所述搜索区域时间因子的值为第二取值；

其中，所述第二取值小于第一取值。

9.根据权利要求8所述的方法，其特征在于：

所述预设时长为1秒；所述第一取值为2；所述第二取值为1。

10.根据权利要求9所述的方法，其特征在于，所述第二对应关系可以为：

$A=\left\{\begin{array}{cc}1200& V_{\min }\&le;V_{\mathrm{cur}}\&le;\frac{V_{\max }}{4}\\ 600& \frac{V_{\max }}{4}<V_{\mathrm{cur}}\&le;\frac{V_{\max }}{2}\\ 300& \frac{V_{\max }}{2}<V_{\mathrm{cur}}\&le;\frac{{3V}_{\max }}{4}\\ 150& \frac{{3V}_{\max }}{4}<V_{\mathrm{cur}}\&le;V_{\max }\end{array}\right.;$

其中，A为搜索区域面积因子，V_cur为当前视场角，V_min为最小视场角，V_max为最大视场角。

11.根据权利要求10所述的方法，其特征在于，所述当前的搜索区域面积使用如下所述的公式计算得到：

S_search＝A*alpha；

其中，S_search为当前的搜索区域面积，A为搜索区域面积因子，alpha为搜索区域时间因子。