CN101826157A - 一种地面静止目标实时识别跟踪方法 - Google Patents

Abstract

一种地面静止目标实时识别跟踪方法，属于成像目标自动识别领域，目的在于能够对高分辨率序列图像中的小目标进行高准确率的识别，并将识别结果(目标位置)实时的反馈给伺服系统。本发明包括：模板生成步骤，低分辨率全局识别步骤，高分辨率局部识别步骤和状态转移判断步骤。本发明针对归一化积相关具有不受比例因子误差的影响和抗白噪声干扰能力强，但计算量较大的特点，采用低分辨率条件下场景匹配和高分辨率条件下局部精确匹配相结合的方法，减小了计算量，有效的解决了对高分辨率小目标的实时精确识别，满足了在高分辨率条件下对处理速度的实时性和识别精度的准确性要求，自适应性强，计算操作简单。

Description

一种地面静止目标实时识别跟踪方法

技术领域

本发明属于成像目标自动识别领域，具体涉及一种地面静止目标实时识别跟踪方法。

背景技术

图像目标匹配识别技术是图像处理领域中的一种重要技术，该技术在诸多领域，如遥感技术、计算机视觉、医学图像处理、自然资源分析、天气预报、光学和雷达跟踪、飞行器巡航制导、导弹地形匹配及投射系统的目标制导等领域有着广泛且重要的应用。图像目标匹配识别技术是把不同传感器或同一传感器在不同时间、不同成像条件下得到的同一景物的两幅或多幅图像在空间上进行对准，以确定出它们之间的几何相关关系，进而确定待识别的目标位置。由于拍摄时间、拍摄角度、自然环境的变化、多种传感器的使用和传感器本身的缺陷，使拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸变。在这种条件下，匹配算法如何达到精度高、匹配率高、速度快、鲁棒性好和抗干扰性强以及并行实现成为人们追求的目标。

在传统的图像匹配算法中，应用较为广泛的是基于像素灰度相关的匹配算法，如王宏力等人在“图像匹配算法研究综述”(第19届计算机技术与应用学术会议论文<上>，2008)一文中谈到这类算法的思想是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵按某种相似性度量方法进行搜索比较的匹配方法。这类算法的性能主要取决于相似性度量、搜索策略及匹配窗口大小的选择。其中，应用最广泛的是平均绝对差算法和归一化积相关算法。平均绝对差算法计算过程简单，但对噪声比较敏感，匹配率随着信噪比的增加而减小。归一化积相关算法较前者有较强的抗干扰能力，但它庞大的计算量显然不能满足实时性的需求，而且当有较大的灰度畸变和几何变形时，匹配往往会失败。

目前，大量待处理的图像信息需要用实时性很强的图像匹配算法去处理，然而，传统的图像匹配算法的实时性有一定的限制，特别是在信息技术高度发展的今天，传统的图像匹配算法的实时性已不能满足人们的需求。

在过去的几十年里，人们在传统匹配算法的基础上进行了改进，各种图像匹配算法相继出现，而且结合许多数学理论和方法，人们又不断提出了新的匹配方法。

2005年，Stefeno等人在“ZNCC-based template matching using boundedpartial correlation”(Proc：Pattern Recognition Letters，2005，26：2129-2134)中提出了一种基于零均值正则化互相关函数的有界部分匹配方法，通过应用柯西一施瓦兹不等式得到相关函数新的下界，从而减少了匹过程中繁琐的计算量。

Takahit等人在“A Fast Template Matching Algorithm with AdaptiveSkipplng Using Inner-Subtemplates’Distance”(Proc：ICPR，2004，(3)：654-657)中在对序贯相似性检测算法研究的基础上，利用滑动窗口内部与模板窗口内部的子窗口之间的一种三角距离不等式来得到下界，通过与预先设定的阈值比较，来决定是否跳过此搜索位置，从而得到一种快速的图像匹配算法。

李强等人在“一种基于图像灰度的快速匹配算法”(软件学报，2006，17(2)：216-222)中提出一种新的基于灰度的图像匹配方法，这种方法将图像分割为一定大小的方块(称为R-块)，计算每个R-块图像的总灰度值，并根据它与相邻R-块灰度值的排序关系进行编码，然后通过各个R-块编码值的比较，实现图像与模板的匹配。

罗钟铉等人在“灰度图像匹配的快速算法”(计算机辅助设计与图形学学报，2005，17(5)：966-970)中提出了将小波变换与投影特征相结合的匹配算法，并且在小波变换的每一层设置阈值来减少误匹配，从而缩短了匹配时间。

后来又相继有学者提出SSDA算法和基于图像金字塔的模板匹配算法等，如刘国权等人在“基于小波图像金字塔的SSDA快速模板匹配算法”(科技广场学报，2007，11(048)：134-136)中采用小波多分辨率的思想，由“粗”到“细”，并对固定阈值的SSDA算法进行改进，采用了一种自适应阈值的SSDA算法，不断对阈值进行自适应更新来减少运算量，提高了算法的实时性和可靠性。

另一种减少匹配搜索时间的有效方法是分级匹配算法，即采用金字塔式数据结构，按先粗后细的顺序寻找目标，方法是先对原图像中2*2领域内的像点灰度值取平均，得到分辨率低一级的图像，照此处理，可得到一组金字塔式的图像。当把待匹配的两幅图都做此处理后，匹配搜索从二图的某一低分辨率开始。这里不但像素点少，高频信息也被平滑掉一部分，因此初匹配结果可能出现不止一个匹配位置。因为初匹配时图像像素点少，即使是在全部参考点上进行，搜索过程仍很快，接下去转到高一级分辨率的图上找匹配，但搜索空间只限于一个或几个初匹配点附近，计算量明显不算大。

这些算法都在减少或变换搜索空间和提高搜索策略的基础上提高了实时处理图像数据的速度。但我们可以发现，其中的大多数研究人员都是从单幅图像入手，对于序列图的情况，它们的实时性会大打折扣，针对序列图像的识别具有数据量大、实时性要求高、可靠性要强等特点，人们又提出了一些改进的算法：

修春波等人在“序列图像的目标识别方法”(计算机工程与应用学报，2007，43(33)：41-42)中结合灰度差绝对平均值算法，提出了基于特征值检测的环形模板匹配算法，有效的减小了识别过程中的匹配次数；

殷飞等人在“一种新的序列图像匹配定位算法”(红外与激光工程学报，2001，30(6)：422-425)一文中提出了一种基于归一化灰度相关的序列图像匹配算法，利用飞行器飞越匹配区时所得到的序列实时图像，在序列中各单幅图像匹配的基础上，利用一定的规则来综合单幅图像的匹配结果，从而得到最终匹配结果。

然而，纵观这几年来对提高匹配识别的准确性和实时性而提出的各种算法，仍然存在以下一些问题和难点：

(1)对于较高分辨率的图像序列，在保证识别精度的同时，很难满足实时性的要求；

(2)对于高分辨率图像序列中的小目标，降分辨率后将无法提取特征，识别精度会大受影响；

发明内容

本发明提供一种地面静止目标实时识别跟踪方法，目的在于能够在较高的分辨率下实现对细小目标的实时准确的识别，并具有自适应性。

本发明先对实时序列目标图像进行降分辨率操作，并在低分辨率条件下，采用场景匹配的方法，找到目标的粗略位置，然后在高分辨率图像中以目标为中心截取局部图像区域，最后在截取的局部图像区域中进行目标的精确定位。具体步骤如下：

一种地面静止目标实时识别跟踪方法，包括如下步骤：

(1)模板生成步骤

读取预先存储的目标模板R，取对该目标模板R降K₁倍分辨率后的图像作为低分辨率模板R_X，取对该目标模板R降K₂倍分辨率后的图像中的以所述目标为中心截取的局部图像作为高分辨率模板R_L，其中K₁为正整数，K₂为自然数，且满足K₂＜K₁。

(2)低分辨率全局识别步骤

依次读取实时图序列图像的连续M帧图像并作如下处理：对其中任一帧实时图像Sⁿ，先进行降K₁倍分辨率处理得到图像S_X ⁿ，再将S_Xn和所述低分辨率模板R_X进行归一化积相关运算，得到对应图像S_X ⁿ中每一点(u，v)的相似度ρ_L ⁿ(u，v)，设该任一帧实时图像Sⁿ的相似度为C_L ⁿ，并令

$C_L^n=\underset{u,v}{\max }\left({\mathrm{\&rho;}}_L^n(u,v)\right)$

得到在实时图像S_X ⁿ中对应于相似度为C_L ⁿ的位置P_X ⁿ，进一步得到P_X ⁿ对应在Sⁿ的全局坐标Pⁿ；

并设定阈值

n＝1，2，L，M，其中M为大于1的正整数。

(3)高分辨率局部识别步骤

读取下一帧实时图像，对该下一帧图像进行降K₂倍分辨率处理得到实时图像在

上以该下一帧图像的前一帧图像中得到的目标点的位置为中心截取局部图像S_L ⁿ，将其与高分辨率模板R_L进行归一化积相关运算，得到对应图像S_L ⁿ中每一点(u，v)的相似度ρ_H ⁿ(u，v)，设该下一帧实时图像Sⁿ的相似度为C_H ⁿ，并令

$C_H^n=\underset{u,v}{\max }\left({\mathrm{\&rho;}}_H^n(u,v)\right),$

相似度为C_H ⁿ的位置即为所述目标的精确位置P_L ⁿ，并相应得到对应在该下一帧实时图像的全局坐标Qⁿ，即在该下一帧实时图像中识别出所述目标。

(4)状态转移判断步骤，确认步骤(3)的识别结果是否可信，即如果

则识别结果是可信的，转步骤(3)；否则不可信，转步骤(2)。

本发明具有以下优点：

(1)处理速度快。当处理的对象是实时图像序列，且实时图像的分辨率很高时，一般的匹配算法无法满足实时性的要求，相比全局高分辨率匹配、全局低分辨率匹配和分级匹配，本发明提供的这种方法的计算复杂度是最少的，处理速度是最快的。

(2)可以对高分辨率下的小目标进行有效的识别。本发明采用低分辨率条件下场景匹配方法，当目标降分辨率之后消失在视场中，依然可以找到目标的大致区域，再在高分辨率条件下进行局部区域的精确匹配，大大提高了对小目标识别的精度。

(3)具有很强的自适应性。本发明提供的这种方法采用了状态转移判断，即在低分辨率下记录连续n帧的相似度，取它们的最大值为高分辨率局部识别时的相似度阈值，若某一帧的高分辨率局部识别结果对应的相似度低于阈值，说明识别结果错误，这样系统自动跳回低分辨率全局识别步骤中，重新调整阈值再转入高分辨率局部识别直到达到要求。

附图说明

图1是本发明实施例总体结构示意图；

图2是本发明实施例总体实现详细流程图；

图3是目标场景示意图，黑色框内为目标；

图4是用于匹配的模板，中间位置的小车为目标；

图5是降二倍分辨率后的模板；

图6是截取的局部模板；

图7是序列图像中第1、3 1、61、91帧图像；

图8是采用本发明的方法后第1、31、61、91帧图像对应的定位结果示意图；

图9是采用分级匹配后第1、3 1、61、91帧图像对应的定位结果示意图；

图10是采用全局低分辨率匹配后第1、31、61、91帧图像对应的定位结果示意图；

图11是采用全局高分辨率匹配后第1、3 1、61、91帧图像对应的定位结果示意图；

具体实施方式

本实施例采用软件仿真的分辨率为502×502(像素)的序列图像共98帧进行试验，目标为其中的一辆小车(10×10，图3中黑色方框内)。本发明的具体实施过程为：

(1)模板生成步骤，读取预先存储的目标模板R(即为和实时图进行匹配的包含目标的参考图像，如图4所示)，大小为M_r×N_r＝128×128，降K₁＝2倍分辨率后的图像作为模板R_X(大小为M_rx×N_rx＝32×32)(图5)，以目标模板R(此时K₂＝0)中目标点为中心截取局部图像作为模板R_L(大小为M_rl×N_rl＝32×32)(图6)；

降分辨率原理如下所示：设降分辨率倍数为K，原图为G(u，v)，降分辨率后图像为F_X(x，y)

F_X(x，y)＝G(2^Kx，2^Ky)

截取局部图像原理如下所示：原图为G(u，v)，处理后图像为F_L(x，y)，目标点在原图的坐标为(X，Y)

F_L(x，y)＝G(X+x，Y+y)

(2)低分辨率全局识别步骤，依次读取实时图序列图像的连续5(即M＝5)帧图像，设输入任意的第n帧(n为正整数)原始图像Sⁿ(图7中选取的四幅原始图像从左至右、从上至下分别为S¹、S³¹、S⁶¹、S⁹¹，大小为M_s×N_s＝502×502)，对实时图像Sⁿ进行降K₁＝2倍分辨率后得到实时图像S_X ⁿ(大小为M_sx×N_sx＝502×502)，将其和模板R_X进行归一化积相关运算，经化简的互相关公式为：

${\mathrm{\&rho;}}_L^n(u,v)=\frac{\underset{i=1}{\overset{M_{\mathrm{rx}}}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_{\mathrm{rx}}}{\mathrm{\&Sigma;}}}[S_X^n(i+u,j+v)\&times;R_X(i,j)]-M_{\mathrm{rx}}{N}_{\mathrm{rx}}\stackrel{\&OverBar;}{S_X^n(u,v)}\&times;\stackrel{\&OverBar;}{R_X}}{\sqrt{\underset{i=1}{\overset{M_{\mathrm{rx}}}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_{\mathrm{rx}}}{\mathrm{\&Sigma;}}}{S_X^n(i+u,j+v)}^2-M_{\mathrm{rx}}{N}_{\mathrm{rx}}{\stackrel{\&OverBar;}{S_X^n(u,v)}}^2}\sqrt{\underset{i=1}{\overset{M_{\mathrm{rx}}}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_{\mathrm{rx}}}{\mathrm{\&Sigma;}}}{R}_X{(i,j)}^2-M_{\mathrm{rx}}{N}_{\mathrm{rx}}}{\stackrel{\&OverBar;}{R_X}}^2}$

其中，ρ_L ⁿ(u，v)为对应图像S_X ⁿ中每一点(u，v)的相关系数(或相似度)，u＝1，2，L，M_sx-M_rx+1，v＝1，2，L，N_sx-N_rx+1，i＝1，2，L，M_rx，j＝1，2，L，N_rx。

ρ_L ⁿ(u，v)的大小范围为[0，1]，设该第n帧的相似度为C_L ⁿ，这里令

即可得到对应于相似度为C_L ⁿ的位置P_X ⁿ，此位置即为目标在S_X ⁿ中的位置。然后将P_X ⁿ转换为全局的坐标Pⁿ，转换公式为：

$P^n=P_X^n\frac{S^n}{S_X^n}=4P_X^n;$

对应于整个图像序列中的每一帧实时图像，我们算得其降分辨率后的图像S_X ⁿ与模板R_X进行归一化相关运算的相关系数(或相似度)C_L ⁿ如图12所示(横轴为帧序号，纵轴为相关系数)。

设定阈值为

n＝1，2，L，M。

(3)高分辨率局部识别步骤，读取下一帧实时图像，截取该帧图像(此时K₂＝0)中以目标点Pⁿ为中心的局部高分辨率图像S_L ⁿ(相对于降分辨率后的图像来说为高分辨率图像)，大小为M_sl×N_sl＝96×96，和模板R_L进行如步骤(2)类似的归一化积相关运算，得到ρ_H ⁿ(u，v)，设第n帧的相似度为C_H ⁿ，令即可得到对应于相似度为C_H ⁿ的精确位置P_L ⁿ，此位置即为目标在S_L ⁿ中的位置。然后将P_L ⁿ转换到全局Sⁿ中的坐标Qⁿ，转换公式为：

$Q^n=(P^n+P_L^n-R_L/2)\&times;\frac{S^n}{S_{K_2}^n}=P^n+P_L^n-R_L/2;$

同样的，我们算得对应于每一帧局部高分辨率图像S_L ⁿ与模板R_L进行归一化积相关运算的相关系数C_H ⁿ，如图13所示，横轴为帧序号，纵轴为C_H ⁿ的大小。

(4)状态转移判断步骤，记录当前帧的相似度C_H ⁿ，相似度的阈值为C_T，确认步骤(3)的识别结果是否可信，规则如下：

如果

则可信，转步骤(3)；否则不可信，转步骤(2)。

我们从序列图像中选取有代表性的四幅原始图像S¹、S³¹、S⁶¹和S⁹¹(图7)，分别按照上述具体实施步骤进行操作，得到对应的识别结果图如图8所示，图8的各幅图像中标有“十”的位置正是目标点位置。

图9、图10、图11分别为采用分级匹配算法、全局低分辨率匹配算法、全局高分辨率匹配算法对原始图像S¹、S³¹、S⁶¹和S⁹¹进行处理得到的对应识别结果图。

为了说明本发明的优点，这里对几种常见的匹配算法分别进行测试分析，它们为全局高分辨率(原始图像，降分辨率倍数为0)匹配算法，全局低分辨率(降分辨率倍数为2)匹配算法，分级匹配算法(降分辨率倍数分别为2和0)和本发明提供的方法。四种算法的比较如下表所示(处理对象是分辨率为502×502的图像序列)。

表中单帧计算复杂度是计算单帧匹配识别整个过程中对应于归一化积相关运算的总运算量，原图像大小为502×502，模板为32×32，以全局高分辨率匹配为例，根据归一化积相关公式，乘法次数和加法次数分别为3×32²×(502-32+1)²＝681495552和3×(32²-1)×(502-32+1)²＝680830029；平均相似度是计算每一帧的归一化积相关运算后的相似系数后取均值；时间是通过CCS软件仿真测试出来的每帧平均时间，仿真系统配置为Texas Instruments公司的DSP集成开发环境CCS3.3(Code ComposerStudio)的C6455 Simulator(with VCP_TCP)，小端模式(Little Endian)。

Claims (1)

1.一种地面静止目标实时识别跟踪方法，包括如下步骤：

(1)模板生成步骤

读取预先存储的目标模板R，取对该目标模板R降K₁倍分辨率后的图像作为低分辨率模板R_X，取对该目标模板R降K₂倍分辨率后的图像中的以所述目标为中心截取的局部图像作为高分辨率模板R_L，其中K₁为正整数，K₂为自然数，且满足K₂＜K₁。

(2)低分辨率全局识别步骤

依次读取实时图序列图像的连续M帧图像并作如下处理：对其中任一帧实时图像Sⁿ，先进行降K₁倍分辨率处理得到图像S_X ⁿ，再将S_X ⁿ和所述低分辨率模板R_X进行归一化积相关运算，得到对应图像S_X ⁿ中每一点(u，v)的相似度ρ_L ⁿ(u，v)，设该任一帧实时图像Sⁿ的相似度为C_L ⁿ，并令

$C_L^n=\underset{u,v}{\max }\left({\mathrm{\&rho;}}_L^n(u,v)\right)$

得到在实时图像S_X ⁿ中对应于相似度为C_L ⁿ的位置P_X ⁿ，进一步得到P_X ⁿ对应在Sⁿ的全局坐标Pⁿ；

并设定阈值n＝1，2，L，M，其中M为大于1的正整数。

(3)高分辨率局部识别步骤

读取下一帧实时图像，对该下一帧图像进行降K₂倍分辨率处理得到实时图像在上以该下一帧图像的前一帧图像中得到的目标点的位置为中心截取局部图像S_L ⁿ，将S_L ⁿ与高分辨率模板R_L进行归一化积相关运算，得到对应图像S_L ⁿ中每一点(u，v)的相似度ρ_H ⁿ(u，v)，设该下一帧实时图像Sⁿ的相似度为C_H ⁿ，并令

$C_H^n==\underset{u,v}{\max }\left({\mathrm{\&rho;}}_H^n(u,v)\right),$

相似度为C_H ⁿ的位置即为所述目标的精确位置P_L ⁿ，并相应得到对应在该下一帧实时图像的全局坐标Qⁿ，即在该下一帧实时图像中识别出所述目标。

(4)状态转移判断步骤，确认步骤(3)的识别结果是否可信，即如果则识别结果是可信的，转步骤(3)；否则不可信，转步骤(2)。

Images