CN103065131B - 一种复杂场景下自动目标识别跟踪方法及系统 - Google Patents

Abstract

本发明公开一种复杂场景下自动目标识别跟踪方法及系统，采用嵌入式图像处理器+高速FPGA处理器架构，用嵌入式图像处理器完成复杂场景下的目标自动识别功能，用高速FPGA处理器架构完成实时跟踪以及通信模块功能。本发明还公开了一种基于上述系统的复杂场景下自动目标识别跟踪方法，既保证了复杂场景下目标的快速识别，同时也保证了目标识别和跟踪的精度，从而解决了目前复杂场景下无法在嵌入式设备上完成目标的快速识别问题，在精确制导武器方面具有重大的应用价值和良好的应用前景。

Description

一种复杂场景下自动目标识别跟踪方法及系统

技术领域

本发明涉及一种自动目标识别跟踪方法及系统，尤其是一种复杂场景下自动目标识别跟踪方法及系统。

背景技术

自动目标识别与跟踪技术是采用计算机处理一个或多个传感器的输出信号(主要是图像信号)，识别和跟踪特定目标的一种技术。它对战术导弹武器精确打击目标、智能化攻击目标和提高发射平台的生存能力，具有重要意义。

实际战场场景大多非常复杂，复杂场景下自动目标识别需解决的难点包括：1)目标特性的多样性；2)背景的千变万化；3)随天气情况、太阳辐射变化等因素引起的目标和背景辐射特性的变化；4)模板图与导引头拍摄的图像存在的旋转、缩放以及几何畸变；5)实时快速完成信号处理任务。

现有的目标识别算法主要有统计模式识别、基于模型(知识)的识别、基于不变量的识别、基于特征的识别和基于模板的识别等。针对上述应用难点，采用图像不变特征的识别算法比较适合。

采用图像不变特征的识别算法具有旋转、尺度以及仿射变化不变特性的适应能力，能够较好的解决复杂场景下自动目标识别问题，但由于此识别算法涉及到多尺度运算、多维特征空间计算和亚像素定位等，计算较复杂，一般都是在计算机或者工控机上实现的，还没在嵌入式设备上实现快速识别功能，因此无法得到实际应用。

发明内容

本发明要解决的技术问题：克服现有技术的不足，提供一种复杂场景下自动目标识别跟踪方法及系统，使其能够在复杂场景下，在嵌入式设备上快速准确自动识别目标物体，并能进行稳定实时的跟踪。

本发明技术解决方案：一种复杂场景下自动目标识别跟踪方法，实现步骤如下：

(1)装订目标模板信息；

前期采集不同位置的目标图像序列，并进行目标图像序列的特征点提取和特征描述子提取，然后将特征点和特征描述子叠加上采集图像时所处的位置信息和目标所在图像中的位置信息，生成目标模板信息，然后将目标模板信息装订到存储设备上；

(2)根据目前所处的位置信息，从存储器中的目标模板信息序列中，选取与目前所处位置最接近的目标模板信息；

(3)采集实时图像信息，得到识别帧，进入识别模式阶段，所述识别模式实现为：

(31)提取识别帧的特征点位置，并根据特征点周围邻域详细的信息，即局部特征，生成特征描述子；

(32)由步骤(2)中读取的目标模板信息中的特征点和特征描述子与步骤(31)中的识别帧的特征点及特征描述子，两两比较找出相互匹配的若干对特征点，建立景物间的对应关系；

(33)在若干对特征点中，根据大于四对相互匹配的特征点关系，拟合透视变换参数；

(34)由步骤(2)中读取的目标模板信息中的目标所在图像中的位置信息和步骤(33)得到的透视变换参数，计算目标在识别帧中的相应坐标位置；

(35)在进行步骤(31)、(32)、(33)、(34)过程中，实时图像由步骤(31)中的t0时刻识别帧，更新到tn时刻的当前帧，在此期间，采用相关跟踪算法计算t0时刻识别帧与tn时刻当前帧的坐标位置变化关系，由步骤(34)得到的目标在识别帧中的相应坐标位置和t0时刻到tn时刻坐标位置变化关系计算得到目标在tn时刻当前帧的准确位置；

(4)最后将步骤(35)中的tn时刻识别结果代入跟踪模块，进行实时跟踪模式阶段，完成跟踪任务。

本发明的一种复杂场景下自动目标识别跟踪系统，包含：

嵌入式图像处理器，与视频解码设备相连，获得实时图像信息，与FPGA相连，获得识别帧和当前帧坐标位置变化关系，与大容量NORFLASH相连，获得目标模板图信息，与大容量DDR2RAM相连，存储实时图像信息，与图像显示设备相连，输出图像信息，嵌入式图像处理器完成识别帧的特征点位置和特征描述子提取、识别帧与目标模板信息匹配、拟合透视变化参数、计算目标在识别帧的位置信息、根据目标在识别帧的位置信息和FPGA提供的识别帧和当前帧坐标位置变化关系计算目标在当前帧的位置信息；

高速FPGA处理器，与串口设备相连，获得控制指令，并发送跟踪结果，与嵌入式图像处理器相连，提供识别帧和当前帧坐标位置变化关系，高速FPGA处理器完成串口通信以及相关跟踪算法实现；

大容量NORFLASH，与嵌入式图像处理器相连，提供嵌入式图像处理器所需的目标模板信息，大容量NORFLASH用于目标模板信息的掉电存储以及系统运行程序的掉电存储；

大容量DDR2RAM，与嵌入式图像处理器相连，提供嵌入式图像处理器运行程序所需内存空间；

图像采集设备，与视频解码设备相连，提供模拟视频信息，图像采集设备用于实时模拟图像信息的采集；

视频解码设备，与图像采集设备相连，用于转换模拟图像信息为数字图像信息，与嵌入式图像处理器相连，提供实时数字图像信息；

图像显示设备，与嵌入式图像处理器相连，用于处理结果及实时图像的显示；

串口控制设备，与FPGA相连，用于控制命令的发送以及跟踪结果的接收。

本发明与现有技术相比的优点在于：

(1)存储器中装订有多幅不同位置拍摄的目标模板信息，目标模板信息包括拍摄位置信息、目标位置信息、从模板图像提取的特征点位置以及特征描述子信息。目标模板图像前期进行特征提取与描述，再装订到存储器上，等待系统选取，这样节省了系统在进行目标模板图和实时图进行匹配时，提取目标模板图特征信息的时间，提高了识别速度。

(2)在读取目标模板信息时，系统会根据目前所处的位置信息，从存储器中选取与目前所处位置最接近的目标模板信息，以减小目标模板图与识别帧的位置差异，从而提高识别目标的速度和精度。

(3)经过上述改进后，识别速度大大提升，但还无法提升到实时识别的程度，从而影响识别精度，进而影响跟踪精度。因此，在嵌入式图像处理器进行识别帧目标识别过程中，FPGA同时对识别帧和在目标识别过程中后续实时视频图像进行相关跟踪，即MAD，从而得到嵌入式图像处理器在目标识别过程中，识别帧与捕获目标后当前实时视频图像当前帧的坐标位置关系，由上述数据可快速计算出目标捕获后在当前实时视频图像的准确坐标，从而为后续跟踪提供准确目标位置信息。

(4)选取了嵌入式图像处理器+高速FPGA处理器架构，便于提高图像处理的效率以及实用化；并针对硬件系统的特点，对识别算法进行了改进，提高了复杂场景下在本发明硬件系统上的识别速度，并具有一定的抗尺度和旋转变化的功能；同时在系统中加入了识别策略，保证系统识别的快速准确性，从而为后续实时跟踪提供准确位置信息。

附图说明

图1为本发明的硬件系统结构图；

图2为本发明的方法实现流程框图；

图3为本发明的识别算法框图；

图4为非极大值抑制图；

图5为Haar小波模板图；

图6为特征描述子表示图；

图7为本发明的目标模板图和实时图的特征点与目标关系图；

其中(a)目标模板图特征点和目标位置，(b)实时图匹配点和目标位置；

图8为本发明的图像目标位置随时间变化图。

具体实施方式

为了提高系统处理速度，本发明硬件系统采用了嵌入式图像处理器+高速FPGA处理器架构，用嵌入式图像处理器完成复杂场景下的目标识别功能，用高速FPGA处理器完成目标的实时跟踪以及通信模块功能，同时提出一种识别策略，这样既保证了复杂场景下目标识别的高效性，同时也保证了目标识别和跟踪的精度。

本发明硬件系统架构如图1所示，包括：

嵌入式图像处理器，用于实现复杂场景下的目标快速自动识别。图像处理器型号为TMS320DM6437，其基于C64x+内核结构，片内采用L1/L2两级缓存结构，芯片主频最高可达660MHz，处理能力达5280MIPS。这些都有利于实现对图像数据的迅速处理。另外其带有视频处理子系统，可以与视频解码芯片无缝连接，并可以直接输出模拟视频信号，用于处理结果及实时图像的显示；

高速FPGA处理器，用于实现实时跟踪及通信接口扩展。其采用45nm的CMOS工艺，包含147443个逻辑资源，为实现实时跟踪与通信的同时处理提供了硬件基础；

大容量NORFLASH，用于目标模板信息序列以及系统运行程序的掉电存储；

大容量DDR2RAM，用于系统程序的在线运行、图像数据存储以及数据处理的缓存；

图像采集设备，用于实时模拟视频图像的采集；

视频解码设备，用于转换模拟视频信号为数字视频信号；

图像显示设备，用于处理结果以及实时图像的显示；

串口控制设备，用于控制命令的发送以及处理结果的接收。

当系统加电后，硬件设备会自动完成相应初始化工作，然后进入软件流程。

本发明方法实现如图2，包括如下步骤：

系统在使用前，需要上电装订在不同位置采集并处理后的目标模板信息序列。目标模板信息包括拍摄位置信息、目标位置信息、从模板图像提取的特征点位置以及特征描述子信息。系统使用前期，需要在不同位置采集目标所在区域的图像序列，并在PC机上对不同位置采集的目标图像序列进行特征点提取和特征描述子提取后，叠加上采集图像时所处的位置信息，目标所在图像中的位置信息，生成目标模板信息，待系统上电后，装订到NORFLASH上，等待系统使用时选取；

目标模板信息装订完毕后，再次上电，根据用户需求，既可选择再次装订目标模板信息，即更新目标模板信息，也可选择进行人机交互，对系统进行配置，待系统接收到目标识别指令后，FPGA从串口控制设备得到目前系统所处位置信息，再通过外部总线将位置信息传送给嵌入式图像处理器；

嵌入式图像处理器根据目前系统所处位置信息从大容量NORFLASH读取最接近目前位置的目标模板图信息，存入大容量DDR2RAM中。

视频采集设备开始实时采集视频图像信息，经由视频解码设备将模拟视频信号转为数字信号，嵌入式图像处理器将数字图像信号存入大容量DDR2RAM中，然后进入目标识别模式。

进入目标识别模式，嵌入式图像处理器对当前帧图像数据进行识别算法计算，其步骤参见图3。

(1)提取当前帧图像数据的特征点位置，并根据特征点周围邻域详细的信息(局部特征)生成特征描述子。对于当前帧图像，计算图像在不同尺度下的滤波器响应值，然后在图像中提取特征点位置可分为三个步骤：

a.滤波器响应与提前设定的阈值进行比较，低于阈值的点被去除。因此，增大阈值会减少检测到的兴趣点的数目，只有响应最强的点被保留；而减小阈值则会检测到更多的兴趣点。所以，阈值应根据实际需求进行选取。

b.阈值处理后，要执行非极大值抑制寻找候选特征点。尺度空间(Scale)中的每一个点都要与其26个邻域点(由同尺度层的8个相邻点和上下相邻尺度层各9个点)进行比较，以确保在尺度空间和图像位置空间都检测到极值点。如图4所示，标记‘x’的像素点的特征值若大于周围像素则可确定该点为该区域的特征点。

c.以上特征点的搜索是在离散空间中进行的，检测到的极值点并不是真正的特征点，因此需要对检测到特征点插值得到连续空间特征点。利用泰勒级数，将H(x，y，σ)展开为二次函数如下，其中H为图像坐标为(x，y)，尺度为σ的hession矩阵行列式。

$H\left(x\right)=H+\frac{{\∂H}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}H}{{\∂x}^2}x$

对上式函数两边取偏导数并设为0，则可得到极值点(特征点)的插值位置：

$\frac{\∂H}{\∂x}=0+\frac{{\∂H}^T}{\∂x}+\frac{{\∂}^{2}H}{{\∂x}^2}x=0$

$\hat{x}=-\frac{{\∂}^2{H}^{-1}}{{\∂x}^2}\frac{\∂H}{\∂x}$

这里的偏导数由邻域像素的有限差分来近似。如果(相对于插值中心点的偏移量)在x，y或σ方向的偏移大于0.5，则调整位置并且反复执行插值直到在所有方向都小于0.5，最终得到特征点位置，其中x，y分别为图像横，纵坐标，σ为尺度。

在特征点提取之后，需要对特征点附近局部图像进行描述，以便于两幅图像之间进行相似性比较。

为了实现图像旋转的不变性，需要对每个特征点分配一个主方向。首先以特征点为中心，半径为6s(s为特征点的尺度)的圆形区域内，以s为步长的采样点在x，y方向计算Haar小波(边长取4s)响应，Haar小波模板如图5所示，左为x方向，右为y方向，黑色区域内填充值为1，白色区域内填充值为-1。使用σ＝2.5s的高斯加权函数对Haar小波响应值进行高斯加权，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小。

为了求取主方向，以特征点为中心，张角为的扇形滑动窗口。以步长0.2弧度，旋转这个滑动窗口，并对滑动窗口内图像Haar小波响应值dx、dy进行累加以形成一个矢量如下，其中m_w，θ_w分别为长度，角度。

$m_w=\sqrt{{\left(\underset{w}{\mathrm{\Σ}}\mathrm{dx}\right)}^2+{\left(\underset{w}{\mathrm{\Σ}}\mathrm{dy}\right)}^2}$

${\mathrm{\θ}}_w=\arctan (\underset{w}{\mathrm{\Σ}}\mathrm{dy}/\underset{w}{\mathrm{\Σ}}\mathrm{dx})$

遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向，其中θ为主方向。

θ＝θ_w|max{m_w}

以特征点为中心，主方向为参考x轴方向，20s为边长，做正方形区域，并将该区域分为4×4个子区域。每个子区域取5×5个采样点，计算这些采样点上沿主方向尺寸为2s的Haar小波响应值dy和垂直于主方向的dx。然后以特征点为中心，对响应进行高斯加权(σ＝3.3s)，分别对每个子块的响应值进行统计，得到每个子块的矢量V_子块：

V_子块＝[∑dx，∑|dx|，∑dy，∑|dy|]

由于共有4×4×4个子块，特征描述子共有64维特征矢量组成，如图6所示。

(2)通过选取的模板图像信息中特征点及描述子和实时图像当前帧的特征点及描述子的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。将目标模板信息中每个特征点依次与当前帧中的所有特征点进行匹配，即依次计算目标模板信息中待匹配的特征点描述子与当前帧的各个特征点描述子之间的欧氏距离，找到距离最近和次近的两个匹配点，当最近距离和次近距离的差距较大(最近距离小于次短距离的0.6)时认为匹配成功，同时记录相应匹配关系。

(3)根据多于四对相互匹配的特征点关系，拟合透视变换参数。

a.依次随机取多个不同的匹配特征点对子集(本实施例每次取5对)，对该子集使用最小二乘法估计透视变换参数矩阵。

b.在数据集中统计符合该模型参数的样本数目来计算透视变换参数的质量，能够满足最多的匹配特征点的模型参数即为目标模板图和识别帧图像的透视变换参数。

(4)根据目标在目标模板图的顶点坐标和透视变换参数，计算目标在识别帧中的相应坐标。如图7所示。

将目标在目标模板图像中的四个顶点像素坐标(0，0)、(object_width，0)、(object_width，object_height)、(0，object_height)分别作为(x，y)代入下面的公式计算其在实时图像中的对应像素坐标(X，Y)，连接各坐标顶点即可确定目标在识别帧中的区域。其中h为透视变换矩阵，object_width为目标宽度，object_height为目标高度。

$\left\{\begin{array}{c}X=\left(h\right[0]\·x+h[1]\·y+h[2\left]\right)/\left(h\right[6]\·x+h[7]\·y+h[8\left]\right)\\ Y=\left(h\right[3]\·x+h[4]\·y+h[5\left]\right)/\left(h\right[6]\·x+h[7]\·y+h[8\left]\right)\end{array}\right.$

(5)在目标识别模式时，嵌入式图像处理器处理t0时刻图像数据，进行识别算法计算，在tn时刻得出t0时刻目标所在图像上的位置。同时，FPGA以t0时刻图像为模板，对后面直到tn时刻的图像序列进行相关跟踪，即MAD跟踪，从而得出t0时刻图像和tn时刻的图像的坐标位置变化关系。嵌入式图像处理器由t0时刻算出的目标位置和FPGA计算出的t0时刻图像和tn时刻的图像的坐标位置变化关系，代入下面公式，计算出目标在tn时刻的准确坐标位置，如图8所示。从而进入目标跟踪模式。其中w，h分别为t0，tn时刻由MAD跟踪算法得到的坐标变化关系，X_t0，X_tn分别为t0，tn时刻图像横坐标，Y_t0，Y_tn分别为t0，tn时刻图像纵坐标。

$\left\{\begin{array}{c}{X}_{\mathrm{tn}}=X_{t0}+w\\ Y_{\mathrm{tn}}=Y_{t0}+h\end{array}\right.$

在目标跟踪模式时，FPGA跟据嵌入式图像处理器在tn时刻计算出的准确坐标位置，制定跟踪模板，进行MAD跟踪。为了解决目标特征随视点、光照的变化问题，视频跟踪MAD算法采用了变模板跟踪方案，即在跟踪过程中不断对跟踪区域做相应的图像变换后，形成新模板，从而在跟踪模式阶段实现稳定准确的目标跟踪。

本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (2)

1.一种复杂场景下自动目标识别跟踪方法，其特征在于实现步骤如下：

(1)装订目标模板信息；

前期采集不同位置的目标图像序列，并进行目标图像序列的特征点提取和特征描述子提取，然后将特征点和特征描述子叠加上采集图像时所处的位置信息和目标所在图像中的位置信息，生成目标模板信息，然后将目标模板信息装订到存储设备上；

(2)根据目前所处的位置信息，从存储器中的目标模板信息序列中，选取与目前所处位置最接近的目标模板信息；

(3)采集实时图像信息，得到识别帧，进入识别模式阶段，所述识别模式实现为：

(31)提取识别帧的特征点位置，并根据特征点周围邻域详细的信息，即局部特征，生成特征描述子；

(32)由步骤(2)中读取的目标模板信息中的特征点和特征描述子与步骤(31)中的识别帧的特征点及特征描述子，两两比较找出相互匹配的若干对特征点，建立景物间的对应关系；

(33)在若干对特征点中，根据大于四对相互匹配的特征点关系，拟合透视变换参数；

(34)由步骤(2)中读取的目标模板信息中的目标所在图像中的位置信息和步骤(33)得到的透视变换参数，计算目标在识别帧中的相应坐标位置；

(35)在进行步骤(31)、(32)、(33)、(34)过程中，实时图像由步骤(31)中的t0时刻识别帧，更新到tn时刻的当前帧，在此期间，采用相关跟踪算法计算t0时刻识别帧与tn时刻当前帧的坐标位置变化关系，由步骤(34)得到的目标在识别帧中的相应坐标位置和t0时刻到tn时刻坐标位置变化关系计算得到目标在tn时刻当前帧的准确位置；

(4)最后将步骤(35)中的tn时刻识别结果代入跟踪模块，进行实时跟踪模式阶段，完成跟踪任务。

2.一种复杂场景下自动目标识别跟踪系统，其特征在于包含：

嵌入式图像处理器，与视频解码设备相连，获得实时图像信息，与FPGA相连，获得识别帧和当前帧坐标位置变化关系，与大容量NORFLASH相连，获得目标模板图信息，与大容量DDR2RAM相连，存储实时图像信息，与图像显示设备相连，输出图像信息，嵌入式图像处理器完成识别帧的特征点位置和特征描述子提取、识别帧与目标模板信息匹配、拟合透视变化参数、计算目标在识别帧的位置信息、根据目标在识别帧的位置信息和FPGA提供的识别帧和当前帧坐标位置变化关系计算目标在当前帧的位置信息；

嵌入式图像处理器具体实现为：

(1)提取当前帧图像数据的特征点位置，并根据特征点周围邻域详细的信息即局部特征，生成特征描述子；

(2)通过选取的模板图像信息中特征点及描述子和实时图像当前帧的特征点及描述子的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系；将目标模板信息中每个特征点依次与当前帧中的所有特征点进行匹配，即依次计算目标模板信息中待匹配的特征点描述子与当前帧的各个特征点描述子之间的欧氏距离，找到距离最近和次近的两个匹配点，当最近距离和次近距离的差距较大即最近距离小于次短距离的0.6时，认为匹配成功，同时记录相应匹配关系；

(3)根据多于四对相互匹配的特征点关系，拟合透视变换参数；

(4)根据目标在目标模板图的顶点坐标和透视变换参数，计算目标在识别帧中的相应坐标；

(5)在目标识别模式时，嵌入式图像处理器处理t0时刻图像数据，进行识别算法计算，在tn时刻得出t0时刻目标所在图像上的位置；同时，FPGA以t0时刻图像为模板，对后面直到tn时刻的图像序列进行相关跟踪，即MAD跟踪，从而得出t0时刻图像和tn时刻的图像的坐标位置变化关系；

在目标跟踪模式时，FPGA跟据嵌入式图像处理器在tn时刻计算出的准确坐标位置，制定跟踪模板，进行MAD跟踪；为了解决目标特征随视点、光照的变化问题，视频跟踪MAD算法采用了变模板跟踪方案，即在跟踪过程中不断对跟踪区域做相应的图像变换后，形成新模板，从而在跟踪模式阶段实现稳定准确的目标跟踪；

高速FPGA处理器，与串口设备相连，获得控制指令，并发送跟踪结果，与嵌入式图像处理器相连，提供识别帧和当前帧坐标位置变化关系，高速FPGA处理器完成串口通信以及相关跟踪算法实现；

大容量NORFLASH，与嵌入式图像处理器相连，提供嵌入式图像处理器所需的目标模板信息，大容量NORFLASH用于目标模板信息的掉电存储以及系统运行程序的掉电存储；

大容量DDR2RAM，与嵌入式图像处理器相连，提供嵌入式图像处理器运行程序所需内存空间；

图像采集设备，与视频解码设备相连，提供模拟视频信息，图像采集设备用于实时模拟图像信息的采集；

视频解码设备，与图像采集设备相连，用于转换模拟图像信息为数字图像信息，与嵌入式图像处理器相连，提供实时数字图像信息；

图像显示设备，与嵌入式图像处理器相连，用于处理结果及实时图像的显示；

串口控制设备，与FPGA相连，用于控制命令的发送以及跟踪结果的接收。