CN109978922A - 一种基于梯度信息的目标实时跟踪方法及装置 - Google Patents

Abstract

本申请涉及一种基于梯度信息的目标实时跟踪方法及装置，涉及目标定位及识别技术领域。所述方法包括建立包含目标图像的目标框的第一梯度特征模型；获取搜索区域图像，并构建搜索区域的第二梯度特征模型；以及根据第一梯度特征模型及第二梯度特征模型计算目标在搜索区域的响应图，并将响应图的峰值作为目标在搜索区域的坐标信息。本申请通过离散傅里叶变换将滤波器在时域上的运算转换到频域，在保证计算精度的同时，极大的加快了算法的运算效率。

Description

一种基于梯度信息的目标实时跟踪方法及装置

技术领域

本申请涉及目标定位及识别技术领域，尤其涉及一种基于梯度信息的目标实时跟踪方法及装置。

背景技术

随着近年来小型无人机的迅猛发展，其凭借体积小、重量轻、成本低、起落条件简单等优点，在灾情和气象检测、工业通信中继、商业航拍、侦察监视、电子对抗或预警等多领域中有着十分广泛的应用。

无人机平台的跟踪处理技术是实现无人机复杂信息处理的重大突破点，也是无人机技术长远发展的重要一环。但是，受限于机载平台有限的空间、可提供功率和搭载重量，无法使用计算能力较强的处理芯片和探测设备，因此，需要一种计算量适中，在满足实时性要求的同时可以对地面目标进行稳定跟踪的目标跟踪算法。

发明内容

本申请设计了一种基于梯度信息的目标实时跟踪方法及装置，利用梯度信息优化基于相关滤波方式的目标跟踪算法的特征模型，在保证跟踪准确性的同时提高了算法的运行效率。

本申请首先提供了一种基于梯度信息的目标实时跟踪方法，包括：建立包含目标图像的目标框的第一梯度特征模型；获取搜索区域图像，并构建搜索区域的第二梯度特征模型；以及根据第一梯度特征模型及第二梯度特征模型计算目标在搜索区域的响应图，并将响应图的峰值作为目标在搜索区域的坐标信息。

可选的，建立目标框的第一梯度特征模型包括：利用梯度算子分别计算目标框在二维平面x方向及y方向的梯度信息；以及根据梯度信息计算目标框的二维平面内每一坐标点的梯度幅值，以形成第一梯度特征模型。

可选的，基于梯度信息的目标实时跟踪方法还包括计算目标图像在目标框内的占比；以及若占比超过第一阈值时，增大目标框大小及搜索区域的大小。

可选的，计算目标图像在目标框内的占比包括：统计正确跟踪次数，并在正确跟踪次数大于第二阈值时，计算目标图像在目标框内的占比，其中，正确跟踪是指该次计算目标在搜索区域的响应图时，响应图的峰值在预设范围内。

本申请第二方面提供了一种基于梯度信息的目标实时跟踪装置，包括：第一梯度特征模型构建模块，用于构建包含目标图像的目标框的第一梯度特征模型；第二梯度特征模型构建模块，用于构建搜索区域的第二梯度特征模型；以及响应图计算模块，用于根据第一梯度特征模型及第二梯度特征模型计算目标在搜索区域的响应图，并将响应图的峰值作为目标在搜索区域的坐标信息。

可选的，第一梯度特征模型构建模块包括：梯度信息计算单元，用于利用梯度算子分别计算目标框在二维平面x方向及y方向的梯度信息；以及梯度幅值计算单元，用于根据梯度信息计算目标框的二维平面内每一坐标点的梯度幅值，以形成第一梯度特征模型。

可选的，基于梯度信息的目标实时跟踪装置还包括：目标占比计算模块，用于计算目标图像在目标框内的占比；以及调整模块，用于在占比超过第一阈值时，增大目标框大小及搜索区域的大小。

可选的，目标占比计算模块包括：统计单元，用于统计正确跟踪次数，并在正确跟踪次数大于第二阈值时，计算目标图像在目标框内的占比，其中，正确跟踪是指该次计算目标在搜索区域的响应图时，响应图的峰值在预设范围内。

本申请第三方面提供了一种处理设备，该处理设备包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于梯度信息的目标实时跟踪方法。

本申请第四方面提供了一种可读存储介质，可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现上述的基于梯度信息的目标实时跟踪方法。

本申请基于相关滤波的目标跟踪算法利用目标在感兴趣区域产生响应，而背景上的响应得到抑制，从而利用响应的峰值获得目标的位置，完成对目标的跟踪。通过离散傅里叶变换将滤波器在时域上的运算转换到频域，在保证计算精度的同时，极大的加快了算法的运算效率。

附图说明

图1是本申请基于梯度信息的目标实时跟踪方法的一优选实施例的流程图；

图2是本申请图1所示实施例的第一梯度特征模型构建示意图；

图3是本申请基于梯度信息的目标实时跟踪装置的一优选实施例的框架图；

图4是为适于用来实现本申请实施方式的终端或服务器的计算机设备的结构示意图。

图5是为适于用来实现本申请实施方式的DSP处理流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请第一方面提供了一种基于梯度信息的目标实时跟踪方法，如图1所示，包括：

步骤S1、建立包含目标图像的目标框的第一梯度特征模型。

步骤S2、获取搜索区域图像，并构建搜索区域的第二梯度特征模型。

步骤S3、根据第一梯度特征模型及第二梯度特征模型计算目标在搜索区域的响应图，并将响应图的峰值作为目标在搜索区域的坐标信息。

本实施例中，相关滤波跟踪算法的大体流程框架可总结为：首先，相关滤波算法的跟踪器利用检测算法或人工标记的方式获得第一帧中目标的位置信息，并对图像块进行学习和训练，从中提取出大量的目标特征。

接着，利用离散傅里叶变换代替卷积操作，计算目标的响应图谱或置信图，响应值最大的位置即为预测的下一帧目标所在的位置信息，提取预测位置的目标外观，获得目标的尺度信息，用来训练和更新相关滤波器。

由于相关滤波跟踪算法中利用离散傅里叶变换对图像卷积操作进行了优化，而离散傅里叶变换可以使用快速傅里叶变换(FFT)计算得到，算法的执行效率得到了大幅的提高。

目标特征模型的选取直接关系到算法的复杂度和计算量。其中，梯度信息计算简单，具有旋转不变性，并且可以在一定程度上抵消光照对目标特征模型的影响，故选取梯度信息构建目标特征。

在一些可选实施方式中，如图2所示，建立目标框的第一梯度特征模型包括：

步骤S11，利用梯度算子分别计算目标框在二维平面x方向及y方向的梯度信息。

步骤S12、根据梯度信息计算目标框的二维平面内每一坐标点的梯度幅值，以形成第一梯度特征模型。

本实施例在步骤S11之前，还可以包括：

步骤S10、对目标图像进行二进制小波低通滤波以滤除一部分的图像噪声。

二维空间的梯度有许多计算方法，包括Roberts算子、Sobel算子、Prewitt算子等等，其中Roberts算子对图像边缘附近的区域有较宽的响应，可以获得比较准确的边缘定位结果，本实施例选用Roberts算子作为特征计算模板，其在x方向和y方向上的二维离散矩阵可表示为：

和

利用梯度算子计算目标区域x方向和y方向的梯度信息，再通过下式完成目标区域梯度幅值的计算，利用梯度幅值建立目标区域的特征模型，其中g_x和g_y分别为图像上任意一点在x方向和y方向的梯度计算结果。

同样的，建立了目标的梯度模型后，在步骤S2中，利用相同的规则建立当前搜索区域的梯度模型，在设定搜索区域的范围和大小时，为了方便FFT计算，本申请将搜索区域的大小设定为32x32，64x64，128x128像素大小。

跟踪算法中对于目标特征模型的更新频率普遍为1帧，但在实际的应用场景中，由于目标的外观或光照条件变化在相邻几帧之间表现并不明显，其梯度模型也不会有太大的变化，故可以适当降低模型的更新频率，减少每1帧跟踪处理的计算量。本申请经过仿真和实测后，将梯度模型的更新频率降低至3帧1次，并且根据响应图峰值的变化判别是否进行模型的更新。

在一些可选实施方式中，基于梯度信息的目标实时跟踪方法还包括计算目标图像在目标框内的占比；以及若占比超过第一阈值时，增大目标框大小及搜索区域的大小。

可以理解的是，随着目标的运动，所获取的搜索区域图像不断变换，目标图像在目标框中所占比例也在不断变化，此时，可以调整目标框大小及搜索区域(搜索框)大小。具体包括若占比超过第一阈值时，例如占比R>0.6，增大目标框大小及搜索区域的大小，同理，若占比低于第三阈值时，例如占比R<0.3，则减小目标框大小及搜索区域的大小。

本实施例中，可以通过对目标区域进行边缘检测，阈值分割等操作提取出准确的目标信息，计算目标在目标框中的占比。

在一些可选实施方式中，计算目标图像在目标框内的占比包括：统计正确跟踪次数，并在正确跟踪次数大于第二阈值时，计算目标图像在目标框内的占比，其中，正确跟踪是指该次计算目标在搜索区域的响应图时，响应图的峰值在预设范围内。

需要说明的是，本申请在步骤S1中获取了目标框的第一梯度特征模型之后，开始逐帧获取搜索区域图像，对于获取的每一帧图像，通过步骤S1-S3可以计算响应图的峰值，可以理解的是，本领域技术人员能够根据峰值判断搜索框内是否出现了目标(目标图像/目标框)，因此，可以根据响应图的峰值在预设范围内，来表示该帧图像的计算结果是否正确跟踪了目标，上述实施例对目标正确跟踪计数N进行累加，并在正确跟踪次数大于第二阈值时，才开始计算目标图像在目标框内的占比并执行后续调整目标框及搜索区域的操作，例如第二阈值为10时，表示，当N>10时，对目标区域进行边缘检测，阈值分割等操作提取出准确的目标信息，计算目标在目标框中的占比R。

本申请第二方面提供了一种实现上述方法的基于梯度信息的目标实时跟踪装置，如图3所示，包括：第一梯度特征模型构建模块，用于构建包含目标图像的目标框的第一梯度特征模型；第二梯度特征模型构建模块，用于构建搜索区域的第二梯度特征模型；以及响应图计算模块，用于根据第一梯度特征模型及第二梯度特征模型计算目标在搜索区域的响应图，并将响应图的峰值作为目标在搜索区域的坐标信息。

在一些可选实施方式中，第一梯度特征模型构建模块包括：梯度信息计算单元，用于利用梯度算子分别计算目标框在二维平面x方向及y方向的梯度信息(x方向及y方向及平面坐标系的x轴方向以及y轴方向，即将目标框放置在平面坐标系中的x轴方向以及y轴方向)；以及梯度幅值计算单元，用于根据梯度信息计算目标框的二维平面内每一坐标点的梯度幅值，以形成第一梯度特征模型。

在一些可选实施方式中，基于梯度信息的目标实时跟踪装置还包括：目标占比计算模块，用于计算目标图像在目标框内的占比；以及调整模块，用于在占比超过第一阈值时，增大目标框大小及搜索区域的大小。

在一些可选实施方式中，目标占比计算模块包括：统计单元，用于统计正确跟踪次数，并在正确跟踪次数大于第二阈值时，计算目标图像在目标框内的占比，其中，正确跟踪是指该次计算目标在搜索区域的响应图时，响应图的峰值在预设范围内。

本发明可以对标准1080P视频上的目标进行实时稳定跟踪，并在目标发生旋转、形变、遮挡、模糊、光照条件变化等特殊情况时保证跟踪过程中的准确性和稳定性，处理速度满足实时性要求。

本申请基于相关滤波的目标跟踪算法利用目标在感兴趣区域产生响应，而背景上的响应得到抑制，从而利用响应的峰值获得目标的位置，完成对目标的跟踪。通过离散傅里叶变换将滤波器在时域上的运算转换到频域，在保证计算精度的同时，极大的加快了算法的运算效率。

本申请第三方面提供了一种处理设备，该处理设备包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于梯度信息的目标实时跟踪方法。

本申请第四方面提供了一种可读存储介质，可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现上述的基于梯度信息的目标实时跟踪方法。

处理设备可以是计算设备400，例如通用计算机，也可以是单片机，下面分别说明

如图4所示，计算设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有设备400操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

如图5所示，给出了本申请处理设备的另一种应用对象，其硬件平台选用TMS320C6672型号的DSP，使用C语言进行编程。该DSP运行时执行步骤S1-步骤S3的基于梯度信息的地面目标实时跟踪算法，具体包括：

首先，DSP在上电后进行相关外设和接口的初始化，当接收到本帧图像存储完成的信号后，开始本帧图像的跟踪流程。

目标梯度模型建立函数target_initialize()从挂载在DSP下的DDR3中提取初始目标框大小的图像数据，

建立目标的梯度模型并利用二维的FFT计算其在频域的响应target_f。

接收到下一帧图像后，在搜索区域梯度模型建立函数search_initialize()中提取目标当前位置周围搜索区域大小的图像数据，

同样，建立搜索区域的梯度模型和其在频域的响应search_f。

响应计算函数respond_calculate()中对target_f和search_f进行矩阵乘法后利用二维IFFT得到响应图，通过寻找响应图中峰值的位置获得准确的目标坐标信息。

对目标正确跟踪计数N进行累加。

若N>10，则目标提取函数target_segment()会对目标区域进行边缘检测，阈值分割等操作提取出准确的目标信息，计算目标在目标框中的占比R。

若R>0.6，则表示目标在目标框中占比过大，此时增大目标框大小和搜索框大小，将N置为0。

最后，更新目标的梯度模型，输出目标位置和尺度信息。

附图中的流程图和框图，图示了按照本申请各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施方式中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或单元也可以设置在处理器中，这些模块或单元的名称在某种情况下并不构成对该模块或单元本身的限定。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于梯度信息的目标实时跟踪方法，其特征在于，包括：

建立包含所述目标图像的目标框的第一梯度特征模型；

获取搜索区域图像，并构建搜索区域的第二梯度特征模型；以及

根据所述第一梯度特征模型及所述第二梯度特征模型计算目标在搜索区域的响应图，并将所述响应图的峰值作为目标在所述搜索区域的坐标信息。

2.根据权利要求1所述的基于梯度信息的目标实时跟踪方法，其特征在于，建立所述目标框的第一梯度特征模型包括：

利用梯度算子分别计算目标框在二维平面x方向及y方向的梯度信息；以及

根据所述梯度信息计算目标框的所述二维平面内每一坐标点的梯度幅值，以形成所述第一梯度特征模型。

3.根据权利要求1所述的基于梯度信息的目标实时跟踪方法，其特征在于，所述方法还包括：

计算所述目标图像在所述目标框内的占比；以及

若所述占比超过第一阈值时，增大目标框大小及搜索区域的大小。

4.根据权利要求3所述的基于梯度信息的目标实时跟踪方法，其特征在于，所述计算所述目标图像在所述目标框内的占比包括：

统计正确跟踪次数，并在所述正确跟踪次数大于第二阈值时，计算所述目标图像在所述目标框内的占比，其中，所述正确跟踪是指该次计算目标在搜索区域的响应图时，所述响应图的峰值在预设范围内。

5.一种基于梯度信息的目标实时跟踪装置，其特征在于，包括：

第一梯度特征模型构建模块，用于构建包含所述目标图像的目标框的第一梯度特征模型；

第二梯度特征模型构建模块，用于构建搜索区域的第二梯度特征模型；以及

响应图计算模块，用于根据所述第一梯度特征模型及所述第二梯度特征模型计算目标在搜索区域的响应图，并将所述响应图的峰值作为目标在所述搜索区域的坐标信息。

6.根据权利要求5所述的基于梯度信息的目标实时跟踪装置，其特征在于，所述第一梯度特征模型构建模块包括：

梯度信息计算单元，用于利用梯度算子分别计算目标框在二维平面x方向及y方向的梯度信息；以及

梯度幅值计算单元，用于根据所述梯度信息计算目标框的所述二维平面内每一坐标点的梯度幅值，以形成所述第一梯度特征模型。

7.根据权利要求4所述的基于梯度信息的目标实时跟踪装置，其特征在于，所述装置还包括：

目标占比计算模块，用于计算所述目标图像在所述目标框内的占比；以及

调整模块，用于在所述占比超过第一阈值时，增大目标框大小及搜索区域的大小。

8.根据权利要求7所述的基于梯度信息的目标实时跟踪装置，其特征在于，所述目标占比计算模块包括：

统计单元，用于统计正确跟踪次数，并在所述正确跟踪次数大于第二阈值时，计算所述目标图像在所述目标框内的占比，其中，所述正确跟踪是指该次计算目标在搜索区域的响应图时，所述响应图的峰值在预设范围内。

9.一种处理设备，其特征在于，所述处理设备包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于梯度信息的目标实时跟踪方法。

10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能够实现如权利要求1至4中任一项所述的基于梯度信息的目标实时跟踪方法。