CN110009664B - 一种基于响应图融合的红外目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了红外图像处理技术领域的一种基于响应图融合的红外目标跟踪方法及装置，包括获取起始帧红外图像中对应跟踪目标的目标图像以及该目标图像对应的位置点，分别获取起始帧目标的归一化灰度特征与方向梯度直方图特征；根据起始帧图像中的目标位置，利用相关滤波算法分别训练两种特征的相关滤波器；相对于利用单一特征和不同特征串联方式进行特征表示的方法，在跟踪精度上与跟踪成功率上都有一定程度地提高，同时该方式能在复杂情况下针对红外图像序列能保持较好的跟踪鲁棒性，实现红外图像中运动目标的持久鲁棒性跟踪。

Description

一种基于响应图融合的红外目标跟踪方法及装置

技术领域

本发明涉及红外图像处理技术领域，具体为一种基于响应图融合的红外目标跟踪方法及装置。

背景技术

红外目标跟踪技术近年来在智能监控、自动驾驶系统等领域得到了广泛研究。相比于可见光图像，针对红外图像目标跟踪的研究工作与成果较少。和可见光图像相比，热红外图像存在一些负面属性，如信噪比低、分辨率小、纹理信息少和边缘模糊等问题。这些负面属性增加了从红外图像提取具有强判别力的特征的难度。目前，针对可见光图像的相关目标跟踪算法较多，但是由于其在特征表示上与红外图像跟踪方法的差异较大，直接将这些算法移植到红外图像上的效果不佳，综上，现有技术中缺乏一种针对红外图像的鲁棒性强的目标特征表示方法来用于目标跟踪，基于此，本发明设计了一种基于响应图融合的红外目标跟踪方法及装置，以解决上述问题。

发明内容

本发明的目的在于提供一种基于响应图融合的红外目标跟踪方法及装置，以解决上述背景技术中提出的现有技术中缺乏一种针对红外图像的鲁棒性强的目标特征表示方法来用于目标跟踪的问题。

为实现上述目的，本发明提供如下技术方案：一种基于响应图融合的红外目标跟踪方法，包括：

S1、采集起始帧红外图像中对应跟踪目标的图像作为目标图像，采集所述目标图像的位置点，将所述起始帧图像中的所述目标图像标记为初始目标图像；

S2、分别提取目标区域的归一化灰度特征与方向梯度直方图特征，得到目标区域的两个特征图；

S3、根据目标区域归一化灰度特征图与方向梯度直方图特征图，利用相关滤波算法分别计算两个相关滤波器；

S4、采集第t-1帧图像中所述目标图像对应的位置点，按照相关滤波算法基本思想在当前帧第t帧图像中的获取一个图像区域，分别提取该区域的归一化灰度特征与方向梯度直方图特征，得到该区域的两个特征图；

S5、利用S3中得到的两个相关滤波器和S4中的两个特征图，计算两个针对归一化灰度特征与方向梯度直方图特征的响应图；

S6、根据两个响应图分别计算两个波峰面积比；

S7、根据两个波峰面积比计算两个响应图的归一化融合比例系数；

S8、根据S5中得到两个响应图与其对应两个归一化融合比例系数，合成一个新的响应图；

S9、找到新的响应图中最大值所在的坐标位置，并将其映射到当前帧中去，得到当前帧中目标所在位置，完成当前帧的目标跟踪；

S10、根据当前帧目标跟踪结果，利用相关滤波框架完成两个滤波器的更新。

进一步的，所述S6的计算响应图波峰面积比包括如下步骤：

S21、利用大津算法分别计算两个响应图各自的自适应阈值；

S22、根据计算得到的自适应阈值，分别对两个响应图进行二值化分割，得到两个响应图对应的二值图；

S23、分别对每个二值图计算其像素值为1(亮色区域)的像素个数；

S24、分别计算两个响应图的总像素数；

S25、分别用S23中得到的像素个数除以响应图的总像素数得到两个响应图的波峰面积比。

进一步的，所述S7包括如下步骤：

S31、将两个波峰面积比相加求和；

S32、用两个波峰面积比分别除以S31得到的和，得到两个响应图的融合系数。

进一步的，所述S8包括如下步骤：

S41、将两个响应图分别乘以各自对应的归一化融合系数，得到两个加权响应图；

S42、将两个加权响应图相加得到最终融合后的响应图。

一种基于响应图融合的红外目标跟踪装置，包括目标跟踪器、存储器、存储控制器、处理器、外设接口、输出输入单元、音频单元和显示单元，所述目标跟踪器、与存储器信号连接，所述存储器、存储控制器、处理器、外设接口、输出输入单元、音频单元和显示单元相互之间直接或间接电性连接。

进一步的，所述存储器可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器。

进一步的，所述处理器为通用处理器或数字信号处理器中任意一种。

进一步的，所述输入输出单元可以是但不限于鼠标、键盘。

进一步的，所述音频单元可以是但不限于一个或多个麦克风、一个或者多个扬声器以及音频电路。

进一步的，所述显示单元为液晶显示器或触控显示器中任意一种。

与现有技术相比，本发明的有益效果是：本发明相对于利用单一特征和不同特征串联方式进行特征表示的方法，在跟踪精度上与跟踪成功率上都有一定程度地提高，同时该方式能在复杂情况下针对红外图像序列能保持较好的跟踪鲁棒性，实现红外图像中运动目标的持久鲁棒性跟踪。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明流程图；

图2为本发明结构原理框图。

附图中，各标号所代表的部件列表如下：

目标跟踪器1、存储器2、存储控制器3、处理器4、外设接口5、输出输入单元6、音频单元7、显示单元8。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

请参阅图1-2，本发明提供一种技术方案：一种基于响应图融合的红外目标跟踪方法，包括：

S1、采集起始帧红外图像中对应跟踪目标的图像作为目标图像，采集所述目标图像的位置点，将所述起始帧图像中的所述目标图像标记为初始目标图像；

初始目标图像以起始帧中目标中心点位置为中心(x₁,y₁)，目标实际的长宽(w,h)分别乘以1.5，得到初始目标区域(x₁,y₁,1.5*w₁,1.5*h₁)。

S2、分别提取初始目标区域的归一化灰度特征与方向梯度直方图 (Histogram ofOriented Gradient,HOG)特征，得到目标区域的两个特征图；

HOG特征的提取采用相关滤波算法中常使用的FHOG算法得到特征矩阵。

S3、根据目标区域归一化灰度特征图与HOG特征图，利用相关滤波算法分别计算两个相关滤波器；

通过灰度特征图(或HOG特征图)x和对应的期待输出y，可以得到一个相关滤波器。期待的输出y为一个紧凑的二维高斯型分布，其波峰位于目标的中心。在频域中，每个相关滤波器h的计算方法可表示如下：

符号*表示共轭，

表示对应变量的离散傅里叶变换，⊙表示元素相乘，λ是正则项系数，d是特征维度。

S4、采集第t-1帧图像中所述目标图像对应的位置点，按照相关滤波算法基本思想在当前帧第t帧图像中的获取一个图像区域，分别提取该区域的归一化灰度特征与HOG特征，得到该区域的两个特征图；

将t-1帧图像中目标位置信息(x_t-1,y_t-1,w_t-1,h_t-1)在当前帧第t帧中提取出(x_t-1,y_t-1,1.5*w_t-1,1.5*h_t-1)的区域，分别计算这一图像区域的归一化灰度特征与HOG特征。

S5、利用S3中得到的两个相关滤波器和S4中的两个特征图，计算两个针对归一化灰度特征与HOG特征的响应图；

假设S4中提取的特征图z，在傅里叶域中计算，可以得到响应图 y经过离散傅里叶变换后的值：

其中，A_l和B分别为滤波器

的分子和分母。

S6、根据两个响应图y分别计算两个波峰面积比(Area Ratio of Peak，ARP)；

其中，ostu(y)表示通过大津法对响应图进行自适应阈值的二值分割操作得到的图像，numel(find(·)＝＝1)表示二值图像中像素值等于1的像素个数， area(·)表示图像的总像素数。大津法又称最大类间方差法，可以使类间方差函数最大从而找到自适应的最佳分割阈值。

S7、根据两个波峰面积比计算两个响应图的归一化融合比例系数βⁱ；

根据ARPⁱ得到每种特征的自适应融合系数βⁱ：

S8、根据S5中得到两个响应图与其对应两个归一化融合比例系数，合成一个新的响应图y_new；

其中P＝2。

S9、找到新的响应图中最大值所在的坐标位置，并将其映射到当前帧中去，得到当前帧中目标所在位置，完成当前帧的目标跟踪；

[u,v]＝find(y_new＝max(y))

其中[u,v]是检测到的目标在当前帧第t帧中区域为(x_t-1,y_t-1,1.5*w_t-1, 1.5*h_t-1)子图像块中的位置,max(y)是矩阵y中最大元素值， [i,j]＝find(A＝a_ij)表示矩阵A中最大值元素所在位置。根据[u,v]可以得到目标在图像坐标系下的位置。

S10、根据当前帧目标跟踪结果，利用相关滤波框架完成两个滤波器的更新。

对于第t帧滤波器的更新方法如下

其中，标量η为学习率参数。

存储器2、存储控制器3、处理器4、外设接口5、输入输出单元6、音频单元7以及显示单元8相互之间直接或间接地8电性连接，以实现数据的传输或交互。例如，这些单元相互之间可通过一条或多条通讯总线或信号线实现电性连接，目标跟踪器1包括至少一个可以软件或固件的形式存储于存储器中或固化在客户端设备的操作系统中的软件功能模块，处理器4用于执行存储器2中存储的可执行模块，例如目标跟踪器1包括的软件功能模块或计算机程序。

存储器2可以是但不限于随机存取存储器，只读存储器，可编程只读存储器，可擦除只读存储器，电可擦除只读存储器，其中，存储器2用于存储程序，处理器4在接收到执行指令后，执行程序。

处理器4可以是通用处理器，包括中央处理器、网络处理器；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器。

外设接口5将各种输入/输入装置耦合至处理器4以及存储器2，外设接口5、处理器4以及存储控制器3可以在单个芯片中实现，又可以分别由独立的芯片实现。

输入输出单元6用于提供给用户输入数据实现用户与电子设备的交互，输入输出单元6可以是但不限于鼠标、键盘。

音频单元7向用户提供音频接口，其可以是但不限于一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元8在电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考，显示单元8可以是液晶显示器或触控显示器；若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏，支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

值得注意的是：图2所示的结构仅为示意，电子设备还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置，图2中所示的各组件可以采用硬件、软件或其组合实现，该电子设备可以是计算机、服务器或者其他具有图像处理能力的设备

通过具有连续多帧图像的视频或者其他在时间上具有先后顺序的多帧图像进行目标跟踪，该视频或者其他在时间上具有先后顺序的多帧图像均为对被跟踪的目标拍摄获得，该拍摄可以是由照相机、摄像机等图像采集装置实现。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.一种基于响应图融合的红外目标跟踪方法，其特征在于，包括：

S1、采集起始帧红外图像中对应跟踪目标的图像作为目标图像，采集所述目标图像的位置点，将所述起始帧图像中的所述目标图像标记为初始目标图像；

S2、分别提取目标区域的归一化灰度特征与方向梯度直方图特征，得到目标区域的两个特征图；

S3、根据目标区域归一化灰度特征图与方向梯度直方图特征图，利用相关滤波算法分别计算两个相关滤波器；

S4、采集第t-1帧图像中所述目标图像对应的位置点，按照相关滤波算法基本思想在当前帧第t帧图像中的获取一个图像区域，分别提取该区域的归一化灰度特征与方向梯度直方图特征，得到该区域的两个特征图；

S5、利用S3中得到的两个相关滤波器和S4中的两个特征图，计算两个针对归一化灰度特征与方向梯度直方图特征的响应图；

S6、根据两个响应图分别计算两个波峰面积比；

S7、根据两个波峰面积比计算两个响应图的归一化融合比例系数；

S8、根据S5中得到两个响应图与其对应两个归一化融合比例系数，合成一个新的响应图；

S9、找到新的响应图中最大值所在的坐标位置，并将其映射到当前帧中去，得到当前帧中目标所在位置，完成当前帧的目标跟踪；

S10、根据当前帧目标跟踪结果，利用相关滤波框架完成两个滤波器的更新；

所述S6的计算响应图波峰面积比包括如下步骤：

S21、利用大津算法分别计算两个响应图各自的自适应阈值；

S22、根据计算得到的自适应阈值，分别对两个响应图进行二值化分割，得到两个响应图对应的二值图；

S23、分别对每个二值图计算其像素值为1(亮色区域)的像素个数；

S24、分别计算两个响应图的总像素数；

S25、分别用S23中得到的像素个数除以响应图的总像素数得到两个响应图的波峰面积比。

2.根据权利要求1所述的一种基于响应图融合的红外目标跟踪方法，其特征在于：所述S7包括如下步骤：

S31、将两个波峰面积比相加求和；

S32、用两个波峰面积比分别除以S31得到的和，得到两个响应图的融合系数。

3.根据权利要求1所述的一种基于响应图融合的红外目标跟踪方法，其特征在于：所述S8包括如下步骤：

S41、将两个响应图分别乘以各自对应的归一化融合系数，得到两个加权响应图；

S42、将两个加权响应图相加得到最终融合后的响应图。

Images