CN110276788B - 用于红外成像式导引头目标跟踪的方法和装置 - Google Patents

Abstract

本申请涉及用于红外成像式导引头目标跟踪的方法，包括：计算目标跟踪结果和目标检测结果的偏差，在前述偏差不满足条件的情况下，用前述检测结果重新初始化相关滤波器；用目标跟踪结果和目标检测结果的偏差来衡量目标跟踪的累积误差，累积误差过大造成跟踪结果不准确，用当前检测结果重新初始化相关滤波器，消除目标跟踪过程中累积误差的影响，防止跟踪点漂移，同时也能有效处理遮挡、剧烈形变等难题，本申请还公开了一种用于红外成像式导引头目标跟踪的装置。

Description

用于红外成像式导引头目标跟踪的方法和装置

技术领域

本申请涉及红外成像技术领域，例如涉及一种红外成像式导引头目标跟踪方法。

背景技术

红外成像式导引头图像跟踪器是红外目标跟踪的关键组件，用于从红外探测器获取的红外图像中，实时稳定跟踪目标，输出高精度视线角信息。一般情况下，图像跟踪器在跟踪目标时，通过提取雷达连续照射区域内图像的特定特征建立目标模型，在后续跟踪过程中，通过在一定范围内搜索与目标模型相符的图像区域确定目标的位置和大小。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：目标跟踪过程中目标姿态、目标尺度以及光照等环境因素的变化形成的累积误差，导致跟踪结果不可靠。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于红外成像式导引头目标跟踪的方法和装置，以解决目标跟踪过程中目标姿态、目标尺度以及光照等环境因素的变化形成的累积误差，导致跟踪结果不可靠。

在一些实施例中，所述用于红外成像式导引头目标跟踪的方法包括：计算目标跟踪结果和目标检测结果的偏差；在所述偏差不满足条件的情况下，用所述检测结果重新初始化相关滤波器。

在一些实施例中，所述用于红外成像式导引头目标跟踪的装置包括：偏差计算模块，被配置为计算目标跟踪结果和目标检测结果的偏差；结果确定模块，被配置为在所述偏差不满足条件的情况下，用所述检测结果重新初始化相关滤波器。

本公开实施例提供的用于红外成像式导引头目标跟踪的方法和装置可以实现以下技术效果：

计算目标跟踪结果和目标检测结果的偏差，在所述偏差不满足条件的情况下，用所述检测结果重新初始化相关滤波器；用目标跟踪结果和目标检测结果的偏差来衡量目标跟踪的累积误差，累积误差过大造成跟踪结果不准确，用当前检测结果重新初始化相关滤波器，消除目标跟踪过程中累积误差的影响，防止跟踪点漂移，同时也能有效处理遮挡、剧烈形变等难题。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的用于红外成像式导引头目标跟踪的方法流程示意图；

图2是获得目标检测结果的图像示意图；

图3是本公开实施例提供的用于红外成像式导引头目标跟踪的装置示意图；

图4是本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

如图1所示，本公开实施例提供了一种用于红外成像式导引头目标跟踪的方法，包括：

步骤11，在固定尺寸时间窗口内，计算目标跟踪结果和目标检测结果的偏差。

步骤12，在偏差不满足条件的情况下，用检测结果重新初始化相关滤波器。

在一些实施例中，计算目标跟踪结果和目标检测结果的偏差包括：获取目标跟踪结果和目标检测结果；计算目标跟踪结果和目标检测结果偏差的均值和标准差。

在一些实施例中，t时刻获取的目标跟踪结果为

t时刻获取的目标检测结果为

其中，{c_t，r_t}表示目标在图像坐标系中的位置，{w_t，h_t}表示目标在图像坐标系中的大小。目标跟踪结果和目标检测结果的偏差为Δt＝{Δc_t，Δr_t，Δw_t，Δh_t}，计算方法为：

在一些实施例中，考虑到目标跟踪结果或目标检测结果在单一时刻可能被噪声干扰，可选地，在大小为T的时间窗口内统计目标跟踪结果和目标检测结果偏差的变化规律；偏差Δt在时间窗口T内的均值为：

偏差Δt在时间窗口T内的标准差为：

其中，a∈{c，r，w，h}表示目标的位置参数和大小参数,i表示帧索引，t表示当前时刻。

在一些实施例中，偏差不满足条件的情况包括：标准差std(Δa)小于第一阈值，均值

大于第二阈值。

在一些实施例中，若标准差std(Δa)小于一定阈值，则说明目标跟踪结果与目标检测结果之间的偏差在当前时间窗口内趋于稳定，二者未受明显的噪声干扰，具有较好的置信度；以此为前提，若均值

大于一定阈值，则说明目标跟踪结果与目标检测结果之间存在明显可测的偏差，是由目标跟踪的累积误差引起，此时使用目标检测结果重新初始化相关滤波器，能够防止目标跟踪过程中的跟踪点漂移，同时也能有效处理遮挡、剧烈形变等难题。

在一些实施例中，获取目标检测结果包括：使用亮度信息作为输入图像特征，执行相关滤波方法。对每一帧红外图像，首先判断图像跟踪器是否收到目标锁定指令；若是，则根据当前雷达连续照射区域的位置和大小，初始化相关滤波器用于后续对目标的跟踪；若否，则判断图像跟踪器是否处于自主跟踪状态，是则进行后续步骤，否则继续处理下一帧红外图像。

在一些实施例中，采用相关滤波方法建立判别式目标模型。相关滤波方法的基本原理可以描述为：从表示目标表观的一系列样本中学习得到一个最优的相关滤波器，用于在新的图像帧中定位跟踪目标。相关滤波器等价于一个判别式的分类器，训练样本即是目标表观经过所有可能的循环移位后得到的样本。

在一些实施例中，给定任意时刻的目标表观f，目标表观f通常由一个以目标位置为中心的图像区域表示，最优的相关滤波器h可通过最小化期望输出g与滤波输出之间的L²误差得到，

其中，g表示期望输出，g是一个零均值特定方差的二维高斯分布，λ表示正则化系数，λ‖h‖²是以λ为权重的正则项，用于限制模型复杂度，防止过拟合；f、h以及g都应理解为具有相同尺寸的二维矩阵。

在一些实施例中，最优的相关滤波器的获得是一个典型的最小二乘问题，通过离散傅里叶变换获得高效的解析解。可选地，最小化式(1)的最优相关滤波器，在频域中表示为

其中，H表示相关滤波器，F表示相应变量的离散傅里叶变换，

表示相应变量的复共轭。给定图像跟踪器收到锁定指令时的目标表观，式(2)给出的相关滤波器H即是为锁定目标建立的判别式目标模型。使用傅里叶变换在频域中进行相关操作，可在嵌入式计算平台上获得更高的计算效率。

在一些实施例中，获取目标跟踪结果还包括：获取当前时刻的前一时刻(t-1)的相关滤波器H_t-1，执行相关操作，获得相关滤波响应图。与目标表观的提取方法类似，在t时刻获得的图像帧中，相关滤波的响应图为：

其中，

为离散傅里叶逆变换，

表示关滤波的响应图，Z_t表示以目标的预测位置为中心提取的图像区域。

在一些实施例中，由相关滤波响应图计算峰值信噪比：

其中，

是响应图中的极大值，μ是响应图中去除以极大值为中心的固定领域后其余数据的均值，σ是响应图中去除以极大值为中心的固定领域后其余数据的方差。用峰值信噪比判断跟踪结果的置信程度，PSR计算得到的峰值信噪比越高，表示响应图中的极大值越为凸显，则跟踪结果的置信度越高。当峰值信噪比低于一定阈值时，目标很可能被复杂背景干扰，或者发生了遮挡，此时则认为跟踪失败；当跟踪结果可靠时，更新相关滤波器，给定t时刻的目标表观f_t，相关滤波器H_t-1可采用如下方法更新：

其中，η是表示学习率的可调参数。对目标跟踪过程中的复杂背景和相似目标干扰都具有很好的鲁棒性。

在一些实施例中，获取目标跟踪结果还包括：提取所述相关滤波响应图的极大值及所述极大值所在的尺度，获得目标跟踪结果。通过在响应图

中寻找极大值即可确定目标在t时刻的位置；通过提取不同尺度的图像区域，重复执行

操作，选取相关滤波的响应极大值所在的尺度来获得目标大小。

在一些实施例中，获取目标检测结果，包括：对图像进行亮度和梯度特征分析，从背景中分割出最显著的目标区域，获得目标检测结果。

在一些实施例中，给定任意时刻的图像帧，以目标的预测位置为中心提取一定大小的图像区域作为感兴趣区域，显著性检测只在感兴趣区域中执行，以降低计算复杂度并减小噪声干扰。具体步骤包括：

将感兴趣区域网格化为一系列固定大小的胞元；

对每个胞元，计算其中所有像素的亮度和梯度的方差(如图2a、图2b所示)；

将亮度和梯度方差都大于一定阈值的胞元标记为显著胞元，生成相应的二值图像(如图2c所示)；

对二值图像进行连通域分析，计算连通域的中心位置、大小以及方向；

选取与锁定目标的几何特征最相似的连通域，其位置和大小即为当前时刻的显著性检测结果(如图2d所示)。

在一些实施例中，对目标跟踪结果运行卡尔曼滤波器，过滤系统噪声和观测噪声，获得跟踪目标位置的最优估计。有效过滤图像跟踪器抖动带来的系统噪声和跟踪目标图像跳动带来的观测误差。

在一些实施例中，目标位置的状态向量为

目标在图像中的位置为

目标在图像中的运动速度为

目标位置的观测向量为

由目标跟踪结果和目标检测结果的偏差满足条件情况下的目标跟踪结果给出。任意t时刻，目标位置的状态可用下式估计：x_t＝Fx_t-1+w_t，z_t＝Hx_t+v_t，其中，F为状态转移矩阵，由状态的一阶线性差分方程给出，H为观测矩阵，定义为单位矩阵，w_t是系统噪声，符合均值为零、协方差为σ_wI的高斯分布，即

v_t是观测噪声，符合均值为零、协方差为σ_vI的高斯分布，即

上述定义假设目标位置的两个维度互相独立，不存在相关性。卡尔曼滤波每次通过预测和观测两个步骤不断更新其状态，求得符合其运动模型的最佳状态估计。

如图3所示，本公开实施例提供了一种用于红外成像式导引头目标跟踪的装置，包括：

偏差计算模块21，被配置为计算目标跟踪结果和目标检测结果的偏差；

结果确定模块22，被配置为在所述偏差不满足条件的情况下，用所述检测结果重新初始化相关滤波器。

在一些实施例中，偏差不满足条件的情况包括：标准差小于第一阈值，且均值大于第二阈值。

在一些实施例中，偏差计算模块包括：结果获取子模块，被配置为获取目标跟踪结果单元和获取目标检测结果单元；计算子模块，被配置为计算目标跟踪结果和检测结果偏差的均值和标准差。

在一些实施例中，获取目标跟踪结果单元包括：相关滤波响应子单元，被配置为获取相关滤波器，根据相关滤波器执行相关操作，获得相关滤波响应图；结果获取子单元，被配置为提取所述相关滤波响应图的极大值及所述极大值所在的尺度，获得目标跟踪结果。

在一些实施例中，相关滤波响应子单元中获取相关滤波器，被配置为使用亮度信息作为输入图像特征，执行相关滤波方法，获得相关滤波器。

在一些实施例中，获取目标检测结果单元，被配置为对图像进行亮度和梯度特征分析，获得目标检测结果。可选地，获取目标检测结果单元包括：第一子单元，被配置为以目标的预测位置为中心提取感兴趣区域，网格化感兴趣区域；第二子单元，被配置为计算每个网格中所有像素亮度和梯度的方差；第三子单元，被配置为标记亮度和梯度方差均大于预设阈值的网格；第四子单元，被配置为以标记网格为基础将图像二值化，对二值图像进行连通域分析；第五子单元，被配置为提取与锁定目标的几何特征最相似的连通域，所述连通域的位置和大小即为目标检测结果。

本公开实施例提供了一种产品(例如：计算机、手机等)，包含上述的用于红外成像式导引头目标跟踪的装置。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，前述计算机可执行指令设置为执行上述用于红外成像式导引头目标跟踪的方法。

本公开实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，前述计算机程序包括程序指令，当前述程序指令被计算机执行时，使前述计算机执行上述用于红外成像式导引头目标跟踪的方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例提供了一种电子设备，其结构如图4所示，该电子设备包括：

至少一个处理器(processor)100，图4中以一个处理器100为例；和存储器(memory)101，还可以包括通信接口(Communication Interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令，以执行上述实施例的用于红外成像式导引头目标跟踪的方法。

此外，上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的用于红外成像式导引头目标跟踪的方法。

存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (8)

1.一种用于红外成像式导引头目标跟踪的方法，其特征在于，

计算目标跟踪结果和目标检测结果的偏差；

在所述偏差不满足条件的情况下，用所述检测结果重新初始化相关滤波器；

获取所述目标检测结果包括：

以目标的预测位置为中心提取感兴趣区域，网格化感兴趣区域；

计算每个网格中所有像素亮度和梯度的方差；

标记亮度和梯度方差均大于预设阈值的网格；

以标记网格为基础将图像二值化，对二值图像进行连通域分析；

提取与锁定目标的几何特征最相似的连通域，所述连通域的位置和大小即为目标检测结果。

2.根据权利要求1所述的方法，其特征在于，所述计算目标跟踪结果和目标检测结果的偏差包括：

获取目标跟踪结果和目标检测结果；

计算所述目标跟踪结果和目标检测结果偏差的均值和标准差。

3.根据权利要求2所述的方法，其特征在于，所述偏差不满足条件的情况包括：

所述标准差小于第一阈值，且所述均值大于第二阈值。

4.根据权利要求2所述的方法，其特征在于，所述获取目标跟踪结果，包括：

使用亮度信息作为输入图像特征，执行相关滤波方法，获取相关滤波器，执行相关操作，获得相关滤波响应图；

提取所述相关滤波响应图的极大值及所述极大值所在的尺度，获得目标跟踪结果。

5.一种用于红外成像式导引头目标跟踪的装置，其特征在于，包括：

偏差计算模块，被配置为计算目标跟踪结果和目标检测结果的偏差；

结果确定模块，被配置为在所述偏差不满足条件的情况下，用所述检测结果重新初始化相关滤波器；

获取目标检测结果单元，被配置为对图像进行亮度和梯度特征分析以得到目标检测结果，包括：

第一子单元，被配置为以目标的预测位置为中心提取感兴趣区域，网格化感兴趣区域；

第二子单元，被配置为计算每个网格中所有像素亮度和梯度的方差；

第三子单元，被配置为标记亮度和梯度方差均大于预设阈值的网格；

第四子单元，被配置为以标记网格为基础将图像二值化，对二值图像进行连通域分析；

第五子单元，被配置为提取与锁定目标的几何特征最相似的连通域，获取连通域的位置和大小，获得目标检测结果。

6.根据权利要求5所述的装置，其特征在于，所述偏差计算模块包括：

结果获取子模块，被配置为获取目标跟踪结果和获取目标检测结果；

计算子模块，被配置为计算目标跟踪结果和检测结果偏差的均值和标准差。

7.根据权利要求6所述的装置，其特征在于，所述偏差不满足条件的情况包括：

所述标准差小于第一阈值，且所述均值大于第二阈值。

8.根据权利要求6所述的装置，其特征在于，所述获取目标跟踪结果单元包括：

相关滤波响应子单元，被配置为使用亮度信息作为输入图像特征，执行相关滤波方法，获取相关滤波器，根据相关滤波器执行相关操作，获得相关滤波响应图；

结果获取子单元，被配置为提取所述相关滤波响应图的极大值及所述极大值所在的尺度，获得目标跟踪结果。

Images