CN111652151B - 一种红外弱小目标跟踪方法 - Google Patents

Abstract

本发明涉及一种红外弱小目标跟踪方法、计算机设备及计算机可读存储介质，包括：由上一帧红外图像中的目标信息生成当前帧红外图像的空间域权重图；获取一组历史红外图像，生成当前帧红外图像的时间域权重图；结合空间域权重图与时间域权重图生成总权重图，并与当前帧红外图像相乘，生成最终效果图；利用结构张量检测最终效果图内所有候选目标；由转台伺服数据解算出上一帧红外图像的目标在当前帧的位移、速度，作为位移约束、速度约束剔除虚警，得到跟踪的真实目标；以跟踪的真实目标更新当前帧目标信息并保留历史数据，实现目标跟踪。本发明能够提高对目标的检测概率，强化对低信噪比小目标的稳定跟踪能力，并降低虚警概率。

Description

一种红外弱小目标跟踪方法

技术领域

本发明涉及图像处理及目标跟踪技术领域，尤其涉及一种红外弱小目标跟踪方法、计算机设备及计算机可读存储介质。

背景技术

红外跟踪技术一直在导航控制、军事防御、安防监控等领域发挥着极为重要的作用与价值，但目前红外跟踪技术仍存在许多不足之处，越发复杂的应用环境也对红外跟踪系统提出更加苛刻的需求。对红外目标的稳定跟踪距离是衡量红外跟踪系统的一个重要指标，目前受限于红外探测器面阵的分辨率与高成本，如何进一步提高红外跟踪系统的稳定跟踪距离成为一个重要课题。

红外低信噪比小目标，即红外弱小目标，通常与红外探测器距离很远，成像尺寸往往只有几个像素，且自身红外辐射特性通过大气传输衰减了许多，导致目标容易在跟踪过程中丢失，甚至湮没于背景噪声中。基于单帧目标检测的跟踪方法很容易丢失低信噪比小目标的信息，因此，为进一步提高红外跟踪系统的稳定跟踪距离，实现准确跟踪红外低信噪比小目标，需要提供一种有效的红外弱小目标跟踪方法。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是解决现有技术中难以有效、稳定跟踪红外弱小目标的问题。

(二)技术方案

为了解决上述技术问题，本发明提供了一种红外弱小目标跟踪方法，包括如下步骤：

S1、在稳定跟踪过程中，输入红外图像与转台伺服数据，由上一帧红外图像中的目标信息生成当前帧红外图像的空间域权重图；

S2、获取一组历史红外图像，根据其中每一个历史帧中保留的目标信息，解算当前帧的目标位置，并计算对应的权重系数；将一组历史红外图像中各历史帧计算所得权重系数通过加权结合，生成当前帧红外图像的时间域权重图；

S3、结合空间域权重图与时间域权重图，采用加权方式生成总权重图，并与当前帧红外图像相乘，生成最终效果图；

S4、利用结构张量检测最终效果图内所有候选目标；

S5、由转台伺服数据解算出上一帧红外图像的目标在当前帧的位移、速度，作为位移约束、速度约束剔除虚警，得到所有候选目标中置信度最高的目标作为跟踪的真实目标；

S6、以跟踪的真实目标更新当前帧目标信息并保留历史数据，实现目标跟踪。

优选地，所述步骤S1中，由上一帧红外图像中的目标信息生成当前帧红外图像的空间域权重图时，由空间域的注意力机制，通过预测上一帧的目标在当前帧红外图像的位置与速度，对当前帧生成权重图。

优选地，所述步骤S2中，获取的一组历史红外图像至少包括20帧历史红外图像。

优选地，所述步骤S2中，根据每一个历史帧中保留的目标信息，解算当前帧红外图像的目标位置信息时，设(x_t,y_t)表示t时刻目标在红外图像中的坐标位置，Δt表示两帧红外图像之间的时间间隔，(x_t′,y_t′)表示t时刻的目标在t+Δt时刻红外图像中的坐标位置，t+Δt时刻目标位置信息计算表达式如下：

其中，W、H分别为红外图像的宽度、高度，Φ为红外图像方位视场角，Θ为红外图像俯仰视场角，表示Δt时间间隔对应转台伺服的方位角变化，Δθ表示Δt时间间隔对应转台伺服的俯仰角变化。

优选地，所述步骤S2中，将一组历史红外图像中各历史帧计算所得权重系数通过加权结合时，根据各历史帧的目标信噪比进行加权，使目标信噪比高的历史帧获得大的加权权重。

优选地，所述步骤S4中，利用结构张量检测最终效果图内所有候选目标时，结构张量表达式为：

其中，G为高斯核，I为红外图像，I_x、I_y分别为红外图像I在x、y方向上的梯度图，对结构张量J_s(▽I)计算特征值矩阵为：

对于红外图像I中的每个像素点I(x,y)，根据对应的矩阵元素λ₁(x,y)、λ₂(x,y)检测该像素点I(x,y)是否属于候选目标。

优选地，所述步骤S5中，由转台伺服数据解算出上一帧红外图像的目标在当前帧的位移、速度时，(x′_t,y′_t)表示解算所得的、t时刻的目标在t+Δt时刻红外图像中的坐标位置，(x_t+Δt,y_t+Δt)表示跟踪所得的、目标t+Δt时刻红外图像中的坐标位置，t时刻到t+Δt时刻，空间域中目标超出预测的位移量为Δx＝x_t+Δt-x′_t，Δy＝y_t+Δt-y′_t，超出预测的速度量为以超出预测的位移量、速度量作为位移约束、速度约束剔除虚警。

优选地，所述步骤S2中，获取的一组历史红外图像时，对于100hz的图像采集帧频，保留前20帧数据作为历史红外图像。

本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述红外弱小目标跟踪方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述红外弱小目标跟踪方法的步骤。

(三)有益效果

本发明的上述技术方案具有如下优点：本发明提供了一种红外弱小目标跟踪方法、计算机设备及计算机可读存储介质，本发明利用多帧红外图像中的关联信息，结合空间域权重系数与时间域权重系数，生成目标总权重图，并利用结构张量检测候选目标，提高对低信噪比小目标的检测概率，强化对低信噪比小目标的稳定跟踪能力，并降低虚警概率。

附图说明

图1是本发明实施例中一种红外弱小目标跟踪方法步骤示意图；

图2是本发明实施例中一种红外弱小目标跟踪方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本发明实施例提供的一种红外弱小目标跟踪方法，包括如下步骤：

S1、在稳定跟踪过程中，输入红外图像与转台伺服数据，由上一帧红外图像中的目标信息生成当前帧红外图像的空间域权重图。

其中，转台伺服数据包括转台输出的方位角、俯仰角，目标信息包括目标与虚警的位置、速度、转台伺服数据。

S2、获取一组历史红外图像，根据这一组历史红外图像中每一个历史帧中保留的目标信息，即所有目标与虚警的位置、速度、转台伺服数据，解算当前帧的目标位置，并计算对应的权重系数；将一组历史红外图像中各历史帧计算所得权重系数通过加权结合，生成当前帧红外图像的时间域权重图。

S3、结合空间域权重图与时间域权重图，采用加权方式生成总权重图，以总权重图乘以当前帧红外图像，生成最终效果图。

生成的总权重图中，对于目标存在概率低的像素，其对应的权重系数为(0，1)之间，抑制背景噪声影响，降低虚警概率，而对于目标存在概率高的像素，对应的权重系数大于1，可以起到增强目标信噪比的作用。加权时空间域权重图与时间域权重图二者的权重可根据需要设置，例如可设置为0.5对0.5。

S4、利用结构张量检测最终效果图内所有候选目标。

S5、由转台伺服数据解算出上一帧红外图像的目标在当前帧的位移、速度，作为位移约束、速度约束剔除虚警，得到所有候选目标中置信度最高的目标作为跟踪的真实目标。

S6、以跟踪的真实目标更新当前帧目标信息并保留历史数据，实现目标跟踪。历史数据即当前帧红外图像及当前帧的所有目标信息(目标与虚警的位置、速度、转台伺服数据)。

考虑到红外弱小目标的信噪比较低、目标体积较小，本发明提出了模仿人眼视觉注意力机制跟踪低信噪比目标，视觉注意力通常集中在目标可能出现的局部区域，并根据目标历史特征信息对以后的目标形象进行勾勒与增强，从而检测并跟踪上低信噪比目标，甚至当目标短暂湮没在背景噪声中时，注意力仍集中在目标身上，坚持到目标重新浮现。本发明从空间域和时间域两个维度进行考虑，对时间轴上每个时刻的红外图像，在空间域解算上一帧的目标在当前帧红外图像的位置与速度，对当前帧红外图像生成空间域权重图，空间域权重图中(对应当前帧红外图像各个像素点)的各权重系数越大，代表该位置检测出目标的概率越大，反之代表虚警的概率越大。对一组历史红外图像，例如20个历史帧的红外图像，在时间域统计其中每个历史帧中保留的所有目标与虚警的位置、速度、转台伺服数据，解算为当前帧的位置信息，并计算该位置的权重系数，若是历史帧的目标则权重系数大于1，若是历史帧的虚警则权重系数小于1，然后将20帧的权重系数加权结合在一起，若历史帧的目标信噪比较高，则该帧影响当前帧的权重系数较大，否则影响较小，生成时间域权重图，最后与空间域权重图加权结合生成总权重图，对于目标存在概率低的像素，其总权重图的权重系数在(0，1)之间，抑制背景噪声影响，降低虚警概率，而对于目标存在概率高的像素，权重系数大于1，可以起到增强目标信噪比的作用。

因此优选地，步骤S1中，由上一帧红外图像中的目标信息生成当前帧红外图像的空间域权重图时，由空间域的注意力机制，通过预测上一帧的目标在当前帧红外图像的位置与速度，对当前帧生成权重图。对于预测得到的、上一帧的目标在当前帧中位置的区域，设置较大的权重系数；对于远离预测得到的、上一帧的目标在当前帧中位置的区域，或与上一帧相比，位置变化量远超出预测得到的、上一帧的目标在当前帧的速度与时间乘积的区域(即按照预测的速度不可能到达的区域)，设置较小的权重系数。权重系数的具体取值与分布情况可根据实际需要进行设置，在此不再进一步限定。例如可设置为以预测得到的、上一帧的目标在当前帧中位置为中心的高斯分布，并通过预测上一帧的目标在当前帧红外图像的速度，检验是否为虚警。

优选地，步骤S2中，获取一组历史红外图像时，因为弱小目标特征变化缓慢，历史数据越多，得到的目标历史特征也越稳定，但历史数据过多会导致算法的计算量过大，获取的一组历史红外图像至少包括20帧历史红外图像，优选为20～30帧。进一步地，获取的一组历史红外图像时，对于100hz的图像采集帧频，保留前20帧数据作为历史红外图像。

红外跟踪系统中，红外探测器安装于伺服转台上，往往采用方位-俯仰体系，与转台同轴，在任一时刻t可获取此时转台伺服的方位角与俯仰角θ_t。

优选地，步骤S2中，根据一组历史红外图像中每一个历史帧中保留的目标信息，解算当前帧红外图像的目标位置信息时，设(x_t,y_t)表示t时刻(即对应一个历史帧)目标在红外图像中的坐标位置，Δt表示两帧红外图像之间的时间间隔，(x′_t,y′_t)表示t时刻(即对应一个历史帧)的目标在t+Δt时刻(即对应当前帧)红外图像中的坐标位置，t+Δt时刻目标位置信息计算表达式如下：

其中，W、H分别为红外图像的宽度、高度，Φ为红外图像方位视场角，Θ为红外图像俯仰视场角，表示Δt时间间隔对应转台伺服的方位角变化，/>Δθ表示Δt时间间隔对应转台伺服的俯仰角变化，Δθ＝θ_t+Δt-θ_t。

优选地，参考视觉注意力机制，计算对应权重系数时，若解算出当前帧目标位置属于历史帧中目标，则对应的权重系数大于1，若解算出当前帧目标位置属于历史帧中虚警，则对应的权重系数小于1。权重系数的具体取值与分布情况可根据实际需要进行设置，在此不再进一步限定。

进一步地，步骤S2中，将一组历史红外图像中各历史帧计算所得权重系数通过加权结合时，根据各历史帧的目标信噪比进行加权，使目标信噪比高的历史帧获得大的加权权重，即，若历史帧的目标信噪比较高，则使得该历史帧影响当前帧的权重较大，若历史帧的目标信噪比较低，则使得该历史帧影响较小。

优选地，步骤S4中，利用结构张量检测最终效果图内所有候选目标时，结构张量表达式为：

其中，G为高斯核，I为红外图像，I_x、I_y分别为红外图像I在x、y方向上的梯度图，J_ij(i、j＝1、2)为结构张量J_s(▽I)的元素。

则对结构张量J_s(▽I)计算特征值矩阵为：

其中，λ₁、λ₂分别为两个特征值矩阵，维度与红外图像I相同。

对于红外图像I中的每个像素点I(x,y)，根据对应的矩阵元素λ₁(x,y)、λ₂(x,y)检测该像素点I(x,y)是否属于候选目标。

红外低信噪比目标在图像中成像面积小，与背景灰度差也较小，在灰度与面积特征上与背景杂波很难区分，但背景杂波通常具有过渡的边缘，或呈现较平滑的连通域分布，而红外目标往往在图像中为孤立的点连通域，具有较为陡峭的边缘，与邻域像素并不关联，所以可以利用这种局部结构的差异区分背景杂波与目标。

本发明通过结构张量描述这种局部结构信息，得到相应的特征值矩阵，对于图像每个像素点I(x,y)，平滑区域中λ₁(x,y)≈λ₂(x,y)≈0，边缘区域具有λ₁(x,y)＞＞λ₂(x,y)≈0，角点具有λ₁(x,y)＞＞λ₂(x,y)＞＞0的特点，由此可检测出低信噪比的小目标。

优选地，步骤S5中，由转台伺服数据解算出上一帧红外图像的目标在当前帧的位移、速度时，(x′_t,y′_t)表示解算所得的、t时刻(即对应上一帧)的目标在t+Δt时刻(即对应当前帧)红外图像中的坐标位置，(x_t+Δt,y_t+Δt)表示跟踪所得的、目标t+Δt时刻红外图像中的坐标位置，t时刻到t+Δt时刻，空间域中目标超出预测的位移量为Δx＝x_t+Δt-x′_t，Δy＝y_t+Δt-y′_t，超出预测的速度量为以超出预测的位移量、速度量作为位移约束、速度约束剔除虚警。若超出预测的位移量、速度量高于预设的虚警阈值，则可认为该检测到的“目标”置信度低，并非实际目标，而是虚警。由解算出的目标位移与速度，对t+Δt时刻(即对应当前帧)目标进行位置约束与速度约束，可计算目标置信度，剔除大部分虚警。

综上，本发明提供的红外弱小目标跟踪方法模拟人眼的注意力机制，利用空间域与时间域的注意力机制生成权重图，增强目标信噪比，抑制背景噪声，利用结构张量更好地检测低信噪比目标，利用转台伺服转动量信息更准确地描述相邻帧目标运动关系与约束条件，能够有效降低虚警概率，提高实时稳定跟踪性能。

特别地，在本发明一些优选的实施方式中，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式中所述红外弱小目标跟踪方法的步骤。

在本发明另一些优选的实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式中红外弱小目标跟踪方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述红外弱小目标跟踪方法实施例的流程，在此不再重复说明。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种红外弱小目标跟踪方法，其特征在于，包括如下步骤：

S1、在稳定跟踪过程中，输入红外图像与转台伺服数据，由上一帧红外图像中的目标信息生成当前帧红外图像的空间域权重图；

S2、获取一组历史红外图像，根据其中每一个历史帧中保留的目标信息，解算当前帧的目标位置，并计算对应的权重系数；将一组历史红外图像中各历史帧计算所得权重系数通过加权结合，生成当前帧红外图像的时间域权重图；

S3、结合空间域权重图与时间域权重图，采用加权方式生成总权重图，并与当前帧红外图像相乘，生成最终效果图；

S4、利用结构张量检测最终效果图内所有候选目标；

S5、由转台伺服数据解算出上一帧红外图像的目标在当前帧的位移、速度，作为位移约束、速度约束剔除虚警，得到所有候选目标中置信度最高的目标作为跟踪的真实目标；

S6、以跟踪的真实目标更新当前帧目标信息并保留历史数据，实现目标跟踪；

所述步骤S2中，根据每一个历史帧中保留的目标信息，解算当前帧红外图像的目标位置信息时，设(x_t,y_t)表示t时刻目标在红外图像中的坐标位置，Δt表示两帧红外图像之间的时间间隔，(x′_t,y′_t)表示t时刻的目标在t+Δt时刻红外图像中的坐标位置，t+Δt时刻目标位置信息计算表达式如下：

y′_t＝y_t-H·Δθ/Θ

其中，W、H分别为红外图像的宽度、高度，Φ为红外图像方位视场角，Θ为红外图像俯仰视场角，表示Δt时间间隔对应转台伺服的方位角变化，Δθ表示Δt时间间隔对应转台伺服的俯仰角变化；

所述步骤S4中，利用结构张量检测最终效果图内所有候选目标时，结构张量表达式为：

其中，G为高斯核，I为红外图像，I_x、I_y分别为红外图像I在x、y方向上的梯度图，对结构张量计算特征值矩阵为：

对于红外图像I中的每个像素点I(x,y)，根据对应的矩阵元素λ₁(x,y)、λ₂(x,y)检测该像素点I(x,y)是否属于候选目标。

2.根据权利要求1所述的红外弱小目标跟踪方法，其特征在于：所述步骤S1中，由上一帧红外图像中的目标信息生成当前帧红外图像的空间域权重图时，由空间域的注意力机制，通过预测上一帧的目标在当前帧红外图像的位置与速度，对当前帧生成权重图。

3.根据权利要求1所述的红外弱小目标跟踪方法，其特征在于：所述步骤S2中，获取的一组历史红外图像至少包括20帧历史红外图像。

4.根据权利要求1所述的红外弱小目标跟踪方法，其特征在于：所述步骤S2中，将一组历史红外图像中各历史帧计算所得权重系数通过加权结合时，根据各历史帧的目标信噪比进行加权，使目标信噪比高的历史帧获得大的加权权重。

5.根据权利要求4所述的红外弱小目标跟踪方法，其特征在于：所述步骤S5中，由转台伺服数据解算出上一帧红外图像的目标在当前帧的位移、速度时，(x′_t,y′_t)表示解算所得的、t时刻的目标在t+Δt时刻红外图像中的坐标位置，(x_t+Δt,y_t+Δt)表示跟踪所得的、目标t+Δt时刻红外图像中的坐标位置，t时刻到t+Δt时刻，空间域中目标超出预测的位移量为Δx＝x_t+Δt-x′_t，Δy＝y_t+Δt-y′_t，超出预测的速度量为 以超出预测的位移量、速度量作为位移约束、速度约束剔除虚警。

6.根据权利要求3所述的红外弱小目标跟踪方法，其特征在于：所述步骤S2中，获取的一组历史红外图像时，对于100hz的图像采集帧频，保留前20帧数据作为历史红外图像。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述红外弱小目标跟踪方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述红外弱小目标跟踪方法的步骤。