CN110728697B - 基于卷积神经网络的红外弱小目标检测跟踪方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的红外弱小目标检测跟踪方法，属于图像目标检测及跟踪领域。使用亮度特征估计目标中心与邻域像素的欧氏距离的计算方法，从而突出真实目标，实现红外弱小目标的快速检测。基于检测到的目标位置，采用全卷积非对称孪生神经网络DeepCF，对目标进行持续快速跟踪。根据设定的跟踪置信度参数T，判断目标是否被遮挡。如果出现遮挡则不断预测物体运动轨迹，并不断纠正。通过本发明可以实现快速准确的目标检测与跟踪。

Description

基于卷积神经网络的红外弱小目标检测跟踪方法

技术领域

本发明属于图像目标检测及跟踪领域，更具体地，涉及一种基于卷积神经网络的红外弱小目标检测跟踪方法。

背景技术

红外目标检测及跟踪在视频监控、态势感知、自主车辆导航、军事作战及航天遥感等有广泛的应用，是与许多现实应用相关的重要问题。而目红外成像相比较可见光成像具有分辨率低、轮廓模糊及特征不明显等特点。同时在目标运动过程中由于部分遮挡、快速和突然的运动、照明变化以及视点和姿态的变化等各种干扰因素，导致目标检测与跟踪仍然是一个具有挑战性的问题。特别是大多红外图像应用场景都是复杂背景，距离远时，目标大多为点状弱小目标，易淹没在背景中而无法有效检测与跟踪。

现有的对红外目标的检测与跟踪大多基于传统图像处理的方法，首先对背景噪声进行抑制，再使用阈值对输入图像进行分割提取准目标，接着使用诸如形态学滤波等手段进行精细检测，确定跟踪门。采用光流法、相关滤波、质心法及卷积神经网络等方法或其改进方法对目标进行跟踪。但是阈值法对场景以及环境变换敏感，使得检测能力在复杂场景下或背景剧烈变化下大大降低。常见的卷积神经网络方法网络层数多，且大多存在池化层，对弱小目标的跟踪效果不佳。因此，解决红外弱小目标的快速准确检测以及稳定的跟踪显得尤为重要。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于卷积神经网络的红外弱小目标检测跟踪方法，由此解决现有在红外弱小目标的检测及跟踪上存在一定局限性的技术问题。

为实现上述目的，本发明提供了一种基于卷积神经网络的红外弱小目标检测跟踪方法，包括：

(1)基于目标的亮度特征提取红外图像中的目标；

(2)采用全卷积非对称孪生网络的目标网络跟踪器，提取所述目标的不同层次特征，并结合相关滤波作为判据，对所述目标进行跟踪；

(3)利用预设的跟踪置信度参数判断所述目标是否被遮挡或丢失；

(4)若所述目标被遮挡或丢失，则更新运动轨迹方程，预测所述目标的位置，并执行步骤(3)，直至所述目标未被遮挡或未丢失。

优选地，步骤(1)包括：

(1.1)使用高斯滤波对红外图像进行线性加权得到高斯滤波后图像，求得所述高斯滤波后图像的均值；

(1.2)将所述高斯滤波后图像减去所述均值后，求得与所述红外图像之间的欧式距离，得到显著图；

(1.3)求取所述显著图中的最大值，用所述红外图像中的每个像素点除以所述最大值，以凸显目标；

(1.4)使用最大类间方差法求得动态阈值，以所述动态阈值对所述显著图进行阈值分割，并对分割后的图像做图像膨胀的开运算，以使分散的块状区域连通，得到所述目标。

优选地，由t＝w₁*(μ-μ₁)²+w₂*(μ-μ₂)²确定所述动态阈值，其中，w₁+w₂＝1，w₁表示所述显著图中像素值大于预设值的比重，w₂表示所述显著图中像素值小于所述预设值的比重，μ₁表示所述显著图中像素值大于预设值的所有像素的均值，μ₂表示所述显著图中像素值小于所述预设值的所有像素的均值。

优选地，所述全卷积非对称孪生网络的目标网络跟踪器为将对称的全卷积孪生网络中的其中一个分支的最后一层增加了可微分层，构成了全卷积非对称孪生网络结构，其中，所述可微分层用于实现相关滤波及裁剪，所述对称的全卷积孪生网络中的两个卷积神经网络结构均由卷积层、归一化层和非线性激活层构成。

优选地，步骤(2)包括：

(2.1)选择相邻两帧红外图像作为所述目标网络跟踪器的输入，其中，第一帧图像为模板图片，以所述目标在所述模板图片中所处的位置范围作为目标区域，下一帧图像为搜索图片，以所述目标在所述搜索图片中所处的位置范围扩大若干倍作为搜索区域；

(2.2)由所述目标网络跟踪器中非对称的两个卷积神经网络分别对所述目标区域及所述搜索区域进行处理，得到与所述目标区域对应的第一特征图及与所述搜索区域对应的第二特征图；

(2.3)将所述第一特征图与所述第二特征图进行互相关，将互相关后的最大特征值作为所述目标的位置，以对所述目标进行跟踪。

优选地，所述可微分层的相关滤波器模板为：

其中，w^l为第l个通道对应的权重，D表示图像通道数，/>

表示第l个通道中做互相关的图像块，y表示标准高斯函数的响应，λ为正则化系数，ε表示相关滤波结果。

优选地，所述预设的跟踪置信度参数的确定方式为：

计算跟踪矩形框中当前帧图像横坐标方向的梯度和纵坐标方向的梯度，由所述横坐标方向的梯度和纵坐标方向的梯度计算梯度方向值和方向；

将所述当前帧图像依据分辨率大小划分为多个元胞，对每个元胞中的每个像素的梯度按照方向统计直方图，将梯度方向值相加，得到该元胞的特征向量，将所有元胞的特征向量串联并归一化，构成所述当前帧图像的目标特征向量；

每间隔若干帧为一个时间片段，将所述时间片段内所有图像的目标特征向量组成一个一维向量，计算每个时间片段内该一维向量的峭度以及方差，其中，峭度反映了每帧选中框内图像的特征向量组成的向量顶端尖峭或扁平程度的指标，方差反映了被遮挡后，跟踪门中图像的特征向量分布与序列帧图像中目标的特征向量的偏离程度；

由所述峭度以及方差确定所述预设的跟踪置信度参数。

优选地，由

确定所述预设的跟踪置信度参数，其中，N表示时间片段的个数，K_i表示第i个时间片段的峭度，D_i表示第i个时间片段的方差。

优选地，步骤(4)包括：

(4.1)在某一时刻出现遮挡时，基于前两个时间片段的运动方向矢量，预测当前时间片段内所述目标的运动方向矢量；

(4.2)将预测的所述目标的运动方向矢量映射到当前帧图像中，以确定所述目标的坐标，并利用所述预设的跟踪置信度参数判断所述目标是否被遮挡；

(4.3)若所述目标被遮挡，则返回执行步骤(4.1)，并间隔若干个时间片段后更新权值和偏置，若所述目标未被遮挡，则得到跟踪结果，输出所述目标的坐标。

优选地，预测的所述目标的坐标为：P_t+1＝W^T·P+b，其中，P_t+1表示目标在当前帧图像中的坐标，

表示时间片段内t帧图像中每帧中的目标坐标，/>

和/>

为线性方程的系数，W为权值，b为偏置。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明设计了一种快速准确的红外弱小目标检测方法，该方法可以有效突出真实目标的轮廓边缘，对周边噪声以及背景有很好的抑制，计算量小。

(2)提出了全卷积非对称孪生网络DeepCF用于目标跟踪。采用了卷积孪生网络方法，提取跟踪目标的不同层次特征，并结合相关滤波作为判据，实现快速准确的跟踪。

(3)提出了目标是否丢失或遮挡的检测机制即跟踪置信度参数T，在跟踪过程中不断评估跟踪效果来判断目标是否被遮挡或丢失。当目标被遮挡或丢失后，通过抗遮挡算法，不断更新运动轨迹方程，预测目标位置。

附图说明

图1是本发明实施例提供的一种基于卷积神经网络的红外弱小目标检测跟踪方法的流程示意图；

图2是本发明实施例提供的一种DeepCF网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于显著性特征及卷积神经网络的红外弱小目标检测与跟踪方法，与当前的工程化方法相比，本发明方法可以快速简单的进行跟踪效果评价，易于实现并保证实时性要求。所使用的工程化实现方法与人工特征提取方法相比，识别准确率更高。通过抗遮挡方法可以有效解决跟踪目标丢失或被遮挡的情况。

如图1所示是本发明实施例提出的一种目标检测及跟踪方法的流程示意图，包括：

S1：对红外的目标首先应用显著性方法在输入图像中进行提取。

目标检测过程包括如下步骤：

对特定红外目标进行跟踪的前提首先要从输入视频或者图像序列中检测到目标。一般来说，红外图像相比可见光图像分辨率低，目标边缘轮廓模糊，拍摄距离远时目标呈现点状从而难以辨别。依据人类视觉注意力机制的原理，关心的目标往往与周边背景有明显的区别或较大的对比度。对红外图像而言，目标亮度一般高于背景。因此本发明实例中提供了一种基于目标的亮度特征估计目标中心与邻域像素的欧氏距离计算方法，突出真实目标，可提高弱小目标检测准确率和漏检率。在本发明实施例中，目标检测的步骤为：

S11：与常见的针对可见光图片的显著性分析不同，由于红外图像缺乏色彩信息，R、G、B三个颜色通道灰度值相同，因此直接取得原红外图某个通道做进一步处理，记为I。

S12：红外图像噪声会影响目标的准确标注，使用高斯滤波对整幅图像进行线性加权，结果记为I_gaussian，可以有效克服图像上大量随机噪声，降低虚警率。

S13：求得滤波后图像的均值，并将高斯滤波后图像I_gaussian减去该均值，结果记为I_{gaussian-mean}，原输入图像I中每个像素点与I_{gaussian-mean}求得欧氏距离，得到显著图I_s：

I_s＝||I(x,y)-I_{gaussian-mean}(x,y)||

其中，||.||为L2范数，(x,y)表示像素点坐标。

S14：对显著图Is进行归一化运算：求得显著图中最大值，图像I中每个像素点除以该最大值。最终目标可以凸显出来。

S15：得到显著性图Is后，使用最大类间方差法求得动态阈值t，遍历求得t，并对显著图Is进行阈值分割。

t＝w₁*(μ-μ₁)²+w₂*(μ-μ₂)²

w₁+w₂＝1

其中，w₁表示显著图中像素值大于预设值的比重，w₂表示显著图中像素值小于所述预设值的比重，μ₁表示显著图中像素值大于预设值的所有像素的均值，μ₂表示显著图中像素值小于所述预设值的所有像素的均值。

S16：由于红外弱小目标阈值分割后，可能会出现一个目标被分成几个小块区域，因此对二值化图做图像膨胀的开运算，让分散的块状区域连通。最后标记出这些连通区域即为检测到的目标。

S2：目标跟踪

现在卷积神经网络的应用，使得训练好的网络可以自学习得到目标的多维度的特征。相比传统的方法准确性更高，泛化能力更强，鲁棒性更好。据此，设计了神经网络跟踪器DeepCF，如图2所示，把目标的深度特征与相关滤波过程相结合的轻量化网络。具体来说，该跟踪器是将相关滤波视为在孪生网络中添加的特殊相关滤波器层，并通过将网络输出定义为对象位置的响应热图，并且通过推导向后传播实现。分析封闭形式解，发现很容易得到一个最适应跟踪的学习特征的网络，并且是用端到端的方式，不需要手工干预。基于快速高效的跟踪置信度参数T，来判断跟踪的目标是否被遮挡。如果出现遮挡则不断预测物体运动轨迹，并不断纠正。

基于S1步骤中检测到的目标，进行持续跟踪的步骤如下：

S21：依据显著性方法处理后确定需要跟踪的目标；

S22：选定目标后，选择相邻两帧作为DeepCF的输入。DeepCF跟踪器是将对称的孪生网络其中一个分支最后一层增加了可微分层，构成了非对称孪生网络结构。该可微分层功能用于实现相关滤波及裁剪。其中第一帧x'为模板图片，下一帧图像z'为搜索图片。在下一帧搜索图像中，基于S1步骤中确定目标的位置，以其范围扩大若干倍的区域，滑动窗口进行相关运算，根据结果最大值确定目标的当前位置；

S23：传统卷积神经网络中池化层的操作会将特征图中的弱小目标的尺寸进一步缩小，因此DeepCF跟踪器中需要去除该层。两张图像x'和z'分别用共享参数的孪生卷积神经网络处理，得到图像x'的特征图和与图像z'的特征图，而孪生网络两个CNN网络结构分别由卷积层、归一化层和非线性激活层构成。在训练的时候，每个ReLU层前都使用了batchnormalization，用于降低过拟合的风险。

S24：在每帧图像中重新计算一个新滤波器模板，然后将其与前一个移动平均模板结合起来，为了实现实时跟踪，在全卷积非对称孪生网络中一个网络后加入相关滤波，并将网络两个分支做互相关。因此可判别相关滤波器模板为：

上式中的w为权重，D表示图像通道数，

表示做互相关的图像块，y表示标准高斯函数的响应，λ为大于0的一个正则化系数，ε表示相关滤波结果。通过在频域中求解岭回归问题，计算一个标准的相关滤波器模板w：

其中，

表示计算得到的权重值，/>

表示做互相关的图像块的频域值，/>

表示标准高斯函数的频域值。

S25：在训练过程中，需要提供一个大区域的相关滤波器，为了减少圆形边界对结果的影响，x'网络分支的输出特征图，被预乘以一个余弦窗口。后续训练过程中不断训练和优化权重ω使其最优；

S26：训练好网络，做目标跟踪时，只需要基于前向模型进行计算，其特征映射中最大值就是目标位置。

S3：跟踪置信度T

当目标出现遮挡时，在前后一段帧序列中，目标及周围附近区域的特征会发生较大的变化。因此，需要先对目标周围的图像特征进行提取。本发明实施例中设计了跟踪置信度参数T，来判断是否出现遮挡情况，计算步骤为：

S31：首先捕获目标的轮廓及纹理信息，进一步弱化光照的影响。计算跟踪矩形框中图像横坐标和纵坐标方向的梯度；

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

其中，G_x(x,y)表示在(x,y)位置沿x方向的梯度，G_y(x,y)表示(x,y)位置沿y方向的梯度。H(x+1,y)表示(x+1,y)处的灰度值，H(x-1,y)表示(x-1,y)处的灰度值，H(x,y+1)表示(x,y+1)处的灰度值，H(x,y-1)表示(x,y-1)处的灰度值。

并据此计算每个像素位置的梯度方向值G(x,y)和方向α(x,y)：

S32：再将图像依据分辨率大小划分为多个元胞。对每个元胞中的每个像素的梯度按照方向统计直方图，将直方图的模值(即梯度方向值)相加，就得到了该元胞的特征向量。再将所有元胞的特征向量串联起来，并归一化，构成了最终图像特征向量。

S33：为了保证抗遮挡算法不影响计算的实时性，且能有效捕捉遮挡事件的发生，因此设定一个自适应的时间片段t：

t＝f_s×0.2

其中f_s为视频序列的帧速。每间隔t帧为一个时间片段，将该时间片段内所有图像中目标的特征向量组成一个一维向量。计算每个时间片段内这一维向量的峭度K_i以及方差D_i：

D_i＝E((x-E(x))²)

其中μ为均值，σ表示方差，E表示求期望，i表示不同时间片段，x表示一维向量的值。峭度K反映了每帧选中框内图像的特征向量组成的向量顶端尖峭或扁平程度的指标。方差D反映了被遮挡后，跟踪门中图像的特征向量分布与序列帧图像中目标的特征向量的偏离程度。偏离越大，方差值越大，峭度越高。设定置信度参数T：

N表示有多少个时间片段，这个值可以根据对算法实时性与抗遮挡性等综合因素考虑，设定一个1～20范围内的值。

S34、当跟踪的目标没有被遮挡时，置信度T在没有遮挡时会处于某一范围内。当出现遮挡时，T会发生明显变化，执行抗遮挡算法。

S4：抗遮挡算法步骤：

S41：当t_n时刻出现遮挡，将前两个时间片段t_n-2和t_n-1为参考，在当前时间片段计算包括运动的方向的矢量。由于每帧间隔内物体运动位移相对不大，在一个时间片段t内，有t帧图像，可以用线性方程来描述：

P_t+1＝W^T·P+b

其中，P_t+1表示目标在当前帧图像中的坐标，

表示每帧中目标坐标，

为线性方程的系数。

轨迹预测函数为：

P_M表示预测坐标，P_i表示真实坐标。M表示时间片段内帧的数量，当上式轨迹预测函数达到最小情况，则认为实际值与预测值最接近。即线性函数愈发接近目标运动轨迹；

S42：预测结果映射到当前帧图像中，确定目标坐标。并不断用跟踪置信度T来判断是否还有遮挡；

S43：为了保证轨迹运动的连续性，且考虑到只有保持一段时间运动的轨迹才更接近目标真实运动，所以每间隔5-10个t时间间隔，权值W和偏置b更新一次；

S44：不断重复上述步骤，直到目标区域特征阈值T恢复到未遮挡的情况，重新定位。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的红外弱小目标检测跟踪方法，其特征在于，包括：

(1)基于目标的亮度特征提取红外图像中的目标；

(2)采用全卷积非对称孪生网络的目标网络跟踪器，提取所述目标的不同层次特征，并结合相关滤波作为判据，对所述目标进行跟踪；

(3)利用预设的跟踪置信度参数判断所述目标是否被遮挡或丢失；

(4)若所述目标被遮挡或丢失，则更新运动轨迹方程，预测所述目标的位置，并执行步骤(3)，直至所述目标未被遮挡或未丢失；

步骤(1)包括：

(1.1)使用高斯滤波对红外图像进行线性加权得到高斯滤波后图像，求得所述高斯滤波后图像的均值；

(1.2)将所述高斯滤波后图像减去所述均值后，求得与所述红外图像之间的欧式距离，得到显著图；

(1.3)求取所述显著图中的最大值，用所述红外图像中的每个像素点除以所述最大值，以凸显目标；

(1.4)使用最大类间方差法求得动态阈值，以所述动态阈值对所述显著图进行阈值分割，并对分割后的图像做图像膨胀的开运算，以使分散的块状区域连通，得到所述目标。

2.根据权利要求1所述的方法，其特征在于，由t＝w₁*(μ-μ₁)²+w₂*(μ-μ₂)²确定所述动态阈值t，其中，w₁+w₂＝1，w₁表示所述显著图中像素值大于预设值的比重，w₂表示所述显著图中像素值小于所述预设值的比重，μ₁表示所述显著图中像素值大于预设值的所有像素的均值，μ₂表示所述显著图中像素值小于所述预设值的所有像素的均值。

3.根据权利要求1或2所述的方法，其特征在于，所述全卷积非对称孪生网络的目标网络跟踪器为将对称的全卷积孪生网络中的其中一个分支的最后一层增加了可微分层，构成了全卷积非对称孪生网络结构，其中，所述可微分层用于实现相关滤波及裁剪，对称的全卷积孪生网络中的两个卷积神经网络结构均由卷积层、归一化层和非线性激活层构成。

4.根据权利要求3所述的方法，其特征在于，步骤(2)包括：

(2.1)选择相邻两帧红外图像作为所述目标网络跟踪器的输入，其中，第一帧图像为模板图像，以所述目标在所述模板图像中所处的位置范围作为目标区域，下一帧图像为搜索图像，以所述目标在所述搜索图像中所处的位置范围扩大若干倍作为搜索区域；

(2.2)由所述目标网络跟踪器中非对称的两个卷积神经网络分别对所述目标区域及所述搜索区域进行处理，得到与所述目标区域对应的第一特征图及与所述搜索区域对应的第二特征图；

(2.3)将所述第一特征图与所述第二特征图进行互相关，将互相关后的最大特征值作为所述目标的位置，以对所述目标进行跟踪。

5.根据权利要求4所述的方法，其特征在于，所述可微分层的相关滤波器模板为：

其中，w^l为第l个通道对应的权重，D表示图像通道数，/>

表示第l个通道中做互相关的图像块，y表示标准高斯函数的响应，λ为正则化系数，ε表示相关滤波结果。/>

6.根据权利要求1所述的方法，其特征在于，所述预设的跟踪置信度参数的确定方式为：

计算跟踪矩形框中当前帧图像横坐标方向的梯度和纵坐标方向的梯度，由所述横坐标方向的梯度和纵坐标方向的梯度计算梯度方向值和方向；

将所述当前帧图像依据分辨率大小划分为多个元胞，对每个元胞中的每个像素的梯度按照方向统计直方图，将梯度方向值相加，得到该元胞的特征向量，将所有元胞的特征向量串联并归一化，构成所述当前帧图像的目标特征向量；

每间隔若干帧为一个时间片段，将所述时间片段内所有图像的目标特征向量组成一个一维向量，计算每个时间片段内该一维向量的峭度以及方差，其中，峭度反映了每帧选中框内图像的特征向量组成的向量顶端尖峭或扁平程度的指标，方差反映了被遮挡后，跟踪门中图像的特征向量分布与序列帧图像中目标的特征向量的偏离程度；

由所述峭度以及方差确定所述预设的跟踪置信度参数。

7.根据权利要求6所述的方法，其特征在于，由

确定所述预设的跟踪置信度参数T，其中，N表示时间片段的个数，K_i表示第i个时间片段的峭度，D_i表示第i个时间片段的方差。

8.根据权利要求7所述的方法，其特征在于，步骤(4)包括：

(4.1)在某一时刻出现遮挡时，基于前两个时间片段的运动方向矢量，预测当前时间片段内所述目标的运动方向矢量；

(4.2)将预测的所述目标的运动方向矢量映射到当前帧图像中，以确定所述目标的坐标，并利用所述预设的跟踪置信度参数判断所述目标是否被遮挡；

(4.3)若所述目标被遮挡，则返回执行步骤(4.1)，并间隔若干个时间片段后更新权值和偏置，若所述目标未被遮挡，则得到跟踪结果，输出所述目标的坐标。

9.根据权利要求8所述的方法，其特征在于，预测的所述目标的坐标为：P_t+1＝W^T·P+b，其中，P_t+1表示目标在当前帧图像中的坐标，

表示时间片段内t帧图像中每帧中的目标坐标，/>

和/>

为线性方程的系数，W为权值，b为偏置。/>

Images