CN107563433A - 一种基于卷积神经网络的红外小目标检测方法 - Google Patents

Abstract

本发明提供一种基于卷积神经网络的红外小目标检测方法，包括训练阶段：通过测试数据训练卷积神经网络确定网络参数；测试阶段：1)红外图像进行谱残差法SR得到目标的候选区域；2)使用卷积神经网络对候选区域进行多尺度滑窗遍历检测，得到候选区域的初步分类结果；3)对候选区域的初步分类结果进行非极大值抑制，将所有重叠度最大的块的轮廓作为最终的目标边框。本发明针对红外图像本身得到目标有差异的特征，利用卷积神经网络来提取和选择红外小目标的特征，比传统的图像处理方法适用性更广，得到结果也更准确。

Description

一种基于卷积神经网络的红外小目标检测方法

技术领域

本发明涉及红外图像处理技术。

背景技术

红外成像在军事探测、军事预警、航空航天等领域都有广泛的应用，红外弱小目标检测在预警系统、精确打击武器、航天系统等领域发挥着巨大的作用。由于成像距离远，易受大气环境干扰等原因，采集到的红外图像中目标大小一般不会超过10×10个像素，且信噪比低，因而我们称其为红外弱小目标。由于具有目标尺寸小，没有明显的形状特征，在成像的时候容易受到背景杂波和云层的干扰等特点，红外弱小目标检测一直是红外图像处理领域的关键性难题。

经过技术的不断发展，目前已经提出了许多检测方法。传统的检测方法主要有空域、频域变换。典型的变换的处理方法包括二维最小均方误差方法(Two dimensionalleast mean aquare，TDLMS)、顶帽变换(Top-hat filter)、小波变换(wavelet transform，WT)。主要是通过滤波的方法使目标凸显，但是这种方法适应性差，针对干净的背景才有较好的效果。

近年来，红外小目标的检测主要偏向于基于视觉显著性的方法和基于稀疏表示的方法。随着技术的发展，视觉显著性的概念在计算机视觉领域受到越来越多的关注，已经发展出了一系列显著性方法。随后，视觉显著性方法也被应用到红外目标检测中，包括相位谱傅里叶变换(Fourier Transform Phase Spectrum，PFT)、区域对比度方法、直方图对比度方法等。由于图像中大部分是背景，而背景的模式比较单一，存在大量冗余。这类方法是通过变换后处理的方法去掉冗余信息，从而使得处理后图像中的目标突出。存在的问题也比较明显，在灰度对比度小的红外图像中，处理结果中常常会出现杂波和云层的部分，造成误检。基于稀疏表示的方法主要采用压缩测量和背景恢复的方法，这种方法在字典的选择或者学习方面比较耗费精力。

自2014年以来，深度学习在计算机视觉的各个领域都得到了迅速地发展，并且表现出巨大的优势。在自然图像的目标检测课题中，发展出了基于卷积神经网络CNN(Convolutional Neural Networks)的R-CNN方法及其改进版Faster R-CNN，其在VOC2012数据集上的mAP达到了70.4％。在基于图像的视觉任务中，卷积神经网络在提取目标特征方面的优势已经凸现，大幅提高了一些视觉任务的指标。

发明内容

本发明所要解决的技术问题是，提供一种利用卷积神经网络进行红外弱小目标检测的方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于卷积神经网络的红外小目标检测方法，包括训练阶段与测试阶段：

训练阶段：通过测试数据训练卷积神经网络确定网络参数，卷积神经网络由7层结构组成，依次为连接卷积层conv1、池化层pool1、非线性层、卷积层conv2、池化层pool2、全连接层fc6以及全连接层fc7；

测试阶段：

1)预处理步骤：输入待检测的红外图像进行灰度化与去均值操作，再通过谱残差法SR得到目标的候选区域；

2)使用卷积神经网络对候选区域进行多尺度滑窗遍历检测，滑窗内图像依次经卷积层conv1、池化层pool1、非线性层、卷积层conv2和池化层pool2输出特征图至全连接层fc6，全连接层fc6将特征图映射成一维数据后输出至全连接层fc7，全连接层fc7输出滑窗分类结果，从而得到候选区域的初步分类结果；

3)对候选区域的初步分类结果进行非极大值抑制：以滑窗最小步长为大小对候选区域进行分块，根据滑窗分类结果求出所有块的重叠度，将所有重叠度最大的块的轮廓作为最终的目标边框。

本方法为了加快检测速度并降低虚警率，我们使用SR方法进行预处理来分割出候选区域。利用红外小目标的特点构建卷积神经网络CNN来提取目标的特征并分类，与之前对图像进行数学变换的方法相比，更能表征原图中的目标结构，并且输出结果直接是目标的边框，而之前的方法还需要进行进一步的分割才能得到目标位置。由于CNN的输入尺寸是固定的，因此采取滑窗的方式进行检测，而对初步的检测结果进行非极大值抑制，得到最终的目标检测结果。

本发明的有益效果是，针对红外图像本身得到目标有差异的特征，利用卷积神经网络来提取和选择红外小目标的特征，比传统的图像处理方法适用性更广，得到结果也更准确。

附图说明

图1基于深度学习的红外目标检测方法的训练和测试阶段流程示意图；

图2用于红外目标分类的网络结构示意图。

具体实施方式

整个方法分为两个阶段，训练阶段和检测阶段。具体步骤如图1所示：

训练阶段：

1.训练数据集的建立

本方法处理的是红外设备成像得到的灰度图(典型的尺寸为320×240)。图像中一般存在一个小目标，尺寸不超过10×10。为了训练的网络能够尽可能的表征目标的特征，我们在原图中取较小的图像块作为样本(如16×16大小)。我们已有的红外小目标数据都是基于天空背景的场景，因此本方法将样本分为三类：纯色的天空、云层、目标。分别给标签0、1、2。这样样本基本就可以反映图像的模式，但是在训练的时候样本太小会导致学习到的特征不够明显，因此我们做好提取和标签以后将所有样本尺寸变换到合适的尺寸。三种样本的数量应保持在平衡(合适的比例是1:1:1)。由于背景的样本数远大于目标的样本数，在初期我们需要人工选择具有代表性的样本使得三类样本比例相当。然后将整个数据集分为三部分：训练集、验证集、测试集。三部分的数量比例为训练集占多数，验证集和测试集占少数并且相当。训练集是用于CNN训练的直接样本；验证集是在训练过程中用于求误差，优化训练结果；测试集是用来检验训练模型，调整训练参数的。训练图像和测试图像在送入网络训练之前需要进行预处理。首先，将图像归一化到统一的尺寸(如32×32)，然后减去均值，这里均值是指尺寸归一化后所有训练图像的每个通道的每个像素点的均值，均值文件的尺寸和结构同训练图像相同。目的主要是消除数据的对称性，使训练不容易陷入局部极小。训练中，在一张图中随机截取若干固定尺寸的子图(如28×28)，这样可以增加样本数量，也可以使网络具有抗形变能力。

2.网络结构的设计

由于卷积神经网络的结构非常适合用于图像的处理，因此我们设计基于卷积神经网络的结构来实现样本的特征提取工作，后面接两个全连接层来实现分类。整个网络包括特征提取和分类两个部分。由于红外小目标尺寸小，形状简单，因此我们采用层数较少的网络结构。我们定义网络输入大小为上面子图的大小(如28×28)，这样就能完整包含目标。

本发明使用的网络模型主要包含卷积层(convolutional layer)、池化层(pooling layer)和非线性单元(Rectified Linear Unit，ReLU)层。卷积层运算的原理公式如下：

上式中x表示特征图，表示第l层的第j个特征图，它是由选出的部分特征图M _j与卷积核k_i,j卷积并求和，再加上偏置b_j得到的。通过卷积运算，使目标特征加强，降低了噪声，不同的卷积核提取了不同的特征。

池化层的目的是为了减少网络参数，同时可以使网络具有一定的形变适应性，并减轻网络的过拟合程度。池化方式一般有两种：一是将窗口中的最大值作为采样值，即最大值池化；二是将求窗口中所有值的均值作为采样值，即均值池化。最大值池化的公式如下：

表示第l层的第j个特征图，G_j表示池化层的感知范围。

激活函数ReLU是一种非线性单元，对前一层的特征图进行非线性化操作，可以加速算法收敛，加快运算速度。函数可以表示为：

f(x)＝max(x,0)

本发明的网络结构按顺序连接，依次为：

第一层：卷积层conv1，尺寸为K1×K1×N1，K1为卷积核大小(合适的卷积核大小为3×3)，N1为特征图数量(可取20个特征图)，步长为S1(可取1)。

第二层：池化层pool1，尺寸为p1×p1(可取p1＝2)，步长p1，为最大值池化。

第三层：非线性层，ReLU。

第四层：卷积层conv2，尺寸为K2×K2×N2，K2为卷积核大小(合适的卷积核大小为3×3)，N2为特征图数量(可取50个特征图)，步长为S2(可取1)。

第五层：池化层pool2，尺寸为p2×p2(可取p2＝2)，步长p2，为最大值池化。

第六层：全连接层fc6，输出尺寸500×1。第一层全连接层将卷积层输出的特征图映射成一维，以便于后面进行分类。

第七层：全连接层fc7，输出3×1(因为我们的训练样本有三类)。输出有三个节点，代表数字0、1、2，与三类样本对应。

网络结构如图2所示。最后计算每一类的输出概率使用SoftMax函数σ(z)＝(σ₁(z),…,σ_m(z))，公式为：

上式中，i是类别编号，z_i是全连接层的每个类别的输出，σ_i(z)是第i类的概率值。SoftMax的作用是将线性预测值转化为概率，该函数单调递增函数，即线性预测值越大，输出越大，输入图像属于该标签的概率也越大。训练时，对softmax的结果计算交叉熵分类损失函数为：

上式中，σ_i(z)是第i类的概率值，N是一个训练批次的大小。训练中的参数求解使用的是随机梯度下降法(Stochastic Gradient Descent，SGD)更新权值。

以上结构中，由于实施例样本尺寸较小，所以选择较小的卷积核大小，这样可以提取到精细的特征。其次，目标形状单一，第一个卷积层实施例设置了20种特征，在满足要求的同时尽量降低复杂度。该结构在训练实验中可以收敛，并且在测试集上可以达到90％以上的准确率。

3.训练参数的确定

准备好训练数据和网络结构之后，进行训练之前，还需要确定训练参数。这里需要调整的参数比较多，目前不能通过算法自动地调整参数得到最好的模型，基本方法是通过逐个尝试的方法调参。调整学习率的方式：首先固定一个学习率的值，开始训练模型，迭代到测试准确率不再上升以后，降低学习率继续训练。这样反复调整学习率直到训练出一个较好的深度模型。确定的主要参数有：学习率(base_lr)、权重衰减值(weight_decay)、学习率下降方式(lr_policy)。

检测阶段：

1.候选区域提取

将红外远距离成像的图像看作两部分构成，即目标与背景。在进行检测之前，首先使用基于显著性检测的SR方法得到目标检测的候选区域。记输入的图为I(x,y),尺寸为w*h(灰度图)。I的傅里叶变换为：

即A(f)和P(f)分别为I傅里叶变换的幅度谱和相位谱，Re表示取实部，Im表示取虚部。

剩余谱为：

L(f)＝log(A(f))

R(f)＝L(f)-h_n(f)*L(f)

L(f)是I的对数幅度谱，h_n(f)是一个n×n局部均值滤波器。R(f)即为剩余谱。

计算显著性图公式如下：

和分别代表傅里叶变换和傅立叶反变换，g(x)是高斯滤波器，用于提高图像的显著性效果。得到显著性图谱S(x)后，取合适的阈值T_SR，分割得到包含目标的候选区域图谱。

由于SR方法是通用方法，处理简单，所以经过处理之后只是去掉了具有重复模式的背景。得到的候选区域包含目标区域和变化较大的背景区域，下面的步骤即是在这些候选区域上进行进一步的检测。

2.初步检测

检测阶段使用训练阶段得到的模型进行红外弱小目标检测。记每一个输入的区域为R(x,y),尺寸为wr*hr(灰度图)。这里通过滑窗遍历的方式进行检测,由于候选区域较小，针对目标形状的变化采取多尺度窗进行处理。本实例中，首先我们对图像进行有重叠的滑窗采样，窗口取固定尺寸m×n(如16×16)，三种长宽比：1:1、1:2、2:1。每个窗口进行与训练样本一样的预处理，再随机截取尺寸稍小的若干子图(本实例中我们取10个14×14的子图)。每个窗口的子图被送入训练好的网络模型得到各自的类别概率向量，则一个窗口的分类输出为这些子图的输出概率向量的平均向量。我们将这个平均概率向量按值从大到小排序，如果概率最大的类别为目标，且它和排第二的概率值相差较大(本实例中取大于50％)，那就认为该窗口中包含目标。每个窗口都进行上述操作，直至遍历整幅图像。经过初步检测后，我们提取出分类输出为目标对应标签的窗口，这样我们便得到了初步检测结果。

2.非极大值抑制

初步检测的结果中会有很多框都包含了目标，为了去掉多余的边框，并确定目标的最佳位置，我们在最后进行初步结果的非极大值抑制。具体做法是：由于我们采用的是固定步长，所以最小单元为步长大小的块。我们先求出所有块的重叠度(即重叠的块个数)，然后找到重叠度最大的块，由于有可能存在多个这样的块，我们求所有重叠度最大的块的轮廓作为最终的目标边框。

Claims (2)

1.一种基于卷积神经网络的红外小目标检测方法，其特征在于，包括训练阶段与测试阶段；

训练阶段：通过训练样本集训练卷积神经网络确定网络参数，卷积神经网络由7层结构组成，依次为连接卷积层conv1、池化层pool1、非线性层、池化层pool2、卷积层conv2、全连接层fc6以及全连接层fc7；

测试阶段：

1)预处理步骤：输入待检测的红外图像进行灰度化与去均值操作，再通过谱残差法SR得到目标的候选区域；

2)使用卷积神经网络对候选区域进行多尺度滑窗遍历检测，滑窗内图像依次经卷积层conv1、池化层pool1、非线性层、卷积层conv2和池化层pool2输出特征图至全连接层fc6，全连接层fc6将特征图映射成一维数据后输出至全连接层fc7，全连接层fc7输出滑窗分类结果，从而得到候选区域的初步分类结果；

3)对候选区域的初步分类结果进行非极大值抑制：以滑窗最小步长为大小对候选区域进行分块，根据滑窗分类结果求出所有块的重叠度，将所有重叠度最大的块的轮廓作为最终的目标边框。

2.如权利要求1所述方法，其特征在于，卷积神经网络中，卷积层conv1，尺寸为3×3×20，步长为1；池化层pool1与池化层pool2均采用最大值池化，尺寸为2×2，步长为2；卷积层conv2，尺寸为3×3×50，步长为1。