CN111259740B - 基于轻量级cnn与多源特征决策的红外图像舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。本发明针对卫星上有限资源条件和海况复杂场景多变的条件下，能够快速进行红外遥感图像舰船的检测。

Description

基于轻量级CNN与多源特征决策的红外图像舰船检测方法

技术领域

本发明属于图像处理技术领域，更具体的说是涉及一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法。

背景技术

随着遥感航天技术的不断增强，利用卫星探测、识别和跟踪目标在军事和民用方面得到了不断的发展。卫星使用红外探测器可远距离、全天时工作，抗干扰能力强，被动侦测目标隐蔽性，云雾穿透能力强等优点，使得红外遥感图像的研究具有不可替代的理论价值。红外图像具有SAR图像和可见光图像不具有的特殊优势。由于大气对红外辐射传输的衰减，卫星所得到的大尺寸红外图像往往背景比较复杂而目标强度较弱，使得如何从海量数据中减少搜索空间并快速、高效、准确检测到目标成为一个亟待解决的难题。同时，也为遥感卫星在应用场景、算法设计、系统配置等方面带来了创新突破的可能。红外遥感成像易受太阳耀斑、云层变化及海洋波浪等天气环境的的干扰，以及舰船目标在不同季节、天时和季候条件下的红外辐射不同，从而在成像上表现出灰度差异。此外，星上存储空间资源有限，检测算法要具备星载实时处理器要求的兼容性、可拓展性、实时性等多重特性也是一项对星上目标检测很大的挑战。

一般地，在以往的研究中，舰船目标检测算法分为传统的特征提取与深度学习的特征提取方法。(1)传统的特征提取方法主要是基于灰度和纹理特征的思想。在海况背景相对平静和简单的情况下，这些方法在特定数据集下获得了良好的检测结果。但是由于这些传统方法通常基于低级手工制作的特征，它们在复杂场景中(比如舰船目标对比度低、云雾干扰等)想要取得很高的检测精度会面临很大的挑战。(2)基于深度学习的特征提取在目标检测方面取得了较大的进展。目前在自然图像中，基于深度学习的目标检测技术包括anchor-based和anchor-free两大类。基于anchor-based的主要方法包括一阶段的SSD，DSSD，RetinaNet，RefineDet，YOLOV3等，二阶段技术包括Faster-RCNN，R-FCN，FPN，CascadeR-CNN，SNIP等。基于anchor-free的技术包括CornerNet，CenterNet，CornerNet-Lite，FSAF，FCOS，FoveaBox等。这些深度学习的方法在自然图像的目标检测中能达到较好的检测精度，但是在遥感图像资源有限的星载处理过程中，具有较多参数的模型仍会占用较大的存储空间。另一方面，如果将自然图像中的深度学习方法使用迁移学习技术应用到遥感图像中，当加载预训练模型进行微调时，还需要额外的调参技巧。此外，深度学习训练需要大量的标记样本，这对于样本量有限的红外遥感数据更具有挑战性。

因此，如何提供一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。

为了实现上述目的，本发明采用如下技术方案：

一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标。

优选的，包括如下步骤：

(1)对输入的原始遥感图像M×M分成N×N大小的图像块，可分成(M×M)/(N×N)＝L块；对分块后的N×N图像块根据步长S为1，滑动窗口大小为K×K进行像素重排列；则N×N大小的图像块最终形成大小为((N-K)/S+1)×((N-K)/S+1)的图像块I_i(i＝1,2,3,...,L)，该图像块中的每个像素被K×K×1向量代替；

(2)将步骤(1)中得到的像素重排的图像块I_i进行基于多元高斯分布策略提取图像中的异常点；假设图像块I_i中的每一行作为一个样本x_i，每个样本x_i服从高斯分布，并使用它们来估计整体样本块参数平均值μ和方差Σ的值；多元高斯中的异常值M(x)＝(x-u)^T∑^-1(x-u)，其中M(x)作为异常判断的条件阈值，x代表像素重新排列之后的样本，T代表矩阵的转置；

(3)根据步骤(2)中得到的异常点形成的连通区域进行8连通，得到每个连通域面积的最大外接矩形的位置，在原图中找到这些目标候选区的位置，初步得到目标候选区集合S1；

(4)根据连通域面积大小，长宽约束，对步骤(3)得到的目标候选区集合S1初步排除虚警；进一步缩小目标搜索区域，得到舰船目标候选区集合S2；

(5)由于全色分辨率较高，而红外分辨率较低，所以对全色舰船正样本进行预处理；进行退化操作，使全色样本图像中目标样本纹理不清晰；

(6)将步骤(5)中得到的退化后的图像进行灰度级调整；

(7)将步骤(6)处理得到的可见光全色遥感图像中的舰船来辅助数据量有限的红外舰船样本集，并进行多种策略的数据增强，得到来源于不同数据源的融合数据集，以便更好的学习舰船特征；

(8)将基于傅里叶变换的全局频谱特征对步骤(7)得到的融合数据集进行训练，得到模型M1，并对S2进行模型验证，得到目标候选切片集合S3；

(9)设计轻量级卷积神经网络结构，在保证分类精度的同时，对卷积核大小和网络层数进行简化设计；

(10)将基于轻量级卷积神经网络提取的局部特征对步骤(7)得到的MDS进行训练，得到模型M2，并对S3进行模型验证，以逐步排除虚警，得到最终的目标确认切片集合S4；其中，S1>S2>S3>S4。

优选的，步骤(2)中，利用公式(2)、(3)和(4)对分块后的图像进行多元高斯分布策略来提取目标候选区：

其中，x代表像素重新排列之后的样本，m是样本数量；u是样本特征平均值，Σ是所有样本减去平均值u，然后将其平方并相加得到的方差。

优选的，步骤(6)中，通过公式(6)实现全色图像样本数据的退化处理：

g(u,v)＝H[f(u,v)]+n(u,v) (6)

其中，(u,v)代表原始二维图像中的像素坐标位置，f(u,v)代表原始图像，H是对原始图像进行的退化操作，n(u,v)代表对原始图像施加的退化噪声。

优选的，步骤(7)中，通过公式(7)和(8)实现全色图像样本数据的灰度级的调整：

其中，u＝1,2,3,...,m；v＝1,2,3,...,m，f(u,v)是原始的切片图像，经过灰度级变换后为t(u,v)；f_a表示原始图像的灰度分布范围的最小值，f_b表示原始图像的灰度分布范围的最大值，[f_a,f_b]为原始图像的灰度分布范围区间；t_a表示变换后的图像灰度分布区间的最小值，t_b表示变换后的图像灰度分布区间的最大值，[t_a,t_b]为灰度变换后的图像灰度分布范围区间。

优选的，步骤(8)中，利用公式(10)来实现舰船目标样本的全局傅里叶频谱特征的提取：

其中，λ＝0,1,...,5表示6种不同的方向，I代表原图像，A和

代表傅里叶变换操作；则频谱描述子F＝[f₀；f₁；f₂；f₃；f₄；f₅]集成了不同方向的图像的全局频谱特征。

优选的，步骤(9)中，通过公式(11)作为训练时的交叉熵损失函数：

其中，N为训练时的批量大小；α代表目标候选切片，L代表切片总个数；Y代表类别的标签，y_αC代表第α个候选切片的第C个类别的标签；P代表类别概率，p_αC代表第α个候选切片属于第C个类别的概率。

本发明的有益效果在于：

本发明首先提出一种基于多元高斯分布的异常检测技术来提取目标候选区，从而有效全面的提取船舶目标候选区域以近一步缩小目标候选区域；然后将预处理的光学全色目标数据辅助有限的红外数据训练，以更好的学习舰船目标的多源特征的多样性；最后利用基于傅里叶变换的全局特征与轻量级卷积神经网络的局部特征进行级联决策以逐步排除虚警，获得最终的舰船目标检测结果，针对卫星上有限资源条件和海况复杂场景多变的条件下，能够快速进行红外遥感图像舰船的检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的方法流程图。

图2附图为本发明样本增广后的结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图1，本发明提供了一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，步骤1：对输入的原始遥感图像M×M分成N×N大小的图像块，可分成(M×M)/(N×N)＝L块。为了使样本数据更好地符合多元高斯分布，本方案把图像中的像素根据步长S为1，滑动窗口大小为K×K重新排列。即将每个滑动窗口中的像素拉伸为列向量作为一个样本，这样大小为N×N的图像块中的每个像素被滑动窗口重新排列，每个像素对应于其中心相应的滑动窗口。那么最终形成的样本集大小为：

[((M-K)/S)+1]×[(N-K)/S+1]×(K×K) (1)

步骤2：将步骤1中得到的像素重排的图像块I_i进行基于多元高斯分布策略提取图像中的异常点。假设图像块I_i中的每一行作为一个样本x_i，每个样本x_i服从高斯分布，并使用它们来估计整体样本块参数平均值μ和模型特征向量方差Σ的值，多元高斯分布公式如下所示：

其中，u是样本特征平均值，Σ是所有样本减去平均值u，然后将其平方并相加得到的方差，T代表矩阵的转置。

步骤3：通过选取合适的阈值，将M(x)大于该阈值的像素区域置为1，并将其作为异常区域；将M(x)小于该阈值的像素区域置为0，从而得到异常检测的二值图像。

由于上述多元高斯分布中的公式的分母接近于0，经过实验验证下述公式(5)和上述公式(2)是等价的，所以公式(2)可简化为：

M(x)＝(x-u)^TΣ^-1(x-u) (5)

步骤4：根据步骤3中高斯分布得到的异常点形成的连通区域进行8连通，每个连通域面积的最大外接矩形的位置便可以得到，该位置是一个四维向量(包含该最大外接矩形的左上角顶点坐标以及长和宽)。在原图中找到这些目标候选区的位置，初步得到目标候选区集合S1。

步骤5：根据连通域面积大小，长宽约束，对步骤4得到的目标候选区集合S1初步排除虚警。这样进一步缩小了目标搜索区域，从而初步得到连通域面积大于某个阈值，目标长宽约束比处于某范围之内的目标候选切片集合S2。该步骤近似排除部分与舰船目标大小相差太大或者太小的候选框。

步骤6：将可见光全色遥感图像中的舰船(不带尾迹)来辅助数据量有限的红外舰船样本集。由于全色图像的分辨率较高，使得舰船目标上的样本比较清晰可见，而红外数据集中舰船是没有纹理特征的。为了使全色和红外两种数据更接近于相同的分布，应对全色图像进行退化操作。

全色图像的退化模型为：

g(u,v)＝H[f(u,v)]+n(u,v) (6)

其中，(u,v)代表原始二维图像中的像素坐标位置，f(u,v)代表原始图像，H是对原始图像进行的退化操作，n(u,v)代表对原始图像施加的退化噪声。

步骤7：将经过步骤6处理的图像调整灰度级，以使得全色图像更类似于红外图像分布。假设原图像大小为M×N，对退化后的图像进行灰度级的调整，计算公式为：

其中，u＝1,2,3,...,m；v＝1,2,3,...,m，f(u,v)是原始的切片图像，经过灰度级变换后为t(u,v)；f_a表示原始图像的灰度分布范围的最小值，f_b表示原始图像的灰度分布范围的最大值，[f_a,f_b]为原始图像的灰度分布范围区间；t_a表示变换后的图像灰度分布区间的最小值，t_b表示变换后的图像灰度分布区间的最大值，[t_a,t_b]为灰度变换后的图像灰度分布范围区间。

将处理后的全色数据和红外数据混合在一起形成多源数据集。然后进行多种策略的数据增强，得到来源于不同数据源的融合数据集(MDS)，以便更好的学习舰船特征。经过该步骤得到样本增广后的结果图如图2所示。其中，图2中第一步degenerate表示退化操作，第二步adjust表示灰度级的调整操作，第三步data augmentation表示经过前两步之后的数据增强操作。

步骤8：对上一步骤得到的多源数据集(MDS)进行基于傅里叶变换的全局频谱特征的训练，得到模型M1。对步骤5中产生的目标候选集合S2进行模型验证，排除不符合全局频谱特征的部分候选切片，得到目标候选切片集合S3，近一步缩小了目标候选集合。

对每个候选目标图像从空间域转换到频率域。二维傅里叶变换定义为：

其中,f(x,y)代表图像函数，M和N代表序列f(x,y)的长度，且x＝0,1,...,M-1；y＝0,1,...,N-1。u和ν代表频率变量，β表示虚部。

不同方向的舰船目标形成的频谱描述子如下：

其中，λ＝0,1,...,5表示6种不同的方向，I代表原图像，A和

代表傅里叶变换操作；则频谱描述子F＝[f₀；f₁；f₂；f₃；f₄；f₅]集成了不同方向的图像的全局频谱特征。

步骤9：设计轻量级卷积神经网络。轻量级分类网络由四个卷积组成层和两个完全连接的层。其中，前三个卷积层配有3×3大小的卷积核，然后每个卷积层后面紧随下采样的最大池化层。最后一个卷积层配置为1×1大小的卷积核。本文提出的轻量级分类网络在普通卷积层之后连接1×1的卷积和RELU激活函数，可以在输出通道之间组合信息，使得网络具有更强的能力。

在训练过程中，通过数据增强策略允许模型能够观察目标的更多内容数据，从而使模型具有更好的泛化能力。最后一个全连接层和SoftMax层根据前一卷积层提取的特征来处理分类问题。本方案使用交叉熵作为损失函数：

其中，N为训练时的批量大小；α代表目标候选切片，L代表切片总个数；Y代表类别的标签，y_αC代表第α个候选切片的第C个类别的标签；P代表类别概率，p_αC代表第α个候选切片属于第C个类别的概率。

步骤10：将步骤9轻量级卷积神经网络提取的局部特征对步骤7得到的MDS进行训练，得到模型M2，并对步骤8得到的目标候选集合S3进行模型验证，以逐步排除虚警，得到最终的目标确认切片集合S4。约束条件为：S1>S2>S3>S4。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，首先利用多元高斯分布来提取目标候选区；然后将预处理的全色图像辅助数据量有限的红外样本进行训练；最后将基于傅里叶变换提取的全局特征与轻量级网络提取的局部特征相结合，并级联决策以逐步排除虚警，从而确认舰船目标；

包括如下步骤：

(1)对输入的原始遥感图像M×M分成N×N大小的图像块，可分成(M×M)/(N×N)＝L块；对分块后的N×N图像块根据步长S为1，滑动窗口大小为K×K进行像素重排列；则N×N大小的图像块最终形成大小为((N-K)/S+1)×((N-K)/S+1)的图像块I_i(i＝1,2,3,...,L)，该图像块中的每个像素被K×K×1向量代替；

(2)将步骤(1)中得到的像素重排的图像块I_i进行基于多元高斯分布策略提取图像中的异常点；假设图像块I_i中的每一行作为一个样本x_i，每个样本x_i服从高斯分布，并使用它们来估计整体样本块参数平均值μ和方差Σ的值；多元高斯中的异常值M(x)＝(x-u)^T∑^-1(x-u)，其中M(x)作为异常判断的条件阈值，x代表像素重新排列之后的样本，T代表矩阵的转置；

(3)根据步骤(2)中得到的异常点形成的连通区域进行8连通，得到每个连通域面积的最大外接矩形的位置，在原图中找到这些目标候选区的位置，初步得到目标候选区集合S1；

(4)根据连通域面积大小，长宽约束，对步骤(3)得到的目标候选区集合S1初步排除虚警；进一步缩小目标搜索区域，得到舰船目标候选区集合S2；

(5)由于全色分辨率较高，而红外分辨率较低，所以对全色舰船正样本进行预处理；进行退化操作，使全色样本图像中目标样本纹理不清晰；

(6)将步骤(5)中得到的退化后的图像进行灰度级调整；

(7)将步骤(6)处理得到的可见光全色遥感图像中的舰船来辅助数据量有限的红外舰船样本集，并进行多种策略的数据增强，得到来源于不同数据源的融合数据集，以便更好的学习舰船特征；

(8)将基于傅里叶变换的全局频谱特征对步骤(7)得到的融合数据集进行训练，得到模型M1，并对S2进行模型验证，得到目标候选切片集合S3；

(9)设计轻量级卷积神经网络结构，在保证分类精度的同时，对卷积核大小和网络层数进行简化设计；

(10)将基于轻量级卷积神经网络提取的局部特征对步骤(7)得到的MDS进行训练，得到模型M2，并对S3进行模型验证，以逐步排除虚警，得到最终的目标确认切片集合S4；其中，S1>S2>S3>S4。

2.根据权利要求1所述的一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，步骤(2)中，利用公式(2)、(3)和(4)对分块后的图像进行多元高斯分布策略来提取目标候选区：

其中，x代表像素重新排列之后的样本，m是样本数量；u是样本特征平均值，Σ是所有样本减去平均值u，然后将其平方并相加得到的方差。

3.根据权利要求1所述的一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，步骤(6)中，通过公式(6)实现全色图像样本数据的退化处理：

g(u,v)＝H[f(u,v)]+n(u,v) (6)

其中，(u,v)代表原始二维图像中的像素坐标位置，f(u,v)代表原始图像，H是对原始图像进行的退化操作，n(u,v)代表对原始图像施加的退化噪声。

4.根据权利要求1所述的一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，步骤(7)中，通过公式(7)和(8)实现全色图像样本数据的灰度级的调整：

其中，u＝1,2,3,...,m；v＝1,2,3,...,m，f(u,v)是原始的切片图像，经过灰度级变换后为t(u,v)；f_a表示原始图像的灰度分布范围的最小值，f_b表示原始图像的灰度分布范围的最大值，[f_a,f_b]为原始图像的灰度分布范围区间；t_a表示变换后的图像灰度分布区间的最小值，t_b表示变换后的图像灰度分布区间的最大值，[t_a,t_b]为灰度变换后的图像灰度分布范围区间。

5.根据权利要求1或4所述的一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，步骤(8)中，利用公式(10)来实现舰船目标样本的全局傅里叶频谱特征的提取：

其中，λ＝0,1,...,5表示6种不同的方向，I代表原图像，A和

代表傅里叶变换操作；则频谱描述子F＝[f₀；f₁；f₂；f₃；f₄；f₅]集成了不同方向的图像的全局频谱特征。

6.根据权利要求5所述的一种基于轻量级CNN与多源特征决策的红外图像舰船检测方法，其特征在于，步骤(9)中，通过公式(11)作为训练时的交叉熵损失函数：

其中，N为训练时的批量大小；α代表目标候选切片，L代表切片总个数；Y代表类别的标签，y_αC代表第α个候选切片的第C个类别的标签；P代表类别概率，p_αC代表第α个候选切片属于第C个类别的概率。

Images