CN114926629A

CN114926629A - 一种基于轻量化卷积神经网络的红外船目标显著性检测方法

Info

Publication number: CN114926629A
Application number: CN202210346815.XA
Authority: CN
Inventors: 刘兆英; 贺俊然; 张婷; 张学思
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2022-03-31
Filing date: 2022-03-31
Publication date: 2022-08-19
Anticipated expiration: 2042-03-31
Also published as: CN114926629B

Abstract

本发明公开一种基于轻量化卷积神经网络的红外船目标显著性检测方法，设计了一种轻量化模块SimpleInceptionwithDilated(SIWD)，旨在减少参数的情况下通过空洞卷积实现感受野的扩大，同时对现有的经典网络进行精简，实现参数量的进一步减少，并通过在上采样的过程中应用两种不同的上采样结合SIWD模块弥补单一上采样带来的缺陷。本发明在参数量显著减少的情况下实现了结果的提升。另外，针对缺少红外舰船显著性检测数据集的问题，本发明也构建了一个包含3069幅红外船目标图像的数据集。本发明可操作性、可扩展性较强，适用于海面背景的红外船目标显著性检测。

Description

一种基于轻量化卷积神经网络的红外船目标显著性检测方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于卷积神经网络的红外船目标显著性检测方法。

背景技术

红外图像因为隐蔽性好、穿透性强、不受光照强弱的影响、可以夜间工作等优势，因此，红外成像技术广泛应用于民用和军事方面。然而，由于受到成像技术及环境的影响，红外图像通常对比度低、信噪比低、缺乏纹理信息、灰度分布不均匀，且还有海面杂波、岛屿、海草等影响，使得红外图像分析与处理具有很大的挑战性。对于海上红外舰船目标图像，由于发动机、烟囱等热源的影响，舰船目标通常呈现比较明显的视觉显著性，因此，显著性目标检测成为了红外图像分析处理的重要预处理步骤。

传统的显著性目标检测方法主要是基于图像处理的方法，该方法比较依赖于人工选择特征，该类特征基于先验知识进行设计，对不同场景的适应能力较差，面对复杂背景的效果通常不能让人满意。随着深度学习技术的迅猛发展，基于卷积神经网络的方法也被广泛应用于解决显著性目标检测问题，基于深度学习的方法依赖于大量标注的数据集进行学习，自动提取深度特征，克服了传统人工设计特征的局限性，而且对复杂场景的识别效果较好，泛化能力较强，然而，目前大部分基于深度学习的显著性目标检测网络模型是针对可见光图像设计的，通常模型比较复杂，参数量较大。由于缺少公开的红外目标数据集，基于深度学习的方法在红外舰船目标显著性检测中的应用还比较少，另一方面由于应用的需要，红外舰船显著性检测对算法的精度和速度都有比较高的要求，因此，研究一种快速的轻量化的红外舰船显著性目标检测方法具有重要的意义和应用价值。。

现有的显著性检测模型大多数基于经典的VGG16网络基础上，其通常为五层模型，目的是提取数量足够多，感受野足够大，表征能力强的特征。然而海面红外舰船图像由于缺乏纹理、颜色等信息，实际上并不需要这么复杂的特征提取网络，因此，本发明从以下两个方面对模型进行改进，设计一种轻量化的快速的显著性目标检测网络：首先，为了减少参数量，本发明对VGG16网络中参数量最多的第五层网络进行删减，将骨干网络改为四层模型，从而降低模型参数量；其次，为了降低删减第五层网络带来的损失，本发明设计了一种新的轻量化模块 ——具有空洞卷积的简单植入模块(Simple Inception withDilated,SIWD)取代骨干网络中的传统卷积网络，通过使用两种不同的上采样与SIWD结合以弥补单一上采样带来的缺陷。本发明兼具检测精度与实时性，可操作性、可扩展性强，适应于海面背景的红外船显著性检测。

发明内容

本发明要解决的技术问题是，提供一种基于轻量型卷积神经网络的红外船显著性检测方法，用于海面红外舰船显著性检测，通过设计轻量化的模型满足显著性检测所需要的实时性与有效性。为实现上述目的，本发明采用如下技术方案：针对基于深度学习的红外舰船显著性算法缺乏数据集的问题，构建红外舰船显著性检测数据集。提取红外舰船视频中的图像，使用labelme软件标注出图像的前景和背景。利用构建的数据集，设计红外舰船显著性检测网络。将骨干网络由经典的五层VGG16模型修改为四层模型，并且设计轻量化模块和上采样模块应用在骨干网络中，达到实时性和有效性的要求。用构建的数据集训练模型并保存。

一种基于轻量型卷积神经网络的红外舰船显著性检测方法包括以下步骤：

步骤1：将经典的VGG16五层模型改为四层模型作为骨干网络。

步骤2:设计一种轻量化模块SIWD，该模块由四层分支的inception结构结合空洞卷积构成，在降低网络大小的同时兼具感受野增大的优势。

步骤3:基于SIWD模块结合upsampling和up-pixel两种上采样算法设计一种双分支上采样模块(Two Branch Upsampling)TBU。

步骤3:将SIWD和TBU模块应用到步骤1提出的骨干网络。

步骤5:保存步骤4中模型，用于模型测试。

附图说明

图1(a)为红外船视频提取的帧图像。

图1(b)为图1(a)对应的选船标签示意图。

图2为本发明红外舰船显著性检测方法流程图。

图3为本发明中SIWD模块的结构示意图

图4(a)为测试数据集的帧图像。

图4(b)为本发明测试结果图像。

图5(a)为测试数据集的帧图像。

图5(b)为本发明测试结果图像。

具体实施方式

本发明提供一种基于轻量化的卷积神经网络的红外舰船显著性检测方法，下面结合附图对本发明进行解释和阐述：

数据处理方式为：编写程序提取红外视频的每一帧(图1(a)),通道数为3，像素值∈[0,256]，大小为256×256。并挑选出3068幅红外船目标图像，用 labelme软件仔细标注图像的轮廓，生成图像前景和背景(图1(b))，文件名和帧图像名相同。

本发明的实施方案流程如下：

步骤1：红外图像由于缺乏颜色信息、纹理信息、边缘模糊等特征，不同于一般的VGG16五层结构，本发明删减了参数量最多的第五层，本发明的骨干网络由四个SWID构成，即四层结构，分别标记为S_i,i＝1,2,3,4，每个SWID模块的输出为X_i,i＝1,2,3,4，上采样模块为四个TBU，分别标记为T_i,i＝1,2,3,4，每个模块对应的输出为U_i,i＝1,2,3,4，其中

最终的预测结果为O＝sigmoid(Conv(U₄)),其中C_cat(f₁,...,f_n)为concat操作，即将特征f₁,...,f_n按通道拼接，Conv为卷积操作，网络的流程图如图2。

步骤2：设计一个轻量化模块SIWD，为了减少参数量，本发明使用大小为 1×3和3×1的卷积核代替3×3的卷积核，使用空洞卷积增大感受野。SIWD模块主要包含四个分支，四个分支中第一个分支为一个卷积核大小为1×1空洞率为1的卷积层，第二个分支使用两个卷积核大小分别为3×1和1×3，空洞率为 1的卷积层，输入特征分别经过这两个卷积层然后逐点相加构成第二个分支的输出，第三个分支使用两个卷积核大小分别为3×1和1×3，空洞率为3的卷积层，输入特征分别经过这两个卷积层然后逐点相加构成第三个分支的输出，第四个分支使用两个卷积核大小分别为3×1和1×3，空洞率为5的卷积层，输入特征分别经过这两个卷积层然后逐点相加构成第四个分支的输出，将输入I_S分别输入这四个分支的卷积层后，将得到的输出拼接起来，再通过一个点卷积层进行融合得到O_L，最后引入shortcut机制，将输入I_S和O_L拼接起来得到SIWD最后的输出O_S，具体结构如图3，过程可以表示为：

其中

表示卷积核大小为x且空洞率为y的卷积操作，A_add(f₁,...,f_n)代表将特征f₁,...,f_n逐点相加，B_i为第i个分支的输出特征。

步骤3：在上采样的过程中为了弥补单一上采样造成的缺陷，本发明的上采样模块TBU包含两个分支，第一个分支由一个SIWD模块和一个UpSampling 组成，第二个分支由一个SIWD模块和一个PixelShuffle组成,首先将输入数据I_I分别经过两个分支，然后将两个分支的输出相加得到上采样最后的输出O_TBU，其过程可以表示为

O_TBU＝A_add(U_up(SIWD(I_T)),P_ps(SIWD(I_T))) (4)

其中U_up(x)代表对x进行UpSampling操作,P_ps(x)代表对x进行PixelShuffle 操作。

步骤4：将TBU和SIWD结合步骤一所得到的骨干网络组成最终的网络，训练数据顺序输入到网络，选择迭代次数、学习率等超参数，并使用交叉熵损失函数和相似性结构损失之和作为损失函数，依据网络结果反向传播训练网络。

步骤5：保存步骤4中训练好的模型，用于模型测试。将测试红外舰船图像输入到模型中，得到预测结果，计算预测结果和真值的平均绝对误差、F_β值评估模型性能。其中，红外舰船图像如附图4(a)、图5(a),预测图像如附图4(b)、图5(b)。本模型在测试集上的量化结果与其他模型的对比结果如表1。

表1

Method	MAE	F<sub>β</sub>	Parameters
				FT	0.9481	0.0178	-
DSS	0.2109	53.20	62.24M
				NLDF	0.0046	74.42	25M
Light_NLDF	0.0055	73.29	20.55M
				BAS	0.0049	75.73	87M
MLU	0.0047	76.16	24.04M
				Ours+	0.0040	78.33	3.69M

以上实例仅用于描述本发明，而非限制本发明所描述的技术方案。因此，一切不脱离本发明精神和范围的技术方案及其改进，均应涵盖在本发明的权利要求范围中。

Claims

1.一种基于轻量化卷积神经网络的红外船目标显著性检测方法，其特征在于，包括：

步骤1：船目标数据集处理；提取视频中有代表性的图像，使用labelme软件标出目标船的轮廓作为标签；

步骤2：删减参数量最多的VGG16五层结构中的第五层，骨干网络由四个SWID构成，即四层结构模块，分别标记为S_i,i＝1,2,3,4每个结构模块的输出为X_i,i＝1,2,3,4，上采样结构模块为四个TBU，分别标记为T_i,i＝1,2,3,4，每个结构模块对应的输出为U_i,i＝1,2,3,4，其中

最终的预测结果为O＝sigmoid(Conv(U₄)),其中C_cat(f₁,...,f_n)为concat操作，即将特征f₁,...,f_n按通道拼接，Conv为卷积操作；

步骤3：设计一个轻量化模块SIWD，使用大小为1×3和3×1的卷积核代替3×3的卷积核，使用空洞卷积增大感受野；轻量化模块SIWD包含四个分支，四个分支中第一个分支为一个卷积核大小为1×1空洞率为1的卷积层，第二个分支使用两个卷积核大小分别为3×1和1×3，空洞率为1的卷积层，输入特征分别经过这两个卷积层然后逐点相加构成第二个分支的输出，第三个分支使用两个卷积核大小分别为3×1和1×3，空洞率为3的卷积层，输入特征分别经过这两个卷积层然后逐点相加构成第三个分支的输出，第四个分支使用两个卷积核大小分别为3×1和1×3，空洞率为5的卷积层，输入特征分别经过这两个卷积层然后逐点相加构成第四个分支的输出，将输入I_S分别输入这四个分支的卷积层后，将得到的输出拼接起来，再通过一个点卷积层进行融合得到O_L，最后引入shortcut机制，将输入I_S和O_L拼接起来得到SIWD最后的输出O_S，过程表示为：

其中

表示卷积核大小为x且空洞率为y的卷积操作，A_add(f₁,...,f_n)代表将特征f₁,...,f_n逐点相加，B_i为第i个分支的输出特征；

步骤4：上采样模块TBU包含两个分支，第一个分支由一个SIWD和一个UpSampling组成，第二个分支由一个SIWD和一个PixelShuffle组成；首先将输入数据I_T分别经过两个分支，然后将两个分支的输出相加得到上采样最后的输出O_TBU，其过程表示为

O_TBU＝A_add(U_up(SIWD(I_T)),P_ps(SIWD(I_T))) (4)

其中U_up(x)代表对x进行UpSampling操作,P_ps(x)代表对x进行PixelShuffle操作；

步骤5：将TBU和SIWD结合步骤二所得到的骨干网络组成最终的网络，训练数据顺序输入到网络，选择迭代次数、学习率超参数，并使用交叉熵损失函数和相似性结构损失之和作为损失函数，依据网络结果反向传播训练网络；

步骤6：保存步骤4中训练好的上采样模块TBU，用于测试。