CN111814693A - 一种基于深度学习的海上船舶识别方法 - Google Patents

Abstract

一种基于深度学习的海上船舶识别方法，属于图像处理领域。首先通过无人机拍摄海面照片，海面照片构成数据集；对海面照片进行预处理；基于深度学习的用于无人机的海上船只识别方法构造的是解码与编码皆为5层的U型升级网络，每个U型神经网络中增加了残差块；预处理后的训练集送入U型神经网络，使用Adam梯度下降进行训练，训练过程中利用验证集来判断网络的精确度，并保留网络参数；然后将测试集输入训练好的网络中，将测试集输入U型神经网络中，使用交叉熵代价函数获得损失值，但不进行反向传播，并将得到的结果与真实标签图进行对比，以此来进行海上船只的识别。本方法简单、易操作，识别率可达90％，结果可信度高。

Description

一种基于深度学习的海上船舶识别方法

技术领域

本发明属于图像处理领域，具体设计一种基于深度学习的海上船只识别方法。

背景技术

海洋空间的开发再现如今越发被人关注，如何快速与识别获取海面信息已经成为关注的重心。随着无人机、无人船技术的发展，利用无人机、无人船等遥感设备去获取海面信息已经成为人们的共识。近年来，世界各国的海洋权益的争端越发频繁，快速识别船只，并对其进行跟踪与监视显得尤为重要。传统人工识别船只的方法不但资源消耗过大且难以保证其准确性和可靠性，随着图像技术与深度学习技术的发展，使得自动识别船只变成了可能。

近年来深度学习在图像处理领域大放异彩，多项纪录都被深度学习所刷新，这体现了深度学习在图像处理领域有着巨大的优势。这是因为深度学习是根据模拟人的大脑的思考方式来学会如何处理问题。在经过足够多的训练次数后，深度学习可以自行处理图片信息，而训练的过程就是机器在学习的过程。训练集越多，网络的学习能力越强，上限越高。同时由于深度学习的优异表现，很多框架都可以使用，因此深度学习具有良好的可移植性。与传统的人工技术相比，深度学习还具有所需资源量少的优点。

在图像识别与语义分割领域，U型神经网络(UNet)独领风骚。其在2015年的ISIB比赛上一大幅度的领先赢得了生物细胞定位项目的冠军。其最大的又是就是将底层和高层的信息结合起来，从而利用了底层的特征信息改善上采样的信息不足的缺点。Une通过融合了不同尺度的特征保证了上采样出来的特征不会很粗糙。

发明内容

有鉴于此，本发明提供一种基于深度学习的海上船只识别系统，用计算机来代替人工。

一种基于深度学习的海上船舶识别方法，步骤如下：

步骤一、数据获取：通过无人机拍摄海面照片，海面照片构成数据集；

步骤二、预处理数据集：对海面照片进行预处理；

步骤三、U型神经网络构造：基于深度学习的用于无人机的海上船只识别方法构造的是解码与编码皆为5层的U型升级网络，每个U型神经网络中增加了残差块；

步骤四、训练过程：预处理后的训练集送入U型神经网络，使用Adam梯度下降进行训练，训练过程中利用验证集来判断网络的精确度，并保留网络参数；

步骤五、测试过程：

将测试集输入训练好的网络中，将测试集输入U型神经网络中，使用交叉熵代价函数获得损失值，但不进行反向传播，并将得到的结果与真实标签图进行对比，以此来进行海上船只的识别。

所述步骤一具体包括：

(1)对海面照片进行加权均值滤波处理；

(2)将加权均值滤波处理后的图片裁剪成统一的尺寸，减去周围没有目标物的背景；

(3)对裁剪完的数据集进行标签，生成对应的标签集；

(4)将数据集以及对应的标签集按比例划分成测试集、验证集与训练；

(5)对训练集进行旋转、平移、缩放、随机遮挡、水平翻转、颜色反差、噪声干扰数据增强操作。

所述的U型神经网络包括编码块、残差块和解码块；其中编码块是对预处理后的图像进行下采样，以此来提取图像特征；编码块包括5个卷积层，每个卷积层包括2个卷积、1个归一化、1个池化层和Relu激活函数；在编码阶段，每个卷积核大小为3x3，填充为1，池化层采用的是2x2的卷积池，步长为2；编码块中其他参数皆为默认值；解码块是对经过编码块处理后的图像进行上采样，并使其恢复为原来的尺寸大小；解码块包括5个上采样的卷积层，每个卷积层包括1个卷积、1个上采样、1个归一化、Relu激活函数；在解码阶段，每个卷积核大小为1，填充为0，步长为1；解码块最后一个卷积层作为输出层，输出层的激活函数为sigmoid函数。

所述的U型神经网络，在编码块的每一个卷积层卷积结束后都有一次残差块，每一个残差块包括1个卷积，1个归一化，为保证残差连接时维度不发生错误，残差块中的卷积大小为1*1，填充为0，最后将卷积的结果与残差的结果相加。

步骤四、训练过程具体如下：

(1)预处理后的训练集送入U型神经网络中，依次通过包含五层卷积层的编码块，提取出图像的特征矩阵；将编码块得到的结果x输入到解码块，进行2倍的上采样，上采样后得到的结果g，将g和对应的编码块中的结果x进行相加，相加后通过激活函数Relu得到结果g’，之后利用残差块将g与g’进行相加后再进行卷积核大小为1，填充为0的卷积；

(2)重复步骤(1)，将特征图上采样成原始图的尺寸；再利用激活函数sigmoid将特征图转换为与原始图相同尺寸的概率分布图；sigmoid函数作为输出层的激活函数，以此来判断当前像素点是否是船只；

(3)使用交叉熵代价函数将得到的概率分布图真实标签图进行对比；

(4)根据Adam梯度下降法计算各个权重值的梯度从而进行反向传播，更新各个权重的值。

进一步的，relu激活函数公式为：Relu(x)＝max(0,x)。

进一步的，sigmoid函数的公式为：

其导数的公式为：

进一步的，交叉熵代价函数的公式为：

其中，n表示样本数，a表示预测结果，y表示真实标签(groundTruth)。

进一步的，Adam的梯度下降过程为：

Vdw＝β₁Vdw+(1-β₁)dw

Vdb＝β₁Vdb+(1-β₁)db

Sdw＝β₂Sdw+(1-β₂)dw²

Sdb＝β₂Sdb+(1-β₂)db²

其中，β₁、β₂为超参数，W指的是网络的权重值，b指的是偏移值，t表示当前的迭代次数，Vdw，Vdb，Sdw，Sdb的初始值均为0；Vdw与Vdb分别是权重w和偏移值b的一阶动量即各个时刻梯度方向的指数移动平均值，Sdw，Sdb是w与b的二阶动量即到第t次迭代为止所有梯度值的平方和；V′dw，V′db，S′dw与S′db是指在第t次迭代中进行参数修正后的一阶动量与二阶动量，

表示β₁、β₂的t次方，α表示学习率。

本发明的有益效果：

(1)简单，易操作；

(2)由于在网络中加了残差模块，避免了训练过程中梯度消失与过拟合的情况，因此准确率高，识别率可达90％，结果可信度高；

(3)因此在数据预处理时进行了数据扩充的操作，增加了训练集的数量，使得网络具有较好的普适性，能够适应各种海面情况。

附图说明

图1为本发明的U型神经网络的结构图。

图2为残差模块(seBlock)的结构图。

图3为本发明的数据样本与预测结果。其中，a为原始图像，b为预处理后的图像，c为训练后的网络的预测结果。

具体实施方式

下面结合本发明的附图，对本发明的技术方案进行清楚完整地描述，本实例描述的仅是本发明的一部分实例不是全部的实例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明公开一种基于深度学习的海上船只识别方式，具体步骤包括：

步骤1，数据集的获取；

通过无人机在海面拍摄海面照片，格式为png，将照片做成数据集。照片样本如图2所示

步骤2，数据集的预处理

无人机所拍摄的原始图像的尺寸各不相同，为方便U型神经网络训练，将所有图片裁剪成512x512的尺寸，减去周围没有目标物的背景。

使用加权均值滤波，除去照片中存在的大量的噪音。对照片标签后，以6：2：2的比例将数据集划分为训练集，验证集与测试集。之后再对测试集进行旋转，平移，缩放，随机遮挡，水平翻转，颜色反差等数据增强的操作，以此来增加网络的训练集个数，避免网络出现过拟合的情况。

步骤3，训练网络

将预处理结束的训练集放入网络中，依次通过五层编码块(UnetConv)，提取出图像的特征矩阵。

经过五次编码得到结果通过解码块(UnetUp)进行2倍的上采样，上采用后得到的结果g，将g和对应的编码块中的结果x进行相加，相加后通过激活函数Relu得到结果g’，之后利用残差块(Res_block)将g与g’进行相加后再进行卷积核大小为1，填充为0的卷积。

其中relu函数是指修正线性函数，是人工神经网络中一种非常常用的激活函数，其公式为

Relu(x)＝max(0,x)

Relu函数相对与sigmoid等函数计算量较小，可以减少网络的训练时间。同时Relu函数会让一部份的神经元的输出为0，这样能增大网络的稀疏性，从而可以减少网络参数之间相互依赖的关系，与数据增强的效果类似可以防止网络选练过拟合的发生。

重复进行上一步骤，将特征图(featuremap)上采样成原始图的尺寸。再利用激活函数sigmoid将特征图转换为与原始图相同尺寸的概率图。

这里采用的sigmoid的公式为

其导数的公式为

Sigmoid函数具有很好的对称性，并且sigmoid函数的输出范围为(0，1)，并且当输入趋于正负无穷时，函数就趋于平滑状态，因此sigmoid对于输入超过一定范围后就不会敏感了。由于sigmoid函数的输出在0到1之间的特性，本发明选择sigmoid函数作为输出层的激活函数，以此来判断当前像素点是否是船只。

使用交叉熵代价函数将得到的概率分布图真实标签图进行对比。交叉熵代价函数的公式为：

得到代价函数值后，根据Adam梯度下降法计算各个权重值的梯度从而进行反向传播，更新各个权重的值。

Adam梯度下降算法结合了AdaGrad与RMSProp两种优化算法的优点，综合考虑一阶矩估计和二阶矩估计，计算出更新步长。Adam不仅实现简单，计算高效，对内存的需求又小，且参数的更新不会受梯度的伸缩影响，同时adam的超参数又很好的解释性，通常无需调整或只需要少量的微调。结合以上有点，本发明选用Adam梯度下降法。

Adam的梯度下降过程为：

Vdw＝β₁Vdw+(1-β₁)dw

Vdb＝β₁Vdb+(1-β₁)db

Sdw＝β₂Sdw+(1-β₂)dw²

Sdb＝β₂Sdb+(1-β₂)db²

本发明采用超参数β₁为0.9，β₂为0.999。

步骤四测试网络：

将训练集放入按与测试集同样的方式放入U型神经网络中去，但不进行反向传播，并将得到的结果与真实标签图(ground_truth)进行对比。

仿真实验

为证明技术方案的可行性，本文进行了仿真实验，实验的硬件环境为NVIDIAGTX1080Ti单个GPU，Intel Core i7处理器。软件环境为python3.6.8，pytorch0.4.1，网络的学习率为10^-4，Adam的超参数选择为β₁＝0.9、β₂＝0.999。附图3中的a为原始图像，b为预处理后的图像，c为训练后的网络的预测结果。由附图3可知网络可以精确的识别出图片中船的位置与轮廓。

Claims (9)

1.一种基于深度学习的海上船舶识别方法，其特征在于，步骤如下：

步骤一、数据获取：通过无人机拍摄海面照片，海面照片构成数据集；

步骤二、预处理数据集：对海面照片进行预处理；

步骤三、U型神经网络构造：基于深度学习的用于无人机的海上船只识别方法构造的是解码与编码皆为5层的U型升级网络，每个U型神经网络中增加了残差块；

步骤四、训练过程：预处理后的训练集送入U型神经网络，使用Adam梯度下降进行训练，训练过程中利用验证集来判断网络的精确度，并保留网络参数；

步骤五、测试过程：

将测试集输入训练好的网络中，将测试集输入U型神经网络中，使用交叉熵代价函数获得损失值，但不进行反向传播，并将得到的结果与真实标签图进行对比，以此来进行海上船只的识别。

2.根据权利要求1所述的一种基于深度学习的海上船舶识别方法，其特征在于，所述步骤一具体包括：

(1)对海面照片进行加权均值滤波处理；

(2)将加权均值滤波处理后的图片裁剪成统一的尺寸，减去周围没有目标物的背景；

(3)对裁剪完的数据集进行标签，生成对应的标签集；

(4)将数据集以及对应的标签集按比例划分成测试集、验证集与训练；

(5)对训练集进行旋转、平移、缩放、随机遮挡、水平翻转、颜色反差、噪声干扰数据增强操作。

3.根据权利要求1所述的一种基于深度学习的海上船舶识别方法，其特征在于，所述的U型神经网络包括编码块、残差块和解码块；其中编码块是对预处理后的图像进行下采样，以此来提取图像特征；编码块包括5个卷积层，每个卷积层包括2个卷积、1个归一化、1个池化层和Relu激活函数；在编码阶段，每个卷积核大小为3x3，填充为1，池化层采用的是2x2的卷积池，步长为2；编码块中其他参数皆为默认值；解码块是对经过编码块处理后的图像进行上采样，并使其恢复为原来的尺寸大小；解码块包括5个上采样的卷积层，每个卷积层包括1个卷积、1个上采样、1个归一化、Relu激活函数；在解码阶段，每个卷积核大小为1，填充为0，步长为1；解码块最后一个卷积层作为输出层，输出层的激活函数为sigmoid函数。

4.根据权利要求1所述的一种基于深度学习的海上船舶识别方法，其特征在于，所述的U型神经网络，在编码块的每一个卷积层卷积结束后都有一次残差块，每一个残差块包括1个卷积，1个归一化，为保证残差连接时维度不发生错误，残差块中的卷积大小为1*1，填充为0，最后将卷积的结果与残差的结果相加。

5.根据权利要求1所述的一种基于深度学习的海上船舶识别方法，其特征在于，步骤四、训练过程具体如下：

(1)预处理后的训练集送入U型神经网络中，依次通过包含五层卷积层的编码块，提取出图像的特征矩阵；将编码块得到的结果x输入到解码块，进行2倍的上采样，上采样后得到的结果g，将g和对应的编码块中的结果x进行相加，相加后通过激活函数Relu得到结果g’，之后利用残差块将g与g’进行相加后再进行卷积核大小为1，填充为0的卷积；

(2)重复步骤(1)，将特征图上采样成原始图的尺寸；再利用激活函数sigmoid将特征图转换为与原始图相同尺寸的概率分布图；sigmoid函数作为输出层的激活函数，以此来判断当前像素点是否是船只；

(3)使用交叉熵代价函数将得到的概率分布图真实标签图进行对比；

(4)根据Adam梯度下降法计算各个权重值的梯度从而进行反向传播，更新各个权重的值。

6.根据权利要求5所述的一种基于深度学习的海上船舶识别方法，其特征在于，relu激活函数公式为：Relu(x)＝max(0,x)。

7.根据权利要求5所述的一种基于深度学习的海上船舶识别方法，其特征在于，sigmoid函数的公式为：

其导数的公式为：

8.根据权利要求5所述的一种基于深度学习的海上船舶识别方法，其特征在于，交叉熵代价函数的公式为：

其中，n表示样本数，a表示预测结果，y表示真实标签(groundTruth)。

9.根据权利要求5所述的一种基于深度学习的海上船舶识别方法，其特征在于，Adam的梯度下降过程为：

Vdw＝β₁Vdw+(1-β₁)dw

Vdb＝β₁Vdb+(1-β₁)db

Sdw＝β₂Sdw+(1-β₂)dw²

Sdb＝β₂Sdb+(1-β₂)db²

其中，β₁、β₂为超参数，W指的是网络的权重值，b指的是偏移值，t表示当前的迭代次数，Vdw，Vdb，Sdw，Sdb的初始值均为0；Vdw与Vdb分别是权重w和偏移值b的一阶动量即各个时刻梯度方向的指数移动平均值，Sdw，Sdb是w与b的二阶动量即到第t次迭代为止所有梯度值的平方和；V′dw，V′db，S′dw与S′db是指在第t次迭代中进行参数修正后的一阶动量与二阶动量，

表示β₁、β₂的t次方，α表示学习率。

Images