CN113065446A - 一种用于舰艇锈蚀区自动化识别的深度巡检方法 - Google Patents

Abstract

本发明涉及一种用于舰艇锈蚀区自动化识别的深度巡检方法，包括建立预训练图像识别模型和锈蚀图像自动识别模型，然后对大量舰艇图像打上标签，并用部分有标签的图像训练锈蚀图像自动识别模型；将多张待检测舰艇图像输入训练后的模型，将打有锈蚀标签的图像保留，并标注锈蚀区边界框，标注后的图像构成锈蚀区域定位数据集；建立锈蚀区域目标检测模型，采用部分锈蚀区域定位数据集中的图像对模型进行训练；最后将待定位的锈蚀舰艇图像输入到训练后锈蚀区域目标检测模型中，输出锈蚀区的边界框参数，并以边界框标记锈蚀区所在位置。该方法实现从舰艇图像获取到锈蚀区自动定位的一体化流程，且融合深度学习图像识别算法及目标检测算法，极具智能化。

Description

一种用于舰艇锈蚀区自动化识别的深度巡检方法

技术领域

本发明涉及舰艇锈蚀区检测领域，具体涉及一种用于舰艇锈蚀区自动化识别的深度巡检方法。

背景技术

舰艇传统锈蚀检测多为现场人工巡检，人工巡检往往耗费大量时间及精力，甚至在舰艇高危区域存在安全隐患，对巡检工人人身安全带来潜在威胁。为了降低舰艇锈蚀检测的时间、人力成本并促进该工作安全高效化发展，应当聚焦当下科技前沿改进巡检流程，尽可能减少锈蚀检测过程中的人为干预。

目前，机器人巡检凭借其低成本、高效率的现场表现，已经初步应用在建筑工地、港口码头等众多场景。但适用于舰艇欠平稳环境的机器人设计较为繁琐，且舰艇锈蚀多出现于船身，机器人巡检并不适用于舰艇锈蚀区域检测。相比之下，无人机巡检更适合舰艇环境，且能全方位无死角地采集舰艇内部及水上船身各处的图像。随着高性能计算技术及人工智能的迅速发展，深度学习已经在很多领域引起广泛关注。深度神经网络具有复杂非线性函数的近似能力，能深入挖掘图像空间层次特征，已经在图像识别、目标检测等领域得到充分验证，故在利用无人机采集的舰艇图像检测锈蚀区域的军工应用上，深度学习具有可行性。

鉴于铁锈并不具有特定规则的形状、颜色，仅根据形状、颜色进行图像识别，其锈蚀检测误差较大。此外，对于某一特定的舰艇，无人机采集的图像数量有限，单纯依靠采集的图像训练复杂的深度神经网络也会导致较大的图像识别误差。为了准确检测舰艇锈蚀区域，应同时解决锈蚀特征精准提取及小数据集训练的两大难题。而迁移学习具备将在充足数据集下学到的知识搬迁到较小数据集的能力，使得模型在较小数据集上仍具有较好的学习效果。其可被充分利用，从而实现在不同舰艇图像数据集上，以较小的训练成本，针对性地训练锈蚀区检测模型。

因此，针对海上舰艇的特殊环境及小数据集的限制问题，亟需建立一种能深入挖掘锈蚀空间多层次特征，且适用于较小图片数据集的舰艇锈蚀区域检测方法。充分利用无人机图像采集、深度学习及迁移学习构建用于舰艇锈蚀区识别的深度锈蚀巡检系统。

发明内容

针对现有技术存在的上述技术问题，本发明目的在于提供基于深度学习及迁移学习搭建的一种新型的深度巡检方法。该方法将图像采集、图像识别及目标检测融为一体，实现从舰艇图像采集到锈蚀区域精准定位的自动化流程。

为解决上述技术问题，本发明采用如下技术方案：

一种用于舰艇锈蚀区自动化识别的深度巡检方法，包括如下步骤：

S100：针对待检测锈蚀状况的舰艇，对舰艇的所有外表面拍摄多张图像；拍摄照片时可以利用无人机进行拍摄，并且尽可能多地采集舰艇外表面各处的照片。

S200：利用图像增强方法，对S100中得到的图像进行裁剪、缩放和旋转处理得到扩充后的数据集；在一定程度上提升后续所训练模型的性能，此处所述的图像增强方法属于现有技术。

S300：建立预训练图像识别模型，所述预训练图像识别模型是在大量已知的锈蚀图像数据集上完成初步训练的模型；可以采用现有的预训练模型。

所述预训练图像识别模型用于后续迁移学习，可以大幅节省模型处理时间，更适用于工业大范围运用。预训练模型是在大量锈蚀图像数据集上已完成初步训练的模型。

S400：对S200得到的数据集中的图像进行标注，添加图像的标签，标签分为锈蚀、未锈蚀两类.

将数据集划分为训练集和验证集。

该步骤对扩充后的数据集进行标注，主要是用于后续训练锈蚀图像自动识别模型，数据集的标注及划分是本发明深度巡检系统构建过程中的一个环节，在完成系统构建前，需要进行人工标注，而在在模型训练完成后并不需要人为标注划分。仅需要在首次训练锈蚀图像自动识别模型时人为标注图像数据集。在模型训练完成后，后续无人机采集的舰艇图像可直接输入到该模型自动判断锈蚀标签。

S500：构建锈蚀图像自动识别模型的步骤如下：

基于迁移学习对S300构建的预训练图像识别模型Y_P进行处理得到锈蚀图像自动识别模型。

所述迁移学习保留预训练图像识别模型的卷积层中的超参数，将预训练图像识别模型的卷积层C(X)作为锈蚀特征提取器。

S600：训练锈蚀图像自动识别模型，利用S400划分的训练集中的图像训练预训练图像识别模型中的全连接层f(X)，训练完成得到训练后锈蚀图像自动识别模型。

观测模型训练过程中，训练误差及验证误差的变化趋势，判断锈蚀图像自动识别模型的训练程度，以及该模型是否过拟合。

S700：将多张待检测舰艇图像输入到训练后锈蚀图像自动识别模型中，训练后锈蚀图像自动识别模型给每张待检测舰艇图像自动打上有锈蚀和无锈蚀的标签后输出。

S800：所述S700输出的所有有锈蚀标签的图像构成锈蚀区域定位数据集，对所述锈蚀区域定位数据集中锈蚀图像逐一进行标注，在锈蚀图像上的锈蚀区标注边界框，并标注边界框中心横坐标，边界框中心纵坐标，边界框宽度，边界框高度和边界框含有锈蚀区的置信程度。

将所述锈蚀区域定位数据集划分为锈蚀训练集和锈蚀验证集。

S900：构建锈蚀区域目标检测模型如公式(9-1)：

选用合适的目标检测算法YOLO，旨在利用整张锈蚀图像作为目标检测网络的输入，实现锈蚀区边界框位置的精准输出。

其中x_c为边界框中心横坐标，y_c为边界框中心纵坐标，w为边界框宽度，h为边界框高度，c为边界框含有锈蚀区的置信程度；X_r是锈蚀图像的输入数据，C_o(·)是该目标检测模型中的所有卷积层网络，softmax(·)用于将神经网络输出映射到(0，1)区间内，用于后续训练确保锈蚀区中心处于执行预测的网格单元中。

使用锈蚀训练集中的有标注的锈蚀图像训练锈蚀区域目标检测模型，得到训练后锈蚀区域目标检测模型。

S1000：将待定位的锈蚀舰艇图像输入到所述训练后锈蚀区域目标检测模型中，输出锈蚀区的边界框参数(x_c，y_c，w，h，c)，并以边界框标记锈蚀区所在位置。

通过S100-S1000完成搭建用于舰艇锈蚀区自动化识别的深度巡检方法，通过无人机替代舰艇图像人工采集工作，融合迁移学习克服小数据集弊端完成锈蚀图像识别模型的快速训练，采用目标检测算法标记锈蚀区域所在位置，从而实现从无人机图像采集，迁移学习锈蚀图像识别，到目标检测锈蚀区自动定位的一体化自动巡检流程。

作为优选，所述S300构建预训练图像识别模型，具体方法如下：

设预训练图像识别模型如公式(3-1)。

Y_P＝C(X)+f(X) (3-1)。

其中，Y_P是预训练图像识别模型的输出值，C(X)是预训练模型的卷积层部分，f(X)是预训练模型的全连接层部分，其基本计算过程如下：

h_c＝Conv(W_c，X)+b_c (3-2)。

C(X)＝Φ(h_c) (3-3)。

h_L＝W_LC(X)+b_L (3-4)。

f(X)＝φ(h_L) (3-5)。

其中，X是输入的图像数据，Conv(·)是预训练图像识别模型内的所有卷积运算，W_c是卷积层对应的权重矩阵，b_c是卷积层部分对应的偏置项，Φ(·)为卷积层部分采用的激活函数，W_L是全连接层对应的权重矩阵，φ(·)为全连接层部分采用的激活函数。

作为优选，所述S500构建锈蚀图像自动识别模型的具体步骤如下：

设迁移学习构建的锈蚀图像自动识别模型如公式(5-1)：

Y_C＝C(X)+F(X) (5-1)。

其中，C(X)源自预训练图像识别模型Y_P，预训练图像识别模型中卷积层权重及偏置项等超参数均保持不变，F(X)是利用S400训练集新训练的全连接层部分，F(X)与f(X)的网络结构相同，F(X)中的权值W_L′及偏置项b_L′等参数改变，其中，h_L′＝W_L′C(X)+b_L′，F(X)＝φ(h_L′)。

利用S400划分的训练集训练全连接层f(X)，从而减少该模型训练的超参数量，迁移学习避免了训练更为复杂的卷积层部分，大大降低模型的训练复杂度，缩短模型训练时间。而且在预训练模型的基础上，采用迁移学习可以克服小量数据集训练的弊端，提升训练模型的识别效果。

作为优选，所述S600中利用S400划分的训练集训练锈蚀图像自动识别模型的具体步骤为：

S610：对锈蚀图像自动识别模型的全连接层F(X)进行权值W_L′及偏置项b_L′初始化。

S620：输入数据X经过全连接层F(X)的向前传播得到输出值

是模型预测舰艇出现锈蚀的概率。

S630：求锈蚀图像自动识别模型的输出值与训练集中图像真实标签之间的分类误差，如公式(6-1)，

其中，y是图像的标签，如果该舰艇图像出现锈蚀，则y＝1，否则y＝0。

S640：当误差大于预定值时，利用反向传播，将误差传回全连接层网络中，并同时更新锈蚀图像自动识别模型的参数；否则，则结束训练得到训练后锈蚀图像自动识别模型。

作为优选，所述S800中构建锈蚀区域定位数据集后，对所述锈蚀区域定位数据集中的图像进行数据预处理，具体步骤如下：

利用最大-最小归一化的方法对锈蚀区域定位数据集中的图像进行数据预处理，参见公式(8-1)：

式中，x为图像的像素值，x_min为图像最小的像素值，x_max为图像最大的像素值，

为图像矩阵归一化后的值。归一化后的图像矩阵，更有利于提取锈蚀区主要图像特征。

作为优选，所述S900中使用锈蚀区域定位数据集训练锈蚀区域目标检测模型的具体步骤如下：

S910：将锈蚀训练集中的锈蚀图像分割成S×S的方格，用于检测识别物体，若某个物体的中心落在该方格中，则对应的方格就用来负责预测该物体。即含有锈蚀区的方格用来负责预测锈蚀区边界框。

S920：S910划分的每一个方格都会对方格中心的物体进行检测，提取该目标物体的特征，每一个方格均会预测出b个目标边界框，通常为矩形。

每一个方格负责预测检测方格内的物体，也就是提取该物体的特征。提取特征还是利用神经网络卷积层部分，上一步的方格不仅仅是只是对图像裁剪，每一个方格都相当于是一个提取特征的东西，但是只提取方格内物体的特征。YOLO属于现有成熟方法。

S930：所述b个边界框识别出b个矩形区域，每个矩形区域均包含锈蚀区存在的概率、未锈蚀存在的概率。总之，每个边界框预测输出大小为S×S×(5×b+c)的矩阵，包括锈蚀区置信度以及概率；，其中c是需要预测的类别总数，即c＝2表示仅有锈蚀、未锈蚀两类。

S940：获得S930预测输出的结果矩阵后，进行误差计算，采用平方差损失误差Loss＝(预测值-实际值)²，损失函数由预测中心坐标平方差L_xc，yc、预测边界框宽高平方差L_w，h、预测分类平方差L_class、预测置信度平方差L_IOU四部分组成，如公式(9-1)

Loss＝L_xc，yc+L_w，h+L_class+L_IOU (9-2)。

当误差较大不再预设期望范围内时，更新锈蚀区域目标检测模型的超参数，继续使用锈蚀训练集中的锈蚀图像训练锈蚀区域目标检测模型；反之，在锈蚀区域目标检测模型训练结束得到训练后锈蚀区域目标检测模型。一般预设的期望误差为1％。

相对于现有技术，本发明至少具有如下优点：

1.舰艇锈蚀区检测是保障舰艇战备完好性必不可少的一个环节。传统的舰艇锈蚀区检测大多为人工巡检，人为地检查舰艇内部及船身各处，查找锈蚀区域。但人工巡检耗时长、成本高，且存在潜在危险。本发明着眼于舰艇锈蚀区识别，本发明方法，采用无人机舰艇图像采集、舰艇锈蚀图像识别和锈蚀目标检测，实现从舰艇图像获取到锈蚀区自动定位的一体化流程。该系统无人为操作因素干扰，高度自动化。且融合深度学习图像识别算法及目标检测算法，极具智能化。

2.舰艇锈蚀图像识别和锈蚀区目标检测往往需要依靠深度神经网络实现，训练过程过于复杂，且要求图像数据集足够大。考虑到无人机采集的舰艇图像有限，存在待检测舰艇锈蚀图像不足影响模型性能的可能性，本发明采用预训练模型作为锈蚀图像的特征提取器，基于迁移学习将在大量锈蚀图像上进行初步训练的预训练模型，迁移到待检测舰艇的图像数据集上，识别待检测舰艇的锈蚀图像以及自动定位锈蚀区位置。本发明利用迁移学习保留了预训练模型卷积层的超参数，仅训练全连接层的超参数。全连接层的训练复杂度远小于卷积层，因此本发明的深度神经网络训练复杂度大大降低，训练时间大大缩短，更适用于工业大范围应用。

3.本发明提出的用于舰艇锈蚀区自动化识别的深度巡检系统，虽然着眼于舰艇的锈蚀自动化检测过程，但同样适用于其他场景锈蚀区巡检过程，包括海上钻采平台锈蚀区检测、水下设备锈蚀区检测及高空风力发电设备锈蚀检测等。本发明构建的深度巡检系统在很多锈蚀区检测场景均具有可行性。

附图说明

图1为本发明的技术流程图。

图2为实施例中利用无人机采集舰艇图像的示意图。

图3为实施例中图像增强方法的示意图。

图4为实施例中训练误差和验证误差的变化趋势。

图5为实施例中一张舰艇图像的锈蚀区目标检测的结果图。

具体实施方式

下面对本发明作进一步详细说明。

为了使本领域的技术人员可以更好地理解本发明。下面对本发明做出进一步详细说明。

为了进一步说明该技术方法的有效性，将结合本发明实施例中的附图，对本发明提出的用于舰艇锈蚀区自动化识别的深度巡检系统进一步说明。

参见图1，一种舰艇锈蚀区自动化识别的深度巡检方法该方法，包括以下步骤：

S01：以某一待进行锈蚀情况检测的舰艇为例，利用无人机拍摄舰艇图像，尽可能多地采集舰艇内部及船身等各处的图像，如图2。

S02：对无人机采集的图像进行翻转、平移及添加噪声，利用图像增强方法扩充数据集，在一定程度上可提升后续所训练模型的性能，如图3。

S03：获取预训练的图像识别模型Inception V3，其模型可用Y_P＝C(X)+f(X)简单表示，用于后续迁移学习，大幅节省模型处理时间，更适用于工业大范围运用。本预训练模型在大量的其他舰艇图像数据集上已完成初步训练。其中，Y_P是Inception V3模型的输出值，C(X)是Inception V3模型的卷积层部分，f(X)是Inception V3模型的全连接层部分，其基本计算过程如下：

h_c＝Conv(W_c，X)+b_c (3-2)。

C(X)＝Φ(h_c) (3-3)。

h_L＝W_LC(X)+b_L (3-4)。

f(X)＝φ(h_L) (3-5)。

式中，X是图像的输入数据，Conv(·)是Inception V3模型内的所有卷积运算，W_c是卷积层对应的权重矩阵，b_c是卷积层部分对应的偏置项，Φ(.)为卷积层部分采用的激活函数；W_L是全连接层对应的权重矩阵，φ(·)为全连接层部分采用的激活函数。

S04：对S02得到的数据集的图像进行人工标注，人为地标注图像是否存在锈蚀区。标签分为锈蚀、未锈蚀两类。随后，将数据集划分为训练集和验证集。其中训练集占总数据集的70％，验证集占总数据集的30％。应当了解，仅需要首次训练锈蚀图像自动识别模型时，标记并划分数据集。在模型训练完成后，后续无人机采集的舰艇图像可直接利用训练好的模型进行锈蚀识别。

S05：针对S03选用的预训练Inception V3模型，基于迁移学习将Inception V3模型卷积层部分C(X)的超参数保留作为待检测舰艇图像的锈蚀特征提取器。利用S04划分的训练集训练Inception V3剩余的全连接层f(X)，减少锈蚀图像识别模型训练的超参数量，缩短模型训练的时间，降低模型训练的难度。而且在预训练模型的基础上，采用迁移学习可以克服无人机采集的图像较少带来的弊端，在一定程度上提升模型的识别效果。

具体来说，假设迁移学习构建的锈蚀图像自动识别模型为Y_C＝C(X)+F(X)，C(X)源自Inception V3模型Y_P，其卷积层权重及偏置项等超参数均保持不变。F(X)是利用S04训练集新训练的全连接层部分，相比于f(X)，全连接层网络结构不变，仅全连接层权值W_L′及偏置项b_L′等参数改变。其中，h_L′＝W_L′C(X)+b_L′，F(X)＝φ(h_L′)。

S06：观察模型训练过程中，训练误差及验证误差的变化趋势，当两者误差均在下降，且验证误差与训练误差差别不大时，则模型并未过拟合，参见图4。且当训练误差小于1％时，则认为模型训练结果较好，在可接受的范围内。注，训练误差的可接受范围人为指定，并无特定的标准。

S07：完成锈蚀图像自动识别模型的训练后，将待检测舰艇的无人机采集图像输入到训练好的Inception V3模型中，自动识别图像是否锈蚀，划分对应的锈蚀标签。

S08：整理S07输出的锈蚀图像，构建用于锈蚀区域自动定位的数据集。并利用最大-最小归一化方法

对锈蚀图像进行数据预处理。式中，x为图像的像素值，x_min为图像最小的像素值，x_max为图像最大的像素值，

为图像矩阵归一化后的值。归一化后的图像矩阵，更有利于提取锈蚀区主要图像特征。

S09：选用合适的目标检测算法YOLO，旨在利用整张锈蚀图像作为目标检测网络的输入，实现锈蚀区边框位置的直接输出。在锈蚀图像数据集上，进行锈蚀区目标检测的训练。

S10：完成锈蚀区目标检测训练过程后，将待定位的锈蚀舰艇图像输入到该模型中，输出锈蚀区的边界框参数(x_c，y_c，w，h，c)，并以边界框标记锈蚀区所在位置，参见图5。其中x_c为边界框中心横坐标，y_c为边界框中心纵坐标，w为边界框宽度，h为边界框高度，c为边界框含有锈蚀区的置信程度。

S11：通过S01-S10完成搭建用于舰艇锈蚀区自动化识别的深度巡检系统，通过无人机替代舰艇图像人工采集工作，融合迁移学习克服小数据集弊端完成锈蚀图像识别模型的快速训练，采用目标检测算法标记锈蚀区域所在位置，从而实现从无人机图像采集，迁移学习锈蚀图像识别，到目标检测锈蚀区自动定位的一体化自动巡检流程。

从图5边界框区域可以看出，本发明搭建的深度巡检系统可以在识别锈蚀图像后，利用目标检测算法精准定位锈蚀区。而且当无人机采集图像数量增加、质量改善时，锈蚀图像自动识别模型和锈蚀区自动定位模型的性能仍有很大提升空间。

此外，应当了解，虽然本发明着眼于舰艇锈蚀区自动化识别，但本发明提出的深度巡检系统同样适用于海上钻采平台、大型轮船及高空风力发电设备等锈蚀检测场景。从图像采集、锈蚀图像识别到锈蚀区自动定位的一体化流程可以在更改细微流程的基础上，推广应用到多个场景。且迁移学习融合深度学习算法节省了模型的训练时间，降低了模型的训练复杂度，适合工业的大范围应用。因此，本发明提出的用于舰艇锈蚀区自动化识别的深度巡检系统，具有可靠性、创新型，有利于促进锈蚀检测自动化、智能化发展。

应当了解，本发明提出的深度巡检系统共包含无人机图像采集、锈蚀图像自动识别及锈蚀区自动定位三个环节。三个环节构成了闭环的舰艇锈蚀区自动识别的一体化流程。将无人机全方位采集的图像输入到巡检系统后，锈蚀图像自动识别模块进行锈蚀图像分类，若舰艇图像未锈蚀，则略过该图像，若舰艇图像分类为锈蚀，则输入到锈蚀区自动定位模块。随后输出该锈蚀舰艇图像的锈蚀区边界框位置参数，并反作用于无人机，对该锈蚀区进行更加密集的图像采集，获取更精准的锈蚀区位置。三个模块是一个典型的端对端的工程，各环节衔接紧密，均无人为因素干扰，实现深度巡检系统的自动化、一体化、智能化。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种用于舰艇锈蚀区自动化识别的深度巡检方法，其特征在于，包括如下步骤：

S100：针对待检测锈蚀状况的舰艇，对舰艇的所有外表面拍摄多张图像；

S200：利用图像增强方法，对S100中得到的图像进行裁剪、缩放和旋转处理得到扩充后的数据集；

S300：建立预训练图像识别模型，所述预训练图像识别模型是在大量已知的锈蚀图像数据集上完成初步训练的模型；

S400：对S200得到的数据集中的图像进行标注，添加图像的标签，标签分为锈蚀、未锈蚀两类；

将数据集划分为训练集和验证集；

S500：构建锈蚀图像自动识别模型的步骤如下：

基于迁移学习对S300构建的预训练图像识别模型Y_P进行处理得到锈蚀图像自动识别模型；

所述迁移学习保留预训练图像识别模型的卷积层中的超参数，将预训练图像识别模型的卷积层C(X)作为锈蚀特征提取器；

S600：训练锈蚀图像自动识别模型，利用S400划分的训练集中的图像训练预训练图像识别模型中的全连接层f(X)，训练完成得到训练后锈蚀图像自动识别模型；

S700：将多张待检测舰艇图像输入到训练后锈蚀图像自动识别模型中，训练后锈蚀图像自动识别模型给每张待检测舰艇图像自动打上有锈蚀和无锈蚀的标签后输出；

S800：所述S700输出的所有有锈蚀标签的图像构成锈蚀区域定位数据集，对所述锈蚀区域定位数据集中锈蚀图像逐一进行标注，在锈蚀图像上的锈蚀区标注边界框，并标注边界框中心横坐标，边界框中心纵坐标，边界框宽度，边界框高度和边界框含有锈蚀区的置信程度；

将所述锈蚀区域定位数据集划分为锈蚀训练集和锈蚀验证集；

S900：构建锈蚀区域目标检测模型如公式(9-1)：

其中x_c为边界框中心横坐标，y_c为边界框中心纵坐标，w为边界框宽度，h为边界框高度，c为边界框含有锈蚀区的置信程度；X_r是锈蚀图像的输入数据，C_o(·)是该目标检测模型中的所有卷积层网络，softmax(·)用于将神经网络输出映射到(0，1)区间内，用于后续训练确保锈蚀区中心处于执行预测的网格单元中；

使用锈蚀训练集中的有标注的锈蚀图像训练锈蚀区域目标检测模型，得到训练后锈蚀区域目标检测模型；

S1000：将待定位的锈蚀舰艇图像输入到所述训练后锈蚀区域目标检测模型中，输出锈蚀区的边界框参数(x_c，y_c，w，h，c)，并以边界框标记锈蚀区所在位置。

2.如权利要求1所述的用于舰艇锈蚀区自动化识别的深度巡检方法，其特征在于，所述S300构建预训练图像识别模型，具体方法如下：

设预训练图像识别模型如公式(3-1)

Y_P＝C(X)+f(X) (3-1)

其中，Y_P是预训练图像识别模型的输出值，C(X)是预训练模型的卷积层部分，f(X)是预训练模型的全连接层部分，其基本计算过程如下：

h_c＝Conv(W_c，X)+b_c (3-2)

C(X)＝Φ(h_c) (3-3)

h_L＝W_LC(X)+b_L (3-4)

f(X)＝φ(h_L) (3-5)

其中，X是输入的图像，Conv(·)是预训练图像识别模型内的所有卷积运算，W_c是卷积层对应的权重矩阵，b_c是卷积层部分对应的偏置项，Φ(·)为卷积层部分采用的激活函数，W_L是全连接层对应的权重矩阵，φ(·)为全连接层部分采用的激活函数。

3.如权利要求2所述的用于舰艇锈蚀区自动化识别的深度巡检方法，其特征在于，所述S500构建锈蚀图像自动识别模型的具体步骤如下：

设迁移学习构建的锈蚀图像自动识别模型如公式(5-1)：

Y_C＝C(X)+F(X) (5-1)

其中，C(X)源自预训练图像识别模型Y_P，预训练图像识别模型中卷积层权重及偏置项等超参数均保持不变，F(X)是利用S400训练集新训练的全连接层部分，F(X)与f(X)的网络结构相同，F(X)中的权值W_L′及偏置项b_L′等参数改变，其中，h_L′＝W_L′C(X)+b_L′，F(X)＝φ(h_L′)。

4.如权利要求2所述的用于舰艇锈蚀区自动化识别的深度巡检方法，其特征在于，所述S600中利用S400划分的训练集训练锈蚀图像自动识别模型的具体步骤为：

S610：对锈蚀图像自动识别模型的全连接层F(X)进行权值W_L′及偏置项b_L′初始化；

S620：输入数据X经过全连接层F(X)的向前传播得到输出值

是模型预测舰艇出现锈蚀的概率；

S630：求锈蚀图像自动识别模型的输出值与训练集中图像真实标签之间的分类误差，如公式(6-1)，

其中，y是图像的标签，如果该舰艇图像出现锈蚀，则y＝1，否则y＝0；

S640：当误差大于预定值时，利用反向传播，将误差传回全连接层网络中，并同时更新锈蚀图像自动识别模型的参数；否则，则结束训练得到训练后锈蚀图像自动识别模型。

5.如权利要求2所述的用于舰艇锈蚀区自动化识别的深度巡检方法，其特征在于，所述S800中构建锈蚀区域定位数据集后，对所述锈蚀区域定位数据集中的图像进行数据预处理，具体步骤如下：

利用最大-最小归一化的方法对锈蚀区域定位数据集中的图像进行数据预处理，参见公式(8-1)：

式中，x为图像的像素值，x_min为图像最小的像素值，x_max为图像最大的像素值，

为图像矩阵归一化后的值。

6.如权利要求2所述的用于舰艇锈蚀区自动化识别的深度巡检方法，其特征在于，所述S900中使用锈蚀区域定位数据集训练锈蚀区域目标检测模型的具体步骤如下：

S910：将锈蚀训练集中的锈蚀图像分割成S×S的方格，用于检测识别锈蚀区，含有锈蚀区的方格用来负责预测锈蚀区边界框；

S920：划分的每一个方格都会对方格中心的物体进行检测，提取该目标物体的特征，每一个方格均会预测出b个目标边界框；

S930：所述b个边界框识别出b个矩形区域，每个矩形区域均包含锈蚀区存在的概率，每个边界框预测输出锈蚀区置信度以及概率为S×S×(5×b+c)的矩阵；

S940：获得S930预测输出的结果矩阵后，进行误差计算，采用平方差损失误差Loss＝(预测值-实际值)²，损失函数由预测中心坐标平方差L_xc，yc、预测边界框宽高平方差L_w，h、预测分类平方差L_class、预测置信度平方差L_IOU四部分组成，如公式(9-1)

Loss＝L_xc，yc+L_w，h+L_class+L_IOU (9-2)；

当误差较大不在预设期望范围内时，更新锈蚀区域目标检测模型的超参数，继续使用锈蚀训练集中的锈蚀图像训练锈蚀区域目标检测模型；反之，在锈蚀区域目标检测模型训练结束得到训练后锈蚀区域目标检测模型。

Images