CN113610180A - 基于深度学习的可见光图像和红外图像融合的船舶分类方法与装置 - Google Patents

Abstract

基于深度学习的可见光图像和红外图像融合的船舶分类方法和装置，涉及计算机视觉分类与图像处理技术领域，本发明首先设计了能够获得更多的船舶图像全局信息的双流对称卷积神经网络来提取可见光图像和红外图像的深层特征，通过对网络进行训练得到最优训练模型1和最优训练模型2，之后将待分类的可见光图像和红外图像进行预处理和数据增强后分别调用训练好的最优训练模型1和最优训练模型2对可见光图像和红外图像进行测试，得到对应的Softmax函数的概率值，并进行线性加权决策融合，得到船舶分类结果。本发明有效利用多模态图像的互补信息进行融合分类，提高了船舶图像分类的准确率，在目标识别和智能交通等领域具有广阔的应用前景。

Description

基于深度学习的可见光图像和红外图像融合的船舶分类方法 与装置

技术领域

本发明涉及计算机视觉分类与图像处理技术领域，具体涉及一种基于深度学习的可见光图像和红外图像融合的船舶分类方法与装置，可用于对多模态图像进行融合分类。

背景技术

船舶分类技术在海上搜救、海洋污染监控以及渔船监控等方面都有着重要的应用，快速分类各种船只，有利于提高海事巡航救助能力。可见光图像提供的视觉信息比较丰富，对船舶目标的区分度好，但容易受光照情况的影响。红外图像不受光照影响，可全天候获取，但图像的分辨率低，边缘模糊，一般将红外图像作为可见光图像的补充信息进行船舶分类。

目前的船舶分类方法主要有两大类，一类是传统的船舶分类方法，另一类是基于深度学习的船舶分类方法。传统的船舶分类方法中使用的是人工设计特征，人工设计特征的提取不仅依赖专家知识，而且泛化能力差，分类性能有限。近年来，深度学习方法发展迅速，并在计算机视觉领域引起了广泛关注。典型的深度学习结构主要有：深度置信网络、层叠自动编码机、卷积神经网络和深度递归神经网络。其中，卷积神经网络主要用在图像分类领域。基于卷积神经网络的船舶分类方法将船舶图像作为网络的输入，自动地从船舶图像中提取出更深层、更抽象的特征，具有自主学习的能力，避免了传统方法中复杂的特征提取过程。

目前大多数的基于卷积神经网络的船舶分类方法是对单一波段的可见光图像或者红外图像进行处理，船舶分类准确率有待进一步提升。

发明内容

本发明目的是提供一种基于深度学习的可见光图像和红外图像融合的船舶分类方法，以解决现有分类方法所存在的准确率偏低的问题。

为了实现上述目的，本发明采用如下技术方案：基于深度学习的可见光图像和红外图像融合的船舶分类方法，包括以下步骤：

S1、从现有船舶分类数据集中获取可见光图像和红外图像并将其作为训练集，将训练集中配对的可见光图像和红外图像进行预处理和数据增强后分别输入到可见光子网络和红外子网络中提取船舶图像的深层特征，在输出层使用Softmax函数进行分类，利用交叉熵损失函数计算预测类别标签与真实类别标签之间的误差，通过反向传播算法计算卷积神经网络的各层的权重与偏置，不断迭代训练卷积神经网络，直到损失函数收敛，得到最优训练模型1和最优训练模型2并保存；

S2、将需要进行船舶分类的图像作为测试集，将测试集中配对的可见光船舶图像和红外船舶图像预处理和数据增强后分别利用所述最优训练模型1和最优训练模型2对测试集中待分类的配对图像进行测试，得到可见光子网络和红外子网络的Softmax函数的输出概率值；

S3、利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理，得到最终的分类结果。

其中，对所述训练集和测试集中可见光图像和红外图像进行预处理的方式为：采用双三次插值方法将船舶图像的大小预处理为合适的像素大小。

进一步地，对预处理后的可见光图像和红外图像进行数据增强的方式为：将训练集的图像随机裁剪为227×227像素，并使用随机水平翻转和z-score标准化；将测试集的图像中心裁剪为227×227像素。

在步骤S1中，以训练集的可见光图像和红外图像作为样本数据对可见光子网络和红外子网络组成的双流对称卷积神经网络进行训练，得到最优训练模型1和最优训练模型2，具体方式为：将预处理后的可见光图像和红外图像先进行数据增强，再分别输入所述双流对称卷积神经网络，提取不同类型船舶的深层特征，在输出层利用Softmax函数得到预测类别的标签，利用交叉熵损失函数计算所述预测类别标签与所述样本的真实类别标签之间的误差，根据反向传播算法调整所述双流对称卷积神经网络的权值和偏置，不断的迭代训练，直到损失函数收敛，分别得到所述可见光子网络的最优训练模型1和红外子网络的最优训练模型2并保存。

其中，所述卷积神经网络为由可见光子网络和红外子网络构成的双流对称卷积神经网络，其中提取可见光图像的特征的卷积神经网络为可见光子网络，提取红外图像的特征的卷积神经网络为红外子网络，可见光子网络和红外子网络的网络结构一致，由4个卷积层、3个池化层、3个全连接层和Softmax输出层组成。

在步骤S1中，利用交叉熵损失函数计算所述预测类别标签与所述真实类别标签之间的误差，具体为：

其中，J(θ)为误差，m为进行训练的船舶图像的数量，x⁽ⁱ⁾为样本数据，i＝1,2,…,m，y⁽ⁱ⁾为真实类别标签，h_θ(x⁽ⁱ⁾)是针对每一船舶类别估算出的概率值的假设函数，j为船舶类型的数量，j＝1,2,…,6，1{true}＝1，1{false}＝0；

θ为模型参数：

所述假设函数为：

其中，p(y＝j|x)是针对第j类船舶估算的概率值。

进一步地，利用交叉熵损失函数计算所述预测类别标签与所述真实类别标签之间的误差时，在交叉熵损失函数后面加上正则化项，以减少过拟合，所采用l₂正则化表示为：

其中，λ表示权重系数，加了正则化项的交叉熵损失函数的公式如下：

另外，在步骤S1中，是根据反向传播算法调整所述双流对称卷积神经网络的权值和偏置，通过采用随机梯度下降优化算法求解交叉熵损失函数的最小值，不断的迭代训练，直到误差最小化，最终分别得到所述可见光子网络的最优训练模型1和红外子网络的最优训练模型2。

在步骤S3中，利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理的方式为：

其中，p_1j(x)表示对输入样本x在最优训练模型上测试后得到的可见光子网络的Softmax函数的输出概率值，p_2j(x)表示输入样本x在最优训练模型上测试后得到的红外子网络的Softmax函数的输出概率值，α为权重因子，在0到1之间取值，j表示船舶类型数。

最后，本发明还涉及一种基于深度学习的可见光图像和红外图像融合的船舶分类装置，其包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序通过处理器执行时，实现如上面所述的船舶分类方法。

与现有技术相比，本发明在进行可见光图像和红外图像特征提取时，设计了双流对称卷积神经网络，能够获得更多的船舶图像的全局信息，同时，本发明将可见光子网络的Softmax函数的输出概率值和红外子网络的Softmax函数的输出概率值进行线性决策融合，综合考虑了可见光图像和红外图像的优点进行融合分类，提高了船舶分类的准确率，并解决了使用单一传感器获得的图像进行船舶分类存在局限性的问题。

附图说明

图1是实施例所涉基于深度学习的可见光图像和红外图像融合的船舶分类方法的流程图；

图2是实施例所涉VAIS数据集中6种不同类别船舶的可见光图像和红外图像样本图；

图3是卷积神经网络的结构图。

具体实施方式

为了便于本领域技术人员更好地理解本发明相对于现有技术的改进之处，下面结合附图和实施例对本发明作进一步的说明。

实施例1

如图1所示，本实施例主要涉及基于深度学习的可见光图像和红外图像融合的船舶分类，以下简称本方法，其实施例流程如图1所示。

需要提前说明的是，本实施例中采用了VAIS数据集中现有的图像数据，并将其分为训练集和测试集两部分。本领域技术人员应当明白，在将本方法进行实际应用时，测试集应当要从待进行船舶分类的图像数据集中进行获取，由于本实施例仅仅是用于对本方法进行说明和验证，可以将现有VAIS数据集中的图像数据作为测试集。

按照官方的训练集和测试集的样本数，随机选取共539对为训练集图像,剩余549对为测试集图像。数据集中的船舶类型有6类，分别为：mediums“other”ships,merchantships,medium passenger ships,sailing ships,small boats,tugboats，不同类别船舶的可见光图像和红外图像样本图如图2所示。

1、将训练集中配对的可见光图像和红外图像进行预处理和数据增强后分别输入到设计的可见光子网络和红外子网络中提取船舶图像的深层特征，在输出层使用Softmax函数进行分类，利用交叉熵损失函数计算所述预测类别标签与所述样本的真实类别标签之间的误差，通过反向传播算法计算卷积神经网络的各层的权重与偏置，不断的迭代训练卷积神经网络，直到损失函数收敛，得到最优训练模型1和最优训练模型2并保存。

以训练集图像作为样本数据分别对可见光子网络和红外子网络进行训练的具体方式为：将训练集的图像进行预处理和数据增强，预处理主要是利用双三次插值方法将船舶图像尺寸统一调整为256×256像素。数据增强主要是将训练集图像随机裁剪为227×227像素，并使用随机水平翻转和z-score标准化，z-score标准化的方式为：

其中，M是输入图像。

之后依次将预处理和数据增强后的训练集图像输入双流对称卷积神经网络中，该双流对称卷积神经网络由两路对称的卷积神经网络组成，包括可见光子网络和红外子网络，可见光子网络包括卷积层、池化层、全连接层以及Softmax层。其中，卷积层和全连接层的激活函数为ReLU函数。ReLU函数的表达式如下：

其中，x表示卷积层的特征图。

在全连接层使用了Dropout，可以有效的防止过拟合，增强分类网络的泛化能力。

上述卷积神经网络的结构如图3所示，其包括4个卷积层，3个池化层，3个全连接层和1个Softmax层。具体如下：

第一个卷积层Conv2d(3,64,11,4,2)表示将输入的可见光图像或红外图像与64个核尺寸为11×11，步长为4，填充为2的卷积核进行卷积，生成64个尺寸为56×56的特征映射。红外图像是单通道的，采用将单个通道复制3次的方法生产伪RGB图像。

第一个池化层Max Pooling2d(3,2)表示采用的核尺寸为3×3，步长为2，池化操作后，生成64个尺寸为27×27的特征映射。本实施例选用最大池化，能够更多的保留图像的纹理信息。

第二个卷积层Conv2d(64,192,5,1,2)表示用192个核尺寸为5×5，步长为1，填充为2的卷积核对64个尺寸为27×27的特征映射进行卷积，生成192个尺寸为27×27的特征映射。

第二个池化层Max Pooling2d(3,2)表示采用的核尺寸为3×3，步长为2，池化操作后，生成192个尺寸为13×13的特征映射。

第三个卷积层Conv2d(192,384,3,1,1)表示用384个核尺寸为3×3，步长为1，填充为1的卷积核对192个尺寸为13×13的特征映射进行卷积，生成384个尺寸为13×13的特征映射。

第四个卷积层Conv2d(384,256,3,1,1)表示用256个核尺寸为3×3，步长为1，填充为1的卷积核对384个尺寸为13×13的特征映射进行卷积，生成256个尺寸为13×13的特征映射。

第三个池化层Max Pooling2d(3,2)表示采用的核尺寸为3×3，步长为2，池化操作后，生成256个尺寸为6×6的特征映射。

全连接层可以连接上层提取到的所有特征，并将特征降维为全连接的一维特征，最终将输出神经元送入到输出层进行分类。

因此，第一个全连接层FC1(4096)表示有4096个1×1维的输出神经元。第二个全连接层FC2(4096)也表示有4096个1×1维的输出神经元。第三个全连接层FC3(2048)表示有2048个1×1维的输出神经元。Softmax层也称为输出层，输出节点为6，输出的节点数和VAIS数据集中的船舶类型的数量一致。

上述卷积神经网络参数设置为：学习率为0.001，批处理样本数量Batch size为32，动量为0.9，权重衰减系数为0.0001，dropout为0.5，可见光子网络的学习周期为400，红外子网络的学习周期为395，图像标准化的均值为[0.485,0.456,0.406]，方差为[0.229,0.224,0.225]。

利用交叉熵损失函数计算预测类别标签与真实类别标签之间的误差的方式为：

上式中，J(θ)为误差，m为进行训练的船舶图像的数量，x⁽ⁱ⁾为样本数据，i＝1,2,…,m，y⁽ⁱ⁾为真实类别标签，h_θ(x⁽ⁱ⁾)是针对每一船舶类别估算出的概率值的假设函数，j为船舶类型的数量，j＝1,2,…,6，1{true}＝1，1{false}＝0，λ表示权重系数；

θ为模型参数：

假设函数为：

其中，p(y＝j|x)针对第j类船舶估算的概率值。

同时，在交叉熵损失函数后面加上正则化项，以减少过拟合，所采用l₂正则化表示为：

其中，λ表示权重系数，加了正则化项的交叉熵损失函数的公式如下：

之后根据反向传播算法调整卷积神经网络的权值和偏置，直到损失函数收敛(误差最小化)，得到最优的训练模型，具体方式为：采用随机梯度下降算法求解交叉熵损失函数的最小值，得到优化后的最优训练模型。

2、将测试集中配对的可见光船舶图像和红外船舶图像预处理和数据增强后分别利用最优训练模型1和最优训练模型2对测试集中待分类的配对图像进行分类，得到可见光子网络和红外子网络的Softmax函数的输出概率值。

首先，将测试集的图像预处理为256×256像素后，再中心裁剪为227×227像素。

之后，分别调用最优训练模型1和最优训练模型2对预处理和数据增强后的测试集配对图像进行测试，得到的可见光子网络和红外子网络的Softmax函数的输出概率值，由配对图像的Softmax函数的输出概率值组成的概率输出矩阵为：

其中，P(x)表示可见光子网络和红外子网络的Softmax输出概率值组成的概率输出矩阵，第一行表示可见光子网络的Softmax输出概率值，第二行表示红外子网络的Softmax输出概率值，x表示输入样本。

假设α为权重因子，取值范围为0到1，β＝1-α，则新的概率输出矩阵表示为：

3、利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理，得到最终的分类结果。

最后对上述概率输出矩阵进行加权求和，得到的最大值的标签就是线性加权决策融合的分类结果，可以表示为：

其中，p_1j(x)表示对输入样本x在最优训练模型1上测试后得到的可见光子网络的Softmax函数的输出概率值，p_2j(x)表示输入样本x在最优训练模型2上测试后得到的红外子网络的Softmax函数的输出概率值，j表示船舶类型数。

经多次测试，当α取0.6时，测试集的549对船舶图像测试得到的综合分类准确率较高，达到了93.62％。其中，对Medium-other的分类准确率达到了75％，对Merchant的分类准确率达到了96.83％，对Medium-passenger的分类准确率达到了89.83％，对Sailing的分类准确率达到了96.32％，对Small的分类准确率达到了98.97％，对Tug的分类准确率达到了95.00％。使用可见光子网络对可见光图像进行分类的准确率为90.53％，使用红外子网络对红外图像进行分类的准确率为85.43％。由此可以判断，本方法不需要人工提取特征，有效利用了多模态图像的优点进行融合分类，实现船舶图像的分类，分类准确率较高。

综上，本实施例中首先设计了能够获得更多的船舶图像全局信息的双流对称卷积神经网络来提取可见光图像和红外图像的深层特征，并对网络训练后得到最优训练模型，在得到最优训练模型后，将待分类的可见光图像和红外图像进行预处理和数据增强后，分别调用训练好的最优模型对其进行预测，得到Softmax函数的概率值，并进行线性加权决策融合，对多模态图像的优点进行有效利用，实现船舶图像的分类，解决了使用单一传感器获得的图像进行船舶分类存在局限性的问题，且分类准确率较高。

实施例2

本实施例涉及的是基于深度学习的可见光图像和红外图像融合的船舶分类装置，该船舶分类装置包括处理器以及存储器，存储器上存储有计算机程序，计算机程序通过处理器执行时，用于实现实施例1中的基于深度学习的可见光图像和红外图像融合的船舶分类方法。

具体地，处理器可采用Inter(R)Core(TM)i9-7980XE@2.6GHz处理器，32GB内存，使用python3.5在Pytorch框架上进行软件编程。

本实施例提供的基于深度学习的可见光图像和红外图像融合的船舶分类装置目的是用于实现实施例1所涉基于深度学习的可见光图像和红外图像融合的船舶分类方法，因此，实施例1所具备的技术效果，本实施例所提供的基于深度学习的可见光图像和红外图像融合的船舶分类装置同样具备，在此不再赘述。

上述实施例为本发明较佳的实现方案，除此之外，本发明还可以其它方式实现，在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。

为了让本领域普通技术人员更方便地理解本发明相对于现有技术的改进之处，本发明的一些附图和描述已经被简化，并且为了清楚起见，本申请文件还省略了一些其它要素，本领域普通技术人员应该意识到这些省略的要素也可构成本发明的内容。

Claims (10)

1.基于深度学习的可见光图像和红外图像融合的船舶分类方法，其特征在于，包括以下步骤：

S1、从现有船舶分类数据集中获取可见光图像和红外图像并将其作为训练集，将训练集中配对的可见光图像和红外图像进行预处理和数据增强后分别输入到可见光子网络和红外子网络中提取船舶图像的深层特征，在输出层使用Softmax函数进行分类，利用交叉熵损失函数计算预测类别标签与真实类别标签之间的误差，通过反向传播算法计算卷积神经网络的各层的权重与偏置，不断迭代训练卷积神经网络，直到损失函数收敛，得到最优训练模型1和最优训练模型2并保存；

S2、将需要进行船舶分类的图像作为测试集，将测试集中配对的可见光船舶图像和红外船舶图像预处理和数据增强后分别利用所述最优训练模型1和最优训练模型2对测试集中待分类的配对图像进行测试，得到可见光子网络和红外子网络的Softmax函数的输出概率值；

S3、利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理，得到最终的分类结果。

2.根据权利要求1所述的船舶分类方法，其特征在于，对所述训练集和测试集中可见光图像和红外图像进行预处理的方式为：采用双三次插值方法将船舶图像的大小预处理为合适的像素大小。

3.根据权利要求2所述的船舶分类方法，其特征在于，对预处理后的可见光图像和红外图像进行数据增强的方式为：将训练集的图像随机裁剪为227×227像素，并使用随机水平翻转和z-score标准化；将测试集的图像中心裁剪为227×227像素。

4.根据权利要求1所述的船舶分类方法，其特征在于：步骤S1中，以训练集的可见光图像和红外图像作为样本数据对可见光子网络和红外子网络组成的双流对称卷积神经网络进行训练，得到最优训练模型1和最优训练模型2，具体方式为：将预处理后的可见光图像和红外图像先进行数据增强，再分别输入所述双流对称卷积神经网络，提取不同类型船舶的深层特征，在输出层利用Softmax函数得到预测类别的标签，利用交叉熵损失函数计算所述预测类别标签与所述样本的真实类别标签之间的误差，根据反向传播算法调整所述双流对称卷积神经网络的权值和偏置，不断的迭代训练，直到损失函数收敛，分别得到所述可见光子网络的最优训练模型1和红外子网络的最优训练模型2并保存。

5.根据权利要求1所述的船舶分类方法，其特征在于：所述卷积神经网络为由可见光子网络和红外子网络构成的双流对称卷积神经网络，其中提取可见光图像的特征的卷积神经网络为可见光子网络，提取红外图像的特征的卷积神经网络为红外子网络，可见光子网络和红外子网络的网络结构一致，由4个卷积层、3个池化层、3个全连接层和Softmax输出层组成。

6.根据权利要求4所述的船舶分类方法，其特征在于：步骤S1中，利用交叉熵损失函数计算所述预测类别标签与所述真实类别标签之间的误差，具体为：

其中，J(θ)为误差，m为进行训练的船舶图像的数量，x⁽ⁱ⁾为样本数据，i＝1,2,…,m，y⁽ⁱ⁾为真实类别标签，h_θ(x⁽ⁱ⁾)是针对每一船舶类别估算出的概率值的假设函数，j为船舶类型的数量，j＝1,2,…,6，1{true}＝1，1{false}＝0；

θ为模型参数：

所述假设函数为：

其中，p(y＝j|x)是针对第j类船舶估算的概率值。

7.根据权利要求6所述的船舶分类方法，其特征在于：利用交叉熵损失函数计算所述预测类别标签与所述真实类别标签之间的误差时，在交叉熵损失函数后面加上正则化项，以减少过拟合，所采用l₂正则化表示为：

其中，λ表示权重系数，加了正则化项的交叉熵损失函数的公式如下：

8.根据权利要求7所述的船舶分类方法，其特征在于：步骤S1中，是根据反向传播算法调整所述双流对称卷积神经网络的权值和偏置，通过采用随机梯度下降优化算法求解交叉熵损失函数的最小值，不断的迭代训练，直到误差最小化，最终分别得到所述可见光子网络的最优训练模型1和红外子网络的最优训练模型2。

9.根据权利要求1所述的船舶分类方法，其特征在于：步骤S3中，利用线性加权决策融合方法对可见光子网络和红外子网络的Softmax函数的输出概率值进行处理的方式为：

其中，p_1j(x)表示对输入样本x在最优训练模型1上测试后得到的可见光子网络的Softmax函数的输出概率值，p_2j(x)表示输入样本x在最优训练模型2上测试后得到的红外子网络的Softmax函数的输出概率值，α为权重因子，在0到1之间取值，j表示船舶类型数。

10.基于深度学习的可见光图像和红外图像融合的船舶分类装置，其特征在于：包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序通过处理器执行时，实现如权利要求1-9中任意一项所述的船舶分类方法。

Images