CN113313166B - 基于特征一致性学习的船舶目标自动标注方法 - Google Patents

Abstract

本发明公开了一种基于特征一致性学习的船舶目标自动标注方法，包括步骤：1)利用已标注的和未标注的船舶样本构建船舶数据集，并对其中的船舶样本进行数据增强；2)构建船舶特征判别模型，利用船舶数据集进行基于特征一致性学习的模型训练；3)在模型训练过程中，计算船舶样本的对抗扰动并优化；4)利用已训练好的船舶特征判别模型对未标注的船舶样本进行伪标注；5)利用船舶样本的伪标注重复进行模型训练直到收敛，输出最终的伪标注。本发明利用多样性的船舶数据，学习鲁棒性的船舶通用特征，实现对船舶目标的自动标注，有效地减少人工标注的成本。

Description

基于特征一致性学习的船舶目标自动标注方法

技术领域

本发明涉及船舶检测的技术领域，尤其是指一种基于特征一致性学习的船舶目标自动标注方法。

背景技术

随着大数据时代的到来和互联网技术的发展，水上交通日益繁忙，针对水上监控的图像数据呈指数增长。船舶是水上运输的主要载体，对船舶目标进行检测在民用、军用领域都具有重要应用。当前，船舶检测模型的检测率依赖于海量的船舶目标标注数据，而人工标注的效率低、质量参差不一。实现对船舶目标自动标注可以避免人工处理数据的繁琐和节约时间成本。船舶目标自动标注要求能够利用无标注的船舶数据结合适当的标注信息来学习对数据进行自动标注。其中，半监督学习发挥着重要的作用，它是一种结合监督学习和无监督学习的方法，能够充分利用标注信息和无标注信息来优化模型。

目前，对数据标注的算法可以分为三大类：基于概率统计的标注方法、基于机器学习的标注方法、基于图结构的标注方法。基于概率统计的标注方法主要是先搭建图像特征和关键词之间的概率分布，再通过构造的训练集求解概率分布的参数，最终根据图像特征去估计各个关键词的匹配概率；基于概率统计的方法由于图像和关键词之间的分布是人工假设的，并不能代表他们之间的精确分布，存在较大的误差会影响标注的效果。基于机器学习的标注方法将语义关键词视作标签，通过传统的监督学习模型训练并分类。基于图结构的方法普遍采用半监督的学习方法，这类方法中图像间的相似度通过图结构来表示构造，相比较于监督学习，该方法可以免去增加训练数据的情况下重新训练模型的麻烦。但是基于图结构的标注方法中图的构造过程十分复杂，结点与结点之间的度量相似性的方式多种多样，在应对真实海量数据时实现困难；基于机器学习的标注方法，只要将模型训练好，就能快速标注。因此，本发明采用基于机器学习的方法实现对船舶数据自动标注。针对传统的机器学习方法存在如下问题：

1、传统机器学习算法往往需要人工提取特征，需要花费大量的时间和精力。

2、传统图像标注模型对非均匀数据集敏感。

为了解决以上问题，本发明提出采用特征一致性学习实现对船舶目标的自动标注。该发明构建船舶特征判别模型，对多来源的船舶样本进行多种数据增强以解决训练数据非均匀问题，接着采用基于特征一致性学习的训练来使模型能够在不同数据增强样本中学习泛化性特征，最终实现对无标注船舶样本的自动标注。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于特征一致性学习的船舶目标自动标注方法，利用有限的已标注的船舶样本结合大量无标注的船舶样本，以特征一致性学习的方式实现船舶目标的自动标注，减少人工标注的成本，加快在船舶检测领域的模型部署。

为实现上述目的，本发明所提供的技术方案为：基于特征一致性学习的船舶目标自动标注方法，包括下述步骤：

1)利用已标注的船舶样本与不同来源的未标注的船舶样本构建船舶数据集，并对船舶数据集中的船舶样本预先计算其数据增强；

2)构建船舶特征判别模型，利用船舶数据集进行基于特征一致性学习的模型训练；

3)在模型训练过程中，计算船舶样本的对抗扰动并优化；

4)利用已训练好的船舶特征判别模型对未标注的船舶样本进行伪标注；

5)结合伪标注的船舶样本和已标注的船舶样本重复进行模型训练直到收敛，输出最终的伪标注，从而完成船舶目标的自动标注。

进一步，在步骤1)中，对船舶数据集中的船舶样本预先计算其数据增强，以增加数据的多样性，包括：

a、计算船舶样本的几何变换，包括水平翻转、-30°～30°的图片旋转、平移、图片缩放以及裁剪；

b、计算船舶样本的噪声扰动，包括色彩通道转变、添加高斯噪声、椒盐噪声以及锐化；

c、计算船舶数据样本的随机遮挡，随机选择图片中的多个区域并将其像素值置0。

进一步，在步骤2)中，构建的船舶特征判别模型由基于Resnet50网络的特征提取模块和三层全连接层组成，其中最后一层全连接层为输出层，包括分类分支与回归分支，它们共享均为1024个神经元的两层全连接层，并且对特征提取模块提取到的候选区域进行特征分类与回归，实现船舶目标的定位；该船舶特征判别模型的具有情况如下：

利用船舶数据集的已标注样本，聚类计算其目标框的锚框先验形状，搭建基于Resnet50网络的特征提取模块，利用锚框先验形状，在特征提取模块生成的最后一个特征图中以滑动窗口方式提取候选区域，将候选区域中的特征图送入三层全连接层进行特征分类与回归；

将船舶数据集作为船舶特征判别模型的输入，通过船舶数据集的标签与潜在信息最小化目标函数，从而实现对模型的训练；在模型训练过程中，使用随机梯度下降法对目标函数进行优化，船舶特征判别模型的目标函数为：

式中，D_L为有标注的船舶样本集合，其下标L代表标注，D_UL为无标注的船舶样本集合，其下标UL代表无标注，θ为船舶特征判别模型的可训练参数，

为监督损失，

为特征一致性损失；

监督损失与特征一致性损失均包括分类损失与回归损失；对于监督损失，其分类损失采用交叉熵函数来计算船舶样本的候选区域与标注之间的分类损失，回归损失采用smooth-L1函数来计算船舶样本的候选区域与标注之间的定位损失；对于特征一致性损失，其分类损失采用交叉熵函数来衡量船舶样本的候选区域与其数据增强后的样本的候选区域之间的类别相似损失，回归损失采用smooth-L1函数来衡量船舶样本的候选区域与其数据增强后的样本的候选区域之间的位置相似损失。

进一步，在步骤3)中，在训练过程中针对当前船舶特征判别模型的参数，计算能引起该模型错分类的对抗扰动，并将该错分类进行改正优化，包括以下步骤：

3.1)利用训练过程中的船舶特征判别模型，计算船舶样本在该模型中的输出O和船舶样本施加扰动r后的模型输出

3.2)利用KL(Kullback-Leibler)散度函数计算O与

的分布距离，并计算使该分布距离最大化的扰动r，并将其扰动作为对抗扰动；

式中，f_kl表示KL散度函数，

表示船舶样本施加扰动r后的模型输出；τ是一个常量，限制r的幅值大小；

3.3)将计算得到的对抗扰动施加在船舶样本中，得到船舶对抗样本，并加入到模型训练过程中进行优化。

进一步，在步骤4)中，利用船舶特征判别模型计算所有无标注的船舶样本的目标输出，对每个船舶样本的目标输出进行非极大值抑制，减少重叠目标的数量；将经过非极大值抑制的目标保存为PASCAL VOC格式的XML文件作为伪标注。

进一步，在步骤5)中，通过利用不断更新的伪标注进行重复的模型训练来提高船舶特征判别模型的标注精度，具体如下：

利用伪标注的船舶样本和已标注的船舶样本再次进行基于特征一致性学习的模型训练；利用模型训练结束的船舶特征判别模型更新伪标注，再次利用更新后的伪标注的船舶样本和已标注的船舶样本重复进行模型训练，直到伪标注的更新收敛；将收敛的伪标注作为无标注的船舶样本的最终标注，并保存为PASCAL VOC格式的XML文件。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明采用船舶数据增强的技术方案，方案通过对船舶数据进行几何变换、噪声扰动和随机遮挡来获得各种复杂的训练样本来构建船舶数据集，解决了传统方法中数据集样本涉及场景少、船舶目标单一的技术问题，达到了进一步提高模型鲁棒性的技术效果。

2、本发明在模型训练过程中，计算船舶特征判别模型的对抗扰动并优化，以促使模型学习具有鲁棒性的船舶特征。

3、本发明采用了特征对比学习的技术方案，方案利用了原始样本、数据增强样本以及对抗样本之间的相似性，促使模型学习船舶通用特征，提高船舶特征的泛化能力，从而提高模型的鲁棒性，增加船舶目标的检测率与检测精度。

4、本发明采用了半监督学习的技术方案，方案利用标注信息与无标注信息，使模型能利用更大规模的数据，减少人工干预的成本，使其能快速便捷地部署于不同的水上场景。

附图说明

图1为本发明方法的流程图。

图2为几何变换、噪声干扰和随机遮挡的数据增强示例图。

图3为船舶特征判别模型结构图。

图4为对抗干扰的数据增强示例图。

图5为本发明实现的船舶目标自动标注结果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本实施例的实验平台为Python3.6，Pytorch1.7.0，计算机配置：CPU型号为Intel(R)Core(TM)i9-10900X,内存32GB，显卡型号为NVIDIA Quadro M6000。

如图1所示，本实施例所提供的基于特征一致性学习的船舶目标自动标注方法的流程可大致分为三个阶段：第一阶段为船舶数据预处理，主要是构建船舶数据集与船舶样本的数据增强，使训练样本多样化；第二阶段为模型的构建与训练，主要是构建船舶特征判别模型与进行特征一致性学习的模型训练；第三阶段为船舶样本的自动标注，主要是利用已训练好的船舶特征判别模型对待标注船舶数据进行自动标注。其具体包括以下步骤：

1)利用已标注的船舶样本与不同来源的未标注的船舶样本构建船舶数据集，并对船舶数据集中的船舶样本预先计算其数据增强，包括以下步骤：

1.1)构建船舶数据集：从不同场景采集船舶样本，样本来源场景包括码头、雨雾天气、远海及近海，并对所采集的无标注的船舶样本进行少量的标注；

1.2)预先计算船舶数据集中的样本的数据增强，以减少模型训练过程中的耗时。如图2所示，为船舶样本的数据增强样例，包括几何变换、噪声扰动和随机遮挡。其中几何变换包括水平翻转、-30°～30°的图片旋转、平移、图片缩放以及裁剪；噪声扰动包括色彩通道转变、添加高斯噪声、椒盐噪声以及锐化；随机遮挡则是随机选择遮挡部分并将该部分的像素值置0。若该原始船舶样本为有标记样本，则相应地添加其标注文件。

2)构建船舶特征判别模型，利用船舶数据集进行基于特征一致性学习的模型训练，包括以下步骤：

2.1)搭建船舶特征判别模型，如图3所示。原始图像与其所有的数据增强图像作为输入。该模型主要由基于Resnet50网络的特征提取模块和三层全连接层组成，其中最后一层全连接层为输出层，包括分类分支与回归分支，它们共享均为1024个神经元的两层全连接层，并且对特征提取模块提取到的候选区域进行特征分类与回归，实现船舶目标的定位。每个候选区域是通过锚框在Resnet50网络最后一层特征图中以滑动窗方式产生。其中，锚框是利用已标注的船舶样本以聚类方式计算目标框标注的先验形状，主要有9种锚框：(31，27)、(54，41)、(59，21)、(96、73)、(126，40)、(145，142)、(216，56)、(448，121)、(815，210)，每个锚框表示为(宽，高)。

2.2)构建船舶特征判别模型的目标函数：将船舶数据集作为船舶特征判别模型的输入，通过船舶数据集的标签与潜在信息最小化目标函数，从而实现对模型的训练。在模型训练过程中，使用随机梯度下降法对目标函数进行优化，其中批量训练样本数为2，学习率为0.001，训练轮次为100次，采用early stopping技术来提前停止一个模型训练次数。

式中，D_L为有标注的船舶样本集合，其下标L代表标注，D_UL为无标注的船舶样本集合，其下标UL代表无标注，θ为船舶特征判别模型的可训练参数，

为有标注的船舶样本的监督损失，

为有标注与无标注的船舶样本的特征一致性损失。

监督损失

与特征一致性损失

均包括分类损失与回归损失。对于监督损失，其分类损失采用交叉熵函数f_ce(d⁽ⁱ⁾,g)来计算船舶样本的候选区域与标注之间的分类损失，回归损失采用smooth-L1函数f_sl(d⁽ⁱ⁾,g)来计算船舶样本的候选区域与标注之间的定位损失。对于特征一致性损失，目的是使相似目标的输出尽可能相同，其分类损失依然采用交叉熵函数

来衡量船舶样本的候选区域与其数据增广样本的候选区域之间的类别相似损失，回归损失采用smooth-L1函数

来衡量船舶样本的候选区域与其数据增广样本的候选区域之间的位置相似损失。其中，交叉熵函数f_ce的具体形式如式(2)所示，smooth-L1函数f_sl的具体形式如式(3)所示。记船舶数据集中的船舶样本为d，其数据增广样本为

船舶样本的第i个候选区域为d⁽ⁱ⁾，数据增广样本的第i个候选区域为

若船舶样本为有标记样本，则其标注记为g。

f_ce(α,β)＝-β_clog(α_c)-(1-β_c)log(1-α_c) (2)

式中，α和β表示输入的两个候选区域。在交叉熵函数f_ce中，α_c与β_c表示两个候选区域的模型输出的类别分布，在smooth-L1函数f_sl中，α_l与β_l表示两个候选区域的模型输出的位置分布。

3)在模型训练过程中，计算船舶样本的对抗扰动并优化，包括以下步骤：

3.1)训练过程中，船舶特征判别模型有关于船舶样本的前向运算与关于模型参数更新的反向运算。在每次的前向运算中，计算原始样本在当前船舶特征判别模型的输出分布O和施加扰动r后的输出分布

3.2)计算船舶样本的对抗扰动，其计算方式求出最大化关于O与

的KL(Kullback-Leibler)散度函数所对应的扰动r，如下式所示。

式中，τ是一个常量，限制对抗扰动的大小。f_kl为KL散度函数。在实际计算中，将该最大化过程简化为迭代地累加该式子的梯度向量。在本发明中，采用一次梯度的累加作为对抗扰动。

3.3)得到对抗扰动后，将其施加在原始船舶样本中。如图4所示，对抗扰动使图像中的一些区域中的像素产生微小的变化，但该变化从视觉上并不影响对船舶目标的识别。本发明将施加对抗扰动后的图像加入到训练过程中进行优化，以增加船舶特征判别模型的特征鲁棒性。

4)利用已训练好的船舶特征判别模型对未标注的船舶样本进行伪标注，包括如下步骤：

4.1)利用船舶特征判别模型通过前向运算，预测所有无标注船舶样本的目标，并对每个船舶样本中预测的目标进行非极大值抑制，减少重叠目标的数量；

4.2)将经过非极大值抑制的目标保存为PASCAL VOC格式的XML文件作为伪标注。

5)结合伪标注的船舶样本和已标注的船舶样本重复进行模型训练直到收敛，输出最终的伪标注，从而完成船舶目标的自动标注，包括如下步骤：

5.1)由于经过一次模型训练而产生的伪标注对目标的定位精度低，因此利用伪标注的船舶样本与已标注的船舶样本再次进行基于特征一致性学习的模型训练以提高目标的定位精度。

5.2)每个迭代轮次的模型训练结束后，利用船舶特征判别模型更新伪标注，再次利用更新后的伪标注的船舶样本与已标注的船舶样本重复进行模型训练，直到伪标注的更新收敛。

5.3)将收敛的伪标注作为无标注船舶样本的最终标注，如图5所示，每个图像中用矩形框将船舶目标进行表示，并保存为PASCAL VOC格式的XML文件。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于特征一致性学习的船舶目标自动标注方法，其特征在于，包括以下步骤：

1)利用已标注的船舶样本与不同来源的未标注的船舶样本构建船舶数据集，并对船舶数据集中的船舶样本预先计算其数据增强；

2)构建船舶特征判别模型，利用船舶数据集进行基于特征一致性学习的模型训练；

构建的船舶特征判别模型由基于Resnet50网络的特征提取模块和三层全连接层组成，其中最后一层全连接层为输出层，包括分类分支与回归分支，它们共享均为1024个神经元的两层全连接层，并且对特征提取模块提取到的候选区域进行特征分类与回归，实现船舶目标的定位；该船舶特征判别模型的具有情况如下：

利用船舶数据集的已标注样本，聚类计算其目标框的锚框先验形状，搭建基于Resnet50网络的特征提取模块，利用锚框先验形状，在特征提取模块生成的最后一个特征图中以滑动窗口方式提取候选区域，将候选区域中的特征图送入三层全连接层进行特征分类与回归；

将船舶数据集作为船舶特征判别模型的输入，通过船舶数据集的标签与潜在信息最小化目标函数，从而实现对模型的训练；在模型训练过程中，使用随机梯度下降法对目标函数进行优化，船舶特征判别模型的目标函数为：

式中，D_L为有标注的船舶样本集合，其下标L代表标注，D_UL为无标注的船舶样本集合，其下标UL代表无标注，θ为船舶特征判别模型的可训练参数，

为监督损失，

为特征一致性损失；

监督损失与特征一致性损失均包括分类损失与回归损失；对于监督损失，其分类损失采用交叉熵函数来计算船舶样本的候选区域与标注之间的分类损失，回归损失采用smooth-L1函数来计算船舶样本的候选区域与标注之间的定位损失；对于特征一致性损失，其分类损失采用交叉熵函数来衡量船舶样本的候选区域与其数据增强后的样本的候选区域之间的类别相似损失，回归损失采用smooth-L1函数来衡量船舶样本的候选区域与其数据增强后的样本的候选区域之间的位置相似损失；

3)在模型训练过程中，计算船舶样本的对抗扰动并优化；

4)利用已训练好的船舶特征判别模型对未标注的船舶样本进行伪标注；

5)结合伪标注的船舶样本和已标注的船舶样本重复进行模型训练直到收敛，输出最终的伪标注，从而完成船舶目标的自动标注。

2.根据权利要求1所述的基于特征一致性学习的船舶目标自动标注方法，其特征在于，在步骤1)中，对船舶数据集中的船舶样本预先计算其数据增强，以增加数据的多样性，包括：

a、计算船舶样本的几何变换，包括水平翻转、-30°～30°的图片旋转、平移、图片缩放以及裁剪；

b、计算船舶样本的噪声扰动，包括色彩通道转变、添加高斯噪声、椒盐噪声以及锐化；

c、计算船舶数据样本的随机遮挡，随机选择图片中的多个区域并将其像素值置0。

3.根据权利要求1所述的基于特征一致性学习的船舶目标自动标注方法，其特征在于，在步骤3)中，在训练过程中针对当前船舶特征判别模型的参数，计算能引起该模型错分类的对抗扰动，并将该错分类进行改正优化，包括以下步骤：

3.1)利用训练过程中的船舶特征判别模型，计算船舶样本在该模型中的输出O和船舶样本施加扰动r后的模型输出

3.2)利用KL(Kullback-Leibler)散度函数计算O与

的分布距离，并计算使该分布距离最大化的扰动r，并将其扰动作为对抗扰动；

式中，f_kl表示KL散度函数，

表示船舶样本施加扰动r后的模型输出；τ是一个常量，限制r的幅值大小；

3.3)将计算得到的对抗扰动施加在船舶样本中，得到船舶对抗样本，并加入到模型训练过程中进行优化。

4.根据权利要求1所述的基于特征一致性学习的船舶目标自动标注方法，其特征在于，在步骤4)中，利用船舶特征判别模型计算所有无标注的船舶样本的目标输出，对每个船舶样本的目标输出进行非极大值抑制，减少重叠目标的数量；将经过非极大值抑制的目标保存为PASCAL VOC格式的XML文件作为伪标注。

5.根据权利要求1所述的基于特征一致性学习的船舶目标自动标注方法，其特征在于，在步骤5)中，通过利用不断更新的伪标注进行重复的模型训练来提高船舶特征判别模型的标注精度，具体如下：

利用伪标注的船舶样本和已标注的船舶样本再次进行基于特征一致性学习的模型训练；利用模型训练结束的船舶特征判别模型更新伪标注，再次利用更新后的伪标注的船舶样本和已标注的船舶样本重复进行模型训练，直到伪标注的更新收敛；将收敛的伪标注作为无标注的船舶样本的最终标注，并保存为PASCAL VOC格式的XML文件。

Images