CN112801955B - 种群分布不平衡条件下的浮游生物检测方法 - Google Patents

Abstract

本发明涉及计算机视觉、对抗学习和深度学习目标检测领域，具体说是一种浮游生物种群分布不平衡条件下的多类浮游生物检测方法，本发明一方面融入了循环对抗神经网络结构，对非优势分布种群的图像样本数据进行扩充，使各种群图像样本数据达到数量上的均衡，避免了检测模型在训练中的过拟合现象，提高了整体识别精度。另一方面，算法在YOLOV3模型的基础上引入了具有特征重用特性的DenseNet结构，替换原YOLOV3模型中下采样层，使浮游生物的细微特征在深度神经网络层中传输过程中减少特征损失，提高特征传播的稳定性。

Description

种群分布不平衡条件下的浮游生物检测方法

技术领域

本发明涉及计算机视觉、对抗学习和深度学习目标检测领域，具体说是一种浮游生物种群分布不平衡条件下的多类浮游生物检测方法。

背景技术

浮游生物是海洋生态系统中最基本的组成部分，作为生产者和初级消费者为食物链上层的生物体提供食物来源，在全球海洋碳循环中发挥着重要作用。同时，浮游生物能够对海洋水体环境变化(如富营养化或污染)迅速作出反应，也被认为是海洋水体健康的指示器。因此，全面了解海洋环境中浮游生物的分布和丰度，对研究海洋碳循环以及预报赤潮等自然灾害的发生至关重要。

不同的浮游生物种群随着海域、水深的变化，其丰度和分布具有明显的差异性，这带来了用于训练的包含不同种群的数据集存在种群不平衡(Species imbalance)的问题，导致训练模型对优势种群(Majority species)较为倚重，而对占有劣势地位的种群(Minority species)不敏感，产生训练模型的欠拟合，导致检测模型对非优势种群的识别精度不高。另外，小微尺度的海洋浮游生物尺寸处于微米级或毫米级，并且不同种类的浮游生物的特征并不明显，触角等较细微的特征在物种精确分类过程中起着重要的作用。然而，目标特征在深度神经网络结构传递过程中，由于下采样、池化等操作往往导致一些特征的损失，更增加了目标识别的难度。

发明内容

针对现有方法在实际海洋环境下浮游生物多种群观测应用中的不足，本发明提供一种浮游生物种群分布不平衡条件下的多类浮游生物检测算法，采用图像处理、对抗学习和深度学习技术，减少了由于浮游生物种群分布不平衡所带来的检测模型过拟合现象，并在提取深层特征的同时减少特征损失，具有较高的识别准确率。

本发明为实现上述目的所采用的技术方案是：

种群分布不平衡条件下的浮游生物检测方法，包括以下步骤：

标定种群分布不平衡条件下的各种群浮游生物目标样本图像并将目标样本图像随机分成训练集和测试集并分别进行预处理；

对训练集中非优势种群目标样本图像进行样本数据扩充并标定；

对扩充后的训练集样本图像中的目标进行特征提取，使每张目标样本图像分别得到3个尺度的特征图；

使用YOLOV3-dense模型对训练集中提取的所有特征图进行训练，得到多个权重模型；

将测试集作为输入，分别输入到每个权重模型中进行测试得到测试集识别后的第一次识别结果；

对第一次识别结果进行后处理和非极大值抑制，得到第二次识别结果；

计算第二次识别结果的平均精度均值mAP，选择使mAP最大的第二次识别结果对应的权重模型作为最优模型，使用该模型对种群分布不平衡条件下的浮游生物种群进行监测。

所述对训练集中非优势种群目标样本图像进行样本数据扩充,具体为：

将非优势种群训练集中的目标样本图像经过CycleGAN模型生成虚假目标样本图像，生成的虚假目标样本图像与原训练集共同组成新的训练集，使非优势种群的浮游生物训练样本数量与其他种群的浮游生物训练样本数量达到设定的均衡条件。

所述对目标样本图像进行预处理具体为：

对训练集中的目标样本图像进行随机增强处理和尺寸调整；对测试集中的目标样本图像进行尺寸调整。

所述使用YOLOV3-dense模型对训练集中提取的所有特征图进行训练，具体为：

选择与目标框匹配的先验框，用于在训练YOLOV3-dense模型的过程中对该目标框进行预测，随着训练步数的增加，YOLOV3-dense模型参数逐渐调整，最终得到多个权重模型。

所述对预处理后的训练集图像中的目标进行特征提取具体为：

使用DenseNet结构替换YOLOV3模型的Darknet-53结构中的下采样层，即：使用1个8层Dense block模块、1个Transition层和1个8层的Dense block模块替换26×26下采样层；使用1个16层的Dense block模块、1个Transition层和1个16层的Dense block模块替换13×13下采样层，得到改进的Darknet-53特征提取网络；

将预处理后的每一张训练集样本图像输入到改进的Darknet-53特征提取网络中，分别得到3个尺度特征图。

所述3个尺度特征图，分别为13×13、26×26、52×52。

所述对第一次识别结果进行后处理和非极大值抑制具体为：

首先进行后处理，去除第一次识别结果中可信度低于阈值的预测框，然后进行非极大值抑制，去除重复预测框，得到第二次识别结果即含有目标检测框的图像。

本发明具有以下有益效果及优点：

本发明提出将CycleGAN模型用于浮游生物非优势种群训练集的扩充，使检测模型能够对多种群浮游生物数据进行均衡学习，提高了检测识别精度。另一方面，将DenseNet结构融入YOLOV3模型的特征提取网络部分，增加了网络层数，能够提取目标更深层次特征；同时，DenseNet结构具有特征重用特性，缓解了因网络层数增加而带来的特征丢失现象，因此该方法能够更好的应用于海洋浮游生物的实时原位观测，且具有较高的识别准确率。此外，网络层数的增加并没有大幅增加检测时间，因此该方法还具备较好的实时性。

附图说明

图1是本发明的使用流程图；

图2是本发明中CycleGAN模型进行数据扩充示意图；

图3是本发明特征提取网络结构图；

图4是本发明的整体检测网络结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明提供了一种浮游生物种群分布不平衡条件下的多类浮游生物检测方法，通过引入CycleGAN模型对训练集中非优势种群样本图像进行扩充，达到训练集各种群样本图像数量上的均衡，提高了检测模型对非优势类目标的检测精度。此外，YOLOV3检测目标的准确率和速度都很高，且对小尺寸目标的检测也有很好的效果，并且引入DenseNet结构对YOLOV3模型进行改进，提高了浮游生物细微特征在模型中的传递，进一步提高了检测识别精度，更加适用于开展浮游生物的实时原位检测。

浮游生物种群分布不平衡条件下的多类浮游生物检测方法，包括以下步骤：

步骤1：标定种群分布不平衡条件下的各种群浮游生物目标样本图像并将目标样本图像随机分成训练集和测试集；

步骤2：生成非优势类种群目标样本虚假数据对非优势种群目标样本图像进行样本数据扩充并标定；

步骤3：对扩充后的训练集样本图像中的目标进行特征提取，使每张目标样本图像分别得到3个尺度的特征图；

步骤4：使用本发明提出的YOLOV3-dense模型对训练集中提取的特征图进行训练，得到多个权重模型；

步骤5：将测试集作为输入，输入到上一步中得到的每个权重模型中进行测试得到测试集识别后的第一次结果；

步骤6：对第一次结果进行后处理和非极大值抑制，得到第二次结果；

步骤7：计算第二次结果的mAP，选择使mAP最大的权重模型作为最优模型；

所述种群分布不平衡条件下的各种群浮游生物目标样本数据随机分成训练集和测试集,具体为：

将浮游生物各种群样本图像分别随机分成训练集和测试集，其中，将非优势种群训练集中的目标样本图像经过CycleGAN模型生成部分虚假目标样本图像，生成的虚假目标样本图像与原同种群训练集共同组成新的训练，使非优势种群的浮游生物训练样本与其他种群的浮游生物训练样本达到数量的均衡。对实验数据集中的所有目标进行标定，得到包含目标信息的xml文件。

所述非优势种群为根据同一区域中各浮游生物种群的分布数量选定的数量明显少于其他种群的浮游生物种群。

所述对目标图像进行预处理具体为：

对训练集中的目标图像进行随机增强处理和尺寸调整；对测试集中的目标图像进行尺寸调整

训练本发明提出的YOLOV3-dense模型,得到多个权重模型，具体如下：

选择与目标框匹配的先验框用于训练本发明提出的YOLOV3-dense模型的过程中对该目标框进行预测，随着训练步数的增加，本发明提出的YOLOV3-dense模型参数逐渐调整，最终得到多个权重模型。

所述对预处理后的训练集图像中的目标进行特征提取具体为：

使用DenseNet结构替换YOLOV3模型的Darknet-53结构中的下采样层，即：使用1个8层Dense block模块、1个Transition层和1个8层的Dense block模块替换26×26下采样层；使用1个16层的Dense block模块、1个Transition层和1个16层的Dense block模块替换13×13下采样层，得到改进的Darknet-53特征提取网络；

将预处理后的训练集图像输入到改进的Darknet-53特征提取网络中，得到3个尺度特征图。

所述对识别后的图像进行后处理和非极大值抑制具体为：

首先进行后处理，去除可信度低于阈值的预测框，然后进行非极大值抑制，去除重复预测框，得到测试集第二次结果即含有目标检测框的图像。

如图1所示，本发明提供了一种浮游生物种群分布不平衡条件下的多类浮游生物检测算法，使用步骤包括：

步骤1：根据需求准备图像数据集。

步骤2：输入图像，并对输入图像进行预处理。训练集图像首先采用CycleGAN模型生成虚假目标样本数据，如图2所示，实现浮游生物非优势种群目标样本数据的扩充；训练集和测试集进行尺寸调整。最终输入图像尺寸统一为416×416，得到预处理后的图像。

步骤3：对预处理后的训练集进行特征提取。网络结构如图3所示，其中，Convolutional表示卷积，Residual表示残差模块，AvgPooling表示平均池化，Dense block表示密集连接模块，Transition表示转换层；其中，原YOLOV3模型中26×26和13×13的下采样层被DenseNet结构替换，分别包括两个Dense block模块和1个Transition层。每个Denseblock模块包含多层BN-ReLU-1×1Conv-BN-ReLU-3×3Conv操作，增长率k设置为32，层数分别设置为8和16；Transition层操作为BN-ReLU-1×1Conv-AvgPooling，对Dense block输出的特征图进行压缩。特征提取最终得到3个尺度特征图，分别为13×13、26×26、52×52。

步骤4：首先使用训练集提取的目标特征对本发明提出的YOLOV3-dense模型进行训练，得到一系列权重模型；然后使用测试集对每一个权重模型进行测试得到识别后的第一次结果；

步骤5：首先对第一次结果进行后处理，去除可信度低的预测框，阈值设置为0.1；然后进行非极大值抑制，去除重复预测框，阈值设置为0.45，得到第二次结果。

步骤6：计算mAP，选择使mAP最大的权重模型作为最优模型；

本发明的整体检测网络结构即YOLOV3-dense模型如图4所示，其中，DBL表示卷积单元，Conv表示卷积，BN表示批归一化，Leaky relu表示激活函数，add表示元素级相加，concat表示维度级相加，zero padding表示零填充，AvgPooling表示平均池化，res表示残差模块，resn表示残差网络，transition layer表示转换层，dense block表示密集连接模块，dense表示密集连接网络，down sampling表示下采样，up sampling表示上采样。

本发明提出的方法以平均精度均值Mean Average Precision(mAP)作为评价指标，得到最优权重模型对应的检测结果：mAP为98.07％，比未引入CycleGAN模型和DenseNet结构时提升2.69％。

mAP定义：

N为：数据集中浮游生物的类别数量；AP为浮游生物每一类识别的平均精度。

其中：

AP定义：

Percision：准确率，识别结果中目标数量所占比例。

Recall：召回率，正确识别出的目标数量占真实目标数量的比例。

本发明为实现上述目的所采用的技术方案是将DenseNet结构引入原YOLOV3模型中的Darknet-53特征提取网络中，然后从3个尺度进行预测，所述识别过程包括以下步骤：

步骤1：将测试集尺寸调整成416×416的图像；

步骤2：导入训练过程得到的所有权重模型；

步骤3：将尺寸调整后的图像经过引入DenseNet结构的Darknet-53网络提取特征，得到3个尺度特征图；

步骤4：对3个尺度特征图进行目标预测，并对预测结果进行处理得到最终识别结果。

所述对于数据集的准备，包括：

步骤1.1：在美国伍兹霍尔海洋研究院提供的浮游生物数据集中得到2060原始数据集；

步骤1.2：将原始数据集进行划分，得到1560训练集和500测试集；

步骤1.3：对一类浮游生物非优势种群训练集进行扩充，由原来的160扩充至550，得到最终2450实验数据集；

步骤1.4：使用LabelImg软件对2450实验数据集进行标定。

所述对于Darknet-53网络引入DenseNet结构，包括：

将原Darknet-53网络中易导致特征丢失的下采样层替换为DenseNet结构；

对于26×26的下采样层，引入1个8层的Dense block模块、1个Transition层和1个8层的Dense block模块；

对于13×13的下采样层，引入1个16层的Dense block模块、1个Transition层和1个16层的Dense block模块。

Claims (7)

1.种群分布不平衡条件下的浮游生物检测方法，其特征在于，包括以下步骤：

标定种群分布不平衡条件下的各种群浮游生物目标样本图像并将目标样本图像随机分成训练集和测试集并分别进行预处理；

对训练集中非优势种群目标样本图像进行样本数据扩充并标定；

对扩充后的训练集样本图像中的目标进行特征提取，使每张目标样本图像分别得到3个尺度的特征图；

使用YOLOV3-dense模型对训练集中提取的所有特征图进行训练，得到多个权重模型；

将测试集作为输入，分别输入到每个权重模型中进行测试得到测试集识别后的第一次识别结果；

对第一次识别结果进行后处理和非极大值抑制，得到第二次识别结果；

计算第二次识别结果的平均精度均值mAP，选择使mAP最大的第二次识别结果对应的权重模型作为最优模型，使用该模型对种群分布不平衡条件下的浮游生物种群进行监测。

2.根据权利要求1所述的种群分布不平衡条件下的浮游生物检测方法，其特征在于，所述对训练集中非优势种群目标样本图像进行样本数据扩充,具体为：

将非优势种群训练集中的目标样本图像经过CycleGAN模型生成虚假目标样本图像，生成的虚假目标样本图像与原训练集共同组成新的训练集，使非优势种群的浮游生物训练样本数量与其他种群的浮游生物训练样本数量达到设定的均衡条件。

3.根据权利要求1所述的种群分布不平衡条件下的浮游生物检测方法，其特征在于，所述对目标样本图像进行预处理具体为：

对训练集中的目标样本图像进行随机增强处理和尺寸调整；对测试集中的目标样本图像进行尺寸调整。

4.根据权利要求1所述的种群分布不平衡条件下的浮游生物检测方法，其特征在于，所述使用YOLOV3-dense模型对训练集中提取的所有特征图进行训练，具体为：

选择与目标框匹配的先验框，用于在训练YOLOV3-dense模型的过程中对该目标框进行预测，随着训练步数的增加，YOLOV3-dense模型参数逐渐调整，最终得到多个权重模型。

5.根据权利要求1所述的种群分布不平衡条件下的浮游生物检测方法，其特征在于，所述对预处理后的训练集图像中的目标进行特征提取具体为：

使用DenseNet结构替换YOLOV3模型的Darknet-53结构中的下采样层，即：使用1个8层Dense block模块、1个Transition层和1个8层的Dense block模块替换26×26下采样层；使用1个16层的Dense block模块、1个Transition层和1个16层的Dense block模块替换13×13下采样层，得到改进的Darknet-53特征提取网络；

将预处理后的每一张训练集样本图像输入到改进的Darknet-53特征提取网络中，分别得到3个尺度特征图。

6.根据权利要求5所述的种群分布不平衡条件下的浮游生物检测方法，其特征在于，所述3个尺度特征图，分别为13×13、26×26、52×52。

7.根据权利要求1所述的种群分布不平衡条件下的浮游生物检测方法，其特征在于，所述对第一次识别结果进行后处理和非极大值抑制具体为：

首先进行后处理，去除第一次识别结果中可信度低于阈值的预测框，然后进行非极大值抑制，去除重复预测框，得到第二次识别结果即含有目标检测框的图像。