CN117079273A - 一种基于深度学习的浮游藻类微生物检测方法 - Google Patents

Abstract

一种基于深度学习的浮游藻类微生物检测方法，包括以下步骤：步骤1：对原始训练数据的预处理，将数据集整理为无标注样本和有标注样本，在有标注样本中选择硅藻、绿藻和蓝藻作为目标类别，格式符合COCO格式要求；步骤2：图像分类快速推理的混合神经网络结构的建立，结合注意力偏置和可变形卷积，使用该骨干网络来进行实现特征的提取，结合对小目标、密集性效果更好的Deformable DETR检测模型；步骤3：将有标注数据集作为网络的输入；步骤4：网络的训练：先利用大量无标注样本进行了预训练；使用有标注的来自硅藻门、绿藻门和蓝藻门的数据集来完成藻类目标检测的下游任务。本发明实现快速且高精度的浮游藻类目标检测。

Description

一种基于深度学习的浮游藻类微生物检测方法

技术领域

本发明涉及计算机视觉领域。本发明公开了一种图像分类快速推理的混合神经网络来实现快速且高精度的浮游藻类目标检测。在利用少量标注样本学习藻类微生物特征，并结合藻类微生物形态多样、种类繁多以及密集微小等特点。同时，利用大量未标注样本，快速有效地将深度学习方法应用于藻类检测任务。

背景技术

传统的浮游藻类微生物检测方法往往需要人工干预和分析，费时费力且容易产生主观误差，是一项困难、昂贵且耗时的任务。藻类检测有多种方法，包括显微镜检查和化学分析等传统方法，以及遥感和机器学习等更先进的技术。近年来，深度学习广泛运用在图像分类、物体检测等机器视觉方向并有着突破性成就。利用深度学习技术，可以实现对浮游藻类的自动化检测和分类，减轻人工负担并提高检测的准确性和效率。

在浮游藻类目标检测方面，藻类检测是一项具有挑战性的任务。通常会出现三个较为重要且不可忽视的问题。首先，藻类微生物外观高度可变，具有各种形状、大小和颜色，这增加了模型准确检测所有类型藻类的难度。此外，藻类通常聚集在密集的簇或垫子中，这使得将单个微生物与背景区分开来变得困难，导致检测过程中可能会出现误报或漏报。另一个问题是可用于训练深度学习模型的带注释数据有限。藻类微生物的标记图像通常很少，特别是对于非常罕见的物种，且种类繁多，模型在遇到新的藻类微生物时无法识别，可能无法达到水质监测的效果。这使得开发用于藻类检测的准确模型变得困难，并且还会限制在小数据集上训练的模型的泛化能力。

LeVit是一种用于图像分类快速推理的混合神经网络。它结合了卷积神经网络和Transformer模型的优点，并通过逐渐减小激活图的分辨率来加速模型训练。同时，LeVit引入了注意力偏置(attention bias)，这是一种新的方法，将位置信息有效地整合到视觉Transformer中。

发明内容

为了克服现有技术的不足，为了实现快速、准确、高效的藻类微生物自动检测识别方法，本发明通过采用新的骨干网络的同时，结合了适用于小目标和密集场景的Deformable DETR方法，以实现快速且高精度的浮游藻类目标检测。

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于深度学习的浮游藻类微生物检测方法，所述方法包括以下步骤：

步骤1：对原始训练数据的预处理，将数据集整理为大量的无标注样本和有标注样本，在有标注样本中，选择硅藻、绿藻和蓝藻作为目标类别。数据集的格式符合coco格式要求；

步骤2：图像分类快速推理的混合神经网络结构的建立，使用该骨干网络来进行实现特征的提取；

步骤3：将步骤1得到的有标注数据集作为步骤2中的网络的输入；

步骤4：网络的训练：第一阶段，利用大量无标注样本进行了预训练；接下来进行第二阶段的微调，使用有标注的来自硅藻门、绿藻门和蓝藻门的数据集来完成藻类目标检测的下游任务。

进一步，所述步骤1中，数据集划分步骤如下：

1.1、依次从原始训练集中取无标注样本和有标注样本；

1.2、在有标注样本中，选择了硅藻、绿藻和蓝藻的数据，对重复数据、有害数据进行数据清理；

1.3、将筛选后的有标注样本进行格式转换，由labelme转目标检测用coco格式数据集；

1.4、根据step 3中得到的训练用标准数据集进行3:7的测试、训练数据集划分，作为网络的输入。

再进一步，所述的步骤2中，网络的搭建过程为：

Patch embedding的结构：一共由5层结构组成，其中前4层对应的结构组成为3*3的卷积层，第5层其结构由最大池化层+h-swish激活层，其中所有的卷积层的卷积核大小为3×3，卷积步长为2，填充为1，最大池化层同样的卷积核大小为3×3，卷积步长为2，填充为1；

Stage的结构：在每个stage中，堆叠一个DCNv3算子，经过LN操作后，加上输入时的残差，再通过一个自注意力模块和MLP模块，加上自注意模块输入时的残差；

激活层函数表达式：

ReLu激活函数：

其中x代表输入，f(x)代表输出；

h-swish激活函数：

其中x代表输入，f(x)代表输出。

本发明就提出一种新的模型架构，即利于Transformer其直接的全局关系建模能力，实现输入自适应、远程依赖，又能结合CNN训练快速、收敛更快的特性。即采用参考LeVit的结合DCN和注意力机制、CNN的Backbone，结合对小目标、密集性效果更好的DeformableDETR，实现快速、高精度地浮游藻类目标检测方法。

本发明的有益效果为：利用从大量未标记数据和有标注数据，从中学习到有用的特征，实现快速且高精度的浮游藻类目标检测。

附图说明

图1为本发明中小目标藻类图片示意图；

图2为小目标检测网络整体原理框架图；

图3为整个检测模型最终的原始图像和检测图像的效果对比图，其中，左图为原始图像，右图为检测图像。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

参照图1～图3，一种基于深度学习的浮游藻类微生物检测方法，所述方法包括以下步骤：

步骤1：对原始训练数据的预处理，将数据集整理为大量的无标注样本和有标注样本，在有标注样本中选择了硅藻、绿藻和蓝藻作为目标类别，数据集的格式符合coco格式要求；

所述步骤1中，数据集预处理，数据集划分步骤如下：

1.1、依次从原始训练集中取无标注样本和有标注样本；

1.2、在有标注样本中，选择了硅藻、绿藻和蓝藻的数据，对重复数据、有害数据进行数据清理；

1.3、将筛选后的有标注样本进行格式转换，由labelme转目标检测用coco格式数据集；

1.4、根据step 3中得到的训练用标准数据集进行3:7的测试、训练数据集划分，作为网络的输入；

步骤2：图像分类快速推理的混合神经网络结构的建立，使用该骨干网络来进行实现特征的提取；

所述的步骤2中，网络的搭建过程为：

Patch embedding的结构：一共由5层结构组成，其中前4层对应的结构组成为3*3的卷积层。第5层其结构由最大池化层+h-swish激活层，其中所有的卷积层的卷积核大小为3×3，卷积步长为2，填充为1，最大池化层同样的卷积核大小为3×3，卷积步长为2，填充为1；

Stage的结构：在每个stage中，堆叠一个DCNv3算子，经过LN操作后，加上输入时的残差。再通过一个自注意力模块和MLP模块，加上自注意模块输入时的残差；

激活层函数表达式：

ReLu激活函数：

其中x代表输入，f(x)代表输出。

h-swish激活函数：

其中x代表输入，f(x)代表输出。

步骤3：将步骤1得到的有标注数据集作为步骤2中的网络的输入；

步骤4：网络的训练：第一阶段，利用大量无标注样本进行了预训练。接下来进行第二阶段的微调，使用有标注的来自硅藻门、绿藻门和蓝藻门的数据集来完成藻类目标检测的下游任务。

本实施例的基于深度学习的浮游藻类微生物检测方法，所述方法包括以下步骤：

步骤1：对原始训练数据的预处理，将数据集整理为大量的无标注样本和有标注样本。在有标注样本中选择了硅藻、绿藻和蓝藻作为目标类别，将数据清洗后的有标注样本进行格式转换，由labelme转目标检测用coco格式数据集；

步骤2：建立图像分类快速推理的混合神经网络结构B，在Patch embedding后，总体网络深度为3层，每层堆叠的stage个数分别为1，1，2，每层stage中的采用的自注意头个数为3，5，6，Key的维度均为16，采用多尺度输出，最终输出3个尺度作为neck的输入，分别为128，256，384。Deformable Detr网络结构H；

步骤3：将根据3:7划分好后的训练数据集输入到骨干网络B，再将骨干网络B的输出作为输入，输入到网络结构H中。

步骤4：整体训练50个epoch，batch size采用8，采用Adam优化器，超参数为2e-4，动量为0.9。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (3)

1.一种基于深度学习的浮游藻类微生物检测方法，其特征在于，所述方法包括以下步骤：

步骤1：对原始训练数据的预处理，将数据集整理为大量的无标注样本和有标注样本，在有标注样本中，选择了硅藻、绿藻和蓝藻作为目标类别，数据集的格式符合COCO格式要求；

步骤2：图像分类快速推理的混合神经网络结构的建立，使用该骨干网络来进行实现特征的提取；

步骤3：将步骤1得到的有标注数据集作为步骤2中的网络的输入；

步骤4：网络的训练：第一阶段，利用大量无标注样本进行了预训练；接下来进行第二阶段的微调，使用有标注的来自硅藻门、绿藻门和蓝藻门的数据集来完成藻类目标检测的下游任务。

2.如权利要求1所述的一种基于深度学习的浮游藻类微生物检测方法，其特征在于，所述步骤1中，数据集划分步骤如下：

1.1、依次从原始训练集中取无标注样本和有标注样本；

1.2、在有标注样本中，选择了硅藻、绿藻和蓝藻的数据，对重复数据、有害数据进行数据清理；

1.3、将筛选后的有标注样本进行格式转换，由labelme转目标检测用COCO格式数据集；

1.4、根据step 3中得到的训练用标准数据集进行3:7的测试、训练数据集划分，作为网络的输入。

3.如权利要求1或2所述的一种基于深度学习的浮游藻类微生物检测方法，其特征在于，所述的步骤2中，网络的搭建过程为：

Patch embedding的结构：一共由5层结构组成，其中前4层对应的结构组成为3*3的卷积层，第5层其结构由最大池化层+h-swish激活层，其中所有的卷积层的卷积核大小为3×3，卷积步长为2，填充为1，最大池化层同样的卷积核大小为3×3，卷积步长为2，填充为1；

Stage的结构：在每个stage中，堆叠一个DCNv3算子，经过LN操作后，加上输入时的残差，再通过一个自注意力模块和MLP模块，加上自注意模块输入时的残差；

激活层函数表达式：

ReLu激活函数：

其中x代表输入，f(x)代表输出；

h-swish激活函数：

其中x代表输入，f(x)代表输出。