CN115187982B - 藻类检测方法、装置及终端设备 - Google Patents

Abstract

本申请适用于目标检测和机器视觉技术领域，提供了藻类检测方法、装置及终端设备，该藻类检测方法包括：获取样本图片，对样本图片中的藻类进行标注；对标注后的样本图片进行划分得到数据集，对数据集中的图像进行预处理，得到预处理后的数据集；根据藻类检测要求与藻类特征，构建目标检测模型；对目标检测模型参数进行初始化，针对目标检测模型，设置训练流程与超参数；通过使用预处理后的数据集，对目标检测模型进行训练，根据每个训练周期的结果评估目标检测模型，调整训练超参数，更新目标检测模型；对目标检测模型进行参数压缩，基于参数压缩后的目标检测模型进行藻类检测。本申请操作过程简单方便，适用环境广泛，具有很高的使用价值。

Description

藻类检测方法、装置及终端设备

技术领域

本申请属于目标检测和机器视觉技术领域，尤其涉及藻类检测方法、装置及终端设备。

背景技术

藻类植物共计约有2100属，其中淡水中常见藻类大致分为：蓝藻门、裸藻门、金藻门、甲藻门、隐藻门、硅藻门、绿藻门、黄藻门。目前，藻类检测一般采用人工方法，专业技术人员需要多年的培养和实践才能胜任。人工方法的缺点在于步骤繁琐且耗时长，易出现误差，对操作人员的知识经验要求高。目前，市场上藻类识别的设备多是基于光谱法或传统图像识别算法，而且大多是大型仪器，无法应用于小型移动设备，也难以进行现场实时监控。

发明内容

为克服相关技术中存在的问题，本申请实施例提供了藻类检测方法、装置及终端设备。

本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种藻类检测方法，包括：获取样本图片，对所述样本图片中的藻类进行标注；对标注后的所述样本图片进行划分得到数据集，对所述数据集中的图像进行预处理，得到预处理后的数据集；根据藻类检测要求与藻类特征，构建目标检测模型；对所述目标检测模型参数进行初始化，针对所述目标检测模型，设置训练流程与超参数；通过使用所述预处理后的数据集，对所述目标检测模型进行训练，根据每个训练周期的结果评估所述目标检测模型，调整所述训练超参数，更新所述目标检测模型；对所述目标检测模型进行参数压缩，基于参数压缩后的目标检测模型进行藻类检测。

上述藻类检测方法，通过采用深度学习结合目标检测算法，能够提高藻类识别的准确率，加快模型运行速度，减少人工操作。本申请中目标检测模型虽然需要收集和标注大量数据，并且经过上千次训练，但在训练完成之后只要花费很短的时间便可以进行水生藻类识别和统计，操作过程简单方便，适用环境广泛，具有很高的使用价值。

第二方面，本申请实施例提供了一种藻类检测装置，包括：获取标注模块，用于获取样本图片，对所述样本图片中的藻类进行标注；划分模块，用于对所述样本图片进行划分得到数据集，对所述数据集中的图像进行预处理；构建模块，用于根据藻类检测要求与藻类特征，构建目标检测模型；初始化模块，用于对所述目标检测模型参数进行初始化，针对所述目标检测模型，设置训练流程与训练超参数；训练评估模块，用于通过使用所述数据集，对所述目标检测模型进行训练，根据每个训练周期的结果评估所述目标检测模型，调整所述训练超参数，更新所述目标检测模型；压缩模块，用于对所述目标检测模型进行参数压缩，基于参数压缩后的目标检测模型进行藻类检测。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的藻类检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的藻类检测方法。

可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的藻类检测方法的应用场景示意图；

图2是本申请一实施例提供的藻类检测方法的流程示意图；

图3是本申请一实施例提供的藻类检测方法中采集的部分样本图，其中图3中的3(a)、3(b)与3(c)分别为不同的藻类样本图像；

图4是本申请一实施例提供的藻类检测方法的目标检测模型结构示意图；

图5是本申请一实施例提供的藻类检测方法中骨干网络结构示意图；

图6是本申请一实施例提供的藻类检测方法中Focus模块的结构示意图；

图7是本申请一实施例提供的藻类检测方法中SiLU激活函数变化曲线示意图；

图8是本申请一实施例提供的藻类检测方法中脖颈网络结构；

图9是本申请一实施例提供的藻类检测方法中头部网络结构；

图10是本申请一实施例提供的藻类检测方法中各模块的内部结构图，其中图10中的10(a)是瀑布式空洞空间金字塔(WASP)的结构图，图10中的10(b)是跨阶段局部(CSP)模块的结构图，图10中的10(c)是空间金字塔池化(SPP)模块的结构图；

图11是本申请实施例提供的测试样本经过目标检测模型检测后的结果，其中图11中的11(a)、11(b)与11(c)分别为与图3(a)、3(b)与3(c)对应的经识别标记处理后的藻类样本图像；

图12是本申请实施例提供的藻类检测装置的结构示意图；

图13是本申请实施例提供的藻类检测装置的结构示意图；

图14是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

随着计算机硬件和深度学习领域的发展，人工智能逐渐得到了人们的重视，也在人们生活中发挥着越来越重要的作用。深度学习源于神经网络的发展，其概念由Hinton等人于2006年提出，其目的是为了模拟人脑进行分析和解释数据。人们希望通过深度学习找到一个深层次的神经网络模型，这个模型可以用于表示给定样本之中的数据分布，这些应用包括机器视觉、自然语言处理、生成模型等。目标检测模型是一个深度神经网络，属于机器视觉领域。

藻类植物共计约有2100属，其中淡水中常见藻类大致分为：蓝藻门、裸藻门、金藻门、甲藻门、隐藻门、硅藻门、绿藻门、黄藻门。目前，藻类识别和统计一般采用人工方法，专业技术人员需要多年的培养和实践才能胜任。人工方法的缺点在于步骤繁琐且耗时长，易出现误差，对操作人员的知识经验要求高。而目标检测模型可以很好地解决这个问题，它不会因为疲劳而导致错误率增加或效率降低，速度稳定且不需要操作人员具备相关知识。目前，市场上藻类识别的设备多是基于光谱法或传统图像识别算法，而且大多是大型仪器，无法应用于小型移动设备，也难以进行现场实时监控。

基于上述问题，本申请提供了一种藻类检测方法。本申请实施例中的藻类检测方法，获取样本图片，对样本图片中的藻类进行标注；对标注后的样本图片进行划分得到数据集，对数据集中的图像进行预处理，得到预处理后的数据集；根据藻类检测要求与藻类特征，构建目标检测模型；对目标检测模型参数进行初始化，针对目标检测模型，设置训练流程与超参数；通过使用预处理后的数据集，对目标检测模型进行训练，根据每个训练周期的结果评估目标检测模型，调整训练超参数，更新目标检测模型；对目标检测模型进行参数压缩。

举例说明，本申请实施例可以应用到如图1所示的示例性场景中。在该场景中包括显微镜10、电子目镜20与终端设备30。电子目镜20用于拍摄通过显微镜10观测得到的藻类样本，并将藻类样本传入终端设备30保存。终端设备30对藻类样本进行标注，通过藻类样本构建并训练藻类检测模型，通过藻类检测模型识别得到识别后的藻类图像。

例如，终端设备30对藻类样本进行标注、预处理，得到数据集；根据藻类检测要求与藻类特征，构建藻类检测模型；使用数据集对藻类检测模型进行训练，得到精度更高的藻类检测模型。

本实施例中，终端设备30可以为计算机、手机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)等终端，本申请实施例对终端设备的具体类型不作任何限制。

以下结合图1对本申请的藻类检测方法进行详细说明。

图2是本申请一实施例提供的藻类检测方法的示意性流程图，参照图2，对该藻类检测方法的详述如下：

在步骤101中，获取样本图片，对样本图片中的藻类进行标注。

示例性的，对样本图片中的藻类进行标注，包括：对样本图片中的所有藻类进行分类，得到藻类的分类信息；通过使用标定框，框选出藻类的所在区域，得到藻类的标定位置信息；其中，分类信息和标定位置信息为当前样本图片的标签。

具体的，采集大量样本图片并进行标注，大部分样本图片使用倒置显微镜进行拍摄，也有部分样本使用体视显微镜拍摄。其中，倒置显微镜搭配1200万像素电子目镜以及无限远平场物镜，体视显微镜搭配500万像素电子目镜以及185有限远场消色差物镜。

参见图3，每个样本中至少存在2种以上且不少于5个藻类，样本图片的原始分辨率为2048×1536像素。数据标注使用makesense.ai网站中提供的标注工具，采用手工标注的方法，将藻类所处位置通过矩形框框选出来，同时附上类别信息。标注数据被保存为txt文本文件，文件每一行中记录了一个藻类目标的所属类别索引、中心位置的横纵坐标、长度和宽度。

在步骤102中，对标注后的样本图片进行划分得到数据集，对数据集中的图像进行预处理，得到预处理后的数据集。

示例性的，对样本图片中的藻类进行标注，包括：对样本图片中的所有藻类进行分类，得到藻类的分类信息；通过使用标定框，框选出藻类的所在区域，得到藻类的标定位置信息；其中，分类信息和标定位置信息为当前样本图片的标签。

对样本图片进行划分得到数据集，包括：将样本图片与标签对应，集合得到数据集。

具体的，将全部样本图片及其对应的标注进行编号，删除模糊的、杂质较多的图片，然后按照70％训练集、20％验证集和10％测试集的比例对剩余样本图片进行划分。由于样本图片有限，且采集和标注样本的过程繁琐，因此对数据集中的样本图片进行预处理可以间接地增加了数据集中样本的数量和多样性，易于帮助模型理解藻类的各种特征，提高了模型的泛化能力和鲁棒性。本申请实施例采用的数据增强算法包括仿射变换、基于HSV色彩空间的数据增强、MixUp和Mosaic等算法。仿射变换中包括对原图平移、缩放、裁剪、旋转和镜像等操作，也可以是多个操作的组合。基于HSV色彩空间表示的图片由色调H、饱和度S和明度V三个部分组成。由于HSV更接近于人们对色彩的感知，故在HSV色彩空间进行数据增强需要设定三个系数分别作用于HSV值，这样做相当于增加了光照变化，模拟了不同光照条件下藻类的变化，增加了模型的泛化性，其用公式表示为：

h′＝(h×γ)％180，γ∈[0.985，1.015)

s′＝min(max((s×β)，0)，255)，β∈[0.3，1.7)

v′＝min(max((v×a)，0)，255)，α∈[0.6，1.4)

其中，α、β、γ表示三个系数，h、s、v表示原始图片的色调、饱和度和明度，h’、s’、v’表示数据增强后的色调、饱和度和明度。

在一些实施例中，样本图片的预处理过程中加入颜色恒常性算法。由于样本采集的环境和设备存在差异，导致使用复消色差物镜和无限远平场光路系统采集的图片与使用185物镜和有限远光路系统采集的图片相比，色彩和清晰度都存在差异，因此通过加入自动白平衡算法(ACE)消除图片色差并使用SwinIR对图像进行超分辨率以提高清晰度，还加入了混合数据增强(MixUp)算法提高数据质量。

ACE算法能够调节图像对比度，实现颜色恒常性和亮度恒常性，考虑了颜色和亮度的空间位置关系。该算法进行局部特性的自适应滤波，实现具备局部和非线性特征的图像亮度与色彩调整和对比度调整。SwinIR基于Swin Transformer，分为浅层特征提取、深层特征提取和高清重建三个模块，经过训练后可用于超分辨率并带有很强的抗噪性。此外，加入MixUp算法，先将两张样本图片在alpha通道上进行混合，然后再进行mosaic数据增强，使AP值提高了0.6，略微提高了数据质量。

MixUp算法使用训练数据中随机抽取的两个样本，按给定比例值进行混合，构建虚拟样本，从而简介提升了训练样本数量，用公式表示为：

η＝f_beta(α，β)

f(x_i)＝ηx_i+(1-η)x_j，i∈N，j∈N，i≠j

其中f(x_i)表示对数据集中第i个样本x_i做MixUp数据增强，η表示混合系数，是由贝塔分布f_beta计算出来的，默认值为0.5，x_j是数据集中的第j个样本，α和β都是人工指定的。

Mosaic算法从训练样本中随机抽取4个或9个样本图片，对它们及其对应标注进行仿射变换后拼接到一张图片上，这样大大丰富了图片的背景，间接地提升了批量大小。Mosaic结合MixUp算法使模型的平均精度提升了0.6左右，并且提升了模型的鲁棒性和泛化性。总而言之，图像增强算法的流程为：HSV色彩增强，图像缩放至640×640像素，混合数据增强，Mosaic数据增强，仿射变换。

在步骤103中，根据藻类检测要求与藻类特征，构建目标检测模型。

示例性的，目标检测模型包括骨干网络、脖颈网络与头部网络：

其中，骨干网络用于特征提取，根据数据集，得到从低到高三个不同层次的特征图；脖颈网络用于多尺度特征融合，采用特征金字塔网络结合像素聚合网络结构，其中特征金字塔结构用于自顶向下传达强语义特征，像素聚合结构用于自底而下传递强定位信息；头部网络用于识别及定位，将特征图进行解耦，预测藻类所在的位置及其所属的类别。

具体的，参见图4，目标检测模型的系统结构如图4所示。目标检测模型由用于特征提取的骨干网络、用于多尺度特征融合的脖颈网络和用于识别及定位的头部网络三个部分组成。其中骨干网络是CSPDarknet结构，会输出从低到高三个不同层次的特征图。脖颈网络采用特征金字塔网络(FPN)结合像素聚合网络(PAN)结构，其中特征金字塔结构可以中自顶向下传达强语义特征，而像素聚合结构可以自底而下传递强定位信息。由于顶层特征携带有更强的语义信息和全局信息，而底层特征携带更强的局部细节信息和定位信息，故二者结合就可以把底层特征和顶层特征结合起来，提高检测性能和不同尺度目标识别的准确性。头部网络是解耦头结构，包括分类分支、回归框分支和前景检测分支，用于将传入的特征图进行解耦，并预测目标所在的位置及其所属的类别。其中，骨干网络的结构如图5所示，脖颈网络的结构如图8所示，头部网络的结构如图9所示。

在一些实施例中，骨干网络是一个深度卷积网络，用于提取样本图片的底层细节特征，由Focus、带残差的CSP模块、SPP模块和卷积块组成。参见图6，Focus的网络结构如图6所示，样本图片经过Focus模块后，相当于做了一个下采样操作，只是参数量和计算量减少，运算速度更快。卷积块是由一个二维卷积层、一个批量正则化层和SiLU激活函数组成的，其中SiLU激活函数是在Sigmoid的基础上乘上了输入自身得到的，其函数变化曲线如图7所示，用公式表示为：

SPP模块由三个核大小分别是5、9、11的最大池化层和两个卷积块组成，其结构如图10中的(c)所示，作用是让多尺度感受野的特征进行融合。

在一些实施例中，参见图8，图8示出了脖颈网络的结构示意图。脖颈网络是由特征金字塔网络(FPN)和像素聚合网络(PAN)组成的，且骨干网络的特征交换过程中用到了瀑布式空洞空间金字塔(WASP)结构。特征金字塔网络是一个自顶而下的结构，融合了骨干网络中三个不同尺度的特征。由于底层的特征语义信息比较少，但是目标位置准确，而高层的特征语义信息比较丰富，但是目标位置比较粗略，所以使用FPN融合了这些不同尺度的特征信息，将高层的强语义特征传达到底层。PAN则相反，它是一个自底而上的结构，作用是将底层的定位特征传递到顶层。这种结构使脖颈网络对不同尺度的特征进行了融合，提高了模型对于不同尺寸目标的识别精度。参见图10，WASP结构如图10中的(a)所示，它加强了对不同尺度特征的融合，增加了感受野并缩小了规模，结果输出的特征表示更加丰富且运算速度更快。

在一些实施例中，参见图9，头部网络的结构如图9所示，分为三个分支，每个分支都是一个解耦头，用于处理一种尺度的特征。解耦头对输入特征进行解耦，分别用于判断类别、判断目标框是前景还是背景以及对目标框的位置进行预测。解耦头将分类和回归框位置问题分开考虑，提高了预测模块的表达能力，从而获得了1.0左右的平均精度提升。解耦头可以提升识别的精度，加快模型收敛速度，但是会增加额外参数和运算复杂度。

在一些实施例中，加入多尺度特征融合结构处理脖颈网络中和骨干网络之间的特征传输，并且重新训练网络。这个融合结构是瀑布式空洞空间池化(WASP)模块，其中使用了空洞卷积层替代了传统卷积层，从而扩大感受野，并且结合空洞空间金字塔池化结构(ASPP)和级联结构以更有效地捕获多尺度特征，更加注重物体之间的相关性，提高了效率和准确性，且不需要引入额外参数。WASP包括四个空洞卷积分支和一个平均池化分支，其空洞卷积分支的空洞率率分别为(1,2,4,8)，平均池化分支由一个适应性平均池化层、Conv-BN-ReLU卷积块和上采样层组成。

在步骤104中，对目标检测模型参数进行初始化，针对目标检测模型，设置训练流程与超参数。

示例性的，对目标检测模型参数进行初始化，针对目标检测模型，设置训练流程与超参数，包括：通过迁移学习，将经过预训练的参数替换目标检测模型的部分参数；设置超参数，为超参数赋予初始值；定义优化函数与损失函数，设置目标检测模型中用于更新的参数；确定锚点的设置方式与筛选策略。

具体的，参数初始化通过迁移学习的方法，将使用COCO数据集进行预训练的模型参数迁移到本模型中，作为目标检测模型中部分参数的初始参数值。接着，设置数据增强算法、目标检测模型、数据加载、训练过程和评价过程中会用到的超参数，其中包括批量大小N＝16、学习率ε＝0.00125、类别数c＝54、图像大小s＝640×640、权重衰减系数δ＝0.0005，训练周期数E＝400，热身周期WE＝15，动量M＝0.9，混合精度级别AL＝O1等超参数，它们的初始值是根据经验和任务要求赋予的。接着，定义优化函数和损失函数，并且规定模型中的可以被更新的参数。其中使用了带牛顿动量的随机梯度下降算法作为优化函数，使用距离交并比损失函数计算预测框和真实框之间的位置差异，使用二元交叉熵损失函数计算分类损失，使用Focal Loss计算前景背景损失。

采用无锚点(Anchor-Free)的方式设置锚框。由于基于锚点的方法依赖超参数的设计，对于锚框的比例、大小和数量都需要手动设定，而且在特征图上设置这些锚点效率很低，所以使用无锚点设计，在不同尺度的特征图上设定共8400个锚框，其中400个锚框大小是32×32，1600个锚框大小是16×16，6400个锚框大小是8×8。此外，无锚点方式减少了锚框数量，降低了输出结果的参数量，有效避免正负样本不均衡的问题。

对设置好的锚框，采用初步筛选和精细化筛选这两种策略来挑选正样本。挑选正样本的具体做法是：首先使用初步筛选方法将所有中心点在标定框的锚框，这些锚框暂时标位正样本锚框；由于这些正样本锚框与模型预测结果中的特征向量一一对应，故将这些特征向量中的候选检测框位置、前景背景目标分数和类别分数提取出来；计算候选检测框和标定框之间的回归损失和分类损失；根据回归损失和分类损失计算cost成本函数；最后使用简化后的最优传输分配算法求近似最优解，自动分析每个标定框要拥有多少个正样本。

此外，目标检测模型中加入了指数移动平均方法对模型的参数计算均值，以增加模型的鲁棒性；加入了O1级别的自动混合精度以减少显存消耗、提升训练速度并且缓解误差问题；对学习率采取预热优化方法，按周期(epoch)逐步增加学习率，稳定训练，提升收敛效果；加入终止数据增强策略，在训练的最后20个周期内关闭数据增强方法，让模型直接学习原始样本的数据分布，减少噪声和数据变形带来的影响，提升识别准确率。

在步骤105中，通过使用预处理后的数据集，对目标检测模型进行训练，根据每个训练周期的结果评估目标检测模型，调整训练超参数，更新目标检测模型。

示例性的，通过使用预处理后的数据集，对目标检测模型进行训练，根据每个训练周期的结果评估目标检测模型，调整训练超参数，更新目标检测模型包括：向目标检测模型输入预处理后的数据集，得到预处理后的数据集中样本的预测结果，通过计算二元交叉熵损失和距离交并比损失，得到预测结果与真实结果之间的差距，根据差距通过反向传播算法更新模型参数；对预测结果进行评估，通过基于贝叶斯优化的自动调参方法，得到更新后的超参数。

具体的，模型的训练方法是：从数据集中获得小批量的训练样本及其对应标签；通过骨干网络提取样本不同层次的特征；使用脖颈网络将底层定位特征和顶层语义特征进行融合；将融合后的特征传入头部网络进行解耦，预测不同层次特征图上分类信息、预测框位置信息和前背景信息；将这些信息连接在一起得到最终预测结果；根据损失函数计算预测结果和真实标签之间的差距，其中使用DIoU损失函数计算的边界框回归损失，使用焦点损失计算前景背景损失，并根据二元交叉熵损失函数计算分类损失；然后采用带动量的随机梯度下降优化函数以反向传播的方式更新模型参数。

评估目标检测模型的性能和质量主要依赖平均精度均值(mAP)、召回率(Recall)、准确率(Precision)、运行效率以及覆盖率等指标，用公式表示为：

其中，T_p是正样本被预测为正样本的数量，F_p是正样本被预测为负样本的数量，AP是平均精度(Average Precision)，

是以Recall值为横轴，Precision值为纵轴，得到的PR曲线。而平均精度均值(mAP)的计算方法是在PR曲线上取11个点(在召回率坐标轴上每隔0.1取一个值)，直接平均11个值的准确率的和。

运行效率是记录每个周期运行时间和AP值变化过程的参数，可以用于预测训练在哪个周期得到最佳结果，以节省训练时间。覆盖率是用于计算标定框和预测框之间重合程度的，每个标定框与其对应的分类正确且置信分数最高的预测框计算重叠面积与标定框面积之间的比值作为重叠程度，如果某个标定框没有被任一预测框成功预测，则重叠程度度为0，将重叠程度累加再除以标定框数量就得到了覆盖率，主要用于判断是否每个标定框都能够被正确的预测出来。

每次训练结束后，通过训练日志中记录的评估指标可以找到此次训练中最优的一组模型参数，但通常不会是理论上最好的模型。因此，本发明通过多次调整超参数并重新训练模型，可以找到一组相对最优的模型参数。本发明中超参数的更新方法是：评估模型的输出结果，并使用基于贝叶斯优化算法(Bayesian Optimization)的自动调参方法来调整超参数的值。经过多次训练和调整，预测结果AP值最差和最优之间差距为0.4。

模型的超参数调整使用了基于贝叶斯优化的自动调参方法来调整超参数值。通常情况下有两种类型的参数调试方法，网格搜索和随机搜索。网格搜索速度慢但是适用于需要随整个参数空间进行搜索的情况；随机搜索速度很快但是容易遗漏一些重要信息。但贝叶斯优化方法采用高斯过程，可以大量并行优化且无需计算梯度，所以优化过程简单高效。

在一些实施例中，使用数据集训练目标检测模型包括：向模型批量地输入样本，然后由模型给出预测结果，通过计算二元交叉熵损失和距离交并比(DIoU)损失，得到模型预测结果和真实结果之间的差距，并使用反向传播算法更新模型参数。其步骤如下：

(1)从数据集中获得N个样本X＝{x¹，x²，......，x^N}和其一一对应的标签Y＝{y¹，y²，......，y^N)；

(2)将样本传入骨干网络B，提取出不同层次的特征，表示为一个元组M＝(m₁，m₂，m₃)，其中m是不同层次的特征，这个过程用公式表示如下：

M＝B(X)

(3)将样本传入脖颈网络N，将底层特征和顶层特征进行融合，表示为一个元组Q＝(q₁，q₂，q₃)，用公式表示如下：

Q＝N(M)

(4)将融合后的特征传入头部网络H进行解耦，预测不同层次特征图上分类信息α、预测框位置信息β和前背景信息γ，用公式表示如下：

α₁，β₁，γ_l＝H₁(q₁)

α₂，β₂，γ₂＝H₂(q₂)

α₃，β₃，γ₃＝H₃(q₃)

(5)将结果连接在一起得到最终输出，输出是一个二维矩阵，第一维表示所有检测框的数量为[(s÷25)2+(s÷24)2+(s÷23)2]个，第二维表示每个检测框的预测信息向量，有cls+1+4维。

(6)根据输出和标签计算损失L。这个损失来自三个部分：使用DIoU损失函数计算的边界框回归损失L_box，使用焦点损失计算前景背景损失L_obj，并根据二元交叉熵损失函数计算分类损失L_cls，用公式表示如下：

其中，y为二元标签0或1，N为一个批量的样本数量，p(x_i)为第i个样本x_i输出的预测值，ln为取自然对数计算，A为预测框，A^gt为真实框，a和a^gt为预测框和真实框的中心点，ρ为欧氏距离，c为能够同时包括A和A^gt的最小矩形的对角线距离，λ为三个损失在总损失计算中所占权重，p_t为样本属于正样本的概率，γ为聚焦参数，(1-p_i)^γ为调制系数。

(7)使用带动量的随机梯度下降优化函数以反向传播的方式更新模型参数，加入动量是为了加速训练并且解决局部最小值和鞍点的问题，用公式表示如下：

/>

W_t+1＝W_t-εV_t

其中，W为网络的权重矩阵，x_i是样本，l为优化的目标，即找到一个最好权重能够使总损失最小；

为梯度，β为动量因子，V为动量，t为当前时刻，ε为上文提到的学习率。

在一些实施例中，使用基于贝叶斯优化的自动调参方法来调整超参数值包括：采用高斯过程，大量并行优化且无需计算梯度，通过给定一个广义的黑盒优化函数，就能以增加样本的方式估测这个函数的后验分布，所以优化过程简单高效。它以模型超参数为输入，然后将模型损失返还给优化函数，由其决定更新那些超参数的值。用公式表示为：

其中，+表示括号内为正值或0，f(x)为优化函数，x_i为采样点。高斯过程中假设优化函数符合正态分布，因此：

x^*＝arg max E[P_n(x)]

其中，x^*为更新后的超参数值，μ为x点处的均值，σ为方差，e为自然对数，E为数学期望。

在步骤106中，对目标检测模型进行参数压缩，基于参数压缩后的目标检测模型进行藻类检测。

模型压缩主要是对模型的参数量进行削减，同时尽可能保证模型识别精度不会下降太多。本发明中使用的模型压缩方法是为了让模型能够更方便地应用于小型移动设备。其中用到了参数裁剪和精度转换方法，削减冗余参数并且使用半精度浮点数表示模型内部参数从而压缩模型体积。

在一些实施例中，模型压缩方法包括：采用模型裁剪、精度压缩和权重共享相结合。首先，通过参数裁剪将模型内部接近于0的权重裁减掉，将这些参数置为0；然后，对相邻卷积层的权重进行聚类，然后用每个类的均值来替换这一类的权值，这样模型的部分权重就可以实现共享；最后将模型内部参数精度由32位浮点数转为16位浮点数表示，这个操作可以将模型大小缩小50％。模型经过压缩后，存储体积下降53％，参数量下降了9％，模型精度AP值下降了7.6。

参见图11，图11示出了采集的测试样本图3(a)、3(b)与3(c)，经过基于参数压缩后的目标检测模型进行藻类检测后的结果图11(a)、11(b)与11(c)。

上述藻类检测方法，提供一种识别精度高且便于统计分析的高性能藻类识别方法。通过采用深度学习结合目标检测算法，能够提高藻类识别的准确率，加快模型运行速度，减少人工操作。本申请实施例中目标检测模型虽然需要收集和标注大量数据，并且经过上千次训练，但在训练完成之后只要花费很短的时间便可以进行水生藻类识别和统计，操作过程简单方便，适用环境广泛，具有很高的使用价值。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的藻类检测方法，图12示出了本申请实施例提供的藻类检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参见图12，本申请实施例中的藻类检测装置可以包括：获取标注模块201、划分模块202、构建模块203、初始化模块204、训练评估模块205与压缩模块206。

其中，获取标注模块201，用于获取样本图片，对样本图片中的藻类进行标注；

划分模块202，用于对样本图片进行划分得到数据集，对数据集中的图像进行预处理；

构建模块203，用于根据藻类检测要求与藻类特征，构建目标检测模型；

初始化模块204，用于对目标检测模型参数进行初始化，针对目标检测模型，设置训练流程与训练超参数；

训练评估模块205，用于通过使用数据集，对目标检测模型进行训练，根据每个训练周期的结果评估目标检测模型，调整训练超参数，更新目标检测模型；

压缩模块206，用于对目标检测模型进行参数压缩，基于参数压缩后的目标检测模型进行藻类检测。

在一些实施例中，获取标注模块201具体可以用于：对所述样本图片中的所有藻类进行分类，得到藻类的分类信息；

通过使用标定框，框选出所述藻类的所在区域，得到所述藻类的标定位置信息；

其中，所述分类信息和标定位置信息为当前所述样本图片的标签。

在一些实施例中，划分模块202具体可以用于：将所述样本图片与所述标签对应，集合得到所述数据集。

在一些实施例中，参见图13，基于图12所示的实施例，上述构建模块203可以包括骨干网络单元2031、脖颈网络单元2032与头部网络单元2033。

示例性的，骨干网络单元2031具体用于：特征提取，根据所述数据集，得到从低到高三个不同层次的特征图；

脖颈网络单元2032具体用于：多尺度特征融合，采用特征金字塔网络结合像素聚合网络结构，其中所述特征金字塔结构用于自顶向下传达强语义特征，所述像素聚合结构用于自底而下传递强定位信息；

头部网络单元2033具体用于：识别及定位，将所述特征图进行解耦，预测藻类所在的位置及其所属的类别。

在一些实施例中，初始化模块204具体可以用于：通过迁移学习，将经过预训练的参数替换所述目标检测模型的部分参数；设置所述超参数，为所述超参数赋予初始值；定义优化函数与损失函数，设置所述目标检测模型中用于更新的参数；确定锚点的设置方式与筛选策略。

在一些实施例中，训练评估模块205具体可以用于：向所述目标检测模型输入所述预处理后的数据集，得到所述预处理后的数据集中样本的预测结果，通过计算二元交叉熵损失和距离交并比损失，得到所述预测结果与真实结果之间的差距，根据所述差距通过反向传播算法更新模型参数；

对所述预测结果进行评估，通过基于贝叶斯优化的自动调参方法，得到更新后的超参数。

在一些实施例中，压缩模块206具体可以用于：通过参数裁剪，将所述目标检测模型内部接近于0的权重置为0；

对相邻卷积层的权重进行聚类，得到多个类，对于所述多个类中的任一类，使用该类的均值替换该类的权重；

将所述目标检测模型内部参数精度由32位浮点数转为16位浮点数表示。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种终端设备，参见图14，该终端设备300可以包括：至少一个处理器310、存储器320以及存储在所述存储器320中并可在所述至少一个处理器310上运行的计算机程序，所述处理器310执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图2所示实施例中的步骤101至步骤104。或者，处理器310执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图12所示模块201至204的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备300中的执行过程。

本领域技术人员可以理解，图14仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。

处理器310可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器320可以是终端设备的内部存储单元。所述存储器320用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例提供的藻类检测方法可以应用于计算机、可穿戴设备、车载设备、平板电脑、笔记本电脑、手机等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述藻类检测方法各个实施例中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种藻类检测方法，其特征在于，包括：

获取样本图片，对所述样本图片中的藻类进行标注；

对标注后的所述样本图片进行划分得到数据集，对所述数据集中的图像进行预处理，得到预处理后的数据集；

根据藻类检测要求与藻类特征，构建目标检测模型；

对所述目标检测模型参数进行初始化，针对所述目标检测模型，设置训练流程与超参数；

通过使用所述预处理后的数据集，对所述目标检测模型进行训练，根据每个训练周期的结果评估所述目标检测模型，调整所述训练超参数，更新所述目标检测模型；

对所述目标检测模型进行参数压缩，基于参数压缩后的目标检测模型进行藻类检测；

所述目标检测模型包括骨干网络、脖颈网络与头部网络：

其中，所述骨干网络用于特征提取，根据所述数据集，得到从低到高三个不同层次的特征图；

所述脖颈网络用于多尺度特征融合，采用特征金字塔网络结合像素聚合网络结构，其中所述特征金字塔结构用于自顶向下传达强语义特征，所述像素聚合结构用于自底而上传递强定位信息；

所述头部网络用于识别及定位，将所述特征图进行解耦，预测藻类所在的位置及其所属的类别；

所述骨干网络由Focus、带残差的CSP模块、SPP模块和卷积块组成；

所述骨干网络与脖颈网络之间为多尺度特征融合结构，其中所述多尺度特征融合结构为瀑布式空洞空间池化WASP模块；具体是，将所述骨干网络提取的三个特征图中低层的两个特征图输入到WASP模块，再传输到所述脖颈网络中。

2.如权利要求1所述的藻类检测方法，其特征在于，所述对所述样本图片中的藻类进行标注，包括：

对所述样本图片中的所有藻类进行分类，得到藻类的分类信息；

通过使用标定框，框选出所述藻类的所在区域，得到所述藻类的标定位置信息；

其中，所述分类信息和标定位置信息为当前所述样本图片的标签。

3.如权利要求2所述的藻类检测方法，其特征在于，所述对所述样本图片进行划分得到数据集，包括：

将所述样本图片与所述标签对应，集合得到所述数据集。

4.如权利要求1所述的藻类检测方法，其特征在于，所述对所述目标检测模型参数进行初始化，针对所述目标检测模型，设置训练流程与超参数，包括：

通过迁移学习，将经过预训练的参数替换所述目标检测模型的部分参数；

设置所述超参数，为所述超参数赋予初始值；

定义优化函数与损失函数，设置所述目标检测模型中用于更新的参数；

确定锚点的设置方式与筛选策略。

5.如权利要求1所述的藻类检测方法，其特征在于，所述通过使用所述预处理后的数据集，对所述目标检测模型进行训练，根据每个训练周期的结果评估所述目标检测模型，调整所述训练超参数，更新所述目标检测模型，包括：

向所述目标检测模型输入所述预处理后的数据集，得到所述预处理后的数据集中样本的预测结果，通过计算二元交叉熵损失和距离交并比损失，得到所述预测结果与真实结果之间的差距，根据所述差距通过反向传播算法更新模型参数；

对所述预测结果进行评估，通过基于贝叶斯优化的自动调参方法，得到更新后的超参数。

6.如权利要求1所述的藻类检测方法，其特征在于，所述对所述目标检测模型进行参数压缩，包括：

通过参数裁剪，将所述目标检测模型内部接近于0的权重置为0；

对相邻卷积层的权重进行聚类，得到多个类，对于所述多个类中的任一类，使用该类的均值替换该类的权重；

将所述目标检测模型内部参数精度由32位浮点数转为16位浮点数表示。

7.一种藻类检测装置，其特征在于，包括：

获取标注模块，用于获取样本图片，对所述样本图片中的藻类进行标注；

划分模块，用于对所述样本图片进行划分得到数据集，对所述数据集中的图像进行预处理；

构建模块，用于根据藻类检测要求与藻类特征，构建目标检测模型；

初始化模块，用于对所述目标检测模型参数进行初始化，针对所述目标检测模型，设置训练流程与训练超参数；

训练评估模块，用于通过使用所述数据集，对所述目标检测模型进行训练，根据每个训练周期的结果评估所述目标检测模型，调整所述训练超参数，更新所述目标检测模型；

压缩模块，用于对所述目标检测模型进行参数压缩，基于参数压缩后的目标检测模型进行藻类检测；

所述构建模块包括骨干网络单元、脖颈网络单元与头部网络单元：

其中，所述骨干网络单元，用于特征提取，根据所述数据集，得到从低到高三个不同层次的特征图；

所述脖颈网络单元，用于多尺度特征融合，采用特征金字塔网络结合像素聚合网络结构，其中所述特征金字塔结构用于自顶向下传达强语义特征，所述像素聚合结构用于自底而上传递强定位信息；

所述头部网络单元，用于识别及定位，将所述特征图进行解耦，预测藻类所在的位置及其所属的类别；

所述骨干网络单元由Focus、带残差的CSP模块、SPP模块和卷积块组成；

所述骨干网络单元与脖颈网络单元之间为多尺度特征融合结构，其中所述多尺度特征融合结构为瀑布式空洞空间池化WASP模块；具体是，将所述骨干网络提取的三个特征图中低层的两个特征图输入到WASP模块，再传输到所述脖颈网络中。

8.一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器调用并执行所述计算机程序时实现如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。

Images