CN116229435A - 一种基于多尺度特征融合的溺死硅藻检测方法 - Google Patents

一种基于多尺度特征融合的溺死硅藻检测方法 Download PDF

Info

Publication number
CN116229435A
CN116229435A CN202310233518.9A CN202310233518A CN116229435A CN 116229435 A CN116229435 A CN 116229435A CN 202310233518 A CN202310233518 A CN 202310233518A CN 116229435 A CN116229435 A CN 116229435A
Authority
CN
China
Prior art keywords
diatom
image
detection model
optimized
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310233518.9A
Other languages
English (en)
Inventor
邓杰航
杨剑发
赵建
韦浩民
顾国生
康晓东
刘超
石河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202310233518.9A priority Critical patent/CN116229435A/zh
Publication of CN116229435A publication Critical patent/CN116229435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多尺度特征融合的溺死硅藻检测方法，该方法包括：获取硅藻图像；对硅藻检测模型进行优化；将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。本发明可以识别大量硅藻图像，并且检测精确高的特点，能够克服硅藻图像中存在多种尺度硅藻目标且各种尺度硅藻目标数量不均的问题。

Description

一种基于多尺度特征融合的溺死硅藻检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于多尺度特征融合的溺死硅藻检测方法。
背景技术
硅藻是最早出现在地球上的一种单细胞藻类浮游植物，由于硅藻广泛的生活在我们周围的土壤、空气、水域当中，与人们的生活息息相关，因此硅藻识别在生产生活中有很多方面的需求：(1)硅藻识别用于水质监测。硅藻对于水体温度、营养盐浓度等变化十分敏感，对于水中硅藻的识别能够通过硅藻的数量来监控水质，保护我们的生活环境；(2)硅藻识别用于法医学检验。在法医学检验中，硅藻的识别结果是法医判断水中尸体是溺死还是死后抛尸入水以及尸体死亡地点的重要辅助指标之一。
常见的硅藻检测方法可分为传统实验室检查方法、传统机器学习方法以及深度神经网络方法。传统实验室检查方法通常是基于形态学观察方法，这些方法要求操作人员有相关的知识储备且需经过培训才能进行实验，对实验环境与实验仪器也有一定的要求，不利于法医学溺水诊断的快速进行。随着图像处理技术与计算机视觉的快速发展，越来越多的学者开始应用机器学习方法对硅藻图像进行分类与识别。在基于机器学习的硅藻检测任务中，主要的思路是提取硅藻的形态学特征，如形状和纹理，作为分类器的输入，借助SVM和决策树等分类器的分类能力，以准确地预测硅藻的种类。但是这些方法使用的硅藻图像背景简单、硅藻种类缺乏多样性，从而导致检测方法的泛化能力较差。近年来，深度神经网络在图像分类、定位、语义分割等视觉任务中取得的卓越成果吸引了越来越多的学者把深度神经网络应用到硅藻检测任务。不少研究者基于深度神经网络对硅藻图像检测进行了不同方面的研究，但这些方法都需要大量的图像样本进行训练以获取高精度的识别结果。
发明内容
本发明的目的是提供一种基于多尺度特征融合的溺死硅藻检测方法，该方法可以识别大量硅藻图像，并且检测精确高的特点，能够克服硅藻图像中存在多种尺度硅藻目标且各种尺度硅藻目标数量不均的问题。
一种基于多尺度特征融合的溺死硅藻检测方法，包括：
获取硅藻图像；
对硅藻检测模型进行优化；
将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。
对硅藻检测模型络进行优化包括：
采用多尺度训练模式对硅藻检测模型络进行训练；
采用多头自注意力机制训练硅藻检测模型；
替换硅藻检测模型的激活函数。
采用多尺度训练模式对硅藻检测模型络进行训练包括：
使用多尺度训练模式，多次迭代原始硅藻图像，将一张原始硅藻图像变换成多个不同尺度的硅藻图像。
采用多头自注意力机制训练硅藻检测模型，具体为：
多头自注意力机制设置“多个头部”使硅藻检测模型提取硅藻图像中不同位置、不同表征子空间的特征信息；
采用多头自注意力机制对不同尺度的硅藻图像进行特征提取。
替换硅藻检测模型的激活函数包括：
将Mish函数作为硅藻检测模型的主干函数；
Mish函数表示为Mish(x)＝x·Tanh(ln(1+ex))。
将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类包括：
将硅藻图像输入优化后的硅藻检测模型；
优化后的硅藻检测模型对硅藻图像进行特征提取获取硅藻图像特征信息；
优化后的硅藻检测模型根据硅藻图像特征信息判断硅藻图像的种类；
优化后的硅藻检测模型输出硅藻图像种类结果。
优化后的硅藻检测模型对硅藻图像进行特征提取获取硅藻图像特征信息之后，还包括将硅藻图像特征信息进行特征融合获取融合的硅藻图像特征信息，具体为：
使用1×1的卷积核对多个的硅藻图像特征信息进行特征融合得到融合的硅藻图像特征信息。
将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类之后，还包括采用在线难例挖掘算法训练优化后的硅藻检测模型，具体为：
采用在线难例挖掘算法将因为图像背景干扰导致识别错误的硅藻图像样例筛选出来；
将识别错误的硅藻图像样例反向传播到硅藻检测中重新训练并更新硅藻检测模型。
获取硅藻图像之后，还包括对硅藻图像进行处理，具体为：
将硅藻图像转化为VCC格式；
对获取的硅藻图像进行标注；
将硅藻图像划分为训练集和测试集。
一种基于多尺度特征融合的溺死硅藻检测系统，包括：
图像获取模块，用于获取硅藻图像；
第一数据处理模块，用于对硅藻检测模型进行优化；
第二数据处理模块，用于将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。
本发明采用多尺度训练模式，使得同一硅藻图像样本种的同一硅藻目标在训练过程中具有多种尺度的特征表达。采用多头自注意力机制，提取特征图中的全局特征信息，并优化多头自注意力机制的“头数”。替换主干网络的激活函数，选择更有利于硅藻模型训练的激活函数。设计多尺度特征提取与融合模块，丰富最终特征图的特征信息表达。在预测器中在线难例挖掘算法缓解复杂背景的干扰问题。本方法效率高，可以识别大量硅藻图像，并且检测精确高的特点，能够克服硅藻图像中存在多种尺度硅藻目标且各种尺度硅藻目标数量不均的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，标示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明的基于多尺度特征提取融合的硅藻检测算法结构图；
图3为本发明的原始Faster R-CNN算法图；
图4为本发明的基于多尺度特征融合的硅藻检测算法图；
图5为本发明的硅藻数据集中各藻类示例图；
图6为本发明的多头自注意力机制示意图；
图7为本发明的ReLU激活函数曲线图；
图8为本发明的Mish激活函数及其导函数曲线图；
图9为本发明的多尺度特征提取与融合模块图.
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一种该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例1
一种基于多尺度特征融合的溺死硅藻检测方法，包括：
S100,获取硅藻图像；
S200,对硅藻检测模型进行优化；
S300,将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。
本发明通过获取硅藻图像；对硅藻检测模型进行优化；将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。可以识别大量硅藻图像，并且检测精确高的特点，能够克服硅藻图像中存在多种尺度硅藻目标且各种尺度硅藻目标数量不均的问题。
S200对硅藻检测模型络进行优化包括：
S201,采用多尺度训练模式对硅藻检测模型络进行训练；
S202,采用多头自注意力机制训练硅藻检测模型；
S203,替换硅藻检测模型的激活函数。
S201采用多尺度训练模式对硅藻检测模型络进行训练包括：
使用多尺度训练模式，多次迭代原始硅藻图像，将一张原始硅藻图像变换成多个不同尺度的硅藻图像。
硅藻图像中有多种尺度的硅藻目标，不同尺度的硅藻目标的数量不均衡，因此使用多尺度的训练模型，均衡多种尺度的硅藻目标数量。转变尺寸如表1所示。
表1多尺度训练模式下的尺寸变化
Figure BDA0004121207270000041
多尺度训练模式下，经过多次迭代，一张图像就会变换成多种尺度，通过对不同尺度的图像进行特征提取，在一定程度上提高了硅藻检测模型对硅藻目标大小的鲁棒性。
S202采用多头自注意力机制训练硅藻检测模型，具体为：
多头自注意力机制设置“多个头部”使硅藻检测模型提取硅藻图像中不同位置、不同表征子空间的特征信息；
采用多头自注意力机制对不同尺度的硅藻图像进行特征提取。
自注意力机制允许神经网络在进行预测时通过加权来关注特定的显著信息片段。多头自注意力机制并行应用多个自注意力机制，每个自注意力“头”潜在地聚焦于输入特征图的不同部分，实现不同于简单加权平均的复杂函数，如图6所示。
有研究者发现，使用多个头部训练模型，但大多数注意力头部都可以在训练后单独移除，在测试性能方面没有任何显著下降。而我们考虑既然测试时候可以剪枝头部，那么是否针对硅藻数据集的检测模型中的多头自注意力层存在一个更好的头部数量会使得模型性能有较大的提升。类似于CNN在每一卷积层使用多个卷积核提取不同的结构特征，多头自注意力机制通过设置“多个头部”允许模型共同关注特征图中不同位置、不同表征子空间的特征信息。
S203替换硅藻检测模型的激活函数包括：
将Mish函数作为硅藻检测模型的主干函数；
Mish函数表示为Mish(x)＝x·Tanh(ln(1+ex))。
激活函数是神经网络中不可缺少的一部分，为神经网络提供非线性建模能力。然而，不同的激活函数在神经网络中的表现各有优缺点，选择合适的激活函数对模型性能会有较大的提升。
目前，最成功和最广泛使用的激活函数是ReLU函数，其定义式见式(1)，其函数曲线如图7所示。使用ReLU的深度网络比使用Sigmoid或Tanh函数的网络更容易优化，因为当ReLU函数的输入为正时，梯度能够流动；输入为负时，有单侧抑制，使得网络稀疏，缓解过拟合。由于ReLU函数简单有效，其已成为深度神经网络中默认使用的激活函数。ReLU函数的单侧抑制虽然有缓解过拟合的作用，但是没有任何负值也导致了神经元死亡现象。同时ReLU函数不是连续可微的，可称为“有硬零边界”的激活函数。
Figure BDA0004121207270000051
Mish函数是自正则化的非单调激活函数，，函数曲线及导函数曲线如图8所示。从函数曲线中可以看出，Mish函数在正半区具有无上界和非饱和特性，这避免了因饱和而导致梯度消失或梯度爆炸问题。在负半轴区域，Mish函数有下界并且保留了小部分负值，可以防止像ReLU函数那样出现神经元死亡的问题，同时可以产生更强的正则化效果。此外，Mish函数及其导函数曲线都是连续可微的，每个点都是平滑的，有利于神经网络中信息的流动。
S300将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类包括：
S301,将硅藻图像输入优化后的硅藻检测模型；
S302,优化后的硅藻检测模型对硅藻图像进行特征提取获取硅藻图像特征信息；
S303,优化后的硅藻检测模型根据硅藻图像特征信息判断硅藻图像的种类；
S304,优化后的硅藻检测模型输出硅藻图像种类结果。
S302优化后的硅藻检测模型对硅藻图像进行特征提取获取硅藻图像特征信息之后，还包括S3021将硅藻图像特征进行特征融合获取融合的硅藻图像特征信息，具体为：
使用1×1的卷积核对多个的硅藻图像特征信息进行特征融合得到融合的硅藻图像特征信息。
多尺度训练模式通过增加图像在模型中不同尺度的输入情况，使得硅藻目标具有多种尺度的特征表达，提高检测模型的鲁棒性。为了进一步提取硅藻图像的多尺度特征信息，我们设计了多尺度特征提取与融合模块。
多尺度特征提取与融合模块结合了特征金字塔网络(FPN)及空间金字塔池化结构(SPP)对硅藻图像提取多尺度的特征信息，并使用1×1的卷积核对提取的多通道特征图进行特征融合，如图9所示。首先使用特征金字塔网络对硅藻图像提取多尺度的特征，并将邻近的特征图进行特征融合，强化了多尺度的特征表达。然后对特征金字塔网络生成的每个特征图输入空间金字塔池化结构中，提取其全局和局部的特征信息。最后融合特征信息并输出。
S300将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类之后，还包括S400采用在线难例挖掘算法训练优化后的硅藻检测模型，具体为：
采用在线难例挖掘算法将因为图像背景干扰导致识别错误的硅藻图像样例筛选出来；
将识别错误的硅藻图像样例反向传播到硅藻检测中重新训练并更新硅藻检测模型。
由于硅藻图像是由扫描电子显微镜拍摄的高清图像，硅藻纹理细节清晰，但也造成背景干扰的问题。当硅藻目标受复杂背景干扰或者被遮挡，会导致硅藻目标漏检或误检的发生。易漏检和易误检的目标被称为困难样例.为了提高困难样例的识别率，我们在预测器中采用在线难例挖掘算法。该算法的核心思想是挖掘出在前向传播阶段分类有误的样例，然后将这些样例反向传播到网络中重新训练并更新网络模型，最终降低了硅藻样本的漏检率和误检率，提升网络模型的性能。
S100获取硅藻图像之后，还包括S110对硅藻图像进行处理，具体为：
将硅藻图像转化为VCC格式；
对获取的硅藻图像进行标注；
将硅藻图像划分为训练集和测试集。
按照PASCAL VOC数据集的标准使用LabelImage工具对八种硅藻图像进行了标注，得到硅藻数据集，并将其按照6:4的比例划分为训练集和测试集，具体划分情况如下表2所示。
表2硅藻数据集中训练集和测试集的划分
Figure BDA0004121207270000061
数据集中各种藻类图片如图5。
参照PASCAL VOC2007数据格式制作硅藻数据集，主要将硅藻数据保存到Annotations、ImageSets、JPEGImages三个文件夹，其中Annotations用于存放每张图像的标记信息，存储格式为xml文件，ImageSets中存放训练集、测试集的图像名称，存储格式为txt文件，JPEGImages中存放所有的图像。
VOC格式数据集制作完成之后，将数据集根据训练集:测试集＝6:4的比例进行划分，然后写入到相应的txt文件中。
Figure BDA0004121207270000071
/>
表3多算法对比测试结果
为了验证基于多尺度特征融合的硅藻检测算法的性能，我们在自建硅藻数据集上进行实验。以SSD、Faster-RCNN、YOLOv3/4/5算法作为参照，以单个类别的平均精准率AP，整个数据集的平均精准率均值mAP来衡量算法性能。从表3的多种算法对比结果中可以看到基于多尺度特征融合的硅藻检测算法的平均准确率优于其他算法，与原始的Faster R-CNN算法相比有很大的提升。
从实验结果可以看出我们提出的基于多尺度特征融合的硅藻检测算法对于除了小环藻以外其他藻类的平均精准率AP是最高的，在八种硅藻中获得了最优的检测效果，而mAP指标也是最优的。表明了基于多尺度特征融合的硅藻检测算法具有最优的硅藻检测综合性能。
另外针对测试集中图片的测试结果进行分析可以得到，基于多尺度特征融合的硅藻检测算法能够有效的提升对于多尺度目标的检测能力。如图3、4所示。其中黑色实线框表示预测正确的边界框，白色虚线框表示预测错误的边界框，预测信息在图像外标注。
由于有些不同种类的硅藻目标存在轮廓相似性，如图3中第一幅图像中原始的Faster R-CNN算法把舟形藻误检为桥弯藻，第二幅图像中把菱形藻误检为针杆藻。此外由于复杂背景的干扰，Faster R-CNN算法也出现了把一些背景杂质误检测为硅藻目标，其中图3中第三幅图像中杂质被误检为直链藻，第四幅图像中杂质被误检为针杆藻。而我们的基于多尺度特征融合的硅藻检测算法实现正确的检测。
实施例2
一种基于多尺度特征融合的溺死硅藻检测系统，包括：
图像获取模块，用于获取硅藻图像；
第一数据处理模块，用于对硅藻检测模型进行优化；
第二数据处理模块，用于将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。
本发明采用多尺度训练模式，使得同一硅藻图像样本种的同一硅藻目标在训练过程中具有多种尺度的特征表达。采用多头自注意力机制，提取特征图中的全局特征信息，并优化多头自注意力机制的“头数”。替换主干网络的激活函数，选择更有利于硅藻模型训练的激活函数。设计多尺度特征提取与融合模块，丰富最终特征图的特征信息表达。在预测器中在线难例挖掘算法缓解复杂背景的干扰问题。本方法效率高，可以识别大量硅藻图像，并且检测精确高的特点，能够克服硅藻图像中存在多种尺度硅藻目标且各种尺度硅藻目标数量不均的问题。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，包括：
获取硅藻图像；
对硅藻检测模型进行优化；
将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。
2.根据权利要求1所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述对硅藻检测模型络进行优化包括：
采用多尺度训练模式对硅藻检测模型络进行训练；
采用多头自注意力机制训练硅藻检测模型；
替换硅藻检测模型的激活函数。
3.根据权利要求2所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述采用多尺度训练模式对硅藻检测模型络进行训练包括：
使用多尺度训练模式，多次迭代原始硅藻图像，将一张原始硅藻图像变换成多个不同尺度的硅藻图像。
4.根据权利要求2所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述采用多头自注意力机制训练硅藻检测模型，具体为：
多头自注意力机制设置“多个头部”使硅藻检测模型提取硅藻图像中不同位置、不同表征子空间的特征信息；
采用多头自注意力机制对不同尺度的硅藻图像进行特征提取。
5.根据权利要求2所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述替换硅藻检测模型的激活函数包括：
将Mish函数作为硅藻检测模型的主干函数；
Mish函数表示为Mish(x)＝x·Tanh(ln(1+ex))。
6.根据权利要求1所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类包括：
将硅藻图像输入优化后的硅藻检测模型；
优化后的硅藻检测模型对硅藻图像进行特征提取获取硅藻图像特征信息；
优化后的硅藻检测模型根据硅藻图像特征信息判断硅藻图像的种类；
优化后的硅藻检测模型输出硅藻图像种类结果。
7.根据权利要求6所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述优化后的硅藻检测模型对硅藻图像进行特征提取获取硅藻图像特征信息之后，还包括将硅藻图像特征信息进行特征融合获取融合的硅藻图像特征信息，具体为：
使用1×1的卷积核对多个的硅藻图像特征信息进行特征融合得到融合的硅藻图像特征信息。
8.根据权利要求1所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类之后，还包括采用在线难例挖掘算法训练优化后的硅藻检测模型，具体为：
采用在线难例挖掘算法将因为图像背景干扰导致识别错误的硅藻图像样例筛选出来；
将识别错误的硅藻图像样例反向传播到硅藻检测中重新训练并更新硅藻检测模型。
9.根据权利要求1所述的一种基于多尺度特征融合的溺死硅藻检测方法，其特征在于，所述获取硅藻图像之后，还包括对硅藻图像进行处理，具体为：
将硅藻图像转化为VCC格式；
对获取的硅藻图像进行标注；
将硅藻图像划分为训练集和测试集。
10.一种基于多尺度特征融合的溺死硅藻检测系统，其特征在于，包括：
图像获取模块，用于获取硅藻图像；
第一数据处理模块，用于对硅藻检测模型进行优化；
第二数据处理模块，用于将硅藻图像输入优化后的硅藻检测模型，硅藻检测模型输出硅藻图像的种类。
CN202310233518.9A 2023-03-13 2023-03-13 一种基于多尺度特征融合的溺死硅藻检测方法 Pending CN116229435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310233518.9A CN116229435A (zh) 2023-03-13 2023-03-13 一种基于多尺度特征融合的溺死硅藻检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310233518.9A CN116229435A (zh) 2023-03-13 2023-03-13 一种基于多尺度特征融合的溺死硅藻检测方法

Publications (1)

Publication Number Publication Date
CN116229435A true CN116229435A (zh) 2023-06-06

Family

ID=86580407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310233518.9A Pending CN116229435A (zh) 2023-03-13 2023-03-13 一种基于多尺度特征融合的溺死硅藻检测方法

Country Status (1)

Country Link
CN (1) CN116229435A (zh)

Similar Documents

Publication Publication Date Title
Lin et al. Deep learning-based segmentation and quantification of cucumber powdery mildew using convolutional neural network
Xu et al. A deep convolutional neural network for classification of red blood cells in sickle cell anemia
CA2948499C (en) System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
Ning et al. Toward automatic phenotyping of developing embryos from videos
Kromp et al. Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation
CN114846507A (zh) 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
AlZubaidi et al. Computer aided diagnosis in digital pathology application: Review and perspective approach in lung cancer classification
CN109740686A (zh) 一种基于区域池化和特征融合的深度学习图像多标记分类方法
Marée The need for careful data collection for pattern recognition in digital pathology
Codella et al. Lymphoma diagnosis in histopathology using a multi-stage visual learning approach
US11804029B2 (en) Hierarchical constraint (HC)-based method and system for classifying fine-grained graptolite images
US20230027723A1 (en) Stain-free detection of embryo polarization using deep learning
Baykal et al. Modern convolutional object detectors for nuclei detection on pleural effusion cytology images
CN111886630A (zh) 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析
Zhu et al. A deep learning-based method for automatic assessment of stomatal index in wheat microscopic images of leaf epidermis
CN103268494B (zh) 基于稀疏表示的寄生虫虫卵识别方法
Brixtel et al. Whole slide image quality in digital pathology: review and perspectives
Orlov et al. Computer vision for microscopy applications
CN112703531A (zh) 生成组织图像的注释数据
CN116977844A (zh) 一种轻量级水下目标实时检测方法
CN111861916A (zh) 病理图片的处理方法
Peng et al. Fully convolutional neural networks for tissue histopathology image classification and segmentation
CN116229435A (zh) 一种基于多尺度特征融合的溺死硅藻检测方法
Toda et al. Learning from synthetic dataset for crop seed instance segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination