CN117132978B - 一种微生物图像识别系统及方法 - Google Patents
一种微生物图像识别系统及方法 Download PDFInfo
- Publication number
- CN117132978B CN117132978B CN202311402005.2A CN202311402005A CN117132978B CN 117132978 B CN117132978 B CN 117132978B CN 202311402005 A CN202311402005 A CN 202311402005A CN 117132978 B CN117132978 B CN 117132978B
- Authority
- CN
- China
- Prior art keywords
- microorganism
- image
- image recognition
- model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 244000005700 microbiome Species 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000813 microbial effect Effects 0.000 claims abstract description 61
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
Abstract
本发明公开了一种微生物图像识别系统及方法，方法包括图像采集、数据预处理、建立微生物图像识别模型、模型评估、微生物图像识别。本发明属于微生物图像识别技术领域，具体是指一种微生物图像识别系统及方法，本方案采用Vision Transformer模型，更好地捕捉图像中的全局信息和上下文关系；通过数据增强方法扩充微生物图像数据，增加数据的多样性和数量，从而提高模型的泛化能力和性能；利用Layerscale模块，在网络层数增加的条件下使得模型收敛，提高模型性能及识别的准确率。
Description
技术领域
本发明涉及微生物图像识别技术领域，具体是指一种微生物图像识别系统及方法。
背景技术
微生物图像识别在微生物鉴定、病原体检测、环境监测等领域具有重要意义，传统的卷积神经网络在全局信息和上下文关系的捕捉上存在一些局限性，限制其在处理图像中复杂关系和全局结构的能力的问题；
针对进行微生物图像识别的研究需要收集并处理大量的微生物图像数据，从而提取有用的特征，但受限于时间、成本、采集难度等因素，大规模的数据难以被采集的问题；
针对网络层数增加，存在模型不易收敛，导致模型性能下降，识别准确率下降的问题。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种微生物图像识别系统及方法，针对传统的卷积神经网络在全局信息和上下文关系的捕捉上存在一些局限性，限制其在处理图像中复杂关系和全局结构的能力的问题，本方案采用Vision Transformer模型，通过引入自注意力机制和Transformer结构，更好地捕捉图像中的全局信息和上下文关系；针对进行微生物图像识别的研究需要收集并处理大量的微生物图像数据，从而提取有用的特征，但受限于时间、成本、采集难度等因素，大规模的数据难以被采集的问题，本方案通过数据增强方法扩充微生物图像数据，增加数据的多样性和数量，从而提高模型的泛化能力和性能；针对网络层数增加，存在模型不易收敛，导致模型性能下降，识别准确率下降的问题，本方案利用Layerscale模块，在网络层数增加的条件下使得模型收敛，提高模型性能及识别的准确率。
本发明采取的技术方案如下：本发明提供的一种微生物图像识别方法，该方法包括以下步骤：
步骤S1：图像采集，利用显微镜采集微生物图像，制作微生物图像数据集，所述微生物图像数据集包括微生物图像和对应标签，标签为微生物类别；
步骤S2：数据预处理，进行微生物图像数据增强，生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分；
步骤S3：建立微生物图像识别模型，基于Vision Transformer建立微生物图像识别模型，通过设置微生物图像识别模型的超参数、优化器进行训练；
步骤S4：模型评估，利用测试集评估微生物图像识别模型，得到微生物图像识别模型B；
步骤S5：微生物图像识别，将实时采集的微生物图像输入微生物图像识别模型B，输出微生物图像的类别。
进一步地，在步骤S2中，数据预处理，具体包括以下步骤：
步骤S21：建立数据增强空间，构建两个数据增强空间，分别为像素增强空间和空间增强空间，定义像素增强空间为，/>中包括亮度、对比度、色调分离、锐度、高斯模糊、高斯噪声6种数据增强操作，定义空间增强空间为/>，/>中包括旋转、水平翻转、垂直翻转、缩放、水平平移、垂直平移、水平错切、垂直错切8种数据增强操作；
步骤S22：设计采样策略，将微生物图像数据集划分为N个批次，对每个批次的微生物图像随机采样M个数据增强操作，设置M={2,3}，设计一种新的采样策略，包括四种情况，分别为1+2，0+3，1+1和0+2，其中，1+2表示从随机选择1种数据增强操作，从/>中随机选择2种数据增强操作，其他情况与之类似，最终生成N支增强批次和1支原始微生物图像；
步骤S23：超参数映射，根据图像特点，设计每种数据增强操作的映射关系，以确定每种数据增强操作的最大幅度MA，通过超参数l控制数据增强操作的最大幅度MA和概率PA，函数F（l）根据超参数l返回一个奇数，所用公式如下所示：
；
式中，表示向上取整；
步骤S24：生成增强微生物图像数据集，对于每个批次的微生物图像，首先利用采样策略从数据增强空间中采样数据增强操作，然后对采样的数据增强操作进行随机排序，并按顺序执行这些操作，生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分。
进一步地，在步骤S3中，建立微生物图像识别模型，具体包括以下步骤：
步骤S31：将输入图像变换成二维小块，微生物图像识别模型的基本结构为
Transformer，包括输入图像、潜在嵌入空间、潜在向量、编码器，输入图像形状为，将输入图像变换为二维小块，/；
其中，为微生物图像的分辨率，为通道数，为每个图像块的分辨率，表
示实数域，N为输入序列的长度；
步骤S32：在二维小块中加入位置嵌入，通过可训练的线性投影，将二维小块线性
映射到潜在嵌入空间中，，在二维小块中加入位置嵌入对输入图像
的空间信息进行编码，其中，，所用公式如下所示：
=；
其中，为可学习的类嵌入；表示编码器的输
入；
步骤S33：二维小块通过多头自注意层MSA的输出，编码器由多头自注意层MSA和多
层感知机MLP组成，二维小块通过编码器中多头自注意层MSA后第1层输出为，所用公式如
下所示：
=+, 1...；
式中，是层规范化操作，为第l-1层的输出；
步骤S34：添加LayerScale模块，LayerScale模块由自注意层、前馈网络、可学习的
d维对角矩阵和层归一化操作组成，将可学习的d维对角矩阵添加到
多头自注意层MSA中，将多头自注意层MSA第1层的输出转换为向量，将作为输入向量
输入自注意层，通过层归一化操作后，得到输出向量 ，将输出向量作为前馈网络的输
入，经过层归一化操作后，得到最终输出向量，所用公式如下所示：
A；
；
式中，为层归一化算子，和是初始化的可学习权值，i的取值范围为1 ~ d，为对角矩阵，SA为自注意层，FFN为前馈网络；
步骤S35：多层感知机MLP的输出，将通过LayerScale模块的最终输出向量作
为多层感知机MLP的输入，得到编码后的图像表示，所用公式如下所示：
=；
在二维小块中存在一个可学习的嵌入，其在编码器输出端的状态表示为y，所用公式如下所示：
；
步骤S36：模型训练，根据具体情况设置微生物图像识别模型的批大小，迭代次数，学习率，模型优化器选择SGD。
进一步地，在步骤S4中，模型评估，具体包括以下步骤：
步骤S41：利用测试集来评估微生物图像识别模型的性能，当微生物图像识别模型在连续若干个迭代次数中，测试集误差不再下降时，停止训练，得到微生物图像识别模型B；
步骤S42：采用精度Precision、召回率Recall、准确率Accuracy和F1-score四个评价指标，所用公式如下所示：
；
；
；
；
式中，TP代表真正类，FP代表假正类，FN表示假负类，TN代表真负类。
进一步地，在步骤S5中，所述微生物图像识别具体是，将实时采集的微生物图像输入微生物图像识别模型B中，输出微生物图像的类别。
本发明提供的一种微生物图像识别系统，包括图像采集模块、数据预处理模块、建立微生物图像识别模型模块、模型评估模块、微生物图像识别模块；
所述图像采集模块利用显微镜采集微生物图像，制作微生物图像数据集，将微生物图像数据集发送至数据预处理模块；
所述数据预处理模块接收图像采集模块发送的微生物图像数据集，利用数据增强技术生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分，并将训练集发送至建立微生物图像识别模型模块，将测试集发送至模型评估模块；
所述建立微生物图像识别模型模块接收数据预处理模块发送的训练集，利用Vision Transformer训练微生物图像识别模型，并将微生物图像识别模型发送至模型评估模块；
所述模型评估模块接收建立微生物图像识别模型模块发送的微生物图像识别模型和数据预处理模块发送的测试集，利用测试集评估微生物图像识别模型的性能，得到微生物图像识别模型B，将微生物图像识别模型B发送至微生物图像识别模块；
所述微生物图像识别模块接收模型评估模块发送的微生物图像识别模型B，将实时采集的微生物图像输入到微生物图像识别模型B中，输出微生物图像的类别。
采用上述方案本发明取得的有益效果如下：
（1）针对传统的卷积神经网络在全局信息和上下文关系的捕捉上存在一些局限性，限制其在处理图像中复杂关系和全局结构的能力的问题，本方案采用VisionTransformer模型，通过引入自注意力机制和Transformer结构，更好地捕捉图像中的全局信息和上下文关系。
（2）针对进行微生物图像识别的研究需要收集并处理大量的微生物图像数据，从而提取有用的特征，但受限于时间、成本、采集难度等因素，大规模的数据难以被采集的问题，本方案通过数据增强方法扩充微生物图像数据，增加数据的多样性和数量，从而提高模型的泛化能力和性能。
（3）针对网络层数增加，存在模型不易收敛，导致模型性能下降，识别准确率下降的问题，本方案利用Layerscale模块，在网络层数增加的条件下使得模型收敛，提高模型性能及识别的准确率。
附图说明
图1为本发明提供的一种微生物图像识别方法的流程示意图；
图2为步骤S2的流程示意图；
图3为步骤S3的流程示意图；
图4为本发明提供的一种微生物图像识别系统的示意图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一，参阅图1，本发明提供的一种微生物图像识别方法，该方法包括以下步骤：
步骤S1：图像采集，利用显微镜采集微生物图像，制作微生物图像数据集，所述微生物图像数据集包括微生物图像和对应标签，标签为微生物类别；
步骤S2：数据预处理，进行微生物图像数据增强，生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分；
步骤S3：建立微生物图像识别模型，基于Vision Transformer建立微生物图像识别模型，通过设置微生物图像识别模型的超参数、优化器进行训练；
步骤S4：模型评估，利用测试集评估微生物图像识别模型，得到微生物图像识别模型B；
步骤S5：微生物图像识别，将实时采集的微生物图像输入微生物图像识别模型B，输出微生物图像的类别。
实施例二，参阅图2，该实施例基于上述实施例，在步骤S2中，数据预处理，具体包括以下步骤；
步骤S21：建立数据增强空间，构建两个数据增强空间，分别为像素增强空间和空间增强空间，定义像素增强空间为，/>中包括亮度、对比度、色调分离、锐度、高斯模糊、高斯噪声6种数据增强操作，定义空间增强空间为/>，/>中包括旋转、水平翻转、垂直翻转、缩放、水平平移、垂直平移、水平错切、垂直错切8种数据增强操作；
步骤S22：设计采样策略，将微生物图像数据集划分为N个批次，对每个批次的微生物图像随机采样M个数据增强操作，设置M={2,3}，设计一种新的采样策略，包括四种情况，分别为1+2，0+3，1+1和0+2，其中，1+2表示从随机选择1种数据增强操作，从/>中随机选择2种数据增强操作，其他情况与之类似，最终生成N支增强批次和1支原始微生物图像；
步骤S23：超参数映射，根据图像特点，设计每种数据增强操作的映射关系，以确定每种数据增强操作的最大幅度MA，通过超参数l控制数据增强操作的最大幅度MA和概率PA，函数F（l）根据超参数l返回一个奇数，所用公式如下所示：
；
式中，表示向上取整；
步骤S24：生成增强微生物图像数据集，对于每个批次的微生物图像，首先利用采样策略从数据增强空间中采样数据增强操作，然后对采样的数据增强操作进行随机排序，并按顺序执行这些操作，生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分。
通过执行上述操作，针对进行微生物图像识别的研究需要收集并处理大量的微生物图像数据，从而提取有用的特征，但受限于时间、成本、采集难度等因素，大规模的数据难以被采集的问题，本方案通过数据增强方法扩充微生物图像数据，增加数据的多样性和数量，从而提高模型的泛化能力和性能。
实施例三，参阅图3，该实施例基于上述实施例，在步骤S3中，建立微生物图像识别模型，具体包括以下步骤：
步骤S31：将输入图像变换成二维小块，微生物图像识别模型的基本结构为
Transformer，包括输入图像、潜在嵌入空间、潜在向量、编码器，输入图像形状为，将输入图像变换为二维小块，/；
其中，为微生物图像的分辨率，为通道数，为每个图像块的分辨率，表
示实数域，N为输入序列的长度；
步骤S32：在二维小块中加入位置嵌入，通过可训练的线性投影，将二维小块线性
映射到潜在嵌入空间中，，在二维小块中加入位置嵌入对输入图像
的空间信息进行编码，其中，，所用公式如下所示：
=；
其中，为可学习的类嵌入；表示编码器的输
入；
步骤S33：二维小块通过多头自注意层MSA的输出，编码器由多头自注意层MSA和多
层感知机MLP组成，二维小块通过编码器中多头自注意层MSA后第1层输出为，所用公式如
下所示：
=+, 1...；
式中，是层规范化操作，为第l-1层的输出；
步骤S34：添加LayerScale模块，LayerScale模块由自注意层、前馈网络、可学习的
d维对角矩阵和层归一化操作组成，将可学习的d维对角矩阵添加到
多头自注意层MSA中，将多头自注意层MSA第1层的输出转换为向量，将作为输入向量
输入自注意层，通过层归一化操作后，得到输出向量 ，将输出向量作为前馈网络的输
入，经过层归一化操作后，得到最终输出向量，所用公式如下所示：
A；
；
式中，为层归一化算子，和是初始化的可学习权值，i的取值范围为1 ~ d，为对角矩阵，SA为自注意层，FFN为前馈网络；
步骤S35：多层感知机MLP的输出，将通过LayerScale模块的最终输出向量作
为多层感知机MLP的输入，得到编码后的图像表示，所用公式如下所示：
=；
在二维小块中存在一个可学习的嵌入，其在编码器输出端的状态表示为y，所用公式如下所示：
；
步骤S36：模型训练，根据具体情况设置微生物图像识别模型的批大小，迭代次数，学习率，模型优化器选择SGD。
通过执行上述操作，针对传统的卷积神经网络在全局信息和上下文关系的捕捉上存在一些局限性，限制其在处理图像中复杂关系和全局结构的能力的问题，本方案采用Vision Transformer模型，通过引入自注意力机制和Transformer结构，更好地捕捉图像中的全局信息和上下文关系；针对网络层数增加，存在模型不易收敛，导致模型性能下降，识别准确率下降的问题，本方案利用Layerscale模块，在网络层数增加的条件下使得模型收敛，提高模型性能及识别的准确率。
实施例四，参阅图4，本发明提供的一种微生物图像识别系统，包括图像采集模块、数据预处理模块、建立微生物图像识别模型模块、模型评估模块、微生物图像识别模块；
所述图像采集模块利用显微镜采集微生物图像，制作微生物图像数据集，将微生物图像数据集发送至数据预处理模块；
所述数据预处理模块接收图像采集模块发送的微生物图像数据集，利用数据增强技术生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分，并将训练集发送至建立微生物图像识别模型模块，将测试集发送至模型评估模块；
所述建立微生物图像识别模型模块接收数据预处理模块发送的训练集，利用Vision Transformer训练微生物图像识别模型，并将微生物图像识别模型发送至模型评估模块；
所述模型评估模块接收建立微生物图像识别模型模块发送的微生物图像识别模型和数据预处理模块发送的测试集，利用测试集评估微生物图像识别模型的性能，得到微生物图像识别模型B，将微生物图像识别模型B发送至微生物图像识别模块；
所述微生物图像识别模块接收模型评估模块发送的微生物图像识别模型B，将实时采集的微生物图像输入到微生物图像识别模型B中，输出微生物图像的类别。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (2)
1.一种微生物图像识别方法，其特征在于：该方法包括以下步骤：
步骤S1：图像采集，利用显微镜采集微生物图像，制作微生物图像数据集，所述微生物图像数据集包括微生物图像和对应标签，标签为微生物类别；
步骤S2：数据预处理，进行微生物图像数据增强，生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分；
步骤S3：建立微生物图像识别模型，基于Vision Transformer建立微生物图像识别模型A，通过设置微生物图像识别模型A的超参数、优化器进行训练；
步骤S4：模型评估，利用测试集评估微生物图像识别模型A，得到微生物图像识别模型B；
步骤S5：微生物图像识别，将实时采集的微生物图像输入微生物图像识别模型B，输出微生物图像的类别；
在步骤S2中，所述数据预处理，包括以下步骤：
步骤S21：建立数据增强空间，构建两个数据增强空间，分别为像素增强空间和空间增强空间，定义像素增强空间为，/>中包括亮度、对比度、色调分离、锐度、高斯模糊、高斯噪声6种数据增强操作，定义空间增强空间为/>，/>中包括旋转、水平翻转、垂直翻转、缩放、水平平移、垂直平移、水平错切、垂直错切8种数据增强操作；
步骤S22：设计采样策略，将微生物图像数据集划分为G个批次，对每个批次的微生物图像随机采样M个数据增强操作，设置M={2,3}，设计一种新的采样策略，所述新的采样策略包括四种情况，分别为1+2，0+3，1+1和0+2，其中，1+2表示从随机选择1种数据增强操作，从中随机选择2种数据增强操作，其他情况与之类似，最终生成G支增强批次和1支原始微生物图像；
步骤S23：超参数映射，根据图像特点，设计每种数据增强操作的映射关系，以确定每种数据增强操作的最大幅度MA，通过超参数控制数据增强操作的最大幅度MA和概率PA，函数根据超参数/>返回一个奇数，所用公式如下所示：
；
式中，表示向上取整，/>表示任意整数；
步骤S24：生成增强微生物图像数据集，对于每个批次的微生物图像，首先利用采样策略从数据增强空间中采样数据增强操作，然后对采样的数据增强操作进行随机排序，并按随机排序的顺序执行采样的数据增强操作，生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分；
在步骤S3中，所述建立微生物图像识别模型，包括以下步骤：
步骤S31：将输入图像变换成二维小块，微生物图像识别模型的基本结构为Transformer，包括输入图像、潜在嵌入空间、潜在向量、编码器，输入图像形状为，，将输入图像变换为二维小块/>，//>；
式中，为微生物图像的分辨率，/>为通道数，/>为每个图像块的分辨率，/>表示实数域，N为输入序列的长度；
步骤S32：在二维小块中加入位置嵌入，通过可训练的线性投影，/>，将二维小块线性映射到潜在嵌入空间中，在二维小块中加入位置嵌入/>，/>，对输入图像的空间信息进行编码，所用公式如下所示：
；
式中，D表示潜在嵌入空间的维数，为可学习的类嵌入；/>表示编码器的输入；
步骤S33：二维小块通过多头自注意层MSA的输出，编码器由多头自注意层MSA和多层感知机MLP组成，二维小块通过编码器中多头自注意层MSA后第层输出为/>，所用公式如下所示：
；
式中，是层规范化操作，/>为第l-1层的输出，/>表示多头自注意层MSA的总层数；
步骤S34：添加LayerScale模块，LayerScale模块由自注意层、前馈网络、可学习的d维对角矩阵和层归一化操作组成，将可学习的d维对角矩阵/>添加到多头自注意层MSA中，将多头自注意层MSA第/>层的输出/>转换为向量，将/>作为输入向量输入自注意层，通过层归一化操作后，得到输出向量/> ，将输出向量/>作为前馈网络的输入，经过层归一化操作后，得到最终输出向量/>，所用公式如下所示：
；
；
式中，为层归一化算子，/>和/>是初始化的可学习权值，i的取值范围为1 ~ d，d表示对角矩阵的维度，/>为对角矩阵，SA为自注意层，FFN为前馈网络；
步骤S35：多层感知机MLP的输出，将通过LayerScale模块的最终输出向量作为多层感知机MLP的输入，得到编码后的图像表示/>，所用公式如下所示：
=/>；
在二维小块中存在一个可学习的嵌入，其在编码器输出端的状态表示为y，所用公式如下所示：
；
步骤S36：模型训练，根据具体情况设置微生物图像识别模型A的批大小，迭代次数，学习率，模型优化器选择SGD。
2.一种微生物图像识别系统，用于实现如权利要求1所述的一种微生物图像识别方法，其特征在于：包括图像采集模块、数据预处理模块、建立微生物图像识别模型模块、模型评估模块、微生物图像识别模块；
所述图像采集模块利用显微镜采集微生物图像，制作微生物图像数据集，将微生物图像数据集发送至数据预处理模块；
所述数据预处理模块接收图像采集模块发送的微生物图像数据集，利用数据增强技术生成增强微生物图像数据集，对增强微生物图像数据集进行训练集、测试集的划分，并将训练集发送至建立微生物图像识别模型模块，将测试集发送至模型评估模块；
所述建立微生物图像识别模型模块接收数据预处理模块发送的训练集，利用VisionTransformer训练微生物图像识别模型A，并将微生物图像识别模型A发送至模型评估模块；
所述模型评估模块接收建立微生物图像识别模型模块发送的微生物图像识别模型A和数据预处理模块发送的测试集，利用测试集评估微生物图像识别模型A的性能，得到微生物图像识别模型B，将微生物图像识别模型B发送至微生物图像识别模块；
所述微生物图像识别模块接收模型评估模块发送的微生物图像识别模型B，将实时采集的微生物图像输入到微生物图像识别模型B中，输出微生物图像的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311402005.2A CN117132978B (zh) | 2023-10-27 | 2023-10-27 | 一种微生物图像识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311402005.2A CN117132978B (zh) | 2023-10-27 | 2023-10-27 | 一种微生物图像识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132978A CN117132978A (zh) | 2023-11-28 |
| CN117132978B true CN117132978B (zh) | 2024-02-20 |
Family
ID=88858661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311402005.2A Active CN117132978B (zh) | 2023-10-27 | 2023-10-27 | 一种微生物图像识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132978B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326873A (zh) * | 2021-05-19 | 2021-08-31 | 云南电网有限责任公司电力科学研究院 | 一种基于数据增强的电力设备分合闸状态自动分类方法 |
| WO2021169366A1 (zh) * | 2020-02-25 | 2021-09-02 | 华为技术有限公司 | 数据增强方法和装置 |
| CN114693935A (zh) * | 2022-04-15 | 2022-07-01 | 湖南大学 | 一种基于自动数据增广的医学图像分割方法 |
| CN114723010A (zh) * | 2022-04-12 | 2022-07-08 | 重庆大学 | 一种异步事件数据的自动学习增强方法及系统 |
| WO2023273290A1 (zh) * | 2021-06-29 | 2023-01-05 | 山东建筑大学 | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 |
| CN116843955A (zh) * | 2023-06-09 | 2023-10-03 | 四川大学 | 一种基于计算机视觉的微生物分类识别方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021178909A1 (en) * | 2020-03-05 | 2021-09-10 | Waymo Llc | Learning point cloud augmentation policies |
-
2023
- 2023-10-27 CN CN202311402005.2A patent/CN117132978B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021169366A1 (zh) * | 2020-02-25 | 2021-09-02 | 华为技术有限公司 | 数据增强方法和装置 |
| CN113326873A (zh) * | 2021-05-19 | 2021-08-31 | 云南电网有限责任公司电力科学研究院 | 一种基于数据增强的电力设备分合闸状态自动分类方法 |
| WO2023273290A1 (zh) * | 2021-06-29 | 2023-01-05 | 山东建筑大学 | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 |
| CN114723010A (zh) * | 2022-04-12 | 2022-07-08 | 重庆大学 | 一种异步事件数据的自动学习增强方法及系统 |
| CN114693935A (zh) * | 2022-04-15 | 2022-07-01 | 湖南大学 | 一种基于自动数据增广的医学图像分割方法 |
| CN116843955A (zh) * | 2023-06-09 | 2023-10-03 | 四川大学 | 一种基于计算机视觉的微生物分类识别方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| An Image Is Worth 16X16 Words:Transformers For Image Recognition At Scale;Alexey Dosovitskiy et al;arxiv:2010.11929v2;第1-22页 * |
| Going deeper with Image Transformers;Hugo Touvron et al;arxiv:2103.17239v2;第1-30页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132978A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564025A (zh) | 一种基于可变形卷积神经网络的红外图像物体识别方法 | |
| CN109919204B (zh) | 一种面向噪声图像的深度学习聚类方法 | |
| CN110045015B (zh) | 一种基于深度学习的混凝土结构内部缺陷检测方法 | |
| CN109598704B (zh) | 一种基于bp神经网络的粪便显微图像清晰度评价方法 | |
| CN109443382A (zh) | 基于特征提取与降维神经网络的视觉slam闭环检测方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN107423747B (zh) | 一种基于深度卷积网络的显著性目标检测方法 | |
| CN107103308A (zh) | 一种基于由粗到细深度尺度学习的行人重识别方法 | |
| CN110570433A (zh) | 基于生成对抗网络的图像语义分割模型构建方法和装置 | |
| CN108108716A (zh) | 一种基于深度信念网络的回环检测方法 | |
| CN114399763B (zh) | 一种单样本与小样本微体古生物化石图像识别方法及系统 | |
| CN115393404A (zh) | 双光图像配准方法、装置及设备、存储介质 | |
| CN117132978B (zh) | 一种微生物图像识别系统及方法 | |
| CN107680037B (zh) | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 | |
| CN113435276A (zh) | 一种基于对抗残差网络的水声目标识别方法 | |
| CN114723998A (zh) | 基于大边界贝叶斯原型学习的小样本图像分类方法及装置 | |
| CN109993782B (zh) | 一种环形生成对抗网络的异源遥感图像配准方法及装置 | |
| CN110443755B (zh) | 一种基于高低频信号量的图像超分辨率的方法 | |
| CN112926619B (zh) | 一种高精度水下激光目标识别系统 | |
| CN117475091B (zh) | 高精度3d模型生成方法和系统 | |
| CN116758617B (zh) | 一种低光照度场景下的校园学生签到方法和校园签到系统 | |
| CN116912675B (zh) | 一种基于特征迁移的水下目标检测方法及系统 | |
| Yang et al. | A Object Detection Algorithm Incorporates Lightweight Network and Dual Attention Mechanism | |
| Lv et al. | Research on key technologies of digital multimedia passive forensics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |