CN113723256A - 一种花粉颗粒识别方法及装置 - Google Patents
一种花粉颗粒识别方法及装置 Download PDFInfo
- Publication number
- CN113723256A CN113723256A CN202110974097.6A CN202110974097A CN113723256A CN 113723256 A CN113723256 A CN 113723256A CN 202110974097 A CN202110974097 A CN 202110974097A CN 113723256 A CN113723256 A CN 113723256A
- Authority
- CN
- China
- Prior art keywords
- image
- pollen
- model
- attention mechanism
- channel attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000007246 mechanism Effects 0.000 claims abstract description 150
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 19
- 238000011176 pooling Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 239000012535 impurity Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000012952 Resampling Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004043 dyeing Methods 0.000 description 4
- 239000008187 granular material Substances 0.000 description 4
- 241000218691 Cupressaceae Species 0.000 description 3
- 241000218641 Pinaceae Species 0.000 description 3
- 235000011613 Pinus brutia Nutrition 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 241000219317 Amaranthaceae Species 0.000 description 1
- 235000003826 Artemisia Nutrition 0.000 description 1
- 235000003261 Artemisia vulgaris Nutrition 0.000 description 1
- 229910052582 BN Inorganic materials 0.000 description 1
- PZNSFCLAULLKQX-UHFFFAOYSA-N Boron nitride Chemical compound N#B PZNSFCLAULLKQX-UHFFFAOYSA-N 0.000 description 1
- 241000218231 Moraceae Species 0.000 description 1
- 241000209504 Poaceae Species 0.000 description 1
- 241000219000 Populus Species 0.000 description 1
- 241000124033 Salix Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 244000030166 artemisia Species 0.000 description 1
- 235000009052 artemisia Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005849 recognition of pollen Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种花粉颗粒识别方法及装置，其中方法包括：获取待识别花粉颗粒的图像；将所述待识别花粉颗粒的图像输入至图像识别模型，输出所述待识别花粉颗粒的识别结果；其中，所述图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。本发明实施例通过将CBAM通道注意力机制模型和DANet通道注意力机制模型相结合，保留了更多的花粉颗粒特征，提高了花粉颗粒图像的分类准确率。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种花粉颗粒识别方法及装置。
背景技术
一方面，大部分的花粉图像分类是由花粉分析专家来完成的，他们用光学显微镜识别捕捉到的图像，通过分析颜色、形状、纹理等特征差异对花粉颗粒进行分类。这种方法不仅会浪费大量的人力，还有可能因为某些细微差异导致专家对其分类错误。
另一方面，通常利用深度学习对花粉图像进行分类，但利用深度学习对花粉图像进行分类的方法中，使用的花粉颗粒图像大都精心挑选，花粉颗粒都清晰可见，没有杂质掩盖，图像数量均匀。然而现实中收集的花粉花粉存在一定的缺点：如花粉颗粒被杂质(如尘土、石子等)掩盖，染色时由于染色试剂量过多或过少导致花粉染色程度不一，花粉颗粒图像收集不均匀。由于花粉颗粒图像存在染色不均匀、花粉颗粒不完整，被杂质掩盖等问题，现有技术中的识别方法无法准确识别，易出现错误，分类准确率低。
发明内容
本发明提供一种花粉颗粒识别方法及装置，用以解决现有技术中花粉颗粒识别准确率低的缺陷，实现了提高花粉颗粒图像的识别准确率。
第一方面，本发明提供一种花粉颗粒识别方法，包括：获取待识别花粉颗粒的图像；将待识别花粉颗粒的图像输入至图像识别模型，输出待识别花粉颗粒的识别结果；其中，图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；识别标签是根据花粉颗粒样本预先确定的，并与样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
可选的，将待识别花粉颗粒的图像输入至图像识别模型，输出待识别花粉颗粒的识别结果，具体包括：将待识别花粉颗粒图像输入至图像识别模型中的特征提取网络，输出待识别花粉颗粒图像的第一特征图；将第一特征图输入至图像识别模型中的CBAM通道注意力机制模型进行处理，输出第二特征图；将第二特征图输入至图像识别模型中的DANet通道注意力机制模型进行处理，输出第三特征图；将第三特征图输入至图像识别模型中的全连接层进行分类，输出待识别花粉颗粒的识别结果。
可选的，图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的，具体包括：选取花粉颗粒图像进行标签处理并基于标签处理后的花粉颗粒图像构建数据集；基于双通道注意力机制构建图像识别模型；利用数据集对图像识别模型进行训练。
可选的，基于双通道注意力机制构建图像识别模型，具体包括：构建特征提取网络；构建CBAM的通道注意力机制模型；构建DANet通道注意力机制模型；将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接。
可选的，将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接，具体包括：获取所述特征提取网络输出的第一输入特征图F1；获取所述CBAM的通道注意力机制模型输出的过程特征图F′1；将所述第一输入特征图F1与所述过程特征图F′1相加得到第二输入特征图F2；将所述第二输入特征图F2输入至所述DANet通道注意力机制模型。
可选的，基于标签处理后的花粉颗粒图像构建数据集，具体包括：对标签处理后的花粉颗粒图像进行数据增强；将数据增强后的花粉颗粒图像作为数据集。
第二方面，本发明还提供一种花粉颗粒识别装置，包括获取模块和识别模块。获取模块，用于获取待识别花粉颗粒的图像；识别模块，用于将待识别花粉颗粒的图像输入至图像识别模型，输出待识别花粉颗粒的识别结果；其中，图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；识别标签是根据花粉颗粒样本预先确定的，并与样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述花粉颗粒识别方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述花粉颗粒识别的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述花粉颗粒识别方法的步骤。
本发明提供的一种花粉颗粒识别方法及装置，通过将CBAM通道注意力机制模型和DANet通道注意力机制模型相结合，保留了更多的花粉颗粒特征，提高了花粉颗粒图像的识别准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的花粉颗粒识别方法的流程示意图之一；
图2是本发明实施例提供的图像识别模型训练的流程示意图；
图3是本发明实施例提供的构建数据集的流程示意图；
图4是本发明实施例提供的基于双通道注意力机制构建图像识别模型的流程示意图；
图5是本发明实施例提供的CBAM的通道注意力机制模型结构示意图之一；
图6是本发明实施例提供的DANet的通道注意力机制计算模块示意图；
图7是本发明实施例提供的将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接的流程示意图之一；
图8是本发明实施例提供的将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接的流程示意图之二；
图9是本发明实施例提供的花粉颗粒识别方法中的图像识别模型的应用流程示意图；
图10是本发明实施例提供的花粉颗粒识别方法的流程示意图之二；
图11是本发明实施例提供的CBAM的通道注意力机制模型结构示意图之二；
图12是本发明实施例提供的花粉颗粒识别装置的结构示意图；
图13是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图11描述本发明提供的花粉颗粒识别方法。
参考图1，图1是本发明实施例提供的花粉颗粒识别方法的流程示意图之一。本发明实施例提供一种花粉颗粒识别方法，包括：
步骤110，获取待识别花粉颗粒的图像；
步骤120，将待识别花粉颗粒的图像输入至图像识别模型，输出待识别花粉颗粒的识别结果；
其中，图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；识别标签是根据花粉颗粒样本预先确定的，并与样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
需要说明的是，本发明实施例提供的花粉颗粒识别方法适用于对各类花粉颗粒的类别进行识别，包括但不限于柏科，白蜡属，禾本科，菊科蒿属，藜科，柳属，桑科，松科，杨科等，本发明实施例对花粉颗粒的种类不作限制。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
步骤110，获取待识别花粉颗粒的图像。
具体的，可以通过光学显微镜、电子显微镜、相机等图像采集设备获取待识别花粉颗粒的图像，本实施例对图像获取方式不作限制。
步骤120，将待识别花粉颗粒的图像输入至图像识别模型，输出待识别花粉颗粒的识别结果。
该步骤中的图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；识别标签是根据花粉颗粒样本预先确定的，并与样本图像一一对应；图像识别模型包括特征提取网络和两个注意力机制模型，两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
注意力机制的基本思想是让模型忽视无关信息更加关注重点信息，传统计算机视觉的注意力机制往往是通道注意力与空间注意力相结合。通道注意力机制通过获取各个特征通道的重要程度，针对不同的任务增强或者抑制不同的通道，进而处理图片中的信息；空间注意力机制主要聚焦于输入图像的哪部分的有效信息较丰富，针对信息量丰富的区域进行处理。然而花粉颗粒图像本身较小，图像中的信息量也较小，空间注意力并不能起到很好的作用，而通道注意力可以根据识别任务增强花粉颗粒信息的特征，抑制干扰信息的特征。
因此，本实施例提出一种基于双通道注意力机制的图像识别模型。图像识别模型包括特征提取网络和两个注意力机制模型，两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
实际应用中，由于花粉颗粒图像小，还存在花粉颗粒图像染色不均匀、花粉颗粒不完整，被杂质掩盖等问题，导致花粉颗粒图像识别困难，准确率低。为解决上述问题，本实施例中的CBAM通道注意力机制能够获得花粉颗粒图像的通道有益特征；DANet通道注意力机制通过计算像素间的相似矩阵来计算某一个通道与其他通道之间的依赖性，并且将依赖性强的通道进行整合，改进花粉颗粒图像的语义信息；利用两个通道注意力增加了有效特征以及特征间的相关性，有效解决了花粉颗粒图像存在的染色不均匀，花粉颗粒图像残缺以及花粉颗粒被杂志掩盖的问题，从而实现了提高花粉颗粒识别准确率。
具体的，识别标签是指花粉颗粒样本的种类，如柏科花粉颗粒、松科花粉颗粒等。对于每一花粉颗粒样本，通过人工分辨花粉颗粒样本的种类，将人工分辨的结果作为花粉颗粒样本的识别标签。
该步骤中，识别结果是指待识别花粉颗粒的种类。
本发明实施例通过两种通道注意力机制对提取的花粉颗粒特征进行处理，保留了更多的花粉颗粒特征并增加了花粉颗粒图像特征的相关性来提高花粉颗粒图像的识别准确率。
参考图2，图2是本发明实施例提供的图像识别模型训练的流程示意图。在一个实施例中，图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的，具体包括：
步骤210，选取花粉颗粒图像进行标签处理并基于标签处理后的花粉颗粒图像构建数据集；
步骤220，基于双通道注意力机制构建图像识别模型；
步骤230，利用数据集对图像识别模型进行训练。
本发明实施例基于双通道注意力机制构建图像识别模型，将CBAM通道注意力机制模型和DANet通道注意力机制模型相结合，可以在不同程度上关注特征的有益信息，提升花粉识别准确率。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
步骤210，选取花粉颗粒图像进行标签处理并基于标签处理后的花粉颗粒图像构建数据集。
具体的，数据集包括训练图像数据集和测试图像数据集。
在一个实施例中，步骤210可以包括：将光学显微镜下扫描的图像裁剪成512×512大小的图像，并让有经验的专家进行标注。由于花粉颗粒图像较小，使用512×512的图像直接进行分类会包含很多无用信息，因此进一步将512×512的花粉颗粒图像处理成每张图像只包含一种花粉颗粒图像。将所有标签处理后的花粉颗粒图像进行存储，选取标签处理后的花粉颗粒图像的部分图像或全部图像构建数据集。
可选的，参考图3，图3是本发明实施例提供的构建数据集的流程示意图。基于标签处理后的花粉颗粒图像构建数据集，具体包括：
步骤310，对标签处理后的花粉颗粒图像进行数据增强；
步骤320，将数据增强后的花粉颗粒图像作为数据集。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
步骤310，对标签处理后的花粉颗粒图像进行数据增强。
数据增强的方式可以包括随机水平翻转、随机垂直翻转、随机模糊、重采样技术等。随机模糊可以包括运动模糊、中心模糊、高斯模糊等模糊方式。
步骤320，将数据增强后的花粉颗粒图像作为数据集。
将所有数据增强后的花粉颗粒图像进行存储，选取数据增强后的花粉颗粒图像的部分图像或全部图像构建数据集。
在一个实施例中，使用以下方式对标签处理后的花粉颗粒图像进行数据增强：随机水平翻转，随机概率为0.4；随机垂直翻转，随机概率为0.4；随机选取运动模糊、中心模糊、高斯模糊之一，模糊限制为3，随机概率为0.2。利用重采样技术对处理后的数据集进行重采样，作为最终的数据集。
需要说明的是，数据集包括训练图像数据集和测试图像数据集。训练图像数据集的数据来源可以是经过标签处理的数据集或/和经过数据增强后的数据集；测试图像数据集的数据来源可以是经过标签处理的数据集或/和经过数据增强后的数据集。本发明对此不作限制。
本实施例通过利用重采样和数据增强方法有效解决了花粉类别数量不均匀的问题，增加了数据多样性，提高了图像识别模型对花粉颗粒识别的学习能力，提高了识别的准确性。
步骤220，基于双通道注意力机制构建图像识别模型。
在一个实施例中，步骤220可以包括：使用特征提取网络对花粉颗粒图像进行特征提取，将提取后的特征输入注意力机制，利用注意力机制加强关键信息。其中注意力机制是两个通道注意力机制串联在一起。第一个注意力机制利用通道信息对重要的特征通道赋予较大的权重，以提高有益的通道信息。第二个注意力机制对通道信息进一步处理，提取通道特征的相关信息。
可选的，参考图4，图4是本发明实施例提供的基于双通道注意力机制构建图像识别模型的流程示意图。基于双通道注意力机制构建图像识别模型，具体包括：
步骤410，构建特征提取网络；
步骤420，构建CBAM的通道注意力机制模型；
步骤430，构建DANet通道注意力机制模型；
步骤440，将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接。
本实施例将CBAM中的通道注意力与DANet中的通道注意力相结合，通过CBAM通道注意力获得了图像的空间有益特征，并且DANet通道注意力通过计算像素间的相似矩阵来计算某一个通道与其他通道之间的依赖性，并且将依赖性强的通道进行整合，改进语义信息，从而提高了模型在花粉数据集的识别准确率。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
步骤410，构建特征提取网络。
该步骤中，特征提取网络用于对花粉颗粒图像进行特征提取。
具体的，特征提取网络模型可以是VGG网络，ResNet网络等。一个实施例中，使用ResNet50作为基础的特征提取网络模型对花粉颗粒图像进行特征提取。
步骤420，构建CBAM的通道注意力机制模型。
参考图5，图5是本发明实施例提供的CBAM的通道注意力机制模型结构示意图之一。将输入特征图进行最大池化，将最大池化后的特征图经过多层感知器(Multi-LayerPerception，MLP)，生成最大池化通道注意力向量；另一方面，将所述输入特征图进行平均池化，将平均池化后的特征图经过多层感知器，生成平均池化通道注意力向量；将两种通道注意力向量相加(Element-wise Sum)，将相加后的通道注意力向量通过一个激活函数(Sigmoid)，得到CBAM通道注意力权重系数。将所述CBAM通道注意力权重系数和所述输入特征图相乘(Element-wise Multiplication)，生成CBAM通道注意力特征图。
其过程可由下式描述：
MC＝σ(MLP(AvgPool(F1))+MLP(MaxPool(F1)))
其中：F1∈RC×H×W是大小为H×W的C维输入特征；σ表示激活函数(Sigmoid函数)，MLP表示多层感知器，AvgPool表示平均池化，MaxPool表示最大池化；MC表示CBAM通道注意力权重系数，F′1代表CBAM通道注意力特征图。
在一个实施例中，给定一个特征图F作为输入，其维数是C×H×W。分别使用最大池化和平均池化方法对特征图F1进行空间汇集，生成最大池化通道注意力向量F1cavg和平均池化通道注意力向量F1cmax。分别将最大池化通道注意力向量F1cavg和平均池化通道注意力向量F1cmax输入到一个由一个隐藏层组成的共享的MLP网络，并生成两个维数为C×1×1的注意力向量。将上面得到的两种向量对应位置相加，通过一个Sigmoid函数，最后生成一个维数为C×1×1的通道特征图MC。将通道特征图MC和特征图F相乘(Element-wiseMultiplication)，生成CBAM通道注意力特征图。
本实施例中，通过结合平均池化和最大池化构建CBAM的通道注意力机制模型，可以收集到难区分物体之间更重要的线索，来获得更详细的通道注意力。
步骤430，构建DANet通道注意力机制模型。
参考图6，图6是本发明实施例提供的DANet的通道注意力机制计算模块示意图。首先将特征图F2∈RC×H×W转换成X∈RC×N，其中N＝H×W，使用矩阵乘法将X与XT相乘，再将结果进行SoftMax，得到通道注意力矩阵，β表示自适应参数。
其过程可由下式描述：
F′2＝β(Mb(F2))+F2
Mb＝(SoftMax(XXT))X
其中，F2∈RC×H×W是大小为H×W的C维输入特征；β表示自适应参数；SoftMax表示柔性最大值函数；X表示由F2转换得到的矩阵；F′2表示DANet通道注意力机制模型输出的特征图。
步骤440，将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接。
可选的，参考图7，图7是本发明实施例提供的将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接的流程示意图之一。将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接，具体包括：
步骤510，获取特征提取网络输出的第一输入特征图F1；
步骤520，获取CBAM的通道注意力机制模型输出的过程特征图F′1；
步骤530，将第一输入特征图F1与过程特征图F′1相加得到第二输入特征图F2；
步骤540，将第二输入特征图F2输入至DANet通道注意力机制模型。
一个实施例中，参考图8，图8是本发明实施例提供的将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接的流程示意图之二。将数据集输入ResNet50特征提取网络中，获得第一输入特征图F1，将第一输入特征图F1经过CBAM通道注意力模型得到过程特征图F′1，将第一输入特征图F1与过程特征图F′1相加得到第二输入特征图F2，将第二输入特征图F2输入至DANet通道注意力机制模型，再经过全连接分类，得到花粉颗粒分类结果。
将CBAM的通道注意力机制模型和DANet通道注意力机制模型进行连接的过程可由下式描述：
F2＝F′1+F1
具体表述为：经过特征提取模型得到的特征图F1与经过CBAM注意力机制得到的MC(F1)相乘得到F′1，将F1与F′1相加得到特征F2，最后将F2经过DANet通道注意力，得到最后的花粉特征图。
步骤230，利用数据集对图像识别模型进行训练。
具体的，数据集包括训练图像数据集和测试图像数据集。训练图像数据集的数据来源可以是经过标签处理的数据集或/和经过数据增强后的数据集；测试图像数据集的数据来源可以是经过标签处理的数据集或/和经过数据增强后的数据集。本发明对此不作限制。
在一个实施例中，步骤230具体包括：使用在ImageNet数据集上训练好的参数作为基础网络的初始参数，并随机初始化注意力机制结构的参数进行训练，得到端到端的花粉颗粒图像自动分类模型。
将测试图像数据集输入训练好的基于注意力机制的网络模型，得到每张图像的预测分类结果。
本实施例能够处理数据不均衡的花粉图像分类，同时利用注意力机制，提高了模型对于染色不均匀的花粉颗粒图像，残缺的花粉颗粒图像，杂质掩盖的花粉颗粒图像的重要细节的关注度，从而有效提升了花粉图像分类的精度。
可选的，参照图9，图9是本发明实施例提供的花粉颗粒识别方法中的图像识别模型的应用流程示意图。将待识别花粉颗粒的图像输入至图像识别模型，输出待识别花粉颗粒的识别结果，具体包括：
步骤610，将待识别花粉颗粒图像输入至图像识别模型中的特征提取网络，输出待识别花粉颗粒图像的第一特征图；
步骤620，将第一特征图输入至图像识别模型中的CBAM通道注意力机制模型进行处理，输出第二特征图；
步骤630，将第二特征图输入至图像识别模型中的DANet通道注意力机制模型进行处理，输出第三特征图；
步骤640，将第三特征图输入至图像识别模型中的全连接层进行分类，输出待识别花粉颗粒的识别结果。
本发明实施例通过两种通道注意力机制对提取的花粉颗粒特征进行处理，保留了更多的花粉颗粒特征并增加了花粉颗粒图像特征的相关性来提高花粉颗粒图像的识别准确率。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
步骤610，将待识别花粉颗粒图像输入至图像识别模型中的特征提取网络，输出待识别花粉颗粒图像的第一特征图。
该步骤中，特征提取网络模型可以是VGG网络，ResNet网络等。
步骤620，将第一特征图输入至图像识别模型中的CBAM通道注意力机制模型进行处理，输出第二特征图。
该步骤中，CBAM通道注意力机制模型进行处理可以包括CBAM通道注意力机制模型和连接处理。一个实施例中，获取特征提取网络输出的第一特征图；获取CBAM的通道注意力机制模型输出的过程特征图；将第一特征图与过程特征图相加得到第二特征图。
步骤630，将第二特征图输入至图像识别模型中的DANet通道注意力机制模型进行处理，输出第三特征图。
该步骤中，将第二特征图经过DANet通道注意力，得到最后的花粉特征图，即第三特征图。
步骤640，将第三特征图输入至图像识别模型中的全连接层进行分类，输出待识别花粉颗粒的识别结果。
一个实施例中，通过电子显微镜扫描待识别花粉颗粒图像，将花粉颗粒图像输入至图像识别模型，经过ResNet特征提取网络模型，得到第一特征图，将第一特征图输入至图像识别模型中的CBAM通道注意力机制模型进行处理，输出第二特征图，将第二特征图输入至图像识别模型中的DANet通道注意力机制模型进行处理，输出第三特征图，将第三特征图输入至图像识别模型中的全连接层进行分类，最终输出识别后的花粉颗粒图像，并输出识别结果：花粉颗粒1为松科花粉颗粒，花粉颗粒2为柏科花粉颗粒。识别结果可以通过在图上标记花粉种类，也可以是输出文本识别结果。
需要补充的是，参照图10，图10是本发明实施例提供的花粉颗粒识别方法的流程示意图之二。
(1)收集光学显微镜下扫描的花粉图像处理成花粉图像数据集，将改图像数据集分成训练图像数据集和测试图像数据集两部分。
其中步骤(1)将光学显微镜下扫描的花粉图像处理成花粉颗粒图像数据集的具体过程：首先将图像大小裁剪成512×512，再由专家进行标注。由于花粉颗粒的大小在50×50像素左右，512×512的花粉图像会包含更多的杂质，因此将512×512的花粉图像裁剪成只包含一种花粉颗粒的图像用于花粉分类。
对花粉颗粒图像使用以下方式对花粉颗粒图像进行数据增强。随机水平翻转，随机概率为0.4；随机垂直翻转，随机概率为0.4；随机选取运动模糊、中心模糊、高斯模糊之一，模糊限制为3，随机概率为0.2。利用重采样技术对训练数据集进行重采样，作为最终的训练集。
使用基础网络模型对花粉颗粒图像进行特征提取，将提取后的特征输入注意力机制，利用注意力机制加强关键信息。其中注意力机制是两个通道注意力机制串联在一起。第一个注意力机制利用通道信息对重要的特征通道赋予较大的权重，以提高有益的通道信息。第二个注意力机制对通道信息进一步处理，提取通道特征的相关信息。
步骤1)：构建基础网络模型对花粉颗粒图像进行特征提取。
基础网络模型可以是VGG网络，ResNet网等等，本发明使用ResNet50作为基础的网络模型对花粉颗粒图像进行特征提取。
注意力机制的基本思想的基本思想是让模型忽视无关信息更加关注重点信息。CBAM将通道注意力与空间注意力相结合，不仅获得了图像的通道有益特征，同时获得了图像的空间有益特征。DANet通过计算像素间的相似矩阵来计算某一个通道与其他通道之间的依赖性，并且将依赖性强的通道进行整合，改进语义信息。由于花粉颗粒图像存在染色不均匀、花粉颗粒不完整，被杂质掩盖等问题，为解决以上问题，本发明将CBAM中的通道注意力与DANet中的通道注意力相结合方式，提高了模型在花粉数据集的分类准确率。本文将两种注意力机制的通道注意力相结合，对花粉颗粒图像进行分类。
步骤2)：构建CBAM的通道注意力。
参考图11，图11是本发明实施例提供的CBAM的通道注意力机制模型结构示意图之二，其中CBAM的通道注意力如图11所示：
其过程可由下式描述：
MC＝σ(MLP(AvgPoo1(F1))+MLP(MaxPoo1(F1)))
其中：F1∈RC×H×W是大小为H×W的C维输入特征；σ表示Sigmoid激活函数，MLP表示多层感知器，AvgPool表示平均池化，MaxPool表示最大池化。
步骤3)：构建DANet通道注意力模型。
DANet中的通道注意力模块如图6所示：
其过程可由下式描述：
F′2＝β(Mb(F2))+F2
Mb＝(SoftMax(XXT))X
首先将特征图F2∈RC×H×W转换成X∈RC×N，其中N＝H×W，使用矩阵乘法将X与XT相乘，再将结果进行SoftMax，得到通道注意力矩阵，β表示自适应参数。
步骤4)：将两种注意力机制进行连接。
两个通道注意力的连接方式如图8所示：
其过程可由下式描述：
F2＝F′1+F1
具体表述为：具体表述为：经过特征提取模型得到的特征图F1与经过CBAM注意力机制得到的MC(F1)相乘得到F′1，将F1与F′1相加得到特征F2，最后将F2经过DANet通道注意力，得到最后的花粉特征图。
使用在ImageNet数据集上训练好的参数作为ResNet50网络的初始参数，并随机初始化注意力机制结构的参数进行训练，得到端到端的花粉颗粒图像自动分类模型。
将测试图像数据集输入训练好的基于注意力机制的网络模型，得到每张图像的预测分类结果。
参考图12，图12是本发明实施例提供的花粉颗粒识别装置的结构示意图。下面对本发明提供的花粉颗粒识别装置进行描述，下文描述的花粉颗粒识别装置与上文描述的花粉颗粒识别方法可相互对应参照。
本发明提供一种花粉颗粒识别装置，包括：获取模块710和识别模块720；
获取模块710，用于获取待识别花粉颗粒的图像；
识别模块720，用于将待识别花粉颗粒的图像输入至图像识别模型，输出待识别花粉颗粒的识别结果；
其中，图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；识别标签是根据花粉颗粒样本预先确定的，并与样本图像一一对应；图像识别模型包括特征提取网络和两个注意力机制模型，两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行一种花粉颗粒识别方法，该方法包括：获取待识别花粉颗粒的图像；将所述待识别花粉颗粒的图像输入至图像识别模型，输出所述待识别花粉颗粒的识别结果；其中，所述图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的一种花粉颗粒识别方法，该方法包括：获取待识别花粉颗粒的图像；将所述待识别花粉颗粒的图像输入至图像识别模型，输出所述待识别花粉颗粒的识别结果；其中，所述图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的一种花粉颗粒识别方法，该方法包括：获取待识别花粉颗粒的图像；将所述待识别花粉颗粒的图像输入至图像识别模型，输出所述待识别花粉颗粒的识别结果；其中，所述图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种花粉颗粒识别方法，其特征在于，包括：
获取待识别花粉颗粒的图像；
将所述待识别花粉颗粒的图像输入至图像识别模型，输出所述待识别花粉颗粒的识别结果；
其中，所述图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
2.根据权利要求1所述的花粉颗粒识别方法，其特征在于，所述将所述待识别花粉颗粒的图像输入至图像识别模型，输出所述待识别花粉颗粒的识别结果，具体包括：
将所述待识别花粉颗粒图像输入至所述图像识别模型中的所述特征提取网络，输出所述待识别花粉颗粒图像的第一特征图；
将所述第一特征图输入至所述图像识别模型中的所述CBAM通道注意力机制模型进行处理，输出第二特征图；
将所述第二特征图输入至所述图像识别模型中的所述DANet通道注意力机制模型进行处理，输出第三特征图；
将所述第三特征图输入至所述图像识别模型中的全连接层进行分类，输出所述待识别花粉颗粒的识别结果。
3.根据权利要求1或2所述的花粉颗粒识别方法，其特征在于，所述图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的，具体包括：
选取花粉颗粒图像进行标签处理并基于标签处理后的花粉颗粒图像构建数据集；
基于双通道注意力机制构建图像识别模型；
利用所述数据集对所述图像识别模型进行训练。
4.根据权利要求3所述的花粉颗粒识别方法，其特征在于，所述基于双通道注意力机制构建图像识别模型，具体包括：
构建所述特征提取网络；
构建所述CBAM的通道注意力机制模型；
构建所述DANet通道注意力机制模型；
将所述CBAM的通道注意力机制模型和所述DANet通道注意力机制模型进行连接。
5.根据权利要求4所述的花粉颗粒识别方法，其特征在于，所述将所述CBAM的通道注意力机制模型和所述DANet通道注意力机制模型进行连接，具体包括：
获取所述特征提取网络输出的第一输入特征图F1；
获取所述CBAM的通道注意力机制模型输出的过程特征图F′1；
将所述第一输入特征图F1与所述过程特征图F′1相加得到第二输入特征图F2；
将所述第二输入特征图F2输入至所述DANet通道注意力机制模型。
6.根据权利要求3所述的花粉颗粒识别方法，其特征在于，所述基于标签处理后的花粉颗粒图像构建数据集，具体包括：
对所述标签处理后的花粉颗粒图像进行数据增强；
将数据增强后的花粉颗粒图像作为数据集。
7.一种花粉颗粒识别装置，其特征在于，包括：
获取模块，用于获取待识别花粉颗粒的图像；
识别模块，用于将所述待识别花粉颗粒的图像输入至图像识别模型，输出所述待识别花粉颗粒的识别结果；
其中，所述图像识别模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行训练后得到的；所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应；所述图像识别模型包括特征提取网络和两个注意力机制模型，所述两个注意力机制模型分别是CBAM通道注意力机制模型和DANet通道注意力机制模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述花粉颗粒识别方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述花粉颗粒识别方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述花粉颗粒识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974097.6A CN113723256A (zh) | 2021-08-24 | 2021-08-24 | 一种花粉颗粒识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974097.6A CN113723256A (zh) | 2021-08-24 | 2021-08-24 | 一种花粉颗粒识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113723256A true CN113723256A (zh) | 2021-11-30 |
Family
ID=78677588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110974097.6A Pending CN113723256A (zh) | 2021-08-24 | 2021-08-24 | 一种花粉颗粒识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723256A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369543A (zh) * | 2020-03-07 | 2020-07-03 | 北京工业大学 | 一种基于双重自注意力模块的快速花粉颗粒检测算法 |
| CN111428073A (zh) * | 2020-03-31 | 2020-07-17 | 新疆大学 | 一种深度监督量化哈希的图像检索方法 |
| CN111429510A (zh) * | 2020-05-07 | 2020-07-17 | 北京工业大学 | 基于自适应特征金字塔的花粉检测方法 |
| WO2021143267A1 (zh) * | 2020-09-07 | 2021-07-22 | 平安科技（深圳）有限公司 | 基于图像检测的细粒度分类模型处理方法、及其相关设备 |
-
2021
- 2021-08-24 CN CN202110974097.6A patent/CN113723256A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369543A (zh) * | 2020-03-07 | 2020-07-03 | 北京工业大学 | 一种基于双重自注意力模块的快速花粉颗粒检测算法 |
| CN111428073A (zh) * | 2020-03-31 | 2020-07-17 | 新疆大学 | 一种深度监督量化哈希的图像检索方法 |
| CN111429510A (zh) * | 2020-05-07 | 2020-07-17 | 北京工业大学 | 基于自适应特征金字塔的花粉检测方法 |
| WO2021143267A1 (zh) * | 2020-09-07 | 2021-07-22 | 平安科技（深圳）有限公司 | 基于图像检测的细粒度分类模型处理方法、及其相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN106897673B (zh) | 一种基于retinex算法和卷积神经网络的行人再识别方法 | |
| CN109086779B (zh) | 一种基于卷积神经网络的注意力目标识别方法 | |
| CN109376611A (zh) | 一种基于3d卷积神经网络的视频显著性检测方法 | |
| CN111340716B (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN110766020A (zh) | 一种面向多语种自然场景文本检测与识别的系统及方法 | |
| CN114969405A (zh) | 一种跨模态图文互检方法 | |
| CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
| CN110245621B (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
| CN109740539B (zh) | 基于超限学习机和融合卷积网络的3d物体识别方法 | |
| CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
| CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
| CN112580458A (zh) | 人脸表情识别方法、装置、设备及存储介质 | |
| CN114897136A (zh) | 多尺度注意力机制方法及模块和图像处理方法及装置 | |
| CN116912674A (zh) | 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统 | |
| CN111898614B (zh) | 神经网络系统以及图像信号、数据处理的方法 | |
| CN108764233B (zh) | 一种基于连续卷积激活的场景字符识别方法 | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN114612681A (zh) | 基于gcn的多标签图像分类方法、模型构建方法及装置 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 | |
| CN117237796A (zh) | 一种基于特征增强和采样偏移的海产品检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |