CN115761451A - 花粉分类方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种花粉分类方法、装置、电子设备及存储介质，其中方法包括：确定待分类花粉图像；基于待分类花粉图像，应用质量分类网络，确定图像质量结果；若图像质量结果为模糊，则基于待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；基于待分类清晰花粉图像，应用分类模型，得到分类结果；分类网络是基于花粉样本图像和花粉类别标签训练得到的；合成清晰花粉图像是将模糊花粉图像输入至图像增强网络中得到的；清晰花粉图像和模糊花粉图像是将花粉图像输入至质量分类网络中确定的，实现了自动判断图像质量，并将模糊花粉图像生成对应的合成清晰花粉图像，降低了人工筛选的时间成本，且充分利用了离焦模糊花粉图像。

Description

花粉分类方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种花粉分类方法、装置、电子设备及存储介质。

背景技术

空气中飘散的花粉会导致鼻炎、哮喘等过敏性疾病。花粉过敏在世界各地普遍存在，其发病率呈现逐年上升的趋势，这严重影响着人们的生活、工作和健康。对花粉过敏疾病最有效的治疗和预防就是避免接触花粉，而不同种类的花粉具有不同的致敏性，且个人的敏感性对每个物种是特定的。因此，实时准确地对空气中的花粉进行监测与分类非常重要。

目前对于花粉图像的自动分类任务中使用深度学习方法主要是基于卷积神经网络，是以端到端的形式进行训练和测试，输入花粉图像，输出花粉类别信息。

但这种端到端的卷积神经网络是使用人工挑选出的高质量的清晰花粉数据，导致人工成本很高，同时忽略了离焦的模糊花粉图像，造成大量数据未被有效利用的问题。

发明内容

本发明提供一种花粉分类方法、装置、电子设备及存储介质，用以解决现有技术中模型训练人工成本高且大量模糊花粉图像数据无法有效利用的缺陷。

本发明提供一种花粉分类方法，包括：

确定待分类花粉图像；

基于所述待分类花粉图像，应用质量分类网络，确定图像质量结果；

若所述图像质量结果为模糊，则基于所述待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将所述待分类花粉图像作为所述待分类清晰花粉图像；

基于所述待分类清晰花粉图像，应用分类模型，得到分类结果；

所述分类网络是基于花粉样本图像和花粉类别标签训练得到的；所述花粉样本图像包括清晰花粉图像和合成清晰花粉图像；所述合成清晰花粉图像是将模糊花粉图像输入至所述图像增强网络中得到的；所述清晰花粉图像和所述模糊花粉图像是将花粉图像输入至所述质量分类网络中确定的；所述质量分类网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；所述图像增强网络是基于所述清晰花粉图像和所述模糊花粉图像训练得到的。

根据本发明提供的一种花粉分类方法，所述质量分类网络的训练步骤如下：

确定带有质量标签的花粉图像、清晰花粉图像和初始质量分类网络；

对所述清晰花粉图像进行不同程度的模糊处理，将得到的已知模糊程度的花粉图像组成图像对，得到已知模糊程度的花粉图像对；

将所述花粉图像对中的第一图像输入至所述初始质量分类网络中的第一网络分支，得到所述第一网络分支输出的所述第一图像的标量值；同时，将所述花粉图像对中的第二图像输入至所述初始质量分类网络中的第二网络分支，得到所述第二网络分支输出的所述第二图像的标量值；所述第一网络分支的网络结构和所述第二网络分支的网络结构相同；

基于所述第一图像的标量值和所述第二图像的标量值，确定对比损失，并基于对比损失对所述初始质量分类网络进行迭代训练，直至收敛得到中间第一网络分支和中间第二网络分支；

基于所述带有质量标签的花粉图像，对所述中间第一网络分支进行训练微调，并将训练完成的所述中间第一网络分支作为所述质量分类网络。

根据本发明提供的一种花粉分类方法，所述图像增强网络的训练步骤如下：

确定不成对的所述清晰花粉图像和所述模糊花粉图像，以及初始图像增强网络；所述初始图像增强网络包括清晰图像生成网络分支和模糊图像生成网络分支；

将所述模糊花粉图像输入至所述清晰图像生成网络分支，得到第一合成清晰图像，同时将所述清晰图像输入至所述模糊图像生成网络分支，得到第一合成模糊图像；

将所述第一合成清晰图像输入至所述模糊图像生成分支，得到第二合成模糊图像，同时将所述第一合成模糊图像输入至所述清晰图像生成分支，得到第二合成清晰图像；

基于所述模糊花粉图像、所述第一合成模糊图像，应用模糊域判别器，确定模糊域对抗损失；并基于所述清晰花粉图像和所述第一合成清晰图像，应用清晰域判别器，确定清晰域对抗损失；

基于所述模糊花粉图像、所述第二合成模糊图像、所述清晰花粉图像和所述第二合成清晰图像，确定循环一致性损失；

基于所述模糊花粉图像的语义特征和所述第二合成模糊图像的语义特征，确定模糊域感知损失；并基于所述清晰花粉图像的语义特征和所述第二合成清晰图像的语义特征，确定清晰域感知损失；

基于所述模糊域对抗损失、所述清晰域对抗损失、所述循环一致性损失、所述模糊域感知损失和所述清晰域感知损失，确定联合损失，并基于所述联合损失，对所述初始图像增强网络进行参数迭代，直至所述联合损失收敛，将所述清晰图像生成网络分支作为所述图像增强网络。

根据本发明提供的一种花粉分类方法，所述分类模型的训练步骤如下：

确定花粉样本图像、花粉类别标签和初始分类模型；

基于所述花粉样本图像，应用基础数据增广和/或切割遮挡数据增广，得到花粉增广图像；

基于所述花粉增广图像和所述花粉类别标签，对所述初始分类模型进行训练，得到所述分类模型。

根据本发明提供的一种花粉分类方法，所述基于所述花粉样本图像，应用基础数据增广和/或切割遮挡数据增广，得到花粉增广图像，包括：

基于所述花粉样本图像，应用杂质去除单元，对所述花粉样本图像进行杂质去除，得到干净花粉样本图像；

基于所述干净花粉样本图像，应用所述基础数据增广和/或所述切割遮挡数据增广，得到待处理花粉增广图像；

对所述待处理花粉增广图像进行归一化，得到所述花粉增广图像。

根据本发明提供的一种花粉分类方法，所述杂质去除单元的杂质去除步骤如下：

确定待去除杂质花粉图像；

对所述待去除杂质花粉图像进行去噪声点和增亮之后，将所述待去除杂质花粉图像的颜色空间转换为HSV并应用预设二值化阈值进行图像二值化，得到二值化图像；

对所述二值化图像进行闭操作和开操作之后，对所述二值化图像进行轮廓检测，得到轮廓集合；

基于所述轮廓集合中各轮廓的外接圆的半径，去除外接圆半径小于预设半径阈值的轮廓，得到轮廓图；并基于轮廓图中的轮廓，确定掩膜图像；

基于所述掩膜图像和所述待去除杂质花粉图像，确定纯净花粉图像。

根据本发明提供的一种花粉分类方法，所述基于所述待分类清晰花粉图像，应用分类模型，得到分类结果，包括：

基于所述待分类清晰花粉图像，应用所述杂质去除单元，确定待分类纯净清晰花粉图像；

基于所述待分类纯净清晰花粉图像，应用所述分类模型，得到分类结果。

本发明还提供一种花粉分类装置，包括：

确定模块，用于确定待分类花粉图像；

质量判断模块，用于基于所述待分类花粉图像，应用质量分类网络，确定图像质量结果；

增强模块，用于若所述图像质量结果为模糊，则基于所述待分类花粉图像，应用图像增强网络，确定清晰花粉图像；否则，将所述待分类花粉图像作为所述待分类清晰花粉图像；

分类模块，用于基于所述清晰花粉图像，应用分类模型，得到分类结果；

所述分类网络是基于花粉样本图像和花粉类别标签训练得到的；所述花粉样本图像包括清晰花粉图像和合成清晰花粉图像；所述合成清晰花粉图像是将模糊花粉图像输入至所述图像增强网络中得到的；所述清晰花粉图像和所述模糊花粉图像是将花粉图像输入至所述质量分类网络中确定的；所述质量分类网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；所述图像增强网络是基于所述清晰花粉图像和所述模糊花粉图像训练得到的。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述花粉分类方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述花粉分类方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述花粉分类方法。

本发明提供的花粉分类方法、装置、电子设备及存储介质，通过使用质量分类网络和图像增强网络，将花粉样本图像中模糊的图像进行增强，得到合成清晰花粉图像，并通过合成清晰花粉图像和花粉样本图像中的清晰花粉图像训练得到分类模型，联合质量分类网络、图像增强网络和分类网络对待分类花粉图像进行分类，实现了应用质量分类网络自动判断花粉图像的图像质量，应用图像增强网络将模糊花粉图像生成对应的合成清晰花粉图像，降低了人工筛选高质量花粉数据的时间成本，且充分利用的离焦模糊花粉图像，扩充了分类模型的训练样本，进而提高了分类模型对花粉识别的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的花粉分类方法的流程示意图；

图2是本发明提供的质量分类网络训练方法的流程示意图；

图3是本发明提供的图像增强网络训练方法的流程示意图；

图4是本发明提供的初始图像增强网络架构的结构示意图；

图5是本发明提供的分类模型训练方法的流程示意图；

图6是本发明提供的杂质去除的流程示意图；

图7是本发明提供的花粉分类装置的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前基于深度学习方法的花粉图像的自动分类任务已逐渐成为主流，深度学习方法主要是基于卷积神经网络。这种方法以端到端的形式进行训练和测试，输入花粉图像，输出花粉类别信息。上述方法仅使用人工挑选出的高质量的清晰花粉数据，而人工挑选费时费力，难以规定统一的高质量判别指标，同时忽略了离焦的模糊花粉图像，造成大量数据未被有效利用的问题。

因此，如何以低人工成本的方式利用模糊花粉图像扩充分类模型训练样本以提高分类模型对花粉分类的准确率是本领域技术人员亟待解决的技术问题。

针对于上述技术问题，本发明实施例提供一种花粉分类方法。图1是本发明提供的花粉分类方法的流程示意图。如图1所示，该方法包括：

步骤110，确定待分类花粉图像；

需要说明的是，待分类花粉图像为花粉的数字病理切片图像，可以是清晰的图像，还可以是离焦模糊的图像，本发明实施例对此不作限制。待分类花粉图像的类别为训练分类模型时所使用的花粉类别标签中的任意一种。

步骤120，基于待分类花粉图像，应用质量分类网络，确定图像质量结果；

具体地，将待分类花粉图像输入至质量分类网络中，得到质量分类网络输出的图像质量结果。其中图像质量结果为清晰或模糊中的一种。

需要说明的是，质量分类网络用于对图像的清晰度进行打分，并与预设清晰度阈值比较，得到图像质量结果。

步骤130，若图像质量结果为模糊，则基于待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将待分类花粉图像作为待分类清晰花粉图像；

具体地，当判断图像质量结果为模糊时，则将待分类花粉图像输入至图像增强网络中，得到图像增强网络生成的待分类清晰花粉图像。

需要说明的是，图像增强网络是对抗生成网络中的生成器，用于根据模糊的花粉图像生成清晰的花粉图像。其中，对抗生成网络可以是普通的对抗生成网络，还可以是循环对抗生成网络，本发明实施例对此不作限制。

此外，当判断图像质量结果为清晰时，则将待分类花粉图像作为待分类清晰花粉图像。

步骤140，基于待分类清晰花粉图像，应用分类模型，得到分类结果；

分类网络是基于花粉样本图像和花粉类别标签训练得到的；花粉样本图像包括清晰花粉图像和合成清晰花粉图像；合成清晰花粉图像是将模糊花粉图像输入至图像增强网络中得到的；清晰花粉图像和模糊花粉图像是将花粉图像输入至质量分类网络中确定的；质量分类网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；图像增强网络是基于清晰花粉图像和模糊花粉图像训练得到的。

具体地，先将收集到的花粉图像输入到质量分类网络中，得到花粉图像的图像质量结果，即得到花粉图像是清晰花粉图像还是模糊花粉图像，再将模糊花粉图像输入到图像增强网络中，图像增强网络根据模糊花粉图像生成合成清晰花粉图像，然后将清晰花粉图像和合成清晰花粉图像组成花粉样本图像，并标注花粉类别标签，通过花粉样本图像和花粉类别标签对初始分类网络进行训练，得到分类模型。分类模型则对输入的待分类清晰花粉图像进行分类，得到分类结果。

需要说明的是，在训练分类模型之前，需要先训练得到质量分类网络和图像增强网络，在训练质量分类网络时，可以先通过已知花粉模糊程度的花粉图像对初始质量分类网络进行第一阶段训练，再通过带有质量标签的花粉图像对初始质量分类网络进行第二阶段训练，得到质量分类网络，本发明实施例对此不作限制。其中，已知花粉模糊程度的花粉图像可以是由人工辨别得到，还可以先对图像进行不同程度的模糊处理得到，本发明实施例对此不作限制。在图像增强网络时，可以通过清晰花粉图像和模糊花粉图像对初始图像增强网络进行训练，得到图像增强网络，清晰花粉图像和模糊花粉图像由质量分类网络对花粉图像进行图像质量分类得到。

此外，在对初始分类模型训练之前可以对花粉样本图像进行样本增广，本发明实施例对此不作限制。

另一方面，在将待分类清晰花粉图像输入到分类模型之前，还可以对其进行去除杂质和/或归一化等操作，在对初始分类模型训练之前同样可以对样本图像进行去除杂质和/或归一化等操作，本发明实施例对此不作限制。

本发明实施例提供的花粉分类方法，通过使用质量分类网络和图像增强网络，将花粉样本图像中模糊的图像进行增强，得到合成清晰花粉图像，并通过合成清晰花粉图像和花粉样本图像中的清晰花粉图像训练得到分类模型，联合质量分类网络、图像增强网络和分类网络对待分类花粉图像进行分类，实现了应用质量分类网络自动判断花粉图像的图像质量，应用图像增强网络将模糊花粉图像生成对应的合成清晰花粉图像，降低了人工筛选高质量花粉数据的时间成本，且充分利用的离焦模糊花粉图像，扩充了分类模型的训练样本，进而提高了分类模型对花粉识别的准确率。

基于上述实施例，图2是本发明提供的质量分类网络训练方法的流程示意图。如图2所示，质量分类网络的训练步骤如下：

步骤210，确定带有质量标签的花粉图像、清晰花粉图像和初始质量分类网络；

需要说明的是，带有质量标签的花粉图像包括真实花粉图像和真实花粉图像对应的质量标签，质量标签可以通过传统无参考图像质量计算指标来计算得到，质量标签表示的是一个图像的质量分数。初始质量分类网络为孪生网络。清晰花粉图像为真实的由人工判断的清晰的花粉图像。

步骤220，对清晰花粉图像进行不同程度的模糊处理，将得到的已知模糊程度的花粉图像组成图像对，得到已知模糊程度的花粉图像对；

考虑到不同模糊程度的花粉图像比较难以获取，因此，本发明实施例通过人工判断得到的清晰花粉图像进行不同程度的模糊处理，可以得到大量的已知模糊程度的合成花粉图像，以降低训练质量分类网络的人工成本。

需要说明的是，在经过模糊处理后，将不同模糊程度的两张花粉图像组成花粉图像对。

步骤230，将花粉图像对中的第一图像输入至初始质量分类网络中的第一网络分支，得到第一网络分支输出的第一图像的标量值；同时，将花粉图像对中的第二图像输入至初始质量分类网络中的第二网络分支，得到第二网络分支输出的第二图像的标量值；第一网络分支的网络结构和第二网络分支的网络结构相同；

步骤240，基于第一图像的标量值和第二图像的标量值，确定对比损失，并基于对比损失对初始质量分类网络进行迭代训练，直至收敛得到中间第一网络分支和中间第二网络分支；

步骤250，基于带有质量标签的花粉图像，对中间第一网络分支进行训练微调，并将训练完成的中间第一网络分支作为质量分类网络。

考虑到若仅使用一个阶段对初始质量分类网络进行训练，无法输出指定数值范围内的图像质量分数，因此，在由合成花粉图像对初始质量分类网络训练完成后，通过真实的原始花粉图像和原始花粉图像质量标签对初始质量分类网络中的一个分支进行微调，即第二阶段训练，以保证最终训练得到的质量分类网络的质量分类结果能落在指定数值范围内，进而为后续的判断提供统一的标准。

具体地，初始质量分类网络为孪生网络，包括第一网络分支和第二网络分支，并且第一网络分支的网络结构和第二网络分支的网络结构相同。花粉图像对中的第一图像输入至第一网络分支，得到第一网络分支输出的第一图像的标量值，同时将花粉图像对中的第二图像输入至第二网络分支，得到第二网络分支输出的第二图像的标量值，然后根据第一图像的标量值和第二图像的标量值进行对比损失计算，得到对比损失，然后根据该对比损失对初始质量分类网络进行迭代训练，直至对比损失收敛，得到中间第一网络分支和中间第二网络分支。

需要说明的是，根据第一图像的标量值和第二图像的标量值进行对比损失计算可以使用Hinge损失，损失函数的公式如下：

式中，x₁表示第一图像，x₂表示第二图像，

表示第一网络分支输出的第一图像的标量值，

表示第二网络分支输出的第二图像的标量值，α表示预设间距，以增大

和

之间的距离。

在得到中间第一网络分支和中间第二网络分支之后，通过原始花粉图像和原始花粉图像质量标签，对中间第一网络分支进行训练微调，并将训练完成的中间第一网络分支作为质量分类网络。

需要说明的是，根据孪生网络的特征，中间第一网络分支和第二网络分支的参数相同，因此，也可以对中间第二网络分支进行训练微调。微调阶段的损失函数公式如下：

其中，N表示输入中间第一网络分支的图像的张数，y_i表示原始花粉图像质量标签，

表示第一网络分支预测的质量标签的质量分数。

质量分类网络根据输出的质量标签的质量分数和预设阈值进行比较，最终得到图像质量结果。其中，预设阈值是根据聚类分析设定的。

基于上述实施例，图3是本发明提供的图像增强网络训练方法的流程示意图。如图3所示，图像增强网络的训练步骤如下：

步骤310，确定不成对的清晰花粉图像和模糊花粉图像，以及初始图像增强网络；初始图像增强网络包括清晰图像生成网络分支和模糊图像生成网络分支；

考虑到若能够根据模糊花粉图像生成清晰花粉图像，则能够利用大量的模糊花粉图像来对分类模型进行训练，以扩充分类模型的训练样本，进而提高了分类模型对花粉识别的准确率。因此，本发明实施例通过训练一个循环对抗生成模型，并使用该模型中的清晰图像生成网络作为图像增强网络。

具体地，初始图像增强网络为一个循环对抗生成模型，包括清晰图像生成网络分支和模糊图像生成网络分支。

需要说明的是，不成对的清晰花粉图像和模糊花粉图像是将花粉图像输入到质量分类网络中，得到清晰花粉图像集合和模糊花粉图像集合，然后随机从清晰花粉图像集合和模糊花粉图像集合中各选一张，得到不成对的清晰花粉图像和模糊花粉图像。

步骤320，将模糊花粉图像输入至清晰图像生成网络分支，得到第一合成清晰图像，同时将清晰图像输入至模糊图像生成网络分支，得到第一合成模糊图像；

步骤330，将第一合成清晰图像输入至模糊图像生成分支，得到第二合成模糊图像，同时将第一合成模糊图像输入至清晰图像生成分支，得到第二合成清晰图像；

步骤340，基于模糊花粉图像、第一合成模糊图像，应用模糊域判别器，确定模糊域对抗损失；并基于清晰花粉图像和第一合成清晰图像，应用清晰域判别器，确定清晰域对抗损失；

步骤350，基于模糊花粉图像、第二合成模糊图像、清晰花粉图像和第二合成清晰图像，确定循环一致性损失；

步骤360，基于模糊花粉图像的语义特征和第二合成模糊图像的语义特征，确定模糊域感知损失；并基于清晰花粉图像的语义特征和第二合成清晰图像的语义特征，确定清晰域感知损失；

步骤370，基于模糊域对抗损失、清晰域对抗损失、循环一致性损失、模糊域感知损失和清晰域感知损失，确定联合损失，并基于联合损失，对初始图像增强网络进行参数迭代，直至联合损失收敛，将清晰图像生成网络分支作为图像增强网络。

具体地，将模糊花粉图像输入到清晰图像生成网络分支中，同时将清晰花粉图像输入到模糊图像生成网络分支中，得到清晰图像生成网络分支输出的第一合成清晰图像和模糊图像生成网络分支输出的第一合成模糊图像，此时图像完成源域到目标域的转换。然后将第一合成清晰图像输入到模糊图像生成网络分支中，同时将第一合成模糊图像输入到清晰图像生成网络分支中，得到清晰图像生成网络分支输出的第二合成清晰图像和模糊图像生成网络分支输出的第二合成模糊图像，此时图像完成目标域到源域的转换。

根据模糊花粉图像和第一合成模糊图像，由模糊域判别器进行判别，并根据判别结果计算得到模糊域对抗损失，根据清晰花粉图像和第一合成清晰图像，由清晰域判别器进行判别，并根据判别结果计算得到清晰域对抗损失。模糊域对抗损失的损失函数的公式如下：

式中，

表示分布函数的期望值，p(b)表示模糊花粉图像的分布，p(s)表示清晰花粉图像的分布，D_b表示模糊域判别器，G_b表示模糊图像生成网络分支。

清晰域对抗损失的损失函数的公式如下：

式中，

表示分布函数的期望值，p(b)表示模糊花粉图像的分布，p(s)表示清晰花粉图像的分布，D_s表示清晰域判别器，G_s表示清晰图像生成网络分支。

需要说明的是，模糊域对抗损失用于从模糊花粉图像中区分真假模糊花粉图像，清晰域对抗损失用于从清晰花粉图像中区分真假清晰花粉图像。

在计算清晰域对抗损失和模糊域对抗损失之后，根据模糊花粉图像、第二合成模糊图像、清晰花粉图像和第二合成清晰图像，计算得到循环一致性损失。循环一致性损失的损失函数的公式如下：

式中，

表示分布函数的期望值，p(b)表示模糊花粉图像的分布，p(s)表示清晰花粉图像的分布，b表示模糊花粉图像，s表示清晰花粉图像，G_s表示清晰图像生成网络分支，G_b表示模糊图像生成网络分支。

需要说明的是，循环一致性损失用于进一步限制生成样本的空间，并保留原始图像的内容，使得循环图像的内容信息和原始图像一致。

考虑到从预先训练的深度网络中提取的特征包含丰富的语义信息，它们的距离可以作为感知相似性判断。因此，本发明实施例通过加入感知损失，以保持原始图像结构并恢复所有纹理信息。

具体地，在计算循环一致性损失之后，基于预训练的CNN模型，使用该CNN模型的第l层提取得到模糊花粉图像的语义特征、第二合成模糊图像的语义特征、清晰花粉图像的语义特征和第二合成清晰图像的语义特征，然后根据模糊花粉图像的语义特征和第二合成模糊图像的语义特征，计算得到模糊域感知损失，并通过清晰花粉图像的语义特征和第二合成清晰图像的语义特征，计算得到清晰域感知损失。模糊域感知损失的损失函数公式如下：

式中，φ_l(x)表示图像x在预训练的CNN的第l层的语义特征，b表示模糊花粉图像，G_s表示清晰图像生成网络分支，G_b表示模糊图像生成网络分支。

清晰域感知损失的损失函数公式如下：

式中，φ_l(x)表示图像x在预训练的CNN的第l层的语义特征，s表示清晰花粉图像，G_s表示清晰图像生成网络分支，G_b表示模糊图像生成网络分支。

在得到模糊域对抗损失、清晰域对抗损失、循环一致性损失、模糊域感知损失和清晰域感知损失之后，根据上述损失计算得到联合损失，联合损失的公式如下：

L＝λ_advL_adv+λ_cycL_cyc+λ_perL_per

式中，λ_adv表示对抗损失的预设权重，λ_cyc表示循环一致性损失的预设权重，λ_per表示感知损失的预设权重。其中，

L_adv＝L_s+L_b

L_per＝L_{per_s}+L_{per_b}

在得到联合损失之后，根据联合损失，对初始图像增强网络进行参数迭代，直到联合损失收敛，将清晰图像生成网络分支作为所述图像增强网络。

此外，图4是本发明提供的初始图像增强网络架构的结构示意图。如图4所示，该架构中包括清晰图像生成网络分支G_s、模糊图像生成网络分支G_b、清晰域判别器D_s和模糊域判别器D_b。模糊花粉图像B经过清晰图像生成网络分支G_s生成第一合成清晰图像B_s，第一合成清晰图像B_s经过模糊图像生成网络分支G_b生成第二合成模糊图像B’，清晰花粉图像S经过模糊图像生成网络分支G_b生成第一合成模糊图像S_b，第一合成模糊图像S_b经过清晰图像生成网络分支G_s生成第二合成清晰图像S’。其中，模糊域判别器D_b用于判别模糊花粉图像B和第一合成模糊图像S_b的真假，清晰域判别器D_s用于判别清晰花粉图像S和第一合成清晰图像B_s的真假。

基于上述实施例，图5是本发明提供的分类模型训练方法的流程示意图。如图5所示，分类模型的训练步骤如下：

步骤510，确定花粉样本图像、花粉类别标签和初始分类模型；

步骤520，基于花粉样本图像，应用基础数据增广和/或切割遮挡数据增广，得到花粉增广图像；

步骤530，基于花粉增广图像和花粉类别标签，对初始分类模型进行训练，得到分类模型。

考虑到花粉样本图像为数字病理切片图像，种类较为单一，容易使得分类模型过拟合，因此，本发明实施通过对花粉样本图像进行增广，得到大量的花粉增广图像，并将花粉增广图像作为样本，对分类模型进行训练，能够增加样本的多样性，防止过拟合。

具体地，将花粉样本图像，通过基础数据增广和/或切割遮挡数据增广，得到花粉增广图像。其中，基础数据增广包括几何变换和颜色空间变换，几何变换包括水平翻转、垂直翻转和旋转操作；颜色空间变换包括灰度、亮度、对比度、饱和度和色调变换操作。切割遮挡数据增广(Cut Occlusion数据增广)主要是通过将图像切割成围绕中心点的大小相同的k个图像块，并在训练阶段将这些图像块分别变成黑色遮挡。

在得到花粉增广图像之后，组成样本集合，并联合花粉类别标签，对初始分类模型进行训练，得到分类模型。

基于上述实施例，步骤420包括：

步骤421，基于所述花粉样本图像，应用杂质去除单元，对所述花粉样本图像进行杂质去除，得到干净花粉样本图像；

步骤422，基于所述干净花粉样本图像，应用所述基础数据增广和/或所述切割遮挡数据增广，得到待处理花粉增广图像；

步骤423，对所述待处理花粉增广图像进行归一化，得到所述花粉增广图像。

考虑到花粉图像中会存在气泡和杂质等无关信息，会影响分类模型的特征学习过程，又考虑到花粉颗粒和气泡、杂质呈现出不同的颜色特征(花粉颗粒是紫色，杂质多为棕色，气泡是白色)。因此，本发明实施例通过杂质去除单元，基于颜色特征去除花粉图像中的杂质。同时，考虑到对分类模型进行训练时，若使用同种规格的样本图像，则可以移除图像的平均亮度值，凸显个体差异，有助于提升分类模型的训练效果，使得分类模型得到的分类结果更准确。

具体地，将花粉样本图像，输入到杂质去除单元进行杂质去除操作，得到干净花粉样本图像，然后对干净花粉样本图像进行基础数据增广和/或切割遮挡数据增广，得到待处理花粉增广图像，最后将待处理花粉增广图像调整为预设固定大小，并根据花粉颗粒数据集的均值和方差对增广后的图像进行归一化操作，以移除图像的平均亮度值，凸显个体差异，得到花粉增广图像。

需要说明的是，杂质去除单元可以通过对图像依次进行去噪声、增亮、颜色空间转换、二值化、开操作、闭操作及轮廓检测操作后生成图像对应的掩膜，再使用该生成的掩膜进行杂质去除，本发明实施例对此不作限制。

基于上述实施例，杂质去除单元的杂质去除步骤如下：

步骤610，确定待去除杂质花粉图像；

步骤620，对待去除杂质花粉图像进行去噪声点和增亮之后，将待去除杂质花粉图像的颜色空间转换为HSV并应用预设二值化阈值进行图像二值化，得到二值化图像；

步骤630，对二值化图像进行闭操作和开操作之后，对二值化图像进行轮廓检测，得到轮廓集合；

步骤640，基于轮廓集合中各轮廓的外接圆的半径，去除外接圆半径小于预设半径阈值的轮廓，得到轮廓图；并基于轮廓图中的轮廓，确定掩膜图像；

步骤650，基于掩膜图像和待去除杂质花粉图像，确定纯净花粉图像。

需要说明的是，图6是本发明提供的杂质去除的流程示意图。如图6所示，对待去除杂质花粉图像使用均值漂移算法和高斯滤波来平滑图像并去除图像中的噪声点，并使用图像乘法运算，将图像乘以一个大于1的常数，该常数优选1.5，以增加图像的亮度，完成上述操作后，将待去除杂质花粉图像的颜色空间由RGB转换为HSV，并通过HSV颜色空间对待去除杂质花粉图像进行图像二值化，得到二值化图像。此后，对二值化图像进行闭操作，以填充小的封闭区域，对二值化图像进行开操作，以消除物体外的噪点，在执行闭操作和开操作之后，在二值化图像上进行轮廓检测，得到轮廓集合，并确定轮廓集合中每一个轮廓的外接圆，去除外接圆半径小于预设半径阈值的轮廓，以去除颜色与花粉相近的较小的杂质，得到轮廓图，然后根据轮廓图中的轮廓，制作花粉图像掩膜，得到掩膜图像，最后使用掩膜图像将待去除杂质花粉图像进行覆盖，并采用泛洪填充算法使得花粉图像的背景颜色与原始颜色较为相似，得到纯净花粉图像。

基于上述实施例，步骤140，包括：

步骤141，基于待分类清晰花粉图像，应用杂质去除单元，确定待分类纯净清晰花粉图像；

步骤142，基于待分类纯净清晰花粉图像，应用分类模型，得到分类结果。

考虑到待分类清晰花粉图像中也可能存在杂质，会对分类模型的分类结果带来负面影响，导致分类结果错误，因此，本发明实施例对待分类清晰花粉图像使用杂质去除单元进行杂质去除，得到待分类纯净清晰花粉图像，然后将待分类纯净清晰花粉图像输入到分类模型中，得到分类模型输出的分类结果。

下面对本发明提供的花粉分类装置进行描述，下文描述的花粉分类装置与上文描述的花粉分类方法可相互对应参照。

图7是本发明提供的花粉分类装置的结构示意图。如图7所示，本发明实施例提供的花粉分类装置包括：确定模块710、质量判断模块720、增强模块730和分类模块740。

确定模块710，用于确定待分类花粉图像；

质量判断模块720，用于基于待分类花粉图像，应用质量分类网络，确定图像质量结果；

增强模块730，用于若图像质量结果为模糊，则基于待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将所述待分类花粉图像作为所述待分类清晰花粉图像；

分类模块740，用于基于待分类清晰花粉图像，应用分类模型，得到分类结果；

分类网络是基于花粉样本图像和花粉类别标签训练得到的；花粉样本图像包括清晰花粉图像和合成清晰花粉图像；合成清晰花粉图像是将模糊花粉图像输入至图像增强网络中得到的；清晰花粉图像和模糊花粉图像是将花粉图像输入至质量分类网络中确定的；质量分类网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；图像增强网络是基于清晰花粉图像和模糊花粉图像训练得到的。

本发明实施例提供的花粉分类装置，能够通过确定模块，用于确定待分类花粉图像；质量判断模块，用于基于待分类花粉图像，应用质量分类网络，确定图像质量结果；增强模块，用于若图像质量结果为模糊，则基于待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将所述待分类花粉图像作为所述待分类清晰花粉图像；分类模块，用于基于待分类清晰花粉图像，应用分类模型，得到分类结果；分类网络是基于花粉样本图像和花粉类别标签训练得到的；花粉样本图像包括清晰花粉图像和合成清晰花粉图像；合成清晰花粉图像是将模糊花粉图像输入至图像增强网络中得到的；清晰花粉图像和模糊花粉图像是将花粉图像输入至质量分类网络中确定的；质量分类网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；图像增强网络是基于清晰花粉图像和模糊花粉图像训练得到的，实现了应用质量分类网络自动判断花粉图像的图像质量，应用图像增强网络将模糊花粉图像生成对应的合成清晰花粉图像，降低了人工筛选高质量花粉数据的时间成本，且充分利用的离焦模糊花粉图像，扩充了分类模型的训练样本，进而提高了分类模型对花粉识别的准确率。

基于上述任一实施例，该花粉分类装置还包括质量评价网络训练模块，该模块包括：

第一确定子模块，用于确定带有质量标签的花粉图像、清晰花粉图像和初始质量评价网络；

图像对确定子模块，用于对清晰花粉图像进行不同程度的模糊处理，将得到的已知模糊程度的花粉图像组成图像对，得到已知模糊程度的花粉图像对；

分支标量确定子模块，用于将花粉图像对中的第一图像输入至初始质量评价网络中的第一网络分支，得到第一网络分支输出的第一图像的标量值；同时，将花粉图像对中的第二图像输入至初始质量评价网络中的第二网络分支，得到第二网络分支输出的第二图像的标量值；第一网络分支的网络结构和第二网络分支的网络结构相同；

中间训练子模块，用于基于第一图像的标量值和第二图像的标量值，确定对比损失，并基于对比损失对初始质量评价网络进行迭代训练，直至收敛得到中间第一网络分支和中间第二网络分支；

微调训练子模块，用于基于带有质量标签的花粉图像，对中间第一网络分支进行训练微调，并将训练完成的中间第一网络分支作为质量评价网络。

基于上述任一实施例，该花粉分类装置还包括图像增强网络训练模块，该模块包括：

第二确定子模块，用于确定不成对的清晰花粉图像和模糊花粉图像，以及初始图像增强网络；初始图像增强网络包括清晰图像生成网络分支和模糊图像生成网络分支；

正向子模块，用于将模糊花粉图像输入至清晰图像生成网络分支，得到第一合成清晰图像，同时将清晰图像输入至模糊图像生成网络分支，得到第一合成模糊图像；

反向子模块，用于将第一合成清晰图像输入至模糊图像生成分支，得到第二合成模糊图像，同时将第一合成模糊图像输入至清晰图像生成分支，得到第二合成清晰图像；

对抗损失子模块，用于基于模糊花粉图像、第一合成模糊图像，应用模糊域判别器，确定模糊域对抗损失；并基于清晰花粉图像和第一合成清晰图像，应用清晰域判别器，确定清晰域对抗损失；

循环一致性子模块，用于基于模糊花粉图像、第二合成模糊图像、清晰花粉图像和第二合成清晰图像，确定循环一致性损失；

感知子模块，用于基于模糊花粉图像的语义特征和第二合成模糊图像的语义特征，确定模糊域感知损失；并基于清晰花粉图像的语义特征和第二合成清晰图像的语义特征，确定清晰域感知损失；

训练子模块，用于基于模糊域对抗损失、清晰域对抗损失、循环一致性损失、模糊域感知损失和清晰域感知损失，确定联合损失，并基于联合损失，对初始图像增强网络进行参数迭代，直至联合损失收敛，将清晰图像生成网络分支作为图像增强网络。

基于上述任一实施例，该花粉分类装置还包括分类模型训练模块，该模块包括：

第三确定子模块，用于确定花粉样本图像、花粉类别标签和初始分类模型；

增广子模块，用于基于花粉样本图像，应用基础数据增广和/或切割遮挡数据增广，得到花粉增广图像；

训练子模块，用于基于花粉增广图像和花粉类别标签，对初始分类模型进行训练，得到分类模型。

基于上述任一实施例，增广子模块包括：

杂质去除子模块，用于基于所述花粉样本图像，应用杂质去除单元，对所述花粉样本图像进行杂质去除，得到干净花粉样本图像；

样本增广子模块，用于基于所述干净花粉样本图像，应用所述基础数据增广和/或所述切割遮挡数据增广，得到待处理花粉增广图像；

归一化子模块，用于对所述待处理花粉增广图像进行归一化，得到所述花粉增广图像。

基于上述任一实施例，该花粉分类装置还包括杂质去除单元，该单元包括：

第四确定子模块，用于确定待去除杂质花粉图像；

基础处理子模块，用于对待去除杂质花粉图像进行去噪声点和增亮之后，将待去除杂质花粉图像的颜色空间转换为HSV并应用预设二值化阈值进行图像二值化，得到二值化图像；

轮廓检测子模块，用于对二值化图像进行闭操作和开操作之后，对二值化图像进行轮廓检测，得到轮廓集合；

掩膜制作子模块，用于基于轮廓集合中各轮廓的外接圆的半径，去除外接圆半径小于预设半径阈值的轮廓，得到轮廓图；并基于轮廓图中的轮廓，确定掩膜图像；

杂质处理子模块，用于基于掩膜图像和待去除杂质花粉图像，确定纯净花粉图像。

基于上述任一实施例，分类模块740包括：

分类图像杂质去除子模块，用于基于待分类清晰花粉图像，应用杂质去除单元，确定待分类纯净清晰花粉图像；

分类图像分类子模块，用于基于待分类纯净清晰花粉图像，应用分类模型，得到分类结果。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行花粉分类方法，该方法包括：确定待分类花粉图像；基于待分类花粉图像，应用质量评价网络，确定图像质量结果；若图像质量结果为模糊，则基于待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将待分类花粉图像作为待分类清晰花粉图像；基于待分类清晰花粉图像，应用分类模型，得到分类结果；分类网络是基于花粉样本图像和花粉类别标签训练得到的；花粉样本图像包括清晰花粉图像和合成清晰花粉图像；合成清晰花粉图像是将模糊花粉图像输入至图像增强网络中得到的；清晰花粉图像和模糊花粉图像是将花粉图像输入至质量评价网络中确定的；质量评价网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；图像增强网络是基于清晰花粉图像和模糊花粉图像训练得到的。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的花粉分类方法，该方法包括：确定待分类花粉图像；基于待分类花粉图像，应用质量评价网络，确定图像质量结果；若图像质量结果为模糊，则基于待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将待分类花粉图像作为待分类清晰花粉图像；基于待分类清晰花粉图像，应用分类模型，得到分类结果；分类网络是基于花粉样本图像和花粉类别标签训练得到的；花粉样本图像包括清晰花粉图像和合成清晰花粉图像；合成清晰花粉图像是将模糊花粉图像输入至图像增强网络中得到的；清晰花粉图像和模糊花粉图像是将花粉图像输入至质量评价网络中确定的；质量评价网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；图像增强网络是基于清晰花粉图像和模糊花粉图像训练得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的花粉分类方法，该方法包括：确定待分类花粉图像；基于待分类花粉图像，应用质量评价网络，确定图像质量结果；若图像质量结果为模糊，则基于待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将待分类花粉图像作为待分类清晰花粉图像；基于待分类清晰花粉图像，应用分类模型，得到分类结果；分类网络是基于花粉样本图像和花粉类别标签训练得到的；花粉样本图像包括清晰花粉图像和合成清晰花粉图像；合成清晰花粉图像是将模糊花粉图像输入至图像增强网络中得到的；清晰花粉图像和模糊花粉图像是将花粉图像输入至质量评价网络中确定的；质量评价网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；图像增强网络是基于清晰花粉图像和模糊花粉图像训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种花粉分类方法，其特征在于，包括：

确定待分类花粉图像；

基于所述待分类花粉图像，应用质量分类网络，确定图像质量结果；

若所述图像质量结果为模糊，则基于所述待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将所述待分类花粉图像作为所述待分类清晰花粉图像；

基于所述待分类清晰花粉图像，应用分类模型，得到分类结果；

所述分类网络是基于花粉样本图像和花粉类别标签训练得到的；所述花粉样本图像包括清晰花粉图像和合成清晰花粉图像；所述合成清晰花粉图像是将模糊花粉图像输入至所述图像增强网络中得到的；所述清晰花粉图像和所述模糊花粉图像是将花粉图像输入至所述质量分类网络中确定的；所述质量分类网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；所述图像增强网络是基于所述清晰花粉图像和所述模糊花粉图像训练得到的。

2.根据权利要求1所述的花粉分类方法，其特征在于，所述质量分类网络的训练步骤如下：

确定带有质量标签的花粉图像、清晰花粉图像和初始质量分类网络；

对所述清晰花粉图像进行不同程度的模糊处理，将得到的已知模糊程度的花粉图像组成图像对，得到已知模糊程度的花粉图像对；

将所述花粉图像对中的第一图像输入至所述初始质量分类网络中的第一网络分支，得到所述第一网络分支输出的所述第一图像的标量值；同时，将所述花粉图像对中的第二图像输入至所述初始质量分类网络中的第二网络分支，得到所述第二网络分支输出的所述第二图像的标量值；所述第一网络分支的网络结构和所述第二网络分支的网络结构相同；

基于所述第一图像的标量值和所述第二图像的标量值，确定对比损失，并基于对比损失对所述初始质量分类网络进行迭代训练，直至收敛得到中间第一网络分支和中间第二网络分支；

基于所述带有质量标签的花粉图像，对所述中间第一网络分支进行训练微调，并将训练完成的所述中间第一网络分支作为所述质量分类网络。

3.根据权利要求1所述的花粉分类方法，其特征在于，所述图像增强网络的训练步骤如下：

确定不成对的所述清晰花粉图像和所述模糊花粉图像，以及初始图像增强网络；所述初始图像增强网络包括清晰图像生成网络分支和模糊图像生成网络分支；

将所述模糊花粉图像输入至所述清晰图像生成网络分支，得到第一合成清晰图像，同时将所述清晰图像输入至所述模糊图像生成网络分支，得到第一合成模糊图像；

将所述第一合成清晰图像输入至所述模糊图像生成分支，得到第二合成模糊图像，同时将所述第一合成模糊图像输入至所述清晰图像生成分支，得到第二合成清晰图像；

基于所述模糊花粉图像、所述第一合成模糊图像，应用模糊域判别器，确定模糊域对抗损失；并基于所述清晰花粉图像和所述第一合成清晰图像，应用清晰域判别器，确定清晰域对抗损失；

基于所述模糊花粉图像、所述第二合成模糊图像、所述清晰花粉图像和所述第二合成清晰图像，确定循环一致性损失；

基于所述模糊花粉图像的语义特征和所述第二合成模糊图像的语义特征，确定模糊域感知损失；并基于所述清晰花粉图像的语义特征和所述第二合成清晰图像的语义特征，确定清晰域感知损失；

基于所述模糊域对抗损失、所述清晰域对抗损失、所述循环一致性损失、所述模糊域感知损失和所述清晰域感知损失，确定联合损失，并基于所述联合损失，对所述初始图像增强网络进行参数迭代，直至所述联合损失收敛，将所述清晰图像生成网络分支作为所述图像增强网络。

4.根据权利要求1所述的花粉分类方法，其特征在于，所述分类模型的训练步骤如下：

确定花粉样本图像、花粉类别标签和初始分类模型；

基于所述花粉样本图像，应用基础数据增广和/或切割遮挡数据增广，得到花粉增广图像；

基于所述花粉增广图像和所述花粉类别标签，对所述初始分类模型进行训练，得到所述分类模型。

5.根据权利要求4所述的花粉分类方法，其特征在于，所述基于所述花粉样本图像，应用基础数据增广和/或切割遮挡数据增广，得到花粉增广图像，包括：

基于所述花粉样本图像，应用杂质去除单元，对所述花粉样本图像进行杂质去除，得到干净花粉样本图像；

基于所述干净花粉样本图像，应用所述基础数据增广和/或所述切割遮挡数据增广，得到待处理花粉增广图像；

对所述待处理花粉增广图像进行归一化，得到所述花粉增广图像。

6.根据权利要求5所述的花粉分类方法，其特征在于，所述杂质去除单元的杂质去除步骤如下：

确定待去除杂质花粉图像；

对所述待去除杂质花粉图像进行去噪声点和增亮之后，将所述待去除杂质花粉图像的颜色空间转换为HSV并应用预设二值化阈值进行图像二值化，得到二值化图像；

对所述二值化图像进行闭操作和开操作之后，对所述二值化图像进行轮廓检测，得到轮廓集合；

基于所述轮廓集合中各轮廓的外接圆的半径，去除外接圆半径小于预设半径阈值的轮廓，得到轮廓图；并基于轮廓图中的轮廓，确定掩膜图像；

基于所述掩膜图像和所述待去除杂质花粉图像，确定纯净花粉图像。

7.根据权利要求6所述的花粉分类方法，其特征在于，所述基于所述待分类清晰花粉图像，应用分类模型，得到分类结果，包括：

基于所述待分类清晰花粉图像，应用所述杂质去除单元，确定待分类纯净清晰花粉图像；

基于所述待分类纯净清晰花粉图像，应用所述分类模型，得到分类结果。

8.一种花粉分类装置，其特征在于，包括：

确定模块，用于确定待分类花粉图像；

质量判断模块，用于基于所述待分类花粉图像，应用质量分类网络，确定图像质量结果；

增强模块，用于若所述图像质量结果为模糊，则基于所述待分类花粉图像，应用图像增强网络，确定待分类清晰花粉图像；否则，将所述待分类花粉图像作为所述待分类清晰花粉图像；

分类模块，用于基于所述待分类清晰花粉图像，应用分类模型，得到分类结果；

所述分类网络是基于花粉样本图像和花粉类别标签训练得到的；所述花粉样本图像包括清晰花粉图像和合成清晰花粉图像；所述合成清晰花粉图像是将模糊花粉图像输入至所述图像增强网络中得到的；所述清晰花粉图像和所述模糊花粉图像是将花粉图像输入至所述质量分类网络中确定的；所述质量分类网络是基于已知模糊程度的花粉图像对和带有质量标签的花粉图像进行二阶段训练得到的；所述图像增强网络是基于所述清晰花粉图像和所述模糊花粉图像训练得到的。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述花粉分类方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述花粉分类方法。

Images