CN112581450A - 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法 - Google Patents

Abstract

本发明提供一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，该方法包括：将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果。本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，基于多尺度金字塔与膨胀卷积金字塔组成特征融合层，可以精确的检测出图像中的花粉颗粒。

Description

基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法

技术领域

本发明涉及计算机和人工智能技术领域，尤其涉及一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法。

背景技术

随着人们生活质量要求的提高，与城镇生态文化的发展，城市绿化成为改善城市气候与人们生活居住环境的重要举措。然而，城市绿化植物在净化城市环境，优善人民居住环境的同时，也给部分人的健康带来危害。花粉症是由致敏性花粉飘散与空气中被人体接触或摄入而诱发的一系列疾病，包括支气管哮喘、过敏性鼻炎、皮炎等。

近些年来，随着我国城市建设的发展，城市绿化区域不断扩展，花粉过敏原也随之不断增加，从而导致花粉症的发病率与患病率呈逐年升高趋势，多方面的研究已显示花粉症已经具有了地区性、季节性的特点，甚至其已经成为常年多发性症状了。而目前针对花粉症最有效的解决方法，就是对花粉致敏原的提前预防和规避策略。

因此，准确而及时的花粉浓度预报可以帮助花粉过敏患者提前预知花粉天气，从而使其做好充分的防护准备工作，提升出行的安全舒适度。目前，一种收集花粉和保存的方式是使用胶带采集空气中的花粉，然后制成载玻片进行保存。而检测方法，一般是人工的检测和识别方法，专业人员将载玻片放到电子显微镜下，在电子显微镜的帮助下识别出花粉的种类和数目。这种人工识别花粉的方法不仅耗费大量的时间成本、人工成本而且此种方法需要的人员要具备非常丰富的知识和经验，此外，这种方法还具有很高的主观性和复杂度。因此，发明一种机器自动化的花粉检测识别方法，可以极大提高花粉的检测效率与精度，减轻花粉浓度预报研究人员的工作负担。

花粉检测是在花粉图像中众多花粉颗粒里面对其每一个花粉颗粒确定其类别的任务。因此，此任务和目标检测任务有着相同的方法操作。目标检测任务是在图像中对各个对象定位其位置并确定其类别。因此，花粉检测时一个目标检测任务。主流的目标检测方法，如RCNN系列、YOLO目标检测网络，首先将图像数据输入到网络中，然后在网络的最后一层提取特征图，再将特征图经过预测网络，从而预测图像中物体的类别和位置。

这种在网络最后一层提取的特征图的方式存在着许多不足之处。首先，由于是最后一层提取的特征，会经过许多下采样操作，会使得最后得到的特征图的分辨率太小，这会使得小目标信息严重受损，甚至在特征图中丢失小目标的信息；同时，由于网络层过深，大目标的边缘信息会变得十分模糊，从而使得大目标难以定位，从而使得检测的准确度较低。

发明内容

本发明提供一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，用以解决现有技术中花粉检测度低的缺陷，实现花粉类别和位置的精确检测。

本发明提供一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，包括：

将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

根据本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，所述将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，包括：

将所述待检测花粉图像输入到所述特征融合层的主干网络中，得到花粉初始特征，所述主干网络由不同尺度的网络层组成；

对所述花粉初始特征进行卷积，得到花粉卷积特征；

对所述花粉卷积特征进行上采样，得到第一花粉上采样特征；

对所述花粉卷积特征和所述第一花粉上采样特征进行注意力机制和卷积操作，得到第一花粉初融特征；

对所述第一花粉初融特征进行膨胀卷积、激活函数和融合操作，得到第一花粉中融特征；

对所述第一花粉中融特征进行上采样，得到第二花粉上采样特征；

对所述第二花粉上采样特征进行注意力机制和卷积操作，得到第二花粉初融特征；

对所述第二花粉初融特征进行膨胀卷积、激活函数和融合操作，得到所述花粉融合特征。

根据本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，所述将所述待检测花粉图像输入到所述特征融合层的主干网络中，得到花粉初始特征，包括：

将所述待检测花粉图像输入到所述主干网络中，得到5个不同尺度的花粉初始特征，5个不同尺度的花粉初始特征的尺寸分别为所述待检测花粉图像的1/8、1/16、1/32、1/64、1/128。

根据本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，所述对所述花粉初始特征进行卷积，得到花粉卷积特征，应用如下公式获得：

P_n′＝Conv(P_n)，n＝1、2、3、4、5；

其中，P_n表示第n个花粉初始特征，P_n′表示第n个花粉卷积特征。

根据本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，所述对所述花粉卷积特征进行上采样，得到第一花粉上采样特征，应用如下公式获得：

P′_{n_up1}＝Upsample(P_n′)，n＝1、2、3、4、5；

其中，P′_{n_up1}表示第n个第一花粉上采样特征，P_n′表示第n个花粉卷积特征。

根据本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，所述对所述花粉卷积特征和所述第一花粉上采样特征进行注意力机制和卷积操作，得到第一花粉初融特征，应用如下公式获得：

P_{n_merge}＝Conv_up(Attention(P'_{n+1_up1}☉Upsample(P_{n+1_merge})))，n＝1、2、3；

P_{4_merge}＝P′_{5_up1}；

其中，P_{n_merge}表示第n个第一花粉初融特征，P′_{n+1_up1}表示第n+1个第一花粉上采样特征。

根据本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，所述对所述第一花粉初融特征进行膨胀卷积、激活函数和融合操作，得到第一花粉中融特征，应用如下公式获得：

BN_dpn＝BN(Concat(D_Conv_r2(P_merge),D_Conv_r4(P_merge),D_Conv_r6(P_merge)))；

F_DPN＝Down_Channel(Relu(BN))；

P_{1_td}＝Conv(Attention(P'₁☉F_{1_DPN}))；

P_{n_td}＝Conv(Attention(P'_n☉F_{n_DPN}☉Downsample(P_{n-1_td})))；

P_{5_td}＝Conv(Attention(P'₅☉Downsample(P_{4_td})))；

其中，P_{n_td}表示第n个第一花粉中融特征。

本发明还提供一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测系统，包括：

融合模块，用于将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

检测模块，用于将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法的步骤。

本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，基于多尺度金字塔与膨胀卷积金字塔组成特征融合层，可以精确的检测出图像中的花粉颗粒。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法的流程图；

图2为本发明中花粉检测特征网络模型的结构示意图；

图3为本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测系统的结构示意图；

图4为本发明提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了改善现有技术中检测度低的不足之处，后续又出现了在网络不同层提取各自的特征图进行预测的目标检测模型，如单层神经网络多目标检测(Single Shot MultiBoxDetector，简称SSD)网络。SSD网络在深层网络不同层选取特征图，浅层网络得到较大分辨率的特征图，深层网络得到较小分辨率的特征图，这样在浅层就会得到小目标的信息，避免了小目标的信息丢失问题。

而且不同尺度的特征图，可以关注不同尺度的目标，从而大大提高了检测的精度。然而，这种网络依然具有局限性，浅层网络提取到的特征图具备细节信息，却不具备深层网络的语义信息；深层网络具备语义信息，却不具备低层的细节信息，因此，在以改善此种局限性为目的的模型网络随之而出，如FPN、RSSD等网络模型，这些模型通过不同尺度特征图之间的信息融合，或者不同层网络之间的通道信息进行融合等方式，或将深层信息传递到浅层信息，或将浅层信息传递到深层信息，也或将不同尺度之间的信息互相传递，从而丰富了各层之间的信息，大大提高了目标检测的精度。

不过，后来又有人提出了感受野的概念，即目标对象与周围环境的信息。而上述网络，大多采用的是标准卷积，若要获得大的感受野，就必须经过卷积进行下采样，这会使得图像分辨率变小，这会降低网络的精度。

基于此问题，构建出了膨胀卷积的卷积结构，在保持图像分辨率不变的情况下，增大其感受野，这使得目标与周围环境更好区分，可以有效提升检测的精度。

这种方法，对于小目标的检测提升效果更突出。而花粉颗粒属于小目标，因此采用特征融合和膨胀卷积能有效提升其检测精度。

电子显微镜下的花粉图像的特点是，花粉颗粒体积小，容易与背景混淆，使用基于多尺度金字塔与膨胀卷积金字塔组合式特征融合网络的目标检测网络可以精确的检测出图像中的花粉颗粒。

本发明提出一种基于膨胀卷积金字塔与多尺度金字塔的新型组合式特征融合网络的花粉检测算法。本发明实施例提供一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，如图1所示，该方法包括：

110，将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

将待检测花粉图像输入到花粉检测特征网络模型中，花粉检测特征网络模型是经过训练后的神经网络模型，该花粉检测特征网络模型是由特征融合层和检测层组合得到的。

首先将待检测花粉图像输入到特征融合层中，提取出花粉融合特征，该特征融合层是由膨胀卷积金字塔和多尺度金字塔融合得到的。

多尺度金字塔是深层网络不同层之间提取的特征图，将特征图信息按照网络层的深浅进行由深及浅的方向传递并融合的信息传递融合结构。

膨胀卷积金字塔中特征图经过逐渐增大的rate的膨胀卷积后，形成尺寸相同却感受野不同的特征图组合。

本发明实施例所提出的特征融合层是采取多尺度特征与多感受野特征两种特征相融合的网络结构。此种网络兼具了两种特征的信息与优点，使得花粉检测更精准。

120，将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

然后将花粉融合特征输入到检测层中，得到检测结果，检测结果包括花粉的类型和花粉的位置。

本发明提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，基于多尺度金字塔与膨胀卷积金字塔组成特征融合层，可以精确的检测出图像中的花粉颗粒。

为了更好的描述本发明实施例的方案，下面先对将要用到的参数进行说明。

n＝1,2,3,4,5。

P_n表示花粉初始特征。

P′_n表示花粉卷积特征。

P_{n_up1}表示第一花粉上采样特征。

P_{n_merge}表示第一花粉初融特征。

P_{n_td}表示第一花粉中融特征。

P_{n_up2}表示第二花粉上采样特征。

P_{n_merge2}表示第二花粉初融特征。

P_{n_td2}表示花粉融合特征。

如图2所示，本发明首先提出一种新的多尺度特征融合的特征融合层结构Double-Upsample FPN(DU-FPN)，然后再根据自主构建的新的多尺度特征融合网络结构与膨胀卷积金字塔结构相结合，最后形成最终的花粉检测特征网络模型Double-Upsample DPN(DU-DPN)。

首先，待检测花粉图像先经由主干网络EfficientNet得到5个特征图P₁、P₂、P₃、P₄、P₅，其中P₁、P₂、P₃、P₄、P₅的尺寸分别为输入的花粉图像的1/8、1/16、1/32、1/64、1/128。

接着，进行多尺度特征融合DU-FPN(特征融合网络模型)的构建：

第一步：将EfficientNet网络提取到的特征P₁、P₂、P₃、P₄、P₅经过Conv卷积得到新的P'₁、P'₂、P'₃、P'₄、P'₅，公式如下：

P'_n＝Conv(P'_n)n＝1，2，3，4，5，公式一

第二步：对P'₁、P'₂、P'₃、P'₄、P'₅进行一次Upsample上采样操作，得到P_{5_up1}、P_{4_up1}、P_{3_up1}、P_{2_up1}。公式如下：

P'_{n_up1}＝Upsample(P'_n),n＝1，2，3，4，5，公式二

第三步：令P_{4_merge}＝P_{5_up1}，然后执行以下操作：

P_{n_merge}＝Conv_up(Attention(P'_{n+1_up1}☉Upsample(P_{n+1_merge}))),

n＝1，2，3，公式三

所得P_{3_merge}，P_{2_merge}，P_{1_merge}，其中，Attention(P_{n+1_up1}☉Upsample(P_{n+1_merge}))是注意力机制，为P_{n+1_merge}和P'_n+1分配权重weight[0]、weight[1]，☉运算是Swish(weight[0]*P'_{n+1_up1}+weight[1]*Upsample(P_{n+1_merge}))，即自主学习增强两次Upsample操作中最好的那个操作带来的影响，弱化影响不好的那个操作。注意力机制表示的是分配不同的权重大小；

第四步：分别对P_{1_merge}、P_{2_merge}、P_{3_merge}、P_{4_merge}中每一个进行3次膨胀卷积操作，膨胀卷积的rate值分别为2，4，6。膨胀卷积后对得到的各通道进行Concat合并，最后对其进行归一化(BN)操作。操作如下面公式十所示。

BN_dpn＝BN(Concat(D_Conv_r2(P_merge),D_Conv_r4(P_merge),D_Conv_r6(P_merge)))，公式十

用激活函数对其进行激活，由于Concat后会使得通道数增加，参数量增大，会增加开销，所以在经过激活函数后，再进行降通道处理，降低其参数数量。此操作不仅可以降低参数数量，而且还具有对噪音降噪的作用。操作如下公式十一所示。

F_DPN＝Down_Channel(Relu(BN))，公式十一

经过上述操作后得到F1_DPN、F2_DPN、F3_DPN、F4_DPN，总共获得4个膨胀卷积金字塔，然后再经过DU-FPN中的操作，达到特征金字塔和膨胀卷积金字塔的信息融合。其中将DU-FPN搭建过程中的做如下修改：

P_{1_td}＝Conv(Attention(P'₁☉F_{1_DPN})),公式十二

P_{n_td}＝Conv(Attention(P'_n☉F_{n_DPN}☉Downsample(P_{n-1_td}))),n＝2,3,4公式十三

P_{5_td}＝Conv(Attention(P'₅☉Downsample(P_{4_td}))),公式十四

第五步：最后，再重复一次以上操作，只是这次操作丢弃连接线的连接方式操作，并按照公式七、公式八、公式九进行操作。

P_{1_td2}＝Conv(Attention(P_{1_merge2})),公式七

P_{n_td2}＝Conv(Attention(P_{n_merge2}☉Downsample(P_{n-1_td2}))),n＝2,3,4,公式八

P_{5_td2}＝Conv(Attention(Downsample(P_{4_td2}))),公式九

本发明提出一种基于膨胀卷积金字塔与多尺度金字塔的新型组合式特征融合网络的花粉检测方法，利用深度卷积网络EfficientNet作为主干网络提取特征所示，EfficientNet提取5个特征后进行搭建DU-DPN特征融合网络。

然后经过特征融合层输出5个最终的特征图P_{1_out}、P_{2_out}、P_{3_out}、P_{4_out}、P_{5_out}，再将输出的5个特征输入到位置预测(Box prediction)网络和分类预测(Classificationprediction)网络中进行预测，最终得到花粉图像中各个花粉颗粒的类别和位置。

基于膨胀卷积金字塔与多尺度金字塔的新型组合式特征融合网络的花粉检测算法的具体步骤如下：

数据标注：

用Labelmg软件对收集的花粉图像进行标注其包围框和类别。标注完所有数据后会得到每一张花粉图像的xml文件。

数据增强：

使用随机改变亮度、饱和度、色彩空间、随机裁剪、随机翻转、随机缩放等数据增强的方法对数据集进行处理。此种方法不仅可以扩增数据集本身的大小，防止了因数据数量不足而导致模型过拟合问题，而且排除了花粉数据因为大小、亮度、色彩等因素而对模型的影响，提高了模型的泛化能力。

建立目标检测的主干网络(EfficientNet)：

EfficientNet是由多个MBConv Block组成的深度卷积网络。

构建多尺度特征金字塔与膨胀卷积金字塔组合形成的特征网络(DU-DPN)：

第一步：将EfficientNet网络提取到的特征P₁、P₂、P₃、P₄、P₅经过Conv卷积得到新的P'₁、P'₂、P'₃、P'₄、P'₅。公式如下：

P'_n＝Conv(P'_n)n＝1，2，3，4，5，公式一

第二步：对P'₁、P'₂、P'₃、P'₄、P'₅,进行一次Upsample上采样操作，得到P_{5_up1}、P_{4_up1}、P_{3_up1}、P_{2_up1}，公式如下：

P'_{n_up1}＝Upsample(P'_n),n＝1，2，3，4，5，公式二

第三步：令P_{4_merge}＝P_{5_up1}，然后执行以下操作：

P_{n_merge}＝Conv_up(Attention(P_{n+1_up1}☉Upsample(P_{n+1_merge}))),

n＝1，2，3，公式三

所得P_{3_merge}，P_{2_merge}，P_{1_merge}，其中，Attention(P_{n+1_up1}☉Upsample(P_{n+1_merge}))是注意力机制，为P_{n+1_merge}和P'_n+1分配权重weight[0]、weight[1]，☉运算是Swish(weight[0]*P'_{n+1_up1}+weight[1]*Upsample(P_{n+1_merge}))，即自主学习增强两次Upsample操作中最好的那个操作带来的影响，弱化影响不好的那个操作。注意力机制表示的是分配不同的权重大小；

第四步：分别对P_{1_merge}、P_{2_merge}、P_{3_merge}、P_{4_merge}中每一个进行3次膨胀卷积操作，膨胀卷积的rate值分别为2，4，6。膨胀卷积(Dilate Conv)后对得到的各通道进行Concat合并，最后对其进行归一化(BN)操作。操作如下面公式十所示。

BN_dpn＝BN(Concat(D_Conv_r2(P_merge),D_Conv_r4(P_merge),D_Conv_r6(P_merge)))，公式十

第五步：用激活函数对其进行激活，由于Concat后会使得通道数增加，参数量增大，会增加开销，所以在经过激活函数后，再进行降通道处理，降低其参数数量。此操作不仅可以降低参数数量，而且还具有对噪音降噪的作用。操作如下公式十一所示。

F_DPN＝Down_Channel(Relu(BN))，公式十一

第六步：经过上述操作后得到F1_DPN、F2_DPN、F3_DPN、F4_DPN，总共获得4个膨胀卷积金字塔。做以下操作：

P_{1_td}＝Conv(Attention(P'₁☉F_{1_DPN})),公式十二

P_{n_td}＝Conv(Attention(P'_n☉F_{n_DPN}☉Downsample(P_{n-1_td}))),n＝2,3,4公式十三

P_{5_td}＝Conv(Attention(P'₅☉Downsample(P_{4_td}))),公式十四

第七步：最后,再重复一次以上操作，只是这次操作丢弃连接线的连接方式，在横向箭头处丢掉膨胀卷积金字塔操作，只保留横向连接操作，并按照公式七、公式八、公式九进行操作。

P_{1_td2}＝Conv(Attention(P_{1_merge2})),公式七

P_{n_td2}＝Conv(Attention(P_{n_merge2}☉Downsample(P_{n-1_td2}))),n＝2,3,4,公式八

P_{5_td2}＝Conv(Attention(Downsample(P_{4_td2}))),公式九

构建BoxPrediction网络与Classification Prediction网络：

Box Prediction网络与Classification Prediction网络都是由3*3深度可分离卷积depth_conv和1*1深度可分离卷积point_wise卷积组成的预测网络。

经过DU-DPN特征融合网络会得到P_{1_out}、P_{2_out}、P_{3_out}、P_{4_out}、P_{5_out}，将得到的这5个输出结果送入到Box Prediction网络与Classification Prediction网络，得到花粉图像中各花粉颗粒的预测类别和位置。

训练基于膨胀卷积金字塔与多尺度金字塔的新型组合式特征融合网络的花粉检测算法：

使用标注和数据增强后的花粉图像数据集训练构建的新型组合式特征融合网络的花粉检测算法，保存训练好的参数。

花粉预测：

在网络训练好后，选取一张未经过标注的花粉图像作为网络的输入，机器可以自动得到该图像中花粉颗粒的位置和其对应的种类。

本发明实施例提供一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测系统，如图3所示，该系统包括融合模块301和检测模块302，其中：

融合模块301用于将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

检测模块302用于将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

本实施例为与上述方法相对应的系统实施例，详情请参考上述方法实施例，本系统实施例在此不再赘述。

如图4所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，该方法包括：

将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，该方法包括：

将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，该方法包括：

将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，其特征在于，包括：

将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

2.根据权利要求1所述的基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，其特征在于，所述将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，包括：

将所述待检测花粉图像输入到所述特征融合层的主干网络中，得到花粉初始特征，所述主干网络由不同尺度的网络层组成；

对所述花粉初始特征进行卷积，得到花粉卷积特征；

对所述花粉卷积特征进行上采样，得到第一花粉上采样特征；

对所述花粉卷积特征和所述第一花粉上采样特征进行注意力机制和卷积操作，得到第一花粉初融特征；

对所述第一花粉初融特征进行膨胀卷积、激活函数和融合操作，得到第一花粉中融特征；

对所述第一花粉中融特征进行上采样，得到第二花粉上采样特征；

对所述第二花粉上采样特征进行注意力机制和卷积操作，得到第二花粉初融特征；

对所述第二花粉初融特征进行膨胀卷积、激活函数和融合操作，得到所述花粉融合特征。

3.根据权利要求2所述的基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，其特征在于，所述将所述待检测花粉图像输入到所述特征融合层的主干网络中，得到花粉初始特征，包括：

将所述待检测花粉图像输入到所述主干网络中，得到5个不同尺度的花粉初始特征，5个不同尺度的花粉初始特征的尺寸分别为所述待检测花粉图像的1/8、1/16、1/32、1/64、1/128。

4.根据权利要求2所述的基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，其特征在于，所述对所述花粉初始特征进行卷积，得到花粉卷积特征，应用如下公式获得：

P′_n＝Conv(P_n)，n＝1、2、3、4、5；

其中，P_n表示第n个花粉初始特征，P′_n表示第n个花粉卷积特征。

5.根据权利要求2所述的基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，其特征在于，所述对所述花粉卷积特征进行上采样，得到第一花粉上采样特征，应用如下公式获得：

P′_{n_up1}＝Upsample(P′_n)，n＝1、2、3、4、5；

其中，P′_{n_up1}表示第n个第一花粉上采样特征，P′_n表示第n个花粉卷积特征。

6.根据权利要求2所述的基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，其特征在于，所述对所述花粉卷积特征和所述第一花粉上采样特征进行注意力机制和卷积操作，得到第一花粉初融特征，应用如下公式获得：

P_{n_merge}＝Conv_up(Attention(P'_{n+1_up1}☉Upsample(P_{n+1_merge})))，n＝1、2、3；

P_{4_merge}＝P′_{5_up1}；

其中，P_{n_merge}表示第n个第一花粉初融特征，P′_{n+1_up1}表示第n+1个第一花粉上采样特征。

7.根据权利要求2所述的基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法，其特征在于，所述对所述第一花粉初融特征进行膨胀卷积、激活函数和融合操作，得到第一花粉中融特征，应用如下公式获得：

BN_dpn＝BN(Concat(D_Conv_r2(P_merge),D_Conv_r4(P_merge),D_Conv_r6(P_merge)))；

F_DPN＝Down_Channel(Relu(BN))；

P_{1_td}＝Conv(Attention(P'₁☉F_{1_DPN}))；

P_{n_td}＝Conv(Attention(P'_n☉F_{n_DPN}☉Downsample(P_{n-1_td})))；

P_{5_td}＝Conv(Attention(P'₅☉Downsample(P_{4_td})))；

其中，P_{n_td}表示第n个第一花粉中融特征。

8.一种基于膨胀卷积金字塔与多尺度金字塔的花粉检测系统，其特征在于，包括：

融合模块，用于将待检测花粉图像输入到花粉检测特征网络模型中的特征融合层，获取所述待检测花粉图像的花粉融合特征，所述特征融合层基于膨胀卷积金字塔和多尺度金字塔融合得到；

检测模块，用于将所述花粉融合特征输入到所述花粉检测特征网络模型中的检测层，获取检测结果；

其中，所述花粉检测特征网络模型通过对花粉样本以及样本标签进行训练得到。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法的步骤。

Images