CN111429510B - 基于自适应特征金字塔的花粉检测方法 - Google Patents

Abstract

一种基于自适应特征金字塔的花粉检测方法属于计算机视觉领域。特征金字塔采用逐像素相加的方式融合卷积网络不同层的特征，由于不同层的特征的感受野、分辨率存在差异，采用逐像素相加的融合方式，使得特征融合时存在非对齐匹配。本发明提出一种自适应特征金子塔网络，让特征金字塔不同层之间的特征通过可学习的方式自适应对齐，在消除冗余特征的同时，扩充了特征金字塔网络的感受野，使关键特征获得更大的响应，提升特征金字塔网络的性能。本发明使用深度卷积网络Resnet‑50提取花粉图像特征，利用Resnet‑50不同模块学习到的特征建立自适应特征金字塔网络，从而建立基于自适应特征金字塔的花粉检测网络。该方法可以精确地检测出花粉图像中的花粉颗粒的类别和位置。

Description

基于自适应特征金字塔的花粉检测方法

技术领域

本发明提出一种基于自适应特征金字塔的花粉检测方法，使用深度卷积网络自动识别花粉图像中的花粉颗粒的种类和位置。利用该花粉检测方法，通过机器可以快速准确的识别收集到的花粉图像中花粉颗粒的种类和位置，减少工作人员的干预，节约了人力成本，极大的提升了花粉检测的效率。本发明结合了计算机视觉领域目标检测技术和传统的花粉检测方法，既属于计算机视觉目标检测领域，又属于花粉检测领域。

背景技术

在花粉传播季节，飘散于空气中的致敏花粉可诱发一系列疾病，包括过敏性鼻炎、支气管哮喘、皮炎等。随着人们对绿色生活的追求，植物种植区域的扩展，花粉变敏原也随之增加。花粉过敏已经成为季节性流行疾病，具有相当高的发病率。对于有花粉过敏史的人，花粉过敏提前预防是保证健康出行的必要手段。而准确及时的花粉浓度预报可以帮助花粉过敏患者做好防护准备，提升出行的安全舒适度。目前，一种收集和检测花粉的方式是使用胶带采集空气中的花粉，将收集了花粉的胶片放到电子显微镜下拍摄成图片，通过专业人员在电子显微镜的帮助下识别出花粉的种类和数目。人工识别花粉的方法具有很高的复杂度和主观性，需要具有非常丰富的专业人员才可以做到准确的识别出花粉的种类，在识别花粉的过程中需要付出大量的时间。发明一种机器化，自动在花粉采集图片中准确快速地识别出花粉颗粒的方法可以极大提高花粉的检测效率，减轻花粉浓度预报工作人员的工作压力。

花粉检测可以使用计算机视觉领域目标检测方法。主流的目标检测方法，如Faster-RCNN、YOLO通过深层卷积网络提取图像特征，在高语义化的特征之上建立预测网络，预测图像中物体的类别和位置。随着卷积网络层数的增加，网络提取的特征具有更丰富的语义信息，一般目标检测网络只使用网络最后一层的特征建立预测层。虽然增加网络层数可以提取到更加丰富的语义特征，但同时特征的分辨率越来越小，而大分辨率特征对于识别小物体具有很好的效果，在网络的不同层分别建立预测网络，可以极大的提升小物体目标识别的准确度，例如SSD网络。低层特征分辨率更大，但低层特征的语义信息不如高层特征(相对网络的低层，高层更加靠近网络的输出层)。为了增强低层预测分支特征的语义信息，将高层特征进行上采样后和低层特征进行自顶向下的连接，使融合后的特征图兼顾语义特征和纹理特征。网络不同层的特征经过多次自顶向下连接构成特征金字塔，在金字塔的不同层分别建立不同的预测分支，使检测网络更加有利于小物体检测。

通常特征金字塔采用逐像素相加的方式融合不同层特征，而不同层的特征的分辨率、感受野存在着差距，特征融合时存在着非对齐匹配。本发明提出一种自适应特征金字塔，通过可学习的方式让金字塔不同层之间的特征对齐，使网络更有利于小物体目标识别。花粉颗粒具有体积较小，容易和背景混淆的特点，我们使用基于自适应特征金字塔的目标检测网络可以精确的检测出图像中的花粉颗粒。

发明内容

本发明提出一种基于自适应特征金字塔的花粉检测方法。相较于一般特征金字塔网络的非对齐特征匹配，提出一种自适应特征金字塔网络，使特征金字塔网络不同层的特征通过可学习的方式对齐，从而获得更加鲁棒的特征，提升花粉检测的效果。

将深度卷积网络中一个或连续多个卷积层当作一个模块，卷积网络一般包含多个卷积模块，层数越高的模块的特征分辨率越低，但语义信息更加丰富。可通过将高层特征进行上采样后和低层特征进行自顶向下的连接，多层联合后形成特征金字塔网络。如图1所示，假设使用卷积网络最后三个卷积模块构建一个三层的特征金字塔，从网络的输出层往下三个模块的输出特征分别为c1，c2，c3。c1暂时不与其它特征融合，作为金字塔的顶层，另记为p1；将p1上采样后与 c2横向连接(即p1上采样后与c2逐像素相加)构成金字塔的第二层，记为p2；将p2上采样后与c3横向连接构成金字塔的第三层，记为p3。经过层层自顶向下的连接，p1，p2，p3分辨率依次增大，组成一个三层特征金字塔。之后在金字塔的每一层分别构建预测网络，用于预测图像中物体的类别和位置。特征金字塔自顶向下的连接方式为：

(1)将高层低分辨率特征进行上采样，使其分辨率扩张到与低层分辨率一样。

(2)将低层高分辨率特征经过一层1×1的卷积层，使其通道数量与高层特征一样。

(3)将上采样后的高层特征与经过1×1卷积层处理的低层特征逐像素相加得到融合特征。

但高层特征与低层特征不仅在分辨率上存在差异，它们的感受野也存在很大的区别，此外高层特征在上采样后存在着许多冗余。因此采用逐像素相加的融合方式，特征金字塔的高层特征与低层特征间存在着非对齐匹配。为使金字塔的高层的特征与低层特征对齐，提出一种自适应对齐连接方法，分别计算低层特征与高层特征每一个位置的相关联度，重建上采样后的高层特征。重建后的特征可以获得更大的感受野，同时减少冗余特征，赋予显著的特征更大的响应，通过学习的方式让高层特征与低层特征自适应对齐。如图2所示，发明的自适应特征金字塔连接方式如下：

(1)将高层特征上采样，使其分辨率与低层特征一样。定义低层特征为X，上采样后高层特征为Y。

(2)分别对X、Y做特征变换。如图2所示，这里使用1×1的卷积。

设变换后的特征分别为θ(X)、和g(Y)，变换后三者通道数目与X保持一致。

(3)重构Y中i位置处的特征yi。如公式一所示，枚举Y中所有位置计算与X中对应i位置的特征xi的响应值，以j处为例，公式二为计算yj与xi的响应值的方法。将xi与Y的响应值和g(Y)计算加权和，除以标准化因子C(xi)(即Y中所有位置与xi的响应值之和，

如公式三所示)得到重构后的特征

(4)重复步骤(3)，重构Y中所有位置的特征得到Y^。

(5)将X与Y^逐像素相加，获得融合特征Z，如公式四所示。

i，j是X，Y，Z中的位置索引

本发明使用Resnet-50提取图像特征，其网络结构如图3所示。该网络包括5个阶段(stage)，第一个stage依次是7×7的卷积层 (Conv)、批量归一化层(Batch Norm)、Relu激活函数层、最大池化层(Maxpool)，其中7×7的卷积层和最大池化层做了2倍的下采样；后续四个stage,每一个stage由一个Conv Block和多个ID Block 组成(如图3所示，stage2、stage3、stage4、stagr5分别包括2、 3、5、2个ID Block)。Conv Block依次由1×1卷积、3×3卷积、1 ×1卷积组成，每一个卷积层后有一个Batch Norm层。Conv Block 的输入特征通过1×1卷积变换维度(使特征的维度与后面相连接的特征一致)和Relu激活函数后与第二个1×1卷积的输出特征进行残差连接，在残差连接后接上一个Relu激活函数。其中stage3、stage4、 stage5的Conv Block中的3×3卷积做了2倍的下采样，stage2没有做下采样。IDBlock结构与Conv Block相似，依次由1×1卷积、 3×3卷积、1×1卷积组成，每一个卷积层后有一个Batch Norm层， ID Block的输入直接与第二个1×1卷积的输出特征进行残差连接，残差连接后有一个Relu激活函数。与Conv Block不同，所有ID Block 没有做下采样。

利用本发明提出的自适应特征金字塔构建方法，使用Resnet-50 网络的stage3、stage4、stage5三个stage的输出特征，建立自适应特征金子塔网络，从而建立基于自适应特征金字塔的花粉检测网络。使用stage3、stage4、stage5的输出特征建立的自适应特征金字塔检测网络已经可以精确地检测出花粉图像中的花粉颗粒，为保证检测网络的运行速度，未使用其他更多的特征加入特征金字塔。假设 stage5、stage4、stage3的输出特征依次是c1、c2、c3，c1暂时不与其它特征融合，作为自适应特征金字塔的顶层，另记为p1；将p1 与c2自适应对齐连接(即将p1与c2使用本发明提出的自适应特征金字塔连接方法融合)构成自适应特征金字塔的第二层，记为p2；将 p2与c3自适应对齐连接构成自适应特征金字塔的第三层，记为p3。在三层自适应特征金字塔p1、p2、p3的每一层分别建立预测网络，预测网络由3×3的卷积和1×1的卷积组成，预测花粉图像中花粉颗粒的类别和位置。

附图说明

图1是特征金字塔网络结构图，及一般特征金字塔不同层特征间的连接方式说明图；

图2是本发明提出的自适应特征金字塔不同层特征间的连接方式说明图；

图3是本Resnet-50网络的结构图。

具体实施方式

本发明提出一种基于自适应特征金字塔的花粉检测方法。利用深度卷积Resnet-50作为主干网络提取特征，如图3所示，Resnet-50 包括5个stage，利用后3个stage建立自适应特征金字塔。在自适应特征金字塔的每一层的特征之上建立预测网络，预测花粉图像中花粉颗粒的类别和位置。

基于自适应特征金字塔的花粉检测方法具体步骤如下：

(1)标注数据。标注电子显微镜下采集的花粉图片，识别图片中每一个花粉颗粒的类别和位置，将花粉图像中每一颗花粉颗粒类别和位置坐标的标注信息保存成xml文件。

(2)数据增强。为了充分利用有限的花粉图片，使用随机改变亮度、随机饱和度、随机水平翻转、随机噪声和随机缩放裁剪等数据增强方法进行数据集增强，扩充用于实验的花粉数据集，同时减少花粉颗粒因不同的大小、位置，亮度等因素对模型的影响，提高模型的泛化能力。

(3)建立深度卷积网络。建立如图3所示Resnet-50网络，用于提取图像特征。

(4)构建自适应特征金字塔。使用Resnet-50中stage3、stage4、 stage5这三个阶段的输出特征构建三层自适应特征金字塔。假设 stage5、stage4、stage3的输出特征依次是c1、c2、c3，c1暂时不与其它特征融合，作为自适应特征金字塔的顶层，另记为p1；将p1与c2自适应对齐连接构成自适应金字塔的第二层，记为p2；将p2与c3自适应对齐连接构成自适应特征金字塔的第三层，记为p3。

(5)在三层自适应特征金字塔p1、p2、p3的每一层分别建立预测网络，预测网络由3×3的卷积和1×1的卷积组成，预测花粉图像中花粉颗粒的类别和位置。

(6)训练基于自适应特征金字塔的花粉检测网络。使用标注和增强后花粉图片数据集训练构建的自适应特征金字塔花粉检测网络，保存训练好的网络参数。

(7)花粉预测。在网络训练好后，使用未标注的花粉图像作为自适应特征金字塔花粉检测网络的输入，机器可以自动得到该花粉图像中花粉颗粒的种类以及花粉颗粒所在的位置。

Claims (2)

1.基于自适应特征金字塔的花粉检测方法，包括以下步骤：

步骤1.标注花粉图像数据，需要标注出图像中每一个花粉颗粒的种类和位置；

步骤2.对花粉图像数据做增强处理；

步骤3.建立深度卷积网络Resnet-50，利用Resnet-50网络提取花粉图像特征；

步骤4.提出一种自适应特征金字塔网络，使特征金字塔不同层之间的特征在连接时通过可学习的方式自适应对齐；

步骤5.建立自适应特征金字塔网络，在自适应特征金字塔的不同层分别建立预测网络，检测出花粉图像中花粉颗粒的种类和位置；

步骤6.训练基于自适应特征金字塔的花粉检测网络，将训练好的网络参数保存，用于后续检测无标注的花粉图像中的花粉颗粒；

其特征在于：

(1)将高层特征上采样，使其分辨率与低层特征一样；定义低层特征为X，上采样后高层特征为Y；

(2)分别对X、Y做特征变换；

使用1×1的卷积对X、Y做特征变换；设变换后的特征分别为θ(X)、和g(Y)，变换后三者通道数目与X保持一致；

(3)重构Y中i位置处的特征y_i；

枚举Y中所有位置分别计算与X中对应i位置的特征x_i的响应值，将x_i与Y的响应值和g(Y)计算加权和，除以标准化因子C(x_i)，即Y中所有位置与x_i的响应值之和，得到重构后的特征

(4)重复步骤(3)，重构Y中所有位置的特征得到Y^；

(5)将X与Y^逐像素相加，获得融合特征Z。

2.根据权利要求1所述的基于自适应特征金字塔的花粉检测方法，其特征在于：

使用Resnet-50提取图像特征，其网络结构如下：该网络包括5个阶段stage，第一个stage依次是7×7的卷积层Conv、批量归一化层BatchNorm、Relu激活函数层、最大池化层Maxpool，其中7×7的卷积层和最大池化层做了2倍的下采样；后续四个stage,每一个stage由一个ConvBlock和多个ID Block组成，stage2、stage3、stage4、stagr5分别包括2、3、5、2个ID Block；ConvBlock依次由1×1卷积、3×3卷积、1×1卷积组成，每一个卷积层后有一个BatchNorm层；ConvBlock的输入特征通过1×1卷积变换维度和Relu激活函数后与第二个1×1卷积的输出特征进行残差连接，在残差连接后接上一个Relu激活函数；

其中stage3、stage4、stage5的ConvBlock中的3×3卷积做了2倍的下采样，stage2没有做下采样；IDBlock结构依次由1×1卷积、3×3卷积、1×1卷积组成，每一个卷积层后有一个BatchNorm层，IDBlock的输入直接与第二个1×1卷积的输出特征进行残差连接，残差连接后有一个Relu激活函数；

使用Resnet-50网络的stage3、stage4、stage5三个stage的输出特征，建立自适应特征金子塔网络，定义stage5、stage4、stage3的输出特征依次是c1、c2、c3，c1暂时不与其它特征融合，作为自适应特征金字塔的顶层，另记为p1；将p1与c2自适应对齐连接，即p1与c2使用自适应特征金字塔连接方法融合，构成自适应特征金字塔的第二层，记为p2；将p2与c3自适应对齐连接构成自适应特征金字塔的第三层，记为p3；在三层自适应特征金字塔p1、p2、p3的每一层分别建立预测网络，预测网络由3×3的卷积和1×1的卷积组成，预测花粉图像中花粉颗粒的类别和位置。