CN111369543A

CN111369543A - 一种基于双重自注意力模块的快速花粉颗粒检测算法

Info

Publication number: CN111369543A
Application number: CN202010154215.4A
Authority: CN
Inventors: 王全增; 李娟�; 李建强; 杨滨
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2020-03-07
Filing date: 2020-03-07
Publication date: 2020-07-03
Anticipated expiration: 2040-03-07
Also published as: CN111369543B

Abstract

本发明公开一种基于双重自注意力模块的快速花粉颗粒检测算法。模型主干网络仅使用十五个卷积层串联而成，模型较小，结构简单；主干网络设计了两个融合，克服花粉颗粒小，易与背景混淆的问题；设计了特征图降维，特征图稠密连接之前先进行降维，降低特征图通道数，减少了后续步骤计算量，提高了模型效率；设计了由双重自注意力模块和预测模块串联而成的预测分支，其中空间自注意力模块负责捕捉空间上下文信息，通道自注意力模块负责捕捉通道之间，以及浅层特征和深层特征之间的依赖关系，以实现精准预测稠密块，稠密块内的卷积层使用稠密连接的方式实现浅层特征和深层特征的。

Description

一种基于双重自注意力模块的快速花粉颗粒检测算法

技术领域

本发明属于计算机视觉中的花粉检测领域，是一种利用卷积神经网络对图片中花粉颗粒进行检测的方法。

背景技术

大量致敏植物的花粉飘散于空气中可诱发变应性鼻炎、支气管哮喘、皮炎等一系列变态反应疾病。随着人类社会城市化加剧，植物种植区域的扩展，花粉变应原也随之增加。花粉过敏已经成为季节性流行疾病，具有相当高的发病率。而准确及时的花粉浓度预报可以帮助花粉过敏患者做好准备，极大降低生活中带来的痛苦和不便。目前，一种收集花粉的方式是使用胶带在空气中采集花粉，放到电子显微镜下拍摄成图片。所以，在花粉采集图片中准确快速地识别出花粉颗粒是进行花粉浓度预报的基础。

花粉颗粒检测是一个目标检测任务。目前的目标检测算法(例如RCNN系列算法)为了提高检测准确率，通常采用复杂的主干网络和精心设计的人工锚框，所以模型规模很大，检测速度缓慢。而一些快速检测算法(例如LFFD算法)虽然速度较快，但由于局部感受野的限制，只能使用图片中的局部信息进行预测，准确率较低。而在花粉图片中，同一张图片中的花粉颗粒由于受到了相同自然环境的影响，会表现出相似的特征。比如相似的破裂形态，被沙尘覆盖的程度基本相同等。而这些特征信息在不同图片间的表现却差异较大。想要准确地判定当前检测区域是否为花粉颗粒，仅通过局部感受野的信息是不够的，同一张图片中其他区域相似的花粉颗粒和背景信息具有非常重要的参考价值。故而需要突破局部感受野的限制，融合图片上下文信息进行预测，提高准确率。

而且花粉且花粉颗粒具有体积较小，容易和背景混淆的特点。单一卷积层生成的特征图由于特征信息较少，无法做到精准的判别，导致预测精准度还有较大的提升空间。本方明使用了稠密连接的方式将浅层特征和深层特征进行融合，可以使用更多信息进行更精准的预测。但这会造成特征图通道数的大量增加，从而极大增加模型运算量，影响模型效率。

由于花粉浓度预报具有很强的实时性和准确性的要求，花粉检测模型必须在检测效率和准确率之间取得良好的平衡，才能处理实时大量生成的花粉采集图片，为花粉浓度预报打下良好基础。

发明内容

本发明针对花粉检测领域模型检测效率和准确度无法平衡的问题，设计了一种基于双重自注意力模块的快速花粉颗粒检测算法，在运行效率和准确率方面取得了比较好的平衡。有助于处理实时大量生成的花粉采集图片，为实时准确的花粉浓度预报提供了良好的基础。

本发明采用如下技术方案：一种基于双重自注意力模块的快速花粉颗粒检测算法。花粉检测算法具体流程为：对数据进行预处理和数据增强；将处理好的图像输入卷积神经网络，经过卷积操作生成特征图；将特征图进行降维，然后使用稠密连接的方式对稠密块的各层进行连接；将各级融合特征图输入到相应的预测分支，网络共有四个预测分支负责检测不同尺寸的花粉颗粒；将输入到预测分支的特征图输入到双重自注意力模块进行处理，得到融合了空间和通道上下文信息的特征图；将该特征图分别输入到分类分支和位置回归分支，得到最终的花粉颗粒预测结果。本发明方法的整体流程图如图1所示。

(1)数据预处理和数据增强：电子显微镜下采集的图片一般有一些标注图片信息的部分与花粉颗粒的检测无关，需要裁减掉以提高效率和准确率。

在训练阶段，针对数据集样本数少的问题，本发明使用了5种不同的数据增强方法，随机亮度、随即饱和度、随机水平翻转、随机噪声和随机裁剪缩放。测试阶段不需要。

(2)生成特征图：将处理好的图片输入到设计好的网络中生成特征图。本发明的网络结构如图2所示，主干网络由15个卷积层串联而成，每一卷积层都会生成特征图。随着层数的加深，卷积层所生成的特征图的感受野尺寸逐渐增大，不同尺寸的感受野负责检测相应大小的花粉颗粒。网络主要包含两个稠密块。第2层到第10层为稠密块1，包含两个预测分支，负责检测较小的花粉颗粒。第11层到第15层为稠密块2，包含两个预测分支，负责检测较大的花粉颗粒。

(3)特征图降维和融合：每一稠密块内的卷积层之间使用稠密连接的方式进行连接。但是由于稠密连接会大量增加特征图的通道数，所以在连接之前先进行特征图降维，减少特征图通道数。此时特征图再连接到各层，可以减少后续步骤的计算量，提高模型效率。

(4)双重自注意力模块处理特征图：如图2所示，每一预测分支由双重自注意力模块和预测模块构成。卷积层生成的特征图进入预测分支后先经过双重自注意力模块进行处理，从而生成融合了空间和通道上下文信息的特征图。处理后的特征图突破了局部感受野的限制，使用图片中的远程上下文信息增强了特征表达。

(5)预测花粉颗粒信息：将融合了上下文信息的特征图分别输入到分类分支和位置回归分支。分类分支负责预测当前检测区域是否为花粉，位置回归分支负责预测花粉颗粒的精确位置。

不同于RCNN系列算法，本发明使用了感受野作为天然锚框进行目标检测，主干网络由简单的卷积层串联构成，具有参数量小，快速轻量化的优点。另外加入了空间和通道双重自注意力模块，突破了局部感受野的限制，利用了图片中的上下文信息，提升了花粉检测的准确率。实验结果证明，加入双重自注意力模块后模型的平均精度(AP)提高了5.23％。

针对花粉颗粒体积较小，容易和背景混淆的特点，本发明使用稠密连接的方式实现了特征融合，同时使用浅层特征和深层特征进行预测，模型AP提高了2.52％。由于稠密连接会增加模型计算量，所以先使用特征图降维减少特征图通道数，使得因稠密连接增加的计算量减少了四分之三。取得了准确率和效率之间较好的平衡。

附图说明

图1为本发明提出的方法的整体流程图。

图2为本发明提出的卷积神经网络结构图。

具体实施方式

以下结合说明书附图，对本发明的实施实例加以详细说明：

本发明是一种基于双重自注意力模块的快速花粉颗粒检测算法，如图1所示，花粉颗粒检测算法的具体流程为：对数据进行预处理和数据增强；将处理好的图像输入卷积神经网络，经过卷积操作生成特征图；将特征图进行降维，然后使用稠密连接的方式对稠密块的各层进行连接；将各级特征图输入到相应的预测分支，将输入到预测分支的特征图输入到双重自注意力模块进行处理，得到融合了空间和通道上下文信息的特征图；将该特征图分别输入到分类预测分支和位置回归预测分支，得到最终的花粉颗粒预测结果。

具体算法参考如下：

(1)数据预处理和数据增强

电子显微镜下的花粉采集图片下沿有一矩形区域，包含日期、分辨率等信息。在花粉颗粒检测过程中此区域为冗余部分，裁剪后可降低模型训练的难度，提高效率。

在训练阶段，由于标注成本高，数据集较小，通常使用随机亮度、随即饱和度、随机水平翻转、随机噪声和随机缩放裁剪5种数据增强方法进行数据集增强，目的是衍生出更多的训练样本，减少花粉颗粒因不同的大小、位置，亮度等因素对模型的影响，防止模型过拟合，提高模型的泛化能力。处理好的数据集十分之七作为训练集，十分之三作为测试集。

(2)生成特征图

如图2所示，主干网络由15个卷积层串联而成。其中第1层和第2层为3×3×64(长×宽×通道数)，步长为2的卷积核，第3层到第10层为3×3×64，步长为1的卷积核。第11层为3×3×128，步长为2的卷积核，第12层到第15层为3×3×128，步长为1的卷积核。随着层数的加深，生成的特征图的感受野尺寸逐渐增加。网络共包含2个稠密块，稠密块内的卷积层通过稠密连接的方式进行连接，并且每个稠密块有2个预测分支。网络共4个预测分支，分别连接网络的第8、10、13、15层，各卷积层生成的特征图因为感受野尺寸不同，分别负责检测不同大小的花粉颗粒。四个特征图感受野尺寸分别为55，71，111，143，负责检测的花粉大小区间设置为[10,15]，[15,20]，[20,40]，[40,70]。经统计，电子显微镜下放大到270倍的图片，花粉颗粒大小不小于边长为10像素的正方形，不大于边长为70像素的正方形。

(3)特征图降维和连接：出于模型效率的考虑，在特征图连接之前需要使用1×1卷积对特征图进行降维处理，降低特征图的通道数。

3.1特征图降维：如图2所示，每个稠密块内的卷积层使用稠密连接的方式进行连接，但连接之前需使用1×1卷积核对特征图降维。需要注意的是每层特征图只使用一次1×1卷积降维，随即连接到各层。1×1卷积核的数目一般为原特征图的四分之一。如公式1所示，此时W_zip表示1×1卷积核，f_before表示处理前的特征图，f_after表示处理后的特征图。

f_after＝W_zipf_before公式1

3.2特征图连接：将降维后的特征图直接拼接在后面所连卷积层的特征图的后面，因为稠密块内的特征图高度和宽度相同，故而可以直接拼接在一起。

(4)双重自注意力模块处理特征图

预测分支由双重自注意力模块和预测模块构成。进入预测分支的原始特征图先经过空间自注意力模块和通道自注意力模块并行处理，然后融合为带有空间上下文信息和通道依赖关系的特征图，帮助后面的预测模块进行更准确的花粉颗粒预测。

4.1空间自注意力模块

该模块通过计算特征图像素点之间的相似性捕捉像素点之间的相关关系，从而得到融合空间上下文信息的特征图。计算过程如下：

4.1.1降低特征图通道数：空间自注意力模块的主要目的是得到特征图像素点之间的相关关系。所以先使用1×1卷积进行处理，减少特征图通道数，从而降低后续步骤的计算量。经实验，1×1卷积处理后的特征图通道数设定为原来的八分之一时效果较好。

4.1.2生成空间注意力权重矩阵：将原始特征图分别经过1×1卷积操作后得到两个特征图，然后对特征图进行矩阵相乘并使用Softmax函数进行处理。从而得到空间注意力矩阵a，如公式2如下。其中W₁和W₂表示1×1卷积，f_i和f_j表示特征图的第i个像素点和第j个像素点，T表示矩阵转置操作，a_ji表示j像素点感受野区域图像内容对i区域的相关性，即两个像素点越相似则具有更大的相关性。

a_ji＝Softmax((W₁f_i)^T(W₂f_j)) 公式2

4.1.2生成空间信息融合特征：将另外经过1×1卷积变换后的输入特征与空间注意力权重矩阵进行矩阵相乘，得到聚合所有空间上下文信息的融合特征b。如公式3所示，其中W₃表示1×1卷积。

b＝Softmax((W₁f_i)^T(W₂f_j))(W₃f_i) 公式3

4.1.3得到融合了空间上下文信息的特征图：将得到的融合特征b与原始输入特征进行逐元素相加，最终得到聚合了空间上下文信息的特征图s。如公式4所示，其中f_i表示输入特征图中的第i个像素点，f_j表示特征图的第j个像素点，s_i表示输出特征图的第i个像素点，NS代表特征图中像素点的总数量。λ表示空间信息融合特征在输出特征图中所占的权重，反映了融合特征在输出特征图中的重要性。λ初始化为0，即不将融合特征计入最后特征图，使模型首先关注相对简单的邻域信息。之后随着λ逐渐增大，逐步把权重分配到其他远距离特征上。

4.2通道自注意力模块

该模块通过计算特征图各通道之间的相似性捕捉通道之间的相关关系。另外，由于每个稠密块内的卷积层使用的是稠密连接的方式，所以该模块同时可以捕捉深层特征和浅层特征之间的相关关系，从而得到融合通道上下文信息的特征图。计算过程如下：

4.2.1生成通道注意力权重矩阵：将特征图转置后与原始特征图相乘，使用Softmax函数进行处理后得到通道注意力权重矩阵d。如公式5所示，此时f_m和f_n表示特征图的第m个通道和第n个通道，T表示矩阵转置操作，d_nm表示n通道与m通道的相关性，即两个通道越相似则具有更大的相关性。

d_nm＝Soft max(f_m ^Tf_n) 公式5

4.2.2生成通道信息融合特征：将原始特征图与通道注意力权重矩阵相乘，得到聚合了全部通道上下文信息的融合特征e。如公式6所示。

e＝Soft max(fm^Tf_n)f_m 公式6

4.2.3得到融合了通道上下文信息的特征图：将得到的融合特征e与原始特征进行逐元素相加，最终得到聚合了通道上下文信息的特征图c。如公式7所示，其中f_m表示输入特征图中的第m个通道特征，f_n表示输入特征图中的第n个通道特征，c_m表示输出特征图第m个通道的特征，NC表示特征图的通道总数，γ表示通道信息融合特征在输出特征图中所占权重，反映了融合特征在输出特征图中的重要性。γ初始化为0，之后随着γ的逐渐增大，逐步把权重分配给其他通道特征上。最终得到的特征是所有通道的特征加权和，各通道可以产生全局关联，具有更强的语义响应。

4.3特征图融合：

将得到的空间上下文信息特征图和通道上下文信息特征图逐元素相加，得到融合了全局上下文信息的特征图。此特征图将输入到最终的预测模块，用于最终的花粉颗粒信息的预测。如公式8所示，o表示最终的融合特征图，s表示空间上下文信息特征图，c表示通道上下文信息特征图：

o＝s+c 公式8

(5)预测花粉颗粒信息：将得到的特征图输入预测模块，预测花粉颗粒的信息。预测模块有花粉分类和位置回归两个分支。花粉分类分支负责预测当前检测区域是花粉颗粒或背景，位置回归分支负责预测花粉颗粒的精确位置。

5.1分类预测。

主要预测当前检测区域是花粉或是背景。经过两个1×1卷积操作后输出当前区域为花粉颗粒的概率值

当

大于0.5时，预测当前检测区域为花粉颗粒。

在训练过程中，使用交叉熵损失函数计算损失值Lc。如公式9所示，此时p代表真实标签，花粉表示为1，背景表示为0，

表示预测当前检测区域为花粉颗粒的概率值：

5.2位置回归

主要预测花粉的精确位置。经过两个1×1卷积操作后输出4个值

和

为预测边框的左上角点的坐标，

和

为右下角点的坐标。

在训练阶段，只有感受野和真实边框匹配时，位置回归分支才被激活。预测的回归边框向量被定义为：

其中RF_x和RF_y为当前感受野的中心坐标，RF_s为当前感受野的尺寸。设标注的花粉边框的左上角点的坐标和右下角点的坐标为

则设边框回归向量为

此时损失函数使用L2损失函数计算损失值Lb，如公式10所示：

Lb＝(bt-bp)² 公式10

训练阶段需要两个损失函数一起使用，并且两个损失值占有同样的比重。如公式11所示，此时Loss为最终使用的损失函数值。

Loss＝Lc+Lb 公式11。

Claims

1.一种基于双重自注意力模块的快速花粉颗粒检测算法，其特征在于，包括：

步骤一：对数据进行预处理和数据增强；

步骤二：将处理好的图像输入卷积神经网络，经过主干网络一系列卷积操作，卷积层生成特征图；

步骤三：将特征图进行降维，减少特征图通道数，然后与稠密块内后面的卷积层进行拼接，生成融合了浅层特征和深层特征的特征图；将预测分支对应的特征图输入到预测分支中进行处理；

步骤四：将输入到预测分支的特征图输入到双重自注意力模块进行处理，得到融合了空间和通道上下文信息的特征图；

步骤五：将该特征图输入预测模块，预测模块包含分类分支和位置回归分支；分类分支预测检测区域是否为花粉，如果是花粉，位置回归分支预测花粉颗粒精准位置；

所述步骤二中，主干网络由15个卷积层串联而成；其中第1层和第2层是长×宽×通道数的尺寸为3×3×64，步长为2的卷积核，第3层到第10层是尺寸为3×3×64，步长为1的卷积核；第11层是尺寸为3×3×128，步长为2的卷积核，第12层到第15层是尺寸为3×3×128，步长为1的卷积核；网络共包含2个稠密块，第2层到第10层为稠密块1，第11层到第15层为稠密块2；稠密块内的卷积层通过稠密连接的方式进行连接，并且每个稠密块有2个预测分支；网络共4个预测分支，分别连接网络的第8、10、13、15层；四个卷积层生成的特征图感受野尺寸分别为55，71，111，143，负责检测的花粉大小区间设置为[10,15]，[15,20]，[20,40]，[40,70]。

2.根据权利要求1所述的一种基于双重自注意力模块的快速花粉颗粒检测算法，其特征在于，所述步骤三中，特征图进行稠密连接之前需要进行降维，即使用1×1的卷积核进行处理；经处理的特征图通道数一般为原特征图的四分之一；如公式1所示：

f_after＝W_zipf_before 公式1

其中f_before表示降维前的特征图，f_after表示降维后的特征图，W_zip表示降维使用的1×1卷积核。

3.根据权利要求1所述的一种基于双重自注意力模块的快速花粉颗粒检测算法，其特征在于，所述步骤四中，预测分支由双重自注意力模块和预测模块构成；进入预测分支的原始特征图先经过空间自注意力模块和通道自注意力模块并行处理，然后融合为带有空间上下文信息和通道依赖关系的特征图，在输入到预测模块进行处理。

4.根据权利要求3所述的一种基于双重自注意力模块的快速花粉颗粒检测算法，其特征在于，空间自注意力模块处理特征图，捕捉特征图像素点之间的相关关系，生成聚合空间上下文信息的特征图；首先通过1×1卷积和Softmax函数生成空间注意力权重矩阵；进而通过1×1卷积对输入特征进行变换，并与注意力权重矩阵进行矩阵乘法运算，获得聚合所有空间信息的融合特征；最后将融合的特征与输入特征进行逐元素相加操作，以获得融合全部空间上下文信息的特征图s；计算方法如公式2所示：

其中的f_i表示输入特征图中第i个像素点,f_j表示输入特征图中第j个像素点，NS代表特征图像素点的总数量，T表示矩阵转置操作，W₁、W₂和W₃表示1×1的卷积核，卷积核数量一般为原特征图通道数的八分之一；λ表示空间信息融合特征在输出特征图中所占的权重，反映了融合特征在输出特征图中的重要性；λ初始化为0，即不将融合特征计入输出特征图，使模型首先关注相对简单的邻域信息；之后随着λ逐渐增大，逐步把权重分配到其他远距离特征上；s_i表示最后的输出特征图s的第i个像素点。

5.根据权利要求3所述的一种基于双重自注意力模块的快速花粉颗粒检测算法，其特征在于，通道自注意力模块处理特征图，通过计算特征图各通道之间的相似性捕捉通道之间的相关关系，从而得到融合通道上下文信息的特征图；首先对输入特征进行转置后和输入特征执行矩阵乘法运算，得到通道注意力权重矩阵；然后通过将输入特征与通道注意力权重矩阵进行矩阵相乘运算，获得融合所有通道上下文信息的融合特征；最后，将融合的特征与输入特征进行逐元素相加操作，以获得融合全部通道上下文依赖关系的特征图；计算方法如公式3所示：

其中f_m表示输入特征图中第m个通道特征，f_n表示输入特征图中第n个通道特征，NC表示特征图的通道总数，T表示矩阵转置操作，γ表示通道信息融合特征在输出特征图中所占的权重，反映了融合特征在输出特征图中的重要性；γ初始化为0，之后随着γ的逐渐增大，逐步把权重分配给其他通道特征上；最终得到的特征是所有通道的特征加权和，c_m表示输出特征图c的第m个通道特征。

6.根据权利要求3所述的一种基于双重自注意力模块的快速花粉颗粒检测算法，其特征在于，将得到的空间上下文信息特征图和通道上下文信息特征图进行逐元素相加操作，得到融合了全局上下文信息的特征图。

7.根据权利要求1所述的一种基于双重自注意力模块的快速花粉颗粒检测算法，其特征在于，所述步骤五中，预测模块分为花粉分类分支和位置回归分支；分类分支输出当前检测区域为花粉颗粒的概率值，当概率值大于0.5时，认为是花粉颗粒，否则是背景；如果认为是花粉颗粒，位置回归分支被激活，输出花粉颗粒预测边框的左上角和右下角的坐标。