CN110309880A - 一种基于注意力机制cnn的5天和9天孵化鸡蛋胚胎图像分类方法 - Google Patents

Abstract

本发明涉及‑种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，从而实现对鸡蛋胚胎活性检测并分拣，方法包括：1)提出了使用深度可分离卷积实现对已有的通道注意力特征图进行更充分的特征提取；2)采用空间金字塔空洞卷积生成高分辨率且大感受野的注意力权重图；3)通过逐元素乘法将权重掩膜对特征图进行空间加权，从而实现对有用信息增强而抑制噪声的作用。结果表明，注意力模块在卷积神经网络中起到特征选择器的作用，增强了卷积神经网络的特征表达的能力，从而提高了分类的准确度，成功解决了5日和9日鸡蛋胚胎人工分拣的效率低，劳动力消耗大等问题。

Description

一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类 方法

技术领域

本发明涉及一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，网络对类间区分性特征定位更加准确，特征表达能力更强，在鲁棒性以及准确性方面比现有技术更稳定，具有很好的分类性能，属于生物图像识别、深度学习计算机视觉领域。

背景技术

禽流感的预防主要通过接种疫苗的手段，目前禽流感疫苗的制备主要通过在鸡蛋胚胎中接种毒株然后增殖培养的方式进行，由于培养环境的影响、胚蛋个体对毒株敏感程度差异以及接种毒株时接种位置的差异，培养过程中的毒株胚蛋会出现非特异性死亡。在毒株胚蛋培养过程中，未剔除的死亡胚蛋会导致毒株增殖培养失败，因此毒株胚蛋的成活性检测与分类对禽流感疫苗的制备具有重要意义。目前国内的疫苗生产车间中基本上都采用人工照蛋的方式对胚蛋进行成活性检测，通过人眼观察光照下的胚蛋血管的特征进行判别。

在生产过程中，鸡蛋胚胎的成活性检测分5日，9日等不同孵化时期进行，5日作为最早胚胎，血管特征最不明显；9日是接种的第一批胚胎，除了死胚和活胚还会出现一类弱胚，检测最为严格。而采用传统人工照蛋检测方法，需要大批劳动力，检测效率较低，同时每个工人的评判标准不统一导致分选精度低，无法满足生产标准；另外由于工人长时间在黑暗环境下工作极易产生视觉疲劳，导致误检和漏检。因此，人工照蛋的方法无法满足禽流感疫苗大批量的生产要求和高标准的分选要求。

机器视觉技术已经被广泛应用于各行业的生产设备中，降低了生产成本，提高了产品的质量和成品率，推动了现代工业智能化的发展。使用机器视觉技术代替人工照蛋方法实现毒株胚蛋成活性检测不仅能成功避免人为主观因素干扰，而且还能提高生产效率、节省劳动力。但是基于传统图像处理的机器视觉方法必须采用复杂的图像算法进行特征提取，而生产过程批量采集的鸡蛋胚胎血管图像各不相同，因此图像处理算法的泛化能力无法满足每个胚胎图像的要求，因此特征提取效果不佳。

近年来，深卷积神经网络在计算机视觉和生物图像处理等领域表现出的性能优于现有技术，其拥有强大的特征学习能力，经过大样本训练后的模型具有很强的泛化能力。但是由于上述9日胚胎的特点，弱胚仍具有局部稀疏的血管，一般的分类网络容易将弱胚误判为活胚，影响了最终的准确率。为了解决上述问题，本发明提出一种新颖的注意力机制的卷积神经网络，更好地引导网络去定位学习类之间最具区分性的特征，可完成对5日胚胎和9日胚胎的高准确率分类，同时拥有更大的判别感受野，从而缓解了具有局部稀疏血管的弱胚误判的问题。

发明内容

本发明提出了一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法。本发明的注意力机制模块同时组合了通道注意力机制和空间注意力机制，使用残差模块堆叠成主干网络，应用已有的SENet模块生成基于通道的注意力机制特征图，后接通道分离卷积进行每个通道特征的充分提取，再采取空洞金字塔卷积提取多尺度语义信息，生成强语义的注意力特征显著图作为权重掩膜，与原始特征图进行加权，将上述密集特征提取操作组成模块作为空间注意力机制模块，插入到主干网络具有不同的分辨率的阶段，形成最后的分类网络。

本发明的技术方案，包括下列步骤：

步骤1：采集孵化鸡蛋胚胎血管图像，采用统一标准，对数据集进行人为划分类别，并进行预处理，统一裁剪到227x227；

步骤2：采用SE模块实现对特征的通道间加权，再通过通道分离卷积对每个加权的通道特征进行充分提取，后再通过空间金字塔空洞卷积提取丰富多尺度语义信息，从而生成强语义的特征显著权重图；

步骤3：将步骤2组合成密集特征提取模块插入到残差网络的不同分辨率阶段，利用特征显著权重图的加权增强网络的特征表达；

步骤4：将步骤1中得到的胚胎血管数据集输入到网络进行训练，利用训练好的分类模型进行孵化鸡蛋胚胎的分类。

与现有技术相比，本发明的有益效果是：

本发明在大量样本数据的基础上进行深度学习，避免了复杂的图像处理特征提取过程，因此人工照蛋检测法的低效率等问题可以用深卷积网络很好地解决。本发明联合使用了通道加权SENet模块，通道分离卷积特征提取，空间金字塔空洞卷积提取多尺度语义信息。其中通道分离卷积可以更好的特征提取，增强特征表达的效率；同时空间金字塔空洞卷积进行多尺度特征信息融合，更好地保留了血管特征细节，生成具有强语义的密集特征显著图，也具有更大的判别感受野；最后通过Sigmoid激活函数归一化为权重掩膜加权到主干网络上，使主干网络学习的重要特征更加增强，同时抑制不重要信息表达。将上述的模块嵌入到主干网络的不同阶段，随着网络的加深，注意力模型会越来越选择性地专注于有助于分类的特定目标上，从而增强网络的特征判别能力，将网络训练出来的深度模型部署到工程中，识别效率高，稳定性强，因此该算法可以在鸡蛋胚胎疫苗培养生产应用中实时运行。

附图说明

图1为本发明的基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法的流程图；

图2为数据采集装置；

图3为数据集样本；

图3(a)为5日胚胎数据样本；

图3(b)为9日胚胎数据样本；

图4为残差单元结构图；

图5为通道加权SE模块结构原理图；

图6密集像素空间注意力模块结构原理图；

具体实施方式

下面结合具体实施方式对本发明作进一步详细地描述。

本发明的流程图如图1所示，首先使用2500张5日的鸡蛋胚胎血管图像和10000张9日胚胎血管图像，5日和9日数据集中分别含有正负样本(死胚和活胚)比例为1∶1，并分别使用0，1作为标签，构建数据集；然后使用残差模块堆叠成主干网络，应用SENet模块生成基于通道的注意力机制特征图，后接通道分离卷积进行每个通道特征的充分提取，再采取空洞金字塔卷积提取多尺度语义信息，生成强语义的注意力特征显著图作为权重掩膜，与原始特征图进行加权，作为注意力机制模块，插入不同分辨率阶段的主干网络，形成最后的分类网络。

下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.实验对象

本发明使用工业相机进行批量采集5日和9日孵化的鸡蛋胚胎血管图像，原始大小为1280x960，为避免相邻鸡蛋的干扰，将原始图像进行感兴趣区域提取生成图像大小为227x227(单位为像素)。5日胚胎含有2500张数据集，其中随机选择300张作为验证集，200张作为模型的测试集，剩下为网络的训练集；9日胚胎含有10000张，其中3000张作为验证集，1436张作为模型的测试集。数据集均为活胚和死胚两个类别，正负样本均为1∶1，网络的训练是基于深度学习Caffe框架进行的。

2.通道加权注意力机制

本发明的通道注意力机制模块采用性能稳定的SE block，如图4所示。首先，该模块采用全局池化(图4中GP表示)，沿着空间维度将三维特征映射压缩为一维向量；其次采用全连接层连接，降低计算参数；后接Relu激活函数，增加网络的非线性；输出的特征映射再次通过一个全连接层将其恢复到原有大小；最后，通过Sigmoid激活函数归一化到[0，1]之间，该一维向量即为通道的权重，实现对原有通道进行重新加权。该模块将重点放在特征的通道关系上，提出新颖的结构单元，旨在通过建模通道间的相互依赖性关系，自适应动态地执行通道间的特征响应的自我重新校准，赋予每个通道不同的权重，从而提高网络的编码质量来增强特征表达能力。实验证明，SE block可以集成到现有的先进的网络中，仅稍微增加计算成本，但可带来显著的性能改进。

3.密集像素空间注意力机制模块

3.1通道分离卷积

本发明提出的密集像素空间注意力机制可以分为三个部分。首先，采用深度可分离卷积层来对已经加权的每个通道分别进行特征提取。如图5所示，SE模块输出的逐通道加权后的特征，然后我们的目标是沿着通道进行空间特征学习，于是在每个通道应用一个步长为1的3 x 3滤波器。与标准卷积相比，这种深度卷积运算更有效地提取特征，增强特征表示。但是，它只考虑了输入特征通道的独立性而忽略不同通道之间的语义的联系。因此，需要使用1 x 1卷积层来进行特征融合，这种卷积通过将高维特征转换为低维特征来提高计算效率。

3.2空洞卷积密集特征提取

其次，本发明使用空洞卷积取代标准卷积的方式进行特征提取。对于孵化鸡蛋胚胎的活性检测，血管是核心特征，因此小目标细节和多尺度特征的提取是关键。故本文采取空间金字塔空洞卷积的方式进行多尺度目标的提取，多尺度特征的融合不仅可以保持更多细节特征，同时提高了网络的感受野。如图5所示，我们采用具有不同采样率的空洞卷积层并行的进行特征提取，在不同的分辨率阶段，采样率各不相同。空洞卷积核大小为3x3，当分辨率为56x56，采用率rates＝{1，4，8}；当第二、三阶段分辨率分别为28x28和14x14的时，空洞卷积的采样率rates＝{1，2，4}；网络的最后一阶段的分辨率为7x7，空洞卷积的采样率rates＝{1，2}；于此同时，为了保持网络的特征语义丰富性，在上述并行的空洞卷积的基础上，再并行一路1x1的卷积层。为了加速网络的训练，本发明在每个空洞卷积层后面接上归一化(BN)层。

3.3多尺度特征融合

为了生成最终的有着丰富语义信息的注意力显著特征掩膜，网络将各并行空洞卷积层的输出通过插值法恢复到统一尺寸并且沿着通道维度进行特征融合；如图5所示，将融合后的特征通过一个1x1卷积层进行降维，减少参数，并通过Sigmoid激活函数，将特征归一化到[0，1]，该三维特征图即为密集像素注意力权重掩膜，每个像素代表一个权重，通过逐点相乘，将此权重掩膜加权到主干网络的特征上，完成空间像素级别加权，从而实现使重要语义信息更加显著，而同时抑制不重要的信息，增强的网络的特征表达能力。由于低层网络保留了更多的细节信息，深层网络更具有抽象语义，故网络还采用一个捷径连接(shortcut)，将加权后的特征图与浅层的SE block输出进行空间维度上特征融合，维护了特征的更多细节。

本发明联合使用了SE通道加权模块、通道分离卷积、空洞卷积进行密集特征提取，多尺度目标的学习，上述各个子模块组合成本发明的密集像素注意力机制模块。本发明使用已有表现良好的SE模块作为通道注意力模块，在此基础上生成空间注意力机制模块，二者共同完成对网络学习的特征进行自适应的细化和校准，提高了网络的特征表达和辨别能力。另外，本发明的注意力机制网络表现稳定，效率高，可部署至实际生产中运行。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (7)

1.一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，包括下列步骤：

步骤1：采集孵化鸡蛋胚胎血管图像；

步骤2：使用残差单元进行堆叠作为CNN主干，进行特征提取和下采样；

步骤3：采用SE模块实现特征的通道间加权，再采取通道分离卷积进行特征提取。

步骤4：使用金字塔空洞卷积对步骤3生成的特征图进行多尺度特征提取，生成具有强语义信息、高分辨率和大感受野的注意力权重掩膜；

步骤5：通过逐元素乘积，实现权重掩膜对特征图在空间上进行像素级别加权，从而可以增强关键特征而抑制噪声和无用特征，起到特征选择器的作用；

步骤6：将步骤3、4、5组合作为注意力机制分支模块嵌入到具有不同分辨率阶段的主干网络中形成最终的分类网络。

2.根据权利要求1所述的一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，其特征在于，步骤2中，残差单元由2个1×1卷积层和1个3×3卷积层组成，1×1卷积层的使用减少了计算量，同时在模块的输入和输出有一个恒等映射，这可以让网络随着深度增加而梯度不消失。

3.根据权利要求1所述的一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，其特征在于，步骤3中，采用SE模块，通过建模通道间的联系，实现通道间的特征自适应校准。

4.根据权利要求1所述的一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，其特征在于，步骤3中，采用通道分离卷积方式，对校准后的特征先进行逐通道卷积，再采取1×1卷积层进行特征融合。

5.根据权利要求1所述的一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，其特征在于，步骤4中，采取空间金字塔卷积方式，进行多尺度语义信息的特征融合，维护特征图的细节信息，并进行归一化，生成权重掩膜。

6.根据权利要求1所述的一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，其特征在于，步骤5中，将上述生成的具有丰富语义信息的三维权重掩膜与原始特征进行空间上的逐点相乘，完成对特征像素级别的重新标定。

7.根据权利要求1所述的一种基于注意力机制CNN的5天和9天孵化鸡蛋胚胎图像分类方法，其特征在于，步骤6中，将步骤3、4、5组合成注意力机制模块，与残差网络的主干进行集成，嵌入到网络不同分辨率的各个阶段。