CN112580519B - 基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法 - Google Patents

Abstract

本发明涉及基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法，该方法包括以下步骤：(1)采集大豆图像建立数据集；(2)构建基于自适应混合特征重校准的深度学习模型；(3)对深度学习模型进行训练；(4)采用完成训练的深度学习模型对测试样本进行识别。本发明通过构建基于自适应混合特征重校准的深度学习模型对大豆表面损伤进行识别，解决了大豆种粒体积小、表面损伤细微，难以准确识别的问题，同时本发明所构建的深度学习模型相比于传统图像识别深度学习模型参数量及运算量大幅下降，为将该模型应用于便携式移动设备创造了条件。

Description

基于自适应混合特征重校准的深度学习模型的大豆损伤识别 方法

技术领域

本发明涉及大豆种子质量检测技术领域，具体涉及基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法。

背景技术

种子是农作物生产的基本要素之一，是农业生产的根本，全球约有90％的食用作物是通过种子进行种植的，而种子的优良程度是决定农作物产量及质量的关键因素。大豆是一种营养价值很高的农作物种子，被广泛应用于农业种植和各类动物饲养。

随着农业工程中科技程度的不断提升，机械化作业越来越广泛的应用于农业生产，而在收获、干燥、脱粒这一过程中难免造成机械损伤，使得大豆表面出现损伤。出现损伤的大豆在运输、保存过程中容易发生破碎、霉变从而导致大豆的发芽率降低，影响大豆的出苗率及最终产量。大豆的损伤主要是表面裂纹、霉变、开裂和破损等形式，这不仅影响大豆的品质，同时还影响储存和播种质量，因此对大豆损伤进行识别是保证种子质量所必需的环节。

目前针对大豆的损伤识别大多停留在肉眼观测、半机械式的物理检测和化学试剂检测，前两种方法检测效率慢、精度低，而化学方法会带来种子的不可逆损伤和检测周期较长等问题。

发明内容

本发明的目的在于提供一种基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法，该方法通过构建基于自适应混合特征重校准的深度学习模型对大豆表面损伤进行识别，提高了大豆损伤识别速度和识别准确率。

为实现上述目的，本发明采用了以下技术方案：

基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法，该方法包括以下步骤：

(1)采集大豆图像建立数据集。

(2)构建基于自适应混合特征重校准的深度学习模型。

(3)对深度学习模型进行训练。

(4)采用完成训练的深度学习模型对测试样本进行识别。

进一步的，步骤(1)所述的“采集大豆图像建立数据集”，其具体包括以下步骤：

(11)采集大豆图像，并根据不同损伤类型对所采集的图像进行标记，得到大豆图像的数据集。

(12)采用数据增强技术对数据集进行扩充，通过旋转不同角度、对原始图像进行水平和垂直翻转，对大豆图像的数据集进行数据扩充。

(13)对数据扩充后的数据集中的图像尺寸进行统一剪裁，将各图像尺寸均设置为224*224像素，将裁剪后的数据集分成训练集、验证集和测试集。

进一步的，所述基于自适应混合特征重校准的深度学习模型包括一个输入层、八个深度可分离卷积模块、六个带有自适应特征重校准功能的可分离卷积模块、一个全局平均池化层A和一个输出层。

所述输入层的输入数据为训练集，该数据为224*224*3的大豆彩色图片，其中224表示图片尺寸，单位为像素，3表示图片的通道数。

所述深度可分离卷积模块包括一个可分离卷积层、一个批归一化层和一个激活函数层；所述可分离卷积层包括深度卷积层和点卷积层。所述深度卷积层采用3*3大小的卷积核。所述点卷积层采用1*1大小的卷积核。经过深度卷积层后的特征图数量与输入特征图的通道数相同，无法对生成特征图进行扩展，并且无法有效利用特征图的位置信息，因此需要点卷积层对特征图信息进行整合。所述可分离卷积层，用于提取大豆图像的纹理信息，从浅层的边缘结构信息到深层的纹理语义结构信息，经过可分离卷积层操作后的输出称之为特征图。所述批归一化层，用于将特征图中各像素值减去均值再除以方差，使得数据经过处理之后变成均值为0、方差为1的正态分布，同时批归一化层，还用于减少深度学习模型在反向传播过程中可能出现的梯度消失等问题。所述激活函数层，用于提供深度学习的非线性建模能力，解决线性模型的表达能力不够的问题，作用在经过了批归一化后的特征图上。

所述带有自适应混合特征重校准功能的可分离卷积模块，包括一个全局平均池化层B、两个全连接层、两个激活函数层、一个空间注意力层、一个特征权重融合层。所述全局平均池化层B，用于对输入特征图中的每个通道求整个特征图的均值，以此实现通道注意力机制。

两个全连接层和两个激活函数层，用于对各通道间的相关性进行学习。两个激活函数层所采用的激活函数分别是ReLU函数和Sigmoid函数。具体的，假设全局平均池化层B的输入特征图为G，G作为第一个全连接层的输入，通过第一个全连接层进行降维后的输出特征图通道数为G通道数的1/16，然后将特征图利用ReLU激活函数进行激活，再将经过ReLU函数激活后的特征图作为第二个全连接层的输入，通过第二个全连接层后的特征图输出通道数与G的通道数相同，最后将该特征图利用Sigmoid函数进行激活获取通道权重，采用下式将该权重与G相乘，得到基于通道注意力的特征图ChannelAtt。

ChannelAtt＝Sigmoid(W₂*ReLU(W₁*G))

其中，W₁与W₂分别表示第一个与第二个全连接层的参数。

所述空间注意力层，用于针对各特征图在空间域中的关系，根据深度学习模型的反向传播算法分配对应权重，达到更精确的提取重要特征的目的。所述空间注意力层，采用下式对全局平均池化层B的输入特征图G的每一个通道的特征图进行整体的Sigmoid函数激活的到特征图，经过激活的特征图即为基于空间注意力的特征图PixelAtt：

PixelAtt＝Sigmoid([g₁,g₂,…g_N])

其中，[g₁,g₂,…g_N]为全局平均池化层B的输入特征图G的集合。

所述特征权重融合层，用于将基于通道注意力的特征图ChannelAtt与基于空间注意力特征图的PixelAtt进行权重融合，将ChannelAtt的各通道权重与PixelAtt的对应通道特征图进行相乘，然后将所得特征图再与全局平均池化层B的输入特征图G进行对应通道特征图和特征图上对应像素进行相乘，实现特征权重的融合。

所述全局平均池化层A，利用全局下采用的方法输出特征图，采用与输入特征图相同大小的感受野，在整体输入特征图上进行平均池化操作，全局平均池化保留了图像的微小特征，保证了图像的位置信息不被丢弃。所述全局平均池化层A，其作用是代替传统深度学习模型中广泛采用的全连接层，多数深度学习模型全连接层的参数量占到该模型参数总量的80％以上，因此使用全局平均池化层A极大地减少了深度学习模型的参数量，同时参数量的降低会使得模型更加健壮，抗过拟合效果更好。

所述输出层为全连接层，输出层的作用是输出深度学习模型的最终结果，其结果是对输入图片的标签描述，该层的结点个数与数据集中类别数目一致；

进一步的，步骤(2)所述的“构建基于自适应混合特征重校准的深度学习模型；”，其具体包括以下步骤：

(21)构建深度可分离卷积模块，首先提取大豆图像的纹理信息进行可分离卷积操作输出特征图；然后对输出特征图进行归一化处理，保持训练和测试数据的分布相同；最后使用ReLU激活函数对归一化结果进行激活。

设定使用深度可分离卷积方式代替传统卷积方式以减小模型参数量以及模型运算量，设定输入特征图F尺寸为Df*Df*M，其中，Df为特征图的边长，M为特征图的输入通道数；设定卷积核尺寸为Dk*Dk*M，输出特征图的尺寸为Df*Df*N，其中，N为输出特征图的通道数，则传统卷积方式的运算量为Dk*Dk*M*N，深度可分离卷积方式的运算量为(Dk*Dk*M+M*N)，则深度可分离卷积方式的参数运算量是传统卷积方式参数运算量的1/(N+Dk*Dk)，大幅减小了参数量。设定在深度可分离卷积后使用批归一化将经过深度可分离卷积的结果进行归一化处理，保持训练和测试数据的分布相同。设定在批归一化后使用ReLU激活函数对结果进行激活。

(22)构建自适应权重特征图融合机制，+表示自适应权重特征图融合机制；基于自适应混合特征重校准的深度学习模型是一种并行的模型架构，基于自适应混合特征重校准的深度学习模型中的上分支为主分支，下分支为次分支；设定上分支第一次进行“+”操作前的主分支为“主分支A”，次分支为“次分支A”；设定第一次“+”操作后，第二次“+”操作前的主分支为“主分支B”，次分支为“次分支B”。

设主分支A的输出特征图为F_A，采用以下公式求得主分支A的输出特征图：

其中，F表示输出特征图f的集合，W和H分别表示特征图的宽和高。

设次分支A的输出特征图为F_a，采用以下公式求得次分支A的输出特征图：

其中，F表示输出特征图f的集合，W和H分别表示特征图的宽和高。

设定自适应权重特征图融合机制，引入α、β两个自适应权重变量，初始值设为0-1之间的随机变量，满足α+β＝1的约束，通过网络的训练与反向传播算法自动更新该权重；设定主分支A与次分支A通过自适应特征图融合的结果为：

α的更新值为：

α＝α+Δα

其中，g表示模型总的损失函数的梯度，ρ₁、ρ₂、s、r、δ的值作为超参数分别设置为0.9、0.999、0、0、10e-8；β的更新同α的更新过程相同。

(23)构建自适应混合特征重校准模块，构成带有自适应混合特征重校准功能的可分离卷积模块；

首先，采用下式求得输入X经卷积操作后生成的特征图：

然后，进行压缩操作，利用全局平均池化的方法将空间维度进行特征压缩，采用下式将二维的特征通道变为一个具有全局感受野的实数：

其中，f_n表示F中第n个通道，(i,j)表示在该通道中的位置，H和W分别表示特征图的高和宽，s_n表示第n个通道经过压缩后的输出结果；经过压缩后的结果是一个1*1*N的输出，该输出包含了F中特征图的全局信息。

接着，采用下式对各通道间的相关性进行学习，对经过压缩后的输出结果进行激活；

e＝Excitation(s)＝Sigmoid(W₂*ReLU(W₁*s))

其中，s表示经过Squeeze操作后的输出结果，W₁与W₂分别表示第一个与第二个全连接层的参数，ReLU()和Sigmoid()表示激活函数，e表示激活后的输出结果；

最后，采用下式对全局平均池化层B的输入特征图F的每一个通道的特征图进行整体的Sigmoid函数激活，得到激活后的特征图，经过激活后的特征图为基于空间注意力的特征图PixelAtt：

PixelAtt＝Sigmoid([f₁,f₂,…,f_N])

其中，[f₁,f₂,…,f_N]为全局平均池化层B的输入特征图F的集合。

由以上技术方案可知，本发明通过构建基于自适应混合特征重校准的深度学习模型对大豆进行识别，该深度学习模型采用可分离卷积方法，大大减少了模型参数量，同时在模型中使用自适应混合特征重校准，提升了模型识别准确率和识别速度和识别准确率，同时通过对采集的大豆图像的数据集进行扩充，得到了大规模数据集，填补了大豆识别领域数据集的空白。本发明通过构建基于自适应混合特征重校准的深度学习模型对大豆表面损伤进行识别，解决了大豆种粒体积小、表面损伤细微，难以准确识别的问题，同时本发明所构建的深度学习模型相比于传统图像识别深度学习模型参数量及运算量大幅下降，为将该模型应用于便携式移动设备创造了条件。

附图说明

图1是本发明的方法流程图；

图2是基于自适应混合特征重校准的深度学习模型的网络结构示意图；

图3是自适应混合特征重校准方法的流程图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示的基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法，该方法包括以下步骤：

(1)采集大豆图像建立数据集。

(2)构建基于自适应混合特征重校准的深度学习模型。

(3)对深度学习模型进行训练。利用基于Adam优化器的随机梯度下降算法训练所述深度学习模型。

(4)采用完成训练的深度学习模型对测试样本进行识别。

进一步的，步骤(1)所述的“采集大豆图像建立数据集”，其具体包括以下步骤：

(11)采集大豆图像，并根据不同损伤类型对所采集的图像进行标记，得到大豆图像的数据集。

(12)采用数据增强技术对数据集进行扩充，通过旋转不同角度(±45°,±90°)、对原始图像进行水平和垂直翻转，对大豆图像的数据集进行数据扩充。通过对数据集进行扩充，建立了大规模数据集，填补了大豆识别技术领域数据集的空白。数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升自适应混合特征重校准的深度学习模型的鲁棒性。

(13)对数据扩充后的数据集中的图像尺寸进行统一剪裁，将各图像尺寸均设置为224*224像素，将裁剪后的数据集分成训练集、验证集和测试集。

如图2所示，所述基于自适应混合特征重校准的深度学习模型包括一个输入层、八个可分离卷积模块(SepConv Block)、六个带有自适应特征重校准功能的可分离卷积模块、一个全局平均池化层(GAP)和一个输出层(Dense)。所述输入层的输入数据为训练集，该数据为224*224*3的大豆彩色图片，其中224表示图片尺寸，单位为像素，3表示图片的通道数。

所述深度可分离卷积模块包括一个可分离卷积层、一个批归一化层和一个激活函数层；所述可分离卷积层包括深度卷积层和点卷积层。所述深度卷积层采用3*3大小的卷积核。所述点卷积层采用1*1大小的卷积核。经过深度卷积层后的特征图数量与输入特征图的通道数相同，无法对生成特征图进行扩展，并且无法有效利用特征图的位置信息，因此需要点卷积层对特征图信息进行整合。所述可分离卷积层，用于提取大豆图像的纹理信息，从浅层的边缘结构信息到深层的纹理语义结构信息，经过可分离卷积层操作后的输出称之为特征图。所述批归一化层，用于将特征图中各像素值减去均值再除以方差，使得数据经过处理之后变成均值为0、方差为1的正态分布，同时批归一化层，还用于减少深度学习模型在反向传播过程中可能出现的梯度消失等问题。所述激活函数层，用于提供深度学习的非线性建模能力，解决线性模型的表达能力不够的问题，作用在经过了批归一化后的特征图上。

所述带有自适应混合特征重校准功能的可分离卷积模块，包括一个全局平均池化层B、两个全连接层、两个激活函数层、一个空间注意力层、一个特征权重融合层。所述全局平均池化层B，用于对输入特征图中的每个通道求整个特征图的均值，以此实现通道注意力机制。

两个全连接层和两个激活函数层，用于对各通道间的相关性进行学习。两个激活函数层所采用的激活函数分别是ReLU函数和Sigmoid函数。该方法称为激活操作，其主要过程是将g映射到一个更短的向量上，通过ReLU函数后再映射回原来的长度，将得到的结果再通过Sigmoid函数进行处理。

具体的，假设全局平均池化层B的输入特征图为G，G作为第一个全连接层的输入，通过第一个全连接层进行降维后的输出特征图通道数为G通道数的1/16，然后将特征图利用ReLU激活函数进行激活，再将经过ReLU函数激活后的特征图作为第二个全连接层的输入，通过第二个全连接层后的特征图输出通道数与G的通道数相同，最后将该特征图利用Sigmoid函数进行激活获取通道权重，采用下式将该权重与G相乘，得到基于通道注意力的特征图ChannelAtt。

ChannelAtt＝Sigmoid(W₂*ReLU(W₁*G))

其中，W₁与W₂分别表示第一个与第二个全连接层的参数，其中，

r代表缩放系数(r＝16)。

所述空间注意力层，用于针对各特征图在空间域中的关系，根据深度学习模型的反向传播算法分配对应权重，达到更精确的提取重要特征的目的。所述空间注意力层，采用下式对全局平均池化层B的输入特征图G的每一个通道的特征图进行整体的Sigmoid函数激活的到特征图，经过激活的特征图即为基于空间注意力的特征图PixelAtt：

PixelAtt＝Sigmoid([g₁,g₂,…g_N])

其中，[g₁,g₂,…g_N]为全局平均池化层B的输入特征图G的集合。

所述特征权重融合层，用于将基于通道注意力的特征图ChannelAtt与基于空间注意力特征图的PixelAtt进行权重融合，将ChannelAtt的各通道权重与PixelAtt的对应通道特征图进行相乘，然后将所得特征图再与全局平均池化层B的输入特征图G进行对应通道特征图和特征图上对应像素进行相乘，实现特征权重的融合。自适应特征重校准是一种针对特征图中各通道间的关系，根据损失函数分配特征图的权重的一种方法，该方法的使用对提升模型性能有很大帮助。

所述全局平均池化层A，利用全局下采用的方法输出特征图，采用与输入特征图相同大小的感受野，在整体输入特征图上进行平均池化操作，全局平均池化保留了图像的微小特征，保证了图像的位置信息不被丢弃。所述全局平均池化层A，其作用是代替传统深度学习模型中广泛采用的全连接层，多数深度学习模型全连接层的参数量占到该模型参数总量的80％以上，因此使用全局平均池化层A极大地减少了深度学习模型的参数量，同时参数量的降低会使得模型更加健壮，抗过拟合效果更好。

所述输出层为全连接层，输出层的作用是输出深度学习模型的最终结果，其结果是对输入图片的标签描述，该层的结点个数与数据集中类别数目一致；

进一步的，步骤(2)所述的“构建基于自适应混合特征重校准的深度学习模型；”，其具体包括以下步骤：

(21)构建深度可分离卷积模块，首先提取大豆图像的纹理信息进行可分离卷积操作输出特征图；然后对输出特征图进行归一化处理，保持训练和测试数据的分布相同；最后使用ReLU激活函数对归一化结果进行激活。

设定使用深度可分离卷积方式代替传统卷积方式以减小模型参数量以及模型运算量，设定输入特征图F尺寸为Df*Df*M，其中，Df为特征图的边长，M为特征图的输入通道数；设定卷积核尺寸为Dk*Dk*M，输出特征图的尺寸为Df*Df*N，其中，N为输出特征图的通道数，则传统卷积方式的运算量为Dk*Dk*M*N，深度可分离卷积方式的运算量为(Dk*Dk*M+M*N)，则深度可分离卷积方式的参数运算量是传统卷积方式参数运算量的1/(N+Dk*Dk)，大幅减小了参数量。设定在深度可分离卷积后使用批归一化将经过深度可分离卷积的结果进行归一化处理，保持训练和测试数据的分布相同。设定在批归一化后使用ReLU激活函数对结果进行激活。

(22)构建自适应权重特征图融合机制；基于自适应混合特征重校准的深度学习模型是一种并行的模型架构，如图2所示，其中“+”表示自适应权重特征图融合机制，设定图2中所示的基于自适应混合特征重校准的深度学习模型中的上分支为主分支，下分支为次分支；设定上分支第一次进行“+”操作前的主分支为“主分支A”，次分支为“次分支A”；设定第一次“+”操作后，第二次“+”操作前的主分支为“主分支B”，次分支为“次分支B”。

设主分支A的输出特征图为F_A，采用以下公式求得主分支A的输出特征图：

其中，F表示输出特征图f的集合，W和H分别表示特征图的宽和高。

设次分支A的输出特征图为F_a，采用以下公式求得次分支A的输出特征图：

其中，F表示输出特征图f的集合，W和H分别表示特征图的宽和高。

设定自适应权重特征图融合机制，引入α、β两个自适应权重变量，初始值设为0-1之间的随机变量，满足α+β＝1的约束，通过网络的训练与反向传播算法自动更新该权重；设定主分支A与次分支A通过自适应特征图融合的结果为：

α的更新值为：

α＝α+Δα

其中，g表示模型总的损失函数的梯度，ρ₁、ρ₂、s、r、δ的值作为超参数分别设置为0.9、0.999、0、0、10e-8；β的更新同α的更新过程相同。

自适应权重特征图融合机制是通过特征权重融合层来实现的，特征权重融合层，用于将基于通道注意力的特征图ChannelAtt与基于空间注意力特征图的PixelAtt进行权重融合，将ChannelAtt的各通道权重与PixelAtt的对应通道特征图进行相乘，然后将所得特征图再与全局平均池化层B的输入特征图F进行对应通道特征图和特征图上对应像素进行相乘，实现特征权重的融合。

(23)构建自适应混合特征重校准模块，构成带有自适应特征重校准功能的可分离卷积模块。本发明所述的基于及适应通道特征重校准的深度学习模型采用了自适应混合特征重校准方法，给每个输入特征图的通道加入注意力机制，以区分不同通道的不同重要性。如图3所示，采用下式求得输入X经卷积等操作后生成的特征图：

其中，F表示特征图f的集合，特征图f的宽和高分别为W和H。

然后，进行压缩操作，利用全局平均池化的方法将空间维度进行特征压缩，采用下式将二维的特征通道变为一个具有全局感受野的实数：

其中，f_n表示F中第n个通道，(i,j)表示在该通道中的位置，H和W分别表示特征图的高和宽，g_n表示经过压缩后的输出结果；经过压缩后的结果是一个1*1*N的输出，该输出包含了F中特征图的全局信息。

接着，采用下式对各通道间的相关性进行学习，对经过压缩后的输出结果进行激活；

e＝Excitation(s)＝Sigmoid(W₂*ReLU(W₁*s))

其中，s表示经过Squeeze操作后的输出结果，W₁与W₂分别表示第一个与第二个全连接层的参数，ReLU()和Sigmoid()表示激活函数，e表示激活后的输出结果；

最后，采用下式对全局平均池化层B的输入特征图F的每一个通道的特征图进行整体的Sigmoid函数激活，得到激活后的特征图，经过激活后的特征图为基于空间注意力的特征图PixelAtt：

PixelAtt＝Sigmoid([f₁,f₂,…,f_N])

其中，[f₁,f₂,…,f_N]为全局平均池化层B的输入特征图F的集合。

卷积神经网络是一种基于卷积运算的深度学习模型，通过学习深层非线性特征，实现复杂函数的逼近，在图像的特征提取方面性能优异。传统卷积神经网络主要包括卷积层、池化层和全连接层等，然而常规卷积运算参数多，运算量大，对运算平台要求较高，针对这一问题本发明采用了深度可分离卷积替换常规卷积，使得模型参数有了较大程度的降低。池化层也叫作下采样层，常用的池化方式主要是最大值池化和均值池化，池化层一般包含在连续的卷积层之间，池化的作用首先是在图像处理中保持图像的特征不变性，其次是在保留图像主要特征的情况下减少参数量，防止过拟合，同时提高模型的泛化能力。然而无论是最大值池化还是均值池化，经过下采样后的图像都丢失了大量特征，在损伤识别中，由于大豆损伤形状的不规则性，图像的任何特征都应该得到保留，因此本发明所使用的模型不使用传统的池化层而是使用全局平均池化层，其目的就是保留图像的微小特征和保证图像的位置信息。为了提升模型的识别准确率，本发明重点考虑了特征通道之间的关系，利用不同通道重要程度的不同，采用自适应特征重标定的方法对各个通道中重要的特征进行提升，对不重要的特征进行抑制，最后将各通道的特征进行融合。

针对大豆种粒体积较小，表面损伤细微难以发现的问题，本发明提出了构建基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法。该深度学习模型采用并行架构设计，加速了模型训练的速度，提升了模型运算效率；采用深度可分离卷积方式代替传统卷积方式，极大的减少了模型参数量。所述基于自适应混合特征重校准的深度学习模型参数量为0.29M，传统深度学习模型如VGG16模型参数量为138M，Inception模型参数量为21.8M，ResNet50模型参数量为26M，模型参数量的减少降低了模型复杂度，方便了将该模型部署到便携式移动设备。采用带有自适应混合特征重校准功能的可分离卷积模块，融合了通道注意力机制与空间注意力机制，提升了模型在特征图中提取重要特征和微小特征的能力。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法，其特征在于：该方法包括以下步骤：

(1)采集大豆图像建立数据集；

(2)构建基于自适应混合特征重校准的深度学习模型；

(3)对深度学习模型进行训练；

(4)采用完成训练的深度学习模型对测试样本进行识别；

所述基于自适应混合特征重校准的深度学习模型包括一个输入层、八个深度可分离卷积模块、六个带有自适应混合特征重校准功能的可分离卷积模块、一个全局平均池化层A和一个输出层；

所述输入层的输入数据为训练集，该数据为224*224*3的大豆彩色图片，其中224表示图片尺寸，单位为像素，3表示图片的通道数；

所述深度可分离卷积模块包括一个可分离卷积层、一个批归一化层和一个激活函数层；所述可分离卷积层包括深度卷积层和点卷积层；所述深度卷积层采用3*3大小的卷积核；所述点卷积层采用1*1大小的卷积核；所述可分离卷积层，用于提取大豆图像的纹理信息，从浅层的边缘结构信息到深层的纹理语义结构信息，经过可分离卷积层操作后的输出称之为特征图；所述批归一化层，用于将特征图中各像素值减去均值再除以方差，使得数据经过处理之后变成均值为0、方差为1的正态分布；所述激活函数层，用于提供深度学习的非线性建模能力，作用在经过了批归一化后的特征图上；

所述带有自适应混合特征重校准功能的可分离卷积模块，包括一个全局平均池化层B、两个全连接层、两个激活函数层、一个空间注意力层、一个特征权重融合层；所述全局平均池化层B，用于对输入特征图中的每个通道求整个特征图的均值，以此实现通道注意力机制；

两个全连接层和两个激活函数层，用于对各通道间的相关性进行学习；两个激活函数层所采用的激活函数分别是ReLU函数和Sigmoid函数；假设全局平均池化层B的输入特征图为G，G作为第一个全连接层的输入，通过第一个全连接层进行降维后的输出特征图通道数为G通道数的1/16，然后将特征图利用ReLU激活函数进行激活，再将经过ReLU函数激活后的特征图作为第二个全连接层的输入，通过第二个全连接层后的特征图输出通道数与G的通道数相同，最后将该特征图利用Sigmoid函数进行激活获取通道权重，采用下式将该权重与G相乘，得到基于通道注意力的特征图ChannelAtt；

ChannelAtt＝Sigmoid(W₂*ReLU(W₁*G))

其中，W₁与W₂分别表示第一个与第二个全连接层的参数；

所述空间注意力层，用于针对各特征图在空间域中的关系，根据深度学习模型的反向传播算法分配对应权重；所述空间注意力层，采用下式对全局平均池化层B的输入特征图G的每一个通道的特征图进行整体的Sigmoid函数激活的到特征图，经过激活的特征图即为基于空间注意力的特征图PixelAtt：

PixelAtt＝Sigmoid([g₁,g₂,…g_N])

其中，[g₁,g₂,…g_N]为全局平均池化层B的输入特征图G的集合；

所述特征权重融合层，用于将基于通道注意力的特征图ChannelAtt与基于空间注意力特征图的PixelAtt进行权重融合，将ChannelAtt的各通道权重与PixelAtt的对应通道特征图进行相乘，然后将所得特征图再与全局平均池化层B的输入特征图G进行对应通道特征图和特征图上对应像素进行相乘，实现特征权重的融合；

所述全局平均池化层A，利用全局下采用的方法输出特征图，采用与输入特征图相同大小的感受野，在整体输入特征图上进行平均池化操作；

所述输出层为全连接层，输出层的作用是输出深度学习模型的最终结果，其结果是对输入图片的标签描述，该层的结点个数与数据集中类别数目一致。

2.根据权利要求1所述的基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法，其特征在于：步骤(1)所述的“采集大豆图像建立数据集”，其具体包括以下步骤：

(11)采集大豆图像，并根据不同损伤类型对所采集的图像进行标记，得到大豆图像的数据集；

(12)采用数据增强技术对数据集进行扩充，通过旋转不同角度、对原始图像进行水平和垂直翻转，对大豆图像的数据集进行数据扩充；

(13)对数据扩充后的数据集中的图像尺寸进行统一剪裁，将裁剪后的数据集分成训练集、验证集和测试集。

3.根据权利要求1所述的基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法，其特征在于：步骤(2)所述的“构建基于自适应混合特征重校准的深度学习模型；”，其具体包括以下步骤：

(21)构建深度可分离卷积模块，首先提取大豆图像的纹理信息进行可分离卷积操作输出特征图；然后对输出特征图进行归一化处理，保持训练和测试数据的分布相同；最后使用ReLU激活函数对归一化结果进行激活；

(22)构建自适应权重特征图融合机制，基于自适应混合特征重校准的深度学习模型中的上分支为主分支，下分支为次分支；设定上分支第一次进行“+”操作前的主分支为“主分支A”，次分支为“次分支A”；设定第一次“+”操作后，第二次“+”操作前的主分支为“主分支B”，次分支为“次分支B”；其中，+表示自适应权重特征图融合机制；

设主分支A的输出特征图为F_A，采用以下公式求得主分支A的输出特征图：F_A＝[f₁ ^A,f₂ ^A,...,f_N ^A],

其中，F表示输出特征图f的集合，W和H分别表示特征图的宽和高；

设次分支A的输出特征图为F_a，采用以下公式求得次分支A的输出特征图：F_a＝[f₁ ^a,f₂ ^a,...,f_N ^a],

其中，F表示输出特征图f的集合，W和H分别表示特征图的宽和高；

设定自适应权重特征图融合机制，引入α、β两个自适应权重变量，初始值设为0-1之间的随机变量，满足α+β＝1的约束，通过网络的训练与反向传播算法自动更新该权重；设定主分支A与次分支A通过自适应特征图融合的结果为：

αF_A+βF_a＝[αf₁ ^A+βf₁ ^a,αf₂ ^A+βf₂ ^a,...,αf_N ^A+βf₂ ^a]，s.t.α+β＝1；

α的更新值为：

α＝α+△α

其中，g表示模型总的损失函数的梯度，ρ₁、ρ₂、s、r、δ的值作为超参数分别设置为0.9、0.999、0、0、10e-8；β的更新同α的更新过程相同；

(23)构建自适应混合特征重校准模块，构成带有自适应混合特征重校准功能的可分离卷积模块；

首先，采用下式求得输入X经卷积操作后生成的特征图：

F＝[f₁,f₂,...,f_N]，

然后，进行压缩操作，利用全局平均池化的方法将空间维度进行特征压缩，采用下式将二维的特征通道变为一个具有全局感受野的实数：

其中，f_n表示F中第n个通道，(i,j)表示在该通道中的位置，H和W分别表示特征图的高和宽，s_n表示第n个通道经过压缩后的输出结果；经过压缩后的结果是一个1*1*N的输出，该输出包含了F中特征图的全局信息；

接着，采用下式对各通道间的相关性进行学习，对经过压缩后的输出结果进行激活；

e＝Excitation(s)＝Sigmoid(W₂*ReLU(W₁*s))

其中，s表示经过Squeeze操作后的输出结果，W₁与W₂分别表示第一个与第二个全连接层的参数，ReLU()和Sigmoid()表示激活函数，e表示激活后的输出结果；

最后，采用下式对全局平均池化层B的输入特征图F的每一个通道的特征图进行整体的Sigmoid函数激活，得到激活后的特征图，经过激活后的特征图为基于空间注意力的特征图PixelAtt：

PixelAtt＝Sigmoid([f₁,f₂,…,f_N])

其中，[f₁,f₂,…,f_N]为全局平均池化层B的输入特征图F的集合。

Images