CN110991511A - 一种基于深度卷积神经网络的向日葵作物种子分拣方法 - Google Patents

Abstract

本发明提出了一种基于深度卷积神经网络的向日葵作物种子分拣方法，其步骤为：首先，采集原始RGB向日葵种子图像数据并进行标注并随机分为训练样本集与验证样本集，然后对训练样本集和测试样本集进行扩增并标准化；其次，利用标准卷积、包含注意力机制模块的残差模块、池化层和分类器构建深度卷积神经网络，并对训练样本集进行训练，通过结合随机梯度下降算法对深度卷积神经网络中的网络参数进行优化，得到深度卷积神经网络模型；最后，利用验证样本集对深度卷积神经网络模型进行验证，测试模型的识别能力。本发明减小了训练模型所需的内存，能够自动地从向日葵种子的彩色样本图像中学习和提取得到鲁棒性强的特征，并且具有较高的识别率。

Description

一种基于深度卷积神经网络的向日葵作物种子分拣方法

技术领域

本发明涉及作物种子自动分拣的技术领域，特别是指一种基于深度卷积神经网络的向日葵作物种子分拣方法。

背景技术

作物种子自动分拣是自动化或半自动化工业生产的一项重要任务。作物种子的质量会对食品质量问题产生重要的影响，然而作物在采收以及储藏过程中会有大量的杂物混入，如叶、茎、发霉作物种子等，将对后续加工产品的质量产生影响。因此，正确识别和去除不良的种子和石子、叶片等杂质是保证产品质量的关键。然而，由于向日葵作物种子图像具有随机分布的特点，各种不良的向日葵种子以及其它杂物混合与正常的向日葵种子的区别往往不太明显，这在很大程度上提高了识别的难度。

现有的一些传统方法一般是通过提取种子图像的边缘、颜色、HOG等低层次的手工制作的特征。然而这些传统的视觉识别算法提取的图像特征自适应性较差，并且手工制作的特征难于提取高层次的对于分类任务至关重要的高维特征，因此传统的识别算法在种子分拣任务上的表现效果并不好。

传统视觉识别方法的识别率能够满足实际应用的要求。近年来，基于卷积神经网络(CNN)的目标检测与识别方法取得了很大的成功。基于卷积神经网络的方法虽然鲁棒性强并且具有较高的识别准确度，但是这些卷积神经网络训练好的模型的存储空间往往都需要上百兆并且需要很长的训练时间，在实际的生产中受到了硬件设备存储空间的限制。

发明内容

针对现有的视觉识别方法存在训练时间长的技术问题，本发明提出了一种基于深度卷积神经网络的向日葵作物种子分拣方法，减少了网络模型的训练时间以及模型保存所需的存储空间，同时又具有鲁棒性较强、识别精度高的特点。

本发明的技术方案是这样实现的：

一种基于深度卷积神经网络的向日葵作物种子分拣方法，其步骤如下：

S1：利用采集设备获取向日葵种子的原始图像，并利用人工对向日葵种子的原始图像进行标注设置标签，将向日葵种子的原始彩色图像分为训练样本集和验证样本集；

S2：通过的图像变换方式分别对训练样本集和验证样本集进行数据扩增，形成扩增训练样本集和扩增测试样本集；

S3：构建网络结构为卷积层I-卷积层II-池化层I-残差模块I-卷积层V-池化层II-卷积层VI-池化层III-残差模块II-池化层IV-全连接层-softmax的深度卷积神经网络；

S4：将扩增训练样本集输入步骤S3中的深度卷积神经网络进行训练，并结合随机梯度下降算法对深度卷积神经网络中的网络参数进行优化，得到深度卷积神经网络模型；

S5：利用扩增测试样本集对步骤S4得到的深度卷积神经网络模型进行验证，测试模型的识别能力。

所述步骤S1中的采集设备为摄像机，原始图像的尺寸为Q×Q像素，向日葵种子的原始彩色图像的标签为正常和不正常。

所述步骤S2中的图像变换方式包括角度变换、水平翻转和图像亮度变换。

所述角度变换的范围为[-15°,15°]。

所述步骤S3中残差模块I的结构为卷积层III-卷积层IV-注意力机制模块I，残差模块II的结构为卷积层VII-卷积层VIII-注意力机制模块II。

所述卷积层均是通过不同数量和尺寸的卷积核对输入图像卷积进行操作提取特征，卷积过程为：

其中，k_l,i为第l个卷积层中卷积核大小为k的第i个滤波器，x_i为第i个滤波器的输入特征图，l＝1,2，…，8为卷积层的个数，i＝1,2,…,c_l，c_l为第l个卷积层中滤波器的个数，v_l为第l个卷积层输出的特征图。

所述残差模块的计算方法为：

S31、根据残差函数计算两个卷积层输出的特征图之间的关系：v_l+1＝v_l-1+F(v_l-1,W_l)，其中，v_l-1为第l-1个卷积层输出的特征图，W_l第l个卷积层的权重，v_l+1为第l+1个卷积层输出的特征图，l取2或7，F(v_l-1,W_l)为特征图v_l-1和权重W_l的残差函数；

S32、利用全局平均池化层对特征图v_l+1进行压缩：

其中，W为特征图v_l+1的宽，H为特征图v_l+1的高，g_l+1,i为特征图v_l+1中第i个滤波器的全局信息；

S33、计算特征图v_l+1对应的卷积层的滤波器权重：s_i＝f(w₂δ(w₁g_l+1,i))，其中，f(·)为sigmoid函数，δ(·)为ReLU函数，w₁和w₂均为全连接层输出的参数；

S34、通过残差模块输出的特征图：

其中，c_l+1为第l+1个卷积层中滤波器的个数。

所述步骤S4中得到的深度卷积神经网络模型的训练方法为：

S41、设置深度卷积神经网络的学习率ε，初始化网络参数θ₀，设置输入图像的分辨率为M×M像素，类别数量为2，初始迭代次数t＝0，最大迭代次数为T；

S42、从扩增训练样本集中随机选取N张样本图像；

S43、将N张样本图像及其对应的标签输入深度卷积神经网络中进行训练，利用交叉熵损失函数衡量预测标签与真实标签的距离；

S44、根据预测标签与真实标签的距离利用随机梯度下降算法更新深度卷积神经网络的网络参数θ_t，返回步骤S43；

S45、循环步骤S42至步骤S44，直至遍历扩增训练样本集中所有样本；

S46、迭代次数t+1，返回步骤S42，直至达到最大迭代次数T时完成训练。

所述交叉熵损失函数为：

其中，x为神经网络中神经元的输出，x_j为第j个样本对应的神经元的输入，N'为扩增训练样本集的数量。

所述步骤S44中利用随机梯度下降算法更新深度卷积神经网络的网络参数θ_t的方法为：

其中，

为t次迭代时损失函数关于参数θ的偏导数，x⁽ⁱ⁾为第i个样本图像，i＝1,2,...,N，y⁽ⁱ⁾为深度卷积神经网络输出的预测值。

本技术方案能产生的有益效果：

1)本发明通过采用多层卷积提取向日葵种子图像的多层次特征，减少卷积层中卷积核的数量，大大减少了计算量。

2)本发明构建了两个残差学习的基本单元，通过跳跃式连接方式，特征信息可以在两个方向上直接传递，从而提高模型的学习能力。

3)本发明构建的深度卷积神经网络中使用四个最大池化层，增大了网络的感受野，并且在保留特征图的主要特征的同时，减小特征的维度。

4)本发明增加两个注意力机制模块建立特征图个通道之间的联系，有利于学习更具有鲁棒性的特征。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2为本发明的深度卷积神经网络模型示意图。

图3为本发明实施例的正常的向日葵种子的样本图像。

图4为本发明实施例的不正常的向日葵种子的样本图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于深度卷积神经网络的向日葵作物种子分拣方法，具体步骤如下：

S1：利用采集设备获取向日葵种子的原始图像，所述采集设备为摄像机，原始彩色图像的尺寸为Q×Q像素，且Q＝100。利用人工对向日葵种子的原始彩色图像进行标注设置标签，在此过程中，直接将同一类别向日葵作物种子放入同一个文件夹，并以图像所在文件夹的命名作为分类标签。所述向日葵种子的原始彩色图像共分为两类，则标签为正常和不正常。其中，将正常的归为一类，不正常的归为另一类。共采集到的向日葵种子的原始彩色图像有60000张，以4:1的比例分为训练样本集和验证样本集，其中，50000张图像作为训练样本集，10000张图像作为验证样本集。

S2：通过图像变换的方式分别对训练样本集和验证样本集进行数据扩增，形成扩增训练样本集和扩增测试样本集；其中图像变换包括角度变换、水平翻转和图像亮度变换。首先，分别对训练样本集和验证样本集通过在[-15°,15°]之间进行随机旋转角度变换、图像水平翻转、亮度变换的操作进行扩增，形成扩增训练样本集和扩增测试样本集，用于提高网络模型的泛化能力。其次，将扩增训练样本集和扩增测试样本集中的图像均缩放到224×224像素。最后，对扩增训练样本集和扩增测试样本集中的图像按通道进行标准化，为训练阶段做准备。

S3：构建网络结构为卷积层I-卷积层II-池化层I-残差模块I-卷积层V-池化层II-卷积层VI-池化层III-残差模块II-池化层IV-全连接层-softmax的深度卷积神经网络，其中卷积层I与卷积层II相连接，卷积层II与池化层I相连接，池化层I与残差模块I相连接，残差模块I与卷积层V相连接，卷积层V与池化层II相连接，池化层II与卷积层VI相连接，卷积层VI与池化层III相连接，池化层III与残差模块II相连接，残差模块II与池化层IV相连接，池化层IV与全连接层相连接，全连接层与softmax相连接，如图2所示，共有8个采用小通道数的卷积层Conv1-Conv8，首先对每个卷积层输出的结果进行批标准化(BatchNormalization，BN)，然后通过非线性激活函数ReLU(Rectified Linear Unit)函数激活得到特征图。其中，残差模块I的结构为卷积层III-卷积层IV-注意力机制模块I，且卷积层III与卷积层IV相连接，卷积层IV与注意力机制模块I相连接；残差模块II的结构为卷积层VII-卷积层VIII-注意力机制模块II，且卷积层VII与卷积层VIII相连接，卷积层VIII与注意力机制模块II相连接；卷积层III和卷积层IV采用跳跃连接方式相连接，卷积层VII和卷积层VIII采用跳跃连接方式相连接。池化层I、池化层II、池化层III和池化层IV均采用最大池化方式，池化层I、池化层II、池化层III和池化层IV分别对卷积层II、卷积层V、卷积层VI、卷积层VIII输出的特征图进行下采样，通过减少特征图的尺寸，从而减少模型的参数。残差模块中的注意力机制模块，实现对特征图的重新标定。最后，使用一个全连接层和一个softmax分类器对输入图像的特征向量进行分类。深度卷积神经网络结构的具体配置如表1所示。

表1.SE-ResNet8网络结构的配置

从表1可知，SE-ResNet8网络的第一层结构为Conv1-BN-ReLU，输入训练样本集图像大小为224×224×3，输出大小为112×112×32的特征图，其中，Conv1卷积核尺寸为3×3，滤波器的数量为32，卷积步长为2。SE-ResNet8网络的第二层结构为Conv2-BN-ReLU-MaxPool1，输入为第一层输出的大小为112×112×32的特征图，输出大小为56×56×64的特征图，其中，Conv2卷积核尺寸为3×3，滤波器的数量为64，卷积步长为1，Conv2输出大小为112×112×64的特征图，MaxPool1对Conv2输出的特征图进行最大池化操作，最大池化窗口大小为2×2，滑动步长为2，Conv2输出的特征图经MaxPool1后输出的特征图的尺寸减小一半。SE-ResNet8网络的第三层结构为Conv3-BN-ReLU-Conv4-BN-ReLU-注意力机制模块I，Conv3与Conv4的连接方式为跳跃连接，其中，Conv3与Conv4的卷积核尺寸均为3×3，Conv3与Conv4的滤波器的数量均为64，卷积步长为1，Conv4输出大小为56×56×128的特征图通过注意力机制模块I得到特征图不同的权值并与第二层结构输出的特征图相乘，实现对特征通道重新标定，增强有用的特征。SE-ResNet8网络的第四层结构为Conv5-BN-ReLU-MaxPool2-Conv6-BN-ReLU-MaxPool3，输入为第三层标定后的特征图，输出大小为14×14×256的特征图，其中，Conv5和Conv6的卷积核尺寸均为3×3，Conv5的滤波器的数量为128，Conv6的滤波器的数量为256，Conv5和Conv6的步长均为1，MaxPool2与MaxPool3的最大池化窗口大小均为2×2，滑动步长均为2。SE-ResNet8网络的第五层结构为Conv7-BN-ReLU-Conv8-BN-ReLU-注意力机制模块II，Conv7与Conv8的连接方式为跳跃连接，其中，Conv7与Conv8的卷积核尺寸均为3×3，Conv7与Conv8的滤波器的数量均为256，卷积步长为1，Conv8输出的特征图通过注意力机制模块II得到特征图不同的权值并与第二层结构输出的特征图相乘，实现对特征通道重新标定，增强有用的特征。

S4：将扩增训练样本集输入步骤S3中的深度卷积神经网络进行训练，并结合随机梯度下降算法对深度卷积神经网络中的网络参数进行优化，得到深度卷积神经网络模型。在训练过程中通过不断地从扩增训练样本集中读取图像重复训练过程，学习和调整深度卷积神经网络的权重。

所述卷积层均是通过不同数量和尺寸的卷积核对输入图像卷积进行操作提取特征，卷积过程为：

其中，k_l,i为第l个卷积层中卷积核大小为k的第i个滤波器，x_i为第i个滤波器的输入特征图，l＝1,2，…，8为卷积层的个数，i＝1,2,…,c_l，c_l为第l个卷积层中滤波器的个数，v_l为第l个卷积层输出的特征图。

所述最大池化操作就是将卷积层提取的特征图经激活函数激活后，以步长为2依次取2×2区域中的最大值。对在不改变特征图通道数量的情况下，通过减小特征图的尺寸，减少深度卷积神经网络计算的参数量并保留主要的特征。

所述残差模块的计算方法为：

S31、根据残差函数计算两个卷积层输出的特征图之间的关系：v_l+1＝v_l-1+F(v_l-1,W_l)，其中，v_l-1为第l-1个卷积层输出的特征图，W_l第l个卷积层的权重，v_l+1为第l+1个卷积层输出的特征图，l取2或7，F(v_l-1,W_l)为特征图v_l-1和权重W_l的残差函数；

S32、利用全局平均池化层对特征图v_l+1进行压缩：

其中，W为特征图v_l+1的宽，H为特征图v_l+1的高，g_l+1,i为特征图v_l+1中第i个滤波器的全局信息；所述深度卷积神经网络的注意力机制模块，由一个全局平均池化层，两个全连接层，一个sigmoid函数组成。在卷积神经网络中，卷积核感受野的大小受到其尺寸的限制，通过考虑特征通道之间的依赖性来重新校准通道特征，以增强导入到分类任务中的图像特征，注意力机制模块对卷积层的输出特征进行重新标定。其中，全局平均池化过程用于得到特征图的全局信息，首先将卷积层的输出特征图作为输入，然后使用全局平均池化层将H×W×C的特征图压缩转化为1×1×C的特征，即将每一个通道的特征图的值平均得到一个实数，用于表示为各个特征通道的全局上下文信息的权重。

S33、为了更好的利用全局平均池化使用两个全连接层，第一个全连接层使用参数r＝16将C个特征通道进行压缩，减少计算的参数量，第二个全连接层再使用参数r＝16恢复到C个通道，进而计算特征图v_l+1对应的卷积层的滤波器权重：s_i＝f(w₂δ(w₁g_l+1,i))，其中，f(·)为sigmoid函数，δ(·)为ReLU函数，w₁和w₂均为全连接层输出的参数。

S34、将卷积层的每个滤波器权重与卷积层输出的特征相乘获得残差模块输出的特征图：

其中，c_l+1为第l+1个卷积层中滤波器的个数。

所述深度卷积神经网络模型的训练方法为：

S41、设置深度卷积神经网络的学习率ε，初始化网络参数θ₀，设置输入图像的分辨率为M×M像素，M＝224，类别数量为2，初始迭代次数t＝0，最大迭代次数为T＝60；

S42、从扩增训练样本集中随机选取N张样本图像，其中，N＝64；

S43、将N张样本图像及其对应的标签输入深度卷积神经网络中进行训练，利用交叉熵损失函数衡量预测标签与真实标签的距离；所述交叉熵损失函数为：

其中，x为神经网络中神经元的输出，x_j为第j个样本对应的神经元的输入，N'为扩增训练样本集的数量。

S44、根据预测标签与真实标签的距离利用随机梯度下降算法更新深度卷积神经网络的网络参数θ_t，返回步骤S43；网络参数θ_t的更新方法为：

其中，

为t次迭代时损失函数关于参数θ的偏导数，x⁽ⁱ⁾为第i个样本图像，i＝1,2,...,N，y⁽ⁱ⁾为深度卷积神经网络输出的预测值。随机梯度下降算法的流程如表2所示。

表2.随机梯度下降算法的迭代过程

S45、循环步骤S42至步骤S44，直至遍历扩增训练样本集中所有样本；

S46、迭代次数t+1，返回步骤S42，直至达到最大迭代次数T时完成训练。

S5：利用扩增测试样本集对步骤S4得到的深度卷积神经网络模型进行验证，测试模型的识别能力。将包含5000张正常的向日葵种子图像和5000张不正常的向日葵种子图像的待测试样本集随机输入到已经训练好的模型中，正常的向日葵种子图像如图3所示，不正常的向日葵种子图像如图4所示。其中，有100张正常的向日葵种子被错误判断为不正常的向日葵种子，误检率为2％。有84张不正常的向日葵种子被错误判断为正常的向日葵种子，漏检率为1.68％，对整个扩增测试样本集的识别准确率为98.16％，且训练好的深度卷积网络模型的储存空间为11.9M。

本发明构建的深度卷积神经网络中，在卷积层之间增加了跳跃连接方式，减少了网络的训练时间。构建了两个注意力机制模块，对卷积特征通道重新标定，提高了特征表示能力。使用四个最大池化层，增加了网络的感受野，在减小特征图的尺寸同时保留了主要特征，节约计算。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，其步骤如下：

S1：利用采集设备获取向日葵种子的原始图像，并利用人工对向日葵种子的原始图像进行标注设置标签，将向日葵种子的原始彩色图像分为训练样本集和验证样本集；

S2：通过的图像变换方式分别对训练样本集和验证样本集进行数据扩增，形成扩增训练样本集和扩增测试样本集；

S3：构建网络结构为卷积层I-卷积层II-池化层I-残差模块I-卷积层V-池化层II-卷积层VI-池化层III-残差模块II-池化层IV-全连接层-softmax的深度卷积神经网络；

S4：将扩增训练样本集输入步骤S3中的深度卷积神经网络进行训练，并结合随机梯度下降算法对深度卷积神经网络中的网络参数进行优化，得到深度卷积神经网络模型；

S5：利用扩增测试样本集对步骤S4得到的深度卷积神经网络模型进行验证，测试模型的识别能力。

2.根据权利要求1所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述步骤S1中的采集设备为摄像机，原始图像的尺寸为Q×Q像素，向日葵种子的原始彩色图像的标签为正常和不正常。

3.根据权利要求1所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述步骤S2中的图像变换方式包括角度变换、水平翻转和图像亮度变换。

4.根据权利要求3所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述角度变换的范围为[-15°,15°]。

5.根据权利要求1所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述步骤S3中残差模块I的结构为卷积层III-卷积层IV-注意力机制模块I，残差模块II的结构为卷积层VII-卷积层VIII-注意力机制模块II。

6.根据权利要求1或5所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述卷积层均是通过不同数量和尺寸的卷积核对输入图像卷积进行操作提取特征，卷积过程为：

其中，k_l,i为第l个卷积层中卷积核大小为k的第i个滤波器，x_i为第i个滤波器的输入特征图，l＝1,2，…，8为卷积层的个数，i＝1,2,…,c_l，c_l为第l个卷积层中滤波器的个数，v_l为第l个卷积层输出的特征图。

7.根据权利要求1所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述残差模块的计算方法为：

S31、根据残差函数计算两个卷积层输出的特征图之间的关系：v_l+1＝v_l-1+F(v_l-1,W_l)，其中，v_l-1为第l-1个卷积层输出的特征图，W_l第l个卷积层的权重，v_l+1为第l+1个卷积层输出的特征图，l取2或7，F(v_l-1,W_l)为特征图v_l-1和权重W_l的残差函数；

S32、利用全局平均池化层对特征图v_l+1进行压缩：

其中，W为特征图v_l+1的宽，H为特征图v_l+1的高，g_l+1,i为特征图v_l+1中第i个滤波器的全局信息；

S33、计算特征图v_l+1对应的卷积层的滤波器权重：s_i＝f(w₂δ(w₁g_l+1,i))，其中，f(·)为sigmoid函数，δ(·)为ReLU函数，w₁和w₂均为全连接层输出的参数；

S34、通过残差模块输出的特征图：

其中，c_l+1为第l+1个卷积层中滤波器的个数。

8.根据权利要求1所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述步骤S4中得到的深度卷积神经网络模型的训练方法为：

S41、设置深度卷积神经网络的学习率ε，初始化网络参数θ₀，设置输入图像的分辨率为M×M像素，类别数量为2，初始迭代次数t＝0，最大迭代次数为T；

S42、从扩增训练样本集中随机选取N张样本图像；

S43、将N张样本图像及其对应的标签输入深度卷积神经网络中进行训练，利用交叉熵损失函数衡量预测标签与真实标签的距离；

S44、根据预测标签与真实标签的距离利用随机梯度下降算法更新深度卷积神经网络的网络参数θ_t，返回步骤S43；

S45、循环步骤S42至步骤S44，直至遍历扩增训练样本集中所有样本；

S46、迭代次数t+1，返回步骤S42，直至达到最大迭代次数T时完成训练。

9.根据权利要求8所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述交叉熵损失函数为：

其中，x为神经网络中神经元的输出，x_j为第j个样本对应的神经元的输入，N'为扩增训练样本集的数量。

10.根据权利要求8所述的基于深度卷积神经网络的向日葵作物种子分拣方法，其特征在于，所述步骤S44中利用随机梯度下降算法更新深度卷积神经网络的网络参数θ_t的方法为：

其中，

为t次迭代时损失函数关于参数θ的偏导数，x⁽ⁱ⁾为第i个样本图像，i＝1,2,...,N，y⁽ⁱ⁾为深度卷积神经网络输出的预测值。

Images