CN111310756B - 一种基于深度学习的损伤玉米颗粒检测和分类方法 - Google Patents

Abstract

一种基于深度学习的损伤玉米颗粒检测和分类方法，由图像采集、图像处理、构建改进的目标检测网络、生成锚点、寻找困难样本、获取候选框、候选框映射、分类和GIoU回归、训练网络模型测试网络模型步骤组成。在特征提取网络DetNet中引入SE模块和新的网络分支，构成改进的目标检测网络模型，提升了特征图中有用的特征并抑制，增加了特征图中的信息，对不同网络层得到的特征图进行加权融合，使特征图整合更多的全局信息；采用GA‑RPN网络生成锚点，增加了网络模型的训练效率，采用GIoU作为回归损失函数，提升了图像中损伤玉米颗粒检测精度。本发明对损伤玉米颗粒的检测和分类精度较高，可检测出图像中损伤玉米颗粒。

Description

一种基于深度学习的损伤玉米颗粒检测和分类方法

技术领域

本发明属于图像目标检测和分类技术领域，具体涉及到损伤玉米颗粒检测和分类。

背景技术

采用手工的方法对玉米颗粒进行检测和分类费时费力，传统的机器学习方法检测损伤玉米颗粒往往需要手动提取特征，而且对于图像中的大量玉米颗粒，需要对图像中的玉米颗粒进行分割，检测效率不高。

随着深度学习在计算机视觉领域的发展和广泛应用，深度学习在传统机器学习和图像领域取得了惊人的成绩，特别是在图像中的目标检测领域，基于深度学习的目标检测网络模型(如FasterR-CNN，SSD，YOLO等)不断的改进，一次又次地提高图像中的目标检测精度。与此同时，使用深度学习的方法解决农业领域问题的研究也日益增多，使用深度学习的方法自动对图像中的目标特征进行提取和识别，极大地提高了检测的效率。武勇等人公开了一种建立粮食不完善粒图像识别样本库的方法及系统，建立了基于深度学习网络模型的不完善颗粒检测系统。武勇等人公开了一种基于深度卷积网络模型的粮食籽粒检测与计数的方法及装置，通过训练网络模型参数对粮食目标进行检测和计数。

特征提取网络DetNet(Detection Network，Li,Z.,Peng,C.,Yu,G.,Zhang,X.,Deng,Y.,&Sun,J.(2018).Detnet:A backbone network for object detection.arXivpreprint arXiv:1804.06215.)中获得较高感受野的特征图同时保证了特征图分辨率足够大，但是特征提取网络中使用空洞卷积会产生网格效应，对小目标的特征提取效果不明显。SE(Squeeze-and-Excitation，Hu,J.,Shen,L.,&Sun,G.(2018).Squeeze-and-Excitationnetworks.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,7132–7141.)模块用于学习特征图通道之间的相关性，提升特征提取网络得到的特征图中的有用特征并抑制对当前任务用处不大的特征，对特征图进行缩放。GA-RPN(Region ProposalNetwork by Guided Anchoring，Wang,J.,Chen,K.,Yang,S.,Loy,C.C.,&Lin,D.(2019).Region proposal by guided anchoring.In Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition(pp.2965-2974).)网络，可以自动提取特征图中包含目标区域的锚点，避免了大量无效或重复锚点的生成，降低生成锚点的数量。

发明内容

本发明要解决的技术问题在于克服上述现有技术的缺点，提供一种检测精度高、检测效率高的基于深度学习的损伤玉米颗粒检测和分类方法。

解决上述技术问题所采用的技术方案是由以下步骤组成：

(1)图像采集

用彩色数码相机采集玉米颗粒的图像。

(2)图像处理

将采集到的图像统一调整到600×800像素，人工标注图像中玉米颗粒，按发霉、虫蛀、正常类别的左上角和右下角位置坐标制成标签，将图像和标签制作成Microsoft COCO数据集格式，随机选定数据集的80％作为训练集、20％作为测试集。

(3)构建改进的目标检测网络

1)构建目标特征缩放模块和目标特征空洞缩放模块

DetNet模块与SE模块构成目标特征缩放模块，SE模块包含依次相连的1个全局平均池化层、1个全连接层、1个ReLU层、1个全连接层、1个Sigmoid层，DetNet模块包含依次相连的1层1×1的卷积、1层3×3的卷积、1层1×1的卷积；3×3的卷积中不设置有空洞率的是目标特征缩放模块、设置有空洞率的是目标特征空洞缩放模块，其构建方法如下：

从训练集的图像中提取特征图，输入到DetNet模块提取特征，得到新的特征图，并与输入的特征图进行融合，引入SE模块对输入到DetNet模块的W×H×C特征图的每个通道进行全局平均池化转换为1×1×C特征向量，其中W和H为特征图的宽和高，C为特征图的通道数，用1个全连接层减少特征向量的通道数，经ReLU层、全连接层、Sigmoid函数得到1×1×C的特征权重，将特征权重与DetNet模块提取特征后的特征图相乘，得缩放的特征图，缩放的特征图和输入到DetNet模块前的特征图再次融合，得融合后的特征图，在DetNet模块中不设置有空洞率构建成目标特征缩放模块，设置有空洞率构建成目标特征空洞缩放模块。

2)构建改进的目标检测网络

目标检测网络包括三个阶段和两个分支支路，第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图，输出到第二阶段；第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图，输出到第三阶段；第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图，输出到左分支网络和右分支网络。

左分支网络包括3个分支网络，左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图，输出到左分支的第二分支网络，左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图，输出到左分支的第三分支网络，左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。

右分支网络包括3个分支网络，右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第二分支网络，右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第三分支网络，右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图；左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图，加权融合，融合的权重比的和为1，得到加权融合后的特征图，构建成改进的目标检测网络。

(4)生成锚点

将加权融合后的特征图输出到GA-RPN网络，生成包含玉米颗粒目标区域的锚点。

(5)寻找困难样本

设定锚点划分的区间数，根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间，对每个区间均匀采样，寻找包含玉米颗粒目标区域的锚点中的困难样本。

(6)获取候选框

将包含玉米颗粒目标区域的锚点作为候选框输出到分类网络，不含有玉米颗粒目标区域锚点判定为背景。

(7)候选框映射

将候选框通过分类网络的感兴趣区域池化层映射到步骤(3)中加权融合后的特征图，得到包含玉米颗粒目标位置候选框的特征图。

(8)分类和GIoU回归

将包含玉米颗粒目标位置候选框的特征图输出到分类网络的全连接层，对特征图中的玉米颗粒候选框进行分类，得到图像中每个玉米颗粒的损伤类别和判断为该类别的概率值，使用泛化交并比GIoU回归方法对该特征图中的候选框的位置进行精修，得到损伤玉米颗粒精确位置，用方形框在图像中标注每一颗玉米颗粒的位置，在方形框上方标注玉米颗粒的类别和概率值。

(9)训练网络模型

使用训练集以端到端的方法训练改进的目标检测网络模型、GA-RPN网络、分类网络，得到训练好的整体网络模型。

(10)测试网络模型

使用测试集测试训练好改进的目标检测网络模型，得到测试集中损伤玉米颗粒的检测和分类结果。

在本发明的寻找困难样本步骤(5)中，所述的寻找困难样本的方法为：

确定预测锚点与真实标签的泛化交并比值GIoU：

其中V是包含真实标签框A和预测锚点框B的最小凸形面积，IoU是预测锚点与真实标签的交并比。

根据泛化交并比GIoU的值将锚点从大到小排序，均匀划分为K个采样区间，对每个区间均匀采样，并计算每个区间锚点样本的采样概率p_k：

其中N是总样本数、为有限的正整数，K是对采样空间划分的区间数、K[5,6,…,20]，M_k是每个区间不为0的抽样的样本数、M_k＜N，N是大于2的有限的正整数，根据每个区间的采样概率，在相应的区间随机筛选相同数量的样本，实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。

在本发明的分类和GIoU回归步骤(8)中，所述的泛化交并比GIoU回归方法为：

将被反向传播的泛化交并比GIoU作为回归候选框的损失函数L_GIoU，在分类网络中用作优化的目标函数，将泛化交并比GIoU作为预测候选框和真实标签的测量指标，使用损失函数L_GIoU优化目标检测网络；损失函数L_GIoU按下式确定：

L_GIoU＝1-GIoU

本发明在特征提取网络DetNet中引入SE模块，构成目标特征缩放模块和目标特征空洞缩放模块，提升网络提取的特征图中有用特征并抑制对当前任务用处不大的特征，使得图像中目标的有效特征更为明显；网络的第三阶段分为左分支网络和右分支网络，分别对特征图提取特征，获取图像更丰富的特征信息，网络的左右两个分支得到的特征图进行加权融合，提升了特征图包含的全局信息，使特征图中包含更多的细节信息。在生成锚点时采用自动生成锚点的GA-RPN(Region ProposalNetwork by Guided Anchoring，自适应锚点区域生成网络)网络，避免了大量无效或重复锚点的生成，生成锚点的数量大大降低，且使用GIoU(Generalized Intersection over Union，泛化交并比)平衡采样策略在GA-RPN生成的锚点中寻找困难样本，有效地提升了锚点中高GIoU区间的样本比例，将难样本的分布和采样匹配，在不增加计算量的前提下，提高了困难样本的比例，使训练好的网络模型具有更高的鲁棒性，提升了对网络模型的训练效率和准确性。在对候选框进行位置精修时采用GIoU回归的方法，能够更加准确地获取损伤玉米颗粒在图像中的位置，提高了粮食颗粒的检测精度和效率。

附图说明

图1是本发明实施例1的流程图。

图2是玉米颗粒检测结果照片。

图3是完好玉米颗粒检测结果照片。

图4是发霉玉米颗粒检测结果照片。

图5是虫蛀玉米颗粒检测结果照片。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。

在图1中，本实施例的基于深度学习的损伤玉米颗粒检测和分类方法由下述步骤组成：

(1)图像采集

用彩色数码相机采集玉米颗粒的图像。

(2)图像处理

将采集到的图像统一调整到600×800像素，人工标注图像中玉米颗粒，按发霉、虫蛀、正常类别的左上角和右下角位置坐标制成标签，将图像和标签制作成Microsoft COCO数据集格式，随机选定数据集的80％作为训练集、20％作为测试集。

(3)构建改进的目标检测网络

1)构建目标特征缩放模块和目标特征空洞缩放模块

DetNet模块与SE模块构成目标特征缩放模块，SE模块包含依次相连的1个全局平均池化层、1个全连接层、1个ReLU层、1个全连接层、1个Sigmoid层，DetNet模块包含依次相连的1层1×1的卷积、1层3×3的卷积、1层1×1的卷积；3×3的卷积中不设置有空洞率的是目标特征缩放模块、设置有空洞率的是目标特征空洞缩放模块，其构建方法如下：

从训练集的图像中提取特征图，输入到DetNet模块提取特征，得到新的特征图，并与输入的特征图进行融合，引入SE模块对输入到DetNet模块的W×H×C特征图的每个通道进行全局平均池化转换为1×1×C特征向量，其中W和H为特征图的宽和高，C为特征图的通道数，用1个全连接层减少特征向量的通道数，经ReLU层、全连接层、Sigmoid函数得到1×1×C的特征权重，将特征权重与DetNet模块提取特征后的特征图相乘，得缩放的特征图，缩放的特征图和输入到DetNet模块前的特征图再次融合，得融合后的特征图，在DetNet模块中不设置有空洞率构建成目标特征缩放模块，设置有空洞率构建成目标特征空洞缩放模块。

2)构建改进的目标检测网络

目标检测网络包括三个阶段和两个分支支路，第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图，输出到第二阶段；第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图，输出到第三阶段；第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图，输出到左分支网络和右分支网络。

左分支网络包括3个分支网络，左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图，输出到左分支的第二分支网络，左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图，输出到左分支的第三分支网络，左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。

右分支网络包括3个分支网络，右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第二分支网络，右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第三分支网络，右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图；左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图，加权融合，融合的权重比为{0.10，0.10，0.15，0.15，0.25，0.25}，和为1，得到加权融合后的特征图，构建成改进的目标检测网络。

(4)生成锚点

将加权融合后的特征图输出到GA-RPN网络，生成包含玉米颗粒目标区域的锚点。

(5)寻找困难样本

设定锚点划分的区间数，根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间，对每个区间均匀采样，寻找包含玉米颗粒目标区域的锚点中的困难样本。

所述的寻找困难样本的方法为：

确定预测锚点与真实标签的泛化交并比值GIoU：

其中V是包含真实标签框A和预测锚点框B的最小凸形面积，IoU是预测锚点与真实标签的交并比。

根据泛化交并比GIoU的值将锚点从大到小排序，均匀划分为K个采样区间，对每个区间均匀采样，并计算每个区间锚点样本的采样概率p_k：

其中N是总样本数、为有限的正整数，K是对采样空间划分的区间数、K∈[5,6,…,20]，本实施例选取K为12，M_k是每个区间不为0的抽样的样本数、M_k＜N，N是大于2的有限的正整数，根据每个区间的采样概率，在相应的区间随机筛选相同数量的样本，实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。

(6)获取候选框

将包含玉米颗粒目标区域的锚点作为候选框输出到分类网络，不含有玉米颗粒目标区域锚点判定为背景。

(7)候选框映射

将候选框通过分类网络的感兴趣区域池化层映射到步骤(3)中加权融合后的特征图，得到包含玉米颗粒目标位置候选框的特征图。

(8)分类和GIoU回归

将包含玉米颗粒目标位置候选框的特征图输出到分类网络的全连接层，对特征图中的玉米颗粒候选框进行分类，得到图像中每个玉米颗粒的损伤类别和判断为该类别的概率值，使用泛化交并比GIoU回归方法对该特征图中的候选框的位置进行精修，得到损伤玉米颗粒精确位置，用方形框在图像中标注每一颗玉米颗粒的位置，在方形框上方标注玉米颗粒的类别和概率值。

所述的泛化交并比GIoU回归方法如下：

将被反向传播的泛化交并比GIoU作为回归候选框的损失函数L_GIoU，在分类网络中用作优化的目标函数，将泛化交并比GIoU作为预测候选框和真实标签的测量指标，使用损失函数L_GIoU优化目标检测网络；损失函数L_GIoU按下式确定：

L_GIoU＝1-GIoU

(9)训练网络模型

使用训练集以端到端的方法训练改进的目标检测网络模型、GA-RPN网络、分类网络，得到训练好的整体网络模型。

(10)测试网络模型

采用测试集测试训练好改进的目标检测网络模型，按以下评价指标对检测结果的精确率P和召回率R进行计算：

其中TP为检测结果中真阳性样本数，FP为检测结果中假阳性样本数，FN为检测结果中假阴性样本数；

按下式计算平均精度AP：

其中P(R)代表召回率R依次取{0,0.1,…1}时对应的精确率P的值。

按下式计算完好、发霉、虫蛀3种玉米颗粒的平均平均精度mAP：

/>

其中M为类别数，本实施例中M为3，(AP)_j为第j类玉米颗粒的平均精度，计算出测试集中3种类别的玉米颗粒平均精度和平均平均精度如表1所示，检测和分类结果见图2-5。

表1损伤玉米颗粒的检测结果

类别	完好玉米颗粒平均精度	发霉玉米颗粒平均精度	虫蛀玉米颗粒平均精度	平均平均精度
					值	98.4％	95.6％	97.9％	97.3％

由表1可见训练好的网络模型对图像中完好、发霉、虫蛀玉米颗粒的检测和分类的平均精度都很高。

由图2-5可见训练好的网络模型能够检测出图像中完好、发霉、虫蛀损伤玉米颗粒的准确位置和类别。

实施例2

本实施例的基于深度学习的损伤玉米颗粒检测和分类方法由下述步骤组成：

(1)图像采集

该步骤与实施例1相同。

(2)图像处理

该步骤与实施例1相同。

(3)构建改进的目标检测网络

本实施例的构建改进的目标检测网络2)如下：

目标检测网络包括三个阶段和两个分支支路，第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图，输出到第二阶段；第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图，输出到第三阶段；第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图，输出到左分支网络和右分支网络。

左分支网络包括3个分支网络，左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图，输出到左分支的第二分支网络，左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图，输出到左分支的第三分支网络，左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。

右分支网络包括3个分支网络，右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第二分支网络，右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第三分支网络，右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图；左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图，加权融合，融合的权重比为{0.08，0.08，0.12，0.12，0.30，0.30}，和为1，得到加权融合后的特征图，构建成改进的目标检测网络。该步骤的其它步骤与实施例1相同。

(4)生成锚点

该步骤与实施例1相同。

(5)寻找困难样本

设定锚点划分的区间数，根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间，对每个区间均匀采样，寻找包含玉米颗粒目标区域的锚点中的困难样本。

所述的寻找困难样本的方法为：

确定预测锚点与真实标签的泛化交并比值GIoU：

其中V是包含真实标签框A和预测锚点框B的最小凸形面积，IoU是预测锚点与真实标签的交并比。

根据泛化交并比GIoU的值将锚点从大到小排序，均匀划分为K个采样区间，对每个区间均匀采样，并计算每个区间锚点样本的采样概率p_k：

其中N是总样本数、为有限的正整数，K是对采样空间划分的区间数、K∈[5,6,…,20]，本实施例选取K为5，M_k是每个区间不为0的抽样的样本数、M_k＜N，N是大于2的有限的正整数，根据每个区间的采样概率，在相应的区间随机筛选相同数量的样本，实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。

其它步骤与实施例1相同，得到测试集中损伤玉米颗粒的检测和分类结果。

实施例3

本实施例的基于深度学习的损伤玉米颗粒检测和分类方法由下述步骤组成：

(1)图像采集

该步骤与实施例1相同。

(2)图像处理

该步骤与实施例1相同。

(3)构建改进的目标检测网络

本实施例的构建改进的目标检测网络2)如下：

目标检测网络包括三个阶段和两个分支支路，第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图，输出到第二阶段；第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图，输出到第三阶段；第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图，输出到左分支网络和右分支网络。

左分支网络包括3个分支网络，左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图，输出到左分支的第二分支网络，左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图，输出到左分支的第三分支网络，左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。

右分支网络包括3个分支网络，右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第二分支网络，右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第三分支网络，右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图；左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图，加权融合，融合的权重比为{0.12，0.12，0.15，0.15，0.23，0.23}，和为1，得到加权融合后的特征图，构建成改进的目标检测网络。该步骤的其它步骤与实施例1相同。

(4)生成锚点

该步骤与实施例1相同。

(5)寻找困难样本

设定锚点划分的区间数，根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间，对每个区间均匀采样，寻找包含玉米颗粒目标区域的锚点中的困难样本。

所述的寻找困难样本的方法为：

确定预测锚点与真实标签的泛化交并比值GIoU：

其中V是包含真实标签框A和预测锚点框B的最小凸形面积，IoU是预测锚点与真实标签的交并比。

根据泛化交并比GIoU的值将锚点从大到小排序，均匀划分为K个采样区间，对每个区间均匀采样，并计算每个区间锚点样本的采样概率p_k：

其中N是总样本数、为有限的正整数，K是对采样空间划分的区间数、K∈[5,6,…,20]，本实施例选取K为20，M_k是每个区间不为0的抽样的样本数、M_k＜N，N是大于2的有限的正整数，根据每个区间的采样概率，在相应的区间随机筛选相同数量的样本，实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。

其它步骤与实施例1相同，得到测试集中损伤玉米颗粒的检测和分类结果。

Claims (3)

1.一种基于深度学习的损伤玉米颗粒检测和分类方法，其特征在于由以下步骤组成：

(1)图像采集

用彩色数码相机采集玉米颗粒的图像；

(2)图像处理

将采集到的图像统一调整到600×800像素，人工标注图像中玉米颗粒，按发霉、虫蛀、正常类别的左上角和右下角位置坐标制成标签，将图像和标签制作成MicrosoftCOCO数据集格式，随机选定数据集的80％作为训练集、20％作为测试集；

(3)构建改进的目标检测网络

1)构建目标特征缩放模块和目标特征空洞缩放模块

DetNet模块与SE模块构成目标特征缩放模块，SE模块包含依次相连的1个全局平均池化层、1个全连接层、1个ReLU层、1个全连接层、1个Sigmoid层，DetNet模块包含依次相连的1层1×1的卷积、1层3×3的卷积、1层1×1的卷积；3×3的卷积中不设置有空洞率的是目标特征缩放模块、设置有空洞率的是目标特征空洞缩放模块，其构建方法如下：

从训练集的图像中提取特征图，输入到DetNet模块提取特征，得到新的特征图，并与输入的特征图进行融合，引入SE模块对输入到DetNet模块的W×H×C特征图的每个通道进行全局平均池化转换为1×1×C特征向量，其中W和H为特征图的宽和高，C为特征图的通道数，用1个全连接层减少特征向量的通道数，经ReLU层、全连接层、Sigmoid函数得到1×1×C的特征权重，将特征权重与DetNet模块提取特征后的特征图相乘，得缩放的特征图，缩放的特征图和输入到DetNet模块前的特征图再次融合，得融合后的特征图，在DetNet模块中不设置有空洞率构建成目标特征缩放模块，设置有空洞率构建成目标特征空洞缩放模块；

2)构建改进的目标检测网络

目标检测网络包括三个阶段和两个分支支路，第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图，输出到第二阶段；第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图，输出到第三阶段；第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图，输出到左分支网络和右分支网络；

左分支网络包括3个分支网络，左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图，输出到左分支的第二分支网络，左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图，输出到左分支的第三分支网络，左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图；

右分支网络包括3个分支网络，右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第二分支网络，右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图，输出到右分支的第三分支网络，右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图；左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图，加权融合，融合的权重比的和为1，得到加权融合后的特征图，构建成改进的目标检测网络；

(4)生成锚点

将加权融合后的特征图输出到GA-RPN网络，生成包含玉米颗粒目标区域的锚点；

(5)寻找困难样本

设定锚点划分的区间数，根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间，对每个区间均匀采样，寻找包含玉米颗粒目标区域的锚点中的困难样本；

(6)获取候选框

将包含玉米颗粒目标区域的锚点作为候选框输出到分类网络，不含有玉米颗粒目标区域锚点判定为背景；

(7)候选框映射

将候选框通过分类网络的感兴趣区域池化层映射到步骤(3)中加权融合后的特征图，得到包含玉米颗粒目标位置候选框的特征图；

(8)分类和GIoU回归

将包含玉米颗粒目标位置候选框的特征图输出到分类网络的全连接层，对特征图中的玉米颗粒候选框进行分类，得到图像中每个玉米颗粒的损伤类别和判断为该类别的概率值，使用泛化交并比GIoU回归方法对该特征图中的候选框的位置进行精修，得到损伤玉米颗粒精确位置，用方形框在图像中标注每一颗玉米颗粒的位置，在方形框上方标注玉米颗粒的类别和概率值；

(9)训练网络模型

使用训练集以端到端的方法训练改进的目标检测网络模型、GA-RPN网络、分类网络，得到训练好的整体网络模型；

(10)测试网络模型

使用测试集测试训练好改进的目标检测网络模型，得到测试集中损伤玉米颗粒的检测和分类结果。

2.根据权利要求书1所述的基于深度学习的损伤玉米颗粒检测和分类方法，其特征在于在寻找困难样本步骤(5)中，所述的寻找困难样本的方法为：

确定预测锚点与真实标签的泛化交并比值GIoU：

其中V是包含真实标签框A和预测锚点框B的最小凸形面积，IoU是预测锚点与真实标签的交并比；

根据泛化交并比GIoU的值将锚点从大到小排序，均匀划分为K个采样区间，对每个区间均匀采样，并计算每个区间锚点样本的采样概率p_k：

其中N是总样本数、为有限的正整数，K是对采样空间划分的区间数、K[5,6,…,20]，M_k是每个区间不为0的抽样的样本数、M_k＜N，N是大于2的有限的正整数，根据每个区间的采样概率，在相应的区间随机筛选相同数量的样本，实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。

3.根据权利要求书1所述的基于深度学习的损伤玉米颗粒检测和分类方法，其特征在于在分类和GIoU回归步骤(8)中，所述的泛化交并比GIoU回归方法为：

将被反向传播的泛化交并比GIoU作为回归候选框的损失函数L_GIoU，在分类网络中用作优化的目标函数，将泛化交并比GIoU作为预测候选框和真实标签的测量指标，使用损失函数L_GIoU优化目标检测网络；损失函数L_GIoU按下式确定：

L_GIoU＝1-GIoU。

Images