CN113158865A - 一种基于EfficientDet的小麦麦穗检测方法 - Google Patents
一种基于EfficientDet的小麦麦穗检测方法 Download PDFInfo
- Publication number
- CN113158865A CN113158865A CN202110400439.3A CN202110400439A CN113158865A CN 113158865 A CN113158865 A CN 113158865A CN 202110400439 A CN202110400439 A CN 202110400439A CN 113158865 A CN113158865 A CN 113158865A
- Authority
- CN
- China
- Prior art keywords
- wheat
- image
- data
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 241000495841 Oenanthe oenanthe Species 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 50
- 241000209140 Triticum Species 0.000 claims abstract description 42
- 235000021307 Triticum Nutrition 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 241001024327 Oenanthe <Aves> Species 0.000 claims abstract description 27
- 238000012795 verification Methods 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000002790 cross-validation Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000003704 image resize Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000002028 premature Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 235000013339 cereals Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于EfficientDet的小麦麦穗检测方法；首先收集数据，构建小麦图像数据集，然后划分原始训练集和测试集，并标注原始训练集数据；采用K‑Fold分层交叉验证，将原始训练集数据划分出分层训练集和验证集，对分层训练集进行图像预处理；再进行模型训练，模型采用Efficientdet‑D7为baseline；通过测试集数据进行模型测试；最后采用伪标签方法，进行模型的迭代训练，得到最终的麦穗检测模型；本发明方法能够减小麦穗重叠带来的对检测结果的干扰，且对不同品种、不同生长时期的小麦具有较强的泛化能力。同时兼顾检测速度和精度，能够在不同情况下，部署在各种设备上。节省了大量人力物力。
Description
技术领域
本方法涉及对小麦进行研究的学术和农业领域，具体而言是一种基于卷积神经网络的小麦识别检测方法。为研究人员估算不同品种的小麦麦穗的密度和大小提供帮助，以减少研究人员不必要的野外工作时间和重复劳动。通过本方法，农民也可更好地评估自己的农作物，针对不同的情况及时作出调整，提高产率。
背景技术
作为世界三大农作物之一的小麦，是全世界范围内的主食，同样也是中国的主要粮食来源之一，小麦的生产在国民经济中占据着重要的地位。因此，对小麦进行研究，尤其是对其进行产量估计是非常必要且有意义的。当前主流的小麦理论产量公式如下：小麦亩产量＝亩穗数×穗粒数×千粒质量×85％。本方法主要是对亩穗数，即单位面积的小麦麦穗数的统计提供帮助，进行自动识别。
近年来，随着中国经济和技术的进一步发展，尤其是大数据和人工智能的发展，智慧农业这种人工智能+传统农业深度融合的模式开始出现。其中在小麦麦穗数的统计方面，基于深度学习的小麦识别方法逐渐取代了过去传统的人工计数的方法，节省了研究人员大量人力物力。
当前，常用的目标检测算法有2015年发布的SSD，2017年发布的RetinaNet、MaskR-CNN、Cascade R-CNN等。最近的基于 AmoebaNet-based NAS-FPN检测器需要167M参数和3045B FLOPs(比RetinaNet多30倍)才能达到最先进的精度。而本方法采用的则是EfficientDet系列中的EfficientDet-D7作为本方法的基础网络框架。
从图1可以看出，EfficientDet-D7在52M参数和325B FLOPs(浮点运算次数)的情况下，实现了Map在COCO数据集的最高水平 (52.2)。在获得了高精度的同时，还保证了较低的参数量和FLOPs，相比于AmoebaNet-basedNAS-FPN检测器，EfficientDet-D7更符合小麦识别检测需要同时保证实时性和准确性的需求。
发明内容
通过深度学习的方法，自动检测识别图像或者视频中的小麦麦穗，以减少研究人员不必要的野外工作时间和重复劳动，提高效率和准确率。并帮助农民更好地评估自己种植的农作物。
针对现有技术中存在的不足，本发明提供一种基于EfficientDet 的小麦麦穗检测方法。首先建立小麦麦穗数据集。接着进行图像预处理进行数据增强，以解决小麦数据集中可能出现的各种问题。然后进行模型训练，和模型测试。最后将最终模型部署到小麦麦穗检测的应用中。本发明提出的小麦麦穗检测方法的整体流程图如图2 所示：
一种基于EfficientDet的小麦麦穗检测方法，步骤如下：
步骤1，收集数据，构建小麦图像数据集
对需要检测的不同品种的小麦进行拍摄，各个品种小麦的数量均衡；获取各个光照条件下的不同生长时期的图像。
步骤2，划分原始训练集和测试集，并标注原始训练集数据；
步骤3，采用K-Fold分层交叉验证，对原始训练集数据的数据进行处理，划分出分层训练集和验证集，对分层训练集进行图像预处理，进行数据增强；
步骤4，进行模型训练；
所述的模型采用Efficientdet-D7为baseline；
步骤5，通过测试集数据进行模型测试；
步骤6，采用Pseudo-Labelling(伪标签)方法，进行模型的迭代训练，得到最终的麦穗检测模型；
步骤1具体方法如下：
a)，采用相机或者手机，在离地1.2米的高度，垂直向下，对需要检测的不同品种的小麦进行拍摄，各个品种小麦的数量均衡；获取各个光照条件下的不同生长时期的图像，图像中的麦穗要求均匀分布整个图像，作为数据集。
b)，拍摄过程中会出现以下情况：图像中的麦穗会出现重叠现象、麦穗数量稀少甚至没有麦穗的情况以及图像可能会出现模糊的情况；麦穗重叠现象是无法避免的，保留对应图像；麦穗数量稀少甚至没有麦穗的情况以及图像出现模糊的情况则随机将其中3％的图像作为噪声保留在数据集中，增强泛化能力；
步骤2具体方法如下：
将收集到的小麦图像数据集按8:2的比例随机划分为原始训练集和测试集。
利用labelimg软件对原始训练集中的所有图像进行标注，标注内容如下：
a)、Class：即类别，本实例只有一个类别，就是小麦麦穗(wheat)；
b)、Image_id:即图像编号；
c)、Source：图像中小麦的品种；
d)、Maturity：小麦的成熟度；
e)、Bounding-box：小麦麦穗的边框。
步骤3具体方法如下：
3-1、采用K-Fold分层交叉验证，将原始训练集分为5份，4份作为分层训练集，1份作为验证集；
3-2、对分层训练集图像按照以下顺序进行数据增强；
3-2-1、将图像随机裁剪为800*800大小的图像，此操作执行概率设置为50％；
3-2-2、执行OneOf操作，即在预设的所有数据增强方式选择一个执行。执行OneOf操作的概率设置为90％。其中，OneOf操作中预设的数据增强方式有两个，分别是HSV限制和亮度限制，目的是用于模拟亮环境和暗环境。当触发OneOf操作时，选择HSV限制和亮度限制中的一个，几率都为50％，二者互补；
3-2-3、将图像转换为灰度图，执行概率设置为1％；
3-2-4、水平翻转，执行概率为50％；垂直翻转，执行概率为50％。
二者独立；
3-2-5、将图像Resize为512*512，执行概率为100％；
3-2-6、执行CutOut操作，即随机的将图像中的部分区域Cut掉，并且填充0像素。目的是增强模型的泛化能力，能够借助小麦麦穗周边的信息进行判断，而不是完全依赖于整个小麦麦穗。每幅图像 Cut掉的数量设置为8，Cut区域大小设置为64*64。执行概率设置为50％；
3-2-7、执行mosaic操作，即在分层训练集中随机选取另外三幅未经处理的图像，共4幅图像。4幅图像随机裁剪，要求是裁剪出来的4块区域能够拼接为一幅大小为512*512的图像。该mosaic操作的执行概率为50％；
3-2-8、执行mixup操作，即在分层训练集中随机选取另外一幅未经处理的图像，将之Resize为512*512后，与当前正在处理的图像融合。该mixup操作的执行概率为50％；
3-3、对分层训练集boundingbox进行数据增强；
设置Bounding-Box占据整个图像的比例阈值，若高于此阈值，则对Bounding-Box保留，否则舍去。
比例阈值设置为5％；
3-4、对验证集图像进行数据增强；
只进行resize操作，同样resize为512*512，执行概率为100％；
3-5、对验证集Bounding-Box进行数据增强；
设置Bounding-Box占据整个图像的比例阈值，若高于此阈值，则对Bounding-Box保留，否则舍去。
比例阈值设置为5％；
步骤4具体方法如下：
步骤4，进行模型训练；
4-1、采取warmup的训练策略，即在开始的时候先使用一个小的学习率，然后当训练过程稳定的时候再把学习率适当调大，防止过早掉入局部最优。学习率衰减策略选择自适应策略；
4-2、采取label smoothing训练策略来替换传统的One-Hot编码的标签向量。
4-3、选择Efficientdet系列中的Efficientdet-D7为baseline，进行训练。训练完毕后，得到此次训练的模型权重。
4-4、回到步骤3，从未做过验证集的分层训练集中选择一份，作为新的验证集，原来的验证集则成为分层训练集。然后从步骤3 开始，再进行一次数据增强和训练过程，得到第二份模型权重。循环此步骤，直到原始训练集的5份数据中，每一份数据都作为验证集进行过一次训练，总共得到5份模型的权重；
4-5、采用平均融合的方式，将5份模型权重进行融合，得到最终的模型权重；
步骤5具体方法如下：
5-1、TTA，即测试时增强。TTA会为测试集中要进行测试的图像进行数据增强，增强方式包括HSV限制、亮度限制以及锐化处理，每种增强方式都会产生一幅新的图像。将所有图像都送入步骤4训练好的模型中进行测试，将每一幅图像的测试结果进行融合，得到一个最终的结果，这个结果即模型预测出的初始预测框及其置信度。
5-2、通过OOF，即Out offold操作选择合适的阈值对初始预测框进行筛选，得到筛选后预测框。
5-3、采用CIoUNMS，进行框的后处理，将重叠的框去除。即在NMS的过程中，用CIoU的计算方式替换了普通的IoU，最后得到最终预测框；
步骤6具体方法如下：
6-1、使用有标签数据，即训练集进行训练，获得模型权重，记为M；
6-2、在模型中运用权重M对无标签数据，即测试集进行预测，获得预测概率P；
6-3、通过预测概率P筛选出高置信度样本及其标签，即获得伪标签数据；
6-4、将有标签数据，即训练集和伪标签数据合并，获得新的训练集*，使用训练集*进行训练，获得模型权重M*；
6-5、将M替换为M*,重复以上步骤，直到模型效果不再提升，得到最终的麦穗检测模型；
本发明有益效果如下：
本发明设计合理，以Efficientdet-D7为baseline(基础网络框架)，采用在线数据增强的方式，结合mosaic(镶嵌)和mixup(混合)增强方法和CIoU(Complete IoU)Loss损失函数，用以解决小麦麦穗检测中的最主要问题，即重叠问题。同时，采用K-Fold分层交叉验证、warmup(学习率预热)、Label smoothing(标签平滑)的训练策略，来构建小麦麦穗的检测方法。使得模型能够减小麦穗重叠带来的对检测结果的干扰，且对不同品种、不同生长时期的小麦具有较强的泛化能力。且采用的Efficientdet-D7能在52M参数和325B的 FLOPs的情况下，同时兼顾检测速度和精度，能够在不同情况下，部署在各种设备上。为科研人员和农业生产者节省了大量人力物力，为社会发展具有一定的意义。
附图说明
图1：COCO数据集上EfficientDet和其他方法的性能表现对比图；
图2：本发明实施例流程图；
图3：本发明实施例测试整体流程图；
图4：Pseudo-Labelling迭代训练流程图。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图2所示，本发明的一种基于EfficientDet-D7的小麦麦穗检测方法包括：
1.建立麦穗数据集：对不同品种、不同生长周期、不同光照条件下的小麦进行拍摄。获得小麦图片数据后，进行人工标注。
2.数据增强：采用在线增强的方式，对从K-Fold分层交叉验证获取的训练集和验证集中的图像和Bounding-Box(边框)进行增强。
3.网络训练：采取warmup、Label smoothing、K-Fold分层交叉验证的训练策略进行训练。并用Pseudo-Labelling方法，进行模型的迭代训练。
4.模型测试：Bounding-Box Regression Loss采用CIoU Loss。在 NMS(Non-Maximum Suppression，非极大值抑制)的过程中，用CIoU 的计算方式替换了普通的IoU，更符合实际，效果更优。
一种基于EfficientDet的小麦麦穗检测方法，包括如下步骤：
步骤1，收集数据，构建小麦图像数据集；
a)，采用相机或者手机，在离地1.2米的高度，垂直向下，对需要检测的不同品种的小麦进行拍摄，各个品种小麦的数量均衡；获取各个光照条件下的不同生长时期的图像，图像中的麦穗要求均匀分布整个图像，作为数据集。
b)，拍摄过程中会出现以下情况：图像中的麦穗会出现重叠现象、麦穗数量稀少甚至没有麦穗的情况以及图像可能会出现模糊的情况；麦穗重叠现象是无法避免的，保留对应图像；麦穗数量稀少甚至没有麦穗的情况以及图像出现模糊的情况则随机将其中3％的图像作为噪声保留在数据集中，增强泛化能力；
步骤2，划分原始训练集和测试集，并标注原始训练集数据；
将收集到的小麦图像数据集按8:2的比例随机划分为原始训练集和测试集。
利用labelimg软件对原始训练集中的所有图像进行标注，标注内容如下：
a)、Class：即类别，本实例只有一个类别，就是小麦麦穗(wheat)；
b)、Image_id:即图像编号；
c)、Source：图像中小麦的品种；
d)、Maturity：小麦的成熟度；
e)、Bounding-box：小麦麦穗的边框
步骤3，采用K-Fold分层交叉验证，对原始训练集进行数据增强；
3-1、采用K-Fold分层交叉验证，将原始训练集分为5份，4份作为分层训练集，1份作为验证集；
3-2、对分层训练集图像按照以下顺序进行数据增强；
3-2-1、将图像随机裁剪为800*800大小的图像，此操作执行概率设置为50％；
3-2-2、执行OneOf操作，即在预设的所有数据增强方式选择一个执行。执行OneOf操作的概率设置为90％。其中，OneOf操作中预设的数据增强方式有两个，分别是HSV限制和亮度限制，目的是用于模拟亮环境和暗环境。当触发OneOf操作时，选择HSV限制和亮度限制中的一个，几率都为50％，二者互补；
3-2-3、将图像转换为灰度图，执行概率设置为1％；
3-2-4、水平翻转，执行概率为50％；垂直翻转，执行概率为50％。
二者独立；
3-2-5、将图像Resize(尺寸变形)为512*512，执行概率为100％；
3-2-6、执行CutOut操作，即随机的将图像中的部分区域Cut(裁剪)掉，并且填充0像素。目的是增强模型的泛化能力，能够借助小麦麦穗周边的信息进行判断，而不是完全依赖于整个小麦麦穗。每幅图像Cut掉的数量设置为8，Cut区域大小设置为64*64。执行概率设置为50％；
3-2-7、执行mosaic操作，即在分层训练集中随机选取另外三幅未经处理的图像，共4幅图像。4幅图像随机裁剪，要求是裁剪出来的4块区域能够拼接为一幅大小为512*512的图像。目的是为了丰富检测物体的背景信息，增强泛化能力。该mosaic操作的执行概率为50％；
3-2-8、执行mixup操作，即在分层训练集中随机选取另外一幅未经处理的图像，将之Resize为512*512后，与当前正在处理的图像融合。目的是为了模拟小麦麦穗重叠的情况，能够减轻模型过拟合的问题；该mixup操作的执行概率为50％；
3-3、对分层训练集boundingbox进行数据增强；
设置Bounding-Box占据整个图像的比例阈值，若高于此阈值，则对Bounding-Box保留，否则舍去。
比例阈值设置为5％；
3-4、对验证集图像进行数据增强；
只进行resize操作，同样resize为512*512，执行概率为100％；
3-5、对验证集Bounding-Box进行数据增强；
设置Bounding-Box占据整个图像的比例阈值，若高于此阈值，则对Bounding-Box保留，否则舍去。
比例阈值设置为5％；
步骤4，进行模型(EfficientDet-D7)训练；
4-1、采取warmup的训练策略，即在开始的时候先使用一个小的学习率，然后当训练过程稳定的时候再把学习率适当调大，防止过早掉入局部最优。学习率衰减策略选择自适应策略；
4-2、采取label smoothing训练策略来替换传统的One-Hot(独热)编码的标签向量。标签平滑后的分布就相当于往真实分布中加入了噪声，避免模型对于正确标签过于自信，使得预测正负样本的输出值差别不那么大，从而避免过拟合，提高模型的泛化能力；
4-3、选择Efficientdet系列中的Efficientdet-D7为baseline，进行训练。训练完毕后，得到此次训练的模型权重。
4-4、回到步骤3，从未做过验证集的分层训练集中选择一份，作为新的验证集，原来的验证集则成为分层训练集。然后从步骤3 开始，再进行一次数据增强和训练过程，得到第二份模型权重。循环此步骤，直到原始训练集的5份数据中，每一份数据都作为验证集进行过一次训练，总共得到5份模型的权重；
4-5、采用平均融合的方式，将5份模型权重进行融合，得到最终的模型权重；
步骤5，通过测试集数据进行模型测试，整体流程见图3；
5-1、TTA，即测试时增强(test time augmentation)。TTA会为测试集中要进行测试的图像进行数据增强，增强方式包括HSV限制、亮度限制以及锐化处理，每种增强方式都会产生一幅新的图像。将所有图像都送入步骤4训练好的模型中进行测试，将每一幅图像的测试结果进行融合，得到一个最终的结果，这个结果即模型预测出的初始预测框及其置信度，如图3中初始预测框所示。
5-2、通过OOF，即Out offold操作选择合适的阈值对初始预测框进行筛选，得到筛选后预测框。
TTA操作输出的每一个初始预测框都带有其置信度，需要根据初始预测框的置信度判断该框是否保留，即设定一个置信度阈值，高于此置信度阈值则初始预测框保留，否则舍弃该初始预测框。若该置信度阈值过高，则模型的精度高但是召回率低。而置信度阈值过低，则会造成召回率高但精度低的情况。而OOF操作，作用就是选择一个合适的置信度阈值，同时保证良好的精确度和召回率。初始预测框经过OOF操作后，得到图3中的筛选后预测框；
5-3、采用CIoUNMS，进行框的后处理，将重叠的框去除。即在NMS的过程中，用CIoU的计算方式替换了普通的IoU，最后得到最终预测框；
步骤6，采用Pseudo-Labelling(伪标签)方法，进行模型的迭代训练，见图4；
6-1、使用有标签数据，即训练集进行训练，获得模型权重，记为M；
6-2、在模型中运用权重M对无标签数据，即测试集进行预测，获得预测概率P；
6-3、通过预测概率P筛选出高置信度样本及其标签，即获得伪标签数据；
6-4、将有标签数据，即训练集和伪标签数据合并，获得新的训练集*，使用训练集*进行训练，获得模型权重M*；
6-5、将M替换为M*,重复以上步骤，直到模型效果不再提升，得到最终的麦穗检测模型。
Claims (7)
1.一种基于EfficientDet的小麦麦穗检测方法，其特征在于，步骤如下：
步骤1，收集数据，构建小麦图像数据集
对需要检测的不同品种的小麦进行拍摄，各个品种小麦的数量均衡；获取各个光照条件下的不同生长时期的图像。
步骤2，划分原始训练集和测试集，并标注原始训练集数据；
步骤3，采用K-Fold分层交叉验证，对原始训练集数据的数据进行处理，划分出分层训练集和验证集，对分层训练集进行图像预处理，进行数据增强；
步骤4，进行模型训练；
所述的模型采用Efficientdet-D7为baseline；
步骤5，通过测试集数据进行模型测试；
步骤6，采用Pseudo-Labelling方法，进行模型的迭代训练，得到最终的麦穗检测模型。
2.根据权利要求1所述的一种基于EfficientDet的小麦麦穗检测方法，其特征在于，步骤1具体方法如下：
a)，采用相机或者手机，在离地1.2米的高度，垂直向下，对需要检测的不同品种的小麦进行拍摄，各个品种小麦的数量均衡；获取各个光照条件下的不同生长时期的图像，图像中的麦穗要求均匀分布整个图像，作为数据集。
b)，拍摄过程中会出现以下情况：图像中的麦穗会出现重叠现象、麦穗数量稀少甚至没有麦穗的情况以及图像可能会出现模糊的情况；麦穗重叠现象是无法避免的，保留对应图像；麦穗数量稀少甚至没有麦穗的情况以及图像出现模糊的情况则随机将其中3％的图像作为噪声保留在数据集中，增强泛化能力。
3.根据权利要求2所述的一种基于EfficientDet的小麦麦穗检测方法，其特征在于，步骤2具体方法如下：
将收集到的小麦图像数据集按8:2的比例随机划分为原始训练集和测试集。
利用labelimg软件对原始训练集中的所有图像进行标注，标注内容如下：
a)、Class：即类别，本实例只有一个类别，就是小麦麦穗(wheat)；
b)、Image_id:即图像编号；
c)、Source：图像中小麦的品种；
d)、Maturity：小麦的成熟度；
e)、Bounding-box：小麦麦穗的边框。
4.根据权利要求3所述的一种基于EfficientDet的小麦麦穗检测方法，其特征在于，步骤3具体方法如下：
3-1、采用K-Fold分层交叉验证，将原始训练集分为5份，4份作为分层训练集，1份作为验证集；
3-2、对分层训练集图像按照以下顺序进行数据增强；
3-2-1、将图像随机裁剪为800*800大小的图像，此操作执行概率设置为50％；
3-2-2、执行OneOf操作，即在预设的所有数据增强方式选择一个执行。执行OneOf操作的概率设置为90％。其中，OneOf操作中预设的数据增强方式有两个，分别是HSV限制和亮度限制，目的是用于模拟亮环境和暗环境。当触发OneOf操作时，选择HSV限制和亮度限制中的一个，几率都为50％，二者互补；
3-2-3、将图像转换为灰度图，执行概率设置为1％；
3-2-4、水平翻转，执行概率为50％；垂直翻转，执行概率为50％。二者独立；
3-2-5、将图像Resize为512*512，执行概率为100％；
3-2-6、执行CutOut操作，即随机的将图像中的部分区域Cut掉，并且填充0像素。目的是增强模型的泛化能力，能够借助小麦麦穗周边的信息进行判断，而不是完全依赖于整个小麦麦穗。每幅图像Cut掉的数量设置为8，Cut区域大小设置为64*64。执行概率设置为50％；
3-2-7、执行mosaic操作，即在分层训练集中随机选取另外三幅未经处理的图像，共4幅图像。4幅图像随机裁剪，要求是裁剪出来的4块区域能够拼接为一幅大小为512*512的图像。该mosaic操作的执行概率为50％；
3-2-8、执行mixup操作，即在分层训练集中随机选取另外一幅未经处理的图像，将之Resize为512*512后，与当前正在处理的图像融合。该mixup操作的执行概率为50％；
3-3、对分层训练集boundingbox进行数据增强；
设置Bounding-Box占据整个图像的比例阈值，若高于此阈值，则对Bounding-Box保留，否则舍去。
比例阈值设置为5％；
3-4、对验证集图像进行数据增强；
只进行resize操作，同样resize为512*512，执行概率为100％；
3-5、对验证集Bounding-Box进行数据增强；
设置Bounding-Box占据整个图像的比例阈值，若高于此阈值，则对Bounding-Box保留，否则舍去。
比例阈值设置为5％。
5.根据权利要求4所述的一种基于EfficientDet的小麦麦穗检测方法，其特征在于，步骤4具体方法如下：
步骤4，进行模型训练；
4-1、采取warmup的训练策略，即在开始的时候先使用一个小的学习率，然后当训练过程稳定的时候再把学习率适当调大，防止过早掉入局部最优。学习率衰减策略选择自适应策略；
4-2、采取label smoothing训练策略来替换传统的One-Hot编码的标签向量。
4-3、选择Efficientdet系列中的Efficientdet-D7为baseline，进行训练。训练完毕后，得到此次训练的模型权重。
4-4、回到步骤3，从未做过验证集的分层训练集中选择一份，作为新的验证集，原来的验证集则成为分层训练集。然后从步骤3开始，再进行一次数据增强和训练过程，得到第二份模型权重。循环此步骤，直到原始训练集的5份数据中，每一份数据都作为验证集进行过一次训练，总共得到5份模型的权重；
4-5、采用平均融合的方式，将5份模型权重进行融合，得到最终的模型权重。
6.根据权利要求5所述的一种基于EfficientDet的小麦麦穗检测方法，其特征在于，步骤5具体方法如下：
5-1、TTA，即测试时增强。TTA会为测试集中要进行测试的图像进行数据增强，增强方式包括HSV限制、亮度限制以及锐化处理，每种增强方式都会产生一幅新的图像。将所有图像都送入步骤4训练好的模型中进行测试，将每一幅图像的测试结果进行融合，得到一个最终的结果，这个结果即模型预测出的初始预测框及其置信度。
5-2、通过OOF，即Out offold操作选择合适的阈值对初始预测框进行筛选，得到筛选后预测框。
5-3、采用CIoUNMS，进行框的后处理，将重叠的框去除。即在NMS的过程中，用CIoU的计算方式替换了普通的IoU，最后得到最终预测框。
7.根据权利要求6所述的一种基于EfficientDet的小麦麦穗检测方法，其特征在于，步骤6具体方法如下：
6-1、使用有标签数据，即训练集进行训练，获得模型权重，记为M；
6-2、在模型中运用权重M对无标签数据，即测试集进行预测，获得预测概率P；
6-3、通过预测概率P筛选出高置信度样本及其标签，即获得伪标签数据；
6-4、将有标签数据，即训练集和伪标签数据合并，获得新的训练集*，使用训练集*进行训练，获得模型权重M*；
6-5、将M替换为M*,重复以上步骤，直到模型效果不再提升，得到最终的麦穗检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110400439.3A CN113158865A (zh) | 2021-04-14 | 2021-04-14 | 一种基于EfficientDet的小麦麦穗检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110400439.3A CN113158865A (zh) | 2021-04-14 | 2021-04-14 | 一种基于EfficientDet的小麦麦穗检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113158865A true CN113158865A (zh) | 2021-07-23 |
Family
ID=76890377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110400439.3A Withdrawn CN113158865A (zh) | 2021-04-14 | 2021-04-14 | 一种基于EfficientDet的小麦麦穗检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158865A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554627A (zh) * | 2021-07-27 | 2021-10-26 | 广西师范大学 | 一种基于计算机视觉半监督伪标签学习的小麦头检测方法 |
| CN113610163A (zh) * | 2021-08-09 | 2021-11-05 | 安徽工业大学 | 一种基于知识蒸馏的轻量级苹果叶片病害识别方法 |
| CN113961624A (zh) * | 2021-10-26 | 2022-01-21 | 重庆市农业科学院 | 一种自适应的茶小绿叶蝉高精度预报系统 |
| CN115100417A (zh) * | 2022-06-13 | 2022-09-23 | 阿里巴巴（中国）有限公司 | 图像处理方法、存储介质以及电子设备 |
| CN115861778A (zh) * | 2022-11-11 | 2023-03-28 | 苏州方石科技有限公司 | 预埋件的检测方法和装置、存储介质、电子装置 |
-
2021
- 2021-04-14 CN CN202110400439.3A patent/CN113158865A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554627A (zh) * | 2021-07-27 | 2021-10-26 | 广西师范大学 | 一种基于计算机视觉半监督伪标签学习的小麦头检测方法 |
| CN113554627B (zh) * | 2021-07-27 | 2022-04-29 | 广西师范大学 | 一种基于计算机视觉半监督伪标签学习的小麦头检测方法 |
| CN113610163A (zh) * | 2021-08-09 | 2021-11-05 | 安徽工业大学 | 一种基于知识蒸馏的轻量级苹果叶片病害识别方法 |
| CN113961624A (zh) * | 2021-10-26 | 2022-01-21 | 重庆市农业科学院 | 一种自适应的茶小绿叶蝉高精度预报系统 |
| CN115100417A (zh) * | 2022-06-13 | 2022-09-23 | 阿里巴巴（中国）有限公司 | 图像处理方法、存储介质以及电子设备 |
| CN115861778A (zh) * | 2022-11-11 | 2023-03-28 | 苏州方石科技有限公司 | 预埋件的检测方法和装置、存储介质、电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113158865A (zh) | 一种基于EfficientDet的小麦麦穗检测方法 | |
| CN108401154B (zh) | 一种图像曝光度无参考质量评价方法 | |
| CN112131927B (zh) | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN108764372A (zh) | 数据集的构建方法和装置、移动终端、可读存储介质 | |
| CN116310785B (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
| CN112749654A (zh) | 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置 | |
| CN115984698A (zh) | 一种基于改进YOLOv5的荔枝果实生长期识别方法 | |
| CN111339902A (zh) | 一种数显仪表的液晶屏示数识别方法及装置 | |
| CN113516071B (zh) | 一种猪只估重方法 | |
| CN113223027A (zh) | 基于PolarMask的未成熟柿子分割方法及系统 | |
| CN114627411A (zh) | 基于计算机视觉下并行检测的农作物生育期识别方法 | |
| CN114724022A (zh) | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 | |
| CN114092699A (zh) | 基于迁移学习的群猪图像分割的方法及系统 | |
| CN112906488A (zh) | 一种基于人工智能的安防视频质量评价系统 | |
| CN114724052A (zh) | 一种基于深度学习网络模型的电力图像天际线分割方法 | |
| CN115272956A (zh) | 一种基于改进的YOLOv5的鸡只健康度监测方法 | |
| CN111027436A (zh) | 一种基于深度学习的东北黑木耳病虫害图像识别系统 | |
| CN113781388A (zh) | 基于图像增强的输电线路通道隐患图像识别方法及装置 | |
| CN115147835B (zh) | 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法 | |
| CN117636314A (zh) | 一种缺苗识别方法、装置、设备及介质 | |
| CN117423001A (zh) | 基于改进ssd的岩石岩性识别方法与系统、存储介质和设备 | |
| CN112906510A (zh) | 一种渔业资源统计方法及系统 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN103366161B (zh) | 一种白粉虱数量的统计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210723 |
|
| WW01 | Invention patent application withdrawn after publication |