CN116434066A - 基于深度学习的大豆豆荚考种方法、系统及装置 - Google Patents
基于深度学习的大豆豆荚考种方法、系统及装置 Download PDFInfo
- Publication number
- CN116434066A CN116434066A CN202310424584.4A CN202310424584A CN116434066A CN 116434066 A CN116434066 A CN 116434066A CN 202310424584 A CN202310424584 A CN 202310424584A CN 116434066 A CN116434066 A CN 116434066A
- Authority
- CN
- China
- Prior art keywords
- soybean
- pod
- yolox
- soybean pod
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 244000068988 Glycine max Species 0.000 title claims abstract description 186
- 235000010469 Glycine max Nutrition 0.000 title claims abstract description 183
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000010998 test method Methods 0.000 title claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 53
- 239000007787 solid Substances 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims description 18
- 238000010899 nucleation Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013526 transfer learning Methods 0.000 claims description 2
- 241000196324 Embryophyta Species 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 241000275455 Idahoa scapigera Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 235000021374 legumes Nutrition 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于深度学习的大豆豆荚考种方法、系统及装置，涉及人工智能机器视觉考种技术领域；该方法包括以下步骤：采集不同拍摄环境下的大豆豆荚原始RGB图像；根据大豆豆荚原始RGB图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集；构建融合注意力模块的改进YOLOX网络模型，将原始图像数据集输入至改进YOLOX网络模型进行训练；测试改进YOLOX网络模型，更新改进YOLOX网络模型的学习参数；对存在多种特征的豆荚计数结果进行修正；利用已更新的改进YOLOX网络模型对待考种的大豆豆荚进行检测。本发明能够将豆荚中的实粒和秕粒区分，且在多种拍摄环境下快速准确地对豆荚进行检测，提高检测和计数的准确率和效率。
Description
技术领域
本发明属于人工智能机器视觉考种技术领域，尤其涉及基于深度学习的大豆豆荚考种方法、系统及装置。
背景技术
大豆豆荚考种是大豆室内考种的一部分。《大豆植物品种特异性、一致性和稳定性检测指南》提供了大豆检测的44个基本性状及相关定义，其中大豆豆荚相关性状主要包括单株豆荚数、单株种粒数、单荚种粒数等。单株豆荚数、单株种粒数以及单荚种粒数作为大豆豆荚表型的一部分，是提高作物产量和生物学研究有力指标。快速准确地获取豆荚数和种粒数对辅助育种具有重要意义。
目前，人工检测的方法拥有主观性强、成本高、检测过程费时费力、可重复性低等缺点，无法满足大规模的豆荚快速准确检测的要求。现有的技术一般使用机器视觉的方式进行考种，然而现有技术仍存在以下不足：一是在对豆荚考种的过程中，对豆荚的分类不详细，如只分为一粒荚、二粒荚、三粒荚，忽略了秕粒的存在，导致在计算有效种粒数产生了误差；二是现有的技术对拍照设备要求高，难以普及；三是目前的目标检测模型主要并不是针对豆荚识别构建的，并不适用于豆荚检测。亟需一种快速精准、适用于多种复杂环境下的大豆豆荚识别方法。
在机器视觉领域，图像处理技术已广泛应用于大豆豆荚表型提取。图像处理技术一类是基于人工特征提取的方法，通过对豆荚图像进行分析处理，计算出豆荚的颜色，纹理及形态等多种特征参数，该方法克服了人工检测的缺点。但是，该方法需要不断测试择优且过程较为复杂，并且每一类豆荚之间的特征区别较小。经典的图像处理技术对物体的纹理特征和光照条件敏感，存在鲁棒性和泛化能力不足等问题，不能稳定有效地执行识别任务。
近年来，随着深度学习在图像识别领域的快速发展，深度学习技术在大豆豆荚考种领域也得到了广泛的关注。卷积神经网络通过对数字图像进行卷积和池化操作，可以有效提取到图像的多尺度特征。与经典的图像处理技术相比，深度学习方法在泛化能力上有特别高的提高。每类豆荚之间形态颜色等差异微弱，这对识别及计数有一定的困难，故迫切需要设计一种适用于大豆豆荚和种粒精准计数的深度学习方法来提高检测和计数的准确率。
发明内容
本发明的目的在于提供一种基于深度学习的大豆豆荚考种方法、系统及装置，以解决上述背景技术中提出的现有技术中对豆荚的分类不详细，及每类豆荚之间形态颜色等差异微弱，对识别及计数存在困难等问题。
为实现上述目的，本发明采用以下技术方案实现：
本发明第一方面提供了基于深度学习的大豆豆荚考种方法，包括以下步骤：
S1、采集不同拍摄环境下的大豆豆荚原始RGB图像；
S2、根据大豆豆荚原始RGB图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集；
S3、构建融合注意力模块的改进YOLOX网络模型，将原始图像数据集输入至改进YOLOX网络模型进行训练；
S4、测试改进YOLOX网络模型，更新改进YOLOX网络模型的学习参数；
S5、对改进YOLOX网络模型中大豆豆荚计数结果进行修正；
S6、利用已更新的改进YOLOX网络模型对待考种的大豆豆荚进行检测，得到各类别的大豆豆荚以及大豆豆荚实际种粒的计数结果。
优选地，所述步骤S1中采集图像具体包括如下步骤：
S1-1、选取一批随机摆放的大豆豆荚进行图像采集用于训练；
S1-2、选取另一批随机摆放的大豆豆荚进行测试集图像采集，建立颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集。
优选地，所述步骤S2中对图像中大豆豆荚分类具体包括如下步骤：
S2-1、将大豆豆荚中的种粒分为实粒和秕粒；
S2-2、根据大豆豆荚原始RGB图像中每个豆荚中实粒和秕粒的个数情况对大豆豆荚进行分类，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
S2-3、使用Labelimg对原始图像数据集中每一类大豆豆荚进行标注。
优选地，所述步骤S3中训练改进YOLOX网络模型具体包括如下步骤：
S3-1、构建融合注意力模块的改进YOLOX网络模型；
S3-2、将训练图像按照9：1划分为训练集和验证集；
S3-3、使用步骤S3-1中预训练好的网络权重作为初始权重，采用迁移学习的方法利用训练集进行训练；
预先训练好的权重迭代150个epoch，在训练的前50个epoch冻结骨干网络，学习率设置为1e-4，衰减率设置为0.96；
50个epoch后，骨干网解冻，学习率设置为1e-5，衰减率设置为0.96；
S3-4、采用验证集验证训练后的改进YOLOX网络模型。
优选地，所述步骤S3-1中构建融合注意力模块的改进YOLOX网络模型具体如下：
改进YOLOX网络模型包括主干网络CSPDarknet、加强特征提取网络FPN、Pan网络以及Head网络；
主干网络CSPDarknet对输入的大豆豆荚图像进行特征提取，提取不同尺度大豆豆荚、实粒和秕粒的特征，提取所有大豆豆荚图像相应的特征集合作为特征层，在三个特征层后分别添加SE注意力模块；SE注意力模块，用于使改进YOLOX网络模型聚焦于种粒凸出部分，降低对其他豆荚其他部分的关注度；
加强特征提取网络FPN对主干网络CSPDarknet获得的特征层加强特征提取；在主干网络CSPDarknet获得的三个特征层会在加强特征提取网络FPN实行上采样进行特征融合，在上采样后的特征层后添加SE注意力模块，用于结合不同尺度大豆豆荚以及不同种粒的特征信息，使已经获得的特征层被用于继续提取特征，从而提高任务处理的效率和准确性；由于豆荚中由于豆荚中的实粒和秕粒的饱满程度不同，同时实粒存在的位置与秕粒存在位置的颜色、纹理等差别较大，所以对于大豆植株，将种粒凸出部分作为重点特征进行提取将会迅速提升模型的精度。
同时采用Pan网络，对特征层实行下采样进行特征融合，并在下采样后的特征层后添加SE注意力模块；
将通过主干网络CSPDarknet和加强特征提取网络FPN加强过的三个特征层传入Head网络，Head网络对特征层中的每一个特征点进行判断，最终根据每个大豆豆荚的不同特征得到每一尺度大豆豆荚的分类结果，大豆豆荚的不同特征包括每个豆荚中实粒和秕粒的个数。
优选地，所述步骤S4中测试改进YOLOX网络模型具体如下：
使用颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集对改进YOLOX网络模型进行测试并不断优化，确定改进YOLOX网络模型的学习参数；
优选地，所述步骤S5中对改进YOLOX网络模型中大豆豆荚计数结果进行修正，用于对存在多种特征的大豆豆荚计数结果进行修正，修正方法具体如下：
将改进YOLOX网络模型检测得到大豆豆荚检测结果的坐标逐一计算IoU，IoU表示两个框重叠程度,如果IoU＞0.2，则认为一个豆荚中出现多类豆荚的特征，则将检测总数减一；
公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框并上真实框所占的面积大小。
优选地，所述步骤S6中对待考种的大豆豆荚进行检测具体包括如下步骤：
S6-1、输入待检测的单张大豆豆荚图像；
S6-2、得到图像检测结果，同时获得图像中各类大豆豆荚个数、有效荚数、有效种粒数的表型参数。
本发明第二方面提供了基于深度学习的大豆豆荚考种系统，包括：
采集单元，用于采集大豆豆荚图像；
采集训练集和验证集所需的大豆豆荚图像；
采集测试集所需的大豆豆荚图像，测试集大豆豆荚图像包括颜色失真图像、高密度豆荚图像、低像素图像；
处理单元，用于对大豆豆荚图像进行检测；
处理单元包括：
标记模块，用于使用Labelimg对采集单元所采集的大豆豆荚图像进行分类标注，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
检测模块，用于利用标记模块所标记的大豆豆荚图像训练融合注意力模块的改进YOLOX网络模型，且进行优化，确定改进YOLOX网络模型的学习参数；
修正模块，用于对大豆豆荚检测结果的坐标逐一计算IoU，若单个大豆豆荚具有多个不同类别的标记框，在计算大豆豆荚数量时将重复计算次数的大豆豆荚删除，降低大豆豆荚计数的误差；
输出单元，用于输出大豆豆荚图像中各类别的大豆豆荚以及大豆实际种粒的计数结果。
本发明第三方面提供了基于深度学习的大豆豆荚考种装置，包括：
输入设备，用于采集待考种的大豆豆荚图像；
检测平台，用于通过融合注意力模块的改进YOLOX网络模型对待考种的大豆豆荚图像进行检测，且修正大豆豆荚数量检测结果；
输出设备，用于得到待考种的大豆豆荚图像检测结果，获得大豆豆荚图像中各类大豆豆荚个数、有效豆荚数、有效种粒数的表型参数。
本发明第四方面提供了一种计算机设备，包括存储器、处理器，
所述存储器中存储有在处理器上运行的可执行程序；
所述处理器运行可执行程序时实现基于深度学习的大豆豆荚考种方法。
本发明第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序；
所述计算机程序被处理器执行时，使得所述处理器执行基于深度学习的大豆豆荚考种方法。
与现有技术相比，本发明的有益效果是：
(1)、本发明中计数方法在对大豆豆荚检测时，能够将豆荚中的实粒和秕粒区分，减少种粒计数的误差，得到豆荚智能化分类和大豆实际种粒的精准计数，提高计数的准确率；
(2)、本发明中计数方法在检测过程中，无需刻意将豆荚摆盘，能够在多种拍摄环境下快速准确地对豆荚进行检测实现精准识别，降低拍摄成本，提高检测和计数的准确率和效率，普适性强。
附图说明
图1为本发明实施例1中基于深度学习的大豆豆荚考种方法的流程图；
图2为本发明实施例1中采集原始图像的设备和训练图像；
图3为本发明实施例1中测试集原始图像；
图4为本发明实施例1中各类别的大豆豆荚示意图；
图5为本发明实施例1中改进的YOLOX模型示意图；
图6为本发明实施例1中SE注意力机制示意图；
图7为本发明实施例1中改进YOLOX网络模型对待考种的大豆豆荚检测的输入示例图像；
图8为本发明实施例1中改进YOLOX网络模型对待考种的大豆豆荚检测的输出示例图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参阅图1，基于深度学习的大豆豆荚考种方法，包括以下步骤：
S1、采集不同拍摄环境下的大豆豆荚原始RGB图像；
本实施例中采集大豆豆荚图像的方法是，将豆荚随机放置在白色背景板上，使用扫描仪对豆荚拍摄710张分辨率为2448×2448的图像，然后用安装在固定三脚架上的手机相机对大豆豆荚拍摄了362张3072×3072分辨率的图片，以上一共1072张图像作为训练集图像。图像采集设备参见图2中(a)(c)，训练图像参见图2中(b)(d)。
为了保证测试数据集的独立性，另取一批不同于训练集的大豆豆荚作为拍摄样本，制作了三个不同的测试数据集。使用扫描仪拍摄90张颜色失真的图像作为测试数据集CPD(color-distortion pods dataset)；使用手机相机拍摄90张高密度豆荚图像(每张图像中有50-120个豆荚)作为测试数据集HPD(high-density pods dataset)；将测试数据集HPD的90张图像分辨率缩减为1024×1024作为低像素测试数据集LPD(low-pixel podsdataset)。测试集图像参见图3。
S2、根据图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集，豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、两粒实一粒空、一粒实两粒空、三粒实；
本实施例对数据集标注方法是，首先按照根据每个豆荚中实粒和秕粒的个数将豆荚分为全空(Empty)、一粒实(1B)、一粒实一粒空(1B-1E)、两粒实(2B)、两粒实一粒空(2B-1E)、一粒实两粒空(1B-2E)、三粒实(3B)七类，并使用Labelimg标注软件分别对每张图片进行人工标注。各类别大豆豆荚参见图4。
S3、构建融合注意力模块的改进YOLOX网络模型框架，将原始图像数据集输入至改进YOLOX网络模型进行训练；
本实施例构建的网络模型请参阅图5，改进的YOLOX模型可以分为四个部分，分别是主干网络CSPDarknet，加强特征提取网络FPN，Pan网络以及Head网络。
首先，CSPDarknet会对输入的大豆豆荚图片进行特征提取，提取不同尺度大豆豆荚、实粒和秕粒的特征，这些特征是输入的大豆豆荚图像的特征集合，即特征层。在主干网络部分，一共获取了三个特征层进行下一步网络的构建。在三个特征层后分别添加SE注意力机制；SE注意力机制请参见图6。
由于豆荚中的实粒和秕粒的饱满程度不同，同时实粒存在的位置与秕粒存在位置的颜色、纹理等差别较大，所以对于大豆植株，将种粒凸出部分作为重点特征进行提取将会迅速提升模型的精度。加入SE注意力模块，能够使模型聚焦于种粒凸出部分，而降低对其他都豆荚其他部分的关注度，从而提高任务处理的效率和准确性。
接着，FPN对主干部分获得的特征层加强特征提取，在主干部分获得的三个特征层会在这一部分实行上采样进行特征融合，在上采样后的特征层后添加SE注意力模块，目的是结合不同尺度大豆豆荚以及不同种粒的特征信息，已经获得的特征层被用于继续提取特征。同时在YoloX还使用了Pan结构，对这些特征进行下采样实现特征融合，并下采样后的特征层后添加SE注意力模块。
最后，通过CSPDarknet和FPN加强过的三个特征层传入Head，Head对特征层中的每一个特征点进行判断，判断特征点是否有物体与其对应，最终根据每个豆荚的不同特征(每个豆荚中有效粒和秕粒的个数)得到每一尺度豆荚的分类结果。
此外，本实施例还在卷积神经网络模型的训练中采用迁移学习的方法，使用预训练好的网络权重作为初始权重。
训练时，将1072张图片按照9：1划分为训练集和验证集。使用预先训练好的权重迭代150个epoch，在训练的前50个epoch冻结骨干网络，学习率设置为1e-4，衰减率设置为0.96。50个epoch后，骨干网解冻，学习率设置为1e-5，衰减率设置为0.96。
S4、测试改进YOLOX网络模型，更新改进YOLOX网络模型的学习参数；；
本实施例使用独立拍摄的三个测试集测试模型对失真图像、高密度豆荚图像、低像素图像的识别能力，以下为测试结果：
表1
| 测试集 | P | R | F1-score | mAP@0.5 |
| CPD | 95.54％ | 97.29％ | 96.39％ | 98.24％ |
| HPD | 85.37％ | 89.36％ | 86.86％ | 91.80％ |
| LPD | 81.67％ | 87.00％ | 83.77％ | 90.27％ |
表2
由表1和表2中测试结果可知，模型在测试集CPD下对每一类豆荚都能有不错的识别性能，能够有效解决图像失真问题。在密集测试集HPD中，对于不含秕粒的豆荚的识别效果，即对一粒实、二粒实、三粒实豆荚的识别效果，模型的对这三类豆荚的AP均能达到90％以上，均有不错的识别效果。对于含有秕粒的豆荚识别，改进的YOLOX模型对含有一粒实二粒空、一粒空二粒实这两个类别的AP能达到90％以上，对空荚、一粒实二粒空的这两类豆荚的AP接近85％，这说明即使在豆荚密集的条件下，模型能够有效区分有效种粒和秕粒。而在测试集LPD中，当图像像素降低，模型的识别能力有所下降，但是依然能够胜任豆荚和种粒的精准识别任务。
S5、对改进YOLOX网络模型中大豆豆荚计数结果进行修正；
所述步骤S5中对存在多种特征的豆荚计数结果进行修正，修正方法具体如下：
将改进YOLOX网络模型检测得到大豆豆荚检测结果的坐标逐一计算IoU，IoU表示两个框重叠程度,如果IoU＞0.2，则认为一个豆荚中出现多类豆荚的特征，则将检测总数减一；
公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框并上真实框所占的面积大小。
计数方法通常通过计算单个检测图像中的边界框数来实现，考虑到单个豆荚可能具有多个特征，因此在检测过程中，单个豆荚可能具有多个不同类别的标记框。如果用这种方法检测大豆豆荚，总豆荚数往往超过实际豆荚数，进而影响种子计数的误差。在这种情况下，设计了一种通过调整非最大抑制参数来消除重复计算次数的方法。实际操作是获取所有检测到的包围框的坐标信息，逐一计算IoU，并将IoU阈值设置为0.2。当两个包围盒的IoU大于0.2时，表示一个pod中出现了多个标记框，在计算豆荚数量时将这种情况删除，从而降低豆荚计数的误差。
S6、根据待考种的大豆豆荚实物图片或者视频，实现对待考种的大豆豆荚的检测，最终得到各类豆荚以及大豆实际种粒的计数结果。
参见图7、图8，步骤S6包括步骤：
步骤S6-1输入待检测的单张豆荚图像；
步骤S6-2点击检测按钮，得到图像检测结果，同时获得图像中各类豆荚个数、有效豆荚数、有效种粒数等表型参数，参见图8。
实施例2：
用于实施例1中方法的基于深度学习的大豆豆荚考种系统，包括：
采集单元，用于采集大豆豆荚图像；
采集训练集和验证集所需的大豆豆荚图像；
采集测试集所需的大豆豆荚图像，测试集大豆豆荚图像包括颜色失真图像、高密度豆荚图像、低像素图像；
处理单元，用于对大豆豆荚图像进行检测；
处理单元包括：
标记模块，用于使用Labelimg对采集单元所采集的大豆豆荚图像进行分类标注，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
检测模块，用于利用标记模块所标记的大豆豆荚图像训练融合注意力模块的改进YOLOX网络模型，且进行优化，确定改进YOLOX网络模型的学习参数；
修正模块，用于对大豆豆荚检测结果的坐标逐一计算IoU，若单个大豆豆荚具有多个不同类别的标记框，在计算大豆豆荚数量时将重复计算次数的大豆豆荚删除，降低大豆豆荚计数的误差；
该改进YOLOX网络模型为实施例1中改进的YOLOX模型，包括主干网络CSPDarknet、加强特征提取网络FPN、Pan网络以及Head网络；
输出单元，用于输出大豆豆荚图像中各类别的大豆豆荚以及大豆实际种粒的计数结果。
实施例3：
应用实施例1中方法的基于深度学习的大豆豆荚考种装置，包括：
输入设备，用于采集待考种的大豆豆荚图像；
检测平台，用于通过融合注意力模块的改进YOLOX网络模型对待考种的大豆豆荚图像进行检测，且修正大豆豆荚检测结果；
该检测平台采用实施例1中优化且确定改进YOLOX网络模型的学习参数后的改进YOLOX网络模型。
输出设备，用于得到待考种的大豆豆荚图像检测结果，获得大豆豆荚图像中各类大豆豆荚个数、有效豆荚数、有效种粒数的表型参数。
以上所述，仅用于帮助理解本发明的方法及其核心要义，但本发明的保护范围并不局限于此，对于本技术领域的一般技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.基于深度学习的大豆豆荚考种方法，其特征在于，包括以下步骤：
S1、采集不同拍摄环境下的大豆豆荚图像；
S2、根据大豆豆荚图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集；
S3、构建融合注意力模块的改进YOLOX网络模型，将原始图像数据集输入至改进YOLOX网络模型进行训练；
S4、测试改进YOLOX网络模型，更新改进YOLOX网络模型的学习参数；
S5、对改进YOLOX网络模型中大豆豆荚计数结果进行修正；
S6、利用已更新的改进YOLOX网络模型对待考种的大豆豆荚进行检测，得到各类别的大豆豆荚以及大豆豆荚实际种粒的计数结果。
2.根据权利要求1所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤S1中采集图像具体包括如下步骤：
S1-1、选取一批随机摆放的大豆豆荚进行图像采集用于训练；
S1-2、选取另一批随机摆放的大豆豆荚进行测试集图像采集，建立颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集。
3.根据权利要求2所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤S2中对图像中大豆豆荚分类具体包括如下步骤：
S2-1、将大豆豆荚中的种粒分为实粒和秕粒；
S2-2、根据大豆豆荚图像中每个豆荚中实粒和秕粒的个数情况对大豆豆荚进行分类，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
S2-3、使用Labelimg对原始图像数据集中每一类大豆豆荚进行标注。
4.根据权利要求3所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤S3中训练改进YOLOX网络模型具体包括如下步骤：
S3-1、构建融合注意力模块的改进YOLOX网络模型；
S3-2、将训练图像按照9：1划分为训练集和验证集；
S3-3、使用步骤S3-1中预训练好的网络权重作为初始权重，采用迁移学习的方法利用训练集进行训练；
预先训练好的权重迭代150个epoch，在训练的前50个epoch冻结骨干网络，学习率设置为1e-4，衰减率设置为0.96；
50个epoch后，骨干网解冻，学习率设置为1e-5，衰减率设置为0.96；
S3-4、采用验证集验证训练后的改进YOLOX网络模型。
5.根据权利要求4所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤S3-1中构建融合注意力模块的改进YOLOX网络模型具体如下：
改进YOLOX网络模型包括主干网络CSPDarknet、加强特征提取网络FPN、Pan网络以及Head网络；
主干网络CSPDarknet对输入的大豆豆荚图像进行特征提取，提取不同尺度大豆豆荚、实粒和秕粒的特征，提取所有大豆豆荚图像相应的特征集合作为特征层，在三个特征层后分别添加SE注意力模块；SE注意力模块，用于使改进YOLOX网络模型聚焦于种粒凸出部分，降低对其他豆荚其他部分的关注度；
加强特征提取网络FPN对主干网络CSPDarknet获得的特征层加强特征提取；在主干网络CSPDarknet获得的三个特征层会在加强特征提取网络FPN实行上采样进行特征融合，在上采样后的特征层后添加SE注意力模块，用于结合不同尺度大豆豆荚以及不同种粒的特征信息，使已经获得的特征层被用于继续提取特征；
同时采用Pan网络，对特征层实行下采样进行特征融合，并在下采样后的特征层后添加SE注意力模块；
将通过主干网络CSPDarknet和加强特征提取网络FPN加强过的三个特征层传入Head网络，Head网络对特征层中的每一个特征点进行判断，最终根据每个大豆豆荚的不同特征得到每一尺度大豆豆荚的分类结果，大豆豆荚的不同特征包括每个豆荚中实粒和秕粒的个数。
6.根据权利要求5所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤S4中测试改进YOLOX网络模型具体如下：
使用颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集对改进YOLOX网络模型进行测试并不断优化，确定改进YOLOX网络模型的学习参数。
7.根据权利要求1或6所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤S5中对改进YOLOX网络模型中大豆豆荚计数结果进行修正，用于对存在多种特征的大豆豆荚计数结果进行修正，修正方法具体如下：
将改进YOLOX网络模型检测得到大豆豆荚检测结果的坐标逐一计算IoU，IoU表示两个框重叠程度,如果IoU＞0.2，则认为一个豆荚中出现多类豆荚的特征，则将检测总数减一；
公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框并上真实框所占的面积大小。
8.用于权利要求7所述方法的基于深度学习的大豆豆荚考种系统，其特征在于，包括：
采集单元，用于采集大豆豆荚图像；
采集训练集和验证集所需的大豆豆荚图像；
采集测试集所需的大豆豆荚图像，测试集大豆豆荚图像包括颜色失真图像、高密度豆荚图像、低像素图像；
处理单元，用于对大豆豆荚图像进行检测；
处理单元包括：
标记模块，用于使用Labelimg对采集单元所采集的大豆豆荚图像进行分类标注，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
检测模块，用于利用标记模块所标记的大豆豆荚图像训练融合注意力模块的改进YOLOX网络模型，且进行优化，确定改进YOLOX网络模型的学习参数；
修正模块，用于对大豆豆荚检测结果的坐标逐一计算IoU，若单个大豆豆荚具有多个不同类别的标记框，在计算大豆豆荚数量时将重复计算次数的大豆豆荚删除，降低大豆豆荚计数的误差；
输出单元，用于输出大豆豆荚图像中各类别的大豆豆荚以及大豆实际种粒的计数结果。
9.应用权利要求7所述方法的基于深度学习的大豆豆荚考种装置，其特征在于，包括：
输入设备，用于采集待考种的大豆豆荚图像；
检测平台，用于通过融合注意力模块的改进YOLOX网络模型对待考种的大豆豆荚图像进行检测，且修正大豆豆荚检测结果；
输出设备，用于得到待考种的大豆豆荚图像检测结果，获得大豆豆荚图像中各类大豆豆荚个数、有效豆荚数、有效种粒数的表型参数。
10.一种计算机设备，其特征在于，包括存储器、处理器，
所述存储器中存储有在处理器上运行的可执行程序；
所述处理器运行可执行程序时实现权利要求1-7任一所述基于深度学习的大豆豆荚考种方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310424584.4A CN116434066B (zh) | 2023-04-17 | 2023-04-17 | 基于深度学习的大豆豆荚考种方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310424584.4A CN116434066B (zh) | 2023-04-17 | 2023-04-17 | 基于深度学习的大豆豆荚考种方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116434066A true CN116434066A (zh) | 2023-07-14 |
| CN116434066B CN116434066B (zh) | 2023-10-13 |
Family
ID=87090594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310424584.4A Active CN116434066B (zh) | 2023-04-17 | 2023-04-17 | 基于深度学习的大豆豆荚考种方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434066B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170089909A1 (en) * | 2015-09-30 | 2017-03-30 | Xiaohong Yu | Methods and compositions for assaying blood levels of legumain |
| CN109934297A (zh) * | 2019-03-19 | 2019-06-25 | 广东省农业科学院农业生物基因研究中心 | 一种基于深度学习卷积神经网络的水稻考种方法 |
| WO2021027135A1 (zh) * | 2019-08-15 | 2021-02-18 | 平安科技（深圳）有限公司 | 细胞检测模型训练方法、装置、计算机设备及存储介质 |
| CN114324336A (zh) * | 2021-12-31 | 2022-04-12 | 四川农业大学 | 一种大豆全生育期生物量无损测量方法 |
| CN114639067A (zh) * | 2022-01-26 | 2022-06-17 | 安徽大学 | 一种基于注意力机制的多尺度全场景监控目标检测方法 |
| US20220270238A1 (en) * | 2021-02-23 | 2022-08-25 | Orchard Holding | System, device, process and method of measuring food, food consumption and food waste |
| CN115019302A (zh) * | 2022-06-13 | 2022-09-06 | 江苏大学 | 一种改进型yolox目标检测模型构建方法及其应用 |
| CN115099297A (zh) * | 2022-04-25 | 2022-09-23 | 安徽农业大学 | 一种基于改进型YOLO v5模型的大豆植株表型数据统计方法 |
| CN115222717A (zh) * | 2022-07-29 | 2022-10-21 | 四川农业大学 | 一种大豆种荚快速计数方法、装置及存储介质 |
| WO2023039677A1 (en) * | 2021-09-17 | 2023-03-23 | Leav Inc. | Contactless checkout system with theft detection |
| CN115861853A (zh) * | 2022-11-22 | 2023-03-28 | 西安工程大学 | 基于改进yolox算法的复杂环境下输电线路鸟巢检测方法 |
-
2023
- 2023-04-17 CN CN202310424584.4A patent/CN116434066B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170089909A1 (en) * | 2015-09-30 | 2017-03-30 | Xiaohong Yu | Methods and compositions for assaying blood levels of legumain |
| CN109934297A (zh) * | 2019-03-19 | 2019-06-25 | 广东省农业科学院农业生物基因研究中心 | 一种基于深度学习卷积神经网络的水稻考种方法 |
| WO2021027135A1 (zh) * | 2019-08-15 | 2021-02-18 | 平安科技（深圳）有限公司 | 细胞检测模型训练方法、装置、计算机设备及存储介质 |
| US20220270238A1 (en) * | 2021-02-23 | 2022-08-25 | Orchard Holding | System, device, process and method of measuring food, food consumption and food waste |
| WO2023039677A1 (en) * | 2021-09-17 | 2023-03-23 | Leav Inc. | Contactless checkout system with theft detection |
| CN114324336A (zh) * | 2021-12-31 | 2022-04-12 | 四川农业大学 | 一种大豆全生育期生物量无损测量方法 |
| CN114639067A (zh) * | 2022-01-26 | 2022-06-17 | 安徽大学 | 一种基于注意力机制的多尺度全场景监控目标检测方法 |
| CN115099297A (zh) * | 2022-04-25 | 2022-09-23 | 安徽农业大学 | 一种基于改进型YOLO v5模型的大豆植株表型数据统计方法 |
| CN115019302A (zh) * | 2022-06-13 | 2022-09-06 | 江苏大学 | 一种改进型yolox目标检测模型构建方法及其应用 |
| CN115222717A (zh) * | 2022-07-29 | 2022-10-21 | 四川农业大学 | 一种大豆种荚快速计数方法、装置及存储介质 |
| CN115861853A (zh) * | 2022-11-22 | 2023-03-28 | 西安工程大学 | 基于改进yolox算法的复杂环境下输电线路鸟巢检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| SHUAI ZHANG: "Improved YOLOX-S Marine Oil Spill Detection Based on SAR Images", 《2022 12TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND TECHNOLOGY (ICIST)》 * |
| 李莹莹;李瑞超;程春光;赵圆圆;刘春燕;齐照明;李灿东;王囡囡;蒋洪蔚;陈庆山;: "大豆荚粒数相关QTL的Meta和Overview分析及其候选基因预测", 农业生物技术学报, no. 11 * |
| 袁德明: "基于深度学习的大豆表型测量方法研究", 《中国优秀硕士论文电子期刊网》, pages 17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116434066B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113537106B (zh) | 一种基于YOLOv5的鱼类摄食行为识别方法 | |
| EP2803015B1 (en) | Two stage categorization of objects in images | |
| CN111310756B (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
| US9183450B2 (en) | Inspection apparatus | |
| CN111524137A (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| Gaillard et al. | Voxel carving‐based 3D reconstruction of sorghum identifies genetic determinants of light interception efficiency | |
| CN112766155A (zh) | 一种基于深度学习的海水养殖区提取方法 | |
| CN109948527B (zh) | 基于集成深度学习的小样本太赫兹图像异物检测方法 | |
| US11694428B1 (en) | Method for detecting Ophiocephalus argus cantor under intra-class occulusion based on cross-scale layered feature fusion | |
| CN114612406A (zh) | 一种基于可见光和红外视觉的光伏板缺陷检测方法 | |
| CN112967255A (zh) | 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法 | |
| CN113989353A (zh) | 一种猪只背膘厚度测定方法及系统 | |
| CN115298539A (zh) | 外观检查系统和计算机程序 | |
| CN115170548A (zh) | 基于无监督学习的皮革缺陷自动检测方法及装置 | |
| CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
| CN106530226A (zh) | 获取高分辨率高清晰工业图像的实现方法 | |
| CN116434066B (zh) | 基于深度学习的大豆豆荚考种方法、系统及装置 | |
| CN112883915A (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 | |
| CN116485766A (zh) | 一种基于改进yolox的粮食不完善粒检测和计数方法 | |
| CN114550069B (zh) | 一种基于深度学习的仔猪乳头计数方法 | |
| CN113538389B (zh) | 一种鸽蛋品质识别方法 | |
| CN113591548B (zh) | 靶环识别方法及系统 | |
| CN116977648A (zh) | 一种基于目标检测的菜用大豆表型信息的识别方法和系统 | |
| CN107123105A (zh) | 基于fast算法的图像匹配缺陷检测方法 | |
| CN112287787A (zh) | 一种基于梯度直方图特征的作物倒伏分级方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |