CN117727027A - 一种豆荚分类方法 - Google Patents
一种豆荚分类方法 Download PDFInfo
- Publication number
- CN117727027A CN117727027A CN202311137956.1A CN202311137956A CN117727027A CN 117727027 A CN117727027 A CN 117727027A CN 202311137956 A CN202311137956 A CN 202311137956A CN 117727027 A CN117727027 A CN 117727027A
- Authority
- CN
- China
- Prior art keywords
- pod
- image
- network
- images
- reverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 244000046052 Phaseolus vulgaris Species 0.000 title description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 title description 2
- 244000068988 Glycine max Species 0.000 claims abstract description 33
- 235000010469 Glycine max Nutrition 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008303 genetic mechanism Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种豆荚分类方法，其涉及图像识别技术领域。包括：采集整株大豆的正向图像与反向图像，在正向图像与反向图像上标注出豆荚生长区域；使用YOLOX模型分别对标注后的正向图像与反向图像进行目标检测，得到正向图像与反向图像上的豆荚初步分类结果；构建孪生网络模型SE‑Siamese Network；使用所述孪生网络模型SE‑Siamese Network对正向图像与反向图像的豆荚检测结果进行配对，判断正反两张图像的豆荚是否为同一个；按照配对结果进行统计，得到整株大豆的豆荚数量表型。本发明不会破坏大豆植株的整体形态特征，避免了由于拆解大豆植株造成的表型信息丢失，减少由于遮挡造成的识别误差，进而快速准确地检测出非拆解大豆植株的豆荚类别以及各类豆荚的数量。
Description
技术领域
本发明涉及图像识别技术领域，特别涉及一种豆荚分类方法。
背景技术
大豆作为重要的粮食作物，由于其植株结构复杂，生长期遮蔽严重等特点，使得很多精细表型都无法获取，缺乏实时、准确和批量的表型支持而使得其规律和遗传机理的研究停滞不前，自动化表型获取成为了现阶段人们追求的目标。
现有技术中，对豆荚表型的获取需要先拆解单株豆荚，对拆解后的豆荚进行拍照，获取豆荚图片数据，然后通过图像识别算法对豆荚数量进行计数。
上述现有技术存在的缺陷是：获取豆荚表型之前需要拆解豆荚，容易造成豆荚损伤，丢失豆荚的表型信息，产生误差。
发明内容
基于此，有必要针对上述技术问题，提供一种豆荚分类方法。
本发明实施例提供一种豆荚分类方法，包括：
采集整株大豆的正向图像与反向图像，在正向图像与反向图像上标注出豆荚生长区域；
通过目标检测模型YOLOX分别对标注后的正向图像与反向图像进行目标检测，得到正向图像与反向图像上按照荚数分类的豆荚初步分类结果；
构建孪生网络模型SE-Siamese Network：在深度学习模型ResNet50上添加注意力模块SE，将SE-ResNet50深度学习模型作为孪生网络模型Siamese Network的特征提取网络，构建孪生网络模型SE-Siamese Network；
使用所述孪生网络模型SE-Siamese Network对正向图像与反向图像的豆荚初步分类结果进行荚数配对，按照配对结果进行统计，得到整株大豆的豆荚分类结果。
另外的，采集整株大豆的正向图像与反向图像之后，将反向图像进行翻转，正向图像保持不变。
另外的，还包括对采集到的正向图像与反向图像进行数据增强：旋转180度、镜像、添加椒盐噪声。
另外的，所述豆荚初步分类结果包括：一粒荚、二粒荚、三粒荚、四粒荚。
另外的，在所述孪生网络模型SE-Siamese Network的网络分类层中添加神经网络层Dropout。
另外的，所述对豆荚初步分类结果进行配对包括：通过孪生网络模型SE-SiameseNetwork进行相似度比较，如果相似度大于设定的阈值，配对成功；如果相似度小于设定的阈值，配对不成功。
另外的，所述按照配对结果进行统计包括：
配对成功，认定为正反两张图像均可看见的豆荚，统计为同一个豆荚；配对不成功，认定为某一方向被遮挡的豆荚，将两个豆荚分开进行统计。
另外的，所述整株大豆的豆荚数量表型包括：所述整株大豆的豆荚分类结果包括：豆荚的类别、每类豆荚的个数。
本发明实施例提供的上述一种豆荚分类方法，与现有技术相比，其有益效果如下：
利用目标检测模型YOLOX对同一株大豆植株进行正反两个方向的豆荚识别得到豆荚初步分类结果，不会破坏大豆植株的整体形态特征，避免了由于拆解大豆植株造成的表型信息丢失；然后通过孪生网络模型SE-Siamese Network对正反图像中的豆荚进行配对，减少由于遮挡造成的识别误差，进而快速准确地检测出非拆解大豆植株的豆荚类别以及各类豆荚的数量。
附图说明
图1为一个实施例中提供的一种豆荚分类方法的流程示意图；
图2为一个实施例中提供的一种豆荚分类方法的增强方法效果图；
图3为一个实施例中提供的一种豆荚分类方法的目标检测模型训练与验证过程的损失函数变化曲线；
图4为一个实施例中提供的一种豆荚分类方法的目标检测模型识别效果图；
图5为一个实施例中提供的一种豆荚分类方法的改进前孪生网络示意图；
图6为一个实施例中提供的一种豆荚分类方法的改进后孪生网络示意图；
图7为一个实施例中提供的一种豆荚分类方法的识别评价图；
图8为一个实施例中提供的一种豆荚分类方法的变换过程示意图；
图9为一个实施例中提供的一种豆荚分类方法的评价结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一个实施例中，提供的一种豆荚分类方法，如图1所示，该方法包括：
一、通过图像清洗，选择1200张大豆豆荚标记数据集。另外，在图像获取的同时，会抽选出100株大豆植株作为评估算法性能的参考植株。对于这些参考植株，人工会对总荚数、不同类别荚数进行详细记录，并保存在表格之中。第二个阶段为豆荚矫正计数阶段，采用的数据集为通过第一阶段进行预测之后裁剪出来的豆荚，每张图像均包含一种豆荚类别。所构建的第一阶段和第二阶段的数据集各类别分布情况如表1所示。
表1实验所需数据集情况
二、对于第一阶段数据集的处理，通过LabelImg软件对数据集进行大豆豆荚的标记，在获得了大豆豆荚数据集后，利用数据增强技术对原始数据集进行了扩充，共获得了4800张图像，其中一粒荚数量为12313个，二粒荚数量为39220个，三粒荚数量为55587个，四粒荚数量为11823个，并按照训练集：验证集：测试集＝8：1：1的比例将其输入到用于检测的多种深度学习网络中进行训练优化。
三、对于第二阶段数据集的处理，通过人工筛选不同类别的豆荚，将筛选出来的一粒荚放在名称为“one”的文件夹下，将筛选出来的二粒荚放在名称为“two”的文件夹下，将筛选出来的三粒荚放在名称为“three”的文件夹下，将筛选出来的四粒荚放在名称为“four”的文件夹下，获得用于第二阶段相关性判断的不同类别的荚数分别为526，603，560，568，如表1所示。
四、第一阶段主要针对不同类别的荚进行识别，包括一粒荚、二粒荚、三粒荚、四粒荚，采用目标检测的方法进行识别。第一阶段利用目标检测网络进行不同类别荚的初步识别，为了获得最佳的检测效果，本研究选择了多种目标检测算法作为选择方案。其中包含Faster R-CNN，并且使用ResNet50和VGG16作为骨干网络进行训练，SSD、YOLO v5、YOLO v7、YOLOX、RetinaNet和CenterNet，数据增强的效果见图2，训练情况见图3，识别效果见图4。
五、第二阶段主要利用度量学习的方法比较正反两张图像的荚是否为同一个荚，对于配对成功的荚认定为正反两张图像均可看见的荚，将其进行记录，对于配对不成功的荚认定为某一方向被遮挡的荚并记录。通过对比采用不同特征提取网络的SiameseNetwork模型，从中选择最佳结构用于两张图像的相似度对比。常用的Siamese Network采用VGG16作为特征提取网络，在本章内容中，该网络的性能并不能满足本研究的要求，因此本研究对特征提取网络进行了更换，作为备选的特征提取网络有ResNet50、GoogLeNet、EfficientNet以及通过改进的ResNet50(被称为SE-ResNet50)。新的Siamese Network采用ResNet50作为特征提取网络，在原网络模型的基础之上，对残差块内容进行了更改，添加了SE(Squeeze-and-Excitation)模块，即SE注意力机制。通过SE注意力机制可以对特征进行矫正操作，保留有价值的特征，剔除没价值的特征，使网络能够更加容易的获得更重要的特征信息。在添加了SE注意力机制模块之后，在网络分类层中还添加了Dropout层，避免过拟合问题的产生。通过以上操作，构建出了改进的孪生网络模型——SE-Siamese Network。原始孪生网络结构见图5，改进后的孪生网络见图6，孪生网络的识别评价见图7，孪生网络所有数据的增强效果见图8。
六、配置环境：这里我们采用Python作为我们的程序语言，为了更快的进行检测，我们建议安装显卡厂商NVIDIA推出的运算平台CUDA以及配套的cuDNN，这样将大大提高检测效率，当然这不是必要的。其次我们推荐安装Anaconda，里面包含了我们需要的大量包，可以节省之后繁琐的安装时间，另外为了更加便捷的对代码进行操作，我们需要可以编译Python的编译器，这里我们选择PyCharm作为我们的编译器。由于我们使用的是PaddlePaddle框架进行的深度学习，因此在所有预备工作结束之后，我们还需要安装PaddlePaddle，如果CUDA和cuDNN能够正确安装并使用，这里可以安装GPU版本的PaddlePaddle，如果CUDA和cuDNN没有安装，提供了CPU版本的PaddlePaddle以供使用。
七、该方法主要基于两阶段进行，第一阶段是目标检测阶段，通过目标检测方法对各个类别的荚进行识别、裁剪，同时按照图像名字建立文件夹进行裁剪后图像的统一保存，第二阶段通过孪生网络对同一株大豆植株对正反两张图像的所有检测出来的荚进行相似性比较，将相似性最高的认为是同一个大豆豆荚并记录，如果相似度小于设定的阈值，则认为该大豆豆荚只在一张大豆图像中出现，同时将其记录。最后统计记录中的各类豆荚数量即为该株大豆的豆荚表型信息。目标检测网络与融合网络识别结果比较见图9。
八、提出了基于深度学习与度量学习的大豆成熟期整株豆荚自动化高精度识别方法，分别从数据获取，模型搭建和实验结果与分析进行阐述。针对不同类别大豆荚的识别，采用了不同的目标检测算法进行识别，择优选择最优模型作为第一阶段的检测模型，其在测试集上的准确率达到了83.43％。在第二阶段对比了具有不同特征提取网络的SiameseNetwork模型，根据对比结果认为以SE-ResNet50作为特征提取网络的Siamese Network为最佳模型，其在测试集上的准确率达到了93.7％。另外，还对最优模型SE-Siamese Network的超参数进行了比较，得出了最优的组合模型。最后运用混淆矩阵和特征图可视化的方法再次验证了模型的性能。为了证明模型在实际应用中的效果，选取了部分大豆植株的图像，人工统计了不同类别荚数，总荚数以及总粒数的表型信息，与仅使用目标检测的方法和使用基于深度学习与度量学习的融合算法进行了相关性比较，发现基于深度学习与度量学习的融合方法的相关性均要高于仅使用目标检测算法的相关性，验证了方法的准确性，为其它类似研究提出了新思路。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种豆荚分类方法，其特征在于，包括：
采集整株大豆的正向图像与反向图像，在正向图像与反向图像上标注出豆荚生长区域；
通过目标检测模型YOLOX分别对标注后的正向图像与反向图像进行目标检测，得到正向图像与反向图像上按照荚数分类的豆荚初步分类结果；
构建孪生网络模型SE-Siamese Network：在深度学习模型ResNet50上添加注意力模块SE，将SE-ResNet50深度学习模型作为孪生网络模型Siamese Network的特征提取网络，构建孪生网络模型SE-Siamese Network；
使用所述孪生网络模型SE-Siamese Network对正向图像与反向图像的豆荚初步分类结果进行荚数配对，按照配对结果进行统计，得到整株大豆的豆荚分类结果。
2.如权利要求1所述的一种豆荚分类方法，其特征在于，采集整株大豆的正向图像与反向图像之后，将反向图像进行翻转，正向图像保持不变。
3.如权利要求1所述的豆荚分类方法，其特征在于，还包括对采集到的正向图像与反向图像进行数据增强：旋转180度、镜像、添加椒盐噪声。
4.如权利要求1所述的一种豆荚分类方法，其特征在于，所述豆荚初步分类结果包括：一粒荚、二粒荚、三粒荚、四粒荚。
5.如权利要求1所述的一种豆荚分类方法，其特征在于，在所述孪生网络模型SE-Siamese Network的网络分类层中添加神经网络层Dropout。
6.如权利要求1所述的一种豆荚分类方法，其特征在于，所述对豆荚初步分类结果进行配对包括：通过孪生网络模型SE-Siamese Network进行相似度比较，如果相似度大于设定的阈值，配对成功；如果相似度小于设定的阈值，配对不成功。
7.如权利要求1所述的一种豆荚分类方法，其特征在于，所述按照配对结果进行统计包括：
配对成功，认定为正反两张图像均可看见的豆荚，统计为同一个豆荚；配对不成功，认定为某一方向被遮挡的豆荚，将两个豆荚分开进行统计。
8.如权利要求1所述的一种豆荚分类方法，其特征在于，所述整株大豆的豆荚分类结果包括：豆荚的类别、每类豆荚的个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311137956.1A CN117727027A (zh) | 2023-09-05 | 2023-09-05 | 一种豆荚分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311137956.1A CN117727027A (zh) | 2023-09-05 | 2023-09-05 | 一种豆荚分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117727027A true CN117727027A (zh) | 2024-03-19 |
Family
ID=90205832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311137956.1A Pending CN117727027A (zh) | 2023-09-05 | 2023-09-05 | 一种豆荚分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117727027A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975172A (zh) * | 2024-03-29 | 2024-05-03 | 安徽农业大学 | 一种整株豆荚识别模型构建与训练方法及系统 |
-
2023
- 2023-09-05 CN CN202311137956.1A patent/CN117727027A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975172A (zh) * | 2024-03-29 | 2024-05-03 | 安徽农业大学 | 一种整株豆荚识别模型构建与训练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wäldchen et al. | Plant species identification using computer vision techniques: a systematic literature review | |
| CN111680706B (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
| CN109145830B (zh) | 一种智能水尺识别方法 | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| CN108288271A (zh) | 基于三维残差网络的图像检测系统及方法 | |
| CN115099297B (zh) | 一种基于改进型YOLO v5模型的大豆植株表型数据统计方法 | |
| CN110188225A (zh) | 一种基于排序学习和多元损失的图像检索方法 | |
| CN117727027A (zh) | 一种豆荚分类方法 | |
| CN111179216A (zh) | 一种基于图像处理与卷积神经网络的作物病害识别方法 | |
| CN110263790A (zh) | 一种基于卷积神经网络的电厂电表字符定位和识别方法 | |
| CN109543693A (zh) | 基于正则化标签传播的弱标注数据降噪方法 | |
| CN116912674A (zh) | 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统 | |
| CN114937266A (zh) | 一种基于yolox-s的硬壳蛤生物体征识别方法 | |
| CN114897764A (zh) | 基于标准化通道注意力的肺结节假阳性排除方法及装置 | |
| CN113918744A (zh) | 相似图像检索方法、装置、存储介质及计算机程序产品 | |
| CN113627522B (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
| CN113344008B (zh) | 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 | |
| Yang et al. | Intelligent collection of rice disease images based on convolutional neural network and feature matching | |
| CN115409810A (zh) | 一种遥感影像的样本选择方法、装置及系统 | |
| CN114612787A (zh) | 一种尺度变化策略支持的城市绿地深度学习提取方法 | |
| CN116977648A (zh) | 一种基于目标检测的菜用大豆表型信息的识别方法和系统 | |
| CN114743048A (zh) | 检测异常秸秆图片的方法和检测装置 | |
| Joly et al. | Unsupervised individual whales identification: spot the difference in the ocean | |
| Yang et al. | Multi-Growth Period Tomato Fruit Detection Using Improved Yolov5 | |
| WO2020037255A1 (en) | Automatic identification and analysis of a tissue sample |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |