CN116630707B - 一种基于深度学习的番茄穴盘苗分级检测与数据传输方法 - Google Patents
一种基于深度学习的番茄穴盘苗分级检测与数据传输方法 Download PDFInfo
- Publication number
- CN116630707B CN116630707B CN202310597393.8A CN202310597393A CN116630707B CN 116630707 B CN116630707 B CN 116630707B CN 202310597393 A CN202310597393 A CN 202310597393A CN 116630707 B CN116630707 B CN 116630707B
- Authority
- CN
- China
- Prior art keywords
- seedling
- seedlings
- plug
- strong
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 55
- 235000007688 Lycopersicon esculentum Nutrition 0.000 title claims abstract description 28
- 230000005540 biological transmission Effects 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 240000003768 Solanum lycopersicum Species 0.000 title claims description 28
- 241000196324 Embryophyta Species 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 235000002566 Capsicum Nutrition 0.000 claims 1
- 239000006002 Pepper Substances 0.000 claims 1
- 235000016761 Piper aduncum Nutrition 0.000 claims 1
- 235000017804 Piper guineense Nutrition 0.000 claims 1
- 244000203593 Piper nigrum Species 0.000 claims 1
- 235000008184 Piper nigrum Nutrition 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 241000227653 Lycopersicon Species 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009331 sowing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011031 large-scale manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- -1 turf Substances 0.000 description 1
- 229910052902 vermiculite Inorganic materials 0.000 description 1
- 235000019354 vermiculite Nutrition 0.000 description 1
- 239000010455 vermiculite Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，步骤为：选取壮苗指标，获取壮苗弱苗的分级临界值；构建壮苗弱苗检测数据集；构建SO‑YOLOv7目标检测模型，并对模型进行训练；检测穴盘苗正视和俯视图像，获取叶面积和株高信息；进行壮苗指标运算，判断穴盘苗的壮弱等级；将穴盘苗壮弱信息发送至可编程控制器，实现壮弱苗的分选。本发明提供的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，可以有效避免叶片干扰，具有较强的模型特征提取能力和捕获复杂视觉信息的能力；能获取目标的完整信息，从幼苗生长发育的角度对穴盘苗的质量等级作出评判，检测的准确度更高、评判更客观；可以为后续自动化分选提供技术支持。
Description
技术领域
本发明涉及智慧农业技术领域，尤其是涉及一种基于深度学习的番茄穴盘苗分级检测与数据传输方法。
背景技术
我国是蔬菜种植大国，目前我国的蔬菜种植多采用工厂化穴盘育苗模式，穴盘育苗技术是指采用草炭、蛭石等轻基质无土材料作育苗基质，机械化精量播种，一穴一粒，一次性成苗的现代化育苗技术。
穴盘育苗技术便于规模化管理，是实现蔬菜优质、高产的重要手段，具体有以下几大优势：(1)穴盘育苗在填料、播种、催芽等过程中均可利用机械完成，操作简单、快捷，适于规模化生产；(2)种子分播均匀，成苗率高，降低了种子成本；(3)穴盘中每穴内种苗相对独立，既可以减少相互间病虫害的传播，又可以减少小苗间营养争夺，根系也能充分发育；(4)可以增加育苗密度，便于集约化管理，提高温室利用率，降低生产成本；(5)由于统一播种和管理，使小苗生长发育一致性高，有利于提高种苗品质和规模化生产；(6)种苗起苗移栽简捷、方便，不损伤根系，定植成活率高，缓苗期短；(7)穴盘苗便于存放和运输。
但是，由于种子、播种、播后管理等因素的影响，穴盘苗也会出现大小不一、壮弱不均的情况，在出售或移栽前需要对秧苗进行分选，以保证移栽后植株的均匀一致性，以便于利于统一管理和为蔬菜的总收成提供保障。目前分选作业主要依靠人工，劳动强度大、效率低，质量难以保障。因此开发自动化穴盘苗分级检测与数据传输系统，为实现后续自动化分选提供技术支持，对提高分选效率、保证生产质量具有重要意义。
发明内容
本发明的目的是提供一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，以解决目前人工分选穴盘苗劳动强度大、可靠性不稳定、分选效率低的问题。
为实现上述目的，本发明提供的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，步骤为：
S1、选取叶面积/株高值作为壮苗指标，通过K-均值聚类获取壮苗弱苗的分级临界值；
S2、收集番茄穴盘苗的正视和俯视图像制作训练集，对图像进行分割、数据增强和标注处理，构建壮苗弱苗检测数据集；
S3、构建SO-YOLOv7目标检测模型，并用步骤S2构建的训练集对所述目标检测模型进行训练；
S4、利用训练好的SO-YOLOv7目标检测模型检测相机实时采集的穴盘苗正视和俯视图像，获取检测框内的叶面积和株高信息；
S5、构建壮苗指标检测算法，对步骤S4提取到的叶面积和株高信息进行运算，然后根据运算结果判断穴盘苗的壮弱等级；
S6、利用串口通讯将穴盘苗壮弱信息发送至可编程控制器，从而实现穴盘苗壮弱苗的分选。
优选的，所述步骤S1中K-均值聚类通过IBMSPSS24.0软件进行；壮苗弱苗分级临界值的确定方法为：将壮苗指标值导入IBMSPSS24.0软件，将聚类数设定为2，以得到的两个聚类中心值作为穴盘苗质量分级的参考值，将两个聚类中心值中数值较小的数值向上取整为最接近的整数，作为壮苗弱苗分级临界值。
优选的，所述步骤S2中构建壮苗弱苗检测数据集的具体步骤为：
S2-1、分别采用网口工业相机、Kinectv2相机和智能手机等具有差异像素值的不同相机采集番茄穴盘苗的正视和俯视图；
S2-2、将采集的图像进行分割，并使用Python中的数据增强库，对图像进行数据增强；
S2-3、使用LabelImg图像标注软件对增强后的图片进行标注处理，生成包含图像类别和大小的XML文件即为壮苗弱苗检测数据集。
优选的，所述步骤S2-2中将采集的图像进行分割是指将图像分割成番茄单株的图像，数据增强方法包括水平或垂直翻转、平移、加入高斯和椒盐噪声。
优选的，所述步骤S3中构建SO-YOLOv7目标检测模型主要包括以下步骤：
S3-1、在骨干网络的末端和Head第101层添加添加SwinTransformerBlock模块，利用其滑窗操作的特点，实现对目标全局信息的获取；
S3-2、将Head模块的E-ELAN子模块中第二支路最后一个卷积模块3×3卷积核替换成全维动态卷积，命名为O-ELAN模块，在卷积核的数量、空间维度、输入和输出四个通道四个维度上采用并行的多维注意力机制学习，以增强模型特征提取能力；
S3-3、用FReLU激活函数代替YOLOv7卷积块中的SiLU激活函数进行构建。
优选的，所述步骤S4中获取穴盘苗叶面积和株高信息的具体方法为：采用单行阵列式识别检测方法，将相邻两株苗的间距设定为60mm，在穴盘苗上方和侧面分别安装所述步骤S2中构建壮苗弱苗检测数据集所用的一种相机分别拍摄一行苗穴盘苗的正视和俯视图，将图像上传至SO-YOLOv7目标检测模型进行检测，得到该行穴盘苗的叶面积和株高信息。
优选的，所述步骤S5的信息运算、壮苗弱苗判断方法为：
S5-1、采用2g-r-b方法对穴盘苗叶片图像进行灰度化增强处理，有效区分叶片与背景，后采用最大类间方差法得到二值化图像，获取叶片绿色像素区域的面积；手动测量叶片的叶长和叶宽并绘制外接矩形，计算出外界矩形的真实面积，将其颜色设定为绿色，采用与上述相同的方法获取外接矩形绿色像素区域的面积，通过叶片绿色像素区域面积和外接矩形绿色像素区域面积的比例关系来获取真实叶面积；利用训练好的模型检测穴盘苗俯视图，建立检测框面积与叶片外接矩形的比例关系，得出检测框面积与真实叶面积的关系，随机选取30株苗，取平均值确定归一化系数；
S5-2、利用训练好的模型检测穴盘苗正视图像，获取检测框的高度即ymax-ymin，采用数显游标卡尺测量株高的实际值，测量3次取平均值，建立真实株高与检测框高度的比例关系，随机选取30株苗，取平均值确定归一化系数；
S5-3、根据壮苗指标对SO-YOLOv7目标检测模型的detect.py文件进行修改，将步骤S5-2所提取到的叶面积和株高进行运算处理得到壮苗指标值，与K-均值聚类分析得出的分级临界值进行数值比较，判断穴盘苗的壮弱。
优选的，所述步骤S6的信息发送方法为：在发送数据前对信息进行排序，使得穴盘苗的等级信息按顺序依次发送至对应的寄存器中，然后结合所述可编程控制器的Modbus协议对SO-YOLOv7目标检测模型的detect.py文件进行修改，将穴盘苗的类别信息作为要发送的数据内容，以十六进制数表达，其中10代表壮苗，20代表弱苗。
一种如上所述的基于深度学习的番茄穴盘苗分级检测与数据传输方法在穴盘苗分级检测中的应用。
因此，本发明提供的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，具有如下技术效果：
1.本发明提供的番茄穴盘苗分级检测与数据传输方法，通过使用Swin-TransformeBlock模块，实现对目标全局信息的获取；通过使用全维动态卷积，可以增强模型特征提取能力；通过用FReLU激活函数代替YOLOv7卷积块中的SiLU激活函数，使普通卷积也具备了捕获复杂视觉信息的能力；通过拉大两株穴盘苗的间距，可以避免相邻两穴盘苗之间因长势不均造成的叶片干扰，这些功能模块/步骤的紧密配合使本发明提供的方法能更好地获取目标的完整信息，壮苗弱苗检测的准确度更高；
2.本发明提供的SO-YOLOv7目标检测模型通过检测穴盘苗正视和俯视图像，获取叶面积和株高数据并进行壮苗指标运算，与K-均值聚类分析得出的分级临界值对比，进行等级划分，该方法可较好的从幼苗生长发育的角度对穴盘苗的质量等级作出评判，评判更客观；
3.本发明提供的番茄穴盘苗分级检测与数据传输方法，通过先将数据排序再发送至可编程控制器，可以有效防止穴盘苗数据在发送过程中顺序错乱导致寄存器中的信息与真实穴盘类别不符，导致壮苗和弱苗被误检的情况；
4.本发明提供的番茄穴盘苗分级检测与数据传输方法，使用串口通讯的方式将穴盘苗的等级信息发送至可编程控制器寄存器中，可以为后续的自动化分选提供技术支持。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的番茄穴盘苗分级检测与数据传输方法的流程图；
图2为SO-YOLOv7目标检测模型图；
图3为SwinTransformerBlock模块图；
图4为Head中添加全维动态卷积的O-ELAN模块图；
图5为穴盘苗实际检测效果图；
图6为可编程控制器寄存器接收壮苗弱苗信息结果图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
为了使得本申请的目的、技术方案及优点更加明确、透彻和完整，下面通过实施例和附图，对本发明的技术方案进行清楚、完整地描述。以下详细说明均是实施例的说明，旨在对本发明提供进一步详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员通常理解的含义相同。
实施例一
一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，流程图见图1，包括以下步骤：
S1、选取叶面积/株高值作为壮苗指标，通过IBMSPSS24.0软件进行K-均值聚类，然后将壮苗指标值导入IBMSPSS24.0软件，将聚类数设定为2，以得到的两个聚类中心值作为穴盘苗质量分级的参考值，将两个聚类中心值中数值较小的数值向上取整为最接近的整数，作为壮苗弱苗分级临界值。
S2、收集番茄穴盘苗的正视和俯视图像制作训练集，对图像进行分割、数据增强和标注处理，然后采用下述方法构建壮苗弱苗检测数据集：
S2-1、分别采用网口工业相机、Kinectv2相机和智能手机等具有差异像素值的不同相机采集番茄穴盘苗的正视和俯视图；
S2-2、将采集的图像分割成番茄单株图像，然后使用Python中的数据增强库，采用水平或垂直翻转、平移、加入高斯和椒盐噪声的方法对图像进行数据增强；
S2-3、使用LabelImg图像标注软件对增强后的图片进行标注处理，生成包含图像类别和大小的XML文件即为壮苗弱苗检测数据集。
S3、采用下述方法构建SO-YOLOv7目标检测模型：
S3-1、在骨干网络的末端和Head第101层添加SwinTransformerBlock模块(见图3)，利用其滑窗操作的特点，实现对目标全局信息的获取；
S3-2、将Head模块的E-ELAN子模块中第二支路最后一个卷积模块3×3卷积核替换成全维动态卷积(ODConv)，命名为O-ELAN模块(见图4)，以在卷积核空间的四个维度上采用并行的多维注意力机制学习，从而增强模型特征提取能力；
S3-3、用FReLU激活函数代替YOLOv7卷积块中的SiLU激活函数进行构建，构建的SO-YOLOv7目标检测模型图见图2。
用步骤S2构建的训练集对通过上述方法构建的目标检测模型进行训练。
S4、利用训练好的SO-YOLOv7目标检测模型检测相机实时采集的穴盘苗正视和俯视图像，获取检测框内的叶面积和株高信息，方法如下：
采用单行阵列式识别检测方法，将相邻两株苗的间距设定成60mm，在穴盘苗上方和侧面分别安装所述步骤S2中构建壮苗弱苗检测数据集所用的一种相机分别拍摄一行苗穴盘苗的正视(实际检测效果见图5B)和俯视图(实际检测效果见图5A)，将图像上传至SO-YOLOv7目标检测模型进行检测，得到该行穴盘苗的叶面积和株高信息。
S5、构建壮苗指标检测算法，将步骤S4提取到的叶面积和株高信息采用下述方法进行运算，然后根据运算结果判断穴盘苗的壮弱等级：
S5-1、采用2g-r-b方法对穴盘苗叶片图像进行灰度化增强处理，有效区分叶片与背景，后采用最大类间方差法(Ostu)得到二值化图像，获取绿色像素区域的面积；手动测量叶片的叶长和叶宽并绘制外接矩形，计算出外界矩形的真实面积，将其颜色设定为绿色，采用与上述相同的方法获取外接矩形绿色像素区域的面积，通过叶片绿色像素区域面积和外接矩形绿色像素区域面积的比例关系来获取真实叶面积；利用训练好的模型检测穴盘苗俯视图，建立检测框面积与叶片外接矩形的比例关系，得出检测框面积与真实叶面积的关系，随机选取30株苗，取平均值确定归一化系数；
S5-2、利用训练好的模型检测穴盘苗正视图像，获取检测框的高度即ymax-ymin，采用数显游标卡尺测量株高的实际值，测量3次取平均值，建立真实株高与检测框高度的比例关系，随机选取30株苗，取平均值确定归一化系数；
S5-3、根据壮苗指标对SO-YOLOv7目标检测模型的detect.py文件进行修改，将步骤S5-2所提取到的叶面积和株高进行运算处理得到壮苗指标值，与K-均值聚类分析得出的分级临界值进行数值比较，判断穴盘苗的壮弱。
S6、利用串口通讯将穴盘苗壮弱信息发送至可编程控制器(可编程控制器寄存器接收壮苗弱苗信息结果见图6)，从而实现穴盘苗壮弱苗的分选。
信息发送方法为：在发送数据前对信息进行排序，使得穴盘苗的等级信息按顺序依次发送至对应的寄存器中，然后结合所述可编程控制器的Modbus协议对SO-YOLOv7目标检测模型的detect.py文件进行修改，将穴盘苗的类别信息作为要发送的数据内容，以十六进制数表达，其中10代表壮苗，20代表弱苗。
因此，本发明提供的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，具有较强的模型特征提取能力；具备捕获复杂视觉信息的能力；同时可以有效避免相邻两穴盘苗之间的叶片干扰，以及由于数据发送过程中顺序错乱导致的误检；能更好地获取目标的完整信息，从幼苗生长发育的角度对穴盘苗的质量等级作出评判，壮苗弱苗检测的准确度更高、评判更客观；本发明提供的方法可以为后续自动化分选提供技术支持。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (6)
1.一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，其特征在于，步骤为：
S1、选取叶面积/株高值作为壮苗指标，通过K-均值聚类获取壮苗弱苗的分级临界值；
S2、收集番茄穴盘苗的正视和俯视图像制作训练集，对图像进行分割、数据增强和标注处理，构建壮苗弱苗检测数据集；
S3、构建SO-YOLOv7目标检测模型，并用步骤S2构建的训练集对所述目标检测模型进行训练；
构建SO-YOLOv7目标检测模型包括以下步骤：
S3-1、在骨干网络的末端和Head第101层添加添加Swin TransformerBlock模块，利用其滑窗操作的特点，实现对目标全局信息的获取；
S3-2、将Head模块的E-ELAN子模块中第二支路最后一个卷积模块3×3卷积核替换成全维动态卷积，命名为O-ELAN模块，在卷积核的数量、空间维度、输入和输出四个通道四个维度上采用并行的多维注意力机制学习，以增强模型特征提取能力；
S3-3、用FReLU激活函数代替YOLOv7卷积块中的SiLU激活函数进行构建；
S4、利用训练好的SO-YOLOv7目标检测模型检测相机实时采集的穴盘苗正视和俯视图像，获取检测框内的叶面积和株高信息；
S5、构建壮苗指标检测算法，对步骤S4提取到的叶面积和株高信息进行运算，然后根据运算结果判断穴盘苗的壮弱等级；
信息运算、壮苗弱苗判断方法为：
S5-1、采用2g-r-b方法对穴盘苗叶片图像进行灰度化增强处理，有效区分叶片与背景，后采用最大类间方差法得到二值化图像，获取叶片绿色像素区域的面积；手动测量叶片的叶长和叶宽并绘制外接矩形，计算出外界矩形的真实面积，将其颜色设定为绿色，采用与上述相同的方法获取外接矩形绿色像素区域的面积，通过叶片绿色像素区域面积和外接矩形绿色像素区域面积的比例关系来获取真实叶面积；利用训练好的模型检测穴盘苗俯视图，建立检测框面积与叶片外接矩形的比例关系，得出检测框面积与真实叶面积的关系，随机选取30株苗，取平均值确定归一化系数；
S5-2、利用训练好的模型检测穴盘苗正视图像，获取检测框的高度即ymax-ymin，采用数显游标卡尺测量株高的实际值，测量3次取平均值，建立真实株高与检测框高度的比例关系，随机选取30株苗，取平均值确定归一化系数；
S5-3、根据壮苗指标对SO-YOLOv7目标检测模型的detect.py文件进行修改，将步骤S5-2所提取到的叶面积和株高进行运算处理得到壮苗指标值，与K-均值聚类分析得出的分级临界值进行数值比较，判断穴盘苗的壮弱；
S6、利用串口通讯将穴盘苗壮弱信息发送至可编程控制器，从而实现穴盘苗壮弱苗的分选。
2.根据权利要求1所述的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，其特征在于，所述步骤S1中K-均值聚类通过IBM SPSS24.0软件进行；壮苗弱苗分级临界值的确定方法为：将壮苗指标值导入IBM SPSS24.0软件，将聚类数设定为2，以得到的两个聚类中心值作为穴盘苗质量分级的参考值，将两个聚类中心值中数值较小的数值向上取整为最接近的整数，作为壮苗弱苗分级临界值。
3.根据权利要求1所述的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，其特征在于，所述步骤S2中构建壮苗弱苗检测数据集的具体步骤为：
S2-1、分别采用网口工业相机、Kinect v2相机和智能手机具有差异像素值的不同相机采集番茄穴盘苗的正视和俯视图；
S2-2、将采集的图像进行分割，并使用Python中的数据增强库，对图像进行数据增强；
S2-3、使用LabelImg图像标注软件对增强后的图片进行标注处理，生成包含图像类别和大小的XML文件即为壮苗弱苗检测数据集。
4.根据权利要求3所述的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，其特征在于，所述步骤S2-2中将采集的图像进行分割是指将图像分割成番茄单株的图像，数据增强方法包括水平或垂直翻转、平移、加入高斯和椒盐噪声。
5.根据权利要求1所述的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，其特征在于，所述步骤S4中获取穴盘苗叶面积和株高信息的具体方法为：采用单行阵列式识别检测方法，将相邻两株苗的间距设定为60mm，在穴盘苗上方和侧面分别安装所述步骤S2中构建壮苗弱苗检测数据集所用的一种相机分别拍摄一行苗穴盘苗的正视和俯视图，将图像上传至SO-YOLOv7目标检测模型进行检测，得到该行穴盘苗的叶面积和株高信息。
6.根据权利要求1所述的一种基于深度学习的番茄穴盘苗分级检测与数据传输方法，其特征在于，所述步骤S6的信息发送方法为：在发送数据前对信息进行排序，使得穴盘苗的等级信息按顺序依次发送至对应的寄存器中，然后结合所述可编程控制器的Modbus协议对SO-YOLOv7目标检测模型的detect.py文件进行修改，将穴盘苗的类别信息作为要发送的数据内容，以十六进制数表达，其中10代表壮苗，20代表弱苗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310597393.8A CN116630707B (zh) | 2023-05-25 | 2023-05-25 | 一种基于深度学习的番茄穴盘苗分级检测与数据传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310597393.8A CN116630707B (zh) | 2023-05-25 | 2023-05-25 | 一种基于深度学习的番茄穴盘苗分级检测与数据传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630707A CN116630707A (zh) | 2023-08-22 |
| CN116630707B true CN116630707B (zh) | 2023-11-03 |
Family
ID=87596803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310597393.8A Active CN116630707B (zh) | 2023-05-25 | 2023-05-25 | 一种基于深度学习的番茄穴盘苗分级检测与数据传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630707B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661622A (zh) * | 2022-09-27 | 2023-01-31 | 北京航空航天大学 | 一种基于图像增强和改进YOLOv5的陨石坑检测方法 |
| CN116051970A (zh) * | 2023-02-08 | 2023-05-02 | 浙江大学 | 一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法 |
| CN116682106A (zh) * | 2023-05-23 | 2023-09-01 | 华南农业大学 | 一种基于深度学习的柑橘木虱智能检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114764891A (zh) * | 2021-09-16 | 2022-07-19 | 杭州天眼智联科技有限公司 | 用于确定物料构成的方法、装置、电子设备和可读介质 |
-
2023
- 2023-05-25 CN CN202310597393.8A patent/CN116630707B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661622A (zh) * | 2022-09-27 | 2023-01-31 | 北京航空航天大学 | 一种基于图像增强和改进YOLOv5的陨石坑检测方法 |
| CN116051970A (zh) * | 2023-02-08 | 2023-05-02 | 浙江大学 | 一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法 |
| CN116682106A (zh) * | 2023-05-23 | 2023-09-01 | 华南农业大学 | 一种基于深度学习的柑橘木虱智能检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的番茄苗分级检测研究;静茂凯 等;《河北农业大学学报》;第46卷(第2期);118-124 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630707A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yin et al. | Computer vision and machine learning applied in the mushroom industry: A critical review | |
| CN114387520B (zh) | 一种用于机器人采摘的密集李子精准检测方法及其系统 | |
| CN105260894A (zh) | 农业物联网农产品质量安全溯源的方法及其物联网系统 | |
| CN111652326A (zh) | 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统 | |
| CN114818909A (zh) | 一种基于作物长势特征的杂草检测方法和装置 | |
| Díaz et al. | Grapevine buds detection and localization in 3D space based on structure from motion and 2D image classification | |
| Zhang et al. | High-throughput corn ear screening method based on two-pathway convolutional neural network | |
| CN111291686B (zh) | 农作物根果表型参数的提取与根果表型判别方法及系统 | |
| CN113011221A (zh) | 作物分布信息的获取方法、装置及测量系统 | |
| CN115862004A (zh) | 一种玉米果穗表面缺陷检测方法及装置 | |
| Zhao et al. | Transient multi-indicator detection for seedling sorting in high-speed transplanting based on a lightweight model | |
| CN116630707B (zh) | 一种基于深度学习的番茄穴盘苗分级检测与数据传输方法 | |
| CN111523503A (zh) | 基于改进ssd算法的苹果目标检测方法 | |
| CN115147835B (zh) | 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法 | |
| CN117036926A (zh) | 一种融合深度学习与图像处理的杂草识别方法 | |
| CN110580495A (zh) | 一种梨树叶面积与叶面炭疽病病斑数自动化分析方法 | |
| CN115393715A (zh) | 一种基于机器视觉的穴盘种子漏播检测方法 | |
| CN110796639B (zh) | 一种基于神经网络的半夏品质分级方法 | |
| CN113724255A (zh) | 一种针对育苗期鲍鱼的计数方法 | |
| Moghaddam et al. | Developing a selective thinning algorithm in sugar beet fields using machine vision system | |
| Benhaddou et al. | Estimating mushroom yield and quality using computer vision | |
| Huang et al. | High-throughput image analysis framework for fruit detection, localization and measurement from video streams | |
| CN116052141B (zh) | 作物生育期的识别方法、装置、设备及介质 | |
| CN116453003B (zh) | 一种基于无人机监测智能识别水稻生长势的方法和系统 | |
| CN115731466A (zh) | 一种幼苗出芽率获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |