CN117292248B - 基于深度学习的农田喷药系统及杂草检测方法 - Google Patents
基于深度学习的农田喷药系统及杂草检测方法 Download PDFInfo
- Publication number
- CN117292248B CN117292248B CN202311420938.4A CN202311420938A CN117292248B CN 117292248 B CN117292248 B CN 117292248B CN 202311420938 A CN202311420938 A CN 202311420938A CN 117292248 B CN117292248 B CN 117292248B
- Authority
- CN
- China
- Prior art keywords
- weed
- image
- farmland
- yolov
- spraying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000196324 Embryophyta Species 0.000 title claims abstract description 99
- 238000005507 spraying Methods 0.000 title claims abstract description 88
- 239000000575 pesticide Substances 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 11
- 239000012855 volatile organic compound Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 239000002689 soil Substances 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 22
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 239000002699 waste material Substances 0.000 abstract 1
- 239000003814 drug Substances 0.000 description 30
- 239000007921 spray Substances 0.000 description 26
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 17
- 239000007788 liquid Substances 0.000 description 9
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 4
- 229910052802 copper Inorganic materials 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 229910052744 lithium Inorganic materials 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 206010008428 Chemical poisoning Diseases 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 244000088415 Raphanus sativus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000013043 chemical agent Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明公开了基于深度学习的农田喷药系统及其杂草检测方法,属于深度学习和智能喷药技术领域,本发明基于W‑YOLOv5和HSV色彩空间过滤的杂草检测方法并开发了智能精准喷药系统,将杂草检测算法在服务器训练、调试后嵌入至开发板中,利用摄像头采集农田作物和杂草图像,通过开发板运算处理后得到杂草位置并输出杂草严重等级,开发板根据杂草严重等级通过GPIO向四路继电器发送不同电平信号,进而控制电磁阀的开闭,通过四个电磁阀的不同开闭组合,实现精准变量喷药,同时还能完成系统流量的监测。本发明可精准检测农田中的各类杂草,并智能决策喷药量,无需人为主观判断,减少了农药的浪费和对农田的污染,对提高农产品安全和生态环境可持续发展具有重要意义。
Description
技术领域
本发明属于深度学习和智能喷药技术领域,具体涉及基于深度学习的农田喷药系统及其杂草检测方法。
背景技术
我国是世界农业大国,也是全球农产品贸易大国,但由于我国农业劳动生产率、土地产出率和资源利用率较低,距离农业强国还有一定差距。农田中作物苗期的病虫草害是影响土地产出率的直接因素,其中杂草生命力顽强、蔓延速度快、遍布范围广,对作物生长抑制最为明显。喷洒化学药剂是目前最普遍的防治措施,2022年我国农药利用率超过41%,创历史新高,但仍有大量的农药被浪费,不仅增加了农业生产成本,而且还污染农业生态环境,不利于绿色优质农产品的产出。因此智能精准喷药是提高土地利用率,减少农业面源污染,实现作物高产的重要途径。
目前,最为常用的喷药方式主要包括人工靶向喷药和农机、无人机均匀大面积喷药。人工靶向喷药是农业生产者在农田中根据农作物和杂草情况主观判断后,选择合适的药量对目标进行靶向喷药,但是该方法耗时耗力,过于依靠人工经验,并且农业生产者在农田中持续进行喷药作业易导致农药中毒的情况发生;农机、无人机均匀大面积喷药是指农机或无人机匀速移动,对农田进行统一定量喷药,能做到药物喷洒均匀,该方法虽省时省力,但实际农田中往往杂草分布不均,定量喷药会导致杂草稀疏区域农药过量浪费、污染环境,杂草茂盛区域农药量少无效的情况发生,使农业生产成本进一步增加,并且不利于农业生态可持续发展。
发明内容
针对上述现有喷药方式的不足,本发明提出了一种基于深度学习的智能精准喷药系统及杂草检测方法,该系统能够精准检测农田中的各类杂草,并判断杂草严重程度,根据不同严重程度决策喷药量,实现智能精准喷药,减少农业面源污染,降低农业生产成本,提高土地产出率。
本发明通过如下技术方案实现:
基于深度学习的农田喷药系统,包括移动底盘及位于其上的图像采集与处理系统、喷药控制系统、喷药执行系统及监测系统;
图像采集与处理系统,用于实时采集农田作物和杂草的图像信号,并发送给喷药控制系统;
喷药控制系统,用于接收图像采集与处理系统发送的图像信号,经运算处理后得到杂草严重等级,并转换成相应的喷药等级的控制信号,将所述喷药等级的控制信号发送给喷药执行系统;
喷药执行系统,用于接收喷药控制系统发送的控制信号,进而控制相应的电磁阀的开闭;
供电系统,与图像采集与处理系统、喷药控制系统、喷药执行系统及移动底盘连接,用于供电。
进一步地,所述喷药控制系统包括开发板9及继电器10,所述开发板9与继电器10连接,所述开发板9用于接收图像采集与处理系统发送的图像信号,经运算处理后得到杂草严重等级,并转换成相应的喷药等级的控制信号发送给继电器10,继电器10接收开发板9发送的控制信号进而控制喷药执行系统的相应的电磁阀4开闭。
进一步地,所述喷药执行系统包括药箱7、喷药管路、水泵8、泄压阀5、电磁阀4及喷头2;所述药箱7的底部通过喷药管路与所述水泵8的进水口相连,所述水泵8的出水口分为两路,一路经过泄压阀5回流至药箱7,另一路流至多个并联的喷头2,所述水泵8的出水口与喷头2连接的多个并联的喷药管路上均设置有电磁阀4及监测系统;所述电磁阀4用于控制喷头的开闭。
进一步地,所述喷药管路为PU气动透明软管,其中,主管路外径为10mm,四条支管路外径为8mm,满足系统喷药需求,能同时观察喷药管路工作情况;
所述监测系统包括霍尔流量计3及液位传感器6;所述霍尔流量计3安装在喷药管路中,用于检测实际喷药量;液位传感器6安装在所述药箱中,用于检测药箱的药量;
所述电磁阀4为12V直流有压常闭式铜阀,其工作压力范围为0.02-0.8Mpa;所述喷头2为可万向调节喷雾喷淋方向铜喷头,喷头管路为PE材料,可360度任意弯曲调节,喷头管路后端配有微调开关,可通过旋转开关调节喷药量大小。
进一步地,所述喷药控制系统的杂草检测方法,具体包括如下步骤:
S1、构建作物幼苗和杂草数据集并进行数据清洗;
S2:划分训练集和测试集并进行标注;
S3:对训练集进行数据增强和扩充;
S4:构建融合Vision Transformer的W-YOLOv5网络模型;
S5:将经过步骤S3处理后的作物幼苗和杂草图像输入到步骤S4得到的W-YOLOv5网络模型中进行推理预测,得到作物幼苗检测结果;
S6:使用黑色掩膜将步骤S5中检测到的作物幼苗框进行覆盖,得到仅包含杂草和土壤的图像;
S7:使用HSV色彩空间过滤算法对步骤S6得到的图像进行处理,实现对杂草的识别;
S8:遍历图像中的像素点,得到绿色杂草部分的像素点和黑色背景的像素点,计算杂草面积在图像中的占比,并按对应阈值输出杂草严重等级。
进一步地,步骤S1中,采集农田中种植的小麦、萝卜、黄瓜和大豆四种作物幼苗及伴生杂草图像,并将不清晰和不完整的图像删除,使用双线性插值法,将原图像分辨率从3000*3000缩小到640*640,以方便匹配模型输入尺寸并提高模型训练效率;
步骤S2中,将步骤S1中调整分辨率后的图像按照8:2的比例划分训练集和测试集,使用LabelImg对图像进行VOC格式标注,形成标签文件。
进一步地,步骤S3具体包括如下内容:
S31、对步骤S2中标注后的数据进行基本图像扩充操作,包括水平翻转、亮度增强和色彩抖动;
S32、采用Mosaic数据进一步地增强和扩充。
进一步地,步骤S31中,亮度增强系数为1.5,色彩抖动设定图像饱和度的随机因子为0.3-2,图像亮度和锐度的随机因子为0.3-1.5,图像对比度的随机因子为0.5-2.5;
步骤S32中,在训练集中随机选取4张图片,通过随机缩放、随机裁减、随机排布的方式进行拼接,得到新的一张图片。
进一步地,步骤S4具体包括如下内容:
S41、在YOLOv5的BackBone部分引入降采样Fcous模块、深度可分离卷积(DWConv)、C3Ghost特征提取模块、空间金字塔(SPPF)模块;
S42、在YOLOv5的Neck部分末端引入Vision Transformer机制。
S43、利用步骤S3中经过处理的作物幼苗和杂草数据集对改进的网络模型进行训练,使用测试集进行测试调参,得到W-YOLOv5网络模型。
进一步地,步骤S7中,具体包括如下内容:
将步骤S6得到的图像转换为HSV色彩空间,图像被分成Hue(色相)、Saturation(饱和度)和Value(亮度)三个通道,设定绿色像素点的下限值为[35,43,46],上限值为[90,255,255],获取仅包含绿色杂草像素的二值图像,并将其余部分指定为黑色掩膜,将两个掩膜叠加以获取仅包含绿色杂草部分的掩膜,最后将识别到的杂草还原到前景中。
进一步地,步骤S8中,具体包括如下内容:
通过遍历图像中的像素点得到绿色杂草部分的像素点和黑色背景的像素点,将绿色杂草部分和黑色背景进行分离,并计算出相应的面积,根据公式(1)得到图像中杂草比例,其中,∑(i,j)表示对图像中所有像素位置(i,j)进行求和;HSV色彩空间过滤算法输出的标签图像为M,其中,每个像素的取值为0或1,0表示背景、1表示绿色杂草,则根据公式,杂草像素占总像素数的比例R表示为:
与现有技术相比,本发明的优点如下:
1.本发明利用深度学习与HSV色彩空间过滤方法,能够准确、快速地识别农田中的各类杂草,不受作物伴生杂草种类的限制,具有较好的鲁棒性。
2.本发明在原YOLOv5的BackBone部分引入了Focus模块、深度可分离卷积(DWConv)、C3Ghost模块以及空间金字塔(SPPF)模块,提升了模型的精度并且大幅降低了整体计算量和参数量,使模型更适合部署至嵌入式平台。
3.本发明将传统卷积神经网络与Vision Transformer相结合,提出了W-YOLOv5网络,能有效提高全局信息的提取能力,保证模型在杂草密集、复杂的环境下能够精准识别作物幼苗。
4.本发明可以按照规定路线在农田中自动行走,通过所提出的杂草检测算法实时检测杂草并智能决策喷药量,完成喷药作业,整个过程无需人工判断,喷药作业更加科学、高效。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明的农田喷药系统的结构示意图;
图2为本发明的农田喷药系统的结构原理图;
图3为本发明的农田喷药系统的工作流程图;
图4为本发明的杂草检测方法流程图;
图5为本发明的杂草检测方法W-YOLOv5网络结构图;
图6为本发明的杂草检测方法的杂草检测结果图;
图中:直流无刷轮毂电机1、喷头2、霍尔流量计3、电磁阀4、泄压阀5、液位传感器6、药箱7、水泵8、NVIDIA Jetson TX2 NX开发板9、继电器10、摄像头11、显示器12、鼠标13、键盘14、手机移动端15、服务器16、供电系统17。
具体实施方式
为清楚、完整地描述本发明所述技术方案及其具体工作过程,结合说明书附图,本发明的具体实施方式如下:
实施例1
如图1所示,本实施例提供了基于深度学习的农田喷药系统,包括移动底盘、图像采集与处理系统、喷药控制系统、喷药执行系统、监测系统、移动底盘及供电系统;
其中,所述图像采集与处理系统,用于实时采集农田作物和杂草的图像信号,并发送给喷药控制系统;
在本实施例中,所述图像采集与处理系统采用摄像头11,所述摄像头11为1080p、60fps的工业高清USB摄像头,布置在距地面50cm高处,镜头与地面平行,用于实时采集农田作物和杂草图像;
所述喷药控制系统,用于接收图像采集与处理系统发送的图像信号,经运算处理后得到杂草严重等级,并转换成相应的喷药等级的控制信号,将所述喷药等级的控制信号发送给喷药执行系统;
所述喷药控制系统包括开发板9及继电器10,所述开发板9与继电器10连接,所述开发板9用于接收图像采集与处理系统发送的图像信号,经运算处理后得到杂草严重等级,并转换成相应的喷药等级的控制信号发送给继电器10,继电器10接收开发板9发送的控制信号进而控制喷药执行系统的相应的电磁阀4开闭。
在本实施例中,所述开发板9用于接收摄像头采集的图像并运算处理后得到杂草严重等级,为一台基于NVIDIA PascalTM架构的AI单模块超级计算机,集成256核NVIDIAPascal GPU和一个6核64位的ARMv8处理器集群,拥有8GB LPDDR4 128位内存和128G固态硬盘,开发板上含有4个USB接口、2个HDMI接口、1个RJ45网线接口及40个I/O口,通过上述接口可连接显示器12、鼠标13、键盘14、继电器10。
所述喷药执行系统,用于接收喷药控制系统发送的控制信号,进而控制相应的电磁阀的开闭;
所述喷药执行系统包括药箱7、喷药管路、水泵8、泄压阀5、电磁阀4及喷头2;所述药箱7的底部通过喷药管路与所述水泵8的进水口相连,所述水泵8的出水口分为两路,一路经过泄压阀5回流至药箱7,另一路流至多个并联的喷头2,所述水泵8的出水口与喷头2连接的多个并联的喷药管路上均设置有电磁阀4及监测系统;所述电磁阀4用于控制喷头的开闭。
在本实施例中,所述电磁阀4及喷头2的个数分别为4个,电磁阀4为12V直流有压常闭式铜阀,其工作压力范围为0.02-0.8Mpa,喷头为可万向调节喷雾喷淋方向铜喷头,喷头管路为PE材料,可360度任意弯曲调节,喷头管路后端配有微调开关,可通过旋转开关调节喷药量大小,喷药管路选择PU气动透明软管,其中主管路外径10mm,四条支管路外径8mm,在作业时能直接观察喷药管路工作情况;
所述监测系统,包括传感器、显示器12、手机移动端15及服务器16,用于实时监测系统的工作状态并在开发板外接显示屏和移动端小程序中显示;
在本实施例中,所述监测系统的传感器包括霍尔流量计3及液位传感器6,其中,所述霍尔流量计安装在喷药管路中,用于检测实际喷药量;所述液位传感器安装在所述药箱中,用于检测药箱的药量;
所述移动底盘,包括四个直流无刷轮毂电机1、铝型材框架、PVC板材,用于承载整套系统在农田中匀速自走。
所述供电系统,与图像采集与处理系统、喷药控制系统、喷药执行系统及移动底盘连接,用于供电。
在本实施例中,所述供电系统17包括一个24V 22400mAh和两个12V 16800mAh的锂电池组,用于为图像采集与处理系统、喷药控制系统、喷药执行系统及移动底盘提供电源,其中一个24V锂电池组为直流无刷轮毂电机供电,另外两个12V锂电池组为水泵、开发板及其它用电器独立供电。
如图3所示,本实施例的基于深度学习的农田喷药系统的工作流程如下:移动底盘在农田中按指定路线匀速直线行驶,水泵8始终通电工作,将药液持续从药箱7中抽出,摄像头11实时采集农田作物幼苗和杂草图像,通过总线协议传至NVIDIA Jetson TX2 NX开发板9,开发板9调用预先部署的深度学习模型检测图片中的杂草位置并判断杂草严重程度。当系统检测到杂草时,继电器10信号输入端接收到开发板发送的不同等级喷药信号,相应继电器吸合,电磁阀4通电打开,药液通过主管流向四条喷药管路,经电磁阀4后通过喷头2将药液喷出,实现变量喷药;当系统未检测到杂草时,开发板9不发送任何信号,电磁阀4关闭,药液通过旁路经泄压阀5流回至药箱7。
实施例2
如图4所示,本实施例提供了实施例1所述的喷药控制系统的杂草检测方法,具体包括如下步骤:
S1:构建作物幼苗和杂草数据集并进行数据清洗,具体如下:
采集农田中种植的小麦、萝卜、黄瓜和大豆四种作物幼苗及伴生杂草图像,并将不清晰和不完整的图像删除,使用双线性插值法,将原图像分辨率从3000*3000缩小到640*640,以方便匹配模型输入尺寸并提高模型训练效率;
所述步骤S1中构建的作物幼苗和杂草数据集,主要采集于户外实验田,使用Oneplus8pro手机拍摄,分辨率为3000*3000,格式为JPG,为模拟实际环境中搭载在系统上摄像头的拍摄环境,固定拍摄距离距地面30厘米进行拍照获取,为模拟实际使用过程中的天气变化,采集数据包括晴天、阴天、雨天天气下的图像。
S2:划分训练集和测试集并进行标注,具体如下:
将步骤S1中调整分辨率后的图像按照8:2的比例划分训练集和测试集,使用LabelImg对图像进行VOC格式标注,形成标签文件;
S3:对训练集进行数据增强和扩充,具体如下:
S31、对步骤S2中标注后的数据进行基本图像扩充操作,包括水平翻转、亮度增强和色彩抖动,亮度增强系数为1.5,色彩抖动设定图像饱和度的随机因子为0.3-2,图像亮度和锐度的随机因子为0.3-1.5,图像对比度的随机因子为0.5-2.5;
S32、除所述步骤S31中基本图像扩充操作外,使用Mosaic数据增强和扩充,在训练集中随机选取4张图片,通过随机缩放、随机裁减、随机排布的方式进行拼接,得到新的一张图片,可以使模型同时学习多种图像特征,提高模型泛化能力;
S4:对原始YOLOv5网络模型进行改进,融合Vision Transformer,构建W-YOLOv5网络,具体步骤如下:
S41、YOLOv5的BackBone部分是使用了改进的Cross Stage Partial Network(CSPNet)作为骨干网络提取图像基础特征信息。在CSPNet的基础上添加了无信息损耗的降采样Focus模块、更高特征提取能力的深度可分离卷积(DWConv)、轻量级的特征提取C3Ghost模块以及将多种尺度特征图统一成相同尺寸的空间金字塔(SPPF)模块;
S42、在YOLOv5的Neck部分末端引入Vision Transformer机制,利用卷积神经网络先对特征进行偏置诱导,减少特征通道的数量,解决Transformer机制偏置诱导能力弱、计算量大的问题,能有效提高YOLOv5对密植作物幼苗的检测能力;
S5:利用步骤S1中所述作物幼苗和杂草数据集对W-YOLOv5网络模型进行训练,使用测试集进行测试调参,得到最终W-YOLOv5网络模型,如图5所示,具体如下:
训练环境搭建于Windows10操作系统,CPU型号Intel i7-7820,主频3.60Ghz,GPU为两张TitanX,显存12.0G,CUDA版本11.0。模型使用Python3.6与Pytorch1.7.0搭建;
输入图像大小为640*640、模型深度为0.33、模型宽度为0.5、批处理大小batchsize为16、训练迭代轮数为300、学习率为0.071,动量为0.95、权重衰减系数为0.00045,训练完成后,会得到模型权重文件best.pt;
S6:将作物幼苗和杂草图像输入到步骤S5所得到的W-YOLOv5网络模型中进行推理预测,得到作物幼苗检测结果,如图6所示;
S7:使用黑色掩膜将步骤S6中检测到的作物幼苗框进行覆盖,得到仅包含杂草和土壤的图像;
S8:使用HSV色彩空间过滤算法对图像进行处理,实现对杂草的识别,具体如下:
将图像转换为HSV色彩空间,图像被分成了Hue(色相)、Saturation(饱和度)和Value(亮度)三个通道,设定绿色像素点的下限值为[35,43,46],上限值为[90,255,255],获取仅包含绿色杂草像素的二值图像,并将其余部分指定为黑色掩膜,将两个掩膜叠加以获取仅包含绿色杂草部分的掩膜,最后将识别到的杂草还原到前景中;
S9:遍历图像中的像素点,得到绿色杂草部分的像素点和黑色背景的像素点,计算杂草面积在图像中的占比,并按表1对应阈值输出等级,具体如下:
通过遍历图像中的像素点得到绿色杂草部分的像素点和黑色背景的像素点,将绿色杂草部分和黑色背景进行分离,并计算出相应的面积,根据公式(1)得到图像中杂草比例,其中∑(i,j)表示对图像中所有像素位置(i,j)进行求和。假设HSV色彩空间过滤算法输出的标签图像为M,其中每个像素的取值为0(表示背景)、1(表示绿色杂草),则根据公式,杂草像素占总像素数的比例R可以表示为:
S10:将S5-S9所述算法分别在服务器和NVIDIA Jetson TX2 NX开发板上部署运行;
在S42中YOLOv5的Neck部分末端中分别引入Swim Transformer、和本发明所采用的Vision Transformer,命名为YOLOv5(S)、YOLOv5(V),与原始YOLOv5进行对比,实验结果如表2所示;同时也将W-YOLOv5与其它目标检测算法进行对比,实验结果如表3所示。
表1杂草严重度对照表
表2不同Transformer性能对比
表3 YOLO系列模型性能对比
由表2实验结果可知,在精确率方面,YOLOv5(S)的精度高于YOLOv5,YOLOv5(V)的mAP0.5相较于YOLOv5(S)高0.7%;在模型浮点运算量方面,YOLOv5(V)比YOLOv5(S)小6G;在运算速度方面,YOLOv5(V)相较于YOLOv5和YOLOv5(S)更快。YOLOv5(V)在四种农作物幼苗的检测任务上表现更好,有助于进一步的杂草检测。
由表3实验结果可知,W-YOLOv5模型mAP0.5达到0.876,相较于YOLOv5模型提高了3.2%,在mAP0.5-0.95上相较于表现最好的YOLOv7,提高了3%;在模型浮点运算量和计算速度方面,W-YOLOv5模型的FLOPs比YOLOv5模型大0.6G,差距可以忽略不计,W-YOLOv5在服务器中的计算速度相较于YOLOv5模型慢3ms,在TX2中的计算速度比YOLOv5慢39ms,但是与其他模型相比,W-YOLOv5的模型浮点运算量和计算速度具有明显优势。W-YOLOv5模型在均值平均精度(mAP)方面优势较大,在模型浮点运算量及运算速度方面劣势较小,完全可以满足杂草检测任务中对农作物幼苗检测的要求。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。
Claims (1)
1.基于深度学习的农田喷药系统及杂草检测方法,其特征在于,具体包括如下步骤:
S1、构建作物幼苗和杂草数据集并进行数据清洗;
S2:划分训练集和测试集并进行标注;
S3:对训练集进行数据增强和扩充;
S4:构建融合Vision Transformer的W-YOLOv5网络模型;
S5:将经过步骤S3处理后的作物幼苗和杂草图像输入到步骤S4得到的W-YOLOv5网络模型中进行推理预测,得到作物幼苗检测结果;
S6:使用黑色掩膜将步骤S5中检测到的作物幼苗框进行覆盖,得到仅包含杂草和土壤的图像;
S7:使用HSV色彩空间过滤算法对步骤S6得到的图像进行处理,实现对杂草的识别;
S8:遍历图像中的像素点,得到绿色杂草部分的像素点和黑色背景的像素点,计算杂草面积在图像中的占比,并按对应阈值输出杂草严重等级;
步骤S1中,采集农田中种植的小麦、萝卜、黄瓜和大豆四种作物幼苗及伴生杂草图像,并将不清晰和不完整的图像删除,使用双线性插值法,将原图像分辨率从3000*3000缩小到640*640,以方便匹配模型输入尺寸并提高模型训练效率;
步骤S2中,将步骤S1中调整分辨率后的图像按照8:2的比例划分训练集和测试集,使用LabelImg对图像进行VOC格式标注,形成标签文件;
步骤S3具体包括如下内容:
S31、对步骤S2中标注后的数据进行基本图像扩充操作,包括水平翻转、亮度增强和色彩抖动;
S32、采用Mosaic数据进一步地增强和扩充;
步骤S31中,亮度增强系数为1.5,色彩抖动设定图像饱和度的随机因子为0.3-2,图像亮度和锐度的随机因子为0.3-1.5,图像对比度的随机因子为0.5-2.5;
步骤S32中,在训练集中随机选取4张图片,通过随机缩放、随机裁减、随机排布的方式进行拼接,得到新的一张图片;
步骤S4具体包括如下内容:
S41、在YOLOv5的BackBone部分引入降采样Fcous模块、深度可分离卷积(DWConv)、C3Ghost特征提取模块、空间金字塔(SPPF)模块;
S42、在YOLOv5的Neck部分末端引入Vision Transformer机制;
S43、利用步骤S3中经过处理的作物幼苗和杂草数据集对改进的网络模型进行训练,使用测试集进行测试调参,得到W-YOLOv5网络模型;
步骤S7中,具体包括如下内容:
将步骤S6得到的图像转换为HSV色彩空间,图像被分成Hue(色相)、Saturation(饱和度)和Value(亮度)三个通道,设定绿色像素点的下限值为[35,43,46],上限值为[90,255,255],获取仅包含绿色杂草像素的二值图像,并将其余部分指定为黑色掩膜,将两个掩膜叠加以获取仅包含绿色杂草部分的掩膜,最后将识别到的杂草还原到前景中;
步骤S8中,具体包括如下内容:
通过遍历图像中的像素点得到绿色杂草部分的像素点和黑色背景的像素点,将绿色杂草部分和黑色背景进行分离,并计算出相应的面积,根据公式(1)得到图像中杂草比例,其中,∑(i,j)表示对图像中所有像素位置(i,j)进行求和;HSV色彩空间过滤算法输出的标签图像为M,其中,每个像素的取值为0或1,0表示背景、1表示绿色杂草,则根据公式,杂草像素占总像素数的比例R表示为:
。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311420938.4A CN117292248B (zh) | 2023-10-30 | 2023-10-30 | 基于深度学习的农田喷药系统及杂草检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311420938.4A CN117292248B (zh) | 2023-10-30 | 2023-10-30 | 基于深度学习的农田喷药系统及杂草检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117292248A CN117292248A (zh) | 2023-12-26 |
CN117292248B true CN117292248B (zh) | 2024-04-26 |
Family
ID=89257294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311420938.4A Active CN117292248B (zh) | 2023-10-30 | 2023-10-30 | 基于深度学习的农田喷药系统及杂草检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117292248B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105165786A (zh) * | 2015-08-12 | 2015-12-23 | 吉林大学 | 基于图像采集的变量喷药机 |
CN111985499A (zh) * | 2020-07-23 | 2020-11-24 | 东南大学 | 一种基于计算机视觉的高精度桥梁表观病害识别方法 |
CN113099848A (zh) * | 2021-06-04 | 2021-07-13 | 山东农业大学 | 一种采摘机器人高效采放运综合平台及使用方法 |
CN113808153A (zh) * | 2021-09-22 | 2021-12-17 | 航天新气象科技有限公司 | 番茄成熟检测方法、装置、计算机设备及存储介质 |
CN114067207A (zh) * | 2021-11-16 | 2022-02-18 | 福州大学 | 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法 |
CN114359756A (zh) * | 2022-01-06 | 2022-04-15 | 中国科学院空天信息创新研究院 | 一种震后无人机遥感影像损毁房屋快速智能检测方法 |
CN114638807A (zh) * | 2022-03-22 | 2022-06-17 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
CN114766041A (zh) * | 2019-12-03 | 2022-07-19 | 巴斯夫欧洲公司 | 用于确定作物损害的系统和方法 |
CN114946807A (zh) * | 2022-05-05 | 2022-08-30 | 中国农业大学 | 一种基于视觉深度学习和物联网的精准喷药装置 |
CN115375689A (zh) * | 2022-10-25 | 2022-11-22 | 深圳市华付信息技术有限公司 | 基于机器视觉的烟丝桶检测方法、装置、设备及介质 |
CN115546639A (zh) * | 2022-10-08 | 2022-12-30 | 南京理工大学 | 一种基于改进的YOLOv5模型的林间杂草检测方法 |
CN115862003A (zh) * | 2022-09-20 | 2023-03-28 | 中国农业大学烟台研究院 | 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法 |
CN115861185A (zh) * | 2022-11-14 | 2023-03-28 | 杭州电子科技大学 | 一种田间复杂背景的稻飞虱计数模型 |
WO2023050783A1 (zh) * | 2021-09-29 | 2023-04-06 | 农业农村部南京农业机械化研究所 | 除草机器人及其除草路径的规划方法、装置和介质 |
CN115937765A (zh) * | 2022-11-25 | 2023-04-07 | 浙江工业大学 | 图像识别方法、agv物料分拣方法及系统 |
CN116868974A (zh) * | 2023-07-05 | 2023-10-13 | 西南大学 | 一种基于杂草种类的精准喷药除草装置 |
CN116935221A (zh) * | 2023-07-21 | 2023-10-24 | 山东省计算中心(国家超级计算济南中心) | 一种基于物联网的植保无人机杂草深度学习检测方法 |
-
2023
- 2023-10-30 CN CN202311420938.4A patent/CN117292248B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105165786A (zh) * | 2015-08-12 | 2015-12-23 | 吉林大学 | 基于图像采集的变量喷药机 |
CN114766041A (zh) * | 2019-12-03 | 2022-07-19 | 巴斯夫欧洲公司 | 用于确定作物损害的系统和方法 |
CN111985499A (zh) * | 2020-07-23 | 2020-11-24 | 东南大学 | 一种基于计算机视觉的高精度桥梁表观病害识别方法 |
CN113099848A (zh) * | 2021-06-04 | 2021-07-13 | 山东农业大学 | 一种采摘机器人高效采放运综合平台及使用方法 |
CN113808153A (zh) * | 2021-09-22 | 2021-12-17 | 航天新气象科技有限公司 | 番茄成熟检测方法、装置、计算机设备及存储介质 |
WO2023050783A1 (zh) * | 2021-09-29 | 2023-04-06 | 农业农村部南京农业机械化研究所 | 除草机器人及其除草路径的规划方法、装置和介质 |
CN114067207A (zh) * | 2021-11-16 | 2022-02-18 | 福州大学 | 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法 |
CN114359756A (zh) * | 2022-01-06 | 2022-04-15 | 中国科学院空天信息创新研究院 | 一种震后无人机遥感影像损毁房屋快速智能检测方法 |
CN114638807A (zh) * | 2022-03-22 | 2022-06-17 | 无锡雪浪数制科技有限公司 | 一种基于深度学习的金属板材表面缺陷检测方法 |
CN114946807A (zh) * | 2022-05-05 | 2022-08-30 | 中国农业大学 | 一种基于视觉深度学习和物联网的精准喷药装置 |
CN115862003A (zh) * | 2022-09-20 | 2023-03-28 | 中国农业大学烟台研究院 | 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法 |
CN115546639A (zh) * | 2022-10-08 | 2022-12-30 | 南京理工大学 | 一种基于改进的YOLOv5模型的林间杂草检测方法 |
CN115375689A (zh) * | 2022-10-25 | 2022-11-22 | 深圳市华付信息技术有限公司 | 基于机器视觉的烟丝桶检测方法、装置、设备及介质 |
CN115861185A (zh) * | 2022-11-14 | 2023-03-28 | 杭州电子科技大学 | 一种田间复杂背景的稻飞虱计数模型 |
CN115937765A (zh) * | 2022-11-25 | 2023-04-07 | 浙江工业大学 | 图像识别方法、agv物料分拣方法及系统 |
CN116868974A (zh) * | 2023-07-05 | 2023-10-13 | 西南大学 | 一种基于杂草种类的精准喷药除草装置 |
CN116935221A (zh) * | 2023-07-21 | 2023-10-24 | 山东省计算中心(国家超级计算济南中心) | 一种基于物联网的植保无人机杂草深度学习检测方法 |
Non-Patent Citations (7)
Title |
---|
Improved object detection algorithm for drone-captured dataset based on yolov5;Kaiwen Ding 等;2022 2nd International Conference on Consumer Electronics and Computer Engineering (ICCECE);20220221;895-899 * |
TPH-YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone-captured Scenarios;Xingkui Zhu 等;2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW);20211124;2778-2788 * |
基于多特征融合和深度置信网络的稻田苗期杂草识别;邓向武;齐龙;马旭;蒋郁;陈学深;刘海云;陈伟烽;;农业工程学报;20180723(第14期);165-172 * |
基于改进YOLOV5的PCB缺陷检测方法;时造雄 等;电子测量技术;20230731;第46卷(第14期);123-130 * |
基于改进YOLOv5的新材料地板表面缺陷检车研究;张忠 等;包装工程;20230430;第44卷(第7期);196-203 * |
基于深度学习的玉米幼苗与杂草识别研究;王宝聚;中国优秀硕士学位论文全文数据库农业科技辑;20230215;D046-747 * |
基于轻量卷积网络的田间自然环境杂草识别方法;徐艳蕾 等;吉林大学学报(工学版);20211130;第51卷(第6期);2304-2312 * |
Also Published As
Publication number | Publication date |
---|---|
CN117292248A (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aravind et al. | Design and development of automatic weed detection and smart herbicide sprayer robot | |
Smith et al. | Innovative 3D and 2D machine vision methods for analysis of plants and crops in the field | |
AU2017262615A1 (en) | Recognition of weed in a natural environment | |
CN105173085A (zh) | 无人机变量施药自动控制系统及方法 | |
CN111738139A (zh) | 基于图像识别的养殖鱼监控方法及系统 | |
CN108271765B (zh) | 一种多功能爪头监控环境机器人及其植物识别方法 | |
CN103336966B (zh) | 一种应用于农业智能机械的杂草图像辨识方法 | |
EP3279831A1 (en) | Recognition of weed in a natural environment using a digital image | |
CN108617480A (zh) | 一种园林智能浇灌系统 | |
KR102002632B1 (ko) | Iot 기반 과수 모니터링 시스템 및 방법 | |
CN113468984A (zh) | 一种农作物病虫害叶片识别系统、识别方法及病虫害预防方法 | |
JP2019176844A (ja) | 制御装置、警備システム及びプログラム | |
CN111080537B (zh) | 水下机器人智能控制方法、介质、设备及系统 | |
CN112395961A (zh) | 一种洒水车的视觉主动行人避让及水压自适应控制方法 | |
Laursen et al. | RoboWeedSupport-Sub millimeter weed image acquisition in cereal crops with speeds up till 50 km/h | |
CN206101173U (zh) | 一种分析植物和手势图像信息的自动灌溉系统 | |
CN111199195A (zh) | 一种基于遥感图像的池塘状态全自动监测方法和装置 | |
CN112541383A (zh) | 杂草区域的识别方法和装置 | |
CN117292248B (zh) | 基于深度学习的农田喷药系统及杂草检测方法 | |
CN110717454B (zh) | 一种舞台环境下的轮式机器人障碍检测方法 | |
CN116868974A (zh) | 一种基于杂草种类的精准喷药除草装置 | |
CN113568428B (zh) | 一种基于多无人机协同的校园安防方法及系统 | |
CN113349188B (zh) | 一种基于云端杀草谱的草坪及牧草精准除草方法 | |
Bao et al. | Detection of Fusarium head blight in wheat using UAV remote sensing based on parallel channel space attention | |
CN114155223A (zh) | 基于有向距离的图像清晰度筛选方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |