CN111340141A - 一种基于深度学习的作物幼苗与杂草检测方法及系统 - Google Patents

一种基于深度学习的作物幼苗与杂草检测方法及系统 Download PDF

Info

Publication number
CN111340141A
CN111340141A CN202010310689.3A CN202010310689A CN111340141A CN 111340141 A CN111340141 A CN 111340141A CN 202010310689 A CN202010310689 A CN 202010310689A CN 111340141 A CN111340141 A CN 111340141A
Authority
CN
China
Prior art keywords
training
weed
network
crop
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010310689.3A
Other languages
English (en)
Inventor
孟庆宽
杨耿煌
刘易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Original Assignee
Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology and Education China Vocational Training Instructor Training Center filed Critical Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Priority to CN202010310689.3A priority Critical patent/CN111340141A/zh
Publication of CN111340141A publication Critical patent/CN111340141A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的作物幼苗与杂草检测方法及系统，该方法包括：获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集；标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增；在keras深度学习框架上，构建SSD检测模型，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合；将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型；将测试集输入到训练好的模型，输出作物与杂草的种类和位置信息；该方法解决了传统作物与杂草识别方法存在的检测精度低、耗费时间长等问题，提高了作物与杂草检测的准确性和实时性。

Description

一种基于深度学习的作物幼苗与杂草检测方法及系统
技术领域
本发明涉及农业作物与杂草检测领域，具体涉及一种基于深度学习的作物幼苗与杂草检测方法及系统。
背景技术
作物生长过程中，杂草与作物争夺水分、养分和光照，阻碍作物正常生长，对农业生产造成不利影响。杂草控制是农业生产中的一个重要环节，对提高作物产量与品质起着重要作用。
随着精准农业技术的发展，不依赖于除草剂的自动化机械除草逐渐成为国内外杂草防控领域的研究热点。在自动化机械除草作业过程中，如何实时、准确的对作物与杂草进行检测识别是实现精准高效除草的关键前提。
传统的作物与杂草检测方法通过提取作物与杂草的颜色、纹理、形状、高度等特征信息，将一种或多种特征的组合输入到特征分类器，实现分类检测。不过，此类方法需要人工进行特征选取标定，选取特征的优劣依赖于设计者的经验，而且由于受到光照变化、背景噪声、目标形态多样性等因素的影响，难以设计出适应性好，稳定性高的特征提取模型。
随着深度学习技术的发展，卷积神经网络在机器视觉领域逐渐得到广泛应用并取得良好效果。目前基于深度学习进行作物与杂草识别的研究普遍采用多层深度卷积神经网络进行特征提取，通过增加网络的深度与宽度实现更高的准确率，但也导致识别模型复杂度升高，检测速度降低，难以应用于计算能力和存储资源有限的嵌入式农业移动设备。
发明内容
针对现有技术的不足，本发明提出一种基于深度学习的作物幼苗与杂草检测方法及系统，通过建立轻量卷积结合特征信息融合的改进SSD检测模型，提高作物与杂草检测速度和精度并降低识别模型参数规模。
第一方面，本发明提供一种基于深度学习的作物幼苗与杂草检测方法，具体包括：
S01、获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集；
S02、标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增；
S03、在keras深度学习框架上，构建SSD检测模型，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合；
S04、将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型；
S05、将测试集输入到训练好的模型，输出作物与杂草的种类和位置信息。
可选的，所述步骤S01中获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集，包括：
（1.1）使摄像机距离地面高度约60~80cm，采用垂直拍摄方式在不同种植地块、不同光照强度、不同土壤背景下采集作物幼苗及伴生杂草图像构建图像数据集；
（1.2）将所述图像数据集根据作物与杂草种类划分为对应的数据子集，按设定比例在所述数据子集中随机抽取样本构成训练集、验证集和测试集，所述训练集、验证集和测试集的比例为8:1:1。
可选的，所述步骤S02中标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增，包括：
（2.1）采用标注软件对所述训练集、验证集和测试集图像中的作物和杂草对象进行类别与位置标记；
（2.2）对所述训练集图像通过旋转变换、镜像变换、亮度变换等方法进行图像扩增。
可选的，所述步骤S03中，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合，包括：
（3.1）采用深度可分离卷积结合SENet模块构建轻量特征提取单元，通过密集化连接构成轻量前置特征提取网络代替SSD检测模型中VGG16网络；
（3.2）引入逆卷积运算将所述SSD检测模型前置特征提取网络与扩展网络中不同分辨率特征图进行信息融合。
可选的，所述步骤S04中将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型，包括：
（4.1）设置所述改进SSD检测模型的超参数，采用多任务损失函数为目标函数进行训练；
（4.2）训练过程中对输入样本损失函数进行计算，按由大到小的顺序进行排序，筛选前5%难分样本进行存储，下个迭代周期，替代损失函数排序中后5%样本进行训练。
第二方面，本发明还提供一种基于深度学习的作物幼苗与杂草检测系统，具体包括：
第一运算单元M01，用于获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集；
第二运算单元M02，用于标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增；
第三运算单元M03，用于在keras深度学习框架上，构建SSD检测模型，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合；
第四运算单元M04，用于将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型；
第五运算单元M05，用于将测试集输入到训练好的模型，输出作物与杂草的种类和位置信息。
可选的，所述第一运算单元M01，还用于：
使摄像机距离地面高度约60~80cm，采用垂直拍摄方式在不同种植地块、不同光照强度、不同土壤背景下采集作物幼苗及伴生杂草图像构建图像数据集；
将所述图像数据集根据作物与杂草种类划分为对应的数据子集，按设定比例在所述数据子集中随机抽取样本构成训练集、验证集和测试集，所述训练集、验证集和测试集的比例为8:1:1。
可选的，所述第二运算单元M02，还用于：
采用标注软件对所述训练集、验证集和测试集图像中的作物和杂草对象进行类别与位置标记；
对所述训练集图像通过旋转变换、镜像变换、亮度变换等方法进行图像扩增。
可选的，所述第三运算单元M03，还用于：
采用深度可分离卷积结合SENet模块构建轻量特征提取单元，通过密集化连接构成轻量前置特征提取网络代替SSD检测模型中VGG16网络；
引入逆卷积运算将所述SSD检测模型前置特征提取网络与扩展网络中不同分辨率特征图进行信息融合。
可选的，所述第四运算单元M04，还用于：
设置所述改进SSD检测模型的超参数，采用多任务损失函数为目标函数进行训练；
训练过程中对输入样本损失函数进行计算，按由大到小的顺序进行排序，筛选前5%难分样本进行存储，下个迭代周期，替代损失函数排序中后5%样本进行训练。
由以上技术方案可知：本发明提供的一种基于深度学习的作物幼苗与杂草检测方法及系统，具有以下优点：
Figure 89871DEST_PATH_IMAGE001
采用深度可分离卷积结合SENet模块构建轻量型特征提取单元，通过密集化连接构 成轻量前置特征提取网络代替标准SSD模型中的VGG16网络，以减少网络模型参数计算量， 提高图像特征提取速度和精度；
Figure 210273DEST_PATH_IMAGE002
将前置特征提取网络与扩展网络中不同分辨率特征图进行信息融合，融合后的特征 图将具有足够的分辨率和更强的语义信息，可以提高对小尺寸作物与杂草的检测准确率；
Figure 255590DEST_PATH_IMAGE003
基于深度学习的作物幼苗与杂草检测方法及系统可以提高作物与杂草检测实时性 并降低识别模型参数规模，能够应用于计算能力和存储资源有限的嵌入式农业移动设备。
附图说明
图1为本发明实施例提供的一种基于深度学习的作物幼苗与杂草检测方法流程示意图；
图2为本发明实施例提供的轻量化特征提取单元结构示意图；
图3为本发明实施例提供的轻量化密集连接网络结构示意图；
图4为本发明实施例提供的不同分辨率特征图信息融合示意图；
图5为本发明实施例提供的一种基于深度学习的作物幼苗与杂草检测系统结构示意图。
具体实施方式
下面结合附图，对发明的具体实施方式做进一步描述，以下实施例仅用于更加清楚的说明本发明的技术方案，而不能用来限制本发明的保护范围。
图1为本发明实施例提供的一种基于深度学习的作物幼苗与杂草检测方法的流程示意图，如图1所示，该方法包括以下步骤：
S01、获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集；
S02、标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增；
S03、在keras深度学习框架上，构建SSD检测模型，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合；
S04、将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型；
S05、将测试集输入到训练好的模型，输出作物与杂草的种类和位置信息。
具体的，上述步骤S01包括以下具体步骤：
（1.1）使摄像机距离地面高度约60~80cm，采用垂直拍摄方式在不同种植地块、不同光照强度、不同土壤背景下采集作物幼苗及伴生杂草图像构建图像数据集；
（1.2）将所述图像数据集根据作物与杂草种类划分为对应的数据子集，按设定比例在所述数据子集中随机抽取样本构成训练集、验证集和测试集，所述训练集、验证集和测试集的比例为8:1:1。
上述步骤S02包括以下具体步骤：
（2.1）采用标注软件对所述训练集、验证集和测试集图像中的作物和杂草对象进行类别与位置标记；
举例来说，本实施例中采用LabelIme标注软件。首先，打开图片目录（Open Dir），设置标注文件保存目录（Change Save Dir）；然后，利用Create\nRectBox画出包含目标的矩形区域并设定目标类名；最后保存标注图像；
（2.2）对所述训练集图像通过旋转变换、镜像变换、亮度变换等方法进行图像扩增；
举例来说，本实施例中采用Python语言编程，将训练集图像旋转30°、60°、90°、120°、150°、180°形成新的图像；将训练集图像以左右对称的中轴线为中心进行镜像变换；将训练集图像在RGB颜色空间下，对每个像素的（R、G、B）分量值乘以比例系数k，本实施例选择k为0.5和2，分别对图像亮度调整为原来1/2 和2倍。上述变换分别对训练集原始图像进行操作，转换后的图像与训练集原始图像合并构成新的训练集图像。
上述步骤S03包括以下具体步骤：
（3.1）在Windows平台下，利用python语言基于keras深度学习框架，构建SSD检测模型；
（3.2）采用深度可分离卷积结合SENet模块构建轻量特征提取单元，通过密集化连接构成轻量前置特征提取网络代替SSD检测模型中VGG16网络，具体过程包括：
Figure 119641DEST_PATH_IMAGE001
本实施例将深度可分离卷积与SENet模型相结合，构成轻量化特征提取单元，其结 构如图2所示。首先对输入信息的每个通道采用尺寸为3×3的卷积核进行深度卷积，获取每 个通道空间特征；然后利用1×1逐点卷积对深度卷积的输出进行组合，得到一系列新的特 征输出。在深度卷积与逐点卷积之后分别进行批量归一化处理（BN）和ReLU非线性激活操 作。SENet作为输出特征的旁路单元，经过全局平均池化、2个全连接层（FC）、ReLU非线性激 活和Sigmoid归一化等一系列操作，得到各特征通道权重，然后将权重与原特征信息对应通 道的每个元素相乘，完成通道信息强度重标定。图2中，X表示输入特征图，
Figure 137275DEST_PATH_IMAGE004
表示输出特征 图，W、H、C分别表示特征图长度、宽度和通道数，
Figure 428579DEST_PATH_IMAGE005
为压缩系数用来降低计算量，scale为通 道权重设定；
Figure 164454DEST_PATH_IMAGE002
本实施例密集连接网络由密集块(Dense Block)和连接块（Connection Block）构 成。密集块包含若干个轻量特征提取单元，每个单元的输入为前面所有单元的输出并集，而 这个单元的输出又作为后面所有单元的输入；连接块用于连接相邻的2个密集块，由一个1 ×1卷积核与2×2平均池化层构成，起到降低特征图尺寸与压缩模型的作用。图3为轻量化 密集连接网络结构示意图，Dense Block中的彩色模块代表轻量化特征提取单元，C1、C2表 示特征通道数量，图中包含了3个密集连接块，每个密集块包括一定数量的轻量化特征提取 单元，在实际应用中可根据需要进行调整；
Figure 628933DEST_PATH_IMAGE003
将在keras学习框架下搭建的SSD模型VGG16网络替换为轻量化密集连接网络；
（3.3）引入逆卷积运算将所述SSD检测模型前置特征提取网络与扩展网络中不同分辨率特征图进行信息融合，具体过程包括：
Figure 501074DEST_PATH_IMAGE001
SSD检测模型由前置特征提取网络与扩展网络构成，本实施例中不同分辨率特征图 信息融合公式为：
Figure 760018DEST_PATH_IMAGE006
其中，S ij 表示融合后的特征图， X i 表示高分辨率特征图，Y j 表示低分辨率特征图或前 一次融合的特征图，T为逆卷积变换，
Figure 983188DEST_PATH_IMAGE007
为通道变换，N表示特征图集合；
举例来说，将前置特征提取网络的38×38×512特征图与扩展网络中19×19×1024特征图进行融合，先利用逆卷积对19×19×1024特征图进行上采样提高分辨率变换为38×38×1024特征图，然后采用1×1卷积将38×38×1024特征图通道数转换到与38×38×512特征图相同的维数；最后将两者特征图在对应通道上进行加法运算，实现特征融合。融合后的特征图可以重复上述操作继续与高分辨率特征图进行融合；
Figure 442506DEST_PATH_IMAGE002
本实施例将前置特征提取网络的38×38×512特征图，扩展网络中19×19×1024、 10×10×512、5×5×256特征图按照所述特征图信息融合公式进行计算。图4为不同分辨率 特征图信息融合示意图。
上述步骤S04包括以下具体步骤：
（4.1）设置所述改进SSD检测模型的超参数，采用多任务损失函数为目标函数进行训练，具体过程包括：
Figure 231470DEST_PATH_IMAGE001
设置图像批处理大小为8，学习动量为0.9，权值衰减为0.0005，衰减率为0.9，每经 过5000次迭代衰减一次，每间隔10000次迭代进行一次模型保存；
Figure 130156DEST_PATH_IMAGE002
训练过程中采用多任务损失函数完成目标种类置信度判别和位置回归，具体定义 如下：
Figure 575044DEST_PATH_IMAGE008
式中
Figure 319009DEST_PATH_IMAGE009
表示检测过程中与标注框相匹配的先验框数量，
Figure 228059DEST_PATH_IMAGE010
表示标注框与先验框是否 匹配，
Figure 766488DEST_PATH_IMAGE011
表示目标类别置信度，
Figure 964251DEST_PATH_IMAGE012
表示预测边界框位置参数，
Figure 308645DEST_PATH_IMAGE013
表示标注边界框位置参数，
Figure 9884DEST_PATH_IMAGE014
表示权重因子，设置为1，
Figure 250373DEST_PATH_IMAGE015
表示物体类别置信度损失，利用Soft-max多分类误差函数计 算类别置信度损失，
Figure 466590DEST_PATH_IMAGE016
表示物体位置损失函数，为预测框与标注框参数之间平滑L1损失；
（4.2）训练过程中对输入样本损失函数进行计算，按由大到小的顺序进行排序，筛选前5%难分样本进行存储，下个迭代周期，替代损失函数排序中后5%样本进行训练。
上述步骤S05包括以下具体步骤：
（5.1）在训练好的检测模型中设置类别置信度阈值为0.6，交集与并集比值（Intersection over Union，IOU）的阈值为0.5；
（5.2）将含有作物与杂草的测试集图像输入到训练好的检测模型，得到作物与杂草的检测结果，检测结果包括目标类别标签、类别置信度和目标位置框。
图5为本发明实施例提供的一种基于深度学习的作物幼苗与杂草检测系统结构示意图，如图5所示，该系统包括第一运算单元M01、第二运算单元M02、第三运算单元M03、第四运算单元M04、第五运算单元M05。
第一运算单元M01，用于获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集；
在具体应用中，上述第一运算单元M01具体用于：
使摄像机距离地面高度约60~80cm，采用垂直拍摄方式在不同种植地块、不同光照强度、不同土壤背景下采集作物幼苗及伴生杂草图像构建图像数据集；
将所述图像数据集根据作物与杂草种类划分为对应的数据子集，按设定比例在所述数据子集中随机抽取样本构成训练集、验证集和测试集，所述训练集、验证集和测试集的比例为8:1:1。
第二运算单元M02，用于标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增；
在具体应用中，上述第二运算单元M02具体用于：
采用标注软件对所述训练集、验证集和测试集图像中的作物和杂草对象进行类别与位置标记；
对所述训练集图像通过旋转变换、镜像变换、亮度变换等方法进行图像扩增。
第三运算单元M03，用于在keras深度学习框架上，构建SSD检测模型，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合；
在具体应用中，上述第三运算单元M03具体用于：
采用深度可分离卷积结合SENet模块构建轻量特征提取单元，通过密集化连接构成轻量前置特征提取网络代替SSD检测模型中VGG16网络；
引入逆卷积运算将所述SSD检测模型前置特征提取网络与扩展网络中不同分辨率特征图进行信息融合。
第四运算单元M04，用于将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型；
在具体应用中，上述第四运算单元M04具体用于：
设置所述改进SSD检测模型的超参数，采用多任务损失函数为目标函数进行训练；
训练过程中对输入样本损失函数进行计算，按由大到小的顺序进行排序，筛选前5%难分样本进行存储，下个迭代周期，替代损失函数排序中后5%样本进行训练。
第五运算单元M05，用于将测试集输入到训练好的模型，输出作物与杂草的种类和位置信息；
在具体应用中，上述第五运算单元M05具体用于：
在训练好的检测模型中设置类别置信度阈值为0.6，交集与并集比值（Intersectionover Union，IOU）的阈值为0.5；
将含有作物与杂草的测试集图像输入到训练好的检测模型，得到作物与杂草的检测结果，检测结果包括目标类别标签、类别置信度和目标位置框。
本发明的系统与方法是一一对应的，因此方法中一些参数的计算过程也适用于该系统中的计算过程，在系统中不再进行详细说明。
本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离发明格式实例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于深度学习的作物幼苗与杂草检测方法，其特征在于，包括：
S01、获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集；
S02、标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增；
S03、在keras深度学习框架上，构建SSD检测模型，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合；
S04、将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型；
S05、将测试集输入到训练好的模型，输出作物与杂草的种类和位置信息。
2.根据权利要求1所述的一种基于深度学习的作物幼苗与杂草检测方法，其特征在于，所述步骤S01具体包括：
（1.1）使摄像机距离地面高度约60~80cm，采用垂直拍摄方式在不同种植地块、不同光照强度、不同土壤背景下采集作物幼苗及伴生杂草图像构建图像数据集；
（1.2）将所述图像数据集根据作物与杂草种类划分为对应的数据子集，按设定比例在所述数据子集中随机抽取样本构成训练集、验证集和测试集，所述训练集、验证集和测试集的比例为8:1:1。
3.根据权利要求1所述的一种基于深度学习的作物幼苗与杂草检测方法，其特征在于，所述步骤S02具体包括：
（2.1）采用标注软件对所述训练集、验证集和测试集图像中的作物和杂草对象进行类别与位置标记；
（2.2）对所述训练集图像通过旋转变换、镜像变换、亮度变换等方法进行图像扩增。
4.根据权利要求1所述的一种基于深度学习的作物幼苗与杂草检测方法，其特征在于，所述步骤S03中，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合具体包括：
（3.1）采用深度可分离卷积结合SENet模块构建轻量特征提取单元，通过密集化连接构成轻量前置特征提取网络代替SSD检测模型中VGG16网络；
（3.2）引入逆卷积运算将所述SSD检测模型前置特征提取网络与扩展网络中不同分辨率特征图进行信息融合。
5.根据权利要求1所述的一种基于深度学习的作物幼苗与杂草检测方法，其特征在于，所述步骤S04具体包括：
（4.1）设置所述改进SSD检测模型的超参数，采用多任务损失函数为目标函数进行训练；
（4.2）训练过程中对输入样本损失函数进行计算，按由大到小的顺序进行排序，筛选前5%难分样本进行存储，下个迭代周期，替代损失函数排序中后5%样本进行训练。
6.一种基于深度学习的作物幼苗与杂草检测系统，其特征在于，包括：
第一运算单元M01，用于获取作物幼苗及伴生杂草图像数据集，将所述图像数据集划分为训练集、验证集和测试集；
第二运算单元M02，用于标注所述训练集、验证集和测试集图像，对所述训练集图像进行扩增；
第三运算单元M03，用于在keras深度学习框架上，构建SSD检测模型，设计轻量化密集连接网络作为前置特征提取网络，将所述前置特征提取网络和扩展网络中不同层次特征信息进行融合；
第四运算单元M04，用于将训练集输入到所述改进SSD检测模型进行训练，得到作物杂草识别定位模型；
第五运算单元M05，用于将测试集输入到训练好的模型，输出作物与杂草的种类和位置信息。
7.根据权利要求6所述的系统，其特征在于，所述第一运算单元M01，还用于：
使摄像机距离地面高度约60~80cm，采用垂直拍摄方式在不同种植地块、不同光照强度、不同土壤背景下采集作物幼苗及伴生杂草图像构建图像数据集；
将所述图像数据集根据作物与杂草种类划分为对应的数据子集，按设定比例在所述数据子集中随机抽取样本构成训练集、验证集和测试集，所述训练集、验证集和测试集的比例为8:1:1。
8.根据权利要求6所述的系统，其特征在于，所述第二运算单元M02，还用于：
采用标注软件对所述训练集、验证集和测试集图像中的作物和杂草对象进行类别与位置标记；
对所述训练集图像通过旋转变换、镜像变换、亮度变换等方法进行图像扩增。
9.根据权利要求6所述的系统，其特征在于，所述第三运算单元M03，还用于：
采用深度可分离卷积结合SENet模块构建轻量特征提取单元，通过密集化连接构成轻量前置特征提取网络代替SSD检测模型中VGG16网络；
引入逆卷积运算将所述SSD检测模型前置特征提取网络与扩展网络中不同分辨率特征图进行信息融合。
10.根据权利要求6所述的系统，其特征在于，所述第四运算单元M04，还用于：
设置所述改进SSD检测模型的超参数，采用多任务损失函数为目标函数进行训练；
训练过程中对输入样本损失函数进行计算，按由大到小的顺序进行排序，筛选前5%难分样本进行存储，下个迭代周期，替代损失函数排序中后5%样本进行训练。
CN202010310689.3A 2020-04-20 2020-04-20 一种基于深度学习的作物幼苗与杂草检测方法及系统 Withdrawn CN111340141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310689.3A CN111340141A (zh) 2020-04-20 2020-04-20 一种基于深度学习的作物幼苗与杂草检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310689.3A CN111340141A (zh) 2020-04-20 2020-04-20 一种基于深度学习的作物幼苗与杂草检测方法及系统

Publications (1)

Publication Number Publication Date
CN111340141A true CN111340141A (zh) 2020-06-26

Family

ID=71186537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310689.3A Withdrawn CN111340141A (zh) 2020-04-20 2020-04-20 一种基于深度学习的作物幼苗与杂草检测方法及系统

Country Status (1)

Country Link
CN (1) CN111340141A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446388A (zh) * 2020-12-05 2021-03-05 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN112464701A (zh) * 2020-08-26 2021-03-09 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN112784857A (zh) * 2021-01-29 2021-05-11 北京三快在线科技有限公司 一种模型训练以及图像处理方法及装置
CN112836657A (zh) * 2021-02-08 2021-05-25 中国电子科技集团公司第三十八研究所 一种基于轻量化YOLOv3的行人检测方法及系统
CN112946497A (zh) * 2020-12-04 2021-06-11 广东电网有限责任公司 基于故障注入深度学习的蓄电池故障诊断方法和装置
CN113240001A (zh) * 2021-05-11 2021-08-10 华中农业大学 一种棉花花药开裂状态识别方法及系统
CN113435302A (zh) * 2021-06-23 2021-09-24 中国农业大学 一种基于GridR-CNN的水培生菜幼苗状态检测方法
CN113597874A (zh) * 2021-09-29 2021-11-05 农业农村部南京农业机械化研究所 一种除草机器人及其除草路径的规划方法、装置和介质
CN113610035A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN113610040A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN114419439A (zh) * 2022-01-17 2022-04-29 安徽农业大学 一种基于无人机遥感及深度学习的小麦幼苗监测方法
CN114742822A (zh) * 2022-05-20 2022-07-12 青岛农业大学 一种草莓识别计数模型的搭建方法及应用
CN114818909A (zh) * 2022-04-22 2022-07-29 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置
WO2023142256A1 (zh) * 2022-01-28 2023-08-03 深圳市现代农业装备研究院 杂交制种雄性不育苗早期识别分选方法、系统及存储介质
CN116935221A (zh) * 2023-07-21 2023-10-24 山东省计算中心（国家超级计算济南中心） 一种基于物联网的植保无人机杂草深度学习检测方法
CN117496353A (zh) * 2023-11-13 2024-02-02 安徽农业大学 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN109146944A (zh) * 2018-10-30 2019-01-04 浙江科技学院 一种基于深度可分卷积神经网络的视觉深度估计方法
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN109711377A (zh) * 2018-12-30 2019-05-03 陕西师范大学 标准化考场监控的单帧图像中考生定位和计数方法
CN110135341A (zh) * 2019-05-15 2019-08-16 河北科技大学 杂草识别方法、装置及终端设备
CN110210355A (zh) * 2019-05-24 2019-09-06 华南农业大学 稻田杂草种类识别方法及系统、目标位置检测方法及系统
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110309880A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种基于注意力机制cnn的5天和9天孵化鸡蛋胚胎图像分类方法
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
CN110781829A (zh) * 2019-10-28 2020-02-11 华北电力大学 一种轻量级深度学习的智慧营业厅人脸识别方法
US20200234447A1 (en) * 2019-01-22 2020-07-23 Kabushiki Kaisha Toshiba Computer vision system and method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN109146944A (zh) * 2018-10-30 2019-01-04 浙江科技学院 一种基于深度可分卷积神经网络的视觉深度估计方法
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN109711377A (zh) * 2018-12-30 2019-05-03 陕西师范大学 标准化考场监控的单帧图像中考生定位和计数方法
US20200234447A1 (en) * 2019-01-22 2020-07-23 Kabushiki Kaisha Toshiba Computer vision system and method
CN110135341A (zh) * 2019-05-15 2019-08-16 河北科技大学 杂草识别方法、装置及终端设备
CN110210355A (zh) * 2019-05-24 2019-09-06 华南农业大学 稻田杂草种类识别方法及系统、目标位置检测方法及系统
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110309880A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种基于注意力机制cnn的5天和9天孵化鸡蛋胚胎图像分类方法
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
CN110781829A (zh) * 2019-10-28 2020-02-11 华北电力大学 一种轻量级深度学习的智慧营业厅人脸识别方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464701A (zh) * 2020-08-26 2021-03-09 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN112946497A (zh) * 2020-12-04 2021-06-11 广东电网有限责任公司 基于故障注入深度学习的蓄电池故障诊断方法和装置
CN112446388A (zh) * 2020-12-05 2021-03-05 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN112784857A (zh) * 2021-01-29 2021-05-11 北京三快在线科技有限公司 一种模型训练以及图像处理方法及装置
CN112836657B (zh) * 2021-02-08 2023-04-18 中国电子科技集团公司第三十八研究所 一种基于轻量化YOLOv3的行人检测方法及系统
CN112836657A (zh) * 2021-02-08 2021-05-25 中国电子科技集团公司第三十八研究所 一种基于轻量化YOLOv3的行人检测方法及系统
CN113240001A (zh) * 2021-05-11 2021-08-10 华中农业大学 一种棉花花药开裂状态识别方法及系统
CN113435302A (zh) * 2021-06-23 2021-09-24 中国农业大学 一种基于GridR-CNN的水培生菜幼苗状态检测方法
CN113435302B (zh) * 2021-06-23 2023-10-17 中国农业大学 一种基于GridR-CNN的水培生菜幼苗状态检测方法
CN113610035B (zh) * 2021-08-16 2023-10-10 华南农业大学 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN113610040A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN113610035A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN113610040B (zh) * 2021-08-16 2023-06-27 华南农业大学 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN113597874A (zh) * 2021-09-29 2021-11-05 农业农村部南京农业机械化研究所 一种除草机器人及其除草路径的规划方法、装置和介质
WO2023050783A1 (zh) * 2021-09-29 2023-04-06 农业农村部南京农业机械化研究所 除草机器人及其除草路径的规划方法、装置和介质
CN114419439A (zh) * 2022-01-17 2022-04-29 安徽农业大学 一种基于无人机遥感及深度学习的小麦幼苗监测方法
CN114419439B (zh) * 2022-01-17 2024-06-21 安徽农业大学 一种基于无人机遥感及深度学习的小麦幼苗监测方法
WO2023142256A1 (zh) * 2022-01-28 2023-08-03 深圳市现代农业装备研究院 杂交制种雄性不育苗早期识别分选方法、系统及存储介质
CN114818909A (zh) * 2022-04-22 2022-07-29 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置
CN114818909B (zh) * 2022-04-22 2023-09-15 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置
CN114742822A (zh) * 2022-05-20 2022-07-12 青岛农业大学 一种草莓识别计数模型的搭建方法及应用
CN116935221A (zh) * 2023-07-21 2023-10-24 山东省计算中心（国家超级计算济南中心） 一种基于物联网的植保无人机杂草深度学习检测方法
CN116935221B (zh) * 2023-07-21 2024-02-13 山东省计算中心（国家超级计算济南中心） 一种基于物联网的植保无人机杂草深度学习检测方法
CN117496353A (zh) * 2023-11-13 2024-02-02 安徽农业大学 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法

Similar Documents

Publication Publication Date Title
CN111340141A (zh) 一种基于深度学习的作物幼苗与杂草检测方法及系统
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN113312999B (zh) 一种自然果园场景下的柑橘木虱高精度检测方法及装置
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN115272828A (zh) 一种基于注意力机制的密集目标检测模型训练方法
CN111797760A (zh) 基于Retinanet改进的农作物病虫害识别方法
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Zhaosheng et al. Rapid detection of wheat ears in orthophotos from unmanned aerial vehicles in fields based on YOLOX
CN112084989A (zh) 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法
CN115205833A (zh) 一种少样本棉花生长状态分类方法及装置
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN114299379A (zh) 一种基于高动态影像的阴影区植被覆盖度提取方法
Huang et al. A survey of deep learning-based object detection methods in crop counting
CN110705698A (zh) 尺度自适应感知的目标计数深度网络设计方法
CN116205879A (zh) 一种基于无人机图像及深度学习的小麦倒伏面积估算方法
CN114140428A (zh) 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置
CN115346212A (zh) 一种基于改进YOLOv5的苹果花朵生长状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200626

WW01 Invention patent application withdrawn after publication