CN110826556A - 改进深度学习的广谱农作物杂草识别与定位方法 - Google Patents

改进深度学习的广谱农作物杂草识别与定位方法 Download PDF

Info

Publication number
CN110826556A
CN110826556A CN201910977561.XA CN201910977561A CN110826556A CN 110826556 A CN110826556 A CN 110826556A CN 201910977561 A CN201910977561 A CN 201910977561A CN 110826556 A CN110826556 A CN 110826556A
Authority
CN
China
Prior art keywords
crop
deep learning
network model
weed
weed identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910977561.XA
Other languages
English (en)
Inventor
杨大利
侯凌燕
吴迪
包志初
王紫瑶
岳鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suichang Haochang Electronic Technology Co Ltd
Original Assignee
Suichang Haochang Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suichang Haochang Electronic Technology Co Ltd filed Critical Suichang Haochang Electronic Technology Co Ltd
Priority to CN201910977561.XA priority Critical patent/CN110826556A/zh
Publication of CN110826556A publication Critical patent/CN110826556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本发明涉及杂草识别领域,尤其涉及一种改进深度学习的广谱农作物杂草识别与定位方法。该方法包括改方法包括:采集少量不同生长阶段目标农作物与田间杂草的图片;采用样本增强的技术,将少量图片数据进行大规模扩充分为训练集和测试集;对图像进行主区域提取;提出基于预训练网络InceptionV3的目标农作物特征提取方法,采用改进的迁移学习的方法在已经训练好的模型的基础上,用新的数据集对初始化了的模型进行二次训练得到目标农作物与杂草识别模型;提出改进网络的激活函数;利用测试集对模型参数进行微调。采用这种方法能快速准确的对目标农作物与杂草进行识别和定位,对所采集的图像数据要求较低,对数据的需求量灵活。

Description

改进深度学习的广谱农作物杂草识别与定位方法
技术领域
本发明涉及杂草识别领域,尤其涉及一种改进深度学习的广谱农作物杂草识别与定位方法。
背景技术
田间杂草对目标农作物的正常发育有很大的威胁,严重影响着其高产和稳产。田间杂草品种多样,在各个季节均有杂草生长,需要不同种类的除草剂进行治理。传统的粗放式大面积化学除草已经产生了诸多负面影响,如污染环境、威胁食品安全等,精准式变量喷洒技术是根据杂草和作物分布情况定点定量喷洒除草剂,既能降低对田间生态环境的影响,又能减少经济成本、提高除草效率。因此,结合目前自动化农业的发展趋势,自动高效地对农作物田间杂草进行识别就显得尤为重要。
目前,农作物田间杂草识别方法主要有计算机视觉技术方法与光谱技术方法。计算机视觉技术方法是由图像采集设备收集田间杂草与作物的RGB图像,分析杂草与农作物各自的形态学特征等来实现对二者的区分,该方法对图像采集环境和图像预处理的要求较高,其特征提取过程较复杂,一般只适用于特定的研究对象的农作物与杂草,普适性较差。光谱技术方法则是采集农作物和杂草各自的光谱图像,利用不同植物在相同光照条件下光谱反射特性不同的特点对杂草进行识别,该方法虽然准确度较高,但光谱图像采集对天气的要求较严格,且图像采集仪器的价格与学习成本较高,分析方法难以推广,故不利于投入实际生产。
发明内容
本发明所要解决的技术问题是:提供一种改进深度学习的广谱农作物杂草识别与定位方法,采用这种方法能快速准确的对目标农作物与杂草进行识别和定位,对所采集的图像数据要求较低,对数据的需求量灵活。
本发明所采用的技术方案是:一种改进深度学习的广谱农作物杂草识别与定位方法,它包括以下步骤:
S1、实地采集不同生长阶段的目标农作物与田间混杂着杂草的图片,通过移动终端上传至云端;
S2、采用样本自动扩充的方式将图像数量扩充;
S3、建立数据集并将数据集分为训练集与测试集;
S4、采用基于背景先验显著性的目标农作物主区域提取方法,去除复杂背景,提取图像主区域;
S5、在TPU上,通过迁移学习的方法,将训练集输入预设的卷积神经网络InceptionV3网络模型中进行训练得到目标植物与杂草分类识别器;
S6、将测试集输入训练好的识别器当中,输出分类与定位的预测结果。
作为优选,步骤S5中,InceptionV3网络模型在InceptionV2网络模型的基础上改进了3种Inception模块,InceptionV3网络模型中优化器采用RMSProp替换InceptionV2网络模型中的SGD,在类别全连接层后加入LSR层,用三个3×3卷积核取代7×7卷积核。
作为优选,步骤S5中还采用改进网络的激活函数,改进后的激活函数结合ReLU函数与Tanh函数,即取小于零的部分为Tanh函数的左边部分,大于零的部分为ReLU函数的右半部分,记为Tanh-ReLU函数。
作为优选,步骤S5中卷积神经网络InceptionV3网络模型为基于ImageNet预训练得到的网络模型。
作为优选,在步骤S2中,扩充训练集数据量的样本自动扩充方法为:随机选取100个角度进行旋转,并将图像大小归一化。
作为优选,在步骤S3中,数据集中70%图片归入训练集,用于训练得到目标农作物与杂草分类识别器,30%的图片归入测试集,用于测试作物杂草分类识别器的效果。
作为优选,在步骤S4中,图像主区域提取方法为:先将图像进行超像素分割;再分别根据边界超像素块的显著性对其余超像素快的显著性进行查询;接着查询结果进行合并,得到最终的显著图;最后对显著图进行自适应二值化,得到分割图、最小外接矩形分割图和ROI区域分割图。
采用以上方法与现有技术相比,本发明具有以下优点:对于目标农作物田间杂草的识别,传统的计算机视觉技术提取其特征(颜色、形态、纹理等)对数据采集的要求较高,预处理过程较复杂,且需要对每一类农作物或杂草进行单独的特征分析,所得到的分类模型可能只能应用于研究所涉及的农作物可推广性较差,传统的光谱反射特性对农作物与杂草进行识别则对采集光谱图像时的光照条件有较高要求,且当涉及多种杂草时准确率难以保证;而本方法使用少量目标农作物与杂草的图像制作数据集,通过样本自动扩充的方式扩大数据集,通过深度学习训练得到了基于卷积神经网络的分类识别器,目标农作物与主要杂草在形态上有明显差异,卷积神经网络提取目标农作物与杂草形态特征的实验表明,目标农作物与杂草的图像在经卷积处理后特征图像有显著差异,因此在本方法中,目标农作物与杂草的识别准确率更高,速度更快,对所采集的图像数据要求较低、成本低,具有良好的可推广性和适用性。
对于目标农作物田间杂草的定位,传统的土壤背景分割、图像分割等定位方法,效率低,且不适合复杂环境、易用性较弱;而本方法使用了改进的基于背景先验显著性的目标农作物区域自动定位方法进行主区域提取,能有效而快速地对图片中杂草与农作物进行定位。
本方法中目标农作物杂草分类识别器对数据的需求量灵活,当样本数据量较小时仍可以通过迁移学习达到较高的分类识别准确率。预训练网络架构InceptionV3具有层数深且参数量少的特点,因此能够针对目标农作物图像的特点较全面的提取目标农作物的特征,并能减少梯度弥散现象。进行自适应的参数调整,得到适合目标农作物与杂草图像分类的卷积神经网络模型。采用改进网络的激活函数,针对目标农作物图片与杂草图片的特点,提高网络的分类准确性。
附图说明
图1为本发明中建立目标农作物杂草分类识别器的流程图。
图2为本发明中识别与定位目标农作物杂草的流程图。
具体实施方式
以下通过具体实施方式对本发明做进一步描述,但是本发明不仅限于以下具体实施方式。
如图1和图2所示,一种改进深度学习的广谱植物杂草识别与定位检测方法,包括步骤:
S1、采用面阵运动相机在目标植物不同的生长周期下进行图像采集。将采集好图片按照比例分为训练样本和测试样本。
S2、将训练集中的图片缩放至预设的卷积神经网络模型所要求的像素尺寸;为提高模型在不同角度、亮度、对比度、清晰度等因素影响下的识别准确率,通过样本自动扩充方法扩充训练集数据量,如旋转等;
S3、数据集中70%图片归入训练集,用于训练得到目标农作物与杂草分类识别器,30%的图片归入测试集。
S4、采用基于背景先验显著性的目标农作物主区域提取方法,去除复杂背景,提取图像主区域。先将图像进行超像素分割;再分别根据边界超像素块的显著性对其余超像素块的显著性进行查询;接着对查询结果进行合并,得到最终的显著图;最后对显著图进行自适应二值化,得到分割图、最小外接矩形分割图和ROI区域分割图。
S5、在TPU上,通过迁移学习的方法,将训练集输入预设的卷积神经InceptionV3网络模型中进行训练得到目标植物与杂草分类识别器,其中卷积神经网络InceptionV3网络模型为基于ImageNet预训练得到的网络模型,而且InceptionV3网络模型在InceptionV2网络模型的基础上改进了3种Inception模块,InceptionV3网络模型中优化器采用RMSProp替换InceptionV2网络模型中的SGD,在类别全连接层后加入LSR层,用三个3×3卷积核取代7×7卷积核。并且还采用改进网络的激活函数,针对目标农作物图片与杂草图片的特点,提高网络的分类准确性,改进后的激活函数将非饱和函数ReLU与Tanh函数软饱和的特点结合起来,取小于零的部分为Tanh函数的左边部分,大于零的部分为ReLU函数的右半部分,记为Tanh-ReLU函数。该函数的表达式为:
Figure BDA0002234134350000041
利用测试集对目标农作物与杂草分类识别器进行测试得到分类识别结果并计算准确度。通过TPU和优化网络模型结构来减少训练时间,提高效率。
S6、将测试集输入训练好的识别器当中,输出分类与定位的预测结果。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的技术人员应当理解,其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行同等替换;而这些修改或者替换,并不使相应的技术方案的本质脱离本发明各实施例技术方案的精神与范围。

Claims (7)

1.一种改进深度学习的广谱农作物杂草识别与定位方法,其特征在于,它包括以下步骤:
S1、实地采集不同生长阶段的目标农作物与田间混杂着杂草的图片,通过移动终端上传至云端;
S2、采用样本自动扩充的方式将图像数量扩充;
S3、建立数据集并将数据集分为训练集与测试集;
S4、采用基于背景先验显著性的目标农作物主区域提取方法,去除复杂背景,提取图像主区域;
S5、在TPU上,通过迁移学习的方法,将训练集输入预设的卷积神经网络InceptionV3网络模型中进行训练得到目标植物与杂草分类识别器;
S6、将测试集输入训练好的识别器当中,输出分类与定位的预测结果。
2.根据权利要求1所述的改进深度学习的广谱农作物杂草识别与定位方法,其特征在于:步骤S5中,InceptionV3网络模型在InceptionV2网络模型的基础上改进了3种Inception模块,InceptionV3网络模型中优化器采用RMSProp替换InceptionV2网络模型中的SGD,在类别全连接层后加入LSR层,用三个3×3卷积核取代7×7卷积核。
3.根据权利要求1所述的改进深度学习的广谱农作物杂草识别与定位方法,其特征在于:步骤S5中还采用改进网络的激活函数,改进后的激活函数结合ReLU函数与Tanh函数,即取小于零的部分为Tanh函数的左边部分,大于零的部分为ReLU函数的右半部分,记为Tanh-ReLU函数。
4.根据权利要求1所述的改进深度学习的广谱农作物杂草识别与定位方法,其特征在于:步骤S5中卷积神经网络InceptionV3网络模型为基于ImageNet预训练得到的网络模型。
5.根据权利要求1所述的改进深度学习的广谱农作物杂草识别与定位方法,其特征在于:在步骤S2中,扩充训练集数据量的样本自动扩充方法为:随机选取100个角度进行旋转,并将图像大小归一化。
6.根据权利要求1所述的改进深度学习的广谱农作物杂草识别与定位方法,其特征在于:在步骤S3中,数据集中70%图片归入训练集,用于训练得到目标农作物与杂草分类识别器,30%的图片归入测试集,用于测试作物杂草分类识别器的效果。
7.根据权利要求1所述的改进深度学习的广谱农作物杂草识别与定位方法,其特征在于:在步骤S4中,图像主区域提取方法为:先将图像进行超像素分割;再分别根据边界超像素块的显著性对其余超像素快的显著性进行查询;接着查询结果进行合并,得到最终的显著图;最后对显著图进行自适应二值化,得到分割图、最小外接矩形分割图和ROI区域分割图。
CN201910977561.XA 2019-10-15 2019-10-15 改进深度学习的广谱农作物杂草识别与定位方法 Pending CN110826556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910977561.XA CN110826556A (zh) 2019-10-15 2019-10-15 改进深度学习的广谱农作物杂草识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910977561.XA CN110826556A (zh) 2019-10-15 2019-10-15 改进深度学习的广谱农作物杂草识别与定位方法

Publications (1)

Publication Number Publication Date
CN110826556A true CN110826556A (zh) 2020-02-21

Family

ID=69549402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910977561.XA Pending CN110826556A (zh) 2019-10-15 2019-10-15 改进深度学习的广谱农作物杂草识别与定位方法

Country Status (1)

Country Link
CN (1) CN110826556A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428798A (zh) * 2020-03-30 2020-07-17 北京工业大学 一种基于卷积神经网络的植物幼苗分类方法
CN111612797A (zh) * 2020-03-03 2020-09-01 江苏大学 一种水稻图像信息处理系统
CN112335351A (zh) * 2020-11-06 2021-02-09 太原理工大学 具有图像识别的拔杆器
CN112541383A (zh) * 2020-06-12 2021-03-23 广州极飞科技有限公司 杂草区域的识别方法和装置
CN112711900A (zh) * 2020-12-02 2021-04-27 济南浪潮高新科技投资发展有限公司 一种农作物数字孪生建模方法
CN113349188A (zh) * 2021-05-31 2021-09-07 南京林业大学 一种基于云端杀草谱的草坪及牧草精准除草方法
CN116912701A (zh) * 2023-09-14 2023-10-20 潍坊现代农业山东省实验室 杂草的识别方法及装置、杂草的喷施方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技(深圳)有限公司 行人检测方法及终端设备
CN109325484A (zh) * 2018-07-30 2019-02-12 北京信息科技大学 基于背景先验显著性的花卉图像分类方法
CN110210355A (zh) * 2019-05-24 2019-09-06 华南农业大学 稻田杂草种类识别方法及系统、目标位置检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技(深圳)有限公司 行人检测方法及终端设备
CN109325484A (zh) * 2018-07-30 2019-02-12 北京信息科技大学 基于背景先验显著性的花卉图像分类方法
CN110210355A (zh) * 2019-05-24 2019-09-06 华南农业大学 稻田杂草种类识别方法及系统、目标位置检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUNBAIGUI: "深度学习之图像分类模型inception v2、inception v3解读", 《HTTPS://WEB.ARCHIVE.ORG/WEB/20170713071424/HTTPS://BLOG.CSDN.NET/SUNBAIGUI/ARTICLE/DETAILS/50807418》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612797A (zh) * 2020-03-03 2020-09-01 江苏大学 一种水稻图像信息处理系统
CN111612797B (zh) * 2020-03-03 2021-05-25 江苏大学 一种水稻图像信息处理系统
CN111428798A (zh) * 2020-03-30 2020-07-17 北京工业大学 一种基于卷积神经网络的植物幼苗分类方法
CN112541383A (zh) * 2020-06-12 2021-03-23 广州极飞科技有限公司 杂草区域的识别方法和装置
CN112541383B (zh) * 2020-06-12 2021-12-28 广州极飞科技股份有限公司 杂草区域的识别方法和装置
CN112335351A (zh) * 2020-11-06 2021-02-09 太原理工大学 具有图像识别的拔杆器
CN112711900A (zh) * 2020-12-02 2021-04-27 济南浪潮高新科技投资发展有限公司 一种农作物数字孪生建模方法
CN113349188A (zh) * 2021-05-31 2021-09-07 南京林业大学 一种基于云端杀草谱的草坪及牧草精准除草方法
CN113349188B (zh) * 2021-05-31 2022-06-03 南京林业大学 一种基于云端杀草谱的草坪及牧草精准除草方法
CN116912701A (zh) * 2023-09-14 2023-10-20 潍坊现代农业山东省实验室 杂草的识别方法及装置、杂草的喷施方法

Similar Documents

Publication Publication Date Title
CN110826556A (zh) 改进深度学习的广谱农作物杂草识别与定位方法
Wang et al. A deep learning approach incorporating YOLO v5 and attention mechanisms for field real-time detection of the invasive weed Solanum rostratum Dunal seedlings
CN109961024A (zh) 基于深度学习的小麦田间杂草检测方法
Ajayi et al. Effect of varying training epochs of a faster region-based convolutional neural network on the accuracy of an automatic weed classification scheme
CN112862849A (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
Bukhari et al. Assessing the impact of segmentation on wheat stripe rust disease classification using computer vision and deep learning
Xu et al. Instance segmentation method for weed detection using UAV imagery in soybean fields
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Granwehr et al. Analysis on digital image processing for plant health monitoring
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
Sehree et al. Olive trees cases classification based on deep convolutional neural network from unmanned aerial vehicle imagery
Zhong et al. Identification and depth localization of clustered pod pepper based on improved Faster R-CNN
Lu et al. Citrus green fruit detection via improved feature network extraction
Kuswidiyanto et al. Airborne hyperspectral imaging for early diagnosis of kimchi cabbage downy mildew using 3D-ResNet and leaf segmentation
CN117392535A (zh) 一种面向复杂环境的果树花芽目标检测与白点率估算方法
Shinoda et al. Transformer-based ripeness segmentation for tomatoes
Gong et al. U3-YOLOXs: An improved YOLOXs for Uncommon Unregular Unbalance detection of the rape subhealth regions
Rony et al. BottleNet18: Deep Learning-Based Bottle Gourd Leaf Disease Classification
Yihang et al. Automatic recognition of rape seeding emergence stage based on computer vision technology
Lv et al. Cotton boll growth status recognition method under complex background based on semantic segmentation
Stanski et al. Flower detection using object analysis: new ways to quantify plant phenology in a warming tundra biome
Mu et al. Mask R-CNN based king flowers identification for precise apple pollination
Gromova Weed Detection in UAV Images of Cereal Crops with Instance Segmentation
CN116012718B (zh) 田间害虫检测方法、系统、电子设备及计算机存储介质
Yang et al. Rape seedling density estimation in‐field conditions based on improved multi‐column convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221