CN114627411A - 基于计算机视觉下并行检测的农作物生育期识别方法 - Google Patents

基于计算机视觉下并行检测的农作物生育期识别方法 Download PDF

Info

Publication number
CN114627411A
CN114627411A CN202210207754.9A CN202210207754A CN114627411A CN 114627411 A CN114627411 A CN 114627411A CN 202210207754 A CN202210207754 A CN 202210207754A CN 114627411 A CN114627411 A CN 114627411A
Authority
CN
China
Prior art keywords
image
detection
crop
growth period
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210207754.9A
Other languages
English (en)
Inventor
陈秀芹
褚德峰
郭明
陈栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuifa Group Co ltd
Shuifa Intelligent Agricultural Technology Co ltd
Original Assignee
Shuifa Intelligent Agricultural Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuifa Intelligent Agricultural Technology Co ltd filed Critical Shuifa Intelligent Agricultural Technology Co ltd
Priority to CN202210207754.9A priority Critical patent/CN114627411A/zh
Publication of CN114627411A publication Critical patent/CN114627411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及基于计算机视觉下并行检测的农作物生育期识别方法，先进行数据收集、数据预处理，训练深度学习卷积神经网络并获得农作物生育期识别模型，构造目标图像检测模型得到农作物关键部位检测模型，将待测图像同时输入农作物生育期识别模型和农作物关键部位检测模型检测，通过结合深度学习图像识别模型和目标检测算法并行检测、结果融合，准确判断农作物生育期。相比单一图像识别模型，本发明准确率较高，可有效提高应用范围。

Description

基于计算机视觉下并行检测的农作物生育期识别方法
技术领域
本发明涉及农作物生育期识别技术和人工智能计算机视觉技术领域，特别涉及基于计算机视觉下并行检测的农作物生育期识别方法。
背景技术
农作物的生长态势，事关农事生产的整个过程，因此通过农作物不同时期图片，对农作物进行合理的农作物生产态势检测，对于农业生产是十分有必要的。通过分析农作物生长情况，最大程度地判断农作物生长态势，合理调配生产资源，为农作物生产管理人员或管理决策者提供及时可靠的长势信息，便于及时采集有效的田间管理措施，对农作物产量进行准确预估，为我国人民的生存条件和粮食安全提供保障。
传统对于农作物生育期的识别主要依靠农学专业人士进行鉴别，由于普通农户没有专业的知识，无法很好的鉴别农作物生育期，耽误农作物授粉，摘果的最佳时间从而造成减产的风险。随着人工智能的广泛发展，在图像识别和目标检测上的准确率也逐渐接近人眼水平，越来越多的研究希望能够利用计算机视觉代替人工。目前，利用计算机视觉的农作物识别多为单一模型检测，或者仅是通过对感兴趣的区域模型改进来改善正负样本不平衡的问题，针对农作物生育期识别更是大多基于单一图像识别模型需要人为引导拍摄，并且准确率不高，无法达到广泛应用的要求。
发明内容
本发明的目的是克服现有技术不足，而提供一种基于计算机视觉下并行检测的农作物生育期识别方法，通过结合深度学习图像识别模型和目标检测模型并行检测、结果融合，准确判断农作物生育期。
本发明采取的技术方案为：
基于计算机视觉下并行检测的农作物生育期识别方法，包括步骤如下：
(1)数据收集：选择单一农作物并收集作物不同生育期的图像，图像中包括生育期的关键识别部位；
(2)将数据作两种不同方式的预处理，一种为作数据增强和数据集划分，用于图像识别，根据要求划分生育期不同类别；一种为作关键部位标注、数据增强和数据集划分，用于检测生育期关键部位；
(3)依据划分的生育期的不同类别使用图像分类算法构造图像分类模型，将预处理的数据集输入到构造的图像分类模型，训练深度学习卷积神经网络并获得农作物生育期识别模型；
(4)采用faster RCNN图像检测网络作为基础网络构造目标图像检测模型，将数据集输入到目标图像检测模型中，训练并优化网络，得到农作物关键部位检测模型；
(5)拍摄待测生育期农作物植株图像，将图像同时输入农作物生育期识别模型和农作物关键部位检测模型检测；
(6)将农作物生育期识别模型测得结果作为粗分类，将农作物关键部位检测模型检测结果作为关键点分类，相互结合识别农作物生育期类别，两者相对应时取一致结果分类，两者不对应时以关键点分类优先确定。
上述基于计算机视觉下并行检测的农作物生育期识别方法，步骤(1)所述的不同生育期包括芽期、苗期、花期、坐果期、成熟期，生育期的关键识别部位其中花期包含关键部位花，坐果期含关键部位青果，成熟期含关键部位红果或熟果。
步骤(2)所述的数据增强为将数据集中原图像经过上下翻转，左右翻转，图像裁剪，图像旋转，图像模糊，灰度变化操作将数据增加若干倍；所述的关键部位标注调用labelimg图像标注软件勾画图像中果实所在位置作为数据集中的标签样本，保存为VOC数据集格式。
步骤(3)所述的图像分类模型包括：提取目标特征的深度学习卷积层、用于识别的分类层，搭建EfficientV2图像分类网络；其中将收集的图像分类数据集按照7:2:1分为训练集、测试集和验证集。
步骤(4)所述的用faster RCNN图像检测网络作为基础网络，该网络包括以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框；将预处理好的数据集的70％作为训练数据，20％作为测试数据，10％作为验证数据。
本发明的有益效果是：
本发明不同于单一识别模型，采用双模型同时检测，结合目标检测算法和图像分类模型，通过图像分类模型进行粗分类然后结合目标检测算法识别生育期关键部位能够有效识别农作物，在算法上结合了目标检测算法检测农作物关键部位的结果以及基于整幅图进行识别的图像识别算法结果，相比单一图像识别模型，本算法准确率较高，可有效提高应用范围。
附图说明
图1本发明的方法流程图；
图2为本发明图像分类模型采用的Efficientv2网络结构图；
图3为本发明目标图像检测模型采用的faster RCNN网络结构图；
图4为本发明实施例结合农作物图像检测和图像识别的分类确定流程图。
具体实施方式
为了进一步说明本发明技术方案，下面结合具体实施例进一步说明。
实施例1
基于计算机视觉下并行检测的农作物生育期识别方法，这里以番茄生育期为例，实施过程包括以下步骤：
(1)收集真实环境下作物图像数据：
a.拍摄设备可用手机等移动设备；
b.为满足深度学习训练的需求，收集在番茄不同生育期下的芽期、苗期、花期、坐果期以及成熟期各500例图片；
c.花期、坐果期、成熟期必须包含关键部位花、番茄青果、番茄红果；
d.图像中必须包含一颗或者多颗番茄植株。
(2)使用图像分类算法建立作物生育期识别模型：
a.将收集到的番茄图片分为5类，搭建图像分类数据集；
b.数据增强，包括采用上下偏移图像，随机裁剪，上下翻转等方式增加正样本的数据量；
c.构造图像分类模型，搭建EfficientV2图像分类网络；
d.如图1所示，EfficientNetV2主要是在EfficientNetV1的基础上进行改进，在特征提取层主要通过组合MBConv和Fused-MBConv这样的单元模型提取方式，并引入了注意力机制有效的提取待识别图像的特征；
e.将收集到的图片数据集按照7：2：1分为训练集、测试集和验证集；
f.将准备的数据集输入到图像分类模型，训练并优化EfficientV2网络框架，得到分类模型。
(3)使用目标检测算法获取作物生育期关键部位检测模型：
a.选择作物图像中含有花期、坐果期、成熟期的数据；
b.调用labelimg图像标注软件勾画图像中果实所在位置作为数据集中的标签样本，并保存为待训练的VOC数据集格式；
c.数据增强：为提高模型的准确率，这里将训练集图像和标签同时进行上下翻转，左右翻转，旋转，灰度变化，图像模糊等操作增加数据量，得到扩增20倍的数据增强后数据集样本；
d.构造图像检测模型：本发明采用faster RCNN图像检测网络作为基础模型，该网络包括，以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框。
e.如图2所示：faster RCNN首先使用一组基础的卷积层、relu激活函数、pooling池化层提取图像的特征图(feature maps)，该feature maps用于后续的候选框提取网络(Region Proposal Networks)和全连接层，候选框提取网络用于生成候选框(regionproposals)；该层通过softmax判别锚点框(anchors)属于正样本或者负样本，并修正当前anchors；感兴趣区域池化层(ROI Pooling)，该层整合的feature maps和proposals，作为后续判别目标类别；最后经过分类和回归网络判断目标图像和回归检测框；
f.将准备好的数据集按照7：2：1划分训练集、测试集和验证集；
g.将准备好的数据集输入到图像检测模型中，训练并优化模型，得到作物生育期关键部位检测模型。
(5)结合农作物生育期识别模型和农作物关键部位检测模型有效识别农作物的生育期，包括以下步骤：
a.拍摄含有单株或者多株番茄植株的图像；
b.将图像同时输入农作物生育期识别模型和农作物关键部位检测模型检测；
c.设置图像检测结果花、青果、红果分别对应花期、坐果期、成熟期，如果检测到同时包含红果和其他类别的则判定为成熟期，如果同时检测到青果以及花则判定为坐果期；如果只检测到花则判定为花期；
d.预测设置优先级：关键部位检测的结果优先级高于农作物生育期识别，如果图像检测出花、青果、红果则优先判定为花期，坐果期，成熟期，再根据图像识别补充苗期和芽期；
e.根据预测结果，判断农作物的生育期，如图4所示。
上述实施例中描述的只是为了说明本发明的方法，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都属于要求保护的本发明范围之内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.基于计算机视觉下并行检测的农作物生育期识别方法，其特征是，包括步骤如下：
(1)数据收集：选择单一农作物并收集作物不同生育期的图像，图像中包括生育期的关键识别部位；
(2)将数据作两种不同方式的预处理，一种为作数据增强和数据集划分，用于图像识别，根据要求划分生育期不同类别；一种为作关键部位标注、数据增强和数据集划分，用于检测生育期关键部位；
(3)依据划分的生育期的不同类别使用图像分类算法构造图像分类模型，将预处理的数据集输入到构造的图像分类模型，训练深度学习卷积神经网络并获得农作物生育期识别模型；
(4)采用faster RCNN图像检测网络作为基础网络构造目标图像检测模型，将数据集输入到目标图像检测模型中，训练并优化网络，得到农作物关键部位检测模型；
(5)拍摄待测生育期农作物植株图像，将图像同时输入农作物生育期识别模型和农作物关键部位检测模型检测；
(6)将农作物生育期识别模型测得结果作为粗分类，将农作物关键部位检测模型检测结果作为关键点分类，相互结合识别农作物生育期类别，两者相对应时取一致结果分类，两者不对应时以关键点分类优先确定。
2.根据权利要求1所述的基于计算机视觉下并行检测的农作物生育期识别方法，其特征是，步骤(1)所述的不同生育期包括芽期、苗期、花期、坐果期、成熟期，生育期的关键识别部位其中花期包含关键部位花，坐果期含关键部位青果，成熟期含关键部位红果或熟果。
3.根据权利要求1所述的基于计算机视觉下并行检测的农作物生育期识别方法，其特征是，步骤(2)所述的数据增强为将数据集中原图像经过上下翻转，左右翻转，图像裁剪，图像旋转，图像模糊，灰度变化操作将数据增加若干倍；所述的关键部位标注调用labelimg图像标注软件勾画图像中果实所在位置作为数据集中的标签样本，保存为VOC数据集格式。
4.根据权利要求1所述的基于计算机视觉下并行检测的农作物生育期识别方法，其特征是，步骤(3)所述的图像分类模型包括：提取目标特征的深度学习卷积层、用于识别的分类层，搭建EfficientV2图像分类网络。
5.根据权利要求4所述的基于计算机视觉下并行检测的农作物生育期识别方法，其特征是，步骤(3)所述的图像分类模型将收集的图像分类数据集按照7:2:1分为训练集、测试集和验证集。
6.根据权利要求1所述的基于计算机视觉下并行检测的农作物生育期识别方法，其特征是，步骤(4)所述的用faster RCNN图像检测网络作为基础网络，该网络包括以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框。
7.根据权利要求6所述的基于计算机视觉下并行检测的农作物生育期识别方法，其特征是，步骤(4)所述的用faster RCNN图像检测网络将预处理好的数据集的70％作为训练数据，20％作为测试数据，10％作为验证数据。
CN202210207754.9A 2022-03-04 2022-03-04 基于计算机视觉下并行检测的农作物生育期识别方法 Pending CN114627411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210207754.9A CN114627411A (zh) 2022-03-04 2022-03-04 基于计算机视觉下并行检测的农作物生育期识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210207754.9A CN114627411A (zh) 2022-03-04 2022-03-04 基于计算机视觉下并行检测的农作物生育期识别方法

Publications (1)

Publication Number Publication Date
CN114627411A true CN114627411A (zh) 2022-06-14

Family

ID=81900419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210207754.9A Pending CN114627411A (zh) 2022-03-04 2022-03-04 基于计算机视觉下并行检测的农作物生育期识别方法

Country Status (1)

Country Link
CN (1) CN114627411A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052141A (zh) * 2023-03-30 2023-05-02 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN117197595A (zh) * 2023-11-08 2023-12-08 四川省农业科学院农业信息与农村经济研究所 基于边缘计算的果树生育期识别方法、装置及管理平台
CN117475214A (zh) * 2023-10-31 2024-01-30 农芯(南京)智慧农业研究院有限公司 烟苗育苗期生长状态判别和出苗率检测方法及相关装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052141A (zh) * 2023-03-30 2023-05-02 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN116052141B (zh) * 2023-03-30 2023-06-27 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN117475214A (zh) * 2023-10-31 2024-01-30 农芯(南京)智慧农业研究院有限公司 烟苗育苗期生长状态判别和出苗率检测方法及相关装置
CN117197595A (zh) * 2023-11-08 2023-12-08 四川省农业科学院农业信息与农村经济研究所 基于边缘计算的果树生育期识别方法、装置及管理平台

Similar Documents

Publication Publication Date Title
CN111709489B (zh) 一种基于改进YOLOv4的柑橘识别方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN114627411A (zh) 基于计算机视觉下并行检测的农作物生育期识别方法
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN110046631A (zh) 用于自动推断时空图像的变化的系统和方法
CN110569786B (zh) 一种基于无人机数据采集的果树识别和数量监测方法及系统
CN109684906B (zh) 基于深度学习的检测红脂大小蠹的方法
CN112069985B (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN110348357A (zh) 一种基于深度卷积神经网络的快速目标检测方法
CN113657469B (zh) 基于图像识别的木本植物物候期的自动观测方法和系统
CN105868784A (zh) 一种基于sae-svm的病虫害检测系统
CN111652326A (zh) 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN112862849A (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
CN111199192A (zh) 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN110503140A (zh) 基于深度迁移学习与邻域降噪的分类方法
Hacking et al. Vineyard yield estimation using 2-D proximal sensing: A multitemporal approach
CN117456358A (zh) 一种基于YOLOv5神经网络的植物病虫害检测方法
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
Woods et al. Development of a pineapple fruit recognition and counting system using digital farm image
CN114700941A (zh) 一种基于双目视觉的草莓采摘方法、机器人系统
CN110135481B (zh) 一种农作物病变检测方法以及检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230814

Address after: 250101 Shuifa Building, 33399 Jingshi East Road, Licheng District, Jinan City, Shandong Province

Applicant after: Shuifa Group Co.,Ltd.

Applicant after: Shuifa Intelligent Agricultural Technology Co.,Ltd.

Address before: C505-2, building 6, Qilu Software Park, No. 1, Shunhua Road, high tech Zone, Jinan City, Shandong Province, 250101

Applicant before: Shuifa Intelligent Agricultural Technology Co.,Ltd.