CN112580671A - 一种基于深度学习的稻穗多发育期自动检测方法及系统 - Google Patents

一种基于深度学习的稻穗多发育期自动检测方法及系统 Download PDF

Info

Publication number
CN112580671A
CN112580671A CN202011637060.6A CN202011637060A CN112580671A CN 112580671 A CN112580671 A CN 112580671A CN 202011637060 A CN202011637060 A CN 202011637060A CN 112580671 A CN112580671 A CN 112580671A
Authority
CN
China
Prior art keywords
rice
target detection
rice ears
ears
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011637060.6A
Other languages
English (en)
Inventor
肖德琴
张远琴
杨文涛
黄一桂
冯健昭
林探宇
欧周才
杨兴召
吴彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202011637060.6A priority Critical patent/CN112580671A/zh
Publication of CN112580671A publication Critical patent/CN112580671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明提供的一种基于深度学习的稻穗多发育期自动检测方法,包括建立目标检测模型;在线连续采集监测区域图像数据,通过目标检测模型检测出每张图像中不同成熟度的各类稻穗数量;计算第i天中的各类平均稻穗数量;计算图像的各类稻穗密度;判断各类稻穗密度是否明显增加达到预设的阈值,若是,则判断稻穗已经进入相应的发育期;否则,重新计算另一天的各类平均稻穗数量。本发明提供一种基于深度学习的稻穗多发育期自动检测方法,通过建立目标检测模型实现对图像数据进行不同发育期图像自动特征提取,实现稻穗的目标检测,无需分割出稻穗区域,检测率高,实用性强,不受大风天气或复杂场景的影响,最终实现对稻穗多发育期的自动检测。

Description

一种基于深度学习的稻穗多发育期自动检测方法及系统
技术领域
本发明涉及稻穗多发育期检测技术领域,更具体的,涉及一种基于深度学习的稻穗多发育期自动检测方法及系统。
背景技术
水稻穗关键发育期的准确观测能够有效指导精准管控,对实现稻米的优质高产具有重要意义。水稻自抽穗起直到收获,在不同生长发育期的稻穗呈现出不同的形态特征。例如,水稻的抽穗扬花期,稻穗上点缀着小小的白色颖花;水稻的乳熟期,无颖花且稻穗弯曲下垂,有的呈发散状;水稻的蜡熟和完熟期,稻穗出现谷壳变黄。根据《农业气象观测规范》,当观测区域中有10%的水稻抽穗时水稻进入抽穗期,其它发育期亦然。因此,可以依据不同生长发育期的稻穗在大小、成熟度、色彩等方面差异,将稻穗关键发育期的检测转变为水稻穗的检测,只要检测到足够数量的稻穗便可以判断水稻发育期的到来。
目前,对于水稻穗发育期的观测主要是通过人工观测的方式,需要观测人员进行实地采样观测。但该方法费时、费力且容易出错。随着计算机视觉技术的成熟与普及,越来越多的学者通过地面监测的方式在较小区域上对水稻的生长状态进行实时的连续观测,获得图像序列,探索图像特征以表征稻穗呈现出的形态特征,研究图像特征的演化规律来识别稻穗关键发育期,该方法实现稻穗发育期自动检测是一种行之有效的途径。但目前从图像特征上对稻穗发育期的自动检测方法都仅针对某一个关键时期进行研究,且都存在缺陷。曹治国等于2014年7月09日申请了中国发明专利201210061671.X,具体公开了一种水稻抽穗期自动检测的方法,以稻田中采集到的前下视图像为对象,利用颜色信息分割稻穗并提取稻穗区域覆盖度,依据覆盖度的改变判断水稻是否进入抽穗期。但该方法因无法完全消除光照变化对分割效果的影响,使得提取的覆盖度难免存在波动,从而影响检测结果的准确率。2018年Bai等在《Agricultural&Forest Meteorology》发表论文“Rice headingstage automatic observation by multi-classifier cascade based Rice panicledetection method”中提出了基于由SVM,GH和CNN组成的多分类器级联的水稻抽穗期自动检测方法,该方法不仅利用了稻穗的颜色和梯度特征,还利用了CNN自动学习特征进一步地降低稻穗检测的假阳性率。但该方法的检测精度不仅受光照的影响较大,且仅适于处理在最佳自然光下拍摄的照片,在处理日常水稻图片时会耗费时间,检测精度也会下降(Bai,Cao,et al.Rice heading stage automatic observation by multi-classifiercascade based Rice panicle detection method[J].Agricultural&ForestMeteorology,2018.)。曹治国等于2013年12月18日申请了中国发明专利201210061645.7,具体公开了一种水稻乳熟期自动检测的方法,以稻田中采集到的前下视图像为对象,利用颜色信息稻穗分割提取稻穗区域,进而从稻穗区域截取最能表征稻穗完整形态结构的子区域作为稻穗角度监测区域,计算稻穗角度监测区域的稻穗弯曲角度,依据稻穗弯曲角度判断水稻是否进入乳熟期。但该方法可行有一个前提条件是在水稻乳熟检测过程中稻田没有遇到持续的大风天气,否则该方法失效。2014年Soontranon Narut等在《InternationalConference on Electrical Engineering》发表论文“Rice growing stage monitoringin small-scale region using ExG vegetation index”中利用植被指数对水稻生长阶段进行小尺度监测,策略是分割RGB图像上的绿色水稻区域,通过植被指数图分析法大致将水稻生育期划分为苗期、分蘖期、抽穗期和收获期(Soontranon N,Srestasathiern P,Rakwatin P.Rice growing stage monitoring in small-scale region using ExGvegetation index[C].International Conference on Electrical Engineering/electronics.IEEE,2014.)。该方法结果表明基于可见光RGB图像的ExG指数比其它两种指标(NGRDI、ExGR)更有效,其中,当ExG指数为递减函数且达最大值的90%判定为稻穗抽穗期,ExG指数为递减函数且达最大值的10%判定为稻穗收获期。但该方法基于可见光RGB图像的ExG指数图分析法是最基本的算法,在某些复杂场景下可能会提供不准确的结果。
发明内容
本发明为克服现有的水稻穗发育期检测方法存在受限于大风天气或在复杂场景下检测不准确的技术缺陷,提供一种基于深度学习的稻穗多发育期自动检测方法及系统。
为解决上述技术问题,本发明的技术方案如下:
一种基于深度学习的稻穗多发育期自动检测方法,包括以下步骤:
S1:构建并训练基于深度学习的目标检测网络,得到目标检测模型;
S2:在线连续采集监测区域n天的图像数据;
S3:将图像数据作为目标检测模型的输入,检测出每张图像中不同成熟度的各类稻穗数量;
S4:计算第i天中采集的所有图像数据中各类稻穗数量的平均值作为该天的各类平均稻穗数量;
S5:根据监测区域面积与每天各类平均稻穗数量,计算图像的各类稻穗密度;
S6:判断各类稻穗密度是否明显增加达到预设的阈值,若是,则判断稻穗已经进入相应的发育期;否则,返回执行步骤S4。
上述方案中,本方案通过建立目标检测模型实现对图像数据进行不同发育期图像自动特征提取,实现稻穗的目标检测,无需分割出稻穗区域,检测率高,实用性强,不受大风天气或复杂场景的影响;同时,本方案引入监测区域面积以适应不同高度和不同角度采集下水稻监测区域的变化,进一步提升检测精度,最终实现对稻穗多发育期的自动检测。
其中,所述步骤S1具体过程包括以下步骤:
S11:基于作物大数据采集平台,获取稻穗不同发育期图像数据;
S12:对图像数据进行人工标注,将图像数据分为训练集和验证集;
S13:构建基于深度学习的目标检测网络,通过训练集对目标检测网络进行训练;
S14:通过验证集对训练好的目标检测网络进行评估,若符合要求,则完成目标检测网络的训练,输出目标检测模型;否则,返回执行步骤S3,继续对目标检测网络进行训练。
其中,在所述步骤S13中,采用离线方式对所述目标检测网络进行训练。
其中,在所述步骤S2中,在线采集每天的某一个整时点与其左右间隔五分钟的w-1个时刻点一一对应的w张图像;最后将n天汇总得到图像数据。
其中,在所述步骤S5中,将监测区域面积与每天各类平均稻穗数量分别相除,得到每天的单位面积的图像各类稻穗数量,记为每天的图像的各类稻穗密度。
一种基于深度学习的稻穗多发育期自动检测系统,包括模型训练模块、模型存储模块、采集模块、数据处理模块和发育期判定模块;其中:
所述模型训练模块用于构建并训练基于深度学习的目标检测网络,并将训练完成的目标检测模型在所述模型存储模块上进行存储;
所述采集模块用于采集监测区域的图像数据,并将图像数据作为输入传送至所述模型存储模块中进行检测;
所述模型存储模块将检测结果传送至所述数据处理模块;
所述数据处理模块用于计算每天的各类平均稻穗数量,并根据各类平均稻穗数量和设置的监测区域面积,计算图像的各类稻穗密度;
所述发育期判定模块根据图像的各类稻穗密度判定稻穗是否已经进入相应的发育期。
其中,所述模型训练模块包括作物大数据采集平台、人工标注单元、目标检测网络、模型评估单元;其中:
所述作物大数据采集平台用于获取稻穗不同发育期图像数据;
所述人工标注单元将图像数据进行人工标注,将图像数据分为训练集和验证集;
所述目标检测网络通过训练集进行训练,并将训练好的目标检测网络传送至所述模型评估单元;
所述模型评估单元通过验证集对训练好的目标检测网络进行评估,若符合要求,则完成目标检测网络的训练,向所述模型存储模块输出目标检测模型;若不符合,则由所述目标检测网络继续进行训练,直至满足要求。
其中,所述模型训练模块采用离线模型训练模块。
其中,在所述采集模块中,在线采集每天的某一个整时点与其左右间隔五分钟的w-1个时刻点一一对应的w张图像;最后将n天汇总得到图像数据。
其中,在所述数据处理模块中,计算过程具体为:
首先计算第i天中采集的所有图像数据中各类稻穗数量的平均值作为该天的各类平均稻穗数量;
接着,将监测区域面积与每天各类平均稻穗数量分别相除,得到每天的单位面积的图像各类稻穗数量,记为每天的图像的各类稻穗密度。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供一种基于深度学习的稻穗多发育期自动检测方法,通过建立目标检测模型实现对图像数据进行不同发育期图像自动特征提取,实现稻穗的目标检测,无需分割出稻穗区域,检测率高,实用性强,不受大风天气或复杂场景的影响;同时,本方案引入监测区域面积以适应不同高度和不同角度采集下水稻监测区域的变化,进一步提升检测精度,最终实现对稻穗多发育期的自动检测。
附图说明
图1为本发明所述方法的流程示意图;
图2为一实施例中摄像头部署方案;
图3为一实施例中实现稻穗多发育期自动检测方法的流程图;
图4为一实施例中改进Faster R-CNN网络结构图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,一种基于深度学习的稻穗多发育期自动检测方法,包括以下步骤:
S1:构建并训练基于深度学习的目标检测网络,得到目标检测模型;
S2:在线连续采集监测区域n天的图像数据;
S3:将图像数据作为目标检测模型的输入,检测出每张图像中不同成熟度的各类稻穗数量;
S4:计算第i天中采集的所有图像数据中各类稻穗数量的平均值作为该天的各类平均稻穗数量;
S5:根据监测区域面积与每天各类平均稻穗数量,计算图像的各类稻穗密度;
S6:判断各类稻穗密度是否明显增加达到预设的阈值,若是,则判断稻穗已经进入相应的发育期;否则,返回执行步骤S4。
在具体实施过程中,本方案通过建立目标检测模型实现对图像数据进行不同发育期图像自动特征提取,实现稻穗的目标检测,无需分割出稻穗区域,检测率高,实用性强,不受大风天气或复杂场景的影响;同时,本方案引入监测区域面积以适应不同高度和不同角度采集下水稻监测区域的变化,进一步提升检测精度,最终实现对稻穗多发育期的自动检测。
更具体的,所述步骤S1具体过程包括以下步骤:
S11:基于作物大数据采集平台,获取稻穗不同发育期图像数据;
S12:对图像数据进行人工标注,将图像数据分为训练集和验证集;
S13:构建基于深度学习的目标检测网络,通过训练集对目标检测网络进行训练;
S14:通过验证集对训练好的目标检测网络进行评估,若符合要求,则完成目标检测网络的训练,输出目标检测模型;否则,返回执行步骤S3,继续对目标检测网络进行训练。
更具体的,在所述步骤S13中,采用离线方式对所述目标检测网络进行训练。
更具体的,在所述步骤S2中,在线采集每天的某一个整时点与其左右间隔五分钟的w-1个时刻点一一对应的w张图像;最后将n天汇总得到图像数据。
更具体的,在所述步骤S5中,将监测区域面积与每天各类平均稻穗数量分别相除,得到每天的单位面积的图像各类稻穗数量,记为每天的图像的各类稻穗密度。
实施例2
更具体的,在实施例1的基础上,为了解决目前其他基于图像序列的稻穗发育期自动检测方法专利中,仅适用于稻穗的某关键发育期的问题,提供一种基于深度学习的稻穗多发育期自动检测方法,能够利用地面监测设备实时获取水稻图像序列准确地检测出水稻处于哪个发育期,且对于不同品种在不同场景下的水稻都有较好的适用性。具体为:
首先,基于作物大数据采集平台,获取水稻自抽穗起直到收获的图像数据,优选地,选用接近垂直角度拍摄图像,以采集到的实时前下视图像为研究对象。注意,需要实地测量摄像头监测区域的实际面积S,也可以考虑在数据采集前放入圆盘等参考工具,通过图像中圆盘面积计算出图像的实际面积,引入参数S的目的是为适应在不同高度和不同角度的摄像下水稻监测区域的变化;
接着,人工依据不同生长发育期的稻穗呈现出不同的形态特征,将图像中不同成熟度的稻穗进行生长时期划分,分别标注,离线训练深度学习网络模型;
第三,通过基于深度学习的目标检测算法模型,为了多次检测以降低目标检测的误差,在线采集每天的某一整时点与其左右间隔五分钟的w-1个时刻点一一对应的w张图像,检测出每张图像中不同成熟度的稻穗,统计每一张图像中检测出的各类稻穗数,然后计算w张图像各类稻穗数的平均值作为该天的各类平均稻穗数,引入参数S与每天的各类平均稻穗数相除分别得到单位面积的图像各类穗数,称为图像的各类穗密度。因为单位面积上的穗数,由种植株数、单株分蘖数和分蘖成穗率三者组成,所以构建图像的各类穗密度作为判别对应发育期的指标是合适的;
第四,当各类穗密度达到某个程度就进入对应发育期;为了确定各类稻穗发育期的到来,具体的判别方式有多种。比如,绘制不同发育期下,对应成熟度稻穗图像的穗密度变化曲线,并做平滑处理得到光滑的穗密度曲线图,当检测到此各类穗密度曲线具有快速上升趋势即判断稻穗即将进入对应发育期;又例如,对于抽穗扬花期的当前图像穗密度与前两天的图像穗密度的比值都有明显增加达到设定阈值,可认为当前图像中的稻穗进入了抽穗扬花期,其它发育期一样;
最后,将自动检测结果与人工记录日期进行比较,计算误差,评估算法精度。
在具体实施过程中,本方案基于深度学习网络进行不同发育期图像自动特征提取的策略,实现了稻穗多个发育期自动检测的思想,通过统计不同发育期每天w张图像检出的各类平均稻穗数,引入实际面积参数S与每天的各类平均稻穗数相除分别得到图像的各类穗密度,建立其与发育期的相关关系,判定图像稻穗属于哪个发育期的思想。
实施例3
更具体的,下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
本发明的摄像头部署策略如附图2,金农丝苗水稻种植在约40m×40m的方形大田中,每穴有2到3颗幼苗,穴间隔约15-18cm。实验采用四个相同摄像头分别布置在田间四角区域进行水稻监测,摄像头采用海康DS-2DC7423IW-A系列智能球机,固定在离地面2.5m的高度上,且镜头视场相同,则实地测量摄像头监测区域的实际面积都为S。
本发明基于深度学习实现稻穗多个发育期自动检测方法,该方法的总体技术流程图如附图3,在获取到稻穗的多个图像序列后,使用目标检测模型识别图像中的各类稻穗以及判别稻穗各发育期。具体步骤如下:
(1)人工标注。
人工依据不同生长发育期的稻穗呈现出不同的形态特征,分别标注。本实验为实现3个稻穗关键发育期标注了3类不同成熟度的稻穗:水稻的抽穗扬花期(ripe1),稻穗上点缀着小的白色颖花;水稻的乳熟期(ripe2),无颖花且稻穗弯曲下垂,有的呈发散状;水稻的蜡熟和完熟期(ripe3),稻穗出现谷壳变黄。
(2)目标检测模型的构建。
目标检测模型采用的是改进的Faster R-CNN网络如附图4。本方案考虑到高精度的Faster R-CNN网络在小目标物体检测上存在的问题,并结合到本实验稻穗检测存在的目标小且密集、不同生长期目标大小跨度大等问题,对Faster R-CNN网络进行了有针对性地改进。为应对稻穗目标较小的问题,本方案在Inception_ResNet-v2特征提取网络的基础上引入空洞卷积来进行优化解决;对于不同生长期稻穗大小差别大的问题,设计了针对标注框尺度的K-means聚类算法,从而为候选区域生成网络提供先验知识而提高检测的精度。此外,针对检测目标的特殊性,使用ROIAlign替代ROIPooling,改善了感兴趣区域的提取精度。
(3)目标检测模型的训练。
对改进的Faster R-CNN算法进行离线训练。在设备的前期部署中,摄像头可先采集各1000张左右的各类图像数据进行数据集的建立。建立的数据集,以4:1的比例随机划分为训练集和验证集。数据集通过图像增强的方式,可增加数据集的丰富性。在训练前,先在ImageNet数据集上进行预训练,以初始化其参数,然后再在自己的数据集上进行迁移学习和微调。
(4)目标检测模型的使用策略。
在线采集每天上午9点与其左右间隔五分钟的4个时刻点一一对应的5张图像,检测出每张图像中不同成熟度的稻穗,统计每一张图像中检测出的各类稻穗数,然后计算5张图像各类稻穗数的平均值作为该天的各类平均稻穗数,引入实际面积参数S约为12平米,与相机监测每天的各类平均稻穗数相除分别得到对应图像的各类穗密度;实验结果表明,各类穗密度的范围可以定为[3,4],当各类穗密度达到此范围表示进入对应发育期;将自动检测结果与人工记录日期进行比较,计算误差,评估算法精度。
实施例4
在实施例1-实施例3的基础上,为了实现一种基于深度学习的稻穗多发育期自动检测方法,提出一种基于深度学习的稻穗多发育期自动检测系统,包括模型训练模块、模型存储模块、采集模块、数据处理模块和发育期判定模块;其中:
所述模型训练模块用于构建并训练基于深度学习的目标检测网络,并将训练完成的目标检测模型在所述模型存储模块上进行存储;
所述采集模块用于采集监测区域的图像数据,并将图像数据作为输入传送至所述模型存储模块中进行检测;
所述模型存储模块将检测结果传送至所述数据处理模块;
所述数据处理模块用于计算每天的各类平均稻穗数量,并根据各类平均稻穗数量和设置的监测区域面积,计算图像的各类稻穗密度;
所述发育期判定模块根据图像的各类稻穗密度判定稻穗是否已经进入相应的发育期。
其中,所述模型训练模块包括作物大数据采集平台、人工标注单元、目标检测网络、模型评估单元;其中:
所述作物大数据采集平台用于获取稻穗不同发育期图像数据;
所述人工标注单元将图像数据进行人工标注,将图像数据分为训练集和验证集;
所述目标检测网络通过训练集进行训练,并将训练好的目标检测网络传送至所述模型评估单元;
所述模型评估单元通过验证集对训练好的目标检测网络进行评估,若符合要求,则完成目标检测网络的训练,向所述模型存储模块输出目标检测模型;若不符合,则由所述目标检测网络继续进行训练,直至满足要求。
其中,所述模型训练模块采用离线模型训练模块。
其中,在所述采集模块中,在线采集每天的某一个整时点与其左右间隔五分钟的w-1个时刻点一一对应的w张图像;最后将n天汇总得到图像数据。
其中,在所述数据处理模块中,计算过程具体为:
首先计算第i天中采集的所有图像数据中各类稻穗数量的平均值作为该天的各类平均稻穗数量;
接着,将监测区域面积与每天各类平均稻穗数量分别相除,得到每天的单位面积的图像各类稻穗数量,记为每天的图像的各类稻穗密度。
在具体实施过程中,提供一种基于深度学习的稻穗多发育期自动检测系统,通过建立目标检测模型实现对图像数据进行不同发育期图像自动特征提取,实现稻穗的目标检测,无需分割出稻穗区域,检测率高,实用性强,不受大风天气或复杂场景的影响;同时,本方案引入监测区域面积以适应不同高度和不同角度采集下水稻监测区域的变化,进一步提升检测精度,最终实现对稻穗多发育期的自动检测。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于深度学习的稻穗多发育期自动检测方法,其特征在于,包括以下步骤:
S1:构建并训练基于深度学习的目标检测网络,得到目标检测模型;
S2:在线连续采集监测区域n天的图像数据;
S3:将图像数据作为目标检测模型的输入,检测出每张图像中不同成熟度的各类稻穗数量;
S4:计算第i天中采集的所有图像数据中各类稻穗数量的平均值作为该天的各类平均稻穗数量;
S5:根据监测区域面积与每天各类平均稻穗数量,计算图像的各类稻穗密度;
S6:判断各类稻穗密度是否明显增加达到预设的阈值,若是,则判断稻穗已经进入相应的发育期;否则,返回执行步骤S4。
2.根据权利要求1所述的一种基于深度学习的稻穗多发育期自动检测方法,其特征在于,所述步骤S1具体过程包括以下步骤:
S11:基于作物大数据采集平台,获取稻穗不同发育期图像数据;
S12:对图像数据进行人工标注,将图像数据分为训练集和验证集;
S13:构建基于深度学习的目标检测网络,通过训练集对目标检测网络进行训练;
S14:通过验证集对训练好的目标检测网络进行评估,若符合要求,则完成目标检测网络的训练,输出目标检测模型;否则,返回执行步骤S3,继续对目标检测网络进行训练。
3.根据权利要求1所述的一种基于深度学习的稻穗多发育期自动检测方法,其特征在于,在所述步骤S13中,采用离线方式对所述目标检测网络进行训练。
4.根据权利要求1所述的一种基于深度学习的稻穗多发育期自动检测方法,其特征在于,在所述步骤S2中,在线采集每天的某一个整时点与其左右间隔五分钟的w-1个时刻点一一对应的w张图像;最后将n天汇总得到图像数据。
5.根据权利要求1所述的一种基于深度学习的稻穗多发育期自动检测方法,其特征在于,在所述步骤S5中,将监测区域面积与每天各类平均稻穗数量分别相除,得到每天的单位面积的图像各类稻穗数量,记为每天的图像的各类稻穗密度。
6.一种基于深度学习的稻穗多发育期自动检测系统,其特征在于,包括模型训练模块、模型存储模块、采集模块、数据处理模块和发育期判定模块;其中:
所述模型训练模块用于构建并训练基于深度学习的目标检测网络,并将训练完成的目标检测模型在所述模型存储模块上进行存储;
所述采集模块用于采集监测区域的图像数据,并将图像数据作为输入传送至所述模型存储模块中进行检测;
所述模型存储模块将检测结果传送至所述数据处理模块;
所述数据处理模块用于计算每天的各类平均稻穗数量,并根据各类平均稻穗数量和设置的监测区域面积,计算图像的各类稻穗密度;
所述发育期判定模块根据图像的各类稻穗密度判定稻穗是否已经进入相应的发育期。
7.根据权利要求6所述的一种基于深度学习的稻穗多发育期自动检测系统,其特征在于,所述模型训练模块包括作物大数据采集平台、人工标注单元、目标检测网络、模型评估单元;其中:
所述作物大数据采集平台用于获取稻穗不同发育期图像数据;
所述人工标注单元将图像数据进行人工标注,将图像数据分为训练集和验证集;
所述目标检测网络通过训练集进行训练,并将训练好的目标检测网络传送至所述模型评估单元;
所述模型评估单元通过验证集对训练好的目标检测网络进行评估,若符合要求,则完成目标检测网络的训练,向所述模型存储模块输出目标检测模型;若不符合,则由所述目标检测网络继续进行训练,直至满足要求。
8.根据权利要求6所述的一种基于深度学习的稻穗多发育期自动检测系统,其特征在于,所述模型训练模块采用离线模型训练模块。
9.根据权利要求6所述的一种基于深度学习的稻穗多发育期自动检测系统,其特征在于,在所述采集模块中,在线采集每天的某一个整时点与其左右间隔五分钟的w-1个时刻点一一对应的w张图像;最后将n天汇总得到图像数据。
10.根据权利要求6所述的一种基于深度学习的稻穗多发育期自动检测系统,其特征在于,在所述数据处理模块中,计算过程具体为:
首先计算第i天中采集的所有图像数据中各类稻穗数量的平均值作为该天的各类平均稻穗数量;
接着,将监测区域面积与每天各类平均稻穗数量分别相除,得到每天的单位面积的图像各类稻穗数量,记为每天的图像的各类稻穗密度。
CN202011637060.6A 2020-12-31 2020-12-31 一种基于深度学习的稻穗多发育期自动检测方法及系统 Pending CN112580671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011637060.6A CN112580671A (zh) 2020-12-31 2020-12-31 一种基于深度学习的稻穗多发育期自动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011637060.6A CN112580671A (zh) 2020-12-31 2020-12-31 一种基于深度学习的稻穗多发育期自动检测方法及系统

Publications (1)

Publication Number Publication Date
CN112580671A true CN112580671A (zh) 2021-03-30

Family

ID=75144581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011637060.6A Pending CN112580671A (zh) 2020-12-31 2020-12-31 一种基于深度学习的稻穗多发育期自动检测方法及系统

Country Status (1)

Country Link
CN (1) CN112580671A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052251A (zh) * 2021-03-31 2021-06-29 青岛农业大学 一种基于深度学习的红掌生长指标获取方法
CN114067105A (zh) * 2022-01-12 2022-02-18 安徽高哲信息技术有限公司 谷物密度估计方法、存储介质及谷物密度估计设备
CN114627467A (zh) * 2022-02-22 2022-06-14 华南农业大学 基于改进神经网络的水稻生育期识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871833A (zh) * 2019-03-19 2019-06-11 广东省农业科学院农业生物基因研究中心 一种基于深度学习卷积神经网络的农作物成熟度监控方法
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871833A (zh) * 2019-03-19 2019-06-11 广东省农业科学院农业生物基因研究中心 一种基于深度学习卷积神经网络的农作物成熟度监控方法
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052251A (zh) * 2021-03-31 2021-06-29 青岛农业大学 一种基于深度学习的红掌生长指标获取方法
CN114067105A (zh) * 2022-01-12 2022-02-18 安徽高哲信息技术有限公司 谷物密度估计方法、存储介质及谷物密度估计设备
CN114627467A (zh) * 2022-02-22 2022-06-14 华南农业大学 基于改进神经网络的水稻生育期识别方法及系统

Similar Documents

Publication Publication Date Title
CN108647652B (zh) 一种基于图像分类和目标检测的棉花发育期自动识别方法
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN112580671A (zh) 一种基于深度学习的稻穗多发育期自动检测方法及系统
Tian et al. Machine vision identification of tomato seedlings for automated weed control
Zhou et al. Strawberry maturity classification from UAV and near-ground imaging using deep learning
CN106940789A (zh) 一种基于视频识别的数量统计的方法、系统及装置
CN111462058B (zh) 一种水稻有效穗快速检测方法
CN114818909B (zh) 一种基于作物长势特征的杂草检测方法和装置
KR101822410B1 (ko) 작물 영상을 사용한 작물 생육 진단 장치
CN112507768A (zh) 目标物检测方法、装置和图像采集方法、装置
CN108829762A (zh) 基于视觉的小目标识别方法和装置
CN112069985A (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN114066022A (zh) 基于计算机视觉和深度学习技术的小麦单产观测方法
CN113326743B (zh) 一种养殖背景条件下鱼群运动行为参数提取和分析方法
CN113822198B (zh) 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质
CN117197595A (zh) 基于边缘计算的果树生育期识别方法、装置及管理平台
CN115620151B (zh) 物候期识别方法、装置、电子设备和存储介质
CN116258844A (zh) 一种棉花叶片表型性状快速精准鉴定方法
CN117036926A (zh) 一种融合深度学习与图像处理的杂草识别方法
Fang et al. Classification system study of soybean leaf disease based on deep learning
CN113344968A (zh) 一种果园水果识别与产量统计系统和方法
CN112488230A (zh) 基于机器学习的作物水分胁迫程度判定方法和装置
CN113628253A (zh) 一种精准检测动物个体健康的方法及系统与存储介质
Ma et al. A QUICK COUNTING METHOD FOR WINTER WHEAT AT THE SEEDLING STAGE IN FIELDS BASED ON AN IMPROVED YOLOV4 MODEL.
CN116453003B (zh) 一种基于无人机监测智能识别水稻生长势的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination