CN112131982A - 一种基于卷积神经网络的茶树嫩芽识别方法 - Google Patents

一种基于卷积神经网络的茶树嫩芽识别方法 Download PDF

Info

Publication number
CN112131982A
CN112131982A CN202010949092.3A CN202010949092A CN112131982A CN 112131982 A CN112131982 A CN 112131982A CN 202010949092 A CN202010949092 A CN 202010949092A CN 112131982 A CN112131982 A CN 112131982A
Authority
CN
China
Prior art keywords
module
tea tree
neural network
output
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010949092.3A
Other languages
English (en)
Inventor
刘连忠
宁井铭
吴国栋
江朝晖
张晴晴
李栋梁
李孟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202010949092.3A priority Critical patent/CN112131982A/zh
Publication of CN112131982A publication Critical patent/CN112131982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的茶树嫩芽识别方法,包括下列步骤:步骤1、使用图像采集设备进行目标茶树图像的连续采集;步骤2、对采集的茶树图像进行预处理得到待处理茶树图像;步骤3、构建用于嫩芽识别的卷积神经网络,使用不同场景条件下的训练输入图像对神经网络进行训练,建立茶树嫩芽识别模型;步骤4、利用所述茶树嫩芽识别模型识别待处理茶树图像中的嫩芽及其所在位置,并显示识别结果。其中,所用的卷积神经网络结构使用了多个池化窗口来提高对目标大小变化的适应能力。本发明的方法可以有效实现复杂场景下茶树嫩芽的准确识别,增强了对环境变化的适应能力,大大提高了嫩芽识别的准确性和可靠性。

Description

一种基于卷积神经网络的茶树嫩芽识别方法
技术领域
本发明涉及茶树生长监测领域,尤其涉及一种基于卷积神经网络的复杂场景下茶树嫩芽的智能识别方法。
背景技术
中国是茶叶的原产地,也是最早发现和利用茶叶的国家。茶叶的出口经济占我国经济贸易的重要组成部分,但茶叶的单位产值却与其他国家有着一定的差距。目前,采茶的方式主要分为人工采茶和机械采茶两种。人工采茶虽然能够准确地对茶叶嫩芽进行采摘,但是费时耗力,劳动成本高。机械采茶解决了人工采茶速度慢的问题,提高了采茶效率,但不能精确地识别嫩芽与老叶,导致所采茶叶的品质不高。目前迫切需要研究更为高效准确的茶树嫩芽的智能识别技术。
随着图像处理技术的发展,基于图像的茶树嫩芽识别手段开始得到重视。该方法能够对茶树的生长过程进行监测,及时获取茶树上嫩芽的位置和状态,进而可实现茶树嫩芽的智能采摘。但传统的图像识别方法对复杂场景的适应能力差,而作物生长环境受气温、气候影响较为复杂,使得传统的图像识别方法在茶树嫩芽识别时效果并不理想。
因此,当下迫切需要一种能够克服天气、光照、拍摄角度、背景等干扰因素的新型识别技术,以实现茶树嫩芽的准确、可靠识别。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种以图像识别技术为基础,提供了一种基于卷积神经网络的茶树嫩芽的自动识别方法。
为实现上述目的,本发明提供的技术方案如下:
一种基于卷积神经网络的茶树嫩芽识别方法,所述方法包括下列顺序的步骤:步骤1、使用图像采集设备进行目标茶树图像的连续采集;步骤2、对采集的茶树图像进行预处理得到待处理茶树图像,目的是为了消除信号噪声和环境光照的影响,提高图像的稳定性;步骤3、构建用于嫩芽识别的卷积神经网络,使用不同场景条件下的训练输入图像对神经网络进行训练,建立茶树嫩芽识别模型;步骤4、利用所述茶树嫩芽识别模型识别待处理茶树图像中的嫩芽及其所在位置,并显示识别结果。
所述建立茶树嫩芽识别模型具体包括下列顺序的步骤:步骤21、采集各种场景条件下的茶树图像作为对照图像;步骤22、在采集的对照图像中剔除异常图像、并标注茶树嫩芽的位置,利用标注完成后的对照图像制作训练集;步骤23、定义所用的卷积神经网络结构,所述神经网络结构中使用了多个池化窗口来提高对目标大小变化的适应能力;步骤24、利用所述训练集训练神经网络,得到茶树嫩芽识别模型。
优选地,所述卷积神经网络基于YOLO网络结构,通过增加一个SPP模块获得多个池化窗口,提高对目标尺寸变化的适应能力。
其中,所述神经网络结构进一步包括:输入模块,卷积模块,残差模块,上采样模块,拼接操作模块,SPP模块;所述输入模块接收输入图像,其输出依次连接第一卷积模块、残差模块、SPP模块、第二卷积模块,第二卷积模块输出第一级目标Scale1,第二卷积模块的另一输出通过上采样模块连接到第一拼接操作模块的输入端,残差模块的一个输出连接第一拼接操作模块的另一输入端,第一拼接操作模块的输出连接第三卷积模块的输入,第三卷积模块输出第二级目标Scale2,第三卷积模块的另一输出通过上采样模块连接到第二拼接操作模块的输入端,残差模块的另一输出连接第二拼接操作模块的另一输入端,第二拼接操作模块的输出连接第四卷积模块的输入,第四卷积模块输出第三级目标Scale3。
进一步的,在卷积操作中,通过改变卷积核的步长来改变张量的尺寸,从而获得不同尺度的特征图;残差操作通过包含多个残差单元的残差模块完成,用于获取更多低层小目标的位置信息;SPP模块采用尺寸为5*5、9*9、13*13的最大池化窗口和一个连接组成,实现局部特征和全局特征的融合,然后经过concat拼接输入下一层网络;在输出上分为三级,Scale1为13*13特征的输出,Scale2为经过上采样操作将13*13与26*26特征融合而成的输出,Scale3为经过上采样操作将13*13、26*26与52*52特征进行融合,形成最终的输出。
本发明提供的方法基于新型的茶树嫩芽识别模型,增加SPP模块使得优化后识别模型的图像尺寸不变性得到提高,可以有效实现复杂场景下茶树嫩芽的准确识别,增强了对环境变化的适应能力,大大提高了嫩芽识别的准确性和可靠性。
附图说明
图1为本发明实施例提供的茶树嫩芽识别方法的流程图;
图2为本发明实施例提供的识别模型训练的流程图;
图3为本发明一种具体实施方式提供的识别模型结构图;
图4为本发明实施例提供的实际识别效果的示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本发明所提供的一种基于卷积神经网络的茶树嫩芽识别方法的具体流程图如图1所示,所述方法可通过茶树图像采集模块、图像预处理模块、识别模型训练模块、茶树嫩芽识别模块这四个功能模块协作实施。
所述方法包括下列顺序的步骤:
(1)使用摄像机、深度相机、灰度相机等图像采集设备,在各种环境下进行目标茶树图像的连续采集;
(2)对采集的茶树图像进行预处理得到待处理茶树图像,目的是为了消除信号噪声和环境光照的影响,提高图像的稳定性;预处理还可以而包括异常图案剔除、多张相同目标图案的合并处理。
(3)构建用于嫩芽识别的卷积神经网络,使用不同场景条件下的训练输入图像对神经网络进行训练,建立茶树嫩芽识别模型;
(4)利用所述茶树嫩芽识别模型识别待处理茶树图像中的嫩芽及其所在位置,并显示识别结果。
其中,建立茶树嫩芽识别模型的流程图如图2所示,包括下列顺序的步骤:
(21)采集各种场景条件下(不同天气、不同时间段、不同光照、不同角度、不同背景)的茶树图像作为对照图像;其中,场景条件基于天气、时间段、光照、拍摄角度、背景等多个维度进行区分;
(22)在采集的对照图像中剔除异常图像、并标注茶树嫩芽的位置,利用标注完成后的对照图像制作训练集;
(23)定义所用的卷积神经网络结构,神经网络结构中使用了多个池化窗口来提高对目标大小变化的适应能力;
(24)利用所述训练集训练神经网络,得到茶树嫩芽识别模型。
进一步的,提出了一种用于上述识别模型的神经网络结构的实施方式,具体如图3所示,包括:输入模块Input,卷积模块CONV,残差(Residual)模块res,上采样模块up Sam,拼接操作模块concat,目标输出模块Scale,空间金字塔池化(Spatial Pyramid Pooling)模块SPP;输入模块Input接收输入图像,其输出依次连接第一卷积模块、残差模块、SPP模块、第二卷积模块,第二卷积模块输出第一级目标Scale1,第二卷积模块的另一输出通过上采样模块连接到第一拼接操作模块的输入端,残差模块的一个输出连接第一拼接操作模块的另一输入端,第一拼接操作模块的输出连接第三卷积模块的输入,第三卷积模块输出第二级目标Scale2,第三卷积模块的另一输出通过上采样模块连接到第二拼接操作模块的输入端,残差模块的另一输出连接第二拼接操作模块的另一输入端,第二拼接操作模块的输出连接第四卷积模块的输入,第四卷积模块输出第三级目标Scale3。
上述结构首先对输入模块Input输入的图像进行卷积和残差操作,再分三级进行输出,以基于卷积神经网络的YOLO(You Only Look Once)网络结构为核心,通过增加一个SPP模块获得多个池化窗口,提高对目标尺寸变化的适应能力。
进一步的,在卷积操作中,通过改变卷积核的步长来改变张量的尺寸,从而获得不同尺度的特征图;残差操作通过包含多个残差单元的残差模块完成,用于获取更多低层小目标的位置信息;SPP模块采用尺寸为5*5、9*9、13*13的最大池化窗口和一个连接组成,实现局部特征和全局特征的融合,然后经过concat拼接输入下一层网络;在输出上分为三级,Scale1为13*13特征的输出,Scale2为经过上采样操作将13*13与26*26特征融合而成的输出,Scale3为经过上采样操作将13*13、26*26与52*52特征进行融合,形成最终的输出。
以实际的茶树样张进行识别,识别效果的示意图如图4所示。通过识别结果可知,增加SPP模块优化后的识别模型,其图像尺寸不变性得到提高,图像的过拟合现象也大大降低,有效克服了因茶树嫩芽大小的变化对识别结果造成的影响。
以上所述仅为本发明的较佳实施例,并不用于限制本发明,凡在本发明的精神和原则内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的茶树嫩芽识别方法,其特征在于:所述方法包括下列顺序的步骤:
步骤1、使用图像采集设备进行目标茶树图像的连续采集;
步骤2、对采集的茶树图像进行预处理得到待处理茶树图像,目的是为了消除信号噪声和环境光照的影响,提高图像的稳定性;
步骤3、构建用于嫩芽识别的卷积神经网络,使用不同场景条件下的训练输入图像对神经网络进行训练,建立茶树嫩芽识别模型;
步骤4、利用所述茶树嫩芽识别模型识别待处理茶树图像中的嫩芽及其所在位置,并显示识别结果。
2.根据权利要求书1所述的方法,其特征在于,所述建立茶树嫩芽识别模型具体包括下列顺序的步骤:
步骤21、采集各种场景条件下的茶树图像作为对照图像;
步骤22、在采集的对照图像中剔除异常图像、并标注茶树嫩芽的位置,利用标注完成后的对照图像制作训练集;
步骤23、定义所用的卷积神经网络结构,所述神经网络结构中使用了多个池化窗口来提高对目标大小变化的适应能力;
步骤24、利用所述训练集训练神经网络,得到茶树嫩芽识别模型。
3.根据权利要求书2所述的方法,其特征在于,所述卷积神经网络基于YOLO网络结构,通过增加一个SPP模块获得多个池化窗口,提高对目标尺寸变化的适应能力。
4.根据权利要求书2所述的方法,其特征在于,所述神经网络结构进一步包括:输入模块,卷积模块,残差模块,上采样模块,拼接操作模块,SPP模块;所述输入模块接收输入图像,其输出依次连接第一卷积模块、残差模块、SPP模块、第二卷积模块,第二卷积模块输出第一级目标Scale1,第二卷积模块的另一输出通过上采样模块连接到第一拼接操作模块的输入端,残差模块的一个输出连接第一拼接操作模块的另一输入端,第一拼接操作模块的输出连接第三卷积模块的输入,第三卷积模块输出第二级目标Scale2,第三卷积模块的另一输出通过上采样模块连接到第二拼接操作模块的输入端,残差模块的另一输出连接第二拼接操作模块的另一输入端,第二拼接操作模块的输出连接第四卷积模块的输入,第四卷积模块输出第三级目标Scale3。
5.根据权利要求书3所述的方法,其特征在于,在卷积操作中,通过改变卷积核的步长来改变张量的尺寸,从而获得不同尺度的特征图。
6.根据权利要求书3所述的方法,其特征在于,残差操作通过包含多个残差单元的残差模块完成,用于获取更多低层小目标的位置信息。
7.根据权利要求书3所述的方法,其特征在于,SPP模块采用尺寸为5*5、9*9、13*13的最大池化窗口和一个连接组成,实现局部特征和全局特征的融合,然后经过concat拼接输入下一层网络。
8.根据权利要求书3所述的方法,其特征在于,在输出上分为三级,Scale1为13*13特征的输出,Scale2为经过上采样操作将13*13与26*26特征融合而成的输出,Scale3为经过上采样操作将13*13、26*26与52*52特征进行融合,形成最终的输出。
9.根据权利要求书2-8任一项所述的方法,其特征在于,所述场景条件基于天气、时间段、光照、拍摄角度、背景等多个维度进行区分。
CN202010949092.3A 2020-09-10 2020-09-10 一种基于卷积神经网络的茶树嫩芽识别方法 Pending CN112131982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010949092.3A CN112131982A (zh) 2020-09-10 2020-09-10 一种基于卷积神经网络的茶树嫩芽识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010949092.3A CN112131982A (zh) 2020-09-10 2020-09-10 一种基于卷积神经网络的茶树嫩芽识别方法

Publications (1)

Publication Number Publication Date
CN112131982A true CN112131982A (zh) 2020-12-25

Family

ID=73846601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010949092.3A Pending CN112131982A (zh) 2020-09-10 2020-09-10 一种基于卷积神经网络的茶树嫩芽识别方法

Country Status (1)

Country Link
CN (1) CN112131982A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861752A (zh) * 2021-02-23 2021-05-28 东北农业大学 一种基于dcgan与rdn的作物病害识别方法及系统
CN113362325A (zh) * 2021-07-26 2021-09-07 佛山原子医疗设备有限公司 一种核医学多模态病灶图像检测方法及系统
CN113435282A (zh) * 2021-06-18 2021-09-24 南京农业大学 基于深度学习的无人机影像麦穗识别方法
CN113537006A (zh) * 2021-07-01 2021-10-22 昆明理工大学 一种基于卷积神经网络的普洱生茶和熟茶判定方法
CN114065877A (zh) * 2022-01-13 2022-02-18 易旺(北京)企业管理有限公司 茶田茶叶成熟度识别方法及设备
CN114190166A (zh) * 2021-12-15 2022-03-18 中国农业科学院茶叶研究所 一种基于图像和点云数据处理的采茶方法
CN115170967A (zh) * 2022-07-22 2022-10-11 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654468A (zh) * 2015-12-21 2016-06-08 中国石油大学(华东) 一种基于深度学习和图像边缘信息的茶叶嫩芽检测方法
CN111165176A (zh) * 2020-03-20 2020-05-19 青岛农业大学 一种茶叶人工智能采摘机器人

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654468A (zh) * 2015-12-21 2016-06-08 中国石油大学(华东) 一种基于深度学习和图像边缘信息的茶叶嫩芽检测方法
CN111165176A (zh) * 2020-03-20 2020-05-19 青岛农业大学 一种茶叶人工智能采摘机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PENGYI ZHANG 等: "SlimYOLOv3: Narrower, Faster and Better for Real-Time UAV Applications", 《ARXIV》 *
孙肖肖 等: "基于深度学习的复杂背景下茶叶嫩芽检测算法", 《河北大学学报》 *
董洪义: "《深度学习之PyTorch物体检测实战》", 31 January 2020, 机械工业出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861752A (zh) * 2021-02-23 2021-05-28 东北农业大学 一种基于dcgan与rdn的作物病害识别方法及系统
CN112861752B (zh) * 2021-02-23 2022-06-14 东北农业大学 一种基于dcgan与rdn的作物病害识别方法及系统
CN113435282A (zh) * 2021-06-18 2021-09-24 南京农业大学 基于深度学习的无人机影像麦穗识别方法
CN113435282B (zh) * 2021-06-18 2021-12-21 南京农业大学 基于深度学习的无人机影像麦穗识别方法
CN113537006A (zh) * 2021-07-01 2021-10-22 昆明理工大学 一种基于卷积神经网络的普洱生茶和熟茶判定方法
CN113362325A (zh) * 2021-07-26 2021-09-07 佛山原子医疗设备有限公司 一种核医学多模态病灶图像检测方法及系统
CN114190166A (zh) * 2021-12-15 2022-03-18 中国农业科学院茶叶研究所 一种基于图像和点云数据处理的采茶方法
CN114065877A (zh) * 2022-01-13 2022-02-18 易旺(北京)企业管理有限公司 茶田茶叶成熟度识别方法及设备
CN115170967A (zh) * 2022-07-22 2022-10-11 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112131982A (zh) 一种基于卷积神经网络的茶树嫩芽识别方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN114387520A (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
CN113191334B (zh) 一种基于改进CenterNet的植物冠层密集叶片计数方法
CN108668637A (zh) 一种机器视觉自然放置葡萄串抓取点定位方法
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN113901874A (zh) 一种基于改进R3Det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法
CN112560896A (zh) 一种基于图像处理的水果品质筛选分类系统
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN112017172A (zh) 一种基于树莓派的深度学习产品缺陷检测系统及方法
CN114863311A (zh) 一种变电站机器人巡检目标自动跟踪方法及系统
CN113222901A (zh) 一种基于单阶段钢球表面缺陷检测的方法
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
CN112966698A (zh) 基于轻量化卷积网络的淡水鱼图像实时识别方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN116883718A (zh) 一种基于改进yolov7的甘蔗缺苗检测定位方法
Peng et al. Automatic recognition of pointer meter reading based on Yolov4 and improved U-net algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201225

RJ01 Rejection of invention patent application after publication