CN112633212B - 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 - Google Patents
一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 Download PDFInfo
- Publication number
- CN112633212B CN112633212B CN202011603915.3A CN202011603915A CN112633212B CN 112633212 B CN112633212 B CN 112633212B CN 202011603915 A CN202011603915 A CN 202011603915A CN 112633212 B CN112633212 B CN 112633212B
- Authority
- CN
- China
- Prior art keywords
- tea
- image
- leaves
- bud
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 18
- 235000009024 Ceanothus sanguineus Nutrition 0.000 claims abstract description 12
- 240000003553 Leptospermum scoparium Species 0.000 claims abstract description 12
- 235000015459 Lycium barbarum Nutrition 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 27
- 230000000694 effects Effects 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 241001122767 Theaceae Species 0.000 claims 14
- 244000269722 Thea sinensis Species 0.000 abstract description 85
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 235000006468 Thea sinensis Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法，获取茶树上茶叶的原始RGB图像；其次，对茶叶的原始RGB图像进行预处理，采用改进分水岭算法直接对茶树上的茶叶嫩芽进行识别和分割；接着，根据改进分水岭算法的识别结果，对茶叶嫩芽按照一芽一叶、一芽二叶和一芽多叶进行分类采摘和等级分类标记；再次，拍摄若干已进行等级分类标记的一芽一叶、一芽二叶和一芽多叶的三类样本图像；最后，将若干三类样本图像放入LeNet‑5卷积神经网络中，进行茶叶嫩叶等级分类训练和测试，具有茶叶等级分类准确率高的优点。
Description
技术领域
本发明涉及茶叶等级识别和分类技术领域，特别是涉及一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法。
背景技术
名优茶是指被社会公认的，有独特美观外形和优异内置的茶叶，是有一定知名度的优质茶，如龙井、碧螺春等等。名优茶对于茶树品种要求非常高，采摘的鲜叶不能含有老叶、碎叶、茶梗等杂质。根据不同的芽叶数量，鲜叶大致可分为一芽一叶、一芽二叶和一芽多叶，一芽一叶最好，一芽多叶最差。
目前国内大部分茶园已经基本实现了机械化采摘，然而其“一刀切”方式采摘到的茶叶通常老嫩混杂、质量参差不一，达不到名优茶加工的要求，若能正确的识别茶叶嫩芽，帮助机械分类采摘，既可减少劳动力成本，又能推动名优茶产业的发展。申请号为ZL201811050174.3的中国公开了一种基于tensorflow的茶叶品种识别系统，采用slim框架下的Inception_v4模型建立的卷积神经网络进行识别；申请号为ZL201811245694.X的中国专利公开了一种基于图像处理的茶叶识别方法，通过提取颜色特征，完成茶梗、黄叶分割；申请号为ZL201810444937.6的中国专利公开了一种基于全自动支持向量机的武夷岩茶叶片图像分类方法，采用RBF核函数，设计支持向量机的最佳惩罚参数C，对武夷岩茶鲜茶叶叶片图像进行分类；申请号为ZL201610624626.9的中国专利公开了一种基于粒子群算法优化BP神经网络的茶叶存储时间分类方法，利用粒子群算法优化BP神经网络,获得BP神经网络的权值和阈值，对茶叶储存时间进行分类；申请号为ZL201810335781.8的中国专利公开了一种可能模糊鉴别C-均值聚类的茶叶分类方法，对茶叶的品种进行分类。但是上述现有技术都是基于采摘后的茶叶进行处理，处理成本高，且要得到分类精细的茶叶，分类过程也较为复杂。
发明内容
有鉴于此，本发明提出一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法，直接对茶树上的茶叶进行识别，分割老叶和芽叶，并能对茶叶嫩芽等级进行分类，具有茶叶等级识别准确率高的优点。
一方面，本发明提供了一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法，包括以下步骤：
S1、获取茶树上茶叶的原始RGB图像；
S2、对茶叶的原始RGB图像进行预处理，采用改进分水岭算法直接对茶树上的茶叶嫩芽进行识别和分割；
S3、根据改进分水岭算法的识别结果，对茶叶嫩芽按照一芽一叶、一芽二叶和一芽多叶进行分类采摘和等级分类标记；
S4、拍摄若干已进行等级分类标记的一芽一叶、一芽二叶和一芽多叶的三类样本图像；
S5、将若干三类样本图像放入LeNet-5卷积神经网络中，进行茶叶嫩叶等级分类训练和测试。
进一步地，所述步骤S2具体包括以下步骤：
S21、对茶叶的原始RGB图像，采用滤波器消除图像噪声；
S22、对去噪之后的图像，采用OTSU算法进行阈值化处理，获取图像的形状特征，得到二值化图像；
S23、对得到的二值化图像，进行至少包括腐蚀和膨胀的形态学操作，分割出独立的图像元素，获得背景区域；
S24、对形态学操作之后的图像，采用距离变换公式，计算每一个非零像素点和它们最近点的距离，提取前景区域；
S25、将背景区域和前景区域的交界处设置成标记，利用标记完成改进分水岭算法的芽叶和老叶分割，实现茶叶嫩芽的识别。
进一步地，所述步骤S5具体表现为：
S51、将若干三类样本图像按照LeNet-5卷积神经网络的输入要求调整图像大小，制作成输入数据集；
S52、将输入数据集按照5：1的比例划分训练集和验证集；
S53、将训练集输入LeNet-5卷积神经网络进行在不同的学习率下训练，以获取最佳的学习率；
S54、利用训练得到的最佳的学习率，对验证集进行LeNet-5卷积神经网络分类效果的验证。
进一步地，所述步骤S51中对若干三类样本图像进行至少包括图像翻转、图像模糊、图像遮挡、图像大小调整的预处理过程，以满足LeNet-5卷积神经网络的输入要求。
进一步地，在在LeNet-5卷积神经网络的每一个卷积层和全连接层之后，添加一个Drouout层，在每一个池化层之后添加LRN层，以增强网络的泛化能力和鲁棒性。
进一步地，所述步骤S21中对茶叶的原始RGB图像，采用滤波器消除图像噪声具体表现为：对茶叶的原始RGB图像，通过opencv计算机视觉库封装的Blur函数、GaussianBlur函数、medianBlur函数、bilateralFilter函数分别实现均值滤波、高斯滤波、中值滤波和双边滤波，对比不同的滤波处理结果，选取最佳滤波器，进而采用最佳滤波器消除图像噪声。
进一步地，所述最佳滤波器为高斯滤波器，该高斯滤波器使用的二维高斯核函数，其公式表达为：
式中，(x,y)为图像任意一像素点，δ为正态分布的标准差。
进一步地，所述步骤S3中等级分类标记具体表现为：将茶叶嫩芽打上1、2和3的标签，分别代表一芽一叶、一芽二叶和一芽多叶。
本发明首先，获取茶树上茶叶的原始RGB图像；其次，对茶叶的原始RGB图像进行预处理，采用改进分水岭算法直接对茶树上的茶叶嫩芽进行识别和分割；接着，根据改进分水岭算法的识别结果，对茶叶嫩芽按照一芽一叶、一芽二叶和一芽多叶进行分类采摘和等级分类标记；再次，拍摄若干已进行等级分类标记的一芽一叶、一芽二叶和一芽多叶的三类样本图像；最后，将若干三类样本图像放入LeNet-5卷积神经网络中，进行茶叶嫩叶等级分类训练和测试，具有茶叶等级分类准确率高的优点。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法的流程图；
图2为改进分水岭算法的流程图；
图3为LeNet-5卷积神经网络的结构图；
图4为茶叶的原始RGB图像通过不同滤波器进行实验，得到的实验结果图；
图5为茶叶的原始RGB经过均值滤波去噪、高斯滤波去噪、中值滤波去噪和双边滤波去噪之后的OTSU分割效果图；
图6为茶叶图像的不同距离变换公式对比结果图；
图7为茶叶图像在不同学习率下损失函数和准确率的曲线对比图；
图8为添加Dropout和LRN后的LeNet-5卷积神经网络与原始LeNet-5卷积神经网络的损失函数和准确率的曲线对比图；
图9为本发明茶叶嫩芽的识别结果。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明实施例提供的一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法的流程图。图2为改进分水岭算法的流程图。如图1和图2所示，一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法的流程图，包括以下步骤：
S1、获取茶树上茶叶的原始RGB(Rrd、Green、Blue，红、绿、蓝)图像；优选地，该茶叶原始RGB图像通过安装在茶树正上方的摄像机拍摄。
S2、采用改进分水岭算法(IWA,Improved Watershed Algorithm，是使用一系列预定义标记来引导图像分割的定义方式，需要输入一个标记图像，一般图像的像素值为32位有符号正数，每个非零像素代表一个标签。它的原理是对图像中部分像素做标记，表明它的所属区域是已知的。改进分水岭算法可以根据这些个初始标签确定其他像素所属的区域)对茶叶的原始RGB图像进行识别和分割；即不用采摘，直接可对茶树上茶叶的原始RGB图像进行识别和分割。
需要说明的是，本步骤具体表现为：
S21、对茶叶的原始RGB图像，采用滤波器消除图像噪声；
值得提及的是，本步骤中对茶叶的原始RGB图像，具体通过opencv计算机视觉库封装的Blur函数、GaussianBlur函数、medianBlur函数、bilateralFilter函数分别实现均值滤波、高斯滤波、中值滤波和双边滤波，对比不同的滤波处理结果，选取最佳滤波器，进而采用最佳滤波器消除图像噪声。其中，opencv是一个基于BSD(Berkeley SoftwareDistribution，伯克利软件套件)许可(开源)发行的跨平台计算机视觉和机器学习软件库。
本发明中，均值滤波函数的数学表达式如下所示：
式中，N为窗口内像素点的数量，pi为该点的像素值。均值滤波一般用来实现图像平滑、模糊，但是它不能很好的保留边缘特征。
高斯滤波主要用来过滤高斯噪声，其使用的二维高斯核函数，其表达式为：
式中，(x,y)为图像任意一像素点，δ为正态分布的标准差，δ越大，高斯函数曲线越平缓。
中值滤波通过一个奇数点的移动窗口，将窗口中心点的值用窗口内各点的中值代替，可以有效的过滤掉对脉冲噪声和椒盐噪声，可以保护图像的细节特征特别是边缘信息，其表达式为：
Y(i)＝Med{X11，X12，...，X(2n+1)(2n+1)} (3)
式中，Med{}表示取中值函数，X11，X12，...，X(2n+1)(2n+1)分别为窗口内的像素点，且其从小到大依次排序。
双边滤波器结合了高斯滤波器和均值滤波器的特点，其核函数由两个函数组成，不仅考虑了像素空间域上的欧式距离，还考虑了像素之间的颜色相似性，其表达式为：
式中，f(k,l)表示领域内像素点的值，w(i,j,k,l)表示核函数，由高斯核函数和欧式距离核函数的乘积得到，w(i,j,k,l)的数学表达式为：
式中，δd、δr分别表示两个核函数的标准差，f(i,j)表示目标像素点的原像素值。
对不同滤波器分别进行实验，得到的实验结果如图4所示。图4中，从左到右依次为原图、均值滤波去噪、高斯滤波去噪、中值滤波去噪和双边滤波去噪效果图。从中可知，采用高斯滤波器为最佳滤波器。
S22、对去噪之后的图像，采用OTSU算法(大津算法)进行阈值化处理，获取图像的形状特征，得到二值化图像；优选地，使用OTSU算法确定原图的全局最佳阈值为112，对图4中不同滤波器处理之后的图像分别加入OTSU，得到图5所示的结果。图5中从左至右依次为原图以及经过均值滤波去噪、高斯滤波去噪、中值滤波去噪和双边滤波去噪之后的OTSU分割效果图。
S23、对得到的二值化图像，进行至少包括腐蚀和膨胀的形态学操作，分割出独立的图像元素，获得背景区域。
S24、对形态学操作之后的图像，采用距离变换公式，计算每一个非零像素点和它们最近点的距离，提取前景区域。
优选地，本步骤中距离变换公式可选为欧几里得距离、曼哈顿距离和象棋格距离等几种常见的距离变换公式中的任意一种。为验证哪一种距离变换公式更合适，下面进行对比实验，其中，欧几里得距离、曼哈顿距离和象棋格距离，其数学表达式分别如下所示：
dis＝|x2-x1|+|y2-y1| (7)
dis＝max(|x2-x1|，|y2-y1|) (8)
式中，(x1,y1)和(x2,y2)为任意两点。
三种距离变换公式在原图上的实验结果如图6所示，从左到右依次为欧几里得距离，曼哈顿距离和象棋格距离。
经过实验对比，以及结合图4-图6可知，加入高斯滤波器和欧几里得距离变换的效果最好。
为验证本发明采用改进分水岭算法的优越性，下面通过将加入高斯滤波器和欧几里得距离变换改进分水岭算法(IWA)和K-means算法(k均值聚类算法，k-means clusteringalgorithm)以及单独OTSU算法进行对比实验，实验结果如表1所示。
表1三种算法的识别对比
从表1可知，改进分水岭算法对三类茶叶嫩芽的正确识别率最高，误识别率最低。
S25、将背景区域和前景区域的交界处设置成标记，利用标记完成改进分水岭算法的芽叶和老叶分割，实现茶叶嫩芽的识别。
S3、根据改进分水岭算法的识别结果，对茶叶嫩芽按照一芽一叶、一芽二叶和一芽多叶进行分类采摘和等级分类标记；具体地，将茶叶嫩芽打上1、2和3的标签，分别代表一芽一叶、一芽二叶和一芽多叶。
S4、拍摄若干已进行等级分类标记的一芽一叶、一芽二叶和一芽多叶的三类样本图像；优选地，上述三类样本图像在小型LED摄影棚中分别拍摄。
S5、将若干三类样本图像放入LeNet-5卷积神经网络中，进行茶叶嫩叶等级分类训练和测试，LeNet-5卷积神经网络的结构图参见图3。
进一步地，该步骤具体表现为：
S51、将若干三类样本图像按照LeNet-5卷积神经网络的输入要求调整图像大小，制作成输入数据集；
S52、将输入数据集按照5：1的比例划分训练集和验证集；
S53、将训练集输入LeNet-5卷积神经网络进行在不同的学习率下训练，以获取最佳的学习率；
S54、利用训练得到的最佳的学习率，对验证集进行LeNet-5卷积神经网络分类效果的验证。
图9即为通过上述过程得到的茶叶嫩芽等级的识别和分类结果图。
即本发明采用改进分水岭算法(IWA)进行茶叶嫩芽和老叶的分割，辅助肉眼采摘多个一芽一叶、一芽二叶和一芽多叶的实体样本，在LED小型摄影棚中进行图像样本的采集，经过图像翻转、图像模糊、图像遮挡等预处理技术处理后，得到若干一芽一叶、一芽二叶和一芽多叶的三类样本图像。以表2所示的图像样本集为例，每类样本的输入数据集为300，验证集为30：
表2茶芽样本图像数据集
对学习率等超参数进行调整，寻找最佳的准确率。初始学习率设定为0.1，以10倍的大小缩小，得到如图7所示的结果，结果显示学习率设定为0.001为最佳。
作为本发明的优选实施例，为增强网络的泛化能力和鲁棒性，在LeNet-5卷积神经网络的每一个卷积层和全连接层之后，添加一个Drouout层(退化层)，防止过拟合，在每一个池化层之后添加局部响应标准化(LRN，Local Response Normalization)层，得到实验结果如图8所示。与原始曲线相比，Dropout和LRN带来的优化效果非常明显，曲线在经过约700个epochs就完成了收敛。
为验证采用添加Dropout和LRN的LeNet-5卷积神经网络的识别准确率，下面将其与BP(back propagation，反向传播)神经网络、贝叶斯算法在茶芽样本图像数据集上进行对比实验，得到如表3所示的结果。与BP神经网络和贝叶斯算法相比，添加Dropout和LRN的LeNet网络的平均准确率最高，并且其消耗的时间也远远低于BP神经网络，而贝叶斯算法运行速度快是因为该算法没有涉及模型的加载训练以及迭代而只有单纯的数学计算，但是其分类的平均准确率也是三种算法中最低的。
表3三种算法在茶芽样本图像数据集上的对比
相比现有技术，本发明通过改进分水岭算法和LeNet-5卷积神经网络，分别用于茶叶嫩芽的识别和分类，其首先是获取茶树上茶叶的RGB原始图像；第二，在传统分水岭算法的基础上，加入高斯滤波器消除噪声；第三，加入OTSU算法进行阈值化处理，获取图像的形状特征，得到二值化图像；第四，至少加入包括腐蚀和膨胀的形态学操作，分割出独立的图像元素，获得背景区域；第四，加入距离变换，计算每一个非零像素点和它们最近点的距离，提取前景区域；第五，通过将背景区域和前景区域的交界处设置成标记，利用标记完成分水岭算法的芽叶和老叶的分割；第六，人工采摘识别到的茶叶，制作成分类数据集；第七，将数据集输入到LeNet-5卷积神经网络，通过卷积操作自动提取图像特征；第八，在每一个卷积层和全连接层之后添加一个Drouout层，在每一个池化层之后添加LRN层，增强网络的泛化能力和鲁棒性。故此，本发明基于计算机视觉提出的茶叶嫩芽等级的识别和分类方法，具有较好的茶叶等级分类识别效果，进一步推动了整个茶产业和农业体系的发展。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法，其特征在于，包括以下步骤：
S1、获取茶树上茶叶的原始RGB图像；
S2、采用改进分水岭算法对茶叶的原始RGB图像进行识别和分割；
S3、根据改进分水岭算法的识别结果，对茶叶嫩芽按照一芽一叶、一芽二叶和一芽多叶进行分类采摘和等级分类标记；
S4、拍摄若干已进行等级分类标记的一芽一叶、一芽二叶和一芽多叶的三类样本图像；
S5、将若干三类样本图像放入LeNet-5卷积神经网络中，进行茶叶嫩叶等级分类训练和测试；在LeNet-5卷积神经网络的每一个卷积层和全连接层之后，添加一个Drouout层，在每一个池化层之后添加LRN层，以增强网络的泛化能力和鲁棒性；
所述步骤S2中采用改进分水岭算法直接对茶树上的茶叶嫩芽进行识别和分割具体包括以下步骤：
S21、对茶叶的原始RGB图像，采用滤波器消除图像噪声；
S22、对去噪之后的图像，采用OTSU算法进行阈值化处理，获取图像的形状特征，得到二值化图像；
S23、对得到的二值化图像，进行至少包括腐蚀和膨胀的形态学操作，分割出独立的图像元素，获得背景区域；
S24、对形态学操作之后的图像，采用距离变换公式，计算每一个非零像素点和它们最近点的距离，提取前景区域；
S25、将背景区域和前景区域的交界处设置成标记，利用标记完成改进分水岭算法的芽叶和老叶分割，实现茶叶嫩芽的识别；
所述步骤S21中对茶叶的原始RGB图像，采用滤波器消除图像噪声具体表现为：对茶叶的原始RGB图像，通过opencv计算机视觉库封装的Blur函数、GaussianBlur函数、medianBlur函数、bilateralFilter函数分别实现均值滤波、高斯滤波、中值滤波和双边滤波，对比不同的滤波处理结果，选取最佳滤波器，进而采用最佳滤波器消除图像噪声；
所述最佳滤波器为高斯滤波器，该高斯滤波器使用的二维高斯核函数，其公式表达为：
式中，(x,y)为图像任意一像素点，δ为正态分布的标准差。
2.根据权利要求1所述的基于计算机视觉的茶叶嫩芽等级的识别和分类方法，其特征在于，所述步骤S5具体表现为：
S51、将若干三类样本图像按照LeNet-5卷积神经网络的输入要求进行图像预处理，制作成输入数据集；
S52、将输入数据集按照5：1的比例划分训练集和验证集；
S53、将训练集输入LeNet-5卷积神经网络进行在不同的学习率下训练，以获取最佳的学习率；
S54、利用训练得到的最佳的学习率，对验证集进行LeNet-5卷积神经网络分类效果的验证。
3.根据权利要求2所述的基于计算机视觉的茶叶嫩芽等级的识别和分类方法，其特征在于，所述步骤S51中对若干三类样本图像进行至少包括图像翻转、图像模糊、图像遮挡、图像大小调整的预处理过程，以满足LeNet-5卷积神经网络的输入要求。
4.根据权利要求1所述的基于计算机视觉的茶叶嫩芽等级的识别和分类方法，其特征在于，所述步骤S3中等级分类标记具体表现为：将茶叶嫩芽打上1、2和3的标签，分别代表一芽一叶、一芽二叶和一芽多叶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011603915.3A CN112633212B (zh) | 2020-12-29 | 2020-12-29 | 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011603915.3A CN112633212B (zh) | 2020-12-29 | 2020-12-29 | 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633212A CN112633212A (zh) | 2021-04-09 |
| CN112633212B true CN112633212B (zh) | 2022-10-04 |
Family
ID=75287506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011603915.3A Active CN112633212B (zh) | 2020-12-29 | 2020-12-29 | 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633212B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870282A (zh) * | 2021-09-29 | 2021-12-31 | 吴春 | 一种茶叶筛查方法、筛查系统及可存储介质 |
| CN114170518A (zh) * | 2021-12-17 | 2022-03-11 | 青岛农业大学 | 一种基于计算机视觉的茶树冻害评估方法及系统 |
| CN114049574B (zh) * | 2022-01-11 | 2022-04-15 | 易旺(北京)企业管理有限公司 | 茶叶成熟度检测方法、茶叶采摘方法及相关设备 |
| CN114568126A (zh) * | 2022-03-17 | 2022-06-03 | 南京信息工程大学 | 一种基于机器视觉的采茶机器人及工作方法 |
| CN115861988B (zh) * | 2023-03-01 | 2023-05-09 | 四川省农业机械研究设计院 | 一种基于rgb区分度的茶叶采摘方法和系统 |
| CN117218422B (zh) * | 2023-09-12 | 2024-04-16 | 北京国科恒通科技股份有限公司 | 一种基于机器学习的电网图像识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013021A (zh) * | 2010-08-19 | 2011-04-13 | 汪建 | 基于颜色和区域生长的茶叶嫩芽分割和识别方法 |
| CN104282026A (zh) * | 2014-10-24 | 2015-01-14 | 上海交通大学 | 基于分水岭算法和最小生成树的分布均匀性评估方法 |
| CN110569852A (zh) * | 2019-09-10 | 2019-12-13 | 瑞森网安(福建)信息科技有限公司 | 基于卷积神经网络的图像识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7174243B2 (ja) * | 2018-12-21 | 2022-11-17 | 富士通株式会社 | 情報処理装置、ニューラルネットワークプログラム、ニューラルネットワークの処理方法 |
-
2020
- 2020-12-29 CN CN202011603915.3A patent/CN112633212B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013021A (zh) * | 2010-08-19 | 2011-04-13 | 汪建 | 基于颜色和区域生长的茶叶嫩芽分割和识别方法 |
| CN104282026A (zh) * | 2014-10-24 | 2015-01-14 | 上海交通大学 | 基于分水岭算法和最小生成树的分布均匀性评估方法 |
| CN110569852A (zh) * | 2019-09-10 | 2019-12-13 | 瑞森网安(福建)信息科技有限公司 | 基于卷积神经网络的图像识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于计算机视觉的龙井茶叶嫩芽识别方法研究;邵明;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑（月刊）》;20140215;第6-74页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633212A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633212B (zh) | 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 | |
| Adeyanju et al. | Machine learning methods for sign language recognition: A critical review and analysis | |
| US11210797B2 (en) | Systems, methods, and devices for image matching and object recognition in images using textures | |
| Lee et al. | Deep-plant: Plant identification with convolutional neural networks | |
| Dubey et al. | Detection and classification of apple fruit diseases using complete local binary patterns | |
| WO2017162069A1 (zh) | 一种图像文本的识别方法和装置 | |
| CN108038435B (zh) | 一种基于卷积神经网络的特征提取与目标跟踪方法 | |
| WO2019242178A1 (zh) | 基于几何特征与区域融合的g显带粘连染色体分割方法、装置及染色体核型分析设备 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| Xu et al. | Shadow removal with blob-based morphological reconstruction for error correction | |
| CN104217221A (zh) | 基于纹理特征的书画作品检测方法 | |
| CN110503140B (zh) | 基于深度迁移学习与邻域降噪的分类方法 | |
| Bhagat et al. | Eff-UNet++: A novel architecture for plant leaf segmentation and counting | |
| CN106874942B (zh) | 一种基于正则表达式语义的目标模型快速构建方法 | |
| Shen et al. | Image recognition method based on an improved convolutional neural network to detect impurities in wheat | |
| CN108710883B (zh) | 一种采用轮廓检测的完整显著性物体检测方法 | |
| CN108596176B (zh) | 一种对提取的硅藻区域进行硅藻类型识别方法及装置 | |
| CN110276759A (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
| CN109977899A (zh) | 一种物品识别的训练、推理以及增加新种类的方法和系统 | |
| CN104915951B (zh) | 一种点刻式dpm二维码区域定位方法 | |
| CN116071339A (zh) | 一种基于改进鲸鱼算法优化svm的产品缺陷识别方法 | |
| CN115731257A (zh) | 基于图像的叶片形态信息提取方法 | |
| Qi et al. | Related study based on otsu watershed algorithm and new squeeze-and-excitation networks for segmentation and level classification of tea buds | |
| Chuang et al. | Aggregated segmentation of fish from conveyor belt videos | |
| Wang et al. | Review of plant leaf recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |