CN117372740A - 一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法 - Google Patents
一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法 Download PDFInfo
- Publication number
- CN117372740A CN117372740A CN202310936346.1A CN202310936346A CN117372740A CN 117372740 A CN117372740 A CN 117372740A CN 202310936346 A CN202310936346 A CN 202310936346A CN 117372740 A CN117372740 A CN 117372740A
- Authority
- CN
- China
- Prior art keywords
- tea
- picking
- points
- key point
- bud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241001122767 Theaceae Species 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 5
- 238000002372 labelling Methods 0.000 claims abstract description 3
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 101100460157 Drosophila melanogaster nenya gene Proteins 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 2
- 235000009024 Ceanothus sanguineus Nutrition 0.000 abstract description 2
- 240000003553 Leptospermum scoparium Species 0.000 abstract description 2
- 235000015459 Lycium barbarum Nutrition 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，具体包括：利用图像采集设备采集自然环境下茶树嫩梢的RGB图片和深度信息，并对每张茶叶嫩梢原始图像依据角点、颜色渐变、纹理特点综合选取特征进行数据标注制作数据集；通过引入密集连接模块DenseNet单元和注意力机制，并采用加权NMS改进检测网络模型；将待检测的茶叶嫩梢图像输入训练后的关键点检测模型，得到茶叶嫩梢检测框和嫩梢的关键点位置；然后对茶叶嫩梢检测框里的茶叶嫩梢进行图像分割，并求取轮廓最低点；最后根据茶叶生长特点和茶叶采摘需求，结合得到的关键点和轮廓最低点求取茶叶嫩梢采摘点位置。该方法大大提高了茶叶嫩梢采摘部位的定位精度。
Description
技术领域
本发明属于农业智能检测技术领域，涉及人工智能识别、机器视觉以及图像处理技术领域，特别是一种基于深度学习目标检测算法和关键点检测算法的茶叶嫩梢采摘部位精准定位方法。
背景技术
中国是茶叶生产大国，其中名优茶作为茶叶产业价值的绝对担当。茶产业属于劳动密集型产业，季节性强，劳动强度大，茶叶的采摘是茶叶生产中最耗时且费力的一个环节。目前国内外采茶机主要采用往复切割的方式，属于无差别采摘方法，存在茶叶芽叶完整率低、齐整度差、后续加工品质难以控制等问题，主要用于对外形要求不高的大宗茶等的采摘。而名优茶的采摘不能采用普通切割、拽拉式机器人采摘，因此名优茶的采摘依然依赖于大量的劳动力，人工采茶劳动强度大、效率低与名优茶采摘具有较强的实效性相冲突，名优茶的智能采摘成为了研究热点，针对名优茶嫩梢识别和采摘点定位的研究也因此得到了快速的发展。
茶园环境复杂，茶树密集生长，茶叶嫩梢生长千姿百态，并相互遮挡；茶叶嫩梢和周围的叶子在颜色形状和纹理方面的区分度不是特别大；而且嫩梢质量小，极易受风吹和机械移动而摆动。这些因素都使得茶叶嫩梢的识别和采摘点的识别定位非常困难，严重限制了名优茶的自动化采摘。
专利文献CN111784764A公开了一种茶叶嫩芽识别与定位算法，将嫩芽样本喂入采摘点识别模型，并进行训练，直至单个嫩芽采摘点的识别满足识别要求。但由于茶叶嫩芽采摘点特征不明显，直接训练采摘点，很难达到理想的结果，定位精度不高。
专利文献CN114882222A公开了一种通过改进的YOLOv5目标检测模型，输出茶叶嫩芽的目标检测和采摘区域的语义分割图，基于预测结果利用质心法计算采摘点。该方法获取采摘区域的语义分割图的过程不论是在速度还是在精度上都不是一个较好的方式，并且利用质心法计算采摘点不能实现较为精准的定位。
专利文献CN113901874A公开了一种基于改进R3Det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法，采用旋转检测框，对倾斜框的坐标表示形式转化判断出倾斜框的下短边，计算下短边中点，作为茶叶嫩芽采摘点。该方法直接粗略的将检测框的中点作为采摘点，首先检测框有误差，而所述中点作为采摘点本就是粗略估计，如此一来，更是误差叠加，只能得到一个更粗略的采摘点。
综上，目前的茶叶嫩梢采摘点的定位方法定位精度低、效率低，而且无法平衡精度和速度方面的需求，为实现茶叶嫩梢采摘点的快速精准识别定位，保证名优茶机采效率和高质量要求，需要研发一种的名优茶采摘点快速精准识别定位方法。
发明内容
本发明的目的在于针对上述现有技术存在的问题，提供一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，该方法能够精准的给出茶叶嫩梢采摘部位，以实现茶叶嫩梢完整采摘并且最大程度实现无杂叶和老叶的采摘。
实现本发明目的的技术解决方案为：一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，所述方法包括以下步骤：
步骤1，采集大量茶叶嫩梢图像，包括RGB图像和深度图像；
步骤2，依据角点、颜色渐变、纹理特点综合选取特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集；
步骤3，搭建关键点检测网络模型，并利用所述茶叶嫩梢关键点检测数据集对关键点检测网络模型进行训练；
步骤4，将待检测的茶叶嫩梢图像输入训练后的关键点检测网络模型，得到茶叶嫩梢检测框和茶叶嫩梢的关键点位置；
步骤5，对步骤4得到的茶叶嫩梢检测框进行裁剪得到茶叶嫩梢图，之后采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点；
步骤6，根据茶叶生长特点和茶叶采摘需求，结合步骤4得到的关键点和步骤5得到的轮廓最低点求取茶叶嫩梢采摘点位置。
进一步地，步骤1还包括：
对茶叶嫩梢图像进行数据增广，增广方式包括对：旋转，翻转，平移，随机裁剪，缩放，加噪声，平滑模糊图像，颜色空间变换，随机擦除法，图像增强。
进一步地，步骤2所述依据角点、颜色渐变、纹理特点综合选取关键点特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集，具体包括：
步骤2-1，利用cocoannotator对茶叶嫩梢图像分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，整体目标检测标签类别为‘NenYa’，依据角点、颜色渐变、纹理特点综合选取特征进行关键点数据标注，关键点检测类别标签包括P1、P2、P3，分别对应单芽关键点、一芽一叶关键点和一芽两叶关键点，得到COCO格式的茶叶嫩梢关键点检测数据集；
步骤2-2，将所述茶叶嫩梢关键点检测数据集按照8：1：1比例划分为训练集，验证集和测试集。
进一步地，步骤3中搭建关键点检测网络模型，具体基于YOLOv8算法进行改进，搭建关键点检测网络模型，具体包括：
(1)在输入模块，采用改进的Mosaic数据增强方法，先进行Mosaic操作拼接图像，然后再对图像进行数据增强操作；
(2)将YOLOv8主干特征提取网络CSPDarkNet53中的ResNet单元替换为密集连接模块DenseNet单元；
模型采用“DenseBlock+Transition”的结构，所述“DenseBlock”为包含很多网络层的模块，包括BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)，其中：BN表示批处理归一化层，Conv表示卷积层，ReLU表示线性整流函数；一个DenseNet单元包括多个DenseBlock，各个层的特征图大小一致，层与层之间采用密集连接的方式；所述“Transition”结构是连接相邻Denseblock的过渡层，包括BN-Conv(1×1)-AvgPooling(2×2)，用于降低特征图的大小，完成前后DenseBlock模块的连接；
在DenseNet中，连接前面所有层作为输入，得到的输出为:
xi＝Hi([x0,xl,…xl-1])])
其中，xi表示输出；Hi(·)代表非线性转换函数，l为当前层；[x0,x1,…,xl-1]表示将之前所有的特征图以通道的维度进行合并；
(3)在YOLOv8的CSPDarkNet53网络基础上将残差块CSPX中的残差单元Resunit替换为密集连接单元Denseunit，并将其定义为Den-CSPX；
(4)在特征提取模块中，引入注意力机制CABM；
(5)采用改进的加权NMS即改进的非极大值抑制方法，对检测框的置信度进行惩罚衰减。
进一步地，所述改进的加权NMS为高斯加权NMS，具体过程包括：
步骤3-1，对回归产生的N个预选框按置信度大小进行排序；
步骤3-2，选择当前置信度最大的预选框，计算其与其他预选框之间的IOU值；
步骤3-3，通过下式重置预选框的置信度；
式中，D表示输出预选框集合，Si为置信度，i为分类标签，M为当前置信度最大的预选框，bi为其他预选框，iou(M,bi)表示M与bi的交并比IOU；
步骤3-4，对剩余的预选框重复执行步骤3-2～步骤3-3，直至遍历处理完所有预选框；
步骤3-5，删除置信度小于预设的最小阈值的预选框，保留大于最小阈值的预选框。
进一步地，步骤5中在采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割之前，还包括：对裁剪后的茶叶嫩梢图进行中值滤波。
进一步地，步骤5所述采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点，具体包括：
步骤5-1，采用Otsu自动阈值法对裁剪后的茶叶嫩梢图进行粗分割；
步骤5-2，对步骤5-1处理后的图像进行二值化处理；
步骤5-3，对二值化后的图像进行闭运算操作；
步骤5-4，上述处理后的图像与原图像掩膜获得最终分割后的彩色图像；
步骤5-5，遍历所述彩色图像中每个轮廓的边缘点，获取最低点P(x0,y0)。
进一步地，步骤6具体包括：
(1)当步骤4得到的嫩梢关键点为一个点时，表明该嫩梢品级为单芽或一芽一叶或一芽两叶；
若步骤4得到的嫩梢关键点为P1，则P1的坐标即为单芽的采摘点坐标；
若步骤4得到的嫩梢关键点为P2或P3时，则利用轮廓最低点P和关键点P2或P3建立直线段，沿该直线段取距关键点P2或P3的1/3直线段距离处作为一芽一叶或者一芽两叶的采摘点；
(2)当步骤4得到的嫩梢关键点为两个点时
若为关键点P1和P2，表明该嫩梢品级为一芽一叶，应求取一芽一叶的采摘点，单芽的采摘点无需求取，则利用轮廓最低点P和关键点P2建立直线段，沿该直线段取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；
若为关键点P1和P3，表明该嫩梢品级为一芽两叶，同样只需求取一芽两叶的采摘点，利用轮廓最低点P和关键点P3建立直线段，沿该直线段取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点；
若为关键点P2和P3，表明该嫩梢品级为一芽两叶，需分别求取一芽一叶和一芽两叶的采摘点；利用关键点P2和P3建立直线段，沿该直线段取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点P和关键点P3建立直线段，取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点；
(3)当所述嫩梢关键点为三个点时，表明该嫩梢品级为一芽两叶，应求取一芽一叶和一芽两叶的采摘点，单芽的采摘点无需求取；
利用关键点P2和P3建立直线段，取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点P和关键点P3建立直线段，取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点。
进一步地，上述求取采摘点的具体公式为：
式中，x、y分别表示采摘点的横坐标、纵坐标；x0、y0分别表示轮廓最低点的横、纵坐标；x'、y'分别表示步骤4检测出的关键点的横、纵坐标
本发明与现有技术相比，其显著优点为：
1)本发明提出的方法具有较高的定位精度，本发明提出的技术方案是直接一步定位到采摘部位的关键点，主要误差存在于关键点的定位上，而目前主流的先检测再定位的方法中误差来自于检测和定位两个阶段中，并且第一阶段的误差会加剧第二阶段的误差。
2)本发明提出的方法简单快速，相较于目前主流的先检测茶叶嫩梢，再通过各种方法得到嫩梢骨架进行两者取交的方法具有一步到位的快速性。快速性体现在两个方面，一是网络采用的是端到端的检测形式，相较于经典主流的两阶段人体关键点检测网络，具有明显的速度优势；二是方法的优越性，本发明的技术方案重点不在于准确的检测出茶叶嫩梢，而在于直接精准的定位到采摘部位的关键点，通过关键点求取茶叶嫩梢采摘点。
3)本发明提出的方法可以实现茶叶嫩梢的分级检测和定位，能够区分出一芽一叶和一芽两叶，并给出不同品级的采摘部位。
4)本发明对检测网络模型进行了改进，通过引入密集连接模块DenseNet单元和注意力机制，并采用加权NMS改进检测网络模型，设计了一种基于DenseNet的关键点检测方法，相较传统卷积网络，提高了检测速度，增强了算法实时性，在不额外增加运算量的前提下提高网络检测精度。
综上，本方法在提高茶叶嫩梢采摘部位的定位精度和效率方面做出了贡献。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于多信息融合的茶叶嫩梢采摘部位精准识别方法的总体流程示意图。
图2为一个实施例中采摘点示意图。
图3为一个实施例中关键点选择示意图。
图4为一个实施例中采摘点检测效果图。
图5为一个实施例中采摘点定位流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，结合图1，提供了一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，所述方法包括以下步骤：
步骤1，采集大量茶叶嫩梢原始数据，包括RGB图像和深度图像；
这里优选地，还包括对茶叶嫩梢图像进行数据增广，增广方式包括对：旋转，翻转，平移，随机裁剪，缩放，加噪声，平滑模糊图像，颜色空间变换，随机擦除法，图像增强等等。
步骤2，依据角点、颜色渐变、纹理特点综合选取特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集；
这里，为了保证了茶叶嫩梢的采摘的完整性以及减少多余老叶和茶梗也被采摘，茶叶嫩梢的采摘点应为相对应茶叶嫩芽与茎交点出的下方一点点。通过观察可以发现，茶叶与茶梗的连接处有较为明显的特征，对于正面拍摄无遮挡的茶叶嫩梢，叶子与茎的交点处有明显的角点形状特征，对于侧面拍摄的茶叶嫩梢，角点的形状特征有些模糊，但是交点处有明显的颜色过渡，对于只有单芽的嫩梢，采摘部位有明显的形状由粗变细，颜色由嫩黄绿色渐变为绿色和墨绿，并且纹理由大量白色毛茸茸的茶毫变为无茶毫。综上，可综合提取并基于多信息融合，作为检测茶叶嫩芽关键点的特征选取。
该步骤具体包括：
步骤2-1，如图2和图3所示，利用coco annotator(COCO数据集官方标注软件)对茶叶嫩梢图像分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，整体目标检测标签类别为‘NenYa’，依据角点、颜色渐变、纹理特点综合选取特征进行关键点数据标注，关键点检测类别标签包括P1、P2、P3，分别对应单芽关键点、一芽一叶关键点和一芽两叶关键点，得到COCO格式的茶叶嫩梢关键点检测数据集；
步骤2-2，将所述茶叶嫩梢关键点检测数据集按照8：1：1比例划分为训练集，验证集和测试集。
步骤3，搭建关键点检测网络模型，并利用所述茶叶嫩梢关键点检测数据集对关键点检测网络模型进行训练；
这里，基于YOLOv8算法进行改进，搭建关键点检测网络模型；
首先搭建YOLOv8网络模型，在yolov8上也加上pose分支，用于实现在实现目标检测的同时，还能够实现对keypoints的处理。主要修改了Detect类和Loss类，Detect类的修改主要体现在，将__init__方法中加入nkpt以及cv4分支，用于检测茶叶嫩梢的采摘部的关键点，Loss类中需要在原有的基础上增加对于keypoints的损失函数，__call__方法中加入计算关键点的OKSloss，与标准IOU损失不同，IOU损失在不重叠的情况下，其梯度会消失，而OKS(object keypoint similarity)损失不会，更类似于DIOU损失得到YOLOv8-pose网络模型。
针对茶叶嫩梢小目标的检测难点，对YOLOv8-pose再进一步优化：
(1)在输入模块，采用改进的Mosaic数据增强方法，先进行Mosaic操作拼接图像，然后再对图像进行数据增强操作；
(2)将YOLOv8主干特征提取网络CSPDarkNet53中的ResNet单元替换为密集连接模块DenseNet单元；
ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”(shortcuts，skip connection)，这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。而DenseNet模型的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接(dense connection)，并且DenseNet可以通过特征在channel上的连接来实现特征重用，由于每层都直接连接输入信息和最终的误差信息，因此还可以减轻梯度消失的现象，这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能。
由于DenseNet模型的密集连接方式需要特征图大小保持一致模型采用“DenseBlock+Transition”的结构，所述“DenseBlock”为包含很多网络层的模块，包括BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)，其中：BN表示批处理归一化层，Conv表示卷积层，ReLU表示线性整流函数；一个DenseNet单元包括多个DenseBlock，各个层的特征图大小一致，层与层之间采用密集连接的方式；所述“Transition”结构是连接相邻Denseblock的过渡层，包括BN-Conv(1×1)-AvgPooling(2×2)，用于降低特征图的大小，完成前后DenseBlock模块的连接；
在DenseNet中，连接前面所有层作为输入，得到的输出为:
xi＝Hi([x0,xl,…xl-1])])
其中，xi表示输出；Hi(·)代表非线性转换函数，l为当前层；[x0,x1,…,xl-1]表示将之前所有的特征图以通道的维度进行合并；由于每一层都包含前面所有层的输出信息，因此对特征图数量的要求并不高，从而减少了DenseNet模型的参数量；
(3)在YOLOv8的CSPDarkNet53网络基础上将残差块CSPX中的残差单元Resunit替换为密集连接单元Denseunit，并将其定义为Den-CSPX；
(4)在特征提取模块中，为去除冗余信息，使模型可以更加关注关键的目标区域，引入注意力机制CABM(Convolutional Block Attention Module)，以提高特征提取能力；
(5)采用改进的加权NMS(即非极大值抑制，Non_Maximum Suppression)，对检测框的置信度进行惩罚衰减，在目标分布稀疏时使用小阈值，保证尽可能多的去除冗余框，在目标分布密集时采用大阈值，避免漏检。
这里，茶叶嫩梢生长密集，相互之间有严重的遮挡。传统的NMS容易出现的阈值设置过小重叠目标选框被抑制，设置过大，容易造成误检，抑制效果不明显等问题。针对NMS存在的问题，采用降低候选框置信度的方式替代直接暴力删除法，对检测框的置信度进行惩罚衰减。衰减函数有两种，第一种是线性加权法：
式中，Si为置信度，i为分类标签，M为当前置信度最大的边界框，bi为其他边界框，iou(M,bi)表示M于bi的交并比IOU，Ni为设置的NMS阈值。该方法在有边界框大于阈值的情况下，利用惩罚系数重置边界框置信度，但这种方法在阈值上下附近，经过惩罚衰减后，容易导致置信度得分排序的顺序紊乱。合理的惩罚系数应该随着IOU的变化而变化，高IOU的有高的惩罚系数，低IOU的有低的惩罚系数，中间地带逐渐过渡。因此提出另一种方法：高斯加权法：
式中，D表示输出边界框集合。显然iou(M,bi)越大，Si越小，高斯加权的NMS可以避免阈值设置大小问题。
这里，高斯加权的NMS解决了YOLOv8自带的NMS在密集遮挡的茶叶嫩梢环境会出现批量漏检的问题。
步骤4，将待检测的茶叶嫩梢图像输入训练后的关键点检测网络模型，得到茶叶嫩梢检测框和茶叶嫩梢的关键点位置，如图4所示。
步骤5，对步骤4得到的茶叶嫩梢检测框进行裁剪得到茶叶嫩梢图，之后采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点。
这里，采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割之前，还包括：对裁剪后的茶叶嫩梢图进行中值滤波除噪，以提高茶叶嫩梢与背景的区分度然后综合提取G-B和G分量图。
该步骤具体包括：
步骤5-1，采用Otsu自动阈值法对裁剪后的茶叶嫩梢图进行粗分割；
步骤5-2，对步骤5-1处理后的图像进行二值化处理；
步骤5-3，对二值化后的图像进行闭运算操作以填充分割中出现的空洞并平滑边缘；
步骤5-4，上述处理后的图像与原图像掩膜获得最终分割后的彩色图像；
步骤5-5，遍历所述彩色图像中每个轮廓的边缘点，获取最低点P(x0,y0)。
步骤6，根据茶叶生长特点和茶叶采摘需求，结合步骤4得到的关键点和步骤5得到的轮廓最低点求取茶叶嫩梢采摘点位置。结合图5，具体包括：
(1)当步骤4得到的嫩梢关键点为一个点时，表明该嫩梢品级为单芽或一芽一叶或一芽两叶；
若步骤4得到的嫩梢关键点为P1，则P1的坐标即为单芽的采摘点坐标；
若步骤4得到的嫩梢关键点为P2或P3时，则利用轮廓最低点P和关键点P2或P3建立直线段，沿该直线段取距关键点P2或P3的1/3直线段距离处作为一芽一叶或者一芽两叶的采摘点；
(2)当步骤4得到的嫩梢关键点为两个点时
若为关键点P1和P2，表明该嫩梢品级为一芽一叶，应求取一芽一叶的采摘点，单芽的采摘点无需求取，则利用轮廓最低点P和关键点P2建立直线段，沿该直线段取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；
若为关键点P1和P3，表明该嫩梢品级为一芽两叶，同样只需求取一芽两叶的采摘点，利用轮廓最低点P和关键点P3建立直线段，沿该直线段取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点；
若为关键点P2和P3，表明该嫩梢品级为一芽两叶，需分别求取一芽一叶和一芽两叶的采摘点；利用关键点P2和P3建立直线段，沿该直线段取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点P和关键点P3建立直线段，取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点；
(3)当所述嫩梢关键点为三个点时，表明该嫩梢品级为一芽两叶，应求取一芽一叶和一芽两叶的采摘点，单芽的采摘点无需求取；
利用关键点P2和P3建立直线段，取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点P和关键点P3建立直线段，取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点。
这里，根据嫩芽采摘点总在关键点下方且与关键点距离较近的特点，取距关键点直线段距离为采摘点，其坐标为：
式中，x、y分别表示采摘点的横坐标、纵坐标；x0、y0分别表示轮廓最低点的横、纵坐标；x'、y'分别表示步骤4检测出的关键点的横、纵坐标。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，所述方法包括以下步骤：
步骤1，采集大量茶叶嫩梢原始数据，包括RGB图像和深度图像；
步骤2，依据角点、颜色渐变、纹理特点综合选取特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集；
步骤3，搭建关键点检测网络模型，并利用所述茶叶嫩梢关键点检测数据集对关键点检测网络模型进行训练；
步骤4，将待检测的茶叶嫩梢图像输入训练后的关键点检测网络模型，得到茶叶嫩梢检测框和茶叶嫩梢的关键点位置；
步骤5，对步骤4得到的茶叶嫩梢检测框进行裁剪得到茶叶嫩梢图，之后采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点；
步骤6，根据茶叶生长特点和茶叶采摘需求，结合步骤4得到的关键点和步骤5得到的轮廓最低点求取茶叶嫩梢采摘点位置。
2.根据权利要求1所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤1还包括：
对茶叶嫩梢图像进行数据增广，增广方式包括对：旋转，翻转，平移，随机裁剪，缩放，加噪声，平滑模糊图像，颜色空间变换，随机擦除法，图像增强。
3.根据权利要求1或2所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤2所述依据角点、颜色渐变、纹理特点综合选取关键点特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集，具体包括：
步骤2-1，利用COCO数据集标注软件对茶叶嫩梢图像分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，整体目标检测标签类别为‘NenYa’，依据角点、颜色渐变、纹理特点综合选取特征进行关键点数据标注，关键点检测类别标签包括P1、P2、P3，分别对应单芽关键点、一芽一叶关键点和一芽两叶关键点，得到COCO格式的茶叶嫩梢关键点检测数据集；
步骤2-2，将所述茶叶嫩梢关键点检测数据集按照8：1：1比例划分为训练集，验证集和测试集。
4.根据权利要求3所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤3中搭建关键点检测网络模型，具体基于YOLOv8算法进行改进，搭建关键点检测网络模型，具体包括：
(1)在输入模块，采用改进的Mosaic数据增强方法，先进行Mosaic操作拼接图像，然后再对图像进行数据增强操作；
(2)将YOLOv8主干特征提取网络CSPDarkNet53中的ResNet单元替换为密集连接模块DenseNet单元；
模型采用“DenseBlock+Transition”的结构，所述“DenseBlock”为包含很多网络层的模块，包括BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)，其中：BN表示批处理归一化层，Conv表示卷积层，ReLU表示线性整流函数；一个DenseNet单元包括多个DenseBlock，各个层的特征图大小一致，层与层之间采用密集连接的方式；所述“Transition”结构是连接相邻Denseblock的过渡层，包括BN-Conv(1×1)-AvgPooling(2×2)，用于降低特征图的大小，完成前后DenseBlock模块的连接；
在DenseNet中，连接前面所有层作为输入，得到的输出为:
xi＝Hi([x0，xl，…x1-1])])
其中，xi表示输出；Hi(·)代表非线性转换函数，l为当前层；[x0,x1,…,xl-1]表示将之前所有的特征图以通道的维度进行合并；
(3)在YOLOv8的CSPDarkNet53网络基础上将残差块CSPX中的残差单元Resunit替换为密集连接单元Denseunit，并将其定义为Den-CSPX；
(4)在特征提取模块中，引入注意力机制CABM；
(5)采用改进的加权NMS即改进的非极大值抑制方法，对检测框的置信度进行惩罚衰减。
5.根据权利要求4所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，所述改进的加权NMS为高斯加权NMS，具体过程包括：
步骤3-1，对回归产生的N个预选框按置信度大小进行排序；
步骤3-2，选择当前置信度最大的预选框，计算其与其他预选框之间的IOU值；
步骤3-3，通过下式重置预选框的置信度；
式中，D表示输出预选框集合，Si为置信度，i为分类标签，M为当前置信度最大的预选框，bi为其他预选框，iou(M,bi)表示M与bi的交并比IOU；
步骤3-4，对剩余的预选框重复执行步骤3-2～步骤3-3，直至遍历处理完所有预选框；
步骤3-5，删除置信度小于预设的最小阈值的预选框，保留大于最小阈值的预选框。
6.根据权利要求1所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤5中在采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割之前，还包括：对裁剪后的茶叶嫩梢图进行中值滤波。
7.根据权利要求6所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤5所述采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点，具体包括：
步骤5-1，采用Otsu自动阈值法对裁剪后的茶叶嫩梢图进行粗分割；
步骤5-2，对步骤5-1处理后的图像进行二值化处理；
步骤5-3，对二值化后的图像进行闭运算操作；
步骤5-4，上述处理后的图像与原图像掩膜获得最终分割后的彩色图像；
步骤5-5，遍历所述彩色图像中每个轮廓的边缘点，获取最低点P(x0,y0)。
8.根据权利要求3所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤6具体包括：
(1)当步骤4得到的嫩梢关键点为一个点时，表明该嫩梢品级为单芽或一芽一叶或一芽两叶；
若步骤4得到的嫩梢关键点为P1，则P1的坐标即为单芽的采摘点坐标；
若步骤4得到的嫩梢关键点为P2或P3时，则利用轮廓最低点P和关键点P2或P3建立直线段，沿该直线段取距关键点P2或P3的1/3直线段距离处作为一芽一叶或者一芽两叶的采摘点；
(2)当步骤4得到的嫩梢关键点为两个点时
若为关键点P1和P2，表明该嫩梢品级为一芽一叶，应求取一芽一叶的采摘点，单芽的采摘点无需求取，则利用轮廓最低点P和关键点P2建立直线段，沿该直线段取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；
若为关键点P1和P3，表明该嫩梢品级为一芽两叶，同样只需求取一芽两叶的采摘点，利用轮廓最低点P和关键点P3建立直线段，沿该直线段取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点；
若为关键点P2和P3，表明该嫩梢品级为一芽两叶，需分别求取一芽一叶和一芽两叶的采摘点；利用关键点P2和P3建立直线段，沿该直线段取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点P和关键点P3建立直线段，取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点；
(3)当所述嫩梢关键点为三个点时，表明该嫩梢品级为一芽两叶，应求取一芽一叶和一芽两叶的采摘点，单芽的采摘点无需求取；
利用关键点P2和P3建立直线段，取距关键点P2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点P和关键点P3建立直线段，取距关键点P3的1/3直线段距离处作为一芽两叶的采摘点。
9.根据权利要求8所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，上述求取采摘点的具体公式为：
式中，x、y分别表示采摘点的横坐标、纵坐标；x0、y0分别表示轮廓最低点的横、纵坐标；x'、y'分别表示步骤4检测出的关键点的横、纵坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310936346.1A CN117372740A (zh) | 2023-07-28 | 2023-07-28 | 一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310936346.1A CN117372740A (zh) | 2023-07-28 | 2023-07-28 | 一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372740A true CN117372740A (zh) | 2024-01-09 |
Family
ID=89404776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310936346.1A Pending CN117372740A (zh) | 2023-07-28 | 2023-07-28 | 一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372740A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096891A (zh) * | 2024-04-24 | 2024-05-28 | 华南农业大学 | 一种基于采摘机器人的茶芽叶位姿估计方法和系统 |
-
2023
- 2023-07-28 CN CN202310936346.1A patent/CN117372740A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096891A (zh) * | 2024-04-24 | 2024-05-28 | 华南农业大学 | 一种基于采摘机器人的茶芽叶位姿估计方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543878B (zh) | 一种基于神经网络的指针仪表读数识别方法 | |
| CN104050471B (zh) | 一种自然场景文字检测方法及系统 | |
| Nagao et al. | Region extraction and shape analysis in aerial photographs | |
| CN104408449B (zh) | 智能移动终端场景文字处理方法 | |
| CN108562589A (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN109816024A (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
| CN106709486A (zh) | 基于深度卷积神经网络的自动车牌识别方法 | |
| CN107590489A (zh) | 基于级联卷积神经网络的目标检测方法 | |
| CN107665351A (zh) | 基于难样本挖掘的机场检测方法 | |
| CN110569747A (zh) | 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法 | |
| CN106951836A (zh) | 基于先验阈值优化卷积神经网络的作物覆盖度提取方法 | |
| CN109784283A (zh) | 基于场景识别任务下的遥感图像目标提取方法 | |
| CN117372740A (zh) | 一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法 | |
| CN108090911A (zh) | 一种光学遥感图像的近岸舰船分割方法 | |
| CN110751606B (zh) | 一种基于神经网络算法的泡沫图像处理方法及系统 | |
| CN113191334B (zh) | 一种基于改进CenterNet的植物冠层密集叶片计数方法 | |
| CN110180186A (zh) | 一种地形图转换方法及系统 | |
| CN105426890A (zh) | 一种字符扭曲粘连的图形验证码识别方法 | |
| CN110176005B (zh) | 基于归一化指数和多尺度模型的遥感图像分割方法 | |
| CN111027511A (zh) | 基于感兴趣区块提取的遥感图像舰船检测方法 | |
| CN111369498A (zh) | 一种基于改进生成对抗网络的种苗生长势评估的数据增强方法 | |
| CN106845513A (zh) | 基于条件随机森林的人手检测器及方法 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN116824466B (zh) | 辅助少儿智能编程的方法、装置和计算机存储介质 | |
| CN109409227A (zh) | 一种基于多通道cnn的手指静脉图质量评估方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |