CN115187803A - 一种用于名优茶嫩芽采摘过程的定位方法 - Google Patents

一种用于名优茶嫩芽采摘过程的定位方法 Download PDF

Info

Publication number
CN115187803A
CN115187803A CN202210966333.4A CN202210966333A CN115187803A CN 115187803 A CN115187803 A CN 115187803A CN 202210966333 A CN202210966333 A CN 202210966333A CN 115187803 A CN115187803 A CN 115187803A
Authority
CN
China
Prior art keywords
point cloud
tender
cloud data
representing
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210966333.4A
Other languages
English (en)
Other versions
CN115187803B (zh
Inventor
朱立学
张智浩
林桂潮
张世昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkai University of Agriculture and Engineering
Original Assignee
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkai University of Agriculture and Engineering filed Critical Zhongkai University of Agriculture and Engineering
Priority to CN202210966333.4A priority Critical patent/CN115187803B/zh
Publication of CN115187803A publication Critical patent/CN115187803A/zh
Application granted granted Critical
Publication of CN115187803B publication Critical patent/CN115187803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于名优茶嫩芽采摘过程的定位方法，包括以下步骤：步骤a、制作原始数据集；步骤b、基于改进的YOLOv5网络模型进行训练；步骤c、获得三维点云并通过密度峰值聚类与簇间融合合并进行处理；步骤d、拟合嫩芽最小外接长方体，获得嫩芽的位置与采摘点。该定位方法能够快速有效的实现对名优茶嫩芽的精准识别定位，从而提高采摘效率、降低采摘成本。

Description

一种用于名优茶嫩芽采摘过程的定位方法
技术领域
本发明涉及茶叶采摘技术领域，具体涉及一种用于名优茶嫩芽采摘过程的定位方法。
背景技术
名优茶多指以一芽一叶或一芽两叶为原料制作而成的品质较优的茶叶，其制作对茶叶的采摘时间与采摘标准较为严格；同时，茶叶采摘的品质好坏不仅决定后续名优茶制作的品质和产量，还直接影响茶叶中的营养成分及茶树后续的生长。
目前的茶叶采摘方式主要为人工采摘与机械采摘两种，人工采摘选择性高、茶叶品质好，但其主要通过人为判断叶芽的形状、颜色等特征实现嫩芽采摘，人为影响因素高，且需要大量的劳动力、采摘效率低；机械采摘主要利用采茶机的刀片进行往返式切割采茶，其采摘效率高、且采摘方便，但其无法有效分辨采摘芽叶的种类，无法确保采摘后芽叶的完整性，易导致名优茶的品质低下、产量低，同时其也无法保证采摘后茶树的正常生长，影响后续种茶、采茶，增加种植成本。
近年来，基于视觉的自动采摘机器人被广泛用于名优茶的识别与采摘中，其通过智能算法自动识别名优茶嫩芽的采摘点，例如专利申请号“2020101937888”、专利名称“基于人工智能识别的名优茶采摘机及采摘机用识别方法”的专利，或专利申请号“2021108766748”、专利名称“一种基于深度学习的采茶机茶叶芽尖检测方法”的专利；但目前所采用的茶叶嫩芽采摘点的定位方法，普遍存在定位精确度低、效率低的问题，其无法实现采摘点的快速有效定位、进而无法满足对于名优茶的高效率和高质量的采摘要求。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种用于名优茶嫩芽采摘过程的定位方法，该定位方法能够快速有效的实现对名优茶嫩芽的精准识别定位，从而提高采摘效率、降低采摘成本。
本发明的目的通过以下技术方案实现：
一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：包括以下步骤：
步骤a：制作名优茶嫩芽的原始数据集；
步骤b：基于改进的YOLOv5网络模型对步骤a中的数据集进行训练；
步骤c：基于步骤b中的训练结果，获得三维点云；再依次通过密度峰值聚类与簇间融合合并完成三维点云的聚类及噪声点的去除，获得嫩芽三维点云；
步骤d：基于嫩芽三维点云，拟合嫩芽最小外接长方体，获得嫩芽的位置与采摘点。
作进一步优化，所述步骤a具体为：
步骤a1：使用RGB-D相机近距离采集不同尺寸、不同天气状态下的名优茶图像；
步骤a2：将步骤a1中的名优茶图像进行筛选与清理，挑选出名优茶清晰、明确的图像，从而获得名优茶的彩色图像与深度图像数据；
步骤a3：采用Labelimg标注工具对彩色图像进行标注，获得嫩芽数据集；
步骤a4：将步骤a3中的嫩芽数据集划分为训练集、测试集与验证集。
优选的，所述嫩芽数据集按照7:2:1的比例依次划分为训练集、测试集与验证集。
作进一步优化，所述步骤b具体为：
步骤b1：对步骤a4中的训练集进行预处理，从而统一训练集中图像的分辨率；并将预处理后的图像数据输入到YOLOv5网络模型中的Backbone模块，获得不同尺寸的特征图；
步骤b2：将步骤b1获得的不同尺寸的特征图输入到YOLOv5网络模型中的Neck模块中，并在Neck模块中采用双向特征金字塔网络替代原有的路径聚合网络进行多特征融合；然后对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到YOLOv5网络模型中的Head模块中；
步骤b3：通过多种损失函数进行反向传播，对步骤b2中的模型的梯度进行更新、调节权重参数；
步骤b4：采用测试集与验证集进行验证，获得改进的YOLOv5网络模型。
作进一步优化，所述步骤c中获得三维点云的具体步骤为：
步骤c1：基于步骤b4中改进的YOLOv5网络模型的结果，获得检测框坐标，从而生成与彩色图像对应的深度图像的感兴趣区域；然后根据深度图像的像素坐标与彩色图像的像素坐标之间的映射，结合深度图像的坐标值、像素值及记录距离，获得对应映射的彩色图像坐标；
步骤c2：通过步骤c1中彩色图像坐标与深度图像坐标之间的融合，获得三维点云，具体为：
Figure BDA0003795147630000031
式中，
Figure BDA0003795147630000032
表示三维点云的坐标系；
Figure BDA0003795147630000033
表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距。
作进一步优化，所述步骤c中密度峰值聚类具体为：
步骤c1-1：采用欧氏距离度量，完成步骤c2中三维点云的K近邻搜索，获得点云KNN；点云KNN中由近至远进行近邻排序，即距离越近、排序越靠前；
步骤c1-2：根据步骤c1-1中点云KNN计算点云数据的密度值，具体为：
Figure BDA0003795147630000041
式中，ρi表示第i个点云数据的密度值；K表示点云KNN中近邻个数、为定值；dij表示第i个点云数据与第j近邻的距离(即点云KNN的检索结果)；
步骤c1-3：遍历点云KNN，对于每个点云数据，将其合向在点云KNN最近邻、且第一个比它密度高的点云数据中，从而完成密度峰值聚类。
三维点云数据记录了物体表面的三维坐标，能够直观反应物体的轮廓与位置；但在一次扫描中，会产生庞大的三维点云数据，这些三维点云数据包含名优茶嫩芽及名优茶周围环境、茶树等背景点云，若对所有三维点云都进行处理，处理效率低，且易受背景点云的干扰、无法实现精确定位。本申请通过密度峰值聚类获得目标(即名优茶嫩芽)三维点云的峰值点，形成围绕峰值点的若干小簇，从而实现目标三维点云与其他三维点云之间的数据区分，进而实现名优茶嫩芽的精确定位。
优选的，所述步骤c1-1中采用高精度加速检索算法(如IVFPQ等)加速点云KNN的生成。
作进一步优化，所述步骤c中簇间融合合并具体为：
步骤c2-1：针对步骤c1-3中密度峰值聚类形成的小簇进行簇中心点的计算，具体为：
Figure BDA0003795147630000042
式中，(xc,yc,zc)表示簇中心点；(xk,yk,zk)表示三维点云的坐标；
步骤c2-2：完成簇中心点K近邻搜索，获得中心KNN；
步骤c2-3：遍历中心KNN，计算簇间互近邻；
其中，簇间互近邻表示两个簇之间，一个簇中心点云数据为另一个簇中心点云数据近邻的衡量；簇间互近邻越大，表示两个簇之间的联系越大，其合并的概率越大；具体为：
Figure BDA0003795147630000051
式中，aij表示两个簇i与j间的互近邻；nij表示簇i的点云数据为簇j的点云数据的条件近邻的个数；Ni表示簇i的点云数据的样本数；nji表示簇j的点云数据为簇i的点云数据的条件近邻的个数；Nj表示簇j的点云数据的样本数；
其中，点云数据qi为点云数据qj的条件近邻需同时满足：
(1)点云数据qi在点云数据qj的点云KNN近邻序列内；
(2)点云数据qi与点云数据qj之间的距离dq小于dm；其中，dm为条件近邻的距离门限值，根据实际经验数据及大量试验验证数据获得；
步骤c2-4：预设互近邻门限am，将簇间互近邻高于互近邻门限、即aij＞am的两个簇i与j进行合并，完成簇间融合合并、获得嫩芽三维点云；其中，互近邻门限am为衡量两个簇间联系紧密程度的门限值，根据实际经验数据及大量试验验证数据获得。
通过密度峰值聚类找到峰值点、从而形成围绕峰值点的小簇，能够实现名优茶嫩芽的精确定位；但密度峰值聚类容易形成局部最优，即同一个物体容易形成多个峰值中心的小簇(如凹凸不平的表面便容易形成多个峰值小簇)，而名优茶嫩芽表示由若干凹凸不平的曲面组合而成；因此若仅采用密度峰值聚类，形成的名优茶点云数据较发散、噪声点较多，易导致后期识别定位的精度差。本申请在密度峰值聚类后采用簇间融合合并，从而将物体的多个峰值小簇进行融合，一是集中利用资源、有效提升整体的聚类效率，二是有效抑制噪声、降低噪声点的影响、提升聚类精度，三是利于物体分割、实现高效精简的密度聚类。
作进一步优化，所述步骤d具体为：
步骤d1：根据名优茶嫩芽的生长姿态，采用主成分分析法筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向；然后计算质心、协方差，得到协方差矩阵；具体为：
Figure BDA0003795147630000061
Figure BDA0003795147630000062
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
Figure BDA0003795147630000063
式中，Cp表示三维点云的协方差矩阵；
步骤d2：对步骤d1中协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
Figure BDA0003795147630000064
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；
Figure BDA0003795147630000065
表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
步骤d3：将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成名优茶嫩芽最合适且紧凑的长方体、即名优茶嫩芽最小外接长方体；
具体公式为：
Figure BDA0003795147630000071
O＝ax+by+cz；
Figure BDA0003795147630000072
式中，X表示坐标点在x方向上的单位向量；Y表示坐标点在y方向上的单位向量；Z表示坐标点在z方向上的单位向量；Lx、Ly、Lz分别表示长方体在x方向、y方向、z方向的长度；
步骤d4：再通过判断步骤d3中长方体在y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；
步骤d5：最后，通过求解四个顶点坐标的平均值获得长方体底面中心点的坐标、即嫩芽采摘点。
本发明具有如下技术效果：
本申请通过改进的YOLOv5网络模型对获取的名优茶嫩芽图像进行训练处理、生成三维点云，融合了更多特征、语义表达及定位能力更加丰富，从而提高了在目标小、环境复杂的名优茶嫩芽识别过程中的精度；通过密度峰值聚类，有效实现目标三维点云与其他三维点云数据的分割，从而精确获得目标三维点云数据，实现名优茶嫩芽的精确定位。此外，通过密度峰值聚类与簇间融合合并的配合，即优先生成小簇、再对小簇进行合并的手段，有效提高处理效率、节约处理时间，提高识别定位的速度；同时，利用簇间融合合并避免密度峰值聚类陷入最优解，从而有效抑制噪声、避免名优茶嫩芽数据发散，进而实现高效、精简的密度聚类，进一步提升嫩芽三维点云数据的精度，减小识别判断过程中的误差至。通过拟合嫩芽最小外接长方体且以长方体的底面中心作为名优茶嫩芽采摘点，确保采摘的嫩芽均满足名优茶的需求，避免采摘过程中造成嫩芽损伤、影响名优茶品质与产量，同时还能避免采摘过程对茶树的影响、保证茶树的可持续性。
附图说明
图1为本申请实施例中的流程图。
图2为本申请实施例中利用Labelimg标注工具对图片进行标注后的示意图。
图3为本申请实施例中基于双向特征金字塔网络结构的多尺度特征融合示意图。
具体实施方式
以下通过实施例形式对本发明的上述内容再作进一步的详细说明，但本发明并不局限于以下实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：包括以下步骤：
步骤a：制作名优茶嫩芽的原始数据集：
步骤a1：使用RGB-D相机近距离采集不同尺寸、不同天气状态下的名优茶图像；其中不同天气至少包括晴天与多云两种场景，从而确保模型具有良好的泛化能力和鲁棒性；
步骤a2：将步骤a1中的名优茶图像进行筛选与清理，挑选出名优茶清晰、明确的图像(具体步骤可采用：对获取的名优茶图像中的原始视野范围较大的图像进行分割、并挑选出嫩芽和茶梗特征清晰的图像)，从而获得名优茶的彩色图像与深度图像数据；
步骤a3：采用Labelimg标注工具对彩色图像进行标注，同时可采用数据增强的方式进行数据扩充(例如空间转换、随机变换、翻转变换、颜色转换、像素值归一化等常规的数据增强手段，同时采用上述多种数据增强手段的组合进行数据扩充也是本领域技术人员能够理解的)，获得嫩芽数据集；
步骤a4：将步骤a3中的嫩芽数据集划分为训练集、测试集与验证集。
步骤b：基于改进的YOLOv5网络模型对步骤a中的数据集进行训练：
原始的YOLOv5网络模型采用模型文件最小、特征图的深度与宽度均最小的网络模型；且原始的YOLOv5网络模型包括Backbone模块、Neck模块和Head模块。其中，Backbone模块包括用于对图片进行切片操作的Focus模块、SPP模块与CBS模块，以及用于增强整个卷积神经网络学习性能CSP模块；Neck模块包括CBS模块与CSP模块；Head模块包括利用基于网格anchor在不同尺度的特征图上进行目标检测的Detect层。
步骤b1：对步骤a4中的训练集进行预处理，从而统一训练集中图像的分辨率；并将预处理后的图像数据输入到(原始的)YOLOv5网络模型中的Backbone模块，获得不同尺寸的特征图；
步骤b2：将步骤b1获得的不同尺寸的特征图输入到(原始的)YOLOv5网络模型中的Neck模块中，并在Neck模块中采用双向特征金字塔网络(Bi-Directional FeaturePyramid Network，BiFPN)替代原有的路径聚合网络(Path Aggregation Network，PANet)进行多特征融合；然后对特征图依次进行上采样、下采样，及通过通道注意力机制(Efficient Channel Attention，ECA)的拼接产生多种尺寸的特征图，并输入到(原始的)YOLOv5网络模型中的Head模块中；
如图3所示，具体步骤为：在原始的YOLOv5网络模型使用加强特征提取BiFPN，对P5_in进行上采样，上采样后与P4_in进行BiFPN_Concat堆叠、从而获得P4_td；再对获得的P4_td进行上采样、之后与P3_in进行BiFPN_Concat堆叠、从而获得P3_out；再对P3_out进行下采样、之后与P4_td进行BiFPN_Concat堆叠、从而获得P4_out；再对P4_out进行下采样、之后与P5_in进行堆叠、从而获得P5_out。
上述方法使用高效的双向交叉连接进行特征融合，去掉PANet中对特征融合贡献较小的节点，在同一级别的输入和输出节点之间添加额外的连接，在不增加额外代价的情况下融合了更多的特征，增强多个尺度上的语义表达与定位能力。
然后，在上述网络结构的第9层后添加ECA，模块将输入特征图经过全局平均池化(Global Average Pooling)，特征图从[h,w,c]的矩阵变成[1,1,c]的向量，然后计算得到自适应的一维卷积核大小kernel_size，将kernel_size用于一维卷积中，以获得特征图中每个通道的权重；将归一化权重和原输入特征图进行逐一的通道相乘，生成加权后的特征图。该注意力机制在全局平均池化层之后使用1x1卷积层，去除了全连接层，避免了维度缩减，有效捕获了跨通道交互，最终提高了判断对象的概率和模型的检测精度；具体公式为：
Figure BDA0003795147630000101
式中，C表示通道维度；k表示卷积和大小；y、b分别取值2和1；
步骤b3：通过多种损失函数(采用现有的损失函数进行组合，包括但不限于分类损失函数、定位损失函数、执行损失函数等)进行反向传播，对步骤b2中的模型的梯度进行更新、调节权重参数；
步骤b4：采用测试集与验证集进行验证，获得改进的YOLOv5网络模型。
步骤c：基于步骤b中的训练结果，获得三维点云：
步骤c1：基于步骤b4中改进的YOLOv5网络模型的结果，获得检测框坐标，从而生成与彩色图像对应的深度图像的感兴趣区域(Region of Interest，ROI)；然后根据深度图像的像素坐标与彩色图像的像素坐标之间的映射，结合深度图像的坐标值、像素值及记录距离，获得对应映射的彩色图像坐标；
步骤c2：通过步骤c1中彩色图像坐标与深度图像坐标之间的融合，获得三维点云，具体为：
Figure BDA0003795147630000111
式中，
Figure BDA0003795147630000112
表示三维点云的坐标系；
Figure BDA0003795147630000113
表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距。
步骤c3：通过密度峰值聚类对上述步骤c2获得的三维点云进行聚类，具体步骤为：
步骤c1-1：采用欧氏距离度量，完成步骤c2中三维点云的K近邻搜索，获得点云KNN；可采用高精度加速检索算法(如IVFPQ等)加速点云KNN的生成；点云KNN中由近至远进行近邻排序，即距离越近、排序越靠前；
步骤c1-2：根据步骤c1-1中点云KNN计算点云数据的密度值，具体为：
Figure BDA0003795147630000114
式中，ρi表示第i个点云数据的密度值；K表示点云KNN中近邻个数、为定值；dij表示第i个点云数据与第j近邻的距离(即点云KNN的检索结果)；
步骤c1-3：遍历点云KNN，对于每个点云数据，将其合向在点云KNN最近邻、且第一个比它密度高的点云数据中，从而完成密度峰值聚类。
由于名优茶的点云数据较发散、噪声点较多，密度峰值聚类的结果容易分裂为多个小簇，影响三维点云数据的精准度以及判断识别的效率；
步骤c4：在步骤c3进行密度峰值聚类后，进行簇间融合合并、消除噪声点，具体步骤为：
步骤c2-1：针对步骤c1-3中密度峰值聚类形成的小簇进行簇中心点的计算，具体为：
Figure BDA0003795147630000121
式中，(xc,yc,zc)表示簇中心点；(xk,yk,zk)表示三维点云的坐标；
步骤c2-2：完成簇中心点K近邻搜索，获得中心KNN(获取中心KNN的方法参考步c1-1获取点云KNN的方法，本领域技术人员能够理解，本实施方式不做过多论述)；
步骤c2-3：遍历中心KNN，计算簇间互近邻；
其中，簇间互近邻表示两个簇之间，一个簇中心点云数据为另一个簇中心点云数据近邻的衡量；簇间互近邻越大，表示两个簇之间的联系越大，其合并的概率越大；具体为：
Figure BDA0003795147630000122
式中，aij表示两个簇i与j间的互近邻；nij表示簇i的点云数据为簇j的点云数据的条件近邻的个数；Ni表示簇i的点云数据的样本数；nji表示簇j的点云数据为簇i的点云数据的条件近邻的个数；Nj表示簇j的点云数据的样本数；
其中，点云数据qi为点云数据qj的条件近邻需同时满足：
(1)点云数据qi在点云数据qj的点云KNN近邻序列内；
(2)点云数据qi与点云数据qj之间的距离dq小于dm；其中，dm为条件近邻的距离门限值，根据实际经验数据及大量试验验证数据获得；
步骤c2-4：预设互近邻门限am，将簇间互近邻高于互近邻门限、即aij＞am的两个簇i与j进行合并，完成簇间融合合并、获得嫩芽三维点云；其中，互近邻门限am为衡量两个簇间联系紧密程度的门限值，根据实际经验数据及大量试验验证数据获得。
步骤d：基于嫩芽三维点云，拟合嫩芽最小外接长方体，获得嫩芽的位置与采摘点：
步骤d1：根据名优茶嫩芽的生长姿态，采用主成分分析法(Principal ComponentAnalysis，PCA)筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向；然后计算质心、协方差，得到协方差矩阵；具体为：
Figure BDA0003795147630000131
Figure BDA0003795147630000132
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
Figure BDA0003795147630000133
式中，Cp表示三维点云的协方差矩阵；
步骤d2：对步骤d1中协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
Figure BDA0003795147630000134
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；
Figure BDA0003795147630000135
表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
步骤d3：将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成名优茶嫩芽最合适且紧凑的长方体、即名优茶嫩芽最小外接长方体；
具体公式为：
Figure BDA0003795147630000141
O＝ax+by+cz；
Figure BDA0003795147630000142
式中，X表示坐标点在x方向上的单位向量；Y表示坐标点在y方向上的单位向量；Z表示坐标点在z方向上的单位向量；Lx、Ly、Lz分别表示长方体在x方向、y方向、z方向的长度；
步骤d4：再通过判断步骤d3中长方体在y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；
步骤d5：最后，通过求解四个顶点坐标的平均值获得长方体底面中心点的坐标(采用常规的数学公式求解即可)、即嫩芽采摘点。
实施例2：
作为对实施例1的进一步优选，在实施例1方案的基础上，步骤a4中嫩芽数据集按照7:2:1的比例依次划分为训练集、测试集与验证集。
需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，对以上实施例所作的任何简单的修改、等同替换与改进等，均属于本发明技术方案的保护范围之内。

Claims (7)

1.一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：包括以下步骤：
步骤a：制作名优茶嫩芽的原始数据集；
步骤b：基于改进的YOLOv5网络模型对步骤a中的数据集进行训练；
步骤c：基于步骤b中的训练结果，获得三维点云；再依次通过密度峰值聚类与簇间融合合并完成三维点云的聚类及噪声点的去除，获得嫩芽三维点云；
步骤d：基于嫩芽三维点云，拟合嫩芽最小外接长方体，获得嫩芽的位置与采摘点。
2.根据权利要求1所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤a具体为：
步骤a1：使用RGB-D相机近距离采集不同尺寸、不同天气状态下的名优茶图像；
步骤a2：将步骤a1中的名优茶图像进行筛选与清理，挑选出名优茶清晰、明确的图像，从而获得名优茶的彩色图像与深度图像数据；
步骤a3：采用Labelimg标注工具对彩色图像进行标注，获得嫩芽数据集；
步骤a4：将步骤a3中的嫩芽数据集划分为训练集、测试集与验证集。
3.根据权利要求1或2所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤b具体为：
步骤b1：对步骤a4中的训练集进行预处理，从而统一训练集中图像的分辨率；并将预处理后的图像数据输入到YOLOv5网络模型中的Backbone模块，获得不同尺寸的特征图；
步骤b2：将步骤b1获得的不同尺寸的特征图输入到YOLOv5网络模型中的Neck模块中，并在Neck模块中采用双向特征金字塔网络替代原有的路径聚合网络进行多特征融合；然后对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到YOLOv5网络模型中的Head模块中；
步骤b3：通过多种损失函数进行反向传播，对步骤b2中的模型的梯度进行更新、调节权重参数；
步骤b4：采用测试集与验证集进行验证，获得改进的YOLOv5网络模型。
4.根据权利要求3所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤c中获得三维点云的具体步骤为：
步骤c1：基于步骤b4中改进的YOLOv5网络模型的结果，获得检测框坐标，从而生成与彩色图像对应的深度图像的感兴趣区域；然后根据深度图像的像素坐标与彩色图像的像素坐标之间的映射，结合深度图像的坐标值、像素值及记录距离，获得对应映射的彩色图像坐标；
步骤c2：通过步骤c1中彩色图像坐标与深度图像坐标之间的融合，获得三维点云，具体为：
Figure FDA0003795147620000021
式中，
Figure FDA0003795147620000022
表示三维点云的坐标系；
Figure FDA0003795147620000023
表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距。
5.根据权利要求3或4所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤c中密度峰值聚类具体为：
步骤c1-1：采用欧氏距离度量，完成步骤c2中三维点云的K近邻搜索，获得点云KNN；点云KNN中由近至远进行近邻排序，即距离越近、排序越靠前；
步骤c1-2：根据步骤c1-1中点云KNN计算点云数据的密度值，具体为：
Figure FDA0003795147620000031
式中，ρi表示第i个点云数据的密度值；K表示点云KNN中近邻个数、为定值；dij表示第i个点云数据与第j近邻的距离；
步骤c1-3：遍历点云KNN，对于每个点云数据，将其合向在点云KNN最近邻、且第一个比它密度高的点云数据中，从而完成密度峰值聚类。
6.根据权利要求5所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤c中簇间融合合并具体为：
步骤c2-1：针对步骤c1-3中密度峰值聚类形成的小簇进行簇中心点的计算，具体为：
Figure FDA0003795147620000032
式中，(xc,yc,zc)表示簇中心点；(xk,yk,zk)表示三维点云的坐标；
步骤c2-2：完成簇中心点K近邻搜索，获得中心KNN；
步骤c2-3：遍历中心KNN，计算簇间互近邻；
其中，簇间互近邻表示两个簇之间，一个簇中心点云数据为另一个簇中心点云数据近邻的衡量；具体为：
Figure FDA0003795147620000033
式中，aij表示两个簇i与j间的互近邻；nij表示簇i的点云数据为簇j的点云数据的条件近邻的个数；Ni表示簇i的点云数据的样本数；nji表示簇j的点云数据为簇i的点云数据的条件近邻的个数；Nj表示簇j的点云数据的样本数；
其中，点云数据qi为点云数据qj的条件近邻需同时满足：
(1)点云数据qi在点云数据qj的点云KNN近邻序列内；
(2)点云数据qi与点云数据qj之间的距离dq小于dm；其中，dm为条件近邻的距离门限值；
步骤c2-4：预设互近邻门限am，将簇间互近邻高于互近邻门限、即aij＞am的两个簇i与j进行合并，完成簇间融合合并、获得嫩芽三维点云。
7.根据权利要求6所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤d具体为：
步骤d1：根据名优茶嫩芽的生长姿态，采用主成分分析法筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向；然后计算质心、协方差，得到协方差矩阵；具体为：
Figure FDA0003795147620000041
Figure FDA0003795147620000042
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目；(xi,yi,zi)表示第i个点的三维坐标；
Figure FDA0003795147620000043
式中，Cp表示三维点云的协方差矩阵；
步骤d2：对步骤d1中协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
Figure FDA0003795147620000044
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；
Figure FDA0003795147620000045
表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
步骤d3：将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成名优茶嫩芽最小外接长方体；
具体公式为：
Figure FDA0003795147620000051
O＝ax+by+cz；
Figure FDA0003795147620000052
式中，X表示坐标点在x方向上的单位向量；Y表示坐标点在y方向上的单位向量；Z表示坐标点在z方向上的单位向量；Lx、Ly、Lz分别表示长方体在x方向、y方向、z方向的长度；
步骤d4：再通过判断步骤d3中长方体在y方向上最小的四个点的坐标，作为长方体底面的四个顶点坐标；
步骤d5：最后，通过求解四个顶点坐标的平均值获得长方体底面中心点的坐标、即嫩芽采摘点。
CN202210966333.4A 2022-08-12 2022-08-12 一种用于名优茶嫩芽采摘过程的定位方法 Active CN115187803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210966333.4A CN115187803B (zh) 2022-08-12 2022-08-12 一种用于名优茶嫩芽采摘过程的定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210966333.4A CN115187803B (zh) 2022-08-12 2022-08-12 一种用于名优茶嫩芽采摘过程的定位方法

Publications (2)

Publication Number Publication Date
CN115187803A true CN115187803A (zh) 2022-10-14
CN115187803B CN115187803B (zh) 2023-04-21

Family

ID=83522575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210966333.4A Active CN115187803B (zh) 2022-08-12 2022-08-12 一种用于名优茶嫩芽采摘过程的定位方法

Country Status (1)

Country Link
CN (1) CN115187803B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862013A (zh) * 2023-02-09 2023-03-28 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法
CN116138036A (zh) * 2023-03-24 2023-05-23 仲恺农业工程学院 一种用于名优茶嫩芽采摘的二次定位方法
CN117426255A (zh) * 2023-12-07 2024-01-23 南京农业大学 基于视觉和力觉反馈的双孢菇自动采摘系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067309A (zh) * 2021-10-25 2022-02-18 大连理工大学 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
US20220189053A1 (en) * 2019-03-22 2022-06-16 Nanjing Agricultural University Method of extracting number of stem and tillering for wheat under field condition
CN114708208A (zh) * 2022-03-16 2022-07-05 杭州电子科技大学 一种基于机器视觉的名优茶嫩芽识别与采摘点定位方法
CN114842188A (zh) * 2022-03-08 2022-08-02 中国农业科学院茶叶研究所 一种基于深度学习算法的茶叶嫩芽采摘点定位方法
CN114882222A (zh) * 2022-05-27 2022-08-09 江苏大学 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220189053A1 (en) * 2019-03-22 2022-06-16 Nanjing Agricultural University Method of extracting number of stem and tillering for wheat under field condition
CN114067309A (zh) * 2021-10-25 2022-02-18 大连理工大学 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
CN114842188A (zh) * 2022-03-08 2022-08-02 中国农业科学院茶叶研究所 一种基于深度学习算法的茶叶嫩芽采摘点定位方法
CN114708208A (zh) * 2022-03-16 2022-07-05 杭州电子科技大学 一种基于机器视觉的名优茶嫩芽识别与采摘点定位方法
CN114882222A (zh) * 2022-05-27 2022-08-09 江苏大学 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YATAO LI ET AL.: "In-field tea shoot detection and 3D localization using an RGB-D camera" *
陈西江: "中心均匀化密度峰值聚类的激光点云分割" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862013A (zh) * 2023-02-09 2023-03-28 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法
CN115862013B (zh) * 2023-02-09 2023-06-27 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法
CN116138036A (zh) * 2023-03-24 2023-05-23 仲恺农业工程学院 一种用于名优茶嫩芽采摘的二次定位方法
CN116138036B (zh) * 2023-03-24 2024-04-02 仲恺农业工程学院 一种用于名优茶嫩芽采摘的二次定位方法
CN117426255A (zh) * 2023-12-07 2024-01-23 南京农业大学 基于视觉和力觉反馈的双孢菇自动采摘系统及方法
CN117426255B (zh) * 2023-12-07 2024-04-12 南京农业大学 基于视觉和力觉反馈的双孢菇自动采摘系统及方法

Also Published As

Publication number Publication date
CN115187803B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN110781827B (zh) 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
CN115187803A (zh) 一种用于名优茶嫩芽采摘过程的定位方法
CN109410321B (zh) 基于卷积神经网络的三维重建方法
CN112489212B (zh) 一种基于多源遥感数据的建筑物智能化三维测图方法
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
CN110363861B (zh) 基于激光雷达点云的田地作物三维重构方法
CN113591766B (zh) 一种无人机多源遥感的树种识别方法
CN107369161A (zh) 一种基于改进欧式聚类的散乱工件点云分割方法
CN106599915B (zh) 一种车载激光点云分类方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN109325504A (zh) 一种水下海参识别方法及系统
Li et al. A leaf segmentation and phenotypic feature extraction framework for multiview stereo plant point clouds
CN109146889A (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN115272791B (zh) 一种基于YoloV5的茶叶用多目标检测定位方法
US11556732B2 (en) Method for extracting rivet points in large scale three-dimensional point cloud base on deep learning
CN109886277B (zh) 一种基于轮廓分析的茶鲜叶识别方法
CN112819830A (zh) 基于深度学习与机载激光点云的单株树冠分割方法
CN112418330A (zh) 一种基于改进型ssd的小目标物体高精度检测方法
CN115661072A (zh) 一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法
CN113569313A (zh) 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法
CN107507192B (zh) 一种水稻剑叶夹角在体测量便携装置及在体测量方法
CN109657540A (zh) 枯死树定位方法及系统
CN117456358A (zh) 一种基于YOLOv5神经网络的植物病虫害检测方法
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法
CN115271200B (zh) 一种用于名优茶的智能连贯采摘系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant