CN114842187A - 基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法 - Google Patents

基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法 Download PDF

Info

Publication number
CN114842187A
CN114842187A CN202210228036.XA CN202210228036A CN114842187A CN 114842187 A CN114842187 A CN 114842187A CN 202210228036 A CN202210228036 A CN 202210228036A CN 114842187 A CN114842187 A CN 114842187A
Authority
CN
China
Prior art keywords
key point
tea
shoot
detection model
tender
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210228036.XA
Other languages
English (en)
Inventor
李杨
董春旺
马蓉
张人天
程亦帆
姜嘉胤
王慕哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tea Research Institute Chinese Academy of Agricultural Sciences
Original Assignee
Tea Research Institute Chinese Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tea Research Institute Chinese Academy of Agricultural Sciences filed Critical Tea Research Institute Chinese Academy of Agricultural Sciences
Priority to CN202210228036.XA priority Critical patent/CN114842187A/zh
Publication of CN114842187A publication Critical patent/CN114842187A/zh
Priority to US17/986,146 priority patent/US20230289945A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，包括：首先利用图像采集设备获取若干个茶树嫩芽的茶叶嫩芽图像对，对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库；其次将所述嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库分别输入基于深度卷积神经网络的目标检测模型和关键点模型进行训练，分别得到目标检测模型和关键点检测模型；最后利用训练后的目标检测模型、关键点检测模型依次对茶树嫩芽图像对进行处理得到嫩芽关键点位置，在结合嫩芽生长特点对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。本发明提高了茶叶嫩芽采摘点定位的精度和效率。

Description

基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法
技术领域
本发明涉及人工智能识别、机器视觉及图像处理技术领域，尤其涉及一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法。
背景技术
茶叶的采摘方式主要为人工采摘和机械采摘。人工采摘具有选择性，茶叶品质高，人可以通过观察叶芽的形状、颜色等特征来判断叶芽是否适合采摘以及其品级高低，并采用折断的方式在指定的位置对茶叶嫩芽进行采摘，这种方式保证了芽形完整度，具有较高的品质，但其成本高，且因产业结构优化调整和劳动力转移，每年采茶季都会出现劳动力缺乏“用工荒”的问题。
近年来，基于视觉的自动采摘机器人被用于名优茶的采摘，其采摘点的自动识别定位成为限制其发展的关键点和重难点。名优茶质量轻，风吹或采摘机移动都会引起茶叶的摆动；茶园环境复杂，茶叶相互遮挡；光照太强或太暗，嫩芽和老叶分辨率低。这些因素使得嫩芽采摘点的识别定位非常困难，严重限制了名优茶的自动化采摘。目前所采用的茶叶嫩芽采摘点的定位方法定位精度低、效率低，为了实现采摘点的快速识别定位，保证名优茶机采效率和高质量要求，需要研发一种的名优茶采摘点位置信息获取方法。
发明内容
本发明的主要目的在于提出一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，旨在提高茶叶嫩芽采摘点定位的精度和效率。
为实现上述目的，本发明提供一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，所述基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法包括如下步骤：
获取若干个茶树嫩芽的茶叶嫩芽图像对，所述茶叶嫩芽图像对包括茶叶嫩芽热力图像和茶叶嫩芽RGB图像；
对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库；
将所述嫩芽目标检测数据库输入基于深度卷积神经网络的目标检查模型进行训练，得到训练后的目标检测模型；
将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到训练后的关键点检测模型；
利用图像采集设备拍摄待采摘茶叶嫩芽的图像对；
根据训练后的目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置；
结合根据嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。
可选地，所述对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库的步骤，包括：
对每对所述茶叶嫩芽图像对分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，得到与茶叶嫩芽图像对对应的目标标注数据和关键点标注数据；
对所述目标标注数据和所述关键点标注数据分别进行增广操作，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库。
可选地，所述将所述嫩芽目标检测数据库输入基于深度卷积神经网络的目标检测模型进行训练，得到目标检测模型的步骤，包括：
将所述嫩芽目标检测数据库按照第一预设比例划分为目标检测训练集和目标检测验证集；
将所述目标检测训练集输入基于深度卷积神经网的目标检测络模型进行训练，得到目标检测模型权重文件；
将训练后的关键点检测模型权重文件加载到关键点检测模型中，得到训练后的目标检测模型。
可选地，所述将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到关键点检测模型的步骤，包括：
将所述嫩芽关键点检测数据库按照第二预设比例划分为关键点训练集和关键点验证集；
将所述关键点训练集输入关键点检测模型进行训练，得到关键点检测模型权重文件；
将训练后的关键点检测模型权重文件加载到关键点检测模型中，得到训练后的关键点检测模型。
可选地，所述将所述关键点训练集输入关键点检测模型进行训练，得到茶叶关键点检测模型权重文件的步骤，包括：
基于HRNet网络利用pytorch程序建立改进的关键点检测模型，所述改进的关键点检测模型为将关键点检测模型的输入层改进为4通道，以用于输入热力图像和RGB图像融合后的图像；
将所述关键点训练集分批次不断迭代的输入关键点检测模型，当模型收敛，则完成关键点检测模型的训练；
根据完成训练的关键点检测模型，得到关键点检测模型权重文件。
可选地，所述关键点检测模型的损失函数为：
min L＝λ1*L1+λ2*L2+λ3*L3；
Figure BDA0003536994260000031
L2＝d(P1,C)；
L3＝d(P2,C)；
其中，λ1、λ2、λ3为L1、L2、L3的权重系数；Pk表示样本的第k个关键点，
Figure BDA0003536994260000032
表示网络预测的关键点热图，y(Pk)表示真实值得到的热图；d(P1,C)表示网络预测的茶叶嫩芽关键点到其所在矩形区域中心C的欧式距离。
可选地，所述根据训练后的目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置的步骤，包括：
通过训练后的目标检测模型对图像对进行目标检测，得到茶叶嫩芽检测结果；
通过训练后的关键点检测模型对茶叶嫩芽检测结果进行关键点检测，得到关键点位置。
可选地，所述结合嫩芽生长特点对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置的步骤，包括：
当所述嫩芽关键点为两个点时，此时d为两个关键点之间的欧式距离，利用P1和P2建立直线方程，在线段P1P2上取距离P1点距离为0.4d的点作为茶叶嫩芽采摘点位置；
当所述嫩芽关键点为一个点时，则用基于P1或P2的位置和区域生长算法进行图像分割，获得茶叶嫩芽枝干的二值化图像，在经过膨胀腐蚀操纵滤除其中的噪声，在通过直线拟合方法对二值化图像进行拟合，将关键点在直线上向下偏移预设距离后确定茶叶嫩芽采摘点位置。
本发明提供了一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法。通过上述方式，本发明能够根据茶叶嫩芽的生长姿态确定采摘点，保证所定位的采摘点坐标都落在茶叶嫩芽的叶柄上，提升了所采摘的茶叶嫩芽的完整度，同时降低了周围环境对其定位的影响，并提高了茶叶嫩芽采摘点定位的精度和效率。
附图说明
图1为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法第一实施例的流程示意图；
图2为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法的流程示意图。
图3为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法的关键点位置示意图；
图4为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法拍摄的茶叶嫩芽热力图像；
图5为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法拍摄的茶叶嫩芽RGB图像；
图6为本发明对茶叶嫩芽热力图像和茶叶嫩芽RGB图像执行目标检测模型后的效果图；
图7为对茶叶嫩芽热力图像和茶叶嫩芽RGB图像执行关键点检测模型后的效果图；
图8为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法步骤S71的流程图；
图9为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法步骤S72的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
参照图1，图1为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法第一实施例的流程示意图。
本发明实施例中，该基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法应用于嫩芽采摘点定位装置，所述方法包括：
步骤S10，获取若干个茶树嫩芽的茶叶嫩芽图像对，所述茶叶嫩芽图像对包括茶叶嫩芽热力图像和茶叶嫩芽RGB图像；
在本实施例中，为了提高茶叶嫩芽采摘点定位的精度和效率，嫩芽采摘点定位装置利用图像采集设备，于茶树嫩芽接近的高度从嫩芽侧面垂直于拍摄若干个茶树嫩芽的茶叶嫩芽图像对，实现茶叶嫩芽目标检测数据采集和茶叶嫩芽关键点检测数据采集；所述茶叶嫩芽图像对包括茶叶嫩芽热力图像和茶叶嫩芽RGB图像，所述茶叶嫩芽热力图像和所述茶叶嫩芽RGB图像为茶树嫩芽的侧视图，其中，茶叶嫩芽RGB图像为茶叶嫩芽的彩色图片，是由红绿蓝三基色组成的图像。
步骤S20，对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库；
在本实施例中，嫩芽采摘点定位装置在获取了若干个茶树嫩芽的茶叶嫩芽图像对之后，对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库。
步骤S20对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库，可以包括：
步骤S21，对每对所述茶叶嫩芽图像对分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，得到与茶叶嫩芽图像对对应的目标标注数据和关键点标注数据；
在本实施例中，在本实施例中，嫩芽采摘点定位装置在获取了若干个茶树嫩芽的茶叶嫩芽图像对之后，对每对所述茶叶嫩芽图像对分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，得到与茶叶嫩芽图像对对应的目标标注数据和关键点标注数据。其中，针对目标检测进行标注方法指对按照目标检测任务对采集数据进行标注；针对关键点检测进行标注方法指对按照关键点检测任务对采集数据进行标注；针对目标检测，对图像上茶叶嫩芽所在矩形区域进行标注，每个茶叶嫩芽的标注结果为矩形区域的左上角和右下角坐标{(x1,y1),(x2,y2)}；针对关键点检测，对茶叶嫩芽上的两个关键点进行标注，茶叶嫩芽一芽一叶芽叶连接点P1，一芽二叶对应的芽叶与枝的连接点P2，每组嫩芽的标注结果为P1、P2两个关键点的信息{(Px1,Py1,V1),(Px2,Py2,V)}，其中前两个数字为位置坐标信息，第三个数字代表可见性标志，为0表示未标记，为1表示标记但不可见，为2表示标记且可见。
步骤S22，对所述目标标注数据和所述关键点标注数据分别进行增广操作，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库。
在本实施例中，在本实施例中，嫩芽采摘点定位装置在得到了目标标注数据和关键点标注数据之后，对所述目标标注数据和所述关键点标注数据分别进行增广操作，实现数据集样本扩充，分别构建茶叶嫩芽目标检测数据库Do和茶叶嫩芽关键点检测数据库Dk。其中，增广操作包括图像平移、旋转、锐化、翻转、缩放等操作。
步骤S30，将所述嫩芽目标检测数据库输入基于深度卷积神经网络的目标检测模型进行训练，得到目标检测模型；
在本实施例中，嫩芽采摘点定位装置在得到了茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库之后，将所述嫩芽目标检测数据库输入基于深度卷积神经网络的目标检测模型进行训练，得到训练后的目标检测模型。
步骤S30将所述嫩芽目标检测数据库输入深度卷积神经网络模型进行训练，得到目标检测模型权重，可以包括：
步骤S31，将所述嫩芽目标检测数据库按照第一预设比例划分为目标检测训练集和目标检测验证集；
在本实施例中，嫩芽采摘点定位装置在得到了茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库之后，将所述嫩芽目标检测数据库按照第一预设比例划分为目标检测训练集和目标检测验证集；其中，第一预设比例为8:2。
步骤S32，将所述目标检测训练集通过基于深度卷积神经网络的目标检测模型进行训练，得到目标检测模型权重文件；
在本实施例中，嫩芽采摘点定位装置在得到了目标检测训练集之后，将所述目标训练集通过深度卷积神经网络模型进行训练，得到目标检测模型权重文件；并通过目标验证集对训练后的深度卷积神经网络模型进行验证。其中，深度卷积神经网络模型为YOLOV5m模型。
在本实施例中，嫩芽采摘点定位装置在得到了目标检测模型权重文件和目标检测模型之后，根据目标检测模型和目标检测模型权重文件，得到目标检测模型。目标检测模型和目标检测模型对应的目标检测模型权重文件共同构成目标检测模型Fo，其可以在图像上得到n个茶叶嫩芽矩形区域坐标及对应置信得分：
Figure BDA0003536994260000081
式中，((xn,yn),(xn,yn),sn)表示其中一个矩形区域的坐标和对应置信得分。
步骤S33，将训练后的目标检测模型权重文件加载到目标检测模型中，得到训练后的目标检测模型。
在本实施例中，嫩芽采摘点定位装置在得到了目标检测模型权重文件之后，将训练后的目标检测模型权重文件加载到目标检测模型中，得到训练后的目标检测模型。
步骤S40，将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到关键点检测模型；
在本实施例中，嫩芽采摘点定位装置在得到了茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库之后，将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到关键点检测模型。
步骤S40将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到关键点检测模型，可以包括：
步骤S41，将所述嫩芽关键点检测数据库按照第二预设比例划分为关键点训练集和关键点验证集；
在本实施例中，嫩芽采摘点定位装置在得到了茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库之后，将所述嫩芽关键点检测数据库按照第二预设比例划分为关键点训练集和关键点验证集；其中，第二预设比例为8:2。
步骤S42，将所述关键点训练集输入关键点检测模型进行训练，得到关键点检测模型权重文件；
在本实施例中，嫩芽采摘点定位装置在得到了关键点训练集之后，将所述关键点训练集通过关键点检测模型进行训练，得到关键点检测模型权重文件。
步骤S42将所述关键点训练集输入关键点检测模型进行训练，得到茶叶关键点检测模型权重文件，可以包括：
步骤S421，基于HRNet网络利用pytorch程序建立关键点检测模型，所述改进的关键点检测模型为将关键点检测模型的输入层改进为4通道，以用于输入热力图像和RGB图像融合后的图像；
在本实施例中，嫩芽采摘点定位装置在得到了关键点训练集之后，基于HRNet网络利用pytorch程序建立关键点检测模型。所述改进的关键点检测模型为将关键点检测模型的输入层改进为4通道，以用于输入热力图像和RGB图像融合后的图像。其中，关键点检测模型基于HRNet网络，模型输出为2个特征图，分别代表关键点P1和P2的预测图，且利用茶叶嫩芽关键点特征重新设计关键点检测模型的损失函数为：min L＝λ1*L1+λ2*L2+λ3*L3；
Figure BDA0003536994260000091
L2＝d(P1,C)；
L3＝d(P2,C)；
其中，λ1、λ2、λ3为L1、L2、L3的权重系数；Pk表示样本的第k个关键点，
Figure BDA0003536994260000092
表示网络预测的关键点热图，y(Pk)表示真实值得到的热图；d(P1,C)表示网络预测的茶叶嫩芽关键点到其所在矩形区域中心C的欧式距离。关键点检测模型的损失函数是用于对关键点检测模型进行训练时用的。
步骤S422，将所述关键点训练集分批次不断迭代的输入关键点检测模型，当模型收敛，则完成关键点检测模型的训练，得到关键点检测模型权重文件；
在本实施例中，嫩芽采摘点定位装置在建立了关键点检测模型之后，将所述关键点训练集分批次不断迭代的输入关键点检测模型，随着迭代的进行，模型会逐渐收敛，最终完成关键点检测模型的训练，得到关键点检测模型权重文件。训练过程中，训练集的损失函数趋于平稳且下降幅度较小时，则认为模型收敛，即完成训练。在本模型中，训练过程中当连续3个epoch的损失函数间的差值小于0.1时，则停止训练。
模型训练中的一次迭代过程包括正向传播和反向传播。正向传播时，训练集中一个批次的图像数据样本输入关键点检测模型，经过模型中的卷积层不断向后传播，最终会得到模型的输出结果，根据模型的输出结果对比标签文件计算模型的损失函数；反向传播时，会利用上述损失函数计算卷积层中参数的偏导数，并进行梯度回传，更新模型中各个卷积层的权重参数，从而实现模型的训练调整。
关键点检测模型和对应的权重文件共同构成函数Fk，其可以获得关键点P1、P2的位置；
Figure BDA0003536994260000101
步骤S43，将训练后的关键点检测模型权重文件加载到关键点检测模型中，得到训练后的关键点检测模型。
在本实施例中，嫩芽采摘点定位装置在得到了关键点检测模型权重文件之后，将训练后的关键点检测模型权重文件加载到关键点检测模型中，得到训练后的关键点检测模型；并通过关键点验证集对关键点检测模型进行验证。
步骤S50，利用图像采集设备拍摄待采摘茶叶嫩芽的图像对；
在本实施例中，嫩芽采摘点定位装置在得到了训练后的目标检测模型和关键点检测模型之后，利用图像采集设备拍摄待采摘茶叶嫩芽的图像对I。其中，图像对为待采摘茶叶嫩芽的热力图像和RGB图像
步骤S60，根据训练后的目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置；
在本实施例中，嫩芽采摘点定位装置在得到了图像对I之后，根据目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置。
步骤S60根据训练后的目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置，可以包括：
步骤S61，通过训练后的目标检测模型对图像对进行目标检测，得到茶叶嫩芽检测结果；
在本实施例中，嫩芽采摘点定位装置在得到了图像对I之后，通过训练后的目标检测模型对图像对进行目标检测，得到茶叶嫩芽检测结果。如图6所示，使用目标检测模型和对应的目标检测模型权重文件共同构成目标检测模型Fo对图像对进行目标检测，获得对应的茶叶嫩芽检测框，并对检测框内的图像进行裁剪，调整为固定分辨率(128*224)，得到茶叶嫩芽检测结果；其中，图6为本发明对茶叶嫩芽热力图像和茶叶嫩芽RGB图像执行目标检测模型后的效果图，图中为了便于可视化，仅在茶叶嫩芽RGB图像上显示了检测的嫩芽部分。
步骤S62，通过训练后的关键点检测模型对茶叶嫩芽检测结果进行关键点检测，得到关键点位置。
在本实施例中，嫩芽采摘点定位装置在得到了茶叶嫩芽检测结果之后，通过训练后的关键点检测模型对茶叶嫩芽检测图像对进行关键点检测，得到关键点位置。如图7所示，使用关键点检测模型和对应的关键点检测模型权重文件共同构成关键点检测模型Fk对获得茶叶嫩芽检测框内的茶叶嫩芽检测结果进行关键点的检测；图7为对茶叶嫩芽热力图像和茶叶嫩芽RGB图像执行关键点检测模型后的效果图，图中为了便于可视化，仅在茶叶嫩芽RGB图像上仅显示了检测的嫩芽部分。关键点检测模型和对应的关键点检测权重文件共同构成函数Fk，其可以获得关键点P1、P2的位置；
Figure BDA0003536994260000111
步骤S70，结合根据嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。
在本实施例中，嫩芽采摘点定位装置在得到了嫩芽关键点位置之后，结合根据嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。
步骤S70结合根据嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置，可以包括：
步骤S71，当所述嫩芽关键点为两个点时，如图8所示，即且P1和P2同时存在，此时d为两个关键点之间的欧式距离，利用P1和P2建立直线方程，根据嫩芽采摘点总在关键点下方且与关键点距离较近的特点，结合关键点位置和拟合直线方程，在线段P1P2上取距离P1点距离为0.4d的点作为茶叶的嫩芽采摘点位置。图8为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法步骤S71的流程图，为了便于可视化，图中仅在茶叶嫩芽RGB图像上展示，图中方形点表示模型检测的茶叶嫩芽关键点，三角形点表示本发明所定位的茶叶嫩芽采摘点。
步骤S72，当所述嫩芽关键点为一个点时，如图9所示，即P1或者P2仅存在一个，则用基于P1或P2的位置和区域生长算法进行图像分割，获得茶叶嫩芽枝干的二值化图像，在经过膨胀腐蚀操纵滤除其中的噪声，在通过直线拟合方法对二值化图像进行拟合，最终根据嫩芽采摘点总在关键点下方且与关键点距离较近的特点，结合关键点位置和拟合直线方程，将关键点在直线上向下偏移一定距离后确定茶叶的嫩芽采摘点位置，其中，取偏移值为5像素。图9为本发明基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法步骤S72的流程图，为了便于可视化，图中仅在茶叶嫩芽RGB图像上展示，图中最上方和最下方的方形点表示本发明所检测的茶叶嫩芽关键点采摘点；三角形点表示本发明所定位的茶叶嫩芽采摘点。
步骤S73，当获得的嫩芽关键点的数量为零个时，即未检测出关键点，则此时不采取后续操作，计算下一组图像对。
本实施例通过上述方案，根据茶叶嫩芽的生长姿态确定采摘点，保证所定位的采摘点坐标都落在茶叶嫩芽的叶柄上，提升了所采摘的茶叶嫩芽的完整度，同时降低了周围环境对其定位的影响，并提高了茶叶嫩芽采摘点定位的精度和效率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于：所述方法包括如下步骤：
获取若干个茶树嫩芽的茶叶嫩芽图像对，所述茶叶嫩芽图像对包括茶叶嫩芽热力图像和茶叶嫩芽RGB图像；
对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库；
将所述嫩芽目标检测数据库输入基于深度卷积神经网络的目标检测模型进行训练，得到训练后的目标检测模型；
将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到训练后的关键点检测模型；
利用图像采集设备拍摄待采摘茶叶嫩芽的图像对；
根据训练后的目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置；
结合嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。
2.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库的步骤，包括：
对每对所述茶叶嫩芽图像对分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，得到与茶叶嫩芽图像对对应的目标标注数据和关键点标注数据；
对所述目标标注数据和所述关键点标注数据分别进行增广操作，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库。
3.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述将所述嫩芽目标检测数据库输入基于深度卷积神经网的目标检测络模型进行训练，得到目标检测模型的步骤，包括：
将所述嫩芽目标检测数据库按照第一预设比例划分为目标检测训练集和目标检测验证集；
将所述目标检测训练集输入基于深度卷积神经网络的目标检测模型进行训练，得到目标检测模型权重文件；
将训练后的目标检测模型权重文件加载到目标检测模型中，得到训练后的目标检测模型。
4.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到关键点检测模型的步骤，包括：
将所述嫩芽关键点检测数据库按照第二预设比例划分为关键点训练集和关键点验证集；
将所述关键点训练集输入关键点检测模型进行训练，得到关键点检测模型权重文件；
将训练后的关键点检测模型权重文件加载到关键点检测模型中，得到训练后的关键点检测模型。
5.根据权利要求4所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述将所述关键点训练集通过关键点检测模型进行训练，得到茶叶关键点检测模型权重文件的步骤，包括：
基于HRNet网络利用pytorch程序建立改进的关键点检测模型，所述改进的关键点检测模型为将关键点检测模型的输入层改进为4通道，以用于输入热力图像和RGB图像融合后的图像；
将所述关键点训练集分批次不断迭代的输入关键点检测模型，当模型收敛，则完成关键点检测模型的训练，得到关键点检测模型权重文件。
6.根据权利要求5所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述关键点检测模型的损失函数为：
min L＝λ1*L1+λ2*L2+λ3*L3；
Figure FDA0003536994250000031
L2＝d(P1,C)；
L3＝d(P2,C)；
其中，λ1、λ2、λ3为L1、L2、L3的权重系数；Pk表示样本的第k个关键点，
Figure FDA0003536994250000032
表示网络预测的关键点热图，y(Pk)表示真实值得到的热图；d(P1,C)表示网络预测的茶叶嫩芽关键点到其所在矩形区域中心C的欧式距离。
7.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述根据训练后的目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置的步骤，包括：
通过训练后的目标检测模型对图像对进行目标检测，得到茶叶嫩芽检测结果；
通过训练后的关键点检测模型对茶叶嫩芽检测结果进行关键点检测，得到关键点位置。
8.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述结合嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置的步骤，包括：
当所述嫩芽关键点为两个点时，此时d为两个关键点之间的欧式距离，利用P1和P2建立直线方程，在线段P1P2上取距离P1点距离为0.4d的点作为茶叶嫩芽采摘点位置；
当所述嫩芽关键点为一个点时，则用基于P1或P2的位置和区域生长算法进行图像分割，获得茶叶嫩芽枝干的二值化图像，在经过膨胀腐蚀操纵滤除其中的噪声，在通过直线拟合方法对二值化图像进行拟合，将关键点在直线上向下偏移预设距离后确定茶叶嫩芽采摘点位置。
CN202210228036.XA 2022-03-08 2022-03-08 基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法 Pending CN114842187A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210228036.XA CN114842187A (zh) 2022-03-08 2022-03-08 基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法
US17/986,146 US20230289945A1 (en) 2022-03-08 2022-11-14 Method for positioning tea-bud picking points based on fused thermal images and rgb images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210228036.XA CN114842187A (zh) 2022-03-08 2022-03-08 基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法

Publications (1)

Publication Number Publication Date
CN114842187A true CN114842187A (zh) 2022-08-02

Family

ID=82562866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210228036.XA Pending CN114842187A (zh) 2022-03-08 2022-03-08 基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法

Country Status (2)

Country Link
US (1) US20230289945A1 (zh)
CN (1) CN114842187A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253050B (zh) * 2023-11-20 2024-03-22 华南农业大学 一种基于自适应特征提取的茶芽叶检测方法
CN117765085B (zh) * 2024-02-22 2024-06-07 华南农业大学 一种茶芽叶采摘远近交替定位方法
CN118096891A (zh) * 2024-04-24 2024-05-28 华南农业大学 一种基于采摘机器人的茶芽叶位姿估计方法和系统

Also Published As

Publication number Publication date
US20230289945A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
CN114842187A (zh) 基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法
JP7307743B2 (ja) 作業対象領域境界の取得方法および装置、並びに作業経路の計画方法
Tang et al. Recognition and localization methods for vision-based fruit picking robots: A review
CN111602517B (zh) 一种串型水果分布式视觉主动感知方法及其应用
Chen et al. A YOLOv3-based computer vision system for identification of tea buds and the picking point
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN114842188A (zh) 一种基于深度学习算法的茶叶嫩芽采摘点定位方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN115082815B (zh) 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统
CN109461184B (zh) 一种机器人机械臂抓取物体的抓取点自动定位方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN117152544B (zh) 采茶方法、设备、存储介质及装置
CN117337691B (zh) 基于深度神经网络的火龙果采摘方法及采摘机器人
CN112115885B (zh) 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
Zhang et al. A Unified Model for Real-Time Crop Recognition and Stem Localization Exploiting Cross-Task Feature Fusion
Tamas et al. Vine diseases detection trials in the carpathian region with proximity aerial images
Feng et al. Visual Tracking Method of Tomato Plant Main-Stems for Robotic Harvesting
CN113658148B (zh) 一种基于区域属性提取的中心花识别与定位方法及系统
CN117011843B (zh) 一种用于火龙果自动化采摘的图像识别与姿态评估方法
CN116645614A (zh) 一种精准作业农业机器人作业方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination