CN115082815B - 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 - Google Patents

基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 Download PDF

Info

Publication number
CN115082815B
CN115082815B CN202210859628.1A CN202210859628A CN115082815B CN 115082815 B CN115082815 B CN 115082815B CN 202210859628 A CN202210859628 A CN 202210859628A CN 115082815 B CN115082815 B CN 115082815B
Authority
CN
China
Prior art keywords
tea
picking
tea bud
bud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210859628.1A
Other languages
English (en)
Other versions
CN115082815A (zh
Inventor
姜兆亮
李鑫德
侯瑞源
陈国鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210859628.1A priority Critical patent/CN115082815B/zh
Publication of CN115082815A publication Critical patent/CN115082815A/zh
Application granted granted Critical
Publication of CN115082815B publication Critical patent/CN115082815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Environmental Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于机器视觉的茶芽采摘点定位方法、装置及采摘系统，涉及机器视觉及图像处理技术领域，用于解决现有茶芽采摘效率低、质量低的问题，该方法包括：获取茶丛的RGB图像和深度信息；利用茶芽检测网络对所述RGB图像进行茶芽检测，得到茶芽图像和对应的茶芽类型，将所述茶芽图像输入至采摘区域识别网络中识别出不同茶芽类型的茶芽采摘区域，求取茶芽采摘区域的质心像素坐标，求取茶芽采摘区域的质心像素坐标；根据深度信息和茶芽采摘区域的质心像素坐标，确定出茶芽采摘点的三维空间坐标，根据三维空间坐标采摘茶丛的茶芽。这样，可以在兼顾采摘效率的同时保证茶叶质量与茶芽的完整性，满足名优茶单芽采摘要求。

Description

基于机器视觉的茶芽采摘点定位方法、装置及采摘系统
技术领域
本发明属于机器视觉及图像处理技术领域，尤其涉及一种基于机器视觉的茶芽采摘点定位方法、装置及采摘系统。
背景技术
本部分的陈述仅仅是提供了与本申请相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。
随着茶产业的快速发展，人们对生产优质茶叶的要求越来越高。采茶是茶叶生产的前提。与其他作物的收获时间一样，茶叶的收获也是季节性和非同步的。传统的手工采茶方法效率极低，耗费耕作时间，茶叶质量因人而异，有些新手往往达不到要求。
机械采茶虽然提高了工作效率，但由于缺乏自主性，茶芽和老叶被一刀切，茶叶质量得不到保证，破坏了茶芽的完整性。同时，它也会损害茶树，降低来年的茶叶产量。目前，在茶芽的检测与识别方面，现有方法主要包括数字处理技术、基于机器学习的分类器等用于检测茶芽，也有使用Faster RCNN网络进行茶芽的检测，但是由于茶丛的背景环境复杂，茶芽体积较小，不同类型茶芽的采摘点不同，致使茶芽检测的精度不高。并且，现有方法通常只是将茶芽检测出来，机械手仍然无法得到准确的位置坐标进行采摘。
发明内容
为了解决上述问题，本发明提供一种基于机器视觉的茶芽采摘点定位方法与系统，以在兼顾采摘效率的同时保证茶叶质量与茶芽的完整性，满足名优茶单芽采摘要求。
为了实现上述目的，本发明主要包括以下几个方面：
第一方面，本发明实施例提供一种基于机器视觉的茶芽采摘点定位方法，包括：
获取茶丛的RGB图像和深度信息；
利用茶芽检测网络对所述RGB图像进行茶芽检测，得到茶芽图像和对应的茶芽类型，将所述茶芽图像输入至采摘区域识别网络中识别出不同茶芽类型的茶芽采摘区域，求取茶芽采摘区域的质心像素坐标；所述茶芽类型包括一芽一叶和一芽两叶；
根据所述深度信息和茶芽采摘区域的质心像素坐标，确定出茶芽采摘点的三维空间坐标，根据所述三维空间坐标采摘茶丛的茶芽。
在一种可能的实施方式中，所述茶芽检测网络识别出RGB图像中茶芽的位置区域，将其中的一芽一叶和一芽两叶用矩形框标注出来，通过剪裁得到矩形框内的茶芽图像，并确定茶芽图像对应的茶芽类型。
在一种可能的实施方式中，所述茶芽检测网络的茶芽检测过程包括：从所述RGB图像中提取出多个不同尺度的特征图；将多个不同尺度的特征图输入至特征金字塔网络中进行特征融合，基于融合后的特征对茶芽的位置进行预测，得到茶芽图像和对应的茶芽类型。
在一种可能的实施方式中，采用DarkNet53网络对RGB图像进行特征图的提取，该网络在特征提取时，每一个卷积层后都附带一个批归一化层和激活层，结合残差模块ResNet，输出不同尺度的特征图。
在一种可能的实施方式中，所述采摘区域识别网络的识别过程包括：获取茶芽图像，提取出茶芽的采摘区域信息，生成初始特征图；采用了多种尺度的自适应平均池化层，对所述初始特征图进行池化处理，生成多个特征图，然后将多个特征图与初始特征图连接起来，最后经过卷积层生成最终的预测图；根据所述预测图，确定茶芽采摘区域。
在一种可能的实施方式中，确定茶芽采摘区域的图像空间矩，根据零阶空间矩和一阶空间矩，确定茶芽采摘区域的质心像素坐标。
在一种可能的实施方式中，所述深度信息包括深度贴图参数、图像中心坐标和用于获取RGB图像的相机光学系统的内部参数。
在一种可能的实施方式中，采用如下方式计算茶芽采摘点的三维空间坐标：
；
；
；
其中，X是相对于图像中心在X轴上的距离投影，Y是相对于图像中心在Y轴上的距离投影，Z是相对于图像中心在Z轴上的距离投影，（x0，y0）是图像中检测对象中心的像素坐标，是具有坐标（x0，y0）点处深度贴图的值，Cx是图像中心沿X轴的像素坐标，Cy是图像中心沿Y轴的像素坐标，fx和fy分别是用于获取RGB图像的相机光学系统的内部参数。
第二方面，本发明实施例提供一种基于机器视觉的茶芽采摘点定位装置，包括：
获取模块，用于获取茶丛的RGB图像和深度信息；
检测模块，用于利用茶芽检测网络对所述RGB图像进行茶芽检测，得到茶芽图像和对应的茶芽类型，将所述茶芽图像输入至采摘区域识别网络中识别出不同茶芽类型的茶芽采摘区域，求取茶芽采摘区域的质心像素坐标；所述茶芽类型包括一芽一叶和一芽两叶；
定位模块，用于根据所述深度信息和茶芽采摘区域的质心像素坐标，确定出茶芽采摘点的三维空间坐标，根据所述三维空间坐标采摘茶丛的茶芽。
第三方面，本发明实施例提供一种茶芽采摘系统，包括：工控机，以及与所述工控机通信连接的行走机构、采摘机械臂、RGB-D深度相机和采摘机械手；所述RGB-D深度相机用于采集茶丛的RGB图像和深度信息；所述工控机用于执行如上述第一方面，以及第一方面的任一中可能的实施方式中所述的基于机器视觉的茶芽采摘点定位方法，并控制所述行走机构、采摘机械臂和采摘机械手按照所确定的三维空间坐标进行茶芽的采摘。
本发明的有益效果是：
（1）通过获取茶丛的RGB图像和深度信息，检测RGB图像中的茶芽，由于不同茶芽类型的采摘区域不同，因此根据需求将茶芽图像输入至采摘区域识别网络进行不同茶芽类型采摘区域的识别，并求取茶芽采摘区域的质心像素坐标，进而根据质心像素坐标和深度信息，确定出茶芽采摘点的三维空间坐标，这样，通过所确定的三维空间坐标采摘茶丛的茶芽，可以在兼顾采摘效率的同时有效地保证茶叶质量与茶芽的完整性，满足名优茶单芽采摘要求，并且在检测到茶芽的基础上进一步识别茶芽采摘区域，求取质心像素坐标，可以提高茶芽采摘点定位的准确率。
（2）相较于现有方法，提出根据茶芽采摘区域的质心像素坐标和深度信息确定茶芽采摘点的三维空间坐标，可以有效地辅助机械臂进行精准采摘。
（3）本发明所提出的基于机器视觉的茶芽采摘点定位方法可以部署到多台采茶机器人上进行协同作业，大大提高了作业效率，缓解了劳动力不足的问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例所提供的基于机器视觉的茶芽采摘点定位方法的流程示意图之一；
图2是本发明实施例所提供的基于机器视觉的茶芽采摘点定位方法的流程示意图之二；
图3是本发明实施例所提供的茶芽检测网络的结构示意图；
图4是本发明实施例所提供的采摘区域识别网络的结构示意图；
图5是本发明实施例所提供的采摘点三维定位示意图；
图6是本发明实施例所提供的基于机器视觉的茶芽采摘点定位装置的结构示意图；
图7是本发明实施例所提供的茶芽采摘系统的整体结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
传统的手工采茶方法效率极低，茶叶质量因人而异，有些新手往往达不到要求。现有机械采茶虽然提高了工作效率，但由于缺乏自主性，茶芽和老叶被一刀切，茶叶质量得不到保证，破坏了茶芽的完整性，同时，它也会损害茶树，降低来年的茶叶产量。为了解决这一问题，本实施例提出了一种基于机器视觉的茶芽采摘点定位方法、装置及采摘系统，该茶芽采摘定位方法整体上分为三个部分，包括茶芽检测网络、采摘区域识别网络和采摘点定位方法，以实现茶芽的高精度检测、采摘点的准确定位，可以有效地解决茶芽采摘效率低或质量低的问题。
请参阅图1，图1是本发明实施例所提供的基于机器视觉的茶芽采摘点定位方法的流程示意图之一，如图1中所示，本实施例所提供的基于机器视觉的茶芽采摘点定位方法，具体包括以下步骤：
S101：获取茶丛的RGB图像和深度信息。
在具体实施中，RGB图像指的是用红(R)、绿(G)、蓝(B)三个颜色通道模式显示的图像，深度信息包括深度贴图参数、图像中心坐标和用于获取RGB图像的相机光学系统的内部参数。RGB图像和深度信息是相互对应的，可以通过RGB-D深度相机获取茶丛的RGB图像和深度信息。
S102：利用茶芽检测网络对所述RGB图像进行茶芽检测，得到茶芽图像和对应的茶芽类型，将所述茶芽图像输入至采摘区域识别网络中识别出不同茶芽类型的茶芽采摘区域，求取茶芽采摘区域的质心像素坐标；所述茶芽类型包括一芽一叶和一芽两叶。
在具体实施中，本实施例首先利用茶芽检测网络对RGB图像进行茶芽检测，将茶芽类型分为一芽一叶和一芽两叶，不同类型茶芽的采摘区域不同，比如一芽一叶的采摘区域是顶芽的第一个茎节点到第二个茎节点的节间区域，一芽两叶的采摘区域是自顶芽起，第二个茎节点到第三个茎节点的节间区域。RGB图像经过茶芽检测网络，输出得到茶芽图像和对应的茶芽类型，针对不同茶芽类型的茶芽图像分别输入至采摘区域识别网络中进行不同茶芽类型采摘区域的识别，求取茶芽采摘区域的质心像素坐标，以作为采摘点的二维像素坐标。将质心像素坐标映射到RGB图像中，即可得到RGB图像中每个采摘点的像素坐标，采摘点的像素坐标与RGB-D相机获得的深度信息相结合，可以得到采摘点的三维空间坐标，供机械臂进行采摘。
S103：根据所述深度信息和茶芽采摘区域的质心像素坐标，确定出茶芽采摘点的三维空间坐标，根据所述三维空间坐标采摘茶丛的茶芽。
在具体实施中，在获得RGB图像上采摘点像素坐标后，来自RGB-D相机深度图的以毫米为单位的距离信息被借助用来计算相对于相机中心的采摘点的三维空间坐标。其主要原理就是借助相机焦距与深度信息、等效成像平面上采摘点像素坐标与三维空间坐标的相似关系，得到相机坐标系下的采摘点空间坐标，用于指导机械臂对茶芽进行采摘。
本实施例提供一种基于机器视觉的茶芽采摘点定位方法，如图2中所示，通过获取茶丛的RGB图像和深度信息，利用茶芽检测网络确定出RGB图像中的茶芽图像和对应的茶芽类型，将茶芽图像输入至与采摘区域识别网络进行不同茶芽类型采摘区域的识别，并求取茶芽采摘区域的质心像素坐标，进而根据质心像素坐标和深度信息，确定出茶芽采摘点的三维空间坐标，这样，通过所确定的三维空间坐标采摘茶丛的茶芽，可以在兼顾采摘效率的同时有效地保证茶芽的完整性与质量，满足名优茶单芽采摘要求，并且在检测到茶芽的基础上进一步识别茶芽采摘区域，求取质心像素坐标，可以提高茶芽采摘点定位的准确率。
本实施例中，作为一可选实施方式，茶芽检测网络识别出RGB图像中茶芽的位置区域，将其中的一芽一叶和一芽两叶用矩形框标注出来，通过剪裁得到矩形框内的茶芽图像，并确定茶芽图像对应的茶芽类型。这样，可以针对每一个茶芽图像分别进行采摘区域的识别，有利于提高采摘点的准确定位。
本实施例中，作为一可选实施方式，茶芽检测网络的茶芽检测过程包括：从所述RGB图像中提取出多个不同尺度的特征图；将多个不同尺度的特征图输入至特征金字塔网络中进行特征融合，基于融合后的特征对茶芽的位置进行预测，得到茶芽图像和对应的茶芽类型。可选的，采用DarkNet53网络对RGB图像进行特征图的提取，该网络在特征提取时，每一个卷积层后都附带一个批归一化层和激活层，结合残差模块ResNet，输出不同尺度的特征图。
在具体实施中，本发明实施例基于YOLO v3网络构建茶芽检测网络，YOLO v3是对深度卷积神经网络 YOLO 的改进，利用多尺度检测和残差网络实现目标检测，在目标检测方面具有实时性、泛化能力强、精度高等优势。如图3中所示，茶芽检测网络的结构主要包括特征提取网络、特征金字塔FPN以及预测网络三个部分，其中DarkNet53网络结构被用作特征提取网络，该网络在特征提取时，每一个卷积层后都附带一个批归一化层BN和ReLU激活层，结合残差模块ResNet，实现网络深度的增加，并且避免出现梯度爆炸，输出13×13、26×26、52×52三种尺度的特征图。然后三种特征被输入FPN特征金字塔进行融合，实现深层与浅层特征的融合，该结构有利于实现不同目标大小的茶芽检测；最后将特征分别输入预测网络中实现一芽一叶与一芽两叶的位置预测。
作为一可选实施方式，采摘区域识别网络的识别过程包括：获取茶芽图像，提取出茶芽的采摘区域信息，生成初始特征图；采用了多种尺度的自适应平均池化层，对所述初始特征图进行池化处理，生成多个特征图，然后将多个特征图与初始特征图连接起来，最后经过卷积层生成最终的预测图；根据所述预测图，确定茶芽采摘区域。
在具体实施中，基于金字塔场景解析网络（PSPNet）网络构建采摘区域识别网络，金字塔场景解析网络是经典的语义分割网络模型，全局的自适应池化方式使得整体的语义分割效果较好。如图4中所示，给定输入图像（茶芽图像），预训练的ResNet 中包含101个卷积组，每一个卷积组包含卷积、批次正则化及ReLu激活操作，用于提取一芽一叶与一芽两叶采摘区域信息，生成初始特征图。金字塔池模块被用于收集上下文信息，它采用了4种尺度的自适应平均池化层，最终生成尺寸比为1:2:3:6的特征图。然后将其与初始特征图连接起来。最后经卷积层生成中的最终预测图。
在使用茶芽检测网络和采摘区域识别网络之前，需要对其参数进行训练，训练过程为：建立茶芽检测数据集与采摘点识别数据集。首先，选定固定的拍摄角度，拍摄不同茶芽姿态以及天气状况下的茶芽图片。对采集到的5500余张样本进行人为的选择与调整，从中优选出4800张使用LabelImg对图像中的一芽一叶和一芽两叶进行标注，建立茶芽检测数据库，用于训练茶芽检测网络，其中训练集、验证集与测试集按8:1:1的比例随机分配。其次，使用LabelMe标注2000张茶芽图片中的一芽一叶和一芽两叶采摘区域，建立采摘区域识别数据库，用于训练采摘区域识别网络。其中训练集、验证集与测试集按8:1:1的比例随机分配。常用的数据增强技术主要包括镜像操作、旋转、缩放、剪裁、平移以及添加噪声等。最后，对数据库中的样本随机进行水平镜像与添加噪声操作，使茶芽识别数据库扩增为9600张，采摘区域识别数据库扩增为4000张。
作为一可选实施方式，确定茶芽采摘区域的图像空间矩，根据零阶空间矩和一阶空间矩，确定茶芽采摘区域的质心像素坐标。
在具体实施中，在使用PSPNet确定RGB图像上茶芽的采摘区域后，采摘点被确定为采摘区域的质心。采摘点的确定是由采摘区域的图像空间矩确定的，进而根据零阶空间矩和一阶空间矩，确定茶芽采摘区域的质心像素坐标。图像空间矩的计算公式如下：
；
其中，x代表某像素点在像素坐标系中的横坐标，y代表该像素点在像素坐标系中的纵坐标，array(x,y)是该点的像素值，j,i分别代表区域在x方向和y方向的阶数。
区域质心的横坐标（x0）与纵坐标（y0）的计算公式为：
；
这里，当j=0，i=1或j=1，i=0时，mom01、mom10称为一阶空间矩；当j=i=0时，mom00称为零阶空间矩。
本实施例中，作为一可选实施方式，深度信息包括深度贴图参数、图像中心坐标和用于获取RGB图像的相机光学系统的内部参数。采用如下方式计算茶芽采摘点的三维空间坐标：
；
；
；
其中，X是相对于图像中心在X轴上的距离投影（单位：mm），Y是相对于图像中心在Y轴上的距离投影（单位：mm），Z是相对于图像中心在Z轴上的距离投影（单位：mm），（x0，y0）是图像中检测对象中心的像素坐标，是具有坐标（x0，y0）点处深度贴图的值，Cx是图像中心沿X轴的像素坐标，Cy是图像中心沿Y轴的像素坐标，fx和fy分别是用于获取RGB图像的相机光学系统的内部参数，具体为沿X和Y轴的焦距。
请参阅图6，图6是本发明实施例所提供的基于机器视觉的茶芽采摘点定位装置的结构示意图，如图6中所示，本发明实施例还提供一种基于机器视觉的茶芽采摘点定位装置，所述茶芽采摘点定位装置600，包括：
获取模块610，用于获取茶丛的RGB图像和深度信息；
检测模块620，用于利用茶芽检测网络对所述RGB图像进行茶芽检测，得到茶芽图像和对应的茶芽类型，将所述茶芽图像输入至采摘区域识别网络中识别出不同茶芽类型的茶芽采摘区域，求取茶芽采摘区域的质心像素坐标；所述茶芽类型包括一芽一叶和一芽两叶；
定位模块630，用于根据所述深度信息和茶芽采摘区域的质心像素坐标，确定出茶芽采摘点的三维空间坐标，根据所述三维空间坐标采摘茶丛的茶芽。
本实施例提供的基于机器视觉的茶芽采摘点定位装置用于实现前述的基于机器视觉的茶芽采摘点定位方法，因此基于机器视觉的茶芽采摘点定位装置中的具体实施方式可见前文中的基于机器视觉的茶芽采摘点定位方法的实施例部分，在此不再进行赘述。
请参阅图7，图7是本发明实施例所提供的茶芽采摘系统的整体结构示意图，如图7中所示，本发明实施例还提供一种茶芽采摘系统，包括：工控机2，以及与所述工控机2通信连接的行走机构1、采摘机械臂3、RGB-D深度相机4和采摘机械手5；所述RGB-D深度相机4用于采集茶丛的RGB图像和深度信息；所述工控机2用于执行上述的基于机器视觉的茶芽采摘点定位方法，并控制所述行走机构1、采摘机械臂3和采摘机械手5按照所确定的三维空间坐标进行茶芽的采摘。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于机器视觉的茶芽采摘点定位方法，其特征在于，包括：
获取茶丛的RGB图像和深度信息；利用茶芽检测网络对所述RGB图像进行茶芽检测，得到茶芽图像和对应的茶芽类型，将所述茶芽图像输入至采摘区域识别网络中识别出不同茶芽类型的茶芽采摘区域，确定茶芽采摘区域的图像空间矩，根据零阶空间矩和一阶空间矩，确定茶芽采摘区域的质心像素坐标；所述茶芽类型包括一芽一叶和一芽两叶；
根据所述深度信息和茶芽采摘区域的质心像素坐标，确定出茶芽采摘点的三维空间坐标，根据所述三维空间坐标采摘茶丛的茶芽；其中，图像空间矩的计算公式如下：
；
其中，x代表像素点在像素坐标系中的横坐标，y代表像素点在像素坐标系中的纵坐标，array(x,y)是该像素点的像素值，j,i分别代表区域在x方向和y方向的阶数；
区域质心的横坐标x 0 与纵坐标y 0 的计算公式为：
；
这里，当j=0，i=1或j=1，i=0时，mom 01 、mom 10 称为一阶空间矩；当j=i=0时，mom 00 称为零阶空间矩；
所述深度信息包括深度贴图参数、图像中心坐标和用于获取RGB图像的相机光学系统的内部参数；采用如下方式计算茶芽采摘点的三维空间坐标：
；
；
；
其中，X是相对于图像中心在X轴上的距离投影，Y是相对于图像中心在Y轴上的距离投影，Z是相对于图像中心在Z轴上的距离投影，是具有坐标（x0，y0）点处深度贴图的值，Cx是图像中心沿X轴的像素坐标，Cy是图像中心沿Y轴的像素坐标，fx和fy分别是用于获取RGB图像的相机光学系统的内部参数。
2.如权利要求1所述的基于机器视觉的茶芽采摘点定位方法，其特征在于，所述茶芽检测网络识别出RGB图像中茶芽的位置区域，将其中的一芽一叶和一芽两叶用矩形框标注出来，通过剪裁得到矩形框内的茶芽图像，并确定茶芽图像对应的茶芽类型。
3.如权利要求1所述的基于机器视觉的茶芽采摘点定位方法，其特征在于，所述茶芽检测网络的茶芽检测过程包括：从所述RGB图像中提取出多个不同尺度的特征图；将多个不同尺度的特征图输入至特征金字塔网络中进行特征融合，基于融合后的特征对茶芽的位置进行预测，得到茶芽图像和对应的茶芽类型。
4.如权利要求3所述的基于机器视觉的茶芽采摘点定位方法，其特征在于，采用DarkNet53网络对RGB图像进行特征图的提取，该网络在特征提取时，每一个卷积层后都附带一个批归一化层和激活层，结合ResNet残差模块，输出不同尺度的特征图。
5.如权利要求1所述的基于机器视觉的茶芽采摘点定位方法，其特征在于，所述采摘区域识别网络的识别过程包括：获取茶芽图像，提取出茶芽的采摘区域信息，生成初始特征图；采用了多种尺度的自适应平均池化层，对所述初始特征图进行池化处理，生成多个特征图，然后将多个特征图与初始特征图连接起来，最后经过卷积层生成最终的预测图；根据所述预测图，确定茶芽采摘区域。
6.一种基于机器视觉的茶芽采摘点定位装置，其特征在于，包括：
获取模块，用于获取茶丛的RGB图像和深度信息；
检测模块，用于利用茶芽检测网络对所述RGB图像进行茶芽检测，得到茶芽图像和对应的茶芽类型，将所述茶芽图像输入至采摘区域识别网络中识别出不同茶芽类型的茶芽采摘区域，确定茶芽采摘区域的图像空间矩，根据零阶空间矩和一阶空间矩，确定茶芽采摘区域的质心像素坐标；所述茶芽类型包括一芽一叶和一芽两叶；
定位模块，用于根据所述深度信息和茶芽采摘区域的质心像素坐标，确定出茶芽采摘点的三维空间坐标，根据所述三维空间坐标采摘茶丛的茶芽；其中，图像空间矩的计算公式如下：
；
其中，x代表像素点在像素坐标系中的横坐标，y代表像素点在像素坐标系中的纵坐标，array(x,y)是该像素点的像素值，j,i分别代表区域在x方向和y方向的阶数；
区域质心的横坐标x0与纵坐标y0的计算公式为：
；
这里，当j=0，i=1或j=1，i=0时，mom01、mom10称为一阶空间矩；当j=i=0时，mom00称为零阶空间矩；
所述深度信息包括深度贴图参数、图像中心坐标和用于获取RGB图像的相机光学系统的内部参数；采用如下方式计算茶芽采摘点的三维空间坐标：
；
；
；
其中，X是相对于图像中心在X轴上的距离投影，Y是相对于图像中心在Y轴上的距离投影，Z是相对于图像中心在Z轴上的距离投影，是具有坐标（x0，y0）点处深度贴图的值，Cx是图像中心沿X轴的像素坐标，Cy是图像中心沿Y轴的像素坐标，fx和fy分别是用于获取RGB图像的相机光学系统的内部参数。
7.一种茶芽采摘系统，其特征在于，包括：工控机，以及与所述工控机通信连接的行走机构、采摘机械臂、RGB-D深度相机和采摘机械手；所述RGB-D深度相机用于采集茶丛的RGB图像和深度信息；所述工控机用于执行如权利要求1至权利要求5任一项所述的基于机器视觉的茶芽采摘点定位方法，并控制所述行走机构、采摘机械臂和采摘机械手按照所确定的三维空间坐标进行茶芽的采摘。
CN202210859628.1A 2022-07-22 2022-07-22 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 Active CN115082815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210859628.1A CN115082815B (zh) 2022-07-22 2022-07-22 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210859628.1A CN115082815B (zh) 2022-07-22 2022-07-22 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统

Publications (2)

Publication Number Publication Date
CN115082815A CN115082815A (zh) 2022-09-20
CN115082815B true CN115082815B (zh) 2023-04-07

Family

ID=83243312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210859628.1A Active CN115082815B (zh) 2022-07-22 2022-07-22 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统

Country Status (1)

Country Link
CN (1) CN115082815B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861988B (zh) * 2023-03-01 2023-05-09 四川省农业机械研究设计院 一种基于rgb区分度的茶叶采摘方法和系统
CN116138036B (zh) * 2023-03-24 2024-04-02 仲恺农业工程学院 一种用于名优茶嫩芽采摘的二次定位方法
CN117152544B (zh) * 2023-10-31 2024-03-15 锐驰激光(深圳)有限公司 采茶方法、设备、存储介质及装置
CN117876649A (zh) * 2024-01-08 2024-04-12 华南农业大学 一种茶叶嫩芽识别及其位姿确定方法及设备
CN117616999A (zh) * 2024-01-08 2024-03-01 华南农业大学 一种智能茶叶采摘执行器、装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125291A (ja) * 1997-06-30 1999-01-29 Kazunari Era 三次元画像データおよびその作成方法およびその表示方法
WO2020217360A1 (ja) * 2019-04-24 2020-10-29 日本電気株式会社 カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013206691A1 (en) * 2013-07-04 2015-01-22 Canon Kabushiki Kaisha Three dimensional estimation using two dimensional surface calibration
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
CN108010036B (zh) * 2017-11-21 2020-01-21 江南大学 一种基于rgb-d相机的物体对称轴检测方法
CN109506589B (zh) * 2018-12-25 2020-07-28 东南大学苏州医疗器械研究院 一种基于结构光场成像的三维轮廓测量方法
US11327021B1 (en) * 2020-04-23 2022-05-10 Jiangsu University Method and device for crop canopy chlorophyll fluorescence three-dimensional distribution information acquisition
US20200294269A1 (en) * 2020-05-28 2020-09-17 Intel Corporation Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift
CN114119574A (zh) * 2021-11-30 2022-03-01 安徽农业大学 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法
CN114431005A (zh) * 2022-02-11 2022-05-06 苏州书农科技有限公司 智能化农业果实采摘识别与定位方法、系统及装置
CN114568126A (zh) * 2022-03-17 2022-06-03 南京信息工程大学 一种基于机器视觉的采茶机器人及工作方法
CN114679963B (zh) * 2022-04-27 2023-03-07 中国农业大学 一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125291A (ja) * 1997-06-30 1999-01-29 Kazunari Era 三次元画像データおよびその作成方法およびその表示方法
WO2020217360A1 (ja) * 2019-04-24 2020-10-29 日本電気株式会社 カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
CN115082815A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN115082815B (zh) 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
US20180012411A1 (en) Augmented Reality Methods and Devices
Chen et al. A YOLOv3-based computer vision system for identification of tea buds and the picking point
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN109086675B (zh) 一种基于光场成像技术的人脸识别及攻击检测方法及其装置
WO2022165739A1 (zh) 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置
CN111862201A (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN113177977A (zh) 一种非接触式三维人体尺寸的测量方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN107610086A (zh) 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法
CN112184734A (zh) 一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
CN115019302A (zh) 一种改进型yolox目标检测模型构建方法及其应用
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113313047A (zh) 一种基于车道结构先验的车道线检测方法及系统
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
CN116682106A (zh) 一种基于深度学习的柑橘木虱智能检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant