CN116034732A - 一种串番茄模糊采摘方法 - Google Patents

一种串番茄模糊采摘方法 Download PDF

Info

Publication number
CN116034732A
CN116034732A CN202310119563.1A CN202310119563A CN116034732A CN 116034732 A CN116034732 A CN 116034732A CN 202310119563 A CN202310119563 A CN 202310119563A CN 116034732 A CN116034732 A CN 116034732A
Authority
CN
China
Prior art keywords
picking
tomatoes
end effector
fruit
tomato
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310119563.1A
Other languages
English (en)
Other versions
CN116034732B (zh
Inventor
张勤
邹旭书
庞月生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202310119563.1A priority Critical patent/CN116034732B/zh
Publication of CN116034732A publication Critical patent/CN116034732A/zh
Application granted granted Critical
Publication of CN116034732B publication Critical patent/CN116034732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D45/00—Harvesting of standing crops
    • A01D45/006—Harvesting of standing crops of tomatoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Harvesting Machines For Specific Crops (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种串番茄模糊采摘方法，包括以下步骤：通过图像采集装置对串番茄植株进行拍摄，获取待采摘的串番茄图像；对所述串番茄图像进行识别分析，根据果穗方向确定算法实时计算串番茄的果穗方向范围和果梗采摘点坐标，根据果穗的方向范围，选择末端执行器合适的采摘姿态，并以该姿态完成不同姿态目标果梗的夹持与剪切任务；根据串番茄的果梗采摘点坐标确定末端执行器的剪切位置；根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，设定辅助路径点，末端执行器经辅助路径点移动至剪切位置处，执行对串番茄的夹持和剪切动作，完成不同姿态不同位置番茄串的模糊采摘。

Description

一种串番茄模糊采摘方法
技术领域
本发明涉及农业采摘机器人技术和应用领域，具体是涉及一种串番茄模糊采摘方法。
背景技术
采摘是番茄生产过程中非常重要的一个环节，直接影响到番茄的市场价值。目前对于番茄的采摘主要还是人工进行，采摘番茄需要投入的劳动力占整个番茄生产环节中的50％～70％，想要完成对成熟番茄的采摘过程，需要投入大量的农业劳动力，这种人工采摘的方式效率较低。为了减轻果农的劳动强度和降低采摘成本，智能番茄采摘机器人的开发和应用是一个重要途径。
近年来采摘机器人在单元技术方面取得了很大进展，但在采摘方法上，目前主要通过视觉系统，精确获取果实的位置和姿态，在此基础上，控制机械臂、末端执行器完成夹持和果梗分离任务。现有的方法对视觉系统要求高，为了适应自然生长果穗的姿态，机械臂需要频繁变换采摘姿态，增加了机械臂操作复杂性。如申请公布号为CN113808194B的串番茄采摘角度获取方法、装置、电子设备及存储介质中，计算图像中所有番茄的中心位置，根据中心位置对番茄进行番茄串的聚类分析，根据番茄的中心位置对各串番茄串中的番茄进行左右分类，把番茄分类为左侧番茄或右侧番茄，最后根据左右分类的结果，获取各个番茄的采摘角度。在采摘方法上，目前主要通过视觉系统，精确获取果实的位置和姿态，在此基础上，控制机械臂、末端执行器完成夹持和果梗分离任务。现有的方法对视觉系统要求高。为了适应自然生长果穗的姿态，机械臂需要频繁变换采摘姿态，增加了机械臂操作复杂性。目前机器人采摘仍然存在采摘周期长、效率低，成本高的问题，限制了机器人在采摘实际中的应用。
发明内容
本发明针对现有串番茄采摘方法的不足，提供了一种串番茄采摘机器人模糊采摘方法，该采摘方法基于串番茄的生长特点进行采摘，通过图像采集装置对串番茄植株进行拍摄，获取待采摘的串番茄图像；对待采摘的串番茄图像进行识别分析，计算出串番茄的果穗方向和果梗采摘点坐标；根据果穗方向和果梗的采摘点坐标确定末端执行器的采摘姿态和剪切位置；根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，末端执行器移动至剪切位置处，执行对串番茄的夹持和剪切动作，完成对串番茄的采摘，有助于提高采摘效率。
本发明至少通过如下技术方案之一实现。
一种串番茄模糊采摘方法，包括以下步骤：
(1)根据串番茄的农艺特点，预先设定末端执行器的采摘姿态；
(2)通过深度摄像头对串番茄植株进行拍摄，获取待采摘的串番茄图像；
(3)图像识别系统对所述串番茄图像进行识别分析，根据果穗方向确定算法实时计算串番茄的果穗方向范围和果梗采摘点坐标，根据果穗方向范围，从预先设定的末端执行器姿态中选择合适的末端执行器采摘姿态；
(4)根据所述串番茄的果梗采摘点坐标、末端执行器的结构参数确定末端执行器的剪切位置；
(5)根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，设定辅助路径点，末端执行器以所述采摘姿态移动至所述辅助路径点，然后再移动到所述剪切位置处；
(6)末端执行器执行对串番茄的夹持和剪切动作，完成对串番茄的采摘。
优选地，在采摘空间内，预先设定末端执行器的采摘姿态，再根据果穗方向范围，从设定的采摘姿态中选择一种合适的末端执行器采摘姿态，并以该姿态完成果梗的夹持与剪切任务。
优选地，步骤(1)中，所述末端执行器的预采摘姿态设定为：1)末端执行器剪切平面与水平面夹角角度为-45°；2)末端执行器剪切平面与水平面夹角角度为0°，3)末端执行器剪切平面与水平面夹角角度45°。
优选地，所述图像识别系统包括目标检测模型，所述模型为YOLOv4模型，通过所述目标检测模型对步骤(2)中获取到的串番茄图像进行果梗和果实的目标检测。
优选地，步骤(3)中，所述串番茄的果穗方向计算方法为：采用YOLOv4模型对所述串番茄图像进行目标检测，得到串番茄的果梗ROI(感兴趣区域)和果实ROI，通过果穗方向确定算法实时计算串番茄的果穗方向范围。
优选地，所述串番茄的果穗方向分为三个方向：向前生长、向左生长、向右生长；果穗方向的角度范围确定方法为：设定串番茄的果梗直线与深度方向在水平面的投影夹角为偏转角，当偏转角在[-90°,-30°]时，果穗方向为向左生长；当偏转角在[-30°,30°]时，果穗方向为向前生长；当偏转角在[-90°,-30°]时，果穗方向为向右生长。
优选地，步骤(3)中，串番茄的果穗方向确定算法具体为：
S1、计算果梗ROI和果实ROI的竖直中轴线的x方向坐标(xc1,xc2)，公式为：
Figure BDA0004079589710000031
其中，x1为果梗ROI检测框左上顶点的x方向坐标，w1为果梗ROI检测框的宽度，x2为果实ROI检测框左上顶点的x方向坐标，w2为果梗ROI检测框的宽度；
S2、计算果梗ROI检测框的宽高比λ：
Figure BDA0004079589710000041
其中(w1,h1)为果梗ROI检测框的宽度和高度；
S3、设定果梗ROI检测框的宽高比阈值为λthreshold，根据以下公式判断果穗方向：
λ≤λthreshold，串番茄为向前生长；
λ＞λthreshold，且xc1＞xc2，串番茄为向左生长；
λ＞λthreshold，且xc1＜xc2，串番茄为向右生长。
优选地，步骤(3)中，所述末端执行器的采摘姿态为：当串番茄向左生长时，所述末端执行器剪切平面与水平面夹角角度为-45°，当串番茄向前生长时，所述末端执行器剪切平面与水平面夹角角度为0°，当串番茄向右生长时，所述末端执行器剪切平面与水平面夹角角度为45°。
优选地，步骤(4)中，所述末端执行器的剪切位置的确定方法为：所述串番茄的果梗采摘点坐标为P(Px,Py,Pz)，其中x方向为机器人行进方向，y方向为深度方向，末端执行器的剪切位置Pc与所述果梗采摘点P深度方向坐标不同，表示为Pc＝(Px,Py+m,Pz)，其中m为剪切位置与果梗采摘点的相对位置距离，根据果梗采摘点的深度以及深度摄像头的深度误差确定。
优选地，步骤(5)中，所述采摘路径的选取方法是：设定辅助路径点Pr，Pr与果梗采摘点坐标P(Px,Py,Pz)深度方向坐标不同，表示为Pr＝(Px,Py-n,Pz)，其中n为辅助路径点与果梗采摘点的相对位置距离，采摘路径经过所述辅助路径点，避免所述末端执行器与所述串番茄发生干涉。
本发明与现有技术相比具有以下有益效果：
1、本发明提出的一种串番茄模糊采摘方法，只需要知道大致的串番茄果穗姿态和果梗采摘点位置，不需要视觉系统对果实姿态以及果梗位置的准确识别，极大减少视觉定位和识别精度，且能避免不确定的自然环境对果实采摘的限制。
2、本发明只需要末端执行器三种采摘姿态，就能实现对不用生长姿态的串番茄的顺利采摘，避免机械臂不必要的姿态变换，提高采摘效率。
附图说明
为了使本技术领域的人员更好地理解本发明方案，以下将结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本实施例的一种串番茄模糊采摘方法流程图；
图2为本实施例的待采摘的串番茄图像的示意图；
图3为本实施例串番茄果穗方向为向左生长时的末端执行器采摘姿态示意图；
图4为本实施例串番茄果穗方向为向前生长时的末端执行器采摘姿态示意图；
图5为本实施例串番茄果穗方向为向右生长时的末端执行器采摘姿态示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，一种串番茄模糊采摘方法，包括以下步骤：
1)根据串番茄的农艺特点，预先设定末端执行器的采摘姿态；在采摘空间内，预先设定末端执行器的采摘姿态，再根据果穗的方向范围，从设定的采摘姿态中选择一种合适的末端执行器采摘姿态，并以该姿态完成果梗的夹持与剪切任务。
2)通过深度摄像头对串番茄植株进行拍摄，获取待采摘的串番茄图像；
3)图像识别系统对所述串番茄图像进行识别分析，根据果穗方向确定算法实时计算串番茄的果穗方向范围和果梗采摘点坐标，根据果穗的方向范围，从预先设定末端执行器姿态中选择合适的末端执行器采摘姿态；
4)根据所述串番茄的果梗采摘点坐标、末端执行器的结构参数确定末端执行器的剪切位置；
11、根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，设定辅助路径点，末端执行器以所述采摘姿态移动至所述辅助路径点，然后再移动到所述剪切位置处；通过设定剪切位置和辅助路径点，减少果梗采摘点位置误差对剪切效果的影响，实现串番茄位置的模糊采摘。
5)末端执行器执行对串番茄的夹持和剪切动作，完成对串番茄的采摘。
在某些实施例中，一种串番茄模糊采摘方法，具体流程如下：
步骤1、根据串番茄的农艺特点，预先设定末端执行器的采摘姿态；所述末端执行器的预设采摘姿态包括：1)所述末端执行器剪切平面与水平面夹角角度为-45°；2)所述末端执行器剪切平面与水平面夹角角度为0°，3)所述末端执行器剪切平面与水平面夹角角度为45°。
步骤2、通过图像采集装置对串番茄植株进行拍摄，获取待采摘的串番茄图像；
步骤3、图像识别系统对所述串番茄图像进行识别分析，根据果穗方向确定算法实时计算串番茄的果穗方向范围和果梗采摘点坐标，根据果穗的方向范围，从预先设定末端执行器姿态中选择合适的末端执行器采摘姿态；
所述串番茄的果穗方向计算方法为：采用YOLOv4模型对所述串番茄图像进行果梗和果实的目标检测，得到串番茄的果梗ROI(感兴趣区域)和果实ROI，通过果穗方向确定算法实时计算串番茄的果穗方向范围。
所述串番茄的果穗方向分为三个方向：向前生长、向左生长、向右生长。果穗方向的角度范围确定方法为：设定串番茄的果梗直线与深度方向在水平面的投影夹角为偏转角，当偏转角在[-90°，-30°]时，果穗方向为向左生长；当偏转角在[-30°,30°]时，果穗方向为向前生长；当偏转角在[-90°,-30°]时，果穗方向为向右生长。
具体的，串番茄的果穗方向确定算法为：
S1、计算果梗ROI和果实ROI的竖直中轴线的x方向坐标(xc1,xc2)，公式为：
Figure BDA0004079589710000071
其中，x1为果梗ROI检测框左上顶点的x方向坐标，w1为果梗ROI检测框的宽度，x2为果实ROI检测框左上顶点的x方向坐标，w2为果梗ROI检测框的宽度。
S2、计算果梗ROI检测框的宽高比λ，公式为：
Figure BDA0004079589710000081
其中(w1,h1)为果梗ROI检测框的宽度和高度。
S3、设定果梗ROI检测框的宽高比阈值为λthreshold，根据以下公式判断果穗方向：
λ≤λthreshold，串番茄为向前生长；
λ＞λthreshold，且xc1＞xc2，串番茄为向左生长；
λ＞λthreshold，且xc1＜xc2，串番茄为向右生长。
在某些实施例中，参考附图3，果梗ROI检测框的宽高比
Figure BDA0004079589710000082
小于阈值λthreshold，果穗方向为向前生长，所述末端执行器剪切平面与水平面夹角角度为0°。
在某些实施例中，参考附图4，果梗ROI检测框的宽高比
Figure BDA0004079589710000083
大于阈值λthreshold，且果梗ROI竖直中轴线的位于果实ROI竖直中轴线的右侧时，即满足：
Figure BDA0004079589710000084
果穗方向为向左生长，所述末端执行器剪切平面与水平面夹角角度为-45°。
在某些实施例中，参考附图5，果梗ROI检测框的宽高比
Figure BDA0004079589710000085
大于阈值λthreshold，且果梗ROI竖直中轴线的位于果实ROI竖直中轴线的左时，即满足：
Figure BDA0004079589710000086
果穗方向为向右生长，所述末端执行器剪切平面与水平面夹角角度为45°。
步骤4、根据所述串番茄的果梗采摘点坐标、末端执行器的结构参数确定末端执行器的剪切位置；
所述末端执行器的剪切位置的计算方法为：所述串番茄的果梗采摘点坐标为P(Px,Py,Pz)，其中x方向为机器人行进方向，y方向为深度方向，末端执行器的剪切位置Pc与所述果梗采摘点P深度方向坐标不同，表示为Pc＝(Px,Py+m,Pz)，其中m为剪切位置与果梗采摘点的相对位置距离，根据果梗采摘点的深度以及深度摄像头的深度误差确定。
步骤5、根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，设定辅助路径点，末端执行器以所述采摘姿态移动到所述辅助路径点，然后再移动到所述剪切位置处；
所述采摘路径的选取方法是：设定辅助路径点Pr，Pr与果梗采摘点坐标P(Px,Py,Pz)深度方向坐标不同，表示为Pr＝(Px,Py-n,Pz)，其中n为辅助路径点与果梗采摘点的相对位置距离，根据采摘末端执行器的结构确定，采摘路径经过所述辅助路径点，避免所述末端执行器与所述串番茄发生干涉。
步骤6、末端执行器执行对串番茄的夹持和剪切动作，完成对串番茄的采摘。
如上所述可较好的实现本发明。本发明提出串番茄模糊采摘方法，无需准确的知道串番茄的生长姿态，只要大致清楚串番茄的果穗姿态，就可以实时选定末端执行器的采摘工作姿态，，避免采摘过程中机械臂和末端执行器不必要的姿态转换，同时降低机器人实际需要的工作自由度数，增加了系统的控制柔性；通过设定剪切位置和辅助路径点，减少果梗采摘点位置误差对剪切效果的影响，实现不同姿态串番茄的有效采摘，大幅度提高了工作效率。结合辅助采摘点和剪切路径的设定，实现不同生长方位的串番茄的高效采摘。本发明提出的方法可以减少视觉系统负担，缩短图像处理时间，只需要末端执行器三种采摘姿态，就能实现对不用生长姿态的串番茄的顺利采摘，避免机械臂不必要的姿态变换，提高采摘效率，避免机械臂不必要的姿态变换，提高采摘效率。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种串番茄模糊采摘方法，其特征在于，包括以下步骤：
(1)根据串番茄的农艺特点，预先设定末端执行器的采摘姿态；
(2)通过深度摄像头对串番茄植株进行拍摄，获取待采摘的串番茄图像；
(3)图像识别系统对所述串番茄图像进行识别分析，根据果穗方向确定算法实时计算串番茄的果穗方向范围和果梗采摘点坐标，根据果穗方向范围，从预先设定的末端执行器姿态中选择合适的末端执行器采摘姿态；
(4)根据所述串番茄的果梗采摘点坐标、末端执行器的结构参数确定末端执行器的剪切位置；
(5)根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，设定辅助路径点，末端执行器以所述采摘姿态移动至所述辅助路径点，然后再移动到所述剪切位置处；
(6)末端执行器执行对串番茄的夹持和剪切动作，完成对串番茄的采摘。
2.根据权利要求1所述的串番茄模糊采摘方法，其特征在于，在采摘空间内，预先设定末端执行器的采摘姿态，再根据果穗方向范围，从设定的采摘姿态中选择一种合适的末端执行器采摘姿态，并以该姿态完成果梗的夹持与剪切任务。
3.根据权利要求1所述的串番茄模糊采摘方法，其特征在于，步骤(1)中，所述末端执行器的预采摘姿态设定为：1)末端执行器剪切平面与水平面夹角角度为-45°；2)末端执行器剪切平面与水平面夹角角度为0°，3)末端执行器剪切平面与水平面夹角角度45°。
4.根据权利要求1所述的串番茄模糊采摘方法，其特征在于，所述图像识别系统包括目标检测模型，所述模型为YOLOv4模型，通过所述目标检测模型对步骤(2)中获取到的串番茄图像进行果梗和果实的目标检测。
5.根据权利要求1所述的串番茄模糊采摘方法，其特征在于，步骤(3)中，所述串番茄的果穗方向计算方法为：采用YOLOv4模型对所述串番茄图像进行目标检测，得到串番茄的果梗ROI(感兴趣区域)和果实ROI，通过果穗方向确定算法实时计算串番茄的果穗方向范围。
6.根据权利要求1或5所述的串番茄模糊采摘方法，其特征在于，所述串番茄的果穗方向分为三个方向：向前生长、向左生长、向右生长；果穗方向的角度范围确定方法为：设定串番茄的果梗直线与深度方向在水平面的投影夹角为偏转角，当偏转角在[-90°,-30°]时，果穗方向为向左生长；当偏转角在[-30°,30°]时，果穗方向为向前生长；当偏转角在[-90°,-30°]时，果穗方向为向右生长。
7.根据权利要求1所述的串番茄采摘机器人模糊采摘方法，其特征在于，步骤(3)中，串番茄的果穗方向确定算法具体为：
S1、计算果梗ROI和果实ROI的竖直中轴线的x方向坐标(xc1,xc2)，公式为：
Figure FDA0004079589700000021
其中，x1为果梗ROI检测框左上顶点的x方向坐标，w1为果梗ROI检测框的宽度，x2为果实ROI检测框左上顶点的x方向坐标，w2为果梗ROI检测框的宽度；
S2、计算果梗ROI检测框的宽高比λ：
Figure FDA0004079589700000022
其中(w1,h1)为果梗ROI检测框的宽度和高度；
S3、设定果梗ROI检测框的宽高比阈值为λthreshold，根据以下公式判断果穗方向：
λ≤λthreshold，串番茄为向前生长；
λ＞λthreshold，且xc1＞xc2，串番茄为向左生长；
λ＞λthreshold，且xc1＜xc2，串番茄为向右生长。
8.根据权利要求1所述的串番茄模糊采摘方法，其特征在于，步骤(3)中，所述末端执行器的采摘姿态为：当串番茄向左生长时，所述末端执行器剪切平面与水平面夹角角度为-45°，当串番茄向前生长时，所述末端执行器剪切平面与水平面夹角角度为0°，当串番茄向右生长时，所述末端执行器剪切平面与水平面夹角角度为45°。
9.根据权利要求1所述的串番茄模糊采摘方法，其特征在于，步骤(4)中，所述末端执行器的剪切位置的确定方法为：所述串番茄的果梗采摘点坐标为P(Px,Py,Pz)，其中x方向为机器人行进方向，y方向为深度方向，末端执行器的剪切位置Pc与所述果梗采摘点P深度方向坐标不同，表示为Pc＝(Px,Py+m,Pz)，其中m为剪切位置与果梗采摘点的相对位置距离，根据果梗采摘点的深度以及深度摄像头的深度误差确定。
10.根据权利要求1所述的串番茄模糊采摘方法，其特征在于，步骤(5)中，所述采摘路径的选取方法是：设定辅助路径点Pr，Pr与果梗采摘点坐标P(Px,Py,Pz)深度方向坐标不同，表示为Pr＝(Px,Py-n,Pz)，其中n为辅助路径点与果梗采摘点的相对位置距离，采摘路径经过所述辅助路径点，避免所述末端执行器与所述串番茄发生干涉。
CN202310119563.1A 2023-02-13 2023-02-13 一种串番茄模糊采摘方法 Active CN116034732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310119563.1A CN116034732B (zh) 2023-02-13 2023-02-13 一种串番茄模糊采摘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310119563.1A CN116034732B (zh) 2023-02-13 2023-02-13 一种串番茄模糊采摘方法

Publications (2)

Publication Number Publication Date
CN116034732A true CN116034732A (zh) 2023-05-02
CN116034732B CN116034732B (zh) 2024-05-07

Family

ID=86113272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310119563.1A Active CN116034732B (zh) 2023-02-13 2023-02-13 一种串番茄模糊采摘方法

Country Status (1)

Country Link
CN (1) CN116034732B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110249785A (zh) * 2019-07-23 2019-09-20 中国农业大学 一种多机械手串番茄采摘机器人及其采摘方法
CN111937580A (zh) * 2020-07-31 2020-11-17 广东省现代农业装备研究所 一种番茄串模糊采摘装置及其采摘方法
CN113508686A (zh) * 2021-05-27 2021-10-19 中国农业大学 一种串番茄采摘末端执行器、机器人及其采摘方法
CN114846998A (zh) * 2022-05-27 2022-08-05 云南农业大学 基于YOLOv4算法的双目机器人的番茄采摘方法及系统
CN115194742A (zh) * 2022-07-07 2022-10-18 中国农业大学 一种非接触式串番茄自动采摘机械手及采摘方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110249785A (zh) * 2019-07-23 2019-09-20 中国农业大学 一种多机械手串番茄采摘机器人及其采摘方法
CN111937580A (zh) * 2020-07-31 2020-11-17 广东省现代农业装备研究所 一种番茄串模糊采摘装置及其采摘方法
CN113508686A (zh) * 2021-05-27 2021-10-19 中国农业大学 一种串番茄采摘末端执行器、机器人及其采摘方法
CN114846998A (zh) * 2022-05-27 2022-08-05 云南农业大学 基于YOLOv4算法的双目机器人的番茄采摘方法及系统
CN115194742A (zh) * 2022-07-07 2022-10-18 中国农业大学 一种非接触式串番茄自动采摘机械手及采摘方法

Also Published As

Publication number Publication date
CN116034732B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
Ling et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision
Zhao et al. A review of key techniques of vision-based control for harvesting robot
CN111602517B (zh) 一种串型水果分布式视觉主动感知方法及其应用
Han et al. Strawberry harvesting robot for bench-type cultivation
Zhaoxin et al. Design a robot system for tomato picking based on yolo v5
CN111418349B (zh) 一种水果采摘智能机器人及其实现水果采摘的方法
Smitt et al. Pathobot: A robot for glasshouse crop phenotyping and intervention
Yuan et al. An autonomous pollination robot for hormone treatment of tomato flower in greenhouse
CN112715162A (zh) 一种智能化采摘串型水果的系统
CN114902872B (zh) 一种机器人采摘果实的视觉引导方法
Rath et al. Robotic harvesting of Gerbera Jamesonii based on detection and three-dimensional modeling of cut flower pedicels
CN113065562B (zh) 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN114260895A (zh) 一种采摘机器人机械臂抓取避障方向确定的方法及其系统
Jin et al. Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape
CN116034732B (zh) 一种串番茄模糊采摘方法
Rajendran et al. Towards autonomous selective harvesting: A review of robot perception, robot design, motion planning and control
Pan et al. Panoptic mapping with fruit completion and pose estimation for horticultural robots
CN117115769A (zh) 一种基于语义分割网络的植株检测与定位方法
Feng et al. Design and test of harvesting robot for table-top cultivated strawberry
CN115451965B (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN114946439B (zh) 一种田间棉花智能精准打顶装置
CN115139315A (zh) 一种采摘机械臂抓取运动规划方法
CN110249793B (zh) 一种棚架葡萄收获的机器人末端-深度相机配置方法与伺服控制方法
Feng et al. Visual Tracking Method of Tomato Plant Main-Stems for Robotic Harvesting
JP2023500785A (ja) 統合されたレーザーと視覚により非構造的かつ多ノイズの環境において農業上の物体を検知するための、人間－ロボットによる誘導システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant