CN115330868A - 一种基于深度学习与深度信息融合的葡萄采摘方法 - Google Patents

一种基于深度学习与深度信息融合的葡萄采摘方法 Download PDF

Info

Publication number
CN115330868A
CN115330868A CN202210963320.1A CN202210963320A CN115330868A CN 115330868 A CN115330868 A CN 115330868A CN 202210963320 A CN202210963320 A CN 202210963320A CN 115330868 A CN115330868 A CN 115330868A
Authority
CN
China
Prior art keywords
grape
depth
point
roi
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210963320.1A
Other languages
English (en)
Inventor
胥芳
林孟楠
陈教料
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210963320.1A priority Critical patent/CN115330868A/zh
Publication of CN115330868A publication Critical patent/CN115330868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/28—Vintaging machines, i.e. grape harvesting machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习与深度信息融合的葡萄采摘方法，包括采集葡萄的图片。本方法为了在获取葡萄采摘点的过程中，减少背景对图像处理的干扰，使图像处理结果更加准确，在轮廓检测的过程中引入深度信息，通过比较深度信息对葡萄目标点进行标记，再根据标记点的值转化为二值图，结合canny算法，减少了环境相近颜色及背景信息的干扰，提升了轮廓检测的准确性；由于葡萄的ROI区存在葡萄及少许背景信息，因此采用葡萄轮廓内的深度计算方法代替用ROI区内所有深度值的平均值来推测果梗所在深度区间的方法，所获得的深度区间更小，可排除的背景信息更多，受到的环境干扰更少，结果更加准确，且只需对葡萄进行检测，无需对果梗检测，降低硬件的要求。

Description

一种基于深度学习与深度信息融合的葡萄采摘方法
技术领域
本发明属于水果智能采摘领域，具体涉及一种基于深度学习与深度信息融合的葡萄采摘方法。
背景技术
庞大的果蔬市场，但机械化程度不高，其中蔬菜生产综合机械化水平只有20％～30％，很多环节的机械化技术还处于实验室和试验示范阶段，没有得到实际应用。水果械化水平更低，特别是种植在丘陵山区的水果，基本全部依靠农民手工种植。随着我国步入老龄化社会，劳动力不断减少，农业劳动力老龄化会直接影响劳动生产效率。
对于葡萄，由于生长环境复杂和无损采摘要求，葡萄采摘仍采用手工采摘的方式。随着农业劳动力的短缺和采摘成本的不断增加，葡萄采摘机器人的使用意义重大，具有广阔的市场前景
葡萄及果梗的准确识别对采摘机器人至关重要。目前为止，葡萄的识别主要分为两大类：图像处理方法及深度学习方法。图像处理的方法如：大津算法(Otsu algorithm)、K均值聚类算法(K-means algorithm)、支持向量机(support vector machines)等方法，这些方法都是基于葡萄的颜色、形状和质地。当葡萄受到不均匀的照明并且葡萄之间存在遮挡时，识别精度会显著降低；深度学习的方法如：双阶段的RCNN、FasterRCNN；单阶段的YOLOv3、BPNN(反向传播神经网络)，主要是对神经网络进行训练，得到识别模型，对葡萄及果梗进行检测，这类方法实时性较高，缺点是对硬件的要求较高。
发明内容
本发明的目的在于针对解决背景技术中提出的问题，提出一种基于深度学习与深度信息融合的葡萄采摘方法。
为实现上述目的，本发明所采取的技术方案为：
本发明提出的一种基于深度学习与深度信息融合的葡萄采摘方法，包括采集葡萄的图片，获取RGB图及深度图，并将两者对应的像素点叠加后，输入至训练好的葡萄识别模型，得到可采摘的葡萄的ROI区域。
利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓，利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域，然后利用葡萄轮廓内的深度信息得到果梗的深度区间。
结合果梗的深度区间对果梗的ROI区域内的深度图二值化处理，得到果梗的二值图。
将果梗的二值图与果梗的ROI区域图掩膜叠加，得到剔除背景的果梗的RGB图，再进行灰度转化、双边滤波及图像细化处理，得到果梗的骨骼图。
剔除果梗的骨骼图中边缘以及与垂直方向夹角较大的骨骼线，并筛选出最长的骨骼线计算得到的中点，为对应的二维采摘点。
以二维采摘点为中心，选取n×n的范围并遍历范围内的每个点，剔除深度值不在果梗深度区间的点，取剩余点的深度值的平均值作为采摘点的深度值。
将二维采摘点和采摘点的深度值结合，得到三维的采摘点，再配合采摘葡萄的机械臂的执行器，完成对葡萄的采摘，直至所有葡萄都采摘完成。
优选地，葡萄识别模型训练时，按照不同角度、不同天气状态和不同时间段采集葡萄的图片若干张，对每张图片中葡萄所在的区域进行标注，并划分为训练集图片和验证集图片，将每张训练集图片利用深度学习模型识别训练，得到葡萄识别模型，并用验证集图片对得到的葡萄识别模型进行验证。
优选地，葡萄识别模型为YOLOv5s。
优选地，用验证集图片对得到的葡萄识别模型进行验证包括：通过计算葡萄识别模型的精度和召回率，并将精度及召回率绘制P-R曲线，进一步计算出平均精度，平均精度值越大，表示葡萄识别模型越可靠。
且，
Figure BDA0003793691600000021
Figure BDA0003793691600000031
其中，Precision表示葡萄识别模型的精度，Recall表示葡萄识别模型的召回率，TP表示真的正样本数，FP表示假的负样本数，FN表示真的负样本数。
优选地，所述利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓包括：
用葡萄的ROI区域内的平均深度剔除部分背景，以从左往右、自上而下的顺序遍历葡萄的ROI区域内所有点，根据目标葡萄点的深度值与周围点深度值的特征，对目标葡萄点进行标记，根据标记点的值对图像进行二值化后，输入至canny算法中检测得到葡萄轮廓，且
Figure BDA0003793691600000032
M(x,y)＝f(x,y)*Sobelx(x,y)+f(x,y)*Sobely(x,y)。
Figure BDA0003793691600000033
其中，d(x,y)为在点(x,y)处的深度值，δ为深度差阈值，f(x,y)为在点(x,y)处的标记值，M(x,y)为在点(x,y)处的梯度，θM为在点(x,y)处的梯度方向，Sobelx(x,y)、Sobely(x,y)分别为水平、垂直方向上的三阶Sobel算子。
所述利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域包括：
根据葡萄的ROI区域的位置及尺寸，引入系数矩阵
Figure BDA0003793691600000034
并通过葡萄的ROI区域，计算获得果梗的ROI区域如下，且以YOLO格式表示：
Figure BDA0003793691600000035
Figure BDA0003793691600000036
其中，x1、y1、w1、h1表示为YOLO格式下葡萄的ROI区域，xstem、ystem、wstem、hstem表示为YOLO格式下果梗的ROI区域，ρ、σ、τ、
Figure BDA0003793691600000037
表示为0-1的数值。
所述然后利用葡萄轮廓内的深度信息得到果梗的深度区间包括：
利用葡萄轮廓的深度信息结合修正系数，得到果梗的深度区间如下：
dmin≤d≤dmin+Δw。
而，
Figure BDA0003793691600000041
其中，d表示果梗上任一点的深度值，dmin表示葡萄轮廓内的最小深度值，(x1,y1)表示葡萄轮廓中最左侧的点，d(x1,y1)表示点(x1,y1)处的深度值，(x2,y2)表示葡萄轮廓中最右侧的点，d(x2,y2)表示点(x2,y2)处的深度值，Δw表示果梗的ROI区域帧图像像素宽度，α、β表示修正系数。
优选地，结合果梗的深度区间对果梗的ROI区域内的深度图二值化处理，得到果梗的二值图包括：
对果梗的ROI区域内符合深度值在深度区间的像素点的值设为255，不符合的像素点的值设为0，得到：
Figure BDA0003793691600000042
其中，d(x,y)表示在点(x,y)处的深度值，τ(x,y)表示在点(x,y)处二值化后的值。
优选地，将果梗的二值图与果梗的ROI区域图掩膜叠加，得到剔除背景的果梗的RGB图，再进行灰度转化、双边滤波及图像细化处理，得到果梗的骨骼图，包括：
灰度转化：
Figure BDA0003793691600000043
双边滤波：
Figure BDA0003793691600000044
其中，Gray(x,y)表示在点(x,y)处的灰度值，R、G、B表示每个像素中三通道的数值，a、b、c依次表示R、G、B通道上的系数，G(i,j)表示点(i,j)经双边滤波处理后输出的点，w(i,j,x,y)表示双边滤波器的系数。
优选地，以二维采摘点为中心，选取n×n的范围并遍历范围内的每个点，剔除深度值不在果梗深度区间的点，取剩余点的深度值的平均值作为采摘点的深度值，公式如下：
Figure BDA0003793691600000051
Figure BDA0003793691600000052
而，
Figure BDA0003793691600000053
其中，
Figure BDA0003793691600000054
表示采摘点的深度值，n表示选取的n×n范围的边长，w0、w1分别表示果梗二值图上左、右边界点，h表示为果梗二值图的高度，i的取值为0-n2的整数，m表示符合的点的数量，[dmin,dmin+Δw]表示果梗的深度区间。
与现有技术相比，本发明的有益效果为：
1、本方法为了在获取葡萄采摘点的过程中，减少背景对图像处理的干扰，使图像处理结果更加准确，在轮廓检测的过程中引入深度信息，通过比较深度信息对葡萄目标点进行标记，再根据标记点的值转化为二值图，结合canny算法，减少了环境相近颜色及背景信息的干扰，提升了轮廓检测的准确性；
2、由于葡萄的ROI区存在葡萄及少许背景信息，因此采用葡萄轮廓内的深度计算方法代替用ROI区内所有深度值的平均值来推测果梗所在深度区间的方法，所获得的深度区间更小，可排除的背景信息更多，受到的环境干扰更少，结果更加准确，且只需对葡萄进行检测，无需对果梗检测，降低对硬件的要求。
附图说明
图1为本发明基于深度学习与深度信息融合的葡萄采摘方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
如图1所示，一种基于深度学习与深度信息融合的葡萄采摘方法，包括：
S1、按照不同角度、不同天气状态和不同时间段采集葡萄的图片若干张，对每张图片中葡萄所在的区域进行标注，并划分为训练集图片和验证集图片，将每张训练集图片利用深度学习模型识别训练，得到葡萄识别模型，并用验证集图片对得到的葡萄识别模型进行验证。
具体为，用Astra Pro相机(相机的型号不作限制)，分别按照背光、前照和阴影的不同角度，晴天和阴天的不同天气状态，以及早上到下午的不同时间段采集葡萄的图片10000张，利用labelImg软件对每张图片中葡萄所在的区域进行标注，并按9:1的比例划分为训练集图片和验证集图片，葡萄的图片的张数以及训练集图片和验证集图片之间的比例可以根据实际情况设置，不作限制。
需要说明的是，葡萄识别模型为YOLOv5s。训练前，配置yaml文件参数，修改nc为1，设置训练轮数为300轮，batch-size为64，采用矩形训练的方式，训练后得到葡萄识别模型。训练的轮数可以根据实际需要设置，不作限制。只需对葡萄进行检测，无需对果梗进行检测，降低对硬件的要求。
所述用验证集图片对得到的葡萄识别模型进行验证包括：通过计算葡萄识别模型的精度和召回率，并将精度及召回率绘制P-R曲线，进一步计算出平均精度(AP，AveragePrecison)，平均精度值越大，表示葡萄识别模型越可靠。
且，
Figure BDA0003793691600000071
Figure BDA0003793691600000072
其中，Precision表示葡萄识别模型的精度，Recall表示葡萄识别模型的召回率，TP表示真的正样本数，FP表示假的负样本数，FN表示真的负样本数。
S2、采集葡萄的图片，获取RGB图及深度图，并将两者对应的像素点叠加后，输入至训练好的葡萄识别模型，得到可采摘的葡萄的ROI区域。
具体为，获取RGB图及深度图时，使用AstraPro相机，具体相机的型号不作限制。ROI(region of interest)区域，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。
S3、利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓，利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域，然后利用葡萄轮廓内的深度信息得到果梗的深度区间。
需要说明的是，除了目标葡萄还存在少量的背景，会导致在计算果梗所在深度区间时出现较大的误差，因此，利用葡萄深度值与背景深度值相差较大的特点，通过基于深度信息的canny算法，获取到ROI区域内葡萄的轮廓线。
所述利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓包括：
先用葡萄的ROI区域内的平均深度剔除部分背景，再以从左往右、自上而下的顺序遍历葡萄的ROI区域内所有点，根据目标葡萄点的深度值与周围点深度值的特征，对目标葡萄点进行标记，目标葡萄点标为1，其余的点标为0。根据标记点的值对图像进行二值化后，输入至canny算法中检测得到葡萄轮廓，且
Figure BDA0003793691600000081
M(x,y)＝|f(x,y)*Sobelx(x,y)|+|f(x,y)*Sobely(x,y)|；
Figure BDA0003793691600000082
其中，d(x,y)为在点(x,y)处的深度值，δ为深度差阈值，即预设的值，f(x,y)为在点(x,y)处的标记值，M(x,y)为在点(x,y)处的梯度，θM为在点(x,y)处的梯度方向，Sobelx(x,y)、Sobely(x,y)分别为水平、垂直方向上的三阶Sobel算子；
所述利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域包括：
基于葡萄的种植情况及生长模式，可得到果梗为垂直生长、位于葡萄上方的特点。根据葡萄的ROI区域的位置及尺寸，引入系数矩阵
Figure BDA0003793691600000083
并通过葡萄的ROI区域，计算获得果梗的ROI区域如下，且以YOLO格式表示：
Figure BDA0003793691600000084
Figure BDA0003793691600000085
其中，x1、y1、w1、h1表示为YOLO格式下葡萄的ROI区域，xstem、ystem、wstem、hstem表示为YOLO格式下果梗的ROI区域，ρ、σ、τ、
Figure BDA0003793691600000086
表示为0-1的数值；
所述然后利用葡萄轮廓内的深度信息得到果梗的深度区间包括：
利用葡萄轮廓的深度信息结合修正系数，得到果梗的深度区间如下：
dmin≤d≤dmin+Δw；
而，
Figure BDA0003793691600000087
其中，d表示果梗上任一点的深度值，dmin表示葡萄轮廓内的最小深度值，(x1,y1)表示葡萄轮廓中最左侧的点，d(x1,y1)表示点(x1,y1)处的深度值，(x2,y2)表示葡萄轮廓中最右侧的点，d(x2,y2)表示点(x2,y2)处的深度值，Δw表示果梗的ROI区域帧图像像素宽度，α、β表示修正系数(修正系数是指在数据计算、公式表达等由于理想和现实、现实和调查等产生偏差时，为了使其尽可能的体现真实性能对计算公式进行处理而加的系数)。
S4、结合果梗的深度区间对果梗的ROI区域内的深度图二值化处理，得到果梗的二值图。
对果梗的ROI区域内符合深度值在深度区间的像素点的值设为255，不符合的像素点的值设为0，得到：
Figure BDA0003793691600000091
其中，d(x,y)表示在点(x,y)处的深度值，τ(x,y)表示在点(x,y)处二值化后的值。
S5、将果梗的二值图与果梗的ROI区域图掩膜叠加，得到剔除背景的果梗的RGB图，再进行灰度转化、双边滤波及图像细化处理，得到果梗的骨骼图。
灰度转化：
Figure BDA0003793691600000092
双边滤波：
Figure BDA0003793691600000093
其中，Gray(x,y)表示在点(x,y)处的灰度值，R、G、B表示每个像素中三通道的数值，a、b、c依次表示R、G、B通道上的系数，G(i,j)表示点(i,j)经双边滤波处理后输出的点，w(i,j,x,y)表示双边滤波器的系数。
果梗的二值图与果梗的ROI区域图掩膜叠加：果梗的二值图与果梗的ROI区域图进行与运算，果梗的二值图上为1的点，果梗的ROI区域图上所对应的点保留原来的值；果梗的二值图上为0的点，果梗的ROI区域图对应的点也变为0。
S6、剔除果梗的骨骼图中边缘以及与垂直方向夹角较大的骨骼线，并筛选出最长的骨骼线计算得到的中点，为对应的二维采摘点。
S7、以二维采摘点为中心，选取n×n的范围并遍历范围内的每个点，剔除深度值不在果梗深度区间的点，取剩余点的深度值的平均值作为采摘点的深度值。
公式如下：
Figure BDA0003793691600000101
Figure BDA0003793691600000102
而，
Figure BDA0003793691600000103
其中，
Figure BDA0003793691600000104
表示采摘点的深度值，即相机到采摘点的距离，n表示选取的n×n范围的边长，w0、w1分别表示果梗二值图上左、右边界点，h表示为果梗二值图的高度，i的取值为0-n2的整数，m表示符合的点的数量，[dmin,dmin+Δw]表示果梗的深度区间。
步骤S8、将二维采摘点和采摘点的深度值结合，得到三维的采摘点，再配合采摘葡萄的机械臂的执行器，完成对葡萄的采摘，直至所有葡萄都采摘完成。
具体为，完成对葡萄的一个ROI区域采摘完成后，重复S2-S8，继续采摘葡萄的下一个ROI区域，直至所有的葡萄都采摘完成。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述基于深度学习与深度信息融合的葡萄采摘方法包括：
采集葡萄的图片，获取RGB图及深度图，并将两者对应的像素点叠加后，输入至训练好的葡萄识别模型，得到可采摘的葡萄的ROI区域；
利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓，利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域，然后利用葡萄轮廓内的深度信息得到果梗的深度区间；
结合果梗的深度区间对果梗的ROI区域内的深度图二值化处理，得到果梗的二值图；
将果梗的二值图与果梗的ROI区域图掩膜叠加，得到剔除背景的果梗的RGB图，再进行灰度转化、双边滤波及图像细化处理，得到果梗的骨骼图；
剔除果梗的骨骼图中边缘以及与垂直方向夹角较大的骨骼线，并筛选出最长的骨骼线计算得到的中点，为对应的二维采摘点；
以二维采摘点为中心，选取n×n的范围并遍历范围内的每个点，剔除深度值不在果梗深度区间的点，取剩余点的深度值的平均值作为采摘点的深度值；
将二维采摘点和采摘点的深度值结合，得到三维的采摘点，再配合采摘葡萄的机械臂的执行器，完成对葡萄的采摘，直至所有葡萄都采摘完成。
2.如权利要求1所述的基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述葡萄识别模型训练时，按照不同角度、不同天气状态和不同时间段采集葡萄的图片若干张，对每张图片中葡萄所在的区域进行标注，并划分为训练集图片和验证集图片，将每张训练集图片利用深度学习模型识别训练，得到葡萄识别模型，并用验证集图片对得到的葡萄识别模型进行验证。
3.如权利要求1所述的基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述葡萄识别模型为YOLOv5s。
4.如权利要求2所述的基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述用验证集图片对得到的葡萄识别模型进行验证包括：通过计算葡萄识别模型的精度和召回率，并将精度及召回率绘制P-R曲线，进一步计算出平均精度，平均精度值越大，表示葡萄识别模型越可靠；
且，
Figure FDA0003793691590000021
Figure FDA0003793691590000022
其中，Precision表示葡萄识别模型的精度，Recall表示葡萄识别模型的召回率，TP表示真的正样本数，FP表示假的负样本数，FN表示真的负样本数。
5.如权利要求1所述的基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓包括：
用葡萄的ROI区域内的平均深度剔除部分背景，以从左往右、自上而下的顺序遍历葡萄的ROI区域内所有点，根据目标葡萄点的深度值与周围点深度值的特征，对目标葡萄点进行标记，根据标记点的值对图像进行二值化后，输入至canny算法中检测得到葡萄轮廓，且
Figure FDA0003793691590000023
M(x,y)＝|f(x,y)*Sobelx(x,y)|+|f(x,y)*Sobely(x,y)|；
Figure FDA0003793691590000024
其中，d(x,y)为在点(x,y)处的深度值，δ为深度差阈值，f(x,y)为在点(x,y)处的标记值，M(x,y)为在点(x,y)处的梯度，θM为在点(x,y)处的梯度方向，Sobelx(x,y)、Sobely(x,y)分别为水平、垂直方向上的三阶Sobel算子；
所述利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域包括：
根据葡萄的ROI区域的位置及尺寸，引入系数矩阵
Figure FDA0003793691590000025
并通过葡萄的ROI区域，计算获得果梗的ROI区域如下，且以YOLO格式表示：
Figure FDA0003793691590000031
Figure FDA0003793691590000032
其中，x1、y1、w1、h1表示为YOLO格式下葡萄的ROI区域，xstem、ystem、wstem、hstem表示为YOLO格式下果梗的ROI区域，ρ、σ、τ、θ表示为0-1的数值；
所述然后利用葡萄轮廓内的深度信息得到果梗的深度区间包括：
利用葡萄轮廓的深度信息结合修正系数，得到果梗的深度区间如下：
dmin≤d≤dmin+Δw；
而，
Figure FDA0003793691590000033
其中，d表示果梗上任一点的深度值，dmin表示葡萄轮廓内的最小深度值，(x1,y1)表示葡萄轮廓中最左侧的点，d(x1,y1)表示点(x1,y1)处的深度值，(x2,y2)表示葡萄轮廓中最右侧的点，d(x2,y2)表示点(x2,y2)处的深度值，Δw表示果梗的ROI区域帧图像像素宽度，α、β表示修正系数。
6.如权利要求5所述的基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述结合果梗的深度区间对果梗的ROI区域内的深度图二值化处理，得到果梗的二值图包括：
对果梗的ROI区域内符合深度值在深度区间的像素点的值设为255，不符合的像素点的值设为0，得到：
Figure FDA0003793691590000034
其中，d(x,y)表示在点(x,y)处的深度值，τ(x,y)表示在点(x,y)处二值化后的值。
7.如权利要求6所述的基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述将果梗的二值图与果梗的ROI区域图掩膜叠加，得到剔除背景的果梗的RGB图，再进行灰度转化、双边滤波及图像细化处理，得到果梗的骨骼图，包括：
灰度转化：
Figure FDA0003793691590000041
双边滤波：
Figure FDA0003793691590000042
其中，Gray(x,y)表示在点(x,y)处的灰度值，R、G、B表示每个像素中三通道的数值，a、b、c依次表示R、G、B通道上的系数，G(i,j)表示点(i,j)经双边滤波处理后输出的点，w(i,j,x,y)表示双边滤波器的系数。
8.如权利要求5所述的基于深度学习与深度信息融合的葡萄采摘方法，其特征在于：所述以二维采摘点为中心，选取n×n的范围并遍历范围内的每个点，剔除深度值不在果梗深度区间的点，取剩余点的深度值的平均值作为采摘点的深度值，公式如下：
Figure FDA0003793691590000043
Figure FDA0003793691590000044
而，
Figure FDA0003793691590000045
其中，
Figure FDA0003793691590000046
表示采摘点的深度值，n表示选取的n×n范围的边长，w0、w1分别表示果梗二值图上左、右边界点，h表示为果梗二值图的高度，i的取值为0-n2的整数，m表示符合的点的数量，[dmin,dmin+Δw]表示果梗的深度区间。
CN202210963320.1A 2022-08-11 2022-08-11 一种基于深度学习与深度信息融合的葡萄采摘方法 Pending CN115330868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210963320.1A CN115330868A (zh) 2022-08-11 2022-08-11 一种基于深度学习与深度信息融合的葡萄采摘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210963320.1A CN115330868A (zh) 2022-08-11 2022-08-11 一种基于深度学习与深度信息融合的葡萄采摘方法

Publications (1)

Publication Number Publication Date
CN115330868A true CN115330868A (zh) 2022-11-11

Family

ID=83922969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210963320.1A Pending CN115330868A (zh) 2022-08-11 2022-08-11 一种基于深度学习与深度信息融合的葡萄采摘方法

Country Status (1)

Country Link
CN (1) CN115330868A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977615A (zh) * 2023-07-27 2023-10-31 广东技术师范大学 荔枝果梗识别定位方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977615A (zh) * 2023-07-27 2023-10-31 广东技术师范大学 荔枝果梗识别定位方法及装置
CN116977615B (zh) * 2023-07-27 2024-04-30 广东技术师范大学 荔枝果梗识别定位方法及装置

Similar Documents

Publication Publication Date Title
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN111709489A (zh) 一种基于改进YOLOv4的柑橘识别方法
CN111753577B (zh) 自动采摘机器人中的苹果识别与定位方法
CN110120042B (zh) 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法
CN107945200B (zh) 图像二值化分割方法
CN111652326B (zh) 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统
CN110070526A (zh) 基于深度神经网络热度图预测的缺陷检测方法
CN109284771A (zh) 一种番茄生长模型判定方法及装置
CN110687121B (zh) 一种陶瓦智能在线检测与自动分级方法和系统
CN109117703A (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN114838664B (zh) 一种基于黑皮鸡枞菌的菌盖尺寸原位测量方法
CN111008642A (zh) 基于卷积神经网络的高分辨率遥感影像分类方法及系统
CN111462058A (zh) 一种水稻有效穗快速检测方法
CN103729621B (zh) 基于叶片骨架模型的植物叶片图像自动识别方法
CN115861721B (zh) 基于图像数据的畜禽养殖喷雾设备状态识别方法
CN115330868A (zh) 一种基于深度学习与深度信息融合的葡萄采摘方法
CN115687850A (zh) 一种农田的灌溉需水量计算方法及装置
CN105787955A (zh) 一种带钢缺陷的稀疏分割方法及其分割装置
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
CN107239761A (zh) 基于骨架角点检测的果树拉枝效果评价方法
CN111815542A (zh) 一种树木年轮图像髓心定位、年轮测量方法
CN110580495A (zh) 一种梨树叶面积与叶面炭疽病病斑数自动化分析方法
CN115330721A (zh) 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统
CN115311520A (zh) 一种基于视觉识别的百香果成熟度检测及定位方法
CN114863211A (zh) 一种基于深度学习的磁瓦缺陷检测及分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination