CN114788455A - 一种基于目标检测的串番茄单粒采摘方法及系统 - Google Patents

一种基于目标检测的串番茄单粒采摘方法及系统 Download PDF

Info

Publication number
CN114788455A
CN114788455A CN202210380566.6A CN202210380566A CN114788455A CN 114788455 A CN114788455 A CN 114788455A CN 202210380566 A CN202210380566 A CN 202210380566A CN 114788455 A CN114788455 A CN 114788455A
Authority
CN
China
Prior art keywords
tomato
tomatoes
picking
cluster
fruits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210380566.6A
Other languages
English (en)
Other versions
CN114788455B (zh
Inventor
王蓬勃
罗鹤飞
荣佳诚
戴广林
王天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210380566.6A priority Critical patent/CN114788455B/zh
Publication of CN114788455A publication Critical patent/CN114788455A/zh
Application granted granted Critical
Publication of CN114788455B publication Critical patent/CN114788455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D45/00Harvesting of standing crops
    • A01D45/006Harvesting of standing crops of tomatoes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于目标检测的串番茄单粒采摘方法及系统,包括以下步骤:获取所需采摘番茄区域的RGB图像;利用第一目标检测算法识别出所述RGB图像中各番茄串边界矩形框;利用第二目标检测算法识别所有番茄单果的边界矩形框及中心点坐标,并对番茄单果进行分类;遍历所有番茄单果的中心点坐标,将中心点坐标位于同一番茄串边界矩形框内的番茄单果归为同一串番茄;在同一串番茄中,通过中心点距离判断当前串番茄中所有无遮挡红果周围的黏连番茄,将周围黏连番茄最少的无遮挡红果作为优先采摘的目标番茄;通过姿态估计算法对目标番茄进行抓取。本发明实现番茄串内单果的识别及定位,进行采摘策略规划,提高采摘的准确率与成功率。

Description

一种基于目标检测的串番茄单粒采摘方法及系统
技术领域
本发明涉及机器人采摘技术领域,具体涉及一种基于目标检测的串番茄单粒采摘方法及系统。
背景技术
采摘机器人为农业智能化的关键一环,在番茄串采摘机器人进行采摘工作时,识别成熟的果实串、定位果梗采摘点是番茄采摘作业中的重要一环,采摘时需要考虑刀片空间大小以保护番茄果实串和上方枝干不破损,找到合适的采摘点才能做到无损采摘,在果实识别与采摘点定位方面,目前主要是用传统机器视觉或者深度神经网络方法。
但是现有的果实识别和采摘大多只考虑对整串番茄的采摘,在对同一串番茄采摘的过程中,没有考虑到果实之间粘连情况以及同串之间果实的成熟度问题,往往是按顺序从上到下采摘,导致番茄损伤,且很多还未长成的绿果被采摘,致使绿果过早采摘、红果过晚采摘,影响果实收成和品质。
发明内容
本发明的目的是提供一种基于目标检测的串番茄单粒采摘方法及系统,实现番茄串内单果的识别及定位,进行采摘策略规划,提高采摘的准确率与成功率。
为了解决上述技术问题,本发明提供了一种基于目标检测的串番茄单粒采摘方法,包括以下步骤:
S1、获取所需采摘番茄区域的RGB图像;
S2、利用第一目标检测算法识别出所述RGB图像中各番茄串边界矩形框;
利用第二目标检测算法识别所有番茄单果的边界矩形框及中心点坐标,并对番茄单果进行分类,其中,分类标签分别为无遮挡红果、有遮挡红果及绿果;
S3、遍历所有番茄单果的中心点坐标,将中心点坐标位于同一番茄串边界矩形框内的番茄单果归为同一串番茄并将其对应的分类标签添加至该串番茄中;
S4、在同一串番茄中,通过两番茄单果的边界矩形框计算其中心点距离,通过中心点距离判断当前串番茄中所有无遮挡红果周围的黏连番茄,将周围黏连番茄最少的无遮挡红果作为优先采摘的目标番茄;
S5、通过姿态估计算法调整抓取姿态对目标番茄进行抓取。
作为本发明的进一步改进,所述步骤S3具体包括以下步骤:
S31、创建关于番茄串边界矩形框的位置数组,其中,位置数组的数量等于番茄串的数量;并创建一个用于添加整番茄串中只剩一粒番茄果实的额外数组;
S32、遍历所有番茄单果的中心点坐标,若该番茄单果的中心点坐标位于某一番茄串边界矩形框的位置数组内,则该番茄单果属于该番茄串;若该番茄单果的中心点坐标不在任何已有番茄串边界矩形框的位置数组内,则将该番茄单果添加至额外数组中;
S33、对于番茄串的番茄单果,将番茄单果的分类标签添加至对应的番茄串中。
作为本发明的进一步改进,所述步骤S32中,定义番茄串边界矩形框的位置数组为
Figure BDA0003592774890000021
番茄单果的中心点坐标
Figure BDA0003592774890000022
其中,
Figure BDA0003592774890000023
为番茄串边界矩形框上一角点的X轴坐标,
Figure BDA0003592774890000031
为番茄串边界矩形框该角点的Y轴坐标,
Figure BDA0003592774890000032
为番茄串边界矩形框上与该角点成对角的角点的X轴坐标,
Figure BDA0003592774890000033
为番茄串边界矩形框上与该角点成对角的角点的Y轴坐标,
Figure BDA0003592774890000034
为番茄单果的中心点的X轴坐标,
Figure BDA0003592774890000035
为番茄单果的中心点的Y轴坐标;
若同时满足
Figure BDA0003592774890000036
Figure BDA0003592774890000037
则该番茄单果属于该串番茄。
作为本发明的进一步改进,所述步骤S4具体包括以下步骤:
S41、对同一番茄串创建未排序列表和已排序列表,将该番茄串中的所有番茄单果放入未排序列表中;
S42、设同一番茄串中两个番茄单果的边界矩形框分别为
Figure BDA0003592774890000038
Figure BDA0003592774890000039
则根据公式
Figure BDA00035927748900000310
计算出两个番茄单果的半径ri和rj,根据公式
Figure BDA00035927748900000311
计算出两个番茄单果中心点距离Lj,若满足0<Lj≤α×(ri+rj)则两个番茄单果之间为相互黏连,其中,α为两个番茄黏连阈值中的倍数常量;
S43、计算出当前串中所有无遮挡红果周围的黏连番茄,然后找到周围黏连番茄最少的无遮挡红果作为优先采摘的对象,从未排序列表中删除,添加到已排序列表;
S44:重复步骤S43,完成当前串中所有无遮挡红果的采摘顺序规划,所有无遮挡红果的位置信息根据最少黏连果实优先采摘的原则,作为目标番茄,依次存放在已排序列表中。
作为本发明的进一步改进,所述姿态估计算法根据相机拍摄目标番茄的角度及最邻近番茄与目标番茄的相对位置关系调整抓取姿态并到达目标采摘点,对目标番茄按照已排序列表进行采摘。
作为本发明的进一步改进,所述姿态估计算法具体包括以下步骤:
S51、在相机坐标系下定位到无遮挡红果的采摘点(x1,y1,z1)后,将采摘点投影到XoZ平面获得点(x1,0,z1),即相机坐标系原点(0,0,0)与该点的向量
Figure BDA0003592774890000041
为(x1,0,z1),该向量表示采摘时末端抓手绕着Y轴旋转至番茄目标方向进行抓取;
S52、若目标采摘点周围存在黏连果实,获取目标采摘点周围黏连的果实中心坐标为(x2,y2,z2),两果实的中心点坐标做差即可获得待采摘果实与黏连果实的相对位置关系,即向量
Figure BDA0003592774890000042
S53、使用向量
Figure BDA0003592774890000043
和向量
Figure BDA0003592774890000044
进行叉乘运算,获得互相垂直的三个单位向量,三个单位向量组成一个固定在末端抓手上的空间坐标系,该末端抓手坐标系以相机坐标系为参照,最终以末端抓手坐标系相对于相机坐标系下的旋转变化表示采摘时末端抓手的姿态,即末端手抓到达采摘点时的手抓坐标系相对于图像获取时末端手抓坐标系的旋转变化。
作为本发明的进一步改进,所述步骤S53具体包括以下步骤:
S531、若目标采摘点周围不存在黏连果实,则令向量
Figure BDA00035927748900000416
若目标采摘点周围存在黏连果实,判断两个果实的黏连情况,将果实分为上下黏连和左右黏连两种:若
Figure BDA0003592774890000045
则为左右黏连;若
Figure BDA0003592774890000046
则为上下黏连;
S532、若两个番茄单果为左右黏连,则令
Figure BDA0003592774890000047
Figure BDA0003592774890000048
若两个番茄单果为上下黏连,则令
Figure BDA0003592774890000049
S533、对
Figure BDA00035927748900000410
Figure BDA00035927748900000411
和的方向进行调整:若
Figure BDA00035927748900000412
则令
Figure BDA00035927748900000413
Figure BDA00035927748900000414
则令
Figure BDA00035927748900000415
S534、计算
Figure BDA0003592774890000051
Figure BDA0003592774890000052
的单位向量
Figure BDA0003592774890000053
Figure BDA0003592774890000054
末端机械爪抓取姿态用旋转矩阵表示为
Figure BDA0003592774890000055
一种基于目标检测的串番茄单粒采摘系统,包括控制器,所述控制器采用如上所述的一种基于目标检测的串番茄单粒采摘方法对番茄进行采摘。
作为本发明的进一步改进,系统还包括相机和末端执行器,所述相机用于采集所需采摘番茄区域的RGB图像并传输至控制器,所述末端执行器用于执行所述控制器的采摘指令对番茄进行采摘。
作为本发明的进一步改进,所述末端执行器包括机械抓,所述机械爪根据所述姿态估计算法的抓取姿态指令调整抓取角度,达到指定采摘点进行番茄采摘。
本发明的有益效果:本发明通过番茄单果采摘时的目标识别定位、采摘策略以及姿态估计算法,实现了番茄单果采摘过程中番茄单果以及番茄串的实时定位识别,将识别出的番茄单果分成“无遮挡红果”、“有遮挡红果”以及“绿果”三类,并按番茄串进行采摘策略的全局规划和同一番茄串内根据最少黏连原则采摘的局部规划;针对采摘过程中目标果实的不同姿态,利用目标单果与其周围最近黏连单果位置关系以及采摘目标与相机坐标位置向量做出末端机械爪的姿态估计,提高采摘的准确率与成功率。
附图说明
图1是本发明方法流程示意图;
图2是本发明番茄单果和番茄串的实例检测结果示意图;
图3是本发明番茄串及番茄单果检测识别示意图;
图4是本发明番茄单果的黏连程度计算示意图;
图5是本发明采摘机器人末端机械爪示意图;
图6是本发明采摘点在相机坐标系XOZ平面投影示意图;
图7是本发明末端执行器对左右黏连番茄的抓取姿态计算中
Figure BDA0003592774890000061
两向量叉乘示意图;
图8是本发明末端执行器对左右黏连番茄的抓取姿态计算中
Figure BDA0003592774890000062
两向量叉乘示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
参考图1,本发明提供了一种基于目标检测的串番茄单粒采摘方法,包括以下步骤:
S1、获取所需采摘番茄区域的RGB图像;
S2、利用第一目标检测算法识别出所述RGB图像中各番茄串边界矩形框;
利用第二目标检测算法识别所有番茄单果的边界矩形框及中心点坐标,并对番茄单果进行分类,其中,分类标签分别为无遮挡红果、有遮挡红果及绿果;
S3、遍历所有番茄单果的中心点坐标,将中心点坐标位于同一番茄串边界矩形框内的番茄单果归为同一串番茄并将其对应的分类标签添加至该串番茄中;
S4、在同一串番茄中,通过两番茄单果的边界矩形框计算其中心点距离,通过中心点距离判断当前串番茄中所有无遮挡红果周围的黏连番茄,将周围黏连番茄最少的无遮挡红果作为优先采摘的目标番茄;
S5、通过姿态估计算法调整抓取姿态对目标番茄进行抓取。
本发明主要包括目标识别算法部分、采摘顺序规划算法部分和末端执行器姿态估计算法部分。其中目标识别算法部分由检测“串”的目标检测算法和检测“单粒果实”的目标检测算法组成,主要利用基于深度学习的目标检测算法对采集到的RGB图像进行识别、定位和分类,检测“串”的目标检测算法识别和定位图像中的整串番茄,检测“单粒果实”的目标检测算法对图像中的单粒番茄果实进行识别、定位以及分类。采摘顺序规划算法部分由全局采摘顺序规划算法和局部采摘顺序规划算法组成,分别用于对番茄单果进行基于番茄串的全局采摘顺序规划和对同一串内可采摘单果的局部采摘规划。末端执行器姿态估计算法部分主要用于调整末端执行器对每一粒番茄果实的抓取姿态调节。
目标识别算法部分使用两个不同的目标检测网络分别进行番茄单果和番茄串的识别与定位。番茄单果的目标检测网络能够根据番茄果实的成熟度和遮挡情况将识别目标分为无遮挡红果、有遮挡红果以及绿果三类,以便于后续的采摘策略。如图2所示,其中“bunch”为番茄串,“red”为无遮挡红果,“blocked”为有遮挡红果,“green”为绿果。番茄串的目标检测网络完成番茄串的识别与定位。两种网络采用不同的目标检测模型进行训练,且番茄单果的目标检测网络在机器人移动时检测,即番茄单果的识别与定位持续整个采摘机器人运动过程,而番茄串的目标检测网络仅需要在机器人停下时即检测到可采摘的红果时进行检测以提供采摘顺序规划所需要的信息,即仅在采摘机器人停下准备采摘时进行。
采摘顺序规划算法部分具体能够实现基于番茄串的采摘顺序全局规划和同一串内可采摘果实的局部规划。所述的番茄单果的采摘顺序规划算法,根据预测出的番茄串矩形框位置信息
Figure BDA0003592774890000071
和番茄单果中心点坐标与类别信息为
Figure BDA0003592774890000072
进行基于番茄串的采摘顺序全局规划。将番茄单果按照所属番茄串进行检测信息的归类存储,若番茄单果不属于任一识别出的番茄串,则另外存储。针对同一串番茄,根据相邻两番茄的黏连程度进行排序,依据最少黏连果实优先采摘原则,实现当前串中所有无遮挡红果的采摘顺序规划。
具体规划如下:
基于番茄串的采摘顺序全局规划算法部分使用预测出的番茄串矩形框位置的数组和番茄单果中心点坐标与类别组成的数组作为输入,完成如下步骤:
1)、输入预测出的番茄串矩形框位置的数组和番茄单果中心点坐标与类别组成的数组;
2)、创建用于存储排序结果的数组;其中,数组的数量等于番茄串的数量,再创建一个用于添加整串中只剩一粒番茄果实的数组;
3)、串遍历每一个番茄单果中心点坐标,若该中心点坐标位于检测到的番茄串边界框内,则将该单果的位置坐标以及类别信息添加至对应番茄串编号的数组中;若该中心点坐标不在任何番茄串边界框内,则将该单果信息添加至额外增加的数组中。
如图3所示,步骤3)具体为假设预测出的番茄串矩形框位置信息为
Figure BDA0003592774890000081
番茄单果中心点坐标与类别信息为
Figure BDA0003592774890000082
若同时满足
Figure BDA0003592774890000083
Figure BDA0003592774890000084
则该番茄单果属于该串番茄,反之则不满足。
同一串内可采摘果实的局部规划算法完成步骤如下:
1、根据全局规划后得到的番茄串数组,确定同一串内果实的黏连情况;如图4所示,假设其中两个果实的检测边界框分别为
Figure BDA0003592774890000085
Figure BDA0003592774890000086
则根据公式
Figure BDA0003592774890000087
计算出两个果实的半径ri和rj,根据公式
Figure BDA0003592774890000088
计算出两果实中心点距离Lj;若满足0<Lj≤1.5×(ri+rj),则表示两个单粒果实之间相互黏连;
2、计算出当前串中所有“无遮挡红果”周围的黏连番茄,然后找到周围黏连番茄最少的“无遮挡红果”作为优先采摘的对象,从未排序列表中删除,添加到已排序列表;
3、重复步骤2,完成当前串中所有无遮挡红果的采摘顺序规划,所有无遮挡红果的位置信息根据最少黏连果实优先采摘的原则,依次存放在已排序列表中。
如图5所示,末端机械手的吸盘会因番茄单果的果蒂遮挡出现采摘失败,所述的姿态估计算法能根据相机与目标番茄的角度调整抓取的姿态,从而以合理的姿态到达目标采摘点。所述的番茄单果采摘末端执行器的抓取姿态估计算法,在定位到“无遮挡红果”的采摘点(xi,yi,zi)后,将采摘点投影到XoZ平面获得点(xi,0,zi),即相机坐标系原点(0,0,0)与该点的向量
Figure BDA0003592774890000091
为(xi,0,zi),该向量表示采摘时末端抓手绕着Y轴旋转至番茄目标方向进行抓取,参与调整末端抓手姿态。若目标单果周围存在黏连的果实,其中心坐标为(xj,yj,zj),两果实的中心点坐标做差即可获得待采摘果实与黏连果实的相对位置关系,即向量
Figure BDA0003592774890000092
通过以上方法获得表示采摘目标与相机、周围黏连果实空间关系的两个向量。使用上述两个向量进行多次叉乘运算,获得互相垂直的三个单位向量,三个单位向量组成一个固定在末端抓手上的空间坐标系,该末端抓手坐标系以相机坐标系为参照,最终以末端抓手坐标系相对于相机坐标系下的旋转变化表示采摘时末端抓手的姿态,即末端手抓到达采摘点时的手抓坐标系相对于图像采集时末端手抓坐标系的旋转变化。
所述的姿态估计算法具体实现步骤如下:
步骤一、如图6所示,在相机坐标系下定位到“无遮挡红果”的采摘点(x1,y1,z1)后,将采摘点投影到XoZ平面获得点(x1,0,z1),即相机坐标系原点(0,0,0)与该点的向量
Figure BDA0003592774890000093
为(x1,0,z1),该向量表示采摘时末端抓手绕着Y轴旋转至番茄目标方向进行抓取;
步骤二、若目标采摘点周围存在黏连果实,获取目标采摘点周围黏连的果实中心坐标为(x2,y2,z2),两果实的中心点坐标做差即可获得待采摘果实与黏连果实的相对位置关系,即向量
Figure BDA0003592774890000101
若目标采摘点周围不存在黏连果实,则令向量
Figure BDA0003592774890000102
为(1,0,0);
步骤三、若目标采摘点周围存在黏连果实,判断两个果实的黏连情况,将果实分为上下黏连和左右黏连两种。若
Figure BDA0003592774890000103
则为左右黏连;若
Figure BDA0003592774890000104
则为上下黏连;
步骤四、若两果实为左右黏连,如图7和图8所示,则令
Figure BDA0003592774890000105
若两果实为上下黏连,则令
Figure BDA0003592774890000106
步骤五、对
Figure BDA0003592774890000107
Figure BDA0003592774890000108
的方向进行调整。若
Figure BDA0003592774890000109
则令
Figure BDA00035927748900001010
Figure BDA00035927748900001011
则令
Figure BDA00035927748900001012
步骤六、计算
Figure BDA00035927748900001013
Figure BDA00035927748900001014
的单位向量
Figure BDA00035927748900001015
Figure BDA00035927748900001016
末端机械爪抓取姿态用旋转矩阵表示为
Figure BDA00035927748900001017
末端抓手根据上述算法命令逐个对已排序列表里的番茄进行采摘。
本发明还提供了一种基于目标检测的串番茄单粒采摘系统,包括控制器,所述控制器采用如上所述的一种基于目标检测的串番茄单粒采摘方法对番茄进行采摘。其解决问题的原理与所述一种基于目标检测的串番茄单粒采摘方法类似,重复之处不再赘述。
进一步地,系统中还包括相机和末端执行器,相机用于采集所需采摘番茄区域的RGB图像并传输至控制器,末端执行器用于执行所述控制器的采摘指令对番茄进行采摘。如图5所示,所述末端执行器,即采摘机器人,其包括机械抓,所述机械爪根据所述姿态估计算法的抓取姿态指令调整抓取角度,达到指定采摘点进行番茄采摘,还包括用于采摘吸取番茄的吸盘、控制机械抓伸缩的气缸等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例,本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换,均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种基于目标检测的串番茄单粒采摘方法,其特征在于:包括以下步骤:
S1、获取所需采摘番茄区域的RGB图像;
S2、利用第一目标检测算法识别出所述RGB图像中各番茄串边界矩形框;
利用第二目标检测算法识别所有番茄单果的边界矩形框及中心点坐标,并对番茄单果进行分类,其中,分类标签分别为无遮挡红果、有遮挡红果及绿果;
S3、遍历所有番茄单果的中心点坐标,将中心点坐标位于同一番茄串边界矩形框内的番茄单果归为同一串番茄并将其对应的分类标签添加至该串番茄中;
S4、在同一串番茄中,通过两番茄单果的边界矩形框计算其中心点距离,通过中心点距离判断当前串番茄中所有无遮挡红果周围的黏连番茄,将周围黏连番茄最少的无遮挡红果作为优先采摘的目标番茄;
S5、通过姿态估计算法调整抓取姿态对目标番茄进行抓取。
2.如权利要求1所述的一种基于目标检测的串番茄单粒采摘方法,其特征在于:所述步骤S3具体包括以下步骤:
S31、创建关于番茄串边界矩形框的位置数组,其中,位置数组的数量等于番茄串的数量;并创建一个用于添加整番茄串中只剩一粒番茄果实的额外数组;
S32、遍历所有番茄单果的中心点坐标,若该番茄单果的中心点坐标位于某一番茄串边界矩形框的位置数组内,则该番茄单果属于该番茄串;若该番茄单果的中心点坐标不在任何已有番茄串边界矩形框的位置数组内,则将该番茄单果添加至额外数组中;
S33、对于番茄串的番茄单果,将番茄单果的分类标签添加至对应的番茄串中。
3.如权利要求2所述的一种基于目标检测的串番茄单粒采摘方法,其特征在于:所述步骤S32中,定义番茄串边界矩形框的位置数组为
Figure FDA0003592774880000021
番茄单果的中心点坐标
Figure FDA0003592774880000022
其中,
Figure FDA0003592774880000023
为番茄串边界矩形框上一角点的X轴坐标,
Figure FDA0003592774880000024
为番茄串边界矩形框该角点的Y轴坐标,
Figure FDA0003592774880000025
为番茄串边界矩形框上与该角点成对角的角点的X轴坐标,
Figure FDA0003592774880000026
为番茄串边界矩形框上与该角点成对角的角点的Y轴坐标,
Figure FDA0003592774880000027
为番茄单果的中心点的X轴坐标,
Figure FDA0003592774880000028
为番茄单果的中心点的Y轴坐标;
若同时满足
Figure FDA0003592774880000029
Figure FDA00035927748800000210
则该番茄单果属于该串番茄。
4.如权利要求1所述的一种基于目标检测的串番茄单粒采摘方法,其特征在于:所述步骤S4具体包括以下步骤:
S41、对同一番茄串创建未排序列表和已排序列表,将该番茄串中的所有番茄单果放入未排序列表中;
S42、设同一番茄串中两个番茄单果的边界矩形框分别为
Figure FDA00035927748800000211
Figure FDA00035927748800000212
则根据公式
Figure FDA00035927748800000213
计算出两个番茄单果的半径ri和rj,根据公式
Figure FDA00035927748800000214
计算出两个番茄单果中心点距离Lj,若满足0<Lj≤α×(ri+rj),则两个番茄单果之间为相互黏连,其中,α为两个番茄黏连阈值中的倍数常量;
S43、计算出当前串中所有无遮挡红果周围的黏连番茄,然后找到周围黏连番茄最少的无遮挡红果作为优先采摘的对象,从未排序列表中删除,添加到已排序列表;
S44:重复步骤S43,完成当前串中所有无遮挡红果的采摘顺序规划,所有无遮挡红果的位置信息根据最少黏连果实优先采摘的原则,作为目标番茄,依次存放在已排序列表中。
5.如权利要求4所述的一种基于目标检测的串番茄单粒采摘方法,其特征在于:所述姿态估计算法根据相机拍摄目标番茄的角度及最邻近番茄与目标番茄的相对位置关系调整抓取姿态并到达目标采摘点,对目标番茄按照已排序列表进行采摘。
6.如权利要求1所述的一种基于目标检测的串番茄单粒采摘方法,其特征在于:所述姿态估计算法具体包括以下步骤:
S51、在相机坐标系下定位到无遮挡红果的采摘点(x1,y1,z1)后,将采摘点投影到XoZ平面获得点(x1,0,z1),即相机坐标系原点(0,0,0)与该点的向量
Figure FDA0003592774880000031
为(x1,0,z1),该向量表示采摘时末端抓手绕着Y轴旋转至番茄目标方向进行抓取;
S52、若目标采摘点周围存在黏连果实,获取目标采摘点周围黏连的果实中心坐标为(x2,y2,z2),两果实的中心点坐标做差即可获得待采摘果实与黏连果实的相对位置关系,即向量
Figure FDA0003592774880000032
S53、使用向量
Figure FDA0003592774880000033
和向量
Figure FDA0003592774880000034
进行叉乘运算,获得互相垂直的三个单位向量,三个单位向量组成一个固定在末端抓手上的空间坐标系,该末端抓手坐标系以相机坐标系为参照,最终以末端抓手坐标系相对于相机坐标系下的旋转变化表示采摘时末端抓手的姿态,即末端手抓到达采摘点时的手抓坐标系相对于图像获取时末端手抓坐标系的旋转变化。
7.如权利要求6所述的一种基于目标检测的串番茄单粒采摘方法,其特征在于:所述步骤S53具体包括以下步骤:
S531、若目标采摘点周围不存在黏连果实,则令向量
Figure FDA0003592774880000041
为(1,0,0);若目标采摘点周围存在黏连果实,判断两个果实的黏连情况,将果实分为上下黏连和左右黏连两种:若
Figure FDA0003592774880000042
则为左右黏连;若
Figure FDA0003592774880000043
则为上下黏连;
S532、若两个番茄单果为左右黏连,则令
Figure FDA0003592774880000044
Figure FDA0003592774880000045
若两个番茄单果为上下黏连,则令
Figure FDA0003592774880000046
S533、对
Figure FDA0003592774880000047
Figure FDA0003592774880000048
和的方向进行调整:若
Figure FDA0003592774880000049
则令
Figure FDA00035927748800000410
Figure FDA00035927748800000411
则令
Figure FDA00035927748800000412
S534、计算
Figure FDA00035927748800000413
Figure FDA00035927748800000414
的单位向量
Figure FDA00035927748800000415
Figure FDA00035927748800000416
末端机械爪抓取姿态用旋转矩阵表示为
Figure FDA00035927748800000417
8.一种基于目标检测的串番茄单粒采摘系统,其特征在于:包括控制器,所述控制器采用如权利要求1-7中任一项所述的一种基于目标检测的串番茄单粒采摘方法对番茄进行采摘。
9.如权利要求8所述的一种基于目标检测的串番茄单粒采摘系统,其特征在于:系统还包括相机和末端执行器,所述相机用于采集所需采摘番茄区域的RGB图像并传输至控制器,所述末端执行器用于执行所述控制器的采摘指令对番茄进行采摘。
10.如权利要求9所述的一种基于目标检测的串番茄单粒采摘系统,其特征在于:所述末端执行器包括机械抓,所述机械爪根据所述姿态估计算法的抓取姿态指令调整抓取角度,达到指定采摘点进行番茄采摘。
CN202210380566.6A 2022-04-12 2022-04-12 一种基于目标检测的串番茄单粒采摘方法及系统 Active CN114788455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210380566.6A CN114788455B (zh) 2022-04-12 2022-04-12 一种基于目标检测的串番茄单粒采摘方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210380566.6A CN114788455B (zh) 2022-04-12 2022-04-12 一种基于目标检测的串番茄单粒采摘方法及系统

Publications (2)

Publication Number Publication Date
CN114788455A true CN114788455A (zh) 2022-07-26
CN114788455B CN114788455B (zh) 2023-08-25

Family

ID=82462630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210380566.6A Active CN114788455B (zh) 2022-04-12 2022-04-12 一种基于目标检测的串番茄单粒采摘方法及系统

Country Status (1)

Country Link
CN (1) CN114788455B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073584A1 (en) * 2014-09-12 2016-03-17 Washington State University Robotic systems, methods, and end-effectors for harvesting produce
JP2019097448A (ja) * 2017-11-30 2019-06-24 株式会社デンソー 収穫ロボットシステム
US20190261565A1 (en) * 2016-11-08 2019-08-29 Dogtooth Technologies Limited Robotic fruit picking system
CN110472575A (zh) * 2019-08-15 2019-11-19 中国农业大学 一种基于深度学习和计算机视觉的串番茄成熟度检测方法
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
CN112990103A (zh) * 2021-04-16 2021-06-18 苏州大学 一种基于机器视觉的串采二次定位方法
CN113508686A (zh) * 2021-05-27 2021-10-19 中国农业大学 一种串番茄采摘末端执行器、机器人及其采摘方法
CN113808194A (zh) * 2021-11-17 2021-12-17 季华实验室 串番茄采摘角度获取方法、装置、电子设备及存储介质
CN113799124A (zh) * 2021-08-30 2021-12-17 贵州大学 一种非结构化环境的机器人灵活抓取检测方法
CN114067206A (zh) * 2021-11-16 2022-02-18 哈尔滨理工大学 一种基于深度图像的球形果实识别定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073584A1 (en) * 2014-09-12 2016-03-17 Washington State University Robotic systems, methods, and end-effectors for harvesting produce
US20190261565A1 (en) * 2016-11-08 2019-08-29 Dogtooth Technologies Limited Robotic fruit picking system
JP2019097448A (ja) * 2017-11-30 2019-06-24 株式会社デンソー 収穫ロボットシステム
CN110472575A (zh) * 2019-08-15 2019-11-19 中国农业大学 一种基于深度学习和计算机视觉的串番茄成熟度检测方法
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
CN112990103A (zh) * 2021-04-16 2021-06-18 苏州大学 一种基于机器视觉的串采二次定位方法
CN113508686A (zh) * 2021-05-27 2021-10-19 中国农业大学 一种串番茄采摘末端执行器、机器人及其采摘方法
CN113799124A (zh) * 2021-08-30 2021-12-17 贵州大学 一种非结构化环境的机器人灵活抓取检测方法
CN114067206A (zh) * 2021-11-16 2022-02-18 哈尔滨理工大学 一种基于深度图像的球形果实识别定位方法
CN113808194A (zh) * 2021-11-17 2021-12-17 季华实验室 串番茄采摘角度获取方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨千: "《平菇采摘机器人目标识别与定位控制关键技术研究》", 《硕士电子期刊》 *

Also Published As

Publication number Publication date
CN114788455B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
Yu et al. Real-time visual localization of the picking points for a ridge-planting strawberry harvesting robot
Sarig Robotics of fruit harvesting: A state-of-the-art review
CN108247635B (zh) 一种深度视觉的机器人抓取物体的方法
CN111666883B (zh) 一种葡萄采摘机器人目标识别及果梗夹切点定位方法
CN112715162B (zh) 一种智能化采摘串型水果的系统
CN112136505A (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN112990103B (zh) 一种基于机器视觉的串采二次定位方法
CN114067309B (zh) 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
Yoshida et al. Fast detection of tomato peduncle using point cloud with a harvesting robot
CN115553132A (zh) 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人
CN113569922A (zh) 一种苹果智能无损分拣的方法
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
Yoshida et al. A tomato recognition method for harvesting with robots using point clouds
JP2022160363A (ja) ロボットシステム、制御方法、画像処理装置、画像処理方法、物品の製造方法、プログラム、及び記録媒体
Ren et al. Mobile robotics platform for strawberry sensing and harvesting within precision indoor farming systems
US12017368B2 (en) Mix-size depalletizing
Feng et al. Fruit Location And Stem Detection Method For Strawbery Harvesting Robot
CN114788455A (zh) 一种基于目标检测的串番茄单粒采摘方法及系统
Shi et al. A fast workpiece detection method based on multi-feature fused SSD
Kanwal et al. Overlapped apple fruit yield estimation using pixel classification and hough transform
CN113808194A (zh) 串番茄采摘角度获取方法、装置、电子设备及存储介质
CA3111952A1 (en) Mushroom harvesting vision system and method of harvesting mushrooms using said system
CN112959318A (zh) 基于机器视觉的商标纸全自动抓取装置与方法
Uramoto et al. Tomato recognition algorithm and grasping mechanism for automation of tomato harvesting in facility cultivation
Zhong et al. Development, integration, and field evaluation of an autonomous Agaricus bisporus picking robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant