CN113808194A - 串番茄采摘角度获取方法、装置、电子设备及存储介质 - Google Patents

串番茄采摘角度获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113808194A
CN113808194A CN202111364140.3A CN202111364140A CN113808194A CN 113808194 A CN113808194 A CN 113808194A CN 202111364140 A CN202111364140 A CN 202111364140A CN 113808194 A CN113808194 A CN 113808194A
Authority
CN
China
Prior art keywords
tomatoes
tomato
picking
cluster
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111364140.3A
Other languages
English (en)
Other versions
CN113808194B (zh
Inventor
邱呈溶
吴宇君
刘速杰
邹雪丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202111364140.3A priority Critical patent/CN113808194B/zh
Publication of CN113808194A publication Critical patent/CN113808194A/zh
Application granted granted Critical
Publication of CN113808194B publication Critical patent/CN113808194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Harvesting Machines For Specific Crops (AREA)
  • Apparatuses For Bulk Treatment Of Fruits And Vegetables And Apparatuses For Preparing Feeds (AREA)

Abstract

本发明涉及串番茄采摘领域，具体为串番茄采摘角度获取方法、装置、电子设备及存储介质。该串番茄采摘角度获取方法的步骤包括：获取待采摘番茄的图像；根据所述图像识别所有番茄的中心位置；根据所述番茄的中心位置对所述番茄进行番茄串的聚类分析；根据所述番茄的中心位置对各串番茄串中的所述番茄进行左右分类，以把所述番茄分类为左侧番茄或右侧番茄；根据左右分类的结果，获取各个所述番茄的采摘角度。本发明能够根据番茄的生长位置调整采摘角度以在进行采摘时降低对番茄造成损伤的风险。

Description

串番茄采摘角度获取方法、装置、电子设备及存储介质
技术领域
本发明涉及串番茄采摘领域，具体涉及串番茄采摘角度获取方法、装置、电子设备及存储介质。
背景技术
目前串番茄在人工干预下大部分番茄都呈两列形式分别生长在单串番茄的左右两侧，部分番茄仅有单列生长在其中一侧，针对采摘这种生长情况的番茄，目前一般通过人工进行采摘，然而人工进行采摘耗时费力，因此催生出部分现有技术，通过机器人进行采摘，以减少人力同时提高采摘效率。
然而现有技术中的机器人在采摘番茄时并未考虑番茄之间的生长位置，对于所有番茄均以固定的采摘位姿进行采摘，极容易在采摘某个番茄时其机械结构与其他番茄发生刮擦导致番茄损伤。
因此，现有技术有待改进和发展。
发明内容
本发明的目的在于提供串番茄采摘角度获取方法、装置、电子设备及存储介质，有利于防止采摘过程中对番茄造成损伤。
第一方面，本申请提供串番茄采摘角度获取方法，用于获取成串生长的番茄的采摘角度，所述方法包括以下步骤：
S1、获取待采摘番茄的图像；
S2、根据所述图像识别所有番茄的中心位置；
S3、根据所述番茄的中心位置对所述番茄进行番茄串的聚类分析；
S4、根据所述番茄的中心位置对各串所述番茄串中的所述番茄进行左右分类，以把所述番茄分类为左侧番茄或右侧番茄；
S5、根据左右分类的结果，获取各个所述番茄的采摘角度。
对番茄进行识别并分类出各串番茄，针对单串番茄进行左右番茄的位置分类，进而针对不同位置的番茄得到对应的采摘角度，从而当进行实际采摘时，可根据获取的采摘角度进行采摘，有利于进行采摘时避免机械结构与其他番茄发生刮擦导致番茄损伤。
进一步的，步骤S3包括：
S31.以其中一个所述番茄的中心位置为第一个聚类中心；
S32.根据以下公式获取阈值：
Figure 470411DEST_PATH_IMAGE001
；
Figure 431414DEST_PATH_IMAGE002
；
其中，
Figure 469777DEST_PATH_IMAGE003
为第
Figure 807218DEST_PATH_IMAGE004
个所述番茄的中心位置和第
Figure 778585DEST_PATH_IMAGE005
个所述番茄中心位置之间的直线距离，
Figure 441647DEST_PATH_IMAGE006
为第
Figure 232886DEST_PATH_IMAGE004
个所述番茄的中心位置的横坐标，
Figure 842859DEST_PATH_IMAGE007
为第
Figure 668732DEST_PATH_IMAGE005
个所述番茄的中心位置的横坐标，
Figure 237117DEST_PATH_IMAGE008
为第
Figure 250072DEST_PATH_IMAGE004
个所述番茄的中心位置的纵坐标，
Figure 194894DEST_PATH_IMAGE009
为第
Figure 875274DEST_PATH_IMAGE005
个所述番茄中心位置的纵坐标，
Figure 880139DEST_PATH_IMAGE010
为所述阈值，
Figure 651830DEST_PATH_IMAGE011
为
Figure 134763DEST_PATH_IMAGE003
的标准差，
Figure 404071DEST_PATH_IMAGE012
为
Figure 314258DEST_PATH_IMAGE003
的期望值，
Figure 301806DEST_PATH_IMAGE013
为所有所述番茄的总数；
S33.循环执行以下步骤：
S331.根据以下公式计算最大最小值：
Figure 588430DEST_PATH_IMAGE014
；
Figure 977823DEST_PATH_IMAGE015
；
Figure 590070DEST_PATH_IMAGE016
；
其中，
Figure 64914DEST_PATH_IMAGE017
为第
Figure 624071DEST_PATH_IMAGE004
个所述番茄的中心位置到各个聚类中心的距离的最小值，
Figure 867971DEST_PATH_IMAGE018
为第
Figure 651119DEST_PATH_IMAGE004
个所述番茄的中心位置到所述第一个聚类中心的直线距离，
Figure 878838DEST_PATH_IMAGE019
为第
Figure 507266DEST_PATH_IMAGE004
个所述番茄的中心位置到第二个聚类中心的直线距离，
Figure 340092DEST_PATH_IMAGE020
为第
Figure 28563DEST_PATH_IMAGE004
个所述番茄的中心位置到第
Figure 495577DEST_PATH_IMAGE021
个聚类中心的直线距离，
Figure 662116DEST_PATH_IMAGE021
为当前已确定的所述聚类中心的总数且
Figure 146187DEST_PATH_IMAGE021
的初始值为1，
Figure 146504DEST_PATH_IMAGE013
为所有所述番茄的总数，
Figure 817657DEST_PATH_IMAGE022
为各个所述番茄的中心位置到各个所述聚类中心的最小值集合，
Figure 646941DEST_PATH_IMAGE023
为第一个所述番茄的中心位置到各个所述聚类中心的距离的最小值，
Figure 719939DEST_PATH_IMAGE024
为第二个所述番茄的中心位置到各个所述聚类中心的距离的最小值，
Figure 15792DEST_PATH_IMAGE025
为第
Figure 315186DEST_PATH_IMAGE013
个所述番茄的中心位置到各个所述聚类中心的最小值，
Figure 823528DEST_PATH_IMAGE026
为所述最大最小值；执行步骤S332或S333；
S332.在
Figure 282191DEST_PATH_IMAGE027
的时候，以到各个所述聚类中心的距离的最小值等于
Figure 483365DEST_PATH_IMAGE028
的番茄的中心位置作为第
Figure 394689DEST_PATH_IMAGE021
+1个聚类中心，并执行运算：
Figure 175563DEST_PATH_IMAGE021
=
Figure 82208DEST_PATH_IMAGE021
+1；执行步骤S331；
S333.在
Figure 188705DEST_PATH_IMAGE029
的时候，退出循环；
S34. 根据各所述聚类中心的位置和各所述番茄的中心位置，基于最小距离原则，对所有所述番茄根据各个聚类中心进行番茄串的归类。
利用聚类中心区分出图像中的各串番茄，分别对每串番茄进行采摘以使采摘更加有序，避免造成错误的采摘。
进一步的，步骤S331包括：
根据以下公式计算各个所述番茄的中心位置到各个所述聚类中心的直线距离：
Figure 62026DEST_PATH_IMAGE030
；
其中，
Figure 443329DEST_PATH_IMAGE006
为第
Figure 345426DEST_PATH_IMAGE004
个所述番茄的中心位置的横坐标，
Figure 153982DEST_PATH_IMAGE031
为第
Figure 243160DEST_PATH_IMAGE021
个所述聚类中心的横坐标，
Figure 428154DEST_PATH_IMAGE008
为第
Figure 919178DEST_PATH_IMAGE004
个所述番茄的中心位置的纵坐标，
Figure 898636DEST_PATH_IMAGE032
为第
Figure 475110DEST_PATH_IMAGE021
个所述聚类中心的纵坐标。
通过精确计算番茄到聚类中心之间的距离，能够有效提高串番茄的聚类准确度。
进一步的，步骤S4包括：
根据以下公式计算单串所述番茄串上所有所述番茄的中心位置的横坐标均值：
Figure 198216DEST_PATH_IMAGE033
；
其中，
Figure 809326DEST_PATH_IMAGE034
为第
Figure 225263DEST_PATH_IMAGE035
串所述番茄串上所有所述番茄的中心位置的横坐标均值，
Figure 289034DEST_PATH_IMAGE036
为第
Figure 550251DEST_PATH_IMAGE035
串所述番茄串上第
Figure 281447DEST_PATH_IMAGE037
个所述番茄的中心位置的横坐标，
Figure 602707DEST_PATH_IMAGE038
为第
Figure 147915DEST_PATH_IMAGE035
串所述番茄串上所有所述番茄的总数，
Figure 212823DEST_PATH_IMAGE039
为所述番茄串的总串数；
当
Figure 532946DEST_PATH_IMAGE040
的时候，则判定第
Figure 166052DEST_PATH_IMAGE037
个所述番茄为第
Figure 63470DEST_PATH_IMAGE035
串所述番茄串的所述右侧番茄；
当
Figure 932069DEST_PATH_IMAGE041
的时候，则判定第
Figure 106698DEST_PATH_IMAGE037
个所述番茄为第
Figure 504182DEST_PATH_IMAGE035
串所述番茄串的所述左侧番茄。
通过坐标数据进行计算能够准确区分出左侧番茄和右侧番茄，根据分类决定各个番茄的采摘角度，有利于进行采摘其中一侧番茄时机械结构能够准确避开另一侧的番茄。
进一步的，所述采摘角度包括水平方向采摘角度；
步骤S5还包括：
获取位于水平方向上的第一偏转角范围和第二偏转角范围；
在所述第一偏转角范围内，分别为同一串所述番茄串中的各所述左侧番茄分配不同的水平方向采摘角度；
在所述第二偏转角范围内，分别为同一串所述番茄串中的各所述右侧番茄分配不同的水平方向采摘角度。
进一步的，所述采摘角度包括竖直方向采摘角度；
步骤S5还包括：
获取位于竖直方向上的第一俯仰角范围和第二俯仰角范围；
在所述第一俯仰角范围内，分别为同一串所述番茄串中的各所述左侧番茄分配不同的竖直方向采摘角度；
在所述第二俯仰角范围内，分别为同一串所述番茄串中的各所述右侧番茄分配不同的竖直方向采摘角度。
进一步的，根据以下公式分别对所述左侧番茄和所述右侧番茄的所述竖直方向采摘角度进行插补计算，获得同一串所述番茄串中同一侧的各个所述番茄的所述竖直方向采摘角度：
Figure 29841DEST_PATH_IMAGE042
；
其中，
Figure 702131DEST_PATH_IMAGE043
为所述第一俯仰角范围或所述第二俯仰角范围的最大值，
Figure 996846DEST_PATH_IMAGE044
为所述第一俯仰角范围或所述第二俯仰角范围的最小值，
Figure 565230DEST_PATH_IMAGE045
为第
Figure 843765DEST_PATH_IMAGE046
个所述番茄的所述竖直方向采摘角度，
Figure 523008DEST_PATH_IMAGE047
为同一串所述番茄串中同一侧的所述番茄的总数。
第二方面，本发明还提供了一种串番茄采摘角度获取装置，用于获取成串生长的番茄的采摘角度，所述串番茄采摘角度获取装置包括：
获取模块，用于获取待采摘番茄的图像；
识别模块，用于根据所述图像识别所有番茄的中心位置；
第一分类模块，用于根据所述番茄的中心位置对所述番茄进行番茄串的聚类分析；
第二分类模块，用于根据所述番茄的中心位置对各串所述番茄串中的所述番茄进行左右分类，以把所述番茄分类为左侧番茄或右侧番茄；
计算模块，用于根据左右分类的结果，获取各个所述番茄的采摘角度。
通过精确的位置识别，能够获取番茄之间准确的位置关系，在此基础上对番茄进行分类使得采摘更加有序，同时能够按照准确的分类调整出最优选的采摘角度，有利于保证采摘过程不对番茄造成损伤。
第三方面，本发明提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述串番茄采摘角度获取方法中的步骤。
第四方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述串番茄采摘角度获取方法中的步骤。
由上可知，区分出单串番茄上左右侧番茄的位置，并针对不同位置的番茄得到相应的采摘角度，在后续进行番茄采摘时，机器人会根据番茄位置调整采摘角度，使得在采摘其中一侧番茄时，不会与另一侧番茄发生刮擦，保证采摘后番茄的质量，降低番茄损伤率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的串番茄采摘角度获取方法的一种流程图。
图2为本申请实施例提供的串番茄采摘角度获取装置的一种结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为本申请实施例中所述YOLO-v4神经网络模型训练流程图。
图5为本申请实施例中对番茄进行番茄串的聚类分析步骤图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在某些实施例中，一种串番茄采摘角度获取方法，用于获取成串生长的番茄的采摘角度，其步骤包括：
S1、获取待采摘番茄的图像；
S2、根据图像识别所有番茄的中心位置；
S3、根据番茄的中心位置对番茄进行番茄串的聚类分析；
S4、根据番茄的中心位置对各串番茄串中的番茄进行左右分类，以把番茄分类为左侧番茄或右侧番茄；
S5、根据左右分类的结果，获取各个番茄的采摘角度。
在进行番茄采摘时，获取番茄的图像并通过图像识别技术识别图像中所有番茄的位置，本实施例利用预先训练好的YOLO-v4神经网络模型识别图像中各个番茄的位置。
参考附图4，训练YOLO-v4神经网络模型有以下步骤：
采集150~200张待采摘的番茄图片；
利用labelImage软件对所有图片上的各个番茄以方框形式进行标定，每个方框将一个番茄框定在内部且贴合于番茄轮廓；
建立坐标系，获取每个方框的四个角点的坐标数据；
将坐标数据输入YOLO-v4神经网络模型进行深度学习训练。
需要说明的是，YOLO-v4本质上是使用CNN网络来实现检测，基于原有的YOLO目标检测框架，集成各种优化策略，简洁而高效。该YOLO-v4神经网络模型的Input端可采用Mosaic数据增强方式，通过随机缩放、剪裁、拼接等方式对采集的番茄图片进行处理，以得到更多番茄图片；该YOLO-v4神经网络模型的Backbone端可修改主干网络为CSPDarknet53，从而增强学习能力，降低了计算成本；该YOLO-v4神经网络模型的Neck端可采用SPP（空间金字塔池化）的方式，并将FPN和PAN相结合，进一步提高特征提取能力；该YOLO-v4神经网络模型的Prediction端可应用CIOU_Loss损失函数，对于重叠目标的检测具有更好的识别效果。
YOLO-v4神经网络模型经过大量训练后将直接用于对番茄图像进行番茄位置的识别，识别结果包括所识别的各个番茄的坐标数据，利用该坐标数据进行距离计算，通过计算将所有番茄进行番茄串的聚类分析，最终区分出各串的番茄串；获得番茄串后针对单串番茄再进一步进行左右位置区分，按照区分出的左右侧番茄位置，即可以根据该左右位置获得最优选的采摘角度。
在实际应用中，每一串番茄串上的番茄呈列有序地生长在茎的左右两侧，若以固定的采摘角度直接进行采摘有可能会对其它番茄造成损伤，例如，茎的左右各生长一个番茄，为了确保采摘成功必然需要控制机械手张开一定距离以使番茄能够被包围在机械手内部，若从正面直接对左侧番茄进行采摘，张开的机械手在移动时很容易与紧贴在一旁的右侧番茄发生刮擦，导致右侧番茄表皮破损或掉落。
而本实施例中，进行一系列识别和分类后，获得番茄串的番茄的左右位置分类，根据该分类调整采摘角度，使得采摘左侧番茄时机械手能够有效避开右侧番茄，从而避免损伤右侧番茄。
在某些实施例中，参考附图5，步骤S3包括：
S31.以其中一个番茄的中心位置为第一个聚类中心；
S32.根据以下公式1和公式2获取阈值：
Figure 531284DEST_PATH_IMAGE048
（公式1）；
Figure 276429DEST_PATH_IMAGE049
（公式2）；
其中，
Figure 42260DEST_PATH_IMAGE050
为第
Figure 931719DEST_PATH_IMAGE004
个番茄的中心位置和第
Figure 60080DEST_PATH_IMAGE005
个番茄中心位置之间的直线距离，
Figure 376792DEST_PATH_IMAGE006
为第
Figure 629919DEST_PATH_IMAGE004
个番茄的中心位置的横坐标，
Figure 244440DEST_PATH_IMAGE007
为第
Figure 899412DEST_PATH_IMAGE005
个番茄的中心位置的横坐标，
Figure 714922DEST_PATH_IMAGE008
为第
Figure 924186DEST_PATH_IMAGE004
个番茄的中心位置的纵坐标，
Figure 748923DEST_PATH_IMAGE009
为第
Figure 992822DEST_PATH_IMAGE005
个番茄中心位置的纵坐标，
Figure 41550DEST_PATH_IMAGE010
为阈值，
Figure 738110DEST_PATH_IMAGE011
为
Figure 366538DEST_PATH_IMAGE050
的标准差，
Figure 464944DEST_PATH_IMAGE012
为
Figure 436571DEST_PATH_IMAGE050
的期望值，
Figure 620428DEST_PATH_IMAGE013
为所有番茄的总数；
S33.循环执行以下步骤：
S331.根据以下公式3、公式4和公式5计算最大最小值：
Figure 786967DEST_PATH_IMAGE014
（公式3）；
Figure 5459DEST_PATH_IMAGE015
（公式4）；
Figure 130410DEST_PATH_IMAGE016
（公式5）；
其中，
Figure 67142DEST_PATH_IMAGE017
为第
Figure 37372DEST_PATH_IMAGE004
个番茄的中心位置到各个聚类中心的距离的最小值，
Figure 844791DEST_PATH_IMAGE018
为第
Figure 140643DEST_PATH_IMAGE004
个番茄的中心位置到第一个聚类中心的直线距离，
Figure 299092DEST_PATH_IMAGE019
为第
Figure 807433DEST_PATH_IMAGE004
个番茄的中心位置到第二个聚类中心的直线距离，
Figure 517DEST_PATH_IMAGE020
为第
Figure 467271DEST_PATH_IMAGE004
个番茄的中心位置到第
Figure 988382DEST_PATH_IMAGE021
个聚类中心的直线距离，
Figure 565994DEST_PATH_IMAGE021
为当前已确定的聚类中心的总数且
Figure 879163DEST_PATH_IMAGE021
的初始值为1，
Figure 985660DEST_PATH_IMAGE013
为所有番茄的总数，
Figure 124560DEST_PATH_IMAGE022
为各个番茄的中心位置到各个聚类中心的最小值集合，
Figure 240284DEST_PATH_IMAGE023
为第一个番茄的中心位置到各个聚类中心的距离的最小值，
Figure 407960DEST_PATH_IMAGE024
为第二个番茄的中心位置到各个聚类中心的距离的最小值，
Figure 950937DEST_PATH_IMAGE025
为第
Figure 836853DEST_PATH_IMAGE013
个番茄的中心位置到各个聚类中心的最小值，
Figure 631634DEST_PATH_IMAGE026
为最大最小值；执行步骤S332或S333；
S332.在
Figure 919396DEST_PATH_IMAGE027
的时候，以到各个聚类中心的距离的最小值等于
Figure 898853DEST_PATH_IMAGE028
的番茄的中心位置作为第
Figure 740907DEST_PATH_IMAGE021
+1个聚类中心，并执行运算：
Figure 198433DEST_PATH_IMAGE021
=
Figure 809543DEST_PATH_IMAGE021
+1；执行步骤S331；
S333.在
Figure 287798DEST_PATH_IMAGE029
的时候，退出循环；
S34. 根据各聚类中心的位置和各番茄的中心位置，基于最小距离原则，对所有番茄根据各个聚类中心进行番茄串的归类。
需要说明的是，每一个已确定的聚类中心即对应一串番茄串，即聚类中心的总数对应为所识别的番茄图像中的番茄串数量。
还需要说明的是，各个番茄的中心位置坐标可以通过上述YOLO-v4神经网络模型的识别得到，YOLO-v4神经网络模型在识别番茄的位置时，会将方框的对角线交点的位置作为番茄的中心位置。
在某些实施例中，步骤S331包括：
根据以下公式6计算各个番茄的中心位置到各个聚类中心的直线距离：
Figure 617148DEST_PATH_IMAGE030
（公式6）；
其中，
Figure 19310DEST_PATH_IMAGE006
为第
Figure 16085DEST_PATH_IMAGE004
个番茄的中心位置的横坐标，
Figure 806187DEST_PATH_IMAGE031
为第
Figure 622833DEST_PATH_IMAGE021
个聚类中心的横坐标，
Figure 275357DEST_PATH_IMAGE008
为第
Figure 329901DEST_PATH_IMAGE004
个番茄的中心位置的纵坐标，
Figure 556483DEST_PATH_IMAGE032
为第
Figure 922742DEST_PATH_IMAGE021
个聚类中心的纵坐标。
因为坐标是通过上述的图像识别计算获得的，只要识别准确，利用坐标进行计算就能够有效保证计算精度，因此能够确保经过计算所得的各个番茄的中心位置到各个聚类中心的直线距离具有较高的精度。
在某些实施例中，步骤S4包括：
根据以下公式7计算单串番茄串上所有番茄的中心位置的横坐标均值：
Figure 791341DEST_PATH_IMAGE033
（公式7）；
其中，
Figure 231549DEST_PATH_IMAGE034
为第
Figure 894612DEST_PATH_IMAGE035
串番茄串上所有番茄的中心位置的横坐标均值，
Figure 154692DEST_PATH_IMAGE036
为第
Figure 826982DEST_PATH_IMAGE035
串番茄串上第
Figure 715172DEST_PATH_IMAGE037
个番茄的中心位置的横坐标，
Figure 690081DEST_PATH_IMAGE038
为第
Figure 703037DEST_PATH_IMAGE035
串番茄串上所有番茄的总数，
Figure 506914DEST_PATH_IMAGE039
为番茄串的总串数；
当
Figure 989891DEST_PATH_IMAGE040
的时候，则判定第
Figure 994756DEST_PATH_IMAGE037
个番茄为第
Figure 229428DEST_PATH_IMAGE035
串番茄串的右侧番茄；
当
Figure 977941DEST_PATH_IMAGE041
的时候，则判定第
Figure 981669DEST_PATH_IMAGE037
个番茄为第
Figure 157436DEST_PATH_IMAGE035
串番茄串的左侧番茄。
上述计算基于移动均值法对番茄水平方向横坐标求均值，实际应用时，因为番茄串上的茎经常被遮挡，且形状各异难以通过图像进行识别，而本实施例中，通过坐标计算同一串番茄串上番茄的横坐标均值，通过该均值能够有效区分出该串番茄串上的左侧番茄和右侧番茄。
在某些实施例中，采摘角度包括水平方向采摘角度；
步骤S5还包括：
获取第一预设角度和第二预设角度；
以第一预设角度为同一串番茄串中的各左侧番茄的水平方向采摘角度；
以第二预设角度为同一串番茄串中的各右侧番茄的水平方向采摘角度。
番茄的果梗比较短，生长于同一条茎上的左右侧番茄一般都相互贴近，因此该侧方向上并不适宜进行采摘，该方向容易与其他番茄发生刮擦，在实际种植时，种植基地为了使番茄成熟时更易于采摘，其各串番茄串之间都会保持一定距离，因此番茄串外侧拥有比较宽裕的空间进行采摘，对现场番茄串的位置进行考量，用户可以设定出合适左侧番茄或右侧番茄的角度作为采摘角度。
一般地，为了避免损伤番茄，在采摘左侧番茄时机械手会从左侧对左侧番茄进行采摘（即第一预设角度为偏向左侧的角度），在采摘右侧番茄时机械手会从右侧对右侧番茄进行采摘（即第二预设角度为偏向左侧的角度）。例如，假设以水平向前垂直于图像平面的方向轴线为水平方向采摘角度的零度参考线，以俯视平面中的逆时针方向为水平方向采摘角度的正方向，则第一预设角度可在
Figure 144983DEST_PATH_IMAGE051
范围内取值，例如为-90°，第二预设角度可在
Figure 431608DEST_PATH_IMAGE052
范围内取值，例如为90°。
在某些实施例中，采摘角度包括竖直方向采摘角度；
步骤S5还包括：
获取第三预设角度和第四预设角度；
以第三预设角度为同一串番茄串中的各左侧番茄的竖直方向采摘角度；
以第四预设角度为同一串番茄串中的各右侧番茄的竖直方向采摘角度。
其中第三预设角度和第四预设角度可以相同，也可以不同。
一般地，为了更加可靠地避免损伤番茄，在对同一侧番茄进行采摘时，会以从上到下的次序或从下到上的次序，逐个地对同侧番茄进行采摘，当以从上到下的次序进行采摘时，机械手优选为斜向朝下地进行采摘，当以从下到上的次序进行采摘时，机械手优选为斜向朝上地进行采摘。假设，机械手的朝向与水平面的夹角位于该水平面下方，则对应的竖直方向采摘角度为负，机械手的朝向与水平面的夹角位于该水平面上方，则对应的竖直方向采摘角度为正，从而当以从上到下的次序对左侧番茄（或右侧番茄）进行采摘时，第三预设角度（或第四预设角度）在
Figure 414477DEST_PATH_IMAGE053
范围内取值，如-45°；当以从下到上的次序对左侧番茄（或右侧番茄）进行采摘时，第三预设角度（或第四预设角度）在
Figure 636510DEST_PATH_IMAGE054
范围内取值，如45°。
在某些实施例中，采摘角度包括水平方向采摘角度；
步骤S5还包括：
获取位于水平方向上的第一偏转角范围和第二偏转角范围；
在第一偏转角范围内，分别为同一串番茄串中的各左侧番茄分配不同的水平方向采摘角度；
在第二偏转角范围内，分别为同一串番茄串中的各右侧番茄分配不同的水平方向采摘角度。
在本实施例中，第一偏转角范围和第二偏转角范围可以根据实际的番茄的生长情况进行确定，一般地，为了更可靠地避免损伤番茄，在采摘左侧番茄时，机械手会从左侧对左侧番茄进行采摘，在采摘右侧番茄时机械手会从右侧对右侧番茄进行采摘。例如，假设以水平向前垂直于图像平面的方向轴线为水平方向采摘角度的零度参考线，以俯视平面中的逆时针方向为水平方向采摘角度的正方向，则第一偏转角范围包含在
Figure 704830DEST_PATH_IMAGE055
范围内，例如为
Figure 60724DEST_PATH_IMAGE056
（即
Figure 39045DEST_PATH_IMAGE057
），第二偏转角范围包含在
Figure 902088DEST_PATH_IMAGE058
范围内，例如为
Figure 598649DEST_PATH_IMAGE059
（即
Figure 695918DEST_PATH_IMAGE060
）。
在一些具体实施例中，在分配水平方向采摘角度的时候，可以在此角度范围内对水平方向采摘角度进行随机选取。
在另一些具体实施例中，根据以下公式8，分别对左侧番茄和右侧番茄的水平方向采摘角度进行插补计算，获得同一串番茄串中同一侧的各个番茄的水平方向采摘角度：
Figure 325482DEST_PATH_IMAGE061
（公式8）；
其中，
Figure 13952DEST_PATH_IMAGE062
为第一偏转角范围的最大值或第二偏转角范围的最大值，
Figure 197809DEST_PATH_IMAGE063
为第一偏转角范围的最小值或第二偏转角范围的最小值，
Figure 364348DEST_PATH_IMAGE064
为第
Figure 317261DEST_PATH_IMAGE065
个番茄的水平方向采摘角度，
Figure 770108DEST_PATH_IMAGE066
为同一串番茄串中同一侧的番茄的总数。
在某些实施例中，采摘角度包括竖直方向采摘角度；
步骤S5还包括：
获取位于竖直方向上的第一俯仰角范围和第二俯仰角范围；
在第一俯仰角范围内，分别为同一串番茄串中的各左侧番茄分配不同的竖直方向采摘角度；
在第二俯仰角范围内，分别为同一串番茄串中的各右侧番茄分配不同的竖直方向采摘角度。
一般地，为了更加可靠地避免损伤番茄，在对同一侧番茄进行采摘时，会以从上到下的次序或从下到上的次序，逐个地对同侧番茄进行采摘，当以从上到下的次序进行采摘时，机械手优选为斜向朝下地进行采摘，当以从下到上的次序进行采摘时，机械手优选为斜向朝上地进行采摘。假设，机械手的朝向与水平面的夹角位于该水平面下方，则对应的竖直方向采摘角度为负，机械手的朝向与水平面的夹角位于该水平面上方，则对应的竖直方向采摘角度为正，从而当以从上到下的次序对左侧番茄（或右侧番茄）进行采摘时，第一俯仰角范围（或第二俯仰角范围）在
Figure 175681DEST_PATH_IMAGE053
范围内，例如
Figure 880332DEST_PATH_IMAGE067
（即-18°~0°）；当以从下到上的次序对左侧番茄（或右侧番茄）进行采摘时，第一俯仰角范围（或第二俯仰角范围）在
Figure 812385DEST_PATH_IMAGE054
范围内，例如
Figure 311499DEST_PATH_IMAGE068
（即0°~18°）。
在一些具体实施例中，在分配竖直方向采摘角度的时候，可以在此角度范围内对竖直方向采摘角度进行随机选取。
在另一些具体实施例中，根据以下公式9，分别对左侧番茄和右侧番茄的竖直方向采摘角度进行插补计算，获得同一串番茄串中同一侧的各个番茄的竖直方向采摘角度：
Figure 204369DEST_PATH_IMAGE069
（公式9）；
其中，
Figure 843204DEST_PATH_IMAGE043
为第一俯仰角范围的最大值或第二俯仰角范围的最大值，
Figure 239550DEST_PATH_IMAGE044
为第一俯仰角范围的最小值或第二俯仰角范围的最小值，
Figure 175145DEST_PATH_IMAGE045
为第
Figure 148786DEST_PATH_IMAGE046
个番茄的竖直方向采摘角度，
Figure 726398DEST_PATH_IMAGE047
为同一串番茄串中同一侧的番茄的总数。
需要说明的是，因为同一侧的番茄之间的实际生长位置可能存在一定的间距，通过上述的插补计算，根据番茄之间存在的间隔数量调整采摘角度，做出符合实际的灵活调整，能够使采摘机器人以更优选、更符合实际的采摘角度对番茄进行采摘。
通过计算获得番茄的水平方向采摘角度和竖直方向采摘角度后，控制机械手按水平方向采摘角度和竖直方向采摘角度调整采摘角度，即可在采摘番茄时有效避开其他番茄的位置，从而避免与番茄发生刮擦造成番茄损伤。
在某些实施例中，采摘角度包括水平方向采摘角度和竖直方向采摘角度；
步骤S5还包括：
获取第一预设角度和第二预设角度；
以第一预设角度为同一串番茄串中的各左侧番茄的水平方向采摘角度；
以第二预设角度为同一串番茄串中的各右侧番茄的水平方向采摘角度；
获取第三预设角度和第四预设角度；
以第三预设角度为同一串番茄串中的各左侧番茄的竖直方向采摘角度；
以第四预设角度为同一串番茄串中的各右侧番茄的竖直方向采摘角度。
在某些实施例中，采摘角度包括水平方向采摘角度和竖直方向采摘角度；
步骤S5还包括：
获取第一预设角度和第二预设角度；
以第一预设角度为同一串番茄串中的各左侧番茄的水平方向采摘角度；
以第二预设角度为同一串番茄串中的各右侧番茄的水平方向采摘角度；
获取位于竖直方向上的第一俯仰角范围和第二俯仰角范围；
在第一俯仰角范围内，分别为同一串番茄串中的各左侧番茄分配不同的竖直方向采摘角度；
在第二俯仰角范围内，分别为同一串番茄串中的各右侧番茄分配不同的竖直方向采摘角度。
在某些实施例中，采摘角度包括水平方向采摘角度和竖直方向采摘角度；
步骤S5还包括：
获取位于水平方向上的第一偏转角范围和第二偏转角范围；
在第一偏转角范围内，分别为同一串番茄串中的各左侧番茄分配不同的水平方向采摘角度；
在第二偏转角范围内，分别为同一串番茄串中的各右侧番茄分配不同的水平方向采摘角度；
获取位于竖直方向上的第一俯仰角范围和第二俯仰角范围；
在第一俯仰角范围内，分别为同一串番茄串中的各左侧番茄分配不同的竖直方向采摘角度；
在第二俯仰角范围内，分别为同一串番茄串中的各右侧番茄分配不同的竖直方向采摘角度。
在某些实施例中，采摘角度包括水平方向采摘角度和竖直方向采摘角度；
步骤S5还包括：
获取位于水平方向上的第一偏转角范围和第二偏转角范围；
在第一偏转角范围内，分别为同一串番茄串中的各左侧番茄分配不同的水平方向采摘角度；
在第二偏转角范围内，分别为同一串番茄串中的各右侧番茄分配不同的水平方向采摘角度；
获取第三预设角度和第四预设角度；
以第三预设角度为同一串番茄串中的各左侧番茄的竖直方向采摘角度；
以第四预设角度为同一串番茄串中的各右侧番茄的竖直方向采摘角度。
请参照图2，图2是本申请一些实施例中的一种串番茄采摘角度获取装置，用于获取成串生长的番茄的采摘角度，该串番茄采摘角度获取装置以计算机程序的形式集成在该串番茄采摘角度获取装置的后端控制设备中，该串番茄采摘角度获取装置包括：
获取模块600，用于获取待采摘番茄的图像；
识别模块700，用于根据图像识别所有番茄的中心位置；
第一分类模块800，用于根据番茄的中心位置对番茄进行番茄串的聚类分析；
第二分类模块900，用于根据番茄的中心位置对各串番茄串中的番茄进行左右分类，以把番茄分类为左侧番茄或右侧番茄；
计算模块1000，用于根据左右分类的结果，获取各番茄的采摘角度。
在某些实施例中，在第一分类模块800用于根据番茄的中心位置对番茄进行番茄串的聚类分析的时候执行：
S31.以其中一个番茄的中心位置为第一个聚类中心；
S32.根据以下公式获取阈值：
Figure 508409DEST_PATH_IMAGE070
；
Figure 614905DEST_PATH_IMAGE049
；
其中，
Figure 747947DEST_PATH_IMAGE050
为第
Figure 129249DEST_PATH_IMAGE004
个番茄的中心位置和第
Figure 296925DEST_PATH_IMAGE005
个番茄中心位置之间的直线距离，
Figure 574323DEST_PATH_IMAGE006
为第
Figure 194660DEST_PATH_IMAGE004
个番茄的中心位置的横坐标，
Figure 582916DEST_PATH_IMAGE007
为第
Figure 605099DEST_PATH_IMAGE005
个番茄的中心位置的横坐标，
Figure 578697DEST_PATH_IMAGE008
为第
Figure 686330DEST_PATH_IMAGE004
个番茄的中心位置的纵坐标，
Figure 143856DEST_PATH_IMAGE009
为第
Figure 20545DEST_PATH_IMAGE005
个番茄中心位置的纵坐标，
Figure 374166DEST_PATH_IMAGE010
为阈值，
Figure 969096DEST_PATH_IMAGE011
为
Figure 230313DEST_PATH_IMAGE050
的标准差，
Figure 227088DEST_PATH_IMAGE012
为
Figure 17189DEST_PATH_IMAGE050
的期望值，
Figure 364994DEST_PATH_IMAGE013
为所有番茄的总数；
S33.循环执行以下步骤：
S331.根据以下公式计算最大最小值：
Figure 164323DEST_PATH_IMAGE014
；
Figure 890970DEST_PATH_IMAGE015
；
Figure 242186DEST_PATH_IMAGE016
；
其中，
Figure 687074DEST_PATH_IMAGE017
为第
Figure 883569DEST_PATH_IMAGE004
个番茄的中心位置到各个聚类中心的距离的最小值，
Figure 995881DEST_PATH_IMAGE018
为第
Figure 393365DEST_PATH_IMAGE004
个番茄的中心位置到第一个聚类中心的直线距离，
Figure 783938DEST_PATH_IMAGE019
为第
Figure 925069DEST_PATH_IMAGE004
个番茄的中心位置到第二个聚类中心的直线距离，
Figure 626309DEST_PATH_IMAGE020
为第
Figure 725852DEST_PATH_IMAGE004
个番茄的中心位置到第
Figure 738807DEST_PATH_IMAGE021
个聚类中心的直线距离，
Figure 418050DEST_PATH_IMAGE021
为当前已确定的聚类中心的总数且
Figure 691906DEST_PATH_IMAGE021
的初始值为1，
Figure 837716DEST_PATH_IMAGE013
为所有番茄的总数，
Figure 603547DEST_PATH_IMAGE022
为各个番茄的中心位置到各个聚类中心的最小值集合，
Figure 86481DEST_PATH_IMAGE023
为第一个番茄的中心位置到各个聚类中心的距离的最小值，
Figure 214843DEST_PATH_IMAGE024
为第二个番茄的中心位置到各个聚类中心的距离的最小值，
Figure 531555DEST_PATH_IMAGE025
为第
Figure 519102DEST_PATH_IMAGE013
个番茄的中心位置到各个聚类中心的最小值，
Figure 71306DEST_PATH_IMAGE026
为最大最小值；执行步骤S332或S333；
S332.在
Figure 523016DEST_PATH_IMAGE027
的时候，以到各个聚类中心的距离的最小值等于
Figure 276209DEST_PATH_IMAGE028
的番茄的中心位置作为第
Figure 627685DEST_PATH_IMAGE021
+1个聚类中心，并执行运算：
Figure 858946DEST_PATH_IMAGE021
=
Figure 102846DEST_PATH_IMAGE021
+1；执行步骤S331；
S333.在
Figure 213890DEST_PATH_IMAGE029
的时候，退出循环；
S34. 根据各聚类中心的位置和各番茄的中心位置，基于最小距离原则，对所有番茄根据各个聚类中心进行番茄串的归类。
在某些实施例中，在第一分类模块800用于根据公式计算最大最小值的时候执行：
根据以下公式计算各个番茄的中心位置到各个聚类中心的直线距离：
Figure 176030DEST_PATH_IMAGE030
；
其中，
Figure 538878DEST_PATH_IMAGE006
为第
Figure 309388DEST_PATH_IMAGE004
个番茄的中心位置的横坐标，
Figure 732279DEST_PATH_IMAGE031
为第
Figure 181715DEST_PATH_IMAGE021
个聚类中心的横坐标，
Figure 613833DEST_PATH_IMAGE008
为第
Figure 894642DEST_PATH_IMAGE004
个番茄的中心位置的纵坐标，
Figure 754013DEST_PATH_IMAGE032
为第
Figure 18642DEST_PATH_IMAGE021
个聚类中心的纵坐标。
在某些实施例中，在第二分类模块900用于根据番茄的中心位置对各串番茄串中的番茄进行左右分类，以把番茄分类为左侧番茄或右侧番茄的时候执行：
根据以下公式计算单串番茄串上所有番茄的中心位置的横坐标均值：
Figure 395396DEST_PATH_IMAGE033
；
其中，
Figure 333308DEST_PATH_IMAGE034
为第
Figure 363581DEST_PATH_IMAGE035
串番茄串上所有番茄的中心位置的横坐标均值，
Figure 256451DEST_PATH_IMAGE036
为第
Figure 30372DEST_PATH_IMAGE035
串番茄串上第
Figure 957877DEST_PATH_IMAGE037
个番茄的中心位置的横坐标，
Figure 627892DEST_PATH_IMAGE038
为第
Figure 195009DEST_PATH_IMAGE035
串番茄串上所有番茄的总数，
Figure 241462DEST_PATH_IMAGE039
为番茄串的总串数；
当
Figure 757894DEST_PATH_IMAGE040
的时候，则判定第
Figure 129970DEST_PATH_IMAGE037
个番茄为第
Figure 590907DEST_PATH_IMAGE035
串番茄串的右侧番茄；
当
Figure 441051DEST_PATH_IMAGE041
的时候，则判定第
Figure 196343DEST_PATH_IMAGE037
个番茄为第
Figure 473741DEST_PATH_IMAGE035
串番茄串的左侧番茄。
在某些实施例中，采摘角度包括水平方向采摘角度；在计算模块1000用于根据左右分类的结果，获取各番茄的采摘角度的时候还执行：
获取位于水平方向上的第一偏转角范围和第二偏转角范围；
在第一偏转角范围内，分别为同一串番茄串中的各左侧番茄分配不同的水平方向采摘角度；
在第二偏转角范围内，分别为同一串番茄串中的各右侧番茄分配不同的水平方向采摘角度。
在某些实施例中，采摘角度包括竖直方向采摘角度；在计算模块1000用于根据左右分类的结果，获取各番茄的采摘角度的时候还执行：
获取位于竖直方向上的第一俯仰角范围和第二俯仰角范围；
在第一俯仰角范围内，分别为同一串番茄串中的各左侧番茄分配不同的竖直方向采摘角度；
在第二俯仰角范围内，分别为同一串番茄串中的各右侧番茄分配不同的竖直方向采摘角度。
在某些实施例中，在计算模块1000用于在执行在第一俯仰角范围内，分别为同一串番茄串中的各左侧番茄分配不同的竖直方向采摘角度，在第二俯仰角范围内，分别为同一串番茄串中的各右侧番茄分配不同的竖直方向采摘角度的步骤的时候还执行：
根据以下公式分别对左侧番茄和右侧番茄的竖直方向采摘角度进行插补计算，获得同一串番茄串中同一侧的各个番茄的竖直方向采摘角度：
Figure 359657DEST_PATH_IMAGE042
；
其中，
Figure 544651DEST_PATH_IMAGE071
为第一俯仰角范围或第二俯仰角范围的最大值，
Figure 363571DEST_PATH_IMAGE072
为第一俯仰角范围或第二俯仰角范围的最小值，
Figure 811870DEST_PATH_IMAGE073
为第
Figure 185083DEST_PATH_IMAGE074
个番茄的竖直方向采摘角度，
Figure 704926DEST_PATH_IMAGE075
为同一串番茄串中同一侧的番茄的总数。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器1101和存储器1102，处理器1101和存储器1102通过通信总线1103和/或其他形式的连接机构（未标出）互连并相互通讯，存储器1102存储有处理器1101可执行的计算机程序，当计算设备运行时，处理器1101执行该计算机程序，以执行上述第一方面的实施例的任一可选的实现方式中的串番茄采摘角度获取方法，以实现以下功能：获取待采摘番茄的图像；根据图像识别所有番茄的中心位置；根据番茄的中心位置对番茄进行番茄串的聚类分析；根据番茄的中心位置对各串番茄串中的番茄进行左右分类，以把番茄分类为左侧番茄或右侧番茄；根据左右分类的结果，获取各个番茄的采摘角度。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述第一方面的实施例的任一可选的实现方式中的串番茄采摘角度获取方法，以实现以下功能：获取待采摘番茄的图像；根据图像识别所有番茄的中心位置；根据番茄的中心位置对番茄进行番茄串的聚类分析；根据番茄的中心位置对各串番茄串中的番茄进行左右分类，以把番茄分类为左侧番茄或右侧番茄；根据左右分类的结果，获取各个番茄的采摘角度。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.串番茄采摘角度获取方法，用于获取成串生长的番茄的采摘角度，其特征在于，其步骤包括：
S1、获取待采摘番茄的图像；
S2、根据所述图像识别所有番茄的中心位置；
S3、根据所述番茄的中心位置对所述番茄进行番茄串的聚类分析；
S4、根据所述番茄的中心位置对各串所述番茄串中的所述番茄进行左右分类，以把所述番茄分类为左侧番茄或右侧番茄；
S5、根据左右分类的结果，获取各个所述番茄的采摘角度。
2.根据权利要求1所述的串番茄采摘角度获取方法，其特征在于，步骤S3包括：
S31.以其中一个所述番茄的中心位置为第一个聚类中心；
S32.根据以下公式获取阈值：
Figure 183407DEST_PATH_IMAGE001
；
Figure 750480DEST_PATH_IMAGE002
；
其中，
Figure 592534DEST_PATH_IMAGE003
为第
Figure 50061DEST_PATH_IMAGE004
个所述番茄的中心位置和第
Figure 926750DEST_PATH_IMAGE005
个所述番茄中心位置之间的直线距离，
Figure 280371DEST_PATH_IMAGE006
为第
Figure 937617DEST_PATH_IMAGE004
个所述番茄的中心位置的横坐标，
Figure 667675DEST_PATH_IMAGE007
为第
Figure 257926DEST_PATH_IMAGE005
个所述番茄的中心位置的横坐标，
Figure 375923DEST_PATH_IMAGE008
为第
Figure 395832DEST_PATH_IMAGE004
个所述番茄的中心位置的纵坐标，
Figure 195161DEST_PATH_IMAGE009
为第
Figure 780863DEST_PATH_IMAGE005
个所述番茄中心位置的纵坐标，
Figure 273024DEST_PATH_IMAGE010
为所述阈值，
Figure 582826DEST_PATH_IMAGE011
为
Figure 920266DEST_PATH_IMAGE003
的标准差，
Figure 891633DEST_PATH_IMAGE012
为
Figure 289117DEST_PATH_IMAGE003
的期望值，
Figure 80355DEST_PATH_IMAGE013
为所有所述番茄的总数；
S33.循环执行以下步骤：
S331.根据以下公式计算最大最小值：
Figure 549382DEST_PATH_IMAGE014
；
Figure 109677DEST_PATH_IMAGE015
；
Figure 943641DEST_PATH_IMAGE016
；
其中，
Figure 425438DEST_PATH_IMAGE017
为第
Figure 635839DEST_PATH_IMAGE004
个所述番茄的中心位置到各个聚类中心的距离的最小值，
Figure 378536DEST_PATH_IMAGE018
为第
Figure 383401DEST_PATH_IMAGE004
个所述番茄的中心位置到所述第一个聚类中心的直线距离，
Figure 618073DEST_PATH_IMAGE019
为第
Figure 101007DEST_PATH_IMAGE004
个所述番茄的中心位置到第二个聚类中心的直线距离，
Figure 59447DEST_PATH_IMAGE020
为第
Figure 969634DEST_PATH_IMAGE004
个所述番茄的中心位置到第
Figure 629286DEST_PATH_IMAGE021
个聚类中心的直线距离，
Figure 915911DEST_PATH_IMAGE021
为当前已确定的所述聚类中心的总数且
Figure 39725DEST_PATH_IMAGE021
的初始值为1，
Figure 386392DEST_PATH_IMAGE013
为所有所述番茄的总数，
Figure 595657DEST_PATH_IMAGE022
为各个所述番茄的中心位置到各个所述聚类中心的最小值集合，
Figure 482710DEST_PATH_IMAGE023
为第一个所述番茄的中心位置到各个所述聚类中心的距离的最小值，
Figure 929872DEST_PATH_IMAGE024
为第二个所述番茄的中心位置到各个所述聚类中心的距离的最小值，
Figure 713020DEST_PATH_IMAGE025
为第
Figure 347264DEST_PATH_IMAGE013
个所述番茄的中心位置到各个所述聚类中心的最小值，
Figure 975691DEST_PATH_IMAGE026
为所述最大最小值；执行步骤S332或S333；
S332.在
Figure 74097DEST_PATH_IMAGE027
的时候，以到各个所述聚类中心的距离的最小值等于
Figure 496988DEST_PATH_IMAGE028
的番茄的中心位置作为第
Figure 946424DEST_PATH_IMAGE021
+1个聚类中心，并执行运算：
Figure 175280DEST_PATH_IMAGE021
=
Figure 862614DEST_PATH_IMAGE021
+1；执行步骤S331；
S333.在
Figure 394089DEST_PATH_IMAGE029
的时候，退出循环；
S34. 根据各所述聚类中心的位置和各所述番茄的中心位置，基于最小距离原则，对所有所述番茄根据各个聚类中心进行番茄串的归类。
3.根据权利要求2所述的串番茄采摘角度获取方法，其特征在于，步骤S331包括：
根据以下公式计算各个所述番茄的中心位置到各个所述聚类中心的直线距离：
Figure 71101DEST_PATH_IMAGE030
；
其中，
Figure 306911DEST_PATH_IMAGE006
为第
Figure 379909DEST_PATH_IMAGE004
个所述番茄的中心位置的横坐标，
Figure 144602DEST_PATH_IMAGE031
为第
Figure 303051DEST_PATH_IMAGE021
个所述聚类中心的横坐标，
Figure 76972DEST_PATH_IMAGE008
为第
Figure 4477DEST_PATH_IMAGE004
个所述番茄的中心位置的纵坐标，
Figure 2389DEST_PATH_IMAGE032
为第
Figure 648134DEST_PATH_IMAGE021
个所述聚类中心的纵坐标。
4.根据权利要求2所述的串番茄采摘角度获取方法，其特征在于，步骤S4包括：
根据以下公式计算单串所述番茄串上所有所述番茄的中心位置的横坐标均值：
Figure 960166DEST_PATH_IMAGE033
；
其中，
Figure 7757DEST_PATH_IMAGE034
为第
Figure 114253DEST_PATH_IMAGE035
串所述番茄串上所有所述番茄的中心位置的横坐标均值，
Figure 716136DEST_PATH_IMAGE036
为第
Figure 628597DEST_PATH_IMAGE035
串所述番茄串上第
Figure 265115DEST_PATH_IMAGE037
个所述番茄的中心位置的横坐标，
Figure 480195DEST_PATH_IMAGE038
为第
Figure 422569DEST_PATH_IMAGE035
串所述番茄串上所有所述番茄的总数，
Figure 76405DEST_PATH_IMAGE039
为所述番茄串的总串数；
当
Figure 833008DEST_PATH_IMAGE040
的时候，则判定第
Figure 218990DEST_PATH_IMAGE037
个所述番茄为第
Figure 326623DEST_PATH_IMAGE035
串所述番茄串的所述右侧番茄；
当
Figure 112046DEST_PATH_IMAGE041
的时候，则判定第
Figure 395259DEST_PATH_IMAGE037
个所述番茄为第
Figure 545618DEST_PATH_IMAGE035
串所述番茄串的所述左侧番茄。
5.根据权利要求4所述的串番茄采摘角度获取方法，其特征在于，所述采摘角度包括水平方向采摘角度；
步骤S5还包括：
获取位于水平方向上的第一偏转角范围和第二偏转角范围；
在所述第一偏转角范围内，分别为同一串所述番茄串中的各所述左侧番茄分配不同的水平方向采摘角度；
在所述第二偏转角范围内，分别为同一串所述番茄串中的各所述右侧番茄分配不同的水平方向采摘角度。
6.根据权利要求4所述的串番茄采摘角度获取方法，其特征在于，所述采摘角度包括竖直方向采摘角度；
步骤S5还包括：
获取位于竖直方向上的第一俯仰角范围和第二俯仰角范围；
在所述第一俯仰角范围内，分别为同一串所述番茄串中的各所述左侧番茄分配不同的竖直方向采摘角度；
在所述第二俯仰角范围内，分别为同一串所述番茄串中的各所述右侧番茄分配不同的竖直方向采摘角度。
7.根据权利要求6所述的串番茄采摘角度获取方法，其特征在于， 根据以下公式分别对所述左侧番茄和所述右侧番茄的所述竖直方向采摘角度进行插补计算，获得同一串所述番茄串中同一侧的各个所述番茄的所述竖直方向采摘角度：
Figure 609389DEST_PATH_IMAGE042
；
其中，
Figure 136185DEST_PATH_IMAGE043
为所述第一俯仰角范围或所述第二俯仰角范围的最大值，
Figure 336222DEST_PATH_IMAGE044
为所述第一俯仰角范围或所述第二俯仰角范围的最小值，
Figure 454220DEST_PATH_IMAGE045
为第
Figure 270866DEST_PATH_IMAGE046
个所述番茄的所述竖直方向采摘角度，
Figure 273457DEST_PATH_IMAGE047
为同一串所述番茄串中同一侧的所述番茄的总数。
8.一种串番茄采摘角度获取装置，用于获取成串生长的番茄的采摘角度，其特征在于，所述串番茄采摘角度获取装置包括：
获取模块，用于获取待采摘番茄的图像；
识别模块，用于根据所述图像识别所有番茄的中心位置；
第一分类模块，用于根据所述番茄的中心位置对所述番茄进行番茄串的聚类分析；
第二分类模块，用于根据所述番茄的中心位置对各串所述番茄串中的所述番茄进行左右分类，以把所述番茄分类为左侧番茄或右侧番茄；
计算模块，用于根据左右分类的结果，获取各个所述番茄的采摘角度。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述串番茄采摘角度获取方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述串番茄采摘角度获取方法中的步骤。
CN202111364140.3A 2021-11-17 2021-11-17 串番茄采摘角度获取方法、装置、电子设备及存储介质 Active CN113808194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111364140.3A CN113808194B (zh) 2021-11-17 2021-11-17 串番茄采摘角度获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111364140.3A CN113808194B (zh) 2021-11-17 2021-11-17 串番茄采摘角度获取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113808194A true CN113808194A (zh) 2021-12-17
CN113808194B CN113808194B (zh) 2022-03-08

Family

ID=78898661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111364140.3A Active CN113808194B (zh) 2021-11-17 2021-11-17 串番茄采摘角度获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113808194B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114788455A (zh) * 2022-04-12 2022-07-26 苏州大学 一种基于目标检测的串番茄单粒采摘方法及系统
CN117617002A (zh) * 2024-01-04 2024-03-01 太原理工大学 一种用于番茄自动识别及智能采收的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN109937704A (zh) * 2019-03-14 2019-06-28 岭南师范学院 一种变角度定位的采摘装置
CN112990103A (zh) * 2021-04-16 2021-06-18 苏州大学 一种基于机器视觉的串采二次定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN109937704A (zh) * 2019-03-14 2019-06-28 岭南师范学院 一种变角度定位的采摘装置
CN112990103A (zh) * 2021-04-16 2021-06-18 苏州大学 一种基于机器视觉的串采二次定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAO C ET AL: "Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
孙承庭 等: "智能移动式水果采摘机器人设计——基于机器视觉技术", 《农机化研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114788455A (zh) * 2022-04-12 2022-07-26 苏州大学 一种基于目标检测的串番茄单粒采摘方法及系统
CN114788455B (zh) * 2022-04-12 2023-08-25 苏州大学 一种基于目标检测的串番茄单粒采摘方法及系统
CN117617002A (zh) * 2024-01-04 2024-03-01 太原理工大学 一种用于番茄自动识别及智能采收的方法

Also Published As

Publication number Publication date
CN113808194B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
Silwal et al. Design, integration, and field evaluation of a robotic apple harvester
Sun et al. Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering
US11151423B2 (en) Predictive models for visually classifying insects
Roscher et al. Automated image analysis framework for high-throughput determination of grapevine berry sizes using conditional random fields
CN109886094A (zh) 一种作物苗情苗势采集分析方法和装置
CN107316289A (zh) 基于深度学习和超像素分割的大田稻穗分割方法
Kalampokas et al. Grape stem detection using regression convolutional neural networks
CN110223349A (zh) 一种采摘点定位方法
CN112990103B (zh) 一种基于机器视觉的串采二次定位方法
CN113808194B (zh) 串番茄采摘角度获取方法、装置、电子设备及存储介质
Zhaoxin et al. Design a robot system for tomato picking based on YOLO v5
Jin et al. Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test
CN112507768A (zh) 目标物检测方法、装置和图像采集方法、装置
Silwal et al. Effort towards robotic apple harvesting in Washington State
CN112990148A (zh) 智能搬运机器人目标识别方法及系统
Cho et al. Plant growth information measurement based on object detection and image fusion using a smart farm robot
CN111062988A (zh) 一种基于局部点云的葡萄位姿估计方法
Rao Design of automatic cotton picking robot with Machine vision using Image Processing algorithms
Zhao et al. Transient multi-indicator detection for seedling sorting in high-speed transplanting based on a lightweight model
WO2022104867A1 (zh) 目标物的特征检测方法和装置
CN114387343A (zh) 一种成簇平菇的菌柄采摘位置的检测方法
Gharakhani et al. Integration and preliminary evaluation of a robotic cotton harvester prototype
CN113222889A (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
CN113313692A (zh) 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法
CN115937314A (zh) 一种油茶果生长姿态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant