CN114846998A - 基于YOLOv4算法的双目机器人的番茄采摘方法及系统 - Google Patents
基于YOLOv4算法的双目机器人的番茄采摘方法及系统 Download PDFInfo
- Publication number
- CN114846998A CN114846998A CN202210588487.4A CN202210588487A CN114846998A CN 114846998 A CN114846998 A CN 114846998A CN 202210588487 A CN202210588487 A CN 202210588487A CN 114846998 A CN114846998 A CN 114846998A
- Authority
- CN
- China
- Prior art keywords
- binocular
- model
- tomato
- algorithm
- yolov4
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000007688 Lycopersicon esculentum Nutrition 0.000 title claims abstract description 101
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 50
- 240000003768 Solanum lycopersicum Species 0.000 title claims description 97
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 2
- 241000227653 Lycopersicon Species 0.000 abstract 5
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000013585 weight reducing agent Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D45/00—Harvesting of standing crops
- A01D45/006—Harvesting of standing crops of tomatoes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于YOLOv4算法的双目机器人的番茄采摘方法及系统，涉及农作物智能采摘技术领域。该方法包括：建立多个遮挡程度类别的样本数据集；对YOLOv4算法进行轻量化处理，并样本数据集进行模型训练，构建目标检测模型；将双目相机参数与的YOLOv4算法进行关联；通过双目机器人的双目相机采集并导入实时番茄采摘数据至目标检测模型中，生成番茄识别与定位信息；获取双目机器人的机械臂的位置信息，生成抓取轨迹规划信息；控制双目机器人对目标番茄进行抓取。本发明对YOLOv4算法进行轻量化处理，并结合双目视觉技术，对不同遮挡程度的成熟番茄果实进行划分识别及定位，进而保证采摘的精准性。
Description
技术领域
本发明涉及农作物智能采摘技术领域，具体而言，涉及一种基于YOLOv4算法的双目机器人的番茄采摘方法及系统。
背景技术
目前现代化农业发展飞速，番茄的耕地种基础建设面积和生产总量上都处于稳步上升的状态，番茄在生产过程当中不断朝向精准化、规模化、集约化的趋势上发展，对有着智能化、自动化的农业智能装备的需求也快速的增加。然而，在番茄的生产和加工工作过程当中，对番茄果实的采摘是一项劳动强度特别大、耗费时间特别长的步骤。番茄采摘机器应运而生，它可以替人作业，能够有效地降低劳动所需要的强度、提高劳动过程中的生产效率。
在智慧农业的大环境下，采摘机器人越来越朝着智能化的方向发展，但是在精细化农业上还有所欠缺，其具体表现在：
(1)在深度学习对成熟番茄果实的识别应用中并没有考虑到采摘机器人实际作业需求，由于机器人视角的限制，摄像头中必然会出现大量被番茄枝叶遮挡的果实，但现在的识别只是识别出番茄，并没有对遮挡程度进行划分，导致番茄采摘机器人在采摘被遮挡的成熟果实过程中不能很好的规划机械臂的轨迹，出现诸如损害番茄植株、果实，损伤机器人等缺点，造成经济损失。
(2)由于边缘设备性能有限，其计算能力不能直接承担YOLOv4算法，导致设备作业精准度不高。
(3)目前大部分算法只是完成了对番茄果实的识别，并没有对识别到的果实进行定位，导致目标抓取不够精准。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于YOLOv4算法的双目机器人的番茄采摘方法及系统，对YOLOv4算法进行轻量化处理，并结合双目视觉技术，对不同遮挡程度的成熟番茄果实进行划分识别及定位，进而保证采摘的精准性。
本发明的实施例是这样实现的：
第一方面，本发明实施例提供一种基于YOLOv4算法的双目机器人的番茄采摘方法，包括以下步骤：
获取并对番茄图片样本数据进行遮挡程度分类标记，以建立多个遮挡程度类别的样本数据集；
对YOLOv4算法进行轻量化处理，并基于各个类别的样本数据集对轻量化处理后的YOLOv4算法进行训练，以构建目标检测模型；
获取并将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联；
通过双目机器人的双目相机采集并导入实时番茄采摘数据至目标检测模型中，生成番茄识别与定位信息；
获取双目机器人的机械臂的位置信息，并根据番茄识别与定位信息和机械臂的位置信息生成抓取轨迹规划信息；
根据抓取轨迹规划信息控制双目机器人对目标番茄进行抓取。
为了解决现有技术中深度学习算法无法很好的移植到边缘设备上，无法对遮挡情况下的番茄进行精准的识别与定位，进而无法实现目标精准抓取的技术问题，本发明采集多种不同遮挡程度情况下的样本数据，对不同遮挡程度的成熟番茄果实进行划分识别，为采摘机器人对不同遮挡程度的成熟番茄果实进行不同的采摘策略提供了思路；对YOLOv4算法进行轻量化处理，便于更好的移植到边缘设备当中去，并将改进后的轻量化YOLOv4算法与双目视觉结合，便于更好的识别和测距，进而对不同遮挡程度的成熟番茄果实进行精准的划分识别及定位，并结合机械臂运动学求解，进行合理的抓取路径规划，进而对目标番茄进行精准抓取。
基于第一方面，在本发明的一些实施例中，上述对YOLOv4算法进行轻量化处理的方法包括以下步骤：
采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改，以实现轻量化处理。
基于第一方面，在本发明的一些实施例中，上述轻量化网络模型包括加Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型。
基于第一方面，在本发明的一些实施例中，上述采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改的方法包括以下步骤：
在YOLOv4算法的主干网络中添加Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型；
在YOLOv4算法中定义一个Backbone变量，以选取Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型其中一个模型作为主干特征提取网络；
通过if-elif语句确定选取的作为主干特征提取网络的轻量化模型，并且分别定义三个模型的三个有效特征层输出通道数；
对YOLOv4主干网络中卷积模块的输入通道数进行修改，使其与选取的轻量化模型的输出通道数相匹配；
在PAnet加强特征提取网络中利用预置的深度可分离卷积结构块代替YOLOv4算法中原始的卷积块，完成修改。
基于第一方面，在本发明的一些实施例中，上述将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联的方法包括以下步骤：
在工程文件里添加相机参数并进行立体校正，在YOLOv4算法的主干网络的detect_image部分定义双目相机的左右变量，完成关联。
基于第一方面，在本发明的一些实施例中，该基于YOLOv4算法的双目机器人的番茄采摘方法还包括以下步骤：
利用SGBM算法进行视差计算，进而实现测距。
第二方面，本发明实施例提供一种基于YOLOv4算法的双目机器人的番茄采摘系统，包括样本选取模块、模型优化模块、算法关联模块、目标识别定位模块、路径规划模块以及抓取控制模块，其中：
样本选取模块，用于获取并对番茄图片样本数据进行遮挡程度分类标记，以建立多个遮挡程度类别的样本数据集；
模型优化模块，用于对YOLOv4算法进行轻量化处理，并基于各个类别的样本数据集对轻量化处理后的YOLOv4算法进行训练，以构建目标检测模型；
算法关联模块，用于获取并将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联；
目标识别定位模块，用于通过双目机器人的双目相机采集并导入实时番茄采摘数据至目标检测模型中，生成番茄识别与定位信息；
路径规划模块，用于获取双目机器人的机械臂的位置信息，并根据番茄识别与定位信息和机械臂的位置信息生成抓取轨迹规划信息；
抓取控制模块，用于根据抓取轨迹规划信息控制双目机器人对目标番茄进行抓取。
为了解决现有技术中深度学习算法无法很好的移植到边缘设备上，无法对遮挡情况下的番茄进行精准的识别与定位，进而无法实现目标精准抓取的技术问题，本系统通过样本选取模块、模型优化模块、算法关联模块、目标识别定位模块、路径规划模块以及抓取控制模块等多个模块的相互配合，采集多种不同遮挡程度情况下的样本数据，对不同遮挡程度的成熟番茄果实进行划分识别，为采摘机器人对不同遮挡程度的成熟番茄果实进行不同的采摘策略提供了思路；对YOLOv4算法进行轻量化处理，便于更好的移植到边缘设备当中去，并将改进后的轻量化YOLOv4算法与双目视觉结合，便于更好的识别和测距，进而对不同遮挡程度的成熟番茄果实进行精准的划分识别及定位，并结合机械臂运动学求解，进行合理的抓取路径规划，进而对目标番茄进行精准抓取。
基于第二方面，在本发明的一些实施例中，上述模型优化模块包括轻量化处理单元，用于采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改，以实现轻量化处理。
第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果：
本发明实施例提供一种基于YOLOv4算法的双目机器人的番茄采摘方法及系统，解决了现有技术中深度学习算法无法很好的移植到边缘设备上，无法对遮挡情况下的番茄进行精准的识别与定位，进而无法实现目标精准抓取的技术问题，本发明对不同遮挡程度的成熟番茄果实进行划分识别，为采摘机器人对不同遮挡程度的成熟番茄果实进行不同的采摘策略提供了思路；对YOLOv4算法进行轻量化处理，便于更好的移植到边缘设备当中去，并将改进后的轻量化YOLOv4算法与双目视觉结合，便于更好的识别和测距，进而对不同遮挡程度的成熟番茄果实进行精准的划分识别及定位，并结合机械臂运动学求解，进行合理的抓取路径规划，进而对目标番茄进行精准抓取。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种基于YOLOv4算法的双目机器人的番茄采摘方法的流程图；
图2为本发明实施例一种基于YOLOv4算法的双目机器人的番茄采摘方法中轻量化处理的流程图；
图3为本发明实施例一种基于YOLOv4算法的双目机器人的番茄采摘方法的示意图；
图4为本发明实施例一种基于YOLOv4算法的双目机器人的番茄采摘系统的原理框图；
图5为本发明实施例提供的一种电子设备的结构框图。
附图标记说明：100、样本选取模块；200、模型优化模块；300、算法关联模块；400、目标识别定位模块；500、路径规划模块；600、抓取控制模块；101、存储器；102、处理器；103、通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例：
如图1-图3所示，第一方面，本发明实施例提供一种基于YOLOv4算法的双目机器人的番茄采摘方法，包括以下步骤：
S1、获取并对番茄图片样本数据进行遮挡程度分类标记，以建立多个遮挡程度类别的样本数据集；
在本发明的一些实施例中，按照成熟番茄果实被遮挡面积的不同来挑选三种不同的数据集，将番茄近似视为圆形，如图所示设计一种四等分的圆对番茄进行遮挡对比与挑选，对挑选出的番茄进行分类，其中tomatos的遮挡面积≤25％，tomatoh的遮挡面积在50％左右，tomatom的遮挡面积≥75％，按照三种不同遮挡程度的番茄最终挑选出的符合要求的原始数据总量一共有1200张，使得三种被遮挡的番茄数量比为1∶1∶1。
S2、对YOLOv4算法进行轻量化处理，并基于各个类别的样本数据集对轻量化处理后的YOLOv4算法进行训练，以构建目标检测模型；利用YOLOv4的原本的权重文件通过上述获取的数据集来训练用户所需的番茄识别权重，进而得到目标检测模型。
进一步地，采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改，以实现轻量化处理。上述轻量化网络模型包括加Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型。
进一步地，上述轻量化处理包括以下步骤：
S21、在YOLOv4算法的主干网络中添加Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型；
S22、在YOLOv4算法中定义一个Backbone变量，以选取Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型其中一个模型作为主干特征提取网络；
S23、通过if-elif语句确定选取的作为主干特征提取网络的轻量化模型，并且分别定义三个模型的三个有效特征层输出通道数；
S24、对YOLOv4主干网络中卷积模块的输入通道数进行修改，使其与选取的轻量化模型的输出通道数相匹配；
S25、在PAnet加强特征提取网络中利用预置的深度可分离卷积结构块代替YOLOv4算法中原始的卷积块，完成修改。上述PAnet加强特征提取网络是YOLOv4算法里面本身就包含的，对其进行轻量化处理可以减小网络参数量，使得模型变小，更易移植到边缘设备当中去。
在本发明的一些实施例中，对YOLOv4的主干特征提取网络进行修改，在YOLOv4的主干网络中添加Mobilenetv2、Mobilenetv3、Ghostnet三种模型，在YoloBody中定义一个Backbone变量便于在其余条件完全一致的情况下在三种模块中指定选取一个模块作为主干特征提取网络，通过if-elif语句判断选取的主干特征提取网络的模块，并且分别定义三个模块的三个有效特征层输出通道数，Mobilenetv2模块的输出通道数为[32，96，320]、Mobilenetv3模块的输出通道数为[40，112，160]、Ghostnet模块的输出通道数为[40，112，160]，为了使修改后的主干特征提取网络提取出的特征输出到后面的卷积块中，对YOLOv4主干网络中卷积模块的输入通道数进行修改，使其与轻量化模块的输出通道数进行匹配。
定义一个包含3*3的深度可分离卷积和一个1*1的普通卷积的深度可分离卷积结构块，在PAnet加强特征提取网络中利用深度可分离卷积结构块代替YOLOv4网络中原始的普通的3*3卷积块，可以进一步的大幅度的降低网络的参数量。对网络进行修改之后，不仅把可以主干特征提取网络替换为Mobilenetv2、Mobilenetv3、Ghostnet三种模型中的任意一种，还大幅度的降低了网络参数量，轻量化后的网络参数量缩减为原来的20％，使网络可以更好的运用到边缘设备当中去。
S3、获取并将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联；
进一步地，在工程文件里添加相机参数并进行立体校正，在YOLOv4算法的主干网络的detect_image部分定义双目相机的左右变量，完成关联。
在本发明的一些实施例中，在工程文件里添加相机参数并进行立体校正，在YOLOv4主干网络的detect_image部分定义双目相机的左右变量便于后续读取数据，将双目相机所有的程序加到轻量化YOLOv4网络当中，进而利用SGBM算法进行视差计算，进而实现测距。上述工程文件是轻量化后的YOLOv4工程文件。通过标定可以获得相机的参数，利用opencv提供的相应的函数做畸变校正。
S4、通过双目机器人的双目相机采集并导入实时番茄采摘数据至目标检测模型中，生成番茄识别与定位信息；
S5、获取双目机器人的机械臂的位置信息，并根据番茄识别与定位信息和机械臂的位置信息生成抓取轨迹规划信息；
S6、根据抓取轨迹规划信息控制双目机器人对目标番茄进行抓取。
为了解决现有技术中深度学习算法无法很好的移植到边缘设备上，无法对遮挡情况下的番茄进行精准的识别与定位，进而无法实现目标精准抓取的技术问题，本发明采集多种不同遮挡程度情况下的样本数据，对不同遮挡程度的成熟番茄果实进行划分识别，为采摘机器人对不同遮挡程度的成熟番茄果实进行不同的采摘策略提供了思路；对YOLOv4算法进行轻量化处理，便于更好的移植到边缘设备当中去，并将改进后的轻量化YOLOv4算法与双目视觉结合，便于更好的识别和测距，进而对不同遮挡程度的成熟番茄果实进行精准的划分识别及定位，并结合机械臂运动学求解，进行合理的抓取路径规划，进而对目标番茄进行精准抓取。
基于第一方面，在本发明的一些实施例中，该基于YOLOv4算法的双目机器人的番茄采摘方法还包括以下步骤：
利用SGBM算法进行视差计算，进而实现测距。
如图4所示，第二方面，本发明实施例提供一种基于YOLOv4算法的双目机器人的番茄采摘系统，包括样本选取模块100、模型优化模块200、算法关联模块300、目标识别定位模块400、路径规划模块500以及抓取控制模块600，其中：
样本选取模块100，用于获取并对番茄图片样本数据进行遮挡程度分类标记，以建立多个遮挡程度类别的样本数据集；
模型优化模块200，用于对YOLOv4算法进行轻量化处理，并基于各个类别的样本数据集对轻量化处理后的YOLOv4算法进行训练，以构建目标检测模型；
算法关联模块300，用于获取并将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联；
目标识别定位模块400，用于通过双目机器人的双目相机采集并导入实时番茄采摘数据至目标检测模型中，生成番茄识别与定位信息；
路径规划模块500，用于获取双目机器人的机械臂的位置信息，并根据番茄识别与定位信息和机械臂的位置信息生成抓取轨迹规划信息；
抓取控制模块600，用于根据抓取轨迹规划信息控制双目机器人对目标番茄进行抓取。
为了解决现有技术中深度学习算法无法很好的移植到边缘设备上，无法对遮挡情况下的番茄进行精准的识别与定位，进而无法实现目标精准抓取的技术问题，本系统通过样本选取模块100、模型优化模块200、算法关联模块300、目标识别定位模块400、路径规划模块500以及抓取控制模块600等多个模块的相互配合，采集多种不同遮挡程度情况下的样本数据，对不同遮挡程度的成熟番茄果实进行划分识别，为采摘机器人对不同遮挡程度的成熟番茄果实进行不同的采摘策略提供了思路；对YOLOv4算法进行轻量化处理，便于更好的移植到边缘设备当中去，并将改进后的轻量化YOLOv4算法与双目视觉结合，便于更好的识别和测距，进而对不同遮挡程度的成熟番茄果实进行精准的划分识别及定位，并结合机械臂运动学求解，进行合理的抓取路径规划，进而对目标番茄进行精准抓取。
基于第二方面，在本发明的一些实施例中，上述模型优化模块200包括轻量化处理单元，用于采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改，以实现轻量化处理。上述轻量化网络模型包括加Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型。
如图5所示，第三方面，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。
还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中，应该理解到，所揭露的方法及系统和方法，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (9)
1.一种基于YOLOv4算法的双目机器人的番茄采摘方法，其特征在于，包括以下步骤：
获取并对番茄图片样本数据进行遮挡程度分类标记，以建立多个遮挡程度类别的样本数据集；
对YOLOv4算法进行轻量化处理，并基于各个类别的样本数据集对轻量化处理后的YOLOv4算法进行训练，以构建目标检测模型；
获取并将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联；
通过双目机器人的双目相机采集并导入实时番茄采摘数据至目标检测模型中，生成番茄识别与定位信息；
获取双目机器人的机械臂的位置信息，并根据番茄识别与定位信息和机械臂的位置信息生成抓取轨迹规划信息；
根据抓取轨迹规划信息控制双目机器人对目标番茄进行抓取。
2.根据权利要求1所述的一种基于YOLOv4算法的双目机器人的番茄采摘方法，其特征在于，所述对YOLOv4算法进行轻量化处理的方法包括以下步骤：
采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改，以实现轻量化处理。
3.根据权利要求2所述的一种基于YOLOv4算法的双目机器人的番茄采摘方法，其特征在于，所述轻量化网络模型包括加Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型。
4.根据权利要求3所述的一种基于YOLOv4算法的双目机器人的番茄采摘方法，其特征在于，所述采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改的方法包括以下步骤：
在YOLOv4算法的主干网络中添加Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型；
在YOLOv4算法中定义一个Backbone变量，以选取Mobilenetv2模型、Mobilenetv3模型和Ghostnet模型其中一个模型作为主干特征提取网络；
通过if-elif语句确定选取的作为主干特征提取网络的轻量化模型，并且分别定义三个模型的三个有效特征层输出通道数；
对YOLOv4主干网络中卷积模块的输入通道数进行修改，使其与选取的轻量化模型的输出通道数相匹配；
在PAnet加强特征提取网络中利用预置的深度可分离卷积结构块代替YOLOv4算法中原始的卷积块，完成修改。
5.根据权利要求1所述的一种基于YOLOv4算法的双目机器人的番茄采摘方法，其特征在于，所述将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联的方法包括以下步骤：
在工程文件里添加相机参数并进行立体校正，在YOLOv4算法的主干网络的detect_image部分定义双目相机的左右变量，完成关联。
6.一种基于YOLOv4算法的双目机器人的番茄采摘系统，其特征在于，包括样本选取模块、模型优化模块、算法关联模块、目标识别定位模块、路径规划模块以及抓取控制模块，其中：
样本选取模块，用于获取并对番茄图片样本数据进行遮挡程度分类标记，以建立多个遮挡程度类别的样本数据集；
模型优化模块，用于对YOLOv4算法进行轻量化处理，并基于各个类别的样本数据集对轻量化处理后的YOLOv4算法进行训练，以构建目标检测模型；
算法关联模块，用于将双目机器人的双目相机参数与目标检测模型中的YOLOv4算法进行关联；
目标识别定位模块，用于通过双目机器人的双目相机采集并导入实时番茄采摘数据至目标检测模型中，生成番茄识别与定位信息；
路径规划模块，用于获取双目机器人的机械臂的位置信息，并根据番茄识别与定位信息和机械臂的位置信息生成抓取轨迹规划信息；
抓取控制模块，用于根据抓取轨迹规划信息控制双目机器人对目标番茄进行抓取。
7.根据权利要求6所述的一种基于YOLOv4算法的双目机器人的番茄采摘系统，其特征在于，所述模型优化模块包括轻量化处理单元，用于采用轻量化网络模型对YOLOv4算法的主干特征提取网络进行修改，以实现轻量化处理。
8.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-5中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210588487.4A CN114846998A (zh) | 2022-05-27 | 2022-05-27 | 基于YOLOv4算法的双目机器人的番茄采摘方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210588487.4A CN114846998A (zh) | 2022-05-27 | 2022-05-27 | 基于YOLOv4算法的双目机器人的番茄采摘方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114846998A true CN114846998A (zh) | 2022-08-05 |
Family
ID=82640669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210588487.4A Pending CN114846998A (zh) | 2022-05-27 | 2022-05-27 | 基于YOLOv4算法的双目机器人的番茄采摘方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114846998A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116034732A (zh) * | 2023-02-13 | 2023-05-02 | 华南理工大学 | 一种串番茄模糊采摘方法 |
| CN117617002A (zh) * | 2024-01-04 | 2024-03-01 | 太原理工大学 | 一种用于番茄自动识别及智能采收的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948444A (zh) * | 2019-02-19 | 2019-06-28 | 重庆理工大学 | 基于cnn的果实与障碍物的同步识别方法、系统与机器人 |
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
| CN113888514A (zh) * | 2021-10-09 | 2022-01-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 导地线缺陷检测方法、装置、边缘计算设备和存储介质 |
| CN114260895A (zh) * | 2021-12-22 | 2022-04-01 | 江苏大学 | 一种采摘机器人机械臂抓取避障方向确定的方法及其系统 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
-
2022
- 2022-05-27 CN CN202210588487.4A patent/CN114846998A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948444A (zh) * | 2019-02-19 | 2019-06-28 | 重庆理工大学 | 基于cnn的果实与障碍物的同步识别方法、系统与机器人 |
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
| CN113888514A (zh) * | 2021-10-09 | 2022-01-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 导地线缺陷检测方法、装置、边缘计算设备和存储介质 |
| CN114260895A (zh) * | 2021-12-22 | 2022-04-01 | 江苏大学 | 一种采摘机器人机械臂抓取避障方向确定的方法及其系统 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
Non-Patent Citations (1)
| Title |
|---|
| BUBBLIIIING: "神经网络学习小记录60——Pytorch GhostNet模型的复现详解", 《CSDN》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116034732A (zh) * | 2023-02-13 | 2023-05-02 | 华南理工大学 | 一种串番茄模糊采摘方法 |
| CN116034732B (zh) * | 2023-02-13 | 2024-05-07 | 华南理工大学 | 一种串番茄模糊采摘方法 |
| CN117617002A (zh) * | 2024-01-04 | 2024-03-01 | 太原理工大学 | 一种用于番茄自动识别及智能采收的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms | |
| CN114581801A (zh) | 一种基于无人机数据采集的果树识别和数量监测方法 | |
| Adhikari et al. | 3D reconstruction of apple trees for mechanical pruning | |
| Díaz et al. | Grapevine buds detection and localization in 3D space based on structure from motion and 2D image classification | |
| Hsieh et al. | Fruit maturity and location identification of beef tomato using R-CNN and binocular imaging technology | |
| CN114818909A (zh) | 一种基于作物长势特征的杂草检测方法和装置 | |
| CN111950391A (zh) | 果树芽体的识别方法及装置 | |
| CN113657158A (zh) | 基于Google Earth Engine的大尺度大豆种植区域提取算法 | |
| Yang et al. | A fruit recognition method for automatic harvesting | |
| CN114846998A (zh) | 基于YOLOv4算法的双目机器人的番茄采摘方法及系统 | |
| Kumar et al. | Plant Disease Detection and Crop Recommendation Using CNN and Machine Learning | |
| Nayar et al. | An efficient algorithm for plant disease detection using deep convolutional networks | |
| CN114179104A (zh) | 一种基于视觉识别的采摘机器人控制方法及系统 | |
| Agarwal et al. | Plant leaf disease classification using deep learning: A survey | |
| Bashier et al. | Sesame Seed Disease Detection Using Image Classification | |
| Syal et al. | Apple fruit detection and counting using computer vision techniques | |
| Chen et al. | YOLOv8-CML: A lightweight target detection method for Color-changing melon ripening in intelligent agriculture | |
| Samala et al. | Disease Identification in Tomato Leaves Using Inception V3 Convolutional Neural Networks | |
| Subramanian et al. | Coconut maturity recognition using convolutional neural network | |
| Wu et al. | A Dense Litchi Target Recognition Algorithm for Large Scenes | |
| Paul et al. | Utilizing Fine-Tuned YOLOv8 Deep Learning Model for Greenhouse Capsicum Detection and Growth Stage Determination | |
| CN115346212A (zh) | 一种基于改进YOLOv5的苹果花朵生长状态检测方法 | |
| CN114937030A (zh) | 一种用于智慧农业种植生菜的表型参数计算方法 | |
| CN115294472A (zh) | 果实产量估计方法、模型训练方法、设备及存储介质 | |
| Zhao et al. | FCOS-LSC: A novel model for green fruit detection in a complex orchard environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220805 |