CN116391506A - 一种番茄果实高速收集系统及方法和番茄果实采摘机 - Google Patents
一种番茄果实高速收集系统及方法和番茄果实采摘机 Download PDFInfo
- Publication number
- CN116391506A CN116391506A CN202211155512.6A CN202211155512A CN116391506A CN 116391506 A CN116391506 A CN 116391506A CN 202211155512 A CN202211155512 A CN 202211155512A CN 116391506 A CN116391506 A CN 116391506A
- Authority
- CN
- China
- Prior art keywords
- tomato
- fruit
- fruits
- control unit
- end effector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 397
- 235000007688 Lycopersicon esculentum Nutrition 0.000 title claims abstract description 322
- 240000003768 Solanum lycopersicum Species 0.000 title claims abstract description 321
- 238000000034 method Methods 0.000 title claims abstract description 33
- 241000227653 Lycopersicon Species 0.000 title 1
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 239000012636 effector Substances 0.000 claims description 84
- 238000012545 processing Methods 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000011549 displacement method Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 235000012055 fruits and vegetables Nutrition 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D45/00—Harvesting of standing crops
- A01D45/006—Harvesting of standing crops of tomatoes
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D57/00—Delivering mechanisms for harvesters or mowers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
- Y02P60/12—Technologies relating to agriculture, livestock or agroalimentary industries using renewable energies, e.g. solar water pumping
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种番茄果实高速收集系统及方法和番茄果实采摘机，包括番茄采摘机器人、收集机构、激光雷达、第一图像采集装置、第二图像采集装置和控制单元；本发明将番茄果实图像和雷达的点云数据融合得到番茄果实采摘关键点三维坐标，驱动番茄采摘机器人对果实进行抓取，转动至收集机构上方松开，通过视觉引导识别番茄大小和定位番茄掉落位姿，驱动缆索通过筒状果实收集器进行番茄果实收集，控制单元通过气泵控制筒状果实收集器的筒口收窄或扩大，相比于传统的果实收集装置，本发明操作简单，收集精准高效，降低了番茄收集损伤率，完成了果实的分拣，实现了番茄果实采摘收集一体化。
Description
技术领域
本发明属于果蔬采摘设备技术领域，尤其涉及一种番茄果实高速收集系统及方法番茄果实采摘机。
背景技术
当前我国果蔬采摘收集机械化水平还不高，许多果蔬的果实收集还依靠大量的人工采摘收集。现阶段，人工捡拾还是绝大多数果农的第一选择。而在进行人工采摘时，果实容易掉落在地上因而造成损坏，并且这种方式不仅需要大量人力而且效率很低。现有的采摘机器人，所配置的果实收集装置，在机械臂下面装一个管道，番茄采摘完以后顺着管道滑下去，这样落在收集装置下面的时候番茄就会有损坏，或者采摘机器人抓取完番茄了以后，控制机械臂继续执行将番茄放到下面的收集装置里，番茄在掉落的时候有损坏，茄效率低。
发明内容
针对上述技术问题，本发明提供了一种番茄果实高速收集系统及方法，本发明将番茄果实图像和雷达的点云数据融合得到番茄果实采摘关键点三维坐标，驱动番茄采摘机器人对果实进行抓取，转动至收集机构上方松开，通过视觉引导识别番茄大小和定位番茄掉落位姿，驱动缆索通过筒状果实收集器进行番茄果实收集，控制单元通过气泵控制筒状果实收集器的筒口收窄或扩大，相比于传统的果实收集装置，本发明操作简单，收集精准高效，降低了番茄收集损伤率，完成了果实的分拣，实现了番茄果实采摘收集一体化。
本发明还提供了一种包括所述番茄果实高速收集系统的番茄果实采摘机，用于番茄的采摘，工作平稳、提高采摘效率，降低番茄破损率。
本发明通过以下技术方案实现的：
一种番茄果实高速收集系统，包括番茄采摘机器人、收集机构、激光雷达、第一图像采集装置、第二图像采集装置和控制单元；
所述番茄采摘机器人上设有第一图像采集装置和激光雷达，番茄采摘机器人末端设有机械臂末端执行器；所述第一图像采集装置用于采集番茄果实和果柄RGB图像，并传递到控制单元，激光雷达用于采集番茄果实和果柄的点云数据，并传递到控制单元，控制单元将番茄果实和果柄的RGB图像与点云数据融合得到番茄果实和果柄三维坐标，并控制机械臂末端执行器进行番茄采摘；
所述收集机构包括移动平台、收集装置末端执行器和果实收集装置，果实收集装置位于移动平台内侧，收集装置末端执行器位于果实收集装置上方，收集装置末端执行器设有上下开口的筒状果实收集器，筒状果实收集器与气泵连接，气泵与控制单元连接；所述第二图像采集装置用于采集机械臂末端执行器下落的番茄果实RGB图像，并传递到控制单元，计算番茄果实与移动平台的相对位姿，控制收集装置末端执行器使得筒状果实收集器移动到番茄果实掉落的位置，控制单元控制气泵使果实收集器收窄和扩大，对掉落的番茄果实进行收集。
上述方案中，所述控制单元包括RGB图像处理模块、深度图像处理模块、番茄采摘控制模块、视觉引导和气泵控制模块；
所述RGB图像处理模块用于采集处理第一图像采集装置得到的番茄果实RGB图像，得到番茄果实和果柄的二维坐标；
所述深度图像处理模块用于对激光雷达采集的番茄果实和果柄的点云数据预处理后得到稠密深度图，结合番茄果实和果柄RGB图像，提取番茄果实和果柄的深度，得到番茄果实和果柄的三维坐标；
所述番茄采摘控制模块用于根据番茄果实和果柄的三维坐标控制番茄采摘机器人进行采摘；
所述视觉引导模块用于根据第二图像采集装置采集的机械臂末端执行器下落番茄果实图像计算番茄果实与收集装置移动平台的相对位姿，并传递给控制单元，控制单元控制收集装置末端执行器使得筒状果实收集器移动到番茄果实掉落的位置；
所述气泵控制模块用于控制果实收集器先收窄接住番茄果实，然后扩大，使番茄果实落入果实收集装置。
上述方案中，所述收集机构还包括多根缆索，所述缆索的一端与移动平台连接，另一端与收集装置末端执行器连接，控制单元通过收集装置末端执行器控制缆索的伸缩，使得筒状果实收集器移动到番茄果实掉落的位置。
进一步的，所述移动平台包括多个移动底座，移动底座布置在果实收集装置四周，且与果实收集装置连接。
上述方案中，所述筒状果实收集器包括内充气层和外充气层；内充气层位于外充气层的圆环内侧，内充气层的高度低于外充气层，内充气层与气泵连接，所述控制单元控制内充气层先充气，接住番茄果实，然后放气，使番茄果实落入果实收集装置。
一种番茄果实采摘机，包括所述的番茄果实高速收集系统。
上述方案中，所述的番茄果实采摘机，还包括移动小车；所述番茄采摘机器人和收集机构设置在移动小车上；所述控制单元与移动小车的控制系统连接。
一种根据所述番茄果实高速收集系统的控制方法，包括以下步骤：
番茄采摘：所述第一图像采集装置采集番茄果实和果柄RGB图像，并传递到控制单元，激光雷达采集番茄果实和果柄的点云数据，并传递到控制单元，控制单元将番茄果实和果柄的图像与点云数据融合得到番茄果实和果柄三维坐标，并控制机械臂末端执行器进行番茄采摘；
视觉引导番茄收集：所述第二图像采集装置采集机械臂末端执行器下落的番茄果实图像，并传递到控制单元，控制单元并计算番茄果实与移动平台的相对位姿，控制收集装置末端执行器移动到番茄果实掉落的位置，在接取番茄时控制单元控制气泵充气使筒状果实收集器的筒口收窄接住番茄果实，当番茄果实接取完成后控制单元控制气泵吸气扩大筒口，使番茄掉落于下方的果实收集装置中。
上述方案中，还包括番茄果实采摘关键点三维坐标的识别，具体通过以下步骤得到：
番茄果实深度图处理：将激光雷达采集的番茄果实和果柄点云数据采用双边过滤形式的上采样方法生成稀疏深度图像，将激光雷达番茄果实点云数据投影到2D的番茄果实和果柄RGB图像平面，使用变换矩阵通过坐标变换将其与图像对齐，得到RGB图像上的坐标值和深度图像上的坐标，将得到的稀疏深度图像再次采取上采样的方法补充深度图细节；
番茄果实采摘关键点定位：通过第一图像采集装置采集番茄果实RGB图像，通过CNN神经网络识别番茄果实区域和果柄的多个采摘关键点，对激光雷达点云数据与RGB图像进行深度图处理，提取与分离番茄果实和果柄的点云，得到番茄果实采摘关键点的深度，采用滤波器消除采摘关键点的深度噪声，得到番茄采摘关键点的三维坐标。
上述方案中，所述视觉引导番茄收集的具体步骤如下：
所述第二图像采集装置采集机械臂末端执行器下落的番茄果实点云数据，并发送给控制单元，控制单元根据点云数据对番茄果实进行目标识别和位姿估计，并计算番茄果实与收集装置移动平台的相对位姿，控制单元对收集装置末端执行器与第二图像采集装置进行手眼标定，并计算收集装置末端执行器与番茄果实的静态平衡条件，通过超平面移位法计算收集装置末端执行器的倾侧条件，发出收集指令，控制收集装置末端执行器驱动缆索的伸长或收缩使筒状果实收集器移动到番茄掉落的位置当番茄掉落时控制气泵进行充气，筒状果实收集器收窄，使果实落在筒状果实收集器内，然后控制气泵进行吸气，筒状果实收集器扩大，果实落入底部果实收集装置中。
与现有技术相比，本发明的有益效果是：
本发明将番茄果实图像和雷达的点云数据融合得到番茄果实采摘关键点三维坐标，驱动番茄采摘机器人对果实进行抓取，转动至收集机构上方松开，通过视觉引导识别番茄大小和定位番茄掉落位姿，驱动缆索通过筒状果实收集器进行番茄果实收集，控制单元通过气泵控制筒状果实收集器的筒口收窄或扩大，相比于传统的果实收集装置，本发明操作简单，收集精准高效，降低了番茄收集损伤率，完成了果实的分拣，实现了番茄果实采摘收集一体化。
附图说明
图1是本发明一实施方式的结构示意图；
图2是本发明一实施方式的视觉引导架构图；
图3是本发明一实施方式的目标识别与位姿估计流程图；
图4是本发明一实施方式的番茄采摘关键点的位置示意图；
图5是本发明一实施方式的筒状果实收集器结构示意图。
图中：1-移动平台、2-缆索、3-收集装置末端执行器、4-筒状果实收集器、401-内充气层、402-外充气层、5-深度相机、6-弹簧刀片、7-机械臂末端执行器、8-工业相机、9-大臂、10-中臂、11-小臂、12-底座、13-果实收集装置、14-采摘关键点。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
图1所示为所述番茄果实高速收集系统的一种较佳实施方式，所述番茄果实高速收集系统，包括番茄采摘机器人、收集机构、激光雷达、第一图像采集装置、第二图像采集装置和控制单元。
所述番茄采摘机器人上设有第一图像采集装置和激光雷达，番茄采摘机器人末端设有机械臂末端执行器7；所述第一图像采集装置用于采集番茄果实和果柄RGB图像，并传递到控制单元，激光雷达用于采集番茄果实和果柄的点云数据，并传递到控制单元，控制单元将番茄果实和果柄的RGB图像与点云数据融合得到番茄果实和果柄三维坐标，并控制机械臂末端执行器7进行番茄采摘。
所述收集机构包括移动平台1、收集装置末端执行器3和果实收集装置13，果实收集装置13位于移动平台1内侧，收集装置末端执行器3位于果实收集装置13上方，收集装置末端执行器3设有上下开口筒状的果实收集器4，筒状果实收集器4与气泵连接，气泵与控制单元连接；所述第二图像采集装置用于采集机械臂末端执行器7下落的番茄果实RGB图像，并传递到控制单元，计算番茄果实与移动平台1的相对位姿，控制收集装置末端执行器3使得筒状果实收集器4移动到番茄果实掉落的位置，控制单元控制气泵使果实收集器4收窄和扩大，对掉落的番茄果实进行收集。
所述控制单元包括RGB图像处理模块、深度图像处理模块、番茄采摘控制模块、视觉引导模块和气泵控制模块；所述RGB图像处理模块用于采集处理第一图像采集装置得到的番茄果实和果柄RGB图像，得到番茄果实和果柄的二维坐标；所述深度图像处理模块用于对激光雷达采集的番茄果实和果柄的点云数据预处理后得到稠密深度图，结合番茄果实和果柄RGB图像，提取番茄果实和果柄的深度，得到番茄果实和果柄的三维坐标；所述番茄采摘控制模块用于根据番茄果实和果柄的三维坐标控制番茄采摘机器人进行采摘；所述视觉引导模块用于根据第二图像采集装置采集的机械臂末端执行器7下落番茄果实图像计算番茄果实与收集装置移动平台1的相对位姿，并传递给控制单元，控制单元控制收集装置末端执行器3使得筒状果实收集器4移动到番茄果实掉落的位置；所述气泵控制模块用于控制果实收集器4先收窄接住番茄果实，然后扩大，使番茄果实落入果实收集装置13。
所述收集机构还包括多根缆索2，所述缆索2的一端与移动平台1连接，另一端与收集装置末端执行器3连接，控制单元通过收集装置末端执行器3控制缆索2的伸缩，使得筒状果实收集器4移动到番茄果实掉落的位置。所述缆索2移动速度快，果实收集器4能够精准快速的到达果实掉落位置，且筒状果实收集器4为柔性材料制作，由控制单元根据番茄的大小控制气泵调节筒状果实收集器4筒口的大小，降低番茄收集过程中的损伤率。
根据本实施例，优选的，所述移动平台1包括多个移动底座，移动底座布置在果实收集装置13四周，且与果实收集装置13连接。
如图5所示，根据本实施例，优选的，所述筒状果实收集器4为柔性材料制成，所述筒状果实收集器4包括内充气层401和外充气层402；内充气层401位于外充气层402的圆环内侧，内充气层401的高度低于外充气层402，内充气层401与气泵连接，所述控制单元控制内充气层401先充气，接住番茄果实，然后放气，使番茄果实落入果实收集装置13。
根据本实施例，优选的，所述番茄采摘机器人包括底座12、机械臂和机械臂末端执行器7，所述机械臂的转动关节转动安装在底座12上，机械臂包括依次连接的大臂11、中臂10和小臂9；机械臂末端执行器7的转动关节安装在机械臂的末端小臂9上。
所述机械臂的底座12内包含第二驱动机构，通过该第二驱动机构控制机械臂的回转运动，在大臂11与中臂10、中臂10与小臂9连接的关节中分别内置第三驱动机构以控制相对转动关节的转动，在小臂9与机械臂末端执行器7之间的底座内置第四驱动机构以控制末端执行器7的回转运动。一种根据所述番茄果实高速收集系统的控制方法，包括以下步骤：
番茄采摘：所述第一图像采集装置采集番茄果实和果柄RGB图像，并传递到控制单元，激光雷达采集番茄果实和果柄的点云数据，并传递到控制单元，控制单元将番茄果实和果柄的图像与点云数据融合得到番茄果实和果柄三维坐标，并控制机械臂末端执行器7进行番茄采摘；
视觉引导番茄收集：所述第二图像采集装置采集机械臂末端执行器7下落的番茄果实图像，并传递到控制单元，控制单元并计算番茄果实与移动平台1的相对位姿，控制收集装置末端执行器3移动到番茄果实掉落的位置，在接取番茄时控制单元控制气泵充气使筒状果实收集器4的筒口收窄接住番茄果实，当番茄果实接取完成后控制单元控制气泵吸气扩大筒口，使番茄掉落于下方的果实收集装置13中。
如图4所示，根据本实施例，优选的，所述番茄果实采摘关键点三维坐标具体通过以下步骤得到：
番茄果实深度图处理：将激光雷达采集的番茄果和果柄实点云数据采用双边过滤形式的上采样方法生成稀疏深度图像，将激光雷达番茄果实点云数据投影到2D的番茄果实和果柄RGB图像平面，使用变换矩阵通过坐标变换将其与图像对齐，得到RGB图像上的坐标值和深度图像上的坐标，将得到的稀疏深度图像再次采取上采样的方法补充深度图细节；
番茄果实采摘关键点定位：通过第一图像采集装置采集番茄果实RGB图像，通过CNN神经网络深度学习的方法识识别番茄果实区域和果柄的多个采摘关键点14，对激光雷达点云数据与RGB图像进行深度图处理，提取与分离番茄果实和果柄的点云，得到番茄果实采摘关键点的深度，采用滤波器消除采摘关键点的深度噪声，得到番茄采摘关键点的三维坐标。
根据本实施例，优选的，所述视觉引导番茄收集的具体步骤如下：
所述第二图像采集装置采集机械臂末端执行器7下落的番茄果实点云数据，并发送给控制单元，控制单元根据点云数据对番茄果实进行目标识别和位姿估计，并计算番茄果实与收集装置移动平台1的相对位姿，控制单元对收集装置末端执行器3与第二图像采集装置进行手眼标定，并计算收集装置末端执行器3与番茄果实的静态平衡条件，通过超平面移位法计算收集装置末端执行器3的倾侧条件，发出收集指令，控制收集装置末端执行器3驱动缆索2的伸长或收缩使筒状果实收集器4移动到番茄掉落的位置当番茄掉落时控制气泵进行充气，筒状果实收集器4收窄，使果实落在筒状果实收集器4内上，当番茄果实确定收集在筒状收集器4上后，控制气泵进行吸气，筒状果实收集器4扩大，果实顺势掉落入底部果实收集装置13中。
根据本实施例，优选的，所述第一图像采集装置为工业相机8，所述第二图像采集装置为深度相机5。
本发明的工作原理如下：
数据采集：通过所述激光雷达和工业相机8对目标番茄进行信息收集，工业相机8采集番茄果实RGB图像，并传递到控制单元，激光雷达采集番茄果实的点云数据，并传递到控制单元；
数据预处理：控制单元接收到的数据往往受环境噪声和干扰的影响而不能直接使用，通过滤波对数据进行过滤和去噪，将激光雷达的点云数据映射到RGB图像平面，通过深度采样技术获得相机图像对齐的深度图；
本发明所述收集机构的设计：收集机构的底部由四个安装电机的移动小车固定连接构成移动平台1，实现了占地面积小，移动灵活的功能。在收集装置末端执行器3中间安置筒状果实收集器4用于收集掉落的番茄果实，该筒状果实收集器4由柔性材料制成，上下开口，用气泵控制筒口的大小。在接取番茄时气泵充气使筒口收窄，当番茄果实接取完成后气泵吸气扩大筒口，使番茄掉落于底部的果实收集装置13中，此设计结构精巧，控制原理简单，提高了番茄收集时的果实完好性。缆索2与收集装置末端执行器3连接且受末端执行器的控制，在装置旁边安置深度相机5用于视觉引导，当深度相机5完成对掉落蕃茄果实的坐标定位后，控制单元可控制缆索2的上下运动以完成收集装置末端执行器3的灵活收集任务，具有高效且快捷的优点。
本发明设计了一种易搭建的收集机构，多根缆索2连接在移动平台1和收集装置末端执行器3上，收集装置末端执行器3由马达控制，可以伸长或缩回缆索2。收集装置末端执行器3可以配备各种附件，包括挂钩、相机和机器人抓手。收集装置末端执行器3配备了一种由柔性材料制成的筒状果实收集器4用于收集番茄果实；深度相机5作为视觉硬件，为番茄果实标定，标定的目的是获取图像像素坐标和世界坐标系的关系。
视觉引导：将深度相机5采集到的点云信息传输到控制单元进行点云信息的深度处理，主要方法为利用PCL点云库对采集到的点云数据进行处理。控制单元对于番茄果实的标定分为深度相机标定与手眼标定，通过深度相机5标定获取图像坐标系与相机坐标系之间的关系，通过手眼标定获取相机坐标系与收集机构坐标系之间的关系。
结合图2和3所示，说明本发明方法的视觉引导原理：
视觉引导可以定位番茄的位置和方向，以此预估番茄掉落的位姿与速度来控制收集装置末端执行器3对掉落番茄果实的收集。深度相机5负责视觉图像收集，控制单元中嵌入机器视觉算法，深度相机5可以采集到当前场景下的番茄果实RGB图像以及对应的深度图像，利用基于深度学习的目标检测算法，对番茄果实进行识别，得到目标番茄的中心位置x,y、高h和宽w，呈现精准的二维预测框。将深度相机5采集到的点云信息传输到控制单元进行点云信息的深度处理，主要方法为利用PCL点云库对采集到的点云数据进行处理，提取番茄果实特征点并计算其特征描述子，与PCL点云库中的番茄点云进行配对，从而识别目标检测物并提供其三维坐标。控制单元对于番茄果实的标定分为深度相机标定与手眼标定，因为深度相机5得到的是像素坐标，收集装置末端执行器3是空间坐标，所以手眼标定就是得到像素坐标系和收集装置末端执行器3空间坐标系的坐标转化。在实际控制中，深度相机5检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到收集装置末端执行器3的空间坐标系中，然后根据收集装置末端执行器3坐标系计算出各个缆索2该如何运动，从而控制收集装置末端执行器3到达指定位置。这个过程中涉及到了图像标定，图像处理，运动学正逆解，手眼标定等。控制系统由上机位与底层硬件设备组成，深度相机采集到的点云数据传递给上机位进行点云预处理，通过果实识别定位算法进行目标识别与位姿估计，在得到蕃茄果实三维坐标后发出接取指令，底层硬件设备控制缆索驱动装置进行果实收集。
根据本实施例，优选的，番茄果实深度图处理具体步骤如下：
步骤M1、点云数据处理：将激光雷达点云数据采用双边过滤形式的上采样方法生成深度图像；
步骤M2、数据融合：将激光雷达点云数据投影到番茄果实RGB图像平面；
步骤M3、坐标生成：使用变换矩阵通过坐标变换将其与图像对齐，得到RGB图像上的坐标值和深度图像上的坐标；
步骤M4、深度图处理：将得到的稀疏深度图再次采取上采样的方法补充深度图细节。
根据本实施例，优选的，番茄果实采摘关键点定位具体步骤如下：
步骤N1、图像采集：通过工业相机采集番茄果实RGB图像；
步骤N2、果实识别与关键点检测：通过深度学习的方法求解番茄果实区域和果实N点关键点；
步骤N3、深度图处理：对激光雷达点云数据与RGB图像进行深度图处理；
步骤N4、番茄果实点云提取与分离；
步骤N5、提取番茄果实采摘关键点的深度；
步骤N6、采用滤波器消除采摘关键点的深度噪声；
步骤N7、得到采摘关键点的三维坐标。
根据本实施例，优选的，所述机械臂驱动实现番茄果实采摘的具体步骤如下：
步骤D1、机械臂驱动：得到番茄果实精准采摘点三维坐标后控制单元控制驱动关节驱动机构将机械臂末端执行器7移动到相应位置；
步骤D2、末端执行器驱动：驱动机械臂末端执行器7对番茄果实进行抓取；
步骤D3、弹簧刀片驱动：弹出弹簧刀片对番茄果实的茎部进行剪切；
步骤D4、底座驱动：驱动采摘机器人底座驱动，使机械臂末端执行器7置于番茄果实收集装置上方；
步骤D5、末端执行器驱动：松开机械臂末端执行器7番茄下落。
根据本实施例，优选的，所述视觉引导的具体步骤如下：
步骤K1、数据采集：深度相机5采集番茄果实点云数据；
步骤K2、数据处理：控制单元对点云数据进行预处理；
步骤K3、目标识别：控制单元对番茄果实进行目标识别和位姿估计；
步骤K4、深度相机标定：控制单元计算番茄果实与收集装置移动平台的相对位姿；
步骤K5、手眼标定：控制单元对收集装置末端执行器3与深度相机5进行手眼标定；
步骤K6、通信：发出收集指令，驱动收集装置末端执行器3对掉落的果实进行收集。
根据本实施例，优选的，番茄果实缆索的具体操作步骤如下：
步骤S1、收集装置末端执行器3驱动缆索2的伸长收缩用以控制筒状果实收集器4的运动，使其到达番茄掉落的位置；
步骤S2、计算收集装置末端执行器3与移动平台1的静态平衡条件；
步骤S3、通过超平面移位法计算收集装置末端执行器3的倾侧条件；
步骤S4、当番茄掉落时控制单元根据番茄大小控制气泵进行充气，筒口变小，使果实掉落在筒状果实收集器4上；
步骤S5、当番茄果实确定收集在筒状收集器上后，控制气泵进行吸气，筒口变大，果实顺势掉落于底部果实收集装置13中。
根据本实施例，优选的，目标番茄识别的流程如下：
步骤F1、采集较多的番茄果实样本获取3D数据；
步骤F2、采集番茄果实样本的点云数据；
步骤F3、提取番茄果实样本的特征点及计算特征描述子；
步骤F4、将物体模型与特征描述子导入到番茄数据库。
根据本实施例，优选的，所述位姿估计的流程如下：
步骤Q1、深度相机5获取番茄果实点云数据；
步骤Q2、对点云数据进行预处理；
步骤Q3、提取番茄果实样本的特征点及计算特征描述子；
步骤Q4、对番茄果实点云进行配准；
步骤Q5、结合物体数据库进行目标识别且输出识别结果。
本发明使用激光雷达与工业相机相融合的方法定位番茄果实的三维坐标，驱动番茄采摘机器人对果实进行抓取，转动至果实收集装置13上方松开，通过视觉引导定位番茄掉落位姿，驱动缆索通过由柔性材料制成的筒状收集器进行番茄果实收集，筒状收集器由内部气泵进行控制。相比于传统的果实收集装置，避免了番茄挤压带来的果实损害，提高了果实收集的效率，完成了果实的分拣，实现了番茄果实采摘收集一体化。
实施例2
一种番茄果实采摘机，包括实施例1所述的番茄果实高速收集系统，因此具有实施例1的有益效果，此处不再赘述。所述的番茄果实采摘机，其特征在于，还包括移动小车；所述番茄采摘机器人和收集机构设置在移动小车上；所述控制单元与移动小车的控制系统连接。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。
Claims (10)
1.一种番茄果实高速收集系统，其特征在于，包括番茄采摘机器人、收集机构、激光雷达、第一图像采集装置、第二图像采集装置和控制单元；
所述番茄采摘机器人上设有第一图像采集装置和激光雷达，番茄采摘机器人末端设有机械臂末端执行器(7)；所述第一图像采集装置用于采集番茄果实和果柄RGB图像，并传递到控制单元，激光雷达用于采集番茄果实和果柄的点云数据，并传递到控制单元，控制单元将番茄果实和果柄的RGB图像与点云数据融合得到番茄果实和果柄三维坐标，并控制机械臂末端执行器(7)进行番茄采摘；
所述收集机构包括移动平台(1)、收集装置末端执行器(3)和果实收集装置(13)，果实收集装置(13)位于移动平台(1)内侧，收集装置末端执行器(3)位于果实收集装置(13)上方，收集装置末端执行器(3)设有上下开口的筒状果实收集器(4)，筒状果实收集器(4)与气泵连接，气泵与控制单元连接；所述第二图像采集装置用于采集机械臂末端执行器(7)下落的番茄果实RGB图像，并传递到控制单元，计算番茄果实与移动平台(1)的相对位姿，控制收集装置末端执行器(3)使得筒状果实收集器(4)移动到番茄果实掉落的位置，控制单元控制气泵使果实收集器(4)收窄和扩大，对掉落的番茄果实进行收集。
2.根据权利要求1所述的番茄果实高速收集系统，其特征在于，所述控制单元包括RGB图像处理模块、深度图像处理模块、番茄采摘控制模块、视觉引导模块和气泵控制模块；
所述RGB图像处理模块用于采集处理第一图像采集装置得到的番茄果实和果柄RGB图像，得到番茄果实和果柄的二维坐标；
所述深度图像处理模块用于对激光雷达采集的番茄果实和果柄的点云数据预处理后得到稠密深度图，结合番茄果实和果柄RGB图像，提取番茄果实和果柄的深度，得到番茄果实和果柄的三维坐标；
所述番茄采摘控制模块用于根据番茄果实和果柄的三维坐标控制番茄采摘机器人进行采摘；
所述视觉引导模块用于根据第二图像采集装置采集的机械臂末端执行器(7)下落番茄果实图像计算番茄果实与收集装置移动平台(1)的相对位姿，并传递给控制单元，控制单元控制收集装置末端执行器(3)使得筒状果实收集器(4)移动到番茄果实掉落的位置；
所述气泵控制模块用于控制果实收集器(4)先收窄接住番茄果实，然后扩大，使番茄果实落入果实收集装置(13)。
3.根据权利要求1所述的番茄果实高速收集系统，其特征在于，所述收集机构还包括多根缆索(2)，所述缆索(2)的一端与移动平台(1)连接，另一端与收集装置末端执行器(3)连接，控制单元通过收集装置末端执行器(3)控制缆索(2)的伸缩，使得筒状果实收集器(4)移动到番茄果实掉落的位置。
4.根据权利要求3所述的番茄果实高速收集系统，其特征在于，所述移动平台(1)包括多个移动底座，移动底座布置在果实收集装置(13)四周，且与果实收集装置(13)连接。移动底座。
5.根据权利要求1所述的番茄果实高速收集系统，其特征在于，所述筒状果实收集器(4)包括内充气层(401)和外充气层(402)；内充气层(401)位于外充气层(402)的圆环内侧，内充气层(401)的高度低于外充气层(402)，内充气层(401)与气泵连接，
所述控制单元控制内充气层(401)先充气，接住番茄果实，然后放气，使番茄果实落入果实收集装置(13)。
6.一种番茄果实采摘机，其特征在于，包括根据权利要求1-5任意一项所述的番茄果实高速收集系统。
7.根据权利要求6所述的番茄果实采摘机，其特征在于，还包括移动小车；所述番茄采摘机器人和收集机构设置在移动小车上；所述控制单元与移动小车的控制系统连接。
8.一种根据权利要求1-5任意一项所述番茄果实高速收集系统的控制方法，其特征在于，包括以下步骤：
番茄采摘：所述第一图像采集装置采集番茄果实和果柄RGB图像，并传递到控制单元，激光雷达采集番茄果实和果柄的点云数据，并传递到控制单元，控制单元将番茄果实和果柄的图像与点云数据融合得到番茄果实和果柄三维坐标，并控制机械臂末端执行器(7)进行番茄采摘；
视觉引导番茄收集：所述第二图像采集装置采集机械臂末端执行器(7)下落的番茄果实图像，并传递到控制单元，控制单元并计算番茄果实与移动平台(1)的相对位姿，控制收集装置末端执行器(3)移动到番茄果实掉落的位置，在接取番茄时控制单元控制气泵充气使筒状果实收集器(4)的筒口收窄接住番茄果实，当番茄果实接取完成后控制单元控制气泵吸气扩大筒口，使番茄掉落于下方的果实收集装置(13)中。
9.根据权利要求8所述番茄果实高速收集系统的控制方法，其特征在于，还包括番茄果实采摘关键点三维坐标的识别，具体通过以下步骤得到：
番茄果实深度图处理：将激光雷达采集的番茄果实和果柄点云数据采用双边过滤形式的上采样方法生成稀疏深度图像，将激光雷达番茄果实点云数据投影到2D的番茄果实和果柄RGB图像平面，使用变换矩阵通过坐标变换将其与图像对齐，得到RGB图像上的坐标值和深度图像上的坐标，将得到的稀疏深度图像再次采取上采样的方法补充深度图细节；
番茄果实采摘关键点定位：通过第一图像采集装置采集番茄果实RGB图像，通过CNN神经网络识别番茄果实区域和果柄的多个采摘关键点(14)，对激光雷达点云数据与RGB图像进行深度图处理，提取与分离番茄果实和果柄的点云，得到番茄果实采摘关键点的深度，采用滤波器消除采摘关键点的深度噪声，得到番茄采摘关键点的三维坐标。
10.根据权利要求8所述番茄果实高速收集系统的控制方法，其特征在于，所述视觉引导番茄收集的具体步骤如下：
所述第二图像采集装置采集机械臂末端执行器(7)下落的番茄果实点云数据，并发送给控制单元，控制单元根据点云数据对番茄果实进行目标识别和位姿估计，并计算番茄果实与收集装置移动平台(1)的相对位姿，控制单元对收集装置末端执行器(3)与第二图像采集装置进行手眼标定，并计算收集装置末端执行器(3)与番茄果实的静态平衡条件，通过超平面移位法计算收集装置末端执行器(3)的倾侧条件，发出收集指令，控制收集装置末端执行器(3)驱动缆索(2)的伸长或收缩使筒状果实收集器(4)移动到番茄掉落的位置当番茄掉落时控制气泵进行充气，筒状果实收集器(4)收窄，使果实落在筒状果实收集器(4)内，，然后控制气泵进行吸气，筒状果实收集器(4)扩大，果实落入底部果实收集装置(13)中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211155512.6A CN116391506A (zh) | 2022-09-22 | 2022-09-22 | 一种番茄果实高速收集系统及方法和番茄果实采摘机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211155512.6A CN116391506A (zh) | 2022-09-22 | 2022-09-22 | 一种番茄果实高速收集系统及方法和番茄果实采摘机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116391506A true CN116391506A (zh) | 2023-07-07 |
Family
ID=87009146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211155512.6A Pending CN116391506A (zh) | 2022-09-22 | 2022-09-22 | 一种番茄果实高速收集系统及方法和番茄果实采摘机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116391506A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117617002A (zh) * | 2024-01-04 | 2024-03-01 | 太原理工大学 | 一种用于番茄自动识别及智能采收的方法 |
-
2022
- 2022-09-22 CN CN202211155512.6A patent/CN116391506A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117617002A (zh) * | 2024-01-04 | 2024-03-01 | 太原理工大学 | 一种用于番茄自动识别及智能采收的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sarig | Robotics of fruit harvesting: A state-of-the-art review | |
| Feng et al. | Design and test of tomatoes harvesting robot | |
| Yu et al. | A lab-customized autonomous humanoid apple harvesting robot | |
| Rong et al. | Fruit pose recognition and directional orderly grasping strategies for tomato harvesting robots | |
| CN112243698B (zh) | 一种基于多传感器融合技术的核桃自动化采摘及收集方法 | |
| CN110122073B (zh) | 一种基于机器视觉的草莓采摘机器人 | |
| Hu et al. | Simplified 4-DOF manipulator for rapid robotic apple harvesting | |
| EP3426015A1 (en) | A robotic harvester | |
| US11477942B2 (en) | Robotic fruit harvesting machine with fruit-pair picking and hybrid motorized-pneumatic robot arms | |
| CN108633482A (zh) | 一种水果采摘飞行器 | |
| CN110089350A (zh) | 一种蘑菇采摘机器人系统及采摘方法 | |
| CN113812262B (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
| CN114067309B (zh) | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 | |
| CN114080905B (zh) | 基于数字双胞胎的采摘方法及云采摘机器人系统 | |
| CN108811766A (zh) | 一种人机交互式温室果蔬采收机器人系统及其采收方法 | |
| CN116391506A (zh) | 一种番茄果实高速收集系统及方法和番茄果实采摘机 | |
| CN115316129B (zh) | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 | |
| CN111587665A (zh) | 一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法 | |
| CN116686545A (zh) | 基于机器视觉控制的荔枝采摘机器人除遮方法 | |
| Parsa et al. | Modular autonomous strawberry picking robotic system | |
| CN116749173A (zh) | 水果采摘机器人的管控方法及系统、水果采摘机器人 | |
| Tarrío et al. | A harvesting robot for small fruit in bunches based on 3-D stereoscopic vision | |
| CN117413685A (zh) | 基于双目视觉识别的咖啡鲜果采摘装置及采摘方法 | |
| JP3054706B1 (ja) | ナスの自動収穫方法及び装置 | |
| CN217241505U (zh) | 一种基于人工智能识别的蔬果采摘机器人结构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |