CN107593113A - 一种基于机器视觉的智能水果采摘机器人 - Google Patents
一种基于机器视觉的智能水果采摘机器人 Download PDFInfo
- Publication number
- CN107593113A CN107593113A CN201710857174.3A CN201710857174A CN107593113A CN 107593113 A CN107593113 A CN 107593113A CN 201710857174 A CN201710857174 A CN 201710857174A CN 107593113 A CN107593113 A CN 107593113A
- Authority
- CN
- China
- Prior art keywords
- fruit
- vision
- control system
- wrist
- walking mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 90
- 230000004438 eyesight Effects 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 41
- 210000000707 wrist Anatomy 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000008685 targeting Effects 0.000 claims abstract description 7
- 238000003709 image segmentation Methods 0.000 claims abstract description 6
- 238000003306 harvesting Methods 0.000 claims description 22
- 210000000245 forearm Anatomy 0.000 claims description 20
- 238000013480 data collection Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 239000012636 effector Substances 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 3
- 229920001971 elastomer Polymers 0.000 claims description 2
- 229920002635 polyurethane Polymers 0.000 claims description 2
- 239000004814 polyurethane Substances 0.000 claims description 2
- 238000000465 moulding Methods 0.000 claims 2
- 230000007613 environmental effect Effects 0.000 abstract description 5
- 230000010354 integration Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 210000001624 hip Anatomy 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000002420 orchard Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 244000144730 Amygdalus persica Species 0.000 description 1
- 240000006063 Averrhoa carambola Species 0.000 description 1
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 235000005979 Citrus limon Nutrition 0.000 description 1
- 244000131522 Citrus pyriformis Species 0.000 description 1
- 208000034656 Contusions Diseases 0.000 description 1
- 240000000902 Diospyros discolor Species 0.000 description 1
- 235000003115 Diospyros discolor Nutrition 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000132456 Haplocarpha Species 0.000 description 1
- 240000007049 Juglans regia Species 0.000 description 1
- 235000009496 Juglans regia Nutrition 0.000 description 1
- 241000220225 Malus Species 0.000 description 1
- 235000011430 Malus pumila Nutrition 0.000 description 1
- 235000015103 Malus silvestris Nutrition 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000028245 fruit abscission Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 238000012794 pre-harvesting Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 235000020234 walnut Nutrition 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明公开一种基于机器视觉的智能水果采摘机器人，包括控制系统及与其分别连接的行走机构、采摘机械手、视觉系统、电源系统，控制系统、电源系统与行走机构固定连接，采摘机械手为四自由度关节型机械手且通过底座与行走机构固定连接，视觉系统的视觉传感器固定设置于采摘机械手的腕部上方，视觉系统的视觉控制模块与控制系统集成并与视觉传感器信号连接，视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器的图像进行目标定位识别，视觉控制模块将目标定位信息传给控制系统，控制系统控制行走机构移动和/或机械手摘取水果。本发明具有结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的特点。
Description
技术领域
本发明属于农业机械技术领域，具体涉及一种结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的基于机器视觉的智能水果采摘机器人。
背景技术
我国的水果产量自1993以来一直以来都稳居于是世界第一位的位置，而且水果种植面积正在逐年增高。但绝大部分水果仍然以人工的方式进行采摘，这种采摘方式不仅效率低、采摘质量不高，非常不符合农业现代化的发展趋。
近年来，虽然采摘机械受到很多人的关注，但是采摘机械的发展一直很缓慢，由于各种水果的特征差异较大，水果容易受到碰撞等特点，机械采摘的难度较大。我国的水果采摘方式依旧很落后，大多数依然依靠人工采摘，近年来半自动化的采摘方式虽然得以较多的应用，但主要是借助一些升降平台和拖车，为人们提供一个采摘平台，再由人工进行采摘。这种半自动化采摘平台借助动力底盘，在底盘上安装多个供人员采摘的平台，由液压装置为这些平台提供动力来源。这种采摘方式虽然对水果的伤害较小，但是依然需要人工进行采摘，自动化程度较低。纯机械化采摘方式的出现解决了效率低下的问题，但也存在比较大的缺陷—对水果损伤太严重，采摘的水果大部分只能用于加工水果罐头等制品。此外，在国外为了避免对果实损伤的问题，果实采摘中应用最多的就是惯性式振摇机、 气力振摇机等依靠机械外力对果实施加外力，通过摇动树干依靠惯性让果实脱落实现果实的采摘目的。这种方式得到的水果质量、成熟度参差不齐，不能保证其质量。由于以上这些突出的缺点，导致了这种振摇方式的采摘机械得不到广泛的应用。另外，我国果树一般种植于山地和丘陵地带等复杂地理环境，普通轮式采摘机械难以灵活适应，而能够适应的多腿机器人却由于成本高、结构复杂难以推广。由于果树品种、种植环境等因素的影响，各地对果实采摘的要求不同，很难兼顾这些所有因素，采摘机械通用性较差，也难以适应复杂的采摘环境，环境适应性差。而且大多数采摘机械功能太过单一，为了完成整个生产采摘过程，必定需要采购多种类型的农业机械，大大降低了农业生产者的经济效。此外还存在可靠性也较低，容易损坏，不方便维修。还普遍存在自动化的程度较低、效率低的问题，没有达到预期的生产要求。对于部分采用机械手的采摘系统来说，由于普遍使用传统伺服电机驱动机械手，而因为这种伺服电机转矩小且尺寸偏大。为了满足机械手的运动要求，关节处的普通伺服电机需要增加减速器，从而导致这类机械手体积过于庞大、重心不稳，不适用于山地、丘陵等起伏地面的采摘场合。还会导致采摘机械手整体不协调， 结构太复杂也会阻碍水果的正常采摘。
随着计算机技术和图像处理技术的发展及成熟，智能化自动水果采摘系统中，机器视觉用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，能依据视觉敏感和反馈的某种程度的智能完成一定的任务。尤其是近年来，机器视觉技术的快速发展，为农业机器人的自主导航和农作物的识别提供了一种新的解决方案。但是，现有技术中的机器视觉技术要么需要多个摄像头进行多方位拍摄，不仅导致运算量较大，难以保证与机械动作的同步性，为了兼顾适时定位的需求，只有降低机械动作的速度，造成采摘效率低、整体结构复杂。也有部分采用单镜头的视觉系统，但由于视觉计算方法的原因，还是存在运算量较大和定位精度难以保证的问题。
由于农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。 同时，采摘作业质量的好坏还直接影响到产品的后续加工和储存。因此，如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。
发明内容
本发明的目的在于提供一种结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的基于机器视觉的智能水果采摘机器人。
本发明目的是这样实现的，包括行走机构、采摘机械手、视觉系统、控制系统、电源系统，所述控制系统分别与行走机构、采摘机械手、视觉系统、电源系统连接，所述控制系统、电源系统与行走机构固定连接，所述采摘机械手为四自由度关节型机械手且通过底座与行走机构固定连接，所述视觉系统的视觉传感器固定设置于采摘机械手的腕部上方，所述视觉系统的视觉控制模块与控制系统集成一体并与视觉传感器信号连接，所述视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器传送来的图像进行采摘目标定位识别，所述视觉控制模块将采摘目标定位信息传给控制系统，所述控制系统控制行走机构移动和/或机械手摘取水果并放入水果收集装置。
本发明与现有技术相比具有以下有益效果：
1、本发明的视觉系统应用一种基于图像分割的全卷积网络图像处理技术，对果树上的水果进行快速识别与定位，有效提高了水果的采摘精度和显著降低了运算量，为水果准确、快速的采摘提供了保障，解决了现有采摘机械自动化程度和采摘效率低的问题。
2、本发明通过采用履带式行走机构，大大提高了采摘机器人的地形通过性，能够广泛适应山区、丘陵地带等复杂的地理环境。
3、本发明为了适应果园复杂的地理环境和果枝对果实的遮挡问题，采用了将电机嵌入关节内的新型关节型采摘机械手，整体结构紧凑整洁，解决了现有机械手过于庞大、重心不稳和易遮挡采摘过程的问题。
4、本发明通过控制系统根据视觉系统的水果定位信息，自动控制行走机构调整位置及采摘机械手的采摘，智能化程度高。
因此，本发明具有结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的特点。
附图说明
图1为本发明结构示意图；
图2为本发明行走机构结构示意图；
图3为本发明采摘机械手结构示意图；
图4为本发明四指机械爪结构示意图；
图5为本发明各部分配合工作流程图；
图中：1-行走机构，11-底盘，12-驱动轮，13-履带，14-承重轮，15-行走驱动机构，16-箱体，17-机械手支架，18-导向轮，19-托链轮，2-采摘机械手，21-旋转舵机，22-底座，23-腰部，24-大臂舵机，25-大臂，26-小臂舵机，27-小臂，28-腕部舵机，29-腕部，2A-末端执行器，A1-支座，A2-伺服电机，A3-丝杆，A4-十字连接块，A5-连杆，A6-支杆，A7-夹持端，31-视觉传感器，4-控制系统，5-电源系统，6-水果储框。
具体实施方式
下面结合附图与实施例对本发明作进一步的说明，但不以任何方式对本发明加以限制，依据本发明的教导所作的任何变更或替换，均属于本发明的保护范围。
如图1至5所示，本发明包括行走机构1、采摘机械手2、视觉系统3、控制系统4、电源系统5，所述控制系统4分别与行走机构1、采摘机械手2、视觉系统3、电源系统5连接，所述控制系统4、电源系统5与行走机构1固定连接，所述采摘机械手2为四自由度关节型机械手且通过底座22与行走机构1固定连接，所述视觉系统3的视觉传感器31固定设置于采摘机械手2的腕部29上方，所述视觉系统3的视觉控制模块与控制系统4集成一体并与视觉传感器31信号连接，所述视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器31传送来的图像进行采摘目标定位识别，所述视觉控制模块将采摘目标定位信息传给控制系统4，所述控制系统4控制行走机构1移动和/或机械手2摘取水果并放入水果收集装置。
所述水果包括苹果、桃子、梨、核桃、桔子、橙子、柠檬、芒果、奇异果、牛油果等中型水果。
所述视觉控制模块根据事先输入的预采摘水果的图片建立模型数据集，运行Fcntrain程序进行全卷积网络水果模型训练，然后将视觉传感器31传送来的图像运行Fcntest程序进行采摘目标的识别和定位获得目标定位信息。
所述视觉控制模块采用FCN-32S、FCN-16S或FCN-8S的反卷积方法来对模型数据集进行水果模型训练。
所示视觉传感器31为CCD摄像头或COMS摄像头。
所述行走机构1包括底盘11、驱动轮12、履带13、承重轮14、行走驱动机构15、箱体16，所述底盘11通过承重轮14置于履带13上，所述行走驱动机构15固定设置于底盘11的一端且行走驱动机构15的两端设置有驱动轮12，所述驱动轮12与履带13啮合并驱动履带13转动，所述箱体16固定设置于底盘11的两侧履带13之间的上端且内部固定设置有控制系统4和电源系统5。
所述箱体16上端设置有水果储框6。
所述行走驱动机构15为行星减速电机，所述行星减速电机两套分别单独驱动一侧的驱动轮12或一套共同驱动两侧的驱动轮12。
所述采摘机械手2包括底座22、腰部23、大臂25、小臂27、腕部29、末端执行器2A，所述底座22与行走机构1固定连接，所述腰部23同轴设置与底座22的上部并能够绕轴心旋转，所述腰部23、大臂25、小臂27及腕部29之间依次分别通过旋转关节连接，所述末端执行器2A与腕部29固定连接或可绕腕部29的中心线旋转连接。
所述大臂25与小臂27之间通过法兰式小臂舵机26驱动和/或小臂27与腕部29之间通过法兰式腕部舵机28驱动，所述小臂舵机26嵌入大臂25与小臂27之间的关节之中，和/或腕部舵机28嵌入小臂27与腕部29之间的关节之中。
所述末端执行器2A为四指机械爪，所述四指机械爪包括支座A1、伺服电机A2、丝杆A3、十字连接块A4、连杆A5、支杆A6、夹持端A7，所述支座A1一端与腕部29连接且另一端中部设置有通孔，所述伺服电机A2固定设置于支座A1内且驱动轴与丝杆A3固定连接，所述丝杆A3穿过支座A1的通孔并向外延伸，所述丝杆A3向外延伸的部分螺纹套接有十字连接块A4，所述十字连接块A4四个外沿面分别与四个连杆A5的一端铰接，所述连杆A5的另一端与支杆A6的中部铰接，所述支杆A6一端与支座A1铰接且另一端与夹持端A7铰接。
所述夹持端A7的夹持部分包裹有聚氨酯层或改性橡胶层。
所述夹持端A7的夹持部分设置有压力传感器，所述压力传感器与控制系统4信号连接以检测夹持部分和水果之间的夹持力，所述控制系统4根据夹持力判断是否达到预设水果所能承受的力阈值，若达到力阈值则控制末端执行器2A停止运动并控制采摘机械手2的上抬动作完成水果与果枝的分离。
所述行走机构1还固定设置有与控制系统4连接的GPS系统、和/或无线网络模块，所述控制系统4根据GPS系统及预先设置的采摘路径控制行走机构1移动，所述控制系统4通过无线网络模块上传采摘数据和视觉系统3的影像及接收下达的控制指令。
本发明工作原理及工作过程：
本发明的视觉系统应用一种基于图像分割的全卷积网络图像处理技术，对果树上的水果进行快速识别与定位，有效提高了水果的采摘精度和显著降低了运算量，为水果准确、快速的采摘提供了保障，解决了现有采摘机械自动化程度和采摘效率低的问题。进一步，视觉控制模块根据事先输入的预采摘水果的图片建立模型数据集，运行Fcntrain程序进行全卷积网络水果模型训练，然后将视觉传感器传送来的图像运行Fcntest程序进行采摘目标的识别和定位获得目标定位信息；视觉控制模块采用FCN-32S、FCN-16S或FCN-8S的反卷积方法来对模型数据集进行水果模型训练；视觉系统的视觉控制模块通过建立模型数据集并采用Fcntrain程序进行全卷积网络水果模型训练，从而建立智能化水果定位的基础，以FCN-32S、FCN-16S或FCN-8S的反卷积方法来对模型数据集进行水果模型训练，可以根据不同水果的定位精度要求和运算速度进行匹配，从而提高定位精度和运算速度之间的灵活性。进一步，本发明通过采用履带式行走机构，大大提高了采摘机器人的地形通过性，能够广泛适应山区、丘陵地带等复杂的地理环境。进一步，本发明为了适应果园复杂的地理环境和果枝对果实的遮挡问题，采用四自由度关节型机械手并将电机嵌入关节内，整体结构紧凑整洁，解决了现有机械手过于庞大、重心不稳和易遮挡采摘过程的问题。更进一步，本发明末端执行器采用伺服电机与丝杆及连杆配合的四指机械爪，在保证摘取功能的同时，又简化了结构和提高了可靠性。进一步，本发明通过控制系统与GPS系统和/或无线网络模块连接，通过控制系统根据视觉系统的水果定位信息和GPS信息，自动控制行走机构调整位置及采摘机械手的采摘，整体智能化程度高。综上所述，本发明具有结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的特点。
如图1至5所示，本发明整体移动至果树旁，并对视觉控制模块事先输入预采摘的水果不同图片建立模型数据集，运行Fcntrain程序进行全卷积网络水果模型训练。启动本发明，安装于腕部上方的摄像头31拍摄果树图像并传送给视觉控制模块，视觉控制模块根据传送来的图像运行Fcntest程序进行采摘目标的识别、成熟度判定和定位，从而获得目标定位信息并传送给控制系统4；控制系统4根据水果定位信息控制行走驱动机构15驱动驱动轮12旋转，从而带动履带13旋转使得本发明移动到指定位置；整体移动到位后，控制系统4控制摄像头31继续拍摄图像并通过视觉控制模块再进行定位，控制系统4根据新的水果定位信息控制机械手2的旋转舵机21、大臂舵机24、小臂舵机、26腕部舵机28，使得腰部23、大臂25、27-小臂27、腕部29相继运动至四指机械爪2A到预采摘水果跟前，控制系统4启动伺服电机A2使得丝杆A3旋转，十字块连接块A4在与丝杆A3的配合下移动，使得连杆A5拉动支杆A6向内移动，最终使得夹持端A7加紧水果；控制系统4控制采摘机械手2移动使水果与果枝分离，然后控制机械手2将采摘的水果放入行走机构1上的水果储框6中，完成一个水果的采摘。重复上述过程，就能完成果树水果的采摘过程。
Claims (10)
1.一种基于机器视觉的智能水果采摘机器人，包括行走机构（1）、采摘机械手（2）、视觉系统（3）、控制系统（4）、电源系统（5），所述控制系统（4）分别与行走机构（1）、采摘机械手（2）、视觉系统（3）、电源系统（5）连接，所述控制系统（4）、电源系统（5）与行走机构（1）固定连接，其特征在于所述采摘机械手（2）为四自由度关节型机械手且通过底座（22）与行走机构（1）固定连接，所述视觉系统（3）的视觉传感器（31）固定设置于采摘机械手（2）的腕部（29）上方，所述视觉系统（3）的视觉控制模块与控制系统（4）集成一体并与视觉传感器（31）信号连接，所述视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器（31）传送来的图像进行采摘目标定位识别，所述视觉控制模块将采摘目标定位信息传给控制系统（4），所述控制系统（4）控制行走机构（1）移动和/或机械手（2）摘取水果并放入水果收集装置。
2.根据权利要求1所述基于机器视觉的智能水果采摘机器人，其特征在于所述视觉控制模块根据事先输入的预采摘水果的图片建立模型数据集，运行 Fcntrain程序进行全卷积网络水果模型训练，然后将视觉传感器（31）传送来的图像运行Fcntest程序进行采摘目标的识别和定位获得目标定位信息。
3.根据权利要求2所述基于机器视觉的智能水果采摘机器人，其特征在于所述视觉控制模块采用FCN-32S、FCN-16S或FCN-8S的反卷积方法来对模型数据集进行水果模型训练。
4.根据权利要求1所述基于机器视觉的智能水果采摘机器人，其特征在于所述行走机构（1）包括底盘（11）、驱动轮（12）、履带（13）、承重轮（14）、行走驱动机构（15）、箱体（16），所述底盘（11）通过承重轮（14）置于履带（13）上，所述行走驱动机构（15）固定设置于底盘（11）的一端且行走驱动机构（15）的两端设置有驱动轮（12），所述驱动轮（12）与履带（13）啮合并驱动履带（13）转动，所述箱体（16）固定设置于底盘（11）的两侧履带（13）之间的上端且内部固定设置有控制系统（4）和电源系统（5）。
5.根据权利要求1所述基于机器视觉的智能水果采摘机器人，其特征在于所述采摘机械手（2）包括底座（22）、腰部（23）、大臂（25）、小臂（27）、腕部（29）、末端执行器（2A），所述底座（22）与行走机构（1）固定连接，所述腰部（23）同轴设置与底座（22）的上部并能够绕轴心旋转，所述腰部（23）、大臂（25）、小臂（27）及腕部（29）之间依次分别通过旋转关节连接，所述末端执行器（2A）与腕部（29）固定连接或可绕腕部（29）的中心线旋转连接。
6.根据权利要求5所述基于机器视觉的智能水果采摘机器人，其特征在于所述大臂（24）与小臂（27）之间通过法兰式小臂舵机（26）驱动和/或小臂（27）与腕部（29）之间通过法兰式腕部舵机（28）驱动，所述小臂舵机（26）嵌入大臂（24）与小臂（27）之间的关节之中，和/或腕部舵机（28）嵌入小臂（27）与腕部（29）之间的关节之中。
7.根据权利要求5或6所述基于机器视觉的智能水果采摘机器人，其特征在于所述末端执行器（2A）为四指机械爪，所述四指机械爪包括支座（A1）、伺服电机（A2）、丝杆（A3）、十字连接块（A4）、连杆（A5）、支杆（A6）、夹持端（A7），所述支座（A1）一端与腕部（29）连接且另一端中部设置有通孔，所述伺服电机（A2）固定设置于支座（A1）内且驱动轴与丝杆（A3）固定连接，所述丝杆（A3）穿过支座（A1）的通孔并向外延伸，所述丝杆（A3）向外延伸的部分螺纹套接有十字连接块（A4），所述十字连接块（A4）四个外沿面分别与四个连杆（A5）的一端铰接，所述连杆（A5）的另一端与支杆（A6）的中部铰接，所述支杆（A6）一端与支座（A1）铰接且另一端与夹持端（A7）铰接。
8.根据权利要求7所述基于机器视觉的智能水果采摘机器人，其特征在于所述夹持端（A7）的夹持部分包裹有聚氨酯层或改性橡胶层。
9.根据权利要求7所述基于机器视觉的智能水果采摘机器人，其特征在于所述夹持端（A7）的夹持部分设置有压力传感器，所述压力传感器与控制系统（4）信号连接以检测夹持部分和水果之间的夹持力，所述控制系统（4）根据夹持力判断是否达到预设水果所能承受的力阈值，若达到力阈值则控制末端执行器（2A）停止运动并控制采摘机械手（2）的上抬动作完成水果与果枝的分离。
10.根据权利要求1、2或3所述基于机器视觉的智能水果采摘机器人，其特征在于所述行走机构（1）还固定设置有与控制系统（4）连接的GPS系统、和/或无线网络模块，所述控制系统（4）根据GPS系统及预先设置的采摘路径控制行走机构（1）移动，所述控制系统（4）通过无线网络模块上传采摘数据和视觉系统（3）的影像及接收下达的控制指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710857174.3A CN107593113A (zh) | 2017-09-21 | 2017-09-21 | 一种基于机器视觉的智能水果采摘机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710857174.3A CN107593113A (zh) | 2017-09-21 | 2017-09-21 | 一种基于机器视觉的智能水果采摘机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107593113A true CN107593113A (zh) | 2018-01-19 |
Family
ID=61061608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710857174.3A Pending CN107593113A (zh) | 2017-09-21 | 2017-09-21 | 一种基于机器视觉的智能水果采摘机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107593113A (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108207320A (zh) * | 2018-02-01 | 2018-06-29 | 武汉理工大学 | 智能定位自输送采果辅助机 |
| CN108353622A (zh) * | 2018-03-15 | 2018-08-03 | 广东工业大学 | 一种全自动菠萝采摘方法 |
| CN108353632A (zh) * | 2018-04-02 | 2018-08-03 | 广东海洋大学 | 一种组合式遥控采摘水果的装置 |
| CN108419525A (zh) * | 2018-04-08 | 2018-08-21 | 湖北工业大学 | 一种可换刀头电动水果采摘装置 |
| CN108718680A (zh) * | 2018-04-27 | 2018-11-02 | 昆明理工大学 | 一种玫瑰花采摘装置 |
| CN108718708A (zh) * | 2018-05-31 | 2018-11-02 | 福建工程学院 | 一种末端执行器及其工作方法 |
| CN108908349A (zh) * | 2018-10-05 | 2018-11-30 | 西北农林科技大学 | 一种采摘机器人底盘控制系统 |
| CN108966842A (zh) * | 2018-08-29 | 2018-12-11 | 西安文理学院 | 远程多功能水果采摘机 |
| CN109176490A (zh) * | 2018-10-05 | 2019-01-11 | 西北农林科技大学 | 一种采摘机器人控制系统 |
| CN109202848A (zh) * | 2018-09-12 | 2019-01-15 | 西南大学 | 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法 |
| CN110065074A (zh) * | 2019-05-29 | 2019-07-30 | 北京禾泽方圆智能科技有限公司 | 一种采摘机器人的视觉伺服激光定位系统及方法 |
| CN110122073A (zh) * | 2019-05-28 | 2019-08-16 | 江苏大学 | 一种基于机器视觉的草莓采摘机器人 |
| CN110192472A (zh) * | 2019-03-25 | 2019-09-03 | 山东交通学院 | 双臂苹果采摘圆形分级收集机器人 |
| WO2019224627A1 (en) * | 2018-05-22 | 2019-11-28 | Octinion Bvba | Improved method and apparatus for automatically picking a fruit |
| BE1026294B1 (nl) * | 2018-05-22 | 2019-12-17 | Octinion Bvba | Verbeterde methode en apparaat voor het automatisch plukken van een vrucht |
| BE1026641B1 (nl) * | 2018-09-21 | 2020-04-20 | Octinion Bvba | Verbeterde methode en apparaat voor het automatisch plukken van een vrucht |
| CN111201895A (zh) * | 2019-12-25 | 2020-05-29 | 上海点甜农业专业合作社 | 一种采摘机器人 |
| CN111418349A (zh) * | 2020-03-19 | 2020-07-17 | 南京赫曼机器人自动化有限公司 | 一种水果采摘智能机器人及其实现水果采摘的方法 |
| CN112136506A (zh) * | 2020-09-27 | 2020-12-29 | 哈尔滨理工大学 | 具有水果成熟度辨别功能的机器人手臂装置 |
| CN112571166A (zh) * | 2020-12-03 | 2021-03-30 | 广东韶钢松山股份有限公司 | 一种辊环的磨削系统及磨削方法 |
| CN112567976A (zh) * | 2020-12-29 | 2021-03-30 | 镇江市高等专科学校 | 一种可旋转式多自由度果蔬采摘收集装置 |
| CN112840862A (zh) * | 2021-01-07 | 2021-05-28 | 杭州乔戈里科技有限公司 | 适用于采摘多种水果的采摘机器人及其采摘方法 |
| CN112889592A (zh) * | 2021-03-30 | 2021-06-04 | 苏州大学 | 用于蘑菇采摘装置的控制系统 |
| CN113597966A (zh) * | 2021-07-20 | 2021-11-05 | 山东农业大学 | 一种基于图像识别的葡萄疏花疏果智能机器人及方法 |
| CN114731845A (zh) * | 2022-02-24 | 2022-07-12 | 华南农业大学 | 一种移动式脐橙采摘接收设备 |
| CN115316129A (zh) * | 2022-08-12 | 2022-11-11 | 华南农业大学 | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人系统及采摘方法 |
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CN102165880A (zh) * | 2011-01-19 | 2011-08-31 | 南京农业大学 | 一种自主导航的履带式移动水果采摘机器人及水果采摘方法 |
| CN103348819A (zh) * | 2013-07-12 | 2013-10-16 | 中南林业科技大学 | 一种油茶果采摘方法及其油茶果采摘机器人 |
| CN204131990U (zh) * | 2014-10-22 | 2015-02-04 | 河北农业大学 | 一种四指爪式自适应草莓采摘机械手 |
| CN204622073U (zh) * | 2015-04-10 | 2015-09-09 | 聊城大学 | 一种四爪夹持机械手机构 |
| CN106105566A (zh) * | 2016-07-25 | 2016-11-16 | 柳州铁道职业技术学院 | 智能柑橘采摘机器人及柑橘采摘方法 |
| CN106651955A (zh) * | 2016-10-10 | 2017-05-10 | 北京小米移动软件有限公司 | 图片中目标物的定位方法及装置 |
-
2017
- 2017-09-21 CN CN201710857174.3A patent/CN107593113A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人系统及采摘方法 |
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CN102165880A (zh) * | 2011-01-19 | 2011-08-31 | 南京农业大学 | 一种自主导航的履带式移动水果采摘机器人及水果采摘方法 |
| CN103348819A (zh) * | 2013-07-12 | 2013-10-16 | 中南林业科技大学 | 一种油茶果采摘方法及其油茶果采摘机器人 |
| CN204131990U (zh) * | 2014-10-22 | 2015-02-04 | 河北农业大学 | 一种四指爪式自适应草莓采摘机械手 |
| CN204622073U (zh) * | 2015-04-10 | 2015-09-09 | 聊城大学 | 一种四爪夹持机械手机构 |
| CN106105566A (zh) * | 2016-07-25 | 2016-11-16 | 柳州铁道职业技术学院 | 智能柑橘采摘机器人及柑橘采摘方法 |
| CN106651955A (zh) * | 2016-10-10 | 2017-05-10 | 北京小米移动软件有限公司 | 图片中目标物的定位方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 高蕾娜等: "4自由度示教机械手构型设计与运动分析", 《实验室研究与探索》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108207320A (zh) * | 2018-02-01 | 2018-06-29 | 武汉理工大学 | 智能定位自输送采果辅助机 |
| CN108353622A (zh) * | 2018-03-15 | 2018-08-03 | 广东工业大学 | 一种全自动菠萝采摘方法 |
| CN108353622B (zh) * | 2018-03-15 | 2023-10-03 | 广东工业大学 | 一种全自动菠萝采摘方法 |
| CN108353632A (zh) * | 2018-04-02 | 2018-08-03 | 广东海洋大学 | 一种组合式遥控采摘水果的装置 |
| CN108353632B (zh) * | 2018-04-02 | 2024-01-05 | 广东海洋大学 | 一种组合式遥控采摘水果的装置 |
| CN108419525A (zh) * | 2018-04-08 | 2018-08-21 | 湖北工业大学 | 一种可换刀头电动水果采摘装置 |
| CN108718680A (zh) * | 2018-04-27 | 2018-11-02 | 昆明理工大学 | 一种玫瑰花采摘装置 |
| WO2019224627A1 (en) * | 2018-05-22 | 2019-11-28 | Octinion Bvba | Improved method and apparatus for automatically picking a fruit |
| BE1026294B1 (nl) * | 2018-05-22 | 2019-12-17 | Octinion Bvba | Verbeterde methode en apparaat voor het automatisch plukken van een vrucht |
| CN108718708A (zh) * | 2018-05-31 | 2018-11-02 | 福建工程学院 | 一种末端执行器及其工作方法 |
| CN108966842A (zh) * | 2018-08-29 | 2018-12-11 | 西安文理学院 | 远程多功能水果采摘机 |
| CN109202848A (zh) * | 2018-09-12 | 2019-01-15 | 西南大学 | 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法 |
| BE1026641B1 (nl) * | 2018-09-21 | 2020-04-20 | Octinion Bvba | Verbeterde methode en apparaat voor het automatisch plukken van een vrucht |
| CN109176490A (zh) * | 2018-10-05 | 2019-01-11 | 西北农林科技大学 | 一种采摘机器人控制系统 |
| CN108908349A (zh) * | 2018-10-05 | 2018-11-30 | 西北农林科技大学 | 一种采摘机器人底盘控制系统 |
| CN110192472A (zh) * | 2019-03-25 | 2019-09-03 | 山东交通学院 | 双臂苹果采摘圆形分级收集机器人 |
| CN110192472B (zh) * | 2019-03-25 | 2024-02-27 | 山东交通学院 | 双臂苹果采摘圆形分级收集机器人 |
| CN110122073A (zh) * | 2019-05-28 | 2019-08-16 | 江苏大学 | 一种基于机器视觉的草莓采摘机器人 |
| CN110065074A (zh) * | 2019-05-29 | 2019-07-30 | 北京禾泽方圆智能科技有限公司 | 一种采摘机器人的视觉伺服激光定位系统及方法 |
| CN110065074B (zh) * | 2019-05-29 | 2021-02-12 | 北京禾泽方圆智能科技有限公司 | 一种采摘机器人的视觉伺服激光定位系统及方法 |
| CN111201895A (zh) * | 2019-12-25 | 2020-05-29 | 上海点甜农业专业合作社 | 一种采摘机器人 |
| CN111418349A (zh) * | 2020-03-19 | 2020-07-17 | 南京赫曼机器人自动化有限公司 | 一种水果采摘智能机器人及其实现水果采摘的方法 |
| CN112136506A (zh) * | 2020-09-27 | 2020-12-29 | 哈尔滨理工大学 | 具有水果成熟度辨别功能的机器人手臂装置 |
| CN112571166A (zh) * | 2020-12-03 | 2021-03-30 | 广东韶钢松山股份有限公司 | 一种辊环的磨削系统及磨削方法 |
| CN112567976A (zh) * | 2020-12-29 | 2021-03-30 | 镇江市高等专科学校 | 一种可旋转式多自由度果蔬采摘收集装置 |
| CN112840862A (zh) * | 2021-01-07 | 2021-05-28 | 杭州乔戈里科技有限公司 | 适用于采摘多种水果的采摘机器人及其采摘方法 |
| CN112889592A (zh) * | 2021-03-30 | 2021-06-04 | 苏州大学 | 用于蘑菇采摘装置的控制系统 |
| CN112889592B (zh) * | 2021-03-30 | 2022-03-22 | 苏州大学 | 用于蘑菇采摘装置的控制系统 |
| CN113597966A (zh) * | 2021-07-20 | 2021-11-05 | 山东农业大学 | 一种基于图像识别的葡萄疏花疏果智能机器人及方法 |
| CN114731845A (zh) * | 2022-02-24 | 2022-07-12 | 华南农业大学 | 一种移动式脐橙采摘接收设备 |
| CN115316129A (zh) * | 2022-08-12 | 2022-11-11 | 华南农业大学 | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 |
| CN115316129B (zh) * | 2022-08-12 | 2024-03-12 | 华南农业大学 | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107593113A (zh) | 一种基于机器视觉的智能水果采摘机器人 | |
| CN106105566B (zh) | 智能柑橘采摘机器人及柑橘采摘方法 | |
| CN205865161U (zh) | 智能柑橘采摘机器人 | |
| US11304374B2 (en) | Selective automated blossom thinning | |
| CN109156161A (zh) | 一种智能沃柑采摘机器人 | |
| CN107756414A (zh) | 草莓采摘机器人 | |
| CN113330915B (zh) | 双目视觉识别的自适应棉花收获方法及智能机械收获装置 | |
| CN107745756B (zh) | 六足草莓采摘机器人的行走方法 | |
| CN109500834A (zh) | 一种采摘机械手的末端执行机构 | |
| CN108353622B (zh) | 一种全自动菠萝采摘方法 | |
| CN108718689A (zh) | 一种采摘机械手机械装置 | |
| CN103950033A (zh) | 水果采摘机器人的机械臂和末端执行器及水果采摘方法 | |
| CN109392462A (zh) | 采摘黄花菜的机器人及方法 | |
| CN113812262B (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
| CN107439143B (zh) | 一种温室串番茄采收机及采收方法 | |
| CN109729829B (zh) | 一种基于双目识别的智能山楂采摘机器人 | |
| CN109699300A (zh) | 一种智能柑橘采摘机的控制系统及其控制方法 | |
| CN211745437U (zh) | 一种高架果蔬智能采摘机器人 | |
| CN108575318A (zh) | 一种基于柔性机械手的草莓自动采摘装置及方法 | |
| CN111587665A (zh) | 一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法 | |
| CN111684924A (zh) | 一种基于树莓派的草莓采摘机器人 | |
| CN203775716U (zh) | 一种水果采摘机械手 | |
| CN108718704B (zh) | 一种人机交互式野外果蔬采收机器人系统及其采收方法 | |
| Zhang et al. | Automatic fruit picking technology: a comprehensive review of research advances | |
| CN109463128A (zh) | 一种采摘机械手 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |
|
| RJ01 | Rejection of invention patent application after publication |