CN110692352B - 一种智能农业机器人及其控制方法 - Google Patents
一种智能农业机器人及其控制方法 Download PDFInfo
- Publication number
- CN110692352B CN110692352B CN201910888328.4A CN201910888328A CN110692352B CN 110692352 B CN110692352 B CN 110692352B CN 201910888328 A CN201910888328 A CN 201910888328A CN 110692352 B CN110692352 B CN 110692352B
- Authority
- CN
- China
- Prior art keywords
- target
- sliding table
- visual
- execution
- crop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 133
- 238000005507 spraying Methods 0.000 claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 235000007688 Lycopersicon esculentum Nutrition 0.000 claims abstract description 19
- 240000003768 Solanum lycopersicum Species 0.000 claims abstract description 19
- 239000007921 spray Substances 0.000 claims abstract description 15
- 239000000575 pesticide Substances 0.000 claims description 34
- 230000010152 pollination Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 13
- 239000003814 drug Substances 0.000 claims description 12
- 239000003337 fertilizer Substances 0.000 claims description 11
- 230000004720 fertilization Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 239000007788 liquid Substances 0.000 claims description 5
- 230000000749 insecticidal effect Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 15
- 208000037805 labour Diseases 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 239000000243 solution Substances 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D45/00—Harvesting of standing crops
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01C—PLANTING; SOWING; FERTILISING
- A01C15/00—Fertiliser distributors
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01C—PLANTING; SOWING; FERTILISING
- A01C23/00—Distributing devices specially adapted for liquid manure or other fertilising liquid, including ammonia, e.g. transport tanks or sprinkling wagons
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01H—NEW PLANTS OR NON-TRANSGENIC PROCESSES FOR OBTAINING THEM; PLANT REPRODUCTION BY TISSUE CULTURE TECHNIQUES
- A01H1/00—Processes for modifying genotypes ; Plants characterised by associated natural traits
- A01H1/02—Methods or apparatus for hybridisation; Artificial pollination ; Fertility
- A01H1/027—Apparatus for pollination
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Soil Sciences (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Water Supply & Treatment (AREA)
- Automation & Control Theory (AREA)
- Insects & Arthropods (AREA)
- Pest Control & Pesticides (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Genetics & Genomics (AREA)
- Botany (AREA)
- Developmental Biology & Embryology (AREA)
- Breeding Of Plants And Reproduction By Means Of Culturing (AREA)
- Cultivation Of Plants (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种智能农业机器人及其控制方法，包括移动机构和设置在移动机构上的视觉导航机构、超声波测距传感器、控制机构、视觉机构和执行末端；视觉机构用于进行目标检测，超声波测距传感器实时检测前进方向障碍物，移动机构根据视觉导航机构和超声波测距传感器获取的数据移动；视觉机构用于对目标农作物检测；控制机构通过位置数据获取目标农作物的三维坐标信息和农作物信息并以此确定执行区域；执行末端对目标农作物相应的进行采摘、授粉、喷药或施肥。本发明是集采摘、施肥、授粉、喷药等多功能为一体的机器人，可以适应在多种类番茄的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，节约了人力资源。
Description
技术领域
本发明涉及精准农业与人工智能领域，特别涉及一种智能农业机器人及其控制方法。
背景技术
随着农业信息化技术的不断发展，机器人开始在农业生产中使用，使用机器人替代农业劳动者，不但可以大幅提高劳动生产率、降低劳动力成本，在解决劳动力不足、降低工人劳动程度、提高工人劳动的舒适度和工人的劳动危险性等方面也起到重要作用，还能减少农药对土壤和水资源等自然环境的破坏，对我国农业信息化发展起到推动作用。目前农业机器人多为专业机器人，作业功能都比较单一，例如采摘机器人只能完成采摘功能、打药机器人只能进行打药操作、授粉机器人只能完成授粉操作，都没有从解决农业生产的全流程考虑，没有从种植过程的统一性方面克服作业的精准性和复杂性。
市场上对番茄的种植生产多使用人工种植，由于番茄果树多半不高，种植范围相对比较密集，番茄在成熟期时果实密度大，对番茄的种植技术要求较高，耗时耗力；随着人力成本的不断提高，种植成本进一步增加，故开发一种对番茄全生产过程进行精准作业的多功能作业机器人装置具有较大的实用价值和市场前景。
发明内容
(一)要解决的技术问题
鉴于上述技术缺陷和应用需求，本申请提出一种智能农业机器人及其控制方法，旨在解决现有农业机器人功能单一，难以在复杂环境下工作等问题。
(二)技术方案
为解决上述问题，本发明提供一种智能农业机器人，包括：移动机构和设置在所述移动机构上的视觉导航机构、超声波测距传感器、控制机构、视觉机构和执行末端；所述导航机构用于进行目标检测，所述超声波测距传感器实时检测前进方向障碍物，所述移动机构根据所述视觉导航机构和所述超声波测距传感器获取的数据移动；所述视觉机构用于对目标农作物检测，以获得目标农作物在三维空间对应的位置数据，并将所述位置数据传输给所述控制机构；所述控制机构通过所述位置数据获取所述目标农作物的三维坐标信息和农作物信息，并以此确定执行区域；所述执行末端在所述执行区域对所述目标农作物相应的进行采摘、授粉、喷药或施肥。
进一步地，所述执行末端包括：采摘装置、授粉装置、喷药装置和施肥装置；所述采摘装置、授粉装置、喷药装置和施肥装置分别与所述控制机构电连接，以分别相应的进行采摘、授粉、喷药或施肥。
进一步地，所述执行末端还包括：机械臂；所述机械臂第一端转动连接在所述控制机构上，所述机械臂的第二端设置有所述采摘装置和所述授粉装置。
进一步地，所述执行末端还包括：垂直滑台和水平滑台；所述垂直滑台设置在所述移动机构上，所述水平滑台沿竖直方向可滑动地设置在所述垂直滑台上，所述喷药装置和所述施肥装置沿水平方向可滑动地设置在所述水平滑台上。
进一步地，所述执行末端还包括：存储装置；所述存储装置包括：采摘篮和药水箱；所述采摘篮邻近所述采摘装置，设置在所述移动机构上；所述药水箱内设有施肥箱和杀虫箱，所述施肥箱与所述施肥装置连通，所述杀虫箱与所述喷药装置连通。
进一步地，所述智能农业机器人还包括：导航线；所述导航线按照预设行进路线设置，且所述导航线上设置有拐弯和停止二维码标志，所述视觉导航机构实时识别所述导航线，以保证沿着所述导航线前进。
进一步地，所述智能农业机器人还包括：旋转装置；所述旋转装置固定在所述垂直滑台上，所述视觉机构通过所述旋转装置可转动的设置在所述垂直滑台上。
为解决上述问题，本发明提供一种智能农业机器人的控制方法，所述控制方法包括如下步骤：
步骤S1：视觉机构实时进行目标检测，超声波测距传感器实时检测前进方向障碍物，移动机构根据视觉导航机构和超声波测距传感器获取的数据移动；
步骤S2：若视觉机构检测到当前区域内存在目标农作物，移动机构停止前行；视觉机构对当前区域内的标农作物检测，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构，控制机构通过位置数据获取目标农作物的三维坐标信息和农作物信息；
步骤S3：控制机构根据三维坐标信息和农作物信息确定执行区域，执行末端在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥；
步骤S4：移动机构重新根据视觉导航机构和超声波测距传感器获取的数据移动，重新开始执行步骤S2，直至所有对象处理完毕。
进一步地，步骤S3具体包括：
步骤S31：控制机构根据三维信息和农作物信息确认执行区域；
步骤S32：机械臂、垂直滑台和水平滑台将采摘装置、授粉装置、喷药装置和施肥装置移动到执行区域；
步骤S33：采摘装置、授粉装置、喷药装置和施肥装置开始作业，以分别相应的进行采摘、授粉、喷药或施肥；
步骤S34：返回继续执行步骤S31，直至将执行区域内存在的全部目标农作物进行采摘、授粉、喷药或施肥。
进一步地，视觉机构通过神经网络模型实现对目标农作物在三维空间的位置数据，神经网络模型的建立包括如下步骤：
获取目标农作物的GRB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注；
用YOLO v3对标注后的第一训练集进行训练，得到所述样本的成熟度和品质等级进行分类和识别的第一神经网络模型，并获取二维训练结果；
对所述RGB彩色图像进行分割处理，获取目标检测物所在区域，再用二值化算法进行灰度处理并裁剪，获取只包含所述目标检测物及周围区域的灰度图；
将所述灰度图中与3D点云信息一一对应，随机选择对应后的点云作为第二训练集；
用PointNet网络对所述二维训练结果和所述第二训练集进行训练，得到所述样本的番茄的大小、位姿、坐标、质量、品质等级和成熟度进行分类和识别的第二神经网络模型。
(三)有益效果
本发明提供一种智能农业机器人及其控制方法，本发明提供的智能农业机器人是集采摘、施肥、授粉、喷药等多功能为一体的机器人，可以适应在多种类番茄的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，大大节约人力资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的智能农业机器人的主视图；
图2是本发明实施例提供的智能农业机器人的斜视图；
图3是本发明实施例提供的智能农业机器人的工作流程图；
图4是本发明实施例提供的智能农业机器人的功能架构图；
其中，1、视觉机构；2、采摘装置；3、授粉装置；4、喷药装置；5、施肥装置；6、机械臂；7、采摘篮；8、超声波测距传感器；9、移动机构；10、垂直滑台；12、水平滑台；13、药水箱；14、控制机构；15、旋转装置；16、视觉导航机构；17、导航线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种智能农业机器人，该智能农业机器人可以在复杂环境下完成农作物的采摘、授粉、喷药、施肥等功能，可以改善番茄种植过程中作业条件，提升作业效率。如图1和图2所示，该智能农业机器人包括：移动机构9和设置在移动机构9上的视觉导航机构16、超声波测距传感器8、控制机构14、视觉机构1和执行末端。
本实施例中，视觉机构1用于进行目标检测，超声波测距传感器8实时检测前进方向障碍物，移动机构9根据视觉导航机构16和超声波测距传感器8获取的数据移动。视觉机构1用于对目标农作物检测，以获得目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14。控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息，并以此确定执行区域。执行末端在执行区域对目标农作物相应的进行采摘、授粉、喷药或施肥。
其中，控制机构14为机器人进行作业的核心控制器，配置包括I7-4700MQ2.4GCPU、8G DDR3L内存、500G硬盘等。控制机构14安装机器人整套控制系统，包含视觉系统、机器人控制系统、避障系统、导航系统等。超声波测距传感器8用于机器人行走定位、壁障功能，本发明的提供的智能农业机器人包含六个超声波测距传感器8，安装在智能农业机器人四周，保证智能农业机器人安全作业，避免撞到栽培作物或障碍物。
本实施例中，视觉机构1可选用3D视觉相机。该智能农业机器人在工作过程中，如图3所示，开启后智能农业机器人进入初始化状态，视觉机构1实时进行目标检测，超声波测距传感器8实时检测前进方向障碍物，若检测到不存在障碍，移动机构9根据视觉导航机构16和超声波测距传感器8获取的数据移动，智能农业机器人开始运动。此时若3D视觉相机检测到当前区域内存在作业对象，即目标农作物，移动机构9停止前行，机器人停止前行。3D视觉相机对当前区域内的标农作物检测，3D视觉相机校正作业对象坐标，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14，控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息。控制机构14根据三维坐标信息和农作物信息确定执行区域，执行末端在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥。作业完成后，执行机构恢复至初始位姿。判断所有对象是否作业完成，若3D视觉相机再次测到当前区域内存在目标农作物并执行后续操作，直至所有对象处理完毕。若3D视觉相机测到当前区域内已不存在目标农作物，则智能农业机器人停止作业，智能农业机器人进入下一个位置，移动机构9重新根据视觉导航机构16和超声波测距传感器8获取的数据移动。
本发明实施例提供一种智能农业机器人，该智能农业机器人是集采摘、施肥、授粉、喷药等多功能为一体的机器人，可以适应在多种类番茄的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，大大节约人力资源。
在根据本发明的一实施例中，如图1和图2所示，执行末端包括：采摘装置2、授粉装置3、喷药装置4和施肥装置5。采摘装置2、授粉装置3、喷药装置4和施肥装置5分别与控制机构14电连接，以分别相应的进行采摘、授粉、喷药或施肥。授粉装置3包含一个振动棒和一个小气泵，在3D视觉摄像机的引导下机械臂6将授粉装置3送到需授粉番茄花附近，由振动棒或小气泵完成授粉功能。
为便于智能农业机器人进行对应的操作，该执行末端还可设置机械臂6。由机械臂6在3D视觉摄像机的引导下完成采摘和授粉功能。机械臂6的第一端转动连接在控制机构14上，机械臂6的第二端设置有采摘装置2和授粉装置3。采摘装置2可选用机械手。机械臂6由六个运动关节和六个旋转轴组合实现全方位定点操作功能，主要根据控制机构14发出的相关功能指令进行采摘操作精准定位，其工作定位数据由视觉机构1，即3D视觉相机获得。六轴协同机械臂6第六关节处与采摘装置2和授粉装置3相连，将采摘装置2、授粉装置3定位到种植对象附近以实现精准采摘和授粉工作。
本实施例中，执行末端还包括：垂直滑台10和水平滑台12。垂直滑台10设置在移动机构9上，水平滑台12沿竖直方向可滑动地设置在垂直滑台10上，喷药装置4和施肥装置5沿水平方向可滑动地设置在水平滑台12上。当开始执行喷药和施肥功能时，首先水平滑台12上的将喷药装置4和施肥装置5缓慢向两侧展开到预定位置，然后水平滑台12沿着垂直滑台10做上下循环移动，同时打开喷药/喷肥阀门，进行作物全方位施肥喷药。
为配合喷药装置4和施肥装置5，还可增设存储装置。存储装置包括：采摘篮7和药水箱13。采摘篮7邻近采摘装置2，设置在移动机构9上。药水箱13内设有施肥箱和杀虫箱，施肥箱与施肥装置5连通，杀虫箱与喷药装置4连通。
为简化导航过程，可增设导航线17，导航线17按照预设行进路线设置，在导航线17上设置有拐弯和停止二维码标志，视觉导航机构16实时识别导航线17，机器人遇到相应标志后执行相关的动作，以保证智能农业机器人沿着导航线17前进。
此外，该智能农业机器人还包括：旋转装置15。旋转装置15固定在垂直滑台10上，3D视觉相机通过旋转装置15可转动的设置在垂直滑台10上。旋转装置15具有360°度全方位视角，实现机器人作业过程360°无死角识别。利用3D视觉相机与自带固定光源相互协调，在测试阶段利用标定板标定其空间位置维度，以获得操作对象在三维空间中的具体位置，将其位置数据传输给控制机构14，驱动六轴协同机械臂6与水平滑台12完成精准作业。
执行末端在工作工程中，需要通过3D视觉相机来进行工作，如图4所示，3D视觉相机检测当前区域内是否存在作业对象，例如果实是否成熟，是否存在花粉，是否存在病虫害，是否需要施肥等条件来判断。当确认存在作业对象后，智能农业机器人停止前行。机械臂6、垂直滑台10和水平滑台12移动到作业区。3D视觉相机对当前区域内的标农作物检测，3D视觉相机校正作业对象坐标，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14，控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息。控制机构14根据三维坐标信息和农作物信息确定执行区域，执行末端对应的结构在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥。
本发明实施例提供一种智能农业机器人的控制方法，该智能农业机器人具体的结构请参阅上述图1至图2相关的文字描述，在此不再赘述。
控制方法包括如下步骤：
步骤S1：视觉机构实时进行目标检测，超声波测距传感器实时检测前进方向障碍物，移动机构根据视觉导航机构和超声波测距传感器获取的数据移动。
步骤S2：若视觉机构检测到当前区域内存在目标农作物，移动机构停止前行；视觉机构对当前区域内的标农作物检测，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构，控制机构通过位置数据获取目标农作物的三维坐标信息和农作物信息。
步骤S3：控制机构根据三维坐标信息和农作物信息确定执行区域，执行末端在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥。
步骤S4：移动机构重新根据视觉导航机构和超声波测距传感器获取的数据移动，重新开始执行步骤S2，直至所有对象处理完毕。
其中，步骤S3的步骤具体包括：
步骤S31：控制机构根据三维信息和农作物信息确认执行区域。
步骤S32：机械臂、垂直滑台和水平滑台将采摘装置、授粉装置、喷药装置和施肥装置移动到执行区域。
步骤S33：采摘装置、授粉装置、喷药装置和施肥装置开始作业，以分别相应的进行采摘、授粉、喷药或施肥。
步骤S34：返回继续执行步骤S31，直至将执行区域内存在的全部目标农作物进行采摘、授粉、喷药或施肥。
具体地，该智能机器人在工作过程中，功能实现步骤，如图3和图4。
第一步：该智能农业机器人在工作过程中，开启后智能农业机器人进入初始化状态，视觉机构1实时进行目标检测，超声波测距传感器8实时检测前进方向障碍物，若检测到不存在障碍，移动机构9根据视觉导航机构16和超声波测距传感器8获取的数据移动，智能农业机器人开始运动。若检测存在障碍，则停止前进并触发报警系统。
第二步：此时若3D视觉相机检测到当前区域内存在作业对象，即目标农作物，移动机构9停止前行，机器人停止前行。
第三步：3D视觉相机对当前区域内的标农作物检测，3D视觉相机校正作业对象坐标，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构14，控制机构14通过位置数据获取目标农作物的三维坐标信息和农作物信息。如果目标是番茄会识别出番茄的成熟度、重量、大小信息。
第四步：机械臂6、垂直滑台10和水平滑台12等结构根据目标的三维坐标信息对路径规划，将移动到有效作业区域。3D视觉相机对作业对象的实时校准检测下移动至精准作业点。
第五步：控制机构14根据三维坐标信息和农作物信息确定执行区域，采摘装置、授粉装置、喷药装置和施肥装置等装置进行相应的工作，在执行区域按照从上到下的优先顺序对目标农作物进行相应的采摘、授粉、喷药或施肥。
第六步：作业完成后，执行机构恢复至初始位姿。判断所有对象是否作业完成，若3D视觉相机再次测到当前区域内存在目标农作物并执行后续操作，直至所有对象处理完毕。即重复上述步骤四和步骤五，将3D视觉相机所在范围内检测到的所有作业对象进行分析和相应作业。
第七步：若3D视觉相机测到当前区域内已不存在目标农作物，则智能农业机器人停止作业，智能农业机器人进入下一个位置，移动机构9重新根据视觉导航机构16和超声波测距传感器8获取的数据移动，继续重复以上所有步骤。
进一步的，为简化整个过程，该智能农业机器人针对喷药和施肥，配置好了操作简单的全方位自动喷药施肥方式，功能实现步骤如下：
第一步：开启“全方位自动喷药/施肥”功能按钮。
第二步：机器人沿着导航线17运动到番茄行间。
第三步：水平滑台12上的将喷药装置4和施肥装置5缓慢向两侧展开到预定位置。
第四步：水平滑台12沿着垂直滑台10做上下循环移动，同时打开喷药/喷肥阀门，进行作物全方位施肥喷药。
第五步：机器人开始沿着导航线17向前行走，完成一行作业后转到下一行，完成整个作业区的喷药施肥。
第五步：返回固定位置。
本实施例中，视觉机构通过神经网络模型实现对目标农作物在三维空间的位置数据，具体地，智能农业机器人为实现番茄的采摘、授粉、喷药、施肥操作，其核心模块为基于2D和3D结合的非结构环境下作业目标识别定位神经网络模型，模型的方法实现流程具体如下：
获取目标农作物的GRB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注；
用YOLO v3对标注后的第一训练集进行训练，得到所述样本的成熟度和品质等级进行分类和识别的第一神经网络模型，并获取二维训练结果；
对所述RGB彩色图像进行分割处理，获取目标检测物所在区域，再用二值化算法进行灰度处理并裁剪，获取只包含所述目标检测物及周围区域的灰度图；
将所述灰度图中与3D点云信息一一对应，随机选择对应后的点云作为第二训练集；
用PointNet网络对所述二维训练结果和所述第二训练集进行训练，得到所述样本的番茄的大小、位姿、坐标、质量、品质等级和成熟度进行分类和识别的第二神经网络模型。
综上所述，本发明提供一种智能农业机器人及其控制方法，可以适应在多种类番茄的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，大大节约人力资源。而且该机器人是集多种机器人功能于一体，解决了现代化番茄种植过程中多种机器人同时作业的情况，减少了设备的数量，大大节约了种植成本和种植空间。此外，该控制方法采用基于2D和3D结合的神经网络模型，有效解决了非结构环境下作业目标识别定位问题，模型可高效、精准判断作物的位姿、坐标、成熟度、重量、大小等信息，并自动完成作业过程。与传统农业机器人视觉相比，大大提高了农业非结构环境下识别效率和定位精度。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种智能农业机器人，其特征在于，包括：
移动机构和设置在所述移动机构上的视觉导航机构、超声波测距传感器、控制机构、视觉机构和执行末端；
所述视觉机构用于进行目标检测，所述超声波测距传感器实时检测前进方向障碍物，所述移动机构根据所述视觉导航机构和所述超声波测距传感器获取的数据移动；所述视觉机构用于对目标农作物检测，以获得目标农作物在三维空间对应的位置数据，并将所述位置数据传输给所述控制机构；所述控制机构通过所述位置数据获取所述目标农作物的三维坐标信息和农作物信息，并以此确定执行区域；所述执行末端在所述执行区域对所述目标农作物相应的进行采摘、授粉、喷药或施肥；
所述执行末端包括：采摘装置、授粉装置、喷药装置和施肥装置；所述采摘装置、授粉装置、喷药装置和施肥装置分别与所述控制机构电连接，以分别相应的进行采摘、授粉、喷药或施肥；
所述执行末端还包括：机械臂、旋转装置、垂直滑台和水平滑台；所述机械臂的第一端转动连接在所述控制机构上，所述机械臂的第二端设置有所述采摘装置和所述授粉装置，所述机械臂为六轴协同机械臂，所述机械臂第六关节处与所述采摘装置和所述授粉装置相连；所述垂直滑台设置在所述移动机构上，所述水平滑台沿竖直方向可滑动地设置在所述垂直滑台上，所述喷药装置和所述施肥装置沿水平方向可滑动地设置在所述水平滑台上；
所述旋转装置固定在所述垂直滑台上，所述视觉机构通过所述旋转装置可转动的设置在所述垂直滑台上；
所述授粉装置包含一个振动棒和一个小气泵。
2.根据权利要求1所述的智能农业机器人，其特征在于，所述执行末端还包括：存储装置；所述存储装置包括：采摘篮和药水箱；所述采摘篮邻近所述采摘装置，设置在所述移动机构上；所述药水箱内设有施肥箱和杀虫箱，所述施肥箱与所述施肥装置连通，所述杀虫箱与所述喷药装置连通。
3.根据权利要求1所述的智能农业机器人，其特征在于，所述智能农业机器人还包括：导航线；所述导航线按照预设行进路线设置，且所述导航线上设置有拐弯和停止二维码标志，所述视觉导航机构实时识别所述导航线，以保证沿着所述导航线前进。
4.一种智能农业机器人的控制方法，其特征在于，所述控制方法包括如下步骤：
步骤S1：视觉机构实时进行目标检测，超声波测距传感器实时检测前进方向障碍物，移动机构根据视觉导航机构和超声波测距传感器获取的数据移动；
步骤S2：若视觉机构检测到当前区域内存在目标农作物，移动机构停止前行；视觉机构对当前区域内的标农作物检测，以获得对全部目标农作物在三维空间对应的位置数据，并将位置数据传输给控制机构，控制机构通过位置数据获取目标农作物的三维坐标信息和农作物信息；
步骤S3：控制机构根据三维坐标信息和农作物信息确定执行区域，执行末端在执行区域对目标农作物进行相应的采摘、授粉、喷药或施肥；
其中，步骤S3具体包括：
步骤S31：控制机构根据三维信息和农作物信息确认执行区域；
步骤S32：机械臂、垂直滑台和水平滑台将采摘装置、授粉装置、喷药装置和施肥装置移动到执行区域；
步骤S33：采摘装置、授粉装置、喷药装置和施肥装置开始作业，以分别相应的进行采摘、授粉、喷药或施肥；
步骤S34：返回继续执行步骤S31，直至将执行区域内存在的全部目标农作物进行采摘、授粉、喷药或施肥；
步骤S4：移动机构重新根据视觉导航机构和超声波测距传感器获取的数据移动，重新开始执行步骤S2，直至所有对象处理完毕；
其中，视觉机构通过神经网络模型实现对目标农作物在三维空间的位置数据，神经网络模型的建立包括如下步骤：
获取目标农作物的GRB彩色图像和3D点云信息，将RGB彩色图像作为第一训练集，对第一训练集进行标注；
用YOLO v3对标注后的第一训练集进行训练，得到样本的成熟度和品质等级进行分类和识别的第一神经网络模型，并获取二维训练结果；
对RGB彩色图像进行分割处理，获取目标检测物所在区域，再用二值化算法进行灰度处理并裁剪，获取只包含目标检测物及周围区域的灰度图；
将灰度图中与3D点云信息一一对应，随机选择对应后的点云作为第二训练集；
用PointNet网络对二维训练结果和第二训练集进行训练，得到样本的番茄的大小、位姿、坐标、质量、品质等级和成熟度进行分类和识别的第二神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910888328.4A CN110692352B (zh) | 2019-09-19 | 2019-09-19 | 一种智能农业机器人及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910888328.4A CN110692352B (zh) | 2019-09-19 | 2019-09-19 | 一种智能农业机器人及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110692352A CN110692352A (zh) | 2020-01-17 |
| CN110692352B true CN110692352B (zh) | 2021-12-07 |
Family
ID=69194773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910888328.4A Active CN110692352B (zh) | 2019-09-19 | 2019-09-19 | 一种智能农业机器人及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110692352B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111642390A (zh) * | 2020-07-13 | 2020-09-11 | 山东农业大学 | 一种自走式樱桃授粉机及樱桃授粉方法 |
| CN111791238B (zh) * | 2020-07-29 | 2023-06-09 | 湘潭大学 | 一种精准喷药机器人控制系统及控制方法 |
| CN111990378A (zh) * | 2020-08-25 | 2020-11-27 | 淮阴工学院 | 一种用于喷雾机器人的喷雾控制方法 |
| CN112477533B (zh) * | 2020-12-08 | 2022-07-01 | 北京农业智能装备技术研究中心 | 设施农业路轨两用运输机器人 |
| CN112659826B (zh) * | 2020-12-08 | 2022-07-01 | 北京农业智能装备技术研究中心 | 设施农业路轨两用机器人专用底盘 |
| CN113100207B (zh) * | 2021-04-14 | 2022-11-22 | 郑州轻工业大学 | 基于小麦病害信息的精准配方施药机器人系统及施药方法 |
| CN113508685A (zh) * | 2021-04-19 | 2021-10-19 | 北京化工大学 | 一种万寿菊采摘移动机器人 |
| CN113330842A (zh) * | 2021-06-02 | 2021-09-03 | 云南大学 | 一种绳驱并联农业机器人系统及其控制方法 |
| CN113826602A (zh) * | 2021-10-18 | 2021-12-24 | 广东海洋大学 | 一种基于物联网的小型多功能农业机器人 |
| CN114018246B (zh) * | 2021-11-15 | 2024-02-06 | 北京克莱明科技有限公司 | 一种定位导航方法和定位导航装置 |
| CN114271118B (zh) * | 2021-12-27 | 2024-10-18 | 广州极飞科技股份有限公司 | 阵列式作物处理装置、作物处理设备和作物处理方法 |
| CN114754822B (zh) * | 2022-04-29 | 2023-03-24 | 南京农业大学 | 一种基于智慧农业的多重信息智能融合采集研判决策机器人及其使用方法 |
| CN115316262B (zh) * | 2022-07-20 | 2023-03-17 | 中国农业科学院都市农业研究所 | 一种育种机器人及方法 |
| CN115868470A (zh) * | 2022-12-15 | 2023-03-31 | 内蒙古民族大学 | 一种葵花打药机器人 |
| CN116652951B (zh) * | 2023-06-08 | 2024-04-05 | 广州鑫帅机电设备有限公司 | 一种非结构化大作业空间的机器人视觉定位方法及装置 |
| CN116540259B (zh) * | 2023-07-06 | 2023-10-20 | 北京市农林科学院信息技术研究中心 | 三维点云数据采集装置、作物表型获取方法及装置 |
| CN116868885A (zh) * | 2023-07-28 | 2023-10-13 | 山东省果树研究所 | 一种设施甜樱桃悬空授粉机器人及其控制方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202085493U (zh) * | 2011-05-24 | 2011-12-28 | 中国农业大学 | 番茄采摘机器人系统 |
| CN107139182A (zh) * | 2017-06-05 | 2017-09-08 | 重庆理工大学 | 一种柑橘采摘机器人系统及其控制方法 |
| CN207369618U (zh) * | 2017-10-26 | 2018-05-18 | 北京农业智能装备技术研究中心 | 一种温室果菜种植管理自主作业机器人系统 |
| CN109220226A (zh) * | 2018-10-31 | 2019-01-18 | 哈尔滨理工大学 | 果实自动识别分类及采摘的果园智能化系统 |
| CN109919930A (zh) * | 2019-03-07 | 2019-06-21 | 浙江大学 | 基于卷积神经网络yolo v3的树上果实数量的统计方法 |
| CN209314338U (zh) * | 2018-12-18 | 2019-08-30 | 北方民族大学 | 采摘黄花菜的机器人 |
| CN110223349A (zh) * | 2019-05-05 | 2019-09-10 | 华南农业大学 | 一种采摘点定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109168529A (zh) * | 2018-08-31 | 2019-01-11 | 靖西海越农业有限公司 | 一种沃柑种植的施肥、灌溉及采摘一体化系统 |
-
2019
- 2019-09-19 CN CN201910888328.4A patent/CN110692352B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202085493U (zh) * | 2011-05-24 | 2011-12-28 | 中国农业大学 | 番茄采摘机器人系统 |
| CN107139182A (zh) * | 2017-06-05 | 2017-09-08 | 重庆理工大学 | 一种柑橘采摘机器人系统及其控制方法 |
| CN207369618U (zh) * | 2017-10-26 | 2018-05-18 | 北京农业智能装备技术研究中心 | 一种温室果菜种植管理自主作业机器人系统 |
| CN109220226A (zh) * | 2018-10-31 | 2019-01-18 | 哈尔滨理工大学 | 果实自动识别分类及采摘的果园智能化系统 |
| CN209314338U (zh) * | 2018-12-18 | 2019-08-30 | 北方民族大学 | 采摘黄花菜的机器人 |
| CN109919930A (zh) * | 2019-03-07 | 2019-06-21 | 浙江大学 | 基于卷积神经网络yolo v3的树上果实数量的统计方法 |
| CN110223349A (zh) * | 2019-05-05 | 2019-09-10 | 华南农业大学 | 一种采摘点定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110692352A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110692352B (zh) | 一种智能农业机器人及其控制方法 | |
| R Shamshiri et al. | Research and development in agricultural robotics: A perspective of digital farming | |
| Van Henten et al. | Robotics in protected cultivation | |
| Bechar et al. | Agricultural robots for field operations. Part 2: Operations and systems | |
| Abbas et al. | Different sensor based intelligent spraying systems in Agriculture | |
| Bogue | Robots poised to revolutionise agriculture | |
| Oberti et al. | Selective spraying of grapevines for disease control using a modular agricultural robot | |
| Berk et al. | Development of alternative plant protection product application techniques in orchards, based on measurement sensing systems: A review | |
| US12004443B2 (en) | Payload selection to treat multiple plant objects having different attributes | |
| US11526997B2 (en) | Targeting agricultural objects to apply units of treatment autonomously | |
| Zhang et al. | The use of agricultural robots in orchard management | |
| Edan | Design of an autonomous agricultural robot | |
| US11625915B2 (en) | Micro-precision application of multiple treatments to agricultural objects | |
| US11465162B2 (en) | Obscurant emission to assist image formation to automate agricultural management and treatment | |
| CN109429598A (zh) | 农业种植辅助机器人及其自动作业方法 | |
| Vikram | Agricultural Robot–A pesticide spraying device | |
| US11449976B2 (en) | Pixel projectile delivery system to replicate an image on a surface using pixel projectiles | |
| US20210186006A1 (en) | Autonomous agricultural treatment delivery | |
| Khort et al. | Robotized platform for picking of strawberry berries | |
| CN113207675A (zh) | 一种气流振动式设施作物自动授粉装置及方法 | |
| Visentin et al. | A mixed-autonomous robotic platform for intra-row and inter-row weed removal for precision agriculture | |
| US11653590B2 (en) | Calibration of systems to deliver agricultural projectiles | |
| Meti et al. | IoT and Solar Energy Based Multipurpose Agricultural Robot for Smart Farming | |
| Berenstein | The use of agricultural robots in crop spraying/fertilizer applications | |
| Ashwini et al. | Transforming Agriculture with Smart Farming: A Comprehensive Review of Agriculture Robots for Research Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |