CN109511361A - 一种农田专用除草机器人及其控制方法 - Google Patents
一种农田专用除草机器人及其控制方法 Download PDFInfo
- Publication number
- CN109511361A CN109511361A CN201910015387.0A CN201910015387A CN109511361A CN 109511361 A CN109511361 A CN 109511361A CN 201910015387 A CN201910015387 A CN 201910015387A CN 109511361 A CN109511361 A CN 109511361A
- Authority
- CN
- China
- Prior art keywords
- main body
- moving trolley
- weeding
- trolley main
- arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000009333 weeding Methods 0.000 claims abstract description 103
- 230000007246 mechanism Effects 0.000 claims abstract description 81
- 241000196324 Embryophyta Species 0.000 claims description 46
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 9
- 239000007787 solid Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 239000000956 alloy Substances 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 229910052751 metal Inorganic materials 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013136 deep learning model Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000003337 fertilizer Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000002917 insecticide Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 241000124033 Salix Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D43/00—Mowers combined with apparatus performing additional operations while mowing
- A01D43/06—Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D43/00—Mowers combined with apparatus performing additional operations while mowing
- A01D43/14—Mowers combined with apparatus performing additional operations while mowing with dispensing apparatus, e.g. for fertilisers, herbicides or preservatives
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Soil Working Implements (AREA)
Abstract
本发明公开了一种农田专用除草机器人,属于农业机械技术领域,包括移动小车主体、行驶轮、除草机构和机械抓手,所述移动小车主体上安装有若干个行驶轮,行驶轮由安装在移动小车主体中的行驶轮驱动装置驱动运行,移动小车主体上安装有可调节除草机械臂机构,可调节除草机械臂机构上安装有除草机构和机械抓手,所述移动小车主体内置有用于控制可调节除草机械臂机构、行驶轮驱动装置、除草机构和机械抓手的工控机以及动力模块,与现有技术相比,本发明的有益效果是:利用现代信息技术与农业深度的跨界融合,通过引入深度学习模型使传统意义上的智能除草机器人过度到智慧化的农业除草机器人,提高了除草机器人的工作效率与工作质量。
Description
技术领域
本发明涉及一种农业机械,具体是一种农田专用除草机器人及其控制方法。
背景技术
众所周知,杂草一直是危害农田作物茁壮成长的一大田间杀手,杂草丛生不仅和农田作物竞争土壤养分,而且还夺取有限的生长空间和太阳光照,同时还容易诱发田间灾害,严重影响农田作物的生长,导致农田作物的减产。
我国农业的田间除草主要以传统的方式进行,例如人工喷洒农药、人工机械除草等,大量的喷洒农药不仅污染环境而且不利于农田作物的生长,同时也会存在药物残留问题,而人工机械除草的方式效率低下,劳动成本过高,不适合大田作业。
随着我国农业现代化进程的不断加快,全民环保意识的不断增强,传统的田间除草方式不再适用,同时现有的智能除草机器人智能化程度有待提高,为响应国家的号召,因此急需一种农田专用除草机器人及其控制方法来解决上述问题。
发明内容
本发明的目的在于提供一种农田专用除草机器人及其控制方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种农田专用除草机器人,包括移动小车主体、行驶轮、除草机构和机械抓手,所述移动小车主体上安装有若干个行驶轮,行驶轮由安装在移动小车主体中的行驶轮驱动装置驱动运行,移动小车主体上安装有可调节除草机械臂机构,可调节除草机械臂机构上安装有除草机构和机械抓手,所述移动小车主体内置有用于控制可调节除草机械臂机构、行驶轮驱动装置、除草机构和机械抓手的工控机以及动力模块;
所述移动小车主体和可调节除草机械臂机构上分别安装有深度相机一和深度相机二,深度相机一通过相机支架安装在移动小车主体上,深度相机一和深度相机二均与工控机电气连接。
作为本发明再进一步的方案:所述深度相机一为基于TOF原理的微软Kinect V2,深度相机二为基于三角测量法的英特尔Realsense D435。
作为本发明再进一步的方案:所述动力模块为可充电电源,可充电电源为48V的可充电锂电池或者铅蓄电池,可充电电源可拆卸的安装在所述移动小车主体后方中间位置的凹槽内,凹槽处安装有电源罩,将可充电电源封装在内,移动小车主体上设有充电接口。
作为本发明再进一步的方案:所述移动小车主体采用钣金材料制成,移动小车主体上设有启动按钮、急停按钮。
作为本发明再进一步的方案:所述行驶轮与移动小车主体可拆卸连接,所述行驶轮为直径250mm的越野实心橡胶轮胎。
作为本发明再进一步的方案:所述可调节除草机械臂机构通过底座固定座固定在滑动挡板上,滑动挡板插接安装在固定于移动小车主体表面的U型固定板上,U型固定板的两侧壁上均开设有用于与滑动挡板相互配合的槽口。
作为本发明再进一步的方案:还包括安装在移动小车主体前后侧的移动小车保险杠,移动小车保险杠采用合金材料制成。
作为本发明再进一步的方案:所述的可调节除草机械臂机构包括底座、第一横臂、第一竖臂、第二横臂、第二竖臂和横轴,所述底座安装在底座固定座上,底座固定座内置用于驱动底座相对于底座固定座转动的伺服电机,第一横臂与底座转动连接,第一横臂由伺服电机驱动可相对于底座转动,第一横臂的自由端位置与第一竖臂固定连接,所述第二横臂的一端与第二竖臂转动连接,且第二横臂由其内置的伺服电机驱动可相对于第二竖臂转动,第二横臂的另一端与第一竖臂固定连接,第二竖臂的自由端位置固定连接横轴,横轴的两端位置分别安装有除草机构和机械抓手,且除草机构和机械抓手由横轴内置的伺服电机驱动,使得除草机构和机械抓手可相对于横轴转动。
作为本发明再进一步的方案:所述整除草机构包括高速旋转电机和安装在高速旋转电机输出轴上的除草刀具;所述机械抓手包括机械手臂和安装在机械手臂上的液压手爪,液压手爪为电动液压抓手。
一种农田专用除草机器人的控制方法,其包括以下步骤:
S1、利用深度学习中的深度卷积神经网络,根据区域提议算法共享卷积特征,通过采集的数据集训练杂草和农作物分类与识别深度模型,以实现接近实时的帧率目标检测;
S2、将训练得到的杂草和农作物分类与识别深度模型部署到工控机的操作系统中;
S3、对深度相机一、深度相机二和可调节除草机械臂机构进行室外环境标定,实现室外空间三维立体建模;
S4、通过相机支架上的深度相机一获取移动小车主体前方区域的杂草密度,并且确定其对应的三维空间坐标信息,实现粗略定位;
S5、通过横轴上的深度相机二进一步的辅助定位,最终确定杂草的精确位置和姿态,实现精准定位;
S6、通过将杂草的三维空间坐标信息转换成除草机器人的坐标信息,进而指导可调节除草机械臂机构完成精准的运动路径规划和除草操作。
与现有技术相比,本发明的有益效果是:(1)支持可调节除草机械臂机构位置的调节和移动小车主体行驶轮的更换,使可调节除草机械臂机构和移动小车主体能适用于不同的杂草环境与田间场地,从机械原理的设计角度,采用更近实际的设计理念;
(2)本发明可调节除草机械臂机构上的除草设备和机械抓手独立交互运行,区别于现有的机械臂除草设备,除草设备用来高效除草,机械抓手可以将所除杂草回收或者精准施肥,实现了机械臂末端的多功能交互操作;
(3)本发明中深度相机的使用,通过两种深度相机相互配合精准识别杂草的位置以及杂草的形态,一方面提高了杂草的识别和定位精度,另一方面也有利于除草机械臂装置的运动路径规划和除草操作,提高了农田除草的效率和精度;
(4)本发明利用现代信息技术与农业深度的跨界融合,通过引入深度学习模型使传统意义上的智能除草机器人过度到智慧化的农业除草机器人,提高了除草机器人的工作效率与工作质量,大大的推动了智慧除草机器人的发展。
附图说明
图1为本发明一种农田专用除草机器人的前方整体结构示意图。
图2为本发明一种农田专用除草机器人的后方整体结构示意图。
图3为本发明一种农田专用除草机器人的除草方式示意图。
图4为本发明一种农田专用除草机器人的回收杂草示意图。
图5为本发明一种农田专用除草机器人的正常行驶状态示意图。
图6为本发明一种农田专用除草机器人中U型固定板的结构示意图。
图7为本发明一种农田专用除草机器人中相机支架的结构示意图。
图8为本发明一种农田专用除草机器人中除草设备的结构示意图。
图9为本发明一种农田专用除草机器人中机械抓手的结构示意图。
图10为本发明一种农田专用除草机器人的控制方法的系统整体原理图。
图11为本发明一种农田专用除草机器人的控制方法的示意图。
图12为本发明一种农田专用除草机器人的工作原理图。
图中:1、移动小车主体;2、行驶轮;3、行驶轮驱动装置;4、移动小车保险杠;5相机支架;6、深度相机一;7、U型固定板;8、滑动挡板;9、底座;10、第一横臂;11、第一竖臂;12、第二横臂;13、第二竖臂;14、横轴;15、除草机构;16、机械抓手;17、深度相机二;18、电源罩;19、充电接口;20、启动按钮;21、急停按钮;22、底座固定座。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本实施例公开的一些方面相一致的装置和方法的例子。
实施例1
请参阅图1~7,本发明实施例中,一种农田专用除草机器人,包括移动小车主体1、行驶轮2、除草机构15和机械抓手16,所述移动小车主体1上安装有若干个行驶轮2,行驶轮2由安装在移动小车主体1中的行驶轮驱动装置3驱动运行,行驶轮驱动装置3由直流电机和直流电机座构成,所述直流电机安装在直流电机座上且输出轴与所述行驶轮2传动连接,移动小车主体1上安装有可调节除草机械臂机构,可调节除草机械臂机构上安装有除草机构15和机械抓手16,在本实施例中,可调节除草机械臂机构一方面是用于作为除草机构15和机械抓手16的安装载体,另一方面除草机构15和机械抓手16亦可以由可调节除草机械臂机构带动实现方位的变化,使得除草机构15和机械抓手16按照设定好的运动路径和除草轨迹运动,所述移动小车主体1内置有用于控制可调节除草机械臂机构、行驶轮驱动装置3、除草机构15和机械抓手16的工控机以及动力模块,在本实施例中,工控机实际上是工业控制计算机,具有计算机的属性和特征,动力模块为可充电电源,可充电电源优选48V的可充电锂电池或者铅蓄电池,并且可拆卸的安装在所述移动小车主体1后方中间位置的凹槽内,用于整个除草机器人的供电,当然,凹槽处安装有电源罩18,将可充电电源封装在内;同时可充电电源可以通过预留的充电接口19进行充电,也可以通过将可充电电源取出,换上另一块可充电电源,然后通过外置的充电装置对需要充电的可充电电源进行充电,当然,本实施例也可以采用其他类型的动力。
在本实施例中,所述移动小车主体1和可调节除草机械臂机构上分别安装有深度相机一6和深度相机二17,其中,深度相机一6通过相机支架5安装在移动小车主体1上,优选的,相机支架5(铝合金材质)长为500mm,宽为20mm,高为800mm,距离相机支架5两侧各125mm处有两个长度为100mm的夹持架,用于安装深度相机一6,深度相机二17的安装方式可以与深度相机一6相同,亦可以直接安装在可调节除草机械臂机构前端,并通过可调节除草机械臂机构内置排线进行走线,深度相机一6和深度相机二17均与工控机电气连接。在本实施例中,深度相机一6优选基于TOF原理的微软Kinect V2,深度相机二17优选采用基于三角测量法的英特尔Realsense D435,深度相机一6用于获取移动小车主体1前方区域的杂草密度,并且确定其对应的三维空间坐标信息,实现粗略定位,深度相机二17用于实现进一步的辅助定位,最终确定杂草的精确位置和姿态,实现精准定位,从而为除草机构15和机械抓手16的运动路径规划和除草操作进行先一步的铺垫。
实施例2
请参阅图1~5,本发明实施例中,一种农田专用除草机器人,在上述实施例的基础上:所述的移动小车主体1采用钣金材料制成,移动小车主体1的长宽高分别为:1000mm、600mm和300mm,移动小车主体1在对应前后行驶轮2之间的位置处中空,用于固定工控机,移动小车主体1后方中间位置开凹槽,用于安装所述可充电电源,移动小车主体1的前后方分别对称平滑切割去边角,而且,移动小车主体1上还设有启动按钮20、急停按钮21,具体的,充电接口19、启动按钮20和急停按钮21设置在移动小车主体1后方的斜切面上。
同时,为了适应不同的地形,所述行驶轮2与移动小车主体1可拆卸连接,行驶轮2可以为多种不同类型的轮胎,在本实施例中,所述行驶轮2为直径250mm的越野实心橡胶轮胎。
实施例3
请参阅图1~6,本发明实施例中,一种农田专用除草机器人,在上述实施例的基础上:所述可调节除草机械臂机构通过底座固定座22固定在滑动挡板8上,滑动挡板8插接安装在固定于移动小车主体1表面的U型固定板7上,U型固定板7的两侧壁上均开设有用于与滑动挡板8相互配合的槽口,此处,滑动挡板8(优选为钢制)的长宽厚分别为600mm、150mm和20mm,槽口的长度和孔径分别为300mm和20mm,必要的,滑动挡板8和U型固定板7上均开设有通孔,来作为可调节除草机械臂机构、除草机构15、机械抓手16以及深度相机二17的走线孔,方便排线进入至移动小车主体1内部,而且,为了便于滑动挡板8的位置固定,可以通过螺母来实现锁紧,防止在运行时滑动挡板8等出现晃动的现象。
实施例4
请参阅图1~2,本发明实施例中,一种农田专用除草机器人,还包括安装在移动小车主体1前后侧的移动小车保险杠4,移动小车保险杠4的数量为两个,对称安装在所述移动小车主体1前后方,距离移动小车主体1底面100mm,其长为600mm,宽为50mm,厚度为15mm,两端呈45度角伸展30mm,中间三等分点处向外延伸50mm,厚度也为15mm,所选材料为合金。
实施例5
请参阅图1~9,本发明实施例中,一种农田专用除草机器人,在上述实施例的基础上:所述的可调节除草机械臂机构包括底座9、第一横臂10、第一竖臂11、第二横臂12、第二竖臂13和横轴14,所述底座9安装在底座固定座22上,底座固定座22内置用于驱动底座9相对于底座固定座22转动的伺服电机,在本实施例中,底座9需要实现以移动小车主体1前进方向为基准线,实现左右各120度的旋转,第一横臂10与底座9转动连接,第一横臂10由伺服电机驱动可相对于底座9转动,第一横臂10的自由端位置与第一竖臂11固定连接,所述第二横臂12的一端与第二竖臂13转动连接,且第二横臂12由其内置的伺服电机驱动可相对于第二竖臂13转动,第二横臂12的另一端与第一竖臂11固定连接,第二竖臂13的自由端位置固定连接横轴14,横轴14的两端位置分别安装有除草机构15和机械抓手16,且除草机构15和机械抓手16由横轴14内置的伺服电机驱动,使得除草机构15和机械抓手16可相对于横轴14转动,此处,底座9与第一横臂10的轴线垂直,同样的,第一横臂10与第一竖臂11、第一竖臂11与第二横臂12、第二横臂12与第二竖臂13、第二竖臂13和横轴14的轴线均保持垂直,实际上,可调节除草机械臂机构是一个机械手,能实现多自由度的转动,以便能调整除草机构15和机械抓手16的运动路径和姿态。
具体的:所述整除草机构15包括高速旋转电机和安装在高速旋转电机输出轴上的除草刀具,高速旋转电机空载转速13500转/分钟,除草刀具的切割直径为200mm,除草刀具采用精工设计,类似柳叶对称设计,同时考虑切割刃平滑去倒角,确保其锋利,其支持刀片的更换,连接轴长50mm。
所述机械抓手16包括机械手臂和安装在机械手臂上的液压手爪,液压手爪主要是用来实现杂草的抓取与释放,实际上,液压手爪是一种电动液压抓手,本发明对液压手爪的个数不做限制,为清楚表明结构本发明优选3个液压手爪。
结合实施例1~5,易知本技术方案的工作原理:移动小车主体1通过四个行驶轮2以及对应的行驶轮驱动装置形成移动小车主体1的行进结构;移动小车主体1的前后面对称安装移动小车保险杠5构成智能小车的防碰撞结构;移动小车主体1后方中间位置开凹槽用于放置可充电电源,与对应的可拆卸电源罩18配合构成可拆电源结构;移动小车主体1的上表面靠近车头的位置安装可调节除草机械臂机构,可调节除草机械臂机构通过滑动挡板与带槽口的U型固定板7相配合构成载体;移动小车主体的上表面靠近车尾的位置安装有相机支架,相机支架上安装有事先调节好角度的深度相机一6,深度相机一6与深度相机二17配合形成移动小车主体1的远视深度场景结构。
进一步需要说明,工控机电气连接有两个主控板(STM32F103RCT6),一个主控板与移动小车主体1行驶轮驱动装置中的直流电机电气连接,而且四个直流电机两两对应安装在移动小车主体1两侧,本发明采用现有的两侧行驶轮正转与反转方式行驶,进而实现原位转向,具体过程不予赘述,另一个主控板与可调节除草机械臂机构中的各个伺服电机电气连接,控制各个伺服电机的转动圈数进而实现除草机构15和机械抓手16的姿态调节,具体过程也不予赘述;可充电电源通过与工控机电气连接进而给整个移动小车主体1供电;相机支架5上的深度相机一6(微软的Kinect V2)通过排线与工控机电气连接,另一个深度相机二17(英特尔的Realsense D435)通过可调节除草机械臂机构内置排线与工控机电气连接,从而实现系统整体硬件电路原理结构。
实施例6
请参阅图10~11,本发明实施例中,还公开了一种农田专用除草机器人的控制方法,具体的,其包括以下步骤:
S1、利用深度学习中的深度卷积神经网络,根据区域提议算法共享卷积特征,通过采集的数据集训练杂草和农作物分类与识别深度模型,以实现接近实时的帧率目标检测;具体为:采集杂草与农作物的高清图片各3000~5000张作为分类与识别深度模型的数据集,并对数据集进行人工标注形成标签样本集用于模型训练,其中训练集和验证集的比例为8:2,根据区域提议算法,基于VGGNet模型,训练得到具有高识别率的杂草和农作物分类与识别深度模型;
S2、将训练得到的杂草和农作物分类与识别深度模型部署到工控机的操作系统中,具体为:工控机优选基于Linux的操作系统,硬件设备满足运行深度学习模型的配置,同时在操作系统中安装支持机器视觉相关交互平台,然后将杂草和农作物分类与识别深度模型封装到交互平台;
S3、对深度相机一、深度相机二和可调节除草机械臂机构进行室外环境标定,实现室外空间三维立体建模;具体为:深度相机在室外环境按照“级线矫正”到“立体匹配”再到“三角化”的步骤建立三维模型,实现世界坐标系到相机坐标系的转化,可调节除草机械臂机构在深度相机一和深度相机二完成室外环境标定的前提下进行初始化,实际是对可调节除草机械臂机构的初始位置以及末端的除草机构和机械抓手的位置坐标标定;
S4、通过相机支架上的深度相机一获取移动小车主体前方区域的杂草密度,并且确定其对应的三维空间坐标信息,实现粗略定位;具体为:在深度相机一、深度相机二室外环境完成标定的前提下,利用图像处理和计算机视觉算法将杂草目标三维表示,实现相机坐标系转化为图像坐标系,粗略的确定杂草目标的位置坐标;
S5、通过横轴上的深度相机二进一步的辅助定位,最终确定杂草的精确位置和姿态,实现精准定位;具体为:在粗略的确定杂草目标的位置坐标前提下,利用点云配准方法进一步的确定杂草目标的位置坐标,同时识别具体的姿态,精准定位实质是通过两次深度相机的使用,根据不同深度相机的优势,提高目标定位的精度,;
S6、通过将杂草的三维空间坐标信息转换成除草机器人的坐标信息,进而指导可调节除草机械臂机构完成精准的运动路径规划和除草操作,具体为:在完成S1到S5的步骤后,得知杂草目标的精确位置坐标以及实际姿态,工控机进行实时的路径规划,控制可调节除草机械臂机构中的除草机构进行除草操作。
在本实施例中:计算机视觉算法、点云配准方法均存在现有技术支撑,本技术方案也未对其进行算法的改进,因此,对具体的计算机视觉算法、点云配准方法的过程就未进行详细解释,但不影响本技术方案的完整性。
计算机视觉算法很宽泛,有很多内容,比如目标跟踪、目标定位、目标边界识别等,计算机视觉研究的主要目的是让计算机能够利用图象和图象序列来识别和认知三维世界,其最终目标是让计算机具有“视觉”功能,以满足社会对计算机高级应用的需求。
点云配准方法在点云数据只有三维坐标时进行配准,这个时候,可提取到的就只有点云的几何特征,常用的特征包括:点云的曲率、点云中平面四边形的仿射不变性等特征。事实上不管是什么配准方法,都是基于特征匹配的原理。无论是从图像当中获取额外的辅助的信息,或者只是从三维点云当中提取的几何特征,都是为了更好得抽象出点云的特征以及两个点云之间的对应点。毫无疑问,如果能够通过遍历点云的各个点基所对应的变换,肯定能够找到最佳的变换,但是这个计算量是一个天文数字,在实际应用当中是不太可能的。
现在比较成熟的点云配准基本分为两部分,首先进行粗配准,粗配准的算法多样,粗配准的主要作用是为后续的精准配准ICP算法提供较好的迭代初始位置。经过粗配准之后,这两个点云的重合程度已经很高了,若要进一步提高,就需要后续的精准配准,现在一般都是采用ICP(迭代最近点)算法或者其变种来进行的,通过多次迭代,可以进一步提高配准的精度,但是若是没有粗配准提供较好的迭代初始位置,ICP算法往往会陷入局部区域的最优解,而得不到全局的最优解。
本申请在进行粗定位后再次进行点云配准,实现精确的定位,而点云配准方法主要应用在三维空间坐标,与本技术方案前步契合度高,因此使用点云配准方法较为合适。
实施例7
请参阅图12,当除草机器人正常工作时,深度相机一利用自带的视觉系统(其实是深度相机的深度镜头)经过Intel D4视觉处理器的处理将实时获取的杂草和农作物深度图像信息通过对应的USB 3.0接口传输至工控机,然后搭载有 Radeon RX Vega M GH 独立显卡的Intel core i7-8809G 处理器的工控机根据图像处理和计算机视觉算法利用获取的杂草和农作物深度图像信息将杂草目标三维表示,粗略的确定杂草目标的位置坐标;于此同时工控机一方面通过对应的串口USART1经过串口通信电路(串口RS232转USART串口,利用MAX3232芯片将RS232电平转换成TTL电平)下发控运动制指令给对应的STM32F103RCT6主控板,对应的STM32F103RCT6主控板接收到运动控制指令后通过对应的I/O口驱动电路发送给直流电机驱动电路驱动直流电机控制电路工作,进而控制移动小车主体行驶,从而调整移动小车主体与杂草和农作物的相对距离;另一方面通过对应的串口USART2经过串口通信电路(串口RS232转USART串口,利用MAX3232芯片将RS232电平转换成TTL电平)下发机械臂控制指令给对应的STM32F103RCT6主控板,对应的STM32F103RCT6主控板接收到机械臂控制指令后通过对应的I/O口驱动电路发送给伺服电机驱动电路驱动伺服电机控制电路工作,进而控制除草机械臂的粗略运动规划。此时除草机械臂横轴上的深度相机二进一步的靠近杂草目标,利用自带的视觉系统经过PS1080系统级芯片的处理将实时获取的杂草和农作物深度图像信息通过其对应的USB 3.0接口传输至工控机,然后搭载有 Radeon RX Vega M GH独立显卡的Intel core i7-8809G 处理器的工控机根据图像处理和计算机视觉算法利用获取的杂草和农作物深度图像信息将杂草目标三维表示,在粗略的确定杂草目标的位置坐标前提下,利用点云配准方法进一步的确定杂草目标的位置坐标,同时识别具体的姿态;然后工控机一方面通过对应的串口USART2经过串口通信电路(串口RS232转USART串口,利用MAX3232芯片将RS232电平转换成TTL电平)下发机械臂精准控制指令给对应的STM32F103RCT6主控板,对应的STM32F103RCT6主控板接收到机械臂精准控制指令后通过对应的I/O口驱动电路发送给伺服电机驱动电路驱动伺服电机控制电路工作,进而控制除草机械臂的精准运动规划靠近杂草目标;另一方面在得知杂草目标的精确位置坐标以及实际姿态,STM32F103RCT6主控板通过其I/O口驱动电路发送高速旋转电机启动指令至高速旋转电机驱动电路,高速旋转电机驱动电路则会驱动高速旋转电机控制电路工作,进而控制可调节除草机械臂机构中的除草机构进行精准除草操作。同理,如果将杂草回收或者精准施肥,只需要将除草机构收回即可,然后液压手爪按照同样的工作原理与步骤即可。另外,48V可充电电源带路通过开关稳压电路给整个工控机供电,进而给整个除草机器人供电。
需要特别说明的是:本发明一种农田专用除草机器人及其控制方法,作为信息技术与农业领域深度融合的必然产物,对于推动我国智慧农业的实际应用具有重大的现实意义,利用深度学习算法为基础的计算机视觉技术来处理实时视频数据,改变了传统方式的机械化除草,无论是从智能化的机械设计角度,还是从智能化的除草方式角度,本发明都做了重大的改进,提高了智能除草机器人设备的智能化程度。
本领域技术人员在考虑说明书及实施例处的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种农田专用除草机器人,包括移动小车主体(1)、行驶轮(2)、除草机构(15)和机械抓手(16),所述移动小车主体(1)上安装有若干个行驶轮(2),行驶轮(2)由安装在移动小车主体(1)中的行驶轮驱动装置(3)驱动运行,移动小车主体(1)上安装有可调节除草机械臂机构,可调节除草机械臂机构上安装有除草机构(15)和机械抓手(16),所述移动小车主体(1)内置有用于控制可调节除草机械臂机构、行驶轮驱动装置(3)、除草机构(15)和机械抓手(16)的工控机以及动力模块,其特征在于:
所述移动小车主体(1)和可调节除草机械臂机构上分别安装有深度相机一(6)和深度相机二(17),深度相机一(6)通过相机支架(5)安装在移动小车主体(1)上,深度相机一(6)和深度相机二(17)均与工控机电气连接。
2.根据权利要求1所述的一种农田专用除草机器人,其特征在于,所述深度相机一(6)为基于TOF原理的微软Kinect V2,深度相机二(17)为基于三角测量法的英特尔RealsenseD435。
3.根据权利要求1所述的一种农田专用除草机器人,其特征在于,所述动力模块为可充电电源,可充电电源为48V的可充电锂电池或者铅蓄电池,可充电电源可拆卸的安装在所述移动小车主体(1)后方中间位置的凹槽内,凹槽处安装有电源罩(18),将可充电电源封装在内,移动小车主体上设有充电接口(19)。
4.根据权利要求1所述的一种农田专用除草机器人,其特征在于,所述移动小车主体(1)采用钣金材料制成,移动小车主体(1)上设有启动按钮(20)、急停按钮(21)。
5.根据权利要求1所述的一种农田专用除草机器人,其特征在于,所述行驶轮(2)与移动小车主体(1)可拆卸连接,所述行驶轮(2)为直径250mm的越野实心橡胶轮胎。
6.根据权利要求1所述的一种农田专用除草机器人,其特征在于,所述可调节除草机械臂机构通过底座固定座(22)固定在滑动挡板(8)上,滑动挡板(8)插接安装在固定于移动小车主体(1)表面的U型固定板(7)上,U型固定板(7)的两侧壁上均开设有用于与滑动挡板(8)相互配合的槽口。
7.根据权利要求1-6任一所述的一种农田专用除草机器人,其特征在于,还包括安装在移动小车主体(1)前后侧的移动小车保险杠(4),移动小车保险杠(4)采用合金材料制成。
8.根据权利要求6所述的一种农田专用除草机器人,其特征在于,所述的可调节除草机械臂机构包括底座(9)、第一横臂(10)、第一竖臂(11)、第二横臂(12)、第二竖臂(13)和横轴(14),所述底座(9)安装在底座固定座(22)上,底座固定座(22)内置用于驱动底座(9)相对于底座固定座(22)转动的伺服电机,第一横臂(10)与底座(9)转动连接,第一横臂(10)由伺服电机驱动可相对于底座(9)转动,第一横臂(10)的自由端位置与第一竖臂(11)固定连接,所述第二横臂(12)的一端与第二竖臂(13)转动连接,且第二横臂(12)由其内置的伺服电机驱动可相对于第二竖臂(13)转动,第二横臂(12)的另一端与第一竖臂(11)固定连接,第二竖臂(13)的自由端位置固定连接横轴(14),横轴(14)的两端位置分别安装有除草机构(15)和机械抓手(16),且除草机构(15)和机械抓手(16)由横轴(14)内置的伺服电机驱动,使得除草机构(15)和机械抓手(16)可相对于横轴(14)转动。
9.根据权利要求8所述的一种农田专用除草机器人,其特征在于,所述整除草机构(15)包括高速旋转电机和安装在高速旋转电机输出轴上的除草刀具;所述机械抓手(16)包括机械手臂和安装在机械手臂上的液压手爪,液压手爪为电动液压抓手。
10.一种农田专用除草机器人的控制方法,其特征在于,其包括以下步骤:
S1、利用深度学习中的深度卷积神经网络,根据区域提议算法共享卷积特征,通过采集的数据集训练杂草和农作物分类与识别深度模型,以实现接近实时的帧率目标检测;
S2、将训练得到的杂草和农作物分类与识别深度模型部署到工控机的操作系统中;
S3、对深度相机一、深度相机二和可调节除草机械臂机构进行室外环境标定,实现室外空间三维立体建模;
S4、通过相机支架上的深度相机一获取移动小车主体前方区域的杂草密度,并且确定其对应的三维空间坐标信息,实现粗略定位;
S5、通过横轴上的深度相机二进一步的辅助定位,最终确定杂草的精确位置和姿态,实现精准定位;
S6、通过将杂草的三维空间坐标信息转换成除草机器人的坐标信息,进而指导可调节除草机械臂机构完成精准的运动路径规划和除草操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910015387.0A CN109511361A (zh) | 2019-01-08 | 2019-01-08 | 一种农田专用除草机器人及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910015387.0A CN109511361A (zh) | 2019-01-08 | 2019-01-08 | 一种农田专用除草机器人及其控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109511361A true CN109511361A (zh) | 2019-03-26 |
Family
ID=65799109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910015387.0A Pending CN109511361A (zh) | 2019-01-08 | 2019-01-08 | 一种农田专用除草机器人及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109511361A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110134129A (zh) * | 2019-05-24 | 2019-08-16 | 华南理工大学 | 基于深度学习和adrc控制的水田除草机自动避苗系统 |
CN110421580A (zh) * | 2019-09-02 | 2019-11-08 | 安徽农业大学 | 一种田间智能机器人及其工作方法 |
CN110930456A (zh) * | 2019-12-11 | 2020-03-27 | 北京工业大学 | 基于pcl点云库的钣金零件的三维立体识别及定位方法 |
CN111028233A (zh) * | 2020-01-08 | 2020-04-17 | 山西农业大学 | 一种基于机器视觉的玉米苗期机械除草识别方法及装置 |
CN111887004A (zh) * | 2020-08-17 | 2020-11-06 | 重庆大学 | 一种杆状作物收割机器人控制方法 |
CN112445205A (zh) * | 2019-08-15 | 2021-03-05 | 广州极飞科技有限公司 | 地面植保设备的控制方法、装置、设备和存储介质 |
CN113276079A (zh) * | 2021-05-20 | 2021-08-20 | 广东省大湾区集成电路与系统应用研究院 | 移动机器人 |
CN114009418A (zh) * | 2021-12-08 | 2022-02-08 | 昆明理工大学 | 一种履带式多功能除草机器人 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205357123U (zh) * | 2016-03-03 | 2016-07-06 | 国网安徽省电力公司检修公司 | 远程遥控剪切式除草机器人 |
CN205518453U (zh) * | 2016-01-25 | 2016-08-31 | 深圳世宗瑞迪自动化设备有限公司 | 点胶定位装置 |
CN107135685A (zh) * | 2017-06-01 | 2017-09-08 | 梁柏初 | 一种低成本除草机器人 |
CN207197440U (zh) * | 2017-08-04 | 2018-04-06 | 上海波创电气有限公司 | 一种高精度定位大面积产品的视觉定位系统 |
US20180288939A1 (en) * | 2015-12-28 | 2018-10-11 | Underground Agriculture, LLC | Agricultural mowing device |
CN108694729A (zh) * | 2017-04-07 | 2018-10-23 | 深圳市腾盛工业设备有限公司 | 基于图像检测的定位方法、设备、装置以及存储介质 |
CN209330618U (zh) * | 2019-01-08 | 2019-09-03 | 安徽农业大学 | 一种农田专用除草机器人 |
-
2019
- 2019-01-08 CN CN201910015387.0A patent/CN109511361A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180288939A1 (en) * | 2015-12-28 | 2018-10-11 | Underground Agriculture, LLC | Agricultural mowing device |
CN205518453U (zh) * | 2016-01-25 | 2016-08-31 | 深圳世宗瑞迪自动化设备有限公司 | 点胶定位装置 |
CN205357123U (zh) * | 2016-03-03 | 2016-07-06 | 国网安徽省电力公司检修公司 | 远程遥控剪切式除草机器人 |
CN108694729A (zh) * | 2017-04-07 | 2018-10-23 | 深圳市腾盛工业设备有限公司 | 基于图像检测的定位方法、设备、装置以及存储介质 |
CN107135685A (zh) * | 2017-06-01 | 2017-09-08 | 梁柏初 | 一种低成本除草机器人 |
CN207197440U (zh) * | 2017-08-04 | 2018-04-06 | 上海波创电气有限公司 | 一种高精度定位大面积产品的视觉定位系统 |
CN209330618U (zh) * | 2019-01-08 | 2019-09-03 | 安徽农业大学 | 一种农田专用除草机器人 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110134129A (zh) * | 2019-05-24 | 2019-08-16 | 华南理工大学 | 基于深度学习和adrc控制的水田除草机自动避苗系统 |
CN110134129B (zh) * | 2019-05-24 | 2020-02-14 | 华南理工大学 | 基于深度学习和adrc控制的水田除草机自动避苗系统 |
CN112445205A (zh) * | 2019-08-15 | 2021-03-05 | 广州极飞科技有限公司 | 地面植保设备的控制方法、装置、设备和存储介质 |
CN110421580A (zh) * | 2019-09-02 | 2019-11-08 | 安徽农业大学 | 一种田间智能机器人及其工作方法 |
CN110421580B (zh) * | 2019-09-02 | 2023-08-18 | 安徽农业大学 | 一种田间智能机器人及其工作方法 |
CN110930456A (zh) * | 2019-12-11 | 2020-03-27 | 北京工业大学 | 基于pcl点云库的钣金零件的三维立体识别及定位方法 |
CN111028233A (zh) * | 2020-01-08 | 2020-04-17 | 山西农业大学 | 一种基于机器视觉的玉米苗期机械除草识别方法及装置 |
CN111887004A (zh) * | 2020-08-17 | 2020-11-06 | 重庆大学 | 一种杆状作物收割机器人控制方法 |
CN113276079A (zh) * | 2021-05-20 | 2021-08-20 | 广东省大湾区集成电路与系统应用研究院 | 移动机器人 |
CN114009418A (zh) * | 2021-12-08 | 2022-02-08 | 昆明理工大学 | 一种履带式多功能除草机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109511361A (zh) | 一种农田专用除草机器人及其控制方法 | |
CN109511356B (zh) | 一种基于深度视觉的智能除草机器人系统及控制方法 | |
CN209643363U (zh) | 一种基于深度视觉的智能除草机器人、系统 | |
CN109262623B (zh) | 一种牵引导航自主移动机器人 | |
CN109392462A (zh) | 采摘黄花菜的机器人及方法 | |
CN209330618U (zh) | 一种农田专用除草机器人 | |
CN109964596B (zh) | 一种基于智能机器人的水稻直播装置与方法 | |
CN108177149A (zh) | 基于mr和运动规划技术的可移动机械臂控制系统及方法 | |
CN106864751A (zh) | 基于图像处理的无人机飞行降落系统及方法 | |
CN111758424B (zh) | 一种田间棉花自动打顶装置 | |
CN109343537A (zh) | 全自主驾驶竞速小车及运行方法 | |
CN109484214A (zh) | 一种新能源车充电机器人 | |
CN107135685A (zh) | 一种低成本除草机器人 | |
CN209776188U (zh) | 一种基于3d视觉技术的汽车无人充电系统 | |
CN211745437U (zh) | 一种高架果蔬智能采摘机器人 | |
CN109482503A (zh) | 基于视觉的移动分拣机器人及其分拣方法 | |
CN114679963B (zh) | 一种跨垄双臂协作草莓收获机器人、控制系统及采摘方法 | |
DE112016007044T5 (de) | Aufbewahrung und laden einer transportvorrichtung | |
CN109572857A (zh) | 一种麦克纳姆轮智能仓储agv及其路径规划方法 | |
CN110181540A (zh) | 全方位移动机器人 | |
CN108654025B (zh) | 一种智能乒乓球捡发球子母机器人及其工作方法 | |
CN108718704B (zh) | 一种人机交互式野外果蔬采收机器人系统及其采收方法 | |
CN207399336U (zh) | 一种无人化地面直播拍摄系统 | |
CN107756402A (zh) | 一种基于深度学习的智能型避障抓取系统 | |
CN204819543U (zh) | 一种集控式多机器人运动控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |
|
RJ01 | Rejection of invention patent application after publication |