CN110419315B - 一种异物清除装置及其控制方法 - Google Patents
一种异物清除装置及其控制方法 Download PDFInfo
- Publication number
- CN110419315B CN110419315B CN201910824275.XA CN201910824275A CN110419315B CN 110419315 B CN110419315 B CN 110419315B CN 201910824275 A CN201910824275 A CN 201910824275A CN 110419315 B CN110419315 B CN 110419315B
- Authority
- CN
- China
- Prior art keywords
- weeding
- database
- image acquisition
- acquisition device
- dimensional center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000009333 weeding Methods 0.000 claims abstract description 217
- 241000196324 Embryophyta Species 0.000 claims abstract description 98
- 230000007246 mechanism Effects 0.000 claims abstract description 67
- 230000000007 visual effect Effects 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000004140 cleaning Methods 0.000 claims description 56
- 239000011521 glass Substances 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 239000000428 dust Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003373 anti-fouling effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005485 electric heating Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/01—Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus
- A01D34/02—Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having reciprocating cutters
- A01D34/03—Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus having reciprocating cutters mounted on a vehicle, e.g. a tractor, or drawn by an animal or a vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Environmental Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Zoology (AREA)
- Soil Working Implements (AREA)
Abstract
本发明属于机器人技术领域,尤其涉及一种异物清除装置及其控制方法,所述异物清除装置包括移动平台以及设置于所述移动平台上的视觉导航模块、图像采集装置、除草机构和控制模块;所述视觉导航模块用于采集行进路径的图像并处理;所述图像采集装置用于杂草和/或农作物的图像采集;所述除草机构用于杂草的清除;所述控制模块,用于接收所述视觉导航模块的图像处理结果以控制所述移动平台移动,还用于接收并处理所述图像采集装置采集到的图像数据以控制所述除草机构进行除草。本发明通过视觉导航模块可以获取行进路径的图像用于移动平台的自动控制,通过图像采集装置可以获取杂草的图像用于除草机构的除草控制,减少人工操作,自动化程度高。
Description
技术领域
本发明属于机器人技术领域,尤其涉及一种异物清除装置及其控制方法。
背景技术
近年来,随着我国农业现代化智能程度的不断加快,智能农机装备已经成为国家重点研发领域,特别是用于田间杂草清除作业的智能农机机器人装备,对于我国这个农业大国实现农作物保产,绿色环保,低碳排放具有十分重要的意义;另外,田间杂草的存在严重影响农作物的生长以及最终的产量,我国现有农业的田间除草仍然是以传统机械方式进行,不仅消耗大量的人力财力,而且效率低下,已经无法满足精准农业的迫切需求。
然而,我国现有的农机机器人装备存在智能化程度不高的问题,杂草清除作业多以传统机械为主。此类传统的机械通常依赖使用者的手动操作,对于何处有杂草、如何对分散各处的杂草进行清除,完全依赖操作者的判断以及手动操作,自动化程度低,效率不高。
可见,现有的农机机器人装备存在智能化程度低的问题,需要进行改进。
发明内容
本发明实施例的目的在于提供一种异物清除装置,旨在解决现有的农机机器人装备存在智能化程度低的问题,需要进行改进的问题。
本发明实施例是这样实现的,一种异物清除装置,其特征在于,所述异物清除装置包括移动平台以及设置于所述移动平台上的视觉导航模块、图像采集装置、除草机构和控制模块;
所述视觉导航模块用于采集行进路径的图像并处理;
所述图像采集装置用于杂草和/或农作物的图像采集;
所述除草机构用于杂草的清除;
所述控制模块分别与所述移动平台、所述图像采集装置、所述除草机构以及所述视觉导航模块电连接,用于接收所述视觉导航模块的图像处理结果以控制所述移动平台移动,还用于接收并处理所述图像采集装置采集到的图像数据以控制所述除草机构进行除草。
本发明实施例的另一目的在于提供一种异物清除装置的控制方法,所述方法包括以下步骤:
步骤S101,驱动所述移动平台移动至工作区域并停留;
步骤S102,通过所述图像采集装置采集杂草和/或农作物的图像数据,对所述图像数据进行处理以确定除草机构的最短规划路径,根据所述最短规划路径驱动所述除草机构进行除草作业;
步骤S103,通过所述图像采集装置获取除草作业完成后的图像数据,并将所述除草作业完成后的图像数据导入预设的深度网络模型进行处理以确定是否存在未清除的杂草;
步骤S104,若存在未清除的杂草则重复步骤S102到S103,否则驱动所述移动平台移动至下一工作区域并对下一工作区域进行除草。
本发明实施例提供的一种异物清除装置,通过视觉导航模块可以获取行进路径的图像用于移动平台的自动控制,通过图像采集装置可以获取杂草的图像用于除草机构的除草控制,减少了人工操作,使用便捷,自动化程度高。
附图说明
图1为本发明实施例提供的一种异物清除装置的前方整体结构示意图;
图2为本发明实施例提供的一种异物清除装置的后方整体结构示意图;
图3为本发明实施例提供的一种异物清除装置的田间工作状态示意图;
图4为本发明实施例提供的一种异物清除装置的主视图;
图5为本发明实施例提供的一种异物清除装置的后视图;
图6为本发明实施例提供的一种异物清除装置的俯视图;
图7为本发明实施例提供的一种异物清除装置的侧视图;
图8为本发明实施例提供的一种异物清除装置中执行机械臂结构示意图;
图9为本发明实施例提供的一种异物清除装置中除草机构的工作状态示意图;
图10为本发明实施例提供的一种异物清除装置中图像采集装置的整体与分解结构示意图;
图11为本发明实施例提供的一种异物清除装置中除草机构的整体与分解结构示意图;
图12为本发明实施例提供的一种异物清除装置的除草机构中的水平除草组件的整体与分解结构示意图;
图13为本发明实施例提供的一种异物清除装置的除草机构中的竖直除草组件的整体与分解结构示意图;
图14为本发明一种异物清除装置的控制方法中农作物与杂草目标的深度网络模型识别结果示意图;
图15为本发明实施例提供的一种异物清除装置的控制方法中获取目标的二维中心坐标方法示意图;
图16为本发明实施例提供的一种异物清除装置的控制方法中最短路径算法原理示意图;
图17为本发明实施例提供的一种异物清除装置的控制方法中最短路径算法提取结果示意图;
图18为本发明实施例提供的一种异物清除装置的控制方法流程图;
图19为本发明实施例提供的一种异物清除装置的工作原理图。
附图中:1、移动平台;1-1、移动平台主体;1-2、行驶轮;1-3、行驶轮固定架;1-4、行驶轮驱动电机;1-5、行驶轮固定基座;2、图像采集装置;2-1、固定外壳;2-2、深度相机;2-3、鼓风机固定座;2-4、鼓风机;2-5、透明玻璃板;2-6、清洁海绵;2-7、清洁电机;2-8、齿轮杆;2-9、清洁履带;3、执行机械臂;3-1、底座固定座;3-2、底座;3-3、第一机械臂;3-4、第二机械臂;3-5、第三机械臂;3-6、第四机械臂;4、除草机构;4-1、除草执行基座;4-2、水平除草组件;4-2-1、第一水平电机;4-2-2、第二水平电机;4-2-3、水平电机固定扣;4-2-4、水平除草齿;4-2-5、水平履带;4-2-6、水平除草刀片;4-3、竖直除草组件;4-3-1、第一竖直电机;4-3-2、第二竖直电机;4-3-3、竖直电机固定扣;4-3-4、竖直除草齿;4-3-5、竖直履带;4-3-6、竖直除草刀片;5、补光模块;5-1、前照明灯模块;5-1-1、前照明灯固定座;5-2、后照明灯模块;5-2-1、后照明灯固定座;5-3、补光灯模块;6、视觉导航模块;7、控制操作台;7-1、总开关;7-2、前照明灯模块开关;7-3、后照明灯模块开关;7-4、补光灯模块开关;7-5、紧急制动开关;7-6、控制面板;8、控制模块;9、电源系统。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
实施例一:
如图1-3所示,为本发明实施例提供的一种异物清除装置的结构图,包括移动平台1以及设置于所述移动平台1上的视觉导航模块6、图像采集装置2、除草机构4和控制模块8;
所述视觉导航模块6用于采集行进路径的图像并处理;
所述图像采集装置2用于杂草的图像采集;
所述除草机构4用于杂草的清除;
所述控制模块8分别与所述移动平台1、所述图像采集装置2、所述除草机构4以及所述视觉导航模块6相连,用于接收所述视觉导航模块6的图像处理结果以控制所述移动平台1移动,还用于接收并处理所述图像采集装置2采集到的图像数据以控制所述除草机构4进行除草。
在本发明实施例中,移动平台1用于实现搭载于其上的各组件运动,移动平台1可以通过设置行驶轮、履带等实现移动;移动平台1的动力来源优选为电力,污染小且便于存储携带。可以理解,此仅仅为本发明的可选实现方式,不用于限定本发明的保护范围。
在本发明实施例中,视觉导航模块6用于获取采集行驶路径的图像并进行处理以生成相应的行驶控制指令,以驱动移动平台1移动。作为一种可选的实现方式,视觉导航模块6设置于移动平台1的前方上侧正中央,其视野正对移动平台1的前进方向;当然,视觉导航模块6可以按需要设置一个或者多个,本发明对此不作具体限定。视觉导航模块6为现有的成熟元件,可以直接选购安装,例如型号为VELODYNE激光雷达/VLP-16的视觉导航模块(其本质为激光雷达);可选地,在本发明实施例中,视觉导航模块6的输出端与控制模块8相连,通过控制模块8间接控制移动平台1的移动。
在本发明实施例中,图像采集装置2用于杂草的图像采集,需要理解的是,用于杂草的图像采集属于图像采集模块在本发明的最终目的,并不用于限定图像采集模块采集到的图像中仅仅包含杂草的图像,此外还可以包括相应的农作物,当然,对于杂草已经清除完毕的区域进行图像采集,图像中并不一定包含杂草图像。
在本发明实施例中,需要理解的是,视觉导航模块6以及图像采集装置2可以是采集图像,还可以是进行视频采集,对于视频采集而言,其实质是连接化的图像,两者实质相同。对于视频采集而言,本发明实施例中的图像处理均指对视频数据中的关键帧进行处理,而关键帧的确定可以按预设的规则进行,例如定时获取等。此内容不属于本发明的改进点,本发明实施例对此不再赘述。
在本发明实施例中,除草机构4用于根据控制的控制实现杂草的清除。在本发明实施例中,清除杂草的方式具体可以是拔除、剪除等方式,本发明实施例对此不作具体限定。
在本发明实施例中,控制模块8用于异物清除装置各个组件的综合控制,需要理解的是,本发明实施例中的综合控制既可以是直接控制也可以是间接控制,可以是在操作者的操作下的半自动控制,也可以是脱离人工的全自动控制,控制信息可以来源于操作者的操作,也可以来源于控制模块8内的控制程序。作为一种具体的实现方式,在本发明实施例中,移动平台1由视觉导航模块6输出控制信号,经由控制模块8实现控制;除草机构4的控制则由控制模块8处理图像采集装置2采集到的杂草图像后生成的相应控制指令实现控制。通过这种方式,本发明提供的异物清除装置可以最大限度地减少控制过程中的人工依赖,实现半自动或者全自动化除草作业。
本发明实施例提供的异物清除装置,通过视觉导航模块6可以获取行进路径的图像用于移动平台1的自动控制,通过图像采集装置2可以获取杂草的图像用于除草机构4的除草控制,减少了人工操作,使用便捷,自动化程度高。
实施例二:
如图2所示,本实施例与上述任一实施例的不同在于,所述移动平台1包括移动平台主体1-1,行驶轮1-2以及行驶轮驱动电机1-4;
所述移动平台1包括用于安装所述视觉导航模块6、所述图像采集装置2、所述除草机构4以及所述控制模块8的横板,以及设置于所述横板两侧、用于所述行驶轮的安装的两块侧板;
所述行驶轮1-2设置于行驶轮固定架1-3上,若干个所述行驶轮固定架1-3通过行驶轮固定基座1-5与所述侧板固定连接;
所述行驶轮驱动电机1-4与所述控制模块8电连接,设置于所述行驶轮固定架1-3上,所述行驶轮驱动电机1-4的输出轴与所述行驶轮1-2转动连接,所述行驶轮驱动电机1-4用于驱动所述行驶轮1-2转动。
在本发明实施例中,移动平台1包括横板以及两块侧板,横板与侧板之间可以采用螺钉连接、焊接等方式实现连接。在本发明实施例中,作为一种优选方案,两块侧板平行设置,并且与横板垂直,横板水平设置。横板上设置有视觉导航模块6、图像采集装置2、除草机构4以及控制模块8。
在本发明实施例中,移动平台1通过行驶轮1-2实现移动,行驶轮1-2可以设置为四个、六个、八个等,当然,也可以采集其它的数量以及设置形式,例如可以设置三个等,本发明实施例对此不作具体限定。作为一种可选的实现方式,行驶轮1-2可以选用充气式越野橡胶轮胎,其上设置有防滑纹。
在本发明实施例中,行驶轮1-2通过行驶轮驱动电机1-4驱动,行驶轮驱动电机1-4设置于行驶轮固定架1-3上,其输出轴与行驶轮1-2的转轴连接。可以理解,在本发明实施例中,行驶轮驱动电机1-4与行驶轮1-2的数目相匹配,每个行驶轮1-2均通过独立的行驶轮驱动电机1-4驱动。行驶轮驱动电机1-4可以采用正反转电机;行驶轮驱动电机1-4由视觉导航模块6以及控制模块8综合控制。
本发明实施例提供的异物清除装置通过移动平台1实现移动,移动平台1结构简单,通过视觉导航模块6以及控制模块8综合控制,可以实现半自动或者全自动化移动控制,减少对人工操作的依赖,智能化程度高。
实施例三:
如图10所示,本实施例与上述任一实施例的不同在于,所述图像采集装置2包括倾斜设置于所述移动平台1前端底部的第一图像采集装置以及倾斜设置于所述移动平台1后端底部的第二图像采集装置;所述第一图像采集装置、第二图像采集装置的视野范围重合且位于所述移动平台底部,且所述第一图像采集装置、第二图像采集装置均包括固定外壳2-1、深度相机2-2以及鼓风机2-4;
所述固定外壳2-1设置于所述移动平台1上,所述固定外壳2-1表面设置有透明玻璃板2-5;
所述深度相机2-2设置于所述固定外壳2-1内且所述深度相机2-2的镜头透过所述透明玻璃板2-5朝向地面;
所述鼓风机2-4通过鼓风机固定座2-3设置于所述固定外壳2-1的两侧,两侧的所述鼓风机2-4的出风口正对设置且出风方向平行于所述透明玻璃板2-5。
在本发明实施例中,第一图像采集装置的图像采集端朝向移动平台1的正后方,其图像采集方向与垂直方向的夹角为45°;相应地,第二图像采集装置的图像采集端朝向移动平台1的正前方,其图像采集方向与垂直方向的夹角为45°。图像采集装置可以选用深度相机2-2,例如型号为英特尔Realsense D435i的深度相机。固定外壳2-1与移动平台1固定连接,例如固定设置于移动平台1的横板上,可以采用螺钉连接。固定外壳2-1上设置有透明玻璃板2-5,透明玻璃板2-5的尺寸以不限制深度相机2-2的图像采集范围为准,可按实现需要具体设置。
在本发明实施例中,第一图像采集装置用于除草前的图像采集,第二图像采集装置用于除草后的图像采集,需要理解的是,以上区域是按照两者所采集到的图像的用途进行区分的,并非指其采集到的图像中必然包含杂草。第一图像采集装置采集到的图像用于分析处理以得到除草机构4的除草控制信息;第二图像采集装置采集到的图像用于判断除草是否彻底,是否需要重新进行除草作业。通过两者的配合可以使除草更为彻底。
在本发明实施例中,图像采集装置2上还设置有鼓风机2-4,鼓风机2-4对称设置于固定外壳2-1的左右两侧,出风方向与透明玻璃板2-5平行,可以对透明玻璃板2-5进行吹风,以防止灰尘等落在透明玻璃板2-5上阻碍深度相机2-2的视线;作一种优化方案,鼓风机2-4有出风口处还设置有电热丝,可以向透明玻璃板2-5吹热风,以便于清除可以落在透明玻璃板2-5上的露珠、水雾等,使得本发明适用于清晨、傍晚等时段的作业。
本发明实施例提供的异物清除装置通过设置图像采集装置2可以用于采集杂草的图像并生成除草机构4的控制信息,从而实现杂草的自动识别以及去除,自动化程度高;并且通过第一图像采集装置与第二图像采集装置的配合可以使除草更为彻底;通过鼓风机2-4的设置可以防止尘土对透明玻璃板2-5的污染,从而保证所采集到的图像的清晰程度,间接提高了对杂草的识别准确率。
实施例四:
如图10所示,本实施例与上述任一实施例的不同在于,所述第一图像采集装置、第二图像采集装置还包括自清洁组件;
所述自清洁组件包括清洁海绵2-6、清洁电机2-7、齿轮杆2-8以及清洁履带2-9;
所述清洁电机2-7设置有两组,所述清洁电机2-7的输出轴上套设有所述齿轮杆2-8,
所述清洁履带2-9平行设置有两条,每条所述清洁履带2-9的两端分别与一组所述清洁电机2-7上设置的所述齿轮杆2-8啮合;
所述清洁海绵2-6设置于两条所述清洁履带2-9的外侧,夹在所述清洁履带2-9与所述透明玻璃板之间。
在本发明实施例中,清洁电机2-7可以选用微型马达,优选为具有换向功能的微型马达。在本发明实施例中,清洁电机2-7的输出轴套设的齿轮杆2-8,可以理解,本发明实施例中的齿轮杆2-8是指其中设置有齿轮的转杆,齿轮可以套设于转杆上,也可以与转杆一体成型。转杆上的齿轮设置有两个,分别与一条清洁履带2-9啮合;清洁履带2-9可以使用塑料材质的履带,本发明实施例对此不作具体限定。
在本发明实施例中,清洁电机2-7设置有两组,对应的,齿轮杆2-8也设置有两组,且两根齿轮杆2-8平行设置,每条清洁履带2-9的两端分别与一组清洁电机2-7上设置的齿轮杆2-8啮合。
在本发明实施例中,清洁海绵2-6设置于清洁履带2-9的外侧,两端分别与一条清洁履带2-9粘接,在清洁履带2-9的转动过程中,可以周期性地进入到清洁履带2-9与透明玻璃板之间,从而对透明玻璃板进行清洁,以防污物污染透明玻璃板。
在本发明实施例中,可选地,启动清洁电机2-7对透明玻璃板进行清洁,可以是根据操作人工的操作进行,还可以是根据图像采集装置2采集到的图像的分析结果实现自动控制,例如,当连续若干张图像中的某一位置均出现污点,则可以判断透明玻璃上存在污物,此时可以自行启动清洁电机2-7实现清洁。
本发明实施例提供的异物清除装置通过设置自清洁组件可以实现对透明玻璃板的清洁,与鼓风机的非接触清洁不同,自清洁组件可以对透明玻璃板上的粘黏性污物进行清洁,两者的配合可以保证透明玻璃板的清洁,从而使采集到的图像更为清晰;并且可以实现清洁的自动化控制,智能化程度高。
实施例五:
如图4、5、7所示,本实施例与上述任一实施例的不同在于,所述异物清除装置还包括补光模块5,所述补光模块5包括前照明灯模块5-1、后照明灯模块5-2以及补光灯模块5-3;
所述前照明灯模块5-1包括两组,分别设置于所述移动平台1的前端上方左右两侧;
所述后照明灯模块5-2包括两组,分别设置于所述移动平台1的后端上方左右两侧;
所述补光灯模块5-3设置于所述移动平台1前端底部,位于所述第一图像采集装置上方,且与所述第一图像采集装置保持平行。
在本发明实施例中,补光模块5的作用为提高视野的亮度,使得视觉导航模块6以及图像采集装置2能够采集到更为清晰的图像。具体地,在本发明实施例中,前照明灯模块5-1通过前照明灯固定座5-1-1设置于移动平台1上,可以用于提高视觉导航模块6的视野亮度;后照明灯模块5-2通过后照明灯固定座5-2-1设置于移动平台1上,可以用于提高第二图像采集装置2的视野亮度;补光灯模块5-3可以用于提高第一图像采集装置的视野亮度。各个模块的照射区域与各个图像采集区域重合。
本发明实施例提供的异物清除装置通过设置补光模块5可以提高视野亮度,使本发明适用于光线较差的环境,例如清晨或者傍晚等,同时可以提高所采集到的图像的清晰度,从而提高目标识别的准确性。
实施例六:
如图11-13所示,本实施例与上述任一实施例的不同在于,所述除草机构4包括除草执行基座4-1以及设置于所述除草执行基座4-1上的水平除草组件4-2、竖直除草组件4-3;
所述水平除草组件4-2包括第一水平电机4-2-1、第二水平电机4-2-2、水平电机固定扣4-2-3、水平履带4-2-5、水平除草齿4-2-4以及水平除草刀片4-2-6;
所述第一水平电机4-2-1和所述第二水平电机4-2-2分别通过所述水平电机固定扣4-2-3设置于所述除草执行基座4-1的水平方向两侧,并且两者的输出轴分别与所述水平履带4-2-5的一端啮合;
所述水平除草齿4-2-4的一端水平设置于所述除草执行基座4-1的水平方向张口处,另一端为切割端且与地面平行;
所述水平除草刀片4-2-6一面与所述水平除草齿4-2-4的上表面贴合,另一面设置于所述水平履带4-2-5上;
所述竖直除草组件包括第一竖直电机4-3-1、第二竖直电机4-3-2、竖直电机固定扣4-3-3、竖直履带4-3-5、竖直除草齿4-3-4以及竖直除草刀片4-3-6;
所述第一竖直电机4-3-1和所述第二竖直电机4-3-2分别通过所述竖直电机固定扣4-3-3设置于所述除草执行基座4-1的竖直方向两侧,并且两者的输出轴分别与所述竖直履带4-3-5的一端啮合;
所述竖直除草齿4-3-4的一端竖直设置于所述除草执行基座4-1的竖直方向张口处,另一端为切割端且与地面垂直;
所述竖直除草刀片4-3-6一面与所述竖直除草齿4-3-4的内表面贴合,另一面设置于所述竖直履带4-3-5上。
在本发明实施例中,除草机构4包括除草执行基座4-1以及设置于除草执行基座4-1上的水平除草组件4-2、竖直除草组件4-3。作为一种可选的实现方式,除草执行基座4-1包括除草执行底座4-1-1,除草端底座4-1-2,除草端底座固定扣4-1-3;除草执行底座4-1-1的一端与执行机械臂3的负载端转动连接,另一端通过除草端底座固定扣4-1-3固定安装有除草端底座4-1-2,除草端底座4-1-2的水平方向张口处安装有水平除草端4-2,竖直方向张口处安装有竖直除草端4-3。
在本发明实施例中,水平电机可以选用双向旋转马达,水平履带4-2-5可以选用塑料材质的履带。在本发明实施例中,水平除草齿4-2-4呈梳状多根并排设置,水平除草齿4-2-4的一端与除草端底座4-1-2固定连接,另一端悬空水平设置,且斜角切割呈刀刃状。水平除草刀片4-2-6的一面与水平除草齿4-2-4的上表面贴合,另一面与水平履带4-2-5固定连接。通过水平电机的转动可以驱动水平除草刀片4-2-6往复运动,使得进入到水平除草齿4-2-4齿隙间的杂草被切割断。
在本发明实施例中,竖直电机可以选用双向旋转马达,竖直履带4-3-5可以选用塑料材质的履带。在本发明实施例中,竖直除草齿4-3-4呈梳状多根并排设置,竖直除草齿4-3-4的一端与除草端底座4-1-2固定连接,另一端悬空竖直设置,且向前凸起呈V字型。竖直除草刀片4-3-6的一面与竖直除草齿4-3-4的内表面贴合,另一面与竖直履带4-3-5固定连接。通过竖直电机的转动可以驱动竖直除草刀片4-3-6往复运动,使得进入到竖直除草齿4-3-4齿隙间的杂草被切割断。
在本发明实施例中,需要理解的是,水平除草组件、竖直除草组件中的水平与竖直是以相应组件非工作状态下为准进行描述的,在其工作过程中,并不必然保持水平或者竖直。本发明实施例中的水平履带4-2-5和竖直履带4-3-5通过电机驱动,可以避免单电机正反向旋转时履带的张紧边与松弛边不同导致除草刀片在往复运动中驱动力大小不同的问题,使得除草刀片更为耐用。
本发明实施例提供的异物清除装置通过设置水平除草组件和竖直除草组件可以对不同角度的杂草进行去除,提高本发明对不同类型杂草的适用性。
实施例七:
如图8-9所示,本实施例与上述任一实施例的不同在于,所述除草机构4与所述移动平台1之间设置有执行机械臂3,所述执行机械臂3包括底座固定座3-1、底座3-2、第一机械臂3-3、第二机械臂3-4、第三机械臂3-5以及第四机械臂3-6;
所述底座固定座3-1设置于所述移动平台1底部中央,所述底座3-2设置于所述底座固定座3-1上,所述底座3-2内设置有用于驱动所述底座3-2相对于所述底座固定座3-1转动的伺服电机;
所述第一机械臂3-3的一端由内置的伺服电机驱动可相对于所述底座3-2转动,另一端通过内置的伺服电机与第二机械臂3-4的一端转动连接;
所述第二机械臂3-4的另一端由内置的伺服电机驱动可相对于所述第三机械臂3-5一端转动;
所述第三机械臂3-5的另一端由内置的伺服电机驱动可相对于所述第四机械臂3-6的一端转动;
所述第四机械臂3-6的另一端为负载端,安装有所述除草机构4,通过内置的伺服电机驱动所述除草机构4转动。
在本发明实施例中,需要理解的是,底座固定座3-2与底座3-2、底座3-2与第一机械臂3-3、各相互连接的机械臂之间均为转动连接,且本发明实施例中的转动连接均采用伺服电机控制,可以理解,上述结构中每一个关节点均由一伺服电机单独控制,所有伺服电机均与控制模块8电连接。
在本发明实施例中,控制模块8通过控制执行机械臂3各关节的转动可以使除草机构4做至少六个自由度的运动,从而可以使杂草的茎部进行到水平除草齿或者竖直除草齿的齿间隙内,实现杂草的切断。
本发明实施例提供的异物清除装置通过设置执行机械臂3可以驱动除草机构4多自由度转动,从而对移动平台1下各种状态的杂草进行切割,特别是对于倒伏、倾斜的杂草具备较高的适应性,同时也拓宽了除草机构4的工作范围,扩大了有效作业区域,提高了除草效率。
实施例八:
如图1、2、4、6及19所示,本实施例与上述任一实施例的不同在于,所述控制模块8包括工控机、可编程逻辑控制器以及主控板;
所述工控机与所述视觉导航模块6、所述图像采集装置2以及所述可编程逻辑控制器电连接;
所述可编程逻辑控制器分别与所述主控板、机械臂以及所述除草机构4电连接;
所述主控板通过串口与所述移动平台1的行驶轮驱动电机电连接。
在本发明实施例中,工控机用于接收视觉导航模块6处理图像数据后输出的移动平台1控制指令并传输给相应的执行元件,例如行驶轮驱动电机等,从而实现移动平台1的移动。此外还用于接收图像采集装置2采集到的图像数据采对其进行分析处理,以生成除草机构4的控制指令。在本发明实施例中,工控机通过可编程逻辑控制器间接控制除草机构4的运动。在本发明实施例中,还设置有主控板,用于可编程逻辑控制器与行驶轮驱动电机的连接。其中,主控板可以选用STM32主控板;可编程逻辑控制器通过485总线分别与执行机械臂3的伺服电机以及除草机构4中的电机连接;主控板通过串口与行驶轮驱动电机连接。
在本发明实施例中,控制模块可以通过控制操作台7接受使用者的控制操作,所述操作台7上可以设置控制异物清除装置的总开关7-1,前照明灯模块开关7-2,后照明灯模块开关7-3,补光灯模块开关7-4,紧急制动开关7-5以及控制面板7-6。此外,还可以设置电源系统9,电源系统9通过与所述工控机电连接为上述所有用电设备提供电力支持。
本发明实施例提供的异物清除装置通过设置控制模块可以实现装置的半自动或者全自动作业控制,自动化程度高,减小人工操作。
实施例九:
参考图14-18,本发明实施例提供了一种如以上任意一个实施例所述的异物清除装置的控制方法,所述方法包括以下步骤:
步骤S101,驱动移动平台移动至工作区域并停留。
在本发明实施例中,步骤S101具体可以为:视觉导航模块通过其视觉导航功能引导异物清除装置在除草区域工作,具体地,异物清除装置行驶在农作物上方;此时,主控板通过驱动行驶轮驱动电机的正转与反转,可以实现移动平台的前进与后退,根据行驶轮驱动电机的差速旋转原理可以实现移动平台的转向;部署在移动平台前端底部的第一图像采集装置和后端底部的第二图像采集装置开始工作,同时各自的两个鼓风机开启鼓风模式;第一图像采集装置提供实时的视频流数据用于关键帧图像的获取,根据关键帧图像的深度信息利用预设的最短路径算法实现最短路径的提取,第二图像采集装置采集的图像用于除草机构除草结束后的效果验证以及除草效果信息反馈。
步骤S102,通过图像采集装置采集杂草和/或农作物的图像数据,对所述图像数据进行处理以确定除草机构的最短规划路径,根据所述最短规划路径驱动所述除草机构进行除草作业。
在本发明实施例中,第一图像采集装置的RGB通道根据实时的视频流数据获取关键帧图像,并将获取的关键帧图像导入预设的深度网络模型进行目标识别和边框回归以及二维中心坐标的获取;此时,异物清除装置停留在农作物上方,通过二维中心坐标转化为三维中心坐标,第一图像采集装置利用内置的主动红外立体深度摄像头可以实现深度相机到目标物体之间的测距;然后,根据预设的算法可以实时测量农作物与杂草、杂草与杂草之间的距离,进而可以对农作物与杂草、杂草与杂草之间的距离进行降序栈排序处理并输出排序结果,以供除草机构中的水平除草端和竖直除草端进行精准除草作业。
在本发明实施例中,获取到上述排序结果,以第一图像采集装置视野中农作物为起点,按照预设的最短路径算法提取最短规划路径;执行机械臂执行路径规划,除草机构中的水平除草端和竖直除草端到达视野中农作物目标附近上方;此时,水平除草端和竖直除草端各自的电机开始工作,通过带动各自的除草履带工作从而可以带动相应除草刀片工作,进而相应除草刀片与相应的除草齿配合实现除草作业。
在本发明实施例中,通过提取杂草的清除最短路径,可以减少执行机械臂的功耗与重复性的操作,本发明通过利用图像采集装置中的深度相机的测距功能,配合预设的最短路径算法可以实时提取最短路径,从而实现执行机械臂带动除草机构精准除草作业,减少重复性的动作,大大降低执行机械臂的功耗,延长执行机械臂的使用生命周期。
步骤S103,通过所述图像采集装置获取除草作业完成后的图像数据,并将所述除草作业完成后的图像数据导入预设的深度网络模型进行处理以确定是否存在未清除的杂草。
在本发明实施例中,步骤S103具体可以是:除草机构中的水平除草端和竖直除草端完成除草作业后,执行机械臂恢复初始状态等待进一步的指令;此时,仍以第一图像采集装置视野中农作物为起点,第二图像采集装置以同样的RGB通道,可以根据实时的视频流数据获取除草作业完成后的关键帧图像,通过将获取的除草作业完成后的关键帧图像导入预设的深度网络模型进行目标识别和边框回归,即可对除草作业区域进行效果验证,并进行除草效果信息反馈;一旦发现未清除的杂草目标,可以将除草效果信息反馈至工控机,从而使工控机再次下发除草指令。
在本发明实施例中,现有的智能除草机器人没有考虑对清除过后的杂草进行效果验证,缺乏有效的验证机制。本发明通过两个图像采集装置的配合可以有效解决该问题,具体地,第一图像采集装置用于采集杂草与农作物的图像数据,利用图像数据的深度信息可以实现多目标的测距以及提取最短路径,以实现驱动除草执行机构除草,第二图像采集装置的视野与第一图像采集装置的视野在同一范围之内,因为第二图像采集装置可以实时验证视野范围内的杂草是否完全清除,从而保证除草的精度与效率,建立了完整的验证机制。同时本发明的图像采集装置具有自清洁功能,通过独特的结构设计,能够有效保证深度相机镜头的清洁,解决了现有机器人中摄像头、镜头、相机等容易被除草产生的扬尘污染问题,具有较高的应用价值。
步骤S104,若存在未清除的杂草则重复步骤S102到步骤S103,否则驱动所述移动平台移动至下一工作区域并对下一工作区域进行除草。
在本发明实施例中,执行步骤S102到步骤S104并通过检测未发现未清除的杂草后,异物清除装置开始继续行驶;异物清除装置的第一图像采集装置的RGB通道根据实时的视频流数据获取关键帧图像,此时该异物机器人停止,并且重复上述步骤S102至步骤S104。
在本发明实施例中,步骤S101之前还可以包括以下步骤:首先,以自然环境条件下的农作物与杂草图像为样本,通过数据增强方式扩充样本数量,并且对扩充后的样本进行人工手动标注形成数据标签用于模型训练,基于深度学习中的经典TensorFlow深度学习框架,利用COCO数据集的预训练模型进行初始化参数设置,迁移训练得到接近实时帧率的深度网络模型;然后,将训练得到的深度网络模型以及最短路径算法部署到工控机中;其次,对第一图像采集装置、第二图像采集装置和执行机械臂进行室外除草田间标定,实现室外空间三维立体建模。
在本发明实施例中,在上述步骤之外还可以包括:当异物清除装置中的图像采集装置镜头视野模糊时,例如透明玻璃上粘有大量灰尘,此时,清洁电机工作,通过带动清洁履带转动进而带动清洁海绵沿着透明玻璃运动,完成透明玻璃的清洁;若异物清除装置所处的作业环境光线不足,此时,可以通过开启补光灯模块进行补光,从而提高除草的准确率以及效率;另外,如果需要夜间行驶或者除草作业时,可以通过同时开启前照明灯模块、后照明灯模块以及补光灯模块。
在本发明实施例中,在本发明实施例中,区别于现有的智能除草机器人行驶在作物垄间无法有效清除农作物与农作物间隙之间的杂草,本发明提供的异物清除装置行驶在作物垄间,利用图像采集装置内的深度相机采集异物清除装置整个下方的图像,能够完全清除视野内的杂草。
本发明实施例提供的异物清除装置的控制方法,通过采集图像并分析生成除草机构的控制信号,可以实现除草过程的自动化,减少人工操作,同时提高除草的准确性。
实施例十:
参考图16-17,在本发明实施例中,与实施例九的不同在于,本发明实施例提供的最短路径算法具体包括下步骤:
步骤S201,提取所述图像数据的关键帧并将所述关键帧导入预设的深度网络模型进行目标识别和边框回归,以判断目标是农作物还是杂草;
步骤S202,如果目标是农作物,获取所述农作物的二维中心坐标,并且存入数据库A,并将存入所述数据库A中的二维中心坐标转换为所述图像采集装置坐标系下的三维中心坐标,并将映射的三维中心坐标存入数据库C;
步骤S203,如果目标是杂草,获取所述杂草的二维中心坐标,并且存入数据库B,并将存入数据库B中的二维中心坐标转换为所述图像采集装置坐标系下的三维中心坐标,并将映射的三维中心坐标存入数据库D,记录所述杂草的数量计j;
步骤S204,预设循环变量i(0<i<j+1),判断循环变量i是否小于j+1,如果小于j+1则获取所述数据库C中的三维中心坐标和所述数据库D中对应的第i个三维中心坐标,分别计算得到此时数据库C中的三维中心坐标到所述图像采集装置的距离d,以及第i株杂草的三维中心坐标到所述图像采集装置的距离di,根据对应测距方法计算所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的距离Si,并且将Si进行降序栈排序处理;
步骤S205,如果循环变量i不小于j+1则将Si进行降序栈排序处理后的栈顶元素入队列,同时将所述数据库C中的三维中心坐标删除,并且将栈顶元素的三维中心坐标写入所述数据库C中;
步骤S206,判断j是否等于1,如果j不等于1则将所述数据库D中与所述数据库C相同的三维中心坐标删除,j执行j-1操作,并重复执行步骤S204和步骤S205;
步骤S207,如果j等于1,则将队列中的元素顺序出队列,得到所述最短规划路径。
在本发明实施例中,现有的智能农机机器人装备多以机器视觉或者机器学习的方式对农作物与杂草目标进行识别,识别精度与效率有待提高。本发明实施例利用深度学习的方法能够有效解决前述问题。根据预设的部署在工控机中的深度网络模型可以实现目标的分类和边框回归,从而精准的识别目标。区别于传统方法,步骤S202和S203根据目标类型单独建立各自的数据库,各数据库相互独立,以农作物为中心作为起始点,对杂草进行计数,便于后续的最短路径提取;步骤S204和S205根据相应数据库的三维中心坐标可以计算距离,根据前述计算结果可以计算数据库C中三维中心坐标到数据库D中三维中心坐标的距离,然后将得到的距离进行降序栈排序,当循环遍历完所有的杂草后降序栈排序处理过后的栈顶元素入队列,此时这个元素是数据库D中离数据库C中三维中心坐标最近的一个三维中心坐标,并将该三维中心坐标再写入数据库C,覆盖式写入,实际上就是删除数据库C的三维中心坐标后再写入上述三维中心坐标,队列中存有第一株杂草的三维中心坐标;步骤S206是基于步骤S205的基础,判断j是否等于1目的在于判断数据库D中的杂草是不是最后一株,如果不等于1说明还有杂草,此时数据库D和数据库C中肯定都存有栈顶元素的三维中心坐标,此时需要删除数据库D中的相同坐标,这样的好处是再次遍历数据库D中的杂草时,无需重复遍历距离最近的那株杂草三维中心坐标,加快降序栈排序用于快速提取路径,如果j等于1说明数据库D中仅有最后一株杂草,从而得到以农作物为起点遍历所有杂草的最短路径对应的目标三维中心坐标,并全部存储于队列中,此时顺序出队列即可得到所谓规划的最短路径。
实施例十一:
参考图14-17,在本发明实施例中,与实施例十的不同在于,获取所述农作物或者所述杂草的二维中心坐标,具体包括以下步骤:
步骤S301,基于预设的深度网络模型进行目标识别和边框回归,利用图像处理算法提取目标的轮廓图像;
步骤S302,根据所述轮廓图像,遍历目标轮廓线上的所有坐标点,将所述目标轮廓线上所处列的最小值点记为c1,所处列的最大值点记为c2,将目标轮廓线上所处行不变、列呈线性变化的一系列坐标中列的最小值点和最大值点分别记为c3、c4;
步骤S303,将c1点与c4点连接,将c2点与c3点连接,两条直线相交于目标根处,求解两条直线的交点即可求得目标的二维中心坐标。
在本发明实施例中,获取目标的二维中心坐标决定了二维坐标映射到三维坐标是否准确,以及是否精准的落到目标上。此时根据深度网络模型的识别结果,也就是提取识别框内的图像信息,提取目标的轮廓图像,根据遍历图像轮廓线上的点,按照预设的提取方法,可以确保两条直线的交点落在目标上,不会定位到背景上或者土地上,这样的话对于精准除草具有重要意义。
实施例十二:
参考图14-17,在本发明实施例中,与实施例十的不同在于,步骤S204中,分别计算得到此时数据库C中的三维中心坐标到所述图像采集装置的距离d,以及第i株杂草的三维中心坐标到所述图像采集装置的距离di,根据对应测距方法计算所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的距离Si,具体包括以下步骤:
步骤S401,获取所述数据库C中的三维中心坐标,以所述图像采集装置的中心为坐标系原点,利用三维立体空间中两点距离坐标公式求解所述数据库C中的三维中心坐标到所述图像采集装置的中心的距离d;
步骤S402,获取数据库D中的三维中心坐标,以所述图像采集装置的中心为坐标系原点,利用三维立体空间中两点距离坐标公式求解第i株杂草到所述图像采集装置的距离di;
步骤S403,根据前述所求得的所述数据库C中的三维中心坐标到所述图像采集装置的距离d、第i株杂草到所述图像采集装置的距离di、所述数据库C中的三维中心坐标(x1,y1,z1)、所述数据库D中的第i株杂草三维中心坐标(x2,y2,z2),利用公式求得所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的一组距离数据Si',利用格拉布斯检测法清除该组数据中可能存在的异常数据;
步骤S404,根据三维立体空间中两点距离坐标公式求解所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的另一组距离数据di',利用格拉布斯检测法来清除该组数据中可能的存在异常数据;
步骤S405,根据步骤S403以用步骤S404,通过多次求得Si'和di'距离数据从而获取多组数据,所求的Si'和di'距离数据服从正态分布,则其标准差为最终的/>即为所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的距离。
在本发明实施例中,测距不是简单的利用目标的三维坐标信息,其中利用公式根据向量积与三角形的余弦定理求得。深度相机测量单目标距离很准,但是没有测量多个目标之间距离的方法;这里得到的是一组距离数据Si',因为图像数据是实时的,因此会产生多组数据,针对每组数据利用格拉布斯检测法剔除异常数据可以减小误差。另外一种就是利用空间中两点的三维坐标直接计算得到距离di',通过多次求得Si'和di'距离数据从而获取多组数据,因为获取的多组数据相差不大,且相对比较集中,因此是服从正态分布数据类型的,所以可以通过引用标准差作为偏置减小误差,使得数据集中确保求得距离准确。通过两种方法测量的同一距离可以取平均值另外加上一个偏置权重平衡,从而保证数据更精准,实现目标的准确测距。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种异物清除装置,其特征在于,所述异物清除装置包括移动平台以及设置于所述移动平台上的视觉导航模块、图像采集装置、除草机构和控制模块;
所述视觉导航模块用于采集行进路径的图像并处理;
所述图像采集装置用于杂草和/或农作物的图像采集;
所述除草机构用于杂草的清除;
所述控制模块分别与所述移动平台、所述图像采集装置、所述除草机构以及所述视觉导航模块电连接,用于接收所述视觉导航模块的图像处理结果以控制所述移动平台移动,还用于接收并处理所述图像采集装置采集到的图像数据以控制所述除草机构进行除草;
所述图像采集装置包括倾斜设置于所述移动平台前端底部的第一图像采集装置以及倾斜设置于所述移动平台后端底部的第二图像采集装置;所述第一图像采集装置、第二图像采集装置的视野范围重合且位于所述移动平台底部,且所述第一图像采集装置、第二图像采集装置均包括固定外壳、深度相机、鼓风机、以及自清洁组件;
所述固定外壳设置于所述移动平台上,所述固定外壳表面设置有透明玻璃板;
所述深度相机设置于所述固定外壳内且所述深度相机的镜头透过所述透明玻璃板朝向地面;
所述鼓风机通过鼓风机固定座设置于所述固定外壳的两侧,两侧的所述鼓风机的出风口正对设置且出风方向平行于所述透明玻璃板;
所述自清洁组件包括清洁海绵、清洁电机、齿轮杆以及清洁履带;
所述清洁电机设置有两组,所述清洁电机的输出轴上套设有所述齿轮杆;
所述清洁履带平行设置有两条,每条所述清洁履带的两端分别与一组所述清洁电机上设置的所述齿轮杆啮合;
所述清洁海绵设置于两条所述清洁履带的外侧,夹在所述清洁履带与所述透明玻璃板之间。
2.如权利要求1所述的异物清除装置,其特征在于,所述移动平台包括移动平台主体,行驶轮以及行驶轮驱动电机;
所述移动平台包括用于安装所述视觉导航模块、所述图像采集装置、所述除草机构以及所述控制模块的横板,以及设置于所述横板两侧、用于所述行驶轮的安装的两块侧板;
所述行驶轮设置于行驶轮固定架上,若干个所述行驶轮固定架通过行驶轮固定基座与所述侧板固定连接;
所述行驶轮驱动电机与所述控制模块电连接,设置于所述行驶轮固定架上,所述行驶轮驱动电机的输出轴与所述行驶轮转动连接,所述行驶轮驱动电机用于驱动所述行驶轮转动。
3.如权利要求1所述的异物清除装置,其特征在于,所述除草机构包括除草执行基座以及设置于所述除草执行基座上的水平除草组件、垂直除草组件;
所述水平除草组件包括第一水平电机、第二水平电机、水平电机固定扣、水平履带、水平除草齿以及水平除草刀片;
所述第一水平电机和所述第二水平电机分别通过所述水平电机固定扣设置于所述除草执行基座的水平方向两侧,并且两者的输出轴分别与所述水平履带的一端啮合;
所述水平除草齿的一端水平设置于所述除草执行基座的水平方向张口处,另一端为切割端且与地面平行;
所述水平除草刀片一面与所述水平除草齿的上表面贴合,另一面设置于所述水平履带上;
所述垂直除草组件包括第一竖直电机、第二竖直电机、竖直电机固定扣、竖直履带、竖直除草齿以及竖直除草刀片;
所述第一竖直电机和所述第二竖直电机分别通过所述竖直电机固定扣设置于所述除草执行基座的竖直方向两侧,并且两者的输出轴分别与所述竖直履带的一端啮合;
所述竖直除草齿的一端竖直设置于所述除草执行基座的竖直方向张口处,另一端为切割端且与地面垂直;
所述竖直除草刀片一面与所述竖直除草齿的内表面贴合,另一面设置于所述竖直履带上。
4.如权利要求1或3所述的异物清除装置,其特征在于,所述除草机构与所述移动平台之间设置有执行机械臂,所述执行机械臂包括底座固定座、底座、第一机械臂、第二机械臂、第三机械臂以及第四机械臂;
所述底座固定座设置于所述移动平台底部中央,所述底座设置于所述底座固定座上,所述底座内设置有用于驱动所述底座相对于所述底座固定座转动的伺服电机;
所述第一机械臂的一端由内置的伺服电机驱动可相对于所述底座转动,另一端通过内置的伺服电机与第二机械臂的一端转动连接;
所述第二机械臂的另一端由内置的伺服电机驱动可相对于所述第三机械臂一端转动;
所述第三机械臂的另一端由内置的伺服电机驱动可相对于所述第四机械臂的一端转动;
所述第四机械臂的另一端为负载端,安装有所述除草机构,通过内置的伺服电机驱动所述除草机构转动。
5.如权利要求1所述的异物清除装置,其特征在于,所述控制模块包括工控机、可编程逻辑控制器以及主控板;
所述工控机与所述视觉导航模块、所述图像采集装置以及所述可编程逻辑控制器电连接;
所述可编程逻辑控制器分别与所述主控板、执行机械臂以及所述除草机构电连接;
所述主控板通过串口与所述移动平台的行驶轮驱动电机电连接。
6.如权利要求1-5任一项所述的异物清除装置的控制方法,其特征在于,所述方法包括以下步骤:
步骤S101,驱动所述移动平台移动至工作区域并停留;
步骤S102,通过所述图像采集装置采集杂草和/或农作物的图像数据,对所述图像数据进行处理以确定所述除草机构的最短规划路径,根据所述最短规划路径驱动所述除草机构进行除草作业;
步骤S103,通过所述图像采集装置获取除草作业完成后的图像数据,并将所述除草作业完成后的图像数据导入预设的深度网络模型进行处理以确定是否存在未清除的杂草;
步骤S104,若存在未清除的杂草则重复步骤S102到S103,否则驱动所述移动平台移动至下一工作区域并对下一工作区域进行除草。
7.如权利要求6所述的异物清除装置的控制方法,其特征在于,所述对所述图像数据进行处理以确定除草机构的最短规划路径,具体包括以下步骤:
步骤S201,提取所述图像数据的关键帧并将所述关键帧导入预设的深度网络模型进行目标识别和边框回归,以判断目标是农作物还是杂草;
步骤S202,如果目标是农作物,获取所述农作物的二维中心坐标,并且存入数据库A,并将存入所述数据库A中的二维中心坐标转换为所述图像采集装置标系下的三维中心坐标,并将映射的三维中心坐标存入数据库C;
步骤S203,如果目标是杂草,获取所述杂草的二维中心坐标,并且存入数据库B,并将存入数据库B中的二维中心坐标转换为所述图像采集装置坐标系下的三维中心坐标,并将映射的三维中心坐标存入数据库D,记录所述杂草的数量计j;
步骤S204,预设循环变量i(0<i<j+1),判断循环变量i是否小于j+1,如果小于j+1则获取所述数据库C中的三维中心坐标和所述数据库D中对应的第i个三维中心坐标,分别计算得到此时数据库C中的三维中心坐标到所述图像采集装置的距离d,以及第i株杂草的三维中心坐标到所述图像采集装置的距离d i ,根据对应测距方法计算所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的距离S i ,并且将S i 进行降序栈排序处理;
步骤S205,如果循环变量i不小于j+1则将S i 进行降序栈排序处理后的栈顶元素入队列,同时将所述数据库C中的三维中心坐标删除,并且将栈顶元素的三维中心坐标写入所述数据库C中;
步骤S206,判断j是否等于1,如果j不等于1则将所述数据库D中与所述数据库C相同的三维中心坐标删除,j执行j-1操作,并重复执行步骤S204和步骤S205;
步骤S207,如果j等于1则将队列中的元素顺序出队列,得到所述最短规划路径。
8.如权利要求7所述的异物清除装置的控制方法,其特征在于,获取所述农作物或者所述杂草的二维中心坐标,具体包括以下步骤:
步骤S301,基于预设的深度网络模型进行目标识别和边框回归,利用图像处理算法提取目标的轮廓图像;
步骤S302,根据所述轮廓图像,遍历目标轮廓线上的所有坐标点,将所述目标轮廓线上所处列的最小值点记为c 1 ,所处列的最大值点记为c 2 ,将目标轮廓线上所处行不变、列呈线性变化的一系列坐标中列的最小值点和最大值点分别记为c 3 、c 4 ;
步骤S303,将c 1 点与c 4 点连接,将c 2 点与c 3 点连接,两条直线相交于目标根处,求解两条直线的交点即可求得目标的二维中心坐标。
9.如权利要求7所述的异物清除装置的控制方法,其特征在于,所述分别计算得到此时数据库C中的三维中心坐标到所述图像采集装置的距离d,以及第i株杂草的三维中心坐标到所述图像采集装置的距离d i ,根据对应测距方法计算所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的距离S i ,具体包括以下步骤:
步骤S401,获取所述数据库C中的三维中心坐标,以所述图像采集装置的中心为坐标系原点,利用三维立体空间中两点距离坐标公式求解所述数据库C中的三维中心坐标到所述图像采集装置的中心的距离d;
步骤S402,获取数据库D中的三维中心坐标,以所述图像采集装置的中心为坐标系原点,利用三维立体空间中两点距离坐标公式求解第i株杂草到所述图像采集装置的距离d i;
步骤S403,根据前述所求得的所述数据库C中的三维中心坐标到所述图像采集装置的距离d、第i株杂草到所述图像采集装置的距离d i 、所述数据库C中的三维中心坐标(x 1 ,y 1 ,z 1 )、所述数据库D中的第i株杂草三维中心坐标(x 2 ,y 2 ,z 2 ),利用公式 求得所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的一组距离数据S′ i ,利用格拉布斯检测法清除该组数据中可能存在的异常数据;
步骤S404,根据三维立体空间中两点距离坐标公式求解所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的另一组距离数据d′ i ,利用格拉布斯检测法来清除该组数据中可能的存在异常数据;
步骤S405,根据步骤S403以及步骤S404,通过多次求得S′ i 和d′ i 距离数据从而获取多组数据,所求的S′ i 和d′ i 距离数据服从正态分布,则其标准差为 最终的 即为所述数据库C中的三维中心坐标到所述数据库D中对应第i个三维中心坐标的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910824275.XA CN110419315B (zh) | 2019-09-02 | 2019-09-02 | 一种异物清除装置及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910824275.XA CN110419315B (zh) | 2019-09-02 | 2019-09-02 | 一种异物清除装置及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110419315A CN110419315A (zh) | 2019-11-08 |
CN110419315B true CN110419315B (zh) | 2023-08-04 |
Family
ID=68418514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910824275.XA Active CN110419315B (zh) | 2019-09-02 | 2019-09-02 | 一种异物清除装置及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110419315B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11852726B2 (en) | 2021-02-05 | 2023-12-26 | Anyang Yidu Network Technology Company | Image processing-based laser emission and dynamic calibration apparatus and method, device and medium |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111602478B (zh) * | 2020-06-03 | 2022-07-12 | 吉林嘉隆农业装备科技有限公司 | 一种基于现代农业的覆土机械车 |
CN113068506B (zh) * | 2021-04-16 | 2022-06-03 | 湖南生物机电职业技术学院 | 一种大棚果园割草机器人及其控制方法 |
CN114747360A (zh) * | 2022-04-24 | 2022-07-15 | 佛山科学技术学院 | 一种除杂草机 |
CN116020813A (zh) * | 2022-12-19 | 2023-04-28 | 深圳市睿格晟设备有限公司 | 一种基于深度学习的智能清理方法及终端 |
CN118614250A (zh) * | 2024-08-13 | 2024-09-10 | 中国科学院合肥物质科学研究院 | 一种可沿草根切割除草的机器人 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6274204A (ja) * | 1985-09-25 | 1987-04-06 | 松山株式会社 | 除草機 |
WO2011152719A1 (en) * | 2010-05-31 | 2011-12-08 | Maredo B.V. | Device for removing weeds from lawns |
CN209238626U (zh) * | 2018-10-30 | 2019-08-13 | 永春佳荣纸箱有限公司 | 一种用于中央空调风管清洁的履带式清洁机器人 |
CN110602364A (zh) * | 2019-09-24 | 2019-12-20 | 合肥蓝优净环保科技有限公司 | Ccd采集摄像头自清洁机构 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2247932Y (zh) * | 1995-09-29 | 1997-02-26 | 寇长江 | 软带驮载刀片式收割机切割带 |
JP2010025872A (ja) * | 2008-07-24 | 2010-02-04 | Cosmo Ec Co Ltd | 芝刈機、目標板の位置座標の測位方法 |
CN204377420U (zh) * | 2014-12-26 | 2015-06-10 | 无锡市湖山植保机械厂 | 割草机的多方位割草刀组件 |
CN107509399A (zh) * | 2017-10-17 | 2017-12-26 | 中国科学院合肥物质科学研究院 | 一种绿色智能除草机器人 |
CN207601478U (zh) * | 2017-12-25 | 2018-07-10 | 深圳市美鼎恒自动化科技有限公司 | 一种带自动清洁装置的工业相机 |
CN109511356B (zh) * | 2019-01-08 | 2023-10-24 | 安徽农业大学 | 一种基于深度视觉的智能除草机器人系统及控制方法 |
-
2019
- 2019-09-02 CN CN201910824275.XA patent/CN110419315B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6274204A (ja) * | 1985-09-25 | 1987-04-06 | 松山株式会社 | 除草機 |
WO2011152719A1 (en) * | 2010-05-31 | 2011-12-08 | Maredo B.V. | Device for removing weeds from lawns |
CN209238626U (zh) * | 2018-10-30 | 2019-08-13 | 永春佳荣纸箱有限公司 | 一种用于中央空调风管清洁的履带式清洁机器人 |
CN110602364A (zh) * | 2019-09-24 | 2019-12-20 | 合肥蓝优净环保科技有限公司 | Ccd采集摄像头自清洁机构 |
Non-Patent Citations (2)
Title |
---|
基于机器视觉的田间杂草形状特征识别技术研究进展;胡嵘;;湖北农机化(第01期);全文 * |
杂草自动识别除草机器人设计――基于嵌入式Web和ZigBee网关;李碧青;朱强;郑仕勇;陈科尹;;农机化研究(第01期);全文 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11852726B2 (en) | 2021-02-05 | 2023-12-26 | Anyang Yidu Network Technology Company | Image processing-based laser emission and dynamic calibration apparatus and method, device and medium |
Also Published As
Publication number | Publication date |
---|---|
CN110419315A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110419315B (zh) | 一种异物清除装置及其控制方法 | |
CN110421580B (zh) | 一种田间智能机器人及其工作方法 | |
US11425866B2 (en) | Automated pruning or harvesting system for complex morphology foliage | |
Blasco et al. | AE—Automation and emerging technologies: Robotic weed control using machine vision | |
CN103999635B (zh) | 基于机器视觉的智能化自动切割式采茶机及工作方法 | |
CN107182448A (zh) | 一种采棉机器人 | |
CN110122073B (zh) | 一种基于机器视觉的草莓采摘机器人 | |
Michaels et al. | Vision-based high-speed manipulation for robotic ultra-precise weed control | |
CN106702937A (zh) | 一种自动清扫的清洁车及其自动驾驶方法 | |
CN107860366B (zh) | 一种移动式温室作物信息测量与诊断系统 | |
CN113396650B (zh) | 一种智能蔬菜株间除草装置及控制方法 | |
CN205336853U (zh) | 一种智能避障割草机器人 | |
CN109392462A (zh) | 采摘黄花菜的机器人及方法 | |
CN114037552B (zh) | 一种肉鸭生理生长信息巡检方法及系统 | |
Hu et al. | Simplified 4-DOF manipulator for rapid robotic apple harvesting | |
CN103752531A (zh) | 一种基于机器视觉的烟叶分拣机 | |
Silwal et al. | Bumblebee: A Path Towards Fully Autonomous Robotic Vine Pruning. | |
CN114063615A (zh) | 棚内垄间农药喷洒智能车的倒车导航控制方法及系统 | |
CN114779692A (zh) | 一种直线滑台式除草机器人及其控制方法 | |
CN210900392U (zh) | 一种异物清除装置 | |
CN113812262A (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
CN216982681U (zh) | 一种条状基质槽乔木扦插机器人 | |
CN107509399A (zh) | 一种绿色智能除草机器人 | |
CN118216493A (zh) | 基于杂草自主识别的除杂草装置及方法 | |
Hu et al. | Design and experiment of a new citrus harvesting robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |