CN110134129B - 基于深度学习和adrc控制的水田除草机自动避苗系统 - Google Patents
基于深度学习和adrc控制的水田除草机自动避苗系统 Download PDFInfo
- Publication number
- CN110134129B CN110134129B CN201910440859.7A CN201910440859A CN110134129B CN 110134129 B CN110134129 B CN 110134129B CN 201910440859 A CN201910440859 A CN 201910440859A CN 110134129 B CN110134129 B CN 110134129B
- Authority
- CN
- China
- Prior art keywords
- seedling
- rice seedling
- weeding
- module
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009333 weeding Methods 0.000 title claims abstract description 91
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 title claims abstract 14
- 241000209094 Oryza Species 0.000 claims abstract description 94
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 94
- 235000009566 rice Nutrition 0.000 claims abstract description 94
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 49
- 238000012795 verification Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 9
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000006378 damage Effects 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002363 herbicidal effect Effects 0.000 description 2
- 239000004009 herbicide Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 231100000674 Phytotoxicity Toxicity 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009418 agronomic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Guiding Agricultural Machines (AREA)
- Soil Working Implements (AREA)
Abstract
本发明公开了一种基于深度学习和ADRC控制的水田除草机自动避苗系统，包括：图像采集模块M0，基于SSD算法的稻苗检测模块M1，苗线拟合模块M2，基于ADRC算法的控制模块M3；通过图像采集模块采集稻苗图像，输入到稻苗检测模块M1中，通过SSD目标检测算法模型进行检测识别，得到识别结果；根据识别结果拟合出苗列线，采用最大最小值间距优化算法，通过输入的苗列线信息对除草轮的位置进行优化，得到除草轮的目标位置yr；以目标位置yr为控制目标，通过ADRC控制器实现除草过程的自抗扰控制，最大限度地降低伤苗率；且在不增加传感器情况下，提高控制精度，降低除草机的制造成本；解决水稻田复杂作业环境下智能、高效、低损机械除草的关键技术问题。
Description
技术领域
本发明涉及测量装置技术领域，具体涉及一种光感式智能体型维度尺。
背景技术
农田生态系统中，杂草是造成农作物产量下降和品质降低的主要原因之一，因此除草任务变得尤为重要。农田除草方式主要可分为两种：化学除草和机械除草。对于化学除草来说，施用化学除草剂是一种简单高效的稻田杂草防控方式，可是除草剂的大量应用也带来了作物药害、杂草抗药性和环境污染等诸多负面问题。机械除草作为一种环境友好型的绿色除草方式，符合国家提出的质量兴农、绿色兴农的农业产业发展方向。
目前中国的农田除草机械，研究尚处在理论和试验研究阶段，尚未在生产中广泛应用；日本的研究机构和农机生产企业已经开发了一系列的水田除草机，但价格昂贵。由于农田环境的复杂性和农作物密植的农艺特点，采用纯机械除草方式存在着伤苗率高、除草率低、适应性差、作业效率低等问题。因此部分专家和学者提出了软硬件结合的除草方式，在农田除草机械的基础上引入机器视觉的方法，通过图像识别技术降低伤苗率。
然而传统的图像处理方法需要的步骤过多，复杂度较大，并且对于输入图像的质量要求较高，鲁棒性不够好。而单株稻苗的深度学习应用无法满足除草器械的自动避苗的需要。
发明内容
有鉴于此，本发明提供基于深度学习和ADRC控制的水田除草机自动避苗方法，综合运用深度学习、目标检测、自动控制等理论和方法，解决水稻田复杂作业环境下智能、高效、低损机械除草的关键技术问题。
为达到上述目的，本发明的技术方案是这样实现的：一种基于深度学习和ADRC控制的水田除草机自动避苗系统，包括：
图像采集模块M0，由工控机外接的摄像头传感器及其连接线组成。将摄取的实时视频信息流传送给下一个模块；
基于SSD算法的稻苗检测模块M1，包括稻苗目标检测模型M1.0，稻苗目标检测模型M1.0接受模块M0产生的视频信息流，对其中每一帧图像进行检测识别，生成识别结果，传送给下一个模块；识别结果至少包括稻苗坐标信息；
苗线拟合模块M2，接受稻苗目标检测模型M1.0生成的坐标信息，通过稻苗拟合模块拟合出苗列线方程，作为下一个模块输入；
基于ADRC算法的控制模块M3，通过苗线拟合模块M2输入的苗列线信息进行除草轮的位置优化，输出除草轮的目标位置yr。
进一步地，识别结果包括每一帧图像中每株稻苗周围产生标识稻苗位置的识别框，坐标信息是指稻苗所在位置的方形识别框的四个角坐标。
进一步地，苗线拟合模块M2通过四个角坐标计算出中点坐标，所述中点坐标代表稻苗所在位置，然后通过稻苗拟合模块拟合出苗列线方程。
进一步地，控制模块M3中输出除草轮的目标位置yr根据苗线拟合模块拟合出的苗线优化得到，优化按照Max-Min间距优化算法，优化计算的方程为：
其中，xij为除草轮与两边苗线的距离，xij是yr的函数，yr是除草轮的左右移动位移；i为除草轮编号，j＝1时，xi1表示除草轮i离左边苗线的距离，j＝2时，xi2表示除草轮i离右边苗线的距离；
上述方程的约束条件为：
di是苗线提取后获得的相邻两根苗线的间距。
进一步地，控制模块M3中通过ADRC控制器来控制所述除草轮的目标位置yr，ADRC控制器包括由跟踪微分器、扩张状态观测器和比例微分控制器组成。
进一步地，基于SSD算法的稻苗检测模块包括以下步骤：
一、建立SSD目标检测算法模型，预训练得到预训练模型；
二、采集稻面图像，构建稻苗图像数据库；
三、在预训练模型基础上训练，得到稻苗目标检测模型；
四、将验证数据输入到稻苗目标检测模型，得到识别结果。
其中步骤一包括以下具体步骤：
S0：建立SSD目标检测算法模型；
S1：在微软开源的COCO数据集上进行预训练；
S2：通过使用步骤S1中的公开数据集进行预训练得出相应的结构和权重；
S3：得到预训练模型。
其中步骤二包括以下具体步骤：
S4：通过人工采集的方式，在稻苗水田中采集稻苗图像数据，每张图像包含两个苗列，与除草机械上安装的摄像头传感器获得的稻苗图像信息一致。
S5：需要进行图像预处理；
S6：所述步骤S5中所包含的图像预处理步骤分别为尺寸归一化、旋转、去除模糊或非感兴趣区域图像；
S7：经过所述步骤S6预处理之后的图像组成稻苗图像数据库。
其中步骤三包括以下具体步骤：
S8：将图像数据库先划分为标注图像与未标注图像；
S9：所述步骤S8中的标注图像，组成训练数据用于模型的训练；未标注图像组成验证数据，用于训练后得到的模型的效果验证；
S10：所述步骤S9中的训练数据，进一步分为训练集和测试集；
S11：在所述步骤S3的预训练模型的基础上，使用所述步骤S10划分的数据集进行训练；
S12：所述步骤S11完成后生成最终的稻苗目标检测模型。
其中步骤四包括以下具体步骤：
S13：将所述步骤S9的验证数据输入到稻苗目标检测模型，得到识别结果，结果包括三部分：稻苗图像中每株稻苗周围产生标识稻苗位置的识别框、识别框上方将显示识别出来的种类名、置信度百分比。
有益效果：
本发明综合运用深度学习、目标检测、自动控制等理论和方法，本发明提出了除草过程的基于SSD算法的目标检测方案，与纯机械除草方案和机械-传统图像处理方案相比，加入了深度学习方法；结合迁移学习方法的稻苗检测模型的小样本训练方法，采用预训练模型为基础，用少量稻苗图片即可高效训练出效果很好的稻苗检测模型，避免了从零开始长时间训练；根据检测识别结果拟合出除草过程的苗列线；根据最大最小值间距优化算法，通过输入的苗列线信息对除草轮的位置进行优化，得到除草轮的目标位置yr；并通过ADRC控制器实现除草过程的自抗扰控制，最大限度地降低伤苗率，且在不增加传感器情况下，提高控制精度，降低除草机的制造成本；解决水稻田复杂作业环境下智能、高效、低损机械除草的关键技术问题。
附图说明
附图1为SSD算法网络结构图；
附图2为本发明的系统整体架构图；
附图3为本发明的基于SSD算法的稻苗检测模块；
附图4为本发明的采集到的图像示例图；
附图5为本发明的苗列检测效果示例图；
附图6为本发明的苗带线拟合结果示例图；
附图7为本发明的ADRC控制模块架构图；
附图8为本发明的除草机除草ADRC控制器内部结构图；
附图9为本发明的嵌入式除草控制器结构图。
具体实施方式
下面将结合附图和实施例对本发明进一步说明：
本发明提出了一种基于MobileNet框架下的SSD目标检测算法的多株稻苗定位并拟合苗列中心线的方法，解决了除草机械自动避苗的苗带引导需求。同时，采用了迁移学习中的预训练的思想，在公开数据集训练的模型的基础上进行自定义数据集的训练，从而实现小样本的前提下效果较好的目标检测结果。SSD算法即Single Shot MultiBox Detector作为one-stage类型的算法，它在保证一定精度的前提下，极大地提高了目标检测速率。SSD算法网络结构如图1所示，SSD基于一个前向传播卷积神经网络，产生一系列固定大小的检测框，以及每一个检测框中包含物体实例的可能性，即置信度。之后，进行一个非极大值抑制操作得到最终的预测。
本发明的系统整体结构如图2所示。包括图像采集模块M0，基于SSD 算法的稻苗检测模块M1，苗线拟合模块M2,基于ADRC算法的控制模块M3。其中每个模块的功能和作用如下：
模块M0：为图像采集模块，由工控机外接的摄像头传感器及其连接线组成。将摄取的实时视频信息流传送给下一个模块。
模块M1：为基于SSD算法的稻苗检测模块，该模块通过图3所示的一系列步骤，生成M1.0的稻苗目标检测模型，该模型接受模块M0产生的视频信息流，对其中每一帧图像进行检测，生成图3S13所述的信息，传送给下一个模块。
模块M2：为苗线拟合模块，该模块接受M1.0生成的坐标信息(所述坐标信息是指稻苗所在位置的方形识别框的四个角坐标)，然后通过四个角坐标计算出中点坐标，即代表稻苗所在位置。然后通过稻苗拟合模块拟合出苗列线方程，作为下一个模块输入。
模块M3：基于ADRC算法的控制模块，通过给定苗列线信息进行除草轮的位置优化，最后输出除草轮的目标位置yr。
(一)、基于SSD算法的稻苗检测模块
如图3为所述的基于SSD算法的稻苗检测模块，具体步骤说明如下：
步骤S0：在tensorflow开源框架下，考虑到稻苗除草的控制场景具有一定的实时性要求，因此建立MobileNet架构下的SSD目标检测算法模型，MobileNet主要是为了适用于移动端而提出的一种轻量级深度学习网络，使用了深度可分离卷积的方法减少了计算量。
步骤S1：在微软开源的COCO数据集上进行预训练。
步骤S2：通过使用步骤S1中的公开数据集进行预训练得出相应的结构和权重。这里结合迁移学习方法，实现了稻苗检测模型的小样本训练。后面的步骤将以预训练模型为基础，用少量稻苗图片即可高效训练出效果很好的稻苗检测模型，避免了从零开始长时间训练。
步骤S3：得到预训练模型，应用到我们的稻苗检测问题。
步骤S4：通过人工采集的方式，在稻苗水田中采集稻苗图像数据，原始数据尺寸为3648x 2048，采集对象为两到三周的水田稻苗图像，每张图像包含两个苗列，与除草机械上安装的摄像头传感器获得的稻苗图像信息一致。
步骤S5：如图4是采集到的稻苗数据举例，由于人工采集到的图像横竖角度不一致，并且由于采集设备像素很高，所得的图像尺寸过大，会造成深度学习模型处理的时间过长，不满足系统的实时性要求。因此需要进行图像预处理。
步骤S6：所述步骤S5中所包含的图像预处理步骤分别为尺寸归一化、旋转、去除模糊或非感兴趣区域图像，从而得到尺度为1280x 719、横向且无明显模糊的图像。
步骤S7：经过所述步骤S6预处理之后的图像组成稻苗图像数据库。图片数量总共为282张。
步骤S8：将图像数据库先划分为两部分：标注图像与未标注图像。其中取出200张图像，用开源工具Labelimg进行手工标注。剩余82张图像为未标注图像。
步骤S9：所述步骤S8中200张标注图像，将组成训练数据用于模型的训练。未标注的82张图像组成验证数据，用于训练后得到的模型的效果验证。
步骤S10：所述步骤S9中的训练数据，进一步分为两部分：训练数据中的80％组成训练集(train)，剩余的20％组成测试集(test)。
步骤S11：在所述步骤S3的预训练模型的基础上，使用所述步骤S10 划分的数据集进行训练。本发明软件的实现采用开源的Tensorflow架构和Python脚本语言，硬件配置GPU采用NVIDIA TITAN X(Pascal)，显存为12189MiB。基于该硬件配置算法运行速度可达到0.1s/幅1280x 719 大小的图像。
步骤S12：所述步骤S11完成后生成最终的稻苗目标检测模型。
步骤S13：将所述步骤S9的验证数据输入到稻苗目标检测模型，即可得到识别结果，结果包括三部分：稻苗图像中每株稻苗周围产生标识稻苗位置的识别框、识别框上方将显示识别出来的种类名(该任务中只有一种，即稻苗rice)、种类名右侧会显示出置信度百分比。其识别效果如图5所示。
(二)、苗线拟合
在模块M1基于SSD算法的稻苗检测模块完成稻苗检测识别后，该模块接受M1.0中步骤S13生成的坐标信息，然后通过四个角坐标计算出中点坐标，即代表稻苗所在位置。然后通过稻苗拟合模块拟合出苗列线方程。
在如图6所示绿色框为稻苗检测识别框，左上角标注有识别种类(稻苗rice)及其置信度百分比。红色点为通过角坐标计算出来中点，点之间的红色线为最小二乘法拟合的苗列线，最终可得到两条苗列线的直线方程。而苗列之间的蓝色中线为除草轮的理想轨迹。
其中，中点计算公式如下：
(三)、基于ADRC算法的控制模块M3
如图7所示为基于ADRC算法的控制模块，具体步骤说明如下：
步骤S0：为Max-Min间距优化算法，除草轮-苗带间距的最大最小值(Max-Min)的优化按照式(2)进行优化：
式(2)和式(3)中xij为除草轮与两边苗线的距离，它是yr的函数， yr是除草轮的左右移动位移；i为除草轮编号，j＝1时，xi1表示除草轮i 离左边苗线的距离，j＝2时，xi2表示除草轮i离右边苗线的距离；式(3) 是优化的约束条件，di是苗线提取后获得的相邻两根苗线的间距；通过优化变量yr使得各个除草轮与其相邻苗线的距离xij中的最小值达到最大，此时的优化值yr作为除草轮控制回路的控制目标，除草轮的实时位置通过连杆机构来调节。
步骤S1：为ADRC控制器。其内部结构如图8所示。
ADRC控制器主要由TD(跟踪微分器)、ESO(扩张状态观测器)和 PD(比例微分控制器)组成，b0是被控对象连杆和除草轮的控制增益的粗略估计。
TD用于安排过渡过程，把实时参考苗线yr进行光滑处理，得到其光滑的过渡曲线及其导数r1和r2用于后续PD控制器前的求差运算；此外， TD还产生r3用于设定值前馈控制。为了保证有限时间收敛，采用非线性 TD，系统方程如式(4)所示。
其中sgn()为符号函数，R的取值表示yr的跟踪快慢，取4，具体数值可以根据连杆机构和除草轮调整，该非线性TD对其取值不敏感。
ESO把连杆结构和除草过程的输入u(通过b0放大)和输出y经过ESO 算法得到z1和z2以及等效到输入侧的系统总扰动z3，其中z1和z2用于求取跟踪误差及其导数，z3用于直接对扰动进行补偿。在保证性能的情况下，为了简化计算，采用线性ESO，系统方程如式(5)所示。
其中β1、β2和β3是多项式(s+ωo)3＝s3+β1s2+β2s+β3的系数，取ωo＝2，具体数值可由连杆机构和除草轮调整。
采用线性PD控制器得到u0，PD控制器方程如式(6)所示。
u0＝k1(r1-Z1)+k2(r2-Z2) (6)
其中k1和k2是多项式(s+ωc)2＝s2+k1s+k2的系数，取ωc＝1，具体数值可由连杆机构和除草轮调整。最终的系统控制输入为：
从式(7)可以看出，最终的控制量包括前馈控制量r3、补偿控制量z3和反馈控制量u0，因此比普通的PID控制能够更好地保证和提高控制系统性能。
为了降低生产成本和保证控制系统可靠性，控制器采用嵌入式系统的方式实现。选用STM32F466RE作为MCU，其内核ARM Cortex-M4含DSP 和FPU指令，支持浮点运算，工作频率高达180MHz，Flash/RAM为 512KB/128KB，具有ADC输入、USART通信接口，DAC和PWM输出，满足除草控制的需求。图9给出了其硬件结构图。
图9的硬件电路包括用于位移测量的电位器测量电路及其校正电路，输出电路包括DAC输出驱动电路和PWM输出驱动电路，设置两种不同的输出电路方便不同的液压驱动接口，通过RS422电路与图像采集和识别设计接口，通过LED指示和按钮输入电路实现简单的人机界面。采用实时操作系统FreeRTOS，一个任务周设置为30毫秒，保证实时控制。
步骤S2：所述除草过程的执行机构部分由液压模块驱动。
步骤S3：所述除草过程所用的除草轮采用连杆机构设计。
步骤S4：为精密塑料电位器接近开关。采用精密塑料电位器测量连杆机构(与除草轮刚性连接)的位移，应用塑料电位器的耐磨特性保证除草机工作的可靠性，并采用接近开关进行精密塑料电位器的自动刻度校正，简化除草机的安装、调试，方便普通农民大众使用。在除草过程中，除草机不断抖动、液压压力波动、连杆机构磨损和变形、因速度变化引起的延时变化等都影响控制质量，除了采用经典的滤波技术外，还创新地应用了ADRC技术实现在不增加传感器情况下，提高控制精度。控制器通过精密塑料电位器获得除草轮的实时位置后，与除草轮位置设定值进行比较获得测到误差，控制器采用ADRC(自抗扰控制)算法实现 Max-Min的优化控制。
以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施过程中可能存在局部微小的结构改动，如果对本发明的各种改动或变型不脱离本发明的精神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。
Claims (7)
1.一种基于深度学习和ADRC控制的水田除草机自动避苗系统，包括：
图像采集模块M0，由工控机外接的摄像头传感器及其连接线组成，将摄取的实时视频信息流传送给下一个模块；
基于SSD算法的稻苗检测模块M1，包括稻苗目标检测模型M1.0，稻苗目标检测模型M1.0接受模块M0产生的视频信息流，对其中每一帧图像进行检测识别，生成识别结果，传送给下一个模块；所述识别结果至少包括稻苗坐标信息；
苗线拟合模块M2，接受稻苗目标检测模型M1.0生成的坐标信息，通过稻苗拟合模块拟合出苗列线方程，作为下一个模块输入；
基于ADRC算法的控制模块M3，通过苗线拟合模块M2输入的苗列线信息进行除草轮的位置优化，输出除草轮的目标位置yr；
所述识别结果包括每一帧图像中每株稻苗周围产生标识稻苗位置的识别框，所述坐标信息是指稻苗所在位置的方形识别框的四个角坐标；
所述苗线拟合模块M2通过四个角坐标计算出中点坐标，所述中点坐标代表稻苗所在位置，然后通过稻苗拟合模块拟合出苗列线方程；
所述控制模块M3中输出除草轮的目标位置yr根据苗线拟合模块拟合出的苗线优化得到，所述优化按照Max-Min间距优化算法，优化计算的方程为：
其中，xij为除草轮与两边苗线的距离，xij是yr的函数，yr是除草轮的左右移动位移；i为除草轮编号，j＝1时，xi1表示除草轮i离左边苗线的距离，j＝2时，xi2表示除草轮i离右边苗线的距离；
上述方程的约束条件为：
di是苗线提取后获得的相邻两根苗线的间距。
2.根据权利要求1所述的基于深度学习和ADRC控制的水田除草机自动避苗系统，其特征在于：控制模块M3中通过ADRC控制器来控制所述除草轮的目标位置yr，ADRC控制器包括由跟踪微分器、扩张状态观测器和比例微分控制器组成。
3.根据权利要求1-2中任一项所述的基于深度学习和ADRC控制的水田除草机自动避苗系统，其特征在于：所述基于SSD算法的稻苗检测模块包括以下步骤：
一、建立SSD目标检测算法模型，预训练得到预训练模型；
二、采集稻面图像，构建稻苗图像数据库；
三、在预训练模型基础上训练，得到稻苗目标检测模型；
四、将验证数据输入到稻苗目标检测模型，得到识别结果。
4.根据权利要求3所述的基于深度学习和ADRC控制的水田除草机自动避苗系统，其特征在于：其中步骤一包括以下步骤：
S0：建立SSD目标检测算法模型；
S1：在微软开源的COCO数据集上进行预训练；
S2：通过使用步骤S1中的公开数据集进行预训练得出相应的结构和权重；
S3：得到预训练模型。
5.根据权利要求4所述的基于深度学习和ADRC控制的水田除草机自动避苗系统，其特征在于：其中步骤二包括以下步骤：
S4：通过人工采集的方式，在稻苗水田中采集稻苗图像数据，每张图像包含两个苗列，与除草机械上安装的摄像头传感器获得的稻苗图像信息一致；
S5：需要进行图像预处理；
S6：步骤S5中所包含的图像预处理步骤分别为尺寸归一化、旋转、去除模糊或非感兴趣区域图像；
S7：经过步骤S6预处理之后的图像组成稻苗图像数据库。
6.根据权利要求5所述的基于深度学习和ADRC控制的水田除草机自动避苗系统，其特征在于：其中步骤三包括以下步骤：
S8：将图像数据库先划分为标注图像与未标注图像；
S9：步骤S8中的标注图像，组成训练数据用于模型的训练；未标注图像组成验证数据，用于训练后得到的模型的效果验证；
S10：步骤S9中的训练数据，进一步分为训练集和测试集；
S11：在步骤S3的预训练模型的基础上，使用步骤S10划分的数据集进行训练；
S12：步骤S11完成后生成最终的稻苗目标检测模型。
7.根据权利要求6所述的基于深度学习和ADRC控制的水田除草机自动避苗系统，其特征在于：其中步骤四包括以下步骤：
S13：将步骤S9的验证数据输入到稻苗目标检测模型，得到识别结果，结果包括三部分：稻苗图像中每株稻苗周围产生标识稻苗位置的识别框、识别框上方将显示识别出来的种类名、置信度百分比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910440859.7A CN110134129B (zh) | 2019-05-24 | 2019-05-24 | 基于深度学习和adrc控制的水田除草机自动避苗系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910440859.7A CN110134129B (zh) | 2019-05-24 | 2019-05-24 | 基于深度学习和adrc控制的水田除草机自动避苗系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110134129A CN110134129A (zh) | 2019-08-16 |
| CN110134129B true CN110134129B (zh) | 2020-02-14 |
Family
ID=67581622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910440859.7A Active CN110134129B (zh) | 2019-05-24 | 2019-05-24 | 基于深度学习和adrc控制的水田除草机自动避苗系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110134129B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110843924B (zh) * | 2019-11-29 | 2024-09-27 | 安徽农业大学 | 一种基于高地隙底盘的苗带对行辅助控制方法及其机构 |
| CN113065501B (zh) * | 2021-04-15 | 2024-03-22 | 黑龙江惠达科技股份有限公司 | 苗线识别的方法、装置和农机 |
| CN114830911B (zh) * | 2022-05-19 | 2023-08-01 | 苏州大学 | 智能除草方法、装置和存储介质 |
| CN115119546B (zh) * | 2022-07-19 | 2024-03-12 | 华南农业大学 | 一种基于视-触觉融合感知的稻田自适应柔性机械除草机 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102598903A (zh) * | 2012-02-21 | 2012-07-25 | 华南农业大学 | 一种株间机械除草爪齿避苗控制方法 |
| CN106912207A (zh) * | 2017-03-12 | 2017-07-04 | 张保银 | 一种用于株间距除草机器人 |
| CN107295818A (zh) * | 2017-07-20 | 2017-10-27 | 华南农业大学 | 水田除草机自动避苗系统及方法 |
| CN109511361A (zh) * | 2019-01-08 | 2019-03-26 | 安徽农业大学 | 一种农田专用除草机器人及其控制方法 |
| CN109676624A (zh) * | 2019-01-28 | 2019-04-26 | 东北农业大学 | 一种基于深度学习的田间目标检测机器人平台 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101707992B (zh) * | 2009-10-15 | 2011-01-05 | 南京林业大学 | 高效除草机器人 |
| CN103020595B (zh) * | 2012-12-05 | 2015-08-12 | 汤烈 | 基于三维飞行时间法成像的农作物-杂草识别及定位方法 |
| JP2016052276A (ja) * | 2014-09-03 | 2016-04-14 | 一久 池田 | 防除草機 |
| CN106912208B (zh) * | 2015-12-24 | 2022-10-25 | 哈尔滨华日义天节能环保设备有限公司 | 一种基于影像识别技术的除草机器人 |
| CN105657375B (zh) * | 2016-03-03 | 2019-05-07 | 华南农业大学 | 气动式水稻避苗装置的控制系统及其控制、监测方法 |
| CN105844632B (zh) * | 2016-03-21 | 2018-10-16 | 华南农业大学 | 基于机器视觉的稻株识别与定位方法 |
-
2019
- 2019-05-24 CN CN201910440859.7A patent/CN110134129B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102598903A (zh) * | 2012-02-21 | 2012-07-25 | 华南农业大学 | 一种株间机械除草爪齿避苗控制方法 |
| CN106912207A (zh) * | 2017-03-12 | 2017-07-04 | 张保银 | 一种用于株间距除草机器人 |
| CN107295818A (zh) * | 2017-07-20 | 2017-10-27 | 华南农业大学 | 水田除草机自动避苗系统及方法 |
| CN109511361A (zh) * | 2019-01-08 | 2019-03-26 | 安徽农业大学 | 一种农田专用除草机器人及其控制方法 |
| CN109676624A (zh) * | 2019-01-28 | 2019-04-26 | 东北农业大学 | 一种基于深度学习的田间目标检测机器人平台 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于机器视觉的株间机械除草装置的作物识别与定位方法》;胡炼 等;《农业工程学报》;20130531;第12-18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110134129A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110134129B (zh) | 基于深度学习和adrc控制的水田除草机自动避苗系统 | |
| CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
| CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
| CN109087303A (zh) | 基于迁移学习提升语义分割模型效果的框架 | |
| WO2023050783A1 (zh) | 除草机器人及其除草路径的规划方法、装置和介质 | |
| CN111260649B (zh) | 一种近距离机械臂感知与校准方法 | |
| CN110065068A (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
| Cao et al. | Improved real-time semantic segmentation network model for crop vision navigation line detection | |
| CN115272187A (zh) | 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 | |
| Magistri et al. | Towards in-field phenotyping exploiting differentiable rendering with self-consistency loss | |
| CN114310883A (zh) | 一种基于多知识库的机械臂自主装配方法 | |
| CN118096891B (zh) | 一种基于采摘机器人的茶芽叶位姿估计方法和系统 | |
| Rao | Design of automatic cotton picking robot with Machine vision using Image Processing algorithms | |
| Dong et al. | Tree morphology for phenotyping from semantics-based mapping in orchard environments | |
| Xiong et al. | Real-time localization and 3D semantic map reconstruction for unstructured citrus orchards | |
| Shoshan et al. | Segmentation and motion parameter estimation for robotic Medjoul-date thinning | |
| He et al. | Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera | |
| CN117115769A (zh) | 一种基于语义分割网络的植株检测与定位方法 | |
| CN117428777A (zh) | 一种拆袋机器人的手眼标定方法 | |
| CN116977862A (zh) | 一种植物生长阶段视频检测方法 | |
| Zhang et al. | A novel hand-eye calibration method of picking robot based on TOF camera | |
| CN113960921B (zh) | 果园履带车辆视觉导航控制方法与系统 | |
| CN115451965A (zh) | 基于双目视觉的插秧机插植系统相对航向信息检测方法 | |
| CN114764827A (zh) | 一种自适应低光照场景下的桑叶病虫害检测方法 | |
| Kumar et al. | Solar Power Based Multipurpose Agriculture Robot with Leaf-Disease Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |