CN113850117A - 一种水稻插秧机性能检测系统及方法 - Google Patents

一种水稻插秧机性能检测系统及方法 Download PDF

Info

Publication number
CN113850117A
CN113850117A CN202110789926.3A CN202110789926A CN113850117A CN 113850117 A CN113850117 A CN 113850117A CN 202110789926 A CN202110789926 A CN 202110789926A CN 113850117 A CN113850117 A CN 113850117A
Authority
CN
China
Prior art keywords
seedling
image
seedlings
rice
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110789926.3A
Other languages
English (en)
Other versions
CN113850117B (zh
Inventor
马立新
张平
朱伟
王超柱
张婕
刘颖
夏利利
刘德营
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TEST EVALUATION STATION FOR AGRICULTURE MACHINE OF JIANGSU PROVINCE
Original Assignee
TEST EVALUATION STATION FOR AGRICULTURE MACHINE OF JIANGSU PROVINCE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TEST EVALUATION STATION FOR AGRICULTURE MACHINE OF JIANGSU PROVINCE filed Critical TEST EVALUATION STATION FOR AGRICULTURE MACHINE OF JIANGSU PROVINCE
Priority to CN202110789926.3A priority Critical patent/CN113850117B/zh
Publication of CN113850117A publication Critical patent/CN113850117A/zh
Application granted granted Critical
Publication of CN113850117B publication Critical patent/CN113850117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种水稻插秧机性能检测系统及方法，系统包括无人机，在无人机下方设置一相机，相机具有图像存储介质，图像存贮存储介质通过有线或无线与计算机进行通信，计算机具有数据处理单元，对所获得的图像进行数据处理，并根据处理结果判断水稻插秧机性能是否达到设定标准。本发明以无人机为平台，融合图像处理技术来提高田间作业机械性能检测的工作效率。

Description

一种水稻插秧机性能检测系统及方法
技术领域
本发明属于图像处理技术领域，涉及一种水稻插秧机插秧性能鉴定系统及方法。
背景技术
在田间作业机械的性能检测方面，还依赖于传统的测试装备与试验方法，设备自动化水平低，鉴定过程信息化程度低，采集样本数据依赖人为主观意识等问题，需要用新的检测方法和设备来提高田间作业机械性能检测的自动化水平。
插秧机在国内外较为成熟并普遍使用，插秧机的主要技术特点，一是基本苗、栽插深度、株距等指标可以量化调节，插秧机所插基本苗由每亩所插的穴数及每穴株数所决定，根据水稻群体质量栽培扩行减苗等要求，插秧机行距和株距可以按照设定距离进行设定，并且可以进行多档或无级调整，达到适宜基本苗要求，同时插深也可以通过手柄方便地精确调节，能充分满足农艺技术要求。目前判断水稻插秧机的工作性能主要靠主观判断，包括如何识别得到漏插穴数、漂秧数、伤秧数等指标，自动化水平低。
发明内容
本发明所要解决的技术问题是，如何实现对水稻插秧机性能的自动检测，得到漏插穴数、漂秧数、伤秧数等性能指标。
为解决上述技术问题，本发明提供一种水稻插秧机性能检测系统，包括无人机，在无人机下方设置一相机，相机具有图像存储介质，图像存贮存储介质通过有线或无线与计算机进行通信，计算机具有数据处理单元，对所获得的图像进行数据处理，并根据处理结果判断水稻插秧机性能是否达到设定标准。
所述数据处理单元包括以下程序模块：
预处理模块：对原始图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；
特征参数提取模块：通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据；
分类模型建立模块：建立BP神经网络模型，将特征参数提取模块提取的秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；
秧苗形态识别模块：利用分类模型建立模块得到的最优BP神经网络模型，将预处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别。
一种水稻插秧机性能检测方法，包括以下步骤：
步骤一.获得原始水稻图像，对原始水稻图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；
步骤二.通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据；
步骤三.建立BP神经网络模型，将特征参数提取模块提取的6类秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；
步骤四.利用步骤三得到的最优BP神经网络模型，将预处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别，最终显示识别结果。
本发明所达到的有益效果：本发明的一种水稻插秧机性能检测系统，以无人机为平台，融合图像处理技术来提高田间作业机械性能检测的工作效率。利用无人机对其工作过的秧田进行低飞拍照，再对图片进行秧苗分割识别得到漏插穴数，漂秧数，伤秧数等，判断水稻插秧机的工作性能，实现对水稻插秧机的漏插率、漂秧率和伤秧率进行自动化检测。
同时，本发明使用无人机航拍，通过图像处理，通过相关特征数据，计算目标参数，得到试验项目结果，弥补传统手段的局限性，减少检测人员工作量，降低人为干扰，提高检测过程中工作效率，方便保存试验数据。
附图说明
图1是本发明的水稻插秧机性能检测系统硬件与软件示意图；
图2为手机端无线下载秧苗图像图；
图3为一穴秧苗图像处理示意图；
图4为多穴秧苗图像处理示意图；
图5为多穴连续秧苗形态识别结果图，a为有水稻田秧苗，b为无水稻田秧苗。
具体实施方式
下面结合附图对本发明作进一步详细的描述。
实施例1
本发明提供的一种水稻插秧机性能检测系统，包括无人机，在无人机下方设置一相机，相机具有图像存储介质，图像存贮存储介质通过有线或无线与计算机进行通信，计算机具有数据处理单元，对所获得的图像进行数据处理，并根据处理结果判断水稻插秧机性能是否达到设定标准。
如图1所示，本实施例中，为获取高清的稻田秧苗图像，采用大疆精灵四 RTK版作为图像采集装置，所述大疆精灵四RTK版包括无人机，机身上的圆柱形RTK天线头是区别于普通无人机的显著特征之一，使得此无人机拥有更好的抗磁干扰能力与精准定位能力，通过遥控器登录千寻账号后，将提供厘米级的定位数据，继而在郊外农田中规划航线时能更安全可靠地获取秧苗信息。机身下方搭载的2000万像素的一英寸CMOS相机，满足后续处理手段对图片的清晰度要求。
大疆精灵四RTK版专属的SDK(Software Development Kit)遥控器直接连接Android或iOS移动设备，运行DJI Pilot，GS Pro地面站专业版等应用程序。 CMOS相机的摄像头拍摄实时视频和照片，下载保存至相机存储介质中，所述相机存储介质为SD卡或固态硬盘；或利用4G网卡将图像由移动设备上传到云端服务器，再由指挥中心的计算机下载下来，进行快速数据处理。即使摄像头正在将图像或视频捕获到存储介质中，预览图和完整图像数据也能允许在移动设备上查看。
图像采集前期工作：在目标地区的水稻插秧时间，利用图像采集装置进行图像采集，获取完整清晰的稻田秧苗图像。选择天气炎热干燥，风力影响小，满足无人机起飞条件，适合获取秧苗各个形态的航拍图片。无人机飞行高度为 2m，速度1m/s，拍摄的稻田秧苗样本集的部分图像如图4(a)所示。
所述数据处理单元包括以下程序模块：
预处理模块：由于光线强度和泥田成分复杂等原因导致相机成像特性存在差异，需要对原图进行预处理以获得标准统一的初步图像。
对原始图像进行预处理，将水稻秧苗图像从泥田背景中分离出来，预处理过程依次包括灰度化处理、阈值分割、二值化、形态学滤波处理。
灰度化处理：去除原始图像RGB包含的冗余信息，减少后续过程的计算量；
通过OTSU阈值分割法：OTSU是由日本学者大津(Nobuyuki Otsu)提出的一种自适应阈值确定方法，OTSU阈值分割法不受图像亮度和对比度的影响，按照灰度特性将图像分成前景(即目标)和背景(即环境)两部分，通过遍历图像中所有像素点得到阈值T，使得前景和背景两部分的像素区分度最大，由于秧苗自身与泥田背景存在较大颜色差异，可以得出一个阈值T来区分两者，为下一步的二值化确定参数。
二值化：利用秧苗的绿色与泥田的土褐色差异，得到二值化图片；
形态学滤波处理：二值化图片中还存在孤立的噪声点，边界存在凸刺、凹坑等现象，对下一步的特征参数提取造成干扰，通过对图片进行形态学运算，包括腐蚀、膨胀、开运算和闭运算等操作消除噪声，得到标准化的秧苗图像。本系统基于开运算、闭运算设计形态学滤波器，通过开运算去除泥田背景中的细小尖刺和离散噪声，通过闭运算填充目标秧苗内部的细小孔洞、平滑目标区域的边缘，两种运算处理后，目标的形状轮廓基本保持不变。
形态学滤波过程：
1)开运算：通过半径为m1(如5)像素的圆盘形滤波器对二值图像进行开运算处理，保持目标秧苗区域尺寸与形状不失真，同时消除比圆盘滤波器小的噪声，利用滤波器B对图像A进行开运算，定义为：
Figure BDA0003160466910000061
式中，
Figure BDA0003160466910000062
表示做开运算，
Figure BDA0003160466910000063
表示腐蚀操作
Figure BDA0003160466910000064
表示膨胀操作，即开运算是先对图像进行腐蚀，然后再进行膨胀操作；
2)闭运算：通过长度为m2(如5)、角度为β(如45°)的线形滤波器，对二值图像进行闭运算处理，填充秧苗内部区域并对区域边缘进行光滑处理，
利用滤波器B对图像A进行闭运算，定义为：
Figure BDA0003160466910000065
式中，·表示做闭运算，
Figure BDA0003160466910000066
表示膨胀运算
Figure BDA0003160466910000067
表示腐蚀运算，即闭运算是先对图像进行膨胀，然后再进行腐蚀操作。
特征参数提取模块：图像特征是对图像的抽象描述，通过提取图像特征参数，完成对图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU(HU Ming-Kuei，Visual pattern recognition by moment invariants)不变矩等参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据。
分类模型建立模块：建立BP神经网络模型，将特征参数提取模块提取的6 类秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层。
对预处理后的图像进行特征提取后，运用分类器对特征参数进行分类，以区分正作用特征参数和副作用特征参数，降低特征参数维度、减少过拟合；再对已知数据类型样本的特征参数进行有效性筛选和提取，采用反向传播算法对多层前馈的神经网络的权值和误差进行重复调整训练，使BP神经网络对输入特征参数的预测结果与期望向量的差满足设定要求，为秧苗形态识别提供最终的判断结果。
建立分类模型具体步骤为：
1)对前期采集到稻田秧苗原图A进行裁剪，将合格秧苗单穴图像B、漂秧单穴图像C、伤秧单穴图像D分离出来，将合格秧苗单穴图像B、漂秧单穴图像C、伤秧单穴图像D类图像分别置于Data文件夹内的合格秧苗子文件夹、漂秧子文件夹和伤秧子文件夹中；
通过MATLAB软件读取图像，并运行相关函数，如rgb2gray灰度化函数、 im2bw二值化函数、imdilate膨胀函数、imerode腐蚀函数、bwareaopen降噪函数、regionprops区域属性函数、invmoments图像矩函数等，计算特征参数结果，将Data文件夹内的图像数据在各子文件夹内按设定比例随机划分作为训练集、验证集和测试集；并对训练集中的特征参数数据做归一化处理，构成输入矩阵。
具体地，经裁剪后，在Data文件夹中，合格秧苗子文件夹内有B类合格秧苗图像DZ张(如1000张)，漂秧子文件夹内有C类漂秧图像DZ张(如1000张)，伤秧子文件夹内有D类伤秧图像DZ张(如1000张)，在三个子文件夹中，分别随机选取所有图像的a％张图像，即a％DZ*3(如70％，即700张合格秧苗图像，漂秧图像与伤秧图像，共2100张图像作为训练集样本)；分别指定所有图像的b％(如20％)作为验证集,即b％DZ*3；分别指定所有图像的c％(如10％) 作为测试集，即c％DZ*3；a％+b％+c％＝100％。
2)在MATLAB环境下创建BP神经网络，包括输入层、隐含层和输出层，各层之间互连，输入层节点个数选择输入有效特征向量维数，隐含层节点个数通过反复试凑选择出准确度最高、误差最小的结果，输出层节点个数取输出结果向量维数，对于一张单穴秧苗图片输出结果为三种秧苗类别的其中之一；
3)将步骤1)中训练集中经过归一化处理后的特征参数数据集载入输入层，包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩；在三层BP神经网络中，隐含层神经元的激活函数为logsig函数(线性函数)，输出层激活函数为purelin函数(非线性函数)，所述激活函数用于对神经元输出做线性和非线性变换；
4)选择BP神经网络的训练函数为traingdx函数(梯度下降自适应学习率训练函数)，学习函数为learngdm函数(梯度下降动量学习函数)，学习函数利用神经元的输入与误差、权值或阈值的学习速率来修改权值和阈值的增量，使单个神经元输出误差最小，当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少；当误差对权值的偏导数小于零时，权值调整量为正，实际输出小于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少；调整期间阈值会跟随权值一起自动调整；
5)设置网络权系数，所述网络权系数包括隐藏节点数、最大训练次数、训练要求精度、显示训练迭代过程和训练学习率等；在训练过程中训练函数(traingdx) 不断调用学习函数(learngdm)，通过检测是否达到设定的训练步数或训练结果是否达到精度要求，判断是否结束训练，得到最终的合格秧苗、漂秧和伤秧BP 神经网络模型；
6)读取步骤1)裁剪好的验证集单穴秧苗图像，计算相关特征参数数据，将所述特征参数数据送入BP神经网络的输入层，与步骤5)得到的BP神经网络模型匹配，输出秧苗类型的判断结果，判断结果为合格秧苗、漂秧、伤秧三种中的一种；将判断结果与单穴秧苗图像所在的步骤1)中子文件夹名称进行对比，对训练效果进行优劣评价；根据验证集的正确率再次调整超参数得到BP神经网络模型为最优，所述超参数包括学习率、隐含层中神经元的个数、迭代次数和训练集数据规模等；
7)依次读取测试数据集中未参与训练、验证过程的单穴秧苗图像，判断识别若干张，统计正确率。
秧苗形态识别模块：利用分类模型建立模块得到的最优BP神经网络模型训练模型，将无人机拍到的稻田中连续秧苗图像作为统计对象(软件可以对连续水稻图片自动分离单穴秧苗)，完成对水稻秧苗形态的识别，最终显示识别结果，并导出处理结果到EXCEL表格中，以满足鉴定人员的可视化需求。
处理结果示例：
以在某稻田采集到的的图片为实验样本，以秧苗质心间的距离判断是否有漏秧状况，以狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩共6组特征值作为漂秧与伤秧的区分标准，最终处理得到的结果如图5(a)、(b)所示。依据鉴定大纲DG/T 008-2019，通过人工对样本(a)、(b)计数，得出：(a) 中秧苗总数为30穴，漏插数为0，漂秧数为2，伤秧数为2，合格秧数为26；得出(b)中秧苗总数为50穴，漏插数为0，漂秧数为1，伤秧数为3，合格秧数为46。两者对比，可得出软件识别结果与人工观察结果存在细微差别，图(a) 中一穴伤秧未成功识别，图(b)中由于秧苗间出现黏连导致误判成漏插，总体误差在可允许范围内，正确率大于96.7％。统计结果说明，该算法具有可行性，设计思路合理可靠，但功能需要继续完善，准确率需要进一步提高。
一种水稻插秧机性能检测方法，包括以下步骤：
步骤一.获得原始水稻图像，对原始水稻图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；
步骤二.通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据；
步骤三.建立BP神经网络模型，将特征参数提取模块提取的6类秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；
步骤四.利用步骤三得到的最优BP神经网络模型，将预处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别，最终显示识别结果。
实施例2
在特征参数提取模块中，特征参数提取过程具体包括以下步骤：
1)通过预处理得到的秧苗图像，利用Regionprops函数属性选择质心坐标(Centroid)对秧苗代表的白色连通区域进行质心点标记，为了更好地分离出秧苗，对连通区域做膨胀处理，用每一个标记一(如红色的“*”)代表相应穴秧苗的质心；
2)提取秧苗的特征参数：秧苗的形状大小已知，但由于轮廓边界不规则，且秧苗朝向具有较强随机性，水平和垂直方向的投影距离不能直接代表其长度与宽度。所以先确定秧苗的主轴，然后计算反映秧苗形状特征的主轴方向上的长度和与垂直方向上的宽度，形成一外接矩形，所述外接矩形即为秧苗的最小外接矩形(Minimum Enclosing Rectangle，MER)，最小外接矩形的长宽比代表秧苗自身的狭长度，Matlab库函数中Minboundrect可提供周长最小(Minimum Perimter Bounding Rectangle，MPBR)和面积最小(Minimum AreaBounding Rectangle，MABR)的矩形，本实施例选择Area，即在秧苗轮廓外包围面积最小矩形，用秧苗Area内像素和与最小矩形面积之比得到矩形度，利用秧苗轮廓的内切圆与外接圆半径之比得到球状性，利用秧苗轮廓周长与区域面积关系计算出紧凑度、圆形度。
狭长度：定义秧苗轮廓外接矩形的狭长程度，又称长宽比，反映每穴秧苗在图像中投影的高度、宽度及秧苗区域方向，定义为L；
L＝longth/width (式3)
式中:longth为最小面积矩形的长边，width为最小面积矩形的宽边；
矩形度：定义秧苗对其外接矩形的充满程度，反映每穴秧苗的分叉情况，定义为R；
R＝SArea/SMABR (式4)
式中:SArea为秧苗所在区域的像素和，SMABR为最小矩形的面积；
球状性：定义秧苗区域内分别以质心为圆心，做内切圆与外接圆，反映秧苗的形状大小，定义为S；
S＝ri/rc (式5)
式中:ri为内切圆半径，rc为外接圆半径；
紧凑度：定义秧苗的紧凑程度，反映秧苗边缘轮廓的粗糙情况，定义为C；
Figure BDA0003160466910000111
式中:Perimeter为秧苗周长，即秧苗边界的像素点和；
圆形度：反应秧苗边界的复杂程度，反映秧苗的形态特征，定义为O；
Figure BDA0003160466910000112
式中:秧苗面积为SArea，周长为Perimeter，狭长度为L，π是圆周率常数；
Hu.M.K在1962年提出了一组特征量包括七个不变矩[M1,M2， M3,M4,M5,M6,M7]，并证明了M1～M7均具有平移、旋转和尺度不变性，利用矩函数可以描述图像形状的全局特征，用作图像识别，本实施例通过库函数Invmoments求得HU不变矩，设一穴水稻秧苗图像大小为L*H，L为图像的长， H为图像的宽，单位为像素，针对所述水稻秧苗图像，将像素的坐标看做一个二维随机变量(x,y)，f(x,y)代表该点处的灰度值，即得到下列图像矩的定义，
Figure BDA0003160466910000121
式中，m00为图像的零阶矩，代表图像的灰度总和；
Figure BDA0003160466910000122
Figure BDA0003160466910000123
Figure BDA0003160466910000124
Figure BDA0003160466910000125
式中，m10，m01均为图像的一阶矩，用于确定图像的灰度中心，即质心坐标为
Figure BDA0003160466910000126
其(p+q)阶矩mpq定义为：
Figure BDA0003160466910000127
其相应的(p+q)阶中心矩μpq定义为：
Figure BDA0003160466910000128
则对应的归一化中心矩ηpq定义为：
Figure BDA0003160466910000129
其中
Figure BDA00031604669100001210
p和q分别代表变量x，y的幂指数，p+q＝2，3，…；
Figure BDA0003160466910000131
根据上述形态特征公式，包括式(3)、式(4)、式(5)、式(6)、式 (7)和式(16)，对合格秧苗、漂秧、伤秧单穴图像处理，计算对应的形态参数，从而提取到6组特征，12组数据，并通过对若干组数据进行求和、平均、取方差等，得出不同形态秧苗的特征取值范围，所述6组特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩，所述12组数据包括L、R、S、C、O、M1、M2、M3、M4、M5、M6、M7。
其它技术特征与实施例1相同。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种水稻插秧机性能检测系统，包括无人机，在无人机下方设置一相机，相机具有图像存储介质，其特征在于：图像存贮存储介质通过有线或无线与计算机进行通信，计算机具有数据处理单元，对所获得的图像进行数据处理，并根据处理结果判断水稻插秧机性能是否达到设定标准；
所述数据处理单元包括以下程序模块：
预处理模块：对原始图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；
特征参数提取模块：通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，利用秧苗轮廓和形态特征判断是否存在漂秧、伤秧；
分类模型建立模块：建立BP神经网络模型，将特征参数提取模块提取的秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；
秧苗形态识别模块：利用分类模型建立模块得到的最优BP神经网络模型，将预处理模块处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别，最终显示识别结果。
2.根据权利要求1所述的水稻插秧机性能检测系统，其特征在于：
在预处理模块中，预处理过程依次包括灰度化处理、阈值分割、二值化、形态学滤波处理。
3.根据权利要求2所述的水稻插秧机性能检测系统，其特征在于：
形态学滤波过程为：
1)开运算：通过半径为m1像素的圆盘形滤波器对二值图像进行开运算处理，利用滤波器B对图像A进行开运算，定义为：
Figure FDA0003160466900000021
式中，
Figure FDA0003160466900000022
表示做开运算，
Figure FDA0003160466900000023
表示腐蚀操作
Figure FDA0003160466900000024
表示膨胀操作，即开运算是先对图像进行腐蚀，然后再进行膨胀操作；
2)闭运算：通过长度为m2、角度为β的线形滤波器，对二值图像进行闭运算处理，填充秧苗内部区域并对区域边缘进行光滑处理，利用滤波器B对图像A进行闭运算，定义为：
Figure FDA0003160466900000025
式中，·表示做闭运算，
Figure FDA0003160466900000026
表示膨胀运算
Figure FDA0003160466900000027
表示腐蚀运算，即闭运算是先对图像进行膨胀，然后再进行腐蚀操作。
4.根据权利要求1所述的水稻插秧机性能检测系统，其特征在于：
在分类模型建立模块中，建立分类模型具体步骤为：
1)对前期采集到稻田秧苗原图A进行裁剪，将合格秧苗单穴图像B、漂秧单穴图像C、伤秧单穴图像D分离出来，将合格秧苗单穴图像B、漂秧单穴图像C、伤秧单穴图像D类图像分别置于Data文件夹内的合格秧苗子文件夹、漂秧子文件夹和伤秧子文件夹中；
2)在MATLAB环境下创建BP神经网络，包括输入层、隐含层和输出层，各层之间互连，输入层节点个数选择输入有效特征向量维数，隐含层节点个数通过试凑选择出准确度最高、误差最小的结果，输出层节点个数取输出结果向量维数，对于一张单穴秧苗图片输出结果为三种秧苗类别的其中之一；
3)将步骤1)中训练集中经过归一化处理后的特征参数数据集载入输入层；在三层BP神经网络中，隐含层神经元的激活函数为logsig函数，输出层激活函数为purelin函数，所述激活函数用于对神经元输出做线性和非线性变换；
4)选择BP神经网络的训练函数为traingdx函数，学习函数为learngdm函数，学习函数利用神经元的输入与误差、权值或阈值的学习速率来修改权值和阈值的增量，使单个神经元输出误差最小，当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少；当误差对权值的偏导数小于零时，权值调整量为正，实际输出小于期望输出，权值向增大方向调整，使实际输出与期望输出的差减少；
5)设置网络权系数，所述网络权系数包括隐藏节点数、最大训练次数、训练要求精度、显示训练迭代过程和训练学习率；在训练过程中训练函数不断调用学习函数，通过检测是否达到设定的训练步数或训练结果是否达到精度要求，判断是否结束训练，得到最终的合格秧苗、漂秧和伤秧BP神经网络模型；
6)读取步骤1)裁剪好的验证集单穴秧苗图像，计算相关特征参数数据，将所述特征值数据送入BP神经网络的输入层，与步骤5)得到的BP神经网络模型匹配，输出秧苗类型的判断结果，判断结果为合格秧苗、漂秧、伤秧三种中的一种；将判断结果与单穴秧苗图像所在的步骤1)中子文件夹名称进行对比，对训练效果进行优劣评价；根据验证集的正确率再次调整超参数得到BP神经网络模型为最优；
7)依次读取测试数据集中未参与训练、验证过程的单穴秧苗图像，判断识别若干张，统计正确率。
5.根据权利要求1所述的水稻插秧机性能检测系统，其特征在于：
在步骤1)中，在Data文件夹中，合格秧苗子文件夹内有B类合格秧苗图像DZ张，漂秧子文件夹内有C类漂秧图像DZ张，伤秧子文件夹内有D类伤秧图像DZ张，在三个子文件夹中，分别随机选取所有图像的a％张图像，即a％DZ*3；分别指定所有图像的b％作为验证集,即b％DZ*3；分别指定所有图像的c％作为测试集，即c％DZ*3；a％+b％+c％＝100％。
6.根据权利要求1所述的水稻插秧机性能检测系统，其特征在于：
在特征参数提取模块中，特征参数提取过程具体包括以下步骤：
1)通过预处理得到的秧苗图像，利用Regionprops函数属性选择质心坐标，对秧苗代表的白色连通区域进行质心点标记，对连通区域做膨胀处理，用每一个标记一代表相应穴秧苗的质心；
2)先确定秧苗的主轴，然后计算反映秧苗形状特征的主轴方向上的长度和与垂直方向上的宽度，形成一外接矩形，所述外接矩形即为秧苗的最小外接矩形，
定义秧苗轮廓外接矩形的狭长度L：
L＝longth/width (式3)
式中:longth为最小面积矩形的长边，width为最小面积矩形的宽边；
矩形度：定义秧苗对其外接矩形的充满程度，定义为R：
R＝SArea/SMABR (式4)
式中:SArea为秧苗所在区域的像素和，SMABR为最小矩形的面积；
定义秧苗区域内分别以质心为圆心做内切圆与外接圆，球状性定义为S：
S＝ri/rc (式5)
式中:ri为内切圆半径，rc为外接圆半径；
紧凑度反映秧苗边缘轮廓的粗糙情况，定义为C：
Figure FDA0003160466900000041
式中:Perimeter为秧苗周长，即秧苗边界的像素点和；
圆形度反应秧苗边界的复杂程度，定义为O：
Figure FDA0003160466900000051
式中:秧苗面积为SArea，周长为Perimeter，狭长度为L，π是圆周率常数；
通过库函数Invmoments求得HU不变矩，设一穴水稻秧苗图像大小为L*H，L为图像的长，H为图像的宽，单位为像素，针对所述水稻秧苗图像，将像素的坐标看做一个二维随机变量(x,y)，f(x,y)代表该点处的灰度值，即得到下列图像矩的定义，
Figure FDA0003160466900000052
式中，m00为图像的零阶矩，代表图像的灰度总和；
Figure FDA0003160466900000053
Figure FDA0003160466900000054
Figure FDA0003160466900000055
Figure FDA0003160466900000056
式中，m10，m01均为图像的一阶矩，用于确定图像的灰度中心，即质心坐标为
Figure FDA0003160466900000057
其(p+q)阶矩mpq定义为：
Figure FDA0003160466900000058
其相应的(p+q)阶中心矩μpq定义为：
Figure FDA0003160466900000059
则对应的归一化中心矩ηpq定义为：
Figure FDA0003160466900000061
其中
Figure FDA0003160466900000062
p和q分别代表变量x，y的幂指数，p+q＝2，3，…；
Figure FDA0003160466900000063
根据上述形态特征公式包括式(3)、式(4)、式(5)、式(6)、式(7)和式(16)，对合格秧苗、漂秧、伤秧单穴图像处理，计算对应的形态参数，从而提取到6组特征，12组数据，并通过对若干组数据进行求和、平均、取方差，得出不同形态秧苗的特征取值范围，所述6组特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩，所述12组数据包括L、R、S、C、O、M1、M2、M3、M4、M5、M6、M7。
7.一种水稻插秧机性能检测方法，其特征在于：包括以下步骤：
步骤一.获得原始水稻图像，对原始水稻图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；
步骤二.通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，利用秧苗轮廓和形态特征判断是否存在漂秧、伤秧；所述秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩参数；
步骤三.建立BP神经网络模型，将特征参数提取模块提取的秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；
步骤四.利用步骤三得到的最优BP神经网络模型，将预处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别，最终显示识别结果。
CN202110789926.3A 2021-07-13 2021-07-13 一种水稻插秧机性能检测系统及方法 Active CN113850117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110789926.3A CN113850117B (zh) 2021-07-13 2021-07-13 一种水稻插秧机性能检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110789926.3A CN113850117B (zh) 2021-07-13 2021-07-13 一种水稻插秧机性能检测系统及方法

Publications (2)

Publication Number Publication Date
CN113850117A true CN113850117A (zh) 2021-12-28
CN113850117B CN113850117B (zh) 2024-05-14

Family

ID=78975136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110789926.3A Active CN113850117B (zh) 2021-07-13 2021-07-13 一种水稻插秧机性能检测系统及方法

Country Status (1)

Country Link
CN (1) CN113850117B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392430A (zh) * 2014-10-22 2015-03-04 华南农业大学 基于机器视觉的超级杂交稻穴播量的检测方法及装置
CN105432196A (zh) * 2015-12-16 2016-03-30 无锡同春新能源科技有限公司 一种无人插秧机
CN105844632A (zh) * 2016-03-21 2016-08-10 华南农业大学 基于机器视觉的稻株识别与定位方法
CN106373133A (zh) * 2016-08-31 2017-02-01 重庆广播电视大学 一种基于暗通道去雾算法的农田插秧检测方法及其系统
CN108323389A (zh) * 2018-01-18 2018-07-27 华南农业大学 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置
CN109275395A (zh) * 2017-07-21 2019-01-29 江苏年豊现代农业科技有限公司 机插秧苗漏缺识别及补苗方法
US20200141877A1 (en) * 2018-11-06 2020-05-07 Nanjing Agricultural University Method for estimating aboveground biomass of rice based on multi-spectral images of unmanned aerial vehicle
CN112395984A (zh) * 2020-11-18 2021-02-23 河南科技大学 一种用于无人驾驶农业机械的苗列导航线检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392430A (zh) * 2014-10-22 2015-03-04 华南农业大学 基于机器视觉的超级杂交稻穴播量的检测方法及装置
CN105432196A (zh) * 2015-12-16 2016-03-30 无锡同春新能源科技有限公司 一种无人插秧机
CN105844632A (zh) * 2016-03-21 2016-08-10 华南农业大学 基于机器视觉的稻株识别与定位方法
CN106373133A (zh) * 2016-08-31 2017-02-01 重庆广播电视大学 一种基于暗通道去雾算法的农田插秧检测方法及其系统
CN109275395A (zh) * 2017-07-21 2019-01-29 江苏年豊现代农业科技有限公司 机插秧苗漏缺识别及补苗方法
CN108323389A (zh) * 2018-01-18 2018-07-27 华南农业大学 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置
US20200141877A1 (en) * 2018-11-06 2020-05-07 Nanjing Agricultural University Method for estimating aboveground biomass of rice based on multi-spectral images of unmanned aerial vehicle
CN112395984A (zh) * 2020-11-18 2021-02-23 河南科技大学 一种用于无人驾驶农业机械的苗列导航线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈进 等: "基于机器视觉和GABP算法的播种检测研究", 测控技术, vol. 36, no. 09, 30 September 2017 (2017-09-30), pages 18 - 23 *

Also Published As

Publication number Publication date
CN113850117B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
Aquino et al. Automated early yield prediction in vineyards from on-the-go image acquisition
CN113128405B (zh) 一种结合语义分割与点云处理的植物识别与模型构建方法
US10699119B2 (en) Methods and systems for automatic object detection from aerial imagery
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN109325960B (zh) 一种红外云图气旋分析方法及分析系统
Guijarro et al. Discrete wavelets transform for improving greenness image segmentation in agricultural images
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN110059558A (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN109325431B (zh) 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
CN107492095A (zh) 基于深度学习的医学图像肺结节检测方法
CN103793708B (zh) 一种基于仿射校正的多尺度车牌精准定位方法
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN110517311A (zh) 基于叶片病斑面积的病虫害监测方法
CN104881865A (zh) 基于无人机图像分析的森林病虫害监测预警方法及其系统
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN112560623B (zh) 一种基于无人机的红树植物种类快速识别方法
CN106228136A (zh) 基于聚合通道特征的全景街景隐私保护方法
CN116682106A (zh) 一种基于深度学习的柑橘木虱智能检测方法及装置
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
Hu et al. Self-adversarial training and attention for multi-task wheat phenotyping
Zheng et al. YOLOv4-lite–based urban plantation tree detection and positioning with high-resolution remote sensing imagery
CN114140485A (zh) 一种三七主根切割轨迹生成方法及系统
He et al. A calculation method of phenotypic traits of soybean pods based on image processing technology
CN112966698A (zh) 基于轻量化卷积网络的淡水鱼图像实时识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant