CN107464232B - 一种无人插秧机栽插质量的图像检测方法 - Google Patents

一种无人插秧机栽插质量的图像检测方法 Download PDF

Info

Publication number
CN107464232B
CN107464232B CN201710568104.6A CN201710568104A CN107464232B CN 107464232 B CN107464232 B CN 107464232B CN 201710568104 A CN201710568104 A CN 201710568104A CN 107464232 B CN107464232 B CN 107464232B
Authority
CN
China
Prior art keywords
seedling
seedlings
image
rice transplanter
planting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710568104.6A
Other languages
English (en)
Other versions
CN107464232A (zh
Inventor
赵德安
刘晓洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201710568104.6A priority Critical patent/CN107464232B/zh
Publication of CN107464232A publication Critical patent/CN107464232A/zh
Application granted granted Critical
Publication of CN107464232B publication Critical patent/CN107464232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

本发明公开了一种无人插秧机栽插质量的图像检测方法，该方法通过安装在插秧机插植臂上方的相机进行俯拍连续采集刚栽插秧苗的图像，然后采用图像分割，图像形态学方法和模式识别等数字图像处理技术分别实现对漏秧和漂秧的识别，同时通过对每列秧苗中漏秧和漂秧的统计分析，进行漏秧和漂秧的自动报警，实现对无人插秧机栽插作业质量的实时监控。

Description

一种无人插秧机栽插质量的图像检测方法
技术领域
本发明涉及机器视觉和模式识别领域，特别是一种基于机器视觉的缺陷检测方法。
背景技术
随着农业机械智能化水平的不断提高，无人驾驶农机进行自主作业的研究也在快速的发展。插秧机代替人工进行秧苗栽植也已经有很长一段时间，虽然可以高效工作，但是由于人工控制插秧机在狭小的空间内作业，不仅浪费人力，还可能因为作业人员的控制作业使行走路线发生偏离造成秧苗的栽植发生偏离，从而影响秧苗的生长。此外，插秧机在减震、降噪等设计上存在很多的不足，这样会使人长期处在强震动、高噪音和高温的恶劣环境下，对身体健康造成巨大的损害。因此，无人插秧机的研究应运而生。实时、准确地对无人插秧机的栽植质量进行监控，以及在发生故障时能及时地报警是无人插秧机高效、安全作业的重要保障，能够有效提高作业效率、降低安全隐患。
发明内容
本发明的目的在于提出一种能够有效提高作业效率、降低安全隐患的无人插秧机栽插质量的图像检测方法。该方法能够实时、准确地对无人插秧机的栽植质量进行监控，以及在发生故障时能及时地报警是无人插秧机高效、安全作业的重要保障。本发明的技术方案包含以下步骤：
(a)将相机安装在无人插秧机插植臂后上方俯拍，根据GPS信号每行进一段距离采集一幅秧苗图像；
(b)将图像中的秧苗从背景中分割出来；
(c)确定每簇秧苗的质心；
(d)检测图中的漏秧；
(e)剔除不完整形态秧苗；
(f)提取秧苗形状特征；
(g)通过神经网络检测图中的漂秧；
(h)统计漏秧和漂秧出现的次数并判断是否报警。
进一步，步骤(a)中所述相机的安装与图像的采集，将相机安装在无人插秧机插植臂后上方，镜头向下保持水平进行俯拍，并适当调节相机的位置和高度以及图像ROI等使采集的图像视野能够覆盖插植臂工作范围，根据GPS信号插秧机每行进一定距离采集一幅图像。
进一步，步骤(b)中所述图像的分割，首先采用超绿算子EXG(EXG＝2*G-R-B，其中R,G,B分别是图像的红色、绿色和蓝色分量)对图像进行灰度化，然后采用最大类间方差法(又称OTSU法)将图像二值化从而将秧苗从背景中分割出来(记为BW1)。
进一步，步骤(c)中所述每簇秧苗质心的确定，首先滤除分割图像中面积较小的连通区域(记为BW2)，然后通过形态学膨胀算法连接相互靠近的连通区域，接着对未连接且面积较小的连通区进行滤除(记为BW3)，最后计算每个连通区的质心并将其作为对应秧苗簇的质心。
进一步，步骤(d)中所述漏秧的检测，沿插植臂组间的中间位置将图像中的秧苗分成对应的列，分别计算每列相邻秧苗(每列最前最后的秧苗还要分别计算其质心到图像上沿或下沿的纵向像素距离)质心的纵向像素距离D，纵向标准株距在图像中的像素距离为L，若D>1.5L则表明存在漏秧，漏秧的数目
Figure BDA0001348910150000021
即相邻秧苗间质心的距离相对标准株距的倍数减去1.5后向无限大方向取整。
进一步，步骤(e)中所述不完整形态秧苗的剔除，秧苗质心到图像上沿或下沿的纵向像素距离小于0.35L则认为该秧苗没有完整的呈现在图像中并从BW3中剔除该簇秧苗对应的连通区(记为BW4)。
进一步，步骤(f)中所述秧苗形状特征的提取，提取BW4中每个连通区与该连通区有相同二阶中心距的椭圆离心率，再采用BW4中的每个连通区作为掩膜提取BW2中的每簇秧苗，然后计算每簇秧苗的7个不变矩，共提取8个秧苗的特征。
进一步，步骤(g)中所述漂秧的检测，将未知状态的秧苗特征值输入预先建立并训练完成的神经网络中进行分类。
进一步，步骤(h)中所述漏秧和漂秧的自动报警机制，若一帧图像有3簇及以上秧苗存在漂秧或漏秧则进行报警，此外还对每列秧苗设置可以存储15个数据的先入先出堆栈，存入堆栈中的数据用00表示正常栽插秧苗，01表示漏秧，11表示漂秧，每处理一帧图像就将处理结果存入对应列的堆栈，然后对堆栈中3种类型的数据分别进行统计，若每列堆栈中漏秧和漂秧数量超过4个则进行报警。
本发明的有益效果是：
本发明采用机器视觉与模式识别技术实现对秧苗状态的检测。机器视觉技术在工业上已广泛应用于工业产品的缺陷检测，机械元件的尺寸测量以及视觉伺服控制等领域，然而在农业上由于室外环境的多变性难以广泛应用。模式识别技术是一种智能化的分类方法，与人工智能和图像处理等领域有交叉关系。本发明通过机器视觉技术分割出图像中的秧苗并实现对漏秧的检测，采用模式识别技术对检测出的秧苗进行分类，识别出其中的漂秧。
本发明采用的方法能够在户外光照环境下较好的分割出秧苗，实现对漏秧和漂秧的检测，并且提供了有效的自动报警机制。该方法能够实现对秧苗的实时无接触式检测，帮助实现无人插秧的管理和监控。
附图说明
图1栽插质量检测流程图；
图2秧苗分割示意图；
图3二值图像去噪示意图；
图4二值图像膨胀示意图；
图5漏秧检测示意图。
具体实施方式
下面结合附图对本发明的具体实施方案做进一步描述。
一种无人插秧机栽插质量的图像检测方法，其步骤如图1所示，具体描述如下：
(a)将相机安装在无人插秧机插植臂后上方俯拍，实时采集所栽插秧苗。实验所用插秧机具有7组插植臂相邻插植臂组间隔30cm，每组插植臂分别有3个插植臂轮转作业。为使采集图像大小能够覆盖7列栽插的秧苗，需要保证相机视野能够覆盖210cm的实际宽度。因此选用具有1/2CCD，分辨率为3120×2320，全分辨率下最大帧率为30fps的工业相机进行图像采集，同时配备焦距4mm，视场角为76°*60.6°的镜头使相机在1.5m的高度拍摄234cm×175.5cm大小的视野范围从而满足工作要求。将相机固定在距离地面高度为1.5m，插植臂后0.8m处中央位置，并设置相机ROI使得相机完整的拍摄7列至少5行的秧苗，图像大小为2800×2320，根据GPS信号无人插秧机每行进175.5cm拍摄一副图像。此外，相机需固定在防抖动云台上，以减少插秧机抖动造成的图像模糊。
(b)将图像中的秧苗从背景中分割出来。首先采用超绿算子EXG(EXG＝2*G-R-B，其中R,G,B分别是图像的红色、绿色和蓝色分量)对图像进行灰度化，然后采用最大类间方差法(又称OTSU法)将图像二值化从而将秧苗从背景中分割出来(记为BW1，如图2所示)。
(c)确定每簇秧苗的质心。首先滤除分割图像中面积小于240个像素面积的连通区域(记为BW2,如图3所示)，然后通过形态学膨胀算法采用60×60的结构元素连接相互靠近的连通区域，接着对未连接且面积小于800的连通区进行滤除(记为BW3，如图4所示)，最后计算每个连通区的质心并将其作为对应秧苗簇的质心。
(d)检测图中的漏秧。沿插植臂间的中间位置(图像中从左到右400,800,1200,1600,2000,2400的像素距离处)将图像中的秧苗分成对应的列，如图5所示，图中虚线表示分割线，图中的星号“*”表示秧苗质心，分别计算每列相邻秧苗(每列最前最后的秧苗还要分别计算其质心到图像上沿和下沿的纵向像素距离)质心的像素距离D，将实际的纵向标准株距换算成像素距离L(根据拍摄图像得L＝400)，若D>1.5L则表明相邻的两簇秧苗之间存在漏秧，漏秧的数目
Figure BDA0001348910150000041
即相邻秧苗间质心的距离相对标准株距的倍数减去1.5后向无限大方向取整。
(e)剔除不完整形态的秧苗。若秧苗质心到图像上沿或下沿的纵向像素距离小于0.35L则认为该秧苗没有完整的呈现在图像中并从BW3中剔除该簇秧苗对应的连通区(记为BW4)。
(f)提取秧苗形状特征。提取BW4中每个连通区与该连通区有相同二阶中心距的椭圆离心率，再采用BW4中的每个连通区作为掩膜提取BW2中的每簇秧苗，然后计算每簇秧苗的7个不变矩，共提取8个秧苗的形状特征。
(g)检测图中的漂秧。预先建立三层8×17×1的BP神经网络，采集1000簇正常栽插秧苗和200簇漂秧的特征数据采用80％的数据训练50组网络，然后采用其他20％数据进行测试并选用测试误差最小的网络进行漂秧检测，将未知状态的秧苗特征值输入训练完成的神经网络进行分类。
漏秧漂秧的自动报警机制。若一帧图像有3簇及以上秧苗存在漂秧或漏秧则进行报警，此外还对每列秧苗设置可以存储15个数据的先入先出堆栈，存入堆栈中的数据用00表示正常栽插秧苗，01表示漏秧，11表示漂秧，每处理一帧图像就将处理结果存入对应列的堆栈，然后对堆栈中3种类型的数据分别进行统计，若每列堆栈中漏秧和漂秧数量超过4个则进行报警。
综上，本发明的一种无人插秧机栽插质量的图像检测方法，该方法通过安装在插秧机插植臂上方的相机进行俯拍连续采集刚栽插秧苗的图像，然后采用图像分割，图像形态学方法和模式识别等数字图像处理技术分别实现对漏秧和漂秧的识别，同时通过对每列秧苗中漏秧和漂秧的统计分析，进行漏秧和漂秧的自动报警，实现对无人插秧机栽插作业质量的实时监控。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种无人插秧机栽插质量的图像检测方法，其特征在于，包含以下步骤：
(a)将相机安装在无人插秧机插植臂后上方俯拍，根据GPS信号每行进一段距离采集一幅秧苗图像；(b)将图像中的秧苗从背景中分割出来；(c)确定每簇秧苗的质心；(d)检测图中的漏秧；(e)剔除不完整形态秧苗；(f)提取秧苗形状特征；(g)通过神经网络检测图中的漂秧；(h)统计漏秧和漂秧出现的次数并判断是否报警；
每簇秧苗质心的确定，首先滤除分割图像中面积较小的连通区域，记为BW2，然后通过形态学膨胀算法连接相互靠近的连通区域，接着对未连接且面积较小的连通区进行滤除，记为BW3，最后计算每个连通区的质心并将其作为对应秧苗簇的质心；
漏秧的检测，沿插植臂组间的中间位置将图像中的秧苗分成对应的列，分别计算每列相邻秧苗质心的纵向像素距离D，具体为每列最前最后的秧苗还要分别计算其质心到图像上沿或下沿的纵向像素距离；纵向标准株距在图像中的像素距离为L，若D>1.5L则表明存在漏秧，漏秧的数目
Figure FDA0002274367200000011
即相邻秧苗间质心的距离相对标准株距的倍数减去1.5后向无限大方向取整；
不完整形态秧苗的剔除，秧苗质心到图像上沿或下沿的纵向像素距离小于0.35L则认为该秧苗没有完整的呈现在图像中并从BW3中剔除该簇秧苗对应的连通区，记为BW4。
2.根据权利要求1所述的一种无人插秧机栽插质量的图像检测方法，其特征在于，所述步骤(a)的具体过程为，将相机安装在无人插秧机插植臂后上方，镜头向下保持水平进行俯拍，并适当调节相机的位置和高度以及图像ROI使采集的图像视野能够覆盖插植臂工作范围，根据GPS信号插秧机每行进一定距离采集一幅图像。
3.根据权利要求1所述的一种无人插秧机栽插质量的图像检测方法，其特征在于，所述步骤(b)的具体过程为，首先采用超绿算子EXG对图像进行灰度化，EXG＝2*G-R-B，其中R,G,B分别是图像的红色、绿色和蓝色分量，然后采用最大类间方差法OTSU将图像二值化从而将秧苗从背景中分割出来，记为BW1。
4.根据权利要求1所述的一种无人插秧机栽插质量的图像检测方法，其特征在于，秧苗形状特征的提取，提取BW4中每个连通区与该连通区有相同二阶中心距的椭圆离心率，再采用BW4中的每个连通区作为掩膜提取BW2中的每簇秧苗，然后计算每簇秧苗的7个不变矩，共提取8个秧苗的特征。
5.根据权利要求1所述的一种无人插秧机栽插质量的图像检测方法，其特征在于，漂秧的检测，将未知状态的秧苗特征值输入预先建立并训练完成的神经网络中进行分类。
6.根据权利要求1所述的一种无人插秧机栽插质量的图像检测方法，其特征在于，所述统计漏秧和漂秧出现的次数并判断是否报警，具体包括：若一帧图像有3簇及以上秧苗存在漂秧或漏秧则进行报警，此外还对每列秧苗设置可以存储15个数据的先入先出堆栈，存入堆栈中的数据用00表示正常栽插秧苗，01表示漏秧，11表示漂秧，每处理一帧图像就将处理结果存入对应列的堆栈，然后对堆栈中3种类型的数据分别进行统计，若每列堆栈中漏秧和漂秧数量超过4个则进行报警。
CN201710568104.6A 2017-07-13 2017-07-13 一种无人插秧机栽插质量的图像检测方法 Active CN107464232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710568104.6A CN107464232B (zh) 2017-07-13 2017-07-13 一种无人插秧机栽插质量的图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710568104.6A CN107464232B (zh) 2017-07-13 2017-07-13 一种无人插秧机栽插质量的图像检测方法

Publications (2)

Publication Number Publication Date
CN107464232A CN107464232A (zh) 2017-12-12
CN107464232B true CN107464232B (zh) 2020-02-21

Family

ID=60546533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710568104.6A Active CN107464232B (zh) 2017-07-13 2017-07-13 一种无人插秧机栽插质量的图像检测方法

Country Status (1)

Country Link
CN (1) CN107464232B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196828A (zh) * 2017-12-11 2018-06-22 江苏大学 基于android智能手机的无人插秧机监控系统APP软件的设计方法
CN108633411B (zh) * 2018-05-15 2020-07-31 江苏大学 一种基于机器视觉的秧箱秧苗量实时监测系统及方法
CN108901348B (zh) * 2018-07-17 2020-07-31 铁建重工新疆有限公司 一种采棉机控制方法、系统、装置及可读存储介质
CN111886982B (zh) * 2020-08-21 2022-03-22 农业农村部南京农业机械化研究所 一种旱地栽植作业质量实时检测系统的检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154312A (ja) * 1995-12-08 1997-06-17 Kubota Corp 田植機
CN101358905A (zh) * 2008-09-08 2009-02-04 南京农业大学 育秧盘播种质量检测系统及其在检测中的应用
CN101807252A (zh) * 2010-03-24 2010-08-18 中国农业大学 作物行中心线提取方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154312A (ja) * 1995-12-08 1997-06-17 Kubota Corp 田植機
CN101358905A (zh) * 2008-09-08 2009-02-04 南京农业大学 育秧盘播种质量检测系统及其在检测中的应用
CN101807252A (zh) * 2010-03-24 2010-08-18 中国农业大学 作物行中心线提取方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的小型农业AGV玉米田间路径识别研究;刘永博;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170615(第6期);正文第1,18页 *
基于机器视觉的小型插秧机导航研究;施响军;《中国优秀硕士学位论文全文数据库 农业科技辑》;20120615(第6期);摘要、正文第4-5,10-12,21,24,29,33-35,45,56页 *
基于视觉的茄子采摘机器人目标识别研究;刘健;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315(第3期);摘要、正文第33-34,48-60页 *

Also Published As

Publication number Publication date
CN107464232A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
CN107464232B (zh) 一种无人插秧机栽插质量的图像检测方法
Aquino et al. Automated early yield prediction in vineyards from on-the-go image acquisition
Zhao et al. On-tree fruit recognition using texture properties and color data
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
CN106971167B (zh) 基于无人机平台的作物生长分析方法及其分析系统
EP2548147B1 (en) Method to recognize and classify a bare-root plant
CN101957325B (zh) 基于变电站巡检机器人变电站设备外观异常识别方法
CN101907453B (zh) 基于机器视觉的块状农产品尺寸在线测量方法与装置
CN110569786B (zh) 一种基于无人机数据采集的果树识别和数量监测方法及系统
CN104091175B (zh) 一种基于Kinect深度信息获取技术的害虫图像自动识别方法
CN111462058B (zh) 一种水稻有效穗快速检测方法
Parra et al. Edge detection for weed recognition in lawns
CN114818909A (zh) 一种基于作物长势特征的杂草检测方法和装置
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
CN114723667A (zh) 一种农业精细化种植及灾害预防控制系统
CN110689022B (zh) 基于叶片匹配的各株作物图像提取方法
CN108037123B (zh) 一种杂交稻钵体盘播种性能参数精密检测方法
CN115631421A (zh) 耕地智慧保护方法及保护系统
CN107977531A (zh) 一种基于图像处理和领域数学模型进行接地电阻软测量的方法
CN116310806B (zh) 一种基于图像识别的智慧农业一体化管理系统及方法
CN112580671A (zh) 一种基于深度学习的稻穗多发育期自动检测方法及系统
Liu et al. Development of a proximal machine vision system for off-season weed mapping in broadacre no-tillage fallows
CN105427279A (zh) 一种基于计算机视觉及物联网的草原旱情监测系统和方法
Li et al. Image processing for crop/weed discrimination in fields with high weed pressure
CN107437254B (zh) 一种果园邻接重叠形态果实判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant