CN108323389B - 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置 - Google Patents

水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置 Download PDF

Info

Publication number
CN108323389B
CN108323389B CN201810050581.8A CN201810050581A CN108323389B CN 108323389 B CN108323389 B CN 108323389B CN 201810050581 A CN201810050581 A CN 201810050581A CN 108323389 B CN108323389 B CN 108323389B
Authority
CN
China
Prior art keywords
rice shoot
rice
image
point
cave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810050581.8A
Other languages
English (en)
Other versions
CN108323389A (zh
Inventor
马旭
陆强
李宏伟
齐龙
陈林涛
邓向武
董文浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201810050581.8A priority Critical patent/CN108323389B/zh
Publication of CN108323389A publication Critical patent/CN108323389A/zh
Application granted granted Critical
Publication of CN108323389B publication Critical patent/CN108323389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G22/00—Cultivation of specific crops or plants not otherwise provided for
    • A01G22/20—Cereals
    • A01G22/22—Rice
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C11/00—Transplanting machines
    • A01C11/003—Transplanting machines for aquatic plants; for planting underwater, e.g. rice
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C11/00—Transplanting machines
    • A01C11/006—Other parts or details or planting machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Soil Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Botany (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置，首先检测启动模块不断检测插秧机的工作状态和行驶速度，当插秧机处于插秧工作状态时，摄像头开始对插秧机作业区域进行实时拍摄，嵌入式控制器对采集到的秧苗RGB图像进行灰度化、二值化处理，提取秧苗轮廓图像，并根据轮廓陡变度的算法计算获得插秧机栽插秧苗株距和穴秧苗数，语音提示模块播报当前秧苗株距与穴秧苗数，使得插秧驾驶员根据反馈信息及时调整和管控插秧机工作参数。相对现有技术，本发明技术方案实现了插秧机栽插质量的自动检测，为插秧机田间工作的稳定性和可靠性提供保证。

Description

水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置
技术领域
本发明涉及农业装备智能控制技术领域，特别涉及水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置。
背景技术
在农业生产中，水稻高产的前提为高质量群体，而良好的水稻个体则是超高产群体的骨架与提高质量的基础。水稻秧苗株距和穴秧苗数直接影响田间秧苗个体受光姿态和冠层内光分布，进而影响水稻秧苗群体的光合作用。
为了达到水稻高产的目的，除了提高育秧质量，更重要的是实现对插秧机性能的自动检测，以便插秧机驾驶员及时对插秧机的工作参数实时调整和管控，提高农业生产效率和农作物产量。
现有的插秧机在插秧工作前，需要调节插秧机上手柄以选择不同取秧量，然后在田间试插一定秧田面积，再采用人工采点取样方式对栽插秧苗的株距和穴秧苗数进行测量，最后插秧机驾驶员根据人工测量结果调节取秧量和株距等参数，这样的操作过程劳动强度大、费时费力、测量效果差。
发明内容
本发明的主要目的是提出一种自动化控制检测的水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法，本发明还提出一种使用水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法的装置，旨在为插秧机田间工作的稳定性和可靠性提供保证。
为实现上述目的，本发明提出的水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法，包括以下步骤：
S1：检测启动模块不断检测插秧机的工作状态和行驶速度，所述插秧机处于插秧工作状态时，检测程序启动，安装于所述插秧机插植部末端的摄像头开始拍摄已栽插秧苗的作业区域图像并传送至嵌入式控制器；
S2：所述嵌入式控制器对所述摄像头采集到的RGB图像进行图像灰度化和图像二值化处理，再对二值化后的秧苗图像进行形态学开运算去除噪声，通过对形态学开运算后的秧苗图像进行连通区域标记,再通过形态学孔洞填充保证秧苗连通区域的完整性，计算形态学孔洞填充后秧苗图像的连通区域参数再使用面积滤波算法去除高亮点；
S3：计算所述步骤S2得到的秧苗图像的连通区域参数，判断当前图像是否满足继续求株距、穴秧苗数的要求；
S4：对满足要求的图像使用Canny算法提取满足要求的秧苗图像轮廓，通过基于轮廓陡变度求轮廓关键点的算法，提取秧苗轮廓的关键点；
S5：对秧苗叶片特征进行分析，以关键点前后像素的欧式距离为条件，将轮廓的关键点分为叶片的叶尖点和秧苗的栽插点，实现对秧苗栽插点的定位，计算秧苗区域的叶片数；所述嵌入式控制器结合检测所述启动模块测量得到插秧机速度计算出秧苗株距、穴秧苗数，并且根据实际检测参数控制语音提示模块进行播报。
优选地，所述步骤S2的所述图像灰度化包括：所述嵌入式控制器对彩色图像进行超绿算法处理，使用2G-R-B对原图像进行图像灰度化处理，计算公式为：
参数说明：Gray(x,y)为坐标为(x,y)点灰度值，R、G、B为图像红色、绿色、蓝色三个颜色分量；
所述步骤S2的所述图像二值化通过最大类间方差法对秧苗图像进行二值化处理，利用最大类间方差法计算出最优阈值k*，并根据如下公式将灰度图像分成秧苗和背景两部分：
其中，Bw(x,y)＝0表示(x,y)点为背景，Bw(x,y)＝255表示(x,y)点为秧苗像素，Gray(x,y)为坐标为(x,y)点灰度值，式中k*为根据最大类间方差算法求出的最优阈值；
所述步骤S2的所述形态学开运算去除噪声通过对秧苗图像进行腐蚀，然后进行膨胀，具体的开运算公式如下：
参数说明：A为图像，C为结构元素，Cz为形态学开运算结果
所述步骤S2的所述连通区域标记是逐行遍历图像，通过对形态学开运算后图像中G(x,y)＝255的秧苗像素连通区域进行标记，让每个秧苗连通区域形成一个被标识的块；
所述步骤S2的所述计算形态学孔洞填充后秧苗图像的连通区域参数；分别统计步骤S2中被标记后的秧苗各连通区域内部的像素的总数；一个联通区域表示一穴秧苗，计算当前图像中连通区域的面积、周长参数，判断当前图像是否满足求株距、穴秧苗数的要求，参数计算公式如下：
参数说明：Area为连通区域面积，Per为连通区域周长，No为链码值为奇数的个数，Ne为链码值为偶数的个数，f(x,y)为坐标为(x,y)像素面积，n为图像的宽，m为图像的长；
所述步骤S2的所述使用面积滤波算法去除高亮点，通过遍历秧苗的二值化图像，当某个连通区域面积小于N时，则将该区域置为噪声，将该连通区域像素值置零，计算公式如下：
参数说明：Bw(x,y)＝255表示(x,y)点为秧苗像素，BW(x,y)表示面积滤波后图像上(x,y)点像素值。
优选地，所述步骤S3为根据步骤S2中得到经过面积滤波后的秧苗连通区域，当图像中满足至少有两个连通区域的面积、周长参数与上一帧图像中近似，则判定当前图像满足求株距、穴秧苗数的要求，计算得出株距、穴秧苗数；否则不满足，重新拍摄图像继续分析。
优选地，所述步骤S3中，图像中满足至少有两个连通区域的面积、周长参数与上一帧图像中近似的判断标准为|Areai-Areai+1|<0.1Areai且|Peri-Peri+1|<0.i Peri，Areai，Peri为上一帧连通区域面积和周长，Areai+1，Peri+1为当前帧连通区域面积和周长。
优选地，所述步骤S4使用Canny算法提取满足要求的秧苗图像轮廓首先使用高斯滤波器平滑图象，再使用一阶偏导的有限差分来计算梯度的幅值和方向，然后对梯度幅值进行非极大值抑制，最后采用双阈值算法检测、连接边缘，得到秧苗图像轮廓；
再根据所述秧苗图像轮廓陡变度差异，提取秧苗图像轮廓的关键点，所述关键点包括所述秧苗图像轮廓的凸起点和凹陷点，凸起点有叶片的尖点、根部的栽插点；相邻叶片交叉部位会出现凹陷点，而凹陷点存在对于根部的栽插点定位、穴秧苗数的确定都是干扰，通过所述凸起点和所述凹陷点沿逆时针方向构造矢量和由点乘计算公式计算两个矢量点乘数值，矢量点乘计算公式：
参数说明：θ为矢量和的陡变度，(xi，yi)为秧苗轮廓图像i点坐标(xi-1，yi-1)为秧苗轮廓图像i-1点坐标，(xi+1，yi+1)为秧苗轮廓图像i+1点坐标；
在轮廓点上处于所述凸起点和所述凹陷点构造相邻向量陡变度范围为(0°，90°)，所以向量的点乘结果大于0；而处于轮廓上其他位置的点构造的相邻向量陡变度范围为(90°，180°)，所以向量的点乘结果小于0，通过设定0为阈值筛选出轮廓上所述凸起点和所述凹陷点的点；
通过矢量叉乘计算公式对轮廓的关键点进行叉乘运算筛选出轮廓上的凸起的点，矢量叉乘计算公式：
沿逆时针方向计算筛选出来的所述凸起点和所述凹陷点相邻向量的叉乘，在轮廓上凸起点叉乘结果大于0，其中方向垂直纸面朝向读者，Z轴为正方向；在轮廓凹陷点叉乘结果小于0，其中方向垂直纸面远离读者，Z轴为负方向；通过设定0为阈值筛选出轮廓上的凸起点；以轮廓上的凸起点前后像素的欧式距离为条件，确定秧苗叶尖点和秧苗栽插点，实现对秧苗栽插点定位，计算秧苗区域的叶片数，结合检测启动模块测得插秧机速度计算得到秧苗株距、穴秧苗数，所述嵌入式控制器根据实际检测参数控制语音提示模块进行播报。
优选地，秧苗轮廓上凸起点由秧苗的叶片尖点和秧苗的根茎部的栽插点组成，每穴理论的根茎部的栽插点数为1，秧苗的叶片数＝检测到轮廓上凸起点的数目-检测到根茎部的栽插点数目；
每穴秧苗的栽插点附近多棵秧苗的根茎部在这里重叠，形成一个较为完整的连通区域，且这个连通区域的宽度比叶片尖点附近的连通区域要宽，通过筛选出来的轮廓凸起点相邻两像素点的欧式距离来表示不同凸起点附近的连通区域宽度，通过距离可以体现出秧苗的轮廓点凸起的点间的差异，计算每穴秧苗凸起点的相邻两像素点的欧式距离，设定动态阈值，将轮廓的凸起点分为秧苗的叶片尖点和秧苗的根茎部的栽插点并确定图像中根茎部的栽插点坐标，相邻K像素点的欧式距离计算公式如下：
参数说明：(xi+k，yi+k)为轮廓的凸起点i+k点坐标(xi-k，yi-k)为轮廓的凸起点i-k点坐标，d为轮廓的凸起点相邻K像素点的欧式距离；
计算得到秧苗的叶片尖点数，结合人工统计的该品种秧苗秧龄、检测启动模块测得插秧机速度计算得到秧苗株距、穴秧苗数，所述嵌入式控制器根据实际检测参数控制语音提示模块进行播报。
优选地，插秧时的秧苗带土，秧龄为2-3叶，通过统计晚稻插秧试验中所用的两种秧苗秧龄，每种随机抽取取样本200株，统计结果服从正态分布，平均秧龄为2.5叶，每穴秧苗数根据图像处理计算得到秧苗的叶片尖点数、平均秧龄得到，计算方法如下：
式中，Num为每穴秧苗数，N为秧苗的叶片尖点数，average为平均秧龄；对上述Num结果计算分析，平均秧龄为2.5叶，通过图像处理得到很多秧龄，分别为2叶、3叶、4叶、5叶；通过对数值进行四舍五入处理符合实际统计结果，得到每穴秧苗数，根据图像中根茎部的栽插点坐标计算得到相邻两秧苗间的像素距离，通过乘上每个像素点的比例系数可转化为两秧苗间的实际距离，所述嵌入式控制器根据得到的实际每穴秧苗数、两秧苗间的株距参数控制语音提示模块播报。
优选地，通过确定图像中根茎部的栽插点坐标结合检测启动模块测得插秧机速度计算得到秧苗株距，设t1时刻像素比例系数为k1,经过Δt时间到达t2时刻，t2时刻的像素比例系数为k2，插秧机从t1时刻到t2时刻(即Δt＝t2-t1)内的平均速度为v,第2、3秧苗中心相对图像中心走过的真实距离为L，t1时刻第2、3秧苗中心相对图像中心像素距离为l1，第2、3秧苗中心相对图像中心实际距离为L1；t2时刻第2、3秧苗中心相对图像中心像素距离为l2,第2、3秧苗中心相对图像中心实际距离为L2，根据已知条件可以计算得出两帧图像重叠区域的秧苗实际距离D，秧苗间的像素距离用d和数字下标表示，秧苗间的实际距离用D和数字下标表示，计算公式如下：
L1＝l1k1，L2＝l2k2；
L＝L1+L2＝l1k1+l2k2；
L＝Δtv；
Δt＝t2-t1；
D1＝k1d1；
D2＝k2d2；
D1＝D2。
优选地，所述装置包括摄像头、嵌入式控制器、安装在插秧机插植部的摄像头固定支架、语音提示模块、检测启动模块、电源模块；所述嵌入式控制器和所述电源模块均安装于所述插秧机的座位后部并且两者相连，所述嵌入式控制器和所述电源模块还分别与所述检测启动模块和所述语音提示模块相连，所述摄像头通过所述摄像头固定支架安装在所述插秧机插植部并拍摄秧苗图像，所述摄像头固定支架与摄像头连接角度可手动调节，所述摄像头还与所述嵌入式控制器电连接。
本发明技术方案相对现有技术具有以下优点：
本发明技术方案采用超绿算法、最大类间方差法、面积滤波算法、Canny算法、形态学开运算等图像处理方法对采集到的水稻秧苗图像进行处理，可有效地提取和分割水稻秧苗图像且效果明显。
针对在水田环境中，无法采用固定阈值的方法进行量化稻株灰度值，本发明技术方案通过使用Otsu法将秧苗图像进行二值化处理，并采用3×3结构元素对图像进行一次开运算操作去除噪声，面积滤波算法去除高亮点。分割后的秧苗图像周围还存在一些噪声点，且相邻叶片会有重叠、粘连等情况，通过形态学开运算先对秧苗图像进行腐蚀，然后进行膨胀(即开运算)，使提取和分割得到的秧苗图像更趋于完整性，轮廓更接近于实际秧苗。
本发明技术方案通过语音播报水稻秧苗株距和穴秧苗数，使得插秧机驾驶员实时了解插秧情况，为插秧机驾驶员及时对插秧机的工作参数进行调整和管控提供技术支持。
综上所述，本发明技术方案能实现对秧苗株距和每穴秧苗数的自动检测，方法可靠、快速且准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明检测方法的工作流程图；
图2为本发明检测装置的连接关系图；
图3为本发明检测装置的结构示意图；
图4为本发明检测方法的秧苗二值化后图像；
图5为本发明检测方法的秧苗凸起点和凹陷点检测示意图；
图6为本发明检测方法的秧苗株距检测示意图。
附图标号说明：
标号 名称 标号 名称
1 嵌入式控制器 4 摄像头
2 电源模块 5 检测启动模块
3 摄像头固定支架 6 语音提示模块
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置。
请参见图1至图6，本发明实施例的水稻插秧机的插秧秧苗株距与穴秧苗数的检测装置包括摄像头4、嵌入式控制器1、安装在插秧机插植部的摄像头固定支架3、语音提示模块6、检测启动模块5、电源模块2。其中，本发明实施例的检测启动模块5能够实现对插秧机的工作状态自动检测并获得插秧机行驶速度，摄像头4对插秧机作业区域进行实时拍摄，嵌入式控制器1对采集到的秧苗RGB图像进行灰度化、二值化处理，提取秧苗轮廓图像，并根据轮廓陡变度的算法计算获得插秧机栽插秧苗株距和穴秧苗数，并通过安装在插秧机仪表盘处的语音提示模块6播报秧苗株距与穴秧苗数，使插秧机驾驶员实时了解插秧机的插秧质量，并对插秧参数及时作出调整和管控。
具体地，嵌入式控制器1和电源模块2均安装于插秧机的座位后部并且两者相连，与此同时，嵌入式控制器1和电源模块2还分别与检测启动模块5和语音提示模块6相连。本发明实施例通过检测启动模块5对插秧机的工作状态进行自动检测以获取插秧机的行驶速度，然后摄像头4对插秧机已作业区域进行实时拍摄，嵌入式控制器1对采集到的秧苗RGB图像进行灰度化、二值化处理，从而提取秧苗轮廓图像，再根据轮廓陡变度的计算获得插秧机栽插秧苗株距和穴秧苗数，并通过安装在插秧机仪表盘处的语音提示模块6播报秧苗株距和穴秧苗数，使插秧机驾驶员实时了解插秧机的插秧质量、并对插秧参数及时作出调整和管控。
具体地，嵌入式控制器1为中心控制器，其一端与电源模块2相连，而另一端则与检测启动模块5、摄像头4和语音提示模块6相连。检测启动模块5和摄像头4分别通过信号线与嵌入式控制器1相连，向嵌入式控制器1输入检测到的信号，从而实时反映插秧机当前的前进速度、插秧工作状态、秧苗图像信息。语音提示模块6与嵌入式控制器1连接，嵌入式控制器1向语音提示模块6输入计算得到的结果，从而使其播报出相应的结果。其中嵌入式控制器1采用S3C6410型嵌入式控制器，以最大程度满足系统检测实时性要求。
具体地，根据轮廓陡变度的计算获得插秧机栽插秧苗株距和穴秧苗数时，需要检测秧苗轮廓上的点，而这些检测到的点包括轮廓的凸起点和凹陷点，其中，凸起点为叶片的尖点、根部的栽插点，在相邻叶片的交叉位置则会出现凹陷点，而这些凹陷点存在对根部的栽插点定位、穴秧苗数目的确定都是干扰项，因此可通过上述的凸起点和凹陷点沿逆时针方向分别构造矢量和再通过点乘计算出两个向量间的夹角。
其中矢量点乘计算公式为：
其中θ为矢量和的陡变度，(xi，yi)为秧苗轮廓图像i点坐标(xi-1，yi-1)为秧苗轮廓图像i-1点坐标，(xi+1，yi+1)为秧苗轮廓图像i+1点坐标，下同。
在轮廓点上处于凸起点和凹陷点构造相邻向量夹角范围为(0°，90°)，两个向量点乘后的结果大于0；而处于轮廓上其他位置的点构造的相邻向量夹角范围为(90°，180°)，而这时两个向量的点乘结果小于0，通过设定0为阈值从而可筛选出轮廓上的凸起点和凹陷点，而矢量叉乘计算公式为：
沿着逆时针方向计算筛选出的凸起点和凹陷点相邻向量的叉乘，在轮廓的凸起点的叉乘结果大于0(方向垂直页面且朝向读者，Z轴为正方向)；在轮廓的凹陷点的叉乘结果小于0(方向垂直页面且远离读者，Z轴为正方向)，通过设定0为阈值从而可筛选出轮廓上凸起的点。
凸起点由秧苗的叶片尖点和秧苗的根茎部的栽插点组成，每穴理论的根茎部的栽插点数为1，因此秧苗的叶片数＝凸起点的数目-1，每穴秧苗栽插点附近多颗秧苗的根茎部在这里重叠，从而形成一个较为完整的连通区域，并且这个连通区域的宽度比叶片尖点附近的连通区域要宽。因此在本发明实施例中，通过筛选出的轮廓凸起点相邻两像素点的欧式距离来表示不同凸起点附近的连通区域宽度，通过距离可以体现出秧苗的轮廓点差异，计算每穴秧苗凸出点的相邻两像素点的距离，并且设定动态预制，将轮廓的凸起点分为秧苗的叶片尖点和秧苗的根茎部的栽插点。
具体地，计算每穴秧苗凸起点的相邻两像素点距离的公式为：
其中(xi+k，yi+k)为轮廓的凸起点i+k点坐标(xi-k，yi-k)为轮廓的凸起点i-k点坐标，d为轮廓的凸起点相邻K像素点的欧式距离。
具体地，本发明实施例插秧时的秧苗带土，秧龄为2～3叶，本发明实施例通过统计了晚稻插秧试验中所用的两种秧苗的秧龄，每种随机抽取取样本100株，统计结果服从正态分布，当计算每穴秧苗数时，通过图像处理计算出每穴叶片数和平均秧龄，计算方法如下：
式中的Num为每穴秧苗数，N为每穴的叶片数，average为平均秧龄。
对上式中的Num的结果计算分析，平均秧龄为2.5叶，通过图像处理得到很多数目的秧龄，例如分别为2叶、3叶、4叶、5叶，由计算可以知道，通过对数值进行“四舍五入”处理符合实际统计结果。
摄像头4不断实时获取照片，当嵌入式控制器1在接收到检测启动模块5检测到插秧机处于工作状态而发出的高电平信号时，开始对工作区域的秧苗进行拍摄，并且嵌入式控制器1对采集到的每帧图像进行预处理、二值化以及计算连通区域的参数。当前处理的图像中满足至少有两个连通区域的面积、周长参数与上一帧图像中近似(|Area1-Area2|<0.1Area1且|Per1-Per2|<0.1Per1，式中Area1，Per1为上一帧连通区域面积和周长，Area2，Per2为当前帧连通区域面积和周长)，则判定当前图像满足求株距、穴秧苗数的要求，计算得出株距、穴秧苗数；否则不满足，重新拍摄图像继续分析。
设定t1时刻的像素比例系数为k1，通过Δt时间到达t2时刻，t2时刻的像素比例系数为k2，插秧机从t1时刻到t2时刻(即Δt＝t2-t1)内的平均速度为v，第2、3秧苗中心相对图像中心走过的真实距离为L，t1时刻第2、3秧苗中心相对图像中心像素距离为l1，第2、3秧苗中心相对图像中心实际距离为L1；t2时刻第2、3秧苗中心相对图像中心像素距离为l2,第2、3秧苗中心相对图像中心实际距离为L2，根据已知的条件可计算得出两帧图像重叠区域的秧苗株距，秧苗间的像素距离用d和数字下标表示，秧苗间的实际距离用D和数字下标表示。
L1＝l1k1，L2＝l2k2；
L＝L1+L2＝l1k1+l2k2；
L＝Δtv；
Δt＝t2-t1；
D1＝k1d1；
D2＝k2d2；
D1＝D2。
当本发明实施例的插秧机处于插秧工作状态时，包括以下步骤：
检测启动模块5不断检测插秧机的工作状态和行驶速度，当插秧机处于插秧工作状态时，检测启动模块5的检测程序启动，安装于插秧机插植部末端摄像头固定支架3上的摄像头4开始拍摄已栽插秧苗的作业区域图像。
然后对获取的RGB图像进行灰度化处理，将秧苗图像从土壤背景中分离、以提取获得秧苗二值化图像，再对二值化图像进行开运算以去除噪声，用面积滤波算法去除高亮点，再使用区域标记方法标记出秧苗连通区域。
然后通过基于轮廓陡变度求轮廓关键点的算法，提取秧苗轮廓的关键点。
然后再对秧苗叶片特征的分析，以关键点前后像素的欧式距离为条件，将轮廓的关键点分为叶片的叶尖点和秧苗的栽插点，实现对秧苗栽插点的定位，计算秧苗区域的叶片数，结合检测启动模块5测得插秧机速度计算得到秧苗株距、穴秧苗数，嵌入式控制器1根据实际检测参数控制语音提示模块6对秧苗株距和穴秧苗数进行播报。
具体地，上述图像处理过程的详细步骤包括：
(1)图像灰度化，
通过摄像头4采集得到的图像为RGB图像，图像中每一个像素都是由一个三维向量组成，这三维向量分别代表该点像素的R、G、B值。彩色图像灰度化转化原理为：将像素点R，G，B三维分量转化为一维，作为该点的灰度值，在田间中环境复杂、背景多样，需要将RGB彩色图像各颜色分量适当组合转化。本发明中采用的秧苗灰度化方法为：图像开始采集后，计算机对图像进行超绿算法处理，采用2G-R-B对原图像进行灰度化。如式：
公式参数说明：Gray(x,y)为坐标为(x,y)点灰度值，R、G、B为图像红色、绿色、蓝色三个颜色分量。
(2)图像二值化
由于水田环境中，秧苗不同位置对阳光的反射特性不同、阴影、遮挡、复杂的背景等因素的存在，每幅图像中代表稻株的灰度值存在变化，因此，无法采用固定阈值的方法进行量化稻株灰度值。通过最大类间方差法(Otsu法)将秧苗图像进行二值化处理。
其中，Bw(x,y)＝0表示(x,y)点为背景，Bw(x,y)＝255表示(x,y)点为秧苗像素，Gray(x,y)为坐标为(x,y)点灰度值，式中k*为根据最大类间方差算法求出的最优阈值；
(3)形态学开运算
分割后的秧苗图像周围还存在一些噪声点，且相邻叶片会有重叠、粘连等情况，本发明通过形态学开运算先对秧苗图像进行腐蚀，然后进行膨胀，使秧苗图像便于后续处理，，采用3×3结构元素对图像进行一次开运算操作去除噪声，开运算如下：
参数说明：A为秧苗二值图像，C为结构元素，Cz为形态学开运算结果。
(4)图像孔洞填充
由于上述因素的影响，同一穴秧苗的二值化图像会出现孔洞，本发明通过形态学方法孔洞填充保证了秧苗连通区域的完整性，解决了秧苗的提取问题。
(5)图像面积滤波
图像经过二值化和孔洞填充后剩下秧苗图像和环境噪声，本发明采用面积滤波算法遍历秧苗的二值化图像，当某个连通区域面积小于N时，则将该区域置为噪声，将该连通区域像素值置零，计算公式如下：
参数说明：Bw(x,y)＝255表示(x,y)点为秧苗像素，BW(x,y)表示面积滤波后图像上(x,y)点像素值，本发明中通过试验，取N＝45时满足滤波条件。
(6)轮廓的提取
Canny算法是首先使用高斯滤波器平滑图象，接着用一阶偏导的有限差分来计算梯度的幅值和方向，然后对梯度幅值进行非极大值抑制，最后采用双阈值算法检测、连接边缘，得到秧苗图像轮廓。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法，其特征在于，包括以下步骤：
S1：检测启动模块不断检测插秧机的工作状态和行驶速度，所述插秧机处于插秧工作状态时，检测程序启动，安装于所述插秧机插植部末端的摄像头开始拍摄已栽插秧苗的作业区域图像并传送至嵌入式控制器；
S2：所述嵌入式控制器对所述摄像头采集到的RGB图像进行图像灰度化和图像二值化处理，再对二值化后的秧苗图像进行形态学开运算去除噪声，通过对形态学开运算后的秧苗图像进行连通区域标记,再通过形态学孔洞填充保证秧苗连通区域的完整性，计算形态学孔洞填充后秧苗图像的连通区域参数再使用面积滤波算法去除高亮点；
S3：计算所述步骤S2得到的秧苗图像的连通区域参数，判断当前图像是否满足继续求株距、穴秧苗数的要求；
S4：对满足要求的图像使用Canny算法提取满足要求的秧苗图像轮廓，通过基于轮廓陡变度求轮廓关键点的算法，提取秧苗轮廓的关键点；
S5：对秧苗叶片特征进行分析，以关键点前后像素的欧式距离为条件，将轮廓的关键点分为叶片的叶尖点和秧苗的栽插点，实现对秧苗栽插点的定位，计算秧苗区域的叶片数；所述嵌入式控制器结合检测所述启动模块测量得到插秧机速度计算出秧苗株距、穴秧苗数，并且根据实际检测参数控制语音提示模块进行播报。
2.如权利要求1所述的检测方法，其特征在于，所述步骤S2的所述图像灰度化包括：所述嵌入式控制器对彩色图像进行超绿算法处理，使用2G-R-B对原图像进行图像灰度化处理，计算公式为：
参数说明：Gray(x,y)为坐标为(x,y)点灰度值，R、G、B为图像红色、绿色、蓝色三个颜色分量；
所述步骤S2的所述图像二值化通过最大类间方差法对秧苗图像进行二值化处理，利用最大类间方差法计算出最优阈值k*，并根据如下公式将灰度图像分成秧苗和背景两部分：
其中，Bw(x,y)＝0表示(x,y)点为背景，Bw(x,y)＝255表示(x,y)点为秧苗像素，Gray(x,y)为坐标为(x,y)点灰度值，式中k*为根据最大类间方差算法求出的最优阈值；
所述步骤S2的所述形态学开运算去除噪声通过对秧苗图像进行腐蚀，然后进行膨胀，具体的开运算公式如下：
参数说明：A为图像，C为结构元素，Cz为形态学开运算结果
所述步骤S2的所述连通区域标记是逐行遍历图像，通过对形态学开运算后图像中G(x,y)＝255的秧苗像素连通区域进行标记，让每个秧苗连通区域形成一个被标识的块；
所述步骤S2的所述计算形态学孔洞填充后秧苗图像的连通区域参数；分别统计步骤S2中被标记后的秧苗各连通区域内部的像素的总数；一个连通区域表示一穴秧苗，计算当前图像中连通区域的面积、周长参数，判断当前图像是否满足求株距、穴秧苗数的要求，参数计算公式如下：
参数说明：Area为连通区域面积，Per为连通区域周长，No为链码值为奇数的个数，Ne为链码值为偶数的个数，f(x,y)为坐标为(x,y)像素面积，n为图像的宽，m为图像的长；
所述步骤S2的所述使用面积滤波算法去除高亮点，通过遍历秧苗的二值化图像，当某个连通区域面积小于N时，则将该区域置为噪声，将该连通区域像素值置零，计算公式如下：
参数说明：Bw(x,y)＝255表示(x,y)点为秧苗像素，BW(x,y)表示面积滤波后图像上(x,y)点像素值。
3.如权利要求1所述的检测方法，其特征在于，所述步骤S3为根据步骤S2中得到经过面积滤波后的秧苗连通区域，当图像中满足至少有两个连通区域的面积、周长参数与上一帧图像中近似，则判定当前图像满足求株距、穴秧苗数的要求，计算得出株距、穴秧苗数；否则不满足，重新拍摄图像继续分析。
4.如权利要求1所述的检测方法，其特征在于，所述步骤S3中，图像中满足至少有两个连通区域的面积、周长参数与上一帧图像中近似的判断标准为|Areai-Areai+1|<0.1Areai且|Peri-Peri+1|<0.i Peri，Areai，Peri为上一帧连通区域面积和周长，Areai+1，Peri+1为当前帧连通区域面积和周长。
5.如权利要求1所述的检测方法，其特征在于，所述步骤S4使用Canny算法提取满足要求的秧苗图像轮廓首先使用高斯滤波器平滑图象，再使用一阶偏导的有限差分来计算梯度的幅值和方向，然后对梯度幅值进行非极大值抑制，最后采用双阈值算法检测、连接边缘，得到秧苗图像轮廓；
再根据所述秧苗图像轮廓陡变度差异，提取秧苗图像轮廓的关键点，所述关键点包括所述秧苗图像轮廓的凸起点和凹陷点，凸起点有叶片的尖点、根部的栽插点；相邻叶片交叉部位会出现凹陷点，而凹陷点存在对于根部的栽插点定位、穴秧苗数的确定都是干扰，通过所述凸起点和所述凹陷点沿逆时针方向构造矢量和由点乘计算公式计算两个矢量点乘数值，矢量点乘计算公式：
参数说明：θ为矢量和的陡变度，(xi，yi)为秧苗轮廓图像i点坐标(xi-1，yi-1)为秧苗轮廓图像i-1点坐标，(xi+1，yi+1)为秧苗轮廓图像i+1点坐标；
在轮廓点上处于所述凸起点和所述凹陷点构造相邻向量陡变度范围为(0°，90°)，所以向量的点乘结果大于0；而处于轮廓上其他位置的点构造的相邻向量陡变度范围为(90°，180°)，所以向量的点乘结果小于0，通过设定0为阈值筛选出轮廓上所述凸起点和所述凹陷点的点；
通过矢量叉乘计算公式对轮廓的关键点进行叉乘运算筛选出轮廓上的凸起的点，矢量叉乘计算公式：
沿逆时针方向计算筛选出来的所述凸起点和所述凹陷点相邻向量的叉乘，在轮廓上凸起点叉乘结果大于0，其中方向垂直纸面朝向读者，Z轴为正方向；在轮廓凹陷点叉乘结果小于0，其中方向垂直纸面远离读者，Z轴为负方向；通过设定0为阈值筛选出轮廓上的凸起点；以轮廓上的凸起点前后像素的欧式距离为条件，确定秧苗叶尖点和秧苗栽插点，实现对秧苗栽插点定位，计算秧苗区域的叶片数，结合检测启动模块测得插秧机速度计算得到秧苗株距、穴秧苗数，所述嵌入式控制器根据实际检测参数控制语音提示模块进行播报。
6.如权利要求5所述的检测方法，其特征在于，秧苗轮廓上凸起点由秧苗的叶片尖点和秧苗的根茎部的栽插点组成，每穴理论的根茎部的栽插点数为1，秧苗的叶片数＝检测到轮廓上凸起点的数目-检测到根茎部的栽插点数目；
每穴秧苗的栽插点附近多棵秧苗的根茎部在这里重叠，形成一个较为完整的连通区域，且这个连通区域的宽度比叶片尖点附近的连通区域要宽，通过筛选出来的轮廓凸起点相邻两像素点的欧式距离来表示不同凸起点附近的连通区域宽度，通过距离可以体现出秧苗的轮廓点凸起的点间的差异，计算每穴秧苗凸起点的相邻两像素点的欧式距离，设定动态阈值，将轮廓的凸起点分为秧苗的叶片尖点和秧苗的根茎部的栽插点并确定图像中根茎部的栽插点坐标，相邻K像素点的欧式距离计算公式如下：
参数说明：(xi+k，yi+k)为轮廓的凸起点i+k点坐标(xi-k，yi-k)为轮廓的凸起点i-k点坐标，d为轮廓的凸起点相邻K像素点的欧式距离；
计算得到秧苗的叶片尖点数，结合人工统计的该品种秧苗秧龄、检测启动模块测得插秧机速度计算得到秧苗株距、穴秧苗数，所述嵌入式控制器根据实际检测参数控制语音提示模块进行播报。
7.如权利要求6所述的检测方法，其特征在于，插秧时的秧苗带土，秧龄为2-3叶，通过统计晚稻插秧试验中所用的两种秧苗秧龄，每种随机抽取取样本200株，统计结果服从正态分布，平均秧龄为2.5叶，每穴秧苗数根据图像处理计算得到秧苗的叶片尖点数、平均秧龄得到，计算方法如下：
式中，Num为每穴秧苗数，N为秧苗的叶片尖点数，average为平均秧龄；对上述Num结果计算分析，平均秧龄为2.5叶，通过图像处理得到很多秧龄，分别为2叶、3叶、4叶、5叶；通过对数值进行四舍五入处理符合实际统计结果，得到每穴秧苗数，根据图像中根茎部的栽插点坐标计算得到相邻两秧苗间的像素距离，通过乘上每个像素点的比例系数可转化为两秧苗间的实际距离，所述嵌入式控制器根据得到的实际每穴秧苗数、两秧苗间的株距参数控制语音提示模块播报。
8.如权利要求6和7任一所述的检测方法，其特征在于，通过确定图像中根茎部的栽插点坐标结合检测启动模块测得插秧机速度计算得到秧苗株距，设t1时刻像素比例系数为k1,经过Δt时间到达t2时刻，t2时刻的像素比例系数为k2，插秧机从t1时刻到t2时刻(即Δt＝t2-t1)内的平均速度为v,第2、3秧苗中心相对图像中心走过的真实距离为L，t1时刻第2、3秧苗中心相对图像中心像素距离为l1，第2、3秧苗中心相对图像中心实际距离为L1；t2时刻第2、3秧苗中心相对图像中心像素距离为l2,第2、3秧苗中心相对图像中心实际距离为L2，根据已知条件可以计算得出两帧图像重叠区域的秧苗实际距离D，秧苗间的像素距离用d和数字下标表示，秧苗间的实际距离用D和数字下标表示，计算公式如下：
L1＝l1k1，L2＝l2k2；
L＝L1+L2＝l1k1+l2k2；
L＝Δtv；
Δt＝t2-t1；
D1＝k1d1；
D2＝k2d2；
D1＝D2。
9.使用如权利要求1所述检测方法的装置，其特征在于，所述装置包括摄像头、嵌入式控制器、安装在插秧机插植部的摄像头固定支架、语音提示模块、检测启动模块、电源模块；所述嵌入式控制器和所述电源模块均安装于所述插秧机的座位后部并且两者相连，所述嵌入式控制器和所述电源模块还分别与所述检测启动模块和所述语音提示模块相连，所述摄像头通过所述摄像头固定支架安装在所述插秧机插植部并拍摄秧苗图像，所述摄像头固定支架与摄像头连接角度可手动调节，所述摄像头还与所述嵌入式控制器电连接。
CN201810050581.8A 2018-01-18 2018-01-18 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置 Active CN108323389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810050581.8A CN108323389B (zh) 2018-01-18 2018-01-18 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810050581.8A CN108323389B (zh) 2018-01-18 2018-01-18 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置

Publications (2)

Publication Number Publication Date
CN108323389A CN108323389A (zh) 2018-07-27
CN108323389B true CN108323389B (zh) 2019-11-08

Family

ID=62925342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810050581.8A Active CN108323389B (zh) 2018-01-18 2018-01-18 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置

Country Status (1)

Country Link
CN (1) CN108323389B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109405757B (zh) * 2018-12-28 2020-04-17 华南农业大学 一种多光感式稻苗株距测量装置
CN109874469B (zh) * 2019-01-18 2021-04-09 丰疆智能科技研究院(常州)有限公司 插秧编组系统及其插秧编组方法和插秧补苗方法
CN110622799B (zh) * 2019-10-12 2022-04-22 华中农业大学 一种再生稻稻田艺术画的制作方法
CN111479128A (zh) * 2020-04-01 2020-07-31 黑龙江省农业科学院农业遥感与信息研究所 一种利用互联网进行农业种植技术推广的系统及方法
CN111886982B (zh) * 2020-08-21 2022-03-22 农业农村部南京农业机械化研究所 一种旱地栽植作业质量实时检测系统的检测方法
CN112884785B (zh) * 2021-03-16 2022-03-25 常熟理工学院 多斜位乳腺x线图像背景自动去除方法、装置及介质
CN113850117B (zh) * 2021-07-13 2024-05-14 江苏省农业机械试验鉴定站 一种水稻插秧机性能检测系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015092059A1 (en) * 2013-12-20 2015-06-25 I.R.I.S. Method and system for correcting projective distortions.
CN103699900B (zh) * 2014-01-03 2016-10-05 西北工业大学 卫星影像中建筑物水平矢量轮廓自动批量提取方法
JP2016018490A (ja) * 2014-07-10 2016-02-01 株式会社ソシオネクスト エッジ検出方法、エッジ検出装置及びエッジ検出プログラム
CN104392430B (zh) * 2014-10-22 2017-06-20 华南农业大学 基于机器视觉的超级杂交稻穴播量的检测方法及装置
CN106898000B (zh) * 2017-02-15 2020-02-18 华东师范大学 一种磁共振成像大脑灰质核团的自动分割方法
CN107527066A (zh) * 2017-07-26 2017-12-29 华南农业大学 一种基于嵌入式的杂交稻播种性能检测系统及检测方法

Also Published As

Publication number Publication date
CN108323389A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108323389B (zh) 水稻插秧机的插秧秧苗株距与穴秧苗数的检测方法和装置
CN100416590C (zh) 利用位置和纹理特征自动识别作物苗期田间杂草的方法
CN114067207A (zh) 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法
CN102855485B (zh) 一种小麦抽穗的自动检测方法
CN108710766A (zh) 一种基于生长模型的温室植物水肥机调肥参数计算方法
CN111462058B (zh) 一种水稻有效穗快速检测方法
CN110455201B (zh) 基于机器视觉的茎秆作物高度测量方法
CN102542560B (zh) 一种水稻移栽后密度自动检测的方法
CN107610172A (zh) 一种基于图像识别的大宗作物株高测量方法
CN108037123A (zh) 一种杂交稻钵体盘播种性能参数精密检测方法
CN113920106A (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN115661647A (zh) 一种树木栽种生长状况的定时巡检方法
CN102663396A (zh) 一种水稻乳熟期自动检测的方法
CN117876823B (zh) 一种茶园图像检测方法及其模型训练方法和系统
CN114299144A (zh) 一种基于机器视觉的水稻精准定位方法
CN110516563A (zh) 基于dsp的农业移栽机智能路径导航方法
CN102360428B (zh) 一种玉米三叶期与七叶期的自动检测方法
CN111932551B (zh) 一种水稻插秧机的漏插率检测方法
CN117933558A (zh) 一种校园智慧农业种植管理方法
CN109523550A (zh) 一种五因素小麦出苗情况评价方法
CN116453003B (zh) 一种基于无人机监测智能识别水稻生长势的方法和系统
CN107169940B (zh) 基于电子识别的单株梨树产量获取方法
CN109934186A (zh) 一种农作物直播成苗率的智慧高效监控方法
CN106373133A (zh) 一种基于暗通道去雾算法的农田插秧检测方法及其系统
CN109685815A (zh) 一种基于图像处理的玉米行间的路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant