CN110276775B - 一种基于机器视觉的番茄穴盘苗嫁接切削参数识别方法 - Google Patents

Abstract

本发明涉及计算机视觉领域。目的是本发明提出一种利用计算机视觉技术进行番茄幼苗切削参数识别的方法，为提高嫁接机的自动化程度打下基础。技术方案是：一种基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，包含以下步骤：步骤一、图像采集及图像轮廓链提取；步骤二、确定茎杆中心斜率；步骤三、确定幼苗根部位置；步骤四、确定真叶与子叶位置。

Description

一种基于机器视觉的番茄穴盘苗嫁接切削参数识别方法

技术领域

本发明涉及计算机视觉领域，更具体地设计一种番茄幼苗切削参数识别方法。

背景技术

随着现代城镇化的建设，农耕地慢慢的被建成住宅及商业街，使得农耕地越来越少，同时务农劳动力逐渐下降。虽然现代化的蔬菜栽培的方式有很多，但是常年温室蔬菜连作使得土壤恶化、蔬菜种植病虫害加剧、生产质量和品质下滑。嫁接能有效避免连作影响、增强植物抗病和耐寒能力、是提高蔬菜作物质量和品质不可缺少的技术。因此需要将自动化与嫁接有效地结合起来，从而解决对人工的依赖。

近年来基于机器视觉方法对自动嫁接研究的有：浙江大学吕谷来等发表的“基于机器视觉的砧木定位识别方法”[浙江大学学报(工学版),2011,45(10):1766-1770]，该文章的目的是通过确认抓取点的位置完成砧木苗的定位，针对抓取点和旋转角度做了研究，通过判断砧木茎的斜率符号是否相同来确定抓取点位置，旋转角度通过生长点与两片子叶的质心分别连接得到。西北农林科技大学机械与电子工程学院王霞霞等的“嫁接用苗培育系统及外观特征检测方法的研究”[西北农林科技大学,2014]，通过检测西葫芦幼苗的生长状态、子叶参数和胚轴参数分析幼苗的外观特征参数，实现对幼苗外观特征的自动检测；文章针对西葫芦幼苗的外观特征，使用最小矩形的标定方法确定幼苗的生长状态，西葫芦幼苗的弯曲度是找到曲率最大的坐标点，将它与两端相连，通过两个线段与水平方向夹角得出苗茎的弯曲度即苗茎中心斜率。西北农林科技大学机械与电子工程学院的徐立青等的“基于机器视觉的嫁接幼苗特征识别方法“[.农业工程,2018,8(11):20-24]，通过求取幼苗子叶方向、幼苗生长点位置以及子叶叶片面积等特征信息，实现对番茄幼苗的特征识别；为了识别出幼苗的两片叶子，从俯视的角度采集瓜科幼苗的图片，对图片使用基于hough变换的椭圆拟合完成特征识别。

以上都是针对瓜科幼苗的方法，并未对番茄幼苗进行研究，由于番茄幼苗与瓜科幼苗的植物特征不同，所以针对瓜科幼苗的提取特征参数方法在番茄幼苗上不适用。

发明内容

针对现有自动化嫁接机对人的依赖高、嫁接机自动化程度低的现状；本发明提出一种利用计算机视觉技术进行番茄幼苗切削参数识别的方法，为提高嫁接机的自动化程度打下基础。

为了实现上述目的，发明采用了以下的技术方案：

一种基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，包含以下步骤：

步骤一、图像采集及图像轮廓链提取

根据嫁接农艺的要求，需要确定并计算出4个关键参数是番茄幼苗的根部位置、子叶位置、真叶位置、茎杆中心线斜率；具体步骤是：首先采集番茄幼苗图像，在幼苗图像中建立坐标系；接着通过图像处理提取图像轮廓链，为接下来的操作作铺垫；

步骤二、确定茎杆中心斜率

利用最小二乘法多项式曲线拟合的方法求出番茄幼苗中心线的斜率；

步骤三、确定幼苗根部位置

先计算番茄幼苗的水平截线宽度，再确定幼苗根部位置；

步骤四、确定真叶与子叶位置

先根据真叶位置的轮廓链链角范围确定幼苗真叶位置；再通过计算从根部位置到真叶参考点之间蕃茄幼苗茎杆轮廓链宽度，确定幼苗子叶。

所述步骤二确定茎杆中心斜率，包含以下四步：

(1)利用二次拟合的方法检测幼苗杆茎的斜率；

(2)利用矩阵计算方法通过轮廓链像素坐标求解系数值，取幼苗轮廓链上的任意三个点的像素坐标；

(3)利用矩阵求逆的方法求得系数值；

(4)根据导数的性质可得苗茎的斜率。

所述步骤三确定根部位置，包括以下两步：

第一步，计算番茄幼苗的水平截线宽度

根部位置的确定，需要先确定幼苗茎杆的水平截线宽度；包含以下二小步：

1、取轮廓链纵坐标的最值；

2、以纵坐标的最大值为起点，纵坐标的最小值为终点每隔一个像素做一条水平线，每条水平线与轮廓链交点的横坐标相减的绝对值即所求该条水平截线宽度；

第二步，确定幼苗根部位置

先通过迭代计算图像中蕃茄幼苗苗茎宽度，求得茎杆与根部土壤包裹连接点纵坐标，将此处作为根部位置的纵坐标，然后定义茎杆的中心线对应的横坐标与此处的纵坐标定义为根部位置；

幼苗根部位置的确定包含以下四小步：

(1)求解蕃茄幼苗轮廓链像素点的水平截线宽度；该步骤的数值，已经由以上的步骤得出；

(2)求水平截线宽度的平均值avg；

(3)设定一个变量avg2，在第一步中已经得出纵坐标与水平截线宽度值的对应关系，找出第(2)小步中的水平截线宽度的平均值乘以1.2后对应的纵坐标，然后计算该纵坐标与根部位置的纵坐标之间的水平截线宽度的平均值，赋予avg2。

(4)迭代计算2和3，并设置迭代结束条件：avg-avg2＜＝1；

与最终迭代结果相同的最小纵坐标的水平截线即为幼苗根部位置。

所述步骤四确定真叶与子叶位置，根据上节中确定的幼苗根部位置，接下来包括两步：

第一步，确定幼苗真叶位置，具体包含以下三小步：

(1)设置跨距；

(2)找出幼苗整体1/2高度的位置对应的纵坐标；

(3)以第2小步中的纵坐标Y为起点，幼苗顶点为终点，在第1小步设置的跨距下，以幼苗的生长为方向计算该范围内的像素点的链角值。由于茎秆是竖直的，其链角值变化很小，只有在真叶参考点处，才会有较大的变化，所以第一个链角峰值就是所求的真叶位置。

第二步，确定幼苗子叶位置

针对子叶参考点的确定，首先明确子叶参考点必定位于参考真叶参考点与根部位置之间，然后计算从根部位置到真叶参考点之间蕃茄幼苗茎杆轮廓链宽度，即根据所提取出的茎杆的轮廓链的像素坐标，根据在图像坐标中同一水平线上x的最大值与最小值之差，来判断确定子叶参考点的位置，并参考真叶参考点和根部位置确定；具体包含以下三小步：

1、设置根部位置点与真叶位置点的坐标为假定值；

2、以轮廓链上纵坐标的最大值为起点，纵坐标的最小值为终点；由上至下每隔一个像素做一条水平截线，交点的横坐标相减的绝对值即所求；最大值就是子叶参考点的位置；

3、子叶参考点的坐标就可以得到。

所述步骤一中采用树莓派进行图像采集，以采集到完整图像为标准；完整图像包括真叶、子叶、根部、茎杆部分。

所述图像处理过程是：先对采集到的图像使用OTSU阈值分割方法，完成图像二值化操作；接着对获得的二值图像使用基于canny算子的边缘检测方法，提取边缘；再将边缘上的所有像素点连接起来组成的连通区域就构成了轮廓链。

本发明的优点和技术效果：

1.本发明是根据幼苗轮廓特征结合曲线拟合确定幼苗的中心线斜率，幼苗轮廓链提取准确为97％，中心线的斜率准确率为96％。

2.本发明是基于机器视觉的，针对采集的图像，可以在40ms的时间内确定特征点位置以及中心线的斜率。

附图说明

图1为蕃茄幼苗嫁接过程示意图。

图2为砧木幼苗特征详解图。

图3为求解蕃茄幼苗茎秆中心线斜率而建立的坐标系示意图。

图4为求解水平截线宽度坐标系。

图5为蕃茄幼苗切削特征参数示意图。

图6为蕃茄幼苗水平截线宽度结果示意图(图中像素点符号标记是从上往下排列)。

图7为蕃茄幼苗根部位置与茎杆区间标识图。

图8为确定蕃茄幼苗真叶位置建立的示意图(轮廓链与像素点关系示意图)。

图9为利用水平截线宽度确定蕃茄幼苗子叶位置示意图(水平截线宽度与像素点关系示意图)。

图10为链角与跨距关系示意图

具体实施方式

下面结合附图所示实施例详细说明。

首先确定几个定义

1、跨距：指的是任意两个像素点之间的距离。

2、轮廓链链角：是指轮廓链上某一点坐标与它的后继点坐标以及前继点坐标之间的关系，以向量的形式表示轮廓链上的某一点坐标和前继点坐标以及某一点坐标和它的后继点坐标，使用余弦的展开公式求得两个向量的夹角，该夹角就是轮廓链链角。

本发明所述基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，包含以下步骤：

步骤一、图像采集与处理

将嫁接幼苗放置在传送带上，手动打开树莓派的拍照功能，传送带将幼苗带到拍照区域，树莓派采集完整图像；传送带在运动过程中，采集到的图像若有部分不完整，则需重新采集；完整图像包括真叶、子叶、根部、茎杆部分(完整图像如图2所示)。

根据嫁接农艺的要求，需要确定并计算出4个关键参数是根部位置、子叶位置、真叶位置、茎杆中心线斜率。因此需要将图像中的轮廓连提取出来进行处理，为接下来的操作作铺垫。具体操作如下：

1、对采集到的彩色图像使用OTSU阈值分割方法，完成图像二值化操作；

2、二值化的图像上建立坐标系；

3、对获得的二值图像使用基于canny算子的边缘检测方法，提取边缘；边缘上的所有像素点连接起来组成的连通区域就构成了轮廓链；结合图10，轮廓链链角则是指轮廓链上两个跨距相等的向量

与

之间的夹角θ，θ就是轮廓链链角。

步骤二，确定茎杆中心斜率，利用最小二乘法多项式曲线拟合的方法拟合蕃茄幼苗中心线的斜率。

确定茎杆中心线斜率，包括以下五步：

1、图2示意图是幼苗的一种理想情况，其茎杆中心斜率为0。由于植物的向光性，在生长的过程中茎杆会出现弯曲的情况，所以需要计算茎杆的中心线斜率。将坐标原点定义为采集到的图像左上角，这么做的原因是因为茎杆弯曲成90度时，其斜率(tan90度)无限大，为避免这个问题，需要转换坐标系。转化过后的坐标系示意图如图3所示。

2、利用二次拟合的方法检测幼苗杆茎中心线的斜率，转换图像坐标设定曲线拟合公式为：

x＝ay²+by+c

3、利用矩阵计算方法通过轮廓链像素坐标求解系数值a、b、c，取幼苗轮廓链上的任意三个点的像素坐标为(Y_i,X_i)、(Y_i+1,X_i+1)、(Y_i+2,X_i+2)，i∈N⁺，则

其中的A为：

4、通过利用矩阵求逆的方法得a、b、c为

其中A^-1为

整理得a、b的值为：

a＝(Y_i+1-Y_i+2)*X_i+(Y_i+1-Y_i)*X_i+1+(Y_i-Y_i+1)*X_i+2

5、根据导数的性质可得苗茎中心线的斜率为：

k＝x′＝2ay+b

步骤三、确定幼苗根部位置

首先计算番茄幼苗的水平截线宽度；根据以上得出的数据得出根部位置的信息；水平截线宽度的定义为：在坐标系中，以幼苗轮廓链的最高点为起始点，幼苗轮廓链的最低点为终点，每隔一个像素的距离做一横向水平线；该水平线与轮廓链总是有两个交点，水平截线宽度，就等于两个交点横坐标的差值的绝对值。

确定幼苗根部位置，包括以下两步：

第一步，计算番茄幼苗茎杆的水平截线宽度

具体包含以下两小步：

(1)将轮廓链的像素坐标点存入数组中，设两个幼苗轮廓链的像素点坐标为(X₁,Y₁)，(X₂,Y₂)。

遍历轮廓链像素点数组，取轮廓链纵坐标Y的最大值与最小值分别赋予Y₂与Y₁：

Y₁＝min(Y_i),Y₂＝max(Y_i),i是轮廓链像素点的标号

(2)以Y₂为起点，Y₁为终点每隔一个像素，由上至下的顺序做水平截线，任意一条水平截线与轮廓链会有两个交点，将两个交点的横坐标的数值相减取绝对值，就可得到每一水平截线宽度值。

L_i＝|X₁-X₂|

第二步，确定幼苗根部位置

通过对图像中蕃茄幼苗估计苗茎宽度的计算，使用牛顿迭代计算幼苗估计苗茎宽度，求得茎杆与根部土壤包裹连接点纵坐标，将此处作为根部位置的纵坐标，将轮廓链中的相同根部位置纵坐标的像素点连接，从而得到根部位置；具体实现方法包含以下四小步：

(1)求解幼苗的水平截线宽度。在第一步骤中提及。建立与第一步骤中相同的坐标系。

(2)求幼苗的水平截线宽度平均值

(3)设定一个变量avg2，根据水平截线宽度的求法，轮廓链上的纵坐标都对应着一个宽度值，所以可以根据宽度值找到相应的纵坐标。把水平截线宽度为avg*1.2对应的纵坐标设置为新的Y₂，再次计算平均值，将计算结果赋予avg2。

(4)使用牛顿迭代法计算2和3，并设置迭代结束条件：avg-avg2＜＝1；迭代结束后，可得到苗径宽度的具体值。由于植物的生长特性，苗的茎杆的宽度是不会变化的。迭代之后，与茎杆无关的干扰项都被剔除了(参见图7，茎秆区域已用黑框标出)。根据建立的坐标系，其中幼苗生长方向为纵轴，那么茎杆中纵坐标数值最大的点就是茎杆的顶部点，将相同的最大纵坐标点连接就构成了茎杆顶部位置。茎杆中纵坐标数值最小的点就是根部点，将相同的最小纵坐标点连接就构成了根部位置。

步骤四、确定幼苗真叶以及子叶位置

该步骤主要针对确定幼苗轮廓参数作分析；通过该步骤，确定真叶与子叶位置；具体包括两步：

第一步，确定幼苗真叶位置

具体包含以下三小步：

(1)设置跨距(例如设置跨距60)；

(2)找出幼苗整体1/2高度的位置对应的纵坐标；

(3)以2小步中的纵坐标Y为起点，幼苗顶点为终点，在1小步设置的跨距下，以幼苗的生长方向计算该范围内的像素点的链角值。由于茎秆是竖直的，其链角值变化很小，只有在真叶参考点处，才会有较大的变化，所以第一个链角峰值就是所求的真叶位置。

第二步，确定幼苗子叶位置(本文中与子叶参考点B位置相同)

子叶参考点B的确定；

根据植物的生长特性，子叶参考点B必定位于真叶参考点C与根部位置A之间。番茄苗的茎杆部分宽度在上述的步骤四中可以得到；计算番茄幼苗茎杆轮廓链水平截线宽度，宽度值最大的点且该点的纵坐标与根部位置差值较小的就是子叶参考点B。具体包含以下三小步：

(1)建立与步骤三中确定根部位置相同的坐标系；

(2)从根部位置内任取一点A与真叶位置C的坐标分别为

A＝(X_a,Y_a),C＝(X_c,Y_c)

Y_a＜Y_i＜Y_c

同样以一个像素为单位以为Y_c起点，Y_a为终点，由上至下的顺序作出水平截线；该水平截线与茎杆轮廓链会有两个交点，将两个交点的横坐标的数值相减取绝对值，得到茎杆上的水平截线宽度值。

L_i＝|X₁-X₂|

(3)当茎杆水平截线宽度值取得最大值时且Y_i-Y_a差值较小的点，就是子叶参考点的位置；

故此时子叶参考点B的坐标为

B＝((max(X₁,X₂)),Y_i),

实施例1：

预处理：对番茄穴盘苗的幼苗采集图像，并且提取图像轮廓链；

假设采集到的图像分辨率为640*480。

建立直角坐标系(如图3所示)，坐标原点是图像上的(0,480)。

1、确定茎杆中心斜率

利用二次拟合的方法检测幼苗杆茎的斜率，转换图像坐标设定曲线拟合公式为：

x＝ay²+by+c

任取轮廓链上的三个坐标点，例如(360,234)，(361,235)，(366,236)，则

其中A为

通过逆矩阵的方法求得a，b，c为

其中A^-1为：

整理得a、b的值为

a＝(361-366)*234+(361-360)*235+(360-361)*236＝-1171

b＝(3635)*234+(-4356)*235+(721)*236＝-2914

根据导数的性质可得苗茎的斜率为

k＝x′＝-2342y-2914

代入不同的y值就可以得到相应点的茎杆中心斜率。

2、求番茄幼苗的水平截线宽度

针对图2先作出坐标系，以图像的(0,0)点作为原点，幼苗生长方向为y轴，x轴与y轴垂直，指向右侧(如图4所示)。

以纵坐标值为137在蕃茄幼苗轮廓链上做一条水平截线，得到(232,137)和(238,137)两个坐标，其水平截线宽度就等于两个坐标的横坐标相减，等于6个像素，这就是它的水平截线宽度。其他点(纵坐标上每隔一个像素作一条水平截线，每一水平截线与蕃茄幼苗轮廓链的交点就是其他点)的水平截线宽度也是如此得到。

3、确定幼苗根部位置:

(1)求解蕃茄幼苗轮廓链像素点的水平截线宽度，获得具体数值(参见图6)。

(2)求水平截线宽度的平均值，将水平截线宽度值求出相加，然后除以水平截线的个数，得到结果68；

(3)设定一个变量avg2。水平截线宽度平均值为70的对应纵坐标是390，将390设置为新的Y₂，再次计算平均值，并赋予avg2。

(4)使用牛顿迭代法迭代计算步骤二和步骤三，并设置迭代结束条件：avg-avg2＜＝1，即当avg与avg2的差值小于等于1时结束(最终迭代结果为茎秆的宽度)。

最终迭代结果为6像素，说明茎秆的宽度为6个像素，也就说明了茎秆顶部的宽度是6像素，根部位置的宽度也是6个像素。所建立的坐标系以幼苗生长方向为纵轴，根据纵坐标与水平截线宽度的对应关系，纵坐标在157-385范围之间时，其水平截线宽度为6个像素，将纵坐标为157的点连接起来就构成了根部位置，将纵坐标为385的点连接起来就构成了顶部位置。

取顶部位置的中点以”+”号标明，同理取根部位置的中点也以”+”号标明，结合图7，两个”+”号之间的黑框区域就是幼苗的茎秆区间。

确定幼苗真叶位置C，设置跨距为60；找出幼苗整体1/2高度的位置对应的纵坐标；

以第2小步中的纵坐标Y为起点，幼苗顶点为终点，在第1小步设置的跨距下，计算该范围内的像素点的链角值，第一个链角峰值就是所求的真叶位置。真叶参考点位置C如图8所示。

确定子叶位置B，根据植物的生长特性，子叶参考点B必定位于参考真叶参考点C与根部位置区域中A之间。番茄幼苗的茎杆部分在前述步骤中可以得到。计算番茄幼苗茎杆轮廓链水平宽度，宽度值最大的点且该点的纵坐标与根部位置差值小的就是子叶参考点B。

Claims (5)

1.一种基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，包含以下步骤：

步骤一、图像采集及图像轮廓链提取

根据嫁接农艺的要求，需要确定并计算出4个关键参数是番茄幼苗的根部位置、子叶位置、真叶位置、茎杆中心线斜率；具体步骤是：首先采集番茄幼苗图像，在幼苗图像中建立坐标系；接着通过图像处理提取图像轮廓链，为接下来的操作作铺垫；

步骤二、确定茎杆中心斜率

利用最小二乘法多项式曲线拟合的方法求出番茄幼苗中心线的斜率；

步骤三、确定幼苗根部位置

先计算番茄幼苗的水平截线宽度，再确定幼苗根部位置；

步骤四、确定真叶与子叶位置

先根据真叶位置的轮廓链链角范围确定幼苗真叶位置；再通过计算从根部位置到真叶参考点之间蕃茄幼苗茎杆轮廓链宽度，确定幼苗子叶；

所述步骤三确定根部位置，包括以下两步：

第一步，计算番茄幼苗的水平截线宽度

根部位置的确定，需要先确定幼苗茎杆的水平截线宽度；包含以下二小步：

(1)取轮廓链纵坐标的最值；

(2)以纵坐标的最大值为起点，纵坐标的最小值为终点，每隔一个像素做一条水平线，每条水平线与轮廓链交点的横坐标相减的绝对值即所求该条水平截线宽度；

第二步，确定幼苗根部位置

幼苗根部位置的确定包含以下四小步：

(1)求解蕃茄幼苗轮廓链像素点的水平截线宽度,该步骤的数值，已经由以上的步骤得出；

(2)求水平截线宽度的平均值avg；

(3)设定一个变量avg2，在第一步骤中已经得出纵坐标与水平截线宽度值的对应关系，找出(2)小步中的水平截线宽度的平均值乘以1.2后对应的纵坐标，然后计算该纵坐标与根部位置的纵坐标之间的水平截线宽度的平均值，赋予avg2；

(4)迭代计算(2)和(3)，并设置迭代结束条件：avg-avg2＜＝1；

与最终迭代结果相同的最小纵坐标的水平截线即为幼苗根部位置。

2.根据权利要求1所述的基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，其特征在于：所述步骤二确定茎杆中心斜率，包含以下四步：

(1)利用二次拟合的方法检测幼苗杆茎的斜率；

(2)利用矩阵计算方法通过轮廓链像素坐标求解系数值，取幼苗轮廓链上的任意三个点的像素坐标；

(3)利用矩阵求逆的方法求得系数值；

(4)根据导数的性质可得苗茎的斜率。

3.根据权利要求1所述的基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，其特征在于：所述步骤四确定子叶位置，根据上节中确定的幼苗根部位置，接下来包括两步：

第一步，确定幼苗真叶位置

具体包含以下三小步：

(1)设置跨距；

(2)找出幼苗整体1/2高度的位置对应的纵坐标；

(3)以第2小步中的纵坐标为起点，幼苗顶点为终点，在1小步设置的跨距下，计算每个像素点的链角，第一个链角峰值就是所求的真叶位置；

第二步，确定幼苗子叶位置

具体包含以下三小步：

(1)设置根部位置点与真叶位置点的坐标为假定值；

(2)以轮廓链上纵坐标的最大值为起点，轮廓链上纵坐标的最小值为终点；每隔一个像素做一条水平截线，交点的横坐标相减的绝对值即所求；最大值就是子叶参考点的位置；

(3)子叶参考点的坐标就可以得到。

4.根据权利要求1所述的基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，其特征在于：所述步骤一中采用树莓派进行图像采集，以采集到完整图像为标准；完整图像包括真叶、子叶、根部、茎杆部分。

5.根据权利要求1所述的基于机器视觉的番茄穴盘苗嫁接切削参数识别方法，其特征在于：所述图像处理过程是：先对采集到的图像使用OTSU阈值分割方法，完成图像二值化操作；接着对获得的二值图像使用基于canny算子的边缘检测方法，提取边缘；再将边缘上的所有像素点连接起来组成的连通区域就构成了轮廓链。

Images