CN104751117A - 一种用于采摘机器人的莲蓬目标图像识别方法 - Google Patents

Abstract

本发明公开了一种用于采摘机器人的莲蓬目标图像识别方法，采用图像高斯滤波与超绿色指标法相结合的方法，设计超绿色高斯滤波器，去除复杂背景；采用改进的形态学分水岭分割算法对有重叠现象的图像实现重叠部分的分离和分割；改进Hu不变矩算法，计算莲蓬、荷叶、荷花、茎的不变矩a_n，对所计算的n阶不变矩进行线性组合，得到能够表征莲蓬、荷叶、荷花、茎不同形状特征的不变矩主成分z_m；图像目标识别，利用K-Means聚类算法对莲蓬、荷花、荷叶、茎图像的不变矩主成分z_m分类。主成分离莲蓬聚类中心最近的连通分量即为莲蓬。本发明可以有效地区分识别莲蓬、荷叶、荷花、茎，是莲蓬采摘机器人的视觉系统的核心算法技术。

Description

一种用于采摘机器人的莲蓬目标图像识别方法

技术领域

本发明属于农业机械领域，涉及一种用于采摘机器人的莲蓬目标图像识别方法。

背景技术

采摘机器人的开发与发展始于1968年的美国，主要有机械振摇式和气动振摇式，但两者对果实的伤害较大。随着智能化、自动化、工业化的发展，国外采摘机器人的发展已经突飞猛进，日本、荷兰、法国、英国等国家已试验成功了很多采摘机器人，如番茄采摘机器人、葡萄采摘机器人、黄瓜采摘机器人、西瓜采摘机器人、甘蓝采摘机器人、蘑菇采摘机器人等。在国内，果蔬采摘机器人的研究刚刚起步，东北大学的陆怀民试验成功了林木果球采摘机器人，郭峰等人运用图像处理和神经网络技术，开发了草莓挑选机器人，随后浙江大学的应义斌开发了水果自动分级机器人。为使机器人得到更大的发展空间，我们将其运用到水生植物的采摘，为人们提供更大的便利。

发明内容

本发明的目的是：为了将采摘机器人用于更广泛的领域，不仅适用于陆地果实、农作物的采摘，也能用于水生植物的识别、定位和采摘，研究开发了一种用于水上作物采摘机器人的莲蓬目标图像识别方法，并针对识别过程中存在的问题，提出解决方案。

本发明的技术方案为：

本发明一种用于采摘机器人的莲蓬目标图像识别方法的技术方案包括以下步骤：

一种用于采摘机器人的莲蓬目标图像识别方法，包括以下步骤：

步骤1，采用图像高斯滤波与超绿色指标法相结合的方法，设计超绿色高斯滤波器，去除复杂背景；

步骤2，采用距离变换与空间模式聚类算法相结合的分水岭算法，对有重叠现象的图像实现重叠部分的分离和分割；

步骤3，利用改进Hu不变矩算法，计算莲蓬、荷叶、荷花、茎的不变矩a_n，对所计算的n阶不变矩进行线性组合，得到能够表征莲蓬、荷叶、荷花、茎不同形状特征的不变矩主成分z_m(m≤n)；

步骤4，图像目标识别，利用K-Means聚类算法对莲蓬、荷花、荷叶、茎图像的不变 矩主成分z_m分类，主成分离莲蓬聚类中心最近的连通分量即为莲蓬。

进一步，所述步骤1的高斯滤波函数为：

$G(x,y)=\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{h}_1(m,n)h_2(x-m,y-n)$

其中x＝0,1,2,...,M-1；y＝0,1,2,...,N-1。x，y轴垂直，在与x，y相互正交的z轴上加入一维离散信号，其中x，y，z轴符合右手定则，利用卷积定理，构造超绿色高斯滤波器。

进一步，所述步骤2具体过程为： 

步骤2.1，通过bwdist函数实现二值图像中的每个像素值的距离变换；

步骤2.2，经过距离变换后，在进行分水岭分割算法，为每个分水岭定义特征值，根据特征量计算相似区域之间的欧氏距离和空间距离，从而确定像素聚类中心的距离，然后对产生过分割现象的图像区域采用基于空间模式聚类方案进行合并，实现相似小区域的合并，从而避免过分割现象，这里的欧氏距离计算公式如下：

$d_{12}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

其中，(x₁,y₁)和(x₂,y₂)为图像中的相似区域中任意两点。

进一步，所述步骤4具体过程为： 

步骤4.1，以莲蓬、荷叶、荷花、茎为对象，且他们的形状特征差异较大，取K＝4，从N＝80组不变矩主成分样本{z_m1,z_m2,...,z_m80}中选取K＝4个样本值，作为初始聚类中心；

步骤4.2，计算各样本到各聚类中心的欧式距离并获取其类别标号；

步骤4.3，计算每个聚类的样本均值，作为新的聚类中心；

步骤4.4，重复步骤4.2～4.3，直到聚类中心不再变化，即得K＝4个聚类中心。

进一步，所述步骤4.4具体过程为： 

通过K-Means聚类算法将样本不变矩主成分分为四个聚类中心{c₁,c₂,c₃c₄}，分别代表莲蓬、荷叶、荷花、茎，然后对采集的目标图像进行连通分量提取，计算每个连通域的主成分分量z_m，主成分分量离莲蓬聚类中心最近的连通分量即为莲蓬，并用“+”标记，同时在原始图像相应位置处用“+”标记，标记完所有连通域后，显示该二值图像以及标记后的原始图像。

本发明的有益效果为：本发明实现了莲蓬、荷叶、荷花、茎的区分和识别，能够有效的识别并标记莲蓬，是莲蓬采摘机器人视觉系统的核心算法技术。

附图说明

图1为本发明的主要流程图；

图2为原始采集图像；

图3为从图2中获得的荷花、莲蓬、茎和荷叶的二值图像，其中图3a为从图2中获得的荷花的二值图像，图3b为从图2中获得的莲蓬的二值图像，图3c为从图2中获得的茎的二值图像，图3d为从图2中获得的荷叶的二值图像；

图4为训练过程中的图像预处理流程图；

图5为重叠的莲蓬的二值图像；

图6为训练过程中的主成分分析算法流程图；

图7为训练过程中的K-Means聚类算法流程图；

图8为K-Means聚类算法标记的过程图；其中图8a为一幅原始测试图像；图8b为图8a经步骤1～4处理后的二值图像，图中包括莲蓬和茎，“+”号标注处为目标莲蓬；图8c为图8b经处理后的原始图像，其中“+”号标注处为目标莲蓬。

具体实施方式

本发明采用采摘机器人的实时视觉系统，这种机器视觉系统包括一个用来捕获莲蓬图像的彩色CCD摄像头和一个处理已捕获图像的PC机，由图像预处理、图像分割、形状特征提取和果实目标识别四部分组成。

本发明所应用到的技术有：

不变矩，是由Hu M.K在1960年通过代数不变矩推导出的7个不变矩，这种不变矩在旋转、平移、缩放等变化下均不受影响，这引起了广大研究人员的兴趣，并不断的解释和构造不变矩。利用不变矩不受旋转、平移、缩放影响的特性，它可以很好的提取目标的形状特征，避免了颜色对目标识别的影响，为目标识别提供了很大的便利。

主成分分析(Principal Components Analysis,PCA)是由Hotelling于1933年首先提出的，它是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。其基本思想是对原始变量相关矩阵结构关系进行研究，找出影响某一经济过程的几个综合指标，使综合指标变为原来变量的线性组合，彼此不相关，这不仅保留了原始变量的主要信息，更有助于抓住矛盾。

K-Means聚类算法是由MacQueen在1967年首先提出的，K-Means算法易于描述，具有时间效率高且适于大规模数据处理的优点，自20世纪70年代以来，该算法已被应用在很多领域。

下面结合附图和主要步骤进行详细说明，具体实施方式如下：

如图1所示为本发明的主要流程图，主要包括图像识别的训练和测试部分，通过训练部分得到m个不变矩主成分分量和K-Means聚类的K＝4个聚类中心，并将主成分分量和聚类中心传输到测试部分，用于实现检验莲蓬识别准确率的目的。

1、采用图像高斯滤波与超绿色指标法相结合的方法，利用设计的超绿色高斯滤波器，去除复杂背景。采集图像如图2所示，图中包括莲蓬、荷叶、荷花、茎，用于图像处理得到图3所示的莲蓬、荷叶、荷花、茎的二值图像。图像预处理流程图如附图4所示，包括超绿色算法和高斯滤波算法。超绿色指标法公式如下：

二维离散高斯函数为：

$G(x,y)=\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{h}_1(m,n)h_2(x-m,y-n)---\left(2\right)$

其中x＝0,1,2,...,M-1；y＝0,1,2,...,N-1。x，y轴垂直。

在与x，y相互正交的z轴上加入一维离散信号，其中x，y，z轴符合右手定则，利用卷积定理，构造超绿色高斯滤波器。

2、采用距离变换与空间模式聚类算法相结合的分水岭算法，对有重叠现象的图像实现重叠部分的分离和分割。如附图5所示，为重叠的莲蓬的二值图像，具体步骤如下：

1)先采用距离变换，将图5所示二值图像中的每个像素的值变换为这个像素到离它距离最近的非零像素的距离，这里的距离为8邻域概念下的距离度量，在MATLAB中通过bwdist函数来实现。

2)经过距离变换后，在进行分水岭分割算法，为每个分水岭定义特征值，根据特征量计算相似区域之间的欧氏距离和空间距离，从而确定像素聚类中心的距离，然后对产生过分割现象的图像区域采用基于空间模式聚类方案进行合并，实现相似小区域的合并，从而避免过分割现象。这里的欧氏距离计算公式如下：

$d_{12}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(3\right)$

其中，(x₁,y₁)和(x₂,y₂)为图像中的相似区域中任意两点。

3、改进Hu不变矩算法，计算莲蓬、荷叶、荷花、茎的不变矩a_n，对所计算的n阶不变矩进行线性组合，得到能够表征莲蓬、荷叶、荷花、茎不同形状特征的不变矩主成分z_m(m≤n)。

1)设(x,y)为图像连通域上的某一像素点，f(x,y)为(x,y)点所对应的灰度值，则整个图像连通域的p+q阶矩为：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}f(x,y)x^p{y}^q---\left(4\right)$

有上述公式可得，图像的质心坐标为：

x₀＝m₁₀/m₀₀

(5)

y₀＝m₀₁/m₀₀

其中，m₀₀，m₀₁、m₁₀分别为图像的0阶矩和1阶矩。

为使上述阶矩具有平移、缩放、旋转不变性，利用质心坐标求其中心距为：

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(x-x_0)}^p{(y-y_0)}^{q}f(x,y)---\left(6\right)$

将中心矩归一化，叫做规格化中心矩，记为η_pq，表达式为：

${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{00}^{1+(p+q)/2}},(p+q=\mathrm{2,3,4}...)---\left(7\right)$

n个Hu不变矩a_n计算公式如下：

a₁＝h₀₂+h₂₀

a₂＝(h₂₀-h₀₂)²+4h₁ ² ₁

a₃＝(h₃₀-3h₁₂)²+(3h₂₁-h₀₃)²

a₄＝(h₃₀+h₁₂)²+(h₂₁+h₀₃)²

a₅＝(h₃₀-3h₁₂)(h₃₀+h₁₂)[(h₃₀+h₁₂)²-3(h₂₁+h₀₃)²]+(3h₂₁-h₀₃)   (8) 

(h₂₁+h₀₃)[3(h₃₀+h₁₂)²-(h₂₁+h₀₃)²] 

a₆＝(h₂₀-h₀₂)[(h₃₀+h₁₂)²-(h₂₁+h₀₃)²]+4h₁₁(h₃₀+h₁₂)(h₂₁+h₀₃) 

a₇＝(3h₂₁-h₀₃)(h₃₀+h₁₂)[(h₃₀+h₁₂)²-3(h₂₁+h₀₃)²]+(3h₁₂-h₃₀) 

(h₂₁+h₀₃)[3(h₃₀+h₁₂)²-(h₂₁+h₀₃)²] 

2)采用主成分分析法，算法流程图如图6所示，对80幅训练图像的莲蓬、荷叶、荷花、茎的n阶不变矩a₁,a₂,a₃,```,a_n进行线性组合，计算相关系数矩阵、特征值和特征向量，得到各主成分的贡献率及累计贡献率，最终得到能够表征莲蓬、荷叶、荷花、茎不同形状特征的不变矩主成分z_m(m≤n)，析取的主成分如下：

$\left\{\begin{array}{c}{z}_1=l_{11}{a}_1+l_{12}{a}_2+l_{13}{a}_3+...+l_{1n}{a}_n\\ z_2=l_{21}{a}_1+l_{22}{a}_2+l_{23}{a}_3+...+l_{2n}{a}_n\\ ...\\ z_m=l_{m1}{a}_1+l_{m2}{a}_2+l_{m3}{a}_3+...+l_{\mathrm{mn}}{a}_n\end{array}\right.---\left(9\right)$

其中，系数l_ij的确定原则为：

①z_i与z_j(i≠j；i，j＝1,2,...,m)线性无关；

②z₁是a₁,a₂,a₃,...,a_n的一切线性组合中方差最大者，z₂是与z₁不相关的a₁,a₂,a₃,...,a_n的所 有线性组合中方差最大者,…，依次类推。这就将原n个不变矩指标量降维为m个不变矩主成分，这里的n＝7。

4、图像目标识别，利用K-Means聚类算法对莲蓬图像的不变矩主成分z_m分类，算法流程图如附图7所示，具体步骤如下：

1)这里的对象为莲蓬、荷叶、荷花、茎，且他们的形状特征差异较大，取K＝4，从N＝80组不变矩主成分样本{z_m1,z_m2,...,z_m80}中选取K＝4个样本值，作为初始聚类中心{c₁,c₂,c₃,c₄}；

2)计算各样本到各聚类中心的欧式距离并获取其类别标号，公式如下：

$\mathrm{label}\left(i\right)=\arg \underset{j}{\min }{\left|\right|z_{\mathrm{mi}}-c_j\left|\right|}^2,i=1,...,N;j=1,...,K---\left(10\right)$

按照最小距离原则，将样本分配到最邻近聚类；

3)计算每个聚类的样本均值，作为新的聚类中心，公式为：

$c_j=\frac{\underset{s:\mathrm{label}\left(s\right)=j}{\mathrm{\Σ}}{z}_{\mathrm{ms}}}{N_j},j=\mathrm{1,2},...,K---\left(11\right)$

4)重复步骤2)～3)，直到聚类中心不再变化，即得K＝4个聚类中心，记为{c₁,c₂,c₃,c₄}。

通过K-Means聚类算法将样本不变矩主成分分为四个聚类中心{c₁,c₂,c₃c₄}，分别代表莲蓬、荷叶、荷花、茎，然后对采集的目标图像(如附图8a所示)进行连通分量提取，计算每个连通域的主成分分量z_m，主成分分量离莲蓬聚类中心最近的连通分量即为莲蓬，并用“+”标记，同时在原始图像相应位置处用“+”标记。标记完所有连通域后，显示该二值图像以及标记后的原始图像。附图8b、8c分别为显示的二值图像以及标记后的原始图像。

应理解上述施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

Claims (5)

1.一种用于采摘机器人的莲蓬目标图像识别方法，其特征在于，包括以下步骤：

步骤1，采用图像高斯滤波与超绿色指标法相结合的方法，设计超绿色高斯滤波器，去除复杂背景；

步骤2，采用距离变换与空间模式聚类算法相结合的分水岭算法，对有重叠现象的图像实现重叠部分的分离和分割；

步骤3，利用改进Hu不变矩算法，计算莲蓬、荷叶、荷花、茎的不变矩a_n，对所计算的n阶不变矩进行线性组合，得到能够表征莲蓬、荷叶、荷花、茎不同形状特征的不变矩主成分z_m(m≤n)；

步骤4，图像目标识别，利用K-Means聚类算法对莲蓬、荷花、荷叶、茎图像的不变矩主成分z_m分类，主成分离莲蓬聚类中心最近的连通分量即为莲蓬。

2.根据权利要求1所述的用于采摘机器人的莲蓬目标图像识别方法，其特征在于，所述步骤1的高斯滤波函数为：

$G(x,y)=\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{h}_1(m,n)h_2(x-m,y-n)$

其中x＝0,1,2,...,M-1；y＝0,1,2,...,N-1。x，y轴垂直，在与x，y相互正交的z轴上加入一维离散信号，其中x，y，z轴符合右手定则，利用卷积定理，构造超绿色高斯滤波器。

3.根据权利要求1所述的用于采摘机器人的莲蓬目标图像识别方法，其特征在于，所述步骤2具体过程为：

步骤2.1，通过bwdist函数实现二值图像中的每个像素值的距离变换；

步骤2.2，经过距离变换后，再进行分水岭分割算法，为每个分水岭定义特征值，根据特征量计算相似区域之间的欧氏距离和空间距离，从而确定像素聚类中心的距离，然后对产生过分割现象的图像区域采用基于空间模式聚类方案进行合并，实现相似小区域的合并，从而避免过分割现象，这里的欧氏距离计算公式如下：

$d_{12}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

其中，(x₁,y₁)和(x₂,y₂)为图像中的相似区域中任意两点。

4.根据权利要求1所述的用于采摘机器人的莲蓬目标图像识别方法，其特征在于，所述步骤4具体过程为：

步骤4.1，以莲蓬、荷叶、荷花、茎为对象，且他们的形状特征差异较大，取K＝4，从N＝80组不变矩主成分样本{z_m1,z_m2,...,z_m80}中选取K＝4个样本值，作为初始聚类中心；

步骤4.2，计算各样本到各聚类中心的欧式距离并获取其类别标号；

步骤4.3，计算每个聚类的样本均值，作为新的聚类中心；

步骤4.4，重复步骤4.2～4.3，直到聚类中心不再变化，即得K＝4个聚类中心。

5.根据权利要求4述的用于采摘机器人的莲蓬目标图像识别方法，其特征在于，所述步骤4.4具体过程为：

通过K-Means聚类算法将样本不变矩主成分分为四个聚类中心{c₁,c₂,c₃c₄}，分别代表莲蓬、荷叶、荷花、茎，然后对采集的目标图像进行连通分量提取，计算每个连通域的主成分分量z_m，主成分分量离莲蓬聚类中心最近的连通分量即为莲蓬，并用“+”标记，同时在原始图像相应位置处用“+”标记，标记完所有连通域后，显示该二值图像以及标记后的原始图像。