CN103336966A - 一种应用于农业智能机械的杂草图像辨识方法 - Google Patents

Abstract

本发明为一种应用于农业智能机械的杂草辨识方法，其特征在于包括如下步骤：步骤(1)获取农田中植被和土壤的原始图像。使用常规的CCD摄像机，镜头光轴与农田底面保持平行，通过图像采集卡将图像实时的传入到农田机器人的嵌入式系统的微控制器内，进行图像处理；步骤(2)图像增强，对原始图像中的RGB值分别进行滤波去噪，对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声；步骤(3)图像分割，获取杂草目标图像；步骤(4)图像去噪；步骤(5)获取杂草目标的中心位置(x_cen，y_cen)。

Description

一种应用于农业智能机械的杂草图像辨识方法

技术领域

本发明图像辨识方法，具体为一种应用于农业智能机械的杂草图像辨识方法。

背景技术

杂草同作物竞争水分和养分，侵占农田空间，影响作物光合作用，干扰作物生长，降低农作物的产量和质量还间接助长了病虫害的滋生和蔓延。

作为一种自动化除草装置，农业智能机械越来越受到重视，从20世纪80年代至今，基于机器视觉的杂草检测和识别技术研究经历了从室内到田间；从非实时到实时的发展过程。而图像辨识方法主要是通过对植物的特性进行检测和识别，如：形状特征，纹理特征，多光谱特性和颜色特征，位置特征等。

但是目前的关于杂草的分离大多是针对土壤和植被的区分，对杂草和作物的区分不够好，也没有针对杂草目标的定位运算。

发明内容

本发明的目的在于解决现有技术中的上述不足，提供了种应用于农业智能机械的杂草图像辨识方法。

为了实现上述目的，本发明的技术方案为：一种应用于农业智能机械的杂草辨识方法，其特征在于包括如下步骤：

步骤(1)获取农田中植被和土壤的原始图像。使用常规的CCD摄像机，镜头光轴与农田底面保持平行，通过图像采集卡将图像实时的传入到农田机器人的嵌入式系统的微控制器内，进行图像处理；

步骤(2)图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声。该滤波方式对像素的RGB值分别进行滤波，在抑制无用信息，以实现图像的使用价值的同时，很好的保留了原始图片的色彩的信息；

步骤(3)图像分割，获取杂草目标图像。

步骤(3.1)对RGB颜色空间进行转换，生成新的颜色空间U₁U₂U₃。

步骤(3.2)杂草、作物构成的植被与土壤的区分。

步骤(3.3)杂草和作物的区分。在植被和土壤进行区分后，需要针对杂草和作物进行区分，本发明主要针对的是玉米、高粱等作物田间的杂草的识别，而杂草和作物在图像中的绿色分量差别不是特别大，U₁(x，y)、U₂(x，y)不适合作为判断条件，而通过拍照试验发现，杂草通常比作物的颜色要深，因此选用强度系数函数U₃(x，y)作为杂草和作物的图像分割的依据。而在不同条件(例如观测角度、光线的强弱、作物的生长情况)下，杂草和作物的强度系数的差别也有所不同，因此需要对杂草和作物的分割阈值T_A进行动态调整；

步骤(3.3.1)计算分割阈值T_A，进行动态调整。

步骤(3.3.2)计算强度方差σ²(T_A)。

步骤(3.3.3)计算分割阈值T_A的最佳取值T′_A。

步骤(3.3.4)构建杂草和作物的分割函数G_A(x，y)。

步骤(4)图像去噪。经过运算得到目标杂草的图像，但是不可避免的存在一些小面积的噪声，即图像上的斑点噪声，这些斑点噪声显然不是杂草的图像，需要滤除，这里使用数学形态学的开运算和闭运算进行去噪

步骤(4.1)构建二值分割函数G′_A(x，y)。

步骤(4.2)使用开运算。

步骤(4.3)使用闭运算。

步骤(4.4)生成最终的杂草目标函数G_F(x，y)。经过开合运算后的二值图像与分割函数G′_A(x，y)构成的二值图像进行与运算，在1值的区域将G_A(x，y)的值按照坐标逐一赋值，构成最终的杂草目标函数G_F(x，y)；

步骤(5)获取杂草目标的中心位置(x_cen，y_cen)。其目的在于让智能机械能够定位杂草的位置，进而采取相应的措施，例如锄草、施药。

本发明与现有技术相比，有益效果如下：

(1)对获取的图像的RGB值分别进行滤波，在抑制无用信息的同时，很好的保留了原始图片的色彩的信息；

(2)构建新的颜色空间U₁U₂U₃，并充分利用各个系数进行图像的处理工作；

(3)采用两步分割的办法，首先将土壤除去，再将作物出去，从而获取有效的杂草目标图像；

(4)在除去作物的分割过程中使用动态的阈值，有效的避免了外来干扰的影响；

(5)使用开闭运算的方式有效的去除了斑点噪声；

(6)使用高斯滤波器获取了杂草的中心位置，从而为后续的除草、施药提供了依据。

附图说明

图1为本发明的流程框图；

图2为颜色空间U₁U₂U₃；

图3为拍摄到的经过图像增强的图像；

图4为将土壤分离的图像；

图5为最终的杂草目标图像；

具体实施方式

下面结合附图与实施例对本发明作进一步的说明。

本发明的实施例参考图1-4所示。

步骤(1)获取农田中植被和土壤的原始图像。使用常规的CCD摄像机，镜头光轴与农田底面保持平行，通过图像采集卡将图像实时的传入到农田机器人的嵌入式系统的微控制器内，进行图像处理；

步骤(2)图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声，噪声的滤波过程如下式所示：

$F_R(x,y)=\frac{1}{N\×N}\underset{(x,y)\∈A}{\mathrm{\Σ}}{f}_R(x,y),$

$F_G(x,y)=\frac{1}{N\×N}\underset{(x,y)\∈A}{\mathrm{\Σ}}{f}_G(x,y),$

$F_B(x,y)=\frac{1}{N\×N}\underset{(x,y)\∈A}{\mathrm{\Σ}}{f}_B(x,y),$

其中，以原始图像的中心为原点建立直角坐标系x-0-y，f_R(x，y)、f_G(x，y)、f_B(x，y)分别为原始图像中位于坐标(x，y)的像素的R、G、B值函数，其中x＝(0，1，……255)，y∈(0，1，……255)，而F_R(x，y)、F_G(x，y)、F_B(x，y)为滤波后的R、G、B值函数，N×N为表示截取的窗口的尺寸，N＝(3，5，7......)，优选为N＝3，A表示窗口内的像素组成的点集；

该滤波方式对像素的RGB值分别进行滤波，在抑制无用信息，以实现图像的使用价值的同时，很好的保留了原始图片的色彩的信息；

步骤(3)图像分割，获取杂草目标图像。

步骤(3.1)对RGB颜色空间进行转换，生成新的颜色空间U₁U₂U₃。

经过滤波后的F_R(x，y)、F_G(x，y)、F_B(x，y)经过下述转换变为相应的系数函数：

$\left[\begin{array}{c}{U}_1(x,y)\\ U_2(x,y)\\ U_3(x,y)\end{array}\right]=\left[\begin{array}{ccc}-1& 0& 1\\ -1& -1& 2\\ 1& 1& 1\end{array}\right]\left[\begin{array}{c}{F}_R(x,y)\\ F_B(x,y)\\ F_G(x,y)\end{array}\right]$

其中，U₁(x，y)为红绿相关系数函数，U₂(x，y)为红绿蓝相关系数函数，U₃(x，y)为强度系数函数；

步骤(3.2)杂草、作物构成的植被与土壤的区分。

使用U₃(x，y)构建植被与土壤的分割函数G_S(x，y)，使用U₁(x，y)、U₂(x，y)作为判断条件：

其中，T_S为植被与土壤的分割阈值；

由于，植被和土壤关于绿色的分量，差别较大，因此，为了简化计算，分割阈值T_S可以为预先设定的固定值，例如T_S＝4。

步骤(3.3)杂草和作物的区分。

在植被和土壤进行区分后，需要针对杂草和作物进行区分，本发明主要针对的是玉米、高粱等作物田间的杂草的识别，而杂草和作物在图像中的绿色分量差别不是特别大，U₁(x，y)、U₂(x，y)不适合作为判断条件，而通过拍照试验发现，杂草通常比作物的颜色要深，因此选用强度系数函数U₃(x，y)作为杂草和作物的图像分割的依据。而在不同条件(例如观测角度、光线的强弱、作物的生长情况)下，杂草和作物的强度系数的差别也有所不同，因此需要对杂草和作物的分割阈值T_A进行动态调整；

步骤(3.3.1)计算分割阈值T_A，进行动态调整。

步骤(3.3.2)计算强度方差σ²(T_A)。

强度为i的像素数为n_i个，则第1到T_A个强度级数的像素数占全部像素数N_T的背景概率P_B(T_A)为：

第T_A+1到767个强度级数的像素数占全部像素数N_T的目标概率P_M(T_A)为： $P_M\left(T_A\right)=\underset{i=T_A+1}{\overset{767}{\mathrm{\Σ}}}\frac{n_i}{N_T};$

背景强度均值为： $C_B\left(T_A\right)=\underset{i=1}{\overset{T_A}{\mathrm{\Σ}}}\frac{i\×n_i}{N_T\×P_B};$

目标强度均值为： $C_M\left(T_A\right)=\underset{i=T_A+1}{\overset{767}{\mathrm{\Σ}}}\frac{i\×n_i}{N_T\×P_M};$

总强度均值为： $C=\underset{i=1}{\overset{767}{\mathrm{\Σ}}}\frac{i\×n_i}{N_T};$

强度方差为：σ²(T_A)＝P_B(T_A)×(C_B(T_A)-C)²+P_M(T_A)×(C_M(T_A)-C)²；

步骤(3.3.3)计算分割阈值T_A的最佳取值T′_A。

当强度方差σ²(T_A)最大时，表明了强度的差别最大，此时的分割阈值T_A是分割效果最好的，由此确定分割阈值T_A的最佳取值为：

其中，MAX()是最大值函数；

为了缩减运算时间，提高运算效率，使用遗传算法遍历数据获取最大强度方差时的分割阈值T′_A的取值；

步骤(3.3.4)构建杂草和作物的分割函数G_A(x，y)。

在通过分割函数G_S(x，y)构建的植被分割图像内，进一步构建杂草和作物的分割函数G_A(x，y)：

$G_A(x,y)=\left\{\begin{array}{cc}0,& U_3(x,y)\≤T_A\\ U_3(x,y),& U_3(x,y)>T_A\end{array}\right.;$

T_A为杂草和作物的分割阈值；

步骤(4)图像去噪。

经过运算得到目标杂草的图像，但是不可避免的存在一些小面积的噪声，即图像上的斑点噪声，这些斑点噪声显然不是杂草的图像，需要滤除，这里使用数学形态学的开运算和闭运算进行去噪

步骤(4.1)构建二值分割函数G′_A(x，y)。在运算前首先将分割函数G_A(x，y)进行二值化，二值分割函数为：

$G_A^{\′}(x,y)=\left\{\begin{array}{cc}0,& U_3(x,y)\≤T_A\\ 1,& U_3(x,y)>T_A\end{array}\right.;$

步骤(4.2)使用开运算。先对二值图像进行腐蚀运算然后在进行膨胀运算，计算过程可表示为：

其中，ο为开运算，为腐蚀运算，

为膨胀运算；

步骤(4.3)使用闭运算。先对二值图像进行膨胀运算然后在进行腐蚀运算，计算过程可表示为：其中，·为闭运算；

步骤(4.4)生成最终的杂草目标函数G_F(x，y)。经过开合运算后的二值图像与分割函数G′_A(x，y)构成的二值图像进行与运算，在1值的区域将G_A(x，y)的值按照坐标逐一赋值，构成最终的杂草目标函数G_F(x，y)；

步骤(5)获取杂草目标的中心位置(x_cen，y_cen)。其目的在于让智能机械能够定位杂草的位置，进而采取相应的措施，例如锄草、施药。

运用高斯滤波器获取图像中的最大响应值，进而确定图像中目标的中心位置，构建高斯响应值函数为：

其中，δ为尺度因子，可根据实际情况设定；

对G_F(x，y)进行卷积计算，得到高斯卷积响应函数：

h(x，y)＝G_F(x，y)*g(x，y)，

计算当h(x，y)的最大值时的坐标，即目标的中心位置(x_cen，y_cen)。

以上所述实施方式仅表达了本发明的一种实施方式，但并不能因此而理解为对本发明范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种应用于农业智能机械的杂草辨识方法，其特征在于包括如下步骤：

步骤(1)获取农田中植被和土壤的原始图像。使用常规的CCD摄像机，镜头光轴与农田底面保持平行，通过图像采集卡将图像实时的传入到农田机器人的嵌入式系统的微控制器内，进行图像处理；

步骤(2)图像增强，对原始图像中的RGB值分别进行滤波去噪，对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声；

步骤(3)图像分割，获取杂草目标图像；

步骤(4)图像去噪；

步骤(5)获取杂草目标的中心位置(x_cen，y_cen)。

2.根据权利要求1所述的一种应用于农业智能机械的杂草辨识方法，其特征在于所述步骤(2)具体为，

噪声的滤波过程如下式所示：

$F_R(x,y)=\frac{1}{N\×N}\underset{(x,y)\∈A}{\mathrm{\Σ}}{f}_R(x,y),$

$F_G(x,y)=\frac{1}{N\×N}\underset{(x,y)\∈A}{\mathrm{\Σ}}{f}_G(x,y),$

$F_B(x,y)=\frac{1}{N\×N}\underset{(x,y)\∈A}{\mathrm{\Σ}}{f}_B(x,y),$

其中，以原始图像的中心为原点建立直角坐标系x-0-y，f_R(x，y)、f_G(x，y)、f_B(x，y)分别为原始图像中位于坐标(x，y)的像素的R、G、B值函数，其中x＝(0，1，……255)，y∈(0，1，……255)，而F_R(x，y)、F_G(x，y)、F_B(x，y)为滤波后的R、G、B值函数，N×N为表示截取的窗口的尺寸，N＝(3，5，7......)，优选为N＝3，A表示窗口内的像素组成的点集。

3.根据权利要求2所述的一种应用于农业智能机械的杂草辨识方法，其特征在于所述步骤(3)包括如下步骤：

步骤(3.1)对RGB颜色空间进行转换，生成新的颜色空间U₁U₂U₃，

经过滤波后的F_R(x，y)、F_G(x，y)、F_B(x，y)经过下述转换变为相应的系数函数：

$\left[\begin{array}{c}{U}_1(x,y)\\ U_2(x,y)\\ U_3(x,y)\end{array}\right]=\left[\begin{array}{ccc}-1& 0& 1\\ -1& -1& 2\\ 1& 1& 1\end{array}\right]\left[\begin{array}{c}{F}_R(x,y)\\ F_B(x,y)\\ F_G(x,y)\end{array}\right],$

其中，U₁(x，y)为红绿相关系数函数，U₂(x，y)为红绿蓝相关系数函数，U₃(x，y)为强度系数函数；

步骤(3.2)杂草、作物构成的植被与土壤的区分，

使用U₃(x，y)构建植被与土壤的分割函数G_S(x，y)，并将U₁(x，y)、U₂(x，y)作为判断条件：

其中，T_S为植被与土壤的分割阈值，植被与土壤的分割阈值T_S为预先设定的固定值；

步骤(3.3)杂草和作物的区分，

选用强度系数函数U₃(x，y)作为杂草和作物的图像分割的依据，并对杂草和作物的分割阈值T_A进行动态调整；

步骤(3.3.1)计算强度方差σ²(T_A)，

如果强度为i的像素数为n_i个，那么第1到T_A个强度级数的像素数占全部像素数N_T的背景概率P_B(T_A)为：

第T_A+1到767个强度级数的像素数占全部像素数N_T的目标概率P_M(T_A)为： $P_M\left(T_A\right)=\underset{i=T_A+1}{\overset{767}{\mathrm{\Σ}}}\frac{n_i}{N_T};$

背景强度均值为： $C_B\left(T_A\right)=\underset{i=1}{\overset{T_A}{\mathrm{\Σ}}}\frac{i\×n_i}{N_T\×P_B};$

目标强度均值为： $C_M\left(T_A\right)=\underset{i=T_A+1}{\overset{767}{\mathrm{\Σ}}}\frac{i\×n_i}{N_T\×P_M};$

总强度均值为： $C=\underset{i=1}{\overset{767}{\mathrm{\Σ}}}\frac{i\×n_i}{N_T};$

强度方差为：σ²(T_A)＝P_B(T_A)×(C_B(T_A)-C)²+P_M(T_A)×(C_M(T_A)-C)²；

步骤(3.3.2)计算分割阈值T_A的最佳取值T′_A。

当强度方差σ²(T_A)最大时，表明了强度的差别最大，此时的分割阈值T_A是分割效果最好的，由此确定分割阈值T_A的最佳取值为：

其中，MAX()是最大值函数；

为了缩减运算时间，提高运算效率，使用遗传算法遍历数据获取最大强度方差时的分割阈值T′_A的取值；

步骤(3.3.3)构建杂草和作物的分割函数G_A(x，y)。

在通过分割函数G_S(x，y)构建的植被分割图像内，进一步构建杂草和作物的分割函数G_A(x，y)：

$G_A(x,y)=\left\{\begin{array}{cc}0,& U_3(x,y)\≤T_A\\ U_3(x,y),& U_3(x,y)>T_A\end{array}\right.;$

T_A为杂草和作物的分割阈值；

4.根据权利要求3所述的一种应用于农业智能机械的杂草辨识方法，其特征在于：所述步骤(3.2)的所述分割阈值T_S为预先设定的固定值为4。

5.根据权利要求3所述的一种应用于农业智能机械的杂草辨识方法，其特征在于所述步骤(4)包括如下步骤：

步骤(4.1)构建二值分割函数G′_A(x，y)，在运算前首先将分割函数G_A(x，y)进行二值化，二值分割函数为：

$G_A^{\′}(x,y)=\left\{\begin{array}{cc}0,& U_3(x,y)\≤T_A\\ 1,& U_3(x,y)>T_A\end{array}\right.;$

步骤(4.2)使用开运算，先对二值图像进行腐蚀运算然后在进行膨胀运算，计算过程可表示为：

其中，ο为开运算，

为腐蚀运算，

为膨胀运算；

步骤(4.3)使用闭运算。先对二值图像进行膨胀运算然后在进行腐蚀运算，计算过程可表示为：其中，·为闭运算；

步骤(4.4)生成最终的杂草目标函数G_F(x，y)，经过开合运算后的二值图像与分割函数G′_A(x，y)构成的二值图像进行与运算，在1值的区域将G_A(x，y)的值按照坐标逐一赋值，构成最终的杂草目标函数G_F(x，y)。

6.根据权利要求5所述的一种应用于农业智能机械的杂草辨识方法，其特征在于所述步骤(5)具体为：

运用高斯滤波器获取图像中的最大响应值，进而确定图像中目标的中心位置，构建高斯响应值函数为：

其中，δ为尺度因子，可根据实际情况设定；

对G_F(x，y)进行卷积计算，得到高斯卷积响应函数：

h(x，y)＝G_F(x，y)*g(x，y)，

计算当h(x，y)的最大值时的坐标，即目标的中心位置(x_cen，y_cen)。

Images