CN113537140A - 一种基于深度神经网络的杂草检测方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的杂草检测方法，本发明首先采用实例分割在图像上划分出属于农作物的像素点，然后根据超绿特征能够更有效地强化绿色植物特征的特点，把图像二值化，得到图像中所有绿色植物的像素点信息；用所有绿色植物的像素点减去农作物所在的像素点即可得到不是农作物的绿色植物的像素点；最后去掉一些像素点团中像素点数量较少的像素，剩余的像素点中一个像素连通区域即为一株杂草，并获取杂草的位置信息和轮廓信息，为精准农业提供技术支持。

Description

一种基于深度神经网络的杂草检测方法

技术领域

本发明涉及杂草检测领域，具体涉及一种基于深度神经网络的杂草检测方法。

背景技术

在传统农业作业中，通常有两种方法去除杂草：一种是通过人肉眼识别杂草，然后人工拔除或铲除杂草；另一种就是直接在农田中喷洒除草剂。传统方法不仅浪费大量人力，而且大量喷洒农药会造成严重的环境污染。随着精准农业这一概念的提出，杂草定位+机器人除草这一模式被广泛运用。

现有技术中通常采用直接识别杂草的方式，虽然能够有效的检测出杂草，但是只有包含在训练集中的杂草种类才能被检测出，不在训练集中的杂草种类则不能被检测。但田间杂草种类繁多，训练所使用的数据集不能涵盖所有杂草种类。如果想要检测出更多种类的杂草，就必须要扩大数据集，这就会对所使用的设备有更高要求。

现有技术中还有采用扩展HU不变矩的特征值和性状特征来标记农作物的位置的方式进行杂草剔除，但是该方法很可能把性状特征与农作物相似的杂草也识别为农作物，识别误差大。

此外，在实际的农田中，杂草生长位置随机，对于被农作物部分遮挡的杂草，现有技术都无法做到有效检测；并且现有方案都只能确定杂草的具体方位，并进行识别，却忽略了杂草的轮廓面积，使用相同剂量除草剂可能造成过喷或少喷，造成浪费除草剂，或达不到防治效果。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于深度神经网络的杂草检测方法解决了现有技术难以准确高效识别杂草位置和轮廓面积的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于深度神经网络的杂草检测方法，其包括以下步骤：

S1、获取原始图像，将原始图像中的农作物进行实例分割标注得到训练图像，构建图像训练集；

S2、构建初始神经网络模型；

S3、通过图像训练集训练初始神经网络模型，直至初始神经网络模型识别农作物的准确率达到阈值，得到训练后的神经网络模型；

S4、通过训练后的神经网络模型识别待识别图像中的农作物，得到通过不同颜色区分农作物与其余物体的输出图像，将输出图像进行二值化，得到图像G₁；

S5、提取待识别图像的超绿特征，得到由超绿特征构成的灰度图，对由超绿特征构成的灰度图进行二值化，得到图像G₂；

S6、将图像G₂减去图像G₁得到图像G₃，对图像G₃进行去噪，得到图像G₄；

S7、通过OpenCV获取图像G₄的包围框信息，进而得到别待识别图像中杂草的位置信息和轮廓面积，完成杂草检测。

进一步地，步骤S1的具体方法包括以下子步骤：

S1-1、在距离地面1米的高度垂直拍摄若干图像，得到原始图像；

S1-2、将原始图像剪裁为512×512的大小，对裁剪后的图像使用图像增强技术扩充样本数量，并对所有图像加入高斯噪声，得到加噪后的图像；

S1-3、对包含有农作物的加噪后的图像进行实例分割标注后的图像作为训练图像，构建图像训练集。

进一步地，步骤S2中初始神经网络模型为U-Net+模型；其中，U-Net+模型包括编码器和解码器，编码器包括依次相连的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第四最大池化层、第九卷积层和第十卷积层；第一至第十卷积层的大小均为3×3，第一至第四最大池化层的大小均为2×2；第一卷积层的输入为编码器的输入，即U-Net+模型的输入；

解码器包括第一上采样反卷积层、第一特征图连接层、第十一卷积层、第十二卷积层、第二上采样反卷积层、第二特征图连接层、第十三卷积层、第十四卷积层、第三上采样反卷积层、第三特征图连接层、第十五卷积层、第十六卷积层、第四上采样反卷积层、第四特征图连接层、第十七卷积层、第十八卷积层和第十九卷积层；其中第十一至第十八卷积层的大小均为3×3，第一至第四上采样反卷积层的大小均为2×2；第十九卷积层的大小为1×1；

第一上采样反卷积层的输入端与第十卷积层的输出端相连，第一特征图连接层用于将第一上采样反卷积层和第八卷积层的输出进行拼接；第一特征图连接层与第十一卷积层和第十二卷积层依次相连；

第二上采样反卷积层的输入端与第十二卷积层的输出端相连，第二特征图连接层用于将第二上采样反卷积层和第六卷积层的输出进行拼接；第二特征图连接层与第十三卷积层和第十四卷积层依次相连；

第三上采样反卷积层的输入端与第十四卷积层的输出端相连，第三特征图连接层用于将第三上采样反卷积层和第四卷积层的输出进行拼接；第三特征图连接层与第十五卷积层和第十六卷积层依次相连；

第四上采样反卷积层的输入端与第十六卷积层的输出端相连，第四特征图连接层用于将第四上采样反卷积层和第二卷积层的输出进行拼接；第四特征图连接层与第十七卷积层、第十八卷积层和第十九卷积层依次相连；第十九卷积层的输出为解码器的输出，即U-Net+模型的输出；

U-Net+模型的损失函数为交叉熵损失函数

Ω为像素点集合，l(x)表示像素点x的标签值，p_l(x)(x)表示对像素点使用softmax函数后的结果，log(·)表示对数，ω(x)为像素点的权重值，

ω_c(x)表示像素点x平衡类别比例的权值，像素点x所在类别的样本数越多，其平衡类别比例的权值越小，ω₀和σ均为常数，exp(·)为以自然常数e为底的指数函数，d₁(x)表示像素点x到距离其最近的农作物的距离，d₂(x)表示像素点x到距离其第二近的农作物的距离，当图像中只有一株植物时，d₂(x)为0；当图像中没有农作物时，d₁(x)和d₂(x)均为0。

进一步地，常数ω₀的值为10，常数σ的值为5。

进一步地，步骤S5中提取待识别图像的超绿特征的具体方法为：

根据公式：

ExG＝2G-B-R

获取待识别图像的超绿特征ExG；其中R、G和B分别表示待识别图像的RGB颜色空间的分量值。

进一步地，步骤S6中对图像G₃进行去噪的具体方法为：

将图像G₃中像素值为1、像素个数小于个数阈值的像素点集中的像素置为0；其中像素点集由连续且像素值相同的像素点构成。

进一步地，个数阈值为10。

进一步地，步骤S7中通过OpenCV获取图像G₄的包围框信息的具体方法为：

通过OpenCV的findContours函数获取图像G₄的轮廓信息，轮廓信息为一系列连续点构成的点集，每一个点集都是一个轮廓；

通过OpenCV的boundingRect函数求出轮廓点集的包围框信息。

本发明的有益效果为：本发明在实际的杂草检测过程中，不限制于训练集包含的杂草类型，能够识别检测出绝大多数种类的杂草，并且对于被农作物部分遮挡的杂草有较好的识别效果，解决了当前杂草检测方法在只能检测与农作物分离较远的杂草、只能检测杂草方位而不能检测出杂草面积等问题。

附图说明

图1为本方法的流程示意图；

图2为U-Net+模型的结构示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于深度神经网络的杂草检测方法包括以下步骤：

S1、获取原始图像，将原始图像中的农作物进行实例分割标注得到训练图像，构建图像训练集；

S2、构建初始神经网络模型；

S3、通过图像训练集训练初始神经网络模型，直至初始神经网络模型识别农作物的准确率达到阈值，得到训练后的神经网络模型；

S4、通过训练后的神经网络模型识别待识别图像中的农作物，得到通过不同颜色区分农作物与其余物体的输出图像，将输出图像进行二值化，得到图像G₁；

S5、提取待识别图像的超绿特征，得到由超绿特征构成的灰度图，对由超绿特征构成的灰度图进行二值化，得到图像G₂；

S6、将图像G₂减去图像G₁得到图像G₃，对图像G₃进行去噪，得到图像G₄；

S7、通过OpenCV获取图像G₄的包围框信息，进而得到别待识别图像中杂草的位置信息和轮廓面积，完成杂草检测。

在具体实施过程中，步骤S1的具体方法包括以下子步骤：

S1-1、在距离地面1米的高度垂直拍摄若干图像，得到原始图像；

S1-2、将原始图像剪裁为512×512的大小，对裁剪后的图像使用图像增强技术扩充样本数量，并对所有图像加入高斯噪声，得到加噪后的图像；

S1-3、对包含有农作物的加噪后的图像进行实例分割标注后的图像作为训练图像，构建图像训练集。

图像增强技术包括旋转、翻转、亮度调整、色度调整、对比度调整和加高斯噪声等。图像旋转是以图像中心点为圆心，对每幅图像分别进行90°、180°和270°旋转。

图像翻转是以图像中垂线为轴，把两侧像素值进行交换，本方案采用水平翻转。

调整图像亮度是通过加减图像像素的RGB值来实现的，计算公式为V_d＝V₀×(1+d)，其中V_d为调整亮度后的RGB值，V₀为原始的RGB值，d为亮度变化因子。本方案可以对所有裁剪后的图片分别做增加亮度和减小亮度的操作。

调整图像色度是通过调整图像RGB分量的比例来实现的，表示为V_c＝V₀×(1+c)，其中V_c表示调整色度后的RGB值，V₀表示原始的RGB值，c表示色度变化因子。本方案可以对所有裁剪后的图像分别做提高色度和降低色度的操作。

调整图像对比度是在保证图像平均亮度不变的情况下，扩大或缩小图像亮区域和暗区域的差异，表示为V＝i+(V₀-i)×(1+d)，其中i表示整张图片的平均RGB值，V表示调整亮度后的图像RGB值。当d为正时，表示图像中所有像素值大于平均像素值的像素点会被调亮，像素值小于平均像素值的像素点会被调暗；d小于0则相反。本方案可以对所有裁剪后的图像分别做提高对比度和降低对比度的操作。

对图像加入噪声就是在原图像RGB值基础上，叠加一些随机数。本方案可以对所有裁剪后的图片加上高斯噪声。

步骤S2中初始神经网络模型为U-Net+模型；如图2所示，U-Net+模型包括编码器和解码器，编码器包括依次相连的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第四最大池化层、第九卷积层和第十卷积层；第一至第十卷积层的大小均为3×3，第一至第四最大池化层的大小均为2×2；第一卷积层的输入为编码器的输入，即U-Net+模型的输入；

解码器包括第一上采样反卷积层、第一特征图连接层、第十一卷积层、第十二卷积层、第二上采样反卷积层、第二特征图连接层、第十三卷积层、第十四卷积层、第三上采样反卷积层、第三特征图连接层、第十五卷积层、第十六卷积层、第四上采样反卷积层、第四特征图连接层、第十七卷积层、第十八卷积层和第十九卷积层；其中第十一至第十八卷积层的大小均为3×3，第一至第四上采样反卷积层的大小均为2×2；第十九卷积层的大小为1×1；

第一上采样反卷积层的输入端与第十卷积层的输出端相连，第一特征图连接层用于将第一上采样反卷积层和第八卷积层的输出进行拼接；第一特征图连接层与第十一卷积层和第十二卷积层依次相连；

第二上采样反卷积层的输入端与第十二卷积层的输出端相连，第二特征图连接层用于将第二上采样反卷积层和第六卷积层的输出进行拼接；第二特征图连接层与第十三卷积层和第十四卷积层依次相连；

第三上采样反卷积层的输入端与第十四卷积层的输出端相连，第三特征图连接层用于将第三上采样反卷积层和第四卷积层的输出进行拼接；第三特征图连接层与第十五卷积层和第十六卷积层依次相连；

第四上采样反卷积层的输入端与第十六卷积层的输出端相连，第四特征图连接层用于将第四上采样反卷积层和第二卷积层的输出进行拼接；第四特征图连接层与第十七卷积层、第十八卷积层和第十九卷积层依次相连；第十九卷积层的输出为解码器的输出，即U-Net+模型的输出；

U-Net+模型的损失函数为交叉熵损失函数

Ω为像素点集合，l(x)表示像素点x的标签值，p_l(x)(x)表示对像素点使用softmax函数后的结果，log(·)表示对数，ω(x)为像素点的权重值，

ω_c(x)表示像素点x平衡类别比例的权值，像素点x所在类别的样本数越多，其平衡类别比例的权值越小，ω₀和σ均为常数，exp(·)为以自然常数e为底的指数函数，d₁(x)表示像素点x到距离其最近的农作物的距离，d₂(x)表示像素点x到距离其第二近的农作物的距离，当图像中只有一株植物时，d₂(x)为0；当图像中没有农作物时，d₁(x)和d₂(x)均为0。常数ω₀的值为10，常数σ的值为5。经过训练后，模型接受RGB彩色图像作为输入，输出为相同尺寸的单通道掩码图像，输出图像中相同类别的像素颜色一样。

步骤S5中提取待识别图像的超绿特征的具体方法为：根据公式：

ExG＝2G-B-R

获取待识别图像的超绿特征ExG；其中R、G和B分别表示待识别图像的RGB颜色空间的分量值。使用超绿特征可以更有效地提取绿色植物，而阴影、枯草和土壤等可以有效地被抑制。提取超绿特征后图像变成了一张灰度图像，该灰度图像与普通灰度图像不同之处在于其中的绿色植物会被突显出来。该灰度图进行二值化，二值化的阈值使用最大类间方差法来获取。图像二值化后，图中就只有绿色植物的轮廓，其中绿色植物像素点为1，背景像素点值为0，把该图像记为G₂。

步骤S6中对图像G₃进行去噪的具体方法为：将图像G₃中像素值为1、像素个数小于个数阈值的像素点集中的像素置为0；其中像素点集由连续且像素值相同的像素点构成，个数阈值为10。

步骤S7中通过OpenCV获取图像G₄的包围框信息的具体方法为：通过OpenCV的findContours函数获取图像G₄的轮廓信息，轮廓信息为一系列连续点构成的点集，每一个点集都是一个轮廓；通过OpenCV的boundingRect函数求出轮廓点集的包围框信息。包围框信息由包围框的左上角的横纵坐标值和包围框的高宽构成。由包围框信息可得到图片中所有轮廓的位置信息和轮廓数据，该信息即为图像中杂草的信息。

综上所述，本发明首先采用实例分割在图像上划分出属于农作物的像素点，然后根据超绿特征能够更有效地强化绿色植物特征的特点，把图像二值化，得到图像中所有绿色植物的像素点信息；用所有绿色植物的像素点减去农作物所在的像素点即可得到不是农作物的绿色植物的像素点；最后去掉一些像素点团中像素点数量较少的像素，剩余的像素点中一个像素连通区域即为一株杂草，并获取杂草的位置信息和轮廓信息，为精准农业提供技术支持。

Claims (8)

1.一种基于深度神经网络的杂草检测方法，其特征在于，包括以下步骤：

S1、获取原始图像，将原始图像中的农作物进行实例分割标注得到训练图像，构建图像训练集；

S2、构建初始神经网络模型；

S3、通过图像训练集训练初始神经网络模型，直至初始神经网络模型识别农作物的准确率达到阈值，得到训练后的神经网络模型；

S4、通过训练后的神经网络模型识别待识别图像中的农作物，得到通过不同颜色区分农作物与其余物体的输出图像，将输出图像进行二值化，得到图像G₁；

S5、提取待识别图像的超绿特征，得到由超绿特征构成的灰度图，对由超绿特征构成的灰度图进行二值化，得到图像G₂；

S6、将图像G₂减去图像G₁得到图像G₃，对图像G₃进行去噪，得到图像G₄；

S7、通过OpenCV获取图像G₄的包围框信息，进而得到别待识别图像中杂草的位置信息和轮廓面积，完成杂草检测。

2.根据权利要求1所述的基于深度神经网络的杂草检测方法，其特征在于，步骤S1的具体方法包括以下子步骤：

S1-1、在距离地面1米的高度垂直拍摄若干图像，得到原始图像；

S1-2、将原始图像剪裁为512×512的大小，对裁剪后的图像使用图像增强技术扩充样本数量，并对所有图像加入高斯噪声，得到加噪后的图像；

S1-3、对包含有农作物的加噪后的图像进行实例分割标注后的图像作为训练图像，构建图像训练集。

3.根据权利要求1所述的基于深度神经网络的杂草检测方法，其特征在于，步骤S2中初始神经网络模型为U-Net+模型；其中，U-Net+模型包括编码器和解码器，编码器包括依次相连的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第四最大池化层、第九卷积层和第十卷积层；第一至第十卷积层的大小均为3×3，第一至第四最大池化层的大小均为2×2；第一卷积层的输入为编码器的输入，即U-Net+模型的输入；

解码器包括第一上采样反卷积层、第一特征图连接层、第十一卷积层、第十二卷积层、第二上采样反卷积层、第二特征图连接层、第十三卷积层、第十四卷积层、第三上采样反卷积层、第三特征图连接层、第十五卷积层、第十六卷积层、第四上采样反卷积层、第四特征图连接层、第十七卷积层、第十八卷积层和第十九卷积层；其中第十一至第十八卷积层的大小均为3×3，第一至第四上采样反卷积层的大小均为2×2；第十九卷积层的大小为1×1；

第一上采样反卷积层的输入端与第十卷积层的输出端相连，第一特征图连接层用于将第一上采样反卷积层和第八卷积层的输出进行拼接；第一特征图连接层与第十一卷积层和第十二卷积层依次相连；

第二上采样反卷积层的输入端与第十二卷积层的输出端相连，第二特征图连接层用于将第二上采样反卷积层和第六卷积层的输出进行拼接；第二特征图连接层与第十三卷积层和第十四卷积层依次相连；

第三上采样反卷积层的输入端与第十四卷积层的输出端相连，第三特征图连接层用于将第三上采样反卷积层和第四卷积层的输出进行拼接；第三特征图连接层与第十五卷积层和第十六卷积层依次相连；

第四上采样反卷积层的输入端与第十六卷积层的输出端相连，第四特征图连接层用于将第四上采样反卷积层和第二卷积层的输出进行拼接；第四特征图连接层与第十七卷积层、第十八卷积层和第十九卷积层依次相连；第十九卷积层的输出为解码器的输出，即U-Net+模型的输出；

U-Net+模型的损失函数为交叉熵损失函数

Ω为像素点集合，l(x)表示像素点x的标签值，p_l(x)(x)表示对像素点使用softmax函数后的结果，log(·)表示对数，ω(x)为像素点的权重值，

ω_c(x)表示像素点x平衡类别比例的权值，像素点x所在类别的样本数越多，其平衡类别比例的权值越小，ω₀和σ均为常数，exp(·)为以自然常数e为底的指数函数，d₁(x)表示像素点x到距离其最近的农作物的距离，d₂(x)表示像素点x到距离其第二近的农作物的距离，当图像中只有一株植物时，d₂(x)为0；当图像中没有农作物时，d₁(x)和d₂(x)均为0。

4.根据权利要求3所述的基于深度神经网络的杂草检测方法，其特征在于，常数ω₀的值为10，常数σ的值为5。

5.根据权利要求1所述的基于深度神经网络的杂草检测方法，其特征在于，步骤S5中提取待识别图像的超绿特征的具体方法为：

根据公式：

ExG＝2G-B-R

获取待识别图像的超绿特征ExG；其中R、G和B分别表示待识别图像的RGB颜色空间的分量值。

6.根据权利要求1所述的基于深度神经网络的杂草检测方法，其特征在于，步骤S6中对图像G₃进行去噪的具体方法为：

将图像G₃中像素值为1、像素个数小于个数阈值的像素点集中的像素置为0；其中像素点集由连续且像素值相同的像素点构成。

7.根据权利要求6所述的基于深度神经网络的杂草检测方法，其特征在于，个数阈值为10。

8.根据权利要求1所述的基于深度神经网络的杂草检测方法，其特征在于，步骤S7中通过OpenCV获取图像G₄的包围框信息的具体方法为：

通过OpenCV的findContours函数获取图像G₄的轮廓信息，轮廓信息为一系列连续点构成的点集，每一个点集都是一个轮廓；

通过OpenCV的boundingRect函数求出轮廓点集的包围框信息。

Images