CN112633082A - 一种多特征融合杂草检测方法 - Google Patents

Abstract

本发明公开了一种多特征融合杂草检测方法，首先单独截取玉米幼苗与杂草区域作为正负数据集；接着提取玉米幼苗与杂草的HOG特征、旋转不变LBP、Gabor特征、灰度共生矩阵GLCM、灰度梯度共生矩阵GGCM五种特征；然后整合多特征数据投入支持向量机SVM进行分类器训练，得到用于玉米幼苗和杂草的分类模型；最后利用该分类模型对未经训练的玉米农田图像进行测试，对比分析五种不同特征组合下的综合识别性能，得到实验结果准确率最优的多特征组合方式。本发明提出的检测方法提供了检测杂草的最优融合策略，可以有效识别出玉米苗株与田间杂草，具有很强的特征表达与分类能力，为后续智能变量喷药、除草等田间管理提供信息。

Description

一种多特征融合杂草检测方法

技术领域

本发明属于智能农业图像识别技术领域，具体涉及一种多特征融合杂草检测方法。

背景技术

玉米是我国重要的谷类作物品种之一，目前玉米田除草方法主要有人工除草、机械除草、化学除草等方法。化学除草方法的优点是成本低廉，无须在意地形，因此在国内外被广泛利用。但无法忽视的问题是：不区分作物和杂草的全覆盖式田间喷洒化学除草药剂方式，不仅造成大量除草剂浪费，也增加了污染和土壤对化学药剂的依赖性。

为应对这一问题，有学者利用计算机视觉领域的相关技术通过提取叶片的形状特征、纹理特征，即通过计算叶片的二阶矩、对比度、熵或圆形度、矩形度、偏心率、纵横比等形状特征或纹理特征等来进行识别，但这些传统特征或单一特征识别作物或杂草准确率及稳定性较低。为应对田间复杂环境，解决仅利用单一特征进行识别准确率低、稳定性差的问题，陆续有学者提出将多种特征进行融合，进一步提高识别的准确率。但多特征融合也存在一些弊端，虽然通过一些优化算法可有效快速识别叶片信息，但未能深入研究纹理特征参数与形状特征各参数的权值比例，导致算法数据处理量大。其中也相关学者在利用目标的形状特征、颜色特征、纹理特征时并没有具体去分析选用哪一种特征描述子更适宜对该目标的特征提取，实验中缺乏对具体特征描述子选用方案进行比较的问题。在应用于实际田间复杂环境下，准确率、时效性、稳定性仍需具体问题具体分析。本发明提出一种多特征融合并结合支持向量机的方法来自动辨识玉米幼苗与杂草，通过对比不同特征描述子融合方式，分析得到适用于玉米田杂草分类的最优融合策略。

发明内容

本发明的目的是提供一种多特征融合杂草检测方法，以解决现有方法对目标多特征选取不当而导致识别准确率不高的问题。

本发明采用的技术方案为：

一种多特征融合杂草检测方法，具体包括以下步骤：

步骤1，单独截取玉米幼苗与杂草区域作为正负数据集；

步骤2，提取玉米幼苗与杂草的多种特征数据，分别为HOG特征、旋转不变LBP、Gabor特征、灰度共生矩阵GLCM、灰度梯度共生矩阵GGCM五种特征；

步骤3，整合多特征数据投入支持向量机SVM进行分类器训练，得到用于玉米幼苗和杂草的分类模型；

步骤4，利用该分类模型对未经训练的玉米农田图像进行测试，对比分析五种不同特征组合下的综合识别性能，得到实验结果准确率最优的多特征组合方式。

进一步地，所述步骤1具体包括以下步骤：

步骤1.1，首先对训练图像进行收集和预处理，在自然光照不同时段下采集2～5片叶的苗期田间玉米及杂草图像，构建图像集，采用的数据集是依靠架设在农机上的相机完成的，从采集的图像数据中剔除无目标图像，为增大样本的复杂性，数据集选用两种数据集混合模式，第一类是晴天拍摄图像清晰，分辨率较高的图像；第二类是阴天拍摄图像略为模糊，分辨率较低的图像，以玉米农田中常见的灰菜、甜旋花、马唐、马齿苋、苋菜、稗草6种主要杂草的检测为研究对象；

步骤1.2，将这两种天气环境的图像数据中玉米叶片和杂草叶片基于ImageLabeler工具进行标记，而后自动截取出叶片区域，为了尽可能包含完整叶片信息，因此只截取图像集中完整的叶片，将截取的玉米幼苗叶片图像作为正样本，杂草叶片图像作为负样本，其中正样本集包含1000幅玉米叶片，含第一种图像251幅，第二类图像749幅，负样本集包含1000幅杂草叶片，含第一种图像880幅，第二种图像120幅。

进一步地，所述步骤2中提取HOG特征时，用32×32的单元对图像进行划分，每个单元对应一个9维直方图，上下左右4个相邻的单元视为一个像素块，每个块的特征维度为36维，整个图像的特征维度为108维。

进一步地，所述步骤2中提取旋转不变LBP特征时，将其划分为16×6的小区域单元，对于每个单元中的一个像素，根据3×3邻域计算其旋转不变LBP值，整个图像的特征维度为450维。

进一步地，所述步骤2中提取Gabor特征时，使用5个尺度、8个方向的Gabor滤波器对叶片图像进行滤波，得到40个子图像，将每个子图像分成3×3的子块，最后得到360维叶片图像Gabor特征。

进一步地，，所述步骤2中提取灰度共生矩阵GLCM时，采用灰度共生矩阵的二阶矩、对比度、相关度、和方差、熵和逆差矩6个统计量反映叶片图像纹理特征，计算方法依次如式(1)～(13)所示：

提取图像特征时，确定采样位移矢量d＝(0，1)，即提取0°方向上的GLCM，按照d分布来分别计算图像灰度级i和j的数量，根据这个统计量来算原图像的灰度共生的矩阵特征：

其中C(i，j)代表的是灰度值为i和灰度值为j的像素对同时出现的数量，P(i，j)为该像素对出现的概率，N代表0°方向间距为1的所有像素点对出现的总次数，灰度级的量化等级为32级，因此共生矩阵P的维数是32×32维的；

二阶矩f₁

相关度f₂

式中u_i、u_j、

分别定义为

熵f₃

对比度f₄

逆差矩f₅

和方差f₆

其中f₇、P_x+y为

进一步地，所述步骤2中提取灰度梯度共生矩阵GGCM时，利用小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩15统计值。

进一步地，所述步骤3具体包括以下步骤：

步骤3.1，依次读入预处理后的正负样本集数据，各1000幅；并提取正负样本的特征，此处特征由多个特征融合而成，分别提取各特征后串联所有数据，特征融合方式共15种，依次进行十五组实验；15种组合方式为：1.HOG；2.rotLBP；3.Gabor；4.GLCM；5.GGCM；6.rotLBP、HOG；7.rotLBP、Gabor；8.rotLBP、GLCM；9.HOG、GLCM；10.HOG、Gabor；11.Gabor、GGCM；12.Gabor、GLCM；13.rotLBP、HOG、Gabor；14.rotLBP、HOG、Gabor、GLCM；15.rotLBP、HOG、Gabor、GGCM；

步骤3.2，将获取到的正负样本各特征数据整合在一个表中，其维数依次为108维、450维、360维、6维、15维、558维、810维、456维、114维、468维、375维、366维、918维、924维、933维，接着，添加label值用来区分正负样本，其中正样本label＝1，负样本label＝-1；

步骤3.3，打乱数据表内样本排列顺序，随机取其中80％正负样本数据投入SVM分类器进行线性训练，将训练所得模型保存，以便之后检测。

进一步地，所述步骤4具体做法为：

利用样本剩余20％组数据做测试，首先读入测试图像，用K均值聚类法初步得到目标矩形区域，读取训练得到的分类模型，依次提取矩形区域特征数据并融合，将数据投入分类模型中，得到plabel为1，则判定为玉米，为-1则判定为杂草，最后在原图上标记杂草和玉米的区域并输出，并判断测试结果中plabel预测是否等于原label，统计测试结果及准确率，其中准确率为测试结果中plabel＝label占总label个数的比率。

本发明的有益效果是：

本发明提供的一种多特征融合杂草检测方法，与现有融合多特征的检测方法相比，深入研究了纹理特征中最适用于玉米苗期检测杂草的最优融合策略。

(1)针对玉米苗期田间杂草检测提出一种二分类目标检测与识别方法，可以有效识别出玉米苗株与田间杂草，具有很强的特征表达与分类能力，为后续智能变量喷药、除草等田间管理提供信息。

(2)基于提取多种纹理特征作为分类依据，提出融合五种不同纹理特征的组合应用于实际玉米检测系统中，寻找适用于玉米苗期检测杂草的最优融合策略，提高了杂草识别的准确率。

(3)五种单一特征情况下，Gabor的分类准确率最高。基于多特征融合情况下，实现了10种不同纹理特征组合方式下，融合多通道Gabor滤波器提取的全局特征和灰度梯度共生矩阵提取的局部特征方法实现了较高的准确率，相较于其他9种组合特征情况，既利用了图像的全局信息又利用了图像的局部信息，同时，还减少了训练时间和识别时间，增强了杂草检测训练效率，实验效果最佳。

附图说明

图1为本发明一种多特征融合杂草检测方法流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，以下结合具体实施方式，对本发明进行进一步详细说明。

如附图1所示，一种多特征融合杂草检测方法，具体包括以下步骤：

步骤1，单独截取玉米幼苗与杂草区域作为正负数据集；

步骤1具体包括以下步骤：

步骤1.1，首先对训练图像进行收集和预处理，在不同天气环境下，采集2～5片叶的苗期田间玉米及杂草图像，优选背景包含玉米幼苗、杂草、泥土、阴影和秸秆。光照条件可有太阳直射、斜射、阴天。采用的数据集是依靠架设在农机上的相机完成的，从采集的图像数据中剔除无目标图像，为增大样本的复杂性，数据集选用两种数据集混合模式，第一类是晴天拍摄图像清晰，分辨率较高的图像；第二类是阴天拍摄图像略为模糊，分辨率较低的图像，以玉米农田中常见的灰菜、甜旋花、马唐、马齿苋、苋菜、稗草6种主要杂草的检测为研究对象；

步骤1.2，将这两种天气环境的图像数据中玉米叶片和杂草叶片基于ImageLabeler工具进行标记，而后自动截取出叶片区域，为了尽可能包含完整叶片信息，因此只截取图像集中完整的叶片，将截取的玉米幼苗叶片图像作为正样本，杂草叶片图像作为负样本，文件夹Pos中存放所有的正样本，文件夹Neg中存放所有负样本，其中正样本集包含1000幅玉米叶片，含第一种图像251幅，第二类图像749幅，负样本集包含1000幅杂草叶片，含第一种图像880幅，第二种图像120幅，为了便于实施，将正负样本集图像进行尺寸的归一化，统一调整尺寸大小为80*150。

步骤2，提取玉米幼苗与杂草的多种特征数据，分别为HOG特征、旋转不变LBP、Gabor特征、灰度共生矩阵GLCM、灰度梯度共生矩阵GGCM五种特征；

步骤2中提取HOG特征时，用32×32的单元对图像进行划分，每个单元对应一个9维直方图，上下左右4个相邻的单元视为一个像素块，每个块的特征维度为36维，整个图像的特征维度为108维。

步骤2中提取旋转不变LBP特征时，将其划分为16×6的小区域cell,对于每个cell中的一个像素，根据3×3邻域计算其旋转不变LBP值，整个图像的特征维度为450维即5×10×9＝450。

步骤2中提取Gabor特征时，使用5个尺度、8个方向的Gabor滤波器对叶片图像进行滤波，得到40个子图像，将每个子图像分成3×3的子块，最后得到360(5×8×3×3)维叶片图像Gabor特征。

步骤2中提取灰度共生矩阵GLCM时，采用灰度共生矩阵的二阶矩、对比度、相关度、和方差、熵和逆差矩6个统计量反映叶片图像纹理特征，计算方法依次如式(1)～(13)所示。

提取图像特征时，确定采样位移矢量d＝(0,1)，即提取0°方向上的GLCM，按照d分布来分别计算图像灰度级i和j的数量，根据这个统计量来算原图像的灰度共生的矩阵特征：为

其中C(i,j)代表的是灰度值为i和灰度值为j的像素对同时出现的数量，P(i,j)为该像素对出现的概率，N代表0°方向间距为1的所有像素点对出现的总次数，灰度级的量化等级为32级，因此共生矩阵P的维数是32×32维的。

二阶矩f₁(Energy)

相关度f₂(Correlation)

式中u_i、u_j、

分别定义为

熵f₃(Energy)

对比度f₄(Contrast)

逆差矩f₅

和方差f₆

其中f₇、P_x+y为

步骤2中提取灰度梯度共生矩阵GGCM时，利用小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩15统计值。

步骤3，整合多特征数据投入支持向量机SVM进行分类器训练，得到用于玉米幼苗和杂草的分类模型；

步骤3具体做法为：

步骤3.1，依次读入预处理后的正负样本集数据，各1000幅；并提取正负样本的特征，此处特征由多个特征融合而成，分别提取各特征后串联所有数据，存放在posdata、negdata中，特征融合方式共15种，依次进行十五组实验；15种组合方式为：1.HOG；2.rotLBP；3.Gabor；4.GLCM；5.GGCM；6.rotLBP、HOG；7.rotLBP、Gabor；8.rotLBP、GLCM；9.HOG、GLCM；10.HOG、Gabor；11.Gabor、GGCM；12.Gabor、GLCM；13.rotLBP、HOG、Gabor；14.rotLBP、HOG、Gabor、GLCM；15.rotLBP、HOG、Gabor、GGCM；

步骤3.2，将获取到的正负样本各特征数据posdata和negdata整合在一个表中，其维数依次为108维、450维、360维、6维、15维、558维、810维、456维、114维、468维、375维、366维、918维、924维、933维，接着，添加label值用来区分正负样本，其中正样本(玉米幼苗)label＝1，负样本(杂草)label＝-1；

步骤3.3，打乱数据表内样本排列顺序，随机取其中80％正负样本数据投入SVM分类器进行线性训练，即1600幅样本数据(800幅正样本、800幅负样本)，将训练所得模型保存，以便之后检测。

步骤4，利用该分类模型对未经训练的玉米农田图像进行测试，对比分析五种不同特征组合下的综合识别性能，得到实验结果准确率最优的多特征组合方式。

步骤4具体做法为：

利用样本剩余20％组数据做测试，即400幅样本数据(200幅正样本、200幅负样本)，可得到该组系统的准确率。并利用散点图表示正负样本点，横坐标与纵坐标值分别取样本的第一个特征值和第二个特征值。其中玉米标记为绿色，杂草标记为蓝色，检测错误数据用红色方框标记。测试的具体步骤是首先读入测试图像，用K均值聚类法初步得到目标矩形区域，读取训练得到的分类模型，依次提取矩形区域特征数据并融合，将数据投入分类模型中，得到plabel为1，则判定为玉米，为-1则判定为杂草，最后在原图上标记杂草和玉米的区域并输出，并判断测试结果中plabel(预测)是否等于原label，统计测试结果及准确率，其中准确率为测试结果中plabel＝label占总label个数的比率。

表1为本发明利用5种单特征和10组多特征融合情况下所得实验结果，展示了各组的测试准确率和平均耗时，其中平均耗时是训练1600幅正负样本的用时加上测试400幅样本的总耗时。

表1各组实验测试准确率与耗时

从表1可以看出，五种单一特征情况下，Gabor的分类准确率最高。基于多特征融合情况下，实现了10种不同纹理特征组合方式下，融合多通道Gabor滤波器提取的全局特征和灰度梯度共生矩阵提取的局部特征方法实现了较高的准确率，相较于其他9种组合特征情况，既利用了图像的全局信息又利用了图像的局部信息，同时，还减少了训练时间和识别时间，增强了杂草检测训练效率，实验效果最佳。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种多特征融合杂草检测方法，其特征在于，具体包括以下步骤：

步骤1，单独截取玉米幼苗与杂草区域作为正负数据集；

步骤2，提取玉米幼苗与杂草的多种特征数据，分别为HOG特征、旋转不变LBP、Gabor特征、灰度共生矩阵GLCM、灰度梯度共生矩阵GGCM五种特征；

步骤3，整合多特征数据投入支持向量机SVM进行分类器训练，得到用于玉米幼苗和杂草的分类模型；

步骤4，利用该分类模型对未经训练的玉米农田图像进行测试，对比分析五种不同特征组合下的综合识别性能，得到实验结果准确率最优的多特征组合方式。

2.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1，首先对训练图像进行收集和预处理，在自然光照不同时段下采集2～5片叶的苗期田间玉米及杂草图像，构建图像集，采用的数据集是依靠架设在农机上的相机完成的，从采集的图像数据中剔除无目标图像，为增大样本的复杂性，数据集选用两种数据集混合模式，第一类是晴天拍摄图像清晰，分辨率较高的图像；第二类是阴天拍摄图像略为模糊，分辨率较低的图像，以玉米农田中常见的灰菜、甜旋花、马唐、马齿苋、苋菜、稗草6种主要杂草的检测为研究对象；

步骤1.2，将这两种天气环境的图像数据中玉米叶片和杂草叶片基于Image Labeler工具进行标记，而后自动截取出叶片区域，为了尽可能包含完整叶片信息，因此只截取图像集中完整的叶片，将截取的玉米幼苗叶片图像作为正样本，杂草叶片图像作为负样本，其中正样本集包含1000幅玉米叶片，含第一种图像251幅，第二类图像749幅，负样本集包含1000幅杂草叶片，含第一种图像880幅，第二种图像120幅。

3.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤2中提取HOG特征时，用32×32的单元对图像进行划分，每个单元对应一个9维直方图，上下左右4个相邻的单元视为一个像素块，每个块的特征维度为36维，整个图像的特征维度为108维。

4.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤2中提取旋转不变LBP特征时，将其划分为16×6的小区域单元，对于每个单元中的一个像素，根据3×3邻域计算其旋转不变LBP值，整个图像的特征维度为450维。

5.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤2中提取Gabor特征时，使用5个尺度、8个方向的Gabor滤波器对叶片图像进行滤波，得到40个子图像，将每个子图像分成3×3的子块，最后得到360维叶片图像Gabor特征。

6.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤2中提取灰度共生矩阵GLCM时，采用灰度共生矩阵的二阶矩、对比度、相关度、和方差、熵和逆差矩6个统计量反映叶片图像纹理特征，计算方法依次如式(1)～(13)所示：

提取图像特征时，确定采样位移矢量d＝(0，1)，即提取0°方向上的GLCM，按照d分布来分别计算图像灰度级i和j的数量，根据这个统计量来算原图像的灰度共生的矩阵特征：

其中C(i，j)代表的是灰度值为i和灰度值为j的像素对同时出现的数量，P(i，j)为该像素对出现的概率，N代表0°方向间距为1的所有像素点对出现的总次数，灰度级的量化等级为32级，因此共生矩阵P的维数是32×32维的；

二阶矩f₁

相关度f₂

式中u_i、u_j、

分别定义为

熵f₃

对比度f₄

逆差矩f₅

和方差f₆

其中f₇、P_x+y为

7.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤2中提取灰度梯度共生矩阵GGCM时，利用小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩15统计值。

8.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1，依次读入预处理后的正负样本集数据，各1000幅；并提取正负样本的特征，此处特征由多个特征融合而成，分别提取各特征后串联所有数据，特征融合方式共15种，依次进行十五组实验；15种组合方式为：1.HOG；2.rotLBP；3.Gabor；4.GLCM；5.GGCM；6.rotLBP、HOG；7.rotLBP、Gabor；8.rotLBP、GLCM；9.HOG、GLCM；10.HOG、Gabor；11.Gabor、GGCM；12.Gabor、GLCM；13.rotLBP、HOG、Gabor；14.rotLBP、HOG、Gabor、GLCM；15.rotLBP、HOG、Gabor、GGCM；

步骤3.2，将获取到的正负样本各特征数据整合在一个表中，其维数依次为108维、450维、360维、6维、15维、558维、810维、456维、114维、468维、375维、366维、918维、924维、933维，接着，添加label值用来区分正负样本，其中正样本label＝1，负样本label＝-1；

步骤3.3，打乱数据表内样本排列顺序，随机取其中80％正负样本数据投入SVM分类器进行线性训练，将训练所得模型保存，以便之后检测。

9.根据权利要求1所述的一种多特征融合杂草检测方法，其特征在于，所述步骤4具体做法为：

利用样本剩余20％组数据做测试，首先读入测试图像，用K均值聚类法初步得到目标矩形区域，读取训练得到的分类模型，依次提取矩形区域特征数据并融合，将数据投入分类模型中，得到plabel为1，则判定为玉米，为-1则判定为杂草，最后在原图上标记杂草和玉米的区域并输出，并判断测试结果中plabel预测是否等于原label，统计测试结果及准确率，其中准确率为测试结果中plabel＝label占总label个数的比率。

Images