CN109522929A - 一种基于多源图像融合的自然环境下麦田杂草识别方法 - Google Patents

Abstract

本发明提供一种基于多源图像融合的自然环境下麦田杂草识别方法，属于精准农业技术领域。该方法结合深度图像与RGB图像，通过对位置特征、形状特征、纹理特征以及高度特征等多维信息的提取，实现了自然环境下的小麦田间杂草识别。本发明考虑到小麦不同生育期的生长特征以及小麦的施肥时间，将杂草识别分为分蘖期和拔节期进行，有效利用了不同生长特征，大大减少了图像处理的计算量。相比于现有技术中采用的基于二维图像信息或结合多光谱技术等方法，引入的深度信息与不同生育期的特征信息使杂草识别效率有效提高，可以实现杂草的实时识别。

Description

一种基于多源图像融合的自然环境下麦田杂草识别方法

技术领域

本发明涉及一种识别方法，尤其是一种基于多源图像融合的自然环境下麦田杂草识别方法法，属于精准农业技术领域。

背景技术

小麦是全世界分布范围最广的粮食作物，也是我国三大粮食作物之一。杂草与小麦争光、争水、争肥、争夺生长空间，成为制约小麦产量与品质的主要生物灾害。目前主要的除草方式仍为人工除草或除草剂的大规模喷洒，前者费时费力、效率低下，后者不仅会造成资源浪费而且会存在潜在的生态危害。

随着精准农业的提出，田间的杂草识别与除草技术逐渐向机械化和智能化发展。田间杂草的精确识别是提高除草准确度与效率的核心技术，目前数字图像处理技术与光谱特性分析已成为杂草识别的普遍方法。

在数字图像处理方面，可通过提取杂草与小麦的颜色、形态、纹理等特征完成识别，但多数算法由于难以解决作物生长后期出现的复杂的叶片交叠现象，只能解决苗期杂草识别问题，并且识别的杂草种类十分有限，集中于阔叶类杂草的识别，使得实际田间应用受限。

在光谱特性分析方面，通常利用不同对象的不同反射率作为特征进行识别。但基于光谱特性分析的研究大都集中在室内或者人工光照条件下，影响因素较少。但实际田间环境情况复杂，光照、水分、土壤等多种因素都会影响植物光谱特性，所以对传感器的分辨率提出了较高要求。基于光谱的方法成本也通常较高，难以推广应用。

发明内容

本发明的目的在于:针对上述现有技术存在的缺点，提出一种基于多源图像融合的自然环境下麦田杂草识别方法，以实现更快速和更准确地完成杂草识别，便于实际田间应用；

本发明提供了一种基于多源图像融合的自然环境下麦田杂草识别方法，包括如下步骤：

步骤1：在分蘖期获取小麦田间的RGB图像，通过颜色空间计算去除土壤背景，利用位置特征识别行间杂草，方法如下：

1)在分蘖期获取小麦田间的RGB图像，对所述图像中的每一像素的GR分量的灰度按照(G-R)进行计算，结果图像中像素灰度值趋于0的为土壤，再通过直方图双峰法转化为二值图像，黑色部分为土壤部分，白色部分为植物部分。

2)对所述二值图像进行消除噪声和填充孔洞处理，分蘖期小麦尚未产生封行现象，小麦行间杂草尚未产生严重的叶片交叠情况，所以去除图像中最大的连通域，剩余的连通域为行间杂草。

步骤2：在分蘖期获取小麦田间的RGB图像，对所述图像中的RGB的每一个通道图像的每一像素的灰度值按照(G-R)进行计算，大于0则保留像素灰度值，小于等于0则将该点灰度置0，得到仅包含绿色植物的图像，再通过OSTU算法转化为二值图像，通过计算叶片面积、周长、最小外接矩形等参数计算叶片的圆形度与长宽比，利用小麦叶片细长的特点，可以通过上述形态特征有效识别行内杂草。

步骤3：在拔节期获取小麦田间的深度图像，以同时采集的RGB图像为基准进行修复和配准后，提取高度特征，方法如下：

(1)获取拔节期小麦田间的RGB图像与深度图像，利用双线性插值修复深度图像中信息丢失的像素点；

(2)以RGB图像为基准，提取RGB图像与深度图像中的叶片尖端点，将深度图像与RGB图像进行配准对齐；

(3)将深度图像中的灰度值与物体的实际高度值进行标定，确定小麦拔节期的杂草高度范围；

步骤4：在拔节期获取小麦田间RGB图像(1280×720)，提取HIS空间下的颜色共生矩阵，计算纹理特征，方法如下：

(1)获取拔节期的小麦田间RGB图像，水平方向截取第385至896像素，垂直方向截取第105至616像素，使RGB图像分辨率大小为512×512；

(2)将由步骤4-1得到的图像每幅分成64个分辨率为64×64大小的图像块，并计算每个RGB图像块的HS通道、SI通道以及HI通道的颜色共生矩阵；

(3)分别通过所述HS通道、SI通道以及HI通道的颜色共生矩阵计算对比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)共15个纹理特征；

步骤5：结合纹理特征与高度特征，利用支持向量机(SVM)进行小麦田间的杂草识别，方法如下：

(1)标注RGB图像块与深度图像块的类别，第一类样本为杂草块，第二类样本为小麦块；

(2)生成训练集与测试集，通过支持向量机(SVM)进行分类，并将分类结果与标注结果进行比对，得到识别精确度。

不难看出，与现有技术相比，本实施例具有以下显著地实质性特点：

(1)提出了一种基于三维信息的小麦与杂草识别方法，利用小麦、杂草高度之间的差别识别杂草，深度信息的引入，有效提升了小麦与杂草识别的效率。

(2)以小麦的生长特性作为理论基础，分不同生育期进行识别，充分利用了不同时期的最优特征，显著提高了图像处理的时效性，便于下一步在田间推广应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施或现有技术描述中所需要使用的附图做一一介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图；

图2为本发明的小麦分蘖期图像示意图；

图3为本发明的小麦分蘖期图像的灰度图像；

图4为图3中的作物图像通过GR通道计算(G-R)得到的灰度图像；

图5为图4转换得到的二值图像示意图；

图6为图5去除作物行的结果示意图；

图7为图6经过形态学操作后得到的行间杂草识别结果示意图；

图8为RGB空间计算得到的绿色植物图像；

图9为图8转换得到的二值图像示意图；

图10为通过本发明步骤2得到的行间杂草识别结果示意图；

图11为通过本发明步骤3得到的深度图像示意图；

图12为通过本发明步骤4得到的RGB图像示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图12，本发明主要技术方案为，在获取到分蘖期作物图像后，通过对所述图像中的植物与土壤背景进行分割，再转化为二值图像，提取图像中叶片的位置特征与形态特征，完成分蘖期杂草的识别；在获取拔节期作物图像后，通过对所述图像的颜色空间转化，计算HIS颜色空间下的共生矩阵,得到每一图像在HS通道、SI通道以及HI通道下的熵、逆差矩、对比度、相关系数、角二阶矩共计15个纹理特征，结合深度信息完成拔节期杂草的识别。

下面结合附图和具体实施例，对本发明的技术方案做进一步的详细描述。

实施例一：

图1为本发明一种基于多源图像融合的自然环境下麦田杂草识别方法，如图1所示，该方法可以包括如下步骤：

步骤1：在分蘖期获取小麦田间的RGB图像，由于分蘖期小麦与杂草都较为低矮，且小麦的作物行清晰可见，所以采用位置特征完成行间杂草的识别。首先对获得的图像中的每一像素的GR分量的灰度值按照(G-R)进行计算，结果图像中像素灰度值趋于0的为土壤，再通过直方图双峰法转化为二值图像，黑色部分为土壤部分，白色部分为植物部分。接着通过形态学处理进行消除噪声和填充空洞处理，再去除图中最大的连通域即作物行部分，剩余的连通域部分即为行间杂草。

步骤2：在分蘖期获取小麦田间的RGB图像，苗期小麦与杂草尚未产生严重的叶片交叠情况，所以可以采用形状特征完成行内杂草的识别。首先对获取图像中的RGB的每一个通道图像的每一像素的灰度值按照(G-R)进行计算，大于0则保留像素灰度值，小于等于0则将该点灰度置0，得到仅包含绿色植物的图像。再通过OTSU算法转化为二值图像，通过计算叶片面积、周长、最小外接矩形等参数计算叶片的圆形度与长宽比，利用小麦叶片细长的特点，可以通过上述形态特征有效识别行内杂草。

需要补充的是，用到的OSTU算法为一种对图像进行二值化的高效算法。算法步骤如下：设图像包含L个灰度级(1,2,…,L)，灰度值为i的像素点数为n_i，图像总的像素点数为N＝N₀+N₁+…+N_L。灰度值为i的点的概率为：

假设通过一个灰度级为k的门限将所有像素点划分为两类：C₀和C₁,那么每一类出现的概率以及各类的平均灰度级为：

这两类的类内方差为：

为了评价门限的最优程度，引入判别式标准来测量(类的分离性测量)：

λ＝σ_B ²/σ_W ²,K＝σ_T ²/σ_W ²,η＝σ_B ²/σ_T ² (11)

其中：

σ_W ²＝w₀σ₀ ²+w₁σ₁ ² (12)

σ_B ²＝w₀(μ₀-μ₁)²+w₁(μ₁-μ_T)² (13)

使用下面的公式选择不同的k值顺序搜索，根据式(6)和式(7)，或者间接使用式(2)至式(5)，寻找最佳门限k*使得n取得最大值，或者等价于使得σ_B ²达最大：

η(k)＝σ_B ²(k)/σ_T ² (15)

并且，最佳门限k*就是

步骤3：在拔节期同自然条件、同时刻下获取小麦田间的RGB图像与深度图像，由于生长竞争现象，拔节期的小麦与杂草呈现出明显的高度差，所以可以通过高度特征识别小麦与杂草。将深度图像中的灰度值与物体的实际高度值进行标定，根据田间小麦与杂草的实际高度范围，确定杂草的灰度值区间。截取深度图像水平方向第385至896像素，垂直方向第105至616像素，使图像分辨率大小为512×512；将截取后的每幅图像等分为64个的分辨率为64×64大小的图像块，计算每个图像块中所有像素点的灰度值均值，作为高度特征。

需要补充的是，在利用深度图像之前需要进行一些预处理。深度图像由主动红外的传感器产生，由于遮挡、镜面反射等原因，图像中会出现“黑洞”即该像素点的灰度信息丢失呈现为黑色。丢失信息的点与周围的点高度相近，所以采用双线性插值可以有效修复黑洞点。并且由于深度图像与RGB图像产生的原点不同，导致两幅图像像素点不一一对应，这会导致杂草识别的误差，本发明利用同时获取的RGB图作为基准，采用两幅图像中的叶片尖端点作为特征点，采用图像配准算法进行对齐。另外，由于主动红外的传感器提供的深度信息是传感器与图像中各对象的距离，所以在拔节期的小麦田间，距离传感器较远的小麦会与距离传感器较近的杂草表示出相似高度，这不利于将高度特征利用到后续分类中，所以截取图像中分辨率为512×512大小的部分进行计算。

步骤4：在拔节期获取小麦田间的RGB图像，拔节期小麦的作物行在图像中不再清晰可见，图像中杂草部分的纹理和小麦的纹理表现出明显区别，所以可以利用纹理特征进行识别。由于HIS空间能够更好地表示不同色度、饱和度的差别,所以将RGB图像转化到HIS空间进行计算，再对灰度值进行非均匀量化，使像素的灰度级为1-8，便于后续颜色共生矩阵的计算。与步骤3中的截取图像的方式一致，截取RGB图像水平方向第385至896像素，垂直方向第105至616像素，使图像分辨率大小为512×512，将截取后的每幅图像等分为64个分辨率为64×64大小的图像块，计算每个图像块在HI、HS、SI通道下的颜色共生矩阵，计算三个颜色共生矩阵下的对比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)共计15个纹理特征。

需要补充的是颜色共生矩阵的计算方法，假设图像在某个特定颜色空间下，颜色空间的三个颜色分量分别设为C₁，C₂，C₃。设m＝C_k，n＝C_k'分别为三个颜色分量组合空间(k,k∈{1,2,3})中的两个成分，因此，用颜色共生矩阵CCM_m,n表示对图像中像素颜色成分C_k与C_k'即m与n空间相互作用的测量。对于图像中的任意一个像素，假设其第k个颜色分量值为i即m＝i，第k'个颜色分量值为j即n＝j，则用矩阵中的元素CCM_m,n(i,j)来表示图像中这样的像素出现的次数。用公式(18)表示为：

颜色共生矩阵中的第i行第j列元素用p(i,j)表示，L为图像的量化级数。纹理特征的表示含义及计算方法如下：

(1)对比度CON

图像的清晰程度通过对比度来进行直接反映，同时通过对比度值还可反映出纹理沟纹的深浅度。若图像的对比度越小，则其对应的纹理沟纹越浅，同时对应的视觉效果越模糊。

(2)角二阶矩ASM

角二阶矩值可以直接反映图像纹理的粗细度。能量矩较小的对应图像的细纹理，能量矩较大的则对应粗纹理。

(3)相关系数COR

其中，

在共生矩阵行或列方向上其元素的相似度是通过相关系数来进行衡量的，即图像中局部纹理相关性直接通过相关系数大小来反映。若相关系数值很小，则表明矩阵元素值差异较大；反之则表示矩阵元素值均匀相等。

(4)逆差矩IDM

逆差矩是数字图像局部均匀性的直接度量。图像局部纹理越均匀，则其对应的逆差矩值越大，反之亦然。

(5)熵ENT

熵值可以直接对图像中纹理的非均匀度或紊乱度进行反映。熵值越大则表示纹理越复杂。

步骤5：人工标注RGB图像块与深度图像块的类别，第一类样本为杂草块，第二类样本为小麦块，生成相应的训练集与测试集，通过支持向量机(SVM)进行分类，并将分类结果与标注结果进行对比，得到识别精确度。

需要补充的是，支持向量机的计算步骤如下:

训练向量x_i∈R^N，i＝1,2,...,l，属于两类，即y_i∈{1,-1}，SVM算法最优化问题的对偶最优化问题为：

其中：e是单位向量，Q是l×l正半定矩阵，Q_ij＝y_iy_jK(x_i,x_j)，是核函数，决策函数f^*(x)和b分别为

其中S_±为大小相同(s＞0)的两个集，包含支持向量x_i，且分别满足0≤α_i≤1/l和y_i＝±1。分类方法和分类精度计算方法的基本步骤如下：

(1)样本预处理：对得到的样本进行人工标注，再分成训练集和测试集；

(2)分类预测：利用支持向量机对两类样本的训练集构成分类器，将通过HS通道、HI通道和SI通道下的共生矩阵计算得到的15个纹理特征以及通过深度信息计算得到的高度特征作为输入参数，选用径向基函数作为核函数，对测试集的样本进行分类；

(3)计算分类精度：将支持向量机的分类结果与人工标注的分类结果进行对比得到分类精度。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均在本发明要求的保护范围。

Claims (7)

1.一种基于多源图像融合的自然环境下麦田杂草识别方法，其特征在于，包括：

步骤1：在分蘖期获取小麦田间的RGB图像，通过颜色空间计算去除土壤背景，利用位置特征识别行间杂草；

步骤2：提取上述图像中的绿色植物，并转换为二值图像，提取形态特征从而识别行内杂草；

步骤3：在拔节期获取小麦田间的深度图像，以同时采集的RGB图像为基准进行修复和配准后，提取高度特征；

步骤4：在拔节期获取小麦田间RGB图像，提取HIS空间下的颜色共生矩阵，计算纹理特征；

步骤5：结合纹理特征与高度特征，利用支持向量机(SVM)进行小麦田间的杂草识别。

2.根据权利要求1所述的一种基于多源图像融合的自然环境下麦田杂草识别方法，其特征在于，所述步骤1中对小麦分蘖期的田间图像进行颜色空间的计算以去除土壤背景，包括如下步骤：

对所述图像中的每一像素的GR分量的灰度值按照(G-R)进行计算，结果图像中像素灰度值趋于0的为土壤，再通过直方图双峰法转化为二值图像，黑色部分为土壤部分，白色部分为植物部分。

3.根据权利要求1所述的一种基于多源图像融合的自然环境下麦田杂草识别方法，其特征在于，所述步骤1还包括利用位置特征识别行间杂草，包括如下步骤：

对所述二值图像进行消除噪声和填充孔洞处理，分蘖期小麦尚未产生封行现象，小麦与行间杂草尚未产生严重的叶片交叠情况，所以去除图像中最大的连通域，剩余的连通域为行间杂草。

4.根据权利要求1所述的一种基于多源图像融合的自然环境下麦田杂草识别方法，其特征在于，所述步骤2中的提取图像中的绿色植物，包括如下步骤：

对所述图像中的RGB的每一个通道图像的每一像素的灰度值按照(G-R)进行计算，大于0则保留像素灰度值，小于等于0则将该点灰度置0，得到仅包含绿色植物的图像，再通过OSTU算法转化为二值图像，通过计算叶片面积、周长、最小外接矩形等参数计算叶片的圆形度与长宽比，利用小麦叶片细长的特点，可以通过上述形态特征有效识别行内杂草。

5.根据权利要求1所述的一种基于多源图像融合的自然环境下麦田杂草识别方法，其特征在于，所述步骤3包括如下步骤：

步骤3-1：获取拔节期小麦田间的RGB图像与深度图像，利用双线性插值修复深度图像中信息丢失的像素点；

步骤3-2：以RGB图像为基准，提取RGB图像与深度图像中的叶片尖端点，将深度图像与RGB图像进行配准对齐；

步骤3-3：将深度图像中的灰度值与物体的实际高度值进行标定，确定小麦拔节期的杂草高度范围；

步骤3-4：截取深度图像水平方向第385至896像素，垂直方向第105至616像素，使图像分辨率大小为512×512；

步骤3-5：将所述步骤3-4截取后的每幅图像等分为64个分辨率为64×64大小的图像块，计算每个图像块中所有像素点的灰度值均值，作为高度特征。

6.根据权利要求1所述的一种基于多源图像融合的自然环境下麦田杂草识别方法，其特征在于，所述步骤4包括如下步骤：

步骤4-1：获取拔节期的小麦田间RGB图像，水平方向截取第385至896像素，垂直方向截取第105至616像素，使RGB图像分辨率大小为512×512；

步骤4-2：将由步骤4-1得到的图像每幅分成64个分辨率为64×64大小的图像块，并计算每个RGB图像块的HS通道、SI通道以及HI通道的颜色共生矩阵；

步骤4-3：分别通过所述HS通道、SI通道以及HI通道的颜色共生矩阵计算对比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)共15个纹理特征。

7.根据权利要求1所述的一种基于多源图像融合的自然环境下麦田杂草识别方法，其特征在于，所述步骤5包括如下步骤：

步骤5-1：标注RGB图像块与深度图像块的类别，第一类样本为杂草块，第二类样本为小麦块；

步骤5-2：生成训练集与测试集，通过支持向量机(SVM)进行分类，并将分类结果与标注结果进行比对，得到识别精确度。