CN104598908B

CN104598908B - 一种农作物叶部病害识别方法

Info

Publication number: CN104598908B
Application number: CN201410504654.8A
Authority: CN
Inventors: 桂江生; 郝丽; 张青; 汪博; 包晓安
Original assignee: Zhejiang Sci Tech University ZSTU
Current assignee: Zhejiang Sci Tech University ZSTU
Priority date: 2014-09-26
Filing date: 2014-09-26
Publication date: 2017-11-28
Anticipated expiration: 2034-09-26
Also published as: CN104598908A

Abstract

本发明公开了一种农作物叶部病害识别方法，该方法将采集图像转化为CIELab颜色空间图像，对每个像素点基于多尺度邻域计算像素点的显著度得到最终显著图，并采用K均值聚类法将最终显著图分割为K个区域，将其像素点显著度的平均值大于设定阈值的区域提取为显著区域；对提取的显著区域进行校正得到病斑图像；提取病斑图像的颜色、局部纹理特征参数，将得到的颜色、局部纹理特征参数输入神经网络进行病害识别和分类。本发明的方法提取后的病斑图像不存在颜色失真的情况，病害识别准确率高。

Description

一种农作物叶部病害识别方法

技术领域

本发明属于农作物栽培技术领域，尤其涉及一种基于图像处理的农作物叶部病害识别方法。

背景技术

我国幅员辽阔，地形、气候类型复杂多样，从南到北分为热带、亚热带、温带和寒带。然而我国人口众多，耕地面积相对较少，因此农业特别是种植业在我国的地位非常重要，关系整个国计民生。我国主要粮食作物有水稻、小麦、玉米、大豆等，经济作物有棉花、花生、油菜、甘蔗和甜菜等。然而随着工业发展，我国的生态系统日渐薄弱，农作物的病害非常严重，病害种类繁多，分布广泛，发生频繁。因此准确、快速地实现农作物病害识别，是农作物病害治理防治的重要环节，成为科技工作者的重要研究方向。

在目前的病害识别技术中，已经广泛的采用了计算机和图像处理技术，例如专利号为201210235693.3的中国发明专利，就公开了一种农作物叶部病害检测方法，采集待检测农作物的叶部图像并上传至在线检测平台，对待检测农作物叶部病斑图像实现分割与识别，输出检测结果并给出防治建议。

但是现有的农作物病害识别分类中病斑分割主要是利用边缘检测法、最大类间方差法、模糊C均值法和分水岭分割法，这些方法都需要进行复杂的田间背景分割和一系列的预处理，增加了病斑分割的复杂性。同时在在特征提取中，现有的方法中的纹理特征主要是相关性、能量、熵、对比度和逆差等等，这些基于灰度共生矩阵定义许多基于统计法的纹理特征量是全局特征，而局部特征较全局特征来说具有旋转不变性和灰度不变性等显著的优点；而农作物病害识别分类中病害的识别分类主要是利用神经网络、支持向量机以及改进的支持向量机方法，虽然这些方法能够识别出病害种类，但是这些方法所识别的种类数不多，一般都只识别3类病害，而且这些方法在进行训练时需要的样本很多，并且识别率不高。

发明内容

本发明的目的是提供一种农作物叶部病害识别方法，以避免现有技术病斑图像分割复杂，病害识别不高的技术问题。

为了实现上述目的，本发明技术方案如下：

一种农作物叶部病害识别方法，包括如下步骤：

将采集图像转化为CIELab颜色空间图像，根据设定的邻域尺度，计算每个邻域尺度下采集图像中每个像素点的特征向量与该像素点邻域内像素点的特征向量均值之间的欧式距离作为该像素点的显著度；

将计算得到的每个邻域尺度下各像素点的显著度转化为灰度值，得到每个邻域尺度下的显著图，对得到的每个邻域尺度下的显著图中对应像素点的灰度值求均值，得到最终显著图；

采用K均值聚类法将最终显著图分割为K个区域，将其像素点显著度的平均值大于设定阈值的区域提取为显著区域；

对提取的显著区域进行校正得到病斑图像；

提取病斑图像的颜色、局部纹理特征参数，将得到的颜色、局部纹理特征参数输入神经网络进行病害识别和分类。

进一步地，所述将采集图像转化为CIELab颜色空间图像之后，还包括步骤：

将采集图像在CIELab颜色空间进行量化处理，量化方法如下：

L'＝L/L₀

a'＝a/a₀

b'＝b/b₀

其中，(L，a，b)表示采集图像像素点的CIELab参数值，(L'，a'，b')表示量化后的像素点CIELab参数值，L₀、a₀、b₀为量化参数。因此量化后CIELab颜色空间的采集图像被平均分成16*16*16个部分并以直方图的形式呈现。通过量化处理这样就解决了CIELab颜色空间中三个参数值的范围是不同问题，减少了计算量，便于后续计算。

其中，所述量化参数L₀＝6.25，a₀＝15，b₀＝15。

本发明所述设定的领域尺度为三个，对于宽为W像素，高为H像素的采集图像，其中W>H，像素点的邻域尺度w变化范围为：

本发明设定三个邻域尺度，即保证了显著度的准确性，又考虑了计算量，能便捷准确的获取显著图。

本发明所述设定阈值为像素点最大显著度的5％～20％，优选地选取最大显著度的10％来作为设定阈值来提取显著区域。该设定阈值能够较为准确地区分病斑与背景区域，识别效果好。

进一步地，所述对提取的显著区域进行校正得到病斑图像，包括步骤：

首先选择提取了显著区域的采集图像的RGB图像中的R分量通过最大类间方差法得到最佳阈值，利用这个阈值对提取了显著区域的采集图像进行二值化，得到包括背景区域和目标区域的二值化图像RW₁；

然后对二值化图像RW₁中目标区域中出现的空洞进行区域填充，并去除面积小的一些目标区域；

将二值化图像RW₁对应的RGB图像转换到CIELab颜色空间里，选择利用a分量根据设定的阈值将图像转换为二值图像RW₂，再将RW2转换为RGB彩色图像，得到病斑图像。

通过上述步骤对对提取出显著区域的图像在RGB颜色空间基于R分量进行二值化处理后，再在CIELab颜色空间进行二值化处理，得到病斑图像，所得到的病斑图像更加准确，接近自然人眼观察到的病斑图像。

本发明所述提取病斑图像的颜色、局部纹理特征参数，包括步骤：

分别提取病斑图像的R、G、B、H、S、V分量的一阶矩、二阶矩作为颜色特征；

采用LBP(Local binary Pattern)算子均匀模式对病斑图像计算LBP值并进行统计得到局部纹理特征。

本发明所述神经网络为网络结构为65-50-5的Dropout神经网络，dropout的比例为50％。

本发明提出的一种农作物叶部病害识别方法，在CIELab颜色空间对采集图像进行处理得到病斑图像，对采集的病害图像的背景没有要求，可以直接在农田中采集即可。提取后的病斑图像不存在颜色失真的情况，为之后的病斑识别打下很好的基础。本发明应用LBP算子的均匀模式，提取的纹理特征是局部纹理特征，具有旋转不变性和光照不变性，更适合用来进行识别病害。采用Dropout神经网络识别率更高。

附图说明

图1为本发明农作物叶部病害识别方法的流程图；

图2为本发明实施例病害识别率的对比图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明利用计算机视觉技术，对图像采集设备采集到的农作物叶片图像进行分析处理，来识别病害。本实施例以大豆叶部病害为例来进行说明，如图1所示，一种农作物叶部病害识别方法，包括如下步骤：

步骤S1、将采集图像转化为CIELab颜色空间图像，根据设定的邻域尺度，计算每个邻域尺度下采集图像中每个像素点的特征向量与该像素点邻域内像素点的特征向量均值之间的欧式距离作为该像素点的显著度。

由于CIELab颜色空间是用来描述人眼可见的所有颜色的最完备的色彩模型，它致力于感知均匀性，它的L分量密切匹配人类亮度感知。因此可以被用来通过修改a和b分量的输出色阶来做精确的颜色平衡，或使用L分量来调整亮度对比。这些变换在RGB或CMYK中是困难或不可能的，它们基于物理设备的输出，而不是人类视觉感知。因此本申请采用CIELab颜色空间来进行识别，识别的效果更加准确，并且对于采集的大豆叶部病害图像的背景没有要求，可以直接在农田中采集即可，而且不需要进行预处理。例如不需要进行图像增强预处理，也不需要进行背景分离再分割病斑，减少了分割的复杂性。从而直接在原图像上分割，没有颜色失真，便于后面的颜色特征提取。

在CIELab颜色空间中三个参数值的范围是不同的，其中L∈[0,100]，a∈[-120,120])，b∈[-120,120]，为了便于后续的计算，将采集图像在CIELab颜色空间进行量化处理，量化方法如下：

L'＝L/L₀

a'＝a/a₀

b'＝b/b₀

其中，(L'，a'，b')表示量化后的参数值，本实施例设置量化参数L₀＝6.25，a₀＝15，b₀＝15，这样三个参数的范围就转换为了L'∈[1,16]，a'∈[-8,8]，b'∈[-8,8]。因此量化后CIELab颜色空间的采集图像被平均分成16*16*16个部分并以直方图的形式呈现。

通过量化处理这样就解决了CIELab颜色空间中三个参数值的范围是不同问题，减少了计算量，便于后续计算。

为了计算采集图像中每个像素点的显著度，需要设置像素点邻域的大小，本实施例结合多尺度分析方法，为采集图像的像素点设置邻域，然后根据邻域计算像素点的显著度。本实施例分别为像素点设置三种不同大小的邻域，邻域的大小对应为邻域尺度，分别计算三种邻域尺度下每个像素点的显著度。本实施例中邻域尺度的数量h取为三个，是因为取3个尺度相比较取1、2计算的显著度来求平均会更加的准确，而相比较大于3的尺度来说计算量又减小了很多。

对于采集图像的任意像素点p，通常以像素点p的特征向量V_p与其邻域中各像素点q的特征向量V_q的均值的欧式距离为该像素点p的显著度C_p，计算公式为：

其中，V_p＝[L_p,a_p,b_p]为像素点p的特征向量，V_q＝[L_q,a_q,b_q]为其邻域中各像素点q的特征向量，N为其邻域中像素点的个数，D为欧氏距离。由于在CIELab颜色空间中，人所感觉的颜色差距近似为欧氏距离，这里为了方便计算，D可以表示为:

通常像素点p的邻域为宽度为w的正方形区域，w随着输入采集图像的大小选取不同的值。以宽为W像素，高为H像素的采集图像为例(W>H)，w变化范围为：

在本实施例中,w选取式(3)范围内的3个尺度，通过由左到右、由上到下遍历整幅图像，分别计算3个尺度下的C_p作为像素点p的显著度。

需要说明的是，本实施例的方法在采集图像存在噪声的情况下，可以将采集图像分割为由像素块组成的图像，每个像素块包括至少一个像素点。本实施例就是以每个像素块为一个像素点来进行说明的，如果每个像素块包括多个像素点，则将每个像素块看作一个单元(一个像素点)，按照本发明的方法进行处理，将进一步有效减少噪声的影响。当以像素块为一个处理单元的时候，与将每个像素点作为一个处理单元不同的是，计算显著度时，该处理单元对应的V_p是该处理单元中像素点特征向量的均值。

步骤S2、将计算得到的每个邻域尺度下各像素点的显著度转化为灰度值，得到每个邻域尺度下的显著图，对得到的每个邻域尺度下的显著图中对应像素点的灰度值求均值，得到最终显著图。

将每个邻域尺度下各像素点的显著度转化到0到255范围内,由此得到每个邻域尺度下的灰度显著图，对得到的每个邻域尺度下的多幅显著图对应像素点的灰度值求和，就得到与原采集图像一样大小的最终显著图。

将各像素点的显著度转化到0到255范围内，即将显著度规范到图像灰度值的范围内，例如显著度范围是(0，100)时，就相应的都乘以2.55，这样显著度范围就规范到0-255了。

最终显著度图M为w在不同尺度下显著度的均值，如式(4)：

其中m_p为最终显著图中每个像素点对应的最终显著度，本实施例中，对于某一个像素点，其最终显著度为三个尺度下显著度的均值。

步骤S3、采用K均值聚类法将最终显著图分割为K个区域，将其像素点显著度的平均值大于设定阈值的区域提取为显著区域。

K均值聚类法是常用的基于颜色的图像分割方法，本实施例首先采用K均值算法对最终显著图进行分割，把最终显著图分割为K个区域，再根据平均显著度来判断分割区域是否为显著区域。K均值聚类算法中的K个初始点由爬山算法在图像的三维CIELab直方图中自动选取，在获取了K个初始点后通过聚类进而得到分割区域r_k(k＝1,2,…,K)。

对最终显著图M，对每个分割区域内各个像素点的显著度求平均值P_k,如式(5)：

其中|r_k|为每个分割区域的像素点数。通过设定阈值P_k小于阈值的区域被去除，剩下的就为采集图像的显著区域。根据经验，设定阈值为像素点最大显著度的5％～20％，本实施例该设定阈值(显著度阈值)设为25，即显著图中最大显著度的10％。

需要说明的是，虽然通过上述方法能够更快更准确的提取出显著区域，但是仍然存在一个的问题，当采集图像中的真正的病斑区域与周围区域对比不明显时，会造成误判，导致将非病斑区域作为显著区域保留下来。显然在这种情况下，上述显著区域并不仅仅包含病斑区域，通常还包括病斑区域周围的被误判为病斑区域的部分。对于农作物病害这个比较特殊的对象，要求能够比较完整且准确的分割出病斑，为后续病害特征提取的可靠性和模式识别的准确性提供保证，就需要对提取出来的显著区域做进一步的处理。

步骤S4、对提取的显著区域进行校正得到病斑图像。

现有技术对农作物原始图像进行处理得到病斑图像的方法较多，例如背景技术中提到的申请号为201210235693.3的中国发明专利就提出了如下的方法：

将原始图像从RGB模型空间转换至HIS模型空间，对H分量图像使用最大类间方差法进行动态阈值分割，初步分割得到叶部病斑区域的二值化图像；将所得二值化图像与I分量的图像进行叠加运算，消除背景区域对病斑分割造成的误判，得到仅包含病斑区域的二值图像；对上一步所得二值图像，采用形态学方法填充病斑区域内部的孔洞，完整病斑形状。

由于病斑的颜色非常复杂，难以用RGB颜色空间中任何一种颜色进行描述，而Lab颜色空间是一种感官均匀的颜色模式，图像的所有颜色信息都包含在ab二维空间中。本实施例选择结合这两种颜色空间对显著区域校正，包括如下步骤：

1、首先选择提取了显著区域的采集图像的RGB图像中的R分量通过最大类间方差法得到最佳阈值，利用这个阈值对提取了显著区域的采集图像进行二值化，得到包括背景区域和目标区域的二值化图像RW₁。

最大类间方差法是按图像的灰度特性，将图像分成背景和目标两部分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。

通过最大类间方差法得到最佳阈值的步骤如下：

假设图像的灰度级为L，灰度为i的像素数目为e_i，则总的像素数目是不妨假设各灰度值出现的概率设以灰度T为阈值将待分割图像分割成两个部分，即大于阈值T的目标部分A和小于阈值T的背景部分B，则两部分出现的概率分别为：

两部分的灰度均值分别为：

图像总的灰度均值为：

因此，可得到两部分的类间方差为：

σ²＝p_A(L_A-L_o)²+p_B(L_B-L_o)²

显然，p_A、p_B、L_A、L_B、L_o、σ²都是关于阈值T的函数。为了得到最优分割阈值，最大类间方差法把两类的类间方差作为判别的准则，认为使类间方差最大的阈值即为所求的最优分割阈值。

二值化就是根据最佳阈值将提取显著区域后采集图像中的小于该阈值的像素值设置为0，通常是背景区域，而将大于该最佳阈值的像素值设置为1，通常对应于目标区域，从而将目标区域突出出来。

由步骤S3中得到的显著区域图像RGB图像中就只含有不太准确的病斑和黑色的背景，所以经过二值化后，小于阈值的设置为0，对应的是背景区域，而大于阈值的设置为1，对应的就是目标区域了。

2、然后对二值化图像RW₁中目标区域中出现的空洞进行区域填充，并去除面积小的一些目标区域。

对目标区域中出现的空洞进行区域填充，即对目标区域中的空洞(值为0)，将其值置为1。并去除面积小的一些目标区域，例如去除二值化图像中像素点小于200个的目标区域，将其置为0。经过上述处理后的二值图像RW₁中只剩下的一些面积较大的目标区域，在本实施例中通常为大豆叶片健部。

3、将二值化图像RW₁对应的RGB图像转换到CIELab颜色空间里，选择利用a分量根据设定的阈值将图像转换为二值图像RW₂，再将RW2转换为RGB彩色图像，得到病斑图像。

本实施例中设定的阈值为0，由于二值图像RW₂使图像中背景区域的R/G/B分量为0，从而保留了目标区域的R/G/B分量，将二值图像RW₂重新转换为彩色图像，就得到目标区域的RGB图像，所得到的目标区域的RGB图像就是要求得的病斑图像。

步骤S5、提取病斑图像的颜色、局部纹理特征参数。

分别采用颜色矩和LBP(Local Binary Pattern局部二值模式)算子均匀模式来提取颜色特征和局部纹理特征：

(1)分别提取病斑图像的R、G、B、H、S、V分量的一阶矩、二阶矩作为颜色特征，其公式分别为：

其中I(x,y)为图像灰度；δ₁为一阶矩，δ₂为二阶矩，W为图像的高度，H为图像的宽度，得到12个颜色特征。

(2)采用LBP算子均匀模式对病斑图像计算LBP值并进行统计得到局部纹理特征。

由于LBP算子均匀模式是59维的，所以根据统计后归一化可以得到59维的局部纹理特征。

LBP算子均匀模式下LBP的计算公式：

其中

其中，R表示邻域的半径，P表示邻域的像素点个数，g_c表示中间点的灰度值，g_p(p＝0,1,...p-1)表示围绕g_c以R为半径的像素点的灰度值，U(LBP_P,R)表示LBP算子的均匀性度量，当U(LBP_P,R)≤2时为均匀模式。

由于当邻域内包含的采样象素个数P取较大值时，得到的直方图向量维数就会较高，导致分类时间耗费较多，因此本实施例中选用模版为LBP_8,1均匀模式，对计算得到的LBP值进行统计，统计LBP值中任意一个LBP值对应的像素点个数占图像总像素点的比例，这样就得到了59维的局部纹理特征。

步骤S6、将得到的颜色、局部纹理特征参数输入神经网络进行病害识别和分类。

Dropout是hintion最近2年提出的，源于其文章Improving neural networks bypreventing co-adaptation of feature detectors(通过阻止特征检测器的共同作用来提高神经网络的性能)。Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来，因为下次样本输入时它可能又得工作了。

本实施例采用Dropout神经网络来进行病害识别，Dropout神经网络首先需要进行训练，在训练过程中，并不是像通常那样对权值采用L2范数惩罚，而是对每个隐含节点的权值L2范数设置一个上限常数C，如果该节点不满足这个约束时，则用C值对权值进行一个规范化操作(即同时除以该L2范数值)。然后进入神经网络前向传播函数中，在神经网络的隐含层节点，激发函数值，被计算出来后，隐含层节点的激发函数值dropoutFraction百分比的几率被随机清0。在反向传播中计算节点误差那一项时，其误差项也应该清0。

在测试阶段，使用“mean network(均值网络)”来得到隐含层的输出，也就是在网络前向传播到输出层前时隐含层节点的输出值都要减半(如果dropout的比例为50％)。本实施例采用的网络结构是65-50-5的神经网络结构，dropout的比例为50％。

采用本实施例的方法，实验数据显示，对于五中大豆常见病害来看，大豆会办病的识别率是100％，叶斑病为71.15％，黑斑病为88.33％，褐斑病为94.23％，靶点病为94.23％，其分类准确率更高。同时，采用本实施例所需训练样本数比传统的方法所需训练样本数大大减少，一般只需要10个左右，并且该方法可以识别的病害种类更多，常见的识别方法一般可识别3种病害，而本实施例的方法可识别5种以上。如图2所示，采用本实施例的Dropout神经网络来进行病害识别，比利用神经网络、支持向量机以及改进的支持向量机方法的病害识别率更高。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种农作物叶部病害识别方法，其特征在于，包括如下步骤：

对提取的显著区域进行校正得到病斑图像；

2.根据权利要求1所述的农作物叶部病害识别方法，其特征在于，所述将采集图像转化为CIELab颜色空间图像之后，还包括步骤：

将采集图像在CIELab颜色空间进行量化处理，量化方法如下：

L'＝L/L₀

a'＝a/a₀

b'＝b/b₀

其中，(L，a，b)表示采集图像像素点的CIELab参数值，(L'，a'，b')表示量化后的像素点CIELab参数值，L₀、a₀、b₀为量化参数。

3.根据权利要求2所述的农作物叶部病害识别方法，其特征在于，所述量化参数L₀＝6.25，a₀＝15，b₀＝15。

4.根据权利要求1-3任一权利要求所述的农作物叶部病害识别方法，其特征在于，所述设定的邻域尺度为三个，对于宽为W像素，高为H像素的采集图像，其中W>H，像素点的邻域尺度w变化范围为：

5.根据权利要求1所述的农作物叶部病害识别方法，其特征在于，所述设定阈值为像素点最大显著度的5％～20％。

6.根据权利要求1所述的农作物叶部病害识别方法，其特征在于，所述对提取的显著区域进行校正得到病斑图像，包括步骤：

将二值化图像RW₁对应的RGB图像转换到CIELab颜色空间里，选择利用a分量根据设定的阈值将图像转换为二值图像RW₂，再将 RW₂转换为RGB彩色图像，得到病斑图像。

7.根据权利要求1所述的农作物叶部病害识别方法，其特征在于，所述提取病斑图像的颜色、局部纹理特征参数，包括步骤：

采用局部二值模式LBP算子均匀模式对病斑图像计算LBP值并进行统计得到局部纹理特征。

8.根据权利要求1所述的农作物叶部病害识别方法，其特征在于，所述神经网络为网络结构为65-50-5的Dropout神经网络，dropout的比例为50％。