CN106845497A - 基于多特征融合的玉米前期图像旱情识别方法 - Google Patents

Abstract

本发明属于农业灾害识别领域，为在玉米的生育前期就对植株的旱情状况做出判断，为农业工作人员后续的工作做准备，保证玉米供水充足，植株正常生长，防止灾害发生。为此，本发明，基于多特征融合的玉米前期图像旱情识别方法，首先对所获取到的玉米植株图像进行预处理，模拟实际应用中可能会出现的样本状况，作为对原始样本集的扩充；此后，将所获取到的亮度调整后样本、位置变化后样本和原样本集合并作为新的样本集进行后续的处理，从新样本集中提取包括颜色、奇异值以及纹理的三类特征，采用遗传算法对特征进行降维处理，构建特征数据库；最后选用最小二乘支持向量机作为分类器对玉米植株做出旱情识别。本发明主要应用于农业灾害识别场合。

Description

基于多特征融合的玉米前期图像旱情识别方法

技术领域

本发明属于农业灾害识别领域，特别涉及多特征融合的玉米前期图像旱情识别方法。

背景技术

图像处理是计算机的一种相关技术，它是为了达到某种目的而对图像进行运算和处理的一种过程，一般将图像信号转化为数字信号并利用计算机对其进行处理。在图像处理技术发展的早期，主要是在人的视觉效果和图像质量上进行改善。随着图像处理技术的迅猛发展，其技术已经十分成熟，在很多领域和行业得到了广泛的应用，如：刑侦技术、通讯技术、医学影像、生物识别、气象等方面。然而数字图像处理在农业中的应用相对滞后，但是对农业的影响在逐步深入。目前计算机图像处理技术在农业中的主要应用有：农作物状态监测、果实成熟度监测、作物形状识别分析、作物病虫害监测等。

当今经济飞速发展，环境问题迫在眉睫。干旱作为一种自然灾害，是世界上危害最为严重的灾难之一。由干旱所引发的水资源匮乏，粮食减产会造成生态恶化、国家粮食危机等一系列棘手问题。玉米是我国重要的粮食作物之一，其生育期耗水较多且对水份胁迫反应较为敏感，因此干旱已经成为世界范围之内玉米生产的制约因素。干旱缺水导致许多玉米产区产量不稳不高，对玉米的生长生育、形态特征、生理生化以及产品质量均有一定的影响。由于干旱作为一种复杂的现象难以直接观测其发生时间、发展过程及影响范围，因而目前国内外对旱情的评价主要是干旱指标。常见的干旱指标有标准降水指数、帕尔默干旱指数以及作物湿度指数等。这些农业干旱指标的获取通常涉及到农业、气象、水文、以及植物生理等众多的学科，同时农业系统又是一个自然系统和人工系统高度交织的领域，因此农业干旱监测无论是在理论上还是技术手段上均面临着较大的瓶颈。

发明内容

为克服现有技术的不足，本发明旨在建立识别模型，在玉米的生育前期就对植株的旱情状况做出判断，为农业工作人员后续的工作做准备，保证玉米供水充足，植株正常生长，防止灾害发生。为此，本发明采用的技术方案是，基于多特征融合的玉米前期图像旱情识别方法，首先对所获取到的玉米植株图像进行预处理，将玉米叶片从复杂的背景图片中较为清晰、完整地提取出来，对分割后的图像进行亮度调整以及位置变化，模拟实际应用中可能会出现的样本状况，作为对原始样本集的扩充；此后，将所获取到的亮度调整后样本、位置变化后样本和原样本集合并作为新的样本集进行后续的处理，从新样本集中提取包括颜色、奇异值以及纹理的三类特征，采用遗传算法对特征进行降维处理，构建特征数据库；最后选用最小二乘支持向量机作为分类器对玉米植株做出旱情识别。

具体地，采用K-means聚类算法对获取到的玉米植株原图像进行图像分割。

从新样本集中提取包括颜色、奇异值以及纹理的三类特征，具体地，

(1)颜色特征：分别提取R、G、B直方图的均值+偏度特征，共6维，R、G、B分别代表红、绿、蓝三种颜色通道，每种通道分为256阶亮度，R、G、B直方图分别统计在各个颜色通道中亮度的信息，均值和偏度计算公式如下：

均值：

其中m为直方图均值，i为像素值，p_i为像素值为i的像素个数；

偏度：

其中Skew为直方图偏度，X为样本数据，μ为样本数据均值，σ为样本数据方差；

(2)奇异值特征：奇异值分解简称SVD分解，是对分割后的图像进行灰度化处理之后，将该图像作为一个二维矩阵对其进行奇异值分解的一种特征提取方法，分解公式如下：

A＝U×Σ×V^T

其中：A为m×n的矩阵，U为做左奇异矩阵，V^T为右奇异矩阵，Σ为奇异值矩阵，奇异值矩阵是一个对角阵，其对角线上的元素即为矩阵的奇异值，其个数为min(m,n)，其数值在奇异值矩阵中按从大到小的顺序排列，采用前r个奇异值来近似描述矩阵，r<<min(m,n)，这里定义部分奇异值分解公式如下：

A_m×n≈U_m×rΣ_r×rV^T _r×n

将这r个奇异值进行归一化处理，将处理后的值作为图像的r个奇异值特征，归一化公式如下：

其中λ为矩阵的奇异值，λ_max为图像矩阵的最大奇异值即奇异值矩阵中的第一个元素，为归一化后的矩阵的奇异值即图像的奇异值特征；

通过绘制图像识别正确率与奇异值特征有效个数r的关系曲线来确定r的取值；

(3)纹理特征：选取统计纹理中的灰度-梯度共生矩阵，定义图像大小为N×N，灰度-梯度共生矩阵中的元素为H(x,y)，其取值为归一化后的灰度图像F(i,j)及归一化后的梯度图像G(i,j)中，灰度值为x且梯度值y的像素总个数；

即集合中{(i,j)|F(i,j)＝x∩G(i,j)＝y,i,j＝0,1,2...N-1}元素的总个数，L表示灰度级数，L_g表示梯度级数，则F(i,j)∈[0,L-1],G(i,j)∈[0,L_g-1]；

对提取到的灰度-梯度共生矩阵进行归一化处理，使其各元素之和为1，归一化公式如下所示：

其中为归一化后的灰度-梯度共生矩阵，通过计算该矩阵的统计特征获取纹理信息，采用15种统计特征，包括：小梯度优势、大梯度优势、灰度分布的不均匀性、梯度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差矩，将提取到的这15种统计特征作为图像的15维纹理特征；

提取出的图像特征包括颜色6维，奇异值20维，纹理15维共计41维特征，对41维特征采用遗传算法进行降维处理，获取图像本质特征。

其中部分特征的计算公式如下所示：

(1)小梯度优势

(2)大梯度优势

(3)惯性

(4)能量

将提取到的23维特征作为特征变量，基于最小二乘支持向量机建立判别模型，将训练样本的特征数据放入支持向量机中进行学习，得到玉米图像旱情识别模型。

本发明的特点及有益效果是：

目前原始玉米植株样本包括前期正常152个，前期中旱186个，前期特旱180个。进行样本扩充后，前期正常共计912个，前期中旱共计1116个，前期特旱共计1080个。本试验将颜色、SVD、纹理的单特征作为对比试验进行识别正确率的测试，之后对本发明采用的遗传算法所提取出的最优特征子集进行识别正确率的测试。试验每次抽取样本的三分之二作为训练集，剩余样本作为测试集，为保证试验结果的真实性，每次随机抽取样本，试验重复100次，取100次试验结果的平均值作为最终的识别正确率。试验结果如表1所示，从中可以看出，经过遗传算法寻优后，从41维特征中选取了其中的有效特征23维，降低了特征的维数，消除了冗余特征，且相比较单个特征而言包含更多的图像信息，识别正确率有了大幅度的提高。

附图说明：

图1玉米旱情识别流程图。

图2对原始样本进行图像预处理。图中，(a)两幅演示玉米植株原图，(b)K-means聚类分割效果图。

图3原始数据集的扩充。图中，(a)原始分割图像，(b)原始图像提高亮度，(c)原始图像降低亮度，(d)原始图像逆时针旋转300，(e)原始图像逆时针旋转900，(f)原始图像逆时针旋转1200。

图4分割图像RGB直方图。

图5识别正确率与奇异值特征有效个数r取值的关系曲线。

具体实施方式

为解决现有技术中的问题，本发明对玉米前期旱情的分析采用图像处理的方法加以解决。

供试玉米品种为郑单958，2014年6月18日播种，种植密度为60030株/hm²，每池2行×6株。生长前期土壤水份正常供应，保证玉米正常出苗。将玉米正常出苗以后至成熟的生长时期分为生育前期(出苗-大喇叭口期，下同)、生育中期(大喇叭口期-灌浆期，下同)、生育后期(灌浆-成熟期，下同)三个生育阶段。本发明提供了一种基于图像处理技术的玉米生育前期旱情识别方法。以玉米生育前期正常、生育前期中旱和生育前期特旱三类图像样本为研究对象。首先运用图像预处理技术对原始样本集进行感兴趣区域(叶片)的提取，进而提取分割后图像的颜色、奇异值和纹理三类特征作为玉米旱情识别的特征变量，最后基于最小二乘支持向量机建立识别模型，从而在玉米的生育前期就对植株的旱情状况做出判断，为农业工作人员后续的工作做准备，保证玉米供水充足，植株正常生长，防止灾害发生。

本发明涉及图像预处理、图像样本扩充、特征提取、特征融合以及建立分类模型五大部分。

首先对所获取到的玉米植株图像进行预处理，将玉米叶片从复杂的背景图片中较为清晰、完整地提取出来。考虑到目前所获取的样本数目比较少，同时受天气、环境、图像采集时间、硬件装置等因素的影响可能会造成图像亮度差异、位置差异等。因此本发明对分割后的图像进行亮度调整以及位置变化，模拟实际应用中可能会出现的样本状况，作为对原始样本集的扩充；此算法过后，将所获取到的亮度调整后样本、位置变化后样本和原样本集合并作为新的样本集进行后续的处理；然后从新样本集中提取包括颜色、奇异值以及纹理的三类特征，采用遗传算法对特征进行降维处理，构建特征数据库；最后选用最小二乘支持向量机作为分类器对玉米植株做出旱情识别。

下面结合附图和具体实施方式进一步详细说明本发明。本发明的具体步骤是，

步骤一

对获取到的玉米植株图像进行预处理。考虑所获得的图像本身背景复杂，对玉米植株干扰大，因此本发明采用K-means聚类算法对获取到的玉米植株原图像进行图像分割，将玉米叶片从复杂背景中提取出来，该算法处理速度快，效果理想，其分割效果如图2所示。

步骤二

对分割后的玉米图片进行样本扩充。通过等幅调整R、G、B值可以达到图像亮度的改变，其中等幅增加R、G、B取值可以提高图像亮度；等幅减小R、G、B取值则可以降低图像亮度，效果如图3(b)(c)所示。将原图像按照顺时针依次旋转30°、90°、120°得到位置不同的玉米植株图像，效果如图3(d)(e)(f)所示。通过样本的扩充后一幅原图像增加了五幅，使得新样本集为原样本集的六倍。

步骤三

对新的数据集进行特征提取，提取玉米图像的有效特征用于下一步的特征学习。

(1)颜色特征。分别提取R、G、B直方图的均值+偏度特征，共6维。R、G、B分别代表红、绿、蓝三种颜色通道，每种通道分为256阶亮度，R、G、B直方图分别统计在各个颜色通道中亮度的信息。玉米植株受干旱影响，其叶片状态也会受到直接影响。正常的叶片通常是呈现嫩绿色，而受干旱影响的植株叶片呈深绿甚至偏黄，这就直接对其RGB直方图的分布造成了影响，而均值和偏度特征可以反映出直方图的偏移方向以及峰值所在的位置，均值和偏度计算公式如下：

均值：

其中m为直方图均值，i为像素值，p_i为像素值为i的像素个数。

偏度：

其中Skew为直方图偏度，X为样本数据，μ为样本数据均值，σ为样本数据方差。

(2)奇异值特征。奇异值分解简称SVD分解，是对分割后的图像进行灰度化处理之后，将该图像作为一个二维矩阵对其进行奇异值分解的一种特征提取方法，该方法能够有效的提取图像的能量信息，分解公式如下：

A＝U×Σ×V^T

其中A为m×n的矩阵，U为做左奇异矩阵，V^T为右奇异矩阵，Σ为奇异值矩阵。奇异值矩阵是一个对角阵，其对角线上的元素即为矩阵的奇异值，其个数为min(m,n)，其数值在奇异值矩阵中按从大到小的顺序排列。由于奇异值数值越大对图像的影响越大，且在很多情况下，前10％甚至前1％的奇异值的和就占了全部奇异值之和的99％以上，因此可以用前r(r<<min(m,n))个奇异值来近似描述矩阵，这里定义部分奇异值分解公式如下：

A_m×n≈U_m×rΣ_r×rV^T _r×n

在上述式子中，用较少个数的奇异值来近似描述矩阵，这样既可以降低奇异值维数，又可以近似的描述矩阵。由于获取到的奇异值量级不一，若直接将r个奇异值作为图像特征，容易影响数据分析的结果。因此本发明将这r个奇异值进行归一化处理，将处理后的值作为图像的r个奇异值特征，归一化公式如下：

其中λ为矩阵的奇异值，λ_max为图像矩阵的最大奇异值(即奇异值矩阵中的第一个元素)，为归一化后的矩阵的奇异值(即图像的奇异值特征)。

由上述可知，基于奇异值矩阵的特征提取方法的关键在于奇异值特征有效个数r的选择。为寻找奇异值特征的有效个数且兼顾分类效果和计算复杂度，本发明通过绘制图像识别正确率与奇异值特征有效个数r的关系曲线来确定r的取值。如图5所示，横坐标为选取的奇异值特征有效个数r，纵坐标为对应的识别正确率。通过关系曲线可以看出，随着奇异值取值个数的增加，识别正确率也是逐渐增加。其中r<20时，识别正确率增长速度快，在r>20后，增长速度明显下降，且识别正确率均在80％以上，因此本发明选取奇异值的特征个数r为20，即在较少的奇异值特征个数前提下，获得较高的识别正确率。

(3)纹理特征。颜色和SVD特征均不包含图像的纹理信息，从图像角度考虑，正常植株其叶片会比较舒展，纹理相对平滑；而干旱植株相对卷曲，纹理相对粗糙。因此本发明提取其纹理特征，选取统计纹理中的灰度-梯度共生矩阵，既能够很清晰地表现图像像素灰度与梯度的分布规律，同时也体现了像素与其邻域像素的空间关系。

定义图像大小为N×N，灰度-梯度共生矩阵中的元素为H(x,y)，其取值为归一化后的灰度图像F(i,j)及归一化后的梯度图像G(i,j)中，灰度值为x且梯度值y的像素总个数。

即集合中{(i,j)|F(i,j)＝x∩G(i,j)＝y,i,j＝0,1,2...N-1}元素的总个数，L表示灰度级数，L_g表示梯度级数，则F(i,j)∈[0,L-1],G(i,j)∈[0,L_g-1]。

对提取到的灰度-梯度共生矩阵进行归一化处理，使其各元素之和为1。归一化公式如下所示：

其中为归一化后的灰度-梯度共生矩阵。通过计算该矩阵的统计特征获取纹理信息。本发明采用较为常见的15种统计特征，包括：小梯度优势、大梯度优势、灰度分布的不均匀性、梯度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差矩，将提取到的这15种统计特征作为图像的15维纹理特征。其中部分特征的计算公式如下所示：

(1)小梯度优势

(2)大梯度优势

(3)惯性

(4)能量

步骤四

步骤三提取出的图像特征包括颜色6维，奇异值20维，纹理15维共计41维特征，若将41维特征直接融合作为特征数据库，不仅维数过高，同时也可能会由于特征的冗余而对识别结果造成影响。因此本发明对41维特征采用遗传算法进行降维处理，获取图像本质特征，节省存储空间。

遗传算法是从特征集合中选择性能良好的特征子集合，使所选取的特征个数少且识别正确率高，是提高学习算法性能的一个重要手段。本发明采用的遗传算法中的初始种群是由随机函数产生，适应度函数定义如下：

其中Fitness为适应度函数的值，X为所选中的特征子集，Accuracy为经过遗传算法所选中的特征子集的分类正确率，n为本次所选择的特征个数，N为原始特征个数，λ为调整参数，为兼顾识别正确率和所选特征个数，本发明中λ取值0.5。

本发明采用选择、交叉、变异三种遗传算子，其中选择算子选取最优保存方法，下一代保存上一代的90％，即选择概率为0.9；交叉算子为根据预先设定的交叉概率随机选择一对父代染色体进行信息交换，产生的两个“子代”作为下一代的成员，本发明所选交叉概率为0.7；变异算子则是对上一代中适应度排在后面的个体进行变异操作，本发明所选取变异概率为0.02。

经过遗传算法寻优，得到最优特征子集为23维，其中包括颜色特征4维，分别是：B偏度、G偏度、B均值、R均值；SVD特征11维，分别是：第3、5、7、9、10、11、12、15、18、19、20个奇异值特征；纹理特征8维，分别是：小梯度优势、大梯度优势、能量、灰度平均、灰度均方差、梯度均方差、相关、惯性。将这23维特征作为玉米植株图像的一种描述，构建特征数据库。

步骤五

本发明将提取到的23维特征作为特征变量，基于最小二乘支持向量机建立判别模型。最小二乘支持向量机(least squares support vector machines,LSSVM)是支持向量机的一种变形，同支持向量机一样，也是一种基于核的学习方法。将训练样本的特征数据放入支持向量机中进行学习，得到玉米图像旱情识别模型。将测试样本的特征数据放入训练好的分类器模型中，即可得到玉米旱情的分类结果。测试结果如表1所示，可以看出，单一特征对样本的分类能力有限，将单一特征融合并提取有效特征后的特征子集，维数相对较低，且取得了很好的识别效果。

从试验结果来看，本发明提出的基于图像处理技术的玉米植株旱情识别具有一定的可行性，为农业旱情识别提供了新思路，对降低玉米干旱灾害，减少经济损失，维护国家粮食安全有重要的意义。

Claims (5)

1.一种基于多特征融合的玉米前期图像旱情识别方法，其特征是，首先对所获取到的玉米植株图像进行预处理，将玉米叶片从复杂的背景图片中较为清晰、完整地提取出来，对分割后的图像进行亮度调整以及位置变化，模拟实际应用中可能会出现的样本状况，作为对原始样本集的扩充；此后，将所获取到的亮度调整后样本、位置变化后样本和原样本集合并作为新的样本集进行后续的处理，从新样本集中提取包括颜色、奇异值以及纹理的三类特征，采用遗传算法对特征进行降维处理，构建特征数据库；最后选用最小二乘支持向量机作为分类器对玉米植株做出旱情识别。

2.如权利要求1所述的基于多特征融合的玉米前期图像旱情识别方法，其特征是，具体地，采用K-means聚类算法对获取到的玉米植株原图像进行图像分割。

3.如权利要求1所述的基于多特征融合的玉米前期图像旱情识别方法，其特征是，从新样本集中提取包括颜色、奇异值以及纹理的三类特征，具体地：

(1)颜色特征：分别提取R、G、B直方图的均值+偏度特征，共6维，R、G、B分别代表红、绿、蓝三种颜色通道，每种通道分为256阶亮度，R、G、B直方图分别统计在各个颜色通道中亮度的信息，均值和偏度计算公式如下：

均值：

$m=\underset{i=0}{\overset{255}{\&Sigma;}}i\&CenterDot;p_i$

其中m为直方图均值，i为像素值，p_i为像素值为i的像素个数；

偏度：

$Skew\left(X\right)=E\&lsqb;{\left(\frac{X-\mathrm{\&mu;}}{\mathrm{\&sigma;}}\right)}^3\&rsqb;$

其中Skew为直方图偏度，X为样本数据，μ为样本数据均值，σ为样本数据方差；

(2)奇异值特征：奇异值分解简称SVD分解，是对分割后的图像进行灰度化处理之后，将该图像作为一个二维矩阵对其进行奇异值分解的一种特征提取方法，分解公式如下：

A＝U×Σ×V^T

其中：A为m×n的矩阵，U为做左奇异矩阵，V^T为右奇异矩阵，Σ为奇异值矩阵，奇异值矩阵是一个对角阵，其对角线上的元素即为矩阵的奇异值，其个数为min(m,n)，其数值在奇异值矩阵中按从大到小的顺序排列，采用前r个奇异值来近似描述矩阵，r<<min(m,n)，这里定义部分奇异值分解公式如下：

A_m×n≈U_m×rΣ_r×rV^T _r×n

将这r个奇异值进行归一化处理，将处理后的值作为图像的r个奇异值特征，归一化公式如下：

${\widehat{\mathrm{\&lambda;}}}_k=\frac{{\mathrm{\&lambda;}}_k}{{\mathrm{\&lambda;}}_{\max }}=\frac{{\mathrm{\&lambda;}}_k}{{\mathrm{\&lambda;}}_1},k=1,2,3,\mathrm{...},r$

其中λ为矩阵的奇异值，λ_max为图像矩阵的最大奇异值即奇异值矩阵中的第一个元素，为归一化后的矩阵的奇异值即图像的奇异值特征；

通过绘制图像识别正确率与奇异值特征有效个数r的关系曲线来确定r的取值；

(3)纹理特征：选取统计纹理中的灰度-梯度共生矩阵，定义图像大小为N×N，灰度-梯度共生矩阵中的元素为H(x,y)，其取值为归一化后的灰度图像F(i,j)及归一化后的梯度图像G(i,j)中，灰度值为x且梯度值y的像素总个数；

即集合中{(i,j)|F(i,j)＝x∩G(i,j)＝y,i,j＝0,1,2...N-1}元素的总个数，L表示灰度级数，L_g表示梯度级数，则F(i,j)∈[0,L-1],G(i,j)∈[0,L_g-1]；

对提取到的灰度-梯度共生矩阵进行归一化处理，使其各元素之和为1，归一化公式如下所示：

$\hat{H}(x,y)=\frac{H(x,y)}{\underset{x=0}{\overset{L-1}{\&Sigma;}}\underset{y=0}{\overset{L_g-1}{\&Sigma;}}H(x,y)}$

其中为归一化后的灰度-梯度共生矩阵，通过计算该矩阵的统计特征获取纹理信息，采用15种统计特征，包括：小梯度优势、大梯度优势、灰度分布的不均匀性、梯度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差矩，将提取到的这15种统计特征作为图像的15维纹理特征；

提取出的图像特征包括颜色6维，奇异值20维，纹理15维共计41维特征，对41维特征采用遗传算法进行降维处理，获取图像本质特征。

4.如权利要求3所述的基于多特征融合的玉米前期图像旱情识别方法，其特征是，其中部分特征的计算公式如下所示：

(1)小梯度优势

$T_1=\frac{\underset{x=0}{\overset{L-1}{\&Sigma;}}\underset{y=0}{\overset{L_g-1}{\&Sigma;}}\hat{H}(x,y)/{(y+1)}^2}{\underset{x=0}{\overset{L-1}{\&Sigma;}}\underset{y=0}{\overset{L_g-1}{\&Sigma;}}H(x,y)}$

(2)大梯度优势

$T_2=\frac{\underset{x=0}{\overset{L-1}{\&Sigma;}}\underset{y=0}{\overset{L_g-1}{\&Sigma;}}\hat{H}(x,y)y^2}{\underset{x=0}{\overset{L-1}{\&Sigma;}}\underset{y=0}{\overset{L_g-1}{\&Sigma;}}H(x,y)}$

(3)惯性

$T_3=\underset{x=0}{\overset{L-1}{\&Sigma;}}\underset{y=0}{\overset{L_g-1}{\&Sigma;}}{(x-y)}^2\hat{H}(x,y)$

(4)能量

$T_4=\underset{x=0}{\overset{L-1}{\&Sigma;}}\underset{y=0}{\overset{L-1}{\&Sigma;}}{\hat{H}}^2(x,y).$

5.如权利要求3所述的基于多特征融合的玉米前期图像旱情识别方法，其特征是，将提取到的23维特征作为特征变量，基于最小二乘支持向量机建立判别模型，将训练样本的特征数据放入支持向量机中进行学习，得到玉米图像旱情识别模型。