CN110070086A - 一种基于图像识别的猕猴桃叶片病害识别方法 - Google Patents

Abstract

一种基于图像识别的猕猴桃叶片病害识别方法，包含一种猕猴桃叶片病害识别深度神经网络训练方法和一种猕猴桃叶片病害深度神经网络识别方法，以及基于该方法的猕猴桃叶片病害自动检测系统；该方法和系统，实现猕猴桃种植过程中对猕猴桃叶片病害的快速、准确分别和分类；无需人工参与和判决，具备易复制性及复制成本低等特性；全自动化设计，实时不间断监测，远程监控，保证猕猴桃叶片病害发现的及时和有效性，极大降低人力成本、提升效率；方法上对图片进行预处理，降低了室外阳光变化带来的图像曝光变化大的缺点，同时采用深度神经网络分类方式，极大提升了病害分类的准确性，使得该系统的适用范围得到进一步扩展。

Description

一种基于图像识别的猕猴桃叶片病害识别方法

技术领域

本发明涉及图像识别，具体涉及一种基于图像识别的猕猴桃叶片病害识别方法。

背景技术

猕猴桃作为一种营养丰富的水果，近年来时长需求不断提升；猕猴桃种植也是一种农村致富的有效手段；但在猕猴桃种植过程中，猕猴桃病虫害对其产量影响巨大，如猕猴桃褐斑病、猕猴桃灰霉病等，病害初期从叶片开始表现；猕猴桃病害的识别需要专业知识和培训，也需要在病害初期即进行相应处理，专业性和实时性限制了猕猴桃种植过程中，减少病害造成的影响。

发明内容

本发明的目的在于提供一种基于图像识别的猕猴桃叶片病害识别方法，通过图像识别的方法，完成猕猴桃种植过程中的叶片出现的病害的准确分类和识别。

本发明目的按如下技术方案实现：

一种基于图像识别的猕猴桃叶片病害识别方法，包含一种猕猴桃叶片病害识别深度神经网络训练方法和一种猕猴桃叶片病害深度神经网络识别方法；

所述一种猕猴桃叶片病害深度神经网络识别方法，该方法包括：

首先，对获取的高清图像进行预处理，并识别高清图像中的猕猴桃叶片区域；

其次，根据识别结果截取高清图像中的猕猴桃叶片区域，做归一化处理，得到叶片归一化图像；

然后，将叶片归一化图像输入到猕猴桃叶片病害深度神经网络中，输出猕猴桃叶片有病害的概率以及猕猴桃叶片病害类别的分类概率；

最后，根据猕猴桃叶片病害深度神经网络的输出结果：猕猴桃叶片有病害的概率以及猕猴桃叶片病害类别的分类概率进行判决，得出判决结果；

所述对获取的高清图像进行预处理，调节高清图像的曝光，调整因逆光造成高清图像的曝光过大现象或者因光线等因素造成高清图像的曝光不足现象；具体步骤如下：

首先计算图像整体亮度值；

其次若图像整体亮度值偏亮，即图像整体亮度值大于过度曝光门限值，通过调节图像的曝光，使得图像变暗，从而图像更清晰；若图像整体亮度值偏暗，即图像整体亮度值小于曝光不足门限值，通过调节图像的曝光，使得图像变量，从而图像更清晰；其余不做处理；

所述计算图像整体亮度值方法如下：

将高清图像的BGR格式转换为HSV格式；统计V通道的均值：

式中，W为高清图像的宽、H为高清图像的高、V_ij为高清图像HSV格式下V通道(i,j)位置的值，为图像整体亮度值；

所述调节图像的曝光的公式为：

式中，v为高清图像BGR格式下像素点在一个通道上的像素值，取值范围为[0,255]，为经过调整图像的曝光后的输出像素值；γ大于1，对高清图像曝光过大进行抑制，γ小于 1，对高清图像曝光不足进行补偿；

所述识别高清图像中的猕猴桃叶片区域，采用叶片识别模型完成猕猴桃叶片区域的识别；所述叶片识别模型为采用SSD识别框架线下训练完成；

所述猕猴桃叶片病害深度神经网络采用ResNeXt网络结构，所述ResNeXt结构输入层为卷积层，输出层为Eltwise层；在Eltwise层后连接全链接层，作为对猕猴桃叶片是否有病害的分类；在Eltwise层后接两个卷积层和一个全链接层，作为对猕猴桃叶片的病害类别的分类；

所述根据猕猴桃叶片病害深度神经网络的输出结果：

依据猕猴桃叶片有病害的概率判定是否有病害：若无，则输出无病害结果；若有病害，则依据猕猴桃叶片病害类别的分类概率进行判决，输出概率最大类别的病害类别结果；

所述一种猕猴桃叶片病害识别深度神经网络训练方法，该方法包括：

首先，对高清图像进行预处理，并识别高清图像中的猕猴桃叶片区域；

其次，根据识别结果截取高清图像中的猕猴桃叶片区域，做归一化处理，得到叶片归一化图像；

接着，标注叶片归一化图像的正确分类标签；

然后，将叶片归一化图像和其正确分类标签输入到猕猴桃叶片病害深度神经网络中，训练得到猕猴桃叶片病害深度神经网络模型；

所述叶片归一化图像的正确分类标签为数据对(L₁,L₂)，表示对叶片有无病害的分类标签，L₂表示病害类型的类别标签；当L₁＝1时，表示存在病害，L₂标签有效，L₂标签默认为0；

所述猕猴桃叶片病害深度神经网络采用ResNeXt网络结构，所述ResNeXt结构输入层为卷积层，输出层为Eltwise层；在Eltwise层后连接全链接层选择softmax损失函数，作为对猕猴桃叶片是否有病害的分类；在Eltwise层后接两个卷积层和一个全链接层选择softmax 损失函数，作为对猕猴桃叶片的病害类别的分类；

所述训练包括：

将叶片归一化图像输入到猕猴桃叶片病害深度神经网络的第一层卷积层完成卷积运算；

将得到的卷积运算结果输入到所述网络的下一级卷积层计算，至第N层卷积层完成卷积运算，由Eltwise层输出；

将Eltwise层输出特征送入全链接层，并利用正确分类标签的L₁进行softmax损失函数计算，得损失函数l₁；

将L₁＝1的叶片归一化图像的Eltwise层输出特征送入两个卷积层并连接全链接层和 softmax损失函数，得损失函数l₂；

合并损失函数l₁、l₁，得到总损失函数l_all：

l_all＝λ₁l₁+λ₂l₂

式中，λ₁、λ₂分别为损失函数l₁、l₂对应的权重值；

最后由总损失函数l_all反向传播更新网络模型参数；

循环迭代上述过程，完成猕猴桃叶片病害深度神经网络模型训练。

优选的，所述叶片识别模型为线下训练完成，输出为猕猴桃叶片所在区域矩形框和旋转角度。

优选的，所述猕猴桃叶片区域的归一化处理为：

依据叶片识别模型输出结果，将猕猴桃叶片区域采用矩形框进行截取；

依据叶片识别模型输出旋转角度结果，将截取的矩形框图像旋正；并采用三样条差值方法resize到固定长宽尺度上得到叶片归一化图像。

优选的，所述过度曝光门限值选取为225。

优选的，所述曝光不足门限值选取为50。

根据上述方法，本发明提供了一种猕猴桃叶片病害自动检测系统，该系统由高清摄像头、中央处理器及显示器组成；

所述高清摄像头安装于猕猴桃果园内，拍摄猕猴桃叶片；每台高清摄像头具备独立的位置信息与高清摄像头在猕猴桃果园中实际位置对应；

所述中央处理器接收所有高清摄像头数据，完成对猕猴桃叶片的分析及病害自动检测；结合高清摄像头独立的位置信息与病害自动检测结果生成猕猴桃叶片病害信息；

所述对猕猴桃叶片的分析及病害自动检测采用上述一种基于图像识别的猕猴桃叶片病害识别方法；

所述显示器与中央处理器连接，用于显示猕猴桃叶片病害信息。

本发明具有如下有益效果：

本发明提供了一种基于图像识别的猕猴桃叶片病害识别方法及系统，通过图像自动识别的方式，实现猕猴桃种植过程中对猕猴桃叶片病害的快速、准确分别和分类；无需人工参与和判决，具备易复制性及复制成本低等特性，便于猕猴桃种植过程中的大面积推广；该系统采用全自动化设计，能做到在猕猴桃种植期间的实时不间断监测，保证猕猴桃叶片病害发现的及时和有效性，同时具备不疲劳性，远程监控特性，极大降低人力成本、提升效率；该系统在方法上对图片进行预处理，降低了室外阳光变化带来的图像曝光变化大的缺点，使得该系统的适用范围得到进一步扩展，同时采用深度神经网络分类方式，极大提升了病害分类的准确性，为后续处理提供强有力证据支撑，且具备回溯查证特性。方法的准确性、易复制性、复制成本低等特性；系统的全自动化、实时性、不易疲劳性、远程监控特性；降低人力成本，提升效率。

附图说明

图1：基于图像识别的猕猴桃叶片病害识别深度神经网络模型训练流程。

图2：基于猕猴桃叶片病害深度神经网络的识别流程。

图3、基于猕猴桃叶片病害深度神经网络输出结果的判决流程。

具体实施方式

下面通过实施例对本发明进行具体的描述，有必要在此指出的是以下实施例只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限制，该领域的技术人员可以根据上述本发明内容对本发明作出一些非本质的改进和调整。

实施例1

一种猕猴桃叶片病害识别深度神经网络训练方法，如图1所示依次进行预处理及识别、归一化处理、图像标注、模型训练，具体为：

预处理及识别，对获取的高清图像进行预处理，并识别高清图像中的猕猴桃叶片区域；预处理的过程为：计算图像整体亮度值，并依据图像整体亮度值进行图像曝光调节，图像整体亮度值偏亮，即图像整体亮度值大于过度曝光门限值，通过调节图像的曝光，使得图像变暗，从而图像更清晰；若图像整体亮度值偏暗，即图像整体亮度值小于曝光不足门限值，通过调节图像的曝光，使得图像变量，从而图像更清晰；其余不做处理；

其中过度曝光门限值选取为225，曝光不足门限值选取为50。

计算图像整体亮度值方法如下：

将高清图像的BGR格式转换为HSV格式；统计V通道的均值：

式中，W为高清图像的宽、H为高清图像的高、V_ij为高清图像HSV格式下V通道(i,j)位置的值，为图像整体亮度值；

调节图像的曝光的公式为：

式中，v为高清图像BGR格式下像素点在一个通道上的像素值，取值范围为[0,255]，为经过调整图像的曝光后的输出像素值；γ大于1，对高清图像曝光过大进行抑制，γ小于 1，对高清图像曝光不足进行补偿；

识别高清图像中的猕猴桃叶片区域，采用叶片识别模型完成猕猴桃叶片区域的识别；所述叶片识别模型为采用SSD识别框架线下训练完成；叶片识别模型输出叶片区域矩形框及旋转角度；

归一化处理，根据依据叶片识别模型输出结果采用矩形框截取高清图像中的猕猴桃叶片区域，并依据叶片识别模型输出旋转角度结果，将截取的矩形框图像旋正，采用三样条差值方法resize到固定长宽尺度上得到叶片归一化图像；

图像标注，为截取的叶片归一化图像人工标注正确分类标签，用于下述模型训练过程中对模型的监督学习；正确分类标签为数据对(L₁,L₂)形势，表示对叶片有无病害的分类标签，L₂表示病害类型的类别标签；当L₁＝1时，表示存在病害，L₂标签有效，L₂标签默认为0；

模型训练，猕猴桃叶片病害深度神经网络采用ResNeXt网络结构，所述ResNeXt结构输入层为卷积层，输出层为Eltwise层；在Eltwise层后连接全链接层选择softmax损失函数，作为对猕猴桃叶片是否有病害的分类；在Eltwise层后接两个卷积层和一个全链接层选择 softmax损失函数，作为对猕猴桃叶片的病害类别的分类；其中两个卷积层均为3x3卷积核，输入输出特征层大小不变；模型训练过程为：将叶片归一化图像输入到猕猴桃叶片病害深度神经网络的第一层卷积层完成卷积运算；

将得到的卷积运算结果输入到所述网络的下一级卷积层计算，至第N层卷积层完成卷积运算，由Eltwise层输出；

将Eltwise层输出特征送入全链接层，并利用正确分类标签的L₁进行softmax损失函数计算，得损失函数l₁；

将L₁＝1的叶片归一化图像的Eltwise层输出特征送入两个卷积层并连接全链接层和 softmax损失函数，得损失函数l₂；

合并损失函数l₁、l₁，得到总损失函数l_all：

l_all＝λ₁l₁+λ₂l₂

式中，λ₁、λ₂分别为损失函数l₁、l₂对应的权重值；

最后由总损失函数l_all反向传播更新网络模型参数；

循环迭代上述过程，完成猕猴桃叶片病害深度神经网络模型训练。

实施例2

一种猕猴桃叶片病害深度神经网络识别方法，如图2所示依次进行预处理及识别、归一化处理、模型运算、结果判决，具体为：

预处理及识别，对获取的高清图像进行预处理，并识别高清图像中的猕猴桃叶片区域；预处理的过程为：计算图像整体亮度值，并依据图像整体亮度值进行图像曝光调节，图像整体亮度值偏亮，即图像整体亮度值大于过度曝光门限值，通过调节图像的曝光，使得图像变暗，从而图像更清晰；若图像整体亮度值偏暗，即图像整体亮度值小于曝光不足门限值，通过调节图像的曝光，使得图像变量，从而图像更清晰；其余不做处理；

其中过度曝光门限值选取为225，曝光不足门限值选取为50。

计算图像整体亮度值方法如下：

将高清图像的BGR格式转换为HSV格式；统计V通道的均值：

式中，W为高清图像的宽、H为高清图像的高、V_ij为高清图像HSV格式下V通道(i,j)位置的值，为图像整体亮度值；

调节图像的曝光的公式为：

式中，v为高清图像BGR格式下像素点在一个通道上的像素值，取值范围为[0,255]，为经过调整图像的曝光后的输出像素值；γ大于1，对高清图像曝光过大进行抑制，γ小于 1，对高清图像曝光不足进行补偿；

识别高清图像中的猕猴桃叶片区域，采用叶片识别模型完成猕猴桃叶片区域的识别；所述叶片识别模型为采用SSD识别框架线下训练完成；叶片识别模型输出叶片区域矩形框及旋转角度；

归一化处理，根据依据叶片识别模型输出结果采用矩形框截取高清图像中的猕猴桃叶片区域，并依据叶片识别模型输出旋转角度结果，将截取的矩形框图像旋正，采用三样条差值方法resize到固定长宽尺度上得到叶片归一化图像；

模型运算，将叶片归一化图像输入到猕猴桃叶片病害深度神经网络中，输出猕猴桃叶片有病害的概率以及猕猴桃叶片病害类别的分类概率；

结果判决，根据猕猴桃叶片病害深度神经网络的输出结果：猕猴桃叶片有病害的概率以及猕猴桃叶片病害类别的分类概率进行判决，得出判决结果；其中判决步骤如图3所示为：依据猕猴桃叶片有病害的概率判定是否有病害，即猕猴桃有病害概率是否大于门限值：若无，则输出无病害结果；若有病害，则依据猕猴桃叶片病害类别的分类概率进行判决，输出概率最大类别的病害类别结果。

实施例3

一种基于图像识别的猕猴桃叶片病害识别方法的猕猴桃叶片病害自动检测系统，由高清摄像头、中央处理器及显示器组成；

在猕猴桃果园中，按照猕猴桃种植密度安装高清摄像头，拍摄猕猴桃叶片，使得所有摄像头画面能覆盖绝大部分猕猴桃叶片；

所每台高清摄像头具备独立的位置信息与高清摄像头在猕猴桃果园中实际位置对应；

所有高清摄像头与中央处理器连接；中央处理器接收高清摄像头数据，完成对猕猴桃叶片的分析及病害自动检测；结合高清摄像头独立的位置信息与病害自动检测结果生成猕猴桃叶片病害信息；

其中对猕猴桃叶片的分析及病害自动检测采用上述一种基于图像识别的猕猴桃叶片病害识别方法；

显示器与中央处理器连接，用于显示猕猴桃叶片病害信息。

Claims (6)

1.一种基于图像识别的猕猴桃叶片病害识别方法，其特征在于：包含一种猕猴桃叶片病害识别深度神经网络训练方法和一种猕猴桃叶片病害深度神经网络识别方法；

所述一种猕猴桃叶片病害深度神经网络识别方法，具体为：

首先，对获取的高清图像进行预处理，并识别高清图像中的猕猴桃叶片区域；

其次，根据识别结果截取高清图像中的猕猴桃叶片区域，做归一化处理，得到叶片归一化图像；

然后，将叶片归一化图像输入到猕猴桃叶片病害深度神经网络中，输出猕猴桃叶片有病害的概率以及猕猴桃叶片病害类别的分类概率；

最后，根据猕猴桃叶片病害深度神经网络的输出结果：猕猴桃叶片有病害的概率以及猕猴桃叶片病害类别的分类概率进行判决，得出判决结果；

所述对获取的高清图像进行预处理，调节高清图像的曝光，具体步骤如下：

首先计算图像整体亮度值；

其次若图像整体亮度值偏亮，即图像整体亮度值大于过度曝光门限值，通过调节图像的曝光，使得图像变暗，从而图像更清晰；若图像整体亮度值偏暗，即图像整体亮度值小于曝光不足门限值，通过调节图像的曝光，使得图像变量，从而图像更清晰；其余不做处理；

所述计算图像整体亮度值方法如下：

将高清图像的BGR格式转换为HSV格式；统计V通道的均值：

式中，W为高清图像的宽、H为高清图像的高、V_ij为高清图像HSV格式下V通道(i,j)位置的值，为图像整体亮度值；

所述调节图像的曝光的公式为：

式中，v为高清图像BGR格式下像素点在一个通道上的像素值，取值范围为[0,255]，为经过调整图像的曝光后的输出像素值；γ大于1，对高清图像曝光过大进行抑制，γ小于1，对高清图像曝光不足进行补偿；

所述识别高清图像中的猕猴桃叶片区域，采用叶片识别模型完成猕猴桃叶片区域的识别；所述叶片识别模型为采用SSD识别框架线下训练完成；

所述猕猴桃叶片病害深度神经网络采用ResNeXt网络结构，所述ResNeXt结构输入层为卷积层，输出层为Eltwise层；在Eltwise层后连接全链接层，作为对猕猴桃叶片是否有病害的分类；在Eltwise层后接两个卷积层和一个全链接层，作为对猕猴桃叶片的病害类别的分类；

所述根据猕猴桃叶片病害深度神经网络的输出结果：依据猕猴桃叶片有病害的概率判定是否有病害：若无，则输出无病害结果；若有病害，则依据猕猴桃叶片病害类别的分类概率进行判决，输出概率最大类别的病害类别结果；

所述一种猕猴桃叶片病害识别深度神经网络训练方法，可以包括：

首先，对高清图像进行预处理，并识别高清图像中的猕猴桃叶片区域；

其次，根据识别结果截取高清图像中的猕猴桃叶片区域，做归一化处理，得到叶片归一化图像；

接着，标注叶片归一化图像的正确分类标签；

然后，将叶片归一化图像和其正确分类标签输入到猕猴桃叶片病害深度神经网络中，训练得到猕猴桃叶片病害深度神经网络模型；

所述叶片归一化图像的正确分类标签为数据对(L₁,L₂)，表示对叶片有无病害的分类标签，L₂表示病害类型的类别标签；当L₁＝1时，表示存在病害，L₂标签有效，L₂标签默认为0；

所述猕猴桃叶片病害深度神经网络采用ResNeXt网络结构，所述ResNeXt结构输入层为卷积层，输出层为Eltwise层；在Eltwise层后连接全链接层选择softmax损失函数，作为对猕猴桃叶片是否有病害的分类；在Eltwise层后接两个卷积层和一个全链接层选择softmax损失函数，作为对猕猴桃叶片的病害类别的分类；

所述训练包括：

将叶片归一化图像输入到猕猴桃叶片病害深度神经网络的第一层卷积层完成卷积运算；

将得到的卷积运算结果输入到所述网络的下一级卷积层计算，至第N层卷积层完成卷积运算，由Eltwise层输出；

将Eltwise层输出特征送入全链接层，并利用正确分类标签的L₁进行softmax损失函数计算，得损失函数l₁；

将L₁＝1的叶片归一化图像的Eltwise层输出特征送入两个卷积层并连接全链接层和softmax损失函数，得损失函数l₂；

合并损失函数l₁、l₁，得到总损失函数l_all：

l_all＝λ₁l₁+λ₂l₂

式中，λ₁、λ₂分别为损失函数l₁、l₂对应的权重值；

最后由总损失函数l_all反向传播更新网络模型参数；

循环迭代上述过程，完成猕猴桃叶片病害深度神经网络模型训练。

2.如权利要求1所述的一种基于图像识别的猕猴桃叶片病害识别方法，其特征在于：所述叶片识别模型为线下训练完成，输出为猕猴桃叶片所在区域矩形框和旋转角度。

3.如权利要求2所述的一种基于图像识别的猕猴桃叶片病害识别方法，其特征在于：所述猕猴桃叶片区域的归一化处理为：

依据叶片识别模型输出结果，将猕猴桃叶片区域采用矩形框进行截取；

依据叶片识别模型输出旋转角度结果，将截取的矩形框图像旋正；并采用三样条差值方法resize到固定长宽尺度上得到叶片归一化图像。

4.如权利要求3所述的一种基于图像识别的猕猴桃叶片病害识别方法，其特征在于：所述过度曝光门限值选取优选为225。

5.如权利要求4所述的一种基于图像识别的猕猴桃叶片病害识别方法，其特征在于：所述曝光不足门限值选取优选为50。

6.基于如权利要求5所述的一种基于图像识别的猕猴桃叶片病害识别方法的猕猴桃叶片病害自动检测系统，其特征在于：所述系统由高清摄像头、中央处理器及显示器组成；

所述高清摄像头安装于猕猴桃果园内，拍摄猕猴桃叶片；每台高清摄像头具备独立的位置信息与高清摄像头在猕猴桃果园中实际位置对应；

所述中央处理器接收所有高清摄像头数据，完成对猕猴桃叶片的分析及病害自动检测；结合高清摄像头独立的位置信息与病害自动检测结果生成猕猴桃叶片病害信息；

所述对猕猴桃叶片的分析及病害自动检测采用上述一种基于图像识别的猕猴桃叶片病害识别方法；

所述显示器与中央处理器连接，用于显示猕猴桃叶片病害信息。