CN106845401B - 一种基于多空间卷积神经网络的害虫图像识别方法 - Google Patents

Abstract

本发明涉及一种基于多空间卷积神经网络的害虫图像识别方法，与现有技术相比解决了害虫图像识别率低、鲁棒性差的缺陷。本发明包括以下步骤：对训练图像进行收集和预处理；构造多尺度的MS‑CNN网络模型和多核分类模型；对待测图像进行收集和预处理；将测试样本输入经过多核模型的训练的MS‑CNN网络模型中，进行害虫图像的自动识别。本发明提高了害虫识别的准确率，增强了害虫识别算法的鲁棒性，达到了实际应用水平。

Description

一种基于多空间卷积神经网络的害虫图像识别方法

技术领域

本发明涉及图像识别技术领域，具体来说是一种基于多空间卷积神经网络的害虫图像识别方法。

背景技术

害虫是农作物生长中的大敌，在农作物整个生长期内都有发生，可造成农作物大量减产。现行的害虫分类、识别工作主要是依靠少数植保专家和农技人员来完成的。但害虫种类繁多，每一位植保专家穷其所能也只能识别部分害虫。越来越多的迹象表明，对害虫识别需求的增多与害虫识别专家相对较少的矛盾已日益加剧。当今在模式识别领域，基于无监督的深度学习理论成为众多学者研究的热点，在人脸识别、物体识别领域被广泛应用，并取得了较好的效果。然而，应用在害虫图像自动识别方法及系统则出现识别率不高，鲁棒性较差，这也是由于害虫样本的多样性、特征复杂度所导致的。

因此，如何针对害虫的样本标签，利用有监督的神经网络技术实现害虫识别已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中害虫图像识别率低、鲁棒性差的缺陷，提供一种基于多空间卷积神经网络的害虫图像识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于多空间卷积神经网络的害虫图像识别方法，包括以下步骤：

对训练图像进行收集和预处理，收集若干幅图像作为训练图像，对所有训练图像进行大小归一化处理，将其处理为256×256像素，得到若干个训练样本；

构造多尺度的MS-CNN网络模型和多核分类模型，将训练样本作为输

入，完成对MS-CNN网络模型及多核模型的训练；

对待测图像进行收集和预处理，利用采集设备拍摄待测的害虫图像，并对待测的害虫图像按256×256像素进行归一化处理，得到测试样本；

将测试样本输入经过多核模型的训练的MS-CNN网络模型中，进行害虫图像的自动识别。

所述的构造多尺度的MS-CNN网络模型和多核分类模型包括以下步骤：

构造MS-CNN网络模型，设置网络层数为15层，利用Caffe框架进行网络模型的训练，输入为归一化后的训练样本，输出为每层卷积层的avg-pool的全连接输出；

将每层卷积层的avg-pool的全连接输出进行累加，得到最终的特征向量β_n，其公式如下：

其中，

表示具有多个输入的输出,β_i为第i层的特征向量输出分支；

训练多核学习模型作为分类器，

将最终的特征向量β_n作为SVM多核学习模型的输入，训练MS-CNN的输出层，

x_i为训练样本，K_k为不同的核函数，μ_i为支持向量权重，ν_k为核权重。

所述的构造MS-CNN网络模型包括以下步骤：

将过滤器和偏差初始化设置为初始训练值，多尺度全连接权重设置为正常分布的小数值；

设置MS-CNN网络模型的网络层数为15层，

其中：w₁…w_k，w_i为CNN第1-K层的参数；

设(x⁽ⁱ⁾,y⁽ⁱ⁾)是训练数据，x⁽ⁱ⁾为第i幅输入图像，y⁽ⁱ⁾为第i幅输入图像的类别标签；

使用随机梯度下降法最小化目标函数，目标函数公式如下：

将归一化后的训练样本作为MS-CNN网络模型的输入，设置卷积核大小为5×5像素，利用卷积核对图像进行卷积操作，加上偏置参数，得到15层的卷积层图像α_i；

将每层的卷积层图像α_i均通过sigmoid激活函数得到线性修正单元；

线性修正单元在MS-CNN网络模型中的计算，

MS-CNN网络模型将每个线性修正单元链接到平均池层avg-pool，再链接到L2归一化层进行归一化，最后将归一化结果送到产生N个输出的完全连接层，进行全连接输出并作为每层的输出特征向量。

所述的线性修正单元在MS-CNN网络模型中的计算包括以下步骤：

将线性修正单元应用在DAG模型上，

相对于第i个线性修正单元的输入，z的梯度表示为

其中，

为第j个输出分支，z为最终输出，

为最终输出z相对于每层节点的梯度；

恢复标准反向传播z的梯度方程，

设置C＝1，单个反馈信号

到达线性修正单元i，乘以局部梯度

并向下传递到下一层；

多个支路信号均从每个分支j到达

每个分支j都乘以分支j特定的梯度

并且它们的总和向下传递到下一层；

得到输出

为i个β^(j)。

有益效果

本发明的基于多空间卷积神经网络的害虫图像识别方法，与现有技术相比构造的多空间卷积神经网络具有多个隐含层，拥有比浅层网络更加优异的特征表达能力，从多空间角度描述图像信息，对于不同分辨率的图像从多个尺度进行特征提取，并通过多核分类器进行分类预测。本发明提高了害虫识别的准确率，增强了害虫识别算法的鲁棒性，达到了实际应用水平。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于多空间卷积神经网络的害虫图像识别方法，包括以下步骤：

第一步，对训练图像进行收集和预处理。收集若干幅图像作为训练图像，此处的训练图像带有类别标签，对所有训练图像按现有技术方法进行大小归一化处理，将其处理为256×256像素，得到若干个训练样本，用于有监督的深度网络训练。

第二步，构造多尺度的MS-CNN网络模型和多核分类模型。将训练样本作为输入，完成对MS-CNN网络模型及多核模型的训练，对MS-CNN网络模型和多核分类模型进行训练，使得多核分类模型作为分类器，待全局训练完成后，则可以自动识别出测试样本，对测试样本进行分类。其具体包括以下步骤：

(1)构造MS-CNN网络模型。设置网络层数为15层，利用Caffe框架进行网络模型的训练，Caffe框架为用来构造卷积神经网络的模型，其框架基本实现了步骤。输入为归一化后的训练样本，输出为每层卷积层的avg-pool的全连接输出。其具体步骤如下：

A、将过滤器和偏差初始化设置为初始训练值，通常为0或1。多尺度全连接权重设置为正常分布的小数值，通常为0-1。

B、设置MS-CNN网络模型的网络层数为15层，15层为传统MS-CNN网络模型的网络层数，通过Caffe框架直接进行设置即可。

其中：w₁…w_k，w_i为CNN第1-K(1-15)层的参数；

设(x⁽ⁱ⁾,y⁽ⁱ⁾)是训练数据，x⁽ⁱ⁾为第i幅输入图像，y⁽ⁱ⁾为第i幅输入图像的类别标签。

C、使用随机梯度下降法最小化对目标函数进行优化，目标函数公式如下：

D、将归一化后的训练样本作为MS-CNN网络模型的输入，设置卷积核大小为5×5像素，利用卷积核对图像进行卷积操作，加上偏置参数，得到15层的卷积层图像α_i。

E、将每层的卷积层图像α_i均通过现有技术中的sigmoid激活函数得到线性修正单元ReLU。

F、线性修正单元在MS-CNN网络模型中的计算。

MS-CNN网络模型将每个线性修正单元链接到平均池层avg-pool，再链接到L2归一化层进行归一化，最后将归一化结果送到产生N个输出的完全连接层，进行全连接输出并作为每层的输出特征向量。

卷积神经网络的每层网络均包含卷积层和下采样层，经过卷积层后进行非线性化(ReLU)，这里分成两个分支：

一路分支链接到平均池层avg-pool，归一化后进行全连接，得到该层的特征向量。在本发明中，为了提高本发明的鲁棒性，在对每层的特征向量进行累加，形成最终的特征向量β_n，这也是针对害虫样本多样性、复杂度高的特殊设计。

另一个分支按照卷积神经网络的步骤往下走，根据梯度求极值。

同样，每层网络都分成两个分支，一层产生一个特征向量，另一个继续传递到下一层。

线性修正单元在MS-CNN网络模型中的计算包括以下步骤：

a、将线性修正单元应用在DAG模型上。则：

相对于第i个线性修正单元的输入，z的梯度表示为

其中，

为第j个输出分支，z为最终输出，

为最终输出z相对于每层节点的梯度。

b、恢复标准反向传播z的梯度方程。此为上述的另一个分支，按照卷积神经网络的步骤往下走，根据梯度求极值。

设置C＝1，单个反馈信号

到达线性修正单元i，，乘以局部梯度

并向下传递到下一层；

多个支路信号均从每个分支j到达

每个分支j都乘以分支j特定的梯度

并且它们的总和向下传递到下一层。

上式中，i即为15层，就是1-15，即进行梯度下降，为了使

最小。

c、得到输出

为i个β^(j)。

B、将每层卷积层的avg-pool的全连接输出进行累加，得到最终的特征向量β_n。其公式如下：

其中，

表示具有多个输入的输出,β_i为第i层的特征向量输出分支。

此为上述的第一路分支，即对每层的特征向量进行累加，形成最终的特征向量β_n，为针对害虫样本多样性、复杂度高的特殊设计。

C、训练多核学习模型作为分类器，

将最终的特征向量β_n作为SVM多核学习模型的输入，训练MS-CNN的输出层，

x_i为训练样本，K_k为不同的核函数，μ_i为支持向量权重，ν_k为核权重。

普通SVM是单核的，多核学习就是不同特征采用不同的核函数，将经过多个核函数的向量加权相加，K极为核函数，ν_k作为不同核函数对应的权重，μ_i作为每个经过核函数的支持向量的加权相加的权重。

在此，已完成对整个MS-CNN进行调整，优化了MS-CNN的参数，完成了MS-CNN的全局训练。

第三步，对待测图像进行收集和预处理。利用采集设备拍摄待测的害虫图像，并对待测的害虫图像按256×256像素进行归一化处理，得到测试样本。

第四步，将测试样本输入经过多核模型的训练的MS-CNN网络模型中，即送入经过多尺度的MS-CNN网络模型和多核分类模型训练后的网络模型中，从MS-CNN网络模型的输出层得到分类结果，完成害虫图像的自动识别。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (1)

1.一种基于多空间卷积神经网络的害虫图像识别方法，其特征在于，包括以下步骤：

11)对训练图像进行收集和预处理，收集若干幅图像作为训练图像，对所有训练图像进行大小归一化处理，将其处理为256×256像素，得到若干个训练样本；

12)构造多尺度的MS-CNN网络模型和多核分类模型，将训练样本作为输入，完成对MS-CNN网络模型及多核模型的训练；所述的构造多尺度的MS-CNN网络模型和多核分类模型包括以下步骤：

121)构造MS-CNN网络模型，设置网络层数为15层，利用Caffe框架进行网络模型的训练，输入为归一化后的训练样本，输出为每层卷积层的avg-pool的全连接输出；

所述的构造MS-CNN网络模型包括以下步骤：

1211)将过滤器和偏差初始化设置为初始训练值，多尺度全连接权重设置为正常分布的小数值；

1212)设置MS-CNN网络模型的网络层数为15层，

其中：w₁…w_L，w_i为CNN第1-L层的参数；

设(x⁽ⁱ⁾,y⁽ⁱ⁾)是训练数据，x⁽ⁱ⁾为第i幅输入图像，y⁽ⁱ⁾为第i幅输入图像的类别标签；

1213)使用随机梯度下降法最小化目标函数，目标函数公式如下：

1214)将归一化后的训练样本作为MS-CNN网络模型的输入，设置卷积核大小为5×5像素，利用卷积核对图像进行卷积操作，加上偏置参数，得到15层的卷积层图像α_i；

1215)将每层的卷积层图像α_i均通过sigmoid激活函数得到线性修正单元；

1216)线性修正单元在MS-CNN网络模型中的计算，

MS-CNN网络模型将每个线性修正单元链接到平均池层avg-pool，再链接到L2归一化层进行归一化，最后将归一化结果送到产生n个输出的完全连接层，进行全连接输出并作为每层的输出特征向量；所述的线性修正单元在MS-CNN网络模型中的计算包括以下步骤：

12161)将线性修正单元应用在DAG模型上，

相对于第i个线性修正单元的输入，z的梯度表示为

其中，

为第j个输出分支，z为最终输出，

为最终输出z相对于每层节点的梯度；

12162)恢复标准反向传播z的梯度方程，

设置C＝1，单个反馈信号

到达线性修正单元i，乘以局部梯度

并向下传递到下一层；

多个支路信号均从每个分支j到达

每个分支j都乘以分支j特定的梯度

并且它们的总和向下传递到下一层；

12163)得到第i个线性修正单元的输出

为第i个β^(j)；

122)将每层卷积层的avg-pool的全连接输出进行累加，得到最终的特征向量β_n，其公式如下：

其中，β_i为第i层的特征向量输出分支；

123)训练多核学习模型作为分类器，

将多个训练数据最终的特征向量β_ni作为SVM多核学习模型的输入，训练MS-CNN的输出层，

K_k为不同的核函数，μ_i为支持向量权重，ν_k为核权重；

13)对待测图像进行收集和预处理，利用采集设备拍摄待测的害虫图像，并对待测的害虫图像按256×256像素进行归一化处理，得到测试样本；

14)将测试样本输入经过多核模型的训练的MS-CNN网络模型中，进行害虫图像的自动识别。

Images