CN104091181A - 基于深度受限玻尔兹曼机的害虫图像自动识别方法及系统 - Google Patents

Abstract

本发明涉及基于深度受限玻尔兹曼机的害虫图像自动识别方法，包括：训练过程：对训练图像集的数据进行预处理，对经预处理的训练图像分组构建训练图像立方体，采用受限玻尔兹曼机算法提取每组训练图像的特征，经过反馈调节，得到训练后的训练图像集特征数据；测试过程：输入待识别的测试图像，对测试图像进行预处理，采用受限玻尔兹曼机算法提取测试图像特征，经过反馈调节，得到误差较小的测试图像的特征数据；识别害虫种类，给出预防方法。本发明该公开了一种基于深度受限玻尔兹曼机的害虫图像自动识别系统。本发明提高了害虫识别率与程序的鲁棒性，提升了害虫识别在农业生产中的实际应用价值。

Description

基于深度受限玻尔兹曼机的害虫图像自动识别方法及系统

技术领域

本发明涉及智能农业以及模式识别技术领域，尤其是一种基于深度受限玻尔兹曼机的害虫图像自动识别方法及系统。

背景技术

害虫是农作物生长的大敌，在农作物整个生长期内都有发生，可造成农作物的大量减产。现行的害虫分类、识别工作主要依靠少数植保专家和农技人员来完成，然而害虫种类繁多，每一位植保专家穷其所能也只能识别部分害虫。越来越多的迹象表明，对害虫识别需求的增多与害虫识别专家的相对较少的矛盾已日益加剧，自动害虫图像的识别具有非常重要的意义，然而自动害虫图像的识别方法识别率低，鲁棒性较差，只存在实验阶段，寻求一种识别率高、鲁棒性强的害虫识别方法具有非常重要的意义。当今在模式识别领域，基于无监督的深度学习理论成为众多学者研究的热点，受限玻尔兹曼机算法是深度学习一种经典的算法，目前在模式识别领域应用广泛，在人脸识别和物体识别领域取得了非常好的效果。

发明内容

本发明的首要目的在于提供一种能够实现害虫图像的自动识别，且识别率高、鲁棒性强的基于深度受限玻尔兹曼机的害虫图像自动识别方法。

为实现上述目的，本发明采用了以下技术方案：一种基于深度受限玻尔兹曼机的害虫图像自动识别方法，该方法包括下列顺序的步骤：

(1)训练过程：对训练图像集的数据进行预处理，对经预处理的训练图像分组构建训练图像立方体，采用受限玻尔兹曼机算法提取每组训练图像的特征，经过反馈调节，得到训练后的训练图像集特征数据；

(2)测试过程：输入待识别的测试图像，对测试图像进行预处理，采用受限玻尔兹曼机算法提取测试图像特征，经过反馈调节，得到误差较小的测试图像的特征数据；

(3)识别害虫种类，给出预防方法：求出测试图像的特征数据与训练图像集特征数据的相似度，找出相似度最高的类别。

在训练过程中，所述对训练图像集的数据进行预处理包括以下步骤：

(1)统一训练集中的每幅训练图像的大小；

(2)将图像灰度化，并将灰度化后的图像进行灰度均衡化；

(3)使用高斯滤波算法进行去噪平滑处理。

在训练过程中，所述对训练图像分组构建训练图像立方体包括以下步骤：

(1)将训练图像分组；

(2)构建训练图像立方体，以x轴坐标表示一个小组内不同样本的编号，则x轴坐标为：1,2,3,4…100；以y轴坐标表示一个小组中特定一个样本的维度；以z轴坐标表示分组的个数。

所述受限玻尔兹曼机算法表达式为RBM(W,b,c,v₀)，其中W为RBM层与层之间的链接权值矩阵，b为RBM隐藏层的偏置，c为RBM输入层的编制，v₀是RBM训练样本集合中的一个样本；

(1)计算能量函数E(v,h|θ)：

$E(v,h|\mathrm{\θ})=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i{v}_i-\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{c}_j{h}_j-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{v}_i{W}_{\mathrm{ij}}{h}_j$

其中，v表示可见层的输入数据；θ表示模型参数；v_i表示第i个可见层的输入数据；h表示隐含层；h_i表示第i个隐含层的贡献；b_i、c_j分别表示第i层、j层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，m、n分别表示隐含层、可见层的层数。

(2)计算得到v和h的概率分布

$P(v,h|\mathrm{\θ})=\frac{e^{-E(v,h|\mathrm{\θ})}}{Z\left(\mathrm{\θ}\right)}$

其中是归一化因子；E(v,h|θ)表示能量函数；v表示可见层的输入数据；h表示隐含层；θ表示模型参数；

(3)对于所有隐藏层的神经节点i,计算层与层之间的映射运算：

$\mathrm{sigm}(-b_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_{0j})$

其中，b_i表示第i可见层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，v_0j表示第一层可见单位到j层隐含单元输入的数据向量；

(4)对于所有可见层的神经节点j,计算层与层之间的映射运算：

$\mathrm{sigm}(-c_j-\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{h}_{0i})$

其中，c_j表示第i隐含层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，h_0i表示第一层隐含单位到第i层可见单元输入的数据向量；

(5)对于所有隐藏层的神经节点i,计算层与层之间的映射运算：

$\mathrm{sigm}(-b_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_{1j})$

b_i表示第i可见层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，v_1j表示第二层可见单位到j层隐含单元输入的数据向量；

(6)最后更新链接权值的偏置参数：

W＝W-ε(h₀v₀'-Q(h₁＝1|v₁)v₁')

b＝b-ε(h₀-Q(h₁＝1|v₁))

c＝c-ε(v₀-v₁)

其中，v₀表示第一层可见单元，训练集中一个样本特征向量；v'₀表示v₀的转置；v₁表示第二层可见单元输入的样本的特征向量；v₁'表示v₁的转置；h₀表示第一层隐含层贡献；h₁表示第二隐含层贡献；b，c表示偏置量；ε表示调节因子；W表示可见层与隐含层之前的连接权值。

在训练过程中，所述反馈调节最主要的部分为循环调节，采用将自底向上的识别模型和自顶向下的生成模型相结合的方式来进行微调，通过识别模型，得到受限玻尔兹曼机算法对输入样本最初的各个层次上的表示形式，并得到一个深度模型对样本的一个高抽象表示形式；通过生成模型，可以从深度模型的最高抽象表示形式出发，重构深度模型对样本的各个层次的表示，为原来每个层级表示提供了调节目标，通过不断调节重构出误差较低的原样本，进而得到样本的本质特征数据。

在测试过程中，采用手机或者相机拍摄田间的害虫图像来实现输入待识别的测试图像；所述对测试图像进行预处理是指，对测试图像依次经灰度化、灰度均衡化、平滑处理，得到更为标准的测试图像。

在识别时，如果最高相似度阈值大于设定的阈值T，则该害虫属于该类别，如果最高相似度阈值小于T则说明害虫数据库中没有该类别，请求农业专家鉴定害虫种类，将其添加到害虫数据库中。

本发明的另一目的在于提供一种基于深度受限玻尔兹曼机的害虫图像自动识别系统，包括：

训练模块，对训练集害虫图像进行训练，得到训练图像集特征数据；

测试模块，对待识别的测试害虫图像进行测试，得到测试图像的特征数据；

图像识别模块，通过测试图像特征与训练图像特征相似度比较得到害虫的类别，给出预防方法。

所述训练模块包括：

害虫图像训练集，储存训练图像的数据库；

训练图像预处理模块，用于训练图像的预处理，消除光照、噪声对识别结果的影响；

训练图像立方体构建模块，用于对训练样本分组，为有效提取训练特征做准备；

训练图像特征提取模块，通过使用受限玻尔兹曼机算法与反馈调节过程，来提取训练图像的特征。

所述测试模块包括：

测试图像输入模块，输入待识别的害虫图像；

测试图像预处理模块，用于测试图像的预处理，消除光照、噪声对测试图像的影响；

测试图像特征提取模块，通过受限玻尔兹曼机算法与反馈调节过程来提取测试图像的特征。

由上述技术方案可知，本发明与现有技术相比，提高了害虫识别率与程序的鲁棒性，提升了害虫识别在农业生产中的实际应用价值；利用图像预处理，构建训练图像立方体及其深度受限玻尔兹曼机算法等一系列步骤，实现了自动识别害虫的种类，并根据相关的害虫种类给出相应的预防措施。总之，本发明提高了害虫识别的准确率，加强了害虫识别算法鲁棒性，达到了实际应用的水平。

附图说明

图1为本发明的方法流程图；

图2为本发明的系统结构框图。

具体实施方式

一种基于深度受限玻尔兹曼机的害虫图像自动识别方法，该方法包括下列顺序的步骤：(1)训练过程：对训练图像集的数据进行预处理，对经预处理的训练图像分组构建训练图像立方体，采用受限玻尔兹曼机算法提取每组训练图像的特征，经过反馈调节，得到训练后的训练图像集特征数据；(2)测试过程：输入待识别的测试图像，对测试图像进行预处理，采用受限玻尔兹曼机算法提取测试图像特征，经过反馈调节，得到误差较小的测试图像的特征数据；(3)识别害虫种类，给出预防方法：求出测试图像的特征数据与训练图像集特征数据的相似度，找出相似度最高的类别，在识别时，如果最高相似度阈值大于设定的阈值T，则该害虫属于该类别，如果最高相似度阈值小于T则说明害虫数据库中没有该类别，请求农业专家鉴定害虫种类，将其添加到害虫数据库中，T的取值可以为0.7，如图1所示。

以下结合图1对本发明作进一步的说明。

在训练过程中，所述对训练图像集的数据进行预处理包括以下步骤：

(1)统一训练集中的每幅训练图像的大小，比如，100×100；

(2)将图像灰度化，并将灰度化后的图像进行灰度均衡化；

(3)使用高斯滤波算法进行去噪平滑处理。

在训练过程中，所述对训练图像分组构建训练图像立方体包括以下步骤：

(1)将训练图像分组，比如，若共有训练图像5000张，将5000张训练图片分5组进行，每组100张；

(2)构建训练图像立方体，以x轴坐标表示一个小组内不同样本的编号，则x轴坐标为：1,2,3,4…100；以y轴坐标表示一个小组中特定一个样本的维度；以z轴坐标表示分组的个数，比如5个。

所述受限玻尔兹曼机算法表达式为RBM(W,b,c,v₀)，其中W为RBM层与层之间的链接权值矩阵，b为RBM隐藏层的偏置，c为RBM输入层的编制，v₀是RBM训练样本集合中的一个样本；

(1)计算能量函数E(v,h|θ)：

$E(v,h|\mathrm{\θ})=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i{v}_i-\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{c}_j{h}_j-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{v}_i{W}_{\mathrm{ij}}{h}_j$

其中，v表示可见层的输入数据；θ表示模型参数；v_i表示第i个可见层的输入数据；h表示隐含层；h_i表示第i个隐含层的贡献；b_i、c_j分别表示第i层、j层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，m、n分别表示隐含层、可见层的层数。

(2)计算得到v和h的概率分布

$P(v,h|\mathrm{\θ})=\frac{e^{-E(v,h|\mathrm{\θ})}}{Z\left(\mathrm{\θ}\right)}$

其中是归一化因子；E(v,h|θ)表示能量函数；v表示可见层的输入数据；h表示隐含层；θ表示模型参数；

(3)对于所有隐藏层的神经节点i,计算层与层之间的映射运算：

$\mathrm{sigm}(-b_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_{0j})$

其中，b_i表示第i可见层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，v_0j表示第一层可见单位到j层隐含单元输入的数据向量；

(4)对于所有可见层的神经节点j,计算层与层之间的映射运算：

$\mathrm{sigm}(-c_j-\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{h}_{0i})$

其中，c_j表示第i隐含层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，h_0i表示第一层隐含单位到第i层可见单元输入的数据向量；

(5)对于所有隐藏层的神经节点i,计算层与层之间的映射运算：

$\mathrm{sigm}(-b_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_{1j})$

b_i表示第i可见层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，v_1j表示第二层可见单位到j层隐含单元输入的数据向量；

(6)最后更新链接权值的偏置参数：

W＝W-ε(h₀v₀'-Q(h₁＝1|v₁)v₁')

b＝b-ε(h₀-Q(h₁＝1|v₁))

c＝c-ε(v₀-v₁)

其中，v₀表示第一层可见单元，训练集中一个样本特征向量；v'₀表示v₀的转置；v₁表示第二层可见单元输入的样本的特征向量；v₁'表示v₁的转置；h₀表示第一层隐含层贡献；h₁表示第二隐含层贡献；b，c表示偏置量；ε表示调节因子；W表示可见层与隐含层之前的连接权值。

在训练过程中，所述反馈调节最主要的部分为循环调节，采用将自底向上的识别模型和自顶向下的生成模型相结合的方式来进行微调，通过识别模型，得到受限玻尔兹曼机算法对输入样本最初的各个层次上的表示形式，并得到一个深度模型对样本的一个高抽象表示形式；通过生成模型，可以从深度模型的最高抽象表示形式出发，重构深度模型对样本的各个层次的表示，为原来每个层级表示提供了调节目标，通过不断调节重构出误差较低的原样本，进而得到样本的本质特征数据。

在测试过程中，采用手机或者相机拍摄田间的害虫图像来实现输入待识别的测试图像。在测试过程中，所述对测试图像进行预处理是指，对测试图像依次经灰度化、灰度均衡化、平滑处理，得到更为标准的测试图像。测试过程与训练过程类似，采用的算法相同。

如图2所示，本系统包括训练模块1，对训练集害虫图像进行训练，得到训练图像集特征数据；测试模块2，对待识别的测试害虫图像进行测试，得到测试图像的特征数据；图像识别模块3，通过测试图像特征与训练图像特征相似度比较得到害虫的类别，给出预防方法。

所述训练模块1包括：害虫图像训练集，储存训练图像的数据库；训练图像预处理模块，用于训练图像的预处理，消除光照、噪声对识别结果的影响；训练图像立方体构建模块，用于对训练样本分组，为有效提取训练特征做准备；训练图像特征提取模块，通过使用受限玻尔兹曼机算法与反馈调节过程，来提取训练图像的特征。

所述测试模块2包括：测试图像输入模块，输入待识别的害虫图像；测试图像预处理模块，用于测试图像的预处理，消除光照、噪声对测试图像的影响；测试图像特征提取模块，通过受限玻尔兹曼机算法与反馈调节过程来提取测试图像的特征。

综上所述，本发明与现有技术相比，提高了害虫识别率与程序的鲁棒性，提升了害虫识别在农业生产中的实际应用价值；利用图像预处理，构建训练图像立方体及其深度受限玻尔兹曼机算法等一系列步骤，实现了自动识别害虫的种类，并根据相关的害虫种类给出相应的预防措施。总之，本发明提高了害虫识别的准确率，加强了害虫识别算法鲁棒性，达到了实际应用的水平。

Claims (10)

1.一种基于深度受限玻尔兹曼机的害虫图像自动识别方法，该方法包括下列顺序的步骤：

(1)训练过程：对训练图像集的数据进行预处理，对经预处理的训练图像分组构建训练图像立方体，采用受限玻尔兹曼机算法提取每组训练图像的特征，经过反馈调节，得到训练后的训练图像集特征数据；

(2)测试过程：输入待识别的测试图像，对测试图像进行预处理，采用受限玻尔兹曼机算法提取测试图像特征，经过反馈调节，得到误差较小的测试图像的特征数据；

(3)识别害虫种类，给出预防方法：求出测试图像的特征数据与训练图像集特征数据的相似度，找出相似度最高的类别。

2.根据权利要求1所述的基于深度受限玻尔兹曼机的害虫图像自动识别方法，其特征在于：在训练过程中，所述对训练图像集的数据进行预处理包括以下步骤：

(1)统一训练集中的每幅训练图像的大小；

(2)将图像灰度化，并将灰度化后的图像进行灰度均衡化；

(3)使用高斯滤波算法进行去噪平滑处理。

3.根据权利要求1所述的基于深度受限玻尔兹曼机的害虫图像自动识别方法，其特征在于：在训练过程中，所述对训练图像分组构建训练图像立方体包括以下步骤：

(1)将训练图像分组；

(2)构建训练图像立方体，以x轴坐标表示一个小组内不同样本的编号，则x轴坐标为：1,2,3,4…100；以y轴坐标表示一个小组中特定一个样本的维度；以z轴坐标表示分组的个数。

4.根据权利要求1所述的基于深度受限玻尔兹曼机的害虫图像自动识别方法，其特征在于：所述受限玻尔兹曼机算法表达式为RBM(W,b,c,v₀)，其中W为RBM层与层之间的链接权值矩阵，b为RBM隐藏层的偏置，c为RBM输入层的编制，v₀是RBM训练样本集合中的一个样本；

(1)计算能量函数E(v,h|θ)：

$E(v,h|\mathrm{\θ})=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i{v}_i-\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{c}_j{h}_j-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{v}_i{W}_{\mathrm{ij}}{h}_j$

其中，v表示可见层的输入数据；θ表示模型参数；v_i表示第i个可见层的输入数据；h表示隐含层；h_i表示第i个隐含层的贡献；b_i、c_j分别表示第i层、j层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，m、n分别表示隐含层、可见层的层数。

(2)计算得到v和h的概率分布

$P(v,h|\mathrm{\θ})=\frac{e^{-E(v,h|\mathrm{\θ})}}{Z\left(\mathrm{\θ}\right)}$

其中是归一化因子；E(v,h|θ)表示能量函数；v表示可见层的输入数据；h表示隐含层；θ表示模型参数；

(3)对于所有隐藏层的神经节点i,计算层与层之间的映射运算：

$\mathrm{sigm}(-b_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_{0j})$

其中，b_i表示第i可见层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，v_0j表示第一层可见单位到j层隐含单元输入的数据向量；

(4)对于所有可见层的神经节点j,计算层与层之间的映射运算：

$\mathrm{sigm}(-c_j-\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{h}_{0i})$

其中，c_j表示第i隐含层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，h_0i表示第一层隐含单位到第i层可见单元输入的数据向量；

(5)对于所有隐藏层的神经节点i,计算层与层之间的映射运算：

$\mathrm{sigm}(-b_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_{1j})$

b_i表示第i可见层的偏置量；W_ij表示可见单元与隐藏单元的连接权值，v_1j表示第二层可见单位到j层隐含单元输入的数据向量；

(6)最后更新链接权值的偏置参数：

W＝W-ε(h₀v₀'-Q(h₁＝1|v₁)v₁')

b＝b-ε(h₀-Q(h₁＝1|v₁))

c＝c-ε(v₀-v₁)

其中，v₀表示第一层可见单元，训练集中一个样本特征向量；v'₀表示v₀的转置；v₁表示第二层可见单元输入的样本的特征向量；v₁'表示v₁的转置；h₀表示第一层隐含层贡献；h₁表示第二隐含层贡献；b，c表示偏置量；ε表示调节因子；W表示可见层与隐含层之前的连接权值。

5.根据权利要求1所述的基于深度受限玻尔兹曼机的害虫图像自动识别方法，其特征在于：在训练过程中，所述反馈调节最主要的部分为循环调节，采用将自底向上的识别模型和自顶向下的生成模型相结合的方式来进行微调，通过识别模型，得到受限玻尔兹曼机算法对输入样本最初的各个层次上的表示形式，并得到一个深度模型对样本的一个高抽象表示形式；通过生成模型，可以从深度模型的最高抽象表示形式出发，重构深度模型对样本的各个层次的表示，为原来每个层级表示提供了调节目标，通过不断调节重构出误差较低的原样本，进而得到样本的本质特征数据。

6.根据权利要求1所述的基于深度受限玻尔兹曼机的害虫图像自动识别方法，其特征在于：在测试过程中，采用手机或者相机拍摄田间的害虫图像来实现输入待识别的测试图像；所述对测试图像进行预处理是指，对测试图像依次经灰度化、灰度均衡化、平滑处理，得到更为标准的测试图像。

7.根据权利要求1所述的基于深度受限玻尔兹曼机的害虫图像自动识别方法，其特征在于：在识别时，如果最高相似度阈值大于设定的阈值T，则该害虫属于该类别，如果最高相似度阈值小于T则说明害虫数据库中没有该类别，请求农业专家鉴定害虫种类，将其添加到害虫数据库中。

8.实现权利要求1至7中任一项所述基于深度受限玻尔兹曼机的害虫图像自动识别方法的系统，其特征在于：包括：

训练模块，对训练集害虫图像进行训练，得到训练图像集特征数据；

测试模块，对待识别的测试害虫图像进行测试，得到测试图像的特征数据；

图像识别模块，通过测试图像特征与训练图像特征相似度比较得到害虫的类别，给出预防方法。

9.根据权利要求8所述的系统，其特征在于：所述训练模块包括：

害虫图像训练集，储存训练图像的数据库；

训练图像预处理模块，用于训练图像的预处理，消除光照、噪声对识别结果的影响；

训练图像立方体构建模块，用于对训练样本分组，为有效提取训练特征做准备；

训练图像特征提取模块，通过使用受限玻尔兹曼机算法与反馈调节过程，来提取训练图像的特征。

10.根据权利要求8所述的系统，其特征在于：所述测试模块包括：

测试图像输入模块，输入待识别的害虫图像；

测试图像预处理模块，用于测试图像的预处理，消除光照、噪声对测试图像的影响；

测试图像特征提取模块，通过受限玻尔兹曼机算法与反馈调节过程来提取测试图像的特征。