CN108648191A - 基于贝叶斯宽度残差神经网络的害虫图像识别方法 - Google Patents

Abstract

本发明公开一种基于贝叶斯宽度残差神经网络的害虫图像识别方法，该方法包括以下步骤：步骤一、对害虫图像识别训练数据集进行预处理，使用富边缘检测算法(Rich‑Edge)对该灰度图进行害虫边缘检测。步骤二、构建贝叶斯宽度残差神经网络(Bayesian Wide‑ResidualNetwork，BWResNet)。步骤三、将步骤一得到的害虫边缘图像输入到步骤二构建的BWResNet中。利用步骤一中得到的害虫边缘图像训练集得到BWResNet的总误差函数。步骤四、利用步骤三中得到的误差函数，对网络进行训练。在这里我们提出分块共轭(Block‑cg)算法对网络进行训练。步骤五、根据步骤四中优化后的网络更新超参数。步骤六、重复执行步骤四、五，得到最终的网络，将害虫图像验证集输入到网络后得到的分类准确率更高。

Description

基于贝叶斯宽度残差神经网络的害虫图像识别方法

技术领域

本发明涉及使用通过贝叶斯方法、残差神经网络以及害虫图像识别。

背景技术

植物病虫害是三大自然界灾害之一，也是中国农业发展中面临的主要问题。害虫的种类繁多，外形相似度很高，通过人工肉眼很难做到高效准确的识别。随着计算机视觉技术和理论的快速发展，图像分类技术已经应用到许多方面。在农业方面，我们也可以使用图像分类技术对植物害虫进行分类，这种技术相比于传统的人工肉眼识别具有高效、快捷、准确率高等优点。

近年来，这种害虫图像识别的图像分类技术得到了广泛的研究和应用。研究方法主要涉及以下两个方面：首先，从图像底层特征中提取出抽象的高层表达；其次，根据提取到的特征对图像进行分类。最初识别整个图像的全局特征来做害虫分类，主要包括灰度直方图、几何不变量等方法。这些方法可以方便的提取特征，但只是适用于变化幅度较小的害虫姿态和简单背景的图片。局部特征提取的方法有效的避免了全局特征提取的弊端，并且提高了分类的准确性。其中最著名的方法“视觉词袋”(bag-of-words，BOW)提取尺度不变特征和方向梯度直方图等局部点。根据特征数量对特征进行重构，再通过分类器进行分类。这种局部特征的提取方法也存在一定的弊端，它忽略了害虫的相对空间信息。

随着深度学习的发展，卷积神经网络(convolutional neural network，CNN)在图像分类中展示出了较好的效果，CNN省去了对图像的复杂前期预处理，可以直接输入原始图像自主学习特征。残差网络(Residual Network，ResNet)是CNN的模型之一。其中的ResNet在ImageNet2015的比赛中，通过使用152层的网络取得了第一名。随着网络结构的加深，会导致两个问题：1)梯度消失和梯度爆炸，这会使训练很难收敛，可以通过标准初始化(normalized initialization)和中间归一化层(intermediate normalization layers)来解决。2)被称为degradation的退化现象。对适当的深度模型增加层数时，会造成模型准确率下降的情况，训练和测试的错误率都会升高，然后这种情况并不是过拟合引起的，在CIFAR-10和ImageNet中都会发生这种情况。然而残差网络能够有效地解决以上两个问题，并且提高准确性。ResNet的网络结构一般层数很深，很多的残差块只能提供少量的信息，只有很少数的残差块可以学习到我们需要的信息。

本发明提出富边缘检测算法(Rich-Edge)对害虫图像进行边缘检测。Rich-Edge将中值滤波(Median Filter)、Sobel算子和Canny算子三者相结合对害虫图像进行边缘检测。该方法相比于传统的方法能够更加精确的将害虫图像与背景分离，得到害虫图像的完整轮廓和更加丰富的细节信息。其次，为了防止小数据集上出现过拟合现象，我们提出宽度残差神经网络(Wide-Residual Network，WResNet)，改进ResNet网络中的残差块，通过添加卷积层和增加通道数来提取更多的害虫图像特征，将贝叶斯方法运用于改进后的网络中得到贝叶斯宽度残差神经网络(Bayesian Wide-Residual Network，BWResNet)，初始化超参数和网络权重，最小化总误差优化网络权重，进而优化超参数，重复该过程直到网络收敛。贝叶斯网络对小数据集上可以防止过拟合问题，具有较高的精度。当数据集增加时，它能够自适应的调整超参数和网络权重参数。最后，本发明提出分块共轭算法(Block-cg)来训练网络，Block-cg算法将权重优化拆分成为独立的子问题求解，降低了局部搜索的复杂性，训练速度快，效率高。相比于传统的网络训练方法，该方法具有更好的收敛性和泛化能力。

综上所述，本发明提出基于贝叶斯宽度残差神经网络的害虫图像识别方法。首先，使用Rich-Edge对害虫图像进行边缘检测，得到轮廓精细的害虫图像。将得到的害虫图像集用来训练BWResNet，通过Block-cg算法优化网络权重，更新超参数的值，直至得到我们想要的害虫分类准确率。

发明内容：

为解决现有现有的深度学习网络存在的问题，如梯度消失或者梯度爆炸，退化现象，以及过拟合等问题。本发明提出了一种基于贝叶斯宽度残差神经网络的害虫图像识别方法，发明内容主要包括：本害虫图像识别的流程框架，Rich-Edge的流程框架，BWResNet结构，Block-cg算法优化权重，贝叶斯方法优化超参数。

一种基于贝叶斯宽度残差神经网络的害虫图像识别方法，其特征在于：至少包括以下步骤：

步骤一、对害虫图像识别训练数据集进行预处理，先将害虫图像转化为灰度图，然后使用Rich-Edge对该灰度图进行害虫边缘检测，获取检测后的害虫图像。Rich-Edge的大概流程为：使用中值滤波器处理害虫图像，并且对处理后的图像分别使用Sobel和Canny算法进行边缘检测，对于获取到的结果进行叠加，得到边缘信息更加丰富的害虫图像。

步骤二、构建BWResNet，对残差神经网络的结构进行修改，改变每个残差块的结构。为了获取到更多的特征图，我们在每个残差块上采用4通道的2个3*3的卷积核。为每个残差块设置两个卷积层。网络宽度的增加提高了性能，相同参数的情况下，宽度大的网络比深度大的网络训练更加容易。

步骤三、将步骤一得到的害虫边缘图像输入到步骤二构建的BWResNet中。将步骤一中得到的害虫边缘图像训练集记为D＝{x_k,y_k}其中k＝1,2,3...,K。初始化超参数α和β，假定网络的参数W(权值和阈值等)符合高斯分布。根据贝叶斯方法对宽度残差神经网络结构、参数的不确定性进行衡量，得到误差函数。

步骤四、利用步骤三中得到的误差函数，对网络进行训练。在这里我们提出改进的Block-cg算法对网络进行训练，对曲率矩阵和网络权重等进行分块处理，将整个共轭梯度划分为若干个相互独立的子问题，提高了计算效率。通过最小化损失函数更新网络权重参数。迭代执行Block-cg算法，优化网络权重参数。

步骤五、根据步骤四中优化后的网络权重，计算网络中有效权重参数的个数γ，使用更新后的权重参数更新超参数α和β。

步骤六、重复执行步骤四、五，训练网络、更新超参数α和β，最终得到优化后的网络权重参数，将害虫图像验证集输入到网络后得到的分类准确率更高。

有益效果：

与现有技术相比，采用本发明所述的设计方案，可以达到以下技术效果：

1、使用Rich-Edge对害虫图像进行边缘检测。将害虫图像的数据集转换成灰度图像，减小背景对图像的影响。使用中值滤波对输入的图像进行去除噪声处理，中值滤波器能够有效地消除椒盐噪声，并且能够很好地保留害虫图像的边缘细节。将Sobel和Canny边缘检测算法的优点相结合，Sobel算子可以检测到准确的位置信息，Canny算子能够检测到弱边缘，将两种边缘检测算法相结合，可使得到的害虫图像有更加完整的轮廓和丰富的细节信息，提高了边缘检测的准确性。

2、基于贝叶斯宽度残差神经网络的害虫图像识别方法，与传统的神经网络相比：在小数据集上可以有效防止过拟合的问题，并且具有较高的分类准确率。当数据集增加时，BWResNet可以自适应的调整超参数α和β的值，进而求得最优解。

3、对传统的ResNet网络中的每个残差块的结构进行改变，增加了通道数和卷积层的数量，相比传统的ResNet，网络权重参数更少，训练速度更快。与相同深度的传统的ResNet相比，BWResNet对害虫图像分类的准确率更高。

4、使用Block-cg算法来更新网络权重，该方法使用块对角线来近似曲率矩阵，提高了Hessian矩阵的收敛性，并且对每个子块进行独立的共轭梯度更新，将子问题分离开处理，降低了局部搜索的复杂性。Block-cg算法对比梯度下降、牛顿法以及共轭梯度等经典算法，具有计算效率高、计算复杂性小等优势，并且具有更好的收敛性和泛化能力。

附图说明：

图1.方法框架流程。

图2.富边缘检测算法流程图。

图3.贝叶斯宽度残差网络的残差块结构图。

具体实施方式：

步骤一、对害虫图像识别训练数据集进行预处理，将彩色的害虫图像转换成为灰度图像，减小背景对图像的影响。使用Rich-Edge对害虫灰度图进行边缘检测。将数据集进行图片的尺度归一化处理，统一处理为大小为224*224的图片。预留出已知样本{X_i,Y_i}来计算概率分布。

(1)使用心理学公式：Grey＝0.299*R+0.587*G+0.114*B对害虫的彩色图像进行灰度处理，把RGB图像转化为灰度图。

(2)将一些椒盐噪声添加到输入图像f₁(x,y)中。

(3)对(2)中的图像使用中值滤波器去除椒盐噪声，使用滑动窗口方式检测图像，得到输出图像f₂(x,y)。

(4)使用Sobel边缘检测算法对害虫图像f₁(x,y)进行边缘检测，得到输出BW1。Sobel算子能够增强害虫的边缘信息，使害虫边缘变得厚实明亮。

(5)使用Canny边缘检测算法对害虫图像f₂(x,y)进行边缘检测，得到输出BW2。Canny算子更适合用于检测害虫的弱边缘。

(6)混合(4)和(5)中得到的BW1和BW2得到Hybrid_pest＝BW1+BW2，将Sobel算子和Canny算子检测到的害虫边缘图像进行叠加，Sobel边缘算子检测到的位置是准确的，但是对噪声比较敏感，Canny边缘算子能够检测到弱边缘，将两种方法得到的害虫边缘图像综合可以使害虫图像在细节上更加丰富和完整，抗干扰性强，没有虚假边缘，检测效果更加理想。

(7)将Rich-Edge得到的害虫边缘图像统一处理为大小为224*224的图像。

步骤二、构建BWResNet。对残差块的结构进行修改，每个残差块采用4通道的2个3*3的卷积核。

ResNet通过增加网络的深度来提高网络的性能。通过在输入和输出之前添加一个恒等映射可以有效地解决网络训练过程中出现的梯度消失的问题，从而可以增加网络的深度来提高效果。

ResNet学习的目标函数分为两部分，定义为：

Η(x)＝F(x)+x

x是网络的输入，网络学习的残差函数为F(x)，当下层的误差变大时，网络会自动将F(x)逼近0。

其学习公式为：F＝W_2σ(W_1x)

其中σ表示ReLu映射，公式中为了简洁省略了偏置。通过一个映射，和第二个ReLu函数，得到网络的输出y：

y＝F(x,{W_i})+x

将传统的ResNet中的残差块的结构进行更改，修改后每个残差块拥有两个卷积层，由于小的卷积核效率更高，所以采用4通道的2个3*3的卷积核。得到更多的特征图。

由于WResNet对通道数进行了修改，为了统一输出和输出的维数，在维度不匹配的线性映射时，我们需要对输入x做一个线性变换W_s，残差网络的输出公式修改为：

y＝F(x,{W_i})+W_sx

在这里我们定义一个表示卷积类型的表示方法：B(M)表示卷积层的结构，M是层数。例如：NIN(Network in Network)的网络结构可以表示为B(3,1,1)。在这里我们使用宽度残差神经网络的结构为B(3,3)，网络深度28，每个残差块拥有两个卷积层。

步骤三、将步骤一中得到的害虫边缘图像输入到步骤二构建的宽度残差神经网络中。利用贝叶斯原理对宽度残差神经网络的权重参数进行初始化得到BWResNet，在这里我们假定该网络的参数W(权值和阈值等)符合高斯分布。跟据网络的输出结构，得到网络的总误差函数。

(1)将步骤一中得到的害虫图像的训练集记为D＝{x_k,y_k}，其中k＝1,2,3...,K，K为害虫图像样本的总数。初始化超参数α和β，网络结构记为A,在A和W确定的情况下可以根据输入向量x得到网络的输出y，将训练集的误差函数定义为：

并且在该函数后添加正则化项来防止过拟合，总误差函数定义为：M(W)＝αE_W(W|A)+βE_D(D|W,A)。

(2)在给定观察数据后，通过已有的参数可以得到网络参数的后验概率为：

其中P(D|α,β,M)为超参数α和β的显著度，为归一化系数，m为该网络中所有权重参数的个数。归一化系数的大小和W无关，因此想要求得最优的网络参数W的关键转化最小化网络总误差M(W)。

步骤四、将步骤三中得到的误差函数用于网络训练过程。最小化误差函数，对网络的权重参数进行修改。本发明提出使用Block-cg算法优化网络，更新网络的权重参数，减小误差函数。

(1)参数变量定义：害虫图像的训练数据集记为D_T{(x₁,y₁)...(x_i,y_i)}，i＝1,2,...,T，宽度残差神经网络的输出函数为z_i＝f(x_i,w)，损失函数定义为其他超参数的定义如下：算法调用的最大循环次数为loops，最大的共轭梯度迭代次数cg_iters，停止计算共轭梯度的准则为cg_stop，学习速率为η。并且定义两个害虫图像数据集，随机选取数据集用来计算梯度g＝[g₍₁₎；g₍₂₎；...g_(B)]，数据集该数据集用来计算曲率向量。

(2)曲率矩阵的近似矩阵G的计算和分块。根据随机选取的害虫图像数据集D_c，通过GAUSS-NEWTON方法计算矩阵G作为曲率矩阵的近似：

其中，J是网络输出对于权重参数的导数的Jacobian矩阵且 是网络输出的Hessian矩阵将矩阵G分成大小为B×B的子块，G_(b)表示矩阵G的第b个对角块。

(3)将网络的权重参数分成B个子块，W＝[w₍₁₎；w₍₂₎；...；w_(B)]。将梯度也分成子块，即其中向量仅包含了参数子块w_(b)的梯度。通过对角块划分的方式我们可以通过对每个块的计算来求解子问题。

(4)随机选取小批量数据集D_g来计算梯度g，以及小批量数据集D_c计算曲率向量。对每个子对角块进行共轭梯度计算，迭代过程的终止标准为cg_stop，最大的迭代次数为cg_iters。迭代过程中，当满足终止标准或者达到最大迭代次数时，终止迭代过程。每个子块的网络权重参数优化过程可以并行进行，具体如下：

...，

重复执行该过程loops次，求得最终的网络权重参数更新值Δw。求得每个子块的Δw←[Δw₍₁₎；Δw₍₂₎；...；Δw_(B)]，将所有子块更新整合到一起，求得更新的权重参数w←w+ηΔw。

步骤五、将γ定义为网络中有效的权重参数的个数，γ＝m-2βtr(H)^-1，其中γ∈(0,m)。α和β的定义如下：

每次更新权重参数后更新α和β的值，并且使用更新后的α和β重新计算。

步骤六、重复执行步骤四、五。使用Block-cg算法最小化损失函数，从而更新网络权重参数，计算有效参数的个数γ，利用更新后的权重参数更新超参数α和β的值。最终得到优化后的网络权重参数，将步骤一中得到的害虫图像验证集输入到训练后的网络中，相比于普通的卷积神经网络分类的效果更好。

Claims (4)

1.一种基于贝叶斯宽度残差神经网络的害虫图像识别方法，其特征在于：至少包括以下步骤：

步骤一、对害虫图像识别训练数据集进行预处理，先将害虫图像转化为灰度图，然后使用富边缘检测算法(Rich-Edge)对该灰度图进行害虫边缘检测，获取检测后的害虫图像，Rich-Edge算法的大概流程为：使用中值滤波器处理害虫图像，并且对处理后的图像分别使用Sobel和Canny算法进行边缘检测，对于获取到的结果进行叠加，得到边缘信息更加丰富的害虫图像；

步骤二、构建贝叶斯宽度残差神经网络(简称BWResNet)，对残差神经网络的结构进行修改，改变每个残差块的结构，为了获取到更多的特征图，我们在每个残差块上采用4通道的2个3*3的卷积核，为每个残差块设置两个卷积层，网络宽度的增加提高了性能，相同参数的情况下，宽度大的网络比深度大的网络训练更加容易；

步骤三、将步骤一得到的害虫边缘图像输入到步骤二构建的BWResNet中，将步骤一中得到的害虫边缘图像训练集记为D＝{x_k,y_k}其中k＝1,2,3...,K，初始化超参数α和β，假定网络的参数W(权值和阈值等)符合高斯分布，根据贝叶斯方法对宽度残差神经网络结构、参数的不确定性进行衡量，得到误差函数；

步骤四、提出使用分块共轭算法(Block-cg)更新网络权重参数，利用步骤三中得到的误差函数，对宽度残差神经网络进行训练，对曲率矩阵和网络权重等进行分块处理，将整个共轭梯度划分为若干个相互独立的子问题，提高了计算效率，通过最小化损失函数更新网络权重参数，迭代执行Block-cg算法，优化网络权重参数；

步骤五、根据步骤四中优化后的网络权重，计算网络中有效权重参数的个数γ，使用更新后的权重参数更新超参数α和β；

步骤六、重复执行步骤四、五，训练网络、更新超参数α和β，最终得到优化后的网络权重参数，将害虫图像输入到网络，得到准确率较高的分类结果。

2.根据权利要求1所述的一种基于贝叶斯宽度残差神经网络的害虫图像识别方法，其特征在于：步骤一中提出Rich-Edge算法对害虫图像进行边缘检测，将害虫图像转成灰度图，并且使用中值滤波对输入的图像去除椒盐噪声，Sobel算子可以检测到准确的位置信息，Canny算子能够检测到弱边缘，将两种方法得到的图像叠加，获取害虫边缘图像；上述操作将两种边缘检测算法相结合，提高了边缘检测的准确性，使得害虫图像在细节上更加丰富和完整，没有虚假边缘，抗干扰性更强。

3.根据权利要求1所述的一种基于贝叶斯宽度残差神经网络的害虫图像识别方法，其特征在于：步骤二中提出贝叶斯宽度残差神经网络，基于贝叶斯方法对网络权重进行初始化，为每个残差块设置两个卷积层，由于小的卷积核效率更高，所以采用4通道的2个3*3的卷积核，通过增加通道数可以得到更多的特征图；贝叶斯宽度残差神经网络一定程度上通过增加网络宽度的方式显著提高了网络的分类效果，相比传统的ResNet，BWResNet的权重参数更少，训练速度快，并且与相同深度的ResNet相比具有更高的分类准确率；同时，贝叶斯方法可以有效的防止小数据集上的过拟合问题，当数据集增大时，BWResNet可以自适应的调整超参数。

4.根据权利要求1所述的一种基于贝叶斯宽度残差神经网络的害虫图像识别方法，其特征在于：步骤四中采用Block-cg方法训练步骤二和步骤三中得到的BWResNet；Block-cg算法将步骤三中得到的误差函数最小化，将曲率矩阵分成独立的子块进行共轭梯度更新，最后将所有的子块合并到一起得到整个网络权重参数的更新；Block-cg算法通过将曲率矩阵拆分成独立的子块进行处理，降低了局部搜索的复杂性，Block-cg算法对比梯度下降、牛顿法以及共轭梯度等经典算法，具有计算效率高、计算复杂性小等优势，并且具有更好的收敛性和泛化能力。