CN113420794A - 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的二值化Faster R‑CNN柑橘病虫害识别方法，该方法包括以下步骤：步骤1、获取柑橘病虫害图片，构建图片数据集；步骤2、对图片数据集中的柑橘病虫害图片进行预处理：包括图片旋转，色彩平衡，高斯模糊添加噪声干扰，HSV亮度增强；步骤3、构建二值化的Faster R‑CNN网络模型：该模型采用二阶段的全卷积神经网络代替原始Faster R‑CNN模型的全连接层；步骤4、二值化Faster R‑CNN网络模型的实现；步骤5、将待识别柑橘病虫害种类的图片，输入训练得到的二值化Faster R‑CNN网络模型，输出识别柑橘病虫害结果。本发明提出了Binary Faster R‑CNN网络模型，将二阶段的全卷积神经网络代替原始的全连接层，能节省模型存储的内存，识别准确率、FLOPs及识别速度均得到了大大提高。

Description

一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别 方法

技术领域

本发明涉及计算机视觉应用技术领域，尤其涉及一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法。

背景技术

传统的识别主要采用的都是传统机器学习算法，它们都使用全连接层作为分类网络，由于全连接层存在数据冗余问题，网络参数大约占整个网络的90％左右，导致训练速度过慢，所以改进全连接层是当下面临的一个大的问题，Binary Neural Networks，其中主要改进为二阶段的全卷积神经网络代替原始的全连接层。由于二值网络权值W中的元素只占一位二进制，因此在保存训练好后的模型时所需的内存可以节省90％的压缩率，这给深度学习在移动端的应用带来了非常大的前景。

现有技术中原始的Faster R-CNN算法，虽然已经突破了区域提案生成之类的瓶颈。但是，原始的Faster R-CNN最后依然保留的全连接层，保留的所有Rol pooling处理过Rol都会经过全连接层，并且是单独计算的，它们之间没有共享的计算，所以取代最后的全连接层网络，实现轻量级网络的前提。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，该方法包括以下步骤：

步骤1、获取柑橘病虫害图片，构建图片数据集；

步骤2、对图片数据集中的柑橘病虫害图片进行预处理：包括图片旋转，色彩平衡，高斯模糊添加噪声干扰，HSV亮度增强；

步骤3、构建二值化的Faster R-CNN网络模型：采用卷积网络VGG16作为原始分类网络，VGG16网络包括13个卷积层、5个最大池化层、3个全连接层、1个softmax层，在VGG16网络中嵌入RPN层和ROI池化层，并将其中的两个全连接层替换为二进制网络，得到构建的二值化的Faster R-CNN网络模型；

步骤4、二值化Faster R-CNN网络模型的实现：输入预处理后的图片数据集中的柑橘病虫害图片，通过卷积层提取特征图，通过最大池化层进行归一化操作，然后使用二进制权重量化底层的权重，对二值化Faster R-CNN网络模型进行逐层训练，直到网络模型收敛，得到训练好的二值化Faster R-CNN网络模型；

步骤5、将待识别柑橘病虫害种类的图片，输入训练得到的二值化Faster R-CNN网络模型，输出识别柑橘病虫害结果。

进一步地，本发明的所述步骤1中：

图片数据集，包括网上公开数据集和自建数据集；网上公开数据集采用通用的农作物病害数据库PlantVillage，用于进行农作物病害检测算法研究，包括一定数量的黄龙病病害图像；自建数据集由拍摄的图片与网上收集的图片组成，包括一定数量的溃疡病病害图像、正常叶片图像、疮痂病病害图像、黑斑病病害图像，拍摄环境在自然光的条件下，分为晴天与阴天对病害的纹理、颜色与形状进行拍摄。

进一步地，本发明的所述步骤2中预处理的方法包括：

1)对图片数据集的图片进行逆时针旋转90°、180°、270°，以及水平翻转与垂直翻转处理；2)色彩平衡：对图片进行色彩平衡控制，改变图像颜色构成，控制图像单一化；3)高斯模糊添加噪声干扰：对图像添加高斯噪声与椒盐噪声，模拟在不同条件下拍摄的清晰度，从而来减少图像噪声带来的干扰；4)HSV亮度增强：色调H，饱和度S，亮度V，通过更改亮度V与饱和度的分量，让色调H保持不变，从而实现增亮和防止模型过拟合。

进一步地，本发明的所述步骤3中的二值化Faster R-CNN网络模型具体包括：

输入图片第一次经过64个卷积核的两次卷积后，采用一次最大池化层，第二次经过两次128个卷积核卷积和最大池化层后，再重复两次三个512个卷积核卷积和最大池化层后，得到图片的特征图；将特征图输入RPN层得到候选框的特征信息，再通过ROI池化层进行归一化处理，接着送入二值化网络；在原始VGG16中需要经过三次全连接，将原始分类网络中的内积层fc6和fc7转换为二进制网络的卷积层，对第一层全连接层fc6的卷积运算在conv5_3之后实现步幅为1的7×7滤波器，其中VGG16网络每个卷积block包含2个或3个卷积层，所以conv5表示第五个卷积block，conv5_3表示第五个卷积block里面的第三个卷积层；并且对第二层全连接层fc7的卷积运算转换为步幅为1的1×1滤波器；再通过一个FC-1000的全连接层得到分类的类别数；最后通过一层softmax层分类器，得到分类结果。

进一步地，本发明的所述步骤4中的方法具体为：

步骤4.1、输入任意大小P×Q的柑橘病虫害的训练图片，首先缩放至固定大小M×N，然后将M×N图片送入VGG16网络中，通过13个卷积层、5个最大池化层提取特征图；

步骤4.2、通过RPN层对特征图提取候选框，通过一个滑动窗口连接提取的特征图，同时每个滑动窗对应k个anchor boxes，特征图上每个点上有k个anchor，通过RPN层判断anchors属于positive或者negative，再利用bounding box修正anchors获取精确的候选框；

步骤4.3、ROI池化层利用候选框从特征图中提取proposal feature，并且将所得的特征图图像大小比例调整到同一维度；

步骤4.4、用二进制网络替换全连接层中的fc6和fc7层，候选框从特征图中提取proposal feature，然后使用二进制权重量化底层的权重，并对网络进行微调，直到收敛为止；在下一阶段，冻结这些底层，并继续对下一层的权重进行量化；

步骤4.5、最后通过一层FC-1000全连接层与softmax层分类器得到分类后的结果，训练完成的模型即为二值化Faster R-CNN网络模型。

进一步地，本发明的步骤4.4中使用二进制权重量化的方法为：

定义隐藏层为ROI池化层至最后一层全连接层FC-1000，将训练好的隐藏层作为底层；采用逐层贪婪算法进行二值网络的训练，其方法为：

第一步：首先训练一个只含一个隐藏层的网络，仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络，以此类推；

第二步：把已经训练好的前k-1层固定，然后增加第k层，这些各层单独训练所得到的权重被用来初始化最终的深度网络的权重；

第三步：然后对整个网络权重进行微调，直到模型收敛为止；

第四步：冻结这些已经训练好的隐藏层，最后对这些权重进行量化。

进一步地，本发明的所述步骤4.4中权重量化的方法为：

量化权重时，使用Sign(w)直接得到二值化的权重值；权重选择量化正则化使其分布成正态分布，其中它的上界为b，下界为-b，其中b层权重绝对值不超过1，为了防止网络无法收敛，对网络进行了裁剪，在L-th层网络，其中L是网络的层数，在L-th层中，L＝1,2...L，依次求出裁剪之后的网络，未参与向前传播与向后传播，

是l全精度权重，n^l和k^l表示特征数与内核大小如下：

clip(x,b)＝max(-b,min(x,b))

其中，

表示夹紧重量，clip()表示权重裁剪，引入一种与数据无关的方法来量化每个32位的权重重量，使用m位将权重量化为范围[-b,b],有2^m个离散值，分辨率β通过以下函数确定：

分辨率将随着m的增加呈现指数下降，量化权重集合为:{-b,-b+β,...,b-β,b},将裁剪后的权重近似为

α和Q分别表示比例因子与量化权重张量，将Q变形为等值向量

然后将量化优化问题表示为：

选取每个元素Q(i＝1,2...n^l×k^l×k^l)；

选择最接近

使用L₂范数作为损失函数：

使用以下公式获得比例因子：

对于前向传播的神经元X的分类，使用下列：

其中，

本发明产生的有益效果是：本发明的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，在基于原始Faster R-CNN的网络中提出了二值化Faster R-CNN模型，其中主要改进为二阶段的全卷积神经网络代替原始的全连接层。由于二值网络权值W中的元素只占一位二进制，因此在保存训练好后的模型时所需的内存可以节省90％的压缩率，其中5类数据集准确率黄龙病为89.8％、黑斑病为87.2％、溃疡病为86.6％、疮痂病为86.4％和健康为87.6％，其FLOPs(floating point operations per second)大大提高，识别速度也提高了2.5倍。同时又去除了普通的乘法操作。在减少模型参数所占的内存和运算量的同时还能保持神经网络的性能，这给深度学习在移动端的应用带来了非常大的前景。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的图像的采集样本；

图2是本发明实施例的各类数据增强预处理效果图；

图3是本发明实施例的二进制网络模型图；

图4是本发明实施例的改进二进制模型图；

图5是本发明实施例的改进后的二值化Faster R-CNN模型识别效果图。

图6是本发明实施例的VGG16主干网络的模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法包括以下步骤：

1、图片数据集获取；

本发明所采集到的数据图像由网上公开数据集与自建数据集两部分组成，未进行数据增强的数据集共10397张。其中，公开数据集的来源于PlantVillage，PlantVillage是一个通用的农作物病害数据库，主要用于供科研工作者进行农作物病害检测算法研究，其包含黄龙病病害图像共5507张。自建数据集由在桂林市灵川县九屋镇果园中拍摄的图片与通过网上收集的图片组成，包含溃疡病病害图像2423张、正常叶片图像2009张、疮痂病病害图像175张、黑斑病病害图像283张。拍摄在自然光的条件下，主要分为晴天与阴天对病害的纹理、颜色与形状等进行拍摄，图像采集所用的拍摄设备是三星S10手机，图像的分配率4032×3024。图像的采集样本如图1所示。

2、图片数据集预处理；

为了保证识别准确率和模型的泛化能力，使得数据集变得更加丰富，表达能力变的更强，本发明采用的数据扩增方法主要包括4类：1)是针对本数据集的图片进行逆时针旋转90°、180°、270°，以及水平翻转与垂直翻转处理；2)色彩平衡:对图片进行色彩平衡控制，改变图像颜色构成，控制图像单一化；3)高斯模糊添加噪声干扰:对图像添加高斯噪声与椒盐噪声，模拟在不同条件下拍摄的清晰度，从而来减少图像噪声带来的干扰；4)HSV(Hue,Saturation,Value)亮度增强:色调(H)，饱和度(S)，亮度(V)，通过更改亮度V与饱和度的分量，让色调H保持不变，从而达到增亮的效果，另外一个目的：防止模型过拟合，如图2所示。

3、模型设计；

输入图片第一次经过64个卷积核的两次卷积后，采用一次最大池化层，第二次经过两次128个卷积核卷积和最大池化层后，再重复两次三个512个卷积核卷积和最大池化层后，得到图片的特征图；将特征图输入RPN层得到候选框的特征信息，再通过ROI池化层进行归一化处理，接着送入二值化网络；在原始VGG16中需要经过三次全连接，将原始分类网络中的内积层fc6和fc7转换为二进制网络的卷积层，对第一层全连接层fc6的卷积运算在conv5_3之后实现步幅为1的7×7滤波器，其中VGG16网络每个卷积block包含2个或3个卷积层，所以conv5表示第五个卷积block，conv5_3表示第五个卷积block里面的第三个卷积层；并且对第二层全连接层fc7的卷积运算转换为步幅为1的1×1滤波器；再通过一个FC-1000的全连接层得到分类的类别数；最后通过一层softmax层分类器，得到分类结果。

在全连接中，完整的卷积网络VGG16是从原始分类网络投放。本发明将原始分类网络中的内积层fc6和fc7转换为卷积层。对fc6的卷积运算在conv5_3之后实现步幅为1的7×7滤波器，并且对fc7的卷积运算被转换为步幅为1的1×1滤波器。

在权重选择量化正则化使其分布成正态分布，其中它的上界为b，下界为-b，其中b层权重绝对值不超过1，考虑到网络有可能难以收敛，本发明对网络进行了裁剪,在L-th层网络，其中L是网络的层数,在L-th(L＝1,2...L)层中，依次求出裁剪之后的网络，是其向前传播与向后传播，

是l是全精度权重，n^l和k^l表示特征数与内核大小如下。

clip(x,b)＝max(-b,min(x,b)) (2)

其中

表示夹紧重量，本发明引入了一种与数据无关的方法来量化每个32位的权重重量，使用m位将权重量化为范围[-b,b],有2^m个离散值，分辨率β可以通过以下函数确定：

分辨率将随着m的增加呈现指数下降，量化权重集合为:{-b,-b+β,...,b-β,b},本发明将裁剪后的权重近似为

α和Q分别表示比例因子与量化权重张量，可以将Q变形为等值向量

然后可以将量化优化问题表示为：

选取每个元素Q(i＝1,2...n^l×k^l×k^l)。

本发明选择最接近

我们使用L₂范数作为损失函数：

本发明可以使用以下公式获得比例因子：

对于前向传播的神经元X的分类，本发明使用下列公式：

其中，

2)二进制网络；

二进制网络是采用隐藏层和权重W激活值进行二值化1或者-1。通过二值化，使模型的参数占用更小的存储空间，同时利用位移操作来代替网络中的乘法运算，大大降低了运算时间，由于二值网络只是将网络的参数和激活值二值化，并没有改变网络的结构，所以它跟全精度差不多，神经网络对weights的二值化并不是非常不敏感，所以提出了对实值weights每个输出通道方向上提取出一个scaling factor，用于恢复二值化weights的信息,同时对activation在HW方向上每个pixel上提取一个scaling factor，用于恢复二值化activations的信息，这两种scaling factor都无需学习，直接计算相应的L-1范数就能得到，且不影响二值化高效的卷积计算过程,二进制网络模型图如图所示3。

4、二值化网络的实现过程；

本发明针对检测任务微调了预训练的VGG16模型，然后使用二进制权重量化底层的权重，并对网络进行微调，直到收敛为止。在下一阶段，冻结这些底层，并继续对下一层的权重进行量化，除了卷积网络中的分类和位置层。该图示出了逐层训练过程，改进后的二进制网络模型如下图4所示。

步骤4.1、输入任意大小P×Q的柑橘病虫害的训练图片，首先缩放至固定大小M×N，然后将M×N图片送入VGG16网络中，通过13个卷积层、5个最大池化层提取特征图；

步骤4.2、通过RPN层对特征图提取候选框，通过一个滑动窗口连接提取的特征图，同时每个滑动窗对应k个anchor boxes，特征图上每个点上有k个anchor，通过RPN层判断anchors属于positive或者negative，再利用bounding box修正anchors获取精确的候选框；

判断属于positive或者negative的方法为：

交并比(Intersection over Union)和非极大值抑制是(Non-MaximumSuppression)是目标检测任务中非常重要的两个概念。例如在用训练好的模型进行测试时，网络会预测出一系列的候选框。这时候会用NMS来移除一些多余的候选框。即移除一些IOU值大于某个阈值的框。然后在剩下的候选框中，分别计算与ground truth的IOU值，通常会规定当候选框和ground truth的IOU值大于0.5时，认为检测正确。

IOU值定位为两个矩形框面积的交集和并集的比值。即：

IOU＝A∪B/A∩B

PRN分析：

通过一个滑动窗口(红色框)连接在最后一个卷积层输出的feature map上,然后通过全连接层调整到256-d的向量，作为输出层的输入。同时每个滑动窗对应k个anchorboxes，使用3个尺寸和3个比例的3*3＝9个anchor。每个anchor对应原图上一个感受野。feature map中每个点上有k个anchor(默认k＝9)，而每个anhcor要分positive和negative，所以每个点由256-d feature转化为cls＝2k scores；而每个anchor都有(x,y,w,h)对应4个偏移量，所以reg＝4k coordinates。

步骤4.3、ROI池化层利用候选框从特征图中提取proposal feature，并且将所得的特征图图像大小比例调整到同一维度；

ROI Pooling层详细分析：

RPN网络生成的proposals的方法：对positive anchors进行bounding boxregression，那么这样获得的proposals也是大小形状各不相同，即也存在上述问题。所以Faster R-CNN中提出了RoI Pooling解决这个问题。

ROIs Pooling顾名思义，是Pooling层的一种，而且是针对RoIs(region ofinterest,即候选框)的Pooling，这个网络层可以把不同大小的输入映射到一个固定尺度的特征向量。ROI Pooling层将每个候选区域均匀分成M×N块，对每块进行max pooling。将特征图上大小不一的候选区域转变为大小统一的数据，送入下一层。这样虽然输入的图片尺寸不同，得到的feature map尺寸也不同，但是可以加入这个神奇的ROI Pooling层，对每个rois都提取一个固定维度的特征表示，就可再通过正常的softmax进行类型识别。这样在分类时就不用变换候选区域图像为相同大小。

步骤4.4、用二进制网络替换全连接层中的fc6和fc7层，候选框从特征图中提取proposal feature，然后使用二进制权重量化底层的权重，并对网络进行微调，直到收敛为止；在下一阶段，冻结这些底层，并继续对下一层的权重进行量化；

步骤4.5、最后通过一层FC-1000全连接层与softmax层分类器得到分类后的结果，训练完成的模型即为二值化Faster R-CNN网络模型。

使用二进制权重量化的方法为：

定义隐藏层为ROI池化层至最后一层全连接层FC-1000，将训练好的隐藏层作为底层；采用逐层贪婪算法进行二值网络的训练，其方法为：

第一步：首先训练一个只含一个隐藏层的网络，仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络，以此类推；

第二步：把已经训练好的前k-1层固定，然后增加第k层，这些各层单独训练所得到的权重被用来初始化最终的深度网络的权重；

第三步：然后对整个网络权重进行微调，直到模型收敛为止；

第四步：冻结这些已经训练好的隐藏层，最后对这些权重进行量化。

训练时的前向传播：二值网络训练时的权值参数W，必须包含实数型的参数，然后将实数型权值参数二值化得到二值型权值参数，即

然后利用二值化后的参数计算得到实数型的中间向量，该向量再通过Batch Normalization操作，得到实数型的隐藏层激活向量。如果不是输出层的话，就将该向量二值化。

求梯度：根据链式法则，在求解第k层和第k+1层的权值参数的梯度之前，必须先求解第k+1层的误差值。由于二值网络中，除了输出层，其他隐藏层都经过二值化。所以在求Batch Normalization的参数时，必须先求二值操作层(我们把二值化也当做一层来看待)的梯度

其中¹|a_k|≤1，可以用Htanh(x)＝Clip(x,-1,1)＝max(-1,min(1,x))。

另外一个不同点是，二值网络在对权值求梯度的时候，是对二值化后的权值求梯度，而不是对二值化前的实数型权值求梯度。这是因为二值化前的权值并没有真正的参与网络的前向传播过程。

5、模型结果输出；

Binary Faster R-CNN在识别效果与识别率上都表现更好。其中二值化Faster R-CNN表现好的原因有:其一是全卷积神经网络替代全连接层，其二二进制网络表现了良好的轻量级特性，改进后的二值化Faster R-CNN深度学习网络能够较好地进行病害检测，其识别结果如图5。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，其特征在于，该方法包括以下步骤：

步骤1、获取柑橘病虫害图片，构建图片数据集；

步骤2、对图片数据集中的柑橘病虫害图片进行预处理：包括图片旋转，色彩平衡，高斯模糊添加噪声干扰，HSV亮度增强；

步骤3、构建二值化的Faster R-CNN网络模型：采用卷积网络VGG16作为原始分类网络，VGG16网络包括13个卷积层、5个最大池化层、3个全连接层、1个softmax层，在VGG16网络中嵌入RPN层和ROI池化层，并将其中的两个全连接层替换为二进制网络，得到构建的二值化的Faster R-CNN网络模型；

步骤4、二值化Faster R-CNN网络模型的实现：输入预处理后的图片数据集中的柑橘病虫害图片，通过卷积层提取特征图，通过最大池化层进行归一化操作，然后使用二进制权重量化底层的权重，对二值化Faster R-CNN网络模型进行逐层训练，直到网络模型收敛，得到训练好的二值化Faster R-CNN网络模型；

步骤5、将待识别柑橘病虫害种类的图片，输入训练得到的二值化Faster R-CNN网络模型，输出识别柑橘病虫害结果。

2.根据权利要求1所述的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，其特征在于，所述步骤1中：

图片数据集，包括网上公开数据集和自建数据集；网上公开数据集采用通用的农作物病害数据库PlantVillage，用于进行农作物病害检测算法研究，包括一定数量的黄龙病病害图像；自建数据集由拍摄的图片与网上收集的图片组成，包括一定数量的溃疡病病害图像、正常叶片图像、疮痂病病害图像、黑斑病病害图像，拍摄环境在自然光的条件下，分为晴天与阴天对病害的纹理、颜色与形状进行拍摄。

3.根据权利要求1所述的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，其特征在于，所述步骤2中预处理的方法包括：

1)对图片数据集的图片进行逆时针旋转90°、180°、270°，以及水平翻转与垂直翻转处理；2)色彩平衡：对图片进行色彩平衡控制，改变图像颜色构成，控制图像单一化；3)高斯模糊添加噪声干扰：对图像添加高斯噪声与椒盐噪声，模拟在不同条件下拍摄的清晰度，从而来减少图像噪声带来的干扰；4)HSV亮度增强：色调H，饱和度S，亮度V，通过更改亮度V与饱和度的分量，让色调H保持不变，从而实现增亮和防止模型过拟合。

4.根据权利要求1所述的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，其特征在于，所述步骤3中的二值化Faster R-CNN网络模型具体包括：

输入图片第一次经过64个卷积核的两次卷积后，采用一次最大池化层，第二次经过两次128个卷积核卷积和最大池化层后，再重复两次三个512个卷积核卷积和最大池化层后，得到图片的特征图；将特征图输入RPN层得到候选框的特征信息，再通过ROI池化层进行归一化处理，接着送入二值化网络；在原始VGG16中需要经过三次全连接，将原始分类网络中的内积层fc6和fc7转换为二进制网络的卷积层，对第一层全连接层fc6的卷积运算在conv5_3之后实现步幅为1的7×7滤波器，其中VGG16网络每个卷积block包含2个或3个卷积层，所以conv5表示第五个卷积block，conv5_3表示第五个卷积block里面的第三个卷积层；并且对第二层全连接层fc7的卷积运算转换为步幅为1的1×1滤波器；再通过一个FC-1000的全连接层得到分类的类别数；最后通过一层softmax层分类器，得到分类结果。

5.根据权利要求4所述的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，其特征在于，所述步骤4中的方法具体为：

步骤4.1、输入任意大小P×Q的柑橘病虫害的训练图片，首先缩放至固定大小M×N，然后将M×N图片送入VGG16网络中，通过13个卷积层、5个最大池化层提取特征图；

步骤4.2、通过RPN层对特征图提取候选框，通过一个滑动窗口连接提取的特征图，同时每个滑动窗对应k个anchor boxes，特征图上每个点上有k个anchor，通过RPN层判断anchors属于positive或者negative，再利用bounding box修正anchors获取精确的候选框；

步骤4.3、ROI池化层利用候选框从特征图中提取proposal feature，并且将所得的特征图图像大小比例调整到同一维度；

步骤4.4、用二进制网络替换全连接层中的fc6和fc7层，候选框从特征图中提取proposal feature，然后使用二进制权重量化底层的权重，并对网络进行微调，直到收敛为止；在下一阶段，冻结这些底层，并继续对下一层的权重进行量化；

步骤4.5、最后通过一层FC-1000全连接层与softmax层分类器得到分类后的结果，训练完成的模型即为二值化Faster R-CNN网络模型。

6.根据权利要求5所述的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，其特征在于，步骤4.4中使用二进制权重量化的方法为：

定义隐藏层为ROI池化层至最后一层全连接层FC-1000，将训练好的隐藏层作为底层；采用逐层贪婪算法进行二值网络的训练，其方法为：

第一步：首先训练一个只含一个隐藏层的网络，仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络，以此类推；

第二步：把已经训练好的前k-1层固定，然后增加第k层，这些各层单独训练所得到的权重被用来初始化最终的深度网络的权重；

第三步：然后对整个网络权重进行微调，直到模型收敛为止；

第四步：冻结这些已经训练好的隐藏层，最后对这些权重进行量化。

7.根据权利要求6所述的基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法，其特征在于，所述步骤4.4中权重量化的方法为：

量化权重时，使用Sign(w)直接得到二值化的权重值；权重选择量化正则化使其分布成正态分布，其中它的上界为b，下界为-b，其中b层权重绝对值不超过1，为了防止网络无法收敛，对网络进行了裁剪，在L-th层网络，其中L是网络的层数，在L-th层中，L＝1,2...L，依次求出裁剪之后的网络，未参与向前传播与向后传播，

是l全精度权重，n^l和k^l表示特征数与内核大小如下：

clip(x,b)＝max(-b,min(x,b))

其中，

表示夹紧重量，clip()表示权重裁剪，引入一种与数据无关的方法来量化每个32位的权重重量，使用m位将权重量化为范围[-b,b],有2^m个离散值，分辨率β通过以下函数确定：

分辨率将随着m的增加呈现指数下降，量化权重集合为:{-b,-b+β,...,b-β,b},将裁剪后的权重近似为

α和Q分别表示比例因子与量化权重张量，将Q变形为等值向量

然后将量化优化问题表示为：

选取每个元素Q(i＝1,2...n^l×k^l×k^l)；

选择最接近

使用L₂范数作为损失函数：

使用以下公式获得比例因子：

对于前向传播的神经元X的分类，使用下列：

其中，

Images