CN104899255A - 适用于训练深度卷积神经网络的图像数据库的构建方法 - Google Patents

Abstract

本发明公开了一种适用于训练深度卷积神经网络的图像数据库的构建方法，包括以下步骤：收集害虫RGB格式的原始图像，识别、标记害虫种类；对所述原始图像进行颜色衰减得到RGB图像和对应的HSV图像；根据RGB图像计算各颜色比例，根据HSV图像计算颜色相似性区域，计算RGB图像的显著性图；阈值化所述的显著性图得二值图像，将二值图像所指代区域作为初始区域，以GrabCut算法在该初始区域内分割害虫目标；根据分割区域裁剪原始图像并放缩至统一尺寸，存储构建数据库。解决了现有技术建立作物害虫数据库时采样困难、标记模糊、尺寸大小不一的问题，也解决了深度卷积神经网络模型训练过程中因为样本数量过少，姿态单一而引起的过拟合问题。

Description

适用于训练深度卷积神经网络的图像数据库的构建方法

技术领域

本发明涉及精细农业技术领域，尤其涉及一种适用于训练深度卷积神经网络的图像数据库的构建方法。

背景技术

水稻是我国重要的粮食作物之一，在水稻整个生长期内，有许多病、虫等有害生物为害，特别是水稻害虫，每年所引起的损失相当惊人，直接危害水稻产量。目前，我国水稻害虫防治一直坚持“害虫综合治理(IPM)”的植保方针，以监测预报为基础，综合应用农业、生物、物理防治和化学防治等技术措施，有效控制害虫危害。

水稻害虫种类以及数量的调查，是害虫预测预报工作的一项基本而重要的任务。如果没有正确的调查数据，对害虫的发生种类、数量就不可能进行准确地预测，更不能保证害虫防治经济阈值的正确执行。因此，防治水稻害虫，提高水稻产量的前提是在水稻生长期内，可以正确地识别与计数水稻害虫，从而进一步掌握其发生动态，为实时、准确的预测预报提供理论依据。

传统方法中一般是通过有经验的农民和昆虫分类专家对害虫进行识别，但人工识别劳动强度大、效率低。因此，开发一些智能化无线害虫远程自动监测装置，将有助于提高昆虫识别与计数的准确率和效率，减少虫害带来的损失，进而促进精准农业的实施，提高昆虫知识的科普水平。

随着农业逐步走向数字化、精准化和自动化，国内外学者已将数字图像处理和模式识别技术应用到昆虫自动识别领域。目前，害虫图像分类模型针对某种害虫或者某种作物的所有害虫的样本数量过少，所覆盖姿态和角度范围不足，在建立模型时极容易出现过拟合现象，导致模型分类的泛化能力不足。所以农田害虫识别领域的研究需要一个样本数量足够多，覆盖姿态和种内变化范围足够广的数据库来减少农业中水稻大田信息化及智能化进程中大量样本采集和处理的时间。

当前图像识别的前沿领域为深度卷积神经网络模型，其要求大量的图像样本，且输入的图像需具有相等边长，而图像样本的尺寸变化范围大，害虫对象在图像中位置随机性强，故需要一种定位技术，来准确地获取害虫对象在图像中位置，进而准确裁剪，建立合适的数据库用于模型的训练。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种适用于训练深度卷积神经网络的图像数据库的构建方法，该方法能将水稻害虫对象从复杂的图像背景中定位、提取、放缩，建立适用于训练深度卷积神经网络的数据库。

为实现上述目的，本发明提供了如下技术方案：

适用于训练深度卷积神经网络的图像数据库的构建方法，包括以下步骤：

(1)收集害虫RGB格式的原始图像，识别、标记害虫种类；

(2)对所述原始图像进行颜色衰减得到RGB图像和对应的HSV图像；

(3)根据RGB图像计算各颜色比例，根据HSV图像计算颜色相似性区域，计算RGB图像的显著性图；

(4)阈值化所述的显著性图得二值图像，将二值图像所指代区域作为初始区域，以GrabCut算法在该初始区域内分割害虫目标；

(5)根据分割区域裁剪原始图像并放缩至统一尺寸，存储构建数据库。

所述的害虫为30种典型的水稻害虫。

作为优选，所述的害虫包括：二化螟，三化螟，稻纵卷叶螟，稻苞虫，小菜蛾，印度谷螟，玉米螟，灰飞虱，褐飞虱，白背飞虱，稻瘿蚊，稻蓟马，稻螟蛉，稻棘缘蝽，稻蝽象，稻弄蝶，中华稻蝗，稻象甲，稻水象甲，水稻长腿水叶甲，粘虫，稻杆潜蝇，稻赤斑沫蝉，黑尾叶蝉，中华稻蝗，稻潜叶蝇，稻摇蚊，蝼蛄，稻水蝇，稻负泥虫，麦鞘毛眼水蝇。

步骤(1)中，所筛选的原始图像的最短边大于256像素。

其中，步骤(2)具体为，将所述原始图像的标准RGB颜色空间由每个通道256种亮度均匀分割，衰减为10种亮度，获取RGB图像，并将RGB图像转换得到HSV图像。

作为优选，步骤(3)中，根据K-means方法将HSV图像聚类成若干颜色近似区域，并根据以下公式计算在衰减的RGB图像的对应区域内计算各区域的显著性值S：

$S\left(r_k\right)=\underset{r_k\≠r_i}{\mathrm{\Σ}}\frac{\mathrm{\ϵ}}{1+D_s(r_i,r_k)}A\left(r_i\right)D_r(r_k,r_i)$

其中，r_k为当前区域，r_i为任意其它区域，D_s为两个区域中心点的空间距离，A(r_i)为任意其它区域的面积，D_r为两个区域的RGB颜色空间距离，ε为常数；ε大小可控制空间权重的影响，适当的ε值可使距离较远的区域能够为当前区域贡献更多的显著性值。

作为优选，ε为0.3～0.5。

最优选的，ε为0.45。

其中， $D_r(r_1,r_2)=\underset{i=1}{\overset{n1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n2}{\mathrm{\Σ}}}p\left(c_{1,i}\right)p\left(c_{2,j}\right)D(c_{1,i},c_{2,j}),$ 其中，p(c_m，n)为第m个区域中第n种颜色所占的比例，D为两种颜色在衰减后的RGB颜色空间中的距离，n1、n2分别为r₁，r₂区域中颜色的总数。

上述颜色衰减过程，可有效增加K-means聚类的效率，提高聚类的效果。

作为优选，步骤(4)中，通过固定阈值为40～80对显著性图进行阈值化；最优选的，固定阈值为60。

作为优选，步骤(4)中，以GrabCut算法经至多4次迭代分割所述二值图像所指代的RGB图像区域。

对显著性图进行阈值化，得到显著性值高的害虫对象区域，并以该区域作为GrabCut算法的初始化区域，分割得到原始图像上害虫对象的精确区域，并获取该区域的最小外接矩形的各顶点坐标。依据最小外接矩形的各顶点坐标，将最小外接矩形短边长度扩展为与长边相等，获得正方形区域，记录正方形各顶点坐标，依据正方形坐标裁剪原始图像，并将裁剪区域放缩为256×256(像素)，存储入数据库，构建得到水稻害虫图像数据库。其中各害虫种类图像中样本覆盖范围包括害虫头部，侧面，尾部，腹部。

本发明的有益效果为：

本发明适用于深度卷积神经网络训练的图像数据库及建立方法，基于显著性分析和GrabCut分割方法，对尺寸变化大、害虫对象位置随机性强的样本图像进行定位、裁剪和放缩，并建立了一个昆虫种类多，数量大，姿态变化多、种类覆盖广的水稻害虫图像数据库，能够有效地对深度卷积神经网络模型进行训练。解决了现有技术建立作物害虫数据库时采样困难、标记模糊、尺寸大小不一的问题，也解决了深度卷积神经网络模型训练过程中因为样本数量过少，姿态单一而引起的过拟合问题。

附图说明

图1为本发明图像数据库的构建方法流程图；

图2(a)为原始图像样本图；

图2(b)为原始图像样本颜色衰减后的RGB图像；

图2(c)为原始图像样本颜色衰减后的HSV图像；

图3(a)为图像样本的颜色比例图；

图3(b)为各个颜色相似区域分类图；

图3(c)为计算得到的显著性图；

图3(d)为对显著性图阈值化得到的二值图像；

图4(a)为GrabCut算法拟合包含害虫对象最小外接矩形图；

图4(b)为适用于训练深度卷积神经网络的害虫图像。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明的流程如图1所示，主要包括以下几个步骤：

实施例以图2(a)所示的原始图像为例，对本发明对原始图像的处理方法进行详细描述。

步骤一：

互联网检索30种典型的水稻害虫图像，人工筛选尺寸过小样本，并由专家标记合格样本所属害虫类别。

所选定的30种水稻害虫包括：二化螟，三化螟，稻纵卷叶螟，稻苞虫，小菜蛾，印度谷螟，玉米螟，灰飞虱，褐飞虱，白背飞虱，稻瘿蚊，稻蓟马，稻螟蛉，稻棘缘蝽，稻蝽象，稻弄蝶，中华稻蝗，稻象甲，稻水象甲，水稻长腿水叶甲，粘虫，稻杆潜蝇，稻赤斑沫蝉，黑尾叶蝉，中华稻蝗，稻潜叶蝇，稻摇蚊，蝼蛄，稻水蝇，稻负泥虫，麦鞘毛眼水蝇。

下载后，人工筛选最短边小于256(像素)的图像，删除。并由专家对所有尺寸合格的图像样本依据类别进行标记，分别归纳至30个类别中。

步骤二：

将合格图像样本(原始为RGB格式)进行颜色衰减，并获取衰减后图像的RGB图像(图2(b)所示)，同时将RGB图像转换得到HSV图像(图2(c)所示)。

计算RGB图像中各种颜色所占的比例。

由专家分类后的所有图像样本，首先对其RGB颜色空间进行颜色衰减，R、G、B通道各自原始的256种亮度分别被均匀划分为10个范围，并以每个范围中的平均值代表该区域，即将RGB颜色空间由256³种颜色衰减为10³种。利用衰减后的RGB颜色空间来表达所有合格的图像样本，计算每一个图像样本中各个颜色所占的比例(如图3(a)所示)，同时，获取进行颜色衰减后的HSV图像。

步骤三：

依据HSV图像、RGB图像及各个颜色所占比例计算显著性图(如图3(c)所示)，如图3所示。

对于HSV通道图像，利用K-means聚类方法，将图像中各个颜色相似区域进行分类得到多个区域(如图3(b)所示)，记录各区域中所有像素点的坐标信息。前述颜色衰减过程，可有效增加K-means聚类的效率，提高聚类的效果。

将各区域的坐标指定到RGB图像中，即将RGB图像分成多个区域，基于RGB图像中各个颜色所占比例，对RGB图像上各个区域计算显著性值S：

$S\left(r_k\right)=\underset{r_k\≠r_i}{\mathrm{\Σ}}\frac{\mathrm{\ϵ}}{1+D_s(r_i,r_k)}A\left(r_i\right)D_r(r_k,r_i)$

其中，r_k为当前区域，r_i为任意其它区域，D_s为两个区域中心点的空间距离，A(r_i)为任意其它区域的面积，D_r为两个区域的RGB颜色空间距离，ε为常数，ε大小可控制空间权重的影响，适当的ε值可使距离较远的区域能够为当前区域贡献更多的显著性值。本实施例的ε为0.45。

D_r值由两个区域中的主导颜色所占比例p控制，p由颜色直方图计算得到。D_r的具体计算公式如下：

$D_r(r_1,r_2)=\underset{i=1}{\overset{n1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n2}{\mathrm{\Σ}}}p\left(c_{1,i}\right)p\left(c_{2,j}\right)D(c_{1,i},c_{2,j})$

其中，p(c_m，n)为第m个区域中第n种颜色所占的比例，D为两种颜色在衰减后的RGB颜色空间中的距离，n1、n2分别为r₁，r₂区域中颜色的总数。

步骤四：

对显著性图进行阈值化，获取显著性图的二值图像(如图3(d)所示)。

计算得到的显著性图代表了各个区域的显著性值，由于害虫对象与农田背景的特殊性，害虫对象会获得很高的显著性值，故可设定一个较高的阈值，将显著性图像进行阈值化，得到粗略的害虫对象区域，将此区域作为GrabCut算法的初始化区域在原始样本图像中分割害虫对象，并依据此区域坐标在原始样本图像上拟合包含该区域的最小外接矩形(如图4(a)所示)。

本步骤中阈值设定为T＝60，经过实验，可保证90％的害虫对象被准确定位到。

步骤五：

如图4所示，获取最小外接矩形的各顶点坐标。依据最小外接矩形的各顶点坐标，将最小外接矩形短边长度扩展为与长边相等，获得正方形区域，记录正方形各顶点坐标，依据正方形坐标裁剪原始图像，并将裁剪区域放缩为256×256(像素)，得适用于训练深度卷积神经网络的害虫图像(如图4(b)所示)，存储入数据库，构建得到水稻害虫图像数据库。

其中各害虫种类图像中样本覆盖范围包括害虫头部，侧面，尾部，腹部。

利用上述所构建的图像数据库训练深度卷积神经网络的方法为：

(1)构造深度卷积神经网络。

具体为：构造深度卷积神经网络，包括一个输入层、五个卷积层、三个最大池化层、两个全连接层和一个输出层。

三个池化层分别设定在第一个、第二个、第五个卷积层之后，两个全连接层置于第三个池化层之后。

五个卷积层中，卷积滤波器的大小分别为13×13、5×5、3×3、、3×3、6×6，各卷积层中卷积滤波器的数目分别为128、256、512、512、256，卷积步长为4。

三个最大池化层中，池化区域大小均为3×3，池化步长为2。

全连接层结点数均为4096。

输出层结点数依据待识别害虫类别数而定，即根据应用场景实际情况的经验或历史数据而定。例如，根据经验，水稻田间的害虫种类约为30种，则应用于水稻害虫图像自动识别时，输出层接点数定为30。

(2)随机采集训练集中训练样本的子图像块，利用稀疏自编码器对深度卷积神经网络进行预训练，计算出各卷积层的初始权值和偏执项，以保证神经网络模型的初始权重在一个较好的局部极值附近，包括以下步骤：

(2-1)随机采用的图像块大小为13×13，与第一层卷积滤波器的大小相同，从训练集的正方形区域中随机取。

(2-2)依次预训练五个卷积层，每次训练完成前一个卷积层后，固定该层的权值和偏执项，并以该层的输出训练下一个卷积层。

(3)采用Hinge损失函数、基于mini-batch的随机梯度下降算法，并结合dropout子模型融合算法(参考文献：Hinton，G.E.，Srivastava，N.，Krizhevsky，A.，Sutskever，I.&Salakhutdinov，R.R.Improving neuralnetworks by preventing co-adaptation of feature detectors.arXiv preprintarXiv：1207.0580(2012))，对整个模型进行训练，包括：

(3-1)采用Hinge损失函数作为整个深度卷积神经网络的损失函数；

(3-2)将训练样本随机划分为大小为256的mini-batch；

(3-3)利用随机梯度下降算法，结合dropout子模型融合算法，在不同的mini-batch上训练不同的子模型，最终完成对整个深度卷积神经网络模型的训练。

在实验中，dropout子模型融合算法以0.7的概率隐藏全连接层的输出；基于mini-batch的随机梯度下降算法是：每次随机采样256个训练样本时，在训练过程中，每次从一个训练样本上(256×256)随机采样5个不同位置大小为的227×227子图像块，再将5个子图像块分别作镜像反转，得到10个子图像块，这10个子图像块作为深度卷积神经网络的输入。

在实验中，与用原始图像训练的深度卷积神经网络相比，用本发明中所构建的数据库训练的深度卷积神经网络的分类准确率可提高23％，达到91.2％。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.适用于训练深度卷积神经网络的图像数据库的构建方法，其特征在于，包括以下步骤：

(1)收集害虫RGB格式的原始图像，识别、标记害虫种类；

(2)对所述原始图像进行颜色衰减得到RGB图像和对应的HSV图像；

(3)根据RGB图像计算各颜色比例，根据HSV图像计算颜色相似性区域，计算RGB图像的显著性图；

(4)阈值化所述的显著性图得二值图像，将二值图像所指代区域作为初始区域，以GrabCut算法在该初始区域内分割害虫目标；

(5)根据分割区域裁剪原始图像并放缩至统一尺寸，存储构建数据库。

2.根据权利要求1所述的图像数据库的构建方法，其特征在于，步骤(1)中，所述的害虫为30种典型的水稻害虫。

3.根据权利要求1所述的图像数据库的构建方法，其特征在于，步骤(1)中，所述的害虫包括：二化螟，三化螟，稻纵卷叶螟，稻苞虫，小菜蛾，印度谷螟，玉米螟，灰飞虱，褐飞虱，白背飞虱，稻瘿蚊，稻蓟马，稻螟蛉，稻棘缘蝽，稻蝽象，稻弄蝶，中华稻蝗，稻象甲，稻水象甲，水稻长腿水叶甲，粘虫，稻杆潜蝇，稻赤斑沫蝉，黑尾叶蝉，中华稻蝗，稻潜叶蝇，稻摇蚊，蝼蛄，稻水蝇，稻负泥虫，麦鞘毛眼水蝇。

4.根据权利要求1所述的图像数据库的构建方法，其特征在于，步骤(2)具体为，将所述原始图像的标准RGB颜色空间由每个通道256种亮度均匀分割，衰减为5～15种亮度，获取RGB图像，并将RGB图像转换得到HSV图像。

5.根据权利要求4所述的图像数据库的构建方法，其特征在于，将所述原始图像的标准RGB颜色空间由每个通道256种亮度均匀分割，衰减为10种亮度。

6.根据权利要求1所述的图像数据库的构建方法，其特征在于，步骤(3)中，根据K-means方法将HSV图像聚类成若干颜色近似区域，并根据以下公式计算在衰减的RGB图像的对应区域内计算各区域的显著性值S：

$S\left(r_k\right)=\underset{r_k\≠r_i}{\mathrm{\Σ}}\frac{\mathrm{\ϵ}}{1+D_s(r_i,r_k)}A\left(r_i\right)D_r(r_k,r_i)$

其中，r_k为当前区域，r_i为任意其它区域，D_s为两个区域中心点的空间距离，A(r_i)为任意其它区域的面积，D_r为两个区域的RGB颜色空间距离，ε为0.3～0.5；

其中， $D_r(r_1,r_2)=\underset{i=1}{\overset{n1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n2}{\mathrm{\Σ}}}p\left(c_{1,i}\right)p\left(c_{2,j}\right)D(c_{1,i},c_{2,j}),$ 其中，p(c_m，n)为第m个区域中第n种颜色所占的比例，D为两种颜色在衰减后的RGB颜色空间中的距离，n1、n2分别为r₁，r₂区域中颜色的总数。

7.根据权利要求1所述的图像数据库的构建方法，其特征在于，步骤(4)中，通过固定阈值为40～80对显著性图进行阈值化。

8.根据权利要求7所述的图像数据库的构建方法，其特征在于，步骤(4)中，所述固定阈值为60。

9.根据权利要求1所述的图像数据库的构建方法，其特征在于，步骤(4)中，以GrabCut算法经至多4次迭代分割所述二值图像所指代的RGB图像区域。

10.根据权利要求1所述的图像数据库的构建方法，其特征在于，步骤(5)中，放缩像素尺寸为256×256。