CN108734719A

CN108734719A - 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法

Info

Publication number: CN108734719A
Application number: CN201710281484.5A
Authority: CN
Inventors: 竺乐庆; 马梦园
Original assignee: Zhejiang Gongshang University
Current assignee: Zhejiang Gongshang University
Priority date: 2017-04-14
Filing date: 2017-04-14
Publication date: 2018-11-02

Abstract

本发明提出了一种基于全卷积神经网络(FCN)的鳞翅目昆虫前背景自动分割方法。通过微调预训练好的卷积神经网络(CNN)模型，构建了一个用于像素级分类预测的全卷积网络。训练网络前，首先对昆虫图像数据集进行了数据增强，以此来满足深度神经网络训练对样本数量的要求。通过对不同卷积层的输出进行融合，探索得到一个可用于鳞翅目昆虫图像前背景分割的网络模型。由CNN初始的分割结果进一步用条件随机场(CRF)来细化边缘细节，并通过提取并填充前景的最大轮廓，以移除网络模型输出结果中存在的噪点干扰和前景中的空洞。该方法使昆虫图像预处理任务完全自动化，可以显著提高鳞翅目昆虫种类自动识别的效率。

Description

一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法

技术领域

本发明涉及一种基于全卷积神经网络(FCN)的鳞翅目昆虫图像前背景自动分割方法，可在昆虫图像分析和识别过程中消除背景干扰，提高分析和识别的正确率和效率。该方法可以使昆虫图像自动分类识别时图像预处理任务完全自动化，从而降低手工分割所投入的人力成本。该项技术可集成到鳞翅目昆虫的自动鉴定系统中，并应用于植物检疫、植物病虫害预测预报及其防治等领域，可被海关、植物检疫部门、农林病虫害防治等部门所采用。

背景技术

鳞翅目昆虫是农业上的主要害虫之一，其在幼虫期取食植物叶肉、或蛀食树干、树皮、树根，严重影响作物的产量。不同种类的害虫需要不同的防治方法，若种类判断错误，滥用农药进行防治，将导致严重的环境污染，危害人们的身体健康。因此，实现对鳞翅目昆虫的准确识别在农业生产上意义重大。以往对其监测都是通过人工多点采样，基于肉眼观测，凭主观经验来进行。这种人工的判断中，往往会因为主观因素影响鉴定结果的准确性和稳定性，而且不能实时动态地进行，需要投入较多的人力物力。目前先进的人工智能与机器学习技术可以实现对物种的识别，不需要再完全依赖于少数分类学专家的主观判断或复杂的科学实验，基于昆虫图像的自动种类识别便是方法之一。

昆虫数学形态学与计算机技术相结合的研究主要从20世纪90年代开始。英国政府于1996年发起 DAISY(Digital Automated Identification SYstem)研究工程，在全世界范围内掀起了有关昆虫自动识别研究的热潮。经过十多年的研究和探索，目前最具代表性的昆虫自动识别软件有Steinhage等开发的ABIS (Automatic Bee IdentificationSystem)、Weeks等开发的DAISY和以及Russell和Martin开发的SPIDA (SPeciesIDentitfied Automatically)，Tofilski等开发的软件DrawWing等。

在昆虫图像自动种类识别过程中，其中关键的一步是对昆虫图像的前背景分割，以减少背景对分类结果的影响。目前昆虫图像前背景自动分割方法，最常见的是基于静态图像压缩标准分割算法(JSEG)、K均值聚类分割算法、快速几何可变形分割算法等。早期昆虫图像前背景自动分割有基于灰度图的分割，如李小林等提出的基于边缘流的图像分割算法等；而程小梅等利用融合彩色颜色、纹理及空间位置特征，通过最大期望算法(EM)迭代出混合高斯模型对图像进行分割。2013年兰红等提出基于RGB三色板的多元线性回归算法对昆虫图像进行分割，改善了其中部分区域分割不理想的问题。2015年余绍军则提出了基于RGB油茶毒蛾幼虫图像利用邻域最大差值与区域合并的方法，将油茶毒蛾幼虫图像中的虫体与背景分开。

而目前昆虫图像分割手段，基本基于有限类昆虫的小样本库，在测试集上表现良好，而泛化能力差。为了在分割效果和人力操作之间获得相对较好的折衷，人们采用Lazysnapping及Grabcut等人机交互的去背景工具，如Lazy snapping只需对前背景分别划一条线做标记，然后依据算法自动计算前背景分界线，通过人工不断标记微调最终取得精确的分割结果。近年来，计算机硬件技术不断提高，更快、更高效的硬件满足了深度学习对运算能力的需求，促使“复杂”的深度学习不断取得突破。深度卷积神经网络将特征提取与分类自然地融合从而得到一个端到端的分类框架。其权值共享的网络结构不仅极大地降低了模型复杂度，而且很好地模拟了基于神经元反应的视觉系统，得到了高度抽象化的全局特征，且得到的模型泛化能力强。 2015年Lonjong等提出了基于全卷积网络(FCN)进行像素级的分类来解决语义级别的图像自动分割问题。

发明内容

本发明的目的在于提供一种自动的鳞翅目昆虫图像前背景分割方法。它通过计算机深度学习技术解决了自动提取昆虫图像样本前景有效区域的问题，使鳞翅目昆虫种类自动识别完全自动化。该技术能较精确地自动提取昆虫前景，消除背景干扰，并通过提取前景图像的最小包围盒从而剪切出前景有效区域，用于之后的自动识别任务。昆虫样本图片无需再通过传统的人机交互手段来去除背景，节省人力物力，从而提高鳞翅目昆虫种类鉴定的效率。

本发明采用的技术方案为：

如图1所示，本发明所采用的技术方案主要包括创建训练数据、训练FCN形成初始分割、后处理等步骤，具体介绍如下：

1)构建鳞翅目昆虫前背景分割训练图像数据集

对采集的昆虫标本图像手动或半手动去除背景，获得昆虫图像的前背景标记图以作为训练时的目标图像；为了满足深度神经网络训练对大样本量的要求，分别对原图及对应的前背景标记图做了数据增强。

使用以下人机交互方法之一去除标本图像的背景来得到训练样本的目标前背景分割图：

用Lazy snapping方法去除标本图像的背景，方法是在需要保留的前景区域内用一种颜色的线条作标记，在需要去除的虽背景区域内用另一种颜色的线条作标记，LazySnapping算法自动计算出前景和背景之间的分界线，如果分割还不够精确则反复作标记微调，直至分界线符合要求，将背景区域设置成黑色，将前景区域设置为白色；

或用Grabcut工具去除标本图像的背景，方法是设置包含前景区域的最小矩形框，分割完成后将背景区域设置成黑色，将前景区域设置为白色；

或用GrabCut+Lazy Snapping工具完成背景去除工作，方法是先用GrabCut勾勒出前景区域，然后再用Lazy Snapping标记未去除的背景和误去除的前景，分割完成后将背景区域设置成黑色，将前景区域设置成白色。

采用了旋转、左右平移、上下平移、亮度缩放、水平翻转等图像数据增强方法将原图及对应的前背景标记图扩充为原来的若干(≥8)倍。从数据集中随机提取80％的样本作为训练集，余下的样本作为测试集。

2)基于FCN的昆虫图像前背景分割

本发明替换CNN网络模型的全连接层，构建了一个用于像素级分类预测的鳞翅目昆虫图像前背景分割网络，基于AlexNet的网络结构如附图2所示，基于VGG16的网络结构示意图如附图4，下面主要对基于 AlexNet的网络结构进行说明。利用训练数据，通过对不同中间层的输出混合卷积、反卷积和上采样进行融合的方法进行实验对比，训练得到一个端到端的适用于鳞翅目昆虫图像前景分割网络模型，以此模型对鳞翅目昆虫图像进行前背景像素判别。将用ImageNet预训练好的的神经网络模型(AlexNet或VGG16)修改为一个全卷积网络，即将最后一个卷积层输出的4096维的特征向量连接到卷积层，最终得到的2通道的特征图。之后通过上采样将特征图扩大到与原图相同的尺寸，逐像素求概率最大值类，作为像素分类结果，由此构建一个端到端的用于像素级分类预测的全卷积网络框架。在训练时，先将网络的前面的卷积层参数设置为预训练好的参数，其它参数通过随机初始化设置；逐个像素计算softmax分类的损失，梯度下降极小化损失函数，来确定迭代更新网络参数。为了提高分割的准确性，将前面若干层个卷积层的输出进行上采样并与最后一层输出进行融合，从而进一步提高昆虫前背景分割的性能，对AlexNet而言，即为对基于第5层的输出，第4层的输出及第3层的输出经反卷积至相同通道数的进行融合，得到适用于的鳞翅目昆虫图像前景分割的网络结构。

3)后处理

FCN虽然能大致可靠地分类出给定昆虫图像中前景和背景像素，但无法精确的构画出前景对象的轮廓，因为经过多次池化层的高层特征有更强的不变性和更大的感受野，虽然有利于分类，但对从高层特征推导位置细节的任务却带来了挑战。上述过程虽然已较充分地利用了多尺度结构来细化局部信息，但最终的预测结果仍然存在轮廓模糊的现象。为了在预测的前背景分割图中恢复出清晰的边缘，本发明将稀疏连接条件随机场(CRF)对FCN进一步进行后处理，以提高前景轮廓的精度。此外，基于FCN的昆虫图像前背景分割结果中，存在少量昆虫图像以外孤立区域被误分割为前景，或是昆虫图像内部出现少量空洞被误分类为背景的情形，对于这些情形，本发明采用简单的后处理来完善。为消除分割结果中的噪声干扰和前景区域内部可能产生的空洞，提取初始分割结果中的最大轮廓，删去最大轮廓之外的所有前景像素点，并把最大轮廓以内的区域全部填充为前景像素，将原图中对应为前景的像素值保留，对应为背景的像素点全部设置为黑色，最后求取前景区域的最小包围盒，以最小包围盒为中心剪切出前景有效区域。

关于稀疏连接条件随机场的说明如下：

假如用I来表示输入图像，Y＝(y₁，...，y_n)∈Rⁿ对应I中所有像素的前背景标记(前景取1，背景取0)，对于给定的I，可以用如下密度函数为Y建立条件概率分布模型：

此处E是能量函数，其中配分函数Z定义为：

对输入图像I的前背景分割可以通过求解如下最大化后验概率得到：

能量函数可以定义为单点势能和成对势能的组合：

E(Y，I)＝∑_iu(y_i，I)+∑_ijθ_ij(y_i，y_j，I) (4)

其中u是单点势能项，由CNN的输出通过计算得到：

u(y_i，I)＝-logP(y_i) (5)

其中P(y_i)为第i个有效像素预测为正确标记的概率，由CNN输出得到。

成对势能项定义为：

成对势能是稀疏分布的，仅考虑那些相互处于对方邻域中的像素之间的关系。为了确定两个像素是否处于对方邻域中，本发明首先将输入图像用SLIC算法分割成一定数量的超像素，并将处于同一超像素中或处于相邻超像素中的像素称为邻域像素。如图3所示，假如图中1～15个区域代表15个超像素，那么对第8个超像素内的像素来说，第2，3，4，7，8，9，12，13，14个超像素内的所有像素都是它们的邻域像素。

式(6)中的每个k_m是依赖于第i个像素的特征f_i和第j个像素特征f_j的高斯核，并由w_m加权。处于同一超像素内的像素之间分享一组高斯核参数，而分处于相邻超像素内的像素之间分享另一组参数。在本发明中，像素的特征由位置和颜色来描述，因此带权高斯核定义为：

其中第1项同时依赖于位置和颜色，意味着如果两个像素之间位置和颜色都很接近，则这一项越大，反之亦然，第2项仅依赖于位置。在计算相似性时，原图像首先从RGB颜色空间转换到LAB颜色空间。依赖于像素间关系的成对势能概括如下：

①当像素i和j处于同一超像素内时

②当像素i和j分处于两个相邻超像素内时

③其他情况

θ_ij(y_i，y_j，I)＝0 (10)

从式(8)和(9)可知，其实两式除了参数不同，形式完全一致，因为考虑到越相近的像素之间联系更大，因此w₁，w₂，σ₁，σ₂，σ₃的值会比w₃，w₄，σ₄，σ₅，σ₆的值相对大一些。

通过平均场近似方法进行计算由式(3)获得CRF处理后的前背景分割结果，使得分割的边缘更加清晰。

本发明优点在于：本发明中的基于FCN的鳞翅目昆虫前背景自动分割方法，不需要人工干预，分割过程完全自动化，对背景和前景颜色纹理及位置都比较接近的情况下也能很理想的将它们分割开，使鳞翅目昆虫图像识别过程的完全自动化成为可能。对于有限数量的昆虫图像及其对应的前背景分割目标图像，利用合理的数据增强方法做了数据扩充，构建了满足训练CNN所需要的较大的鳞翅目昆虫图像前背景分割训练数据集。本发明对预训练好的深度卷积神经网络模型的结构进行了适当修改，移除了全连接层，并以卷积层取代，并将多个卷积层的输出进行了融合，训练了一个用于像素级鳞翅目昆虫图像前背景分割模型，该模型对输入图像大小变化不敏感。基于分割模型的初步分割结果，再辅之以相应的后处理方法，得到了更准确的鳞翅目昆虫图像前背景分割结果。

附图说明

图1本发明所采用方法的处理步骤

图2基于AlexNet的FCN网络结构

图3邻域像素示意图

图4基于VGG16的FCN网络结构

具体实施方式

下面结合附图和具体实施例对本发明的技术方案作进一步说明。

本发明包括以下步骤：

1)构建鳞翅目昆虫图像前背景分割训练库：用手动或半手动方式将采集的鳞翅目标本图像移除背景，将前景全部填为白色，背景全部填为黑色，由此得到与原图相对应的前背景分割目标图像。为满足深度卷积神经网络参数训练对大样本的需求，打乱样本数据，随机提取80％作为训练数据，利用平移、旋转、色彩抖动、水平镜像等手段进行了对训练数据集进行数据增强，剩下部分作为测试数据。

2)构建并训练基于FCN的图像前背景分割网络模型：修改用ImageNet预训练好的CNN神经网络模型，将后面的全连接层替换为卷积层，将网络中未修改的卷积层参数用预训练网络参数初始化，并在训练过程中只作微调；由全连接层替换成的卷积层参数随机初始化并用相对较大的学习率进行训练调整；为了利用不同层次不同分辨率的特征，将多个卷积层的输出用反卷积操作变换后与最后一层输出进行融合，最后经插值算法上采样至原图大小，使用Softmax-Loss根据训练数据的目标分割图像来计算损失并利用训练数据迭代更新网络参数，训练得到一个端到端的用于像素级分类预测的鳞翅目昆虫图像前背景分割网络。

3)后处理：为了还原前背景分割的边缘细节，本发明首先使用CRF根据原图各像素之间的颜色位置等相关性对CNN的输出进行优化处理，使分割结果的局部细节信息得以还原。随后对该分割结果的所有前景区域查找到最大轮廓，删除该轮廓以外的所有其他前景区域，并将最大轮廓内部全部填充为前景，这样可以消除噪点及填补前景内部的空洞。其中所谓最大轮廓，是指在二值图像中检测到的轮廓中取出面积最大的一个。

实例1

1.使用“光影魔术手”附带的抠图功能模块或GrabCut+Lazy Snapping工具，用交互方式移除昆虫标本图像训练及测试集的背景，并把背景设置成黑色，前景设置成白色，得到前背景分割的目标图像。

2.在该数据集中随机选取80％作为训练数据，剩下的20％作为测试数据。对训练数据集，采用了旋转±5度、左右平移、上下平移、亮度随机用因子c∈[0.8，1.2]缩放、水平翻转等图像数据增强方法将图库扩充为原来的8倍以上，对旋转、平移、水平翻转的操作而言，前背景分割的目标图像也要进行相应的变换。数据增强可以有效避免网络训练过程中产生过拟合现象。

3.修改用ImageNet预训练好的AlexNet神经网络模型，将最后的两个全连接层替换为卷积核大小为1*1 的卷积层(如附图2所示)。将网络中未修改的卷积层参数用预训练网络参数初始化，并在训练过程中只作微调；由后两个全连接层替换成的卷积层参数随机初始化并用相对较大的学习率进行训练调整；

4.为了利用不同层次不同抽象程度的特征，将多个卷积层的输出进行了融合。具体融合方案如下：将第4 个卷积层的输出用反卷积操作变换成2个通道，与最后一层的输出上采样至相同大小后相加，相加的结果再上采样至2倍长宽与第3个卷积层的输出反卷积至两通道的结果相加，最后上采样至与原图一样大小，得到各像素前背景的概率分布，将各像素归属到概率大的那一类，得到CNN的自动分割结果。

5.使用Softmax-Loss根据训练数据的目标分割图像来计算损失并利用训练数据迭代更新网络参数，训练得到一个端到端的用于像素级分类预测的鳞翅目昆虫图像前背景分割网络。

6.使用CRF根据原图各像素之间的颜色位置等相关性对CNN的输出进行优化处理，使分割结果的局部细节信息得以还原。

7.对分割结果的所有前景区域查找到最大轮廓，删除该轮廓以外的所有其他前景区域，并将最大轮廓内部全部填充为前景，这样可以消除噪点及填补前景内部的空洞。

实例2

2.在该数据集中随机选取80％作为训练数据，剩下的20％作为测试数据。对训练数据集，采用了旋转5 度、左右平移、上下平移、亮度随机用因子c∈[0.8，1.2]缩放、水平翻转等图像数据增强方法将图库扩充为原来的8倍以上，对旋转、平移、水平翻转的操作而言，前背景分割的目标图像也要进行相应的变换。数据增强可以有效避免网络训练过程中产生过拟合现象。

3.修改用ImageNet预训练好的VGG16神经网络模型，如图4所示，去掉最后的3个全连接层，并在原始输入数据、第2个卷积层、第4个卷积层、第7个卷积层、第10个卷积层、第13个卷积层的输出后引出分支，每个分支分别添加三个卷积层，输出2通道的数据，用插值方法对后5个分支的输出进行上采样，使各分支的输出大小与第一个分支的输出大小相同，该6个分支相加的结果便是整个网络的最终输出；将网络中未修改的卷积层参数用预训练的VGG16网络参数初始化，并在训练过程中只作微调；由后面添加的卷积层参数随机初始化并用相对较大的学习率进行训练调整；

4.使用Softmax-Loss根据训练数据的目标分割图像来计算损失并利用训练数据迭代更新网络参数，训练得到一个端到端的用于像素级分类预测的鳞翅目昆虫图像前背景分割网络。

5.使用CRF根据原图各像素之间的颜色位置等相关性对CNN的输出进行优化处理，使分割结果的局部细节信息得以还原。

6.对分割结果的所有前景区域查找到最大轮廓，删除该轮廓以外的所有其他前景区域，并将最大轮廓内部全部填充为前景，这样可以消除噪点及填补前景内部的空洞。

以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应该以要得要求所界定的保护范围为准。

Claims

1.一种基于全卷积神经网络(FCN)的鳞翅目昆虫图像前背景自动分割方法，其特征在于包括以下步骤：1)构建鳞翅目昆虫图像训练集；2)基于FCN的昆虫图像前背景分割；3)基于初始分割结果细化边缘并过滤噪点和空洞。

2.根据权利要求1所述的基于FCN的鳞翅目昆虫图像前背景自动分割方法，其特征在于：在所述步骤1)中，对采集的昆虫标本图像手动或半手动去除背景，获得昆虫图像的前背景标记图以作为训练时的目标图像；为了满足深度神经网络训练对大样本量的要求，分别对原图及对应的前背景标记图做了数据增强。

3.根据权利要求2所述的训练数据集构建方法中，其特征在于：使用以下人机交互方法之一去除标本图像的背景来得到训练样本的目标前背景分割图：

用Lazy snapping方法去除标本图像的背景，方法是在需要保留的前景区域内用一种颜色的线条作标记，在需要去除的背景区域内用另一种颜色的线条作标记，Lazy Snapping算法自动计算出前景和背景之间的分界线，如果分割还不够精确则反复作标记微调，直至分界线符合要求，将背景区域设置成黑色，将前景区域设置为白色；

4.根据权利要求2所述的训练数据集构建方法中，其特征在于：

采用了旋转、左右平移、上下平移、亮度缩放及水平翻转等图像数据增强方法将原图及对应的前背景标记图扩充为原来的若干(≥8)倍。

5.根据权利要求1所述的基于FCN的鳞翅目昆虫图像前背景自动分割方法，其特征在于：在所述步骤2)中，替换CNN网络模型的全连接层，构建了一个用于像素级分类预测的鳞翅目昆虫图像前背景分割网络；利用训练数据，通过对不同卷积层的输出进行融合，训练得到一个端到端的适用于鳞翅目昆虫图像前背景分割网络模型，以此模型对鳞翅目昆虫图像进行前背景像素判别。

6.根据权利要求1所述的基于FCN的鳞翅目昆虫图像前背景自动分割方法，其特征在于：在上述步骤2)中，基于FCN的图像昆虫图像前景判别，将用ImageNet预训练好的的神经网络模型(AlexNet或VGG16)修改为一个全卷积网络，最终得到的2通道的特征图；之后通过上采样将特征图放大到与原图相同的尺寸，由此构建一个端到端的用于像素级分类预测的全卷积网络框架。

7.根据权利要求1所述的基于FCN的鳞翅目昆虫图像前背景自动分割方法，其特征在于：在上述步骤2)中，基于FCN的图像昆虫图像前背景分割，通过上采样将特征图处理到与原图相同的尺寸后，逐像素求概率最大值类，作为像素分类结果；在训练时，先将网络的前面的卷积层参数设置为预训练好的参数，其它参数通过随机初始化设置；逐个像素计算softmax分类的损失，梯度下降极小化损失函数，来确定迭代更新网络参数。

8.根据权利要求1所述的基于FCN的鳞翅目昆虫图像前背景自动分割方法，其特征在于：在上述步骤2)中，基于FCN的图像昆虫图像前背景分割，为了在分割过程中保留更多的局部细节，将前面多个卷积层的输出混合上采样操作进行融合，以融合的结果作为整个网络的输出，得到适用于的鳞翅目昆虫图像前景分割的网络结构。

9.根据权利要求1所述的基于FCN的鳞翅目昆虫图像前景自动提取方法，其特征在于：在上述步骤3)中，基于FCN初始前背景分割结果，为进一步还原边缘细节，用条件随机场模型(CRF)进行了后处理。

10.根据权利要求1所述的基于FCN的鳞翅目昆虫图像前景自动提取方法，其特征在于：为消除分割结果的噪声干扰和前景区域内部可能产生的空洞，提取初始分割结果中的最大轮廓，删去最大轮廓之外的所有前景像素点，并把最大轮廓以内的区域全部填充为前景像素，将原图中对应为前景的像素值保留，对应为背景的像素点全部设置为黑色，最后求取前景区域的最小包围盒，以最小包围盒为中心剪切出前景有效区域。