CN109325484B - 基于背景先验显著性的花卉图像分类方法 - Google Patents

基于背景先验显著性的花卉图像分类方法 Download PDF

Info

Publication number
CN109325484B
CN109325484B CN201810854878.XA CN201810854878A CN109325484B CN 109325484 B CN109325484 B CN 109325484B CN 201810854878 A CN201810854878 A CN 201810854878A CN 109325484 B CN109325484 B CN 109325484B
Authority
CN
China
Prior art keywords
training
network
flower
image
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810854878.XA
Other languages
English (en)
Other versions
CN109325484A (zh
Inventor
刘秀磊
吴迪
刘旭红
尹静
崔展奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN201810854878.XA priority Critical patent/CN109325484B/zh
Publication of CN109325484A publication Critical patent/CN109325484A/zh
Application granted granted Critical
Publication of CN109325484B publication Critical patent/CN109325484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于背景先验显著性的花卉图像分类方法，该方法通过背景先验显著性的方法确定花卉区域，将花卉分割方法和基于迁移学习的深度神经网络分类方法结合，将训练迁移的InceptionV3网络用于花卉图像，利用训练好的网络模型对花卉图像进行分类。在国际公开花卉识别数据集Oxford flower‑102上的实验表明：该模型比改进的Alex网络分类准确率高7.63％，且比未进行分割的花卉图像进行网络训练的模型准确率高2.85％，分类准确率达到了93.38％。

Description

基于背景先验显著性的花卉图像分类方法
技术领域
本发明涉及一种花卉图像分类方法，具体涉及一种基于背景先验显著性的花卉图像分类方法。
背景技术
花卉图像背景的复杂性和自身多样性等因素导致花卉图像分类成为图像分类学科一大难题。其中，如何很好的把花卉轮廓从花卉图像中提取出来是去除背景对花卉分类影响的关键。近年来，许多研究者对花卉图像分割和花卉图像分类展开了研究，并取得一定的科研成果。
例如，杨耀等人提出了一种基于标记提取的GrowCut自动分割算法(杨耀,陈健美,鲁海英.基于标记提取的GrowCut自动分割算法[J].信息技术,2015(5):76-80)，该方法通过基于标记提取的GrowCut分割算法自动生成初始种子模板，从而实现对目标区域的自动分割。但是该方法在基于GrowCut分割算法之前使用阈值分割预处理可能会因阈值限定而导致分割效果不佳。谢晓东等人提出了一种基于显著性检测和Grabcut的花卉图像分割方法(谢晓东.面向花卉图像的精细图像分类研究[D].厦门:厦门大学,2014)，该方法通过给花卉图像进行显著性检测，训练前景和背景分类器，再用Grabcut算法提取花卉图像主体区域，该方法能对形状和颜色差异较大的花卉图像进行有效的分割，但过程繁琐，对每张图片进行分割的工作量较大。Mabrouk等人提出了一种花卉图像分割方法(Mabrouk A B,NajjarA,Zagrouba E.I mage flower recognition based on a new method for colorfeature extraction[C].Proc International Conf on Computer Vision Theory andApplications.Washington D C:IEEE Computer Society Press,2014:201-206.)，在Lab颜色空间上使用最大类间方差(OTSU算法)对花朵图像的前景和背景分割进行划分，但由于OTSU算法对目标大小和噪声非常敏感，分割效果不理想，影响了图像分类的准确性。
然而，这些方法并不能针对花卉图像更加底层的特征建立相应的网络，故而分类效果不理想。
发明内容
针对上述技术问题，本发明提供一种基于背景先验显著性的花卉图像分类方法，该方法利用迁移学习的思想，采用深度卷积神经网络的方法，将在大规模数据库上预训练的网络用于花卉图像的分类，并改进其中的架构，使之更加适用于花卉图像的分类任务。
本发明采用的技术方案为：
本发明实施例提供一种基于背景先验显著性的花卉图像分类方法，包括以下步骤：
将花卉图像进行超像素分割，得到多个超像素块；分别根据位于图像四个边界的超像素块的显著性对其余超像素块的显著性进行查询，分别得到对应四个边界的显著图，并将得到的四个显著图进行合并，得到最终的显著图；将得到的最终的显著图进行二值化处理，得到感兴趣区域分割图像，所述感兴趣区域分割图像包括用于训练的训练数据集和用于测试的测试数据集；将基础InceptionV3网络在大规模数据集上进行训练，得到预训练网络；对所述预训练网络进行改进，得到适用于花卉识别的数据集的改进后的网络；将改进后的网络迁移到所述训练数据集上进行迁移训练，得到迁移训练后的网络；将迁移训练后的网络微调到所述训练数据集，进行微调训练，得到微调训练后的网络；将所述测试数据集加入微调训练后的网络中进行训练，对花卉图像进行分类。
可选地，所述将花卉图像进行超像素分割，得到多个超像素块包括：
将花卉图像的像素点均匀分配成多个超像素块，并确定每个超像素块的初始聚类中心；将每个初始聚类中心调整到该聚类中心周围的预设区域内梯度最小的位置处；在调整后的每个聚类中心周围的预设领域内为每个像素点分配类标签，并将每个聚类中心的位置调整为所属超像素的重心，不断迭代该过程，直到每个聚类中心不再发生变化；将图像内不连续的超像素块和尺寸小于预设值的超像素块重新合并给最近的超像素块。
可选地，所述分别根据位于图像四个边界的超像素块的显著性对其余超像素块的显著性进行查询，分别得到对应四个边界的显著图，并将得到的四个显著图进行合并，得到最终的显著图包括：
基于流行排序算法确定表征图像边缘处的超像素块与其余超像素块之间的相关性的排序函数；基于确定的排序函数，确定其余超像素块与每个边界上的超像素块之间的显著值；将得到的显著值进行归一化处理，并用1作差，得到相应的显著图，并将得到的显著图进行相乘，形成最终的显著图。
可选地，所述将得到的最终的显著图进行二值化处理，得到感兴趣区域分割图像包括：
基于最大类间方差法对得到的最终显著图进行自适应二值化处理，得到二值化图；将得到的二值化图作为掩码，提取出原图的花卉区域，得到原始花卉分割图；提取原始花卉分割图的最小外接矩形，得到最小外接矩形分割图；在原图中取最小外接矩形位置裁剪的图像，得到感兴趣区域分割图像。
可选地，所述对所述预训练网络进行改进，得到适用于花卉识别的数据集的改进后的网络包括：删除所述预训练网络的最后一层全连接层，加入一层全局平均池化层，并在全局平均池化层后加入第一全连接层，以及在所述第一全连接层后加入第二全连接层，从而得到所述改进网络；其中，所述第一全连接层含有1024个节点，激活函数采用Relu，并采用Dropout处理，概率设置为0.5；所述第二全连接层的激活函数采用Softmax，输出节点为102类。
可选地，所述将改进后的网络迁移到所述训练数据集上进行迁移训练，得到迁移训练后的网络包括：保持原始InceptionV3部分的网络权重不变，利用所述训练数据集训练最后4层的网络的参数，从而得到迁移训练后的网络；其中，使用优化器RMSprop训练参数，在训练过程中，梯度下降时，每个批次包含32个样本，迭代轮数设为30轮。
可选地，所述将迁移训练后的网络微调到所述训练数据集，进行微调训练，得到微调训练后的网络包括：冻结迁移训练后的网络中的前两个初始块的参数，使该两个初始块的参数的值在训练中保持不变，利用所述训练数据集重新训练其余层的参数，从而得到微调训练后的网络；其中，使用优化器SGD训练参数，学习率设为0.001，动量参数设为0.9，损失函数使用交叉熵损失函数，在训练过程中，梯度下降时，每个批次包含32个样本，迭代轮数设为30轮。
本发明实施例提供的基于背景先验显著性的花卉图像分类方法，通过背景先验显著性的方法确定花卉区域，将花卉分割方法和基于迁移学习的深度神经网络分类方法结合，将训练迁移的InceptionV3网络用于花卉图像，利用训练好的网络模型对花卉图像进行分类。在国际公开花卉识别数据集Oxford flower-102上的实验表明：该模型比改进的Alex网络分类准确率高7.63％，且比未进行分割的花卉图像进行网络训练的模型准确率高2.85％，分类准确率达到了93.38％。
附图说明
图1为本发明实施例提供的基于背景先验显著性的花卉图像分类方法的流程示意图；
图2为本发明实施例的花卉图像分割流程示意图；
图3为本发明实施例的超像素分割流程示意图；
图4为本发明实施例的形成显著图的流程示意图；
图5为本发明实施例的花卉图像分割流程示意简图；
图6为本发明实施例的不同分类算法训练结果实验示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
图1为本发明实施例提供的基于背景先验显著性的花卉图像分类方法的流程示意图。如图1所示，本发明实施例提供的基于背景先验显著性的花卉图像分类方法包括以下步骤:
S101、将花卉图像进行超像素分割，得到多个超像素块；
S102、分别根据位于图像四个边界的超像素块的显著性对其余超像素块的显著性进行查询，分别得到对应四个边界的显著图，并将得到的四个显著图进行合并，得到最终的显著图；
S103、将得到的最终的显著图进行二值化处理，得到感兴趣区域分割图像，所述感兴趣区域分割图像包括用于训练的训练数据集和用于测试的测试数据集；
S104、将基础InceptionV3网络在大规模数据集上进行训练，得到预训练网络；
S105、对所述预训练网络进行改进，得到适用于花卉识别的数据集的改进后的网络；
S106、将改进后的网络迁移到所述训练数据集上进行迁移训练，得到迁移训练后的网络；
S107、将迁移训练后的网络微调到所述训练数据集，进行微调训练，得到微调训练后的网络；
S108、将所述测试数据集加入微调训练后的网络中进行训练，对花卉图像进行分类。
本发明实施例提供的基于背景先验显著性的花卉图像分类方法，通过背景先验显著性的方法确定花卉区域，将花卉分割方法和基于迁移学习的深度神经网络分类方法结合，将训练迁移的InceptionV3网络用于花卉图像，利用训练好的网络模型对花卉图像进行分类。即，本发明实施例提供的基于背景先验显著性的花卉图像分类方法包括基于背景先验显著性的花卉图像分割和基于迁移学习的花卉图像分类，其中，基于背景先验显著性的花卉图像分割包括上述步骤S101至S103，基于迁移学习的花卉图像分类包括上述步骤S104至S108，以下对此进行详细说明。
1基于背景先验显著性的花卉图像分割
日常拍摄的花卉图像均包含杂乱背景。即使是同类花卉图片，所处的环境也不尽相同。这些复杂背景会对花卉图像的自动分类造成一定程度上的干扰。为有效进行花卉图像自动分类，先将花卉的区域从复杂背景中提取出来，然后将分割后的图片放入网络中进行训练。
本发明实施例提供的花卉图像分割方法对花卉图片进行分割。花卉图像分割流程图如图2所示。其主要思想是：首先，将花卉图像进行超像素分割，再分别根据四个边界超像素块的显著性对其余超像素块的显著性进行查询。接着对四个查询结果进行合并，得到最终的显著图。最后对显著图进行自适应二值化，得到最终的分割结果。
S101、将花卉图像进行超像素分割，得到多个超像素块
为采用区域间对比的方式来计算一个区域的显著度，本发明根据简单线性迭代聚类(Simple Linear Iterative Cluster，SLIC)方法将图像分成K个均匀区域(即超像素)。本发明实施例取K＝200。该算法的主要思想是根据像素点间的颜色和距离相似性进行聚类。具体步骤如下：
(1)初始化聚类中心：将花卉图像的像素点均匀分配成多个超像素块，并确定每个超像素块的初始聚类中心。
本发明实施例采取均匀分配的方式确定初始聚类中心。假设图像中共有N个像素点，要将其分为K个超像素块，每个超像素块大小为N/K个像素点，相邻聚类中心点间距离(步长)
Figure BDA0001748027960000061
(2)调整聚类中心：将每个初始聚类中心调整到该聚类中心周围的预设区域内梯度最小的位置处。
为了避免聚类中心在轮廓边界上有较大的梯度，以免影响后续的聚类效果，在每个聚类中心周围3×3像素区域内重新调整聚类中心。利用下述公式(1)计算周围3×3像素区域内9个像素点的梯度值，将聚类中心移到该区域内梯度最小的地方。其中，l(·)、a(·)和b(·)分别表示在该处对应的LAB值，dx和dy分别表示x方向和y方向的梯度值。
dx＝(l(x-1)-l(x+1))2+(a(x-1)-a(x+1))2+(b(x-1)-b(x+1))2
dy＝(l(y-1)-l(y+1))2+(a(y-1)-a(y+1))2+(b(y-1)-b(y+1))2
Figure BDA0001748027960000062
(3)分配类标签：在调整后的每个聚类中心周围的预设领域内为每个像素点分配类标签，并将每个聚类中心的位置调整为所属超像素的重心，不断迭代该过程，直到每个聚类中心不再发生变化。
在每个聚类中心周围2S×2S像素领域为每个像素点分配类标签，即该像素点属于哪个聚类中心。将最近聚类中心点的超像素编号赋给该像素点，并将聚类中心的位置调整为整个超像素的重心。不断迭代该过程，直到每个聚类中心点不再发生变化。像素点和聚类中心点距离度量的公式如下述公式(2)所示：
Figure BDA0001748027960000071
Figure BDA0001748027960000072
Figure BDA0001748027960000073
其中，li、ai、bi、xi和yi分别表示第i个像素点的色彩空间中LAB值和XY坐标值，dc表示颜色空间上的梯度，ds表示两个像素点之间的欧式距离。Nc为类内最大颜色距离，不同图片该值不同，一般取Nc为10。Ns为类内最大空间距离，取
Figure BDA0001748027960000074
(4)合并超像素：将图像内不连续的超像素块和尺寸小于预设值的超像素块重新合并给最近的超像素块。
经过上述步骤(3)的迭代优化后，会出现以下缺陷：出现超像素块尺寸过小例如小于均匀分配的超像素块的三分之一，多连通情况，单超像素被切割成多个超像素等。这些情况可通过重分配超像素解决。主要思路是：按照“Z”型走向，将不连续的超像素和尺寸过小的超像素重新合并给最近的超像素，例如超像素块A比较小，最近的超像素块为B，将A的像素点范围包含进B。
通过本发明实施例的花卉图像分割方法分割的花卉图像被分为大小均匀的超像素块，每个超像素内的像素点在LAB颜色空间内都是相近的，如图3所示。
S102、分别根据位于图像四个边界的超像素块的显著性对其余超像素块的显著性 进行查询，分别得到对应四个边界的显著图，并将得到的四个显著图进行合并，得到最终的 显著图
背景区域通常出现在图像的边缘，而显著目标通常在远离目标的图像中心附近。基于这种先验知识，本文选取处于图像边缘的超像素块作为背景区域，通过与背景区域在颜色空间的对比计算出其他区域的显著度。具体步骤如下：
步骤一、基于流行排序算法确定表征图像边缘处的超像素块与其余超像素块之间的相关性的排序函数。
由于本文假定图像边缘处的超像素块为背景区域，需要计算其他超像素的相对显著性。流形排序算法根据其余节点与给定节点的相关性对其余节点进行排序，该算法目的是得到一个排序函数来计算未标记节点与给定节点的相关性。
本发明实施例采用数据内在流形结构的排序方法。该函数定义为:f:数据向量X＝[x1，x2，...，xn]T，分配给每一个点xi一个排序值，f的输出为f＝[f1，f2，...，fn]T。标记向量y＝[y1，y2，...，yn]T，其中yi＝1表示xi是一个给定的查询节点，yi＝0表示不是。在数据集上定义一个图G＝(V，E),V是数据的节点集合，而E是图的边集合，可以由一个相似性矩阵W＝[wij]n×n加权得到。节点的最佳排序计算问题可以看成是一个最优化问题：
Figure BDA0001748027960000081
为方便计算，将公式(3)进行非规范化拉普拉斯变换，进一步写成：
f*＝(D-αW)-1y...................公式(4)
其中，对角矩阵D＝diag{d11，d22，...，dnn},
Figure BDA0001748027960000082
j∈V。
通过上述公式(4)可计算两个节点的相关性的值。
步骤二、基于确定的排序函数，确定其余超像素块与每个边界上的超像素块之间的显著值。
根据流行排序公式，将输入图像用图结构表示，通过使用上述超像素分割方法生成许若干超像素块，每一块超像素对应图中一个节点Vi(1≤i≤|V|)，并指定边缘处的超像素块节点为查询节点。使用正则图，即每个节点不仅与其相邻节点相连，也与其相邻节点的相邻节点相连。通过以下公式(5)来计算边的权值：
Figure BDA0001748027960000091
其中，Li、Ai和Bi分别表示第i个超像素块的色彩空间中的平均LAB值。则每个节点的显著值则由公式(4)计算的排序值表示。
利用上边界上的超像素块为查询节点，通过上述公式(4)计算其他节点与上边界的显著性得到排序向量f*(i)。
步骤三、将得到的显著值进行归一化处理，并用1作差，得到相应的显著图，并将得到的显著图进行相乘，形成最终的显著图。
将步骤二得到的显著值归一化到[0,1]区间得到
Figure BDA0001748027960000092
将其用1作差，则得到前景显著图。利用上边界得到的显著图可表示为：
St(i)＝1-f(i)...................公式(6)
同理，利用下，左，右三个边界上的超像素块作为查询，可以得到另外三个显著图Sb、Sl和Sr，最后将4个显著图相乘，形成最终的显著图。
Sbq(i)＝St(i)×Sb(i)×SI(i)×Sr(i).......公式(7)
将形成的最终的显著图等比例归一化到[0,255]范围以便查看形成显著图的过程，如图4所示。可看出，对应某条边的显著图均不能将花卉轮廓很好的表示出来，但合成后的显著图可明显看出其中的花卉轮廓。
S103、将得到的最终的显著图进行二值化处理，得到感兴趣区域分割图像，所述感 兴趣区域分割图像包括用于训练的训练数据集和用于测试的测试数据集
通过上述步骤S102中图像显著性的方法，可得到图像合成的显著图。将其进行二值化处理，将二值化的图作为掩码提取出原图的花卉区域。具体如下：
(1)基于最大类间方差法对得到的最终显著图进行自适应二值化处理，得到二值化图。
经过计算图像显著性后，得到合成的显著图，该图背景和前景之间的类间方差很大，本发明实施例利用最大类间方差法(OTSU)对图像进行自适应二值化。OTSU是一种基于全局的二值化算法，它根据图像的特性，将图像分为前景和背景两部分。
记t为前景与背景之间的分割阈值。前景像素点所占比例为w0(t)，平均灰度为u0(t)；背景像素点所占比例为w1(t)，平均灰度为u1(t)，整张图像平均灰度为u，前景和背景图像的方差为g。易知w0(t)+w1(t)＝1。则有：
u＝w0(t)u0(t)+w1(t)u1(t)............公式(8)
g(t)＝w0(t)×(u0(t)u)2+w1(t)×(u1(t)u)2...公式(9)
联立上两式可得：
Figure BDA0001748027960000101
前景和背景差异最大时，可认为类间方差g最大，此时灰度级阈值T为最优阈值。
Figure BDA0001748027960000102
遍历显著图中的每个像素点的灰度值，当该灰度值大于阈值T时，将该位置的灰度值设为255(白色，前景)，否则灰度值设为0(黑色，背景)，说明该位置是背景。得到二值化图。
(2)将得到的二值化图作为掩码，提取出原图的花卉区域，得到原始花卉分割图。
将步骤(1)得到的二值化图作为掩码，提取出原图的花卉区域，得到原始花卉分割图。
(3)提取原始花卉分割图的最小外接矩形，得到最小外接矩形分割图。
提取步骤(2)得到的花卉分割图的最小外接矩形，得到最小外接矩形分割图。
(4)在原图中取最小外接矩形位置裁剪的图像，得到感兴趣区域分割图像。
在原图中取外接矩形位置裁剪的图像，得到ROI区域分割图。
上述步骤(1)至(4)可如图5所示。
2基于迁移学习的花卉图像分类
花卉图像分类的难点之一是花卉图像的训练数据量很小，若直接采用CNN参数初始化，并从头训练的方法，当前的训练数据量是不够的。这种情况下，最好的解决方式是采用迁移学习的方法，选用已经训练好权重的卷积神经网络，用自己的数据集进行有监督的参数训练。
本文借鉴迁移学习的思想，将在大规模数据集ImageNet上训练的InceptionV3网络结构用作预训练网络的初始化权重。修改网络的顶层使其适于花卉分类的实验。对网络进行迁移训练和微调训练，提升模型的分类效果。以下对此进行详细介绍。
S104、将基础InceptionV3网络在大规模数据集上进行训练，得到预训练网络
本发明实施例利用在大规模数据集上训练的InceptionV3网络用作花卉分类网络，从而得到预训练网络。该网络在InceptionV2的基础上改进了3种Inception模块。
第一种Inception模块中，每个5×5的卷积被两个3×3的卷积所替代。
第二种Inception结构中，将n×n卷积分解成n×1和1×n两层卷积的形式。对于17×17的网络，最终选择n＝7。
第三种Inception结构中，拓展卷积核组的输出。这种架构用在粗网络(CoarsestGrid)中促进高尺寸图像的表示。
本发明实施例使用的InceptionV3网络模型在V2的基础上，做如下的改进：优化器用RMSProp代替SGD，在类别全连接层后加入LSR层，将7×7卷积核由三个3×3卷积核代替。
S105、对所述预训练网络进行改进，得到适用于花卉识别的数据集的改进后的网 络
本发明实施例的花卉分类实验需要将102类花卉进行分类。为使该网络适用于花卉分类，改进该网络，网络改进包括：删除所述预训练网络的最后一层全连接层，加入一层全局平均池化层，为扩大感受野，并在全局平均池化层后加入第一全连接层，以及在所述第一全连接层后加入第二全连接层，从而得到所述改进网络；其中，所述第一全连接层含有1024个节点，激活函数采用Relu，并采用Dropout处理，概率设置为0.5，以防止网络过拟合；所述第二全连接层的激活函数采用Softmax，输出节点为102类。改进后网络结构如表1所示。
表1改进后的网络结构(315层)
Figure BDA0001748027960000121
Figure BDA0001748027960000131
从表1中可看出，网络输入为299×299×3，即输入图片的尺寸。网络的输出为1×1×102，对应每类花的概率值。
S106、将改进后的网络迁移到所述训练数据集上进行迁移训练，得到迁移训练后 的网络。
该步骤包括：保持原始InceptionV3部分的网络权重不变，利用所述训练数据集训练最后4层的网络的参数，从而得到迁移训练后的网络。由于训练参数较少，选择较为平稳的优化器RMSprop。训练过程中，梯度下降时，每个批次包含32个样本，迭代轮数设为30轮。
S107、将迁移训练后的网络微调到所述训练数据集，进行微调训练，得到微调训练 后的网络
该步骤包括：冻结S106中得到的网络中前两个初始块的参数，使其在训练中值保持不变，利用所述训练数据集重新训练其余层的参数。由于训练参数较多，选择收敛速度较快的优化器SGD，其中的学习率设为0.001，动量参数设为0.9，损失函数使用交叉熵损失函数。迭代轮数设为30轮，在梯度下降时，每个批次包含样本数和迭代轮数同迁移训练过程。
【实施例】
以下通过实验对本发明实施例提供的花卉图像分类方法的优点进行描述。
3实验及结果分析
3.1实验环境
本实验采用的软硬件实验环境如表2所示。
表2实验软硬件环境
Figure BDA0001748027960000132
Figure BDA0001748027960000141
在Linux系统下，花卉图像分割过程采用C++语言实现，框架使用OpenCV视觉处理库。花卉图像分类过程采用基于TensorFlow的Keras深度学习框架，对花卉图片进行训练和测试。
3.2图像数据处理
(1)数据集。本实验选用Oxford flower-102公开数据集，该数据集是由牛津大学视觉几何组创建的花卉图像数据库。它包含8189张图片，包含102种花卉图像，每一种图像都在40到258张图片之间。该数据库同时也涉及到图像识别领域中诸多难点，如照明变化、视觉变化、背景复杂、花卉种类繁多、形态多以及颜色变化复杂，加上一些不同的花具有高度相似。对花卉图像的分类研究具有重要意义。
(2)数据集增强。数据集增强方法可大大增大训练数据集的样本量，提高网络模型的泛化能力。实质上，数据增强方法是通过仿射变换等数据转换方法来人为增加数据集的样本量的过程。
本数据库只有8189张花类图片，对于102类花卉分类任务来说，平均每类只有80张图片用于花卉种类，每类花卉图片数据量依然很小，所以要进行数据集增强，才能完全满足训练网络的需求。
(a)考虑到不同的拍摄方向，为保证图像识别过程中倾斜和旋转不变性，图像在不同角度进行倾斜，并且进行水平和垂直图像旋转以增加样本数量。
(b)考虑到复杂背景下，花卉图片的某一部分也是该花卉种类，对图片进行80％大小的随机裁剪和80％到120％的随机缩放，以增加样本数量。
(c)考虑到雨、雾、雪天气和一些光照变化，不同季节不同拍照时间获取的图像亮度、饱和度和色调均有不同的变化，适当增加高斯噪声。
通过以上3种数据集增强方法，通过训练数据集生成器从原数据中不断地生成训练数据，直到达到目标迭代轮数为止。增强后的数据，在训练过程中可以有效地减少网络过拟合，增加卷积网络识别花卉图像的能力。
本数据库具有8189张图片，将其中7169张图片用作训练集，1020张图片用作测试集。用数据增强技术将该数据集拓展到原来的30倍，有效避免网络的过拟合现象。
(3)数据预处理。进行图像数据增强后，接着对图像进行预处理。考虑到102类花卉图片分辨率不均等，将所有图片缩放到299×299像素，以完成网络统一化输入的要求。考虑到图片像素是从0～255，输入计算量较复杂，将图片像素点从0～255压缩到-1～1，以简化网络的输入。
3.3分类结果与分析
在Oxford flower-102数据集上，我们利用本文的花卉图像分类算法进行了实验，将未经分割的图像数据(original)、原始花卉分割图像数据(saliency)、最小外接矩形分割图像数据(minRect)、感兴趣区域分割图像数据(roi)分别加入卷积神经网络中进行训练，前30轮为迁移训练过程，后30轮为微调训练过程，结果如图6和表3所示。
表3不同分类算法对102类花卉分类准确率
Figure BDA0001748027960000151
从中可以看出：
(1)前30轮训练过程准确率震荡幅度较大，这是因为RMSProp优化器需要先行搜索初始学习率，然后对其逐数量级下降，故准确率有所震荡。
(2)原始花卉分割图的分类结果比未分割的原图分类准确率低0.12％。这是因为原始花卉分割图虽然去除了花卉图像的背景的影响，但其周围充斥着黑色背景，位于黑色背景的像素点在网络中不能被很好的被分类出来，进而影响分类效果。
同理，具有较少黑色背景的minRect分割图(最小外接矩形)没有ROI分割图(感兴趣区域)的分类效果好。总体分类准确率minRect分割图比原图分类准确率高0.93％，ROI分割图比原图分类准确率高2.85％，验证了基于先验背景显著性的花卉分割方法对于花卉图像分类的有效性。
本发明实施例提供的基于背景先验显著性的花卉图像分类方法的分类准确率明显高于其他方法。主要有以下几点原因：
1.花卉图像背景复杂性在一定程度上给花卉分类带来了一些影响，基于背景先验显著性的花卉图像分割方法能够将花卉主区域从复杂背景中提取出来，在一定程度上减少了这些影响。
2.花卉图像具有类内多样性和类间相似性，基于迁移学习的预训练网络InceptionV3架构对于花类图片的特点具有很好的分类鲁棒性，并且提高网络提取特征信息的能力，减少过拟合和梯度弥散现象。
综上，本发明针对花卉所处环境复杂性，提出基于背景先验显著性的花卉分割方法，将花卉主体区域提取出来。针对传统网络进行花卉图片分类任务时出现的提取图片特征信息不全面和缺点，利用迁移学习的思想，采用在ImageNet数据集上预训练的InceptionV3网络架构。实验表明，该模型比未进行分割花卉图片的网络模型分类效果更好，且比传统方法和其他深度神经网络架构的分类好，分类准确率达到93.38％，验证基于背景先验显著性的花卉分割方法对于花卉图片分类任务的准确率和进行花卉识别的可行性。
需要说明的是，本发明提供的方法还可拓展到类似领域进行研究。在植物学分类上具有普适性，但要借鉴植物学专家知识库做一些深入研究。同时也可作为动物种类研究的借鉴。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种基于背景先验显著性的花卉图像分类方法，其特征在于，包括以下步骤：
将花卉图像进行超像素分割，得到多个超像素块；
分别根据位于图像四个边界的超像素块的显著性对其余超像素块的显著性进行查询，分别得到对应四个边界的显著图，并将得到的四个显著图进行合并，得到最终的显著图；
将得到的最终的显著图进行二值化处理，得到感兴趣区域分割图像，所述感兴趣区域分割图像包括用于训练的训练数据集和用于测试的测试数据集；
将基础InceptionV3网络在大规模数据集上进行训练，得到预训练网络；
对所述预训练网络进行改进，得到适用于花卉识别的数据集的改进后的网络；
将改进后的网络迁移到所述训练数据集上进行迁移训练，得到迁移训练后的网络；
将迁移训练后的网络微调到所述训练数据集，进行微调训练，得到微调训练后的网络；以及
将所述测试数据集加入微调训练后的网络中进行训练，对花卉图像进行分类；
其中，所述分别根据位于图像四个边界的超像素块的显著性对其余超像素块的显著性进行查询，分别得到对应四个边界的显著图，并将得到的四个显著图进行合并，得到最终的显著图包括：基于流行排序算法确定表征图像边缘处的超像素块与其余超像素块之间的相关性的排序函数；基于确定的排序函数，确定其余超像素块与每个边界上的超像素块之间的显著值；将得到的显著值进行归一化处理，并用1作差，得到相应的显著图，并将得到的显著图进行相乘，形成最终的显著图；
其中，所述将得到的最终的显著图进行二值化处理，得到感兴趣区域分割图像包括：基于最大类间方差法对得到的最终显著图进行自适应二值化处理，得到二值化图；将得到的二值化图作为掩码，提取出原图的花卉区域，得到原始花卉分割图；提取原始花卉分割图的最小外接矩形，得到最小外接矩形分割图；以及在原图中取最小外接矩形位置裁剪的图像，得到感兴趣区域分割图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述预训练网络进行改进，得到适用于花卉识别的数据集的改进后的网络包括：
删除所述预训练网络的最后一层全连接层，加入一层全局平均池化层，并在全局平均池化层后加入第一全连接层，以及在所述第一全连接层后加入第二全连接层，从而得到所述改进后的网络；
其中，所述第一全连接层含有1024个节点，激活函数采用Relu，并采用Dropout处理，概率设置为0.5；所述第二全连接层的激活函数采用Softmax，输出节点为102类。
3.根据权利要求1或2所述的方法，其特征在于，所述将改进后的网络迁移到所述训练数据集上进行迁移训练，得到迁移训练后的网络包括：保持原始InceptionV3部分的网络权重不变，利用所述训练数据集训练最后4层的网络的参数，从而得到迁移训练后的网络；
其中，使用优化器RMSprop训练参数，在训练过程中，梯度下降时，每个批次包含32个样本，迭代轮数设为30轮。
4.根据权利要求1或2所述的方法，其特征在于，所述将迁移训练后的网络微调到所述训练数据集，进行微调训练，得到微调训练后的网络包括：冻结迁移训练后的网络中的前两个初始块的参数，使该两个初始块的参数的值在训练中保持不变，利用所述训练数据集重新训练其余层的参数，从而得到微调训练后的网络；
其中，使用优化器SGD训练参数，学习率设为0.001，动量参数设为0.9，损失函数使用交叉熵损失函数，在训练过程中，梯度下降时，每个批次包含32个样本，迭代轮数设为30轮。
CN201810854878.XA 2018-07-30 2018-07-30 基于背景先验显著性的花卉图像分类方法 Active CN109325484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810854878.XA CN109325484B (zh) 2018-07-30 2018-07-30 基于背景先验显著性的花卉图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810854878.XA CN109325484B (zh) 2018-07-30 2018-07-30 基于背景先验显著性的花卉图像分类方法

Publications (2)

Publication Number Publication Date
CN109325484A CN109325484A (zh) 2019-02-12
CN109325484B true CN109325484B (zh) 2021-08-24

Family

ID=65264383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810854878.XA Active CN109325484B (zh) 2018-07-30 2018-07-30 基于背景先验显著性的花卉图像分类方法

Country Status (1)

Country Link
CN (1) CN109325484B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119739B (zh) * 2019-02-15 2023-02-14 南京信息工程大学 一种冰晶图片的自动分类方法
CN109829507B (zh) * 2019-02-21 2023-09-19 国网上海市电力公司 航拍高压输电线路环境检测方法
CN109977848B (zh) * 2019-03-22 2024-01-05 广州新视展投资咨询有限公司 色情检测模型的训练方法及装置、计算机设备及可读介质
CN112541934B (zh) * 2019-09-20 2024-02-27 百度在线网络技术（北京）有限公司 一种图像处理方法及装置
CN110781921A (zh) * 2019-09-25 2020-02-11 浙江农林大学 一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置
CN110852167A (zh) * 2019-10-10 2020-02-28 中国人民解放军军事科学院国防科技创新研究院 一种基于最优激活模型的遥感图像分类方法
CN110826556A (zh) * 2019-10-15 2020-02-21 遂昌濠畅电子科技有限公司 改进深度学习的广谱农作物杂草识别与定位方法
CN110853070A (zh) * 2019-11-11 2020-02-28 山东科技大学 基于显著性与Grabcut的水下海参图像分割方法
CN111652308B (zh) * 2020-05-13 2024-02-23 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
CN111897985B (zh) * 2020-06-23 2021-10-01 西安交通大学医学院第一附属医院 图像多标签分类方法、系统、设备及可读存储介质
CN113781402B (zh) * 2021-08-19 2024-03-26 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN117671499A (zh) * 2023-12-06 2024-03-08 四川农业大学 基于深度学习的花卉等级自动分类分拣与病虫害监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN106485251A (zh) * 2016-10-08 2017-03-08 天津工业大学 基于深度学习的鸡蛋胚胎分类
CN107016409A (zh) * 2017-03-20 2017-08-04 华中科技大学 一种基于图像显著区域的图像分类方法和系统
CN107516128A (zh) * 2017-06-12 2017-12-26 南京邮电大学 一种基于ReLU激活函数的卷积神经网络的花卉识别方法
CN108198172A (zh) * 2017-12-28 2018-06-22 北京大学深圳研究生院 图像显著性检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745468A (zh) * 2014-01-07 2014-04-23 上海交通大学 一种基于图结构和边界先验的显著性物体检测方法
CN106485251A (zh) * 2016-10-08 2017-03-08 天津工业大学 基于深度学习的鸡蛋胚胎分类
CN107016409A (zh) * 2017-03-20 2017-08-04 华中科技大学 一种基于图像显著区域的图像分类方法和系统
CN107516128A (zh) * 2017-06-12 2017-12-26 南京邮电大学 一种基于ReLU激活函数的卷积神经网络的花卉识别方法
CN108198172A (zh) * 2017-12-28 2018-06-22 北京大学深圳研究生院 图像显著性检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种改进的深度卷积神经网络的精细图像分类;杨国亮 等;《江西师范大学学报（自然科学版）》;20170930;第41卷(第5期);全文 *

Also Published As

Publication number Publication date
CN109325484A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN109325484B (zh) 基于背景先验显著性的花卉图像分类方法
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Wei et al. Superpixel hierarchy
CN111310773B (zh) 一种高效的卷积神经网络的车牌定位方法
CN111310861B (zh) 一种基于深度神经网络的车牌识别和定位方法
US10102443B1 (en) Hierarchical conditional random field model for labeling and segmenting images
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN108052966B (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN108629783B (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
CN105761238B (zh) 一种通过灰度统计数据深度信息提取显著目标的方法
JP2006209755A (ja) シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法
Wang et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory: a comparison
CN114492619B (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN113627472A (zh) 基于分层深度学习模型的智慧园林食叶害虫识别方法
CN106778768A (zh) 基于多特征融合的图像场景分类方法
CN111709317B (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN112329818B (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法
CN113705579A (zh) 一种视觉显著性驱动的图像自动标注方法
Milioto et al. Fast instance and semantic segmentation exploiting local connectivity, metric learning, and one-shot detection for robotics
Tan et al. Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion
CN112037230B (zh) 一种基于超像素和超度量轮廓图的林区图像分割方法
CN114842240A (zh) 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
Zhang et al. Spatial contextual superpixel model for natural roadside vegetation classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant