CN109711448A - 基于判别关键域和深度学习的植物图像细粒度分类方法 - Google Patents
基于判别关键域和深度学习的植物图像细粒度分类方法 Download PDFInfo
- Publication number
- CN109711448A CN109711448A CN201811556747.XA CN201811556747A CN109711448A CN 109711448 A CN109711448 A CN 109711448A CN 201811556747 A CN201811556747 A CN 201811556747A CN 109711448 A CN109711448 A CN 109711448A
- Authority
- CN
- China
- Prior art keywords
- image
- classification
- key field
- segmentation
- plant image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000004069 differentiation Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000000203 mixture Substances 0.000 claims abstract description 6
- 238000013526 transfer learning Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 241000196324 Embryophyta Species 0.000 description 38
- 238000013527 convolutional neural network Methods 0.000 description 33
- 238000002474 experimental method Methods 0.000 description 19
- 241000723353 Chrysanthemum Species 0.000 description 12
- 235000007516 Chrysanthemum Nutrition 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 7
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 244000115658 Dahlia pinnata Species 0.000 description 3
- 235000012040 Dahlia pinnata Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000013016 learning Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 235000005881 Calendula officinalis Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 240000001432 Calendula officinalis Species 0.000 description 1
- 240000004385 Centaurea cyanus Species 0.000 description 1
- 235000005940 Centaurea cyanus Nutrition 0.000 description 1
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 1
- 241000723366 Coreopsis Species 0.000 description 1
- 244000128583 Coreopsis cardaminifolia Species 0.000 description 1
- 235000005912 Coreopsis cardaminifolia Nutrition 0.000 description 1
- 101100153591 Cricetulus griseus TOP1 gene Proteins 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 241000182534 Pericallis hybrida Species 0.000 description 1
- 240000000785 Tagetes erecta Species 0.000 description 1
- 240000007316 Xerochrysum bracteatum Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于判别关键域和深度学习的植物图像细粒度分类方法，该方法利用一同时考虑关键域和全局域的CNN分类模型对待分类图像进行细粒度分类，所述CNN分类模型的训练过程包括以下步骤：1)获得原始植物图像样本集，通过DeepLab对原始植物图像进行像素级语义分割，获得植物图像中待测目标的判别关键域，形成判别关键域图像；2)将所述判别关键域图像与原始植物图像混合，形成分类训练数据集；3)基于迁移学习训练基于GoogLeNet的CNN分类模型。与现有技术相比，本发明具有分类准确性高、鲁棒性好等优点，解决植物图像细粒度分类中准确率不高的问题。
Description
技术领域
本发明涉及图像细粒度分类方法，尤其是涉及一种基于判别关键域和深度学习的植物图像细粒度分类方法。
背景技术
目前，植物物种的分类主要依靠植物专业领域专家的人工判别，导致基于图像的植物识别任务工作量很大而且效率不高。在深度学习算法在图像领域的兴起之后，基于计算机视觉的自动分类得了很大的发展。文献“PANDA:Pose Aligned Networks for DeepAttribute Modeling”(Zhang N,Paluri M,Ranzato M,et al..2014:1637-1644)首先利用梯度方向直方图(HOG)和基于组件的检测算法DPM以及Poselet方法对鸟类目标及其各局部区域检测，针对检测目标分别提取CNN特征进行分类。文献“Part-Based R-CNNs for Fine-Grained Category Detection”(Zhang N,Donahue J,Girshick R,et al.EuropeanConference on Computer Vision.Springer,Cham,2014:834-849)采用自底向上的区域生成法产生待检测鸟类目标局部可能的候选框，结合候选区域之间的几何约束，基于R-CNN训练三个检测模型分别提取局部特征，采用将三个模型的全连接层特征级联，形成整张图像的细粒度特征用于分类。文献“Part Localization using Multi-Proposal Consensusfor Fine-Grained Categorization”(Shih K J,Mallya A,Singh S,et al.ComputerScience,2012)利用AlexNet定位鸟类目标的关键点和区域，使用边缘框对图像分块产生对应的视觉特征，筛选最终关键点预测结果拼接后进行分类。文献“Deep LAC:Deeplocalization,alignment and classification for fine-grained recognition”(LinD,Shen X,Lu C,et al.IEEE Conference on Computer Vision and PatternRecognition.IEEE Computer Society,2015:1666-1674)提出了深度位置对齐模型对鸟类目标进行部件定位、对齐和分类，提出了阀门连接函数自适应地减小分类和对齐的误差。文献“自上而下注意图分割的细粒度图像分类”(冯语姗,王子磊.中国图象图形学报,2016,21(9):1147-1154)针对汽车和飞行器采用了基于注意图分割的分类模型，先用卷积神经网络对图像进行预分类，然后生成注意图，利用注意图分割出关键的目标区域，通过对分割图提取CNN特征，再进行细粒度分类。文献“The application of two-level attention modelsin deep convolutional neural network for fine-grained image classification”(Xiao T,Xu Y,Yang K,et al.Computer Vision and Pattern Recognition.IEEE,2015:842-850)基于鸟类目标构建一个两级模型，第一级模型采用CNN来筛选主要目标，实现去噪。第二级模型利用上一级模型输出的去噪后的数据，重新训练模型，来提取特征进行聚类分析和SVM分类。文献“Object-Part Attention Driven Discriminative Localizationfor Fine-grained Image Classification”(Peng Y,He X,Zhao J.IEEE Transactionson Image Processing,2017,PP(99):1-1)基于鸟类、汽车和猫狗宠物三种数据集，改进了两级注意力模型分别用于定位物体在图像中的位置和学习局部特征，再利用了空间约束模型用于强调局部之间的约束。
上述方法主要都是通过采用某些方法确定图像中关键判定性区域，去除背景干扰，再执行分类任务。但是这些方法在关键判定性区域的选择上，没有考虑到图像中目标高阶语义的重要性，在筛选关键判定性区域时存在着较大的目标定位的不准确性和冗余，从而对后续特征提取和分类造成叠加误差，造成分类精度不够高。
发明内容
本发明的目的就是为了克服上述现有技术存在的植物图像细粒度分类中准确率不高的问题而提供一种基于判别关键域和深度学习的植物图像细粒度分类方法。
本发明的目的可以通过以下技术方案来实现：
一种基于判别关键域和深度学习的植物图像细粒度分类方法，该方法利用一同时考虑关键域和全局域的CNN分类模型对待分类图像进行细粒度分类，所述CNN分类模型的训练过程包括以下步骤：
1)获得原始植物图像样本集，通过DeepLab对原始植物图像进行像素级语义分割，获得植物图像中待测目标的判别关键域，形成判别关键域图像；
2)将所述判别关键域图像与原始植物图像混合，形成分类训练数据集；
3)基于迁移学习训练基于GoogLeNet的CNN分类模型。
进一步，所述步骤1)中，利用DeepLab分割模型进行语义分割，所述DeepLab分割模型的训练过程包括以下步骤：
101)获得分割训练图像集；
102)利用多层空洞卷积和池化提取图像特征图；
103)对所述图像特征图进行上采样得到与原图像尺度相同的图像像素分类结果；
104)使用全连接CRF及底层细节信息对所述图像像素分类结果对应的分类局部特征进行优化；
105)调节模型参数，获得最优的DeepLab分割模型。
进一步，所述分割训练图像集包括分割训练图像及各图像对应的分割标注信息。
进一步，所述步骤1)中，利用DeepLab分割模型进行语义分割后，获得一对一映射的分割处理结果图，对照所述分割处理结果图，对原始植物图像进行处理得到判别关键域。
进一步，所述步骤1)中，利用DeepLab分割模型进行语义分割后，根据像素级分割图，选取最小外接矩形的方法对原始植物图像进行框选和裁剪，得到判别关键域。
进一步，所述基于GoogLeNet的CNN分类模型包括卷积层、池化层、全连接层、分类器、ReLU非线性单元和inception模块。
进一步，该方法利用图像分割指标和图像分类指标进行可靠性评价，所述图像分割指标包括像素精度、均像素精度和均交并比，所述图像分类指标包括top-N正确率。
与现有技术相比，本发明具有以如下有益效果：
1)该方法采用DeepLab算法对图像进行语义分割，得到像素级的分割图，通过映射形成植物的局部判别关键域，并针对植物中存在的不连通、簇类花型等图像局部判别域不完整问题，提出结合局部判别关键域和全局判别域，采用卷积神经网络基于迁移学习机制建立植物图像分类模型，提高了网络学习图像特征的能力，获得了更高的分类准确性，使得网络在植物图像细粒度分类上具有更强的适应性，有效提高分类精度。
2)本发明利用了深度学习在图像特征提取方面的优势，自动的从大规模图像数据集中学习图像的高层语义信息，相比于传统的特征学习方法具有更好的效果和更强的鲁棒性，可以扩展到更大规模和更多种类的图像识别任务中去。
3)本发明方法在公开植物图像数据集上的对比实验表明，该算法可以有效地提高植物的细粒度分类准确率，且在植物图像领域的研究具有较高研究价值。
附图说明
图1为空洞卷积示意图，其中，(a)为rate为1时的卷积操作，(b)为rate为2时的卷积操作；
图2为DeepLab分割模型训练过程示意图；
图3为CNN分类模型训练过程示意图；
图4为实施例中采用oriData、segData和KeyobjData得到的判别域图像示例。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明提供一种基于判别关键域和深度学习的植物图像细粒度分类方法(记为DL-CNN)，利用一同时考虑关键域和全局域的CNN分类模型对待分类图像进行细粒度分类，基于DeepLab的方法实现植物图像像素级语义分割，找到图像中具有判别意义的关键区域，同时结合全局域，采用CNN模型提取语义特征，采用softmax分类器进行分类，提高细粒度分类的精度。
1、卷积神经网络
典型的卷积神经网络(Convolutional Neural Network，CNN)模型由AlexNet由卷积层、池化层、全连接层、分类器和ReLU非线性单元构成。GoogLeNet是改进的网络模型，加入的inception模块可以有效地提取更多特征来提升训练结果。原始图像数据集经输入层送入网络，神经元自动提取图像的局部和全局特征，由全连接层连接所有的特征得到CNN提取的该图像的特征表示，将输出值训练分类器，比如一般常用的softmax分类器等。
CNN具有局部感受野、权值共享和下采样三种结构特征。通过这些特征来保证输入信号目标在一定程度上的平移、放缩和扭曲后的不变性。基于局部感受野和权值共享，在减少权值矩阵的同时保证网络的学习能力不受影响，下采样提高了模型逐层学习全局特征得到高阶语义的能力。
(1)前向传播阶段
前向传播用于迭代更新网络的参数，在前向传播中，特征的运算公式为：
其中，y(l)表示第l层的输出，x(i)是上一层的输出作为这一层的输入向量，表示卷积运算，bl是偏置，Wi表示该层包含的卷积核的权值，m表示输入特征图的集合，f(x)表示非线性激活函数，通常用的是Sigmoid、Tanh和ReLu，以及最新的一些PReLU、Maxout等。
(2)反向传播阶段
在m个样本参与的前向传播过程后，会输出对应的每个类别的预测结果，根据样本的标签，即网络的期望输出定义网络的优化目标为：
其中，L(zi)是定义的网络的损失函数，网络通过迭代训练最小化损失函数来降低网络的分类误差，zi是网络反向传播的输入，在公式(1)中的最后一层网络的输出，W表示网络的权值，λ表示对应的归一项所占的比重。通常网络的损失函数要根据具体的目标函数来定，在多分类任务中通常采用Softmax分类器的输出来最小化交叉熵损失函数。Softmax的归一化后的概率函数如下：
zi＝zi-max(z1,z2,…,zm)(3)
其中，zi是网络对样本的预测类别，减去最大值来保持计算的稳定性，由于网络最后的归一化所以此操作不会造成影响，根据σi(z)来预测zi属于每个类别的概率。
定义交叉熵损失函数为：
L(zi)＝-logσi(z)(5)
利用随机梯度下降法来对公式(1)中每一层的参数W和bl求导，更新网络的参数。
2、DeepLab语义分割
语义图像分割旨在为图像中的每个像素生成分类标签。卷积神经网络虽然在提取局部特征和利用小感受野进行良好预测方面取得了良好的效果，但它们缺乏利用全局上下文信息的能力，无法直接建模预测之间的相互作用。DeepLab采用全卷积网络(FullyConvolutional Networks,FCN)改进了标准的卷积操作，利用空洞卷积扩展感受野，获得更多上下文信息，利用完全连接的条件随机场优化分割边缘，提高了模型捕获细节的能力。
(1)全卷积网络
FCN是在CNN的基础上改进得到的，可以实现对图像进行像素级别的分割。它将卷积神经网络中的全连接层全部换成卷积层，利用反卷积操作对最后一个卷积层得到的特征图进行上采样，最终得到一个与原图大小相同的像素级预测。FCN避免了CNN重复进行的池化和下采样操作导致的特征图分辨率下降，保留了原始输入图像的空间信息。它通过对上采样的特征图进行逐像素分类，计算softmax分类损失，最终获得像素级别的分割结果。
(3)空洞卷积(Atrous Convolution)
由于图像分割预测是像素级的输出，因此FCN中有两个关键，一个是池化减小特征尺寸增大感受野，另一个是上采样扩大特征尺寸。在先减小再增大尺寸的过程中，造成了空间信息损失。为了解决下采样带来的空间信息损失问题，DeepLab采用空洞卷积对卷积操作进行改进。
不同于反卷积，空洞卷积不通过上采样扩大特征分辨率，而是通过改变卷积核增大感受野。在空洞卷积中有个重要的参数rate，这个参数代表了空洞的大小。从原图角度，所谓空洞就是在原图上做采样。采样的频率是根据rate参数来设置的，当rate为1时候，就是原图不丢失任何信息采样，如图1(a)，此时卷积操作就是标准的卷积操作，当rate>1，比如2的时候，就是在原图上每隔(rate-1)个像素采样，如图1(b)。采样后的图像与kernel做卷积，就变相增大了感受野。如果从kernel角度去看空洞，就是扩大kernel的尺寸，在kernel中，相邻点之间插入rate-1个零，然后将扩大的kernel和原图做卷积，同样是增大了感受野。
(3)全连接条件随机场
条件随机场(Conditional Random Field，CRF)方法通常在用于改进语义分割效果。CRF方法是一种基于底层图像像素强度进行“平滑”分割的图模型，在运行时会将像素强度相似的点标记为同一类别。DeepLab中CRF模型采用能量函数：
其中，变量xi是像素i的标签，
P(xi)是由CNN计算的像素i的输出标签的分配概率，
满足
km(fi,fj)是(fi,fj)之间的高斯核，fi像素i的特征向量，由参数ωm加权。DeepLab中高斯核采用双边位置和颜色作为参考项：
其中，前一个内核考虑像素位置P和颜色I，后一个内核只取决于像素位置。超参数σα,σβ，σγ表示高斯核的尺度。二元势函数表征像素与像素之间的关系，对相似的像素，分配的标签也更有可能分配相同的标签，这样可以细化边缘。
3、CNN分类模型的训练
本发明提出的CNN分类模型的训练过程包括以下步骤：
1)获得原始植物图像样本集，通过DeepLab对原始植物图像进行像素级语义分割，得到图像中待检测植物图像目标及其轮廓区域，获得植物图像中待测目标的判别关键域，形成判别关键域图像。
步骤1)中，利用DeepLab分割模型进行语义分割，语义分割后，获得一对一映射的分割处理结果图，对照所述分割处理结果图，对原始植物图像进行处理得到判别关键域。
2)将所述判别关键域图像与原始植物图像混合，形成分类训练数据集。对植物图像进行语义分割后，生成的判别关键域不可避免的存在过分割、不连通和不完整等情况。为了减少分割误差对后续分类模型的影响，本发明把判别关键域图像与原始图像混合，构成既包含局部信息又包含有全局信息的分类训练数据集。
3)基于迁移学习训练基于GoogLeNet的CNN分类模型。对于深度神经网络，采用较小的数据集学习所有参数会导致模型过拟合和梯度弥散问题，本发明在ImageNet的基础上，采用迁移学习方式，利用构建的混合数据集，训练GoogLeNet分类模型。
所述DeepLab分割模型的训练过程包括以下步骤：
101)获得分割训练图像集，分割训练图像集包括分割训练图像及各图像对应的分割标注信息；
102)利用多层空洞卷积和池化提取每张图像的得分图，即图像特征图；
103)对所述图像特征图进行上采样得到与原图像尺度相同的图像像素分类结果；
104)使用全连接CRF及底层细节信息对所述图像像素分类结果对应的分类局部特征进行优化；
105)输入验证图像，对模型参数进行优化调节，获得最优的DeepLab分割模型。
训练语义分割模型的主要流程如图2所示，训练分类模型的主要流程图为图3所示。
4、实验数据与分析
(1)实验数据与环境
本实施例的实验采用的分割数据集来源于从百度爬虫的植物图片和Oxford 17中随机挑选的图片，总共1273张，记为MyData数据集。通过手工分割标注，得到1273张标注图。将MyData拆分为训练集600张，验证集423张，测试集250张。分类数据集采用牛津大学公开植物图像数据集Oxford 17和Oxford 102，Oxford17共有17类植物，每个类别各有80张图片，总1360张图片数据集。Oxford 102中有102类植物图像，每个类别分别包含40～258张图片，总共8189张图片。分类训练过程中，训练集与验证集图片数量比例采用3:1。所有图片均经过重新处理为256*256尺寸大小。
本实验的分割和分类训练过程均在基于GPU的并行计算条件下进行。操作系统为Ubuntu16.04，运行内存8G，GeForce1060，显存6G，CUDA8.0，cudnn5.0，caffe。
(2)评价指标
1)图像分割指标
像素精度PA(Pixel Accuracy)：
假设共有k+1类(背景算一类)，Pij表示本属于类i但被预测为类j的像素数量，Pji表示本属于类j但被预测为类i的像素数量，Pii表示被正确预测的数量。
均像素精度MPA(Mean Pixel Accuracy)：
均交并比MIoU(Mean intersection over Union)：
2)图像分类指标
top-N正确率是指图像识别算法给出前N个答案中有一个是正确的概率。本实施例选取top-1作为此次分类任务的评价指标。
(3)实验结果与分析
实验一
本实验的目的是寻找分割模型的最优参数。实验采用MyData数据集，实验对DeepLab分割模型中最重要的两个参数batch_size和weight_decay进行调优。其余参数采用默认值(Base_lr为0.001，Lr_policy为poly,power＝0.9)。
实验首先固定weight_decay为0.0005，寻找batch_size的最优参数，实验结果如表1所示可以看出，当batch_size为8时分割指标最好。其次，固定batch_size为8，寻找weight_decay的最优参数，实验结果如表2所示。
表1不同batch size下的分割指标
表2batch size固定，不同Weight decay下的分割指标
可见，当Batch_size为8，weight_decay为0.0005时达到了PA为0.98、MPA为0.98、MIoU为0.96，达到最优的分割准确率。
实验二
本实验用于验证本发明细粒度方法的有效性。实验将比较判别关键域构成的五种方式，以及两种分类模型。
五种判别域构建方法：
①oriData：采用原始图像作为全局判别域。
②segData：根据分割图，对相应的原始图像做一对一像素级映射，得到只保留前景目标、背景均全黑的图像，构成局部关键判别域。
③KeyobjData：根据像素级分割图，选取最小外接矩形的方法对原图进行框选和裁剪，得到局部关键判别域。和处理方式②相比，采用该方法得到的裁剪图会包含前景目标以及前景目标边缘处的少部分背景，但是可以减少过分割和由于不连通造成的分割误差。
④SegData_oriData：将segData与oriData数据集混合，得到既含有图像局部判别关键域，又包含全局判别域的双判别域。
⑤Keyobj_oriData：将KeyobjData与oriData数据集混合，得到既含有图像判别关键域，又包含全局判别域的双判别域。
采用oriData、segData和KeyobjData得到的判别域图像示例如图4所示。可以看出，序号为A的花得到了正常分割，B则出现了过分割，C由于花型比较分散，出现了不连通和缺失，D为花型较小的簇类花型，出现了缺失和欠分割。
同时，实验采用Oxford 17和Oxford 102两个数据集，比较了AlexNet和GoogLeNet两种分类模型，在四种判别域构成方案下的Top-1分类准确度，如表3所示。
表3模型Top-1分类结果(％)
可以看到，基于GoogLeNet的分类模型总体检测精度高于基于AlexNet的分类模型。采用segData方案得到的局部关键判别域用于分类，Top-1精度低于采用原图作为全局判别域的分类结果，这是由于分割过程中出现的分割误差(如过分割、由于植物花型分散不连通造成分割后花型部分丢失等造成的)。采用KeyobjData方案得到的局部关键判别域用于分类，在GoogLeNet模型下，Top-1精度略高于采用原图作为全局判别域的分类结果。采用本发明提出的双判别域用于分类，在GoogLeNet模型下，相对于采用原图作为全局判别域的分类结果，Top-1精度在Oxford 17和Oxford 102分别提高2.74％和4.26％。
表4给出了分类检测中单帧图像的处理时间，可以看到基于GoogLeNet，在xford17数据集上，单张图像的检测时间仅为27ms，在Oxford 102数据集上，单张图像的检测时间仅为15.8ms。
表4分类中单张图像的处理时间(s)
实验三
本实验用于验证所提方法在类别更加相似的植物图像上的有效性。实验选取了十八种不同的菊花，来自于互联网，总共1352张。菊花类别序号、类别名称和图片数量信息如下：1万寿菊(99)、2矢车菊(65)、3日光菊(74)、4金盏菊(72)、5瓜叶菊(99)、6大丽菊(59)、7波斯菊(71)、8金光菊(98)、9礼花菊(84)、10雏菊(141)，11乒乓菊(74)，12幌菊(19)，13杭菊(40)，14芙蓉菊(45)，15荷兰菊(63)，16蛇目菊(75)，17金丝皇菊(39)，18麦秆菊(135)。括号内的数字为图片数量，实验中按3:1划分为训练集和测试集。
实验结果如表5和表6所示。
表5菊类图像的分类结果(％)
表6GoogLeNet模型下每个类别分类的结果
从表5可以看出，本发明提出的方案对相似植物仍然能够以较高的准确率实现细分。从表6可以看出，除大丽菊和幌菊识别准确率较低外，其余种类Top-1识别率都在90％以上。分析原因，其中，幌菊识别率低的主要原因是训练样本较少，只有12张。大丽菊识别率低主要因为训练样本图像中的花型都很大，占据了画面的主要部分，因此提取的局部判别域和全局判别域基本没有差异，因此改进效果不明显。
实验四
本实验用于验证本发明方法与SIFT+K-means+SVM、GrabCut+CNN的其他植物分类方法比较下的有效性。
SIFT+K-means+SVM方法对读取的原始图像提取SIFT特征点进行K-means聚类，然后训练SVM，在测试集上得出分类精度。GrabCut是一种基于图论的图像分割方法，利用了K-means聚类、高斯混合模型建模和最大流最小割算法，对使用GrabCut分割得到的图像前景图经过AlexNet和GoogLeNet分类训练，得到的分类结果如表7。
表7本发明方法与SIFT+K-means+SVM、GrabCut+CNN的分类结果(％)
由表7，对比SIFT+KMeans+SVM和GrabCut+CNN的方法可以看出，本发明DL-CNN方法在提高分类精度上效果更加明显，证明了本发明方法的有效性。
本发明方法在Oxford 17和Oxford 102两个公开数据集以及植物子类数据集上，均取得了较高的TOP-1识别准确率。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (7)
1.一种基于判别关键域和深度学习的植物图像细粒度分类方法，其特征在于，该方法利用一同时考虑关键域和全局域的CNN分类模型对待分类图像进行细粒度分类，所述CNN分类模型的训练过程包括以下步骤：
1)获得原始植物图像样本集，通过DeepLab对原始植物图像进行像素级语义分割，获得植物图像中待测目标的判别关键域，形成判别关键域图像；
2)将所述判别关键域图像与原始植物图像混合，形成分类训练数据集；
3)基于迁移学习训练基于GoogLeNet的CNN分类模型。
2.根据权利要求1所述的基于判别关键域和深度学习的植物图像细粒度分类方法，其特征在于，所述步骤1)中，利用DeepLab分割模型进行语义分割，所述DeepLab分割模型的训练过程包括以下步骤：
101)获得分割训练图像集；
102)利用多层空洞卷积和池化提取图像特征图；
103)对所述图像特征图进行上采样得到与原图像尺度相同的图像像素分类结果；
104)使用全连接CRF及底层细节信息对所述图像像素分类结果对应的分类局部特征进行优化；
105)调节模型参数，获得最优的DeepLab分割模型。
3.根据权利要求2所述的基于判别关键域和深度学习的植物图像细粒度分类方法，其特征在于，所述分割训练图像集包括分割训练图像及各图像对应的分割标注信息。
4.根据权利要求2所述的基于判别关键域和深度学习的植物图像细粒度分类方法，其特征在于，所述步骤1)中，利用DeepLab分割模型进行语义分割后，获得一对一映射的分割处理结果图，对照所述分割处理结果图，对原始植物图像进行处理得到判别关键域。
5.根据权利要求2所述的基于判别关键域和深度学习的植物图像细粒度分类方法，其特征在于，所述步骤1)中，利用DeepLab分割模型进行语义分割后，根据像素级分割图，选取最小外接矩形的方法对原始植物图像进行框选和裁剪，得到判别关键域。
6.根据权利要求1所述的基于判别关键域和深度学习的植物图像细粒度分类方法，其特征在于，所述基于GoogLeNet的CNN分类模型包括卷积层、池化层、全连接层、分类器、ReLU非线性单元和inception模块。
7.根据权利要求1所述的基于判别关键域和深度学习的植物图像细粒度分类方法，其特征在于，该方法利用图像分割指标和图像分类指标进行可靠性评价，所述图像分割指标包括像素精度、均像素精度和均交并比，所述图像分类指标包括top-N正确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811556747.XA CN109711448A (zh) | 2018-12-19 | 2018-12-19 | 基于判别关键域和深度学习的植物图像细粒度分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811556747.XA CN109711448A (zh) | 2018-12-19 | 2018-12-19 | 基于判别关键域和深度学习的植物图像细粒度分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711448A true CN109711448A (zh) | 2019-05-03 |
Family
ID=66255934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811556747.XA Pending CN109711448A (zh) | 2018-12-19 | 2018-12-19 | 基于判别关键域和深度学习的植物图像细粒度分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711448A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135502A (zh) * | 2019-05-17 | 2019-08-16 | 东南大学 | 一种基于强化学习策略的图像细粒度识别方法 |
| CN110443143A (zh) * | 2019-07-09 | 2019-11-12 | 武汉科技大学 | 多分支卷积神经网络融合的遥感图像场景分类方法 |
| CN110781921A (zh) * | 2019-09-25 | 2020-02-11 | 浙江农林大学 | 一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置 |
| CN110852341A (zh) * | 2019-09-23 | 2020-02-28 | 平安科技（深圳）有限公司 | 基于深度学习的白术检测方法、及其相关设备 |
| CN110866931A (zh) * | 2019-11-18 | 2020-03-06 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
| CN110941288A (zh) * | 2019-12-24 | 2020-03-31 | 华中科技大学 | 一种用于低空航空器的自动避障装置和方法 |
| CN111222530A (zh) * | 2019-10-14 | 2020-06-02 | 广州极汇信息科技有限公司 | 一种细粒度图像分类方法、系统、装置和存储介质 |
| CN111583655A (zh) * | 2020-05-29 | 2020-08-25 | 苏州大学 | 一种车流量检测方法、装置、设备及介质 |
| CN111639750A (zh) * | 2020-05-26 | 2020-09-08 | 珠海格力电器股份有限公司 | 智能花盆的控制方法、装置、智能花盆及存储介质 |
| CN111666842A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于双流空洞卷积神经元网络的阴影检测方法 |
| CN111709933A (zh) * | 2020-06-17 | 2020-09-25 | 广州麦仑信息科技有限公司 | 一种令纸缺陷分割分类的检测方法 |
| CN111860672A (zh) * | 2020-07-28 | 2020-10-30 | 北京邮电大学 | 一种基于分块卷积神经网络的细粒度图像分类方法 |
| CN112733652A (zh) * | 2020-12-31 | 2021-04-30 | 深圳赛安特技术服务有限公司 | 图像目标识别方法、装置、计算机设备及可读存储介质 |
| CN114341948A (zh) * | 2019-09-05 | 2022-04-12 | 巴斯夫欧洲公司 | 用于植物物种识别的系统和方法 |
| CN114451180A (zh) * | 2022-02-14 | 2022-05-10 | 四川上太科技有限公司 | 一种基于光伏的大棚系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316053A (zh) * | 2017-05-25 | 2017-11-03 | 华东理工大学 | 一种布料图像快速匹配检索方法 |
| CN108022243A (zh) * | 2017-11-23 | 2018-05-11 | 浙江清华长三角研究院 | 一种基于深度学习的图像中纸张检测方法 |
| US20180137406A1 (en) * | 2016-11-15 | 2018-05-17 | Google Inc. | Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs |
| CN108345887A (zh) * | 2018-01-29 | 2018-07-31 | 清华大学深圳研究生院 | 图像语义分割模型的训练方法及图像语义分割方法 |
| CN108665496A (zh) * | 2018-03-21 | 2018-10-16 | 浙江大学 | 一种基于深度学习的端到端的语义即时定位与建图方法 |
| CN108681692A (zh) * | 2018-04-10 | 2018-10-19 | 华南理工大学 | 一种基于深度学习的遥感图像内新增建筑识别方法 |
| CN109002845A (zh) * | 2018-06-29 | 2018-12-14 | 西安交通大学 | 基于深度卷积神经网络的细粒度图像分类方法 |
-
2018
- 2018-12-19 CN CN201811556747.XA patent/CN109711448A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137406A1 (en) * | 2016-11-15 | 2018-05-17 | Google Inc. | Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs |
| CN107316053A (zh) * | 2017-05-25 | 2017-11-03 | 华东理工大学 | 一种布料图像快速匹配检索方法 |
| CN108022243A (zh) * | 2017-11-23 | 2018-05-11 | 浙江清华长三角研究院 | 一种基于深度学习的图像中纸张检测方法 |
| CN108345887A (zh) * | 2018-01-29 | 2018-07-31 | 清华大学深圳研究生院 | 图像语义分割模型的训练方法及图像语义分割方法 |
| CN108665496A (zh) * | 2018-03-21 | 2018-10-16 | 浙江大学 | 一种基于深度学习的端到端的语义即时定位与建图方法 |
| CN108681692A (zh) * | 2018-04-10 | 2018-10-19 | 华南理工大学 | 一种基于深度学习的遥感图像内新增建筑识别方法 |
| CN109002845A (zh) * | 2018-06-29 | 2018-12-14 | 西安交通大学 | 基于深度卷积神经网络的细粒度图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张雪芹 等: "一种基于改进SURF和K-Means聚类的布料图像匹配算法", 《华东理工大学学报(自然科学版)》 * |
| 王平: "基于迁移学习的烟草叶片病情害识别", 《变频器世界》 * |
| 陈天华 等: "采用改进DeepLab网络的遥感图像分割", 《测控技术》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135502A (zh) * | 2019-05-17 | 2019-08-16 | 东南大学 | 一种基于强化学习策略的图像细粒度识别方法 |
| CN110443143A (zh) * | 2019-07-09 | 2019-11-12 | 武汉科技大学 | 多分支卷积神经网络融合的遥感图像场景分类方法 |
| CN114341948A (zh) * | 2019-09-05 | 2022-04-12 | 巴斯夫欧洲公司 | 用于植物物种识别的系统和方法 |
| CN110852341A (zh) * | 2019-09-23 | 2020-02-28 | 平安科技（深圳）有限公司 | 基于深度学习的白术检测方法、及其相关设备 |
| CN110781921A (zh) * | 2019-09-25 | 2020-02-11 | 浙江农林大学 | 一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置 |
| CN111222530A (zh) * | 2019-10-14 | 2020-06-02 | 广州极汇信息科技有限公司 | 一种细粒度图像分类方法、系统、装置和存储介质 |
| CN110866931A (zh) * | 2019-11-18 | 2020-03-06 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
| CN110941288A (zh) * | 2019-12-24 | 2020-03-31 | 华中科技大学 | 一种用于低空航空器的自动避障装置和方法 |
| CN111666842A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于双流空洞卷积神经元网络的阴影检测方法 |
| CN111666842B (zh) * | 2020-05-25 | 2022-08-26 | 东华大学 | 一种基于双流空洞卷积神经元网络的阴影检测方法 |
| CN111639750A (zh) * | 2020-05-26 | 2020-09-08 | 珠海格力电器股份有限公司 | 智能花盆的控制方法、装置、智能花盆及存储介质 |
| CN111583655A (zh) * | 2020-05-29 | 2020-08-25 | 苏州大学 | 一种车流量检测方法、装置、设备及介质 |
| CN111583655B (zh) * | 2020-05-29 | 2021-12-24 | 苏州大学 | 一种车流量检测方法、装置、设备及介质 |
| CN111709933A (zh) * | 2020-06-17 | 2020-09-25 | 广州麦仑信息科技有限公司 | 一种令纸缺陷分割分类的检测方法 |
| CN111709933B (zh) * | 2020-06-17 | 2022-04-29 | 广州麦仑信息科技有限公司 | 一种令纸缺陷分割分类的检测方法 |
| CN111860672A (zh) * | 2020-07-28 | 2020-10-30 | 北京邮电大学 | 一种基于分块卷积神经网络的细粒度图像分类方法 |
| CN111860672B (zh) * | 2020-07-28 | 2021-03-16 | 北京邮电大学 | 一种基于分块卷积神经网络的细粒度图像分类方法 |
| CN112733652A (zh) * | 2020-12-31 | 2021-04-30 | 深圳赛安特技术服务有限公司 | 图像目标识别方法、装置、计算机设备及可读存储介质 |
| CN112733652B (zh) * | 2020-12-31 | 2024-04-19 | 深圳赛安特技术服务有限公司 | 图像目标识别方法、装置、计算机设备及可读存储介质 |
| CN114451180A (zh) * | 2022-02-14 | 2022-05-10 | 四川上太科技有限公司 | 一种基于光伏的大棚系统 |
| CN114451180B (zh) * | 2022-02-14 | 2023-12-12 | 四川上太科技有限公司 | 一种基于光伏的大棚系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711448A (zh) | 基于判别关键域和深度学习的植物图像细粒度分类方法 | |
| CN110909820B (zh) | 基于自监督学习的图像分类方法及系统 | |
| Zalpour et al. | A new approach for oil tank detection using deep learning features with control false alarm rate in high-resolution satellite imagery | |
| Yuan et al. | Gated CNN: Integrating multi-scale feature layers for object detection | |
| Levner et al. | Classification-driven watershed segmentation | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| Nawaz et al. | AI-based object detection latest trends in remote sensing, multimedia and agriculture applications | |
| Zhang et al. | Research on mine vehicle tracking and detection technology based on YOLOv5 | |
| CN109886161A (zh) | 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法 | |
| Codella et al. | Lymphoma diagnosis in histopathology using a multi-stage visual learning approach | |
| Feng et al. | Bag of visual words model with deep spatial features for geographical scene classification | |
| Zhang et al. | Saliency detection via extreme learning machine | |
| Hada et al. | Sparse oblique decision trees: A tool to understand and manipulate neural net features | |
| Song et al. | Occluded offline handwritten Chinese character inpainting via generative adversarial network and self-attention mechanism | |
| CN109034213A (zh) | 基于相关熵原则的高光谱图像分类方法和系统 | |
| Liu et al. | Research on data classification and feature fusion method of cancer nuclei image based on deep learning | |
| CN114219049A (zh) | 一种基于层级约束的细粒度笔石图像分类方法和装置 | |
| CN114581928A (zh) | 一种表格识别方法及系统 | |
| CN116844143B (zh) | 基于边缘增强的胚胎发育阶段预测与质量评估系统 | |
| Yang et al. | Automatically adjustable multi-scale feature extraction framework for hyperspectral image classification | |
| Huang et al. | Enhancing computer image recognition with improved image algorithms | |
| Turtinen et al. | Contextual analysis of textured scene images. | |
| Yawale et al. | Design of a high-density bio-inspired feature analysis deep learning model for sub-classification of natural & synthetic imagery | |
| CN116958615A (zh) | 图片识别方法、装置、设备和介质 | |
| CN111046934B (zh) | 一种swift报文软条款识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
| RJ01 | Rejection of invention patent application after publication |