CN109360206A - 基于深度学习的大田稻穗分割方法 - Google Patents
基于深度学习的大田稻穗分割方法 Download PDFInfo
- Publication number
- CN109360206A CN109360206A CN201811060111.6A CN201811060111A CN109360206A CN 109360206 A CN109360206 A CN 109360206A CN 201811060111 A CN201811060111 A CN 201811060111A CN 109360206 A CN109360206 A CN 109360206A
- Authority
- CN
- China
- Prior art keywords
- rice
- spike
- crop field
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000007164 Oryza sativa Nutrition 0.000 title claims abstract description 78
- 235000009566 rice Nutrition 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 240000007594 Oryza sativa Species 0.000 title 1
- 241000209094 Oryza Species 0.000 claims abstract description 77
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000005286 illumination Methods 0.000 claims abstract description 12
- 230000005284 excitation Effects 0.000 claims abstract description 10
- 230000001788 irregular Effects 0.000 claims abstract description 7
- 241000209140 Triticum Species 0.000 claims description 7
- 235000021307 Triticum Nutrition 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 3
- 240000005979 Hordeum vulgare Species 0.000 claims description 3
- 235000007340 Hordeum vulgare Nutrition 0.000 claims description 3
- 240000008042 Zea mays Species 0.000 claims description 3
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 claims description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 235000005822 corn Nutrition 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 238000009395 breeding Methods 0.000 abstract description 11
- 230000001488 breeding effect Effects 0.000 abstract description 11
- 238000013527 convolutional neural network Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012216 screening Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000894006 Bacteria Species 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000021393 food security Nutrition 0.000 description 1
- 230000011731 head segmentation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的大田稻穗分割方法。该方法设计了用于分割大田稻穗的深度全卷积神经网络模型。网络的前半部分采用了ResNet‑101层，并加入Squeeze and Excitation Module结构来进行特征层重要性的筛选。将原始ResNet‑101网络模块4和模块5中全部的传统卷积层替换为空洞卷积层，步长由2改成1。网络的后半部分采用了空洞金字塔池化和金字塔池化的结构。该方法能克服不同品种及生育期的水稻稻穗颜色、形状、大小、姿态、纹理的巨大差异、稻穗边缘严重不规则、穗叶颜色混叠及田间不均匀且变化的光照、遮挡、刮风等因素的影响，实现对不同品种及生育期大田稻穗的准确分割。相比现有技术而言，具备精度高、适用性强的技术优势。
Description
技术领域
本发明属于农业自动化领域，具体涉及水稻表型参数自动化测量，尤其涉及一种基于深度学习的大田稻穗分割方法。
背景技术
水稻的生产和分配关系到世界半数以上人口的粮食安全问题。高产一直是水稻育种与栽培的重要目标之一。在水稻育种与栽培相关领域研究中，需要测量大量候选样本在不同环境下的产量，为培育高产、优质、抗逆的水稻品种提供科学依据。稻穗是水稻谷粒着生的器官，穗部性状与水稻产量直接相关。稻穗在水稻病虫害检测、营养诊断及生育期检测等方面也起着非常重要的作用。因此，稻穗的准确分割，是获取水稻穗部性状、实现水稻表型自动化测量的关键步骤。不同品种及生育期的水稻稻穗外观表现如形状、颜色、大小、纹理、姿态等存在较大差异，稻穗边缘严重不规则，穗叶颜色也存在很大程度的混叠。田间自然环境复杂，水稻不同器官间相互遮挡，光照不均匀且不断变化，这些因素都使得复杂大田环境下的稻穗分割成为了一个非常困难的问题。
陈含等(2013)通过Sobel边缘检测实现麦穗分割，该方法要求图像中的麦穗相互独立、无交叉重叠。刘涛等(2014)基于颜色特征分割麦穗，Tang等(2012)开发了一种基于H分量的分割算法HSeg，用于分割玉米穗。基于颜色特征的分割方法处理速度快，实现简单，其不足在于颜色易受到光照等因素的影响，只适用于特定生育期及天气。普通的基于像素的分割极易产生噪声，为了克服这一问题，可将输入图像进行初步分割，生成候选区域，提取候选区域特征，判定候选区域是否为穗，达到准确分割的目的(赵锋等，2014；Zhu etal.，2016；Duan et al.，2015；Lu et al.，2015)。
深度学习技术基于大数据驱动，具有优越的分类能力，引起了学术界的广泛关注。Pound等(2016)利用滑动窗口的方式提取子图，由卷积神经网络(CNN)识别子图中物体类型，实现了小麦根部及地上部分特征部位如根尖、穗尖、穗基部等的识别。公开号为CN106096655的发明专利提出了一种基于深度学习的光学遥感图像飞机检测方法，公开号为CN105590319的发明专利提出了一种基于深度学习的图像显著性区域检测方法，然而这些方法都只能用于物体识别与检测，而无法直接应用于图像分割。公开号为CN103914841的发明专利提出了一种基于超像素和深度学习的细菌分割与分类方法及其应用。然而，该方法需要利用细菌在颜色、形状和尺寸的先验知识，对每个超像素区域进行初步滤波获取候选细菌区域，由深度学习进行分类，仅适用于颜色、形状和尺寸比较固定的物体的分割。而不同品种及不同生育期的水稻稻穗外观表现如颜色、形状、大小、姿态、纹理等都存在非常大的差异，稻穗边缘严重不规则，穗叶颜色也存在很大程度混叠，田间自然环境的复杂性如不均匀且变化的光照、遮挡、刮风等也会极大地影响稻穗的外观表现。上述方法无法直接应用于大田稻穗的分割。Xiong et al.(2017)提出了一种基于超像素分割和CNN的稻穗分割算法-Panicle-SEG。该算法利用超像素分割技术中的简单线性迭代聚类方法，将具有相似特征的相邻像素构成图像块即超像素，由CNN判别超像素类别实现稻穗的初步分割，并由基于熵率的超像素分割方法对初步分割结果进行优化，最后，去除小区域得到最终的分割结果。Paniele-SEG算法能很好地应用于不同品种及生育期的稻穗分割问题，其缺点在于算法分割精度不高、耗时较长。段凌凤等在SegNet的基础上，开发了用于稻穗分割的深度全卷积网络。
发明内容
(一)要解决的技术问题
为了克服现有技术中针对不同品种及生育期的大田稻穗分割方法分割精度不高这一问题，本发明提供了一种基于深度学习的大田稻穗快速分割方法，实现复杂大田环境下的不同生育期多品种稻穗的分割。
(二)技术方案
本发明为了解决其技术问题所采用的技术方案，提供了一种基于深度学习的大田稻穗分割方法，该方法的总体技术流程见图1。
一种基于深度学习的大田稻穗分割方法，其特征在于，包括：
步骤A，选取穗型、遮挡程度以及穗叶混叠情况差异大的品种，选取不同光照条件的原始图像，用于构建稻穗分割网络模型；
步骤B，人工利用Photoshop对这些图像进行像素级标注，稻穗像素被标注为1，背景像素被标注为0；
步骤C，对每一张图像，均进行亮度调整，具体为保持H分量和S分量不变，V分量分别增大、减小20％，用于模拟大田环境中的光照变化，提高分割网络的泛化能力；
步骤D，对所有训练样本图像进行简单线性迭代聚类方法(simple lineariterative clustering，SLIC)聚类处理，对于聚类后的每个不规整区域的聚类中心，提取维度为5的向量，即X坐标、Y坐标及LAB颜色分量，接着，通过高斯混合模型，将所有区域块聚成两类，然后分别计算每个类别的像素面积之和，以此来确定正负样本的平衡系数，进行样本平衡；
步骤E，基于Caffe平台训练分割网络模型，网络模型结构见图1，网络的前半部分采用了ResNet-101层，并将ResNet-101中加入Squeeze and Excitation Module(SE)结构来进行特征层重要性的筛选，构成SE-ResNet结构，另外，为了消除过多的下采样操作的影响，替换原始ResNet-101网络模块4和模块5中全部的卷积层，将步长由2改成1，并将模块4中传统卷积层全用“dilation＝2”的空洞卷积层替换，模块5中传统卷积层全用“dilation＝4”的空洞卷积来替换，从而保证这两层感受野的大小，网络的后半部分采用了空洞金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)和金字塔池化(Spatial PyramidPooling，SPP)的结构；
步骤F，基于训练好的网络模型，分割稻穗；
更具体地，步骤E中的ResNet结构原理图见图2，该结构主要由三个卷积层组成，第一个卷积层为降维卷积，该层采用的卷积核大小为1×1，并利用zero-padding方法来补充边界以保证从该层输出特征图的空域大小不变，第三个卷积层为1×1大小的升维卷积，其也会保证输出的特征图的空域和输入特征图一致，但会增加输出特征图的深度，每一个卷积层后面都是先连接一个BN层，然后再接上一个Relu非线性层，残差结构的输出是由两条链路求和构成的，左边一条链路直接是原始的输入特征图，而右边的一条链路是通过若干卷积层处理后的结果；
更具体地，步骤E中将SE结构和ResNet101结构相结合的SE-ResNet101结构如图3所示，虚线框中为SE结构，其主要由两部分组成，第一部分为Squeeze操作，利用全局的平均池化层来沿着空域进行特征压缩，将一个二维的特征通道变成一个实数，这个实数在某种程度上具有全局的感受野；第二部分是Excitation操作，该步骤使用可学习的参数w来为每个特征通道生成对应的权重，这个权重反应了每个特征通道的重要性；由于每个w的取值范围为0到1之间，因此在SE网络结构中使用了sigmoid非线性层来将输出归一化到0到1之间；最后是一个尺度化(Scale)操作，即将经过Excitation的输出权重w逐通道的乘到对应的特征通道上，从而实现根据这个重要程度去提升有用的特征并抑制对当前任务用处不大特征的目的；
更具体地，步骤E中的辅助损失具体为：主分支结构最后的损失函数采用的是交叉熵损失，其中每个像素点相当于一个样本，逐像素比较预测类别和真实类别的交叉熵，然后对整张图像的全部像素求和后得到主分支的交叉熵损失；除了主分支，在SE-ResNet101中的模块4之后引出了一条分支结构，该分支主要用来对模块4之前的浅层网络进行损失计算，其损失的计算方式也是逐像素水平的交叉熵损失；最后，总体的损失是两部分损失的加权和，其中主分支部分的交叉熵损失占主要部分，而辅助损失占的权重较小，为0.4。
上述深度学习的大田稻穗分割方法，不仅适用于复杂大田环境下的稻穗分割，其也适用于室内盆栽环境下的稻穗分割，并且也可应用于包括小麦、大麦和玉米在内的农作物的果穗分割。
(三)有益效果
本发明基于发明人在本领域多年的技术积累和研发，提供了一种复杂大田环境下的不同生育期多品种稻穗分割方法，该方法能克服不同品种及生育期的水稻稻穗颜色、形状、大小、姿态、纹理的巨大差异、稻穗边缘严重不规则、穗叶颜色混叠及田间不均匀且变化的光照、遮挡、刮风因素的影响，实现对不同品种及生育期大田稻穗的准确分割，并能适用于室内盆栽环境稻穗的分割。相比现有技术而言，具备精度高、适用性强的技术优势。该方法对提高水稻无损测产准确性、支撑水稻育种与栽培相关领域研究等具有重要科学意义及潜在应用价值。
附图说明
图1为本发明中用于分割稻穗的深度全卷积神经网络结构示意图。
图2为本发明中用到的ResNet结构原理图。
图3为本发明中用到的SE-ResNet101结构原理图。
图4为本发明算法分割效果图。
具体实施方式
本发明为了解决其技术问题所采用的技术方案，提供了一种基于深度学习的大田稻穗分割方法，其特征在于，包括：
步骤A，选取穗型、遮挡程度以及穗叶混叠情况差异大的品种，选取不同光照条件的原始图像，用于构建稻穗分割网络模型；
步骤B，人工利用Photoshop对这些图像进行像素级标注，稻穗像素被标注为1，背景像素被标注为0；
步骤C，对每一张图像，均进行亮度调整，具体为保持H分量和S分量不变，V分量分别增大、减小20％，用于模拟大田环境中的光照变化，提高分割网络的泛化能力；
步骤D，对所有训练样本图像进行简单线性迭代聚类方法(simple lineariterative clustering，SLIC)聚类处理，对于聚类后的每个不规整区域的聚类中心，提取维度为5的向量，即X坐标、Y坐标及LAB颜色分量，接着，通过高斯混合模型，将所有区域块聚成两类，然后分别计算每个类别的像素面积之和，以此来确定正负样本的平衡系数，进行样本平衡；
步骤E，基于Caffe平台训练分割网络模型，网络模型结构见图1，网络的前半部分采用了ResNet-101层，并将ResNet-101中加入Squeeze and Excitation Module(SE)结构来进行特征层重要性的筛选，构成SE-ResNet结构，另外，为了消除过多的下采样操作的影响，替换原始ResNet-101网络模块4和模块5中全部的卷积层，将步长由2改成1，并将模块4中传统卷积层全用“dilation＝2”的空洞卷积层替换，模块5中传统卷积层全用“dilation＝4”的空洞卷积来替换，从而保证这两层感受野的大小，网络的后半部分采用了空洞金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)和金字塔池化(Spatial PyramidPooling，SPP)的结构；
步骤F，基于训练好的网络模型，分割稻穗；
更具体地，步骤E中的ResNet结构原理图见图2，该结构主要由三个卷积层组成，第一个卷积层为降维卷积，该层采用的卷积核大小为1×1，并利用zero-padding方法来补充边界以保证从该层输出特征图的空域大小不变，第三个卷积层为1×1大小的升维卷积，其也会保证输出的特征图的空域和输入特征图一致，但会增加输出特征图的深度，每一个卷积层后面都是先连接一个BN层，然后再接上一个Relu非线性层，残差结构的输出是由两条链路求和构成的，左边一条链路直接是原始的输入特征图，而右边的一条链路是通过若干卷积层处理后的结果；
更具体地，步骤E中将SE结构和ResNet101结构相结合的SE-ResNet101结构如图3所示，虚线框中为SE结构，其主要由两部分组成，第一部分为Squeeze操作，利用全局的平均池化层来沿着空域进行特征压缩，将一个二维的特征通道变成一个实数，这个实数在某种程度上具有全局的感受野；第二部分是Excitation操作，该步骤使用可学习的参数w来为每个特征通道生成对应的权重，这个权重反应了每个特征通道的重要性；由于每个w的取值范围为0到1之间，因此在SE网络结构中使用了sigmoid非线性层来将输出归一化到0到1之间；最后是一个尺度化(Scale)操作，即将经过Excitation的输出权重w逐通道的乘到对应的特征通道上，从而实现根据这个重要程度去提升有用的特征并抑制对当前任务用处不大特征的目的；
更具体地，步骤E中的辅助损失具体为：主分支结构最后的损失函数采用的是交叉熵损失，其中每个像素点相当于一个样本，逐像素比较预测类别和真实类别的交叉熵，然后对整张图像的全部像素求和后得到主分支的交叉熵损失；除了主分支，在SE-ResNet101中的模块4之后引出了一条分支结构，该分支主要用来对模块4之前的浅层网络进行损失计算，其损失的计算方式也是逐像素水平的交叉熵损失；最后，总体的损失是两部分损失的加权和，其中主分支部分的交叉熵损失占主要部分，而辅助损失占的权重较小，为0.4；
(1)大田稻穗分割方法性能测试
选取23张未用于构建PanicleNet模型的大田水稻图像，这些图像包含不同光照条件、不同品种及不同生育期，由交并比Iou值、准确度(Precision)、召回率(Recall)及F值来评价图像分割算法的性能。交并比(IoU)定义为分割后的目标区域和人工标记区域的交集比上它们之间的并集，其取值范围是0到1，反映的是分割图像和人工标记图像之间的稻穗像素和背景像素的一致性，交并比的值越接近1表示分割结果的性能越好。准确度针对算法分割结果，它表示的是算法分割结果中为正的样本中(本研究中为稻穗像素)有多少是真正的正样本，召回率针对原来样本，它表示的是样本中的正例有多少被预测正确，在本研究中即是原始图像中的所有稻穗像素有多少被准确地分割出来。F值，则是综合这二者指标的评估指标，用于综合反映整体的指标。F值越高，说明分割算法越有效。
各评价指标的计算方法见公式(1)-(4)。
式中，TP-真实标签为稻穗且被分割为稻穗的像素个数，FP-真实标签为背景但被分割为稻穗的像素个数，FN-真实标签为稻穗但被分割为背景的像素个数。
表1显示了不同算法对23张测试图像的性能。从表中可以看出，本发明提取的算法对于全部测试样本的平均交并比(mIoU)为0.774，平均精度为0.856，平均召回率为0.890，平均F值为87.2％。
表1算法对23张测试图像的分割结果评估
图4显示了本发明算法的分割效果图。
该方法也能够应用于其他作物，例如小麦、大麦、玉米等作物的果穗分割。
本申请中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (4)
1.一种基于深度学习的大田稻穗分割方法，其特征在于，包括：
步骤A，选取穗型、遮挡程度以及穗叶混叠情况差异大的品种，选取不同光照条件的原始图像，用于构建稻穗分割网络模型；
步骤B，人工利用Photoshop对这些图像进行像素级标注，稻穗像素被标注为1，背景像素被标注为0；
步骤C，对每一张图像，均进行亮度调整，具体为保持H分量和S分量不变，V分量分别增大、减小20％，用于模拟大田环境中的光照变化，提高分割网络的泛化能力；
步骤D，对所有训练样本图像进行简单线性迭代聚类方法(simple linear iterativeclustering，SLIC)聚类处理，对于聚类后的每个不规整区域的聚类中心，提取维度为5的向量，即X坐标、Y坐标及LAB颜色分量，接着，通过高斯混合模型，将所有区域块聚成两类，然后分别计算每个类别的像素面积之和，以此来确定正负样本的平衡系数，进行样本平衡；
步骤E，基于Caffe平台训练分割网络模型，网络的前半部分采用了ResNet-101层，并将ResNet-101中加入Squeeze and Excitation Module(SE)结构来进行特征层重要性的筛选，构成SE-ResNet结构；替换原始ResNet-101网络模块4和模块5中全部的卷积层，将步长由2改成1，并将模块4中传统卷积层全用“dilation＝2”的空洞卷积层替换，模块5中传统卷积层全用“dilation＝4”的空洞卷积来替换；网络的后半部分采用了空洞金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)和金字塔池化(Spatial Pyramid Pooling，SPP)的结构；网络主分支结构最后的损失函数采用交叉熵损失，逐像素比较预测类别和真实类别的交叉熵，然后对整张图像的全部像素求和后得到主分支的交叉熵损失；除了主分支，在SE-ResNet101中的模块4之后引出了一条分支结构，该分支主要用来对模块4之前的浅层网络进行辅助损失计算，其损失的计算方式也是逐像素水平的交叉熵损失；最后，总体的损失是两部分损失的加权和，其中主分支部分的交叉熵损失占主要部分，而辅助损失占的权重较小，为0.4；
步骤F，基于训练好的网络模型，分割稻穗。
2.根据权利要求1所述的基于深度学习的大田稻穗分割方法，其特征在于，所述步骤E中的ResNet结构主要由三个卷积层组成，第一个卷积层为降维卷积，该层采用的卷积核大小为1×1，并利用zero-padding方法来补充边界以保证从该层输出特征图的空域大小不变，第三个卷积层为1×1大小的升维卷积，其也会保证输出的特征图的空域和输入特征图一致，但会增加输出特征图的深度，每一个卷积层后面都是先连接一个BN层，然后再接上一个Relu非线性层，残差结构的输出是由两条链路求和构成的，左边一条链路直接是原始的输入特征图，而右边的一条链路是通过若干卷积层处理后的结果。
3.根据权利要求1所述的基于深度学习的大田稻穗分割方法，其特征在于，所述步骤E中将SE结构和ResNet101结构相结合的SE-ResNet101结构中的SE结构主要由两部分组成，第一部分为Squeeze操作，利用全局的平均池化层来沿着空域进行特征压缩，将一个二维的特征通道变成一个实数；第二部分是Excitation操作，该步骤使用可学习的参数w来为每个特征通道生成对应的权重，这个权重反应了每个特征通道的重要性；由于每个w的取值范围为0到1之间，因此在SE网络结构中使用了sigmoid非线性层来将输出归一化到0到1之间；最后是一个尺度化操作，即将经过Excitation的输出权重w逐通道的乘到对应的特征通道上，从而实现根据这个重要程度去提升有用的特征并抑制对当前任务用处不大特征的目的。
4.根据权利要求1所述的基于深度学习的大田稻穗分割方法，不仅适用于复杂大田环境下的稻穗分割，其也适用于室内盆栽环境下的稻穗分割，并且也可应用于包括小麦、大麦和玉米在内的农作物的果穗分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811060111.6A CN109360206B (zh) | 2018-09-08 | 2018-09-08 | 基于深度学习的大田稻穗分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811060111.6A CN109360206B (zh) | 2018-09-08 | 2018-09-08 | 基于深度学习的大田稻穗分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109360206A true CN109360206A (zh) | 2019-02-19 |
| CN109360206B CN109360206B (zh) | 2021-11-12 |
Family
ID=65350923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811060111.6A Active CN109360206B (zh) | 2018-09-08 | 2018-09-08 | 基于深度学习的大田稻穗分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360206B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919206A (zh) * | 2019-02-25 | 2019-06-21 | 武汉大学 | 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法 |
| CN110111334A (zh) * | 2019-04-01 | 2019-08-09 | 浙江大华技术股份有限公司 | 一种裂缝分割方法、装置、电子设备及存储介质 |
| CN110147812A (zh) * | 2019-04-04 | 2019-08-20 | 中国人民解放军战略支援部队信息工程大学 | 基于扩张残差网络的雷达辐射源识别方法及装置 |
| CN110189337A (zh) * | 2019-05-31 | 2019-08-30 | 广东工业大学 | 一种自动驾驶图像语义分割方法 |
| CN110443805A (zh) * | 2019-07-09 | 2019-11-12 | 浙江大学 | 一种基于像素密切度的语义分割方法 |
| CN110544254A (zh) * | 2019-09-12 | 2019-12-06 | 杭州海睿博研科技有限公司 | 用于核磁同步自动化成像与分割的系统和方法 |
| CN110942454A (zh) * | 2019-11-26 | 2020-03-31 | 北京科技大学 | 一种农业图像语义分割方法 |
| CN111242955A (zh) * | 2020-01-21 | 2020-06-05 | 河海大学 | 基于全卷积神经网络的道路表面裂缝图像分割方法 |
| CN111429894A (zh) * | 2020-03-12 | 2020-07-17 | 南京邮电大学 | 基于SE-ResNet STARGAN的多对多说话人转换方法 |
| CN111444973A (zh) * | 2020-03-31 | 2020-07-24 | 西安交通大学 | 一种无人零售购物台商品检测方法 |
| CN111460903A (zh) * | 2020-03-05 | 2020-07-28 | 浙江省农业科学院 | 基于深度学习的田间西兰花长势监测系统及方法 |
| CN111461130A (zh) * | 2020-04-10 | 2020-07-28 | 视研智能科技(广州)有限公司 | 一种高精度图像语义分割算法模型及分割方法 |
| CN111507998A (zh) * | 2020-04-20 | 2020-08-07 | 南京航空航天大学 | 基于深度级联的多尺度激励机制隧道表面缺陷分割方法 |
| CN111612797A (zh) * | 2020-03-03 | 2020-09-01 | 江苏大学 | 一种水稻图像信息处理系统 |
| CN111709481A (zh) * | 2020-06-17 | 2020-09-25 | 云南省烟草农业科学研究院 | 一种烟草病害识别方法、系统、平台及存储介质 |
| CN112465834A (zh) * | 2020-11-26 | 2021-03-09 | 中科麦迪人工智能研究院(苏州)有限公司 | 一种血管分割方法及装置 |
| CN112001921B (zh) * | 2020-10-30 | 2021-03-16 | 北京信诺卫康科技有限公司 | 一种基于病灶加权损失函数的新冠肺炎ct影像病灶分割图像处理方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN113129306A (zh) * | 2021-05-10 | 2021-07-16 | 电子科技大学成都学院 | 一种基于深度学习的遮挡物体分割求解方法 |
| CN113205055A (zh) * | 2021-05-11 | 2021-08-03 | 北京知见生命科技有限公司 | 基于多尺度注意力机制的真菌显微图像分类方法及系统 |
| CN114720956A (zh) * | 2022-06-07 | 2022-07-08 | 成都信息工程大学 | 针对双偏振天气雷达的水凝物粒子分类识别方法及装置 |
| WO2022171027A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 一种模型训练方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463221A (zh) * | 2014-12-22 | 2015-03-25 | 江苏科海智能系统有限公司 | 适用于支持向量机训练的不平衡样本加权方法 |
| CN104850836A (zh) * | 2015-05-15 | 2015-08-19 | 浙江大学 | 基于深度卷积神经网络的害虫图像自动识别方法 |
| CN106447679A (zh) * | 2016-10-17 | 2017-02-22 | 大连理工大学 | 一种基于迭代图割和自适应聚类的显著性检测方法 |
| US20170098123A1 (en) * | 2014-05-28 | 2017-04-06 | Denso Corporation | Detection device, detection program, detection method, vehicle equipped with detection device, parameter calculation device, parameter calculating parameters, parameter calculation program, and method of calculating parameters |
| CN107066938A (zh) * | 2017-02-08 | 2017-08-18 | 清华大学 | 视频分析设备、方法和计算机程序产品 |
| CN107316289A (zh) * | 2017-06-08 | 2017-11-03 | 华中农业大学 | 基于深度学习和超像素分割的大田稻穗分割方法 |
| CN107480726A (zh) * | 2017-08-25 | 2017-12-15 | 电子科技大学 | 一种基于全卷积和长短期记忆单元的场景语义分割方法 |
| CN107688831A (zh) * | 2017-09-04 | 2018-02-13 | 五邑大学 | 一种基于聚类下采样的不平衡数据分类方法 |
| US20180174049A1 (en) * | 2016-12-19 | 2018-06-21 | Siemens Healthcare Gmbh | Method and computer for determination of a training function for generating annotated training images |
| CN108416353A (zh) * | 2018-02-03 | 2018-08-17 | 华中农业大学 | 基于深度全卷积神经网络的大田稻穗快速分割方法 |
| CN108447052A (zh) * | 2018-03-15 | 2018-08-24 | 深圳市唯特视科技有限公司 | 一种基于神经网络的对称性脑肿瘤分割方法 |
| CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
-
2018
- 2018-09-08 CN CN201811060111.6A patent/CN109360206B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098123A1 (en) * | 2014-05-28 | 2017-04-06 | Denso Corporation | Detection device, detection program, detection method, vehicle equipped with detection device, parameter calculation device, parameter calculating parameters, parameter calculation program, and method of calculating parameters |
| CN104463221A (zh) * | 2014-12-22 | 2015-03-25 | 江苏科海智能系统有限公司 | 适用于支持向量机训练的不平衡样本加权方法 |
| CN104850836A (zh) * | 2015-05-15 | 2015-08-19 | 浙江大学 | 基于深度卷积神经网络的害虫图像自动识别方法 |
| CN106447679A (zh) * | 2016-10-17 | 2017-02-22 | 大连理工大学 | 一种基于迭代图割和自适应聚类的显著性检测方法 |
| US20180174049A1 (en) * | 2016-12-19 | 2018-06-21 | Siemens Healthcare Gmbh | Method and computer for determination of a training function for generating annotated training images |
| CN107066938A (zh) * | 2017-02-08 | 2017-08-18 | 清华大学 | 视频分析设备、方法和计算机程序产品 |
| CN107316289A (zh) * | 2017-06-08 | 2017-11-03 | 华中农业大学 | 基于深度学习和超像素分割的大田稻穗分割方法 |
| CN107480726A (zh) * | 2017-08-25 | 2017-12-15 | 电子科技大学 | 一种基于全卷积和长短期记忆单元的场景语义分割方法 |
| CN107688831A (zh) * | 2017-09-04 | 2018-02-13 | 五邑大学 | 一种基于聚类下采样的不平衡数据分类方法 |
| CN108416353A (zh) * | 2018-02-03 | 2018-08-17 | 华中农业大学 | 基于深度全卷积神经网络的大田稻穗快速分割方法 |
| CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
| CN108447052A (zh) * | 2018-03-15 | 2018-08-24 | 深圳市唯特视科技有限公司 | 一种基于神经网络的对称性脑肿瘤分割方法 |
Non-Patent Citations (8)
| Title |
|---|
| HENGSHUANG ZHAO ET AL: "Pyramid Scene Parsing Network", 《IEEE COMPUTER SOCIETY》 * |
| JIE HU ET AL: "Squeeze-and-Excitation Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| LC CHEN ET AL: "Rethinking Atrous Convolution for Semantic Image Segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
| Z GAO等: "Image segmentation algorithm based on feature fusion and cluster", 《2011 INTERNATIONAL CONFERENCE ON MECHATRONIC SCIENCE, ELECTRIC ENGINEERING AND COMPUTER (MEC)》 * |
| 周旺等: "一种基于Hartigan-Wong和Lloyd的定性平衡聚类算法", 《山东大学学报(工学版)》 * |
| 孙俊等: "空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草", 《农业工程学报》 * |
| 杜朵朵: "广义均衡化模糊聚类及图像分割算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 段凌凤等: "基于深度全卷积神经网络的大田稻穗分割", 《农业工程学报》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919206A (zh) * | 2019-02-25 | 2019-06-21 | 武汉大学 | 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法 |
| CN109919206B (zh) * | 2019-02-25 | 2021-03-16 | 武汉大学 | 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法 |
| CN110111334A (zh) * | 2019-04-01 | 2019-08-09 | 浙江大华技术股份有限公司 | 一种裂缝分割方法、装置、电子设备及存储介质 |
| CN110111334B (zh) * | 2019-04-01 | 2022-03-08 | 浙江大华技术股份有限公司 | 一种裂缝分割方法、装置、电子设备及存储介质 |
| CN110147812A (zh) * | 2019-04-04 | 2019-08-20 | 中国人民解放军战略支援部队信息工程大学 | 基于扩张残差网络的雷达辐射源识别方法及装置 |
| CN110189337A (zh) * | 2019-05-31 | 2019-08-30 | 广东工业大学 | 一种自动驾驶图像语义分割方法 |
| CN110443805B (zh) * | 2019-07-09 | 2021-08-17 | 浙江大学 | 一种基于像素密切度的语义分割方法 |
| CN110443805A (zh) * | 2019-07-09 | 2019-11-12 | 浙江大学 | 一种基于像素密切度的语义分割方法 |
| CN110544254A (zh) * | 2019-09-12 | 2019-12-06 | 杭州海睿博研科技有限公司 | 用于核磁同步自动化成像与分割的系统和方法 |
| CN110942454A (zh) * | 2019-11-26 | 2020-03-31 | 北京科技大学 | 一种农业图像语义分割方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN111242955A (zh) * | 2020-01-21 | 2020-06-05 | 河海大学 | 基于全卷积神经网络的道路表面裂缝图像分割方法 |
| CN111242955B (zh) * | 2020-01-21 | 2023-04-21 | 河海大学 | 基于全卷积神经网络的道路表面裂缝图像分割方法 |
| CN111612797B (zh) * | 2020-03-03 | 2021-05-25 | 江苏大学 | 一种水稻图像信息处理系统 |
| CN111612797A (zh) * | 2020-03-03 | 2020-09-01 | 江苏大学 | 一种水稻图像信息处理系统 |
| CN111460903A (zh) * | 2020-03-05 | 2020-07-28 | 浙江省农业科学院 | 基于深度学习的田间西兰花长势监测系统及方法 |
| CN111460903B (zh) * | 2020-03-05 | 2022-07-19 | 浙江省农业科学院 | 基于深度学习的田间西兰花长势监测系统及方法 |
| CN111429894A (zh) * | 2020-03-12 | 2020-07-17 | 南京邮电大学 | 基于SE-ResNet STARGAN的多对多说话人转换方法 |
| CN111444973A (zh) * | 2020-03-31 | 2020-07-24 | 西安交通大学 | 一种无人零售购物台商品检测方法 |
| CN111461130B (zh) * | 2020-04-10 | 2021-02-09 | 视研智能科技(广州)有限公司 | 一种高精度图像语义分割算法模型及分割方法 |
| CN111461130A (zh) * | 2020-04-10 | 2020-07-28 | 视研智能科技(广州)有限公司 | 一种高精度图像语义分割算法模型及分割方法 |
| CN111507998A (zh) * | 2020-04-20 | 2020-08-07 | 南京航空航天大学 | 基于深度级联的多尺度激励机制隧道表面缺陷分割方法 |
| CN111709481A (zh) * | 2020-06-17 | 2020-09-25 | 云南省烟草农业科学研究院 | 一种烟草病害识别方法、系统、平台及存储介质 |
| CN111709481B (zh) * | 2020-06-17 | 2023-12-12 | 云南省烟草农业科学研究院 | 一种烟草病害识别方法、系统、平台及存储介质 |
| CN112001921B (zh) * | 2020-10-30 | 2021-03-16 | 北京信诺卫康科技有限公司 | 一种基于病灶加权损失函数的新冠肺炎ct影像病灶分割图像处理方法 |
| CN112465834A (zh) * | 2020-11-26 | 2021-03-09 | 中科麦迪人工智能研究院(苏州)有限公司 | 一种血管分割方法及装置 |
| CN112465834B (zh) * | 2020-11-26 | 2024-05-24 | 中科麦迪人工智能研究院(苏州)有限公司 | 一种血管分割方法及装置 |
| WO2022171027A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 一种模型训练方法及装置 |
| CN113129306A (zh) * | 2021-05-10 | 2021-07-16 | 电子科技大学成都学院 | 一种基于深度学习的遮挡物体分割求解方法 |
| CN113205055A (zh) * | 2021-05-11 | 2021-08-03 | 北京知见生命科技有限公司 | 基于多尺度注意力机制的真菌显微图像分类方法及系统 |
| CN114720956A (zh) * | 2022-06-07 | 2022-07-08 | 成都信息工程大学 | 针对双偏振天气雷达的水凝物粒子分类识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109360206B (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360206A (zh) | 基于深度学习的大田稻穗分割方法 | |
| CN106296695B (zh) | 基于显著性的自适应阈值自然目标图像分割抽取算法 | |
| CN108416353B (zh) | 基于深度全卷积神经网络的大田稻穗快速分割方法 | |
| CN109308697B (zh) | 一种基于机器学习算法的树叶病害识别方法 | |
| Yin et al. | Computer vision and machine learning applied in the mushroom industry: A critical review | |
| CN107316289B (zh) | 基于深度学习和超像素分割的大田稻穗分割方法 | |
| CN107292298A (zh) | 基于卷积神经网络和分类器模型的牛脸识别方法 | |
| Pang et al. | Automatic segmentation of crop leaf spot disease images by integrating local threshold and seeded region growing | |
| CN107229917A (zh) | 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法 | |
| CN110222215B (zh) | 一种基于f-ssd-iv3的作物害虫检测方法 | |
| CN110458906A (zh) | 一种基于深度颜色迁移的医学图像着色方法 | |
| CN102789579A (zh) | 基于计算机视觉技术的温室作物水肥胁迫状态识别方法 | |
| CN109376728A (zh) | 一种基于多特征融合和bp神经网络的稻田杂草识别方法及其应用 | |
| CN109325495A (zh) | 一种基于深度神经网络建模的作物图像分割系统及方法 | |
| CN109522929A (zh) | 一种基于多源图像融合的自然环境下麦田杂草识别方法 | |
| CN104952070B (zh) | 一种类矩形引导的玉米田遥感图像分割方法 | |
| Jadhav et al. | Soybean leaf disease detection and severity measurement using multiclass SVM and KNN classifier | |
| Zhou et al. | Early detection and continuous quantization of plant disease using template matching and support vector machine algorithms | |
| CN107358176A (zh) | 基于高分遥感影像区域信息和卷积神经网络的分类方法 | |
| Concepcion et al. | Genetic algorithm-based visible band tetrahedron greenness index modeling for lettuce biophysical signature estimation | |
| CN102542560B (zh) | 一种水稻移栽后密度自动检测的方法 | |
| CN112257702A (zh) | 一种基于增量学习的农作物病害识别方法 | |
| CN105447860B (zh) | 一种麦苗计数方法 | |
| Yu et al. | Segmentation and density statistics of mariculture cages from remote sensing images using mask R-CNN | |
| CN115687850A (zh) | 一种农田的灌溉需水量计算方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |