CN107316289A - 基于深度学习和超像素分割的大田稻穗分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和超像素分割的大田稻穗分割方法。该方法利用超像素分割技术中的简单线性迭代聚类方法，将具有相似特征的相邻像素构成图像块即超像素，在大规模训练样本自动标注和选择的基础上，由深度学习技术中的卷积神经网络判别超像素类别实现稻穗的初步分割，并由基于熵率的超像素分割方法对初步分割结果进行优化。该方法能克服不同品种及不同生育期的水稻稻穗颜色、形状、大小、姿态、纹理的巨大差异、稻穗边缘严重不规则、穗叶颜色混叠及田间不均匀且变化的光照、遮挡、刮风因素的影响，实现对不同品种及不同生育期大田稻穗的准确分割，并能适用于盆栽环境稻穗的分割。相比现有技术而言，具备精度高、适用性强的技术优势。

Description

基于深度学习和超像素分割的大田稻穗分割方法

技术领域

本发明属于农业自动化领域，具体涉及水稻表型参数自动化测量，尤其涉及一种基于深度学习和超像素分割的大田稻穗分割方法。

背景技术

水稻的生产和分配关系到世界半数以上人口的粮食安全问题。高产一直是水稻育种与栽培的重要目标之一。在水稻育种与栽培相关领域研究中，需要测量大量候选样本在不同环境下的产量，为培育优质、高产、抗逆的水稻品种提供科学依据。大田水稻测产通常在小区或大区中按一定原则选取若干代表性小田块，收获、脱粒、晒干、扬净、称重后，测定含水量，并按籼稻13.5％、粳稻14.5％的标准含水量折算产量。整个过程操作非常繁琐，需耗费大量时间和人力，且在收获、脱粒、清理、储运、晾晒、扬净、称量、测含水量等环节中，极易因处理不当或不够细致认真引入较大误差，急需发展准确无损的大田水稻测产方法。

通过在体无损条件下获取作物图像，用图像特征表征作物产量，构建测产模型，可实现产量的在体无损测量。稻穗的准确分割是提高大田无损测产模型适用性和准确性的前提条件。陈含等(2013)通过Sobel边缘检测实现麦穗分割，该方法要求图像中的麦穗相互独立、无交叉重叠。刘涛等(2014)基于颜色特征分割麦穗，Tang等(2012)开发了一种基于H分量的分割算法HSeg，用于分割玉米穗。基于颜色特征的分割方法处理速度快，实现简单，其不足在于颜色易受到光照等因素的影响，只适用于特定生育期及天气。普通的基于像素的分割极易产生噪声，为了克服这一问题，可将输入图像进行初步分割，生成候选区域，提取候选区域特征，判定候选区域是否为穗，达到准确分割的目的(赵锋等，2014；Zhu et al.，2016；Duan et al.，2015；Lu et al.，2015)。水稻外观形态受环境影响非常大，现有研究中针对不同品种、不同生育期及不同环境下的稻穗分割方法差别较大，尚无适用于复杂大田环境下的不同生育期多品种稻穗分割方法。

深度学习技术基于大数据驱动，具有优越的分类能力，引起了学术界的广泛关注。Pound等(2016)利用滑动窗口的方式提取子图，由CNN识别子图中物体类型，实现了小麦根部及地上部分特征部位如根尖、穗尖、穗基部等的识别。公开号为CN106096655的发明专利提出了一种基于深度学习的光学遥感图像飞机检测方法，公开号为CN105590319的发明专利提出了一种基于深度学习的图像显著性区域检测方法，然而这些方法都只能用于物体识别与检测，而无法直接应用于图像分割。公开号为CN103914841的发明专利提出了一种基于超像素和深度学习的细菌分割与分类方法及其应用。然而，该方法需要利用细菌在颜色、形状和尺寸的先验知识，对每个超像素区域进行初步滤波获取候选细菌区域，由深度学习进行分类，仅适用于颜色、形状和尺寸比较固定的物体的分割。而不同品种及不同生育期的水稻稻穗外观表现如颜色、形状、大小、姿态、纹理等都存在非常大的差异，稻穗边缘严重不规则，穗叶颜色也存在很大程度混叠，田间自然环境的复杂性如不均匀且变化的光照、遮挡、刮风等也会极大地影响稻穗的外观表现。上述方法无法直接应用于大田稻穗的分割。

发明内容

(一)要解决的技术问题

为了克服现有技术中针对不同品种、不同生育期及不同环境下的稻穗分割方法差别较大，尚无适用于复杂大田环境下的不同生育期多品种稻穗分割方法这一问题，本发明提供了一种基于深度学习和超像素分割的稻穗分割方法，实现复杂大田环境下的不同生育期多品种稻穗的分割。

(二)技术方案

本发明为了解决其技术问题所采用的技术方案，提供了一种基于深度学习和超像素分割的稻穗分割方法，该方法的总体技术流程见图1。

一种基于深度学习和超像素分割的大田稻穗分割方法，其特征在于，包括：

步骤A，通过超像素分割技术中的简单线性迭代聚类(simple linear iterativeclustering，SLIC)方法，分割水稻图像，得到SLIC超像素图；

步骤B，对于SLIC超像素图中的每个超像素，以其质心为中心，取一个固定大小的子图，称为SLIC子图；

步骤C，利用深度学习技术中的卷积神经网络(convolutional neural network，CNN)，以SLIC子图为输入，判断每个SLIC超像素的类别为候选稻穗超像素或背景超像素；

步骤D，基于CNN的分类结果，结合SLIC超像素图，得到稻穗初步分割结果；

步骤E，通过超像素分割技术中的基于熵率(entropy rate，ER)的超像素分割方法，对初步分割结果进行优化，以解决稻穗初步分割结果中包含有非稻穗像素以及稻穗区域不完整的问题；

步骤F，去除小区域，得到最终的稻穗分割结果。

更具体地，步骤C中用到的CNN网络的离线训练方法包括6个步骤：

(1)选取穗型、遮挡程度以及穗叶混叠情况差异大的品种，选取不同光照条件的原始图像，用于构建CNN模型；

(2)人工对这些图像进行像素级标注；

(3)对每一幅原始图像，通过SLIC方法，基于颜色和空间距离度量像素的相似性，得到SLIC超像素图；

(4)以人工像素级标注的水稻图像作为掩膜，对于SLIC超像素图中的每个超像素，若超像素中含有稻穗像素则将其标注为候选稻穗，即正样本，否则为背景，即负样本；

(5)以每个SLIC超像素的质心为中心，取一个固定大小的子图，作为CNN的训练图像数据集，选取数目均衡的正负样本，并进行数据扩增；

(6)训练CNN模型。

更具体地，采用如下步骤选取正负样本：

正样本全都选入作为训练样本；

负样本的选取方法如下：提取每个训练样本的特征，通过高斯混合模型进行聚类，由K-means聚类结果初始化高斯混合模型的参数，然后从每一类中等量随机抽取样本，加入训练集，并保证最终总的负样本与正样本的数目均衡。

更具体地，采用如下步骤进行数据扩增：对训练图像进行高斯模糊，模拟因为风场或离焦因素导致的模糊问题；改变图像的亮度分量，模拟大田环境中变化且不均匀的光照；将这些样本也加入训练集，对训练集进行数据扩增。

更具体地，所述步骤E中，基于ER超像素分割优化初步分割结果的具体步骤为：对于ER超像素分割结果中的每个超像素，以稻穗初步分割结果为掩膜，计算每个ER超像素内穗像素点和非穗像素点的数目，若两者的比值超过设定的优化系数，则判定该超像素为稻穗超像素，否则为背景超像素；基于每个ER超像素的类型，获取稻穗分割二值图，与原始RGB图进行掩模操作，得到稻穗分割结果。

上述基于深度学习和超像素分割的大田稻穗分割方法，不仅适用于复杂大田环境下的稻穗分割，其也适用于室内盆栽环境下的稻穗分割，并且也可应用于包括小麦、大麦和玉米在内的农作物的果穗分割。

(三)有益效果

本发明基于发明人在本领域多年的技术积累和研发，提供了一种复杂大田环境下的不同生育期多品种稻穗分割方法，该方法能克服不同品种及不同生育期的水稻稻穗颜色、形状、大小、姿态、纹理的巨大差异、稻穗边缘严重不规则、穗叶颜色混叠及田间不均匀且变化的光照、遮挡、刮风因素的影响，实现对不同品种及不同生育期大田稻穗的准确分割，并能适用于室内盆栽环境稻穗的分割。相比现有技术而言，具备精度高、适用性强的技术优势。该方法对提高水稻无损测产准确性、支撑水稻育种与栽培相关领域研究等具有重要科学意义及潜在应用价值。

附图说明

图1为本发明的总体技术方案图。

图2为本发明中用于判别超像素类型的CNN模型离线训练流程图。

图3为本发明中的CNN模型结构。

图4为本发明中的算法和其他算法对大田图像分割结果图。A为水稻原始图像，B为人工稻穗分割结果图，C为Hseg算法的分割结果图，D为i2分量滞后阈值法的分割结果图，E为JointSeg算法的分割结果图，F为本发明提出的算法分割结果图。

图5为ER优化系数对本发明提出的算法的分割性能的影响。A为稻穗初步分割结果，B、C、D分别为ER优化系数取0.9、0.8和0.7时的分割结果图。

图6为本发明提出的算法对大田俯视水稻图像的分割结果。A为水稻原始图像，B为人工稻穗分割结果图，C为本发明提出的算法分割结果图。

图7为本发明提出的算法对室内盆栽环境下顶视水稻图像的分割结果。A为水稻原始图像，B为人工稻穗分割结果图，C为本发明提出的算法分割结果图。

图8为本发明提出的算法对室内盆栽环境下侧视水稻图像的分割结果。A为水稻原始图像，B为人工稻穗分割结果图，C为本发明提出的算法分割结果图。

具体实施方式

(1)大田稻穗分割方法性能测试

选取24张未用于构建CNN模型的大田水稻图像，这些图像包含不同光照条件、不同品种及不同生育期，由结构相似度(SSIM)、准确度(Precision)、召回率(Recall)及F值来评价图像分割算法的性能。SSIM用于从亮度、结构相似程度及对比度三个方面分析分割结果及人工分割结果(即真实值)之间的相似程度。SSIM值为0-1之间的数值，SSIM值越高，表示算法分割结果与人工分割结果越相似。准确度针对算法分割结果，它表示的是算法分割结果中为正的样本中(本研究中为稻穗像素)有多少是真正的正样本，召回率针对原来样本，它表示的是样本中的正例有多少被预测正确，在本研究中即是原始图像中的所有稻穗像素有多少被准确地分割出来。F值，则是综合这二者指标的评估指标，用于综合反映整体的指标。F值越高，说明分割算法越有效。

准确度(Precision)、召回率(Recall)及F值的计算方式如下：

其中，TP为真阳性样本的数目，FP为假阳性样本的数目，FN为假阴性样本的数目。

表1显示了不同算法对24张测试图像的性能平均值、最大值和最小值。从表中可以看出，本发明提出的算法相对于现有算法具有更高的SSIM和F值，表明本发明的算法更有效。

表1本发明提出的算法与其他算法对大田水稻图像稻穗分割性能比较

图4显示了几种不同算法对一张代表性测试图像的结果。从图中可以看出，本发明提出的算法能更完整地分割出稻穗，且几乎未引入非稻穗像素，分割效果相对于其他算法更好。

(2)ER算法中平衡因子对分割结果的影响

表2显示了ER算法中平衡因子对分割结果的影响，表中结果为不同平衡因子设置下，本发明的算法对24张大田测试图像的性能平均值，从表中可以看出，当平衡因子取值为0.5时，其SSIM和F值达到最大，因此，最终平衡因子取值为0.5。

表2.ER算法中平衡因子对分割结果的影响

(3)ER优化系数对分割结果的影响

图5显示了ER优化系数对本发明提出的算法的分割性能的影响，其中，A是经过SLIC超像素分割和CNN稻穗分类识别后的初步分割结果，B、C、D分别为ER优化系数取0.9、0.8、0.7时的优化结果。从图中可以看到，ER优化方法可以将初步分割结果中的非稻穗像素去除，且能使稻穗区域更完整。当ER优化系数取0.9时，能获得最高的SSIM值和F值，因此，取优化系数为0.9。

(4)本发明算法对不同环境和不同角度的适应性测试

本发明提出的算法由大田顶视水稻图像构建而成，但同样适用于其他环境条件下如室内环境下及其他角度(俯视、侧视)下拍摄的水稻图像中稻穗的分割问题。为了测试本发明提出的算法的通用性，对大田俯视条件下和盆栽顶视及侧视角度下的图像进行了测试，结果分别见图6、图7和图8。

从结果可以看出，本算法不仅适用于大田顶视角度下的水稻图像稻穗分割，同样也适用于大田俯视角度下、室内盆栽顶视角度下、室内盆栽侧视角度下的水稻图像稻穗分割问题。综上所述，本发明提出的算法能用于不同品种、不同生育期、不同环境及不同拍摄角度下的水稻图像稻穗分割，具有精度高、适用性强的技术优势。

该方法也能够应用于其他作物，例如小麦、大麦、玉米等作物的果穗分割。

本申请中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于深度学习和超像素分割的大田稻穗分割方法，其特征在于，包括：

步骤A，通过超像素分割技术中的简单线性迭代聚类(simple linear iterativeclustering，SLIC)方法，分割水稻图像，得到SLIC超像素图；

步骤B，对于SLIC超像素图中的每个超像素，以其质心为中心，取一个固定大小的子图，称为SLIC子图；

步骤C，利用深度学习技术中的卷积神经网络(convolutional neural network，CNN)，以SLIC子图为输入，判断每个SLIC超像素的类别为候选稻穗超像素或背景超像素；

步骤D，基于CNN的分类结果，结合SLIC超像素图，得到稻穗初步分割结果；

步骤E，通过超像素分割技术中的基于熵率(entropy rate，ER)的超像素分割方法，对初步分割结果进行优化，以解决稻穗初步分割结果中包含有非稻穗像素以及稻穗区域不完整的问题；

步骤F，去除小区域，得到最终的稻穗分割结果。

2.根据权利要求1所述的基于深度学习和超像素分割的大田稻穗分割方法，其特征在于，所述步骤C中用到的CNN网络的离线训练方法包括6个步骤：

(1)选取穗型、遮挡程度以及穗叶混叠情况差异大的品种，选取不同光照条件的原始图像，用于构建CNN模型；

(2)人工对这些图像进行像素级标注；

(3)对每一幅原始图像，通过SLIC方法，基于颜色和空间距离度量像素的相似性，得到SLIC超像素图；

(4)以人工像素级标注的水稻图像作为掩膜，对于SLIC超像素图中的每个超像素，若超像素中含有稻穗像素则将其标注为候选稻穗，即正样本，否则为背景，即负样本；

(5)以每个SLIC超像素的质心为中心，取一个固定大小的子图，作为CNN的训练图像数据集，选取数目均衡的正负样本，并进行数据扩增；

(6)训练CNN模型。

3.根据权利要求2所述的基于深度学习和超像素分割的大田稻穗分割方法，其特征在于，采用如下步骤选取正负样本：

正样本全都选入作为训练样本；

负样本的选取方法如下：提取每个训练样本的特征，通过高斯混合模型进行聚类，由K-means聚类结果初始化高斯混合模型的参数，然后从每一类中等量随机抽取样本，加入训练集，并保证最终总的负样本与正样本的数目均衡。

4.根据权利要求2所述的基于深度学习和超像素分割的大田稻穗分割方法，其特征在于，采用如下步骤进行数据扩增：对训练图像进行高斯模糊，模拟因为风场或离焦因素导致的模糊问题；改变图像的亮度分量，模拟大田环境中变化且不均匀的光照；将这些样本也加入训练集，对训练集进行数据扩增。

5.根据权利要求1所述的基于深度学习和超像素分割的大田稻穗分割方法，其特征在于，所述步骤E中，基于ER超像素分割优化初步分割结果的具体步骤为：对于ER超像素分割结果中的每个超像素，以稻穗初步分割结果为掩膜，计算每个ER超像素内穗像素点和非穗像素点的数目，若两者的比值超过设定的优化系数，则判定该超像素为稻穗超像素，否则为背景超像素；基于每个ER超像素的类型，获取稻穗分割二值图，与原始RGB图进行掩模操作，得到稻穗分割结果。

6.根据权利要求1所述的基于深度学习和超像素分割的大田稻穗分割方法，其也适用于室内盆栽环境下的稻穗分割，并且也可应用于包括小麦、大麦和玉米在内的农作物的果穗分割。