CN112651440A - 基于深度卷积神经网络的土壤有效团聚体分类识别方法 - Google Patents

Abstract

本发明涉及土壤有效团聚体识别技术，具体涉及一种基于深度卷积神经网络的土壤有效团聚体分类识别方法，以解决现有土壤团聚体分类识别采用传统的筛分法无法准确识别土壤有效团聚体及砂粒，且常规图像处理技术难以高效实现土壤有效团聚体的精细识别的技术问题。本发明方法包括：将土壤团聚体筛分；用扫描电镜进行拍摄；对图像进行数据标注；建立深度卷积神经网络分割模型，使用Bisenet语义分割模型对图像进行数据分割，采用形状分支学习边缘信息，并使用Canny算子监督；对图像特征进行提取识别；对图像后处理，得到修正后的图像；利用神经网络分割模型测试修正后的图像，最终获得有效团聚体和砂粒数量信息。

Description

基于深度卷积神经网络的土壤有效团聚体分类识别方法

技术领域

本发明涉及土壤团聚体识别技术，具体涉及一种基于深度卷积神经网络的土壤有效团聚体分类识别方法。

背景技术

土壤团聚体是指一组黏结在一起的多个基本土壤颗粒，是土壤的结构单位。长期以来，人们设计了多种方法进行土壤团聚体分析。筛分法是目前最流行、也是最经典的研究方法其中包括有湿筛法和干筛法。土壤是由砂粒、粉粒、黏粒组成，其中砂粒的粒径范围为0.02mm～2mm，在使用传统筛分法进行土壤团聚体组成测定时，特别对于以风沙土这类以砂粒为主要组成的土壤，筛分出的0.25mm～2mm粒径范围组分极易受到未能形成团聚结构的砂粒干扰，导致团聚体筛分结构不能准确体现出土壤团聚体的数量。

传统方法对于图像分割提取识别主要是通过提取图像感兴趣区域的边缘、纹理特征，从而建立模型分割出感兴趣区域，其中经典的算法包括自适应阈值分割法，区域增长法，分水岭算法、颜色聚类法等，但对于电镜拍摄下的团聚体图像，由于黏连颗粒等特征，虽然传统方法能够在一定程度上实现图像分割，但对于高效实现土壤有效团聚体的精细识别仍有很大的差距。

发明内容

本发明的目的是提出一种基于深度卷积神经网络的土壤有效团聚体分类识别方法，以解决现有土壤团聚体分类识别采用传统的湿筛法不能准确体现出土壤团聚体的数量，且常规图像处理技术难以高效实现土壤有效团聚体的精细识别的技术问题。本发明基于扫描电镜大视场成像技术和基于Bisenet语义分割模型深度学习，可以高精度地实现对土壤、特别是对于砂土及以砂土为成土母质的土壤的机械稳定性团聚体、水稳定性团聚体精准有效的分类识别。

为了实现上述目的，本发明所采用的技术方案是：一种基于深度卷积神经网络的土壤有效团聚体分类识别方法，其特殊之处在于，包括以下步骤：

步骤1、电镜拍摄：

1.1)将风干后的土壤经四分法取样后，等分为4组，分别过0.25mm、0.25mm/0.5mm、0.5mm/1mm、1mm/2mm筛组，为保证土壤结构不被筛分破坏，将得到的小于0.25mm、0.25mm～0.5mm、0.5mm～1.0mm、1mm～2mm组分分别筛分于不同软棉垫上；

1.2)为保证样品台上的砂粒和团聚体无遮挡，将导电胶黏贴于样品台上，以样品台倒置法粘取软棉垫上的其中一组土壤筛分组分，而后对该组分的土壤团聚体进行喷金或喷碳处理；

1.3)用扫描电镜对土壤团聚体进行拍摄，为确保能够获得最佳的、均一性的成像质量，因而需要保证样品表面结构纹理信息特征、边缘特征、景深特征、清晰度、拍摄样品数量达到最优效果，要求扫描电镜的加速电压为5kV，工作距离不小于15mm，放大倍率为50×～200×；

步骤2、数据标注：

2.1)对每个电镜图像下的有效团聚体及砂粒的轮廓分别进行填充，并且使团聚体和砂粒重叠部分没有歧义，建立图像数据集A；

2.2)将图像数据集A分为训练集X和测试集Y，要求测试集Y的样本量达到训练集X样本量的1/3～1/5；

步骤3、图像预处理：将图像数据集A中的所有图像转为灰度图；

步骤4、建立深度卷积神经网络分割模型：

4.1)在深度卷积神经网络中，对训练集X灰度图的团聚体和砂粒的分割，主要是依赖于图像的局部细节特征，诸如纹理，边缘等进行判断，Bisenet语义分割模型对细节保留更多，且网络足够轻量化并且推断速度精度有保证，故使用Bisenet语义分割模型对数据进行粗分割；Bisenet保留底层网络的分支，再把底层的信息和高层的信息进一步融合，加强类别的识别判断力，并获取每个类别分别对应的权重，根据每个类别分别对应的权重以及类别概率进行加权和得到损失值；

4.2)考虑重叠的团聚体和砂粒需要一些更清晰的边缘进行重叠部分的分割，在神经网络模型中加入一个并列的形状分支，学习训练集X的灰度图中团聚体和砂粒的边缘信息，并使用辅助的Canny算子作为辅助损失来监督此分支，使得分割模型能够更好的预测对象的边缘信息，显著的提升了小物体和细物体的分割效果；

4.3)将训练产生的优化参数保存至深度卷积神经网络分割模型；

步骤5、图像特征提取识别：利用步骤4所述的优化参数，通过深度卷积神经网络分割模型，对测试集Y的灰度图进行特征提取识别，得到神经网络分割模型初步测试结果；

步骤6、图像后处理：对神经网络分割模型初步测试结果，先通过轮廓识别剔除所有面积小于筛分阈值的轮廓，再对大轮廓中的孔洞进行填补，最后剔除形状不合理的轮廓，得到修正后的图像；

步骤7、数据统计：利用修正后的图像，获得有效团聚体和砂粒数量信息。

进一步地，步骤4.1)中，所述Bisenet保留底层网络的分支，具体为：保留了Bisenet的注意力改善模块、特征融合模块及网络分支；所述注意力改善模块为2个，分别采用不同分辨率路径实现；所述特征融合模块用于融合2个注意力改善模块的输出特征来进行最终预测；所述网络分支包括两个空间分支(Spatial Path)、一个上下文分支(ContextPath)和一个形状分支(Shape Path)；所述空间分支用来保留空间信息生成高分辨率特征图；所述上下文分支用于对输入进行快速下采样，获得更大的感受野；所述形状分支用于处理和边界相关的信息；采用此三方面分支的结合，可实现速度和精度的平衡及改善分割边界的目的。

进一步地，为确保能够获得最佳的、均一性的成像质量，保证样品表面结构纹理信息特征、边缘特征、景深特征、清晰度、拍摄样品数量达到最优效果，步骤1.3)中，采用扫描电镜拍摄的工作距离为30mm，放大倍率为100×。

进一步地，步骤2.2)中，所述训练集X和测试集Y的比例为4:1。

进一步地，步骤3具体为：将图像数据集A中的所有图像转为8位灰度图，为了减少局部收敛的风险，对图像进行高斯归一化，并且对图像进行强化，调节不同图像的对比度，同时对图像进行随机旋转和剪切，以增加空间和尺度上的变化。

进一步地，步骤6中，所述形状不合理的轮廓包括狭长轮廓或蜷曲轮廓。

本发明的有益效果是：

1)本发明采用扫描电镜大视场成像技术对土壤团聚体进行拍摄，图形处理中采用卷积神经网络深度学习技术，使用Bisenet语义分割模型进行训练，可以实现对土壤，特别是对于砂土及以砂土为成土母质的土壤的机械稳定性团聚体、水稳定性团聚体进行高精度、有效的分类识别，为团聚体形成分析提供一种新的研究方法。

2)本发明对土壤团聚体进行筛分，部分筛分组分筛分于软棉垫上，保证了土壤结构不被筛分破坏；将导电胶黏贴于样品台上，以样品台倒置法粘取软棉垫上的土壤筛分组分，保证样品台上的砂粒和团聚体无遮挡；采用扫描电镜的加速电压为5kV，工作距离不小于15mm，放大倍率为50×～200×，确保能够获得最佳的、均一性的成像质量，保证样品表面结构纹理信息特征、边缘特征、景深特征、清晰度、拍摄样品数量达到最优效果。

3)本发明深度卷积神经网络使用Bisenet语义分割模型按照团聚体和砂粒的局部纹理进行分割，保留底层网络的分支，再把底层的信息和高层的信息进一步融合，并获取每个类别分别对应的权重，根据每个类别分别对应的权重以及类别概率进行加权和得到损失值，提升了深度卷积神经网络语义分割的速度和精度。

4)本发明神经网络分割模型中，加入一个形状分支用来学习边缘信息，并使用辅助的Canny算子作为辅助损失来监督此分支，使得分割模型能够更好的预测对象的边缘信息，显著的提升了砂粒和有效团聚体的分割效果。

附图说明

图1为本发明基于深度卷积神经网络的土壤有效团聚体分类识别方法流程图；

图2为本发明中深度卷积神经网络的语义分割流程图；

图3为本发明中土壤团聚体筛分原图及人工标注的标签；其中，(a)为土壤团聚体扫描电镜拍摄原图；(b)为对(a)进行人工标注的标签；

图4为本发明中土壤团聚体筛分原图及对应模型检测结果；其中，(c)为土壤团聚体扫描电镜拍摄原图；(d)为与(c)对应的模型检测结果。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图和具体实施例对本发明进行详细说明。

本发明采用扫描电镜大视场成像技术以及基于Bisenet语义分割进行土壤有效团聚体识别分类。首先，采用具有保护性团聚体的筛分方法和电镜样品制样方法进行土壤有效团聚体筛分制样，进而在低电压、大工作距离以及大视场的条件下，应用扫描电镜对土壤筛分组分进行拍摄；然后，对土壤筛分组分进行分类标注，并通过以局部纹理特征为判断依据构建基于轻量化卷积神经网络的有效团聚体以及砂粒检测模型，同时在神经网络模型中加入一个并列的形状分支用来学习边缘信息，并使用辅助的Canny算子作为辅助损失来监督此分支，使得分割模型能够更好的预测对象的边缘信息；最后，利用轮廓识别，孔洞填补进行图像后处理；从而得到有效团聚体以及砂粒的准确的检测结果，进而实现对土壤，特别是对砂土及以砂土为成土母质的土壤有效团聚体含量分析。

本发明基于深度卷积神经网络的砂土土壤团聚体分类识别方法的流程图如图1所示，具体步骤如下：

1)电镜拍摄：

土壤团聚体筛分，具体为：将风干后砂土土壤进行四分法取样并分成4组分，分别过0.25mm、0.25mm/0.5mm、0.5mm/1mm、1mm/2mm筛组，为保证土壤结构不被筛分破坏，将小于0.25mm、0.25mm～0.5mm、0.5mm～1.0mm、1mm～2mm组分分别筛分于软棉垫上；

为保证样品台上的砂粒和团聚体无遮挡，将导电胶黏贴于样品台上，将样品台倒置，在软棉垫上粘取0.25mm～0.5mm粒径范围的土壤筛分组分，而后对样品进行喷金处理；

用扫描电镜对土壤团聚体进行拍摄，为确保能够获得最佳的、均一性的成像质量，因而需要保证样品表面结构纹理信息特征、边缘特征、景深特征、清晰度、拍摄样品数量达到最优效果，要求扫描电镜的加速电压为5kV，工作距离不小于15mm，放大倍率为50×～200×。本发明实施例中，采用在扫描电镜的加速电压为5kV，工作距离30mm，放大倍率为100×，扫描电镜拍摄的土壤团聚体图像如图3中(a)及图4中(c)所示。

2)数据标注：

选取拍摄好团聚体电镜图像，标注的类别应该在图像视觉特征上尽量容易区分，砂粒一般为单颗粒，而团聚体是由多个颗粒胶结在一起。将标注设定为三个类别，第一个类别为背景，用0表示。第二个类别为砂粒，用1表示。最后一个类别为团聚体，用2表示。对标注有以下两种情形：

i)放置在平板上的砂粒或者团聚体，没有与之重叠的部分。

ii)砂粒或者团聚体和其它砂粒或者团聚体重叠。

对于i)，将砂粒或者团聚体轮廓部分的所有像素作为对应的类别ID。对于ii)将重叠部分肉眼可见的边界标记出来，形成多个物体的轮廓。如果某个物体的轮廓被遮挡住，就只标注遮挡内部的像素。使团聚体和砂粒重叠部分，或者单个类别的重叠部分没有歧义。如此得到图像数据集A，再将数据集A以4:1的比例分为训练集X和测试集Y。

图3中(b)为对原图(a)中的土壤有效团聚体及砂粒的轮廓分别进行人工标注的标签，其中深色标注为砂粒，浅色标注为有效团聚体。

为了获得具有较高准确度的识别结构，图像数据集A需要满足一定数量，本实施例中，完成300张扫描电镜图像拍摄及标注工作。

3)图像预处理：

因砂粒和团聚体在颜色分布上相似，可以仅用灰度图来进行分割任务，所以将图像转为8位灰度图。为了减少局部收敛的风险，计算所有训练集的均值和方差，对训练集图像统一进行高斯归一化，并且对图像进行强化，诸如调节图像的对比度，同时对图像进行了随机旋转、剪切，增加空间和尺度上的变化。

4)神经网络分割模型建立：

深度卷积神经网络架构流程图如图2所示，对团聚体和砂粒的分割，主要是依赖于图像的局部细节特征，诸如纹理，边缘等进行判断，形状分支对细节保留更多，轻量化并且推断速度精度有保证。Bisenet保留底层网络的分支，再把底层的信息和高层的信息进一步融合，加强类别的识别判断力，并获取每个类别分别对应的权重，根据每个类别分别对应的权重以及类别概率进行加权和得到损失值。

网络保留了Bisenet的注意力改善模块(Attention Refinement Module，ARM)和特征融合模块(Feature Fusion Module，FFM)；特征融合模块则是融合采用两条不同分辨率路径的注意力改善模块的输出特征来进行最终预测；网络主要包含两个空间分支(Spatial Path)，一个上下文分支(Context Path)，和一个形状分支(Shape Path)空间分支用来保留空间信息生成高分辨率特征图。上下文分支用来对输入进行快速下采样，获得更大的感受野。形状分支只处理和边界相关的信息。将三者结合，可实现速度和精度的平衡及改善分割边界的目的。

考虑重叠的团聚体和砂粒需要一些更清晰的边缘进行重叠部分的分割，所以在神经网络模型中加入一个并列的形状分支用来学习边缘信息，并使用辅助的Canny算子作为辅助损失来监督此分支，使得分割模型能够更好的预测对象的边缘信息，显著的提升了小物体和细物体的分割效果，并将训练产生的优化参数保存。

本实施例中网络训练参数的配置：使用随机梯度下降作为优化器，batch size为16，动量设置为0.9，权重衰减设置为1e-4，学习率设置为1e-4，权重使用高斯初始化。

5)图像后处理：利用4)的优化参数通过神经网络深度学习模型对图像进行特征提取识别，然后对图像进行后处理。第一步对网络识别的结果进行轮廓识别，然后对所有面积小于筛分阈值的轮廓进行剔除。第二步，对大轮廓中的孔洞进行填补。第三步，对形状不合理的诸如及其狭长，蜷曲的轮廓进行剔除。如图4中(d)所示，对应原图(c)的模型检测结果，其中黑色为背景，灰色为砂粒，白色为团聚体。

6)数据统计：利用图像后处理结果对神经网络分割模型测试结果进行修正，将识别得到的闭合轮廓视为一个单独的物体，根据对应的类别获得有效团聚体和砂粒数量信息。

以上仅是对本发明的优选实施方式进行了描述，并非对本发明技术方案的限制，本领域技术人员在本发明主要技术构思的基础上所作的任何公知变形都属于本发明所要保护的技术范畴。

Claims (6)

1.一种基于深度卷积神经网络的土壤有效团聚体分类识别方法，其特征在于，包括以下步骤：

步骤1、电镜拍摄：

1.1)将风干后的土壤经四分法取样后，等分为4组，分别过0.25mm、0.25mm/0.5mm、0.5mm/1mm、1mm/2mm筛组，分别得到＜0.25mm、0.25mm～0.5mm、0.5mm～1.0mm、1mm～2mm组分，然后将各组分分别筛分于不同软棉垫上；

1.2)将导电胶黏贴于样品台上，以样品台倒置法粘取软棉垫上的其中一组土壤筛分组分，而后对该组分的土壤团聚体进行喷金或喷碳处理；

1.3)用扫描电镜对土壤团聚体进行拍摄，要求扫描电镜的加速电压为5kV，工作距离不小于15mm，放大倍率为50×～200×；

步骤2、数据标注：

2.1)选取拍摄好的电镜图像，对每一张电镜图像中的团聚体和砂粒分别标注，并且使团聚体和砂粒重叠部分没有歧义，建立图像数据集A；

2.2)将图像数据集A分为训练集X和测试集Y，要求测试集Y的样本量达到训练集X样本量的1/3～1/5；

步骤3、图像预处理：将图像数据集A中的所有图像转为灰度图；

步骤4、建立深度卷积神经网络分割模型：

4.1)根据图像的局部细节特征，使用Bisenet语义分割模型对训练集X灰度图的团聚体和砂粒进行粗分割，Bisenet保留底层网络的分支，再把底层的信息和高层的信息进一步融合，并获取每个类别分别对应的权重，根据每个类别分别对应的权重以及类别概率进行加权和得到损失值；

4.2)加入一个并列的形状分支，学习训练集X的灰度图中团聚体和砂粒的边缘信息，并使用辅助的Canny算子作为辅助损失来监督此分支；

4.3)将训练产生的优化参数保存至深度卷积神经网络分割模型；

步骤5、图像特征提取识别：利用步骤4所述的优化参数，通过深度卷积神经网络分割模型，对测试集Y的灰度图进行特征提取识别，得到神经网络分割模型初步测试结果；

步骤6、图像后处理：对神经网络分割模型初步测试结果，先通过轮廓识别剔除所有面积小于筛分阈值的轮廓，再对大轮廓中的孔洞进行填补，最后剔除形状不合理的轮廓，得到修正后的图像；

步骤7、数据统计：利用修正后的图像，获得有效团聚体和砂粒数量信息。

2.根据权利要求1所述基于深度卷积神经网络的土壤有效团聚体分类识别方法，其特征在于，步骤4.1)中，所述Bisenet保留底层网络的分支，具体为：保留Bisenet的注意力改善模块、特征融合模块及网络分支；所述注意力改善模块为2个，分别采用不同分辨率路径实现；所述特征融合模块用于融合2个注意力改善模块的输出特征来进行最终预测；所述网络分支包括两个空间分支、一个上下文分支和一个形状分支；所述空间分支用来保留空间信息生成高分辨率特征图；所述上下文分支用于对输入进行快速下采样；所述形状分支用于处理和边界相关的信息。

3.根据权利要求1或2所述基于深度卷积神经网络的土壤有效团聚体分类识别方法，其特征在于：步骤1.3)中，采用扫描电镜拍摄的工作距离为30mm，放大倍率为100×。

4.根据权利要求3所述基于深度卷积神经网络的土壤有效团聚体分类识别方法，其特征在于：步骤2.2)中，所述训练集X和测试集Y的比例为4:1。

5.根据权利要求4所述基于深度卷积神经网络的土壤有效团聚体分类识别方法，其特征在于，步骤3具体为：将图像数据集A中的所有图像转为8位灰度图，对图像进行高斯归一化，并且对图像进行强化，调节不同图像的对比度，同时对图像进行随机旋转和剪切。

6.根据权利要求5所述基于深度卷积神经网络的土壤有效团聚体分类识别方法，其特征在于：步骤6中，所述形状不合理的轮廓包括狭长轮廓或蜷曲轮廓。

Images