CN112686261A - 一种基于改进U-Net的葡萄根系图像分割方法 - Google Patents

Abstract

本发明公开了一种基于改进U‑Net的葡萄根系图像分割方法，涉及植物图像技术领域，通过获取待分割的葡萄根系图像，并标注；将标注后的葡萄根系图像转化成数据集，将所述数据集分为：训练集、验证集和测试集；构建改进的U‑Net网络，改进的U‑Net网络中设有级联扩张卷积模块；通过训练集、验证集对改进的U‑Net网络进行训练、验证得到最终U‑Net网络；将测试集进行预处理，将预处理后的测试输入所述最终U‑Net网络，通过最终U‑Net网络输出相应的根系分割图像。使用改进的U‑Net网络，加入级联扩张卷积模块，能够扩大网络感受野，增加葡萄根系细节分割效果，降低干扰因素对分割的影响。

Description

一种基于改进U-Net的葡萄根系图像分割方法

技术领域

本发明属于植物图像识别技术领域，尤其涉及一种基于改进U-Net的葡萄根系图像分割方法。

背景技术

葡萄根系分析是葡萄研究的重要内容，根系生长情况与土壤温湿度、施肥情况等有关，且与产量之间存在一定联系。

根系测量方式主要分为人工测量与仪器测量。人工测量根系方案可分为挖掘法、土钻法、容器法等，这些方法效率较低，且为有损测量；仪器测量根系方案主要分为可见光、近红外、红外、高光谱、激光雷达等，近年来随着计算机视觉技术的发展，低成本的可见光方案因其无损性与高效性正广泛应用于根系测量技术中。

传统的根系图像分割方法主要分为三类：第一类基于阈值的分割方法，主要根据根系与土壤的颜色特征，利用图像二值化技术手段进行根系的图像分割，但土壤中干扰因素过多，阈值选择较困难；第二类基于区域的图像分割方法，利用根系与土壤灰度分布的特性，通过区域生长或区域分裂、合并的方式进行图像分割，但土壤中的干扰因素会影响区域的判断，进而影响分割效果；第三类是基于边缘检测的分割方法，该方法不能保证边缘的连续性和封闭性，同时易受土壤干扰因素影响。

发明内容

本发明的目的在于提供一种基于改进U-Net的葡萄根系图像分割方法，从而克服了现有根系图像分割受土壤中的因素影响大的缺点。

为实现上述目的，本发明提供了一种基于改进U-Net的葡萄根系图像分割方法，包括：

获取待分割的葡萄根系图像，并对所述葡萄根系图像进行标注；

将标注后的葡萄根系图像转化成数据集，将所述数据集分为：训练集、验证集和测试集；

构建改进的U-Net网络，所述改进的U-Net网络中设有级联扩张卷积模块；

通过训练集、验证集对所述改进的U-Net网络进行训练、验证得到最终U-Net网络；

将所述测试集进行预处理，将预处理后的测试输入所述最终U-Net网络，通过所述最终U-Net网络输出相应的根系分割图像。

优选地，对所述改进的U-Net网络进行训练、验证之前，对所述改进的U-Net网络进行优化。

优选地，通过对所述改进的U-Net网络的损失函数优化实现对所述改进的U-Net网络进行优化。

优选地，优化所述损失函数采用BCE Loss与Dice Loss加权的损失函数进行优化。

优选地，所述标注为语义分割标注。

优选地，将标注后的葡萄根系图像转化成数据集为：将标注后的葡萄根系图像转换成PASCAL VOC语义分割格式的数据。

优选地，所述改进的U-Net网络包括依次连接的输入层、编码器模块、级联扩张卷积模块、解码器模块和输出层；

所述编码器对输入层输入的葡萄根系图像进行下采样，所述级联扩张卷积模块用于对所述编码器输出的特征图进行卷积扩张，所述解码器模块对经过所述级联扩张卷积模块输出的特征图进行上采样，后通过所述输出层对所述解码器模块输出进行卷积处理得到根系分割图像。

优选地，所述编码器模块包括多个依次连接的编码子模块，每个所述编码子模块均包括依次连接的第一卷积层、第二卷积层和最大池化层。

优选地，所述级联扩张卷积模块包括多个级联子模块，每个所述级联子模块均包括依次连接的扩张卷积层和Batch Normalization层。

优选地，所述解码器模块包括多个依次连接的解码子模块，每个所述解码子模块均包括依次连接的上采样层、第三卷积层、Concatenate层、第四卷积层和第五卷积层。

优选地，所述输出层包括第六卷积层。

优选地，所述解码器模块的解码子模块的数量与编码器模块的编码子模块的数量一样。

与现有的技术相比，本发明具有如下有益效果：

1.本发明所提供的一种基于改进U-Net的葡萄根系图像分割方法，通过获取待分割的葡萄根系图像，并标注；将标注后的葡萄根系图像转化成数据集，将所述数据集分为：训练集、验证集和测试集；构建改进的U-Net网络，改进的U-Net网络中设有级联扩张卷积模块；通过训练集、验证集对改进的U-Net网络进行训练、验证得到最终U-Net网络；将测试集进行预处理，将预处理后的测试输入所述最终U-Net网络，通过最终U-Net网络输出相应的根系分割图像。使用改进的U-Net网络，加入级联扩张卷积模块，能够扩大网络感受野，增加葡萄根系细节分割效果，降低干扰因素对分割的影响。

2.本发明所提供的一种基于改进U-Net的葡萄根系图像分割方法采用优化损失函数对改进的U-Net网络进行优化，通过采用BCE Loss与Dice Loss加权的损失函数，能够解决根系与土壤像素不均衡问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于改进U-Net的葡萄根系图像分割方法的流程图；

图2是本发明的改进的U-Net网络结构的示意图；

图3是图2的输入层和编码器模块的结构示意图；

图4是图2的级联扩张卷积模块的结构示意图；

图5是图2的解码器模块和输出层的结构示意图；

图6是本发明的其中一个实施例的待分割的葡萄根系图像；

图7是图6的葡萄根系分割图像。

具体实施方式

下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅如图1所示，本发明所提供的基于改进U-Net的葡萄根系图像分割方法包括以下步骤：

S1、获取待分割的葡萄根系图像，并对葡萄根系图像进行标注，得到葡萄根系的语义分割基准，用于模型训练；其中，葡萄根系图像为RGB图像，标注为语义分割标注。

S2、将标注后的葡萄根系图像转化成数据集，将数据集分为：训练集、验证集和测试集；

将标注后的葡萄根系图像转化成数据集为：将标注后的葡萄根系图像转换成PASCAL VOC语义分割格式的数据。

S3、构建改进的U-Net网络，改进的U-Net网络中设有级联扩张卷积模块，通过级联扩张卷积模块扩大网络感受野，增加葡萄根系细节分割效果，降低干扰因素对分割的影响。

S4、通过训练集、验证集对改进的U-Net网络进行训练、验证得到最终U-Net网络；其中，训练集用于训练改进的U-Net网络，验证集用于训练过程中验证改进的U-Net网络的指标。

S5、将测试集进行预处理，将预处理后的测试输入最终U-Net网络，通过最终U-Net网络输出相应的根系分割图像。

优选地，对改进的U-Net网络进行训练、验证之前，对改进的U-Net网络进行优化。

通过对改进的U-Net网络的损失函数优化实现对改进的U-Net网络进行优化。

优选地，优化损失函数采用BCE Loss与Dice Loss加权的损失函数进行优化，将BCE Loss和Dice Loss进行组合，其中，BCE Loss针对数据较为均衡的情况，Dice Loss针对样本极度不均衡的情况，通过权重对两者进行权衡，解决根系与土壤像素不均衡问题。

继续参阅图1所示，改进的U-Net网络包括依次连接的输入层、编码器模块、级联扩张卷积模块、解码器模块和输出层；输入层接收数据集，编码器对输入层输入的葡萄根系图像进行卷积下采样，逐层压缩特征图，过滤信息冗余的特征，保留关键特征；级联扩张卷积模块用于对卷积下采样后的特征图进行多级卷积扩张，增加模型的感受野，提升细节分割能力；解码器模块对经过级联扩张卷积模块输出的特征图进行卷积上采样，逐层放大特征图，提升特征图分辨率，直到与输入层分辨率尺寸一致，输出层对解码器模块输出进行卷积处理得到根系分割图像。

优选地，编码器模块包括多个依次连接的编码子模块，每个编码子模块均包括依次连接的第一卷积层、第二卷积层和最大池化层。

优选地，级联扩张卷积模块包括多个级联子模块，每个级联子模块均包括依次连接的扩张卷积层和Batch Normalization层。

优选地，解码器模块包括多个依次连接的解码子模块，每个解码子模块均包括依次连接的上采样层、第三卷积层、Concatenate层、第四卷积层和第五卷积层。

优选地，解码器模块的解码子模块的数量与编码器模块的编码子模块的数量一样。

优选地，输出层包括第六卷积层。

对本发明基于改进U-Net的葡萄根系图像分割方法的其中一个实施例进行详细说明，以使本领域技术人员更了解本发明：

A1、将固定摄像机放置在玻璃根窗前，采集葡萄根系图像，葡萄根系图像为RGB图像(如图6所示)，通过labelme工具对葡萄根系图像中的根系进行语义分割标注。

A2、将标注好的数据转换成PASCAL VOC语义分割格式，并按0.8:0.1:0.1的比例划分训练集、验证集与测试集，其中，训练集用于训练改进的U-Net网络，验证集用于训练过程中验证改进的U-Net网络的指标，测试集用于测试、验证训练后得到的改进的U-Net网络。

A3、构建改进的U-Net网络，改进的U-Net网络的输入为1024x1024x3、且归一化到[-0.5,0.5]的RGB图片，经过改进的U-Net网络中的编码器模块的分辨率下采样后，通过级联扩张卷积模块，扩大网络感受野，增加细节分割效果，接着经过解码器模块的分辨率上采样，输出1024x1024x1的预测的根系分割图像。

请参见图2所示的改进的U-Net网络结构，改进U-Net的网络分为五大模块，分别为：输入层、编码器模块、级联扩张卷积模块、解码器模块和输出层。

如图3示出了图2的输入层和编码器模块的结构，输入层为inputLayer，inputLayer的输入为input_1，input_1输入1024x1024x3的RGB图片，“？”为batch size，表示每次迭代输入的图片数量，下同，以下涉及尺寸的表述中将省略，输入层的输出尺寸为1024x1024x3。

编码器模块通过下采样的方式，逐层压缩特征图，过滤信息冗余的特征，保留关键特征。编码器模块包含三个编码子模块，分别为第一编码子模块、第二编码子模块和第三编码子模块，每个编码子模块均包括相互连接的第一卷积层、第二卷积层和最大池化层，通过最大池化层进行下采样，编码器模块中的所有卷积层(所有的第一卷积和第二卷积层)均采用ReLU激活函数。

第一编码子模块包括依次连接的conv2d(第一编码子模块的第一卷积层)、conv2d_1(第一编码子模块的第二卷积层)、max_pooling2d(第一编码子模块的最大池化层)，其中卷积层conv2d和conv2d_1的滤波器数量为32，卷积核大小为3x3，max_pooling2d的池化尺寸为2x2，步长为2x2，因此，输入层输出的图片经过第一编码子模块两次卷积、最大池化后，得到的特征图尺寸为512x512x32，该特征图宽高尺寸较大，作用是提取相对低级的视觉特征；

第二编码子模块包括依次连接的conv2d_2(第二编码子模块的第一卷积层)、conv2d_3(第二编码子模块的第二卷积层)、max_pooling2d_1(第二编码子模块的最大池化层)，其中卷积层conv2d_2和conv2d_3的滤波器数量为64，卷积核大小为3x3，最大池化层max_pooling2d_1的池化尺寸为2x2，步长为2x2，因此，第一编码子模块输出的图片经过第二编码子模块两次卷积、最大池化后后，得到的特征图尺寸为256x256x64，该特征图宽高尺寸适中，作用是提取相对中级的视觉特征；

第三编码子模块包括依次连接的conv2d_4(第三编码子模块的第一卷积层)、conv2d_5(第三编码子模块的第二卷积层)、max_pooling2d_2(第三编码子模块的最大池化层)，其中卷积层conv2d_4和conv2d_5的滤波器数量为128，卷积核大小为3x3，最大池化层max_pooling2d_2的池化尺寸为2x2，步长为2x2，因此，第二编码子模块经输出的图片经过第三编码子模块两次卷积、最大池化后，得到的特征图尺寸为128x128x128，该特征图宽高尺寸较小，作用是提取相对高级的视觉特征。

如图3示出了图2的级联扩张卷积模块的结构，级联扩张卷积模块包括六个级联子模块，级联扩张卷积模块通过级联六个扩张卷积层的方式，扩张模型的感受野，提升细节的识别能力。每个级联子模块均包括依次连接的扩张卷积层和Batch Normalization层，所有扩张卷积层均采用ReLU激活函数，滤波器数量均为256；其中，前面五个级联子模块中的扩张卷积层dilated_0至dilated_5的扩张率分别为1、2、4、8、16、32，Batch Normalization层batch_normalization_0至batch_normalization_5参数均一致；级联扩张卷积模块采用Add层计算经过六个Batch Normalization层后的扩张卷积的张量和，得到特征图尺寸为128x128x256，该特征图的宽高尺寸与编码器模块输出的特征图的尺寸相同，均为128，但通道数由128增加至256，目的是与后续的第一解码子模块输入进行衔接。

解码器模块通过上采样的方式，逐层放大特征图，提升特征图分辨率，直到与输入层分辨率宽高尺寸一致。如图4示出了图2的解码器模块和输出层的结构，解码器模块包括三个解码子模块，分别为第一解码子模块、第二解码子模块和第三解码子模块，每个解码子模块均包括上采样层、第三卷积层、Concatenate层、第四卷积层和第五卷积层，其中，所有的卷积层(所有的上采样层、第三卷积层、第四卷积层和第五卷积层)均采用ReLU激活函数。

第一解码子模块包括依次连接的up_sampling2d(第一解码子模块的上采样层)、conv2d_6(第一解码子模块的第三卷积层)、concatenate(第一解码子模块的Concatenate层)、conv2d_7(第一解码子模块的第四卷积层)、conv2d_8(第一解码子模块的第五卷积层)，其中，上采样层up_sampling2d的尺寸参数为2x2，卷积层conv2d_6、conv2d_7、conv2d_8的滤波器数量均为128，卷积核大小均为3x3，Concatenate层concatenate将conv2d_5与conv2d_6的输出特征图进行通道数的合并，合并输出256x256x256尺寸的特征图后，经过conv2d_7、conv2d_8卷积后，第一解码子模块输出的特征图尺寸为256x256x128，该特征图的宽高均为256，与第二编码子模块输出特征图的宽高一致，作用是恢复相对中级的视觉特征；

第二解码子模块包括依次连接的up_sampling2d_1(第二解码子模块的上采样层)、conv2d_9(第二解码子模块的第三卷积层)、concatenate_1(第二解码子模块的Concatenate层)、conv2d_10(第二解码子模块的第四卷积层)、conv2d_11(第二解码子模块的第五卷积层)，其中，上采样层up_sampling2d_1的尺寸参数为2x2，卷积层conv2d_9、conv2d_10、conv2d_11的滤波器数量均为64，卷积核大小均为3x3，Concatenate层concatenate_1将conv2d_3与conv2d_9的输出特征图进行通道数的合并，合并输出512x512x128尺寸的特征图后，经过conv2d_10、conv2d_11卷积后，第二解码子模块输出的特征图尺寸为512x512x64，该特征图的宽高均为512，与第一编码子模块输出特征图的宽高一致，作用是恢复相对低级的视觉特征；

第三解码子模块包括依次连的up_sampling2d_2(第三解码子模块的上采样层)、conv2d_12(第三解码子模块的第三卷积层)、concatenate_2(第三解码子模块的Concatenate层)、conv2d_13(第三解码子模块的第四卷积层)、conv2d_14(第三解码子模块的第五卷积层)，其中，上采样层up_sampling2d_2的尺寸参数为2x2，卷积层conv2d_12、conv2d_13、conv2d_14的滤波器数量均为32，卷积核大小均为3x3，Concatenate层concatenate_2将conv2d_1与conv2d_12的输出特征图进行通道数的合并，合并输出1024x1024x64尺寸的特征图后，经过conv2d_13、conv2d_14卷积后，第三解码子模块输出的特征图尺寸为1024x1024x32，该特征图的宽高均为1024，与输入层宽高一致，作用是恢复至输入层分辨率。

输出层包括一个1x1卷积层，1x1卷积层的激活函数为Sigmoid，滤波器数量为1，该滤波器数量与类别数相同，因此，第三解码子模块输出的特征图经过输出层最后输出得到的特征图尺寸为1024x1024x1，该特征图的宽高不变，均为1024，通道数由32变为1，与类别数对应。

A4、采用优化损失函数对改进的U-Net网络进行优化，优化损失函数采用BCE Loss与Dice Loss加权的损失函数，其中，BCE Loss针对数据较为均衡的情况，Dice Loss针对样本极度不均衡的情况，通过权重对两者进行权衡，解决根系与土壤像素不均衡问题。

BCE Loss与Dice Loss加权的损失函数的计算如下：

A41、BCE Loss函数如公式(1)所示，

BCE Loss＝-∑_i(y_ilogf_i(x)+(1-y_i)log(1-f_i(x))) (1)

式(1)中，x表示输入样本，f_i(x)表示第i个类别的预测结果，y_i表示第i个类别对应的真实标签；

A42、Dice Loss函数如公式(2)所示，

A43、根据式(1)和式(2)得到BCE Loss与Dice Loss加权的损失函数如式(3)，

Loss＝λ(BCE Loss)+(1-λ)(Dice Loss) (3)

式(3)中，λ表示权重参数，λ设置为0.45。

A5、采用训练集训练优化后的改进的U-Net网络，通过验证集为训练过程中验证改进的U-Net网络的指标，使用Adam优化器进行训练，学习率设置为0.001，采用DiceCofficient评价指标，Dice Cofficient评价指标如公式(4)所示，通过Adam优化器对优化后的改进的U-Net网络进行根系分割模型训练。

A6、将测试集的图片resize调整为1024x1024x3，并将resize后的图片归一化到[-0.5,0.5]后，输入A6训练过的U-Net网络，即可输出1024x1024x1的根系分割图像如图7所示，通过图6和图7对比，本发明的基于改进U-Net的葡萄根系图像分割方法分割出来的葡萄根系图像明显，分割效果的葡萄根系图像为后续对葡萄根系研究提供了有效的数据支撑。

以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于改进U-Net的葡萄根系图像分割方法，其特征在于，包括：

获取待分割的葡萄根系图像，并对所述葡萄根系图像进行标注；

将标注后的葡萄根系图像转化成数据集，将所述数据集分为：训练集、验证集和测试集；

构建改进的U-Net网络，所述改进的U-Net网络中设有级联扩张卷积模块；

通过训练集、验证集对所述改进的U-Net网络进行训练、验证得到最终U-Net网络；

将所述测试集进行预处理，将预处理后的测试输入所述最终U-Net网络，通过所述最终U-Net网络输出相应的根系分割图像。

2.根据权利要求1所述的基于改进U-Net的葡萄根系图像分割方法，其特征在于，对所述改进的U-Net网络进行训练、验证之前，对所述改进的U-Net网络进行优化。

3.根据权利要求2所述的基于改进U-Net的葡萄根系图像分割方法，其特征在于，通过对所述改进的U-Net网络的损失函数优化实现对所述改进的U-Net网络进行优化。

4.根据权利要求3所述的基于改进U-Net的葡萄根系图像分割方法，其特征在于，优化 所述损失函数采用

与

加权的损失函数进行优化。

5.根据权利要求1所述的基于改进U-Net的葡萄根系图像分割方法，其特征在于，所述标注为语义分割标注。

6.根据权利要求1所述的基于改进U-Net的葡萄根系图像分割方法，其特征在于，将标注后的葡萄根系图像转化成数据集为：将标注后的葡萄根系图像转换成PASCAL VOC语义分割格式的数据。

7.根据权利要求1所述的基于改进U-Net的葡萄根系图像分割方法，其特征在于，所述改进的U-Net网络包括依次连接的输入层、编码器模块、级联扩张卷积模块、解码器模块和输出层；

所述编码器对输入层输入的葡萄根系图像进行下采样，所述级联扩张卷积模块用于对所述编码器输出的特征图进行卷积扩张，所述解码器模块对经过所述级联扩张卷积模块输出的特征图进行上采样，后通过所述输出层对所述解码器模块输出进行卷积处理得到根系分割图像。

Images