CN114565631A - 一种基于双层卷积网络和掩码细化的植物叶片精细分割方法 - Google Patents

Abstract

本发明公开了一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，实现了端到端精细分割自然环境下获取的植物叶片。本发明网络有三个主要部分组成：1)自底向上的路径增强网络，将更多浅层的特征信息传递到更深层的特征中，生成更高质量的特征图。2)基于Mask R‑CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；3)掩码细化模块，通过点选择策略和多层感知机细化叶片边缘。本发明将特征增强后的双层卷积网络和掩码细化模块结合，有效地缓解了自然环境中遮挡重叠和叶片边缘形状复杂带来的分割不精确等问题。

Description

一种基于双层卷积网络和掩码细化的植物叶片精细分割方法

技术领域

本发明涉及图像处理领域，特别是一种基于双层卷积网络和掩码细化的植物叶片精细分割方法。

背景技术

植物表型是指能够反映植物细胞、组织、器官、植株和群体结构及功能特征的物理、生理和生化性质。植物表型深入发掘了“基因型-表型-环境型”之间的内在关系，揭示了植物性状的形成机制，极大地促进了功能基因组学、作物分子育种与高效栽培的进展。传统的表型获取方式，耗时费力，随着图像技术的发展，无创、快速、高精度的植物表型图像获取已经很成熟，但对获取的高通量植物表型数据，需要研究各类特征提取方法。

在表型特征提取中，植物叶片精细分割仍是一项具有挑战性的任务。特别是在具有复杂背景的自然环境下，叶片分割存在很多难点，如：光照、阴影等因素干扰，不同叶片相互遮挡，叶片边缘模糊不清等，这些都造成植物叶片颜色、形状和大小随图像采集时间、角度不同而变化问题。因此对于自然环境下获取的植物单叶片精细分割问题亟需新的解决方法。

发明内容

针对现有技术中存在的问题，本发明提供了一种实现了端到端地分割植物叶片，提高自然环境下获取的植物叶片分割的准确性的基于双层卷积网络和掩码细化的植物叶片精细分割方法。

本发明的目的通过以下技术方案实现。

一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，包括以下步骤：

1)自底向上的路径增强网络，将浅层的特征信息传递到更深层的特征中，生成更高质量的特征图；

2)基于Mask R-CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；

3)掩码细化模块，通过点选择策略和多层感知机细化叶片边缘。

所述步骤1)具体包括：采用Faster R-CNN目标检测器检测生成叶片的边界框，然后使用掩码分支预测每一个检测框内的前景掩码，基于ResNet的FPN网络，在FPN网络之后添加了一个自底向上的路径增强，所述路径增强从最底层的P2开始，对P2到P5逐渐下采样得到{N2，N3，N4，N5}，其中N2和P2为同一特征图。在这个过程中，特征传递的层数不超过10层。

所述步骤2)具体包括：通过双层卷积网络建模了遮挡实例和被遮挡实例，显示地解耦了遮挡实例和被遮挡实例的边界：对于ROI Align后的感兴趣区域，其中一条遮挡感知分支检测遮挡轮廓和掩码，对遮挡区域进行显示建模，提取遮挡物的形状和位置信息，通过残差结构指导另一条遮挡感知分支对遮挡区域进行轮廓和掩码检测，其中每一条遮挡感知分支由四个3×3，stride为1的卷积层组成。

所述步骤3)引入了一个边缘细化模块，所述边缘细化模块首先对不确定的像素点迭代上采样，再预测像素点的类别，所述边缘细化模块包括：点采样，逐点表示和点头三个部分。

所述步骤3)具体包括：

3-1)点采样训练时，采用一种非迭代随机采样的方式来训练模型，点的选取使用过采样率及重要性，推断时，使用迭代上采样的方式由粗到细分类像素点，在每一次迭代中，首先使用双线性插值对之前预测的掩码进行上采样，然后在分辨率更高的图像上选择最N个不确定的点，点的选取策略同训练时相同，再计算像素点的逐点表示并预测它们类别，反复上述操作五次，便可得到一组包含叶片边缘细节的高分辨率特征图，分别为56×56，112×112，224×224，448×448和896×896；

3-2)逐点表示中，边缘细化模块通过结合细粒度特征和粗粒度特征构成的点特征向量对不确定的像素点进行判断分类，其中的细粒度特征来自自底向上路径增强中的N2特征图，该特征图中包含了丰富的细节信息，而粗粒度特征来自双层遮挡模块预测的被遮挡物的掩码，提供额外的位置信息；

3-3)点头中边缘细化模块使用一个简单的多层感知机进行逐点预测分类，所述多层感知机为一个全局共享的多层感知机。

相比于现有技术，本发明的优点在于：1、构建了一个全新的两阶段实例分割网络，称之为LSNet(Leaf Segmentation Net)。

2、通过一个自底向上的路径增强网络将更多的浅层特征传递到深层网络中，可以提高叶片的分割精度。

3、在网络提取ROI后同时对遮挡叶片和被遮挡叶片进行分割，解耦遮挡叶片和被遮挡叶片，以此来提高叶片的分割精度。

4、掩码细化模块(Mask Refining Module)。该模块可以自适应地选择实例对象中不确定的像素点，并结合特征金字塔中的细粒度特征，共同细化叶片的掩码，尤其是叶片的边缘部分。

附图说明

图1是本发明的网络结构示意图。

图2是自底向上的路径增强结构示意图。

图3是点采样形式示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，包括以下步骤：

步骤1：自底向上的路径增强网络，将更多浅层的特征信息传递到更深层的特征中，生成更高质量的特征图。采用Faster R-CNN目标检测器检测生成叶片的边界框，然后使用掩码分支预测每一个检测框内的前景掩码。基于ResNet的FPN网络，特征在自底向上传递的过程中，经过几十甚至上百个卷积层后，浅层特征往往会发生丢失或偏移。因此本文在FPN之后添加了一个自底向上的路径增强(Bottom-up Path Augmentation，BPA)。该结构从最底层的P2开始，对P2到P5逐渐下采样得到{N2，N3，N4，N5}，其中N2和P2为同一特征图。在这个过程中，特征传递的层数不到10层，能减少浅层特征信息在传递过程中的丢失。特征图{N3，N4，N5}的具体生成方式如图2所示：Ni经过一个3×3，stride为2的卷积层，将特征图缩小为原先的一半。然后将生成的特征图和Pi+1做逐元素相加(element-wise add)，得到的特征再经过一个3×3，stride为1的卷积层，最后得到特征图Ni+1。

步骤2：基于Mask R-CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；端到端的双阶段实例分割模型，所述步骤2)具体包括：通过双层卷积网络建模了遮挡实例和被遮挡实例，显示地解耦了遮挡实例和被遮挡实例的边界：对于ROI Align后的感兴趣区域，其中一条遮挡感知分支检测遮挡轮廓和掩码，对遮挡区域(遮挡物)进行显示建模，提取遮挡物的形状和位置信息，通过残差结构指导另一条遮挡感知分支对遮挡区域进行轮廓和掩码检测，其中每一条遮挡感知分支由四个3×3，stride为1的卷积层组成。

步骤3：掩码细化模块，通过点选择策略和多层感知机(Multilayer Perceptron，MLP)细化叶片边缘。引入了一个边缘细化模块，该模块首先对不确定的像素点迭代上采样，再预测像素点的类别，实现了高质量的掩码分割效果。该模块主要由三部分组成：点采样(Point Selection)、逐点表示(Point-wise Representation)和点头(Point Head)。

步骤3-1：点采样训练时，首先设一个待优点组{Set_i}，该集合用于存储最不确定的一些点(例如二进制掩码的概率接近0.5)。由于迭代上采样的方式不易训练，因此在训练期间采用一种非迭代随机采样的方式来训练模型。点的选取使用过采样率k(k＞1)以及重要性β(0＜β＜1)。对于每一个实例，从中选出kN个点构成可选点集U_i，再从U_i中选出βN个最不确定的点，剩余的(1-β)N个点从剩余的U_i中选出。推断时，使用迭代上采样的方式由粗到细分类像素点。在每一次迭代中，首先使用双线性插值对之前预测的掩码进行上采样，然后在分辨率更高的图像上选择最N个不确定的点，点的选取策略同训练时相同。再计算像素点的逐点表示并预测它们类别。反复上述操作五次，便可得到一组包含叶片边缘细节的高分辨率特征图，分别为56×56，112×112，224×224，448×448和896×896。采样形式如图3所示。

步骤3-2：逐点表示中，边缘细化模块通过结合细粒度特征(fine-grainedfeature)和粗粒度特征(coarse predicted feature)构成的点特征向量对不确定的像素点进行判断分类。其中的细粒度特征来自自底向上路径增强中的N2特征图，该特征图中包含了丰富的细节信息，而粗粒度特征来自双层遮挡模块预测的被遮挡物的掩码，提供额外的位置信息。

步骤3-3：点头中边缘细化模块使用一个简单的多层感知机(MLP)进行逐点预测分类，该MLP为一个全局共享的MLP。

进一步的，端到端的双阶段实例分割模型，在训练时本发明定义的多任务损失函数为：

Total_Loss＝Loss_{rpn_cls}+Loss_rpn__loc+Loss_cls+Loss_{box_reg}+Loss_mask+Loss_{mask_point}(1)

Loss_mask＝Loss_Occluder+Loss_Oc (2)

Loss_Occluder＝λ₁Loss′_{Occ_B}+λ₂Loss (3)

Loss_Occludcc＝λ₃Loss_{Occ_B}+λ₄Loss (4)

其中Loss_{rpn_cls}、Loss_{rpn_loc}、Loss_cls和Loss_{box_reg}的定义同Mask R-CNN，Loss_{mask_point}使用二值交叉熵损失。Loss’_{Occ_B}、Loss’_{Occ_S}、Loss_{Occ_B}和Loss_{Occ_S}分别代表了遮挡实例的边缘检测损失、遮挡实例的掩码分割损失、被遮挡实例的边缘检测损失和被遮挡实例的掩码分割损失，均使用二值交叉熵损失实现。为了平衡各个损失函数，超参数的设计如下：λ₁＝0.5，λ₂＝0.25，λ₃＝0.5，λ₄＝1.0。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

Claims (5)

1.一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，其特征在于，包括以下步骤：

1)自底向上的路径增强网络，将浅层的特征信息传递到更深层的特征中，生成更高质量的特征图；

2)基于Mask R-CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；

3)掩码细化模块，通过点选择策略和多层感知机细化叶片边缘。

2.根据权利要求1所述的基于自然环境中自动化分割叶片的方法，其特征在于，所述步骤1)具体包括：采用Faster R-CNN目标检测器检测生成叶片的边界框，然后使用掩码分支预测每一个检测框内的前景掩码，基于ResNet的FPN网络，在FPN网络之后添加了一个自底向上的路径增强，所述路径增强从最底层的P2开始，对P2到P5逐渐下采样得到{N₂，N₃，N₄，N₅}，其中N₂和P₂为同一特征图。在这个过程中，特征传递的层数不超过10层。

3.根据权利要求1所述的基于自然环境中自动化分割叶片的方法，其特征在于，所述步骤2)具体包括：通过双层卷积网络建模了遮挡实例和被遮挡实例，显示地解耦了遮挡实例和被遮挡实例的边界：对于ROI Align后的感兴趣区域，其中一条遮挡感知分支检测遮挡轮廓和掩码，对遮挡区域进行显示建模，提取遮挡物的形状和位置信息，通过残差结构指导另一条遮挡感知分支对遮挡区域进行轮廓和掩码检测，其中每一条遮挡感知分支由四个3×3，stride为1的卷积层组成。

4.根据权利要求1所述的基于自然环境中自动化分割叶片的方法，其特征在于，所述步骤3)引入了一个边缘细化模块，所述边缘细化模块首先对不确定的像素点迭代上采样，再预测像素点的类别，所述边缘细化模块包括：点采样，逐点表示和点头三个部分。

5.根据权利要求4所述的基于自然环境中自动化分割叶片的方法，其特征在于，所述步骤3)具体包括：

3-1)点采样训练时，采用一种非迭代随机采样的方式来训练模型，点的选取使用过采样率及重要性，推断时，使用迭代上采样的方式由粗到细分类像素点，在每一次迭代中，首先使用双线性插值对之前预测的掩码进行上采样，然后在分辨率更高的图像上选择最N个不确定的点，点的选取策略同训练时相同，再计算像素点的逐点表示并预测它们类别，反复上述操作五次，便可得到一组包含叶片边缘细节的高分辨率特征图，分别为56×56，112×112，224×224，448×448和896×896；

3-2)逐点表示中，边缘细化模块通过结合细粒度特征和粗粒度特征构成的点特征向量对不确定的像素点进行判断分类，其中的细粒度特征来自自底向上路径增强中的N2特征图，该特征图中包含了丰富的细节信息，而粗粒度特征来自双层遮挡模块预测的被遮挡物的掩码，提供额外的位置信息；

3-3)点头中边缘细化模块使用一个简单的多层感知机进行逐点预测分类，所述多层感知机为一个全局共享的多层感知机。

Images