CN113344008A - 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 - Google Patents

Abstract

本发明提出了一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，包括以下步骤：S1，对数字切片图像绘制轮廓和标签类别；S2，使用ResNet作为特征提取器，将原始图像映射到高维特征空间，然后在多个级别上输出特征图；S3，使用编码器‑解码器结构的特征增强器来提取高阶和低阶特征图，并将它们融合以获得最强的特征；S4，为了识别同一语义类别中的实例，于是使用分支检测方法来指示不同的实例；所述分支检测方法包括采用类别分支，宽高分支和回归分支以生成检测输出；S5，检测输出之后，使用实例掩膜来预测维管束的轮廓，使用语义掩膜来表示玉米茎秆横截面的三个功能区域。本发明可以高度准确并鲁棒地分析并检测玉米茎秆横截面切片图像表型参数。

Description

基于深度学习的茎秆组织解剖学特征参数高通量提取方法

技术领域

本发明涉及深度学习领域，特别涉及一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法。

背景技术

作物茎秆中的微观表型特征，特别是维管束和功能区，与作物体内养分的运输和抗倒伏性密切相关。利用作物横截面切片图像对解剖特征进行定量分析是科学家在植物科学中面临的一个巨大挑战。因此，迫切需要研究出一种准确而高通量的表型分析方法。传统的图像处理方法不适用于处理玉米茎节切片图像中不可控但却不可忽视的变量因素，而基于micro-CT技术的高通量方法价格昂贵，限制了其应用。深度学习方法模拟人的眼睛来观察，学习对象的特征，构建鲁棒的模型并在多个交叉任务中实现高精度。然而，在解决玉米茎秆表型的问题上，却很少有基于深度学习的方法的报道。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法。

为了实现本发明的上述目的，本发明提供了一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，包括以下步骤：

S1，对数字切片图像绘制轮廓和标签类别；

S2，使用ResNet作为特征提取器，将原始图像映射到高维特征空间，然后在多个级别上输出特征图；

S3，使用编码器-解码器结构的特征增强器来提取高阶和低阶特征图，并将它们融合以获得最强的特征；

S4，为了识别同一语义类别中的实例，于是使用分支检测方法来指示不同的实例；所述分支检测方法包括采用类别分支，宽高分支和回归分支以生成检测输出；

S5，检测输出之后，使用实例掩膜来预测维管束的轮廓，使用语义掩膜来表示玉米茎秆横截面的三个功能区域。

优选地，所述类别分支包括：

将人工标注的真实值可以被表示为热图Y∈[0,1]^W×H×C，并且从类别分支获得的预测具有与真实值相同的尺寸；热图的每个峰值对应一个维管束的中心，维管束的中心点将通过公式(1)映射到热图中：

其中，Y_xyc是位于热图中第c维、处于(x,y)位置的响应值，p_x，p_y表示不同高斯分布下维管束中心点的坐标，σ_p是维管束的尺寸自适应标准偏差。

优选地，所述类别分支还包括：

根据维管束的特征，在热图中使用高斯改进的焦距损失；使样本在损失回传时获得更大的梯度：

其中L_cls表示类别分支的损失，N是正例的像素数，α和β是超参数，Y_xyc是位于热图中第c维、处于(x,y)位置的响应值，

是分类分支的预测值。

优选地，所述宽高分支包括：

宽高头输出通过平滑的L1损失进行了优化：

其中w，h为每个维管束的真实宽度和高度，

是预测值，L_wh表示宽高头输出的L1损失，N是正例的像素数；p表示维管束中心点，|·|表示绝对值。

优选地，所述回归分支包括：

通过平滑L1损失来优化回归输出：

其中，L_reg表示回归输出的L1损失，p_x，p_y表示不同高斯分布下维管束中心点的坐标，N是正例的像素数，

表示所有的维管束中心点，

是每个像素的预测回归值。

优选地，所述实例掩膜包括：

S-A，在检测输出之后，可以从类别分支和宽高分支的输出中获得所有维管束的边界框，之后便可以在特征图中对维管束进行定位；

S-B，根据边界框，特征图被切成切片，然后通过RoiAlign将这些特征图切片进行双线性插值到统一大小；

S-C，使用实例分割分支从特征图切片中二次提取特征，然后进行二值分割；

S-D，计算出这些预测的掩膜切片与真实掩膜切片之间的损失；

S5，掩膜输出：使用实例掩膜来预测维管束的轮廓，使用语义掩膜来表示玉米茎秆横截面的三个功能区域。

优选地，包括损失函数：

给输出的每个损失赋予权重，以控制它们在总梯度中的比例：

L_total＝w_cls·L_cls+w_wh·L_wh+w_reg·L_reg+w_imask·L_imask+w_smask·L_smask (5)

其中，L_cls表示类别分支的损失，L_wh表示宽高头输出的L1损失，L_reg表示回归输出的L1损失，L_imask表示平均交叉熵损失，L_smask表示交叉熵损失函数；w_cls、w_wh、w_reg、w_imask、w_smask分别代表其对应的权重；设置w_cls＝1，w_wh＝10，w_reg＝1，w_imask＝1，w_smask＝1。

优选地，所述轮廓包括：mask_zone表示功能区的轮廓掩模，mask_vb代表维管束的轮廓掩膜。

优选地，所述标签类别包括：锚定框、热图、mask_vblist，mask_zone之一或者任意组合。

优选地，所述特征增强器为FPN。

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明的MSP-Net可以在维管束分割上达到0.891mAP(平均平均精度)，在功能区分割上达到0.857DICE(DICE系数)。通过比较网络分割预测的结果和手工注释之间玉米茎秆表型性状参数发现，本发明可以实现十分准确的预测。且MSP-Net可以高度准确并鲁棒地分析并检测玉米茎秆横截面切片图像表型参数。相关的研究结果有助于进一步探索玉米表型和基因组之间的关联，并且容易扩展到与玉米相比在解剖学特征上相对简单的其他作物上，例如水稻和小麦。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明MSCP数据集统计的示意图；

图2是本发明语义分割和实例分割的区别的示意图；

图3是本发明MSP-Net的主要架构图；

图4是本发明展示MSCP数据集标注的示意图；

图5是本发明MSCP数据集验证集中维管束和功能区域的预测结果的示意图；

图6是本发明采用不同的方案来分析维管束的分布和密度特征的示意图；

图7是本发明不同深度的骨干网络的损失收敛曲线的比较的示意图；

图8是本发基本表型性状参数的比较的示意图；

图9是本发明各维管束4个分布特征及偏移角说明的示意图；

图10是本发明玉米茎秆表型的33个性状参数的表型示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

1.背景

玉米是世界上最重要的谷物作物之一，其产量不仅取决于其生长环境和栽培方式，而且在很大程度上取决于其遗传和组织学特征，例如维管束和功能区域等表型结构。维管系统作为玉米茎秆的重要组成部分，为玉米输送资源(水，必需的矿质营养素，糖和氨基酸)并提供机械支持，是一条非常关键的运输路径。在过去的几十年中，关于玉米维管束的解剖结构和功能分析取得了重大进展，对于维管束的表型特征和分布模式的研究已从定性分析逐步扩展到定量分析。

准确且全面的维管束表型分析有利于从遗传角度改良作物产量。得益于图像分析方法和标准软件工作流程的进步，从图像中提取那些量化且多参数的信息的工作量大大减少了，而这些使用传统手工方法完成这项工作是费时费力且容易出错。Heckholf et al.和Legland et al.提出了一种图像分析程序用于量化玉米茎秆的组织学特征，El et al也使用类似的方法来分析不同水分状况下玉米茎秆的组织木质化和其他成分或特性。随着微计算机断层扫描(micro-CT)扫描技术的发展和广泛使用，研究人员开始将目光转移到该技术上。有人提出了一个专门分析玉米茎秆横截面微表型性状的高通量图像处理平台VesselParser，并推出了1.0版本和2.0版本。Zhang Y还开发了一套基于micro-CT技术的微表型分析流程，以量化在伸长和抽雄阶段的玉米茎秆和维管束。

尽管已经有众多方法能分析维管束的表型性状，但不依赖于micro-CT的方法无法完全处理一些不可控且不容忽视的变量因素，例如染料溶液浓度、人员操作和自动扫描设备差异等。这些错误可能存在于定量分析中并导致达不到一定的准确度。另一方面，尽管基于micro-CT的方法可以避免上面的因素，且处理的切片图像是不用经过染色处理且具有标准化背景的，但是因micro-CT设备在常规生物学研究实验室中并未广泛配备，所以这些方法会受到设备的限制。因此，迫切需要利用一种不依赖于micro-CT并能获得准确结果的新技术来分析玉米茎秆切片图像中的微表型性状。

随着GPU处理能力的提高，计算机视觉，尤其是其中的深度学习和卷积神经网络(CNN)有了巨大发展，可以交叉应用于许多其他学科领域，例如病理学诊断，自动驾驶和人脸识别。一些经典的CNN模型，例如AlexNet，VGG，ResNet已经在一些计算机视觉数据库上得到了成熟的应用和预训练，之后的工作便是基于这些模型对其他特定任务进行微调。分割是深度学习的计算机视觉的主要分支，也是计算机视觉在植物表型研究领域的关键任务。诸如整个植物或植物器官分割、树叶分割、植物病斑分割、植物细胞分割，还有在植物表型研讨会的计算机视觉问题板块中的一系列项目和叶片分割挑战，都展示出了在分割任务在植物表型分析中的挑战。

在本任务中，深度学习(尤其是CNN)可以模拟人眼来观察玉米茎秆截面，精确地分割其中的微表型结构并同时获得所有需要的参数。因此，它可以在没有micro-CT的情况下进行表型分析，并可以克服上述所有可变因素。据我们所知，目前还没有针对玉米茎秆横截面表型研究的深度学习模型。我们已经尝试并比较了多个实例分割网络，这些网络在COCO数据集上都可取得最佳效果。但是，如图1所示，由于维管束的数量少、面积小且分布密集，有的网络会占用过多内存，而有的网络则无法分割这些小而密集的实例。因此，我们遵循关键点检测思想，并考虑为普通玉米茎秆横截面切片图像的表型研究任务开发新的网络结构，这被称为MSP-Net。

MSP-Net基于关键点检测的方法对维管束中心和背景进行分类，并且仅对四个参数(框宽度，框高度，x轴中心偏移，y轴中心偏移)进行回归便可进行维管束检测。为了减少参数和计算量，在计算损失函数时，我们根据维管束中心真实值来选择框。每个实例的边界框都会根据预测的关键点生成，最后将所有边界框内的像素对齐并分割并生成每个实例的掩膜。此外，我们还将标准非极大值抑制替换为Pool-NMS，以通过滑动窗口的方式抑制相邻的中心点并保持得分最高的中心。在后处理阶段，几乎所有的表型信息都可以从分割结果中获得。

我们已经使用语义分割的方法(ResNet101和Unet)对功能区域进行了分割，但是由于玉米中维管束的分布密集但不重叠，相邻的维管束很容易连起来并识别为一个维管束。因此，我们遵循实例分割的思想，区分相同类别的不同实例，如图2所示，其中图2a是ResNet101和Unet的语义分割结果，图2b是MSP-Net的实例分割结果。综上所述，MSP-Net为在光学显微镜下的玉米茎秆横截面微表型研究提供了条件。图3展示了主要技术流程。

与MSP-Net一起，我们将公开一个新的玉米茎秆横截面表型分析(MSCP)数据集。MSCP数据集包含180张玉米茎秆横截面切片图像，这些图像在光学显微镜下被拍摄并收集，并且所有这些图像都带有手动标注的维管束掩膜和功能区域掩膜。MSCP数据集中总共有33914个维管束，单张图片中维管束数目最多为765个，最少为76个。图1展示了MSCP数据集中维管束的统计信息，其中图1a维管束面积比，即图像内每个维管束的面积/横截面面积；图1b每个图像中维管束的数量。此外，如表1所示，为了全面地训练MSP-Net以使其可以满足各种玉米茎秆切片的需求，MSCP数据集尽可能全面地涵盖了实际实验中可能会面临的所有挑战。玉米茎秆横截面切片被分成外皮(rind)、低木质化薄壁组织(low lignifiedparenchyma,LLP)和木质化薄壁组织(lignified parenchyma,LP)三个功能区(参见图4b)。MSCP数据集中的大多数图像都包含这三个功能区，但是大约四分之一的图像仅包含外皮和LLP，这反映了不同基因型和不同生长条件下的玉米茎秆横截面的多样性。由于MSCP数据集是第一个公开的玉米茎秆横截面数据集，我们希望它可以被作为玉米横截面微表型参数检测任务的基准数据集。

在本文中，我们对MSCP数据集进行了广泛的评估，且实验结果表明在MSCP数据集上，MSP-Net性能优于的其他方法。此外，基于分割结果，我们总共计算了4个类别33个表型性状以量化玉米茎秆的解剖特征，可直接用于遗传关联性分析以说明维管束表型性状与其生物学功能之间的关系。本文的几个贡献如下：

(1)提出了借助深度学习研究在光学显微镜下的玉米茎秆横截面切片图像中微表型的新思路，它可以克服切片图像生成过程中的一系列变量因素，具有更强的鲁棒性，且不依赖于micro-CT。借助深度学习的方法进行微表型分析，即使使用的图像质量不是很高，我们也可以获得准确的结果，因此效率得到了提高。据我们所知，这是首个为分析玉米茎秆横截面表型而设计的深度学习模型。

(2)MSP网络，一个专门用于分割玉米茎秆横截面内维管束和功能区域的基于CNN的网络。它为在光学显微镜下高通量研究玉米茎秆显微表型提供了条件。同时，我们将开源我们的工作供研究人员研究自己的样品。

(3)一个新颖而富有挑战性的数据集–MSCP数据集，它包含来自众多玉米品种(在两个位置种植了116种种质)的180个玉米茎秆横截面图像。这些图像代表了MSCP数据集内高度的玉米基因多样性。这个数据集与其相应的人工标注将会被公开。

2.方法

2.1样品和图像准备

我们从众多玉米品种中收集了总共180张玉米茎秆横截面切片图像。这些植物材料由广西农业科学院玉米研究所和广西大学保存的116种玉米种质组成，代表了适应温带和亚热带地区的玉米基因库，是从中国中部和南部以及国际玉米和国际玉米及小麦改良中心(CIMMYT)。这些种质由已公开的杂交种，遗传种群和改良的近交系组成(如梅玉27号，天果国932号，福花田号，CML161号，CML171号，Gui 39722，Guizhao18421，PH6WC和Chang 7-2)。玉米的种植密度约为每公顷75,000株植物，种植间距约为0.65米，行间间距约为0.45米。在这180张切片中，其中113张是从113个抽雄期种质的自顶向下最后三个节间收集的，其余的则是在不同阶段从3个种质的茎的最上层至底部的节间收集的。因此，这些切片表现出了茎秆内解剖特征的多样性，这将有利于建模的过程。我们徒手将节间茎秆切成0.2至0.5mm厚度的切片。随后，将新鲜切片样品浸入5％间苯三酚[乙醇：水＝95∶5，(v/v)]和浓盐酸的化合物中2分钟以进行染色。所有切片均由steREO Discovery.V20(ZEISS，体视显微镜)拍照，图像保存为TIF文件。

2.2数据集制作和预处理

获得数字切片图像后，我们使用标签软件为每个目标实例绘制轮廓和标签类别。标注如图4所示。在这里，我们使用mask_zone来表示功能区的轮廓掩模(参见图4b)，mask_vb代表维管束的轮廓掩膜(请参见图4c)。最后，在训练之前为每张图片生成四种注释：1)锚定框，它们是根据图像中每个mask_vb的左上和右下两个点构造的；2)热图，用于检测分支，由锚定框的高度，宽度和中心点生成(见图4d)；3)mask_vblist，根据锚定框剪切的的区域；mask_vblist就是一个列表，内有n个维管束的轮廓掩膜，n是该张图片中维管束的数目。4)mask_zone，一张尺寸与原始图像相同的图片，其中0表示背景，1表示外皮，2表示LLP，3表示LP。

所有180张切片图像都分为训练集和验证集。其中MSCP数据集中存在一些不可控且不容忽视的变量因素，例如颜色不同，气泡过多和曝光不足等，这些变量是由染料溶液浓度，人员操作和自动扫描仪的差异引起的。为了合理评估MSP-Net的综合能力，则手动选择了12张切片图像作为验证集，其中包括MSCP数据集中的所有变量因素。所有评估指标均在验证集上进行计算。验证集的构成如图5所示。表1中显示了MSCP数据集中的所有挑战和变量因素。

表1 MSCP数据集中的挑战和变量因素，以及MSCP数据集验证集中对应的切片图像

2.3尺寸校准

为了使结果具有可比性，我们将数码切片图像的度量单位–像素转换为物理尺寸单位，并将比例转换比率S(μm/pixel)保存到每个图像的标注文件中。

详细的比例转换工作流程在补充信息中进行了说明。我们首先手动在图像中输入比例尺的物理长度L(μm)。由于尺寸标定线是水平方向上具有最多红色像素的水平线段，在提取红色像素后，我们可以将同一水平线上的像素相加形成一个垂直线。然后我们可以得到尺寸标定线N内的像素个数。最后，通过L/P计算出比例转换比率S的值并保存。其中L是比例尺的物理长度，P是尺寸标定线内的像素个数

由于一些拼接构成的图像具有多个比例尺，所以我们选择了其中水平方向的比例尺。如果水平比例尺被覆盖，我们将使用勾股定理手动测量尺寸校准线。

2.4模型架构

一张玉米切片图像中大约有100～300个维管束，这在计算机视觉中属于密集目标任务。这些维管束分布紧密且不重叠。因此，通过语义分割方法，相邻的维管束易于被分割为一个实例，而且也不能将每个维管束区分为类别。因此，只有通过实例分割的方法我们才可以研究每个维管束及他们之间的关系。

实例分割方法是如何区分同一类别中的不同实例的呢？大多数实例分割方法都基于锚框的物体检测器，但我们使用关键点估计作为检测器进行分割。与锚框回归相比，对中心点进行分类的方法更易于收敛且更准确，并且没有难以计算和训练的后处理(如非最大抑制(NMS))。

由于提出的MSP-Net同时集成了检测和分割任务，并且分割任务还涵盖了语义分割和实例分割，所以整个网络架构很复杂。它主要由特征提取器，特征增强器和解码器三部分组成。MSP-Net的主要结构如图3所示。为了将这些任务和训练协调并集成到端到端的模型中，我们进行了大量扩展，并改进了整个结构。

2.4.1特征增强器

首先，我们使用ResNet作为特征提取器，将原始图像映射到高维特征空间，然后在多个级别上输出特征图。通常，低级特征图反映诸如边距和纹理之类的详细信息，而高级特征图则反映语义和概括性信息。我们已经注意到，维管束数目众多，且面积与整个切片相比要小很多(见图1a)。因此，网络必须辨别整个切片和功能区(较大的实例)并同时提取维管束的特征(较小的实例)。因此，我们使用一种像FPN这样的编码器-解码器结构来提取高阶和低阶特征图，并将它们融合以获得最强的特征。

ResNet输出的特征金字塔其由4个特征图组成，缩放步长为2。特征图的尺寸越小，则所处的级别越高，包含的语义信息也越强。通过1×1卷积进行横向连接后，通过一组操作(上采样，逐像素相加和拼接)来增强特征图，这些操作在图3中作为融合单元进行了说明。然后，将所有地图调整大小并连接到一个最终的特征图中。

在特征增强器中，我们最大限度地利用了这些不同尺寸的特征图，以识别大小不同的对象。值得一提的是，由于共享编码器的存在，所以无需为每个任务提供专用网络，可以端到端地训练维管束实例分割和功能区分割模型，并且可以减少总训练时间。此外，共享编码器还可以利用这些任务之间的共享信息，从而有助于模型在两个任务上效果都有提升。

2.4.2检测输出

为了识别同一语义类别中的实例，于是使用检测方法来指示不同的实例。采用类别分支(class)，宽高分支(wh)和回归分支(reg)生成输出。由于维管束的分布密集，我们跳过了对特征图下采样4倍的操作。因此，输出特征图的大小与输入图像的大小相同，并且整个模型可以集成为端到端模型。

类别分支

类别分支中，人工标注的真实值可以被表示为热图Y∈[0,1]^W×H×C即形状为W×H×C的热图Y，取值范围为[0,1](见图4d)，其中W、H、C分别代表宽度，高度和热图的通道(在这里，通道数为1)，并且我们从类别分支获得的预测具有与真实值相同的尺寸。热图的每个峰值对应一个维管束的中心。我们以高斯核形式表示所有维管束，Y_xyc＝0代表背景，Y_xyc＝1代表中心点，其他像素值以二维高斯分布的方式从中心点逐渐减小。维管束的中心点将通过公式(1)映射到热图中：

其中，Y_xyc是位于热图中第c维、处于(x,y)位置的响应值，p_x，p_y表示不同高斯分布下维管束中心点的坐标，σ_p是维管束的尺寸自适应标准偏差。

根据维管束的特征，我们在热图中使用高斯改进的焦距损失。借助改进的高斯焦距损失，我们可以通过加权来平衡量少的正样本(中心点)和量大的负样本，并控制难区分样本和简单区分样本之间的权重，以使难区分样本在损失回传时获得更大的梯度：

其中L_cls表示类别分支的损失，N是正例的像素数，α和β是超参数，Y_xyc是位于热图中第c维、处于(x,y)位置的响应值，由于上面的热图是人工标注中的热图，所以Y_xyc值为实际值，

是分类分支中第c维、处于(x,y)位置的预测值。

宽高分支

宽高分支的输出具有与分类分支输出类似的尺寸，差别仅在于宽高分支输出二维张量以记录维管束的宽度和高度，而分类分支输出一维张量。由于维管束的中心点之间几乎不重叠，因此二维张量就足够表示其宽度和高度。宽高头输出通过平滑的L1损失进行了优化：

其中w，h为每个维管束的真实宽度和高度，

是预测值，L_wh表示宽高头输出的L1损失，N是正例的像素数。p表示维管束中心点，|·|表示绝对值。由于宽度和高度必须为正值，因此我们使用ReLU激活函数将宽度和高度映射到区间[0,∞]内。在推理阶段，类别分支从宽高分支的输出中指示并提取出对应位置的宽高信息，以获得每个维管束最终的宽高信息。

回归分支

通常，回归分支的输出是为了修正对特征图进行下采样而引起的坐标误差。由于玉米维管束分布较密集，且相比于整个截面来说分辨率小，因此，如果对特征图进行下采样，则不同维管束的中心将会重叠。因此，在最终特征图之后，我们应用4倍的上采样以使最终特征图具有与输入相同的分辨率，并且不再校正中心点回归。从这个角度来看，可以在本模型中剪枝回归分支。但是在实验中，我们发现，回归分支不用来校正下采样的中心点回归，而是对预测的中心进行二次校正，可以更好地映射维管束的位置。因此，即使没有下采样，我们仍然认为必须保留回归分支。就像宽高分支一样，回归分支的输出具有与分类输出相似的形状，差别在于回归分支有2个通道，一个通道用于x轴回归，另一个通道用于y轴回归。可以通过平滑L1损失来优化回归输出：

其中，L_reg表示回归输出的L1损失，p_x，p_y表示不同高斯分布下维管束中心点的坐标，N是正例的像素数，

是每个像素的预测回归值。

2.4.3掩膜输出

掩膜输出包括实例掩膜和语义掩膜。我们使用实例掩膜来预测维管束的轮廓。对于玉米茎秆横截面的三个功能区域(外皮，LLP，LP)，我们使用语义掩膜来表示它们。

实例掩膜

在检测输出之后，可以从类别分支和宽高分支的输出中获得所有维管束的边界框，之后便可以在特征图中对维管束进行定位。根据边界框，特征图被切成切片，然后通过RoiAlign将这些特征图切片进行双线性插值到统一大小(这是一个超参数)。然后，我们使用实例分割分支从特征图切片中二次提取特征，然后进行二值分割，我们计算出这些预测的掩膜切片与真实掩膜切片之间的损失(真实掩膜已经根据边界框被切割)。在训练期间，我们使用真实边界框提取特征图切片，仅选择正例进行训练；在推理阶段，我们根据宽高分支中得来的预测的边界框中提取特征图切片。此过程与两阶段分割相似，在该阶段中，我们提取ROI(region of interest，感兴趣的区域)并进行其他下游任务。计算平均交叉熵损失L_imask时，我们仅考虑真实边界框中的像素。

语义掩膜

功能区域分割比维管束分割更简单，因此我们可以直接使用解码器中最大的特征图进行语义分割。由于在特征提取阶段有编码器-解码器结构，并且我们可以在不进行特征图下采样或分类的情况下进行分割，因此这种语义分割与Unet相似。来自解码器的特征图具有输入图像的一半大小，并且经过语义分割分支处理后，输出的特征图将通道为4，并以2的倍数进行上采样，并且每个通道分别对应于背景、rind、LLP、LP。因此，将对这4个通道的预测图进行二值分割，并生成3个功能区域的掩码。我们使用交叉熵损失函数L_smask来优化此过程。

2.5损失函数

结合前面的5个输出，我们给输出的每个损失赋予权重，以控制它们在总梯度中的比例：

L_total＝w_cls·L_cls+w_wh·L_wh+w_reg·L_reg+w_imask·L_imask+w_smask·L_smask (5)

其中，L_cls表示类别分支的损失，L_wh表示宽高头输出的L1损失，L_reg表示回归输出的L1损失，L_imask表示平均交叉熵损失，L_smask表示交叉熵损失函数；w_cls、w_wh、w_reg、w_imask、w_smask分别代表其对应的权重。在这篇文章中，我们设置w_cls＝1，w_wh＝10，w_reg＝1，w_imask＝1，w_smask＝1。

在推理阶段，我们在对最终特征图进行二值分割后获得区域掩膜。对于维管束分割，我们从检测输出的中心点，中心回归值，边界宽度和高度导出边界框，并根据边界框裁剪最终特征图，并对齐这些特征图切片。之后通过掩膜分支进行二次特征提取和二值分割之后，我们根据边界框的位置将掩膜恢复为原始分辨率，获得维管束掩膜。

2.6表型研究方法

通过MSP-Net进行分割后，我们可以轻松获得包括维管束的面积、轮廓、中心、相对位置，横截面中心和轮廓以及每个功能区域的面积和轮廓在内的信息。通过以上信息，我们可以对玉米茎秆截面进行表型分析。

我们将所有表型特征分为四个部分：几何相关，分布相关，层次相关和生长相关的特征。维管束的中心和轮廓可以计算几何相关特征，这些特征主要描述了维管束的每种形状。分布相关特征主要描述维管束在截面中的位置和方向特征，可以通过维管束中心以及截面的中心和轮廓来计算。如文献[8]中所述，从截面中心到边界，我们应用了两种分层方案——等距离(ED)和等面积(EA)——将截面分成5层，并从外至内将其标记为1-5层，如图6所示，其中图6a-b.采用等间距(ED)分层方案和等面积(EA)分层方案，分别将截面划分为5层，由外往内标为1-5层，然后将维管束按每一层进行分类；图6c维管束按功能区域的分类，图6d.以维管束中心为采样点的截面Voronoi图。

我们根据层次相关的性状中的ED和EA层选择几个了维管束的特征。同样，在生长相关性状中选择功能区的特征和基于功能区的维管束的特征。此外，将截面外部轮廓和维管束中心分别作为边界和初始节点，以生成Voronoi多边形。使用Voronoi多边形，可以直观地显示不同功能区和层次中维管束的密度差异，并且可以直接获取每个维管束的相邻管束。下一部分将说明MSCP数据集的所有表型特征和结果。

2.7实施和学习细节

MSP-Net是基于ResNet34实现的。MSCP数据集中的切片图像具有不同的大小，因此在发送到网络之前，所有图像的大小都将调整为1024×1024。在后期处理期间，我们以原始图片大小输出表型分析结果。为了真实地反映MSP-Net的性能，我们没有使用任何数据增强方法，而是通过ImageNet的均值和方差进行归一化。在为维管束提取边界框之后，我们将其所有边界框都对齐并将大小设置到28，并将所有对齐的边界框输入到掩膜分支中。网络通过Xavier方法初始化。我们使用随机梯度下降(SGD)来优化网络参数，初始学习率设置为1×10-3，权重衰减为0.01。批次大小和最大迭代次数分别设置为2和20。在后处理中，对于维管束分割，我们将二值分割阈值设置为0.2，将正框选择阈值设置为0.3，对于功能区分割，我们将二值分割阈值设置为0.7。所有实验均在MSCP数据集上以及在具有CUDA 11.1的Ubuntu和NVIDIA RTX 3090(24G)平台上进行。所有算法的实现均基于Python 3.8.3和PyTorch 1.8.0。

3.结果

3.1评估指标

我们选择DICE(Dice相似性系数)作为功能区域语义分割的评估指标。在实例分割方面，预测中的每个维管束都必须与标注中的一个真实值相对应，因此我们将mAP(平均精度)应用于评估维管束分割的效果。

3.1.1DICE

DICE是一组相似性度量指标，通常用于计算两个示例的相似性。其值的范围是0到1，其中1是预测值和目标完全重叠，而0是预测值和目标完全没有交集。我们使用DICE评估像素级的功能区分割算法的有效性：

其中TP(真正例)是被分类为正确的正像素，FP(假正例)是被分类为错误的正像素，而FN(假负例)是被分类为错误的负像素。

3.1.2mAP

mAP是物体检测中最常见的评估指标，但我们在此像素级分割任务中使用了它。mAP表示每个类别的平均AP，其中AP是PR(precision-recall，精度值-召回值)曲线下方的面积：

在这里我们用与先前方法不同的方式来计算TP，FP，FN。通常，使用IOU(交并比，即两个框的交集与交集之比)来衡量预测和目标边界框的重叠程度。同样，我们可以使用像素级指标mIOU来测量两个实例掩膜的重叠度。我们将设置一个阈值以掩码的预测结果，例如，如果实例掩膜的mIOU高于阈值，则可以认为该掩膜是正例掩膜。从这个方面来看，TP是被正确分割为维管束的数目，FP是被分割为维管束但是实际上是背景的数目，FN是被分割为背景但实为维管束的实例数目。

3.2网络架构选择

我们首先比较不同深度的MSP-Net骨干网络，因为它对提取维管束和功能区域的特征具有重要作用。我们在训练集中比较了具有不同深度的特征提取网络的收敛性，如图7所示，其中图7a为训练集的损失曲线，图7b为验证集的损失曲线。一般来说，网络的收敛越快、越低、越稳定，则网络能够正确学习越多的特征，分割结果也将越准确。图7(其中r代表ResNet，数字代表网络的深度)表明，我们的模型结构对于复杂度不同的骨干网络具有良好的通用性，并且对于相对简单或复杂的CNN骨干网都能达到相似的收敛结果。但是，太深的主干网络倾向于不稳定。除收敛外，我们在验证集上比较维管束分割的mAP(见表2)和功能区分割的DICE(见表3)。ResNet34在不同的阈值下达到了最佳的mAP值和最佳平均DICE。我们认为ResNet18处于拟合不足状态，不适合MSCP数据集中的复杂挑战，并且ResNet50和ResNet101容易遇到过拟合问题，这也不适合将该网络推广到其他具有不同挑战的图像。

表2不同阈值下不同深度的主干网络的维管束分割mAP

表3使用不同深度的主干网络在MSCP数据集验证集上分割功能区域的DICE

因此，在接下来的实验中，使用ResNet34作为骨干网络。然后，我们比较是否拼接了特征图、是否对最终特征图进行了4倍上采样以及是否使用了回归分支的结果。在融合单元之后，我们拼接了不同级别的特征图以获得最终的特征图，这是特征增强的重要操作。如果不进行拼接操作，我们将直接对最低级别的特征图进行卷积以获得最终的特征图。在文献中的标准操作是不进行4倍上采样而进入检测分支，但是维管束的小尺寸和密集分布迫使我们应用向上采样。我们还评估了回归分支的性能。

如表4所示，拼接、上采样和回归分支都会对结果产生积极影响。拼接操作对功能区域分割的影响最大，而其他操作则没有作用于区域分割。拼接操作融合了不同级别的特征，这显然对大实例和小实例都有益。关于上采样和回归分支的消融实验表明，这两部分是互相支撑的。从数值结果来看，回归分支的性能优于上采样，这可能是因为原始图片的尺寸已经足够大，可以克服这个没有上采样的过程。此外，即使受到没有上采样的影响，回归分支可以调整维管束中心点。另一方面，上采样相对地疏松了维管束的分布，这有利于回归分支。

表4特征图拼接、上采样和回归分支的消融实验，及它们对维管束分割的mAP@.5和功能区域分割的DICE的影响

3.3最新技术比较

为了给MSP-Net在最新的技术环境中定位，我们选择了几种公认的基础方法进行比较，它们是：

Mask R-CNN。Mask R-CNN采用了基于锚框的结构。它是使用最广泛的两阶段实例分割网络之一，几乎所有的实例分割网络都必须对其进行比较。但是在此任务中，普通服务器和GPU无法承担Mask R-CNN对如此大量的维管束的内存。所以，我们使用RLE(run lengthencoding,行程长度编码)〖mask〗_vb和〖mask〗_zone，并将锚框尺寸设定为[8,16,32,64,128]。

CondInst。CondInst是一个基于关键点的实例细分网络。它为每一个实例动态生成卷积核。与Mask R-CNN相比，该方法消除了ROI，并且还大大降低了常规任务中的参数和计算复杂度。但是在维管束分割任务中，大量实例也消耗了大量的内存。

实验结果列于表5中。根据结果，我们可以得到以下观察：

尽管Mask R-CNN在正常的分割问题上具有良好的性能，但是基于锚框的方式无法处理微小的实例任务。它在维管束分割方面的性能较差，这意味着ROI方法提取的特征太少，微小的实例会被忽略。同时，对于维管束分割的子任务，超大内存的需求也是Mask R-CNN面临的一个大问题。

Mask R-CNN与CondInst的比较表明，基于关键点的方法比基于ROI的方法有更好的辨别力。CondInst仅基于实例中心，与所有MSP-Net中具有五个参数的回归相比，它对分割出所有维管束的鲁棒性不足。对于它的数百个卷积核来说，密集分布和大量的维管束可能超出了CondInst的能力。

表5与最先进的技术对比

Method方法	mAP@.5	mAP@.6	mAP@.7	mAP@.8	mAP@.5:.8
						Mask R-CNN	0.819	0.702	0.459	0.109	0.522
CondInst	0.864	0.736	0.430	0.102	0.533
						MSP-Net	0.892	0.748	0.434	0.093	0.542

3.4基本表型特征结果

MSCP数据集中验证集的分割预测结果如图5所示。为了直观地显示玉米茎横切面图像的表型分析结果，我们比较了预测结果和标注的基本表型特征参数，即每个维管束的面积、周长和相对位置以及每个功能区的面积；如图8a维管束面积和周长在预测和标注中的比较，图8b各功能区的面积在预测和标注中的对比。此外，我们用密度图描述了维管束的分布，比较维管束预测与注释相对位置的差异，如图8c维管束密度图在预测和注释中的比较。

根据图8中的结果，就维管束的位置、面积和周长而言，我们的预测可以达到良好的准确性。但另一方面，功能区分割有待改进的空间，尤其是在LLP和LP上的分割。我们认为，LLP和LP上的注释在一定程度上是主观的，并且LP在每个切片图像中都不是一个稳定区域，其面积范围是0到超过整个截面的一半。以上所有原因增加了分割LP和LLP的难度。

3.5玉米茎表型定量

根据MSCP数据集的特性，我们基于标注计算了四种表型类型(几何相关，分布相关，层次相关和生长相关)的33个表型特征，以量化玉米茎表型，如图9所示，包括：

16个几何相关的特征：可分为无量纲参数：矩形度，长宽比，圆度，偏心率，球形度和凸度，以及以mm，mm²或者°为单位的有量纲参数：宽度，高度，主轴长度，主轴宽度，外接圆半径，内切圆半径，面积，周长，凸包面积，偏离角度；

4种分布相关的特征：从维管束到茎中心的距离(DC)，DC反向延伸线从维管束到切片边缘的距离(DM)，从维管束到切片边缘的最小距离(MINM)，从维管束到切片边缘的最大距离(MAXM)；其中偏置角是DC与主轴之间的夹角，通常为锐角。

10种生长相关的性状：区域中的每个功能区域(AR，ALLP，ALP)的，在外皮中维管束(NVBR)的数目，在LLP(NVBLLP)维管束的数目，在LP维管束(NVBLP)的数目，外皮中维管束面积(AVBR)，LLP中维管束面积(AVBLLP)，LP维管束面积(AVBLP)，外皮中维管束的Voronoi面积(VAVR)，LLP中维管束的Voronoi面积(VAVLLP)，LP中维管束的Voronoi区域(VAVLP)；

3种层次相关的性状：在每一层中维管束的数目(NVBEDL1-5，NVBEAL1-5)，每一层中维管束的面积(AVBEDL1-5，AVBEAL1-5)，每一层中维管束的Voronoi面积(VAVBEDL1-5，VAVBEAL1-5)。

以上表型性状的统计数据如图所示10，它提供了几乎所有的表型信息。图10a-d显示了所有维管束的形态特征，可用于研究不同种类、不同阶段的玉米茎横截面内维管束的特征。其中图10a为维管束几何特征的尺寸参数，图10b为维管束几何性状的无量纲参数，图10c为维管束的分布特征，图10d为各功能区面积，即功能区的生长特征，图10e为维管束偏移角。图10f-h分别是维管束在各功能区内的数量、面积和Voronoi面积，它们分别是维管束的生长基础性状；图10i-n分别是ED层和EA层维管束的数量、面积和Voronoi面积，它们是维管束的层次相关的特性。

其中图10e显示了我们分割出的三个功能区的统计数据。图10f-h显示了每个功能区中维管束的基本表型，图10i-n是每个ED层和每个EA层中的基本表型参数，以研究横截面物质积累与维管束形态特征之间的关系。我们还能获知，外皮中的维管束数量最多，但面积特别是Voronoi面积最少。LLP中的维管束也有很多，整个区域和Voronoi区域都很大。但是由于LP在切片图像中不是稳定出现的，因此其中维管束的形态特征不稳定。无论是EA层还是ED层，第一层中维管束的数量，面积和Voronoi面积最大，但第二层显着减少。从第2层到第5层，这些参数会逐渐降低。

4.结论

在这项研究中，我们提出了一种基于深度学习的新颖思想和方法，以获取玉米茎横截面切片图像的微表型(维管束和功能区)特征参数。所提出的方法不依赖于micro-CT技术，其对象是光学显微镜下的切片图像。与传统的图像处理方法相比，基于CNN的方法对切片图像的一些不受控制且不容忽视的变量具有鲁棒性。还提出了专门针对玉米茎秆微表型参数测量的新型网络MSP-Net。消融实验显示了MSP-Net体系结构对维管束和功能区分割的专门性。我们还基于维管束和功能区的预测计算了基本的特征参数，并将结果与注释进行比较，结果表明，通过MSP-Net获得的特征参数可以达到较高的准确度。然后我们还计算了33个表型参数，以探索截面内维管束和功能区域的生长规律。同时，我们还构建了具有180个玉米茎秆横截面切片图像和相应手动标注的MSCP数据集。

对于将来的工作，我们将继续丰富MSCP数据集，尤其是扩大其多样性。此外，我们将改善我们的MSP-Net，并提高其在维管束和功能区分割的准确性。因为维管束的数量和密集分布，以及切片图像中不受控制且不容忽视的变量，在普通光学条件下切片图像的微表型分割是一个具有挑战性的问题。我们希望本文能够引起计算机视觉和植物科学界的兴趣，并有助于进一步研究表型和基因组学的关联，并且可以容易地扩展到与玉米相比解剖特性相对简单的其他作物，例如水稻和小麦上。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，包括以下步骤：

S1，对数字切片图像绘制轮廓和标签类别；

S2，使用ResNet作为特征提取器，将原始图像映射到高维特征空间，然后在多个级别上输出特征图；

S3，使用编码器-解码器结构的特征增强器来提取高阶和低阶特征图，并将它们融合以获得最强的特征；

S4，为了识别同一语义类别中的实例，于是使用分支检测方法来指示不同的实例；所述分支检测方法包括采用类别分支，宽高分支和回归分支以生成检测输出；

S5，检测输出之后，使用实例掩膜来预测维管束的轮廓，使用语义掩膜来表示玉米茎秆横截面的三个功能区域。

2.根据权利要求1所述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述类别分支包括：

将人工标注的真实值可以被表示为热图Y∈[0,1]^W×H×C，并且从类别分支获得的预测具有与真实值相同的尺寸；热图的每个峰值对应一个维管束的中心，维管束的中心点将通过公式(1)映射到热图中：

其中，Y_xyc是位于热图中第c维、处于(x,y)位置的响应值，p_x，p_y表示不同高斯分布下维管束中心点的坐标，σ_p是维管束的尺寸自适应标准偏差。

3.根据权利要求2所述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述类别分支还包括：

根据维管束的特征，在热图中使用高斯改进的焦距损失；使样本在损失回传时获得更大的梯度：

其中L_cls表示类别分支的损失，N是正例的像素数，α和β是超参数，Y_xyc是位于热图中第c维、处于(x,y)位置的响应值，

是分类分支的预测值。

4.根据权利要求1述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述宽高分支包括：

宽高头输出通过平滑的L1损失进行了优化：

其中w，h为每个维管束的真实宽度和高度，

是预测值，L_wh表示宽高头输出的L1损失，N是正例的像素数；p表示维管束中心点，|·|表示绝对值。

5.根据权利要求1述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述回归分支包括：

通过平滑L1损失来优化回归输出：

其中，L_reg表示回归输出的L1损失，p_x，p_y表示不同高斯分布下维管束中心点的坐标，N是正例的像素数，

表示所有的维管束中心点，

是每个像素的预测回归值。

6.根据权利要求1所述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述实例掩膜包括：

S-A，在检测输出之后，可以从类别分支和宽高分支的输出中获得所有维管束的边界框，之后便可以在特征图中对维管束进行定位；

S-B，根据边界框，特征图被切成切片，然后通过RoiAlign将这些特征图切片进行双线性插值到统一大小；

S-C，使用实例分割分支从特征图切片中二次提取特征，然后进行二值分割；

S-D，计算出这些预测的掩膜切片与真实掩膜切片之间的损失；

S5，掩膜输出：使用实例掩膜来预测维管束的轮廓，使用语义掩膜来表示玉米茎秆横截面的三个功能区域。

7.根据权利要求1所述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，包括损失函数：

给输出的每个损失赋予权重，以控制它们在总梯度中的比例：

L_total＝w_cls·L_cls+w_wh·L_wh+w_reg·L_reg+w_imask·L_imask+w_smask·L_smask (5)

其中，L_cls表示类别分支的损失，L_wh表示宽高头输出的L1损失，L_reg表示回归输出的L1损失，L_imask表示平均交叉熵损失，L_smask表示交叉熵损失函数；w_cls、w_wh、w_reg、w_imask、w_smask分别代表其对应的权重；设置w_cls＝1，w_wh＝10，w_reg＝1，w_imask＝1，w_smask＝1。

8.根据权利要求1所述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述轮廓包括：mask_zone表示功能区的轮廓掩模，mask_vb代表维管束的轮廓掩膜。

9.根据权利要求1所述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述标签类别包括：锚定框、热图、mask_vblist，mask_zone之一或者任意组合。

10.根据权利要求1所述的一种基于深度学习的茎秆组织解剖学特征参数高通量提取方法，其特征在于，所述特征增强器为FPN。

Images