CN114842149A - 一种树状结构数据的图像与分割标签生成模型及应用 - Google Patents

Abstract

本发明提供一种树状结构数据的图像与分割标签生成模型及应用。所述模型包含基于少量专家知识设计的树状结构图像仿真器模型和基于形态损失函数的生成网络模型。本发明无需任何人工标注信息，即可以生成与真实目标图像风格极为相似的有标签仿真树状结构图像。此项技术可以针对各类医学图像中树状目标(如：大脑神经元，视网膜血管，肺部气管等)进行图像与分割标签生成，数据质量可达到人工标注数据的水平。本发明是首个具备自动生成分割级数据的模型，具有模型配置简单灵活、生成数据质量高，应用范围广泛的优势，可用于取代高成本高耗时的人工标注数据过程，有望彻底解决深度学习在处理医学树状图像分割问题时缺乏标注数据的瓶颈。

Description

一种树状结构数据的图像与分割标签生成模型及应用

技术领域

本发明属于生物医学工程领域，涉及一种树状结构数据的图像与分割标签生成模型及应用。无需任何人工标注信息，即可以生成与真实树状结构图像极为相似的有标签仿真图像，是一种极具潜力的可以解决神经网络依赖高质量标注数据问题的技术，该项技术可以应用在大脑神经元，视网膜血管，肺部气管等多种场景，具有极为广泛的实用价值。

背景技术

树状结构的基本形态可以表示为一种层次的嵌套结构，具有多级分支、三维伸展的形态特征。从一个根节点出发，沿枝干生长形成分支，在每层的分叉节点进行一次分裂后继续生长，以此形成多层次的树结构。在生物医学图像处理中，树结构图像的分割具有广泛的应用场景，例如包括大脑神经元重建，视网膜血管分割，肺部气管分割等多种场景。

基于数据驱动的深度神经网络是一种可以对树结构图像进行高精确度分割的模型。但实现一个强鲁棒性的深度网络需要大量高质量的专家标注数据作为训练数据。然而，这种树结构图像的标注，尤其是3D图像的标注是极为费时费力的。不同的生物学家在对枝干图像进行分析时可能遗漏某些细微的结构，对一些由于显微镜成像水平限制造成前景的枝干信号淹没在背景噪声的区域，标注人员很难将其区分开。

为了降低获取标注数据的难度，从而帮助这类树结构图像可以使用深度学习这一强有力的模型，我们期望使用计算机模拟生成具有丰富特征的标注数据，来代替繁琐的手工标注工作。

基于计算机模拟的方法包含两大类：基于模型的方法和基于模拟的方法。

基于模型的方法对整个成像过程进行建模。为了使模拟图像更真实，必须仔细考虑许多细节，包括枝干的长度，枝干半径、图像像素强度(或颜色)、成像的特征、噪声等，即使需要从真实图像中详细了解或统计一些参数。用这种方法模拟图像是一项较为耗时耗力的任务，每当图像的条件发生变化时，参数都必须由专家进行调整。

基于学习的方法利用新兴的深度学习技术生成视觉逼真的图像。这类方法通过生成对抗网络学习真实图像中的特征。生成对抗模型主要包含生成器与判别器两个深度神经网络。生成器G的输入为随机数据z，其目标是尽可能的学习真实数据中学习相关知识，输出为G(z)。判别器D的输入为生成器的生成图像G(z)和真实图像x这两类，其作用使最大可能的区分真实图像与生成图像。在模型的每次迭代中，生成器尽可能的想生成与真实图像的相似图像，从而骗过判别器。而判别器尽可能的对真实图像与合成图像进行区分。通过对模拟图像的图像风格进行调整，使得模拟图像足够逼真。但这类方法生成的模拟图像均没有提供像素或体素级的标签，导致其在分割任务中的应用受限。

发明内容

针对上述树状图像分割任务缺乏高质量的训练数据的问题，本发明的目的是提供一种树状结构数据的图像与分割标签生成模型，是一种树状结构图像与分割标签的生成模型，该模型包含两个模块，第一模块为基于少量专家知识设计的树状结构图像仿真器模型，用于生成粗粒度的树状结构图像，第二模块为基于形态损失函数的生成网络模型，用于学习真实树状结构图像风格，对仿真图像细节进行调整。通过两个模块的树状结构图像生成模型，实现自动生成大量高质量的有标签的分割级训练数据，彻底解决深度学习中训练数据缺乏的瓶颈。

为实现上述目的，本发明所设计的一种树状结构数据的图像与分割标签生成模型，包括的两个模块如下：

(1)基于少量专家知识设计的树状结构图像仿真器模型M_γ：通过归纳真实图像的先验知识构建仿真器，生成树状结构仿真图像与其对应的分割标签。树状图像的先验知识包含，树的形态(枝干分叉，枝干粗细和枝干长度)、像素或体素强度直方图、背景噪声和枝干的模糊效应等特征。

(2)基于形态损失函数的生成网络模型R：在保证图像底层分割级标签不变的情况下，学习真实图像的风格与形态特征，对模拟图像的细节纹理和整体像素或体素分布风格进行调整。

优选的，所述步骤(1)构建图像仿真模型M_γ的具体内容为：

(1-1)归纳树状结构图像的内部特征和外部特征建立树状结构图像仿真模型M_γ。内部特征指图像中枝干的几何特征，包含树的深度T，枝干分叉度B，枝干半径R，枝干长度L和枝干方向θ，这5个枝干几何特征。外部特征指图像的纹理特点，枝干强度分布和噪声分布。

(1-2)树状结构图像仿真模型M_γ的内部特征是用于模拟树的形状，在此使用一系列不同半径的节点来模拟典型的树状数据结构：

其中，n_i为单个结点，其位置为p_i＝(x_i，y_i，z_i)，半径为r_i。结点n_j为结点n_i的父节点，结点n₀为根节点。在此数据结构基础上，对于每个结点n_i需要指定其节点半径R、分枝长度L、分枝角度θ、枝干分叉度B和树的深度T。

树的深度T是指从根节点开始，树的分叉次数，按照均匀分布U(T_min，T_max)获得，其概率密度为：

其中，T_max，T_min分别为最大和最小的树深度。

枝干分叉度B是指分叉处的分叉子枝干树，在此按指数分布获得：

其中，α取1。

每条枝干上节点半径R按均匀分布U(R_min，R_max)获得，并且分支半径以δ_r的速率在每层树的深度上递减：

其中，R_max，R_min分别为最大和最小的枝干半径。枝干半径衰减率为δ_r。特别的，可以适当增加较细分支的比例，提升生成数据的分布中信号较弱的分支比例。

分枝长度L按均匀分布U(L/2，3L/2)获得，并且枝干长度以δ_l的速率在每层树的深度上递减。

其中，L为根据统计获得枝干的平均长度，枝干长度衰减率为δ_l。

子枝干的方向根据其父枝干方向确定，通过沿Z轴和Y轴依次旋转，旋转角度为θ_z和θ_y。角θ_y取较小的角度，按照均匀分布U(π/4，π/2)获得，使子枝干与父枝干的方向大致相同：

角θ_z按照等差数列获得：

其中，B为枝干分叉度，使得子枝干均匀的沿中心轴环绕分布。

通过对以上树状枝干特征的表示，可以实现对树状图像拓扑形态的建模。

(1-3)树状结构图像仿真模型M_γ的外部特征用于对图像的纹理特点，枝干强度分布和噪声分布建模。在树状结构图像中，设定前景为枝干信号，背景为除枝干外的噪声。外部特征考虑的特征包括前景和背景强度分布，成像过程中的模糊效应和噪声模式。

图像中，树状结构的枝干像素或体素强度M_f和背景部分M_b分别采用正态分布M_f～N(μ_f，σ_f)和M_b～N(μ_b，σ_b)模拟：

其中，μ_f，σ_f为前景的均值和方差，μ_b，σ_b为背景的均值和方差。

此外，对于图像前景的枝干，使用高斯核进行模糊处理，模拟显微镜成像的效果。同时，在背景中随机的位置添加大小随机的圆形斑点，以模拟图像中常见的斑点状噪声信号。

优选的，所述步骤(2)基于对抗网络的生成器的具体内容为：

(2-1)第二模块的基于形态损失函数的生成网络模型使用生成对抗网络从复杂的真实树状图像数据中学习相关特征，对第一模块模型生成的仿真图像风格进行调整，使之在保持原有底层的分割级标签的情况下，具有真实图像的特征。在我们的生成模型中，来自模拟器M_γ的合成图像z被输入细化器R以生成细化图像R(z)。然后，将真实图像x和精细图像R(z)送入鉴别器D，该鉴别器学习区分真实图像和精细图像。鉴别器D和细化器R可通过以下公式进行优化

其中，x来自于真实图像分布p_real，z来自于第一阶段仿真图像分布p_sim；其中，调整器R的目标函数有两项，一个是调整器用于学习真实图像风格的对抗目标函数，另一个是控制输入图像的分割标签变化的

(2-2)通过对抗学习的方式，可以学习仿真图像的分布到真实图像的分布之间的映射关系。然而，神经网络在求解这个映射的过程中，极易产生训练不稳定的问题，调整网络R往往会过分强调某些图像特征来欺骗当前的鉴别器网络，导致图像漂移和全黑的问题。此外，在通过调整器R的调整时，其底层的分割标签往往会产生较大的形变。具体的来说，对于树的枝杆，其半径可能会发生变化，导致调整后图像的枝杆变细或变粗，从而与其原有的分割标签失配。因此，在训练过程中添加对图像外部数据特征，对生成图像与原图像整体分布之间的相似度进行控制：

其中，z为仿真图像，R(z)为使用调整器R生成的图像。

表示针对图像外部特征设计的图像相似度损失，

是针对图像内部特征设计的图像形状保持损失，α和β为平衡各项损失函数的超参。

图像相似度损失：是当前无监督生成学习模型中较为常用的损失函数，其目的是为了控制调优模型在训练中的稳定性，避免模型陷入到单一的映射方式中。我们将数据相似度损失项写为：

||·||₁为L1正则项。

形状保持损失可以在调优器R对模型进行风格迁移的过程中，保持其基本的底层分割标签不变，定义为：

其中，z_F表示仿真图像的前景，R(z)_F表示生成图像的前景，也就是图像中的枝干。

衡量了仿真图像和生成图像的前景的体素值差异。

我们使用以下两个式子计算|z_F∪R(z)_F|和|z_F∩R(z)_F|：

其中，

其中，K为一个较大的值，用于将图像的前景和背景明确的区分开。μ为前景和背景的阈值，可以根据图像预定义好的分割标签自动的统计得到：

其中，p_b(x)是图像背景分布。当K值较大时，当且仅当z_F和R(z)_F均为前景时，|z_F∩R(z)_F|趋于1，否则趋于0。同理，当z_F或R(z)_F为前景时，|z_F∪R(z)_F|趋于1，否则趋于0。使用这个可微分的函数，可以使神经网络在反向传播的过程中可计算。通过这一项，我们可以控制图像在经过调整器后，仍然维持前景和背景的分布。

至此完成树状结构数据的图像与分割标签生成模型构建。

本发明的第二个目的是提供所述的模型的系统架构在各类包含树状结构的医学图像分割中的应用，例如神经元分割，气管分割，视网膜血管分割等2D或3D的医学图像分割任务。通过本发明的生成模型，可以自动的生成与上述各类医学树状结构图像极为相似的树状结构仿真图像和其对应的分割级标签，用于取代高成本高耗时的人工标注数据过程。这些带标签的生成数据，可以直接用于训练对应图像的分割网络，用于解决各类图像的分割问题。

所述的第一模块的树状结构图像仿真器模型的应用，需针对不同图像的特点，统计所需的统计先验知识。具体包含图像内部特征(树的深度，枝干分叉度，枝干半径，枝干长度和枝干方向)和图像外部特征(前景和背景的强度分布，噪声特点和模糊效果)。基于以上特征的统计信息，作为构建仿真模型所需的专家知识。

所述的第二模块的基于形态损失函数的生成网络模型的应用，需构建一个端到端的生成式对抗网络，此网络可以通过学习真实树状图像中目标的像素或体素分布特征，实现对仿真图像的风格迁移。特别的，网络训练过程中使用形态损失函数，用于保持图像底层分割标签不变。

本发明是首个具备自动生成树状结构图像与分割级标签的模型，具有模型配置简单灵活、生成数据质量高，应用范围广泛的优势，可用于取代高成本高耗时的人工标注数据过程，有望彻底解决深度学习在处理医学树状图像分割问题时缺乏标注数据的瓶颈，具有极大的实际应用潜力。

附图说明

图1两阶段树状图像生成模型架构示意图。

图2两阶段树状图像生成模型技术流程图。

图3第一阶段仿真器生成的神经元图像与对应标签。

图4第二阶段生成模型的网络架构。

图5神经元树状图像生成模型的消融实验和真实神经元图像对比。

具体实施方式

为了更清楚地了解本发明实施方式，下面将结合附图和具体实施方式进行进一步说明。

实施例1

本实例中，选取小鼠大脑神经元图像作为应用场景示例。神经元形态重建被认为是理解生物大脑工作原理、揭示生命运行机制的核心步骤之一。神经元重建算法的一个重要子任务是对神经元三维图像进行图像分割，将图像中高强度值的神经元的前景与低强度值的噪声背景分割开。

然而，这种三维神经元图像的标注是极为费时费力的。不同的神经学家在对图像进行分析时可能遗漏某些细微的枝干结构；对一些由于光学显微镜成像水平限制造成前景的神经元信号淹没在背景噪声的区域，标注人员很难将其区分开。

为了降低获取标注数据的难度，从而帮助神经元重建任务可以使用深度学习这一强有力的模型，使用本发明提出的一种基于两阶段生成模型的图像仿真方法，实现自动生成高质量的分割级标签的图像数据，解决深度学习在神经元重建任务中训练数据缺乏的瓶颈，模型架构图如图一所示。

本发明提供的树状结构数据生成方法流程如下，如图2所示：

步骤A：构建神经元树状图像仿真器。基于神经元形态的先验知识，如，神经元枝干半径，枝干长度，枝干角度，分叉度数，和神经元树的深度，设计初始的神经元图像仿真器。用户需要根据真实的神经元图像，对以上先验知识进行统计并输入。构建树状结构图像仿真器模型时，具体参数设定如下：树深度T_min和T_max设为5和8；结点半径R_min和R_max设为2和4；枝干半径衰减率δ_r设为0.9；分枝长度L设为50；分枝长度衰减率δ_l设为0.9；生成8bit图像时，前景的均值μ_f和方差σ_f设为200和10，背景的均值μ_b和方差σ_b设为20和5；生成16bit图像时，前景的均值μ_f和方差σ_f设为1000和50，背景的均值μ_b和方差σ_b设为20和5。此外，神经元图像仿真器支持多进程并行计算，可快速生成大量仿真数据，包括仿真神经元图像(8-bit或16-bit)，和其对应的分割级标签(0-1)，如图3所示。

步骤B：生成网络的训练数据切分。由于3D的神经元图像尺寸较大，直接将其输入深度网络中会导致模型巨大且难以训练，因此本模型采用将神经元裁剪成小块的形式，每个小块大小为64*64*32。具体实施方法为，采用滑动窗口的形式，在神经元图像上滑动选取位置，当窗口内包含枝干强度较大的区域时，将图像块裁剪为训练图像。

步骤C：构建基于形态损失函数的生成式对抗网络。第二阶段采用基于生成式对抗网络的模型，包含调整器R和判别器D。将第一阶段的图像z输入到包含n个残差模块的调整器R中，并输出调整后的图像R(z)。然后将生成图像R(z)和真实图像输入判别器网络D中。判别器将尽可能的将生成图像和真实图像区分开，并回传梯度到调整器R，使R在下一次生成中，尽可能生成于真实图像相似的图像，使判别器无法区分。调整器R的网络架构如图4所示。通过两个网络对抗的形式，生成图像与真实图像的风格变得接近，在模型损失值趋于稳定后，即可停止训练。使用训练好的调整器R，将第一阶段的仿真图像作为输入，并输出最终的生成图像。

为了验证本发明的生成模型的可靠性，对模型生成的数据质量进行分析。在此，展示两阶段模型的消融实验生成数据的效果，验证模型各阶段的有效性。

对于两阶段模型的消融实验，包含4组对照组：

实验1：模块一的仿真器(内部特征)，只生成具有树状拓扑结构的神经元图像；

实验2:模块一的仿真器(内部特征)+模块二的生成网络，基于实验1，首先生成具有树状拓扑结构的神经元图像，然后使用生成网络对图像细节进行调整；

实验3：模块一的仿真器(内部特征+外部特征)，生成具有树状拓扑结构的神经元图像，并添加对前景，背景及噪声的图像外部特征渲染；

实验4：模块一的仿真器(内部特征+外部特征)+模块二的生成网络，基于在实验3，生成具有神经元图像内部特征和外部特征的仿真图像，然后使用生成网络对图像细节进行调整。

消融实验结果如图5所示。实验1采用只结合图像内部特征的神经元图像仿真器，生成的图像具有神经元的形态学特征，但图像的前景和背景都是常数值。实验2在实验1的基础上，结合第二阶段生成网络模型，可以观察到枝干产生了明显的模糊效应，但其前景和背景并不具有真是神经元图像的特征。对于实验3，采用结合图像内部特征和外部特征的神经元图像仿真器，其具备了真实神经元的基本形态和基本的像素或体素强度特征，但其纹理细节仍然不够真实。实验4模型的图像风格与真实图像最为相似。

此外，第一阶段的树状结构图像仿真器可以针对各类图像分别设计，本发明可以方便快速的应用于包括神经元图像重建，气管分割，视网膜血管分割等2D或3D的医学图像有标签数据生成任务中。凡在本发明的精神和原则之内，所作的任何修改，等同替换，改进，均应在本发明的保护范围内。

Claims (7)

1.一种两阶段的树状结构数据的图像与分割标签生成模型，其特征在于，该模型包含两个模块，第一模块为基于少量专家知识设计的树状结构图像仿真器模型，用于生成粗粒度的树状结构图像，第二模块为基于形态损失函数的生成网络模型，用于学习真实树状结构图像风格，对仿真图像细节进行调整；

(1)基于少量专家知识设计的树状结构图像仿真器模型M_γ：通过归纳真实图像的先验知识构建仿真器，生成树状结构仿真图像与其对应的分割标签，树状图像的先验知识包含，树的形态、像素或体素强度直方图、背景噪声和枝干的模糊效应特征；

(2)基于形态损失函数的生成网络模型R：在保证图像底层分割级标签不变的情况下，学习真实图像的风格与形态特征，对模拟图像的细节纹理和整体像素或体素分布风格进行调整。

2.根据权利要求1所述的图像与分割标签生成模型，其特征在于，第一模块中，基于少量专家知识设计的树状结构图像仿真器模型将树状结构图像的特征分为内部特征和外部特征，内部特征关注于图像中枝干的几何图像特征，包括树的深度，枝干分叉度，枝干半径，枝干长度和枝干方向，外部特征指图像的纹理特点，枝干强度分布和噪声分布。

3.根据权利要求2所述的图像与分割标签生成模型，其特征在于，树状结构图像的内部特征用于模拟枝干形状，神经元的基本形态用树形结构表示，其基本形态表示为一种层次的嵌套结构，具有多级分支、三维伸展的形态特征，从一个根节点出发，沿枝干生长形成分支，在每层的分叉节点进行一次分裂后继续生长，以此形成多层次的树结构，结构的开端，称为根结点，根节点之外的节点，称为子节点，没有连到其他子节点的节点，称为叶子节点，使用一系列不同半径的节点来模拟典型的树状结构：

其中，n_i为单个结点，其位置为p_i＝(x_i,y_i,z_i)，半径为r_i，结点n_j为结点n_i的父节点，结点n₀为根节点，在此基础上，仿真模型M_γ生成仿真树状结构图像还需要以下参数，包括节点半径R、分枝长度L、分枝角度、枝干分叉度B和树的深度T，按照图像中枝干的形态统计的相关工作的结果设定；

树的深度T是指从根节点开始，树的分叉次数，按照均匀分布U(T_min,T_max)获得，其概率密度为：

其中，T_max，T_min分别为最大和最小的树深度；

枝干分叉度B是指分叉处的分叉子枝干树，在此按指数分布获得：

其中，α取1；

每条枝干上节点半径R按均匀分布U(R_min,R_max)获得，并且分支半径以δ_r的速率在每层树的深度上递减：

其中，R_max，R_min分别为最大和最小的枝干半径，枝干半径衰减率为δ_r；

分枝长度L按均匀分布U(L/2,3L/2)获得，并且枝干长度以δ_l的速率在每层树的深度上递减：

其中，L为根据统计获得枝干的平均长度，枝干长度衰减率为δ_l；

子枝干的方向根据其父枝干方向确定，通过沿Z轴和Y轴依次旋转，旋转角度为θ_z和θ_y，角θ_y取较小的角度，按照均匀分布U(π/4,π/2)获得，使子枝干与父枝干的方向大致相同：

角θ_z按照等差数列获得：

其中，B为枝干分叉度，使得子枝干均匀的沿中心轴环绕分布。

4.根据权利要求2所述的图像与分割标签生成模型，其特征在于，树状结构图像的外部特征，在树状结构图像中，设定前景为枝干信号，背景为除枝干外的噪声，外部特征包括前景和背景强度分布，成像过程中的模糊效应和噪声模式；

图像中，树状结构的枝干像素或体素强度M_f和背景部分M_b分别采用正态分布M_f～N(μ_f,σ_f)和M_b～N(μ_b,σ_b)模拟：

其中，μ_f，σ_f为前景的均值和方差，μ_b，σ_b为背景的均值和方差；

对于图像前景的枝干，使用高斯核进行模糊处理，模拟显微镜成像的效果，同时，在背景中随机的位置添加大小随机的圆形斑点，以模拟图像中常见的斑点状噪声信号。

5.根据权利要求1所述的图像与分割标签生成模型，其特征在于，第二模块中，在保证图像底层标签不变的情况下，学习真实树状图像的底层风格对模拟图像进行调整，来自模拟器M_γ的合成图像z被输入细化器R以生成细化图像R(z)，然后，将真实图像x和精细图像R(z)送入鉴别器D，该鉴别器学习区分真实图像和精细图像，鉴别器D和细化器R可通过以下公式进行优化：

其中，x来自于真实图像分布p_real，z来自于第一阶段仿真图像分布p_sim，其中，调整器R的目标函数有两项，一个是调整器用于学习真实图像风格的对抗目标函数，另一个是控制输入图像的分割标签变化的

6.根据权利要求5所述的图像与分割标签生成模型，其特征在于，调整器R中控制输入图像的分割标签变化的目标函数

对生成图像与原图像整体分布之间的相似度进行控制：

其中，z为仿真图像，R(z)为使用调整器R生成的图像，

表示针对图像外部特征设计的图像相似度损失，

是针对图像内部特征设计的图像形状保持损失，α和β为平衡各项损失函数的超参。

7.根据权利要求6所述的图像与分割标签生成模型，其特征在于，图像相似度损失是无监督生成学习模型中较为常用的损失函数，其目的是为控制调优模型在训练中的稳定性，避免模型陷入到单一的映射方式中，将数据相似度损失项写为：

‖·‖₁为L1正则项；

形状保持损失在调优器R对模型进行风格迁移的过程中，保持其基本的底层分割标签不变，定义为：

其中，z_F表示仿真图像的前景，R(z)_F表示生成图像的前景，

衡量仿真图像和生成图像的前景的像素或体素值差异，使用以下两个式子计算|z_F∪R(z)_F|和|z_F∩R(z)_F|：

其中，

其中，K是一个较大的数，其用于将图像的前景和背景明确的区分开，μ为前景和背景的阈值，根据图像预定义好的分割标签自动的统计得到：

其中，p_b(x)是图像背景分布，当K值较大时，且当z_F和R(z)_F均为前景时，|z_F∩R(z)_F|趋于1，否则趋于0，同理，当z_F或R(z)_F为前景时，|z_F∪R(z)_F|趋于1，否则趋于0。

Images