CN112669329A - 图像分割方法及图像分割系统 - Google Patents

Abstract

本发明提供一种图像分割方法及图像分割系统。所述图像分割方法包括构建亲和力矩阵、样本聚类、获取子集分割模型、子集分割模型融合等步骤。本发明实现了对图像样本的相似性识别，通过样本聚类为多个子集并对应生成群集代表先验，将一待鉴别图像输入后形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验，用与该最接近的群集代表先验相对应的子集分割模型对所述待鉴别图像进行鉴别以获取分割结果，不会随着训练样本的变化而导致分割性能不同。

Description

图像分割方法及图像分割系统

技术领域

本发明涉及基于人工智能方法实现疾病诊断领域，具体地说，涉及一种图像分割方法及图像分割系统。

背景技术

计算机断层扫描灌注(CTP)图像由于其成像速度快和提供血流输送的定量能力而在急性缺血性卒中评估中引起了越来越多关注。但是，脑缺血性梗死核心具有较高的个体变异性以及较低的对比度，同时需要参考多个CTP参数图以精确地分割梗死核心区域。因此，开发自动精确的分割算法已成为一项具有挑战性的任务。诸如U-Net之类的广泛应用的分割算法缺乏针对数据集中图像子类型的特定建模，因此性能仍然不尽人意。

基于卷积神经网络(CNN)的分割算法U-Net已被广泛用于病变分割中，并且显示出了出色的分割性能。已经有很多基于U-Net的尝试用于缺血性核分割。例如，基于DWI图像包含更明显的梗塞核心区域信息的想法，有人打算从具有生成对抗网络(GAN)的CTP图像生成DWI图像，并将合成的DWI图像用于核心分割。也有人提出结合多模式CTP映射来构建U-Net。每个模态都由各自的U-Net编码器处理，并融合在一个通用解码器中。该框架还为每个编码器路径引入了超密集连接，这导致整个网络的参数数量显着增加，并且具有相对较高的计算成本。而且，这些工作都忽略了无法完全挖掘数据集中不同样本之间的潜在相关性。

发明内容

本发明的目的在于，提供一种图像分割方法及图像分割系统，以解决现有人工智能方法中对的CTP图像缺血性核分割时忽略了数据集中不同样本之间的潜在相关性，随着训练样本的变化会导致分割性能不同的技术问题。

为实现上述目的，本发明提供一种图像分割方法，包括如下步骤：

S1、构建亲和力矩阵步骤，使用基线卷积神经网络(U-Net)训练每个图像样本各自的单样本分割模型，然后对所述单样本分割模型进行交叉验证以捕获各个图像样本之间的相似性特征，这些相似性特征反映在一亲和力矩阵P中；

S2、样本聚类步骤，用亲和力传播(AP)算法根据所述亲和力矩阵P将特征类似的图像样本集聚为多个子集；

S3、获取子集分割模型步骤，将获得的所述多个子集中的图像样本分别进行训练，获得具有聚类代表信息的多个子集分割模型；以及

S4、形成多集群卷积神经网络步骤，将获得的所述多个子集分割模型分别产生一群集代表先验，所述群集代表先验为一组图像代表特征的集合，将所述多个子集分割模型及其对应的所述群集代表先验形成多集群卷积神经网络。

进一步地，在所述形成多集群卷积神经网络步骤S4之后还包括：

S5、鉴别图像步骤，将一待鉴别图像输入至所述多集群卷积神经网络，所述多集群卷积神经网络识别所述待鉴别图像的多个特征并形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验，用与该最接近的群集代表先验相对应的子集分割模型对所述待鉴别图像进行鉴别以获取分割结果。

进一步地，在所述样本聚类步骤S1中，所述对所述单样本分割模型进行交叉验证的具体方式为使用所有图像样本依次对每个单样本分割模型进行交叉验证。

进一步地，在所述样本聚类步骤S1中，所述亲和力矩阵使用图像分割的评价指标Dice得分作为特征相似性的指标。

进一步地，在所述获取子集分割模型步骤S3中，采用群集代表编码器(CRE)对所述多个子集中的图像样本分别进行训练以获得具有聚类代表信息的多个子集分割模型。

进一步地，在所述子集分割模型融合步骤S4中，在所述群集代表编码器(CRE)中产生所述群集代表先验。

进一步地，在所述子集分割模型融合步骤S4中，还包括在所述基线卷积神经网络中插入一个融合块以融合由所述群集代表编码器(CRE)产生的群集代表先验。

本发明还提供一种图像分割系统，其包括：

输入模块，用于输入图像样本或待鉴别图像；

基线卷积神经网络，用于训练一个或多个图像形成对应的分割模型，并可对所述分割模型进行交叉验证以捕获各个图像之间的相似性特征；所述图像包括图像样本或待鉴别图像；

构建亲和力矩阵模块，用于将相似性特征反映在一亲和力矩阵P中；

样本聚类模块，用于采用亲和力传播(AP)算法根据所述亲和力矩阵P将特征类似的图像样本集聚为多个子集；以及

群集代表编码器(CRE)，用于对多个图像进行训练以获得具有聚类代表信息的多个子集分割模型并用于产生每个子集分割模型的群集代表先验，并可插入一个融合块以融合由所述群集代表编码器(CRE)产生的群集代表先验。

进一步地，所述图像分割系统还包括多集群卷积神经网络，由所述多个子集分割模型及其对应的所述群集代表先验以及融合模块构成，用于识别所述待鉴别图像的多个特征并形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验。

进一步地，所述基线卷积神经网络包括输入层、输出层、以及位于所述输入层和所述输出层之间的中间隐层，其中所述输出层与所述输入层的宽度相同。

本发明的有益效果在于，提供一种图像分割方法及图像分割系统，实现了对图像样本的相似性识别，通过样本聚类为多个子集并对应生成群集代表先验，将一待鉴别图像输入后形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验，用与该最接近的群集代表先验相对应的子集分割模型对所述待鉴别图像进行鉴别以获取分割结果，不会随着训练样本的变化而导致分割性能不同。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中所述图像分割方法的流程图；

图2为本发明实施例中所述图像分割系统的结构示意图；

图3为本发明实施例中所述图像分割系统的原理流程图。

具体实施方式

以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。本发明所提到的方向用语，例如，上、下、前、后、左、右、内、外、上表面、下表面、侧面、顶部、底部、前端、后端、末端等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。

当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装”或“连接”，或者一个部件通过一中间部件间接“安装至”或“连接至”另一个部件。

现有U-Net算法存在一些局限性，妨碍了其分割性能。数据集中样本分布的高变异性可能导致单个U-Net的分割性能下降，这发生在缺血性脑卒中的脑图像梗塞核心的分割中。核心区域的大小，形状和方向在总体中差异很大，这使得香草U-Net在不同测试样本之间的分割性能不稳定。我们的实验还表明，当分割给定的测试样本时，训练样本的变化可能会导致分割性能显着不同。特别是，在没有或只有有限的训练样本具有与测试样本相关的信息的情况下，这种变化就具有决定性意义。

如图1所示，本发明实施例提供一种图像分割方法，包括如下步骤S1-S6。该方法根据训练样本彼此之间的相似性，将训练样本聚类为几个子集，然后训练具有特定训练子集的特定于子集的分割模型。这些指定的模型能够对测试样本进行分割，同时与集群代表的训练先验联系起来。该方法以适应性地融合由相应子集特定模型产生的这些群集代表训练先验，以更好地指导测试样本的分割。对于每个看不见的测试样本，我们假设至少有一个训练样本子集可以代表该样本，并且激活了相应的特定于子集的模型以指导该看不见的测试样本的分割过程，从而提高了其分割性能。

S1、构建亲和力矩阵步骤，使用基线卷积神经网络(U-Net)训练每个图像样本各自的单样本分割模型，然后对所述单样本分割模型进行交叉验证以捕获各个图像样本之间的相似性特征，这些相似性特征反映在一亲和力矩阵P中。

其中，所述对所述单样本分割模型进行交叉验证的具体方式为使用所有图像样本依次对每个单样本分割模型进行交叉验证。

其中，所述亲和力矩阵使用图像分割的评价指标Dice得分作为特征相似性的指标。

具体来说，我们得到n个(训练集的大小)分割模型，每个分割模型都由一个训练样本训练，然后使用所有样本依次对每个模型进行交叉验证。我们使用Dice得分作为分割效果的指标。这样，我们得到一个n×n亲和度矩阵P，其中P.j是P的第j列，代表用第j个训练样本训练的模型上测试的所有样本的Dice分数。Pij代表在第j个训练样本训练的模型上测试的第i个训练样本的Dice分数。所得的亲和度矩P中显示，颜色越红表示Dice得分越高，在亲和度矩P的对角线上的值都被高度激活，这与我们的认知是一致的。

S2、样本聚类步骤，用亲和力传播(AP)算法根据所述亲和力矩阵P将特征类似的图像样本集聚为多个子集。这使得每个子集由具有相似功能的样本组成。应当注意，亲和力传播(AP)算法可以根据亲和度矩阵的输入自动确定簇的数量，而无需预先指定。最后，我们将训练集聚为m个子集。

S3、获取子集分割模型步骤，将获得的所述多个子集中的图像样本分别进行训练，获得具有聚类代表信息的多个子集分割模型。其中采用群集代表编码器(CRE)对所述多个子集中的图像样本分别进行训练以获得具有聚类代表信息的多个子集分割模型，即m个特定于子集的子集分割模型。具体来说，我们使用来自每个子集的样本训练模型，最后获得具有聚类代表信息的m个分割模型。请注意，在随后的过程中训练之后，我们随后冻结了这些模型的所有参数。

所述基线卷积神经网络包括输入层、输出层、以及位于所述输入层和所述输出层之间的中间隐层，其中所述输出层与所述输入层的宽度相同。及所述基线卷积神经网络呈U形模型，这些U形模型都在最低/第二低的水平(我们的实验的两个设置)水平上被截断了。然后，原始模型的m个左半部分实际上是m个编码器，并且连接到MCU-Net。

S4、形成多集群卷积神经网络步骤，将获得的所述多个子集分割模型分别产生一群集代表先验(CRP)，所述群集代表先验(CRP)为一组图像代表特征的集合。其中，在所述群集代表编码器(CRE)中产生所述群集代表先验。在所述基线卷积神经网络中插入一个融合块以融合由所述群集代表编码器(CRE)产生的群集代表先验。所述群集代表先验的融合能进行更好的分割。

该方法参考了多视图形状先验从短轴MR图像分割左心室心肌。在这里，我们通过融合块将CRP引入到主要的分割U-Net中，融合块是可学习地融合m+1个CRP的可学习残差块。然后，融合的信息用于指导测试图像的分割。

不采用仅结合聚类先验条件的类似多编码器的U-Net，我们采用在插入可学习的融合块的同时保留主分割U-Net的体系结构。这可以进一步引入聚类先验，同时仍保留来自主分割网络的编码。关键思想是保持主要分割结构的独立性，而CRP则用作分割的辅助指导。这对于引入指定为CRP的高模型特异性同时保持主分割模型的独立性尤其重要。

融合块从主分割U-Net的编码器路径接收输入作为一个编码的级联，并从CRE接收m个先验。它是一个残差块，由两个3×3卷积层组成，以融合(m+1)个编码。然后，融合编码流回到主要分割U-Net，并走完模型的其余部分。

将所述多个子集分割模型及其对应的所述群集代表先验(CRP)形成多集群卷积神经网络(MCU-Net)。

主分割U-Net与融合块一起训练，但CPE的所有参数都被冻结，仅用作编码器。对于给定的多通道图像切片S，MCU-Net可以预测分割F＝fMCU-Net(S，e1，e2，e3，...，em；θ)，其中e1～em是m个CRP，θ是MCU-Net的参数。MCU-Net具有两个损失函数(两个实验设置)训练：1)Dice损失；2)二元交叉熵(BCE)+广义Dice(GD)损失。

S5、鉴别图像步骤，将一待鉴别图像输入至所述多集群卷积神经网络，所述多集群卷积神经网络识别所述待鉴别图像的多个特征并形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验，用与该最接近的群集代表先验相对应的子集分割模型对所述待鉴别图像进行鉴别以获取分割结果。

基于前文所述的图像分割方法，如图2所示，本发明还提供一种图像分割系统10，其包括：

输入模块1，用于输入图像样本或待鉴别图像；

基线卷积神经网络2，用于训练一个或多个图像形成对应的分割模型，并可对所述分割模型进行交叉验证以捕获各个图像之间的相似性特征；所述图像包括图像样本或待鉴别图像；

构建亲和力矩阵模块3，用于将相似性特征反映在一亲和力矩阵P中；

样本聚类模块4，用于采用亲和力传播(AP)算法根据所述亲和力矩阵P将特征类似的图像样本集聚为多个子集；以及

群集代表编码器(CRE)5，用于对多个图像进行训练以获得具有聚类代表信息的多个子集分割模型并用于产生每个子集分割模型的群集代表先验，并可插入一个融合块以融合由所述群集代表编码器(CRE)产生的群集代表先验。

本实施例中，所述图像分割系统10还包括多集群卷积神经网络6，由所述多个子集分割模型及其对应的所述群集代表先验以及融合模块构成，用于识别所述待鉴别图像的多个特征并形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验。

本实施例中，所述基线卷积神经网络(U-Net)2包括输入层、输出层、以及位于所述输入层和所述输出层之间的中间隐层，其中所述输出层与所述输入层的宽度相同。

所述的图像分割方法及所述图像分割系统10的原理见图3所示。

为了评估分割效果，我们使用了Dice分数和Hausdorff距离(HD)作为指标。将所提出的方法与现有基线U-Net(表1的BaselineU-Net)进行比较。我们进行了不同数量集群的配置比较，将融合块的不同位置插入了MCU-Net，并使用了两种不同的损失函数。为了公平地比较，配置研究在每个级别具有相同数量的过滤器，并且使用相同的预处理和训练策略进行了训练。我们还采用了5折交叉验证方案。

定量结果如表1所示。可以看出，在所有配置中，我们的MCU-Net的性能均优于现有基准U-Net。我们的模型的Dice得分平均提高了8.9％，而HD的减小了10.253mm。与现有基线U-Net模型相比，这两个指标证明了我们方法的准确性。

表1

表1与基准架构相比，所有实验设置下脑缺血性梗塞核心分割的定量结果。L或SL表示融合块分别位于MCU-Net中主分割U-Net的最低(L)或第二最低(SL)级别。同时，Dice损失和BCE+GD损失是试验的两个损失函数。

我们的BCE+GD损失方法比Dice损失方法具有更高的鲁棒性，尤其是在HD中反映为较低的标准偏差。像素级分类(BCE)和重叠度量(GD)的组合有效地限制了分割过程，特别是在核心区域非常小且不规则的情况下。

对于聚类数，我们尝试了两个设置，分别是7个群集和4个群集。当零聚类的情况发生时，我们的MCU-Net等效于基线U-Net，因为在分割模型中没有引入聚类代表先验。Dice和HD的改进证明了将簇代表信息并入缺血性卒中分割的有效性。随着簇数的增加，分割模型具有更高的特异性，这表明了对测试样本进行分割的更强能力。

此外，在固定损失函数的情况下，与主分割U-Net的最低级别相比，将融合块放置在第二低级别上，显示了分割性能的显着提高。这是因为来自不同CRE的CRP可能非常抽象和不同。通过让每个CRP映射到CRE中具有其各自映射层的更高分辨率来进行向上采样的一步，然后映射的CRP可能更具体，更相似，因此更容易被融合块融合。

结果中，我们提出的方法均高于所有的实验配置。在经典的图像分割深度学习算法中，较少有算法考虑数据集样本间的差异，所以对于样本间差异大的数据集学习如果仅仅简单套用经典分割算法，会导致算法分割的性能较差。所以在我们提出的这一套算法中，我们在原有经典算法的基础上加入了对差异样本的特别考虑。具体来说，我们会对样本根据其分割能力的相似性先进行聚类，然后对于聚类以后的每个样本子集，进行分割模型的定制化训练，这样每个分割模型即适用于一些分割能力相近的样本，那么对于一个模型没有见过的新样本，要判断其和各样本子集分割能力的相似性，则利用MCU-Net结构，会自动“选择”出和现有样本最相近的一个子集，然后用各子集训练出的模型对新样本进行分割，且对不同子集对应的分割模型根据相似性给予不同的权重，相似性越高则权重越大，最后将该样本在各子集的分割结果进行集成，以提升其分割的精度。

本发明的有益效果在于，提供一种图像分割方法及图像分割系统，实现了对图像样本的相似性识别，通过样本聚类为多个子集并对应生成群集代表先验，将一待鉴别图像输入后形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验，用与该最接近的群集代表先验相对应的子集分割模型对所述待鉴别图像进行鉴别以获取分割结果，不会随着训练样本的变化而导致分割性能不同。

我们提出了一种根据样本相似度将训练样本聚类为子集的新方法，然后训练了特定于子集的分割模型，该模型能够从每个聚类中提取聚类表征信息。我们进一步开发了一种新颖的融合机制，以自适应地融合此类簇代表信息，然后将其用于更好地指导分割模型中先前未见图像的缺血核心分割。我们的方法优于基线U-Net，并证明了分割精度的显着提高，并且有可能被集成到任何其他类似U-Net的结构中以进一步提高其表征能力。

以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像分割方法，其特征在于，包括如下步骤：

构建亲和力矩阵步骤，使用基线卷积神经网络训练每个图像样本各自的单样本分割模型，然后对所述单样本分割模型进行交叉验证以捕获各个图像样本之间的相似性特征，这些相似性特征反映在一亲和力矩阵中；

样本聚类步骤，用亲和力传播算法根据所述亲和力矩阵将特征类似的图像样本集聚为多个子集；

获取子集分割模型步骤，将获得的所述多个子集中的图像样本分别进行训练，获得具有聚类代表信息的多个子集分割模型；以及

形成多集群卷积神经网络步骤，将获得的所述多个子集分割模型分别产生一群集代表先验，所述群集代表先验为一组图像代表特征的集合，将所述多个子集分割模型及其对应的所述群集代表先验形成多集群卷积神经网络。

2.如权利要求1所述的图像分割方法，其特征在于，在所述形成多集群卷积神经网络步骤之后还包括：

鉴别图像步骤，将一待鉴别图像输入至所述多集群卷积神经网络，所述多集群卷积神经网络识别所述待鉴别图像的多个特征并形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验，用与该最接近的群集代表先验相对应的子集分割模型对所述待鉴别图像进行鉴别以获取分割结果。

3.如权利要求1所述的图像分割方法，其特征在于，在所述样本聚类步骤中，所述对所述单样本分割模型进行交叉验证的具体方式为使用所有图像样本依次对每个单样本分割模型进行交叉验证。

4.如权利要求1所述的图像分割方法，其特征在于，在所述样本聚类步骤中，所述亲和力矩阵使用图像分割的评价指标Dice得分作为特征相似性的指标。

5.如权利要求1所述的图像分割方法，其特征在于，在所述获取子集分割模型步骤中，采用群集代表编码器对所述多个子集中的图像样本分别进行训练以获得具有聚类代表信息的多个子集分割模型。

6.如权利要求5所述的图像分割方法，其特征在于，在所述子集分割模型融合步骤中，在所述群集代表编码器中产生所述群集代表先验。

7.如权利要求5所述的图像分割方法，其特征在于，在所述子集分割模型融合步骤中，还包括在所述基线卷积神经网络中插入一个融合块以融合由所述群集代表编码器产生的群集代表先验。

8.一种图像分割系统，其特征在于，包括：

输入模块，用于输入图像样本或待鉴别图像；

基线卷积神经网络，用于训练一个或多个图像形成对应的分割模型，并可对所述分割模型进行交叉验证以捕获各个图像之间的相似性特征；所述图像包括图像样本或待鉴别图像；

构建亲和力矩阵模块，用于将相似性特征反映在一亲和力矩阵中；

样本聚类模块，用于采用亲和力传播算法根据所述亲和力矩阵将特征类似的图像样本集聚为多个子集；以及

群集代表编码器，用于对多个图像进行训练以获得具有聚类代表信息的多个子集分割模型并用于产生每个子集分割模型的群集代表先验，并可插入一个融合块以融合由所述群集代表编码器产生的群集代表先验。

9.如权利要求8所述的图像分割系统，其特征在于，还包括

多集群卷积神经网络，由所述多个子集分割模型及其对应的所述群集代表先验以及融合模块构成，用于识别所述待鉴别图像的多个特征并形成一特征集，对比所述特征集与所述群集代表先验并识别出的最接近的群集代表先验。

10.如权利要求8所述的图像分割系统，其特征在于，

所述基线卷积神经网络包括输入层、输出层、以及位于所述输入层和所述输出层之间的中间隐层，其中所述输出层与所述输入层的宽度相同。

Images