CN115908800A - 医学图像分割方法 - Google Patents

Abstract

本发明涉及一种医学图像分割方法，包括：收集肿瘤患者的核磁共振图像数据作为数据集；对数据集中的图像数据进行数据处理；将数据处理后，数据集中符合要求的多模态图像作为模型的输入；对每一个模态设计单独的Transformer以提取特征；设计模态融合Transformer对多个模态的数据进行融合；逐步将不同尺度的编码器输出重塑为输入大小，以获得与原图匹配的分割结果；对于数据集中的无标签数据，构建弱增强图像与强增强图像；根据编码器对不同增强的图像的输出选择正例与负例，计算对比损失；对标签与分割结果计算dice损失；进行模型的训练，得到最终的模型并保存。本发明能够更好地定位肿瘤位置，提高分割效果。

Description

医学图像分割方法

技术领域

本发明涉及一种医学图像分割方法。

背景技术

医学图像分割是各种医学图像应用的基础，在临床辅助诊断、图像引导的外科手术和放射治疗中，医学图像分割技术显示出越来越重要的临床价值。传统的医学图像分割都是基于有经验的医生手动分割，而这种纯手动分割的方法往往费时费力，且受医生的主观影响比较大。随着深度学习技术的快速发展，基于深度学习的全自动影像分割得到迅猛的发展。然而，深度学习往往依赖于海量的高质量有标签数据，而医学影像数据往往比较稀缺，获取高质量的有标签数据通常比较困难。

半监督学习框架能够直接从有限的带标签数据和大量的未带标签数据中学习，得到高质量的分割结果。当前半监督医学图像分割方法可以分为三类：对抗性学习方法、一致性正则化方法和协同训练方法。对抗性学习方法利用鉴别器对齐嵌入空间中已标记和未标记数据的分布，需要数据满足分布假设，且很多对抗性学习模型难以训练。一致性正则化方法的基本思想是将模型预测正则化，即一个鲁棒的对相似的输入应该有相似的输出，每个方法的区别在于如何注入噪声以及如何计算一致性，但一致性正则化方法依赖合适的数据增强策略，且错误的伪标签在训练中会不断强化。协同训练方法基于数据低密度分离假设，这种方法弊端在于生成的伪标签如果不准确将导致分类错误自我强化。

为充分利用未标记数据，一般利用对抗性学习方法、一致性正则化方法和协同训练方法等进行半监督分割。综合来看，上述方法都是利用了输出空间的一致性，缺少特征空间内的约束，因而很多情况下模型无法识别错误的特征，导致这个错误在训练过程中不断叠加。

发明内容

有鉴于此，有必要提供一种医学图像分割方法。

本发明提供一种医学图像分割方法，该方法包括如下步骤：a.收集肿瘤患者的核磁共振图像数据作为数据集；b.对所述数据集中的图像数据进行数据处理，所述数据处理包括：对所述数据集中的图像数据进行格式转换、重采样、配准及标准化；c.将数据处理后，数据集中符合要求的多模态图像作为模型的输入；d.建立多分支Transformer神经网络作为编码器，对每一个模态设计单独的Transformer以提取特征；e.设计模态融合Transformer对多个模态的数据进行融合；f.建立解码器，逐步将不同尺度的编码器输出重塑为输入大小，以获得与原图匹配的分割结果；g.对于数据集中的无标签数据，构建弱增强图像与强增强图像；h.根据编码器对不同增强的图像的输出选择正例与负例，计算对比损失；i.对标签与分割结果计算dice损失；j.进行模型的训练，选择效果较好的结果作为最终的模型并保存。

具体地，所述患者的核磁共振图像数据为多模态核磁共振图像；每一例患者的核磁共振图像数据包含四个常用模态；所述四个常用模态为T1、T2、T1C、Flair模态。

具体地，所述的步骤b具体包括：

首先将DICOM格式转化为NIFTI格式；接着对图像进行重采样；然后对图像进行配准，将多个时间点中对应于空间同一位置的点一一对应起来，配准时使用刚性配准模式，使用互信息作为图像相似度度量；使用灰度归一化、直方图均衡化方法对数据集中的图像数据进行标准化处理。

具体地，所述的步骤c具体包括：

将数据集中符合要求的多模态图像作为模型的输入，将数据集划分训练集和测试集；首先排除模态缺失、配准失败或者不含肿瘤的磁共振图像数据，避免影响模型的泛化性能；然后以4：1的比例划分为训练集和测试集；针对训练集根据需要划分有标签数据和无标签数据，分别进行处理。

具体地，所述的步骤d具体包括：

对每一个模态设计单独的Transformer提取特征；对于具有四个模态的输入，为了同时提取多个模态的独立特征，提出一种多分支Transformer，其分支个数与输入的模态数相等；将三维整脑图像分成K个固定大小的三维图像块，映射为固定长度D的一维向量，并添加位置编码以保留位置信息，输入视觉Transformer模型。

具体地，所述的步骤e具体包括：

单独设计一个基于交叉注意机制的融合Transformer：所述基于交叉注意机制的融合Transformer分为两个部分，即部分融合Transformer与整体融合Transformer；所述部分融合Transformer使用每个分支的单个一维向量作为查询来与其他分支交换信息，将部分融合后的结果输入整体融合Transformer，通过其中的自注意力机制将多模态的信息更加彻底的融合到一起，从而在数据的整体语义结构层次利用了全局上下文信息。

具体地，所述的步骤f具体包括：

解码器逐步将不同尺度的编码器输出重塑为输入大小，以获得与原图匹配的分割结果。解码器将编码器的输出作为五个通道输入。通过卷积与反卷积操作逐层融合各层编码器输出，并将图像恢复至指定大小，应用sigmoid函数获得最终分割结果。

具体地，所述的步骤g具体包括：

对单个无标注图像设计两种增强方式，每个训练步骤中从一个预先定义的范围内随机为batch中每个样本选择变换：第一个增强方法为弱增强，弱增强是以50％的概率随机翻转、移动和随机缩放策略的结果；另一个增强方法为强增强，强增强是在弱增强的图像的基础上添加灰度变换。

具体地，所述的步骤h具体包括：

无标签数据损失分为两个部分，包括输出空间一致性损失和对比学习损失；对比学习损失的计算方法为编码器分别基于弱增强图像和强增强图像产生特征，同一个位置的特征互相视作正例，不同位置的特征视作负例，负例的采样方法采取gumbel采样策略，选取余弦相似度最小的k个像素组成负例，或者根据解剖学先验知识，选择距离较远的像素作为负例；将InfoNCE损失与余弦相似度相结合，得到像素对比度损失。

具体地，所述的步骤i具体包括：

对于有标签数据获取的分割结果，与标签计算dice损失作为监督学习损失；对于无标签数据，弱增强图像和强增强图像的结果之间计算一致性损失。

具体地，所述的步骤j具体包括：

使用随机梯度下降作为优化器进行训练，使用权重衰减以防止过拟合；模型训练完成之后选择在各个比例的有监督数据情况下较为准确的模型保存。

本申请不仅考虑了输出空间一致性，同时一定程度上解决了当前方法中普遍存在的无法筛选错误特征导致错误累积的问题，以及以Transformer为主要特征提取网络，利用Transformer中的注意力机制和全局感受野优势更快更准定位肿瘤，相比仅有局部感受野的卷积神经网络方法提高了准确率。

附图说明

图1为本发明医学图像分割方法的流程图；

图2为本发明实施例提供的Transformer神经网络示意图；

图3为本发明实施例提供的Transformer神经网络分割流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明医学图像分割方法较佳实施例的作业流程图。

请一并参阅图2-3，步骤S1，收集肿瘤患者的核磁共振图像数据作为数据集。具体而言：

在本实施例中，收集肿瘤患者的核磁共振图像数据。所述患者的核磁共振图像数据为多模态核磁共振图像。每一例患者的核磁共振图像数据包含四个常用模态；所述四个常用模态为T1、T2、T1C、Flair模态。

本步骤中获得的患者的图像来自医院、TCIA(The Cancer Imaging Archive，癌症影像存档)以及TCGA(The Cancer Genome Atlas，癌症基因图谱)中共同收录的患者图像数据集。

本实施例对数据集的大小不做限定，数据集越大，泛化能力越强。

步骤S2，对所述数据集中的图像数据进行数据处理，所述数据处理包括：对所述数据集中的图像数据进行格式转换、重采样、配准及标准化。具体而言：

对数据集中的图像数据进行格式转换、重采样、配准和标准化。DICOM(DigitalImaging and Communications in Medicine)是指医疗数字影像传输协定，是用于医学影像处理、储存、打印、传输的一组通用的标准协定。

医疗器械上获得的数据是DICOM格式，首先将DICOM格式转化为NIFTI(NeuroImaging Informatics Technology Initiative)格式；接着对图像进行重采样，以提高图像的分辨率；然后对图像进行配准，将多个时间点中对应于空间同一位置的点一一对应起来，配准时使用刚性配准模式，使用互信息作为图像相似度度量，配准和重采样完成后图像的空间分辨率均为1mm。使用灰度归一化、直方图均衡化等方法对数据集中的图像数据进行标准化处理。

步骤S3，将数据处理后，数据集中符合要求的多模态图像作为模型的输入，将数据集划分训练集和测试集。针对训练集根据需要划分有标签数据和无标签数据，分别进行处理。具体而言：

将数据集中符合要求的多模态图像作为模型的输入，将数据集划分训练集和测试集。首先排除模态缺失、配准失败或者不含肿瘤的磁共振图像数据，避免影响模型的泛化性能。然后以4：1的比例划分为训练集和测试集。针对训练集根据需要划分有标签数据和无标签数据，分别进行处理。在半监督任务中，有标签数据的比例严重影响分割结果，因此以10％的比例逐渐递减训练集中有标签数据的数量，分别展开实验。

步骤S4，建立多分支Transformer神经网络作为编码器，对每一个模态设计单独的Transformer以提取特征。具体而言：

建立多分支Transformer神经网络，预期的分割模型整体为编码-解码器结构，通过编码器提取适当的特征，通过解码器将图像还原至输入大小。对每一个模态设计单独的Transformer提取特征。对于具有四个模态的输入，为了同时提取多个模态的独立特征，提出一种多分支Transformer，其分支个数与输入的模态数相等。将三维整脑图像分成K个固定大小的三维图像块，映射为固定长度D的一维向量，并添加位置编码以保留位置信息，输入视觉Transformer模型。

步骤S5，设计模态融合Transformer对多个模态的数据进行融合。具体而言：

为了从多个角度充分融合各个模态的特征，以产生更强的图像特征，本申请单独设计了一个基于交叉注意机制的融合Transformer。所述基于交叉注意机制的融合Transformer分为两个部分，即部分融合Transformer与整体融合Transformer。所述部分融合Transformer使用每个分支的单个一维向量作为查询来与其他分支交换信息。将部分融合后的结果输入整体融合Transformer，通过其中的自注意力机制将多模态的信息更加彻底的融合到一起，从而在数据的整体语义结构层次利用了全局上下文信息。

步骤S6，建立解码器，逐步将不同尺度的编码器输出重塑为输入大小，以获得与原图匹配的分割结果。具体而言：

解码器逐步将不同尺度的编码器输出重塑为输入大小，以获得与原图匹配的分割结果。解码器将编码器的输出作为五个通道输入。通过卷积与反卷积操作逐层融合各层编码器输出，并将图像恢复至指定大小，应用sigmoid函数获得最终分割结果。

步骤S7，对于无标签数据，构建弱增强图像与强增强图像。具体而言：

对于对单个无标注图像设计两种增强方式，每个训练步骤中从一个预先定义的范围内随机为batch中每个样本选择变换。第一个增强方法为弱增强，弱增强是以50％的概率随机翻转、移动和随机缩放策略的结果。另一个增强方法为强增强，强增强是在弱增强的图像的基础上添加灰度变换。

步骤S8，根据编码器对不同增强的图像的输出选择正例与负例，计算对比损失。具体而言：

无标签数据损失分为两个部分，包括输出空间一致性损失和对比学习损失。对比学习损失的计算方法为编码器分别基于弱增强图像和强增强图像产生特征，同一个位置的特征互相视作正例，不同位置的特征视作负例，负例的采样方法采取gumbel采样策略，选取余弦相似度最小的k个像素组成负例，或者根据解剖学先验知识，选择距离较远的像素作为负例。对比学习损失的目标是增加其与正像素的相似度，降低其与k个负像素的相似度。为实现这一目标，将InfoNCE损失与余弦相似度相结合，得到像素对比度损失。具体表现为正例使用所有标签为1计算交叉熵损失，负例使用所有标签为0计算交叉熵损失，所得损失之和为对比学习损失。

步骤S9，对标签与分割结果计算dice损失。对无标签数据两个分支的输出计算一致性损失。总损失为监督学习损失、对比学习损失和一致性损失。具体而言：

计算总损失。对于有标签数据获取的分割结果，与标签计算dice损失作为监督学习损失。对于无标签数据，弱增强图像和强增强图像的结果之间计算一致性损失；所述一致性损失与所述对比学习损失相加作为半监督损失。总损失为半监督损失与监督损失之和。

步骤S10，进行模型的训练，选择效果较好的结果作为最终的模型并保存。具体而言：

训练时使用包括但不限于旋转、平移、缩放、裁剪等方法进行数据增强提高模型的泛化能力；

使用随机梯度下降作为优化器进行训练，使用权重衰减以防止过拟合。对于输入的图像数据，网络输出的结果是二值化的分割结果；

通过网络输出的结果对应到原图中，辅助医生对病人进行诊断。

模型训练完成之后选择在各个比例的有监督数据情况下较为准确的模型保存。

本申请利用对比学习拉近同类特征和推远异类特征的能力给特征空间施加约束，进一步提高半监督学习效果。利用视觉Transformer代替卷积神经网络构建模型，利用其中的注意力机制带来的全局感受野融合多模态信息，更好地定位肿瘤位置，从而提高分割效果。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (11)

1.一种医学图像分割方法，其特征在于，该方法包括如下步骤：

a.收集肿瘤患者的核磁共振图像数据作为数据集；

b.对所述数据集中的图像数据进行数据处理，所述数据处理包括：对所述数据集中的图像数据进行格式转换、重采样、配准及标准化；

c.将数据处理后，数据集中符合要求的多模态图像作为模型的输入；

d.建立多分支Transformer神经网络作为编码器，对每一个模态设计单独的Transformer以提取特征；

e.设计模态融合Transformer对多个模态的数据进行融合；

f.建立解码器，逐步将不同尺度的编码器输出重塑为输入大小，以获得与原图匹配的分割结果；

g.对于数据集中的无标签数据，构建弱增强图像与强增强图像；

h.根据编码器对不同增强的图像的输出选择正例与负例，计算对比损失；

i.对标签与分割结果计算dice损失；

j.进行模型的训练，选择效果较好的结果作为最终的模型并保存。

2.如权利要求1所述的医学图像分割方法，其特征在于，所述患者的核磁共振图像数据为多模态核磁共振图像；每一例患者的核磁共振图像数据包含四个常用模态；所述四个常用模态为T1、T2、T1C、Flair模态。

3.如权利要求2所述的医学图像分割方法，其特征在于，所述的步骤b具体包括：

首先将DICOM格式转化为NIFTI格式；接着对图像进行重采样；然后对图像进行配准，将多个时间点中对应于空间同一位置的点一一对应起来，配准时使用刚性配准模式，使用互信息作为图像相似度度量；使用灰度归一化、直方图均衡化方法对数据集中的图像数据进行标准化处理。

4.如权利要求3所述的医学图像分割方法，其特征在于，所述的步骤c具体包括：

将数据集中符合要求的多模态图像作为模型的输入，将数据集划分训练集和测试集；首先排除模态缺失、配准失败或者不含肿瘤的磁共振图像数据，避免影响模型的泛化性能；然后以4：1的比例划分为训练集和测试集；针对训练集根据需要划分有标签数据和无标签数据，分别进行处理。

5.如权利要求4所述的医学图像分割方法，其特征在于，所述的步骤d具体包括：

对每一个模态设计单独的Transformer提取特征；对于具有四个模态的输入，为了同时提取多个模态的独立特征，提出一种多分支Transformer，其分支个数与输入的模态数相等；将三维整脑图像分成K个固定大小的三维图像块，映射为固定长度D的一维向量，并添加位置编码以保留位置信息，输入视觉Transformer模型。

6.如权利要求5所述的医学图像分割方法，其特征在于，所述的步骤e具体包括：

单独设计一个基于交叉注意机制的融合Transformer：所述基于交叉注意机制的融合Transformer分为两个部分，即部分融合Transformer与整体融合Transformer；所述部分融合Transformer使用每个分支的单个一维向量作为查询来与其他分支交换信息，将部分融合后的结果输入整体融合Transformer，通过其中的自注意力机制将多模态的信息更加彻底的融合到一起，从而在数据的整体语义结构层次利用了全局上下文信息。

7.如权利要求6所述的医学图像分割方法，其特征在于，所述的步骤f具体包括：

解码器逐步将不同尺度的编码器输出重塑为输入大小，以获得与原图匹配的分割结果。解码器将编码器的输出作为五个通道输入。通过卷积与反卷积操作逐层融合各层编码器输出，并将图像恢复至指定大小，应用sigmoid函数获得最终分割结果。

8.如权利要求7所述的医学图像分割方法，其特征在于，所述的步骤g具体包括：

对单个无标注图像设计两种增强方式，每个训练步骤中从一个预先定义的范围内随机为batch中每个样本选择变换：第一个增强方法为弱增强，弱增强是以50％的概率随机翻转、移动和随机缩放策略的结果；另一个增强方法为强增强，强增强是在弱增强的图像的基础上添加灰度变换。

9.如权利要求8所述的医学图像分割方法，其特征在于，所述的步骤h具体包括：

无标签数据损失分为两个部分，包括输出空间一致性损失和对比学习损失；对比学习损失的计算方法为编码器分别基于弱增强图像和强增强图像产生特征，同一个位置的特征互相视作正例，不同位置的特征视作负例，负例的采样方法采取gumbel采样策略，选取余弦相似度最小的k个像素组成负例，或者根据解剖学先验知识，选择距离较远的像素作为负例；将InfoNCE损失与余弦相似度相结合，得到像素对比度损失。

10.如权利要求9所述的医学图像分割方法，其特征在于，所述的步骤i具体包括：

对于有标签数据获取的分割结果，与标签计算dice损失作为监督学习损失；对于无标签数据，弱增强图像和强增强图像的结果之间计算一致性损失。

11.如权利要求10所述的医学图像分割方法，其特征在于，所述的步骤j具体包括：

使用随机梯度下降作为优化器进行训练，使用权重衰减以防止过拟合；模型训练完成之后选择在各个比例的有监督数据情况下较为准确的模型保存。

Images