CN117437420A - 一种跨模态医学影像分割方法及系统 - Google Patents
一种跨模态医学影像分割方法及系统 Download PDFInfo
- Publication number
- CN117437420A CN117437420A CN202311460356.9A CN202311460356A CN117437420A CN 117437420 A CN117437420 A CN 117437420A CN 202311460356 A CN202311460356 A CN 202311460356A CN 117437420 A CN117437420 A CN 117437420A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- training
- cross
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 88
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 230000003187 abdominal effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种跨模态医学影像分割方法、系统及装置，该方法包括：基于CUT和CycleGan构建跨域生成器并进行训练，得到训练完成的跨域生成模型；将MRI图像输入至所述训练完成的跨域生成模型，生成伪CT图像；基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型；将待分割的图像输入至所述训练完成的图像模型进行分割，得到分割后的CT标签。该系统包括：跨域训练单元、伪图像生成单元、分割训练单元和分割应用单元。通过使用本发明，能够在有限标签数据的情况下进行准确的图像分割。本发明可广泛应用于图像分割领域。
Description
技术领域
本发明涉及图像分割领域，尤其涉及一种跨模态医学影像分割方法及系统。
背景技术
医学影像分割，作为医学图像处理领域的核心任务，具有巨大的临床应用潜力。其主要目标在于精准地辨别和分离医学影像中的不同组织结构或病变区域，这对于疾病的准确诊断、手术规划以及治疗效果的评估至关重要。
在近年来，深度学习技术，特别是卷积神经网络的广泛应用，已经在医学影像分割领域取得了显著的进展。然而，尽管这些技术在标签丰富的数据模态上表现出色，但在实际的临床场景中，数据标签的获取常常受到时间和资源限制。例如，在疫情期间，由于标注数据的高成本和医生的紧迫工作，准备足够标签数据来训练深度神经网络变得异常困难，导致分割性能不佳。为了克服这一问题，通常的解决方案是采用跨模态医学影像分割技术。在标签数据充足的模态(即源域)上进行模型训练，然后将该模型应用于标签数据稀缺的模态(即目标域)，以实现模型在不同医学影像模态之间的自动分割。然而，不同模态之间存在明显的数据分布差异，即域偏移问题，这也会导致模型在目标域上的分割性能急剧下降。
发明内容
有鉴于此，为了应对有限标签数据的挑战，以及现有医学影像分割方法尚未完全解决的域偏移问题，本发明提出一种跨模态医学影像分割方法，所述方法包括以下步骤：
基于CUT和CycleGan构建跨域生成器并进行训练，得到训练完成的跨域生成模型；
将MRI图像输入至所述训练完成的跨域生成模型，生成伪CT图像；
基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型；
将待分割的图像输入至所述训练完成的图像模型进行分割，得到分割后的CT图像。
其中，针对不同模态数据间具有较大的模态间差异，难以直接进行跨模态分割的问题，引入生成对抗网络进行风格互相转化，以实现影像外观对齐的目的。相比传统网络，该方法无需使用额外标签，在提高模型泛化能力的同时提升了整体的分割性能。
在一些实施例中，所述跨域生成模型的训练步骤具体包括以下步骤：
获取MRI训练图像和CT训练图像，并构建第一训练集；
构建CUT模型；
构建Cyclegan模型；
基于所述第一训练集训练CUT模型和Cyclegan模型，CUT采用对比损失作为损失函数，Cyclegan采用循环一致性损失作为损失函数。
在一些实施例中，还包括对MRI训练图像和CT训练图像进行数据增强，所述数据增强的方式包括引入噪声和引入随机翻转。
在一些实施例中，所述引入噪声的步骤具体为：
采用变分自动编码器模型学习强度扰动并构建噪声；
将所述噪声添加至图像输入进行重构，得到引入噪声后的图像。
在一些实施例中，所述基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型这一步骤，其具体包括：
将伪CT图像与预设的CT标签进行配对，并构建分割训练集；
基于分割训练集训练图像分割模型；
利用多尺度结果优化图像分割模型，得到训练完成的图像分割模型。
在一些实施例中，所述利用多尺度结果优化图像分割模型，得到训练完成的图像分割模型这一步骤，其具体包括：
构建学生-教师模型；
基于学生模型在不同训练步骤的权重的指数移动平均值更新教师模型的权重；
采用贝叶斯网络的蒙特卡洛Dropout估计预测不确定性；
采用概率插值的方式计算出添加预测不确定性后的模型预测；
采用动态优化的思想计算损失函数，过滤不可靠的模型预测，并优化图像分割模型，得到训练完成的图像分割模型。
本实施例中，采用半监督方法中的教师学生模型作为主要分割方法，该方法侧重于利用与标签数据相同模态的未标签数据。教师模型通过知识传输和引导，帮助一个学生模型提高性能、泛化能力和模型压缩。通过提升语义适应性和结构知识迁移能力提升了整体的分割性能。
此外，利用特征金字塔作为提升分割性能的方法，特征金字塔是一种多尺度的图像特征表示结构，用于处理不同尺度的信息采用多尺度预测。可以显着加快优化过程并提高完全监督的跨模态教师学生分割模型的性能。
在一些实施例中，学生-教师模型的权重更新公式如下表示：
θ′r＝αθ′r-1+(1-α)θr
其中，α表示指数移动平均值的衰减率，r指模型的训练步骤，θr指学生模型在不同训练步骤的权重，θ′r指教师模型在不同训练步骤的权重。
本发明还提出了一种跨模态医学影像分割系统，所述系统包括：
跨域训练单元，基于CUT和CycleGan构建跨域生成器并进行训练，得到训练完成的跨域生成模型；
伪图像生成单元，用于将CT图像输入至所述训练完成的跨域生成模型，生成伪CT图像；
分割训练单元，基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型；
分割应用单元，用于将待分割的图像输入至所述训练完成的图像模型进行分割，得到分割后的MRI图像。
基于上述方案，本发明提供了一种跨模态医学影像分割方法、系统及装置，采用了CUT和CycleGan生成伪图像，并作为目标域的训练数据，同时，利用不同尺度的MRI标签作为跨域监督进行分割训练，以此解决医学影像分割场景下，标签资源稀缺，跨模态数据的可适性差的问题；进一步引入了数据增强来提高整体方法中模型的鲁棒性。
附图说明
图1是本发明一种跨模态医学影像分割方法的步骤流程图；
图2是本发明一种跨模态医学影像分割方法的数据流向示意图；
图3是本发明一种跨模态医学影像分割方法的整体结构示意图；
图4是本发明一种跨模态医学影像分割方法的跨域生成模型结构中的CUT模型；
图5是本发明一种跨模态医学影像分割方法的跨域生成模型结构中的Cyclegan模型。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
参照图1，为本发明提出的跨模态医学影像分割方法的一可选示例的流程示意图，参照图2，为本发明提出的跨模态医学影像分割方法的数据流向示意图，本实施例提出的该分割方法可以包括但并不局限于以下步骤：
步骤S1、基于CUT和CycleGan构建跨域生成器并进行训练，得到训练完成的跨域生成模型；
步骤S2、将MRI图像输入至所述训练完成的跨域生成模型，生成伪CT图像；
以MRI图像作为跨域生成模型的输入，利用生成器GS→T生成与MRI模态相似的伪CT图像，具体计算公式表现：
Si＝GS→T(xis)
预测结果Si为CycleGAN模型中的生成器与CUT模型中的生成器所生成的伪CT图像。
步骤S3、基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型；
步骤S4、将待分割的图像输入至所述训练完成的图像模型进行分割，得到分割后的CT围殴标签。
作为一些可行的实施例，所述跨域生成模型的训练步骤具体包括以下步骤：
获取MRI训练图像和CT训练图像，并构建第一训练集；
其中，该方法研究的数据集包含两种模态，分别为带标签的MRI图像，表示为 和无标签CT图像，表示为/>这两种模态指向了相同类型的腹部器官。
基于所述第一训练集训练跨域生成模型，利用CUT和CycleGAN将所述MRI训练图像和所述CT训练图像进行图像对齐，CUT采用对比损失作为损失函数，Cyclegan采用循环一致性损失作为损失函数。
具体的，为了减少来自不同域的图像表现出不同视觉特征所引起的域偏移，我们采用两种图像合成技术CUT和CycleGAN来对齐图像。这些图像生成器可以生成具有不同细节级别和分布的真实CT图像，用于注释时态训练。
根据图4的示意，Contrastive Unpaired Translation(CUT)模型用于处理输入的MRI图像，采用一种基于图像块(Patch zi)的对比学习方法，以实现MRI图像转化为CT图像的单边翻译过程。具体而言，CUT的目标是确保生成的输出图像块与其相应的输入图像块尽可能接近，而不同于其他随机的图像块。这一目标通过多层的图像块层级对比损失来实现，以最大程度地提高输入与输出图像块之间的互信息。这种方法允许在没有明确配对的图像数据中进行单边翻译。
通常情况下，实现目标风格转换使用对抗损失，而保留内容一致(例如腹部器官的形状)则依赖于循环一致性。然而，循环一致性假设两个域之间的关系是双射的，这可能会带来一定限制。
为了克服这个限制，CUT引入了一种对比损失函数，即InfoNCE(NoiseContrastive Estimation)损失，其目标是学习一个跨域图像生成器，以便将相应的图像块相互关联，并将它们与其他图像块区分开来，命名为PatchNCE。除此之外，CUT用的对比学习，既有图像层次也有图像块层次，即：对整个输入、输出图像应该有着同样的结构，对应的图像块之间也应该有相应的结构。此处用多层次的图像块(multilayerpatch-based)作为学习目标。
通过Encoder Genc编码特征层，其中不同层、不同空间位置代表了不同的图像块，层数越深图像块越大。
假设选择感兴趣的共L层的特征图，将其通过2层MLP网络Hl产生的特征为：
其中：
表示第l层输出特征。zl表示第l层特征。
l表示层数，(l∈1,2,3,…,L)；s表示每层的patch数(s∈{1,2,…,S1})，其中S1表示第l层有Sl个空间位置。
表示第l层里第s个patch对于的特征向量的维度为Cl(或者说特征维度为Cl)如下公式表示第l层，所有的patch S中除去s的特征：
输出图像表示：
CUT的目标是将输入输出对应位置的图像块进行匹配，同一张图像其他位置的图像块作为负样本，将损失记做PatchNCE loss：
这一举措有助于生成器和编码器网络一起生成图像，使得可以轻松地跟踪输入图像中的各个图像块。
此外，CUT还采用了一个特别的方法，即从输入图像内部直接提取负样本，而不是从数据集中的其他图像外部获取负样本。这样一来，图像块更好地保留了输入图像的内容信息，有助于实现更有效的单边翻译。
根据图5的示意，CycleGAN模型包括两个生成器网络(GA2B和GB2A)和两个判别器网络(DA和DB)。其中，GA2B负责将域A的图像转化为域B的图像，而GB2A负责相反的转换，判别器网络(DA和DB)负责区分生成的图像和真实图像，而生成器的任务是尽量欺骗判别器。这种对抗损失有助于生成逼真的图像。
具体的，生成器由三部分组成：编码器、转换器、解码器。
编码器利用卷积网络从输入图像中提取特征。整个编码过程，将DA域中一个尺寸为[256,256,3]的图像，输入到设计的编码器中，获得了尺寸为[64,64,256]的输出OAenc。
转换器使用6层Resnet模块。一个Resnet模块是一个由两个卷积层组成的神经网络层，其中部分输入数据直接添加到输出。该层的最终输出尺寸为[64,64,256]，这可以看作是DB域中图像的特征向量。
解码器解码过程与编码方式完全相反，从特征向量中还原出低级特征，这是利用了反卷积层(deconvolution)来完成的。将这些低级特征转换得到一张在DB域中的图像，得到一个大小为[256,256,3]的生成图像。
判别器本身就属于卷积网络，需要从图像中提取特征；然后是确定这些特征是否属于该特定类别，使用一个产生一维输出的卷积层来完成这个任务。
Cyclegan的整体损失函数有6个部分，分为3类，分别为原始GAN的损失、循环一致性损失、恒等(Identity)映射损失。
在原始GAN的损失中，对于判别器DA(DB同理)：
在循环一致性损失中，对于生成器GA2B和GB2A：
在恒等(Identity)映射损失中，对于生成器GA2B和GB2A：
整体损失可以写成：
在整个训练阶段，我们分别训练CUT和CycleGAN模型100个epoch，训练体积大小为1×256×256。此外，我们使用Adam优化器，初始学习率为0.0002，权重衰减为0。CUT和CycleGAN的学习率预计在25个周期后衰减。
作为一些可行的实施例，还包括对MRI训练图像和CT训练图像进行数据增强，所述数据增强的方式包括引入噪声和引入随机翻转。
其中，引入噪声具体为：我们利用以图像或特征图为条件的强度扰动模型φ来生成表示为的加性噪声。为了引入变形，我们采用变分自动编码器(VAE)模型来学习强度扰动。通过将这些生成的噪声添加到原始输入x中来获得重构输入，从而得到/>因此，我们计算VAE损失如下：
其中，φ为图像特征，为随机生成的加性噪声，x为原始输入，μφ(x)和∑φ(x)是编码高斯分布的均值和方差，/>和/>作为不同参数的高斯分布，采用KL散度计算差异。/>表示为向量/>的二范数的平方。
除此之外，引入随机翻转具体为：在三个坐标轴中的每一个都随机且独立地翻转，在轴向平面上应用90°、180°、270°三种不同的旋转角度。
应用增强的训练图像训练跨域生成模型。
本实施例中，将待分割的MRI数据和已分割的CT数据进行在线数据增强。目的在于为了减少潜在的过度拟合风险并提高多机构和各向异性扫描中的分割性能。我们采用以下在线数据增强(ODA)方法。
作为一些可行的实施例，所述基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型这一步骤，其具体包括：
S3.1、将伪CT图像与预设的CT标签进行配对，并构建分割训练集；
S3.2、基于分割训练集训练图像分割模型；
S3.3、利用多尺度结果优化图像分割模型，得到训练完成的图像分割模型。
对于给定的CT图像x，网络fφ(x)生成多尺度预测的集合[S1,S2,…,Si-1,Si]，其中Si是第i个尺度的预测。然后，我们再次将标签缩放到输入大小，并将它们表示为[y1,y2,,…,yi-1,yi]，对于标记数据，损失函数可以表述为：
其中L(·)是标准的监督学习损失函数，例如Dice损失、交叉熵损失或组合损失。注意，αi是尺度i的权重因子，i越小意味着分辨率越高，我们用N表示尺度总数。
作为一些可行的实施例，参照图3，为本发明一种跨模态医学影像分割方法的学生模型和教师模型的整体结构示意图，所述利用多尺度结果优化图像分割模型，得到训练完成的图像分割模型这一步骤，其具体包括：
S3.3.1、使用学生模型在不同训练步骤的权重θ的指数移动平均值(EMA)更新教师模型的权重。具体来说，在步骤r，学生-教师模型的权重θ更新如下：
θ′r＝αθ′r-1+(1-α)θr
α表示EMA衰减率，控制更新率。
S3.3.2、接着采用贝叶斯网络的蒙特卡洛Dropout估计预测不确定性。具体来说，我们在随机dropout下对教师模型执行N次随机前向传递，并为每个输入量添加高斯噪声。通过这样做，将获得一组概率图选择预测熵作为近似不确定性的度量，因为它具有固定范围。形式上，预测熵可以总结为：
其中表示第j次随机前向传递中第c类的概率图，uv是数据集中第v卷的不确定性。上述不确定性是在像素级估计的，整个图像的不确定性U＝{u}∈RH×W，其中H和W分别表示图像的高度和宽度。
S3.3.3、采用概率插值的方式计算出由预测不确定性影响后的模型预测。具体的，通过在教师模型的原始预测结果tc和学生模型的原始预测sc之间进行概率插值，将教师模型的预测结果调整为t′c：
t′c＝(1-uv)tc+usc
其中，uv是第v卷中的不确定性。
最后，采用动态优化的思想计算损失函数：
其中，其中v代表数据集中的第v卷，c代表多结构分割中的第c类，β代表实验中的超参数，t′v,c代表第v卷第c类的教师模型的预测结果，sv,c代表第v卷第c类的学生模型的预测结果，V和C代表模型实验中总卷数和总类数。
S3.3.4、学生-教师模型的最终目标损失函数，同时结合可靠的预测不确定性控制，定义为：
在本发明中，还提供了应用本方案进行分割的相关的性能评估数据：
使用来自ISBI 2019CHAOS的20卷T2 MRI训练数据和30卷来自BTCV公共数据集的CT数据来评估我们的方法。按照通常的分割模型设置，我们采用MRI作为源域，CT作为目标域。划分每种模态的80％扫描用于训练，20％扫描用于测试，以验证在源标签稀缺场景下的性能。MRI和CT腹部数据集涉及四种结构，包括肝、右肾、左肾和脾。
为了数据预处理，我们对所有数据进行了归一化，以确保零均值和单位方差。每个体积被重新采样为1*256*256的大小，并通过数据增强(包括旋转、缩放和仿射变换)以减少过度拟合。我们使用具有24GB内存的单个NVIDIA 4090GPU来训练提出的架构，该架构在PyTorch中实现，由SGD优化器进行20000次迭代。初始学习率设置为0.01，每2500次迭代应用0.1的逐步衰减。根据经验，监督损失和无监督一致性损失的尺度权重被指定为{0.5,0.4,0.05,0.05}。指数移动平均线(EMA)的衰减参数为0.99。我们将批次大小设置为40，每个批次由20个标记批次和20个未标记批次组成。为了进行评估，用于评估分割性能的两个指标是Dice系数和平均表面距离(ASD)。
最后，我们将我们的方法与腹部器官分割中最先进的UDA方法(如Pnp-AdaNet和SIFA)以及最近流行的两种SSL方法(包括MT和UA-MT)进行了比较。表1和表2显示了CycleGAN、Pnp-AdaNet和SIFA在腹部分割中使用16个标记源扫描的结果。值得一提的是，由于SIFA在每个子结构上获得了最佳分割性能，因此我们进一步在4个带标签的MR扫描上训练SIFA以模拟源标签稀缺场景。然而，观察到当仅使用4个带标签的源域扫描时，SIFA在目标域上的性能会严重下降，这可以归因于源标签稀缺。我们还直接测试在来自源域的4个标记MR扫描上训练的U-Net作为我们的下限，称为“W/o适应”方法。通过利用像CycleGAN这样的图像到图像转换方法，在假MR图像上测试“W/o适应”方法时可以实现显著的改进。然而，它仍然不是最佳的，平均Dice系数为14.2％到54.3％，子结构的平均ASD误差为34.5到9.7。
表1本发明方法在将Dice作为评价指标下的性能测试结果
表2本发明方法在ASD作为评价指标下的性能测试结果
表1和表2展示了我们提出的一种跨模态医学影像分割方法，基于多尺度学生教师模型，该方法通过将生成方法融入半监督学习(SSL)框架和在线数据增强中。在我们的实验中，该方法实现了卓越的性能，最佳的总体Dice系数(DSC)达到了69.2％，而平均分割距离(ASD)分数为3.4。值得强调的是，我们还利用了未标记的源域图像来提高目标域的分割性能，这进一步证明了半监督学习(SSL)和无监督域自适应(UDA)的有效性。
此外，通过图像外观对齐，我们成功将多尺度学生教师模型(MT)和无监督多尺度学生教师模型(UA-MT)应用于跨模态分割任务，这导致了显著的性能改进。在所有方法中，UA-MT表现最佳，将平均Dice系数提高了28.7％，同时将平均ASD减小至13.7。这突出了SSL和UDA过程的互补性，它们可以协同工作，生成更强大的域适应模型。这一系列结果强有力地支持了将SSL集成到UDA中以实现高效标签的UDA的可行性。
一种跨模态医学影像分割系统，包括：
跨域训练单元，基于CUT和CycleGan构建跨域生成器并进行训练，得到训练完成的跨域生成模型；
伪图像生成单元，用于将CT图像输入至所述训练完成的跨域生成模型，生成伪CT图像；
分割训练单元，基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型；
分割应用单元，用于将待分割的图像输入至所述训练完成的图像模型进行分割，得到分割后的MRI图像。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种跨模态医学影像分割方法，其特征在于，包括以下步骤：
基于CUT和CycleGan构建跨域生成器并进行训练，得到训练完成的跨域生成模型；
将MRI图像输入至所述训练完成的跨域生成模型，生成伪CT图像；
基于所述伪CT图像训练图像分割模型，得到训练完成的图像分割模型；
将待分割的图像输入至所述训练完成的图像模型进行分割，得到分割后的CT图像。
2.根据权利要求1所述一种跨模态医学影像分割方法，其特征在于，所述跨域生成模型的训练步骤具体包括以下步骤：
获取MRI训练图像和CT训练图像，并构建第一训练集；
构建CUT模型；
构建Cyclegan模型；
基于所述第一训练集训练CUT模型和Cyclegan模型，CUT采用对比损失作为损失函数，Cyclegan采用循环一致性损失作为损失函数。
3.根据权利要求2所述一种跨模态医学影像分割方法，其特征在于，还包括对MRI训练图像和CT训练图像进行数据增强，所述数据增强的方式包括引入噪声和引入随机翻转。
4.根据权利要求3所述一种跨模态医学影像分割方法，其特征在于，所述引入噪声的步骤具体为：
采用变分自动编码器模型学习强度扰动并构建噪声；
将所述噪声添加至图像输入进行重构，得到引入噪声后的图像。
5.根据权利要求1所述一种跨模态医学影像分割方法，其特征在于，所述基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型这一步骤，其具体包括：
将伪CT图像与预设的CT标签进行配对，并构建分割训练集；
基于分割训练集训练图像分割模型；
利用多尺度结果优化图像分割模型，得到训练完成的图像分割模型。
6.根据权利要求5所述一种跨模态医学影像分割方法，其特征在于，所述利用多尺度结果优化图像分割模型，得到训练完成的图像分割模型这一步骤，其具体包括：
构建学生-教师模型；
基于学生模型在不同训练步骤的权重的指数移动平均值更新教师模型的权重；
采用贝叶斯网络的蒙特卡洛Dropout估计预测不确定性；
采用概率插值的方式计算出添加预测不确定性后的模型预测；
采用动态优化的思想计算损失函数，过滤不可靠的模型预测，并优化图像分割模型，得到训练完成的图像分割模型。
7.根据权利要求6所述一种跨模态医学影像分割方法，其特征在于，学生-教师模型的权重更新公式如下表示：
θ′r＝αθ′r-1+(1-α)θr
其中，α表示指数移动平均值的衰减率，r指模型的训练步骤，θr指学生模型在不同训练步骤的权重，θ′r指教师模型在不同训练步骤的权重。
8.一种跨模态医学影像分割系统，其特征在于，包括：
跨域训练单元，基于CUT和CycleGan构建跨域生成器并进行训练，得到训练完成的跨域生成模型；
伪图像生成单元，用于将CT图像输入至所述训练完成的跨域生成模型，生成伪CT图像；
分割训练单元，基于所述伪CT图像构训练图像分割模型，得到训练完成的图像分割模型；
分割应用单元，用于将待分割的图像输入至所述训练完成的图像模型进行分割，得到分割后的MRI图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311460356.9A CN117437420A (zh) | 2023-11-06 | 2023-11-06 | 一种跨模态医学影像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311460356.9A CN117437420A (zh) | 2023-11-06 | 2023-11-06 | 一种跨模态医学影像分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117437420A true CN117437420A (zh) | 2024-01-23 |
Family
ID=89556507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311460356.9A Pending CN117437420A (zh) | 2023-11-06 | 2023-11-06 | 一种跨模态医学影像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437420A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649422A (zh) * | 2024-01-30 | 2024-03-05 | 安徽大学 | 多模态图像分割模型的训练方法和多模态图像分割方法 |
| CN118015287A (zh) * | 2024-04-09 | 2024-05-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于域纠正适应器的跨域小样本分割方法 |
| CN118015287B (zh) * | 2024-04-09 | 2024-06-21 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于域纠正适应器的跨域小样本分割方法 |
-
2023
- 2023-11-06 CN CN202311460356.9A patent/CN117437420A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649422A (zh) * | 2024-01-30 | 2024-03-05 | 安徽大学 | 多模态图像分割模型的训练方法和多模态图像分割方法 |
| CN117649422B (zh) * | 2024-01-30 | 2024-04-12 | 安徽大学 | 多模态图像分割模型的训练方法和多模态图像分割方法 |
| CN118015287A (zh) * | 2024-04-09 | 2024-05-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于域纠正适应器的跨域小样本分割方法 |
| CN118015287B (zh) * | 2024-04-09 | 2024-06-21 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于域纠正适应器的跨域小样本分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | An adversarial learning approach to medical image synthesis for lesion detection | |
| Jin et al. | 3D PBV-Net: an automated prostate MRI data segmentation method | |
| CN107403446A (zh) | 用于使用智能人工代理的图像配准的方法和系统 | |
| Wolterink et al. | Generative adversarial networks: a primer for radiologists | |
| CN110827232B (zh) | 基于形态特征gan的跨模态mri合成方法 | |
| CN117437420A (zh) | 一种跨模态医学影像分割方法及系统 | |
| CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| CN116402865A (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| Qiao et al. | A pseudo-siamese feature fusion generative adversarial network for synthesizing high-quality fetal four-chamber views | |
| Chen et al. | MASS: Modality-collaborative semi-supervised segmentation by exploiting cross-modal consistency from unpaired CT and MRI images | |
| CN113837179B (zh) | 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质 | |
| Zhao et al. | MPSHT: multiple progressive sampling hybrid model multi-organ segmentation | |
| Chen et al. | Deep semi-supervised ultrasound image segmentation by using a shadow aware network with boundary refinement | |
| Lei et al. | Generative adversarial network for image synthesis | |
| CN116958094A (zh) | 一种动态增强磁共振影像特征生成病理图像特征的方法 | |
| Yao et al. | Unsupervised domain adaptation through shape modeling for medical image segmentation | |
| CN115526898A (zh) | 一种医学影像分割方法 | |
| Saito et al. | Statistical shape model of a liver for autopsy imaging | |
| CN114820636A (zh) | 一种三维医学图像分割模型及其训练方法和应用 | |
| Meng et al. | A weakly supervised framework for 2D/3D vascular registration oriented to incomplete 2D blood vessels | |
| Yagasaki et al. | Estimating 3-dimensional liver motion using deep learning and 2-dimensional ultrasound images | |
| CN115222748A (zh) | 一种基于并联深度u形网络和概率密度图的多器官分割方法 | |
| Wang et al. | EDRL: Entropy-guided disentangled representation learning for unsupervised domain adaptation in semantic segmentation | |
| Su et al. | Multi-stages de-smoking model based on CycleGAN for surgical de-smoking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |