CN116051494A - 基于傅里叶的元学习领域泛化的少样本医学图像分割方法 - Google Patents

基于傅里叶的元学习领域泛化的少样本医学图像分割方法 Download PDF

Info

Publication number
CN116051494A
CN116051494A CN202310002334.1A CN202310002334A CN116051494A CN 116051494 A CN116051494 A CN 116051494A CN 202310002334 A CN202310002334 A CN 202310002334A CN 116051494 A CN116051494 A CN 116051494A
Authority
CN
China
Prior art keywords
meta
learning
model
amplitude spectrum
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310002334.1A
Other languages
English (en)
Inventor
曹文杰
王元全
甘丰
胡宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202310002334.1A priority Critical patent/CN116051494A/zh
Publication of CN116051494A publication Critical patent/CN116051494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于傅里叶的元学习领域泛化的少样本医学图像分割方法，该方法利用快速傅里叶变换对源域图像进行处理，通过交换无标签数据振幅谱和有标签数据振幅谱的分布信息，在源域构造多源分布数据集，模拟域偏移；然后通过在源域中对分割模型进行元学习训练，学习到了一个优秀的初始化参数，显著提高了模型的泛化性能，模型具有很高的泛化性能，使神经网络模型能够更好的泛化到训练数据集中未包含的数据；然后在目标域使用极少量样本进行微调，提高了分割精度，实现更好的分割结果，能够有效的辅助医生进行各类疾病的诊断。

Description

基于傅里叶的元学习领域泛化的少样本医学图像分割方法
技术领域
本发明属于医学图像分割领域，具体是一种基于傅里叶的元学习领域泛化的少样本医学图像分割方法。
背景技术
医学图像分割技术能够辅助医生对病灶进行筛查和诊断，有助于医生及时对病人确定治疗方案，在临床实践中有着极大的应用价值。
传统的医学图像分割有基于区域的分割方法、基于边缘的分割方法、基于阈值的分割方法。虽然这些方法在特定的场景下有不错的表现，但当处理医学图像中含噪声、模糊、对比度低的图像时，特征提取的难度会大大增加。因此，基于传统的图像处理方法不够稳健。
随着深度学习特别是卷积神经网络(CNNs)的快速发展，医学图像自动分割技术得到了巨大的提升。近几年，许多基于CNNs的经典语义分割网络模型被提出，如：FCN模型、U-Net模型、DeepLabv3p模型、SegNet模型等。虽然基于深度学习的方法在临床实践中取得了很大的成功，然而，只有当训练集和测试集的分布信息类似时，深度学习分割模型的表现才会令人满意。当训练集和测试集来自不同的分布，模型的泛化性能就会大大下降，这种现象称为域偏移。产生域偏移的原因有：训练数据和测试数据来自不同的医疗中心、不同的图像采集程序、不同的解剖结构、不同的扫描区域、不同的成像方式以及采集人群的差异等。
目前，医学图像分割研究主要有两大难题，一是上述的域偏移现象，使得神经网络模型只能在特定的数据集维持分割效果，当迁移到另一个数据集进行测试时，分割结果会产生很大的偏差。另一方面，训练神经网络模型需要大量有标注的医学图像数据，然而，获取大量的标注数据是相当昂贵的，需要有多年临床经验的专业医师手工标注，费时费力。解决域偏移最直接的方法是获得尽可能多的标记数据，重新训练一个新的模型。然而，大量的标记数据标注成本很高，而且重新训练模型是一个耗时的过程，在临床实践中不可取。因此，最好的做法是开发一种新的深度学习方法，让模型在新的数据集上也能展现出良好的泛化效果。
为了解决这一难题，领域自适应(DA)领域泛化(DG)已经被广泛研究。用于训练模型的数据集称为源域，用于测试模型的数据集称为目标域。DA和DG通过学习域不变特征来减少源域和目标域之间的域偏移。DA旨在把分布不同的源域和目标域的数据，映射到一个特征空间中，使其在该空间中距离尽可能接近，从而提高模型的泛化能力。DA会利用目标域中的一些信息，获取目标域的一些先验知识，但是很多时候，在测试数据到来前我们往往对它是一无所知的，这限制了它的临床实用性。DG克服了这一限制，在训练模型时不会获得任何目标域的先验知识，目标域是完全看不见的。DG是一个相对研究较少且具有挑战性的问题，但也是一个极其有前景的研究方向。为了解决数据集缺乏的问题，少样本学习(few-shot learning)范式被提出，当神经网络模型在一个数据集上完成训练后，对于新的数据集，只需要少量的样本微调，就能快速学习，得到不错的分割效果。
元学习(Meta-Learning)，或者叫学会学习(Learn to learn)是解决少样本问题的一个常用方法。MAML方法与模型无关，可以集成到任何的神经网络模型。MAML采用元学习方法，通过在一组源任务上训练单个模型来将进行少样本学习，通过几步梯度下降就可以训练一个特定任务的模型。
近年来，基于元学习的DG被广泛研究，证明了它的有效性。将元学习应用于DG的动机是在训练过程中，模拟域偏移现象。这样，在面对不同分布信息的目标域时，模型能够更好的处理域偏移。因此，现有的元学习DG方法只能应用于具有多源分布的源域。MAML与DG的区别在于：MAML是跨任务的，DG是跨域的。MAML需要少量的测试集的样本进行微调，DG对目标域是完全不可见的，是zero-shot(表示包含0个样本)问题。
总之，目前存在的基于深度学习的医学图像分割方法，大多没有考虑模型对于不同分布数据集的泛化性能。已经提出的基于元学习的DG方法对于源域数据集的要求比较苛刻，降低了这种方法的可用性。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于傅里叶的元学习领域泛化的少样本医学图像分割方法。
本发明解决所述技术问题的技术方案是，提供一种基于傅里叶的元学习领域泛化的少样本医学图像分割方法，其特征在于，该方法包括以下步骤：
步骤1、在源域部署至少两个不同分布的医学图像数据集，其中，一个数据集为有标签数据集，其它数据集为无标签数据集；然后在有标签数据集中随机抽取若干样本，划分为元训练集
Figure BDA0004034438820000021
和元测试集
Figure BDA0004034438820000022
步骤2、将元测试集
Figure BDA0004034438820000023
中的一张图像进行快速傅里叶变换，获得该图像的振幅谱A和相位谱P；
从无标签数据集中随机抽取样本，再进行快速傅里叶变换，获得该样本图像的振幅谱A′；
步骤3、将振幅谱A中的低频分量替换为振幅谱A′中的低频分量，相位谱P保持不变，如式(1)所述；
Anew＝(1-λ)A*(1-M)+λA′*M (1)
式(1)中，Anew是新生成的振幅谱；λ是调整两个振幅信息交换量的比例参数；M是一个二进制掩码，用于控制要交换的振幅谱的空间范围，Mβ(h,w)＝1(h,w)∈[-βH:βH,-βW:βW]，值在中心区域为1，在其他位置为0；β是一个超参数，β∈(0,1)；
步骤4、通过逆傅里叶变换将新生成的振幅谱Anew与相位谱P结合，如式(2)所述，实现对元测试集
Figure BDA0004034438820000024
中的该图像的处理；
Z＝F-1(Anew,P) (2)
式(2)中，F-1代表逆傅里叶变换，生成新的图像Z；
步骤5、重复步骤2～步骤4，直到完成元测试集
Figure BDA0004034438820000031
中所有图像的处理，得到新的元测试集
Figure BDA0004034438820000032
步骤6、搭建神经网络作为分割模型，在元训练集
Figure BDA0004034438820000033
和新的元测试集
Figure BDA0004034438820000034
中对分割模型进行元学习训练来提高泛化能力，得到训练好的分割模型；
步骤7、少样本微调阶段：在少样本设置下，利用目标域样本对分割模型进行微调，分割模型的分割效果进一步获得提升。
与现有技术相比，本发明的有益效果在于：
(1)本发明利用快速傅里叶变换对源域图像进行处理，通过交换无标签数据振幅谱和有标签数据振幅谱的分布信息，在源域构造多源分布数据集，模拟域偏移；然后通过在源域中对分割模型进行元学习训练，学习到了一个优秀的初始化参数，显著提高了模型的泛化性能，模型具有很高的泛化性能，使神经网络模型能够更好的泛化到训练数据集中未包含的数据；然后在目标域使用极少量样本进行微调，提高了分割精度，实现更好的分割结果，能够有效的辅助医生进行各类疾病的诊断。
(2)本发明利用快速傅里叶变换，在源域只有一个有标签数据集的情况下，构造了多源分布数据集，模拟域偏移，成功解决了元学习领域泛化训练过程中必须包含多源分布数据集和医学图像缺乏有标签数据集之间的矛盾。由于有标签数据集是随机采样的，打破了以往多个不同数据集采样时的边界，使模型不会过拟合到某一个分布。
(3)本发明的采用元学习训练突破了采样时的边界，在元训练集上进行参数的多次更新，然后在元测试集上进行参数的一次更新，得到最后在外部循环中进行参数的软更新，得到最终的初始化参数，不需要二阶导数。
(4)本发明将基于傅里叶的元学习领域泛化应用到医学图像分割中，以一种不同于半监督学习的方法将大量的无标签数据利用起来，对于医学图像分割的进步有很大意义。
(5)在源域中对分割模型进行元学习训练过程中，模型始终暴露在域偏移设置下，这样在目标域进行测试时，就可以克服域偏移，达到很好的泛化性能。
附图说明
图1为本发明的整体流程图；
图2为本发明的步骤2～步骤4的流程图；
图3为本发明实施例1的步骤2～步骤4的流程图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本发明权利要求的保护范围。
本发明提供了一种基于傅里叶的元学习领域泛化的少样本医学图像分割方法(简称方法)其特征在于，该方法包括以下步骤：
步骤1、在源域(source domain)部署至少两个不同分布的医学图像数据集，其中，一个数据集为有标签数据集，其它数据集为无标签数据集；然后在有标签数据集中随机抽取若干样本，划分为元训练集
Figure BDA0004034438820000041
和元测试集
Figure BDA0004034438820000042
步骤2、将元测试集
Figure BDA0004034438820000043
中的一张图像进行快速傅里叶变换(FFT)，将图像从图像域转换到频域，提取了图像中包含低阶统计信息的振幅谱和高阶语义信息的相位谱，获得该图像的振幅谱A和相位谱P；
从无标签数据集中随机抽取样本，再进行快速傅里叶变换，获得该样本图像的振幅谱A′；
步骤3、将振幅谱A中的低频分量替换为振幅谱A′中的低频分量，相位谱P保持不变，如式(1)所述；
Anew＝(1-λ)A*(1-M)+λA′*M (1)
式(1)中，Anew是新生成的振幅谱；λ是调整两个振幅信息交换量的比例参数，其值在[0.0,1.0]内随机采样，通过消融研究有利于增强模型的泛化能力；M是一个二进制掩码，用于控制要交换的振幅谱的空间范围，Mβ(h,w)＝1(h,w)∈[-βH:βH,-βW:βW]，值在中心区域为1，在其他位置为0；β是一个超参数，β∈(0,1)；如果β＝0，新生成的振幅谱Anew和振幅谱A相同；如果β＝1，振幅谱A将完全被振幅谱A′替换，此时，通过逆傅里叶变换重新生成的图像风格会更加接近无标签的那张图像，但会出现明显可见的伪影；
步骤4、通过逆傅里叶变换(iFFT)将新生成的振幅谱Anew与相位谱P结合，如式(2)所述，将图像从频域转换到图像域，实现对元测试集
Figure BDA0004034438820000044
中的该图像的处理；
Z＝F-1(Anew,P) (2)
式(2)中，F-1代表逆傅里叶变换，将频域中的振幅信息和相位信息结合，生成新的图像Z；
步骤5、重复步骤2～步骤4，直到完成元测试集
Figure BDA0004034438820000045
中所有图像的处理，模拟域偏移现象，得到新的元测试集
Figure BDA0004034438820000046
此时新的元测试集
Figure BDA0004034438820000047
中的所有图像都包含了无标签样本的低阶分布信息；
步骤6、搭建神经网络作为分割模型，在元训练集
Figure BDA0004034438820000048
和新的元测试集
Figure BDA0004034438820000049
中对分割模型进行元学习训练来提高泛化能力，得到训练好的分割模型；
优选地，步骤6中，神经网络可采用任意神经网络模型，是常见的编码器-解码器结构，优选Attention Unet。
优选地，步骤6中，元学习训练的具体过程为：
(6.1)设置参数：设元学习内部循环的学习率为α，分割模型使用参数化函数fθ表示，分割模型的损失函数为L，初始化参数为θ，整个元学习过程的优化是在参数θ上进行的；
(6.2)令θ′0＝θ，在元训练集
Figure BDA00040344388200000410
上进行内部循环：通过μ步迭代，将初始化参数θ′0更新为θ′μ；其中，第i步的梯度更新为：
Figure BDA00040344388200000411
Figure BDA0004034438820000051
式(3)中，
Figure BDA0004034438820000052
为更新后的参数化函数；
Figure BDA00040344388200000519
表示梯度；
Figure BDA00040344388200000518
是分割模型在元训练集
Figure BDA0004034438820000053
上的损失函数；θ′i通过同一批任务上相对于θ′i-1优化
Figure BDA0004034438820000054
来获得；
(6.3)内部循环结束后，通过新的元测试集
Figure BDA0004034438820000055
进行外部循环优化：外部优化的参数是在内部优化参数的基础上更新的；由于新的元测试集
Figure BDA0004034438820000056
的数据分布和元训练集
Figure BDA0004034438820000057
不同，而且有标签数据是随机抽取的，分割模型不会过拟合到源域的分布；利用式(4)优化更新参数；
Figure BDA0004034438820000058
式(4)中，θ′是中间过程量，
Figure BDA0004034438820000059
是分割模型在元测试集
Figure BDA00040344388200000510
上的损失函数；
(6.4)利用式(5)调整模型优化的方向，进行参数的更新即软更新，完成元学习训练：
θ←θ+β(θ′-θ) (5)
式(5)中，β表示外部循环的步长，是一个固定的参数。
步骤7、少样本微调阶段：在少样本设置下，利用目标域样本对分割模型进行微调，分割模型的分割效果进一步获得提升。
优选地，步骤7中，用于微调的目标域样本数量需求不大，采用至少一张图像，理论上，图像数量越多获益越大。
优选地，步骤7中，采用限制权重的策略进行微调；在微调过程中，模型编码器的权重以及编码器与解码器之间的瓶颈层被冻结，防止模型过拟合到目标域。
实施例1
步骤1、在源域部署三个不同分布的冠状动脉图像数据集，其中，一个数据集为有标签数据集，另外两个数据集为无标签数据集；然后在有标签数据集中随机抽取若干样本，划分为元训练集
Figure BDA00040344388200000513
和元测试集
Figure BDA00040344388200000514
；元训练集
Figure BDA00040344388200000515
和元测试集
Figure BDA00040344388200000516
中包含样本的数量是可选的。
本发明使用元学习方法，是面向任务的。每次在有标签的冠脉数据集中随机抽取样本，构造不同的任务，这些任务包含元训练集
Figure BDA00040344388200000511
和元测试集
Figure BDA00040344388200000512
通常，基于元学习的领域泛化包含多个有标签数据集，样本选取是有边界的。例如，每个任务的元训练集样本都来自同一个数据集，元测试集样本来自另外两个数据集。本发明是先从一个数据集中随机采样，生成任务，然后再构造具有不同分布的多源数据集。
步骤2、将元测试集
Figure BDA00040344388200000517
中的一张冠脉图像执行快速傅里叶变换，将冠脉图像变换到频域空间，然后对频域空间中的固有信息进行提取利用，获得该图像的振幅谱A和相位谱P，它们分别包含着冠脉图像的低阶统计信息和原始的高级语义信息。本实施例的冠状动脉图像是灰度图像，只有一个通道。
从两个无标签冠脉数据集中随机抽取样本，再进行快速傅里叶变换，将无标签冠脉图像变换到频域空间，获得该样本图像的包含冠脉图像低阶统计信息的振幅谱A′，包含高级语义信息的相位谱P是无法使用的，因为图像是无标签的。
步骤3、按照式(1)，将振幅谱A的低频分量替换为振幅谱A′中的低频分量，相位谱P保持不变，以保留语义信息；
图2中，⊕代表振幅谱A和振幅谱A′交换低频分量。利用快速傅里叶变换，将频谱中心化，M即为包含低频信息的振幅谱中心区域。本实施例中，设置β＝0.01，以避免变换图像上的伪影。
步骤4、按照式(2)通过逆傅里叶变换将新生成的振幅谱Anew与相位谱P结合，将图像从频域转换到图像域，实现对元测试集
Figure BDA0004034438820000062
中的该图像的处理；
步骤5、重复步骤2～步骤4，直到完成元测试集
Figure BDA0004034438820000063
中所有图像的处理，模拟域偏移现象，得到新的元测试集
Figure BDA0004034438820000064
从外观来看，新图像具有了用于交换振幅的无标签图像的风格，但图像所包含的语义信息是不变的，依旧是原始的冠脉图像。从所包含的分布信息来看，新图像融合了来自其它分布的低阶信息。此时，作为元测试集
Figure BDA0004034438820000066
的训练图像，已经具备了和元训练集
Figure BDA0004034438820000065
不同的分布，至此，域偏移的设置被成功模拟。
步骤6、将Attention U-Net作为分割模型，在元训练集
Figure BDA0004034438820000067
和新的元测试集
Figure BDA0004034438820000068
中对分割模型进行元学习训练来提高泛化能力，得到训练好的分割模型；
步骤7、少样本微调阶段：在少样本设置下，利用目标域样本对Attention U-Net进行微调，分割模型的分割效果进一步获得提升。用于微调的目标域样本数量为k＝1-4并分别进行了实验。
以冠状动脉图像分割为例，利用本发明的算法和与本发明密切相关的算法进行冠状动脉图像分割，实验结果参见表1和表2。
表1 本发明方法实验结果与基线对比
Figure BDA0004034438820000061
表1中，Baseline是基线，源域和测试域是完全不同的数据集，训练集是左冠时，右冠作为测试集；训练集是右冠时，左冠是测试集。Oracle是理论上限，训练集和测试集来自同一个数据集，这是最简单的情况，因为测试数据和训练数据具有相似的分布。k-shot表示少样本设置，k的值表示目标域微调使用的样本的数量。
从表1可知，基线中，目标域为左冠和右冠的Dice分数分别为0.7346和0.7292。本发明提出的方法达到了0.7836和0.7689，泛化效果获得明显提升。在敏感性和特异性指标上也高于基线。在少样本设置下，通过利用极少量目标域的样本微调模型，分割结果进一步提升，左冠和右冠的Dice分数达到了0.8169和0.8353。虽然低于Oracle，但这是容易理解的。而且，当目标域的数据集很小时，本发明的方法可能会优于Oracle。
表2与其它方法的实验结果对比
Figure BDA0004034438820000071
表2中，MLDG是元学习领域泛化算法，在相同的实验条件设置下，有标签数据集只有一个。MLDG算法Dice分数虽然高于基线，但提升有限。这是因为源域数据集分布类似，模拟域偏移不明显。当引入了本发明采用的FFT之后，元训练集和元测试集的分布具有了明显的差异，相当于源域有多个不同分布的数据集，达到了和本发明提出的方法相当的性能。但是，由于MLDG的更新需要二阶导数，不仅耗费大量的内存和计算，对于有些类型的模型，可能是有问题的、低效或不稳定的。相比之下，本发明的方法更加的简单可行，易于实现，同时可以显著的提高模型的泛化性能。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种基于傅里叶的元学习领域泛化的少样本医学图像分割方法，其特征在于，该方法包括以下步骤：
步骤1、在源域部署至少两个不同分布的医学图像数据集，其中，一个数据集为有标签数据集，其它数据集为无标签数据集；然后在有标签数据集中随机抽取若干样本，划分为元训练集
Figure FDA0004034438810000011
和元测试集
Figure FDA0004034438810000012
步骤2、将元测试集
Figure FDA0004034438810000013
中的一张图像进行快速傅里叶变换，获得该图像的振幅谱A和相位谱P；
从无标签数据集中随机抽取样本，再进行快速傅里叶变换，获得该样本图像的振幅谱A′；
步骤3、将振幅谱A中的低频分量替换为振幅谱A′中的低频分量，相位谱P保持不变，如式(1)所述；
Anew＝(1-λ)A*(1-M)+λA′*M (1)
式(1)中，Anew是新生成的振幅谱；λ是调整两个振幅信息交换量的比例参数；M是一个二进制掩码，用于控制要交换的振幅谱的空间范围，Mβ(h,w)＝1(h,w)∈[-βH:βH,-βW:βW]，值在中心区域为1，在其他位置为0；β是一个超参数，β∈(0,1)；
步骤4、通过逆傅里叶变换将新生成的振幅谱Anew与相位谱P结合，如式(2)所述，实现对元测试集
Figure FDA0004034438810000014
中的该图像的处理；
Z＝F-1(Anew,P) (2)
式(2)中，F-1代表逆傅里叶变换，生成新的图像Z；
步骤5、重复步骤2～步骤4，直到完成元测试集
Figure FDA0004034438810000015
中所有图像的处理，得到新的元测试集
Figure FDA0004034438810000016
步骤6、搭建神经网络作为分割模型，在元训练集
Figure FDA0004034438810000017
和新的元测试集
Figure FDA0004034438810000018
中对分割模型进行元学习训练来提高泛化能力，得到训练好的分割模型；
步骤7、少样本微调阶段：在少样本设置下，利用目标域样本对分割模型进行微调，分割模型的分割效果进一步获得提升。
2.根据权利要求1所述的基于傅里叶的元学习领域泛化的少样本医学图像分割方法，其特征在于，步骤3的式(1)中，如果β＝0，新生成的振幅谱Anew和振幅谱A相同；如果β＝1，振幅谱A将完全被振幅谱A′替换。
3.根据权利要求1所述的基于傅里叶的元学习领域泛化的少样本医学图像分割方法，其特征在于，步骤6中，神经网络采用任意神经网络模型。
4.根据权利要求1所述的基于傅里叶的元学习领域泛化的少样本医学图像分割方法，其特征在于，步骤6中，元学习训练的具体过程为：
(6.1)设置参数：设元学习内部循环的学习率为α，分割模型使用参数化函数fθ表示，分割模型的损失函数为
Figure FDA0004034438810000021
初始化参数为θ，整个元学习过程的优化是在参数θ上进行的；
(6.2)令θ′0＝θ，在元训练集
Figure FDA0004034438810000022
上进行内部循环：通过μ步迭代，将初始化参数θ′0更新为θ′μ；其中，第i步的梯度更新为：
Figure FDA0004034438810000023
式(3)中，fθ′i-1为更新后的参数化函数；
Figure FDA0004034438810000024
表示梯度；
Figure FDA0004034438810000025
是分割模型在元训练集
Figure FDA0004034438810000026
上的损失函数；θ′i通过同一批任务上相对于θ′i-1优化
Figure FDA00040344388100000213
来获得；
(6.3)内部循环结束后，通过新的元测试集
Figure FDA0004034438810000027
进行外部循环优化：外部优化的参数是在内部优化参数的基础上更新的；由于新的元测试集
Figure FDA0004034438810000028
的数据分布和元训练集
Figure FDA0004034438810000029
不同，而且有标签数据是随机抽取的，分割模型不会过拟合到源域的分布；利用式(4)优化更新参数；
Figure FDA00040344388100000210
式(4)中，θ′是中间过程量，
Figure FDA00040344388100000211
是分割模型在元测试集
Figure FDA00040344388100000212
上的损失函数；
(6.4)利用式(5)调整模型优化的方向，进行参数的更新即软更新，完成元学习训练：
θ←θ+β(θ′-θ) (5)
式(5)中，β表示外部循环的步长，是一个固定的参数。
5.根据权利要求1所述的基于傅里叶的元学习领域泛化的少样本医学图像分割方法，其特征在于，步骤7中，用于微调的目标域样本数量为至少一张图像。
6.根据权利要求1所述的基于傅里叶的元学习领域泛化的少样本医学图像分割方法，其特征在于，步骤7中，采用限制权重的策略进行微调；在微调过程中，模型编码器的权重和瓶颈层被冻结，防止模型过拟合到目标域。
CN202310002334.1A 2023-01-03 2023-01-03 基于傅里叶的元学习领域泛化的少样本医学图像分割方法 Pending CN116051494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310002334.1A CN116051494A (zh) 2023-01-03 2023-01-03 基于傅里叶的元学习领域泛化的少样本医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310002334.1A CN116051494A (zh) 2023-01-03 2023-01-03 基于傅里叶的元学习领域泛化的少样本医学图像分割方法

Publications (1)

Publication Number Publication Date
CN116051494A true CN116051494A (zh) 2023-05-02

Family

ID=86132530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310002334.1A Pending CN116051494A (zh) 2023-01-03 2023-01-03 基于傅里叶的元学习领域泛化的少样本医学图像分割方法

Country Status (1)

Country Link
CN (1) CN116051494A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468744A (zh) * 2023-06-19 2023-07-21 武汉大水云科技有限公司 一种面向水域场景的双分布匹配多域适应分割方法与系统
CN117152168A (zh) * 2023-10-31 2023-12-01 山东科技大学 一种基于频段分解和深度学习的医学图像分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468744A (zh) * 2023-06-19 2023-07-21 武汉大水云科技有限公司 一种面向水域场景的双分布匹配多域适应分割方法与系统
CN116468744B (zh) * 2023-06-19 2023-09-05 武汉大水云科技有限公司 一种面向水域场景的双分布匹配多域适应分割方法与系统
CN117152168A (zh) * 2023-10-31 2023-12-01 山东科技大学 一种基于频段分解和深度学习的医学图像分割方法
CN117152168B (zh) * 2023-10-31 2024-02-09 山东科技大学 一种基于频段分解和深度学习的医学图像分割方法

Similar Documents

Publication Publication Date Title
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN116051494A (zh) 基于傅里叶的元学习领域泛化的少样本医学图像分割方法
Mahapatra et al. Structure preserving stain normalization of histopathology images using self supervised semantic guidance
Khalighi et al. Development of a functionally equivalent model of the mitral valve chordae tendineae through topology optimization
WO2023197612A1 (zh) 一种基于自动数据增广的医学图像分割方法
CN110059717A (zh) 用于乳腺钼靶数据集的卷积神经网络自动分割方法及系统
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN110046707B (zh) 一种神经网络模型的评估优化方法和系统
CN113112534B (zh) 一种基于迭代式自监督的三维生物医学图像配准方法
Yang et al. Registration of pathological images
Zakazov et al. Anatomy of domain shift impact on U-Net layers in MRI segmentation
CN117409030B (zh) 基于动态管状卷积的octa图像血管分割方法及其系统
CN111814891A (zh) 医学图像合成方法、装置及存储介质
He et al. Differentiable automatic data augmentation by proximal update for medical image segmentation
CN117314884A (zh) 一种基于双向指导原型对齐的小样本医学图像分割方法
CN108898568A (zh) 图像合成方法与装置
Satoto et al. An auto contrast custom convolutional neural network to identifying gram-negative bacteria
Lefebvre et al. Lassnet: A four steps deep neural network for left atrial segmentation and scar quantification
CN113837179B (zh) 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
CN110569882A (zh) 一种图像信息分类方法及装置
Huo et al. Particle swarm optimization for great enhancement in semi-supervised retinal vessel segmentation with generative adversarial networks
Gu et al. Endoscopic single image super-resolution based on transformer and convolutional neural network
Li et al. PRISM: A Promptable and Robust Interactive Segmentation Model with Visual Prompts
CN115115659A (zh) 一种基于低成本噪声数据的眼底血管自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication