CN117274599A - 一种基于组合双任务自编码器的脑磁共振分割方法及系统 - Google Patents

一种基于组合双任务自编码器的脑磁共振分割方法及系统 Download PDF

Info

Publication number
CN117274599A
CN117274599A CN202311273017.XA CN202311273017A CN117274599A CN 117274599 A CN117274599 A CN 117274599A CN 202311273017 A CN202311273017 A CN 202311273017A CN 117274599 A CN117274599 A CN 117274599A
Authority
CN
China
Prior art keywords
segmentation
data
self
encoder
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311273017.XA
Other languages
English (en)
Inventor
田智强
李皓冰
施展艺
杜少毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202311273017.XA priority Critical patent/CN117274599A/zh
Publication of CN117274599A publication Critical patent/CN117274599A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于组合双任务自编码器的脑磁共振分割方法及系统，通过对下游分割任务的分割训练集进行配准，然后对配准后的分割训练集进行中间剪裁，然后对中心裁剪后的数据进行重采样得到特征数据；利用预训练的自编码器对获取的特征数据进行特征提取得到基本特征，对获取的基本特征进行解码操作得到分割结果；利用解码后的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割，采用双模型进行分割，能够大大提高分割结果的精度，采用像素级和对象级的组合双任务框架，使模型分别学习像素级细节和对象级区分信息，通过共享参数的方式融合模态信息，改善模型分割结果。

Description

一种基于组合双任务自编码器的脑磁共振分割方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种基于组合双任务自编码器的脑磁共振分割方法及系统。
背景技术
医学图像分割在计算机辅助诊疗中扮演着重要角色，可以帮助医生进行疾病的数据分析。其任务是在医学成像中以像素级别准确地勾画出目标区域，如器官、病灶、组织等。而目前临床上进行医学图像分割时主要采用的还是手动标注的方式，这种方式需要很强的医疗专家知识和经验，一般均由医生进行标注，普通人很难胜任这个任务，这就导致了低下的标注数据产出效率。同时，由于机器成像的噪声、专家主观判断的分歧，以及大量枯燥的重复性劳动导致的疲劳感，手动标注很容易产生主观的人为误差。因此产生了开发精准的自动医学图像分割算法的需求。这些算法相比人为标注具有很强的客观性，并且可以快速地进行批量化的图像标注，大大减轻医生的劳动量。
目前对自监督方法研究的兴趣激增，但是在医学领域中采用自监督方法的工作还很少。一些研究指出，自监督学习可以直接应用到医疗领域，这是因为未标注的医学影像带有关于器官结构的有价值的信息，自我监督使模型能够在没有额外注释成本的情况下推导出关于这些结构的概念。而不同于自然图像，医学影像具有3D性质，即其以序列的形式呈现。目前很多自监督方法的研究是将医学影像通过沿任意轴(例如轴向维度)提取切片，将3D成像任务转换为2D。但是依靠2D上下文从3D图像中获得数据表示是一种次优的解决方案，它会降低下游任务的性能。
深度学习模型通常使用监督学习范式进行训练，其中模型学习将输入(如核磁共振图像或健康记录)映射到输出。为了让模型学习数据中的相关模式，通过监督学习训练，训练过程需要大型数据集，其中每个输入都带有相应的标签信息。深度学习在有监督的模型上已经取得了很大的成功。然而，相比构建注释数据集的繁重工作，此类工作更多的重点放在了构建和测试模型上。这在一定程度上是因为，对于大多数医疗任务来说，大规模生成患者多模态数据的专家注释是非简单的、昂贵和耗时的，并且与隐私泄露风险相关，即使是半自动的软件工具也可能无法充分减少注释费用。
另一方面，不同于自然图像，尽管存在个体差异，但是由于所描绘的是人体的解剖结构，所以导致医学影像的物理结构相对稳定，图像中呈现自然一致的上下文信息，病变也有其特定的纹理和外观。自监督代理任务被用于学习人体解剖学的基本模式，这种条件下，在自监督学习的任务中，无法获取准确的分割结果，从而影响鼓励模型的判别精准度。
发明内容
本发明的目的在于提供一种基于组合双任务自编码器的脑磁共振分割方法及系统，以克服现有技术无法获取准确的分割结果，影响鼓励模型的判别精准度的问题。
一种基于组合双任务自编码器的脑磁共振分割方法，包括以下步骤：
对下游分割任务的分割训练集进行配准，然后对配准后的分割训练集进行中间剪裁，然后对中心裁剪后的数据进行重采样得到特征数据；
利用预训练的自编码器对获取的特征数据进行特征提取得到基本特征，对获取的基本特征进行解码操作得到分割结果；
利用解码后的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。
优选的，预训练的自编码器训练具体过程为：采集预训练图像作为预训练集，将预训练集数据转换为脑成像数据结构，并把转换为脑成像数据结构的预训练集的数据结构配准标准化到同一模板上，然后对配准后的预训练集数据进行中心剪裁操作得到预训练特征数据，利用预训练特征数据对自编码器进行训练。
优选的，采用Clinica平台将预训练集的数据结构配准标准化到同一模板上。
优选的，对获取的同一批量预训练特征数据进行随机旋转操作得到数据增强后同一批次中每个样例的两个正相关视图，并对每个正相关视图进行随机掩码操作，得到被屏蔽部分补丁的正相关特征图；将数据增强并进行随机掩码操作后的正相关特征图输入至自编码器网络中进行提取特征操作，分别通过像素级预测头和对象级预测头获得重建后的图像补丁和对比编码特征，利用预训练图像本身的自监督信息进行自编码器的预训练。
优选的，自编码器的预训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至设定值，此时训练结束，完成自编码器的预训练。
优选的，采用Clinica平台将预训练集的数据结构配准标准化到同一模板上具体包括以下步骤：
对互相匹配配准后的所有模态的最大前景区域计算一个最大邻接矩形框，排除为“0”的区域，并对配准后的整个预训练集，统一每个样本的空间大小到一致的水平，然后进行重采样获取特征数据，其中重采样的目标空间对整个数据集做平均得到。
优选的，对于单模态数据，直接加载自编码器作为提取特征编码器，并通过U型网络结构将编码阶段的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，得到分割结果。
优选的，对于多模态数据，采用简单的模态共享编码器，将不同模态数据输入到共享参数的编码器中，捕捉各模态的共有特征，得到分割结果。
优选的，将经过多模态的编码输出进行解码，同时将编码阶段的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，最终解码得到分割结果。
一种基于组合双任务自编码器的脑磁共振分割方法，包括数据预处理模块，自监督模块和分割模块：
数据预处理模块，用于对下游分割任务的分割训练集进行配准，然后对配准后的分割训练集进行中间剪裁，然后对中心裁剪后的数据进行重采样得到特征数据；
自监督模块，用于对获取的特征数据进行特征提取得到基本特征，对获取的基本特征进行解码操作得到分割结果；
分割模块，利用解码后的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。
与现有技术相比，本发明具有以下有益的技术效果：
本发明提供一种基于组合双任务自编码器的脑磁共振分割方法，通过对下游分割任务的分割训练集进行配准，然后对配准后的分割训练集进行中间剪裁，然后对中心裁剪后的数据进行重采样得到特征数据；利用预训练的自编码器对获取的特征数据进行特征提取得到基本特征，对获取的基本特征进行解码操作得到分割结果；利用解码后的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割，采用双模型进行分割，能够大大提高分割结果的精度。
进一步的，采用像素级和对象级的组合双任务框架，使模型分别学习像素级细节和对象级区分信息，在分割任务中，对于多模态数据，提出基于模态的自编码器加载策略，通过共享参数的方式融合模态信息，改善模型分割结果。
进一步的，对于多模态数据，在每个分支使用专属归一化层区别统计各分支的数据分布，保留模态私有信息，减小了数据处理量，提高了图像处理精度。
进一步的，通过联合使用交叉熵损失、SoftDice损失与深度监督损失，促进梯度的回传，加强模型收敛，进一步提升模型训练效果。
附图说明
图1是本发明实施例中脑磁共振分割方法的实现流程图。
图2是本发明实施例中基于组合双任务自编码器的网络分割模型结构图。
图3是本发明实施例中自监督阶段组合双任务模型中的专注掩蔽自编码器图。
图4是本发明实施例中自监督阶段组合双任务模型中的基于对比的自编码器结构示意图。
图5是本发明实施例中基于模态的下游脑磁共振分割任务网络框架图。
图6是本发明实施例中基于模态的下游脑磁共振分割编码器的提取特征层图。
图7是本发明实施例中脑磁共振分割方法模型的分割效果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1、图2所示，本发明提供一种基于组合双任务自编码器的脑磁共振分割方法，具体包括以下步骤：
S1，数据预处理：采集预训练图像作为预训练集，将预训练集数据转换为脑成像数据结构，并把转换为脑成像数据结构的预训练集的数据结构配准标准化到同一模板上，然后对配准后的预训练集数据进行中心剪裁操作得到预训练特征数据。
在本发明中，采用Clinica平台将预训练集的数据结构配准标准化到同一模板上。
自编码器预训练过程：对获取的同一批量预训练特征数据进行随机旋转操作得到数据增强后同一批次中每个样例的两个正相关视图，并对每个正相关视图进行随机掩码操作，得到被屏蔽部分补丁的正相关特征图；将数据增强并进行随机掩码操作后的正相关特征图输入至自编码器网络中进行提取特征操作，分别通过像素级预测头和对象级预测头获得重建后的图像补丁和对比编码特征，利用预训练图像本身的自监督信息进行自编码器的预训练。
自编码器的预训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至设定值，此时训练结束，完成自编码器的预训练。
具体的，本申请在自编码器的预训练阶段，采用公开数据集作为预训练数据集，将预训练数据集全部划分为预训练集。
将预训练集数据转换为脑成像数据结构，采用Clinica平台，把预训练集数据配准标准化到同一模板上，具体包括以下步骤：
对互相匹配配准后的所有模态的最大前景区域计算一个最大邻接矩形框，排除为“0”的区域，并对配准后的整个预训练集，统一每个样本的空间大小到一致的水平，然后进行重采样获取特征数据，其中重采样的目标空间对整个数据集做平均得到；
具体的，将预数据集全部用于训练，并在训练成中不使用数据集的标签信息。其中，在裁切时为了使训练更加稳定，采用过采样策略，保证一个批次中至少有三分之一的数据包含前景。
自编码器训练的具体过程为：利用像素级和对象级的组合双代理任务预训练自编码器。具体过程为：对于给定的批量大小(Batchsize)为N的3D体素体积输入样本X∈RH ×W×D×C随机进行旋转操作的数据增强，通过数据增强将输入数据实例随机变换成同一样例的两个正相关视图，最终数据增强后包含2N个数据点；旋转增强公式为：
r＝RandomChoices(R),R＝{0°,90°,180°,270°}
式中：r为随机旋转角度，k表示批量大小N的样本序号。
对于增强后的样例和/>首先将其重新塑造成一系列扁平的3D补丁，为了保证位置信息，同时根据大脑的结构具有左右对称的特性，在补丁嵌入中加入对称位置编码，计算位置编码的公式：
pos＝h·x-|w/2-y|+w/2+d2·z
式中：dim是补丁编码的维度，pos是坐标为(x,y,z)补丁嵌入的位置，i是位置编码的不同维度，对于同一位置的补丁嵌入采用正弦编码和余弦编码的交替编码方式。由于正弦和余弦的值介于-1和1之间，因此将位置编码添加到补丁嵌入时，不会引发明显失真。自编码器的最终输入是位置编码和补丁嵌入相加的总和。
将补丁数据进行随机掩码操作，把可见的补丁区域送入编码器，将三维补丁序列通过嵌入层投射到固定维度空间。为了更高效的建模补丁嵌入的交互，使用大小为M×M×M的窗口均匀的将输入大小为H′×W′×D′的特征划分成不重叠的窗口，并在每个区域内计算局部自注意。然后将窗口按照(M/2,M/2,M/2)体素进行偏移，使得之前划分的不同窗口特征在移动窗口后，出现在同一个窗口中，此时再计算窗口区域内的局部自注意力就能实现不同窗口的信息交流。
如图3、图4所示，将经过提取特征的自编码器的输出进行解码，最终通过像素级和对象级的预测头得到重建后的图像补丁和对比编码特征。
使用训练数据进行训练，训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，其中使用的损失函数包括专注重建损失、对比损失；专注重建损失、对比损失用于帮助训练，反向传播优化网络的参数，鼓励模型学习图像基本特征。
专注重建损失是针对脑组织结构相对稳定的特点，通过计算各体素的梯度，得到每个方向的渐变图像，计算公式为：
Gi＝I*Di,i∈{x,y,z}
式中：I是输入的特征，Di是i方向上的滤波器，*代表卷积运算。
从而求得每个体素的渐变方向θ，具体公式为：
梯度幅值为：
对于每一个图像补丁，创建2D方向梯度直方图，遍历每一个体素，看体素的渐变方向落在了X、Y轴的哪个区间中，并将该体素的梯度幅值累加到该区间的Y轴上。遍历结束后，需要对表示直方图大小的向量进行范数规范化处理。得到所有的掩蔽图像补丁在整个脑组织中的重要程度，计算公式为：
式中：代表直方图的平均值，N为随机掩蔽的图像补丁个数。
根据方向梯度直方图的重要程度，在测量恢复图像区域和原始图像之间的像素差异时施加不同权重，从而鼓励模型更加关注重要区域。专注重建损失函数计算公式为：
对比重建损失为设置同一批次中的一对增强样本为正样例zi和zj，将同批次中其他的2(N-1)增强样例作为负样例。并通过余弦相似度计算两个向量之间的互信息，其余弦相似度公式为：
从而对比损失计算公式为:
根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至较小的值，此时训练结束，保存训练好的预训练的自编码器。
采集下游分割任务的待训练图像作为分割训练集，将分割训练集进行配准，然后对配准后的分割训练集的进行中间剪裁，然后进行重采样获取得到特征数据；将获取的特征数据输入至自监督阶段得到的自编码器中提取得到基本特征，之后对提取的基本特征进行解码操作，同时将卷积处理的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，最终解码得到分割结果；利用解码得到的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。
在下游大脑MRI分割阶段，对于单模态数据，直接加载自编码器作为提取特征编码器，并通过U型网络结构将编码阶段的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，得到分割结果。对于多模态数据，采用简单的模态共享编码器，将不同模态数据输入到共享参数的编码器中，捕捉各模态的共有特征，得到分割结果。
对于模态私有信息，在卷积之后，对多模态进行分离式的归一化操作，单独统计其模态私有特征，具体公式为：
式中：uL，代表对整个样本的均值和方差。ò是一个很小的常量，防止分母为0。αm，βm是可训练的参数，分别是仿射变换中的缩放因子和平移参数，用于恢复对数据的表达能力。通过模态私有化(αm,βm)，以达到区别统计模态信息的作用。
将经过多模态的编码输出进行解码，同时将编码阶段的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，最终解码得到分割结果。
网络分割模型训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，其中使用的损失函数包括交叉熵损失、SoftDice损失，与全分辨率深度监督损失；交叉熵损失、SoftDice损失，与全分辨率深度监督损失用于帮助训练，反向传播优化网络的参数。
交叉熵是图像分割算法中最常用的损失，它会将每个像素逐个与真值图进行对比，其公式表示如下：
式中：D×W×H为整个三维图像的像素数量，yi∈{0,1}为第i个元素的真实标签，其中0为背景，1为前景，pi∈[0,1]表示网络预测的该像素属于前景的概率。
SoftDice损失其公式表达如下：
式中：ε为一个很小的常数，为了防止分母为0。
将网络每个阶段的解码层作为中间输出，并根据该阶段的下采样倍率将输出进行相应的上采样，以全分辨率的形式引入伴随(Side)损失，进行深度监督。最终的损失函数公式表达如下：
式中：P为预测概率图，Y为真值图，g(*,u)表示以u为倍率的上采样，λi是调和不同中间层损失的超参数，N为中间层的个数。
根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至较小的值，此时训练结束，保存训练好的网络模型；使用保存的训练好的模型构成脑磁共振分割模型。
一种基于组合双任务自编码器的脑磁共振分割系统，包括数据预处理模块，自监督模块和分割模块：
数据预处理模块，用于对下游分割任务的分割训练集进行配准，然后对配准后的分割训练集进行中间剪裁，然后对中心裁剪后的数据进行重采样得到特征数据；
自监督模块，用于对获取的特征数据进行特征提取得到基本特征，对获取的基本特征进行解码操作得到分割结果；
分割模块，利用解码后的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。
本发明一种基于组合双任务自编码器的脑磁共振分割方法，针对脑组织先验知识设计了重建代理任务来关注重要图像特征；为了学习脑部区域解剖结构的基本模式，提出了适用于脑磁共振成像的像素级和对象级的组合双任务框架，使模型分别学习像素级细节和对象级区分信息；通过联合使用专注重建损失和对比损失，促进梯度的回传，加强模型收敛，进一步鼓励模型学习基本特征。
下游任务中，根据模态个数，基于模态的自编码器加载策略(MALS)使得在分割中，对于单模态数据直接加载自编码器作为特征提取编码器，并采用U型网络得到分割结果。而对于多模态数据采用共享特征提取参数的编码器提取模态公有信息，但对于模态私有信息对多模态进行分离式的归一化，单独统计其模态私有特征。
通过联合使用交叉熵损失、SoftDice损失与深度监督损失，促进梯度的回传，加强模型收敛，进一步提升模型训练效果；
本申请在三个公共数据集上进行下游分割任务的微调取得了具有竞争性的Dice和HD结果，能优于当前流行的自监督医学影像分割模型。
实施例
一种基于组合双任务自编码器的脑磁共振分割方法，包括以下步骤：
自编码器的自监督学习：对3D医学源数据进行前处理，使之适合用于模型的训练。具体工作流程如下：
(1.1)、采用两组公开数据集作为预训练数据集；
(1.2)、对步骤(1.1)所述的数据集转换为脑成像数据结构，采用Clinica平台，把数据配准标准化到同一模板上；
(1.3)、对所有模态的最大前景区域计算一个最大邻接矩形框，排除前景区域中为“0”的区域，并对配准后的整个训练集，统一每个样本的空间大小到一致的水平，使卷积核以相同的感受野遍历数据提取特征，从而进行重采样，其中重采样的目标空间对整个数据集做平均得到；
(1.4)、对于步骤(1.3)所处理后的数据集全部划分为训练集，且训练过程不使用任何数据集的标签信息。
针对脑组织先验知识设计重建代理任务来关注重要图像特征，并在其基础上增加基于对比编码的代理任务，形成像素级和对象级的组合双任务框架。具体工作流程如下：
(2.1)、针对步骤(1.4)所得到的数据集，对于同一批次的输入样本X∈RH×W×D×C，进行随机旋转的数据增强，得到增强后的每一样例的两个正相关视图，即
(2.2)、对于步骤(2.1)所述的增强样例，将其重新塑造成一系列扁平的3D补丁，为了保证位置信息，同时根据大脑的结构具有左右对称的特性，在补丁嵌入中加入对称位置编码，即pos＝h·x-|w/2-y|+w/2+d2·z；
(2.3)、对于步骤(2.2)所得的添加位置编码的特征补丁序列进行随机掩码操作，把可见的补丁区域送入编码器；
(2.4)、在编码器中使用成对的窗口自注意计算模块和移动窗口自注意力计算模块进行更高效的建模补丁嵌入的交互。
(2.5)、对于步骤(2.4)得到的编码器输出进行解码，最终通过像素级和对象级的预测头得到重建后的图像补丁和对比编码特征。
对获取的自编码器训练过程中采用专注重建损失和对比损失来促进梯度回传，加强模型收敛，进一步鼓励模型学习基本特征；
对3D医学源数据进行前处理，使之适合用于模型的训练。具体工作流程如下：
(4.1)、采用三组公开数据集作为训练数据集；
(4.2)、对步骤(4.1)所述的数据集转换为脑成像数据结构，采用Clinica平台，把数据配准标准化到同一模板上；
(4.3)、对所有模态的最大前景区域计算一个最大邻接矩形框，排除前景区域中为“0”的区域，并对配准后的整个训练集，统一每个样本的空间大小到一致的水平，使卷积核以相同的感受野遍历数据提取特征，从而进行重采样，其中重采样的目标空间对整个数据集做平均得到；
(4.4)、对于步骤(4.3)所处理后的数据集全部划分为训练集和测试集。
针对不同模态数据，提出了基于模态的自编码器加载策略(Modal AutoencoderLoading Strategy，MALS)，如图5、图6所示。具体工作流程如下：
(5.1)、对于单模态数据，直接加载自编码器作为提取特征编码器。
(5.2)、对于多模态数据，采用简单的模态共享编码器，将不同模态数据输入到共享参数的编码器中，捕捉各模态的共有特征。
(5.3)、对于步骤(5.2)的模态私有信息，在卷积之后，对多模态进行分离式的归一化操作，单独统计其模态私有特征。
对于经过自编码器进行特征提取的基本特征进行解码，同时将编码阶段的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，最终解码得到分割结果；
对于网络分割模型，训练过程中采用交叉熵损失、SoftDice损失，与全分辨率深度监督损失，来促进梯度回传，加强模型收敛，进一步提升训练效果；
对于训练好的网络分割模型，将测试图像作为输入，得到自动分割的结果，如图7所示。具体工作流程如下：
本发明通过在自监督阶段将训练集数据转换为脑成像数据结构，并把数据配准标准化到同一模板上，然后对配准后的训练集进行中心剪裁操作，最后进行重采样获取特征数据；对获取的同一批量特征数据进行随机旋转操作得到数据增强后同一批次中每个样例的两个正相关视图，并对每个视图进行随机掩码操作，得到被屏蔽部分补丁的特征；将数据增强并进行随机掩码操作后的正相关特征图输入至自编码器网络中进行提取特征操作，分别通过像素级预测头和对象级预测头获得重建后的图像补丁和对比编码特征，最终利用图像本身的自监督信息进行自编码器的训练，根据大脑磁共振成像的先验知识引入对称位置编码，使得对称位置具有相同的位置信息，同时考虑到医学影像相对于自然图像的平滑性，根据三维体素的方向梯度直方图的局部强度梯度的分布来对不同区域的特征进行重要程度的分类，专注重建损失通过测量恢复图像区域和原始图像之间的像素差异时施加不同权重，从而鼓励模型更加关注重要区域，为了学习脑部区域解剖结构的基本模式，提出了为脑磁共振成像而量身定制的像素级和对象级的组合双任务框架，使模型分别学习像素级细节和对象级区分信息，在下游的大脑MRI分割任务中，对于多模态数据，提出基于模态的自编码器加载策略，通过共享参数的方式融合模态信息，改善模型分割结果。

Claims (10)

1.一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，包括以下步骤：
对下游分割任务的分割训练集进行配准，然后对配准后的分割训练集进行中间剪裁，然后对中心裁剪后的数据进行重采样得到特征数据；
利用预训练的自编码器对获取的特征数据进行特征提取得到基本特征，对获取的基本特征进行解码操作得到分割结果；
利用解码后的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。
2.根据权利要求1所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，预训练的自编码器训练具体过程为：采集预训练图像作为预训练集，将预训练集数据转换为脑成像数据结构，并把转换为脑成像数据结构的预训练集的数据结构配准标准化到同一模板上，然后对配准后的预训练集数据进行中心剪裁操作得到预训练特征数据，利用预训练特征数据对自编码器进行训练。
3.根据权利要求2所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，采用Clinica平台将预训练集的数据结构配准标准化到同一模板上。
4.根据权利要求2所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，对获取的同一批量预训练特征数据进行随机旋转操作得到数据增强后同一批次中每个样例的两个正相关视图，并对每个正相关视图进行随机掩码操作，得到被屏蔽部分补丁的正相关特征图；将数据增强并进行随机掩码操作后的正相关特征图输入至自编码器网络中进行提取特征操作，分别通过像素级预测头和对象级预测头获得重建后的图像补丁和对比编码特征，利用预训练图像本身的自监督信息进行自编码器的预训练。
5.根据权利要求2所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，自编码器的预训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至设定值，此时训练结束，完成自编码器的预训练。
6.根据权利要求3所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，采用Clinica平台将预训练集的数据结构配准标准化到同一模板上具体包括以下步骤：
对互相匹配配准后的所有模态的最大前景区域计算一个最大邻接矩形框，排除为“0”的区域，并对配准后的整个预训练集，统一每个样本的空间大小到一致的水平，然后进行重采样获取特征数据，其中重采样的目标空间对整个数据集做平均得到。
7.根据权利要求1所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，对于单模态数据，直接加载自编码器作为提取特征编码器，并通过U型网络结构将编码阶段的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，得到分割结果。
8.根据权利要求1所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，对于多模态数据，采用简单的模态共享编码器，将不同模态数据输入到共享参数的编码器中，捕捉各模态的共有特征，得到分割结果。
9.根据权利要求8所述的一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，将经过多模态的编码输出进行解码，同时将编码阶段的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，最终解码得到分割结果。
10.一种基于组合双任务自编码器的脑磁共振分割方法，其特征在于，包括数据预处理模块，自监督模块和分割模块：
数据预处理模块，用于对下游分割任务的分割训练集进行配准，然后对配准后的分割训练集进行中间剪裁，然后对中心裁剪后的数据进行重采样得到特征数据；
自监督模块，用于对获取的特征数据进行特征提取得到基本特征，对获取的基本特征进行解码操作得到分割结果；
分割模块，利用解码后的分割结果及对应的分割训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。
CN202311273017.XA 2023-09-28 2023-09-28 一种基于组合双任务自编码器的脑磁共振分割方法及系统 Pending CN117274599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311273017.XA CN117274599A (zh) 2023-09-28 2023-09-28 一种基于组合双任务自编码器的脑磁共振分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311273017.XA CN117274599A (zh) 2023-09-28 2023-09-28 一种基于组合双任务自编码器的脑磁共振分割方法及系统

Publications (1)

Publication Number Publication Date
CN117274599A true CN117274599A (zh) 2023-12-22

Family

ID=89217464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311273017.XA Pending CN117274599A (zh) 2023-09-28 2023-09-28 一种基于组合双任务自编码器的脑磁共振分割方法及系统

Country Status (1)

Country Link
CN (1) CN117274599A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117476240A (zh) * 2023-12-28 2024-01-30 中国科学院自动化研究所 少样本的疾病预测方法及装置
CN117557568A (zh) * 2024-01-12 2024-02-13 吉林省迈达医疗器械股份有限公司 基于红外图像的热化疗过程中病灶区域分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117476240A (zh) * 2023-12-28 2024-01-30 中国科学院自动化研究所 少样本的疾病预测方法及装置
CN117476240B (zh) * 2023-12-28 2024-04-05 中国科学院自动化研究所 少样本的疾病预测方法及装置
CN117557568A (zh) * 2024-01-12 2024-02-13 吉林省迈达医疗器械股份有限公司 基于红外图像的热化疗过程中病灶区域分割方法
CN117557568B (zh) * 2024-01-12 2024-05-03 吉林省迈达医疗器械股份有限公司 基于红外图像的热化疗过程中病灶区域分割方法

Similar Documents

Publication Publication Date Title
CN111091589B (zh) 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN109978850B (zh) 一种多模态医学影像半监督深度学习分割系统
CN110992351B (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN110782427B (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN112132878B (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
CN117218453B (zh) 一种不完备多模态医学影像学习方法
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN112785593A (zh) 一种基于深度学习的脑部图像分割方法
CN115496732B (zh) 一种半监督心脏语义分割算法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN118196153A (zh) 一种跨模态可变形医学影像配准方法及系统
CN118279361A (zh) 基于无监督深度学习和模态转换的多模态医学图像配准方法
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN118037791A (zh) 多模态三维医学图像分割配准模型的构建方法及其应用
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN117633558A (zh) 基于视觉语言模型的多激励融合零样本病变检测方法
CN117475268A (zh) 一种基于sgdd gan的多模态医学图像融合方法
CN116958094A (zh) 一种动态增强磁共振影像特征生成病理图像特征的方法
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
Chen et al. Radiologically based automated segmentation of cardiac MRI using an improved U-Net neural algorithm
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination