CN116071383A - 一种基于超高场磁共振影像重建的海马亚区分割方法及系统 - Google Patents

一种基于超高场磁共振影像重建的海马亚区分割方法及系统 Download PDF

Info

Publication number
CN116071383A
CN116071383A CN202310157600.8A CN202310157600A CN116071383A CN 116071383 A CN116071383 A CN 116071383A CN 202310157600 A CN202310157600 A CN 202310157600A CN 116071383 A CN116071383 A CN 116071383A
Authority
CN
China
Prior art keywords
magnetic resonance
segmentation
resonance image
network
mri
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310157600.8A
Other languages
English (en)
Inventor
李欣蔚
刘洪�
王林金
王伟
陈勇
陈望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310157600.8A priority Critical patent/CN116071383A/zh
Publication of CN116071383A publication Critical patent/CN116071383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于医学图像处理领域，具体涉及一种基于超高场磁共振影像重建的海马亚区分割方法及系统，包括：磁共振影像数据进行预处理，将预处理后的图像输入到超高场磁共振影像重建网络中进行特征提取，并对提取的特征进行融合重建，得到重建MRI；将重建后的MRI输入到判别器网络进行判别，并将判别后的MRI输入到海马亚区分割网络中提取多尺度特征信息，得到海马亚区分割概率图；根据海马亚区分割概率图对磁共振影像进行海马亚区分割；本发明在超高场磁共振影像重建过程中引入自注意机制、特征匹配损失和ROI损失，以恢复海马区域更多解剖细节，在海马亚区分割过程中引入多尺度深度监督，并设计一个解剖加权交叉熵损失利用丰富的先验知识，提高了分割结果的准确度。

Description

一种基于超高场磁共振影像重建的海马亚区分割方法及系统
技术领域
本发明属于医学图像处理领域，具体涉及一种基于超高场磁共振影像重建的海马亚区分割方法及系统。
背景技术
海马体是一个与长期情景记忆和空间编码密切相关的重要皮质区域，具体体现在不同的海马亚区解剖变化对多种神经退行性疾病的影响程度不同，例如阿尔兹海默症、精神分裂症等。因此，定量分析海马亚区的形态结构变化是很有必要的。海马体结构不规则，与周围脑组织的强度相对接近，海马亚区边界较为复杂，不同亚区之间亮度差异不明显。若在脑MRI上对海马亚区进行手动分割，存在耗时长、复现率低、容易引入人为误差等问题，且需有经验的专家完成，难以满足当前医疗大数据的需求。因此，迫切需要一种高精度的海马亚区自动分割方法。现有的海马亚区自动分割方法中，使用的脑MRI数据主要是3T MRI和7TMRI。与7T MRI相比，3T MRI的组织对比度和边界定位相对更差，不能清晰呈现海马体内部及周围组织的纹理细节，海马亚区分割效果较差。然而，由于7T MRI扫描仪价格昂贵，成像成本极高，成像时间相较3T MRI更长，导致其在临床检测中不可获得。因此，可从常规MRI(3T MRI)合成超高场MRI(7T MRI)，改善输入图像分辨率不足的问题，利用合成的超高场MRI提升常规MRI分割海马亚区的精度。而在高质量的分割策略受限于输入图像的分辨率大小，在7T MRI不可获取的情况下，如何在成熟的海马亚区分割网络中集成超高场MRI重建网络，从而提高分割准确度是目前亟待解决的问题。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种基于超高场磁共振影像重建的海马亚区分割方法，该方法包括：获取待分割的脑核磁共振图像，对脑核磁共振图像进行预处理，并将预处理后的脑核磁共振图像输入到联合网络模型中，得到分割结果；其中，联合网络模型包括超高场磁共振影像重建网络和海马亚区分割网络；超高场磁共振影像重建网络包括生成网络和判别网络；
对联合网络模型进行训练的过程包括：
S1：获取核磁共振影像数据集，并对数据集进行预处理；将预处理后的数据集划分为训练集和验证集；
S2：将训练集中的影像输入到超高场磁共振影像重建网络中，采用生成网络提取输入图像的深层特征和浅层特征，并对深层特征和浅层特征进行融合重建，得到初始重建后的MRI；
S3：将初始重建后的MRI与训练集中常规MRI输入到判别器网络中与真实MRI进行对比，若输出为假，则返回步骤S2，若输出为真，则输出重建后的MRI；
S4：将重建后的MRI和常规MRI输入到海马亚区分割网络中提取多尺度特征信息，得到海马亚区分割概率图；
S5：根据海马亚区分割概率图获取重建MRI和常规MRI所对应的分割真值图像，设置初始类别平均dice为0，每个epoch结束后，使用验证集的数据进行模型性能验证，并计算类别平均dice，若比前一个epoch的类别平均dice值高，则保存模型，否则，继续训练；
S6：计算联合网络模型的损失函数，不断调整模型参数，当损失函数收敛时完成模型的训练。
一种基于超高场磁共振影像重建的海马亚区分割系统，该系统包括：联合网络模型训练模块、测试集磁共振影像接收模块、测试集磁共振影像分割处理模块以及分割结果输出模块；
所述联合网络模型训练模块包括训练图像接收单元、训练图像分析处理单元、超高场磁共振影像合成单元以及海马亚区分割单元；
所述训练图像接收单元用于接收训练图像；
所述训练图像分析处理单元用于对训练图像进行特征分析处理，并融合图像的特征信息；
所述超高场磁共振影像合成单元根据融合的特征信息采用对抗性学习的方法重建超高场MRI影像；
所述海马亚区分割单元用于对训练图像和合成的超高场MRI影像进行特征分析，融合有效的特征信息，对融合的特征信息进行分割处理，直至联合网络模型中超高场MRI影像合成单元和海马亚区分割单元的损失函数均收敛至预设阈值时，完成深度学习训练；
所述测试集磁共振影像接收模块用于接收待分割的磁共振影像数据信息；
所述测试集磁共振影像分割处理模块用于对磁共振影像接收模块(2)接收的待分割磁共振影像数据信息进行分割处理；
所述分割结果输出模块用于输出海马亚区分割结果。
本发明的有益效果：
本发明在超高场磁共振影像重建过程中引入自注意机制、特征匹配损失和ROI损失，以恢复海马区域更多解剖细节；将生成的超高场MRI与原始的常规MRI输入分割网络中，在分割过程中引入多尺度深度监督机制，并且设计一个解剖加权交叉熵损失以利用丰富的解剖先验知识，得到的海马亚区分割结果可在常规MRI分割精度上有明显提升，为神经退行性疾病的检测和诊断提供更可靠的度量。
附图说明
图1为本发明的联合超高场磁共振影像重建的海马亚区分割网络总框架图；
图2为本发明的超高场磁共振影像重建网络框架图；
图3为本发明的自注意力模块框架图；
图4为本发明的海马亚区分割网络框架图；
图5为本发明的左海马生成的7T MRI和对应真实的7T MRI结果示例图；
图6为本发明的本发明实施方式对左海马亚区的分割结果与其他方法分割结果对比图；
图7为本发明的本发明实施方式对右海马亚区的分割结果与其他方法分割结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于超高场磁共振影像重建的海马亚区分割方法，包括：获取待分割的脑核磁共振图像，对脑核磁共振图像进行预处理，并将预处理后的脑核磁共振图像输入到联合网络模型中，得到分割结果。其中，联合网络模型包括超高场磁共振影像重建网络和海马亚区分割网络；超高场磁共振影像重建网络包括生成网络和判别网络。
对联合网络模型进行训练的过程包括：
S1：获取核磁共振影像数据集，并对数据集进行预处理；将预处理后的数据集划分为训练集和验证集；
S2：将训练集中的影像输入到超高场磁共振影像重建网络中，采用生成网络提取输入图像的深层特征和浅层特征，并对深层特征和浅层特征进行融合重建，得到初始重建后MRI；
S3：将初始重建后MRI与训练集中常规MRI输入到判别器网络中与真实MRI进行对比，若输出为假，则返回步骤S2，若输出为真，则输出重建后的MRI；
S4：将重建后的MRI和常规MRI输入到海马亚区分割网络中提取多尺度特征信息，得到海马亚区分割概率图；
S5：根据海马亚区分割概率图获取重建MRI和常规MRI所对应的分割真值图像，设置初始类别平均dice为0，每个epoch结束后，使用验证集的数据进行模型性能验证，并计算类别平均dice，若比前一个epoch的类别平均dice值高，则保存模型，否则，继续训练；
S6：计算联合网络模型的损失函数，不断调整模型参数，当损失函数收敛时完成模型的训练。
对脑核磁共振图像进行预处理的过程包括：对所有的磁共振影像数据进行去噪和偏置场校正，其中磁共振影像数据包括3T T2 MRI、7T T2 MRI、3T T1MRI以及7T T1 MRI；将3T T2 MRI与3T T1 MRI对齐，7T T2 MRI与7T T1 MRI对齐；将7T T1 MRI线性配准到3T T1MRI，使用ANTS可变形配准将3T T1 MRI线性配准到无偏模板；从无偏模板中提取包含左右海马的两个立方ROI；对于每一侧，通过将该侧的解剖标签合并到单个标签中，将生成的二进制分割映射到模板空间中，并提取覆盖模板空间中所有海马区域的矩形框，得到立方体ROI；对左右模板的立方体ROI进行上采样；将所有模态的MRI数据和手动标签映射到相应的半球模板ROI中，得到预处理后的脑核磁共振图。
在本实施例种，如图1所示，联合网络模型包括超高场磁共振影像重建网络(Ultra_SynNet)和海马亚区分割网络(HS_SegNet)。首先将预处理后的3TT1和3T T2 MRI一起送进生成器，输出生成的7T T1/T2 MRI，再将3T图像分别与生成的7T图像和真实的7T图像拼接送进判别器，通过对抗性训练，促使生成器生成质量更好的7T图像。然后将生成的7T图像和3T图像一起输入进分割网络，得到最终的海马亚区分割概率图。
在本实施例中，如图2所示，将预处理后的3T T1和3T T2 MRI通过通道拼接后输入生成器中，生成器输出逼真的7T T1/T2 MRI，将原始输入3T图像分别与生成的7T图像和对应的真值图像送进判别器中，通过对抗性训练，促使生成器合成高质量的7T图像，从而更好地改进常规MRI的海马亚区分割准确度。
生成器采用Pix2pixGAN的3D变体,是一个对称的6层encoder-decoder结构，共包含6个三维卷积层、6个三维反卷积层、5个特征拼接层；每个三维卷积层通过批标准化和ReLU激活函数；每个三维反卷积层通过拼接层、批标准化和ReLU激活函数，前三个三维反卷积层在拼接层、批标准化和ReLU激活函数后通过Dropout操作；前两个三维卷积层和后两个三维反卷积层的卷积核大小均为5，其余卷积核大小均为3；每个三维反卷积层在通过批标准化、ReLU激活函数或批标准化、ReLU激活函数、Dropout操作后，与特征图数量相同且通过批标准化和ReLU激活函数的卷积层进行拼接，得到所述的特征拼接层；每个三维卷积层和三维反卷积层均使用光谱归一化；第四个三维卷积层和第四个三维反卷积层在通过批标准化和ReLU激活函数后通过三维自注意模块，允许生成器有效地建模分离的空间区域之间的关系，从而使生成的图像包含真实的解剖细节。
生成器输入是一组经过预处理后的图像，所述图像为3T T1-weighted MRI、3TT2-weighted MRI；生成器输出依次通过一个卷积核大小为3的三维卷积层、三维自注意力模块、双曲正切函数，最终得到的生成器输出是逼真的7TT1-weighted MRI或者7T T2-weighted MRI。
在本实施例中，判别器为PatchGAN，是包含5层三维卷积层的全卷积网络；每个三维卷积层通过批标准化、ReLU激活函数和Dropout操作；第三个三维卷积层在通过批标准化、ReLU激活函数和Dropout操作后通过三维自注意力模块；每个三维卷积层均使用光谱归一化；判别器输入为生成器输出和生成器输入通道拼接后的结果，或所述生成器输出所对应的真实磁共振影像和生成器输入通道拼接后的结果。
在另一种实施例中，判别器输出依次通过一个卷积核大小为3的三维卷积层、批标准化和Sigmoid操作；判别器判断输入图像是否为真实图像，并将该结果以损失的形式融入最终的目标函数，以此来促进生成器生成更逼真的7T MRI。
超高场磁共振影像重建网络的损失函数如下所示：
对抗损失如下：
LcGAN(G,D)＝E(x,y)[logD(x,y)]+E(x)[log(1-D(x,G(x)))]
其中，x是输入图像，即3T T1-weighted MRI和3T T2-weighted MRI，y是对应的地面真值图像，即真实的7T MRI，G是生成器，D是判别器。
图像匹配损失如下：
Lim(G)＝E(x,y)(‖y-G(x)‖1)
特征匹配损失如下：
Figure BDA0004093005170000071
其中，Di是第i层的特征图，T是判别器总层数，Ni是第i层特征图的元素和；ROI损失如下：
Figure BDA0004093005170000072
N是总体素数量；
目标函数：
Figure BDA0004093005170000073
其中，μ、λ和γ是控制着、特征匹配损失、ROI损失和图像匹配损失重要性的超参数，生成器和判别器中引入L2范数正则化以防止过拟合。
在本实施例中，如图3所示，自注意模块框架图将网络中间隐藏层的特征图x转换为两个特征空间f(x)＝Wfx和g(x)＝Wgx,用于计算注意。具体包括：
步骤1：将网络中间隐藏层的特征图x转换为两个特征空间，计算公式为：
f(x)＝Wfx
g(x)＝Wgx
其中，f(x)表示对输入图像进行特征提取后获得的特征空间；Wf表示学习权重矩阵，由1×1×1的卷积表示；g(x)表示对输入图像进行特征提取后获得的特征空间；Wg表示学习权重矩阵，由1×1×1的卷积表示；
步骤2：计算特征空间的注意力，其计算公式为：
Figure BDA0004093005170000074
Sj,i＝f(xj)Tg(xi)
其中，βj,i表示体素j对体素i的注意，N表示输入图像的体素总数；
步骤3：计算第三个特征空间h(x)＝Whx∈RC×(h×w×d)，其中Wh表示，
RC×(h×w×d)表示；
步骤4：计算第三特征空间的注意特征图Oj，其计算的表达为：
Figure BDA0004093005170000081
h(xi)＝Whx,v(xi)＝Wvx
其中，v表示βj,i与第三个特征空间h(x)进行矩阵相乘后，再对其融合后的特征进行信息提取；βj,i表示体素j对体素i的注意；Wv表示学习权重矩阵，由1×1×1的卷积表示；
步骤5：根据三种特征空间的注意力计算模块最终输出的注意力特征图，其表达式为：
yj＝αOj+xj
其中，α为初始化为0的可学习标量。
在本实施例中，海马亚区分割网络框架图如图4所示，该网络结构对输入数据进行处理的过程包括：割网络为对称的3D-Unet结构，共包含10个三维卷积层、4个三维反卷积层和4个特征拼接层；第五个三维卷积层前的每个三维卷积层通过批标准化、ReLU激活函数、3D MaxPooling操作；第五个三维卷积层通过批标准化和ReLU函数输入进第一个三维反卷积层；每个三维反卷积层依次通过特征拼接层、三维卷积层、批标准化和ReLU函数；每个三维反卷积层与特征图数量相同的3D MaxPooling操作前且通过批标准化和ReLU函数的三维卷积层进行通道拼接，得到所述的特征拼接层；在每个三维反卷积层中引入多尺度深度监督模块。分割器输入为生成器输出和生成器输入通道拼接后的结果。分割器顶层输出通过一个卷积核大小为3、输出特征图数量为8的三维卷积层，最后通过softmax输出最终的海马亚区分割概率图。
分割器所使用的分割损失函数为本发明设计的基于解剖先验知识的解剖加权交叉熵损失。为缓解训练过程中类别不平衡问题，在交叉熵损失中加入类别权重，对需要注意且更难分割的类别设置更高权重，加权交叉熵损失公式如下：
LWCE＝-wc∑YgtlogYpred
其中，Ygt是分割标准，Ypred是预测概率图，wc是类别权重。类别权重的表达式为：
Figure BDA0004093005170000091
其中，PA是概率图谱，σ1和σ2是超参数，c∈C是分割类别。
解剖加权交叉熵损失为：
Figure BDA0004093005170000092
其中，h,w,d是输入图像的高度、宽度、深度。
在本实施例中，多尺度深度监督机制具体包括：首先将分割网络中扩展路径中间三层的输出上采样到顶层输出大小，输出特征图数量为类别数量。然后，不同尺度的侧边输出通过softmax层得到分割概率图。计算不同尺度输出层的分割损失：
Figure BDA0004093005170000093
其中，Li是第i个侧边输出层的分割损失，N是侧边输出层数量。
海马亚区分割网络的目标函数为：
Lseg＝Lmds+LAWC+vSL2(s)
其中，vS是控制权重，在分割网络中加入L2范数正则化以防止过拟合。
联合网络Syn_SegNet的目标函数如下：
Lsyn_seg＝Lseg+Lsyn
本发明的另一种具体实施方式，对私人数据集3T-7T MRI配对数据集进行海马亚区分割实验。其分割类别共7种，分别为SUB、CA2、CA1、CA4-DG、ERC、CA3、Tail。本实验的实验环境：采用TensorFlow 1.15，基于Ubuntu服务器和NVIDIA RTX TITAN gpu。
为确定用于海马亚区分割的最佳MRI模态生成，本发明使用左海马数据进行实验，通过生成三种不同模态的图像，将其与原始的3T MRI输入经过通道拼接送进分割网络，将所得的分割结果通过Dice相似系数(Dice similarity coefficient，DSC)、豪斯多夫系数(Hausdorff_95，HD95)和杰卡德系数(Jaccard coefficient，JC)进行精度比较，可以发现，使用生成的7T T1 MRI用于后续的海马亚区分割相较另两种模态图像生成得到的结果，不仅在大多数亚区的分割上获得最优的结果，在三种评价指标的平均数值上也是最优的，因此在后续的实验中均使用7T T1 MRI生成。
图5为左海马生成的7T MRI和对应真实的7T MRI结果示例图。利用联合网络模型中的超高场磁共振影像重建网络生成高质量的7T-like图像，并将其用于后续的海马亚区分割任务，补充常规MRI中缺失的海马区域的纹理细节，从而提高MRI海马亚区分割准确度。生成7T-like图像的示例图如图5所示，可以看到使用本发明提出的超高场磁共振影像重建网络得到的7T T1和7T T2 MRI与其相对应的真实7T T1和7T T2 MRI相比，生成图像均能恢复大部分解剖纹理细节，具有较高的图像质量。
在本实施例中，采用Dice相似系数(Dice similarity coefficient，DSC)、豪斯多夫系数(Hausdorff_95，HD95)和杰卡德系数(Jaccard coefficient，JC)在左右海马数据上对不同方法的海马亚区分割精度进行比较。其中，3D U-Net和ResDUnet为现存的较优异的海马亚区分割方法，HS_SegNet是联合网络去掉超高场磁共振影像重建网络，单独使用本发明的海马亚区分割网络进行分割，Syn+Seg_Net是将超高场磁共振影像重建网络和海马亚区分割网络作为两个独立的任务以离线方式进行分割，Syn_SegNet为本发明提出的多任务联合的端到端分割网络。根据上述分割结果可知无论是左海马还是右海马，本发明提出的方法其分割准确度均优于其余四种分割方法。将HS_SegNet与Syn_SegNet进行结果对比，可看出本发明在海马亚区分割中引入超高场磁共振影像重建的先进性，将生成的高质量7T图像通过端到端在线方式促进常规MRI的海马亚区分割，获得了显著的提升效果。将Syn+Seg_Net与Syn_SegNet进行结果对比，可发现本发明采用的多任务联合的端到端的在线方法进行分割优于离线方式。
图6为本发明实施方式对左海马亚区的分割结果与其他方法分割可视化结果对比图。其中，箭头a表示分割碎片，箭头b表示亚区Tail过度分割，箭头c表示亚区CA3不连续，箭头d表示亚区CA3分割错误，箭头e表示亚区SUB不连续。分割样例结果图如图6所示，可以看出本发明提出的联合网络获得了最优的可视化结果，3D U-Net和Syn+SegNet均出现了分割碎片，ResDUnet出现了明显的CA3分割错误，HS_SegNet与Syn+SegNet均出现了明显的SUB不连续。
图7为本发明实施方式对右海马亚区的分割结果与其他方法分割可视化结果对比图。其中，箭头a表示分割孔洞，箭头b和d表示亚区CA3分割不连续，箭头c表示亚区ERC过分割，箭头e表示分割错误，箭头f表示分割不足。可以看出本发明提出的联合网络获得了最优的可视化结果，3D U-Net出现了分割孔洞，3D U-Net、ResDUnet、HS_SegNet和Syn+SegNet均出现CA3分割不连续，Syn+SegNet出现了分割错误。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，包括：获取待分割的脑核磁共振图像，对脑核磁共振图像进行预处理，并将预处理后的脑核磁共振图像输入到联合网络模型中，得到分割结果；其中，联合网络模型包括超高场磁共振影像重建网络和海马亚区分割网络；超高场磁共振影像重建网络包括生成网络和判别网络；
对联合网络模型进行训练的过程包括：
S1：获取核磁共振影像数据集，并对数据集进行预处理；将预处理后的数据集划分为训练集和验证集；
S2：将训练集中的影像输入到超高场磁共振影像重建网络中，采用生成网络提取输入图像的深层特征和浅层特征，并对深层特征和浅层特征进行融合重建，得到初始重建后MRI；
S3：将初始重建后MRI与训练集中常规MRI输入到判别器网络中与真实MRI进行对比，若输出为假，则返回步骤S2，若输出为真，则输出重建后的MRI；
S4：将重建后的MRI和常规MRI输入到海马亚区分割网络中提取多尺度特征信息，得到海马亚区分割概率图；
S5：根据海马亚区分割概率图获取重建MRI和常规MRI所对应的分割真值图像，设置初始类别平均dice为0，每个epoch结束后，使用验证集的数据进行模型性能验证，并计算类别平均dice，若比前一个epoch的类别平均dice值高，则保存模型，否则，继续训练；
S6：计算联合网络模型的损失函数，不断调整模型参数，当损失函数收敛时完成模型的训练。
2.根据权利要求1所述的一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，对脑核磁共振图像进行预处理的过程包括：对所有的磁共振影像数据进行去噪和偏置场校正，将3T T2和7T T2 MRI与相对应的3T T1和7T T1MRI对齐，将7T T1 MRI线性配准到3T T1 MRI，使用ANTS可变形配准将3T T1 MRI线性配准到无偏模板；从无偏模板中提取包含左右海马的两个立方ROI；对于每一侧，通过将该侧的解剖标签合并到单个标签中，将生成的二进制分割映射到模板空间中，并提取覆盖模板空间中所有海马区域的矩形框，得到立方体ROI；对左右模板的立方体ROI进行上采样；将所有模态的MRI数据和手动标签映射到相应的半球模板ROI中，得到预处理后的脑核磁共振图。
3.根据权利要求1所述的一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，生成网络结构包括一个对称的6层encoder-decoder结构，共包含6个三维卷积层、6个三维反卷积层、5个特征拼接层；每个三维卷积层通过批标准化和ReLU激活函数；每个三维反卷积层通过拼接层、批标准化和ReLU激活函数，前三个三维反卷积层在拼接层、批标准化和ReLU激活函数后通过Dropout操作；前两个三维卷积层和后两个三维反卷积层的卷积核大小均为5，其余卷积核大小均为3；每个三维反卷积层在通过批标准化、ReLU激活函数或批标准化、ReLU激活函数、Dropout操作后，与特征图数量相同且通过批标准化和ReLU激活函数的卷积层进行拼接，得到所述的特征拼接层；每个三维卷积层和三维反卷积层均使用光谱归一化；第四个三维卷积层和第四个三维反卷积层在通过批标准化和ReLU激活函数后通过三维自注意力模块，通过生成器生成的图像包含真实的解剖细节。
4.根据权利要求3所述的一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，三维自注意力模块对特征图进行处理的过程包括：
步骤1：将网络中间隐藏层的特征图x转换为两个特征空间，计算公式为：
f(x)＝Wfx
g(x)＝Wgx
其中，f(x)表示对输入图像进行特征提取后获得的特征空间，Wf表示学习权重矩阵，g(x)表示对输入图像进行特征提取后获得的特征空间，Wg表示学习权重矩阵；
步骤2：计算特征空间的注意力，其计算公式为：
Figure FDA0004093005160000031
Sj,i＝f(xj)Tg(xi)
其中，βj,i表示体素j对体素i的注意，N表示输入图像的体素总数；
步骤3：计算第三个特征空间h(x)＝Whx∈RC×(h×w×d)，其中Wh表示，RC×(h×w×d)表示；
步骤4：计算第三特征空间的注意特征图Oj，其计算的表达为：
Figure FDA0004093005160000032
h(xi)＝Whx,v(xi)＝Wvx
其中，v表示βj,i与第三个特征空间h(x)进行矩阵相乘后再对其融合后的特征进行信息提取，βj,i表示体素j对体素i的注意，Wv表示学习权重矩阵；
步骤5：根据三种特征空间的注意力计算模块最终输出的注意力特征图，其表达式为：
yj＝αOj+xj
其中，α为初始化为0的可学习标量。
5.根据权利要求1所述的一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，判别网络为PatchGAN网络，包括5层三维卷积层的全卷积网络；每个三维卷积层通过批标准化、ReLU激活函数和Dropout操作；第三个三维卷积层在通过批标准化、ReLU激活函数和Dropout操作后通过三维自注意力模块；每个三维卷积层均使用光谱归一化。
6.根据权利要求1所述的一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，海马亚区分割网络为对称的3D-Unet结构，包括10个三维卷积层、4个三维反卷积层和4个特征拼接层；第五个三维卷积层前的每个三维卷积层通过批标准化、ReLU激活函数、3D MaxPooling操作；第五个三维卷积层通过批标准化和ReLU函数输入进第一个三维反卷积层；每个三维反卷积层依次通过特征拼接层、三维卷积层、批标准化和ReLU函数；每个三维反卷积层与特征图数量相同的3D MaxPooling操作前且通过批标准化和ReLU函数的三维卷积层进行通道拼接，得到所述的特征拼接层；在每个三维反卷积层中引入多尺度深度监督模块。
7.根据权利要求1所述的一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，采用海马亚区分割网络对重建后的MRI和常规MRI提取多尺度特征信息的过程包括：将分割网络中扩展路径中间三层的输出上采样到顶层输出大小，输出特征图数量为类别数量；不同尺度的侧边输出通过softmax层得到分割概率图。
8.根据权利要求1所述的一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，联合网络模型的损失函数包括超高场磁共振影像重建网络的损失函数和海马亚区分割网络损失函数；超高场磁共振影像重建网络的损失函数包括对抗损失、特征匹配损失、ROI损失；海马亚区分割网络的损失函数为基于解剖先验知识的解剖加权交叉熵损失。
9.一种基于超高场磁共振影像重建的海马亚区分割系统，该系统用于执行权利要求1～8所述的任意一种基于超高场磁共振影像重建的海马亚区分割方法，其特征在于，包括：联合网络模型训练模块、测试集磁共振影像接收模块、测试集磁共振影像分割处理模块以及分割结果输出模块；
所述联合网络模型训练模块包括训练图像接收单元、训练图像分析处理单元、超高场磁共振影像合成单元以及海马亚区分割单元；
所述训练图像接收单元用于接收训练图像；
所述训练图像分析处理单元用于对训练图像进行特征分析处理，并融合图像的特征信息；
所述超高场磁共振影像合成单元根据融合的特征信息采用对抗性学习的方法重建超高场MRI影像；
所述海马亚区分割单元用于对训练图像和合成的超高场MRI影像进行特征分析，融合有效的特征信息，对融合的特征信息进行分割处理，直至联合网络模型中超高场MRI影像合成单元和海马亚区分割单元的损失函数均收敛至预设阈值时，完成深度学习训练；
所述测试集磁共振影像接收模块用于接收待分割的磁共振影像数据信息；
所述测试集磁共振影像分割处理模块用于对磁共振影像接收模块(2)接收的待分割磁共振影像数据信息进行分割处理；
所述分割结果输出模块用于输出海马亚区分割结果。
10.根据权利要求9所述的一种基于超高场磁共振影像重建的海马亚区分割系统，其特征在于，测试集磁共振影像分割处理模块包括超高场MRI影像合成单元、特征分解单元、特征处理单元、特征融合单元以及分类单元；
所述超高场MRI影像合成单元用于对测试集磁共振影像数据信息进行特征分析，对不同模态下的数据信息进行多次卷积处理和反卷积处理，得到各个子块的特征信息，并将其进行特征信息融合，得到合成的超高场MRI影像；
所述特征分解单元用于将测试图像和合成的超高场MRI影像数据信息进行多尺度分解，得到不同模态下的多个子块；
所述特征处理单元用于对各个子块进行多次卷积处理和反卷积处理，得到各个子块的特征信息；
所述特征融合单元用于对所有子块的特征信息进行融合，得到融合特征；
所述分类单元用于通过分类器对融合特征进行分类，得到海马亚区分割结果。
CN202310157600.8A 2023-02-23 2023-02-23 一种基于超高场磁共振影像重建的海马亚区分割方法及系统 Pending CN116071383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310157600.8A CN116071383A (zh) 2023-02-23 2023-02-23 一种基于超高场磁共振影像重建的海马亚区分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310157600.8A CN116071383A (zh) 2023-02-23 2023-02-23 一种基于超高场磁共振影像重建的海马亚区分割方法及系统

Publications (1)

Publication Number Publication Date
CN116071383A true CN116071383A (zh) 2023-05-05

Family

ID=86176804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310157600.8A Pending CN116071383A (zh) 2023-02-23 2023-02-23 一种基于超高场磁共振影像重建的海马亚区分割方法及系统

Country Status (1)

Country Link
CN (1) CN116071383A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645336A (zh) * 2023-05-10 2023-08-25 烟台大学 一种mri脑图像分割腺垂体方法
CN116908760A (zh) * 2023-07-11 2023-10-20 哈尔滨工业大学 一种基于深度解耦网络的mri偏置场修正方法及系统
CN117853858A (zh) * 2024-03-07 2024-04-09 烟台大学 基于全局和局部信息的磁共振图像合成方法、系统和设备
CN118470057A (zh) * 2024-07-11 2024-08-09 南京先维信息技术有限公司 一种基于动态阈值的三维图像分割方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645336A (zh) * 2023-05-10 2023-08-25 烟台大学 一种mri脑图像分割腺垂体方法
CN116645336B (zh) * 2023-05-10 2024-05-07 烟台大学 一种mri脑图像分割腺垂体方法
CN116908760A (zh) * 2023-07-11 2023-10-20 哈尔滨工业大学 一种基于深度解耦网络的mri偏置场修正方法及系统
CN116908760B (zh) * 2023-07-11 2024-05-14 哈尔滨工业大学 一种基于深度解耦网络的mri偏置场修正方法及系统
CN117853858A (zh) * 2024-03-07 2024-04-09 烟台大学 基于全局和局部信息的磁共振图像合成方法、系统和设备
CN118470057A (zh) * 2024-07-11 2024-08-09 南京先维信息技术有限公司 一种基于动态阈值的三维图像分割方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Menze et al. The multimodal brain tumor image segmentation benchmark (BRATS)
CN116071383A (zh) 一种基于超高场磁共振影像重建的海马亚区分割方法及系统
EP3432263A1 (en) Semantic segmentation for cancer detection in digital breast tomosynthesis
EP3792879A1 (en) Manipulable object synthesis in 3d medical images with structured image decomposition
US20220051801A1 (en) Classifying neurological disease status using deep learning
US8693750B2 (en) Method and system for automatic detection of spinal bone lesions in 3D medical image data
EP3754610A1 (en) Class-aware adversarial pulmonary nodule synthesis
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
Li et al. DenseX-net: an end-to-end model for lymphoma segmentation in whole-body PET/CT images
Huang et al. VP-Nets: Efficient automatic localization of key brain structures in 3D fetal neurosonography
Zhu et al. A 3d coarse-to-fine framework for automatic pancreas segmentation
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
Abdullah et al. Multi-sectional views textural based SVM for MS lesion segmentation in multi-channels MRIs
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Manjón et al. vol2Brain: a new online pipeline for whole brain MRI analysis
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
Bakkouri et al. Recognition of Alzheimer's disease on sMRI based on 3D multi-scale CNN features and a gated recurrent fusion unit
CN117649400B (zh) 一种异常检测框架下的影像组学分析方法及系统
CN114787862A (zh) 医学图像分割和图集图像选择
Zwettler et al. Strategies for training deep learning models in medical domains with small reference datasets
Sivasankaran et al. Lung Cancer Detection Using Image Processing Technique Through Deep Learning Algorithm.
Soundarya et al. Brain Tumor Detection Using Image Processing
US12039735B2 (en) Systems and methods for automatic segmentation of organs from head and neck tomographic images
EP4336442A1 (en) Method for characterizing an organ of a patient in a medical image
CN109615605B (zh) 基于量子势能模型的功能磁共振成像脑分区方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination