CN116129235A - 一种脑梗ct到mri常规序列的医学图像跨模态合成方法 - Google Patents

一种脑梗ct到mri常规序列的医学图像跨模态合成方法 Download PDF

Info

Publication number
CN116129235A
CN116129235A CN202310395314.5A CN202310395314A CN116129235A CN 116129235 A CN116129235 A CN 116129235A CN 202310395314 A CN202310395314 A CN 202310395314A CN 116129235 A CN116129235 A CN 116129235A
Authority
CN
China
Prior art keywords
image
mri
convolution
brain stem
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310395314.5A
Other languages
English (en)
Other versions
CN116129235B (zh
Inventor
郑强
陈莹钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingruiyun Medical Technology Yantai Co ltd
Original Assignee
Yingruiyun Medical Technology Yantai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yingruiyun Medical Technology Yantai Co ltd filed Critical Yingruiyun Medical Technology Yantai Co ltd
Priority to CN202310395314.5A priority Critical patent/CN116129235B/zh
Publication of CN116129235A publication Critical patent/CN116129235A/zh
Application granted granted Critical
Publication of CN116129235B publication Critical patent/CN116129235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，所述合成方法包括以下步骤：对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；使用MRIcron软件将采集得到Dicom格式的CT数据和MRI数据转换成Nifit格式，并进一步转换成PNG格式的二维切片，制作PNG格式的脑梗CT‑MRI成对数据集；针对预处理得到的脑梗CT‑MRI成对数据集，建立深度学习模型，所述深度学习模型以GAN模型为基础框架进行改进，所述深度学习模型包括生成器G和判别器D。

Description

一种脑梗CT到MRI常规序列的医学图像跨模态合成方法
技术领域
本发明涉及一种脑梗CT到MRI常规序列的医学图像跨模态合成方法。
背景技术
脑梗又称缺血性脑卒中，是由血管阻塞引起的脑缺血所致的脑功能障碍，在治疗过程中，由于CT对脑出血敏感度很高，是排除脑出血的首选方法，但CT对急性缺血性脑卒中并不敏感，病变影像并不明显。当排除了脑出血后，如果病人有严重的症状，而CT是阴性的，则需要进一步的MRI检查。
在临床诊断中，需要直接获取多个MRI常规序列共同来判断病灶位置和大小等，但获取多个MRI常规序列会耗费较多的时间，会导致救治时机的延误，同时价格昂贵，对患者负担较大。
随着深度学习在医学图像分析领域的发展，利用深度学习算法实现跨模态医学图像合成成为了可能，可以在不用进行MRI扫描的情况下，实现MRI常规序列图像的人工智能合成，极大降低因为延误救治时机所带来的疾病风险。
现有的医学图像合成方法通常是基于生成对抗网络来实现的，由于大多数生成对抗网络的生成器是基于卷积来提取特征，但卷积操作具有一定的局限性，不能有效学习远程语义信息；医学图像包含健康组织和病理组织之间的上下文关系，而卷积操作限制了反映长距离空间依赖的上下文特征的表达能力，导致该模型不能有效提取病变信息，无法在合成图片中很好的显示病变区域，医学图像合成效果不佳。
发明内容
本发明实施例提供了一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，方法设计合理，以GAN为基础框架，在U-Net机构的生成器中添加了基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，并改进了目标函数，采用深度学习模型对数据预处理之后的成对CT数据集和MRI数据集进行训练，可以更好的提取了输入图片的上下文信息，能够在不进行MRI扫描的情况下快速准确的完成从脑梗CT到MRI常规序列医学图像的合成，有效捕获了医学图像的远程依赖关系，更专注与区分正常组织和病变组织，极大降低因为延误救治时间所带来的疾病风险，同时能够合成高质量的包含病变信息的MRI常规序列图像，显示了良好的临床应用潜力，解决了现有技术中存在的问题。
本发明为解决上述技术问题所采用的技术方案是：
一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，所述合成方法包括以下步骤：
S1，对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；使用MRIcron软件将采集得到Dicom格式的CT数据和MRI数据转换成Nifit格式，并进一步转换成PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集；
S2，针对预处理得到的脑梗CT-MRI成对数据集，建立深度学习模型，所述深度学习模型以GAN模型为基础框架进行改进，所述深度学习模型包括生成器G和判别器D，所述生成器用于学习从输入CT图像x和随机噪声z到输出MRI图像y的映射，以对CT图像进行编码，再将CT图像解码为MRI图像；所述判别器用于设计基于边缘特征约束的损失函数和使用仅对高频结构建模的马尔可夫判别器来判断输入图像的真实性；
在生成器内设有基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，以接收PNG格式的脑梗CT-MRI成对数据集；在判别器内设有五个卷积块组成的全卷积网络，以通过局部图像块的结构就可以对于输入的图像进行判断；
S3，将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练，以CT图片为源图像，以MRI图片为目标图像，从而得到训练好的生成器和判别器；
S4，保存训练后的深度学习模型，提取输入图像的全局特征和局部特征，再通过边缘检测器进一步提取输入图像的边缘信息，将正常组织和病变组织区分开，使合成图像更清晰显示出病灶的位置和大小；将PNG格式的二维CT切片输入到训练好的深度学习模型中，即可获取对应的合成MRI图像。
对CT数据和MRI数据进行预处理包括以下步骤:
S1.1，将医院采集到的原始Dicom格式的CT数据和MRI数据使用MRIcron软件转换为Nifit格式；
S1.2，使用3D slicer软件将CT图像和MRI图像进行配准，将MRI图像设置为固定图像，CT图像设置为浮动图像；
S1.3，选择Elastix配准工具中的刚性配准作为配准标准，将CT图像配到MRI图像上；
S1.4，对CT图像和MRI图像进行归一化处理，将数据归一化到[0,1]之间，将Nifti格式的CT图像和MRI图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集。
所述基于全卷积Transformer的U-Net分支设置在生成器下方，所述基于协调注意力模块的纹理细节学习网络分支设置在生成器上方；所述基于全卷积Transformer的U-Net分支使用Transformer来捕捉图像中的远程依赖关系，学习正常区域和病变区域的上下文信息；所述基于协调注意力模块的纹理细节学习网络分支借助注意力机制以特征图加权求和的方式将病变区域高亮显示，并使用更深层的残差网络来增大感受野，提取图像的深层特征；
所述基于全卷积Transformer的U-Net分支包括卷积注意力模块和视野聚焦模块；所述卷积注意力模块用于学习脑梗CT-MRI成对数据集远程语义上下文特征，所述视野聚焦模块用于采用多分辨率空洞卷积来学习脑梗CT-MRI成对数据集的局部和全局上下文特征；
所述基于协调注意力模块的纹理细节学习网络分支用于将经卷积操作的输入CT图像的特征图分别沿水平坐标和垂直坐标两个空间方向进行平均池化。
经卷积操作的输入CT图像的特征图的高度h和宽度w设置为64，所述池化核的空间范围分别为（H，1）和（1，W），进而生成特征图两个空间方向的聚合特征图；将两个聚合特征图拼接起来输入到卷积变换函数中，使用非线性激活函数生成中间特征图，以沿着一个空间方向捕获图像的远程依赖关系，沿着另一个空间方向保留图像的位置信息。
将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练包括以下步骤：
S3.1，使用生成器中基于全卷积Transformer的U-Net分支，借助该分支U-Net结构中的卷积算子学习输入图像的局部信息，Transformer学习输入图像的全局信息，额外添加的分支学习输入图片的纹理和细节，边缘检测器提取输入图像和合成图像的边缘信息；
S3.2，生成器学习源图像到目标图像的映射，以从源图像合成到目标图像，并将合成的目标图像送入到判别器，所述映射为：
。
其中，x为输入CT图像，z为随机噪声，y为输出MRI图像；
S3.3，对判别器进行训练，更新判别器的网络参数，将真实MRI图像和合成MRI图像进行拼接，送入判别器进行评估，结合真实MRI图像和合成MRI图像的标签，得到对应的评估分数，根据评估分数和标签之间的差值作为损失函数进行梯度反向传播来更新生成器的参数，使生成器合成更加逼真的图像。
在卷积注意力模块中设有卷积嵌入层和卷积投影，所述卷积嵌入层用于将输入映射成指定数量的特征嵌入，所述卷积投影用于通过深度可分离卷积对每一个特征嵌入进行投影以生成Q、K和V，同时还能够对每一个特征嵌入的成Q、K和V进行多头自注意力机制的计算；在视觉聚焦模块中设有多分支空洞卷积层以获取医学图像更多的空间上下文信息。
所述脑梗CT-MRI成对数据集以6：2：2的比例被随机划分为训练集、验证集和测试集。
本发明采用上述结构，通过对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；通过设计建立深度学习模型以对脑梗CT-MRI成对数据集进行训练，得到训练好的生成器和判别器；通过训练和的深度学习模型来提取输入图像的全局特征和局部特征，再通过边缘检测器进一步提取输入图像的边缘信息，将正常组织和病变组织区分开，使合成图像更清晰显示出病灶的位置和大小；通过将PNG格式的二维CT切片输入到训练好的深度学习模型中，即可获取对应的合成MRI图像，具有精准实用、快捷高效的优点。
附图说明
图1为本发明的深度学习模型的结构示意图。
图2为本发明的协调注意力模块的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。
如图1-2中所示，一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，所述合成方法包括以下步骤：
S1，对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；使用MRIcron软件将采集得到Dicom格式的CT数据和MRI数据转换成Nifit格式，并进一步转换成PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集；
S2，针对预处理得到的脑梗CT-MRI成对数据集，建立深度学习模型，所述深度学习模型以GAN模型为基础框架进行改进，所述深度学习模型包括生成器G和判别器D，所述生成器用于学习从输入CT图像x和随机噪声z到输出MRI图像y的映射，以对CT图像进行编码，再将CT图像解码为MRI图像；所述判别器用于设计基于边缘特征约束的损失函数和使用仅对高频结构建模的马尔可夫判别器来判断输入图像的真实性；
在生成器内设有基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，以接收PNG格式的脑梗CT-MRI成对数据集；在判别器内设有五个卷积块组成的全卷积网络，以通过局部图像块的结构就可以对于输入的图像进行判断；
S3，将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练，以CT图片为源图像，以MRI图片为目标图像，从而得到训练好的生成器和判别器；
S4，保存训练后的深度学习模型，提取输入图像的全局特征和局部特征，再通过边缘检测器进一步提取输入图像的边缘信息，将正常组织和病变组织区分开，使合成图像更清晰显示出病灶的位置和大小；将PNG格式的二维CT切片输入到训练好的深度学习模型中，即可获取对应的合成MRI图像。
对CT数据和MRI数据进行预处理包括以下步骤:
S1.1，将医院采集到的原始Dicom格式的CT数据和MRI数据使用MRIcron软件转换为Nifit格式；
S1.2，使用3D slicer软件将CT图像和MRI图像进行配准，将MRI图像设置为固定图像，CT图像设置为浮动图像；
S1.3，选择Elastix配准工具中的刚性配准作为配准标准，将CT图像配到MRI图像上；
S1.4，对CT图像和MRI图像进行归一化处理，将数据归一化到[0,1]之间，将Nifti格式的CT图像和MRI图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集。
所述基于全卷积Transformer的U-Net分支设置在生成器下方，所述基于协调注意力模块的纹理细节学习网络分支设置在生成器上方；所述基于全卷积Transformer的U-Net分支使用Transformer来捕捉图像中的远程依赖关系，学习正常区域和病变区域的上下文信息；所述基于协调注意力模块的纹理细节学习网络分支借助注意力机制以特征图加权求和的方式将病变区域高亮显示，并使用更深层的残差网络来增大感受野，提取图像的深层特征；
所述基于全卷积Transformer的U-Net分支包括卷积注意力模块和视野聚焦模块；所述卷积注意力模块用于学习脑梗CT-MRI成对数据集远程语义上下文特征，所述视野聚焦模块用于采用多分辨率空洞卷积来学习脑梗CT-MRI成对数据集的局部和全局上下文特征；
所述基于协调注意力模块的纹理细节学习网络分支用于将经卷积操作的输入CT图像的特征图分别沿水平坐标和垂直坐标两个空间方向进行平均池化。
经卷积操作的输入CT图像的特征图的高度h和宽度w设置为64，所述池化核的空间范围分别为（H，1）和（1，W），进而生成特征图两个空间方向的聚合特征图；将两个聚合特征图拼接起来输入到卷积变换函数中，使用非线性激活函数生成中间特征图，以沿着一个空间方向捕获图像的远程依赖关系，沿着另一个空间方向保留图像的位置信息。
将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练包括以下步骤：
S3.1，使用生成器中基于全卷积Transformer的U-Net分支，借助该分支U-Net结构中的卷积算子学习输入图像的局部信息，Transformer学习输入图像的全局信息，额外添加的分支学习输入图片的纹理和细节，边缘检测器提取输入图像和合成图像的边缘信息；
S3.2，生成器学习源图像到目标图像的映射，以从源图像合成到目标图像，并将合成的目标图像送入到判别器，所述映射为：
。
其中，x为输入CT图像，z为随机噪声，y为输出MRI图像；
S3.3，对判别器进行训练，更新判别器的网络参数，将真实MRI图像和合成MRI图像进行拼接，送入判别器进行评估，结合真实MRI图像和合成MRI图像的标签，得到对应的评估分数，根据评估分数和标签之间的差值作为损失函数进行梯度反向传播来更新生成器的参数，使生成器合成更加逼真的图像。
在卷积注意力模块中设有卷积嵌入层和卷积投影，所述卷积嵌入层用于将输入映射成指定数量的特征嵌入，所述卷积投影用于通过深度可分离卷积对每一个特征嵌入进行投影以生成Q、K和V，同时还能够对每一个特征嵌入的成Q、K和V进行多头自注意力机制的计算；在视觉聚焦模块中设有多分支空洞卷积层以获取医学图像更多的空间上下文信息。
所述脑梗CT-MRI成对数据集以6：2：2的比例被随机划分为训练集、验证集和测试集。
本发明实施例中的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法的工作原理为：以GAN为基础框架，在U-Net机构的生成器中添加了基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，并改进了目标函数，采用深度学习模型对数据预处理之后的成对CT数据集和MRI数据集进行训练，可以更好的提取了输入图片的上下文信息，能够在不进行MRI扫描的情况下快速准确的完成从脑梗CT到MRI常规序列医学图像的合成，有效捕获了医学图像的远程依赖关系，更专注与区分正常组织和病变组织，极大降低因为延误救治时间所带来的疾病风险，同时能够合成高质量的包含病变信息的MRI常规序列图像，显示了良好的临床应用潜力。
在整体方案中，所述合成方法主要包括以下步骤：对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式-脑梗CT-MRI成对数据集；针对预处理得到的脑梗CT-MRI成对数据集，建立深度学习模型；将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练，以CT图片为源图像，以MRI图片为目标图像，从而得到训练好的生成器和判别器；保存训练后的深度学习模型，提取输入图像的全局特征和局部特征，再通过边缘检测器进一步提取输入图像的边缘信息，将正常组织和病变组织区分开，使合成图像更清晰显示出病灶的位置和大小；将PNG格式的二维CT切片输入到训练好的深度学习模型中，即可获取对应的合成MRI图像。
对于对CT数据和MRI数据进行预处理包括以下步骤: 将医院采集到的原始Dicom格式的CT数据和MRI数据使用MRIcron软件转换为Nifit格式；使用3D slicer软件将CT图像和MRI图像进行配准，将MRI图像设置为固定图像，CT图像设置为浮动图像；选择Elastix配准工具中的刚性配准作为配准标准，将CT图像配到MRI图像上；对CT图像和MRI图像进行归一化处理，将数据归一化到[0,1]之间，将Nifti格式的CT图像和MRI图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集。
为了加快网络训练和收敛的速度，采用Min-Max归一化的处理方式按照最小值Min中心化后，再按极差值进行缩放。
建立深度学习模型对脑梗CT-MRI成对数据集进行处理，在训练过程中，模型学习输入图像的局部信息、全局信息和边缘信息，更好的提取了输入图片的上下文信息，经过训练后的模型能够快速准确地完成从脑梗CT到MRI常规序列医学图像。
不同于现有常用的仅基于卷积算子的医学图像合成模型，本发明提出的模型以GAN为基础框架，在U-Net机构的生成器中添加了基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，并改进了目标函数，额外添加了边缘信息约束。
具体的，所述深度学习模型包括生成器G和判别器D，所述生成器用于学习从输入CT图像x和随机噪声z到输出MRI图像y的映射，以对CT图像进行编码，再将CT图像解码为MRI图像；所述判别器用于设计基于边缘特征约束的损失函数和使用仅对高频结构建模的马尔可夫判别器来判断输入图像的真实性。
在生成器中设有基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，以接收PNG格式的脑梗CT-MRI成对数据集；所述基于全卷积Transformer的U-Net分支设置在生成器下方，所述基于协调注意力模块的纹理细节学习网络分支设置在生成器上方；所述基于全卷积Transformer的U-Net分支使用Transformer来捕捉图像中的远程依赖关系，学习正常区域和病变区域的上下文信息；所述基于协调注意力模块的纹理细节学习网络分支借助注意力机制以特征图加权求和的方式将病变区域高亮显示，并使用更深层的残差网络来增大感受野，提取图像的深层特征。
进一步的，生成器以经典的U-Net网络为基本结构，并在U-Net的编码器中添加了全卷积Transformer模块以更好的进行特征提取，有效的权衡了不同层之间的高频和低频信息。
基于全卷积Transformer的U-Net分支包括卷积注意力模块和视野聚焦模块；所述卷积注意力模块用于学习脑梗CT-MRI成对数据集远程语义上下文特征，所述视野聚焦模块用于采用多分辨率空洞卷积来学习脑梗CT-MRI成对数据集的局部和全局上下文特征。
在卷积注意力模块中，首先，通过卷积嵌入层以将输入映射成指定数量的特征嵌入，卷积嵌入层允许在不影响性能的情况下从网络中删除原始Transformer的位置嵌入，并且有助于在没有位置嵌入的情况下建模空间关系，使其更加符合视觉任务的设计；其次，卷积投影通过深度可分离卷积对每一个特征嵌入进行投影以生成Q、K和V，其中深度可分离卷积能够有效地减少计算成本和内存使用；最后，对每一个特征嵌入的Q、K和V进行多头自注意力机制的计算。
在视野聚焦模块中，为了提取医学图像的细粒度信息，该模块采用了多分支空洞卷积层，以利用不同大小的感受野来获得医学图像更多的空间上下文信息，最后通过求和来融合多分支卷积层的特征。
在本申请中，基于全卷积Transformer的U-Net分支是一个核心功能组件，由于医学图像中包含正常组织和病变组织的上下文信息，基于全卷积Transformer的U-Net分支将卷积神经网络提取局部特征的能力和Transformer学习远程语义信息的能力相结合，可以有效提取医学图像包含的病灶和其周围正常组织的上下文特征，因此合成的医学图像可以将病变组织同正常组织准确区分开。
对于基于协调注意力模块的纹理细节学习网络分支，由若干个残差块组成，并在该分支中添加了协调注意力模块，协调注意力模块将位置信息嵌入到通道注意中，能够获取特征的结构信息和位置信息，使输出的特征图含有丰富的位置信息。
具体来说，由于全局池化很难保留精确的位置信息，先将全局池化分解为两个1D特征编码，将大小为的输入特征图x分别沿着水平坐标和垂直坐标两个空间方向进行平均池化，池化核的空间范围分别为(H,1)和(1,W)，将得到的特征图沿着两个空间方向聚合特征，生成两个聚合特征图。
通过这种方法可以沿着一个空间方向捕获远程依赖关系，沿着另一个空间方向保留位置信息；将生成的两个聚合特征图拼接起来送到卷积变换函数中，使用非线性激活函数生成中间特征图，再将中间特征图沿着水平方向和垂直方向拆分为两个单独的张量，把两个单独的张量分别输入到卷积变换函数中转换为和输入特征具有相同通道数的张量，最后结合sigmoid函数得到输出特征图。
图像经过协调注意力模块可以将位置信息嵌入到通道中，得到的输出再经过9个残差块，利用残差网络的跳跃直连计算上下文特征；
纹理细节学习网络分支能够在输入医学图像的全局空间信息中提取出图像的深层特征，增强网络专注于医学图像中信息更丰富的区域和结构的能力。
医学图像经过基于协调注意力模块的纹理细节学习网络分支后能够提取医学图像的结构信息、位置信息和上下文信息，更加清晰的显示病灶的结构和位置，将病变组织同正常组织区分开来。
优选的，将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练包括以下步骤：使用生成器中基于全卷积Transformer的U-Net分支，借助该分支U-Net结构中的卷积算子学习输入图像的局部信息，Transformer学习输入图像的全局信息，额外添加的分支学习输入图片的纹理和细节，边缘检测器提取输入图像和合成图像的边缘信息；生成器学习源图像到目标图像的映射，以从源图像合成到目标图像，并将合成的目标图像送入到判别器，所述映射为：
。
其中，x为输入CT图像，z为随机噪声，y为输出MRI图像；
对判别器进行训练，更新判别器的网络参数，将真实MRI图像和合成MRI图像进行拼接，由生成器送入判别器进行评估，结合真实MRI图像和合成MRI图像的标签，得到对应的评估分数，根据评估分数和标签之间的差值作为损失函数进行梯度反向传播来更新生成器的参数，使生成器合成更加逼真的图像。
对于本申请中的判别器，是设计基于边缘特征约束的损失函数和使用仅对高频结构建模的马尔可夫判别器来判断输入图像的真实性，可以准确捕捉到低频信息，由五个卷积块组成的全卷积网络，不需要输入整张图片，只需要将注意力限制在局部图像块的结构中就能对输入的图像进行准确判断，从而可以很好的关注图像中的高频信息；这些高频信息使得深度学习模型更加关注图像细节，不仅能够提升判别器判断图像真伪的能力，还可以加快判别器的运行速度，提升网络的性能。
判别器的具体操作为：判别器将输入的图像切割成N×N的图像块，然后判别器逐一对每一个图像块进行判断，最后将所有图像块的判断结果取平均作为判别器的输出。
对于基于边缘特征约束的损失函数：经典条件生成对抗网络的基本结构包括生成器G、判别器D，条件生成对抗网络学习从输入图像x和随机噪声z到输出图像y的映射，生成器G被训练生成以假乱真的合成图像，判别器D被训练更好的检测生成器G生成的虚假图像。
本申请提出的基于边缘特征约束的损失函数由三部分组成，其定义如下：
。
其中，为控制L1损失的权重，为控制边缘结构损失的权重；
是条件生成对抗网络的损失目标函数：
。
在条件生成对抗网络的损失目标函数中，生成器G和判别器D相互对抗，生成器G能够最小化该目标函数，而判别器D能够最大化该目标函数。
真实MRI图像和合成MRI图像的损失目标函数将GAN的目标函数与传统的损失相结合，同时使用L1损失减少合成图像模糊，消除真实MRI图像和合成MRI图像的差异性，使生成器得到可与真实图像相匹配的像素级别的输出。
L1损失目标函数的定义如下：
。
由于MRI经过边缘检测得到的边缘图可以更加清晰的描绘不同组织的边界轮廓，尤其是当MRI中包含病灶时，边缘信息能够将正常组织和病变区域区分开。
Sobel算子是滤波算子的形式，主要用于边缘检测，为了进一步提取MRI的边缘信息，本发明在网络中添加了Sobel边缘检测器，使用Sobel算子生成真实MRI图像和合成MRI图像的边缘图，另外在目标函数中额外添加了边缘信息约束，借助L1损失消除使用Sobel边缘检测器提取出的真实MRI和合成MRI的边缘图的差异。
基于边缘检测器的L1边缘结构损失目标函数定义如下：
。
特别说明的是，对于脑梗CT-MRI成对数据集以6：2：2的比例被随机划分为训练集、验证集和测试集；每位脑梗患者的CT图像和MRI常规序列(T1、T2、T2 Flair、DWI)包含20个横断面的2D图像切片，将这些切片重采样为256×256的大小。
为了增加训练数据，将原始切片进行旋转和左右翻转，并在训练阶段将每个图像都填充至286×286的大小，最后随机裁剪为256×256大小的子图像，经过模型训练后的输出图像大小为256×256。
本发明将全卷积Transformer和GAN网络相结合，以有利于学习输入图像的全局和局部特征；为GAN网络的生成器引入了一条纹理细节分支，用于同时捕捉输入图像的结构信息和位置信息，锐化合成的MRI图像，描绘病灶的区域，从而更好的学习病变区域和正常区域的特征；还添加了边缘特征约束，借助Sobel边缘检测器，消除真实MRI图像和合成MRI图像的边缘特征差异，以保证合成图像的准确度和可靠性。
综上所述，本发明实施例中的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法以GAN为基础框架，在U-Net机构的生成器中添加了基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，并改进了目标函数，采用深度学习模型对数据预处理之后的成对CT数据集和MRI数据集进行训练，可以更好的提取了输入图片的上下文信息，能够在不进行MRI扫描的情况下快速准确的完成从脑梗CT到MRI常规序列医学图像的合成，有效捕获了医学图像的远程依赖关系，更专注与区分正常组织和病变组织，极大降低因为延误救治时间所带来的疾病风险，同时能够合成高质量的包含病变信息的MRI常规序列图像，显示了良好的临床应用潜力。
上述具体实施方式不能作为对本发明保护范围的限制，对于本技术领域的技术人员来说，对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。
本发明未详述之处，均为本技术领域技术人员的公知技术。

Claims (7)

1.一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于，所述合成方法包括以下步骤：
S1，对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；使用MRIcron软件将采集得到Dicom格式的CT数据和MRI数据转换成Nifit格式，并进一步转换成PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集；
S2，针对预处理得到的脑梗CT-MRI成对数据集，建立深度学习模型，所述深度学习模型以GAN模型为基础框架进行改进，所述深度学习模型包括生成器G和判别器D，所述生成器用于学习从输入CT图像x和随机噪声z到输出MRI图像y的映射，以对CT图像进行编码，再将CT图像解码为MRI图像；所述判别器用于设计基于边缘特征约束的损失函数和使用仅对高频结构建模的马尔可夫判别器来判断输入图像的真实性；
在生成器内设有基于全卷积Transformer的U-Net分支和基于协调注意力模块的纹理细节学习网络分支，以接收PNG格式的脑梗CT-MRI成对数据集；在判别器内设有五个卷积块组成的全卷积网络，以通过局部图像块的结构就可以对于输入的图像进行判断；
S3，将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练，以CT图片为源图像，以MRI图片为目标图像，从而得到训练好的生成器和判别器；
S4，保存训练后的深度学习模型，提取输入图像的全局特征和局部特征，再通过边缘检测器进一步提取输入图像的边缘信息，将正常组织和病变组织区分开，使合成图像更清晰显示出病灶的位置和大小；将PNG格式的二维CT切片输入到训练好的深度学习模型中，即可获取对应的合成MRI图像。
2.根据权利要求1所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于，对CT数据和MRI数据进行预处理包括以下步骤:
S1.1，将医院采集到的原始Dicom格式的CT数据和MRI数据使用MRIcron软件转换为Nifit格式；
S1.2，使用3D slicer软件将CT图像和MRI图像进行配准，将MRI图像设置为固定图像，CT图像设置为浮动图像；
S1.3，选择Elastix配准工具中的刚性配准作为配准标准，将CT图像配到MRI图像上；
S1.4，对CT图像和MRI图像进行归一化处理，将数据归一化到[0,1]之间，将Nifti格式的CT图像和MRI图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集。
3.根据权利要求1所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于：所述基于全卷积Transformer的U-Net分支设置在生成器下方，所述基于协调注意力模块的纹理细节学习网络分支设置在生成器上方；所述基于全卷积Transformer的U-Net分支使用Transformer来捕捉图像中的远程依赖关系，学习正常区域和病变区域的上下文信息；所述基于协调注意力模块的纹理细节学习网络分支借助注意力机制以特征图加权求和的方式将病变区域高亮显示，并使用更深层的残差网络来增大感受野，提取图像的深层特征；
所述基于全卷积Transformer的U-Net分支包括卷积注意力模块和视野聚焦模块；所述卷积注意力模块用于学习脑梗CT-MRI成对数据集远程语义上下文特征，所述视野聚焦模块用于采用多分辨率空洞卷积来学习脑梗CT-MRI成对数据集的局部和全局上下文特征；
所述基于协调注意力模块的纹理细节学习网络分支用于将经卷积操作的输入CT图像的特征图分别沿水平坐标和垂直坐标两个空间方向进行平均池化。
4.根据权利要求3所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于：经卷积操作的输入CT图像的特征图的高度h和宽度w设置为64，在输入CT图像的特征图内设有池化核，所述池化核的空间范围分别为（H，1）和（1，W），进而生成特征图两个空间方向的聚合特征图；将两个聚合特征图拼接起来输入到卷积变换函数中，使用非线性激活函数生成中间特征图，以沿着一个空间方向捕获图像的远程依赖关系，沿着另一个空间方向保留图像的位置信息。
5.根据权利要求1所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于，将脑梗CT-MRI成对数据集输入到深度学习模型中进行训练包括以下步骤：
S3.1，使用生成器中基于全卷积Transformer的U-Net分支，借助该分支U-Net结构中的卷积算子学习输入图像的局部信息，Transformer学习输入图像的全局信息，额外添加的分支学习输入图片的纹理和细节，边缘检测器提取输入图像和合成图像的边缘信息；
S3.2，生成器学习源图像到目标图像的映射，以从源图像合成到目标图像，并将合成的目标图像送入到判别器，所述映射为：其中，x为输入CT图像，z为随机噪声，y为输出MRI图像；
S3.3，对判别器进行训练，更新判别器的网络参数，将真实MRI图像和合成MRI图像进行拼接，送入判别器进行评估，结合真实MRI图像和合成MRI图像的标签，得到对应的评估分数，根据评估分数和标签之间的差值作为损失函数进行梯度反向传播来更新生成器的参数，使生成器合成更加逼真的图像。
6.根据权利要求3所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于：在卷积注意力模块中设有卷积嵌入层和卷积投影，所述卷积嵌入层用于将输入映射成指定数量的特征嵌入，所述卷积投影用于通过深度可分离卷积对每一个特征嵌入进行投影以生成Q、K和V，同时还能够对每一个特征嵌入的成Q、K和V进行多头自注意力机制的计算；在视觉聚焦模块中设有多分支空洞卷积层以获取医学图像更多的空间上下文信息。
7.根据权利要求1所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于：所述脑梗CT-MRI成对数据集以6：2：2的比例被随机划分为训练集、验证集和测试集。
CN202310395314.5A 2023-04-14 2023-04-14 一种脑梗ct到mri常规序列的医学图像跨模态合成方法 Active CN116129235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310395314.5A CN116129235B (zh) 2023-04-14 2023-04-14 一种脑梗ct到mri常规序列的医学图像跨模态合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310395314.5A CN116129235B (zh) 2023-04-14 2023-04-14 一种脑梗ct到mri常规序列的医学图像跨模态合成方法

Publications (2)

Publication Number Publication Date
CN116129235A true CN116129235A (zh) 2023-05-16
CN116129235B CN116129235B (zh) 2023-06-23

Family

ID=86308442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310395314.5A Active CN116129235B (zh) 2023-04-14 2023-04-14 一种脑梗ct到mri常规序列的医学图像跨模态合成方法

Country Status (1)

Country Link
CN (1) CN116129235B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563189A (zh) * 2023-07-06 2023-08-08 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及系统
CN117036910A (zh) * 2023-09-28 2023-11-10 合肥千手医疗科技有限责任公司 一种基于多视图及信息瓶颈的医学图像训练方法
CN117422788A (zh) * 2023-12-19 2024-01-19 英瑞云医疗科技(烟台)有限公司 一种基于ct脑梗图像生成dwi图像的方法
CN117853858A (zh) * 2024-03-07 2024-04-09 烟台大学 基于全局和局部信息的磁共振图像合成方法、系统和设备
CN117953027A (zh) * 2024-03-22 2024-04-30 首都医科大学附属北京天坛医院 一种dwi-flair不匹配评估方法、装置、介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020198854A1 (en) * 2019-03-29 2020-10-08 Polyvalor, Limited Partnership Method and system for producing medical images
CN113808106A (zh) * 2021-09-17 2021-12-17 浙江大学 一种基于深度学习的超低剂量pet图像重建系统及方法
CN114240753A (zh) * 2021-12-17 2022-03-25 平安医疗健康管理股份有限公司 跨模态医学图像合成方法、系统、终端及存储介质
CN115311183A (zh) * 2022-08-08 2022-11-08 广东工业大学 一种医学图像跨模态合成方法、系统及可读存储介质
CN115409743A (zh) * 2022-11-03 2022-11-29 长春理工大学 基于深度学习用于脑部磁共振图像处理的模型构建方法
CN115841591A (zh) * 2022-11-28 2023-03-24 中国科学院深圳先进技术研究院 一种跨模态医学图像合成系统、方法及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020198854A1 (en) * 2019-03-29 2020-10-08 Polyvalor, Limited Partnership Method and system for producing medical images
CN113808106A (zh) * 2021-09-17 2021-12-17 浙江大学 一种基于深度学习的超低剂量pet图像重建系统及方法
CN114240753A (zh) * 2021-12-17 2022-03-25 平安医疗健康管理股份有限公司 跨模态医学图像合成方法、系统、终端及存储介质
CN115311183A (zh) * 2022-08-08 2022-11-08 广东工业大学 一种医学图像跨模态合成方法、系统及可读存储介质
CN115409743A (zh) * 2022-11-03 2022-11-29 长春理工大学 基于深度学习用于脑部磁共振图像处理的模型构建方法
CN115841591A (zh) * 2022-11-28 2023-03-24 中国科学院深圳先进技术研究院 一种跨模态医学图像合成系统、方法及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINZHENG CAI ET AL.: "Towards cross-modal organ translation and segmentation: A cycle- and shape-consistent generative adversarial network", 《MEDICAL IMAGE ANALYSIS》 *
项磊: "基于深度学习的多模态图像合成", 《知网》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563189A (zh) * 2023-07-06 2023-08-08 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及系统
CN116563189B (zh) * 2023-07-06 2023-10-13 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及系统
CN117036910A (zh) * 2023-09-28 2023-11-10 合肥千手医疗科技有限责任公司 一种基于多视图及信息瓶颈的医学图像训练方法
CN117036910B (zh) * 2023-09-28 2024-01-12 合肥千手医疗科技有限责任公司 一种基于多视图及信息瓶颈的医学图像训练方法
CN117422788A (zh) * 2023-12-19 2024-01-19 英瑞云医疗科技(烟台)有限公司 一种基于ct脑梗图像生成dwi图像的方法
CN117853858A (zh) * 2024-03-07 2024-04-09 烟台大学 基于全局和局部信息的磁共振图像合成方法、系统和设备
CN117953027A (zh) * 2024-03-22 2024-04-30 首都医科大学附属北京天坛医院 一种dwi-flair不匹配评估方法、装置、介质及产品

Also Published As

Publication number Publication date
CN116129235B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116129235B (zh) 一种脑梗ct到mri常规序列的医学图像跨模态合成方法
EP3046478B1 (en) Image analysis techniques for diagnosing diseases
CN112469340A (zh) 具有用于引导式肝成像的人工神经网络的超声系统
CN106340015B (zh) 一种关键点的定位方法和装置
CN111862249A (zh) 使用深度学习生成用于医学图像处理的规范成像数据的系统和方法
Huang et al. VP-Nets: Efficient automatic localization of key brain structures in 3D fetal neurosonography
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
US8948484B2 (en) Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition
EP2846310A2 (en) Method and apparatus for registering medical images
CN110599499B (zh) 基于多路卷积神经网络的mri图像心脏结构分割方法
JP6644795B2 (ja) 解剖学的オブジェクトをセグメント化する超音波画像装置及び方法
CN115004223A (zh) 用于在医学图像中自动检测解剖结构的方法和系统
CN113781439A (zh) 超声视频病灶分割方法及装置
US7801345B2 (en) Method of quantifying asymmetry of an object
CN106327479A (zh) 血管造影中介下先心病术中血管辨识的装置及方法
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN115830016A (zh) 医学图像配准模型训练方法及设备
Wang et al. A fast 3D brain extraction and visualization framework using active contour and modern OpenGL pipelines
US20130072782A1 (en) System and method for automatic magnetic resonance volume composition and normalization
CN116152235A (zh) 一种肺癌ct到pet的医学图像跨模态合成方法
CN116958094A (zh) 一种动态增强磁共振影像特征生成病理图像特征的方法
CN115439650A (zh) 基于ct图像跨模态迁移学习的肾脏超声图像分割方法
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
Mani Deep learning models for semantic multi-modal medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant