CN114638745B - 一种基于多借鉴信息的医学影像智能转换方法 - Google Patents
一种基于多借鉴信息的医学影像智能转换方法 Download PDFInfo
- Publication number
- CN114638745B CN114638745B CN202210258218.1A CN202210258218A CN114638745B CN 114638745 B CN114638745 B CN 114638745B CN 202210258218 A CN202210258218 A CN 202210258218A CN 114638745 B CN114638745 B CN 114638745B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- sample
- converted
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 69
- 238000002591 computed tomography Methods 0.000 description 61
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多借鉴信息的医学影像智能转换方法，涉及图像处理技术领域，该方法将待转换MR图像输入医学影像转换模型得到由待转换MR图像转换得到的CT图像，模型中的多借鉴信息提取模块提取待转换MR图像的若干层多借鉴信息，各层多借鉴信息反映待转换MR图像的高维特征并分别输入模型的解码模块的各个解码层中，可以达到可解释性和减少传统对抗生成网络中不可避免的随机性，从而将MR图像高效率、高质量的转换为CT图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种基于多借鉴信息的医学影像智能转换方法。
背景技术
现代医学中，医生主要依靠各种医学影像设备检测出的图像做出诊断和治疗方案。医学影像常见的有计算机断层扫描成像(CT)、核磁共振成像(MR)等。不同模态的医学图像能够提供不同的信息，例如CT图像具有很清晰的骨质信息和光子衰减信息；MR影像可以清晰地分辨出软组织、脂肪、水等组织类型。然而，大部分医学影像设备造价昂贵，体积庞大，结构复杂，一些偏远地区的医院甚至没有专业的医疗影像设备，专业技术人员更是不足。此外，部分影像图像的获取耗时冗长，CT图像甚至可能对人体造成一定的辐射性伤害。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于多借鉴信息的医学影像智能转换方法，本发明的技术方案如下：
一种基于多借鉴信息的医学影像智能转换方法，该方法包括：
获取待转换MR图像；
将待转换MR图像输入医学影像转换模型，医学影像转换模型包括编码模块、注意力机制模块、解码模块和多借鉴信息提取模块，编码模块对待转换MR图像进行编码后提取第一特征图，注意力机制模块将第一特征图转换为第二特征图，第二特征图输入解码模块依次经过各个级联的解码层，编码模块与解码模块之间还采用跳过连接；多借鉴信息提取模块提取待转换MR图像的若干层多借鉴信息，各层多借鉴信息反映待转换MR图像的高维特征并分别输入各个解码层中；解码模块中的各个解码层分别获取输入的特征图、输入的多借鉴信息以及编码模块输入的信息并进行解码处理；
根据医学影像转换模型的输出得到由待转换MR图像转换得到的CT图像。
其进一步的技术方案为，多借鉴信息提取模块包括高维特征预测单元和CT图像解码器，CT图像解码器包括若干个级联的解码层，CT图像解码器是基于VAE网络训练得到的CT图像自编码单元中的解码器；
高维特征预测单元用于获取待转换MR图像，并生成对应的CT图像的高维特征预测结果；
CT图像解码器对高维特征预测结果进行解码，由CT图像解码器的各个解码层分别输出各层多借鉴信息。
其进一步的技术方案为，高维特征预测单元包括MR图像编码器和特征预测器，MR图像编码器是基于VAE网络训练得到的MR图像自编码单元中的编码器，特征预测器基于PixelCNN+网络训练得到；
MR图像编码器用于提取待转换MR图像的高维特征，特征预测器用于基于待转换MR图像的高维特征生成对应的CT图像的高维特征预测结果。
其进一步的技术方案为，该方法还包括：
分别获取同一个人体组织区域在相同状态下的样本MR图像和样本CT图像作为一对样本组；
对于每一个样本组，获取当前的样本组中的样本MR图像经过预先训练得到的MR图像自编码单元中的编码器后提取得到的MR高维特征，获取当前的样本组中的样本CT图像经过预先训练得到的CT图像自编码单元中的编码器后提取得到的CT高维特征；
将每个样本组提取得到的MR高维特征作为输入、CT高维特征作为输出，利用各个样本组基于PixelCNN+网络训练得到特征预测器；
基于训练得到的特征预测器、MR图像自编码单元和CT图像自编码单元，将每个样本组中的样本MR图像作为输入、样本CT图像作为输出，训练得到医学影像转换模型。
其进一步的技术方案为，该方法还包括：
利用所有样本MR图像基于VAE网络训练得到MR图像自编码单元，MR图像自编码单元中包括编码器和解码器；
利用所有样本CT图像基于VAE网络训练得到CT图像自编码单元，CT图像自编码单元中包括编码器和解码器。
其进一步的技术方案为，该方法还包括：
采用基于特征的刚性配准方法Morphons对样本MR图像和样本CT图像进行变形配准；
利用完成图像配准操作的样本组进行模型训练。
其进一步的技术方案为，利用完成图像配准操作的样本组进行模型训练，包括：
采用随机裁剪和位置变换的方法对完成图像配准操作的样本组构成的原始数据集进行数据集扩充，得到不改变原始数据集的医学信息的扩充数据集；
利用扩充数据集进行模型训练。
其进一步的技术方案为，在训练医学影像转换模型的过程中，基于总体损失Ltotal使用网格寻优法进行模型训练，总体损失：
Ltotal＝λl1L1+λstyLstyle+λperLperceptual+λadvLadversarial；
其中，L1表示L1损失，Ladversarial表示对抗损失且基于判别器生成，Lperceptual表示感知损失，Lstyle表示样式损失，感知损失和样式损失基于VGG特征提取器生成，λl1、λsty、λper、λadv分别为各个损失的权重。
其进一步的技术方案为，在训练医学影像转换模型的过程中，分别利用样本组进行若干次平行训练，并将评价指标最优的模型作为最终的医学影像转换模型；评价指标包括峰值噪声比、结构相似度和均方误差中的至少一种。
其进一步的技术方案为，该方法还包括：
将待转换MR图像的图像预处理操作和医学影像转换模型进行集成封装，并采用Django框架提供调用接口实现转换平台的便捷使用；
图像预处理操作包括对待转换MR图像进行切片操作生成二维图像，并进行配准操作。
本发明的有益技术效果是：
本申请公开了一种基于多借鉴信息的医学影像智能转换方法，多借鉴信息提取模块提取待转换MR图像的多借鉴信息并输入到解码模块的各层中，可以达到可解释性和减少传统对抗生成网络中不可避免的随机性，从而将MR图像高效率、高质量的转换为CT图像。
附图说明
图1是本申请的医学影像转换模型的模型结构图以及信息流传递示意图。
图2是本申请训练多借鉴信息提取模块的示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于多借鉴信息的医学影像智能转换方法，该方法包括如下步骤：
步骤100，获取待转换MR图像。
步骤110，将待转换MR图像输入医学影像转换模型。
该医学影像转换模型预先训练得到，如图1所示，医学影像转换模型包括编码模块、注意力机制模块、解码模块和多借鉴信息提取模块。
编码模块、注意力机制模块、解码模块依次连接且整体采用E型分层结构，编码模块与解码模块之间还采用跳过连接。编码模块包括若干个级联的编码层，编码模块对待转换MR图像进行编码后提取第一特征图。注意力机制模块设置在编码模块和解码模块之间，注意力机制模块将第一特征图转换为第二特征图，注意力机制模块可以大幅度提高该模型对于细节方面的关注。解码模块包括若干个级联的解码层，第二特征图输入解码模块依次经过各个级联的解码层，图1以包括4个解码层为例。
多借鉴信息提取模块提取待转换MR图像的若干层多借鉴信息，各层多借鉴信息反映待转换MR图像的高维特征并分别输入各个解码层中。解码模块中的各个解码层分别获取输入的特征图、输入的多借鉴信息以及编码模块输入的信息并进行解码处理，一般是将输入的特征图、输入的多借鉴信息和对应编码层输入的信息相加后再执行相应的解码处理，第一个解码层获取到的特征图即为第二特征图，之后每一个解码层获取到的特征图即为前一个解码层的输出。
具体的，多借鉴信息提取模块包括高维特征预测单元和CT图像解码器，CT图像解码器包括若干个级联的解码层，高维特征预测单元基于PixelCNN+网络训练得到，CT图像解码器是基于VAE网络训练得到的CT图像自编码单元中的解码器。高维特征预测单元用于获取待转换MR图像，并生成对应的CT图像的高维特征预测结果F2～。CT图像解码器对高维特征预测结果F2～进行解码，由CT图像解码器的各个解码层分别输出各层多借鉴信息输入到解码模块的各个解码层中。
其中，高维特征预测单元包括MR图像编码器和特征预测器，MR图像编码器是基于VAE网络训练得到的MR图像自编码单元中的编码器，特征预测器基于PixelCNN+网络训练得到。MR图像编码器用于提取待转换MR图像的高维特征F1，特征预测器用于基于待转换MR图像的高维特征F1生成对应的CT图像的高维特征预测结果F2～。
传统多模态之间的互相转换通常采用基于CNN的深度神经网络，它们采用某一高维模态图像转换为低维特征，再从低维特征恢复成目标图像的经典的解决方案。然而作为医生对于病情研判的依据，普通的生成对抗网络中可借鉴的准确信息较少，在生成的过程中存在很大的随机性，从而对于生成图像的准确性产生影响。医生依据解释性不高的影像来对患者进行诊断存在一定的风险。而本申请的医学影像转换模型基于多借鉴信息构建，特征预测器基于待转换MR图像的高维特征F1得到对应的CT图像的高维特征预测结果F2～，实际上类似于一个索引的过程，基于训练后的特征预测器包含的知识，将F1与F2～一一对应起来。而CT图像解码器包含如何将F2～转换为CT图像的知识，这样可以将CT图像解码器各层得到的多借鉴信息与解码模块相连，可以达到可解释性和减少传统对抗生成网络中不可避免的随机性，从而使医生在对病患进行诊断时更具科学性。
步骤120，根据医学影像转换模型的输出得到由待转换MR图像转换得到的CT图像。
上述步骤110中使用到的医学影像转换模型需要预先训练得到，因此本申请提供的方法还包括在实际应用之前的模型训练部分，包括如下步骤：
步骤200，构建样本数据集。
(1)采集数据。鉴于在之后的模型训练过程中需要CT/MR影像具有一一对应的关系，因此对于同一个人体组织区域在相同状态下，通过医用CT机收集样本CT图像，并通过核磁共振仪收集样本MR图像，由此构成一对样本组。这里的相同状态比如进食前后、喝水前后等等。在初步得到若干个样本组之后，对样本组进行初步挑选，删去具有伪影、模糊、残缺等情况的图像，保证数据集的可学习性。
(2)切片操作。对收集到的三维MR和CT图像进行切片，获得信息量全面的二维图像。比如对于大小为128*128*96的原始图像，若要分成的图像块大小为128*128。可以以固定步幅8划分时，即z方向每次移动8个像素，从原始图像上划分出一个128*128*1的小图像块。最终一共可以获得12个小图像块。固定步幅划分的小图像块是按照一定顺序获得的，记住该顺序就可以重新合并成原始图像。
(3)配准操作。由于受试者在接受MR或CT扫描时难以避免会产生体位误差，且不同时间获得的不同模态的图像在空间坐标和分辨率之间存在一定差异，因此需要进行图像配准操作。一般而言，图像配准是一个迭代优化过程，该过程主要由特征提取、空间变换、图像插值、相似性测度和搜索策略优化五个步骤组成该过程主要是通过一个搜索策略优化算法来最大化移动图像与参考图像间预定义的相似性度量指标实现的。常用的度量指标有：平方差和(SSD)、互相关(CC)、互信息(MI)、归一化互相关(NCC)和归一化互信息(NMI)等。本申请采用基于特征的刚性配准方法Morphons对样本MR图像和样本CT图像进行变形配准。
(4)扩充数据集。为了避免样本量过小导致模型训练效果不佳，需要对已经得到的数据集进行样本扩充。常见的样本扩充方法有两大类，一类是几何变换，例如平移，旋转，缩放，翻转，错切，裁剪。一类是像素变换，例如添加高斯噪声，调整亮度、饱和度和对比度。为了避免生成不合理的影像导致模型训练崩溃，本申请采用随机裁剪和位置变换的方法对完成图像配准操作的样本组构成的原始数据集进行数据集扩充，得到不改变原始数据集的医学信息的扩充数据集。
步骤210，利用构建得到的样本数据进行模型训练。
一般首先训练得到多借鉴信息提取模块，训练过程如下：
步骤211，利用所有样本MR图像基于VAE网络训练得到MR图像自编码单元(VAE(MR))，MR图像自编码单元中包括编码器和解码器，为了便于描述，分别记为MR图像编码器和MR图像解码器。
步骤212，利用所有样本CT图像基于VAE网络训练得到CT图像自编码单元(VAE(CT))，CT图像自编码单元中包括编码器和解码器，为了便于描述，分别记为CT图像编码器和CT图像解码器。步骤212与步骤211没有特定的先后顺序。
步骤213，对于每一个样本组，获取当前的样本组中的样本MR图像经过预先训练得到的MR图像自编码单元中的编码器，也即MR图像编码器后提取得到的MR高维特征F1。获取当前的样本组中的样本CT图像经过预先训练得到的CT图像自编码单元中的编码器，也即CT编码器后提取得到的CT高维特征F2。
步骤214，将每个样本组提取得到的MR高维特征F1作为输入、CT高维特征F2作为输出，利用各个样本组构成的(F1，F2)的组合基于PixelCNN+网络训练得到特征预测器。
由此特征预测器、MR图像编码器和CT图像解码器均已训练完成，也即多借鉴信息提取模块已经训练完成。基于已经训练得到的多借鉴信息提取模块，将每个样本组中的样本MR图像作为输入、样本CT图像作为输出，训练得到整个医学影像转换模型，也即训练编码模块、注意力机制模块和解码模块的网络参数。
在训练医学影像转换模型的过程中，基于总体损失Ltotal进行模型训练，总体损失：
Ltotal＝λl1L1+λstyLstyle+λperLperceptual+λadvLadversarial；
其中，L1表示L1损失。Ladversarial表示对抗损失且基于判别器生成，Lperceptual表示感知损失，Lstyle表示样式损失，感知损失和样式损失基于VGG特征提取器生成，VGG特征提取器采用的是VGG16在Image256任务中预训练的网络，提取该VGG特征提取器的三层池化层来计算感知损失和样式损失，λl1、λsty、λper、λadv分别为各个损失的权重。
在训练过程中使用网格寻优法对模型中的超参数进行确定，基本过程就是先将超参数的值确认在一个较大范围里，再按一定的步长缩小范围进行寻优。
另外在训练医学影像转换模型的过程中，分别利用样本组进行若干次平行训练。并分别利用独立的测试集进行测试得到评价指标，将多次平行训练过程中得到的评价指标最优的模型作为最终的医学影像转换模型。评价指标包括峰值噪声比PSNR、结构相似度SSIM和均方误差MSE中的至少一种。
在实际应用过程中，与上述模型训练过程类似的是，在步骤100中获取到待转换MR图像后，一般也同样需要进行切片和配准的操作，为了更好的将模型应用到实际医学环境中，本将待转换MR图像的图像预处理操作和医学影像转换模型进行集成封装，并采用Django框架提供调用接口实现转换平台的便捷使用。其中图像预处理操作即包括对待转换MR图像进行切片操作生成二维图像，并进行配准操作，与上述模型训练过程具体操作类似，本申请不再赘述。Django自带大量常用工具和框架(比如分页，权限管理)，适合快速开发企业级网站。同时Model层自带数据库ORM组件，使得开发者无须学习SQL语言即可对数据库进行操作，便于医生不需要太多的练习就可以操作运行。最后Django编写的App是可插拔的，对系统整体影响不大，便于后期对功能的改进和扩充。
首先创建一个Django项目，然后根据项目需求设计前端交互界面，再根据功能建造合适的数据库，编写各个功能模块代码(其中包含多种切片和配准方法，模型)，最后将测试函数的接口提供给前端界面，测试接口能够根据输入的待转换MR图像自动调用数据库中的预训练模型，得到结果后返回给前端界面进行展示。在实际医学应用场景中，医生只需要点击“上传”按钮，选择需要转换的MR影像，点击“确认”，就可以在短时延的情况下获得转换后的CT图像。在此过程中，转换平台会依据代码逻辑先对待转换MR图像进行切片和配准等图像预处理操作，再将数据输入到测试函数，测试函数会调用训练好的医学影像转换模型，得到输出的CT图像并显示在平台界面上，医生可以便捷直观的对CT图像进行下载操作，未来该平台还会上线更多类似于组织分类、病灶分割、感兴趣区域提取等功能。
在一个实测的例子中，分别利用常见的FCM、CycleGAN、WGAN、Dual2DGAN进行转换，并与利用本申请提供的医学影像转换模型进行转换的结果进行比较，使用大量测试例的峰值噪声比PSNR均值和结构相似度SSIM均值分别对不同方法进行评价，得到的实测结果如下，可以看出本申请提供的方法明显优于现有技术。
| PSNR均值 | SSIM均值 | |
| FCM | 13.8887 | 0.5207 |
| CycleGAN | 26.3712 | 0.6616 |
| WGAN | 22.3314 | 0.6959 |
| Dual2DGAN | 26.8074 | 0.7059 |
| 本申请提供的方法 | 30.2842 | 0.8139 |
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。
Claims (8)
1.一种基于多借鉴信息的医学影像智能转换方法，其特征在于，所述方法包括：
获取待转换MR图像；
将所述待转换MR图像输入医学影像转换模型，所述医学影像转换模型包括编码模块、注意力机制模块、解码模块和多借鉴信息提取模块，所述编码模块对所述待转换MR图像进行编码后提取第一特征图，所述注意力机制模块将所述第一特征图转换为第二特征图，所述第二特征图输入所述解码模块依次经过各个级联的解码层，所述编码模块与所述解码模块之间还采用跳过连接；所述多借鉴信息提取模块提取所述待转换MR图像的若干层多借鉴信息，各层多借鉴信息反映所述待转换MR图像的高维特征并分别输入各个解码层中；所述解码模块中的各个解码层分别获取输入的特征图、输入的多借鉴信息以及编码模块输入的信息并进行解码处理；所述多借鉴信息提取模块包括高维特征预测单元和CT图像解码器，所述CT图像解码器包括若干个级联的解码层，所述CT图像解码器是基于VAE网络训练得到的CT图像自编码单元中的解码器；所述高维特征预测单元包括MR图像编码器和特征预测器，所述MR图像编码器是基于VAE网络训练得到的MR图像自编码单元中的编码器，所述特征预测器基于PixelCNN+网络训练得到；所述MR图像编码器用于提取所述待转换MR图像的高维特征，所述特征预测器用于基于所述待转换MR图像的高维特征生成对应的CT图像的高维特征预测结果；所述CT图像解码器对所述高维特征预测结果进行解码，由CT图像解码器的各个解码层分别输出各层多借鉴信息；根据所述医学影像转换模型的输出得到由所述待转换MR图像转换得到的CT图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
分别获取同一个人体组织区域在相同状态下的样本MR图像和样本CT图像作为一对样本组；
对于每一个样本组，获取当前的样本组中的样本MR图像经过预先训练得到的MR图像自编码单元中的编码器后提取得到的MR高维特征，获取当前的样本组中的样本CT图像经过预先训练得到的CT图像自编码单元中的编码器后提取得到的CT高维特征；
将每个样本组提取得到的MR高维特征作为输入、CT高维特征作为输出，利用各个样本组基于PixelCNN+网络训练得到所述特征预测器；
基于训练得到的特征预测器、MR图像自编码单元和CT图像自编码单元，将每个样本组中的样本MR图像作为输入、样本CT图像作为输出，训练得到所述医学影像转换模型。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所有样本MR图像基于VAE网络训练得到所述MR图像自编码单元，所述MR图像自编码单元中包括编码器和解码器；
利用所有样本CT图像基于VAE网络训练得到所述CT图像自编码单元，所述CT图像自编码单元中包括编码器和解码器。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用基于特征的刚性配准方法Morphons对样本MR图像和样本CT图像进行变形配准；
利用完成图像配准操作的样本组进行模型训练。
5.根据权利要求4所述的方法，其特征在于，所述利用完成图像配准操作的样本组进行模型训练，包括：
采用随机裁剪和位置变换的方法对完成图像配准操作的样本组构成的原始数据集进行数据集扩充，得到不改变原始数据集的医学信息的扩充数据集；
利用所述扩充数据集进行模型训练。
6.根据权利要求2所述的方法，其特征在于，
在训练所述医学影像转换模型的过程中，基于总体损失Ltotal使用网格寻优法进行模型训练，所述总体损失：
Ltotal＝λl1L1+λstyLstyle+λperLperceptual+λadvLadversarial；
其中，L1表示L1损失，Ladversarial表示对抗损失且基于判别器生成，Lperceptual表示感知损失，Lstyle表示样式损失，感知损失和样式损失基于VGG特征提取器生成，λl1、λsty、λper、λadv分别为各个损失的权重。
7.根据权利要求2所述的方法，其特征在于，
在训练所述医学影像转换模型的过程中，分别利用样本组进行若干次平行训练，并将评价指标最优的模型作为最终的所述医学影像转换模型；所述评价指标包括峰值噪声比、结构相似度和均方误差中的至少一种。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述待转换MR图像的图像预处理操作和所述医学影像转换模型进行集成封装，并采用Django框架提供调用接口实现转换平台的便捷使用；
所述图像预处理操作包括对所述待转换MR图像进行切片操作生成二维图像，并进行配准操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210258218.1A CN114638745B (zh) | 2022-03-16 | 2022-03-16 | 一种基于多借鉴信息的医学影像智能转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210258218.1A CN114638745B (zh) | 2022-03-16 | 2022-03-16 | 一种基于多借鉴信息的医学影像智能转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114638745A CN114638745A (zh) | 2022-06-17 |
| CN114638745B true CN114638745B (zh) | 2023-08-18 |
Family
ID=81949458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210258218.1A Active CN114638745B (zh) | 2022-03-16 | 2022-03-16 | 一种基于多借鉴信息的医学影像智能转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638745B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
| CN112633378A (zh) * | 2020-12-24 | 2021-04-09 | 电子科技大学 | 一种多模态影像胎儿胼胝体智能检测方法及系统 |
| CN112669247A (zh) * | 2020-12-09 | 2021-04-16 | 深圳先进技术研究院 | 一种用于多任务医学图像合成的先验指导型网络 |
| CN112862727A (zh) * | 2021-03-16 | 2021-05-28 | 上海壁仞智能科技有限公司 | 一种跨模态图像转换方法及装置 |
| CN113240666A (zh) * | 2021-06-04 | 2021-08-10 | 科大讯飞股份有限公司 | 一种医学影像预处理方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10307108B2 (en) * | 2015-10-13 | 2019-06-04 | Elekta, Inc. | Pseudo-CT generation from MR data using a feature regression model |
| US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
-
2022
- 2022-03-16 CN CN202210258218.1A patent/CN114638745B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
| CN112669247A (zh) * | 2020-12-09 | 2021-04-16 | 深圳先进技术研究院 | 一种用于多任务医学图像合成的先验指导型网络 |
| CN112633378A (zh) * | 2020-12-24 | 2021-04-09 | 电子科技大学 | 一种多模态影像胎儿胼胝体智能检测方法及系统 |
| CN112862727A (zh) * | 2021-03-16 | 2021-05-28 | 上海壁仞智能科技有限公司 | 一种跨模态图像转换方法及装置 |
| CN113240666A (zh) * | 2021-06-04 | 2021-08-10 | 科大讯飞股份有限公司 | 一种医学影像预处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的CT/MRI多模影像合成与转化;李文;中国优秀硕士学位论文全文数据库 医药卫生科技辑;第2020年卷(第07期);第E060-97页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114638745A (zh) | 2022-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN111028242A (zh) | 一种肿瘤自动分割系统、方法及电子设备 | |
| CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| Saidy et al. | Chest X-ray image segmentation using encoder-decoder convolutional network | |
| CN114387317B (zh) | Ct图像和mri三维图像的配准方法、装置 | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| CN112329871A (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| CN112420170A (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 | |
| CN117115132A (zh) | 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法 | |
| CN116342516A (zh) | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、系统及电子设备 | |
| CN117523204A (zh) | 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质 | |
| CN109035137A (zh) | 一种基于最优传输理论的多模态医学图像融合方法 | |
| CN114638745B (zh) | 一种基于多借鉴信息的医学影像智能转换方法 | |
| Xie et al. | MRSCFusion: Joint residual Swin transformer and multiscale CNN for unsupervised multimodal medical image fusion | |
| CN116188435A (zh) | 一种基于模糊逻辑的医学图像深度分割方法 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN114049315B (zh) | 关节识别方法、电子设备、存储介质及计算机程序产品 | |
| CN113272869A (zh) | 医学成像中从定位片进行三维形状重构 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN115239740A (zh) | 基于GT-UNet的全心分割算法 | |
| CN114119558A (zh) | 一种自动生成鼻咽癌影像诊断结构化报告方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |